JP2020205632A - ビデオストリーミングにおけるシーンセクションと関心領域の処理 - Google Patents
ビデオストリーミングにおけるシーンセクションと関心領域の処理 Download PDFInfo
- Publication number
- JP2020205632A JP2020205632A JP2020155204A JP2020155204A JP2020205632A JP 2020205632 A JP2020205632 A JP 2020205632A JP 2020155204 A JP2020155204 A JP 2020155204A JP 2020155204 A JP2020155204 A JP 2020155204A JP 2020205632 A JP2020205632 A JP 2020205632A
- Authority
- JP
- Japan
- Prior art keywords
- tracks
- video
- gathering
- section
- slice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title description 4
- 230000011664 signaling Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 49
- 239000000203 mixture Substances 0.000 claims description 20
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 claims description 6
- 238000006467 substitution reaction Methods 0.000 claims description 5
- 239000004576 sand Substances 0.000 claims 2
- 230000007704 transition Effects 0.000 claims 2
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000012913 prioritisation Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 6
- 102100026234 Cytokine receptor common subunit gamma Human genes 0.000 description 5
- 101001055227 Homo sapiens Cytokine receptor common subunit gamma Proteins 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004321 preservation Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001627 detrimental effect Effects 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
- H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
− ファイルサイズが増加する(多くの場合、逓倍される)
− 同時に、異なるタイルサブセットの伝送がトランスポートデータレートを増加させる(多くの場合、逓倍される)
− 異なるサブセットに対して同じタイルとしてキャッシュすることの有害な影響は、異なるトラックおよびビデオデータに対応し得る。
1.元のビットストリームのタイル24のスライス26は、別々のトラック30A−Iに格納される。各フルピクチャ18は、ファイル16内に、例えばヘッダ90内に格納されたいくつかのメタデータによって与えられる定義済みの順序で、トラック30A−I各々の1サンプルを連結したものに対応する。
2.特定のタイルサブセット22については、追加のトラック32が生成され、元のビットストリームを形成するトラックセット30から選択された情報を収集する。
3.複数の「ギャザリング」トラックを生成することができ、一般にはタイルサブセット22または80毎に1つのそのようなトラックを生成することができる。
4.「ギャザリング」トラックの各サンプルは、1つ以上のコンストラクタ34アレイ(図5d参照)からなる。
5.各コンストラクタアレイを解釈から、NALユニットまたはスライス54が得られる。
6.3種類のコンストラクタが使用できる。
− タイルサブセットに対して具体的に生成されるデータ100を保持する、イミディエイトデータコンストラクタ(図5a参照)。これは、例えば、各スライスの有効なslice_headerをタイルサブセット22のサンプルに含めるために使用することができる。
− 各々が別のトラックを指し示し、その参照トラック30D〜30Hのサンプルから取得される情報を選択する、サンプルコンストラクタ(図5b参照)。これは、有効なslice_headerまたはスライスペイロードのいずれかを指し示すために使用できる(オフセットを使用してペイロードに隣接するslice_headerをスキップする)。コピー部分のオフセット102および長さ104はオペレータであることもある。
− 各々が参照トラックのサンプルエントリを指し示し、情報(パラメータセットなど)を選択する、サンプルエントリコンストラクタ(図5c参照)。
・ 新しいシンタックス要素のサポートが必要であることを示す新しいブランドを指定してもよい。
・ ギャザリングトラックのサンプルが、新しいサンプルを無視するレガシーリーダ50による解析を可能にする互換シンタックス(図5e参照)を使用する場合、そのような「ギャザリング」トラックのサンプルエントリに既存のコードポイントを使用することができる。
a)サンプルコンストラクタは、参照によって、別のトラックのサンプルからNALユニットデータを抽出する。
b)サンプル記述コンストラクタは、参照によって、サンプル記述からNALユニットデータを抽出する。
c)インラインコンストラクタは、NALユニットデータを含む。
従って、そのようなエクストラクタは図5eまたは図5dのように構成してもよく、そこではアレイ長の指示をオフにすることができる。サンプルコンストラクタおよびサンプル記述コンストラクタは、図5a〜5cのように具体化されてもよい。
a)NALユニット全体。アグリゲータが参照されると、含まれたバイトおよび参照されたバイトの両方がコピーされる。
b)2つ以上のNALユニット全体。
class aligned(8) Extractor () {
NALUnitHeader();
do {
unsigned int(8) constructor_type;
if( constructor_type == 0 )
SampleConstructor();
else if( constructor_type == 1 )
SampleDescriptionConstructor();
else if( constructor_type == 2 )
InlineConstructor();
} while( !EndOfNALUnit() )
}
NALUnitHeader()は、ISO/IEC 23008−2 NAL unitsの最初の2バイトを示すことができる。nal_unit_typeは、ISO/IEC 23008−2 videoでは49に設定される。forbidden_zero_bitは、ISO/IEC 23008−2で指定されているように設定することができる。他のフィールドは、nuh_layer_idおよびnuh_temporal_id_plus1に関する場合があり、後で指定するように設定され得る。constructor_typeは、後続のコンストラクタを指定する。SampleConstructor、SampleDescriptionConstructor、およびInlineConstructorは、それぞれ0、1、2に等しいconstructor_typeに対応する。constructor_typeの他の値は、他のコンストラクタのために予約されていることもあるが、そうでないこともある。EndOfNALUnit()は、このエクストラクタでデータが更に続くときに0(偽)を返す関数である。それ以外の場合は1(真)を返す。
class aligned(8) SampleConstructor () {
unsigned int(8) track_ref_index;
signed int(8) sample_offset;
unsigned int((lengthSizeMinusOne+1)*8)
data_offset;
unsigned int((lengthSizeMinusOne+1)*8)
data_length;
}
track_ref_index:図5bおよび図5cのTRIのような参照トラックを指す。
sample_offset:参照トラック、すなわち所望のピクチャIDに対応する参照トラックの一部の先頭で「サンプル」をインデックス化する。すなわち、sample_offsetは図5bのSOに対応し、
data_offset:コピーされる参照サンプル内の最初のバイトのオフセット。そのサンプル内のデータの最初のバイトで抽出が開始された場合、オフセットの値は0をとる。すなわち、data_offsetは、図5bおよび5cのデータオフセットに対応し、
data_length:コピーされるバイト数。このフィールドが値0をとる場合、data_offsetはNAL単位長フィールドの先頭を参照し、単一の参照NALユニット全体がコピーされる(すなわち、コピーされる長さはdata_offsetによって参照される長さフィールドから取得され、アグリゲータの場合はadditional_bytesフィールドによって補完される)。例えば、図5bおよび5cに提示されたデータ長を比較する。
class aligned(8) SampleDescriptionConstructor () {
unsigned int(8) length;
unsigned int(8) track_ref_index;
int(8) sample_description_index;
fieldSize = (length - 2) / 2;
unsigned int(fieldSize) data_offset;
unsigned int(fieldSize) data_length;
}
length:このフィールドに続くSampleDescriptionConstructorに属するバイト数。長さの値は、偶数で、4以上、10以下でなければならない。それは図5bおよび図5cのフィールドDFLに対応する。
track_ref_indexは、「tref」ボックス内に列挙された「scal」タイプのトラック参照のインデックスを識別する。値0は、このコンストラクタが見つかった現在のトラックを示す。値1は最初のトラック参照を示す。track_ref_indexの値は、トラック参照の数を超えてはならない。それは図5bおよび図5cのフィールドTRIに対応する。
sample_description_indexは、「stsd」ボックスに列挙されたサンプル記述のインデックスを識別する。sample_description_indexの値は、ゼロであってはならなく、サンプルエントリの数を超えてもならない。それは図5cのフィールドSOに対応する。
data_offsetは、サンプル記述からコピーされるブロックの最初のデータバイトのアドレス指定に使用される符号なしのオフセットである。値0は、参照されるサンプル記述の最初のバイトでコピーが開始されることを意味する。それは図5bおよび図5cのフィールド、Data Offxetに対応する。
data_lengthは、参照トラックのサンプル記述からコピーされるデータブロック長を指定する。0という値は、参照されるサンプル記述からバイトがコピーされないことを意味する。data_lengthは、参照されるサンプル記述のサイズを超えてはならない。それは図5bおよび5cのフィールドデータ長に対応する。
class aligned(8) InlineConstructor () {
unsigned int(8) length;
unsigned int(8) inline_data[length];
}
length:このフィールドに続くInlineConstructorに属するバイト数。長さの値は0よりも大きくなければならない。0に等しい長さの値は予約されている。それは図5aのフィールドDFLに対応する。
inline_data:インラインコンストラクタを解決するときに返されるデータバイト。それは図5aに提示されたフィールドであるData Filedに対応する。
− 「emsg」ファイル形式ボックスを使用した帯域内ソリューション:VoDに適している。このボックスを伝達する各セグメントは、次のセグメントにおけるRoIの空間位置を指示し、それにより、クライアントは、例えばその対応するレプリゼンテーションのプリフェッチのために利用可能な帯域幅のより多くを使用することによって、このボックスを適切に使用することができる。ヒントをプリフェッチするには適しているが、ROIを開始するには適していない。
− SANDメッセージを使用した帯域外ソリューション:ライブサービスに適している。そのような環境では、「emsg」ボックスを追加できるためには、処理されるべき次のセグメントを待つ必要があるので、コンテンツ生成部が遅延を増加させるので、「emsg」は最良の解決策ではないかもしれない。加えて、この情報は、VoDコンテキストにおける再生開始(またはシーキング)に使用することができる。ヒントをプリフェッチしROIを開始するのに適している。
− 更なるオプションは、位置(x、y)および次元(幅、高さ)を宣言することによって1つ以上のRoIが記述される異なる時間間隔を記述する、ファイルの先頭のボックスである。
aligned(8) class DASHEventMessageBox extends FullBox(‘emsg’, version = 0, flags = 0){
string scheme_id_uri;
string value;
unsigned int(32) timescale;
unsigned int(32) presentation_time_delta;
unsigned int(32) event_duration;
unsigned int(32) id;
unsigned int(8) message_data[];
}
}
aligned(8) struct DASHRoIchangeEvent
{
if ( `emsg`.value == 1 ) //single RoI
{
unsigned int(32) source_id; // Refers to the source_id in MPD in Sect. H.2
unsigned int(32) x; // horizontal position of RoI
unsigned int(32) y; // vertical position of RoI
unsigned int(32) width; // width position of RoI
unsigned int(32) height; // height position of RoI
}
if ( `emsg`.value == 2 ) //multiple RoIs
{
unsigned int(32) source_id; // Refers to the source_id in MPD in Sect. H.2
unsigned int(8) num_RoIs; // Number of RoIs present
for (i=0;i<numRoIs;i++){
unsigned int(32) x_i; // horizontal position of RoI
unsigned int(32) y_i; // vertical position of RoI
unsigned int(32) width_i; // width position of RoI
unsigned int(32) height_i; // height position of RoI
}
}
}
aligned(8) class SegmentIndexBox extends FullBox(‘sidx’, version, 0) {
unsigned int(32) source_ID;
unsigned int(32) timescale;
if (version==0) {
unsigned int(32) earliest_presentation_time; // earliest presentation time for which the box
describes the RoIs
}
else {
unsigned int(64) earliest_presentation_time;
}
unsigned int(16) reserved = 0;
unsigned int(16) RoIs_count;
for(i=1; i <= RoIs_count; i++) //number of RoIs described in time
{
unsigned int(32) RoI_duration;
unsigned int(32) x;
unsigned int(32) y;
unsigned int(32) width;
unsigned int(32) height;
}
}
…
for(i=1; i <= RoIs_count; i++) //number of RoIs intervals described
{
unsigned int(8) RoI_count_per_interval
for(i=j; j <= RoIs_count; j++) //number of RoIs described for each of intervals in time
{
unsigned int(32) RoI_duration;
unsigned int(32) x;
unsigned int(32) y;
unsigned int(32) width;
unsigned int(32) height;
}
}
Claims (58)
- ビデオストリーミングサーバであって、前記ビデオストリーミングサーバは、ビデオデータストリーム(14)のスライス(26)にアクセスするように構成され、
前記スライス(26)内にビデオ(12)のピクチャ(18)が符号化され、前記ピクチャ(18)の各々がシーンを示し、前記ピクチャ(18)は空間的にタイル(24)内に細分化され、前記スライス(26)の各々は内部に1つだけのタイルを符号化して有し、
前記ビデオストリーミングサーバは、前記シーンのセクション(22)に関するストリーム(16)のストリーミングをクライアントに利用可能にするように構成され、前記ストリーム(16)はファイル形式でフォーマットされ、
前記ストリーム(16)は、1つ以上のタイルのセットの幅を有する前記セクション内の、タイルが、前記スライスに符号化されている、前記スライスを組み込んでいる1つ以上のソーストラックのセット(30)と、
前記1つ以上のソーストラック内に組み込まれた前記スライスの第1の部分に対する置換を通知し、および/または、前記1つ以上のソーストラック内に組み込まれた前記スライスの第2の部分をコピーするように指示することによって、
前記シーンのセクションを示すピクチャが、その内部に符号化されている、セクション固有のビデオデータストリームの合成を、指示する構成命令(34)、を含む1つ以上のギャザリングトラックのセット(32)と、
を含むように構成されている、ビデオストリーミングサーバ。 - 前記ピクチャ(18)は、タイル境界(25)をまたいだ符号化相互依存性の中断を伴って、前記ビデオデータストリーム(14)の前記スライス(26)内に符号化されている、請求項1に記載のビデオストリーミングサーバ。
- 前記ソーストラック(30D、30E、30G、30H)の各々は、前記ビデオ(12)の前記ピクチャ(18)が、その内部で空間的に細分化されている前記タイル(26)の内の対応する1つに関連付けられており、対応する前記ソーストラックに関連する前記ピクチャの前記タイルが前記スライス(26)内で符号化されている、前記スライス(26)を組み込んでいる、請求項1または2に記載のビデオストリーミングサーバ。
- 前記クライアントに、
前記1つ以上のソーストラックのセット(30)および前記1つ以上のギャザリングトラックのセット(32)の各々を別個のレプリゼンテーションとして扱い、
前記1つ以上のギャザリングトラックのセットが前記1つ以上のソーストラックに依存していることを指示する、
マニフェスト(140)を送信するように構成されている、請求項1〜3のいずれか一項に記載のビデオストリーミングサーバ。 - 前記ビデオデータストリーム(14)および前記セクション位置固有のビデオデータストリーム(52)が1つのビデオデコーダ(72)によって復号可能であるように構成されている、請求項1〜4のいずれか一項に記載のビデオストリーミングサーバ。
- 前記シーンの更なるセクション(80)に関連する更なるストリームのストリーミングを前記クライアント(50)に利用可能にするように構成されている、請求項1〜4のいずれか一項に記載のビデオストリーミングサーバであって、
前記更なるストリームは、
ファイル形式でフォーマットされており、
前記更なるセクション内の、1つ以上のタイルの更なるセットの幅を有するタイルを、符号化して内部に有する前記スライスを組み込んでいる、1つ以上のソーストラックの更なるセットと、
前記1つ以上のソーストラックの更なるセット内に組み込まれた前記スライスの第1の部分に対する置換を通知し、および/または、
前記1つ以上のソーストラックの更なるセット内に組み込まれた前記スライスの第2の部分をコピーするように指示することによって、
前記シーンの更なるセクションを示すピクチャを符号化して内部に有する、更なるセクション固有のビデオデータストリームの、合成を指示する構成命令を含む、1つ以上のギャザリングトラックの更なるセットと、
を含む、ビデオストリーミングサーバ。 - マニフェスト(140)を前記クライアントに提供するように構成された、請求項6に記載のビデオストリーミングサーバであって、前記マニフェストは、
前記ソーストラックのセット(30)および前記1つ以上のソーストラックの更なるセットの各々と、
前記1つ以上のギャザリングトラックのセット(32)と、
前記1つ以上のギャザリングトラックの更なるセットと、を別個のレプリゼンテーションとして扱い、
前記1つ以上のギャザリングトラックのセットを前記1つ以上のソーストラックのセットに依存するものとして、かつ、前記1つ以上のギャザリングトラックの更なるセットを前記1つ以上のソーストラックの更なるセットに依存するものとして指示するように構成されている、ビデオストリーミングサーバ。 - 前記ビデオストリーミングサーバは、前記1つ以上のギャザリングトラックのセットおよび前記1つ以上のギャザリングトラックの更なるセットにそれぞれ関連するレプリゼンテーションに対する相互に異なるURLベースの明示的なシグナリングを、前記マニフェストに提供するように構成されている、請求項7に記載のビデオストリーミングサーバ。
- 前記セクションおよび前記更なるセクションはタイルの点で同じサイズであり、前記ビデオストリーミングサーバは、取得される前記シーンの前記セクションの空間位置に依存して、前記1つ以上のギャザリングトラックのセットおよび前記1つ以上のギャザリングトラックの更なるセットにそれぞれ関連する、レプリゼンテーションのセグメントのURL、を決定するための計算規則を定義するURLテンプレート(141)を、前記マニフェストに提供するように構成されている、請求項7に記載のビデオストリーミングサーバ。
- 前記1つ以上のソーストラックのセットおよび前記1つ以上のソーストラックの更なるセットの各々を別個のレプリゼンテーションとして扱うマニフェストを、前記クライアント(50)に提供し、
前記シーンのセクション(22)内のタイルを符号化して内部に有する前記スライスを含む前記ソーストラックに対応する、レプリゼンテーションのセグメント内の、前記1つ以上のギャザリングトラックのセット(32)を伝達し、
前記更なるシーンのセクション内のタイルを符号化して内部に有する前記スライスを含むソーストラックに対応する、レプリゼンテーションのセグメント内の、前記1つ以上のギャザリングトラックの更なるセットを伝達する、
ように構成されている、請求項7に記載のビデオストリーミングサーバ。 - 前記シーンのセクション内の所定のタイル位置に配置された前記タイルを符号化して内部に有する前記スライスを含む前記ソーストラックに対応する、レプリゼンテーションのセグメント内の、前記1つ以上のギャザリングトラックのセット(32)を伝達し、
前記更なるシーンのセクション内の所定のタイル位置に配置された前記タイルを符号化して内部に有する前記スライスを含むソーストラックに対応する、レプリゼンテーションのセグメント内の、前記1つ以上のギャザリングトラックの更なるセットを伝達する、
ように構成されている、請求項10に記載のビデオストリーミングサーバ。 - 前記1つ以上のソーストラックのセットおよび前記1つ以上のソーストラックの更なるセットが、他のソーストラックとは別個のやり方で取得してもよく、前記1つ以上のギャザリングトラックのセット(32)および前記1つ以上のギャザリングトラックの更なるセットを、それらのセグメント内で伝達してもよいことを指示する情報を、前記マニフェストに提供する、
ように構成されている、請求項10または11に記載のビデオストリーミングサーバ。 - 前記シーンのセクション内にある各タイルについて、前記対応するタイルを符号化して内部に有する前記スライスを含む前記ソーストラックに対応する、レプリゼンテーションのセグメント内で、前記対応するタイル内の前記セクション位置固有のビデオデータストリームの合成に固有の、前記1つ以上のギャザリングトラックのセットの内の1つを伝達し、かつ、
前記更なるシーンのセクション内にある各タイルについて、前記対応するタイルを符号化して内部に有する前記スライスを含む前記ソーストラックに対応する、レプリゼンテーションのセグメント内で、前記対応するタイル内の前記更なるセクション位置固有のビデオデータストリームの合成に固有の、前記1つ以上のギャザリングトラックの更なるセットの内の1つを伝達する、
ように構成されている、請求項12に記載のビデオストリーミングサーバ。 - 前記シーンのセクションおよび前記更なるシーンのセクション内に所定のタイルが存在するように、前記セクションおよび前記更なるセクションが互いに重なっており、
前記ビデオストリーミングサーバは、前記所定のタイルを符号化して内部に有する前記スライスを含む前記ソーストラックに対応する、前記レプリゼンテーションのセグメント内で、パラメータ化可能なギャザリングトラックを伝達するように構成されており、
前記パラメータ化可能なギャザリングトラックは、
第1のパラメータ化設定に従って、前記所定のタイル内の前記セクション位置固有のビデオデータストリームの合成に固有の、前記1つ以上のギャザリングトラックのセットの前記ギャザリングトラックになり、かつ、
第2のパラメータ化設定に従って、前記所定のタイル内の前記更なるセクション位置固有のビデオデータストリームの合成に固有の、前記1つ以上のギャザリングトラックの更なるセットの前記ギャザリングトラックになる、
ようにパラメータ化可能である、
請求項13に記載のビデオストリーミングサーバ。 - 前記パラメータ化可能なギャザリングトラックは、
前記パラメータ化可能なギャザリングトラック内で第1の設定とは異なる前記インデックスを有する構成命令をスキップした結果得られる、前記所定のタイル内の前記セクション位置固有のビデオデータストリームの合成に固有の、前記1つ以上のギャザリングトラックのセットの前記ギャザリングトラックと、
前記パラメータ化可能なギャザリングトラック内で第2の設定とは異なる前記インデックスを有する構成命令をスキップした結果得られる、前記所定のタイル内の前記更なるセクション位置固有のビデオデータストリームの合成に固有の、前記1つ以上のギャザリングトラックの更なるセットの前記ギャザリングトラックと、
に対するインデックスを含む構成命令を含む、
請求項14に記載のビデオストリーミングサーバ。 - 前記第1の部分は、符号化されたビットレベルと構文レベルとの間の遷移におけるシンタックス要素間の境界を保持するシンタックス要素ワイズ符号化データストリーム部分であるか、またはその中にある、請求項1〜15のいずれか一項に記載のビデオストリーミングサーバ。
- 前記第2の部分は、算術符号化されたデータストリーム部分であるか、または算術符号化されたデータストリーム部分を包含する、請求項1から16のいずれか一項に記載のビデオストリーミングサーバ。
- ビデオストリーミングサーバ(10)からシーンのセクション(22)に関するビデオ(74)を取り出すように構成されたクライアントであって、
前記クライアントは、前記ビデオストリーミングサーバ(10)から、ファイル形式でフォーマットされたストリーム(16)を取得するように構成され、
前記ストリーム(16)は、
スライス(26)を組み込んでいる1つ以上のソーストラックのセット(32)であって、前記1つ以上のソーストラックのセット内の前記スライス(26)は、ビデオデータストリーム(14)のスライス(26)のサブセットを形成し、前記シーンを表す、ビデオ(12)のピクチャ(18)が、前記サブセット内に符号化されており、前記ピクチャ(18)は空間的にタイル(24)内に細分化され、前記ビデオデータストリーム(14)の前記スライス(26)の各々は、1つだけのタイル(24)を内部に符号化して有しており、前記スライスのサブセットは、1つ以上のタイルのセットの幅を有する前記セクション内の、タイルが、前記スライスに符号化されている、前記スライスを組み込んでいる1つ以上のソーストラックのセットと、
前記シーンのセクションを示すピクチャを符号化して内部に有するセクション位置固有のビデオデータストリーム(52)の、合成(62)を指示する構成命令(34)を含む、1つ以上のギャザリングトラックのセット(32)と、を含み、
かつ前記クライアントは、
前記1つ以上のソーストラック内に組み込まれた前記スライスの第1の部分を、前記構成命令によって通知された置換(68)によって置換することにより、および/または、前記1つ以上のソーストラック内に組み込まれた前記スライスの第2の部分(70)をコピーすることにより、
前記1つ以上のギャザリングトラックのセット(32)内の構成命令に従って、前記セクション固有のビデオデータストリーム(52)を合成(62)して、
前記セクション固有のビデオデータストリーム(52)をビデオデコーダ(72)によって復号化させるように構成されている、クライアント。 - 前記ピクチャは、タイル境界をまたいだ符号化相互依存性の中断を伴って、前記ビデオデータストリームの前記スライス内に符号化されており、それにより、前記1つのタイルまたは任意の他のピクチャを含む、前記ピクチャの空間的に異なる部分をカバーする他のいかなるタイルからも独立した前記1つだけのタイルを、前記スライスの各々を内部で符号化して有する、請求項18に記載のクライアント。
- 前記ソーストラックの各々は、前記ビデオの前記ピクチャがその中で空間的に細分化されている前記タイルの内の対応する1つに関連付けられており、かつ対応する前記ソーストラックに関連する前記ピクチャの前記タイルが前記スライス内で符号化されている前記スライスを組み込んでいる、請求項18または19に記載のクライアント。
- 前記1つ以上のソーストラックおよび前記1つ以上のギャザリングトラックのセットの各々を別個のレプリゼンテーションとして扱い、
前記1つ以上のギャザリングトラックのセットが前記1つ以上のソーストラックに依存していることを指示するマニフェストを、前記ビデオストリーミングサーバから受信し、
前記ビデオストリーミングサーバから前記別個のレプリゼンテーションを前記ストリームとして取得する、
ように構成されている、請求項18〜20のいずれか一項に記載のクライアント。 - 前記ビデオデータストリームおよび前記セクション位置固有のビデオデータストリームは両方とも、前記ビデオデコーダによって復号可能である、請求項18〜21のいずれか一項に記載のクライアント。
- 請求項18〜22のいずれか一項に記載のクライアントであって、
前記クライアントは、前記ビデオストリーミングサーバから前記シーンの更なるセクションに関連する更なるストリームを取得するように構成されており、
前記更なるストリームは前記ファイル形式でフォーマットされており、
前記更なるセクションを空間的に形成する、タイルの更なるセットのタイルを、その中に符号化して有する前記スライスを組み込んでいる1つ以上のソーストラックの更なるセットと、
前記シーンの更なるセクションを示すピクチャをその中で符号化して有する更なるセクション位置固有のビデオデータストリームの合成を指示する構成命令を含む、1つ以上のギャザリングトラックの更なるセットと、を含み、
かつ前記クライアントは、
前記1つ以上のソーストラックの更なるセット内に組み込まれた前記スライスの第1の部分を、前記1つ以上のギャザリングトラックの更なるセット内の構成命令によって通知された置換で置換することによって、および/または、
前記1つ以上のソーストラックの更なるセット内に組み込まれた前記スライスの第2の部分をコピーすることによって、
かつ前記更なるセクション位置固有のビデオデータストリームに前記ビデオデコーダによる復号化を受けさせることによって、
前記1つ以上のギャザリングトラックの更なるセット内の構成命令に従って、前記更なるセクション位置固有のビデオデータストリームを合成する、ように構成されている、クライアント。 - 前記ビデオストリーミングサーバからマニフェストを受信するように構成されているクライアントであって、
前記マニフェストは、
前記1つ以上のソーストラックのセットおよび前記1つ以上のソーストラックの更なるセットと、
前記1つ以上のギャザリングトラックのセットと、
前記1つ以上の更なるギャザリングトラックのセットの、
各々のソーストラックを別個のレプリゼンテーションとして扱い、
前記1つ以上のギャザリングトラックのセットが前記1つ以上のソーストラックのセットに依存していること、および前記1つ以上のギャザリングトラックの更なるセットが前記1つ以上のソーストラックの更なるセットに依存していることを指示し、
かつ前記クライアントは、
前記ストリームを前記ビデオストリーミングサーバから取得する際に、前記1つ以上のソーストラックのセットおよび前記1つ以上のギャザリングトラックのセットに関連した前記レプリゼンテーションを前記ビデオストリーミングサーバから取得し、
前記更なるストリームを前記ビデオストリーミングサーバから取得する際に、前記1つ以上のソーストラックの更なるセットおよび前記1つ以上のギャザリングトラックの更なるセットに関連した前記レプリゼンテーションを前記ビデオストリーミングサーバから取得する、ように構成されている、
請求項23に記載のクライアント。 - 前記クライアントは、前記マニフェストから、前記1つ以上のギャザリングトラックのセットおよび前記1つ以上のギャザリングトラックの更なるセットにそれぞれ関連する前記レプリゼンテーションに対する相互に異なるURLベースの明示的なシグナリングを導出するように構成されている、請求項24に記載のクライアント。
- 前記セクションおよび前記更なるセクションはタイルの点で同じサイズである、請求項24に記載のクライアントであって、前記クライアントは、
前記ビデオストリーミングサーバから前記ストリームを、および前記ビデオストリーミングサーバから前記更なるストリームを取得する際に、
前記マニフェストから、計算規則を定義するURLテンプレートを導出するように構成され、
取得される前記シーンの前記セクションの空間位置に依存して、前記1つ以上のギャザリングトラックのセットおよび前記1つ以上のギャザリングトラックの更なるセットにそれぞれ関連する前記レプリゼンテーションのセグメントのURLを決定する、前記計算規則を使用して、
決定された前記URLに基づいて、前記ストリームの取得の場合は前記もう1つのギャザリングトラックのセットを、および前記更なるストリームの取得の場合は前記1つ以上のギャザリングトラックの更なるセットを伝達する前記セグメントを取得するように構成されている、クライアント。 - 前記ビデオストリーミングサーバから、前記1つ以上のソーストラックのセットおよび前記1つ以上のソーストラックの更なるセットの各々を別個のレプリゼンテーションとして扱うマニフェストを受信し、
前記ビデオストリーミングサーバから前記ストリームを取得する際に、前記シーンのセクション内のタイルを符号化して内部に有する前記スライスを含む前記ソーストラックに対応する、レプリゼンテーションのセグメントから、前記1つ以上のギャザリングトラックを読み取り、および
前記ビデオストリーミングサーバから前記更なるストリームを取得する際に、前記更なるシーンのセクション内のタイルを符号化して内部に有する前記スライスを含む前記ソーストラックに対応する、レプリゼンテーションのセグメントから、前記1つ以上のギャザリングトラックの更なるセットを読み取る、
ように構成されている、請求項24に記載のクライアント。 - 前記ビデオストリーミングサーバから前記ストリームを取得する際に、前記シーンのセクション内の所定のタイル位置に配置された前記タイルを符号化して内部に有する前記スライスを含む前記ソーストラックに対応する、レプリゼンテーションのセグメントから、前記1つ以上のギャザリングトラックのセットを読み取り、
前記ビデオストリーミングサーバから前記更なるストリームを取得する際に、前記更なるシーンのセクション内の所定のタイル位置に配置された前記タイルを符号化して内部に有する前記スライスを含む前記ソーストラックに対応する、レプリゼンテーションのセグメントから、前記更なる1つ以上のギャザリングトラックの更なるセットを読み取る、
ように構成されている、請求項27に記載のクライアント。 - 前記ビデオストリーミングサーバから前記ストリームを取得する際に、前記シーンのセクション内にある各タイルについて、前記対応するタイルを符号化して内部に有する前記スライスを含む前記ソーストラックに対応する、レプリゼンテーションのセグメントから、前記対応するタイル内の前記セクション位置固有のビデオデータストリームの合成に固有の、前記1つ以上のギャザリングトラックのセットの内の1つを読み取り、
前記ビデオストリーミングサーバから前記更なるストリームを取得する際に、前記更なるシーンのセクション内にある各タイルについて、前記対応するタイルを符号化して内部に有する前記スライスを含む前記ソーストラックに対応する、レプリゼンテーションのセグメントから、前記対応するタイル内の前記更なるセクション位置固有のビデオデータストリームの合成に固有の、前記1つ以上のギャザリングトラックの更なるセットの内の1つを読み取る、
ように構成されている、請求項27に記載のクライアント。 - 前記シーンのセクションおよび前記更なるシーンのセクション内に所定のタイルが存在するように、前記セクションおよび前記更なるセクションが互いに重なっており、
前記クライアントは、
前記ビデオストリーミングサーバから前記ストリームを、および前記ビデオストリーミングサーバから前記更なるストリームを取得する際に、
前記所定のタイルを符号化して内部に有する前記スライスを含む前記ソーストラックに対応する、前記レプリゼンテーションのセグメントから、パラメータ化可能なギャザリングトラックを読み取り、
前記ストリームの取得の場合は、前記パラメータ化可能なギャザリングトラックが、前記所定のタイル内の前記セクション位置固有のビデオデータストリームの合成に固有の、前記1つ以上のギャザリングトラックのセットの前記ギャザリングトラックになるように、第1のパラメータ化設定を使用して、前記パラメータ化可能なギャザリングトラックをパラメータ化し、
前記更なるストリームの取得の場合は、前記パラメータ化可能なギャザリングトラックが、前記所定のタイル内の前記セクション位置固有のビデオデータストリームの合成に固有の、前記1つ以上のギャザリングトラックの更なるセットの前記ギャザリングトラックになるように、第2のパラメータ化設定を使用して、前記パラメータ化可能なギャザリングトラックをパラメータ化する、
ように構成されている、請求項29に記載のクライアント。 - 前記第1のパラメータ化設定を使用して、前記パラメータ化可能なギャザリングトラックをパラメータ化する際に、第1の設定とは異なるインデックスを含む前記パラメータ化ギャザリングトラック構成命令をスキップし、
前記第2のパラメータ化設定を使用して、前記パラメータ化可能なギャザリングトラックをパラメータ化する際に、第2の設定とは異なるインデックスを含む前記パラメータ化ギャザリングトラック構成命令をスキップする、
ように構成されている、請求項30に記載のクライアント。 - 前記第2の部分は、符号化されたビットレベルと構文レベルとの間の遷移におけるシンタックス要素間の境界を保持するシンタックス要素ワイズ符号化データストリーム部分であるか、またはその中にある、請求項18〜31のいずれか一項に記載のクライアント。
- 前記第1の部分は、算術符号化されたデータストリーム部分であるか、または算術符号化されたデータストリーム部分を包含する、請求項18〜32のいずれか一項に記載のクライアント。
- シーンの空間的に可変なセクションをクライアントにストリーミングするための概念化されたビデオデータであって、前記ビデオデータはファイル形式でフォーマットされており、
前記ビデオデータは、
1つ以上のソーストラックのセットであって、
前記ソーストラックの各々は、ビデオの、前記シーン全体をキャプチャしたピクチャが、その中に空間的に細分化されているタイルの内の対応する1つに関連付けられており、前記ソーストラックはその中にビデオデータストリームのスライスを分配しており、前記スライスの中には前記ビデオの前記ピクチャが符号化されており、それにより前記スライスの各々が1つだけのタイルをその中に符号化して有している、1つ以上のソーストラックのセットと、
1つ以上のギャザリングトラックのセットであって、
前記1つ以上のギャザリングトラックのセットの各セットは、前記タイルの対応するサブセットによって形成された、前記セクションの複数位置の内の対応する1つに関連しており、
前記ソーストラックからの前記タイルのサブセットの任意のタイルをその中に符号化しているスライスの第1の部分に対する置換を通知することによって、および/または、前記タイルのサブセットの任意のタイルをその中に符号化して有しているスライスの第2の部分をコピーすることによって、
前記対応する位置における前記シーンのセクションを示すピクチャがその中に符号化されている、セクション位置固有のビデオデータストリームの合成を指示する、構成命令を含む、1つ以上のギャザリングトラックのセットと、
を含む、ビデオデータ。 - 前記第2の部分は、スライスのスライスヘッダ内にシンタックス要素を含み、
前記シンタックス要素は、前記スライスヘッダが属する前記スライスが、ピクチャを横断する復号化の順序の点で、前記ビデオのピクチャの最初のスライスであるかどうか、および/または、
所定のピクチャのコーナを基準にして測った前記スライスヘッダが属するスライスの位置を指示する、請求項34に記載のビデオデータ。 - シーンを表し、かつ前記シーン内の関心領域の位置を指示する情報を前記位置が時間的に変化する形で伴って、前記ビデオストリーミングサーバからクライアントにストリーミングされる、ビデオストリームを伴うように構成されている、ビデオストリーミングサーバ。
- 前記ビデオストリーミングサーバは、前記ビデオストリームのファイル形式ボックス内で前記情報を伝達するように構成されている、請求項36に記載のビデオストリーミングサーバ。
- 前記ビデオストリーミングサーバはDASHサーバであり、前記情報をSANDメッセージによって帯域外に伝達するように構成されている、請求項36に記載のビデオストリーミングサーバ。
- 前記ビデオストリーミングサーバは、前記情報を断続的に更新して、前記位置を更新するように構成されている、請求項36〜38のいずれか一項に記載のビデオストリーミングサーバ。
- 前記ビデオストリーミングサーバは、クライアント要求から独立した時間インスタンスで、前記情報の断続的な更新をスケジュールするように構成されている、請求項38に記載のビデオストリーミングサーバ。
- 前記ビデオストリーミングサーバは、前記情報が前記関心領域の前記位置のやがて来る変化をスケジュールするような形で、前記ストリーミングの開始時に前記情報を伝達するように構成されている、請求項36〜40のいずれかに記載のビデオストリーミングサーバ。
- 前記ビデオストリーミングサーバは、前記情報を、前記ストリーミングの開始時に前記ビデオストリームのマニフェスト内で、または前記ビデオストリームの初期セグメント内で、前記クライアントに提供するように構成されている、請求項41に記載のビデオストリーミングサーバ。
- シーンを表すビデオストリームをビデオストリーミングサーバから取得し、前記ビデオストリームに付随する情報を使用して、前記シーン内の関心領域の位置を、前記位置が時間的に変化する形で決定するように構成されている、クライアント。
- 前記クライアントは、前記ビデオストリームのファイル形式ボックスから前記情報を導出するように構成されている、請求項43に記載のクライアント。
- 前記クライアントはDASHクライアントであり、SANDメッセージから前記情報を帯域外に導出するように構成されている、請求項43に記載のクライアント。
- 前記クライアントは、前記位置を更新するように、前記ビデオストリーミングサーバからの前記情報の断続的な更新を受信するように構成されている、請求項43〜45のいずれか一項に記載のクライアント。
- 前記クライアントは、前記クライアントによって前記ビデオストリーミングサーバに送信されたクライアント要求とは独立した時間インスタンスで、前記情報の断続的な更新を受信するように構成されている、請求項45に記載のクライアント。
- 前記クライアントは、前記情報が前記関心領域の前記位置のやがて来る変化をスケジュールする形で、前記ストリーミングの開始時に前記情報を導出するように構成されている、請求項43に記載のクライアント。
- 前記クライアントは前記情報を、前記ストリーミングの開始時に前記ビデオストリーミングサーバによって送られた前記ビデオストリームのマニフェストから、または前記ビデオストリームのメディアセグメントを取得する前に前記クライアントによってフェッチされた前記ビデオストリームの初期セグメント内で、導出するように構成されている、請求項48に記載のクライアント。
- 前記関心領域に関連する前記ビデオストリームの第1の未来部分のプリフェッチを、前記関心領域の周囲に関連する第2の未来部分と比較して、優先するように構成されている、請求項43〜49のいずれか一項に記載のクライアント。
- 前記ビデオストリームの取得を、前記関心領域に関連する前記ビデオストリームの部分で開始し、前記取得を前記関心領域の周囲に関連する部分で継続するように構成されている、請求項43〜50のいずれか一項に記載のクライアント。
- ビデオストリーミングの方法であって、前記方法は、
ビデオデータストリーム(14)のスライス(26)を受信するステップであって、
前記スライス(26)内にビデオ(12)のピクチャ(18)が符号化され、前記ピクチャ(18)の各々がシーンを示し、前記ピクチャ(18)は空間的にタイル(24)内に細分化され、前記スライス(26)の各々は内部に1つだけのタイルを符号化して有している、ビデオデータストリーム(14)のスライスを受信するステップと、
前記シーンのセクション(22)に関するストリーム(16)のストリーミングをクライアントに利用可能にするステップであって、
前記ストリーム(16)はファイル形式でフォーマットされ、前記ストリーム(16)は、1つ以上のタイルのセットの幅を有する前記セクション内の、タイルが、前記スライスに符号化されている、前記スライスを組み込んでいる1つ以上のソーストラックのセット(30)と、
前記1つ以上のソーストラック内に組み込まれた前記スライスの第1の部分に対する置換を通知することによって、および/または、前記1つ以上のソーストラック内に組み込まれた前記スライスの第2の部分をコピーするように指示することによって、前記シーンのセクションを示すピクチャが内部に符号化されているセクション固有のビデオデータストリームの合成を指示する構成命令(34)を含む、1つ以上のギャザリングトラックのセット(32)と、を含む、
前記シーンのセクション(22)に関するストリーム(16)のストリーミングを前記クライアントに利用可能にするステップと、
を含む方法。 - ビデオストリーミングサーバ(10)からシーンのセクション(22)に関するビデオ(74)を取り出す方法であって、
前記方法は、
前記ビデオストリーミングサーバ(10)から、ファイル形式でフォーマットされたストリーム(16)を取得するステップであって、
前記ストリーム(16)は、
スライス(26)を組み込んでいる1つ以上のソーストラックのセット(32)であって、
前記1つ以上のソーストラックのセット内の前記スライス(26)は、ビデオデータストリーム(14)のスライス(26)のサブセットを形成し、ビデオ(12)の前記シーンを表すピクチャ(18)が、前記サブセット内に符号化されており、
前記ピクチャ(18)は空間的にタイル(24)内に細分化され、前記ビデオデータストリーム(14)の前記スライス(26)の各々は、1つだけのタイル(24)を内部に符号化して有しており、前記スライスのサブセットは、1つ以上のタイルのセットの幅を有する前記セクション内の、タイルが、前記スライスに符号化されている、前記スライスを組み込んでいる1つ以上のソーストラックのセット(32)と、
前記シーンのセクションを示すピクチャを符号化して内部に有するセクション位置固有のビデオデータストリーム(52)の合成(62)を指示する構成命令(34)を含む、1つ以上のギャザリングトラックのセット(32)と、
を含む、取得するステップと、
前記1つ以上のソーストラック内に組み込まれた前記スライスの第1の部分を、前記構成命令によって通知された置換(68)によって置換することにより、および/または、前記1つ以上のソーストラック内に組み込まれた前記スライスの第2の部分(70)をコピーすることにより、
前記1つ以上のギャザリングトラックのセット(32)内の構成命令に従って、前記セクション固有のビデオデータストリーム(52)を合成(62)するステップと、
前記セクション固有のビデオデータストリーム(52)をビデオデコーダ(72)によって復号化させるステップと、
を含む方法。 - ビデオストリーミングのための方法であって、前記方法は、シーンを表し、かつ前記シーン内の関心領域の位置を指示する情報を前記位置が時間的に変化する形で伴って、ビデオストリーミングサーバからクライアントにストリーミングされている、ビデオストリームを伴うことを含む、ビデオストリーミングの方法。
- シーンを表すビデオストリームをビデオストリーミングサーバから取得するための方法であって、前記ビデオストリームに付随する情報を使用して、前記シーン内の関心領域の位置を、前記位置が時間的に変化する形で決定することを含む、方法。
- 請求項52〜55のいずれか一項に記載の方法を、コンピュータ上で動いているときに実行するためのプログラムコードを有するコンピュータプログラム。
- デジタル記憶媒体であって、請求項34に記載のビデオデータが前記デジタル記憶媒体上に格納されたデジタル記憶媒体。
- 請求項52または54に記載のビデオストリーミング方法によってストリーミングされたストリーム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16153929 | 2016-02-02 | ||
EP16153929.1 | 2016-02-02 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018540380A Division JP6766157B2 (ja) | 2016-02-02 | 2017-02-01 | ビデオストリーミングにおけるシーンセクションと関心領域の処理 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020205632A true JP2020205632A (ja) | 2020-12-24 |
JP7273766B2 JP7273766B2 (ja) | 2023-05-15 |
Family
ID=55359394
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018540380A Active JP6766157B2 (ja) | 2016-02-02 | 2017-02-01 | ビデオストリーミングにおけるシーンセクションと関心領域の処理 |
JP2020155204A Active JP7273766B2 (ja) | 2016-02-02 | 2020-09-16 | ビデオストリーミングにおけるシーンセクションと関心領域の処理 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018540380A Active JP6766157B2 (ja) | 2016-02-02 | 2017-02-01 | ビデオストリーミングにおけるシーンセクションと関心領域の処理 |
Country Status (8)
Country | Link |
---|---|
US (2) | US11134282B2 (ja) |
EP (1) | EP3412032A1 (ja) |
JP (2) | JP6766157B2 (ja) |
KR (2) | KR102618049B1 (ja) |
CN (2) | CN108886639B (ja) |
CA (1) | CA3013111C (ja) |
TW (1) | TWI672040B (ja) |
WO (1) | WO2017134110A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017134110A1 (en) | 2016-02-02 | 2017-08-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Scene section and region of interest handling in video streaming |
CN106101847A (zh) * | 2016-07-12 | 2016-11-09 | 三星电子(中国)研发中心 | 全景视频交互传输的方法和系统 |
CN109644286B (zh) * | 2016-08-30 | 2021-08-17 | 索尼公司 | 分发装置和方法、接收装置和方法、介质和内容分发系统 |
US10601886B2 (en) * | 2018-02-05 | 2020-03-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Method, a user equipment and a computer program product for enabling a dynamic adaptive streaming over HTTP, DASH, player to fetch media segments from a network |
WO2019195037A1 (en) | 2018-04-03 | 2019-10-10 | Futurewei Technologies, Inc. | Bitstream signaling of error mitigation in sub-picture bitstream based viewport dependent video coding |
GB2575074B (en) * | 2018-06-27 | 2022-09-28 | Canon Kk | Encapsulating video content with an indication of whether a group of tracks collectively represents a full frame or a part of a frame |
CN110798707B (zh) * | 2018-08-02 | 2023-06-16 | 华为技术有限公司 | 传输媒体数据的方法、客户端和服务器 |
US10779014B2 (en) | 2018-10-18 | 2020-09-15 | At&T Intellectual Property I, L.P. | Tile scheduler for viewport-adaptive panoramic video streaming |
CN111263191B (zh) * | 2018-11-30 | 2023-06-27 | 中兴通讯股份有限公司 | 视频数据的处理方法、装置、相关设备及存储介质 |
US10897627B2 (en) | 2019-01-11 | 2021-01-19 | Western Digital Technologies, Inc. | Non-volatile memory system including a partial decoder and event detector for video streams |
GB2587364B (en) * | 2019-09-24 | 2023-11-15 | Canon Kk | Method, device, and computer program for encapsulating media data into a media file |
WO2021058814A1 (en) * | 2019-09-27 | 2021-04-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Merging friendly file format |
US11064194B2 (en) | 2019-10-31 | 2021-07-13 | Western Digital Technologies, Inc. | Encoding digital videos using controllers of data storage devices |
CN111079567B (zh) * | 2019-11-28 | 2020-11-13 | 中科驭数(北京)科技有限公司 | 采样方法、模型生成方法、视频行为识别方法及装置 |
US10979784B1 (en) | 2019-12-02 | 2021-04-13 | CodeShop, B.V. | Track format for carriage of event messages |
US10841645B1 (en) | 2019-12-09 | 2020-11-17 | Western Digital Technologies, Inc. | Storage system and method for video frame segregation to optimize storage |
CN115023955A (zh) * | 2020-01-29 | 2022-09-06 | 诺基亚技术有限公司 | 用于视频流传输的方法、装置和计算机程序产品 |
US11526435B2 (en) | 2020-02-04 | 2022-12-13 | Western Digital Technologies, Inc. | Storage system and method for automatic data phasing |
US11562018B2 (en) | 2020-02-04 | 2023-01-24 | Western Digital Technologies, Inc. | Storage system and method for optimized surveillance search |
US11328511B2 (en) | 2020-03-13 | 2022-05-10 | Western Digital Technologies, Inc. | Storage system and method for improved playback analysis |
US11546406B2 (en) * | 2020-04-13 | 2023-01-03 | Tencent America LLC | Media systems and methods including mixed event message tracks |
US20220109856A1 (en) * | 2020-10-06 | 2022-04-07 | Samsung Electronics Co., Ltd. | Access of essential video coding (evc) slices in a file |
US11218784B1 (en) | 2021-04-09 | 2022-01-04 | CodeShop, B.V. | Method and system for inserting markers in a media presentation |
CN116912385B (zh) * | 2023-09-15 | 2023-11-17 | 深圳云天畅想信息科技有限公司 | 视频帧自适应渲染处理方法、计算机装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014111421A1 (en) * | 2013-01-18 | 2014-07-24 | Canon Kabushiki Kaisha | Method of displaying a region of interest in a video stream |
WO2015197815A1 (en) * | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
WO2015198725A1 (ja) * | 2014-06-23 | 2015-12-30 | キヤノン株式会社 | 通信装置、通信方法、及びプログラム |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004047062A2 (en) * | 2002-11-14 | 2004-06-03 | Opentv, Inc. | Positioning of images in a data stream |
US7379608B2 (en) * | 2003-12-04 | 2008-05-27 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. | Arithmetic coding for transforming video and picture data units |
JP4185013B2 (ja) * | 2004-04-14 | 2008-11-19 | 日本電信電話株式会社 | 動画像受信表示方法,動画像送信方法,動画像受信表示装置,動画像送信装置,動画像受信表示プログラム,動画像送信プログラムおよびそれらのプログラム記録媒体 |
DE102007049351A1 (de) | 2007-10-15 | 2009-04-16 | Siemens Ag | Verfahren und Vorrichtung zum Erstellen eines kodierten Ausgangsvideostroms aus mindestens zwei kodierten Eingangsvideoströmen, sowie Verwendung der Vorrichtung und kodierter Eingangsvideostrom |
US20120174196A1 (en) * | 2010-12-30 | 2012-07-05 | Suresh Bhogavilli | Active validation for ddos and ssl ddos attacks |
US9554142B2 (en) * | 2011-01-28 | 2017-01-24 | Eye IO, LLC | Encoding of video stream based on scene type |
US20120300048A1 (en) * | 2011-05-25 | 2012-11-29 | ISC8 Inc. | Imaging Device and Method for Video Data Transmission Optimization |
ES2625097T3 (es) * | 2011-09-07 | 2017-07-18 | Sun Patent Trust | Método de codificación de imágenes y aparato de codificación de imágenes |
US20130114694A1 (en) * | 2011-11-08 | 2013-05-09 | Qualcomm Incorporated | Parameter set groups for coded video data |
CN108337512B (zh) * | 2011-12-29 | 2020-10-27 | Lg 电子株式会社 | 视频编码和解码方法和使用该方法的装置 |
GB2501675B (en) * | 2012-03-27 | 2014-11-19 | Microsoft Corp | Encoding and transmitting video streams |
US9516308B2 (en) * | 2012-04-27 | 2016-12-06 | Qualcomm Incorporated | Parameter set updates in video coding |
US8887215B2 (en) * | 2012-06-11 | 2014-11-11 | Rgb Networks, Inc. | Targeted high-value content in HTTP streaming video on demand |
CN108718410B (zh) * | 2012-06-26 | 2022-05-24 | Lg 电子株式会社 | 视频编码方法、视频解码方法和使用其的装置 |
JP2015526006A (ja) * | 2012-06-29 | 2015-09-07 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | ビデオ・データストリーム・コンセプト |
TWI669952B (zh) * | 2012-09-18 | 2019-08-21 | 美商Vid衡器股份有限公司 | 使用圖塊及圖塊組的感興趣區域視訊編碼的方法及裝置 |
WO2014057131A1 (en) * | 2012-10-12 | 2014-04-17 | Canon Kabushiki Kaisha | Method and corresponding device for streaming video data |
EP2941891B1 (en) * | 2013-01-04 | 2020-09-16 | GE Video Compression, LLC | Efficient scalable coding concept |
WO2014113603A2 (en) * | 2013-01-16 | 2014-07-24 | Huawei Technologies Co., Ltd. | Storing and transmitting content for downloading and streaming |
KR101965374B1 (ko) * | 2013-01-18 | 2019-04-03 | 캐논 가부시끼가이샤 | 비디오 데이터의 재생 방법 및 비디오 데이터를 재생하기 위한 디바이스 |
KR102416235B1 (ko) * | 2013-07-15 | 2022-07-05 | 지이 비디오 컴프레션, 엘엘씨 | 다계층식 비디오 코딩에서의 저지연 개념 |
GB2539461B (en) * | 2015-06-16 | 2020-01-08 | Canon Kk | Image data encapsulation |
US20170105004A1 (en) * | 2015-10-07 | 2017-04-13 | Qualcomm Incorporated | Methods and systems of coding a predictive random access picture using a background picture |
US10674185B2 (en) * | 2015-10-08 | 2020-06-02 | Koninklijke Kpn N.V. | Enhancing a region of interest in video frames of a video stream |
TWI579540B (zh) * | 2015-12-02 | 2017-04-21 | 財團法人工業技術研究院 | 多點光譜系統 |
WO2017134110A1 (en) * | 2016-02-02 | 2017-08-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Scene section and region of interest handling in video streaming |
US10291923B2 (en) * | 2016-05-24 | 2019-05-14 | Qualcomm Incorporated | Mapping of tile grouping and samples in HEVC and L-HEVC file formats |
-
2017
- 2017-02-01 WO PCT/EP2017/052159 patent/WO2017134110A1/en active Application Filing
- 2017-02-01 CA CA3013111A patent/CA3013111C/en active Active
- 2017-02-01 EP EP17702626.7A patent/EP3412032A1/en active Pending
- 2017-02-01 KR KR1020217012677A patent/KR102618049B1/ko active IP Right Grant
- 2017-02-01 KR KR1020187025388A patent/KR102248185B1/ko active IP Right Grant
- 2017-02-01 CN CN201780022056.9A patent/CN108886639B/zh active Active
- 2017-02-01 JP JP2018540380A patent/JP6766157B2/ja active Active
- 2017-02-01 CN CN202110421344.XA patent/CN113316023B/zh active Active
- 2017-02-02 TW TW106103456A patent/TWI672040B/zh active
-
2018
- 2018-08-01 US US16/052,132 patent/US11134282B2/en active Active
-
2020
- 2020-09-16 JP JP2020155204A patent/JP7273766B2/ja active Active
-
2021
- 2021-08-25 US US17/445,860 patent/US11917220B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014111421A1 (en) * | 2013-01-18 | 2014-07-24 | Canon Kabushiki Kaisha | Method of displaying a region of interest in a video stream |
WO2015198725A1 (ja) * | 2014-06-23 | 2015-12-30 | キヤノン株式会社 | 通信装置、通信方法、及びプログラム |
WO2015197815A1 (en) * | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
Also Published As
Publication number | Publication date |
---|---|
CN113316025A (zh) | 2021-08-27 |
JP2019507980A (ja) | 2019-03-22 |
WO2017134110A1 (en) | 2017-08-10 |
CN113316024A (zh) | 2021-08-27 |
CA3013111A1 (en) | 2017-08-10 |
US20220109898A1 (en) | 2022-04-07 |
KR102618049B1 (ko) | 2023-12-27 |
US11917220B2 (en) | 2024-02-27 |
EP3412032A1 (en) | 2018-12-12 |
CA3013111C (en) | 2022-08-30 |
KR102248185B1 (ko) | 2021-05-04 |
JP7273766B2 (ja) | 2023-05-15 |
KR20180110015A (ko) | 2018-10-08 |
CN113316023A (zh) | 2021-08-27 |
CN108886639B (zh) | 2021-05-07 |
JP6766157B2 (ja) | 2020-10-07 |
CN108886639A (zh) | 2018-11-23 |
US11134282B2 (en) | 2021-09-28 |
KR20210049205A (ko) | 2021-05-04 |
CN113316023B (zh) | 2023-10-27 |
TWI672040B (zh) | 2019-09-11 |
US20190174161A1 (en) | 2019-06-06 |
TW201733355A (zh) | 2017-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6766157B2 (ja) | ビデオストリーミングにおけるシーンセクションと関心領域の処理 | |
JP6516766B2 (ja) | 分割タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラム | |
RU2635549C1 (ru) | Способ, устройство и компьютерная программа для инкапсуляции масштабируемых разделенных данных мультимедиа с временной привязкой | |
JP6572222B2 (ja) | メディアファイルの生成方法、生成装置、及びプログラム | |
KR20180018662A (ko) | 동작 포인트 디스크립터가 동적으로 설정될 수 있는 캡슐화된 비트-스트림으로부터 미디어 데이터 및 메타데이터를 획득하는 방법, 디바이스, 및 컴퓨터 프로그램 | |
JP7439762B2 (ja) | 情報処理装置および情報処理方法、並びにプログラム | |
CN112369016A (zh) | 信息处理装置、信息处理方法和程序 | |
JP7373581B2 (ja) | メディアコンテンツにおけるレイトバインディングのための方法および装置 | |
KR101944601B1 (ko) | 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스 | |
GB2567485A (en) | Method and device for exchanging data between a web application and an associated web engine | |
CN113316025B (zh) | 视频流传输中的场景部分和感兴趣区域处理 | |
CN113316024B (zh) | 视频流传输中的场景部分和感兴趣区域处理 | |
US20240022792A1 (en) | Method for bandwidth switching by cmaf and dash clients using addressable resource index tracks and events | |
KR20240070610A (ko) | Cmaf 및 dash 멀티미디어 스트리밍을 위한 주소 지정 가능한 리소스 인덱스 이벤트 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201013 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7273766 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |