JP2021528891A - メディアコンテンツを送信する方法、装置及びコンピュータプログラム - Google Patents
メディアコンテンツを送信する方法、装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2021528891A JP2021528891A JP2020564931A JP2020564931A JP2021528891A JP 2021528891 A JP2021528891 A JP 2021528891A JP 2020564931 A JP2020564931 A JP 2020564931A JP 2020564931 A JP2020564931 A JP 2020564931A JP 2021528891 A JP2021528891 A JP 2021528891A
- Authority
- JP
- Japan
- Prior art keywords
- track
- tracks
- group
- picture
- belonging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000004590 computer program Methods 0.000 title claims description 12
- 238000005538 encapsulation Methods 0.000 claims description 58
- 238000003860 storage Methods 0.000 claims description 11
- 230000008054 signal transmission Effects 0.000 claims description 2
- 230000011664 signaling Effects 0.000 claims 1
- 238000012856 packing Methods 0.000 description 64
- 239000000523 sample Substances 0.000 description 55
- 239000002131 composite material Substances 0.000 description 32
- 238000000605 extraction Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 21
- 230000007246 mechanism Effects 0.000 description 20
- 238000009877 rendering Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 19
- 238000012360 testing method Methods 0.000 description 17
- 239000000203 mixture Substances 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 230000001419 dependent effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012952 Resampling Methods 0.000 description 7
- 239000012634 fragment Substances 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 102100025027 E3 ubiquitin-protein ligase TRIM69 Human genes 0.000 description 3
- 101000830203 Homo sapiens E3 ubiquitin-protein ligase TRIM69 Proteins 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000019491 signal transduction Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
- H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
前記データ構造は、前記トラックグループの全ての前記トラックによって共有される記述的情報を有する。
メディアデータを符号化することと、請求項8に記載の前記カプセル化する方法に従って、前記符号化メディアデータを少なくとも第1又は第2のトラックグループに属する複数のトラックにカプセル化することと、少なくとも1つのメディアファイルを生成することを有し、前記少なくとも1つのメディアファイルは、前記第1及び第2のトラックを有する、ことを特徴とする方法が提供される。
ボックスタイプ: ‘trgr'
コンテナ: TrackBox (‘trak')
必須: No
数量: 0又は1
aligned(8) class TrackGroupBox extends Box(‘trgr') {
}
このトラックグループボックスは、以下の通り定義されるトラックグループタイプボックスのセットを含むことができる:
aligned(8) class TrackGroupTypeBox(unsigned int(32) track_group_type)
extends FullBox(track_group_type, version = 0, flags = 0)
{
unsigned int(32) track_group_id;
// 残りのデータは、特定のtrack_group_typeに指定されてよい
}
aligned(8) class SpatialRelationship2DSourceBox
extends FullBox(’2dsr', 0, 0) {
unsigned int(32) total_width;
unsigned int(32) total_height;
unsigned int(32) source_id;
}
aligned(8) class SubPictureRegionBox extends FullBox('sprg',0,0) {
unsigned int(16) object_x;
unsigned int(16) object_y;
unsigned int(16) object_width;
unsigned int(16) object_height;
}
aligned(8) class SpatialRelationship2DDescriptionBox extends TrackGroupTypeBox('2dcc')
{
// track_group_idはTrackGroupTypeBoxから引き継がれる;
SpatialRelationship2DSourceBox(); // 必須,最初でなければならない
SubPictureRegionBox (); // オプション
}
unsigned int(16) object_x;
unsigned int(16) object_y;
unsigned int(16) object_width;
unsigned int(16) object_height;
}
ここで、object_xは、対応する空間関係トラックグループによって指定される座標系内のこのグループのサンプルの左上角の水平位置を指定する。位置値は、もしあれば、トラック幅及び高さによって引き起こされる黙示的なリサンプリングを適用する前の値であり、0〜total_width−1の範囲内に含まれ、total_widthは、対応するSpatialRelationship2DDescriptionBoxに含まれる場合、object_yは、対応する空間関係トラックグループによって指定される座標系内のこのグループのサンプルの左上角の垂直位置を指定する。位置値は、もしあれば、トラック幅と高さによって引き起こされる黙示的なリサンプリングを適用する前の値であり、0〜total_height−1の範囲内に含まれ、total_heightは対応するSpatialRelationship2DDescriptionBoxに含まれる場合、object_widthは、対応する空間関係トラックグループによって指定された座標系内のこのグループのサンプルの幅を指定する。
aligned(8) class EntityToGroupBox(grouping_type, version, flags)
extends FullBox(grouping_type, version, flags) {
unsigned int(32) group_id;
unsigned int(32) num_entities_in_group;
for(i=0; i<num_entities_in_group; i++)
unsigned int(32) entity_id;
// 残りのデータは特定のgrouping_typeに対して指定されてよい
}
aligned(8) class EntityToGroupBox(‘egco’, version, flags)
extends FullBox(‘egco’, version, flags) {
unsigned int(32) group_id;
unsigned int(32) num_entities_in_group;
for(i=0; i<num_entities_in_group; i++)
unsigned int(32) entity_id;
unsigned int(16) total_width;
unsigned int(16) total_height;
unsigned int(32) source_id;
}
ここで、total_widthとtotal_heightは、合成のサイズを提供し、オプションのsource_idパラメータは、ソースのための一意の識別子を提供し、ソースに関連付けられた座標系(つまり、原点(0,0)とそれらの軸の方向)を黙示的に定義する。
unsigned int(16) object_x;
unsigned int(16) object_y;
unsigned int(16) object_width;
unsigned int(16) object_height;
}
aligned(8) class SpatialRelationship2DDescriptionBox extends TrackGroupTypeBox('2dcc')
{
// track_group_idはTrackGroupTypeBoxから継承される;
SubPictureRegionBox ();
}
ここで、object_x、object_y、object_width、object_heightは、合成内の各トラックの相対的な2次元座標を提供する。タイプ‘egco’の所定のEntityToGroupBoxは、group_idがtrack_group_idと等しいように定義することによって、対応するSpatialRelationship2DDescriptionBoxに関連付けられる。
aligned(8) class 2DCoordinateForEntityGroupBox extends FullBox('2dco', version, flags)
{
unsigned int(32) entity_group_id;
unsigned int(16) object_x;
unsigned int(16) object_y;
unsigned int(16) object_width;
unsigned int(16) object_height;
}
ここで、entity_group_idはグループを定義する関連するEntityToGroupBox(‘egco’)の識別子を提供し、object_xとobject_yは合成内のこのトラックのサンプルの左上角の水平位置と垂直位置を提供し、及び、object_widthとobject_heightは合成内のこのトラックのサンプルの幅と高さを提供する。
class 2DCoordinateForEntityGroupBox extends VisualSampleGroupEntry('2dco')
{
unsigned int(32) entity_group_id;
unsigned int(16) object_x;
unsigned int(16) object_y;
unsigned int(16) object_width;
unsigned int(16) object_height;
}
aligned(8) class RegionWisePackingStruct() {
unsigned int(1) constituent_picture_matching_flag;
bit(7) reserved = 0;
unsigned int(8) num_regions;
unsigned int(32) proj_picture_width;
unsigned int(32) proj_picture_height;
unsigned int(16) packed_picture_width;
unsigned int(16) packed_picture_height;
for (i = 0; i < num_regions; i++) {
bit(3) reserved = 0;
unsigned int(1) guard_band_flag[i];
unsigned int(4) packing_type[i];
if (packing_type[i] == 0) {
RectRegionPacking(i);
if (guard_band_flag[i])
GuardBand(i);
}
}
}
aligned(8) class SpatialRelationship2DDescriptionBox extends TrackGroupTypeBox('2dcc')
{
// track_group_idはTrackGroupTypeBoxから継承される;
SpatialRelationship2DSourceBox(); // 必須, 最初でなければならない
SubPictureRegionBox (); // オプション
CoverageInformationBox(); // オプション
}
ボックスタイプ: 'covi'
コンテナ: 投影全方向性ビデオボックス(‘povd’)
必須: No
数量: 0以上
aligned(8) class CoverageInformationBox extends FullBox('covi', 0, 0) {
ContentCoverageStruct()
}
unsigned int(32) total_width;
unsigned int(32) total_height;
unsigned int(32) source_id;
unsigned int(2) reference_picture;
unsigned int(1) complete_set;
unsigned int(29) reserved;
}
ここで、total_width、total_height、及びsource_idのセマンティクは未変更のままであり、reference_picture(ここでは2ビットで表される)は、このトラックグループのサブピクチャトラックに分割されたソースイメージを指定する。値「0」を取る場合、このトラックグループ内のサブピクチャトラックの位置は、キャプチャピクチャの座標系で表されることを示す(これはデフォルト値である)。値「1」を取る場合、このトラックグループ内のサブピクチャトラックの位置は、投影ピクチャの座標系で表されることを示す。値2を取る場合、このトラックグループ内のサブピクチャトラックの位置は、フレームパック化ピクチャの座標系で表されることを示す。値3を取る場合、このトラックグループ内のサブピクチャトラックの位置は、パック化ピクチャの座標系で表されることを示す。
aligned(8) class SpatialRelationship2DSourceBox extends FullBox('2dsr', 0, 0) {
unsigned int(32) total_width;
unsigned int(32) total_height;
unsigned int(1) complete_set;
unsigned int(30) reserved;
}
代替実施形態では、より多くのビットが、再構成に関連する追加情報に割り当てられ得る。例えば、1つの代わりに2ビットを使用することは、トラックグループ内のサブピクチャのセットから再構築が完了再構築をもたらすかどうかをメディアプレーヤ又ISOBMFF パーサに示すことができ(例えば、2ビットが値「00」、小数で0を取る場合)、又はそれが全体ピクチャのサブセットをもたらす場合、すなわち再構築が1つ以上のギャップを含む(例えば、2ビットが値「01」、小数で1を取る場合)、又はそれが全体ピクチャのスーパーセットをもたらす場合、すなわち再構築が重複である部分を含む(例えば、2ビットが値「10」、小数で2を取る場合)。2ビットが値「11」、少数で3を取る場合、再構築がギャップと重複の両方を含む。再構成に関連する情報を記述するために、単純な指示以上が使用される場合、再構成を記述するパラメータは、トラックグループ記述の中に専用記述子に編成されてもよい。
// track_group_idはTrackGroupTypeBoxから継承される;
SpatialRelationship2DSourceBox(); // 必須, 最初でなければならない
SubPictureRegionBox (); // オプション
ReconstructionInfoBox(); // オプション
}
ここで、ReconstructionInfoBox()は、再構成の以下の情報を提供し、サブピクチャトラックのセットは、完全ソース、サブセット(ギャップ)、又はスーパーセット(重複)に対応する。この値により、例えば、重複の場合と同様に、ギャップがどこにあるかの記述が提供される。ギャップ及び重複の両方があってもよいことに留意されたい。
{
// track_group_idは、TrackGroupTypeBoxから継承される;
SpatialRelationship2DSourceBox(); // 必須, 最初でなければならない
SubPictureRegionBox (); // オプション
if (version == 1) {
GroupEquivalenceBox();
}
}
GroupEquivalenceBoxがFullBoxとして定義されている場合
aligned(8) class GroupEquivalenceBox extends TrackGroupTypeBox('grev')
{
// track_group_idは、TrackGroupTypeBoxから継承される;
unsigned int (32) track_group_IDs[];
}
aligned(8) class SpatialRelationship2DSourceBox
extends FullBox('2dsr', version, 0) {
unsigned int(32) total_width;
unsigned int(32) total_height;
unsigned int(32) source_id;
if (version == 1) {
unsigned int (32) equivalent_group_ID[]
}
}
aligned(8) class SpatialRelationship2DSourceBox
extends FullBox('2dsr', version, flags) {
unsigned int(32) total_width;
unsigned int(32) total_height;
unsigned int(32) source_id;
if ( (flags&0x02) == 1) {
unsigned int (32) equivalent_group_ID[]
}
}
unsigned int(16) object_x;
unsigned int(16) object_y;
unsigned int(16) object_width;
unsigned int(16) object_height;
if (version == 1) {
unsigned int(32) equivalent_track_IDs[];
}
}
ここで、equivalent_track_IDsパラメータは、このトラックグループに関連する現在のトラックと同等と見なされ得るトラックのための、track_ID(トラックヘッダボックスで宣言されたトラック識別子用)のリストを提供する。versionパラメータを使用する代わりに、フラグパラメータが使用される場合、‘sprg’ボックスは次のようになる。
aligned(8) class SubPictureRegionBox extends FullBox('sprg',version,flags) {
unsigned int(16) object_x;
unsigned int(16) object_y;
unsigned int(16) object_width;
unsigned int(16) object_height;
if ( (flags & 0x02) == 1) {
unsigned int(32) equivalent_track_IDs[];
}
}
コンテナ: TrackBox or TrackGroupBox
必須: No
数量: 0又は1
以下のセマンティクスで、TrackGroupBoxで使用される場合、track_IDsは、参照トラックグループのトラックグループ識別子(TrackGroupTypeBoxからのtrack_group_id)を提供する整数の配列である。参照タイプの使用のために可能な値のリストは、次のように‘eqiv’値で拡張される。‘eqiv’、つまりこのトラックグループは、それぞれが参照されたトラックグループ内の等価トラックを有するトラックを含む。参照されるトラックグループからのどのトラックがこのトラックグループにおいて所定のトラックに対応するかを判定するために、トラックグループのタイプとトラックグループ内のトラックプロパティに依存して、パーサ次第である。例えば、サブピクチャトラックの場合、同じ位置で同じサイズのトラックは等価性あると見なされ得る。図6を参照して以下に説明するように、‘trgr’ボックス601及び602は、トラックグループレベルでこの‘tref’を介して関連付けられ得る。等価トラックグループの宣言のための代替実施形態に関して、トラック参照タイプは、記述に関してより正確であってよい。単一の‘eqiv’トラック参照タイプを定義する代わりに、2つの新しいトラック参照タイプが使用され得る、つまりビットストリーム等価性(例えば‘beqv’)用に1つ、表示等価性(例えば‘deqv’)用にもう1つ。
class aligned(8) Extractor () {
NALUnitHeader();
do {
unsigned int(8) constructor_type;
if( constructor_type == 0 )
SampleConstructor();
else if( constructor_type == 2 )
InlineConstructor();
else if ( constructor_type == 4)
SampleConstructorWithAlternatives();
} while( !EndOfNALUnit() )
}
構文
class aligned(8) SampleConstructorWithAlternatives () {
unsigned int(8) ref_index; // トラック又はtrack_groupインデックスであってよい
signed int(8) sample_offset;
unsigned int((lengthSizeMinusOne+1)*8) data_offset;
unsigned int((lengthSizeMinusOne+1)*8) data_length;
}
以下のセマンティクスで
sample_offset:A.3.3の中で指定される通り。
data_offset:コピーするための参照サンプル内の最初のバイトのオフセット。抽出がそのサンプル内のデータの最初のバイトから始まる場合、オフセットは値0を取る。
data_length:DCOR3のA.7.4.1.2で指定される通り。特定の構造体を有するこのような抽出手段は、図2a、ステップ2242又は図2bのステップ242からのカプセル化ステップで使用され得る。
aligned(8) class SpatialRelationship2DSourceBox
extends FullBox('2dsr', 0, 0) {
unsigned int(32) total_width;
unsigned int(32) total_height;
unsigned int(32) source_id;
unsigned int (32) subset_id;
}
ここで、subset_idは、同じ空間位置でサブピクチャトラックのセットのための識別子であり、ビットストリームに関して等価又は切り替え可能である。これは、ビットストリーム連結中に、サブセット内の同等のトラックのいずれか1つの、あるサンプルのためのバイトが、同じサブセット内の任意の他の同等のトラックの同じサンプルのためのバイトの代わりに使用されてよい。あるいは、subset_idは、例えば‘2dcc’track grouping_typeの場合の‘sprg’ボックスである、トラックグループ内のトラックのプロパティを記述するパラメータのセットにおいて定義されてよい。
aligned(8) class SpatialRelationship2DDescriptionBox extends TrackGroupTypeBox('2dcc') {
// track_group_idはTrackGroupTypeBoxから引き継がれる;
SpatialRelationship2DSourceBox(); // 必須, 最初でなければならない
SubPictureRegionBox (); // オプション
SphericalRegionBox (); // オプション
}
aligned(8) class SphericalRegionBox extends FullBox('sspr', 0, 0) {
SphereRegionStruct(1);
}
ここで、SphereRegionStructは、方位角(垂直)及び仰角(水平)次元の範囲を有する三重項(centre_azimuth、center_elevation、center_pitch)又は時々(yaw、pitch、roll)として球領域を指定する。
aligned(8) class SpatialRelationship2DDescriptionBox extends TrackGroupTypeBox('2dcc')
{
// track_group_idはTrackGroupTypeBoxから引き継がれる;
SpatialRelationship2DSourceBox(); // 必須, 最初でなければならない
SubPictureRegionBox (); // オプション
}
aligned(8) class SpatialRelationship2DSourceBox extends FullBox('2dsr', 0, 0) {
unsigned int(32) total_width;
unsigned int(32) total_height;
unsigned int(32) source_id;
unsigned int(1) reference_picture;
unsigned int(31) reserved
}
{
// track_group_idはTrackGroupTypeBoxから引き継がれる;
SpatialRelationship2DSourceBox(flags); // 必須, 最初でなければならない
SubPictureRegionBox (); // オプション
}
aligned(8) class SpatialRelationship2DSourceBox extends FullBox('2dsr', 0, flags) {
unsigned int(32) total_width;
unsigned int(32) total_height;
unsigned int(32) source_id;
if ( (flags & 0x01) == 1) {
unsigned int(1) reference_picture;
unsigned int(31) reserved
}
}
ここで、値「0」を取る場合にこのグループ内のサブピクチャトラックのための位置が投影ピクチャ座標系で表されることを示す新しいパラメータである。パラメータの名前は、一例として付与される。同様に、total_width及びtotal_heightは、投影ピクチャの幅及び高さをそれぞれ示す。
aligned(8) class ExplicitSpatialRelationship2DDescriptionBox extends TrackGroupTypeBox('edcc', 0, flags)
{
// track_group_idはTrackGroupTypeBoxから引き継がれる;
ExplicitSpatialRelationship2DSourceBox(flags); // 必須, 最初でなければならない
SubPictureRegionBox (); // オプション
}
aligned(8) class ExplicitSpatialRelationship2DSourceBox extends FullBox('edsr', 0, flags) {
unsigned int(32) total_width;
unsigned int(32) total_height;
unsigned int(32) source_id;
unsigned int(8) reference_picture;
}
Claims (21)
- 符号化時限メディアデータを、1つの同じトラックグループに属する少なくとも第1及び第2のトラックにカプセル化する方法であって、
前記メディアデータは、フルフレームで構成される1以上のビデオシーケンスに対応し、
前記方法は、少なくとも第1又は第2のトラックのために、
前記第1のトラックにカプセル化された1つのフレームの第1の空間部分の空間的関係に関する記述的情報を、前記第2のトラックにカプセル化された前記フレームの第2の空間部分に、提供することを有し、
同じトラックのグループに属する前記トラックに共有される、前記記述的情報は、前記第1及び前記第2の空間部分の両方によりカバーされる前記領域が、フルフレームを形成するか否かを示す、
ことを特徴とする方法。 - 前記記述的情報は、トラックグループの全ての前記トラックによって共有される記述的情報を有する、同じデータ構造に提供される、
ことを特徴とする請求項1に記載の方法。 - 前記データ構造は、TrackGroupTypeBoxである、
ことを特徴とする請求項2に記載の方法。 - 前記記述的情報は、
前記第1及び前記第2の空間部分によってカバーされる前記領域が、フルフレームである場合には第1の値、前記第1及び前記第2の空間部分によってカバーされる前記領域が、フルフレームでない場合には第2の値を取る、前記トラックグループの全ての前記トラックに提供されるパラメータを有する、
ことを特徴とする請求項1に記載の方法。 - 前記記述的情報は、前記第1及び前記第2の空間部分によってカバーされる前記領域が、前記フルフレームでない場合には、前記フルフレームから前記欠落空間部分に信号伝達するためのパラメータをさらに含む、
ことを特徴とする請求項1に記載の方法。 - メディアファイルを生成する方法であって、
フルフレームで構成される1以上のビデオシーケンスをキャプチャすることと、
前記1以上のビデオシーケンスの前記フレームに対応するメディアデータを符号化することと、
前記符号化メディアデータを、請求項1に記載の前記カプセル化する方法に従って、1つの同じトラックグループに属する少なくとも第1及び第2のトラックにカプセル化することと、
前記第1及び第2のトラックを有する、少なくとも1つのメディアファイルを生成することを含む、
ことを特徴とする方法。 - メディアファイルから少なくとも1つのフレームを取得する方法であって、
前記メディアファイルは、1つの同じトラックグループに属する少なくとも1つの第1及び第2のトラックにカプセル化された符号化時限メディアデータを有し、
前記メディアデータは、フルフレームで構成される1以上のビデオシーケンスに対応し、
前記方法は、
前記第1及び前記第2のトラックに関連付けられた情報を解析することを有し、
前記解析された情報は、前記第2のトラックにカプセル化された前記フレームの第2の空間部分とともに、前記第1のトラックにカプセル化された前記1つのフレームの第1の空間部分の空間的関係に関する記述的情報を有し、
トラックグループの全ての前記トラックによって共有される前記記述的情報は、前記第1及び前記第2の空間部分の両方によってカバーされる前記領域が、フルフレームを形成するか否かを示すことを有する、
ことを特徴する方法。 - 符号化時限メディアデータを少なくとも第1又は第2の同じグループタイプのトラックグループに属する複数のトラックにカプセル化する方法であって、
前記方法は、前記第1のトラックグループに属する前記複数のトラックの前記トラックのために、
記述的情報を提供することを有し、
前記記述的情報は、前記第1のトラックグループに属する少なくとも1つのトラックと前記第2のトラックグループに属する少なくとも1つのトラックが、切り替え可能であることを示す、
ことを特徴とする方法。 - 前記記述的情報は、前記第1のトラックグループに属する全ての前記トラックによって共有される、
ことを特徴とする請求項8に記載の方法。 - 前記記述的情報は、同じデータ構造に提供され、
前記データ構造は、前記トラックグループの全ての前記トラックによって共有される記述的情報を有する、
ことを特徴とする請求項8に記載の方法。 - 前記データ構造は、前記トラックグループに信号伝達するための識別子を有し、
前記トラックは前記第1のトラックグループの前記トラックと切り替え可能である、
ことを特徴とする請求項10に記載の方法。 - 前記記述的情報は、前記トラックグループに信号伝達する1以上のパラメータのみを含む専用データ構造であり、
前記トラックは、前記第1のトラックグループの前記トラックと切り替え可能である、
ことを特徴とする請求項8に記載の方法。 - メディアファイルを生成する方法であって、
メディアデータを符号化することと、
請求項8に記載の前記カプセル化する方法に従って、前記符号化メディアデータを少なくとも第1又は第2のトラックグループに属する複数のトラックにカプセル化することと、
少なくとも1つのメディアファイルを生成することを有し、
前記少なくとも1つのメディアファイルは、前記第1及び第2のトラックを有する、
ことを特徴とする方法。 - メディアファイルからメディアデータを取得する方法であって、
前記メディアファイルは、少なくとも1つの第1又は第2の同じグループタイプのトラックグループに属する複数のトラックにカプセル化された符号化時限メディアデータを有し、
前記方法は、
前記第1及び前記第2のトラックに関連付けられた情報を解析することを有し、
前記解析された情報は、前記第1のトラックグループに属する少なくとも1つのトラックと前記第2のトラックグループに属する少なくとも1つのトラックが切り替え可能であることを示す、記述的情報を有する、
ことを特徴とする方法。 - 符号化時限メディアデータを同じトラックグループに属する少なくとも1つの第1及び第2のトラックにカプセル化するコンピューティングデバイスであって、
前記メディアデータは、フルフレームで構成される1以上のビデオシーケンスに対応し、
少なくとも第1又は第2のトラックのために構成されるコンピューティングデバイスであって、
前記第1のトラックにカプセル化された1つのフレームの第1の空間部分の空間的関係に関する記述的情報を、前記第2のトラックにカプセル化された前記フレームの第2の空間部分に提供することを有し、
同じトラックグループに属する前記トラックによって共有される前記記述的情報は、前記第1及び前記第2の空間部分の両方にカバーされる前記領域が、フルフレームを形成するか否かを示す、
ことを特徴とするコンピューティングデバイス。 - 符号化メディアデータを少なくとも第1又は第2の同じグループタイプのトラックグループに属する複数のトラックにカプセル化するコンピューティングデバイスであって、
前記コンピューティングデバイスは、
前記第1のトラックグループに属する前記複数のトラックの前記トラックのために、記述的情報を提供するように構成され、
前記記述的情報は、前記第1のトラックグループに属する少なくとも1つのトラックと前記第2のトラックグループに属する少なくとも1つのトラックが、切り替え可能であることを示す、
ことを特徴とするコンピューティングデバイス。 - メディアファイルから少なくとも1つのフレームを取得するコンピューティングデバイスであって、
前記メディアファイルは、1つの同じトラックグループに属する少なくとも第1及び第2のトラックにカプセル化された符号化時限メディアデータを有し、
前記メディアデータは、フルフレームで構成される1以上のビデオシーケンスに対応し、
前記コンピューティングデバイスは、
前記第1及び前記第2のトラックに関連付けられた情報を解析するように構成され、
前記解析された情報は、前記第1のトラックにカプセル化された1つのフレームの第1の空間部分の空間的関係に関する記述的情報を含み、
前記トラックグループの全ての前記トラックによって共有される前記記述的情報は、前記第1及び前記第2の空間部分の両方によってカバーされる前記領域が、フルフレームを形成するか否かを示す、
ことを特徴とするコンピューティングデバイス。 - メディアファイルからメディアデータを取得するコンピューティングデバイスであって、
前記メディアファイルは、少なくとも第1又は第2の同じグループタイプのトラックグループに属する複数のトラックにカプセル化された符号化時限メディアデータを有し、
前記コンピューティングデバイスは、
前記第1及び前記第2のトラックに関連付けられた情報を解析するように構成され、
前記解析された情報は、前記第1のトラックグループに属する少なくとも1つのトラックと前記第2のトラックグループに属する少なくとも1つのトラックが切り替え可能であることを示す、記述的情報を有する、
ことを特徴とするコンピューティングデバイス。 - プログラム可能な装置のコンピュータプログラム製品であって、
前記コンピュータプログラム製品は、前記プログラム可能な装置によってロードされ実行される場合、請求項1から14のいずれか1項に記載の方法を実行するための一連の命令を備える、
ことを特徴とするコンピュータプログラム製品。 - 請求項1から14のいずれか1項に記載の方法を実行するために、コンピュータプログラムの命令を格納するコンピュータ可読記憶媒体。
- 実行すると、請求項1から14のいずれか1項に記載の方法が実行されるようにするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022155292A JP7472220B2 (ja) | 2018-06-27 | 2022-09-28 | 方法、プログラム、及びデバイス |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1810563.5A GB2575074B (en) | 2018-06-27 | 2018-06-27 | Encapsulating video content with an indication of whether a group of tracks collectively represents a full frame or a part of a frame |
GB1810563.5 | 2018-06-27 | ||
PCT/EP2019/066334 WO2020002122A1 (en) | 2018-06-27 | 2019-06-20 | Method, device, and computer program for transmitting media content |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022155292A Division JP7472220B2 (ja) | 2018-06-27 | 2022-09-28 | 方法、プログラム、及びデバイス |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021528891A true JP2021528891A (ja) | 2021-10-21 |
JP7154314B2 JP7154314B2 (ja) | 2022-10-17 |
Family
ID=63143593
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020564931A Active JP7154314B2 (ja) | 2018-06-27 | 2019-06-20 | メディアコンテンツを送信する方法、装置及びコンピュータプログラム |
JP2022155292A Active JP7472220B2 (ja) | 2018-06-27 | 2022-09-28 | 方法、プログラム、及びデバイス |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022155292A Active JP7472220B2 (ja) | 2018-06-27 | 2022-09-28 | 方法、プログラム、及びデバイス |
Country Status (4)
Country | Link |
---|---|
US (2) | US11765407B2 (ja) |
JP (2) | JP7154314B2 (ja) |
GB (1) | GB2575074B (ja) |
WO (1) | WO2020002122A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024038961A1 (ko) * | 2022-08-18 | 2024-02-22 | 한국전자기술연구원 | 비디오 기반의 증강현실 컨텐츠 제공 시스템 |
JP7471731B2 (ja) | 2020-10-14 | 2024-04-22 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | メディアファイルのカプセル化方法、メディアファイルのカプセル化解除方法及び関連機器 |
JP7472292B2 (ja) | 2019-12-31 | 2024-04-22 | ノキア テクノロジーズ オサケユイチア | ビデオ符号化およびビデオ復号のための方法、装置、およびコンピュータプログラム製品 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11968374B2 (en) * | 2019-07-03 | 2024-04-23 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and device for coding and decoding |
GB2587364B (en) * | 2019-09-24 | 2023-11-15 | Canon Kk | Method, device, and computer program for encapsulating media data into a media file |
US11589032B2 (en) * | 2020-01-07 | 2023-02-21 | Mediatek Singapore Pte. Ltd. | Methods and apparatus for using track derivations to generate new tracks for network based media processing applications |
CN115022715B (zh) | 2020-06-04 | 2023-07-25 | 腾讯科技(深圳)有限公司 | 一种沉浸媒体的数据处理方法及设备 |
CN116584099A (zh) * | 2020-09-24 | 2023-08-11 | Lg电子株式会社 | 媒体文件处理方法及媒体文件处理装置 |
EP4226631A1 (en) * | 2020-10-07 | 2023-08-16 | Nokia Technologies Oy | A coded picture with mixed vcl nal unit type |
US11900687B2 (en) * | 2021-07-06 | 2024-02-13 | Canoo Technologies Inc. | Fisheye collage transformation for road object detection or other object detection |
GB2611105B (en) * | 2021-09-28 | 2024-01-17 | Canon Kk | Method, device and computer program for optimizing encapsulation of redundant portions of metadata in fragments of media file |
WO2024028330A1 (en) * | 2022-08-01 | 2024-02-08 | Dolby International Ab | Methods, apparatus and systems for isobmff file enhanced grouping of tracks |
CN116634209B (zh) * | 2023-07-24 | 2023-11-17 | 武汉能钠智能装备技术股份有限公司 | 一种基于热插拔的断点视频恢复系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015008774A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および方法 |
JP2016521497A (ja) * | 2013-04-16 | 2016-07-21 | キヤノン株式会社 | パーティションで分割された時分割メディアデータをストリーミングするための方法、装置、およびコンピュータプログラム |
JP2017525249A (ja) * | 2014-07-01 | 2017-08-31 | キヤノン株式会社 | Hevc階層化メディアデータをカプセル化する方法、装置およびコンピュータプログラム |
US20180061002A1 (en) * | 2016-08-25 | 2018-03-01 | Lg Electronics Inc. | Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2492585C2 (ru) | 2008-07-16 | 2013-09-10 | Нокиа Корпорейшн | Способ и устройство для группирования треков и подмножеств треков |
US8976871B2 (en) * | 2009-09-16 | 2015-03-10 | Qualcomm Incorporated | Media extractor tracks for file format track selection |
KR101290467B1 (ko) | 2009-09-22 | 2013-07-26 | 퀄컴 인코포레이티드 | 2 개 이상의 비연속적인 nal 유닛들을 참조하는 추출자를 이용하는 멀티-트랙 비디오 코딩 방법들 및 장치 |
US10320867B2 (en) * | 2014-01-07 | 2019-06-11 | Canon Kabushiki Kaisha | Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data |
US9922680B2 (en) | 2015-02-10 | 2018-03-20 | Nokia Technologies Oy | Method, an apparatus and a computer program product for processing image sequence tracks |
GB2539462B (en) * | 2015-06-16 | 2019-04-03 | Canon Kk | Obtaining media data and metadata from encapsulated bit-streams wherein operating point descriptors can be dynamically set |
KR102618049B1 (ko) * | 2016-02-02 | 2023-12-27 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 비디오 스트리밍의 관심 장면 섹션 및 영역 처리 |
US10419768B2 (en) * | 2016-03-30 | 2019-09-17 | Qualcomm Incorporated | Tile grouping in HEVC and L-HEVC file formats |
GB2550604A (en) * | 2016-05-24 | 2017-11-29 | Canon Kk | Method, device, and computer program for encapsulating and parsing timed media data |
US11197040B2 (en) * | 2016-10-17 | 2021-12-07 | Mediatek Inc. | Deriving and signaling a region or viewport in streaming media |
US10841621B2 (en) * | 2017-03-01 | 2020-11-17 | Wyse Technology L.L.C. | Fault recovery of video bitstream in remote sessions |
US10778993B2 (en) * | 2017-06-23 | 2020-09-15 | Mediatek Inc. | Methods and apparatus for deriving composite tracks with track grouping |
-
2018
- 2018-06-27 GB GB1810563.5A patent/GB2575074B/en active Active
-
2019
- 2019-06-20 JP JP2020564931A patent/JP7154314B2/ja active Active
- 2019-06-20 US US17/255,374 patent/US11765407B2/en active Active
- 2019-06-20 WO PCT/EP2019/066334 patent/WO2020002122A1/en active Application Filing
-
2022
- 2022-09-28 JP JP2022155292A patent/JP7472220B2/ja active Active
-
2023
- 2023-08-02 US US18/364,229 patent/US20240040170A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016521497A (ja) * | 2013-04-16 | 2016-07-21 | キヤノン株式会社 | パーティションで分割された時分割メディアデータをストリーミングするための方法、装置、およびコンピュータプログラム |
WO2015008774A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および方法 |
JP2017525249A (ja) * | 2014-07-01 | 2017-08-31 | キヤノン株式会社 | Hevc階層化メディアデータをカプセル化する方法、装置およびコンピュータプログラム |
US20180061002A1 (en) * | 2016-08-25 | 2018-03-01 | Lg Electronics Inc. | Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7472292B2 (ja) | 2019-12-31 | 2024-04-22 | ノキア テクノロジーズ オサケユイチア | ビデオ符号化およびビデオ復号のための方法、装置、およびコンピュータプログラム製品 |
JP7471731B2 (ja) | 2020-10-14 | 2024-04-22 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | メディアファイルのカプセル化方法、メディアファイルのカプセル化解除方法及び関連機器 |
WO2024038961A1 (ko) * | 2022-08-18 | 2024-02-22 | 한국전자기술연구원 | 비디오 기반의 증강현실 컨텐츠 제공 시스템 |
Also Published As
Publication number | Publication date |
---|---|
US20240040170A1 (en) | 2024-02-01 |
JP7472220B2 (ja) | 2024-04-22 |
GB2575074A (en) | 2020-01-01 |
JP7154314B2 (ja) | 2022-10-17 |
US11765407B2 (en) | 2023-09-19 |
WO2020002122A1 (en) | 2020-01-02 |
US20210377581A1 (en) | 2021-12-02 |
GB201810563D0 (en) | 2018-08-15 |
JP2022177265A (ja) | 2022-11-30 |
GB2575074B (en) | 2022-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7472220B2 (ja) | 方法、プログラム、及びデバイス | |
JP6960528B2 (ja) | メディアコンテンツを生成および処理するための方法、装置、およびコンピュータプログラム | |
JP7133038B2 (ja) | メディアコンテンツを送信する方法、装置及びコンピュータプログラム | |
JP7399224B2 (ja) | メディアコンテンツを送信するための方法、装置及びコンピュータプログラム | |
TW202007172A (zh) | 用於產生媒體資料的方法及設備 | |
US11638066B2 (en) | Method, device and computer program for encapsulating media data into a media file |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210119 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221004 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7154314 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |