JP2021057899A - 画像データカプセル化 - Google Patents

画像データカプセル化 Download PDF

Info

Publication number
JP2021057899A
JP2021057899A JP2020161802A JP2020161802A JP2021057899A JP 2021057899 A JP2021057899 A JP 2021057899A JP 2020161802 A JP2020161802 A JP 2020161802A JP 2020161802 A JP2020161802 A JP 2020161802A JP 2021057899 A JP2021057899 A JP 2021057899A
Authority
JP
Japan
Prior art keywords
image
images
information
box
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020161802A
Other languages
English (en)
Other versions
JP7039668B2 (ja
Inventor
フレデリック マゼ
Frederic Maze
フレデリック マゼ
フランク ドゥヌアル
Denoual Franck
フランク ドゥヌアル
ナエル ウエドラオゴ
Ouedraogo Nael
ナエル ウエドラオゴ
フェーブル ジャン ル
Le Feuvre Jean
フェーブル ジャン ル
シリル コンコラト
Concolato Cyril
シリル コンコラト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2021057899A publication Critical patent/JP2021057899A/ja
Priority to JP2021178907A priority Critical patent/JP7293312B2/ja
Application granted granted Critical
Publication of JP7039668B2 publication Critical patent/JP7039668B2/ja
Priority to JP2023094529A priority patent/JP2023120249A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Photoreceptors In Electrophotography (AREA)
  • Holo Graphy (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】静止画像のためのファイルフォーマットを改善すること。【解決手段】本発明の一実施形態による方法は、メタデータが格納されたボックスの階層構造を有する画像ファイルを生成する方法であって、該方法は、1つ以上の画像を取得し、1つ以上の画像のそれぞれに関連する1つ以上のプロパティを識別し、生成された画像ファイルは、(1)専用ボックスにリストされる、互いに識別される1つ以上のプロパティと、(2)1以上のプロパティのそれぞれの識別情報と、1以上の画像のそれぞれの識別情報とを関連付けるための関連情報とを含む。【選択図】図8

Description

本発明は、静止画像、静止画像のバースト又はビデオデータのような画像データを、記述メタデータとともにメディアコンテナーに記憶することに関する。そのようなメタデータは一般に、画像データ、及び画像データの一部への容易なアクセスを提供する。
このセクションにおいて説明される手法のうちの幾つかを推進することができたが、それらの手法は、必ずしも以前に考え出されたか、又は推進されてきた手法ではない。それゆえ、このセクションにおいて説明される手法は、必ずしも、本出願における特許請求の範囲に対する先行技術ではなく、このセクションに含むことによって、先行技術であるとは認められない。
HEVC規格は、静止画像の符号化のためのプロファイルを規定し、単一の静止画像又は静止画像のバーストを圧縮するための特定のツールを記述する。その種の画像データのために使用されるISOベースメディアファイルフォーマット(ISOBMFF)の拡張が、「画像ファイルフォーマット」という名称で、ISO/IEC23008規格のパート12に含むために提案された。その規格は、異なる使用事例に対応する2つの記憶形態をカバーする。
−任意選択で復号器において使用されるタイミングを有し、画像が他の画像に依存する場合がある画像シーケンスの記憶。
−単一の画像と、独立して符号化された画像の集合体の記憶。
第1の事例において、そのカプセル化は、ISOベースメディアファイルフォーマット(文献「Information technology - Coding of audio-visual objects - Part 12: ISO base media file format」ISO/IEC 14496-12:2014, Fifth edition, Avril 2015を参照)におけるビデオトラックのカプセル化に近く、「trak」ボックス及び記述のためのサンプルグループ化のような、同じツール及び概念が使用される。「trak」ボックスは、トラック、すなわち、関連するサンプルの時限シーケンスを記述するためにサブボックスを含むファイルフォーマットボックスである。
第2の事例において、ISOBMFFボックスの組、すなわち、「メタ」ボックスが使用される。これらのボックス及びその階層は、「トラック」ボックスより少ない記述ツールを提案し、関連するサンプルの代わりに、「情報アイテム」又は「アイテム」に関連する。
その画像ファイルフォーマットは、マルチメディアファイルをローカルに表示するために、又はマルチメディアプレゼンテーションをストリーミングするために使用することができる。HEVC静止画像は数多くの適用例を有するが、適用例は多くの問題を提起する。
画像バーストが1つの適用例である。画像バーストは、カメラによって取り込まれたスチール写真のシーケンスであり、単一の表現として記憶される(多くの写真アイテムが1つのデータブロックを参照する)。ユーザーがこれらの写真上で幾つかのタイプの作業、すなわち、写真をサムネイル又はカバーとして選択すること、これらの写真に効果を加えること等を実行したい場合がある。
したがって、データブロック内のその対応するバイトで写真のリストを識別するために記述メタデータが必要とされている。
コンピュテーショナルフォトグラフィが別の適用例である。コンピュテーショナルフォトグラフィでは、ユーザーが、異なる解像度(異なる露光、異なる焦点等)の同じ写真にアクセスできる。これらの異なる解像度は、選択することができるように、及びデータの対応する部分の場所を特定して処理(レンダリング、編集、送信等)のために抽出できるように、メタデータとして記憶されなければならない。
それゆえ、サイズの観点から写真解像度が上がると、これらの大きな写真のうちの幾つかの空間部分のみを容易に識別及び抽出することができるように、十分な記述を与える必要がある。
別の種類の適用例は、例えば、ビデオ要約、ビデオ監視データ内の証拠画像等のために、ビデオシーケンスから特定の写真にアクセスすることである。
その種の適用例の場合、圧縮ビデオデータ及びビデオトラックメタデータに加えて、主要な画像に容易にアクセスできるようにする画像メタデータが必要とされている。
さらに、専門家用のカメラは高い空間解像度に達している。4K2K解像度を有するビデオ又は画像は今では一般的である。8K4Kビデオ又は画像であっても、今では一般的になりつつある。同時に、ビデオは、ビデオストリーミング能力を有するモバイルデバイス及び接続デバイス上でますます再生されるようになっている。したがって、モバイルデバイスのユーザーがビデオのサブパートを表示したいか、又はサブパートに焦点を合わせたい場合には、品質を維持するか、更には改善することによって、ビデオをタイルに分割することが重要になる。タイルを使用することによって、ユーザーは、それゆえ、ビデオの空間的なサブパートをインタラクティブに要求することができる。
それゆえ、メタデータボックスを単に構文解析する以外の更なる処理を用いることなくアクセス可能にするために、ビデオのこれらの空間サブパートをファイルフォーマットにおいてコンパクトに記述することが必要とされている。画像がそのように記述されたビデオに対応する場合、ユーザーは空間サブパートにアクセスすることにも関心がある。
さらに、ユーザーは通常、画像を変換又は構成して、新たな派生画像を生成する。これらの派生画像は、他の画像又は画像の組に、回転又はクリッピングのような、1つ以上の指定された作業を適用することによって取得される。
したがって、元の画像から派生画像を検索するために、1つ以上の入力画像に適用されることになる作業をファイルフォーマット内にメタデータとして記述する必要がある。
ISO/IEC23008−12規格は、最近になって議論されている、静止画像をファイルフォーマットにカプセル化するための2つの方法をカバーする。
1つの方法が、「トラック」ボックスと、関連付けられる記述ツールを伴う関連するサンプルの時限シーケンスの概念とに基づき、別の方法は、対象領域記述及びタイリングサポートのために特に、サンプルの代わりに、より少ない記述ツールを与える情報アイテムに基づく「メタ」ボックスに基づく。
したがって、新たな画像ファイルフォーマットにおいてタイリングサポートを提供することが必要とされている。
タイルの使用は、従来技術において、特に圧縮時に一般に知られている。ISOベースメディアファイルフォーマットにおけるインデックス化に関して、ISO/IEC14496規格「Carriage of NAL unit structured video in the ISO Base Media File Format」のパート15の修正案において、タイリング記述子が存在する。
しかしながら、これらの記述子は、「トラック」ボックス及びサンプルグループ化ツールに頼っており、「メタ」ベース手法を使用するとき、静止画像ファイルフォーマットにおいて使用することができない。そのような記述子を用いない場合、このファイルフォーマットにおいて記憶された符号化ピクチャからタイルを選択し、抽出するのが複雑になる。
図1は、MPEGコントリビューションm32254において開示されるような、ISOベースメディアファイルフォーマットの「メタ」ボックス(100)内のタイルで符号化された静止画像の記述を示す。
タイルピクチャ(102、103、104及び105)ごとのそれぞれの情報アイテムに加えて、フルピクチャ101のための情報アイテムが規定される。それらの情報アイテムは、「ItemInfoBox」(iinf)と呼ばれるボックス内に記憶される。ISOBMFF規格からの「ItemReferenceBox」と呼ばれるボックス(106)が、フルピクチャの情報アイテムと、タイルピクチャ(108)に対応する4つの情報アイテムとの間に「タイル」関係(107)が存在することを示すために使用される。「ItemLocationBox」と呼ばれるボックス(109)が、各情報アイテムを表す符号化データ(110)内のバイト範囲(複数の場合もある)を与えるように、各情報アイテムの識別子が使用される。EXIFメタデータ(111)をフルピクチャ(101)のための情報アイテムに関連付けるために、別のボックス「ItemReferenceBox」(112)が使用され、対応するデータブロック(111)がメタデータボックス(110)内に作成される。また、EXIFメタデータを識別するために付加的な情報アイテム(113)が作成される。
フルピクチャ及びそのタイルが情報アイテムとして導入される場合であっても、ここでは、タイリング情報が与えられない。さらに、付加的なメタデータを情報アイテム(EXIF等)に関連付けるとき、付加的な「ItemReferenceBox」を用いて参照されるデータブロックが作成されない。
EXIFからのタイリングに関する情報を再利用し、静止画像ファイルフォーマット案において規定される機構を再利用しても、既存のEXIFタグで規則的でないグリッドを記述することはできない。
したがって、静止画像、とりわけHEVC静止画像のためのファイルフォーマットを改善することが依然として必要とされている。詳細には、このファイルフォーマットで記憶される静止画像内の対象領域を抽出するための方法が必要とされている。
本発明は上記の状況内にある。
本発明の第1の態様によれば、1つ以上の画像を表す符号化ビットストリームをカプセル化する方法が提供され、その方法は、
−画像エリアを1つ以上のタイルに分割するための空間パラメーターを含むタイル記述情報を与えることと、
−単一の画像のタイルを表すビットストリームの部分を識別するタイルピクチャアイテム情報を与えることと、
−上記タイルピクチャアイテムを上記タイル記述情報にリンクする参照情報を与えることと、
−上記ビットストリームを、上記与えられた情報とともに、カプセル化データファイルとして出力することと、
を含む。
出力は、規定された規格に従って実行される場合があり、読出し可能及び復号可能である。
第1の態様による方法は、構文要素を構文解析することによって、複雑な計算を用いることなく、例えば、超高解像度画像(4K2K、8K4K...)からタイルを容易に識別、選択、及び抽出することを可能にする。
ISOベースメディアファイルフォーマットのメタデータボックスの記述ツールは拡張することができる。詳細には、これにより、タイル記述を情報アイテムに関連付けることが可能になる。
「メタ」ボックス階層のパートは、付加的な記述ツールを与えるように、特に、静止画像内のタイルベースアクセスをサポートするように拡張することができる。
第1の態様による方法は、符号化HEVC静止ピクチャから、HEVCタイルに基づいて対象領域を容易に抽出することを可能にする。
本発明の実施形態は、HEVC規格に従って符号化された静止画像のためのタイル記述サポート及びタイルアクセスを提供する。
これは、静止画像のためのビデオトラックのために入手可能な対象領域特徴を保存することを可能にする。一般に、ユーザー定義の対象領域に対応する静止ピクチャのパートを、レンダリングのために、又はメディアプレーヤーに送信するために、識別し、容易に抽出することができる。
例えば、上記カプセル化された符号化ビットストリームは、ビデオシーケンスに対応する上記データストリームの時限部分を識別する情報も含む。
それゆえ、このビデオの一部である幾つかの静止画像内と同じ、ビデオへのアクセスしやすさを与える二重インデックス化を、単一のデータ部分上に与えることができる。
例えば、記述情報はタイルピクチャアイテムごとに、空間パラメーターの組を含む。
例えば、タイル記述情報は、2つ以上のタイルピクチャアイテムに共通の空間パラメーターを含む。
例えば、タイル記述情報はビットストリーム内に埋め込まれる。
例えば、タイル記述情報はメタデータとして与えられる。
例えば、参照情報は、参照タイプと、上記タイル記述情報を含む付加的な記述メタデータとを含む。
例えば、参照情報は、参照タイプと、上記タイル記述情報に関連する参照パラメーターとを含む。
その方法は、ビットストリーム内の上記タイル記述情報を参照するためのメタデータアイテムを与えることを更に含むことができる。
例えば、タイルピクチャアイテムはグループ化され、タイルピクチャアイテムのグループを上記タイル記述情報にリンクするための参照情報が与えられる。
例えば、メタデータアイテムを別のアイテムにリンクする全ての参照が、カプセル化されたデータファイル内の単一の参照ボックス内に含まれる。
例えば、任意のタイプの、1つのアイテムからの全ての関係が単一のアイテム情報記述子内に記憶される。
例えば、上記出力することは、アダプティブストリーミングのためにサーバーモジュールによって実行される。
例えば、上記出力することは、メモリに記憶するために実行される。
例えば、上記出力することは、表示のためにディスプレイモジュールによって実行される。
例えば、上記出力することは、送信のために通信モジュールによって実行される。
例えば、上記カプセル化されたデータファイルは標準化されたファイルフォーマットに対応する。
例えば、上記カプセル化されたデータファイルは復号可能及び再生可能である。
本発明の第2の態様によれば、1つ以上の画像に対応する符号化ビットストリームと、画像エリアを1つ以上のタイルに分割するための空間パラメーターを含むタイル記述情報を含む情報とを含む、カプセル化されたデータファイルを処理する方法が提供され、その方法は、
−画像対象領域を選択することと、
−上記タイル記述情報から、選択された対象エリアに対応するタイルを識別することと、
−上記識別されたタイルにリンクされる1つ以上のタイルピクチャアイテムを選択することであって、各タイルピクチャアイテムは単一の画像のタイルを表すビットストリームの部分を識別することと、
−選択されたタイルピクチャアイテム(複数の場合もある)によって識別されたビットストリームの部分を抽出することと、
−上記抽出されたビットストリーム部分を出力することと、
を含む。
例えば、上記出力することは、アダプティブストリーミングのためにサーバーモジュールによって実行される。
例えば、上記出力することは、メモリに記憶するために実行される。
例えば、上記出力することは、表示のためにディスプレイモジュールによって実行される。
例えば、上記出力することは、送信のために通信モジュールによって実行される。
例えば、上記カプセル化されたデータファイルは標準化されたファイルフォーマットに対応する。
例えば、上記カプセル化されたデータファイルは復号可能及び再生可能である。
本発明の第3の態様によれば、カプセル化ファイルにカプセル化するための少なくとも1つの画像を表す画像データを処理する方法が提供され、その方法は、
−上記少なくとも1つの画像の複数の画像部分への空間細分割を取得することと、
−上記複数の画像部分のうちの1つの画像部分を表す、上記画像データ内のデータ部分を識別する少なくとも1つの部分識別データを特定することと、
−上記画像データを、少なくとも、
○上記少なくとも1つの画像の上記細分割を表す細分割記述データと、
○上記部分識別データと、
○上記細分割記述データ及び上記部分識別データをリンクする参照データと、
ともに、上記カプセル化ファイルにカプセル化することと、
を含む。
例えば、上記画像データはビデオシーケンスの複数の画像を表し、その方法は、上記ビデオシーケンスの時間部分を表す、上記画像データ内のデータ部分を識別する少なくとも1つの時間識別データを特定することを更に含み、上記画像データは、上記時間識別データとともにカプセル化される。
例えば、上記ビデオシーケンスの上記時間部分の画像の同じ画像部分をそれぞれ表す、複数の部分識別データが特定される。
例えば、少なくとも上記細分割記述データが画像データへのメタデータとしてカプセル化される。
例えば、上記空間細分割は、上記画像データを含むビットストリーム内に埋め込まれる。
例えば、画像部分ごとに、それぞれの部分識別データが特定される。
例えば、複数の画像部分のための共通の部分識別データが特定される。
その方法は、サーバーデバイスによるアダプティブストリーミングのために、上記カプセル化ファイルをビットストリームの中に出力することを更に含むことができる。
その方法は、上記画像データを表示するためにディスプレイデバイスに送信するために、上記カプセル化ファイルをビットストリームの中に出力することを更に含むことができる。
その方法は、クライアントデバイスに送信するために、上記カプセル化ファイルをビットストリームの中に出力することを更に含むことができる。
その方法は、上記カプセル化ファイルを記憶デバイスに記憶することを更に含むことができる。
例えば、参照データは、参照タイプと、上記細分割記述データを含む付加的な記述メタデータとを含む。
例えば、参照データは、参照タイプと、上記細分割記述データに関連する参照パラメーターとを含む。
例えば、上記細分割記述データはメタデータアイテムにおいて参照される。
例えば、部分識別データはグループ化され、参照データは、部分識別データのグループを上記部分識別データにリンクする。
例えば、上記カプセル化されたファイルは、画像データのための全ての参照データを含む単一の参照ボックスを含む。
例えば、上記カプセル化されたファイルは、上記細分割記述データと、部分識別データと、参照データとの間の関係の表現を含む記述を含む。
本発明の第4の態様によれば、カプセル化ファイルを処理する方法が提供され、カプセル化ファイルは、
−少なくとも1つの画像を表す画像データと、
−上記少なくとも1つの画像データの複数の画像部分への空間細分割を表す細分割記述データと、
−上記複数の画像部分のうちの1つの画像部分を表す、上記画像データ内のデータ部分を識別する少なくとも1つの部分識別データと、
−上記細分割記述データと上記部分情報とをリンクする参照データと、
を含み、
その方法は、
−上記少なくとも1つの画像内の対象領域を特定することと、
−上記細分割記述データに基づいて、上記対象領域に属する少なくとも1つの画像部分を特定することと、
−上記参照データに基づいて、上記対象領域に属する上記少なくとも1つの画像部分を表す、上記画像データ内のデータ部分を識別する少なくとも1つの部分識別データにアクセスすることと、
−上記画像データ内の上記データ部分を抽出することと、
を含む。
例えば、上記画像データは、ビデオシーケンスの複数の画像を含み、上記カプセル化ファイルは、上記ビデオシーケンスの時間部分を表す、上記画像データ内のデータ部分を識別する少なくとも1つの時間識別データを更に含み、上記ビデオシーケンスの上記時間部分の画像のための対象領域が特定され、上記ビデオシーケンスの上記時間部分の複数の画像内の上記対象領域に対応するデータ部分が抽出される。
例えば、複数の部分識別データは、上記ビデオシーケンスの上記時間部分の画像の同じ画像部分をそれぞれ表す。
例えば、少なくとも上記細分割記述データが画像データへのメタデータとしてカプセル化される。
例えば、画像部分ごとに、それぞれの部分識別データが特定される。
例えば、複数の画像部分のための共通の部分識別データが特定される。
その方法は、上記カプセル化ファイルを、サーバーデバイスによって適応的にストリーミングされるビットストリームとして受信することを更に含むことができる。
その方法は、上記対象領域を表示することを更に含むことができる。
例えば、参照データは、参照タイプと、上記細分割記述データを含む付加的な記述メタデータとを含む。
例えば、参照データは、参照タイプと、細分割記述データに関連する参照パラメーターとを含む。
例えば、上記細分割記述データはメタデータアイテムにおいて参照される。
例えば、部分識別データはグループ化され、参照データは、部分識別データのグループを上記部分識別データにリンクする。
例えば、上記カプセル化されたファイルは、画像データのための全ての参照データを含む単一の参照ボックスを含む。
例えば、上記カプセル化されたファイルは、上記細分割記述データと、部分識別データと、参照データとの間の関係の表現を含む記述を含む。
本発明の第5の態様によれば、第1の態様による方法を実施するように構成されるデバイスが提供される。
そのデバイスは、
−画像エリアを1つ以上のタイルに分割するための空間パラメーターを含むタイル記述情報を与え、単一の画像のタイルを表すビットストリームの部分を識別するピクチャアイテム情報を与え、上記タイルピクチャアイテムを上記タイル記述情報にリンクする参照情報を与えるように構成される処理ユニットと、
−上記ビットストリームを、上記与えられた情報とともに、カプセル化されたデータファイルとして出力するように構成される通信ユニットと、
を備えることができる。
本発明の第6の態様によれば、第2の態様による方法を実施するように構成されるデバイスが提供される。
そのデバイスは、1つ以上の画像に対応する符号化ビットストリームと、画像エリアを1つ以上のタイルに分割するための空間パラメーターを含むタイル記述情報を含む情報とを含む、カプセル化されたデータファイルを処理するように構成することができる。また、そのデバイスは、
−画像対象領域を選択し、上記タイル記述情報から、選択された対象エリアに対応するタイルを識別し、上記識別されたタイルにリンクされる、それぞれが単一の画像のタイルを表すビットストリームの部分を識別する1つ以上のピクチャアイテムを選択し、選択されたタイルピクチャアイテム(複数の場合もある)によって識別されたビットストリームの部分を抽出するように構成される処理ユニットと、
−上記抽出されたビットストリーム部分を出力するように構成される通信ユニットと、
を備えることができる。
本発明の第7の態様によれば、第3の態様による方法を実施するように構成されるデバイスが提供される。
そのデバイスは、カプセル化ファイルの中にカプセル化するための少なくとも1つの画像を表す画像データを処理するように構成することができ、そのデバイスは、上記少なくとも1つの画像の複数の画像部分への空間細分割を取得し、上記複数の画像部分のうちの1つの画像部分を表す、上記画像データ内のデータ部分を識別する少なくとも1つの部分識別データを特定し、上記画像データを、少なくとも、
−上記少なくとも1つの画像の上記細分割を表す細分割記述データと、
−上記部分識別データと、
−上記細分割記述データと上記部分識別データとをリンクする参照データと、
ともに、上記カプセル化ファイルの中にカプセル化するように構成される処理ユニットを備えることができる。
本発明の第8の態様によれば、第4の態様による方法を実施するように構成されるデバイスが提供される。
そのデバイスは、
−少なくとも1つの画像を表す画像データと、
−上記少なくとも1つの画像データの複数の画像部分への空間細分割を表す細分割記述データと、
−上記複数の画像部分のうちの1つの画像部分を表す、上記画像データ内のデータ部分を識別する少なくとも1つの部分識別データと、
−上記細分割記述データと上記部分情報とをリンクする参照データと、
を含むカプセル化ファイルを処理するように構成することができる。
また、そのデバイスは、上記少なくとも1つの画像内の対象領域を特定し、上記細分割記述データに基づいて、上記対象領域に属する少なくとも1つの画像部分を特定し、上記参照データに基づいて、上記対象領域に属する上記少なくとも1つの画像部分を表す、上記画像データ内のデータ部分を識別する少なくとも1つの部分識別データにアクセスし、上記画像データ内の上記データ部分を抽出するように構成される処理ユニットを備えることができる。
本発明の第9の態様によれば、
−第5の態様又は第7の態様による第1のデバイスと、
−上記第1のデバイスからのファイルを処理するための、第6の態様又は第8の態様による第2のデバイスと、
を備えるシステムが提供される。
本発明の第10の態様によれば、プログラム可能装置のコンピューター手段上にロードされ、実行されるときに、本発明の第1の態様、第2の態様、第3の態様及び/又は第4の態様による方法を実施するための命令を含む、コンピュータープログラム及びコンピュータープログラム製品が提供される。
本発明の第11の態様によれば、
1つ以上の画像を表す符号化ビットストリームをカプセル化する方法であって、カプセル化されたビットストリームはデータパートと、メタデータパートとを含む、方法が提供される。その方法は、
単一の画像のサブ画像又は画像を表すデータパートの部分を識別する画像アイテム情報を与えることと、
1つ以上の画像に関連する表示パラメーター及び/又は変換演算子を含むパラメーターを含む画像記述情報を与えることと、
上記ビットストリームを、上記与えられた情報とともに、カプセル化されたデータファイルとして出力することと、
を含み、
画像記述情報は、メタデータパート内に記憶される。
一実施形態において、画像記述情報に含まれる各パラメーターは、
−タイプ情報、及び/又は、
−画像アイテム情報を上記パラメーターにリンクするために使用される識別子、
を含む付加データに関連付けられる。
一実施形態において、メタデータパートは、ISOBMFFの「メタ」データボックス内に含まれる。
一実施形態において、付加データはヘッダーである。
一実施形態において、付加データは仮想アイテムである。
別の実施形態において、画像記述情報に含まれる各変換演算子が、変換済みアイテムを上記変換演算子にリンクするために使用される識別子を含む付加データに関連付けられる。
一実施形態において、メタデータパートに記憶されるボックスは、少なくとも1つの変換演算子を含む。
カプセル化されたビットストリームのデータパートは、1つ以上の変換演算子に関連付けられる変換済みアイテムを含み、メタデータパートは、
−変換演算子が適用される元の画像を識別するための情報と、
−データパート内の変換済みアイテムの場所を特定するための情報と、
を更に含む。
一実施形態において、変換済みアイテムは、少なくとも1つの変換インデックスを含み、インデックスはメタデータパート内の変換演算子のうちの1つを識別できるようにする。
本発明の第12の実施形態によれば、データパート内の1つ以上の画像に対応する符号化ビットストリームと、1つ以上の画像又はサブ画像に関連する表示パラメーター及び/又は変換演算子を含む画像又はサブ画像記述情報を含むメタデータパート内の情報とを含む、データパート及びメタデータパートを含むカプセル化されたデータファイルを処理する方法が提供される。その方法は、
−対象の画像又はサブ画像を選択することと、
−上記参照された画像又はサブ画像記述情報から、メタデータパートからの関連する表示パラメーター及び/又は変換演算子を識別することと、
−変換演算子が識別された場合、画像又はサブ画像に変換を適用するとともに、上記表示パラメーターに従って、最終的に変換された上記画像又はサブ画像を表示することと、
を含む。
一実施形態において、その方法は更に、識別するステップの前に、上記パラメーター内に含まれる付加データを検索することを含み、上記付加データは、
−タイプ情報、及び/又は、
−画像又はサブ画像アイテム情報を上記パラメーターにリンクするために使用される識別子、
を含む。
一実施形態において、メタデータパートは、ISOBMFFの「メタ」データボックス内に含まれる。
一実施形態において、付加データはヘッダーである。
一実施形態において、付加データは仮想アイテムである。
別の実施形態において、画像記述情報に含まれる各変換演算子が、変換済みアイテムを上記変換演算子にリンクするために使用される識別子を含む付加データに関連付けられる。
一実施形態において、メタデータパートに記憶されるボックスは、少なくとも1つの変換演算子を含む。
一実施形態において、カプセル化されたビットストリームのデータパートは、1つ以上の変換演算子に関連付けられる変換済みアイテムを含み、メタデータパートは、
−変換演算子が適用される元の画像を識別するための情報と、
−データパート内の変換済みアイテムの場所を特定するための情報と、
を更に含む。
一実施形態において、変換済みアイテムは、少なくとも1つの変換インデックスを含み、インデックスはメタデータパート内の変換演算子のうちの1つを識別できるようにする。
本発明の第13の態様によれば、本発明の第11の態様によるカプセル化方法を実施するように構成される、1つ以上の画像を表す符号化ビットストリームをカプセル化するサーバーデバイスが提供される。
本発明の第14の態様によれば、本発明の第12の態様による処理方法を実施するように構成される、1つ以上の画像を表す符号化ビットストリームをカプセル化するクライアントデバイスが提供される。
本発明の第15の態様によれば、プログラム可能装置のコンピューター手段上にロードされ、実行されるときに、本発明の第11の態様及び第12の態様による方法を実施するための命令を含む、コンピュータープログラム及びコンピュータープログラム製品が提供される。
本発明の第16の態様によれば、1つ以上の画像を表す符号化ビットストリームをカプセル化する方法であって、前記カプセル化されたビットストリームはデータパートとメタデータパートとを含み、該方法は、
単一の画像及び/又は単一の画像の組のサブ画像又は画像を表す前記データパートの部分を識別する画像アイテム情報を与えることと、
1つ以上の画像に関連する表示パラメーター及び/又は変換演算子を含むパラメーターを含む画像記述情報を与えることと、
前記ビットストリームを、前記与えられた情報とともに、カプセル化されたデータファイルとして出力することと、
を含む、方法が提供される。
前記画像アイテム情報は、前記検討対象のサブ画像又は単一の画像又は単一の画像の組に専用の前記画像記述情報の少なくとも一部を含む、1つ以上の特性を含み、前記画像記述情報は1つ以上のボックスにおいて規定される。
本発明のこの態様によれば、効率的な参照機構のためにデータ及びメタデータの明確な分離を提供できるようになる。
一実施形態において、前記画像アイテム情報はボックスであり、各画像アイテム情報の特性がボックスであり、前記特性ボックスはボックスのテーブルを形成するために編成される。
一実施形態において、各特性は、出現順又は前記ボックスのテーブル内の対応するボックスに従うことによって、前記サブ画像、又は前記画像及び/又は前記単一の画像の組に適用される。
一実施形態において、前記サブ画像又は前記単一の画像及び/又は前記単一の画像の組はビデオシーケンスに関連し、前記画像アイテム情報特性のうちの1つは前記ビデオシーケンスの初期化情報を参照する1つ以上の初期化パラメーターを含む。
一実施形態において、幾つかのサブ画像又は単一の画像及び/又は単一の画像の組の中で共有される前記画像記述情報の部分が1つの専用共有ボックス内で規定され、各画像記述情報は、前記検討対象の画像アイテム情報を少なくとも1つの画像記述情報にリンクするための構造を介して検索可能であり、前記リンク構造は、
検討対象の画像アイテム情報ごとの第1の識別子であって、該第1の識別子は、画像アイテム情報の特性として規定され、前記専用共有ボックス内の同じ値を有する第2の識別子を参照する、第1の識別子と、
前記専用共有ボックス内に含まれる1つ又は幾つかの第2の識別子であって、各第2の識別子は1つの画像記述情報を参照する、1つ又は幾つかの第2の識別子と、
を含む。
一実施形態において、幾つかのサブ画像又は単一の画像及び/又は単一の画像の組の中で共有される画像記述情報の部分は2つの専用共有ボックス内で規定され、一方の共有ボックスは前記表示パラメーターに関連し、他方の共有ボックスは前記変換演算子に関連し、各画像記述情報は、前記画像アイテム情報を少なくとも1つの画像記述情報にリンクするための構造を介して検索可能である。
一実施形態において、前記リンク構造は、前記画像アイテム情報と少なくとも1つの画像記述情報とをリンクする2つの参照タイプパラメーターを含み、各参照タイプパラメーターは、前記専用共有ボックスのうちの1つに特有である。
一実施形態において、前記リンク構造は、
検討対象の画像アイテム情報ごとの第1の識別子及び第2の識別子であって、該第1の識別子は、画像アイテム情報の特性として規定され、前記表示パラメーターに関連する前記専用共有ボックス内の第3の識別子を参照し、該第2の識別子は、画像アイテム情報の特性として規定され、前記変換演算子に関連する前記専用共有ボックス内の第4の識別子を参照する、第1の識別子及び第2の識別子と、
前記表示パラメーター及び前記変換演算子に関連する前記専用共有ボックス内にそれぞれ含まれる1つ又は幾つかの第3の識別子及び第4の識別子であって、各第3の識別子及び第4の識別子はそれぞれ、表示パラメーター及び変換演算子を参照する、1つ又は幾つかの第3の識別子及び第4の識別子と、
を備える。
一実施形態において、前記表示パラメーターのうちの1つは、単一の画像の部分に対応する単一の画像の組を規定するためのグリッドである。
一実施形態において、前記単一の画像の組からの前記画像は同じ単一の画像に関連する。
本発明の第17の態様によれば、1つ以上の画像を表すカプセル化されたビットストリームを取得する方法であって、前記カプセル化されたビットストリームは符号化データパートと、メタデータパートとを含み、該方法は、
単一の画像及び/又は単一の画像の組のサブ画像又は画像を表す前記データパートの部分を識別する画像アイテム情報を取得することと、
1つ以上の画像に関連する表示パラメーター及び/又は変換演算子を含むパラメーターを含む画像記述情報を取得することと、
前記ビットストリームを、前記決定された情報とともに、カプセル化されたデータファイルとして抽出することと、
を含む、方法が提供される。
前記画像アイテム情報は、前記検討対象のサブ画像又は単一の画像又は単一の画像の組に専用の画像記述情報の少なくとも一部を含む、1つ以上の特性を含み、前記画像記述情報は1つ以上のボックスにおいて規定される。
一実施形態において、前記画像アイテム情報はボックスであり、各画像アイテム情報の特性がボックスであり、前記特性ボックスはボックスのテーブルを形成するために編成される。
一実施形態において、各特性は、出現順又は前記ボックスのテーブル内の対応するボックスに従うことによって、前記サブ画像、又は前記画像及び/又は前記単一の画像の組に適用される。
一実施形態において、前記サブ画像又は前記単一の画像及び/又は前記単一画像の組はビデオシーケンスに関連し、前記画像アイテム情報特性のうちの1つは前記ビデオシーケンスの初期化情報を参照する1つ以上の初期化パラメーターを含む。
一実施形態において、幾つかのサブ画像又は単一の画像及び/又は単一の画像の組の中で共有される前記画像記述情報の部分は1つの専用共有ボックス内で規定され、各画像記述情報は、前記検討対象の画像アイテム情報を、少なくとも1つの画像記述情報にリンクするための構造を介して検索可能であり、前記リンク構造は、
検討対象の画像アイテム情報ごとの第1の識別子であって、該第1の識別子は、画像アイテム情報の特性として規定され、前記専用共有ボックス内の同じ値を有する第2の識別子を参照する、第1の識別子と、
前記専用共有ボックス内に含まれる1つ又は幾つかの第2の識別子であって、各第2の識別子は1つの画像記述情報を参照する、1つ又は幾つかの第2の識別子と、
を含む。
一実施形態において、幾つかのサブ画像又は単一の画像及び/又は単一の画像の組の中で共有される画像記述情報の部分は2つの専用共有ボックス内で規定され、一方の共有ボックスは前記表示パラメーターに関連し、他方の共有ボックスは前記変換演算子に関連し、各画像記述情報は、前記画像アイテム情報を少なくとも1つの画像記述情報にリンクするための構造を介して検索可能である。
一実施形態において、前記リンク構造は、前記画像アイテム情報と少なくとも1つの画像記述情報とをリンクする2つの参照タイプパラメーターを含み、各参照タイプパラメーターは、前記専用共有ボックスのうちの1つに特有である。
一実施形態において、前記リンク構造は、
検討対象の画像アイテム情報ごとの第1の識別子及び第2の識別子であって、該第1の識別子は、画像アイテム情報の特性として規定され、前記表示パラメーターに関連する前記専用共有ボックス内の第3の識別子を参照し、該第2の識別子は、画像アイテム情報の特性として規定され、前記変換演算子に関連する前記専用共有ボックス内の第4の識別子を参照する、第1の識別子及び第2の識別子と、
前記表示パラメーター及び前記変換演算子に関連する前記専用共有ボックス内にそれぞれ含まれる1つ又は幾つかの第3の識別子及び第4の識別子であって、各第3の識別子及び第4の識別子はそれぞれ、表示パラメーター及び変換演算子を参照する、1つ又は幾つかの第3の識別子及び第4の識別子と、
を備える。
一実施形態において、前記表示パラメーターのうちの1つは、単一の画像の部分に対応する単一の画像の組を規定するためのグリッドである。
一実施形態において、前記単一の画像の組からの前記画像は同じ単一の画像に関連する。
本発明の第18の態様によれば、本発明の第16の態様による方法を実施するために構成される、1つ以上の画像を表す符号化ビットストリームをカプセル化するためのデバイスが提供される。
本発明の第19の態様によれば、本発明の第17の態様による方法を実施するために構成される、1つ以上の画像を表すカプセル化されたビットストリームを処理するためのデバイスが提供される。
本発明の第20の態様によれば、本発明の第18の態様による第1のデバイスと、
前記第1のデバイスからのファイルを処理するための、本発明の第19の態様による第2のデバイスと、
を備える、システムが提供される。
本発明の第21の態様によれば、プログラムがロードされ、プログラム可能装置によって実行されるときに、本発明の第16の態様又は第17の態様による方法を実施するための命令を含む、コンピュータープログラム製品が提供される。
本発明の第22の態様によれば、コンピュータープログラムがロードされ、コンピューター又はマイクロプロセッサによって実行されるときに、本発明の第16の態様又は第17の態様による方法を実施するための前記プログラムの命令を記憶する、前記コンピューター又は前記マイクロプロセッサによって読出し可能な非一時的情報記憶手段が提供される。
本発明の第23の態様によれば、1つ以上の画像を表す符号化ビットストリームをカプセル化する方法であって、前記カプセル化されたビットストリームはデータパートとメタデータパートとを含み、該方法は、
単一の画像及び/又は単一の画像の組のサブ画像又は画像を表す前記データパートの部分を識別する画像アイテム情報を与えることと、
1つ以上の画像に関連する表示パラメーター及び/又は変換演算子を含むパラメーターを含む画像記述情報を与えることと、
前記ビットストリームを、前記与えられた情報とともに、カプセル化されたデータファイルとして出力することと、
を含む、方法が提供される。
前記画像記述情報は、1つ又は2つの専用ボックス内で規定され、各画像記述情報は、前記画像アイテム情報を少なくとも1つの画像記述情報にリンクするための構造を介して検索可能である。
一実施形態において、前記画像記述情報は1つの専用ボックス内で規定され、前記リンク構造は、前記画像アイテム情報と少なくとも1つの画像記述情報とをリンクする参照タイプパラメーターを含む。
一実施形態において、前記画像記述情報は1つ又は2つの専用ボックス内で規定され、前記リンク構造は、前記画像アイテム情報と少なくとも1つの画像記述情報とをリンクするためのインデックスの1つ又は2つの組を含み、各組は前記専用ボックスのうちの1つに関連付けられる。
一実施形態において、前記画像記述情報は2つの専用ボックス内で規定され、一方のボックスは前記表示パラメーターに関連し、他方のボックスは前記変換演算子に関連する。
一実施形態において、前記画像記述情報は2つの専用ボックス内で規定され、前記リンク構造は、前記2つの専用ボックスのうちのそれぞれ1つに関連付けられる2つの参照タイプパラメーターを含み、各参照タイプパラメーターは、前記画像アイテム情報と、前記関連付けられる専用ボックス内の少なくとも1つの画像記述情報とをリンクする。
本発明の第24の態様によれば、1つ以上の画像を表すカプセル化されたビットストリームを取得する方法であって、前記カプセル化されたビットストリームは符号化データパートと、メタデータパートとを含み、該方法は、
単一の画像及び/又は単一の画像の組のサブ画像又は画像を表す前記データパートの一部分を識別する画像アイテム情報を取得することと、
1つ以上の画像に関連する表示パラメーター及び/又は変換演算子を含むパラメーターを含む画像記述情報を取得することと、
前記ビットストリームを、前記決定された情報とともに、カプセル化されたデータファイルとして抽出することと、
を含み、
前記画像記述情報は、1つ又は2つの専用ボックス内で規定され、各画像記述情報は、前記画像アイテム情報を少なくとも1つの画像記述情報にリンクするための構造を介して検索可能である、方法が提供される。
一実施形態において、前記画像記述情報は1つの専用ボックス内で規定され、前記リンク構造は、前記画像アイテム情報と少なくとも1つの画像記述情報とをリンクする参照タイプパラメーターを含む。
一実施形態において、前記画像記述情報は1つ又は2つの専用ボックス内で規定され、前記リンク構造は、前記画像アイテム情報と少なくとも1つの画像記述情報とをリンクするためのインデックスの1つ又は2つの組を含み、各組は前記専用ボックスのうちの1つに関連付けられる。
一実施形態において、前記画像記述情報は2つの専用ボックス内で規定され、一方のボックスは前記表示パラメーターに関連し、他方のボックスは前記変換演算子に関連する。
一実施形態において、前記画像記述情報は2つの専用ボックス内で規定され、前記リンク構造は、前記2つの専用ボックスのうちのそれぞれ1つに関連付けられる2つの参照タイプパラメーターを含み、各参照タイプパラメーターは、前記画像アイテム情報と、前記関連付けられる専用ボックス内の少なくとも1つの画像記述情報とをリンクする。
本発明の第25の態様によれば、本発明の第23の態様による方法を実施するために構成される、1つ以上の画像を表す符号化ビットストリームをカプセル化するためのデバイスが提供される。
本発明の第26の態様によれば、本発明の第24の態様による方法を実施するために構成される、1つ以上の画像を表すカプセル化されたビットストリームを処理するためのデバイスが提供される。
本発明の第27の態様によれば、本発明の第25の態様による第1のデバイスと、
前記第1のデバイスからのファイルを処理するための、本発明の第26の態様による第2のデバイスと、
を備える、システムが提供される。
本発明の第28の態様によれば、プログラムがロードされ、プログラム可能装置によって実行されるときに、本発明の第23の態様又は第24の態様による方法を実施するための命令を含む、コンピュータープログラム製品が提供される。
本発明の第29の態様によれば、コンピュータープログラムがロードされ、コンピューター又はマイクロプロセッサによって実行されるときに、本発明の第23の態様又は第24の態様による方法を実施するための、前記プログラムの命令を記憶する、コンピューター又はマイクロプロセッサによって読出し可能な非一時的情報記憶手段が提供される。
本発明の他の特徴及び利点は、図1に加えて、添付の図面を参照する、非限定的な例示的実施形態の以下の説明から明らかになるであろう。
タイリングされたビデオの一例を示す図である。 HEVC内の種々のタイル/スライス構成を示す図である。 「トラック」ボックスを有するISOベースメディアファイルフォーマットによるタイルカプセル化を示す図である。 ISOBMFFの「メタ」ボックス内の情報アイテムを記述するための標準的なメタデータを示す図である。 情報アイテム記述への例示的な拡張を示す図である。 情報アイテム間の参照機構を示す図である。 本発明の実施形態の実施態様の状況を示す図である。 本発明の1つ又は複数の実施形態の実施態様のためのコンピューティングデバイスの概略的なブロック図である。
以下において、本発明の実施形態が説明される。
技術的状況をより深く理解するために、連続した時間フレームを有するビデオ200を示す図2を参照しながら、ビデオタイリングが説明される。各フレーム201は、「タイル」T1〜T8と呼ばれる8つの部分に(ここでは、長方形部分)に分割される。タイルの数及び形状は異なることができる。以下において、ビデオフレームのどのインデックスでも、タイリングは同じであると考えられる。
このタイリングの結果は8つの独立したサブビデオ202である。これらのサブビデオは、グローバルビデオ全体の1つの区分を表す。独立した各サブビデオは、例えば、AVC又はHEVC規格に従って、独立したビットストリームとして符号化することができる。サブビデオは、例えば、HEVC規格のタイル又はAVC規格のスライスのような、単一のビデオのビットストリームの一部とすることもできる。
HEVC規格は、ピクチャの異なる空間細分割、すなわち、タイル、スライス及びスライスセグメントを規定する。これらの異なる細分割(又は区分)は、異なる目的のために導入されてきた。すなわち、スライスはストリーミング問題に関連し、一方、タイル及びスライスセグメントは並列処理のために規定された。
タイルは、整数の符号化ツリーユニット(CTU:Coding Tree Units)を含むピクチャの長方形領域を画定する。図3は、行境界及び列境界301、302によって画定される画像300のタイリングを示す。これは、位置及びサイズの観点から、タイルを対象領域記述のための良好な候補にする。しかしながら、構文の観点からのHEVC規格ビットストリーム編成と、ネットワーク抽象レイヤ(NAL)ユニットへのそのカプセル化とはむしろ、スライスに基づく(AVC規格と同様)。
HEVC規格によれば、スライスはスライスセグメントの組であり、少なくとも第1のスライスセグメントは独立スライスセグメントであり、他のスライスセグメントは、存在する場合、従属スライスセグメントである。スライスセグメントは、整数の連続したCTU(ラスター走査順)を含む。スライスセグメントは、必ずしも長方形の形状を有しない(したがって、対象領域を表す場合にタイルより適していない)。スライスセグメントは、「slice_segment_header」と呼ばれるヘッダー、及びこれに後続する「slice_segment_data」と呼ばれるデータとして、HEVCビットストリーム内に符号化される。独立スライスセグメント及び従属スライスセグメントはそのヘッダーによって異なる。すなわち、従属スライスセグメントは、独立スライスセグメントのヘッダーからの情報を再利用するので、より短いヘッダーを有する。独立スライスセグメント及び従属スライスセグメントはいずれも、タイルへの、又はエントロピー復号同期点への、ビットストリーム内のエントリポイントのリストを含む。
図3は、スライス、スライスセグメント及びタイルの画像310及び320の異なる構成を示す。これらの構成は、1つのタイルが1つのスライスを有する(1つの独立スライスセグメントのみを含む)画像300の構成とは異なる。画像310は、2つの垂直タイル(311、312)と、1つのスライス(5つのスライスセグメントを有する)とに区分される。画像320は2つのタイル(321、322)に分割され、左側タイル321は2つのスライス(それぞれ2つのスライスを有する)を有し、右側タイル322は、1つのスライス(2つのスライスセグメントを有する)を有する。HEVC規格は、タイルとスライスセグメントとの間の編成規則を規定し、それは以下のように要約することができる(一方又は両方の条件が満たされなければならない)。
−スライスセグメント内の全てのCTUが同じタイルに属する。
−タイル内の全てのCTUが同じスライスセグメントに属する。
一致する対象領域サポート及びトランスポートを有するために、1つのタイルが、1つの独立セグメントを有する1つのスライスを含む構成300が好ましい。しかしながら、そのカプセル化解決策は、他の構成310又は320であっても機能することになる。
タイルは対象領域に適したサポートであるが、スライスセグメントは、ネットワーク上でのトランスポートのために実際にはNALユニットの中に入れられ、アクセスユニット(ファイルフォーマットレベルにおける符号化ピクチャ又はサンプル)を形成するために統合されることになるエンティティである。HEVC規格によれば、NALユニットのタイプは、NALユニットヘッダーにおいて指定される。タイプ「符号化スライスセグメント」のNALユニットの場合、slice_segment_headerは、「slice_segment_address」構文要素を介して、スライスセグメント内の第1の符号化ツリーブロックのアドレスを示す。タイリング情報は、PPS(ピクチャパラメーターセット)NALユニット内で与えられる。スライスセグメントとタイルとの間の関係を、その後、これらのパラメーターから推測することができる。
規定により、タイル境界において、空間予測はリセットされる。しかしながら、タイルが、参照フレーム(複数の場合もある)内の異なるタイルからの時間予測子を使用するのを妨げるものはない。独立したタイルを構築するために、符号化時に、タイル内の予測ユニットのための動きベクトルが、参照フレーム(複数の場合もある)内の同じ場所に位置するタイル内にとどまるように制約を加えられる。さらに、唯一のタイルを復号するときに誤差ドリフトが導入されないように、タイル境界において、インループフィルター(デブロッキング及びSAO)は解除されなければならない。インループフィルターのこの制御はHEVC規格において既に利用可能であり、「loop_filter_across_tiles_enabled_flag」と呼ばれるフラグを用いてスライスセグメントヘッダー内に設定される。このフラグを明確に0に設定することによって、タイル境界にあるピクセルは、隣接タイルの境界に位置するピクセルに依存しない。動きベクトル及びインループフィルターに関する2つの条件が満たされるとき、タイルは、「独立して復号可能」又は「独立している」と言われる。
ビデオシーケンスが独立タイルの組として符号化されるとき、そのビデオシーケンスは、参照データの紛失又は再構成誤差の伝搬というリスクを冒すことなく、タイルベース復号を用いてフレームを次々に復号することができる。この構成は、例えば、対象領域に対応する元のビデオの空間部分のみを再構成するのを可能にする。
以下において、独立タイルが考察される。
図4を参照すると、タイルのISOBMFFファイルフォーマットへのカプセル化が説明される。例えば、各タイルは専用トラックの中にカプセル化される。全てのタイルの共通のセットアップ及び初期化情報が、例えば、「タイルベーストラック」と呼ばれる、特定のトラックの中にカプセル化される。このようにして、フルビデオは、これら全てのトラックの構成物、すなわち、タイルベーストラック、及びタイルトラックの組としてカプセル化される。
図4は、例示的なカプセル化を示す。タイリングされたビデオをISOBMFF規格に従ってカプセル化する1つの方法は、各タイルを専用トラックに分割し、全てのタイルに共通のセットアップ及び初期化情報を、例えば、「タイルベーストラック」と呼ばれる、特定のトラック内にカプセル化し、フルビデオを、これら全てのトラックの構成物、すなわち、タイルベーストラック+タイルトラックの組としてカプセル化することである。したがって、そのカプセル化は、「マルチトラックタイルカプセル化」と呼ばれる。マルチトラックタイルカプセル化の一例が図4において与えられる。
ボックス401は、メインISOBMFFボックス「moov」を表し、トラックのフルリストを、それらの識別子とともに含む。例えば、ボックス411〜414は、タイルトラック(この例では4つのタイル)を表し、ボックス420はタイルベーストラックを表す。オーディオ又はテキストトラックのような付加的なトラックが使用される場合があり、同じファイル内にカプセル化される場合がある。しかしながら、簡潔にするために、そのような付加的なトラックはここでは論じられない。
図4において表されるように、復号及び表示のためにタイルトラックを参照するタイルベーストラックから、タイルトラック(複数の場合もある)の任意の組み合わせを容易に再構成できるように、タイルデータは、独立しており、アドレス指定可能なトラックに分割される。また、タイルベーストラックは、任意のタイル、すなわち、1つのタイル、多くのタイル又は全てのタイルを組み合わせることができるように設計されるので、「複合トラック」又は「参照トラック」と呼ばれる場合もある。タイルベーストラック420は、「mdat」ボックス内に、全てのタイルトラックに共通の情報と、サンプル450のリスト(図4には第1のサンプルのみが表される)とを含む。タイルベーストラック420の各サンプル450は、抽出子(451〜454、それぞれが各タイルへの1つの抽出子を表す)の使用を通して各タイルトラックを参照することによって構築される。各タイルトラック411〜414は、ビデオ全体、すなわち、フルフレームの空間部分を表す。各タイルトラック411〜414のトラックヘッダーボックス(表されない)内にタイル記述(位置、サイズ、帯域幅等)が記憶される。タイルベーストラック及び各タイルトラックは、各トラック内のボックス「TrackReferenceBox」を用いて、相互参照される(405)。各タイルトラック411〜414は、ベーストラック420を「tbas」トラックと呼ぶ(「tbas」は、各タイルトラックからタイルベーストラックへの符号化依存性を示す、詳細には、ファイルフォーマット構文解析から生じるエレメンタリストリームを処理することになるビデオ復号器をセットアップできるようにするパラメーター「HEVCDecoderConfigurationRecord」を見つける場所を示す特定のコードである)。逆に、フルビデオ再構成を可能にするために、タイルベーストラック420は、各タイルトラックへのタイプ「scal」の依存性を示す(405)。これは、符号化依存性を示すことであり、タイルベーストラックのサンプル450の定義をタイルトラックデータへの抽出子として反映させることである。これらの抽出子は、構文解析時に、データの不在をサポートすることができる特定の抽出子である。図4において、ファイルのストリーミング可能なバージョンを与えるために、各トラックは、メディアセグメント(タイルトラックの場合に431〜434及びタイルベーストラックの場合に460)に分解される。各メディアセグメントは、「moof」ボックス+データによって示される、1つ以上のムービーフラグメントを含む。タイルトラックの場合、データパートはビデオの空間サブパートに対応し、一方、タイルベーストラックの場合、それはパラメーターセット、存在するときにはSEIメッセージ、及び抽出子のリストを含む。「moov」ボックス401は、ストリーミングの適用例の場合、初期化セグメントに収まることになる。図4は、1つのセグメントのみを示すが、トラックは任意の数のセグメントに分解することができ、その制約は、タイルトラックのためのセグメント及びタイルベーストラックのためのセグメントが同じ時間分解に従う(すなわち、それらが時間的に位置合わせされる)ことであり、これは、フルビデオからタイル又はタイルの組への切替えを可能にすることである。この時間分解の粒度は、簡潔にするために、ここでは説明されない。
ファイルフォーマットは、記述メタデータ(例えば、「VisualSampleGroupEntries」、又は「tref」ボックス内のトラック参照タイプ等)を有し、それは、1つのタイル、タイルの組み合わせ又は全てのタイルに対応するデータを、記述メタデータを構文解析することによって容易に識別できるように、トラック間の関係を記述する。
以下において、静止画像が同じレベルにおいて説明される。したがって、ピクチャの任意のタイル、タイルの組み合わせ又は全てのタイルをユーザーが選択すると、識別及び抽出が容易になる。ピクチャがビデオデータと混合される場合、記述は、ビデオのための記述メタデータと並列に到来する。したがって、同じデータセットの場合、(ビデオ及びオーディオのためのインデックス化レイヤに加えて)そのピクチャのための付加的なインデックス化レイヤが設けられる。
「meta」ボックスを用いる静止画像ファイルフォーマットでは、ピクチャが、関連する情報とともに、情報アイテムとして記述される。図5に示されるように、情報アイテムは、「メタ」ボックスの専用サブボックス「ItemInfoBox」500内にリスト化される。このサブボックスは、ファイル内に存在する情報アイテムの数を与える。また、サブボックスは、アイテムごとに、「ItemInfoEntry」501として表される記述メタデータも与える。ISOBMFF規格の発展にともなって、このボックスの幾つかのバージョン502(0、1、2、3)が存在する。
「メタ」アイテムは、ファイル内に隣接して記憶されない場合がある。また、アイテムデータのインターリービングに関する特定の制約はない。したがって、同じファイル内の2つのアイテムが1つ又は幾つかのデータブロックを共有する場合がある。これは、独立して復号可能なタイルあたり1つのアイテムを有するのを簡単にすることができるので、HEVCタイルの場合に特に有用である(タイルは隣接して、又は隣接することなく記憶することができる)。このアイテムは、メインHEVCピクチャ内のデータオフセット、及びItemLocationBoxを通してタイルのために使用されるスライス(複数の場合もある)の長さを示す。
実施形態によれば、例えば、「hvct」若しくは「tile」と呼ばれる、タイルピクチャを記述するための新たなアイテムタイプが追加される場合があるか、又はISO/IEC14496−15:「hvt1」から再利用される場合がある。タイルピクチャを表す各アイテムは(どの4文字コードが選択されるにしても)、「hvc1」アイテムへのタイプ「tbas」の参照を有することができ、各アイテムは「hvc1」アイテムから抽出される。各アイテムは、識別子「item_ID」503を有し、ピクチャのための圧縮データを含む、メディアデータボックス内のバイト位置及びサイズに関して、ボックス「ItemLocationBox」内に更に記述される。
そのような構文は、ファイルフォーマットリーダー(又は「パーサー」)が、情報アイテムのリストを介して、それらのタイプに関する情報504、例えば、情報アイテムがフルピクチャのタイルピクチャであることを示す「タイル」とともに、幾つの情報アイテムが入手可能であるかを判断することを可能にする。
したがって、他のタイルをスキップしながら、画像の1つのタイルのみ、及び関連する復号器構成をダウンロードするために、ファイル内の情報アイテムのサブセット、その組み合わせ、又は情報アイテムのフルセットを選択できるようになる。
HEVCタイルが復号のために別のHEVCタイルに依存する場合、ISO/IEC 14496-15:2013 AMD 1の文献w14123, WD「Enhanced carriage of HEVC and support of MVC with depth information」MPEG 107 San Jose January 2014において記述されるように、その依存性が、タイプ「dpnd」(又は符号化依存性を示す任意の特定の4文字コード)のアイテム参照によって示されるべきである。
本明細書は、HEVCタイルNALUを、タイルの空間位置を示すサンプルグループ記述(「TileRegionGroupEntry」記述子を使用する)と関連付けるためのツールを規定する。しかしながら、これらの記述子を再利用できるようにするメタデータ情報アイテムのためのサンプルグループ化に直接相当するものはない。
それゆえ、実施形態によれば、タイルごとにタイル記述アイテムが規定され、タイルは、以下に説明されるように、「ItemReferenceBox」ボックスの修正バージョンを用いて、その記述にリンクされる。
他の実施形態によれば、好ましくは一般的な方法において、1つのタイリング記述のみが与えられる。したがって、アイテムリストは、長くなりすぎない。
この設計は以下のようにすることができる。
−幾つかのアイテムが、サンプルグループに類似であるが、各アイテムタイプに特有であるメタデータの組を記述できるようにする。
−任意のアイテムの場合に、所与のタイプのアイテム参照のための1つのパラメーターを記述する能力を追加する。パラメーターは、その後、参照されるアイテムのタイプ(グループ化タイプに類似)に応じて解釈されることになる。
図6を参照しながら以下において説明されるように、情報アイテムのための記述メタデータのアップグレードが必要とされる場合がある。
ISOBMFF規格によれば、サンプルグループ化機構は、以下のような「grouping_type」パラメーターを有する2つのメインボックスに基づく。
−ボックス「SampleGroupDescriptionBox」は、特性のリスト(「SampleGroupEntry」のリスト)を規定するパラメーター「sgpd」を有する。
−ボックス「SampleToGroupBox」は、特性へのマッピングとともにサンプルグループのリストを規定するパラメーター「sbgp」を有する。
「grouping_type」パラメーターは、サンプルグループのリストを特性のリストにリンクし、そのリスト内の1つの特性へのサンプルグループのマッピングは、ボックス「SampleToGroupBox」において指定される。
情報アイテムのために同じ機能を与えるために、情報アイテムグループのリスト及び特性のリストが記述されなければならない。また、情報アイテムの各グループを1つの特性にマッピングできるようにすべきである。
以下において、そのような記述メタデータを静止画像ファイルフォーマット内に埋め込むことができるようにする方法が説明される。言い換えると、記述子を画像アイテムにリンクする方法が説明される。HEVC静止画像ファイルフォーマットの場合の使用事例が説明される場合であっても、以下の特徴は、任意の種類の情報アイテムを付加的な記述メタデータに関連付けるためにISO/IEC14496−12のような他の規格において使用することができる。
実施形態によれば、図6に示されるような、「iref_type」604と呼ばれる新たなパラメーターを介して、各アイテムを1つの特性にリンクするために、パラメーター「infe」を有する既存の「ItemInformationEntry」ボックス601が、新たなバージョン番号(602及び603)で拡張される。これは、新たなボックスの作成を回避し、記述を短く保ちながら、改善することを可能にする。
ItemInformationEntryボックスの元の規定が以下によって与えられる。
Figure 2021057899
タイルピクチャをその記述にリンクする新たなバージョン作成は以下の通りとすることができる。
Figure 2021057899
ボックス「SampleToGroupBox」により近い、他の実施形態によれば、4文字コード「iinf」を伴うボックス「ItemInformationBox」の規定が、例えば、このボックスの新たなバージョンを導入することによって、以下のように変更される。
現在のバージョン:
Figure 2021057899

Figure 2021057899
に変更される。
代替的には、グループが使用中であるか否かを知らせるために、現在のバージョンが:
Figure 2021057899
に変更される。
「group_entry_count」パラメーターは、メディアファイル内の情報アイテムグループの数を規定する。情報アイテムのグループごとに、item_ID=0から開始して、情報アイテムの数が示される。サンプルとは対照的に、情報アイテムが時間制約及び関係を有しないので、カプセル化モジュールは情報アイテム識別子を任意の順序において割り当てることができる。アイテムグループ後に増加する識別子番号を割り当てることによって、グループ内の連続した情報アイテム識別子の続きを識別するパラメーター「item_run」を用いて、情報グループのリストをより効率的に表すことができる。
関連する情報アイテムは、例えば、「property_index」と呼ばれるインデックスを有する。「grouping_type」パラメーターに関連付けられるこの「property_index」パラメーターによって、ファイルフォーマットパーサー(又は「リーダー」)が、記述メタデータへの参照、又は記述メタデータ自体を識別できるようになる。図7は、2つの例示的な実施形態を示す。
ボックス「SingleItemTypeReferenceBox」701内のグループ特徴は、from_item_IDパラメーターの値のために一般に使用される情報アイテム識別(item_ID)の代わりに、グループ識別「group_ID」とともに使用することができる。設計によって、ボックス「SingleItemTypeReferenceBox」は、特定の種類又は特定のアイテムの全ての参照を見つけるのをより容易にする。それを「item_ID」の代わりに、「group_ID」とともに使用することは、特定のタイプの全ての参照を容易に識別するためにアイテムのグループを見つけるのを可能にする。有利には、カプセル化されたファイルあたり多くても1つのボックス「ItemInformationBox」しか存在しないので、グループ識別を規定する必要はない。カプセル化モジュール(符号化中)及び構文解析モジュール(復号中)は、情報アイテムグループが作成されるか、又は読み出されるのに応じて情報アイテムグループのリスト上のそれぞれのカウンターを(ボックス「ItemInformationBox」内の「g」変数として)実行することができる。代替的には、パーサーは、フラグ「group_used_flag」を用いて、グループ識別カウンターを維持するか否かを通知される場合がある。
情報アイテムの1つのグループがタイルピクチャに対応する例に戻ると、1つのグループは4つのエントリを含むことができ、参照700「SingleItemTypeReference」は、4つのタイルピクチャ情報アイテムが依存し、そして特定の参照タイプ703の場合の情報アイテムのリスト704を示すことができる。
他の例示的な実施形態によれば、情報アイテムは、後に説明されるような、新たな種類のボックス「ItemReferenceBox」において使用され、それは、1つのアイテム722から、種々の他の情報アイテム724への複数の参照タイプ723をリスト化することを可能にする。
後者の場合に、特定のボックス「ItemReferenceBox」721は、以下のように実現される場合がある。
Figure 2021057899
標準的なボックス「ItemInformationBox」の場合と同様に、アイテムエントリのリストが記述されるが、今度は、グループ化に応じて異なる順序を有する。タイルの例では、この結果として、「tile」と呼ばれる場合があるパラメーターとともに1つのグループ内に集められたタイルピクチャに対応する4つの情報アイテムの第1のグループと、それに続く、構成情報のための非グループ化情報アイテム、フルピクチャ情報アイテムのための非グループ化情報アイテム、そして任意選択でEXIFメタデータのための非グループ化情報アイテムとが生じる場合がある。
したがって、1つのボックスが変更され、1つのボックスが作成され、そのボックスは特定の種類のItemReferenceBoxである。以下において、この新たな種類のItemReferenceBoxが説明される。
ボックス「ItemReferenceBox」は、以下のように、ItemReferenceBoxの一部であるボックス「FullBox」内のフラグパラメーターを使用することによって、種々の種類のItemReferenceBoxを区別することによって拡張することもできる。
Figure 2021057899
ボックス「MultipleItemTypeReferenceBox」721を使用するとき、4つのタイルを有する1つのピクチャは以下のように記述することができる。
Figure 2021057899
この設計は、特定のアイテムから任意の種類の全ての参照を見つけるのを極めて容易にする。
所与のタイプ713を有する同じアイテム714を参照するアイテム712のリストのための記述サポート711は、以下の通りとすることができる。
Figure 2021057899
4つのタイルを有するピクチャの例では、以下の通りとすることができる。
Figure 2021057899
ボックス「SharedItemTypeReferenceBox」の設計は、特定のアイテムを指している特定のタイプの全ての参照を見つけるのをより容易にする。これは、ボックス「SingleItemTypeReferenceBox」とは対照的である。しかし、トラック参照のために規定される「reference_type」の大部分は双方向ではないので、ボックス「SingleItemTypeReferenceBox」は、他のアイテムへのこの参照タイプを有する全てのノードに知らせるために、何らかの単方向参照タイプとともに使用されない場合がある。代替的には、それが直接参照であるか、逆参照であるかを示し、それにより、新たなSharedItemTypeReferenceBoxの必要性を軽減するために、「SingleItemTypeReference」内にフラグが設けられる場合がある。
上記のことを考慮して、情報アイテムをタイリング情報と関連付けることができる。このタイリング情報の説明が、ここで、提供されなければならない。
例えば、各タイルを、拡張「ItemInfoEntry」601の「iref_parameter」605のような、タイル記述子を用いて記述することができる。特定の記述子は以下の通りとすることができる。
Figure 2021057899
実施形態によれば、記憶されることになる1つ以上のピクチャに適用するために、タイルのグリッドのための記述子が使用される場合がある。
そのような記述子は以下の通りとすることができる。
Figure 2021057899
この記述子「TileInfoDataItem」は、タイリンググリッド(規則的又は不規則)を記述できるようにする。グリッドは、左上から始めて行ごとに記述される。
記述子は、タイプ「tile」のアイテムとして記憶されるべきである。別のアイテムがこのアイテムを参照するとき、それは、この記述へのタイプ「tile」の参照を使用すべきであり、指定されたパラメーター「iref_parameter」を有するべきであり、そのパラメーターの値は、記述子によって規定されるグリッド内のセルの0ベースのインデックスであり、ただし、0は左上のアイテムであり、1はセル0の右隣にあるセルであり、それ以降も同様である。
この記述子において:
−「version」は、TileInfoDataItemのための構文のバージョンを示す。値0のみが規定される。
−「regular_spacing」は、グリッド内の全てのタイルが同じ幅及び同じ高さを有するかを示す。
−「reference_width、reference_height」は、グリッドが記述される単位を指示する。これらの単位は、このアイテムを参照する画像のピクセル解像度に一致しても、一致しなくてもよい。グリッドが規則的である場合には、「reference_width」(又は「reference_height」)は、「nb_cell_horiz」(又は「nb_cell_vert」)の倍数とすべきである。
−「cell_width」は、左から始めて、不規則なタイル内のグリッドの水平方向の分割を与える。
−「cell_height」は、上から始めて、不規則なタイル内のグリッドの垂直方向の分割を与える。
上記の手法は、全てのタイルのためのタイリング情報を共有することを可能にする。
さらに、同じタイリングを共有する複数のピクチャが存在する場合、タイルのグリッド内のセルを単に参照することによって、更に多くの記述が共有される場合がある。
タイリング構成は、メディアデータボックス内に入れることができるか、又はタイル情報アイテム間で(参照により)共有される専用ボックス内に入れることができる。
上記の記述子は、それらの記述子が、より大きな画像内のサブ画像(複数の場合もある)のための空間的な場所及びサイズのみを与えるという意味において純粋な空間記述子である。幾つかの使用事例において、例えば、画像収集又は画像合成の場合、空間的な場所は、典型的には画像が重なり合うときに、画像を記述するのに十分ではない。これは、上記のTileInfoDataBlock記述子の1つの限界である。どのような画像でも、すなわち、タイル又は独立した/完全な画像でも、画像を構成できるようにするために、一方において、画像の位置及びサイズ(空間的関係)を含み、他方において、そのピクチャのための表示情報(色、クロッピング...)を含む記述子を規定することが有用な場合がある。例えば、表示のためにサブ画像を或る色空間から別の色空間に変換するために色情報を与えることができる。この種の情報は、ISOBMFFのColorInformationBox「colr」において搬送することができる。コンパクトにするために、2つの異なるそのように変換されたピクチャを搬送するのではなく、適用すべき変換パラメーターだけを与えることによって、異なる種類の表示のために準備された同じデータを有することが有用な可能性がある。さらに、各ピクチャの符号化された幅及び高さと異なる可能性がある幅及び高さを再規定するために、この記述子内にISOBMFFパート12において規定されるPixelAspectRatioボックス「pasp」のようなピクセルアスペクト比を入れることができる。これは、画像の復号後にディスプレイによって適用すべき縮尺比を示すことになる。その際、ビデオサンプルエントリ(例えば、「stsd」ボックス)内に記憶される符号化されたサイズと、「pasp」ボックスから推測される表示サイズとを有することになる。表示のための別の取り得る情報は、同じくISOBMFFにおいて規定されるクリーンアパーチャ情報ボックス「clap」とすることができる。規格SMPTE274Mによれば、クリーンアパーチャは、ピクチャ情報が全てのエッジ過渡歪み(アナログ/デジタル変換後の画像の境界において起こり得るリンギング効果)によって本質的に汚染されていないエリアを画定する。表示のために有用なパラメーターのこのリストは、限定するものではなく、サブ画像記述子内のオプションの構成要素として、任意の他の記述メタデータボックスを置くことができる。それらは既に規格の一部であり、画像クロッピング、サンプルアスペクト比変更及び色調整を示す汎用ツールを提供するので、これらのパラメーターは明示的に言及することができる。残念なことに、それらの使用は、メディアトラックの場合にのみ可能であり、「メタ」ボックスに頼る画像ファイルフォーマットの場合には不可能であった。それゆえ、クリーンアパーチャ又はサンプルアスペクト比のような他の特性とともに、画像アイテムの空間記述をサポートするために、例えば、「SimpleImageMetaData」と呼ばれる新たな記述子を提案する。これは、より大きな画像内に構成されるか、又は逆に、より大きな画像から抽出されることを意図した任意のサブ画像(タイル又は独立した画像)に当てはまる:
Figure 2021057899
又は、(例えば、extra_boxesを通して)表示プロセスを助けるために拡張パラメーターを考えるときのその変形は以下の通りである:
Figure 2021057899
ここで、ImageSpatialRelationBoxは以下において説明されるようなTileInfoDataBlockの拡張である。考慮すべき別の有用なパラメーターは、画像をレイヤとして構成する可能性である。それゆえ、そのようなレイヤ化された構成において画像に関連付けられるレベルを示すパラメーターを挿入することを提案する。これは通常、画像が重なり合うときに有用である。これは、例えば、「layer」と呼ぶことができ、レイヤ情報指示を伴う。そのような記述子のための例示的な構文が与えられる。
定義:
ボックスタイプ:「isre」
コンテナー:単純画像メタデータアイテム(「simd」)
必須:非必須
量:アイテムあたり0又は1
構文:
Figure 2021057899
関連付けられる意味:
horizontal_display_offsetは画像の水平オフセットを指定する。
vertical_display_offsetは画像の垂直オフセットを指定する。
display_widthは画像の幅を指定する。
display_heightは画像の高さを指定する。
layerは画像の前から後への順序付けを指定する。小さい番号の画像ほど視認者に近く、0は標準値であり、−1はレイヤ0の前方にあり、他も同様である。
この新たな「isre」ボックスタイプは、画像集合体内の1つの画像と他の画像との相対位置を記述する能力を与える。それは、ムービー又はメディアファイルのトラックヘッダーボックスにおいて一般に見られる変換行列の機能のサブセットを与える。ImageSpatialRelationBox内の座標が、集合体の作者の意図したディスプレイサイズを与える正方形グリッド上に表される。これらの単位は、画像の符号化サイズに一致しても、一致しなくてもよい。意図したディスプレイサイズは以下によって画定される。
−水平方向:全ての「isre」ボックスの場合の(horizontal_display_offset+display_width)の最大値。
−垂直方向:全ての「isre」ボックスの場合の(vertical_display_offset+display_height)の最大値。
幾つかの画像が、関連付けられるいかなる「isre」も有せず、一方、ファイル内の他の画像が関連付けられる「isre」を有するとき、いかなる「isre」も有しないデフォルト画像が、その水平及び垂直オフセットが0であり、そのディスプレイサイズが意図したディスプレイサイズであり、そのレイヤが0であるかのように扱われることになる。
ImageSpatialRelationBoxは、画像に任意のクロッピング又はサンプルアスペクト比が適用された後の画像の相対的な空間位置を示す。これは、「isre」がSimpleImageMetaData内の「pasp」等と組み合わせられるときに、画像が復号され、存在する場合、「pasp」、「clap」、「colr」が適用され、その後、画像が、「isre」ボックス内で宣言されるオフセット及びサイズだけ動かされ、拡大縮小される。
画像を表すアイテム情報と、記述子を表すアイテム情報との間の関連付けを規定することによって、この新たな記述子を画像(タイル又は単一の画像)の記述として使用することができる(SimpleImageMetadata Definitionのためにタイプ「simd」を与えることにし、現在処理しているメタデータの種類をmp4パーサーが容易に識別するために、任意の反転した4文字コードが許容可能になる)。この関連付けは、ItemRefererenceBoxと、「空間画像関係」を示す新たな参照タイプ;「simr」とを用いて行われる。以下の例示的な説明は、構成自体は関連付けられるアイテムを有しない4つの画像の構成の事例を示す。各画像アイテムは、タイプ「simr」のアイテム参照を通して、SimpleImageMetaDataアイテムに関連付けられ、専用「hvcC」アイテム内のDecoderConfigurationRecord情報を共有する。
Figure 2021057899
データの上記の編成が一例として与えられる。例えば、単一のバイト範囲としてアドレス指定可能な画像+そのメタデータを有するように、画像及びメタデータをメディアデータボックス内で組み合わせることができる。この記述を受信するとき、パーサーは、「simd」アイテム内の情報を構文解析することによって、サブ画像がフルピクチャからクロッピングされたか否か、又は逆に、フルピクチャがサブ画像からの構成であるか否かを通知される。クロップの場合、フルピクチャアイテム及びクロッピングされた画像は、以下の例の場合と同じデータ範囲と、同じ復号器構成情報とを共有することになる。その後、サブ画像は、「clap」情報のみを有し、位置決めを、それゆえ、「isre」を有しない「simd」アイテムに関連付けられることになる。
構成の場合:そのような場合には、フルピクチャアイテムは「isre」情報のみを含む「simd」アイテムに関連付けられ、サブ画像は、フル画像においてその位置を反映する「simd」アイテムに関連付けられることになる。
以下の例は、4つの画像がより大きな1つの画像に構成される事例を示す。構成された1つの画像を含む、全ての画像が、提案される記述子を用いて、再生可能アイテムとして並べられる。
Figure 2021057899
この他の例は、フルピクチャが実際にはタイリングされたHEVCピクチャ(4タイル)である事例を示す。
Figure 2021057899
使用事例によっては、例えば、全ての画像に同じクロッピングが適用されることになるときに、同じメタデータを共有する幾つかの画像アイテムを有することができるであろう。また、例えば、クロッピングが画像間で共有されるが、空間情報間で共有されないとき、画像アイテムが異なるSimpleImageMetaDataへの複数の「simr」参照を有することもできる。
ItemInfoEntry(図6に示される)の新たなバージョンに対する代替の実施形態は、情報アイテムエントリ及び参照あたり2つ以上のパラメーター605を規定することである。図6の実施形態において、iref_parameterは4バイトコードであり、それはタイルインデックスの場合にタイリンググリッド内のセルを参照するのに有用である。しかし、より豊富な記述を有するために、そして、リンクされた記述を、データとともに(mdatボックス内)ではなく、アイテムインフォエントリ自体の内部に埋め込むことができるようにするために、以下の拡張が有用な可能性がある。
Figure 2021057899
上記の拡張において、
−item_iref_parameter_countは、それに関するパラメーターが与えられる参照タイプの数を与える。これは、図6のアイテム605に対して変更されない。
−iref_typeは、それに関するパラメーターがこのアイテムの場合に当てはまる、「iref」ボックスにおいて示されるような参照タイプを与える。これは、図6のアイテム605に対して変更されない。
−parameterは、ここでは、新たなボックスItemReferenceParameterEntryを介して拡張手段を与えるので、iref_parameter(図6のアイテム605)とは異なる。この新たなボックスを(タイリング構成においてタイルインデックスのためのTileIndexItemReferenceParameterEntryを用いて上記で行われたように)特殊化することによって、カプセル化及び構文解析モジュールがこの特殊化されたボックスの構造を認識している場合には、任意の種類の付加メタデータを情報アイテムエントリに関連付けることができる。これは、ItemReferenceParameterEntryの標準的なタイプによって、又は構成によって、若しくはネゴシエーションステップにおいて、パラメーターエントリの構造を与えることによって行うことができる。パラメーターの意味は、タイプiref_typeを有するアイテムの意味によって与えられる。
以下において、4つのタイルを有するピクチャを記述する情報アイテムのための例示的な記述メタデータと、フルピクチャのEXIFメタデータとが与えられる。
従来技術において、タイルピクチャは、本明細書において以下に示されるように、いかなる対応する記述も与えられることなく、情報アイテムとしてリスト化された。さらに、「hvcC」タイプで表されるセットアップ情報は、アイテムとして記述されなかった。これは、全てのタイルピクチャ及びフルピクチャに当てはまるHEVCパラメーターセット及びSEIメッセージに関連する共通データを分解(factorize)することを可能にする。
Figure 2021057899
ItemInfoEntryボックス601のバージョン4(図6、602、603を参照)を伴う拡張を使用する実施形態によれば、タイルピクチャ情報は、情報アイテム(ID=8)としても記述されるタイリング構成のパートへの関連付けられる参照とともにリスト化される。
Figure 2021057899
図8は、本発明の実施形態の実施態様の状況を示す。第1の異なるメディア、すなわち、例えば、ステップ800a中のオーディオ、ステップ800b中のビデオ及びステップ800c中の1つ以上のピクチャが記録される。各メディアはそれぞれのステップ801a、801b及び801c中に圧縮される。これらの圧縮ステップ中にエレメンタリストリーム802a、802b及び802cが生成される。次に、アプリケーションレベル(グラフィカルユーザーインターフェースからのユーザー選択、マルチメディア生成システムの構成等)において、これら全てのエレメンタリストリームを融合させるべきか否かを判断するために、カプセル化モードが選択される。「融合」モードが起動される場合(テスト803、「yes」)、本明細書において上記で説明されたように、ステップ806c中に、オーディオ、ビデオ及び静止画像のためのデータが同じファイル内にカプセル化される。「融合」モードが起動されない場合(テスト803、「no」)、ステップ806a及びステップ806b中に2つのカプセル化されたファイルが順次に、又は同時に生成され、それにより、結果として、ステップ807a中に同期した時間メディアデータのための1つのファイルと、静止画像807bのみを有する付加的なファイルとがそれぞれ生成される。タイル記述と、対象領域特徴とを与えるために、ステップ806a中に、ISOBMFF規格に従って、オーディオ及びビデオエレメンタリストリームがカプセル化され、静止ピクチャが、本明細書において上記で説明されたように、ステップ806b中にカプセル化される。最後に、メディアプレゼンテーション807が取得され、全体として、又は記述メタデータを構文解析することによって、幾つかのパート(タイル等)が抽出された後に、ストリーミング用に準備するためにDASH発生器に与えることができるか(ステップ820a)、メモリに記憶することができるか(ステップ820b)、ディスプレイユニット上に描画することができるか(ステップ820c)又はリモートエンティティに送信することができる(ステップ820d)。
実施形態の先行する説明によれば、例えば、SimpleImageMetadata(「simd」)ボックスのような記述メタデータ(静止画像ファイルフォーマット仕様の最終バージョンにおいてISOBMFFMetaDataとも呼ばれる)が、全ての属性を備えたアイテムとして記述されることに留意されたい。付加的な記述メタデータ又は規範メタデータも、文献w14878、ISO/IEC23008-12:2013第1版の委員会草稿論文「Information technology - MPEG systems technologies - Part 12: Image File Format」MPEG 110 Strasbourg October 2014において記述されるように、静止画像ファイルフォーマット仕様によって規定される。記述メタデータ又は規範メタデータの例は、CleanApertureBox(「clap」)、ImageRotation(「irot」)、ExifDataBlock(「exif」)又はImageOverlay(「iovl」)である。より一般的には、記述メタデータは、画像又はサブ画像のようなアイテムのための付加情報又は記述を提供するメタデータ(例えば、Exifメタデータ)であり、規範メタデータは、アイテムに適用されるべき演算又は変換(例えば、回転、クロップ、又は変換演算子を形成する幾つかのアイテムの組み合わせ)である。
しかしながら、そのような記述メタデータ又は規範メタデータを仕様書内に全ての属性を備えたアイテムとして記憶しなければならないことはかなり厄介であるように見える場合がある。これらはまさに擬似アイテムであり、記述メタデータ又は規範メタデータはmdatボックス110内に符号化データとともに記憶される必要があり、itemLocationBox(iloc)109、itemInfoBox(iinf)及びitemProtectionBox(ipro)内のエントリを規定する必要がある。このためにiloc、iinf及びipro内のこれらのエントリを必要とすることは、かなりのオーバーヘッドである。例えば、itemInfoBox内のエントリは、少なくとも12バイトヘッダーを伴うフルボックスの使用を必要とし、さらに、itemInfoBox(iinf)内のエントリあたり全部で15バイトの追加消費のために、item_protection_index(16ビット)+空のitem_name(8ビット)が規定されなければならない。itemLocationBox(iloc)内のエントリも、より良好な事例において少なくとも9バイトを必要とする(base_offset_size=offset_size=length_size=1,1extent)。実際には、itemLocationBoxエントリは、base_offset_size=offset_size=length_size=2又は4とともに使用され、それは12又は18バイトの追加消費を意味する。さらに、このメタデータは一般に小さく、他のアイテムを効率的に読み出すことを可能にする。それらを専用アイテムとして記憶していることは、ファイル構文解析、特にファイルの部分的なフェッチングを複雑にする場合がある(例えば、HTTP要求の増大)。
代替の実施形態では、全ての記述メタデータ及び規範メタデータは、埋込アイテムとして規定することができ、そのアイテムは、mdatボックス110内ではなく、メタボックス100内に他のボックスの一部として記憶することができ、それゆえ、itemInfoBox及びitemLocationBoxエントリを規定する追加消費を回避することができる。
記述メタデータ及び規範メタデータをメタボックス内に記憶するために、「VirtualItemBox」と呼ばれる仮想アイテムボックスが規定される。この実施形態によれば、全ての記述メタデータボックス及び規範メタデータボックスは、この仮想アイテムクラスから受け継がれる。
仮想アイテムは、ボックスの組とともに、それに割り当てられたitem_ID及びitem_typeを有する。仮想アイテムは、他のアイテムと関連付けられることになるメタデータを記述するために通常使用される付加データである。例えば、仮想アイテムは、アイテム(画像又はサブ画像)を識別するitemInfoBoxのエントリと、このアイテムに適用されることになる演算又は変換とを関連付けることができるようにする。通常、この関連付けは、画像のitem_IDから、メタデータ演算又は変換記述ボックスのitem_IDへのitemReferenceBox内のタイプ「simr」のエントリを規定することによって記述することができる。仮想アイテムは、アイテム参照ボックス及びプライマリアイテムボックスにおいてのみ参照される場合があり、任意の他のボックス(例えば、itemLocationBox(iloc)、itemInfoBox(iinf)、itemProtectionBox(ipro))内で宣言又は参照されるべきでない。「VirtualItemBox」は以下のように規定される。
Figure 2021057899
そのパラメーターに関して以下の意味を有する。
−item_ID:このアイテムのID(又は識別子)。iinf、iloc又はipro内にitem_ID値が同じであるエントリを有することは違反である。
−item_typeは、「mime」のような規定された有効なアイテムタイプ指示子である32ビット値、通常、4つの印刷可能文字である。
任意選択では、一変形形態において、「VirtualItemBox」は、「descriptor_family」と呼ばれる付加的なパラメーターを含むこともできる。記述子ファミリは、メタデータボックスが記述メタデータであるか、規範メタデータであるかを示す。一変形形態において、記述子ファミリは、所定の値のリストからのメタデータボックスのタイプを示す。例えば:transfo_operator、composed_image、descriptive_metadata...。
この仮想アイテムボックスから受け継ぐことによって、itemInfoBox(iinf)及びitemLocationBox(iloc)内の関連付けられるエントリを規定する必要なく、全ての記述メタデータボックス及び規範メタデータボックスをメタボックス内に記憶することができるが、それでも、アイテム参照ボックスによってアドレス指定可能であるという利点は保持される。
この実施形態によれば、ImageOverlay(iovl)、SubSampleItemData(subs)、AuxiliaryConfiguration(auxC)、ExifDataBlock(exif)、SimpleImageMetadata(simd)及び派生画像アイテムが、仮想アイテムクラスから受け継いでいる。
それでも、この実施形態によれば、タイプ「simd」のアイテムへのタイプ「simr」のアイテム参照とともに、「dimg」と呼ばれる単一の汎用アイテムタイプが導入される。この手法によれば、適切なときには特性を再利用できるようになり、アイテム及びアイテム参照の数が削減される。ImageRotationBoxは、SimpleImageMetadata(simd)の中に加えられる。「simr」参照タイプは、画像記述メタデータへの直接アクセスを提供するために、画像アイテムから「simd」アイテムに向かうリンクを規定する。
さらに、ImageOverlay(iovl)メタデータボックスは、もはや参照順に依存しないように、以下のように再設計される。
Figure 2021057899
explicit item_idは、構成されるアイテムを明確に識別するためにループ内のエントリごとに加えられる。
代替の実施形態において、SimpleImageMetadata(simd)に含まれる全てのボックスが、仮想アイテムボックスから受け継がれた独立したメタデータボックスとして規定される。
代替の実施形態において、以下のように、画像メタデータ記述子SimpleImageMetadata(「simd」)ボックス(静止画像ファイルフォーマット仕様の最終バージョンにおいてISOBMFFMetaDataとも呼ばれる)内に回転演算を直接組み込むことによって、簡単な画像回転を宣言することができる。
Figure 2021057899
回転ボックスは「irot」アイテムよりわずかに大きいが(12バイト)、一連の派生アイテムではなく、1つの「simd」しか必要とされないので、この手法を使用する利点は、回転及びクリーンアパーチャのような、変換を組み合わせるときに明らかである。
そのような場合には、汎用の派生アイテム「dimg」(上記)を用いて、画像アイテム及びメタデータ記述の両方を参照することができる。そのようなアイテムは、その際、PrimaryItemBox(「pitm」)内にプライマリアイテムとしてリスト化することができる。
この手法の別の利点は、作者が、回転したアイテムのみを表示してほしいということを明確に示すことができることである。
以下の段落は、上記の実施形態に対する代替形態を提案する。この代替形態は、有利には、ISO静止画像ファイルフォーマットの画像に変換(又は「効果」)をいかに適用できるかに関して簡単である。詳細には、この代替の実施形態によって以下の問題が解決される。
−アイテム参照の数が多い。
−効果を次々につなげるときにアイテムの数が増える。
−画像の組又は対象領域のような画像の部分を意味する、アイテムの所与の組のための効果を相互的にできない。
アイテムの異なるエクステント(データパート内のバイトオフセットを意味する)として効果を相互的にするために既存の解決策が提案された。より詳細には、エクステントは、派生画像がitemLocationBox(「iloc」)内のエクステントのリストとして記述されることを意味し、各エクステントはデータパート(「mdat」)のフラグメントを識別し、各フラグメントは、1つ以上の記述メタデータ又は規範メタデータ又は変換メタデータに対応する。
しかし、この解決策には幾つかの短所が内在する。
−カプセル化された画像ファイルの作成が極めて複雑になる。すなわち、1つの派生画像アイテム内の1つの効果に触ることは、全ての派生画像が同じエクステントを共有するか否かを調べるためにそれらの画像を検査し、潜在的には、その一部を書き換えることを意味する。
−画像ファイルリーダーが、一連の変換/効果がそのファイル内の異なるアイテム上で同じであるか否かを(直接シグナリングすることなく)解明する必要があるので、構文解析もそれほど簡単ではない。
−新たな変換/効果が、適用すべき一連の変換/効果内の変換/効果とともに絶えず記憶されないときにはいつでも、変換/効果ごとに、itemLocationBox(「iloc」)において新たなエクステントが必要とされることになる。さらに、効果の組み合わせ又は連鎖は、データパート内に隣接するエクステント上に記憶されないときに犠牲が大きい場合がある。
さらに、そのタイプを理解するために(これまで、効果のタイプはitem_typeによって与えられた)、これらの解決策は、記憶の実施を必要とし、それは、効果を記憶するためのボックスの作成を伴う。効果のための新たなボックスフォーマットを規定することによって、より簡単な解決策は、アイテムから別々に効果を規定し、いかなる追加消費も生じることなく、アイテムと効果との間の直接マッピングを有することである。
代替の実施形態は、ファイルフォーマット内に明確な分離を有することによって、効果の取り扱いを簡単にすることを提案する。
−記述メタデータとリンクされる正規のアイテム(画像又は画像の一部(例えば、hvc1、...)(上記で提案されたように、「init」又は「simr」参照タイプを通して、又は記述メタデータを記述する任意の参照タイプを通して)。
−「派生画像」アイテムからソースアイテムへの「dimg」アイテム参照を通して識別される1つ以上のソースアイテム(画像又は画像の一部)に適用される効果(又は変換)の集合体である「派生画像」。
−幾つかの異なる効果の集合体を含む、変換/効果を表す構造。
この代替の実施形態の利点は、
−効果の再利用可能性:一度だけ宣言され、潜在的には複数回参照される。
−効果の集合体を規定することによる、よりコンパクトな記述(それに関して以下に更に説明される)。
−itemLocationBoxの新たなエクステントが必要とされないことを含む、全体的な可読性。
−アイテム参照の数が少ないままである。
この代替の実施形態によれば、新たな単一の派生アイテムが、アイテムタイプ「dimg」とともに規定される。この単一の派生アイテムは具体的には以下によって表される。
Figure 2021057899
ただし、nb_effectsは、派生画像を構成するためにソース画像に適用されることになる効果の数を表し、effect_idは、適用すべき効果のカプセル化されたファイル内の固有識別子である。効果は、効果のリスト内の出現の逆の順序において適用される。
「DerivedImage」と呼ばれる派生画像又は変換済みアイテムは、画像を、例えば、ユーザー又は表示画面に提示する前にソース画像に適用されることになる効果の組と定義する。ソース画像は、派生アイテムからソース画像へのタイプ「dimg」のアイテム参照(又は任意の反転した参照タイプ)によって識別される。ソース画像自体は、ISO静止画像ファイルフォーマット仕様において規定される任意の画像アイテム(画像又は画像の一部、画像オーバーレイ、派生画像)とすることができる。同じアイテムからの2つ以上の「dimg」アイテム参照は存在すべきでない(しかし、このアイテムが種々の構成のために何度も再利用される場合には、同じアイテムに関する複数の「dimg」アイテム参照が存在する可能性がある)。
派生画像はファイルのデータパート内に記憶される。
カプセル化されたファイルを編集する、例えば、画像ファイルから効果を除去されるとき、この効果への全ての参照が、派生画像から除去されるべきである。
効果は、DerivedImageアイテムを通して、画像、画像の一部、構成された画像又は派生画像に適用することができる。各効果は、以下に示されるBaseEffectBox構造から派生するボックスによって記述される。
Figure 2021057899
ただし、以下の意味を有する:
effect_typeは、このクラスから派生する効果のボックスタイプであり、固有の4文字コードがこの種のボックスを識別する。
effect_idは、所与の効果又は変換のための固有識別子である。この識別子は「メタ」ボックス内で固有にすべきである。
nb_bits_effectは、バージョン値から導出され、effect_idを表すために使用されるビット数を示す。
効果は、「メタ」ボックスに含まれるオプションのEffectDeclarationBoxにおいて宣言することができる。
ボックスタイプ:「effd」
コンテナー:meta
必須:非必須
量:0又は1
Figure 2021057899
例えば、以下の効果が規定される場合がある(限定的なリストではない)。
−回転効果:回転効果は、90度の単位において反時計回りの方向にソース画像を変換する。
ボックスタイプ:「erot」
コンテナー:effd
必須:非必須
量:0以上
Figure 2021057899
その意味は:
angle90:それは角度の単位において角度(反時計回りの方向)を指定する。
−クリーンアパーチャ効果:クリーンアパーチャ効果は、ソース画像の可視部分を変更する。
ボックスタイプ:「ecla」
コンテナー:effd
必須:非必須
量:0以上
Figure 2021057899
その意味は:
nb_bits_effectは、親クラスBaseEffectBoxから派生し、CleanApertureEffectBoxの異なるフィールドを表すために使用されるビット数を示す。
hSpacing、vSpacing:ピクセルの相対的な幅及び高さを規定する。
cleanApertureWidthN、cleanApertureWidthD:画像のカウントされたピクセル内の厳密なクリーンアパーチャ幅を規定する分数である。
cleanApertureHeightN、cleanApertureHeightD:画像のカウントされたピクセル内の厳密なクリーンアパーチャ高を規定する分数である。
horizOffN、horizOffD:クリーンアパーチャ中心−(幅−1)/2(通常0)の水平オフセットを規定する分数である。
vertOffN、vertOffD:クリーンアパーチャ中心−(高さ−1)/2(通常0)の垂直オフセットを規定する分数である。
効果集合体:効果集合体ボックスは、幾つかの画像に対して効果を再利用するために、幾つかの効果の組を単一の効果として規定できるようにし、それにより、バイトの観点から記述消費を削減できるようにする。
ボックスタイプ:「ecol」
コンテナー:effd
必須:非必須
量:0以上
Figure 2021057899
その意味は:
nb_bits_effectは、親クラスBaseEffectBoxから派生し、EffectCollectionBoxの異なるフィールドを表すために使用されるビット数を示す。
apply_effect_id:ソース画像に適用すべき効果のIDを示す。
効果集合体内の効果は、DerivedImagedアイテム内の効果と同じ順序において適用される。例えば、各効果は、効果のリスト内の出現の逆の順序において入力に適用されるべきである。
OverlayEffectBoxは、画像の構成をオーバーレイとして宣言する。この特定の効果の場合、この効果が構造の一部であるソース画像のリストを宣言するために、結果として派生する画像は、任意のソース画像への参照を有しない。
Figure 2021057899
ただし、以下の意味を有する:
nb_bits_effectsは、親クラスBaseEffectBoxから派生し、OverlayEffectBoxの異なるフィールドを表すために使用されるビット数を示す。
fill_requiredは、結果として構成された画像内に、背景値で満たすべき穴が存在するか否かを示す。
canvas_fill_value:任意の入力画像のピクセルが特定のピクセルロケーションに位置しない場合に使用される、チャネルあたりのピクセル値を示す。入力画像が3つ未満のチャネルを含む場合には、入力画像内に存在しないチャネルに対応するcanvas_fill_valueの意味は規定されない。
nb_imagesは、それぞれがimage_item_IDパラメーターによって示されるようなそのitem_IDによって識別される、構成すべき画像の数を示す。
output_width、output_height:入力画像が配置される、出力画像の幅及び高さをそれぞれ指定する。出力画像のピクチャエリアはキャンバスと呼ばれる。
horizontal_offset、vertical_offset:入力画像が位置する、キャンバスの左上角からのオフセットを規定する。負のオフセット値を有するピクセルロケーションは出力画像に含まれない。output_width以上の水平ピクセルロケーションは出力画像に含まれない。output_height以上の垂直ピクセルロケーションは出力画像に含まれない。
本発明の別の態様によれば、全ての記述メタデータ及び規範メタデータの記憶は、記述メタデータ及び/又は規範メタデータが特定の画像アイテムに特有であるか、幾つかの画像アイテム間で共有されるかに応じて、上記の実施形態に比べて更に最適化することができる。そのような共有は、バイト範囲の共有を用いることなく、又は上記の実施形態によって必要とされるようなアイテム参照の大きなリストを規定することなく可能になる。この代替の実施形態によれば、全ての記述メタデータ及び規範メタデータは依然として「メタ」ボックス100内のボックス階層内部にのみ記憶され、「idat」又は「mdat」ボックスをフェッチする必要なく、ISOBMFFリーダーが全てのシステム情報を構文解析できるようにする。したがって、画像アイテム(「iinf」ボックス内)及びアイテム参照(「iref」ボックス内)の数は、メディアデータをアドレス指定するためにのみ、又は幾つかの画像アイテム間の関係を表すために制限される。そのような設計は、ファイルの構文解析をより簡単にし、ファイルフォーマットの高度の理解を容易にする。
この実施形態の重要な態様は、全てのシステムレベルアイテム情報が、任意の「mdat」又は「idat」ボックスをフェッチすることなくパーサーにアクセス可能であり、アイテム情報エントリに直接含まれるか、又はアイテム情報エントリによって直接参照される、専用のボックス(ISOBMFFフルボックスを使用する)に収められることである。
この実施形態は以下の変更を導入する:
−アイテム間で共有されるボックス構造の記述メタデータ及び規範メタデータを含むために、SharedItemPropertiesBox(「sitp」)と呼ばれる新たな専用ボックスが規定される。
−ボックス構造の記述メタデータ及び規範メタデータをアイテムに関連付けるためにItem Info Entry(「infe」)を変更する。そのメタデータは、メタデータがこのアイテムにのみ関連する場合には、「infe」ボックス内に直接記憶することができ、メタデータが幾つかのアイテム間で共有される場合には、「sitp」ボックス内に記憶し、「infe」ボックスから参照することができる。
−画像アイテムとトラック内のサンプルとの間で同じ初期化データを共有できるようにするための新たなボックス(初期化パラメーターを表すSampleDescriptionEntryReference「sder」)。
SharedItemPropertiesBox(「sitp」)と呼ばれる新たなボックスは以下のように規定される。
ボックスタイプ:「sitp」
コンテナー:メタボックス(「meta」)
必須:非必須
量:0又は1
SharedItemPropertiesボックス(専用共有ボックス)は、親「メタ」ボックス内で宣言される幾つかのアイテムに適用可能な場合がある、記述メタデータ(表示パラメーター)及び規範メタデータ(変換演算子)(特性とも呼ばれる)を規定するボックスのリストを含む。これらのボックスは、ItemInfoEntryボックスから、0ベースのインデックスによって参照される。このボックスは以下の構文を有する。
Figure 2021057899
Item Info Entryの変更に関して、以下の意味を有する新たなバージョン(4)が規定される。ItemInfoEntryボックスは、アイテムインフォエントリ内に、このアイテムのための特性を与える付加的なボックスを含むか、又は参照する可能性を提供する。含まれる特性及び参照される特性の集合内に、多くても所与のタイプの1つの特性しか存在すべきでない。特性は順序依存とすることができ、その場合、ItemInfoEntryボックス内で与えられる順序が使用されるべきであり、すなわち、最初に含まれる特性が最初に適用され、その後、全ての他の含まれる特性が適用され、その後、全ての参照される特性が適用される。
付加的な構文が以下のように規定される。
Figure 2021057899
関連付けられる意味は:
included_prop_count:アレイitem_propertiesに含まれる特性(記述メタデータ又は規範メタデータ)の数。
item_properties:このアイテムのための付加情報(アイテム情報の特性)を与えるボックスのアレイ又はボックスのテーブル。許されるボックスは、SharedItemPropertiesBoxの場合と同じである。
indexed_prop_count:SharedItemPropertiesボックス内の特性への参照数。
box_prop_idx:「メタ」ボックスのSharedItemPropertiesボックス内に記憶されるボックスのリストへの0ベースのインデックス。
この実施形態によれば、全ての記述メタデータ及び規範メタデータは、SharedItemPropertiesボックスの中に、又はItemInfoEntryボックス内のitem_propertiesアレイの中に記憶されることになるISOBMFFフルボックスである。
例えば、画像回転のための規範メタデータは以下のように規定される。
ボックスタイプ:「irot」
コンテナー:SharedItemProperties
必須:非必須
量:0以上
画像回転ボックスは、90度の単位において反時計回りの方向の回転角度を与える。画像アイテムの特性として、1つのそのようなボックスのみが割り当てられるべきである。このボックスの構文は以下のように規定される。
Figure 2021057899
ただし、以下の属性意味を有する:
versionは0に等しいものとする。
flagsは0に等しいものとする。
angle90は角度の単位において角度(反時計回りの方向)を規定する。
画像オーバーレイのための規範メタデータは以下のように規定される。
ボックスタイプ:「iovl」
コンテナー:SharedItemProperties
必須:非必須
量:0以上
画像オーバーレイボックスは、より大きいキャンバス内の所与のレイヤ形成順序内の1つ以上の入力画像を特定する。入力画像は、特性としてこのボックスを含むか、又は参照する派生画像アイテムのためのタイプ「dimg」のSingleItemTypeReferenceBox内の、それらがレイヤを形成する順序において、すなわち、最も下にある入力画像が最初にあり、最も上にある入力画像が最後になるようにリスト化される。画像アイテムの特性として、1つのそのようなボックスのみが割り当てられるべきである。
このボックスの構文は以下のように規定される。
Figure 2021057899
ただし、以下の属性意味を有する:
versionは0に等しいものとする。
0に等しい(flags&1)は、フィールドoutput_width、output_height、horizontal_offset及びvertical_offsetの長さが16ビットであることを規定する。1に等しい(flags&1)は、フィールドoutput_width、output_height、horizontal_offset及びvertical_offsetの長さが32ビットであることを規定する。1より大きいflagsの値は予約される。
canvas_fill_value:任意の入力画像のピクセルが特定のピクセルロケーションに位置しない場合に使用されるチャネルあたりのピクセル値を示す。fill値はRGBAとして規定される(ループカウンターjに対応するR、G、B及びAはそれぞれ0、1、2、及び3に等しい)。RGB値は、IEC61966−2−1内に規定されるようなsRGB色空間内にある。A値は、0(完全に透明)から65535(完全に不透明)に及ぶ線形不透明値である。
output_width、output_height:入力画像が配置される出力画像の幅及び高さをそれぞれ規定する。出力画像の画像エリアはキャンバスと呼ばれる。
reference_countは、タイプ「dimg」のSingleItemTypeReferenceBoxから取得され、ただし、このボックスを使用するアイテムは、from_item_IDフィールドによって識別される。
horizontal_offset、vertical_offset:入力画像が位置する、キャンバスの左上角からのオフセットを規定する。負のオフセット値を有するピクセルロケーションは出力画像に含まれない。output_width以上の水平ピクセルロケーションは出力画像に含まれない。output_height以上の垂直ピクセルロケーションは出力画像に含まれない。
画像グリッドのための規範メタデータは以下のように規定される。
ボックスタイプ:「grid」
コンテナー:SharedItemProperties
必須:非必須
量:0以上
画像グリッドボックスは、より大きいキャンバス内に所与のグリッド順序において1つ以上の入力画像から出力画像を形成する。画像アイテムの特性として、1つのそのようなボックスのみが割り当てられるべきである。入力画像は、ItemReferenceBox内のこのボックスを使用する派生画像アイテムのためのタイプ「dimg」のSingleItemTypeReferenceBoxの順序において、行優先順に、最も上の行が最初で、左から右に挿入される。このアイテムから入力画像へのrowscolumnsアイテム参照が存在すべきである。全ての入力画像が全く同じ幅及び高さを有するべきである。それらをtile_width及びtile_heightと呼ぶ。タイリングされた入力画像は、出力画像グリッドキャンバスを完全に「カバー」すべきであり、ただし、tile_widthcolumnsはoutput_width以上であり、tile_heightrowsはoutput_height以上である。出力画像は、tile_widthに等しい列幅(潜在的には最も右の列を除外する)と、tile_heightに等しい行高(潜在的には最も下の行を除外する)とを有するグリッドの中に、間隙又は重なりを生じることなく入力画像をタイリングし、その後、右及び下において、指示されたoutput_width及びoutput_heightまでトリミングすることによって形成される。
このボックスの構文は以下のように規定される。
Figure 2021057899
ただし、以下の属性意味を有する:
versionは0に等しいものとする。
0に等しい(flags&1)は、フィールドoutput_width、output_heightの長さが16ビットであることを規定する。1に等しい(flags&1)は、フィールドoutput_width、output_heightの長さが32ビットであることを規定する。1より大きいflagsの値は予約される。
output_width、output_height:入力画像が配置される出力画像の幅及び高さをそれぞれ規定する。出力画像の画像エリアはキャンバスと呼ばれる。
rows、columns:入力画像の行の数、及び行あたりの入力画像の数を規定する。入力画像は、アイテム参照の順序において、最初に最も上の行を占め、その後、2行目以降を占める。
補助構成ボックス(「auxC」)のような全ての他の記述メタデータ及び規範メタデータと同様に、画像空間エクステントボックス(「ispe」)、ピクセル情報ボックス(「pixi」)、相対ロケーションボックス(「rloc」)、クリーンアパーチャボックス(「clap」)(非限定的なリスト)は全てISOBMFFフルボックスから受け継がれる。
この実施形態によれば、アイテムが、派生への入力である、1つ以上の他の画像アイテムへの「dimg」アイテム参照を含むとき、そのアイテムは派生画像である。派生画像は、指定された入力画像への、回転のような規定された演算を実行することによって取得される。派生画像を取得するために実行される演算は、アイテムのitem_typeによって識別される。派生画像への入力として使用される画像アイテムは、符号化画像とすることができるか、又は他の派生画像アイテムとすることができる。
例えば、クリーンアパーチャ派生画像アイテムは、item_type値「clap」によって識別される。それは、データを記憶せず、「iloc」テーブル内に関連付けられるエントリを有するべきでない。それは、ISO/IEC14496−12において規定されるようなタイプCleanApertureBoxのアイテム特性を含むか、又は参照すべきである。それは、画像アイテムへのタイプ「dimg」のアイテム参照を有するべきである。別の例として、画像回転派生画像アイテムは、item_type値「irot」によって識別される。それは、データを有せず、「iloc」テーブル内に関連付けられるエントリを有するべきでない。それは、上記で規定されたようなタイプImageRotationBoxのアイテム特性を含むか、又は参照すべきである。それは、画像アイテムへのタイプ「dimg」のアイテム参照を有するべきである。
同様に、画像オーバーレイ派生画像アイテムは、item_type「iovl」によって識別される。それは、データを有せず、「iloc」テーブル内に関連付けられるエントリを有するべきでない。それは、上記で規定されたようなタイプImageOverlayBoxのアイテム特性を含むか、又は参照すべきである。それは、画像アイテムの組へのタイプ「dimg」のアイテム参照を有するべきである。画像グリッド派生画像アイテムは、item_type値「grid」によって識別される。それは、データを有せず、「iloc」テーブル内に関連付けられるエントリを有するべきでない。それは、上記で規定されたようなタイプImageGridBoxのアイテム特性を含むか、又は参照すべきである。それは、画像アイテムの組へのタイプ「dimg」のアイテム参照を有するべきである。
以下は、画像に記述メタデータ及び規範メタデータ(又は特性)を割り当てるために、SharedItemPropertiesボックス及び拡張ItemInfoEntryボックスを使用することを例示する幾つかの例である。
以下の例では、2つの特性ボックス(「hvcC」及び「ispe」)が、アレイitem_properties内の関連付けられるitemInfoEntry内において画像アイテムに直接割り当てられる。
Figure 2021057899
以下の例では、前出の例に加えて、画像回転演算子(「irot」)が同じようにして画像アイテムに割り当てられる。
Figure 2021057899
以下の例では、異なるHEVC構成を有する複数の画像が、SharedItemPropertyボックス(「sitp」)に記憶される共通の画像空間エクステントボックス(「ispe」)内に記述される同じ寸法を共有する。各画像itemInfoEntryボックスは、自らのHEVC構成ボックス(「hvcC」)を含み、共通の画像空間エクステントボックス(「ispe」)を参照するために、SharedItemPropertyボックスへのインデックス(アイテム特性インデックス)を使用する。
Figure 2021057899
テーブルitem properties indicesのエントリは識別子の組を形成する。識別子の別の組が、専用共有ボックス(SharedItemPropertiesBox)内の画像記述情報(ここでは、「ispe」)のランク(ここでは、0)によって形成される。
別の実施形態において、専用共有ボックス内の画像記述情報に割り振られる別のIDによって、他の識別子を形成することができる。例えば、画像記述情報に割り振られるこの別のIDは、ISOBMFF「フルボックス」の代わりに、「VirtualItemBox」(上記)から受け継ぐことによって規定することができる。この実施形態によれば、有利には、セット識別子に影響を及ぼすことなく、専用共有ボックス内の画像記述情報を並べ替えることができるようになる。
識別子のいずれの組も、画像アイテム情報(ItemInfoBox内のエントリによって表される)を少なくとも1つの画像記述情報にリンクするための構造を形成する。
以下の例は、回転したグリッド内の複数の画像から構成される派生画像を記述する。グリッドを構成する全ての画像が、SharedItemPropertyボックス内に位置し、ボックス特性インデックスによって参照される「hvcC」及び「ispe」ボックスによって同じHEVC構成及び同じ画像寸法を共有する。グリッドを表す派生画像は、画像グリッドボックスを含むitemInfoEntryを介して記述される。適用すべき回転は、派生画像に関連付けられる画像回転ボックスで記述される。派生画像を構成する入力画像は、アイテム参照ボックス(「iref」)ボックス内のアイテム参照エントリを介して参照される。
Figure 2021057899
以下の例は、HEVCタイリング画像を記述する。この例において、全てのアイテム(フル画像(itemID=1)及びタイル(itemID=2、3、4、5))が同じHEVC構成ボックスを共有し、全てのタイルが、SharedItemPropertiesBoxを介してタイルサイズ(Wt、Ht)を規定する同じ画像空間エクステントボックスを共有する。さらに、全てのタイルアイテムが、各タイルのxy座標を与える自らの相対ロケーションボックス(「rloc」)を含む。
Figure 2021057899
さらに、幾つかの画像フォーマットは、画像アイテムデータを復号するための初期化データを必要とする。初期化データはコーデック特有であり、ビデオトラックのために規定される復号器構成記録と同じか、又は類似とすることができる。そのような事例において、初期化データをファイルフォーマットにおいて繰り返すのではなく、共有することが有用である。そのような初期化データが必要とされる場合には、特定のタイプの記述メタデータ(特性)によってアイテム情報において与えられる。幾つかの画像アイテムが、そのような同じ特性を共有することができる。画像アイテムと、トラックの幾つかのサンプルとの間で同じ初期化データを共有できるようにするために、SampleDescriptionEntryReference(「sder」)と呼ばれる新たな記述メタデータボックスが以下のように規定される。
ボックスタイプ:「sder」
コンテナー:SharedItemProperties
必須:非必須
量:0以上
SampleDescriptionEntryReferenceBoxによって、画像アイテムがトラックの幾つかのサンプルと同じ初期化データを再利用することを示すことができるようになる。それはトラックと、そのトラックのそれらのサンプルのサンプル記述エントリとを識別する。このボックスは以下の構文を有する:
Figure 2021057899
ただし、そのパラメーターに関して以下の意味を有する:
track_ID:その初期化が再利用されるトラックの識別子。
sample_description_index:このアイテム内のデータを記述する関連付けられるトラック内のサンプルエントリの1ベースのインデックス。
以下の例は、画像アイテムInfoEntryに関連付けられるSampleDescriptionEntryReferenceボックス(「sder」)を介してトラックと画像アイテムとの間でHEVC構成を共有することを例示する。
Figure 2021057899
画像アイテムデータがHEVCタイルを表すとき、各HEVCタイルアイテムは、HEVCタイルアイテム内に存在するタイルを復号するために必要とされる全てのパラメーターセットとともに、タイプHEVCConfigurationBoxの特性を含むか、又は参照すべきである。幾つかのHEVCタイルアイテムは、同じHEVCConfigurationBox特性を共有することができる。また、HEVCタイルアイテムは、それぞれのHEVC画像アイテム内のHEVCタイルアイテムの位置を示すRelativeLocationBox特性(「rloc」)を含むか、又は参照すべきである。異なるHEVC画像に属するタイルに対応する幾つかのHEVCタイルアイテムが、同じRelativeLocationBoxを共有することができる。HEVCタイルアイテムごとにImageSpatialExtentsBox特性(「ispe」)が使用されるべきである。ImageSpatialExtentsBoxのdisplay_width及びdisplay_heightは、HEVCタイルアイテムの幅及び高さに設定されるべきである。
上記の代替の実施形態への変形形態において、全ての共有される記述メタデータ及び規範メタデータを単一のコンテナーSharedItemPropertiesBoxの中にグループ化するのではなく、2つの異なるコンテナーボックスを規定することができ、一方は記述メタデータ専用であり、他方は規範メタデータ専用である。そのような場合には、拡張ItemInfoEntryが2つの異なる特性インデックスアレイ(box_prop_idx及びbox_ope_idx)を含むか、又は関連付けられるコンテナーを検索するために、メタデータのタイプ(記述又は規範)が特性インデックスアレイ(box_prop_idx)の各エントリに関連付けられる。
box_prop_idx及びbox_ope_idxのエントリは識別子の組を形成する。識別子の他の組が、2つの専用共有ボックス内の画像記述情報のランクによって形成される。
別の実施形態において、識別子の他の組が、各専用共有ボックス内の画像記述情報に割り振られる他のIDによって形成される場合がある。この実施形態によれば、有利には、識別子の組に影響を及ぼすことなく、専用共有ボックス内の画像記述情報を並べ替えることができるようになる。
識別子のいずれの組も、画像アイテム情報(ItemInfoBox内のエントリによって表される)を少なくとも1つの画像記述情報にリンクするための構造を形成する。
本発明のこの最後の態様の更なる例が付録に記述される。
本発明の別の態様において、全ての記述メタデータ及び規範メタデータは依然として、SharedItemPropertiesBoxに類似の1つ又は2つのボックスにグループ化することができるが、itemInfoEntryボックスを変更するのではなく、アイテム参照ボックスを用いて、画像アイテムをその記述メタデータ及び規範メタデータと関連付けることができる。この代替の実施形態において、2つの異なるコンテナーボックスが規定され、一方は記述特性(例えば、SharedItemProperties)用であり、他方は規範特性(例えば、SharedItemOperators)用である。
Figure 2021057899
「infe」ボックスを変更する代わりに、itemReferenceBox「iref」ボックスを用いて、画像及び派生画像アイテムをその記述メタデータ及び規範メタデータ(演算子とも呼ばれる)に関連付ける。
2つの新たな参照タイプ、例えば、記述メタデータ用の「sipr」及び規範メタデータ用の「sior」が規定される。
関連タイプ(「sipr」又は「sior」)に応じて、アイテム参照ボックス内の「to_item_ID」パラメーターは、それぞれSharedItemPropertiesBox又はSharedItemOperatorsBoxへのインデックスであると解釈される。「to_item_ID」に関連付けられる参照タイプ(ここでは、「sipr」又は「sior」)は、画像アイテム情報(ItemInfoBox内のエントリによって表される)を画像記述情報(記述メタデータ及び規範メタデータ)にリンクするための構造を形成する。
任意の他の既存の参照タイプの場合、属性「to_item_ID」は依然として、ItemInfoBox内のitemIDを指していると解釈される。
以下は、「sipr」及び「sior」関連タイプを用いて、回転したグリッド内の複数の画像を記述する例である。
Figure 2021057899
一変形形態として、共有ボックス内の各画像記述情報が適切なIDに関連付けられる。この実施形態によれば、有利には、識別子に影響を及ぼすことなく、専用共有ボックス内の画像記述情報を並べ替えることができるようになる。
一変形形態において、各既存の参照タイプは、itemInfoBox、SharedItemPropertiesボックス、又はSharedItemOperatorsボックスのいずれかに暗に関連付けられる。例えば、「ispe」、「rloc」、「clap」、「hvcC」のような記述メタデータの参照タイプは、SharedItemPropertiesボックスに関連付けられ、「irot」、「iovl」、「grid」のような規範メタデータの参照タイプは、SharedItemOperatorsボックスに関連付けられる。
図9は、本発明の1つ以上の実施形態の実施態様のためのコンピューティングデバイス900の概略的なブロック図である。コンピューティングデバイス900は、マイクロコンピューター、ワークステーション又は軽量ポータブルデバイスのようなデバイスとすることができる。コンピューティングデバイス900は、以下のものに接続される通信バスを備える。
−CPUで表される、マイクロプロセッサのような中央処理ユニット901。
−本発明の実施形態の方法の実行可能コードを記憶するための、RAMで表される、ランダムアクセスメモリ902、並びにマニフェストを読み出し、及び書き込むために、及び/又はビデオを符号化するために、及び/又は所与のファイルフォーマット下でデータを読み出すか、又は生成するための方法を実施するために必要とされる変数及びパラメーターを記録するように構成されるレジスタ。その記憶容量は、例えば、拡張ポートに接続されるオプションのRAMによって拡張することができる。
−本発明の実施形態を実施するためのコンピュータープログラムを記憶するための、ROMで表される、リードオンリーメモリ903。
−ネットワークインターフェース904は通常、処理されるべきデジタルデータがそれを介して送信又は受信される通信ネットワークに接続される。ネットワークインターフェース904は単一のネットワークインターフェースとすることができるか、又は異なるネットワークインターフェースの組(例えば、有線及び無線インターフェース、又は異なる種類の有線又は無線インターフェース)から構成することができる。データが、CPU901において実行されるソフトウェアアプリケーションの制御下で、送信するためにネットワークインターフェースに書き込まれるか、又は受信するためにネットワークインターフェースから読み出される。
−ユーザーから入力を受信するか、又はユーザーに情報を表示するためのユーザーインターフェース905。
−HDで表される、ハードディスク906。
−ビデオソース又はディスプレイのような外部デバイスからデータを受信し/外部デバイスにデータを送信するためのI/Oモジュール907。
実行可能コードは、リードオンリーメモリ903内に、又はハードディスク906上に、又は例えば、ディスクのようなリムーバブルデジタル媒体上に記憶することができる。一変形形態によれば、プログラムの実行可能コードは、実行される前に、ハードディスク906のような、通信デバイス900の記憶手段のうちの1つに記憶するために、通信インターフェース904を介して、通信ネットワークを用いて受信することができる。
中央処理ユニット901は、本発明の実施形態に従って、単数又は複数のプログラムの命令又はソフトウェアコードの一部の実行を制御し、指示するように構成され、命令は上記の記憶手段のうちの1つに記憶される。電源投入時に、それらの命令が、例えば、プログラムROM903又はハードディスク(HD)906からロードされた後に、CPU901は、ソフトウェアアプリケーションに関連するメインRAMメモリ902からの命令を実行することができる。そのようなソフトウェアアプリケーションは、CPU901によって実行されるときに、実施形態による方法のステップを実行する。
代替的には、本発明は、ハードウェア(例えば、特定用途向け集積回路又はASICの形をとる)において実現することができる。
本発明は、例えば、特定の対象領域にズームインするために、カメラ、スマートフォン、又はTVのためのリモートコントローラーとしての役割を果たすタブレットのようなデバイスに埋め込むことができる。また、同じデバイスから、特定の対象領域を選択することによって、TV番組の個人向けのブラウジング体験を有するように使用することもできる。ユーザーによるこれらのデバイスからの別の使用法は、自分の好みのビデオの幾つかの選択されたサブパートを、他の接続されるデバイスと共有することである。また、監視カメラが本発明の生成部分をサポートする場合には、監視下に置かれた建物の特定のエリアにおいて何が発生したかを監視するために、スマートフォン又はタブレットにおいて使用することもできる。
本発明は図面及び上述の記載で詳細に説明及び記載されているが、かかる説明及び記載は説明的なもの又は例示的なものであり、限定的なものではないとみなされる。本発明は開示される実施形態に限定されるものではない。当業者であれば、請求項に係る発明を実施する際に、図面、開示及び添付の特許請求の範囲の検討により、開示される実施形態に対する他の変形形態を理解し、それを行うことができる。
特許請求の範囲において、「を含む」という単語は他の要素又は工程を排除せず、数量を特定していないもの(the indefinite article "a" or "an")は複数存在することを排除しない。単一のプロセッサ又は他のユニットが、特許請求の範囲において列挙される幾つかのアイテムの機能を果たすことができる。異なる特徴が互いに異なる従属クレーム内に列挙されることは、それだけで、これらの特徴の組み合わせを都合良く使用できないことを示すものではない。特許請求の範囲内のいかなる参照符号も、本発明の範囲を制限するものと解釈されるべきではない。
付録
例1:単一の画像
Figure 2021057899
例2:回転を伴う単一の画像
Figure 2021057899
例3:回転及びクリーンアパーチャを伴う単一の画像
Figure 2021057899
例4:同じ寸法を有するが、異なるHEVC構成を有する複数の画像
Figure 2021057899
例5:同じHEVC構成及び寸法を有する複数の画像
Figure 2021057899
例6:同じHEVC構成及び寸法を有するが、異なる回転を伴う複数の画像
Figure 2021057899
例7:1つのグリッド内の複数の画像
Figure 2021057899
例8:回転したグリッド内の複数の画像
Figure 2021057899
例9:オーバーレイを伴う複数の画像
Figure 2021057899
例10:1つの画像及びその回転したバージョン
Figure 2021057899
例11:タイリングされた画像
Figure 2021057899
例12:マスター画像と同じHEVC構成及び寸法を有する補助画像
Figure 2021057899
例13:サブサンプル記述を伴う画像
Figure 2021057899
例14:トラックとアイテムとの間で共有されるHEVC構成
Figure 2021057899
ISOベースメディアファイルフォーマットの「メタ」ボックス内のタイルで符号化された静止画像の記述を示す図である。 タイリングされたビデオの一例を示す図である。 HEVC内の種々のタイル/スライス構成を示す図である。 「トラック」ボックスを有するISOベースメディアファイルフォーマットによるタイルカプセル化を示す図である。 ISOBMFFの「メタ」ボックス内の情報アイテムを記述するための標準的なメタデータを示す図である。 情報アイテム記述への例示的な拡張を示す図である。 情報アイテム間の参照機構を示す図である。 本発明の実施形態の実施態様の状況を示す図である。 本発明の1つ又は複数の実施形態の実施態様のためのコンピューティングデバイスの概略的なブロック図である。

Claims (24)

  1. メタデータが格納されたボックスの階層構造を有する画像ファイルを生成する方法であって、該方法は、
    1つ以上の画像を取得し、
    前記1つ以上の画像のそれぞれに関連する1つ以上のプロパティを識別し、
    前記生成された画像ファイルは、
    (1)専用ボックスにリストされる、互いに識別される1つ以上のプロパティと、
    (2)前記1以上のプロパティのそれぞれの識別情報と、前記1以上の画像のそれぞれの識別情報とを関連付けるための関連情報と、
    を含む
    ことを特徴とする、方法。
  2. 前記画像ファイルは、前記1以上の画像の夫々に対する情報を示す”Item Information Box”をさらに含み、
    前記1以上のプロパティのそれぞれの前記識別情報と、前記1以上の画像のそれぞれの前記識別情報とを関連付けるための前記関連情報は、前記専用ボックスとは異なる所定のボックスにおいて記述されることを特徴とする請求項1に記載の方法。
  3. 前記専用ボックスは、少なくとも1つのサブボックス“ispe”を含み、前記少なくとも1つのサブボックス“ispe”のそれぞれは、前記1以上の画像の幅および高さを含むプロパティを記述し、前記関連情報は、前記1以上の画像のそれぞれの前記識別情報と、1以上の”ispe”のそれぞれの前記識別情報とを関連付けることを特徴とする請求項2に記載の方法。
  4. 前記専用ボックスは、少なくとも1つ以上のサブボックス”hvcC”を含み、前記少なくとも1つ以上のサブボックス”hvcC”のそれぞれは、前記1以上の画像をデコードするためのデコーダーを示すプロパティを記述し、前記関連情報は、前記1以上の画像のそれぞれの前記識別情報と、前記1以上の”hvcC”のそれぞれの前記識別情報とを関連付けることを特徴とする請求項1に記載の方法。
  5. 前記関連情報は、識別された前記以上のプロパティの識別情報と、少なくとも2つ以上の画像に対応する識別情報との間の対応付けを表すことを特徴とする請求項2または3に記載の方法。
  6. 前記画像ファイルは、複数の画像に基づいて生成されることを特徴とする請求項1〜5のいずれか一項に記載の方法。
  7. 前記画像ファイルは、1つの画像に対応する複数のサブ画像に基づいて生成されることを特徴とする請求項1から5の何れか1項に記載の方法。
  8. 前記画像ファイルは、メタデータ部分とメディアデータ部分とを含み、前記1以上のプロパティと前記関連情報とは、前記メタデータ部分に記述されることを特徴とする請求項1〜7のいずれか一項に記載の方法。
  9. 前記識別されたプロパティは、前記1以上のプロパティのそれぞれの前記識別情報に対応する順で順序付けられることを特徴とする請求項1〜8のいずれか一項に記載の方法。
  10. メタデータが格納されたボックスの階層構造を有する画像ファイルに基づいて画像を出力する方法であって、該方法は、
    (1)専用ボックスにリストされる、互いに識別される1つ以上のプロパティと、
    (2)前記1以上のプロパティのそれぞれの識別情報と、1以上の画像のそれぞれの識別情報とを関連付けるための関連情報と、を少なくとも含む画像ファイルを取得し、
    前記取得した画像ファイルに基づいて画像を出力する
    ことを特徴とする方法。
  11. 前記画像ファイルは、前記1以上の画像の夫々に対する情報を示す”Item Information Box”をさらに含み、
    前記1以上のプロパティのそれぞれの前記識別情報と、前記1以上の画像のそれぞれの前記識別情報とを関連付けるための前記関連情報は、前記専用ボックスとは異なる所定のボックスにおいて記述されることを特徴とする請求項10に記載の方法。
  12. 前記専用ボックスは、少なくとも1つのサブボックス“ispe”を含み、前記少なくとも1つのサブボックス“ispe”のそれぞれは、前記1以上の画像の幅および高さを含むプロパティを記述し、前記関連情報は、前記1以上の画像のそれぞれの前記識別情報と、1以上の”ispe”のそれぞれの前記識別情報とを関連付けることを特徴とする請求項11に記載の方法。
  13. 前記専用ボックスは、少なくとも1つ以上のサブボックス”hvcC”を含み、前記少なくとも1つ以上のサブボックス”hvcC”のそれぞれは、前記1以上の画像をデコードするためのデコーダーを示すプロパティを記述し、前記関連情報は、前記1以上の画像のそれぞれの前記識別情報と、前記1以上の”hvcC”のそれぞれの前記識別情報とを関連付けることを特徴とする請求項10に記載の方法。
  14. 前記関連情報は、識別された前記以上のプロパティの識別情報と、少なくとも2つ以上の画像に対応する識別情報との間の対応付けを表すことを特徴とする請求項11または12に記載の方法。
  15. 前記画像ファイルは、複数の画像に基づいて生成されることを特徴とする請求項10〜14のいずれか一項に記載の方法。
  16. 前記画像ファイルは、1つの画像に対応する複数のサブ画像に基づいて生成されることを特徴とする請求項10〜14のいずれか一項に記載の方法。
  17. 前記画像ファイルは、メタデータ部分とメディアデータ部分とを含み、前記1以上のプロパティと前記関連情報とは、前記メタデータ部分に記述されることを特徴とする請求項11〜16のいずれか一項に記載の方法。
  18. 前記識別されたプロパティは、前記1以上のプロパティのそれぞれの前記識別情報に対応する順で順序付けられることを特徴とする請求項10〜17のいずれか一項に記載の方法。
  19. メタデータが格納されたボックスの階層構造を有する画像ファイルを生成する装置であって、該装置は、
    前記1つ以上の画像を取得する取得部と、
    前記1つ以上の画像のそれぞれに関連する1つ以上のプロパティを識別する識別部とを備え、
    前記生成された画像ファイルは、
    (1)専用ボックスにリストされる、互いに識別される1つ以上のプロパティと、
    (2)前記1以上のプロパティのそれぞれの識別情報と、前記1以上の画像のそれぞれの識別情報とを関連付けるための関連情報と、
    を含むことを特徴とする、装置。
  20. メタデータが格納されたボックスの階層構造を有する画像ファイルに基づいて画像を出力する装置であって、該装置は、
    (1)専用ボックスにリストされる、互いに識別される1つ以上のプロパティと、
    (2)前記1以上のプロパティのそれぞれの識別情報と、1以上の画像のそれぞれの識別情報とを関連付けるための関連情報と、
    を少なくとも含む画像ファイルを取得する取得部と、
    前記取得した画像ファイルに基づいて画像を出力する出力部と
    を備える
    ことを特徴とする、装置。
  21. 請求項1〜9のいずれか一項に記載の方法を実施するために構成される、1つ以上の画像を表す符号化ビットストリームをカプセル化するためのデバイス。
  22. 請求項10〜18のいずれか一項に記載の方法を実施するために構成される、1つ以上の画像を表すカプセル化されたビットストリームを処理するためのデバイス。
  23. 請求項21に記載のデバイスと、
    前記デバイスからのファイルを処理するための、請求項22に記載のデバイスと、
    を備える、システム。
  24. 請求項1〜18のいずれか一項に記載の方法をコンピュータが実行するためのプログラム。
JP2020161802A 2015-06-16 2020-09-28 画像データカプセル化 Active JP7039668B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021178907A JP7293312B2 (ja) 2015-06-16 2021-11-01 画像データカプセル化
JP2023094529A JP2023120249A (ja) 2015-06-16 2023-06-08 画像データカプセル化

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1510608.1 2015-06-16
GB1510608.1A GB2539461B (en) 2015-06-16 2015-06-16 Image data encapsulation

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017564598A Division JP2018522469A (ja) 2015-06-16 2016-06-08 画像データカプセル化

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021178907A Division JP7293312B2 (ja) 2015-06-16 2021-11-01 画像データカプセル化

Publications (2)

Publication Number Publication Date
JP2021057899A true JP2021057899A (ja) 2021-04-08
JP7039668B2 JP7039668B2 (ja) 2022-03-22

Family

ID=53784855

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2017564598A Pending JP2018522469A (ja) 2015-06-16 2016-06-08 画像データカプセル化
JP2020161802A Active JP7039668B2 (ja) 2015-06-16 2020-09-28 画像データカプセル化
JP2021178907A Active JP7293312B2 (ja) 2015-06-16 2021-11-01 画像データカプセル化
JP2023094529A Pending JP2023120249A (ja) 2015-06-16 2023-06-08 画像データカプセル化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017564598A Pending JP2018522469A (ja) 2015-06-16 2016-06-08 画像データカプセル化

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021178907A Active JP7293312B2 (ja) 2015-06-16 2021-11-01 画像データカプセル化
JP2023094529A Pending JP2023120249A (ja) 2015-06-16 2023-06-08 画像データカプセル化

Country Status (13)

Country Link
US (3) US10645379B2 (ja)
EP (2) EP4135336A1 (ja)
JP (4) JP2018522469A (ja)
KR (2) KR102166877B1 (ja)
CN (2) CN112153386A (ja)
BR (1) BR112017025498A2 (ja)
CA (2) CA3192369A1 (ja)
ES (1) ES2943233T3 (ja)
GB (1) GB2539461B (ja)
MX (2) MX2017015444A (ja)
RU (2) RU2690167C1 (ja)
SG (1) SG10202002513XA (ja)
WO (1) WO2016202664A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2539461B (en) 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
CN108886639B (zh) * 2016-02-02 2021-05-07 弗劳恩霍夫应用研究促进协会 视频流传输中的场景部分和感兴趣区域处理
EP3293981A1 (en) * 2016-09-08 2018-03-14 Koninklijke KPN N.V. Partial video decoding method, device and system
US11336909B2 (en) * 2016-12-27 2022-05-17 Sony Corporation Image processing apparatus and method
GB2560921B (en) * 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
CN109089162B (zh) * 2017-04-08 2021-05-28 腾讯科技(深圳)有限公司 一种图片文件处理方法及系统
EP3777221A1 (en) * 2018-04-05 2021-02-17 Canon Kabushiki Kaisha Method and apparatus for encapsulating images in a file
GB2572947A (en) * 2018-04-05 2019-10-23 Canon Kk Method and apparatus for encapsulating images in a file
GB2574445A (en) * 2018-06-06 2019-12-11 Canon Kk Method, device, and computer program for transmitting media content
EP3804320A4 (en) 2018-06-26 2021-06-30 Huawei Technologies Co., Ltd. HIGH LEVEL SYNTAX VERSIONS FOR POINT CLOUD CODING
EP3854105A4 (en) * 2018-09-20 2022-06-22 Nokia Technologies Oy ARTIFICIAL INTELLIGENCE APPARATUS AND METHOD
JP7267703B2 (ja) * 2018-09-27 2023-05-02 キヤノン株式会社 画像データ格納装置、画像データ格納方法、及び、プログラム
KR102106716B1 (ko) * 2018-11-15 2020-05-04 전자부품연구원 타일 기반 스트리밍을 위한 분산 트랜스코딩 방법 및 시스템
JP7391963B2 (ja) * 2018-12-10 2023-12-05 ノキア テクノロジーズ オーユー コンテナファイルフォーマットで情報をシグナリングするための装置及び方法
JP7303625B2 (ja) * 2018-12-18 2023-07-05 キヤノン株式会社 画像ファイル生成装置、画像ファイル生成方法、及びプログラム
WO2020130331A1 (ko) * 2018-12-21 2020-06-25 (주)소프트제국 블록체인에서 노드들간 블록 및 전자 문서를 공유 및 검증하는 방법
CN113302944B (zh) 2018-12-28 2023-10-27 索尼集团公司 信息处理装置和信息处理方法
GB2582155B (en) * 2019-03-12 2023-12-27 Canon Kk Method, device, and computer program for signaling available portions of encapsulated media content
GB2585052B (en) * 2019-06-26 2023-07-26 Canon Kk Method and apparatus for encapsulating panorama images in a file
CN114072847A (zh) * 2019-07-01 2022-02-18 佳能株式会社 图像文件创建设备、图像文件创建方法和程序
JP7370047B2 (ja) 2019-10-29 2023-10-27 株式会社ニッキ エンジンの失火診断検出方法
JP7442302B2 (ja) * 2019-11-22 2024-03-04 キヤノン株式会社 データ処理装置およびその制御方法、プログラム
GB2590435B (en) * 2019-12-17 2023-12-20 Canon Kk Method, device, and computer program for improving encapsulation of media content
WO2021164783A1 (en) 2020-02-21 2021-08-26 Beijing Bytedance Network Technology Co., Ltd. Signaling of slice and tile picture partitions
GB2593945A (en) * 2020-04-06 2021-10-13 Canon Kk Method and apparatus for encapsulating region related annotation in an image file
EP4131961A4 (en) * 2020-04-13 2023-09-13 LG Electronics, Inc. DEVICE FOR TRANSMITTING POINT CLOUD DATA, METHOD FOR TRANSMITTING POINT CLOUD DATA, DEVICE FOR RECEIVING POINT CLOUD DATA AND METHOD FOR RECEIVING POINT CLOUD DATA
GB2596325B (en) * 2020-06-24 2023-04-19 Canon Kk Method and apparatus for encapsulating annotated region in ISOBMFF tracks
WO2022135508A1 (en) * 2020-12-23 2022-06-30 Beijing Bytedance Network Technology Co., Ltd. Video decoder initialization information constraints
CN113891015A (zh) * 2021-09-16 2022-01-04 平安养老保险股份有限公司 基于人工智能的图像处理方法、装置和计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014111547A1 (en) * 2013-01-18 2014-07-24 Canon Kabushiki Kaisha Method, device, and computer program for encapsulating partitioned timed media data
WO2015008686A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 ファイル生成装置および方法、並びにコンテンツ再生装置および方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200283A (ja) * 1999-01-06 2000-07-18 Canon Inc 画像処理システム、画像処理装置、画像処理方法及び記憶媒体
US6633685B1 (en) * 1998-08-05 2003-10-14 Canon Kabushiki Kaisha Method, apparatus, and storage media for image processing
JP3745179B2 (ja) * 1999-01-12 2006-02-15 キヤノン株式会社 情報処理装置及びその制御方法及び記憶媒体
JP2000209580A (ja) * 1999-01-13 2000-07-28 Canon Inc 画像処理装置およびその方法
US20020120596A1 (en) * 2001-02-24 2002-08-29 Matthew Gershoff Content store with inheritance
US7480382B2 (en) * 2003-09-30 2009-01-20 Microsoft Corporation Image file container
FR2868896B1 (fr) * 2004-04-13 2008-03-14 Canon Kk Procede et dispositif de controle d'acces a un document numerique partage dans un reseau de communication de type poste a poste
US7512878B2 (en) * 2004-04-30 2009-03-31 Microsoft Corporation Modular document format
JP4368748B2 (ja) * 2004-06-28 2009-11-18 株式会社リコー コンテンツの編集方法、文書ファイル構造、情報処理装置およびシステム並びにプログラム
EP1932315A4 (en) * 2005-09-01 2012-05-09 Nokia Corp METHOD FOR INTEGRATING SVG CONTENT INTO ISO MULTIMEDIA FILE FORMAT FOR PROGRESSIVE DOWNLOAD AND CONTINUOUS TRANSMISSION OF RICH MULTIMEDIA CONTENT
JP2007109329A (ja) * 2005-10-14 2007-04-26 Canon Inc 画像データ記録装置、画像データ再生装置、画像データ記録方法、プログラム及び記録媒体
US9432433B2 (en) * 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US20080007650A1 (en) * 2006-06-23 2008-01-10 Broadcom Corporation, A California Corporation Processing of removable media that stores full frame video & sub-frame metadata
US20080037825A1 (en) * 2006-08-08 2008-02-14 Gcs Research Llc Digital Watermarking for Geospatial Images
US8775474B2 (en) * 2007-06-29 2014-07-08 Microsoft Corporation Exposing common metadata in digital images
JP4861302B2 (ja) * 2007-12-26 2012-01-25 オリンパスイメージング株式会社 画像ファイル作成装置、画像ファイル作成方法
KR20090088772A (ko) * 2008-02-15 2009-08-20 삼성전자주식회사 슬라이드 쇼를 위한 영상파일을 생성 및 재생하기 위한시스템 및 방법
US8406531B2 (en) * 2008-05-15 2013-03-26 Yahoo! Inc. Data access based on content of image recorded by a mobile device
EP2314072B1 (en) * 2008-07-16 2014-08-27 SISVEL International S.A. Track and track-subset grouping for multi view video decoding.
US20100191765A1 (en) * 2009-01-26 2010-07-29 Raytheon Company System and Method for Processing Images
US8677005B2 (en) * 2009-11-04 2014-03-18 Futurewei Technologies, Inc. System and method for media content streaming
JP5605608B2 (ja) 2010-03-30 2014-10-15 ソニー株式会社 送信装置及び方法、並びにプログラム
EP2596458B1 (en) * 2010-07-21 2018-02-21 MBDA UK Limited Image processing method
EP2614653A4 (en) 2010-09-10 2015-04-15 Nokia Corp METHOD AND APPARATUS FOR ADAPTIVE CONTINUOUS DIFFUSION
EP2716028B1 (en) * 2011-05-27 2020-07-22 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata
WO2013042766A1 (ja) 2011-09-22 2013-03-28 オリンパス株式会社 画像処理装置、画像処理システム、及び画像読出し装置
US9648317B2 (en) * 2012-01-30 2017-05-09 Qualcomm Incorporated Method of coding video and storing video content
US10038899B2 (en) 2012-10-04 2018-07-31 Qualcomm Incorporated File format for video data
US11290510B2 (en) * 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
GB2542282B (en) * 2013-10-22 2018-08-01 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data in a server
US9648348B2 (en) * 2013-10-23 2017-05-09 Qualcomm Incorporated Multi-layer video file format designs
CN106416250B (zh) 2013-12-02 2020-12-04 诺基亚技术有限公司 视频编码和解码
EP3092772B1 (en) * 2014-01-07 2019-07-31 Nokia Technologies Oy Media encapsulating and decapsulating
GB2524726B (en) * 2014-03-25 2018-05-23 Canon Kk Image data encapsulation with tile support
GB2531271A (en) * 2014-10-14 2016-04-20 Nokia Technologies Oy An apparatus, a method and a computer program for image sequence coding and decoding
EP3234775A4 (en) * 2014-12-19 2018-11-07 Nokia Technologies Oy Media encapsulating and decapsulating
GB2535453A (en) * 2015-02-10 2016-08-24 Canon Kk Method, device, and computer program for encapsulating hevc layered media data
US9965824B2 (en) * 2015-04-23 2018-05-08 Google Llc Architecture for high performance, power efficient, programmable image processing
US9756268B2 (en) * 2015-04-23 2017-09-05 Google Inc. Line buffer unit for image processor
GB2539461B (en) 2015-06-16 2020-01-08 Canon Kk Image data encapsulation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014111547A1 (en) * 2013-01-18 2014-07-24 Canon Kabushiki Kaisha Method, device, and computer program for encapsulating partitioned timed media data
WO2015008686A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 ファイル生成装置および方法、並びにコンテンツ再生装置および方法

Also Published As

Publication number Publication date
CN112153386A (zh) 2020-12-29
CA3192369A1 (en) 2016-12-22
RU2019115882A3 (ja) 2019-10-08
KR20190123806A (ko) 2019-11-01
CA2988476A1 (en) 2016-12-22
BR112017025498A2 (pt) 2018-08-07
RU2719368C2 (ru) 2020-04-17
KR20180016519A (ko) 2018-02-14
JP7039668B2 (ja) 2022-03-22
EP3311585A1 (en) 2018-04-25
ES2943233T3 (es) 2023-06-12
EP4135336A1 (en) 2023-02-15
WO2016202664A1 (en) 2016-12-22
MX2017015444A (es) 2018-03-08
EP3311585B1 (en) 2023-03-01
RU2019115882A (ru) 2019-07-01
KR102038783B1 (ko) 2019-10-30
JP2023120249A (ja) 2023-08-29
US20180352219A1 (en) 2018-12-06
CN107750462A (zh) 2018-03-02
US10645379B2 (en) 2020-05-05
JP2022009845A (ja) 2022-01-14
GB2539461A (en) 2016-12-21
CN107750462B (zh) 2020-10-09
JP2018522469A (ja) 2018-08-09
RU2690167C1 (ru) 2019-05-31
US20200228795A1 (en) 2020-07-16
US20240179297A1 (en) 2024-05-30
KR102166877B1 (ko) 2020-10-16
JP7293312B2 (ja) 2023-06-19
SG10202002513XA (en) 2020-05-28
MX2021002494A (es) 2021-05-27
GB201510608D0 (en) 2015-07-29
US11985302B2 (en) 2024-05-14
GB2539461B (en) 2020-01-08

Similar Documents

Publication Publication Date Title
JP7039668B2 (ja) 画像データカプセル化
JP7098786B2 (ja) 画像データのカプセル化
US11190791B2 (en) Description of image composition with HEVC still image file format
US20170134756A1 (en) Image data encapsulation with referenced description information
GB2573939A (en) Image data encapsulation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220309

R151 Written notification of patent or utility model registration

Ref document number: 7039668

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151