JP2022537624A - ファイル内にパノラマ画像をカプセル化するための方法および装置 - Google Patents

ファイル内にパノラマ画像をカプセル化するための方法および装置 Download PDF

Info

Publication number
JP2022537624A
JP2022537624A JP2021563179A JP2021563179A JP2022537624A JP 2022537624 A JP2022537624 A JP 2022537624A JP 2021563179 A JP2021563179 A JP 2021563179A JP 2021563179 A JP2021563179 A JP 2021563179A JP 2022537624 A JP2022537624 A JP 2022537624A
Authority
JP
Japan
Prior art keywords
group
panorama
item
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021563179A
Other languages
English (en)
Other versions
JP7421570B2 (ja
Inventor
フレデリック マゼ，
フランク ドゥヌアル，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2022537624A publication Critical patent/JP2022537624A/ja
Application granted granted Critical
Publication of JP7421570B2 publication Critical patent/JP7421570B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本発明は、ファイル内にメディアデータをカプセル化する方法に関し、方法は、リファレンス画像のセットを符号化することと、リファレンス画像のセットを記述するための画像アイテムのセットを生成することと、リファレンス画像のセットに基づいて、パノラマに対応する派生画像を記述する画像アイテムを生成することと、派生画像を記述する画像アイテムを画像アイテムのセットに関連付ける関連付け情報を生成することと、パノラマのパラメータを含むパラメータデータ構造を生成することと、パラメータデータ構造は、派生画像を記述する画像アイテムと関連付けられており、関連付け情報と派生画像を記述する画像アイテムのセットをファイルに埋め込むこととを含む。

Description

本開示は、ファイル内に複数の画像をカプセル化するための方法およびデバイスに関する。
現代のカメラは、画像を撮影するためのさまざまな撮影モードを提供している。これらの撮影モードのいくつかでは、一連の画像が撮影される。例えば、それらはいくつかの画像が撮影されるブラケティングモードを提供し、撮影の１つのパラメータの値は撮影画像毎に変化する。パラメータは例えば、露光時間、ホワイト値、またはフォーカスであってもよい。別の撮影モードは、シーンの大きなビューを再構成するために一連の重なり合う画像を得ることを可能にするパノラマモードとすることができる。現代のカメラでは、これらのさまざまな撮影モードを組み合わせることができ、たとえば、パノラマを構築するための撮影ビューごとに、ブラケティングモードに従って一連の画像を撮影することができる。たとえば、パノラマを構成する各ビューの画像を自動露出ブラケット撮影することで、ハイダイナミックレンジ（ＨＤＲ）パノラマを作成することができる。もう１つの例は、パノラマを構成する各ビューの画像のフォーカスブラケット撮影によって、フォーカススタックパノラマを作成することである。
カメラで撮影された画像は、例えばメモリカード等の記憶デバイスに記憶される。画像は、典型的には記憶デバイス上のデータのサイズを縮小するために符号化される。ＪＰＥＧや、より最近のＨＥＶＣ規格のように、多くの符号化規格が使用されてもよい。
ＨＥＶＣ規格は、静止画像の符号化のためのプロファイルを定義し、単一の静止画像または静止画像のシーケンスを圧縮するための特定のツールを記述する。このような種類の画像データに使用されるＩＳＯベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）の拡張が、ＩＳＯ／ＩＥＣ２３００８規格のパート１２に「ＨＥＩＦまたは高効率画像ファイルフォーマット」という名称で含めるために提案されている。
HEIF（High Efficiency Image File Format）は１つ以上の画像と画像シーケンスの記憶と共有のために、Moving Picture Experts Group(MPEG)によって開発された規格である。
MIAF（Multi－Image Application Format）はＭＰＥＧによってＩＳＯ／ＩＥＣ２３０００規格パート２２に開発された規格であり、High Efficiency Image File（ＨＥＩＦ）フォーマットに埋め込まれた画像の作成、読み取り、構文解析、および復号のための正確な相互運用性ポイントに対するＨＥＩＦ仕様の制約のセットを定義する。
ＨＥＩＦおよびＭＩＡＦファイルフォーマットは、パノラマを記憶する効率的な方法を提供しない。
ＨＥＩＦおよびＭＩＡＦファイルフォーマットは、画像または画像のグループ（パノラマを含む）の人間が読めるテキストの説明を保存する効率的な方法を提供しない。
ＨＥＩＦおよびＭＩＡＦファイルフォーマットは、画像および画像グループ（パノラマを含む）のタイミング情報を記憶する効率的な方法を提供しない。
本発明は、前述の問題のうちの１つまたは複数に対処するように考案された。それは、派生画像（a derived image）としてのパノラマの記述に関する。
本発明の一態様によれば、ファイル内にメディアデータをカプセル化する方法が提案され、方法は、
リファレンス画像のセットを符号化することと、
リファレンス画像のセットを記述するための画像アイテムのセットを生成することと、
リファレンス画像のセットに基づいて、パノラマに対応する派生画像を記述する画像アイテムを生成することと、
派生画像を記述する画像アイテムを画像アイテムのセットに関連付ける関連付け情報を生成することと、
パノラマのパラメータを含むパラメータデータ構造を生成することと、パラメータデータ構造は、派生画像を記述する画像アイテムと関連付けられており、
関連付け情報と派生画像を記述する画像アイテムのセットをファイルに埋め込むことと
を含む。
一実施形態によれば、方法はさらに、
パノラマのパラメータを含むパラメータデータ構造を生成することと、パラメータデータ構造は、派生画像を記述する画像アイテムに関連付けられており、
ファイルにパラメータデータ構造を埋め込むことと
を含む。
一実施形態によれば、
派生画像を記述する画像アイテムは派生画像アイテムであり、
派生画像アイテムは、派生画像アイテムがパノラマであることを示す専用アイテムタイプを有し、
パラメータデータ構造は、ファイルのメディア部分に格納される。
一実施形態によれば、
方法はさらに、パノラマに対応する派生画像を符号化することを含み、符号化された派生画像は、ファイルのメディア部分に格納され、
派生画像を記述する画像アイテムは、予め導出された符号化画像アイテムであり、
パラメータデータ構造は、予め導出された符号化画像アイテムに関連するアイテムプロパティとして格納される。
一実施形態によれば、パラメータデータ構造は、パノラマ方向を含む。
一実施形態によれば、パラメータデータ構造は、いくつかの行および列をさらに含む。
一実施形態によれば、パラメータデータ構造は、パノラマに対応する派生画像のサイズを含む。
一実施形態によれば、パラメータデータ構造は、派生のタイプのタイプ指示を含む。
一実施形態によれば、画像アイテムのセット内の画像アイテムの少なくともいくつかは、画像アイテムのグループを構成する。
一実施形態によれば、画像アイテムの少なくともいくつかは、少なくとも１つの人が可読のラベルを含むアイテムプロパティに関連付けられる。
一実施形態によれば、画像アイテムのうちの少なくともいくつかは、タイミング情報を含むアイテムプロパティに関連付けられる。
本発明の別の態様によれば、ファイル内のメディアデータを読み取る方法が提案され、方法は、
リファレンス画像のセットに基づいて、パノラマに対応する派生画像を記述する画像アイテムを読み取ることと、
派生画像を記述する画像アイテムを画像アイテムのセットに関連付ける関連付け情報を読み取ることと、
リファレンス画像のセットを記述する画像アイテムのセットを読み取ることと、
パノラマに対応する派生画像を取得することと
を含む。
一実施形態によれば、方法はさらに、
パノラマのパラメータを含むパラメータデータ構造を読み取ること、パラメータデータ構造は派生画像を記述する画像アイテムに関連付けられている、を含む。
一実施形態によれば、
派生画像を記述する画像アイテムは、派生画像アイテムであり、
派生画像アイテムは、派生画像アイテムがパノラマであることを示す専用アイテムタイプを有し、
パラメータデータ構造は、ファイルのメディア部分に格納される。
一実施形態によれば、
方法は、パノラマに対応する派生画像を復号することをさらに含み、符号化された派生画像は、ファイルのメディア部分に格納され、
派生画像を記述する画像アイテムは、予め導出された符号化画像アイテムであり、
パラメータデータ構造は、予め導出された符号化画像アイテムに関連するアイテムプロパティとして格納される。
一実施形態によれば、パラメータデータ構造は、パノラマ方向を含む。
一実施形態によれば、パラメータデータ構造は、いくつかの行および列をさらに含む。
一実施形態によれば、パラメータデータ構造は、パノラマに対応する派生画像のサイズを含む。
一実施形態によれば、パラメータデータ構造は、派生のタイプのタイプ指示を含む。
一実施形態によれば、画像アイテムのセット内の画像アイテムの少なくともいくつかは、画像アイテムのグループを構成する。
本発明の別の態様によれば、ファイル内にメディアデータをカプセル化するためのデバイスが提案され、デバイスは、
リファレンス画像のセットを符号化し、
リファレンス画像のセットを記述するための画像アイテムのセットを生成し、
リファレンス画像のセットに基づいて、パノラマに対応する派生画像を記述する画像アイテムを生成し、
派生画像を記述する画像アイテムを画像アイテムのセットに関連付ける関連付け情報を生成し、
派生画像を記述する画像アイテムのセット、および関連付け情報をファイルに埋め込む
ように構成された回路を含む。
本発明の別の態様によれば、ファイル内のメディアデータを読み取るためのデバイスが提案され、デバイスは、
リファレンス画像のセットに基づいて、パノラマに対応する派生画像を記述する画像アイテムを読み取り、
派生画像を記述する画像アイテムを画像アイテムのセットに関連付ける関連付け情報を読み取り、
リファレンス画像のセットを記述する画像アイテムのセットを読み取り、
パノラマに対応する派生画像を取得する
ように構成された回路を含む。
本発明の別の態様によれば、プログラマブル装置のためのコンピュータプログラム製品が提案され、コンピュータプログラム製品は、プログラマブル装置にロードされてプログラマブル装置によって実行されるときに本発明による方法を実施するための一連の命令を含む。
本発明の別の態様によれば、本発明による方法を実施するためのコンピュータプログラムの命令を記憶するコンピュータ可読記憶媒体が提案される。
本発明の別の態様によれば、実行時に本発明の方法を実行させるコンピュータプログラムが提案される。
本発明による方法の少なくとも一部は、コンピュータで実施することができる。したがって、本発明は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または本明細書ではすべて一般に「回路」、「モジュール」または「システム」と呼ばれることがあるソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形態をとることができる。さらに、本発明は、媒体に具現化されたコンピュータ使用可能プログラムコードを有する任意の有形の表現媒体に具現化されたコンピュータプログラム製品の形成をとることができる。
本発明はソフトウェアで実施することができるので、本発明は、任意の適切なキャリア媒体上のプログラマブル装置に提供するためのコンピュータ可読コードとして実施することができる。有形の非一時的キャリア媒体は、フロッピーディスク、ＣＤ－ＲＯＭ、ハードディスクドライブ、磁気テープ装置またはソリッドステートメモリ装置などの記憶媒体を含むことができる。トランジットキャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、または電磁信号、例えばマイクロ波またはＲＦ信号などの信号を含むことができる。
ここで、本発明の実施形態を、単なる例として、以下の図面を参照して説明する。
図１は、いくつかの画像または画像のシーケンスを含むＨＥＩＦファイルの例を示す。 図２は、本発明の一実施形態による、派生画像アイテムにおけるパノラマの記憶を示す。 図３は、本発明の別の実施形態による、予め導出された符号化画像アイテムにおけるパノラマの記憶を示す。 図４は、本発明の別の実施形態によるエンティティグループにおけるパノラマの記憶を示す。 図５は、本発明のいくつかの実施形態による、ＨＥＩＦフォーマットを使用して、１つのファイルに、パノラマを形成する１つまたは複数の画像をカプセル化する処理の主なステップを示す。 図６は、本発明の１つまたは複数の実施形態を実施するためのコンピューティングデバイスの概略ブロック図である。
ＨＥＶＣ規格は、静止画像の符号化のためのプロファイルを定義し、単一の静止画像または静止画像のシーケンスを圧縮するための特定のツールを記述する。このような種類の画像データに使用されるＩＳＯベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）の拡張が、ＩＳＯ／ＩＥＣ２３００８規格のパート１２に「ＨＥＩＦまたは高効率画像ファイルフォーマット」という名称で含めるために提案されている。
ＨＥＩＦおよびＭＩＡＦ規格は、異なるユースケースに対応する２つの形態の記憶をカバーする。
各画像が、デコーダで任意選択的に使用されるタイミング情報を有するサンプルによって表され、画像が他の画像に依存し得る、画像シーケンスの記憶
単一の画像の記憶、および独立して符号化された画像の集合
第１のケースでは、カプセル化がＩＳＯベースメディアファイルフォーマット（文書「情報技術－オーディオビジュアルオブジェクトの符号化－パート１２:ISOベースメディアファイルフォーマット」、ＩＳＯ／ＩＥＣ１４４９６－１２：２０１５、第５版、２０１５年１２月を参照）におけるビデオトラックのカプセル化に近く、ファイルレベルの「ｍｏｏｖ」ボックス、「ｔｒａｋ」ボックス（「ｍｏｏｖ」ボックスにカプセル化されている）、およびサンプルのグループおよびサンプルの説明のためのサンプルグループ化などの類似のツールおよび概念が使用される。サンプルは単一の時間（例えば、ビデオ内のフレーム又は画像シーケンス内の画像）に関連付けられた全ての時限データを示す。
ボックスはコンテナとも呼ばれ、ファイル内のデータを記述するために提供されるメタデータ構造である。ボックスは、オブジェクト指向のビルディングブロックで、固有のタイプ識別子（通常は４文字のコード、ＦｏｕｒＣＣまたは４ＣＣと記されている）と長さによって定義される。ファイル内のすべてのデータ（メディアデータを記述するメタデータと、メディアデータ）は、ボックスに含まれている。ファイル内に他のデータがない。ファイルレベルのボックスは、他のボックスに含まれていないボックスである。
「ｍｏｏｖ」ボックスは、「ｔｒａｋ」サブボックスを含むファイルフォーマットボックスであり、各「ｔｒａｋ」ボックスはトラック、すなわち、関連サンプルの時限シーケンスを記述する。
第２のケースでは、ＩＳＯＢＭＦＦボックスのセット、ファイルレベルの「ｍｅｔａ」ボックス、およびそのサブボックスが使用される。これらのボックスおよびそれらの階層は、「トラック関連」ボックス（「ｔｒａｋ」ボックス階層）よりも少ない記述ツールを提供し、関連サンプルの代わりに「情報アイテム」または「アイテム」に関連する。「ボックス」という表現と「コンテナ」という表現は、ファイル内の画像データの編成または／およびプロパティを記述するメタデータを含むメタデータ構造を参照するために、両方とも同じ意味で使用される可能性があることに留意されたい。同じ表現「ｂｏｘ」と表現「コンテナ」は、ファイル中の画像データを含むメタデータ構造（例えば「ｍｄａｔ」や「ｉｄａｔ」ボックス）を参照するために、両方とも同じ意味で使用されることもある。
図１は、１つ以上の静止画像および可能であればビデオまたは一連の画像のようなメディアデータを含むＨＥＩＦファイル１０１の例を示す。このファイルには、最初の「ｆｔｙｐ」ボックス（ＦｉｌｅＴｙｐｅＢｏｘ）１１１が含まれており、このボックスにはファイルのタイプの識別子（通常は４つの文字コードのセット）が含まれている。このファイルには、「ｍｅｔａ」（ＭｅｔａＢｏｘ）１０２と呼ばれる第２のボックスが含まれており、このボックスが１つ以上の静止画像を記述するメタデータ構造を含む一般的な時間制限の無いメタデータを格納するために使用される。この「ｍｅｔａ」ボックス１０２は、いくつかの単一画像を記述する「ｉｉｎｆ」ボックス（ItemInfoBox）１２１を含む。各単一画像は、アイテム１２１１および１２１２とも示されるメタデータ構造ＩｔｅｍＩｎｆｏＥｎｔｒｙによって記述される。各アイテムは、一意の３２ビット識別子ｉｔｅｍ＿ＩＤを有する。これらのアイテムに対応するメディアデータは、メディアデータ用のコンテナである「ｍｄａｔ」ボックス１０４に格納される。「ｉｌｏｃ」ボックス（ＩｔｅｍＬｏｃａｔｉｏｎＢｏｘ）１２２は、各アイテムに対して、「ｍｄａｔ」ボックス１０４内のその関連するメディアデータの長さおよびオフセットを提供する。「ｉｒｅｆ」ボックス（ＩｔｅｍＲｅｆｅｒｅｎｃｅＢｏｘ）１２３は、あるアイテムと他のアイテムとの型付きリファレンスによるリンクを記述するためにも定義されることがある。
任意選択で、画像シーケンスまたはビデオの記憶を記述するために、ＨＥＩＦファイル１０１は、いくつかの画像シーケンスまたはビデオトラック１３１および１３２を記述する「ｍｏｏｖ」（MovieBox）１０３と呼ばれる第３のボックスを含むことができる。典型的には、トラック１３１が時間情報が必ずしも意味がない画像のセットを記述するように設計された画像シーケンス（「ｐｉｃｔ」）トラックであり、１３２はビデオコンテンツを記述するように設計されたビデオ（「ｖｉｄｅ」）トラックである。これらの両方のトラックは、一連の画像サンプルを記述し、画像サンプルは例えばビデオシーケンスのフレームのように、同時に撮影されたピクセルのセットである。２つのトラック間の主な違いは、「ｐｉｃｔ」トラックではタイミング情報は必ずしも意味がないが、「ｖｉｄｅ」トラックではタイミング情報がサンプルの表示のタイミングを制約するように意図されていることである。これらのサンプルに対応するデータは、メディアデータのためのコンテナ、「ｍｄａｔ」ボックス１０４に格納される。
「ｍｄａｔ」コンテナ１０４は、データ部分１４１および１４２によって表されるアイテムに対応する時間制限の無い符号化画像と、データ部分１４３によって表されるサンプルに対応する時限の符号化画像とを格納する。
ＨＥＩＦファイル１０１は、複数の画像を格納するための異なる代替手段を提供する。例えば、複数の画像をアイテムとして、または「pict」トラックまたは「vide」トラックとすることができるサンプルのトラックとして格納することができる。実際の選択は、典型的には、画像のタイプおよび意図されるファイルの使用法に従ってファイルを生成するアプリケーションまたはデバイスによって行われる。
ＨＥＩＦ規格は、画像に関連するプロパティを指定するために設計されたいくつかのメカニズム、特に、画像、より一般的にアイテム（あらゆる種類のメディアタイプ）のプロパティを宣言または格納するためのいくつかのメタデータ構造も提供する。通常、「ｍｅｔａ」ボックス１０２は、任意のアイテムと、順序付けられたアイテムプロパティのセットとの関連付けを可能にする「ｉｐｒｐ」ボックス（ＩｔｅｍＰｒｏｐｅｒｔｉｅｓＢｏｘ）１２５を含むことができる。この「ｉｐｒｐ」ボックス１２５は、ＨＥＩＦファイルに記述された全てのアイテムのプロパティを記述する全てのプロパティデータ構造（ＩｔｅｍＰｒｏｐｅｒｔｙおよびＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ）１２５３を含むプロパティコンテナデータ構造である「ｉｐｃｏ」ボックス（ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ）１２５１を含む。「ｉｐｒｐ」ボックスは、「ｉｐｍａ」ボックス（ＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏｎＢｏｘ）１２５２のセットも含み、これは、１つ以上のアイテムプロパティを所与のアイテムに実際に関連付ける関連付けデータ構造である。そのとき、同じプロパティをいくつかのアイテムに関連付けることが可能である。
さらに、ＩＳＯベースメディアファイルフォーマットは、アイテム及び／又はトラックのグループ化のために適合されるグループ化メカニズムを規定する。「ｍｅｔａ」ボックス１０２は、以下のように定義されるＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ（エンティティグループとも表記される）と呼ばれるグループ化データ構造からすべて継承するエンティティ１２４１および１２４２のグループを記述するメタデータ構造のセットを含むことができるコンテナボックス「ｇｐｒｌ」（ＧｒｏｕｐｓＬｉｓｔＢｏｘ）１２４を含むことができる。
ａｌｉｇｎｅｄ（８） Ｃｌａｓｓ ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ（ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ、ｖｅｒｓｉｏｎ、ｆｌａｇｓ）
ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ、ｖｅｒｓｉｏｎ、ｆｌａｇｓ）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｇｒｏｕｐ＿ｉｄ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｎｕｍ＿ｅｎｔｉｔｉｅｓ＿ｉｎ＿ｇｒｏｕｐ；
ｆｏｒ （ｉ＝０； ｉ＜ｎｕｍ＿ｅｎｔｉｔｉｅｓ＿ｉｎ＿ｇｒｏｕｐ； ｉ＋＋）
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｅｎｔｉｔｙ＿ｉｄ；
／／ 残りのデータは特定のｇｒｏｕｐｉｎｇ＿ｔｙｐｅに対して指定できる
｝
ここで、ｇｒｏｕｐ＿ｉｄはエンティティのグループの一意の識別子であり、この場合はファイル内で一意であると理解する必要がある。これは、任意のＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘのｇｒｏｕｐ＿ｉｄ値、ＧｒｏｕｐｓＬｉｓｔＢｏｘまたは任意のｔｒａｃｋ＿ＩＤ値を含む階層レベル（ファイル、ムービー、またはトラック）のｉｔｅｍ＿ＩＤ値（ＧｒｏｕｐｓＬｉｓｔＢｏｘがファイルレベルに含まれている場合）と等しくないものとする。次に、ｅｎｔｉｔｙ＿ｉｄのリストは、グループに関連するすべてのエンティティの識別子を与える。
このメカニズムでは、「エンティティ」という表現は、アイテム（画像やメタデータアイテムなどの任意の種類のアイテム）またはトラック（例えば、ビデオトラック「ｖｉｄｅ」、画像トラック「ｐｉｃｔ」、オーディオトラック、その他の種類のトラックのシーケンス）を指すために使用され、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅは、グループ化の種類を指定するために使用される。ＨＥＩＦは実際には、限られた数のｇｒｏｕｐｉｎｇ＿ｔｙｐｅ値を定義する。
ＩＳＯベースメディアファイルフォーマットは、トラック内のサンプルのグループ化に適したグループ化メカニズムも指定する。
このメカニズムは、２つの専用ボックスに依存する。ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘという名前の第１のボックスでは、１つ以上のサンプルを１つ以上のグループ記述に関連付けることができる。ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘという名前の第２のボックスは、サンプルのグループのプロパティの代替的な記述を提供する１つまたは複数のサンプルグループ記述エントリを有する。これらの２つのボックスが同じｇｒｏｕｐｉｎｇ＿ｔｙｐｅで宣言される場合、それらは、それぞれ、共通ｇｒｏｕｐｉｎｇ＿ｔｙｐｅによって識別されるサンプルの所与のタイプのグループについて、サンプルとグループ記述エントリのうちの１つとの関連付け、および代替のグループ記述エントリのリストを提供する。
本発明は、パノラマを形成するために撮影または編集されたアイテムのグループを記述するための手段を提供するメカニズムを提供する。これは、使用された撮影または収集モードを記述するための手段を提供する。いくつかの実施形態によれば、撮影に関するいくつかの追加情報またはプロパティを、エンティティまたはエンティティのグループに関連して記述することができる。
この規格は、派生画像の概念を提供する。派生画像は、１つまたは複数のリファレンス画像に基づく導出（a derivation）から生じる画像である。規格には、２つの異なるタイプの派生画像がある。第１のものは派生画像アイテムであり、画像アイテムはリファレンス画像のセットにリンクされる。派生画像アイテムは、ファイルのメディア部分の中の画像データを有さない。画像データの代わりに、メディアデータ部分は、導出プロセスで使用される幾つかのパラメータを含むことができる。第２のタイプの派生画像は、予め導出された符号化画像アイテムである。予め導出された符号化画像アイテムは、リファレンス画像のセットにもリンクされる。予め導出された符号化画像アイテムと派生画像アイテムとの間の差は主に、予め導出された符号化画像アイテムが、ファイルのメディア部分における導出から得られる画像データを含むことである。派生画像へのアクセスを必要とするプレイヤは、派生画像アイテムの場合、リファレンス画像に基づいて導出を実行する必要があり、派生画像は、予め導出された符号化画像アイテムにおいて直接アクセス可能である。この規格は、現在、派生画像が画像のグリッドおよび重畳画像を格納することを意図している。本明細書では、パノラマ画像を派生画像として記述することが、提案される解決策である。第１の実施形態は、派生画像アイテムに基づいており、第２の実施形態は、予め導出された符号化画像アイテムに基づいている。提案された解決策によれば、パノラマは、ファイル内のアイテムによって表される。アイテムを使用してパノラマを記述する利点の１つは、パノラマをＨＥＩＦファイルの主アイテムとして指定できること（PrimaryItemBox「pitm」経由）、すなわちパノラマをＨＥＩＦリーダでレンダリングすることを目的とするデフォルトアイテムとして指定できることである。
第３の実施形態は、リファレンス画像のグループとしてパノラマ画像を説明する。
第１の実施形態によれば、パノラマは、派生画像アイテムとして記述される。アイテムは、それが、導出への入力である１つまたは複数の他の画像アイテムへの「ｄｉｍｇ」アイテム参照を含むとき、派生画像アイテムである。派生画像は、それ自体に符号化画像ビットストリームを表すメディアデータを含まないが、派生画像アイテムを表す再構成画像は、１つまたは複数の入力画像（符号化画像または他の派生画像）に対して操作を実行することによって取得される。再構成画像を得るために実行される正確な操作は、項目のｉｔｅｍ＿ｔｙｐｅによって識別される。
この実施形態によれば、ｉｔｅｍ＿ｔｙｐｅ値が「ｐａｎｏ」のアイテムは、より高い解像度のパノラマを得るために、与えられた順序で１つ以上の入力画像を重ね合わせてステッチすることによって、派生画像アイテムを定義する。入力画像は、ＩｔｅｍＲｅｆｅｒｅｎｃｅＢｏｘ内のこの派生画像アイテムのためのタイプ「ｄｉｍｇ」のＳｉｎｇｌｅＩｔｅｍＴｙｐｅＲｅｆｅｒｅｎｃｅＢｏｘ内にスキャン順序にリストされる。
グリッド派生画像アイテム（ｉｔｅｍ＿ｔｙｐｅ＝「ｇｒｉｄ」）とは対照的に、パノラマ派生画像アイテムは、入力画像がオーバーラップすることなく一貫したサイズを有することを義務付けない。また、オーバーレイ派生画像（ｉｔｅｍ＿ｔｙｐｅ＝「ｉｏｖｌ」）とは対照的に、パノラマ派生画像アイテムは、導出動作が入力画像をスティッチングし、パノラマにおける位置合わせおよび変形を補正するための追加の処理ステップを暗示することを示す。さらに、入力画像のスキャン順序は、ユーザによって実行される撮影順序と一致し、したがって、ＨＥＩＦファイルにそれらをカプセル化する前に画像を順序変更することを回避する。
パノラマ方向としてパノラマに関連付けられているパラメータは、必要に応じて、派生画像アイテムに関連付けられているファイルのメディアデータ部分に格納することができる。パノラマ派生画像アイテム（またはアイテムのボディ）に関連付けられているこれらのメディアデータは、パラメータデータ構造の中で次のように記述されることがある。
ａｌｉｇｎｅｄ（８） Ｃｌａｓｓ ＩｍａｇｅＰａｎｏｒａｍａ ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｖｅｒｓｉｏｎ ＝ ０；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８）ｆｌａｇｓ ＝ ０；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎ；
ｉｆ （ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎ ＞＝ ４ ＆＆ ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎ ＜＝ ５）｛／／ ｇｒｉｄ
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｒｏｗｓ＿ｍｉｎｕｓ＿ｏｎｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ＿ｏｎｅ；
｝
｝
ここで、
ｖｅｒｓｉｏｎおよびｆｌａｇｓは、０に等しいものとする。両方の属性は、パノラマ派生画像アイテムのさらなる拡張をサポートするために定義される。Ｖｅｒｓｉｏｎパラメータは、新しい構文属性をＶｅｒｓｉｏｎパラメータの値に条件付きで定義するために使用でき、ｆｌａｇｓパラメータは、オプション機能またはパラメータをこのｆｌａｇｓパラメータの値に条件付きで通知／アクティブ化するｆｌａｇｓのマップを定義できる場合がある。
ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎは、例えば８ビットの符号なし整数で、使用されるパノラマのタイプとパノラマ内の入力画像のスキャン順序を通知する。
０:左から右への水平パノラマ
１:右から左への水平パノラマ
２:下から上への垂直パノラマ
３:上から下への垂直パノラマ
４:ラスタスキャン順序におけるグリッドパノラマ、すなわち、行および列は、左上隅から始まり、左から右へおよび上から下へと編成される。
５:連続的な順序におけるグリッドパノラマ、すなわち、左上隅から始まり、第１の行は左から右に編成され、次に、第２の行は右から左に編成され、第３の行は左から右に編成され、以下同様である。
その他の値は不定である。
ｒｏｗｓ＿ｍｉｎｕｓ＿ｏｎｅは、グリッド内の行数から１を引いた数を指定する符号なし整数である。
ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ＿ｏｎｅは、グリッド内の列数から１を引いた数を指定する符号なし整数である。実施形態では、このパラメータは存在せず、列の数は、入力画像の総数と行の数から計算される。
メディアファイルにパラメータデータ構造が存在しない場合は、水平の左から右へのパノラマと見なされる。
代替案では、異なる隅（例えば、上右、下左、または下右隅）から開始するラスタスキャンまたは連続スキャン順序でグリッドパノラマをサポートするように、ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎの追加値を定義することができる。例えば、右下隅から開始して、ラスタスキャン順序は右から左へ、および下から上への各行について編成され、連続スキャン順序は右から左への最後の行から開始し、次いで、上の行の左から右へと開始し、以下同様である。
変形例では、パノラマ派生画像アイテムに関連付けられているメディアデータが、以下のように定義されてもよい。
ａｌｉｇｎｅｄ（８） Ｃｌａｓｓ ＩｍａｇｅＰａｎｏｒａｍａ ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｖｅｒｓｉｏｎ ＝ ０；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｆｌａｇｓ；
ＦｉｅｌｄＬｅｎｇｔｈ ＝ （（ｆｌａｇｓ ＆ １）＋ １）＊ １６；
ｕｎｓｉｇｎｅｄ ｉｎｔ（ＦｉｅｌｄＬｅｎｇｔｈ） ｏｕｔｐｕｔ＿ｗｉｄｔｈ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（ＦｉｅｌｄＬｅｎｇｔｈ） ｏｕｔｐｕｔ＿ｈｅｉｇｈｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎ；
ｉｆ （ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎ ＞＝ ４ ＆＆ ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎ ＜＝ ５） ｛ ／／ ｇｒｉｄ
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｒｏｗｓ＿ｍｉｎｕｓ＿ｏｎｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ＿ｏｎｅ；
｝
ここで、
再構成されたパノラマ画像のサイズをシグナリングするために、２つの追加のパラメータおよびフラグが定義される。
（ｆｌａｇｓ ＆ １）が０に等しいことは、フィールドの長さｏｕｔｐｕｔ＿ｗｉｄｔｈ、ｏｕｔｐｕｔ＿ｈｅｉｇｈｔが１６ビットであることを指定する。（ｆｌａｇｓ ＆ １）が１に等しいことは、フィールドの長さｏｕｔｐｕｔ＿ｗｉｄｔｈ、ｏｕｔｐｕｔ＿ｈｅｉｇｈｔが３２ビットであることを指定する。１より大きいｆｌａｇｓの値は予約（ｒｅｓｅｒｖｅｄ）されている。
ｏｕｔｐｕｔ＿ｗｉｄｔｈ、ｏｕｔｐｕｔ＿ｈｅｉｇｈｔは、再構成されたパノラマ画像の幅と高さをそれぞれ指定する。
代わりに、ＩｍａｇｅＳｐａｔｉａｌＥｘｔｅｎｔｓＰｒｏｐｅｒｔｙ（４ＣＣが「ｉｓｐｅ」）とパノラマ派生画像アイテム（ＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏｎＢｏｘ（「ｉｐｍａ」）を介して）を関連付けることによって、再構築されたパノラマ画像の幅と高さがシグナリング可能である。
一実施形態によれば、パノラマのための画像の撮影は別のブラケティングモード、例えば、ハイダイナミックレンジ（ＨＤＲ）パノラマを生成するための自動露出ブラケティング、またはフォーカスステークドパノラマを生成するためのフォーカスブラケティング、または任意の他のタイプのブラケティングモードと組み合わされる。したがって、パノラマ派生画像アイテムは、導出への入力であるエンティティの１つ以上のグループへの「ｄｉｍｇ」アイテム参照を含むことがある（例えば、自動露出ブラケティングのためのグループ化タイプ「ａｅｂｒ」を有するＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ、又は、ＩＳＯ／ＩＥＣ２３００８－１２、ｗ１８４３０、２０１９年４月の修正案の草案の中で定義されるエンティティのグループとしてのフォーカスブラケティングなどのためのグループ化タイプ「ｆｏｂｒ」）。
１つ以上のグループへの「ｄｉｍｇ」アイテム参照を含めるために、既存のＳｉｎｇｌｅＩｔｅｍＴｙｐｅＲｅｆｅｒｅｎｃｅＢｏｘの定義を拡張して、既存の属性Ｔｏ＿ｉｔｅｍ＿ＩＤがエンティティのグループのｇｒｏｕｐ＿ｉｄも参照できるようにすることができる。属性ｔｏ＿ｉｔｅｍ＿ＩＤの名前をｔｏ＿ｉｔｅｍ＿ｏｒ＿ｇｒｏｕｐ＿ＩＤに変更し、次のように定義することができる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＳｉｎｇｌｅＩｔｅｍＴｙｐｅＲｅｆｅｒｅｎｃｅＢｏｘ（ｒｅｆｅｒｅｎｃｅＴｙｐｅ） ｅｘｔｅｎｄｓ Ｂｏｘ（ｒｅｆｅｒｅｎｃｅＴｙｐｅ） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｆｒｏｍ＿ｉｔｅｍ＿ＩＤ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｒｅｆｅｒｅｎｃｅ＿ｃｏｕｎｔ；
ｆｏｒ （ｊ＝０； ｊ＜ｒｅｆｅｒｅｎｃｅ＿ｃｏｕｎｔ； ｊ＋＋） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｔｏ＿ｉｔｅｍ＿ｏｒ＿ｇｒｏｕｐ＿ＩＤ；
｝
｝
ここで、
ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅは、参照のタイプの指摘を含む
ｆｒｏｍ＿ｉｔｅｍ＿ＩＤは、他のアイテムを参照するアイテムのｉｔｅｍ＿ＩＤを含む
ｒｅｆｅｒｅｎｃｅ＿ｃｏｕｎｔは参照数である
ｔｏ＿ｉｔｅｍ＿ｏｒ ｇｒｏｕｐ＿ＩＤは、アイテムのｉｔｅｍ＿ＩＤまたは参照されるエンティティグループのｇｒｏｕｐ＿ｉｄを含む。
パノラマを構成する各ビューについて、ブラケティングモードを識別するグループ化タイプを有するＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘが、このビューに対応する画像のブラケティングセットを記述するように定義される。さらに、ブラケッティングモードに対応するアイテムプロパティ（例えば、ＡｕｔｏＥｘｐｏｓｕｒｅＰｒｏｐｅｒｔｙまたはＦｏｃｕｓＰｒｏｐｅｒｔｙなど）を各画像アイテムに関連付けて、この画像アイテムのブラケッティングのプロパティ（例えば、画像アイテムの露出値ストップ）を指定することができる。
図２は、この第１の実施形態の一例を示す。
パノラマは、派生画像アイテム２０１によって表される。派生画像アイテムをパノラマ、例えば「パノラ」として識別するために、新しいアイテムタイプが提案される。
「ｉｒｅｆ」ボックスでは、参照タイプ「ｄｉｍｇ」２０２の構造ＳｉｎｇｌｅＩｔｅｍＴｙｐｅＲｅｆｅｒｅｎｃｅＢｏｘが、リファレンス画像２０４および２０５のリストと、画像のグループ、例えばブラケティングセット２０８への参照と、を含む。画像のグループ自体は、グループを構成する画像アイテム２０６及び２０７のリファレンスを含む。「ｄｉｍｇ」ボックスはアイテムのみ、エンティティのグループのみ、またはアイテムとエンティティのグループとの混合を参照することができることに留意されたい。
パノラマを表す派生画像アイテム２０１は、「ｉｌｏｃ」ボックス２０９を介して、メディアデータ内のオプションの構造２１０にリンクすることができる。メディアデータ内のこの構造２１０は、一般的な派生画像アイテムプロパティによる画像データを含まない。パノラマの導出に関するいくつかのパラメータを含み、通常は、上記のようにｉｍａｇｅＰａｎｏｒａｍａボックスである。
第１の実施形態の１つの特徴は、派生画像アイテムが入力画像アイテムのセットに適用されるべき（ここではパノラマを構築するための）導出操作を記述するが、結果として得られる再構成画像は実際にはＨＥＩＦファイルに格納されず、ＨＥＩＦリーダがＨＥＩＦファイルを処理するたびに再構成されることである。
第２の実施形態によれば、パノラマは、予め導出された符号化画像アイテムとして記述される。アイテムは、ＨＥＩＦファイルに実際に格納されている符号化画像ビットストリームを指定し、それが派生する１つ以上の他の画像アイテムへの「ベース」アイテム参照も含む場合、予め導出された符号化画像アイテムである。現在のＨＥＩＦ規格では、予め導出された符号化画像アイテムを生成するために使用される正確な導出プロセスを記述することができない。したがって、例えば、パノラマを表す予め導出された符号化画像アイテムを、ＨＤＲ画像を表す予め導出された符号化画像アイテムと区別することは不可能である。
提案された実施形態によれば、オプションのアイテムプロパティＤｅｒｉｖａｔｉｏｎＯｐｅｒａｔｉｏｎＰｒｏｐｅｒｔｙは、入力画像アイテムに適用される導出操作を記述するために、以下のように定義され、予め導出されたアイテムに関連付けられてもよい。提案されたアイテムプロパティは、パノラマだけでなく、あらゆる種類の予め導出された符号化画像アイテムの導出操作を定義するために使用され得ることに留意されたい。
ボックスタイプ：「ｄｏｐｒ」
プロパティタイプ：記述アイテムプロパティ
コンテナ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
必須（アイテムごと）：番号
数量（アイテムごと）：予め導出された符号化画像の場合はゼロまたは１
ＤｅｒｉｖａｔｉｏｎＯｐｅｒａｔｉｏｎＰｒｏｐｅｒｔｙは、入力画像アイテムまたは画像アイテムのグループに適用された導出操作を文書化して、予め導出された符号化画像アイテムを生成する。入力画像アイテムまたは画像アイテムのグループは、予め導出された符号化画像アイテムからタイプ「ｂａｓｅ」のアイテム参照によって参照される順序で順序付けされる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＤｅｒｉｖａｔｉｏｎＯｐｅｒａｔｉｏｎＰｒｏｐｅｒｔｙ
ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ（’ｄｏｐｒ’、ｖｅｒｓｉｏｎ＝０、ｆｌａｇｓ＝０） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｄｅｒｉｖａｔｉｏｎ＿ｏｐｅｒａｔｉｏｎ＿４ｃｃ；
ｉｆ （ｄｅｒｉｖａｔｉｏｎ＿ｏｐｅｒａｔｉｏｎ＿４ｃｃ ＝＝ ’ｐａｎｏ’） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎ；
ｉｆ （ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎ ＞＝ ４
＆＆ ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎ ＜＝ ５）｛ ／／ グリッド
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｒｏｗｓ＿ｍｉｎｕｓ＿ｏｎｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ＿ｏｎｅ；
｝
｝
／／ 以下のパラメータを条件付きでさらに含むことができる
／／ 他のタイプの導出操作の場合
}
ここで、
ｄｅｒｉｖａｔｉｏｎ＿ｏｐｅｒａｔｉｏｎ＿４ＣＣは、派生演算の４文字コード（４ＣＣ）である。例えば、次の導出操作のリストを指定することができる。
Figure 2022537624000002
導出操作がパノラマ導出である場合、パノラマのタイプを特徴付けるために追加のパラメータが提供される。
パラメータｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎ、ｒｏｗｓ＿ｍｉｎｕｓ＿ｏｎｅおよびｃｏｌｕｍｎｓ＿ｍｉｎｕｓ＿ｏｎｅは、上記の第１の実施形態で規定されているように定義される。
ＤｅｒｉｖａｔｉｏｎＯｐｅｒａｔｉｏｎＰｒｏｐｅｒｔｙは、追加の導出操作４文字コードおよびパラメータをサポートするために簡単に拡張できる。
この実施形態によれば、パノラマのための画像の撮影が他のブラケティングモード、例えば、ハイダイナミックレンジ（ＨＤＲ）パノラマを作成するための自動露出ブラケティング、又はフォーカスステークドパノラマを作成するためのフォーカスブラケティング、又は任意の他のタイプのブラケティングモード、と組み合わせる場合、パノラマの予め導出された符号化画像アイテムは、パノラマ導出への入力として使用された１つ又は複数のエンティティのグループ（例えば、自動露出ブラケティングのためのグループ化タイプ「ａｅｂｒ」を有するＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ、又はＩＳＯ／ＩＥＣ２３００８－１２、ｗ１８４３０、２０１９年４月の修正案の草案の中で定義されるエンティティのグループとしてのフォーカスブラケティングなどのためのグループ化タイプ’ｆｏｂｒ’）への「ベース」アイテム参照を含んでもよい。上記の第１の実施形態と同様に、ＳｉｎｇｌｅＧｒｏｕｐＴｙｐｅＲｅｆｅｒｅｎｃｅＢｏｘは、アイテムがエンティティのグループを参照できるように拡張することができる。パノラマを構成する各ビューについて、ブラケティングモードを識別するグループ化タイプを有するＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘが、このビューに対応する画像のブラケティングセットを記述するように定義される。ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘのｇｒｏｕｐｉｎｇ＿ｔｙｐｅは、グループ化の目的を指定し、パノラマの予め導出された符号化画像を生成するための入力として使用された中間再構成画像を取得するために、このグループからの画像アイテムに適用された導出操作のタイプを暗黙的にシグナリングする。さらに、ブラケッティングモードに対応するアイテムプロパティ（例えば、ＡｕｔｏＥｘｐｏｓｕｒｅＰｒｏｐｅｒｔｙまたはＦｏｃｕｓＰｒｏｐｅｒｔｙなど）を、ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘに関連する各画像アイテムに関連付けて、この画像アイテムのブラケッティングのプロパティ（例えば、画像アイテムの露出値ストップ）を指定することができる。
パノラマの予め導出された符号化画像アイテムが、一つ以上のエンティティのグループへの「ベース」アイテム参照を直接含む場合の１つの利点は、それが、エンティティの各グループから導出された予め導出された符号化画像アイテムを宣言し、これが必要でないときに対応する中間再構成画像をＨＥＩＦファイルに格納することを回避することである。
この実施形態によれば、再構成されたパノラマ画像の幅および高さは、(ＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏｎＢｏｘ(「ｉｐｍａ」）を介して)ＩｍａｇｅＳｐａｔｉａｌＥｘｔｅｎｔｓＰｒｏｐｅｒｔｙ(４ＣＣ「ｉｓｐｅ」）をパノラマの予め導出された符号化画像アイテムに関連付けることによってシグナリングすることができる。
図３は、予め導出された符号化画像アイテムとして記述されるパノラマの例を示す。
パノラマは、予め導出された符号化画像の符号化フォーマットを識別するｉｔｅｍ＿ｔｙｐｅを有する予め導出された符号化画像アイテム３０１によって表される（例えば、ＨＥＶＣ符号化フォーマットの画像に対しては「ｈｖｃ１」、ＪＰＥＧ符号化フォーマットの画像に対しては「ＪＰＥＧ」）。
「ｉｒｅｆ」ボックスにおいて、参照タイプ「ベース」３０２の構造ＳｉｎｇｌｅＩｔｅｍＴｙｐｅＲｅｆｅｒｅｎｃｅＢｏｘは、リファレンス画像３０４および３０５のリスト３０３と、画像のグループ、例えばブラケットセット３０８への参照と、を含む。画像のグループ自体は、グループを構成する画像アイテム３０６及び３０７のリファレンスを含む。「ベース」ボックスはアイテムのみ、エンティティのグループのみ、またはアイテムとエンティティのグループとの混合を参照することができることに留意されたい。
パノラマを表す予め導出された符号化画像アイテム３０１は、「ｉｌｏｃ」ボックス３０９を介して、メディアデータにおける導出の結果に対応する画像データ３１０にリンクされる。ボックス３１１は、ボックス「ｉｐｍａ」内の関連付け情報３１２を介して、予め導出された符号化画像アイテム３０１にリンクされる導出操作を記述するオプションアイテムプロパティである。ボックス３１１は、典型的には上述したような「ｄｏｐｒ」ボックスである。
第３の実施形態によれば、特定のアイテムを定義してパノラマを記述するのではなく、パノラマを構成する画像間の関係のみを文書化することができる。これにより、ＨＥＩＦファイルにパノラマオブジェクトを単独で作成することはできないが、ＨＥＩＦリーダがパノラマを作成するために使用できる十分な情報を提供する。
この第３の実施形態によれば、新しいｇｒｏｕｐｉｎｇ＿ｔｙｐｅ「ｐａｎｏ」が定義される。
ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘを新しいgrouping_type「pano」に関連付けることで、パノラマエンティティグループ（「ｐａｎｏ」）は、パノラマを作成するために撮影された画像のセット（アイテム、アイテムのグループ、またはトラック内のサンプルとして格納されている）を示す。ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘのｅｎｔｉｔｙ＿ｉｄは、アイテム識別子、トラック識別子、または画像のブラケティングセットを表すＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘの識別子（ｇｒｏｕｐ＿ｉｄ）に分解される（resolved）ように拡張される。
後者は強調されたパノラマ（例えば、ＨＤＲパノラマ）を記述するのに有用である。
次に、ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘの構文を次のように定義できる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ（ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ、ｖｅｒｓｉｏｎ、ｆｌａｇｓ）
ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ、ｖｅｒｓｉｏｎ、ｆｌａｇｓ） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｇｒｏｕｐ＿ｉｄ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｎｕｍ＿ｅｎｔｉｔｉｅｓ＿ｉｎ＿ｇｒｏｕｐ；
ｆｏｒ （ｉ＝０； ｉ＜ｎｕｍ＿ｅｎｔｉｔｉｅｓ＿ｉｎ＿ｇｒｏｕｐ； ｉ＋＋）
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｅｎｔｉｔｙ＿ｏｒ＿ｇｒｏｕｐ＿ｉｄ；
／／ 残りのデータは特定のｇｒｏｕｐｉｎｇ＿ｔｙｐｅに対して指定できる
}
ここで、
ｅｎｔｉｔｙ＿ｏｒ＿ｇｒｏｕｐ＿ｉｄがアイテムに対して分解されるのは、ｅｎｔｉｔｙ＿ｏｒ＿ｇｒｏｕｐ＿ｉｄと等しいｉｔｅｍ＿ＩＤを持つアイテムがＧｒｏｕｐｓＬｉｓｔＢｏｘを含む階層レベル（ファイル、ムービー、またはトラック）に存在する場合であり、ｔｒａｃｋ＿ＩＤがｅｎｔｉｔｙ＿ｏｒ＿ｇｒｏｕｐ＿ｉｄと等しいトラックが存在し、ＧｒｏｕｐｓＬｉｓｔＢｏｘがファイルレベルに含まれる場合にはトラックに対して分解され、またはｇｒｏｕｐ＿ｉｄがｅｎｔｉｔｙ＿ｏｒ＿ｇｒｏｕｐ＿ｉｄと等しいエンティティグループが同じＧｒｏｕｐｓＬｉｓｔＢｏｘに存在する場合には、エンティティグループに対して分解される。
他のパラメータは、以前に定義したものと同じ定義を保持する。
代替案では、以下のようにエンティティのグループのグループを記述するために、新しいボックスが定義される。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧｒｏｕｐＴｏＧｒｏｕｐＢｏｘ（ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ、ｖｅｒｓｉｏｎ、ｆｌａｇｓ）
ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ、ｖｅｒｓｉｏｎ、ｆｌａｇｓ） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｇｒｏｕｐ＿ｉｄ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｎｕｍ＿ｇｒｏｕｐｓ＿ｉｎ＿ｇｒｏｕｐ；
ｆｏｒ （ｉ ＝ ０； ｉ ＜ ｎｕｍ＿ｇｒｏｕｐｓ＿ｉｎ＿ｇｒｏｕｐ； ｉ＋＋）
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｒｅｆｅｒｅｎｃｅｄ＿ｇｒｏｕｐ＿ｉｄ；
／／残りのデータは特定のｇｒｏｕｐｉｎｇ＿ｔｙｐｅに対して指定できる
}
ここで、
ｇｒｏｕｐ＿ｉｄは任意の他のＧｒｏｕｐＴｏＧｒｏｕｐＢｏｘおよびＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘの任意のｇｒｏｕｐ＿ｉｄ値、ＧｒｏｕｐｓＬｉｓｔＢｏｘを含む階層レベル（ファイル、ムービー、またはトラック）の任意のｉｔｅｍ＿ＩＤ値、または任意のｔｒａｃｋ＿ＩＤ値（ＧｒｏｕｐｓＬｉｓｔＢｏｘがファイルレベルに含まれている場合）に等しくない、特定のグループ化に割り当てられた負でない整数である。
ｎｕｍ＿ｇｒｏｕｐｓ＿ｉｎ＿ｇｒｏｕｐは、グループのこのグループにマップされるｇｒｏｕｐ＿ｉｄ値の個数を指定する。
ｒｅｆｅｒｅｎｃｅｄ＿ｇｒｏｕｐ＿ｉｄは、ｅｎｔｉｔｙ＿ｏｒ＿ｇｒｏｕｐ＿ｉｄと等しいｇｒｏｕｐ＿ｉｄを持つエンティティグループが同じＧｒｏｕｐｓＬｉｓｔＢｏｘに存在する場合はエンティティグループについて分解され、ｅｎｔｉｔｙ＿ｏｒ＿ｇｒｏｕｐ＿ｉｄと等しいｇｒｏｕｐ＿ｉｄを持つグループのグループが同じＧｒｏｕｐｓＬｉｓｔＢｏｘに存在する場合はグループのグループについて分解される。
言い換えれば、メディアデータをファイルにカプセル化する方法が提案され、方法は、
エンティティの第１のグループを記述するグループ化データ構造を生成することと、
ここで、グループ化データ構造は、エンティティの第１のグループとエンティティの第２のグループとの間の関連付け情報を含み、第２のグループの各エンティティは、メディアデータの少なくとも一部に関連付けられ、
ファイルへグループ化データ構造とメディアデータを埋め込むことと
を含む。
一実施形態では、方法はさらに、
パノラマを生成するために準拠しているものとしてエンティティのグループを特徴付けるグループ化タイプを取得することと、
ファイルへグループ化タイプを埋め込むことと
を含む。
一実施形態では、第２のグループの各エンティティがメディアデータの少なくとも一部に対応する。
一実施形態では、第２のグループの各エンティティがアイテム、トラック、またはエンティティの第３のグループのうちの少なくとも１つである。
grouping_type「pano」がＧｒｏｕｐＴｏＧｒｏｕｐＢｏｘに関連付けられている場合、パノラマグループ間（「ｐａｎｏ」）は、パノラマを作成するために撮影された画像のセット（アイテムのグループとして格納され、アイテムの各グループはブラケティングセットを表す）を示す。
ｅｎｔｉｔｙ＿ｉｄの定義を拡張するか、新しいボックスＧｒｏｕｐＴｏＧｒｏｕｐＢｏｘを定義することによって、ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ構造内のエンティティのグループを直接参照する代わりに、ＩｔｅｍＲｅｆｅｒｅｎｃｅＢｏｘ（「ｉｒｅｆ」）をグループ間参照専用の新しいボックスＳｉｎｇｌｅＧｒｏｕｐＴｙｐｅＲｅｆｅｒｅｎｃｅＢｏｘで拡張して、エンティティグループを他のエンティティグループのリストに関連付けることができる。ＳｉｎｇｌｅＧｒｏｕｐＴｙｐｅＲｅｆｅｒｅｎｃｅＢｏｘは以下のように定義できる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ
ＳｉｎｇｌｅＧｒｏｕｐＴｙｐｅＲｅｆｅｒｅｎｃｅＢｏｘ（ｒｅｆｅｒｅｎｃｅＴｙｐｅ）
ｅｘｔｅｎｄｓ Ｂｏｘ（ｒｅｆｅｒｅｎｃｅＴｙｐｅ） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｆｒｏｍ＿ｇｒｏｕｐ＿ＩＤ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｒｅｆｅｒｅｎｃｅ＿ｃｏｕｎｔ；
ｆｏｒ （ｊ＝０； ｊ＜ｒｅｆｅｒｅｎｃｅ＿ｃｏｕｎｔ； ｊ＋＋） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｔｏ＿ｇｒｏｕｐ＿ＩＤ；
｝
｝
ここで、
ｆｒｏｍ＿ｇｒｏｕｐ＿ＩＤは、他のエンティティグループを参照するエンティティグループのｇｒｏｕｐ＿ｉｄを含む。
ｒｅｆｅｒｅｎｃｅ＿ｃｏｕｎｔは参照数である。
ｔｏ＿ｇｒｏｕｐ＿ＩＤは、参照されるエンティティーグループのｇｒｏｕｐ＿ｉｄを含む。
言い換えれば、メディアデータをファイルにカプセル化する方法が提案され、方法は、
エンティティの第１のグループを記述する第１のグループ化データ構造を取得することと、
エンティティの第２のグループを記述する第２のグループ化データ構造を取得することと、
第１のグループ化データ構造と第２のグループ化データ構造との間の関連付け情報を含む関連付けデータ構造を生成することと、
第１および第２のグループ化データ構造、関連付けデータ構造、およびメディアデータをファイルに埋め込むことと
を含む。
一実施形態では、関連付けデータ構造が参照タイプをさらに含む。
この代替案によれば、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ「ｐａｎｏ」は、ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘに関連付けられ、次いで、パノラマエンティティグループ（「ｐａｎｏ」）は、（アイテムとして格納されている）画像のオプションのリストを示し、オプションでアイテムのグループに関連付けられ、アイテムの各グループは、パノラマを作成するために撮影されたブラケティングセットを表す。パノラマエンティティグループ「ｐａｎｏ」は、ＩｔｅｍＲｅｆｅｒｅｎｃｅＢｏｘ内の参照タイプ「ベース」のＳｉｎｇｌｅＧｒｏｕｐＴｙｐｅＲｅｆｅｒｅｎｃｅＢｏｘを介して、ブラケティングセットを表すアイテムのグループに関連付けられる。
画像シーケンストラックが「ｐａｎｏ」エンティティグループに含まれる（すなわち、画像がサンプルとしてトラックに格納されている）場合、「ｐａｎｏ」エンティティグループに存在するｅｎｔｉｔｙ＿ｉｄは１つだけである。画像シーケンストラックは、「pano」エンティティグループに含まれ、パノラマを形成するように意図された撮影された画像シーケンスを含むことを示すことができる。「ｐａｎｏ」エンティティグループ内に存在する画像シーケンストラックは、他のブラケティングサンプルグループ化を含むことができる（例えば、パノラマ撮影が自動露出ブラケティングと結合されてＨＤＲパノラマを形成する場合、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ「ａｅｂｒ」を有するサンプルグループ化を定義して、同じブラケティングセットに属するサンプルをグループ化して記述することができる）。
パノラマエンティティグループ内のエンティティ、またはパノラマエンティティグループによって参照される画像シーケンストラック内のサンプルが、パノラマ順序にリスト化される。エンティティグループまたはグループ間で使用されるパノラマ順序は、エンティティグループまたはグループ間に関連付けられたパノラマアイテムプロパティ「ｐａｎｏ」を使用して宣言されるべきである。
画像がアイテムとして格納される場合、パノラマＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘは、パノラマ撮影が１つ以上のブラケティング（例えば、自動露出、フォーカス、またはホワイトバランスブラケティング）と結合される場合、他のブラケティングセットを直接参照することができる。
パノラマエンティティグループまたはグループ間に関連付けられているパノラマ記述アイテムプロパティは、パノラマのパラメータ（方向、もしあればブラケティングのタイプ）を提供する。このアイテムプロパティは、エンティティグループ「ｐａｎｏ」またはグループ間「ｐａｎｏ」にのみ関連付けられている必要がある。
パノラマ記述アイテムプロパティは、次のように定義できる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＰａｎｏｒａｍａＰｒｏｐｅｒｔｙ
ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ（’ｐａｎｏ’、ｖｅｒｓｉｏｎ＝０、ｆｌａｇｓ＝０） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎ；
ｉｆ （ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎ ＞＝ ４ ＆＆ ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎ ＜＝ ５） ｛／／ グリッド
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｒｏｗｓ＿ｍｉｎｕｓ＿ｏｎｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ＿ｏｎｅ；
｝
｝
ここで、
ｐａｎｏｒａｍａ＿ｄｉｒｅｃｔｉｏｎは、例えば８ビットの符号なし整数で、使用されるパノラマのタイプとパノラマ内の入力画像のスキャン順序を通知する。
０：左から右への水平パノラマ
１：右から左への水平パノラマ
２：下から上への垂直パノラマ
３：上から下への垂直パノラマ
４：ラスタスキャン順序のグリッドパノラマ、すなわち、行および列は、左上隅から始めて、左から右および上から下へと編成される。
５：連続的な順序のグリッドパノラマ、すなわち、左上隅から始めて、第１の行は左から右に編成され、次に、第２の行は右から左に編成され、第３の行は左から右に編成され、以下同様である。
その他の値は不定である。
ｒｏｗｓ＿ｍｉｎｕｓ＿ｏｎｅは、グリッド内の行数から１を引いた数を指定する符号なし整数である。
ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ＿ｏｎｅは、グリッド内の列数から１を引いた数を指定する符号なし整数である。
パノラマ記述アイテムプロパティは、任意選択で、パノラマ撮影と結合された１つまたは複数のブラケティングセットのｇｒｏｕｐｉｎｇ＿ｔｙｐｅの４ＣＣを提供する、追加の属性ｐａｎｏｒａｍａ＿ｂｒａｃｋｅｔｉｎｇ＿ｔｙｐｅまたはｐａｎｏｒａｍａ＿ｂｒａｃｋｅｔｉｎｇ＿ｔｙｐｅのリストを含むことができる。例えば、このｐａｎｏｒａｍａ＿ｂｒａｃｋｅｔｉｎｇ＿ｔｙｐｅにより、リーダは、パノラマを構成する複数のビューのうちの１つの単一ビューに対応する１つの単一サンプルグループまたはブラケティングセットをどのサンプルが形成するかをトラック内で識別することができる。サンプルの各グループから、グループからの１つのサンプルのみ、またはこのグループからのサンプルのマージ（例えば、これらのサンプルのＨＤＲ合成）が完全なパノラマビューを構築するために、他のビューと合成される１つのビューを構築するために使用される。
図４は、エンティティグループとして説明されるパノラマの２つの例を示す。
第１の例では、第１のパノラマが第１のエンティティグループ４０１によって表される。第２の例では、第２のパノラマが第２のエンティティグループ４０２によって表される。
両方のエンティティグループは異なるアイテムプロパティＰａｎｏｒａｍａＰｒｏｐｅｒｔｙ（「ｐａｎｏ」）ボックスを参照する場合もあれば、同じパノラマプロパティを共有する場合、上記のように同じアイテムプロパティＰａｎｏｒａｍａＰｒｏｐｅｒｔｙ（「ｐａｎｏ」）４０３を有利に参照することができる。
第１のパノラマ４０１は複数のエンティティグループ４０４および４０５によって表されるアイテムのいくつかのブラケッティングセット（例えば、自動露出ブラケッティングセット「ａｅｂｒ」）から構成され、これを参照する。
第２のパノラマ４０２は、１つの画像シーケンストラック４０６に格納されている一連のサンプルから構成され、一連のサンプルは「ａｅｂｒ」４０７、４０８、および４０９をグループ化するいくつかのサンプルによって表される連続する自動露出ブラケティングセットに対応する。例えば、サンプルグループ４０７は、サンプル４１０、４１１及び４１２から構成される。例えば、サンプル４１０は、自動露出値ストップパラメータ＝－１を表すサンプルグループ記述エントリ０に関連付けられる。サンプル４１２は、自動露出値ストップパラメータ＝＋１を表すサンプルグループ記述エントリ２に関連付けられる。
ＨＥＩＦ規格は、パノラマを含む画像または画像のグループの人が可読のテキスト記述を効率的に格納することを可能にしない。名前またはタイトル、パノラマの一般的な説明、画像または画像のグループ、およびパノラマに関連するキーワードまたはタグのリスト、他の画像または画像のグループなどの、人が可読のテキストの説明は、ユーザがそれらのパノラマ、ＨＥＩＦファイル内の他の画像または画像のグループを編成、分類、検索し、ＨＥＩＦファイルの内容を表示し、ＨＥＩＦファイルの内容に基づいて文書を作成し、またはそれらのパノラマまたは他の画像または画像のグループを他のユーザと共有するために有用である。
いくつかの実施形態では、追加の人が可読のラベル（単数または複数）はまた、各アイテムまたはエンティティのグループのコンテンツの人が可読の説明、例えばタイトル、一般的説明、またはタグを提供するために、任意の種類のアイテムまたはエンティティのグループ（例えば、上記実施形態によるパノラマを表す）に関連付けられてもよい。
この目的のために、たとえばＵｓｅｒＤｅｓｃｒｉｐｔｉｏｎＰｒｏｐｅｒｔｙというアイテムプロパティを以下のように定義できる。
ボックスタイプ：「ｕｄｅｓ」
プロパティタイプ：記述アイテムプロパティ
コンテナ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
必須（アイテムごと）：番号
数量（アイテムごと）：ゼロ以上
ＵｓｅｒＤｅｓｃｒｉｐｔｉｏｎＰｒｏｐｅｒｔｙは、ユーザ定義の名前、説明、およびタグとのアイテムの関連付けを可能にし、異なる言語コードを有することになるアイテムまたはエンティティのグループ（おそらくパノラマを表す）に関連付けられた複数のそのようなプロパティが存在し得る。これにより、異なる代替言語をアイテムまたはエンティティのグループに関連付けることができる。
同じＵｓｅｒＤｅｓｃｒｉｐｔｉｏｎＰｒｏｐｅｒｔｙは、同じ説明を共有する場合、２つの異なるアイテムまたはアイテムのグループに関連付けることができる。これにより、同じデータ情報を重複させずにメモリを節約できる。
また、ボックスのフラグには以下のフラグを設定することができる。
０ｘ０００００１ 名前存在
０ｘ０００００２ 説明存在
０ｘ０００００４ タグ存在
設定すると、関連付けられた名前、説明、またはタグ列がアイテムプロパティで定義されているかどうかを示す。これにより、空列の定義で構成される代替と比較して、対応するフィールドが使用されていない場合にアイテムプロパティ定義にバイトを保存できる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＵｓｅｒＤｅｓｃｒｉｐｔｉｏｎＰｒｏｐｅｒｔｙ
ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ（’ｕｄｅｓ’、ｖｅｒｓｉｏｎ＝０、ｆｌａｇｓ＝０） ｛
ｕｔｆ８ｓｔｒｉｎｇ ｌａｎｇ；
ｉｆ （ｆｌａｇｓ ＆ ｎａｍｅ－ｐｒｅｓｅｎｔ） ｕｔｆ８ｓｔｒｉｎｇ ｎａｍｅ；
ｉｆ （ｆｌａｇｓ ＆ ｄｅｓｃｒｉｐｔｉｏｎ－ｐｒｅｓｅｎｔ） ｕｔｆ８ｓｔｒｉｎｇ ｄｅｓｃｒｉｐｔｉｏｎ；
ｉｆ （ｆｌａｇｓ ＆ ｔａｇｓ－ｐｒｅｓｅｎｔ） ｕｔｆ８ｓｔｒｉｎｇ ｔａｇｓ；
｝
ここで、
ｌａｎｇは、”ｅｎ－ＵＳ”、”ｆｒ－ＦＲ”、または”ｚｈ－ＣＮ”などのＲＦＣ５６４６準拠の言語タグ列を含む文字列であり、ｎａｍｅ、ｄｅｓｃｒｉｐｔｉｏｎ、およびｔａｇｓに含まれるテキストの言語を表す。ｌａｎｇが空の場合、言語はｕｎｋｎｏｗｎ／ｕｎｄｅｆｉｎｅｄである。
ｎａｍｅは、アイテムまたはエンティティーのグループの人が可読の名前を含むｎｕｌｌ終端ＵＴＦ－８文字列である。
ｄｅｓｃｒｉｐｔｉｏｎは、アイテムまたはエンティティのグループの人が可読の説明を含むｎｕｌｌ終端ＵＴＦ－８文字列である。
ｔａｇｓは、アイテムまたはエンティティのグループに関連するカンマ区切りのタグを含むｎｕｌｌ終端ＵＴＦ－８文字列である。
ＨＥＩＦ及びＭＩＡＦファイルフォーマットは、生成時間又は修正時間のようなパノラマを含む画像及び画像のグループのタイミング情報を格納する効率的な方法を提供しない。このタイミング情報は、ユーザが、ＨＥＩＦファイル内のパノラマ、又は他の画像又は画像のグループを整理、分類及び検索し、ＨＥＩＦファイルの内容を表示し、ＨＥＩＦファイルの内容に基づいて文書を作成し、又はそれらのパノラマ又は他の画像又は画像のグループを他のユーザと共有するのに有用である。
いくつかの実施形態では、追加のアイテムプロパティがそれらの作成および修正時間を文書化するために、任意の種類のアイテムまたはエンティティのグループ（例えば、上記の実施形態によるパノラマを表す）に関連付けられてもよい。
幾つかのアイテムプロパティ、例えば、ＣｒｅａｔｉｏｎＴｉｍｅＰｒｏｐｅｒｔｙやＭｏｄｉｆｉｃａｔｉｏｎＴｉｍｅＰｒｏｐｅｒｔｙは、次のように定義できる。
ボックスタイプ：’ｃｒｔｔ’
プロパティタイプ：記述アイテムプロパティ
コンテナ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
必須（アイテムごと）：番号
数量（アイテムごと）：高々１つ

ボックスタイプ：’ｍｄｆｔ’
プロパティタイプ：記述アイテムプロパティ
コンテナ： ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
必須（アイテムごと）：番号
数量（アイテムごと）：高々１つ
ＣｒｅａｔｉｏｎＴｉｍｅＰｒｏｐｅｒｔｙは、関連付けられたアイテムまたはエンティティのグループの作成時間を文書化する。
ＭｏｄｉｆｉｃａｔｉｏｎＴｉｍｅＰｒｏｐｅｒｔｙは、関連するアイテムまたはエンティティのグループの最後の修正時間を文書化する。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＣｒｅａｔｉｏｎＴｉｍｅＰｒｏｐｅｒｔｙ
ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ（’ｃｒｔｔ’） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（６４） ｃｒｅａｔｉｏｎ＿ｔｉｍｅ；
｝

ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＭｏｄｉｆｉｃａｔｉｏｎＴｉｍｅＰｒｏｐｅｒｔｙ
ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ（’ｍｄｆｔ’） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（６４） ｍｏｄｉｆｉｃａｔｉｏｎ＿ｔｉｍｅ；
｝
ここで、
ｃｒｅａｔｉｏｎ＿ｔｉｍｅは、アイテムまたはエンティティのグループの作成時間を宣言する整数である（ＵＴＣ時間の１９０４年１月１日午前０時からのマイクロ秒単位）。
ｍｏｄｉｆｉｃａｔｉｏｎ＿ｔｉｍｅは、アイテムまたはエンティティのグループが変更された最新の時間を宣言する整数である（ＵＴＣ時間の１９０４年１月１日午前０時からのマイクロ秒単位）。
マイクロ秒の精度により、１秒あたりのフレームレートが速い高速カメラの撮影時間をサポートできる。より高い精度が必要な場合は、追加の６４ビットの属性を使用してボックスの新しいバージョンを定義できる（ネットワークタイムプロトコルバージョン４と同様）。
代替として、ＵＴＣ時間は、異なる開始時間（例えば、１９７０年または２００１年１月１日の深夜、または明確に定義された、その他の任意の開始時間などの別の周知のエポック時間）からカウントされてもよい。
別の代替案では、ＵＴＣ時間からローカル時間を取得することを可能にするタイムゾーンを提供するために、例えば符号付き整数として、追加の属性を追加することができる。
別の代替案では、ｃｒｅａｔｉｏｎ＿ｔｉｍｅとｍｏｄｉｆｉｃａｔｉｏｎ＿ｔｉｍｅがグローバルリファレンス時間と比較した差として表現される可能性があり、場合によっては時間尺度への参照によっても表現される可能性があり、両方とも、最上位の「ｍｅｔａ」ボックスの下の別のボックス、またはＨＥＩＦファイル内の別の最上位ボックスで宣言される。これにより、ｃｒｅａｔｉｏｎ＿ｔｉｍｅおよびｍｏｄｉｆｉｃａｔｉｏｎ＿ｔｉｍｅ定義で（たとえば、６４ビット整数ではなく３２ビット整数を使用して）いくつかのバイトを節約できる。
別の代替案では、ＭｏｄｉｆｉｃａｔｉｏｎＴｉｍｅＰｒｏｐｅｒｔｙが以下で定義されるように、人が可読のラベルやオプションのバージョニング番号などの追加属性を含む。複数のＭｏｄｉｆｉｃａｔｉｏｎＴｉｍｅＰｒｏｐｅｒｔｙは、変更履歴／バージョニングを追跡するために、アイテムまたはエンティティのグループに関連付けることができる。
ボックスタイプ： ’ｍｄｆｔ’
プロパティタイプ： 記述アイテムプロパティ
コンテナ： ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
必須（アイテムごと）：番号
数量（アイテムごと）：ゼロ以上

ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＭｏｄｉｆｉｃａｔｉｏｎＴｉｍｅＰｒｏｐｅｒｔｙ
ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ（’ｍｄｆｔ’） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（６４） ｍｏｄｉｆｉｃａｔｉｏｎ＿ｔｉｍｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｍａｊｏｒ＿ｖｅｒｓｉｏｎ＿ｎｕｍｂｅｒ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｍｉｎｏｒ＿ｖｅｒｓｉｏｎ＿ｎｕｍｂｅｒ；
ｕｔｆ８ｓｔｒｉｎｇ ｃｏｍｍｅｎｔ；
｝
ここで、
ｍｏｄｉｆｉｃａｔｉｏｎ＿ｔｉｍｅは上記のように定義される。
ｍａｊｏｒ＿ｖｅｒｓｉｏｎ＿ｎｕｍｂｅｒとｍｉｎｏｒ＿ｖｅｒｓｉｏｎ＿ｎｕｍｂｅｒは、メジャーバージョン番号とマイナーバージョン番号を提供する符号なし整数である。
ｃｏｍｍｅｎｔは、変更のための人が可読のコメントを与える。
オプションで、追加の属性ｌａｎｇは、ＵｓｅｒＤｅｓｃｒｉｐｔｉｏｎＰｒｏｐｅｒｔｙと同様にｃｏｍｍｅｎｔに含まれるテキストの言語を提供することができる。
図５は、ＨＥＩＦフォーマットを使用して１つ以上の画像を１つのファイルにカプセル化するプロセスの主なステップを示している。コンピューティングデバイス６００（図６）は例えば、この処理を適用することができる。
シーンからパノラマビューを構築するために、いくつかのビュー撮影がデバイス６００によって取得される。各ビュー撮影の間に、デバイスは所定のパノラマ方向に従って、おそらくは３６０°まで（例えば、左から右へまたは上から下への線または曲線を形成するか、または所与のスキャン順序を有するグリッドを形成する）移動される。
ステップ５０１では、各ビュー撮影に対して、デバイスは現在ブラケティングモードがアクティブであるかどうか、すなわち、所与のブラケティングモード（例えば、自動露出ブラケティング、フォーカスブラケティング、ホワイトバランスブラケティング、超解像ブラケティング、被写界深度ブラケティング、フラッシュ露出ブラケティング、…）に従って画像のブラケティングセットを形成するために、所与のビューに対して複数の画像が撮影されるべきかどうかを判定する。ブラケティングは、一連の画像を撮影することで構成され、シリーズの各画像はカメラパラメータの異なる値を使用して撮影される。例えば、３つの画像の自動露光ブラケティングは、低露光時間を有する第１の画像、中間露光時間を有する第２の画像、及び高露光時間を有する第３の画像から成ることができる。
ステップ５０１においてブラケティングモードがアクティブである場合、デバイスは、デバイス内に構成された、又はユーザによって選択されたブラケティングモードパラメータ（画像の数、画像撮影構成パラメータ）に従って、ステップ５０４で一連の画像を得る。
ステップ５０５では、一連の画像の各画像が符号化され（例えば、ＨＥＶＣ、ＪＰＥＧ、ＲＡＷ、または任意の他の画像符号化フォーマットを使用して）、新しい符号化画像アイテムとしてＨＥＩＦファイルにカプセル化される。ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘは、ブラケティングモードに対応するグループ化タイプを有する一連の符号化画像アイテムを参照して定義される。たとえば、自動露出ブラケティングではグループ化タイプ「ａｅｂｒ」、またはフォーカスブラケティングでは「ｆｏｂｒ」を使用する。オプションで、各画像のブラケティングパラメータ値を記述するために、各符号化画像アイテムにアイテムプロパティが関連付けられる。
あるいは、一連の画像の各画像がトラック内の新しいサンプルとしてＨＥＩＦファイル内に符号化され、カプセル化される。そして、ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘは上述したように、ブラケティングモードに対応するグループ化タイプを有するトラックを参照して定義される。サンプルグループ化メカニズムを使用して、各サンプルを各画像のブラケティングパラメータ値に関連付けることができる（別個のＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙに記載されている）。
ステップ５０１でブラケティングモードがアクティブではない場合、ステップ５０２で、デバイスはビューについて１つの単一画像を取得し、ステップ５０３で、この画像を（任意の画像符号化フォーマットで）符号化し、この画像を符号化画像アイテムとしてＨＥＩＦファイルにカプセル化する。
ステップ５０６において、パノラマビューを形成する最後の撮影ビューに到達しない場合、以前のステップが繰り返される。
最後に、ステップ５０７で、派生画像が、派生画像アイテムまたは予め導出された符号化画像アイテムとして、上述の実施形態のうちの１つに従って作成され、ステップ５０５および５０３で作成されたＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘｅｓまたは画像アイテムを参照するパノラマビューを記述するためにＨＥＩＦファイルにカプセル化される。
パノラマが予め導出された符号化画像アイテムとして作成される場合、ステップ５０２および５０４で撮影された画像からパノラマ画像が計算される。作成されたパノラマ画像は、（任意の画像符号化フォーマットで）符号化され、上述の実施形態のうち１つに従って、ステップ５０５および５０３で作成されたＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘまたは画像を参照して、予め導出された符号化画像アイテムとしてカプセル化される。
図６は、本発明の１つまたは複数の実施形態を実施するためのコンピューティングデバイス６００の概略ブロック図である。コンピューティングデバイス６００は、マイクロコンピュータ、ワークステーション、または携帯電話、タブレット、スチルカメラ、またはビデオカメラなどのライトポータブルデバイスなどのデバイスとすることができる。コンピューティングデバイス６００は、以下に接続された通信バスを備える。
CPUと呼ばれるマイクロプロセッサのような中央処理ユニット６０１；
本発明の実施形態の方法の実行可能コード、ならびに本発明の実施形態による方法を実施するために必要な変数およびパラメータを記録するように適合されたレジスタを格納するための、ＲＡＭで示されるランダムアクセスメモリ６０２であり、そのメモリ容量は例えば、拡張ポートに接続されたオプションのＲＡＭによって拡張することができる；
本発明の実施形態を実現するためのコンピュータプログラムを格納するためのＲＯＭで示されるリードオンリーメモリ６０３；
ネットワークインターフェース６０４は、典型的には処理されるデジタルデータが送受信される通信ネットワークに接続される。ネットワークインターフェース６０４は単一のネットワークインターフェースであってもよいし、異なるネットワークインターフェースのセット（例えば、有線および無線インターフェース、または異なる種類の有線または無線インターフェース）から構成されてもよい。データパケットは、送信のためにネットワークインターフェースに書き込まれるか、またはＣＰＵ６０１内で実行されているソフトウェアアプリケーションの制御の下で受信のためにネットワークインターフェースから読み出される；
ユーザインターフェース６０５は、ユーザからの入力を受信するために、またはユーザに情報を表示するために使用されてもよい；
HDで示されるハードディスク６０６は、大容量記憶装置として提供されてもよい；
I／Ｏモジュール６０７は、ビデオソースまたはディスプレイのような外部デバイスから／へデータを受信／送信するために使用されてもよい。
実行可能コードは、リードオンリーメモリ６０３、ハードディスク６０６、または例えばディスクのようなリムーバブルデジタル媒体のいずれかに格納することができる。変形例によれば、プログラムの実行可能コードは、実行前にハードディスク６０６などの通信装置６００の記憶手段の１つに記憶されるために、ネットワークインターフェース６０４を介して、通信ネットワークを用いて受信することができる。
中央処理ユニット６０１は、前述の記憶手段の１つに格納された、本発明の実施形態によるプログラムもしくは複数のプログラムのソフトウェアコードの命令もしくは一部の実行を制御し、指示するように適合される。電源投入後、ＣＰＵ６０１は例えば、プログラムＲＯＭ６０３またはハードディスク（ＨＤ）６０６からそれらの命令がロードされた後に、ソフトウェアアプリケーションに関するメインＲＡＭメモリ６０２からの命令を実行することができる。このようなソフトウェアアプリケーションは、ＣＰＵ６０１によって実行されると、本発明のフローチャートのステップを実行させる。
本発明のアルゴリズムの任意のステップは、ＰＣ（「パーソナルコンピュータ」）、ＤＳＰ（「デジタル信号プロセッサ」）、またはマイクロコントローラなどのプログラマブルコンピューティングマシンによる命令またはプログラムのセットの実行によってソフトウェアで実施することができ、あるいは、ＦＰＧＡ（「フィールドプログラマブルゲートアレイ」）またはＡＳＩＣ（「特定用途向け集積回路」）などのマシンまたは専用コンポーネントによってハードウェアで実施することができる。
以上、特定の実施形態を参照して本発明を説明したが、本発明は特定の実施形態に限定されるものではなく、本発明の範囲内にある変更は当業者には明らかであろう。
多くのさらなる変更および変形は、単に例として与えられ、添付の特許請求の範囲によってのみ決定される本発明の範囲を限定することを意図しない、前述の例示的な実施形態を参照する際に、当業者にそれ自体を示唆するであろう。特に、様々な実施形態からの異なる特徴は、適宜、交換されてもよい。
上述した本発明の各実施形態は単独で実施してもよいし、複数の実施形態を組み合わせとして実施してもよい。また、様々な実施形態からの特徴は、必要な場合、または単一の実施形態における個々の実施形態からの要素または特徴の組み合わせが有益である場合に組み合わせることができる。
本明細書（任意の添付の特許請求の範囲、要約書、および図面を含む）に開示される各特徴は特に断らない限り、同じ、同等の、または同様の目的を果たす代替の特徴によって置き換えることができる。したがって、特に断らない限り、開示される各特徴は、同等または同様の特徴の一般的なシリーズの一例にすぎない。
特許請求の範囲において、単語「有する」は他の要素又はステップを排除するものではなく、不定冠詞「ａ」又は「ａｎ」は複数を排除するものではない。異なる特徴が相互に異なる従属請求項に記載されているという単なる事実は、これらの特徴の組合せが有利に使用されることができないことを示すものではない。

Claims (16)

  1. メディアデータをファイルにカプセル化する方法であって、前記方法は、
    パノラマを生成するように適合された複数の画像を識別するエンティティの第１のグループを記述する第１のグループ化データ構造を生成することと、第１のグループの各エンティティは、メディアデータの少なくとも一部に関連しており、
    前記第１のグループ化データ構造と前記メディアデータを前記ファイルに埋め込むこととを含み、
    前記第１のグループのエンティティは、前記複数の画像の少なくとも一部を識別するエンティティの第２のグループを記述する第２のグループ化データ構造である方法。
  2. 前記第１のグループ化データ構造は、「ｐａｎｏ」に等しいグループ化タイプを有するＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘである請求項１に記載の方法。
  3. 前記第２のグループ化データ構造は、ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘである請求項１または２に記載の方法。
  4. 前記第１のグループ化データ構造は、第１のブラケッティングセットを特徴とし、前記第２のグループ化データ構造は、第２のブラケッティングセットを特徴とする、請求項１乃至３のいずれかに記載の方法。
  5. パノラマ記述アイテムプロパティは、前記第１のグループ化データ構造に関連付けられ、
    パノラマ記述アイテムプロパティは、前記第１のグループ化データ構造のエンティティのパラメータを提供する請求項１～４のいずれかに記載の方法。
  6. 前記パノラマ記述アイテムプロパティは、
    パノラマ方向、
    グリッドパノラマの行数から１を引いた数を指定するための整数、
    パノラマグリッド内の列数から１を引いた数を指定する整数、
    のうちの少なくとも１つを含む、請求項５に記載の方法。
  7. 前記パノラマ記述アイテムプロパティは、「ｐａｎｏ」に等しいタイプを有する、請求項５または６に記載の方法。
  8. 前記第１および／または前記第２のグループのエンティティ、および／または前記第１のグループおよび／または前記第２のグループ、のうちの少なくとも１つが、タイミング情報を含むアイテムプロパティに関連付けられる、請求項１に記載の方法。
  9. 前記第２のグループの少なくとも１つのエンティティが画像アイテムである請求項１～８のいずれかに記載の方法。
  10. 前記第２のグループの少なくとも１つのエンティティは、画像シーケンストラックである請求項１に記載の方法。
  11. 前記画像シーケンストラックはサンプルを含み、前記画像シーケンストラックは、ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘによって記述され、前記ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘは、前記トラックのサンプルをグループ化する、請求項１０に記載の方法。
  12. メディアデータをファイルにカプセル化する方法であって、前記方法は、
    (ｉ) １つまたは複数のエンティティまたは１つまたは複数のエンティティのグループの作成時刻または修正時刻のうちの少なくとも１つの情報を、アイテムプロパティとして含むアイテムプロパティコンテナボックスと、
    (ｉｉ) 前記１つまたは複数のエンティティまたは前記１つまたは複数のエンティティのグループを、アイテムプロパティアソシエーションボックスに含まれるアイテムプロパティに関連付ける情報を含む前記アイテムプロパティアソシエーションボックスと、前記１つまたは複数のエンティティの各々のエンティティまたは前記１つまたは複数のエンティティのグループの各々のエンティティは、メディアデータの少なくとも一部に関連する
    を含むメタデータを生成することと、
    前記生成されたメタデータと前記メディアデータを前記ファイルに埋め込むことと
    を含む方法。
  13. メディアデータをファイルにカプセル化するためのデバイスであって、デバイスは、
    パノラマを生成するように適合された複数の画像を識別するエンティティの第１のグループを記述する第１のグループ化データ構造を生成し、前記第１のグループの各エンティティは、メディアデータの少なくとも一部に関連し、
    前記第１のグループ化データ構造と前記メディアデータを前記ファイルに埋め込む
    ように構成されたプロセッサを含み、
    前記第１のグループのエンティティは、前記複数の画像の少なくとも一部を識別するエンティティの第２のグループを記述する第２のグループ化データ構造であるデバイス。
  14. プログラマブル装置のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、前記プログラマブル装置にロードされて実行されるときに、請求項１～１２の何れか１項に記載の方法を実施するための一連の命令を含む。
  15. 請求項１～１２のいずれか１項に記載の方法を実施するためのコンピュータプログラムの命令を記憶するコンピュータ可読記憶媒体。
  16. 実行時に、請求項１～１２のいずれか１項に記載の方法を実行させるコンピュータプログラム。
JP2021563179A 2019-06-26 2020-06-10 ファイル内にパノラマ画像をカプセル化するための方法および装置 Active JP7421570B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1909192.5A GB2585052B (en) 2019-06-26 2019-06-26 Method and apparatus for encapsulating panorama images in a file
GB1909192.5 2019-06-26
PCT/EP2020/066017 WO2020260014A1 (en) 2019-06-26 2020-06-10 Method and apparatus for encapsulating panorama images in a file

Publications (2)

Publication Number Publication Date
JP2022537624A true JP2022537624A (ja) 2022-08-29
JP7421570B2 JP7421570B2 (ja) 2024-01-24

Family

ID=67511636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021563179A Active JP7421570B2 (ja) 2019-06-26 2020-06-10 ファイル内にパノラマ画像をカプセル化するための方法および装置

Country Status (7)

Country Link
US (1) US11853351B2 (ja)
EP (1) EP3991443A1 (ja)
JP (1) JP7421570B2 (ja)
KR (1) KR20220024675A (ja)
CN (1) CN114097249A (ja)
GB (1) GB2585052B (ja)
WO (1) WO2020260014A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2572947A (en) * 2018-04-05 2019-10-23 Canon Kk Method and apparatus for encapsulating images in a file
US20220269716A1 (en) * 2019-07-30 2022-08-25 Sony Group Corporation File processing device, file processing method, and program
CN111526299B (zh) * 2020-04-28 2022-05-17 荣耀终端有限公司 一种高动态范围图像合成方法和电子设备
CN115883871A (zh) * 2021-08-23 2023-03-31 腾讯科技（深圳）有限公司 媒体文件封装与解封装方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018177819A1 (en) * 2017-03-27 2018-10-04 Canon Kabushiki Kaisha Method for generating media data
WO2019072795A1 (en) * 2017-10-12 2019-04-18 Canon Kabushiki Kaisha METHOD, DEVICE, AND COMPUTER PROGRAM FOR GENERATING TIMED PARTITIONED MULTIMEDIA DATA

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7996878B1 (en) * 1999-08-31 2011-08-09 At&T Intellectual Property Ii, L.P. System and method for generating coded video sequences from still media
US20030163477A1 (en) * 2002-02-25 2003-08-28 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US20040167925A1 (en) * 2003-02-21 2004-08-26 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
JP2006074531A (ja) * 2004-09-03 2006-03-16 Canon Inc データ記録再生装置及び方法
US20060233247A1 (en) * 2005-04-13 2006-10-19 Visharam Mohammed Z Storing SVC streams in the AVC file format
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
US9648348B2 (en) * 2013-10-23 2017-05-09 Qualcomm Incorporated Multi-layer video file format designs
BR112017015841B1 (pt) * 2015-02-04 2024-01-30 Telefonaktiebolaget Lm Ericsson (Publ) Dispositivo para decodificar amostras de ponto de acesso aleatório dependente, dispositivo para gerar um arquivo de recipiente de mídia, métodos relacionados e arquivo de recipiente de mídia
US10291561B2 (en) * 2015-02-09 2019-05-14 Nokia Technologies Oy Apparatus, a method and a computer program for image coding and decoding
GB201502205D0 (en) * 2015-02-10 2015-03-25 Canon Kabushiki Kaisha And Telecom Paris Tech Image data encapsulation
US9922680B2 (en) * 2015-02-10 2018-03-20 Nokia Technologies Oy Method, an apparatus and a computer program product for processing image sequence tracks
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
US20170111642A1 (en) * 2015-10-14 2017-04-20 Qualcomm Incorporated Support of random access and switching of layers and sub-layers in multi-layer video files
EP3703384B1 (en) * 2016-02-16 2024-02-14 Nokia Technologies Oy Media encapsulating and decapsulating
GB202108749D0 (en) * 2016-05-23 2021-08-04 Canon Kk Method, device, and computer program for adaptive streaming of virtual reality media content
CN107888939A (zh) * 2016-09-30 2018-04-06 华为技术有限公司 一种视频数据的处理方法及装置
US11139000B2 (en) * 2017-03-07 2021-10-05 Mediatek Inc. Method and apparatus for signaling spatial region information
US11062738B2 (en) * 2017-03-23 2021-07-13 Qualcomm Incorporated Signalling of video content including sub-picture bitstreams for video coding
KR102277267B1 (ko) * 2017-03-29 2021-07-14 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN110870302B (zh) * 2017-07-03 2021-06-29 诺基亚技术有限公司 用于全向视频的装置、方法和计算机程序
WO2019197718A1 (en) * 2018-04-11 2019-10-17 Nokia Technologies Oy Method and apparatus for signaling and storing grouping types in an image container file
CN112514398B (zh) * 2018-06-01 2023-07-14 诺基亚技术有限公司 用于针对全向内容而标记在覆盖物上的用户交互并将对背景的覆盖物分组的方法和装置
US10986402B2 (en) * 2018-07-11 2021-04-20 Qualcomm Incorporated Time signaling for media streaming
CN111417008B (zh) * 2019-01-08 2022-06-03 诺基亚技术有限公司 用于虚拟现实的方法、装置和计算机可读介质
WO2020188142A1 (en) * 2019-03-15 2020-09-24 Nokia Technologies Oy Method and apparatus for grouping entities in media content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018177819A1 (en) * 2017-03-27 2018-10-04 Canon Kabushiki Kaisha Method for generating media data
WO2019072795A1 (en) * 2017-10-12 2019-04-18 Canon Kabushiki Kaisha METHOD, DEVICE, AND COMPUTER PROGRAM FOR GENERATING TIMED PARTITIONED MULTIMEDIA DATA

Also Published As

Publication number Publication date
JP7421570B2 (ja) 2024-01-24
GB2585052B (en) 2023-07-26
GB201909192D0 (en) 2019-08-07
WO2020260014A1 (en) 2020-12-30
US20220245190A1 (en) 2022-08-04
GB2585052A (en) 2020-12-30
CN114097249A (zh) 2022-02-25
KR20220024675A (ko) 2022-03-03
EP3991443A1 (en) 2022-05-04
US11853351B2 (en) 2023-12-26

Similar Documents

Publication Publication Date Title
JP7421570B2 (ja) ファイル内にパノラマ画像をカプセル化するための方法および装置
US11805304B2 (en) Method, device, and computer program for generating timed media data
GB2561026A (en) Method and apparatus for generating media data
KR102465188B1 (ko) 이미지를 파일에 캡슐화하기 위한 방법 및 장치
US11985339B2 (en) Method and apparatus for encapsulating images or sequences of images with proprietary information in a file
WO2021259611A1 (en) Method and apparatus for encapsulating annotated region in isobmff tracks
GB2582025A (en) Method and apparatus for encapsulating groups of images in a file
US20230169107A1 (en) Method and apparatus for encapsulating region related annotation in an image file
US20230353842A1 (en) Method, device, and computer program for encapsulating region annotations in media tracks
GB2572947A (en) Method and apparatus for encapsulating images in a file
GB2575288A (en) Method and apparatus for encapsulating images or sequences of images with proprietary information in a file
US12008052B2 (en) Method and apparatus for encapsulating images in a file
GB2573096A (en) Method and apparatus for encapsulating images with proprietary information in a file
US20240107129A1 (en) Method and apparatus for encapsulating image data in a file for progressive rendering
GB2582024A (en) Method and apparatus for encapsulating groups of images in a file
KR20220069970A (ko) 미디어 데이터를 미디어 파일로 캡슐화하기 위한 방법, 디바이스, 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220322

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240112

R151 Written notification of patent or utility model registration

Ref document number: 7421570

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151