JP2022510366A - コンテナファイルフォーマットで情報をシグナリングするための装置及び方法 - Google Patents

コンテナファイルフォーマットで情報をシグナリングするための装置及び方法 Download PDF

Info

Publication number
JP2022510366A
JP2022510366A JP2021531473A JP2021531473A JP2022510366A JP 2022510366 A JP2022510366 A JP 2022510366A JP 2021531473 A JP2021531473 A JP 2021531473A JP 2021531473 A JP2021531473 A JP 2021531473A JP 2022510366 A JP2022510366 A JP 2022510366A
Authority
JP
Japan
Prior art keywords
visual data
grouping
container file
image
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021531473A
Other languages
English (en)
Other versions
JP7391963B2 (ja
Inventor
エムレ アクス
ミスカ ハンヌクセラ
ヨンネ マキネン
ユハ－ペッカ ヒッペライネン
Original Assignee
ノキア テクノロジーズ オーユー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア テクノロジーズ オーユー filed Critical ノキア テクノロジーズ オーユー
Publication of JP2022510366A publication Critical patent/JP2022510366A/ja
Application granted granted Critical
Publication of JP7391963B2 publication Critical patent/JP7391963B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Discrete Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

好適な実施形態の一例は、画像撮影手段から、複数のエンティティを含むビジュアルデータを受信することと、前記複数のエンティティのうちの少なくとも選択されたエンティティについて１つ以上のグルーピングタイプを決定するために前記ビジュアルデータを処理することと、前記１つ以上のグルーピングタイプをコンテナファイルフォーマットのメタデータとして記憶することであって、前記１つ以上のグルーピングタイプは、前記選択されたエンティティに対応付けられている、記憶することと、前記ビジュアルデータに対応付けてコンテナファイルに前記メタデータを含めることと、を含む。【選択図】図５

Description

本ソリューションは、概して、コンテナファイルフォーマットで情報をシグナリングすることに関する。
背景
多くのメディアファイルフォーマットのシンタックスは、タイプ及び長さが事前固定されたプレフィックスデータチャンク又はボックスの階層リストに基づいている。ここで、命名は、問題となるフォーマットに依存する。ISOベースメディアファイルフォーマット（ISO Base Media File Format：ISOBMFF）（ISO／IEC １４４９６－１２）に準拠したコンテナファイルでは、メディアデータ及びメタデータは、各種タイプのボックスに整理されている。多くのフォーマットがISOBMFFから導き出され、その例として、HEIF（High Efficiency Image File Format）（ISO／IEC ２３００８－１２）、MPEG－４ファイルフォーマット（ISO／IEC １４４９６－１４、'MP４フォーマット'としても知られている）、NALユニット構造化動画についてのファイルフォーマット（ISO／IEC １４４９６－１５）、及び３GPPファイルフォーマット（３GPP TS ２６．２４４、'３GPフォーマット'としても知られている）が挙げられる。これらのフォーマットは、同じボックス構造化基本構造を使用する。
HEVC（High Efficiency Video Coding）は、'H．２６５'及び'MPEG－H Part２'としても知られている効率的な動画圧縮規格である。HEIFは、HEVCに基づいており、デジタル画像及び画像シーケンスを記憶するためのファイルフォーマットである。
摘要
本実施形態は、例えば、ソーシャル画像アプリケーション及び画像管理システムで使用され得る論理情報を記憶するためのメカニズムを提供することによって、HEIFの現在のバージョンを改良する。各種態様は、方法、装置、及び内部に記憶されたコンピュータプログラムを含むコンピュータ可読媒体を含み、それらは、独立請求項で示されることを特徴とする。各種実施形態は、従属請求項で開示される。
第１の態様によると、方法が提供される。当該方法は、画像撮影手段から、複数のエンティティを含むビジュアルデータを受信することと、前記複数のエンティティのうちの少なくとも選択されたエンティティについて１つ以上のグルーピングタイプを決定するために前記ビジュアルデータを処理することと、前記１つ以上のグルーピングタイプをコンテナファイルフォーマットのメタデータとして記憶することであって、前記１つ以上のグルーピングタイプは、前記選択されたエンティティに対応付けられている、記憶することと、前記ビジュアルデータに対応付けてコンテナファイルに前記メタデータを含めることと、を含む。
第２の態様によると、装置が提供される。当該装置は、画像撮影手段から、複数のエンティティを含むビジュアルデータを受信する手段と、前記複数のエンティティのうちの少なくとも選択されたエンティティについて１つ以上のグルーピングタイプを決定するために前記ビジュアルデータを処理する手段と、前記１つ以上のグルーピングタイプをコンテナファイルフォーマットのメタデータとして記憶する手段であって、前記１つ以上のグルーピングタイプは、前記選択されたエンティティに対応付けられている、記憶する手段と、前記ビジュアルデータに対応付けてコンテナファイルに前記メタデータを含める手段と、を備える。
第３の態様によると、装置が提供される。当該装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリと、を備え、前記コンピュータプログラムコードは、命令を含む。当該命令は、前記プロセッサによって実行されると、前記装置に、画像撮影手段から、複数のエンティティを含むビジュアルデータを受信させ、前記複数のエンティティのうちの少なくとも選択されたエンティティについて１つ以上のグルーピングタイプを決定するために前記ビジュアルデータを処理させ、前記１つ以上のグルーピングタイプをコンテナファイルフォーマットのメタデータとして記憶させ、ここで、前記１つ以上のグルーピングタイプは、前記選択されたエンティティに対応付けられており、更に、前記ビジュアルデータに対応付けてコンテナファイルに前記メタデータを含ませる。
第４の態様によると、コンピュータプログラムコードを含むコンピュータプログラム製品が提供される。当該コンピュータプログラムコードは、少なくとも１つのプロセッサで実行されると、装置又はシステムに、画像撮影手段から、複数のエンティティを含むビジュアルデータを受信させ、前記複数のエンティティのうちの少なくとも選択されたエンティティについて１つ以上のグルーピングタイプを決定するために前記ビジュアルデータを処理させ、前記１つ以上のグルーピングタイプをコンテナファイルフォーマットのメタデータとして記憶させ、ここで、前記１つ以上のグルーピングタイプは、前記選択されたエンティティに対応付けられており、更に、前記ビジュアルデータに対応付けてコンテナファイルに前記メタデータを含ませるように構成されている。
実施形態によっては、前記複数のエンティティは、バースト画像、お気に入り、アルバム画像、画像集合、画像シーケンス、ビデオトラックで構成されている。
実施形態によっては、前記グルーピングタイプに関する情報が、前記コンテナファイルのメタデータとして記憶される。
実施形態によっては、同じグルーピングタイプを共有するように決定された前記複数のエンティティのうちの１つ以上のエンティティに対応付けられる記述的情報が、前記コンテナファイルのメタデータとして記憶される。
実施形態によっては、前記コンテナファイルフォーマットは、HEIF又はHEIF互換の記憶フォーマットである。
実施形態によっては、前記ビジュアルデータは、前記コンテナファイルフォーマットで前記１つ以上のグルーピングタイプと共に、送信された前記ビジュアルデータを解釈することができるレンダリングデバイス又はメディア処理システムに送信される。
以下、添付図面を参照して、各種実施形態をより詳細に記載する。
一実施形態に係る装置を示す。 一実施形態に係るコンテナの例を示し、このコンテナは、異なる論理グループの画像を含む。 コンテナファイルフォーマットの例を示す。 コンテナファイルフォーマットの一実施形態に係るメタデータボックスの例を示す。 一実施形態に係る方法を示すフローチャートである。
例示的な実施形態の説明
以下、HEIFフォーマット又はHEIF互換の記憶フォーマット（例えば、MPEG－４）などのISOベースメディアファイルフォーマット（ISOBMFF）の文脈で一部の実施形態を記載する。しかしながら、本実施形態の教示は、他のコンテナファイルフォーマットにも同様に適用され得るものと見込まれる。
図１は、一実施形態に係るデータ処理で使用されるのに好適なコンピュータシステムを示す。このコンピュータシステムの全体的な構造は、このシステムの機能ブロックに従って説明される。いくつかの機能は、単一の物理デバイスで実行可能であり、例えば、すべての計算手順は、必要があれば単一のプロセッサで実行可能である。図１の例に係る装置のデータ処理システムは、メイン処理ユニット１００と、メモリ１０２と、記憶デバイス１０４と、入力デバイス１０６と、出力デバイス１０８と、グラフィクスサブシステム１１０と、を備え、これらはすべてデータバス１１２を介して互いに接続されている。
メイン処理ユニット１００は、データ処理システム内でデータを処理するように配置された従来の処理ユニットである。メイン処理ユニット１００は、１つ以上のプロセッサもしくはプロセッサ回路を備え得るか、又は１つ以上のプロセッサもしくはプロセッサ回路として実装され得る。メモリ１０２、記憶デバイス１０４、入力デバイス１０６、及び出力デバイス１０８は、当業者によって認識されるような従来の構成要素を含み得る。メモリ１０２及び記憶デバイス１０４は、データ処理システム１００内のデータを記憶する。メモリ１０２内には、コンピュータプログラムコードがある。入力デバイス１０６は、システム内にデータを入力し、一方、出力デバイス１０８は、データ処理システムからデータを受信し、例えば、ディスプレイにそのデータを転送する。データバス１１２は、従来のデータバスであり、単一のラインとして示されているが、プロセッサバス、PCIバス、グラフィカルバス、ISAバスの任意の組合せであってもよい。したがって、当業者は、この装置が、コンピュータデバイス、パーソナルコンピュータ、サーバコンピュータ、携帯電話、スマートフォン、又はインターネットアクセスデバイス、例えば、インターネットタブレットコンピュータなどの任意のデータ処理デバイスであり得ることを容易に認識する。
異なる実施形態によって、異なる部分が異なる要素で実行可能になることが理解される必要がある。例えば、コンピュータシステムの各種プロセスは、１つ以上の処理デバイス、例えば、１つのコンピュータデバイスで完全に、又は１つのサーバデバイスで、もしくは複数のユーザデバイス間で実行され得る。
ISOBMFFのいくつかの概念、構造、及び仕様は、コンテナファイルフォーマットの例として以下に記載され、それに基づいて、各種実施形態が実装され得る。上述のように、本発明の諸態様は、ISOBMFFに限定されず、むしろ、１つの可能性のある基盤について説明されるが、本改良はこれに基づいて、部分的に又は完全に実現され得る。
ISOBMFFは、提示のための時間指定（timed）メディア情報、すなわち、メディアデータについてのタイミング、構造、及びメディア情報を含むファイルフォーマットである。ISOベースメディアファイルフォーマット内の基本構築ブロックは、ボックスと呼ばれる。ボックスは、特有の識別子（例えば、４文字コード（Four-Character Code：４CC））及び長さによって定義されるオブジェクト指向構築ブロックである。各ボックスは、ヘッダ及びペイロードを有する。ボックスヘッダは、ボックスのタイプ及びサイズ（バイト）を示す。あるボックスは、他の複数のボックスを取り込んでもよく、ISOファイルフォーマットは、特定のタイプのボックス内のどのボックスタイプが可能にされるかを規定する。更に、一部のボックスの存在は、各ファイルで必須であり得るが、一方、他のボックスの存在は、任意選択的であり得る。更に、一部のボックスタイプについて、ファイル内に複数のボックスを存在させることが許容可能であり得る。したがって、ISOベースメディアファイルフォーマットは、複数のボックスの階層構造を規定すると考えられ得る。
ファイルフォーマットのISOファミリーによると、１つのファイルは、ボックス内に組み込まれるメディアデータ及びメタデータを含む。
ISOベースメディアファイルフォーマットに準拠したファイルでは、メディアデータは、MediaDataBox'mdat'で提供され得、MovieBox'moov'がメタデータを取り込むために使用され得る。いくつかの場合、動作可能であるファイルについて、'mdat'及び'moov'ボックスの両方が存在するように要求され得る。ムービー'moov'ボックスは、１つ以上のトラックを含み得、各トラックは、１つの対応するTrackBox'trak'内にあり得る。トラックは、メディア圧縮フォーマット（及びISOベースメディアファイルフォーマットへのそのカプセル化）に従ってフォーマット化されたサンプルを指すメディアトラックを含む、多くのタイプのうちの１つであり得る。
ムービーフラグメントは、例えば、記録アプリケーションがクラッシュしたり、メモリスペースを使い切ったり、又は他の何らかのインシデントが生じる場合にデータを失うのを回避するために、例えば、ISOファイルにコンテンツを記録するときに使用され得る。ムービーフラグメントがなければ、すべてのメタデータ、例えば、MovieBoxがファイルの一続きのエリアに書き込まれることをファイルフォーマットが要求し得るため、データ損失が生じ得る。更に、ファイルを記録するとき、利用可能なストレージのサイズについてMovieBoxをバッファリングするのに十分な量のメモリスペース（例えば、ランダムアクセスメモリ（RAM））がない場合があり、ムービーが閉じられるときのMovieBoxのコンテンツの再計算は、あまりにも遅い場合がある。更に、ムービーフラグメントは、正規のISOファイルパーサーを使用して、ファイルの同時記録・再生を可能にし得る。更に、ムービーフラグメントが使用され、初期のMovieBoxが、同じメディアコンテンツを有するがムービーフラグメントなしで構造化されたファイルと比較してより小さい場合、プログレッシブダウンロード、例えば、ファイルの同時受信・再生のためにより短い時間の初期バッファリングが必要とされ得る。
ムービーフラグメントの特徴によって、そうでなければMovieBox内にあり続けるメタデータを複数のピースに分割することが可能となり得る。各ピースは、トラックの特定の期間に対応し得る。言い換えると、ムービーフラグメントの特徴によって、ファイルメタデータ及びメディアデータをインターリーブすることが可能となり得る。その結果、MovieBoxのサイズが制限され、上述の使用ケースが実現され得る。
一部の例では、ムービーフラグメントについてのメディアサンプルは、'moov'ボックスと同じファイルにある場合、'mdat'ボックス内にあり得る。しかしながら、ムービーフラグメントのメタデータについて、'moof'ボックスが提供され得る。'moof'ボックスは、以前は'moov'ボックスにあった特定の長さの再生時間についての情報を含み得る。'moov'ボックスは、依然としてそれ自体、有効なムービーを表し得るが、更に、ムービーフラグメントが同じファイル内に続くことを示す'mvex'ボックスを含み得る。ムービーフラグメントは、'moov'ボックスに対応付けられる提示を時間的に拡張し得る。
ムービーフラグメント内で、トラックごとにゼロから複数まで任意の場所を含むトラックフラグメントのセットがあり得る。このトラックフラグメントは、ゼロから複数のトラック実行まで任意の場所を含み得、そのドキュメントの各々は、当該トラックについてのサンプルの一続きの実行である。これらの構造内で、多くのフィールドが任意選択的であり、デフォルト設定とすることも可能である。'moof'ボックスに含まれ得るメタデータは、'moov'ボックスに含まれ得るメタデータのサブセットに限定され得、場合によっては異なる形でコード化され得る。'moof'ボックスに含まれ得るボックスに関する詳細は、ISOベースメディアファイルフォーマット仕様に規定されているものもある。独立型ムービーフラグメントは、ファイル順で連続する'moof'ボックス及び'mdat'ボックスからなるように定義され得る。ここで、'mdat'ボックスは、（'moof'ボックスがメタデータを提供する）ムービーフラグメントのサンプルを含み、他のムービーフラグメント（すなわち、他の'moof'ボックス）のサンプルを含まない。
トラックを互いに対応付けるためにトラック参照メカニズムが使用可能である。TrackReferenceBox（トラック参照ボックス）には、ボックス（複数可）が含まれ、その各々は、含有トラックから他のトラックのセットへの参照を提供する。これらの参照は、含有されたボックス（複数可）のボックスタイプ（すなわち、ボックスの４文字コード）を介してラベル付けされる。そのシンタックスは、以下のように規定され得る。
aligned(8) class TrackReferenceBox extends Box('tref') {
TrackReferenceTypeBox [];
}
aligned(8) class TrackReferenceTypeBox (unsigned int(32) reference_type) extends Box(reference_type) {
unsigned int(32) track_IDs[];
}
track_IDsは、参照されるトラックのトラック識別子、又は参照されるトラックグループのtrack_group_id値を提供する整数のアレイとして規定され得る。track_IDs[i]（iはtrack_IDs[]アレイについての有効なインデックスである）の各値は、含有トラックから、track_IDs[i]に等しいtrack_IDを有するトラック、又はtrack_IDs[i]に等しいtrack_group_id及び１に等しいTrackGroupTypeBoxのフラグフィールドの特定のビット（例えば、最下位ビット）の両方を有するトラックグループへの参照を提供する整数である。track_group_id値が参照されるとき、トラック参照は、特定のトラック参照タイプのセマンティックで特に述べられない限り、参照されたトラックグループの各トラックに個々に適用される。値０は、存在することが許可されない場合がある。
トラックグルーピングメカニズムは、トラックのグループの標示を可能にする。ここで、各グループは、特定の特徴を共有するか、又はグループ内のトラックは、特定の関係を有する。TrackGroupBoxは、TrackBoxに含まれ得る。TrackGroupBoxは、TrackGroupTypeBoxから導き出されるゼロ個以上のボックスを含む。上述の特定の特徴又は関係は、含有されたボックスのボックスタイプによって示される。含有されたボックスは、トラックが同じトラックグループに属することを結論付けるために使用できる識別子を含む。TrackGroupBox内の同じタイプの含有されたボックスを含み、これらの含有されたボックス内の同じ識別子値を有するトラックは、同じトラックグループに属する。
ISOベースメディアファイルフォーマットは、特定のサンプルに対応付けできる時間指定メタデータについての３つのメカニズムを含む。'サンプル'という用語は、単一のタイムスタンプを有するファイル内の任意のデータ、例えば、動画の個別フレーム、デコーディング順の一連の動画フレーム、デコーディング順の音声の圧縮されたセクションを指す。これらのメカニズムは、サンプルグループ、時間指定メタデータトラック、及びサンプル補助情報を含む。導き出された仕様は、これらの３つのメカニズムのうちの１つ以上による同様の機能を提供し得る。
ISOベースメディアファイルフォーマット及びその派生物におけるサンプルグルーピングは、グルーピング基準に基づいて、１つのサンプルグループのメンバーであるように、トラック内の各サンプルの割り当てと定義され得る。サンプルグルーピングにおけるサンプルグループは、一続きのサンプルであることに限定されず、隣接しないサンプルを含み得る。トラック内のサンプルについて複数のサンプルグルーピングがあり得るため、各サンプルグルーピングは、グルーピングのタイプを示すためにタイプフィールドを有し得る。サンプルグルーピングは、次の２つのリンクデータ構造によって表され得る。（１）SampleToGroupBox（sbgp）がサンプルグループへのサンプルの割り当てを表し、（２）SampleGroupDescriptionBox（sgpd）がそのグループのプロパティを記載する各サンプルグループについてのサンプルグループエントリーを含む。異なるグルーピング基準に基づくSampleToGroupBox及びSampleGroupDescriptionBoxの複数のインスタンスがあり得る。これらは、グルーピングのタイプを示すために使用されたタイプフィールドによって区別され得る。SampleToGroupBoxは、例えば、グルーピングのサブタイプを示すために使用され得るgrouping_type_parameterフィールドを含み得る。
HEIFは、広く使用されるISOベースメディアファイルフォーマット（ISOBMFF）の上で構築される豊富な特徴のセットを含み、これにより、他の画像ファイルフォーマットと比較して、HEIFは特徴に関して優れている。本開示では、'HEIF'、'ISOBMFF'、及び'ファイルフォーマット'という用語は、交換可能に使用され得る。
ISOBMFF構造及び特徴は、HEIFの設計において広範囲で使用される。HEIFについての基本設計は、静止画像がアイテムとして記憶され、画像シーケンスがトラックとして記憶されることを含む。HEIFは、同じコンテナファイルでの複数の画像及び画像シーケンスの記憶を可能にする。
HEIFのコンテキストでは、以下のボックスが、ルートレベル'meta'ボックス内に含まれ得、以下に説明されるように使用され得る（説明のために図４も参照）。HEIFでは、'meta'ボックスのHandlerBox（'hdlr'）のハンドラ値は'pict'である。（同じファイル内であろうと、URI（Uniform Resource Identifier）によって識別される外部ファイル内であろうと）コード化されたメディアデータを含むリソースは、DataInformationBox（'dinf'）を介して分解され、一方、ItemLocationBox（'iloc'）は、参照されたファイル内のすべてのアイテムの位置及びサイズを記憶する。ItemReferenceBox（'iref'）は、タイプによる（typed）参照を使用してアイテム間の関係を記録する。ある点で他のものと比較して最も重要であると考えられるアイテムの集合内でのアイテムがある場合、このアイテムは、PrimaryItemBox（'pitm'）によってシグナリングされる。ここで言及されるボックスとは別に、'meta'ボックスはまた、アイテムを記述するのに必要であり得る他のボックスを含むようにフレキシブルである。
任意の数の画像アイテムが、同じファイルに含まれ得る。'meta'ボックスアプローチを使用することによって記憶される画像の集合を考慮すると、画像間の特定の関係を適格とする必要があり得る。当該関係の例としては、ある集合についてのカバー画像を示すことと、その集合における画像の一部又はすべてについてのサムネイル画像を提供することと、ある集合における画像の一部又はすべてをアルファ面などの補助画像と対応付けることが挙げられる。画像の集合内のカバー画像は、'pitm'ボックスを使用して示される。サムネイル画像又は補助画像は、タイプ'thmb'又は'auxl'のアイテム参照をそれぞれ使用してプライマリ画像アイテムとリンクされる。
ItemPropertiesBox（'iprp'）は、アイテムプロパティの順序付けられたセットとの任意のアイテムの対応付けを可能にする。アイテムプロパティは、小さなデータ記録である。ItemPropertiesBox（'iprp'）は、２つの部分、すなわち、アイテムプロパティの黙示的にインデックスを設けられたリストを含むItemPropertyContainerBox'ipco'と、アイテムをアイテムプロパティと対応付ける１つ以上のItemPropertyAssociationBox（'ipma'）を含む。アイテムプロパティは、ボックスとしてフォーマット化される。
記述的なアイテムプロパティは、対応付けられたアイテムを変えるのではなく記述するアイテムプロパティと定義され得る。変形的なアイテムプロパティは、画像アイテムコンテンツの再構築された表示を変えるアイテムプロパティと定義され得る。
HEIF仕様では、'エンティティ'という用語は、画像アイテム又はメディアトラックを指すために使用される。当該エンティティは、EntityToGroupBoxを使用することによってグループ化できる。このボックスは、画像、画像シーケンス、及びビデオトラックのグルーピングを可能にする。エンティティグループは、GroupsListBoxで示される。例えば、ムービーレベルのMetaBoxのGroupsListBoxで規定されるエンティティグループがムービーレベルのアイテムを指し、ファイルレベルのMetaBoxのGroupsListBoxで規定されるエンティティグループがトラック又はファイルレベルのアイテムを指す。
GroupsListBoxは、EntityToGroupBox（複数可）を含み、その各々は、ファイルについて規定される１つのエンティティグループを規定する。
GroupsListBoxの定義は、以下を含む。
Box type（ボックスタイプ）：'grpl'
Container（コンテナ）：AdditionalMetadataContainerBoxに含まれないMetaBox（'meta'）
Mandatory（必須かどうか）：いいえ
Quantity（数量）：ゼロ又は１
EntityToGroupBoxの定義は、以下を含む。
Box type（ボックスタイプ）：EntityToGroupBoxについてのgrouping_type値で以下に規定されるとおり
Container（コンテナ）：GroupsListBox
Mandatory（必須かどうか）：いいえ
Quantity（数量）：ゼロ又はなし
EntityToGroupBoxは、エンティティグループを規定する。ボックスタイプ（grouping_type）は、エンティティグループのグルーピングタイプを示す。各grouping_typeコードは、そのグルーピングを記載するセマンティクスに対応付けられる。
以下のgrouping_type値は、HEIF又はISOBMFFで規定される。
・ 'altr'：このグルーピングにマッピングされるアイテム及びトラックは、互いに代替であり、それらのうちの１つのみが、他の手段によって再生又は処理されるべきである。
・ 'ster'：画像アイテムの出力画像は、立体的なディスプレイ上に表示するのに好適なステレオペアを形成する。
アイテムプロパティ及びエンティティグルーピングはまず、HEIFで規定されたが、後にISOBMFFにも含まれている。
URIは、リソースの名前を識別するために使用される文字の文字列と定義され得る。当該識別は、特定のプロトコルを使用して、ネットワーク上のリソースの表示との相互作用を可能にする。URIは、URIについての具体的なシンタックス及び対応付けられたプロトコルを規定するスキームを介して定義される。URIは、（例えば、URIについてのプロトコルを識別する）スキームパート、及びリソースを識別する階層パートを含み、これら２つのパートは、コロン文字によって分離される。URIは、任意選択的に、（文字'？'によって分離される）クエリパート及び／又は（文字'＃'によって分離される）フラグメントパートを含み得る。URL（Uniform Resource Locator）及びURN（Uniform Resource Name）は、それぞれURIの一形式である。URLは、ウェブリソースを識別し、リソースの表示で機能する手段又はリソースの表示を取得する手段を規定し、そのプライマリアクセスメカニズム及びネットワーク場所の両方を規定する、URIと定義され得る。URNは、特定の名前空間内の名前によってリソースを識別するURIと定義され得る。URNは、リソースの場所又はリソースにアクセスする方法を示すことなくリソースを識別するために使用され得る。
（URL形式とも称され得る）URLフラグメント識別子は、（フラグメント識別子なしで）URLのベースパートによって示される、ファイルなどのリソースの一部にアクセスするための特定のコンテンツタイプについて規定され得る。URLフラグメント識別子は、例えば、URL内のハッシュ（'＃'）文字によって識別され得る。ISOBMFFについて、URLフラグメント'#X'は、Xに等しいtrack_IDを有するトラックを指し、'#item_ID='及び'#item_name='は、ファイルレベルのMetaBoxを指し、'#/item_ID='及び'#/item_name='は、MovieBox内のメタボックスを指し、'#track_ID=X/item_ID='及び'#track_ID=X/item_name='は、Xに等しいtrack_IDを有するトラック内のMetaBoxを指し、ムービーフラグメントにおいて潜在的に見出されるMetaBoxを含むことが規定され得る。
HEIFの現在のバージョンは、論理的な方法でエンティティを一緒にグルーピングする手段、ならびに例えば、以下の広く使用される特徴の記憶及びシグナリングをサポートする手段を欠いている。
１）複数の画像及びビデオトラックで構成されたアルバム
２）画像タギング
３）お気に入り
当該論理情報を記憶するためのメカニズムの欠如は、既存のソーシャル画像アプリケーション及び画像管理システムと比較すると、HEIFフォーマットのユーザビリティに悪影響を及ぼす。
本実施形態は、論理グルーピング及び１つのコンテナでの当該グルーピングに関する情報のシグナリングを可能にする。一部の実施形態によると、コンテンツを適切に解釈、表示、及びレンダリングするか、又はそれに従ってユーザインタラクションを提供するために必要とされるセマンティクスを提供する新しいグルーピングタイプ及びルールが定義される。一部の実施形態によると、新しい記述的アイテムプロパティが、画像及び画像シーケンスがどのように論理的に互いに関連付けられるかを示すためにメタデータを搬送する。本実施形態によって、HEIFが同じコンテナに画像、画像シーケンス（複数可）、及び／又はメディアトラック（複数可）に関するすべての関連情報を維持する見込みが高まる。これは、このソリューションの結果として、他の何らかの形式でファイルフォーマットの外側に当該情報を搬送する必要がないためである。
HEIFファイルフォーマットについての新しい定義及び制約は、画像及び画像シーケンスの記憶用である。以下のアプローチの各々について、別々の実施形態が提示される。
１．LogicalEntityToGroupBox
２．LogicalGroupProperty
３．TagProperty
４．論理グループ及び／又はタグについてのURLフラグメントスキーム
５．論理グループ及び／又はタグについてのURLクエリ文字列
特定のシンタックスを参照して、実施形態が以下に提示される。提示されたシンタックスは、本発明を実現する単なる例であり、代わりのシンタックスによっても実施形態が同様に形成され得ることが理解される必要がある。例えば、グルーピングタイプに関する情報は、以下のシンタックス及び同様の実施形態において以下のうちの１つ以上を含み得るが、これらに限定されない。
・ 列挙された論理グルーピングタイプ値
・ グループ名のテキスト文字列
・ グループ記述のテキスト文字列
・ グループを記述するゼロ個以上のテキストタグ
・ 前記アイテムのうちの１つ以上ごとの情報のアルゴリズム又はプロバイダの識別子（例えば、URN又はUUID（Universally Unique Identifier））
新しい定義及び制約についての先に提示された実施形態の各々を、以下でより詳細に説明する。詳細な説明は、各ボックスの定義、シンタックス、及びセマンティクスに関する情報を提供する。
１．LogicalEntityToGroupBox
定義：
Box type（ボックスタイプ）：'lgrp'
Container（コンテナ）：GroupsListBox
Mandatory（必須かどうか）（アイテム毎に）：いいえ
Quantity（数量）（アイテム毎に）：ゼロ以上
シンタックス：
aligned(8) class LogicalEntityToGroupBox
extends EntityToGroupBox('lgrp', version = 0, flags = 0) {
unsigned int(16) logical_group_type
utf8string group_name;
utf8string group_description;
utf8string group_tags;
}
LogicalEntityToGroupBoxは、複数のエンティティをグルーピングするための追加のメタデータを提供するためにEntityToGroupBoxを拡張する。
Logical_group_typeは、グルーピングのタイプを示す符号なし整数である。論理グルーピングタイプは、以下を含み得るが、それに限定されない。
０：定義されない
１：アルバム
２：お気に入り
３：＜他の追加のタイプ＞
group_nameは、エンティティの論理グループについての人間可読名を含むヌル終端文字列である。
group_descriptionは、エンティティの論理グループの人間可読記述を含むヌル終端文字列である。
group_tagsは、十分にフォーマット化されたペイロードであり得る論理グループに関する任意の追加の情報を含むヌル終端文字列である。
ボックス内でリストされるアイテム及びトラックは、定義されたlogical_group_typeの下、論理的に一緒にリンクされる。同じlogical_group_typeの多くのインスタンスがあり得る。例えば、同じ画像が複数のアルバムに属し得る。
使用の例は、image_1、image_2、image_3、image_4のIDを有する４つの画像アイテムを有するHEIFファイルを参照して提示される。この例では、２つのアルバム定義及び１つのお気に入り画像定義がある。

LogicalEntityToGroupBox（'lgrp'）
{item_ids=(image_1, image_2), logical_group_type=1, group_name="１日目", group_description="その日の山の写真", group_tags="山、日の出、鳥、湖"}

LogicalEntityToGroupBox（'lgrp'）
{item_ids=(image_3, image_4), logical_group_type=1, group_name="２日目", group_description="その日の海岸の写真", group_tags="海、海岸、船、水泳"}

LogicalEntityToGroupBox（'lgrp'）
{item_ids=(image_1, image_4), logical_group_type=2, group_name="２日目", group_description="２日間の旅行のお気に入りの写真", group_tags="海、山、水泳"
前記の例に示され得るように、画像アイテムは、複数の論理グループに存在し得る。
２．LogicalGroupProperty
エンティティグルーピングの代わりとして、LogicalGroupPropertyを定義し、それを適切なアイテムにリンクさせることも可能である。
定義：
Box type（ボックスタイプ）：'lgrp'
Property type（プロパティタイプ）：記述的アイテムプロパティ
Container（コンテナ）：ItemPropertyContainerBox
Mandatory（必須かどうか）（アイテム毎に）：いいえ
Quantity（数量）（アイテム毎に）：ゼロ以上
シンタックス：
aligned(8) class LogicalGroupProperty
extends ItemFullProperty('lgrp', version = 0, flags = 0) {
unsigned int(16) logical_group_type;
utf8string group_name;
utf8string group_description;
utf8string group_tags;
}
フィールドのセマンティクスは、LogicalEntityToGroupBoxと同じである。
group_nameは、エンティティの論理グループについての人間可読名を含むヌル終端文字列である。
group_descriptionは、エンティティの論理グループの人間可読記述を含むヌル終端文字列である。
group_tagsは、十分にフォーマット化されたペイロードであり得る論理グループに関する任意の追加の情報を含むヌル終端文字列である。
LogicalGroupPropertyは、ItemPropertyAssociationBoxを利用することによって、関連画像アイテムに対応付けられ得る。そのシンタックスは、以下に提示される。
aligned(8) class ItemPropertyAssociation
extends FullBox('ipma', version, flags)
{
unsigned int(32) entry_count;
for(i = 0; i < entry_count; i++) {
if (version < 1)
unsigned int(16) item_ID;
else
unsigned int(32) item_ID;
unsigned int(8) association_count;
for (i=0; i<association_count; i++) {
bit(1) essential;
if (flags & 1)
unsigned int(15) property_index;
else
unsigned int(7) property_index;
}
}
}
ItemPropertyAssociationがitem_ids及びトラックIDの両方を有し得るようにHEIF仕様が拡張されない限り、このメカニズムが利用されるとき、トラックは、論理グループにリンクされることが可能でなくてもよいことに留意されたい。これは、ItemPropertyAssociationBoxの新しいバージョンを定義することによって行われ得る。ここで、item_IDは、entity_IDによって置き換えられ、entity_IDは、EntityToGroupBoxで定義されるように定義される。しかしながら、これは、ファイル後方互換性により、好ましいアプローチではない場合がある。したがって、LogicalEntityToGroupBoxを利用することがより有利である。
３．TagProperty
前記で表される実施形態（１）及び（２）はまた、group_tagsシンタックス要素なしで実現され得る。本セクションにおける実施形態は、前記の実施形態（特に、group_tagsが存在しない場合）を用いて、又は前記の実施形態から独立して使用できる。タグ'記述的アイテムプロパティ'は、本実施形態で規定される。同じタグアイテムプロパティに対応付けられる画像アイテムは、そのタグを特徴とする論理グループに属すると見なされる。
定義：
Box type（ボックスタイプ）：'ttag'
Property type（プロパティタイプ）：記述的アイテムプロパティ
Container（コンテナ）：ItemPropertyContainerBox
Mandatory（必須かどうか）（アイテム毎に）：いいえ
Quantity（数量）（アイテム毎に）：ゼロ以上
シンタックス：
aligned(8) class TagProperty
extends ItemFullProperty('ttag', version = 0, flags = 0) {
utf8string textual_tag;
// textual_tag又はフラグの値に応じて他のシンタックス要素が存在し得る。
//他のシンタックス要素を解析できないパーサーは該他のシンタックス要素を省略する。
}
textual_tagは、対応付けられた画像アイテム（複数可）を特徴とする単一のテキストタグを規定する。TagPropertyは、ItemPropertyAssociationBoxを利用することによって、関連画像アイテムに対応付けられ得る。そのシンタックスは、前記'２．LogicalGroupProperty'で記述されている。
アイテムプロパティは、画像アイテムに特有であるため、同等のLogicalGroupProperty及び／又はTagPropertyであるトラック特有のメカニズムを有することが有用であり得る。一実施形態では、トラック特有のボックスは、LogicalGroupProperty及び／又はTagPropertyに含まれるものと同様の情報を含む。例えば、タイプ'lgrp'及び／又は'ttag'を有するトラックグループが規定され得、これらの４CCについてのTrackGroupTypeBoxは、LogicalGroupProperty及び／又はTagPropertyそれぞれのペイロードと同様のシンタックス要素を含むように拡張され得る。
４．論理グループ及び／又はタグについてのURLフラグメントスキーム
一実施形態では、URLフラグメントスキーム（複数可）が、特定の論理グループ及び／又は特定のタグの画像アイテムを識別するために規定される。
当該URLフラグメントスキームの例を以下に示す。
・ #item_group=<group_name>
与えられたグループ名を有するエンティティを識別する。
・ #item_tag=<textual_tag>
与えられたテキストタグを有するエンティティを識別する。
・ #item_property=<property_4cc>.<base64_encoding_of_property_content>
与えられた４文字コードのプロパティ、及びそのプロパティについての与えられたコンテンツに対応付けられるアイテムを識別する。ここで、コンテンツは、URLフラグメントにBase６４エンコードされる。
・ #textual_item_property=<property_4cc>.<utf8_string_of_property_content>
与えられた４文字コードのプロパティ、及びそのプロパティについての与えられたコンテンツに対応付けられるアイテムを識別する。ここで、コンテンツは、URLフラグメント内のUTF８文字列である。
当該URLフラグメント識別子（複数可）が、HEIFファイルを識別するURLで使用されるとき、URLは、フラグメント識別子について与えられる値（複数可）と一致するHEIFファイルのアイテムに分解されるべきである。
５．論理グループ及び／又はタグについてのURLクエリ文字列
一実施形態では、URLフラグメントスキーム（複数可）が、特定の論理グループ及び／又は特定のタグの画像アイテムを識別するために規定される。
当該URLクエリ文字列の例としては、以下が挙げられる。
・ ?item_group=<group_name>
・ ?item_tag=<textual_tag>
・ ?item_property=<property_4cc>.<base64_encoding_of_property_content>
・ ?textual_item_property=<property_4cc>.<utf8_string_of_property_content>
セマンティクスは、それぞれのURLフラグメントスキームが上述される方法と同様に規定される。
当該URLクエリ文字列が要求されたURLで使用されるとき、URLは、クエリ文字列で与えられる値と一致する画像アイテムを含むHEIFファイルが当該要求に応じて含まれるように分解されるべきである。
一実施形態では、ファイルパーサーなどがインターフェースを有し、それによって、グルーピングタイプに関する情報をファイルパーサーなどに通すことができる。ファイルパーサーなどは、与えられた情報と一致するエンティティを処理することによって、グルーピングタイプに関する情報を処理する。例えば、ファイルパーサーは、グルーピングタイプに関する与えられた情報と一致するエンティティのみをデコード及び／又は返し得る。一実施形態では、インターフェースは、例えば、前記の実施形態で規定されるように、URLフラグメント及び／又はURLクエリ文字列を含む。
図２は、上述の'１．LogicalEntityToGroupBox'で定義されるように異なる論理グループの画像２２０を有する画像コンテナファイル２１０の例を示す。画像２２０は、id＝１、id＝２、id＝３、及びid＝４を有する画像アイテムを含む。アルバムグルーピング１は、id＝１、id＝２を有する画像を一緒にグループ化し、アルバムグルーピング２は、id＝３、id＝４を有する画像を一緒にグループ化し、お気に入りグルーピングは、id＝１、id＝４を有する画像を一緒にグループ化する。
図３は、ビジュアルデータを記憶するためのコンテナファイル３００の略図である。図３に示され、この段落に説明されているコンテナファイル３００のボックスは、コンテナファイルの一例を形成する。したがって、ボックスの量及びタイプは、実際の実施態様で変わり得ることが理解されるべきある。この例のコンテナファイル３００は、ファイルのタイプを記述するためにFileTypeBox'ftyp'を含む。コンテナファイル３００のMetaBox'meta'は、メタデータ、単一の画像、及び導き出された画像に関する情報を含む。MovieBox'moov'は、複数のTrackBox'trak'を有する画像シーケンスを含む。コンテナファイル３００は、ペイロード画像データを記憶するために複数のMediaDataBox'mdat'を更に含み得る。本実施形態で説明されるグルーピング定義は、図４を参照して更に説明されるMetaBox'meta'３１０内に記憶される。
図４は、本説明で先に記載されたようにボックス'hdlr'、'dinf'、'iloc'、'iref'、'pitm'を含むMetaBox'meta'３１０の例を示す。更に、MetaBox３１０は、本実施形態が関連付けられるGroupsListBox'grpl'及びItemPropertiesBox'iprp'を含む。本実施形態に係るGroupsListBoxは、画像などのエンティティの論理グルーピングに関する情報を記憶するLogicalEntityToGroupBox'lgrp'４２０を含む。GroupsListBoxの'lgrp'４２０の代わりに、又はそれに加えて、論理グルーピングは、LogicalEntityToGroupBox'lgrp'４３０としてのItemPropertyContainerBox'ipco'内の適切なエンティティへのリンクと定義され得る。本実施形態に係るItemPropertyContainerBox'ipco'は、タグに対応付けられるグループ化されたエンティティについての共有されたテキストタグを示すためにDescriptiveItemPropertyBox'ttag'４４０を更に含み得る。
図５は、一実施形態に係る方法を示すフローチャートである。本実施形態の方法は、画像撮影手段から、複数のエンティティを含むビジュアルデータを受信すること５１０と、前記複数のエンティティのうちの少なくとも選択されたエンティティについて１つ以上のグルーピングタイプを決定するためにビジュアルデータを処理すること５２０と、前記１つ以上のグルーピングタイプをコンテナファイルフォーマットのメタデータとして記憶すること５３０であって、前記１つ以上のグルーピングタイプは、前記選択されたエンティティに対応付けられている、記憶すること５３０と、前記ビジュアルデータに対応付けてコンテナファイルに前記メタデータを含めること５４０と、を含む。
一実施形態では、画像撮影手段からビジュアルデータを受信するのではなく、ビジュアルデータは、通信リンク及び／又は画像共有サービスなどから、他の手段によって受信されてもよい。
一実施形態では、１つ以上のグルーピングタイプを決定するために、ビジュアルデータを処理するのではなく、又はビジュアルデータを処理するのに加えて、グルーピングタイプの少なくともサブセットが、他の手段によって受信されてもよい。当該他の手段は、ユーザ入力、ならびに通信リンク及び／又は画像共有サービスからグルーピングタイプを受信することを含み得るが、これらに限定されない。
一実施形態に係る装置は、画像撮影手段から、複数のエンティティを含むビジュアルデータを受信する手段と、前記複数のエンティティのうちの少なくとも選択されたエンティティについて１つ以上のグルーピングタイプを決定するためにビジュアルデータを処理する手段と、前記１つ以上のグルーピングタイプをコンテナファイルフォーマットのメタデータとして記憶する手段であって、前記１つ以上のグルーピングタイプは、前記選択されたエンティティに対応付けられている、記憶する手段と、前記ビジュアルデータに対応付けてコンテナファイルに前記メタデータを含める手段と、を備える。
各種実施形態は、メモリ内にあり、かつ関連装置に前記方法を実行させるコンピュータプログラムコードを利用して実施可能である。例えば、デバイスが、データを処理、受信、及び送信するための回路及び電子機器と、メモリ内のコンピュータプログラムコードと、前記コンピュータプログラムコードを実行しているときに、前記デバイスに一実施形態の特徴を実行させるプロセッサと、を備え得る。また更に、サーバのようなネットワークデバイスが、データを処理、受信、及び送信するための回路及び電子機器と、メモリ内のコンピュータプログラムコードと、前記コンピュータプログラムコードを実行しているときに、前記ネットワークデバイスに一実施形態の特徴を実行させるプロセッサと、を備え得る。前記コンピュータプログラムコードは、１つ以上の動作特性を含む。これらの動作特性は、前記プロセッサのタイプに基づいて前記コンピュータによって構成を介して定義されており、システムがバスを介して前記プロセッサに接続可能であり、このシステムのプログラム可能な動作特性は、画像撮影手段から、複数のエンティティを含むビジュアルデータを受信することと、前記複数のエンティティのうちの少なくとも選択されたエンティティについて１つ以上のグルーピングタイプを決定するためにビジュアルデータを処理することと、前記１つ以上のグルーピングタイプをコンテナファイルフォーマットのメタデータとして記憶することであって、前記１つ以上のグルーピングタイプは、前記選択されたエンティティに対応付けられている、記憶することと、前記ビジュアルデータに対応付けてコンテナファイルに前記メタデータを含めることと、を含む。
必要があれば、本明細書で説明された異なる機能が、異なる順序及び／又は他と同時に実行され得る。更に、必要があれば、上述の機能及び実施形態のうちの１つ以上は、任意選択的であってもよく、又は組み合わされてもよい。
本実施形態は、利点を有する。例えば、実施形態は、画像及びビデオトラックのグルーピングを可能にする。エンティティグルーピングメカニズムを利用することによって、アイテムの論理グループを生成し得る。当該グループは、ファイル自体への最小限の介入で容易に生成及び修正可能である。
実施形態の様々な態様は、独立請求項で述べられているが、他の態様は、請求項で明示的に述べられる組合せのみではなく、記載された実施形態及び／又は独立請求項の特徴を有する従属請求項からの特徴の他の組合せを含む。
上記は、例示的な実施形態を記載しているが、これらの説明は、限定する意味で考えられるべきでないことも本明細書で留意されたい。むしろ、いくつかの変形及び修正があり、それらは、添付の請求項で定義される本開示の範囲から逸脱することなく行われ得る。

Claims (14)

  1. 画像撮影手段から、複数のエンティティを含むビジュアルデータを受信することと、
    前記複数のエンティティのうちの少なくとも選択されたエンティティについて１つ以上のグルーピングタイプを決定するために前記ビジュアルデータを処理することと、
    前記１つ以上のグルーピングタイプをコンテナファイルフォーマットのメタデータとして記憶することであって、前記１つ以上のグルーピングタイプは、前記選択されたエンティティに対応付けられている、記憶することと、
    前記ビジュアルデータに対応付けてコンテナファイルに前記メタデータを含めることと、
    を含む方法。
  2. 前記複数のエンティティは、バースト画像、お気に入り、アルバム画像、画像集合、画像シーケンス、ビデオトラックで構成されている、請求項１に記載の方法。
  3. 前記グルーピングタイプに関する情報を前記コンテナファイルのメタデータとして記憶することを更に含む、請求項１又は２に記載の方法。
  4. 前記コンテナファイルのメタデータとして、同じグルーピングタイプを共有するように決定された前記複数のエンティティのうちの１つ以上のエンティティに対応付けて記述的情報を記憶することを更に含む、請求項１又は３に記載の方法。
  5. 前記コンテナファイルフォーマットは、HEIF（High Efficiency Image File Format）又はHEIF互換の記憶フォーマットである、請求項１から４のいずれかに記載の方法。
  6. 前記コンテナファイルフォーマットで前記ビジュアルデータを前記１つ以上のグルーピングタイプと共に、送信された前記ビジュアルデータを解釈することができるレンダリングデバイス又はメディア処理システムに送信することを更に含む、請求項１から５のいずれかに記載の方法。
  7. 画像撮影手段から、複数のエンティティを含むビジュアルデータを受信する手段と、
    前記複数のエンティティのうちの少なくとも選択されたエンティティについて１つ以上のグルーピングタイプを決定するために前記ビジュアルデータを処理する手段と、
    前記１つ以上のグルーピングタイプをコンテナファイルフォーマットのメタデータとして記憶する手段であって、前記１つ以上のグルーピングタイプは、前記選択されたエンティティに対応付けられている、記憶する手段と、
    前記ビジュアルデータに対応付けてコンテナファイルに前記メタデータを含める手段と、
    を備える装置。
  8. 前記複数のエンティティは、バースト画像、お気に入り、アルバム画像、画像集合、画像シーケンス、ビデオトラックで構成されている、請求項７に記載の装置。
  9. 前記グルーピングタイプに関する情報を前記コンテナファイルのメタデータとして記憶する手段を更に備える、請求項７又は８に記載の装置。
  10. 前記コンテナファイルのメタデータとして、同じグルーピングタイプを共有するように決定された前記複数のエンティティのうちの１つ以上のエンティティに対応付けて記述的情報を記憶する手段を更に備える、請求項７又は８に記載の装置。
  11. 前記コンテナファイルフォーマットは、HEIF（High Efficiency Image File Format）又はHEIF互換の記憶フォーマットである、請求項７から１０のいずれかに記載の装置。
  12. 前記コンテナファイルフォーマットで前記ビジュアルデータを前記１つ以上のグルーピングタイプと共に、送信された記ビジュアルデータを解釈することができるレンダリングデバイス又はメディア処理システムに送信する手段を更に含む、請求項７から１１のいずれかに記載の装置。
  13. 少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリと、を更に備える、請求項７から１２のいずれかに記載の装置。
  14. 少なくとも１つのプロセッサで実行されると、装置又はシステムに、
    ・ 画像撮影手段から、複数のエンティティを含むビジュアルデータを受信させ、
    ・ 前記複数のエンティティのうちの少なくとも選択されたエンティティについて１つ以上のグルーピングタイプを決定するために前記ビジュアルデータを処理させ、
    ・ 前記１つ以上のグルーピングタイプをコンテナファイルフォーマットのメタデータとして記憶させ、ここで、前記１つ以上のグルーピングタイプは、前記選択されたエンティティに対応付けられており、更に、
    ・ 前記ビジュアルデータに対応付けてコンテナファイルに前記メタデータを含ませる
    ように構成された、コンピュータプログラムコードを含む、コンピュータプログラム製品。
JP2021531473A 2018-12-10 2019-11-20 コンテナファイルフォーマットで情報をシグナリングするための装置及び方法 Active JP7391963B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20186063 2018-12-10
FI20186063 2018-12-10
PCT/FI2019/050829 WO2020120833A1 (en) 2018-12-10 2019-11-20 An apparatus and a method for signaling information in a container file format

Publications (2)

Publication Number Publication Date
JP2022510366A true JP2022510366A (ja) 2022-01-26
JP7391963B2 JP7391963B2 (ja) 2023-12-05

Family

ID=71075948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021531473A Active JP7391963B2 (ja) 2018-12-10 2019-11-20 コンテナファイルフォーマットで情報をシグナリングするための装置及び方法

Country Status (6)

Country Link
US (1) US20220007088A1 (ja)
EP (1) EP3895438A4 (ja)
JP (1) JP7391963B2 (ja)
KR (1) KR20210101280A (ja)
CN (1) CN113170236A (ja)
WO (1) WO2020120833A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11930295B2 (en) 2020-09-17 2024-03-12 Lemon Inc. Handling of non-VCL NAL units in picture unit construction
US11871143B2 (en) 2020-09-17 2024-01-09 Lemon Inc. Subpicture tracks in coded video
CN115883871A (zh) * 2021-08-23 2023-03-31 腾讯科技（深圳）有限公司 媒体文件封装与解封装方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018510546A (ja) * 2015-02-11 2018-04-12 クアルコム，インコーポレイテッド ファイルフォーマットにおけるサンプルグルーピングシグナリング
US20180146225A1 (en) * 2015-06-03 2018-05-24 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
JP2018513574A (ja) * 2015-02-10 2018-05-24 ノキア テクノロジーズ オサケユイチア 画像シーケンストラックを処理する方法、装置、及びコンピュータプログラムプロダクト
JP2018522469A (ja) * 2015-06-16 2018-08-09 キヤノン株式会社 画像データカプセル化

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101611630A (zh) * 2006-10-17 2009-12-23 韩国电子通信研究院 数字多媒体广播内容的组合文件格式、处理该格式的数字多媒体广播内容的方法和装置
US11290510B2 (en) * 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
US20140282099A1 (en) * 2013-03-14 2014-09-18 Apple Inc. Retrieval, identification, and presentation of media
WO2017098496A1 (en) * 2015-12-09 2017-06-15 Playbuzz Ltd. Systems and methods for playing videos
EP3718025A1 (en) * 2017-11-28 2020-10-07 Soyarslan, Osman Levent Superimposed communication by object oriented resource manipulation on a data network
KR102465188B1 (ko) * 2018-04-05 2022-11-10 캐논 가부시끼가이샤 이미지를 파일에 캡슐화하기 위한 방법 및 장치
GB2575288B (en) * 2018-07-04 2022-05-25 Canon Kk Method and apparatus for encapsulating images or sequences of images with proprietary information in a file
WO2020070196A1 (en) * 2018-10-02 2020-04-09 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and decoding pictures based on tile group id
US11093387B1 (en) * 2018-10-26 2021-08-17 EMC IP Holding Company LLC Garbage collection based on transmission object models
US11317020B1 (en) * 2019-12-06 2022-04-26 Gopro, Inc. Generating time-lapse videos with audio

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513574A (ja) * 2015-02-10 2018-05-24 ノキア テクノロジーズ オサケユイチア 画像シーケンストラックを処理する方法、装置、及びコンピュータプログラムプロダクト
JP2018510546A (ja) * 2015-02-11 2018-04-12 クアルコム，インコーポレイテッド ファイルフォーマットにおけるサンプルグルーピングシグナリング
US20180146225A1 (en) * 2015-06-03 2018-05-24 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
JP2018522469A (ja) * 2015-06-16 2018-08-09 キヤノン株式会社 画像データカプセル化

Also Published As

Publication number Publication date
KR20210101280A (ko) 2021-08-18
EP3895438A4 (en) 2022-07-20
CN113170236A (zh) 2021-07-23
EP3895438A1 (en) 2021-10-20
JP7391963B2 (ja) 2023-12-05
US20220007088A1 (en) 2022-01-06
WO2020120833A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
KR102125162B1 (ko) 미디어 캡슐화 및 캡슐 해제 기법
JP6903606B2 (ja) コンテンツの送受信方法及び装置
KR101897945B1 (ko) 서브 트랙 피처를 이용하여 분할된 시간 설정형 미디어 데이터를 캡슐화하는 방법, 디바이스 및 컴퓨터 프로그램
KR101800561B1 (ko) 코딩 종속성들에 대한 일반 시그널링을 이용하여 분할된 시간 설정형 미디어 데이터를 캡슐화하는 방법, 디바이스 및 컴퓨터 프로그램
KR102254414B1 (ko) 시간 설정형 미디어 데이터를 캡슐화하고 파싱하기 위한 방법, 디바이스, 및 컴퓨터 프로그램
JP7391963B2 (ja) コンテナファイルフォーマットで情報をシグナリングするための装置及び方法
US20120233345A1 (en) Method and apparatus for adaptive streaming
MX2011007388A (es) Multiples sistemas de proteccion de contenido en un archivo.
JP7249413B2 (ja) カプセル化メディアコンテンツの部分の送信を最適化する方法、装置及びコンピュータプログラム
JP2008136204A (ja) ＦｌｅｘＭｕｘストリームをストリーム形成、受信及び処理する装置及び方法
JP6352931B2 (ja) ハイブリッドネットワークにおけるマルチメディアデータを送受信するための装置及びその方法
CN113170239A (zh) 将媒体数据封装到媒体文件的方法、装置和计算机程序
JP2013532441A (ja) 符号化マルチコンポーネント・ビデオをカプセル化する方法および装置
US9998768B1 (en) Apparatus and methods for generating clips using recipes with slice definitions
US11403804B2 (en) Method for real time texture adaptation
US20220309035A1 (en) File processing device, file processing method, and program
CN106339362A (zh) 一种档案信息包大文件封装、解析查看方法与系统
KR20220069970A (ko) 미디어 데이터를 미디어 파일로 캡슐화하기 위한 방법, 디바이스, 및 컴퓨터 프로그램
CN103098485A (zh) 封装编码的多组成视频的方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220912

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221209

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231122

R150 Certificate of patent or registration of utility model

Ref document number: 7391963

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150