JP2021521676A - 仮想現実アプリケーションにおいて特定のメッセージをシグナリングするためのシステム及び方法 - Google Patents

仮想現実アプリケーションにおいて特定のメッセージをシグナリングするためのシステム及び方法 Download PDF

Info

Publication number
JP2021521676A
JP2021521676A JP2020554917A JP2020554917A JP2021521676A JP 2021521676 A JP2021521676 A JP 2021521676A JP 2020554917 A JP2020554917 A JP 2020554917A JP 2020554917 A JP2020554917 A JP 2020554917A JP 2021521676 A JP2021521676 A JP 2021521676A
Authority
JP
Japan
Prior art keywords
video
data
media
application
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020554917A
Other languages
English (en)
Inventor
サーチン ジー. デシュパンダ
サーチン ジー. デシュパンダ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2021521676A publication Critical patent/JP2021521676A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

音声情報を示すアプリケーション固有メッセージは、アプリケーション固有メッセージタイプを定義するシンタックス要素の値に基づいて、シンタックス要素を条件付きでシグナリングされる。(表1の‘0x06’、及び表4の「if(app_message_type==0x06)」を参照されたい。)

Description

本開示は、対話型ビデオ配布の分野に関し、より具体的には、仮想現実アプリケーションにおいてアプリケーション固有メッセージをシグナリングする技術に関する。
背景技術
デジタルメディア再生機能は、いわゆる「スマート」テレビを含むデジタルテレビ、セットトップボックス、ラップトップ又はデスクトップコンピュータ、タブレット型コンピュータ、デジタル記録デバイス、デジタルメディアプレイヤ、ビデオゲーミングデバイス、いわゆる「スマート」フォンを含む携帯電話、専用ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込むことができる。デジタルメディアコンテンツ(例えば、ビデオ及び音声プログラム)は、例えば、無線テレビプロバイダ、衛星テレビプロバイダ、ケーブルテレビプロバイダ、いわゆるストリーミングサービスプロバイダを含むオンラインメディアサービスプロバイダなどの複数のソースから送信することができる。デジタルメディアコンテンツは、インターネットプロトコル(Internet Protocol、IP)ネットワークなどの双方向ネットワーク及びデジタル放送ネットワークなどの単方向ネットワークを含むパケット交換ネットワークで配信され得る。
デジタルメディアコンテンツに含まれるデジタルビデオは、ビデオ符号化規格に従って符号化することができる。ビデオ符号化規格は、ビデオ圧縮技術を組み込むことができる。ビデオ符号化規格の例としては、ISO/IEC MPEG−4 Visual及びITU−T H.264(ISO/IEC MPEG−4 AVCとしても公知である)並びにHigh−Efficiency Video Coding(HEVC)が挙げられる。ビデオ圧縮技術は、ビデオデータを記憶し送信するためのデータ要件を低減することを可能にする。ビデオ圧縮技術は、ビデオ系列における固有の冗長性を利用することにより、データ要件を低減することができる。ビデオ圧縮技術は、ビデオ系列を連続的により小さな部分(すなわち、ビデオ系列内のフレームの群、フレームの群内のフレーム、フレーム内のスライス、スライス内の符号化木ユニット(例えば、マクロブロック)、符号化木ユニット内の符号化ブロックなど)に再分割することができる。予測符号化技術を使用して、符号化されるビデオデータのユニットとビデオデータの参照ユニットとの間の差分値を生成することができる。差分値は、残差データと呼ばれることがある。残差データは、量子化された変換係数として符号化することができる。シンタックス要素は、残差データと参照符号化ユニットとを関連付けることができる。残差データ及びシンタックス要素は、準拠ビットストリームに含めることができる。準拠ビットストリーム及び関連メタデータは、データ構造に従ったフォーマットを有してもよい。準拠ビットストリーム及び関連メタデータは、送信規格に従って、ソースから受信デバイス(例えば、デジタルテレビ又はスマートフォン)に送信してもよい。伝送規格の例としては、デジタルビデオブロードキャスティング(Digital Video Broadcasting、DVB)規格、統合デジタル放送サービス規格(Integrated Services Digital Broadcasting、ISDB)規格、及び例えば、ATSC2.0規格を含む、高度テレビジョンシステムズ委員会(Advanced Television Systems Committee、ATSC)によって作成された規格が挙げられる。ATSCは、現在、いわゆるATSC3.0の一連の規格を開発している。
発明の概要
一実施例では、全方位ビデオに関連付けられた情報をシグナリングする方法は、アプリケーション固有メッセージタイプを定義するシンタックス要素の値に基づいてシンタックス要素を条件付きでシグナリングすることを含む、音声情報を示すアプリケーション固有メッセージをシグナリングすることを含む。
一実施例では、全方位ビデオに関連付けられた情報を決定する方法は、アプリケーション固有メッセージタイプを定義するシンタックス要素の値に基づいて、シンタックス要素を条件付きでパースすることを含む、音声情報を示すアプリケーション固有メッセージをパースすることを含む。
本開示の1つ以上の技術に係る、符号化されたビデオデータを送信するように構成することができるシステムの一例を示すブロック図である。 本開示の1つ以上の技術に係る、符号化されたビデオデータ及び対応するデータ構造を示す概念図である。 本開示の1つ以上の技術に係る、符号化されたビデオデータ及び対応するデータ構造を示す概念図である。 本開示の1つ以上の技術に係る、符号化されたビデオデータ及び対応するデータ構造を示す概念図である。 本開示の1つ以上の技術に係る、座標系の例を示す概念図である。 本開示の1つ以上の技術に係る、球体上の領域の例を示す概念図である。 本開示の1つ以上の技術に係る、球体上の領域の例を示す概念図である。 本開示の1つ以上の技術に係る、プロジェクトピクチャ領域及びパックピクチャ領域の例を示す概念図である。 本開示の1つ以上の技術に係る、符号化されたビデオデータを送信するように構成され得るシステムの実装形態に含まれ得る構成要素の一例を示す概念的描画である。 本開示の1つ以上の技術を実施できる受信デバイスの一例を示すブロック図である。 発明を実施するための形態
一般に、本開示は、仮想現実アプリケーションに関連付けられた情報をシグナリングするための種々の技術を説明する。具体的には、本開示は、仮想現実アプリケーションにおいて特定のメッセージをシグナリングするための技術について説明する。いくつかの実施例では、本開示の技術は、伝送規格に関して説明されているが、本明細書において説明される技術は、一般に適用可能であってよいことに留意されたい。例えば、本明細書で説明する技術は、一般に、DVB規格、ISDB規格、ATSC規格、Digital Terrestrial Multimedia Broadcast(DTMB)規格、Digital Multimedia Broadcast(DMB)規格、Hybrid Broadcast and Broadband Television(HbbTV)規格、ワールド・ワイド・ウェブ・コンソーシアム(World Wide Web Consortium、W3C)規格、及びユニバーサルプラグアンドプレイ(Universal Plug and Play、UPnP)規格のうちのいずれかに適用可能である。更に、本開示の技術は、ITU−T H.264及びITU−T H.265に関して説明されているが、本開示の技術は、全方位ビデオ符号化を含むビデオ符号化に一般に適用可能であることに留意されたい。例えば、本明細書で説明する符号化技術は、ITU−T H.265に含まれるもの以外のブロック構造、イントラ予測技術、インター予測技術、変換技術、フィルタリング技術、及び/又はエントロピ符号化技術を含むビデオ符号化システム(将来のビデオ符号化規格に基づくビデオ符号化システムを含む)に組み込むことができる。したがって、ITU−T H.264及びITU−T H.265への参照は、説明のためのものであり、本明細書で説明する技術の範囲を限定するように解釈すべきではない。更に、本明細書での文書の参照による組み込みは、本明細書で使用される用語に関して限定する又は曖昧さを生むように解釈されるべきではないことに留意されたい。例えば、組み込まれた参照が、別の組み込まれた参照とは、及び/又はその用語が本明細書で使用されるのとは異なる用語の定義を提供する場合では、その用語は、それぞれの対応する定義を幅広く含むように、及び/又は代わりに特定の定義のそれぞれを含むように解釈されるべきである。
一実施例では、デバイスは、アプリケーション固有メッセージタイプを定義するシンタックス要素の値に基づいてシンタックス要素を条件付きでシグナリングすることを含む、音声情報を示すアプリケーション固有メッセージをシグナリングするように構成された1つ以上のプロセッサを含む。
一実施例では、非一時的コンピュータ可読記憶媒体は、その媒体に記憶された命令を含み、命令は実行されると、デバイスの1つ以上のプロセッサに、アプリケーション固有メッセージタイプを定義するシンタックス要素の値に基づいてシンタックス要素を条件付きでシグナリングさせることを含んで、音声情報を示すアプリケーション固有メッセージをシグナリングさせる。
一実施例では、装置は、アプリケーション固有メッセージタイプを定義するシンタックス要素の値に基づいてシンタックス要素を条件付きでシグナリングすることを含む、音声情報を示すアプリケーション固有メッセージをシグナリングするための手段を備える。
一実施例では、デバイスは、アプリケーション固有メッセージタイプを定義するシンタックス要素の値に基づいて、シンタックス要素を条件付きでパースすることを含んで、音声情報を示すアプリケーション固有メッセージをパースするように構成された1つ以上のプロセッサを含む。
一実施例では、非一時的コンピュータ可読記憶媒体は、その媒体に記憶された命令を含み、命令は実行されると、デバイスの1つ以上のプロセッサに、アプリケーション固有メッセージタイプを定義するシンタックス要素の値に基づいて、シンタックス要素を条件付きでパースさせることを含んで、音声情報を示すアプリケーション固有メッセージをパースさせる。
一実施例では、装置は、アプリケーション固有メッセージタイプを定義するシンタックス要素の値に基づいて、シンタックス要素を条件付きでパースすることを含む、音声情報を示すアプリケーション固有メッセージをパースするための手段を備える。
1つ以上の実施例の詳細は、添付の図面及び以下の明細書に記述されている。他の特徴、目的、及び利点は、明細書及び図面から、並びに特許請求の範囲から明白であろう。
ビデオコンテンツは、典型的には、一連のフレームからなるビデオシーケンスを含む。一連のフレームはまた、ピクチャ群(group of pictures、GOP)と呼ばれることがある。各ビデオフレーム又はピクチャは1つ以上のスライスを含むことができ、スライスは複数のビデオブロックを含む。ビデオブロックは、予測的に符号化され得る画素値(サンプルとも呼ばれる)の最大アレイとして定義することができる。ビデオブロックは、走査パターン(例えば、ラスター走査)に従って順序付けすることができる。ビデオエンコーダは、ビデオブロック及びその再分割に対して予測符号化を実行する。ITU−T H.264は、16×16のルマ(luma)サンプルを含むマクロブロックを規定する。ITU−T H.265は、類似の符号化ツリーユニット(Coding Tree Unit、CTU)構造を規定するが、ピクチャは、等しいサイズのCTUに分割することができ、各CTUは、16×16、32×32、又は64×64のルマサンプルを有する符号化ツリーブロック(Coding Tree Block、CTB)を含むことができる。本明細書で使用されるとき、ビデオブロックという用語は、一般に、ピクチャの領域を指すことがあり、又はより具体的には、予測的に符号化できる画素値の最大アレイ、その再分割、及び/又は対応する構造を指すことがある。更に、ITU−T H.265によれば、各ビデオフレーム又はピクチャは、1つ以上のタイルを含むように区画化してもよく、タイルは、ピクチャの矩形領域に対応する符号化ツリーユニットのシーケンスである。
ITU−T H.265では、CTUのCTBは、対応する四分木ブロック構造に従って符号化ブロック(CB)に区画化することができる。ITU−T H.265によれば、1つのルマCBは、2つの対応するクロマCB及び関連するシンタックス要素と共に、符号化ユニット(CU)と呼ばれる。CUは、CUに対する1つ以上の予測部(prediction unit、PU)を定義する予測部(PU)構造に関連し、PUは、対応する参照サンプルに関連する。すなわち、ITU−T H.265では、イントラ予測又はインター予測を使用してピクチャ領域を符号化する決定がCUレベルで行われ、CUに関し、イントラ予測又はインター予測に対応する1つ以上の予測を使用して、CUのCBに対する参照サンプルを生成することができる。ITU−T H.265では、PUは、ルマ及びクロマ予測ブロック(prediction block、PB)を含むことができ、正方形PBはイントラ予測に対してサポートされ、矩形PBはインター予測に対してサポートされる。イントラ予測データ(例えば、イントラ予測モードシンタックス要素)又はインター予測データ(例えば、動きデータシンタックス要素)は、PUを対応する参照サンプルに関連させることができる。残差データは、ビデオデータの各成分(例えば、ルマ(Y)及びクロマ(Cb及びCr))に対応する差分値のそれぞれのアレイを含むことができる。残差データは、画素領域内とすることができる。離散コサイン変換(discrete cosine transform、DCT)、離散サイン変換(discrete sine transform、DST)、整数変換、ウェーブレット変換、又は概念的に類似の変換などの変換を、画素差分値に適用して、変換係数を生成することができる。ITU−T H.265では、CUは、更に変換ユニット(Transform Unit、TU)に再分割できることに留意されたい。すなわち、画素差分値のアレイは、変換係数を生成するために再分割することができ(例えば、4つの8×8変換を、16×16のルマCBに対応する残差値の16×16のアレイに適用することができる)、そのような再分割は、変換ブロック(Transform Block、TB)と呼ばれることがある。変換係数は、量子化パラメータ(quantization parameter、QP)に従って量子化され得る。量子化された変換係数(これはレベル値と呼ばれることがある)は、エントロピ符号化技術(例えば、コンテンツ適応可変長符号化(content adaptive variable length coding、CAVLC)、コンテキスト適応2値算術符号化(context adaptive binary arithmetic coding、CABAC)、確率区間分割エントロピ符号化(probability interval partitioning entropy coding、PIPE)など)に従ってエントロピ符号化することができる。更に、予測モードを示すシンタックス要素などのシンタックス要素も、エントロピ符号化することができる。エントロピ符号化され量子化された変換係数及び対応するエントロピ符号化されたシンタックス要素は、ビデオデータを再生成するために使用することができる準拠ビットストリームを形成することができる。二値化プロセスを、エントロピ符号化プロセスの一部としてシンタックス要素に対して実行することができる。二値化は、シンタックス値を一連の1つ以上のビットに変換するプロセスを指す。これらのビットは、「ビン」と呼ばれることがある。
仮想現実(VR)アプリケーションは、ヘッドマウントディスプレイでレンダリングすることができるビデオコンテンツを含むことができ、ユーザの頭部の向きに対応する全天球映像の領域のみがレンダリングされる。VRアプリケーションは、360度ビデオの360度全天球映像とも呼ばれる、全方位ビデオによって使用可能にすることができる。全方位ビデオは、典型的には、最大360度のシーンをカバーする複数のカメラによってキャプチャされる。通常のビデオと比較した全方位ビデオの明確な特徴は、典型的には、キャプチャされたビデオ領域全体のサブセットのみが表示される、すなわち、現在のユーザの視野(FOV)に対応する領域が表示されることである。FOVはまた、時に、ビューポートとも呼ばれる。他の場合では、ビューポートは、現在表示され、ユーザによって見られている球面ビデオの一部として説明することができる。ビューポートのサイズは、視野以下でもよいことに留意されたい。更に、全方位ビデオは、モノスコープカメラ又はステレオスコープカメラを使用してキャプチャされ得ることに留意されたい。モノスコープカメラは、オブジェクトの単一視野をキャプチャするカメラを含んでもよい。ステレオスコープカメラは、同じオブジェクトの複数のビューをキャプチャするカメラを含んでもよい(例えば、わずかに異なる角度で2つのレンズを使用してビューをキャプチャする)。更に、場合によっては、全方位ビデオアプリケーションで使用するための画像は、超広角レンズ(すなわち、いわゆる魚眼レンズ)を使用してキャプチャされ得ることに留意されたい。いずれの場合も、360度の球面ビデオを作成するためのプロセスは、一般に、入力画像をつなぎ合わせ、つなぎ合わされた入力画像を3次元構造(例えば、球体又は立方体)上にプロジェクションして、いわゆるプロジェクトフレームをもたらし得ることとして説明することができる。更に、場合によっては、プロジェクトフレームの領域を、変換し、リサイズし、及び再配置してもよく、これによっていわゆるパックフレームをもたらすことができる。
伝送システムは、全方位ビデオを1つ以上の演算デバイスに送信するように構成することができる。演算デバイス及び/又は伝送システムは、1つ以上の抽象化層を含むモデルに基づいてもよく、各抽象化層のデータは、特定の構造、例えば、パケット構造、変調方式などに従って表される。定義された抽象化層を含むモデルの一例は、いわゆる開放型システム間相互接続(OSI)モデルである。OSIモデルは、アプリケーション層、プレゼンテーション層、セッション層、トランスポート層、ネットワーク層、データリンク層、及び物理層を含む、7層スタックモデルを定義する。スタックモデル内の層の記述に関して上位(upper)及び下位(lower)という用語を使用することは、最上層であるアプリケーション層及び最下層である物理層に基づいてもよいという点に留意すべきである。更に、場合によっては、用語「層1」又は「L1」を使用して、物理層を指すことができ、用語「層2」又は「L2」を使用して、リンク層を指すことができ、用語「層3」又は「L3」又は「IP層」を使用して、ネットワーク層を指すことができる。
物理層は、一般に、電気信号がデジタルデータを形成する層を指すことができる。例えば、物理層は、変調された無線周波数(radio frequency、RF)シンボルがデジタルデータのフレームをどのように形成するかを定義する層を指すことができる。リンク層と呼ばれることもあるデータリンク層は、送信側での物理層処理前及び受信側での物理層受信後に使用される抽象化を指すことができる。本明細書で使用するとき、リンク層は、送信側でネットワーク層から物理層にデータを伝送するために使用され、受信側で物理層からネットワーク層へデータを伝送するために使用される抽象化を指すことができる。送信側及び受信側は論理的な役割であり、単一のデバイスは、一方のインスタンスにおける送信側と他方のインスタンスにおける受信側の両方として動作できることに留意されたい。リンク層は、特定のパケットタイプ(例えば、ムービングピクチャエクスパーツグループ−トランスポートストリーム(Motion Picture Expert Group - Transport Stream、MPEG−TS)パケット、インターネットプロトコルバージョン4(IPv4)パケットなど)にカプセル化された様々な種類のデータ(例えば、ビデオファイル、音声ファイル、又はアプリケーションファイル)を物理層による処理のための単一汎用フォーマットに抽象化することができる。ネットワーク層は、一般に、論理アドレッシングが発生する層を指すことができる。すなわち、ネットワーク層は、一般に、アドレッシング情報(例えば、インターネットプロトコル(IP)アドレス)を提供することができ、これにより、データパケットをネットワーク内の特定のノード(例えば、演算デバイス)に送達することができる。本発明で使用する場合、ネットワーク層という用語は、リンク層の上の層及び/又はリンク層処理のために受信することができるような構造のデータを有する層を指すことができる。トランスポート層、セッション層、プレゼンテーション層、及びアプリケーション層の各々は、ユーザアプリケーションによって使用するためにデータをどのように送達するかを定義することができる。
ISO/IEC FDIS 23090−2:201x(E);「Information technology−Coded representation of immersive media(MPEG−I)−Part 2:Omnidirectional media format,」ISO/IEC JTC 1/SC 29/WG 2018−02−07が、参照により本明細書に組み込まれ、本明細書ではMPEG−Iと称され、全方位メディアアプリケーションを可能にするメディアアプリケーションフォーマットを定義する。MPEG−Iは、全方位ビデオシーケンスのための座標系;球面ビデオシーケンス又は画像を、それぞれ、2次元矩形ビデオシーケンス又は画像に変換するために使用され得る、投影及び矩形領域ごと(rectangular region-wise)のパッキングの方法;ISO Base Media File Format(ISOBMFF)を使用した全方位メディア及び関連メタデータの記憶;メディアストリーミングシステムにおける全方位メディアのカプセル化、シグナリング、及びストリーミング;並びにメディアプロファイル及びプレゼンテーションプロファイル、を指定する。簡潔にするために、本明細書では、MPEG−Iの完全な説明は提供されないことに留意されたい。しかしながら、MPEG−Iの関連するセクションを参照する。
MPEG−Iは、ビデオがITU−T H.265に従って符号化されるメディアプロファイルを提供する。ITU−T H.265は、高効率ビデオ符号化(High Efficiency Video Coding、HEVC),Recに記載されている。ITU−T H.265(2016年12月)は、参照により本明細書に組み込まれ、本明細書ではITU−T H.265と呼ばれる。上述のように、ITU−T H.265によれば、各ビデオフレーム又はピクチャは、1つ以上のスライスを含むように区画化してもよく、1つ以上のタイルを含むように更に区画化してもよい。図2A〜図2Bは、スライスを含み、ピクチャを更にタイルに区画化するピクチャ群の一例を示す概念図である。図2Aに示す例では、Picは、2つのスライス(すなわち、Slice及びSlice)を含むものとして示されており、各スライスは(例えばラスタ走査順に)CTUのシーケンスを含む。図2Bに示す例では、Picは、6つのタイル(すなわち、Tile〜Tile)を含むものとして示されており、各タイルは矩形であり、CTUのシーケンスを含む。ITU−T H.265では、タイルは、2つ以上のスライスが包含する符号化ツリーユニットからなっていてもよく、スライスは、2つ以上のタイルが包含する符号化ツリーユニットからなっていてもよいことに留意されたい。しかしながら、ITU−T H.265は、以下の条件のうちの1つ又は両方が満たされなければならないと規定している。(1)あるスライス中の全ての符号化ツリーユニットは同じタイルに属する、及び(2)あるタイル内の全ての符号化ツリーユニットは同じスライスに属する。
360度の球面ビデオは、領域を含んでもよい。図3に示す例を参照すると、360度の球面ビデオは、領域A、B、及びCを含み、図3に示すように、タイル(すなわち、Tile〜Tile)は、全方位ビデオの領域を形成することができる。図3に示す例では、各領域はCTUを含むものとして示されている。上述のように、CTUは、符号化ビデオデータのスライス、及び/又はビデオデータのタイルを形成することができる。更に、上述のように、ビデオ符号化技術は、ビデオブロック、その再分割、及び/又は対応する構造に従って、ピクチャの領域を符号化してもよく、ビデオ符号化技術は、ビデオ符号化パラメータを、ビデオ符号化構造の様々なレベルで調整すること、例えば、スライス、タイル、ビデオブロック、及び/又は再分割に対して調整することを可能にすることに留意されたい。一実施例では、図3に表す360度のビデオは、スポーツイベントを表してもよく、領域A及び領域Cがスタジアムのスタンドのビューを含み、領域Bが競技場のビューを含む(例えば、ビデオは、50ヤードラインに配置された360度カメラによってキャプチャされる)。
上述のように、ビューポートは、現在表示され、ユーザによって見られている球面ビデオの一部であってもよい。したがって、全方位ビデオの領域は、ユーザのビューポートに応じて選択的に配信してもよく、すなわち、ビューポート依存配信が、全方位ビデオストリーミングにおいて可能になり得る。典型的には、ビューポート依存配信を可能にするために、ソースコンテンツは、符号化の前にサブピクチャシーケンスに分割され、各サブピクチャシーケンスは、全方位ビデオコンテンツの空間領域のサブセットをカバーし、そのとき、サブピクチャシーケンスは、互いに独立して単層ビットストリームとして符号化される。例えば、図3を参照すると、領域A、領域B、及び領域Cのそれぞれ、又はこれらの部分のそれぞれが、独立して符号化されるサブピクチャビットストリームに対応し得る。各サブピクチャビットストリームは、それ自体のトラックとしてファイル中にカプセル化してもよく、ビューポート情報に基づいて、トラックを受信デバイスに選択的に配信してもよい。場合によっては、サブピクチャが重なり合う可能性があることに留意されたい。例えば、図3を参照すると、Tile、Tile、Tile、及びTileがサブピクチャを形成してもよく、Tile、Tile、Tile、及びTileがサブピクチャを形成してもよい。したがって、特定のサンプルが複数のサブピクチャ内に含まれてもよい。MPEG−Iは、整列して合成されたサンプルが、別のトラックに関連付けられたトラック内のサンプルのうちの1つを含む場合、サンプルは、その別のトラック内の特定のサンプルと同じ合成時間(composition time)を有する、又は、同じ合成時間を有するサンプルがその別のトラック内にない場合は、その別のトラック内の特定のサンプルの合成時間と比較して、最も近い先行する合成時間を有する、と規定している。更に、MPEG−Iは、構成成分ピクチャが、1つのビューに対応する空間的にフレームパックされた立体的ピクチャの一部を含むか、又はフレームパッキングが使用されていない場合、若しくは時間的インターリーブフレームパッキング構成が使用されている場合にピクチャ自体を含む、と規定している。
上述のように、MPEG−Iは、全方位ビデオの座標系を指定する。MPEG−Iでは、座標系は、単位球体と、3つの座標軸、すなわちX(前後)軸、Y(横方向、左右)軸、及びZ(垂直、上方)軸、とからなり、3つの軸は球体の中心で交差する。球体上の点の場所は、球体座標方位(φ)及び高度(θ)の対によって識別される。図4は、MPEG−Iで指定されるような、X、Y、及びZ座標軸に対する、球体座標での方位(φ)及び高度(θ)の関係を示す。MPEG−Iでは、方位の値範囲は、−180.0度以上、180.0度未満であり、高度の値範囲は、両端値を含む、−90.0度〜90.0度であることに留意されたい。MPEG−Iは、球体上の領域が4つの大円によって指定される場合があり、大円(Riemannian circleとも呼ばれる)は、球体と、球体の中心点を通過する平面との交点であり、球体の中心と大円の中心とが同一位置にあると指定する。MPEG−Iは、球体上の領域が2つの方位円及び2つの高度円によって指定され得ることについて更に記載しており、方位円は、同じ方位値を有する全ての点を接続する球体上の円であり、高度円は、同じ高度値を有する全ての点を接続する球体上の円である。MPEG−I内の球体領域構造は、様々なタイプのメタデータをシグナリングするための基礎をなす。
本明細書で使用される式に関して、以下の算術演算子が使用され得ることに留意されたい。
+ 加算
− 減算(2つの引数演算子として)又はネゲーション(単項プレフィックス演算子として)
行列乗算を含む乗算
べき乗。xのy乗を指定する。他のコンテキストでは、そのような表記は、べき乗としての解釈を意図していないスーパースクリプトに使用される。
/ ゼロへの結果切り捨てを伴う整数除算。例えば、7/4及び−7/−4は、1に切り捨てられ、−7/4及び7/−4は、−1に切り捨てられる。
÷ 切り捨て又は四捨五入が意図されていない式において除算を表すために使用される。
Figure 2021521676

切り捨て又は四捨五入が意図されていない式において除算を表すために使用される。
x%y 剰余。xをyで割った余りであり、x>=0かつy>0である整数x及びyに対してのみ定義される。
本明細書で使用される式に関して、以下の論理演算子が使用され得ることに留意されたい:
x&&y xとyとのブール論理「積」
x||y xとyとのブール論理「和」
!ブール論理「否」
x?y:z xが真であるか又は0に等しくない場合はyの値を評価し、そうでない場合はzの値を評価する。
本明細書で使用される式に関して、以下の関係演算子が使用され得ることに留意されたい。
> 大なり
>= 大なり又は等しい
< 小なり
<= 小なり又は等しい
== 等しい
!= 等しくない
本明細書で使用されるシンタックスにおいて、unsigned int(n)は、nビットを有する符号なし整数を指すことに留意されたい。更に、bit(n)は、nビットを有するビット値を指す。
上述のように、MPEG−Iは、国際標準化機構(ISO)ベースメディアファイルフォーマット(ISOBMFF)を使用して、全方位メディア及び関連メタデータを記憶する方法を指定する。MPEG−Iは、プロジェクトフレームによってカバーされる球体表面の面積を指定するメタデータをサポートするファイルフォーマットを指定する。具体的には、MPEG−Iは、以下の定義、シンタックス、及びセマンティクを有する球体領域を指定する球体領域構造を含む。
定義
球体領域構造(SphereRegionStruct)は、球体領域を指定する。
centre_tiltが0に等しい場合、この構造によって指定される球体領域は、以下のように導出される。
−azimuth_range及びelevation_range両方が0に等しい場合、この構造によって指定される球体領域は球体表面上の点である。
−そうでない場合、球体領域は、以下のように導出される変数である、centreAzimuth、centreElevation、cAzimuth1、cAzimuth、cElevation1、及びcElevation2を用いて定義される。
centreAzimuth=centre_azimuth÷65536
centreElevation=centre_elevation÷65536
cAzimuth1=(centre_azimuth−azimuth_range÷2)÷65536
cAzimuth2=(centre_azimuth+azimuth_range÷2)÷65536
cElevation1=(centre_elevation−elevation_range÷2)÷65536
cElevation2=(centre_elevation+elevation_range÷2)÷65536
球体領域は、SphereRegionStructのこのインスタンスを含む構造のセマンティクスで指定された形状タイプ値を参照して以下のように定義される。
−形状タイプ値が0に等しい場合、球体領域は、図5Aに示すように、4つの点cAzimuth1、cAzimuth2、cElevation1、cElevation2によって定義される4つの大円と、centreAzimuth及びcentreElevationによって定義される中心点とによって指定される。
−形状タイプ値が1に等しい場合、球体領域は、図5Bに示すように、4つの点cAzimuth1、cAzimuth2、cElevation1、cElevation2によって定義される2つの方位円及び2つの高度円と、centreAzimuth及びcentreElevationによって定義される中心点とによって指定される。
centre_tiltが0に等しくない場合、球体領域は、最初に上記のように導出され、次いで、球体原点を起源として球体領域の中心点を通過する軸に沿って傾斜回転が適用され、そのとき、原点から軸の正方向の端に向かって見たときに角度値は時計回りに増加する。最終的な球体領域は、傾斜回転を適用した後のものである。
0に等しい形状タイプ値は、球体領域が図5Aに表すように4つの大円によって指定されることを示している。
1に等しい形状タイプ値は、図5Bに示すように、球体領域が2つの方位円及び2つの高度円によって指定されることを示している。
1より大きい形状タイプ値が予約済みである。
シンタックス
Figure 2021521676

セマンティクス
centre_azimuth、及びcentre_elevationは、球体領域の中心を指定する。centre_azimuthは、両端値を含む、−18016〜18016−1の範囲にあるものとする。centre_elevationは、両端値を含む、−9016〜9016の範囲にあるものとする。
centre_tiltは、球体領域の傾斜角を指定し、centre_tiltは、両端値を含む、−18016〜18016−1の範囲にあるものとする。
Azimuth_range及びelevation_rangeは、存在する場合、それぞれ、この構造によって指定される球体領域の方位範囲及び高度範囲を2−16の単位で指定する。azimuth_range及びelevation_rangeは、図5A又は図5Bに示すように、球体領域の中心点を通る範囲を指定する。SphereRegionStructのこのインスタンスにazimuth_range及びelevation_rangeが存在しない場合、SphereRegionStructのこのインスタンスを含む構造のセマンティクスにおいて指定されると推測される。azimuth_rangeは、両端値を含む、0〜36016の範囲にあるものとする。elevation_rangeは、両端値を含む、0〜18016の範囲にあるものとする。
interpolateのセマンティクスは、SphereRegionStructのこのインスタンスを含む構造のセマンティクスによって指定される。
上述のように、MPEG−I内の球体領域構造は、様々なタイプのメタデータをシグナリングするための基礎をなす。球体領域に対して汎用時間指定メタデータトラックシンタックスを指定することに関して、MPEG−Iは、サンプルエントリ及びサンプルフォーマットを指定する。サンプルエントリ構造は、以下の定義、シンタックス、及びセマンティクスを有するものとして指定される。
定義
ちょうど1つのSphereRegionConfigBoxが、サンプルエントリに存在するものとする。SphereRegionConfigBoxは、サンプルによって指定された球体領域の形状を指定する。
サンプル内の球体領域の方位範囲及び高度範囲が変化しない場合、それらはサンプルエントリ内に示され得る。
シンタックス
Figure 2021521676

セマンティクス
0に等しいshape_typeは、球体領域が、4つの大円によって指定されることを指定する。1に等しいshape_typeは、球体領域が、2つの方位円及び2つの高度円によって指定されることを指定する。1より大きいshape_typeの値が予約済みである。shape_typeの値は、(上述の)球体領域を記述する項目を、球体領域メタデータトラックのサンプルのセマンティクスに適用する場合に、形状タイプ値として使用される。
0に等しいdynamic_range_flagは、このサンプルエントリを参照する全てのサンプルにおいて、球体領域の方位範囲及び高度範囲が変化されないままであることを指定する。1に等しいdynamic_range_flagは、球体領域の方位範囲及び高度範囲がサンプルフォーマットで示されることを指定する。
static_azimuth_range及びstatic_elevation_rangeは、それぞれ、このサンプルエントリを参照する各サンプルに対して、球体領域の方位範囲及び高度範囲を2−16の単位で指定する。static_azimuth_range及びstatic_elevation_rangeは、図5A又は図5Bに示すように、球体領域の中心点を通る範囲を指定する。static_azimuth_rangeは、両端値を含む、0〜36016の範囲にあるものとする。static_elevation_rangeは、両端値を含む、0〜18016の範囲にあるものとする。static_azimuth_range及びstatic_elevation_rangeが存在し、両方とも0に等しい場合、このサンプルエントリを参照する各サンプルの球体領域は、球体表面上の点である。(上述の)球体領域を記述する項目を、球体領域メタデータトラックのサンプルのセマンティクスに適用する場合、static_azimuth_range及びstatic_elevation_rangeが存在する場合は、azimuth_range及びelevation_rangeの値は、それぞれ、static_azimuth_range及びstatic_elevation_rangeに等しいと推測される。
num_regionsは、このサンプルエントリを参照するサンプル内の球体領域数を指定する。num_regionsは、1に等しいものとする。num_regionsの他の値は予備とされる。
サンプルフォーマット構造は、以下の定義、シンタックス、及びセマンティクスを有するものとして指定される。
定義
各サンプルは球体領域を指定する。SphereRegionSample構造は、導出されたトラック形式で拡張してもよい。
シンタックス
Figure 2021521676

セマンティクス
上述の球体領域構造項目は、SphereRegionStruct構造を含むサンプルに適用される。
ターゲットメディアサンプルが、参照メディアトラック内のメディアサンプルであって、その合成時間が、このサンプルの合成時間以上であり、次のサンプルの合成時間未満であるとする。
0に等しいinterpolateは、このサンプルにおけるcentre_azimuth、centre_elevation、centre_tilt、azimuth_range(存在する場合)、及びelevation_range(存在する場合)の値が、ターゲットメディアサンプルに適用されることを指定し、1に等しいinterpolateは、ターゲットメディアサンプルに適用されるcentre_azimuth、centre_elevation、centre_tilt、azimuth_range(存在する場合)、及びelevation_range(存在する場合)の値が、このサンプル及び前のサンプルにおける対応するフィールドの値から直線的に補間されることを指定する。
同期サンプル、トラックの第1のサンプル、及びトラック断片の第1のサンプルに対するinterpolateは0に等しいものとする。
MPEG−Iでは、時間指定メタデータは、サンプルエントリ及びサンプルフォーマットに基づいてシグナリングしてもよい。例えば、MPEG−Iは、以下の定義、シンタックス、及びセマンティクスを有する初期ビューイング方向メタデータを含む。
定義
このメタデータは、関連付けられたメディアトラック、又は画像アイテムとして記憶された単一の全方位画像を再生する場合に使用されるべき初期ビューイング方向を示す。このタイプのメタデータ、centre_azimuth、centre_elevation、及びcentre_tiltの非存在下では、全て0に等しいと推測されるべきである。
OMAF(全方位メディアフォーマット)プレイヤは、指示された又は推定されたcentre_azimuth、centre_elevation、及びcentre_tiltを以下のように使用するべきである。
−OMAFプレイヤの方向/ビューポートメタデータが、ビューイングデバイスに含まれるか又はそれに取り付けられた方向センサを基礎にして取得される場合、OMAFプレイヤは、
・centre_azimuth値のみに従うべきであり、かつ、
・centre_elevation及びcentre_tiltの値を無視し、代わりに方向センサからのそれぞれの値を使用するべきである。
−そうでない場合は、OMAFプレイヤは、centre_azimuth、centre_elevation、及びcentre_tiltの3つ全てに従うべきである。
トラックサンプルエントリタイプ「初期ビュー方向時間指定メタデータ」を使用するものとする。サンプルエントリのSphereRegionConfigBoxにおいて、shape_typeは0に等しいものとし、dynamic_range_flagは0に等しいものとし、static_azimuth_range0に等しいものとし、static_elevation_rangeは0に等しいものとする。
注記:このメタデータは、どの方位範囲及び高度範囲がビューポートによってカバーされているかにかかわらず、任意のビューポートに適用される。したがって、dynamic_range_flag、static_azimuth_range、及びstatic_elevation_rangeは、このメタデータが関連し、したがって0に等しい必要があるビューポートの寸法に影響を与えない。OMAFプレイヤが上記で結論付けたようにcentre_tiltの値に従う場合、centre_tiltの値は、ビューポートを表示する際に実際に使用されているものに等しいビューポートの球体領域の方位範囲及び高度範囲を設定することによって解釈することができる。
シンタックス
Figure 2021521676

セマンティクス
注記1:サンプル構造がSphereRegionSampleから拡張されると、SphereRegionSampleのシンタックス要素がサンプルに含まれる。
centre_azimuth、centre_elevation、及びcentre_tiltは、グローバル座標軸に対してビューイング方向を2−16度の単位で指定する。centre_azimuth及びcentre_elevationは、ビューポートの中心を示し、centre_tiltは、ビューポートの傾斜角を示す。
interpolateは、0に等しいものとする。
0に等しいrefresh_flagは、示されたビューイング方向が、関連するメディアトラックにおける時系列サンプルから、再生開始時に使用されるべきであることを指定する。1に等しいrefresh_flagは、示されたビューイング方向が、各関連メディアトラックの時系列サンプルをレンダリングするとき、すなわち、連続再生時と、時系列サンプルからの再生開始時との両方で、常に使用されるべきであることを指定する。
注記2:1に等しいrefresh_flagは、コンテンツ作成者が、ビデオを連続して再生する場合でも、特定のビューイング方向が推奨されることを示すことを可能にする。
例えば、1に等しいrefresh_flagは、シーンカット位置を示すことができる。
上述のように、MPEG−Iは、球面ビデオシーケンスを2次元矩形ビデオシーケンスに変換するために使用され得る投影及び矩形領域ごとのパッキングの方法を指定している。このようにして、MPEG−Iは、以下の定義、シンタックス、及びセマンティクスを有する領域ごとのパック構造を指定している。
定義
RegionWisePackingStructは、パック領域と、対応するプロジェクト領域との間のマッピングを指定し、存在する場合は、ガードバンドの場所及びサイズを指定する。
注記:他の情報の中でも、RegionWisePackingStructはまた、コンテンツカバレージ情報を、2Dデカルトピクチャドメインにおいて提供する。
この項目のセマンティクスにおける復号されたピクチャは、このシンタックス構造用のコンテナに応じて以下のうちのいずれか1つである。
−ビデオについては、復号されたピクチャは、ビデオトラックのサンプルから得られる復号出力である。
−画像アイテムについては、復号されたピクチャは、画像の復元された画像アイテムである。
RegionWisePackingStructの内容は、情報提供のために以下に要約され、一方で、基準としてのセマンティクスが、本項目において後に続く。
−プロジェクトピクチャの幅及び高さは、それぞれ、proj_picture_width及びproj_picture_heightで明示的にシグナリングされる。
−パックピクチャの幅及び高さは、それぞれ、packed_picture_width及びpacked_picture_heightで明示的にシグナリングされる。
−プロジェクトピクチャが立体的であり、上部−底部又は横並びのフレームパック構成を有する場合、1に等しいconstituent_picture_matching_flagは、以下を指定する。
・このシンタックス構造におけるプロジェクト領域情報、パック領域情報、及びガードバンド領域情報は、各構成成分ピクチャに個別に適用され、
・パックピクチャ及びプロジェクトピクチャは、同じ立体的フレームパックフォーマットを有し、
・プロジェクト領域及びパック領域の数は、シンタックス構造におけるnum_regionsの値によって示される数の2倍である。
−RegionWisePackingStructは、ループを含み、ループエントリは、両方の構成成分ピクチャにおいて、対応するプロジェクト領域及びパック領域に対応する(constituent_picture_matching_flagが1に等しい場合)、又はプロジェクト領域及び対応するパック領域(constituent_picture_matching_flagが0に等しい場合)に対応し、ループエントリは以下を含む。
・パック領域に対するガードバンドの存在を示すフラグ、
・パッキングタイプ(しかしながら、矩形領域でのパッキングのみが、MPEG−Iで指定される)、
・矩形領域パック構造RectRegionPacking(i)内における、プロジェクト領域と、対応するパック領域との間のマッピング、
・ガードバンドが存在する場合、パック領域のためのガードバンド構造GuardBand(i)。
矩形領域パック構造RectRegionPacking(i)の内容は、情報提供のために以下に要約され、一方で、基準としてのセマンティクスが、本項目において後に続く。
−proj_reg_width[i]、proj_reg_height[i]、proj_reg_top[i]、及びproj_reg_left[i]は、それぞれ、i番目のプロジェクト領域の幅、高さ、上部オフセット、及び左オフセットを指定する。
−transform_type[i]は、回転及びミラーリングが存在する場合に、i番目のパック領域に適用されて、それをi番目のプロジェクト領域に再マッピングする回転及びミラーリングを指定する。
−packed_reg_width[i]、packed_reg_height[i]、packed__reg_top[i]、及びpacked_reg_left[i]は、それぞれ、i番目のパック領域の幅、高さ、上部オフセット、及び左オフセット列を指定する。
ガードバンド構造、GuardBand(i)の内容は、情報提供のために以下に要約され、一方で、基準としてのセマンティクスが、本項目において後に続く。
−left_gb_width[i],right_gb_width[i],top_gb_height[i],又はbottom_gb_height[i]は、それぞれ、i番目のパック領域の左側の、右側の、上方の、又は下方のガードバンドのサイズを指定する。
−gb_not_used_for_pred_flag[i]は、インター予測プロセスにおいてガードバンドが参照として使用されないように、符号化が制約されているかどうかを示す。
−gb_type[i][j]は、i番目のパック領域のガードバンドのタイプを指定する。
図6は、プロジェクトピクチャ内にあるプロジェクト領域の位置及びサイズ(左側)、並びにガードバンドを有するパックピクチャ内にあるパック領域の位置及びサイズ(右側)の例を示す。この例は、constituent_picture_matching_flagの値が0に等しいときに適用される。
シンタックス
Figure 2021521676

セマンティクス
proj_reg_width[i]、proj_reg_height[i]、proj_reg_top[i]、及びproj_reg_left[i]は、それぞれ、プロジェクトピクチャ内(constituent_picture_matching_flagが0に等しい場合)、又はプロジェクトピクチャの構成成分ピクチャ内(constituent_picture_matching_flagが1に等しい場合)のいずれかにおける、i番目のプロジェクト領域の幅、高さ、上部オフセット、及び左オフセットを指定する。proj_reg_width[i]、proj_reg_height[i]、proj_reg_top[i]、及びproj_reg_left[i]は、プロジェクトピクチャサンプルを単位とした相対値で示される。
注記1:2つのプロジェクト領域は、部分的に又は完全に互いに重なり合っていてもよい。例えば、領域ごとの品質ランク指標によって、品質差の指標が存在する場合、任意の2つの重複するプロジェクト領域の重複領域に対して、より高い品質を有することが示されるプロジェクト領域に対応するパック領域がレンダリングに使用されるべきである。
transform_type[i]は、i番目のパック領域に適用されて、それをi番目のプロジェクト領域に再マッピングする回転及びミラーリングを指定する。transform_type[i]が回転及びミラーリングの両方を指定する場合、回転は、パック領域のサンプル場所をプロジェクト領域のサンプル場所に変換するために、ミラーリングの前に適用される。以下の値が指定される。
0:変換なし
1:水平ミラーリング
2:180度(反時計回り)回転
3:水平方向にミラーリングする前に180度(反時計回り)回転
4:水平方向にミラーリングする前に90度(反時計回り)回転
5:90度(反時計回り)回転
6:水平方向にミラーリングする前に270度(反時計回り)回転
7:270度(反時計回り)回転
注記2:MPEG−Iは、パックピクチャ内のパック領域のサンプル場所を、プロジェクトピクチャ内のプロジェクト領域のサンプル場所に変換するためのtransform_type[i]のセマンティクスを指定する。
packed_reg_width[i]、packed_reg_height[i]、packed_reg_top[i]、及びpacked_reg_left[i]は、それぞれ、パックピクチャ内(constituent_picture_matching_flagが0に等しい場合)、又はパックピクチャの構成成分ピクチャ内(constituent_picture_matching_flagが1に等しい場合)のいずれかにおける、i番目のパック領域の幅、高さ、オフセット、及び左オフセットを指定する。packed_reg_width[i]、packed_reg_height[i]、packed_reg_top[i]、及びpacked_reg_left[i]は、パックピクチャサンプルを単位とした相対値で示される。packed_reg_width[i]、packed_reg_height[i]、packed_reg_top[i]、及びpacked_reg_left[i]は、復号ピクチャ内における、ルマサンプルを単位とする水平及び垂直座標の整数値を表すものとする。
注記:2つのパック領域は、部分的に又は完全に互いに重なり合っていてもよい。
MPEG−Iは、パック領域内のルマサンプル場所を、対応するプロジェクト領域のルマサンプル場所へと再マッピングするための、矩形領域ごとのパッキングプロセスの逆プロセスを更に指定する。
このプロセスへの入力は以下の通りである。
−パック領域内のサンプル場所(x,y)であって、x及びyは、パックピクチャサンプルを単位とした相対値であり、サンプル場所は、パックピクチャ内において整数のサンプル場所にある、
−プロジェクト領域の幅及び高さ(projRegWidth、projRegHeight)であって、プロジェクトピクチャサンプルを単位とした相対値である、
−パック領域の幅及び高さ(packedRegWidth、packedRegHeight)であって、パックピクチャサンプルを単位とした相対値である、
−変換タイプ(transformType)、及び
−サンプリング位置に対するオフセット値(offsetX、offsetY)であって、0以上、1未満の範囲にあり、それぞれ、水平及び垂直のパックピクチャサンプルを単位とした相対値である。
注記:0.5に等しいoffsetX及びoffsetYは両方、パックピクチャサンプルを単位として、サンプルの中心点にあるサンプリング位置を示す。
このプロセスの出力は以下の通りである。
−プロジェクト領域内におけるサンプル場所(hPos、vPos)の中心点であって、hPos及びvPosは、プロジェクトピクチャサンプルを単位とした相対値であり、非整数の実数値を有してもよい。
出力は、以下のように導出される。
Figure 2021521676
簡潔のため、矩形領域パック構造、ガードバンド構造、及び領域ごとのパック構造の完全なシンタックス及びセマンティクスは、本明細書では提供されないことに留意されたい。更に、領域ごとのパック変数の完全な導出、及び領域ごとのパック構造のシンタックス要素に対する制約は、本明細書では提供されない。しかしながら、MPEG−Iの関連するセクションを参照する。
上述のように、MPEG−Iは、メディアストリーミングシステムにおいて、全方位メディアのカプセル化、シグナリング、及びストリーミングを指定している。特に、MPEG−Iは、動的適応ストリーミング・オーバー・ハイパーテキストトランスファープロトコル(HTTP)(DASH)を使用して、全方位メディアをどのようにカプセル化、シグナリング、及びストリーミングするかを指定している。DASHは、ISO/IEC:ISO/IEC 23009−1:2014,「Information technology−Dynamic adaptive streaming over HTTP(DASH)−Part 1:Media presentation description and segment formats,」International Organization for Standardization,2nd Edition,5/15/2014(以下、「ISO/IEC 23009−1:2014」)に記載されており、本明細書に参考として組み込まれる。DASHメディアプレゼンテーションは、データセグメント、ビデオセグメント、及び音声セグメントを含むことができる。いくつかの実施例では、DASHメディアプレゼンテーションは、サービスプロバイダによって定義された所与の期間の線形サービス又は線形サービスの一部(例えば、単一のTV番組、又はある期間にわたる連続した線形TV番組のセット)に対応することができる。DASHによれば、メディアプレゼンテーション記述(MPD)は、適切なHTTP−URLを構築し、セグメントにアクセスしてストリーミングサービスをユーザに提供するために、DASHクライアントによって要求されるメタデータを含むドキュメントである。MPDドキュメントフラグメントは、拡張可能マークアップ言語(extensible Markup Language、XML)符号化メタデータフラグメントのセットを含むことができる。MPDのコンテンツは、セグメントのためのリソース識別子及びメディアプレゼンテーション内の識別されたリソースのためのコンテキストを提供する。MPDフラグメントのデータ構造及びセマンティックは、ISO/IEC23009−1:2014に関して記載されている。更に、ISO/IEC23009−1のドラフト版が現在提案されているということに留意されたい。したがって、本明細書において使用されているように、MPDは、ISO/IEC23009−1:2014に記載されているようなMPD、現在提案されているMPD、及び/又はこれらの組み合わせを含むことができる。ISO/IEC23009−1:2014において、MPDに記載されているようなメディアプレゼンテーションは、1つ以上のピリオド(Period)のシーケンスを含むことができ、各ピリオドは、1つ以上のアダプテーションセット(Adaptation Set)を含むことができる。アダプテーションセットが複数のメディアコンテンツコンポーネントを含む場合、各メディアコンテンツコンポーネントを個別に記述できることに留意されたい。各アダプテーションセットは、1つ以上のリプレゼンテーション(Representation)を含むことができる。ISO/IEC23009−1:2014において、各リプレゼンテーションは、次のように明記されている:(1)単一セグメントの場合、サブセグメントがリプレゼンテーションにわたりアダプテーションセットに整列される、及び(2)セグメントのシーケンスの場合、各セグメントは、テンプレートで生成されたユニバーサルリソースロケータ(Universal Resource Locator、URL)によってアドレス指定可能である。各メディアコンテンツコンポーネントのプロパティは、AdaptationSet要素、及び/又は例えば、ContentComponent要素を含むAdaptionSet内の要素によって記述することができる。球体領域構造は、様々な記述子に対してシグナリングするDASH記述子の基礎をなすことに留意されたい。
更に、MPEG−Iは、MPEGメディアトランスポートを介して動的適応ストリーミングを使用して、全方位メディアをどのようにして、カプセル化、シグナリング、及びストリーミングするかを指定している。MMTは、ISO/IEC:ISO/IEC 23008−1,「Information technology−High efficiency coding and media delivery in heterogeneous environments−Part 1:MPEG media transport(MMT),」に記載されており、その全体が参照として本明細書に組み込まれる。MMTがビデオデータをストリーミングするために使用される場合、ビデオデータは、メディア処理ユニット(MPU)内にカプセル化してもよい。MMTは、MPUを、「MMTエンティティによって処理され、他のMPUから独立してプレゼンテーションエンジンによって消費され得るメディアデータ項目」として定義する。MPUの論理グループ分けが、MMTアセットを形成してもよく、MMTは、「マルチメディアプレゼンテーションを作り上げるために使用される任意のマルチメディアデータとしてアセットを定義する。アセットは、符号化されたメディアデータを搬送するための同じアセット識別子を共有するMPUの論理グループ分けである。」1つ以上のアセットがMMTパッケージを形成してもよく、MMTパッケージは、マルチメディアコンテンツの論理コレクションである。ISO/IEC 23008−1において提供されるように、MMTコンテンツは、メディアフラグメントユニット(MFU)、MPU、MMTアセット、及びMMTパッケージから構成される。MMTコンテンツを生成するために、符号化されたメディアデータが、MFUに分解される。ここで、MFUは、独立して復号することができる符号化ビデオデータ又は他のユニットのアクセスユニット又はスライスに対応し得る。1つ以上のMFUをMPUに組み合わせてもよい。MMTパッケージは、1つ以上のアセットを含むことに加えて、プレゼンテーション情報(PI)及びアセット配信特性(ADC)を含む。プレゼンテーション情報は、アセット間の空間的関係及び時間的関係を指定する文書(PI文書)を含む。場合によっては、パッケージ内のアセットの配信順序を決定するためにPI文書を使用してもよい。PI文書は、1つ以上のシグナリングメッセージとして配信してもよい。シグナリングメッセージは、1つ以上のテーブルを含んでもよい。アセット配信特性は、配信に対するサービス品質(QoS)要件及びアセット統計について記載している。
MPEG−Iは、OMAF仕様に従ってフォーマットされたVRコンテンツをストリーミングする目的で、アセット記述子及びアプリケーション固有シグナリングメッセージが定義される場合について記載している。MPEG−Iでは、以下のアプリケーションメッセージタイプが定義される。
・VRViewDependentSupportQuery:クライアントは、サーバがビュー依存ストリーミングをサポートしているかどうかを知るために、このコマンドを使用する
・VRViewDependentSupportResponse:サーバは、ビュー依存ストリーミングに対する、そのサポート能力の指示を伴って返信する。
・VRViewportChangeFeedback:受信エンティティは、現在のビューポートの指示を送信エンティティに送信する。
・VRViewDependentAssetsInformation:要求されたビューポートに一致するOMAFアセットのセットを決定した時点で、送信エンティティは、このメッセージを送信して、受信エンティティにストリーミングされることになる新しいOMAF Assetについてクライアントに通知する。
表1は、MPEG−Iで定義されるアプリケーションメッセージのタイプを含む。表1に示すように、上述のメッセージタイプに加えて、MPEG−Iは、ガイドされたレンダリングをサポートするためのVR−ROIGuideアプリケーションメッセージと、音声情報をシグナリングするためのVR3DAudioAssetInformationアプリケーション固有メッセージとを含む。
Figure 2021521676
VRViewDependentSupportResponseに関して、MPEG−Iは、表2に示すシンタックス及び以下のセマンティクスを提供する。表2及び下記の表において、uimsbfは、最上位ビットが先頭である符号なし整数のデータタイプを指し、bslbfは左ビットが先頭であるビット列のデータタイプを指すことに留意されたい。
Figure 2021521676

message_idは、VRViewDependentSupportQueryメッセージの識別子を示し、versionは、VRViewDependentSupportQueryメッセージのバージョンを示し、lengthは、VRViewDependentSupportQueryメッセージを、次のフィールドの最初からVRViewDependentSupportQueryメッセージの最終バイトへと数えたときの長さをバイトで示す。このフィールドの値は、0に等しくないものとする。application_identifierは、アプリケーションがこのメッセージの内容を消費することを一意に識別するurnとしてのアプリケーション識別子を示す。app_message_typeは、表1に提供されるアプリケーション固有メッセージタイプを定義する。view_dependent_supportは、ビュー依存ストリーミングがサーバによってサポートされているかどうかを示す。
VR3DAudioAssetlnformationに関して、MPEG−Iは、表3に示すシンタックス及び以下のセマンティクスを提供する。表3では簡潔にするために、各アセットに対する音声情報シンタックスは示されていないことに留意されたい。しかしながら、表3では、「urn:mpeg:mmt:app:vr:2017」に等しいアプリケーション識別子に対応する各メッセージについて、全ての音声情報シンタックスがシグナリングされることに留意されたい。
Figure 2021521676

message_idは、VR3DAudioAssetInformationメッセージの識別子を示し、versionは、VR3DAudioAssetInformationメッセージのバージョンを示し、lengthは、VR3DAudioAssetInformationメッセージを、次のフィールドの最初からVR3DAudioAssetInformationメッセージの最終バイトへと数えたときの長さをバイトで示す。このフィールドの値は、0に等しくないものとする。application_identifierは、アプリケーションがこのメッセージの内容を消費することを一意に識別するurnとしてのアプリケーション識別子を示す。
number_of_assetsは、この記述子によって記述される音声アセットの数を指定する。
asset_id_lengthは、音声アセットidの長さをバイトで指定する。asset_id_byteは、音声アセットidのバイトを含む。
MEPG−Iで定義されるアプリケーション固有のシグナリングメッセージは、理想的ではない場合がある。
図1は、本開示の1つ以上の技術による、ビデオデータをコード化する(符号化及び/又は復号する)ように構成することができる、システムの例を示すブロック図である。システム100は、本開示の1つ以上の技術に従って、ビデオデータをカプセル化することができるシステムの例を表す。図1に示すように、システム100は、ソースデバイス102と、通信媒体110と、目的デバイス120と、を含む。図1に示す例では、ソースデバイス102は、ビデオデータを符号化し、符号化したビデオデータを通信媒体110に送信するように構成された、任意のデバイスを含むことができる。目的デバイス120は、通信媒体110を介して符号化したビデオデータを受信し、符号化したビデオデータを復号するように構成された、任意のデバイスを含むことができる。ソースデバイス102及び/又は目的デバイス120は、有線及び/又は無線通信用に装備された演算デバイスを含むことができ、かつ、例えば、セットトップボックス、デジタルビデオレコーダ、テレビ、デスクトップ、ラップトップ、又はタブレットコンピュータ、ゲーム機、医療用撮像デバイス、及び、例えば、スマートフォン、セルラー電話、パーソナルゲームデバイスを含むモバイルデバイス、を含むことができる。
通信媒体110は、無線及び有線の通信媒体並びに/又は記憶デバイスの任意の組み合わせを含むことができる。通信媒体110としては、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイスとサイトとの間の通信を容易にするために有用であり得る任意の他の機器を挙げることができる。通信媒体110は、1つ以上のネットワークを含むことができる。例えば、通信媒体110は、ワールドワイドウェブ、例えば、インターネットへのアクセスを可能にするように構成されたネットワークを含むことができる。ネットワークは、1つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、専用の態様を含むことができ、及び/又は規格化された電気通信プロトコルを含むことができる。標準化された電気通信プロトコルの例としては、Digital Video Broadcasting(DVB)規格、Advanced Television Systems Committee(ATSC)規格、Integrated Services Digital Broadcasting(ISDB)規格、Data Over Cable Service Interface Specification(DOCSIS)規格、Global System Mobile Communications(GSM)規格、符号分割多重アクセス(code division multiple access、CDMA)規格、第三世代パートナーシッププロジェクト(3rd Generation Partnership Project、3GPP)規格、欧州電気通信標準化機構(European Telecommunications Standards Institute、ETSI)規格、インターネットプロトコル(Internet Protocol、IP)規格、ワイヤレスアプリケーションプロトコル(Wireless Application Protocol、WAP)規格、及びInstitute of Electrical and Electronics Engineers(IEEE)規格が挙げられる。
記憶デバイスは、データを記憶することができる任意の種類のデバイス又は記憶媒体を含むことができる。記憶媒体は、有形又は非一時的コンピュータ可読媒体を含むことができる。コンピュータ可読媒体としては、光学ディスク、フラッシュメモリ、磁気メモリ、又は任意の他の好適なデジタル記憶媒体を挙げることができる。いくつかの例では、メモリデバイス又はその一部分は不揮発性メモリとして説明されることがあり、他の例では、メモリデバイスの一部分は揮発性メモリとして説明されることがある。
揮発性メモリの例としては、ランダムアクセスメモリ(random access memory、RAM)、ダイナミックランダムアクセスメモリ(dynamic random access memory、DRAM)、及びスタティックランダムアクセスメモリ(static random access memory、SRAM)を挙げることができる。不揮発性メモリの例としては、磁気ハードディスク、光学ディスク、フロッピーディスク、フラッシュメモリ、又は電気的プログラム可能メモリ(electrically programmable memory、EPROM)若しくは電気的消去可能及びプログラム可能メモリ(electrically erasable and programmable、EEPROM)の形態を挙げることができる。記憶デバイス(単数又は複数)としては、メモリカード(例えば、セキュアデジタル(Secure Digital、SD)メモリカード)、内蔵/外付けハードディスクドライブ、及び/又は内蔵/外付けソリッドステートドライブを挙げることができる。データは、定義されたファイルフォーマットに従って記憶デバイス上に記憶することができる。
図7は、システム100の一実装形態に含まれ得る構成要素の一例を示す概念的描画である。図7に示す例示的な実装形態では、システム100は、1つ以上の演算デバイス402A〜402N、テレビサービスネットワーク404、テレビサービスプロバイダサイト406、ワイドエリアネットワーク408、ローカルエリアネットワーク410、及び1つ以上のコンテンツプロバイダサイト412A〜412Nを含む。図7に示す実装形態は、例えば、映画、ライブスポーツイベントなどのデジタルメディアコンテンツ、並びにデータ及びアプリケーション及びそれらに関連付けられたメディアプレゼンテーションが、演算デバイス402A〜402Nなどの複数の演算デバイスに配布され、かつ、それらによってアクセスされることが可能となるように構成され得るシステムの一例を表す。図7に示す例では、演算デバイス402A〜402Nは、テレビサービスネットワーク404、ワイドエリアネットワーク408、及び/又はローカルエリアネットワーク410のうちの1つ以上からデータを受信するように構成されている任意のデバイスを含むことができる。例えば、演算デバイス402A〜402Nは、有線及び/又は無線通信用に装備してもよく、1つ以上のデータチャネルを通じてサービスを受信するように構成してもよく、いわゆるスマートテレビ、セットトップボックス、及びデジタルビデオレコーダを含むテレビを含んでもよい。更に、演算デバイス402A〜402Nは、デスクトップ、ラップトップ又はタブレットコンピュータ、ゲーム機、例えば「スマート」フォン、セルラー電話、及びパーソナルゲーミングデバイスを含むモバイルデバイスを含んでもよい。
テレビサービスネットワーク404は、テレビサービスを含み得る、デジタルメディアコンテンツの配信を可能にするように構成されているネットワークの一例である。例えば、テレビサービスネットワーク404は、公共地上波テレビネットワーク、公共又は加入ベースの衛星テレビサービスプロバイダネットワーク、並びに公共又は加入ベースのケーブルテレビプロバイダネットワーク及び/又は頭越し型(over the top)サービスプロバイダ若しくはインターネットサービスプロバイダを含んでもよい。いくつかの実施例では、テレビサービスネットワーク404は、テレビサービスの提供を可能にするために主に使用され得るが、テレビサービスネットワーク404はまた、本明細書に記載された電気通信プロトコルの任意の組み合わせに基づく他の種類のデータ及びサービスの提供も可能とすることに留意されたい。更に、いくつかの実施例では、テレビサービスネットワーク404は、テレビサービスプロバイダサイト406と、演算デバイス402A〜402Nのうちの1つ以上との間の双方向通信を可能にし得ることに留意されたい。テレビサービスネットワーク404は、無線通信メディア及び/又は有線通信メディアの任意の組み合わせを含むことができる。テレビサービスネットワーク404は、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイスとサイトとの間の通信を容易にするために有用であり得る任意の他の機器を含むことができる。テレビサービスネットワーク404は、1つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、専用の態様を含むことができ、及び/又は規格化された電気通信プロトコルを含むことができる。規格化された電気通信プロトコルの例としては、DVB規格、ATSC規格、ISDB規格、DTMB規格、DMB規格、ケーブルによるデータサービスインターフェース標準(Data Over Cable Service Interface Specification、DOCSIS)規格、HbbTV規格、W3C規格、及びUPnP規格が挙げられる。
図7を再び参照すると、テレビサービスプロバイダサイト406は、テレビサービスネットワーク404を介してテレビサービスを配布するように構成することができる。例えば、テレビサービスプロバイダサイト406は、1つ以上の放送局、ケーブルテレビプロバイダ、又は衛星テレビプロバイダ、又はインターネットベースのテレビプロバイダを含み得る。例えば、テレビサービスプロバイダサイト406は、衛星アップリンク/ダウンリンクを介したテレビプログラムを含む送信を、受信するように構成することができる。更に、図7に示すように、テレビサービスプロバイダサイト406は、ワイドエリアネットワーク408と通信することができ、コンテンツプロバイダサイト412A〜412Nからデータを受信するように構成することができる。いくつかの実施例では、テレビサービスプロバイダサイト406は、テレビスタジオを含むことができ、コンテンツはそこから発信できることに留意されたい。
ワイドエリアネットワーク408は、パケットベースのネットワークを含み、1つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、専用の態様を含むことができ、及び/又は規格化された電気通信プロトコルを含むことができる。規格化された電気通信プロトコルの例としては、汎欧州デジタル移動電話方式(Global System Mobile Communications)(GSM)規格、符号分割多元接続(code division multiple access)(CDMA)規格、3rd Generation Partnership Project(3GPP)規格、欧州電気通信標準化機構(European Telecommunications Standards Institute)(ETSI)規格、欧州規格(EN)、IP規格、ワイヤレスアプリケーションプロトコル(Wireless Application Protocol)(WAP)規格、及び例えば、IEEE802規格のうちの1つ以上(例えば、Wi−Fi)などの電気電子技術者協会(Institute of Electrical and Electronics Engineers)(IEEE)規格が挙げられる。ワイドエリアネットワーク408は、無線通信メディア及び/又は有線通信メディアの任意の組み合わせを含むことができる。ワイドエリアネットワーク480は、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、イーサネットケーブル、無線送信部及び受信部、ルータ、スイッチ、リピータ、基地局、又は様々なデバイス及びサイト間の通信を容易にするために有用であり得る任意の他の機器を含むことができる。一実施例では、ワイドエリアネットワーク408はインターネットを含んでもよい。ローカルエリアネットワーク410は、パケットベースのネットワークを含み、1つ以上の電気通信プロトコルの組み合わせに従って動作することができる。ローカルエリアネットワーク410は、アクセス及び/又は物理インフラストラクチャのレベルに基づいてワイドエリアネットワーク408と区別することができる。例えば、ローカルエリアネットワーク410は、セキュアホームネットワークを含んでもよい。
図7を再び参照すると、コンテンツプロバイダサイト412A〜412Nは、マルチメディアコンテンツをテレビサービスプロバイダサイト406及び/又は演算デバイス402A〜402Nに提供することができるサイトの例を表す。例えば、コンテンツプロバイダサイトは、マルチメディアファイル及び/又はストリームをテレビサービスプロバイダサイト406に提供するように構成されている、1つ以上のスタジオコンテンツサーバを有するスタジオを含むことができる。一実施例では、コンテンツプロバイダのサイト412A〜412Nは、IPスイートを使用してマルチメディアコンテンツを提供するように構成してもよい。例えば、コンテンツプロバイダサイトは、リアルタイムストリーミングプロトコル(RTSP)、HTTPなどに従って、マルチメディアコンテンツを受信デバイスに提供するように構成してもよい。更に、コンテンツプロバイダサイト412A〜412Nは、ハイパーテキストベースのコンテンツなどを含むデータを、ワイドエリアネットワーク408を通じて、受信デバイスである演算デバイス402A〜402N、及び/又はテレビサービスプロバイダサイト406のうちの1つ以上に提供するように構成してもよい。コンテンツプロバイダサイト412A〜412Nは、1つ以上のウェブサーバを含んでもよい。データプロバイダサイト412A〜412Nによって提供されるデータは、データフォーマットに従って定義することができる。
図1を再び参照すると、ソースデバイス102は、ビデオソース104と、ビデオエンコーダ106と、データカプセル化装置107と、インターフェース108とを含む。ビデオソース104は、ビデオデータをキャプチャ及び/又は記憶するように構成された任意のデバイスを含むことができる。例えば、ビデオソース104は、ビデオカメラ及びそれに動作可能に結合された記憶デバイスを含むことができる。ビデオエンコーダ106は、ビデオデータを受信し、ビデオデータを表す適合したビットストリームを生成するように構成された、任意のデバイスを含むことができる。適合したビットストリームは、ビデオデコーダが受信し、それからビデオデータを再生することができるビットストリームを指すことがある。適合したビットストリームの態様は、ビデオ符号化標準に従って定義することができる。適合したビットストリームを生成するとき、ビデオエンコーダ106は、ビデオデータを圧縮することができる。圧縮は、非可逆的(視聴者に認識可能若しくは認識不可能)又は可逆的とすることができる。
再び図1を参照すると、データカプセル化装置107は、符号化ビデオデータを受信し、定義されたデータ構造に従って、例えば、一連のNALユニットである準拠ビットストリームを生成することができる。準拠ビットストリームを受信するデバイスは、そこからビデオデータを再生成することができる。適合ビットストリームという用語は、準拠ビットストリームという用語の代わりに使用され得ることに留意されたい。データカプセル化装置107は、ビデオエンコーダ106と同じ物理デバイス内に配置される必要はないことに留意されたい。例えば、ビデオエンコーダ106及びデータカプセル化装置107によって実行されるものとして説明される機能は、図7に示すデバイス間で配布してもよい。一実施例では、データカプセル化装置107は、1つ以上のメディアコンポーネントを受信し、DASH及び/又はMMTに基づいてメディアプレゼンテーションを生成するように構成されたデータカプセル化装置を含むことができる。
データカプセル化装置107は、メディアプレゼンテーション記述フラグメントを生成するように構成してもよい。データカプセル化装置107は、メディアコンポーネントを受信し、メディアプレゼンテーションに含めるための1つ以上のセグメントを生成するように構成してもよい。データカプセル化装置107は、本明細書に記載された技術に従ってパッケージを生成するように構成してもよい。データカプセル化装置107は、符号化されたビデオデータを受信し、パッケージに含めるための1つ以上のアセットを生成するように構成してもよい。データカプセル化装置107は、パッケージに含まれるアセットに関する情報を受信し、QoS要件を提供するように構成してもよい。データカプセル化装置107は、プレゼンテーション情報文書を生成するように構成してもよい。
上述のように、MPEG−Iで定義されるアプリケーション固有のシグナリングメッセージは、理想的ではない場合がある。例えば、上述のように、VRViewDependentSupportResponseメッセージに関して、7ビットのシンタックス要素に対して、以下のセマンティクス、view_dependent_supportが提供され、view_dependent_supportは、ビュー依存ストリーミングがサーバによってサポートされているかどうかを示す。
しかしながら、MPEG−Iは、ビュー依存ストリーミングがサーバによってサポートされているかどうかを示すために、view_dependent_supportの7ビットがどのように使用されるかを示すことができない。本明細書の技術によれば、データカプセル化装置107は、表2に提供されたシンタックスに従って、VRViewDependentSupportResponseメッセージをシグナリングするように構成してもよい。ここで、view_dependent_supportは以下のセマンティクスを有する。1に等しいview_dependent_supportは、ビュー依存ストリーミングがサーバによってサポートされていることを指定し、0に等しいview_dependent_supportは、ビュー依存ストリーミングがサーバによってサポートされていないことを指定する。値2〜127は予約済みである。
別の例では、1ビットは、view_dependent_supportをbslbfとしてシグナリングするために使用してもよく、7ビットは、uimsbfとして‘1111111’として予約済みのままとなる。この場合、view_dependent_supportのセマンティクスは、以下の通りであってもよい。
1に等しいview_dependent_supportは、ビュー依存ストリーミングがサーバによってサポートされていることを指定する。0に等しいview_dependent_supportは、ビュー依存ストリーミングがサーバによってサポートされていないことを指定する。
VR3DAudioAssetlnformationに関して、本明細書の技術によれば、データカプセル化装置107は、上記の表4に提供されたシンタックスに従って、VRViewDependentSupportResponseメッセージをシグナリングするように構成してもよい。表4では簡潔にするために、各アセットに対する音声情報シンタックスは示されていないことに留意されたい。更に、表4では、シンタックス要素である、message_id、version、length、application_identifier、number_of_assets、asset_id_length、及びasset_id_byteは、上述のセマンティクスを有し得ることに留意されたい。
Figure 2021521676
一実施例では、本明細書の技術によれば、app_message_typeは、以下のセマンティクスを有し得る。
app_message_typeは、表1に提供されるアプリケーション固有メッセージタイプを定義する。
このようにして、データカプセル化装置107は、アプリケーション固有メッセージタイプを定義するシンタックス要素を、音声情報をシグナリングするアプリケーション固有メッセージ内に含み、条件付きで、アプリケーション固有メッセージタイプを定義するシンタックス要素の値に基づいて、シンタックス要素をシグナリングするように構成されている。
別の例では、app_message_typeが上記の表4の0x06に等しい代わりに、いくつかの他の値を使用してもよい。例えば、値0x07を使用してもよい。
再び図1を参照すると、インターフェース108は、データカプセル化装置107によって生成されたデータを受信し、データを送信及び/又は通信メディアに記憶するように構成された任意のデバイスを含んでもよい。インターフェース108は、イーサネットカードなどのネットワークインターフェースカードを含むことができ、光送受信機、無線周波数送受信機、又は情報を送信及び/若しくは受信することができる任意の他の種類のデバイスを含んでもよい。更に、インターフェース108は、ファイルを記憶デバイス上に記憶することを可能にすることができるコンピュータシステムインターフェースを含むことができる。例えば、インターフェース108は、Peripheral Component Interconnect(PCI)バスプロトコル及びPeripheral Component Interconnect Express(PCIe)バスプロトコル、独自のバスプロトコル、ユニバーサルシリアルバス(Universal Serial Bus)(USB)プロトコル、I2C、又はピアデバイスを相互接続するために使用することができる任意の他の論理及び物理構造をサポートする、チップセットを含むことができる。
図1を再び参照すると、目的デバイス120は、インターフェース122と、データ脱カプセル化装置123と、ビデオデコーダ124と、ディスプレイ126とを含む。インターフェース122は、通信媒体からデータ受信するように構成されている任意のデバイスを含むことができる。インターフェース122は、イーサネットカードなどのネットワークインターフェースカードを含むことができ、光送受信機、無線周波数送受信機、又は情報を受信及び/若しくは送信することができる任意の他の種類のデバイスを含むことができる。更に、インターフェース122は、適合したビデオビットストリームを記憶デバイスから取得することを可能にするコンピュータシステム用インターフェースを含むことができる。例えば、インターフェース122は、PCIバスプロトコル及びPCIeバスプロトコル、独自のバスプロトコル、USBプロトコル、I2C、又はピアデバイスを相互接続するために使用することができる任意の他の論理及び物理構造をサポートする、チップセットを含むことができる。データデカプセル化部123は、データカプセル化部107によって生成されたビットストリームを受信し、本明細書に記載された技術のうちの1つ以上に従ってサブビットストリーム抽出を実行するように構成することができる。
ビデオデコーダ124は、ビットストリーム及び/又はその許容可能な変形を受信し、それからビデオデータを再生するように構成されている任意のデバイスを含むことができる。ディスプレイ126は、ビデオデータを表示するように構成された任意のデバイスを含むことができる。ディスプレイ126は、液晶ディスプレイ(liquid crystal display、LCD)、プラズマディスプレイ、有機発光ダイオード(organic light emitting diode、OLED)ディスプレイ、又は別の種類のディスプレイなどの、様々なディスプレイデバイスのうちの1つを含むことができる。ディスプレイ126は、高解像度ディスプレイ又は超高解像度ディスプレイを含むことができる。ディスプレイ126は、ステレオスコープディスプレイを含んでもよい。図1に示す例では、ビデオデコーダ124は、データをディスプレイ126に出力するように説明されているが、ビデオデコーダ124は、ビデオデータを様々な種類のデバイス及び/又はそのサブコンポーネントに出力するように構成することができることに留意されたい。例えば、ビデオデコーダ124は、本明細書で説明するような任意の通信媒体にビデオデータを出力するように構成することができる。宛先デバイス120は、受信デバイスを含むことができる。
図8は、本開示の1つ以上の技術を実施できる受信デバイスの例を示すブロック図である。すなわち、受信デバイス600は、上述のセマンティクスに基づいて信号をパースするように構成してもよい。更に、受信デバイス600は、本明細書に記載される予想されるプレイ挙動に従って動作するように構成してもよい。更に、受信デバイス600は、本明細書に記載される変換技術(translation technique)を実行するように構成してもよい。受信デバイス600は、通信ネットワークからデータを受信し、仮想現実アプリケーションを含むマルチメディアコンテンツにユーザがアクセスすることを可能にするように構成され得る演算デバイスの一例である。図8に示す実施例では、受信デバイス600は、例えば上述のテレビサービスネットワーク404などの、テレビネットワークを介してデータを受信するように構成されている。更に、図8に示す例では、受信デバイス600は、ワイドエリアネットワークを介してデータを送受信するように構成されている。他の実施例では、受信デバイス600は、テレビサービスネットワーク404を介して単にデータを受信するように構成してもよいことに留意されたい。本明細書に記載された技術は、通信ネットワークのうちのいずれか及び全ての組み合わせを使用して通信するように構成されているデバイスによって利用され得る。
図8に示すように、受信デバイス600は、中央処理装置(単数又は複数)602、システムメモリ604、システムインターフェース610、データ抽出装置612、音声デコーダ614、音声出力システム616、ビデオデコーダ618、表示システム620、I/Oデバイス(単数又は複数)622、及びネットワークインターフェース624を含む。図8に示すように、システムメモリ604は、オペレーティングシステム606及びアプリケーション608を含む。中央処理装置(単数又は複数)602、システムメモリ604、システムインターフェース610、データ抽出装置612、音声デコーダ614、音声出力システム616、ビデオデコーダ618、表示システム620、I/Oデバイス(単数又は複数)622、及びネットワークインターフェース624の各々は、コンポーネント間通信のために(物理的、通信的、及び/又は動作的に)相互接続してもよく、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(digital signal processor、DSP)、特定用途向け集積回路(application specific integrated circuit、ASIC)、フィールドプログラマブルゲートアレイ(field programmable gate array、FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はこれらの組み合わせなどの様々な好適な回路のいずれかとして実装することができる。受信デバイス600は、別個の機能ブロックを有するものとして図示されているが、このような図示は、説明を目的としており、受信デバイス600を特定のハードウェアアーキテクチャに限定しないという点に留意されたい。受信デバイス600の機能は、ハードウェア実装、ファームウェア実装、及び/又はソフトウェア実装の任意の組み合わせを使用して実現することができる。
CPU(単数又は複数)602は、受信デバイス600において実行するための機能及び/又はプロセス命令を実施するように構成してもよい。CPU(単数又は複数)602は、シングルコア及び/又はマルチコアの中央処理装置を含むことができる。CPU(単数又は複数)602は、本明細書に記載された技術のうちの1つ以上を実施するための命令、コード、及び/又はデータ構造を検索及び処理することが可能であり得る。命令は、システムメモリ604などのコンピュータ可読媒体に記憶することができる。
システムメモリ604は、非一時的又は有形のコンピュータ可読記憶媒体として記載することができる。いくつかの実施例では、システムメモリ604は、一時的及び/又は長期記憶部を提供することができる。いくつかの実施例では、システムメモリ604又はその一部は、不揮発性メモリとして記述してもよく、別の実施例では、システムメモリ604の一部は、揮発性メモリとして記述してもよい。システムメモリ604は、動作中に受信デバイス600によって使用され得る情報を記憶するように構成してもよい。システムメモリ604は、CPU(単数又は複数)602によって実行するためのプログラム命令を記憶するために使用することができ、受信デバイス600上で実行しているプログラムによって、プログラム実行中に情報を一時的に記憶するために使用してもよい。更に、受信デバイス600がデジタルビデオレコーダの一部として含まれる実施例では、システムメモリ604は、多数のビデオファイルを記憶するように構成してもよい。
アプリケーション608は、受信デバイス600内で実施されるか又はそれによって実行されるアプリケーションを含むことができ、受信デバイス600の構成要素内に実装されるか若しくは含まれ、それによって動作可能であり、それによって実行され、及び/又は動作的/通信的に結合され得る。アプリケーション608は、受信デバイス600のCPU(単数又は複数)602に特定の機能を実行させることができる命令を含むことができる。アプリケーション608は、forループ、whileループ、ifステートメント、doループなどのコンピュータプログラミングステートメントで表現されたアルゴリズムを含むことができる。アプリケーション608は、特定のプログラミング言語を使用して開発することができる。プログラミング言語の例としては、Java(商標)、Jini(商標)、C、C++、Objective C、Swift、Perl、Python、PhP、UNIX Shell、Visual Basic、及びVisual Basic Scriptが挙げられる。受信デバイス600がスマートテレビを含む実施例では、テレビ製造業者又は放送局によってアプリケーションが開発してもよい。図8に示すように、アプリケーション608は、オペレーティングシステム606と連携して実行することができる。すなわち、オペレーティングシステム606は、受信デバイス600のCPU(単数又は複数)602及び他のハードウェアコンポーネントとのアプリケーション608のインタラクションを容易にするように構成してもよい。オペレーティングシステム606は、セットトップボックス、デジタルビデオレコーダ、テレビなどにインストールされるように設計されたオペレーティングシステムであってよい。本明細書に記載された技術は、ソフトウェアアーキテクチャのいずれか及び全ての組み合わせを使用して動作するように構成されたデバイスによって利用され得ることに留意されたい。
システムインターフェース610は、受信デバイス600の構成要素間で通信できるように構成してもよい。一実施例では、システムインターフェース610は、あるピアデバイスから別のピアデバイス又は記憶媒体にデータを転送することを可能にする構造を含む。例えば、システムインターフェース610は、アクセラレーテッドグラフィックスポート(Accelerated Graphics Port、AGP)ベースプロトコル、例えば、Peripheral Component Interconnect Special Interest Groupによって管理されたPCI Express(商標)(PCIe)バス仕様などのペリフェラルコンポーネントインターコネクト(Peripheral Component Interconnect、PCI)バスベースプロトコル、又はピアデバイスを相互接続するために使用することができる任意の他の形態の構造(例えば、独自のバスプロトコル)をサポートするチップセットを含むことができる。
上述のように、受信デバイス600は、テレビサービスネットワークを介してデータを受信し、任意選択的に送信するように構成されている。上述のように、テレビサービスネットワークは、電気通信規格に従って動作することができる。電気通信規格は、例えば、物理シグナリング、アドレス指定、チャネルアクセス制御、パケット特性、及びデータ処理などの通信特性(例えば、プロトコル層)を定義することができる。図8に示す例では、データ抽出装置612は、信号からビデオ、音声、及びデータを抽出するように構成してもよい。信号は、例えば、態様DVB規格、ATSC規格、ISDB規格、DTMB規格、DMB規格、及びDOCSIS規格に従って定義され得る。
データ抽出装置612は、信号からビデオ、音声、及びデータを抽出するように構成してもよい。すなわち、データ抽出装置612は、サービス配信エンジンに対して相互的な方法で動作することができる。データパケットは、CPU(単数又は複数)602、音声デコーダ614、及びビデオデコーダ618によって処理してもよい。音声デコーダ614は、音声パケットを受信及び処理するように構成してもよい。例えば、音声デコーダ614は、音声コーデックの態様を実施するように構成されているハードウェア及びソフトウェアの組み合わせを含むことができる。すなわち、音声デコーダ614は、音声パケットを受信して、レンダリングのために音声出力システム616に音声データを提供するように構成してもよい。音声データは、Dolby及びDigital Theater Systemsによって開発されたものなどのマルチチャネルフォーマットを使用して、符号化してもよい。音声データは、音声圧縮フォーマットを使用して符号化してもよい。音声圧縮フォーマットの例としては、Motion Picture Experts Group(MPEG)フォーマット、先進的音響符号化(Advanced Audio Coding、AAC)フォーマット、DTS−HDフォーマット、及びドルビーデジタル(AC−3)フォーマットが挙げられる。音声出力システム616は、音声データをレンダリングするように構成してもよい。例えば、音声出力システム616は、音声プロセッサ、デジタル/アナログ変換装置、増幅器、及びスピーカシステムを含むことができる。スピーカシステムは、ヘッドホン、統合ステレオスピーカシステム、マルチスピーカシステム、又はサラウンドサウンドシステムなどの様々なスピーカシステムのいずれかを含むことができる。
ビデオデコーダ618は、ビデオパケットを受信及び処理するように構成してもよい。例えば、ビデオデコーダ618は、ビデオコーデックの態様を実施するように使用されるハードウェア及びソフトウェアの組み合わせを含むことができる。一例では、ビデオデコーダ618は、ITU−T H.262又はISO/IEC MPEG−2 Visual、ISO/IEC MPEG−4 Visual、ITU−T H.264(ISO/IEC MPEG−4 Advanced video Coding(AVC)としても知られている)、及びHigh−Efficiency Video Coding(HEVC)などの任意の数のビデオ圧縮規格に従って符号化されたビデオデータを復号化するように構成してもよい。表示システム620は、表示のためにビデオデータを検索及び処理するように構成してもよい。例えば、表示システム620は、ビデオデコーダ618から画素データを受信し、ビジュアルプレゼンテーションのためにデータを出力することができる。更に、表示システム620は、ビデオデータと関連するグラフィックス(例えば、グラフィカルユーザインターフェース)を出力するように構成してもよい。表示システム620は、液晶ディスプレイ(liquid crystal display、LCD)、プラズマディスプレイ、有機発光ダイオード(organic light emitting diode、OLED)ディスプレイ、又はビデオデータをユーザに提示することができる別のタイプのディスプレイデバイスなどの様々な表示デバイスのうちの1つを含むことができる。表示デバイスは、標準精細度コンテンツ、高精細度コンテンツ、又は超高精度コンテンツを表示するように構成してもよい。
I/Oデバイス(単数又は複数)622は、受信デバイス600の動作中に入力を受信し、出力を提供するように構成してもよい。すなわち、I/Oデバイス(単数又は複数)622は、レンダリングされるマルチメディアコンテンツをユーザが選択できるようにする。入力は、例えば、押しボタン式リモートコントロール、タッチ感知スクリーンを含むデバイス、モーションベースの入力デバイス、音声ベースの入力デバイス、又はユーザ入力を受信するように構成された任意の他のタイプのデバイスなどの入力デバイスから生成され得る。I/Oデバイス(単数又は複数)622は、例えば、ユニバーサルシリアルバスプロトコル(Universal Serial Bus、USB)、Bluetooth(登録商標)、ZigBee(登録商標)などの規格化された通信プロトコル、又は例えば、独自の赤外線通信プロトコルなどの独自の通信プロトコルを使用して、受信デバイス600に動作可能に結合され得る。
ネットワークインターフェース624は、受信デバイス600がローカルエリアネットワーク及び/又はワイドエリアネットワークを介してデータを送信及び受信できるように構成してもよい。ネットワークインターフェース624は、Ethernet(登録商標)カードなどのネットワークインターフェースカード、光トランシーバ、無線周波数トランシーバ、又は情報を送信及び受信するように構成された任意の他の種類のデバイスを含むことができる。ネットワークインターフェース624は、ネットワークで利用される物理層及びメディアアクセス制御(Media Access Control、MAC)層に従って、物理的シグナリング、アドレッシング、及びチャネルアクセス制御を実行するように構成してもよい。受信デバイス600は、本明細書に記載された技術のいずれかに従って生成された信号をパースするように構成してもよい。このようにして、受信デバイス600は、アプリケーション固有メッセージタイプを定義するシンタックス要素の値に基づいて、シンタックス要素を条件付きでパースすることを含んで、音声情報を示すアプリケーション固有メッセージをパースするように構成されたデバイスの例を表す。
1つ以上の例では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせで実装することができる。ソフトウェアで実装される場合に、この機能は、コンピュータ可読媒体上の1つ以上の命令又はコードとして記憶するか又は伝送され、ハードウェアベースの処理部によって実行することができる。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、データ記憶媒体又は通信媒体などの有形の媒体に対応する、コンピュータ可読記憶媒体を含むことができる。このようにして、コンピュータ可読媒体は、一般に、(1)非一時的な有形のコンピュータ可読記憶媒体、又は(2)信号又は搬送波などの通信媒体に対応することができる。データ記憶媒体は、本開示中に記載された技術の実現のための命令、コード、及び/又はデータ構造を取り出すために、1つ以上のコンピュータ又は1つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。
一例として、非限定的に、このようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD−ROM、又は他の光学ディスク記憶装置、磁気ディスク記憶装置、他の磁気記憶装置、フラッシュメモリ、又は任意の他の媒体、すなわち命令又はデータ構造の形式で所望のプログラムコードを記憶するために使用可能であり、かつコンピュータによりアクセス可能な任意の他の媒体を含むことができる。また、任意の接続は、コンピュータ可読媒体と適切に呼ばれる。例えば、命令がウェブサイト、サーバ、又は他のリモートソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(digital subscriber line、DSL)、あるいは赤外線、無線及びマイクロ波などの無線技術を使用して伝送される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、あるいは赤外線、無線及びマイクロ波などの無線技術は、媒体の定義に含まれる。しかし、コンピュータ可読媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一過性媒体を含まないが、代わりに非一時的な有形記憶媒体を対象としていることを理解すべきである。本発明で使用する場合、ディスク(disk)及びディスク(disc)は、コンパクトディスク(Compact Disc、CD)、レーザーディスク(laser disc)、光学ディスク(optical disc)、デジタル多用途ディスク(Digital Versatile Disc、DVD)、フロッピーディスク(floppy disk)及びブルーレイ(登録商標)ディスク(Blu-ray(登録商標)disc)を含み、ディスク(disk)は通常データを磁気的に再生し、ディスク(disc)はレーザを用いてデータを光学的に再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれなければならない。
命令は、1つ以上のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は他の同等の集積又はディスクリートロジック回路などの1つ以上のプロセッサによって実行することができる。したがって、本明細書で使用されるとき、用語「プロセッサ」は、前記の構造、又は本明細書で説明する技術の実装に好適な任意の他の構造のいずれかを指すことができる。加えて、いくつかの態様において、本明細書に記載の機能は、符号化及び復号化するように構成された、又は複合コーデックに組み込まれた専用のハードウェアモジュール及び/又はソフトウェアモジュール内に設けられ得る。また、この技術は、1つ以上の回路又は論理素子中に完全に実装することができる。
本開示の技術は、無線ハンドセット、集積回路(integrated circuit、IC)、又はICのセット(例えば、チップセット)を含む多種多様なデバイス又は装置に実装することができる。様々なコンポーネント、モジュール、又はユニットは、開示された技術を実行するように構成されたデバイスの機能的な態様を強調するために本開示中に記載されているが、異なるハードウェアユニットによる実現は必ずしも必要ではない。むしろ、前述したように、様々なユニットは、コーデックハードウェアユニットと組み合わせてもよく、又は好適なソフトウェア及び/又はファームウェアと共に、前述の1つ以上のプロセッサを含む、相互動作ハードウェアユニットの集合によって提供することができる。
更に、上述の各実装形態で用いた基地局装置や端末装置の各機能ブロックや各種の機能は、一般的には集積回路又は複数の集積回路である電気回路によって実現又は実行することができる。本明細書に記載の機能を実行するように設計された回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け又は汎用アプリケーション集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)若しくは他のプログラマブルロジックデバイス、ディスクリートゲート若しくはトランジスタロジック、若しくは個々のハードウェアコンポーネント、又はそれらの組み合わせを備えていてもよい。汎用プロセッサは、マイクロプロセッサでもよく、あるいは、プロセッサは、従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンでもよい。上述した汎用プロセッサ又は各回路は、デジタル回路で構成しても、又はアナログ回路で構成してもよい。更に、半導体技術の進歩により現時点での集積回路に置き換わる集積回路化技術が現れれば、この技術による集積回路もまた使用可能となる。
様々な実施例について説明した。これら及び他の実施例は、以下の特許請求の範囲内である。
<相互参照>
本特許出願は、米国特許法第119条の下で、2018年4月16日の仮出願第62/658,529号の優先権を主張するものであり、その内容の全体は、参照により本明細書に組み込まれる。

Claims (5)

  1. 全方位ビデオに関連付けられた情報をシグナリングするための方法であって、
    アプリケーション固有メッセージタイプを定義するシンタックス要素の値に基づいてシンタックス要素を条件付きでシグナリングすることを含む、音声情報を示すアプリケーション固有メッセージをシグナリングするステップを含む、方法。
  2. 全方位ビデオに関連付けられた情報を決定する方法であって、
    アプリケーション固有メッセージタイプを定義するシンタックス要素の値に基づいて、シンタックス要素を条件付きでパースすることを含む、音声情報を示すアプリケーション固有メッセージをパースするステップを含む、方法。
  3. 請求項1又は2に記載のステップのいずれか及び全ての組み合わせを実行するように構成されている1つ以上のプロセッサを備える、デバイス。
  4. 請求項1又は2に記載のステップのいずれか及び全ての組み合わせを実行する手段を備える、装置。
  5. 記憶された命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は実行されると、デバイスの1つ以上のプロセッサに、請求項1又は2に記載のステップのいずれか及び全ての組み合わせを実行させる、非一時的コンピュータ可読記憶媒体。
JP2020554917A 2018-04-16 2019-04-10 仮想現実アプリケーションにおいて特定のメッセージをシグナリングするためのシステム及び方法 Pending JP2021521676A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862658529P 2018-04-16 2018-04-16
US62/658,529 2018-04-16
PCT/JP2019/015699 WO2019203102A1 (en) 2018-04-16 2019-04-10 Systems and methods for signaling application specific messages in a virtual reality application

Publications (1)

Publication Number Publication Date
JP2021521676A true JP2021521676A (ja) 2021-08-26

Family

ID=68239598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020554917A Pending JP2021521676A (ja) 2018-04-16 2019-04-10 仮想現実アプリケーションにおいて特定のメッセージをシグナリングするためのシステム及び方法

Country Status (3)

Country Link
US (1) US20210084283A1 (ja)
JP (1) JP2021521676A (ja)
WO (1) WO2019203102A1 (ja)

Also Published As

Publication number Publication date
WO2019203102A1 (en) 2019-10-24
US20210084283A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
US20200120326A1 (en) Systems and methods for signaling view information for virtual reality applications
WO2019189038A1 (en) Systems and methods for signaling camera parameter information
JP2021536163A (ja) サブピクチャ時限メタデータ情報をシグナリングするシステム及び方法
WO2019146601A1 (en) Systems and methods for signaling position information
WO2019194241A1 (en) Systems and methods for signaling sub-picture composition information for virtual reality applications
US10880617B2 (en) Systems and methods for signaling quality information for regions in virtual reality applications
US10848735B2 (en) Systems and methods for signaling information associated with constituent pictures in virtual reality applications
WO2020184645A1 (en) Systems and methods for signaling viewpoint information in omnidirectional media
US20210219013A1 (en) Systems and methods for signaling overlay information
US20200344462A1 (en) Systems and methods for signaling sub-picture composition information for virtual reality applications
US20200221104A1 (en) Systems and methods for signaling a projected region for virtual reality applications
US20200382809A1 (en) Systems and methods for signaling of information associated with most-interested regions for virtual reality applications
WO2021125117A1 (en) Systems and methods for signaling information for a mesh in omnidirectional media
JP2021521676A (ja) 仮想現実アプリケーションにおいて特定のメッセージをシグナリングするためのシステム及び方法
WO2021075407A1 (en) Systems and methods for enabling interactivity for actionable locations in omnidirectional media
WO2021137300A1 (en) Systems and methods for signaling viewpoint switching information in omnidirectional media
WO2021125185A1 (en) Systems and methods for signaling viewpoint looping information in omnidirectional media
US20230421828A1 (en) Systems and methods for signaling content component information in omnidirectional media
WO2020141604A1 (en) Systems and methods for signaling camera parameter information
WO2019139052A1 (en) Systems and methods for signaling source information for virtual reality applications
WO2018179843A1 (en) Systems and methods for signaling information for virtual reality applications