JP2015533055A - ビデオコーディングのためのフレームパッキングされたステレオスコピック3dビデオデータの指示 - Google Patents

ビデオコーディングのためのフレームパッキングされたステレオスコピック3dビデオデータの指示 Download PDF

Info

Publication number
JP2015533055A
JP2015533055A JP2015533158A JP2015533158A JP2015533055A JP 2015533055 A JP2015533055 A JP 2015533055A JP 2015533158 A JP2015533158 A JP 2015533158A JP 2015533158 A JP2015533158 A JP 2015533158A JP 2015533055 A JP2015533055 A JP 2015533055A
Authority
JP
Japan
Prior art keywords
video data
video
indication
frame
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015533158A
Other languages
English (en)
Other versions
JP2015533055A5 (ja
JP6407867B2 (ja
Inventor
ワン、イェ−クイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015533055A publication Critical patent/JP2015533055A/ja
Publication of JP2015533055A5 publication Critical patent/JP2015533055A5/ja
Application granted granted Critical
Publication of JP6407867B2 publication Critical patent/JP6407867B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336Control signals issued by server directed to the network components or client directed to client directed to decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

この開示は、ビデオデータは、フレームパッキングされたステレオスコピック3Dビデオデータフォーマット形式であるという指示をシグナリングおよび用いるための技術を記述する。この開示の一例において、ビデオデータを復号するための方法は、ビデオデータを受信し、前記受信されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を受信し、前記受信された指示にしたがって前記受信されたビデオデータを復号することを備える。ビデオデコーダがフレームパッキングされたステレオスコピック3Dビデオデータを復号することができないときには、前記受信されたビデオデータは拒絶される。

Description

[0001]米国仮出願第61/703662号(2012年9月20日出願)および米国仮出願第61/706647号(2012年9月27日出願)の利益を請求するものである。これら両出願の全体の内容は参照によってここに組み込まれている。
[0002]この開示は、ビデオコーディングに関するものである。
[0003]デジタルビデオ能力は、デジタルテレビ、デジタル直接放送システム、無線放送システム、パーソナルデジタルアシスタント(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、eブックリーダ、デジタルカメラ、デジタル記憶装置、デジタルメディアプレーヤ、ビデオゲーム装置、ビデオゲームコンソール、セルラまたは衛星無線電話、いわゆる“スマートフォン”、ビデオ遠隔会議装置、ビデオストリーミング装置、その他を含む、広範囲のデバイスに組み込むことが可能である。デジタルビデオ装置は、MPEG-2、MPEG-4、ITU−T H.263、ITU−T H.264/MPEG−4、パート10、アドバンストビデオコーディング(AVC)、現在開発中の高効率ビデオコーディング(HEVC)標準、そのような標準の拡張、によって定義される標準に記述されたビデオ圧縮技術を実装する。ビデオ装置は、そのようなビデオ圧縮技術を実装することによって、より効率よくデジタルビデオ情報を送信、受信、符号化、復号および/または記憶することができる。
[0004]ビデオ圧縮技術は、ビデオシーケンスに固有の余剰性を低減あるいは除去するために、空間的(イントラピクチャ)および/または時間的(インタピクチャ)予測を実行する。ブロックに基づくビデオコーディングにおいては、ビデオスライス(すなわち、ビデオフレームまたはビデオフレームの一部)は、ツリーブロック、コーディングユニット(CU)および/またはコーディングノードともよばれる、ビデオブロックに分割されることができる。ピクチャのイントラコーディングされた(I)スライスにおけるビデオブロックは、同じピクチャの隣接ブロックにおける基準サンプルに関して空間予測を用いて符号化される。ピクチャのインターコーディングされた(PまたはB)スライスのビデオブロックは、同じピクチャの基準サンプルに関して空間予測を使用し、他の基準ピクチャの基準サンプルに関して時間予測を使用することができる。ピクチャはフレームと呼ぶことができ、基準ピクチャは基準フレームと呼ぶことができる。
[0005]空間あるいは時間予測により、コーディングすべきブロックに関する予測ブロックが得られる。残差データは、コーディングすべく原ブロックと、予測ブロック間のピクセルの相違を表している。インターコーディングされたブロックは、予測ブロックを形成する基準サンプルのブロックを指し示す動きベクトルにしたがって符号化されるとともに、残差データは、コーディングされたブロックと、予測ブロック間の相違を示している。イントラコーディングされたブロックは、イントラコーディングモードおよび残差データにしたがって符号化される。さらなる圧縮を行う場合には、残差データはピクセル領域から変換領域に変換されることができ、これにより残差変換係数が得られるが、これは次に量子化される。量子化された変換係数は、最初は2次元アレイに配置されているが、変換係数の1次元ベクトルを生成するために走査されることができ、さらなる圧縮を達成するためにエントロピー符号化が適用される。
[0006]概して、この開示は、シグナリングのための技術を記述するものであり、ビデオデータはフレームパッキングされたステレオスコピック3Dビデオデータフォーマット(frame-packed stereoscopic 3D video format)形式であるとの指示を使用する。
[0007]本開示の一例において、ビデオデータを復号するための方法は、ビデオデータを受信することと、受信されたビデオデータにおけるピクチャが、フレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を受信することと、受信された指示にしたがって受信したビデオデータを復号することと、を備える。
[0008]本開示の他の例において、ビデオデータを符号化するための方法は、ビデオデータを符号化することと、符号化されたビデオデータにおけるピクチャが、フレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を生成することと、符号化されたビデオビットストリームにおいて前記指示をシグナリングすることと、を備える。
[0009]本開示の他の例において、ビデオデータを復号するように構成された装置は、ビデオデータを受信し、受信されたビデオデータにおけるピクチャが、フレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を受信し、受信された指示にしたがって受信したビデオデータを復号するように構成されたビデオデコーダを備える。
[0010]本開示の他の例において、ビデオデータを符号化するように構成された装置は、ビデオデータを符号化し、符号化されたビデオデータにおけるピクチャが、フレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を生成し、符号化されたビデオビットストリームにおいて前記指示をシグナリングするように構成されたビデオエンコーダを備える。
[0011]本開示の他の例において、ビデオデータを復号するように構成された装置は、ビデオデータを受信するための手段と、受信されたビデオデータにおけるピクチャが、フレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を受信するための手段と、前記受信された指示にしたがって前記受信されたビデオデータを復号するための手段と、を備える。
[0012]本開示の他の例において、ビデオデータを符号化するための装置は、ビデオデータを符号化するための手段と、符号化されたビデオデータにおけるピクチャが、フレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を生成するための手段と、符号化されたビデオビットストリームにおいて前記指示をシグナリングするための手段と、を備える。
[0013]他の例において、この開示は、実行されたときに、装置の1つ以上のプロセッサに、ビデオデータを受信するためにビデオデータを復号させ、受信されたビデオデータにおけるピクチャが、フレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を受信させ、前記受信された指示にしたがって受信されたビデオデータを復号させる、命令を記憶するコンピュータ読み取り可能な記憶媒体を記述する。
[0014]他の例において、この開示は、実行されたときに、装置の1つ以上のプロセッサに、ビデオデータを符号化するためにビデオデータを符号化させ、符号化されたビデオデータにおけるピクチャが、フレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を生成させ、符号化されたビデオストリームにおいて前記指示をシグナリングさせる、命令を記憶するコンピュータ読み取り可能な記憶媒体を記述する。
[0015]この開示の技術はまた、当該技術を実行するように構成された装置の観点から、および、1つ以上のプロセッサに当該技術を実行させる命令を記憶するコンピュータ読み取り可能な媒体の観点から記述される。
[0016]1つ以上の例の詳細は、添付の図面と以下の記述において説明される。他の特徴、目的、利点は、記述および図面および特許請求の範囲から明らかである。
[0017]図1は、この開示において記述された技術を使用することができる例示的符号化および復号システムを示すブロック図である。 [0018]図2は、サイドバイサイドフレームパッキング構成(side-by-side frame packing arrangement)を用いる、フレーム両立性(frame compatible)のステレオスコピックビデオコーディングのための例示的プロセスを示す概念図である。 [0019]図3は、この開示において記述された技術を実装することができる例示的ビデオエンコーダを示すブロック図である。 [0020]図4は、この開示において記述された技術を実装することができる例示的ビデオデコーダを示すブロック図である。 [0021]図5は、この開示の一例にしたがった例示的ビデオ符号化方法を示すフローチャートである。 [0022]図6は、この開示の一例にしたがった例示的ビデオ復号方法を示すフローチャートである。
[0023]この開示は、シグナリングのための技術を記述するものであり、ビデオデータがフレームパッキングされた構成(例えば、フレームパッキングされたステレオスコピック3次元(3D)ビデオデータ)において符号化されることを示す指示を用いる。高効率ビデオコーディング(HEVC)にしたがって符号化されたビットストリームは、ビデオがフレームパッキングされた構成にあるかどうかを示す情報を含むことができる、フレームパッキング構成(FPA)補足エンハンスメント情報(SEI)メッセージを含む。
[0024]しかしながら、FPA SEIメッセージを介した復号フレームパッキングされたビデオのサポートは、いくつかの欠点を提示する。1つは、後方向両立性(backward compatibility)の問題が存在することである。すなわち、一部のデコーダは、FPA SEIメッセージを認識しないか、あるいはFPA SEIメッセージを復号するように構成されておらず、フレームパッキングされたビデオの指示を無視して、あたかもビデオはフレームパッキングされたステレオスコピック3Dビデオデータフォーマット形式ではないかのごとく復号されたピクチャを出力するであろう。これによって最終的に得られるビデオ品質は大きく歪み、貧弱なユーザ経験を生成する。
[0025]他の欠点として、FPA SEIメッセージを復号するように構成されたデコーダであったとしても、一部の合致するデコーダは、すべてのSEIメッセージを無視するかあるいはそれらのサブセットのみを処理するように実装される。例えば、一部のデコーダは、バッファリング周期SEIメッセージおよびピクチャタイミングSEIのみを処理し、他のSEIメッセージを無視するように構成されている。そのようなデコーダは、ビットストリーム内のFPA SEIメッセージをも無視するので、同様に重度に歪められたビデオ品質が発生する。
[0026]さらに、多くのビデオクライアントあるいはプレーヤ(すなわち、ビデオデータを復号するように構成された任意の装置あるいはソフトウエア)は、フレームパッキングされたステレオスコピック3Dビデオデータを復号するように構成されていない。FPA SEIメッセージを含む、SEIメッセージは、合致するデコーダによって認識あるいは処理されることを要求されていないので、FPA SEIメッセージを認識しない合致するHEVCデコーダを備えるクライアントあるいはプレーヤは、そのようなビットストリームにおけるFPASEIメッセージを無視して、あたかもビットストリームはフレームパッキングされたステレオスコピック3Dビデオデータでないピクチャのみを含むかのごとく、復号されたピクチャを出力する。したがって、結果的に得られるビデオ品質は最善のものとはならない。さらに、FPA SEIメッセージを認識して処理することができる合致するHEVCデコーダを備えるクライアントあるいはプレーヤであっても、FPA SEIメッセージが存在しないことをチェックするために検査されねばならず、すべてのピクチャは、フレームパッキングされたステレオスコピック3Dビデオデータであるかそうではないかの結論を出すまえに、すべての現存のFPA SEIメッセージは構文解析して解釈されねばならない。
[0027]これらの欠点を鑑みて、以下に詳細に記述するように、種々の例の開示は、コーディングされたビデオ系列がフレームパッキングされたピクチャを含むかどうかの指示をプロファイル、ティア、そしてレベルシンタックスにおける1ビットを使用してシグナリングすることを提案する。
[0028]図1は、この開示において記述された技術を利用することができる例示的ビデオ符号化および復号システム10を示すブロック図である。図1に示すように、システム10は、送信先装置14によって後で復号される予定の符号化ビデオデータを生成する送信元装置12を含む。送信元装置12および送信先装置14は、デスクトップコンピュータ、ノートブック(すなわちラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる“スマート”フォンなどの電話ハンドセット、いわゆる“スマート”パッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング装置、など、を含む、広範囲の装置の任意のものを備えることができる。ある場合には、送信元装置12と送信先装置14とは無線通信のために装備されていることができる。
[0029]送信先装置14は、復号すべき符号化ビデオデータ2をリンク16を介して受信することができる。リンク16は、符号化ビデオデータを送信元装置12から送信先装置14へ移動することが可能な任意のタイプの媒体あるいは装置を備えることができる。一例において、リンク16は、送信元装置12が送信先装置14に直接リアルタイムで符号化ビデオデータを送信可能にする通信媒体を備えることができる。符号化ビデオデータは、無線通信プロトコルなどの通信標準にしたがって変調されることができ、そして、送信先装置14に送信される。通信媒体は、無線周波数(RF)スペクトラムあるいは1つ以上の物理送信ラインなどの任意の無線または有線通信媒体を備えることができる。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、あるいはインターネットなどのグローバルネットワークなどの、パケット主体のネットワークの一部を構成することができる。通信媒体は、ルータ、スイッチ、基地局、あるいは送信元装置12から送信先装置14への通信を確立するのに役立つ任意の他の装置を含むことができる。
[0030]代替として、符号化データは、出力インタフェース22から記憶装置32に出力されることができる。同様にして、符号化データは、記憶装置32から入力インタフェースによってアクセスすることが可能である。記憶装置32は、ハードドライブ、ブルーレイディスク、DVD、CD−ROM、フラッシュメモリ、揮発性あるいは不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の適当なデジタル記憶メディアなどの、種々の分散されたあるいはローカルでアクセスされるデータ記憶媒体の任意のものを含む。さらなる例として、記憶装置32は、ファイルサーバあるいは送信元装置12によって生成された符号化ビデオを保持することができる他の仲介記憶装置に対応することができる。送信先装置14は、ストリーミングあるいはダウンロードを介して記憶装置32から記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化ビデオデータを記憶するとともに、当該符号化ビデオデータを送信先装置14に送信することができる任意のタイプのサーバである。例示的ファイルサーバは、(例えばウエブサイトのための)ウエブサーバ、FTPサーバ、ネットワークに付随する記憶(NAS)装置、あるいはローカルディスクドライブを含む。送信先装置14は、インターネット接続を含む、任意の標準データ接続を介して符号化ビデオデータにアクセスすることができる。これは、無線チャネル(例えばWi-Fi接続)、有線接続(例えばDSL、ケーブルモデムなど)、あるいはファイルサーバに記憶された符号化ビデオデータにアクセスするのに適した両方の組み合わせ、を含むことができる。記憶装置32からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、あるいは両方の組み合わせであることができる。
[0031]この開示の技術は、必ずしも無線アプリケーションあるいは設定に限定されない。この技術は、オーバージエアテレビブロードキャスト、ケーブルテレビ送信、衛星テレビ送信、例えばインターネットを介したストリーミングビデオ送信、データ記憶媒体への記憶のためのでデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、あるいは他の応用などの、種々のマルチメディアアプリケーションをサポートするビデオコーディングに適用されることができる。一部の例において、システム10は、ビデオストリーミング、ビデオプレイバック、ビデオブロードキャスト、および/またはビデオテレフォニーなどのアプリケーションをサポートするために、一方向あるいは両方向のビデオ送信をサポートするように構成されることができる。
[0032]図1の例において、送信元装置12は、ビデオソース18、ビデオエンコーダ20および出力インタフェース22を含む。一部の例において、出力インタフェース22は、変調器/復調器(モデム)および/またはトランスミッタを含む。送信元装置12において、ビデオソース18は、例えばビデオカメラ等のビデオキャプチャデバイス、以前にキャプチャーしたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインタフェース、および/またはソースビデオなどのコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、などのソース、あるいはそのようなソースの任意の組み合わせを含む。一例として、ビデオソース18がビデオカメラであるならば、送信元装置12および送信先装置14はいわゆるカメラフォーンあるいはビデオフォーンを構成することができる。しかしながら、ここに記述された技術は、ビデオコーディング一般に適用可能であり、無線および/または有線アプリケーションに適用可能である。
[0033]キャプチャーされた、あるいは予めキャプチャーされた、あるいはコンピュータによって生成されたビデオは、ビデオエンコーダ20によって符号化される。符号化されたビデオデータは、送信元装置12の出力インタフェース22を介して送信先装置14に直接的に送信される。符号化されたビデオデータはまた(あるいは代替的に)、復号および/または再生のために、送信先装置14あるいは他の装置によって後でのアクセスのために記憶装置32に記憶される。
[0034]送信先装置14は、入力インタフェース28、ビデオデコーダ30、および表示装置32を含む。ある場合には、入力インタフェース28は、受信器および/またはモデムを含む。送信先装置14の入力インタフェース28はリンク16を介して符号化されたビデオデータを受信する。リンク16を介してあるいは記憶装置32上で提供された、符号化されたビデオデータは、ビデオデータを復号するにあたって、ビデオデコーダ30などのビデオデコーダによる使用のためにビデオエンコーダ20によって生成された種々のシンタックス要素を含む。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体に記憶されるか、あるいはファイルサーバに記憶される符号化されたビデオデータと共に含まれる。
[0035]
表示装置32は、送信先装置14と一体化されるか、あるいはその外部にある。一部の例においては、送信先装置14は、一体化された表示装置を含み、外部の表示装置を仲介するように構成されることができる。他の例において、送信先装置14は、表示装置である。概して、表示装置32は、復号されたビデオデータをユーザに対して表示し、液晶表示(LCD)、プラズマ表示、有機発光ダイオード(OLED)表示、などの種々の表示装置、あるいは他のタイプの表示装置を備えることができる。
[0036]
ビデオエンコーダ20およびビデオデコーダ30は、ビデオコーディング(JCT−VC)に関してITU−Tビデオコーディングエキスパートグループ(VCEG)とISO/IECモーションピクチャエキスパートグループ(MPEG)とのジョイントコラボレーションチームによって現在開発されている高効率ビデオコーディング(JCT−VC)標準などのビデオ圧縮標準にしたがって動作する。HEVCの1つのワーキングドラフト(WD)(ここではHEVC WD8として呼ばれる)は、
http://phenix,int-evry.fr/jct/doc_user/documents/10_Stockholm/wg11/ JCTVC-J1003-v8.zip、から入手可能である。
[0037]
HEVC標準の最近のドラフト(ここでは“HEVCワーキングドラフト10”あるいは“WD10”と呼ばれる)は、ドキュメントJCTVC−L1003v34、Brossなど、“高効率ビデオコーディング(HEVC)テキスト仕様ドラフト10(FDIS&Last Call)、ビデオコーディング(JCT−VC)に関する、ITU−T SG16 WP3とISO/IEC JTC1/SC29/WG11とのジョイントコラボレーションチーム、第12回会合、ジェノバ、CH、2013年1月14−23日、に記述され、2013年6月6日現在で、以下からダウンロード可能である。
http://phenix,int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip
[0038]
HEVC標準の他のドラフト(ここでは“WD10改訂版”と呼ぶ)は、Brossなど、“HEVCバージョン1に対するエディタの提案された補正”、ビデオコーディングに関するITU−TSG16 WP3と、ISO/IEC JTC1/SC29/WG11とのジョイントコラボレーションチーム、13回目会合、Incheon,KR.2013年4月、は2013年6月7日現在以下から入手可能である。
http://phenix.int-evry.fr/jct/doc_end_user//documents/13 Incheon/wg11/JCTVC-Mo432-v3.zip
[0039]
ビデオエンコーダ20およびビデオデコーダ30は、例示の目的で、この開示では1つ以上のビデオコーディング標準にしたがって動作するように構成されているものとして記述される。しかしながら、この開示の技術は、特定のコーディング標準に限定されることはなく、種々の異なるコーディング標準に適用することができる。他の知的所有権を持つあるいは工業標準の例は、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262あるいはISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 VisualそしてITU−T H.264(ISO/IECMPEG−4 AVCとも呼ばれる)、そのスケーラブルビデオコーディング(SVC)およぶマルチビュービデオコーディング(MVC)拡張、およびそのような標準の拡張、変更、あるいは追加、を含む。
[0040]また、ビデオエンコーダ20およびビデオデコーダ40は、ビデオデータをあるファイルフォーマットで記憶するか、あるいはリアルタイムトランスポートプロトコル(RTP)フォーマットにしたがってあるいはマルチメディアサービスを介してデータを転送するように構成されることができる。
[0041]ファイルフォーマット標準は、ISOに基づくメディアファイルフォーマット(ISOBMFF、ISO/IEC 14496−12)およびISOBMFFから引き出される他のファイルフォーマット)を含み、MPEG−4ファイルフォーマット(ISO/IEC 14496−14)、3GPPファイルフォーマット(3GPP TS 26.244)およびアドバンストビデオコーディング(AVC)ファイルフォーマット(ISO/IEC 14496−15)を含む。現在、HEVCビデオコンテンツのためのAVCファイルフォーマットに対する補正がMPEGによって開発されている。このAVCファイルフォーマット補正は、また、HEVCファイルフォーマットと呼ばれる。
[0042]RTPペイロードフォーマットは、RFC 6184、“H.264ビデオのためのRTPペイロードフォーマット”、RFC 6190におけるスケーラブルビデオコーディング(SVC)ペイロードフォーマット、“スケーラブルビデオコーディングのためのRTPペイロードフォーマット”、そして多くの他のフォーマットを含む。現在、HEVC RTPペイロードフォーマットが、インターネットエンジニアリングタスクフォース(IETF)によって開発されている。2013年7月26日現在、RFC6184は、http://tools.ietf.org/html/rf6184
から入手可能であり、その全体の内容は、ここに参照によって組み込まれている。TFC6190は2013年7月26日現在、
http://tools.ietf.org/ html/rfc6190
から入手可能であり、その全体の内容は、ここに参照によって組み込まれている。
[0043]3GPPマルチメディアサービスは、HTTP(3GP−DASH、3GPP TS26.247)オーバー3GPPダイナミックアダプティブストリーミング、パケットスイッチトストリーミング(PSS、3GPP TS 26.234)、マルイチメディアブロードキャストおよびマルチメディアサービス(MBMS、3GPP TS 26.346)そして、IMS(MTSI、3GPP TS 26.114)オーバーマルチメディアテレフォンサービスを含む。
[0044]図1には示していないが、一面では、ビデオエンコーダ20およびビデオデコーダ30は各々オーディオエンコーダおよびデコーダと一体化され、オーディオおよびビデオの両方の符号化を共通のデータストリームであるいは別個のデータストリームで処理するために、適切なMUX-DEMUXユニットあるいは他のハードウエアおよびソフトウエアを含むことができる。好ましくは、一部の例においてMUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコルあるいはユーザデータグラムプロトコル(UDP)などの他のプロトコルに合致する。
[0045]ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つ以上のマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、離散ロジック、ハードウエア、ファームウエア、あるいはそれらの任意の組む合わせなどの種々の適切なエンコーダ回路として実装されることができる。当該技術が一部ソフトウエアとして実装されたとき、装置は、当該ソフトウエアのための命令を、適切な非一時的コンピュータ読み取り可能な媒体に記憶し、この開示の技術を実行するために、1つ以上のプロセッサを用いるハードウエアにおいて当該命令を実行する。ビデオエンコーダ20およびビデオデコーダ30の各々は、1つ以上のエンコーダあるいはデコーダに含まれることができ、当該エンコーダおよびデコーダは、各装置の中で組み合わされたエンコーダ/デコーダ(CODEC)として一部として一体化されることができる。
[0046]JCT−VCはHEVC標準を開発した。HEVC標準の努力は、HEVCテストモデル(HM)と呼ばれるビデオコーディング装置の発展型モデルに基づいている。HMは、例えばITU−T H.264/AVCにしたがう既存の装置に対して、ビデオコーディング装置のいくつかの付加的な能力を想定する。例えば、H.264は、9つのイントラ予測符号化モードを提供するのに対して、HMは33個ものイントラ予測符号化モードを提供する。
[0047]概して、HMのワーキングモデルは、ビデオフレームすなわちピクチャは、ルマおよびクロマサンプルを含む、一連のツリーブロックすなわち最大コーディングユニット(LCD)に分割することができる。ツリーブロックは、H.264標準のマクロブロックと同じような目的を有する。スライスは符号化順に連続するツリーブロックの数を含む。ビデオフレームすなわちピクチャは、1つ以上のスライスに分割されることができる。各ツリーブロックは、クワッドツリーにしたがってコーディングユニット(CU)に分割されることができる。例えば、ツリーブロックはクワッドツリーのルートノードとして4つの子供ノードに分割されることができ、各子供ノードは、親ノードであることができ、他の4つの子供ノードに分割されることができる。最後の、分割されない子供ノードは、クワッドツリーのリーフノードとして、コーディングノードすなわちコーディングされたビデオブロックを備える。コーディングされたビットストリームに関連するシンタックスデータは、ツリーブロックが分割される最大
数を規定することができ、さらにコーディングノードの最小サイズを規定する。
[0048]CUは、コーディングノードと、予測ノード(PN)と、コーディングノードに関連する変換ユニット(TU)と、を含む。CUのサイズは概して、コーディングノードのサイズに対応し、形状は概して正方形でなければならない。CUのサイズは8×8ピクセルから、64×64ピクセルあるいはそれ以上の最大値をもつツリーブロックのサイズ、となっている。各CUは、1つ以上のPUと、1つ以上のTUを含むことができる。CUに関連するシンタックスデータは、CUの1以上のPUへの分割を記述する。分割モードは、CUが、スキップあるいは直接モードエンコーデット、イントラ予測モードエンコーデット、あるいはインター予測モードエンコーデット、であるかどうかによって異なることができる。PUは非正方形の形状に分割されることができる。CUに関連するシンタックスデータは、クワッドツリーにしたがった、CUの1つ以上のTUへの分割を記述する。TUの形状は、正方形あるいは非正方形であることができる。
[0049]HEVC標準は、CUが異なっていれば異なるであろうTUにしたがって、変換を可能にする。TUは概して、分割されたLCUに対して規定された所定のCU内の、PUのサイズに基づいてサイズが決められる。しかしながら、そうでなくともよい。TUは概して、PUと同じサイズであるかあるいはPUよりも小さいサイズである。一部の例において、CUに対応する残差サンプルは、“残差クワッドツリー”(RQT)として知られるクワッドツリー構造を用いて、より小さなユニットに分割されることができる。RQTのリーフノードは、変換ユニット(TU)と呼ばれることができる。TUに関連するピクセル相違値は、変換係数を生成するべく変換されることができ、変換係数は量子化される。
[0050]概して、PUは予測プロセスに関連するデータを含む。例えば、PUがイントラモード符号化されたときに、PUは、当該PUに対するイントラ予測モードを記述するデータを含む。他の例として、PUがインターモード符号化されたときには、PUは当該PUに対する動きベクトルを規定するデータを含む。PUに対する動きベクトルを規定するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルに対する解像度(例えば、4分の1ピクセル精度あるいは8分の1ピクセル精度)、動きベクトルが指し示す基準ピクチャ、および/または動きベクトルに対する基準ピクチャリスト(例えばリスト0、リスト1、あるいはリストC)を記述する。
[0051]概して、TUは、変換および量子化プロセスに対して使用される。1つ以上のPUをもつ所定のCUは、1つ以上の変換ユニット(TU)を含む。予測に続いて、ビデオエンコーダ20は、PUにしたがってコーディングノードによって特定されたビデオブロックから残差値を計算する。次にコーディングノードは、元のビデオブロックではなく残差値を参照するために更新される。残差値はピクセル相違値を具備し、この値は変換係数に変換され、量子化され、エントロピー符号化のための直列化された変換係数を生成するために、TUにおいて特定された変換係数および他の変換係数を用いて走査される。コーディングノードは、これらの直列化された変換係数を参照するために再び更新される。この開示では概して、CUのコーディングノードを意味するために“ビデオブロック”という用語を用いる。一部の特別な場合にはこの開示は、ツリーブロックすなわちLCUあるいはCUを意味するのに“ビデオブロッ
ク”という用語を用い、ここにおいて、コーディングノードおよびPUおよびTUを含む。
[0052]ビデオ系列は概して、一連のビデオフレームすなわちピクチャを含む。グループオブピクチャ(GOP)は概して、一連の1つ以上のビデオピクチャを具備する。GOPは、GOPのヘッダ内、1つ以上のピクチャのヘッダ内、あるいは他の場所に、GOPに含まれるピクチャの数を記述する、シンタックスデータを含む。ピクチャの各スライスは、各スライスに対する符号化モードを記述するスライスシンタックスデータを含む。ビデオエンコーダ20は概して、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに関して動作する。ビデオブロックは、CU内のコーディングノードに対応する。ビデオブロックは、固定または可変のサイズを有し、規定されたコーディング標準にしたがってサイズが異なっている。
[0054]この開示において、“N×N”および“N掛けるN”は、例えば、16×16あるいは16掛ける16ピクセルなど、垂直および水平の寸法の観点からビデオブロックのピクセル寸法を意味するのに交換して用いることができる。概して、16×16ブロックは、垂直方向において16ピクセルをもち(y=16)、水平方向において16ピクセルをもつ(x=16)。同様にして、N×Nブロックは概して、垂直方向においてNピクセルをもち、水平方向においてNピクセルをもち、ここでNは非負の整数値を示す。ブロック内のピクセルは、行と列に配列される。さらに、ブロックは、必ずしも水平方向と垂直方向とで同じ数のピクセルをもつ必要はない。例えば、ブロックは、N×Mピクセルを具備する場合、Mは必ずしもNに等しくなくともよい。
[0055]CUのPUを用いたイントラ予測あるいはインター予測コーディングに続いて、ビデオエンコーダ20は、CUのTUによって特定された変換係数が適用される残差データを計算する。残差データは符号化されないピクチャのピクセルと、CUに対応する予測値との間のピクセル相違に対応する。ビデオエンコーダ20は、CUのための残差データを生成し、当該残差データを変換して変換係数を生成する。
[0056]変換係数を生成するための変換に続いて、ビデオエンコーダ20は変換係数の量子化を実行することができる。量子化は概して、係数を示すのに使用されるデータの量を首尾よく低減してさらなる圧縮を提供するために変換係数が量子化されるプロセスを意味する。量子化プロセスは、係数の一部あるいは全てに関連するビット深さを低減することができる。例えば、nビット値は、量子化の間にm(ここでnはmよりも大きい)ビット値にまで丸められることができる。
[0057]一部の例において、ビデオエンコーダ20は、エントロピー符号化可能な直列化ベクトルを生成するために、量子化された変換係数を走査するために所定の走査手順を用いることができる。他の例において、ビデオエンコーダ20は、適応的走査を実行することができる。量子化された変換係数を走査して一次元ベクトルを生成したあと、ビデオエンコーダ20は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型二進算術コーディング(CABAC)、シンタックスに基づくコンテキスト適応型二進算術コーディング(SBAC)、確率間隔分割エントロピー(PIPE)コーディングあるいは他のエントロピー符号化手法にしたがって、一次元ベクトルをエントロピー符号化する。ベクトルエンコーダ20は、ビデオデータの復号においてビデオデコーダ30によって用いるための符号化されたビデオデータに関連したシンタックス要素をエントロピー符号化することができる。
[0058]CABACを実行するために、ビデオエンコーダ20は、コンテキストモデル内のコンテキストを送信すべきシンボルに割り振ることができる。コンテキストは例えば、シンボルの隣接する値が非ゼロかどうかに関連する。CAVLCを実行するために、ビデオエンコーダ20は、送信すべきシンボルのための可変長符号を選択することができる。VLC内の符号語は、比較的短い符号はより有りそうなシンボルに対応し、より長い符号は、より有りそうでないシンボルに対応する、ように構成される。このようにして、VLCの使用によって、例えば、送信すべき各シンボルのための等しい長さの符号語を使用する場合と比べて、ビット節約を達成することができる。確率の決定は、シンボルに割り振られたコンテキストに基づくことができる。
[0059]ステレオスコピック3Dビデオのために、HEVCにしたがってコーディングされたビデオのフレームは、右イメージと左イメージの両方の半解像度バージョンを含む。そのようなコーディングフォーマットはしばしば、フレームパッキングされたステレオスコピック3Dビデオと呼ばれる。ビデオ内に3Dエフェクトを生成するために、例えば左目ビューと右目ビューの、シーンの2つのビューが同時にあるいはほぼ同時に示される。シーンの左目ビュー及び右目ビューに対応する、同じシーンの2つのピクチャは、見る人の左目と右目間の水平方向の不一致を示す、わずかに異なる水平方向位置からキャプチャーされる。これら2つのピクチャを同時にあるいはほぼ同時に表示すれば、左目ビューピクチャは、見る人の左目によって知覚されるとともに、右目ビューピクチャは、見る人の右目によって知覚されることによって、見る人は3次元ビデオエフェクトを経験することができる。
[0060]図2は、サイドバイサイドフレームパッキング構成を用いた、フレーム両立性ステレオスコピックビデオコーディングのための例示的プロセスを示す概念図である。特に、図2は、フレーム両立性ステレオスコピックビデオデータの復号されたフレームに対する再構成ピクセルのためのプロセスを示す。復号されたフレーム11は、サイドバイサイド構成においてパッキングされたインタリーブされたピクセルからなる。サイドバイサイド構成は、列状に構成されている各ビュー(この例においては左ビューおよび右ビュー)に対するピクセルからなる。一代替例として、トップダウンパッキング構成は、行における各ビューに対するピクセルを構成する。復号されたフレーム11は、実線としての左ビューのピクセルを示し、点線としての右ビューのピクセルを示す。復号されたフレーム11はまた、復号されたフレーム11がサイドバイサイドインタリーブされたピクセルを含む、という点において、インタリーブされたフレームと呼ばれる。
[0061]パッキング再構成ユニット13は、FPA SEIメッセージなどの、エンコーダによってシグナリングされたパッキング構成にしたがって、復号されたフレーム11におけるピクセルを、左ビューフレーム15および右ビューフレーム17に分割する。わかるように、左および右ビューフレームの各々は、それらはフレームのサイズに対してピクセルの1つおきの列のみを含むので、半分の解像度となる。
[0062]左ビューフレーム15および右ビューフレーム17は次に、アップコンバージョン処理ユニット19および21によってそれぞれアップコンバートされて、アップコンバートされた左ビューフレーム23およびアップコンバートされた右ビューフレーム25を生成する。アップコンバートされた左ビューフレーム23およびアップコンバートされた右ビューフレーム25はつぎにステレオスコピックディスプレイによって表示される。
[0063]HEVCに対する以前の提案は、ビデオデータがフレームパックステレオスコピック3Dビデオであることを示すために、フレームパッキング構成(FPA)SEIメッセージの仕様を含む。しかしながら、SEIメッセージを有するHEVCに基づくフレームパッキングされたステレオスコピックビデオデータの指示のための既存の方法には欠点がある。
[0064]1つの欠点は、HEVCビットストリームにおけるHEVCに基づくフレームパッキングされたステレオスコピックビデオデータの指示に関連するものである。HEVCビットストリームは、ビットストリームにおける、FPA SEIメッセージによって指示されるような、フレームパッキングされたステレオスコピック3Dビデオを含むことができる。SEIメッセージは、合致するHEVCデコーダによって認識あるいは処理される必要がないので、FPA SEIメッセージを認識しない合致するHEVCデコーダは、そのようなメッセージを無視し、ビデオは、フレームパッキングされたステレオスコピック3Dビデオでなかったかのごとく、復号されたフレームパッキングされたステレオスコピック3Dピクチャを復号および出力する。その結果、最後に得られるビデオ品質は大きく歪むことになり、大変悪いユーザ経験を生成する。
[0065]他の欠点は、ファイルフォーマット、RTPペイロード、およびマルチメディアサービスにおける、フレームパッキングされたステレオスコピック3Dビデオデータの存在を示すことに関連する。1つの例として、HEVCファイルフォーマットに対する提案は、HEVCに基づくフレームパッキングされたステレオスコピックビデオを示すための機構を欠いている。HEVC RTPペイロードフォーマットのいくつかの提案された設計およびHEVC自身のいくつかの提案された設計とともに、HEVCおよびHEVC RTPペイロードフォーマットの両方を実装するRTP送信者およびRTP受信者は、HEVCに基づくフレームパッキングされたステレオスコピック3Dビデオの使用に関して交渉することができず、異なる仮定をもつ2つの側面に通信が発生することがある。
[0066]例えば、送信者は、HEVCに基づくフレームパッキングされたステレオスコピック3Dビデオを送信することができ、受信者はそれを受け入れて、当該ビデオをあたかもビットストリームがフレームパッキングされたステレオスコピック3Dビデオではないかのごとく扱う。クライアントが、コンテンツの記述を含む、セッション記述プロトコル(SDP)に基づいてコンテンツを受け入れるかあるいはマルチキャストセッションに参加するかを決定する、ストリーミングあるいはマルチキャストアプリケーションに関して、フレームパッキングされたステレオスコピック3Dビデオの適切な処理方法(例えばデパッキング)を備えていないクライアントは、当該コンテンツを誤って受け入れ、それがあたかもフレームパッキングされたステレオスコピック3Dビデオではないかのごとくフレームパッキングされたステレオスコピック3Dビデオを再生する。
[0067]これらの欠点に鑑みて、本開示は、ビデオデータがフレームパッキングされたステレオスコピック3Dビデオデータを含むか否かの指示の改善されたシグナリングのための技術を提示する。この開示の技術は、HEVCに合致するデコーダがビットストリーム内に含まれる受信ビデオがフレームパッキングされたステレオスコピック3Dビデオであるかどうかを、FPA SEIメッセージを認識することなしに決定することを可能にする。この開示の一例において、このことは、例えば、SEIメッセージ内に配置されていないフラグ(フレームパッキングされたフラグ)などの指示をビットストリーム内に含めることによって達成される。0に等しいフラグは、FPA SEIメッセージが存在せず、ビデオデータはフレームパッキングされたステレオスコピック3Dフォーマット形式ではないことを示す。1に等しいフラグは、FPA SEIメッセージが存在し(あるいは存在する可能性があり)、ビットストリーム内のビデオは、フレームパッキングされたステレオスコピック3Dビデオである(あるいはある可能性がある)ことを示す。
[0068]当該ビデオが、フレームパッキングされたステレオスコピック3Dビデオである(あるいはある可能性がある)と決定されたならば、ビデオデコーダ30は、悪いユーザ経験を避けるために当該ビデオを拒絶することができる。例えば、ビデオデコーダ30は、そのような構成に構成されたデータを復号することができないならば、フレームパッキングされたステレオスコピック3Dビデオデータを含むとして指示されたビデオデータを拒絶することができる。フレームパッキングされたステレオスコピック3Dビデオデータの指示は、ビデオパラメータセット(VPS)あるいはシーケンスパラメータセット(SPS)あるいは両方の中に含まれることができる。
[0069]VPSおよび/またはSPS内に含まれる(ティア(tier)情報を含む)ファイルおよびレベル情報は、例えば、ISOに基づくメディアファイルフォーマットファイル(例えばファイルフォーマット情報)におけるHEVCトラックのサンプル記述内、セッション記述プロトコル(SDP)ファイル内、あるいはメディアプレゼンテーション記述(MPD)内などの、より高位のシステムレベル内に直接含まれる。プロファイルおよびレベル情報に基づいて、クライアント(例えばビデオストリーミングクライアントあるいはビデオテレフォニークライアント)は、消費すべきフォーマットあるいはコンテンツを受け入れるかあるいは選択することを決定することができる。したがって、本開示の一例によれば、フレームパッキングされたステレオスコピック3Dビデオのための指示は、上記したフラグを表記するために、HEVC WD8において規定されているように、general_reserved_zero16bitsフィールドおよび/またはsub_layer_reserved_zero_16bitsフィールド[i]における1ビットを用いることによって、プロファイルおよびレベル情報の一部として含まれる。
[0070]例えば、ビデオデコーダ30が、ビデオがフレームパッキングされたステレオスコピック3D構成において符号化されていることを示すプロファイルおよび/またはレベル情報におけるビットを受信したときに、ビデオデコーダ30がそのようなビデオデータを復号するように構成されていないのであれば、ビデオデコーダ30は、当該ビデオデータを拒絶することができる(すなわちそれを復号しない)。ビデオデコーダ30がフレームパッキングされたステレオスコピック3Dビデオデータを復号するように構成されているのであれば復号が行われる。同様にして、ビデオデコーダ30が、当該ビデオはフレームパッキングされたステレオスコピック3D構成において符号化されていないことを示すプロファイルおよび/またはレベル情報における1ビットを受信するのであれば、ビデオデコーダ30はビデオデータを受け入れて復号を行う。
[0071]プロファイルおよびレベルは、ビットストリームに関する制限を規定し、ビットストリームを復号するのに要する能力に制限を設ける。プロファイルおよびレベルはまた、個々のデコーダ実装間の相互動作点を示すのに使用されることができる。各プロファイルは、当該プロファイルに合致するすべてのデコーダによって支持されるべきアルゴリズム上の特徴および制限のサブセットを規定する。各レベルは、ビデオ圧縮標準のシンタックス要素によってとられる(taken)ことができる値に関する制限のセットを規定する。レベル定義の同じセットはすべてのプロファイルとともに使用されるが、個々の実装は、各支持されたプロファイルに対する異なるレベルを支持することができる。ある特定のプロファイルに関して、レベルは概してデコーダ処理ペイロードおよびメモリ能力に対応する。
[0072]FPA SEIメッセージとは反対に、HEVC両立性のデコーダは、VPSおよびSPSにおけるシンタックス要素を解釈することが要求される。ここにおいて、VPSあるいはSPSに含まれる、フレームパッキングされたステレオスコピック3Dビデオの任意の指示(あるいはFPA SEIメッセージが存在するという指示)は解釈されて復号される。さらに、VPSあるいはSPSは1つ以上のアクセスユニットに適用するので、FPA SEIの場合と同様に、フレームパッキングされたステレオスコピック3Dビデオの指示に関してすべてのアクセスユニットがチェックされる必要はない。
[0073]以下の部分は、RTPペイロードにおけるフレームパッキングされたステレオスコピック3Dビデオを示すための技術を記述する。例えば、フレームパッキングされた、と名付けられたオプションとしてのペイロードフォーマットパラメータは以下のように規定されている。フレームパッキングされたパラメータは、ストリームの特性あるいは受信機実装の能力をシグナリングする。その値は0あるいは1に等しい。パラメータが存在しないならば、その値は0に等しいと推定する。
[0074]パラメータがストリームの特性を示すのに使用される場合には次のようになる。値0は、ストリーム内に示されるビデオは、フレームパッキングされたビデオではないことを示し、ストリームにおいて、FPA SEIメッセージは存在しないことを示す。値1は、ストリーム内に示されるビデオは、フレームパッキングされたビデオであることを示し、ストリームにおいて、FPA SEIメッセージが存在することを示す。値0および1の意味が逆であってもよいことは勿論である。
[0075]パラメータが能力の変更あるいはセッションセットアップのために使用されるときには次のことが成り立つ。値0は、エンティティ(すなわちビデオデコーダおよび/またはクライアント)は、受信および送信の両方に関して、示されたビデオはフレームパッキングされておらず、PFA SEIメッセージは存在しないストリームのみを支持する、ことを示す。値1は、エンティティは、受信および送信の両方に関して、示されたビデオはフレームパッキングされており、PFA SEIメッセージが存在するストリームを支持する、ことを示す。
[0076]フレームパッキングされた選択的なパラメータは、存在するならば、SDPファイル“a=fmtp”行内に含まれることができる。パラメータは、frame-packed=0あるいはframe-packed=1の形態で、メディアタイプストリングとして表現される。
[0077]HEVCストリームが、交渉のためのオファ/アンサーモデルにおいてSDPファイルを用いてRTPを介してオファーされるときに、フレームパッキングされたパラメータはHEVCのためのメディアフォーマット構成を特定するパラメータの1つであり、対称的に使用されることができる。すなわち、応答者はオファ中の値でパラメータを維持するかあるいはメディアフォーマット(ペイロードタイプ)を完全に除去する。
[0078]リアルタイムストリーミングプロトコル(RTSP)あるいはセッションアナウンスメントプロトコル(SAP)の場合と同様に、RTP上のHEVCがSDPとともに宣言様式でオファされるとき、受信ストリームのための能力ではなく、ストリームの特性のみを示すためにフレームパッキングされたパラメータが使用される。他の例において、HEVCに特有ではない、同様のシグナリングが概してSDPファイルにおいて規定され、これによって、それは一般的にビデオコーデックに適用される。
[0079]本開示の他の例において、フレームパッキングされたパラメータはさらなる値をもつことができ、例えば0は、ビデオがフレームパッキングされておらず、ストリームはFPA SEIメッセージをもたない、ことを示し、0よりも大きい値は、ビデオはフレームパッキングされ、フレームパッキングタイプはパラメータの値によって示されることを示す。他の例において、パラメータは、多元の、コンマによって分離された、0より大きな値を含み、各値は特定のフレームパッキングタイプを示す。
[0080]次のものは、この開示の技術にしたがった、プロファイル、ティア、そしてレベルシンタックスにおける、フレームパッキングされたステレオスコピック3Dビデオデータを示すことのシンタックスおよびセマンティックスを示す。プロファイル、ティア、そしてレベルのシンタックスおよびセマンティックスは、以下のごとくシグナリングされるべく提案されている。
Figure 2015533055
[0081]1に等しい、シンタックス要素general_non_packed_only_flag(すなわち、フレームパッキングされた指示)は、コーディングされたビデオシーケンスの中に、フレームパッキング構成SEIメッセージが存在しないことを示す。0に等しい、シンタックス要素general_non__packed_only_flagは、コーディングされたビデオシーケンス内に少なくとも1つのFPA SEIメッセージが存在することを示す。
[0082]シンタックス要素general_reserved_zero_14bitsは、この仕様に合致するビットストリームにおいて0に等しい。general_reserved_zero_14bitsに対する他の値は、ITU-T|ISO/IECによって将来のために予約されている。デコーダは、general_reserved_zero_14bitsの値を無視する。
[0083]シンタックス要素
sub_layer_profile_space[i]、sub_layer_tier_flag[i]、sub_layer_profile_idec[i]、sub_layer_profile_compatibility_flag[i][j]、sub_layer_progressive_frames_only_flag[i]、sub_layer_non_packed_only_flag[i]、sub_layer_reserved_zero_14bits[i]、sub_layer_level_ide[i]は、それぞれ、
general_profile_space、general_tier_flag、general_profile_idc、general_profile_compatibilty_flag[j]、general_progressive_frame_only_flag、general_non_packed_only_flag、general_reserved_zero_14bits、そしてgeneral_level_ideと同じセマンティックスをもつが、iに等しいTemporalldをもつサブレイヤの表示に適用される。存在しないならば、sub_layer_tier_flag[i]の値は、0に等しいものと推定される。
[0084]図3は、この開示において記述される技術の実行を実行することができる例示的ビデオエンコーダ20を示すブロック図である。ビデオエンコーダ20はビデオスライス内においてビデオブロックのイントラおよびインターコーディングを実行することができる。イントラコーディングは、所定のビデオフレームすなわちピクチャ内のビデオの空間的冗長性を低減あるいは除去するために空間予測に依存する。インターコーディングは、ビデオシーケンスの隣接フレームすなわちピクチャ内におけるビデオの時間的冗長性を低減あるいは除去するために時間的予測に依存する。イントラモード(I モード)は、いくつかの空間に基づく圧縮モードを意味する。一方向予測(Pモード)あるいは双予測(Bモード)などの、インターモードは、いくつかの時間に基づく圧縮モードを意味する。
[0085]図3の例において、ビデオエンコーダ20は、分割ユニット35、予測処理ユニット41、基準ピクチャメモリ64、加算器50、変換処理ユニット52、量子化ユニット54、およびエントロピー符号化ユニット56を含む。予測処理ユニット41は、動き推定ユニット42、動き補償ユニット44、そしてイントラ予測処理ユニット46を含む。ビデオブロックの再構成に関して、ビデオエンコーダ20はまた、逆量子化ユニット58、逆変換処理ユニット60、そして加算器62を含む。ブロック境界をフィルタリングして再構成されたビデオからブロックアーティファクトを除去するためにデブロッキングフィルタ(図3には図示せず)が含められる。望まれるならば、デブロッキングフィルタは概して、加算器62の出力をフィルタリングする。デブロッキングフィルタに加えて、さらなるループフィルタ(ループ内あるいはポストループ内)を使用することができる。
[0086]図3に示されるように、ビデオエンコーダ20はビデオデータを受信し、分割ユニット35はデータをビデオブロックに分割する。この分割は、スライス、タイル、あるいは他のより大きなユニットへの分割、さらには、例えば、LCUおよびCUのクワッドツリー構造にしたがったビデオブロック分割を含む。ビデオエンコーダ20は概して、符号化すべきビデスライス内のビデオブロックを符号化するコンポーネントを示す。スライスは多元のビデオブロック(そして好ましくはタイルと呼ばれるビデオブロックのセット)に分割されることができる。予測処理ユニット41は、誤差結果(例えばコーディング率およびひずみのレベル)にしたがって現在のビデオに対して、複数のイントラコーディングモードの1つ、あるいは複数のインターコーディングモードの1つなどの、複数の可能なコーディングモードの1つを選択することができる。予測処理ユニット41は、結果的に得られたイントラまたはインターコーディングされたブロックを加算器50に供給して残差ブロックデータを生成するとともに、加算器62に供給して基準ピクチャとして使用すべく符号化されたブロックを再構成する。
[0087]予測処理ユニット41内のイントラ予測処理ユニット46は、空間圧縮を提供するためにコーディングされるべき現在のブロックと同じフレームあるいはスライスにおける1つ以上の隣接ブロックに対して、現在のビデオブロックのイントラ予測コーディングを実行することができる。予測処理ユニット41内の動き推定ユニット42および動き補償ユニット44は、時間圧縮を提供するために、1つ以上の基準ピクチャにおける1つ以上の予測ブロックに対して、現在のビデオブロックのインター予測コーディングを実行する。
[0088]動き推定ユニット42は、ビデオシーケンスに対する所定のパターンにしたがってビデオスライスに対するインター予測モードを決定するように構成される。所定のパターンは、Pスライス、Bスライス、あるいはGPBスライスなどの、シーケンスにおけるビデオスライスを指定することができる。動き推定ユニット42および動き圧縮ユニット44は、高度に一体化されるが、概念を説明する目的で別個に示されている。動き推定ユニット42によって実行される、動き推定は、ビデオブロックに対して動きを推定する動きベクトルを生成するプロセスである。動きベクトルは例えば、基準ピクチャ内の予測ブロックに対する、現在のフレームすなわちピクチャ内のビデオブロックのPUの変位を示すことができる。
[0089]予測ブロックは、絶対差(SAD)の和、二乗差(SSD)の和あるいは他の基準メトリックによって決定されることができる、ピクセル相違の点においてコーディングされるべきビデオブロックのPUに密接に合致することが見出されたブロックである。一部の例において、ビデオエンコーダ20は、基準ピクチャメモリ64に記憶された基準ピクチャのサブ整数(sub-integer)ピクセル位置に対する値を計算することができる。例えば、ビデオエンコーダ20は、基準ピクチャの、1/4ピクセル位置、1/8ピクセル位置、あるいは他の分数のピクセル位置の値を補完することができる。したがって、動き推定ユニット42は、フルピクセル位置および分数のピクセル位置に対して、動き探索を実行して、分数のピクセルプレシジョンをもつ動きベクトルを出力することができる。
[0090]動き推定ユニット42は、PUの位置を基準ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライスにおけるビデオブロックのPUに対する動きベクトルを計算する。基準ピクチャは、第1の基準ピクチャリスト(リスト0)または第2の基準ピクチャリスト(リスト1)から選択される。リスト0、1の各々は、基準ピクチャメモリ64内に記憶された1つ以上の基準ピクチャを特定する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56および動き補償ユニット44に送る。
[0091]動き補償ユニット44によって実行される動き補償は、動き推定によって決定される動きベクトルに基づいて予測ブロックを取り込むことあるいは生成することを含むことができ、好ましくはサブピクセルプレシジャン(サブピクセル精度)への補間を実行する。現在のビデオブロックのPUに対する動きベクトルを受信すると、動き補償ユニット44は、基準ピクチャリストの1つにおいて動きベクトルが指し示す予測ブロックを検出することができる。ビデオエンコーダ20は、コーディングされるべき現在のビデオブロックのピクセル値から、予測ブロックのピクセル値を減算することによって、残差ビデオブロックを生成し、ピクセル相違値を生成する。ピクセル相違値は、当該ブロックに対する残差データを形成し、ルマおよびクロマ相違成分を含むことができる。加算器50は、この減算演算を実行する成分(単数または複数)を表す。動き補償ユニット44はまた、ビデオブロックおよび、ビデオスライスのビデオブロックを復号するにあたってビデオデコーダ30によって使用するためのビデオスライスに関連するシンタックス要素を生成することができる。
[0092]イントラ予測処理ユニット46は、上記したような、動き推定ユニット42および動き補償ユニット44によって実行されるインター予測の代わりとして、現在のブロックをイントラ予測することができる。特に、イントラ予測処理ユニット46は、現在のブロックを符号化するのに使用するためにイントラ予測モードを決定することができる。一部の例において、イントラ予測処理ユニット46は、例えば別個の符号化パスの間に、種々のイントラ予測モードを使用して、現在のブロックを符号化することができ、イントラ予測処理ユニット46(またはいくつかの例においてはモード選択ユニット40)は、試験されたモードから使用するために適切なイントラ予測モードを選択することができる。例えば、イントラ予測処理ユニット46は、種々の試験されたイントラ予測モードのためのレートディストーション解析を用いて、レートディストーション値を計算して、試験されたモードの中で、最善のレートディストーション特性を持つイントラ予測モードを選択することができる。レートディストーション解析は概して、符号化されたブロックと、符号化されたブロックを生成するために符号化された、元の符号化されていないブロック間のひずみ(すなわち誤差)の量と、符号化されたブロックを生成するために用いられるビットレート(すなわちビットの数)とを決定する。イントラ予測処理ユニット46は、ひずみ値から比率と種々の符号化されたブロックに対するレートを計算してどのイントラ予測モードが当該ブロックに対する最善のレートひずみ値を示すのかを決定することができる。
[0093]いずれの場合であっても、ブロックに対するイントラ予測モードを選択した後において、イントラ予測処理ユニット46は、当該ブロックに対する選択されたイントラ予測モードを示す情報をエントロピーコーディングユニット56に供給する。エントロピーコーディングユニット56は、この開示の技術にしたがって、前記選択されたイントラ予測モードを示す情報を符号化することができる。ビデオエンコーダ20は、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル(符号語マッピングテーブルとも呼ばれる)を含むことができる、送信されたビットストリーム構成データの中に、種々のブロックに対する符号化コンテキストの定義、そして、最も起りうるイントラ予測モード、イントラ予測モードインデックステーブル、そして、コンテキストの各々に対して使用するための変更されたイントラ予測モードインデックステーブル、の指示を含むことができる。
[0094]予測処理ユニット41が、インター予測あるいはイントラ予測を介して現在のビデオブロックに対する予測ブロックを生成したあと、ビデオエンコーダ20は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを生成する。残差ブロックにおける残差ビデオデータは、1つ以上のTU内に含まれることができ、変換処理ユニット52に適用される。変換処理ユニット52は、離散コサイン変換(DCT)あるいは概念的に類似の変換、などの変換方法を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット52は、残差ビデオデータをピクセル領域から周波数領域などの変換領域に変換する。
[0095]変換処理ユニット52は、最終的な変換係数を量子化ユニット54に送信する。量子化ユニット54は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは係数の一部あるいはすべてに関連するビット深さを低減することができる。量子化の度合いは、量子化パラメータを調整することによって変更されることができる。一部の例において、量子化ユニット54はつぎに量子化された変換係数を含む、マトリックスのスキャンを実行する。代替的には、エントロピー符号化ユニット56が当該スキャンを実行することができる。
[0096]量子化に続いて、エントロピー符号化ユニット56は、量子化された変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット56は、コンテキスト適合型可変長符号化(CAVLC)、コンテキスト適合型二進算術コーディング(CABAC)、シンタックスに基づくコンテキスト適合二進算術コーディング(SBAC)、確率インターバル分割エントロピー(PIPE)コーディングあるいは他のエントロピー符号化方法または技術、を実行することができる。エントロピー符号化ユニット56によるエントロピー符号化に続いて、符号化されたビットストリームは、ビデオデコーダ30に変換されるかあるいは、ビデオデコーダ30による後の送信あるいは取り出しのために保存されることができる。エントロピー符号化ユニット56はまた、動きベクトルおよびコーディングされる現在のビデオスライスに対する他のシンタックス要素をエントロピー符号化することができる。
[0097]逆量子化ユニット58および逆変換処理ユニット60はそれぞれ、基準ピクチャの基準ブロックとして後で使用するべくピクセル領域における残差ブロックを再構成するために、逆量子化および逆変換を適用する。動き補償ユニット44は、残差ブロックを、基準ピクチャの1つの予測ブロックに加算することによって基準ブロックを計算することができる。動き補償ユニット44は、1つ以上の補間フィルタを再構成された残差ブロックに適用して、動き推定での使用のためにサブ整数ピクセル値を計算する。加算器62は、再構成された残差ブロックを、動き補償ユニット44によって生成される動き補償された予測ブロックに加算して、基準ピクチャメモリ64での記憶のための基準ブロックを生成する。基準ブロックは、次のビデオフレームまたはピクチャにおけるブロックをインター予測するために基準ブロックとして動き推定ユニット42および動き補償ユニット44によって使用されることができる。
[0098]図4は、この開示において記述された技術を実装することができる例示的ビデオデコーダ30を示すブロック図である。図4の例において、ビデオデコーダ30は、エントロピー復号ユニット80、予測処理ユニット81、逆量子化ユニット86、逆変換ユニット88、加算器90、そして復号されたピクチャバッファ92を含む。予測処理ユニット81は、動き補償ユニット82、イントラ予測処理ユニット84を含む。ビデオデコーダ30は、一部の例において、図3からのビデオエンコーダ20に関して記述された符号化パスに概して相反(reciprocal to)する復号パスを実行することができる。
[0099]復号プロセスの間に、ビデオデコーダ30は、符号化されたビデオスライスのビデオブロックおよびビデオエンコーダ20からの関連するシンタックス要素を表す符号化されたビデオビットストリームを受信する。ビデオエンコーダ30のエントロピー復号ユニット80は、ビットストリームをエントロピー復号して、量子化された係数、動きベクトル、そして他のシンタックス要素を生成する。エントロピー復号ユニット80は、動きベクトルおよび他のシンタックス要素を予測処理ユニット81に転送する。ビデオデコーダ30は、ビデオスライスレベルおよび/またはビデオブロックレベルでのシンタックス要素を受信することができる。
[0100]ビデオスライスがイントラコーディングされた(I)スライスとしてコーディングされたときに、予測処理ユニット81のイントラ予測処理ユニット84は、シグナリングさえたイントラ予測モードおよび現在のフレームまたはピクチャの以前に復号されたブロックからのデータに基づいて、現在のビデオスライスのビデオブロックに対する予測データを生成することができる。ビデオフレームがインターコーディングされた(すなわちB、PあるいはGPB)スライスとしてコーディングされるとき、予測処理ユニット81の動き補償ユニット82は、動きベクトルおよびエントロピー復号ユニット80から受信した他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックに対する予測ブロックを生成する。予測ブロックは、基準ピクチャリストの1つの中の基準ピクチャの1つから生成されることができる。ビデオデコーダ30は、復号されたピクチャバッファ92において記憶された基準ピクチャに基づいて、デフォルトの構成技術を用いて、リスト0およびリスト1の基準フレームリストを構成することができる。
[0101]動き補償ユニット82は、動きベクトルと他のシンタックス要素とを解釈することによって現在のビデオスライスのビデオブロックに対する予測情報を決定し、予測情報を使用して復号されるべき現在のビデオブロックに対する予測ブロックを生成する。例えば、動き補償ユニット82は、受信されたシンタックス要素の一部を使用して、ビデオスライスのビデオブロックをコーディングするのに使用される予測モード(例えばイントラあるいはインター予測)、インター予測スライスタイプ(例えばBスライス、Pスライス、あるいはGPBスライス)、当該スライスに対する1つ以上の基準ピクチャリストのための構成情報、スライスの各インター符号化されたビデオブロックに対する動きベクトル、スライスの各インターコーディングされたビデオブロックに対するインター予測ステータス、そして現在のビデオスライスにおけるビデオブロックを復号するための他の情報、を決定する。
[0102]動き補償ユニット82はまた、補間フィルタに基づいて補間を実行することができる。動き補償ユニット82は、ビデオブロックの符号化の間にビデオエンコーダ20によって使用されるような補間フィルタを使用して、基準ブロックのサブ整数ピクセルに対する補間された値を計算する。この場合において、動き補償ユニット82は、受信されたシンタックス要素からビデオエンコーダ20によって使用される補間フィルタを決定し、当該補間フィルタを使用して予測ブロックを生成する。
[0103]逆量子化ユニット86は、ビットストリームにおいて供給され、エントロピー復号ユニット80によって復号された、量子化された変換係数を、逆量子化すなわち非量子化する。逆量子化プロセスは、量子化の度合いを決定するために、同様にして、適用すべき逆量子化の度合いを決定するために、ビデオスライスにおける各ビデオブロックに対するビデオエンコーダ20によって計算される量子化パラメータの使用を含む。逆変換処理ユニット88は、逆変換例えば逆DCT、逆整数変換、あるいは概念的に類似の逆変換プロセス、を変換係数に適用して、ピクセル領域における残差ブロックを生成する。
[0104]動き補償ユニット82が、動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオブロックに対する予測ブロックを生成したあとで、ビデオデコーダ30は、逆変換処理ユニット88からの残差ブロックと、動き補償ユニット82によって生成された対応する予測ブロックとを加算することによって、復号されたビデオブロックを生成する。加算器90は、この加算演算を実行するコンポーネント(単数または複数)を表す。望まれるならば、デブロッキングフィルタは、ブロックアーティファクトを除去するために、復号されたブロックをフィルタリングするのに適用される。(コーディングループにおいてあるいはコーディングループのあとで)他のループフィルタは、ピクセル推移を円滑化するかあるいはビデオ品質を改善するために使用される。所定のフレームあるいはピクチャにおける復号されたビデオブロックはつぎに、次の動き補償のために使用される基準ピクチャを記憶する、復号されたピクチャバッファ92内に記憶される。復号されたピクチャバッファ92はまた、図1の表示装置32などのような表示装置上に後での表示のために復号されたビデオを記憶する。
[0100]図5は、本実施形態の一例にしたがった例示的ビデオ符号化方法を示すフローチャートである。図5の技術は、ビデオエンコーダ20の1つ以上の構造ユニットによって実行されることができる。
[0105]図5に示されるように、ビデオエンコーダ20は、ビデオデータを符号化し(500)、符号化されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を生成し(502)、符号化されたビデオストリームにおいて前記指示をシグナリングする(504)ように構成されることができる。
[0106]本開示の一例において、指示はフラグを具備する。0に等しいフラグ値は、符号化されたビデオデータにおけるすべてのピクチャは、フレームパッキングされた3Dビデオデータを含まず、符号化されたビデオデータは、フレームパッキング構成(FPA)サプリメンタルエンハンスメント情報(SEI)メッセージを含まないことを示す。1に等しいフラグ値は、フレームパッキングされたステレオスコピック3Dビデオデータを含む、符号化されたビデオデータの中に1つ以上のピクチャが存在し、符号化されたビデオデータは1つ以上のFPA SEIメッセージを含むことを示す。
[0107]この開示の他の例において、指示は、ビデオパラメータセット(VPS)およびシーケンスパラメータセット(SPS)の少なくとも1つにおいてシグナリングされる。本開示の他の例において、指示は、ビデオファイルフォーマット情報のサンプルエントリにおいてシグナリングされる。本開示の他の例において、指示は、サンプル記述、セッション記述プロトコル(SDP)ファイル、そしてメディア表示記述(MPD)の1つにおいてシグナリングされる。
[0108]本開示の他の例において、指示は、RTPペイロードにおけるパラメータである。一例において、指示は、受信器実装の能力要求をさらに示すパラメータである。他の例において、指示は、プロファイルシンタックス、ティアシンタックス、そしてレベルシンタックスの少なくとも1つにおいてシグナリングされる。
[0109]図6は、本開示の一例にしたがった、例示的ビデオ復号方法を示すフローチャートである。図6の技術は、ビデオデコーダ30の1つ以上の構造ユニットによって実行される。
[0110]図6に示されるように、ビデオデコーダ30は、ビデオデータを受信するように構成され(600)、受信されたビデオデータの任意のピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうか示す指示を受信する(602)ように構成されている。ビデオデコーダ30が、フレームパッキングされたステレオスコピック3Dビデオデータを復号できないのであれば(604)、ビデオデコーダ30はさらにビデオデータを拒絶する(608)ように構成される。ビデオデコーダ30がフレームパッキングされたステレオスコピック3Dビデオデータを復号できるのであれば、ビデオデコーダ30はさらに、受信された指示に基づいて、前記受信されたビデオデータを復号する(606)ように構成される。すなわち、指示が、ビデオデータがフレームパッキングされたステレオスコピック3Dビデオデータであることを示すのであれば、ビデオデコーダ30は、フレームパッキング技術(例えば図2に関連して上記した技術)を使用して、ビデオデータを復号するであろう。また、指示が、ビデオデータがフレームパッキングされたステレオスコピック3Dビデオデータではないことを示すのであれば、ビデオデコーダ30は、他のビデオ復号技術を使用してビデオデータを復号するであろう。他のビデオデータ復号技術は、フレームパッキングされたステレオスコピック3Dビデオ復号技術を含まない、HEVCビデオ復号技術を含む、任意のビデオ復号技術を含むことができる。一部の例において、ビデオデコーダ30は、フレームパッキングされたステレオスコピック3Dビデオデータとして指示されたビデオデータを拒絶することができる。
[0111]本開示の一例において、指示はフラグを具備する。0に等しいフラグ値は、受信されたビデオデータにおけるすべてのピクチャが、フレームパッキングされたステレオスコピック3Dビデオデータを含まず、かつ、受信されたビデオデータは、フレームパッキング構成(FPA)サプリメンタルエンハンスメント情報(SEI)メッセージを含まないことを示す。そして、1に等しいフラグ値は、フレームパッキングされたステレオスコピック3Dビデオデータを含む受信されたビデオデータの中に1つ以上のピクチャが存在し、受信されたビデオデータは1つ以上のFPA SEIメッセージを含むことを示す。
[0112]本開示の他の例において、指示は、ビデオパラメータセットおよびシーケンスパラメータセットの少なくとも1つにおいて受信される。本開示の他の例において、指示は、ビデオファイルフォーマット情報のサンプルエントリにおいて受信される。本開示の他の例において、指示は、サンプル記述、セッション記述プロトコル(SDP)ファイル、そしてメディア表示記述(MPD)の1つにおいて受信される。
[0113]本開示の他の例において、指示は、RTPペイロードにおけるパラメータである。一例において、指示は、受信器実装の能力要求をさらに示すパラメータである。
[0114]1つ以上の例において、記述された機能は、ハードウエア、ソフトウエア、ファームウエア、あるいはそれらの任意の組み合わせにおいて実装することができる。ソフトウエアにおいて実装されたならば、機能は、1つ以上の命令あるいはコードとして、コンピュータ読み取り可能な媒体上に記憶されるかあるいは当該媒体を介して送信され、ハードウエアに基づく処理ユニットによって実行される。コンピュータ読み取り可能な媒体は、データ記憶媒体あるいは、例えば通信プロトコルにしたがってコンピュータプログラムの1つの場所から他の場所への転送を確立する任意の媒体を含む通信メディアなどの触知可能な媒体に対応する、コンピュータ読み取り可能な記憶媒体を含む。ここにおいて、コンピュータ読み取り可能な媒体は概して、(1)非一時的な触知可能なコンピュータ読み取り可能な記憶媒体か、あるいは(2)信号あるいは搬送波などの通信媒体に対応する。データ記憶媒体は、この開示において上記された技術の実装のための、命令、コードおよび/またはデータ構造を回収するために、1つ以上のコンピュータまたは1つ以上のプロセッサによってアクセス可能な任意の利用可能な媒体であることができる。コンピュータプログラムプロダクトは、コンピュータ読み取り可能な媒体を含むことができる。
[0115]一例でありそれに限定されないが、そのようなコンピュータ読み取り可能な記憶媒体は、RAM、ROM、EEPROM、CD−ROM、あるいは他の光学ディスクストレージ、磁気ディスクストレージ、あるいは他の磁気記憶デバイス、フラッシュメモリ、あるいはコンピュータによってアクセス可能な命令またはデータ構造の形態の、所望のプログラムコードを記憶するのに使用可能な任意の他の媒体、を備えることができる。さらに、任意の接続はコンピュータ読み取り可能な媒体と言うことができる。例えば、命令が、同軸ケーブル、光ファイバケーブル、より対線、デジタルサブスクライバライン(DSL)、あるいは赤外、無線およびマイクロ波、などの無線技術を用いて、ウエブサイト、サーバー、あるいは他の遠隔ソースから送信されるのであれば、当該同軸ケーブル、光ファイバ、より対線、DSL、あるいは、赤外、無線、およびマイクロ波などの無線技術は、媒体の定義に含まれる。しかしながら、コンピュータ読み取り可能な記憶媒体およびデータ記憶媒体は、接続、搬送波、信号あるいは他の一時的媒体を含まず、代わりに、非一時的で触知可能な記憶媒体に向けられている。ここにおいて用いられるディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザーディスク(登録商標)、光学ディスク、デジタルバーサタイルディスク(DVD)、フロッピー(登録商標)ディスクおよびブルーレイディスクを含み、ここにおいて、ディスク(disk)は通常データを磁気的に再生するものであり、ディスク(disc)はデータをレーザによって光学的に再生するものである。上記の組み合わせもまた、コンピュータ読み取り可能な媒体の範囲内に含まれる。
[0116]命令は、1つ以上のデジタルシグナルプロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASICS)、フィールドプログラマブルロジックアレイ(FPGA)、あるいは他の同等の集積または離散ロジック回路などの、1つ以上のプロセッサによって実行されることができる。したがって、ここにおいて用いられているように、術語“プロセッサ”は、上記した構造あるいはここに記述された技術の実装に適した他の任意の構造のいずれかを意味することができる。さらに、一部の側面において、ここに記述された機能は、符号化および復号のために構成された、専用ハードウエアおよび/またはソフトウエアモジュール内に提供されるか、あるいは組み合わされたコーデック内に組み込まれることができる。さらに、当該技術は、1つ以上の回路またはロジック要素内に完全に実装することができる。
[0117]この開示の技術は、ワイヤレスハンドセット、集積回路(IC)あるいは一組のIC(例えばチップセット)を含む、広範囲の種類のデバイスあるいは装置において実装することができる。開示された技術を実行するように構成されたデバイスの機能上の側面を強調するために、種々のコンポーネント、モジュールあるいはユニットがこの開示において記述されたが、必ずしも異なるハードウエアユニットによる実現が要求されるわけではない。もしろ、上記したように、適切なソフトウエアおよび/またはファームウエアに関連して、上記した1つ以上のプロセッサを含む、種々のユニットがコーデックハードウエアユニット内で組み合わされるかあるいは相互動作するハードウエアユニットの収集物によって提供される。
[0118]種々の例が記述された。これらの及び他の例は以下の特許請求の範囲に含まれる。
[0118]種々の例が記述された。これらの及び他の例は以下の特許請求の範囲に含ま
れる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
ビデオデータを復号するための方法であって、前記方法は、
ビデオデータを受信することと、
前記受信されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を受信することと、
前記受信された指示にしたがって、前記受信されたビデオデータを復号することと、
を具備する方法。
[C2]
前記指示は、フラグを具備し、0に等しいフラグ値は、前記受信されたビデオデータにおけるすべてのピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含まず、前記受信されたビデオデータがフレームパッキング構成(FPA)サプリメンタルエンハンスメント情報(SEI)メッセージを含まない、ことを示し、1に等しいフラグ値は、
フレームパッキングされたステレオスコピック3Dビデオデータを含む受信されたビデオデータの中に1つ以上のピクチャが存在し、前記受信されたビデオデータは1つ以上のFPA SEIメッセージを含むことを示す、C1に記載の方法。
[C3]
前記指示は、フレームパッキングされたステレオスコピック3Dビデオデータを含む前記受信されたビデオデータの中に1つ以上のピクチャが存在し、前記受信されたビデオデータは、1つ以上のフレームパッキング構成(FPA)サプリメンタルエンハンスメント情報(SEI)メッセージを含む、ことを示し、前記受信されたビデオデータを復号することは、前記受信された指示に基づいて前記ビデオデータを拒絶することを具備する、C1の方法。
[C4]
ビデオパラメータセットおよびシーケンスパラメータセットの少なくとも1つにおいて前記指示を受信することをさらに具備する、C1に記載の方法。
[C5]
ビデオファイルフォーマット情報のサンプルエントリにおいて前記指示を受信することをさらに具備する、C1に記載の方法。
[C6]
サンプル記述、セッション記述プロトコル(SDP)ファイル、そしてメディア表示記述(MPD)の1つにおいて前記指示を受信することをさらに具備する、C5に記載の方法。
[C7]
前記指示は、RTPペイロードにおけるパラメータである、C1に記載の方法。
[C8]
前記指示は、受信器実装の能力要求をさらに示すパラメータである、C7の方法。
[C9]
プロファイルシンタックス、ティアシンタックス、およびレベルシンタックスの少なくとも1つにおいて前記指示を受信することをさらに具備する、C1の方法。
[C10]
ビデオデータを符号化するための方法であって、前記方法は、
ビデオデータを符号化することと、
前記符号化されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を生成することと、
符号化されたビデオビットストリームにおいて前記指示をシグナリングすることと、を具備する方法。
[C11]
前記指示は、フラグを具備し、0に等しいフラグ値は、前記符号化されたビデオデータにおけるすべてのピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含まず、前記符号化されたビデオデータがフレームパッキング構成(FPA)サプリメンタルエンハンスメント情報(SEI)メッセージを含まない、ことを示し、1に等しいフラグ値は、フレームパッキングされたステレオスコピック3Dビデオデータを含む符号化されたビデオデータの中に1つ以上のピクチャが存在し、前記符号化されたビデオデータは1つ以上のFPA SEIメッセージを含むことを示す、C10に記載の方法。
[C12]
ビデオパラメータセットおよびシーケンスパラメータセットの少なくとも1つにおいて前記指示をシグナリングすることをさらに具備する、C10に記載の方法。
[C13]
ビデオファイルフォーマット情報のサンプルエントリにおいて前記指示をシグナリングすることをさらに具備する、C10に記載の方法。
[C14]
サンプル記述、セッション記述プロトコル(SDP)ファイル、そしてメディア表示記述(MPD)の1つにおいて前記指示をシグナリングすることをさらに具備する、C13に記載の方法。
[C15]
前記指示は、RTPペイロードにおけるパラメータであるC10の方法。
[C16]
前記指示は、受信機実装の能力要求をさらに示すパラメータであるC15に記載の方法。
[C17]
プロファイルシンタックス、ティアシンタックス、そしてレベルシンタックスの少なくとも一つにおいて前記指示をシグナリングすることをさらに備えるC10に記載の方法。
[C18]
ビデオデータを復号するように構成された装置であって、
ビデオデータを受信し、
前記受信されたビデオデータにおけるピクチャが、フレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を受信し、
前記受信された指示に基づいて前記受信されたビデオデータを復号するように構成されたビデオデコーダを具備する装置。
[C19]
前記指示はフラグを具備し、0に等しいフラグ値は、前記受信されたビデオデータにおけるすべてのピクチャは、フレームパッキングされたステレオスコピック3Dビデオデータを含まず、かつ、前記受信されたビデオデータは、フレームパッキング構成(FPA)サプリメンタルエンハンスメント情報(SEI)メッセージを含まないことを示し、1に等しいフラグ値は、フレームパッキングされたステレオスコピック3Dビデオデータを含む前記受信されたビデオデータ内に1つ以上のピクチャが存在し、前記受信されたビデオデータは、1つ以上のFPA SEIメッセージを含む、C18に記載の装置。
[C20]前記指示は、フレームパッキングされたステレオスコピック3Dビデオデータを含む前記受信されたビデオデータ内に1つ以上のピクチャが存在し、前記受信されたビデオデータは、1つ以上のフレームパッキング構成(FPA)サプリメンタルエンハンスメント情報(SEI)メッセージを含み、前記ビデオデコーダはさらに、前記受信された指示に基づいて、前記ビデオデータを拒絶するように構成されるC18に記載の装置。
[C21]前記ビデオデコーダはさらに、ビデオパラメータセットおよびシーケンスパラメータセットの少なくとも1つにおいて前記指示を受信するように構成されるC18に記載の装置。
[C22]前記ビデオデコーダはさらに、ビデオファイルフォーマット情報のサンプルエントリにおいて前記指示を受信するように構成されるC18に記載の装置。
[C23]前記ビデオデコーダはさらに、サンプル記述、セッション記述プロトコル(SDP)ファイル、そしてメディアプレゼンテーション記述(MPD)の1つにおいて前記指示を受信するように構成されるC22に記載の装置。
[C24]前記指示は、RTPペイロードにおけるパラメータであるC18に記載の装置。
[C25]前記指示は、受信機実装の能力要求をさらに示すパラメータであるC24に記載の装置。
[C26]前記ビデオデコーダはさらに、プロファイルシンタックス、ティアシンタックス、そしてレベルシンタックスの少なくとも1つにおいて前記指示を受信するように構成されるC18に記載の装置。
[C27]ビデオデータを符号化するように構成される装置であって、
ビデオデータを符号化し、
前記符号化されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を生成し、
符号化されたビデオビットストリームにおいて前記指示をシグナリングする、
ように構成されたビデオエンコーダを具備する装置。
[C28]
前記指示はフラグを具備し、0に等しいフラグ値は、前記符号化されたビデオデータにおけるすべてのピクチャは、フレームパッキングされたステレオスコピック3Dビデオデータを含まず、かつ、前記符号化されたビデオデータは、フレームパッキング構成(FPA)サプリメンタルエンハンスメント情報(SEI)メッセージを含まないことを示し、1に等しいフラグ値は、フレームパッキングされたステレオスコピック3Dビデオデータを含む前記符号化されたビデオデータ内に1つ以上のピクチャが存在し、前記符号化されたビデオデータは、1つ以上のFPA SEIメッセージを含む、C27に記載の装置。
[C29]
前記ビデオエンコーダはさらに、ビデオパラメータセットおよびシーケンスパラメータセットの少なくとも1つにおいて前記指示をシグナリングするように構成されるC27に記載の装置。
[C30]
前記ビデオエンコーダはさらに、ビデオファイルフォーマット情報のサンプルエントリにおいて前記指示をシグナリングするように構成されるC27に記載の装置。
[C31]
前記ビデオエンコーダはさらに、サンプル記述、セッション記述プロトコル(SDP)ファイル、そしてメディアプレゼンテーション記述(MPD)の1つにおいて前記指示をシグナリングするように構成されるC30に記載の装置。
[C32]
前記指示は、RTPペイロードにおけるパラメータであるC27に記載の装置。
[C33]
前記指示は、受信機実装の能力要求をさらに指示するパラメータであるC32に記載の装置。
[C34]
前記ビデオエンコーダはさらに、プロファイルシンタックス、ティアシンタックス、およびレベルシンタックスの少なくとも1つにおいて前記指示をシグナリングするように構成される、C27に記載の装置。
[C35]
ビデオデータを復号するように構成された装置であって、
ビデオデータを受信するための手段と、
前記符号化されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を受信するための手段と、
前記受信された指示にしたがって、前記受信されたビデオデータを復号するための手段と、
を具備する装置。
[C36]
ビデオデータを符号化するように構成された装置であって、
ビデオデータを符号化するための手段と、
前記符号化されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を生成するための手段と、
符号化されたビデオビットストリームにおいて前記指示をシグナリングするための手段と、
を具備する装置。
[C37]
実行されたときに、ビデオデータを復号するように構成されたデバイスの1つ以上のプロセッサに、
ビデオデータを受信し、
前記受信されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を受信し、
前記受信された指示にしたがって、前記受信されたビデオデータを復号させる、命令を記憶するコンピュータ読み取り可能な記憶媒体。
[C38]
実行されたときに、ビデオデータを符号化するように構成されたデバイスの1つ以上のプロセッサに、
ビデオデータを符号化し、
前記受信されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を生成し、
符号化されたビデオビットストリームにおいて前記指示をシグナリングさせる、命令を記憶するコンピュータ読み取り可能な記憶媒体。

Claims (38)

  1. ビデオデータを復号するための方法であって、前記方法は、
    ビデオデータを受信することと、
    前記受信されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を受信することと、
    前記受信された指示にしたがって、前記受信されたビデオデータを復号することと、
    を具備する方法。
  2. 前記指示は、フラグを具備し、0に等しいフラグ値は、前記受信されたビデオデータにおけるすべてのピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含まず、前記受信されたビデオデータがフレームパッキング構成(FPA)サプリメンタルエンハンスメント情報(SEI)メッセージを含まない、ことを示し、1に等しいフラグ値は、
    フレームパッキングされたステレオスコピック3Dビデオデータを含む受信されたビデオデータの中に1つ以上のピクチャが存在し、前記受信されたビデオデータは1つ以上のFPA SEIメッセージを含むことを示す、請求項1に記載の方法。
  3. 前記指示は、フレームパッキングされたステレオスコピック3Dビデオデータを含む前記受信されたビデオデータの中に1つ以上のピクチャが存在し、前記受信されたビデオデータは、1つ以上のフレームパッキング構成(FPA)サプリメンタルエンハンスメント情報(SEI)メッセージを含む、ことを示し、前記受信されたビデオデータを復号することは、前記受信された指示に基づいて前記ビデオデータを拒絶することを具備する、請求項1の方法。
  4. ビデオパラメータセットおよびシーケンスパラメータセットの少なくとも1つにおいて前記指示を受信することをさらに具備する、請求項1に記載の方法。
  5. ビデオファイルフォーマット情報のサンプルエントリにおいて前記指示を受信することをさらに具備する、請求項1に記載の方法。
  6. サンプル記述、セッション記述プロトコル(SDP)ファイル、そしてメディア表示記述(MPD)の1つにおいて前記指示を受信することをさらに具備する、請求項5に記載の方法。
  7. 前記指示は、RTPペイロードにおけるパラメータである、請求項1に記載の方法。
  8. 前記指示は、受信器実装の能力要求をさらに示すパラメータである、請求項7の方法。
  9. プロファイルシンタックス、ティアシンタックス、およびレベルシンタックスの少なくとも1つにおいて前記指示を受信することをさらに具備する、請求項1の方法。
  10. ビデオデータを符号化するための方法であって、前記方法は、
    ビデオデータを符号化することと、
    前記符号化されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を生成することと、
    符号化されたビデオビットストリームにおいて前記指示をシグナリングすることと、を具備する方法。
  11. 前記指示は、フラグを具備し、0に等しいフラグ値は、前記符号化されたビデオデータにおけるすべてのピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含まず、前記符号化されたビデオデータがフレームパッキング構成(FPA)サプリメンタルエンハンスメント情報(SEI)メッセージを含まない、ことを示し、1に等しいフラグ値は、フレームパッキングされたステレオスコピック3Dビデオデータを含む符号化されたビデオデータの中に1つ以上のピクチャが存在し、前記符号化されたビデオデータは1つ以上のFPA SEIメッセージを含むことを示す、請求項10に記載の方法。
  12. ビデオパラメータセットおよびシーケンスパラメータセットの少なくとも1つにおいて前記指示をシグナリングすることをさらに具備する、請求項10に記載の方法。
  13. ビデオファイルフォーマット情報のサンプルエントリにおいて前記指示をシグナリングすることをさらに具備する、請求項10に記載の方法。
  14. サンプル記述、セッション記述プロトコル(SDP)ファイル、そしてメディア表示記述(MPD)の1つにおいて前記指示をシグナリングすることをさらに具備する、請求項13に記載の方法。
  15. 前記指示は、RTPペイロードにおけるパラメータである請求項10の方法。
  16. 前記指示は、受信機実装の能力要求をさらに示すパラメータである請求項15に記載の方法。
  17. プロファイルシンタックス、ティアシンタックス、そしてレベルシンタックスの少なくとも一つにおいて前記指示をシグナリングすることをさらに備える請求項10に記載の方法。
  18. ビデオデータを復号するように構成された装置であって、
    ビデオデータを受信し、
    前記受信されたビデオデータにおけるピクチャが、フレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を受信し、
    前記受信された指示に基づいて前記受信されたビデオデータを復号するように構成されたビデオデコーダを具備する装置。
  19. 前記指示はフラグを具備し、0に等しいフラグ値は、前記受信されたビデオデータにおけるすべてのピクチャは、フレームパッキングされたステレオスコピック3Dビデオデータを含まず、かつ、前記受信されたビデオデータは、フレームパッキング構成(FPA)サプリメンタルエンハンスメント情報(SEI)メッセージを含まないことを示し、1に等しいフラグ値は、フレームパッキングされたステレオスコピック3Dビデオデータを含む前記受信されたビデオデータ内に1つ以上のピクチャが存在し、前記受信されたビデオデータは、1つ以上のFPA SEIメッセージを含む、請求項18に記載の装置。
  20. 前記指示は、フレームパッキングされたステレオスコピック3Dビデオデータを含む前記受信されたビデオデータ内に1つ以上のピクチャが存在し、前記受信されたビデオデータは、1つ以上のフレームパッキング構成(FPA)サプリメンタルエンハンスメント情報(SEI)メッセージを含み、前記ビデオデコーダはさらに、前記受信された指示に基づいて、前記ビデオデータを拒絶するように構成される請求項18に記載の装置。
  21. 前記ビデオデコーダはさらに、ビデオパラメータセットおよびシーケンスパラメータセットの少なくとも1つにおいて前記指示を受信するように構成される請求項18に記載の装置。
  22. 前記ビデオデコーダはさらに、ビデオファイルフォーマット情報のサンプルエントリにおいて前記指示を受信するように構成される請求項18に記載の装置。
  23. 前記ビデオデコーダはさらに、サンプル記述、セッション記述プロトコル(SDP)ファイル、そしてメディアプレゼンテーション記述(MPD)の1つにおいて前記指示を受信するように構成される請求項22に記載の装置。
  24. 前記指示は、RTPペイロードにおけるパラメータである請求項18に記載の装置。
  25. 前記指示は、受信機実装の能力要求をさらに示すパラメータである請求項24に記載の装置。
  26. 前記ビデオデコーダはさらに、プロファイルシンタックス、ティアシンタックス、そしてレベルシンタックスの少なくとも1つにおいて前記指示を受信するように構成される請求項18に記載の装置。
  27. ビデオデータを符号化するように構成される装置であって、
    ビデオデータを符号化し、
    前記符号化されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を生成し、
    符号化されたビデオビットストリームにおいて前記指示をシグナリングする、
    ように構成されたビデオエンコーダを具備する装置。
  28. 前記指示はフラグを具備し、0に等しいフラグ値は、前記符号化されたビデオデータにおけるすべてのピクチャは、フレームパッキングされたステレオスコピック3Dビデオデータを含まず、かつ、前記符号化されたビデオデータは、フレームパッキング構成(FPA)サプリメンタルエンハンスメント情報(SEI)メッセージを含まないことを示し、1に等しいフラグ値は、フレームパッキングされたステレオスコピック3Dビデオデータを含む前記符号化されたビデオデータ内に1つ以上のピクチャが存在し、前記符号化されたビデオデータは、1つ以上のFPA SEIメッセージを含む、請求項27に記載の装置。
  29. 前記ビデオエンコーダはさらに、ビデオパラメータセットおよびシーケンスパラメータセットの少なくとも1つにおいて前記指示をシグナリングするように構成される請求項27に記載の装置。
  30. 前記ビデオエンコーダはさらに、ビデオファイルフォーマット情報のサンプルエントリにおいて前記指示をシグナリングするように構成される請求項27に記載の装置。
  31. 前記ビデオエンコーダはさらに、サンプル記述、セッション記述プロトコル(SDP)ファイル、そしてメディアプレゼンテーション記述(MPD)の1つにおいて前記指示をシグナリングするように構成される請求項30に記載の装置。
  32. 前記指示は、RTPペイロードにおけるパラメータである請求項27に記載の装置。
  33. 前記指示は、受信機実装の能力要求をさらに指示するパラメータである請求項32に記載の装置。
  34. 前記ビデオエンコーダはさらに、プロファイルシンタックス、ティアシンタックス、およびレベルシンタックスの少なくとも1つにおいて前記指示をシグナリングするように構成される、請求項27に記載の装置。
  35. ビデオデータを復号するように構成された装置であって、
    ビデオデータを受信するための手段と、
    前記符号化されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を受信するための手段と、
    前記受信された指示にしたがって、前記受信されたビデオデータを復号するための手段と、
    を具備する装置。
  36. ビデオデータを符号化するように構成された装置であって、
    ビデオデータを符号化するための手段と、
    前記符号化されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を生成するための手段と、
    符号化されたビデオビットストリームにおいて前記指示をシグナリングするための手段と、
    を具備する装置。
  37. 実行されたときに、ビデオデータを復号するように構成されたデバイスの1つ以上のプロセッサに、
    ビデオデータを受信し、
    前記受信されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を受信し、
    前記受信された指示にしたがって、前記受信されたビデオデータを復号させる、命令を記憶するコンピュータ読み取り可能な記憶媒体。
  38. 実行されたときに、ビデオデータを符号化するように構成されたデバイスの1つ以上のプロセッサに、
    ビデオデータを符号化し、
    前記受信されたビデオデータにおけるピクチャがフレームパッキングされたステレオスコピック3Dビデオデータを含むかどうかを示す指示を生成し、
    符号化されたビデオビットストリームにおいて前記指示をシグナリングさせる、命令を記憶するコンピュータ読み取り可能な記憶媒体。
JP2015533158A 2012-09-20 2013-09-18 ビデオコーディングのためのフレームパッキングされたステレオスコピック3dビデオデータの指示 Active JP6407867B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261703662P 2012-09-20 2012-09-20
US61/703,662 2012-09-20
US201261706647P 2012-09-27 2012-09-27
US61/706,647 2012-09-27
US14/029,120 2013-09-17
US14/029,120 US20140078249A1 (en) 2012-09-20 2013-09-17 Indication of frame-packed stereoscopic 3d video data for video coding
PCT/US2013/060452 WO2014047204A1 (en) 2012-09-20 2013-09-18 Indication of frame-packed stereoscopic 3d video data for video coding

Publications (3)

Publication Number Publication Date
JP2015533055A true JP2015533055A (ja) 2015-11-16
JP2015533055A5 JP2015533055A5 (ja) 2016-10-20
JP6407867B2 JP6407867B2 (ja) 2018-10-17

Family

ID=50274052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015533158A Active JP6407867B2 (ja) 2012-09-20 2013-09-18 ビデオコーディングのためのフレームパッキングされたステレオスコピック3dビデオデータの指示

Country Status (7)

Country Link
US (2) US20140078249A1 (ja)
EP (1) EP2898693A1 (ja)
JP (1) JP6407867B2 (ja)
CN (2) CN104641645B (ja)
AR (1) AR093235A1 (ja)
TW (2) TWI520575B (ja)
WO (2) WO2014047202A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016507988A (ja) * 2013-01-17 2016-03-10 サムスン エレクトロニクス カンパニー リミテッド デコーダ設定のためのビデオ符号化方法及びその装置、並びにデコーダ設定に基づいたビデオ復号化方法及びその装置

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992490B2 (en) 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
US20140092992A1 (en) * 2012-09-30 2014-04-03 Microsoft Corporation Supplemental enhancement information including confidence level and mixed content information
US20140092962A1 (en) * 2012-10-01 2014-04-03 Sony Corporation Inter field predictions with hevc
US10219006B2 (en) 2013-01-04 2019-02-26 Sony Corporation JCTVC-L0226: VPS and VPS_extension updates
US10419778B2 (en) * 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
CA2904424C (en) * 2013-07-19 2018-05-22 Mediatek Inc. Method and apparatus of camera parameter signaling in 3d video coding
EP2854405A1 (en) * 2013-09-26 2015-04-01 Thomson Licensing Method and apparatus for encoding and decoding a motion vector representation in interlaced video using progressive video coding tools
GB2524531B (en) * 2014-03-25 2018-02-07 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
US20160021375A1 (en) * 2014-07-16 2016-01-21 Qualcomm Incorporated Transport stream for carriage of video coding extensions
WO2016111199A1 (ja) * 2015-01-09 2016-07-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに記録媒体
US9762912B2 (en) 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
US10389970B2 (en) * 2015-01-23 2019-08-20 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal for restoring pulled-down signal
KR102519209B1 (ko) 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
US10375371B2 (en) * 2016-07-15 2019-08-06 Mediatek Inc. Method and apparatus for filtering 360-degree video boundaries
JP7146747B2 (ja) * 2016-11-17 2022-10-04 インテル コーポレイション パノラマビデオのための提案されるビューポート指示
TWI655864B (zh) * 2016-11-22 2019-04-01 聯發科技股份有限公司 視訊編碼中用於運動向量符號預測的方法及裝置
CN108111851B (zh) * 2016-11-25 2020-12-22 华为技术有限公司 一种去块滤波方法及终端
KR102503342B1 (ko) 2017-01-10 2023-02-28 삼성전자주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
WO2018131803A1 (ko) * 2017-01-10 2018-07-19 삼성전자 주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
US10999605B2 (en) 2017-01-10 2021-05-04 Qualcomm Incorporated Signaling of important video information in file formats
CN106921843B (zh) * 2017-01-18 2020-06-26 苏州科达科技股份有限公司 数据传输方法及装置
US10185878B2 (en) * 2017-02-28 2019-01-22 Microsoft Technology Licensing, Llc System and method for person counting in image data
US10701400B2 (en) 2017-03-21 2020-06-30 Qualcomm Incorporated Signalling of summarizing video supplemental information
WO2018191224A1 (en) * 2017-04-11 2018-10-18 Vid Scale, Inc. 360-degree video coding using face continuities
TWI653181B (zh) * 2018-01-31 2019-03-11 光陽工業股份有限公司 Battery box opening structure of electric vehicle
TWI674980B (zh) * 2018-02-02 2019-10-21 光陽工業股份有限公司 電動車的電池盒開啟控制結構
EP3759920A1 (en) * 2018-03-21 2021-01-06 Huawei Technologies Co., Ltd. Signaling a constraint flag in a video bitstream
CN110022297B (zh) * 2019-03-01 2021-09-24 广东工业大学 一种高清视频直播系统
EP3984231A4 (en) * 2019-06-13 2023-06-21 Beijing Dajia Internet Information Technology Co., Ltd. SUB-BLOCK TRANSFORM METHOD AND SYSTEM FOR VIDEO CODING
EP3991412A4 (en) * 2019-06-25 2023-06-28 INTEL Corporation Sub-pictures and sub-picture sets with level derivation
US20220337879A1 (en) * 2021-04-18 2022-10-20 Lemon Inc. Parameter Sets In Common Media Application Format
US11758108B2 (en) * 2021-06-18 2023-09-12 Qingdao Pico Technology Co., Ltd. Image transmission method, image display device, image processing device, image transmission system, and image transmission system with high-transmission efficiency
CN115052170B (zh) * 2022-04-26 2023-06-23 中国传媒大学 一种基于sei时码信息的云上导播方法及装置
CN114745600B (zh) * 2022-06-10 2022-09-27 中国传媒大学 一种基于sei的视频标签标注方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120020413A1 (en) * 2010-07-21 2012-01-26 Qualcomm Incorporated Providing frame packing type information for video coding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130448A (en) 1998-08-21 2000-10-10 Gentex Corporation Optical sensor package and method of making same
US7010032B1 (en) * 1999-03-12 2006-03-07 Kabushiki Kaisha Toshiba Moving image coding apparatus and decoding apparatus
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP2006260611A (ja) * 2005-03-15 2006-09-28 Toshiba Corp 情報記憶媒体、情報再生装置、情報再生方法、及びネットワーク通信システム
US20070139792A1 (en) 2005-12-21 2007-06-21 Michel Sayag Adjustable apodized lens aperture
US7817865B2 (en) * 2006-01-12 2010-10-19 Lg Electronics Inc. Processing multiview video
US7585122B2 (en) 2006-03-15 2009-09-08 Nokia Corporation Aperture construction for a mobile camera
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
EP2087741B1 (en) * 2006-10-16 2014-06-04 Nokia Corporation System and method for implementing efficient decoded buffer management in multi-view video coding
CA2675955C (en) * 2007-01-18 2013-07-23 Nokia Corporation Carriage of sei messages in rtp payload format
CN103338367B (zh) * 2007-04-18 2017-08-29 杜比国际公司 编码和解码方法
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
US8964828B2 (en) * 2008-08-19 2015-02-24 Qualcomm Incorporated Power and computational load management techniques in video processing
US8373919B2 (en) 2008-12-03 2013-02-12 Ppg Industries Ohio, Inc. Optical element having an apodized aperture
NZ599303A (en) * 2009-10-20 2014-06-27 Ericsson Telefon Ab L M Provision of supplemental processing information
US20110255594A1 (en) * 2010-04-15 2011-10-20 Soyeb Nagori Rate Control in Video Coding
US8885729B2 (en) * 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
JP2012199897A (ja) * 2011-03-04 2012-10-18 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120020413A1 (en) * 2010-07-21 2012-01-26 Qualcomm Incorporated Providing frame packing type information for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OHJI NAKAGAMI ET AL., ON STEREO 3D CODING USING FRAME PACKING ARRANGEMENT SEI, JPN6017020605, 27 April 2012 (2012-04-27) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016507988A (ja) * 2013-01-17 2016-03-10 サムスン エレクトロニクス カンパニー リミテッド デコーダ設定のためのビデオ符号化方法及びその装置、並びにデコーダ設定に基づいたビデオ復号化方法及びその装置

Also Published As

Publication number Publication date
US20140079116A1 (en) 2014-03-20
CN104641645B (zh) 2019-05-31
TWI587708B (zh) 2017-06-11
TW201424340A (zh) 2014-06-16
TWI520575B (zh) 2016-02-01
US20140078249A1 (en) 2014-03-20
EP2898693A1 (en) 2015-07-29
WO2014047204A1 (en) 2014-03-27
CN104641645A (zh) 2015-05-20
AR093235A1 (es) 2015-05-27
TW201417582A (zh) 2014-05-01
CN104641652A (zh) 2015-05-20
JP6407867B2 (ja) 2018-10-17
WO2014047202A3 (en) 2014-05-15
WO2014047202A2 (en) 2014-03-27

Similar Documents

Publication Publication Date Title
JP6407867B2 (ja) ビデオコーディングのためのフレームパッキングされたステレオスコピック3dビデオデータの指示
JP6509842B2 (ja) 高効率ビデオコーディング拡張におけるターゲット出力レイヤの選択
US9813719B2 (en) Signaling HRD parameters for bitstream partitions
JP6174139B2 (ja) タイル及び波面並列処理
TWI615021B (zh) 對多層視訊寫碼之層間預測信令之最佳化
TWI556630B (zh) 用於處理視訊資料之方法及器件及電腦可讀取儲存媒體
TWI495273B (zh) 於視訊寫碼中自清晰隨機存取圖像之全面隨機存取
TWI532383B (zh) 在視訊寫碼中長期參考圖像之隨機存取及發信
JP6542271B2 (ja) マルチレイヤビデオコーディング
US20160112712A1 (en) Streaming adaption based on clean random access (cra) pictures
JP2016509403A (ja) ビデオコーディングにおける時間的スケーラビリティサポートを用いた漸次復号リフレッシュ
JP2018042265A (ja) マルチレイヤビデオコーディングのための多重解像度復号ピクチャバッファ管理
TWI566582B (zh) 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160830

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180919

R150 Certificate of patent or registration of utility model

Ref document number: 6407867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250