JP2016521508A - Shvcにおいて再サンプリングプロセスを条件付きで呼び出すこと - Google Patents

Shvcにおいて再サンプリングプロセスを条件付きで呼び出すこと Download PDF

Info

Publication number
JP2016521508A
JP2016521508A JP2016512046A JP2016512046A JP2016521508A JP 2016521508 A JP2016521508 A JP 2016521508A JP 2016512046 A JP2016512046 A JP 2016512046A JP 2016512046 A JP2016512046 A JP 2016512046A JP 2016521508 A JP2016521508 A JP 2016521508A
Authority
JP
Japan
Prior art keywords
reference picture
interlayer reference
offset
picture
interlayer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016512046A
Other languages
English (en)
Other versions
JP6321139B2 (ja
JP2016521508A5 (ja
Inventor
チェン、ジャンレ
リ、シャン
カークゼウィックズ、マルタ
セレジン、バディム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016521508A publication Critical patent/JP2016521508A/ja
Publication of JP2016521508A5 publication Critical patent/JP2016521508A5/ja
Application granted granted Critical
Publication of JP6321139B2 publication Critical patent/JP6321139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

幾つかの態様による映像情報をコーディングするための装置は、メモリと、プロセッサと、を含む。メモリユニットは、コーディングされるべき現在のピクチャに関する層間基準ピクチャに関連する映像情報を格納するように構成される。プロセッサは、層間基準ピクチャの再サンプリングされたバージョンのある領域を定義するように構成される複数の層間基準オフセットに関連する情報を受信するように構成され、ここにおいて、その領域は、現在のピクチャの予測を生成するために使用され、及び、複数の層間基準オフセットは、現在のピクチャに関して各々が指定される左オフセットと、上オフセット、右オフセット、下オフセットと、を含み、複数の層間基準オフセットに少なくとも部分的に基づいて層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成され、及び、層間基準ピクチャを再サンプリングすると決定したことに応答して、層間基準ピクチャを再サンプリングするように構成される。

Description

[0001]本開示は、映像のコーディング及び圧縮分野に関するものである。特に、それは、スケーラブル映像コーディング(SVC)に関するものであり、アドバンスト映像コーディング(AVC)に関するSVCと、スケーラブルHEVC(SHVC)とも呼ばれる高効率映像コーディング(HEVC)に関するSVCと、を含む。それは、3D映像コーディング、例えばMV−HEVCと呼ばれるHEVCのマルチビュー拡張、にも関連する。様々な実施形態は、向上された層間予測シグナリング及び関連プロセス(例えば、層間基準ピクチャセットの導出、基準ピクチャセットの導出、等)のためのシステム及び方法に関するものである。
[0002]デジタル映像能力を広範なデバイス内に組み入れることができ、デジタルテレビと、デジタル直接放送システムと、無線放送システムと、パーソナルデジタルアシスタント(PDA)と、ラップトップ又はデスクトップコンピュータと、タブレットコンピュータと、電子書籍リーダーと、デジタルカメラと、デジタル記録デバイスと、デジタルメディアプレーヤーと、ビデオゲームプレイ装置と、ビデオゲームコンソールと、セルラー又は衛星無線電話と、
いわゆる“スマートフォン”と、ビデオ遠隔会議装置と、映像ストリーミングデバイスと、等、を含む。デジタル映像デバイスは、映像コーディング技法、例えば、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4、Part10、アドバンストビデオコーディング(Advanced Video Coding(AVC))によって定義される規格、現在策定中の高効率映像コーディング(High Efficiency Video Coding(HEVC)規格、及び該規格の拡張版において説明されるそれらを実装する。映像デバイスは、該映像コーディング技法を実装することによってデジタル映像情報をより効率的に送信、受信、符号化、復号、及び/又は格納することができる。
[0003]映像コーディング技法は、映像シーケンスに固有の冗長性を低減又は除去するために空間的(イントラピクチャ)予測及び/又は時間的(インターピクチャ)予測を行う。ブロックに基づく映像コーディングでは、映像スライス(例えば、映像フレーム、映像フレームの一部分、等)を映像ブロックに分割することができ、それらは、ツリーブロック、コーディングユニット(CU)及び/又はコーディングノードと呼ぶこともできる。ピクチャのイントラコーディングされた(I)スライス内の映像ブロックは、同じピクチャ内の近隣ブロック内の基準サンプルに関して空間的予測を用いて符号化される。ピクチャのインターコーディングされた(P又はB)スライス内の映像ブロックは、同じピクチャ内の近隣ブロック内の基準サンプルに関しては空間的予測、その他の基準ピクチャ内の基準サンプルに関しては時間的予測を使用することができる。ピクチャは、フレームと呼ぶことができ、基準ピクチャは、基準フレームと呼ぶことができる。
[0004]空間的又は時間的予測の結果、コーディングされるべきブロックに関する予測ブロックが得られる。残差データは、コーディングされるべきオリジナルのブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされるブロックは、予測ブロックを形成する基準サンプルのブロックを指し示す動きベクトル、及びコーディングされたブロックと予測ブロックとの間の差分を示す残差データにより符号化される。イントラコーディングされるブロックは、イントラコーディングモード及び残差データにより符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換することができ、その結果残差変換係数が得られ、それらは量子化することができる。量子化された変換係数は、当初は二次元配列で配置され、変換係数の一次元ベクトルを生成するために走査することができ、及び、さらなる圧縮を達成させるためにエントロピーコーディングを適用することができる。
[0005]概して、本開示は、スケーラブル映像コーディング(SVC)に関するものである。以下において説明される様々な技法は、層間基準ピクチャを再サンプリングすべきかどうかを決定するための方法及びデバイスについて説明する。
[0006]幾つかの態様により映像情報をコーディングするための装置は、メモリと、動作可能な形でメモリに結合されたプロセッサと、を含む。メモリユニットは、コーディングされるべき現在のピクチャに関する層間基準ピクチャに関連する映像情報を格納するように構成される。プロセッサは、層間基準ピクチャの再サンプリングされたバージョンのある領域を定義するように構成される複数の層間基準オフセットに関連する情報を受信するように構成され、ここにおいて、その領域は、現在のピクチャの予測を生成するために使用され、及び、複数の層間基準オフセットは、各々が現在のピクチャに関して指定される左オフセットと、上オフセットと、右オフセットと、下オフセットと、を含み、複数の層間基準オフセットに少なくとも部分的に基づいて層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成され、及び、層間基準ピクチャを再サンプリングすると決定したことに応答して、層間基準ピクチャを再サンプリングするように構成される。
[0007]添付される図面及び以下の説明において1つ以上の例の詳細が示され、それらは、ここにおいて説明される発明概念の全適用範囲を限定することは意図されない。これらの説明と図面から、及び請求項からその他の特徴、目的、及び利点が明らかになるであろう。
[0008]図面全体を通じて、参照された要素間の対応性を示すために参照数字を再使用することができる。図面は、ここにおいて説明される実施形態例を示すことを目的として提供されるものであり、本開示の適用範囲を限定することは意図されない。
[0009]本開示において説明される態様による技法を利用することができる映像符号化及び復号システム例を示したブロック図である。 [0010]本開示において説明される態様による技法を実装することができる映像符号器の例を示したブロック図である。 [0011]本開示において説明される態様による技法を実装することができる映像符号器の例を示したブロック図である。 [0012]本開示において説明される態様による技法を実装することができる映像復号器の例を示したブロック図である。 [0013]本開示において説明される態様による技法を実装することができる映像復号器の例を示したブロック図である。 [0014]基準層と拡張層との間のピクチャアスペクト比スケーラビリティの例を示した図である。 [0015]基準層と拡張層との間のピクチャアスペクト比スケーラビリティの他の例を示した図である。 [0016]本開示の態様による、再サンプリングプロセスを呼び出すための条件例を示したブロック図である。 [0017]本開示の態様による、層間基準ピクチャを再サンプリングすべきかどうかを決定するための方法を示したフローチャートである。
[0018]本開示において説明される技法は、概して、スケーラブル映像コーディング(SHVC、SVC)及びマルチビュー/3D映像コーディング(例えば、マルチビューコーディングプラス深度、MVC+D)に関するものである。例えば、それらの技法は、高効率映像コーディング(HEVC)スケーラブル映像コーディング(SVC、時々SHVCと呼ばれる)拡張に関連することができ、及び、高効率映像コーディング(HEVC)スケーラブル映像コーディング(SVC、時々SHVCと呼ばれる)拡張とともに又は高効率映像コーディング(HEVC)スケーラブル映像コーディング(SVC、時々SHVCと呼ばれる)拡張内において使用することができる。SHVC、SVC拡張では、複数の映像情報層が存在することができる。映像情報の最低レベルの層は、基本層(BL)又は基準層(RL)として働くことができ、映像情報の最上位の層(最高層)は、拡張された層(EL)として働くことができる。“拡張された層”は、“拡張層”と呼ばれることもあり、これらの用語は、互換可能な形で使用することができる。基本層は、“基準層”と呼ばれることもあり、これらの用語は、互換可能な形で使用することができる。基本層と最上層との間のすべての層は、追加のEL及び/又は基準層として働くことができる。例えば、ある所定の層は、その所定の層の下方の(例えば、先行する)層、例えば、基本層又はあらゆる介在する拡張層、に関するELであることができる。さらに、その所定の層は、その所定の層の上方の(例えば、後続する)1つ以上の拡張層に関するRLとして働くこともできる。基本層(例えば、層識別(ID)セットを有する又は“1”に等しい最低層)及び最上層(すなちわ最高層)は、その所定の層よりも高い層による層間予測のための基準として使用することができ及びその所定の層より下方の層を層間予測のための基準として使用することができる。例えば、その所定の層は、その所定の層よりも低い層を層間予測のための基準として用いることができる。
[0019]簡略化を目的として、例は、2つのみの層、すなわち、BL及びEL、に関して提示されている。しかしながら、以下において説明される考え方及び実施形態は、多数の層を有する事例に対しても同様に適用可能であることがよく理解されるべきである。さらに、説明を容易にするために、用語“フレーム”又は“ブロック”がしばしば使用される。しかしながら、これらの用語は、限定することは意味されない。例えば、以下において説明される技法は、限定されることなしに、ピクセル、ブロック(例えば、CU、PU、TU、マクロブロック、等)、スライス、フレーム、ピクチャ、等を含む様々な映像単位のうちのいずれかとともに使用することができる。

映像コーディング
[0020]映像コーディング規格は、ITU−T H.261と、ISO/IEC MPEG−1 Visualと、ITU−T H.262又はISO/IEC MPEG−2 Visualと、ITU H.263と、ISO/IEC MPEG−4 Visualと、ITU−T H.264(ISO/IEC MPEG−4 AVCとも呼ばれる)と、を含み、そのスケーラブル映像コーディング(SVC)と、マルチビュー映像コーディング(MVC)と、マルチビューコーディングプラス深度(MVC+D)拡張と、を含む。以後HEVC WD10と呼ばれる最新のHEVCドラフト仕様が、http://phenix.int-evry.fr/jct/doc_end_user/deocuments/12_Geneva/wg11/JCTVC-L1003-v34.zipから入手可能である。HEVCのマルチビュー拡張、すなわち、MV−HEVC、もJCT−3Vによって現在開発中である。MV−HEVCの最近のワーキングドラフト(WD)、以後 WD3、が、http://phenix.it-sudaparis.eu/jct2/doc_end_user/deocuments/3_Geneva/wg11/JCT3V-C1004-v4.zipから入手可能である。HEVCのスケーラブル拡張版、すなわち、SHVC、もJCT−VCによって開発中である。SHVCの最近のワーキングドラフト(WD)、以後SHVC WD1、が、http://phenix.int-evry.fr/jct/doc_end_user/deocuments/12_Geneva/wg11/JCTVC-L1008-v1.zipから入手可能である。
[0021]SVC及びSHVCでは、映像情報を複数の層として提供することができる。最下位レベルの層は、基本層(BL)として働くことができ、最上位の層は、拡張層(EL)として働くことができる。最上層と最下位層との間のすべての層は、拡張層及び基準層の両方として働くことができる。例えば、中間の層は、その下方の層に関するELであることができ、同時に、その上方の層に関するRLとして働くことができる。説明を簡略化することを目的として、以下において説明される技法を例示する際には2つの層、BL及びEL、が存在すると仮定することができる。しかしながら、ここにおいて説明されるすべての技法は、多数の層(3つ以上)を有する事例に対しても同様に適用することができる。
[0022]スケーラブル映像コーディング(SVC)は、品質(信号対雑音比(SNR)とも呼ばれる)スケーラビリティ、空間的スケーラビリティ及び/又は時間的スケーラビリティを提供するために使用することができる。例えば、一実施形態においては、基準層(例えば、基本層)は、第1の品質レベルで映像を表示する上で十分な映像情報を含み、拡張層は、基準層に関する追加の映像情報を含み、従って、基準層及び拡張層は、いっしょになって、第1のレベルよりも高い第2の品質レベル(例えば、より少ない雑音、より高い解像度、より良いフレームレート、等)で映像を表示する上で十分な映像情報を含む。拡張された層は、基本層と異なる空間解像度を有することができる。例えば、ELとBLとの間での空間的アスペクト比は、1.0、1.5、2.0又はその他の異なる比であることができる。換言すると、ELの空間的アスペクトは、BLの空間的アスペクトの1.0倍、1.5倍、又は2.0倍に等しいことができる。幾つかの例においては、ELのスケーリングファクタは、BLよりも大きいことができる。例えば、EL内のピクチャのサイズは、BL内のピクチャのサイズよりも大きいことができる。このようにして、限定することなしに、ELの空間解像度は、BLの空間解像度よりも大きいことが可能である。
[0023]SVCでは、H.264に関するSVC拡張又はH.265に関するSHVC拡張(上述)であり、現在のブロックの予測は、SVCに関して提供される異なる層を用いて行うことができる。該予測は、層間予測と呼ぶことができる。SVCでは、層間冗長性を低減させるために層間予測法を利用することができる。層間予測の幾つかの例は、層間イントラ予測と、層間動き予測と、層間残差予測と、を含むことができる。層間イントラ予測は、拡張層において現在のブロックを予測するために基本層内の共配置されたブロックの再構築を使用する。層間動き予測は、拡張層での動きを予測するために基本層の動き情報(動きベクトルを含む)を使用する。層間残差予測は、拡張層の残差を予測するために基本層の残差を使用する。

総論
[0024]高レベル構文専用SHVC(High−Level Syntax Only SHVC)では、構文の変更は、スライス以上のレベルでしか許容されない。例えば、SHVC高レベル構文設計は、基準層(例えば、現在のピクチャのピクチャオーダーカウント(POC)と同じそれを有する基準層ピクチャ)からの共配置された再構築されたピクチャ(必要な場合は再サンプリングされる)は、現在の拡張層ピクチャをコーディングするときに層間基準ピクチャとして使用することができるようにすることが提案されている。これは、低レベルのコーディングプロセスの変更なしで層間予測を行うのを可能にすることができる。従って、ブロックレベルの再サンプリングは利用できないため、異なる層からの基準ピクチャ全体をアップサンプリング又は再サンプリングする必要がある。他の層からの基準ピクチャは、“層間基準ピクチャ”と呼ぶことができる。層間予測では、現在のピクチャの予測は、層間基準ピクチャに基づいて生成することができる。しかしながら、現在のピクチャに関する予測を生成する際には層間基準ピクチャの一部分又は領域のみを使用することができる。その領域は、層間基準ピクチャのアップサンプリング又は再サンプリングされたバージョンの点で定義することができる。例えば、SHVCは、スケーリングされた基準層オフセットを使用することができ、それらは、現在のピクチャに対する、予測の際に使用されるアップサンプリングされた又は再サンプリングされた層間基準ピクチャの領域を示すオフセットであることができる。以下において、スケーリングされた基準層オフセットがより詳細に説明される。
[0025]SHVCワーキングドラフトの初期バージョンは、層間基準ピクチャが再サンプリングされるべきかどうかを決定するためにピクチャサイズのみを使用する。しかしながら、現在のピクチャを予測する際には層間基準ピクチャ(又は、アップサンプリングされた又は再サンプリングされた層間基準ピクチャ)の一部分(例えば、領域)のみを使用することができるため、ピクチャサイズのみを考慮するでは十分でないことがある。さらに、SHVCは、ビット深度スケーラビリティもサポートすることができ、例えば、基準層及び拡張層は、異なるビット深度を有することができる。再サンプリングプロセスは、基準層及び拡張層が同じピクチャサイズを有するがビット深度が異なるときにも呼び出す必要がある。
[0026]これらの及びその他の課題に対処するために、本開示において説明される技法は、スケーリングされた基準層オフセットを考慮した層間基準ピクチャに関する再サンプリングプロセスを呼び出すための条件を定義する。幾つかの実施形態においては、その条件は、空間解像度及びスケーリングされた基準層オフセットに基づくことができる。その他の実施形態においては、その条件は、空間解像度、クロマフォーマット、ビット深度、及びスケーリングされた基準層オフセットに基づくことができる。層間基準ピクチャを再サンプリングすべきかどうかを決定する際にスケーリングされた基準層オフセットを組み入れることによって、それらの技法は、層間基準ピクチャの一部分のみが層間予測のために使用されるときに層間基準ピクチャを適切に再サンプリングすることができる。層間基準ピクチャを再サンプリングすべきかどうかを決定する際にスケーリングされた基準層オフセットが考慮されない場合は、再サンプリングプロセスは、層間基準ピクチャが再サンプリングされるべきである場合に呼び出すことができない場合がある(例えば、層間基準ピクチャが同じピクチャサイズを有するが、層間基準ピクチャの一部分のみが使用されることをスケーリングされた基準層オフセットが示し、正確な層間予測を有するために再サンプリングプロセスが呼び出されるべきである場合)。予測の際には適切に再サンプリングされた層間基準ピクチャを使用することができるため、スケーリングされた基準層オフセットを考慮することは、層間基準ピクチャがいつ再サンプリングされるべきであるかを識別する際に向上された精度に結び付くことができ、従って、より良い予測結果に結び付くことができる。
[0027]以下において、添付された図面を参照して新規のシステム、装置、及び方法の様々な態様がより詳細に説明される。しかしながら、本開示は、数多くの異なる形で具現化することができ、本開示全体を通じて提示される特定の構造又は機能に限定されるとは解釈されるべきでない。むしろ、これらの態様は、本開示が徹底的かつ完全であるようにするために、及び本開示の適用範囲を当業者に十分に伝達するようにするために提供される。ここにおける教示に基づき、本開示の適用範囲は、ここにおいて開示される新規のシステム、装置、及び方法の態様を伝達することが意図されており、本発明のその他の態様から独立しているか結合されているかを問わないことを当業者は評価すべきである。例えば、装置は、ここにおいて説明される態様のうちのあらゆる数の態様を用いて実装すること及び方法を実践することができる。さらに、本発明の適用範囲は、ここにおいて説明される本開示の様々な態様に加えて又は様々な態様以外にその他の構造、機能、又は構造と機能を用いて実践される装置又は方法を網羅することが意図される。ここにおいて開示されるいずれの態様も、請求項の1つ以上の要素によって具現化することができることが理解されるべきである。
[0028]ここでは特定の態様が説明されるが、これらの態様の数多くの変形及び置換が本開示の適用範囲内に入る。好ましい態様の幾つかの利益及び利点が述べられているが、本開示の適用範囲は、特定の利益、用途、又は目標に限定することは意図されない。むしろ、本開示の態様は、異なる無線技術、システム構成、ネットワーク、及び送信プロトコルに広範囲にわたって適用可能であることが意図され、そのうちの一部は、図において及び好ましい態様に関する以下の説明において例として示される。詳細な説明及び図面は、制限するのではなく、単に本開示を例示するものであるにすぎず、本開示の適用範囲は、添付された請求項及びそれらの同等物によって定義される。

映像コーディングシステム
[0029]図1は、本開示において説明される態様による技法を利用することができる映像コーディングシステム例10を示したブロック図である。ここで使用及び説明される場合において、用語“映像コーダ”は、概して、映像符号器及び映像復号器の両方を意味する。本開示では、用語“映像コーディング”又は“コーディング”は、概して、映像符号化及び映像復号を意味することができる。
[0030]図1において示されるように、映像コーディングシステム10は、ソースデバイス12と、行先デバイス14と、を含む。ソースデバイス12は、符号化された映像データを生成する。行先デバイス14は、ソースデバイス12によって生成された符号化された映像データを復号することができる。ソースデバイス12は、コンピュータによって読み取り可能な記憶媒体又はその他の通信チャネルを含む通信チャネル16を介して行先デバイス14に映像データを提供することができる。ソースデバイス12及び行先デバイス14は、広範なデバイスを備えることができ、デスクトップコンピュータ、ノートブック(例えば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、例えば、いわゆる“スマート”フォン、いわゆる“スマート”パッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、車載コンピュータ、映像ストリーミングデバイス、等を含む。ソースデバイス12及び行先デバイス14は、無線通信のために装備することができる。
[0031]行先デバイス14は、通信チャネル16を介して復号されるべき符号化された映像データを受信することができる。通信チャネル16は、符号化された映像データをソースデバイス12から行先デバイス14に移動させることが可能なタイプの媒体又はデバイスを備えることができる。例えば、通信チャネル16は、ソースデバイス12が符号化された映像データをリアルタイムで直接行先デバイス14に送信するのを可能にする通信媒体を備えることができる。符号化された映像データは、通信規格、例えば、無線通信プロトコル、により変調し、行先デバイス14に送信することができる。通信媒体は、無線又は有線の通信媒体、例えば、無線周波数(RF)スペクトル又は1つ以上の物理的送信ライン、を備えることができる。通信媒体は、パケットに基づくネットワーク、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク、例えば、インターネット、の一部を形成することができる。通信媒体は、ルータ、スイッチ、基地局、又はソースデバイス12から行先デバイス14への通信を容易にするのに役立つことができるその他のあらゆる装置を含むことができる。
[0032]幾つかの実施形態においては、符号化されたデータは、出力インタフェース22から記憶デバイスに出力することができる。該例においては、チャネル16は、ソースデバイス12によって生成された符号化された映像データを格納する記憶デバイス又はコンピュータによって読み取り可能な媒体に対応することができる。例えば、行先デバイス14は、ディスクアクセス又はカードアクセスを介してコンピュータによって読み取り可能な記憶媒体にアクセスすることができる。同様に、符号化されたデータは、入力インタフェース28によってコンピュータによって読み取り可能な記憶媒体からアクセスすることができる。コンピュータによって読み取り可能な記憶媒体は、様々な分散された又はローカルでアクセスされるデータ記憶媒体、例えば、ハードドライブ、Blu−ray(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性メモリ、非揮発性メモリ、又は符号化された映像データを格納するためのその他の適切なデジタル記憶媒体、を含むことができる。コンピュータによって読み取り可能な記憶媒体は、ソースデバイス12によって生成された符号化された映像を格納することができるファイルサーバ又は他の中間的な記憶デバイスに対応することができる。行先デバイス14は、ストリーミング又はダウンロードを介してコンピュータによって読み取り可能な記憶媒体から格納される映像データにアクセスすることができる。ファイルサーバは、符号化された映像データを格納すること及びその符号化された映像データを行先デバイス14に送信することが可能なあらゆるタイプのサーバであることができる。ファイルサーバ例は、(例えば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続記憶(NAS)デバイス、及びローカルディスクドライブを含む。行先デバイス14は、インターネット接続を含む標準的なデータ接続を通じて符号化された映像データにアクセスすることができる。これは、ファイルサーバに格納された符号化された映像データにアクセスするのに適する無線チャネル(例えば、Wi−Fi接続)、有線接続(例えば、DSL、ケーブルモデム、等)、又は両方の組み合わせを含むことができる。コンピュータによって読み取り可能な記憶媒体からの符号化された映像データの送信は、ストリーミング送信、ダウンロード送信、又は両方の組み合わせであることができる。
[0033]本開示の技法は、無線の用途又はセッティングに加えてのアプリケーション又はセッティングに適用することができる。それらの技法は、映像コーディングに適用することができ、様々なマルチメディア用途、例えば、オーバー・ザ・エアテレビ放送、ケーブルテレビ送信、衛星テレビ送信、インターネットストリーミング映像送信、例えば、HTTPを通じてのダイナミック適応型ストリーミング(DASH)、データ記憶媒体上に格納するための符号化されるデジタル映像、データ記憶媒体に格納されたデジタル映像の復号、又はその他の用途をサポートする。幾つかの実施形態においては、システム10は、映像ストリーミング、映像再生、映像放送、及び/又は映像テレフォニー、等の用途をサポートするために1方向又は2方向の映像送信をサポートするように構成することができる。
[0034]図1では、ソースデバイス12は、映像ソース18と、映像符号器20と、出力インタフェース22と、を含む。行先デバイス14は、入力インタフェース28と、映像復号器30と、表示装置32と、を含む。ソースデバイス12の映像符号器20は、複数の規格又は規格拡張版に準拠する映像データを含むビットストリームをコーディングするための技法を適用するように構成することができる。その他の実施形態においては、ソースデバイス及び行先デバイスは、その他のコンポーネント又は配置を含むことができる。例えば、ソースデバイス12は、外部の映像ソース18、例えば、外部のカメラ、から映像データを受信することができる。同様に、行先デバイス14は、一体化された表示装置を含むのではなく、外部の表示装置とインタフェースすることができる。
[0035]ソースデバイス12の映像ソース18は、映像キャプチャデバイス、例えば、ビデオカメラ、以前にキャプチャされた映像が入った映像アーカイブ、及び/又は映像コンテンツプロバイダからの映像を受信するための映像フィードインタフェースを含むことができる。映像ソース18は、コンピュータグラフィックスに基づくデータを、ソース映像として、又は、ライブ映像、ライブアーカイブに保存された映像、及びコンピュータによって生成された映像の組み合わせとして生成することができる。幾つかの実施形態においては、映像ソース18がビデオカメラである場合は、ソースデバイス12及び行先デバイス14は、いわゆるカメラフォン又はビデオフォンを形成することができる。キャプチャされた、予めキャプチャされた、又はコンピュータによって生成される映像は、映像符号器20によって符号化することができる。上述されるように、符号化された映像情報は、出力インタフェース22によって通信チャネル16に出力することができ、それは、コンピュータによって読み取り可能な記憶媒体であることができる。
[0036]コンピュータによって読み取り可能な記憶媒体は、遷移的媒体、例えば、無線放送又は有線ネットワーク送信、又は記憶媒体(例えば、非一時的な記憶媒体)例えば、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu−rayディスク、又はその他のコンピュータによって読み取り可能な媒体、を含むことができる。ネットワークサーバ(示されていない)は、ソースデバイス12から符号化された映像データを受信し、(例えば、ネットワーク送信を介して)行先デバイス14に符号化された映像データを提供することができる。媒体生産ファシリティ、例えば、ディスクスタンピングファシリティ、のコンピューティングデバイスは、符号化された映像データをソースデバイス12から受信し、符号化された映像データが入ったディスクを生産することができる。従って、通信チャネル16は、様々な形態の1つ以上のコンピュータによって読み取り可能な記憶媒体を含むと理解することができる。
[0037]行先デバイス14の入力インタフェース28は、通信チャネル16から情報を受信する。通信チャネル16の情報は、映像符号器20によって定義された構文情報を含むことができ、それは、ブロック及びその他のコーディングされたユニット、例えば、GOP、の特徴及び/又は処理を記述する構文要素を含む。表示装置32は、復号された映像データをユーザに表示し、及び、様々な表示装置、例えば、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、又は他のタイプの表示装置、を含むことができる。
[0038]映像符号器20及び映像復号器30は、映像コーディング規格、例えば、現在策定中の高効率映像コーディング(HEVC)規格、に従って動作することができ、及びHEVCテストモデル(HM)に準拠することができる。代替として、映像符号器20及び映像復号器30は、その他の独占規格又は工業規格、例えば、ITU−T H.264規格、代替でMPEG−4、Part10、Advanced Video Coding(AVC)と呼ばれる、又は該規格の拡張版、により動作することができる。しかしながら、本開示の技法は、特定のコーディング規格には限定されない。映像コーディング規格のその他の例は、MPEG−2と、ITU−T H.263と、を含む。図1には示されていないが、幾つかの態様では、映像符号器20及び映像復号器30は、各々、音声符号器及び復号器と一体化することができ、及び、共通のデータストリーム又は別々のデータストリーム内の音声及び映像の両方の符号化を取り扱うための該当するMUX−DEMUXユニット、又はその他のハードウェア及びソフトウェアを含むことができる。該当する場合は、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、又はその他のプロトコル、例えば、ユーザデータグラムプロトコル(UDP)、に準拠することができる。
[0039]図1は単なる例であり、本開示の技法は、符号化デバイスと復号デバイスとの間でのデータ通信を必ずしも含まない映像コーディングセッティング(例えば、映像符号化又は映像復号)に適用することができる。その他の例においては、データは、ローカルメモリから取り出すこと、ネットワークを通じてストリーミングすること、等ができる。符号化デバイスは、データを符号化してメモリに格納することができ、及び/又は復号デバイスは、データをメモリから取り出して復号することができる。多くの例においては、符号化及び復号は、互いに通信しないデバイスによって行われ、単にメモリへのデータを符号化する及び/又はメモリからデータを取り出して復号する。
[0040]映像符号器20及び映像復号器30は、各々、様々な適切な符号器回路、例えば、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらのあらゆる組み合わせのうちのいずれかとして実装することができる。技法がソフトウェア内において部分的に実装されるときには、デバイスは、ソフトウェアに関する命令を、非一時的なコンピュータによって読み取り可能な媒体に格納することができ及び本開示の技法を実行するために1つ以上のプロセッサを用いてハードウェア内で命令を実行することができる。映像符号器20及び映像復号器30の各々は、1つ以上の符号器又は復号器に含めることができ、それらのいずれも、各々のデバイスにおいて結合された符号器/復号器(CODEC)の一部として一体化することができる。映像符号器20及び/又は映像復号器30を含むデバイスは、集積回路、マイクロプロセッサ、及び/又は無線通信デバイス、例えば、携帯電話、を備えることができる。
[0041]JCT−VCでは、HEVC規格及びその拡張版の策定作業中であり、バージョン1が最終的に作成されている。HEVC標準化努力は、HEVCテストモデル(HM)と呼ばれる映像コーディングデバイスの進化中のモデルに基づく。HMは、例えば、ITU−T H.264/AVC、による既存のデバイスに対する映像コーディングデバイスの幾つかの追加能力を想定している。例えば、H.264は9つのイントラ予測符号化モードを提供する一方で、HMは、33ものイントラ予測符号化モードを提供することができる。
[0042]概して、HMのワーキングモデルでは、映像フレーム又はピクチャは、ルマサンプル及びクロマサンプルの両方を含むツリーブロック又は最大コーディングユニット(LCU)のシーケンスに分割することができると記述している。ビットストリーム内の構文データは、LCUに関するサイズを定義することができ、それは、ピクセル数の点で最大のコーディングユニットである。スライスは、幾つかの連続するツリーブロックをコーディング順に含む。映像フレーム又はピクチャは、1つ以上のスライスに分割することができる。各ツリーブロックは、四分木に従ってコーディングユニット(CU)に分割することができる。概して、四分木データ構造は、CU当たり1つのノードを含み、ツリーブロックに対応する根ノードを有する。CUが4つのサブCUに分割される場合は、CUに対応するノードは、4つの葉ノードを含み、それらの各々は、サブCUのうちの1つに対応する。
[0043]四分木データ構造の各ノードは、対応するCUに関する構文データを提供することができる。例えば、四分木内のノードは、ノードに対応するCUがサブCUに分割されるかどうかを示すスプリットフラグを含むことができる。CUに関する構文要素は、繰り返し定義することができ、及び、CUの映像ブロックがサブブロックに分割されているかどうかに依存することができる。CUがさらに分割されない場合は、葉CUと呼ばれる。本開示では、葉CUの4つのサブCUは、オリジナルの葉CUの明示の分割が存在しない場合でも葉CUと呼ばれる。例えば、16×16のサイズのCUがさらに分割されない場合は、16×16のCUがまったく分割されなかったにもかかわらず、4つの8×8サブCUも葉CUと呼ばれる。
[0044]CUは、H.264規格のマクロブロックと同様の目的を有するが、CUはサイズの区別は有さない。例えば、ツリーブロックは、4つの子ノード(サブCUとも呼ばれる)に分割することができ、各子ノードは親ノードであることができ、及び、他の4つの子ノードに分割することができる。最終的な、分割されない子ノードは、四分木の葉ノードと呼ばれ、葉CUとも呼ばれるコーディングノードを備える。コーディングされたビットストリームに関連する構文データは、ツリーブロックを分割することができる最大回数を定義することができ、最大CU深度と呼ばれ、及びコーディングノードの最小サイズを定義することもできる。従って、ビットストリームは、最小のコーディングユニット(SCU)も定義することができる。本開示は、HEVCの文脈におけるCU、PU、又はTUのうちのいずれか、又は、その他の規格の文脈における類似のデータ構造(例えば、H.264/AVCにおけるマクロブロック及びサブブロック)を意味するために用語“ブロック”を使用する。
[0045]CUは、コーディングノードと、そのコーディングノードに関連する予測ユニット(PU)及び変換ユニット(TU)を含む。CUのサイズは、コーディングノードのサイズに対応し、形状は正方形でなければならない。CUのサイズは、8×8サンプルからツリーブロックのサイズまでの範囲であることができ、最大サイズは64×64サンプル以上である。各CUには、1つ以上のPU及び1つ以上のTUが入ることができる。CUに関連する構文データは、例えば、1つ以上のPUへのCUの分割を記述することができる。分割モードは、CUがスキップ又は直接モード符号化されるか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかの間で異なることができる。PUは、形状が非正方形に分割することができる。CUに関連する構文データは、例えば、四分木による1つ以上のTUへのCUの分割も記述することができる。TUの形状は、正方形であっても非正方形(例えば、長方形)であってもよい。
[0046]HEVC規格は、TUによる変換を考慮しており、異なるCUごとに異なることができる。TUは、典型的には、分割されたLCUに関して定義される所定のCU内のPUのサイズに基づいてサイズが設定されるが、常にそうであるわけではない。TUは、典型的には、PUと同じサイズであるか又はそれよりも小さい。幾つかの例では、CUに対応する残差サンプルは、“残差四分木(RQT)”と呼ばれる四分木構造を用いてより小さいユニットに細分割することができる。RQTの葉ノードは、変換ユニット(TU)と呼ぶことができる。TUに関連するピクセル差分値は、変換係数を生成するために変換することができ、それらは量子化することができる。
[0047]葉CUは、1つ以上の予測ユニット(PU)を含むことができる。概して、PUは、対応するCUの全部又は一部に対応する空間エリアを表し、PUに関する基準サンプルを取り出すためのデータを含むことができる。さらに、PUは、予測に関連するデータを含む。例えば、PUがイントラモード符号化されるときには、PUに関するデータを残差四分木(RQT)に含めることができ、それは、PUに対応するTUに関するイントラ予測モードを記述するデータを含むことができる。他の例として、PUがインターモード符号化されるときには、PUは、PUに関する1つ以上の動きベクトルを定義するデータを含むことができる。PUに関する動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルに関する解像度(例えば、1/4サンプル精度又は1/8サンプル精度)、動きベクトルが指し示す基準ピクチャ、及び/又は動きベクトルに関する基準ピクチャリスト(例えば、リスト0、リスト1、又はリストC)を記述することができる。
[0048]1つ以上のPUを有する葉CUは、1つ以上の変換ユニット(TU)を含むこともできる。変換ユニットは、上述されるように、RQT(TU四分木構造とも呼ばれる)を用いて指定することができる。例えば、スプリットフラグは、葉CUが4つの変換ユニットに分割されるかどうかを示すことができる。次に、各変換ユニットは、さらなるサブTUにさらに分割することができる。TUがさらに分割されないときには、それは、葉TUと呼ぶことができる。概して、イントラコーディングに関しては、葉CUに属するすべての葉TUが同じイントラ予測モードを共有する。すなわち、概して、葉CUのすべてのTUに関する予測値を計算するために同じイントラ予測モードが適用される。イントラコーディングに関して、映像符号器は、TUに対応するCUの部分とオリジナルブロックとの間の差分として、イントラ予測モードを用いて各葉TUに関する残差値を計算することができる。TUは、PUのサイズに必ずしも限定されない。従って、TUは、PUよりも大きいこと又はより小さいことができる。イントラコーディングに関して、PUは、同じCUに関する対応する葉TUと共配置することができる。幾つかの例では、葉TUの最大サイズは、対応する葉CUのサイズに対応することができる。
[0049]さらに、葉CUのTUは、残差四分木(RQT)と呼ばれる各々の四分木データ構造と関連させることもできる。すなわち、葉CUは、葉CUがどのようにしてTUに分割されるかを示す四分木を含むことができる。TUの根ノードは、概して、葉CUに対応し、CU四分木の根ノードは、概して、ツリーブロック(又はLCU)に対応する。分割されないRQTのTUは、葉TUと呼ばれる。概して、本開示は、別の記載がない限り、葉CU及び葉TUをそれぞれ意味するために用語CU及びTUを使用する。
[0050]映像シーケンスは、典型的には、一連の映像フレーム又はピクチャを含む。ピクチャのグループ(GOP)は、概して、映像ピクチャのうちの一連の1つ以上を備える。GOPは、GOP内に含まれるピクチャ数を記述する構文データをGOPのヘッダ、1つ以上のピクチャのヘッダ、又はその他の場所において含むことができる。ピクチャの各スライスは、各々のスライスに関する符号化モードを記述するスライス構文データを含むことができる。映像符号器20は、典型的には、映像データを符号化するために個々の映像スライス内の映像ブロックに対して動作する。映像ブロックは、CU内のコーディングノードに対応することができる。映像ブロックは、固定された又は可変のサイズを有することができ、及び、指定されたコーディング規格によりサイズが異なることができる。
[0051]一例として、HMは、様々なPUサイズの予測をサポートする。特定のCUのサイズが2N×2Nであると仮定すると、HMは、2N×2N又はN×NのPUサイズでのイントラ予測、及び2N×2N、2N×N、N×2N、又はN×Nの対称的PUサイズでのインター予測をサポートする。HMは、2N×nU、2N×nD、nL×2N、及びnR×2NのPUサイズでのインター予測に関する非対称的な分割もサポートする。非対称的な分割では、CUの1方の方向が分割されず、他方の方向が25%及び75%に分割される。25%の分割に対応するCUの部分は、“n”によって示され、“上(Up)”、“下(Down)”、“左(Left)”、又は“右(Right)”の表示文字によって後続される。従って、例えば、“2N×nU”は、水平に分割され、最上部が2N×0.5N PU、最下部が2N×1.5N PUである2N×2N CUを意味する。
[0052]本開示においては、“N×N”及び“N by N”は、垂直及び水平の寸法に関する映像ブロックのピクセル寸法を意味するために互換可能な形で使用することができ、例えば、16×16ピクセル又は16 by 16ピクセル。概して、16×16ブロックは、垂直方向に16ピクセル(y=16)及び水平方向に16ピクセル(x=16)を有することになる。同様に、N×Nブロックは、概して、垂直方向にNのピクセル及び水平方向にNのピクセルを有し、ここで、Nは、負でない整数値を表す。ブロック内のピクセルは、行及び列で配列することができる。さらに、ブロックは、水平方向と垂直方向で必ずしも同じピクセル数を有する必要がない。例えば、ブロックは、N×Mピクセルを備えることができ、ここで、Mは必ずしもNと等しくない。
[0053]CUのPUを用いたイントラ予測又はインター予測コーディングに引き続き、映像符号器20は、CUのTUに関する残差データを計算することができる。PUは、空間領域(ピクセル領域とも呼ばれる)において予測ピクセルデータを備えることができ、及び、TUは、変換、例えば、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、又は概念的に類似する変換を残差映像データに適用後に変換領域において係数を備えることができる。残差データは、符号化されないピクチャのピクセルとPUに対応する予測値との間のピクセル差分に対応することができる。映像符号器20は、CUに関する残差データを含むTUを形成することができ、次に、CUに関する変換係数を生成するためにTUを変換することができる。
[0054]変換係数を生成するための変換に引き続き、映像符号器20は、それらの変換係数の量子化を行うことができる。量子化は、最も広義の通常の意味を有することが意図される広義の用語である。一実施形態においては、量子化は、係数を表すために使用されるデータ量を低減させ、さらなる圧縮を提供するために変換係数が量子化されるプロセスを意味する。量子化プロセスは、係数の一部又は全部に関連するビット深度を小さくすることができる。例えば、量子化中にnビット値が切り捨てられてmビット値になり、ここで、nはmよりも大きい。
[0055]量子化に引き続き、映像符号器は、変換係数を走査し、量子化された変換係数を含む二次元行列から一次元ベクトルを生成することができる。走査は、より高いエネルギー(従って、より低い周波数)係数をアレイの前部に置き、より低いエネルギー(及び従って、より高い周波数)係数をアレイの後部に置くように設計することができる。幾つかの例では、映像符号器20は、エントロピー符号化することができるシリアライズされたベクトルを生成するために量子化された変換係数を走査するために予め定義された走査順序を利用することができる。その他の例では、映像符号器20は、適応型走査を行うことができる。一次元ベクトルを形成するために量子化された変換係数を走査後は、映像符号器20は、例えば、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、構文に基づくコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔パーティショニングエントロピー(PIPE)コーディング又は他のエントロピー符号化法により一次元ベクトルをエントロピー符号化することができる。映像符号器20は、映像データを復号する際に映像復号器30によって使用するための符号化された映像データに関連する構文要素もエントロピー符号化することができる。
[0056]CABACを行うために、映像符号器20は、コンテキストモデル内のコンテキストを送信されるべきシンボルに割り当てることができる。コンテキストは、例えば、シンボルの近隣値がゼロでないかどうかに関連することができる。CAVLCを行うために、映像符号器20は、送信されるべきシンボルに関する可変長コードを選択することができる。VLCにおけるコードワードは、相対的により短いコードがより確率の高いシンボルに対応し、より長いコードがより確率の低いシンボルに対応するような形で構築することができる。このように、VLCの使用は、例えば、送信されるべき各シンボルに関して等しい長さのコードワードを使用することと比較してビットの節約を達成することができる。確率決定は、シンボルに割り当てられたコンテキストに基づくことができる。
[0057]映像符号器20は、構文データ、例えば、ブロックに基づく構文データ、フレームに基づく構文データ、及びGOPに基づく構文データを、例えば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、又はGOPヘッダにおいて、映像復号器30にさらに送信することができる。GOP構文データは、各々のGOP内のフレーム数を記述することができ、及び、フレーム構文データは、対応するフレームを符号化するために使用される符号化/予測モードを示すことができる。

映像符号器
[0058]図2Aは、本開示の態様による技法を実装することができる映像符号器の例を示したブロック図である。映像符号器20は、例えば、HEVCに関して、映像ビットストリームの単層を処理するように構成することができる。さらに、映像符号器20は、本開示の技法のうちのいずれか又は全部を実行するように構成することができ、上において及び図4乃至6に関して以下においてより詳細に説明される層間予測シグナリング及び関連するプロセスを実行する方法を含み、ただし、それらの方法に限定されない。一例として、層間予測ユニット66(提供されているとき)は、本開示において説明される技法のうちのいずれか又は全部を実行するように構成することができる。しかしながら、本開示の態様は、そのようには限定されない。幾つかの例においては、本開示において説明される技法は、映像符号器20の様々なコンポーネントの間で共有することができる。幾つかの例では、さらに加えて又は代替として、プロセッサ(示されていない)は、本開示において説明される技法のうちのいずれか又は全部を実行するように構成することができる。
[0059]説明の目的上、本開示は、HEVCコーディングに関して映像符号器20について説明する。しかしながら、本開示の技法は、その他のコーディング規格又は方法に対して適用することができる。図2Aの符号器20は、コーデックの単層を例示する。しかしながら、図2Bに関してさらに説明されるように、映像符号器20の一部又は全部を、多層コーデックによる処理のために複製することができる。
[0060]映像符号器20は、映像スライス内の映像ブロックのイントラ予測、インター予測、及び層間予測(イントラコーディング、インターコーディング、又は層間コーディングと時々呼ばれる)を行うことができる。イントラコーディングは、所定の映像フレーム又はピクチャ内の映像の空間的冗長性を低減又は除去するために空間的予測に依存する。インターコーディングは、映像シーケンスの隣接するフレーム又はピクチャ内の映像の時間的冗長性を低減又は除去するために時間的予測に依存する。層間コーディングは、同じ映像コーディングシーケンス内の異なる層内の映像に基づく予測に依存する。イントラモード(Iモード(登録商標))は、幾つかの空間に基づくコーディングモードのうちのいずれかを意味することができる。インターモード、例えば、単一方向性予測(Pモード)又は両方向性予測(Bモード)は、幾つかの時間に基づくコーディングモードのうちのいずれかを意味することができる。
[0061]図2Aにおいて示されるように、映像符号器20は、符号化されるべき映像フレーム内の現在の映像ブロックを受信する。図2Aの例においては、映像符号器20は、モード選択ユニット40と、基準フレームメモリ64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56と、を含む。モード選択ユニット40は、動き補償ユニット44と、動き推定ユニット42と、イントラ予測ユニット46と、層間予測ユニット46と、分割ユニット48と、を含む。基準フレームメモリ64は、復号ピクチャバッファを含むことができる。復号ピクチャバッファは、通常の意味を有する広義の用語であり、幾つかの実施形態においては、基準フレームの映像コーデックによって管理されるデータ構造を意味する。
[0062]映像ブロック再構築に関して、映像符号器20は、逆量子化ユニット58と、逆変換ユニット60と、加算器62と、も含む。再構築された映像からブロッキネスアーティファクトを除去するためにブロック境界をフィルタリングするためのデブロッキングフィルタ(図2に示されていない)を含めることもできる。希望される場合は、デブロッキングフィルタは、典型的には、加算器62の出力をフィルタリングする。デブロッキングフィルタに加えて追加のフィルタ(ループ内又はループ後)も使用することができる。該フィルタは、簡潔性を目的として示されていないが、希望される場合は、(ループ内フィルタとして)加算器50の出力をフィルタリングすることができる。
[0063]符号化プロセス中に、映像符号器20は、コーディングされるべき映像フレーム又はスライスを受信する。フレーム又はスライスは、複数の映像ブロックに分割することができる。動き推定ユニット42及び動き補償ユニット44は、時間的予測を提供するために1つ以上の基準フレーム内の1つ以上のブロックに関して受信された映像ブロックのインター予測コーディングを行う。イントラ予測ユニット46は、代替として、空間的予測を提供するためにコーディングされるべきブロックと同じフレーム又はスライス内の1つ以上の近隣ブロックに関して受信された映像ブロックのイントラ予測コーディングを行うことができる。映像符号器20は、例えば、映像データの各ブロックに関して該当するコーディングモードを選択するために複数のコーディングパス(coding pass)を行うことができる。
[0064]さらに、分割ユニット48は、以前のコーディングパスにおける以前の分割方式の評価に基づいて、映像データのブロックをサブブロックに分割することができる。例えば、分割ユニット48は、最初にフレーム又はスライスをLCUに分割し、及び、レート−歪み解析(例えば、レート−歪み最適化)に基づいて各々のLCUをサブCUに分割することができる。モード選択ユニット40は、サブCUへのLCUの分割を示す四分木データ構造をさらに生成することができる。四分木の葉ノードCUは、1つ以上のPUと、1つ以上のTUと、を含むことができる。
[0065]モード選択ユニット40は、例えば、誤り結果に基づいてコーディングモードのうちの1つ、イントラ、インター、又は層間予測モード、を選択することができ、及び、結果的に得られたイントラ、インター、又は層間コーディングされたブロックを、残差ブロックデータを生成するために加算器50に及び基準フレームとして使用するために符号化されたブロックを再構築するために加算器62に提供する。モード選択ユニット40は、構文要素、例えば、動きベクトル、イントラモードインジケータ、分割情報、及びその他の構文情報、もエントロピー符号化ユニット56に提供する。
[0066]動き推定ユニット42及び動き補償ユニット44は、高度に一体化することができるが、概念上の目的のために別々に示されている。動き推定は、動き推定ユニット42によって行われ、映像ブロックに関する動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在のフレーム(又はその他のコーディングされたユニット)内のコーディング中の現在のブロックに対する基準フレーム(又はその他のコーディングされたユニット)内の予測ブロックに対する現在の映像フレーム又はピクチャ内の映像ブロックのPUの変位を示すことができる。予測ブロックは、ピクセル差分の点でコーディングされるべき映像ブロックのPUに密接にマッチングすることが判明しているブロックであり、差分絶対値和(SAD)、差分二乗和(SSD)、又はその他の差分メトリックによって決定することができる。幾つかの例では、映像符号器20は、基準フレームメモリ64に格納された基準ピクチャの整数未満のピクセル位置に関する値を計算することができる。例えば、映像符号器20は、基準ピクチャの1/4ピクセル位置、1/8ピクセル位置、又はその他の分数のピクセル位置の値を内挿することができる。従って、動き推定ユニット42は、完全ピクセル位置及び分数ピクセル位置に関する動き探索を行い、分数のピクセル精度を有する動きベクトルを出力することができる。
[0067]動き推定ユニット42は、インターコーディングされたスライス内の映像ブロックのPUの位置を基準ピクチャの予測ブロックの位置と比較することによってそのPUに関する動きベクトルを計算する。基準ピクチャは、第1の基準ピクチャリスト(リスト0)又は第2の基準ピクチャリスト(リスト1)から選択することができ、それらの各々は、基準フレームメモリ64に格納された1つ以上の基準ピクチャを識別する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56及び動き補償ユニット44に送信する。
[0068]動き補償は、動き補償ユニット44によって行われ、動き推定ユニット42によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することを含むことができる。幾つかの例では、動き推定ユニット42及び動き補償ユニット44は、機能的に一体化することができる。現在の映像ブロックのPUに関する動きベクトルを受信した時点で、動き補償ユニット44は、基準ピクチャリストのうちの1つにおいて動きベクトルが指し示す予測ブロックの位置を突き止めることができる。加算器50は、後述されるように、コーディング中の現在の映像ブロックのピクセル値から予測ブロックのピクセル値を減じることによって残差映像ブロックを形成し、ピクセル差分値を形成する。幾つかの実施形態においては、動き推定ユニット42は、ルマコンポーネントに関する動き推定を行うことができ、動き補償ユニット44は、クロマコンポーネント及びルマコンポーネントの両方に関してルマコンポーネントに基づいて計算された動きベクトルを使用することができる。モード選択ユニット40は、映像スライスの映像ブロックを復号する際に映像復号器30によって使用するために映像ブロック及び映像スライスに関連する構文要素を生成することができる。
[0069]イントラ予測ユニット46は、上述されるように、動き推定ユニット42及び動き補償ユニット44によって行われるインター予測の代替として、現在のブロックをイントラ予測又は計算することができる。特に、イントラ予測ユニット46は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定することができる。幾つかの例では、イントラ予測ユニット46は、例えば、別々の符号化パス(encoding pass)中に、様々なイントラ予測モードを用いて現在のブロックを符号化することができ、及び、イントラ予測ユニット46(又は、幾つかの例では、モード選択ユニット40)は、使用すべき適当なイントラ予測モードを試験されたモードから選択することができる。
[0070]例えば、イントラ予測ユニット46は、様々な試験されたイントラ予測モードに関するレート−歪み解析を用いてレート−歪み値を計算すること、及び、試験されたモードの中で最良のレート−歪み特性を有するイントラ予測モードを選択することができる。レート−歪み解析は、概して、符号化されたブロックを生成するために符号化されたブロックとオリジナルの符号化されないブロックとの間の歪み(又は誤り)の量を、及び符号化されたブロックを生成するために使用されるビットレート(すなわち、ビット数)を決定する。イントラ予測ユニット46は、いずれのイントラ予測モードがブロックに関する最良のレート−歪み値を呈するかを決定するために様々な符号化されたブロックに関する歪み及びレートから比率を計算することができる。
[0071]ブロックに関するイントラ予測モードを選択後は、イントラ予測ユニット46は、ブロックに関する選択されたイントラ予測モードを示す情報をエントロピーコーディングユニット56に提供することができる。エントロピーコーディングユニット56は、選択されたイントラ予測モードを示す情報を符号化することができる。映像符号器20は、送信されるビットストリーム内に構成データを含めることができ、構成データは、複数のイントラ予測モードインデックステーブル及び複数の修正されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)と、様々なブロックに関するコンテキクストを符号化することに関する定義と、最も可能性の高いイントラ予測モードの表示と、イントラ予測モードインデックステーブルと、各コンテキストに関して使用すべき修正されたイントラ予測モードインデックステーブルと、を含むことができる。
[0072]映像符号器20は、層間予測ユニット66を含むことができる。層間予測ユニット66は、SVCにおいて利用可能な1つ以上の異なる層(例えば、基本層又は基準層)を用いて現在のブロック(例えば、EL内の現在のブロック)を予測するように構成される。該予測は、層間予測と呼ぶことができる。層間予測ユニット66は、層間冗長性を低減させるための予測方法を利用し、それによって、コーディング効率を向上させ及び計算リソースの要求を軽減させることができる。層間予測の幾つかの例は、層間イントラ予測と、層間動き予測と、層間残差予測と、を含む。層間イントラ予測は、拡張層内の現在のブロックを予測するために基本層内の共配置されたブロックの再構築を使用する。層間動き予測は、拡張層内の動きを予測するために基本層の動き情報を使用する。層間残差予測は、拡張層の残差を予測するために基本層の残差を使用する。基本層及び拡張層が異なる空間解像度を有するときには、以下においてさらに詳細に説明されるように、時間的スケーリング関数を用いた空間的動きベクトルスケーリング及び/又は層間位置マッピングを層間予測ユニット66によって行うことができる。
[0073]映像符号器20は、モード選択ユニット40からの予測データをコーディング中のオリジナルの映像ブロックから減じることによって残差映像ブロックを形成する。加算器50は、この減算動作を行うコンポーネント又はコンポーネント(複数)を表す。変換処理ユニット52は、変換、例えば、離散コサイン変換(DCT)又は概念的に類似の変換、を残差ブロックに適用し、残差変換係数値を備える映像ブロックを生成する。変換処理ユニット52は、DCTに概念的に類似するその他の変換を行うことができる。例えば、離散サイン変換(DST)、ウェーブレット変換、整数変換、サブバンド変換又はその他のタイプの変換も使用可能である。
[0074]変換処理ユニット52は、残差ブロックに変換を適用して残差変換係数のブロックを生成することができる。変換は、残差情報をピクセル値領域から変換領域、例えば、周波数領域、に変換することができる。変換処理ユニット52は、結果的に得られた変換係数を量子化ユニット54に送信することができる。量子化ユニット54は、ビットレートをさらに低減させるために変換係数を量子化する。量子化プロセスは、それらの係数のうちの一部又は全部に関連するビット深度を小さくすることができる。量子化度は、量子化パラメータを調整することによって修正することができる。幾つかの例においては、量子化ユニット54は、量子化された変換係数を含む行列の走査を行うことができる。代替として、エントロピー符号化ユニット56がその走査を行うことができる。
[0075]量子化に引き続き、エントロピー符号化ユニット56は、量子化された変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、構文に基づくコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔分割エントロピー(PIPE)コーディング、又はその他のエントロピーコーディング技法を実行することができる。コンテキストに基づくエントロピーコーディングの場合は、コンテキストは、近隣ブロックに基づくことができる。エントロピー符号化ユニット56によるエントロピー符号化に引き続き、符号化されたビットストリームは、他のデバイス(例えば、映像復号器30)に送信すること、又は、のちの送信又は取り出しのためにアーカイブに保存することができる。
[0076]逆量子化ユニット58及び逆変換ユニット60は、(例えば、基準ブロックとしてののちの使用のために)ピクセル領域において残差ブロックを再構築するために逆量子化及び逆変換をそれぞれ適用する。動き補償ユニット44は、基準フレームメモリ64のフレームのうちの1つの予測ブロックに残差ブロックを加えることによって基準ブロックを計算することができる。動き補償ユニット44は、動き推定の際に使用するために整数未満のピクセル値を計算するために1つ以上の内挿フィルタを再構築された残差ブロックに適用することもできる。加算器62は、基準フレームメモリ64に格納するための再構築された映像ブロックを生成するために動き補償ユニット44によって生成された動き補償された予測ブロックに再構築された残差ブロックを加える。再構築された映像ブロックは、後続する映像フレーム内のブロックをインターコーディングするための基準ブロックとして動き推定ユニット42及び動き補償ユニット44によって使用することができる。

多層映像符号器
[0077]図2Bは、本開示の態様による技法を実装することができる多層映像符号器21の例を示したブロック図である。映像符号器21は、例えば、SHVC及びマルチビューコーディングに関して、多層映像フレームを処理するように構成することができる。さらに、映像符号器21は、本開示の技法のうちのいずれか又は全部を実行するように構成することができる。
[0078]映像符号器21は、映像符号器20Aと映像符号器20Bとを含み、それらの各々は、図2Aの映像符号器20として構成することができ及び映像符号器20に関して上述される機能を実行することができる。さらに、参照数字が再使用されることによって示されるように、映像符号器20A及び20Bは、システム及びサブシステムのうちの少なくとも一部を映像符号器20として含むことができる。映像符号器21は、2つの映像符号器20Aと20Bとを含むものとして例示されているが、映像符号器21は、そのようには限定されず、あらゆる数の映像符号器20層を含むことができる。幾つかの実施形態においては、映像符号器21は、アクセスユニット内の各ピクチャ又はフレームに関する映像符号器20を含むことができる。例えば、5つのピクチャを含むアクセスユニットは、5つの符号器層を含む映像符号器によって処理又は符号化することができる。幾つかの実施形態においては、映像符号器21は、アクセスユニット内のフレームよりも多くの符号器層を含むことができる。幾つかの該事例においては、映像符号器層の一部は、幾つかのアクセスユニットを処理するときには非アクティブであることができる。
[0079]映像符号器20A及び20Bに加えて、映像符号器21は、再サンプリングユニット90を含むことができる。再サンプリングユニット90は、幾つかの事例においては、例えば、拡張層を生成するために受信された映像フレームの基本層をアップサンプリングすることができる。再サンプリングユニット90は、フレームの受信された基本層に関連する特定の情報をアップサンプリングすることができるが、その他の情報はアップサンプリングしない。例えば、再サンプリングユニット90は、基本層のピクセルの空間サイズ又は数はアップサンプリングすることができるが、スライスの数又はピクチャオーダーカウントは、引き続き一定であることができる。幾つかの事例においては、再サンプリングユニット90は、受信された映像を処理することができない及び/又は任意選択であることができる。例えば、幾つかの事例においては、モード選択ユニット40は、アップサンプリングを行うことができる。幾つかの実施形態においては、再サンプリングユニット90は、層をアップサンプリングするように及び一組のスライス境界規則及び/又はラスタ走査規則に準拠するために1つ以上のスライスを再定義、修正、又は調整するように構成することができる。基本層、又はアクセスユニット内のより低位の層、をアップサンプリングするとして主に説明されているが、幾つかの事例においては、再サンプリングユニット90は、層をダウンサンプリングすることができる。例えば、映像のストリーミング中に帯域幅が縮小された場合は、フレームは、アップサンプリングではなくダウンサンプリングすることができる。再サンプリングユニット90は、クロッピング動作及び/又はパディング動作も同様に行うようにさらに構成することができる。
[0080]再サンプリングユニット90は、より下位の層の符号器(例えば、映像符号器20A)の復号ピクチャバッファ114からピクチャ又はフレーム(又はピクチャに関連するピクチャ情報)を受信するように及びピクチャ(又は受信されたピクチャ情報)をアップサンプリングするように構成することができる。このアップサンプリングされたピクチャは、より下位の層の符号器と同じアクセスユニット内のピクチャを符号化するように構成されたより高位の層の符号器(例えば、映像符号器20B)のモード選択ユニット40に提供することができる。幾つかの事例においては、より高位の層の符号器は、より低位の層の符号器から1つの層が取り除かれる。その他の事例においては、図2Bの層0映像符号器と層1符号器との間には1つ以上のより高位の層の符号器が存在することができる。
[0081]幾つかの事例においては、再サンプリングユニット90は、省略すること又は迂回することができる。該事例においては、映像符号器20Aの復号ピクチャバッファ64からのピクチャは、直接、又は、少なくとも再サンプリングユニット90に提供せずに、映像符号器20Bのモード選択ユニット40に提供することができる。例えば、映像符号器20Bに提供された映像データ及び映像符号器20Aの復号ピクチャバッファ64からの基準ピクチャが同じサイズ又は解像度である場合は、基準ピクチャは、再サンプリングを行わずに映像符号器20Bに提供することができる。
[0082]幾つかの実施形態においては、映像符号器21は、映像符号器20Aに映像データを提供する前にダウンサンプリングユニット94を用いてより下位の層の符号器に提供されるべき映像データをダウンサンプリングする。代替として、ダウンサンプリングユニット94は、映像データをアップサンプリング又はダウンサンプリングすることが可能な再サンプリングユニット90であることができる。さらにその他の実施形態においては、ダウンサンプリングユニット94は、省略することができる。
[0083]図2Bにおいて例示されるように、映像符号器21は、マルチプレクサ98、又はmuxをさらに含むことができる。mux98は、結合されたビットストリームを映像符号器21から出力することができる。結合されたビットストリームは、各々の映像符号器20A及び20Bからビットストリームを取り出して所定の時間に出力されるビットストリームを交互させることによって生成することができる。幾つかの事例においては、2つの(又は、3つ以上の映像符号器層の場合はそれよりも多い)ビットストリームからのビットを一度に1ビット交互させることができる一方で、多くの事例においては、ビットストリームは、異なる方法で結合される。例えば、出力ビットストリームは、選択されたビットストリームを1度に1ブロック交互させることによって生成することができる。他の例においては、出力ビットストリームは、1:1の比でないブロックを映像符号器20A及び20Bの各々から出力することによって生成することができる。例えば、映像符号器20Aから出力された各ブロックに関して映像符号器20Bから2つのブロックを出力することができる。幾つかの実施形態においては、mux98からの出力ストリームは、予めプログラミングすることができる。その他の実施形態においては、mux98は、映像符号器21の外部のシステム、例えば、ソースデバイス12上のプロセッサ、から受信された制御信号に基づいて映像符号器20A、20Bからのビットストリームを結合することができる。制御信号は、映像ソース18からの映像の解像度又はビットレートに基づいて、チャネル16の帯域幅に基づいて、ユーザに関連する加入(例えば、有料加入及び無料加入)に基づいて、又は映像符号器21からの希望される解像度出力を決定するためのその他の要因に基づいて生成することができる。

映像復号器
[0084]図3Aは、本開示において説明される態様による技法を実装することができる映像復号器の例を示したブロック図である。映像復号器30は、例えば、HEVCに関して、映像ビットストリームの単層を処理するように構成することができる。さらに、映像復号器30は、本開示の技法のうちのいずれか又は全部を実行するように構成することができ、上において及び図4乃至6に関してさらに詳細に説明される再サンプリングプロセス及び関連するプロセスを条件付きで呼び出す方法を含み、ただしそれらの方法に限定されない。一例として、層間予測ユニット75は、本開示において説明される技法のうちのいずれか又は全部を実行するように構成することができる。しかしながら、本開示の態様は、そのようには限定されない。幾つかの例においては、本開示において説明される技法は、映像復号器30の様々なコンポーネント間で共有することができる。幾つかの例においては、追加で又は代替として、プロセッサ(示されていない)は、本開示において説明される技法のうちのいずれか又は全部を実行するように構成することができる。
[0085]説明の目的上、本開示は、HEVCコーディングに関する映像復号器30について説明する。しかしながら、本開示の技法は、その他のコーディング規格又は方法に適用可能である。図3Aの復号器30は、コーデックの単層を例示する。しかしながら、図3Bに関してさらに説明されるように、映像復号器30の一部又は全部を、多層コーデックの処理のために複製することができる。
[0086]図3Aの例においては、映像復号器30は、エントロピー復号ユニット70と、動き補償ユニット72と、イントラ予測ユニット74と、層間予測ユニット75と、逆量子化ユニット76と、逆変換ユニット78と、基準フレームメモリ82と、加算器80と、を含む。幾つかの実施形態においては、動き補償ユニット72及び/又はイントラ予測ユニット74は、層間予測を行うように構成することができ、その場合は、層間予測ユニット75は省略することができる。映像復号器30は、幾つかの例においては、映像符号器20(図2A)に関して説明される符号化パス(encoding pass)と概して相互的な復号パスを行うことができる。動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルに基づいて予測データを生成することができ、他方、イントラ予測ユニット74は、エントロピー復号ユニット70から受信されたイントラ予測モードインジケータに基づいて予測データを生成することができる。基準フレームメモリ82は、復号ピクチャバッファを含むことができる。復号ピクチャバッファは、通常の意味を有する広義の用語であり、幾つかの実施形態においては、基準フレームの映像コーデックによって管理されるデータ構造を意味する。
[0087]復号プロセス中には、映像復号器30は、符号化された映像スライスの映像ブロックを表す符号化された映像ビットストリーム及び関連する構文要素を映像符号器20から受信する。映像復号器30のエントロピー復号ユニット70は、量子化された係数、動きベクトル又はイントラ予測モードインジケータ、及びその他の構文要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット70は、動きベクトル及びその他の構文要素を動き補償ユニット72に転送する。映像復号器30は、映像スライスレベル及び/又は映像ブロックレベルで構文要素を受信することができる。
[0088]映像スライスがイントラコーディングされた(I)スライスとしてコーディングされるときには、イントラ予測ユニット74は、シグナリングされたイントラ予測モード及び現在のフレーム又はピクチャの以前に復号されたブロックからのデータに基づいて現在の映像スライスの映像ブロックに関する予測データを生成することができる。映像フレームがインターコーディングされた(すなわち、B、P又はGPB)スライスとしてコーディングされるときには、動き補償ユニット72は、動きベクトル及びエントロピー復号ユニット70から受信されたその他の構文要素に基づいて現在の映像スライスの映像ブロックに関する予測ブロックを生成する。予測ブロックは、基準ピクチャリストのうちの1つ内の基準ピクチャのうちの1つから生成することができる。映像復号器30は、基準フレームメモリ82に格納された基準ピクチャに基づいてデフォルト構築技法を用いて基準フレームリスト、リスト0及びリスト1、を構築することができる。動き補償ユニット72は、動きベクトル及びその他の構文要素を構文解析することによって現在の映像スライスの映像ブロックに関する予測情報を決定し、復号中の現在の映像ブロックに関する予測ブロックを生成するために予測情報を使用する。例えば、動き補償ユニット72は、映像スライス、インター予測スライスタイプ(例えば、Bスライス、Pスライス、又はGPBスライス)、スライスに関する基準ピクチャリストのうちの1つ以上に関する構築情報、スライスの各インター符号化された映像ブロックに関する動きベクトル、スライスの各インターコーディングされた映像ブロックに関するインター予測状態、及び現在の映像スライス内の映像ブロックを復号するためのその他の情報、の映像ブロックをコーディングするために使用される予測モード(例えば、イントラ又はインター予測)を決定するために受信された構文要素の一部を使用する。
[0089]動き補償ユニット72は、内挿フィルタに基づいて内挿を行うこともできる。動き補償ユニット72は、基準ブロックの整数未満のピクセルに関する内挿値を計算するために映像ブロックの符号化中に映像符号器20によって使用される内挿フィルタを使用することができる。この場合は、動き補償ユニット72は、受信された構文要素から映像符号器20によって使用される内挿フィルタを決定すること及び予測ブロックを生成するために内挿フィルタを使用することができる。
[0090]映像復号器30は、層間予測ユニット75を含むこともできる。層間予測ユニット75は、SVCにおいて利用可能な1つ以上の異なる層(例えば、基本層又は基準層)を用いて現在のブロック(例えば、EL内の現在のブロック)を予測するように構成される。該予測は、層間予測と呼ぶことができる。層間予測ユニット75は、層間冗長性を低減させるための予測方法を利用し、それによって、コーディング効率を向上させ及び計算リソースの要求を軽減させることができる。層間予測の幾つかの例は、層間イントラ予測と、層間動き予測と、層間残差予測と、を含む。層間イントラ予測は、拡張層内の現在のブロックを予測するために基本層内の共配置されたブロックの再構築を使用する。層間動き予測は、拡張層内の現在のブロックを予測するために基本層の動き情報を使用する。層間残差予測は、拡張層の残差を予測するために基本層の残差を使用する。基本層及び拡張層が異なる空間解像度を有するときには、以下においてさらに詳細に説明されるように、時間的スケーリング関数を用いた空間的動きベクトルスケーリング及び/又は層間位置マッピングを層間予測ユニット75によって行うことができる。
[0091]逆量子化ユニット76は、ビットストリーム内で提供され、エントロピー復号ユニット70によって復号された量子化された変換係数を逆量子化する、例えば、量子化解除する。逆量子化プロセスは、量子化度、そして同様に、適用されるべき逆量子化度、を決定するために映像スライス内の各映像ブロックに関して映像復号器30によって計算された量子化パラメータQPYを使用することを含むことができる。
[0092]逆変換ユニット78は、ピクセル領域において残差ブロックを生成するために逆変換、例えば、逆DCT、逆DST、逆整数変換、又は概念的に類似する逆変換プロセス、を変換係数に適用する。
[0085]動き補償ユニット72が動きベクトル及びその他の構文要素に基づいて現在の映像ブロックに関する予測ブロックを生成した後は、映像復号器30は、逆変換ユニット78からの残差ブロックを、動き補償ユニット72によって生成された対応する予測ブロックと加算することによって復号された映像ブロックを形成する。加算器90は、この加算動作を行うコンポーネント又はコンポーネント(複数)を表す。希望される場合は、ブロッキネスアーティファクトを除去するために復号されたブロックをフィルタリングするためにデブロッキングフィルタを適用することもできる。ピクセル遷移を平滑化するために、又はその他の形で映像品質を向上させるためにその他のループフィルタ(コーディングループ内又はコーディングループ後のいずれか)を使用することもできる。次に、所定のフレーム又はピクチャ内の復号された映像ブロックが基準ピクチャメモリ82に格納され、それは、後続する動き補償のために使用される基準ピクチャを格納する。基準ピクチャメモリ82は、表示装置、例えば、図1の表示装置32、でののちの提示のために復号された映像も格納する。

多層復号器
[0094]図3Bは、本開示において説明される態様による技法を実装することができる多層映像復号器31の例を示したブロック図である。映像復号器31は、例えば、SHVC又はマルチビューコーディングに関する多層映像フレームを処理するように構成することができる。さらに、映像復号器31は、本開示のいずれかの又はすべての技法を実行するように構成することができる。
[0095]映像復号器31は、映像復号器30Aと、映像復号器30Bと、を含み、それらの各々は、図3Aの映像復号器30として構成することができ及び映像復号器30に関して上述される機能を果たすことができる。さらに、参照数字を再使用することによって示されるように、映像復号器30A、30Bは、システム及びサブシステムのうちの少なくとも一部を映像復号器30として含むことができる。映像復号器31は、2つの映像復号器30A及び30Bを含むとして例示されているが、映像復号器31は、そのようには限定されず、あらゆる数の映像復号器30層を含むことができる。幾つかの実施形態においては、映像復号器31は、アクセスユニット内の各ピクチャ又はフレームに関する映像復号器30を含むことができる。例えば、5つのピクチャを含むアクセスユニットは、5つの復号器層を含む映像復号器によって処理又は復号することができる。幾つかの実施形態においては、映像復号器31は、アクセスユニット内のフレームよりも多くの復号器層を含むことができる。幾つかの該事例においては、映像復号器層のうちの一部は、幾つかのアクセスユニットを処理するときには非アクティブであることができる。
[0096]映像復号器30A及び30Bに加えて、映像復号器31は、アップサンプリングユニット92を含むことができる。幾つかの実施形態においては、アップサンプリングユニット92は、フレーム又はアクセスユニットに関する基準ピクチャリストに加えられるべき拡張された層を生成するために受信された映像フレームの基本層をアップサンプリングすることができる。この拡張された層は、基準フレームメモリ82(例えば、復号ピクチャバッファ160内)に格納することができる。幾つかの実施形態においては、アップサンプリングユニット92は、図2Aの再サンプリングユニット90に関して説明される実施形態のうちの一部又は全部を含むことができる。幾つかの実施形態においては、アップサンプリングユニット92は、層をアップサンプリングし、及び、一組のスライス境界規則及び/又はラスタスキャン規則に準拠するために1つ以上のスライスを再編成、再定義、修正、又は調整するように構成される。幾つかの事例においては、アップサンプリングユニット92は、受信された映像フレームの層をアップサンプリング及び/又はダウンサンプリングするように構成された再サンプリングユニットであることができる。
[0097]アップサンプリングユニット92は、より下位の層の復号器(例えば、映像復号器30A)の復号ピクチャバッファ82からピクチャ又はフレーム(又は、ピクチャに関連するピクチャ情報)を受信するように及びピクチャ(又は、受信されたピクチャ情報)をアップサンプリングするように構成することができる。次に、このアップサンプリングされたピクチャは、より下位の層の復号器と同じアクセスユニット内のピクチャを復号するように構成されたより高位の層の復号器(例えば、映像復号器30B)のモード選択ユニット71に提供することができる。幾つかの事例においては、より高位の層の復号器は、より下位の層の復号器から1つの層だけ取り除かれる。その他の事例においては、図3Bの層0復号器と層1復号器との間に1つ以上のより高位の層の復号器が存在することができる。
[0098]幾つかの事例においては、アップサンプリングユニット92は、省略すること又は迂回することができる。該事例においては、映像復号器30Aの復号ピクチャバッファ82からのピクチャは、直接、又は、少なくとも再サンプリングユニット90に提供せずに、映像復号器30Bの予測処理ユニット152に提供することができる。例えば、映像復号器30Bに提供された映像データ及び映像復号器30Aの復号ピクチャバッファ82からの基準ピクチャが同じサイズ又は解像度である場合は、基準ピクチャは、アップサンプリングせずに映像復号器30Bに提供することができる。さらに、幾つかの実施形態においては、アップサンプリングユニット92は、映像復号器30Aの復号ピクチャバッファ82から受信された基準ピクチャをアップサンプリング又はダウンサンプリングするように構成された再サンプリングユニット90であることができる。
[0099]図3Bにおいて例示されるように、映像復号器31は、デマルチプレクサ99、又はdemuxをさらに含むことができる。demux99は、符号化された映像ビットストリームを複数のビットストリームに分割することができ、demux99によって出力された各ビットストリームは、異なる映像復号器30A及び30Bに提供される。複数のビットストリームは、ビットストリームを受信することによって生成することができ、映像復号器30A及び30Bの各々は、所定の時間にビットストリームの一部分を受信する。幾つかの事例においては、demux99において受信されたビットストリームからのビットは、各々の映像復号器(例えば、図3Bの例における映像復号器30A及び30B)の間で一度に1ビット交互させることができる一方で、多くの事例においては、ビットストリームは、異なった形で分割される。例えば、ビットストリームは、いずれの映像復号器がビットストリームを一度に1つのブロックずつ受信するかを交互させることによって分割することができる。他の例では、ビットストリームは、1:1の比でないブロックを映像復号器30A及び30Bの各々に提供することによって分割することができる。例えば、映像復号器30Aに提供される各ブロックに関して2つのブロックを映像復号器30Bに提供することができる。幾つかの実施形態においては、demux99によるビットストリームの分割は、予めプログラミングすることができる。その他の実施形態においては、demux99は、映像復号器31の外部のシステムから、例えば、行先デバイス14のプロセッサから、受信された制御信号に基づいてビットストリームを分割することができる。制御信号は、入力インタフェース28からの映像の解像度又はビットレートに基づいて、チャネル16の帯域幅に基づいて、ユーザに関連する加入(例えば、有料加入対無料加入)に基づいて、又は映像復号器31によって入手可能である解像度を決定するためのその他の要因に基づいて、生成することができる。

ピクチャアスペクト比(PAR)及びピクチャサンプルアスペクト比(PSAR)
[00100]図4は、基準層と拡張層との間でのピクチャアスペクト比スケーラビリティの例の概念図である。幾つかの実施形態においては、ピクチャアスペクト比(PAR)は、ピクチャの幅:高さ比であり、幅及び高さは、同じ長さ(空間測定)単位で測定される。ピクチャアスペクト比は、X:Yとして表すことができ、ここで、Xは、水平の幅であり、Yは、垂直の高さ(空間距離の任意の単位)である。幾つかの実施形態においては、ピクチャサンプルアスペクト比(PSAR)は、ピクチャ内のルマサンプル配列の列間の水平距離と行間の垂直距離との間の比である。ピクチャサンプルアスペクト比は、h:vとして表すことができ、ここで、hは、水平な幅であり、vは、垂直の高さ(空間距離の任意の単位)である。図4は、PSARが基準層と拡張層との間で同じであり、基準層が拡張層のクロッピングされたバージョンである例を示す。特に、示されるように、基準層410は、水平な幅412と垂直な高さ414とを備えることができる。例えば、水平な幅412は、853ピクセルであることができ、垂直な高さ414は、480ピクセルであることができる。拡張層420は、水平な幅422と垂直な高さ424とを備えることができる。例えば、水平な幅422は、1280ピクセルであることができ、垂直な高さ424は、720ピクセルであることができる。この図では、拡張層420の空間解像度は、1280×720であり、基準層410の空間解像度は、853×480(WVGA)である。基準層410及び拡張層420の両方とも1のPSARを有する。この例においては、基準層410及び拡張層420の両方とも16:9のPARを有する。
[00101]図5は、基準層と拡張層との間でのピクチャアスペクト比スケーラビリティの他の例の概念図である。図5は、PSARが基準層と拡張層との間で同じであり、基準層が拡張層のスケーリング及びクロッピングされたバージョンである例を示す。特に、示されるように、基準層510は、水平な幅512と垂直な高さ514とを備えることができる。例えば、水平な幅512は、640ピクセルであることができ、垂直な高さ514は、480ピクセルであることができる。拡張層520は、水平な幅522と垂直な高さ524とを備えることができる。例えば、水平な幅522は、1280ピクセルであることができ、垂直な高さ524は、720ピクセルであることができる。基準層510はスケーリングすることができ、スケーリングされた領域の一部を、拡張層520を予測するために使用することが可能である。図5では、拡張層の空間解像度は、1280×720(PAR16:9)であり、基準層の空間解像度は、640×480(PAR4:3)であり、両層とも1のPSARを有する。図5の例示される実施形態においては、拡張層520は、基準層510と異なるピクチャアスペクト比を有する。

HEVC/SHVC
[00102]SHVCでは、層間予測のために使用されるべきアップサンプリングされた基本層ピクチャの領域は、シーケンスパラメータセット、VPS、又はスライスヘッダでも定義することができる。該領域を定義する及び/又はシグナリングすることに関連するさらなる詳細を、米国仮特許出願第61/773,102号(出願日:2013年3月5日)、及び、米国特許出願第14/194,159号(出願日:2014年2月28日)において見つけることができ、それらの各々は、ここにおける引用によってその全体がここに組み入れられている。次は、SHVCワーキングドラフトにおいてシグナリングされる構文の例である。
・scaled_ref_left_offsetは、層間予測のために使用される再サンプリングされた層ピクチャの左上のルマサンプルと2つのルマサンプルのユニットにおける現在のピクチャの左上のルマサンプルとの間の水平オフセットを示す。存在しないときには、seq_scaled_ref_left_offsetの値は0に等しいと推論される。
・scaled_ref_top_offsetは、層間予測のために使用される再サンプリングされた層ピクチャの左上のルマサンプルと2つのルマサンプルのユニットにおける現在のピクチャの左上のルマサンプルとの間の垂直オフセットを示す。存在しないときには、seq_scaled_ref_top_offsetの値は0に等しいと推論される。
・scaled_ref_right_offsetは、層間予測のために使用される再サンプリングされた層ピクチャの右下のルマサンプルと2つのルマサンプルのユニットにおける現在のピクチャの右下のルマサンプルとの間の水平オフセットを示す。存在しないときには、seq_scaled_ref_right_offsetの値は0に等しいと推論される。
・scaled_ref_bottom_offsetは、層間予測のために使用される再サンプリングされた層ピクチャの右下のルマサンプルと2つのルマサンプルのユニットにおける現在のピクチャの右下のルマサンプルとの間の垂直オフセットを示す。存在しないときには、seq_scaled_ref_bottom_offsetの値は0に等しいと推論される。

高レベル構文(HLS)変更専用SHVC
[00103]SHVCにおける層間予測をサポートするために、基準層ピクチャ(必要なときに再サンプリングされる)は、基準ピクチャとして拡張層の現在のピクチャの基準ピクチャリストに入れることができる。空間的スケーラビリティの場合は、再構築された基本層ピクチャは、拡張層ピクチャサイズにマッチングさせるためにアップサンプリングすることが必要になる。再サンプリングプロセスは、例えば、上述される米国仮特許出願第61/773,102号(出願日:2013年3月5日)、及び、米国特許出願第14/194,159号(出願日:2014年2月28日)において記述されるアップサンプリングプロセス及びパディング及び/又はクロッピングプロセスを含むことができる。

SHVCにおいて再サンプリングプロセスを条件付きで呼び出すこと
[00104]SHVCでは、基準層ピクチャ(例えば、再構築された基準層ピクチャ)が現在のピクチャの基準ピクチャリストにおける基準ピクチャとして加えられるときには、現在のピクチャと同じサイズを有する層間基準ピクチャを生成するために再構築された基準層ピクチャに関して再サンプリングプロセス(例えば、アップサンプリング又はダウンサンプリング)を行うことができる。再サンプリングプロセスが必要でない場合は(例えば、再構築された基準層ピクチャが現在のピクチャと同じサイズである、等である場合は)、再構築された基準層ピクチャは、現在のピクチャの基準ピクチャリストに直接加えることができる。そうでない場合は、再サンプリングされたプロセスは、現在のピクチャの基準ピクチャリストに加えられるべき新しい層間基準ピクチャを生成するために呼び出される。
[00105]SHVCワーキングドラフトの初期バージョンは、単に、層間基準ピクチャを形成するために再サンプリングプロセスを呼び出す必要があるかどうかを決定するためにピクチャサイズを使用する。しかしながら、スケーリングされた基準オフセットが上述されるようにシグナリングされる場合は(例えば、scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offset)、SHVCワーキングドラフトの初期バージョンで定義されている条件はもはや十分ではない。例えば、現在のピクチャ及び層間基準ピクチャのピクチャサイズが同じである(従って、現在のSHVCワーキングドラフト手順では、再サンプリングは採用されない)場合で、層間基準ピクチャのある領域のみが層間予測のために使用される場合は、層間基準ピクチャのその領域は、現在のピクチャ及び層間基準ピクチャのピクチャサイズが同じである場合でも再サンプリングされるべきである。
[00106]幾つかの実施形態により、再サンプリングプロセスを呼び出すために新しい条件が定義され、“トリガ”(基礎)として使用される。本開示において説明される技法は、層間基準ピクチャが再サンプリングされるべきであるかどうかを決定する際にスケーリングされた基準層オフセット及び空間解像度を考慮に入れることができる。再サンプリングプロセスは、層間基準ピクチャのアップサンプリング、ダウンサンプリング、ビットシフト、クロッピング、及び/又はパディングを適宜含むことができる。幾つかの実施形態においては、条件は、空間解像度及びスケーリングされた基準層オフセットに基づくことができる。その他の実施形態においては、条件は、空間解像度、クロマフォーマット、ビット深度、及びスケーリングされた基準層オフセットに基づくことができる。
[00107]HEVC/SHVCにおいて定義されるように、現在のピクチャの基準ピクチャは、現在のピクチャと同じ空間比及びピクチャサイズを有さなければならない。さらに、SHVCでは、層間基準ピクチャの動きベクトルはゼロであるものとするという制約に準拠した規範的ビットストリーム(normative bitstream)が存在する。従って、様々な実施形態により、SHVCにおける現在のピクチャの層間基準ピクチャは、次の特徴を有するべきである。
・層間基準ピクチャは、現在のピクチャと同じ空間比を有するべきである。
・層間基準ピクチャは、現在のピクチャと同じサイズを有するべきである。
・基準層ピクチャ及び現在のピクチャの共配置されたサンプルは、同じサンプル位置に位置するべきである。
基準層ピクチャが上記の3つのすべての特徴を有する場合は、再構築された基準層ピクチャは、現在のピクチャの基準ピクチャリストに直接加えることができる。そうでない場合は、再サンプリングプロセスは、現在のピクチャの基準ピクチャに加えられるべき層間基準ピクチャを生成するために呼び出される。幾つかの実施形態においては、それらの技法は、上記の3つの特徴のうちのいずれかが満たされていないときに層間基準ピクチャが再サンプリングされるような形で再サンプリングプロセスを呼び出すための条件を定義することができる。以下においてそれらの技法に関連する幾つかの詳細が図6に関して説明される。
[00108]図6は、本開示の態様による、再サンプリングプロセスを呼び出すための条件例を示したブロック図である。本開示全体を通じて使用される様々な用語は、通常の意味を有する広義の用語である。さらに、幾つかの実施形態においては、幾つかの用語は、次の映像概念に関連する。すなわち、ピクチャは、現在の規格(例えば、HEVC)において使用されるような映像ピクチャを意味することができる。オフセットは、2つの点間、2本の線間、2つの縁部間、2つの表面間、2つのエリア間、2つの要素間、2つのオブジェクト(例えば、ピクチャ)間の距離又は差分を意味することができる。幾つかの実施形態においては、オフセットは、2つの境界間のスペースを意味することができ、例えば、図6において例示されるオフセット624である。例えば、左オフセット624aは、拡張層の現在のピクチャ620の左境界と基準層622のスケーリングされた/アップサンプリングされた該当領域の左境界との間のスペースであり、上オフセット624bは、拡張層の現在のピクチャ620の上境界と基準層622のスケーリングされた/アップサンプリングされた該当領域の上境界との間のスペースであり、右オフセット624cは、拡張層の現在のピクチャ620の右境界と基準層622のスケーリングされた/アップサンプリングされた該当領域の右境界との間のスペースであり、下オフセット624dは、拡張層の現在のピクチャ620の下境界と基準層622のスケーリングされた/アップサンプリングされた該当領域の左下境界との間のスペースである。幾つかの実施形態においては、オフセットは、基準点、線、境界、等に関して規定することができる。図6の例においては、左オフセット624a、上オフセット624b、右オフセット624c、及び下オフセット624dは、拡張層の現在のピクチャ620の左境界、上境界、右境界、及び下境界に関してそれぞれ規定される。幾つかの実施形態においては、オフセットは、座標によって示すことができる。例えば、オフセットは、一組の1つ以上の座標を用いて位置又は場所を定義することができる。一例においては、オフセットは、水平座標と垂直座標とを含むことができる。オフセットは、値が正又は負であることができる。

空間的スケーラビリティのサポート
[00109]層間基準ピクチャに関する再サンプリングプロセスを呼び出すための条件を定義する際には以下の変数を使用することができる。幾つかの実施形態により、それらの変数は、次のように定義することができる。
・変数PicWidthInSamplesL 626及びPicHeightInSamplesL 628は、ルマサンプル単位で現在のピクチャの幅及び高さに等しくなるようにそれぞれ設定される。
・変数RefLayerPicWidthInSamplesL 616及びRefLayerPicHeightInSamplesL 618は、ルマサンプル単位で現在のピクチャの幅及び高さに等しくなるようにそれぞれ設定される。代替として、変数RefLayerPicWidthInSamplesL 616及びRefLayerPicHeightInSamplesL 618は、ルマサンプル単位でクロッピングされた復号された基準層ピクチャの幅及び高さに等しくなるようにそれぞれ設定される。
・変数ScaledRefLayerLeftOffset624aは、ルマサンプル単位で層間予測のために使用される再サンプリングされた層ピクチャの左上のルマサンプルと現在のピクチャの左上ルマサンプルとの間の水平オフセットであると定義される。
・変数ScaledRefLayerTopOffset624bは、ルマサンプル単位で層間予測のために使用される再サンプリングされた層ピクチャの左上のルマサンプルと現在のピクチャの左上ルマサンプルとの間の垂直オフセットであると定義される。
・変数ScaledRefLayerRightOffset624cは、ルマサンプル単位で層間予測のために使用される再サンプリングされた層ピクチャの右下のルマサンプルと現在のピクチャの右下ルマサンプルとの間の水平オフセットであると定義される。
・変数ScaledRefLayerBottomOffset624dは、ルマサンプル単位で層間予測のために使用される再サンプリングされた層ピクチャの右下のルマサンプルと現在のピクチャの右下ルマサンプルとの間の垂直オフセットであると定義される。
・変数ScaledRefLayerPicWidthInSamplesL630及びScaledRefLayerPicHeightInSamplesL632は、次のように定義される。
−ScaledRefLayerPicWidthInSamplesL=PicWidthInSamplesL−ScaledRefLayerLeftOffset−ScaledRefLayerRightOffset
−ScaledRefLayerPicHeightInSamplesL=PicHeightInSamplesL−ScaledRefLayerTopOffset−ScaledRefLayerBottomOffset

ScaledRefLayerLeftOffset624a、ScaledRefLayerTopOffset624b、ScaledRefLayerRightOffset624c、及びScaledRefLayerBottomOffset624dは、上記のように、scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、及びscaled_ref_layer_bottom_offsetに対応することができる。
[00110]幾つかの実施形態においては、スケーリングされた基準層オフセットは、拡張層ピクチャのいずれの領域を基準層ピクチャのための入力として使用すべきかを決定するときに符号器において決定することができる。例えば、符号器は、拡張層に関する映像データ入力を受信し、対応する基準層ピクチャとしてコーディングすべき現在の拡張層ピクチャの領域を選択する。符号器は、この領域を定義するためにスケーリングされた基準層オフセットの値を設定することができる。オフセットは、現在の拡張層ピクチャに対するものであることができる。次に、スケーリングされた基準層オフセット値は、符号器が基準層ピクチャ(例えば、再構築された基準ピクチャ)に基づいて現在の拡張層ピクチャを符号化中であるときに利用することができる。符号器は、基準層ピクチャ(例えば、再構築された基準ピクチャ)を再サンプリングすべきかどうかを決定するために以下において指定される条件を使用することができる。同様に、復号器は、基準層ピクチャ(例えば、再構築された基準ピクチャ)を再サンプリングすべきかどうかを決定するために以下の同じ条件を使用することができる。
[00111]一実施形態においては、層間基準ピクチャに関して再サンプリングプロセスを呼び出すべきかどうかを点検するための条件は、次のように定義される。
・PicWidthInSamplesL 626がRefLayerPicWidthInSamplesL 616に等しく、PicHeightInSamplesL 628がRefLayerPicHeightInSamplesL618に等しく、さらに、ScaledRefLayerLeftOffset624a、ScaledRefLayerTopOffset624b、ScaledRefLayerRightOffset624c、及びScaledRefLayerBottomOffset624dの値がすべて0に等しい場合は、
−再サンプリングプロセスは実行されず、例えば、再構築された基準層ピクチャは、現在のピクチャの基準ピクチャリストに直接加えられる。
・そうでない場合は、再サンプリングされた層間基準ピクチャを生成するために再サンプリングプロセスが呼び出される。
[00112]この実施形態において、現在のピクチャのピクチャサイズ及び層間基準ピクチャのピクチャサイズが同じであり、さらに、すべてのスケーリングされた基準層オフセットが0に等しい場合は、層間基準ピクチャは、層間基準ピクチャを再サンプリングせずに現在のピクチャの基準ピクチャリストに加えることができる。そうでない場合は、層間基準ピクチャが再サンプリングされ、再サンプリングされた層間基準ピクチャが現在のピクチャの基準ピクチャリストに加えられる。ピクチャサイズ及びスケーリングされた基準層オフセットを点検することによって、技法は、現在のピクチャ及び層間基準ピクチャが同じ空間比及びピクチャサイズを有するかどうかを点検することができる。
[00113]他の実施形態においては、層間基準ピクチャに関する再サンプリングプロセスを呼び出すべきかどうかを点検するための条件は、次のように定義される。
・ScaledRefLayerPicWidthInSamplesL 630がRefLayerPicWidthInSamplesL 616に等しく、ScaledRefLayerPicHeightInSamplesL 632がRefLayerPicHeightInSamplesL618に等しく、さらに、ScaledRefLayerLeftOffset624a、ScaledRefLayerTopOffset624b、ScaledRefLayerRightOffset624c、及びScaledRefLayerBottomOffset624dの値がすべて0に等しい場合は、
−再サンプリングプロセスは実行されず、例えば、再構築された基準層ピクチャは、現在のピクチャの基準ピクチャリストに直接加えられる。
・そうでない場合は、再サンプリングされた層間基準ピクチャを生成するために再サンプリングプロセスが呼び出される。
[00114]この実施形態において、現在のピクチャのピクチャサイズ及びスケーリングされた層間基準ピクチャのピクチャサイズが同じであり、さらに、すべてのスケーリングされた基準層オフセットが0に等しい場合は、層間基準ピクチャは、層間基準ピクチャを再サンプリングせずに現在のピクチャの基準ピクチャリストに加えることができる。そうでない場合は、層間基準ピクチャが再サンプリングされ、再サンプリングされた層間基準ピクチャが現在のピクチャの基準ピクチャリストに加えられる。上記のように、ピクチャサイズ及びスケーリングされた基準層オフセットを点検することによって、技法は、現在のピクチャ及び層間基準ピクチャが同じ空間比及びピクチャサイズを有するかどうかを点検することができる。

追加のスケーラビリティタイプのサポート
[00115]上記のように、再サンプリングプロセスは、現在のピクチャと同じピクチャフォーマットを有する層間基準ピクチャを生成するために使用される。上述される空間的スケーラビリティの事例の場合は、空間解像度のみが考慮される。しかしながら、一般的なピクチャフォーマット情報は、より多くの情報、例えば、ピクチャサンプルのビット深度及びクロマカラーフォーマット、を含む。従って、現在のピクチャの該情報が基準層ピクチャの該情報と異なるときにはある一定の種類の再サンプリングプロセスを呼び出す必要がある。例えば、基準層のサンプル値は8ビットのデータによって表すことができ、その結果、0乃至255の値の範囲になる。拡張層のサンプル値は、10ビットのデータによって表すことができ、その結果、0乃至1023の値の範囲になる。他の例として、基準層ピクチャは、YUV420のクロマカラーフォーマットを有することができ、拡張層は、YUV444のクロマカラーフォーマットを有することができる。これらの例においては、基準層と拡張層との間でのビット深度及び/又はクロマカラーフォーマットの違いに基づき、SHVCにおけるビット深度スケーラビリティ及びクロマカラーフォーマットスケーラビリティをサポートするために再サンプリングプロセスが必要になる。
[00116]層間基準ピクチャに関する再サンプリングプロセスを呼び出すための条件を定義する際には以下の変数を使用することができる。幾つかの実施形態により、それらの変数は、次のように定義することができる。
・変数BitDepthY及びBitDepthCは、それぞれ現在のピクチャのルマコンポーネント及びクロマコンポーネントのビット深度である。
・変数RefLayerBitDepthY及びRefLayerBitDepthCは、それぞれ層間基準ピクチャのルマコンポーネント及びクロマコンポーネントのビット深度である。
・変数chroma_format_idcは、現在のピクチャのクロマフォーマットであり、RefLayer_chroma_format_idcは、基準層ピクチャのクロマフォーマットである。
[00117]一実施形態においては、層間基準ピクチャに関して再サンプリングプロセスを呼び出すべきかどうかを点検するための条件は、次のように定義される。
・PicWidthInSamplesL 626がRefLayerPicWidthInSamplesL 616に等しく、PicHeightInSamplesL 628がRefLayerPicHeightInSamplesL618に等しく、ScaledRefLayerLeftOffset624a、ScaledRefLayerTopOffset624b、ScaledRefLayerRightOffset624c、及びScaledRefLayerBottomOffset624dの値がすべて0に等しく、BitDepthYがRefLayerBitDepthYに等しく、BitDepthCがRefLayerBitDepthCに等しく、さらに、chroma_format_idcがRefLayer_chroma_format_idcに等しい場合は、
−再サンプリングプロセスは実行されず、例えば、再構築された基準層ピクチャは、現在のピクチャの基準ピクチャリストに直接加えられる。
・そうでない場合は、再サンプリングされた層間基準ピクチャを生成するために再サンプリングプロセスが呼び出される。
[00118]この実施形態において、現在のピクチャ及び層間基準ピクチャのピクチャサイズが同じであり、すべてのスケーリングされた基準層オフセットが0に等しく、現在のピクチャ及び層間基準ピクチャのルマビット深度及びクロマビット深度が同じであり、さらに、現在のピクチャ及び層間基準ピクチャのクロマフォーマットが同じである場合は、層間基準ピクチャは、層間基準ピクチャを再サンプリングせずに現在のピクチャの基準ピクチャリストに加えることができる。そうでない場合は、層間基準ピクチャが再サンプリングされ、再サンプリングされた層間基準ピクチャが現在のピクチャの基準ピクチャリストに加えられる。上記のように、ピクチャサイズ及びスケーリングされた基準層オフセットを点検することによって、技法は、現在のピクチャ及び層間基準ピクチャが同じ空間比及びピクチャサイズを有するかどうかを点検することができる。
[00119]ルマ及びクロマビット深度が同じであるかどうか及びクロマフォーマットが同じであるかどうかを点検することによって、技法は、ルマ及びクロマビット深度及び/又はクロマフォーマットが異なるときに層間基準ピクチャを適宜再サンプリングすることができる。

層間基準ピクチャを再サンプリングすべきかどうかを決定する方法
[00120]図7は、本開示の態様による、層間基準ピクチャを再サンプリングすべきかどうかを決定するための方法例を示したフローチャートである。プロセス700は、実施形態に依存して、符号器(例えば、図2A、図2B、等において示される符号器)、復号器(例えば、図3A、図3B、等において示される復号器)、又はその他のいずれかのコンポーネントによって実行することができる。プロセス700のブロックは、図3Bの復号器31に関して説明されているが、プロセス700は、上述されるように、その他のコンポーネント、例えば、符号器、によって実行することができる。復号器31の層1映像復号器30B及び/又は復号器31の層0復号器30Aは、実施形態に依存して、プロセス700を実行することができる。図7に関して説明されるすべての実施形態は、別々に、又は互いに組み合わせて実装することができる。上において、プロセス700に関連する幾つかの詳細が例えば図6に関して説明される。
[00121]プロセス700は、ブロック701において開始する。復号器31は、復号されるべき現在のピクチャに関する層間基準ピクチャに関連する映像情報を格納するためのメモリ(例えば、基準フレームメモリ82)を含むことができる。現在のピクチャは、現在の層からのピクチャであることができ、層間基準ピクチャは、現在の層の基準層からのピクチャであることができる。幾つかの実施形態においては、現在の層は、拡張層と呼ばれ、基準層は、基本層と呼ばれる。
[00122]ブロック702において、復号器31は、現在のピクチャの予測を生成するために使用される層間基準ピクチャの再サンプリングされたバージョンの領域を定義するための複数の層間基準オフセットに関連する情報を受信する。復号器31は、ビットストリーム内でその情報を受信し、及び、複数の層間基準ピクチャに関連する情報を入手するために1つ以上の構文要素を復号することができる。層間基準ピクチャの複数の層間基準オフセットに関連する情報がビットストリーム内に存在しない場合は、復号器31は、複数の層間基準オフセットの各々が0に等しいと推論することができる。例えば、基準ピクチャは、再サンプリングを必要としないそれであることができ及び/又は基準ピクチャは、現在のピクチャに関する予測を生成する際に層間基準ピクチャ全体を使用することができる。複数の層間基準オフセットは、層間基準ピクチャの再サンプリングされたバージョンの座標の点で定義することができる。しかしながら、上において説明されるように、幾つかの層間基準ピクチャは、再サンプリングが必要でないため再サンプリングされたバージョンを有することができない。該事例においては、複数の層間基準オフセットは、シグナリングすることができず又は0であると推論することができる。
[00123]複数の層間基準オフセットは、各々が現在のピクチャに対して指定される左オフセットと、上オフセットと、右オフセットと、下オフセットとを含むことができる。左オフセット、上オフセット、右オフセット、及び下オフセットは、scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、及びscaled_ref_layer_bottom_offsetにそれぞれ対応することができる。
[00124]一実施形態においては、左オフセットは、層間基準ピクチャの再サンプリングされたバージョンの左上ルマサンプルと現在のピクチャの左上ルマサンプルとの間の水平オフセットである。上オフセットは、層間基準ピクチャの再サンプリングされたバージョンの左上ルマサンプルと現在のピクチャの左上ルマサンプルとの間の垂直オフセットである。右オフセットは、層間基準ピクチャの再サンプリングされたバージョンの右下ルマサンプルと現在のピクチャの右下ルマサンプルとの間の水平オフセットである。下オフセットは、層間基準ピクチャの再サンプリングされたバージョンの右下ルマサンプルと現在のピクチャの右下ルマサンプルとの間の垂直オフセットである。
[00125]ブロック703において、復号器31は、層間基準ピクチャを再サンプリングすべきかどうかを複数の層間基準オフセットに少なくとも部分的に基づいて決定する。復号器31は、複数の層間基準オフセットを含む様々な判定基準に基づいて、層間基準ピクチャを再サンプリングすべきかどうかを決定することができる。再サンプリングプロセスは、層間基準ピクチャのアップサンプリング、ダウンサンプリング、ビットシフト、クロッピング、及び/又はパディング、又はそれらのいずれかの組み合わせを含むことができる。幾つかの実施形態においては、復号器31は、追加で又は代替として、層間基準ピクチャを再サンプリングすべきかどうかを決定する際に層間基準ピクチャのピクチャフォーマットに関連する1つ以上のタイプの情報を考慮することができる。ピクチャフォーマットは、空間解像度、クロマフォーマット、ビット深度、等を含む様々なタイプの情報を含むことができる。
[00126]幾つかの実施形態においては、復号器31は、現在のピクチャの空間解像度及び層間基準ピクチャ(又は、層間基準ピクチャのアップサンプリングされた又は再サンプリングされたバージョン)を考慮する。一実施形態においては、復号器31は、以下を含む条件を決定することによって層間基準ピクチャを再サンプリングすべきかどうかを決定する。
・現在のピクチャの幅及び層間基準ピクチャの幅が等しいかどうか。
・現在のピクチャの高さ及び層間基準ピクチャの高さが等しいかどうか。
・左オフセット、上オフセット、右オフセット、及び下オフセットがそれぞれ0に等しいかどうか。

すべての条件が真である場合は、復号器31は、層間基準ピクチャが再サンプリングされるべきではないと決定する。それらの条件のうちの少なくとも1つが真でない場合は、復号器31は、層間基準ピクチャが再サンプリングされるべきであると決定する。復号器31は、層間基準ピクチャが再サンプリングされるべきであるかどうかを決定するために上記の条件を点検する。現在のピクチャの幅、現在のピクチャの高さ、層間基準ピクチャの幅、及び層間基準ピクチャの高さは、ルマサンプルの単位で定義することができる。
[00127]他の実施形態においては、復号器31は、以下を含む条件を決定することによって層間基準ピクチャを再サンプリングすべきかどうかを決定する。
・層間基準ピクチャの幅及び層間基準ピクチャの再サンプリングされたバージョンの幅が等しいかどうか。ここにおいて、層間基準ピクチャの再サンプリングされたバージョンの幅は、現在のピクチャの幅から左オフセット及び右オフセットを減じることによって入手される。
・層間基準ピクチャの高さ及び層間基準ピクチャの再サンプリングされたバージョンの高さが等しいかどうか。ここにおいて、層間基準ピクチャの再サンプリングされたバージョンの高さは、現在のピクチャの高さから上オフセット及び下オフセットを減じることによって入手される。
・左オフセット、上オフセット、右オフセット、及び下オフセットがそれぞれ0に等しいかどうか。

すべての条件が真である場合は、復号器31は、層間基準ピクチャが再サンプリングされるべきではないと決定する。それらの条件のうちの少なくとも1つが真でない場合は、復号器31は、層間基準ピクチャが再サンプリングされるべきであると決定する。復号器31は、層間基準ピクチャが再サンプリングされるべきであるかどうかを決定するために上記の条件を点検する。現在のピクチャの幅、現在のピクチャの高さ、層間基準ピクチャの幅、層間基準ピクチャの高さ、層間基準ピクチャの再サンプリングされたバージョンの幅、及び層間基準ピクチャの再サンプリングされたバージョンの高さは、ルマサンプルの単位で定義することができる。
[00128]幾つかの実施形態においては、復号器31は、現在のピクチャ及び層間基準ピクチャのクロマフォーマット及びビット深度を、現在のピクチャ及び層間基準ピクチャ(又は層間基準ピクチャのアップサンプリング又は再サンプリングされたバージョン)の空間解像度とともに考慮する。一実施形態においては、復号器31は、以下を含む条件を決定することによって層間基準ピクチャを再サンプリングすべきかどうかを決定する。
・現在のピクチャの幅及び層間基準ピクチャの幅が等しいかどうか。
・現在のピクチャの高さ及び層間基準ピクチャの高さが等しいかどうか。
・左オフセット、上オフセット、右オフセット、及び下オフセットがそれぞれ0に等しいかどうか。
・現在のピクチャのルマコンポーネントのビット深度及び層間基準ピクチャのルマコンポーネントのビット深度が等しいかどうか。
・現在のピクチャのクロマコンポーネントのビット深度及び層間基準ピクチャのクロマコンポーネントのビット深度が等しいかどうか。
・現在のピクチャのクロマフォーマット及び層間基準ピクチャのクロマフォーマットが等しいかどうか。

すべての条件が真である場合は、復号器31は、層間基準ピクチャが再サンプリングされるべきではないと決定する。それらの条件のうちの少なくとも1つが真でない場合は、復号器31は、層間基準ピクチャが再サンプリングされるべきであると決定する。復号器31は、層間基準ピクチャが再サンプリングされるべきであるかどうかを決定するために上記の条件を点検する。現在のピクチャの幅、現在のピクチャの高さ、層間基準ピクチャの幅、及び層間基準ピクチャの高さは、ルマサンプルの単位で定義することができる。
[00129]ブロック704において、復号器31は、層間基準ピクチャが再サンプリングされるべきであると決定したことに応答して、層間基準ピクチャを再サンプリングする。例えば、復号器31のアップサンプリングユニット92は、再サンプリングを行うことができる。復号器31は、再サンプリングされた層間基準ピクチャを現在のピクチャの基準ピクチャリストに加えることができる。層間基準ピクチャが再サンプリングされるべきでないと復号器31が決定した場合は、復号器31は、層間基準ピクチャを再サンプリングせずに層間基準ピクチャを現在のピクチャの基準ピクチャリストに加えることができる。復号器31は、基準ピクチャリスト内の層間基準ピクチャに基づいて現在のピクチャの予測ユニット(PU)を生成することができる。次に、復号器31は、予測ユニットに基づいて現在のピクチャを再構築することができる。プロセスは、ブロック705において終了する。
[00130]上記の複数の異なる実施形態において説明される様々な条件を点検することによって、復号器31は、再サンプリングが必要なときに層間基準ピクチャを適宜再サンプリングすることができる。層間基準ピクチャを再サンプリングすべきかどうかを決定する際には複数の層間基準オフセットを考慮することができ、現在のピクチャの予測の際に層間基準ピクチャ(又はアップサンプリング又は再サンプリングされた層間基準ピクチャ)のある領域のみが使用されるときに層間基準ピクチャを再サンプリングすることができるようにすることができる。
[00131]これらの技法は、高レベル構文専用SHVCで使用することができる。高レベル構文専用SHVCでは、複数の層間基準オフセットに関連する情報は、スライスレベル以上で指定することができる。実施形態に依存して、プロセス700においてブロックを追加及び/又は省くことができ、実施形態に依存して、プロセス700のブロックを異なる順序で実行することができる。
[00132]本開示において再サンプリングに関して説明される特徴及び/又は実施形態は、別々に又は組み合わせて実装することができる。例えば、図6に関係して説明される特徴及び/又は実施形態は、図7に関係して説明される特徴及び/又は実施形態と組み合わせて実装することができ、逆も同様である。

動きマッピングプロセス
[00133]上述されるように、基本層及び拡張層のピクチャフォーマット情報が異なるときには再サンプリングプロセスが呼び出される。再サンプリングが呼び出されないときには、基準層の再構築されたピクチャは、層間基準ピクチャとして直接使用される。しかしながら、基準層ピクチャ及び現在の拡張層のピクチャフォーマット情報が同一であるときでも、再構築された基準層ピクチャが拡張層のための基準ピクチャとして直接使用される場合は依然として問題が存在する可能性がある。この理由は、基準層ピクチャ及び拡張層ピクチャのコーディングツリーブロック(CTB)サイズが異なり、さらに、基準層ピクチャ内に複数のスライスが存在するときには、層間基準ピクチャのスライス分割が拡張層CTB境界を横断することがあるためである。これは、再構築された基準層ピクチャが、層間基準ピクチャをイネーブルにするために時間的動きベクトル予測子(TMVP)の誘導のための共配置されたピクチャとして使用されるときに問題を導入する可能性がある。
[00134]この問題を解決する1つの方法は、ここにおける引用によって全体が各々組み入れている米国仮特許出願第61/857,165号(出願日:2013年7月22日)及び米国仮特許出願第61/886,997号(出願日:2013年10月14日)において記述されるように層間基準ピクチャは共配置ピクチャとして使用することができないとする制限を課すことである。
[00135]他の実施形態においては、この事例のためにある一定の再サンプリングプロセスを呼び出すことが提案されている。再サンプリングプロセスは、スライス境界調整、又は該問題を解決することができるその他のプロセス、例えば、ここにおける引用によって全体が組み入れている米国仮特許出願第61/857,227号(出願日:2013年7月22日)において記述されるそれら、を含むことができる。
[00136]従って、上において定義される条件に加えて、基準層ピクチャのCTBサイズ及び現在の拡張層のCTBサイズが異なるときには、再構築された基準層ピクチャを入力として層間基準ピクチャを生成するために再サンプリングプロセスが呼び出される。
[00137]上において定義される条件の代替として又はさらに加えて、基準層ピクチャのCTBサイズ及び現在の拡張層のCTBサイズが異なり、さらに、基準層ピクチャ内に複数のスライスが存在するときには、再構築された基準層ピクチャを入力として層間基準ピクチャを生成するために再サンプリングプロセスが呼び出される。
[00138]上において定義される条件の代替として又はさらに加えて、基準層ピクチャのCTBサイズ及び現在の拡張層のCTBサイズが異なり、さらに、基準層ピクチャ内に複数のスライスが存在し、さらに、複数のスライスのスライスタイプ及び基準ピクチャリストが同一でないときには、再構築された基準層ピクチャを入力として層間基準ピクチャを生成するために再サンプリングプロセスが呼び出される。

用語説明
[00139]上記の開示は特定の実施形態について説明している一方で、数多くの変形が可能である。例えば、上記のように、上の技法は、3D映像コーディングに適用することができる。3D映像の幾つかの実施形態においては、基準層(例えば、基本層)は、映像の第1のビューを表示する上で十分な映像情報を含み、拡張層は、基準層に関する追加の映像情報を含み、従って、基準層及び拡張層は、ひとつとして、映像の第2のビューを表示する上で十分な映像情報を含む。これらの2つのビューは、立体画像を生成するために使用することができる。上述されるように、基準層からの動き情報は、本開示の態様により、拡張層内の映像ユニットを符号化又は復号するときに追加の暗黙の仮説を識別するために使用することができる。これは、3D映像ビットストリームに関してより高いコーディング効率を提供することができる。
[00140]例に依存して、ここにおいて説明されるいずれかの技法の幾つかの行為又はイベントは、異なったシーケンスで行うことができ、追加すること、統合すること、又はすべて省略することができることが認識されるべきである(例えば、方法の実践のためにすべての説明される行為又はイベントが必要であるわけではない)。さらに、幾つかの例では、行為又はイベントは、順次ではなく、マルチスレッド処理、割り込み処理、又は複数のプロセッサを通じて、同時並行して行うことができる。
[00141]ここにおいて開示される情報及び信号は、様々な異なる技術及び技法のうちのいずれかを用いて表すことができる。例えば、上記の説明全体を通じて参照されることがあるデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁場、磁粒子、光学場、光学粒子、又はそれらのあらゆる組合せによって表すことができる。
[00142]ここにおいて開示される実施形態と関係させて説明される様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムのステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組み合わせとして実装可能である。ハードウェアとソフトウェアのこの互換性を明確に例示するため、上記においては、様々な例示的なコンポーネント、ブロック、モジュール、回路、及びステップが、それらの機能の観点で一般的に説明されている。該機能がハードウェアとして又はソフトウェアとして実装されるかは、特定の用途及び全体的システムに対する設計上の制約事項に依存する。当業者は、説明されている機能を各々の特定の用途に合わせて様々な形で実装することができるが、該実装決定は、本開示の適用範囲からの逸脱を生じさせるものであるとは解釈されるべきではない。
[00143]ここにおいて説明される技法は、ハードウェア、ソフトウェア、ファームウェア、又はそれらのあらゆる組み合わせにおいて実装することができる。該技法は、様々なデバイスのうちのいずれか、例えば、汎用コンピュータ、無線通信デバイスハンドセット、又は、無線通信デバイスハンドセット及びその他のデバイスにおけるアプリケーションを含む複数の用途を有する集積回路デバイス、において実装することができる。モジュール又はコンポーネントとして説明される特徴は、一体化された論理デバイスにおいてまとめて又は個別の、ただし相互運用可能な論理デバイスとして別々に実装することができる。ソフトウェアにおいて実装された場合は、技法は、実行されたときに、上述される方法のうちの1つ以上を実行する命令を含むプログラムコードを備えるコンピュータによって読み取り可能なデータ記憶媒体によって少なくとも部分的に実現することができる。コンピュータによって読み取り可能なデータ記憶媒体は、コンピュータプログラム製品の一部を成すことができ、それは、パッケージング材料を含むことができる。コンピュータによって読み取り可能な媒体は、メモリ又はデータ記憶媒体、例えば、ランダムアクセスメモリ(RAM)、例えば、同期的ダイナミックランダムアクセスメモリ(SDRAM)、読み取り専用メモリ(ROM)、非揮発性ランダムアクセスメモリ(NVRAM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、FLASHメモリ、磁気データ記憶媒体、光学的データ記憶媒体、等を備えることができる。技法は、さらに加えて、又は代替として、命令又はデータ構造の形態でプログラムコードを搬送又は通信し、コンピュータによってアクセスすること、読み取ること、及び/又は実行することができる、コンピュータによって読み取り可能な通信媒体によって少なくとも部分的に実現することができる。
[00144]プログラムコードは、プロセッサによって実行することができ、それは、1つ以上のプロセッサ、例えば、1つ以上のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、又は、その他の同等の集積回路又はディスクリートロジック回路、を含むことができる。該プロセッサは、本開示において説明される技法のうちのいずれかを実行するように構成することができる。汎用プロセッサは、マイクロプロセッサであることができるが、代替においては、プロセッサは、従来のどのようなプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサは、コンピューティングデバイスの組合せ、例えば、DSPと、1つのマイクロプロセッサとの組合せ、複数のマイクロプロセッサとの組合せ、DSPコアと関連する1つ以上のマイクロプロセッサとの組合せ、又はあらゆるその他の該構成、として実装することも可能である。従って、ここにおいて使用される用語“プロセッサ”は、上記の構造のうちのいずれか、上記の構造のあらゆる組み合わせ、又はここにおいて説明される技法の実装に適するその他のいずれかの構造又は装置を意味することができる。さらに、幾つかの態様においては、ここにおいて説明される機能は、符号化及び復号のために構成された専用ソフトウェアモジュール又はハードウェアモジュール内において提供すること、又は、結合された映像符号器−復号器(CODEC)内に組み入れることができる。さらに、技法は、1つ以上の回路又は論理素子内において完全に実装することができる。
[00145]ここにおいて論じられるコーディング技法は、映像符号化及び復号システム例における1つの具現化であることができる。システムは、行先デバイスによってのちの時点で復号されるべき符号化された映像データを提供するソースデバイスを含む。特に、ソースデバイスは、コンピュータによって読み取り可能な媒体を介して行先デバイスに映像データを提供する。ソースデバイス及び行先デバイスは、広範なデバイスのうちのいずれかを備えることができ、デスクトップコンピュータ、ノートブック(例えば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、例えば、いわゆる“スマート”フォン、いわゆる“スマート”パッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、車載コンピュータ、映像ストリーミングデバイス、等を含む。幾つかの事例においては、ソースデバイス12及び行先デバイス14は、無線通信のために装備することができる。
[00146]行先デバイスは、コンピュータによって読み取り可能な媒体を介して復号されるべき符号化された映像データを受信することができる。コンピュータによって読み取り可能な媒体は、符号化された映像データをソースデバイスから行先デバイスに移動させることが可能なあらゆるタイプの媒体又はデバイスを備えることができる。一例においては、コンピュータによって読み取り可能な媒体は、ソースデバイス12が符号化された映像データをリアルタイムで直接行先デバイスに送信するのを可能にする通信媒体を備えることができる。符号化された映像データは、通信規格、例えば、無線通信プロトコル、により変調し、行先デバイスに送信することができる。通信媒体は、無線又は有線の通信媒体、例えば、無線周波数(RF)スペクトル又は1つ以上の物理的送信ライン、を備えることができる。通信媒体は、パケットに基づくネットワーク、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク、例えば、インターネット、の一部を形成することができる。通信媒体は、ルータ、スイッチ、基地局、又はソースデバイスから行先デバイスへの通信を容易にするのに役立つことができるその他のあらゆる装置を含むことができる。
[00147]幾つかの例においては、符号化されたデータは、出力インタフェースから記憶デバイスに出力することができる。同様に、符号化されたデータは、入力インタフェースによって記憶デバイスからアクセスすることができる。記憶デバイスは、様々な分散された又はローカルでアクセスされるデータ記憶媒体、例えば、ハードドライブ、Blu−rayディスク、DVD、CD−ROM、フラッシュメモリ、揮発性メモリ、非揮発性メモリ、又は符号化された映像データを格納するためのその他の適切なデジタル記憶媒体、を含むことができる。さらなる例においては、記憶デバイスは、ソースデバイスによって生成された符号化された映像を格納することができるファイルサーバ又は他の中間的な記憶デバイスに対応することができる。行先デバイスは、ストリーミング又はダウンロードを介して記憶デバイスから格納される映像データにアクセスすることができる。ファイルサーバは、符号化された映像データを格納すること及びその符号化された映像データを行先デバイスに送信することが可能なあらゆるタイプのサーバであることができる。ファイルサーバ例は、(例えば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続記憶(NAS)デバイス、及びローカルディスクドライブを含む。行先デバイスは、インターネット接続を含む標準的なデータ接続を通じて符号化された映像データにアクセスすることができる。これは、ファイルサーバに格納された符号化された映像データにアクセスするのに適する無線チャネル(例えば、Wi−Fi接続)、有線接続(例えば、DSL、ケーブルモデム、等)、又は両方の組み合わせを含むことができる。記憶デバイスからの符号化された映像データの送信は、ストリーミング送信、ダウンロード送信、又は両方の組み合わせであることができる。
[00148]本開示の技法は、必ずしも無線の用途又はセッティングには限定されない。それらの技法は、映像コーディングに適用することができ、様々なマルチメディア用途、例えば、オーバー・ザ・エアテレビ放送、ケーブルテレビ送信、衛星テレビ送信、インターネットストリーミング映像送信、例えば、HTTPを通じてのダイナミック適応型ストリーミング(DASH)、データ記憶媒体上に格納するための符号化されるデジタル映像、データ記憶媒体に格納されたデジタル映像の復号、又はその他の用途をサポートする。幾つかの例においては、システムは、映像ストリーミング、映像再生、映像放送、及び/又は映像テレフォニー、等の用途をサポートするために1方向又は2方向の映像送信をサポートするように構成することができる。
[00149]一例においては、ソースデバイスは、映像ソースと、映像符号器と、出力インタフェースと、を含む。行先デバイスは、入力インタフェースと、映像復号器と、表示装置と、を含む。ソースデバイスの映像符号器は、ここおいて開示される技法を適用するように構成することができる。その他の例においては、ソースデバイス及び行先デバイスは、その他のコンポーネント又は配置を含むことができる。例えば、ソースデバイスは、外部の映像ソース、例えば、外部のカメラ、から映像データを受信することができる。同様に、行先デバイスは、一体化された表示装置を含むのではなく、外部の表示装置とインタフェースすることができる。
[00150]上のシステム例は、単なる一例であるにすぎない。映像データを平行して処理するための技法は、あらゆるデジタル映像符号化及び/又は復号デバイスによって実行することができる。概して、本開示の技法は、映像符号化デバイスによって実行することができるが、それらの技法は、典型的には“CODEC”と呼ばれる映像符号器/復号器によって実行することもできる。さらに、本開示の技法は、映像プリプロセッサによって実行することもできる。ソースデバイス及び行先デバイスは、ソースデバイスが行先デバイスへの送信のためにコーディングされた映像データを生成する該コーディングデバイスの例であるにすぎない。幾つかの例においては、ソースデバイス及び行先デバイスは、実質的に対称的な方法で動作することができ、従って、それらのデバイスの各々は、映像符号化コンポーネントと復号コンポーネントとを含む。従って、システム例は、映像ストリーミング、映像再生、映像放送、及び/又は映像テレフォニー、等の用途をサポートするために1方向又は2方向の映像送信をサポートするように構成することができる。
[00151]ソースデバイスは、映像キャプチャデバイス、例えば、ビデオカメラ、以前にキャプチャされた映像が入った映像アーカイブ、及び/又は映像コンテンツプロバイダからの映像を受信するための映像フィードインタフェースを含むことができる。さらなる代替として、映像ソースは、コンピュータグラフィックスに基づくデータを、ソース映像として、又は、ライブ映像、ライブアーカイブに保存された映像、及びコンピュータによって生成された映像の組み合わせとして生成することができる。幾つかの事例においては、映像ソースがビデオカメラである場合は、ソースデバイス及び行先デバイスは、いわゆるカメラフォン又はビデオフォンを形成することができる。しかしながら、上記のように、本開示において説明される技法は、映像コーディング全般に適用することができ、及び、無線及び/又は有線の用途に適用することができる。各事例において、キャプチャされた、予めキャプチャされた、又はコンピュータによって生成される映像は、映像符号器によって符号化することができる。符号化された映像情報は、出力インタフェースによってコンピュータによって読み取り可能な媒体上に出力することができる。
[00152]注記されるように、コンピュータによって読み取り可能な媒体は、遷移的媒体、例えば、無線放送又は有線ネットワーク送信、又は記憶媒体(すなわち、非一時的な記憶媒体)、例えば、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu−rayディスク、又はその他のコンピュータによって読み取り可能な媒体、を含むことができる。幾つかの例においては、ネットワークサーバ(示されていない)は、ソースデバイスから符号化された映像データを受信し、例えば、ネットワーク送信を介して行先デバイスに符号化された映像データを提供することができる。同様に、媒体生産ファシリティ、例えば、ディスクスタンピングファシリティ、のコンピューティングデバイスは、符号化された映像データをソースデバイス12から受信し、符号化された映像データが入ったディスクを生産することができる。従って、様々な例において、コンピュータによって読み取り可能な媒体は、様々な形態の1つ以上のコンピュータによって読み取り可能な媒体を含むと理解することができる。
[00153]行先デバイスの入力インタフェースは、コンピュータによって読み取り可能な媒体から情報を受信する。コンピュータによって読み取り可能な媒体の情報は、映像符号器によって定義された構文情報を含むことができ、それは、ブロック及びその他のコーディングされたユニット、例えば、ピクチャのグループ(GOP)、の特徴及び/又は処理を記述する構文要素を含む。表示装置は、復号された映像データをユーザに表示し、及び、様々な表示装置、例えば、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、又は他のタイプの表示装置、を含むことができる。本発明の様々な実施形態が説明されている。これらの及びその他の実施形態は、以下の請求項の範囲内である。
[0154]本発明の様々な実施形態が説明されている。これらの及びその他の実施形態は、以下の請求項の範囲内である。
[0154]本発明の様々な実施形態が説明されている。これらの及びその他の実施形態は、以下の請求項の範囲内である。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
映像情報をコーディングするための装置であって、
コーディングされるべき現在のピクチャに関する層間基準ピクチャに関連する映像情報を格納するように構成されたメモリと、
前記メモリに動作可能な形で結合され、
前記層間基準ピクチャの再サンプリングされたバージョンのある領域を定義するように構成される複数の層間基準オフセットに関連する情報を受信するように構成され、ここにおいて、前記領域は、前記現在のピクチャの予測を生成するために使用され、及び、前記複数の層間基準オフセットは、現在のピクチャに関して各々指定される左オフセットと、上オフセットと、右オフセットと、下オフセットと、を含み、
前記複数の層間基準オフセットに少なくとも部分的に基づいて前記層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成され、及び
前記層間基準ピクチャを再サンプリングすると決定したことに応答して、前記層間基準ピクチャを再サンプリングするように構成されたプロセッサと、を備える、装置。
[C2]
前記左オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの左上ルマサンプルと前記現在のピクチャの左上ルマサンプルとの間の水平オフセットであり、
前記上オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの左上ルマサンプルと前記現在のピクチャの前記左上ルマサンプルとの間の垂直オフセットであり、
前記右オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの右下ルマサンプルと前記現在のピクチャの右下ルマサンプルとの間の水平オフセットであり、及び
前記下オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記右下ルマサンプルと前記現在のピクチャの前記右下ルマサンプルとの間の垂直オフセットであり、
各オフセットは、ルマサンプルの単位で定義されるC1に記載の装置。
[C3]
前記プロセッサは、
前記現在のピクチャの幅及び前記層間基準ピクチャの幅が等しいかどうかと、
前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成されるC1に記載の装置。
[C4]
前記プロセッサは、前記条件がすべて真であるときには前記層間基準ピクチャが再サンプリングされるべきでないと決定するように構成されるC3に記載の装置。
[C5]
前記プロセッサは、前記条件のうちの少なくとも1つが真でないときには前記層間基準ピクチャが再サンプリングされるべきであると決定するように構成されるC3に記載の装置。
[C6]
前記プロセッサは、
前記層間基準ピクチャの幅及び前記層間基準ピクチャの前記再サンプリングされたバージョンの幅が等しいかどうかと、
前記層間基準ピクチャの高さ及び前記層間基準ピクチャの前記再サンプリングされたバージョンの高さが等しいかどうかと、
前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成され、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記幅は、前記現在のピクチャの前記幅から前記左オフセット及び前記右オフセットを減じることによって入手され、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記高さは、前記現在のピクチャの前記高さから前記上オフセット及び前記下オフセットを減じることによって入手されるC1に記載の装置。
[C7]
前記プロセッサは、前記条件がすべて真であるときには前記層間基準ピクチャが再サンプリングされるべきでないと決定するように構成されるC6に記載の装置。
[C8]
前記プロセッサは、前記条件のうちの少なくとも1つが真でないときには前記層間基準ピクチャが再サンプリングされるべきであると決定するように構成されるC6に記載の装置。
[C9]
前記プロセッサは、前記複数の層間基準オフセット及び前記層間基準ピクチャのピクチャフォーマットに基づいて前記層間基準ピクチャを再サンプリングすべきかどうかを決定するようにさらに構成され、前記ピクチャフォーマットは、空間解像度、クロマフォーマット、又はビット深度のうちの1つ以上を含むC1に記載の装置。
[C10]
前記プロセッサは、
前記現在のピクチャの幅及び層間基準ピクチャの幅が等しいかどうかと、
前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、
前記現在のピクチャのルマコンポーネントのビット深度及び前記層間基準ピクチャのルマコンポーネントのビット深度が等しいかどうかと、
前記現在のピクチャのクロマコンポーネントのビット深度及び前記層間基準ピクチャのクロマコンポーネントのビット深度が等しいかどうかと、
前記現在のピクチャのクロマフォーマット及び前記層間基準ピクチャのクロマフォーマットが等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成されるC1に記載の装置。
[C11]
前記プロセッサは、前記条件がすべて真であるときには前記層間基準ピクチャが再サンプリングされるべきでないと決定するように構成されるC10に記載の装置。
[C12]
前記プロセッサは、前記条件のうちの少なくとも1つが真でないときには前記層間基準ピクチャが再サンプリングされるべきであると決定するように構成されるC10に記載の装置。
[C13]
前記プロセッサは、前記層間基準ピクチャをアップサンプリング、ダウンサンプリング、ビットシフト、クロッピング、又はパディングすることのうちの1つ以上を行うことによって前記層間基準ピクチャを再サンプリングするように構成されるC1に記載の装置。
[C14]
前記プロセッサは、前記再サンプリングされた層間基準ピクチャを前記現在のピクチャの基準ピクチャリストに加えるようにさらに構成されるC1に記載の装置。
[C15]
前記プロセッサは、前記層間基準ピクチャが再サンプリングされるべきではないと決定されたことに応答して、前記層間基準ピクチャを再サンプリングせずに前記層間基準ピクチャを前記現在のピクチャの基準ピクチャリストに加えるようにさらに構成されるC1に記載の装置。
[C16]
前記装置は、デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、及び映像ストリーミングデバイスのうちの1つ以上から成るグループから選択されるC1に記載の装置。
[C17]
映像情報をコーディングする方法であって、
コーディングされるべき現在のピクチャに関する層間基準ピクチャに関連する映像情報を格納することと、
前記層間基準ピクチャの再サンプリングされたバージョンのある領域を定義するように構成される複数の層間基準オフセットに関連する情報を受信することであって、前記領域は、前記現在のピクチャの予測を生成するために使用され、及び、前記複数の層間基準オフセットは、前記現在のピクチャに関して各々指定される左オフセットと、上オフセットと、右オフセットと、下オフセットと、を含むことと、
前記複数の層間基準オフセットに少なくとも部分的に基づいて前記層間基準ピクチャを再サンプリングすべきかどうかを決定することと、
前記層間基準ピクチャを再サンプリングすると決定したことに応答して、前記層間基準ピクチャを再サンプリングすることと、を備える、方法。
[C18]
前記左オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの左上ルマサンプルと前記現在のピクチャの左上ルマサンプルとの間の水平オフセットであり、
前記上オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記左上ルマサンプルと前記現在のピクチャの前記左上ルマサンプルとの間の垂直オフセットであり、
前記右オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの右下ルマサンプルと前記現在のピクチャの右下ルマサンプルとの間の水平オフセットであり、及び
前記下オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記右下ルマサンプルと前記現在のピクチャの前記右下ルマサンプルとの間の垂直オフセットであり、
各オフセットは、ルマサンプルの単位で定義されるC17に記載の方法。
[C19]
前記層間基準ピクチャを再サンプリングすべきかどうかを前記決定することは、
前記現在のピクチャの幅及び前記層間基準ピクチャの幅が等しいかどうかと、
前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を含む条件を決定することを備えるC17に記載の方法。
[C20]
前記条件がすべて真であるときには前記層間基準ピクチャが再サンプリングされるべきでないと決定されるC19に記載の方法。
[C21]
前記条件のうちの少なくとも1つが真でないときには前記層間基準ピクチャが再サンプリングされるべきであると決定されるC19に記載の方法。
[C22]
前記層間基準ピクチャを再サンプリングすべきかどうかを前記決定することは、
層間基準ピクチャの幅及び前記層間基準ピクチャの前記再サンプリングされたバージョンの幅が等しいかどうかと、
前記層間基準ピクチャの高さ及び前記層間基準ピクチャの前記再サンプリングされたバージョンの高さが等しいかどうかと、
前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を含む条件を決定することを備え、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記幅は、前記現在のピクチャの前記幅から前記左オフセット及び前記右オフセットを減じることによって入手され、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記高さは、前記現在のピクチャの前記高さから前記上オフセット及び前記下オフセットを減じることによって入手されるC17に記載の方法。
[C23]
前記条件がすべて真であるときには前記層間基準ピクチャが再サンプリングされるべきでないと決定されるC22に記載の方法。
[C24]
前記条件のうちの少なくとも1つが真でないときには前記層間基準ピクチャが再サンプリングされるべきであると決定されるC22に記載の方法。
[C25]
前記層間基準ピクチャを再サンプリングすべきかどうかを前記決定することは、前記複数の層間基準オフセット及び前記層間基準ピクチャのピクチャフォーマットに基づき、前記ピクチャフォーマットは、空間解像度、クロマフォーマット、又はビット深度のうちの1つ以上を含むC17に記載の方法。
[C26]
前記プロセッサは、
前記現在のピクチャの幅及び層間基準ピクチャの幅が等しいかどうかと、
前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、
前記現在のピクチャのルマコンポーネントのビット深度及び前記層間基準ピクチャのルマコンポーネントのビット深度が等しいかどうかと、
前記現在のピクチャのクロマコンポーネントのビット深度及び前記層間基準ピクチャのクロマコンポーネントのビット深度が等しいかどうかと、
前記現在のピクチャのクロマフォーマット及び前記層間基準ピクチャのクロマフォーマットが等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかに関する決定を行うように構成されるC17に記載の方法。
[C27]
前記条件がすべて真であるときには前記層間基準ピクチャが再サンプリングされるべきでないと決定されるC26に記載の方法。
[C28]
前記条件のうちの少なくとも1つが真でないときには前記層間基準ピクチャが再サンプリングされるべきであると決定されるC26に記載の方法。
[C29]
前記プロセッサは、前記層間基準ピクチャをアップサンプリング、ダウンサンプリング、ビットシフト、クロッピング、又はパディングすることのうちの1つ以上を行うことによって前記層間基準ピクチャを再サンプリングするように構成されるC17に記載の方法。
[C30]
非一時的なコンピュータによって読み取り可能な媒体であって、コンピュータハードウェアを備えるプロセッサで実行されたときに、
コーディングされるべき現在のピクチャに関する層間基準ピクチャに関連する映像情報を格納することを前記プロセッサに行わせる命令と、
前記層間基準ピクチャの再サンプリングされたバージョンのある領域を定義するように構成される複数の層間基準オフセットに関連する情報を受信することを前記プロセッサに行わせる命令であって、前記領域は、前記現在のピクチャの予測を生成するために使用され、及び、前記複数の層間基準オフセットは、前記現在のピクチャに関して各々指定される左オフセットと、上オフセットと、右オフセットと、下オフセットと、を含む命令と、
前記複数の層間基準オフセットに少なくとも部分的に基づいて前記層間基準ピクチャを再サンプリングすべきかどうかを決定することを前記プロセッサに行わせる命令と、
前記層間基準ピクチャを再サンプリングすると決定したことに応答して、前記層間基準ピクチャを再サンプリングすることを前記プロセッサに行わせる命令と、を備える、非一時的なコンピュータによって読み取り可能な媒体。
[C31]
前記現在のピクチャの幅及び前記層間基準ピクチャの幅が等しいかどうかと、
前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定することを前記プロセッサに行わせる命令をさらに備えるC30に記載のコンピュータによって読み取り可能な媒体。
[C32]
前記層間基準ピクチャの幅及び前記層間基準ピクチャの前記再サンプリングされたバージョンの幅が等しいかどうかと、
前記層間基準ピクチャの高さ及び前記層間基準ピクチャの前記再サンプリングされたバージョンの高さが等しいかどうかと、
前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定することを前記プロセッサに行わせる命令をさらに備え、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記幅は、前記現在のピクチャの前記幅から前記左オフセット及び前記右オフセットを減じることによって入手され、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記高さは、前記現在のピクチャの前記高さから前記上オフセット及び前記下オフセットを減じることによって入手されるC30に記載のコンピュータによって読み取り可能な媒体。
[C33]
前記現在のピクチャの幅及び層間基準ピクチャの幅が等しいかどうかと、
前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、
前記現在のピクチャのルマコンポーネントのビット深度及び前記層間基準ピクチャのルマコンポーネントのビット深度が等しいかどうかと、
前記現在のピクチャのクロマコンポーネントのビット深度及び前記層間基準ピクチャのクロマコンポーネントのビット深度が等しいかどうかと、
前記現在のピクチャのクロマフォーマット及び前記層間基準ピクチャのクロマフォーマットが等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定することを前記プロセッサに行わせる命令をさらに備えるC30に記載のコンピュータによって読み取り可能な媒体。
[C34]
映像情報をコーディングするための装置であって、
コーディングされるべき現在のピクチャに関する層間基準ピクチャに関連する映像情報を格納するための手段と、
前記層間基準ピクチャの再サンプリングされたバージョンのある領域を定義するように構成される複数の層間基準オフセットに関連する情報を受信するための手段であって、前記領域は、前記現在のピクチャの予測を生成するために使用され、及び、前記複数の層間基準オフセットは、前記現在のピクチャに関して各々指定される左オフセットと、上オフセットと、右オフセットと、下オフセットと、を含む手段と、
前記複数の層間基準オフセットに少なくとも部分的に基づいて前記層間基準ピクチャを再サンプリングすべきかどうかを決定するための手段であって、前記層間基準ピクチャを再サンプリングすると決定したことに応答して、前記層間基準ピクチャを再サンプリングするように構成され手段と、を備える、装置。
[C35]
前記層間基準ピクチャを再サンプリングすべきかどうかを決定するための前記手段は、
前記現在のピクチャの幅及び前記層間基準ピクチャの幅が等しいかどうかと、
前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成されるC34に記載の装置。
[C36]
前記層間基準ピクチャを再サンプリングすべきかどうかを決定するための前記手段は、
前記層間基準ピクチャの幅及び前記層間基準ピクチャの前記再サンプリングされたバージョンの幅が等しいかどうかと、
前記層間基準ピクチャの高さ及び前記層間基準ピクチャの前記再サンプリングされたバージョンの高さが等しいかどうかと、
前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成され、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記幅は、前記現在のピクチャの前記幅から前記左オフセット及び前記右オフセットを減じることによって入手され、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記高さは、前記現在のピクチャの前記高さから前記上オフセット及び前記下オフセットを減じることによって入手されるC34に記載の装置。
[C37]
前記層間基準ピクチャを再サンプリングすべきかどうかを決定するための前記手段は、
前記現在のピクチャの幅及び層間基準ピクチャの幅が等しいかどうかと、
前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、
前記現在のピクチャのルマコンポーネントのビット深度及び前記層間基準ピクチャのルマコンポーネントのビット深度が等しいかどうかと、
前記現在のピクチャのクロマコンポーネントのビット深度及び前記層間基準ピクチャのクロマコンポーネントのビット深度が等しいかどうかと、
前記現在のピクチャのクロマフォーマット及び前記層間基準ピクチャのクロマフォーマットが等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成されるC34に記載の装置。

Claims (37)

  1. 映像情報をコーディングするための装置であって、
    コーディングされるべき現在のピクチャに関する層間基準ピクチャに関連する映像情報を格納するように構成されたメモリと、
    前記メモリに動作可能な形で結合され、
    前記層間基準ピクチャの再サンプリングされたバージョンのある領域を定義するように構成される複数の層間基準オフセットに関連する情報を受信するように構成され、ここにおいて、前記領域は、前記現在のピクチャの予測を生成するために使用され、及び、前記複数の層間基準オフセットは、現在のピクチャに関して各々指定される左オフセットと、上オフセットと、右オフセットと、下オフセットと、を含み、
    前記複数の層間基準オフセットに少なくとも部分的に基づいて前記層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成され、及び
    前記層間基準ピクチャを再サンプリングすると決定したことに応答して、前記層間基準ピクチャを再サンプリングするように構成されたプロセッサと、を備える、装置。
  2. 前記左オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの左上ルマサンプルと前記現在のピクチャの左上ルマサンプルとの間の水平オフセットであり、
    前記上オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの左上ルマサンプルと前記現在のピクチャの前記左上ルマサンプルとの間の垂直オフセットであり、
    前記右オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの右下ルマサンプルと前記現在のピクチャの右下ルマサンプルとの間の水平オフセットであり、及び
    前記下オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記右下ルマサンプルと前記現在のピクチャの前記右下ルマサンプルとの間の垂直オフセットであり、
    各オフセットは、ルマサンプルの単位で定義される請求項1に記載の装置。
  3. 前記プロセッサは、
    前記現在のピクチャの幅及び前記層間基準ピクチャの幅が等しいかどうかと、
    前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
    前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成される請求項1に記載の装置。
  4. 前記プロセッサは、前記条件がすべて真であるときには前記層間基準ピクチャが再サンプリングされるべきでないと決定するように構成される請求項3に記載の装置。
  5. 前記プロセッサは、前記条件のうちの少なくとも1つが真でないときには前記層間基準ピクチャが再サンプリングされるべきであると決定するように構成される請求項3に記載の装置。
  6. 前記プロセッサは、
    前記層間基準ピクチャの幅及び前記層間基準ピクチャの前記再サンプリングされたバージョンの幅が等しいかどうかと、
    前記層間基準ピクチャの高さ及び前記層間基準ピクチャの前記再サンプリングされたバージョンの高さが等しいかどうかと、
    前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成され、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記幅は、前記現在のピクチャの前記幅から前記左オフセット及び前記右オフセットを減じることによって入手され、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記高さは、前記現在のピクチャの前記高さから前記上オフセット及び前記下オフセットを減じることによって入手される請求項1に記載の装置。
  7. 前記プロセッサは、前記条件がすべて真であるときには前記層間基準ピクチャが再サンプリングされるべきでないと決定するように構成される請求項6に記載の装置。
  8. 前記プロセッサは、前記条件のうちの少なくとも1つが真でないときには前記層間基準ピクチャが再サンプリングされるべきであると決定するように構成される請求項6に記載の装置。
  9. 前記プロセッサは、前記複数の層間基準オフセット及び前記層間基準ピクチャのピクチャフォーマットに基づいて前記層間基準ピクチャを再サンプリングすべきかどうかを決定するようにさらに構成され、前記ピクチャフォーマットは、空間解像度、クロマフォーマット、又はビット深度のうちの1つ以上を含む請求項1に記載の装置。
  10. 前記プロセッサは、
    前記現在のピクチャの幅及び層間基準ピクチャの幅が等しいかどうかと、
    前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
    前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、
    前記現在のピクチャのルマコンポーネントのビット深度及び前記層間基準ピクチャのルマコンポーネントのビット深度が等しいかどうかと、
    前記現在のピクチャのクロマコンポーネントのビット深度及び前記層間基準ピクチャのクロマコンポーネントのビット深度が等しいかどうかと、
    前記現在のピクチャのクロマフォーマット及び前記層間基準ピクチャのクロマフォーマットが等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成される請求項1に記載の装置。
  11. 前記プロセッサは、前記条件がすべて真であるときには前記層間基準ピクチャが再サンプリングされるべきでないと決定するように構成される請求項10に記載の装置。
  12. 前記プロセッサは、前記条件のうちの少なくとも1つが真でないときには前記層間基準ピクチャが再サンプリングされるべきであると決定するように構成される請求項10に記載の装置。
  13. 前記プロセッサは、前記層間基準ピクチャをアップサンプリング、ダウンサンプリング、ビットシフト、クロッピング、又はパディングすることのうちの1つ以上を行うことによって前記層間基準ピクチャを再サンプリングするように構成される請求項1に記載の装置。
  14. 前記プロセッサは、前記再サンプリングされた層間基準ピクチャを前記現在のピクチャの基準ピクチャリストに加えるようにさらに構成される請求項1に記載の装置。
  15. 前記プロセッサは、前記層間基準ピクチャが再サンプリングされるべきではないと決定されたことに応答して、前記層間基準ピクチャを再サンプリングせずに前記層間基準ピクチャを前記現在のピクチャの基準ピクチャリストに加えるようにさらに構成される請求項1に記載の装置。
  16. 前記装置は、デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、及び映像ストリーミングデバイスのうちの1つ以上から成るグループから選択される請求項1に記載の装置。
  17. 映像情報をコーディングする方法であって、
    コーディングされるべき現在のピクチャに関する層間基準ピクチャに関連する映像情報を格納することと、
    前記層間基準ピクチャの再サンプリングされたバージョンのある領域を定義するように構成される複数の層間基準オフセットに関連する情報を受信することであって、前記領域は、前記現在のピクチャの予測を生成するために使用され、及び、前記複数の層間基準オフセットは、前記現在のピクチャに関して各々指定される左オフセットと、上オフセットと、右オフセットと、下オフセットと、を含むことと、
    前記複数の層間基準オフセットに少なくとも部分的に基づいて前記層間基準ピクチャを再サンプリングすべきかどうかを決定することと、
    前記層間基準ピクチャを再サンプリングすると決定したことに応答して、前記層間基準ピクチャを再サンプリングすることと、を備える、方法。
  18. 前記左オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの左上ルマサンプルと前記現在のピクチャの左上ルマサンプルとの間の水平オフセットであり、
    前記上オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記左上ルマサンプルと前記現在のピクチャの前記左上ルマサンプルとの間の垂直オフセットであり、
    前記右オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの右下ルマサンプルと前記現在のピクチャの右下ルマサンプルとの間の水平オフセットであり、及び
    前記下オフセットは、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記右下ルマサンプルと前記現在のピクチャの前記右下ルマサンプルとの間の垂直オフセットであり、
    各オフセットは、ルマサンプルの単位で定義される請求項17に記載の方法。
  19. 前記層間基準ピクチャを再サンプリングすべきかどうかを前記決定することは、
    前記現在のピクチャの幅及び前記層間基準ピクチャの幅が等しいかどうかと、
    前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
    前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を含む条件を決定することを備える請求項17に記載の方法。
  20. 前記条件がすべて真であるときには前記層間基準ピクチャが再サンプリングされるべきでないと決定される請求項19に記載の方法。
  21. 前記条件のうちの少なくとも1つが真でないときには前記層間基準ピクチャが再サンプリングされるべきであると決定される請求項19に記載の方法。
  22. 前記層間基準ピクチャを再サンプリングすべきかどうかを前記決定することは、
    層間基準ピクチャの幅及び前記層間基準ピクチャの前記再サンプリングされたバージョンの幅が等しいかどうかと、
    前記層間基準ピクチャの高さ及び前記層間基準ピクチャの前記再サンプリングされたバージョンの高さが等しいかどうかと、
    前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を含む条件を決定することを備え、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記幅は、前記現在のピクチャの前記幅から前記左オフセット及び前記右オフセットを減じることによって入手され、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記高さは、前記現在のピクチャの前記高さから前記上オフセット及び前記下オフセットを減じることによって入手される請求項17に記載の方法。
  23. 前記条件がすべて真であるときには前記層間基準ピクチャが再サンプリングされるべきでないと決定される請求項22に記載の方法。
  24. 前記条件のうちの少なくとも1つが真でないときには前記層間基準ピクチャが再サンプリングされるべきであると決定される請求項22に記載の方法。
  25. 前記層間基準ピクチャを再サンプリングすべきかどうかを前記決定することは、前記複数の層間基準オフセット及び前記層間基準ピクチャのピクチャフォーマットに基づき、前記ピクチャフォーマットは、空間解像度、クロマフォーマット、又はビット深度のうちの1つ以上を含む請求項17に記載の方法。
  26. 前記プロセッサは、
    前記現在のピクチャの幅及び層間基準ピクチャの幅が等しいかどうかと、
    前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
    前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、
    前記現在のピクチャのルマコンポーネントのビット深度及び前記層間基準ピクチャのルマコンポーネントのビット深度が等しいかどうかと、
    前記現在のピクチャのクロマコンポーネントのビット深度及び前記層間基準ピクチャのクロマコンポーネントのビット深度が等しいかどうかと、
    前記現在のピクチャのクロマフォーマット及び前記層間基準ピクチャのクロマフォーマットが等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかに関する決定を行うように構成される請求項17に記載の方法。
  27. 前記条件がすべて真であるときには前記層間基準ピクチャが再サンプリングされるべきでないと決定される請求項26に記載の方法。
  28. 前記条件のうちの少なくとも1つが真でないときには前記層間基準ピクチャが再サンプリングされるべきであると決定される請求項26に記載の方法。
  29. 前記プロセッサは、前記層間基準ピクチャをアップサンプリング、ダウンサンプリング、ビットシフト、クロッピング、又はパディングすることのうちの1つ以上を行うことによって前記層間基準ピクチャを再サンプリングするように構成される請求項17に記載の方法。
  30. 非一時的なコンピュータによって読み取り可能な媒体であって、コンピュータハードウェアを備えるプロセッサで実行されたときに、
    コーディングされるべき現在のピクチャに関する層間基準ピクチャに関連する映像情報を格納することを前記プロセッサに行わせる命令と、
    前記層間基準ピクチャの再サンプリングされたバージョンのある領域を定義するように構成される複数の層間基準オフセットに関連する情報を受信することを前記プロセッサに行わせる命令であって、前記領域は、前記現在のピクチャの予測を生成するために使用され、及び、前記複数の層間基準オフセットは、前記現在のピクチャに関して各々指定される左オフセットと、上オフセットと、右オフセットと、下オフセットと、を含む命令と、
    前記複数の層間基準オフセットに少なくとも部分的に基づいて前記層間基準ピクチャを再サンプリングすべきかどうかを決定することを前記プロセッサに行わせる命令と、
    前記層間基準ピクチャを再サンプリングすると決定したことに応答して、前記層間基準ピクチャを再サンプリングすることを前記プロセッサに行わせる命令と、を備える、非一時的なコンピュータによって読み取り可能な媒体。
  31. 前記現在のピクチャの幅及び前記層間基準ピクチャの幅が等しいかどうかと、
    前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
    前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定することを前記プロセッサに行わせる命令をさらに備える請求項30に記載のコンピュータによって読み取り可能な媒体。
  32. 前記層間基準ピクチャの幅及び前記層間基準ピクチャの前記再サンプリングされたバージョンの幅が等しいかどうかと、
    前記層間基準ピクチャの高さ及び前記層間基準ピクチャの前記再サンプリングされたバージョンの高さが等しいかどうかと、
    前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定することを前記プロセッサに行わせる命令をさらに備え、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記幅は、前記現在のピクチャの前記幅から前記左オフセット及び前記右オフセットを減じることによって入手され、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記高さは、前記現在のピクチャの前記高さから前記上オフセット及び前記下オフセットを減じることによって入手される請求項30に記載のコンピュータによって読み取り可能な媒体。
  33. 前記現在のピクチャの幅及び層間基準ピクチャの幅が等しいかどうかと、
    前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
    前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、
    前記現在のピクチャのルマコンポーネントのビット深度及び前記層間基準ピクチャのルマコンポーネントのビット深度が等しいかどうかと、
    前記現在のピクチャのクロマコンポーネントのビット深度及び前記層間基準ピクチャのクロマコンポーネントのビット深度が等しいかどうかと、
    前記現在のピクチャのクロマフォーマット及び前記層間基準ピクチャのクロマフォーマットが等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定することを前記プロセッサに行わせる命令をさらに備える請求項30に記載のコンピュータによって読み取り可能な媒体。
  34. 映像情報をコーディングするための装置であって、
    コーディングされるべき現在のピクチャに関する層間基準ピクチャに関連する映像情報を格納するための手段と、
    前記層間基準ピクチャの再サンプリングされたバージョンのある領域を定義するように構成される複数の層間基準オフセットに関連する情報を受信するための手段であって、前記領域は、前記現在のピクチャの予測を生成するために使用され、及び、前記複数の層間基準オフセットは、前記現在のピクチャに関して各々指定される左オフセットと、上オフセットと、右オフセットと、下オフセットと、を含む手段と、
    前記複数の層間基準オフセットに少なくとも部分的に基づいて前記層間基準ピクチャを再サンプリングすべきかどうかを決定するための手段であって、前記層間基準ピクチャを再サンプリングすると決定したことに応答して、前記層間基準ピクチャを再サンプリングするように構成され手段と、を備える、装置。
  35. 前記層間基準ピクチャを再サンプリングすべきかどうかを決定するための前記手段は、
    前記現在のピクチャの幅及び前記層間基準ピクチャの幅が等しいかどうかと、
    前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
    前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成される請求項34に記載の装置。
  36. 前記層間基準ピクチャを再サンプリングすべきかどうかを決定するための前記手段は、
    前記層間基準ピクチャの幅及び前記層間基準ピクチャの前記再サンプリングされたバージョンの幅が等しいかどうかと、
    前記層間基準ピクチャの高さ及び前記層間基準ピクチャの前記再サンプリングされたバージョンの高さが等しいかどうかと、
    前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成され、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記幅は、前記現在のピクチャの前記幅から前記左オフセット及び前記右オフセットを減じることによって入手され、前記層間基準ピクチャの前記再サンプリングされたバージョンの前記高さは、前記現在のピクチャの前記高さから前記上オフセット及び前記下オフセットを減じることによって入手される請求項34に記載の装置。
  37. 前記層間基準ピクチャを再サンプリングすべきかどうかを決定するための前記手段は、
    前記現在のピクチャの幅及び層間基準ピクチャの幅が等しいかどうかと、
    前記現在のピクチャの高さ及び前記層間基準ピクチャの高さが等しいかどうかと、
    前記左オフセット、前記上オフセット、前記右オフセット、及び前記下オフセットは各々0に等しいかどうかと、
    前記現在のピクチャのルマコンポーネントのビット深度及び前記層間基準ピクチャのルマコンポーネントのビット深度が等しいかどうかと、
    前記現在のピクチャのクロマコンポーネントのビット深度及び前記層間基準ピクチャのクロマコンポーネントのビット深度が等しいかどうかと、
    前記現在のピクチャのクロマフォーマット及び前記層間基準ピクチャのクロマフォーマットが等しいかどうかと、を備える条件を決定することによって前記層間基準ピクチャを再サンプリングすべきかどうかを決定するように構成される請求項34に記載の装置。
JP2016512046A 2013-05-03 2014-05-01 Shvcにおいて再サンプリングプロセスを条件付きで呼び出すこと Active JP6321139B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361819483P 2013-05-03 2013-05-03
US61/819,483 2013-05-03
US201361887235P 2013-10-04 2013-10-04
US61/887,235 2013-10-04
US14/266,658 US9813723B2 (en) 2013-05-03 2014-04-30 Conditionally invoking a resampling process in SHVC
US14/266,658 2014-04-30
PCT/US2014/036421 WO2014179605A1 (en) 2013-05-03 2014-05-01 Conditionally invoking a resampling process in shvc

Publications (3)

Publication Number Publication Date
JP2016521508A true JP2016521508A (ja) 2016-07-21
JP2016521508A5 JP2016521508A5 (ja) 2018-02-15
JP6321139B2 JP6321139B2 (ja) 2018-05-09

Family

ID=51841430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016512046A Active JP6321139B2 (ja) 2013-05-03 2014-05-01 Shvcにおいて再サンプリングプロセスを条件付きで呼び出すこと

Country Status (6)

Country Link
US (1) US9813723B2 (ja)
EP (1) EP2992678A1 (ja)
JP (1) JP6321139B2 (ja)
KR (1) KR101937522B1 (ja)
CN (1) CN105191315B (ja)
WO (1) WO2014179605A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2935303C (en) 2014-01-03 2023-04-11 Arris Enterprises Llc Conditionally parsed extension syntax for hevc extension processing
US20150264368A1 (en) * 2014-03-14 2015-09-17 Sony Corporation Method to bypass re-sampling process in shvc with bit-depth and 1x scalability
CA2943121C (en) * 2014-03-18 2020-09-08 Arris Enterprises Llc Scalable video coding using reference and scaled reference layer offsets
US9986251B2 (en) 2014-05-01 2018-05-29 Arris Enterprises Llc Reference layer and scaled reference layer offsets for scalable video coding
US10785492B2 (en) * 2014-05-30 2020-09-22 Arris Enterprises Llc On reference layer and scaled reference layer offset parameters for inter-layer prediction in scalable video coding
CN105187824A (zh) * 2014-06-10 2015-12-23 杭州海康威视数字技术股份有限公司 图像编码方法和装置以及图像解码方法和装置
EP3354029A4 (en) * 2015-09-23 2019-08-21 Nokia Technologies Oy METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR ENCODING 360-DEGREE PANORAMIC VIDEO
JP2018533286A (ja) 2015-09-23 2018-11-08 エルジー エレクトロニクス インコーポレイティド 画像の符号化/復号化方法及びこれのために装置
US20170105006A1 (en) * 2015-10-13 2017-04-13 Mediatek Inc. Method and Apparatus for Video Coding Using Master-Slave Prediction Structure
WO2020103944A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Sub-block based motion candidate selection and signaling
US11233988B2 (en) * 2019-05-17 2022-01-25 Qualcomm Incorporated Reference picture resampling and inter-coding tools for video coding
US11032548B2 (en) 2019-06-24 2021-06-08 Tencent America LLC Signaling for reference picture resampling
CN114208184A (zh) 2019-08-13 2022-03-18 北京字节跳动网络技术有限公司 基于子块的帧间预测中的运动精度
KR20220061108A (ko) * 2019-09-19 2022-05-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 레퍼런스 샘플 위치 유도
KR20220066045A (ko) * 2019-09-19 2022-05-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩의 스케일링 윈도우
CN114762330A (zh) * 2019-09-22 2022-07-15 北京字节跳动网络技术有限公司 视频的子图片编码和解码
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
CN114556918A (zh) 2019-10-12 2022-05-27 北京字节跳动网络技术有限公司 细化视频编解码工具的使用和信令
JP7414980B2 (ja) 2019-10-13 2024-01-16 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
AU2020418299A1 (en) * 2019-12-31 2022-07-28 Huawei Technologies Co., Ltd. Encoder, decoder and corresponding methods and apparatus
EP4307669A2 (en) * 2020-02-14 2024-01-17 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling activation in video coding
US20230058283A1 (en) * 2020-02-17 2023-02-23 Hyundai Motor Company Video encoding and decoding based on resampling chroma signals
WO2023110437A1 (en) * 2021-12-15 2023-06-22 Interdigital Vc Holdings France, Sas Chroma format adaptation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110243252A1 (en) * 2010-04-01 2011-10-06 Canon Kabushiki Kaisha Video image processing apparatus capable of processing hierarchically-encoded video data subjected to hierarchical coding and control method therefor
JP2012191655A (ja) * 2006-01-06 2012-10-04 Microsoft Corp 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
KR20060105407A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100679011B1 (ko) * 2004-07-15 2007-02-05 삼성전자주식회사 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
US8638862B2 (en) * 2005-03-18 2014-01-28 Sharp Laboratories Of America, Inc. Methods and systems for upsampling filter design
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
CN101176346A (zh) * 2005-04-01 2008-05-07 Lg电子株式会社 可对视频信号缩放地进行编码和解码的方法
US8660180B2 (en) * 2005-04-01 2014-02-25 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US8755434B2 (en) 2005-07-22 2014-06-17 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US7777812B2 (en) * 2005-11-18 2010-08-17 Sharp Laboratories Of America, Inc. Methods and systems for picture resampling
KR100754736B1 (ko) * 2006-02-10 2007-09-03 삼성전자주식회사 영상 수신 시스템에서 영상 프레임의 재생 방법 및 그 장치
AU2007318376B2 (en) * 2006-11-09 2010-07-01 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
KR101349836B1 (ko) * 2006-11-17 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
CN101401430B (zh) * 2006-11-17 2012-02-29 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1933564A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
EP2127395B1 (en) * 2007-01-10 2016-08-17 Thomson Licensing Video encoding method and video decoding method for enabling bit depth scalability

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191655A (ja) * 2006-01-06 2012-10-04 Microsoft Corp 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算
US20110243252A1 (en) * 2010-04-01 2011-10-06 Canon Kabushiki Kaisha Video image processing apparatus capable of processing hierarchically-encoded video data subjected to hierarchical coding and control method therefor

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A. K. RAMASUBRAMONIAN ET AL.: "Signaling of extended spatial scalability for SHVC", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-M309r1, JPN6018007890, 24 April 2013 (2013-04-24) *
JIANLE CHEN, ET AL.: "SHVC Test Model 1 (SHM 1)", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-L1007-v3, JPN6018007894, 26 March 2013 (2013-03-26), pages 3 - 18 *
VADIM SEREGIN, ET AL.: "SHVC HLS: Avoid resampling process for pictures used only for inter-layer motion prediction", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-N0108r2, JPN6018007891, 1 August 2013 (2013-08-01) *

Also Published As

Publication number Publication date
KR101937522B1 (ko) 2019-01-10
KR20160002898A (ko) 2016-01-08
CN105191315B (zh) 2019-01-01
CN105191315A (zh) 2015-12-23
US20140328398A1 (en) 2014-11-06
JP6321139B2 (ja) 2018-05-09
EP2992678A1 (en) 2016-03-09
US9813723B2 (en) 2017-11-07
WO2014179605A1 (en) 2014-11-06

Similar Documents

Publication Publication Date Title
JP6321139B2 (ja) Shvcにおいて再サンプリングプロセスを条件付きで呼び出すこと
JP6388929B2 (ja) マルチレイヤビデオコーディングにおけるレイヤ間予測タイプに関するビットストリーム制約を処理すること
JP6297670B2 (ja) ハイレベルシンタックスのみのスケーラブルビデオコーディングのための、レイヤ間参照ピクチャ制限
JP6285018B2 (ja) スケーリングファクタを用いた再サンプリング
JP6285020B2 (ja) コンポーネント間フィルタ処理
US9584805B2 (en) Prediction mode information downsampling in enhanced layer coding
JP6416203B2 (ja) レイヤ間ピクチャシグナリングおよび関連プロセス
JP6495268B2 (ja) パラメータセット内のビューidビット深度のシグナリング
JP6239612B2 (ja) スケーラブル映像コーディング及び3d映像コーディングに関する一般化された残差予測
JP6367309B2 (ja) 映像情報のスケーラブルコーディングのためのデバイス及び方法
JP6479776B2 (ja) リサンプリングプロセスにおける中間データのダイナミックレンジ制御

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171227

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180223

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180404

R150 Certificate of patent or registration of utility model

Ref document number: 6321139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250