JP2016100831A - 画像エンコード装置および画像エンコード方法 - Google Patents

Abstract

【課題】上位レイヤーが下位レイヤーのデコード結果を参照するような階層レイヤー構造を用いるビデオエンコードにおいて、エンコードされた画像データをデコードして特殊再生する際に、その特殊再生をスムースに行えるようにする。【解決手段】実施形態に係る画像エンコードでは、上位レイヤーが下位レイヤーのデコード結果を参照するような階層レイヤー構造において、レイヤー間のランダムアクセスポイントの時間的な位置合わせを行っている。【選択図】図７

Description

この発明の実施形態は、４Ｋ以上の解像度を持つＨＤ（High Definition）ビデオの画像をエンコードする装置および方法に関する。

現在、解像度２Ｋ（画素数が水平1440〜1920ｘ垂直1080）のＨＤビデオコンテンツが、地上デジタル放送および衛星デジタル放送（ＢＳおよびＣＳ）で提供されている。デジタル処理される画像の高画質化／高解像度化のトレンドは止まることがなく、現行の２Ｋ放送の４倍の解像度を持つ４Ｋ放送（画素数が水平3840×垂直2160；フレームレートが60Hz）の実用化が間近に来ている。さらに、近い将来、現行２Ｋ放送の１６倍の解像度を持つ８Ｋ放送（画素数が水平7680×垂直4320；フレームレートが120Hz）も実用化されようとしている。

しかし、現行放送体制を維持しながら４Ｋ放送／８Ｋ放送を導入しようとすると、広い放送帯域を新たに確保することが必要になる。また、現行放送事業者が４Ｋ／８Ｋ放送サービスを提供する場合、２Ｋと４Ｋ／８Ｋでは映像解像度およびエンコード方式が異なるため、番組制作コストおよびサービス運用コストの負担増が懸念される。

このような状況の中、ＳＨＶＣ（Scalable High efficiency Video Coding：スケーラブル高効率ビデオコーディング）を４Ｋ／８Ｋ放送に適用することが検討されている。ＳＨＶＣは、ＨＥＶＣ（High Efficiency Video Coding）規格第２版の中で拡張規定されたものである。ＨＥＶＣ規格第２版（ISO/IEC23008-2）は、２０１４年７月にＭＰＥＧで標準化された最新の映像エンコード方式標準である。ＳＨＶＣでは、ＭＰＥＧ−２ビデオのＨＤ信号の映像エンコード方式（スキーム）をベースとして用いることができ、ＭＰＥＧ−２ビデオのデコード画像を参照ピクチャとして４Ｋ／８Ｋ信号のＨＥＶＣエンコードに拡張利用できるようになっている。

ＳＨＶＣは階層エンコードの一種であり、基準となる圧縮映像（基準レイヤー：下位レイヤー）を利用して、解像度および／または色空間を拡張した圧縮映像（拡張レイヤー：上位レイヤー）を生成する。これにより、多くのストリームを作ることなく解像度変換などを行うことができる。

ところが、ＳＨＶＣでは各レイヤーのエンコード構造に関しては規定されていないため、レイヤー間で、ランダムアクセスポイントとなるピクチャ（ＨＥＶＣではＩＲＡＰ：Intra Random Access Point）の位置が時間的にずれていても構わない。しかし、デコーダ側で早送りなどの特殊再生を行う場合には、上位レイヤーが必要とする参照ピクチャを生成するために、下位レイヤーでリオーダリングを伴うデコード処理が必要となる。すると、各レイヤー間でＩＲＡＰの位置が時間的に合っている場合と比べて、より多くのフレームバッファが必要となり、特殊再生の処理時間も長くなる。

（なお、ＳＨＶＣでは、最下層となる基準レイヤーには任意のエンコード方式が許されている。基準レイヤーが例えばＭＰＥＧ−２ビデオの場合はIピクチャがＩＲＡＰに対応し、ＭＰＥＧ−４ ＡＶＣ（Ｈ．２６４）の場合はＩＤＲ（Instantaneous Decoding Refresh）がＩＲＡＰに対応する。）
高圧縮の映像データのランダムアクセスポイント（ＭＰＥＧ−２ではＩピクチャ）と、低圧縮の映像データのランダムアクセスポイントを同期させることにより、帯域の異なる２つの圧縮データのタイミングを合わせる従来技術がある（特許文献１）。

特開２０１０−９８６２７号公報

特許文献１には、圧縮率の異なるデータ間のランダムアクセスポイントの同期（タイミング合わせ）が記載されている。しかし、上位レイヤーが下位レイヤーのデコード結果を参照するような階層レイヤー構造において、レイヤー間のランダムアクセスポイントの時間的な位置合わせを行うことは、記載されていない。そうすると、上位レイヤーが下位レイヤーのデコード結果を参照するような階層レイヤー構造を持つストリームをデコードして特殊再生（早送り再生または早戻し再生）する場合、処理時間が長引いてスムースな特殊再生が阻害される恐れがある等の課題は、想到できない。

この発明の課題の１つは、上位レイヤーが下位レイヤーのデコード結果を参照するような階層レイヤー構造を用いる画像エンコード（ビデオエンコード）において、エンコードされた画像データをデコードして特殊再生する際に、その特殊再生をスムースに行えるようにすることである。

この発明の一実施形態では、上位レイヤーのエンコード時に下位レイヤーのデコード結果を参照するような階層レイヤー構造において、レイヤー間のランダムアクセスポイントの時間的な位置合わせを行っている。

図１は、ＳＨＶＣを利用した画像エンコード／デコードシステムの概要を説明する図である。 図２は、ＳＨＶＣエンコーダの一例を説明する図である。 図３は、ＳＨＶＣエンコーダの要部の内部構成を例示する図である。 図４は、基準レイヤー（または被参照レイヤー）のストリーム構造の一例を説明する図である。 図５は、ＳＨＶＣにおける拡張レイヤー（参照レイヤー）のストリーム構造の一例を説明する図である。 図６は、再生対象レイヤーのデコードに１つの被参照レイヤーのみが必要な場合のエンコード方法を説明する図である。 図７は、再生対象レイヤーのデコードに複数の被参照レイヤーが必要な場合のエンコード方法の一例を説明する図である。 図８は、再生対象レイヤーのデコードに複数の被参照レイヤーが必要な場合のエンコード方法の他例を説明する図である。 図９は、ＳＨＶＣエンコーダの別例を説明する図である。 図１０は、図１のデコーダ側に対応する構成を備えたデジタルＴＶの一例を説明する図である。

以下、図面を参照して実施形態の説明をする。始めに、ＳＨＶＣが適用されるエンコード／デコードシステムの一例を、簡単に説明しておく。

図１は、ＳＨＶＣを用いて４Ｋ映像情報をエンコードして伝送（送信）し、伝送された（受信した）４Ｋ映像情報をデコードする、画像エンコード／デコードシステムの一例を示す。まず、高解像度カメラ、コンピュータグラフィックス、および／または高解像度フィルムスキャナなどを用いて製作された、高画質な基映像１０を用意する。ここでは、４Ｋ＠６０ｐの映像（画素数が水平3840×垂直2160；フレームレートが60Hzのプログレッシブ映像）を基映像１０としている。より上位の高解像度コンテンツ（例えば８Ｋ＠１２０ｐ）があるときは、８Ｋ＠１２０ｐ映像そのもの、あるいは８Ｋ＠１２０ｐ映像を４Ｋ＠６０ｐにダウンコンバートしたものを基映像１０として用いてもよい。

４Ｋ＠６０ｐの基映像１０は、ダウンコンバータ２０２により、２Ｋ以下のインターレース映像（例えば１４４０＠６０ｉのＨＤ信号）にダウンコンバートされる。このＨＤ信号は、放送用ＭＰＥＧ−２エンコーダ２００により、所定のデジタル放送規格（日本ではＡＲＩＢ規格：Association of Radio Industries and Business STANDARD）に適合した圧縮データにエンコードされる。この圧縮データ（１４４０＠６０ｉのＨＤ信号）は、既存の地上デジタルＨＤ信号と互換性がある。

エンコードされた１４４０＠６０ｉのＨＤ信号は、ＭＰＥＧ−２デコーダ２０４でリアルタイムデコードされる。そのデコード画像（１４４０＠６０ｉ）は、アップコンバータ２０６により、４Ｋ＠６０ｐにアップコンバートされる。なお、ＳＨＶＣで規定されているフィルタを用いたアップコンバートも可能である。１４４０→３８４０の変換に対応するフィルタはＳＨＶＣにないため、１４４０＠６０ｉ→１９２０＠６０ｐの変換は、ＳＨＶＣエンコーダおよびＳＨＶＣでコーダの外部で行う。

ＳＨＶＣエンコーダ２０は、アップコンバートされた４Ｋ＠６０ｐを参照しながら基映像（４Ｋ＠６０ｐ）１０をＳＨＶＣエンコードする。ここでＳＨＶＣエンコードされたデータは、基映像（４Ｋ＠６０ｐ）１０には存在するがロッシーなデータ処理プロセスで抜け落ちてしまった情報分（高精細情報分、色空間拡張分など）を、ＨＥＶＣエンコードしたデータとなる。（このロッシーなデータ処理プロセスには、ＭＰＥＧ−２のエンコード／デコードプロセスおよびダウンコンバート／アップコンバートプロセスが含まれる。）
ＳＨＶＣエンコーダ２０でエンコードしたデータの情報量からは、ＭＰＥＧ−２エンコーダ２００でエンコードした情報量の分が、削り取られている。そのため、ＳＨＶＣエンコードしたデータの伝送に必要なビットレートは、小さくなる。図１の例では、ＭＰＥＧ−２エンコードした圧縮データ（１４４０＠６０ｉ）伝送に１４Ｍｂｐｓ使い、そのＭＰＥＧ−２圧縮データに対応するＳＨＶＣエンコードデータの伝送に１０Ｍｂｐｓ使っている。

ＭＰＥＧ−２エンコードした圧縮データ（１４４０＠６０ｉ）１２は、放送電波（または通信回線）を介して受信側のＭＰＥＧ−２デコーダ３００に送り込まれる。ＭＰＥＧ−２デコーダ３００でデコードしたＨＤ信号は、１４４０＠６０ｉの地上デジタル映像１６として表示できる。

また、ＳＨＶＣエンコードされたデータ（高精細情報分、色空間拡張分など）１４は、放送電波（または通信回線）を介して受信側のＳＨＶＣデコーダ３０に送り込まれる。それと並行して、ＭＰＥＧ−２デコーダでデコードしたＨＤ信号（１４４０＠６０ｉ）は、アップコンバータ３０６により、４Ｋ＠６０ｐにアップコンバートされる。なお、ＳＨＶＣで規定されているフィルタを用いたアップコンバートも可能である。１４４０→３８４０の変換に対応するフィルタはＳＨＶＣにないため、１４４０＠６０ｉ→１９２０＠６０ｐの変換は、ＳＨＶＣエンコーダおよびＳＨＶＣでコーダの外部で行う。

ＳＨＶＣデコーダ３０は、アップコンバートされた４Ｋ＠６０ｐを参照しながら、ＳＨＶＣエンコードされたデータ（高精細情報分、色空間拡張分など）をＳＨＶＣデコードする。ここでＳＨＶＣデコードされたデータは、ＭＰＥＧ−２デコーダ３００でデコードされたＨＤ信号の情報分に、ＭＰＥＧ−２のエンコード／デコードプロセスで抜け落ちてしまった情報分（高精細情報分、色空間拡張分など）を付加したものとなる。これにより、基映像１０と略同じ画質の映像（４Ｋ＠６０ｐ）１８が復元される。（ロスレスなエンコード／デコードシステムではないので１００％正確には復元されないが、視覚上は、基映像１０に非常に近い映像１８が復元される。）
なお、図１の図解ではＳＨＶＣデータ１４の伝送ラインが１本で示されている。しかし、そこで伝送する情報の内容によって、論理的または物理的に複数の、ＳＨＶＣデータ伝送ラインを設けることができる。

図１のシステム構成は、エンコードされたデータのビットレートが高くなる点を除き、基映像１０が８Ｋ解像度の場合も同様である。あるいは、図１のシステム構成は、エンコードされたデータのビットレートの違いを除けば（１９２０＠６０ｉのＨＤ信号伝送に２０Ｍｂｐｓのビットレートを用い、ＳＨＶＣデータの信号伝送に１０〜１４Ｍｐｂｓのビットレートを用いるなど）、基映像１０が１９２０＠６０ｉの衛星デジタル放送システムにも適用できる。

なお、図１のＭＰＥＧ−２エンコードデータとＳＨＶＣエンコードデータをマルチプレクスしたストリームをデジタルレコーダ（図示せず）でストリームレコーディングし、レコーディングしたストリームの再生ストリームをデマルチプレクスして図１のＭＰＥＧ−２デコーダとＳＨＶＣデコーダに入力するような構成も、可能である。

また、ＭＰＥＧ−２のＨＤ信号だけをデジタルレコーダで記録しておき、対応するＳＨＶＣエンコードデータは、例えば４Ｋ映像を再生したい時に通信回線経由で別途入手（購入）することも考えられる（入手したＳＨＶＣデータを一旦記録し、それを記録済みＨＤ信号と同時並行的に読み出して再生デコードするなど）。

さらに、図１のＭＰＥＧ−２エンコードデータを無料放送（スクランブルなし）し、ＳＨＶＣエンコードデータを有料放送（スクランブルあり）とすることで、有料放送契約者だけ４Ｋ映像（または８Ｋ映像）を楽しめるようなシステムの構築も可能である。

また、図１のＭＰＥＧ−２エンコードデータとＳＨＶＣエンコードデータを、ＭＰＥＧ−ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP:ISO/IEC DIS 23009-1）を利用してインターネット配信することも可能である。

図２は、ＳＨＶＣエンコーダ２０の具体例を説明する図である。ここでは、基映像１０として８Ｋの超高精細映像を用い、この８Ｋ映像を基にして基準レイヤーストリーム（例えば２ＫのＨＤ信号）と２つの拡張レイヤーストリーム（例えば４Ｋ信号および８Ｋ信号）を生成する場合を説明する（ここでは説明を簡素化するため、フレームレートは仮に６０ｐで統一し、フレームレートの変換操作はないものとしておく）。図２の構成は、再生対象レイヤー（拡張レイヤーの１つ）のデコードに１以上の被参照レイヤー（他の拡張レイヤーおよび／または基準レイヤー）が必要な場合に対応できる構成を示している。

図２の例において、８Ｋの基映像１０はダウンコンバータ２０２により２Ｋ信号にダウンコンバートされる。ダウンコンバートされた２Ｋ信号は、任意の符号化方式（例えば公知のＨＥＶＣ、ＭＰＥＧ−４ ＡＶＣ、またはＭＰＥＧ−２ビデオ）でエンコードされ、下位の基準レイヤーストリームＳ１となる。

基準レイヤーのエンコード処理と同時並行して、８Ｋの基映像１０はダウンコンバータ２１２により４Ｋ信号にダウンコンバートされ、エンコーダ２００でエンコードされた２Ｋ信号はデコード後にアップコンバータ２１６で４Ｋ信号にアップコンバートされる。ダウンコンバータ２１２でダウンコンバートされた４Ｋ信号は、アップコンバータ２１６でアップコンバートされた４Ｋ信号のデコード画像を参照ピクチャとして、ＨＥＶＣエンコーダ２１０でエンコードされる。こうしてエンコードされた４Ｋ信号のデータストリームが、中位の拡張レイヤーストリームＳ２となる。

中位拡張レイヤーのエンコード処理と同時並行して、エンコーダ２１０でエンコードされた４Ｋ信号はデコード後にアップコンバータ２２６で８Ｋ信号にアップコンバートされる。８Ｋの基映像１０は、アップコンバータ２２６でアップコンバートされた８Ｋ信号のデコード画像を参照ピクチャとして、ＨＥＶＣエンコーダ２２０でエンコードされる。こうしてエンコードされた８Ｋ信号のデータストリームが、上位の拡張レイヤーストリームＳ３となる。

なお、図２のＳＨＶＣエンコーダ２０を図１の実施形態に適用する場合（再生対象レイヤーのデコードに必要な被参照レイヤーが１つの場合）は、ＨＥＶＣエンコーダ２２０を省略できる（基映像１０が４Ｋの場合はダウンコンバータ２１２も省略可）。

あるいは、ＳＨＶＣエンコーダ２２０は、基準レイヤーのデコード画像をアップコンバートした画像を参照して基映像１０をエンコードするように構成してもよい。

また、図２のように３つ以上のエンコーダユニットを備える構成では、エンコーダユニットの１つ（例えばＨＥＶＣエンコーダ２１０）を４Ｋの輝度成分エンコードに利用し、他のエンコーダユニット（例えばＨＥＶＣエンコーダ２２０）を４Ｋの色空間成分エンコードに利用する、といった応用も可能である。

図３は、ＳＨＶＣエンコーダ２０の要部の内部構成を例示する図である。この構成において、参照ピクチャバッファ（フレームメモリ）２０１２には、下位レイヤーからのデコード画像が、リアルタイムで更新書き込みされるようになっている。参照ピクチャバッファ２０１２に書き込まれる画像データは、変換部２１６により、解像度が符号化対象画像と同等になるような変換処理を受けたものである。

符号化対象画像（基映像またはその変換映像の画像）のデータは、減算部２００２を介して直行変換／量子化部２００４に送られる。直行変換され量子化された画像データは、逆直行変換／逆量子化部２００６で変換／量子化前の状態に戻され、戻された画像データは、加算部２００８とループフィルタ２０１０を介して参照ピクチャバッファ２０１２に書き加えられる。参照ピクチャバッファ２０１２から読み出した画像データを用いて、画面内予測部２０１４で画面内予測が行われ、動き補償予測部２０１６で動き補償予測が行われる。画面内予測のデータまたは動き補償予測のデータは、加算部２００８で変換／量子化前の画像データに加算され、減算部２００２で符号化対象画像のデータから減算される。この減算処理において、符号化対象画像の情報量は、通常のＨＥＶＣエンコードよりも、下位レイヤーからのデコード画像の情報量に対応する分、減らすことができる。

減算部２００２で情報量が減らされた画像データは、直行変換／量子化部２００４に送られる。ここで直行変換され量子化された画像データは、可変長符号化部２０１８でエントロピー符号化され、拡張レイヤーのストリームとして出力される。

エントロピー符号化されたストリームの画像は、適宜、デコーダ２０２０でデコードされ、外部出力される。この外部出力されるデコード画像は、より上位のレイヤーでＳＨＶＣエンコードする際の参照ピクチャ生成に、利用できる。

図３のＳＨＶＣエンコーダ２１０の内部構成は、下位レイヤーからのデコード画像を参照ピクチャバッファ２０１２（フレームメモリ）で用いる点と、可変長符号化部２０１８でエントロピー符号化した画像をデコーダ２０２０でデコードして外部出力する点を除き、公知のＨＥＶＣエンコーダの内部構成と同等である。

図４は、基準レイヤー（または被参照レイヤー）のストリーム構造を、ＨＥＶＣ（H.265）のビットストリームを例にとって説明する図である。ビットストリームは1以上のシーケンスＣＳＶ（Coded Video Sequence）の並びと、ビットストリームの境界を示すＥｏＢ（End of Bitstream sequence NAL unit）で構成される。各ＣＳＶは、1以上のピクチャ群ＧＯＰ（Group Of Picture）の並びと、シーケンスの境界を示すＥｏＳ（End of Sequence NAL unit）で構成される。なお、ＨＥＶＣではＧＯＰという概念を導入していないが、ここでは、ＭＰＥＧ−２からのアナロジーで、仮にＧＯＰという言葉を用いている。

各ＧＯＰは先頭にＩＲＡＰ（Intra Random Access Point）のアクセスユニットＩＲＡＰ＿ＡＵが配置され、その後に複数のＬＰ（Leading Picture）アクセスユニットと複数のＴＰ（Trailing Picture）アクセスユニットが並んでいる。ＩＲＡＰ＿ＡＵは、ランダムアクセスポイントとなるアクセスユニットである。ＬＰアクセスユニット（ＬＰ＿ＡＵ）は、直前のＩＲＡＰ＿ＡＵよりも表示時刻が早いアクセスユニットである。ＬＰ＿ＡＵは、参照ピクチャとしてＩＲＡＰ＿ＡＵよりも復号時刻が早いアクセスユニットを参照することが可能であり、この時、デコーダがＩＲＡＰ＿ＡＵから復号を開始した場合に正常復号されない。他方、ＴＰアクセスユニット（ＴＰ＿ＡＵ）は表示時刻がＩＲＡＰ＿ＡＵよりも遅いアクセスユニットである。ＨＥＶＣ規格では、ＩＲＡＰ＿ＡＵから復号を開始した場合にＴＰ＿ＡＵの正常再生を保証する。逆に言うと、ＴＰ＿ＡＵの正常再生を保証しないIntraアクセスユニットはＩＲＡＰ＿ＡＵとはならない。

図４の説明では、ＨＥＶＣ（H.265）のビットストリームを代表例にとって説明したが、実施形態にとって重要なＩＲＡＰに注目すると、ＭＰＥＧ−４ ＡＶＣ（H.264）ならＩＲＡＰをＩＤＲ（Instantaneous Decoding Refresh）と読み替えればよいし、ＭＰＥＧ−２ビデオならならＩＲＡＰをＩピクチャ（またはＰピクチャ）と読み替えればよい。

図５は、ＳＨＶＣにおける拡張レイヤー（参照レイヤー）のストリーム構造の一例を説明する図である。図５のビットストリームからアクセスユニット群までのストリーム構造は、ＧＯＰ先頭がＩＲＡＰだけとなっている点を除き、図４と同じである。

各アクセスユニット（ＡＵ）は、先頭にＡＵＤ（Access Unit Delimiter）があり、ＭＰＥＧ−４ ＡＶＣと同様に、このＡＵＤでＡＵの境界が示される。ＡＵＤの後にあるＶＰＳ（Video Parameter Set）はＨＥＶＣで新たに導入されたパラメータセットであり、階層符号化時に、各レイヤーの共通情報や関係情報を記述する。ＳＰＳ（Sequence Parameter Set）は、ＡＶＣと同様に、シーケンスで共通なパラメータを記述する。ＰＰＳ（Picture Parameter Set）は、ＡＶＣと同様に、ピクチャで共通なパラメータを記述する。

ＡＶＣとは異なり、ＳＥＩ（Supplemental Enhancement Information）には２種類（Ｐ−ＳＥＩとＳ−ＳＥＩ）ある。Ｐ−ＳＥＩ（Prefix SEI）はアクセスユニット内で先頭のＶＣＬ＿ＮＡＬＵ（Video Coding Layer_Network Abstraction Layer Unit）の前に出現する。Ｓ−ＳＥＩ（Suffix SEI）はＶＣＬ＿ＮＡＬＵの後に出現する。ＳＥＩの内容を、ＳＬＩＣＥのデコード前に参照するか、デコード後に参照するかで、Ｐ−ＳＥＩとＳ−ＳＥＩを区別する。

ＳＥＩには、ＶＬＣのデコードに必須ではないがあれば役に立つ付加情報（各ピクチャのタイミング情報、パンスキャン機能に関する情報、ランダムアクセスの便宜を図る情報、ユーザデータなど）を記述できる。

図６は、再生対象レイヤーのデコードに１つの被参照レイヤーのみが必要な場合のエンコード方法を説明する図である。再生対象レイヤーのストリーム（例えば図２のＳ２）に存在するＩＲＡＰは、被参照レイヤーのストリーム（例えば図２のＳ１）の同時刻のピクチャのみを参照してデコードされる。したがって、再生対象レイヤーのＩＲＡＰと同時刻の被参照レイヤーのピクチャを、ＩＲＡＰ、ＩＤＲ、またはＩピクチャ（早送り再生ならリオーダリングが不要なＰピクチャでも可）としてエンコードする。

図７は、再生対象レイヤーのデコードに複数の被参照レイヤーが必要な場合のエンコード方法の一例を説明する図である。再生対象レイヤーのストリーム（例えば図２のＳ３）に存在するＩＲＡＰと同時刻の複数被参照レイヤーのストリーム（例えば図２のＳ２とＳ１）のピクチャを全てＩＲＡＰとしてエンコードする。ただし、再生対象レイヤーのデコードに必要な被参照レイヤーのうち最下層のレイヤーについては、ＩＲＡＰ、ＩＤＲ、Ｉピクチャ、またはＰピクチャとしてエンコードする。なお、被参照レイヤーがＨＥＶＣ以外の規格でエンコードされるものであるなら、被参照レイヤーの参照ピクチャは、図６の場合と同様に、ＩＲＡＰに準ずるピクチャとする。

図８は、再生対象レイヤーのデコードに複数の被参照レイヤーが必要な場合のエンコード方法の他例を説明する図である。再生対象レイヤーのストリーム（例えば図２のＳ３）に存在するＩＲＡＰと同時刻の複数被参照レイヤーのストリーム（例えば図２のＳ１とＳ２）のピクチャを全てＩＲＡＰ、ＩＤＲ、Ｉピクチャ、またはＰピクチャとしてエンコードする。なお、被参照レイヤーがＨＥＶＣ以外の規格でエンコードされるものであるなら、被参照レイヤーの参照ピクチャは、図６の場合と同様に、ＩＲＡＰに準ずるピクチャとする。

図６〜図８の例示において、再生対象レイヤーが被参照レイヤーのどれ（ＩＲＡＰ、ＩＤＲ、Ｉピクチャ、またはＰピクチャ）を時間的位置あわせのために参照するのかは、適宜、図５のＶＰＳ（Video Parameter Set）またはＳＥＩ（Supplemental Enhancement Information）に記載しておくことができる。上記の時間的位置あわせは、例えば、再生対象レイヤー（上位レイヤー）のランダムアクセスポイントのデコード開始時間情報を、被参照レイヤー（下位レイヤー）のランダムアクセスポイントのデコード開始時間情報に対応させ、または一致させることで、行うことができる。

図９は、ＳＨＶＣエンコーダの別例を説明する図である。例えば図７のストリームＳ１〜Ｓ３をデコードする場合、ストリームＳ１〜Ｓ３それぞれのランダムアクセスポイント（ＩＲＡＰ、ＩＤＲ、Ｉピクチャ）またはＰピクチャのアクセスユニットは、該当デコーダへ一斉に届くようにした方が、特殊再生の処理がよりスムースになる。そこで、図９の実施形態では、ストリームＳ１、Ｓ２、Ｓ３を、それぞれバッファ２４０、２４２、２４４で一旦バッファリングする。そして、特殊再生するときに用いる参照ピクチャのアクセスユニット（ＩＲＡＰ、ＩＤＲ、Ｉピクチャ、またはＰピクチャ）が全てバッファリングされた時点で、これら参照ピクチャのアクセスユニットが同じタイミングでバッファ２４０〜２４４から出力されるように、バッファ２４０〜２４４の読み出しタイミングをコントローラ２３０で制御する。

図１０は、図１のデコーダ側に対応する構成を備えたＳＨＶＣ受信機（デジタルＴＶ）の一例を説明する図である。図１０ではＳＨＶＣデコーダ１−２８を１組示している。図６に示すように１つの拡張レイヤーストリームＳ２を用いてＳＨＶＣエンコードがなされている場合については、ＳＨＶＣデコーダは１組でよい。しかし、図７に示すように２つの拡張レイヤーストリームＳ２／Ｓ３を用いたＳＨＶＣエンコードがなされている場合は、対応するＳＨＶＣデコーダは２組となる。（２組のＳＨＶＣデコーダのハードウエア構成は同じでよい。ストリームＳ３用のＳＨＶＣデコーダは、ストリームＳ２用のＳＨＶＣデコーダのデコード結果を参照してデコードするように構成される。）
なお、以下に説明する構成は、ハードウエアで実現できるが、マイクロコンピュータあるいはデジタルプロセッサを用いてソフトウェアあるいはファームウエアで実現されてもよい。

また、以下の記載において、番組は、ストリームあるいはコンテンツもしくは情報と称する場合もある。なお、番組は、映像及び映像に付属する音声や音楽からなる。また、映像は、動画と静止画またはテキスト（コード化された符号列で示される文字や記号等で表される情報）の少なくとも１つを含む。

ＳＨＶＣ受信機で視聴する番組の取得は、番組供給元（放送局）が、例えば空間波（電波）を用いて送信する放送の受信により実現できる。番組の取得はまた、番組配信元（配信事業者）が、光ファイバ（ケーブル）やインターネットプロトコル（Internet Protocol）通信網等のネットワークを用いて配信するものの取得であってもよい。番組の取得はまた、ネットワーク上の番組提供元（コンテンツサーバ）が保持するストリーミング映像（ストリーム）の読み出し（ダウンロード）であってもよい。またさらに、番組の取得（再生）は、ネットワーク機能を使用する映像転送技術（他の装置が保持する番組のネットワークを経由した再生（取得）によっても、可能である。

図１０が示すＳＨＶＣ受信機は、第１チューナ１−１、第２チューナ１−２、第３のチューナ１−３、第１多重信号分離部１−４、番組（コンテンツ）記憶部（ＨＤＤ）１−５、第２多重信号分離部１−６、ＳＴＣ（System Time Clock）再生部１−７、既存ＨＤＴＶ放送（ＭＰＥＧ−２ビデオ）の映像に対応する基準映像信号をバッファするレイヤ０バッファ１−８、ＰＳＩ（Program Specific Information）／ＳＩ（Service Information）取得部１−９、ＭＰＥＧ−２デコーダ１−１０、復調部１−１０ａ、フレームバッファ（ＦＢ）１−１０ｂ、第１異常検出部１−１１、トップフィールドメモリ１−１２、ボトムフィールドメモリ１−１３、ＩＰ（Interlaced−Progressive）変換部１−１４、色変換／スケーリング部１−１５、第１バッファＡ１−１６、動き適応Ｉ−Ｐ変換／２Ｋ−４Ｋスケーリング／色域拡大部１−１７、スケーリング部１−１８、第２異常検出部１−１９、スケーリング／色変換部１−２０、セレクタ１−２１、グラフィックス重畳部１−２２、ＴＣＰ（Transmission Control Protocol）／ＩＰおよびＵＤＰ（User Datagram Protocol）／ＩＰ制御部１−２３、録画再生／放送再生セレクタ１−２６、例えば４Ｋ映像をＳＨＶＣエンコードした拡張映像信号（図６〜図８のストリームＳ２／Ｓ３）をバッファする拡張レイヤ１バッファ１−２７、ＳＨＶＣデコーダ１−２８、復号部（ＳＨＶＣ）１−２８ａ、ＤＰＢ（Decoded Picture Buffer）メモリ１−２８ｂ、フィルタ１−２８ｃ、第２バッファＢメモリ１−３０、ＣＰＵ（Central Processing Unit，主制御部）１−３１、不揮発性メモリ１−３２、多重化部１−３３、制御入力受信部１−３４、等を含む。

第１チューナ１−１は、ＳＨＶＣ標準に準拠する放送信号のうち、ＨＤＴＶ（水平方向の画素数が１９２０（または１４４０）、垂直方向の画素数が１０８０）放送に対応する信号（２Ｋ信号、以下基準映像信号と称する）の基準レイヤーストリームＳ１と、そこから分離された拡張レイヤーストリームＳ２／Ｓ３（拡張映像情報）を受信する。拡張映像情報は、例えば４Ｋに対応する映像信号を含む。また、ＳＨＶＣ標準に準拠した拡張映像情報は、例えば放送衛星（Broadcasting Satellite）を通じて放送されるＢＳ放送または通信衛星（Communication Satellite）を経由して提供されるＣＳ放送において伝送できる。なお、拡張映像情報は、ＴＣＰ／ＩＰおよびＵＤＰ／ＩＰ制御部１−２３を経由する放送波以外の伝送方式によって提供されることも可能である。

第１チューナ１−１は、主としてＢＳ放送／ＣＳ放送を受信する。第２チューナ１−２及び第３チューナ１−３は、基準映像信号（２Ｋ信号）を受信する。なお、第２チューナ１−２は、第１チューナ１−１と同様、主としてＢＳ放送／ＣＳ放送を受信する。第２チューナ１−２にて基準映像信号を受信し、第３チューナ１−３にてＳＨＶＣ標準に準拠する拡張映像信号を受信し、第２および第３チューナの受信信号をともに用いてＳＨＶＣデコードをすることで、ＳＨＶＣ標準に準拠する高解像度映像放送（４Ｋ放送）を視聴／再生できる。なお、個々のチューナ１−１，１−２，１−３は、復調部を含むものとする。

図２が示すＳＨＶＣ受信機５においては、基準映像信号を第２チューナ１−２もしくは第３チューナ１−３で受信する。

＜＜レイヤ０のデコード＞＞
第２多重信号分離部（ＴＳデマルチプレクサ）１−６は、第２チューナ１−２または第３チューナ１−３が受信し復調した基準映像信号のトランスポートストリーム（ＴＳ）から、映像信号、音声信号及び、さまざまな制御情報（システムクロックを含む）、ＥＰＧ情報等を取り出す。

レイヤ０バッファ１−８は、第２多重信号分離部１−６にて取り出した映像信号及び音声の他、例えば色域情報を保持する。ＳＴＣ再生１−７は、第２多重信号分離部１−６で取り出した時間情報からシステムタイムクロック（ＳＴＣ）を再生する。ＰＳＩ，ＳＩ取得部１−９は、第２多重信号分離部１−６にて分離された信号からＰＳＩ（Program Specific Information）および／またはＳＩ（Service Information）を取り出す。

ＭＰＥＧ２デコーダ１−１０は、復号部１−１０ａとＦＢ（フレームバッファ）１−１０ｂとを含み、復号部１−１０ａにおいてレイヤ０バッファ１−８が保持する映像信号を読み出して復号し、得られた画像をＦＢ（フレームバッファ）１−１０ｂに格納する。

フレームバッファ１−１０ｂが保持する信号は、第１バッファＡ１−１６に格納され、動き適応Ｉ−Ｐ変換／２Ｋ−４Ｋスケーリング／色域拡大（色域変換）部１−１７にて、実質的に４Ｋ信号相当の高解像度映像に変換される。また、色域については、例えばＢＴ７０９準拠からＢＴ２０２０準拠に拡大された映像信号に変換される。

＜＜拡張映像情報（拡張ストリーム）のデコード＞＞
第１チューナ１−１は、上述したＳＨＶＣ標準に準拠し、基準映像信号と分離された拡張映像信号を受信する。第１チューナ１−１は、現行のＢＳ放送の変調方式に対応する８ＰＳＫ復調機能を有するが、さらに高いビットレートでの伝送が可能な１６ＡＰＳＫに対応する復調機能を有することが好ましい。なお、第２チューナ１−２についても１６ＡＰＳＫの復調機能を持たせることは可能であるが、１６ＡＰＳＫ復調機能は、第１チューナ１−１のみであっても実用上は問題ない。なお、第１チューナ１−１に、１６ＡＰＳＫだけでなく８ＰＳＫの両方の復調機能を持たせることで、第２チューナ１−２は、８ＰＳＫの復調機能があれば十分である。

録画再生／放送再生セレクタ１−２６は、第１多重信号分離部１−４が分離した拡張映像信号を、拡張レイヤ１バッファ１−２７に格納する。

ＳＨＶＣデコーダ１−２８は、復号部（ＳＨＶＣ）１−２８ａ、ＤＰＢ（Decoded Picture Buffer）メモリ１−２８ｂ及びフィルタ１−２８ｃを含み、レイヤ１バッファ１−２７が保持する拡張映像信号（ＳＨＶＣエンコーダがエンコードしたスケーラブル信号）を読み出し、参照に必要なフレームを基準映像信号のフレームバッファ１−１０ｂに要求する。要求するフレームは、ＭＰＥＧ−２（基準映像信号）のストリームに付加されていたＰＴＳ（Presentation Time Stamp）を使用して指定できる。ＳＨＶＣデコーダ１−２８は、ＳＨＶＣエンコードされたストリームから、例えば４Ｋの基画像に相当する高解像度映像をデコードする。

なお、ＳＨＶＣデコーダ１−２８がデコードする拡張映像情報は、送信機側のＳＨＶＣエンコーダにおいて、ＳＨＶＣ符号化方式によって入力信号を符号化処理したものである。ここで、ＳＨＶＣエンコーダは、予測画像の生成に、インター予測（動き補償予測）、イントラ予測（画面内予測）、及びレイヤ間予測（画像間予測）のいずれかを実行する。ＳＨＶＣ符号化方式では、ＨＥＶＣ方式で用いられていた画面間予測と画面内予測に加え、現行のＨＤＴＶ映像を構成する基準レイヤ（２Ｋの基準映像）から高画質映像を構成する拡張レイヤ（例えば４Ｋの拡張映像）を予測するレイヤ間予測が実行される。復号した基準レイヤを高画質にアップコンバートした映像を、予測の候補として利用することが可能であるため、高画質映像、例えば、４Ｋ映像を直接圧縮するよりも圧縮効率が良くなる可能性がある。

ＳＨＶＣエンコーダから出力される拡張予測画像信号は、入力高画質映像信号及び第１の拡大復号映像信号の各々に含まれる同一の画像を同期させ、第１の拡大復号信号に含まれる画像（参照画像）を参照し、高画質画像（基準レイヤ）と参照画像（拡張レイヤ）とのレイヤ間予測を実行することによって、高画質画像と参照画像とのレイヤ間画像予測により生成される信号である。なお、ＳＨＶＣエンコーダでは、メタデータを拡張画像信号に付加できる。ＳＨＶＣエンコーダは、生成した拡張画像信号を所定の時間間隔、且つ時系列に配列して拡張映像信号を生成し、生成した拡張映像信号にスケーラブル符号化処理を実行して、ＳＨＶＣエンコードされたストリームを出力する。

＜＜ＡＲＩＢ（放送規格）との関係について＞＞
ＡＲＩＢ規格書には、デジタルテレビジョンサービスにおける映像信号と映像エンコード方式に関し、実運用において推奨されるMPEG-2 Video 規格の技術的条件を示すことを目的として、「付属1 テレビジョンサービスにおけるMPEG-2 Video 規格の運用ガイドライン」が記載されている。

この運用ガイドラインは、「標準テレビジョン放送等のうちデジタル放送に関する送信の標準方式」（省令）に準拠するテレビジョンサービスの映像信号のうちMPEG-2 Video 規格によるものについて適用される。

運用ガイドライン（その２）は、「付属5 テレビジョンサービスにおけるＨＥＶＣ 規格の運用ガイドライン」として記載され、ＨＥＶＣ（High Efficiency Video Coding）規格第２版の中で拡張規定されたＳＨＶＣの規格によるものについて適用される。

例えば上記の「運用ガイドライン」および／または「運用ガイドライン（その２）」において、「上位レイヤーが下位レイヤーのデコード結果を参照するような階層レイヤー構造において、レイヤー間のランダムアクセスポイントの時間的な位置合わせを行なう」ことが示唆されることが望ましい。

＜＜実施形態の効果＞＞
デコーダ側で早送りなどの特殊再生を行う場合に、必要なフレームバッファの容量増加を避けつつ、特殊再生の処理時間を削減できる。

この発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許の請求の範囲に記載された発明とその均等の範囲に含まれるものである。

Claims (9)

1. 基画像データを圧縮エンコードして、被参照レイヤーの第１ストリームを生成する第１エンコーダと、
   前記第１エンコーダでエンコードされる第１画像データを参照することにより前記基画像データを圧縮エンコードして、参照レイヤーの第２ストリームを生成する第２エンコーダを備え、
   前記第１エンコーダおよび前記第２エンコーダにおける圧縮エンコード処理において、前記参照レイヤーのランダムアクセスポイントと前記被参照レイヤーのランダムアクセスポイントまたはＰピクチャの時間的な位置合わせを行うように構成したエンコード装置。
2. 請求項１の装置において、前記第２エンコーダは、スケーラブル高効率ビデオコーディングに準拠したＳＨＶＣエンコーダであり、前記参照レイヤーを、ＳＨＶＣデコーダ側での再生対象レイヤーとする。
3. 請求項１または請求項２の装置において、前記被参照レイヤーの第１ストリームを第1の伝送帯域で伝送し、前記参照レイヤーの第２ストリームを第２の伝送帯域で伝送する。
4. スケーラブル高効率ビデオコーディングに準拠したデータを生成する装置であって、
   基画像データを圧縮エンコードして、基準レイヤーのストリームを生成する基準レイヤーエンコーダと、
   前記基準レイヤーエンコーダでエンコードされる第１画像データを参照することにより前記基画像データをＳＨＶＣエンコードして、第１拡張レイヤーの第１拡張ストリームを生成する第１拡張レイヤーエンコーダと、
   前記第１拡張レイヤーエンコーダでエンコードされる第２画像データを参照することにより前記基画像データをＳＨＶＣエンコードして、第２拡張レイヤーの第２拡張ストリームを生成する第２拡張レイヤーエンコーダを備え、
   前記第１拡張レイヤーエンコーダおよび前記第２拡張レイヤーエンコーダにおける圧縮エンコード処理において、前記第２拡張レイヤーのランダムアクセスポイントと前記第１拡張レイヤーのランダムアクセスポイントまたはＰピクチャの時間的な位置合わせを行うように構成したエンコード装置。
5. 請求項４の装置は、前記基準レイヤーエンコーダ、前記第１拡張レイヤーエンコーダおよび前記第２拡張レイヤーエンコーダにおける圧縮エンコード処理において、前記第１拡張レイヤーおよび前記第２拡張レイヤーのランダムアクセスポイントと前記基準レイヤーのランダムアクセスポイントまたはＰピクチャの時間的な位置合わせを行う。
6. 請求項４または請求項５の装置において、前記第２拡張レイヤーを、ＳＨＶＣデコーダ側での再生対象レイヤーとする。
7. 請求項４または請求項５の装置において、前記基準レイヤーのストリームを第1の伝送帯域で伝送し、前記第１拡張レイヤーの第１拡張ストリームおよび／または前記第２拡張レイヤーの第２拡張ストリームを第２の伝送帯域で伝送する。
8. 基画像データを圧縮エンコードして、被参照レイヤーの第１ストリームを生成し、
   エンコードされる第１画像データを参照することにより前記基画像データを圧縮エンコードして、参照レイヤーの第２ストリームを生成する方法において、
   前記第１ストリームおよび前記第２ストリームのエンコード処理において、前記参照レイヤーのランダムアクセスポイントと前記被参照レイヤーのランダムアクセスポイントまたはＰピクチャの時間的な位置合わせを行うように構成したエンコード方法。
9. 請求項８の方法において、前記第１ストリームは、デジタル放送で使用されるＭＰＥＧ−２ビデオ規格に準じたストリームであり、前記第２ストリームは、スケーラブル高効率ビデオコーディングに準拠したストリームであり、前記参照レイヤーと前記被参照レイヤーとの間における前記ランダムアクセスポイントの時間的な位置合わせは、前記デジタル放送の運用基準に定められる。

Images