JP2017011458A - 符号化データ生成プログラム、符号化データ生成方法および符号化データ生成装置 - Google Patents

Abstract

【課題】演算量を削減すること。【解決手段】符号化データ生成装置１００の符号化部１２０は、画像データに基づいて、それぞれが画像データに対応する、解像度の異なる複数の符号化データを生成する際に、複数の符号化データの内、解像度の最も高い符号化データの生成処理を先行して行う。符号化データ生成装置１００の符号化部１３０は、解像度の最も高い符号化データの生成処理で用いられた付帯情報に基づいて、解像度の最も高い符号化データ以外の複数の符号化データの生成処理を行う。【選択図】図５

Description

本発明は、符号化データ生成プログラム等に関する。

近年の表示モニタの高解像度化により、大きいものは８ｋ、４ｋサイズから、小さいものはＱＶＧＡ（Quarter VGA）サイズにいたる多数の解像度のコンテンツが視聴されるようになってきている。これらのコンテンツは、コンテンツ配信業者などにより、インターネット経由などで利用者に配信されている。ここで、利用者が利用するインターネット回線の帯域は、広帯域の場合もあれば、低帯域の場合もあるため、同一の解像度のコンテンツを全ての利用者に対して一律に配信することはできない。

このため、一般的には、画像の解像度等を変更して、複数の解像度の画像符号化を行い、利用者にあった解像度のコンテンツを配信することが行われている。また、複数の解像度の画像や圧縮率ごとに配信用のストリームを準備することが行われている。

図２０は、従来の符号化装置を示す図である。従来の符号化装置１０は、解像度の異なる画像データを生成し、各画像データを符号化する処理を並列に実行してストリームを生成する。図２０に示すように、符号化装置１０は、解像度変換処理部１１と、符号化部１２，１３，１４を有する。符号化部１２は、モード判定部１２ａと、符号化器１２ｂとを有する。符号化部１３は、モード判定部１３ａと、符号化器１３ｂとを有する。符号化部１４は、モード判定部１４ａと、符号化器１４ｂとを有する。

解像度変換処理部１１は、画像データを取得し、解像度の異なる画像データを生成する処理部である。例えば、解像度変換処理部１１は、画像データＡ１、画像データＡ２、画像データＡ３を生成する。画像データＡ１〜Ａ３の解像度の大小関係を、画像データＡ１の解像度＞画像Ａ２データの解像度＞画像Ａ３データの解像度とする。解像度変換処理部１１は、画像データＡ１を符号化部１２に出力する。解像度変換部１１は、画像データＡ２を符号化部１３に出力する。解像度変換部１１は、画像データＡ３を符号化部１４に出力する。

符号化部１２のモード判定部１２ａは、各種のモード情報によって符号化される符号化画像を予測し、各符号化画像の符号化誤差を特定し、最も符号化誤差が少ないと予想されるモード情報を判定する処理部である。モード判定部１２ａは、判定したモード情報を、符号化器１２ｂに出力する。

符号化部１２の符号化器１２ｂは、モード判定部１２ａによって判定されたモード情報に基づき、画像データＡ１を符号化することで、ストリームを生成し、生成したストリームを出力する処理部である。

モード判定部１３ａおよび符号化器１３ｂは、画像データＡ２について、モード判定部１２ａおよび符号化器１２ｂと同様の処理を実行し、ストリームを出力する。モード判定部１４ａおよび符号化器１４ｂは、画像データＡ３について、モード判定部１２ａおよび符号化器１２ｂと同様の処理を実行し、ストリームを出力する。

特開２００７−２０１５５８号公報 特開２０１２−２５７１４８号公報

しかしながら、上述した従来技術では、演算量が多いという問題がある。

図２０で説明したように、符号化装置１０は、解像度の異なる画像に対して適切なモード情報をそれぞれ算出しているため、符号化を行う場合に、演算コストが大きくなってしまう。

１つの側面では、本発明は、演算量を削減することができる符号化データ生成プログラム、符号化データ生成方法および符号化データ生成装置を提供することを目的とする。

第１の案では、コンピュータに、下記の処理を実行させる。コンピュータは、画像データに基づいて、それぞれが画像データに対応する、解像度の異なる複数の符号化データを生成する際に、複数の符号化データの内、解像度の最も高い符号化データの生成処理を先行して行う。コンピュータは、解像度の最も高い符号化データの生成処理で用いられた付帯情報に基づいて、解像度の最も高い符号化データ以外の複数の符号化データの生成処理を行う。

演算量を削減できる。

図１は、ＣＵ分割、ＰＵ分割、ＴＵ分割を説明するための図である。 図２は、Intra予測モードに属する複数の予測モードの一例を示す図である。 図３は、リファレンスリストおよびリファレンスインデックスの概念を説明するための図（１）である。 図４は、リファレンスリストおよびリファレンスインデックスの概念を説明するための図（２）である。 図５は、本実施例に係る符号化データ生成装置を示す機能ブロック図である。 図６は、本実施例に係るモード変換部の処理手順を示すフローチャートである。 図７は、ＣＵサイズ変更処理およびＣＵ統合処理を説明するための図である。 図８は、ＰＵサイズ変更処理およびＰＵ統合処理を説明するための図である。 図９は、ＴＵサイズ変更処理およびＴＵ統合処理を説明するための図である。 図１０は、ＰＵ統合処理の処理手順を示すフローチャートである。 図１１は、モード変換部の処理を補足説明するための図（１）である。 図１２は、モード変換部の処理を補足説明するための図（２）である。 図１３は、動きベクトル統合処理を補足説明するための図（１）である。 図１４は、動きベクトル統合処理を補足説明するための図（２）である。 図１５は、動きベクトル統合処理を補足説明するための図（３）である。 図１６は、ＰＵ予測モード統合処理の処理手順を示すフローチャートである。 図１７は、符号化データ生成装置のその他の構成を示す図である。 図１８は、その他のＰＵ統合処理を説明するための図である。 図１９は、符号化データ生成プログラムを実行するコンピュータの一例を示す図である。 図２０は、従来の符号化装置を示す図である。

以下に、本願の開示する符号化データ生成プログラム、符号化データ生成方法および符号化データ生成装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例に係る符号化データ生成装置を説明する前に、モード情報について説明する。例えば、モード情報には、ＨＥＶＣ（High Efficiency Video Coding）規格で規定されたいくつかの要素がある。ＨＥＶＣ符号化方式においては、画像符号化の処理単位ＣＴＵ（Coding Tree Block）を自由に分割できる。分割単位には、ＣＵ（Coding Unit）分割、ＰＵ（Prediction Unit）分割、ＴＵ（Transform Unit）分割がある。図１は、ＣＵ分割、ＰＵ分割、ＴＵ分割を説明するための図である。図１に示すように、画像２０は、複数のＣＴＵによって分割される。

ＣＵ分割は、ＣＴＵをＣＵ単位で分割するものである。ＣＵは、符号化制御単位を示す。ＣＵは、４分木構造である。ＣＵのサイズは４×４〜６４×６４である。図１では一例として、ＣＴＵ２０ａが、各サイズのＣＵに分割される様子を示す。ＰＵ、ＴＵは、このＣＵ単位以下の分割サイズとなる。

ＰＵ分割は、ＣＵをＰＵ単位で分割するものである。ＰＵは、予測処理の単位を示す。ＰＵのサイズは、例えば、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×Ｎ、Ｎ×２Ｎとなる。図１では一例として、ＣＵ２０ｂが、２つのＰＵに分割される様子を示す。

ＴＵ分割は、ＣＵをＴＵ単位で分割するものである。ＴＵは、周波数変換の単位を示す。ＴＵは、４分木構造である。ＴＵのサイズは、例えば、４×４〜６４×６４である。図１では一例として、ＣＵ２０ｂが、各サイズのＴＵに分割される様子を示す。

上記のＰＵに対して、いくつかのモード情報を指定することができる。モード情報には、Intra予測モードと、Inter予測モードがある。また、Intra予測モードおよびInter予測モードは、更に複数の予測モードに細分化できる。

Intra予測モードについて説明する。図２は、Intra予測モードに属する複数の予測モードの一例を示す図である。Intra予測モードは、同一の画像上に存在する、空間的に近傍の画素から該当する位置の画素値を予測するものである。例えば、Intra予測モードには、DCモード、Planerモードがある。DCモードは、周辺画像の平均値から、あるブロック２５ａの画素値を予測するモードである。Planerモードは、ある位置２５ｂに応じた周辺画素の重み付け平均により、位置２５ｂの画素値を予測するモードである。

Inter予測モードについて説明する。Inter予測モードは、他の画像となる参照ピクチャを基にして、該当する位置の画素値を予測するものである。Inter予測モードには、L0、L1、Bi、Merg、Skipがある。

L0は、リファレンスリストL0のみを用いる予測モードである。L0では、リファレンスインデックスにより、１枚の参照ピクチャを参照できる。リファレンスリスト、リファレンスインデックスに関する説明は後述する。

L1は、リファレンスリストL1のみを用いる予測モードである。L1では、リファレンスインデックスにより、１枚の参照ピクチャを参照できる。

Biは、リファレンスリストL0/L1を用いる予測モードである。Biでは、リファレンスインデックスにより、それぞれのリスト内の参照ピクチャを１枚ずつ参照できる。

Mergは、周辺ＰＵのいずれかと同じリスト、同じリファレンスインデックス、同じ予測ベクトルを用いる予測モードである。

Skipは、MergもしくはベクトルがAMVPと一致し、差分係数が存在しない場合に適用される予測モードであり、ある位置の予測をスキップするものである。AMVPは、周辺ＰＵが持っている予測ベクトルに対応する。

続いて、リファレンスリストおよびリファレンスインデックスの概念について説明する。図３および図４は、リファレンスリストおよびリファレンスインデックスの概念を説明するための図である。ＨＥＶＣ規格では、リファレンスリスト／リファレンスインデックスにより、参照ピクチャを管理する。現エンコードピクチャに対して、それ以外のピクチャは参照ピクチャとしてInter予測モードの参照ピクチャとして利用される。現エンコードピクチャ、参照ピクチャには、図３に示すように、ＰＯＣ（Picture Order Count）が振られる。ＰＯＣは、ピクチャの表示順を一意に示す番号である。

現エンコードピクチャの参照ピクチャとして利用されるピクチャは、L0/L1のリファレンスリストとリファレンスインデックスとを対応付けたリストによって管理されており、そのリストの一例を図４に示す。図４において、例えば、リファレンスリスト「L0」、リファレンスインデックス「０」の参照ピクチャを指定された場合には、このリストを参照することで、参照ピクチャは、ＰＯＣ「０」のピクチャであることが分かる。

次に、本実施例に係る符号化データ生成装置の構成の一例について説明する。図５は、本実施例に係る符号化データ生成装置を示す機能ブロック図である。図５に示すように、この符号化データ生成装置１００は、解像度変換処理部１１０と、符号化部１２０，１３０，１４０と、モード変換部１２５ａ，１２５ｂを有する。例えば、符号化部１２０は、第１符号化部に対応する。モード変換部１２５ａおよび符号化部１３０は、第２符号化部に対応する。

解像度変換処理部１１０は、図示しない外部装置から画像データを取得し、解像度の異なる複数の画像データを生成する処理部である。例えば、解像度変換処理部１１０は、画像データＡ１、画像データＡ２、画像データＡ３を生成する。画像データＡ１〜Ａ３の解像度の大小関係を、画像データＡ１の解像度＞画像Ａ２データの解像度＞画像Ａ３データの解像度とする。解像度変換処理部１１０は、画像データＡ１を符号化部１２０に出力する。解像度変換処理部１１０は、画像データＡ２を符号化部１３０に出力する。解像度変換処理部１１０は、画像データＡ３を符号化部１４０に出力する。

符号化部１２０は、モード判定部１２０ａと、符号化器１２０ｂとを有する。モード判定部１２０ａは、各種のモード情報によって符号化される符号化画像を予測し、各符号化画像の符号化画像を特定し、最も符号化誤差が少ないと予想されるモード情報を判定する処理部である。モード判定部１２０ａは、判定したモード情報を、符号化器１２０ｂおよびモード変換部１２５に出力する。

符号器１２０ｂは、モード判定部１２０ａによって判定されたモード情報に基づき、画像データＡ１を符号化することで、ストリームを生成し、生成したストリームを出力する処理部である。

モード変換部１２５ａは、符号化部１２０ａから画像データＡ１を符号化する際のモード情報を取得し、取得したモード情報を基にして、画像データＡ２を符号化する際のモード情報に変換する処理部である。モード変換部１２５ａは、変換したモード情報を、符号化部１３０に出力する。

符号化部１３０は、モード判定部１３０ａと、符号化器１３０ｂとを有する。モード判定部１３０ａは、モード変換部１２５ａから取得したモード情報を、画像データＡ２を符号化する場合のモード情報として判定する処理部である。モード判定部１３０ａは、判定したモード情報を、符号化器１３０ｂおよびモード変換部１２５ｂに出力する。

符号器１３０ｂは、モード判定部１３０ａによって判定されたモード情報に基づき、画像データＡ２を符号化することで、ストリームを生成し、生成したストリームを出力する処理部である。

モード変換部１２５ｂは、符号化部１２０ａから画像データＡ２を符号化する際のモード情報を取得し、取得したモード情報を基にして、画像データＡ３を符号化する際のモード情報に変換する処理部である。モード変換部１２５ｂは、変換したモード情報を、符号化部１４０に出力する。

符号化部１４０は、モード判定部１４０ａと、符号化器１４０ｂとを有する。モード判定部１４０ａは、モード変換部１２５ｂから取得したモード情報を、画像データＡ３を符号化する場合のモード情報として判定する処理部である。モード判定部１４０ａは、判定したモード情報を、符号化器１４０ｂに出力する。

符号器１４０ｂは、モード判定部１４０ａによって判定されたモード情報に基づき、画像データＡ３を符号化することで、ストリームを生成し、生成したストリームを出力する処理部である。

次に、図５に示したモード変換部１２５ａの処理について説明する。モード変換部１２５ｂの処理は、モード編変換部１２５ａの処理と同様である。図６は、本実施例に係るモード変換部の処理手順を示すフローチャートである。

図６に示すように、モード変換部１２５ａは、ＣＵサイズ変更処理を行い（ステップＳ１０１）、ＣＵ統合処理を行い（ステップＳ１０２）、ＰＵサイズ変更処理を行う（ステップＳ１０３）。

続いて、モード変換部１２５ａは、ＰＵ統合処理を行い（ステップＳ１０４）、ＴＵサイズ変更処理を行い（ステップＳ１０５）、ＴＵ統合処理を行う（ステップＳ１０６）。

次に、図６に示したモード変換部１２５ａが実行するＳ１０１〜Ｓ１０６の処理について例を挙げながら説明を行う。一例として、画像データＡ２の解像度を、画像データＡ１の解像度の１／２とする。すなわち、提供元の画像データと現画像データとの横幅、縦幅の比を２：１とする。

ステップＳ１０１、１０２のＣＵサイズ変更処理、ＣＵ統合処理について説明する。図７は、ＣＵサイズ変更処理およびＣＵ統合処理を説明するための図である。モード変換部１２５ａは、画像データＡ１の解像度で導出されたモード情報に含まれるＣＵ分割情報と、画像データＡ２の解像度に基づいて、ＣＵサイズを変更する。

例えば、画像データＡ１の解像度で導出されたモード情報のＣＵ分割情報を、図７のＣＵ分割情報３０に示すものとする。ＣＵ分割情報３０では、ＣＵのサイズは、３２×３２、１６×１６となっている。以下では、サイズが１６×１６となるＣＵ３０ａを用いて説明を行う。

モード変換部１２５ａは、分割サイズが元の１／２になるようにＣＵ３０ａのサイズを変更すると、ＣＵ３０ａは、ＣＵ３１〜３４に分割され、ＣＵ３１〜３４のサイズは８×８となる。

ここで、モード変換部１２５ａが、ＣＵのサイズを変更した際に、変更後のサイズが運用上許容されない場合がある。一例として、許容されないＣＵのサイズを、８×８以下とする。そうすると、図７のＣＵ３１〜３４のサイズは、許容されないサイズとなる。この場合には、モード変換部１２５ａは、隣接する４つのＣＵ３１〜３４を統合し、許容されるＣＵサイズ１６×１６のＣＵ３０ａとする。

ステップＳ１０３、１０４のＰＵサイズ変更処理、ＰＵ統合処理について説明する。図８は、ＰＵサイズ変更処理およびＰＵ統合処理を説明するための図である。モード変換部１２５ａは、画像データＡ１の解像度で導出されたモード情報に含まれるＰＵ分割情報と、画像データＡ２の解像度に基づいて、ＰＵサイズを変更する。

例えば、画像データＡ１の解像度で導出されたモード情報のＰＵ分割情報を、図８のＰＵ分割情報３５に示すものとする。ＰＵ分割情報３５では、ＰＵのサイズは、３２×３２、１６×１６、８×８となっている。以下では、サイズが８×８となるＰＵ３５ａを用いて説明を行う。

モード変換部１２５ａは、分割サイズが元の１／２となるようにＰＵ３５ａのサイズを変更すると、ＰＵ３５ａは、ＰＵ３６〜３９に分割され、ＰＵ３６〜３９のサイズは４×４となる。

ここで、モード変換部１２５ａが、ＰＵのサイズを変更した際に、変更後のサイズが運用上許容されない場合がある。一例として、許容されないＰＵのサイズを、４×４以下とする。そうすると、図８のＰＵ３６〜３９のサイズは、許容されないサイズとなる。この場合には、モード変換部１２５ａは、隣接する４つのＰＵ３６〜３９を統合し、許容されるＰＵサイズ８×８のＰＵ３５ａとする。

ステップＳ１０５、１０６のＴＵサイズ変更処理、ＴＵ統合処理について説明する。図９は、ＴＵサイズ変更処理およびＴＵ統合処理を説明するための図である。モード変換部１２５ａは、画像データＡ１の解像度で導出されたモード情報に含まれるＴＵ分割情報と、画像データＡ２の解像度に基づいて、ＴＵサイズを変更する。

例えば、画像データＡ１の解像度で導出されたモード情報のＴＵ分割情報を、図９のＴＵ分割情報４０に示すものとする。ＴＵ分割情報４０では、ＴＵのサイズは、６４×６４、３２×３２、１６×１６、８×８となっている。以下では、サイズが８×８となるＰＵ４０ａを用いて説明を行う。

モード変換部１２５ａは、分割サイズが元の１／２となるようにＴＵ４０ａのサイズを変更すると、ＴＵ４０ａは、ＴＵ４１〜４４に分割され、ＴＵ４１〜４４のサイズは４×４となる。

ここで、モード変換部１２５ａが、ＴＵのサイズを変更した際に、変更後のサイズが運用上許容されない場合がある。一例として、許容されないＴＵのサイズを、４×４以下とする。そうすると、図９のＴＵ４１〜４４のサイズは、許容されないサイズとなる。この場合には、モード変換部１２５ａは、隣接する４つのＴＵ４１〜４４を統合し、許容されるＴＵサイズ８×８のＴＵ３５ａとする。

次に、図６のステップＳ１０４に示したＰＵ統合処理について具体的に説明する。図１０は、ＰＵ統合処理の処理手順を示すフローチャートである。図１０に示すように、モード変換部１２５ａは、ＰＵの統合を行うか否かを判定する（ステップＳ２０１）。モード変換部１２５ａは、ＰＵの統合を行う場合には（ステップＳ２０１，Ｙｅｓ）、ステップＳ２０３に移行する。

一方、モード変換部１２５ａは、ＰＵの統合を行わない場合には（ステップＳ２０１，Ｎｏ）、各ＰＵの情報をそのまま保持させる（ステップＳ２０２）。例えば、ステップ２０２において、各ＰＵに設定されたIntra予測モード／Inter予測モードの違い、Inter予測モードの場合におけるリファレンスインデックスの情報は、そのままとする。また、モード変換部１２５ａは、ＰＵに設定されるベクトルの情報は、解像度の差に応じてスケーリングを行う。

モード変換部１２５ａは、Intra／Inter判定を行う（ステップＳ２０３）。モード変換部１２５ａは、Inter予測モードを選択する場合には（ステップＳ２０４，Ｙｅｓ）、ステップＳ２０６に移行する。モード変換部１２５ａは、Intra予測モードを選択しない場合には（ステップＳ２０４，Ｎｏ）、ステップＳ２０５に移行する。

モード変換部１２５ａは、Intra予測モード統合処理を実行し（ステップＳ２０５）、ステップＳ２０９に移行する。

モード変換部１２５ａは、参照ピクチャ統合処理を実行する（ステップＳ２０６）。モード変換部１２５ａは、動きベクトル統合処理を実行する（ステップＳ２０７）。モード変換部１２５ａは、ＰＵ予測モード統合処理を実行する（ステップＳ２０８）。モード変換部１２５ａは、ＰＵ統合を行う（ステップＳ２０９）。

次に、図１０に示した各処理について補足説明を行う。図１１および図１２は、モード変換部の処理を補足説明するための図である。例えば、図１１のテーブル６０は、統合対象となるＰＵに設定されるモード情報を示すものである。テーブル６０は、ＰＵ識別情報と、Intra／Inter、Inter予測モード、リファレンスリスト、リファレンスインデックス、参照ピクチャＰＯＣ番号とを有する。

ＰＵ識別情報は、統合対象となるＰＵを一意に識別する情報である。Intra／Interは、ＰＵに設定された予測モードが、Inter予測モードであるかIntra予測モードであるかを識別する情報である。Inter予測モードは、Inter予測モードの具体的な内容を示す。上述したように、Inter予測モードは、L0、L1、Bi、Merg、Skipのうち何れかとなる。リファレンスリスト、リファレンスインデックス、ＰＯＣに関する説明は、図４に示したリファレンスリスト、リファレンスインデックス、ＰＯＣに関する説明と同様である。

例えば、ＰＵ識別情報「Ｂ」に設定されたモード情報について説明する。ＰＵ「Ｂ」に設定された予測モードは「Inter予測モード」であり、具体的なInter予測モードは「Bi」となる。リファレンスインデックスが「０」である場合には、参照ピクチャがＰＯＣ「０」のピクチャであることを示す。リファレンスインデックスが「１」である場合には、参照ピクチャがＰＯＣ「８」のピクチャであることを示す。

例えば、モード変換部１２５ａが図１０に示す処理を実行し、図１１に示したＰＵ「Ａ〜Ｂ」のモード情報を統合すると、統合したＰＵのモード情報は、図１２に示すテーブル６５に示す情報となる。

ステップＳ２０１に示したＰＵの統合を行うか否かを判定する処理について説明する。モード変換部１２５ａは、図８で説明したように、ＴＵを分割し、分割した各ＴＵのサイズが、運用上許容されない場合に、分割した各ＴＵを統合すると判定する。

ステップＳ２０３に示したIntra／Inter判定について説明する。モード変換部１２５ａは、Intra予測モードを選択したＰＵの数と、Inter予測モードを選択したＰＵの数とを計数する。モード変換部１２５ａは、Intra予測モードを選択したＰＵの数が、Inter予測モードを選択したＰＵの数以上である場合に、統合後のＰＵの予測モードを「Intra予測モード」と判定する。一方、モード変換部１２５ａは、Intra予測モードを選択したＰＵの数が、Inter予測モードを選択したＰＵ未満である場合に、統合後のＰＵの予測モードを「Inter予測モード」と判定する。

例えば、図１１に示すテーブル６０の例では、Intra予測モードを選択したＰＵの数が、Inter予測モードを選択したＰＵの数未満となる。このため、モード変換部１２５ａは、統合後のＰＵの予測モードを「Inter予測モード」と判定する。

なお、モード変換部１２５ａは、その他の基準により、Intra／Inter判定を行っても良い。モード判定部１２５ａは、Intra予測モードを選択したＰＵの総面積と、Inter予測モードを選択したＰＵの総面積を比較し、総面積の大きい方の予測モードを、統合後のＰＵの予測モードとして判定する。更に、モード変換部１２５ａは、モード情報の提供元の解像度での判定指標の情報が入手できるのであれば、判定指標を最善にする予測モードを選択しても良い。

ステップＳ２０６に示した参照ピクチャ統合処理について説明する。参照ピクチャは、リファレンスリスト／リファレンスインデックスによって指定される画面間予測のための参照画像である。リファレンスリストL0／L1には同一の参照ピクチャが登録される場合がある。このため、モード判定部１２５ａは、一旦、各ＰＵのリファレンスリスト／リファレンスインデックスを基にして、どの参照ピクチャを参照しているのかを判定する。モード判定部１２５ａは、各ＰＵがどの参照ピクチャを参照しているのかの判定結果に基づき、統合後のＰＵのリファレンスリスト、リファレンスインデックスを選択する。

ここでは、図１１に示したＰＵ「Ａ〜Ｄ」を対象とした参照ピクチャ統合処理について説明する。ここで、ＰＵ「Ｄ」は、「Intra予測モード」であるため、リファレンスリストL0／L1が存在しないため、モード変換部１２５ａは、ＰＵ「Ｄ」を判定対象から除外する。

例えば、モード変換部１２５ａは、下記の第１ルール、第２ルール、第３ルールに基づいて、統合後のＰＵに設定する参照ピクチャを選択する。

第１ルールは、最も数の多い参照ピクチャを選択するというルールである。
第２ルールは、もっと数の多い参照ピクチャが複数存在する場合に、現在エンコード中の画像データのＰＯＣ最も近い参照ピクチャを選択するというルールである。
第３ルールは、統合対象となる全てのＰＵに参照ピクチャが設定されていない場合には、統合後のＰＵに対応する参照ピクチャをなしとする。

ところで、第１ルールでは、最も数の多い参照ピクチャを選択するというルールであるとしたが、最も面積の大きい参照ピクチャを選択するというルールであっても良い。

モード選択部１２５ａが、第１ルールから第３ルールに基づいて、参照ピクチャを選択すると、リファレンスリスト「L0」については、ＰＯＣ「０」のピクチャを選択し、リファレンスリスト「L1」については、ＰＯＣ「４」のピクチャを選択する。統合後のＰＵに関するリファレンスリスト、リファレンスインデックス、ＰＯＣは、図１２に示すものとなる。

ステップＳ２０７に示した動きベクトル統合処理について説明する。図１３、図１４、図１５は、動きベクトル統合処理を補足説明するための図である。図１３に示す例では、リファレンスリストL0側に、３つの動きベクトルが存在する。例えば、図１３に示すように、ＰＵ「Ａ」の参照ピクチャをＰＯＣ「０」のピクチャとし、ＰＵ「Ａ」の修正前動きベクトルをＸ方向「８」、Ｙ方向「１０」とする。ＰＵ「Ｂ」の参照ピクチャをＰＯＣ「０」のピクチャとし、ＰＵ「Ｂ」の修正前動きベクトルをＸ方向「１２」、Ｙ方向「１２」とする。ＰＵ「Ｃ」の参照ピクチャをＰＯＣ「８」のピクチャとし、ＰＵ「Ｃ」の修正前動きベクトルをＸ方向「−４」、Ｙ方向「−６」とする。

モード選択部１２５ａは、式（１）、式（２）について、各ＰＵの修正後の動きベクトルをそれぞれ算出する。

X＝x×（PrePOC-CrntPOC）/（PostPOC-CrntPOC）・・・（１）

Y＝y×（PrePOC-CrntPOC）/（PostPOC-CrntPOC）・・・（２）

式（１）、（２）において、Ｘは、修正後のＸ方向のベクトルを示し、Ｙは、修正後のＹ方向のベクトルを示す。ｘは、修正前のＸ方向のベクトルを示し、ｙは、修正前のＹ方向のベクトルを示す。CrntPOCは、現在エンコード中の画像データのＰＯＣを示す。PrePOCは、修正前の参照ピクチャのＰＯＣを示す。PostPOCは、修正後（統合後）の参照ピクチャのＰＯＣを示す。統合後の参照ピクチャのＰＯＣは、上述した参照ピクチャ統合処理によって決定される。

モード選択部１２５ａは、式（１）、（２）に基づいて、ＰＵ「Ａ〜Ｃ」の修正後動きベクトルを算出すると、図１４に示すものとなる。図１４の左側は、修正前のＸ方向、Ｙ方向の修正前ベクトルｘ、ｙを示す。図１４の右側は、修正後のＸ方向、Ｙ方向の修正後ベクトルＸ、Ｙを示す。例えば、図１４に示す算出結果は、CrntPOCを「２」とした場合の算出結果である。

モード選択部１２５ａは、ＰＵ「Ａ〜Ｃ」の修正後動きベクトルＸ、Ｙをそれぞれ平均化することで、統合後のＰＵの動きベクトルを算出する。モード選択部１２５ａは、端数に関しては、四捨五入などの丸め処理を行っても良い。図１５に示す例では、リファレンスリストL0側の統合後の動きベクトルのＸ方向のベクトルが「１１」となり、Ｙ方向のベクトルが「１３」となる。また、統合後のリファレンスリストL0側の参照ピクチャのＰＯＣは「０」である。

ステップＳ２０８に示したＰＵ予測モード統合処理について説明する。モード選択部１２５ａは、第４ルール、第５ルール、第６ルール、第７ルールに基づいて、統合後のInter予測モードを決定する。

第４ルールは、リファレンスリストL0／L1ともに参照ピクチャがあり、かつ参照ピクチャが異なる場合には「Bi」を選択する。
第５ルールは、リファレンスリストL0に参照ピクチャがある一方、リファレンスリストL1に参照ピクチャがない場合には「L0」を選択する。または、リファレンスリストL0／L1ともに参照ピクチャが存在するが、同一の参照ピクチャを参照する場合には「L0」を選択する。
第６ルールは、第４ルールまたは第５ルールを満たさない条件下で、リファレンスリストL1に参照ピクチャがある場合には「L1」を選択する。
第７ルールは、上記第４ルール、第５ルール、第６ルールを満たす場合でも、Mergが選択可能である場合には、Mergを選択する。

次に、ステップＳ２０８に示したＰＵ予測モード統合処理の処理手順について説明する。図１６は、ＰＵ予測モード統合処理の処理手順を示すフローチャートである。図１６に示すように、モード選択部１２５ａは、Mergを選択可能か否かを判定する（ステップＳ３０１）。モード選択部１２５ａは、Mergを選択可能である場合には、Inter予測モードとして、Mergを選択する。モード選択部１２５ａは、Mergを選択可能でない場合には（ステップＳ３０１，Ｎｏ）、ステップＳ３０３に移行する。

モード選択部１２５ａは、第４ルールを満たすか否かを判定する（ステップＳ３０３）。モード選択部１２５ａは、第４ルールを満たす場合には（ステップＳ３０３，Ｙｅｓ）、Inter予測モードとして、Biを選択する（ステップＳ３０４）。モード選択部１２５ａは、第４ルールを満たさない場合には（ステップＳ３０３，Ｎｏ）、ステップＳ３０５に移行する。

モード選択部１２５ａは、第５ルールを満たすか否かを判定する（ステップＳ３０５）。モード選択部１２５ａは、第５ルールを満たす場合には（ステップＳ３０５，Ｙｅｓ）、Inter予測モードとしてL0を選択する（ステップＳ３０６）。

モード選択部１２５ａは、第５ルールを満たさない場合には（ステップＳ３０５，Ｎｏ）、Inter予測モードとしてL1を選択する（ステップＳ３０７）。ステップＳ３０７において、第４ルール、第５ルールを満たさない場合には、第６ルールを満たすことを意味するため、モード選択部１２５ａは、Inter予測モードとしてL1を選択する。

ところで、モード選択部１２５ａは、ステップＳ３０２において、Mergを選択し、Mergモードで差分係数が発生せず、動きベクトルがAMVPと一致した場合には、Inter予測モードとしてSkipを選択する。

ステップＳ２０５に示したIntra予測モード統合処理について説明する。モード選択部１２５ａは、第８ルール、第９ルール、第１０ルールに基づいて、統合後のIntra予測モードを決定する。

第８ルールは、統合前のIntra予測モードにDCが存在する場合には、統合後のIntra予測モードを「DC」とする。
第９ルールは、統合前のIntra予測モードにDCが存在せず、Planeが存在する場合には、統合後のIntra予測モードを「Plane」とする。
第１０ルールは、統合前のIntra予測モードにDC、Planeが存在しない場合には、統合前に選択していたIntra予測モードの予測方向の平均の方向を取る予測モードを選択する。

次に、本実施例にかかる符号化データ生成装置１００の効果について説明する。符号化データ生成装置１００の符号化部１２０は、解像度の最も高い画像データに対して符号化処理を行って符号化データを生成する。符号化部１３０は、解像度の最も高い符号化データの生成処理で用いられたモード情報に基づいて、前記解像度の最も高い符号化データ以外の複数の符号化データの生成処理を行う。このため、符号化データ生成装置１００の符号化部１３０は、符号化部１２０によって生成されるモード情報を利用して符号化を行うため、モード情報の生成にかかる演算量を削減することができる。また、符号化部１４０は、符号化部１３０によって用いられるモード情報を利用して符号化を行うため、モード情報の生成にかかる演算量を削減することができる。

符号化データ生成装置１００のモード変換部１２５ａは、解像度の最も高い符号化データに対応するＰＵに設定されたモード情報を統合することで、符号化部１３０で用いるモード情報を生成する。このため、はじめからモード情報を生成する場合と比較して、モード情報を生成するための演算量を削減することができる。モード変換部１２５ｂについても同様に、演算量を削減することができる。

モード変換部１２５ａは、モード情報を統合する場合に、Intra予測モードのＰＵの個数または面積と、Inter予測モードのＰＵの個数または面積とを基にして、統合後のモード情報で指定する予測モードを判定する。このため、簡易的な判断基準により、符号化対象となる画像データのモード情報を特定することができる。

モード変換部１２５ａは、各モード情報に設定されている参照ピクチャが異なる場合には、符号化対象となる画像データに最も近い参照ピクチャを選択して、統合後の付帯情報に設定する。このため、適切な参照ピクチャをモード情報に設定することができる。

ところで、図５に示した符号化データ生成装置１００では、モード変換部１２５ａ，１２５ｂを直列に接続したがこれに限定されるものでない。図１７は、符号化データ生成装置のその他の構成を示す図である。

符号化データ生成装置２００は、解像度変換処理部１１０と、符号化部１２０，１３０，１４０と、モード変換部１２５ａ，１２５ｂを有する。解像度変換処理部１１０と、符号化部１２０，１３０，１４０に関する説明は、図５に示した解像度変換処理部１１０と、符号化部１２０，１３０，１４０に関する説明と同様である。

図１７に示すように、モード変換部１２５ａ，１２５ｂは、並列に接続される。モード変換部１２５ａは、モード判定部１２０ａから画像データＡ１を符号化する際のモード情報を取得し、取得したモード情報を基にして、画像データＡ２を符号化する際のモード情報に変換する。モード変換部１２５ａは、変換したモード情報を、符号化部１３０に出力する。

モード変換部１２５ｂは、モード判定部１２０ａから画像データＡ１を符号化する際のモード情報を取得し、取得したモード情報を基にして、画像データＡ３を符号化する際のモード情報に変換する。モード変換部１２５ｂは、変換したモード情報を、符号化部１４０に出力する。

図１７に示す構成では、符号化部１３０，１４０によって用いられるモード情報が、符号化部１２０によって生成されたモード情報から並列に生成される。このため、図５に示した構成のようにモード情報を多段で生成する場合と比較して、全ストリームのエンコード完了にかかる時間を短縮することができる。

なお、上述したＰＵ統合処理は一例であるため、以下においてその他のＰＵ統合処理について説明する。上述したＰＵ統合処理では、低解像度の場合に適切なＰＵ分割結果とならない場合がある。

図１８は、その他のＰＵ統合処理を説明するための図である。例えば、モード変換部１２５ａは、領域７０の各ＰＵを、ＰＵ分割情報と現在の解像度を基にして、分割すると、領域７０ａに示す各ＰＵ７１〜７４となる。モード変換部１２５ａは、領域７０ａの各ＰＵ７１〜７４に設定するモード情報のうち、動きベクトル、リファレンスインデックス、Intra予測モードを、領域７０に設定された各ＰＵのモード情報から流用する。

一方、モード変換部１２５ａは、図１０に示した処理を実行することで、領域７０の各ＰＵ７１〜７４を統合すると、ＰＵ７５ｂとなり、ＰＵ７５ｂに設定されるモード情報は、図１０の処理結果に応じた情報となる。

ここで、モード変換部１２５ａは、ＰＵ７１〜７４のモード情報で符号化を行った場合の第１符号化誤差と、ＰＵ７５ｂのモード情報で符号化を行った場合の第２符号化誤差とを比較する。モード変換部１２５ａは、第１符号化誤差の方が小さい誤差である場合には、ＰＵ７１〜７４のモード情報を採用する。一方、モード変換部１２５ａは、第２符号化誤差の方が小さい誤差である場合には、ＰＵ７５ｂのモード情報を採用する。かかる処理を実行することで、より符号化誤差のモード情報を用いて符号化を実行することができる。

なお、モード変換部１２５ａは、ＰＵ統合処理と同様にして、ＣＵ統合処理、ＴＵ統合処理を行う場合でも、符号化誤差を評価して、より符号化誤差の小さい統合を選択して実行しても良い。

次に、上記実施例に示した符号化データ生成装置１００，２００と同様の機能を実現する符号化データ生成プログラムを実行するコンピュータの一例について説明する。図１９は、符号化データ生成プログラムを実行するコンピュータの一例を示す図である。

図１９に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読取る読み取り装置３０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１〜３０７は、バス３０８に接続される。

ハードディスク装置３０７は、第１符号化プログラム３０７ａ、第２符号化プログラム３０７ｂを読み出してＲＡＭ３０６に展開する。第１符号化プログラム３０７ａは、第１符号化プロセス３０６ａとして機能する。第２符号化プログラム３０７ｂは、第２符号化プロセス３０６ｂとして機能する。例えば、第１符号化プロセス３０６ａは、符号化部１２０に対応する。第２符号化プロセス３０６ｂは、モード変換部１２５ａ、符号化部１３０に対応する。

なお、第１符号化プログラム３０７ａ、第２符号化プログラム３０７ｂについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が第１符号化プログラム３０７ａ、第２符号化プログラム３０７ｂを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）コンピュータに、
画像データに基づいて、それぞれが前記画像データに対応する、解像度の異なる複数の符号化データを生成する際に、前記複数の符号化データの内、解像度の最も高い符号化データの生成処理を先行して行い、
前記解像度の最も高い符号化データの生成処理で用いられた付帯情報に基づいて、前記解像度の最も高い符号化データ以外の前記複数の符号化データの生成処理を行う、
ことを実行させることを特徴とする符号化データ生成プログラム。

（付記２）解像度の最も高い符号化データに対応する各ブロックに設定された付帯情報を統合することで、前記解像度の最も高い符号化データ以外のある解像度の符号化データに対応する各ブロックに設定される付帯情報を生成し、生成した付帯情報を基にして、前記解像度の最も高い符号化データ以外の前記複数の符号化データの生成処理を行うことを特徴とする付記１に記載の符号化データ生成プログラム。

（付記３）前記付帯情報は、Intra予測モードまたはInter予測モードを指定する情報を含み、前記付帯情報を統合する処理は、Intra予測モードの付帯情報を設定されたブロックの個数または面積と、Inter予測モードの付帯情報を設定されたブロックの個数または面積とを基にして、統合後の付帯情報で指定する予測モードを判定することを特徴とする付記２に記載の符号化データ生成プログラム。

（付記４）前記付帯情報を統合する処理は、各付帯情報に設定されている参照ピクチャが異なる場合には、符号化対象となる画像データに最も近い参照ピクチャを選択して、統合後の付帯情報に設定することを特徴とする付記３に記載の符号化データ生成プログラム。

（付記５）コンピュータが実行する符号化データ生成方法であって、
画像データに基づいて、それぞれが前記画像データに対応する、解像度の異なる複数の符号化データを生成する際に、前記複数の符号化データの内、解像度の最も高い符号化データの生成処理を先行して行い、
前記解像度の最も高い符号化データの生成処理で用いられた付帯情報に基づいて、前記解像度の最も高い符号化データ以外の前記複数の符号化データの生成処理を行う、
ことを実行することを特徴とする符号化データ生成方法。

（付記６）解像度の最も高い符号化データに対応する各ブロックに設定された付帯情報を統合することで、前記解像度の最も高い符号化データ以外のある解像度の符号化データに対応する各ブロックに設定される付帯情報を生成し、生成した付帯情報を基にして、前記解像度の最も高い符号化データ以外の前記複数の符号化データの生成処理を行うことを特徴とする付記５に記載の符号化データ生成方法。

（付記７）前記付帯情報は、Intra予測モードまたはInter予測モードを指定する情報を含み、前記付帯情報を統合する処理は、Intra予測モードの付帯情報を設定されたブロックの個数または面積と、Inter予測モードの付帯情報を設定されたブロックの個数または面積とを基にして、統合後の付帯情報で指定する予測モードを判定することを特徴とする付記６に記載の符号化データ生成方法。

（付記８）前記付帯情報を統合する処理は、各付帯情報に設定されている参照ピクチャが異なる場合には、符号化対象となる画像データに最も近い参照ピクチャを選択して、統合後の付帯情報に設定することを特徴とする付記７に記載の符号化データ生成方法。

（付記９）画像データに基づいて、それぞれが前記画像データに対応する、解像度の異なる複数の符号化データを生成する際に、前記複数の符号化データの内、解像度の最も高い符号化データの生成処理を先行して行う第１符号化部と、
前記解像度の最も高い符号化データの生成処理で用いられた付帯情報に基づいて、前記解像度の最も高い符号化データ以外の前記複数の符号化データの生成処理を行う第２符号化部と
を有することを特徴とする符号化データ生成装置。

（付記１０）前記第２符号化部は、解像度の最も高い符号化データに対応する各ブロックに設定された付帯情報を統合することで、前記解像度の最も高い符号化データ以外のある解像度の符号化データに対応する各ブロックに設定される付帯情報を生成し、生成した付帯情報を基にして、前記解像度の最も高い符号化データ以外の前記複数の符号化データの生成処理を行うことを特徴とする付記９に記載の符号化データ生成装置。

（付記１１）前記付帯情報は、Intra予測モードまたはInter予測モードを指定する情報を含み、前記第２符号化部は、Intra予測モードの付帯情報を設定されたブロックの個数または面積と、Inter予測モードの付帯情報を設定されたブロックの個数または面積とを基にして、統合後の付帯情報で指定する予測モードを判定することを特徴とする付記１０に記載の符号化データ生成装置。

（付記１２）前記第２符号化部は、各付帯情報に設定されている参照ピクチャが異なる場合には、符号化対象となる画像データに最も近い参照ピクチャを選択して、統合後の付帯情報に設定することを特徴とする付記１１に記載の符号化データ生成装置。

１００，２００ 符号化データ生成装置
１１０ 解像度変換処理部
１２０，１３０，１４０ 符号化部
１２５ａ，１２５ｂ モード変換部

Claims (6)

1. コンピュータに、
   画像データに基づいて、それぞれが前記画像データに対応する、解像度の異なる複数の符号化データを生成する際に、前記複数の符号化データの内、解像度の最も高い符号化データの生成処理を先行して行い、
   前記解像度の最も高い符号化データの生成処理で用いられた付帯情報に基づいて、前記解像度の最も高い符号化データ以外の前記複数の符号化データの生成処理を行う、
   ことを実行させることを特徴とする符号化データ生成プログラム。
2. 解像度の最も高い符号化データに対応する各ブロックに設定された付帯情報を統合することで、前記解像度の最も高い符号化データ以外のある解像度の符号化データに対応する各ブロックに設定される付帯情報を生成し、生成した付帯情報を基にして、前記解像度の最も高い符号化データ以外の前記複数の符号化データの生成処理を行うことを特徴とする請求項１に記載の符号化データ生成プログラム。
3. 前記付帯情報は、Intra予測モードまたはInter予測モードを指定する情報を含み、前記付帯情報を統合する処理は、Intra予測モードの付帯情報を設定されたブロックの個数または面積と、Inter予測モードの付帯情報を設定されたブロックの個数または面積とを基にして、統合後の付帯情報で指定する予測モードを判定することを特徴とする請求項２に記載の符号化データ生成プログラム。
4. 前記付帯情報を統合する処理は、各付帯情報に設定されている参照ピクチャが異なる場合には、符号化対象となる画像データに最も近い参照ピクチャを選択して、統合後の付帯情報に設定することを特徴とする請求項３に記載の符号化データ生成プログラム。
5. コンピュータが実行する符号化データ生成方法であって、
   画像データに基づいて、それぞれが前記画像データに対応する、解像度の異なる複数の符号化データを生成する際に、前記複数の符号化データの内、解像度の最も高い符号化データの生成処理を先行して行い、
   前記解像度の最も高い符号化データの生成処理で用いられた付帯情報に基づいて、前記解像度の最も高い符号化データ以外の前記複数の符号化データの生成処理を行う、
   ことを実行することを特徴とする符号化データ生成方法。
6. 画像データに基づいて、それぞれが前記画像データに対応する、解像度の異なる複数の符号化データを生成する際に、前記複数の符号化データの内、解像度の最も高い符号化データの生成処理を先行して行う第１符号化部と、
   前記解像度の最も高い符号化データの生成処理で用いられた付帯情報に基づいて、前記解像度の最も高い符号化データ以外の前記複数の符号化データの生成処理を行う第２符号化部と
   を有することを特徴とする符号化データ生成装置。

Images