JP2017034531A - 動画像符号化装置及び動画像符号化方法 - Google Patents

Abstract

【課題】符号化効率の低下を抑制しつつ、消費電力を削減できる動画像符号化装置を提供する。【解決手段】動画像符号化装置は、ピクチャを分割した各ブロックについて、第１の参照範囲を参照する少なくとも一つの第１の符号化モードの何れかにより予測符号化する際の予測誤差の量を表す評価値を算出し、かつ、何れかのブロックを第１の符号化モードの何れかにより予測符号化してそのブロックの符号化データを算出する第１の符号化器１２と、何れかのブロックを、第１の参照範囲よりも広い第２の参照範囲を参照する少なくとも一つの第２の符号化モードの何れかにより予測符号化してそのブロックの符号化データを算出する第２の符号化器１１と、各ブロックの評価値に基づいて、第２の符号化器により予測符号化するブロックを判定する判定部１３と、各ブロックの符号化データをエントロピー符号化するエントロピー符号化器１４とを有する。【選択図】図１

Description

本発明は、例えば、動画像符号化装置及び動画像符号化方法に関する。

動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化方式として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding（H.264 MPEG-4 AVC）が広く利用されている。

このような動画像符号化方式は、ピクチャを分割したブロックごとに、予測符号化処理と、変換符号化処理と、エントロピー符号化処理などを組み合わせることで、圧縮処理を実現している。そのため、動画像データを符号化するための演算量は膨大となり、その結果として、動画像符号化処理を実行する動画像符号化装置の電力消費量も増大する。なお、予測符号化処理は、着目するブロックの予測ブロックを求めてそのブロックと予測ブロック間の対応画素間の差を予測誤差信号として算出する符号化処理である。また、変換符号化処理は、着目するブロックの符号化対象となる信号（例えば、予測誤差信号）を、離散コサイン変換(discrete cosine transform, DCT)などの直交変換を行って得られる直交変換係数を量子化して量子化係数を算出する符号化処理である。そしてエントロピー符号化処理は、ハフマン符号、あるいは算術符号といった可変長符号を利用して、量子化係数などを符号化する処理である。

また、このような動画像符号化方式では、予測ブロックの生成方法など、ブロックごとの符号化の方式を規定する複数の符号化モードが用意されている。そして動画像符号化装置は、ブロックごとに、それら複数の符号化モードの中から符号化コストが最小となる符号化モードを選択し、選択した符号化モードをそのブロックに適用する。そのため、動画像符号化装置は、符号化モードの選択に非常に多くの演算を実行するので、符号化モードの選択に必要な電力消費量も相対的に大きい。特に、ISO/IECとITU-Tが共同で標準化しているHigh Efficiency Video Coding(HEVC)は、H.264/MPEG-4 AVCの２倍近い圧縮効率を達成するが、H.264/MPEG-4 AVCと比較して、動画像データを符号化するための演算量及び必要な電力量はさらに増加している。

そこで、動画像データを符号化する際の電力消費を抑制する技術が提案されている（例えば、特許文献１を参照）。特許文献１に開示された動画像符号化記録装置は、通常モードではイントラ予測をする際のブロックサイズを制限することなく全てのブロックサイズによりイントラ予測符号化を行う。一方、省電力モードが設定された場合、この動画像符号化記録装置は、イントラ予測をする際のブロックサイズを通常モードの場合より限定してイントラ予測符号化を行う。

特開２００８−７８９６９号公報

しかしながら、特許文献１に開示された技術では、省電力モードに設定されると、使用可能なブロックサイズが限定されてしまうため、最適なブロックサイズが適用されないことがあり、その結果として、符号化効率が低下してしまうことがある。

一つの側面では、本発明は、符号化効率の低下を抑制しつつ、消費電力を削減できる動画像符号化装置を提供することを目的とする。

一つの実施形態によれば、動画像に含まれるピクチャを符号化する動画像符号化装置が提供される。この動画像符号化装置は、ピクチャを複数のブロックに分割する分割部と、複数のブロックのそれぞれについて、そのピクチャよりも符号化順序が前の参照ピクチャまたはそのピクチャ上の符号化済みの参照領域に設定される第１の参照範囲を参照する少なくとも一つの第１の符号化モードの何れかにより予測符号化する際の予測誤差の量を表す評価値を算出し、かつ、複数のブロックのうちの何れかをその少なくとも一つの第１の符号化モードの何れかにより予測符号化してそのブロックの符号化データを算出する第１の符号化器と、複数のブロックのうちの何れかを、参照ピクチャまたは参照領域に設定され、かつ、第１の参照範囲よりも広い第２の参照範囲を参照する少なくとも一つの第２の符号化モードの何れかにより予測符号化してそのブロックの符号化データを算出する第２の符号化器と、複数のブロックのそれぞれの評価値に基づいて、複数のブロックのうち、第２の符号化器により予測符号化するブロックを判定する判定部と、複数のブロックのそれぞれの符号化データをエントロピー符号化するエントロピー符号化器とを有する。

符号化効率の低下を抑制しつつ、消費電力を削減できる。

一つの実施形態による動画像符号化装置の概略構成図である。 HEVCによる、ピクチャの分割構造の一例を示す図である。 符号化器によるループ内フィルタ処理対象となる領域の一例を示す図である。 符号化器による符号化対象のブロックと簡易符号化器において適用が制限される予測モードとの関係の一例を示す図である。 符号化対象判定処理の動作フローチャートである。 動画像符号化処理の動作フローチャートである。 変形例による動画像符号化装置の概略構成図である。 変形例による動画像符号化装置が同時に複数の動画像データを符号化する際の各部の処理対象となるピクチャを表すタイミングチャートの一例を示す図である。

以下、図を参照しつつ、一つの実施形態による、動画像符号化装置について説明する。この動画像符号化装置は、符号化器と、簡易符号化器とを有する。符号化器では、符号化対象ピクチャの着目するブロックに適用可能な符号化モードを決定する際において既に符号化された他のピクチャまたは符号化対象ピクチャの符号化済みの領域に設定される参照範囲が簡易符号化器の参照範囲よりも広い。そしてこの動画像符号化装置は、ピクチャを分割した複数のブロックのうち、簡易符号化器による符号化コストが所定の閾値以上となるブロックについては符号化器で予測符号化し、その他のブロックは簡易符号化で予測符号化する。これにより、この動画像符号化装置は、符号化効率の低下を抑制しつつ、符号化モード選択の際の演算量を削減して、電力消費量を削減する。

なお、本実施形態による動画像符号化装置は、HEVCに準拠する動画像符号化方式に従って動画像に含まれる各ピクチャを符号化する。また、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。

図１は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、分割部１０と、符号化器１１と、簡易符号化器１２と、判定部１３と、エントロピー符号化器１４と、記憶部１５とを有する。動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つまたは複数の集積回路として動画像符号化装置１に実装されてもよい。例えば、記憶部１５の機能を有する集積回路と、分割部１０、符号化器１１、簡易符号化器１２、判定部１３及びエントロピー符号化器１４の機能を有する集積回路とが別個に形成されてもよい。また、記憶部１５は、一旦符号化されてから復号されたピクチャ（以下、局所復号ピクチャと呼ぶ）を記憶する第１のメモリ回路と、その他の情報を記憶する第２のメモリ回路とを有してもよい。そして、第２のメモリ回路は、分割部１０、符号化器１１、簡易符号化器１２、判定部１３及びエントロピー符号化器１４の機能を有する集積回路と一体的に形成され、一方、第１のメモリ回路は、その集積回路と別個に設けられてもよい。さらに、これらの機能を有する集積回路は、例えば、プロセッサ、数値演算プロセッサ、あるいは、Graphics Processing Unit(GPU)などに実装されてもよい。

分割部１０には、動画像符号化装置１全体を制御する制御部（図示せず）により設定されたピクチャの符号化順序に従って、各ピクチャが順次入力される。そして分割部１０は、ピクチャが入力される度に、そのピクチャを複数のブロックに分割する。本実施形態では、ブロックはCoding Tree Unit(CTU)である。分割部１０は、ラスタスキャン順に従って、各ブロックを、符号化器１１へ順次出力するとともに、記憶部１５に保存する。

符号化器１１は、入力されたブロックのうち、判定部１３により、符号化器１１による符号化対象と判定されたブロックを予測符号化する。その際、符号化器１１は、符号化対象のピクチャについて適用可能な全ての符号化モードの中から適用する符号化モードを選択する。また、符号化器１１は、簡易符号化器１２と比較して、既に符号化された他のピクチャまたは符号化対象ピクチャの符号化済みの領域に設定される、相対的に広い参照範囲を持つ。そして符号化器１１は、選択した符号化モードを利用してそのブロックを予測符号化することで、そのブロックの符号化データを求める。なお、符号化データは、符号化対象のブロックと予測ブロック間の予測誤差信号を直交変換して得られる直交変換係数を量子化した量子化係数、動きベクトル、及び、適用された符号化モードを表す情報などを含む。そして符号化器１１は、そのブロックの符号化データを記憶部１５に保存する。

簡易符号化器１２には、ラスタスキャン順に各ブロックが順次入力される。そして簡易符号化器１２は、ブロックが入力される度に、そのブロックを予測符号化する。その際、簡易符号化器１２は、符号化対象のピクチャについて適用可能な複数の符号化モードのうち、簡易符号化器１２が使用可能なように予め設定された少なくとも一つの符号化モードの中から、適用する符号化モードを選択する。なお、簡易符号化器１２が使用可能な符号化モードの数は、符号化器１１が使用可能な符号化モードの数よりも少なくてもよい。そして簡易符号化器１２は、選択した符号化モードを利用してそのブロックを予測符号化することで、そのブロックの符号化データを求める。

簡易符号化器１２は、入力されたブロックについての符号化データを求める度に、その符号化データを記憶部１５に保存する。また簡易符号化器１２は、入力されたブロックについての符号化データを求める度に、そのブロックの予測符号化において適用された符号化モードに対応する符号化コストを判定部１３へ出力する。なお、符号化コストは、ブロックを予測符号化する際の予測誤差の量の評価値の一例である。

判定部１３は、簡易符号化器１２からブロックの符号化コストを受け取る度に、その符号化コストに基づいて、そのブロックを符号化器１１による符号化対象とするか否かを判定する。そして判定部１３は、その判定結果を、符号化器１１、簡易符号化器１２及びエントロピー符号化器１４へ通知する。

エントロピー符号化器１４は、各ブロックの符号化データをラスタスキャン順にエントロピー符号化する。その際、エントロピー符号化器１４は、符号化器１１の符号化対象となったブロックについては、符号化器１１により求められた符号化データをエントロピー符号化する。一方、エントロピー符号化器１４は、符号化器１１の符号化対象でないブロックについては、簡易符号化器１２により求められた符号化データをエントロピー符号化する。

さらに、エントロピー符号化器１４は、符号化器１１または簡易符号化器１２により、符号化モードとしてインター予測符号化モードが適用されたブロックについては、そのブロックで使用された動きベクトルの予測ベクトルを、HEVCに準拠して決定する。そしてエントロピー符号化器１４は、その予測ベクトルを特定するための情報、及び、必要に応じて、動きベクトルと予測ベクトル間の予測誤差を、エントロピー符号化する符号化データに含める。なお、インター予測符号化モードは、既に符号化された他のピクチャの情報を利用して、符号化対象ピクチャ上の符号化対象ブロックを符号化する符号化モードである。

エントロピー符号化器１４は、エントロピー符号化された各ブロックの符号化データを、ラスタスキャン順に従って結合し、さらに、所定のヘッダ情報を付加することで、ピクチャ全体の符号化データを含むビットストリームを生成する。各ピクチャの符号化データを含むビットストリームは、さらに、多重化部（図示せず）により、各ピクチャの符号化順序に従って結合され、所定のヘッダ情報が付加される。これにより、符号化された動画像データを含むビットストリームが生成される。

記憶部１５は、符号化順序に従って入力されたピクチャを一時的に記憶する。また記憶部１５は、符号化器１１または簡易符号化器１２により生成された、一旦符号化されてから復号された局所復号ブロックを記憶する。なお、１枚のピクチャ分の局所復号ブロックを組み合わせることで、局所復号ピクチャが得られる。

さらに、記憶部１５は、符号化器１１または簡易符号化器１２により生成された、各ブロックの符号化データなどを記憶する。

以下、動画像符号化装置１の各部の詳細について説明する。

符号化器１１は、判定部１３により符号化対象とされたブロックを予測符号化する。

本実施形態では、動画像符号化装置１は、HEVCに従って各ピクチャを符号化する。そのため、上記のように、各ブロックはCTUとすることができる。そこで、CTUの構造について説明する。

図２は、HEVCによる、ピクチャの分割構造の一例を示す図である。図２に示されるように、ピクチャ２００は、符号化ブロックCTU単位で分割される。CTU２０１のサイズは、64x64〜16x16画素の中から選択できる。ただし、CTU２０１のサイズは、シーケンス単位で一定とされる。

CTU２０１は、さらに、四分木構造で複数のCoding Unit（CU）２０２に分割される。一つのCTU２０１内の各CU２０２は、Zスキャン順に符号化される。CU２０２のサイズは可変であり、そのサイズは、CU分割モード8x8〜64x64画素の中から選択される。CU２０２は、イントラ予測符号化モードとインター予測符号化モードを選択する単位となる。なお、イントラ予測符号化モードは、符号化対象ピクチャの符号化済みの領域の情報を利用して、符号化対象のブロックを符号化する符号化モードである。一方、インター予測符号化モードは、上記のように、既に符号化された他のピクチャの情報を利用して、符号化対象ピクチャ上の符号化対象ブロックを符号化する符号化モードである。CU２０２は、Prediction Unit（PU）２０３単位またはTransform Unit（TU）２０４単位で個別に処理される。PU２０３は、符号化モードに応じた予測が行われる単位となる。例えば、PU２０３は、イントラ予測符号化モードでは、予測ブロックを生成する際に参照される画素及び予測ブロックの各画素の値の算出方法を規定する予測モードが適用される単位となり、一方、インター予測符号化モードでは、動き補償を行う単位となる。PU２０３のサイズは、例えば、インター予測符号化では、PU分割モードPartMode =2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2Nの中から選択できる。一方、TU２０４は、直交変換の単位であり、TU２０４のサイズは、4x4画素〜32x32画素の中から選択される。TU２０４は、四分木構造で分割され、Zスキャン順に処理される。

符号化器１１は、CU、PU及びTUの適用可能なサイズと適用可能な符号化モードの組み合わせのそれぞれについて、符号化対象ブロックの符号化されたデータ量の推定値である符号化コストを算出する。例えば、符号化器１１は、インター予測符号化モードについては、符号化対象ブロックであるCTUを分割するCU、PU及びTUの組み合わせごとに符号化コストを算出する。その際、符号化器１１は、PUごとに、そのPUと局所復号ピクチャとの間でブロックマッチングを実行する。そして符号化器１１は、PUのそれぞれについて、そのPUと最も一致する局所復号ピクチャ及び局所復号ピクチャ上の位置を決定することにより、動きベクトルを求める。

また、イントラ予測符号化モードについては、符号化器１１は、CU、PU及びTUの取り得る組み合わせについて、予測モードごとに符号化コストを算出する。

符号化器１１は、例えば、着目する組み合わせの符号化コストを算出するために、次式に従って、その組み合わせに含まれるTUごとに、画素差分絶対値和SADを算出する。
SAD=Σ|OrgPixel-PredPixel|
ここで、OrgPixelは符号化対象ブロック内の画素の値であり、PredPixelは、予測ブロックに含まれる対応画素の値である。

符号化器１１は、着目する組み合わせについて、次式に従って符号化コストCostを算出する。
Cost = ΣSAD+λR
ここで、ΣSADは、符号化対象ブロック、すなわちCTUに含まれる各TUについて算出されたSADの総和である。またRは、予測モードを表すフラグなど、直交変換係数以外の符号化モードの特定に関する項目についての符号量の推定値である。そしてλは定数である。

なお、符号化器１１は、SADの代わりに、着目するブロックと予測ブロックとの差分画像をアダマール変換した後の各画素の絶対値和SATDなどを算出してもよい。

そして符号化器１１は、符号化コストが最小となるように、符号化対象ブロックについて、CU単位でイントラ予測符号化モード及びインター予測符号化モードの中から適用される符号化モードを選択する。さらに、符号化器１１は、各CU内の各PU及びTUの組み合わせごとに符号化コストが最小となるように、符号化モードを選択する。そして符号化器１１は、CU、PU及びTU及び符号化モードの組み合せの中から、符号化コストが最小となるものを、符号化対象ブロックに適用する組み合わせとする。

符号化器１１は、適用するCU、PU及びTUの組み合わせに従って、符号化対象ブロックであるCTUをCUごとに分割する。そして符号化器１１は、符号化対象ブロックの各CUについて、適用する符号化モードに従って、そのCU内のPUごとに予測ブロックを生成する。符号化器１１は、着目するCUがインター予測符号化される場合、そのCU内のPUごとに、そのPUについて求められた動きベクトルで示された局所復号ピクチャ上の参照領域を動き補償することで予測ブロックを生成する。

また符号化器１１は、着目するCUがイントラ予測符号化される場合、そのCUに含まれる各PUについて、そのPUに隣接する画素から、適用される予測モードに従って予測ブロックを生成する。

符号化器１１は、CUごとに、そのCUに含まれる各PUと、予測ブロックとの差分演算を実行する。そして符号化器１１は、その差分演算により得られたPU内の各画素に対応する差分値を、予測誤差信号とする。

符号化器１１は、符号化対象ブロックのCUごとに、予測誤差信号を変換符号化する。すなわち、符号化器１１は、CUごとに、そのCUに含まれるTU単位で直交変換することにより、直交変換係数を求める。例えば、符号化器１１は、直交変換処理として、DCTを予測誤差信号に対して実行することにより、直交変換係数として、TUごとのDCT係数の組を得る。

次に、符号化器１１は、直交変換係数を量子化することにより、その直交変換係数についての量子化係数を算出する。この量子化処理は、一定区間に含まれる信号値を一つの信号値で表す処理である。そしてその一定区間は、量子化幅と呼ばれる。例えば、符号化器１１は、直交変換係数から、量子化幅に相当する所定数の下位ビットを切り捨てることにより、その直交変換係数を量子化する。量子化幅は、量子化パラメータによって決定される。例えば、符号化器１１は、量子化パラメータの値に対する量子化幅の値を表す関数にしたがって、使用される量子化幅を決定する。またその関数は、量子化パラメータの値に対する単調増加関数とすることができ、予め設定される。

あるいは、直交変換係数の水平方向成分及び垂直方向成分のそれぞれに対応する量子化幅を規定する量子化マトリクスが予め複数準備され、符号化器１１が有するメモリに記憶される。そして符号化器１１は、量子化パラメータにしたがって、それら量子化マトリクスのうちの特定の量子化マトリクスを選択する。そして符号化器１１は、選択された量子化マトリクスを参照して、各直交変換係数に対する量子化幅を決定してもよい。

また符号化器１１は、HEVCなどの動画像符号化規格に対応した様々な量子化パラメータ決定方法の何れかに従って量子化パラメータを決定すればよい。符号化器１１は、例えば、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法を用いることができる。なお、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法に関しては、例えば、http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlで特定されるURLを参照されたい。

また符号化器１１は、符号化対象ブロック内の各TUの量子化係数から、そのブロックを復号して局所復号ブロックとする。復号されたブロックは、そのブロックよりも後のブロックを符号化する際に参照される。そのために、符号化器１１は、量子化係数に、量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより、量子化係数を逆量子化する。この逆量子化により、符号化対象ブロック内の各TUの直交変換係数、例えば、DCT係数の組が復元される。その後、符号化器１１は、復元された直交変換係数をTUごとに逆直交変換処理する。例えば、符号化器１１がDCTを用いて直交変換係数を算出している場合、符号化器１１は、復元された直交変換係数に対して逆DCT処理を実行する。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより、符号化前の予測誤差信号に対応する予測誤差信号が再生される。

符号化器１１は、予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算する。これらの処理を各PUについて実行することにより、符号化器１１は、局所復号ブロックを生成する。

さらに、符号化器１１は、各局所復号ブロックに対して、デブロッキングフィルタ処理及び、Sample Adaptive Offset(SAO)処理といったループ内フィルタ処理を実行してもよい。

なお、簡易符号化器１２により符号化されたブロックと符号化器１１により符号化されたブロックの境界についてデブロッキングフィルタ処理が行われることがある。この場合、簡易符号化器１２により符号化されたブロック内の画素の値が符号化器１１により符号化されたブロック内の画素の値を参照して書き換えられる。そこで、符号化器１１は、符号化対象のブロック内のTU境界、PU境界だけでなく、簡易符号化器１２により符号化されたブロックと符号化器１１により符号化されたブロック間の境界を挟んで実行されるデブロッキングフィルタ処理も実行する。さらに、符号化器１１は、簡易符号化器１２により符号化されたブロック内の画素のうち、符号化器１１により実行されたデブロッキング処理により画素値が置換された画素に対するSAO処理も実行する。

図３は、符号化器１１によるループ内フィルタ処理対象となる領域の一例を示す図である。図３において、ブロック３０１〜３０３は、簡易符号化器１２により求められた局所復号ブロックであり、ブロック３０４は、符号化器１１により求められた局所復号ブロックである。

HEVCでは、8x8画素よりも大きいTU間、PU間の境界についてデブロッキング処理が行われ、かつ、デブロッキングフィルタは、境界の両側の４画素ずつを参照するため、ブロック間の境界ごとに独立に実行される。さらに、デブロッキングフィルタ処理では、境界の両側の３画素ずつが書き換えられる。また、垂直方向の境界についてのデブロッキングフィルタ処理が実行されてから、水平方向の境界についてのデブロッキングフィルタ処理が実行される。そのため、ブロック間の境界３１１のうち、ブロック３０４と他のブロック間の境界３１１ａについて実行されるデブロッキングフィルタ処理では、局所復号ブロック３０４の画素の値が参照される。また、ブロック３０４から左側に３画素分の区間に含まれる境界３１１ｂについて実行されるデブロッキングフィルタ処理では、局所復号ブロック３０４の画素の値の影響を受ける。そこで、境界３１１ａ及び３１１ｂについては、符号化器１１によりデブロッキングフィルタ処理が実行される。

また、HEVCにおけるSAO処理では、デブロッキングフィルタ処理により置換された画素及びその周囲８近傍の画素の値が置換される。そこで、点線で境界が示された領域３２１内の各画素について、符号化器１１がSAO処理を実行する。

符号化器１１は、符号化対象のブロックの符号化データ及び局所復号ブロックを記憶部１５に保存する。なお、符号化器１１は、自身が求めた符号化対象のブロックの符号化データ及び局所復号ブロックにより、簡易符号化器１２により記憶部１５に書き込まれた符号化対象のブロックの符号化データ及び局所復号ブロックを更新してもよい。

簡易符号化器１２は、ピクチャを分割して得られる各ブロック（本実施形態では、CTU）に対して、ラスタスキャン順に予測符号化する。その際、簡易符号化器１２は、符号化器１１が参照可能な範囲よりも狭い範囲を参照して、適用する符号化モードを選択する。また、簡易符号化器１２が使用可能な符号化モードの数自体が、符号化器１１が使用可能な符号化モードの数よりも少なくてもよい。そして簡易符号化器１２は、ブロックごとに、選択した符号化モードを適用してそのブロックを予測符号化する。

本実施形態では、各ブロックは、ラスタスキャン順に符号化器１１の符号化対象となるか否かが判定される。そのため、簡易符号化器１２が着目するブロックを予測符号化する際、その着目するブロックの左側または上側に隣接するブロックが符号化器１１の符号化対象となるか否かは既に判定されている。そこで例えば、イントラ予測符号化モードについて、簡易符号化器１２は、符号化器１１による符号化対象となったブロック内の画素を参照する予測モードを使用しない。すなわち、使用しない予測モードの数だけ、適用可能な符号化モードの数が少なくなるとともに、簡易符号化器１２による参照範囲が狭くなる。

図４は、符号化器１１による符号化対象のブロックと簡易符号化器１２において適用が制限される予測モードとの関係の一例を示す図である。図４において、ブロック４００は、簡易符号化器１２が着目するブロックである。そしてブロック４００の上方に隣接するブロック４０１が、符号化器１１により符号化されたブロックであるとする。この場合、簡易符号化器１２は、ブロック４００の上端に隣接する各PUについて、ブロック４０１内の画素を参照する予測モードの適用を禁止する。すなわち、イントラ予測符号化モードでは、PUの左側または上側もしくは右上方に隣接する画素の中から、予測モードに応じて参照する画素が選択される。そのため、この例では、ブロック４００の上端に隣接する各PUについて、イントラ予測符号化モードで参照される可能性のある範囲４１１に含まれる画素のうち、ブロック４０１に含まれる画素４１２を参照する予測モードの適用が禁止される。

また、インター予測符号化モードについて、簡易符号化器１２は、例えば、符号化器１１の参照範囲よりも狭い参照範囲を局所復号ピクチャ上に設定し、その参照範囲内でブロックマッチングを行うことで動きベクトルを探索してもよい。これにより、簡易符号化器１２での動き探索に要する演算量は、符号化器１１での動き探索に要する演算量よりも削減される。

あるいは、符号化器１１が、動き探索を小数画素精度で実行するのに対して、簡易符号化器１２は、動き探索を整数画素精度で実行してもよい。また、簡易符号化器１２が動き探索の際に参照する局所復号ピクチャの数は、符号化器１１が参照する局所復号ピクチャの数よりも少なくてもよい。

あるいはまた、簡易符号化器１２は、動き探索を行わず、予め設定された所定数の動きベクトルについて符号化コストを算出してもよい。この場合も、実質的に簡易符号化器１２の参照範囲が符号化器１１の参照範囲よりも狭くなるので、演算量が削減される。なお、所定数は、例えば、１〜３に設定される。また、予め設定される動きベクトルとして、例えば、０ベクトル（水平方向成分及び垂直方向成分の何れも０であるベクトル）が用いられる。あるいは、簡易符号化器１２は、予め設定される動きベクトルとして、符号化対象のブロック内のPUに対して符号化順序で直前のピクチャの同じ位置にあるPUについて適用された動きベクトルを用いてもよい。あるいはまた、簡易符号化器１２は、予め設定される動きベクトルとして、符号化対象のブロックの左側または上側に隣接するブロック内のPUについて適用された動きベクトルの平均ベクトルを用いてもよい。

さらに、簡易符号化器１２は、符号化コストが判定部１３が着目するブロックを符号化器１１の判定対象とする値以下である場合には、全ての量子化係数が0になるとみなして、直交変換処理及び量子化処理を省略してもよい。

さらに、簡易符号化器１２は、着目するブロックについて予測誤差信号を変換符号化する際、各TUについて、所定の周波数以下の直交変換係数のみを算出し、その所定の周波数よりも高い周波数を持つ直交変換係数を所定値（例えば０）としてもよい。所定の周波数は、例えば、TUにおいて直交変換係数が算出される最も高い周波数の1/4〜1/2とすることができる。

さらに、簡易符号化器１２は、符号化コストを算出するCU、PU及びTUの組み合わせの数を、符号化器１１が符号化コストを算出するCU、PU及びTUの組み合わせの数よりも少なくしてもよい。例えば、簡易符号化器１２は、着目するブロックについて適用可能なPUのサイズ及びTUのサイズを、特定のサイズ、例えば、8x8画素あるいは16x16画素に限定してもよい。あるいは、簡易符号化器１２は、符号化順序が直前のピクチャにおける、着目するブロックと同位置のブロックに適用されたCU、PU及びTUの組み合わせを、着目するブロックに適用してもよい。

さらに、符号化対象ピクチャが、インター予測符号化モードが適用可能なPピクチャまたはBピクチャである場合、簡易符号化器１２は、着目するブロックについて、イントラ予測符号化モードを適用しなくてもよい。その結果、符号化対象ピクチャが参照されなくなるので、簡易符号化器１２による参照範囲は、符号化器１１による参照範囲よりも狭くなる。そのため、演算量が削減される。すなわち、簡易符号化器１２は、イントラ予測符号化モードのみが適用可能なIピクチャに対しては、上記のような予測モードの制限の下で、着目するブロックのCU、PU及びTUの各組み合わせについて各予測モードについて符号化コストを算出する。そして簡易符号化器１２は、符号化コストが最小となる予測モードとCU、PU及びTUの組合せを求める。一方、PピクチャまたはBピクチャについては、簡易符号化器１２は、上記の制限の下、CU、PU及びTUの各組み合わせについて、インター予測符号化モードを適用して符号化コストを算出する。
なお、符号化対象ピクチャの種別(I,P,B)は、符号化対象となる動画像データに適用されるGroup Of Picutures(GOP)及びGOP内での符号化対象ピクチャの順番に応じて決定される。

あるいは、簡易符号化器１２は、符号化対象ピクチャの種別（I,P,B）によらずに、着目するブロックについてイントラ予測符号化モードを適用しないようにしてもよい。この場合、符号化対象ピクチャがIピクチャであれば、符号化対象ピクチャについてのブロックの全てが符号化器１１による符号化対象となる。一方、符号化対象ピクチャがPピクチャまたはBピクチャであれば、簡易符号化器１２は、上記の制限の下、インター予測符号化モードに基づいて適用される符号化モードを選択する。

さらに、符号化順序で直前のピクチャにおいてインター予測符号化モードが採用されているブロックが多い場合、符号化対象ピクチャでもインター予測符号化モードを適用した方が符号化コストが低くなるブロックが多くなると推定される。そこで、簡易符号化器１２は、符号化対象ピクチャがPピクチャまたはBピクチャの場合、符号化順序で直前のピクチャ上でインター予測符号化モードが適用されたCUを含むブロック数が所定の閾値以上の場合、イントラ予測符号化モードを適用しなくてもよい。なお、所定の閾値は、例えば、ピクチャに設定されるCTUの総数に0.5〜0.9を乗じた値に設定される。あるいは、簡易符号化器１２は、符号化対象ピクチャがPピクチャまたはBピクチャの場合、符号化順序で直前のピクチャ上でインター予測符号化モードが適用されたCUに含まれる画素数が所定の閾値以上の場合、イントラ予測符号化モードを適用しなくてもよい。この場合、所定の閾値は、例えば、ピクチャに含まれる画素の総数に0.5〜0.9を乗じた値に設定される。これにより、簡易符号化器１２は、符号化モードの決定に要する演算量を削減しつつ、符号化効率が高い符号化モードを選択できる可能性を高くできる。

なお、簡易符号化器１２は、着目するブロック内のPU境界及びTU境界についてループ内フィルタ処理を実行してもよい。さらに、簡易符号化器１２は、着目するブロックと、符号化器１１の符号化対象でなく、かつ、簡易符号化器１２により既に符号化されたブロックとの間の境界について、ループ内フィルタ処理を実行してもよい。

簡易符号化器１２は、上述した様々な符号化モードの制限のうち、矛盾を生じないものを二つ以上組み合わせてもよい。

なお、符号化モードの選択などについて、上記のような制限が課される点を除いて、簡易符号化器１２は、符号化器１１と同様の符号化処理を実行する。そのため、簡易符号化器１２による符号化処理の詳細については、符号化器１１による符号化処理の説明を参照されたい。

簡易符号化器１２は、ブロックの符号化データが生成する度に、そのブロックの符号化データ及び局所復号ブロックを記憶部１５に書き込み、そのブロックについて適用された符号化モードに応じた符号化コストを判定部１３へ通知する。

判定部１３は、簡易符号化器１２からブロックの符号化コストを受け取る度に、そのブロックを符号化器１１による符号化対象とするか否かを判定する。

図５は、判定部１３により実行される符号化対象判定処理の動作フローチャートである。判定部１３は、各ブロックについて、この動作フローチャートに従って符号化対象判定処理を実行する。

判定部１３は、着目するブロックの符号化コストが所定のコスト閾値よりも大きいか否か判定する（ステップＳ１０１）。そして判定部１３は、符号化コストが所定のコスト閾値よりも大きければ（ステップＳ１０１−Ｙｅｓ）、そのブロックを符号化器１１による符号化対象に設定する（ステップＳ１０２）。一方、符号化コストが所定のコスト閾値未満であれば（ステップＳ１０１−Ｎｏ）、判定部１３は、そのブロックを符号化器１１による符号化対象としない（ステップＳ１０３）。ステップＳ１０２またはＳ１０３の後、判定部１３は、符号化対象判定処理を終了する。

なお、判定部１３は、各ブロックについて、簡易符号化器１２から、符号化コストの代わりに、予測誤差の量の評価値の他の例として、符号化コストが最小となる場合のΣSAD、すなわち、適用された符号化モードに対応するΣSADを受け取ってもよい。そして判定部１３は、ΣSADが所定のコスト閾値よりも大きければ、そのブロックを符号化器１１による符号化対象としてもよい。一方、符号化コストが所定のコスト閾値未満であれば、判定部１３は、そのブロックを符号化器１１による符号化対象としない。

なお、コスト閾値は、例えば、要求される符号化効率などに応じて設定される。例えば、コスト閾値は、着目するブロックに含まれる全ての画素についての予測誤差が０となる場合の符号化コストの最大値に相当する値に設定される。

変形例によれば、判定部１３は、コスト閾値を動的に設定してもよい。この場合、判定部１３は、例えば、直前の複数のPピクチャまたはBピクチャのそれぞれについて、符号化器１１の符号化対象となったブロックの数をカウントする。そして判定部１３は、符号化器１１の符号化対象となったブロックの数の平均値が所定のカウント数よりも多ければ、コスト閾値を高くする。一方、判定部１３は、符号化器１１の符号化対象となったブロックの数の平均値が所定のカウント数よりも少なければ、コスト閾値を低くする。これにより、判定部１３は、符号化器１１の符号化対象となるブロックの数を、ある程度一定の範囲に収めることができる。
判定部１３は、ブロックが符号化器１１の符号化対象となるか否かの判定結果を、符号化器１１、簡易符号化器１２及びエントロピー符号化器１４へ通知する。

エントロピー符号化器１４は、インター予測符号化モードで符号化されたPUのそれぞれについて、動きベクトルの予測ベクトルを決定する。例えば、エントロピー符号化器１４は、HEVCで規定されたMergeモードに従って、着目するPUの左または上側の所定位置に隣接するPUの動きベクトルと、着目するPUと同位置にある、前のピクチャのPUの動きベクトルとから、予測ベクトルの候補を含むリストを生成する。そしてエントロピー符号化器１４は、予測ベクトルの候補の何れかが、着目するPUの動きベクトルと一致する場合、その一致する候補をMergeモードでの予測ベクトルとする。

また、エントロピー符号化器１４は、Adaptive Motion Vector Prediction(AMVP)モードに従って、予測ベクトルの候補を含むリストを生成する。この場合も、エントロピー符号化器１４は、着目するPUの左または上側の所定位置に隣接するPUの動きベクトルと、着目するPUと同位置にある、前のピクチャのPUの動きベクトルを参照して予測ベクトルの候補を決定する。エントロピー符号化器１４は、着目するPUの動きベクトルに対する予測誤差が最も少ない予測ベクトルの候補を、AMVPモードでの予測ベクトルとする。

エントロピー符号化器１４は、Mergeモードでの予測ベクトルとAMVPモードでの予測ベクトルのそれぞれについて符号化コストを算出する。そしてエントロピー符号化器１４は、符号化コストが小さい方を、着目するPUについての予測ベクトルとして使用する。エントロピー符号化器１４は、Mergeモードでの予測ベクトルを使用する場合、リスト内での予測ベクトルの位置を表すインデックスを求める。エントロピー符号化器１４は、このインデックスをエントロピー符号化する。一方、エントロピー符号化器１４は、AMVPモードでの予測ベクトルを使用する場合、リスト内での予測ベクトルの位置を表すインデックスと、予測ベクトルと動きベクトル間の予測誤差を求める。そしてエントロピー符号化器１４は、このインデックス及び予測誤差をエントロピー符号化する。
なお、着目するPUが含まれるピクチャがBピクチャであり、そのPUが双方向予測されている場合には、エントロピー符号化器１４は、L1方向及びL2方向のそれぞれの動きベクトルについて、上記の処理を実行する。

また、エントロピー符号化器１４は、各ブロックについて、記憶部１５に記憶されているそのブロックの符号化データをラスタスキャン順に順次エントロピー符号化する。本実施形態では、エントロピー符号化器１４は、エントロピー符号化方式として、Context-based Adaptive Binary Arithmetic Coding(CABAC)といった算術符号化処理を用いる。上記のように、エントロピー符号化器１４は、符号化器１１により予測符号化されたブロックについては、符号化器１１により得られた符号化データをエントロピー符号化する。一方、エントロピー符号化器１４は、その他のブロックについては簡易符号化器１２により得られた符号化データをエントロピー符号化する。

なお、エントロピー符号化器１４は、符号化対象ピクチャの全てのブロックの符号化データが簡易符号化器１２及び符号化器１１により算出されると、左上端のブロックから順にエントロピー符号化処理を実行する。あるいは、エントロピー符号化器１４は、判定部１３から符号化器１１の符号化対象と判定されたブロックについて、符号化器１１が符号化する度に、そのブロックまでエントロピー符号化処理を実行してもよい。

図６は、動画像符号化装置１による動画像符号化処理の動作フローチャートである。動画像符号化装置１はピクチャごとに、下記の動作フローチャートに従ってピクチャを符号化する。

分割部１０は、符号化対象ピクチャを複数のブロックに分割する（ステップＳ２０１）。分割部１０は、各ブロックをラスタスキャン順に簡易符号化器１２へ出力し、記憶部１５に記憶する。簡易符号化器１２は、ラスタスキャン順に従ってブロックが入力される度に、符号化器１１の参照範囲よりも狭い参照範囲を参照して、各符号化モードについて符号化コストを算出し、符号化コストが最小となるように適用する符号化モードを選択する。そして簡易符号化器１２は、選択した符号化モードを用いてそのブロックを予測符号化する（ステップＳ２０２）。簡易符号化器１２は、符号化が終了する度に、そのブロックの符号化データを記憶部１５に保存するとともに、適用した符号化モードに対応する符号化コストを判定部１３へわたす。

判定部１３は、簡易符号化器１２から、ブロックについての符号化コストを受け取る度に、その符号化コストに基づいて、そのブロックを符号化器１１の符号化対象とするか否か判定する（ステップＳ２０３）。そして判定部１３は、その判定結果を符号化器１１、簡易符号化器１２及びエントロピー符号化器１４へ通知する。

符号化器１１は、符号化対象のピクチャについて設定された各ブロックのうち、判定部１３により符号化対象と判定されたブロックを予測符号化する（ステップＳ２０４）。その際、符号化器１１は、簡易符号化器１２の参照範囲よりも広い参照範囲を参照して、適用する符号化モードを選択し、選択した符号化モードを用いてそのブロックを予測符号化する。そして符号化器１１は、そのブロックの符号化データを記憶部１５に保存する。さらに、符号化器１１は、符号化対象となったブロック内のTUまたはPUの境界だけでなく、隣接するブロックとの境界について、ループ内フィルタ処理を実行する（ステップＳ２０５）。

エントロピー符号化器１４は、インター予測符号化されたPUを含むブロックのそれぞれについて、そのPUの動きベクトルの予測ベクトルを決定する（ステップＳ２０６）。そしてエントロピー符号化器１４は、その予測ベクトルを特定する情報、及び、必要に応じて、予測ベクトルと動きベクトル間の予測誤差を、ブロックの符号化データに追加する。さらに、エントロピー符号化器１４は、ラスタスキャン順に、各ブロックの符号化データをエントロピー符号化する（ステップＳ２０７）。そして動画像符号化装置１は、動画像符号化処理を終了する。

次に、本実施形態による動画像符号化装置による電力消費量と、比較例として、クロックゲーティングまたは階層符号化を利用して電力消費量を抑制する動画像符号化装置の電力消費量との比較について説明する。

本実施形態による動画像符号化装置１による、ピクチャ当たりの消費電力Pは、例えば、次式で表される。
P=LM+N
ここで、Mは、ピクチャに含まれるブロックの総数である。Nは、符号化器１１の符号化対象となるブロックに相当する。またLは、符号化器１１における一つのブロックの消費電力を1とした場合の、簡易符号化器１２による一つのブロックの消費電力を表す。例えば、簡易符号化器１２が算出する符号化コストの数が、符号化器１１が算出する符号化コストの数の1/10であれば、Lは0.1程度となる。

一方、クロックゲーティングを用いる場合、動画像符号化装置は、全ての符号化モードを適用可能な符号化器を用いて各ブロックを符号化するものの、符号化器中で早期に終了した処理に相当する回路へのクロック信号の供給を停止することで省電力化を図る。この場合、ピクチャ当たりの消費電力P1は、例えば、次式で表される。
P1=G(M-N)+N
ここで、Nは、クロック信号の供給が停止されないブロック数を表し、本実施形態による、符号化器１１の符号化対象となるブロックに相当する。またGは、クロック信号の供給が停止されたブロックの消費電力を表す。一般に、Gは、クロック信号の供給が停止されない場合、すなわち、フルに符号化器が動作した場合に一つのブロックの符号化における消費電力を1とした場合、0.8〜0.9程度の値となる。したがって、本実施形態による動画像符号化装置１によるピクチャ当たりの消費電力Pとこの比較例によるピクチャ当たりの消費電力P1との差は、次式の通りとなる。
P1-P=GM-GN-LM=(G-L)M-GN
上記のように、G=0.8〜0.9、L=0.1とするならば、NがMの1/2以下であれば(P1-P)は正となる。すなわち、比較例よりも、本実施形態による動画像符号化装置の方が消費電力を削減できる。

また、階層符号化を用いる場合、動画像符号化装置は、ピクチャをダウンサンプリングして得られる縮小ピクチャを、ブロックに相当するサブブロック単位に分割し、サブブロックごとに適用する符号化モードの候補を選択する。そしてこの動画像号化装置は、各ブロックについて、適用される符号化モードを、対応するサブブロックについて求められた候補の中から選択する。この場合、ピクチャ当たりの消費電力P2は、例えば、次式で表される。
P2=RM+OM
ここで、Rは、縮小ピクチャでの一つのサブブロックについての処理に要する消費電力を表す。またOは、ピクチャでの一つのブロックについての処理に要する消費電力を表す。この場合、縮小ピクチャを利用せずに全ての符号化モードの中から適用する符号化モードを選択した場合の一つのブロックの消費電力を1とした場合、R=0.1〜0.3程度、O=0.2〜0.3程度となる。したがって、本実施形態による動画像符号化装置１によるピクチャ当たりの消費電力Pとこの比較例によるピクチャ当たりの消費電力P2との差は、次式の通りとなる。
P2-P=(R+O-L)M-N
したがって、OとLの差があまりなければ、NがMの数分の１程度以下となる場合に(P2-P)は正となる。また、OがLよりも大きいほど、Nが多くても(P2-P)は正となる。すなわち、比較例よりも、本実施形態による動画像符号化装置の方が消費電力を削減できる。

以上に説明してきたように、この動画像符号化装置は、ピクチャに対して適用可能な符号化モードを全て使用可能な符号化器と、符号化器よりも、符号化モードの決定の際に参照する参照範囲が狭い簡易符号化器とを有する。そしてこの動画像符号化装置は、ピクチャを分割した複数のブロックのうち、簡易符号化器での符号化コストが所定のコスト閾値以下となるブロックを簡易符号化器で予測符号化する。そのため、この動画像符号化装置は、全てのブロックを符号化器で予測符号化するよりも、適用可能な符号化モードを決定する際の演算量を削減できる。そのため、この動画像符号化装置は消費電力を削減できる。さらに、この動画像符号化装置は、簡易符号化器での符号化コストが所定のコスト閾値よりも大きいブロックについては符号化器で予測符号化するので、そのようなブロックについてより適切な符号化モードを適用できる可能性が高くなる。そのため、この動画像符号化装置は、符号化効率の低下を抑制できる。特に、符号化対象となる動画像データが、監視カメラによる映像など、動きが無いか、ピクチャ上の一部だけに動きが有るような動画像データである場合、大半のブロックは簡易符号化器により処理できる。そのため、この動画像符号化装置は、そのような動画像データについて、消費電力をより効率的に削減できる。

変形例によれば、簡易符号化器１２は、各ブロックについて、一旦、最小となる符号化コストの算出だけを実行してもよい。そして判定部１３により、符号化器１１の符号化対象とされなかったブロックについて予測符号化してもよい。この場合、符号化器１１の符号化対象となるブロックについての簡易符号化器１２による予測誤差信号の算出、直交変換及び量子化などの処理が省略されるので、動画像符号化装置は、より消費電力を削減できる。

また他の変形例によれば、符号化器１１は、符号化器１１が符号化するブロックについて、インター予測符号化モードが適用されるPUの動きベクトルの予測ベクトルを決定してもよい。この場合、符号化器１１が、上述した、エントロピー符号化器２４による予測ベクトルの決定処理と同様の処理を行って予測ベクトルを決定すればよい。あるいは、符号化器１１は、適用する符号化モードを決定する際に、その予測ベクトルを利用して、各符号化モードについての符号化コストを算出してもよい。さらに、符号化器１１は、その予測ベクトルのリスト内の位置を表すインデックス及びその予測ベクトルの算出に利用したモード（MergeモードまたはAMVPモード）を表すフラグをブロックの符号化データに含めてもよい。
同様に、簡易符号化器１２により符号化された、インター予測符号化モードが適用されるCUを含むブロックについて、符号化器１１がそのCU内のPUの動きベクトルの予測ベクトルを決定してもよい。

また、この動画像符号化装置は、仮想デスクトップインフラストラクチャー(Virtual Desktop Infrastructure,VDI)といった、複数の動画像データを並列に符号化することが要求されるシステムにも利用できる。

図７は、この変形例による動画像符号化装置の概略構成図である。動画像符号化装置２は、複数の分割部２０−１〜２０−ｎと、少なくとも一つの符号化器２１−１〜２１−ｍと、複数の簡易符号化器２２−１〜２２−ｎと、判定部２３と、複数のエントロピー符号化器２４−１〜２４−ｓと、記憶部２５とを有する。なお、ｍは１以上の整数であり、ｎ、ｓは、それぞれ、２以上の整数である。例えば、動画像符号化装置２は、同時に符号化する動画像データの数の最大値と等しい数の簡易符号化器を有することが好ましい。一方、符号化器による符号化対象となるブロックの数は、簡易符号化器により符号化されるブロックの数よりも少ない。そこで、動画像符号化装置２が有する簡易符号化器の数ｎは、符号化器の数ｍよりも多いことが好ましい。これにより、動画像符号化装置２は、各符号化器の稼働率を向上できるので、演算回路の規模を抑制しつつ、複数の動画像データを効率よく符号化できる。なお、動画像符号化装置２が有するエントロピー符号化器の数ｓは、簡易符号化器の数ｎと等しいことが好ましい。これにより、動画像符号化装置２は、ｎ個の簡易符号化器が同時に予測符号化する動画像データと同数の動画像データを同時にエントロピー符号化できる。

動画像符号化装置２は、例えば、VDIを提供するシステムにおいて、各端末に表示されるバーチャルマシンの画像を生成し、その画像を圧縮符号化してから各端末へ配信するサーバに実装される。そして動画像符号化装置２は、各端末のバーチャルマシンの画像を符号化する。

複数の分割部２０−１〜２０−ｎのそれぞれには、別個の動画像データのピクチャが符号化順序に従って順次入力される。あるいは、各分割部２０−１〜２０−ｎには、同じ動画像データの異なるピクチャが入力されてもよい。複数の分割部２０−１〜２０−ｎのそれぞれは、図１に示された動画像符号化装置１の分割部１０と同様の機能を有し、入力されたピクチャを複数のブロックに分割する。そして分割部２０−ｋ（ただし、１≦ｋ≦ｎ）により得られたブロックは、ラスタスキャン順に順次簡易符号化部２２−ｋに入力されるとともに、記憶部２５に記憶される。

複数の符号化器２１−１〜２１−ｍのそれぞれは、動画像符号化装置１の符号化器１１と同様の機能を有する。そして各符号化器２１−１〜２１−ｍは、判定部２３により指示された、符号化対象となるブロックを記憶部２５から読み込み、読み込んだブロックに対して複数の符号化モードのうちの符号化コストが最小となる符号化モードを適用して予測符号化する。そして各符号化器２１−１〜２１−ｍは、ブロックの符号化データを記憶部２５に保存する。また、各符号化器２１−１〜２１−ｍは、ブロックの符号化データの生成が終了する度に符号化が終了したことを判定部２３へ通知する。

複数の簡易符号化器２２−１〜２２−ｎのそれぞれは、動画像符号化装置１の簡易符号化器１２と同様の機能を有する。そして各簡易符号化器２２−１〜２２−ｎは、入力されたブロックを、各符号化器２１−１〜２１−ｍの参照範囲よりも狭い参照範囲を参照して選択した符号化モードを適用して予測符号化する。そして各簡易符号化器２２−１〜２２−ｎは、ブロックの符号化データを記憶部２５に保存する。

判定部２３は、動画像符号化装置１の判定部１３と同様の機能を有する。そして判定部２３は、簡易符号化器２２−１〜２２−ｎの何れかから符号化コストを受け取る度に、受け取った符号化コストに基づいて、その簡易符号化器により符号化されたブロックが符号化器の符号化対象となるか否か判定する。そして判定部２３は、符号化器２１−１〜２１−ｍのうち、符号化処理を実行していない符号化器に、符号化器の判定対象となったブロックを符号化するよう指示する。
なお、入力される動画像データの数が多く、符号化器２１−１〜２１−ｍの処理能力を超える場合には、判定部２３は、何れかの動画像データのピクチャに含まれるブロックについては、符号化器２１−１〜２１−ｍによる符号化処理の対象にしなくてもよい。例えば、各動画像データにおいて、直近の一定期間内に符号化器２１−１〜２１−ｍの処理対象と判定されたブロックの数が所定数以上となると、判定部２３は、何れかの動画像データのピクチャに含まれるブロックを各符号化器の処理対象としない。これにより、判定部２３は、各符号化器においてオーバーフローが生じることを防止できる。

複数のエントロピー符号化器２４−１〜２４−ｓのそれぞれは、動画像符号化装置１のエントロピー符号化器１４と同様の機能を有する。そして各エントロピー符号化器２４−１〜２４−ｓは、符号化中の動画像データの何れかのピクチャの符号化データをエントロピー符号化する。

記憶部２５は、動画像符号化装置１の記憶部１５と同様の機能を有する。そして記憶部２５は、符号化対象となる動画像データの各ピクチャ、各ピクチャのブロックごとの符号化データ、及び、局所復号ピクチャなどを記憶する。

図８は、動画像符号化装置２が同時に複数の動画像データを符号化する際の各部の処理対象となるピクチャを表すタイミングチャートの一例を示す図である。この例では、ｎ＝ｓ＝４、ｍ＝１とした。また、動画像符号化装置２は、４個の動画像データを同時に符号化するものとした。図８において、横軸は時間を表す。縦軸のｓｅ１〜ｓｅ４は、それぞれ、簡易符号化器２２−１〜２２−４を表す。また、ｅ１は、符号化器２１−１を表す。そしてｅｅ１〜ｅｅ４は、エントロピー符号化器２４−１〜２４−４を表す。そして個々のブロック８００は、各符号化器、簡易符号化器及びエントロピー符号化器の何れかによる、ピクチャの符号化処理に要する期間を表す。またブロック８００内に記載された(X-Y)は、Xが動画像データの入出力系統を表し、Yがピクチャの番号を表す。例えば、(1-2)は、1番目の入出力系統の動画像データに含まれる、2番目のピクチャであることを表している。

この例では、４個の動画像データが、異なる簡易符号化器及びエントロピー符号化器を用いて並列に符号化される。一方、符号化器は、それら４個の動画像データに対して共通に利用される。そして、符号化器は、各簡易符号化器が符号化しているピクチャの一つ前のピクチャに含まれるブロックを符号化する。同様に、各エントロピー符号化器は、符号化器が符号化しているピクチャの一つ前のピクチャに含まれる各ブロックの符号化データをエントロピー符号化する。

上記の実施形態または変形例による動画像符号化装置は、HEVC以外の動画像符号化規格に準拠して動画像データを符号化してもよい。例えば、動画像符号化装置は、H.264に準拠して動画像データを符号化してもよい。この場合、分割部は、動画像データに含まれるピクチャを、例えば16x16画素のブロックで分割する。また、簡易符号化器及び符号化器は、デブロッキングフィルタ処理による影響が複数のブロックに伝搬することを防止するため、デブロッキングフィルタ処理を実行しなくてもよい。この場合、簡易符号化器により符号化されたブロックと符号化器により符号化されたブロック間の境界周辺でブロックノイズが生じないように、符号化器は、適用する符号化モードを選択することが好ましい。そこで符号化器は、簡易符号化器により符号化されたブロックと符号化器により符号化されたブロック間の境界について、例えば、デブロッキングフィルタの強度を規定するブロック境界強度bSが0となる範囲に含まれる符号化モードのみを用いるようにしてもよい。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
動画像に含まれるピクチャを符号化する動画像符号化装置であって、
前記ピクチャを複数のブロックに分割する分割部と、
前記複数のブロックのそれぞれについて、前記ピクチャよりも符号化順序が前の参照ピクチャまたは前記ピクチャ上の符号化済みの参照領域に設定される第１の参照範囲を参照する少なくとも一つの第１の符号化モードの何れかにより予測符号化する際の予測誤差の量を表す評価値を算出し、かつ、前記複数のブロックのうちの何れかを前記少なくとも一つの第１の符号化モードの何れかにより予測符号化して当該ブロックの符号化データを算出する第１の符号化器と、
前記複数のブロックのうちの何れかを、前記参照ピクチャまたは前記参照領域に設定され、かつ、前記第１の参照範囲よりも広い第２の参照範囲を参照する少なくとも一つの第２の符号化モードの何れかにより予測符号化して当該ブロックの符号化データを算出する第２の符号化器と、
前記複数のブロックのそれぞれの前記評価値に基づいて、前記複数のブロックのうち、前記第２の符号化器により予測符号化するブロックを判定する判定部と、
前記複数のブロックのそれぞれの前記符号化データをエントロピー符号化するエントロピー符号化器と、
を有する動画像符号化装置。
（付記２）
前記少なくとも一つの第１の符号化モード及び前記少なくとも一つの第２の符号化モードのそれぞれは、前記参照ピクチャを参照して前記複数のブロックのうちの任意のブロックを予測符号化するインター予測符号化モードを含み、前記第１の符号化器は、前記参照ピクチャ上に設定される前記第１の参照範囲を前記参照ピクチャ上に設定される前記第２の参照範囲よりも狭くする、付記１に記載の動画像符号化装置。
（付記３）
前記少なくとも一つの第１の符号化モードは、前記参照領域を参照して前記複数のブロックのうちの任意のブロックを予測符号化するイントラ予測符号化モードを含み、前記第１の符号化器は、前記参照領域内に設定される前記第１の参照範囲を、前記複数のブロックのうちの前記第２の符号化器により予測符号化されるブロックを含まないように設定する、付記２に記載の動画像符号化装置。
（付記４）
前記ピクチャが前記インター予測符号化モードと前記イントラ予測符号化モードの両方を適用可能なピクチャ（PまたはBピクチャ）である場合、前記第１の符号化器は、前記インター予測符号化モードに基づいて前記複数のブロックのうちの前記第２の符号化器により符号化されないブロックを予測符号化し、一方、前記第２の符号化器は、前記複数のブロックのうちの当該第２の符号化器が符号化すると判定されたブロックのそれぞれについて、前記インター予測符号化モード及び前記イントラ予測符号化モードの中から当該ブロックに適用する符号化モードを選択する、付記３に記載の動画像符号化装置。
（付記５）
前記ピクチャが前記イントラ予測符号化モードを適用可能であり、かつ、前記インター予測符号化モードを適用不能なピクチャである場合、前記第２の符号化器が前記複数のブロックの全てを予測符号化する、付記４に記載の動画像符号化装置。
（付記６）
前記少なくとも一つの第２の符号化モードは、前記参照領域を参照して前記複数のブロックのうちの任意のブロックを予測符号化するイントラ予測符号化モードを含み、一方、前記少なくとも一つの第１の符号化モードは前記イントラ予測符号化モードを含まない、付記２に記載の動画像符号化装置。
（付記７）
前記第２の符号化器は、前記複数のブロックのうちの前記第２の符号化器が予測符号化したブロックと前記複数のブロックのうちの前記第１の符号化器が予測符号化したブロック間の境界を挟んだデブロッキングフィルタ処理を実行する、付記１〜６の何れかに記載の動画像符号化装置。
（付記８）
前記判定部は、前記複数のブロックのうち、前記評価値が所定の閾値よりも大きいブロックを前記第２の符号化器により予測符号化すると判定する、付記１〜７の何れかに記載の動画像符号化装置。
（付記９）
前記第１の符号化器は、前記複数のブロックのうちの前記第２の符号化器により符号化されないブロックを予測符号化して得られる前記予測誤差を直交変換して所定の周波数帯域に含まれる周波数を持つ直交変換係数を算出し、かつ、前記所定の周波数帯域に含まれない周波数を持つ直交変換係数を所定値とし、各周波数の前記直交変換係数を量子化することで前記符号化データを生成する、付記１〜７の何れかに記載の動画像符号化装置。
（付記１０）
前記第１の符号化器は、前記複数のブロックのうち、前記評価値が前記所定の閾値未満であるブロックを予測符号化して得られる前記予測誤差を前記符号化データとする、付記８に記載の動画像符号化装置。
（付記１１）
前記エントロピー符号化器は、前記複数のブロックのうち、前記インター予測符号化モードが適用されたブロックについて前記予測誤差を算出する際に参照された前記参照ピクチャ上の領域を示す動きベクトルの予測ベクトルを求め、当該予測ベクトルを示す指標をエントロピー符号化する、付記２に記載の動画像符号化装置。
（付記１２）
動画像に含まれるピクチャを符号化する動画像符号化方法であって、
前記ピクチャを複数のブロックに分割し、
前記ピクチャよりも符号化順序が前の参照ピクチャまたは前記ピクチャ上の符号化済みの参照領域に設定される第１の参照範囲を参照する少なくとも一つの第１の符号化モードの何れかによりブロックを予測符号化して当該ブロックの符号化データを算出する第１の符号化器により、前記複数のブロックのそれぞれについて、前記符号化データを算出する際の予測誤差の量を表す評価値を算出し、
前記複数のブロックのそれぞれの前記評価値に基づいて、前記複数のブロックのうち、前記参照ピクチャまたは前記参照領域に設定され、かつ、前記第１の参照範囲よりも広い第２の参照範囲を参照する少なくとも一つの第２の符号化モードの何れかによりブロックを予測符号化して当該ブロックの符号化データを算出する第２の符号化器により予測符号化するブロックを判定し、
前記複数のブロックのうちの前記第２の符号化器により符号化されないブロックを前記第１の符号化器により予測符号化して当該ブロックの符号化データを算出し、
前記複数のブロックのうちの前記第２の符号化器により符号化されると判定されたブロックを、前記第２の符号化器により予測符号化して当該ブロックの符号化データを算出し、
前記複数のブロックのそれぞれの前記符号化データをエントロピー符号化する、
ことを含む動画像符号化方法。

１、２ 動画像符号化装置
１０、２０−１〜２０−ｎ 分割部
１１、２１−１〜２１−ｍ 符号化器
１２、２２−１〜２２−ｎ 簡易符号化器
１３、２３ 判定部
１４、２４−１〜２４−ｓ エントロピー符号化器
１５、２５ 記憶部

Claims (6)

1. 動画像に含まれるピクチャを符号化する動画像符号化装置であって、
   前記ピクチャを複数のブロックに分割する分割部と、
   前記複数のブロックのそれぞれについて、前記ピクチャよりも符号化順序が前の参照ピクチャまたは前記ピクチャ上の符号化済みの参照領域に設定される第１の参照範囲を参照する少なくとも一つの第１の符号化モードの何れかにより予測符号化する際の予測誤差を表す評価値を算出し、かつ、前記複数のブロックのうちの何れかを前記少なくとも一つの第１の符号化モードの何れかにより予測符号化して当該ブロックの符号化データを算出する第１の符号化器と、
   前記複数のブロックのうちの何れかを、前記参照ピクチャまたは前記参照領域に設定され、かつ、前記第１の参照範囲よりも広い第２の参照範囲を参照する少なくとも一つの第２の符号化モードの何れかにより予測符号化して当該ブロックの符号化データを算出する第２の符号化器と、
   前記複数のブロックのそれぞれの前記評価値に基づいて、前記複数のブロックのうち、前記第２の符号化器により予測符号化するブロックを判定する判定部と、
   前記複数のブロックのそれぞれの前記符号化データをエントロピー符号化するエントロピー符号化器と、
   を有する動画像符号化装置。
2. 前記少なくとも一つの第１の符号化モード及び前記少なくとも一つの第２の符号化モードのそれぞれは、前記参照ピクチャを参照して前記複数のブロックのうちの任意のブロックを予測符号化するインター予測符号化モードを含み、前記第１の符号化器は、前記参照ピクチャ上に設定される前記第１の参照範囲を前記参照ピクチャ上に設定される前記第２の参照範囲よりも狭くする、請求項１に記載の動画像符号化装置。
3. 前記少なくとも一つの第１の符号化モードは、前記参照領域を参照して前記複数のブロックのうちの任意のブロックを予測符号化するイントラ予測符号化モードを含み、前記第１の符号化器は、前記参照領域内に設定される前記第１の参照範囲を、前記複数のブロックのうちの前記第２の符号化器により予測符号化されるブロックを含まないように設定する、請求項１または２に記載の動画像符号化装置。
4. 前記判定部は、前記複数のブロックのうち、前記評価値が所定の閾値よりも大きいブロックを前記第２の符号化器により予測符号化すると判定する、請求項１〜３の何れか一項に記載の動画像符号化装置。
5. 前記第１の符号化器は、前記複数のブロックのうちの前記第２の符号化器により符号化されないブロックを予測符号化して得られる前記予測誤差を直交変換して所定の周波数帯域に含まれる周波数を持つ直交変換係数を算出し、かつ、前記所定の周波数帯域に含まれない周波数を持つ直交変換係数を所定値とし、各周波数の前記直交変換係数を量子化することで前記符号化データを生成する、請求項１〜４の何れか一項に記載の動画像符号化装置。
6. 動画像に含まれるピクチャを符号化する動画像符号化方法であって、
   前記ピクチャを複数のブロックに分割し、
   前記ピクチャよりも符号化順序が前の参照ピクチャまたは前記ピクチャ上の符号化済みの参照領域に設定される第１の参照範囲を参照する少なくとも一つの第１の符号化モードの何れかによりブロックを予測符号化して当該ブロックの符号化データを算出する第１の符号化器により、前記複数のブロックのそれぞれについて、前記符号化データを算出する際の予測誤差の量を表す評価値を算出し、
   前記複数のブロックのそれぞれの前記評価値に基づいて、前記複数のブロックのうち、前記参照ピクチャまたは前記参照領域に設定され、かつ、前記第１の参照範囲よりも広い第２の参照範囲を参照する少なくとも一つの第２の符号化モードの何れかによりブロックを予測符号化して当該ブロックの符号化データを算出する第２の符号化器により予測符号化するブロックを判定し、
   前記複数のブロックのうちの前記第２の符号化器により符号化されないブロックを前記第１の符号化器により予測符号化して当該ブロックの符号化データを算出し、
   前記複数のブロックのうちの前記第２の符号化器により符号化されると判定されたブロックを、前記第２の符号化器により予測符号化して当該ブロックの符号化データを算出し、
   前記複数のブロックのそれぞれの前記符号化データをエントロピー符号化する、
   ことを含む動画像符号化方法。

Images