JP2014116786A - 動画像符号化装置及びプログラム - Google Patents

Abstract

【課題】動画像のＷｙｎｅｒ−Ｚｉｖ符号化に際して、復号画像を生成するのに必要なＷｙｎｅｒ−Ｚｉｖ符号のレートの推定を、より高精度で行う。
【解決手段】動画像符号化装置は、符号化対象画像をＷｙｎｅｒ−Ｚｉｖ符号化してビットストリームを生成する手段と、符号化対象画像と参照画像から並進運動領域を求める手段と、符号化対象画像と予測画像との間で、並進運動領域と非並進運動領域とで異なる重みづけに基づく評価を行い、その評価結果に基づいて、復号画像を生成するのに必要なビットストリームのレートを推定し、生成するビットストリームのレートを制御する手段とを有する。
【選択図】図１

Description

この発明は、動画像符号化装置及びプログラムに関し、Ｓｌｅｐｉａｎ‐Ｗｏｌｆ理論およびＷｙｎｅｒ−Ｚｉｖ理論に基づき動画像の符号化および復号を行う動画像符号化装置に適用し得る。

従来のＤＶＣ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式を採用したシステムは、Ｓｌｅｐｉａｎ‐Ｗｏｌｆ理論およびＷｙｎｅｒ−Ｚｉｖ理論に基づき動画像の符号化および復号をおこなうシステムである。

ＤＶＣ方式は、デコーダで生成される符号化対象画像の予測画像（以下、「デコーダ予測画像」と呼ぶ）から符号化対象画像を再構成する符号（以下、「Ｗｙｎｅｒ−Ｚｉｖ符号」と呼ぶ）を、デコーダ予測画像を直接参照することなく生成することを特徴とする。この特徴より、ＤＶＣ方式を採用した動画像符号化装置は複雑な予測画像生成部を備える必要がなく、符号化にかかる演算量の削減が可能になる。ＤＶＣ方式の間題は、デコーダ予測画像自体を保持して、復号画像を生成するのに必要十分なＷｙｎｅｒ−Ｚｉｖ符号のレートを求めることが困難であることである。例えば、ＤＶＣ方式を採用した動画像符号化装置では、Ｗｙｎｅｒ−Ｚｉｖ符号が多すぎると圧縮効果が得られず、Ｗｙｎｅｒ−Ｚｉｖ符号が少なすぎるとデコーダ予測画像から復号画像を生成できない。

このようなＤＶＣ方式の課題を解決する従来技術として、非特許文献１の記載技術がある。非特許文献１では、デコーダ予測画像から復号画像が生成されるまで追加のＷｙｎｅｒ−Ｚｉｖ符号を要求し続ける（フィードバックし続ける）ことで必要十分なレートを探る方式（以下、「デコーダレート制御方式」と呼ぶ）を実現している。

しかし、従来のデコーダレート制御方式には、ネットワークを介した復号処理の存在なしに符号化することができないため、用途が限定されるという短所がある。そして、この短所を改善するための従来技術として非特許文献２、３の記載技術がある。

この短所を解消するため、非特許文献２や非特許文献３では、エンコーダ予測画像（デコーダ予測画像ほど複雑な演算を必要とせずに生成が可能な予測画像）を動画像符号化装置側で生成し、符号化対象画像とエンコーダ予測画像を比較することで、レートを制御する方式（以下、「エンコーダレート制御方式」と呼ぶ）が提案されている。

非特許文献２、３のエンコーダレート制御方式を採用した動画像符号化装置では、レート制御を行うことで、初回に送られるＷｙｅｒ−Ｚｉｖ符号のレートを、必要十分なレートに近づけ、フィードバック回数を少なくしている。

Ｂ．Ｇｉｒｏｄ，ａＭ．Ａａｒｏｎ，Ｓ．Ｒａｎｅ，ａｎｄ Ｄ．Ｒｅｂｏｌｌｏ−Ｍｏｎｅｄｅｒｏ，"Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ，ＶＯｌ．９３，Ｊａｎ．２００５，ｐｐ．７１−８３． Ｃ．Ｂｒｉｔｅｓ ａｎｄ Ｆ．Ｐｅｒｅｉｒａ，"Ｅｎｃｏｄｅｒ ｒａｔｅ ｃｏｎｔｒｏｌ ｆｏｒ ｔｒａｎｓｆｏｒｍ ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｖｉｄｅｏ ｃｏｄｉｎｇ，"Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２００７．ＩＣＩＰ ２００７．ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，ＩＥＥＥ，２００７，ｐｐ．４−７． Ｋ．Ｓａｋｏｍｉｚｕ，Ｔ．Ｙａｍａｓａｋｉ，Ｓ．Ｎａｋａｇａｗａ ａｎｄ Ｔ．Ｎｉｓｈｉ，"Ａ Ｒｅａｌ‐ｔｉｍｅ Ｓｙｓｔｅｍ ｏｆ Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，"Ｐｒｏｃ．ｏｆ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｎ（ＰＣＳ’１０），ｐｐ．５３８−５４１，Ｎａｇｏｙａ，Ｊａｐａｎ，Ｎｏｖ．２０１０． Ｍ．Ｔａｇｌｉａｓａｃｃｈｉ．Ａ．Ｍａｊｕｍｄａｒ，ａｎｄ Ｋ．Ｒａｍｃｈａｎｄｒａｎ，"Ａ ｄｉｓｔｒｉｂｕｔｅｄ‐ｓｏｕｒｃｅ‐ｃｏｄｉｎｇ ｂａｓｅｄ ｒｏｂｕｓｔ ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｅｃ，"Ｐｒｏｃ．Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ，Ｃｉｔｅｓｅｅｒ．２００４．

しかしながら、非特許文献２、３に記載されたエンコーダレート制御方式を採用した動画像符号化装置では、デコーダ予測画像を用いずに、復号側で復号するのに必要十分なレートを推定することは困難である。デコーダ予測画像を用いずに、復号側で必要となるレートを推定する方法としては、例えば、符号化対象画像とエンコーダ予測画像間の差に関する情報を計算し、差に関する情報からレートを推定する方法がある。

しかし、符号化対象画像とエンコーダ予測画像間の差に関する情報と、符号化対象画像とデコーダ予測画像間の差に関する情報は、等しくはなく、さらに、相関関係があるとは限らない。逆に、従来の動画像符号化装置にでは、符号化対象画像とエンコーダ予測画像間の差に関する情報をもちいてレート推定を行ったために生じる誤差により、レートの推定精度に悪影響を与え、結果として、符号化効率の悪化を招くおそれがあった。

そのため、動画像のＷｙｎｅｒ−Ｚｉｖ符号化に際して、復号画像を生成するのに必要なＷｙｎｅｒ−Ｚｉｖ符号のレートの推定を、より高精度で行うことができる動画像符号化装置及びプログラムが望まれている。

第１の本発明は、（１）符号化対象画像をＷｙｎｅｒ−Ｚｉｖ符号化して、符号化データのビットストリームを生成するＷｙｎｅｒ−Ｚｉｖ符号化手段と、（２）符号化対象画像と参照画像から、符号化対象画像内の並進運動領域を求める並進運動領域認識手段と、（３）符号化対象画像と予測画像との間で、上記並進運動領域認識手段が求めた並進運動領域と非並進運動領域とで異なる重みづけに基づく評価を行い、その評価結果に基づいて、復号画像を生成するのに必要なビットストリームのレートを推定し、上記Ｗｙｎｅｒ−Ｚｉｖ符号化手段に推定した推定レートで、符号化データのビットストリームを生成するように制御するレート制御手段とを有することを特徴とする。

第２の本発明の動画像符号化プログラムは、コンピュータを、（１）符号化対象画像をＷｙｎｅｒ−Ｚｉｖ符号化して、符号化データのビットストリームを生成するＷｙｎｅｒ−Ｚｉｖ符号化手段と、（２）符号化対象画像と参照画像から、符号化対象画像内の並進運動領域を求める並進運動領域認識手段と、（３）符号化対象画像と予測画像との間で、上記並進運動領域認識手段が求めた並進運動領域と非並進運動領域とで異なる重みづけに基づく評価を行い、その評価結果に基づいて、復号画像を生成するのに必要なビットストリームのレートを推定し、上記Ｗｙｎｅｒ−Ｚｉｖ符号化手段に推定した推定レートで、符号化データのビットストリームを生成するように制御するレート制御手段として機能させることを特徴とする。

本発明によれば、動画像のＷｙｎｅｒ−Ｚｉｖ符号化に際して、復号画像を生成するのに必要なＷｙｎｅｒ−Ｚｉｖ符号のレート推定を、より高精度で行うことができる。

第１の実施形態に係る動画像符号化装置の機能的構成について示したブロック図である。 第１の実施形態に係る動画像符号化装置の動作について示したフローチャートである。 第１の実施形態に係る動画像符号化装置で処理される参照画像及び符号化対象画像の例について示した説明図である。 第１の実施形態に係る動画像符号化装置で生成される、動き情報及領域識別情報（領域識別信号）の内容例について示した説明図である。 第２の実施形態に係る動画像符号化装置の機能的構成について示したブロック図である。 第２の実施形態に係る動画像符号化装置の動作について示したフローチャートである。

（Ａ）第１の実施形態
以下、本発明による動画像符号化装置及びプログラムの第１の実施形態を、図面を参照しながら詳述する。

（Ａ−１）第１の実施形態の構成
図１に、エンコーダレート制御方式を利用した、第１の実施形態の動画像符号化装置１０の構成を示す。

動画像符号化装置１０は、動画像データ（符号化対象画像Ｆ１０及び参照画像Ｆ２０）を入力とし、Ｗｙｎｅｒ−ＺｉｖストリームＳＴを出力するものである。
動画像符号化装置１０が、動画像データ（符号化対象画像Ｆ１０及び参照画像Ｆ２０）を、取得する方式については限定されないものである。動画像符号化装置１０は、例えば、図示しない動画像を撮影可能なカメラ（例えば、ＣＣＤカメラ等）で撮影された動画像の信号をフレームごとに動画像データとして取得するようにしてもよいし、図示しないデータ記録媒体から動画像の信号やデータ（符号化されていないデータ）を取得するようにしてもよい。

次に、動画像符号化装置１０の内部構成について説明する。

動画像符号化装置１０は、レート制御部１１、Ｗｙｎｅｒ−Ｚｉｖ符号化部１２及び並進運動領域認識部１３を有している。

動画像符号化装置１０は、例えば、プロセッサ及びメモリを有するコンピュータに、実施形態の動画像符号化プログラムをインストールすることにより、ソフトウェア的に実現してもよい。その場合でも、動画像符号化装置１０の機能的構成は、図１のように示すことができる。

レート制御部１１は、符号化対象画像Ｆ１０と参照画像Ｆ２０に基づいて、復号側（デコード側）で、復号画像を得るのに必要十分なレート（Ｗｙｎｅｒ−ＺｉｖストリームＳＴのビットレート）を推定し、推定したレートの情報を含むレート情報Ｓ１を生成してＷｙｎｅｒ−Ｚｉｖ符号化部１２に供給する。

参照画像Ｆ２０は、たとえば直前時刻や直後時刻に撮影されたキーフレームの原画像や復号画像、それらを画像処理した画像などである。参照画像Ｆ２０（キーフレーム）は、多くの場合、Ｈ．２６４／ＡＶＣなど既存の符号化技術で圧縮される。ただし、第１の実施形態では、参照画像Ｆ２０（キーフレーム）の符号化方式については限定されないものである。なお、この実施形態では、動画像符号化装置１０に、参照画像Ｆ２０を符号化する構成要素を図示していないが、所定の符号化方式で参照画像Ｆ２０を符号化して出力する構成要素を追加するようにしてもよいことは当然である。

Ｗｙｎｅｒ−Ｚｉｖ符号化部１２は、符号化対象画像Ｆ１０をＷｙｎｅｒ−Ｚｉｖ符号化し、レート情報Ｓ１に基づくレートでＷｙｎｅｒ−ＺｉｖストリームＳＴを出力する。Ｗｙｎｅｒ−Ｚｉｖ符号化部１２がＷｙｎｅｒ−ＺｉｖストリームＳＴを出力する方式については限定されないものであり、所定のパケット化周期ごとにパケット化して、通信により復号側（受信側）に送出するようにしてもよいし、符号化データとしてデータ記録媒体（例えば、ＨＤＤやフラッシュメモリ等の各種メモリ）に記憶させるようにしてもよい。

並進運動領域認識部１３は、符号化対象画像Ｆ１０と参照画像Ｆ２０とから、符号化対象画像Ｆ１０内で画像が並進運動している領域（以下、「並進運動領域」と呼ぶ）を求め、領域識別信号Ｓ２として、レート制御部１１に供給するものである。

並進運動領域認識部１３は、動き情報検出部１３１、平均動き情報計算部１３２、及び領域識別信号生成部１３３を有している。

動き情報検出部１３１は、符号化対象画像Ｆ１０と参照画像Ｆ２０とから、たとえばブロックマッチングによる動きベクトル探索により、動き情報Ｄ１を算出するものである。そして、動き情報検出部１３１は、算出した動き情報Ｄ１を、平均動き情報計算部１３２及び領域識別信号生成部１３３に供給する。

平均動き情報計算部１３２は、動き情報Ｄ１から、動きのフレーム内平均値を求め、平均動き情報Ｄ２として生成するものである。そして、平均動き情報計算部１３２は、平均動き情報Ｄ２を領域識別信号生成部１３３に供給する。

領域識別信号生成部１３３は、動き情報Ｄ１と平均動き情報Ｄ２とから、符号化対象画像Ｆ１０の並進運動領域と、通常領域（非並進運動領域）とを識別し、各領域の範囲を示す領域識別情報Ｄ３を生成する。そして、領域識別信号生成部１３３は、領域識別情報Ｄ３を示す信号である領域識別信号Ｓ２を生成して、レート制御部１１に供給する。

この実施形態では、領域識別信号生成部１３３は、例えば、動き情報Ｄ１と平均動き情報Ｄ２の差分の大きさを予め設定された閾値（以下、「Ｔｈ１」と表す）と比較することで、領域識別情報Ｄ３を生成するものとする。

レート制御部１１では、復号側（デコード側）で復号画像を得るのに必要十分なレート（ビットレート）を推定し、レート情報Ｓ１として生成する処理を行う。具体的には、レート制御部１１は、領域識別信号Ｓ２に基づき、符号化対象画像Ｆ１０と参照画像Ｆ２０間で、並進運動領域と通常領域とで異なる重みづけで評価（比較）し、その評価（比較）結果に基づいて、レート情報Ｓ１を生成する。

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の動画像符号化装置１０の動作を説明する。

図２は、動画像符号化装置１０の動作について示したフローチャートである。

まず、動き情報検出部１０４により、符号化対象画像Ｆ１０と参照画像Ｆ２０とに基づいて、動き情報Ｄ１が生成さる（Ｓ１０１）。

動き情報Ｄ１としては、たとえば動きベクトルを適用することができる。動きベクトルは、例えば、ブロックマッチングを用いた動きベクトル探索によって求めることができる。ＤＶＣ方式を適用した動画像符号化装置では、演算量を削減できることが主な特徴である。したがって、この実施形態の動き情報検出部１０４では、動き情報Ｄ１を検出するために、膨大な演算を実施することは望ましくない。そこで、この実施形態では、動き情報検出部１０４は、符号化対象画像Ｆ１０と参照画像Ｆ２０をそれぞれ縮小処理（より少ない画素数で表現した画像に変換処理）し、符号化対象画像Ｆ１０の縮小画像と参照画像Ｆ２０の縮小画像を対象に動き情報を検出するものとする。これにより、動き情報検出部１０４では、演算量を削減することができる。なお、この実施形態では、動き情報検出部１０４は、縮小画像について４×４のブロックに分割し、ブロックごとの動きベクトルの情報の集合体を動き情報Ｄ１として求めるものとする。

符号化対象画像Ｆ１０の縮小画像や参照画像Ｆ２０の縮小画像は、画像処理が施されたものでもよく、非特許文献４のようにスケーラブル構造を備えるＤＶＣ方式の場合、縮小画像レイヤの情報から上述符号化対象画像Ｆ１０の縮小画像や、上述参照画像Ｆ２０の縮小画像を取り出し、動き情報の検出に用いても良い。

次に、平均動き情報計算部１３２により、動き情報Ｄ１から平均動き情報Ｄ２が生成される（Ｓ１０２）。

平均動き情報Ｄ２とは、たとえば、動き情報Ｄ１のフレーム内平均情報が該当する。 動き情報Ｄ１として、符号化対象画像Ｆ１０のブロックごとに動きベクトルが割り当てられている場合、すべてのブロックの動きベクトルを足し合わせ、総ブロック数で割ったベクトルが平均動き情報Ｄ２となる。

次に、領域識別信号生成部１３３により、動き情報Ｄ１と平均動き情報Ｄ２に基づいて、領域識別情報Ｄ３を生成し、さらに、領域識別情報Ｄ３の内容を表した信号を領域識別信号Ｓ２として生成し、レート制御部１１に供給する（Ｓ１０３）。

領域識別信号生成部１３３は、例えば、各ブロックについて、動きベクトル（動き情報Ｄ１）から平均動き情報Ｄ２を差し引きいた差分の大きさに応じて、並進運動領域であるか否かを決定する。例えば、領域識別信号生成部１３３は、上述の差分の大きさが、所定の閾値Ｔｈ１未満のブロックについては並進運動領域と判定し、上述の差分が閾値Ｔｈ１以上のブロックについては通常領域と判定するものとする。これは、平均動き情報Ｄ２が、並進運動領域の動き情報に近いという仮定に基づいた判定方法である。

通常、動画像において、並進運動領域に含まれる画素は、すべてほぼ同じ動き情報を持つ。そのため、並進運動領域の動き情報は、平均動き情報に大きな影響を与えやすい傾向がある。すなわち、動画像において、上述の仮定が適合するケースは多いと言える。領域識別信号生成部１３３は、平均動き情報に近い動き情報を持つ領域を探索することで、動画像符号化に、最も大きな影響を与える並進運動領域を求めることができる。

ここで、並進運動領域認識部１３の動作例を図３と図４を用いて説明する。

図３では、符号化対象画像Ｆ１０、参照画像Ｆ２０及び領域識別情報Ｄ３（領域識別信号Ｓ２）の具体例について示した説明図である。図３（ａ）は、参照画像Ｆ２０の例について示している。そして、図３（ｂ）は、符号化対象画像Ｆ１０の例について示している。図３（ａ）、図３（ｂ）には、同様の歩行者の画像Ｇ１、家の画像Ｇ２、雲の画像Ｇ３等が撮影された画像となっている。そして、図３（ａ）と図３（ｂ）でそれぞれの画像は画面内で移動している。なお、ここでは、図３（ａ）の参照画像Ｆ２０は、図３（ｂ）の符号化対象画像Ｆ１０の直前フレームであるものとする。また、図３（ｂ）では、動画像を撮影しているカメラは、画像Ｇ２に係る歩行者の方向する方向と逆方向に動いているものとして説明する。そして、当該動画像を撮影しているカメラは、歩行者と逆方向に動いているものとする。そのため、図３では、実際には静止しているはずの画像Ｇ２に係る家や、画像Ｇ３に係る雲等の背景は、画面左方向に移動している。また、図３では、画像Ｇ１に係る歩行者は、画面右方向に向かって移動（歩行）しているものとする。したがって、図３の例の画像では、画像Ｇ２に係る家、画像Ｇ３に係る雲等の背景の物体は、画面左方向に向かって並進運動していることになる。これに対して、通常、歩行者は、手を振る、足を動かすなど、複雑な運動をしている場合が多い。

図４では、図３（ａ）、図３（ｂ）の例の画像について、４×４のブロックごとに分割して並進運動領域を抽出する場合の具体的な処理について示した説明図である。図４（ａ）では、図３（ｂ）の符号化対象画像Ｆ１０について４×４のブロックに分割し、各ブロックの動きベクトルの方向（動き情報Ｄ１）について矢印の向きで示している。そして図４（ｂ）は、ブロックごとの動き情報が図４（ａ）のようになった場合に並進運動領域として抽出されるブロック（領域）について示している。図４に示すように、この例では、ほとんどのブロックで動きベクトルが左向きとなる並進運動を行っており、人の画像Ｇ１が含まれている領域Ａ２に係るブロックでのみ、動き情報が、下向き、右下向きへと複雑な動きをしている。したがって、図３、図４の例の場合、全ての動き情報を足し合わせ、平均動き情報Ｄ２を求めると、ほぼ画面左方向となる向きの情報が得られることになる。すなわち、図３、図４の例において、領域識別信号生成部１３３は、各ブロックの動き情報から、平均動き情報Ｄ２を差し引き、その差分の大きさが閾値Ｔｈ１未満の場合当該ブロックについて並進運動領域と認識し、その差分の大きさが閾値Ｔｈ１以上の場合、通常領域と認識することになる。

したがって、図３、図４の例では、領域識別信号生成部１３３は、画像Ｇ２に係る家や画像Ｇ３に係る雲等の背景の領域（図４（ｂ）の領域Ａ１）については並進運動領域と判断し、画像Ｇ１に係る歩行者（複雑な運動をする物体）が含まれている領域（図４（ｂ）の領域Ａ２）については通常領域と判断することになる。

なお、並進運動領域認識部１３は、並進運動領域を認識できれば良く、動き情報Ｄ１及び平均動き情報Ｄ２の組み合わせによる並進運動領域の認識は、低演算量で並進運動領域を認識するための１例である。

以上のように、並進運動領域認識部１３では、領域識別情報Ｄ３（領域識別信号Ｓ２）を生成する。

そして、レート制御部１１は、領域識別信号Ｓ２が供給されると、符号化対象画像Ｆ１０と参照画像Ｆ２０と領域識別信号Ｓ２とに基づいて、レート情報Ｓ１を算出する（Ｓ１０４）。

この実施形態では、レート制御部１１は、並進運動領域と通常領域とで重み付けをしながら、符号化対象画像Ｆ１０とエンコーダ予測画像との間を比較することで、復号側で復号画像を生成するのに必要十分なレートを推定するものとする。言い換えると、レート制御部１１は、符号化対象画像Ｆ１０とエンコーダ予測画像との間を、並進運動領域と通常領域とで重み付けに基づく評価（比較）を行い、その評価結果に基づいてレートの推定を行う。なお、レート制御部１１で、エンコーダ予測画像を生成する方式については限定されないものであり、種々の方式を適用することができる。

例えば、レート制御部１１は、非特許文献２のように、符号化対象画像Ｆ１０とエンコーダ予測画像間で誤差の統計量（並進運動領域と通常領域とで重み付けされた誤差の統計量）を利用して、復号側で必要となるレートを求め、レート情報Ｓ１を生成するようにしてもよい。この場合、レート制御部１１は、ブロックごとの誤差を、並進運動領域ではα倍、通常領域ではβ倍で重みづけして評価するようにしてもよい。

また、例えば、レート制御部１１は、非特許文献３のように、符号化対象画像Ｆ１０とエンコーダ予測画像間でのビット反転数に基づいて、復号側で必要となるレートを求め、レート情報Ｓ１を生成するようにしてもよい。この場合、レート制御部１１は、並進運動領域で発生したビット反転数をα倍、通常領域で発生したビット反転数をβ倍して重みづけし、ビット反転数を計数するようにしてもよい。そして、レート制御部１１は、求められたビット反転数から計算できるビット反転確率に基づき、復号画像を得るために必要十分なレート情報Ｓ１を推定するようにしてもよい。

そして、レート制御部１１では、並進運動領域について、符号化対象画像Ｆ１０とエンコーダ予測画像との間で実際に発生している誤差よりも、小さい誤差で評価されるように重みづけ（上述のα、βの設定）を行うことが望ましい。具体的には、例えば、αについては、０．０以上１．０以下の間のいずれかの値を設定し、βに１．０以上の値を設定するようにしてもよい。

具体的な算出式の例として、非特許文献３をベースにレート情報Ｓ１を求める場合の算出式の例について、以下の（１）式、及び（２）式を用いて説明する。以下の（１）式では、全ビット数をＥ、並進運動領域で発生したビット反転数をＣ１、通常領域で発生したビット反転数をＣ２としている。また、非特許文献３に基づくレートＲは、以下の（２）式により、算出することができる。

ｐ＝（α×Ｃ１＋β×Ｃ２）／Ｅ …（１）
Ｒ＝−ｐ×ｌｏｇ（ｐ）−（１−ｐ）×ｌｏｇ（１−ｐ）＋Ｔ …（２）
ここで、Ｔは、経験的に決定する定数である。非特許文献３との差異は、ビット反転確率ｐを求める際に、Ｃ１とＣ２を重み付きで加算しているか否かである。Ｃ１とＣ２を単純に加算すると、ｐは符号化対象画像Ｆ１０とエンコーダ予測画像との間の誤差を反映したビット反転確率となり、本来、推定したい符号化対象画像Ｆ１０とデコーダ予測画像との間の誤差を反映したビット反転確率とは異なっている。αとβを使って、ビット反転数を重み付きで評価することにより、ｐを符号化対象画像Ｆ１０とデコーダ予測画像との間のビット反転確率に近づけることで、レート制御の高精度化を実現している。

以上のように、動画像符号化装置１０（レート制御部１１）では、符号化対象画像Ｆ１０とデコーダ予測画像間の誤差の統計量やビット反転数を推定するプロセスを加えることで、レート制御の高精度化を実現している。

そして、レート情報Ｓ１が供給されると、Ｗｙｎｅｒ−Ｚｉｖ符号化部１２は、そのレート情報Ｓ１にしたがって、符号化対象画像Ｆ１０をＷｙｎｅｒ−Ｚｉｖ符号化し、Ｗｙｎｅｒ−ＺｉｖストリームＳＴのレートを調整する（Ｓ１０５）。

上述のように、並進運動領域と通常領域とで、異なる重みづけを適用して評価することにより、並進運動領域では、符号化対象画像Ｆ１０とエンコーダ予測画像間で実際に発生している誤差よりも、誤差が小さく評価されることになる。また、並進運動領域は、符号化対象画像Ｆ１０と参照画像Ｆ２０間で同じ部分が含まれる可能性が極めて高く、かつ並進運動領域の画素は、ほぼ同じ動き情報を有しているため、動きベクトル探索等での予測が当たりやすい領域である。つまり、デコーダ予測画像が高品質になる可能性の高い領域であるとも言える。そのため、たとえ符号化対象画像Ｆ１０とエンコーダ予測画像間で大きな誤差が発生していたとしても、符号化対象画像Ｆ１０とデコーダ予測画像間では誤差量が小さくなる可能性が、少なくとも通常領域に比べて高い傾向となる。

そこで、上述の傾向を反映するために、レート制御部１１は、符号化対象画像Ｆ１０とエンコーダ予測画像間で誤差の統計量を計算する際に、あるいはビット反転数を数える際に、並進運動領域と通常領域とで重み付けをしながら、符号化対象画像Ｆ１０とエンコーダ予測画像間の誤差を評価する。言い換えると、レート制御部１１により求められる誤差の統計量やビット反転数は、符号化対象画像Ｆ１０とデコーダ予測画像間の誤差の統計量やビット反転数の推定値とみなすことができる。

従来では、符号化対象画像Ｆ１０とエンコーダ予測画像間の誤差の統計量やビット反転数に基づき、デコーダが復号するのに必要十分なレート情報Ｓ１を推定している。これに対して、この実施形態の動画像符号化装置１０の場合は、領域識別信号Ｓ２に基づき、符号化対象画像Ｆ１０とデコーダ予測画像間の誤差の統計量やビット反転数の推定値を求め、この推定値に基づき、デコーダが復号するのに必要十分なレート情報Ｓ１を推定している。

なお、上述ステップＳ１０３で、領域識別信号生成部１３３が、並進運動領域を認識する方法の例として、動き情報Ｄ１から平均動き情報Ｄ２を差し引き、差分情報の大きさが予め定められた閾値Ｔｈ１未満ならば、並進運動領域と判定し、差分情報の大きさが上述閾値Ｔｈ１以上ならば、通常領域と判定することで生成する方法を説明した。

しかし、静止状態も一つの運動であるとみなした場合、領域識別信号生成部１３３は、静止状態ではない並進運動領域を、並進運動領域とみなしたほうが好ましい。なぜならば、静止している領域は、デコーダ予測画像だけに限らずエンコーダ予測画像でも予測精度の高い領域であり、予測精度が高いのにも関わらず、誤差ないしビット反転があるということは、つまり予測ではそもそも補えない誤差ないしビット反転であることを示唆しているからである。このような誤差ないしビット反転は、たとえば、照明のちらつきによって発生する場合がある。照明のちらつきは、ランダムな変化であり、予測によって補うことは極めて難しい。レート制御部１１が、静止している並進運動領域を、並進運動領域とみなして、上述のステップＳ１０４でレート制御した場合、上述のような予測ではそもそも補えないような誤差ないしビット反転をα倍して過小評価してしまう。したがって、上述ステップＳ１０３で、領域識別信号生成部１３３は、上述差分情報の大きさが閾値Ｔｈ１未満であり、かつ動き情報が静止以外を示唆している場合に、並進運動領域と認識し、それ以外の場合は、通常領域として認識し、該領域識別信号Ｓ２を生成することが好ましい。動き情報が静止状態を示唆しているか否かは、たとえば、動き情報の大きさが予め定められた閾値（以下、「閾値Ｔｈ２」と呼ぶ；ただし、閾値Ｔｈ１＞閾値Ｔｈ２）以上か否かによって判定できる。このように、領域識別信号生成部１３３では、動き情報の大きさが、閾値Ｔｈ２未満のブロックについては、静止状態と判定できるし、動き情報の大きさが閾値Ｔｈ２以上のブロックについては、静止以外の状態と判定できる。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。

動画像符号化装置１０では、符号化対象画像Ｆ１０と参照画像Ｆ２０との間で、並進運動領域と通常領域とで異なる重み付きに基づく評価を行うことで、並進運動領域ではデコーダ予測画像の品質が良好である確率が高いという傾向に基づき、より精度の高いレートを推定することができる。また、動画像符号化装置１０では、推定されたレートの精度向上により、Ｗｙｎｅｒ−Ｚｉｖ符号化部１２による符号化効率が改善される。

（Ｂ）第２の実施形態
以下、本発明による動画像符号化装置及びプログラムの第２の実施形態を、図面を参照しながら詳述する。

（Ｂ−１）第２の実施形態の構成
図５は、第２の実施形態の動画像符号化装置１０Ａの機能的構成を示すブロック図であり、上述の図１と同一又は対応する部分には、同一又は対応する符号を付している。

動画像符号化装置１０Ａでは、並進運動領域認識部１３が、並進運動領域認識部１３Ａに置き換えられている点で、第１の実施形態と異なっている。そして、並進運動領域認識部１３Ａでは、領域識別信号生成部１３３が領域識別信号生成部１３３Ａに置き換えられ、さらに、認識割合計算部１３４が追加されている点で、第１の実施形態と異なっている。

認識割合計算部１３４は、領域識別信号生成部１３３Ａで生成される領域識別情報Ｄ３に基づき、符号化対象画像Ｆ１０の全体と、並進運動領域と認識された領域との割合（比率）を、認識割合Ｄ４として求める。そして、認識割合計算部１３４は、認識割合Ｄ４を、領域識別信号生成部１３３Ａに供給（フィードバック）する。例えば、上述の図４のように、フレーム全体の広さ（４×４＝１６ブロック）に対して、並進運動領域の広さが２ブロックの場合には、認識割合Ｄ４には、２／１６を設定するようにしてもよい。

領域識別信号生成部１３３Ａは、動き情報Ｄ１と平均動き情報Ｄ２と閾値Ｔｈ１とを用いて、第１の実施形態と同様に領域識別情報Ｄ３を生成して、認識割合計算部１３４に供給する。そして、領域識別信号生成部１３３Ａは、認識割合計算部１３４から供給される認識割合Ｄ４に応じて、閾値Ｔｈ１を変更するかどうかを判定する。

そして、閾値Ｔｈ１を変更する場合は、領域識別信号生成部１３３Ａは、変更後の閾値Ｔｈ１に基づいて、領域識別情報Ｄ３を再生成して、認識割合計算部１３４に供給する。

また、領域識別信号生成部１３３Ａが、最新に取得した認識割合Ｄ４に基づいて閾値Ｔｈ１を変更するか否かを判定する方法については、例えば、認識割合Ｄ４と予め設定された閾値（以下、「閾値Ｔｈ３」と呼ぶ）との比較結果に応じて決定してもよい。例えば、領域識別信号生成部１３３Ａは、認識割合Ｄ４が閾値Ｔｈ３未満の場合に閾値Ｔｈ１を変更しないと判定し、認識割合Ｄ４が閾値Ｔｈ３以上の場合に閾値Ｔｈ１を変更すると判定するようにしてもよい。一方、閾値Ｔｈ１を変更しない場合は、領域識別信号生成部１３３Ａは、最新に取得した領域識別情報Ｄ３を、領域識別信号Ｓ２として生成し、レート制御部１１に供給する。

なお、領域識別信号生成部１３３Ａは、差分情報の大きさが閾値Ｔｈ１の初期値未満のときに並進運動領域と認識し、それ以外の場合は、通常領域として認識することで領域識別情報Ｄ３を生成する。また、領域識別信号生成部１３３Ａは、認識割合Ｄ４が閾値Ｔｈ３以上の場合には、閾値Ｔｈ１を変更（減算）して、再び領域識別情報Ｄ３を生成する処理を、認識割合Ｄ４が閾値Ｔｈ３未満となるまで繰り返し、領域識別信号Ｓ２に適用する領域識別情報Ｄ３を取得する。

（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の動画像符号化装置１０Ａの動作を説明する。

図６は、動画像符号化装置１０Ａの動作について示したフローチャートである。

第２の実施形態の動画像符号化装置１０Ａの動作は、第１の実施形態におけるステップＳ１０６をステップＳ２０６に入れ替えたものに等しい。そこで、ここでは、ステップＳ２０６の詳細についてのみ説明する。

ステップＳ２０６では、まず、領域識別信号生成部１３３Ａにより、動き情報Ｄ１と平均動き情報Ｄ２から領域識別情報Ｄ３が生成される（Ｓ２０６−１）。

領域識別情報Ｄ３の生成法は、第１の実施形態と同様である。なお、ここで、領域識別情報Ｄ３の生成に用いられる閾値Ｔｈ１には、予め設定された初期値を用いるようにしてもよい。

そして、認識割合計算部１３４により、領域識別情報Ｄ３に基づいて、認識割合Ｄ４が算出され、領域識別信号生成部１３３Ａに供給される（Ｓ２０６−２）。

そして、領域識別信号生成部１３３Ａは、供給された認識割合Ｄ４が、閾値Ｔｈ３未満であるか否かを判定する（Ｓ２０６−３）。そして、領域識別信号生成部１３３Ａは、認識割合Ｄ４が閾値Ｔｈ３未満の場合は後述するステップＳ２０６−５に移行し、認識割合Ｄ４が閾値Ｔｈ３以上の場合は、後述するステップＳ２０６−４に移行する。

認識割合Ｄ４が閾値Ｔｈ３以上の場合は、領域識別信号生成部１３３Ａは、閾値Ｔｈ１を変更して、再度、領域識別情報Ｄ３を生成し（Ｓ２０６−４）、上述のステップＳ２０６−２に戻って動作する。

領域識別信号生成部１３３Ａが、閾値Ｔｈ１を変更する計算式については限定されないものであるが、例えば、閾値Ｔｈ１（初期値又は、最後に変更された値）について、一定値を減算したり、一定割合で減少させたり（１以下の所定値を乗算）するようにしてもよい。このように、閾値Ｔｈ１を段階的に減少させることで、並進運動領域と判定される面積が減少し、上述のステップＳ２０６−３の判定で、ステップＳ２０６−５に進む可能性が高まることになる。

そして、認識割合Ｄ４が閾値Ｔｈ２未満の場合は、領域識別信号生成部１３３Ａは、領域識別情報Ｄ３を領域識別信号Ｓ２として出力する（Ｓ２０６−５）。

なお、ステップＳ２０６−４の閾値Ｔｈ１の変更方法によっては、ステップＳ２０６−３で、限りなくステップＳ２０６−４に進み続ける可能性がある。その場合には、領域識別信号生成部１３３Ａは、閾値Ｔｈ１を変更する回数に制限を設け、領域識別情報Ｄ３の計算回数が指定された反復回数に達した場合、強制的にステップＳ２０６−３で、ステップＳ２０６−５に移行するようにしてもよい。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態の効果に加えて、以下のような効果を奏することができる。

領域識別信号生成部１３３Ａでは、閾値Ｔｈ１を段階的に減少させることで、並進運動領域と認識される面積の割合が、指定した割合よりも小さくなる場合がある。

第１の実施形態の領域識別信号生成部１３３では、並進運動領域の認識が難しい画像では、画像のほとんどの領域を誤って並進運動領域と判断してしまう可能性がある。この場合、領域識別信号生成部１３３では、並進運動領域でないのにも関わらず、誤差ないしビット反転をα倍して過小評価してしまう可能性が増大する。第１の実施形態のレート制御部１１では、誤差ないしビット反転の過小評価が生じると、レートの過小評価を招く可能性があり、その場合、レートの過小評価は、復号側で復号できない状態を引き起こすことになる。

そこで、第２の実施形態の動画像符号化装置１０Ａ（並進運動領域認識部１３Ａ）のように、並進運動領域と認識される面積の割合を、減少させることで、上述の過小評価を防いで、より高い精度のレート推定を行うことができる。

（Ｃ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｃ−１）上記の各実施形態では、並進運動領域認識部とレート制御部とを別の構成要素として説明したが、共通する処理については処理結果を共有して、装置全体の処理量を低減するようにしてもよい。例えば、動き検出部とレート制御部とで、エンコーダ予測画像を共有するようにしてもよい。

（Ｃ−２）上記の各実施形態の動画像符号化装置では、ＤＣＴ変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を初めとする直交変換を用いずに動画像を符号化する構成を説明しているが、このような直行変換の有無については限定されないものである。

（Ｃ−３）上記の各実施形態では、エンコーダレート制御方式に基づく動画像符号化装置についてのみ構成を説明しているが、レート制御部を備えるデコーダレート制御方式に基づく動画像符号化装置に、本発明の動画像符号化装置を適用するようにしてもよい。

１０…動画像符号化装置１０…レート制御部、１２…Ｗｙｎｅｒ−Ｚｉｖ符号化部、１３…並進運動領域認識部、１３１…動き検出部、１３２…平均動き情報計算部、１３３…領域識別信号生成部。

Claims (10)

1. 符号化対象画像をＷｙｎｅｒ−Ｚｉｖ符号化して、符号化データのビットストリームを生成するＷｙｎｅｒ−Ｚｉｖ符号化手段と、
   符号化対象画像と参照画像から、符号化対象画像内の並進運動領域を求める並進運動領域認識手段と、
   符号化対象画像と予測画像との間で、上記並進運動領域認識手段が求めた並進運動領域と非並進運動領域とで異なる重みづけに基づく評価を行い、その評価結果に基づいて、復号画像を生成するのに必要なビットストリームのレートを推定し、上記Ｗｙｎｅｒ−Ｚｉｖ符号化手段に推定した推定レートで、符号化データのビットストリームを生成するように制御するレート制御手段と
   を有することを特徴とする動画像符号化装置。
2. 上記レート制御手段は、符号化対象画像とエンコーダ予測画像間で、並進運動領域と非並進運動領域とで異なる重みづけを利用して、誤差の統計量を計算し、計算した統計量に基づいて、推定レートを求めることを特徴とする請求項１に記載の動画像符号化装置。
3. 上記レート制御手段は、符号化対象画像とエンコーダ予測画像間で、並進運動領域と非並進運動領域とで異なる重みづけを行ったビット反転数を求め、求めたビット反転数に基づいて、符号化対象画像とデコーダ予測画像との間に存在するビット反転確率を推定し、推定したビット反転確率に基づいて推定レートを求めることを特徴とする請求項１に記載の動画像符号化装置。
4. 上記並進運動領域認識手段は、
   符号化対象画像と参照画像とから、領域ごとの動き情報を検出する動き情報検出部と、
   上記動き検出部が求めた領域ごとの動き情報に基づいて、画像全体の平均動き情報を求める平均動き情報検出部と、
   上記動き検出部が求めた領域ごとの動き情報と、上記平均動き情報検出部が求めた平均動き情報とに基づいて、並進運動領域を検出する並進運動領域検出部と
   を有することを特徴とする請求項１〜３のいずれかに記載の動画像符号化装置。
5. 上記並進運動領域検出部は、領域ごとに、動き情報と、平均動き情報とを比較し、その差分の大きさが第１の閾値未満の場合に、当該領域を並進運動領域と認識することを特徴とする請求項４に記載の動画像符号化装置。
6. 上記並進運動領域検出部は、領域ごとに、動き情報と、平均動き情報とを比較し、その差分の大きさが第１の閾値未満であり、かつ、当該領域の動き情報が静止以外を示唆している場合にのみ、当該領域を並進運動領域と認識することを特徴とする請求項４に記載の動画像符号化装置。
7. 上記並進運動領域検出部は、領域ごとに、動き情報と、平均動き情報とを比較し、その差分の大きさが第１の閾値未満であり、かつ、第２の閾値以上の大きさである場合にのみ、当該領域を並進運動領域と認識することを特徴とする請求項４に記載の動画像符号化装置。
8. 上記並進運動領域検出手段は、
   符号化対象画像全体の広さに対する、上記並進運動領域検出部が求めた並進運動領域の割合を示す認識割合を求める認識割合計算部をさらに備え、
   上記並進運動領域検出部は、最新に求めた並進運動領域について、上記認識割合計算部から認識割合を取得し、取得した認識割合に応じて、少なくとも上記第１の閾値を変更するか否かを判定し、上記第１の閾値を変更する場合には再度並進運動領域を求め、上記第１の閾値を変更しない場合には、最新に求めた並進運動領域の情報を、上記レート制御手段に供給する
   ことを特徴とする請求項４に記載の動画像符号化装置。
9. 上記並進運動領域検出部は、認識割合が第３の閾値未満となるまで、段階的に上記第１の閾値を減少させて、並進運動領域を求める処理を繰り返し、認識割合が上記第３の閾値未満となる並進運動領域を取得して、上記レート制御手段に供給することを特徴とする請求項８に記載の動画像符号化装置。
10. コンピュータを、
    符号化対象画像をＷｙｎｅｒ−Ｚｉｖ符号化して、符号化データのビットストリームを生成するＷｙｎｅｒ−Ｚｉｖ符号化手段と、
    符号化対象画像と参照画像から、符号化対象画像内の並進運動領域を求める並進運動領域認識手段と、
    符号化対象画像と予測画像との間で、上記並進運動領域認識手段が求めた並進運動領域と非並進運動領域とで異なる重みづけに基づく評価を行い、その評価結果に基づいて、復号画像を生成するのに必要なビットストリームのレートを推定し、上記Ｗｙｎｅｒ−Ｚｉｖ符号化手段に推定した推定レートで、符号化データのビットストリームを生成するように制御するレート制御手段と
    して機能させることを特徴とする動画像符号化プログラム。

Images