JP2016116175A

JP2016116175A - 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム

Info

Publication number: JP2016116175A
Application number: JP2014255535A
Authority: JP
Inventors: ギヨムデニークリスティアンバル; Denis Christian Barroux Guillaume
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-12-17
Filing date: 2014-12-17
Publication date: 2016-06-23
Also published as: US20160182910A1

Abstract

【課題】フィールド符号化モードとフレーム符号化モードのうちで、レート歪み最適化方式に従って最適な符号化モードを選択できる動画像符号化装置を提供する。
【解決手段】動画像符号化装置は、フィールドペアをフレーム符号化モードで符号化して第１の符号量及び第１の歪み量を算出するフレーム符号化部１１と、フィールドペアをフィールド符号化モードで符号化して第２の符号量及び第２の歪み量を算出するフィールド符号化部１２と、フィールドペアをフレーム符号化モードで符号化したときの符号量と歪み量の関係を表す第１の関数及びフィールド符号化モードで符号化したときの符号量と歪み量の関係を表す第２の関数を、それぞれ、基準関数に第１の符号量と第１の歪み量の組、第２の符号量と第２の歪み量の組を適用することで導出し、第１及び第２の関数の大小関係に応じてフィールドペアに適用する符号化モードを判定する符号化モード判定部１４とを有する。
【選択図】図４

Description

本発明は、例えば、動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムに関する。

動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化方式として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding（H.264 MPEG-4 AVC）が利用されている。また、新たな符号化標準として、High Efficiency Video Coding(HEVC, MPEG-H/H.265)が策定されている。これらの符号化標準は、インターレース映像フォーマットとプログレッシブ映像フォーマットという二つの映像フォーマットに対応している。

図１は、インターレース映像フォーマットにおけるフィールドとプログレッシブ映像フォーマットにおけるフレームの関係を示す図である。プログレッシブ映像フォーマットで表されるピクチャは、フレームあるいはフレームピクチャと呼ばれる。一方、インターレース映像フォーマットで表されるピクチャは、フィールドあるいはフィールドピクチャと呼ばれる。インターレース映像フォーマットに準拠する動画像データは、対応するフレームから、奇数ラインのデータのみを切り出したトップフィールドと、偶数ラインのデータのみを取り出したボトムフィールドとを交互に含む。例えば、図１に示されるように、プログレッシブ映像フォーマットに準拠する動画像データに含まれる、再生順序で連続するフレーム１０１〜１０４のうち、フレーム１０１及び１０３の奇数ラインを取り出すことでトップフィールド１１１、１１３が生成される。一方、フレーム１０２及び１０４の偶数ラインを取り出すことでボトムフィールド１１２、１１４が生成される。以下では、再生順序で連続する、一つのトップフィールドと一つのボトムフィールドとのペアを、フィールドペアと呼ぶ。

人間の視覚は、動きの激しい動画像では、知覚できる空間解像度が低下する。インターレース映像フォーマットは、このことを利用して、視聴者にとっての主観画質を大きく損なわずにデータ量を削減する。具体的に、インターレース映像フォーマットに準拠する動画像データは、プログレッシブ映像フォーマットに準拠する動画像データと比較して、各ピクチャの垂直方向の解像度が1/2となる。

MPEG-2、あるいは、MPEG-4 AVC/H.264では、インターレース映像フォーマットに準拠する動画像データをより効率的に符号化するために、ピクチャ単位、あるいはスライス単位で、フィールド符号化モードとフレーム符号化モードとが切り替え可能な符号化方式が採用されている。なお、フィールド符号化モードは、フィールドペア内のトップフィールドとボトムフィールドとを個別に符号化する符号化モードである。一方、フレーム符号化モードは、フィールドペアを一つのフレームとみなして符号化する符号化モードである。このような符号化方式はPicture Adaptive Frame Field(PAFF)と呼ばれる。PAFFでは、フィールド符号化方式が適用される場合と、フレーム符号化モードが適用される場合とで、フレームとフィールドの違いを考慮して、異なるフレーム間予測が用いられることがある。

一方、H.264 MPEG-4 AVCでは、上下方向に隣接した二つのマクロブロックを含むマクロブロックペア単位でフィールド符号化モードとフレーム符号化モードとが切り替え可能な符号化方式が採用されている。このような符号化方式は、MacroBlock Adaptive Frame Field(MBAFF)と呼ばれる。また、HEVCでも、MPEG-2などと同様に、インターレース映像フォーマットに準拠する動画像データに対して、フレーム符号化モードとフィールド符号化モードの両方が適用可能となっている。ただし、HEVCでは、フレーム符号化モードとフィールド符号化モードの間で、適用される符号化モードが切り替えられる場合、その切り替え点において新たなシーケンスヘッダが挿入される。そしてそのシーケンスヘッダにより、符号化処理対象となるピクチャの垂直方向が明示的に示される。これは、HEVCでは、符号化された動画像データを復号する際に、トップフィールド、ボトムフィールド及びフレームの区別が行われないことによる。

符号化効率を向上するために、一般に、ピクチャ内の動きが大きいほど、フィールド符号化モードが適用される可能性が高くなり、一方、ピクチャ内の動きが小さいほど、フレーム符号化モードが適用される可能性が高くなる。

フィールド符号化モードとフレーム符号化モードのなかから適用する符号化モードを決定するために、符号量の評価値だけでなく、誤差情報などを利用する技術が提案されている（例えば、特許文献１〜３を参照）。また、複数の符号化モードの中から適用する符号化モードを適切に決定するための方式として、レート歪み最適化(Rate distortion optimization, RDO)方式が提案されている（例えば、非特許文献１を参照）。

特開２０１４−３９０９５号公報特開２００８−２８３５９５号公報特開２０１１−６６５９２号公報

G.J. Sullivan他、「Rate Distortion Optimization for Video Compression」、IEEE Signal Processing Magazine、Vol.15、Issue 6、pp.74-90、1998年

符号化モードの選択にRDO方式が利用される場合、例えば、選択対象となる複数の符号化モードのそれぞれについて、次式に従ってコストCが算出される。そしてコストCが最小となる符号化モードが選択される。

ここで、Rは符号化対象となるピクチャまたはピクチャ上のブロックの符号量、すなわちレートを表す。Dは符号化の前後での誤差統計量である歪み量を表し、例えば、符号化対象となるピクチャまたはスライスに含まれる各画素についてのオリジナルの画素値と符号化されたピクチャまたはブロックを復号して得られた画素値との差の２乗和として計算される。そしてλはラグランジュの未定乗数である。λは、例えば、c*Q²で表される。なお、cは定数であり、例えば、H.264/AVCでは、0.85に設定される。また、Qは、ピクチャ内の各ブロックを直交変換して得られる直交変換係数を量子化する際の量子化幅を規定する量子化パラメータである。

図２は、レート歪み曲線の一例を表す図である。図２において、横軸はレートRを表し、縦軸は歪み量Dを表す。そして曲線２０１、２０２は、それぞれ、異なる符号化モードについてのレート歪み曲線を表す。曲線２０１、２０２に示されるように、一般的に、レート歪み曲線は、下に凸となり、レートRが増加するにつれて歪み量Dは単調減少する。

ここで、曲線２０１に対応する符号化モード（便宜上、符号化モードＡと呼ぶ）のレートをR_Aで表し、歪み量をD_Aで表す。同様に、曲線２０２に対応する符号化モード（便宜上、符号化モードＢと呼ぶ）のレートをR_Bで表し、歪み量をD_Bで表す。そして符号化モードＡについてのコストC_A及び符号化モードＢについてのコストC_Bの算出に、同一のλ、すなわち、同一の量子化パラメータが利用されるものとする。この場合、コストC_Aは、曲線２０１上の、レートR_A、歪み量D_Aの点(R_A、D_A)における、傾きλを持つ接線２１１と縦軸との交点として表される。同様に、コストC_Bは、曲線２０２上の、レートR_B、歪み量D_Bの点(R_B、D_B)における、傾きλを持つ接線２１２と縦軸との交点として表される。図２の例では、コストC_Bの方がコストC_Aよりも低いので、コストC_Bに対応する符号化モードＢが選択される。

しかしながら、符号化モードごとに、コストの算出に利用されるλが異なる場合もある。例えば、PAFFでは、MBAFFと異なり、フィールド符号化モードとフレーム符号化モードとで、異なる量子化パラメータが用いられることがある。すなわち、フレーム符号化モードでは、量子化パラメータQFrameが用いられる。一方、フィールド符号化モードでは、トップフィールドとボトムフィールドとで、異なる量子化パラメータ(QFirstField、QSecondField)が用いられることがある。これは、例えば、符号化モードごとに、異なるビット配分戦略が採られることがあるためである。このように、符号化モードごとに異なる量子化パラメータが使用されると、λが量子化パラメータに基づいて設定される場合、符号化モードごとに異なるλが使用されることになり、RDO方式で符号化モードを選択する場合に、必ずしも最適な符号化モードが選択されないことがある。

図３は、最適な符号化モードが選択されない場合のレート歪み曲線の一例を示す図である。図３において、横軸はレートRを表し、縦軸は歪み量Dを表す。曲線３０１は、符号化モードＡ（フレーム符号化モードまたはフィールド符号化モードの一方）についてのレート歪み曲線である。また、曲線３０２は、符号化モードＢ（フレーム符号化モードまたはフィールド符号化モードの他方）についてのレート歪み曲線である。図３の例では、曲線３０２の方が曲線３０１よりも下側にあるため、最適な符号化モードとして符号化モードＢが選択されることが好ましい。しかし、例えば、符号化モードＡについての量子化パラメータの値が、符号化モードＢについての量子化パラメータの値よりも小さいと、コストの算出に利用される、符号化モードＡについてのλ_Aが、符号化モードＢについてのλ_Bよりも低くなる。その結果、曲線３０１における点（R_A、D_A）での傾きλ_Aを持つ接線３１１と縦軸との交点として表されるコストC_Aが、曲線３０２における点（R_B、D_B）での傾きλ_Bを持つ接線３１２と縦軸との交点として表されるコストC_Bよりも低くなる。そのため、符号化モードＡが選択されることとなる。また仮に、量子化パラメータとは無関係に、各符号化モードについて同じλを用いてコストを計算するとしても、適切なλが設定されなければ、レート歪み曲線が下側に位置する符号化モードが選択されないことがある。

各符号化モードについて、互いに異なる複数の量子化パラメータを用いて、量子化パラメータごとにレートと歪み量の組が複数求められるのであれば、動画像符号化装置は、符号化モードごとに、それらの組に基づいて近似的にレート歪み曲線を求めることができる。そのため、上記のような問題は生じない。しかし、現実的には、演算量または符号化に要する時間の制約のために、符号化モードごとに一つのレートと歪み量の組しか得られないことも多い。このような場合には、符号化モードごとのレート歪み曲線が求められず、符号化モードごとに、求められたレートと歪み量の一つの組から、最適な符号化モードを選択できることが求められる。

そこで、本明細書は、フィールド符号化モードとフレーム符号化モードのうちで、レート歪み最適化方式に従って最適な符号化モードを選択できる動画像符号化装置を提供することを目的とする。

一つの実施形態によれば、インターレース映像フォーマットに準拠する動画像データに含まれる、連続する二つのフィールドを含むフィールドペアについて、その二つのフィールドを一つのフレームとして符号化するフレーム符号化モード、または、その二つのフィールドを個別に符号化するフィールド符号化モードの何れかで符号化する動画像符号化装置が提供される。
この動画像符号化装置は、フィールドペアをフレーム符号化モードで符号化し、かつ、その符号化により得られる第１の符号量及びその符号化による誤差統計量を表す第１の歪み量を算出するフレーム符号化部と、フィールドペアをフィールド符号化モードで符号化し、かつ、その符号化により得られる第２の符号量及びその符号化による誤差統計量を表す第２の歪み量を算出するフィールド符号化部と、フィールドペアをフレーム符号化モードで符号化したときの符号量と歪み量の関係を表す第１の関数を、符号量と歪み量の関係を表す基準関数に第１の符号量及び第１の歪み量を適用することで導出し、かつ、フィールドペアをフィールド符号化モードで符号化したときの符号量と歪み量の関係を表す第２の関数を、基準関数に第２の符号量及び第２の歪み量を適用することで導出し、第１の関数と第２の関数の大小関係に応じて、フレーム符号化モードとフィールド符号化モードのなかからフィールドペアに適用する符号化モードを判定する符号化モード判定部と、フレーム符号化モードとフィールド符号化モードのうち、適用される符号化モードにより符号化されたフィールドペアを出力する出力部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された動画像符号化装置は、フィールド符号化モードとフレーム符号化モードのうちで、レート歪み最適化方式に従って最適な符号化モードを選択できる。

インターレース映像フォーマットにおけるフィールドとプログレッシブ映像フォーマットにおけるフレームとの関係を示す図である。レート歪み曲線の一例を表す図である。最適な符号化モードが選択されない場合のレート歪み曲線の一例を示す図である。一つの実施形態に係る動画像符号化装置の概略構成図である。一つの実施形態による動画像符号化処理の動作フローチャートである。何れかの実施形態または変形例による動画像符号化処理を実行可能なコンピュータの構成図である。

以下、図を参照しつつ、動画像符号化装置について説明する。この動画像符号化装置は、インターレース映像フォーマットに準拠する動画像の各ピクチャをPAFF方式にしたがって符号化する。その際、この動画像符号化装置は、フィールドペアごとに、フレーム符号化モードまたはフィールド符号化モードのなかから、適用する符号化モードを判定する。そのために、動画像符号化装置は、フィールドペアを各符号化モードで符号化することで求めたレートと歪み量を、レートと歪み量の関係を表す基準関数に適用して、符号化モードごとのレート歪み関数を求める。そしてこの動画像符号化装置は、符号化モードごとのレート歪み関数に基づいて、所定の参照レートに対応する歪み量を符号化モードごとに求め、その歪み量が小さい方の符号化モードを、適用する符号化モードとする。

図４は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、フレーム符号化部１１と、フィールド符号化部１２と、フレームバッファ１３と、符号化モード判定部１４と、スイッチ１５とを有する。動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像符号化装置１に実装されてもよい。さらに、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

動画像符号化装置１は、符号化対象となる、インターレース映像フォーマットに準拠した動画像データを、例えば、通信ネットワーク及び動画像符号化装置１を通信ネットワークに接続するためのインターフェース回路（図示せず）を介して取得する。そして動画像符号化装置１は、その動画像データを、図示しないバッファメモリに記憶させる。動画像符号化装置１は、動画像データに含まれるフィールドペアを、ピクチャの符号化順序に従ってバッファメモリから順次読み出す。そして動画像符号化装置１のフレーム符号化部１１は、そのフィールドペアをフレーム符号化モードで符号化し、一方、フィールド符号化部１２は、そのフィールドペアをフィールド符号化モードで符号化する。各符号化部により符号化された後、復号されたフィールドペアは、符号化順序で後のフィールドペアを符号化する際に参照可能なように、フレームバッファ１３に記憶される。そして動画像符号化装置１の符号化モード判定部１４は、RDO方式に従って、そのフィールドペアに対して適用される符号化モードをフレーム符号化モードとフィールド符号化モードの中から選択し、選択した符号化モードをスイッチ１５へ通知する。スイッチ１５は、通知された符号化モードで符号化されたフィールドペアのデータを出力する。

以下、動画像符号化装置１の各部の詳細について説明する。なお、以下では、説明の便宜上、各フィールドペアについて、ピクチャ単位でフレーム符号化またはフィールド符号化が行われるものとするが、スライス単位、あるいは、タイル単位でフレーム符号化またはフィールド符号化が行われてもよい。また、動画像符号化装置１は、PAFF方式を適用可能な符号化標準、例えば、MPEG-2またはH.265に準拠して、動画像に含まれる各フィールドペアを符号化する。

フレーム符号化部１１は、符号化対象のフィールドペアに含まれるトップフィールドとボトムフィールドとを一つのフレームとして、動画像符号化装置１が準拠する符号化標準にしたがってフレーム符号化モードで符号化する。その際、符号化対象のフィールドペアが、インター予測符号化される場合には、フレーム符号化部１１は、フレームバッファ１３に記憶されている、符号化順序が前のフィールドペアを参照する。フレーム符号化部１１は、符号化順序で後続するフィールドペアの参照のために、符号化したフィールドペアを復号し、復号されたフィールドペアをフレームバッファ１３に書き込む。

またフレーム符号化部１１は、符号化前のフィールドペアと符号化してから復号されたフィールドペアとの間の誤差統計量である歪み量D_Frameと、フィールドペアの符号量、すなわちレートR_Frameを求める。なお、フレーム符号化部１１は、例えば、符号化前のフィールドペアと符号化してから復号されたフィールドペアとの間で対応画素間の誤差の２乗和を歪み量D_Frameとして算出する。あるいは、フレーム符号化部１１は、符号化前のフィールドペアと符号化してから復号されたフィールドペアとの間で対応画素間の誤差の絶対値和を歪み量D_Frameとして算出してもよい。そしてフレーム符号化部１１は、歪み量D_Frameと、レートR_Frameと、そのフィールドペアに適用された量子化パラメータQ_Frameとを、符号化モード判定部１４へ出力する。さらに、フレーム符号化部１１は、符号化されたフィールドペアを含むデータをスイッチ１５へ出力する。

フィールド符号化部１２は、符号化対象のフィールドペアに含まれるトップフィールドとボトムフィールドとを、それぞれ個別に、動画像符号化装置１が準拠する符号化標準にしたがってフィールド符号化モードで符号化する。その際、符号化対象のフィールドペアが、インター予測符号化される場合には、フィールド符号化部１２は、フレームバッファ１３に記憶されている、符号化順序が前のフィールドペアを参照する。フィールド符号化部１２は、符号化順序で後続するフィールドペアの参照のために、符号化したフィールドペアを復号し、復号されたフィールドペアをフレームバッファ１３に書き込む。

またフィールド符号化部１２は、フィールドごとに、符号化前のフィールドと符号化してから復号されたフィールドとの間の誤差統計量である歪み量D_Field1、D_Field2と、各フィールドの符号量、すなわちレートR_Field1、R _Field2を算出する。なお、フィールド符号化部１２も、フレーム符号化部１１と同様に、符号化前のフィールドと符号化してから復号されたフィールドとの間で対応画素間の誤差の２乗和または誤差の絶対値和を歪み量D_Field1、D_Field2として算出する。そしてフィールド符号化部１２は、歪み量D_Field1、D_Field2と、レートR_Field1、R _Field2と、各フィールドに適用された量子化パラメータQ_FirstField、Q_SecondFieldとを、符号化モード判定部１４へ出力する。さらに、フィールド符号化部１２は、符号化されたフィールドペアを含むデータをスイッチ１５へ出力する。

フレームバッファ１３は、フレーム符号化部１１とフィールド符号化部１２の両方から参照可能なメモリ回路であり、符号化順序にしたがって、直近の所定個数の復号されたフィールドペアを記憶する。なお、所定個数は、動画像符号化装置１が準拠する符号化標準において、符号化対象のフィールドペアから参照される可能性があるフィールドペアの個数である。

またフレームバッファ１３は、フレーム符号化１１から書き込まれたフィールドペアとフィールド符号化部１２から書き込まれたフィールドペアのうち、適用されない方の符号化モードに対応するフィールドペアを消去してもよい。

符号化モード判定部１４は、符号化対象のフィールドペアについて、フレーム符号化モードとフィールド符号化モードの中から、適用する符号化モードを判定する。

本実施形態では、符号化モード判定部１４は、各符号化モードのレート歪み曲線が類似する形状を持つという仮定に基づいて、レートと歪み量の関係を表す基準関数から各符号化モードのレートと歪み量の関係を表すレート歪み関数を求める。そして符号化モード判定部１４は、各符号化モードのレート歪み関数の大小関係に応じて適用する符号化モードを判定する。

例えば、レートと歪み量の関係は次式で表される。

ここで、D_Mは、任意の符号化モードMにおける、符号化処理の単位（例えば、フィールドペア）の歪み量であり、R_Mは、符号化モードMにおける、符号化処理の単位のレート（符号量）である。そしてσ_M、a_Mは、定数である。なお、（２）式の導出については、非特許文献１（G.J. Sullivan他、「Rate Distortion Optimization for Video Compression」、IEEE Signal Processing Magazine、Vol.15、Issue 6、pp.74-90、1998年）を参照されたい。

以下に、（２）式に基づいて決定される、各符号化モードにおけるレート歪み関数の導出に利用される基準関数について説明する。先ず、（２）式を（１）式に代入して、両辺をR_Mで微分することにより、次式が得られる。

（３）式に（２）式を代入して変形することで、次式が得られる。

（４）式と（２）式とから、定数σ_M、a_Mは、次式のように表される。

（５）式で表されるσ_M、a_Mを、（２）式に代入することで、符号化モードMにおける、任意のレートRに対する歪み量Dの関係を表すレート歪み関数は次式のように表される。

すなわち、フレーム符号化モード及びフィールド符号化モードの何れのレート歪み関数も（６）式で表される。したがって、この（６）式は、レートと歪み量の関係を表す基準関数の一例となる。そこで符号化モード判定部１４は、（６）式に基づいて符号化モードごとのレート歪み関数を求める。

また、各符号化モードのレート歪み関数が（６）式に基づいて求められる場合、同一の参照レートに対する歪み量が小さいレート歪み関数の方が、他方のレート歪み関数よりも、レートと歪み量に関して小さい方に位置する。そこで本実施形態では、符号化モード判定部１４は、（６）式から求められる符号化モードごとのレート歪み関数にしたがって、所定の参照レートについての歪み量（仮想歪み量）を符号化モードごとに算出する。そして符号化モード判定部１４は、歪み量が小さい方の符号化モードを適用する符号化モードと判定する。

なお、符号化モード判定部１４による演算量を削減するために、所定の参照レートは、例えば、符号化対象のフィールドペアについて、フレーム符号化部１１及びフィールド符号化部１２の何れかで算出されたレートすることが好ましい。このように参照レートを設定することで、一方の符号化モードについては、フレーム符号化部１１またはフィールド符号化部１２により歪み量が既に算出されているので、符号化モード判定部１４は、演算量を削減できる。

なお、（６）式における未定乗数λ_Mとして、フレーム符号化モードについては、λ_Frame(=c*Q_Frame ²)を用いることができる。なお、cは定数であり、例えば、0.85である。またQ_Frameは、量子化パラメータである。一方、フィールド符号化モードでは、上述したように、トップフィールドとボトムフィールドとで異なる量子化パラメータが用いられることがある。すなわち、トップフィールドとボトムフィールドとで未定乗数λが異なる値となる。そこで、以下に、（６）式おける未定乗数λ_Mとして適切なフィールド符号化モードでの未定乗数λ_FieldOptimalの決定方法について以下に説明する。

（２）式と同様に、λ_FieldOptimalは次式で表される。

ここでR_Fieldは、フィールド符号化モードが適用される場合の符号化対象のフィールドペアについてのレートである。D_Fieldは、フィールド符号化モードが適用される場合の符号化対象のフィールドペアについての歪み量である。トップフィールドに含まれる画素とボトムフィールドに含まれる画素とが重なっていないことから、D_Fieldは、トップフィールドについての歪み量D_Field1とボトムフィールドについての歪み量D_Field2との和として表される。同様に、R_Fieldは、トップフィールドについてのレートR_Field1とボトムフィールドについてのレートR_Field2との和として表される。したがって、（７）式は、次式のように変形できる。

ここで、トップフィールドについての未定乗数をλ_Field1とすると、（２）式及び（８）式より、次式が得られる。

同様に、ボトムフィールドについての未定乗数をλ_Field2とすると、（２）式及び（８）式より、次式が得られる。

（９）式と（１０）式を組み合わせることで、次式が得られる。

ここで、任意の符号化モードについてのレート歪み曲線が同一の関数で表されることから、次の関係が成立する。

また、（８）式から、次式が得られる。

ここで、トップフィールドのレートR_Field1とボトムフィールドのレートR_Field2とが略等しいとすると、（１３）式から次式が得られる。

以上により、符号化モード判定部１４は、フィールド符号化モードについての未定乗数λ_FieldOptimalを、トップフィールドの未定乗数とボトムフィールドの未定乗数の平均値に設定する。すなわち、符号化モード判定部１４は、未定乗数λ_FieldOptimalを、トップフィールドの量子化パラメータQ_FirstFieldの２乗とボトムフィールドの量子化パラメータQ_SecondFieldの２乗との和の平均に、定数cを乗じた値(c*(Q_FirstField ²+Q_SecondField ²)/2)とする。

適用する符号化モードの判定に利用される、フレーム符号化モードのレート歪み関数は、（６）式から次式のように導出される。

一方、適用する符号化モードの判定に利用される、フィールド符号化モードのレート歪み関数は、（６）式及び（１４）式から次式のように導出される。

符号化モード判定部１４は、符号化対象のフィールドペアについて、（１５）式に基づいて、参照レートR_Refにおける、フレーム符号化モードが適用される場合の歪み量（第１の仮想歪み量）D_RefFrameを算出する。また符号化モード判定部１４は、符号化対象のフィールドペアについて、（１６）式に基づいて、参照レートR_Refにおける、フィールド符号化モードが適用される場合の歪み量（第２の仮想歪み量）D_RefFieldを算出する。そして符号化モード判定部１４は、D_RefFrameがD_RefFieldよりも小さい場合、適用される符号化モードをフレーム符号化モードと判定する。一方、D_RefFieldがD_RefFrameよりも小さい場合、符号化モード判定部１４は、適用される符号化モードをフィールド符号化モードと判定する。なお、D_RefFrameとD_RefFieldが等しい場合には、符号化モード判定部１４は、どちらの符号化モードを適用する符号化モードとしてもよい。あるいは、D_RefFrameとD_RefFieldが等しい場合、符号化モード判定部１４は、符号化順序で一つ前のフィールドペアについて適用された符号化モードを、符号化対象のフィールドペアに適用する符号化モードとしてもよい。

符号化モード判定部１４は、フレーム符号化モードとフィールド符号化モードのうち、適用する符号化モードを表す情報をスイッチ１５及びフレームバッファ１３に通知する。

スイッチ１５は、出力部の一例であり、符号化モード判定部１４から通知された、適用する符号化モードを表す情報が、フレーム符号化モードを示している場合、フレーム符号化部１１から受け取った、フィールドペアの符号化データを出力する。一方、適用する符号化モードを表す情報が、フィールド符号化モードを示している場合、スイッチ１５は、フィールド符号化部１２から受け取った、フィールドペアの符号化データを出力する。

図５は、一つの実施形態による動画像符号化装置１により実行される動画像符号化処理の動作フローチャートである。動画像符号化装置１は、フィールドペアごとに、この動画像符号化処理を実行する。

フレーム符号化部１１は、符号化対象のフィールドペアをフレーム符号化モードで符号化する（ステップＳ１０１）。またフレーム符号化部１１は、そのフィールドペアについてのレートR_Frame及び歪み量D_Frameを求める（ステップＳ１０２）。フレーム符号化部１１は、フィールドペアの符号化データをスイッチ１５へ出力する。またフレーム符号化部１１は、その符号化データから復号されたフィールドペアをフレームバッファ１３に書き込む。そしてフレーム符号化部１１は、フィールドペアの量子化に用いられた量子化パラメータQ_Frame、レートR_Frame及び歪み量D_Frameを符号化モード判定部１４へ出力する。

フィールド符号化部１２は、符号化対象のフィールドペアをフィールド符号化モードで符号化する（ステップＳ１０３）。またフィールド符号化部１２は、そのフィールドペアに含まれる各フィールドについてのレートR_Field1、R_Field2及び歪み量D_Field1、D_Field2を求める（ステップＳ１０４）。フィールド符号化部１２は、フィールドペアの符号化データをスイッチ１５へ出力する。またフィールド符号化部１２は、その符号化データから復号されたフィールドペアをフレームバッファ１３に書き込む。そしてフィールド符号化部１２は、フィールドペアの各フィールドの量子化に用いられた量子化パラメータQ_FirstField、Q_SecondField、レートR_Field1、R_Field2及び歪み量D_Field1、D_Field2を符号化モード判定部１４へ出力する。

符号化モード判定部１４は、量子化パラメータQ_Frame、レートR_Frame及び歪み量D_Frameを（６）式に適用して、符号化対象のフィールドペアにフレーム符号化モードが適用された場合のレート歪み関数を求める。そして符号化モード判定部１４は、そのレート歪み関数から所定の参照レートR_Refでの歪み量D_RefFrameを算出する（ステップＳ１０５）。また符号化モード判定部１４は、量子化パラメータQ_FirstField、Q_SecondField、レートR_Field1、R_Field2及び歪み量D_Field1、D_Field2を（６）式に適用して、符号化対象のフィールドペアにフィールド符号化モードが適用された場合のレート歪み関数を求める。そして符号化モード判定部１４は、そのレート歪み関数から所定のレートR_Refでの歪み量D_RefFieldを算出する（ステップＳ１０６）。

符号化モード判定部１４は、D_RefFrameがD_RefFieldより小さいか否か判定する（ステップＳ１０７）。D_RefFrameがD_RefFieldよりも小さい場合（ステップＳ１０７−Ｙｅｓ）、符号化モード判定部１４は、フレーム符号化モードを符号化対象のフィールドペアに適用する符号化モードとする（ステップＳ１０８）。一方、D_RefFrameがD_RefField以上である場合（ステップＳ１０７−Ｎｏ）、符号化モード判定部１４は、フィールド符号化モードを符号化対象のフィールドペアに適用する符号化モードとする（ステップＳ１０９）。

ステップＳ１０８またはＳ１０９の後、符号化モード判定部１４は、適用される符号化モードを表す情報をスイッチ１５及びフレームバッファ１３に通知する。スイッチ１５は、フレーム符号化されたフィールドペアの符号化データとフィールド符号化されたフィールドペアの符号化データのうち、適用される符号化モードの方の符号化データを出力する（ステップＳ１１０）。そして動画像符号化装置１は、動画像符号化処理を終了する。

以上に説明してきたように、この動画像符号化装置は、インターレース映像フォーマットに準拠した動画像に含まれる各フィールドペアをPAFF方式で符号化する際、RDO方式にしたがって適切な符号化モードを選択できる。特に、この動画像符号化装置は、符号量と歪み量の関係を表す基準関数に基づいて各符号化モードのレート歪み関数を求め、そのレート歪み関数にしたがって求められる、所定の参照レートでの各符号化モードの歪み量を比較する。そしてこの動画像符号化装置は、所定の参照レートでの歪み量が小さい方の符号化モードを適用する符号化モードとする。これにより、この動画像符号化装置は、フレーム符号化モードとフィールド符号化モードとで、異なる量子化パラメータが使用されていたとしても、適用する符号化モードを適切に決定できる。

なお、変形例によれば、符号化モード判定部１４は、符号化モードごとのレート歪み関数の大小関係の判定のために、フレーム符号化モードについて求めたレート歪み関数（（１５）式）と、レートと歪み量が０となる原点間の最小距離を求めてもよい。同様に、符号化モード判定部１４は、フィールド符号化モードについて求めたレート歪み関数（（１６）式）と原点間の最小距離を求めてもよい。そして符号化モード判定部１４は、その最小距離が短い方に対応する符号化モードを、符号化対象のフィールドペアに適用する符号化モードとしてもよい。

また、他の変形例によれば、符号化モード判定部１４は、フィールド符号化モードについての未定乗数λ_FieldOptimalを、トップフィールドのレートとボトムフィールドのレートで未定乗数λ_Field1とλ_Field2を重みづけ平均することで求めてもよい。

なお、上記の各実施形態またはその変形例による動画像符号化装置の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。

上述した実施形態またはその変形例による動画像符号化装置は、様々な用途に利用される。例えば、この動画像符号化装置は、ビデオカメラ、映像送信装置、映像受信装置、テレビ電話システム、コンピュータあるいは携帯電話機に組み込まれる。

図６は、上記の各実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。

ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、ユーザの操作に応じて、動画像符号化処理を開始させる操作信号をプロセッサ１０５へ出力する。

通信インターフェース部１０２は、コンピュータ１００を、ビデオカメラなどの動画像入力装置（図示せず）と接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。

さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。この場合には、通信インターフェース部１０２は、画像入力装置または通信ネットワークに接続された他の機器から、インターレース映像フォーマットに準拠した動画像データを取得し、その動画像データをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、符号化された動画像データを通信ネットワークを介して他の機器へ出力してもよい。

記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、符号化対象の動画像データ、またはプロセッサ１０５により符号化された動画像データなどを記憶する。また記憶部１０３は、図４に示された動画像符号化装置１のフレームバッファ１３として機能してもよい。

記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。また記憶媒体アクセス装置１０４は、プロセッサ１０５により符号化された動画像データを記憶媒体１０６に書き込んでもよい。

プロセッサ１０５は、上記の各実施形態の何れかまたは変形例による動画像符号化処理用コンピュータプログラムを実行することにより、動画像データを符号化する。その際、プロセッサ１０５は、例えば、図４に示された動画像符号化装置１の各部のうちのフレームバッファ１３以外の各部の処理を実行する。そしてプロセッサ１０５は、符号化された動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１動画像符号化装置
１１フレーム符号化部
１２フィールド符号化部
１３フレームバッファ
１４符号化モード判定部
１５スイッチ
１００コンピュータ
１０１ユーザインターフェース部
１０２通信インターフェース部
１０３記憶部
１０４記憶媒体アクセス装置
１０５プロセッサ
１０６記憶媒体

Claims

インターレース映像フォーマットに準拠する動画像データに含まれる、連続する二つのフィールドを含むフィールドペアについて、前記二つのフィールドを、一つのフレームとして符号化するフレーム符号化モード、または、前記二つのフィールドを個別に符号化するフィールド符号化モードの何れかで符号化する動画像符号化装置であって、
前記フィールドペアを前記フレーム符号化モードで符号化し、かつ、該符号化により得られる第１の符号量及び該符号化による誤差統計量を表す第１の歪み量を算出するフレーム符号化部と、
前記フィールドペアを前記フィールド符号化モードで符号化し、かつ、該符号化により得られる第２の符号量及び該符号化による誤差統計量を表す第２の歪み量を算出するフィールド符号化部と、
前記フィールドペアを前記フレーム符号化モードで符号化したときの符号量と歪み量の関係を表す第１の関数を、符号量と歪み量の関係を表す基準関数に前記第１の符号量及び前記第１の歪み量を適用することで導出し、かつ、前記フィールドペアを前記フィールド符号化モードで符号化したときの符号量と歪み量の関係を表す第２の関数を、前記基準関数に前記第２の符号量及び前記第２の歪み量を適用することで導出し、前記第１の関数と前記第２の関数の大小関係に応じて、前記フレーム符号化モードと前記フィールド符号化モードのなかから前記フィールドペアに適用する符号化モードを判定する符号化モード判定部と、
前記フレーム符号化モードと前記フィールド符号化モードのうち、適用される符号化モードにより符号化された前記フィールドペアを出力する出力部と、
を有する動画像符号化装置。
前記符号化モード判定部は、前記第１の関数に従って前記フィールドペアの符号量を所定の符号量としたときの歪み量である第１の仮想歪み量を算出し、かつ、前記第２の関数に従って前記フィールドペアの符号量を前記所定の符号量としたときの歪み量である第２の仮想歪み量を算出し、前記第１の仮想歪み量が前記第２の仮想歪み量より小さい場合に前記フィールドペアに対して前記フレーム符号化モードを適用すると判定し、一方、前記第２の仮想歪み量が前記第１の仮想歪み量より小さい場合に前記フィールドペアに対して前記フィールド符号化モードを適用すると判定する、請求項１に記載の動画像符号化装置。
前記所定の符号量は前記第１の符号量または前記第２の符号量である、請求項２に記載の動画像符号化装置。
前記符号化モード判定部は、前記フィールドペアを前記フィールド符号化モードで符号化する際に利用した、前記二つのフィールドのうちの一方についての量子化幅を表す第１の量子化パラメータの２乗と、前記二つのフィールドのうちの他方についての量子化幅を表す第２の量子化パラメータの２乗との平均値を、前記第２の符号量及び前記第２の歪み量とともに前記第２の関数の導出に利用する、請求項１〜３の何れか一項に記載の動画像符号化装置。
インターレース映像フォーマットに準拠する動画像データに含まれる、連続する二つのフィールドを含むフィールドペアについて、前記二つのフィールドを、一つのフレームとして符号化するフレーム符号化モード、または、前記二つのフィールドを個別に符号化するフィールド符号化モードの何れかで符号化する動画像符号化方法であって、
前記フィールドペアを前記フレーム符号化モードで符号化し、かつ、該符号化により得られる第１の符号量及び該符号化による誤差統計量を表す第１の歪み量を算出し、
前記フィールドペアを前記フィールド符号化モードで符号化し、かつ、該符号化により得られる第２の符号量及び該符号化による誤差統計量を表す第２の歪み量を算出し、
前記フィールドペアを前記フレーム符号化モードで符号化したときの符号量と歪み量の関係を表す第１の関数を、符号量と歪み量の関係を表す基準関数に前記第１の符号量及び前記第１の歪み量を適用することで導出し、かつ、前記フィールドペアを前記フィールド符号化モードで符号化したときの符号量と歪み量の関係を表す第２の関数を、前記基準関数に前記第２の符号量及び前記第２の歪み量を適用することで導出し、前記第１の関数と前記第２の関数の大小関係に応じて、前記フレーム符号化モードと前記フィールド符号化モードのなかから前記フィールドペアに適用する符号化モードを判定し、
前記フレーム符号化モードと前記フィールド符号化モードのうち、適用される符号化モードにより符号化された前記フィールドペアを出力する、
ことを含む動画像符号化方法。
インターレース映像フォーマットに準拠する動画像データに含まれる、連続する二つのフィールドを含むフィールドペアについて、前記二つのフィールドを、一つのフレームとして符号化するフレーム符号化モード、または、前記二つのフィールドを個別に符号化するフィールド符号化モードの何れかで符号化することをコンピュータに実行させる動画像符号化用コンピュータプログラムであって、
前記フィールドペアを前記フレーム符号化モードで符号化し、かつ、該符号化により得られる第１の符号量及び該符号化による誤差統計量を表す第１の歪み量を算出し、
前記フィールドペアを前記フィールド符号化モードで符号化し、かつ、該符号化により得られる第２の符号量及び該符号化による誤差統計量を表す第２の歪み量を算出し、
前記フィールドペアを前記フレーム符号化モードで符号化したときの符号量と歪み量の関係を表す第１の関数を、符号量と歪み量の関係を表す基準関数に前記第１の符号量及び前記第１の歪み量を適用することで導出し、かつ、前記フィールドペアを前記フィールド符号化モードで符号化したときの符号量と歪み量の関係を表す第２の関数を、前記基準関数に前記第２の符号量及び前記第２の歪み量を適用することで導出し、前記第１の関数と前記第２の関数の大小関係に応じて、前記フレーム符号化モードと前記フィールド符号化モードのなかから前記フィールドペアに適用する符号化モードを判定し、
前記フレーム符号化モードと前記フィールド符号化モードのうち、適用される符号化モードにより符号化された前記フィールドペアを出力する、
ことをコンピュータに実行させる動画像符号化用コンピュータプログラム。