JP2010288096A - 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム - Google Patents

Abstract

【課題】本質的な画像の変化分をより忠実に再現することで、符号化効率を向上させることができ、更にその結果、動き補償予測の効率が改善されることで、更に符号化効率を向上させる。
【解決手段】予測誤差制御部１０３は、入力画像信号と動き補償部１１０からの第１の動き補償信号とから第１の予測誤差信号を算出する。また、入力画像信号と動き補償部１０４からの第２の動き補償信号とから第２の予測誤差信号を算出する。そして、第１及び第２の予測誤差信号を比較し、各ブロック内の対応する画素同士のうち画素値の絶対値の小さい方を選択することで伝送する予測誤差信号を決定して出力する。これにより、第１の予測誤差信号や第２の予測誤差信号をそのまま伝送する場合と比較して、伝達する予測誤差が必ず小さくなるため、発生する符号量が減少し、符号化効率が向上する。
【選択図】図１

Description

本発明は動画像符号化方法、動画像符号化装置及び動画像符号化プログラムに係り、特に動き補償予測処理を搭載した動画像符号化方法、動画像符号化装置及び動画像符号化プログラムに関する。

ＭＰＥＧ（Moving Picture Experts Group）に代表される動画像の圧縮符号化では、ピクチャ内の近傍画素間の相関やピクチャ間の相関を利用して符号量を圧縮する方式が用いられる。

ピクチャ内の近接画素間の相関による冗長性は、ＤＣＴ（Discrete Cosine Transform;離散コサイン変換）に代表される直交変換を行うことにより削減できる。ピクチャ間の相関による冗長性は、動き補償予測を行うことにより削減できる。

符号化側の動き補償予測には、一般的には、参照画像として符号化処理内の局部復号化処理によって既に復号化されている画像を用いる。これは、復号化側では原画像を参照画像として用いることができず、復号化された画像のみ参照画像として用いることができるためである。しかし、ＭＰＥＧのように劣化を許容する符号化（非ロスレス符号化）では、復号化済みの参照画像は、量子化の影響により原画像と比較して画質が劣化している。そのため、復号化済みの参照画像から動き補償予測を行うと、予測誤差として、ピクチャ間の純粋な画像の変化による誤差に加えて、参照画像の劣化による誤差が同時に発生する。

そこで、特許文献１記載の動き補償予測符号化装置では、符号化側で伝送精度よりも高い精度で動き補償予測を行い、伝送精度よりも高い精度の動き補償予測で発生した予測誤差を伝送することで、本質的な画像の変化分を抽出し、符号化効率を向上させようと試みている。

特開平８−５１６３０号公報

しかしながら、特許文献１記載の動き補償予測符号化装置では、伝送精度よりも高い精度で動きベクトルを算出するため、動きベクトル検出の演算量が大きく増大してしまう。また、復号化した参照画像が原画像と比較して劣化している場合、動き補償予測の精度を向上させても本質的な画像の変化分を抽出することはできず、符号化効率を向上させることができない。

本発明は以上の点に鑑みなされたもので、本質的な画像の変化分をより忠実に再現することで、符号化効率を向上させることができ、更にその結果、動き補償予測の効率が改善されることで、更に符号化効率を向上させることができる動画像符号化方法、動画像符号化装置及び動画像符号化プログラムを提供することを目的とする。

上記の目的を達成するため、第１の発明の動画像符号化方法は、入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する第１のステップと、動きベクトルを用いて参照画像信号に対して動き補償予測処理を行って第１の動き補償予測信号を算出する第２のステップと、動きベクトルを用いて参照画像信号の符号化元画像に対応する入力動画像信号に対して動き補償予測処理を行って第２の動き補償予測信号を算出する第３のステップと、入力動画像信号のブロック毎に、その入力動画像信号と第１及び第２の動き補償予測信号とに基づいて、直交変換・量子化対象となる予測誤差信号を生成する第４のステップと、第４のステップにより生成された予測誤差信号に対して、直交変換した後量子化して量子化後信号を生成する第５のステップと、第１の動き補償信号を用いて量子化後信号を局部復号化して参照画像信号を生成する第６のステップとを含むことを特徴とする。

また、上記の目的を達成するため、第２の発明の動画像符号化方法は、入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する第１のステップと、動きベクトルを用いて参照画像信号に対して動き補償予測処理を行って第１の動き補償予測信号を算出する第２のステップと、動きベクトルを用いて参照画像信号の符号化元画像に対応する入力動画像信号に対して動き補償予測処理を行って第２の動き補償予測信号を算出する第３のステップと、入力動画像信号のブロック毎に、その入力動画像信号と第１の動き補償予測信号との差分信号に対して直交変換を行って第１の直交変換信号を算出する第４のステップと、入力動画像信号のブロック毎に、その入力動画像信号と第２の動き補償予測信号との差分信号に対して直交変換を行って第２の直交変換信号を算出する第５のステップと、第１の直交変換信号と第２の直交変換信号とに基づいて、第３の直交変換信号を生成する第６のステップと、第６のステップにより生成された第３の直交変換信号を量子化して量子化後信号を生成する第７のステップと、第１の動き補償信号を用いて量子化後信号を局部復号化して参照画像信号を生成する第８のステップとを含むことを特徴とする。

また、上記の目的を達成するため、第３の発明の動画像符号化装置は、入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する動きベクトル検出手段と、動きベクトルを用いて参照画像信号に対して動き補償予測処理を行って第１の動き補償予測信号を算出する第１の動き補償予測手段と、動きベクトルを用いて参照画像信号の符号化元画像に対応する入力動画像信号に対して動き補償予測処理を行って第２の動き補償予測信号を算出する第２の動き補償予測手段と、入力動画像信号のブロック毎に、その入力動画像信号と第１及び第２の動き補償予測信号とに基づいて、直交変換・量子化対象となる予測誤差信号を生成する予測誤差信号生成手段と、予測誤差信号生成手段により生成された予測誤差信号に対して、直交変換した後量子化して量子化後信号を生成する直交変換・量子化手段と、第１の動き補償信号を用いて量子化後信号を局部復号化して参照画像信号を生成する局部復号手段とを有することを特徴とする。

また、上記の目的を達成するため、第４の発明の動画像符号化装置は、入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する動きベクトル検出手段と、動きベクトルを用いて参照画像信号に対して動き補償予測処理を行って第１の動き補償予測信号を算出する第１の動き補償予測手段と、動きベクトルを用いて参照画像信号の符号化元画像に対応する入力動画像信号に対して動き補償予測処理を行って第２の動き補償予測信号を算出する第２の動き補償予測手段と、入力動画像信号のブロック毎に、その入力動画像信号と第１の動き補償予測信号との差分信号に対して直交変換を行って第１の直交変換信号を算出する第１の直交変換手段と、入力動画像信号のブロック毎に、その入力動画像信号と第２の動き補償予測信号との差分信号に対して直交変換を行って第２の直交変換信号を算出する第２の直交変換手段と、第１の直交変換信号と第２の直交変換信号とに基づいて、第３の直交変換信号を生成する第３の直交変換手段と、第３の直交変換手段により生成された第３の直交変換信号を量子化して量子化後信号を生成する量子化手段と、第１の動き補償信号を用いて量子化後信号を局部復号化して参照画像信号を生成する局部復号手段とを有することを特徴とする。

また、上記の目的を達成するため、第５の発明の動画像符号化プログラムは、第１の発明の動画像符号化方法の各ステップをコンピュータにより実行させることを特徴とする。

更に、上記の目的を達成するため、第６の発明の動画像符号化プログラムは、第２の発明の動画像符号化方法の各ステップをコンピュータにより実行させることを特徴とする。

本発明によれば、本質的な画像の変化分をより忠実に再現することで、符号化効率を向上させることができ、更にその結果、参照画像が原画像に近い状態で復号化され、以降に符号化するピクチャの動き補償予測の効率も改善されることで、更に符号化効率を向上させることができる。

本発明の動画像符号化装置の第１の実施の形態のブロック図である。 図１中の予測誤差制御部の動作説明用フローチャートである。 予測誤差の制御方法の一例の図である。 本発明の動画像符号化装置の第２の実施の形態のブロック図である。 図４中の直交変換係数制御部の動作説明用フローチャートである。 直交変換係数の制御方法の一例の図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

（第１の実施の形態）
図１は、本発明になる動画像符号化装置の第１の実施の形態のブロック図を示す。本実施の形態の動画像符号化装置１００は、入力端子１０１に入力される動画像の入力画像信号（以下、原画像信号ともいう）に対して符号化を行う符号化装置で、原画用の参照画像メモリ１０２、予測誤差制御部１０３、動き補償部１０４、直交変換・量子化部１０５、局部復号部１０６、動きベクトル検出部１１１、エントロピー符号化部１１２よりなり、符号化して得たビットストリームを出力端子１１３から外部へ出力する。

局部復号部１０６は、直交変換・逆量子化部１０５から出力される量子化後信号に対して、逆量子化を行った後、逆直交変換を行う逆量子化・逆直交変換部１０７と、動き補償部１１０からの信号と逆量子化・逆直交変換部１０７からの信号とを加算して局部復号された画像信号を出力する加算器１０８と、加算器１０８からの局部復号された画像信号を参照画像として蓄積する参照画像メモリ１０９と、参照画像メモリ１０９からの参照画像と動きベクトル検出部１１１からの動きベクトルとから動き補償処理を行う動き補償部１１０とからなる。

参照画像メモリ１０２は、入力端子１０１を介して入力された原画像信号を蓄積する。すなわち、参照画像メモリ１０２は、原画像のままの状態の参照画像信号を蓄積している。予測誤差制御部１０３は、復号化された参照画像に対する誤差と、原画像のままの状態の参照画像に対する誤差を基に伝送する誤差を決定し、その誤差を示す予測誤差信号を出力する。直交変換・量子化部１０５は、予測誤差制御部１０３から入力された予測誤差信号を直交変換して得られた直交変換係数を量子化して量子化後信号を生成する。

動きベクトル検出部１１１は、入力端子１０１を介して入力された符号化対象の原画像信号のブロック毎に、その原画像信号と参照画像メモリ１０９から読み出された復号化された参照画像信号との対応するブロックの相対位置関係を示す動きベクトルを検出する。

動き補償部１１０は、動きベクトル検出部１１１で検出された動きベクトルを用いて、参照画像メモリ１０９から供給される復号化された参照画像信号の動き補償予測を行い、第１の動き補償信号を生成する。動き補償部１０４は、動きベクトル検出部１１１で検出された動きベクトルを用いて、参照画像メモリ１０２から供給される原画像の参照画像信号の動き補償予測を行い、第２の動き補償信号を生成する。エントロピー符号化部１１２は、直交変換・量子化部１０５から出力された量子化後信号をエントロピー符号化して、動画像符号化して得られたビットストリームを出力する。

この構成の動画像符号化装置１００は、動き補償予測の誤差を伝送する際に、復号化された参照画像に対する誤差だけでなく、原画像のままの状態の参照画像に対する誤差を考慮して伝送する予測誤差を決定することで、符号化効率の向上を実現するものである。

次に、本実施の形態の動画像符号化装置１００の要部である予測誤差制御部１０３の動作について図２のフローチャート及び図３を用いて説明する。

まず、予測誤差制御部１０３は、入力画像信号と動き補償部１１０から出力された第１の動き補償信号との差分信号（第１の予測誤差信号）を予め定めた所定のブロック単位で算出する（ステップＳ１１）。以下、一例として、上記の所定のブロックは水平方向４画素、垂直方向４画素のサイズであるものとする。

ここで、例えば、上記の入力画像信号のブロック内の各画素の値が図３（Ａ）に示すものであり、上記の第１の動き補償信号のブロック内の各画素の値が同図（Ｂ）に示すものであるときは、予測誤差制御部１０３は、ステップＳ１１において、入力画像信号と第１の動き補償信号とをそれぞれのブロック内の対応する画素同士でその画素値を差し引いた同図（Ｃ）に示す第１の予測誤差信号を算出する。

続いて、予測誤差制御部１０３は、入力画像信号と動き補償部１０４から出力された第２の動き補償信号との差分信号（第２の予測誤差信号）を予め定めた所定のブロック単位で算出する（ステップＳ１２）。

ここで、例えば、上記の入力画像信号のブロック内の各画素の値が図３（Ｄ）（これは図３（Ａ）と同一）に示すものであり、上記の第２の動き補償信号のブロック内の各画素の値が同図（Ｅ）に示すものであるときは、予測誤差制御部１０３は、ステップＳ１２において、入力画像信号と第２の動き補償信号とをそれぞれのブロック内の対応する画素同士でその画素値を差し引いた同図（Ｆ）に示す第２の予測誤差信号を算出する。

次に、予測誤差制御部１０３は、第１の予測誤差信号と第２の予測誤差信号とを、予め定めた所定のブロック単位で比較し、各ブロック内の対応する画素同士のうち画素値の絶対値の小さい方を選択することで伝送する予測誤差信号を決定する（ステップＳ１３）。従って、第１の予測誤差信号が図３（Ｃ）に模式的に示す信号であり、第２の予測誤差信号が同図（Ｆ）に模式的に示す信号である場合は、予測誤差制御部１０３は、ステップＳ１３において、それら第１及び第２の予測誤差信号の各ブロック内の対応する画素同士のうち画素値の絶対値の小さい方を選択することで、同図（Ｇ）に模式的に示す予測誤差信号を決定する。

最後に、予測誤差制御部１０３は、ステップＳ１３で決定した予測誤差信号を直交変換・量子化部１０５に出力する（ステップＳ１４）。

上記のように、ブロック内の対応する画素同士のうち、画素値の絶対値の小さい方を選択することで伝送する予測誤差信号を決定した場合、第１の予測誤差信号や第２の予測誤差信号をそのまま伝送する場合と比較して、伝達する予測誤差が必ず小さくなるため、発生する符号量が減少し、符号化効率が向上する。

ここで、上記の実施の形態の説明では伝送する予測誤差信号の決定は、絶対値の小さい値を選択する方法の例を示したが、これはほんの一例である。本発明のポイントは、第１の予測誤差信号だけを用いて伝送する予測誤差信号を決定するのではなく、第２の予測誤差信号も考慮して伝送する予測誤差信号を決定することである。そのため、第１の予測誤差信号と第２の予測誤差信号を用いて伝送する予測誤差信号を決定する方法であれば、本発明の範囲内である。

例えば、第１の予測誤差信号と第２の予測誤差信号の平均値を、伝送する予測誤差信号として決定する場合や、第１の予測誤差信号と第２の予測誤差信号の重み付け平均値を伝送する予測誤差信号として決定する場合などが考えられる。

第１の予測誤差信号と第２の予測誤差信号の重み付け平均値を、伝送する予測誤差信号として決定した場合、画質と符号量のバランスを選択することが可能となる。これは、第１の予測誤差信号を伝送する場合、画質は向上するが符号量は増加する傾向があり、第２の予測誤差信号を伝送する場合、画質は低下するが符号量は減少する傾向があることに起因する。

例えば、参照画像になるピクチャ（Ｐピクチャ（順方向予測符号化ピクチャ）など）を符号化する場合は、復号化された参照画像信号の動き補償予測をして得られた第１の動き補償信号を用いて生成される第１の予測誤差信号の重みを第２の予測誤差信号のそれよりも大きくする。一方、参照画像にならないピクチャ（Ｂピクチャ（双方向予測符号化ピクチャ）など）の場合は、原画像の動き補償予測をして得られた第２の動き補償信号を用いて生成される第２の予測誤差信号の重みを第１の予測誤差信号のそれよりも大きくする。これにより、参照画像を符号化する場合は画質を優先し、非参照画像を符号化する場合は符号量を優先した制御ができる。

また、最も単純なアルゴリズムとして、第１の予測誤差信号と第２の予測誤差信号とをブロック単位で比較し、ブロック全体の予測誤差の少ない方の第１の予測誤差信号のみ又は第２の予測誤差信号のみを、伝送する予測誤差信号に決定するアルゴリズムが考えられる。予測誤差の比較方法としてはＳＡＤ（差分絶対和）やＳＳＤ（絶対２乗和）などがある。

この場合、予測誤差制御部１０３は、第一の予測誤差信号と第二の予測誤差信号を算出し、２つの予測誤差信号のどちらか一方を、伝送する予測誤差信号に決定するスイッチの役割をするため、新たな予測誤差信号を生成する必要がなく処理量が少なく済む。また、第１の予測誤差信号や第２の予測誤差信号のどちらか一方のみに固定して予測誤差信号を伝送する場合と比較して，伝送する予測誤差が必ず小さくなるため、発生する符号量が減少し、符号化効率が向上する。

このように、本実施の形態の動画像符号化装置１００は、動き補償予測の誤差を伝送する際に、復号化された参照画像に対する誤差だけでなく、原画像のままの状態の参照画像に対する誤差を考慮して伝送する予測誤差信号を決定するようにしているため、予測誤差信号成分の中の本質的な画像の変化分をより忠実に再現することが可能となり、その結果、符号化効率が向上する。

また、本実施の形態の動画像符号化装置１００によれば、符号化効率が向上した結果、以降に符号化するピクチャの動き補償予測に用いられる参照画像が、原画像に近い状態で復号化できることで、動き補償予測の効率が改善され、更に符号化効率を向上させることができる。

（第２の実施の形態）
図４は、本発明になる動画像符号化装置の第２の実施の形態のブロック図を示す。本実施の形態の動画像符号化装置２００は、入力端子２０１に入力される動画像の入力画像信号（原画像信号）に対して符号化を行う符号化装置で、原画用の参照画像メモリ２０２、動き補償部２０３、減算器２０４及び２０５、直交変換部２０６及び２０７、直交変換係数制御部２０８、量子化部２０９、局部復号部２１０、動きベクトル検出部２１５、エントロピー符号化部２１６よりなり、符号化して得たビットストリームを出力端子２１７から外部へ出力する。

局部復号部２１０は、量子化部２０９から出力される量子化後信号に対して、逆量子化を行った後、逆直交変換を行う逆量子化・逆直交変換部２１１と、動き補償部２１４からの信号と逆量子化・逆直交変換部２１１からの信号とを加算して局部復号された画像信号を出力する加算器２１２と、加算器２１２からの局部復号された画像信号を参照画像として蓄積する参照画像メモリ２１３と、参照画像メモリ２１３からの局部復号された参照画像と動きベクトル検出部２１５からの動きベクトルとから動き補償処理を行い第１の動き補償信号を生成する動き補償部２１４とからなる。この局部復号部２１０の構成は、第１の実施の形態の動画像符号化装置１００の局部復号部１０６と同様である。

参照画像メモリ２０２は、入力端子２０１を介して入力された原画像信号を蓄積する。すなわち、参照画像メモリ２０２は、原画像のままの状態の参照画像信号を蓄積している。動きベクトル検出部２１５は、入力された符号化対象の原画像信号のブロック毎に、原画像信号と参照画像メモリ２１３から読み出された局部復号された参照画像信号との対応するブロックの相対位置関係を示す動きベクトルを検出する。動き補償部２０３は、参照画像メモリ２０２からの原画像信号と動きベクトル検出部２１５からの動きベクトルとから動き補償予測を行い、第２の動き補償信号を生成する。

２つある減算器のうちの一方の減算器２０４は、原画像信号と動き補償部２１４で生成された第１の動き補償信号とを減算して第１の差分信号を生成する。直交変換部２０６は、第１の差分信号を直交変換して第１の直交変換信号を算出する。他方の減算器２０５は、原画像信号と動き補償部２０３で生成された第２の補償信号とを減算して第２の差分信号を生成する。直交変換部２０７は、第２の差分信号を直交変換して第２の直交変換信号を算出する。

直交変換係数制御部２０８は、後述するように、直交変換部２０６から出力された第１の直交変換信号と、直交変換部２０７から出力された第２の直交変換信号とを基に、伝送する直交変換係数を決定する。量子化部２０９は、直交変換係数制御部２０８で決定された直交変換係数を量子化して量子化後信号を生成する。エントロピー符号化部２１６は、量子化部２０９から出力された量子化後信号をエントロピー符号化して、符号化された画像信号からなるビットストリームを出力端子２１７より外部へ出力する。

次に、本実施の形態の動画像符号化装置２００の要部の直交変換係数制御部２０８の動作について図５のフローチャート及び図６を用いて説明する。

まず、直交変換係数制御部２０８は、直交変換部２０６から出力された第１の直交変換信号と、直交変換部２０７から出力された第２の直交変換信号とを予め定めた所定のブロック単位で比較し、各ブロック内の対応する周波数成分同士のうち、絶対値の小さい値の周波数成分を選択することで伝送する直交変換信号を決定する（ステップＳ２１）。

ここで、上記の第１の直交変換信号と第２の直交変換信号とが、それぞれ図６（Ａ）、（Ｂ）に模式的に示すように、１ブロックが例えば２次元の１６個の周波数成分からなるものとすると、直交変換係数制御部２０８は、ステップＳ２１において、各ブロック内の対応する周波数成分同士のうち、絶対値の小さい値の周波数成分を選択することで図６（Ｃ）に模式的に示す直交変換信号を決定する。

そして、直交変換係数制御部２０８は、ステップＳ２１においてブロック単位で決定した直交変換信号を、量子化部２０９へ出力して量子化させる（ステップＳ２２）。

このように、本実施の形態の動画像符号化装置２００によれば、第１及び第２の直交変換信号の各ブロック内の対応する周波数成分同士のうち、絶対値の小さい値の周波数成分を選択することで伝送する直交変換信号を決定しているので、第１の直交変換信号のみ、あるいは第２の直交変換信号のみをそのまま伝送する場合と比較して、伝送する直交変換係数が必ず小さくなるため、発生する符号量が減少し、符号化効率が向上する。

ここで、上記の実施の形態の説明では、伝送する直交変換信号の決定は、絶対値の小さい値を選択する方法の例を示したが、これはほんの一例である。本発明のポイントは、第１の直交変換信号だけを用いて伝送する直交変換信号を決定するのではなく、第２の直交変換信号も考慮して伝送する直交変換信号を決定することである。そのため、第１の直交変検信号と第２の直交変換信号とを用いて伝送する直交変換信号を決定する方法であれば、本発明の範囲内である。

例えば、第１の直交変換信号と第２の直交変換信号との平均値を、伝送する直交変換信号とする場合や、第１の直交変換信号と第２の直交変換信号との重み付け平均値を伝送する直交変換信号とする場合などが考えられる。

第１の直交変換信号と第２の直交変換信号との重み付け平均値を伝送する直交変換信号として決定した場合、画質と符号量のバランスを選択することが可能となる。これは、第１の直交変換信号を伝送する場合、画質は向上するが符号量は増加する傾向があり、第２の直交交換信号を伝送する場合、画質は低下するが符号量は減少する傾向があることに起因する。

例えば、参照画像になるピクチャ（Ｐピクチャなど）を符号化する場合は、第１の直交変換信号の重みを大きくし、参照画像にならないピクチャ（Ｂピクチャなど）の場合は、第２の直交変換信号の重みを大きくすることで、参照画像を符号化する場合は画質を優先し、非参照画像を符号化する場合は符号量を優先した制御ができる。

また、最も単純なアルゴリズムとして、第１の直交変換信号と第２の直交変換信号とをブロック単位で比較し、ブロック全体の直交変換係数の少ない方の第１の直交変換信号のみ又は第２の直交変換信号のみを、伝送する直交変換信号に決定するアルゴリズムが考えられる。直交変換信号の比較方法としてはＳＡＤ（差分絶対和）やＳＳＤ（絶対２乗和）などがある。

この場合、直交変換係数制御部２０８は、入力された２つの直交変換信号のどちらを伝送するかを決定するスイッチの役割をするため、新たな直交変換信号を生成する必要がなく処理量が少なく済む。また、第１の直交変換信号や第２の直交変換信号のどちらか一方のみに固定して直交変換信号を伝送する場合と比較して、伝送する直交変換係数が必ず小さくなるため、発生する符号量が減少し、符号化効率が向上する。

このように、本実施の形態では、直交変換信号を伝送する際に、復号化された参照画像から動き補償予測を行うことにより算出した直交変換信号だけでなく、原画像のままの状態の参照画像から動き補償予測を行うことにより算出した直交変換信号を考慮して伝送する直交変換信号を決定することで、直交変換成分の中の本質的な画像の変化分をより忠実に再現することが可能となり、その結果、符号化効率が向上する。

また、符号化効率が向上した結果、以降に符号化するピクチャの動き補償予測に用いられる参照画像が、原画像に近い状態で復号化できることで、動き補億予測の効率が改善され、さらに符号化効率を向上させることができる。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば上記の動画像符号化装置の機能をコンピュータに実現させるための動画像符号化プログラムも含むものである。この動画像符号化プログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

本発明は、動画像符号化装置及び動画像符号化プログラムに関するもので、特に動画像符号化の符号化効率を向上させる技術として非常に有用である。

１００、２００ 動画像符号化装置
１０２、２０２ 参照画像メモリ（原画用）
１０３ 予測誤差制御部
１０４、１１０、２０３、２１４ 動き補償部
１０５ 直交変換・量子化部
１０６、２１０ 局部復号部
１０７、２１１ 逆量子化・逆直交変換部
１０８、２１２ 加算器
１０９、２１３ 参照画像メモリ（復号画用）
１１１、２１５ 動きベクトル検出部
１１２、２１６ エントロピー符号化部
２０４、２０５ 減算器
２０６、２０７ 直交変換部
２０８ 直交変換係数制御部
２０９ 量子化部

Claims (6)

1. 入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する第１のステップと、
   前記動きベクトルを用いて前記参照画像信号に対して動き補償予測処理を行って第１の動き補償予測信号を算出する第２のステップと、
   前記動きベクトルを用いて前記参照画像信号の符号化元画像に対応する前記入力動画像信号に対して動き補償予測処理を行って第２の動き補償予測信号を算出する第３のステップと、
   前記入力動画像信号のブロック毎に、その入力動画像信号と前記第１及び第２の動き補償予測信号とに基づいて、直交変換・量子化対象となる予測誤差信号を生成する第４のステップと、
   前記第４のステップにより生成された前記予測誤差信号に対して、直交変換した後量子化して量子化後信号を生成する第５のステップと、
   前記第１の動き補償信号を用いて前記量子化後信号を局部復号化して前記参照画像信号を生成する第６のステップと
   を含むことを特徴とする動画像符号化方法。
2. 入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する第１のステップと、
   前記動きベクトルを用いて前記参照画像信号に対して動き補償予測処理を行って第１の動き補償予測信号を算出する第２のステップと、
   前記動きベクトルを用いて前記参照画像信号の符号化元画像に対応する前記入力動画像信号に対して動き補償予測処理を行って第２の動き補償予測信号を算出する第３のステップと、
   入力動画像信号のブロック毎に、その入力動画像信号と前記第１の動き補償予測信号との差分信号に対して直交変換を行って第１の直交変換信号を算出する第４のステップと、
   入力動画像信号のブロック毎に、その入力動画像信号と前記第２の動き補償予測信号との差分信号に対して直交変換を行って第２の直交変換信号を算出する第５のステップと、
   前記第１の直交変換信号と前記第２の直交変換信号とに基づいて、第３の直交変換信号を生成する第６のステップと、
   前記第６のステップにより生成された前記第３の直交変換信号を量子化して量子化後信号を生成する第７のステップと、
   前記第１の動き補償信号を用いて前記量子化後信号を局部復号化して前記参照画像信号を生成する第８のステップと
   を含むことを特徴とする動画像符号化方法。
3. 入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトルを用いて前記参照画像信号に対して動き補償予測処理を行って第１の動き補償予測信号を算出する第１の動き補償予測手段と、
   前記動きベクトルを用いて前記参照画像信号の符号化元画像に対応する前記入力動画像信号に対して動き補償予測処理を行って第２の動き補償予測信号を算出する第２の動き補償予測手段と、
   前記入力動画像信号のブロック毎に、その入力動画像信号と前記第１及び第２の動き補償予測信号とに基づいて、直交変換・量子化対象となる予測誤差信号を生成する予測誤差信号生成手段と、
   前記予測誤差信号生成手段により生成された前記予測誤差信号に対して、直交変換した後量子化して量子化後信号を生成する直交変換・量子化手段と、
   前記第１の動き補償信号を用いて前記量子化後信号を局部復号化して前記参照画像信号を生成する局部復号手段と
   を有することを特徴とする動画像符号化装置。
4. 入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトルを用いて前記参照画像信号に対して動き補償予測処理を行って第１の動き補償予測信号を算出する第１の動き補償予測手段と、
   前記動きベクトルを用いて前記参照画像信号の符号化元画像に対応する前記入力動画像信号に対して動き補償予測処理を行って第２の動き補償予測信号を算出する第２の動き補償予測手段と、
   入力動画像信号のブロック毎に、その入力動画像信号と前記第１の動き補償予測信号との差分信号に対して直交変換を行って第１の直交変換信号を算出する第１の直交変換手段と、
   入力動画像信号のブロック毎に、その入力動画像信号と前記第２の動き補償予測信号との差分信号に対して直交変換を行って第２の直交変換信号を算出する第２の直交変換手段と、
   前記第１の直交変換信号と前記第２の直交変換信号とに基づいて、第３の直交変換信号を生成する第３の直交変換手段と、
   前記第３の直交変換手段により生成された前記第３の直交変換信号を量子化して量子化後信号を生成する量子化手段と、
   前記第１の動き補償信号を用いて前記量子化後信号を局部復号化して前記参照画像信号を生成する局部復号手段と
   を有することを特徴とする動画像符号化装置。
5. 入力動画像信号を符号化するためにコンピュータに、
   入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する第１のステップと、
   前記動きベクトルを用いて前記参照画像信号に対して動き補償予測処理を行って第１の動き補償予測信号を算出する第２のステップと、
   前記動きベクトルを用いて前記参照画像信号の符号化元画像に対応する前記入力動画像信号に対して動き補償予測処理を行って第２の動き補償予測信号を算出する第３のステップと、
   前記入力動画像信号のブロック毎に、その入力動画像信号と前記第１及び第２の動き補償予測信号とに基づいて、直交変換・量子化対象となる予測誤差信号を生成する第４のステップと、
   前記第４のステップにより生成された前記予測誤差信号に対して、直交変換した後量子化して量子化後信号を生成する第５のステップと、
   前記第１の動き補償信号を用いて前記量子化後信号を局部復号化して前記参照画像信号を生成する第６のステップと
   を実行させることを特徴とする動画像符号化プログラム。
6. 入力動画像信号を符号化するためにコンピュータに、
   入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する第１のステップと、
   前記動きベクトルを用いて前記参照画像信号に対して動き補償予測処理を行って第１の動き補償予測信号を算出する第２のステップと、
   前記動きベクトルを用いて前記参照画像信号の符号化元画像に対応する前記入力動画像信号に対して動き補償予測処理を行って第２の動き補償予測信号を算出する第３のステップと、
   入力動画像信号のブロック毎に、その入力動画像信号と前記第１の動き補償予測信号との差分信号に対して直交変換を行って第１の直交変換信号を算出する第４のステップと、
   入力動画像信号のブロック毎に、その入力動画像信号と前記第２の動き補償予測信号との差分信号に対して直交変換を行って第２の直交変換信号を算出する第５のステップと、
   前記第１の直交変換信号と前記第２の直交変換信号とに基づいて、第３の直交変換信号を生成する第６のステップと、
   前記第６のステップにより生成された前記第３の直交変換信号を量子化して量子化後信号を生成する第７のステップと、
   前記第１の動き補償信号を用いて前記量子化後信号を局部復号化して前記参照画像信号を生成する第８のステップと
   を実行させることを特徴とする動画像符号化プログラム。

Images