JP2012124851A - 動き補償符号化装置、動き補償符号化方法、及びプログラム - Google Patents

Abstract

【課題】動きベクトルの検出を行う際の映像の高品位化を実現し、動きベクトルの検出の精度を向上させる。
【解決手段】入力されるプログレッシブ映像信号をインタレース映像信号に変換して、インタレース映像信号を動き補償符号化する場合に、動きベクトル探索用フレームメモリにプログレッシブ映像信号を保存し、保存されたそのプログレッシブ映像信号を参照画像として用いて動きベクトルの検出を行い、検出された動きベクトルを用いてインタレース映像信号を動き補償符号化するようにして、動きが少ない映像であっても動きベクトルを誤検出せず、動きベクトルの検出精度を向上させる。
【選択図】図１

Description

本発明は、入力される映像信号を動き補償符号化する動き補償符号化装置、動き補償符号化方法、及びプログラムに関する。

近年、音声信号や映像信号など所謂マルチメディアに関連する情報のデジタル化が急進しており、これに対応して映像信号の圧縮符号化復号化技術が注目されている。圧縮符号化復号化技術は、映像信号の格納に必要な記憶容量や伝送に必要な帯域を減少させることができるため、マルチメディア産業には極めて重要な技術である。

これらの圧縮符号化復号化技術は、多くの映像信号が有する自己相関性の高さ（すなわち、冗長性）を利用して情報量／データ量を圧縮している。映像信号が有する冗長性には、時間冗長性及び二次元の空間冗長性がある。映像信号が有する時間冗長性は、ブロック単位の動き検出及び動き補償を用いて低減させることができる。また、映像信号が有する空間冗長性は、離散コサイン変換（ＤＣＴ）を用いて低減させることができる。

圧縮符号化復号化技術として知られるＭＰＥＧ方式などでは、これらの手法により映像信号の冗長性を低減させ、経時的に変わるビデオフレーム／フィールドのデータ圧縮効果を向上させる。時間冗長性を低減させるためのブロック単位の動き検出及び動き補償とは、連続して入力する参照フレーム／フィールド（過去のフレーム／フィールド）と現在のフレーム／フィールドとの間で最も近似するブロックを探し出す作業である。対応するブロックの移動方向及び移動量を表すベクトルは動きベクトルと呼ばれる。したがって、動き検出とは動きベクトルの検出と同義である。

動きベクトルの検出は、ビデオ信号をｍ画素×ｎライン（ｍ、ｎは整数）による動きベクトルの検出単位（すなわちマクロブロックである）にブロック化し、各ブロック毎に動きベクトルを検出するようになされている。動きベクトルを検出する手法としては、下記特許文献１に開示のパターンマッチング法、下記特許文献２に開示の勾配法、位相相関法等が用いられている。

特開昭５５−１６２６８３号公報 特開昭６０−１５８７８６号公報 特開平０６−２９６２７６号公報

ここで、映像によっては動きベクトルを正しく検出することができないことがあった。
例えば、インタレース方式の映像信号を符号化する際、フィールド間で動きベクトルの検出を行っているが、動きの小さい斜め線をエッジとしてもつ物体の動きベクトルの検出を行った場合には、正確に動きを捉えることができず画質劣化を生じることがある。その理由を図６に示す静止した映像の斜め線を例に挙げて説明する。プログレッシブ方式の映像信号を符号化する場合には映像をフレームとして扱うので、図６（ａ）に示すように時間方向の絵柄が同一になり、同一座標に斜め線が存在する。したがって、動きベクトルを「０」と正しく検出できる。一方、インタレース方式の映像信号を符号化する場合には映像をフィールドとして扱うので、図６（ｂ）に示すように偶数フィールドと奇数フィールドとでは絵柄が異なり、同一座標に斜め線が存在しなくなってしまう。そのため、動きベクトルが「０」にならず検出誤差が発生する。その結果、符号化した映像を再生した際に引きつりなどの映像劣化が起きてしまう問題がある。

また、例えば、特に暗部などカメラゲインが増幅しノイズが大量に発生する映像では、ノイズが誤差評価基準に強く影響して、パターンマッチング法、勾配法、位相相関法では正しい動きベクトルが検出できなかった。そこで、符号化対象画像に対してノイズ除去を行い、ノイズを少なくすることで、正しい動きベクトルを検出する手法が提案されている（例えば、特許文献３参照。）。しかし、ノイズ除去を行う際に低域通過型や帯域通過型などのフィルタを適用するため、入力される映像が本来持っている情報量が失われ映像の解像感が損なわれてしまう問題がある。

本発明は、このような事情に鑑みてなされたものであり、動きベクトルの検出を行う際の映像の高品位化を実現し、動きベクトルの検出の精度を向上させることを目的とする。

本発明の動き補償符号化装置は、入力される映像信号を複数のブロックに分け、前記ブロック毎に、参照画像を参照して動きベクトルを検出し映像信号を動き補償符号化する動き補償符号化装置であって、入力されるプログレッシブ映像信号をインタレース映像信号に変換するプログレッシブ／インタレース変換手段と、前記プログレッシブ映像信号を保存するメモリと、前記動きベクトルを検出する動きベクトル探索手段と、前記動きベクトルを用いて映像信号を動き補償符号化する符号化手段とを有し、前記動きベクトル探索手段は、前記メモリに保存された前記プログレッシブ映像信号を参照画像に用いて前記動きベクトルの検出を行い、前記符号化手段は、前記動きベクトル探索手段により検出された動きベクトルを前記インタレース映像信号に対応する動きベクトルに変換した動きベクトルを用いて、前記プログレッシブ／インタレース変換手段により変換された前記インタレース映像信号を動き補償符号化することを特徴とする。

本発明によれば、高品位の映像を用いた動きベクトルの検出を行うことができ、動きベクトルの誤検出を抑制することができる。したがって、動きベクトルの検出精度を向上させることができ、映像の劣化が少ない符号化を行うことが可能になる。

第１の実施形態に係る動き補償符号化装置の構成例を示す図である。 第２の実施形態に係る動き補償符号化装置の構成例を示す図である。 第３の実施形態に係る動き補償符号化装置の構成例を示す図である。 第４の実施形態に係る動き補償符号化装置の構成例を示す図である。 第４の実施形態に係る動き補償符号化装置の説明に用いる動きベクトルの位置関係を示す図である。 従来の動き補償符号化装置の動作を説明するための図である。 本実施形態に係る動き補償符号化装置を実現可能なコンピュータ機能を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、第１の実施形態に係る動き補償符号化装置の構成例を示すブロック図である。第１の実施形態に係る動き補償符号化装置は、動きベクトル探索用フレームメモリ１０１、動きベクトル探索部１０２Ａ、プログレッシブ／インタレース変換部１０３、動き補償部１０４、及びイントラ予測部１０５を有する。また、第１の実施形態に係る動き補償符号化装置は、直交変換部１０６、量子化部１０７、エントロピー符号化部１０８、逆量子化部１０９、逆直交変換部１１０、スイッチ１１１、減算器１１２、及び加算器１１３を有する。また、第１の実施形態に係る動き補償符号化装置は、フィルタ前参照フレームメモリ１１４、ループフィルタ１１５、及びフィルタ後参照フレームメモリ１１６を有する。第１の実施形態に係る動き補償符号化装置は、入力されるプログレッシブ形式の映像信号を複数の符号化対象のブロックに分け、そのブロック毎に、参照画像を参照して動きベクトルを検出する。そして、入力されるプログレッシブ形式の映像信号を変換したインタレース形式の映像信号を、検出された動きベクトルをインタレース形式の映像信号に対応する動きベクトルに変換した動きベクトルを用いて動き補償符号化する。

動きベクトル探索用フレームメモリ１０１は、動きベクトルの検出に係る入力画像及び参照画像を保存するメモリである。

動きベクトル探索部１０２Ａは、入力される符号化対象のマクロブロックと参照フレームとの相関の強い位置を示す動きベクトルの探索を行う。動きベクトル探索部１０２Ａは、例えば評価関数を用いて最大相関度を有する動きベクトルを推定する。評価関数としては、ＭＳＥ（Mean Square Error）（下記式〔１〕参照）、ＭＡＥ（Mean Absolute Error）（下記式〔２〕参照）、あるいはＭＡＤ（Mean Absolute Difference）などがある。

ここで、Ｓ_refは参照フレーム、Ｓ_cur,kは現在のフレームにおけるｋ番目のマクロブロックを示す。（ｉ，ｊ）は現在のフレームにおけるｋ番目のマクロブロックに対する参照フレームの空間的な位置を示す。ただし、Ｘをサーチウィンドウの水平画素数、及びＹをサーチウィンドウの垂直画素数とすると、ｘ＝ｇ×ｕ，ｙ＝ｈ×ｖであり、ｇ，ｈは０≦ｘ≦Ｘ，１≦ｇ≦Ｘ，０≦ｙ≦Ｙ，１≦ｈ≦Ｙを満たす自然数である。また、Ｕ，Ｖは（Ｘ−ｇ）≦Ｕ≦Ｘ，（Ｙ−ｈ）≦Ｖ≦Ｙを満たす。

前述の評価関数は画素値の差に基づいたものであり、動きベクトル探索部１０２Ａは、最も小さいＭＡＥ値やＭＳＥ値を有するものを、現在のマクロブロックにおける最終的な動きベクトルとして選定する。

プログレッシブ／インタレース変換部１０３は、プログレッシブ／インタレース変換を行う。すなわち、プログレッシブ／インタレース変換部１０３は、入力されるプログレッシブ方式の映像信号（以下、「プログレッシブ映像信号」と称す。）をインタレース方式の映像信号（以下、「インタレース映像信号」と称す。）に変換し出力する。

動き補償部１０４は、フィルタ後参照フレームメモリ１１６から読み出した参照フレームの復元画像データと検出された動きベクトルから現行画像の予測画像データを生成する。また、イントラ予測部１０５は、フィルタ前参照フレームメモリ１１４から読み出した復元画像データを所定のブロック単位に分割し、各ブロック内の画像データをそのブロックの周辺画素値から予測し、予測値を予測画像データとして算出する。

スイッチ１１１は、図示しないコントローラからの制御に応じて接続状態が切り替えられ、動き補償部１０４又はイントラ予測部１０５からの予測画像データの一方を出力する。減算器１１２は、プログレッシブ／インタレース変換部１０３より出力されたインタレース映像信号の符号化対象ブロックから、スイッチ１１１より出力された予測画像データを減算し、その演算結果を画像残差データとして出力する。

直交変換部１０６は、入力される画像残差データを直交変換処理して変換係数を出力し、量子化部１０７は、その変換係数を所定の量子化パラメータを用いて量子化する。エントロピー符号化部１０８は、量子化された変換係数が入力され、ＣＡＶＬＣやＣＡＢＡＣなどのエントロピー符号化を施して、符号化データとして出力する。

逆量子化部１０９は、量子化された変換係数を逆量子化して出力し、逆直交変換部１１０は、逆量子化された変換係数を逆直交変換処理して復号残差データを生成する。加算器１１３は、逆直交変換部１１０より出力された復号残差データと、スイッチ１１１より出力された予測画像データと加算し、その演算結果を参照画像データとして出力する。

フィルタ前参照フレームメモリ１１４は、加算器１１３より出力された参照画像データを保存する。ループフィルタ１１５は、ブロック境界のデータの不連続性を抑圧するために、ブロック境界に隣接する画素データに対して所定のフィルタ処理を施す。ここで、フィルタ前参照フレームメモリ１１４に保存されている復元画像データは、予測情報の誤差や量子化処理における量子化誤差によって、入力画像データよりも僅かに劣化している画像となっている。特に各処理において所定のブロック単位で処理される画像データは、ブロック境界でデータの不連続性が生じやすくブロック歪として画像認識されてしまう。そこで、ループフィルタ１１５は、例えばブロック歪を低減させるためにデブロッキングフィルタを用いて、フィルタ前参照フレームメモリ１１４に保存されている復元画像データに対してフィルタ処理を施す。フィルタ後参照フレームメモリ１１６は、フィルタ処理された復元画像データを保存する。

次に、第１の実施形態に係る動き補償符号化装置の動作について説明する。

まず、入力される映像信号（入力画像）を符号化する処理について説明する。
動きベクトル探索用フレームメモリ１０１には表示順にインタレース映像信号に変換される前のプログレッシブ映像信号（原画像）が保存され、符号化順に符号化対象ブロックが動きベクトル探索部１０２Ａに順次送信される。また、動きベクトル探索用フレームメモリ１０１にはプログレッシブ映像が動きベクトル検出用の参照画像として保存され、符号化対象ブロックの動きベクトル検出用の参照画像が動きベクトル探索部１０２Ａに順次送信される。なお、インタレース映像信号を符号化するが、動きベクトルの検出はプログレッシブ映像で行うため、符号化対象ブロックの大きさを垂直方向に２倍にしたブロックを用いて動きベクトルの検出が行われる。例えば、ＭＰＥＧ２方式の符号化対象ブロックのサイズは１６画素×１６ラインであるので、動きベクトルの検出は１６画素×３２ラインのブロックを用いて行われる。

動きベクトル探索部１０２Ａは、動きベクトル探索用フレームメモリ１０１より入力される符号化対象マクロブロックと動きベクトル探索用フレームメモリ１０１より入力される参照フレームとに基づいて動きベクトルを検出する。動きベクトル探索部１０２Ａは、前述したＭＳＥやＭＡＥなどの評価関数を用い、最も小さいＭＡＥ値やＭＳＥ値を有する場合の移動方向及び移動量を表すベクトルを現在のマクロブロックにおける最終的な動きベクトルとして検出する。なお、動きベクトルの検出はプログレッシブ映像で行っているので、インタレース映像と画像サイズとを対応させるために検出した動きベクトルは垂直方向に（１／２）倍される。続いて、動きベクトル探索部１０２Ａは、検出した動きベクトルの情報を動き補償部１０４及びエントロピー符号化部１０８に送出する。また、同時に動きベクトルの検出に用いた参照フレームを示す識別情報もまた、動き補償部１０４及びエントロピー符号化部１０８に送出する。

また、プログレッシブ／インタレース変換部１０３は、入力されるプログレッシブ映像信号をインタレース映像信号に変換した上で、符号化対象ブロックを符号化順にイントラ予測部１０５及び減算器１１２に送信する。イントラ予測部１０５では、プログレッシブ／インタレース変換部１０３より供給される画像データとフィルタ前参照フレームメモリ１１４から読み出した復元画像データとに基づくイントラ予測により予測画像データが生成される。また、動き補償部１０４では、参照フレームの識別情報に応じてフィルタ後参照フレームメモリ１１６から読み出した参照フレームの復元画像データと動きベクトル探索部１０２Ａにより検出された動きベクトルとから現行画像の予測画像データを生成する。このように、インター予測符号化では、イントラ予測符号化とは異なり、現行画像とは別のフレームを参照して予測画像データを作り出す。

イントラ予測符号化方式の場合には、スイッチ１１１における出力端１１１ａと入力端１１１ｃとが接続され、イントラ予測部１０５においてイントラ予測方式による算出方法で得られた予測画像データがスイッチ１１１より送出される。一方、インター予測符号化方式の場合には、スイッチ１１１における出力端１１１ａと入力端１１１ｂとが接続され、動き補償部１０４においてインター予測方式による算出方法で得られた予測画像データがスイッチ１１１より送出される。

そして、プログレッシブ／インタレース変換部１０３より送信された符号化対象ブロックからスイッチ１１１より送信された予測画像データが減算器１１２にて減算され、演算結果が画像残差データとして出力される。減算器１１２より出力された画像残差データは、直交変換部１０６及び量子化部１０７にて直交変換処理及び量子化処理が施された後、エントロピー符号化部１０８でエントロピー符号化され符号化データとして出力される。

続いて、量子化部１０７で量子化された変換係数を用いて参照画像データを生成する処理について説明する。
量子化部１０７で量子化された変換係数は、逆量子化部１０９に供給されて逆量子化された後、逆直交変換部１１０で逆直交変換処理される。これにより、復号残差データが生成され加算器１１３に送信される。加算器１１３では、復号残差データとスイッチ１１１より送信された予測画像データとが加算され、その演算結果が参照画像データとしてフィルタ前参照フレームメモリ１１４に保存されるとともに、ループフィルタ１１５に送信される。加算器１１３より送信された参照画像データは、ループフィルタ１１５でブロック境界のデータの不連続性を抑圧するためのフィルタ処理が施され、フィルタ後参照フレームメモリ１１６に保存される。

第１の実施形態によれば、インタレース映像信号を符号化する場合であっても動きベクトルの検出はプログレッシブ映像信号を用いて行うので、動きが少ない映像であっても動きベクトルを誤検出せず、映像の劣化が少ない符号化が可能になる。したがって、動きベクトルの検出精度を向上させることができ、符号化した映像を再生した場合の画質劣化を抑制することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図２は、第２の実施形態に係る動き補償符号化装置の構成例を示すブロック図である。図２において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。図２に示す第２の実施形態に係る動き補償符号化装置は、図１に示した第１の実施形態に係る動き補償符号化装置とほぼ同じ構成を有するが、さらにグローバルベクトル探索部１１７及びプログレッシブ／インタレース信号切替部１１８を有する。また、第２の実施形態における動きベクトル探索部１０２Ｂは、インタレース映像信号を用いて動きベクトルの検出を行うか、プログレッシブ映像信号を用いて動きベクトルの検出を行うかを、切り替える点が第１の実施形態とは異なる。動きベクトルの検出に用いる映像信号は、グローバルベクトル探索部１１７で求めたグローバルベクトルの大きさに応じて切り替えられる。

グローバルベクトル探索部１１７は、動きベクトル探索用フレームメモリ１０１及び入力されるプログレッシブ映像信号から参照画像のすべての画素値と符号化対象画像のすべての画素値とを用いてグローバルベクトルを検出する。このグローバルベクトルは、参照画像に対する符号化対象画像の空間的位置の差を示すものである。グローバルベクトル探索部１１７により検出したグローバルベクトルは、プログレッシブ／インタレース信号切替部１１８及び動きベクトル探索部１０２Ｂに送信され、動きベクトルの検出方法を決定するために使用される。

ここで、グローバルベクトル探索部１１７によるグローバルベクトルの検出は、例えば次のようなＭＳＥ（下記式〔３〕参照）、ＭＡＥ（下記式〔４〕参照）、あるいはＭＡＤの評価関数を用いることが可能である。

ここで、Ｓ_cur（ｍ，ｎ）は現在のフレームでの（ｍ，ｎ）番目の画素値、Ｓ_ref（ｍ，ｎ）は参照フレームでの（ｍ，ｎ）番目の画素値を示す。（ｉ，ｊ）は参照フレームに対する現在のフレームの空間的な位置を示す。ただし、Ｍを１フレームの水平画素数、Ｎを１フレームの垂直画素数とすると、ｍ＝ｋ×ｑ，ｎ＝ｌ×ｒであり、ｋ，ｌは０≦ｍ≦Ｍ，１≦ｋ≦Ｍ，０≦ｎ≦Ｎ，１≦ｌ≦Ｎを満たす自然数である。また、Ｑ，Ｒは（Ｍ−ｋ）≦Ｑ≦Ｍ，（Ｎ−ｌ）≦Ｒ≦Ｎを満たす。

プログレッシブ／インタレース信号切替部１１８は、グローバルベクトル探索部１１７から送信されるグローバルベクトルの大きさＧＶ_lenに応じて、動きベクトル探索部１０２Ｂでの動きベクトルの検出に使用する映像信号を切り替える。なお、グローバルベクトルの大きさＧＶ_lenは、例えばＧＶ_len＝ＧＶ_x ²＋ＧＶ_y ²として求められる。ＧＶ_xはグローバルベクトルの水平方向の長さを示し、ＧＶ_yはグローバルベクトルの水平方向の長さを示す。

プログレッシブ／インタレース信号切替部１１８は、ＧＶ_len＞Ｔｈの場合にはインタレース映像信号を用いて動きベクトルの検出を行い、それ以外の場合にはプログレッシブ映像信号を用いて動きベクトルの検出を行うようフラグを立てる。プログレッシブ／インタレース信号切替部１１８は、そのフラグを動きベクトル探索部１０２Ｂに送信する。なお、Ｔｈは所定の閾値である。

動きベクトル探索部１０２Ｂは、プログレッシブ／インタレース信号切替部１１８より送信されるフラグに応じて、プログレッシブ映像信号を用いて動きベクトルの検出を行うか、インタレース映像信号を用いて動きベクトルの検出を行うかを切り替える。すなわち、動きベクトル探索部１０２Ｂは、グローバルベクトルの大きさＧＶ_lenが所定の閾値より大きい場合にはインタレース映像信号を用いて動きベクトルの検出を行う。一方、動きベクトル探索部１０２Ｂは、グローバルベクトルの大きさＧＶ_lenが所定の閾値以下の場合にはプログレッシブ映像信号を用いて動きベクトルの検出を行う。

なお、プログレッシブ映像信号を用いる場合には、動きベクトル探索用フレームメモリ１０１より入力される符号化対象マクロブロックと動きベクトル探索用フレームメモリ１０１より入力される参照画像とを用いて動きベクトルの検出が行われる。インタレース映像信号を用いる場合には、プログレッシブ／インタレース変換部１０３からの符号化対象マクロブロックとフィルタ後参照フレームメモリ１１６からの参照画像（ローカルデコード済のインタレース映像信号）を用いて動きベクトルの検出が行われる。また、動きベクトルの検出をプログレッシブ映像信号を用いて行った場合には、インタレース映像と画像サイズとを対応させるために検出した動きベクトルは垂直方向に（１／２）倍される。

動きベクトル探索部１０２Ｂにより検出した動きベクトルの情報は、動き補償部１０４及びエントロピー符号化部１０８に送出される。また、同時に、動きベクトルの検出に用いた参照フレームを示す識別情報もまた、動き補償部１０４及びエントロピー符号化部１０８に送出される。
動きベクトルを検出した後の処理は、第１の実施形態と同様であるので説明は省略する。

第２の実施形態によれば、インタレース映像信号を符号化する際、映像全体の動きが少ない場合にはプログレッシブ映像信号を用いて動きベクトルの検出を行い、映像全体の動きが大きい場合にはインタレース映像信号を用いて動きベクトルの検出を行う。これにより、入力される映像における動きの大きさに応じて動きベクトルの検出方法を切り替え、処理が増大することを抑制することができる。したがって、処理が増大することを抑制しながらも、動きベクトルの検出精度を向上させることができ、符号化した映像を再生した場合の画質劣化を抑制することができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図３は、第３の実施形態に係る動き補償符号化装置の構成例を示すブロック図である。図３において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。

第３の実施形態に係る動き補償符号化装置は、動きベクトル探索用フレームメモリ１０１、動きベクトル探索部１０２Ａ、動き補償部１０４、イントラ予測部１０５、直交変換部１０６、量子化部１０７、及びエントロピー符号化部１０８を有する。また、第３の実施形態に係る動き補償符号化装置は、逆量子化部１０９、逆直交変換部１１０、スイッチ１１１、減算器１１２、加算器１１３、フィルタ前参照フレームメモリ１１４、ループフィルタ１１５、及びフィルタ後参照フレームメモリ１１６を有する。さらに、第３の実施形態に係る動き補償符号化装置は、ノイズリダクション部１１９Ａを有する。第３の実施形態に係る動き補償符号化装置は、入力される映像信号をノイズ低減した後に複数の符号化対象のブロックに分け、そのブロック毎に、参照画像を参照して動きベクトルを検出する。そして、検出された動きベクトルを用いて、ノイズ低減されていない入力された映像信号を動き補償符号化する。

第３の実施形態に係る動き補償符号化装置において、入力される映像信号は、イントラ予測部１０５、減算器１１２、及びノイズリダクション部１１９Ａに供給される。
ノイズリダクション部１１９Ａは、入力される映像信号のノイズ低減を行い動きベクトル探索用フレームメモリ１０１に送信する。ノイズリダクションの手法としては、低域通過型や帯域通過型などのフィルタを適用することが考えられるが特にその手法は問わない。

第３の実施形態に係る動き補償符号化装置の動作について説明する。なお、以下では、入力される映像信号（入力画像）を符号化する処理について説明し、量子化された変換係数を用いて参照画像データを生成する処理については第１の実施形態と同様であるので説明は省略する。

動きベクトル探索用フレームメモリ１０１には表示順にノイズリダクション部１１９Ａによりノイズ低減された映像信号が保存され、符号化順に符号化対象ブロックが動きベクトル探索部１０２Ａに順次送信される。また、ノイズリダクション部１１９Ａによりノイズ低減された映像が動きベクトル検出用の参照画像として保存され、符号化対象ブロックの動きベクトル検出用の参照画像が動きベクトル探索部１０２Ａに順次送信される。

そして、動きベクトル探索部１０２Ａは、第１の実施形態と同様にして動きベクトルの検出を行い、検出した動きベクトルの情報を動き補償部１０４及びエントロピー符号化部１０８に送出する。また、同時に、動きベクトル探索部１０２Ａは、動きベクトルの検出に用いた参照フレームを示す識別情報も、動き補償部１０４及びエントロピー符号化部１０８に送出する。動きベクトルを検出した後の処理は、入力された映像信号に係る符号化対象ブロックからスイッチ１１１より送信された予測画像データを減算器１１２で減算し画像残差データを算出することが異なるだけで、第１の実施形態と同様である。

第３の実施形態によれば、動きベクトルの検出は、ノイズリダクション部１１９Ａによりノイズ低減した映像を用いて行うので、ノイズの多い映像が入力されてもノイズの影響を緩和し、適切な動きベクトルを検出することが可能になる。また、符号化する映像に対してはノイズリダクション部１１９Ａによるノイズ低減を行わないため、解像感が損なわれることもない。したがって、符号化する映像の解像感を損なわずに動きベクトルの検出精度を向上させることができ、解像感と符号化効率を両立した符号化を実現することができる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
図４は、第４の実施形態に係る動き補償符号化装置の構成例を示すブロック図である。図４において、図１、図３に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。図４に示す第４の実施形態に係る動き補償符号化装置は、図３に示した第３の実施形態に係る動き補償符号化装置とほぼ同じ構成を有するが、さらにベクトルばらつき演算部１２０を有する。

動きベクトル探索部１０２Ｃは、動きベクトル探索部１０２Ａと同様にして動きベクトルの検出を行う。そして、動きベクトル探索部１０２Ｃは、検出した動きベクトルの情報を動き補償部１０４、エントロピー符号化部１０８、及びベクトルばらつき演算部１２０に送出する。また、同時に動きベクトルの検出に用いた参照フレームを示す識別情報を、動き補償部１０４及びエントロピー符号化部１０８に送出する。

ベクトルばらつき演算部１２０は、動きベクトル探索部１０２Ｃより送信された動きベクトルの情報を基に、動きベクトルＭＶ０，ＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４からベクトルのばらつき度vec_varを算出する。ベクトルばらつき演算部１２０は、算出したベクトルのばらつき度vec_varをノイズリダクション部１１９Ｂに送信する。ここで、図５に示すように、ＭＶ０は符号化対象マクロブロックの動きベクトルである。また、ＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４は事前に符号化されベクトルばらつき演算部１２０に保持されている符号化対象マクロブロックに隣接する周辺のマクロブロックの動きベクトルである。ベクトルばらつき演算部１２０は、例えば下記式〔５〕あるいは下記式〔６〕を用いてベクトルのばらつき度vec_varを算出する。

式〔５〕において、Ｖａｒ（Ｘ）は動きベクトルＭＶ０〜ＭＶ４のＸ成分の最大値Ｍａｘ（Ｘ）と動きベクトルＭＶ０〜ＭＶ４のＸ成分の最小値Ｍｉｎ（Ｘ）の差分絶対値和である。また、Ｖａｒ（Ｙ）は動きベクトルＭＶ０〜ＭＶ４のＹ成分の最大値Ｍａｘ（Ｙ）と動きベクトルＭＶ０〜ＭＶ４のＹ成分の最小値Ｍｉｎ（Ｙ）の差分絶対値和である。

式〔６〕において、Ｅ（Ｘ）は動きベクトルＭＶ０〜ＭＶ４のＸ成分の平均値であり、Ｅ（Ｙ）は動きベクトルＭＶ０〜ＭＶ４のＹ成分の平均値である。また、Ｖａｒ（Ｘ）は動きベクトルＭＶ０〜ＭＶ４のＸ成分の分散値であり、Ｖａｒ（Ｙ）は動きベクトルＭＶ０〜ＭＶ４のＹ成分の分散値である。

なお、画像端のマクロブロックなど周辺のマクロブロックがすべて揃っていない場合には使用できるマクロブロックの動きベクトルを用いて演算を行えばよい。例えば、符号化対象マクロブロックが画像の左端に位置するマクロブロックであれば、動きベクトルＭＶ１，ＭＶ４が存在しないので、残りの動きベクトルＭＶ０，ＭＶ２，ＭＶ３を用いてベクトルのばらつき度vec_varを算出すればよい。

ノイズリダクション部１１９Ｂは、ベクトルばらつき演算部１２０から送信されるベクトルのばらつき度vec_varに応じてノイズ低減の強度を切り替え、入力される映像信号のノイズ低減を行う。例えば、ノイズ低減の強度は、以下の規則に従って決定される。

ベクトルのばらつき度vec_varが小さいときには、動きベクトルが落ち着いており、ノイズが少ない可能性が高いと考えられる。一方、ベクトルのばらつき度vec_varが大きいときには、動きベクトルが暴れていることを示し、ノイズが多い可能性が高いと考えられる。そこで、ノイズリダクション部１１９Ｂは、ベクトルのばらつき度vec_varが小さいときにはノイズ低減の強度を弱くするようにし、ベクトルのばらつき度vec_varが大きいときにはノイズ低減の強度を強くするようにする。このように、ノイズ低減（フィルタ）の強度を画像の特徴に応じて適応的に切り替えることで、動きベクトルの検出精度を更に高めることができる。

なお、第４の実施形態に係る動き補償符号化装置の動作は、ベクトルのばらつき度vec_varに応じた強度でノイズ低減を行うようにした点が第３の実施形態とは異なり、他は第３の実施形態と同様である。

なお、第３及び第４の実施形態において、動きベクトル探索部１０２Ａ、１０２Ｃからノイズリダクション部１１９Ａ、１１９Ｂに検出結果をフィードバックし、その検出結果に応じてノイズ低減の強度を切り替えるようにしても良い。例えば、動きベクトル探索部１０２Ａ、１０２Ｃが、動きベクトルの探索時に求めた最も小さいＭＡＥ（差分絶対値和）値あるいはＭＳＥ（差分二乗和）値をノイズリダクション部１１９Ａ、１１９Ｂに送信する。以下では、ＭＡＥを用いた場合を一例として示し、最も小さいＭＡＥ値をｍｉｎＭＡＥとする。

そして、例えば第３の実施形態であれば、ノイズリダクション部１１９Ａが、動きベクトル探索部１０２Ａから送信されるｍｉｎＭＡＥの値に応じてノイズ低減の強度を切り替え、入力される映像信号のノイズ低減を行うようにしてもよい。なお、ノイズ低減の強度は、例えば、以下のような規則に従って決定すればよい。ｍｉｎＭＡＥの値が小さいときにはノイズが少ない可能性が高いため、ノイズ低減の強度を弱くするようにする。一方、ｍｉｎＭＡＥの値が大きいときにはノイズが多い可能性が高いため、ノイズ低減の強度を強くするようにする。このようにノイズ低減の強度を動きベクトル探索部１０２Ａにおける検出結果に応じて適応的に切り替えることで動きベクトルの検出精度を更に高めることができる。

例えば、第４の実施形態であれば、ノイズリダクション部１１９Ｂが、動きベクトル探索部１０２Ｃから送信されるｍｉｎＭＡＥの値及びベクトルばらつき演算部１２０から送信されるベクトルのばらつき度vec_varに応じて、ノイズ低減の強度を切り替える。そして、入力される映像信号のノイズ低減を行うようにしてもよい。なお、ノイズ低減の強度は、例えば以下のような規則に従って決定すればよい。

ここで、Filter_coeffは、フィルタ強度であり値が大きいほどノイズ低減の強度が強くなる。また、α，βは所定の係数である。このように、動きベクトル探索部１０２Ｃにおける検出結果とベクトルのばらつき度vec_varとの両方を考慮してノイズ低減の強度を決定することで動きベクトルの検出精度を高めることができる。

また、第３及び第４の実施形態において、ノイズリダクション部１１９Ａ、１１９Ｂにカメラゲインを入力し、入力されたカメラゲインに応じてノイズ低減の強度を切り替えて、入力される映像信号のノイズ低減を行うようにしてもよい。なお、ノイズ低減の強度は、例えば、以下のような規則に従って決定すればよい。ゲインアップ量が小さいときには増感による入力される映像に載るノイズの量が少ないため、ノイズ低減の強度を弱くするようにする。一方、ゲインアップ量が大きいときには増感により入力される映像に載るノイズ量が多くなるため、ノイズ低減の強度を強くするようにする。このようにノイズ低減の強度を映像にのるノイズ量に応じて適応的に切り替えることで動きベクトルの検出精度を更に高めることができる。

また、第３の実施形態においては、動きベクトル探索部１０２Ａにおける検出結果及びカメラゲイン（ゲインアップ量）をノイズリダクション部１１９Ａに供給し、それらに応じてノイズ低減の強度を切り替えるようにしてもよい。第４の実施形態においては、動きベクトル探索部１０２Ｃにおける検出結果、カメラゲイン（ゲインアップ量）、及びベクトルのばらつき度vec_varをノイズリダクション部１１９Ｂに供給し、それらに応じてノイズ低減の強度を切り替えるようにしてもよい。

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

例えば、前述した各実施形態に示した動き補償符号化装置は、図７に示すようなコンピュータ機能７００を有し、そのＣＰＵ７０１により前述した各実施形態での動作が実施される。
コンピュータ機能７００は、図７に示すように、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３とを備える。また、操作部（ＣＯＮＳ）７０９のコントローラ（ＣＯＮＳＣ）７０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）７１０のディスプレイコントローラ（ＤＩＳＰＣ）７０６とを備える。さらに、ハードディスク（ＨＤ）７１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）７１２のコントローラ（ＤＣＯＮＴ）７０７と、ネットワークインタフェースカード（ＮＩＣ）７０８とを備える。それら機能部７０１、７０２、７０３、７０５、７０６、７０７、７０８は、システムバス７０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ７０１は、ＲＯＭ７０２又はＨＤ７１１に記憶されたソフトウェア、又はＳＴＤ７１２より供給されるソフトウェアを実行することで、システムバス７０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ７０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ７０２、ＨＤ７１１、又はＳＴＤ７１２から読み出して実行することで、前述した各実施形態での動作を実現するための制御を行う。ＲＡＭ７０３は、ＣＰＵ７０１の主メモリ又はワークエリア等として機能する。
ＣＯＮＳＣ７０５は、ＣＯＮＳ７０９からの指示入力を制御する。ＤＩＳＰＣ７０６は、ＤＩＳＰ７１０の表示を制御する。ＤＣＯＮＴ７０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び前述した各実施形態での動作を実現するための処理プログラム等を記憶するＨＤ７１１及びＳＴＤ７１２とのアクセスを制御する。ＮＩＣ７０８はネットワーク７１３上の他の装置と双方向にデータをやりとりする。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１…動きベクトル探索用フレームメモリ、１０２Ａ・１０２Ｂ・１０２Ｃ…動きベクトル探索部、１０３…プログレッシブ／インタレース変換部、１０４…動き補償部、１０５…イントラ予測部、１０６…直交変換部、１０７…量子化部、１０８…エントロピー符号化部、１１１…スイッチ、１１２…減算器、１１７…グローバルベクトル探索部、１１８…プログレッシブ／インタレース信号切替部、１１９Ａ・１１９Ｂ…ノイズリダクション部、１２０…ベクトルばらつき演算部

Claims (13)

1. 入力される映像信号を複数のブロックに分け、前記ブロック毎に、参照画像を参照して動きベクトルを検出し映像信号を動き補償符号化する動き補償符号化装置であって、
   入力されるプログレッシブ映像信号をインタレース映像信号に変換するプログレッシブ／インタレース変換手段と、
   前記プログレッシブ映像信号を保存するメモリと、
   前記動きベクトルを検出する動きベクトル探索手段と、
   前記動きベクトルを用いて映像信号を動き補償符号化する符号化手段とを有し、
   前記動きベクトル探索手段は、前記メモリに保存された前記プログレッシブ映像信号を参照画像に用いて前記動きベクトルの検出を行い、
   前記符号化手段は、前記動きベクトル探索手段により検出された動きベクトルを前記インタレース映像信号に対応する動きベクトルに変換した動きベクトルを用いて、前記プログレッシブ／インタレース変換手段により変換された前記インタレース映像信号を動き補償符号化することを特徴とする動き補償符号化装置。
2. 入力される前記プログレッシブ映像信号と、前記動きベクトルの検出の参照画像として用いる前記メモリに保存されたプログレッシブ映像信号との空間的位置の差を示すグローバルベクトルを検出するグローバルベクトル探索手段を有し、
   検出された前記グローバルベクトルの大きさが所定の閾値以下である場合には、
   前記動きベクトル探索手段は、前記メモリに保存された前記プログレッシブ映像信号を参照画像に用いて前記動きベクトルの検出を行い、
   前記符号化手段は、前記動きベクトル探索手段により検出された動きベクトルを前記インタレース映像信号に対応する動きベクトルに変換した動きベクトルを用いて、前記プログレッシブ／インタレース変換手段により変換された前記インタレース映像信号を動き補償符号化し、
   検出された前記グローバルベクトルの大きさが所定の閾値より大きい場合には、
   前記動きベクトル探索手段は、プログレッシブ／インタレース変換手段により変換された前記インタレース映像信号を用いて前記動きベクトルの検出を行い、
   前記符号化手段は、前記動きベクトル探索手段により検出された動きベクトルを用いて、前記プログレッシブ／インタレース変換手段により変換された前記インタレース映像信号を動き補償符号化することを特徴とする請求項１記載の動き補償符号化装置。
3. 検出された前記グローバルベクトルの大きさが所定の閾値より大きい場合には、前記動きベクトル探索手段は、ローカルデコード済みのインタレース映像信号を参照画像として用いて前記動きベクトルの検出を行うことを特徴とする請求項２記載の動き補償符号化装置。
4. 入力される映像信号を複数のブロックに分け、前記ブロック毎に、参照画像を参照して動きベクトルを検出し映像信号を動き補償符号化する動き補償符号化装置であって、
   入力される映像信号のノイズを低減するノイズ低減手段と、
   前記ノイズ低減手段によりノイズを低減した映像信号を前記動きベクトルの検出の参照画像として保存するメモリと、
   前記ノイズ低減手段によりノイズを低減した映像信号と、前記メモリに参照画像として保存された映像信号とを用いて前記動きベクトルを検出する動きベクトル探索手段と、
   前記動きベクトル探索手段により検出された動きベクトルを用いて、前記入力される映像信号を動き補償符号化する符号化手段とを有することを特徴とする動き補償符号化装置。
5. 符号化対象のブロック及び当該ブロックに隣接するブロックでの動きベクトルのばらつき度を算出するベクトルばらつき演算手段を有し、
   前記ベクトルばらつき演算手段により算出された動きベクトルのばらつき度に応じて、前記ノイズ低減手段におけるノイズ低減の強度を切り替えることを特徴とする請求項４記載の動き補償符号化装置。
6. 前記動きベクトル探索手段による動きベクトルの探索時に評価関数の最小値を求め、
   前記評価関数の最小値に応じて、前記ノイズ低減手段におけるノイズ低減の強度を切り替えることを特徴とする請求項４又は５記載の動き補償符号化装置。
7. 前記評価関数は、符号化対象のブロックの画素値と参照画像の画素値との差分絶対値和であることを特徴とする請求項６記載の動き補償符号化装置。
8. 前記評価関数は、符号化対象のブロックの画素値と参照画像の画素値との差分二乗和であることを特徴とする請求項６記載の動き補償符号化装置。
9. 前記ノイズ低減手段に対してカメラゲインを入力し、前記カメラゲインに応じて、前記ノイズ低減手段におけるノイズ低減の強度を切り替えることを特徴とする請求項４〜８の何れか１項に記載の動き補償符号化装置。
10. 入力される映像信号を複数のブロックに分け、前記ブロック毎に、参照画像を参照して動きベクトルを検出し映像信号を動き補償符号化する動き補償符号化方法であって、
    入力されるプログレッシブ映像信号をインタレース映像信号に変換するプログレッシブ／インタレース変換工程と、
    前記プログレッシブ映像信号をメモリに保存する保存工程と、
    前記動きベクトルを検出する動きベクトル探索工程と、
    前記動きベクトルを用いて映像信号を動き補償符号化する符号化工程とを有し、
    前記動きベクトル探索工程では、前記メモリに保存された前記プログレッシブ映像信号を参照画像に用いて前記動きベクトルの検出を行い、
    前記符号化工程では、前記動きベクトル探索工程で検出された動きベクトルを前記インタレース映像信号に対応する動きベクトルに変換した動きベクトルを用いて、前記プログレッシブ／インタレース変換工程で変換された前記インタレース映像信号を動き補償符号化することを特徴とする動き補償符号化方法。
11. 入力される映像信号を複数のブロックに分け、前記ブロック毎に、参照画像を参照して動きベクトルを検出し映像信号を動き補償符号化する動き補償符号化方法であって、
    入力される映像信号のノイズを低減するノイズ低減工程と、
    前記ノイズ低減工程でノイズを低減した映像信号を前記動きベクトルの検出の参照画像としてメモリに保存する保存工程と、
    前記ノイズ低減工程でノイズを低減した映像信号と、前記メモリに参照画像として保存された映像信号とを用いて前記動きベクトルを検出する動きベクトル探索工程と、
    前記動きベクトル探索工程で検出された動きベクトルを用いて、前記入力される映像信号を動き補償符号化する符号化工程とを有することを特徴とする動き補償符号化方法。
12. 入力される映像信号を複数のブロックに分け、前記ブロック毎に、参照画像を参照して動きベクトルを検出し映像信号を動き補償符号化する処理をコンピュータに実行させるためのプログラムであって、
    入力されるプログレッシブ映像信号をインタレース映像信号に変換するプログレッシブ／インタレース変換ステップと、
    前記プログレッシブ映像信号をメモリに保存する保存ステップと、
    前記動きベクトルを検出する動きベクトル探索ステップと、
    前記動きベクトルを用いて映像信号を動き補償符号化する符号化ステップとをコンピュータに実行させ、
    前記動きベクトル探索ステップでは、前記メモリに保存された前記プログレッシブ映像信号を参照画像に用いて前記動きベクトルの検出を行い、
    前記符号化ステップでは、前記動きベクトル探索ステップで検出された動きベクトルを前記インタレース映像信号に対応する動きベクトルに変換した動きベクトルを用いて、前記プログレッシブ／インタレース変換ステップで変換された前記インタレース映像信号を動き補償符号化することを特徴とするプログラム。
13. 入力される映像信号を複数のブロックに分け、前記ブロック毎に、参照画像を参照して動きベクトルを検出し映像信号を動き補償符号化する処理をコンピュータに実行させるためのプログラムであって、
    入力される映像信号のノイズを低減するノイズ低減ステップと、
    前記ノイズ低減ステップでノイズを低減した映像信号を前記動きベクトルの検出の参照画像としてメモリに保存する保存ステップと、
    前記ノイズ低減ステップでノイズを低減した映像信号と、前記メモリに参照画像として保存された映像信号とを用いて前記動きベクトルを検出する動きベクトル探索ステップと、
    前記動きベクトル探索ステップで検出された動きベクトルを用いて、前記入力される映像信号を動き補償符号化する符号化ステップとをコンピュータに実行させることを特徴とするプログラム。

Images