JP2012034213A - 画像処理装置、画像処理システムおよび画像処理方法 - Google Patents

Abstract

【課題】演算量を抑制しつつ、高画質かつ高圧縮率で動画像を圧縮符号化可能な画像処理装置、画像処理システムおよび画像処理方法を提供する。
【解決手段】本実施形態によれば、動き検出部と、重み付け予測部と、参照フレーム選択部と、フレーム間予測部と、差分部と、直交変換量子化部と、符号化部と、を備える画像処理装置が提供される。重み付け予測部は、前記第１の参照フレームと輝度成分が等しく、色差成分が異なる第２の参照フレームを生成する。参照フレーム選択部は、符号化効率がより高くなるように、前記第１および第２の参照フレームのうちいずれか一方を最適参照フレームとして選択する。フレーム間予測部は、前記動きベクトルおよび前記選択された最適参照フレームに基づいてフレーム間予測画像を生成する。
【選択図】図１

Description

本発明の実施形態は、画像処理装置、画像処理システムおよび画像処理方法に関する。

高画質な動画像を記憶容量が限られたハードディスク等に記録するために、動画像を効率よく圧縮符号化する技術が不可欠になってきている。そのため、Ｈ．２６４などの動画像圧縮符号化方式において、フレーム間動き予測符号化が行われている。フレーム間動き予測符号化は、動き検出を行ってフレーム間予測画像を生成し、フレーム間予測画像と実際の画像との差分を圧縮符号化する手法である。動画像ではフレーム間の相関度が高いため、正確なフレーム間予測画像を生成できれば、画質を劣化させることなく高圧縮率で動画像を圧縮できる。

正確なフレーム間予測画像を生成するには、動き検出においてブロックマッチングを多数回行ってフレーム間の相関度が高い部分を検索する必要がある。そのため、動き検出には非常に多くの演算およびメモリアクセスが必要となる。したがって、動画像が輝度成分および色差成分で構成される場合でも、輝度成分のみを用いて動き検出を行うことが多い。

しかしながら、輝度成分のみを用いて動き予測を行うと、輝度成分が一様で色差成分が一様でない画像などで、色差成分の動き予測の精度が低くなる。その結果、圧縮符号化された動画像の画質が劣化してしまうことがある。

特開２００７−２５１４３号公報

本発明は、演算量を抑制しつつ、高画質かつ高圧縮率で動画像を圧縮符号化可能な画像処理装置、画像処理システムおよび画像処理方法を提供するものである。

本実施形態によれば、動き検出部と、重み付け予測部と、参照フレーム選択部と、フレーム間予測部と、差分部と、直交変換量子化部と、符号化部と、を備える画像処理装置が提供される。動き検出部は、符号化済のフレームを復号して得られる第１の参照フレームの輝度成分と、入力映像信号における符号化対象マクロブロックの輝度成分とを用いて動きベクトルを生成する。重み付け予測部は、前記第１の参照フレームと輝度成分が等しく、色差成分が異なる第２の参照フレームを生成する。参照フレーム選択部は、符号化効率がより高くなるように、前記第１および第２の参照フレームのうちいずれか一方を最適参照フレームとして選択する。フレーム間予測部は、前記動きベクトルおよび前記選択された最適参照フレームに基づいてフレーム間予測画像を生成する。差分部は、前記符号化対象マクロブロックと前記フレーム間予測画像との予測残差画像を算出する。直交変換量子化部は、前記予測残差画像を直交変換および量子化して量子化データを生成する。符号化部は、前記量子化データを符号化して前記出力映像信号を生成する。

本発明の第１の実施形態に係る画像処理システムの概略ブロック図。 図１の画像処理装置１００の処理動作の一例を示すフローチャート。 符号化対象ＭＢとフレーム間予測画像の輝度成分Ｙおよび色差成分Ｃｂ，Ｃｒの一例を示す図。 予測残差画像の一例を示す図。 本発明の第２の実施形態に係る画像処理システムの概略ブロック図。 図５の画像処理装置１００の処理動作の一例を示すフローチャート。 フレーム内予測画像の一例を示す図。 第３の予測残差画像の一例を示す図。

以下、本発明に係る画像処理装置、画像処理方法および画像処理システムの実施形態について、図面を参照しながら具体的に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理システムの概略ブロック図である。図１の画像処理システムは、画像処理装置１００と記録媒体２００とを備えている。本実施形態の画像処理装置１００は、輝度成分Ｙおよび色差成分Ｃｂ，Ｃｒで表される入力映像信号をＨ．２６４方式でフレーム間動き予測を行って圧縮符号化する。また、記録媒体２００は例えばハードディスクまたはフラッシュメモリであり、圧縮符号化された映像信号が記録される。

本実施形態に係る画像処理システムは、例えばデジタルビデオカメラに内蔵され、撮影された画像を画像処理装置１００により圧縮符号化して記録媒体２００に記録する。また、画像処理システムはＤＶＤレコーダに内蔵され、放送波を画像処理装置１００により圧縮符号化して記録媒体２００に記録してもよい。

図１の画像処理装置１００は、フレームメモリ１と、動き検出部２と、重み付け予測部３と、参照フレーム選択部４と、フレーム間予測部５と、差分部６と、ＤＣＴ量子化部（直交変換量子化部）７と、符号化部８と、コスト算出部９と、制御部１０と、逆量子化逆ＤＣＴ部１１と、加算部１２とを備えている。

フレームメモリ１は既に符号化済のフレームを復号した局所復号画像を記憶する。動き検出部２はフレームメモリ１に記憶されている局所復号画像を第１の参照フレームとし、第１の参照フレームの輝度成分Ｙと入力映像信号の輝度成分Ｙとのブロックマッチングを行い、動きベクトルを生成する。

重み付け予測部３は第１の参照フレームの色差成分Ｃｂ，Ｃｒに重み付けを行い、第１の参照フレームと輝度成分Ｙが等しく、色差成分Ｃｂ，Ｃｒが異なる第２の参照フレームを生成する。参照フレーム選択部４は、制御部１０の制御に応じて、第１の参照フレームまたは第２の参照フレームを最適参照フレームとして選択する。フレーム間予測部５は、動きベクトルおよび最適参照フレームに基づいてフレーム間予測画像を生成する。

差分部６は入力映像信号とフレーム間予測画像との差分データを算出し、予測残差画像を生成する。ＤＣＴ量子化部７は予測残差画像の離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）および量子化を行い、量子化データを生成する。符号化部８は量子化データ、動きベクトルおよび最適参照フレームのインデックスの可変長符号化を行い、出力映像信号を生成する。

コスト算出部９は、第１の参照フレームを用いて入力映像信号を圧縮符号化した場合の符号化効率を示す第１のコストと、第２の参照フレームを用いて入力映像信号を圧縮符号化した場合の符号化効率を示す第２のコストとを算出する。制御部１０は第１のコストと第２のコストとを比較して、符号化効率がより高くなる参照フレームが選択されるよう、参照フレーム選択部４を制御する。符号化効率とは出力映像信号に対応する画像の画質と圧縮率とのバランスである。

逆量子化逆ＤＣＴ部１１は量子化データの逆量子化および逆ＤＣＴを行い、予測残差復号画像を生成する。加算部１２は予測残差復号画像にフレーム間予測画像を加算し、局所復号画像を生成する。

本実施形態の特徴の１つは、輝度成分Ｙが互いに等しく、色差成分Ｃｂ，Ｃｒが互いに異なる第１および第２の参照フレームを用いて、入力映像信号を圧縮符号化した場合の符号化効率を予め見積もり、より効率よく圧縮符号化できる参照フレームを選択してフレーム間予測画像を生成して、入力映像信号を圧縮符号化する点である。以下、この点を中心に説明する。

図２は、画像処理装置１００の処理動作の一例を示すフローチャートである。図２の処理動作は入力映像信号における符号化対象フレーム内の複数画素から構成されるマクロブロック（以下、ＭＢ）を単位として行われる。ＭＢは、例えば水平方向１６画素、垂直方向１６画素（１６×１６画素）の合計２５６画素から構成される。

まず、動き検出部２は、フレームメモリ１からの第１の参照フレーム内の動き補償ブロックと、符号化対象ＭＢ内の動き補償ブロックとの間でブロックマッチングを行う。そして、符号化対象ＭＢ内の動き補償ブロックと最も近似する第１の参照フレーム内の動き補償ブロックを探索する。これにより、動き検出部２は動き補償ブロックがどの方向にどれだけ動いたのかを示す動きベクトルを生成する（Ｓ１）。

動き補償ブロックとは動きベクトルを生成する単位である。動き補償ブロックはＭＢのサイズと等しくてもよいし、これより小さくてもよい。例えば、ＭＢの大きさが１６×１６画素である場合、動き補償ブロックの大きさは１６×１６画素でもよいし、これより小さい１６×８，８×１６または８×８画素でもよい。動き補償ブロックがＭＢより小さい場合、ＭＢ内に複数の動きベクトルが生成される。

ここで、入力映像信号は輝度成分Ｙおよび色差成分Ｃｂ，Ｃｒから構成されるが、動き検出部２は第１の参照フレームの輝度成分Ｙと入力映像信号の輝度成分Ｙのみのブロックマッチングを行い、動きベクトルを生成する。色差成分Ｃｂ，Ｃｒのブロックマッチングを行わないため、フレームメモリ１へのアクセス数およびブロックマッチング演算量を削減できる。

次に、重み付け予測部３は、第１の参照フレームに対して重み付けを行い、第１の参照フレームと輝度成分Ｙが等しく、色差成分Ｃｂ，Ｃｒが異なる第２の参照フレームを生成する（Ｓ２）。本実施形態では、第２の参照フレームの色差成分Ｃｂ，Ｃｒを固定値とする。Ｈ．２６４方式で規定される各パラメータを例えば以下の（１）〜（４）式のように設定し、重み付け予測部３は設定されたパラメータに基づいて重み付けを行う。
luma_weight_lx_flag = 0 ・・・（１）
chroma_weight_lx_flag = 1 ・・・（２）
chroma_weight_lx[0] = chroma_weight_lx[1] = 0 ・・・（３）
chroma_offset_lx[0] = chroma_offset_lx[1] = 128 ・・・（４）

上記（１）式のパラメータｌｕｍａ＿ｗｅｉｇｈｔ＿ｌｘ＿ｆｌａｇは輝度成分Ｙに対して重み付けを行うか否かを示すパラメータである。このパラメータを０に設定すると重み付けを行わない。これにより、第２の参照フレームの輝度成分Ｙを第１の参照フレームの輝度成分Ｙと等しくできる。

上記（２）式のパラメータｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌｘ＿ｆｌａｇは色差成分Ｃｂ，Ｃｒに対して重み付けを行うか否かを示すパラメータである。このパラメータを１に設定すると重み付けを行う。これにより、第１の参照フレームとは色差成分Ｃｂ，Ｃｒが異なる第２の参照フレームを生成できる。

上記（３）式のパラメータｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌｘ［０］およびｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌｘ［１］は、それぞれ色差成分Ｃｂ，Ｃｒに乗じる定数（第１の定数）である。また、上記（４）式のパラメータｃｈｒｏｍａ＿ｏｆｆｓｅｔ＿ｌｘ［０］およびｃｈｒｏｍａ＿ｏｆｆｓｅｔ＿ｌｘ［１］は、それぞれ色差成分Ｃｂ，Ｃｒに加算する定数（第２の定数）である。

すなわち、色差成分Ｃｂに対する重み付けとは、第１の参照フレームの色差成分Ｃｂにパラメータｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌｘ［０］を乗じ、パラメータｃｈｒｏｍａ＿ｏｆｆｓｅｔ＿ｌｘ［０］を加算して第２の参照フレームの色差成分Ｃｂを生成することをいう。色差成分Ｃｒについても同様である。

本実施形態では、パラメータｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌｘ［ｉ］（ｉ＝０，１）を０に設定し、色差成分Ｃｂ，ＣｒをＭＢ内で固定値とする。また、パラメータｃｈｒｏｍａ＿ｏｆｆｓｅｔ＿ｌｘ［ｉ］を１２８に設定する。これは、色差成分Ｃｂ，Ｃｒが８ビットのデジタル信号で表される場合の設定例である。より一般的には、色差成分Ｃｂ，Ｃｒの最大値の１／２を四捨五入した値に設定する。このように設定される色差成分Ｃｂ，Ｃｒはいわゆる無彩色である。

上記のようにすることにより、簡易にパラメータｃｈｒｏｍａ＿ｏｆｆｓｅｔ＿ｌｘ［ｉ］を設定できる。但し、この場合、第２の参照フレームは無彩色となるため、極端に色が濃いＭＢなどでは、予測精度が低下する。

これに対し、符号化対象フレームの色差成分Ｃｂ，Ｃｒの平均値を予め算出しておき、パラメータｃｈｒｏｍａ＿ｏｆｆｓｅｔ＿ｌｘ［ｉ］をその平均値に設定してもよい。平均値を算出するための処理が必要となるが、第２の参照フレームの色差成分をＭＢに近い値に設定できるため、予測精度が向上する。

第２の参照フレームが生成されると、以下のＳ３〜Ｓ１１の処理により第１および第２の参照フレームのうちのいずれかを最適参照フレームとして選択する。

まず、参照フレーム選択部４により第１の参照フレームを選択し、フレーム間予測部５は第１の参照フレームおよび動きベクトルに基づいて、第１のフレーム間予測画像を生成する（Ｓ３）。図３は、符号化対象ＭＢとフレーム間予測画像の輝度成分Ｙおよび色差成分Ｃｂ，Ｃｒの一例を示す図である。簡略化のために、符号化対象ＭＢ内の輝度成分Ｙと、色差成分Ｃｂ，Ｃｒのうちの一方とを一次元で示している。図３（ａ）は符号化対象ＭＢを、図３（ｂ）は第１のフレーム間予測画像を示している。

上述のように、動きベクトルは輝度成分Ｙのみを用いて生成したものである。よって、第１のフレーム間予測画像の輝度成分Ｙについては予測精度が高く、符号化対象ＭＢの輝度成分Ｙと第１のフレーム間予測画像の輝度成分Ｙはほぼ等しい。これに対し、色差成分Ｃｂ，Ｃｒを用いずに動きベクトルを生成したため、色差成分Ｃｂ，Ｃｒについては必ずしも予測精度が高くない。よって、図３（ａ）および図３（ｂ）に示すように、符号化対象ＭＢの色差成分Ｃｂ，Ｃｒと第１のフレーム間予測画像の色差成分Ｃｂ，Ｃｒはあまり一致しないこともある。

次に、差分部６は符号化対象ＭＢと第１のフレーム間予測画像との画素ごとの差分を算出し、第１の予測残差画像を生成する（Ｓ４）。図４は、予測残差画像の一例を示す図である。図３（ａ）に示す符号化対象ＭＢと同図（ｂ）に示す第１のフレーム間予測画像との差分が図４（ａ）に示す第１の予測残差画像である。

コスト算出部９は、第１の予測残差画像に基づいて、第１のフレーム間予測画像を用いて圧縮符号化する場合のコスト（第１のコスト）を算出する（Ｓ５）。コスト算出部９は、例えば予測残差画像の絶対値の総和、すなわち、符号化対象ＭＢと第１のフレーム間予測画像との画素ごとの差分絶対値の総和（Sum of Absolute Differences：以下、ＳＡＤ）をコストとする。この場合、コストは図４（ａ）の斜線部の面積に対応する。同図に示すように、輝度成分Ｙのコストはほとんど０である。これは、輝度成分Ｙの予測精度が高いためである。ところが、色差成分Ｃｂ，Ｃｒのコストは輝度成分Ｙのコストより大きな値となる。これは、色差成分Ｃｂ，Ｃｒの予測精度は必ずしも高くないためである。

このコストは符号化効率に対応しており、圧縮符号化された出力映像信号に対応する画像の画質と、出力映像信号のデータ量とのバランスを示す。コストが大きい場合、予測残差画像は大きな値を持っている。フレーム間動き予測では、予測残差画像を圧縮符号化するため、コストが大きい場合に一定の圧縮率で入力映像信号を圧縮符号化すると、出力映像信号のデータ量が多くなってしまう。しかしながら、記録媒体２００の容量は限られている。そのため、出力映像信号のデータ量が所定量に収まるように圧縮符号化を行うためには、コストが大きいほど圧縮率を大きくせざるを得ない。よって、コストが大きい場合は、圧縮符号化後の画質が劣化してしまう。一方、コストが小さい場合、圧縮率を大きくする必要がないため、高画質に入力映像信号を圧縮符号化できる。

ＳＡＤをコストと定義することで、符号化効率を簡易に見積もることができる。制御部１０は、輝度成分Ｙのコストと色差成分Ｃｂ，Ｃｒのコストとの和を第１のコストとして保持する。

次に、参照フレーム選択部４により第２の参照フレームを選択し、フレーム間予測部５は第２の参照フレームおよび動きベクトルに基づいて、第２のフレーム間予測画像を生成する（Ｓ６）。図３（ｃ）は第２のフレーム間予測画像を示している。第１および第２の参照フレームの輝度成分Ｙは等しいため、第２のフレーム間予測画像の輝度成分Ｙは第１のフレーム間予測画像の輝度成分Ｙと等しい。一方、第２の参照フレームの色差成分Ｃｂ，Ｃｒは第１の参照フレームの色差成分Ｃｂ，Ｃｒと異なるため、第２のフレーム間予測画像の色差成分Ｃｂ，Ｃｒと第１のフレーム間予測画像の色差成分Ｃｂ，Ｃｒとは異なる。

次に、差分部６は符号化対象ＭＢと第２のフレーム間予測画像との差分を算出し、第２の予測残差画像を生成する（Ｓ７）。図３（ａ）に示す符号化対象ＭＢと同図（ｃ）に示す第２のフレーム間予測画像との差分が、図４（ｂ）に示す第２の予測残差画像である。

コスト算出部９は、第２の予測残差画像に基づいて、第２のフレーム間予測画像を用いて圧縮符号化する場合のコスト（第２のコスト）を算出する（Ｓ８）。図４（ａ）に示す第１の参照フレームを選択した場合と同様に、輝度成分Ｙのコストはほとんど０である。一方、色差成分Ｃｂ，Ｃｒのコストはやはり輝度成分Ｙのコストより大きな値となる。制御部１０は、輝度成分Ｙのコストと色差成分Ｃｂ，Ｃｒのコストとの和を第２のコストとして保持する。

続いて、制御部１０は第１のコストと第２のコストを比較し（Ｓ９）、コストが最小となる、すなわち、符号化効率が最も高くなる参照フレームを選択する。第１のコストが小さい場合（Ｓ９のＹＥＳ）は、制御部１０は参照フレーム選択部４に第１のフレームを最適参照フレームとして選択させる（Ｓ１０）。一方、第２のコストが小さい場合は（Ｓ９のＮＯ）、制御部１０は参照フレーム選択部４に最適参照フレームとして第２のフレームを選択させる（Ｓ１１）。

図３に示す符号化対象ＭＢの例では、図４（ａ）に示す第１のコストより図４（ｂ）に示す第２のコストの方が小さいため（Ｓ９のＮＯ）、参照フレーム選択部４は第２の参照フレームを選択する（Ｓ１１）。通常の画像では輝度成分Ｙのみを用いてフレーム間予測画像を生成する場合、第１のコストが第２のコストより小さくなるが、例えば輝度成分Ｙが一様で色差成分Ｃｂ，Ｃｒが一様でない画像などでは第２のコストが第１のコストより小さくなることもある。参照フレーム選択部４はコストが小さくなる参照フレームを選択するため、圧縮率を低下させることなく、高画質で入力映像信号を圧縮符号化できる。

次に、選択された最適参照フレームを用いて、以下のＳ１２〜Ｓ１５の処理によりフレーム間動き予測符号化を行う。
フレーム間予測部５は、選択された最適参照フレーム（図３および図４の例では第２の参照フレーム）および動きベクトルに基づいて、フレーム間予測画像を生成する（Ｓ１２）。さらに、差分部６は符号化対象ＭＢとフレーム間予測画像との差分を算出し、予測残差画像を生成する（Ｓ１３）。そして、ＤＣＴ量子化部７はまず予測残差画像をＤＣＴ変換（直交変換）してＤＣＴデータを生成する。これにより、符号化対象ＭＢの冗長な成分を除去できる。続いて、ＤＣＴ量子化部７はＤＣＴデータを所定の量子化幅で除した値を整数値に丸め、量子化データを生成する（Ｓ１４）。圧縮率は量子化幅に依存し、記録媒体２００の記録容量を考慮して定められる。

符号化部８は量子化データに動きベクトルと選択された参照フレームのインデックスを付加して可変長符号化を行い、圧縮符号化された出力映像信号を生成する（Ｓ１５）。参照フレームのインデックスとは最適参照フレームとして、「第１」の参照フレームを選択したか、「第２」の参照フレームを選択したか、を示す情報である。また、可変長符号化とは、出現頻度の高い数値ほど短いビットの符号を割り振る手法であり、生成される出力映像信号のデータ量を小さくできる。
以上により符号化対象ＭＢの圧縮符号化が終了する。生成された出力映像信号は記録媒体２００に記録される。

なお、符号化部８が出力する出力映像信号の各フレームには、そのフレームが圧縮符号化される際に用いられた第1の参照フレームがどのフレームであるのかを示す情報と上記（１）〜（４）式の情報とがヘッダに付加される。これにより、圧縮符号化された出力映像信号を復号する復号装置（不図示）は、第１の参照フレームに対して上記（１）〜（４）式に示す重み付けを行って、第２の参照フレームを生成できる。そして、ＭＢごとに参照フレームのインデックスが付加されているので、復号装置は第１または第２の参照フレームと動きベクトルとを用いてフレーム間予測画像を生成できる。さらに、復号装置は、フレーム間予測画像と実際の画像との差異を示す量子化データとフレーム間予測画像とを用いて、圧縮符号化された出力映像信号を復号することができる。

一方、逆量子化逆ＤＣＴ部１１はＤＣＴ量子化部７が生成する量子化データの逆ＤＣＴ変換および逆量子化を行い、予測残差復号画像を生成する。さらに、加算部１２は予測残差復号画像にフレーム間予測画像を加算し、局所復号画像を生成する（Ｓ１６）。フレームメモリ１は局所復号画像を記憶する。局所復号画像は後の入力映像信号を圧縮符号化するために用いられる。なお、フレームメモリ１の前にデブロッキングフィルタ（不図示）を設け、ブロックノイズを除去した後にフレームメモリ１に復号画像を記憶してもよい。

このように、第１の実施形態では、輝度成分Ｙが等しく色差成分Ｃｂ，Ｃｒが互いに異なる第１および第２の参照フレームを用いて、入力映像信号を圧縮符号化した場合の符号化効率を予め予測する。そして、より効率よく圧縮符号化できる参照フレームを用いてフレーム間予測画像を生成する。そのため、フレーム間予測の精度が向上し、圧縮率を低下させることなく、高画質に動画像の圧縮符号化を行うことができる。また、輝度成分Ｙのみを用いてブロックマッチングを行うため、演算量を抑制できる。

なお、コスト算出部９は、λを予め定めた定数として、下記（５）式のように、ＳＡＤに所定値を加算した値をコストＣと定義してもよい。
Ｃ＝ＳＡＤ＋λ＊ｋ ・・・（５）

パラメータｋは例えば定数とする。参照フレーム選択部４で第１および第２の参照フレームがほぼ５０％ずつ選択されると、参照フレームのインデックスの出現頻度が等しくなる。この場合、参照フレームのインデックスを可変長符号化して生成されるデータの量が多くなってしまう。そこで、例えば第１のコストは上記（５）式でｋ＝０に設定し、第２のコストは上記（５）式でｋを正の定数に設定する。このように設定すると、各画素の絶対値の総和がほぼ等しい場合、第１の参照フレームが選択されやすくなる。その結果、参照フレームのインデックスに偏りが生じ、出現頻度の高い「第１」の参照フレームに短いビットの符号を割り振り、「第２」の参照フレームに長いビットの符号を割り振ることにより、生成される出力映像信号のデータ量を抑制できる。

また、パラメータｋは参照フレームのインデックスを可変長符号化して生成されるデータの量としてもよい。可変長符号化を行う場合、参照フレームのインデックスが「第１」であるか「第２」であるかによって、参照フレームのインデックスを可変長符号化して生成されるデータの量が異なる。そのため、このデータ量を考慮したコストを算出することで、コスト算出部９はより高精度に符号化効率を見積もることができる。

また、コスト算出部９は、下記（６）式のように、画質劣化度Ｄと発生符号量Ｒとに基づいてコストＣを定義してもよい。
Ｃ＝Ｄ＋λ＊Ｒ ・・・（６）

画質劣化度は、例えば、符号化対象ＭＢと局所復号画像との差分絶対値の総和とする。また、発生符号量は、例えば、量子化データ、動きベクトルおよび参照フレームのインデックスを可変長符号化して生成されるデータの量とする。他の手法に比べて多くの演算量が必要となるが、コスト算出部９はさらに高精度に符号化効率を見積もることができる。

（第２の実施形態）
第１の実施形態は第１の参照フレームまたは重み付けを行って得られた第２の参照フレームを選択してフレーム間動き予測符号化を行うものであった。これに対し、以下に説明する第２の実施形態では、さらにフレーム内予測を行い、フレーム間予測画像またはフレーム内予測画像のいずれかを選択するものである。

図５は、本発明の第２の実施形態に係る画像処理システムの概略ブロック図である。図５では、図１と共通する構成部分には同一の符号を付しており、以下では相違点を中心に説明する。
画像処理装置１０１は、フレーム内予測部２１と、イントラ・インター選択部２２とをさらに備えている。フレーム内予測部２１はフレームメモリ１に記憶された第１の参照フレームを用いてフレーム内予測を行って、フレーム内予測画像を生成する。イントラ・インター選択部２２は、制御部１０に応じて、フレーム間予測画像またはフレーム内予測画像を最適予測画像として選択する。

図６は、画像処理装置１００の処理動作の一例を示すフローチャートである。Ｓ１〜Ｓ８までは第１の実施形態と同様であるので、説明を省略する。
フレーム内予測部２１は第１の参照フレームに基づいてフレーム内予測を行い、フレーム内予測画像を生成する（Ｓ２１）。予測手法として、例えば、符号化対象ＭＢの上に位置する画素の値を用いて符号化対象ＭＢ内の垂直方向の画素を予測する「垂直予測」、符号化対象ＭＢの左に位置する画素を用いて符号化対象ＭＢ内の水平方向の画素を予測する「水平予測」、上および左に位置する画素の平均値で符号化対象ＭＢすべての画素を予測する「平均値予測」、上および左に位置する画素を斜め方向に内挿して画素を予測する「平面予測」のいずれかを行う。フレーム内で映像信号の変化が小さい場合は、高い精度でフレーム内予測画像を生成できる。

図７は、フレーム内予測画像の一例を示す図である。これは、図３（ａ）に示す符号化対象ＭＢに対し、「平均値予測」を行った例であり、輝度成分Ｙ、色差成分Ｃｂ，Ｃｒともに一定値である。

次に、差分部６は符号化対象ＭＢとフレーム内予測画像との差分を算出し、第３の予測残差画像を生成する（Ｓ２２）。図８は、第３の予測残差画像の一例を示す図である。図３（ａ）に示す符号化対象ＭＢと図７に示すフレーム内予測画像との差分が図８に示す第３の予測残差画像である。

そして、コスト算出部９はフレーム内予測画像を用いて圧縮符号化する際のコストを第３のコストとして算出する（Ｓ２３）。第３の予測残差画像の絶対値の総和を第３のコストとする。すなわち、第３のコストは図８の斜線部の面積に対応する。フレーム内予測の精度が高いほど、第３のコストは小さくなる。

続いて、以下のＳ２４〜Ｓ３１により、第１のフレーム間予測画像、第２のフレーム間予測画像およびフレーム内予測画像のうち、最もコストが小さい画像を選択する。まず、制御部１０により第１のコストと第２のコストとを比較する（Ｓ２４）。参照フレーム選択部は、第１のコストが小さい場合（Ｓ２４のＹＥＳ）は第１の参照フレームを（Ｓ２５）、第２のコストが小さい場合（Ｓ２４のＮO）は第２の参照フレームを（Ｓ２６）それぞれ選択する。

そして、フレーム間予測部５は第１または第２の参照フレームを用いてフレーム間予測画像を生成する（Ｓ２７）とともに、フレーム内予測部２１はフレーム内予測画像を生成する（Ｓ２８）。さらに、制御部１０は第１および第２のコストのうち小さい方と、第３のコストとを比較する（Ｓ２９）。イントラ・インター選択部２２は、前者が小さい場合（Ｓ２９のＹＥＳ）はフレーム間予測画像を（Ｓ３０）、後者が小さい場合（Ｓ２９のＮＯ）はフレーム内予測画像を（Ｓ３１）それぞれ選択する。

その後、選択された予測画像を用いて、第１の実施形態と同様のＳ１３〜Ｓ１６の処理を行って入力映像信号を圧縮符号化する。

このように、第２の実施形態では、動きベクトルと最適参照フレームを用いて生成したフレーム間予測画像と、第１の参照フレームを用いて生成したフレーム内予測画像とのうち、最も効率よく圧縮符号化できる予測画像を用いて圧縮符号化を行う。そのため、圧縮率を低下させることなく、さらに高画質を保って動画像の圧縮符号化を行うことができる。なお、各実施形態では、Ｈ．２６４方式により動画像の圧縮符号化を行う例を示したが、ＭＰＥＧ−２等他の方式によりフレーム間動き予測符号化を行って動画像を圧縮符号化する場合にも各実施形態を適用可能である。

実施形態で説明した画像処理システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。また、画像処理システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形を想到できるかもしれないが、本発明の態様は、上述した個々の実施形態には限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

２ 動き検出部
３ 重み付け予測部
４ 参照フレーム選択部
５ フレーム間予測部
６ 差分部
７ ＤＣＴ量子化部
８ 符号化部
９ コスト算出部
１０ 制御部
１００，１０１ 符号化装置
２００ 記録媒体

Claims (5)

1. 符号化済のフレームを復号して得られる第１の参照フレームの輝度成分と、入力映像信号における符号化対象マクロブロックの輝度成分とを用いて動きベクトルを生成する動き検出部と、
   前記第１の参照フレームと輝度成分が等しく、色差成分が異なる第２の参照フレームを生成する重み付け予測部と、
   符号化効率がより高くなるように、前記第１および第２の参照フレームのうちいずれか一方を最適参照フレームとして選択する参照フレーム選択部と、
   前記動きベクトルおよび前記選択された最適参照フレームに基づいてフレーム間予測画像を生成するフレーム間予測部と、
   前記符号化対象マクロブロックと前記フレーム間予測画像との予測残差画像を算出する差分部と、
   前記予測残差画像を直交変換および量子化して量子化データを生成する直交変換量子化部と、
   前記量子化データを符号化して前記出力映像信号を生成する符号化部と、を備えることを特徴とする画像処理装置。
2. 前記第１の参照フレームに基づいてフレーム内予測画像を生成するフレーム内予測部と、
   符号化効率が高くなるように、前記フレーム間予測画像および前記フレーム内予測画像のうちいずれか一方を最適予測画像として選択するイントラ・インター選択部と、を備え、
   前記差分部は、前記符号化対象マクロブロックと前記最適予測画像との予測残差画像を算出することを特徴とする請求項１に記載の画像処理装置。
3. 符号化済のフレームを復号して得られる第１の参照フレームの輝度成分と、入力映像信号における符号化対象マクロブロックの輝度成分とを用いて動きベクトルを生成する動き検出部と、
   前記第１の参照フレームと輝度成分が等しく、色差成分が異なる第２の参照フレームを生成する重み付け予測部と、
   符号化効率がより高くなるように、前記第１および第２の参照フレームのうちいずれか一方を最適参照フレームとして選択する参照フレーム選択部と、
   前記動きベクトルおよび前記選択された最適参照フレームに基づいてフレーム間予測画像を生成するフレーム間予測部と、
   前記符号化対象マクロブロックと前記フレーム間予測画像との予測残差画像を算出する差分部と、
   前記予測残差画像を直交変換および量子化して量子化データを生成する直交変換量子化部と、
   前記量子化データを符号化して前記出力映像信号を生成する符号化部と、
   前記出力映像信号を記録する記録媒体と、を備えることを特徴とする画像処理システム。
4. 前記第１の参照フレームに基づいてフレーム内予測画像を生成するフレーム内予測部と、
   符号化効率が高くなるように、前記フレーム間予測画像および前記フレーム内予測画像のうちいずれか一方を最適予測画像として選択するイントラ・インター選択部と、を備え、
   前記差分部は、前記符号化対象マクロブロックと前記最適予測画像との予測残差画像を算出することを特徴とする請求項３に記載の画像処理システム。
5. 符号化済のフレームを復号して得られる第１の参照フレームの輝度成分と、入力映像信号における符号化対象マクロブロックの輝度成分とを用いて動きベクトルを生成するステップと、
   前記第１の参照フレームと輝度成分が等しく、色差成分が異なる第２の参照フレームを生成するステップと、
   符号化効率がより高くなるように、前記第１および第２の参照フレームのうちいずれか一方を最適参照フレームとして選択するステップと、
   前記動きベクトルおよび前記選択された最適参照フレームに基づいてフレーム間予測画像を生成するステップと、
   前記符号化対象マクロブロックと前記フレーム間予測画像との予測残差画像を算出するステップと、
   前記予測残差画像を直交変換および量子化して量子化データを生成するステップと、
   前記量子化データを符号化して前記出力映像信号を生成するステップと、を備えることを特徴とする画像処理方法。

Images