JP2012175543A - 動きベクトル検出装置、動きベクトル検出方法および動画像符号化装置 - Google Patents

Abstract

【課題】 画質を維持しつつ、動きベクトルを検出する際の演算量の増加を抑制する。
【解決手段】 動きベクトル検出装置は、輝度画素および色差画素を含む２つの画像の不一致の程度を示すコストを、輝度画素を用いて計算し、動画像の符号化処理に必要な動きベクトルをコストに基づいて検出する動きベクトル検出部と、コストの計算に色差画素を用いるか否かを、２つの画像の一方の画像の色差画素の複雑さに基づいて判定する判定部とを有し、動きベクトル検出部は、判定部の判定結果がコストの計算に色差画素を用いることを示すとき、輝度画素および色差画素を用いてコストを計算する。
【選択図】 図６

Description

本発明は、動きベクトル検出装置、動きベクトル検出方法および動画像符号化装置に関する。

ＭＰＥＧやＨ．２６４等の画像符号化方式では、動画像のデータを、フレーム間およびフレーム内の差分値に基づいて圧縮し、符号化する。この種の画像符号化方式では、フレームの符号化は、例えば、１６×１６画素のマクロブロック毎に実施される。なお、フレームは、例えば、動画像を構成する１枚の静止画像である。また、動画像の符号化方式で一般的に使用されるＹＣｂＣｒ色空間では、１画素は、輝度信号（Ｙ）および２種類の色差信号（Ｃｂ、Ｃｒ）を有している。すなわち、１画素は、画面の明るさを示す輝度信号（輝度成分）と色を示す色差信号（色差成分）とを有している。

フレーム間（符号化対象のフレームと参照フレームとの間）の差分値に基づく符号化では、圧縮効率を高めるために、動き補償と呼ばれる技術が用いられる。動き補償では、例えば、符号化対象のマクロブロック（以下、符号化ブロックとも称する）に最も類似するブロック（以下、参照ブロックとも称する）を、参照フレームの中から検出する。そして、符号化ブロックと参照ブロックとの差分画像と、符号化ブロックに対する参照ブロックの位置（以下、動きベクトルとも称する）とが符号化される。

したがって、動き補償を用いた符号化方式では、符号化ブロック毎に、動きベクトルを検出する必要がある。動きベクトル検出処理では、例えば、参照ブロックの候補である複数の候補ブロックにおいて、コストをそれぞれ計算する。そして、動きベクトル検出処理では、最も小さいコストの候補ブロックの位置（符号化ブロックに対する相対的な位置）を、最適な動きベクトルとして検出する。なお、コストは、例えば、候補ブロックの画素と符号化ブロックの画素との差分絶対値和等である。

一般的に、動きベクトル検出処理では、演算量を減らすために、輝度成分のみがコストの計算に用いられる。これは、動画像の符号化方式で一般的に使用されるフォーマットでは、色差成分の解像度が輝度成分の解像度に比べて低いためである。例えば、ＹＣｂＣｒ色空間における４：２：０フォーマットでは、色差成分の解像度は、輝度成分の４分の１である。なお、一般に、人間の目は、色差の変化より輝度の変化に敏感である。このため、輝度成分のみをコストの計算に用いても、画質の劣化は、抑制される。しかし、色差成分の複雑さ（テクスチャ等）が輝度成分より大きいときには、動きベクトルの検出精度が低下し、画質が劣化するおそれがある。

近年、輝度成分（Ｙ）と色差成分（Ｃｂ、Ｃｒ）とを用いた演算をマクロブロック毎に実施して動きベクトルを検出する構成が提案されている（例えば、特許文献１参照）。

特許第３４８００６７号公報

例えば、輝度成分と色差成分とを用いた演算を全てのマクロブロックに対して実施する動きベクトル検出処理では、画質の劣化は抑制されるが、演算量および消費電力は増加する。

本発明の目的は、画質を維持しつつ、動きベクトルを検出する際の演算量の増加を抑制することである。

本発明の一形態では、動きベクトル検出装置は、輝度画素および色差画素を含む２つの画像の不一致の程度を示すコストを、輝度画素を用いて計算し、動画像の符号化処理に必要な動きベクトルをコストに基づいて検出する動きベクトル検出部と、コストの計算に色差画素を用いるか否かを、２つの画像の一方の画像の色差画素の複雑さに基づいて判定する判定部とを有し、動きベクトル検出部は、判定部の判定結果がコストの計算に色差画素を用いることを示すとき、輝度画素および色差画素を用いてコストを計算する。

画質を維持しつつ、動きベクトルを検出する際の演算量の増加を抑制できる。

一実施形態における動きベクトル検出装置の例を示している。 ＹＣｂＣｒ色空間のフォーマットの一例を示している。 図１に示した判定部の判定方法の一例を示している。 図１に示した判定部の判定方法の別の例を示している。 図１に示した判定部の判定方法の別の例を示している。 図１に示した動きベクトル検出装置の動作の一例を示している。 図１に示した動きベクトル検出装置の動作の別の例を示している。 図１に示した動きベクトル検出装置が搭載される動画像符号化装置の一例を示している。

以下、実施形態を図面を用いて説明する。

図１は、一実施形態における動きベクトル検出装置１０の例を示している。

動きベクトル検出装置１０は、例えば、動き補償と呼ばれる技術が用いられる動画像符号化装置（ＭＰＥＧやＨ．２６４等に準拠した動画像符号化装置）に搭載される。例えば、動きベクトル検出装置１０は、符号化対象のフレームの画像データＤＩＮ（以下、原画像データＤＩＮとも称する）と参照フレームの画像データＲＩＮ（以下、参照画像データＲＩＮとも称する）とを受け、動きベクトルＭＶを出力する。

動きベクトルＭＶは、画像の動き量を推定する情報であり、例えば、Ｍ×Ｎ画素のブロック毎に検出される。ブロックは、例えば、画面の明るさを示す輝度画素（輝度成分Ｙ）と色を示す色差画素（色差成分Ｃｂ、Ｃｒ）とを有している。すなわち、原画像データＤＩＮおよび参照画像データＲＩＮは、輝度画素および色差画素を有している。

動きベクトルＭＶの検出では、符号化対象のブロック（以下、符号化ブロックとも称する）と参照フレーム内のブロック（以下、候補ブロックとも称する）との不一致の程度を示すコストが評価される。例えば、動きベクトル検出装置１０は、最も小さいコストの候補ブロックの位置（符号化ブロックに対する相対的な位置）を、最適な動きベクトルとして検出する。なお、コストは、例えば、符号化ブロックの画素と候補ブロックの画素との差分絶対値和や差分二乗和である。差分絶対値和ＳＡＤおよび差分二乗和ＳＳＤは、式（１）および式（２）でそれぞれ表される。

式（１）の“Ｋ”は、水平方向の画素数であり、“Ｌ”は、垂直方向の画素数である。また、式（１）の“Ｃ”は、符号化ブロックの各画素の画素値であり、“Ｒ”は、参照フレーム内のブロック（候補ブロック）の各画素の画素値である。式（２）の“Ｋ”、“Ｌ”、“Ｃ”、“Ｒ”の意味は、式（１）と同じである。

動きベクトル検出装置１０は、例えば、判定部２０および検出部３０を有している。判定部２０は、例えば、原画像データＤＩＮを受け、動きベクトルＭＶの検出に色差画素を用いるか否かを色差画素の複雑さに基づいて判定する。例えば、判定部２０は、コストの計算（式（１）や式（２））に色差画素を用いるか否かを、原画像データＤＩＮの色差画素の複雑さに基づいて判定する。なお、判定部２０は、例えば、原画像データＤＩＮの代わりに、各マクロブロックの色差画素の複雑さを計算するための情報（画素のエッジ情報やアクティビティ等）を受けてもよい。

検出部３０は、例えば、原画像データＤＩＮと参照画像データＲＩＮと判定部２０の判定結果を受け、動きベクトルＭＶを検出する。例えば、検出部３０は、動きベクトルＭＶの検出に色差画素を用いると判定されたとき、輝度画素および色差画素を用いて動きベクトルを検出する。また、例えば、検出部３０は、動きベクトルＭＶの検出に色差画素を用いないと判定されたとき、輝度画素および色差画素のうち、輝度画素のみを用いて動きベクトルを検出する。

例えば、判定部２０の判定結果がコストの計算に色差画素を用いないことを示すとき、検出部３０は、輝度画素を用いてコストを計算し、最も小さいコストの候補ブロックの位置（符号化ブロックに対する相対的な位置）を、最適な動きベクトルとして検出する。また、例えば、判定部２０の判定結果がコストの計算に色差画素を用いることを示すとき、検出部３０は、輝度画素のコストおよび色差画素のコストをそれぞれ計算し、輝度画素のコストと色差画素のコストとの和を評価する。そして、検出部３０は、最も小さいコストの候補ブロックの位置を、最適な動きベクトルとして検出する。

このように、検出部３０は、判定部２０の判定結果がコストの計算に色差画素を用いることを示すとき、輝度画素および色差画素を用いてコストを計算する。なお、検出部３０は、式（１）の差分絶対値和ＳＡＤをコストとして計算してもよいし、式（２）の差分二乗和ＳＳＤをコストとして計算してもよい。

図２は、ＹＣｂＣｒ色空間のフォーマットの一例を示している。なお、図２は、ＹＣｂＣｒ色空間における４：２：０フォーマットの概要を示している。例えば、図１に示した原画像データＤＩＮおよび参照画像データＲＩＮは、図２に示した４：２：０フォーマットに対応している。なお、動きベクトル検出装置１０が扱うフォーマットは、４：２：０フォーマット以外でもよい。

４：２：０フォーマットでは、例えば、輝度画素ＰＹは、１画素毎に生成される。色差画素ＰＣｂは、例えば、４つの画素（水平方向の２画素および垂直方向の２画素）を平均して算出され、４画素毎に生成される。色差画素ＰＣｒは、例えば、４つの画素（水平方向の２画素および垂直方向の２画素）を平均して算出され、４画素毎に生成される。すなわち、４：２：０フォーマットでは、色差画素ＰＣｂ、ＰＣｒの解像度は、輝度画素ＰＹの４分の１である。

したがって、４：２：０フォーマットでは、式（１）等の“Ｋ”や“Ｌ”は、ブロックのサイズが同じ場合でも、画素の種類（輝度画素ＰＹ、色差画素ＰＣｂ、ＰＣｒ）によって異なる。例えば、Ｍ×Ｎ画素のブロックでは、輝度画素ＰＹの水平方向の画素数（式（１）および式（２）の“Ｋ”）は、Ｍ個であり、輝度画素ＰＹの垂直方向の画素数（式（１）および式（２）の“Ｌ”）は、Ｎ個である。また、例えば、色差画素ＰＣｂ、ＰＣｒの水平方向のそれぞれの画素数（式（１）および式（２）の“Ｋ”）は、Ｍ／２個であり、色差画素ＰＣｂ、ＰＣｒの垂直方向のそれぞれの画素数（式（１）および式（２）の“Ｌ”）は、Ｎ／２個である。

図３は、図１に示した判定部２０の判定方法の一例を示している。図３の閾値ＴＨ１０、ＴＨ２０は、予め設定される閾値である。例えば、閾値ＴＨ１０は、閾値ＴＨ２０より大きい値であり、閾値ＴＨ２０は、“０”より大きい値である。また、図３の複雑さＣＰＬｃｂ、ＣＰＬｃｒは、符号化対象の画像（例えば、符号化ブロック）の色差画素ＰＣｂ、ＰＣｒの複雑さを示している。図３に示した判定方法１では、例えば、判定部２０は、条件１、条件２、条件３のいずれかの条件が満たされるとき、動きベクトルＭＶの検出に色差画素ＰＣｂおよび色差画素ＰＣｒの少なくとも一方を用いると判定する。

条件１は、色差画素ＰＣｂの複雑さＣＰＬｃｂが閾値ＴＨ１０より大きいことである。例えば、判定部２０は、条件１が満たされるとき、色差画素ＰＣｂの複雑さが大きいと判定する。

条件２は、色差画素ＰＣｒの複雑さＣＰＬｃｒが閾値ＴＨ１０より大きいことである。例えば、判定部２０は、条件２が満たされるとき、色差画素ＰＣｒの複雑さが大きいと判定する。

条件３は、色差画素ＰＣｂの複雑さＣＰＬｃｂが閾値ＴＨ２０より大きく、かつ、色差画素ＰＣｒの複雑さＣＰＬｃｒが閾値ＴＨ２０より大きいことである。例えば、判定部２０は、条件３が満たされるとき、色差画素ＰＣｂ、ＰＣｒの両方の複雑さが大きいと判定する。

このように、判定部２０は、例えば、条件１、条件２、条件３のいずれかの条件が満たされるとき、色差画素ＰＣｂおよび色差画素ＰＣｒの少なくとも一方の複雑さが大きいと判定する。換言すれば、判定部２０は、例えば、条件１、条件２、条件３のいずれの条件も満たされないとき、色差画素ＰＣｂ、ＰＣｒの複雑さが小さいと判定する。

ここで、複雑さＣＰＬ（ＣＰＬｃｂ、ＣＰＬｃｒ）は、例えば、画素のエッジ強度、画素のアクティビティ、画素値の偏差平方和の少なくとも１つを用いて評価される。なお、エッジ強度は、例えば、Ｓｏｂｅｌフィルタ等のエッジ抽出フィルタを用いて抽出される。例えば、画素のエッジ強度の累計値ＳＴＲは、式（３）で表される。また、画素のアクティビティＡＣＴおよび画素値の偏差平方和Ｓは、式（４）および式（５）でそれぞれ表される。以下、エッジ強度の累計値ＳＴＲをエッジ強度累計値ＳＴＲとも称する。

式（３）の“Ｋ”、“Ｌ”の意味は、式（１）と同じである。例えば、４：２：０フォーマットのＭ×Ｎ画素のブロックでは、色差画素ＰＣｂの水平方向の画素数Ｋは、Ｍ／２個であり、色差画素ＰＣｂの垂直方向の画素数Ｌは、Ｎ／２個である。また、式（３）の“Ｅｘ”は、画素の水平方向のエッジ強度であり、“Ｅｙ”は、画素の垂直方向のエッジ強度である。例えば、色差画素ＰＣｂのエッジ強度累計値ＳＴＲを算出する場合、式（３）のエッジ強度Ｅｘは、色差画素ＰＣｂの水平方向のエッジ強度であり、エッジ強度Ｅｙは、色差画素ＰＣｂの垂直方向のエッジ強度である。

式（４）の“Ｋ”、“Ｌ”の意味は、式（１）と同じである。また、式（４）の“Ｐ”は、各画素の画素値であり、“Ｐａｖｅ”は、Ｋ×Ｌ個の画素の平均値である。例えば、色差画素ＰＣｂのアクティビティＡＣＴを算出する場合、式（４）の画素値Ｐは、色差画素ＰＣｂの画素値であり、平均値Ｐａｖｅは、Ｋ×Ｌ個の色差画素ＰＣｂの平均値である。

式（５）の“Ｋ”、“Ｌ”、“Ｐ”、“Ｐａｖｅ”の意味は、式（４）と同じである。なお、画素値の分散は、画素の総数（Ｋ×Ｌ）から“1”を減算した値（Ｋ×Ｌ−１）で偏差平方和Ｓを除算することにより算出される。また、画素値の標準偏差は、画素値の分散の平方根である。

したがって、複雑さＣＰＬの評価に画素値の偏差平方和Ｓを用いることは、複雑さＣＰＬの評価に画素値の分散および画素値の標準偏差の少なくとも１つを用いることも含んでいる。すなわち、複雑さＣＰＬは、画素のエッジ強度、画素のアクティビティＡＣＴ、画素値の分散および画素値の標準偏差の少なくとも１つを用いて評価されてもよい。

例えば、判定部２０は、色差画素ＰＣｂの複雑さＣＰＬｃｂとして色差画素ＰＣｂのエッジ強度累計値ＳＴＲを評価し、色差画素ＰＣｒの複雑さＣＰＬｃｒとして色差画素ＰＣｒのエッジ強度累計値ＳＴＲを評価する。あるいは、判定部２０は、色差画素ＰＣｂの複雑さＣＰＬｃｂとして色差画素ＰＣｂのアクティビティＡＣＴを評価し、色差画素ＰＣｒの複雑さＣＰＬｃｒとして色差画素ＰＣｒのアクティビティＡＣＴを評価してもよい。

また、例えば、複雑さＣＰＬは、画素のアクティビティＡＣＴ、画素値の分散および画素値の標準偏差の少なくとも１つと画素のエッジ強度とを組み合わせて評価されてもよい。例えば、画素のアクティビティＡＣＴと画素のエッジ強度とを組み合わせて複雑さＣＰＬが評価されるとき、複雑さＣＰＬは、画素のアクティビティＡＣＴに対する重みＷ１および画素のエッジ強度累計値ＳＴＲに対する重みＷ２を用いて、式（６）で表される。

複数種類のパラメータ（アクティビティＡＣＴ、エッジ強度累計値ＳＴＲ等）を複雑さＣＰＬの評価に使用する場合、例えば、重みＷ１、Ｗ２を調整することにより、様々な画像に対応できる。

判定方法１では、色差画素ＰＣｂ、ＰＣｒの複雑さと予め設定された閾値ＴＨ１０、ＴＨ２０とを比較しているため、条件１等を満たすか否かの判定を簡易に実施できる。したがって、判定方法１では、動きベクトルＭＶの検出に色差画素ＰＣｂ、ＰＣｒを用いるか否かを判定する際の演算量が増加することを抑制できる。

なお、判定部２０の判定方法は、この例に限定されない。例えば、判定部２０は、条件１が満たされるか否かのみを判定してもよいし、条件２が満たされるか否かのみを判定してもよい。すなわち、判定部２０は、色差画素ＰＣｂの複雑さＣＰＬｃｂおよび色差画素ＰＣｒの複雑さＣＰＬｃｒの一方のみを評価し、動きベクトルＭＶの検出に色差画素ＰＣｂ、ＰＣｒを用いるか否かを判定してもよい。この場合、動きベクトルＭＶの検出に色差画素ＰＣｂ、ＰＣｒを用いるか否かを判定する際の演算量を削減できる。

図４は、図１に示した判定部２０の判定方法の別の例を示している。図４の閾値ＴＨ１１、ＴＨ２１は、予め設定される閾値である。例えば、閾値ＴＨ１１は、閾値ＴＨ２１より大きい値であり、閾値ＴＨ２１は、“０”より大きい値である。また、図４の複雑さＣＰＬｃｂ、ＣＰＬｃｒ、ＣＰＬｙは、符号化対象の画像（例えば、符号化ブロック）の色差画素ＰＣｂ、ＰＣｒおよび輝度画素ＰＹの複雑さをそれぞれ示している。

例えば、複雑さＣＰＬ（ＣＰＬｃｂ、ＣＰＬｃｒ、ＣＰＬｙ）は、図３と同様に、画素のエッジ強度、画素のアクティビティＡＣＴ、画素値の偏差平方和Ｓの少なくとも１つを用いて評価される。なお、複雑さＣＰＬは、画素のアクティビティＡＣＴおよび画素値の偏差平方和Ｓの少なくとも１つと画素のエッジ強度とを組み合わせて評価されてもよい。

図４に示した判定方法２では、例えば、判定部２０は、条件４、条件５、条件６のいずれかの条件が満たされるとき、動きベクトルＭＶの検出に色差画素ＰＣｂおよび色差画素ＰＣｒの少なくとも一方を用いると判定する。

条件４は、色差画素ＰＣｂの複雑さＣＰＬｃｂが輝度画素ＰＹの複雑さＣＰＬｙと閾値ＴＨ１１との積より大きいことである。例えば、判定部２０は、条件４が満たされるとき、色差画素ＰＣｂの複雑さが大きいと判定する。

条件５は、色差画素ＰＣｒの複雑さＣＰＬｃｒが輝度画素ＰＹの複雑さＣＰＬｙと閾値ＴＨ１１との積より大きいことである。例えば、判定部２０は、条件５が満たされるとき、色差画素ＰＣｒの複雑さが大きいと判定する。

条件６は、色差画素ＰＣｂの複雑さＣＰＬｃｂが輝度画素ＰＹの複雑さＣＰＬｙと閾値ＴＨ２１との積より大きく、かつ、色差画素ＰＣｒの複雑さＣＰＬｃｒが輝度画素ＰＹの複雑さＣＰＬｙと閾値ＴＨ２１との積より大きいことである。例えば、判定部２０は、条件６が満たされるとき、色差画素ＰＣｂ、ＰＣｒの両方の複雑さが大きいと判定する。

このように、判定部２０は、例えば、条件４、条件５、条件６のいずれかの条件が満たされるとき、色差画素ＰＣｂおよび色差画素ＰＣｒの少なくとも一方の複雑さが大きいと判定する。換言すれば、判定部２０は、例えば、条件４、条件５、条件６のいずれの条件も満たされないとき、色差画素ＰＣｂ、ＰＣｒの複雑さが小さいと判定する。

判定方法２では、輝度画素ＰＹの複雑さに対する色差画素ＰＣｂ、ＰＣｒの複雑さを評価するため、動きベクトルＭＶの検出に色差画素ＰＣｂ、ＰＣｒを用いるか否かを適切に判定できる。なお、判定部２０の判定方法は、この例に限定されない。例えば、判定部２０は、条件４が満たされるか否かのみを判定してもよいし、条件５が満たされるか否かのみを判定してもよい。すなわち、判定部２０は、色差画素ＰＣｂの複雑さＣＰＬｃｂおよび色差画素ＰＣｒの複雑さＣＰＬｃｒの一方のみを評価し、動きベクトルＭＶの検出に色差画素ＰＣｂ、ＰＣｒを用いるか否かを判定してもよい。

図５は、図１に示した判定部２０の判定方法の別の例を示している。図５に示した判定方法３では、図３に示した条件１−条件３と図４に示した条件４−条件６とを組み合わせて、複雑さＣＰＬが評価される。なお、図５および式（７）−式（１０）の重みＷ１０、Ｗ１１、Ｗ２０、Ｗ２１、Ｗ３０、Ｗ３１は、各条件（図３および図４に示した条件１−条件６にそれぞれ対応する条件）に対する重みであり、０以上１以下の実数である。例えば、重みＷ１０と重みＷ１１との和は、“１”である。また、重みＷ２０と重みＷ２１との和は、“１”である。そして、重みＷ３０と重みＷ３１との和は、“１”である。

また、図５および式（７）−式（１０）の閾値ＴＨ１０、ＴＨ１１、ＴＨ２０、ＴＨ２１は、予め設定される閾値である。例えば、閾値ＴＨ１０、閾値ＴＨ２０の条件は、図３に示した閾値ＴＨ１０、ＴＨ２０と同じであり、閾値Ｔ１１、ＴＨ２１の条件は、図４に示した閾値ＴＨ１１、ＴＨ２１と同じである。図５の複雑さＣＰＬｃｂ、ＣＰＬｃｒ、ＣＰＬｙは、符号化対象の画像（例えば、符号化ブロック）の色差画素ＰＣｂ、ＰＣｒおよび輝度画素ＰＹの複雑さをそれぞれ示している。

例えば、複雑さＣＰＬ（ＣＰＬｃｂ、ＣＰＬｃｒ、ＣＰＬｙ）は、図３および図４と同様に、画素のエッジ強度、画素のアクティビティＡＣＴ、画素値の偏差平方和Ｓの少なくとも１つを用いて評価される。なお、複雑さＣＰＬは、画素のアクティビティＡＣＴおよび画素値の偏差平方和Ｓの少なくとも１つと画素のエッジ強度とを組み合わせて評価されてもよい。

図５に示した判定方法３では、例えば、判定部２０は、条件７、条件８、条件９のいずれかの条件が満たされるとき、動きベクトルＭＶの検出に色差画素ＰＣｂおよび色差画素ＰＣｒの少なくとも一方を用いると判定する。

条件７は、条件１と条件４とを組み合わせた条件に対応している。条件７は、図５に示したように、式（７）で表される。例えば、判定部２０は、条件７（式（７））が満たされるとき、色差画素ＰＣｂの複雑さが大きいと判定する。

条件８は、条件２と条件５とを組み合わせた条件に対応している。条件８は、図５に示したように、式（８）で表される。例えば、判定部２０は、条件８（式（８））が満たされるとき、色差画素ＰＣｒの複雑さが大きいと判定する。

条件９は、条件３と条件６とを組み合わせた条件に対応している。条件９は、図５に示したように、式（９）および式（１０）の両方を満たすことである。例えば、判定部２０は、条件９（式（９）および式（１０）の両方）が満たされるとき、色差画素ＰＣｂ、ＰＣｒの両方の複雑さが大きいと判定する。

このように、判定部２０は、例えば、条件７、条件８、条件９のいずれかの条件が満たされるとき、色差画素ＰＣｂおよび色差画素ＰＣｒの少なくとも一方の複雑さが大きいと判定する。換言すれば、判定部２０は、例えば、条件７、条件８、条件９のいずれの条件も満たされないとき、色差画素ＰＣｂ、ＰＣｒの複雑さが小さいと判定する。

判定方法３では、例えば、重みＷ１０、Ｗ１１、Ｗ２０、Ｗ２１、Ｗ３０、Ｗ３１を調整することにより、様々な画像に対応できる。なお、判定部２０の判定方法は、この例に限定されない。例えば、判定部２０は、条件７が満たされるか否かのみを判定してもよいし、条件８が満たされるか否かのみを判定してもよい。すなわち、判定部２０は、色差画素ＰＣｂの複雑さＣＰＬｃｂおよび色差画素ＰＣｒの複雑さＣＰＬｃｒの一方のみを評価し、動きベクトルＭＶの検出に色差画素ＰＣｂ、ＰＣｒを用いるか否かを判定してもよい。

図６は、図１に示した動きベクトル検出装置１０の動作の一例を示している。図６の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。図６の動作では、判定部２０は、動きベクトルＭＶの検出に色差画素ＰＣｂ、ＰＣｒを用いるか否かの判定を、マクロブロックＭＢ毎に実施する。なお、図６では、判定部２０の判定方法が図４で説明した判定方法２のときを例にして説明する。

処理Ｓ１００では、判定部２０は、符号化対象のマクロブロックＭＢ（符号化ブロック）の色差画素ＰＣｂ、ＰＣｒの複雑さを判定する。例えば、判定部２０は、マクロブロックＭＢの色差画素ＰＣｂ、ＰＣｒの複雑さを、エッジ強度累計値ＳＴＲ（式（３））を用いて判定する。例えば、４：２：０フォーマットの１６×１６画素のマクロブロックＭＢでは、輝度画素ＰＹ、色差画素ＰＣｂ、ＰＣｒのそれぞれの複雑さを示すエッジ強度累計値ＳＴＲｙ、ＳＴＲｃｂ、ＳＴＲｃｒは、式（１１）、式（１２）および式（１３）でそれぞれ表される。

エッジ強度累計値ＳＴＲｙは、２５６個（１６×１６個）の輝度画素ＰＹのエッジ強度の累計値である。式（１１）のエッジ強度ＥＹｘは、輝度画素ＰＹの水平方向のエッジ強度であり、エッジ強度ＥＹｙは、輝度画素ＰＹの垂直方向のエッジ強度である。

エッジ強度累計値ＳＴＲｃｂは、６４個（１６／２×１６／２個）の色差画素ＰＣｂのエッジ強度の累計値である。式（１２）のエッジ強度ＥＣｂｘは、色差画素ＰＣｂの水平方向のエッジ強度であり、エッジ強度ＥＣｂｙは、色差画素ＰＣｂの垂直方向のエッジ強度である。

エッジ強度累計値ＳＴＲｃｒは、６４個（１６／２×１６／２個）の色差画素ＰＣｒのエッジ強度の累計値である。式（１３）のエッジ強度ＥＣｒｘは、色差画素ＰＣｒの水平方向のエッジ強度であり、エッジ強度ＥＣｒｙは、色差画素ＰＣｒの垂直方向のエッジ強度である。

また、図４で説明した条件４、条件５および条件６は、閾値ＴＨ１１、ＴＨ２１を用いて、式（１４）、式（１５）および式（１６）で表される。閾値ＴＨ１１、ＴＨ２１は、図４で説明したように、予め設定される閾値である。例えば、閾値ＴＨ１１は、閾値ＴＨ２１より大きい値であり、閾値ＴＨ２１は、“０”より大きい値である。

例えば、判定部２０は、式（１４）、式（１５）および式（１６）のいずれかが満たされるとき、色差画素ＰＣｂ、ＰＣｒが複雑であると判定する。換言すれば、判定部２０は、式（１４）、式（１５）および式（１６）のいずれも満たされないとき、色差画素ＰＣｂ、ＰＣｒが複雑でないと判定する。なお、処理Ｓ１００の判定結果（判定部２０の判定結果）は、検出部３０に通知される。例えば、判定部２０は、判定結果をレジスタ等に設定する。あるいは、判定部２０は、判定結果を示す信号を検出部３０に出力してもよい。

ここで、エッジ強度の情報は、例えば、動きベクトル検出装置１０が搭載される動画像符号化装置において、イントラ予測のモードを事前に選択する処理等に再利用できる。このため、この実施形態では、動きベクトル検出装置１０を含む動画像符号化装置の演算量が増加することを抑制できる。あるいは、動きベクトル検出装置１０は、動画像符号化装置のエッジ抽出フィルタ等で抽出されるエッジ強度の情報を、色差画素ＰＣｂ、ＰＣｒの複雑さの判定に再利用してもよい。この場合、動きベクトル検出装置１０は、色差画素ＰＣｂ、ＰＣｒの複雑さを判定する際の演算量を削減できる。

処理Ｓ１１０では、検出部３０は、例えば、符号化ブロックの動きベクトルＭＶの候補となる複数の動きベクトルＭＶから１つの動きベクトルを選択する。

処理Ｓ１２０では、検出部３０は、処理Ｓ１１０で選択した動きベクトルＭＶに基づくブロック（参照フレーム内のブロック）と符号化ブロックとの輝度画素ＰＹのコスト（輝度コスト）を計算する。例えば、検出部３０は、式（１）に基づいて、輝度画素ＰＹの差分絶対値和ＳＡＤを計算する。

処理Ｓ１３０では、検出部３０は、処理Ｓ１００の判定結果（判定部２０の判定結果）に基づいて、色差画素ＰＣｂ、ＰＣｒのコストを計算するか否かを判定する。例えば、処理Ｓ１００で色差画素ＰＣｂ、ＰＣｒが複雑であると判定されているとき（処理Ｓ１３０のＹｅｓ）、検出部３０の動作は、処理Ｓ１４０に移る。すなわち、式（１４）、式（１５）および式（１６）のいずれかが満たされるとき、検出部３０は、処理Ｓ１４０を実施する。一方、処理Ｓ１００で色差画素ＰＣｂ、ＰＣｒが複雑でないと判定されているとき（処理Ｓ１３０のＮｏ）、検出部３０の動作は、処理Ｓ１５０に移る。すなわち、式（１４）、式（１５）および式（１６）のいずれも満たされないとき、検出部３０は、処理Ｓ１４０を実施せずに、処理Ｓ１５０を実施する。

処理Ｓ１４０では、検出部３０は、処理Ｓ１１０で選択した動きベクトルＭＶに基づくブロックと符号化ブロックとの色差画素ＰＣｂ、ＰＣｒのコストをそれぞれ計算する。そして、検出部３０は、処理Ｓ１２０で計算した輝度画素ＰＹのコストに、色差画素ＰＣｂのコストおよび色差画素ＰＣｒのコストを加算する。これにより、輝度画素ＰＹのコストと色差画素ＰＣｂのコストと色差画素ＰＣｒのコストとの和が、処理Ｓ１５０で評価される。

例えば、検出部３０は、式（１）に基づいて、色差画素ＰＣｂの差分絶対値和ＳＡＤおよび色差画素ＰＣｒの差分絶対値和ＳＡＤをそれぞれ計算する。そして、検出部３０は、輝度画素ＰＹの差分絶対値和ＳＡＤに、色差画素ＰＣｂの差分絶対値和ＳＡＤおよび色差画素ＰＣｒの差分絶対値和ＳＡＤを加算する。

処理Ｓ１５０では、検出部３０は、コストの大きさに基づいて、動きベクトルＭＶを更新する。例えば、処理Ｓ１６０でループする前（１回目の動作）では、検出部３０は、処理Ｓ１１０で選択した動きベクトルＭＶおよび処理Ｓ１２０等で計算したコストを保持する。そして、処理Ｓ１６０でのループが実施された後は、検出部３０は、ループが実行される度に、処理Ｓ１１０で選択した動きベクトルＭＶをコストに基づいて評価する。例えば、検出部３０は、今回のループの処理Ｓ１２０等で計算したコストと前回のループの処理Ｓ１５０で保持したコストとを比較する。

そして、検出部３０は、保持しているコストを値が小さい方のコストに更新するとともに、保持している動きベクトルＭＶをコストが小さい方の動きベクトルＭＶに更新する。すなわち、検出部３０は、評価済みの動きベクトルＭＶの中で最も小さいコストの動きベクトルＭＶを保持する。これにより、評価済みの動きベクトルＭＶの中で最適な動きベクトルＭＶが保持される。

なお、処理Ｓ１５０で比較されるコストは、色差画素ＰＣｂ、ＰＣｒが複雑のときには、輝度画素ＰＹのコストと色差画素ＰＣｂのコストと色差画素ＰＣｒのコストとの和である。したがって、この実施形態では、例えば、色差成分Ｃｒ、Ｃｂの複雑さ（テクスチャ等）が輝度成分Ｙより大きいときにも、動きベクトルの検出精度を向上できる。これにより、この実施形態では、動きベクトルＭＶを使用して符号化される画像の品質が劣化することを防止できる。

また、色差画素ＰＣｂ、ＰＣｒが複雑でないときには、処理Ｓ１５０で比較されるコストは、輝度画素ＰＹのコストのみである。すなわち、この実施形態では、色差画素ＰＣｂ、ＰＣｒが複雑でないとき、色差画素ＰＣｂ、ＰＣｒのコストの計算は実施されない。これにより、この実施形態では、動きベクトルＭＶを検出する際の演算量の増加を抑制できる。この結果、この実施形態では、動きベクトルＭＶを検出する際の消費電力の増加を抑制できる。

処理Ｓ１６０では、検出部３０は、動きベクトルＭＶの探索が終了したか否かを判定する。例えば、検出部３０は、符号化ブロック（処理Ｓ１００で複雑さが判定されたマクロブロックＭＢ）の動きベクトルＭＶの候補となる複数の動きベクトルＭＶを全て評価したか否かを判定する。動きベクトルＭＶの探索が終了したとき（処理Ｓ１６０のＹｅｓ）、検出部３０の動作は、処理Ｓ１７０に移る。

一方、動きベクトルＭＶの探索が終了していないとき（処理Ｓ１６０のＮｏ）、検出部３０の動作は、処理Ｓ１１０に戻る。このように、検出部３０は、符号化ブロックの動きベクトルＭＶの候補となる複数の動きベクトルＭＶを全て評価するまで、処理Ｓ１１０−処理Ｓ１６０を繰り返す。なお、２回目以降のループの処理Ｓ１１０では、検出部３０は、例えば、符号化ブロックの動きベクトルＭＶの候補となる複数の動きベクトルＭＶから未評価の動きベクトルを選択する。

処理Ｓ１７０では、検出部３０は、符号化ブロックの動きベクトルＭＶを確定する。例えば、検出部３０は、処理Ｓ１５０で更新した動きベクトルＭＶ（評価された動きベクトルＭＶの中で最も小さいコストの動きベクトルＭＶ）を、最適な動きベクトルＭＶとして出力する。なお、検出部３０は、例えば、最適な動きベクトルＭＶをメモリ等に記憶してもよい。

処理Ｓ１８０では、検出部３０は、動きベクトルＭＶの検出が全てのマクロブロックＭＢで終了したか否かを判定する。動きベクトルＭＶの検出が全てのマクロブロックＭＢで終了したとき（処理Ｓ１８０のＹｅｓ）、検出部３０の動作が終了し、動きベクトル検出装置１０の動作が終了する。一方、動きベクトルＭＶの検出が終了していないマクロブロックＭＢが存在するとき（処理Ｓ１８０のＮｏ）、動きベクトル検出装置１０の動作は、処理Ｓ１００に戻る。このように、動きベクトル検出装置１０は、符号化対象のフレームの全てのマクロブロックＭＢの動きベクトルＭＶを検出するまで、処理Ｓ１００−処理Ｓ１８０を繰り返す。

なお、動きベクトル検出装置１０の動作は、この例に限定されない。例えば、判定部２０の処理は、検出部３０の処理と並列に実行されてもよい。また、例えば、処理Ｓ１００では、判定部２０は、動きベクトルＭＶの検出に色差画素ＰＣｂ、ＰＣｒを用いるか否かを、図３で説明した判定方法１や図５で説明した判定方法３に基づいて判定してもよい。さらに、判定部２０は、画素のアクティビティＡＣＴや画素値の偏差平方和Ｓを用いて色差画素ＰＣｂ、ＰＣｒの複雑さを判定してもよい。あるいは、判定部２０は、画素のアクティビティＡＣＴや画素値の偏差平方和Ｓと画素のエッジ強度とを組み合わせて色差画素ＰＣｂ、ＰＣｒの複雑さを判定してもよい。

また、処理Ｓ１２０、Ｓ１４０では、検出部３０は、式（２）に基づいて、画素の差分二乗和ＳＳＤをコストとして計算してもよい。さらに、処理Ｓ１４０では、図７に示すように、検出部３０は、色差画素ＰＣｂ、ＰＣｒの一方のみが複雑のとき、複雑な色差画素（色差画素ＰＣｂ、ＰＣｒの一方）のコストのみを輝度画素ＰＹのコストに加算してもよい。

図７は、図１に示した動きベクトル検出装置１０の動作の一例を示している。図７の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。図７の動作では、判定部２０は、動きベクトルＭＶの検出に色差画素ＰＣｂ、ＰＣｒを用いるか否かの判定を、ピクチャ（１フレームの画像）毎に実施する。例えば、図７の動作では、図６の動作に処理Ｓ１０２、Ｓ１３２、Ｓ１３４、Ｓ１４２、Ｓ１４４が追加され、処理Ｓ１００の代わりに処理Ｓ１０４が実施される。図６で説明した処理については、詳細な説明を省略する。なお、図７では、判定部２０の判定方法が図３で説明した判定方法１のときを例にして説明する。

処理Ｓ１０２では、判定部２０は、符号化対象のピクチャの色差画素ＰＣｂ、ＰＣｒの複雑さを判定する。例えば、判定部２０は、ピクチャの色差画素ＰＣｂ、ＰＣｒの複雑さを、アクティビティＡＣＴ（式（４））を用いて判定する。アクティビティＡＣＴは、例えば、動きベクトル検出装置１０が搭載される動画像符号化装置において、ビットレートを制御する処理等に再利用できる。このため、この実施形態では、動きベクトル検出装置１０を含む動画像符号化装置の演算量が増加することを抑制できる。

あるいは、動きベクトル検出装置１０は、例えば、動画像符号化装置でアクティビティＡＣＴが算出されるとき、動画像符号化装置で算出されるアクティビティＡＣＴを色差画素ＰＣｂ、ＰＣｒの複雑さの判定に再利用できる。この場合、動きベクトル検出装置１０は、色差画素ＰＣｂ、ＰＣｒの複雑さを判定する際の演算量を削減できる。

なお、色差画素ＰＣｂ、ＰＣｒの複雑さをアクティビティＡＣＴで判定する場合、図３で説明した条件１、条件２および条件３は、アクティビティＡＣＴｃｂ、ＡＣＴｃｒ、閾値ＴＨ１０、ＴＨ２０を用いて、式（１７）、式（１８）および式（１９）でそれぞれ表される。アクティビティＡＣＴｃｂ、ＡＣＴｃｒは、ピクチャの色差画素ＰＣｂ、ＰＣｒのそれぞれのアクティビティであり、式（４）に基づいてそれぞれ算出される。また、閾値ＴＨ１０、ＴＨ２０は、図３で説明したように、予め設定される閾値である。例えば、閾値ＴＨ１０は、閾値ＴＨ２０より大きい値であり、閾値ＴＨ２０は、“０”より大きい値である。

例えば、判定部２０は、例えば、式（１７）、式（１８）および式（１９）のいずれかが満たされるとき、色差画素ＰＣｂ、ＰＣｒが複雑であると判定する。換言すれば、判定部２０は、式（１７）、式（１８）および式（１９）のいずれも満たされないとき、色差画素ＰＣｂ、ＰＣｒが複雑でないと判定する。なお、処理Ｓ１０２の判定結果（判定部２０の判定結果）は、検出部３０に通知される。例えば、判定部２０は、判定結果をレジスタ等に設定する。あるいは、判定部２０は、判定結果を示す信号を検出部３０に出力してもよい。

処理Ｓ１０４では、検出部３０は、例えば、動きベクトルＭＶの検出対象のマクロブロックＭＢ（符号化ブロック）を選択する。処理Ｓ１１０−Ｓ１３０では、検出部３０は、図６で説明した動作を実施する。なお、処理Ｓ１３０の判定結果後（処理Ｓ１３０のＹｅｓ）に実施される処理は、図６と相違している。図７の動作では、検出部３０は、処理Ｓ１０２で色差画素ＰＣｂ、ＰＣｒが複雑であると判定されているとき（処理Ｓ１３０のＹｅｓ）、処理Ｓ１３２を実施する。

処理Ｓ１３２では、検出部３０は、処理Ｓ１０２の判定結果（判定部２０の判定結果）に基づいて、色差画素ＰＣｂ、ＰＣｒの両方のコストを計算するか否かを判定する。例えば、処理Ｓ１０２で色差画素ＰＣｂ、ＰＣｒの両方が複雑であると判定されているとき（処理Ｓ１３２のＹｅｓ）、検出部３０の動作は、処理Ｓ１４０に移る。すなわち、式（１９）が満たされるとき、検出部３０は、処理Ｓ１４０を実施する。

一方、処理Ｓ１０２で色差画素ＰＣｂ、ＰＣｒの一方が複雑でないと判定されているとき（処理Ｓ１３２のＮｏ）、検出部３０の動作は、処理Ｓ１３４に移る。すなわち、式（１９）が満たされないとき、検出部３０は、処理Ｓ１４０を実施せずに、処理Ｓ１３４を実施する。

処理Ｓ１３４では、検出部３０は、処理Ｓ１０２の判定結果（判定部２０の判定結果）に基づいて、色差画素ＰＣｂのコストを計算するか否かを判定する。例えば、処理Ｓ１０２で色差画素ＰＣｂのみが複雑であると判定されているとき（処理Ｓ１３４のＹｅｓ）、検出部３０の動作は、処理Ｓ１４２に移る。すなわち、式（１７）が満たされ、かつ、式（１９）が満たされないとき、検出部３０は、処理Ｓ１４２を実施する。

一方、処理Ｓ１０２で色差画素ＰＣｂが複雑でないと判定されているとき（処理Ｓ１３４のＮｏ）、検出部３０の動作は、処理Ｓ１４４に移る。すなわち、式（１８）が満たされ、かつ、式（１９）が満たされないとき、検出部３０は、処理Ｓ１４４を実施する。

処理Ｓ１４０では、検出部３０は、処理Ｓ１２０で計算した輝度画素ＰＹのコストに、色差画素ＰＣｂのコストおよび色差画素ＰＣｒのコストを加算する。これにより、色差画素ＰＣｂ、ＰＣｒの両方が複雑であるときには、輝度画素ＰＹのコストと色差画素ＰＣｂのコストと色差画素ＰＣｒのコストとの和が、処理Ｓ１５０で評価される。

処理Ｓ１４２では、検出部３０は、処理Ｓ１１０で選択した動きベクトルＭＶに基づくブロックと符号化ブロックとの色差画素ＰＣｂのコストを計算する。そして、検出部３０は、処理Ｓ１２０で計算した輝度画素ＰＹのコストに、色差画素ＰＣｂのコストを加算する。これにより、色差画素ＰＣｂ、ＰＣｒのうち、色差画素ＰＣｂのみが複雑であるときには、輝度画素ＰＹのコストと色差画素ＰＣｂのコストとの和が、処理Ｓ１５０で評価される。

処理Ｓ１４４では、検出部３０は、処理Ｓ１１０で選択した動きベクトルＭＶに基づくブロックと符号化ブロックとの色差画素ＰＣｒのコストを計算する。そして、検出部３０は、処理Ｓ１２０で計算した輝度画素ＰＹのコストに、色差画素ＰＣｒのコストを加算する。これにより、色差画素ＰＣｂ、ＰＣｒのうち、色差画素ＰＣｒのみが複雑であるときには、輝度画素ＰＹのコストと色差画素ＰＣｒのコストとの和が、処理Ｓ１５０で評価される。

このように、図７の動作では、色差画素ＰＣｂ、ＰＣｒのうち、複雑でない色差画素のコストの計算は実施されない。これにより、この実施形態では、動きベクトルＭＶを検出する際の演算量の増加を抑制できる。なお、処理Ｓ１２０、Ｓ１４０、Ｓ１４２、Ｓ１４４では、検出部３０は、画素の差分絶対値和ＳＡＤ（式（１））をコストとして計算してもよし、画素の差分二乗和ＳＳＤ（式（２））をコストとして計算してもよい。

処理Ｓ１５０−Ｓ１８０では、検出部３０は、図６で説明した動作を実施する。なお、処理Ｓ１８０の判定結果後（処理Ｓ１８０のＮｏ）に実施される処理は、図６と相違している。図７の動作では、動きベクトルＭＶの検出が終了していないマクロブロックＭＢが存在するとき（処理Ｓ１８０のＮｏ）、例えば、検出部３０の動作は、処理Ｓ１０４に戻る。

なお、動きベクトル検出装置１０の動作は、この例に限定されない。例えば、検出部３０は、図６に示したように、処理Ｓ１３２、Ｓ１３４、Ｓ１４２、Ｓ１４４を省いて実施してもよい。あるいは、判定部２０は、処理Ｓ１０２において、色差画素ＰＣｂ、ＰＣｒの複雑さの判定をピクチャ内のマクロブロック毎に実施してもよい。そして、判定部２０は、各マクロブロックの判定結果（複雑と判定したマクロブロックの数等）に基づいてピクチャの色差画素ＰＣｂ、ＰＣｒの複雑さを判定してもよい。

また、例えば、処理Ｓ１０２では、判定部２０は、動きベクトルＭＶの検出に色差画素ＰＣｂ、ＰＣｒを用いるか否かを、図４で説明した判定方法２や図５で説明した判定方法３に基づいて判定してもよい。さらに、判定部２０は、画素のエッジ強度や画素値の偏差平方和Ｓを用いて色差画素ＰＣｂ、ＰＣｒの複雑さを判定してもよい。あるいは、判定部２０は、画素のアクティビティＡＣＴや画素値の偏差平方和Ｓと画素のエッジ強度とを組み合わせて色差画素ＰＣｂ、ＰＣｒの複雑さを判定してもよい。

図８は、図１に示した動きベクトル検出装置１０が搭載される動画像符号化装置ＥＮＣの一例を示している。動画像符号化装置ＥＮＣは、例えば、ＭＰＥＧやＨ．２６４等に準拠した動画像符号化装置である。

動画像符号化装置ＥＮＣは、動きベクトル検出装置１０、インター予測部４０、イントラ予測部５０、選択部６０、差分算出部７０、直交変換部８０、量子化部９０、可変長符号化部１００、逆量子化部１１０、逆直交変換部１２０、加算部１３０およびフィルタ部１４０を有している。

インター予測部４０は、例えば、原画像データＤＩＮ（符号化対象のフレームの画像データＤＩＮ）と、参照画像データＲＩＮ（参照フレームの画像データＲＩＮ）と、動きベクトル検出装置１０により検出された動きベクトルＭＶとを受ける。そして、インター予測部４０は、例えば、動きベクトル検出装置１０により検出された動きベクトルＭＶに基づいて動き補償処理を実施し、フレーム間予測画像を生成する。

イントラ予測部５０は、例えば、原画像データＤＩＮと、加算部１３からのデータとを受ける。そして、イントラ予測部５０は、例えば、フレーム内予測を実施し、イントラ予測画像を生成する。

選択部６０は、例えば、フレーム間予測画像およびイントラ予測画像の圧縮率等の情報に基づいて、インター予測部４０の出力（フレーム間予測画像）およびイントラ予測部５０の出力（イントラ予測画像）のいずれかを選択する。差分算出部７０は、原画像データＤＩＮと選択部６０により選択された予測画像との差分を算出する。

直交変換部８０は、差分算出部７０から受けたデータ（差分画像）を直交変換する。これにより、離散信号が周波数領域の信号に変換される。量子化部９０は、直交変換部８０から受けたデータを量子化する。量子化部９０により量子化されたデータは、逆量子化部１１０および可変長符号化部１００に出力される。可変長符号化部１００は、量子化部９０から受けたデータを可変長符号化する。これにより、出力ストリームＤＯＵＴ（符号化された画像）が生成される。

逆量子化部１１０は、量子化部９０から受けたデータを逆量子化する。逆直交変換部１２０は、逆量子化部１１０から受けたデータを逆直交変換する。加算部１３０は、逆直交変換部１２０から受けたデータと選択部６０により選択された予測画像とを加算して、ローカルデコード画像をフィルタ部１４０に出力する。

フィルタ部１４０は、例えば、加算部１３０から受けたローカルデコード画像に対して、マクロブロック等のブロック境界を平滑化するためのデブロッキングフィルタ処理を実施する。フィルタ部１４０によりフィルタ処理されたローカルデコード画像ＬＯＵＴは、次のフレームを符号化する際に参照される。すなわち、フィルタ部１４０から出力されたローカルデコード画像ＬＯＵＴは、次のフレームを符号化する際に参照フレームとして用いられる。

なお、動画像符号化装置ＥＮＣの構成は、この例に限定されない。例えば、インター予測部４０は、動きベクトル検出装置１０を含んで構成されてもよいし、動きベクトル検出装置１０の一部（例えば、検出部３０）を含んで構成されてもよい。

以上、この実施形態では、動きベクトル検出装置１０は、動きベクトルＭＶの検出に色差画素ＰＣｂ、ＰＣｒを用いるか否かを色差画素ＰＣｂ、ＰＣｒの複雑さに基づいて判定する。そして、動きベクトル検出装置１０は、色差画素ＰＣｂ、ＰＣｒの少なくとも一方が複雑であるとき、色差画素ＰＣｂ、ＰＣｒの少なくとも一方のコストと輝度画素ＰＹのコストとの和に基づいて、動きベクトルＭＶを検出する。これにより、この実施形態では、色差画素ＰＣｒ、ＰＣｂの複雑さが大きいときにも、最適な動きベクトルＭＶを検出できる。この結果、この実施形態では、動きベクトルＭＶを使用して符号化される画像の品質が劣化することを防止できる。

また、動きベクトル検出装置１０は、色差画素ＰＣｂ、ＰＣｒが複雑でないとき、色差画素ＰＣｂ、ＰＣｒのコストを用いずに、輝度画素ＰＹのコストに基づいて動きベクトルＭＶを検出する。これにより、この実施形態では、動きベクトルＭＶを検出する際の演算量の増加を抑制できる。したがって、この実施形態では、画質を維持しつつ、動きベクトルＭＶを検出する際の演算量の増加を抑制できる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１０‥動きベクトル検出装置；２０‥判定部；３０‥検出部；４０‥インター予測部；５０‥イントラ予測部；６０‥選択部；７０‥差分算出部；８０‥直交変換部；９０‥量子化部；１００‥可変長符号化部；１１０‥逆量子化部；１２０‥逆直交変換部；１３０‥加算部；１４０‥フィルタ部；ＥＮＣ‥動画像符号化装置

Claims (13)

1. 輝度画素および色差画素を含む２つの画像の不一致の程度を示すコストを、前記輝度画素を用いて計算し、動画像の符号化処理に必要な動きベクトルを前記コストに基づいて検出する動きベクトル検出部と、
   前記コストの計算に前記色差画素を用いるか否かを、前記２つの画像の一方の画像の前記色差画素の複雑さに基づいて判定する判定部とを備え、
   前記動きベクトル検出部は、前記判定部の判定結果が前記コストの計算に前記色差画素を用いることを示すとき、前記輝度画素および前記色差画素を用いて前記コストを計算すること
   を特徴とする動きベクトル検出装置。
2. 前記判定部は、前記一方の画像の前記色差画素の複雑さと前記一方の画像の前記輝度画素の複雑さとを比較し、比較結果に基づいて、前記コストの計算に前記色差画素を用いるか否かを判定すること
   を特徴とする請求項１記載の動きベクトル検出装置。
3. 前記色差画素は複数種であり、
   前記判定部は、前記複数種のうちの少なくとも１種類を用いて、前記一方の画像の前記色差画素の複雑さを評価すること
   を特徴とする請求項１記載の動きベクトル検出装置。
4. 前記判定部は、前記一方の画像の前記色差画素の複雑さと予め設定された閾値との比較結果に基づく判定条件と、前記一方の画像の前記色差画素の複雑さと前記一方の画像の前記輝度画素の複雑さとの比較結果に基づく判定条件とを組み合わせて、前記コストの計算に前記色差画素を用いるか否かを判定すること
   を特徴とする請求項１記載の動きベクトル検出装置。
5. 前記判定部は、画素のエッジ強度、画素のアクティビティ、画素値の分散および画素値の標準偏差の少なくとも１つを用いて、前記一方の画像の前記色差画素の複雑さを評価すること
   を特徴とする請求項１記載の動きベクトル検出装置。
6. 前記判定部は、前記アクティビティ、前記分散および前記標準偏差の少なくとも１つと前記エッジ強度とを組み合わせて、前記一方の画像の前記色差画素の複雑さを評価すること
   を特徴とする請求項５記載の動きベクトル検出装置。
7. 動画像の符号化処理に必要な動きベクトルを検出する動きベクトル検出方法において、
   輝度画素および色差画素を含む２つの画像の不一致の程度を示すコストの計算に、前記色差画素を用いるか否かを、前記２つの画像の一方の画像の前記色差画素の複雑さに基づいて判定し、
   前記コストの計算に前記色差画素を用いないと判定したとき、前記輝度画素を用いて前記コストを計算し、
   前記コストの計算に前記色差画素を用いると判定したとき、前記輝度画素および前記色差画素を用いて前記コストを計算し、
   前記コストに基づいて前記動きベクトルを検出すること
   を特徴とする動きベクトル検出方法。
8. 前記一方の画像の前記色差画素の複雑さと前記一方の画像の前記輝度画素の複雑さとを比較し、比較結果に基づいて、前記コストの計算に前記色差画素を用いるか否かを判定すること
   を特徴とする請求項７記載の動きベクトル検出方法。
9. 前記一方の画像の前記色差画素が複数種の場合、前記複数種のうちの少なくとも１種類を用いて、前記一方の画像の前記色差画素の複雑さを評価すること
   を特徴とする請求項７記載の動きベクトル検出方法。
10. 前記一方の画像の前記色差画素の複雑さと予め設定された閾値との比較結果に基づく判定条件と、前記一方の画像の前記色差画素の複雑さと前記一方の画像の前記輝度画素の複雑さとの比較結果に基づく判定条件とを組み合わせて、前記コストの計算に前記色差画素を用いるか否かを判定すること
    を特徴とする請求項７記載の動きベクトル検出方法。
11. 画素のエッジ強度、画素のアクティビティ、画素値の分散および画素値の標準偏差の少なくとも１つを用いて、前記一方の画像の前記色差画素の複雑さを評価すること
    を特徴とする請求項７記載の動きベクトル検出方法。
12. 前記アクティビティ、前記分散および前記標準偏差の少なくとも１つと前記エッジ強度とを組み合わせて、前記一方の画像の前記色差画素の複雑さを評価すること
    を特徴とする請求項１１記載の動きベクトル検出方法。
13. 動画像の符号化処理に必要な動きベクトルを検出する動きベクトル検出装置と、
    前記動きベクトル検出装置により検出された前記動きベクトルを用いて、予測画像を生成する予測部とを備え、
    前記動きベクトル検出装置は、
    輝度画素および色差画素を含む２つの画像の不一致の程度を示すコストを、前記輝度画素を用いて計算し、前記動きベクトルを前記コストに基づいて検出する動きベクトル検出部と、
    前記コストの計算に前記色差画素を用いるか否かを、前記２つの画像の一方の画像の前記色差画素の複雑さに基づいて判定する判定部とを含み、
    前記動きベクトル検出部は、
    前記判定部の判定結果が前記コストの計算に前記色差画素を用いることを示すとき、前記輝度画素および前記色差画素を用いて前記コストを計算すること
    を特徴とする動画像符号化装置。

Images