JP2005295319A - 動き検出装置 - Google Patents

Abstract

【課題】 動きベクトル評価値として差分絶対値和を利用する動きベクトル検出装置の動きベクトル検出精度を改善する。
【解決手段】 現画像ブロックの画像の特徴情報（ＦＲ）を抽出し、この特徴情報に従って現画像ブロックの各画素ごとにビット値を持たせ、差分絶対値を求める演算操作時この特徴情報のビット値に従ってその演算内容を調整する。
【選択図】 図１９

Description

この発明は動き補償予測方式に従って画像データを符号化するための動き検出装置に関し、特に、動き予測に用いられる動きベクトル検出の精度を改善するための構成に関する。

大量のデータを含む画像データを伝送するためには、効率的に符号化を行なって伝送データ量を圧縮することが要求される。動画像データを能率的に圧縮して符号化する方法の一つとして、動き補償された予測誤差を求める方法がある。この方法においては、入力画像を、たとえば１６画素×１６画素のある大きさのブロックに分割し、時間的に前または後ろの画像（予測画像；参照画像）の動きベクトル分ずれた位置のブロックの画素値を基準として入力画像（現画像）のブロックの画素値を予測する。この予測画素値においては、現画像と参照画像の対応するブロックの画素値の差分値が求められて符号化される。画像の相関度が高いブロック間では、差分値が０に近く、逆に、被写体が移動しており、ブロック間の相関度が小さい場合には、差分値は大きくなる。動きベクトルを利用することにより、相関度の高い画像領域を抽出し、差分値を小さくする。この差分値を符号化して伝送することにより、伝送データ量を低減する。

この差分値、すなわち予測誤差を求めて伝送符号量を低減するためには、最も相関度の高い画像ブロックを参照画像から抽出する必要がある。このため、ブロック単位で画像の相関度を求め、各ブロックの評価値を算出し、現画像に対して最も相関度の高い参照画像ブロックを求める。このような方式は、ブロックマッチング法と呼ばれる。

このような動画像データの圧縮方法として、ＭＰＥＧ（モーション・ピクチャ・イメージ・コーデング・エキスパーツ・グループ；Motion Picture Image Coding Experts Group）規格において、動き補償予測符号化方式の詳細が定められている。このＭＰＥＧ規格においては、符号化時、予測誤差を、ＤＣＴ（離散コサイン変換）変換し、このＤＣＴ変換された値を量子化する。この量子化データが、可変長符号化されて伝送される。ＤＣＴ変換により、データの空間の冗長性を低減し、また予測符号化により、データの時間的な冗長性を低減する。

高能率符号化を実現するためには、したがって、送信データ量が少なくなるようなブロックが予測画像ブロックとして用いられるように、動きベクトルを検出する必要がある。動きベクトル検出時においては、参照画像の探索範囲内の各ブロックについて評価値が算出される。この評価値としては、差分絶対値和または差分自乗和が用いられる。差分は、現画像ブロックの画素と参照画像ブロックの対応の位置の画素との間で求められる。通常、動きベクトル検出装置のハードウェア量を低減するために、評価値としては、差分絶対値和が用いられる。この差分絶対値和が最小となる参照画像ブロックを予測画像ブロックとして用いて、予測誤差信号を生成する。

この動き予測の精度、すなわち、動きベクトルの検出精度を改善することを図る構成が、特許文献１（特開平１１−２５２５７１号公報）に開示されている。この特許文献１に示される構成においては、制御部からの許容演算パラメータに従って、動きベクトル候補数などが指定されて、参照画像ブロックの対応の位置領域近傍の動きベクトル候補を選択し、これらの候補ベクトルから最適予測動きベクトルを、算出評価値に従って決定する。

このとき、また、現画像における動きベクトルの分散値から、参照画像の探索範囲の探索形状を決定し、この決定された探索範囲内で最適予測動きベクトルを起点として動きベクトルの探索を行なう。また、この特許文献１に示される構成においては、最適動きベクトル探索時において、使用される画素数も応じて制御パラメータに基づいて決定されている。最終的に、最適動きベクトルの決定するブロックについての差分自乗和がしきい値以上のときには、動きベクトルの検出精度が悪いとして、通常の全探索方式に従って、探索範囲内の全ブロックを探索対象として動きベクトルを検出する。

また、特許文献２（特開平７−１１５６４８号公報）においては、動きベクトル検出精度を改善することを目的として、差分絶対値和が最小となるように差分絶対値に対して重付け処理を行ない、この後に、差分絶対値和を求める構成が示されている。この重付け処理においては、差分絶対値の範囲を検出して、その検出結果に従って重みを決定している。

また、動きベクトル評価値算出時においては、ブロック内画素それぞれについて差分自乗値または差分絶対値を検出することが要求される。この演算時間を短縮することを目的とする構成が、特許文献３（特開２０００−２７８６９１号公報）に示されている。この特許文献３に示される構成においては、現画像ブロックおよび探索範囲内の参照画像ブロックの画素値を、すべてしきい値処理して１ビットデータに符号化し、この１ビット画素値を用いてブロックマッチング演算を実行する。このしきい値としては、現画像ブロックの画素の最大値および最小値の平均値が用いられる。探索範囲内の候補ブロック（参照画像ブロック）について評価値算出が完了すると、最小評価値に対応する候補動きベクトルが決定される。この候補動きベクトルを起点として、その近傍の８領域を含む９つの参照画像ブロックについて全探索方式に従って再び動きベクトル検出動作を実行する。これらの処理の後、候補動きベクトルとこれらの９つのブロックにおいて求められた最適ベクトルとの和により、最終的な動きベクトルが求められている。

また、特許文献４（米国特許６５１６０３１号）においては、動きベクトルの評価値算出を効率的に行なうことを意図する構成が示されている。現画像ブロック画素に対応してアレイ状に要素プロセサを配置し、各要素プロセサを順次接続する。この要素プロセサアレイに、現画像ブロックの画素データを常駐させた状態で、探索範囲内の参照画像ブロックの画素データを順次シフトインさせ、各要素プロセサにおいて評価値成分を算出させる。要素プロセサに対して供給される参照画素データをフィルタ処理して、演算対象の画素をスキップすることにより、演算量を低減する。また、現画像ブロックの位置に応じて制御信号により、画素値に重みを付けて演算を行って評価値算出を実行する。
特開平１１−２５２５７１号公報 特開平７−１１５６４８号公報 特開２０００−２７８６９１号公報 米国特許６５１６０３１号

符号伝送時においては、動きベクトルが指定する参照画像ブロック、すなわち予測画像ブロックと現画像ブロックの各対応の画素の差分値が予測誤差として求められる。この予測誤差がＤＣＴ変換され、次いで量子化される。この量子化符号（量子化係数）が可変長符号に変換されて伝送される。ＤＣＴ変換は、空間的な冗長性を除去するために行なわれる。一方、予測誤差は、時間的な冗長性を除去するために行なわれる。

今、現画像ブロックにおいて、局所的な画像の変化が存在し、この現画像ブロック内において空間的な相関度が小さい状態（局所的に画素の値が他の位置の画素の値と異なる状態）を考える。評価値算出時において、差分絶対値和が算出され、この差分絶対値和の最も小さな参照画像ブロックが、予測画像ブロックとして決定される。この場合、現画像ブロックの局所的な変化を反映しない、画像の変化の少ない参照画像ブロックの評価値が最小値となり、現画像ブロックと同様の画像の特徴を有する相関性の高い画素値分布を有する参照画像ブロックの評価値が、この最小値よりも高くなる場合が存在する。このような場合、相関性の高い参照画像ブロックと異なる参照画像ブロックが、予測画像ブロックとして決定される。この予測画像ブロックは、局所的な画像の変化が少なく、空間的な冗長性が高い。ＤＣＴ変換をこの予測誤差に基づいて行なった場合、ＤＣＴ係数は、対応のＤＣＴ変換を受ける画素ブロックの画素値の影響をすべて受けるため、ＤＣＴ係数（予測誤差のＤＣＴ変換値）の絶対値が、現画像ブロックの局所的な変化に対応する画素値の影響により大きくなる。この結果、ＤＣＴ係数を量子化したデータの絶対値も大きくなり、応じて、可変長符号化される送信データのビット数が増大する。

このような評価値算出時において、差分自乗和を利用する場合、画像の局所的な変化が評価値算出時に強調されて現われるため、このような状態を避けることは可能である。しかしながら、差分絶対値和を評価値として利用する場合、正確に、その送信符号量が最も小さく、現画像ブロックと相関度の高い参照画像ブロックを予測画像ブロックとして検出することができない場合が生じ、動きベクトル検出の精度が低いという問題が生じる。

上述の特許文献１においては、動きベクトル検出精度を改善するために、動きベクトルの分散値から、制御パラメータに基づいて決定された予測動きベクトル周辺領域に対する探索範囲の形状を決定している。しかしながら、現画像ブロック自体の画像の特徴に応じて、その探索範囲の決定または評価値算出時の演算内容の変更などの処理は行なわれていない。したがって、この特許文献１に示される構成においても、上述のような、空間的な相関性（冗長度）の小さな現画像ブロックに対し、最適な参照画像ブロックを検出することができないという問題が生じる。

また、特許文献２においては、同様、動きベクトル検出の精度を改善するために、差分絶対値和が最小となるように、差分絶対値に対し重付けを行ない、その後、差分絶対値和を求めている。しかしながら、この重付け処理においては、差分絶対値の範囲を検出して、重みを判定して重付け処理を行なっているだけであり、現画像ブロックの画像の特徴に応じた処理は何ら実行していない。

また、特許文献３においては、評価値算出時間を短縮するために、現画像ブロックにおける画素の最大値および最小値の平均値をしきい値として用いて各画素値を１ビットデータに符号化して評価値を算出している。この特許文献３に示される構成においては、まず１ビット画素値を用いてブロックマッチング法に従って第１の動きベクトルを検出し、次いで、この第１の動きベクトル周辺の参照画像ブロックに対し全探索方式に従って評価値算出およびベクトル候補検出を行なっている。したがって、動きベクトル検出は２段階にわたって行なっており、動きベクトル探索時間が長くなる。また、現画像ブロックの画素と探索範囲内の参照画像ブロックの画素すべてをしきい値処理して２値データに変換して評価値算出を行なっており、同様、局所的な画像の急激な変化に相関する画像ブロック検出の精度が低下する。また、最終動きベクトル算出時においては、第１の動きベクトルに基づいて全探索を行なっており、同様、動きベクトル検出の精度が改善されない。

特許文献４においては、評価値算出の演算を効率的に行なうことを示しているものの、現画像ブロックの画像の特徴に応じた評価値算出を何ら開示していない。

それゆえ、この発明の目的は、高精度で動きベクトルを検出することのできる動き検出装置を提供することである。

この発明の他の目的は、ＤＣＴ演算および量子化演算により生成される予測画像データの符号量を確実に低減することのできる動き検出装置を提供することである。

この発明に係る動き検出装置は、現画像ブロックの画素値に従って現画像ブロックの特徴を抽出する特徴抽出手段と、この特徴抽出手段により抽出された特徴情報に従って参照画像探索範囲内のブロックの評価値の算出に用いられる演算内容を各画素単位で選択的に修飾する手段を含み、現画像ブロック画素値と参照画像ブロック画素値とに従って参照画像ブロックの動きベクトル評価値を算出する演算手段とを含む。

特徴抽出手段により、予め、現画像ブロックの画像の特徴を抽出し、この特徴情報をもとに、動きベクトル探索時の演算対象画素を変更または探索時の演算方法を変更するなどの、評価値参照に用いられる値または演算内容の修飾を行なうことにより、現画像ブロックの特徴に応じた画素値に対する評価値要素を強調して生成することができ、現画像ブロックの特徴と相関度の高い特徴を有する参照画像ブロックの評価値を小さくすることができ、高精度で動きベクトルを検出することができる。

［実施の形態１］
図１は、この発明の実施の形態１に従う動きベクトル検出装置の全体の構成を概略的に示す図である。図１において、動きベクトル検出装置１は、動きベクトル検出の対象領域である現画像ブロック（テンプレートマクロブロック）ＣＩの画素データを受け、現画像ブロック（対象領域）の画像の特徴を抽出する対象領域特徴抽出部２と、対象領域特徴抽出部２からの現画像ブロック画素ＣＩ（ｐｘ）と特徴情報ＦＲと参照画像ブロックＲＩの画素データとを受け、特徴情報ＦＲに従って演算内容または演算画素値を修飾して差分絶対値｜ａｉ−ｂｉ｜を各画素ごとに生成する演算部３と、演算部３からの差分｜ａｉ−ｂｉ｜の総和を求め差分絶対値和Σ｜ａｉ−ｂｉ｜を生成する総和部４と、この総和部４からの差分絶対値和Σ｜ａｉ−ｂｉ｜を受け、参照画像ブロックごとに評価値を比較して、最小差分絶対値和に対応する評価値ＥＳと対応の参照画像ブロックを示す動きベクトルＭＶを生成する比較部５を含む。

対象領域特徴抽出部２は、その具体的な抽出特徴については後に詳細に説明するが、たとえば、現画像ブロックにおける最大値および最小値の画素の位置などの情報を抽出する。この対象領域特徴抽出部２により特徴情報ＦＲを抽出することにより、現画像ブロックＣＩ内において空間的な相関度の低い画素の位置を抽出する。

演算部３においては、この参照画像ブロックＲＩと現画像ブロックＣＩの各画素について、特徴情報ＦＲに従ってその演算値または演算内容が修飾（変更）される。これにより、特徴を強調した演算を行なって差分絶対値を求める。したがって、この差分絶対値においては、この現画像ブロックの特徴的な画素と画素値を強調した値に設定することができ、差分絶対値が極端に大きくなる参照画像ブロックの評価値を相対的に大きくして、予測画像ブロックとして決定される確率を低減する。

図２は、図１に示す対象領域特徴抽出部２の構成を概略的に示す図である。図２において、対象領域特徴抽出部２は、現画像ブロックＣＩの最大値の画素および最小値の画素を検出し、これらの最大値画素および最小値画素にたとえば特徴値“１”を対応付け、かつそれ以外の画素に特徴値“０”を対応付けて、特徴情報ＦＲとして出力する。これらの特徴情報ＦＲと並行して現画像画素ＣＩ（ｐｘ）が出力される。この特徴情報抽出時においては、たとえば、図３に示すような特徴情報が抽出される。

図３において、現画像ブロックＣＩとして、４行４列の画素ブロックを考える。現画像ブロックＣＩにおいては、第１行第２列の画素が最大値を有し、第３行第３列の画素が最小値を有する状態を考える。この場合、特徴情報ＦＲとして、最大値画素および最小値画素に対してビット“１”をリンクさせ、残りの画素に対してビット“０”をリンクさせる。差分絶対値算出時、特徴情報ＦＲにおいてビット“１”が付された画素に対し重付け演算を行ない、残りの画素に対しては重付け演算は行なわない。差分絶対値算出時、演算結果が最も大きな値となる可能性のある画素の影響を大きくすることができ、確実に、現画像ブロックの特徴と相関度の高い特徴を有する参照画像ブロックを検出することができる。

図４は、図２に示す最大最小検出部２１の構成の一例を概略的に示す図である。図４において、最大参照値検出部２１は、レジスタ２１１の記憶値と現画像ブロック画素値ＰＸ（ｉ）を比較する比較器２１２と、レジスタ２１５の格納値と現画像ブロック画素値ＰＸ（ｉ）とを比較する比較器２１６と、現画像ブロック画素値ＰＸ（ｉ）の転送サイクルを規定するクロック信号ＣＬＫをカウントするカウンタ２１３と、比較器２１２からの比較検出信号ＬＧに従ってカウンタ２１３のカウント値を格納するレジスタ２１４と、比較器２１５の比較結果指示信号ＳＭに従ってカウンタ２１３のカウント値を格納するレジスタ２１７を含む。

なお、以下では、符号ＰＸ（ｉ）を、画素およびその値を示すものとして用いる。

比較器２１２は、現画像ブロック画素ＰＸ（ｉ）がレジスタ２１１に格納されている値よりも大きいときにその比較結果指示信号ＬＧをアサートする。レジスタ２１１は、この比較器２１２からの比較結果指示信号ＬＧがアサートされると、現画像ブロック画素ＰＸ（ｉ）を格納する。同様、レジスタ２１４も、この比較器２１２の比較結果指示信号ＬＧのアサートに従ってカウンタ２１３のカウント値を格納し、最大値画素候補の現画像ブロック内位置情報を格納する。

比較器２１６は、レジスタ２１５の格納値よりも現画像ブロック画素ＰＸ（ｉ）の値が小さいときに比較結果指示信号ＳＭをアサートする。レジスタ２１５は、この比較器２１６の比較結果指示信号ＳＭのアサートに従って現画像ブロック画素ＰＸ（ｉ）の値を格納し、同様、レジスタ２１７が、この比較結果指示信号ＳＭのアサートに従ってカウンタ２１３のカウント値を最小値候補画素の位置情報として格納する。

レジスタ２１１は、リセット信号ＲＳＴに従って最小画素値に初期設定され、レジスタ２１５は、リセット信号ＲＳＴに従って最大画素値に初期化される。レジスタ２１４および２１７は、リセット信号ＲＳＴに従って、現画像ブロックの先頭画素位置を示す値に格納値がリセットされる。

最大最小検出部２１は、さらに、現画像ブロック画素ＰＸ（ｉ）を順次格納するバッファレジスタ２２１と、レジスタ２１４および２１７に格納された位置情報をデコードするデコーダ２１８と、デコーダ２１８の出力信号に従ってバッファレジスタ２２０のレジスタ回路を選択し、選択レジスタ回路へ“１”を転送するセレクタ２１９を含む。これらのバッファレジスタ２２１および２２２は、各々、ＦＩＦＯ型（先入れ先出し型）のレジスタで構成され、バッファレジスタ２２１から現画像ブロック画素ＣＩ（ｐｘ）が順次出力され、バッファレジスタ２２０から各画素に対応する特徴情報ＦＲが出力される。

この図４に示す最大最小検出部２１の構成においては、レジスタ２１１が、最小画素値に初期設定されており、比較器２１２が、大きな値の現画像ブロック画素ＰＸ（ｉ）を検出すると、レジスタ２１１の格納値が更新される。したがって、現画像ブロックのすべての画素についての比較動作が比較器２１２により完了すると、レジスタ２１１には、この現画像ブロック内の画素の最大値が格納される。レジスタ２１４には、この最大値の画素の位置を示す情報がカウンタ２１３のカウント値により格納される。

同様、比較器２１６は、レジスタ２１５が、その格納値が最大画素値に初期化されており、現画像ブロック画素ＰＸ（ｉ）がレジスタ２１５の格納値よりも小さいときに、常にこのレジスタ２１５の格納値を更新する。したがって、この比較器２１６により、現画像ブロックの全画素についての比較動作が完了すると、レジスタ２１５には現画像ブロックの画素の最小値が格納され、レジスタ２１７には、この最小値の画素位置を示す位置情報として、カウンタ２１３のカウント値が格納される。

バッファレジスタ２２１は、たとえばクロック信号ＣＬＫに同期して転送動作を行なうシフトレジスタなどのＦＩＦＯ型回路で構成され、特徴情報抽出までの時間を待ち合わせ、また、次段回路において現画像ブロックの処理を開始するタイミングに画素転送動作を合わせるために用いられる。１つの現画像ブロックについて最大値および最小値の検出動作が完了すると、デコーダ２１８がレジスタ２１４および２１７に格納された位置情報をデコードし、選択信号をセレクタ２１９へ与える。バッファレジスタ２２０は、このバッファレジスタ２２１と同様の段数のＦＩＦＯ回路で構成され、セレクタ２１９が、最大値および最小値に対応するレジスタ回路を選択し、選択レジスタ回路にデータ“１”を書込む。バッファレジスタ２２０の格納値を、初期値“０”にリセットすることにより、最大値および最小値の画素に対する特徴情報として“１”を付与することができる。

これらの最大値および最小値の画素を検出することにより、差分値の絶対値が最も大きくなる可能性のある画素を抽出することができる。

図５は、図１に示す演算部３の構成の一例を概略的に示す図である。図５においては、１つの画素に対する差分絶対値を求める構成を示す。各画素に対して、この図５に示す演算部の構成がアレイ状に配置され（たとえば要素プロセサアレイを利用する）、各要素プロセサにおいて並列に、差分絶対値を求める演算処理が行なわれてもよい。

図５において、演算部３は、現画像ブロック画素ＣＩ（ｐｘ）と参照画像ブロック画素ＲＩ（ｐｘ）の差分絶対値ＤＩＦを求める差分絶対値演算器３１と、重付けモード指示信号ＷＧＭＤに応答して選択的に活性化され、活性化時、この差分絶対値演算器３１からの差分絶対値ＤＩＦに所定の重みＷを付けて重み付き差分絶対値Ｗ・ＤＩＦを生成する重付け演算器３２と、特徴情報ＦＲに従って、差分絶対値ＤＩＦおよび重付き差分絶対値Ｗ・ＤＩＦの一方を選択して差分絶対値｜ａｉ−ｂｉ｜を生成するセレクタ３３を含む。

特徴情報ＦＲは、現画像ブロック画素ＣＩ（ｐｘ）それぞれに対応した特徴情報ビットを含んでおり、各現画像ブロック画素ごとに、特徴情報ビットに従ってセレクタ３３が選択動作を実行する。

重付け演算器３２は、重付けモード指示信号ＷＧＭＤが活性状態にあるとき、一例として、２倍の差分絶対値２・ＤＩＦを生成する（Ｗ＝２）。

セレクタ３３は、この特徴情報ＦＲが最大値または最小値を示すときに、重付き差分絶対値Ｗ・ＤＩＦを選択して差分絶対値｜ａｉ−ｂｉ｜を生成する。特徴情報ＦＲが、最小値および最大値以外の画素を示しているときには、セレクタ３３は、差分絶対値演算器３１により生成された差分絶対値ＤＩＦを選択して差分絶対値｜ａｉ−ｂｉ｜を生成する。

したがって、この現画像ブロックにおいて最大値および最小値の画素についての差分絶対値が２倍にされ、その影響が十分大きくされる。

重付け演算器３２における重みが２倍の場合、単に差分絶対値ＤＩＦの１ビット左シフト操作により２倍の重付けを実現することができる。したがって、セレクタ３３における接続経路を切換えるだけで、２倍の重付け演算を実現することができ、重付け演算器３２において乗算器を設ける必要がなく、回路規模の増大を抑制することができる。

総和部４は、この演算部３から各画素ごとに出力される差分絶対値｜ａｉ−ｂｉ｜を累算して、参照画像ブロックに対する評価値を生成する。したがって、演算部３から１画素単位で差分絶対値が転送される場合、図３に示す４行４列の現画像ブロックを用いる場合、同様、参照画像ブロックも４行４列の画素ブロックであり、１６サイクルにわたって順次転送される現画像ブロック画素ＣＩ（ｐｘ）に対する演算結果を累算することにより、この参照画像ブロックＲＩの評価値を生成することができる。

図１に示す比較部５は、１６サイクルに１回、すなわち参照画像ブロックに対する評価値算出サイクルごとに、それまでに与えられていた最適ベクトル候補評価値と比較し、相関度の高い参照ブロックに対する評価値、すなわち評価値の低いベクトルに対する評価値を最適べクトル評価値として保持し、また参照画像ブロックの位置情報を動きベクトル候補として保持する。この比較部５における最適ベクトル評価値比較による最適ベクトル評価値および最適ベクトル候補の保持を行なう構成は、図４に示す比較器２１６およびレジスタ２１５，２１７を含む部分の構成と同様の構成を用いて実現することができる。

この比較動作時、評価値が同じ場合には、最適評価値候補の更新は所定の規則に基づいて行なわれればよい。

現画像ブロックの画像の特徴として、現画像ブロックの画素の最大値および最小値を抽出し、その特徴情報をもとに、ベクトル探索時の演算方法を画素ごとに変更することにより、差分値が大きくなる可能性のある画素の影響を大きくすることができ、現画像ブロックと同様の特徴を有する参照画像ブロックを予測画像ブロックとして検出することができ、伝送符号量を低減することのできる最適ベクトルを動きベクトルとして検出することができる。

［変更例１］
図６は、図５に示す重付け演算器３２の変更例を示す図である。図６において、重付け演算器３２は、重付けモード指示信号ＷＧＭＤに従ってそのオフセット値が変更可能であるオフセットレジスタ３２１と、オフセットレジスタ３２１のオフセット値ＯＦＳと図５に示す差分絶対値演算器３１からの差分絶対値ＤＩＦとを加算して、重付き差分絶対値ＷＤＩＦを生成する加算器３２２を含む。このオフセット値ＯＦＳは、その値が、重付けモード指示信号ＷＧＭＤに応じて変更可能である。重み付け指示信号ＷＧＭＤを複数ビットの信号で構成し、各ビット値に従ってオフセット値を選択する、または重付け指示信号ＷＧＭＤ自体が、オフセット値を示す。

この場合、オフセット値ＯＦＳを正の値に設定することにより、最大値および最小値の画素の評価値に対する影響を大きくすることができる。

また、図１に示す比較部５は、この参照画像の探索範囲内の参照画像ブロックの位置に応じて、その比較動作時にオフセット値を用いて比較動作を行なってもよい。この場合、現画像の動きに応じて、参照画像の探索範囲の中央部領域のオフセットを大きくし、周辺領域のオフセット値を小さくすることにした場合、動きの少ない画像に対する参照画像ブロックを検出することができる（評価値が同じ場合）。また、これに代えて、探索範囲の周辺領域のオフセット値を小さくし、周辺領域の参照画像ブロックが、予測画像ブロックとなるようにオフセットがかけられてもよい（動きが大きい場合）。これにより、動きに応じて、最適な予測画像ブロックを検出することができる。

図７は、この発明の実施の形態１に従う符号化処理の一例を示す図である。図７においては、説明を簡略化するために、２行２列の現画像ブロックＴＭＢと２行２列に配置される参照画像ブロックＳＷＡおよびＳＷＢを示す。現画像ブロックＴＭＢは、その第１行第１列の画素が最小値ＭＩＮとして１０を有する。また最大値ＭＡＸとして、第２行第２列の画素が画素値１００を有する。参照画像ブロックＳＷＡは、すべての画素が値１０を有し、参照画像ブロックＳＷＢは、第２行第２列の画素が画素値３９を有し、残りの画素が値０を有する。

この現画像ブロックＴＭＢに対して、動きベクトル探索時においては、まず各参照画像ブロックＳＷＡおよびＳＷＢに対して差分絶対値が求められる。この場合、参照画像ブロックＳＷＡにおいては、第２行第２列の画素に対応する差分絶対値が９０となり、残りの画素についての差分絶対値は０となる。一方、参照画像ブロックＳＷＢにおいては、第２行第２列の画素の差分絶対値が６１となり、残りの画素については差分絶対値が１０となる（ブロックＡＡおよびＡＢ参照）。

この場合、従来においては、評価値が各画素の差分絶対値の和であり、参照画像ブロックＳＷＡに対する差分絶対値ＡＡの総和が９０であり、一方、参照画像ブロックＳＷＢの差分絶対値ＡＢの総和は９１であり、参照画像ブロックＳＷＡが予測画像ブロックとして選択される。この参照画像ブロックＳＷＡについて現画像ブロックＴＭＢの予測誤差を求めると、第２行第２列の画素の予測誤差が９０となり、残りの画素の予測誤差が０となる予測誤差ブロックＰＡが生成される。この予測誤差ブロックＰＡを、ＤＣＴ変換すると、ＤＣＴ係数として、４５．０の組および−４５．０の組が対角線上に配置されるＤＣＴ係数ブロックＤＡが生成される。このＤＣＴ係数ブロックＤＡを、量子化ステップ１０で量子化すると、対角線上に４の組および−４の組が配置される量子化ブロックＱＡが形成される。

一方、本発明においては、現画像ブロックＴＭＢの特徴を抽出し、最大値ＭＡＸおよび最小値ＭＩＮに対応する画素についての差分値を一例として２倍する。この場合、参照画像ブロックＳＷＡについては、第２行第２列の差分絶対値が１８０となり、残りの画素の差分絶対値が０となる差分絶対値ブロックＡＣが形成される。一方、参照画像ブロックＳＷＢについては、最小値画素および最大値画素に対応する差分絶対値が２倍されるため、第１行において２０，１０、第２行において１０，１２２となる差分絶対値ブロックＡＤが形成される。これらの差分絶対値ブロックＡＣおよびＡＤ各々の総和を求めると、それぞれ、１８０および１６２となり、参照画像ブロックＳＷＢの評価値が低いため、参照画像ブロックＳＷＢが予測画像ブロックとして選択される。

この参照画像ブロックＳＷＢについて予測誤差を求めると、第１行において１０，１０、第２行において１０，６１となる予測誤差ブロックＰＢが形成される。この予測誤差ブロックＰＢをＤＣＴ変換すると、第１行において４５．５，−２５．５、第２行において−２５．５，２５．５のＤＣＴ係数を有するブロックＤＢが形成される。これを、量子化レベル（ステップ）１０で量子化した場合、第１行で４，−２、第２行で−２，２となる要素で構成される量子化ブロックＱＢが得られる。

量子化ブロックＱＡおよびＱＢを比較すると、量子化ブロックＱＢの方が、量子化値が小さく、可変長符号に変換するときの符号量が少なくなる。したがって、正確に、現画像ブロックＴＭＢの特徴に応じて参照画像ブロックを選択することにより、現画像ブロックの特徴と同様の特徴を有する参照画像ブロックを選択することにより、符号量の少ない参照画像ブロックを特定する動きベクトルを検出することができる。

なお、上述の説明においては、重みとして２倍の係数が用いられている。しかしながら、この重み付け係数Ｗは、画像の特徴に応じて適当な値に定められれば良い。

以上のように、この発明の実施の形態１に従えば、現画像ブロックの特徴情報を抽出し、この特徴情報を用いて各画素に対する演算内容を更新（修飾）しており、正確に特徴の大きな画素の影響を大きくして評価値を算出することができ、予測誤差符号化時に符号量を低減することのできる動きベクトルを高精度で検出することができる。

［実施の形態２］
図８は、この発明の実施の形態２に従う演算部３の構成を概略的に示す図である。この図８に示す演算部３においては、差分絶対値演算器３１からの差分絶対値ＤＩＦに対し重付けモード指示信号ＷＧＭＤに従って選択的に活性化され、１／Ｎの重みを付けた差分絶対値ＤＩＦ／Ｎを生成する重付け演算器３２Ａと、特徴情報ＦＲに従って、この重付き差分絶対値と差分絶対値ＤＩＦの一方を選択して出力するセレクタ３３Ａが設けられる。

この重付け演算器３２Ａは、たとえば、ＤＩＦ／２の除算を行なう。セレクタ３３Ａは、特徴情報ＦＲが、最大値または最小値の画素を有するときには、差分絶対値ＤＩＦを選択し、特徴情報ＦＲが、最大値および最小値の画素以外の特徴を指示するときには、この重付け演算器３２Ａからの重み付き差分絶対値ＤＩＦ／Ｎを選択する。

したがって、この図８に示す構成においては、最大値および最小値の画素以外の画素の影響が抑制され、相対的に、重付け対象画素の重みを大きくすることができる。この重付け演算器３２Ａにおいて、たとえば１／２の重みを付ける場合、セレクタ３３Ａにおいて、差分絶対値ＤＩＦを１ビット右シフトした値を選択するだけで、この演算が実現されるため、回路構成を複雑化させることなく、また回路規模の増大も抑制することができる。

この特徴情報ＦＲを抽出する構成は、実施の形態１において示した特徴抽出部の構成と同じ構成を利用することができる。

具体的に、図９に示すように、現画像ブロックＰＭＢと参照画像ブロックＳＷＡおよびＳＷＢについて、差分絶対値を求める場合を考える。現画像ブロックＴＭＢは、その第１行第１列の画素が最小値ＭＩＮ、第２行第２列の画素が最大値ＭＡＸを有する。この場合、参照画像ブロックＳＷＡにおいては差分絶対値は、第１行第２列および第２行第１列の画素に対する差分絶対値が１／２倍されるため、第１行において０，０、第２行において０，９０の要素で構成される差分絶対値ブロックが生成される。一方、参照画像ブロックＳＷＢにおいては、第１行第２列および第２行第１列の画素についての差分絶対値が１／２倍されるため、第１行において１０，５、第２行において５，６１の要素が配置される差分絶対値ブロックが生成される。これらの差分絶対値ブロックについて差分絶対値和を求めると、参照画像ブロックＳＷＡについては、９０、参照画像ブロックＳＷＢについては、８１となり、正確に、送信符号量の少ない参照画像ブロックＳＷＢを指定することができる。

以上のように、この発明の実施の形態２に従えば、現画像ブロック内の特徴を、最大および最小画素値情報に基づいて抽出し、この特徴情報をもとに動きベクトル探索時の評価値演算方法を画素ごとに調整しており、画像の特徴値の影響の小さな画素値の影響を抑制しており、正確に、送信符号量を低減するのに最適な動きベクトルを検出することが可能となり、動きベクトル検出の精度を改善することができる。

［実施の形態３］
図１０は、この発明の実施の形態３に従う特徴抽出部の特徴抽出操作を示す図である。現画像ブロックＣＩにおいて、最大値および最小値の画素の位置を検出する。現画像ブロックＣＩの特徴情報ＦＲとして、これらの最大値および最小値を有する画素と同一の行を、すべて重付け対象画素とし、特徴情報ビットを“１”に設定する。残りの行については、重付け操作を行なわず、ビット“０”を特徴情報として設定する。

この図１０に示す特徴情報ＦＲを生成する場合、現画像ブロックの画像の水平方向の画像の連続性により、応じて、この現画像ブロックＣＩの水平方向のデータの連続性の特徴が強調される。したがって、この場合においても、特徴情報ＦＲに従って実施の形態１または２における演算部３において選択的に各画素ごとに演算内容を設定することにより、この現画像ブロックＣＩの水平方向の画素の特徴を強調した差分絶対値を求めることができる。これにより、現画像ブロックの特徴に応じた参照画像ブロックを指定する動きベクトルを検出することができ、動きベクトル検出の精度を改善することができる。

なお、この図１０に示す特徴抽出を行なう対象領域特徴抽出部の構成としては、図４に示す構成を利用することができる。図４に示すデコーダ２１８において、レジスタ２１４および２１７それぞれに格納される位置情報を行指定情報にデコードする。これにより、図４に示すバッファレジスタ２２０に、最大値画素および最小値画素に対応するレジスタ回路に、ビット“１”を格納することができる。

また、これに代えて、カウンタを行をカウントするように設定して（画素列を全てカウントするとカウント値を増分する）、そのカウント値が行を指定するようにしても良い。

なお、この図１０に示す特徴情報ＦＲに従って演算部３で行なわれる演算内容については、実施の形態１および２のいずれが用いられてもよい。

以上のように、この発明の実施の形態３に従えば、現画像ブロックの最大値および最小値の画素と同一行の画素を特徴強調画素領域として設定しており、現画像ブロックの特徴を強調した差分絶対値演算を行なうことができ、動きベクトル検出の精度を改善することができる。

［実施の形態４］
図１１は、この発明の実施の形態４に従って対象領域特徴抽出部の特徴抽出操作を概略的に示す図である。この図１１に示す特徴抽出操作においては、現画像ブロックＣＩの最大値および最小値と同一列の画素に対し、ビット“１”を付与し、垂直方向に整列する画素を、現画像ブロックの特徴強調画素として指定する。図１１に示す現画像の場合においては、現画像ブロックＣＩにおいて第１行第２列および第３行第３列の画素が、それぞれ、最大値および最小値の画素であるため、特徴情報ＦＲとしては、第２列および第３列の画素に対し、特徴情報ビット“１”を割当てて、これらの画素を、現画像の特徴強調画素として指定する。

この図１１に示す特徴抽出操作によれば、現画像ブロックの垂直方向におけるデータの連続性により特徴が強調される。したがって、この特徴強調領域の画素の影響を大きくして、差分絶対値演算を行なうことにより、現画像ブロックＣＩと同様の画像の特徴を有する参照画像ブロックを検出することができ、動きベクトル検出の精度を改善することができる。

この発明の実施の形態４において対象領域特徴抽出部の構成として、図４に示す構成を利用することができる。図４に示すデコーダ２１８において、カウンタのカウント値をデコードして列情報を生成する。また、これに代えて、図４に示すカウンタ２１３が、列情報のみを生成するように構成されてもよい（全列をカウントすると初期値に復帰する）。

以上のように、この発明の実施の形態４に従えば、現画像ブロックの最大値および最小値の画素と同一列の画素を特徴強調画素として指定しており、差分絶対値演算時、垂直方向の画像の連続性に基づいて画像の特徴を強調することができ、現画像ブロックと同様の特徴を有する参照画像ブロックを検出することができ、動きベクトル検出の精度を改善することができる。

［実施の形態５］
図１２は、この発明の実施の形態５に従う対象領域特徴抽出部２の構成を概略的に示す図である。図１２において、対象領域特徴抽出部２は、現画像ブロックの画素ＣＩ（ｐｘ）を順次入力し、その平均値ＡＶＥを算出する平均値算出部２２と、この平均値算出部２２からの平均値ＡＶＥと現画像ブロック画素ＣＩ（ｐｘ）の差分値と比較用しきい値ＶＴ１との比較を行なって特徴情報ＦＲを生成する平均との差分比較部２３とを含む。

平均値算出部２２は、現画像ブロックＣＩの各画素ＣＩ（ｐｘ）の画素値を加算し、累算結果を、その現画像ブロックに含まれる画素数で除算することにより、平均値ＡＶＥを算出する。

図１３は、図１２に示す平均との差分比較部２３の構成の一例を概略的に示す図である。図１３において、平均との差分比較部２３は、現画像ブロック画素ＰＸ（ｉ）と平均値ＡＶＥとを減算してその絶対値を出力する差分器２３１と、差分器２３１の出力値と比較用しきい値ＶＴ１とを比較し、特徴情報ビットＦＲ（ｉ）を生成する比較器２３２を含む。

この平均との差分比較部２３により、現画像ブロックの画素の平均値とのずれが、しきい値ＶＴ１により二値化処理される。平均とのずれが大きい画素に対して、例えば、特徴ビット“1”を付与することにより、現画像ブロックの画像の特徴を正確に抽出することができる。特に、このしきい値ＶＴ１の値を調整することにより、突出した特徴をより正確に抽出することができる。

図１４は、この発明の実施の形態５における現画像ブロックＣＩの画素値の分布と抽出される特徴情報ＦＲとの対応を示す図である。図１４において、現画像ブロックＣＩにおいて、斜線で示す領域の画素が、平均値との差分がしきい値ＶＴ１以上の画素である。この図１４においては、平均値との差が大きい画素に特徴ビットとして、“１”が割当てられる。したがって、この現画像ブロックＣＩ内の平均値からのずれの大きい画素を抽出することにより、その影響を評価値算出に大きく及ぼすことができ、正確に、現画像ブロックＣＩの画像の特徴に応じた参照画像ブロックを検出することができ、動きベクトルの検出精度を改善することができる。

また、この現画像ブロックＣＩの画素ＰＸの画素値と平均値との差分絶対値（ずれ）が、すべてしきい値ＶＴ１よりも小さい場合には、特徴情報のビットはすべて“０”となり、画素値重付けを行なわず、通常の動き探索と同じ評価値算出演算が行なわれる。したがって、このしきい値ＶＴ１のレベルに応じて、現画像ブロックの特徴に応じて適応的に重付け演算の実行／不実行を制御することができる。

このしきい値ＶＴ１は、図示しない制御部の制御の下に設定され、その値は変更可能である。

以上のように、この発明の実施の形態５に従えば、現画像ブロックの画素値の平均値と各画素のずれを求め、このずれがしきい値以上であるかに基づいて特徴情報を抽出しており、現画像ブロックの画像の特徴に応じた評価値算出動作を行なうことができ、動きベクトル検出精度を改善することができる。

［実施の形態６］
図１５は、この発明の実施の形態６に従う対象領域特徴抽出部２の構成を概略的に示す図である。図１５において、対象領域特徴抽出部２は、現画像ブロックの画素ＣＩ（ｐｘ）の画素値の平均値ＡＶＥを算出する平均値算出部２１と、この平均値算出部２１からの平均値ＡＶＥと現画像ブロックの各画素ＰＸ（ｉ）との偏差ＤＥＶを算出する偏差算出部２４と、この偏差算出部２４からの偏差ＤＥＶと比較用しきい値ＶＴ２とを比較し、その比較結果に従って特徴情報ＦＲを生成する偏差比較部２５とを含む。

図１６は、この図１５に示す偏差算出部２４の構成の一例を示す図である。図１６において、偏差算出部２４は、平均値ＡＶＥと現画像ブロック画素の画素値ＰＸ（ｉ）とを減算する減算器２４１で構成される。この減算器２４１から、現画像ブロックの画素ＰＸ（ｉ）に対する偏差ＤＥＶが生成される。偏差ＤＥＶは、ＰＸ（ｉ）−ＡＶＥで表される。

偏差比較部２５においてこの偏差ＤＥＶを比較用しきい値ＶＴ２と比較することにより、この平均値ＡＶＥからしきい値ＶＴ２以上ずれた画素値を有する画素を抽出することができ、画像の特徴を抽出することができる。この現画像ブロックＣＩと特徴情報ＦＲの対応の一例は、先の図１４に示す対応と同様である。しかしながら、この減算器２４１が、現画像ブロック画素ＰＸ（ｉ）からの画素値から平均値ＡＶＥを減算する場合、この画素値の大きな画素領域を抽出することができる。逆に、減算器２４１が、平均値ＡＶＥから画素値ＰＸ（ｉ）を減算する構成とされた場合、画素値が小さくなる方に大きくずれた画素の領域を抽出することができる。

以上のように、この発明の実施の形態６に従えば、現画像ブロックの画素の平均値と各画素の画素値との偏差の大小に従って現画像ブロックの画像の特徴を抽出しており、現画像ブロックの画像の特徴を正確に抽出することができる。また、全画素の偏差が比較用しきい値ＶＴ２よりも小さい場合には、この現画像ブロックの画素に対する重付け操作は行なわれず、通常の動き探索時の演算と同様の演算操作が行なわれ、しきい値ＶＴ２の値に応じて適応的に重付けの有無を制御することができる。これにより、現画像ブロックの突出した特徴をより正確に抽出することができ、動きベクトル検出精度を改善することができる。

［実施の形態７］
図１７は、この発明の実施の形態７に従う演算部３の構成を概略的に示す図である。図１７において、演算部３は、特徴情報ＦＲに従って現画像ブロック画素ＣＩ（ｐｘ）と参照画像ブロック画素ＲＩ（ｐｘ）の一方を選択するセレクタ３５と、セレクタ３５の出力値と現画像ブロック画素ＣＩ（ｐｘ）との差分絶対値を求める差分絶対値演算器３１とを含む。

セレクタ３５は、特徴情報ＦＲの対応のビットが“１”のときには参照画像ブロックの画素ＲＩ（ｐｘ）を選択し、特徴情報ＦＲの対応のビットが“１”のときには、現画像ブロックの画素ＣＩ（ｐｘ）を選択する。

したがって、この図１７に示す演算部３の構成においては、特徴情報ＦＲのビットが“１”であり、重付けを指定しているときには、現画像ブロックおよび参照画像ブロックの対応の画素の差分絶対値が求められる。一方、特徴情報ＦＲの対応のビットが“０”であり、重付け対象と異なる画素であることを示しているときには、この差分絶対値演算器３１の出力値｜ａｉ-ｂｉ｜は、“０”となる。したがって、重付け対象以外の画素は、この評価値算出に寄与しないことになり、重付け対象の画素のみを用いて差分絶対値を求めることにより、正確に現画像ブロックの画像の特徴に応じた評価値算出を行なうことができる。これにより、現画像ブロックの画像の特徴に類似する参照画像ブロックを検出することが可能となり、動きベクトル検出の精度を改善することができる。

なお、特徴情報ＦＲを生成する特徴抽出部の構成としては、先の実施の形態１から４のいずれが用いられても良い。

［実施の形態８］
図１８は、この発明の実施の形態８に従う演算部３の構成を概略的に示す図である。図１８において、演算部３は、動作モード指示信号ＯＰＭに従って特徴情報ＦＲと固定値“１”の一方を選択するセレクタ３６と、セレクタ３６の出力値に従って現画像ブロック画素ＣＩ（ｐｘ）および参照画像ブロック画素ＲＩ（ｐｘ）の一方を選択するセレクタ３５と、現画像ブロック画素ＣＩ（ｐｘ）とセレクタ３５の出力値との差分絶対値を算出する差分絶対値演算器３１を含む。この差分絶対値演算器３１の出力する差分絶対値｜ａｉ−ｂｉ｜が、次段の図１に示す総和部４へ与えられる。

セレクタ３６は、動作モード指示信号ＯＰＭが“１”であり、重み付き演算処理を指定するときには、特徴情報ＦＲを選択して出力する。一方、動作モード指示信号ＯＰＭが“０”にあり、通常処理（重み付き演算処理なし）を指定するときには、セレクタ３６は固定値“１”を選択する。

セレクタ３５は、図１７に示す演算部３のセレクタ３５と同様、セレクタ３６の出力値が“１”のときには、参照画像ブロックの画素ＲＩ（ｐｘ）を選択し、セレクタ３６の出力値が“０”のときには、現画像ブロック画素ＣＩ（ｐｘ）を選択する。

動作モード指示信号ＯＰＭが重み付き演算処理を指定するときには、セレクタ３６からは特徴情報ＦＲが順次出力されてセレクタ３５へ与えられる。したがって、この場合には、図１７に示す演算部３と同様、特徴情報ＦＲに従って重付け処理が指定された現画像ブロック画素に対して、参照画像ブロックの対応の画素との差分絶対値が求められる。これ以外の現画像ブロック画素に対しては、差分絶対値が“０”となり、評価値には寄与しない。したがって、図１７に示す実施の形態７に従う演算部３と同様の動作が実現される。

一方、動作モード指示信号ＯＰＭが“０”のときには、セレクタ３６の出力値が“１”に固定されるため、セレクタ３５は、常時、参照画像ブロックの画素ＲＩ（ｐｘ）を選択して出力する。したがって、この場合には、重付き演算処理なしの通常の評価値算出処理が実行される。

外部からの動作モード指示信号ＯＰＭに従って、適応的に、重付け処理を活性／非活性状態に設定することができ、動きの激しい画像および動きの小さな画像に対して適応的に、重み付き演算処理を実行することができ、動きベクトル検出精度を改善することができる。

なお、この動作モード指示信号ＯＰＭについては、現画像ブロックの画素値の分散を求め、その分散値が所定値以上のときに、画素値のばらつきが大きいと判断して、特徴情報に従った重付け演算を行なうように構成されてもよい。また、この動作モード指示信号ＯＰＭは、ユーザが手動で設定するように構成されてよい。

以上のように、この発明の実施の形態８に従えば、動作モード指示に従って適応的に重付け処理の活性／非活性を制御しており、画像の動きに応じた動きベクトル探索を行なうことができ、動きベクトル検出精度を改善することができる。

［実施の形態９］
図１９は、この発明の実施の形態９に従う演算部３の構成を概略的に示す図である。図１９において、演算部３は、動作モード指示信号ＯＰＭに従って特徴情報ＦＲと固定値“１”の一方を選択するセレクタ３６と、セレクタ３６の出力値に従って現画像ブロックの画素ＣＩ（ｐｘ）と参照画像ブロックの画素ＲＩ（ｐｘ）の一方を選択するセレクタ３５と、セレクタ３５の出力値と現画像ブロックの画素ＣＩ（ｐｘ）の差分絶対値を求める差分絶対値演算器３１と、重付けモード指示信号ＷＧＭＤに従って選択的に活性化され、この差分絶対値演算器３１からの差分絶対値ＤＩＦに重付け処理を行なって重み付き差分絶対値ＷＤＩＦを生成する重付け演算器３２と、特徴情報ＦＲに従って重付き差分絶対値ＷＤＩＦと差分絶対値ＤＩＦの一方を選択して差分絶対値｜ａｉ−ｂｉ｜を生成するセレクタ３３を含む。

セレクタ３６は、動作モード指示信号ＯＰＭが“１”であり、重み付き演算処理を示すときには特徴情報ＦＲを選択する。この動作モード指示信号ＯＰＭが“０”のときには、セレクタ３６は、固定値“１”を選択する。

セレクタ３５は、このセレクタ３６の出力値が“１”のときには、参照画像ブロックの画素ＲＩ（ｐｘ）を選択し、セレクタ３６の出力値が“０”のときには、現画像ブロックの画素ＣＩ（ｐｘ）を選択する。

重付け演算器３２は、重付けモード指示信号ＷＧＭＤが重付けモードを指定するときには、与えられた差分絶対値に所定の係数を乗算して重付き差分絶対値ＷＤＩＦを生成する。また、重付け演算器３２は、重付けモード指示信号ＷＧＭＤが重付け演算を指定しない通常演算処理を指定するときには、差分絶対値演算器３１の出力値を通過させる。

セレクタ３３は、特徴情報ＦＲのビット値が“１”の時には重付け演算器３２の出力値を選択し、ビット値が“０”の時には、差分絶対値演算器３１からの差分絶対値を選択する。

この図１９に示す演算部３の構成において、動作モード指示信号ＯＰＭに従って、特徴情報ＦＲにより、演算対象画素を切換えるか否かを設定する。重付けモード指示信号ＷＧＭＤにより、重付け演算器３２により、重み付き演算を行なうか否かを決定する。したがって、動作モード指示信号ＯＰＭが演算対象画素変更モードを指定し、かつ重付けモード指示信号ＷＧＭＤが重み付き演算を指定するときには、まず、セレクタ３５により、画像の特徴に寄与しない画素が評価対象画素から削除される。次いで、重付け演算器３２により、評価値に寄与する画素の評価値に対する寄与が大きくされる。したがって、この場合、画像の特徴を、より正確に反映して差分絶対値を生成することができる。

また、動作モード指示信号ＯＰＭが固定値“１”を指定するモードを設定したときには、演算対象画素の変更は行われず、セレクタ３５により参照画像ブロックの画素ＲＩ（ｐｘ）が選択され、従来と同様の、現画像ブロックおよび参照画像ブロックの対応の画素の差分絶対値が求められる。この場合、重付け演算器３２により重付け操作を行なうことにより、セレクタ３３が特徴情報ＦＲに従って選択動作を行なうため、評価値に寄与する画素の影響を大きくすることができる。

また、動作モード指示信号ＯＰＭが、特徴情報ＦＲを使用し、演算対象画素の変更モードを指定したとき、重付けモード指示信号ＷＧＭＤが非活性状態にされると、重付け演算器３２からは、重付けされていない差分絶対値ＤＩＦが生成される（Ｗ＝１）。したがって、この場合においても、セレクタ３５により、評価値に寄与しない画素成分が削除されるため、正確に、画像の特徴に応じた評価値を生成することができる。

動作モード指示信号ＯＰＭが通常動作モードを指定し、特徴情報の不使用を指定し、また、重付けモード指示信号ＷＧＭＤが、重み付け演算処理を指定しない通常の処理を指定する時には、演算器３１および３２から同じ差分絶対値が生成されるため、特徴情報が生成される場合でも、通常の差分絶対値を求める演算が、現画像ブロック画素および参照画像ブロック画素を用いて行われる。この動作モード時には特徴情報ＦＲの各ビットが“１”に固定されても良い。

この図１９に示す演算部３を利用することにより、重付け演算および重付けなしの通常演算および探索対象画素変更演算を、対象画像の特徴に応じて適応的に実現することができ、より動きベクトル検出の精度を改善することができる。

［実施の形態１０］
図２０は、この発明の実施の形態１０に従う対象領域特徴抽出部２の構成を概略的に示す図である。図２０においては、対象領域特徴抽出部２は、現画像ブロック画素ＣＩ（ｐｘ）を所定の割合で間引いてフィルタ処理を行なってフィルタ後の画像データを生成する現画像フィルタ２６と、この現画像フィルタ２６からのフィルタ後の画素データを受けて平均値を算出する平均値算出部２２と、平均値算出部２２からの平均値ＡＶＥとフィルタ処理された現画像ブロック画素の差分と比較用しきい値ＶＴ４とを比較する平均との差分比較部２３を含む。この平均との差分比較部２３からは、フィルタ処理された画素ＦＰＸ（ｉ）と特徴情報ＦＲが生成される。

現画像フィルタ２６は、たとえば、１画素ごとに現画像ブロックの画素を間引き、フィルタ対象の画素を、隣接位置の画素の値を利用してフィルタ処理を行なう。たとえば、水平方向に画素Ｐ１、Ｐ２およびＰ３が整列し、画素Ｐ２がフィルタ対象の場合、たとえば次式でフィルタ後の画素値ＦＰ２が求められる。

ＦＰ２＝（Ｐ１＋２・Ｐ２＋Ｐ３）／４
画素Ｐ１またはＰ３が存在しない状態の場合には、フィルタ係数が変更される。この場合、フィルタ後の画素値は、次式で表わされる。

ＦＰ２＝（Ｐ１＋３・Ｐ２）／４または（３・Ｐ２＋Ｐ３）／４
現画像ブロックの画素Ｐ２を次段回路へ転送する。画素Ｐ１およびＰ３はスキップされ、利用されない。平均値算出部２２においては、したがって、この現画像ブロックにおける半分の画素を用いて平均値算出動作を行なう。平均との差分比較部２３も同様、このフィルタ後の現画像ブロックの画素ＦＰＸ（ｉ）と平均値ＡＶＥとの差をしきい値ＶＴ４と比較し、特徴情報ＦＲを生成する。この場合、現画像ブロックの画素データとしてフィルタ後の画素データＦＰＸ（ｉ）が出力される。したがって、同様、図２１に示すように、参照画像ブロックの画素も、参照画像フィルタ６０により同様のフィルタ処理され、フィルタ参照画素ＦＲＩ（ｐｘ）が生成される。これらのフィルタ後の画素データＦＰＸ（ｉ）およびＦＲＩ（ｐｘ）が、先の実施の形態１から９の演算部３へ与えられて、選択的な重付け演算が実行される。この場合、演算対象の画素が間引かれており、演算量を低減でき、またハードウェア量も低減できる。

この場合、画素が間引かれていても、フィルタ処理が行なわれているため、正確に画像の特徴を抽出して、評価値算出を行なうことができ、動きベクトル検出の精度を低下させることなく、評価値算出時間を低減しまた評価値算出のための回路要素数を低減することができる。

以上のように、この発明の実施の形態１０に従えば、参照画像および現画像両者の画素をフィルタ処理し、フィルタ処理されたデータを用いて特徴データの抽出および選択的な重付け演算を特徴情報に基づいて行なっており、演算量を低減でき、また回路構成要素数も低減することができる。

この発明は、動画像を符号化する動画像符号化装置の動きベクトル検出装置として適用することができる。この動画像のフォーマットとしては、ブロックマッチング法に従って動きベクトルが検出され、この動きベクトルが指定する予測画像ブロックを用いて動き補償付き予測誤差を生成するフォーマットであればよく、ブロックマッチング法に基づいて動き補償予測符号化を行う画像データ符号化装置であれば、本発明を適用可能である。

この発明に従う動きベクトル検出装置の構成を概略的に示す図である。 図１に示す対象領域特徴抽出部の構成の一例を示す図である。 図２に示す最大最小検出部の処理内容を示す図である。 図２に示す最大最小検出部の構成の一例を概略的に示す図である。 図１に示す演算部の構成の一例を概略的に示す図である。 図５に示す重付け演算器の変更例を示す図である。 この発明に従う動き補償予測符号化および従来の動き補償予測符号化処理を概略的に示す図である。 この発明の実施の形態２に従う演算部の構成を概略的に示す図である。 この発明の実施の形態２における評価値算出処理の一例を示す図である。 この発明の実施の形態３に従う対象領域特徴抽出部の操作内容を概略的に示す図である。 この発明の実施の形態４に従う対象領域特徴抽出部の処理内容を概略的に示す図である。 この発明の実施の形態５に従う対象領域特徴抽出部の構成を概略的に示す図である。 図１２に示す平均との差分比較部の構成の一例を概略的に示す図である。 図１２に示す対象領域特徴抽出部の処理操作内容を模式的に示す図である。 この発明の実施の形態６に従う対象領域特徴抽出部の構成を概略的に示す図である。 図１５に示す偏差算出部の構成の位置例を概略的に示す図である。 この発明の実施の形態７に従う演算部の構成を概略的に示す図である。 この発明の実施の形態８に従う演算部の構成を概略的に示す図である。 この発明の実施の形態９に従う演算部の構成を概略的に示す図である。 この発明の実施の形態１０に従う対象領域特徴抽出部の構成を概略的に示す図である。 この発明の実施の形態１０における参照画像ブロック画素データ生成部の構成を概略的に示す図である。

符号の説明

１ 動きベクトル検出装置、２ 対象領域特徴抽出部、３ 演算部、４ 総和部、５ 比較部、２１ 最大最小検出部、３１ 差分絶対値演算器、３２ 重付け演算器、３３ セレクタ、３２Ａ 重付け演算器、３３Ａ セレクタ、２２ 平均値算出部、２３ 平均との差分比較部、２４ 偏差算出部、２５ 偏差比較部、３５，３６ セレクタ、２６ 現画像フィルタ、６０ 参照画像フィルタ。

Claims (14)

1. 現画像ブロックと参照画像の探索範囲内のブロックとからブロックマッチング法に従って動きベクトルの評価値を算出するための装置であって、
   前記現画像ブロックの画素値に従って前記現画像ブロックの特徴を抽出する特徴抽出手段と、
   前記特徴抽出手段により抽出された特徴情報に従って、前記参照画像の探索範囲内のブロックの評価値算出に用いられる演算内容を各画素単位で選択的に修飾する手段を含み、前記現画像ブロックの画素値と前記参照画像のブロックの画素値とに従って前記参照画像ブロックの動きベクトルの評価値を算出する演算手段とを備える、動き検出装置。
2. 前記演算手段は、
   前記特徴抽出手段により抽出された特徴情報に従って前記参照画像ブロックの画素に基づいて生成される評価値要素を選択的に修飾する要素値修飾手段と、
   前記要素値修飾手段により修飾された要素値と前記評価値要素の一方を前記特徴情報に従って選択して出力する選択手段とを備える、請求項１記載の動き検出装置。
3. 前記演算手段は、
   前記特徴抽出手段により抽出された特徴情報に従って前記現画像ブロックの画素値と前記参照画像ブロックの画素値の一方を選択する選択手段と、
   前記選択手段の出力値と前記現画像ブロックの画素値とに従って前記評価値を算出する手段とを含む、請求項１記載の動き検出装置。
4. 前記演算手段は、前記特徴抽出手段により抽出された特徴情報に従って評価値要素に対して重み付けを行なう重み付け手段を備える、請求項１記載の動き検出装置。
5. 前記特徴抽出手段は、前記現画像ブロックの画素値が最大値を前記特徴情報として検出し、
   前記演算手段は、最大値の現画像ブロックの画素に対する重み付けを前記特徴抽出手段からの特徴情報に従って重み付けを行なって評価値要素を算出する、請求項１記載の動き検出装置。
6. 前記特徴抽出手段は、前記現画像ブロックの画素値の最小値を特徴情報として検出し、
   前記演算手段は、前記特徴抽出手段からの特徴情報に従って前記最小値に対応する画素に対して重み付けを行なって前記評価値の要素を算出する、請求項１記載の動き検出装置。
7. 前記特徴抽出手段は、前記現画像ブロックの画素値の最大値および最小値を前記特徴情報として検出し、
   前記演算手段は、前記特徴抽出手段からの特徴情報に従って最大値の画素および最小値の画素に対して重み付けを行なって前記評価値要素を算出する、請求項１記載の動き検出装置。
8. 前記特徴抽出手段は、前記現画像ブロックの予め定められた値の画素と整列する画素を修飾対象として設定するように特徴情報を生成する、請求項１記載の動き検出装置。
9. 前記修飾操作を選択的に活性化する手段をさらに備える、請求項１記載の動き検出装置。
10. 前記特徴抽出手段は、前記現画像ブロック画素の平均値と各画素の値との差分値としきい値とを比較し、該比較結果に従って前記特徴情報を生成する、請求項１記載の動き検出装置。
11. 前記演算手段は、前記修飾時には、評価値要素を定数倍する、請求項１記載の動き検出装置。
12. 前記演算手段は、
    動作モード指示信号に従って前記特徴情報と固定値の一方を選択する第１の選択器と、
    前記第１の選択器の出力値に従って前記現画像ブロック画素と前記参照画像ブロックの画素の一方を選択する第２の選択器と、
    前記現画像ブロックの画素と前記第２の選択器の出力値とに従って前記評価値の要素を算出する演算器とを備える、請求項１記載の動き検出装置。
13. 前記演算手段は、
    動作モード指示信号に従って前記特徴情報と固定値の一方を選択する第１の選択器と、
    前記第１の選択器の出力値に従って前記現画像ブロック画素と前記参照画像ブロックの画素の一方を選択する第２の選択器と、
    前記現画像ブロックの画素と前記第２の選択器の出力値とに従って前記評価値の要素を算出する第１の演算器と
    前記第１の演算器の出力値に処理操作指示信号に従って重み付けを行う第２の演算器と、
    前記特徴情報に従って前記第１および第２の演算器の出力値の一方を選択して前記評価値要素として出力する第３の選択器とを備える、請求項１記載の動き検出装置。
14. 前記特徴抽出手段は、
    前記現画像ブロックの画素値の平均値を算出する手段と、
    各前記現画像ブロックの画素と前記平均値とのずれをしきい値に従って２値化して、前記２値化データを前記特徴情報として出力する手段とを備える、請求項１記載の動き検出装置。

Images