JP2009147807A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2009147807A JP2009147807A JP2007325025A JP2007325025A JP2009147807A JP 2009147807 A JP2009147807 A JP 2009147807A JP 2007325025 A JP2007325025 A JP 2007325025A JP 2007325025 A JP2007325025 A JP 2007325025A JP 2009147807 A JP2009147807 A JP 2009147807A
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- movement vector
- feature point
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Abstract
【課題】動画像において高い圧縮率を得るための良好な精度を持つ移動ベクトルの検出と、その検出のための処理演算量を低減する。
【解決手段】フレーム画像から特徴点を抽出して特徴点画像データを生成する特徴点画像データ生成手段（２９，３３）と、特徴点画像データを所定サイズのマクロブロックに分割するとともに、該マクロブロック内における特徴点の分散状態に応じてマクロブロックを更に小さなブロックに分割する暫定ブロック分割手段（３９）と、マクロブロックおよび分割された各ブロックに対して、ブロック内の画像の特徴点同士の比較によって移動ベクトルを求める第１移動ベクトル算出手段（４１）と、ブロック毎に算出された移動ベクトルとそのブロックと隣接するブロックの移動ベクトルとを比較して、ベクトル差分が所定の閾値以下である場合にこれらのブロックをマージするブロックマージ手段（４３）と、を備えた。
【選択図】図２
【解決手段】フレーム画像から特徴点を抽出して特徴点画像データを生成する特徴点画像データ生成手段（２９，３３）と、特徴点画像データを所定サイズのマクロブロックに分割するとともに、該マクロブロック内における特徴点の分散状態に応じてマクロブロックを更に小さなブロックに分割する暫定ブロック分割手段（３９）と、マクロブロックおよび分割された各ブロックに対して、ブロック内の画像の特徴点同士の比較によって移動ベクトルを求める第１移動ベクトル算出手段（４１）と、ブロック毎に算出された移動ベクトルとそのブロックと隣接するブロックの移動ベクトルとを比較して、ベクトル差分が所定の閾値以下である場合にこれらのブロックをマージするブロックマージ手段（４３）と、を備えた。
【選択図】図２
Description
本発明は画像処理装置に関し、特に動画像の符号化効率を向上する技術に関する。
近年、動画像の動画像符号化技術の発展が著しく、中でもＭＰＥＧ（Moving Picture Expert Group）規格を中心とした技術開発が精力的に進められている。例えばＤＶＤ等に用いられるＭＰＥＧ２は勿論、より高い符号化効率（圧縮率）が得られるＭＰＥＧ４やＭＰＥＧ４−ＡＶＣ（H.264)等の動画像フォーマットが開発されている。これらの符号化方式は、年々向上する計算機の処理能力をその背景として、より高度かつ大量な演算によって、高い符号化効率を実現している。
しかしながら、これらの動画像符号化を行う場合に十分な計算機リソースが与えられるとは限らない。例えば、近年のパーソナルコンピュータのような高い演算処理能力を有する計算機であれば、多少演算量が多くても、その処理能力によって動画像符号化を十分な速度で実行できる。また、この種の計算機においては十分な記憶領域が確保されている場合が多く、仮に実時間で処理されなくとも、符号化前の動画像を一時保存しておき、その後に保存した画像を読み出して符号化することも可能である。
これに対して、小型のビデオカメラレコーダや据え置き型の録画機のような一般家庭用の記録装置では、動画像の一時保存に十分な記憶容量もなく、計算能力も限られるため、多くは実時間での記録を行う方式とされている。そのため、この種の記録装置において動画像の符号化処理を行うことを考えると、その符号化には可能な限り演算量を低減することが望まれる。
しかしながら、これらの動画像符号化を行う場合に十分な計算機リソースが与えられるとは限らない。例えば、近年のパーソナルコンピュータのような高い演算処理能力を有する計算機であれば、多少演算量が多くても、その処理能力によって動画像符号化を十分な速度で実行できる。また、この種の計算機においては十分な記憶領域が確保されている場合が多く、仮に実時間で処理されなくとも、符号化前の動画像を一時保存しておき、その後に保存した画像を読み出して符号化することも可能である。
これに対して、小型のビデオカメラレコーダや据え置き型の録画機のような一般家庭用の記録装置では、動画像の一時保存に十分な記憶容量もなく、計算能力も限られるため、多くは実時間での記録を行う方式とされている。そのため、この種の記録装置において動画像の符号化処理を行うことを考えると、その符号化には可能な限り演算量を低減することが望まれる。
一方、ＭＰＥＧ規格における符号化効率向上のための手法として、移動ベクトルの検出精度向上や、ＤＣＴ（Discrete Cosine Transform）等の変換処理およびハフマン符号等の可変長符号化処理の効率の向上など、様々な手法が提案されている。しかし、変換や可変長符号化といった処理は、その多くが動画像のフォーマットによって規定されている場合が多く、符号化効率向上のための独自の処理を採用することが難しい。
例えば、縮小画像によりマクロブロックのおおよそのベクトル（基準ベクトル）を求めた後に、そのベクトルを基準に元の画像によるベクトル検出範囲（差分処理範囲）を限定する移動ベクトル検出方法が特許文献１に記載されている。
また、特許文献１のように縮小画像を用いた２段のベクトル検出方法であり、近傍ブロックのベクトル情報からも基準ベクトルを推定する移動ベクトル検出方法が特許文献２に記載されている。この方法では、周辺のブロック情報からもマクロブロックの基準ベクトルを推定している。
また、マクロブロックからサブブロックのような階層毎でベクトル検出を行う移動ベクトル検出方法が特許文献３に記載されている。この方法は、特許文献１，２と同様に２段階でベクトル検出を行っている。そして、マクロブロックのベクトル情報や輝度差分値を用いてサブブロックへの分割を行っている。近傍マクロブロックと注目マクロブロックのベクトルに差分があった場合にはブロック展開を行い、上位基準ベクトルにより限定された範囲においてベクトル推定を行っている。
また、ブロック毎のベクトルを求めた後に、ＤＣＴのような量子化処理により複数のブロックのベクトル情報をマージすることが特許文献４に記載されている。
特開２００４−２２９１５０号公報
特開２００４−２４１８８０号公報
特開平７−３０８９９号公報
特開平７−５９０８９号公報
また、特許文献１のように縮小画像を用いた２段のベクトル検出方法であり、近傍ブロックのベクトル情報からも基準ベクトルを推定する移動ベクトル検出方法が特許文献２に記載されている。この方法では、周辺のブロック情報からもマクロブロックの基準ベクトルを推定している。
また、マクロブロックからサブブロックのような階層毎でベクトル検出を行う移動ベクトル検出方法が特許文献３に記載されている。この方法は、特許文献１，２と同様に２段階でベクトル検出を行っている。そして、マクロブロックのベクトル情報や輝度差分値を用いてサブブロックへの分割を行っている。近傍マクロブロックと注目マクロブロックのベクトルに差分があった場合にはブロック展開を行い、上位基準ベクトルにより限定された範囲においてベクトル推定を行っている。
また、ブロック毎のベクトルを求めた後に、ＤＣＴのような量子化処理により複数のブロックのベクトル情報をマージすることが特許文献４に記載されている。
しかしながら、種々の画像シーンにおいて上記の技術を用いても必ずしも動画像符号化の効率や精度が十分でない場合がある。例えば、特許文献１の技術では、マクロブロック中を小オブジェクト（マクロブロック中の１ブロックのみに入っているようなオブジェクト）が横切っているような場合には、基準ベクトルによる範囲推定が外れることが予想される。また、範囲が限定されることで演算量が軽減されるが、２度のベクトル算出処理（ブロック位置をオフセットして差分処理を繰り返す）が必要になるため、トータルとしての演算量は依然として多いという問題があった。また、特許文献２、３の技術では、マクロブロック中の小オブジェクト移動への追従は不得手であると予想される。また、マクロブロックからサブブロックへの分割は一意的に行っているため、シーンに応じた分割は考慮されていない。特許文献４では、ブロックのマージの仕方は量子化によるもので、小オブジェクト移動の方向性を考慮していない。
本発明は上記状況に鑑みてなされたもので、動画像において高い圧縮率を得るための良好な精度を持つ移動ベクトルの検出と、その検出のための処理演算量を低減することを目的としている。
本発明の上記目的は、下記構成により達成される。
（１） 動画像の各フレーム画像を複数のブロックに分割し、該分割した各ブロックに対して、ブロック内の画像の移動ベクトルをそれぞれ検出する画像処理装置であって、
前記各フレーム画像から特徴点を抽出して特徴点画像データを生成する特徴点画像データ生成手段と、
前記特徴点画像データを所定サイズのマクロブロックに分割するとともに、該マクロブロック内における前記特徴点の分散状態に応じて前記マクロブロックを更に小さなブロックに分割する暫定ブロック分割手段と、
前記マクロブロックおよび分割された各ブロックに対して、ブロック内の画像の特徴点同士の比較によって前記移動ベクトルを求める第１移動ベクトル算出手段と、
前記ブロック毎に算出された前記移動ベクトルと当該ブロックと隣接するブロックの移動ベクトルとを比較して、ベクトル差分が所定の閾値以下である場合にこれらのブロックをマージするブロックマージ手段と、
を備えた画像処理装置。
（１） 動画像の各フレーム画像を複数のブロックに分割し、該分割した各ブロックに対して、ブロック内の画像の移動ベクトルをそれぞれ検出する画像処理装置であって、
前記各フレーム画像から特徴点を抽出して特徴点画像データを生成する特徴点画像データ生成手段と、
前記特徴点画像データを所定サイズのマクロブロックに分割するとともに、該マクロブロック内における前記特徴点の分散状態に応じて前記マクロブロックを更に小さなブロックに分割する暫定ブロック分割手段と、
前記マクロブロックおよび分割された各ブロックに対して、ブロック内の画像の特徴点同士の比較によって前記移動ベクトルを求める第１移動ベクトル算出手段と、
前記ブロック毎に算出された前記移動ベクトルと当該ブロックと隣接するブロックの移動ベクトルとを比較して、ベクトル差分が所定の閾値以下である場合にこれらのブロックをマージするブロックマージ手段と、
を備えた画像処理装置。
この画像処理装置によれば、各フレーム画像から特徴点を抽出して特徴点画像データが生成され、この特徴点画像データがマクロブロックに分割されるとともに、マクロブロック内における特徴点の分散状態に応じてマクロブロックを更に小さなブロックに分割される。そして、それぞれのブロックに対して、ブロック内の画像の特徴点同士を比較して移動ベクトルを求め、算出された移動ベクトルとそのブロックと隣接する他のブロックの移動ベクトルとを比較して、ベクトル差分が所定の閾値以下である場合に、これらのブロックがマージされる。これにより、画像内のオブジェクトの内容に応じてブロック分割の度合いが適切に、つまり、特徴点が多いほど細かく分割され、特徴点が少ないほど粗く分割され、しかも、移動ベクトルが略等しいブロック同士はマージするので、ブロックが無駄に細かく分割されることがない。したがって、移動ベクトルの検出と、その検出のための演算処理量が抑えられる。また、オブジェクトとなる小片が多方向に飛散する場面等の画像を扱う場合に、より適性にオブジェクトに対するブロック分割が可能となり、動画像の符号化精度が向上する。
（２） （１）記載の画像処理装置であって、
前記特徴点画像データ生成手段が、前記フレーム画像の輪郭成分を特徴点として抽出し、輪郭成分の強弱に比例した画素値で前記特徴点画像データを生成する画像処理装置。
前記特徴点画像データ生成手段が、前記フレーム画像の輪郭成分を特徴点として抽出し、輪郭成分の強弱に比例した画素値で前記特徴点画像データを生成する画像処理装置。
この画像処理装置によれば、輪郭成分の強弱に比例した画素値で特徴点画像が生成されるので、細かなディテールの消失やオブジェクトの消失等が防止でき、より適性なブロック分割が可能となる。
（３） （１）または（２）記載の画像処理装置であって、
前記各フレーム画像を１段階または２段階以上にわたって縮小処理することにより、元のフレーム画像を含めて複数レベルの抽象度の画像データを生成する画像縮小手段を備え、
前記特徴点画像データ生成手段は、前記複数レベルの画像データの各々から前記特徴点を抽出して前記特徴点画像データを生成する画像処理装置。
前記各フレーム画像を１段階または２段階以上にわたって縮小処理することにより、元のフレーム画像を含めて複数レベルの抽象度の画像データを生成する画像縮小手段を備え、
前記特徴点画像データ生成手段は、前記複数レベルの画像データの各々から前記特徴点を抽出して前記特徴点画像データを生成する画像処理装置。
この画像処理装置によれば、細かなディテールから大まかなディテールまでスケーラブルに追従でき、また、そのディテールに適合した移動ベクトルの検出が行える。
（４） （１）〜（３）のいずれか１項記載の画像処理装置であって、
前記第１移動ベクトル算出手段は、任意の前記フレーム画像に注視ブロックを設定し、前記任意のフレーム画像よりも後に出力されたフレーム画像に探索範囲を設定し、前記注視ブロックと同じ大きさの探索ブロックを前記探索範囲内で移動させたときの各移動先位置にある前記探索ブロック内の前記特徴点と、前記注視ブロック内の前記特徴点とを比較して、前記注視ブロックと相関の最も高い探索ブロックである高相関探索ブロックを選定し、該選定された高相関探索ブロックの位置と前記注視ブロックの位置とから、前記任意のフレーム画像に対する前記移動ベクトルを算出する画像処理装置。
前記第１移動ベクトル算出手段は、任意の前記フレーム画像に注視ブロックを設定し、前記任意のフレーム画像よりも後に出力されたフレーム画像に探索範囲を設定し、前記注視ブロックと同じ大きさの探索ブロックを前記探索範囲内で移動させたときの各移動先位置にある前記探索ブロック内の前記特徴点と、前記注視ブロック内の前記特徴点とを比較して、前記注視ブロックと相関の最も高い探索ブロックである高相関探索ブロックを選定し、該選定された高相関探索ブロックの位置と前記注視ブロックの位置とから、前記任意のフレーム画像に対する前記移動ベクトルを算出する画像処理装置。
この画像処理装置によれば、探索ブロックを所定の探索範囲で移動させた各移動先における特徴点と、注視ブロックの特徴点との比較を行うことにより、高相関探索ブロックが選定され、この高相関探索ブロックの位置と注視ブロックの位置とから移動ベクトルが算出される。このため、特徴点の適合度合いが高いブロックが正確に選定され、移動ベクトルの検出精度が向上する。
（５） （４）記載の画像処理装置であって、
直近の前記フレーム画像に対する移動ベクトルを保持する移動ベクトル保持手段を備え、
前記第１移動ベクトル算出手段は、前記保持された移動ベクトルの大きさによって前記高相関探索ブロックの探索範囲を増減させる画像処理装置。
直近の前記フレーム画像に対する移動ベクトルを保持する移動ベクトル保持手段を備え、
前記第１移動ベクトル算出手段は、前記保持された移動ベクトルの大きさによって前記高相関探索ブロックの探索範囲を増減させる画像処理装置。
この画像処理装置によれば、移動ベクトルの大きさによって探索範囲が増減されるので、動きの少ない場合の演算量を低減できる。
（６） （１）〜（５）のいずれか１項記載の画像処理装置であって、
前記フレーム画像と該フレーム画像よりも後に出力されたフレーム画像を用いたダイレクトモードにより移動ベクトルを算出する補助移動ベクトル算出手段を備え、
前記移動ベクトル算出手段により移動ベクトルが検出できなかった場合に、前記補助移動ベクトル算出手段により算出した結果を前記移動ベクトルとして設定する画像処理装置。
前記フレーム画像と該フレーム画像よりも後に出力されたフレーム画像を用いたダイレクトモードにより移動ベクトルを算出する補助移動ベクトル算出手段を備え、
前記移動ベクトル算出手段により移動ベクトルが検出できなかった場合に、前記補助移動ベクトル算出手段により算出した結果を前記移動ベクトルとして設定する画像処理装置。
この画像処理装置によれば、微妙なグラデーションの波が大きくうねるようなシーンにおいても、移動ベクトルを求めることができる。
（７） （１）〜（６）のいずれか１項記載の画像処理装置であって、
前記算出した移動ベクトルに基づいて予測画像を生成する動き補償処理手段と、
前記フレーム画像と前記予測画像との差分を周波数係数に変換する画像変換手段と、
前記周波数係数を量子化して量子化データを生成する量子化処理手段と、
前記量子化データに対して逆量子化を行う逆量子化手段と、
逆量子化された逆量子化データを前記変換処理に対する逆変換処理を行い復元画像を生成する画像逆変換手段と、
前記復元画像に前記フレーム画像または前記予測画像を足し合わせて参照画像を生成する参照画像生成手段と、
前記参照画像をバッファリングする参照画像バッファ手段と、
複数の移動ベクトルを符号化するベクトル符号化手段と、
前記量子化データおよび前記符号化された移動ベクトルに対して可変長符号化する可変長符号化手段と、
を備え、動画像の符号化処理を行う画像処理装置。
前記算出した移動ベクトルに基づいて予測画像を生成する動き補償処理手段と、
前記フレーム画像と前記予測画像との差分を周波数係数に変換する画像変換手段と、
前記周波数係数を量子化して量子化データを生成する量子化処理手段と、
前記量子化データに対して逆量子化を行う逆量子化手段と、
逆量子化された逆量子化データを前記変換処理に対する逆変換処理を行い復元画像を生成する画像逆変換手段と、
前記復元画像に前記フレーム画像または前記予測画像を足し合わせて参照画像を生成する参照画像生成手段と、
前記参照画像をバッファリングする参照画像バッファ手段と、
複数の移動ベクトルを符号化するベクトル符号化手段と、
前記量子化データおよび前記符号化された移動ベクトルに対して可変長符号化する可変長符号化手段と、
を備え、動画像の符号化処理を行う画像処理装置。
この画像処理装置によれば、一般的なＭＰＥＧ規格の処理モデルに対して、移動ベクトルの検出処理を高精度でかつ演算処理量を低減しつつ適用できる。
本発明に係る画像処理装置によれば、動画像において高い圧縮率を得るための良好な精度を持つ移動ベクトルの検出と、その検出のための処理演算量を低減することができる。
以下、本発明に係る画像処理装置の好適な実施の形態について、図面を参照して詳細に説明する。
最初に、本発明が適用対象の一つに掲げる動画像符号化システムの基本的な構成例を説明する。
図１に動画像符号化システムの基本構成図を示した。
この動画像符号化システムは、一般的なＭＰＥＧ処理モデルである。まず、移動ベクトル検出処理部１１が、入力画像と、既にバッファに格納されている過去または未来の参照画像１３との相関から、画像を分割したブロック毎でオブジェクトがどれだけ動いたか、すなわち、移動ベクトルが検出される。移動ベクトルは、動画像フォーマットによって指定があれば、それに適合した符号化変換処理（例えば中央値選択）を行い、画像データと共に可変調符号化して出力される。
そして、移動ベクトルが検出された後に、動き補償処理部１５は、その参照画像を移動ベクトル分だけ移動させた予測画像を生成する動き補償処理を行う。ただし、Ｉ（Intora）フレームは直接符号化されるため、上記のような移動ベクトル検出や補償、予測画像との差分処理は必要ない。次に、生成した予測画面と入力画像との差分を求め、これを画像変換処理部１７でＤＣＴ等により変換して、量子化処理部１９で量子化する。変換して量子化されたデータは、可変長符号化処理部２１でハフマン符号化等の可変長符号化により符号化処理され、符号化データとして出力される。また、図示は省略するが、複数の移動ベクトルを符号化またはフィルタリング（メディアン、ＬＰＦ等）する移動ベクトル符号化部も用意されている。そして、変換して量子化されたデータの一部は、逆量子化処理部２３でそのまま逆量子化され、画像逆変換処理部２５でＩＤＣＴ等の逆変換処理により元の差分データに戻される。これに入力画像や予測画像を足し合わせ、元の画像データに復元した後に参照画像バッファへの蓄積がなされる。
最初に、本発明が適用対象の一つに掲げる動画像符号化システムの基本的な構成例を説明する。
図１に動画像符号化システムの基本構成図を示した。
この動画像符号化システムは、一般的なＭＰＥＧ処理モデルである。まず、移動ベクトル検出処理部１１が、入力画像と、既にバッファに格納されている過去または未来の参照画像１３との相関から、画像を分割したブロック毎でオブジェクトがどれだけ動いたか、すなわち、移動ベクトルが検出される。移動ベクトルは、動画像フォーマットによって指定があれば、それに適合した符号化変換処理（例えば中央値選択）を行い、画像データと共に可変調符号化して出力される。
そして、移動ベクトルが検出された後に、動き補償処理部１５は、その参照画像を移動ベクトル分だけ移動させた予測画像を生成する動き補償処理を行う。ただし、Ｉ（Intora）フレームは直接符号化されるため、上記のような移動ベクトル検出や補償、予測画像との差分処理は必要ない。次に、生成した予測画面と入力画像との差分を求め、これを画像変換処理部１７でＤＣＴ等により変換して、量子化処理部１９で量子化する。変換して量子化されたデータは、可変長符号化処理部２１でハフマン符号化等の可変長符号化により符号化処理され、符号化データとして出力される。また、図示は省略するが、複数の移動ベクトルを符号化またはフィルタリング（メディアン、ＬＰＦ等）する移動ベクトル符号化部も用意されている。そして、変換して量子化されたデータの一部は、逆量子化処理部２３でそのまま逆量子化され、画像逆変換処理部２５でＩＤＣＴ等の逆変換処理により元の差分データに戻される。これに入力画像や予測画像を足し合わせ、元の画像データに復元した後に参照画像バッファへの蓄積がなされる。
上記のような動画像符号化システムに、本発明に係る画像処理装置を適用した例について以下に説明する。
＜第１実施形態＞
図２に移動ベクトル検出処理を行う画像処理装置の基本構成ブロック図を示した。
図１に示した入力画像および適切に選択がなされた参照画像は、図２に示す画像縮小手段となる多重解像部に入力されて、それぞれで異なった縮尺の複数画像が生成される。つまり、異なる抽象度の複数画像が生成される。
多重解像部２９Ａ，２９Ｂは、撮像して得られた動画像データを構成する複数フレームの画像データの各々について、各々の画像データを１段階又は２段階以上にわたって縮小することにより、元の画像データも含めて複数レベルの画像データを生成するものである。多重解像部２９Ａは、例えば縮小部３１ａ、縮小部３１ｂ、・・・を有しており、縮小部３１ａは、各フレームの画像データを１／２に縮小した画像データを生成し、縮小部３１ｂは、各フレームの画像データを１／４に縮小した画像データを生成する。縮小方法としては、例えば特許文献１に開示されている平均縮小処理を採用することができる。なお、多重解像部２９Ｂについても同様に構成され、縮小された複数の画像データが生成される。
＜第１実施形態＞
図２に移動ベクトル検出処理を行う画像処理装置の基本構成ブロック図を示した。
図１に示した入力画像および適切に選択がなされた参照画像は、図２に示す画像縮小手段となる多重解像部に入力されて、それぞれで異なった縮尺の複数画像が生成される。つまり、異なる抽象度の複数画像が生成される。
多重解像部２９Ａ，２９Ｂは、撮像して得られた動画像データを構成する複数フレームの画像データの各々について、各々の画像データを１段階又は２段階以上にわたって縮小することにより、元の画像データも含めて複数レベルの画像データを生成するものである。多重解像部２９Ａは、例えば縮小部３１ａ、縮小部３１ｂ、・・・を有しており、縮小部３１ａは、各フレームの画像データを１／２に縮小した画像データを生成し、縮小部３１ｂは、各フレームの画像データを１／４に縮小した画像データを生成する。縮小方法としては、例えば特許文献１に開示されている平均縮小処理を採用することができる。なお、多重解像部２９Ｂについても同様に構成され、縮小された複数の画像データが生成される。
縮小された各画像データは、特徴点抽出処理部３３Ａ，３３Ｂにおいて、それぞれ輪郭成分を主とした特徴点抽出がなされる（特徴点抽出１）。この特徴点抽出における特徴点は、輪郭をよく表す成分が用いられていれば、その成分内容（偏差や分散、あるいはハイパスフィルタ（ＨＰＦ）出力等）は何であってもよい。ただし、特徴点抽出処理においては、明暗によりデータ相関が異なるため、これを補正する処理、例えばコントラスト正規化処理を行うことが望ましい。
例えば、ＣＣＤ固体撮像素子により画像を取り込んだ場合、明るいところではＳ／Ｎ比が向上し、暗いところでは低下することが知られている。このため、時間軸上で前後の画像において明暗に変化があった場合、一方のデータのみ分散や偏差の相関値が大きくなってしまう。これを防ぐために、コントラスト正規化処理を行うことで、明暗があった場合でも同様な補正処理が可能となる。
例えば、ＣＣＤ固体撮像素子により画像を取り込んだ場合、明るいところではＳ／Ｎ比が向上し、暗いところでは低下することが知られている。このため、時間軸上で前後の画像において明暗に変化があった場合、一方のデータのみ分散や偏差の相関値が大きくなってしまう。これを防ぐために、コントラスト正規化処理を行うことで、明暗があった場合でも同様な補正処理が可能となる。
特徴点抽出処理部３３Ａ，３３Ｂは、多重解像部２９Ａ，２９Ｂで各フレームの画像データについて生成された複数レベル（複数の縮小段階）の画像データの各々から第一の特徴点を抽出する。ここでいう第一の特徴点とは、画像データ中におけるオブジェクトの輪郭をよく表している特徴点のことをいう。なお、この第一の特徴点は、必ずしも画素１個（１ピクセル）分の大きさである必要はなく、複数の画素から構成される領域であっても良い。特徴点抽出部３５ａ，３５ｂ，３５ｃ，・・・は、例えば、ソーベルフィルタ等の輪郭線抽出フィルタを用いて、画像データから点の集合としての輪郭線を抽出する。または、特徴点抽出部３５ａ，３５ｂ，３５ｃ，・・・はこれに限らず、特許文献１に開示されているような方法で複数レベルの画像データの各々から第一の特徴点を抽出してもよい。
上記の第一の特徴点としては、画像データを多数のエリアに分割したエリア毎に、そのエリア内のデータから求めた画素値の偏差や分散等のデータを用いることができる。偏差や分散等のデータを特徴点とした場合、オブジェクトの明暗部分によりデータ相関が異なるため、これを補正するような処理（コントラスト正規化処理）も特徴点抽出部３５ａ，３５ｂ，３５ｃ，・・・において行うものとする。
ここで、特徴点として分散のデータを用いる場合は、式（１）、（２）によって求めることができる。式（２）は式（１）の簡略式である。また、式中の“ｖａｌ”は局所エリア内の各画素値、“ａｖｅ”は局所エリア内の画素値の平均値、ｎは局所エリア内の画素数を表す。
σ２＝（Σ（ｖａｌ−ａｖｅ）２）／ｎ ・・・（１）
σ２＝（Σｖａｌ２）／ｎ−ａｖｅ２ ・・・（２）
σ２＝（Σｖａｌ２）／ｎ−ａｖｅ２ ・・・（２）
このようにして抽出された各レベルの一次特徴点は、次段の特徴点抽出部３７に取り込まれ、新たな特徴点が生成される（特徴点抽出２）。このようにして、入力画像、参照画像のそれぞれで特徴点画像を生成した後、暫定マクロブロック分割処理部３９は、これらの情報を元にして、仮のマクロブロックの分割を行う（暫定マクロブロック分割）。暫定マクロブロック分割処理部３９によりサブブロックへの分割を行った後、移動ベクトル検出処理部４１は特徴点を用いてそれぞれのサブブロックについて移動ベクトルの検出を行う。移動ベクトルを検出した後に、ベクトル・ブロックマージ処理部４３は、その移動ベクトル、さらには必要に応じてベクトル算出時の相関判別値によって、分割したサブブロック同士のマージを行う。
ここで、多重解像部２９Ａ，２９Ｂおよび特徴点抽出処理部３３Ａ，３３Ｂによる特徴点抽出処理について詳細に説明する。
図３は特徴点抽出処理部による処理を概念的に示した説明図である。
図３に示すように、縮小率が大きくなるほど、特徴点抽出部３５ａ，３５ｂ，３５ｃ，・・・で抽出されるオブジェクトの第一特徴点はその数が減っていくため、第一特徴点画像データ４５で表現される被写体の抽象度は上がる。しかし、オブジェクトの輪郭そのものも階調が滑らかになってしまう。つまり、縮小率が大きい画像データから生成された第一特徴点画像データ４５によって表されるオブジェクトの抽象度は高くなるが、このオブジェクトの表現精度は低くなる。一方、縮小率が小さい画像データから生成された第一特徴点画像データ４５によって表されるオブジェクトの抽象度は低くなるが、このオブジェクトの表現精度は高くなる。このようなことから、特徴点抽出部４から出力される複数の第一特徴点画像データ４５を利用することで、表現されるオブジェクトの抽象度が高く且つこのオブジェクトの表現精度が高い特徴点画像データ４７を生成することができる。
図３は特徴点抽出処理部による処理を概念的に示した説明図である。
図３に示すように、縮小率が大きくなるほど、特徴点抽出部３５ａ，３５ｂ，３５ｃ，・・・で抽出されるオブジェクトの第一特徴点はその数が減っていくため、第一特徴点画像データ４５で表現される被写体の抽象度は上がる。しかし、オブジェクトの輪郭そのものも階調が滑らかになってしまう。つまり、縮小率が大きい画像データから生成された第一特徴点画像データ４５によって表されるオブジェクトの抽象度は高くなるが、このオブジェクトの表現精度は低くなる。一方、縮小率が小さい画像データから生成された第一特徴点画像データ４５によって表されるオブジェクトの抽象度は低くなるが、このオブジェクトの表現精度は高くなる。このようなことから、特徴点抽出部４から出力される複数の第一特徴点画像データ４５を利用することで、表現されるオブジェクトの抽象度が高く且つこのオブジェクトの表現精度が高い特徴点画像データ４７を生成することができる。
つまり、各特徴点抽出部３５ａ，３５ｂ，３５ｃ，・・・は、複数レベルの画像データの各々から生成された第一特徴点画像データ４５同士の相関をとることによって、表現されるオブジェクトの抽象度とこのオブジェクトの表現精度が所定レベルよりも高い特徴点画像データ４７を生成する。この特徴点画像データ４７の生成方法としては、例えば、複数レベルの画像データの各々から生成された第一特徴点画像データ４５を重み付け加算する方法がある。特徴点抽出部３５ａから出力される第一特徴点画像データを特徴点画像データ４５（１）とし、特徴点抽出部３５ｂから出力される第一特徴点画像データを特徴点画像データ４５（２）とし、特徴点抽出部３５ｃから出力される第一特徴点画像データを特徴点画像データ４５（３）とし、特徴点画像データ４５（１）の座標（ｉ，ｊ）における特徴量をｃｉｊ（１）とし、特徴点画像データ４５（２）の座標（ｉ，ｊ）における特徴量をｃｉｊ（２）とし、特徴点画像データ４５（３）の座標（ｉ，ｊ）における特徴量をｃｉｊ（３）とすると、生成すべき特徴点画像データ４７の座標（ｉ，ｊ）における特徴量Ｃｉｊは以下の式（３）で表される。
Ｃｉｊ＝Σ（ｃｉｊ Ｗ１ｖ − ＴＨ１ｖ） ・・・（３）
ここで、ＷＶｎは特徴点画像データ４５（ｎ）に設定される重み付け係数、ＴＨＶｎは特徴点画像データ４５（ｎ）に設定される閾値である。ただし、ｎは特徴点画像データ４５の総数を表す。
ここで、ＷＶｎは特徴点画像データ４５（ｎ）に設定される重み付け係数、ＴＨＶｎは特徴点画像データ４５（ｎ）に設定される閾値である。ただし、ｎは特徴点画像データ４５の総数を表す。
なお、特徴点抽出部３５ａ，３５ｂ，３５ｃ，・・・は、条件判別を含む複雑な相関判別処理によって特徴点画像データ４５を生成しても良いし、特徴点画像データ４５（１）〜４５（３）を均等に合成して特徴点画像データ４７を生成しても良い。
上記の特徴点画像データ４７を求める際、特徴点画像データ４５の縮小された下位の画素は、上位の画素位置と画像上等しい位置となる画素をメモリアクセス等により複数回読み込むものとする。勿論、このような単純な積和演算の他に複雑な相関判定処理を用いても構わない。このような処理を用いることで、よりオブジェクトの特徴を捉えた特徴点を抽出でき、移動ベクトル検出の際に誤判定や精度の悪化の要因となるノイズ成分等も除去可能となる。
また、上記のように主として輪郭成分からなる特徴点画像データに変換して後段の処理を行うことにより、メモリ等のバッファリング容量や演算処理量を軽減することができ、効率的で実行速度の高いシステムを構築できる。
次に、移動ベクトル検出処理部４１による移動ベクトルの検出方法について説明する。
図４は移動ベクトルの抽出処理の概要を表す説明図である。
まず、入力画像の画面をメッシュ状に区切り、その中から複数の所定位置のブロックを選択し、これを注視ブロック５１Ａ，５１Ｂとする。例えば、ある時刻Ｔ０の画像とその後の時刻Ｔ１の画像に対して、時刻Ｔ０の注視ブロック５１Ａ，５１Ｂ上の画像が時刻Ｔ１においてどの辺りにあるか補正範囲内の注視ブロック５１Ａ，５１Ｂ周辺の画像と比較する。例えば、時間軸上で前後の画像で差分を求めれば、相関が高いほど差分値は０に近づくはずであり、これによってブロック内のオブジェクトが移動したか否かが判断できる。このような相関検出法はブロックマッチング等と呼ばれる。ブロックマッチングでは、補正範囲内において、その参照ブロックを適宜ずらしては相関比較を繰り返し、最も相関の高かった参照ブロックのオフセット位置が変位ベクトルとなる。
図４は移動ベクトルの抽出処理の概要を表す説明図である。
まず、入力画像の画面をメッシュ状に区切り、その中から複数の所定位置のブロックを選択し、これを注視ブロック５１Ａ，５１Ｂとする。例えば、ある時刻Ｔ０の画像とその後の時刻Ｔ１の画像に対して、時刻Ｔ０の注視ブロック５１Ａ，５１Ｂ上の画像が時刻Ｔ１においてどの辺りにあるか補正範囲内の注視ブロック５１Ａ，５１Ｂ周辺の画像と比較する。例えば、時間軸上で前後の画像で差分を求めれば、相関が高いほど差分値は０に近づくはずであり、これによってブロック内のオブジェクトが移動したか否かが判断できる。このような相関検出法はブロックマッチング等と呼ばれる。ブロックマッチングでは、補正範囲内において、その参照ブロックを適宜ずらしては相関比較を繰り返し、最も相関の高かった参照ブロックのオフセット位置が変位ベクトルとなる。
つまり、移動ベクトル検出処理部４１は、任意の前記フレーム画像に注視ブロックを設定し、この任意のフレーム画像よりも後に出力されたフレーム画像に探索範囲を設定し、注視ブロックと同じ大きさの探索ブロックを探索範囲内で移動させたときの各移動先位置にある探索ブロック内の特徴点と、注視ブロック内の特徴点とを比較して、注視ブロックと相関の最も高い探索ブロックである高相関探索ブロックを選定し、該選定された高相関探索ブロックの位置と注視ブロックの位置とから、任意のフレーム画像に対する移動ベクトルを算出する。
例えばＭＰＥＧ２やＭＰＥＧ４等の規格では、１画素単位よりさらに細かい１／２〜１／４画素単位でのベクトル検出がなされる。しかしながら、このような単純なブロックマッチングでは、ブロック内部の全ての点に対して比較を行い、しかもその作業を探索（補正）範囲内の全ての領域で繰り返すため、処理演算量が比較的大きくならざるを得ない。そこで本実施形態においては、画像データ同士を直接的に比較する方式ではなく、抽出した特徴点同士を比較するブロックマッチングを行う。このようなブロックマッチングでは、多重解像を利用した特徴点抽出によって抽象度の高い、すなわち、相関を比較すべき点数が少なく、かつ精度の良い比較が可能になる。
移動ベクトル検出処理部４１では、このようなブロックマッチングにより、移動ベクトルを例えば以下のような処理手順で行う。
図５はフレーム（ｉ）の画像データに対するフレーム（ｉ＋１）の画像データの移動ベクトルの算出方法を説明するための図で、図６は移動ベクトルの算出処理フローを示す図である。
移動ベクトル検出処理部４１は、まず、図５に示すように、フレーム（ｉ）の特徴点画像データの任意の位置に注視ブロック５１Ｃを設定する（ステップＳ１１、以降はＳ１１と記す）。設定した注視ブロック５１Ｃ内にある特徴点の数Ｎ（図示例では２個）が移動ベクトルの算出に最低限必要な数を下回っていた場合は、注視ブロック５１Ｃの位置を変更して注視ブロックを再設定する（Ｓ１３）。設定した注視ブロック５１Ｃ内にある特徴点の数Ｎが移動ベクトルの算出に最低限必要な数以上であった場合は（Ｓ１２）、移動ベクトル検出処理部４１は、フレーム（ｉ＋１）の特徴点画像データに対して探索範囲を設定する（Ｓ１４）。
図５はフレーム（ｉ）の画像データに対するフレーム（ｉ＋１）の画像データの移動ベクトルの算出方法を説明するための図で、図６は移動ベクトルの算出処理フローを示す図である。
移動ベクトル検出処理部４１は、まず、図５に示すように、フレーム（ｉ）の特徴点画像データの任意の位置に注視ブロック５１Ｃを設定する（ステップＳ１１、以降はＳ１１と記す）。設定した注視ブロック５１Ｃ内にある特徴点の数Ｎ（図示例では２個）が移動ベクトルの算出に最低限必要な数を下回っていた場合は、注視ブロック５１Ｃの位置を変更して注視ブロックを再設定する（Ｓ１３）。設定した注視ブロック５１Ｃ内にある特徴点の数Ｎが移動ベクトルの算出に最低限必要な数以上であった場合は（Ｓ１２）、移動ベクトル検出処理部４１は、フレーム（ｉ＋１）の特徴点画像データに対して探索範囲を設定する（Ｓ１４）。
次に、注視ブロック５１Ｃ内にあるＮ個の特徴点のうちの一部（Ｍ個）を、フレーム（ｉ＋１）の特徴点画像データに設定する探索ブロック内の特徴点と比較する比較対象特徴点として設定する（Ｓ１５）。
そして、上記注視ブロック５１Ｃと同じ大きさの探索ブロック５３Ａ，５３Ｂを探索範囲内で移動させたときの各移動位置にある探索ブロック５３Ａ，５３Ｂ内の特徴点と、注視ブロック５１Ｃ内の比較対象特徴点とを比較して、注視ブロックと相関性のある探索ブロックを抽出する（Ｓ１６）。例えば、注視ブロック５１Ｃ内のＭ個の比較対象特徴点の各々と、比較対象の探索ブロック５３Ａ，５３Ｂ内の各々と同一座標にある特徴点との差分の総和を求め、この総和が閾値以下であった場合は、比較対象の探索ブロックが注視ブロック５１Ｃと相関性のある探索ブロックであると判断し、この総和が閾値よりも大きかった場合は、比較対象の探索ブロックが注視ブロック５１Ｃと相関性のない探索ブロックである判断する。
抽出された探索ブロックが１つであった場合は（Ｓ１７）、その１つの探索ブロックを、注視ブロック５１Ｃと最も相関の高い探索ブロックである高相関探索ブロックとし、この高相関探索ブロックの位置と注視ブロック５１Ｃの位置とから、フレーム（ｉ）の画像データに対するフレーム（ｉ＋１）の画像データの移動ベクトルを算出する（Ｓ１８）。
一方、抽出された探索ブロックが複数であった場合は（Ｓ１７）、比較対象特徴点の数Ｍが注視ブロック５１Ｃ内にある特徴点の数Ｎと一致しているか否かを判定し（Ｓ１９）、一致していない場合は、比較対象特徴点を増やし（Ｓ２０）、その後、注視ブロック５１Ｃ内の比較対象特徴点と、抽出されていた複数の探索ブロックの各々に含まれる特徴点とを比較して、抽出されていた複数の探索ブロックの中から、注視ブロック５１Ｃと相関性のある探索ブロックを抽出する（Ｓ２１）。相関性のある探索ブロックの抽出方法は、上述したとおりである。
一方、抽出された探索ブロックが複数であった場合は（Ｓ１７）、比較対象特徴点の数Ｍが注視ブロック５１Ｃ内にある特徴点の数Ｎと一致しているか否かを判定し（Ｓ１９）、一致していない場合は、比較対象特徴点を増やし（Ｓ２０）、その後、注視ブロック５１Ｃ内の比較対象特徴点と、抽出されていた複数の探索ブロックの各々に含まれる特徴点とを比較して、抽出されていた複数の探索ブロックの中から、注視ブロック５１Ｃと相関性のある探索ブロックを抽出する（Ｓ２１）。相関性のある探索ブロックの抽出方法は、上述したとおりである。
図５の中央の図に示すように、抽出された探索ブロックが探索ブロック５３Ａと探索ブロック５３Ｂの２つであった場合は、図５の右側の図に示すように、比較対象特徴点を増やすことで、探索ブロック５３Ｂは、注視ブロック５１Ｃとの相関性が低い探索ブロックとなる。このように、比較対象特徴点を増やして注視ブロック５１Ｃと探索ブロックとの比較を行うことで、注視ブロック５１Ｃと相関性のある探索ブロックを絞り込むことができる。
また、Ｍ＝Ｎとなっていた場合、移動ベクトル検出処理部４１は、抽出された複数の探索ブロックのうち、注視ブロック５１Ｃとの相関性が最も高い探索ブロック（上述した差分の総和が最も低い探索ブロック）を高相関探索ブロックとし、この高相関探索ブロックの位置と注視ブロック５１Ｃの位置とから、フレーム（ｉ）の画像データに対するフレーム（ｉ＋１）の画像データの移動ベクトルを算出する（Ｓ２２）。
次に、マクロブロック分割について説明する。
図７はマクロブロックの分割の例を示す説明図である。
ＭＰＥＧ４規格においては、階層的なブロック分割が特徴となっており、とりわけ、Ｈ．２６４の規格では図７に示すような縦横に長い短冊形のブロックが利用可能とされている。つまり、マクロブロックは、上下、左右、上下左右に分割ができ、さらに分割後のサブマクロブロックにおいては、同様に上下、左右、上下左右に分割ができる。本実施形態においては、階層的に分割および後述するマージ処理を行うので、仮に分割の階層がより深くなった場合においても対応が可能である。また、縦横の相関も考慮することで、Ｈ．２６４の規格のような分割にも対応できる。
図７はマクロブロックの分割の例を示す説明図である。
ＭＰＥＧ４規格においては、階層的なブロック分割が特徴となっており、とりわけ、Ｈ．２６４の規格では図７に示すような縦横に長い短冊形のブロックが利用可能とされている。つまり、マクロブロックは、上下、左右、上下左右に分割ができ、さらに分割後のサブマクロブロックにおいては、同様に上下、左右、上下左右に分割ができる。本実施形態においては、階層的に分割および後述するマージ処理を行うので、仮に分割の階層がより深くなった場合においても対応が可能である。また、縦横の相関も考慮することで、Ｈ．２６４の規格のような分割にも対応できる。
図８にマクロブロックの分割と移動ベクトルの例を示した。
図示のように、マクロブロックがＡ，Ｂ，Ｃ，Ｄの４つのサブマクロブロックに分割され、そのそれぞれでさらに細かなブロックへと分割されている。ここでは、小オブジェクトが多方向に移動している場合を想定した。ここで、図中Ｂ，Ｃのブロックはブロックの分割が適当でない場合を示している。Ｂのブロックは移動ベクトルの方向や大きさによって上下に分割された場合を想定している。つまり、下側のブロック５５の大きな破片５７に引きずられるように上下にブロック分割がなされ、上側ブロック５９の破片６１と同方向に飛ぶ下側ブロック５５の右側の小破片６３はほぼ無視されているような状態である。この場合、縦に分割し上側ブロック５９の破片６１と下側ブロック５５の右側の小破片６３を同一のブロックとした方がより適当である。Ｃのブロックはオブジェクトによる分割は適当であるが、左上、左下の破片が共に同じ方向のベクトルであるために、４方の分割ではなく左右に２分割した方がよい。
図示のように、マクロブロックがＡ，Ｂ，Ｃ，Ｄの４つのサブマクロブロックに分割され、そのそれぞれでさらに細かなブロックへと分割されている。ここでは、小オブジェクトが多方向に移動している場合を想定した。ここで、図中Ｂ，Ｃのブロックはブロックの分割が適当でない場合を示している。Ｂのブロックは移動ベクトルの方向や大きさによって上下に分割された場合を想定している。つまり、下側のブロック５５の大きな破片５７に引きずられるように上下にブロック分割がなされ、上側ブロック５９の破片６１と同方向に飛ぶ下側ブロック５５の右側の小破片６３はほぼ無視されているような状態である。この場合、縦に分割し上側ブロック５９の破片６１と下側ブロック５５の右側の小破片６３を同一のブロックとした方がより適当である。Ｃのブロックはオブジェクトによる分割は適当であるが、左上、左下の破片が共に同じ方向のベクトルであるために、４方の分割ではなく左右に２分割した方がよい。
このように、ブロックの分割の仕方やその移動ベクトルが適当でない場合には符号化効率が低下するため、できる限り適切に、用いるブロックの選定と移動ベクトルの算出を行う必要がある。ここで、仮にブロックＤの移動ベクトルを求める場合を考える。図示されたようにブロックＤの破片は上方への移動を伴っているが、周辺のブロックＡ，Ｂ，Ｃにはこれと同じ方向の移動が無い。そのため、演算量の低減をするために周辺ブロックＡ，Ｂ，Ｃの移動ベクトルを参照して探索範囲を限定した場合には不具合が生じる。したがって、このような破片の散乱するようなシーンにおいては、周辺ブロックの移動ベクトル参照を用いる手法が正確に機能しない場合がある。
そこで本実施形態においては、次のようにして移動ベクトルを求めている。
図９は移動ベクトルを検出する処理のフローチャート、図１０は移動ベクトルを求める処理を説明するための概略説明図である。
図９に示すように、移動ベクトルの検出は、まず多重解像部２９Ａ，２９Ｂ、および特徴点抽出処理部３３Ａ，３３Ｂによる多重化・特徴点抽出処理（ステップ１、以降はＳ１と略記する）を行う。この処理は前述した図６のフローチャートに基づいて実施することができる。この特徴点抽出処理により、画像が持つオブジェクトやテクスチャを、その指標となる特徴点データにより推測することが可能になる。
図９は移動ベクトルを検出する処理のフローチャート、図１０は移動ベクトルを求める処理を説明するための概略説明図である。
図９に示すように、移動ベクトルの検出は、まず多重解像部２９Ａ，２９Ｂ、および特徴点抽出処理部３３Ａ，３３Ｂによる多重化・特徴点抽出処理（ステップ１、以降はＳ１と略記する）を行う。この処理は前述した図６のフローチャートに基づいて実施することができる。この特徴点抽出処理により、画像が持つオブジェクトやテクスチャを、その指標となる特徴点データにより推測することが可能になる。
次に、入力画像の各特徴点画像に対してマクロブロックあるいは更に細かいブロックに分割するマクロブロック暫定分割処理（Ｓ２）を行う。そして、暫定的に分割された各ブロックに対して移動ベクトルを算出する（Ｓ３）。その移動ベクトルの算出結果に応じてブロックを連結（マージ）するベクトル・ブロックのマージ処理（Ｓ４）を行う。
上記の各処理Ｓ２〜Ｓ４を以下に詳細に説明する。
マクロブロック暫定処理（Ｓ２）においては、主として特徴点の密度に着目してブロックの分割を行っている。このようにすることで、特徴点画像の画素値の和によりおおよその推定ができる。また、その演算は単純なものである。
マクロブロック暫定処理（Ｓ２）においては、主として特徴点の密度に着目してブロックの分割を行っている。このようにすることで、特徴点画像の画素値の和によりおおよその推定ができる。また、その演算は単純なものである。
ここで、具体的な処理内容を図１０を用いて説明する。入力画像の特徴点画像が図１０（ａ）であったとする。この特徴点画像をマクロブロックに分割して、いま、特徴点を含むブロックＡ，Ｂ，Ｃに着目して説明する。ブロックＡにおいては、特徴点である「雲」がブロックＡの上側にのみ映っているので、ブロックＡを上下に２分割する。ブロックＢにおいては、「塔」の上部と「鳥」が分散して映っているので、上下左右に４分割する。ブロックＣにおいては、「塔」の下部と「鳥」が映っており、上下左右に４分割する。さらに「塔」の下方は構造物が複雑に映っているので、４分割したブロックのうち、左上のブロックに対しては更に左右に２分割し、左下のブロックに対しては更に上下左右に４分割する。このように、ブロック中にある特徴点の密度がある程度高い場合、すなわち、特徴点の和が閾値を超えた場合に、より細かなブロックへと分割する。なお、Ｈ．２６４のような方向性のある分割処理である場合、その密度勾配や相関に応じて分割した方がより効果的である。
次に、マクロブロックの分割を行った後に、それぞれのブロックに対して移動ベクトルを求める。図１０（ｂ）に上記のように暫定分割したブロック毎の移動ベクトルを示した。マクロブロック中のブロック全ての移動ベクトルを求めた後、それぞれの移動ベクトルが同じ、もしくはある程度近い場合に、そのブロックをマージする。すると、図１０（ｃ）に示すように、ブロックＢにおいては、上側左右のブロックは、それぞれ同じ移動ベクトルであり、下側左右のブロックは静止しているので、左右方向にブロックをマージして上下２分割のブロックにする。また、ブロックＣにおいても同様に、４分割のブロックにする。移動ベクトルに方向性がある場合には、それに応じて連結を実施したり中止したりする。
このように処理することによって、２段階の移動ベクトルの検出をすることなく、１段階の移動ベクトル検出のみで最終的な各ブロックの移動ベクトルを得ることができる。ただ、一旦はブロックの細分化を行うため、条件によっては２段階の処理に比べてベクトル検出回数自体が増える可能性もあるが、本実施形態では特徴点抽出によって比較すべき点数を大幅に減少させているため、比較・差分処理に要する演算回数が抑えられている。
次に、上記のマクロブロック暫定分割処理（Ｓ２）をフローチャートを用いて説明する。
図１１はマクロブロックを分割するアルゴリズムの一例を示すフローチャートである。
特徴点画像に対して、例えば等間隔で複数のマクロブロックに分割し、これら分割したマクロブロックについて順次暫定分割処理を行う。なお、この処理はＨ．２６４の規格のマクロブロックを想定した処理内容となっている。
最初に、処理すべきマクロブロックを特定して（Ｓ３１）、残マクロブロックがあった場合、以下の処理を繰り返す。
図１１はマクロブロックを分割するアルゴリズムの一例を示すフローチャートである。
特徴点画像に対して、例えば等間隔で複数のマクロブロックに分割し、これら分割したマクロブロックについて順次暫定分割処理を行う。なお、この処理はＨ．２６４の規格のマクロブロックを想定した処理内容となっている。
最初に、処理すべきマクロブロックを特定して（Ｓ３１）、残マクロブロックがあった場合、以下の処理を繰り返す。
まず、ブロック分割を実施した回数（レベル）を表す処理階層レベルを最上位に初期化する（Ｓ３２）。マクロブロックの状態から全くブロック分割していない状態が最も階層が高いものとし、この状態から再帰的に階層を下げて分割を行っていく。例えば、特徴点の和が閾値以上であった場合、すなわち、何かしらのオブジェクトまたはテクスチャの密度が高い場合には、直ちにブロックを上下左右に４分割する（Ｓ３４）。
一方、特徴点の和が閾値未満であった場合には、仮想的にブロックを上下左右に４分割し、それら仮想ブロックの上下左右の相関をそれぞれ求め（Ｓ３５）、その相関に応じた分割を行う。例えば、上下左右に仮想４分割したブロックのそれぞれの特徴点の和を、上下、あるいは左右で差分をとり、その差分の大小を相関の高低とみなす。上下・左右のブロックで共に相関が高い場合、すなわち、ブロック間に差がある場合には（Ｓ３６）、上下左右に４分割する（Ｓ３４）。また、上下または左右のいずれかで相関が高い場合（Ｓ３７）、相関の高い上下、または左右に２分割する（Ｓ３８）。
このような処理を再帰的に分割可能な階層分繰り返し（Ｓ３９）、それ以上分割ができなくなったなら、次のマクロブロックの処理を行う。また、上下左右に４分割した（Ｓ３４）後、分割可能な最低処理階層レベルでない場合は、処理階層レベルを１段階低くする（Ｓ４０）。例えば、Ｈ．２６４の規格では、２階層分の分割が可能となる。
次に、図９のベクトル・ブロックマージ処理（Ｓ４）についてフローチャートを用いて説明する。
図１２はマクロブロックをマージするアルゴリズムの一例を示すフローチャートである。
マクロブロックや更に分割したブロック中の移動ベクトルを求めた後、本図のようなアルゴリズムによってブロックのマージ処理を行うことで、移動ベクトル・ブロックのマージ処理を行う。
最初に、処理すべきマクロブロックを特定して（Ｓ４１）、残マクロブロックがあった場合、以下の処理を繰り返す。
まず、マクロブロック中の最低位の処理階層レベルを処理開始階層と定義して処理を開始する（Ｓ４２）。マージ可能な階層を確認して（Ｓ４３）、階層が無い場合、すなわち、マクロブロックの分割が行われていなかった場合には、次のマクロブロックの処理へ移る。マージ可能なブロックがあった場合には、その移動ベクトルが同じ方向を向いているかどうかを判別するためにブロック間のベクトル差分を求める（Ｓ４４）。例えば、４分割のブロックであった場合、上下左右のベクトル差分がいずれも閾値以下の場合（Ｓ４５）は、上下左右の移動ベクトル（ブロック）をマージし（Ｓ４６）、上下または左右の２分割でのいずれかのベクトル差分が閾値未満の場合（Ｓ４７）は、上下または左右いずれかのブロックをマージする（Ｓ４８）。
図１２はマクロブロックをマージするアルゴリズムの一例を示すフローチャートである。
マクロブロックや更に分割したブロック中の移動ベクトルを求めた後、本図のようなアルゴリズムによってブロックのマージ処理を行うことで、移動ベクトル・ブロックのマージ処理を行う。
最初に、処理すべきマクロブロックを特定して（Ｓ４１）、残マクロブロックがあった場合、以下の処理を繰り返す。
まず、マクロブロック中の最低位の処理階層レベルを処理開始階層と定義して処理を開始する（Ｓ４２）。マージ可能な階層を確認して（Ｓ４３）、階層が無い場合、すなわち、マクロブロックの分割が行われていなかった場合には、次のマクロブロックの処理へ移る。マージ可能なブロックがあった場合には、その移動ベクトルが同じ方向を向いているかどうかを判別するためにブロック間のベクトル差分を求める（Ｓ４４）。例えば、４分割のブロックであった場合、上下左右のベクトル差分がいずれも閾値以下の場合（Ｓ４５）は、上下左右の移動ベクトル（ブロック）をマージし（Ｓ４６）、上下または左右の２分割でのいずれかのベクトル差分が閾値未満の場合（Ｓ４７）は、上下または左右いずれかのブロックをマージする（Ｓ４８）。
このようなマージ処理を再帰的に行い、マクロブロック中でマージすべきブロックがなくなるまで行う（Ｓ４９）。ベクトルをマージする場合の移動ベクトルは、単純に平均化するか、あるいはベクトル検出で用いた参照画像との差分値を用いて重み付けしたりすればよい。
平均移動ベクトル： ｍＶmarge ＝ Ｗ０ｍＶ０＋ Ｗ１ｍＶ１
ただし、ｍＶ０〜ｍＶ１：移動ベクトル、Ｗ０〜Ｗ１：重み付け係数
ここで、ｄ０〜ｄ１を左右（または上下）のブロックの予測画像（図２の参照画像）との差分値をそれぞれのブロックの特徴点数で除したものとすると、重み付け係数Ｗ０〜Ｗ１を以下のように表せる。
平均移動ベクトル： ｍＶmarge ＝ Ｗ０ｍＶ０＋ Ｗ１ｍＶ１
ただし、ｍＶ０〜ｍＶ１：移動ベクトル、Ｗ０〜Ｗ１：重み付け係数
ここで、ｄ０〜ｄ１を左右（または上下）のブロックの予測画像（図２の参照画像）との差分値をそれぞれのブロックの特徴点数で除したものとすると、重み付け係数Ｗ０〜Ｗ１を以下のように表せる。
Ｗ０＝ｄ１／（ｄ０＋ｄ１）
Ｗ１＝ｄ０／（ｄ０＋ｄ１）
この他にも、予測画像との差分値が最も小さなブロックのベクトルを一つだけ選択して、そのベクトルを移動ベクトルに設定してもよい。
Ｗ１＝ｄ０／（ｄ０＋ｄ１）
この他にも、予測画像との差分値が最も小さなブロックのベクトルを一つだけ選択して、そのベクトルを移動ベクトルに設定してもよい。
上記のマージ処理を実施した後、マージ可能な最高処理階層レベルでない場合は、処理階層レベルを１段階高くする（Ｓ５０）。
以上説明したように、本実施形態の移動ベクトルの検出方法によれば、多重解像処理および特徴点抽出処理によりベクトル検出に使用する画素点数を削減して演算量を軽減した上で、ブロックを分割およびマージする処理を行うことにより、マクロブロック内でオブジェクトがばらばらな動きをしていたとしても、（同じ移動ベクトルが無いような場合）でも、精度良くかつ符号化効率を高めて、しかも演算量を抑えたベクトル検出が可能となる。
＜第２実施形態＞
次に、本発明に係る移動ベクトル検出方法の第２実施形態を説明する。
本実施形態においては、前述の図２に示す基本構成例における抽象化レベルを更に上げた特徴点画像を生成する。入力画像および参照画像の縮小階層を深くして、移動ベクトル検出に利用できる特徴点数を減らそうとした場合、細かなディテールやオブジェクトが消失してしまう可能性がある。そこで、移動ベクトル検出に要する演算回数を減少させることを目的として、特徴点を含む画像を複数階層にし、この出力された特徴点画像に基づいて移動ベクトルを検出する。
次に、本発明に係る移動ベクトル検出方法の第２実施形態を説明する。
本実施形態においては、前述の図２に示す基本構成例における抽象化レベルを更に上げた特徴点画像を生成する。入力画像および参照画像の縮小階層を深くして、移動ベクトル検出に利用できる特徴点数を減らそうとした場合、細かなディテールやオブジェクトが消失してしまう可能性がある。そこで、移動ベクトル検出に要する演算回数を減少させることを目的として、特徴点を含む画像を複数階層にし、この出力された特徴点画像に基づいて移動ベクトルを検出する。
図１３に本実施形態の画像処理装置の基本構成を表す概念ブロック図を示した。図中、図２に示す構成と同様のものについては、同一の符号を付与することで、その説明は簡略化または省略する。
特徴点抽出処理部３３Ａ，３３Ｂは、それぞれ多重解像部２９Ａ，２９Ｂから出力される抽象度の異なる画像を合成して多階調の特徴点画像を生成し、暫定マクロブロック分割処理部３９は、多階調の特徴点画像に基づいてブロック分割を行う。また、参照画像の特徴点画像についても同様である。
特徴点抽出処理部３３Ａ，３３Ｂは、それぞれ多重解像部２９Ａ，２９Ｂから出力される抽象度の異なる画像を合成して多階調の特徴点画像を生成し、暫定マクロブロック分割処理部３９は、多階調の特徴点画像に基づいてブロック分割を行う。また、参照画像の特徴点画像についても同様である。
ここで、図１４に抽象度の異なる画像の概念説明図を示した。
この構成では、特徴点抽出部３５ａ，３５ｂ，３５ｃ，３５ｄの出力を組み合わせて、複数の２段目の特徴点抽出部３７ａ，３７ｂ，３７ｃは抽象度の異なる特徴点画像を生成する。
これにより生成した抽象度の異なる複数の特徴点画像は、特徴点の量に応じて選択的に移動ベクトル抽出に使用される。
この構成では、特徴点抽出部３５ａ，３５ｂ，３５ｃ，３５ｄの出力を組み合わせて、複数の２段目の特徴点抽出部３７ａ，３７ｂ，３７ｃは抽象度の異なる特徴点画像を生成する。
これにより生成した抽象度の異なる複数の特徴点画像は、特徴点の量に応じて選択的に移動ベクトル抽出に使用される。
例えば、最も抽象度の低い特徴点画像によってブロックを分割し、それぞれのブロック毎に特徴点の和を求め、その和の値と、予め用意された閾値との比較によって抽象度を使い分ける。具体的には、予めある閾値（ＴＨ０，ＴＨ１，ＴＨ２，・・・）を用意しておき、特徴点の和（Ｐsum）がその閾値の範囲内であった場合に、それに対応するレベルの特徴点画像を用いる。例えば、Ｐsum＜ＴＨ０ならばレベル０、ＴＨ０＜Ｐsum＜ＴＨ１ならばレベル１、という具合に異なるレベルに設定する。
もし、特徴点の和が大きかったならば、より抽象度の高い画像をベクトル差分検出に使用できることになり、演算量を抑えることができる。これにより、細かなディテールから大まかなディテールまでスケーラブルに追従でき、また、そのディテールに適合した移動ベクトル検出が行える。また、入力画像にノイズ成分がある場合に、抽象度の低いときでもノイズは除去できる。
＜第３実施形態＞
次に、本発明に係る移動ベクトル検出方法の第３実施形態を説明する。
図１５は特徴点画像を用いずに移動ベクトルを検出する他の画像処理装置の構成例を示す概念ブロック図である。
以上説明した第１および第２実施形態の手法は、オブジェクトやテクスチャの輪郭成分を主とした特徴点を用いている。このため、微妙なグラデーションの波が大きくうねるようなシーンにおいては追従できない可能性がある。このような場合には、特徴点画像ではなく、通常の画素値（入力画像の画素値）を用いてブロック検出を行えばよい。その際、何らかの指標をもってオブジェクトやテクスチャの探索範囲を可変にした方が、より確実な処理となる。そこで、本実施形態においては、直近の参照画像の移動ベクトルを元にして、探索範囲を増減させる処理を実施する。このような通常の画素値を用いる場合においても、できるだけ演算量が少なくなるようにする。
次に、本発明に係る移動ベクトル検出方法の第３実施形態を説明する。
図１５は特徴点画像を用いずに移動ベクトルを検出する他の画像処理装置の構成例を示す概念ブロック図である。
以上説明した第１および第２実施形態の手法は、オブジェクトやテクスチャの輪郭成分を主とした特徴点を用いている。このため、微妙なグラデーションの波が大きくうねるようなシーンにおいては追従できない可能性がある。このような場合には、特徴点画像ではなく、通常の画素値（入力画像の画素値）を用いてブロック検出を行えばよい。その際、何らかの指標をもってオブジェクトやテクスチャの探索範囲を可変にした方が、より確実な処理となる。そこで、本実施形態においては、直近の参照画像の移動ベクトルを元にして、探索範囲を増減させる処理を実施する。このような通常の画素値を用いる場合においても、できるだけ演算量が少なくなるようにする。
図１５において、本構成は、特徴点画像を用いる移動ベクトル検出処理部４１に加えて、通常画像を用いる移動ベクトル検出処理部７１を備えている。移動ベクトル検出処理部７１は、入力画像および参照画像が入力され、移動ベクトルを検出する。この移動ベクトルは移動ベクトル選択部７３に入力され、移動ベクトル選択部７３は、ベクトル・ブロックマージ処理部４３からの移動ベクトル検出結果と比較して、適性な移動ベクトルが検出された方の検出結果を採用して移動ベクトルとして出力する。この出力された移動ベクトルは、移動ベクトル保持部７５に保存されて、次回の移動ベクトル検出処理部７１の検出処理に、直近の移動ベクトルとして供される。なお、図１５は、第１実施形態の図２の構成を基本として記載しているが、第２実施形態の図１３に示す構成を基本としてもよい。また、以降の各実施形態についても同様である。
ここで、移動ベクトル検出処理部７１の処理内容について説明する。
図１６はＭＰＥＧ４規格におけるダイレクトモードの概念図である。
Ｈ．２６４の規格では、符号化効率向上のために、符号化モードがいくつか定義されており、それはブロック毎で指定できる。中でも、ダイレクトモードと呼ばれる移動ベクトルの符号化は、対象となるマクロブロックの移動ベクトルを他のブロックの移動ベクトルで表現することで、その情報を削減することができる。
図１６はＭＰＥＧ４規格におけるダイレクトモードの概念図である。
Ｈ．２６４の規格では、符号化効率向上のために、符号化モードがいくつか定義されており、それはブロック毎で指定できる。中でも、ダイレクトモードと呼ばれる移動ベクトルの符号化は、対象となるマクロブロックの移動ベクトルを他のブロックの移動ベクトルで表現することで、その情報を削減することができる。
ダイレクトモードには、時間ダイレクトモードと空間ダイレクトモードの２種類があり、特定の領域（スライス）単位でいずれか一方が選択される（ただし、符号化モード自体はブロック毎で実施可能である）。図１６は時間ダイレクトモードの場合を示している。
いま、対象画像のマクロブロックの移動ベクトルを、この時間ダイレクトモードによって置換しようとした場合、まず、既に符号化された参照画像のうち時間的に未来（後方）のもので直近の画像（アンカーピクチャ）において、対象のマクロブロックと同位置（アンカーブロック）の移動ベクトル（ｍＶcol）が参照される。
いま、対象画像のマクロブロックの移動ベクトルを、この時間ダイレクトモードによって置換しようとした場合、まず、既に符号化された参照画像のうち時間的に未来（後方）のもので直近の画像（アンカーピクチャ）において、対象のマクロブロックと同位置（アンカーブロック）の移動ベクトル（ｍＶcol）が参照される。
このとき、移動ベクトルｍＶcolが参照している画像が時間的に過去（前方）の参照画像だったとして、この画像からの対象画像とアンカーピクチャまでの時間をそれぞれｔｂ，ｔｄとすると、対象マクロブロックのそれぞれの参照画像に対する移動ベクトルｍＶL０、ｍＶL１は、以下の式で表される。
ｍＶL０ ＝ ｍＶcol ｔｂ／ｔｄ
ｍＶL１ ＝ ｍＶL０− ｍＶcol
ｍＶL０ ＝ ｍＶcol ｔｂ／ｔｄ
ｍＶL１ ＝ ｍＶL０− ｍＶcol
以上のように、Ｈ．２６４の規格においては、より符号化効率を向上させるために参照画像の移動ベクトル情報を、その記憶領域に格納しておくことも多く、図１５に示す構成とした場合にも主記憶上の記憶領域、あるいは専用のＳＲＡＭ回路等を共有化することで、これに要する負担を極力低減することが可能である。
図１７は、参照画像の移動ベクトルを用いた場合の探索範囲の変化を示した図である。
参照画像の移動ベクトルが０に近い場合（図１７（ａ））、すなわち殆ど動きの無いような場合においてはマクロブロック周辺の比較的狭い範囲での移動ベクトル探索を行い、参照画像の移動ベクトルが大きくなるほど、その探索範囲を広げていく（図１７（ｂ），（ｃ））。これにより、通常動きの無い場合の演算量を低減する。
参照画像の移動ベクトルが０に近い場合（図１７（ａ））、すなわち殆ど動きの無いような場合においてはマクロブロック周辺の比較的狭い範囲での移動ベクトル探索を行い、参照画像の移動ベクトルが大きくなるほど、その探索範囲を広げていく（図１７（ｂ），（ｃ））。これにより、通常動きの無い場合の演算量を低減する。
＜第４実施形態＞
次に、本発明に係る移動ベクトル検出方法の第４実施形態を説明する。
図１８は図２に示す基本構成例に他の画像処理機能を組み合わせた画像処理装置の例を示す概念ブロック図である。
本発明における多重解像および特徴点抽出処理は、顔認識などのオブジェクト検出処理やノイズ低減のためのノイズリダクション（ＮＲ）処理と相似しており、これらの回路との親和性が高い。そのため、例えばこれらの処理を一つのシリコンチップで実現する場合等においては、これら回路を共有化することで、システム全体の回路規模を低減することが可能である。
本実施形態においては、オブジェクト検出処理部７７に特徴点抽出処理部３３Ａからの特徴点画像を入力して、オブジェクト情報を出力している。また、特徴点抽出処理部３３Ｂおよび入力画像をＮＲ処理部７９に入力して、ＮＲ処理済みの画像を出力している。
次に、本発明に係る移動ベクトル検出方法の第４実施形態を説明する。
図１８は図２に示す基本構成例に他の画像処理機能を組み合わせた画像処理装置の例を示す概念ブロック図である。
本発明における多重解像および特徴点抽出処理は、顔認識などのオブジェクト検出処理やノイズ低減のためのノイズリダクション（ＮＲ）処理と相似しており、これらの回路との親和性が高い。そのため、例えばこれらの処理を一つのシリコンチップで実現する場合等においては、これら回路を共有化することで、システム全体の回路規模を低減することが可能である。
本実施形態においては、オブジェクト検出処理部７７に特徴点抽出処理部３３Ａからの特徴点画像を入力して、オブジェクト情報を出力している。また、特徴点抽出処理部３３Ｂおよび入力画像をＮＲ処理部７９に入力して、ＮＲ処理済みの画像を出力している。
オブジェクト検出処理部７７，ＮＲ処理部７９は、移動ベクトル検出のための基本構成とは別に構成された他の処理システムであり、このような他の処理システムが移動ベクトル検出のための基本構成のブロックに接続されて、全体が協働して高効率で動作するようになる。
このように、本実施形態においては、ブロックマッチングによるベクトル検出の前段階で、上記のような所謂、フィルタリングに近い処理を行うことができる。このとき、一時的に演算量は増加するが、次の理由により演算量の増加によるシステム全体の負担増加は最小限に抑えられる。
（１）上記の特徴点抽出処理は、単純なパイプライン処理により実現可能である。
（２）パイプライン処理はＣＰＵ等による反復処理よりも専用ハードウェアによる支援の方が処理効率が良く、また実現も容易である。
（３）パイプライン処理は、他処理システム（ノイズ除去処理やオブジェクト抽出処理）との親和性が高く、回路の共有化が期待できる。これにより個々で機能を実現した場合よりもチップ全体のコストを削減できる。
（１）上記の特徴点抽出処理は、単純なパイプライン処理により実現可能である。
（２）パイプライン処理はＣＰＵ等による反復処理よりも専用ハードウェアによる支援の方が処理効率が良く、また実現も容易である。
（３）パイプライン処理は、他処理システム（ノイズ除去処理やオブジェクト抽出処理）との親和性が高く、回路の共有化が期待できる。これにより個々で機能を実現した場合よりもチップ全体のコストを削減できる。
以上説明した各実施形態の画像処理装置によれば、多重解像処理および特徴点抽出により、移動ベクトル検出に使用する画素点数を少なくし、演算量が抑えられる。また、多重解像処理および特徴点抽出により一時的に演算量は増加する可能性はあるが、パイプライン化に適した処理であるため、専用ハードウェアを用いることによって処理効率を著しく高めることが可能となる。
さらに、特徴点を利用してブロックを分割し、その後、移動ベクトルを算出し、ブロックをマージすることで、マクロブロック内でオブジェクトがばらばらな動きをしていたとしても、精度、符号化効率が共に良く、かつ演算量を抑えた移動ベクトルの検出処理が実現できる。
さらに、特徴点を利用してブロックを分割し、その後、移動ベクトルを算出し、ブロックをマージすることで、マクロブロック内でオブジェクトがばらばらな動きをしていたとしても、精度、符号化効率が共に良く、かつ演算量を抑えた移動ベクトルの検出処理が実現できる。
そして、複数の解像レベルの特徴点画像を用いた場合には、ディテールの大小などの画像の特徴に応じて適切な特徴点画像を選択することができ、移動ベクトル算出に要する演算量を低減できる。仮に特徴点が検出されない場合であっても、フレーム画像からオブジェクトやテクスチャの抽出を行うことなく、移動ベクトルを他の手法により検出することで、画像の種類によらずに安定した移動ベクトル検出が可能となる。
また、特徴点抽出処理は、他の処理、例えばオブジェクト抽出、ノイズリダクション処理等との親和性が高いため、回路の一部を共有してシステム全体の回路規模を低減することができる。
また、特徴点抽出処理は、他の処理、例えばオブジェクト抽出、ノイズリダクション処理等との親和性が高いため、回路の一部を共有してシステム全体の回路規模を低減することができる。
１１ 移動ベクトル検出処理部
１３ 参照画像
１５ 動き補償処理部
１７ 変換処理部
１９ 量子化処理部
２１ 可変長符号化処理部
２３ 逆量子化処理部
２５ 逆変換処理部
２９Ａ，２９Ｂ 多重解像部
３１ａ，３１ｂ 縮小部
３３Ａ、３３Ｂ 特徴点抽出処理部
３５ａ，３５ｂ，３５ｃ 特徴点抽出部
３７ 特徴点抽出部
３９ 暫定マクロブロック分割処理部
４１ 移動ベクトル検出処理部
４３ ベクトル・ブロックマージ処理部
４５ 第一特徴点画像データ
４７ 特徴点画像データ
５１Ａ，５１Ｂ，５１Ｃ 注視ブロック
５３Ａ，５３Ｂ 検索ブロック
５５ 下側ブロック
５７ 大きな破片
５９ 上側ブロック
６１ 破片
６３ 小破片
７１ 移動ベクトル検出処理部
７３ 移動ベクトル選択部
７５ 移動ベクトル保持部
７７ オブジェクト検出処理部
７９ ＮＲ処理部
１３ 参照画像
１５ 動き補償処理部
１７ 変換処理部
１９ 量子化処理部
２１ 可変長符号化処理部
２３ 逆量子化処理部
２５ 逆変換処理部
２９Ａ，２９Ｂ 多重解像部
３１ａ，３１ｂ 縮小部
３３Ａ、３３Ｂ 特徴点抽出処理部
３５ａ，３５ｂ，３５ｃ 特徴点抽出部
３７ 特徴点抽出部
３９ 暫定マクロブロック分割処理部
４１ 移動ベクトル検出処理部
４３ ベクトル・ブロックマージ処理部
４５ 第一特徴点画像データ
４７ 特徴点画像データ
５１Ａ，５１Ｂ，５１Ｃ 注視ブロック
５３Ａ，５３Ｂ 検索ブロック
５５ 下側ブロック
５７ 大きな破片
５９ 上側ブロック
６１ 破片
６３ 小破片
７１ 移動ベクトル検出処理部
７３ 移動ベクトル選択部
７５ 移動ベクトル保持部
７７ オブジェクト検出処理部
７９ ＮＲ処理部
Claims (7)
- 動画像の各フレーム画像を複数のブロックに分割し、該分割した各ブロックに対して、ブロック内の画像の移動ベクトルをそれぞれ検出する画像処理装置であって、
前記各フレーム画像から特徴点を抽出して特徴点画像データを生成する特徴点画像データ生成手段と、
前記特徴点画像データを所定サイズのマクロブロックに分割するとともに、該マクロブロック内における前記特徴点の分散状態に応じて前記マクロブロックを更に小さなブロックに分割する暫定ブロック分割手段と、
前記マクロブロックおよび分割された各ブロックに対して、ブロック内の画像の特徴点同士の比較によって前記移動ベクトルを求める移動ベクトル算出手段と、
前記ブロック毎に算出された前記移動ベクトルと当該ブロックと隣接するブロックの移動ベクトルとを比較して、ベクトル差分が所定の閾値以下である場合にこれらのブロックをマージするブロックマージ手段と、
を備えた画像処理装置。 - 請求項１記載の画像処理装置であって、
前記特徴点画像データ生成手段が、前記フレーム画像の輪郭成分を特徴点として抽出し、輪郭成分の強弱に比例した画素値で前記特徴点画像データを生成する画像処理装置。 - 請求項１または請求項２記載の画像処理装置であって、
前記各フレーム画像を１段階または２段階以上にわたって縮小処理することにより、元のフレーム画像を含めて複数レベルの抽象度の画像データを生成する画像縮小手段を備え、
前記特徴点画像データ生成手段は、前記複数レベルの画像データの各々から前記特徴点を抽出して前記特徴点画像データを生成する画像処理装置。 - 請求項１〜請求項３のいずれか１項記載の画像処理装置であって、
前記移動ベクトル算出手段は、任意の前記フレーム画像に注視ブロックを設定し、前記任意のフレーム画像よりも後に出力されたフレーム画像に探索範囲を設定し、前記注視ブロックと同じ大きさの探索ブロックを前記探索範囲内で移動させたときの各移動先位置にある前記探索ブロック内の前記特徴点と、前記注視ブロック内の前記特徴点とを比較して、前記注視ブロックと相関の最も高い探索ブロックである高相関探索ブロックを選定し、該選定された高相関探索ブロックの位置と前記注視ブロックの位置とから、前記任意のフレーム画像に対する前記移動ベクトルを算出する画像処理装置。 - 請求項４記載の画像処理装置であって、
直近の前記フレーム画像に対する移動ベクトルを保持する移動ベクトル保持手段を備え、
前記移動ベクトル算出手段は、前記保持された移動ベクトルの大きさによって前記高相関探索ブロックの探索範囲を増減させる画像処理装置。 - 請求項１〜請求項５のいずれか１項記載の画像処理装置であって、
前記フレーム画像と該フレーム画像よりも後に出力されたフレーム画像を用いたダイレクトモードにより移動ベクトルを算出する補助移動ベクトル算出手段を備え、
前記移動ベクトル算出手段により移動ベクトルが検出できなかった場合に、前記補助移動ベクトル算出手段により算出した結果を前記移動ベクトルとして設定する画像処理装置。 - 請求項１〜請求項６のいずれか１項記載の画像処理装置であって、
前記算出した移動ベクトルに基づいて予測画像を生成する動き補償処理手段と、
前記フレーム画像と前記予測画像との差分を周波数係数に変換する画像変換手段と、
前記周波数係数を量子化して量子化データを生成する量子化処理手段と、
前記量子化データに対して逆量子化を行う逆量子化手段と、
逆量子化された逆量子化データを前記変換処理に対する逆変換処理を行い復元画像を生成する画像逆変換手段と、
前記復元画像に前記フレーム画像または前記予測画像を足し合わせて参照画像を生成する参照画像生成手段と、
前記参照画像をバッファリングする参照画像バッファ手段と、
複数の移動ベクトルを符号化するベクトル符号化手段と、
前記量子化データおよび前記符号化された移動ベクトルに対して可変長符号化する可変長符号化手段と、
を備え、動画像の符号化処理を行う画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007325025A JP2009147807A (ja) | 2007-12-17 | 2007-12-17 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007325025A JP2009147807A (ja) | 2007-12-17 | 2007-12-17 | 画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009147807A true JP2009147807A (ja) | 2009-07-02 |
Family
ID=40917865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007325025A Abandoned JP2009147807A (ja) | 2007-12-17 | 2007-12-17 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009147807A (ja) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012114590A (ja) * | 2010-11-22 | 2012-06-14 | Jvc Kenwood Corp | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
| JP2012257148A (ja) * | 2011-06-10 | 2012-12-27 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出装置、符号化装置、復号装置、及びこれらのプログラム |
| WO2013001749A1 (ja) * | 2011-06-29 | 2013-01-03 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置 |
| JPWO2012042719A1 (ja) * | 2010-09-30 | 2014-02-03 | 三菱電機株式会社 | 動画像復号装置及び動画像復号方法 |
| CN104662909A (zh) * | 2012-09-13 | 2015-05-27 | 高通股份有限公司 | 用于3d视频的视图间运动预测 |
| KR20150082071A (ko) * | 2014-01-07 | 2015-07-15 | 삼성전자주식회사 | 크기 및 각도 변화량 정보에 기초한 영상 부호화 및 복호화 방법 및 크기 및 각도 변화량 정보에 기초한 영상 부호화 및 복호화 장치 |
| CN105659602A (zh) * | 2013-10-14 | 2016-06-08 | 微软技术许可有限责任公司 | 用于视频和图像编码的帧内块复制预测模式的编码器侧选项 |
| WO2016116984A1 (ja) * | 2015-01-19 | 2016-07-28 | 日本電気株式会社 | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム |
| US9693076B2 (en) | 2014-01-07 | 2017-06-27 | Samsung Electronics Co., Ltd. | Video encoding and decoding methods based on scale and angle variation information, and video encoding and decoding apparatuses for performing the methods |
| US10368091B2 (en) | 2014-03-04 | 2019-07-30 | Microsoft Technology Licensing, Llc | Block flipping and skip mode in intra block copy prediction |
| US10390034B2 (en) | 2014-01-03 | 2019-08-20 | Microsoft Technology Licensing, Llc | Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area |
| US10469863B2 (en) | 2014-01-03 | 2019-11-05 | Microsoft Technology Licensing, Llc | Block vector prediction in video and image coding/decoding |
| US10506254B2 (en) | 2013-10-14 | 2019-12-10 | Microsoft Technology Licensing, Llc | Features of base color index map mode for video and image coding and decoding |
| US10542274B2 (en) | 2014-02-21 | 2020-01-21 | Microsoft Technology Licensing, Llc | Dictionary encoding and decoding of screen content |
| US10582213B2 (en) | 2013-10-14 | 2020-03-03 | Microsoft Technology Licensing, Llc | Features of intra block copy prediction mode for video and image coding and decoding |
| US10659783B2 (en) | 2015-06-09 | 2020-05-19 | Microsoft Technology Licensing, Llc | Robust encoding/decoding of escape-coded pixels in palette mode |
| CN111292354A (zh) * | 2020-01-22 | 2020-06-16 | 维沃移动通信有限公司 | 误检测抑制方法及电子设备 |
| US10785486B2 (en) | 2014-06-19 | 2020-09-22 | Microsoft Technology Licensing, Llc | Unified intra block copy and inter prediction modes |
| US10812817B2 (en) | 2014-09-30 | 2020-10-20 | Microsoft Technology Licensing, Llc | Rules for intra-picture prediction modes when wavefront parallel processing is enabled |
| US10986349B2 (en) | 2017-12-29 | 2021-04-20 | Microsoft Technology Licensing, Llc | Constraints on locations of reference blocks for intra block copy prediction |
| US11284103B2 (en) | 2014-01-17 | 2022-03-22 | Microsoft Technology Licensing, Llc | Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08214318A (ja) * | 1994-10-13 | 1996-08-20 | At & T Corp | ビデオ画像のシーケンスを符号化するための領域ベースアプローチに対する方法及び装置 |
| JPH11164305A (ja) * | 1997-04-24 | 1999-06-18 | Mitsubishi Electric Corp | 動画像符号化方法、動画像符号化装置および動画像復号装置 |
| JP2003143609A (ja) * | 2001-08-21 | 2003-05-16 | Canon Inc | 画像処理装置、画像処理方法、記録媒体及びプログラム |
| JP2003169309A (ja) * | 2001-12-04 | 2003-06-13 | Nippon Hoso Kyokai <Nhk> | コンテンツ特徴量抽出装置及びそのプログラム並びにコンテンツ認証データ生成装置及びそのプログラム並びにコンテンツ認証方法 |
| JP2003259377A (ja) * | 2002-03-06 | 2003-09-12 | Matsushita Electric Ind Co Ltd | 動画像符号化方法、動画像復号化方法および符号列フォーマット |
-
2007
- 2007-12-17 JP JP2007325025A patent/JP2009147807A/ja not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08214318A (ja) * | 1994-10-13 | 1996-08-20 | At & T Corp | ビデオ画像のシーケンスを符号化するための領域ベースアプローチに対する方法及び装置 |
| JPH11164305A (ja) * | 1997-04-24 | 1999-06-18 | Mitsubishi Electric Corp | 動画像符号化方法、動画像符号化装置および動画像復号装置 |
| JP2003143609A (ja) * | 2001-08-21 | 2003-05-16 | Canon Inc | 画像処理装置、画像処理方法、記録媒体及びプログラム |
| JP2003169309A (ja) * | 2001-12-04 | 2003-06-13 | Nippon Hoso Kyokai <Nhk> | コンテンツ特徴量抽出装置及びそのプログラム並びにコンテンツ認証データ生成装置及びそのプログラム並びにコンテンツ認証方法 |
| JP2003259377A (ja) * | 2002-03-06 | 2003-09-12 | Matsushita Electric Ind Co Ltd | 動画像符号化方法、動画像復号化方法および符号列フォーマット |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2012042719A1 (ja) * | 2010-09-30 | 2014-02-03 | 三菱電機株式会社 | 動画像復号装置及び動画像復号方法 |
| JP5486091B2 (ja) * | 2010-09-30 | 2014-05-07 | 三菱電機株式会社 | 動画像復号装置及び動画像復号方法 |
| JP2012114590A (ja) * | 2010-11-22 | 2012-06-14 | Jvc Kenwood Corp | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
| JP2012257148A (ja) * | 2011-06-10 | 2012-12-27 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出装置、符号化装置、復号装置、及びこれらのプログラム |
| WO2013001749A1 (ja) * | 2011-06-29 | 2013-01-03 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置 |
| US8559737B2 (en) | 2011-06-29 | 2013-10-15 | Panasonic Corporation | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| US8818122B2 (en) | 2011-06-29 | 2014-08-26 | Panasonic Intellectual Property Corporation Of America | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| CN104662909B (zh) * | 2012-09-13 | 2018-06-15 | 高通股份有限公司 | 用于3d视频的视图间运动预测 |
| CN104662909A (zh) * | 2012-09-13 | 2015-05-27 | 高通股份有限公司 | 用于3d视频的视图间运动预测 |
| CN105659602A (zh) * | 2013-10-14 | 2016-06-08 | 微软技术许可有限责任公司 | 用于视频和图像编码的帧内块复制预测模式的编码器侧选项 |
| US11109036B2 (en) | 2013-10-14 | 2021-08-31 | Microsoft Technology Licensing, Llc | Encoder-side options for intra block copy prediction mode for video and image coding |
| US10582213B2 (en) | 2013-10-14 | 2020-03-03 | Microsoft Technology Licensing, Llc | Features of intra block copy prediction mode for video and image coding and decoding |
| EP3058736A4 (en) * | 2013-10-14 | 2017-05-31 | Microsoft Technology Licensing, LLC | Encoder-side options for intra block copy prediction mode for video and image coding |
| US10506254B2 (en) | 2013-10-14 | 2019-12-10 | Microsoft Technology Licensing, Llc | Features of base color index map mode for video and image coding and decoding |
| US10390034B2 (en) | 2014-01-03 | 2019-08-20 | Microsoft Technology Licensing, Llc | Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area |
| US10469863B2 (en) | 2014-01-03 | 2019-11-05 | Microsoft Technology Licensing, Llc | Block vector prediction in video and image coding/decoding |
| US9693076B2 (en) | 2014-01-07 | 2017-06-27 | Samsung Electronics Co., Ltd. | Video encoding and decoding methods based on scale and angle variation information, and video encoding and decoding apparatuses for performing the methods |
| KR20150082071A (ko) * | 2014-01-07 | 2015-07-15 | 삼성전자주식회사 | 크기 및 각도 변화량 정보에 기초한 영상 부호화 및 복호화 방법 및 크기 및 각도 변화량 정보에 기초한 영상 부호화 및 복호화 장치 |
| KR101670987B1 (ko) | 2014-01-07 | 2016-11-09 | 삼성전자 주식회사 | 크기 및 각도 변화량 정보에 기초한 영상 부호화 및 복호화 방법 및 크기 및 각도 변화량 정보에 기초한 영상 부호화 및 복호화 장치 |
| US11284103B2 (en) | 2014-01-17 | 2022-03-22 | Microsoft Technology Licensing, Llc | Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning |
| US10542274B2 (en) | 2014-02-21 | 2020-01-21 | Microsoft Technology Licensing, Llc | Dictionary encoding and decoding of screen content |
| US10368091B2 (en) | 2014-03-04 | 2019-07-30 | Microsoft Technology Licensing, Llc | Block flipping and skip mode in intra block copy prediction |
| US10785486B2 (en) | 2014-06-19 | 2020-09-22 | Microsoft Technology Licensing, Llc | Unified intra block copy and inter prediction modes |
| US10812817B2 (en) | 2014-09-30 | 2020-10-20 | Microsoft Technology Licensing, Llc | Rules for intra-picture prediction modes when wavefront parallel processing is enabled |
| WO2016116984A1 (ja) * | 2015-01-19 | 2016-07-28 | 日本電気株式会社 | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム |
| US10659783B2 (en) | 2015-06-09 | 2020-05-19 | Microsoft Technology Licensing, Llc | Robust encoding/decoding of escape-coded pixels in palette mode |
| US10986349B2 (en) | 2017-12-29 | 2021-04-20 | Microsoft Technology Licensing, Llc | Constraints on locations of reference blocks for intra block copy prediction |
| CN111292354A (zh) * | 2020-01-22 | 2020-06-16 | 维沃移动通信有限公司 | 误检测抑制方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009147807A (ja) | 画像処理装置 | |
| JP4047879B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
| CN105190688A (zh) | 用于查看图像的方法和装置 | |
| JP4514203B2 (ja) | 動きベクトル検出装置及び方法 | |
| JP4504230B2 (ja) | 動画像処理装置、動画像処理方法、及び動画像処理プログラム | |
| JP2007166038A (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
| JP5163429B2 (ja) | 動きベクトル検出装置、その処理方法およびプログラム | |
| US20050123039A1 (en) | Motion estimation method for motion picture encoding and recording medium having program recorded thereon to implement the motion estimation method | |
| JP3823767B2 (ja) | 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法 | |
| WO2010109564A1 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP4785678B2 (ja) | 画像符号化装置および画像符号化方法 | |
| JP2004348741A (ja) | 画像の比較方法、方法を実行するためのプログラムを記憶するコンピュータ可読記憶媒体、および方法を実行する装置 | |
| JP4853199B2 (ja) | 画像圧縮方法、装置、電子カメラ、およびプログラム | |
| JP2005167976A (ja) | 動きベクトル検出装置及び動きベクトル検出プログラム | |
| JP2007158855A (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
| JP2008154072A (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP4523024B2 (ja) | 画像符号化装置および画像符号化方法 | |
| JP5683153B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2009267726A (ja) | 動画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム | |
| US9549205B2 (en) | Method and device for encoding video | |
| JP2004064518A (ja) | 動画像符号化方法、動画像符号化装置、およびコンピュータプログラム | |
| JP6468703B2 (ja) | 動き検出装置、動き検出方法及びプログラム | |
| JP3335137B2 (ja) | 動きベクトル探索方法、動きベクトル探索装置および動きベクトル探索プログラムを記録した記録媒体 | |
| JP2008072608A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP3171249B2 (ja) | 動画像符号化の動きベクトル探索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100707 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110712 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110801 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110823 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120417 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20120511 |