JP2007194973A

JP2007194973A - 動きベクトル検出装置

Info

Publication number: JP2007194973A
Application number: JP2006011833A
Authority: JP
Inventors: Masako Etsuno; 理子越野; Kenji Taguchi; 健二田口; Norikatsu Niinami; 紀克新浪
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-01-20
Filing date: 2006-01-20
Publication date: 2007-08-02
Anticipated expiration: 2026-01-20
Also published as: JP4674549B2

Abstract

【課題】演算量、メモリ量、代表点画素数を維持したまま、画素を間引くことにより探索範囲を拡大し、かつ、高倍率レンズ使用による画像の特徴の減少も防ぎ、精度の高い動きベクトルを検出することができる動きベクトル検出装置を提供する。
【解決手段】ＣＣＤ１で撮像された画像の輝度信号Ｙが、水平間引き器３に入力され、水平方向に２画素に１画素の割合で画素を間引く処理が行われる。間引いた信号ＹＨ１及び間引かれた信号ＹＨ２が、それぞれ第１及び第２のブロック動きベクトル検出器４，５に入力され、代表点マッチング法によるブロック毎の動きベクトルの検出処理及び相関値データ算出処理が行われる。ＣＰＵ６は、第１及び第２のブロック動きベクトル検出器４，５から入力されるブロック毎の動きベクトル及び相関値データに基づいて、画面全体の動きベクトルを検出する。
【選択図】図１

Description

本発明は、ビデオカメラなどに用いられる手振れ補正装置等に適用する動きベクトル検出装置に関する。

ビデオカメラなどにおいて、手振れ補正に適用される画像の動きベクトルを検出する動きベクトル検出装置が特許文献１に開示されている。この装置では動きベクトルの検出に代表点マッチング法が使われている。代表点マッチング法は、代表点画素として定められた画素の１つ前のフィールドにおける画像信号レベルと、探索範囲として定められた領域内の全画素の現在のフィールドにおける画像信号レベルとを比較し、その差がもっとも少ない相関性の高いサンプリング点画素を求め、このサンプリング点画素と代表点画素との位置の差を、被写体の動きを表す動きベクトルとして特定する方法である。

図７はこの代表点マッチング法を適用した手振れ補正装置の構成例を示すブロック図である。ＣＣＤ１０１から出力される画像信号は図示されていないアンプで増幅され、Ａ／Ｄ変換器でＡ／Ｄ変換された後に、信号処理器１０２に入力され、色分離やγ補正等の各種信号処理が行われる。信号処理された画像信号の輝度色差信号のＹＣｂＣｒ信号はフィールドメモリ１０７に蓄えられる。フィールドメモリ１０７からの画像の出力は、接続されているＣＰＵ１０６の読み出しアドレス制御によって行われる。

一方、信号処理器１０２で分離された輝度信号のＹ信号はブロック動きベクトル検出器１０３内の帯域制限器１４１に入力され、ここで帯域制限される。帯域制限器１４１からの出力は代表点メモリ１４２と減算器１４３に入力される。ここでいう代表点とは、図２に示すように画面８を複数の領域（以下「ブロック」という）に分割し、それぞれのブロック９内であらかじめ代表点画素１０として定められている複数の画素のことである。

代表点メモリ１４２にはアドレスコントローラ１５０が接続されており、代表点メモリ１４２はアドレスコントローラ１５０の制御に従って輝度信号の格納及び出力を行う。減算器１４３は、代表点メモリ１４２から入力される１フィールド前の代表点画素のＹ信号と、その代表点画素が対応する探索範囲にある現フィールドのＹ信号との差分値を算出する。算出された差分値は絶対値回路１４４ですべて正の値に変換される。絶対値回路１４４には加算器１４５を介して算出した差分絶対値和（相関値）を格納するための相関値メモリ１４６が接続されている。この相関値メモリ１４６には最小値検出器１４７が接続されており、最小値検出器１４７は探索範囲内で前記差分絶対値の最小値を与える相対位置座標、つまり動きベクトルを出力する。最小値検出器１４７には１画素以下の精度を持つ動きベクトルを算出する補間演算器１４８が接続され、補間演算器１４８からはブロック単位の動きベクトルがＣＰＵ１０６に入力される。

相関値特性算出器１４９は、相関値メモリ１４６からデータを読み出し、ブロックごとの相関値データ、すなわち相関値平均や勾配等を算出して、ＣＰＵ１０６にその算出結果を出力する。ＣＰＵ１０６は、補間演算器１４８より入力されたブロックごとの動きベクトルと、相関値特性算出器１４９から順次入力されるブロック単位の相関値平均や勾配など（相関値データ）を用いてブロックごとの動きベクトルの信頼性を判定する。さらにＣＰＵ１０６は、判定された信頼性に基づいて、検出されたブロックごとの動きベクトルが手振れによるものか否かを判定し、手振れによるものと判定されたブロックの動きベクトルの平均値やメディアン値から画面全体の動きベクトルを決定する。

ＣＰＵ１０６は画面全体の動きベクトルに従って読み出しアドレスを決定し、制御信号をフィールドメモリ１０７に出力する。フィールドメモリ１０７はＣＰＵ１０６から入力された制御信号従い、手振れが補正された画像信号を出力する。

特開平６−４６３１２号公報

しかしながら、上記の従来例では高倍率レンズによる撮影などにおいて、手振れ量が大きくなる場合には、動きベクトルがあらかじめ定めておいた探索範囲を越えてしまい、各ブロックごとの動きベクトルを正確に検出することができないことがある。また、高倍率レンズによる撮影では被写体が大きく撮影されるため画像の特徴が減少し、上述のブロック信頼判定で信頼性に欠けると判定されるブロックが増加して、画面全体の動きベクトルを求めることができない場合が生じる。

正確な動きベクトルを検出するために単純に探索範囲を広げただけでは、演算量やメモリの増加を招き、好ましくない。一方、単純に水平または垂直方向に間引きした画像データを使用した場合においても、画像の情報量や代表点画素の数が減少することで誤った動きベクトルを検出してしまう結果となりえる。また、撮影者は画面の中央に被写体がくるような努力をして撮影を行うため、画面の端には空、壁、地面など特徴が乏しい絵柄が出現する可態性が高い。代表点画素の数を減らさずに、代表点画素を画面の隅から隅まで配置する方式では、画面の端に位置するブロックの信頼性が低くなりやすく、画面全体の動きベクトルを算出するために使われるブロック数が少なくなり、実質的には代表点画素の数を減らしてしまうことになる。

本発明はこの点について着目してなされたものであり、代表点マッチングの演算量、メモリ量、代表点画素数を維持したまま、探索範囲を拡大し、かつ、高倍率レンズ使用による画像の特徴の減少も防ぎ、精度の高い動きベクトルを検出することができる動きベクトル検出装置を提供することを目的とする。

上記目的を達成するため請求項１に記載の発明は、一画面を複数の領域に分割し、代表点マッチング法により前記領域毎に領域動きベクトルを求めると共に、前記領域に含まれる代表点の１フィールド前の画素と、動き検出を行う探索範囲内の画素との相関値から相関値データを算出する領域動きベクトル検出処理を実行し、前記領域動きベクトル及び相関値データに基づいて、画面全体の動きベクトルを検出する動きベクトル検出装置において、入力される画素データの画素を水平方向または垂直方向に２画素に対して１画素の割合で間引く画素間引き手段と、前記画素間引き手段にて間引いた画素による画像について前記領域動きベクトル検出処理を実行する第１の領域動きベクトル検出手段と、前記画素間引き手段にて間引かれた画素による画像について前記領域動きベクトル検出処理を実行する第２の領域動きベクトル検出手段とを備え、前記第１及び第２の領域動きベクトル検出手段の出力に基づいて、画面全体の動きベクトルを検出することを特徴とする。

請求項２に記載の発明は、一画面を複数の領域に分割し、代表点マッチング法により前記領域毎に領域動きベクトルを求めると共に、前記領域に含まれる代表点の１フィールド前の画素と、動き検出を行う探索範囲内の画素との相関値から相関値データを算出する領域動きベクトル検出処理を実行し、前記領域動きベクトル及び相関値データに基づいて、画面全体の動きベクトルを検出する動きベクトル検出装置において、入力される画素データの画素を水平方向に２画素に対して１画素の割合で間引く水平間引き手段と、入力される画素データの画素を垂直方向に２画素に対して１画素の割合で間引く垂直間引き手段と、前記水平間引き手段で間引かれ且つ前記垂直間引き手段で間引かれた画素による画像について前記領域動きベクトル検出処理を実行する第１の領域動きベクトル検出手段と、前記水平間引き手段で間引き且つ前記垂直間引き手段で間引かれた画素による画像について前記領域動きベクトル検出処理を実行する第２の領域動きベクトル検出手段と、前記水平間引き手段で間引かれ且つ垂直間引き手段で間引いた画素による画像について前記領域動きベクトル検出処理を実行する第３の領域動きベクトル検出手段と、前記水平間引き手段で間引き且つ前記垂直間引き手段で間引いた画素による画像について前記動きベクトル検出処理を実行する第４の領域動きベクトル検出手段とを備え、前記第１、第２、第３、及び第４の領域動きベクトル検出手段の出力に基づいて、画面全体の動きベクトルを検出することを特徴とする。

請求項１に記載の発明によれば、ビデオカメラで撮影された画像が画素間引き手段により水平方向にまたは垂直方向に２画素に対して１画素の割合で間引かれる。間引いた画像データが第１の領域動きベクトル検出手段に、間引かれた画像データが第２の領域動きベクトル検出手段にそれぞれ入力され、領域動きベクトルの検出と相関値データの算出が行われる。第１及び第２の領域ベクトル検出手段の出力に基づいて画面全体の動きベクトルが検出される。これによりメモリや演算量を増やすことなく探索範囲を２倍にすることができ、高倍率時においても高精度の動きベクトルを検出することができる。

請求項２に記載の発明によれば、ビデオカメラで撮影された画像が水平方向に２画素に１画素の割合で間引く水平間引き手段及び垂直方向に２画素に１画素の割合で間引く垂直間引き手段により、水平方向に間引かれ且つ垂直方向に間引かれた画像データと、水平方向に間引き且つ垂直方向に間引かれた画像データと、水平方向に間引かれ且つ垂直方向に間引いた画像データと、水平方向に間引き且つ垂直方向に間引いた画像データに分けられる。４つに分けられた画像データはそれぞれ第１〜第４の領域動きベクトル検出手段に入力され、領域動きベクトルの検出と相関値データの算出が行われる。第１〜第４の領域動きベクトル検出手段の出力に基づいて画面全体の動きベクトルが検出される。これによりメモリや演算量を増やすことなく探索範囲を４倍にすることができ、さらに高精度の動きベクトルを検出することができる。

以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる動きベクトル検出装置を適用した、手振れ補正装置の構成を示すブロック図である。この装置は、撮像素子としてのＣＣＤ１と、信号処理器２と、水平間引き器３と、第１のブロック動きベクトル検出器４と、第２のブロック動きベクトル検出器５と、ＣＰＵ６と、フィールドメモリ７とを備えている。１、２、６、７は図７に示す１０１、１０２、１０６、１０７と同一の機能を有する。また、第１のブロック動きベクトル検出器４及び第２のブロック動きベクトル検出器５は、それぞれ図７の１０３と同一の機能を有する。ＣＣＤ１から出力された画像信号は信号処理器２において各種信号処理が行われ、輝度色差信号のＹＣｂＣｒ信号がフィールドメモリ７に入力され蓄えられる。一方、信号処理器２で分離された輝度信号のＹ信号が水平間引き器３に入力される。水平間引き器３は、入力されたＹ信号について水平方向に２画素に１画素の割合で画素を間引く処理を行い、間引いた信号ＹＨ１及び間引かれた信号ＹＨ２（＝Ｙ−ＹＨ１）を出力する。

第１のブロック動きベクトル検出器４は、間引いた信号ＹＨ１について、図７のブロック動きベクトル検出器１０３と同様にブロック毎の動きベクトルの検出処理及び相関値データの算出処理を行い、処理結果をＣＰＵ６に入力する。第２のブロック動きベクトル検出器５は、間引かれた信号ＹＨ２について、図７のブロック動きベクトル検出器１０３と同様にブロック毎の動きベクトルの検出処理及び相関値データの算出処理を行い、処理結果をＣＰＵ６に入力する。第１のブロック動きベクトル検出器４及び第２のブロック動きベクトル検出器５はそれぞれ独立して機能する。ただし、第２のブロック動きベクトル検出器５にあるアドレスコントローラは、代表点画素をサンプリングするときに、間引いた画像と間引かれた画像があたかも水平方向に並んで１枚の画像であるかのように、画像の左半分（第１のブロック動きベクトル検出器４に入力された代表点画素のサンプリング）と同じ間隔で画像の右半分の代表点画素をサンプリングする。

図３は第１のブロック動きベクトル検出器４及び第２のブロック動きベクトル検出器５のアドレスコントローラの機能を説明する図である。図３（Ａ）、（Ｂ）には図２に示されている画面８と、画面８を垂直方向及び水平方向ともに４分割した１６個のブロック９と、ブロック９内の水平方向に８個及び垂直方向に４個が等間隔配置された代表点画素１０が示されている。また、図３（Ａ）には水平間引き器３に入力される前の画像である、波と、人と、カニとが線で描かれている画像が示されている。図３（Ｂ）には水平間引き器３での間引き処理後に第１のブロック動きベクトル検出器４で処理された画像が画面８の左半分に描かれ、第２のブロック動きベクトル検出器５で処理された画像が右半分に描かれているようすが示されている。

間引き前の画像での代表点サンプリングと、間引き後の間引いた画像と間引かれた画像を横に並べて１枚の画像としたときの代表点サンプリングの位置が同じとなるよう、第２のブロック動きベクトル検出器５のアドレスコントローラは水平方向の位置を調整して代表点をサンプリングする。ただし、この際に、間引いた画像と間引かれた画像の切れ目に代表点及び探索範囲の画素が位置しないような注意が必要である。

このように水平方向に画像を間引くことにより、メモリ、演算量を増やすことなく水平方向の探索範囲を２倍にすることができる。また、１ブロックの範囲で比較すると、高倍率レンズの使用で被写体が拡大されることにより画像の特徴が乏しくなっている元画像に対し、間引き処理を行った後は１ブロック内に含まれる画像の情報量が増加するために、各ブロックにおける動きベクトルの誤検出が減少する。さらに、間引かれた画像と間引いた画像を横に並べて代表点を設置することで、披写体の情報が多く存在すると思われる画面の中央付近の画像が画面左側と右側の２度にわたって出現し、画面の中央付近に重点を置いた動きベクトルの検出が可能となり高精度な検出結果を得ることが出来る。

上述した実施形態では水平間引き器３を使用し、画像の間引き方を水平方向としたが、水平間引き器３にかえて垂直間引き器３ａを使用し、画像の間引き方を垂直方向にしても、水平方向の時と同じ効果を得ることができる。すなわち、垂直間引き器３ａで垂直方向に２画素に対して１画素間引いた信号を第１のブロック動きベクトル検出器４に入力し、間引かれた信号を第２のブロック動きベクトル検出器５に入力する。垂直方向の間引き処理においては、第１のブロック動きベクトル検出器４と第２のブロック動きベクトル検出器５のアドレスコントローラは、図４（Ｂ）に示すように第１のブロック動きベクトル検出器４で処理された画像が画面の上半分に、第２のブロック動きベクトル検出器５で処理された画像が画面の下半分に表示されるように機能する。

このように垂直方向に画像を間引く処理では垂直方向の探索範囲を２倍にすることができる。

次に第２の実施形態について説明する。図５は第２の実施形態にかかる手振れ補正装置の構成を示すブロック図である。第１の実施形態と異なる点は、ブロック毎の動きベクトルを検出するブロック動きベクトル検出器を４つ備えている点と、ブロック動きベクトル検出器の前段に水平間引き器３及び垂直間引き器３ａを備えている点であり、この２点を除く構成は第１の実施形態と同一である。

信号処理器２から出力される画像の輝度信号であるＹ信号を水平間引き器３で水平方向に２画素に１画素の割合で間引き、間引いた信号ＹＨ１及び間引かれた信号ＹＨ２を垂直間引き器３ａに入力する。垂直間引き器３ａは、間引いた信号ＹＨ１及び間引かれた信号ＹＨ２のそれぞれについて垂直方向に２画素に１画素の割合で間引く処理を行う。この２つの間引き処理の結果、水平方向及び垂直方向共に間引かれた信号ＹＨ２Ｖ２が第１のブロック動きベクトル検出器４に入力され、水平方向に間引き、垂直方向に間引かれた信号ＹＨ１Ｖ２が第２のブロック動きベクトル検出器５に入力され、水平方向で間引かれ、垂直に間引いた信号ＹＨ２Ｖ１が第３のブロック動きベクトル検出器８に入力され、水平方向に間引き、垂直方向にも間引いた信号ＹＨ１Ｖ１が第４のブロック動きベクトル検出器９に入力される。第１〜４のブロック動きベクトル検出器４，５，８，９のそれぞれのアドレスコントローラは図６（Ｂ）に示すように第１のブロック動きベクトル検出器４で処理された画像が画面の上段左側に、第２のブロック動きベクトル検出器５で処理された画像が画面の下段左側に、第３のブロック動きベクトル検出器８で処理された画像が画面の上段右側に、第４のブロック動きベクトル検出器９で処理された画像が画面の下段右側に表示されるように機能する。

このように第２の実施形態では画像を水平及び垂直でそれぞれについて２画素に１画素の割合の間引きを行うことで、メモリ、演算量を増やすことなく探索範囲を４倍に広げることができる。また１ブロック内の画像情報量も第１の実施形態よりも増加し、さらに精度の高い動きベクトルの検出ができる。

本発明の一実施形態にかかる動きベクトル検出装置を適用した、ビデオカメラの手振れ補正装置の構成を示すブロック図である。ビデオカメラの画面上の代表点画素の配置を説明するための図である。水平方向に画素を間引いた結果を説明するための図である。垂直方向に画素を間引いた結果を説明するための図である。第２の実施形態にかかる手振れ補正装置の構成を示すブロック図である。水平、垂直両方向に画素を間引いた結果を説明する図である。従来の手振れ補正装置の構成を示すブロック図である。

符号の説明

１ＣＣＤ
２信号処理器
３水平間引き器（画素間引き手段）
４第１のブロック動きベクトル検出器（領域動きベクトル検出手段）
５第２のブロック動きベクトル検出器（領域動きベクトル検出手段）
６ＣＰＵ
７フィールドメモリ
８画面
９ブロック
１０代表点画素

Claims

一画面を複数の領域に分割し、代表点マッチング法により前記領域毎に領域動きベクトルを求めると共に、前記領域に含まれる代表点の１フィールド前の画素と、動き検出を行う探索範囲内の画素との相関値から相関値データを算出する領域動きベクトル検出処理を実行し、前記領域動きベクトル及び相関値データに基づいて、画面全体の動きベクトルを検出する動きベクトル検出装置において、
入力される画素データの画素を水平方向または垂直方向に２画素に対して１画素の割合で間引く画素間引き手段と、
前記画素間引き手段にて間引いた画素による画像について前記領域動きベクトル検出処理を実行する第１の領域動きベクトル検出手段と、
前記画素間引き手段にて間引かれた画素による画像について前記領域動きベクトル検出処理を実行する第２の領域動きベクトル検出手段とを備え、
前記第１及び第２の領域動きベクトル検出手段の出力に基づいて、画面全体の動きベクトルを検出することを特徴とする動きベクトル検出装置。
一画面を複数の領域に分割し、代表点マッチング法により前記領域毎に領域動きベクトルを求めると共に、前記領域に含まれる代表点の１フィールド前の画素と、動き検出を行う探索範囲内の画素との相関値から相関値データを算出する領域動きベクトル検出処理を実行し、前記領域動きベクトル及び相関値データに基づいて、画面全体の動きベクトルを検出する動きベクトル検出装置において、
入力される画素データの画素を水平方向に２画素に対して１画素の割合で間引く水平間引き手段と、
入力される画素データの画素を垂直方向に２画素に対して１画素の割合で間引く垂直間引き手段と、
前記水平間引き手段で間引かれ且つ前記垂直間引き手段で間引かれた画素による画像について前記領域動きベクトル検出処理を実行する第１の領域動きベクトル検出手段と、
前記水平間引き手段で間引き且つ前記垂直間引き手段で間引かれた画素による画像について前記領域動きベクトル検出処理を実行する第２の領域動きベクトル検出手段と、
前記水平間引き手段で間引かれ且つ垂直間引き手段で間引いた画素による画像について前記領域動きベクトル検出処理を実行する第３の領域動きベクトル検出手段と、
前記水平間引き手段で間引き且つ前記垂直間引き手段で間引いた画素による画像について前記動きベクトル検出処理を実行する第４の領域動きベクトル検出手段とを備え、
前記第１、第２、第３、及び第４の領域動きベクトル検出手段の出力に基づいて、画面全体の動きベクトルを検出することを特徴とする動きベクトル検出装置。