JP2007043285A - 振れベクトル検出装置、カメラシステム、振れベクトル検出方法、及び振れベクトル検出プログラム - Google Patents

Abstract

【課題】動画撮影時において振れベクトルを効率よく検出することができる振れベクトル検出装置、カメラシステム、動きベクトル検出方法、及び動きベクトル検出プログラムを提供すること。
【解決手段】振れベクトル検出の際に、入力された現画像データを入力画像分割部２１において複数の領域に分割し、分割されて得られた分割領域毎に、動きベクトル検出難易度評価部２２において動きベクトル検出の難易度を判定する。動きベクトル検出難易度評価部２２で得られたベクトル検出評価値と位置重み付けメモリ２４に設定された位置の重み付けとから、検出領域決定部２３において、動きベクトルを検出する分割領域を選択する。動きベクトル検出部２６は、検出領域決定部２３で選択された分割領域毎に動きベクトルを検出する。
【選択図】図２

Description

本発明は、動画撮影時において振れベクトルを検出する振れベクトル検出装置、カメラシステム、振れベクトル検出方法、及び振れベクトル検出プログラムに関する。

従来の動きベクトル検出の精度を上げる手法の１つとして、例えば特許文献１では、動きベクトル検出部の内部にサイズの異なる検索範囲を持つ動きベクトル検出装置を並列に持たせ、それぞれの動きベクトル検出装置で動きベクトル検出を行い、その内の１つの動きベクトルを選ぶものが提案されている。
特開平９−９３５８５号公報

ここで、上記特許文献１の手法は、動きベクトル検出位置の設定や動きベクトル検出の難易度の判定をしていないため、動画撮影時において振れベクトルを効率よく検出することができない。

本発明は、この点を考慮してなされたものであり、動画撮影時において振れベクトルを効率よく検出することができる振れベクトル検出装置、カメラシステム、動きベクトル検出方法、及び動きベクトル検出プログラムを提供することを課題とする。

上記課題を解決するために、本発明の第１の態様による振れベクトル検出装置は、入力画像を任意の数の領域に分割する入力画像分割手段と、前記入力画像分割手段によって分割された分割領域毎に動きベクトル検出の難易度に係る評価値を作成する動きベクトル検出難易度評価手段と、前記ベクトル検出難易度評価手段によって作成された評価値に基づき、前記任意の数で分割された分割領域の中から、動きベクトルを検出する際の分割領域を選択する検出領域決定手段と、前記検出領域決定手段によって選択された分割領域において動きベクトルを検出し、この動きベクトルに基づいて振れベクトルを出力する動きベクトル検出手段とを具備することを特徴とする。

また、上記課題を解決するために、本発明の第２の態様によるカメラシステムは、受光面を有し、該受光面に結像された被写体像を画像データに変換する撮像素子と、前記画像データを前記入力画像として前記振れベクトルを出力する第１の態様に記載の振れベクトル検出装置と、前記振れベクトルに基づき、前記画像データの振れを補正する振れ補正部と、振れ補正後の前記画像データを、表示装置に適合するビデオ信号に変換するビデオコンバータとを有することを特徴とする。

また、上記課題を解決するために、本発明の第３の態様による振れベクトル検出方法は、入力画像を任意の数の領域に分割する入力画像分割ステップと、前記分割された領域毎に動きベクトル検出の難易度に係る評価値を作成する動きベクトル検出難易度評価ステップと、前記作成された評価値に基づき、前記任意の数で分割された分割領域の中から、動きベクトルを検出する際の分割領域を選択する検出領域決定ステップと、前記選択された分割領域において動きベクトルを検出する動きベクトル検出ステップとを有することを特徴とする。

また、上記課題を解決するために、本発明の第４の態様による振れベクトル検出プログラムは、コンピュータに、入力画像を任意の数の領域に分割する入力画像分割ステップと、前記分割された領域毎に動きベクトル検出の難易度に係る評価値を作成する動きベクトル検出難易度評価ステップと、前記作成された評価値に基づき、前記任意の数で分割された分割領域の中から、動きベクトルを検出する際の分割領域を選択する検出領域決定ステップと、前記選択された分割領域において動きベクトルを検出する動きベクトル検出ステップとを実行させることを特徴とする。

これら第１〜第４の態様によれば、入力画像を任意の数の領域に分割し、それぞれの分割領域ごとに動きベクトル検出の難易度を評価して、この難易度に応じて動きベクトルを検出する分割領域を選択することにより、動きベクトルを検出する際の演算量を減らしながら、精度の良い振れベクトルを検出することが可能である。

本発明によれば、動画撮影時において振れベクトルを効率よく検出することができる振れベクトル検出装置、カメラシステム、動きベクトル検出方法、及び動きベクトル検出プログラムを提供することができる。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る振れベクトル検出装置が搭載されたカメラシステムの構成を示す図である。図１に示すカメラシステムは、撮像素子１と、プリプロセス部２と、Ａ/Ｄ変換部３と、バス４と、メモリ５と、振れベクトル検出装置６と、振れ補正部７と、動画保存部８と、ビデオコンバータ９と、表示装置１０と、マイクロプロセッサ１１とから構成されている。また、図１に示す構成において、バス４にはＡ/Ｄ変換部３と、メモリ５と、振れベクトル検出装置６と、振れ補正部７と、動画保存部８と、ビデオコンバータ９と、マイクロプロセッサ１１とが互いにデータアクセス可能に接続されている。

また、図２は図１の振れベクトル検出装置６の内部の構成を示す図である。図２に示すように、振れベクトル検出装置６は、入力画像分割部２１と、動きベクトル検出難易度評価部２２と、検出領域決定部２３と、位置重み付けメモリ２４と、設定インターフェース２５と、動きベクトル検出部２６とから構成されている。また、図２に示す構成において、入力画像分割部２１はバス４を介してメモリ５に接続されており、設定インターフェース２５はバス４を介してマイクロプロセッサ１１と接続されており、動きベクトル検出部２６はバス４を介してメモリ５及び振れ補正部７に接続されている。

また、図３は図２の動きベクトル検出難易度評価部２２の内部の構成を示す図である。図３に示すように、動きベクトル検出難易度評価部２２は、輝度抽出部３１と、エッジ抽出部３２と、エッジ２値化部３３と、ローコントラスト判定部３４と、繰り返しパターン判定部３５と、難易度判定部３６とから構成されている。また、図３に示す構成において輝度抽出部３１は入力画像分割部２１に接続されており、エッジ２値化部３３は設定インターフェース２５に接続されており、難易度判定部３６は検出領域決定部２３に接続されている。

以下、本一実施形態の作用について説明する。なお、以下の説明においては本カメラシステムの動画撮影時若しくは動画再生時の作用について特に説明する。ただし、本カメラシステムに静止画の撮影機能及び静止画の再生機能を持たせても良い。

撮像素子１は図示しない被写体の像を受光するための受光面を有している。この受光面上に受光された被写体像は光電変換によってアナログの映像信号に変換される。撮像素子１において得られた映像信号は、プリプロセス部２において増幅、波形整形、ノイズ除去等のアナログ処理が施される。プリプロセス部２においてアナログ処理された映像信号は、Ａ/Ｄ変換部３においてデジタルの画像データに変換される。Ａ/Ｄ変換部３において得られた画像データはバス４を介してメモリ５に格納される。

振れベクトル検出装置６では、メモリ５に格納された現画像データ（現フレームの撮像によって得られた画像データ）と前画像データ（１つ前のフレームの撮像によって得られた画像データ）とから振れベクトルが検出される。この振れベクトルの検出の詳細については後述する。なお、ここではメモリ５に２フレーム分の画像データが格納された時点で振れベクトルを検出するようにしているが、１つ前のフレームの画像データを遅延回路等によって遅らせることによって２フレーム分の画像データを振れベクトル検出装置６に入力するようにしても良い。

振れベクトル検出装置６において検出された振れベクトルは、メモリ５に格納される。このメモリ５に格納された振れベクトルを利用して振れ補正部７によりメモリ５に格納されている現画像データに対する振れ補正が行われる。この振れ補正は、公知の手法を用いれば良い。例えば振れベクトル検出装置６で検出された振れベクトルに応じた画像データの振れを打ち消す方向に、メモリ５に格納されている現画像データの読み出し開始位置を移動させれば良い。振れ補正部７において振れ補正がなされた現画像データはメモリ５に再度格納される。

振れ補正がなされた後の現画像データは、動画保存部８に保存されるか、またはビデオコンバータ９を介してＮＴＳＣ信号等の映像信号に変換された後、表示装置１０によって画像表示される。

次に、振れベクトル検出装置６における振れベクトル検出について説明する。図４は、本発明の一実施形態に係る振れベクトル検出方法の処理の流れについて示すフローチャートである。

現画像データが振れベクトル検出装置６に入力されると、まず、入力画像分割部２１は、この現画像データを、任意の数と任意のサイズを有する複数の領域に分割して取り込む（ステップＳ１）。この分割の際の分割領域数及び分割領域のサイズは、例えば設定インターフェース２５を介してマイクロプロセッサ１１によって設定される。ここでは、例としてマイクロプロセッサ１１により、図５に示すような９個の分割領域に分割する設定がなされたものとする。

次に、動きベクトル検出難易度評価部２２は、図５のような９個の分割領域に分割された各現画像データの動きベクトル検出の難易度を画像認識によって判定する。そして、この難易度判定の結果から、動きベクトル検出の難易度を示す評価値であるベクトル検出評価値を作成して検出領域決定部２３に出力する（ステップＳ２）。

ここで、動きベクトル検出難易度評価部２２における動きベクトル検出の難易度の判定について説明する。図５に示すような９個の分割領域に分割された現画像データは、動きベクトル検出難易度評価部２２内部の輝度抽出部３１に入力される。輝度抽出部３１は、入力された現画像データを輝度成分と色成分とに分離することによって現画像データの輝度成分を抽出し、抽出した輝度成分のみの画像データをエッジ抽出部３２に出力する。エッジ抽出部３２は輝度成分のみの画像データからハイパスフィルタを利用して高輝度成分（エッジ成分）を抽出する。このエッジ成分の抽出は分割領域毎に行う。エッジ２値化部３３は、分割領域毎に抽出されたエッジを或る閾値によって２値化してローコントラスト判定部３４及び繰り返しパターン判定部３５に入力する。ここで、２値化を行うときの閾値は設定インターフェース２５によって設定可変である。

ローコントラスト判定部３４及び繰り返しパターン判定部３５は動きベクトル検出が困難な分割領域の位置を判定する。即ち、ローコントラスト判定部３４はエッジの有無により分割領域毎に画像がローコントラストであるか否かを判定し、ローコントラスト画像を含む分割領域が存在する場合には、その分割領域の位置情報を難易度判定部３６に出力する。

また、繰り返しパターン判定部３５は縦方向又は横方向に規則的なエッジの配列があるか否かを分割領域毎に判定することにより、繰り返しパターンの有無を分割領域毎に判定し、繰り返しパターンを含む分割領域が存在する場合には、その分割領域の位置情報を難易度判定部３６に出力する。

難易度判定部３６は、ローコントラスト判定部３４及び繰り返しパターン判定部３５の判定結果に基づいて、ベクトル検出評価値を作成してこのベクトル検出評価値を振れベクトル検出装置６内部の検出領域決定部２３に出力する。ここでベクトル検出評価値は、ローコントラト画像又は繰り返しパターンが含まれている分割領域におけるベクトル検出評価値を、これらが存在していない通常の分割領域のベクトル検出評価値よりも低くするように作成する。例えば、図６に示す分割領域にローコントラスト画像又は繰り返しパターンが含まれていた場合には、これら分割領域に対応するベクトル検出評価値を図７のように低くする。なお、図７の例では、ローコントラスト画像も繰り返しパターンも含まれていない通常の分割領域におけるベクトル検出評価値を「２」とし、ローコントラスト画像又は繰り返しパターンが含まれている分割領域のベクトル検出評価値を「１」としているが、これらの値は一例であり、種々の条件に応じて適宜設定することができる。また、図７の例では、通常の分割領域のベクトル検出評価値に対してローコントラスト画像や繰り返しパターンが含まれている分割領域のベクトル検出評価値を１だけ減らしているが、難易度に段階を付けて減らすようにしても良い。

一方、分割された領域毎の位置の重み付けが例えば設定インターフェース２５を介してマイクロプロセッサ１１によって位置重み付けメモリ２４に設定される（ステップＳ３）。ここでは、例としてマイクロプロセッサ１１によって、図５に示すような中央の分割領域ほど重みが付けられるような重み付けが設定されたものとする。このような重み付けを行うことにより、後述する分割領域の選択の際に、主要被写体が存在する確率の高い中央の分割領域が選択されやすくなる。

次に、検出領域決定部２３は、ステップＳ２において作成されたベクトル検出評価値とステップＳ３において設定された位置の重み付けとから動きベクトルを検出する分割領域である動きベクトル検出領域を決定し、この結果を動きベクトル検出部２６に出力する（ステップＳ４）。この動きベクトル検出領域の決定の際に、検出領域決定部２３は、位置重み付けメモリ２４から位置による重み付けを読み出し、この位置の重み付けと動きベクトル検出難易度評価部２２から出力されたベクトル検出評価値との積をとる。例えば位置の重み付けが図５のように設定され、動きベクトル検出難易度評価部２２においてベクトル検出評価値が図７のように作成された場合には、これらの積は図８のようになる。検出領域決定部２３は、図８のようにして得られた結果の中で、一番高いベクトル検出評価値が得られた分割領域を優先して選択する。例えば、図８の場合では、ベクトル検出評価値が「４」の分割領域を選択する。ここで、図８の例のように、ベクトル検出評価値が最も高い分割領域が複数存在する場合には、それら全ての分割領域を選択する。

次に、動きベクトル検出部２６は、メモリ５から現画像データと前画像データを取り込み、検出領域決定部２３で選択された分割領域における動きベクトルを、例えば代表点マッチング等の手法により検出する（ステップＳ５）。そして、動きベクトル検出部２６は、検出領域決定部２３において複数の分割領域が選択されていたか否かを判定する（ステップＳ６）。ステップＳ６の判定において、複数の分割領域が選択されていた場合にはステップＳ７に進み、ステップＳ５において検出された複数の動きベクトルを合成し（ステップＳ７）、この合成された動きベクトルを振れベクトルとする（ステップＳ８）。一方、ステップＳ６の判定において、１つの分割領域のみが選択されていた場合には、ステップＳ８に進み、その１つの分割領域で検出された動きベクトルを振れベクトルとする。

以上説明したように、本一実施形態によれば、入力された現画像データを複数の分割領域に分割し、分割した領域毎に動きベクトル検出の難易度を判定し、この判定の結果、難易度が低い分割領域を優先的に選択して動きベクトルを検出している。これにより、動きベクトルを検出する際の演算量を減らしながら、精度の良い振れベクトルを検出することが可能である。

また、本一実施形態によれば、動きベクトル検出の難易度の他に、位置の重み付けの設定を考慮して分割領域を選択することもできるため、より精度の良い振れベクトルを検出することが可能である。

更に、本一実施形態によれば、ベクトル検出評価値が等しい分割領域が複数存在する場合には、これら複数の分割領域でそれぞれ得られた動きベクトルを合成して振れベクトルとしているので、振れベクトルの誤検出を抑えることができる。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記した実施形態において、入力画像分割部２１に設定する分割領域の分割数は９個以外の任意の設定が可能である。同様に、位置重み付けメモリ２４に設定する重み付けも図５と異なる値を設定することが可能である。また、全ての領域に対して同じ重みを設定するようにすれば、位置による重み付けを考慮せず、分割領域毎の動きベクトルの検出の難易度のみから分割領域の選択を行うことも可能である。

更に、上記した実施形態では、図４の処理を振れベクトル検出装置６において実行しているが、図４で説明したフローチャートに基づいて作成したプログラムをメモリ５等に格納しておき、このプログラムに基づき、例えばマイクロプロセッサ１１が振れベクトルを検出するようにしても良い。

更に、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係る振れベクトル検出装置が搭載されたカメラシステムの構成を示す図である。 振れベクトル検出装置の内部の構成を示す図である。 動きベクトル検出難易度評価部の内部の構成を示す図である。 本発明の一実施形態に係る振れベクトル検出方法の処理の流れについて示すフローチャートである。 領域分割及び位置の重み付けの設定の一例について示す図である。 動きベクトル検出が困難な分割領域について示す図である。 動きベクトル検出難易度評価部で作成されるベクトル検出評価値の一例について示す図である。 動きベクトル検出難易度評価部で作成されたベクトル検出評価値と位置重み付けメモリに設定された位置の重み付けの設定との積によって得られたベクトル検出評価値について示す図である。

符号の説明

１…撮像素子、２…プリプロセス部、３…Ａ/Ｄ変換部、４…バス、５…メモリ、６…振れベクトル検出装置、７…振れ補正部、８…動画保存部、９…ビデオコンバータ、１０…表示装置、１１…マイクロプロセッサ、２１…入力画像分割部、２２…動きベクトル検出難易度評価部、２３…検出領域決定部、２４…位置重み付けメモリ、２５…設定インターフェース、２６…動きベクトル検出部、３１…輝度抽出部、３２…エッジ抽出部、３３…エッジ２値化部、３４…ローコントラスト判定部、３５…繰り返しパターン判定部、３６…難易度判定部

Claims (13)

1. 入力画像を任意の数の領域に分割する入力画像分割手段と、
   前記入力画像分割手段によって分割された分割領域毎に動きベクトル検出の難易度に係る評価値を作成する動きベクトル検出難易度評価手段と、
   前記ベクトル検出難易度評価手段によって作成された評価値に基づき、前記任意の数で分割された分割領域の中から、動きベクトルを検出する際の分割領域を選択する検出領域決定手段と、
   前記検出領域決定手段によって選択された分割領域において動きベクトルを検出し、この動きベクトルに基づいて振れベクトルを出力する動きベクトル検出手段と、
   を具備することを特徴とする振れベクトル検出装置。
2. 前記検出領域決定手段は、前記ベクトル検出難易度評価手段によって作成された評価値の中で最大の評価値が得られる分割領域を優先して選択することを特徴とする請求項１に記載の振れベクトル検出装置。
3. 前記検出領域決定手段は、更に、外部より入力される画像の領域毎の重み付けに基づき、前記分割領域を選択することを特徴とする請求項１に記載の振れベクトル検出装置。
4. 前記動きベクトル検出手段は、前記評価値が略等しい複数の前記分割領域に係る前記動きベクトルを合成して前記振れベクトルを出力することを特徴とする請求項１に記載の振れベクトル検出装置。
5. 受光面を有し、該受光面に結像された被写体像を画像データに変換する撮像素子と、
   前記画像データを前記入力画像として前記振れベクトルを出力する請求項１に記載の振れベクトル検出装置と、
   前記振れベクトルに基づき、前記画像データの振れを補正する振れ補正部と、
   振れ補正後の前記画像データを、表示装置に適合するビデオ信号に変換するビデオコンバータと、
   を有することを特徴とするカメラシステム。
6. 入力画像を任意の数の領域に分割する入力画像分割ステップと、
   前記分割された領域毎に動きベクトル検出の難易度に係る評価値を作成する動きベクトル検出難易度評価ステップと、
   前記作成された評価値に基づき、前記任意の数で分割された分割領域の中から、動きベクトルを検出する際の分割領域を選択する検出領域決定ステップと、
   前記選択された分割領域において動きベクトルを検出する動きベクトル検出ステップと、
   を有することを特徴とする振れベクトル検出方法。
7. 前記検出領域決定ステップにおける前記選択は、前記作成された評価値の中で最大の評価値が得られる分割領域を優先して選択することにより行うことを特徴とする請求項６に記載の振れベクトル検出方法。
8. 前記検出領域決定ステップにおける前記選択において、更に、外部より入力される画像の領域毎の重み付けに基づき、前記分割領域を選択することを特徴とする請求項６に記載の振れベクトル検出方法。
9. 前記動きベクトル検出ステップにおいて、前記評価値が略等しい複数の前記分割領域に係る前記動きベクトルを合成して前記振れベクトルを出力することを特徴とする請求項６に記載の振れベクトル検出方法。
10. コンピュータに、
    入力画像を任意の数の領域に分割する入力画像分割ステップと、
    前記分割された領域毎に動きベクトル検出の難易度に係る評価値を作成する動きベクトル検出難易度評価ステップと、
    前記作成された評価値に基づき、前記任意の数で分割された分割領域の中から、動きベクトルを検出する際の分割領域を選択する検出領域決定ステップと、
    前記選択された分割領域において動きベクトルを検出する動きベクトル検出ステップと、
    を実行させることを特徴とする振れベクトル検出プログラム。
11. 前記検出領域決定ステップにおける前記選択は、前記作成された評価値の中で最大の評価値が得られる分割領域を優先して選択することにより行うことを特徴とする請求項１０に記載の振れベクトル検出プログラム。
12. 前記検出領域決定ステップにおける前記選択において、更に、外部より入力される画像の領域毎の重み付けに基づき、前記分割領域を選択することを特徴とする請求項１０に記載の振れベクトル検出プログラム。
13. 前記動きベクトル検出ステップにおいて、前記評価値が略等しい複数の前記分割領域に係る前記動きベクトルを合成して前記振れベクトルを出力することを特徴とする請求項１０に記載の振れベクトル検出プログラム。

Images