JP2007116302A - ブレ検出装置および方法 - Google Patents

Abstract

【課題】 画像移動量の検出精度を向上させることができるようにする。
【解決手段】 画像データから投影データ列を求める投影データ列作成部１と、データ列の相関演算によって評価値を求める評価値列作成部３との間にフィルタ処理部２を設け、投影データ列に対して所定のフィルタ処理を行って、投影データ列を波長が所定長以上の低周波成分を多く含む特徴値データ列に変換することにより、相関演算を行う対象となるデータ列の波長が比較的長くなるようにし、データ列を走査してそれぞれの走査位置毎に求めた相関値が大きくなって画像が一致したと見られる箇所の数を少なくすることができるようにする。これにより、画像の比較でマッチングしたと見られる候補の数をできるだけ少なくして画像移動量の検出精度を向上させることができるようにする。
【選択図】 図１

Description

本発明はブレ検出装置および方法に関し、特に、撮像装置に加わるブレに起因する撮像画像の画質低下を防ぐためのブレ補正機能において当該ブレを検出するための技術に関するものである。

スチルカメラやビデオカメラ等の撮像装置の多くは、カメラに加わるブレによる画質の低下を防ぐために、ブレ補正機能を備えている。撮影時におけるカメラのブレは、周波数として通常１Ｈｚから１５Ｈｚ程度の範囲内の振動である。このようなブレを起こしても像ブレの無い画像を撮影可能とするためのブレ補正機能の要素技術としては、ブレを検出する技術と、ブレを補正する技術との２つがある。

前者のブレを検出する技術は、動きベクトル検出方式と角速度検出方式とに大別される。動きベクトル検出方式は、ＣＣＤ（Charge Coupled Device）等で撮像された画像データを電子的に処理してカメラの動きベクトルを検出する方式である。一方、角速度検出方式は、ジャイロセンサなどを使って角速度を検出する方式である。電子的にブレを検出する手法としては、時間差をおいて撮像した２つの画像データの相互相関をとることによって像ブレ（画像移動量）を求める方法が一般的である（例えば、特許文献１参照）。
特開平１０−１７３９９２号公報

一般に、複数の画像データの相互相関を見ることによって画像移動量を求める場合、基準の画像中から切り出した所定サイズのブロック（以下、参照ブロックと呼ぶ）が、比較対象の画像中でどこに移動したかを検出する手法がとられる。この場合、参照ブロックの画像を比較対象の画像上で走査しながら、各走査位置での両画像の類似度を計算し、類似度が最大となった走査位置に参照ブロックが移動したと判断する。

また、後者のブレを補正する技術は、光学式と電子式とに大別される。光学式ブレ補正は、検出されたカメラの動きに応じて光軸を物理的に変位させる手法である。一方、電子式ブレ補正は、実際の撮像エリアよりも大きなＣＣＤを用意し、その一部を撮像エリアとして使用する。すなわち、検出されたカメラの動きに応じてＣＣＤの画像切り出しエリア（撮像エリア）を上下左右に動かすことによってブレを補正する手法である。

ブレを検出する技術として動きベクトル検出方式を用い、かつ、ブレを補正する技術として電子式を用いると、ソフトウェア処理だけでカメラの動きを検出してブレを補正できるため、製品の小型化に適している。しかしながら、この場合はブレの補正精度と処理速度とが電子的な処理内容に大きく依存する。

一般的に、補正精度を上げようとすると電子的な処理内容が複雑になり、処理負荷が重くなって処理速度が低下してしまう。逆に、処理速度を上げるために処理内容を簡素化すると画像移動量の誤検出などが多くなり、補正精度が低下してしまう。特に、画像移動量の検出を少ない演算量で正確に行うことは極めて困難であるという問題があった。

画像移動量の誤検出が発生する１つの要因として、複数画像の相互相関をとるという簡易手法を用いていることが考えられる。例えば、被写体中の複数箇所に同様の模様が存在する場合には、撮像された画像データの中に同様のパターンが何箇所にも出現する。この場合は、画像移動量を単純なマッチング演算で検出しようとしても、マッチングしたと見られる箇所が複数得られてしまい、正しいマッチング状態がどれであるかを求めることができない。

これに対して、マッチング演算よりもっと複雑な演算手法を用いて画像移動量を求めることも考えられる。しかしながら、最近のＣＣＤは画素数が飛躍的に多くなっており、これにより撮像される画像のデータ量も非常に大きくなっている。そのため、この画像データを対象とした複雑な演算には多くの時間がかかってしまう。演算時間が長くなると、その分ブレ検出の応答性が悪くなってしまうという問題があった。

本出願人は、このような問題点に鑑みて、正確で応答性の良いブレ補正を行うことを目的としたブレ補正装置に関する発明について特許出願をしている（例えば、特許文献２参照）。この特許文献２の中では、基準の画像（参照画像）と比較対象の画像（走査画像）との各々からヒストグラムを生成し、ヒストグラムのマッチング処理によって画像移動量を求めることについて開示している。
特開２００４−３４３４８３号公報

しかしながら、特許文献２に記載の技術では、撮像された画像データの中に同様のパターンが複数箇所に出現するような場合に、ヒストグラムでマッチングしたと見られる箇所が複数得られてしまう可能性が依然としてある。そのため、正しいマッチング状態がどれであるかを求めることが困難となることがあり、画像移動量の検出精度向上に限界があった。

また、上記特許文献２に記載の技術では、参照画像と走査画像との比較を行うことによって画像移動量を求める際に、画像中に存在する移動物体による画像パターンの移動については殆ど考慮していない。そのため、移動量を検出する対象の画像中に移動物体が存在すると、その移動物体の動きに大きな影響を受けてしまい、画像移動量の誤検出を生じる可能性が高くなってしまう。特に動画のブレを検出する場合には、静止画のブレを検出する場合に比べて画像移動量の検出精度が相対的に悪くなってしまうという問題があった。

本発明は、このような問題を解決するために成されたものであり、画像移動量の検出精度を向上させることができるようにすることを目的とする。

上記した課題を解決するために、本発明では、画像データから投影データ列を求める処理と、データ列の相関演算によって画像類似度に関する評価値を求める処理との間でフィルタ処理を行うようにし、投影データ列を、波長が所定長以上の低周波成分を多く含む特徴値データ列に変換するようにしている。

本発明の他の態様では、投影データ列を求める際に、画像データを複数の領域に分割し、分割した領域のそれぞれ毎に投影データ列を求めるようにしている。また、本発明の他の態様では、複数の評価値を求める際に、特徴値データ列を複数のデータ列に分割し、分割したデータ列のそれぞれ毎に複数の評価値を求めるようにしている。

上記のように構成した本発明によれば、相関演算を行う対象となるデータ列の波長が比較的長くなるため、データ列を走査してそれぞれの走査位置毎に相関値を求めたときに、相関値が大きくなって画像が一致したと見られる箇所の数が少なくなる。これにより、画像の比較でマッチングしたと見られる候補の数をできるだけ少なくして画像移動量の検出精度を向上させることができる。

本発明の他の特徴によれば、画像移動量を検出する対象の画像中に被写体としての移動物体が存在しても、その移動物体の動きが画像移動量の検出に影響を与える範囲を、分割領域の大きさに制限することができる。例えば、あるタイミングの画像中である場所に存在した移動物体が次のタイミングの画像中で他の場所に移動していたとする。このとき、その移動が異なる分割領域にまたがって行われていると、それぞれの分割領域内では、あるタイミングの画像と次のタイミングの画像間で相関をとったときに移動物体に関して画像が一致したと見られることはなくなる。すなわち、画像の比較で移動物体に関してマッチングしたと見られる可能性をできるだけ低くすることができる。これにより、移動量を検出する対象の画像中に移動物体が存在してもその画像の動きによる影響を受けにくくして画像移動量の検出精度を向上させることができる。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態によるブレ検出装置の要部構成例を示す機能ブロック図である。また、図２〜図４は、本実施形態によるブレ検出装置を適用したデジタルビデオカメラ１０の全体構成例を示すブロック図である。

図２に示すように、デジタルビデオカメラ１０は、シャッタ１１ａ、レンズ１１ｂおよびアイリス１１ｃを備えた光学系１１と、ＣＣＤあるいはＣＭＯＳ等の撮像素子１２と、プログラマブルゲインアンプ（ＰＧＡ）１３と、Ａ／Ｄ変換器１４と、信号処理部１５と、ブレ補正部１６と、自動露出調整および自動焦点調整の処理を行うＡＥ／ＡＦ処理部１７と、デジタルビデオカメラ１０の全体を制御するコントローラ１８とを備えて構成されている。

このように構成されたデジタルビデオカメラ１０において、光学系１１への入射光は撮像素子１２にて結像される。撮像素子１２では、結像した入射光を光電変換して、当該入射光に応じたアナログの撮像信号を生成する。ここで生成された撮像信号は、ＰＧＡ１３でゲインが上げられた後、Ａ／Ｄ変換器１４に供給されてデジタルの画像データに変換される。このように、ＰＧＡ１３でアナログ撮像信号のゲインを上げることにより、Ａ／Ｄ変換器１４における量子化により階調が粗くなる弊害を少なくすることができる。

Ａ／Ｄ変換器１４で得られた画像データは、信号処理部１５に供給される。信号処理部１５は、入力された画像データに対して色補間処理、色補正処理、ＲＧＢ（赤、緑、青の３原色信号）からＹＣｂＣｒ（輝度信号および青の色差信号と赤の色差信号）への変換処理等を含む各種信号処理を行い、その結果をブレ補正部１６に出力する。ブレ補正部１６は、図１のように構成した本実施形態のブレ検出装置を備えており、信号処理部１５から受け取った輝度データをもとにブレ検出（画像移動量の検出）およびブレ補正の処理を行う。

なお、デジタルビデオカメラ１０は、図３のように構成しても良い。図３の例では、信号処理部１５とブレ補正部１６の処理順序を入れ替えている。すなわち、図２の例では、ブレ補正部１６は、信号処理部１５で信号処理された後の画像データを用いてブレ補正処理を行っていたのに対し、図３の例では、ブレ補正部１６は、信号処理部１５で信号処理が行われる前の画像データを用いてブレ補正処理を行っている。

また、デジタルビデオカメラ１０は、図４のように構成しても良い。図４の例では、デジタルビデオカメラ１０はブレ補正部１６を備えておらず、デジタルビデオカメラ１０とは別の外部装置（例えば、パーソナルコンピュータ（パソコン））２０がブレ補正部１６を備えている。すなわち、この図４の例では、信号処理部１５によって生成された画像データは、通信ネットワークやリムーバル記録媒体などを介して外部装置２０に入力される。そして、外部装置２０に備えられたブレ補正部１６によって、ブレ補正処理が実行される。

図５は、ブレ補正部１６によって行われるブレ補正処理の概要を説明するための図である。本実施形態では、ブレを検出する技術として動きベクトル検出方式を用い、かつ、ブレを補正する技術として電子式を用いる。すなわち、図５に示すように、実際の出力画像エリア２１よりも撮像エリア２２が大きな撮像素子１２を用意し、撮像エリア２２の一部を切り取って出力画像エリア２１として使用する。その際、本実施形態のブレ検出装置により画像移動量２３を検出し、検出された画像移動量２３に応じて画像切り出しエリア（出力画像エリア）２１を上下左右に動かすことによって、ブレの少ない出力画像を得る。

図６は、入力画像の大きさと像ブレの最大補正量（最大の画像移動量）との関係を説明するための図である。図６に示すように、入力画像（撮像エリア２２）の大きさは、水平方向の幅（画素数）がＷ、垂直方向の高さ（画素数）がＨであるとする。出力画像エリア２１の位置が撮像エリア２２の中央にあるとき、水平方向に対する左右それぞれのブレの最大補正量Ｕは、Ｕ＝Ｗ×ｍ（ｍは定数で、例えばｍ＝０．１）とする。また、垂直方向に対する上下それぞれのブレの最大補正量Ｖは、Ｖ＝Ｈ×ｎ（ｎは定数で、例えばｎ＝０．１）とする。

なお、ブレの最大補正量（ｍ，ｎの値）を大きくし過ぎると、以下に述べる画像移動量検出の演算量が増えて処理速度が遅くなる。逆に、ブレの最大補正量を小さくし過ぎると、ブレ補正が効きにくくなってしまう。したがって、ブレの最大補正量は大き過ぎも小さ過ぎもしない適当な値に設定することが好ましい。ｍ＝ｎ＝０．１というのは好ましい値の一例である。

次に、図１に基づいて、本実施形態によるブレ検出装置の構成を説明する。図１に示すように、本実施形態のブレ検出装置は、その機能構成として、投影データ列作成部１、フィルタ処理部２、評価値列作成部３、画像移動量決定部４を備えている。投影データ列作成部１は、水平方向および垂直方向の２次元状に複数の画素値を有する画像データに対して所定の演算を行うことにより、１次元状に複数のデータ値を有する投影データ列を求める。

図７および図８は、この投影データ列作成部１の処理内容を説明するための図である。図７および図８に示すように、本実施形態では水平方向に対する投影データ列と垂直方向に対する投影データ列とを求める。水平方向の投影データ列を求める際には、図７に示すように、画像データを水平方向に分割し（例えば、３分割）、分割した複数の領域（上領域、横中領域、下領域）のそれぞれ毎に投影データ列を求めるのが好ましい。

水平方向の投影データ列を求める演算は、例えば次の（式１）に示すものである。この（式１）は、あるｘ座標における１つの水平方向投影データを求める式を示している。すなわち、あるｘ座標において垂直方向に並んでいる複数の画素値を全て加算することによって、１つの水平方向投影データを求める。これを水平方向の全てのｘ座標について行うことにより、水平方向の投影データ列を求める。これにより、水平方向投影データ列の幅（データの数）はＷとなる。

また、垂直方向の投影データ列を求める際には、図８に示すように、画像データを垂直方向に分割し（例えば、３分割）、分割した複数の領域（左領域、縦中領域、右領域）のそれぞれ毎に投影データ列を求めるのが好ましい。垂直方向の投影データ列を求める演算は、例えば次の（式２）に示すものである。この（式２）は、あるｙ座標における１つの垂直方向投影データを求める式を示している。すなわち、あるｙ座標において水平方向に並んでいる複数の画素値を全て加算することによって、１つの垂直方向投影データを求める。これを垂直方向の全てのｙ座標について行うことにより、垂直方向の投影データ列を求める。これにより、垂直方向投影データ列の幅（データの数）はＨとなる。

フィルタ処理部２は、投影データ列作成部１により求められた投影データ列に対して所定のフィルタ処理を行うことにより、波長が所定長以上の低周波成分を多く含む特徴値データ列を求める。このフィルタ処理は、分割した領域のそれぞれ毎に求められた複数の投影データ列（水平方向に関する上領域投影データ列、横中領域投影データ列、下領域投影データ列、および、垂直方向に関する左領域投影データ列、縦中領域投影データ列、右領域投影データ列の６つの投影データ列）に対してそれぞれ行う。

図９および図１０は、フィルタ処理部２によって特徴値データ列を求める際の処理内容を説明するための図である。図９に示すように、幅Ｗ（データ数がＷ個）の水平方向投影データ列に対して所定サイズ（例えば、長さが４Ｕ）の１次元フィルタをかけることにより、水平方向の特徴値データ列を求める。例えば、このフィルタは、中央における幅２Ｕの区間は係数値が＋１、その両側における幅Ｕの区間は係数値が−１に設定されたフィルタである。

フィルタ処理部２は、このような１次元フィルタを水平方向投影データ列の上で走査しながら、当該水平方向投影データ列に対して＋１または−１の係数値を積算していく。すなわち、水平方向投影データ列のｘ番目のデータを注目位置とした場合、その注目位置を中心として幅２Ｕの区間のデータ値を１倍し、更にその両側にある幅Ｕの区間のデータ値をそれぞれ−１倍して全て足し込み、その結果をｘ番目の特徴値データとする。このようなフィルタ処理を、注目位置を走査しながら順次行っていく。

なお、水平方向投影データ列の両端付近では幅４Ｕのフィルタをかけることができないので、水平方向特徴値データ列の幅（データの数）は、Ｗ−４Ｕ＋１となる。また、水平方向特徴値データ列は、主に波長が４Ｕ以上の低周波成分を有するものとなる。

また、図１０に示すように、幅Ｈ（データ数がＨ個）の垂直方向投影データ列に対して所定サイズ（例えば、長さが４Ｖ）の１次元フィルタをかけることにより、垂直方向の特徴値データ列を求める。例えば、このフィルタは、中央における幅２Ｖの区間は係数値が＋１、その両側における幅Ｖの区間は係数値が−１に設定されたフィルタである。

フィルタ処理部２は、このような１次元フィルタを垂直方向投影データ列の上で走査しながら、当該垂直方向投影データ列に対して＋１または−１の係数値を積算していく。すなわち、垂直方向投影データ列のｙ番目のデータを注目位置とした場合、その注目位置を中心として幅２Ｖの区間のデータ値を１倍し、更にその両側にある幅Ｖの区間のデータ値をそれぞれ−１倍して全て足し込み、その結果をｙ番目の特徴値データとする。このようなフィルタ処理を、注目位置を走査しながら順次行っていく。

なお、垂直方向投影データ列の両端付近では幅４Ｖのフィルタをかけることができないので、垂直方向特徴値データ列の幅（データの数）は、Ｈ−４Ｖ＋１となる。また、垂直方向特徴値データ列は、主に波長が４Ｖ以上の低周波成分を有するものとなる。

ここで示したフィルタは単なる一例に過ぎないが、係数が−１，＋１という単純な数値のみを用いることにより、演算を簡素化してフィルタ処理を高速に行うことができるようになる。

次いで、評価値列作成部３は、あるタイミング（例えば、フレームｔ）の画像データについて上述のようにして求められた特徴値データ列と、当該あるタイミングよりも時間的に前のタイミング（例えば、フレーム（ｔ−１））の画像データについて上述のようにして求められた特徴値データ列の中から一部を抜き出した抽出特徴値データ列とを用いて、複数の評価値から成る評価値列を求める。具体的には、フレーム（ｔ−１）の抽出特徴値データ列をフレームｔの特徴値データ列の範囲内で走査しながら、各走査位置での抽出特徴値データ列と特徴値データ列との相関を演算することにより、複数の評価値を求める。

図１１および図１２は、評価値列作成部３の処理内容を説明するための図である。評価値列を求める処理は、投影データ列作成部１が分割した領域のそれぞれ毎に求められた複数の特徴値データ列に対してそれぞれ行う。図１１は、その中の１つの特徴値データ列に対する処理の内容を示したものである。図１１に示すように、評価値列を求める際には、特徴値データ列を複数のデータ列に分割し、分割したデータ列のそれぞれ毎に評価値列を求めるのが好ましい。

本実施形態では、フレームｔにおける１つの特徴値データ列を、オーバーラップを許して複数に分割する（例えば、３分割）。ここで、オーバーラップさせることは必須ではない。なお、分割されたそれぞれの特徴値データ列を「分割特徴値データ列」と呼ぶことにする。

フレーム（ｔ−１）の画像データからも同様にして分割特徴値データ列を求めており、その分割特徴値データ列からデータ長Ｘのデータ列を抽出する。例えば、分割特徴値データ列の中央部分からＸ個のデータ値を抽出する。この抽出した特徴値データ列を「抽出特徴値データ列」と呼ぶことにする。抽出特徴値データ列のデータ長Ｘは任意であるが、例えば、水平方向の場合はＸ＝Ｕ、垂直方向の場合はＸ＝Ｖとすることができる。

なお、抽出特徴値データ列のデータ長Ｘが長くなり過ぎると、画像移動量を検出する対象の画像中に被写体として存在する移動物体の影響を受けやすくなる。逆に、データ長Ｘが短くなりすぎると、評価値列の精度が低くなる。したがって、抽出特徴値データ列のデータ長Ｘは長過ぎも短か過ぎもしない適当な値に設定することが好ましい。Ｘ＝Ｕ（Ｖ）というのは好ましい値の一例である。

また、分割特徴値データ列のデータ長は、次の通りとする。水平方向特徴値データ列から分割特徴値データ列を作成する場合は、水平方向に対するブレの最大補正量が±Ｕ（幅２Ｕ）なので、分割特徴値データ列のデータ長がＸ＋２Ｕとなるように特徴値データ列を分割する。一方、垂直方向特徴値データ列から分割特徴値データ列を作成する場合は、垂直方向に対するブレの最大補正量が±Ｖ（幅２Ｖ）なので、分割特徴値データ列のデータ長がＸ＋２Ｖとなるように特徴値データ列を分割する。

評価値列作成部３は、このようにして作成したフレームｔの分割特徴値データ列とフレーム（ｔ−１）の抽出特徴値データ列との相関演算を行うことによって評価値列を求める。具体的には、フレーム（ｔ−１）の抽出特徴値データ列をフレームｔの分割特徴値データ列の範囲内で走査しながら、各走査位置での抽出特徴値データ列と分割特徴値データ列との相関を演算することにより、評価値列を求める。

評価値列を求める演算は、例えば次の（式３）に示すものである。この（式３）に示す演算の内容をイメージ的に表したのが、図１２である。図１２および（式３）において、分割特徴値データ列のデータ値はＭ_[j+i]、抽出特徴値データ列のデータ値はＴ_[j]で表している。ここで、ｊは抽出特徴値データ列におけるデータ位置を表し（ｊ＝１〜Ｘ）、ｉは抽出特徴値データ列の分割特徴値データ列上における走査位置を表している（水平方向ではｉ＝−Ｕ〜＋Ｕ、垂直方向ではｉ＝−Ｖ〜＋Ｖ）。

図１２および（式３）に示すように、ある走査位置ｉにおける相関値は、抽出特徴値データ列のデータ値Ｔ_[j]と分割特徴値データ列のデータ値Ｍ_[j+i]との差分の２乗の総和で求める。このような相関演算を、走査位置ｉを水平方向であれば−Ｕ〜＋Ｕ、垂直方向であれば−Ｖ〜＋Ｖの間で走査しながら順次行っていく。これにより、１つの分割特徴値データ列から、水平方向で（２Ｕ＋１）個、垂直方向で（２Ｖ＋１）個の評価値が得られる。

ここで、水平方向特徴値データ列は３個あり、それぞれが３分割されることから水平方向分割特徴値データ列は全部で９個ある。その各々から（２Ｕ＋１）個の評価値が求められることから、水平方向に対する評価値は全部で９×（２Ｕ＋１）個となる。これらの評価値を求めたときの走査位置ｉが全て、水平方向に対する画像移動量の候補である。同様に、垂直方向に対する評価値は全部で９×（２Ｖ＋１）個となる。これらの評価値を求めたときの走査位置ｉが全て、垂直方向に対する画像移動量の候補である。

画像移動量決定部４は、評価値列作成部３により求められた複数の評価値の中から相関の大きい評価値を選び、その選んだ評価値を求めたときの走査位置ｉを画像移動量として決定する。（式３）によれば、評価値が小さいほど画像間の相関が高く、移動量候補としての評価が高いと言える。そこで、評価値が小さいものに対応する走査位置ｉを尤もらしい移動量として選択する。ここで、評価値が最小のものを１つ選択するという方法も考えられるが、多少のノイズがあることを考慮すると、尤もらしい移動量に対応する評価値が常に最小であるとは限らない。

このような理由から、本実施形態では、水平方向の画像移動量を求めるときには、９個の分割特徴値データ列毎に、（２Ｕ＋１）個の評価値の中から所定のしきい値以下の評価値を選んでそれに対応する移動量候補ｉを抽出する。これにより、９個の分割特徴値データ列からそれぞれ移動量候補ｉが抽出される。この場合、異なる分割特徴値データ列から同じ値の移動量候補ｉが抽出されることもあるし、１つの分割特徴値データ列からのみ抽出される移動量候補ｉも存在する。画像移動量決定部４は、９個の分割特徴値データ列からそれぞれ抽出された移動量候補ｉの値のうち、最も抽出頻度の高い移動量候補ｉを最終的に水平方向の画像移動量として決定する。

垂直方向の画像移動量を求めるときも同様である。すなわち、９個の分割特徴値データ列毎に、（２Ｖ＋１）個の評価値の中から所定のしきい値以下の評価値を選んでそれに対応する移動量候補ｉを抽出する。そして、９個の分割特徴値データ列からそれぞれ抽出された移動量候補ｉの値のうち、最も抽出頻度の高い移動量候補ｉを最終的に垂直方向の画像移動量として決定する。

本実施形態では上述したように、投影データ列に対してフィルタ処理を行い、波長が所定長以上（例えば、水平方向の場合は４Ｕ、垂直方向の場合は４Ｖ）の低周波成分を多く含む特徴値データ列に変換するようにしている。このようにすると、相関演算を行う対象となる特徴値データ列の波長が比較的長くなり、同じ傾向を持ったデータ列の現れる周期が長くなる。これにより、データ列を走査してそれぞれの走査位置毎に求めた評価値が所定のしきい値より小さくなって画像が一致したと見られる箇所の数を少なくすることができる。

図１３は、水平方向特徴値データ列の波長と一致箇所の数との関係をイメージ的に示す図である。例えば、図１３（ａ）のように特徴値データ列の波長がＵの場合、図１２に示したように評価値を求める際の走査量は２Ｕであるから、波長がその走査量２Ｕ以下だと、同じ傾向を持ったデータ列が走査範囲内で繰り返し現れ、分割特徴値データ列Ｍと抽出特徴値データ列Ｔとが複数箇所で一致したと判断されてしまう。図１３（ｂ）のように波長が２Ｕの場合も同様である。

これに対して、図１３（ｃ）および（ｄ）のように、特徴値データ列の波長が走査量の２Ｕより長くなると、分割特徴値データ列Ｍと抽出特徴値データ列Ｔとが一致したと見られる箇所は１箇所のみとなる。このように、本実施形態のフィルタ処理を行うことにより、特徴値データ列の比較でマッチングしたと見られる候補の数をできるだけ少なくして、画像移動量の検出精度を向上させることができる。なお、本実施形態ではフィルタ処理によって水平方向特徴値データ列の波長が４Ｕ以上となる低周波成分を多く含むようにしたが、これは一例に過ぎない。図１３から分かるように、走査量２Ｕより波長が長くなるような低周波成分を多く含む特徴値データ列を求める１次元フィルタであれば、これを適用することが可能である。

また、本実施形態では、画像データを複数に分割して特徴値データ列を求めるとともに、更にこれを複数に分割して評価値列（画像移動量の候補）を求めるようにしている。このようにすると、画像移動量を検出する対象の画像中に被写体としての移動物体が存在しても、その移動物体の動きが画像移動量の検出に与える影響を軽減することができる。

例えば図８において、フレーム（ｔ−１）の画像中で左領域内に存在した移動物体がフレームｔの画像中では右領域内まで移動していたとする。このとき、左領域内および右領域内では、フレーム（ｔ−１）の抽出特徴値データ列とフレームｔの分割特徴値データ列との間で相関をとったときに、移動物体の画像の移動に関して評価値が小さくなることはなく、時間的に前後の画像間で移動物体に関して一致したと見られる走査位置（画像移動量の候補）が検出されることはない。

また、フレーム（ｔ−１）の画像中で左領域内に存在した移動物体がフレームｔの画像中で同じ左領域内でわずかに移動していたとする。この場合は、左領域内では、移動物体の画像の移動に関して評価値が小さくなり、時間的に前後の画像間で移動物体に関して一致したと見られる走査位置が検出される。しかし、他の縦中領域および右領域においては、時間的に前後の画像間で移動物体に関して一致したと見られる走査位置が検出されることはない。つまり、移動物体による影響範囲を左領域内に留めることができる。また、仮に左領域内で移動物体による移動が画像移動量の候補として検出されることがあっても、画像移動量決定部４が最終的に画像移動量を決定する際に、移動物体の移動に起因して検出された画像移動量の候補は多数決によって振るい落とされる。

以上のように、画像を複数に分割して処理することにより、画像の比較で移動物体に関してマッチングしたと見られる可能性をできるだけ低くすることができる。これにより、画像移動量を検出する対象の画像中に移動物体が存在しても、その移動物体の動きによる影響を受けにくくして画像移動量の検出精度を向上させることができる。

なお、本実施形態では、投影データ列を求める際にも画像を複数に分割し、評価値列を求める際にも特徴値データ列を複数に分割する例について説明した。もちろん、このように両方で分割するのが好ましいが、必ずしも両方で分割することは必須ではない。

また、本実施形態では、画像を３分割して投影データ列を求めた後に、フィルタ処理を行い、その後で特徴値データ列を３分割して評価値列を求める例について説明した。これに対して、最初から画像を９分割して投影データ列を求めた後に、フィルタ処理を行い、それによって求まる特徴値データ列から評価値列を求めるようにすることも可能である。ただし、図９および図１０で示したように、フィルタ処理を行うとデータ長が短くなるので、９分割した後の比較的短いデータ長の投影データ列に対してフィルタ処理を行うよりも、３分割後の比較的長いデータ長の投影データ列に対してフィルタ処理を行う方が好ましい。

上述した本実施形態のブレ検出装置は、例えば、特許文献２に記載の発明における「大域移動量」に相当するものを検出するのに好適である。すなわち、図１４に示すように、画像を複数段階に亘って１／２ずつ縮小することにより、入力画像も含めて複数レベルの画像データを生成し、縮小率が最も大きい最上層の１／８縮小画像にて本実施形態のブレ検出手法を適用する。そして、これによって求めた画像移動量を使って、レベル１の下位層（１／４縮小画像）、レベル２の下位層（１／２縮小画像）、レベル３の下位層（入力画像）の画像移動量を順に求めていく。なお、レベル１〜レベル３の下位層における画像移動量の検出処理の内容は、特許文献２の記載を参照されたい。

なお、上記実施形態では、本実施形態のブレ検出装置をデジタルビデオカメラ１０に適用する例について説明したが、これに限定されない。例えば、動画撮影機能付きの携帯電話機など、動画撮影機能を有するものであれば適用することが可能である。また、動画撮影機能がなくても、複数枚の画像を撮像して静止画のブレを補正する機能を有する装置にも本実施形態のブレ検出装置を適用することが可能である。

本実施形態のブレ検出装置は、動画のブレ補正や静止画のブレ補正に応用することが可能であるが、これ以外にも、例えばモザイク画像の生成（スティッチング）にも応用することが可能である。ここで、モザイク画像とは、複数の画像をつなぎ合わせて作られた視野の広い画像のことを言う。

また、以上に説明した本実施形態によるブレ検出の手法は、ハードウェア構成、ＤＳＰ、ソフトウェアの何れによっても実現することが可能である。例えば、本実施形態のブレ検出装置は、デジタルビデオカメラ１０などへの組み込み実装可能なリアルタイム処理向きのソフトウェアとして実現することができる。

また、ハードウェア構成、ＤＳＰなどで構成する場合、上記実施形態に示すブレ検出装置の機能構成を半導体チップあるいは基板モジュール上などに実装することが可能である。なお、ブレ検出装置全体の機能構成を１つの半導体チップや基板モジュールに実装する必要は必ずしもなく、複数のチップあるいは複数の基板に分けて実装しても良い。

また、上述した（式１）〜（式３）は単なる一例を示したものであって、これに限定されるものではない。例えば、投影データ列を求める演算は、２次元の画像データから１次元のデータ列を求めることができる演算であれば、（式１）および（式２）以外の演算であっても良い。また、評価値列を求める演算は、時間的に前後の画像データ間の相関を求めることができる演算であれば、（式３）以外の演算であっても良い。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明のブレ検出装置および方法は、撮像装置に加わるブレに起因する撮像画像の画質低下を防ぐためのブレ補正機能を有する撮像装置に有用である。

本実施形態によるブレ検出装置の要部構成例を示す機能ブロック図である。 本実施形態によるブレ検出装置を適用したデジタルビデオカメラの全体構成例を示すブロック図である。 本実施形態によるブレ検出装置を適用したデジタルビデオカメラの全体構成例を示すブロック図である。 本実施形態によるブレ検出装置を適用したデジタルビデオカメラの全体構成例を示すブロック図である。 本実施形態のブレ補正部によって行われるブレ補正処理の概要を説明するための図である。 入力画像の大きさと像ブレの最大補正量（最大の画像移動量）との関係を説明するための図である。 本実施形態による水平方向投影データ列の作成処理を説明するための図である。 本実施形態による垂直方向投影データ列の作成処理を説明するための図である。 本実施形態による水平方向特徴値データ列の作成処理を説明するための図である。 本実施形態による垂直方向特徴値データ列の作成処理を説明するための図である。 本実施形態による評価値列の作成処理を説明するための図である。 本実施形態による評価値列の作成処理を説明するための図である。 本実施形態による特徴値データ列の波長と画像一致箇所の数との関係を説明するための図である。 本実施形態によるブレ検出手法の適用例を説明するための図である。

符号の説明

１ 投影データ列作成部
２ フィルタ処理部
３ 評価値列作成部
４ 画像移動量決定部
１６ ブレ補正部

Claims (7)

1. 水平方向および垂直方向の２次元状に複数の画素値を有する画像データに対して所定の演算を行うことにより、１次元状に複数のデータ値を有する投影データ列を求める投影データ列作成部と、
   上記投影データ列に対してフィルタ処理を行うことにより、波長が所定長以上の低周波成分を多く含む特徴値データ列を求めるフィルタ処理部と、
   あるタイミングの画像データについて上記投影データ列作成部および上記フィルタ処理部によって求められた特徴値データ列と、上記あるタイミングよりも時間的に前のタイミングの画像データについて上記投影データ列作成部および上記フィルタ処理部によって求められた特徴値データ列から一部を抜き出した抽出特徴値データ列とを用いて、上記抽出特徴値データ列を上記特徴値データ列の範囲内で走査しながら、各走査位置での上記抽出特徴値データ列と上記特徴値データ列との相関を演算することにより、複数の評価値を求める評価値列作成部と、
   上記複数の評価値の中から相関の大きい評価値を選び、その選んだ評価値が求められた走査位置をもとに画像移動量を決定する画像移動量決定部とを備えたことを特徴とするブレ検出装置。
2. 上記投影データ列作成部は、上記画像データを複数の領域に分割し、分割した領域のそれぞれ毎に上記投影データ列を求めるように成され、
   上記フィルタ処理部および上記評価値列作成部の処理は、上記分割した領域のそれぞれ毎に求められた複数の投影データ列に対してそれぞれ行うように成されていることを特徴とする請求項１に記載のブレ検出装置。
3. 上記評価値列作成部は、上記特徴値データ列を複数のデータ列に分割し、分割したデータ列のそれぞれ毎に上記複数の評価値を求めるように成されていることを特徴とする請求項１または２に記載のブレ検出装置。
4. 上記フィルタ処理部は、波長が上記所定長以上の低周波成分を多く含む特徴値データ列を求める１次元フィルタであって、係数値が＋１および−１のみで構成された１次元フィルタを用いて、上記投影データ列に対してフィルタ処理を行うことを特徴とする請求項１〜３の何れか１項に記載のブレ検出装置。
5. 水平方向および垂直方向の２次元状に複数の画素値を有する画像データに対して所定の演算を行うことにより、１次元状に複数のデータ値を有する投影データ列を求める第１のステップと、
   上記投影データ列に対してフィルタ処理を行うことにより、波長が所定長以上の低周波成分を多く含む特徴値データ列を求める第２のステップと、
   あるタイミングの画像データについて求められた特徴値データ列と、上記あるタイミングよりも時間的に前のタイミングの画像データについて求められた特徴値データ列から一部を抜き出した抽出特徴値データ列とを用いて、上記抽出特徴値データ列を上記特徴値データ列の範囲内で走査しながら、各走査位置での上記抽出特徴値データ列と上記特徴値データ列との相関を演算することにより、複数の評価値を求める第３のステップと、
   上記複数の評価値の中から相関の大きい評価値を選び、その選んだ評価値が求められた走査位置をもとに画像移動量を決定する第４のステップとを有することを特徴とするブレ検出方法。
6. 上記第１のステップでは、上記画像データを複数の領域に分割し、分割した領域のそれぞれ毎に上記投影データ列を求め、
   上記第２のステップおよび上記第３のステップの処理は、上記分割した領域のそれぞれ毎に求められた複数の投影データ列に対してそれぞれ行うことを特徴とする請求項５に記載のブレ検出方法。
7. 上記第３のステップでは、上記特徴値データ列を複数のデータ列に分割し、分割したデータ列のそれぞれ毎に上記複数の評価値を求めることを特徴とする請求項５または６に記載のブレ検出方法。

Images