JP2019062340A - 像振れ補正装置および制御方法 - Google Patents

Abstract

【課題】特徴点の３次元座標を利用した精度の良い像振れ補正を実行することができる像振れ補正装置を提供する。【解決手段】像振れ補正装置が、撮像画像における特徴点を追跡して、特徴点追跡情報を算出し、装置に加わる振れに係る振れ情報に基づき算出される上記装置の位置姿勢情報と、特徴点追跡情報とに基づいて、被写体と前記装置との奥行きを含めた位置関係を特徴点の３次元座標として推定する。また、像振れ補正装置は、上記３次元座標の推定に対する特徴点の寄与度を制御する。そして、像振れ補正装置が、特徴点の３次元座標の推定結果に応じて、位置姿勢情報を補正し、上記振れ情報と位置姿勢情報とを合成して、像振れ補正レンズ１０３の目標位置を算出して、像振れ補正レンズ１０３を駆動する。【選択図】図１

Description

本発明は、像振れ補正装置および制御方法に関する。

デジタルカメラ等の撮像装置による画像撮像時に、カメラ本体部を保持するユーザの「手振れ」等で被写体像に振れ（像振れ）が生ずる場合がある。この像振れを補正する像振れ補正手段を備える撮像装置が提案されている。像振れ補正処理には、光学式像振れ補正処理と電子式像振れ補正処理がある。光学式像振れ補正処理では、角速度センサ等でカメラ本体部に加えられた振動を検出し、検出結果に応じて撮影光学系内に設けた補正レンズを移動させる。撮影光学系の光軸方向を変化させて撮像素子の受光面に結像される像を移動させることにより、像振れが補正される。また、電子式像振れ補正処理では、撮影画像に対する画像処理により、擬似的に像振れを補正する。

手振れによる像振れを補正するためには、撮像装置の位置姿勢変化を検出する必要がある。撮像装置の姿勢および位置を検出する自己位置推定方法として、公知のＳＦＭと、Ｖｉｓｕａｌａｎｄ Ｉｎｅｒｔｉａｌ Ｓｅｎｓｏｒ Ｆｕｓｉｏｎ技術を応用して、実空間内に存在する物体の３次元座標と撮像装置の位置姿勢を推定する手法が知られている。ＳＦＭは、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎの略称である。Ｖｉｓｕａｌａｎｄ Ｉｎｅｒｔｉａｌ Ｓｅｎｓｏｒ Ｆｕｓｉｏｎ技術は、慣性センサを用いた位置姿勢推定に関する技術である。特許文献１は、特徴点の動きの追跡結果を利用して像振れを補正する技術を開示している。

特開２０１６−１１９５７２号公報

しかし、画像間の視差量が少ない場合、ＳＦＭによる物体の３次元座標推定が失敗する場合がある。特許文献１が開示する技術では、画像間の視差量が大きくなるように追跡を行う画像を選択することで視差量が小さくなることを回避しているが、視差量の小さい画像間の当該視差量を反映した処理を行うことができない。したがって、処理が行われない期間が生じ、像振れ補正に関して制御されない期間が発生する。特に、細かな手振れにより像振れが長期間発生する場合、特許文献１が開示する技術では、像振れを補正することができない。本発明は、特徴点の３次元座標を利用した精度の良い像振れ補正を実行することができる像振れ補正装置の提供を目的とする。

本発明の一実施形態の像振れ補正装置は、撮像画像における特徴点を追跡し、前記特徴点の座標情報を特徴点追跡情報として算出する特徴点追跡手段と、撮像装置に加わる振れに係る振れ情報に基づき算出される前記撮像装置の位置姿勢情報と、前記特徴点追跡情報とに基づいて、被写体と前記撮像装置との奥行きを含めた位置関係を特徴点の３次元座標として推定する３次元座標推定手段と、前記３次元座標の推定に対する特徴点の寄与度を制御する制御手段と、前記特徴点の３次元座標の推定結果に応じて、前記撮像装置の位置姿勢情報を補正する補正手段と、前記振れ情報と前記位置姿勢情報とを合成して、前記撮像装置に加わる振れにより生じる画像振れの補正に用いる振れ補正手段の目標位置を算出する目標位置算出手段と、前記目標位置に従って、前記振れ補正手段を駆動する駆動手段とを備える。

本発明の像振れ補正装置によれば、特徴点の３次元座標を利用した精度の良い像振れ補正を実行することができる。

撮像装置の構成例を示す図である。 像振れ補正装置の構成例を示す図である。 像振れ補正装置の動作処理を説明する図である。 特徴点追跡部の構成例を示す図である。 特徴点追跡部の動作処理の例を説明するフローチャートである。 特徴点の抽出の例を説明する図である。 ブロックマッチング法の適用例を説明する図である。 相関値マップの例を示す図である。 相関値と画素アドレスとの関係を示す図である。 追跡信頼度を表わす相関値の指標の一例を示す図である。 相関値の指標と追跡信頼度との対応付けの一例を示す図である。 特徴点重みの決定処理の例を説明する図である。 特徴点の３次元座標の推定処理を説明する図である。 特徴点の３次元座標の推定処理を説明する図である。 位置姿勢推定値の補正の例を説明するフローチャートである。 目標位置算出部の構成例を示す図である。 目標値算出処理の例を説明するフローチャートである。 ゲイン乗算器のゲインの決定の例を説明する図である。

図１は、本実施形態の撮像装置の構成例を示す図である。また、図２は、撮像装置が備える像振れ補正装置の構成例を示す図である。
本発明は、ビデオカメラ、デジタルカメラ及び銀塩スチルカメラといった撮像装置の他、双眼鏡、望遠鏡、フィールドスコープといった観察装置を含む光学機器に適用可能である。また、本発明は、デジタル一眼レフ用の交換レンズのような光学機器にも適用可能である。以下では、撮像装置の振れ検出信号を用いて像振れの補正を行う動作を「像振れ補正動作」という。

図１に示す撮像装置は、例えばデジタルスチルカメラである。なお、撮像装置が動画撮影機能を有していても良い。撮像装置はズームユニット１０１を備える。ズームユニット１０１は、結像光学系を構成する、倍率が可変な撮影レンズの一部であり、撮影倍率を変更するズームレンズを含む。ズーム駆動部１０２は、制御部１１７の制御信号に従ってズームユニット１０１を駆動する。

像振れ補正レンズ１０３は、撮像装置に加わる振れにより生じる画像振れ（像振れ）の補正に用いられる補正部材（振れ補正手段）である。像振れ補正レンズ１０３は、撮影レンズの光軸方向に対して直交する方向に移動可能である。像振れ補正レンズ駆動部１０４は、制御部１１７の制御により、像振れ補正レンズ１０３を駆動する。絞り・シャッタユニット１０５は、絞り機能を有するメカニカルシャッタを有する。絞り・シャッタ駆動部１０６は、制御部１１７の制御信号に従って、絞り・シャッタユニット１０５を駆動する。焦点調節に使用するフォーカスレンズ１０７は、撮影レンズの一部であり、撮影レンズの光軸に沿って位置を変更可能である。フォーカス駆動部１０８は、制御部１１７の制御信号に従って、フォーカスレンズ１０７を駆動する。

撮像部１０９は、撮影光学系により結像される光学像を、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサ等の撮像素子を用いて画素単位の電気信号に変換する。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略称である。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅの略称である。

撮像信号処理部１１０は、撮像部１０９が出力した電気信号に対して、Ａ（Ａｎａｌｏｇ）／Ｄ（Ｄｉｇｉｔａｌ）変換、相関二重サンプリング、ガンマ補正、ホワイトバランス補正、色補間処理等を行い、映像信号に変換する。映像信号処理部１１１は、撮像信号処理部１１０が出力した映像信号を用途に応じて加工する。具体的には、映像信号処理部１１１は、表示用の映像データを生成し、また記録用に符号化処理やデータファイル化を行う。表示部１１２は、映像信号処理部１１１が出力する表示用の映像信号に基づいて、必要に応じて画像表示を行う。

電源部１１３は、撮像装置全体に、用途に応じて電源を供給する。外部入出力端子部１１４は、外部装置との間で通信信号及び映像信号の入出力に使用する。操作部１１５は、ユーザが撮像装置に指示を与えるためのボタンやスイッチ等を有する。記憶部１１６は、映像情報等を含む様々なデータを記憶する。

制御部１１７は、例えばＣＰＵ、ＲＯＭ、ＲＡＭを有し、撮像装置全体を制御する。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＲＯＭに記憶された制御プログラムをＲＡＭに展開してＣＰＵが実行することによって、撮像装置の各部が制御され、以下に説明する様々な動作を含む撮像装置の動作が実現される。

操作部１１５は、レリーズボタンの押し込み量に応じて第１スイッチ（ＳＷ１と記す）および第２スイッチ（ＳＷ２と記す）が順にオンするように構成されたレリーズスイッチを有する。レリーズボタンの半押し操作で、ＳＷ１がオンし、レリーズボタンの全押し操作で、ＳＷ２がオンする。

ＳＷ１がオンすると、制御部１１７は、映像信号処理部１１１が表示部１１２に出力する表示用の映像信号に基づいて、ＡＦ（オートフォーカス）評価値を算出する。そして、制御部１１７は、ＡＦ評価値に基づいてフォーカス駆動部１０８を制御することにより、自動焦点検出および焦点調節制御を行う。また、制御部１１７は、映像信号の輝度情報および予め定められたプログラム線図に基づいて、適切な露光量を得るための絞り値及びシャッタ速度を決定するＡＥ（自動露出）処理を行う。

ＳＷ２がオン操作されると、制御部１１７は、決定した絞り及びシャッタ速度で撮影を行い、撮像部１０９で得た画像データを記憶部１１６に記憶させるように各処理部を制御する。また、操作部１１５は、像振れ補正（防振）モードの選択に使用する操作スイッチを有する。この操作スイッチの操作により像振れ補正モードが選択されると、制御部１１７は、像振れ補正レンズ駆動部１０４に像振れ補正動作を指示する。制御部１１７の制御指令を受けた像振れ補正レンズ駆動部１０４は、像振れ補正のオフ指示がなされるまでの間、像振れ補正動作を行う。

また、操作部１１５は、静止画撮影モードと動画撮影モードのうちの一方を選択可能な撮影モード選択スイッチを有する。撮影モード選択スイッチのユーザ操作により撮影モードの選択処理が行われ、制御部１１７は、像振れ補正レンズ駆動部１０４の動作条件を変更する。像振れ補正レンズ駆動部１０４は、本実施形態の像振れ補正装置を実現する。また、操作部１１５は、再生モードを選択するための再生モード選択スイッチを有する。再生モード選択スイッチのユーザ操作によって再生モードが選択されると、制御部１１７は像振れ補正動作を停止させる制御を行う。また、操作部１１５は、ズーム倍率変更の指示を行う倍率変更スイッチを含む。倍率変更スイッチのユーザ操作によって、ズーム倍率変更の指示がされると、制御部１１７を介して指示を受けたズーム駆動部１０２は、ズームユニット１０１を駆動して、指示された位置にズームレンズを移動させる。

図２は、本実施形態の像振れ補正装置の構成例を示す図である。
像振れ補正装置は、撮像装置に加わる振れにより生じる像振れを、像振れ補正レンズ１０３を駆動することによって補正する。第１振動センサ２０１は、例えば角速度センサであり、通常姿勢（撮影画像の長さ方向が水平方向とほぼ一致する姿勢）における、撮像装置の垂直方向（ピッチ方向）、水平方向（ヨー方向）、光軸回りの回転方向（ロール方向）の振動を検出する。

第２振動センサ２０３は、例えば加速度センサであり、通常姿勢つまり撮影画像の長さ方向が水平方向とほぼ一致する姿勢における、撮像装置の垂直方向の移動量、水平方向の移動量、光軸方向の移動量を検出する。

特徴点追跡部２１０は、撮像信号処理部１１０より入力される映像信号すなわち撮像画像に係る信号に対して、特徴点を抽出し、追跡を行う。特徴点追跡部２１０は、特徴点の座標情報を特徴点追跡情報として算出する。また、特徴点追跡部２１０は、特徴点追跡情報の信頼度（以下、追跡信頼度と呼ぶ）を算出する。主被写体分離部２０８は、特徴点追跡部２１０で追跡した特徴点に対して、主被写体領域に属する特徴点と、主被写体以外の背景領域に属する特徴点とを分離する。

特徴点重み制御部２０９は、後述の３次元座標推定部２０６による特徴点の３次元座標推定において、撮像画像上の各特徴点が寄与する度合いを表す特徴点重みを制御する。統合処理部２０５は、３次元座標推定部２０６と位置姿勢推定部２０７を有する。統合処理部２０５は、第１振動センサ２０１および第２振動センサ２０３の出力（慣性センサ情報）と、主被写体分離部２０８および特徴点重み制御部２０９の出力とを統合し、撮像装置の位置姿勢および特徴点の３次元座標を推定する。

位置検出センサ２１１は、像振れ補正レンズ１０３のピッチおよびヨー方向における位置情報を出力する。位置情報は、加減算器２１３を通じて制御フィルタ２１４に供給される。目標位置算出部２１２は、第１振動センサ２０１からの、撮像装置のピッチ、ヨー方向の振れに係る振れ検出信号（振れ角速度）と、統合処理部２０５の出力とに基づき、像振れ補正レンズ１０３をピッチ方向、ヨー方向に駆動する目標位置制御信号を生成する。目標位置制御信号は、加減算器２１３を通じて、制御フィルタ２１４に供給される。

制御フィルタ２１４は、目標位置算出部２１２からの目標位置制御信号と、位置検出センサ２１１からの像振れ補正レンズ１０３の位置情報を取得して、フィードバック制御を行う。これにより、制御フィルタ２１４は、位置検出センサ２１１からの位置検出の信号値が、目標位置算出部２１２からの目標位置制御信号値に収束するよう、アクチュエータである像振れ補正レンズ駆動部１０４を制御する。像振れ補正レンズ駆動部１０４は、目標位置算出部２１２からの目標位置制御信号値にしたがって、像振れ補正レンズ１０３を駆動する。なお、Ａ／Ｄ変換部２０２、２０４および２１７は、それぞれ、第１振動センサ２０１、第２振動センサ２０３および位置検出センサ２１１が検出したアナログ値をデジタル値へ変換する。

図３は、本実施形態の像振れ補正装置の動作処理を説明する図である。
Ｓ３０１において、撮像部１０９が撮像素子により光信号を電気信号に変換する。これにより、撮像画像に係る画像信号が取得される。Ｓ３０２において、撮像信号処理部１１０が、画像信号をアナログ信号からデジタル信号に変換するとともに、所定の画像処理をを行う。そして、特徴点追跡部２１０が、画像における特徴点を追跡するとともに、追跡信頼度を算出する。特徴点追跡の詳細に関しては、後述する。

次に、Ｓ３０３において、主被写体分離部２０８が、Ｓ３０２で追跡された特徴点に対して、主被写体領域に属する特徴点と、主被写体以外の背景領域に属する特徴点とを分離する。特徴点の分離には、例えば公知のＫ−ｍｅａｎｓ法やＥＭアルゴリズムによるクラスタリングが用いられる。続いて、Ｓ３０４において、特徴点重み制御部２０９が、３次元座標推定部２０６による３次元座標推定に対して各特徴点が寄与する度合い（寄与度）を表す特徴点重みを制御する。特徴点重みの制御方法に関しては、後述する。

Ｓ３０１乃至Ｓ３０４の処理と並行して、Ｓ３０５乃至Ｓ３０９において、撮像装置の位置姿勢推定処理が実行される。まず、Ｓ３０５において、第１振動センサ２０１が、撮像装置に加わる振れ情報として、振れ角速度を検出する。Ｓ３０６において、微分器２１６が、像振れ補正レンズ１０３の撮影フレーム間の差分を演算することで、像振れ補正レンズ１０３の移動速度を算出する。

Ｓ３０７において、位置姿勢推定部２０７が、第１振動センサ２０１が出力する振れ角速度から、像振れ補正レンズ１０３の移動速度を減算することで、撮像装置の振れ補正残り角速度を算出する。Ｓ３０８において、例えば加速度センサである第２振動センサ２０３が、撮像装置の移動量を検出する。Ｓ３０９において、位置姿勢推定部２０７が、Ｓ３０７で算出された振れ補正残り角速度と、Ｓ３０８で検出された撮像装置の移動量とに基づいて、撮像装置の実空間上の位置姿勢を推定して、位置姿勢推定値（位置姿勢情報）を出力する。撮像装置の位置姿勢は、振れ補正残り角速度を用いて推定されるので、像振れ補正後の補正残り位置姿勢に相当する。

Ｓ３１０において、３次元座標推定部２０６が、Ｓ３０９で出力された位置姿勢推定値と、Ｓ３０４で決定された特徴点重みを持った背景領域の特徴点に関する情報とに基づいて、以下の処理を実行する。３次元座標推定部２０６は、被写体と撮像装置との奥行きを含めた位置関係を、特徴点の３次元座標として推定する。３次元座標の推定処理の詳細に関しては、後述する。

Ｓ３１１において、位置姿勢推定部２０７が、特徴点の３次元座標の推定結果に応じて、位置姿勢推定値を補正する。具体的には、位置姿勢推定部２０７は、Ｓ３１０で推定された特徴点の３次元座標と、Ｓ３０３で得られた背景領域の２次元特徴点座標とに基づいて、Ｓ３０９で得られる位置姿勢推定値を補正する。補正された位置姿勢推定値は、振れ補正残り角度信号として出力される。位置姿勢推定値の補正の詳細に関しては、後述する。

次に、Ｓ３１２において、目標位置算出部２１２が、Ｓ３０５で検出された振れ角速度と、Ｓ３１１で補正された位置姿勢推定値とに基づいて、像振れ補正レンズ１０３をピッチ方向、ヨー方向に駆動する目標位置制御信号を生成する。目標位置算出の詳細に関しては、後述する。そして、Ｓ３１３において、像振れ補正レンズ駆動部１０４が、Ｓ３１２で算出された目標位置に基づいて、像振れ補正レンズ１０３を駆動する。以下に、図３のＳ３０２における特徴点追跡部２１０の処理の詳細について説明する。

＜特徴点追跡の詳細＞
図４は、特徴点追跡部の構成例を示す図である。
特徴点追跡部２１０は、特徴点抽出部４０１乃至追跡信頼度算出部４０５を備える。特徴点抽出部４０１は、撮像画像から特徴点を抽出する。特徴点設定部４０２は、追跡対象とする特徴点を設定する。画像メモリ４０３は、撮像信号処理部１１０から入力された画像を一時的に記憶する。動きベクトル検出部４０４は、特徴点設定部４０２で設定された特徴点に基づいて、撮像信号処理部１１０および画像メモリ４０３から入力される画像に対して、動きベクトルの検出を行う。すなわち、動きベクトル検出部４０４は、撮像画像に係る信号に基づいて、動きベクトル情報を算出するベクトル算出手段として機能する。追跡信頼度算出部４０５は、追跡信頼度を算出する。

図５は、特徴点追跡部の動作処理の例を説明するフローチャートである。
Ｓ５０１において、特徴点抽出部４０１が、撮像信号処理部１１０からの入力画像に対して、特徴点を抽出する。

図６は、特徴点の抽出の例を説明する図である。
特徴点抽出部４０１は、例えば、図６に示すように、分割された複数の画像領域ごとに所定数の特徴点を抽出する。図６（Ａ）において、白い矩形領域が、特徴点抽出を行う特徴抽出領域である。特徴点抽出領域の周辺には、斜線で示す周辺領域が設けられている。抽出される特徴点の位置によっては、後述する動きベクトル検出に用いるテンプレート領域およびサーチ領域が特徴抽出領域をはみ出す。したがって、はみ出し分だけ余剰の画像領域として斜線で示す周辺領域が設けられている。図６（Ｂ）は、格子状に分割された画像領域ごとに１個の特徴点６０１を抽出する処理を示す。

特徴点の抽出方法としては、一般公知の方法を適用すればよい。例えば、Ｈａｒｒｉｓ ｃｏｒｎｅｒ検出器もしくはＳｈｉａｎｄＴｏｍａｓｉの手法が適用される。Ｈａｒｒｉｓ ｃｏｒｎｅｒ検出器もしくはＳｈｉａｎｄＴｏｍａｓｉの手法では、画像の画素（ｘ，ｙ）における輝度値をＩ（ｘ，ｙ）と表現する。そして、画像に対して水平および垂直の１次微分フィルタを適用した結果Ｉｘ，Ｉｙから、式（１）で示す自己相関行列Ｈを作成する。

式（１）において、Ｇは式（２）に示すガウス分布による平滑化を表す。

Ｈａｒｒｉｓ検出器は、式（３）に示す特徴評価式により、特徴量が大きくなる画素を特徴点として抽出する。

式（３）において、ｄｅｔは行列式を、ｔｒは対角成分の和を表す。また、αは定数であり、実験的に０．０４〜０．１５の値が良いとされている。

一方、ＳｈｉａｎｄＴｏｍａｓｉは、式（４）に示す特徴評価式を用いる。

式（４）は、式（１）の自己相関行列Ｈの固有値λ１，λ２のうち小さい方の固有値を特徴量とすることを表す。ＳｈｉａｎｄＴｏｍａｓｉを用いる場合でも、特徴量が大きくなる画素を特徴点として抽出する。式（３）または式（４）により画素の特徴量が算出され、特徴量が高い方から所定数の画素が特徴点として抽出される。

図５の説明に戻る。Ｓ５０２において、特徴点設定部４０２が、追跡対象とする特徴点を設定する。初期フレームに関しては、ステップＳ５０１で新たに抽出された特徴点をそのまま追跡対象として設定すれば良い。

Ｓ５０３において、動きベクトル検出部４０４が、Ｓ５０２で追跡対象として設定された特徴点を用いて、動きベクトルの検出を行う。動きベクトルの検出方法としては公知の相関法やブロックマッチング法などを適用する。動きベクトルの算出方法に関しては、公知の任意の手法を適用可能である。以下ではブロックマッチング法の適用例について説明する。

図７は、ブロックマッチング法の適用例を説明する図である。
図７（Ａ）は、２つのベクトル検出画像のうちの基準画像を示し、図７（Ｂ）は、参照画像を示している。この例では、基準画像として画像メモリ４０３に保持されているフレーム画像、参照画像として撮像信号処理部１１０から直接入力される画像データを用いることで、過去のフレーム画像から現在のフレーム画像への動きベクトルを算出する。なお、基準画像と参照画像とは、入れ替えて適用してもよい。基準画像と参照画像とを入れ替えて適用することは、現在のフレーム画像から過去のフレーム画像への動きベクトルを算出することを意味する。

動きベクトル検出部４０４は、基準画像にテンプレート領域７０１、参照画像にサーチ領域７０２を配置し、テンプレート領域７０１とサーチ領域７０２との相関値を算出する。テンプレート領域７０１は、図５のＳ５０２で設定された特徴点を中心に配置し、サーチ領域は、テンプレート領域を上下左右均等に包含するように、所定の大きさで配置すれば良い。

本実施形態では、相関値の算出方法として、差分絶対値和（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ：以下、ＳＡＤと略す）を用いる。ＳＡＤの計算式を式（５）に示す。

式（５）において、ｆ（ｉ，ｊ）は、テンプレート領域７０１内の座標（ｉ，ｊ）での輝度値を示す。また、ｇ（ｉ，ｊ）は、サーチ領域７０２内において相関値の算出対象となる領域（以下、相関値算出領域という）７０３内の各座標での輝度値を示す。ＳＡＤでは、両領域７０２，７０３内の輝度値ｆ（ｉ，ｊ），ｇ（ｉ，ｊ）の差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得る。相関値Ｓ＿ＳＡＤの値が小さいほど、テンプレート領域７０１と相関値算出領域７０３のテクスチャの類似度が高いことを表す。なお、相関値の算出にＳＡＤ以外の方法を用いてもよく、例えば差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）を用いてもよい。

動きベクトル検出部４０４は、サーチ領域７０２の全域にて相関値算出領域７０３を移動させて相関値を算出する。これにより、サーチ領域７０２に対して、例えば、図８に示す相関値マップが作成される。

図８は、相関値マップの例を示す図である。
図８（Ａ）は、サーチ領域７０２の座標系で算出した相関値マップを示す。Ｘ軸とＹ軸は相関値マップ座標、Ｚ軸は各座標での相関値の大きさを表している。また、図８（Ｂ）は、図８（Ａ）の等高線を示す。

図８（Ａ）および図８（Ｂ）において、最も小さい相関値の値は、極小値８０１であり、サーチ領域７０２内で極小値８０１が算出された領域には、テンプレート領域７０１と非常に類似したテクスチャが存在していると判定できる。極小値８０２は、二番目の極小値、極小値８０３は、三番目の極小値である。極小値８０２、８０３が算出された領域においては、極小値８０１が算出された領域に次いで類似したテクスチャが存在している。このように、動きベクトル検出部４０４は、テンプレート領域７０１とサーチ領域７０２との間で相関値を算出し、相関値が最も小さくなる相関値算出領域７０３の位置を判定する。これにより、動きベクトル検出部４０４は、基準画像上のテンプレート領域７０１の参照画像上での移動先を特定する。そして、動きベクトル検出部４０４は、基準画像上でのテンプレート領域の位置を基準とした参照画像上での移動先への方向および移動量を方向および大きさとした動きベクトルを検出する。

図５の説明に戻る。Ｓ５０４において、追跡信頼度算出部４０５が、Ｓ５０１で得られた特徴点情報と、ステップＳ５０３で得られた相関値情報の少なくともいずれかを用いて、追跡信頼度を算出する。相関値情報は、動きベクトル情報の算出の際に実行される相関値の演算結果である。

図９は、相関値と画素アドレスとの関係を示す図である。また、図１０は、追跡信頼度を表わす相関値の指標の一例を示す図である。また、図１１は、相関値の指標と追跡信頼度との対応付けの一例を示す図である。

図９乃至図１１（Ａ）を参照して、相関値情報を用いて追跡信頼度を算出する例を説明する。図９に示すグラフは、図８（Ｂ）の２次元相関値マップにおいて、相関値を８０４のようにラスター順に並べ１次元で表わしたグラフである。図９の縦軸は、相関値である。横軸は、相関値マップのＸ座標とＹ座標により一意に定まる画素アドレスである。以降、追跡信頼度を算出するため、図９の表現を用いることにする。なお、位置９０１は、図８の極小値に対応する位置である。

図１０（Ａ）に示す例では、指標として相関値の最小値と最大値の差分Ｄａを用いる。Ｄａは相関値マップのレンジを表わしており、Ｄａが小さい場合、テクスチャのコントラストが低いことが考えられ、追跡信頼度が低いことを示す。図１０（Ｂ）に示す例では、指標として相関値の最小値と最大値の差分Ａと、最小値と平均値の差分Ｂとの比率Ｄｂ（＝Ｂ／Ａ）を用いる。Ｄｂは、相関値ピークの急峻性を表わしており、Ｄｂが小さい場合、テンプレート領域とサーチ領域の類似度が低いと考えられ、追跡信頼度が低いことを示す。

図１０（Ｃ）に示す例では、指標として相関値の極小値と二番目の極小値の差分Ｄｃを用いる。相関値１００１、１００２、１００３は、それぞれ、図８の極小値８０１、８０２、８０３と対応している。Ｄｃは相関値マップの周期性を表わし、Ｄｃが小さい場合、テクスチャが繰り返しパターンやエッジなどであることが考えられ、追跡信頼度が低いことを示す。なお、この例では、極小値と二番目の極小値を選択したが、相関値マップの周期性を判定できれば良いため、その他の極小値を選択しても良い。

図１０（Ｄ）に示す例では、指標として相関値の最小値Ｄｄを用いる。Ｄｄが大きい場合、テンプレート領域とサーチ領域の類似度が低いと考えられ、追跡信頼度が低いことを表わす。Ｄｄと追跡信頼度は反比例の関係にあるため、Ｄｄの逆数（１／Ｄｄ）を指標とする。上記で説明した相関値の指標は、そのまま追跡信頼度として用いることができる。

また、図１１（Ａ）のように、相関値指標と追跡信頼度の対応付けを行っても良い。図１１（Ａ）の横軸は、相関値指標（上述のＤａ，Ｄｂ，Ｄｃ，１／Ｄｄのいずれか）である。縦軸は、追跡信頼度である。図１１（Ａ）では、二つの閾値Ｔ１，Ｔ２を設けており、Ｔ１以下なら追跡信頼度を０、Ｔ２以上なら追跡信頼度を１としている。閾値は、相関値指標ごとに変更しても良い。また、閾値Ｔ１とＴ２の間の区間は、相関値指標と追跡信頼度を非線形に対応付けても良い。以降の説明では、各相関値指標から得られる追跡信頼度をＲａ，Ｒｂ，Ｒｃ，Ｒｄと表現する。Ｒａ＝ｆ（Ｄａ），Ｒｂ＝ｆ（Ｄｂ），Ｒｃ＝ｆ（Ｄｃ），Ｒｄ＝ｆ（Ｄｄ）の関係にある。最終的な追跡信頼度Ｒ１は、Ｒａ，Ｒｂ，Ｒｃ，Ｒｄを組み合わせて算出すれば良い。以下では、重み付け加算と論理演算による組み合わせ方法を説明する。

重み付け加算による組み合わせでは、Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの重みをそれぞれＷａ，Ｗｂ，Ｗｃ，Ｗｄとすれば、追跡信頼度Ｒ１は式（６）のように計算される。

例えば、重みをＷａ＝０．４，Ｗｂ＝０．３，Ｗｃ＝０．２，Ｗｄ＝０．１とする。全ての追跡信頼度が十分に高く、Ｒａ＝Ｒｂ＝Ｒｃ＝Ｒｄ＝１の場合には、式（６）よりＲ１＝１．０となる。またＲａ＝０．６，Ｒｂ＝０．５，Ｒｃ＝０．７，Ｒｄ＝０．７のような場合には、式（６）よりＲ１＝０．６となる。

論理演算による組み合わせでは、Ｒａ，Ｒｂ，Ｒｃ，Ｒｄに対する閾値をそれぞれＴａ，Ｔｂ，Ｔｃ，Ｔｄとすれば、追跡信頼度Ｒ１は、例えば論理積を用いて、式（７）のように計算される。

Ｒａ≧Ｔａ、Ｒｂ≧Ｔｂ，Ｒｃ≧Ｔｃ，Ｒｄ≧Ｔｄが全て成立する場合に、Ｒ１＝１（高信頼）、それ以外の場合にＲ１＝０（低信頼）となる。

また、論理和を用いて式（８）のように計算しても良い。

Ｒａ＜Ｔａ、Ｒｂ＜Ｔｂ，Ｒｃ＜Ｔｃ，Ｒｄ＜Ｔｄの全てが成立しない場合にＲ１＝１（高信頼）、それ以外の場合にＲ１＝０（低信頼）となる。

次に、特徴点の特徴量を用いて追跡信頼度を算出する例を説明する。同一の特徴点を正しく追跡できている場合、追跡前後で特徴点の特徴量の変化は小さくなる。したがって、追跡信頼度算出部４０５は、追跡前後の特徴量の変化量に応じて、追跡信頼度を算出する。追跡信頼度算出部４０５は、特徴点の追跡前後で式（３）または式（４）により特徴量を算出し、両者の差分を取ることで特徴量の変化量を算出する。

図１１（Ｂ）の横軸は、特徴量の変化量、縦軸は追跡信頼度Ｒ２である。図１１（Ｂ）に示す例では、二つの閾値Ｔ１，Ｔ２を設けている。特徴量の変化量が閾値Ｔ１以下で小さい場合、同一の特徴点を正しく追跡できているとし、追跡信頼度Ｒ２を１にする。特徴量の変化量が閾値Ｔ２以上で大きい場合、異なる特徴点を誤追跡しているとし、追跡信頼度Ｒ２を０にする。閾値Ｔ１とＴ２の間の区間は、特徴量の変化量と追跡信頼度を非線形に対応付けても良い。以上の説明から、相関値情報と特徴点情報のそれぞれから追跡信頼度Ｒ１，Ｒ２を算出することができる。最終的な追跡信頼度Ｒとしては、いずれか一方を用いても良いし、両者を組み合わせて用いても良い。組み合わせに関しては、式（６）乃至式（８）の説明で述べたような重み付け加算や論理演算を用いれば良い。

図５の説明に戻る。Ｓ５０５において、特徴点追跡部２１０が、最終フレームまで処理が完了したかどうかを判定する。最終フレームまで処理が完了していない場合はＳ５０２に戻る。そして、特徴点設定部４０２は、Ｓ５０３で検出された動きベクトルの終点座標を、次のフレームでの追跡対象の特徴点として設定する。その結果、動きベクトルの終点座標は、特徴点の移動先を表しているので、複数フレームに渡り特徴点を追跡することが可能になる。

＜特徴点重みの決定処理の詳細＞
図１２は、図３のＳ３０４における特徴点重みの決定処理の例を説明する図である。
特徴点重み制御部２０９は、特徴点重みの制御に、例えば、図３のＳ３０２で得られる追跡信頼度と、フレーム間（撮像画像間）の視差量とを用いる。具体的には、特徴点重み制御部２０９が、図３のＳ３０３で得られる背景領域に属する特徴点のフレーム間の座標変位量を視差量として算出する視差量算出手段として機能する。

図１２（Ａ）は、追跡信頼度と特徴点重みの関係を示す。追跡信頼度が高い特徴点を用いるほど、３次元座標を精度よく推定できる。したがって、特徴点重み制御部２０９は、追跡信頼度が高いほど、特徴点重みが大きくなるように制御する。図１２（Ｂ）は、視差量と特徴点重みの関係を示す。視差量が大きい特徴点を用いるほど、３次元座標を精度よく推定できる。したがって、特徴点重み制御部２０９は、視差量が大きいほど、特徴点重みが大きくなるように制御する。

＜３次元座標推定の詳細＞
図１３および図１４は、図３のＳ３１０における特徴点の３次元座標の推定処理を説明する図である。
図１３は透視射影モデルと呼ばれ、特徴点の３次元座標Ｐ＝（Ｘ，Ｙ，Ｚ）と、それを撮像画像上に射影した２次元座標ｐ＝（ｕ，ｖ）との関係を表す。図１３に示す例では、仮想的な撮像面をレンズの前方に焦点距離ｆだけ離れた位置に設定している。ＯＷは、世界座標系の原点、ＯＣは、カメラ座標系の原点（カメラレンズ中心）、z 軸は、カメラ光軸を表している。Ｐは、世界座標系、ｐは、カメラ座標系で表現される。

透視投影変換では、３次元座標Ｐと２次元座標ｐの関係は、式（９）で表される。

Ｋは、内部パラメータ行列と呼ばれ、カメラ固有のパラメータである。Ｋは、ピクセル単位の焦点距離ｆと主点ｃ＝（ｃｘ，ｃｙ）から成る。この例では、主点を画像中心（０，０）とし、ｃｘ＝ｃｙ＝０として扱う。

また、Ｒおよびｔは、外部パラメータ行列と呼ばれ、世界座標系に対するカメラの位置姿勢を表す。Ｒは回転行列、ｔは並進移動行列である。Ｒの要素をＲ１１〜Ｒ３３、ｔの要素をｔｘ〜ｔｚで表す。

図１４は、２つの異なるカメラ位置姿勢から３次元座標Ｐを観測した状態を示す。
推定対象の３次元座標をＰ＝（Ｘ，Ｙ，Ｚ）とし、フレーム１でのカメラの位置をＯ（原点）、姿勢をＩ（単位行列）、その時の撮像画像上の特徴座標をｐ０＝（ｕ０，ｖ０）とする。また、フレーム２でのカメラの位置をＴ、姿勢をＲとし、撮像画像上の特徴座標をｐ１＝（ｕ１，ｖ１）とする。

式（９）より、３次元座標Ｐと、撮像画像上の２次元座標ｐ０，ｐ１との関係はそれぞれ式（１０）、式（１１）のように表される。

ｆは、焦点距離である。ＲおよびＴは、図３のＳ３０９で得られる位置姿勢推定値である。ｐ０およびｐ１の座標値は、図３のＳ３０４で得られる背景領域の特徴点情報を用いれば良い。したがって、式（１０）および式（１１）の連立方程式を解くことで、未知数Ｘ，Ｙ，Ｚを求め、３次元座標を得ることができる。なお、未知数の数がＸ，Ｙ，Ｚの３個であるのに対して、連立方程式の数は、特徴点を追跡するフレーム数をｎとすると２ｎ個になる。したがって、３次元座標Ｐを１フレームだけから観測した場合には、未知数の数が方程式の数よりも多いため、Ｐを一意に定めることができない。一方、２フレーム以上では、過剰条件の連立方程式となるので、例えば、公知の最小二乗法を用いて解くことができる。

＜位置姿勢推定値の補正＞
図１５は、図３のＳ３１１における位置姿勢推定値の補正の例を説明するフローチャートである。
Ｓ１５０１において、位置姿勢推定部２０７が、式（９）を用いて、ステップＳ３１０で推定した３次元座標を、撮影画像上の２次元座標に射影することによって変換する。続いて、Ｓ１５０２において、位置姿勢推定部２０７が、特徴点の３次元座標の推定誤差である再射影誤差を算出する。位置姿勢推定部２０７は、Ｓ１５０１で得られた特徴点の２次元座標と、実際に追跡（観測）される特徴点の２次元座標との差分と、特徴点重みとに基づいて、再射影誤差を算出する。実際に観測される特徴点の２次元座標は、図３のＳ３０３における特徴点の分離処理の際に得られる。

再射影誤差Ｅは、式（１２）で表される。

ｉは、フレーム番号を表す。ｊは、特徴点番号を表す。フレーム数をｎ、特徴点数をｍとすると、ｉ＝０〜ｎ−１、ｊ＝０〜ｍ−１の範囲で変化する。Ｗｉは、ｉ番目のフレームにおける特徴点重みを表す行列である。行列Ｗｉのｉ行ｊ列目の要素は、ｉ番目のフレームにおけるｊ番目の特徴点の重みｗｉｊであり、ステップＳ３０４で得られる。この特徴点重みが大きい特徴点ほど、再射影誤差に与える影響が大きくなり、後述するＳ１５０３における位置姿勢推定値の補正に対する寄与度が大きくなる。

次に、Ｓ１５０３において、位置姿勢推定部２０７が、Ｓ１５０２において算出された再射影誤差が最小になるように、振れ補正残りの位置姿勢推定値を補正する。再射影誤差は、実際に観測された撮像画像上の２次元座標と、３次元座標を撮像画像上に投影した２次元座標との誤差である。したがって、３次元座標と、追跡した２次元座標が正しい場合、座標誤差は、３次元座標を撮像画像上に投影した際の位置姿勢推定の誤差により生じていることになる。よって、再射影誤差が小さくなるほど、位置姿勢推定値は真値に近づくことになる。以上から、位置姿勢推定値の補正は、位置姿勢推定値を変数とした再射影誤差の最小化問題となる。位置姿勢推定部２０７は、例えば公知の重み付き最小二乗法を用いて、再射影誤差が最小となるように位置姿勢推定値の補正を行う。

＜目標位置算出の詳細＞
図１６は、目標位置算出部の構成例を示す図である。
目標位置算出部２１２は、ハイパスフィルタ１６０１、ローパスフィルタ１６０２、積分ゲイン１６０３、ゲイン乗算器１６０４、加算器１６０５を備える。ハイパスフィルタ１６０１は、第１振動センサ２０１の持つＤＣオフセット成分を除去する。ローパスフィルタ１６０２は、ハイパスフィルタ１６０１から出力された振れ角速度信号をフィルタ処理する。積分ゲイン部１６０３は、ローパスフィルタ１６０２の出力信号に積算される。これにより、振れ角速度信号が振れ角度信号に変換される。ゲイン乗算器１６０４は、統合処理部２０５の出力にゲインを乗算する。加算器１６０５は、積分ゲイン部１６０３の出力に対してゲイン乗算器１６０４からのフィードバック量を加算する。これにより、目標位置が算出される。

図１７は、図３のＳ３１２における目標値算出処理の例を説明するフローチャートである。
Ｓ１７０１において、ハイパスフィルタ１６０１が、図３のＳ３０５で第１振動センサ２０１により検出された撮像装置の振れ角速度信号に対して、ＤＣオフセット成分を除去する。Ｓ１７０２において、Ｓ１７０１でＤＣオフセット成分が除去された振れ角速度信号に対して、ローパスフィルタ１６０２がフィルタ処理を行う。Ｓ１７０３において、ローパスフィルタの出力に積分ゲイン１６０３が積算されて、振れ角速度信号が振れ角度信号に変換される。

次に、Ｓ１７０４において、目標値算出部２１２が、統合処理部２０５から出力される位置姿勢情報（振れ補正残り角度信号の信頼度）に応じて、ゲイン乗算器１６０４のゲインを決定する。そして、ゲイン乗算器１６０４が、振れ補正残り角度信号に対して、決定されたゲインを乗算する。目標値算出部２１２は、振れ補正残り角度信号の信頼度が高いほど、目標位置により積極的に反映させるため、ゲインを大きくする。

図１８は、ゲイン乗算器のゲインの決定の例を説明する図である。
目標位置算出部２１２は、再射影誤差または再射影誤差の算出に用いられる特徴点の数に基づいて、ゲインを決定する。これにより、目標位置算出部２１２は、第１振動センサ２０１によって得られる振れ情報と、統合処理部２０５の出力つまり撮像装置の位置姿勢情報との合成比率を制御する。

振れ補正残り角度信号は、式（１２）で算出される再射影誤差が最小になるように、振動センサによるカメラの位置姿勢推定値を、撮像画像から得られる３次元座標に基づき補正することで得られる。つまり、振れ補正残り角度信号の信頼度は、式（１２）の再射影誤差が小さいほど高い。したがって、目標値算出部２１２は、図１８（Ａ）に示すように、再射影誤差が小さいほど、ゲインを大きくする。

また、式（１２）で示される再射影誤差の算出に用いられる特徴点の数が多いほど、より撮像画像全体の動きを把握できるようになるため、振れ補正残り角度信号の信頼度が高い。したがって、目標値算出部２１２は、図１８（Ａ）に示すように、再射影誤差の算出に用いられる特徴点の数が多いほど、ゲインを大きくする。これにより、撮像装置の位置姿勢情報の合成比率が高くなる。

Ｓ１７０５において、目標値算出部２１２が、Ｓ１７０３で得られる振れ角度信号と、Ｓ１７０４で得られるゲイン乗算後の振れ補正残り角度信号を、加算器１６０５により加算して、振れ補正レンズ１０３の目標位置を算出する。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０３ 像振れ補正レンズ
１１７ 制御部

Claims (12)

1. 撮像画像における特徴点を追跡し、前記特徴点の座標情報を特徴点追跡情報として算出する特徴点追跡手段と、
   撮像装置に加わる振れに係る振れ情報に基づき算出される前記撮像装置の位置姿勢情報と、前記特徴点追跡情報とに基づいて、被写体と前記装置との奥行きを含めた位置関係を特徴点の３次元座標として推定する３次元座標推定手段と、
   前記３次元座標の推定に対する特徴点の寄与度を制御する制御手段と、
   前記特徴点の３次元座標の推定結果に応じて、前記撮像装置の位置姿勢情報を補正する補正手段と、
   前記振れ情報と前記位置姿勢情報とを合成して、前記撮像装置に加わる振れにより生じる画像振れの補正に用いる振れ補正手段の目標位置を算出する目標位置算出手段と、
   前記目標位置に従って、前記振れ補正手段を駆動する駆動手段とを備える
   ことを特徴とする像振れ補正装置。
2. 前記特徴点追跡情報の信頼度を追跡信頼度として算出する信頼度算出手段と、
   撮像画像間の視差量を算出する視差量算出手段とを備え、
   前記制御手段は、前記追跡信頼度または前記視差量に応じて、前記寄与度を制御する
   ことを特徴とする請求項１に記載の像振れ補正装置。
3. 前記制御手段は、前記追跡信頼度が高いほど、前記寄与度を大きくする
   ことを特徴とする請求項２に記載の像振れ補正装置。
4. 前記制御手段は、前記視差量が大きいほど、前記寄与度を大きくする
   ことを特徴とする請求項２に記載の像振れ補正装置。
5. 前記撮像画像に係る信号に基づいて、動きベクトル情報を算出するベクトル算出手段を備え、
   前記信頼度算出手段は、前記動きベクトル情報の算出の際に実行される相関値の演算結果に基づいて、前記追跡信頼度を算出する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の像振れ補正装置。
6. 前記信頼度算出手段は、追跡前後における特徴点の特徴量の変化量に応じて、前記追跡信頼度を算出する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の像振れ補正装置。
7. 前記信頼度算出手段は、追跡前後における特徴点の特徴量の変化量が小さいほど、前記算出される追跡信頼度を高くする
   ことを特徴とする請求項６に記載の像振れ補正装置。
8. 前記補正手段は、前記推定された３次元座標を撮像画像上に射影して得られる特徴点の座標情報と、前記追跡される特徴点の座標情報との差分と、前記寄与度とに基づいて、前記３次元座標の推定誤差を算出し、前記推定誤差が最小となるように、前記位置姿勢情報を補正する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の像振れ補正装置。
9. 前記目標位置算出手段は、前記３次元座標の推定誤差または前記推定誤差の算出に用いられる特徴点の数に基づいて、前記振れ情報と前記位置姿勢情報との合成比率を制御する
   ことを特徴とする請求項８に記載の像振れ補正装置。
10. 前記目標位置算出手段は、前記３次元座標の推定誤差が小さいほど、前記位置姿勢情報の合成比率を高くする
    ことを特徴とする請求項９に記載の像振れ補正装置。
11. 前記目標位置算出手段は、前記推定誤差の算出に用いられる特徴点の数が多いほど、前記位置姿勢情報の合成比率を高くする
    ことを特徴とする請求項９または請求項１０に記載の像振れ補正装置。
12. 撮像画像における特徴点を追跡し、前記特徴点の座標情報を特徴点追跡情報として算出する工程と、
    撮像装置に加わる振れに係る振れ情報に基づき算出される前記撮像装置の位置姿勢情報と、前記特徴点追跡情報とに基づいて、被写体と前記撮像装置との奥行きを含めた位置関係を特徴点の３次元座標として推定する工程と、
    前記３次元座標の推定に対する特徴点の寄与度を制御する制御手段と、
    前記特徴点の３次元座標の推定結果に応じて、前記撮像装置の位置姿勢情報を補正する工程と、
    前記振れ情報と前記位置姿勢情報とを合成して、前記撮像装置に加わる振れにより生じる画像振れの補正に用いる振れ補正手段の目標位置を算出する工程と、
    前記目標位置に従って、前記振れ補正手段を駆動する工程とを有する
    ことを特徴とする像振れ補正装置の制御方法。

Images