JP2019029962A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】カメラワークを伴う撮影において、像振れ補正による不自然な画角変化を抑制すること。【解決手段】撮像装置１００は振動センサ２０１，２０３により撮像装置１００に加わる振れ等を検出する。動きベクトル検出部２１１は、撮像部１０９による画像信号から画像の動きベクトルを検出する。特徴点追跡部２０９は動きベクトルに基づいて、時間的に変化する撮影画面上の被写体の座標値を算出する。特徴座標マップおよび位置姿勢推定部２０５は振動センサ２０１，２０３の出力と被写体の座標値に基づき、撮像装置１００の位置および姿勢、被写体と撮像装置１００との奥行きを含めた位置関係を推定する。演算部２１９は主被写体の特徴点と特徴座標マップおよび撮像装置１００の位置または姿勢の情報を用いて像振れ補正の制御量を算出する。目標位置算出部２１３の出力にしたがって補正レンズ１０３が駆動され、撮像装置１００の振れ補正動作が行われる。【選択図】図２

Description

本発明は、ビデオカメラ、デジタルスチルカメラやそれらの交換レンズ等の光学機器における像振れ補正技術に関する。

撮像装置の本体部を保持するユーザの手振れ等により発生する被写体の像振れを補正する機能として、光学式像振れ補正処理と電子式像振れ補正処理がある。光学式像振れ補正処理では、角速度センサ等で本体部の振動を検出し、検出結果に応じて撮像光学系内に設けた補正レンズを移動させる制御が行われる。撮像光学系の光軸方向を変化させて撮像素子の受光面に結像される像を移動させることにより、像振れが補正される。また電子式像振れ補正処理では、撮影画像に対する画像処理により、擬似的に像振れが補正される。

被写体（動体または静止体）に対して撮影者が動き、撮影画角内に被写体を収めながら撮影したいという要望がある。被写体像の検出位置が撮影画面内の特定の位置に近づくように、選択された被写体を追尾する動作を「被写体追尾動作」と呼ぶ。この時の撮影者が意図した動きを「カメラワーク」と呼ぶ。特定の位置とは、例えば、撮影画面の中心位置や撮影者が指定した位置等である。また、被写体追尾動作を像振れ補正手段で補助する方法がある。特許文献１には、画面内をブロックごとに分割し、被写体の顔等をテンプレートマッチングにより検出し、被写体の動きを追尾して画面内に収まるように像振れ補正手段を駆動する被写体追尾技術が開示されている。

一方、手振れ等による像振れを補正するためには、撮像装置の位置姿勢変化を検出することが必要である。撮像装置の姿勢および位置を検出するための自己位置推定方法として、ＳＦＭ(Structure from Motion)と慣性センサを用いた位置姿勢推定(Visual and Inertial Sensor Fusion)技術がある。この技術を応用して、実空間内に存在する物体の３次元位置と撮像装置の位置姿勢を推定する方法が知られている。

特開２０１０−９３３６２号公報

前記特許文献１に開示された方法では、被写体追尾のために撮影者が意図的に行うカメラワークによる撮像装置の位置姿勢変化と手振れとが混在した位置姿勢変化に基づいて、振れ補正動作が実施される。撮影者によるカメラワークは本来、撮影者が被写体を追うための動きであるが、撮像装置ではカメラワークによる位置姿勢変化をも打ち消そうとして振れ補正動作が行われる。そのため、撮影画像に不自然な画角変化が生じる可能性がある。
本発明の目的は、カメラワークを伴う撮影において、像振れ補正による不自然な画角変化を抑制することである。

本発明の一実施形態の装置は、撮像手段により画像信号を取得する撮像装置であって、振れ検出手段によって検出される、前記撮像装置の振れを示す第１の振れ情報を取得する第１の取得手段と、前記撮像手段による画像信号から検出される、被写体の動きを示す第２の振れ情報を取得する第２の取得手段と、前記第２の振れ情報を用いて撮影画面上の被写体の座標値を算出して特徴点追跡を行う追跡手段と、前記第１の振れ情報および前記被写体の座標値から、前記撮像装置の位置もしくは姿勢、または位置および姿勢と、前記被写体と前記撮像装置との奥行きを含めた位置関係を推定する推定手段と、前記推定手段から取得した前記撮像装置の位置または姿勢の推定値と、前記第１の振れ情報および前記被写体の座標値を用いて振れ補正の制御量を算出する演算手段と、前記演算手段により算出された前記制御量にしたがって、前記撮像装置の振れによる像振れを補正する振れ補正手段と、を備える。

本発明によれば、カメラワークを伴う撮影において、像振れ補正による不自然な画角変化を抑制することができる。

本発明の実施形態に係る撮像装置の構成例を示す図である。 本発明の第１実施形態に係る像振れ補正装置の構成例を示す図である。 目標位置算出部、主被写体フィードバック量演算部の構成を示す図である。 第１実施形態に係る目標位置算出処理のフローチャートである。 第１実施形態に係る位置姿勢推定処理のフローチャートである。 第１実施形態に係る主被写体フィードバック量の演算処理のフローチャートである。 対象物のワールド座標での座標位置とカメラ座標での座標位置との関係図である。 仮想的な撮像面をレンズ前方の位置に設定した透視射影モデルを表す図である。 主被写体と、主被写体に近い背景被写体と、撮像装置との位置姿勢関係を示す図である。 撮影動作による主被写体と背景特徴点の動きとの関係を説明する図である。 本発明の第２実施形態に係る像振れ補正装置の構成例を示す図である。

本発明の実施形態について添付図面を参照して説明する。各実施形態では、撮影画像の像振れ補正を行う像振れ補正装置を例示する。像振れ補正光学系の可動部材等を駆動制御する像振れ補正装置は、ビデオカメラ、デジタルカメラおよび銀塩スチルカメラといった撮像装置や、双眼鏡、望遠鏡、フィールドスコープといった観察装置を含む光学機器に搭載可能である。また像振れ補正装置は、デジタル一眼レフ用の交換レンズのような光学機器にも搭載可能である。以下では、装置の振れ検出信号を用いて像振れ補正を行う動作を「像振れ補正動作」という。

［第１実施形態］
図１は、本実施形態に係る撮像装置の構成例を示すブロック図である。撮像装置１００は、例えばデジタルスチルカメラであり、動画撮影機能を有する。

撮像装置１００はズームユニット１０１を備える。ズームユニット１０１は結像光学系を構成し、撮影倍率を変更するズームレンズを含む。ズーム駆動部１０２は、制御部１１９からの制御信号に従ってズームユニット１０１を駆動する。像振れ補正レンズ（以下、補正レンズという）１０３は、像振れを補正する可動光学部材である。補正レンズ１０３は、撮像光学系の光軸方向に対して直交する方向に移動可能である。像振れ補正レンズ駆動部１０４は、制御部１１９からの制御信号に従って補正レンズ１０３の駆動を制御する。絞り・シャッタユニット１０５は、絞り機能を有するメカニカルシャッタを備える。絞り・シャッタ駆動部１０６は、制御部１１９からの制御信号に従って絞り・シャッタユニット１０５を駆動する。フォーカスレンズ１０７は焦点調節に使用する可動レンズであり、撮像光学系の光軸に沿って位置の変更が可能である。フォーカス駆動部１０８は、制御部１１９からの制御信号に従ってフォーカスレンズ１０７を駆動する。

撮像部１０９は、撮像光学系により結像される光学像を、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子によって画素単位の電気信号に変換する。ＣＣＤは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略号である。ＣＭＯＳは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略号である。撮像信号処理部１１０は、撮像部１０９が出力する電気信号に対して、Ａ（Analog）／Ｄ（Digital）変換、相関二重サンプリング、ガンマ補正、ホワイトバランス補正、色補間処理等を行い、映像信号に変換する。

映像信号処理部１１１は、撮像信号処理部１１０から取得した映像信号を用途に応じて加工する。具体的には、映像信号処理部１１１は、表示用の映像信号を生成し、また記録用に符号化処理やデータファイル化の処理を行う。表示部１１２は、映像信号処理部１１１が出力する表示用の映像信号にしたがい、必要に応じて画像表示を行う。電源部１１５は撮像装置１００の各部へ、用途に応じて電源を供給する。外部入出力端子部１１６は、外部装置との間で通信信号および映像信号の入出力に使用される。操作部１１７は、ユーザが撮像装置１００に指示を与えるためのボタンやスイッチ等の操作部材を有する。例えば操作部１１７は、レリーズボタンの押し込み量に応じて第１スイッチ（ＳＷ１と記す）および第２スイッチ（ＳＷ２と記す）が順にオンするように構成されたレリーズスイッチを有する。また操作部１１７は、各種のモード設定用スイッチを有する。記憶部１１８は、映像情報等を含む様々なデータを記憶する。

制御部１１９は、例えばＣＰＵ、ＲＯＭ、ＲＡＭを有する。ＣＰＵは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略号である。ＲＯＭは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略号である。ＲＡＭは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略号である。ＣＰＵはＲＯＭに記憶された制御プログラムをＲＡＭに展開して実行することによって、撮像装置１００の各部を制御し、以下に説明する様々な動作を実現する。操作部１１７が備えるレリーズボタンの半押し操作でＳＷ１がオンすると、制御部１１９は、映像信号処理部１１１が表示部１１２に出力する表示用の映像信号に基づいてＡＦ（オートフォーカス）評価値を算出する。制御部１１９は、ＡＦ評価値に基づいてフォーカス駆動部１０８を制御することにより自動焦点検出および焦点調節制御を行う。また、制御部１１９は、映像信号の輝度情報および予め定められたプログラム線図に基づいて、適切な露光量を得るための絞り値およびシャッタ速度を決定するＡＥ（自動露出）処理を行う。さらに、レリーズボタンの全押し操作でＳＷ２がオンすると、制御部１１９は、決定した絞り値およびシャッタ速度で撮影処理を行い、撮像部１０９で得た画像データを記憶部１１８に記憶させるように各処理部を制御する。

操作部１１７は、像振れ補正（防振）モードの選択に使用する操作スイッチを有する。この操作スイッチの操作により像振れ補正モードが選択された場合、制御部１１９は、像振れ補正レンズ駆動部１０４に像振れ補正動作を指示する。像振れ補正レンズ駆動部１０４は制御部１１９の制御指令にしたがって、像振れ補正のオフ指示がなされるまでの間、像振れ補正動作を行う。また、操作部１１７は、静止画撮影モードと動画撮影モードのうちの一方を選択可能な撮影モード選択スイッチを有する。撮影モード選択スイッチのユーザ操作により撮影モードの選択処理が行われ、制御部１１９は、像振れ補正レンズ駆動部１０４の動作条件を変更する。像振れ補正レンズ駆動部１０４は、本実施形態の像振れ補正装置を構成する。また操作部１１７は再生モードを選択するための再生モード選択スイッチを有する。ユーザが再生モード選択スイッチの操作によって再生モードを選択した場合、制御部１１９は像振れ補正動作を停止させる制御を行う。また操作部１１７はズーム倍率変更の指示を行う倍率変更スイッチを有する。倍率変更スイッチのユーザ操作によってズーム倍率変更が指示された場合、制御部１１９からの指示を受けたズーム駆動部１０２はズームユニット１０１を駆動して、指示された位置にズームレンズを移動させる。

図２は、本実施形態の像振れ補正装置の構成例を示す図である。以下、補正レンズ１０３に関する駆動方向および駆動量の算出処理、並びに位置制御について説明する。本実施形態の像振れ補正装置は第１振動センサ２０１および第２振動センサ２０３を有する。第１振動センサ２０１は、例えば角速度センサである。第１振動センサ２０１は通常姿勢（撮影画面の長辺方向が水平方向とほぼ一致する姿勢）における、撮像装置１００の垂直方向（ピッチ方向）、水平方向（ヨー方向）、光軸回りの回転方向（ロール方向）の振動成分（角速度）を検出する。第１振動センサ２０１は検出信号をＡ／Ｄ変換器２０２に出力する。第２振動センサ２０３は、例えば加速度センサである。第２振動センサ２０３は通常姿勢における、撮像装置１００の垂直方向の加速度成分、水平方向の加速度成分、光軸方向の加速度成分を検出する。第２振動センサ２０３は検出信号をＡ／Ｄ変換器２０４に出力する。Ａ／Ｄ変換器２０２、２０４は、第１、第２振動センサからそれぞれ検出信号を取得し、アナログ値をデジタル値へ変換する。なお、本実施形態では振れ検出部が第１振動センサおよび第２振動センサを備える例を説明するが、本発明は第１振動センサまたは第２振動センサを備える実施形態に適用可能である。

位置検出センサ２１２は、補正レンズ１０３の位置を検出し、位置検出信号をＡ／Ｄ変換器２１８に出力する。Ａ／Ｄ変換器２１８は位置検出センサ２１２の検出信号を取得し、アナログ値をデジタル値へ変換する。

目標位置算出部２１３は、Ａ／Ｄ変換器２０２と後述の演算部２１９の各出力に基づき、補正レンズ１０３の制御目標位置を算出する。目標位置算出部２１３はピッチ方向、ヨー方向における補正レンズ１０３の補正位置制御信号を減算器２１４に出力する。減算器２１４は、目標位置算出部２１３からの補正位置制御信号に対し、位置検出センサ２１２からＡ／Ｄ変換器２１８を介した位置検出信号を減算して制御フィルタ２１５に出力する。制御フィルタ２１５は、目標位置算出部２１３からの補正位置制御信号と、位置検出センサ２１２からの補正レンズ１０３の位置情報との偏差を取得してフィードバック制御を行う。つまり制御フィルタ２１５は、アクチュエータを有する像振れ補正レンズ駆動部１０４に像振れ補正用の制御信号を出力し、補正レンズ１０３の駆動制御を行う。

次に、像振れ補正装置による補正レンズ１０３の駆動制御動作について具体的に説明する。
目標位置算出部２１３は、第１振動センサ２０１による振れ検出信号（角速度信号）と、演算部２１９による主被写体フィードバック量を取得し、ピッチ方向、ヨー方向に補正レンズ１０３を駆動するための補正位置制御信号を生成する。補正位置制御信号は減算器２１４を介して制御フィルタ２１５に出力される。

位置検出センサ２１２は、ピッチ方向およびヨー方向における補正レンズ１０３の位置を検出し、Ａ／Ｄ変換器２１８、減算器２１４を介して位置検出信号を制御フィルタ２１５に出力する。減算器２１４は補正位置制御信号から位置検出信号を減算した信号を制御フィルタ２１５に出力する。制御フィルタ２１５は、位置検出信号値が目標位置算出部２１３からの補正位置制御信号値に収束するように、像振れ補正レンズ駆動部１０４を介してフィードバック制御を行う。目標位置算出部２１３が出力する補正位置制御信号は、被写体の像振れを打ち消すように補正レンズ１０３を移動させるための制御信号である。例えば、目標位置算出部２１３は、振れ検出情報に対してフィルタ処理等を行い、補正速度制御信号または補正位置制御信号を生成する。撮影時に手振れ等の振動が撮像装置に加わった場合に、補正レンズ１０３を移動させる制御動作により、ある程度の振動までは像振れを抑制できる。

図３（Ａ）は目標位置算出部２１３の詳細な内部構成を説明するブロック図である。ハイパスフィルタ３０１は、第１振動センサ２０１による検出信号のＤＣ（直流）オフセット成分を除去する処理を行う。ローパスフィルタ３０２は、角速度信号から角度相当の信号へ変換する処理を行う。積分ゲイン部３０３は、ローパスフィルタ３０２の出力に対して所定の積分ゲインを乗算する。加算器３０４は積分ゲイン部３０３の出力と主被写体フィードバック量とを加算する。振れ補正の制御量である主被写体フィードバック量については後述する。

図４を参照して目標位置算出処理について説明する。図４は目標位置算出処理の流れを説明するフローチャートである。目標位置算出部２１３は、第１振動センサ２０１により検出された撮像装置１００の振れ角速度のデータを取得する（Ｓ１１６）。ハイパスフィルタ３０１は取得されたデータからＤＣオフセット成分を除去する（Ｓ１１７）。さらにローパスフィルタ３０２によりフィルタ処理が行われ（Ｓ１１８）、積分ゲイン部３０３がゲインを乗算することにより、振れ成分の角速度信号から角度信号へ変換される（Ｓ１１９）。加算器３０４は、演算部２１９によって算出された主被写体フィードバック量と積分ゲイン部３０３の出力を加算する（Ｓ１２０）。加算結果は減算器２１４へ出力される。

次に図２を参照して、撮像された画像から動きベクトルを検出して、特徴点の追跡や位置姿勢推定等を行うための構成について説明する。撮像部１０９により取得される画像データは、撮像信号処理部１１０により処理される。動きベクトル検出部２１１は撮像信号処理部１１０の出力する信号から撮影画像の動きベクトルを検出する。グローバルベクトル演算部２２０は、検出された動きベクトル情報に基づき、撮影画面全体の一様な動きを表すグローバルベクトルを算出する。出現頻度が最も多い動きベクトルによりグローバルベクトルが算出され、グローバルベクトルの情報は主被写体フィードバック量の演算部２１９に送られる。特徴点追跡部２０９は、検出された動きベクトル情報に基づき、撮影画像における所定の特徴点を検出して追跡する処理を行う。

主被写体分離部２０８は特徴点追跡部２０９の出力を取得し、撮影画像内の主被写体の座標領域を特定する。主被写体は主要な被写体であり、画像サイズや被写体の特徴（人物の顔）、撮影者の操作等により決定される。主被写体分離部２０８は追跡特徴点から主被写体の特徴点を抽出し、それ以外（背景等）の特徴点の動きを分離する。主被写体分離部２０８は、主被写体の特徴点の座標を演算部２１９に出力し、主被写体以外の背景等の特徴点の座標を特徴座標マップおよび位置姿勢推定部２０５に出力する。

特徴座標マップおよび位置姿勢推定部２０５は、撮像装置１００の位置および姿勢と撮像装置１００が撮像する実空間での特徴点の位置を、ＳＦＭおよび慣性センサ情報を用いて推定する。特徴座標マップおよび位置姿勢推定部（以下、単に推定部という）２０５は、特徴座標マップ推定部２０６および位置姿勢推定部２０７を備える。特徴座標マップ推定部２０６および位置姿勢推定部２０７が行う推定処理の詳細については後述する。

図５のフローチャートを参照して、推定部２０５による位置姿勢推定処理について説明する。Ｓ１０１からＳ１０５の処理と、Ｓ１０８からＳ１１５の処理は並行処理として実行される。まず、Ｓ１０８からＳ１１５の処理を説明する。

撮像部１０９は撮像光学系を通して結像される光信号を電気信号に光電変換し、アナログ画像信号を取得する（Ｓ１０８）。次に撮像信号処理部１１０は撮像部１０９から取得したアナログ画像信号からデジタル画像信号へ変換し、所定の画像処理を行う。動きベクトル検出部２１１は画像信号に基づいて動きベクトルを検出する（Ｓ１０９）。動きベクトルの検出時には、あらかじめメモリに記憶されている１フレーム前の画像信号が取得される（Ｓ１１２）。当該画像信号と現在のフレームの画像信号とが比較され、画像のずれから動きベクトルが算出される。動きベクトルの検出方法としては相関法やブロックマッチング法などがある。本発明における動きベクトルの算出方法は任意である。

グローバルベクトル演算部２２０は、検出された画像の動きベクトル情報から、グローバルベクトルを算出する（Ｓ１１０）。公知のヒストグラム処理等によって、撮影画像上で最も発生頻度の高い動きベクトル値を算出することで、グローバルベクトルが算出される。特徴点追跡部２０９は、撮影画像内の所定の特徴点について、動画撮影時の各フレームでの座標の移動位置を検出して追跡する（Ｓ１１１）。特徴点の追跡技術に関しては、特徴点を中心として正方形のウィンドウを設け、対象映像の新たなフレームが与えられると、フレーム間でウィンドウ内の残差が最も少なくなる点を求める方法がある。追跡処理は公知の方法を用いればよく、その詳細な説明を省略する。

主被写体分離部２０８は、撮影画像内の主被写体の座標領域を特定し、追跡特徴点から主被写体の特徴点を抽出し、それ以外の特徴点の動きを分離する（Ｓ１１３）。ここでは、主被写体以外の領域を背景領域とする。被写体の検出方法としては、例えば画像信号から色情報を取得し、それらのヒストグラムを山形の分布範囲に区分けし、分けられた区域を一つの被写体として分類して被写体を検出する方法がある。類似する画像信号を有する複数の領域に分類することで、複数の被写体を区別して検出することが可能である。また動画撮影では、各撮影フレームにおいて、撮影画像にて継続的に存在する特徴点が存在し、かつ他の検出特徴点との動き量が異なり、他と比べて動き量が小さい特徴点が主被写体であると判定される。一方、各撮影フレームにおいて撮影画像から消失する（撮影画角外に出る）特徴点、または他の検出特徴点と同じ程度の動き量の特徴点が、主被写体以外の特徴点であると判定される。これは、撮影者が撮影画角内に意図して収めようとして狙っている主被写体と、手振れ等により意図せずに動いているそれ以外の被写体との、撮影画像上での動きの違いにより判断する方法である。分離された主被写体領域に属する特徴点座標はメモリ内の所定の記憶領域に保持される（Ｓ１１４）。主被写体以外の領域、例えば背景領域に属する特徴点座標はメモリ内の所定の記憶領域に保持される（Ｓ１１５）。次にＳ１０６の処理へ移行する。

次に図２、図５のＳ１０１からＳ１０７を参照して、位置姿勢推定処理を説明する。
位置姿勢推定部２０７は、第１振動センサ２０１による振れ検出信号を取得する（Ｓ１０１）。図２の微分器２１７は、Ａ／Ｄ変換器２１８の出力に対して微分演算を行い、演算結果を減算器２１６に出力する。補正レンズ１０３の撮影フレーム間における位置検出信号の差分を算出することで、補正レンズ１０３の移動速度が算出される（Ｓ１０２）。

減算器２１６はＡ／Ｄ変換器２０２と微分器２１７の各出力を取得し、第１振動センサ２０１による角速度検出情報から、補正レンズ１０３の移動速度を減算することで、撮像装置１００の振れ補正残り角速度に相当する情報を算出する（Ｓ１０３）。減算器２１６の出力は、図２の位置姿勢推定部２０７に入力される。位置姿勢推定部２０７は、Ａ／Ｄ変換器２０４から第２振動センサ２０３により検出された撮像装置１００に加わる加速度情報を取得する（Ｓ１０４）。位置姿勢推定部２０７は、撮像装置１００の実空間上の位置と姿勢を推定する（Ｓ１０５）。特徴座標マップ推定部２０６は、撮像装置の実空間上の特徴点の奥行きを含めた３次元位置座標を推定して特徴座標マップを生成する（Ｓ１０６）。特徴座標マップは、推定された撮像装置１００の位置姿勢情報と、主被写体分離部２０８より算出された主被写体以外の撮影画像上の２次元特徴点に係る動画の各フレームでの座標変化情報に基づいて推定される、３次元位置座標のマップである。

位置姿勢推定部２０７は、特徴座標マップ情報、推定された撮像装置１００の位置姿勢、主被写体分離部２０８より算出された主被写体以外の撮影画像上の２次元特徴点座標に基づき、Ｓ１０５で得られた位置姿勢推定値を補正する（Ｓ１０７）。位置姿勢の推定処理と特徴座標マップの推定処理が、動画の各フレームにて繰り返し実行されることで、正しい位置姿勢を推定することができる。なお、Ｓ１０５による位置姿勢推定情報については、補正レンズ１０３により振れ補正を実施したときの画像から算出した特徴点の座標と、第１振動センサ２０１による角速度検出情報から補正レンズ１０３の移動速度を減算した振れ補正残り角度から算出される。推定部２０５による位置姿勢推定値および特徴座標マップ情報は演算部２１９に出力される。

次に図３（Ｂ）、図６を参照して、主被写体フィードバック量の演算部２１９が行う処理について説明する。図３（Ｂ）は、演算部２１９の詳細な内部構成を説明する図である。演算部２１９は、グローバルベクトル演算部２２０により算出されたグローバルベクトル情報を取得する。積分器３０５はグローバルベクトル情報を積分し、撮影画像の画素移動量を算出する。変換部３０８は、推定部２０５により推定された位置姿勢推定値と、奥行き情報を含めた３次元空間上の特徴座標マップ情報を取得し、撮影画像上での特徴点の座標へ変換する。

第１の減算器３０９は、変換部３０８の出力から主被写体分離部２０８の出力を減算する。主被写体分離部２０８の出力は主被写体の特徴点の座標に対応する。第１の減算器３０９は減算後の信号を第２の減算器３０６に出力する。第２の減算器３０６は、積分器３０５の出力から第１の減算器３０９の出力を減算して角度換算ゲイン部３０７に出力する。角度換算ゲイン部３０７は、算出された画素移動量を角度相当の値へ換算するためにゲイン値を乗算し、算出した制御量を目標位置算出部２１３へ出力する。

図６は、主被写体フィードバック量の演算処理を説明するフローチャートである。Ｓ１２１およびＳ１２２の処理と、Ｓ１２５からＳ１２９の処理は並行処理として実行される。Ｓ１２１にて演算部２１９は、グローバルベクトル演算部２２０により算出されたグローバルベクトルを取得する。次に積分器３０５は、取得されたグローバルベクトル値を積分して画素移動量を算出する（Ｓ１２２）。

一方で演算部２１９は、推定部２０５により推定された撮像装置１００の位置姿勢推定値を取得する（Ｓ１２５）。演算部２１９は、主被写体分離部２０８により主被写体以外の領域に属する特徴点から推定された、主被写体以外の奥行きを含めた３次元特徴座標マップを取得する（Ｓ１２６）。変換部３０８は、特徴点の座標と撮像装置の位置姿勢推定値を用いて、主被写体以外の奥行きを含めた３次元特徴座標マップを撮影画像上の２次元特徴座標へ変換する（Ｓ１２７）。まず、主被写体以外の対象物のワールド座標系での３次元特徴座標を、カメラ座標系の３次元特徴座標へ変換する処理が行われる。ワールド座標系は、カメラの位置とは無関係に対象物の座標を規定する固定座標系のことである。図７を参照して具体的に説明する。

図７は、対象物のワールド座標での座標位置とカメラ座標での座標位置との関係図である。Ｔは、ワールド座標の原点ＯＷからカメラ座標の原点ＯＣへ向かうベクトルである。(rx，ry，rz)はワールド座標で見た場合のカメラ座標の各軸（ｘ，ｙ，ｚ）の方向を表す単位ベクトルを示す。カメラ座標系での点（ｘ，ｙ，ｚ）は、ワールド座標系で点（Ｘ，Ｙ，Ｚ）として表されるものとする。これらの座標の関係は、下記式１のようになる。

式１にて、Ｒは回転行列を表わし、Ｔは平行移動ベクトルを表している。

次にカメラ座標系の３次元特徴座標から画像座標への変換が、例えば透視変換により行われる。図８は、仮想的な撮像面をレンズの前方にて焦点距離ｆの位置に設定した場合の透視射影のモデルを表している。図８の点Ｏはカメラレンズの中心を表わし、Ｚ軸はカメラの光軸を表す。また点Ｏを原点とする座標系をカメラ座標系と呼ぶ。（Ｘ，Ｙ，Ｚ）は対象物のカメラ座標系での座標位置を示す。透視変換による対象物のカメラ座標（Ｘ，Ｙ，Ｚ）から射影した画像座標を（ｘ，ｙ）と表記する。（Ｘ，Ｙ，Ｚ）から（ｘ，ｙ）への変換式は下記式２で表される。

このように主被写体以外の奥行きを含めた３次元特徴座標マップを、撮影画像上の２次元特徴座標へ変換することができる。

図６のＳ１２８では、主被写体分離部２０８により分離された主被写体領域に属する特徴座標が取得される。次に第１の減算器３０９は、Ｓ１２８で取得された主被写体領域の特徴座標と、Ｓ１２７で推定された主被写体領域外の特徴座標の動きを各動画フレームで比較する。減算処理により差分量が算出される（Ｓ１２９）。第２の減算器３０６は、Ｓ１２２で算出されたグローバルベクトルの移動量から、Ｓ１２９で算出された差分量を減算する（Ｓ１２３）。角度換算ゲイン部３０７は、角度相当の値になるようにゲイン値を乗算することで、主被写体フィードバック量を算出し、目標位置算出部２１３へ出力する（Ｓ１２４）。主被写体フィードバック量は下記式３で表わされる。
主被写体フィードバック量
＝グローバルベクトル移動量 − （背景領域の特徴座標移動量−主被写体の特徴座標移動量）
（式３）

目標位置算出部２１３は、第１振動センサ２０１の検出出力に基づいて算出した補正レンズ１０３の目標位置に対し、加算器３０４が主被写体フィードバック量を加算する（図３（Ａ）参照）。

図９、図１０を参照して、主被写体フィードバック量を加算した目標位置を振れ補正制御に用いることの効果について説明する。図９は、撮像装置のカメラワーク（位置姿勢変化）と被写体との位置関係を示す図である。図１０は、撮影時の撮影画像上の特徴点座標を示す関係図である。
図９（Ａ）は、主被写体５０４と、主被写体に近い奥側にある背景被写体５０２、５０３と、撮像装置との位置姿勢関係を示す模式図である。動画撮影にて主被写体５０４を画角の中心にとらえながら、ユーザがカメラワークを変更したときの様子を示す。第１の動画撮影フレーム９０１をframe１と表記し、その次の第２の動画撮影フレーム９０２をframe２と表記する。図９（Ａ）の例では撮像装置の位置と姿勢が変化するカメラワークを示している。

図１０（Ａ）は、frame１からframe２へのカメラワーク撮影時の撮影画像５０１において、背景被写体５０２、５０３と主被写体５０４の特徴点座標の位置関係を模式的に示している。図１０（Ａ）では、主被写体５０４が撮影画面の中心にとどまるカメラワーク撮影を示す。frame１からframe２への特徴座標の位置変化については、背景の特徴座標移動量に対して、主被写体特徴座標の移動量は相対的に小さい。主被写体５０４の画像がその場にとどまるような座標変化となる。そのため、式３では、撮影画面全体で最も頻度の高い均一な動きであるグローバルベクトル移動量と、背景領域の特徴座標移動量は同一の動きとなる。この場合の背景領域の特徴座標移動量は、背景被写体５０２または５０３の奥行きを含めた３次元特徴座標を、撮像装置の位置姿勢推定値に基づく前記方法により２次元特徴座標へ変換したときの移動量である。グローバルベクトル移動量と背景領域の特徴座標移動量とが打ち消し合う関係となるので、主被写体フィードバック量は、主被写体の特徴座標移動量に等しくなる。この主被写体フィードバック量により、補正レンズ１０３は主被写体の特徴座標値の移動量がゼロとなるように制御される。すなわち、撮影画面上で主被写体の座標値の変化が小さくなるように補正される。撮影画面全体の動きを生じさせるカメラワークによる画角変化は抑制されず、撮影画面上での主被写体の動きのみが抑制されるように制御が行われる。

図９（Ｂ）は、主被写体５０４と、背景被写体５０２、５０３と、撮像装置との位置姿勢関係にて、主被写体５０４の位置によらず、撮像装置の姿勢のみが変化したときのカメラワークを示す模式図である。frame１からframe２への変化として撮像装置の姿勢および撮影方向が変化している。図１０（Ｂ）は、カメラワーク撮影時の撮影画像５０１における背景被写体５０２、５０３と、主被写体５０４の特徴点座標の位置関係を示している。このようなカメラワークでは、主被写体を意図して画面に収めようという撮影者の意思なく撮影が行われている。この撮影画角の変化は、手振れ等による画角変化のように、撮影者にとって抑制したい画角変化である。この場合、背景被写体５０２または５０３に対応する背景領域の特徴座標移動量と、主被写体５０４の特徴座標移動量とが同一の動きとなり、互いに打ち消し合う関係となる。よって、主被写体フィードバック量は、式３により、グローバルベクトル移動量に等しくなる。主被写体フィードバック量にしたがって、補正レンズ１０３は撮影画面全体で最も頻度の高い均一の動き量がゼロとなるように制御されるので、撮影画面全体の画角変化が小さくなるように振れ補正が行われる。つまり撮影画面全体の画角変化を引き起こす手振れのような、撮像装置の振れによる像振れが補正される。

本実施形態では、前記式３により主被写体フィードバック量を算出することで、撮影画面全体の動きと、主被写体座標の撮影画面上の動きのうち、いずれの動きを抑制するかを複雑な判定処理を行わずに決定することが可能となる。

従来技術の被写体追尾動作では、単に被写体の動きを撮影画像上で把握し、被写体像の位置が特定位置にとどまるように補正が行われるので、撮影画像上の被写体の動きが被写体の移動により生じたのか、撮像装置の移動によるのかを判断できない。また従来の方法では、被写体と撮像装置との奥行き距離の差によって撮影画像上で見える動きの大きさが変化してしまい、各被写体の本当の移動量を知ることができない。これに対して、本実施形態では主被写体および背景の特徴座標と撮像装置の位置との関係について、奥行きを含めた３次元座標で把握し、被写体と撮像装置との動きを判断することにより、それぞれの動きを適切に把握して制御することができる。

また本実施形態では、図６のＳ１２７で推定された撮像装置の位置姿勢と背景領域に属する３次元特徴座標から推定された撮影画像上の特徴座標を用いて、主被写体以外（背景等）の特徴点の動きを推定することができる。仮に撮影画像上で追跡していた背景領域の特徴点がカメラワークにより、撮影画面外に出てしまった場合でも背景領域の特徴座標を推定し続けることが可能である。あるいは、別の対象物の背後に特徴点が隠された場合、あるいは撮影画像の輝度変化等の撮影状況の変化により追跡が不可能となった場合でも、背景領域の特徴座標を推定し続けることが可能である。
本実施形態では、被写体追尾動作のためのカメラワークを伴う撮影において、手振れ等による撮像装置の位置姿勢変化とカメラワークによる位置姿勢変化とを分離して像振れ補正を行う。よって、従来の振れ補正方法において発生する不自然な画角変化を抑制した良好な撮影画像を得ることができる。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では、画像処理による電子式像振れ補正が行われる点が第１実施形態との相違点である。本実施形態にて第１実施形態の場合と同様の構成部については既に使用した符号を用いることにより、それらの詳細な説明を省略する。図１１は、本実施形態の像振れ補正装置の構成例を示す図である。以下では、図２に示す構成例との相違点を説明する。本実施形態の像振れ補正装置において、演算部２１９は算出した主被写体フィードバック量を、撮像信号処理部１１０へ出力する。

本実施形態では、第１実施形態にて図４のＳ１２０に示した、補正レンズ１０３の目標位置に主被写体フィードバック量を加算する処理が無い。代わりに演算部２１９によって、主被写体フィードバック量に基づき、撮像信号処理部１１０へ画像信号の読み出し座標位置を指示する処理が実行される。撮像信号処理部１１０は撮像後の画像信号を抽出する位置を変更することにより像振れ補正を行う。
本実施形態では、撮像部１０９が出力した画像信号の読み出し座標位置を変更する電子式像振れ補正処理を実現することができる。撮影条件や振れ状態等に応じて光学式像振れ補正処理と電子式像振れ補正処理の併用または切り換えが可能である。

１０９ 撮像部
２０１，２０３ 振動センサ
２０５ 特徴座標マップおよび位置姿勢推定部
２０８ 主被写体分離部
２０９ 特徴点追跡部
２１１ 動きベクトル検出部
２１９ 主被写体フィードバック量演算部
２２０ グローバルベクトル演算部

Claims (11)

1. 撮像手段により画像信号を取得する撮像装置であって、
   振れ検出手段によって検出される、前記撮像装置の振れを示す第１の振れ情報を取得する第１の取得手段と、
   前記撮像手段による画像信号から検出される、被写体の動きを示す第２の振れ情報を取得する第２の取得手段と、
   前記第２の振れ情報を用いて撮影画面上の被写体の座標値を算出して特徴点追跡を行う追跡手段と、
   前記第１の振れ情報および前記被写体の座標値から、前記撮像装置の位置もしくは姿勢、または位置および姿勢と、前記被写体と前記撮像装置との奥行きを含めた位置関係を推定する推定手段と、
   前記推定手段から取得した前記撮像装置の位置または姿勢の推定値と、前記第１の振れ情報および前記被写体の座標値を用いて振れ補正の制御量を算出する演算手段と、
   前記演算手段により算出された前記制御量にしたがって前記撮像装置の振れによる像振れを補正する振れ補正手段と、を備える
   ことを特徴とする撮像装置。
2. 前記演算手段は、前記被写体を追尾するカメラワークによる前記撮像装置の位置または姿勢の変化に対応する前記制御量を算出する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記振れ検出手段は角速度センサもしくは加速度センサ、または角速度センサおよび加速度センサである
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記追跡手段の出力を取得し、第１の被写体の特徴点と第２の被写体の特徴点を分離する分離手段を備え、
   前記分離手段は、前記第２の被写体の特徴点の座標を前記推定手段に出力する
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記推定手段は、前記第１の振れ情報と、前記分離手段より算出された前記第２の被写体の特徴点に係る座標変化情報から３次元位置座標の特徴座標マップ情報を生成し、前記特徴座標マップ情報と、前記分離手段により算出された前記第２の被写体の特徴点の座標を用いて、前記撮像装置の位置または姿勢の推定値を算出する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記第２の振れ情報を取得して撮影画面全体の動きを表わすグローバルベクトルを算出する算出手段を備え、
   前記演算手段は、前記推定手段から取得した前記第２の被写体の特徴点の移動量と、前記分離手段から取得した前記第１の被写体の特徴点の移動量との差分を演算し、当該差分を前記グローバルベクトルから減算することによりフィードバック量を算出して前記振れ補正手段に出力する
   ことを特徴とする請求項４または請求項５に記載の撮像装置。
7. 前記第１の被写体は主被写体であり、前記第２の被写体は背景であり、
   前記推定手段は、前記撮像装置の位置または姿勢と、前記第２の被写体の領域に属する３次元の特徴座標から推定された撮影画像上の特徴座標を用いて、前記第２の被写体の特徴点の動きを推定する
   ことを特徴とする請求項５に記載の撮像装置。
8. 前記演算手段は、前記推定手段から前記撮像装置の位置または姿勢の推定値と前記特徴座標マップ情報を取得して撮影画面上の特徴座標へ変換する変換手段と、前記変換手段の出力から前記第１の被写体の特徴点の移動量を減算する減算手段を備える
   ことを特徴とする請求項５に記載の撮像装置。
9. 前記演算手段および振れ補正手段は、前記第２の被写体の特徴点の移動量に対して前記第１の被写体の特徴点の移動量が小さい場合、撮影画面における前記第１の被写体の座標値の変化を小さくする制御を行う
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記演算手段および振れ補正手段は、前記第２の被写体の特徴点の移動量と前記第１の被写体の特徴点の移動量とが同じである場合、振れによる撮影画面全体の変化を小さくする制御を行う
    ことを特徴とする請求項８または請求項９に記載の撮像装置。
11. 撮像手段により画像信号を取得する撮像装置にて実行される制御方法であって、
    振れ検出手段によって検出される、前記撮像装置の振れを示す第１の振れ情報、および前記撮像手段による画像信号から検出される、被写体の動きを示す第２の振れ情報を取得する工程と、
    前記第２の振れ情報を用いて撮影画面上の被写体の座標値を算出して特徴点追跡を行う工程と、
    前記第１の振れ情報および前記被写体の座標値から、前記撮像装置の位置もしくは姿勢、または位置および姿勢と、前記被写体と前記撮像装置との奥行きを含めた位置関係を推定する推定工程と、
    前記推定工程で推定された前記撮像装置の位置または姿勢の推定値と、前記第１の振れ情報および前記被写体の座標値を用いて振れ補正の制御量を算出する演算工程と、
    前記演算工程で算出された前記制御量にしたがって前記撮像装置の振れによる像振れを補正する振れ補正工程と、を有する
    ことを特徴とする撮像装置の制御方法。

Images