JP2015089108A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】像ブレ補正機能が被写体追尾を妨げることを抑制する技術を提供する。
【解決手段】撮像素子で撮像された撮像画像より所定の被写体を検出する被写体検出手段と、撮像素子で撮像された２枚の撮像画像より撮像画面内を移動する所定の被写体の移動量を取得する移動量取得手段と、撮像素子に光束を導く撮像光学系を構成する光学素子を撮像光学系の光軸と異なる方向に移動させることで、撮像画面内における所定の被写体の移動量を抑制する被写体追尾手段と、撮像素子で撮像された２枚の撮像画像を比較して像ブレ量を示す動きベクトルを検出する動きベクトル検出手段と、動きベクトルに基づいて像ブレを補正する像ブレ補正手段と、被写体追尾手段による被写体追尾を行うか否かを切り替える切替手段と、を備える。像ブレ補正手段は、被写体追尾を行う場合の像ブレ補正の効果を、被写体追尾を行わない場合の像ブレ補正の効果よりも小さくする。
【選択図】図３

Description

本発明は、撮像装置及び撮像方法に関する。

近年、デジタルビデオカメラなどの撮像装置において、撮影をアシストする機能が様々提案されている。例えば、ブレ補正機能は、多くの撮像装置で搭載されており、補正方式によって光学式ブレ補正と電子式ブレ補正とに分類される。光学式ブレ補正は、撮像装置の振れを検出して、検出した振れに基づいて撮像光学系の一部の補正レンズを変位させることで、振れによる光軸変化を打ち消す方式である。また、電子式ブレ補正は、撮像装置の振れを撮像画像における動きベクトルによって検出し、画像メモリ中の撮像画像から記録用画像を生成する際に、撮像装置の振れによるフレーム間のズレを補正するように画像メモリからの読み出し位置を変える方式である。

また、撮影のアシスト機能として、動く被写体を画面内に収めるために、光学式ブレ補正で用いた補正レンズを利用して被写体追尾を行う機能も提案されている。特許文献１では、撮影開始前までは主被写体が画角内に収まるようにブレ補正用レンズを被写体追尾に使用し、撮影時にはブレ補正を行うように補正レンズの制御を切り替える技術が開示されている。

特開２０１０−０９３３６２号公報

しかしながら、主被写体位置の移動に合わせてブレ補正レンズを移動させると、主被写体以外の被写体（例えば、風景などの静止物体）の画面内における位置が変化するため、この変化が動きベクトルとして検出されてしまう。この動きベクトルに基づく電子式ブレ補正が行われると、被写体追尾が正しく機能しなくなってしまう。以下、図１を例にして詳しく説明する。

図１（ａ）は、撮像装置と被写体の位置関係が図１（ｂ）に示すような状態であるときに撮像される画像を示しており、同様に、図１（ｃ）は、撮像装置と被写体の位置関係が図１（ｄ）に示すような状態にあるときに撮像される画像を示している。また、図１（ｅ）は、図１（ａ）と図１（ｃ）との画像から算出される動きベクトルを示している。なお、図１（ａ）の動きベクトル検出範囲内で格子状に分割された領域は、後述のブロックマッチング法におけるブロックを示している。また、図１（ｅ）に示している動きベクトルは、各々のブロックで検出した動きベクトルから算出した、画面全体の動きを示す代表ベクトルである。

図１（ａ）に示すように、撮像画像中の主被写体である人物が撮像画像の中心に位置している。ここで、図１（ｂ）から図１（ｄ）に示すように人物が移動し、補正レンズが主被写体を追尾するように駆動すると、光軸が傾けられ、図１（ｃ）に示すように人物が撮像画像の中心に位置し続けることになる。この場合、人物以外の風景（図１（ｃ）におけるビルや木）は、図１（ａ）から図１（ｃ）にかけて撮像画像における位置が変化している。人物の領域（図１（ｅ）中の斜線ブロック）以外の領域が撮像画像の大部分を占めるため、図１（ｅ）に示すような、背景（風景）の位置変化に基づく代表ベクトルが算出される。

ここで、電子式ブレ補正機能としては、代表ベクトルによって画像ブレを検出し、画像メモリの読み出し位置を代表ベクトルに基づいて変化させる方式が広く用いられている。このような電子式ブレ補正機能が、前述のように補正レンズで被写体追尾を行ったときの背景位置変化により検出した代表ベクトルに基づいて、画像メモリの読み出し位置を変化させてしまうと、被写体追尾を妨げる可能性がある。

本発明はこのような状況に鑑みてなされたものであり、像ブレ補正機能を有する撮像装置が光学系により被写体追尾を行う際に、像ブレ補正機能が被写体追尾を妨げることを抑制する技術を提供することを目的とする。

上記課題を解決するために、本発明は、撮像素子で撮像された撮像画像より所定の被写体を検出する被写体検出手段と、前記撮像素子で撮像された２枚の撮像画像より撮像画面内を移動する前記所定の被写体の移動量を取得する移動量取得手段と、前記撮像素子に光束を導く撮像光学系を構成する光学素子を前記撮像光学系の光軸と異なる方向に移動させることで、前記撮像画面内における前記所定の被写体の移動量を抑制する被写体追尾手段と、前記撮像素子で撮像された２枚の撮像画像を比較して像ブレ量を示す動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルに基づいて像ブレを補正する像ブレ補正手段と、前記被写体追尾手段による被写体追尾を行うか否かを切り替える切替手段と、を備え、前記像ブレ補正手段は、前記被写体追尾を行う場合の前記像ブレ補正の効果を、前記被写体追尾を行わない場合の前記像ブレ補正の効果よりも小さくすることを特徴とする撮像装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、像ブレ補正機能を有する撮像装置が光学系により被写体追尾を行う際に、像ブレ補正機能が被写体追尾を妨げることを抑制することが可能となる。

電子式ブレ補正が被写体追尾を妨げる理由を説明する概念図。 第１の実施形態に係る撮像装置１００の構成を示すブロック図。 補正レンズ１３２の制御モードの切り替えに伴って撮像装置１００が実行する処理を示すフローチャート。 第２の実施形態に係る撮像装置２００の構成を示すブロック図。 撮像装置２００が実行する電子式追尾補正の処理を示すフローチャート。 被写体追尾モードにおけるレンズ駆動誤差を説明する図。 第３の実施形態に係る撮像装置３００の構成を示すブロック図。 撮像装置３００が実行する電子式追尾補正の処理を示すフローチャート。 補正レンズ１３２の制御モードに応じた動きベクトル検出範囲を示す図。 第４の実施形態に係る撮像装置４００の構成を示すブロック図。 補正レンズ１３２の制御モードの切り替えに伴って撮像装置４００が実行する処理を示すフローチャート。 第５の実施形態に係る撮像装置５００の構成を示すブロック図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

最初に、言葉の定義について説明する。本明細書では、撮像装置に加えられる振動を「振れ」と呼び、振れによって発生する撮像画像のフレーム間の被写体位置ずれ、もしくは被写体像のボケを「ブレ」と呼ぶ。

［第１の実施形態］
本発明の実施形態について説明する。図２は、第１の実施形態に係る撮像装置１００の構成を示すブロック図である。以下、図２の撮像装置１００の各構成部とその一例の動作について具体的に説明する。

撮像装置１００は、撮像光学系の光軸と垂直に移動可能な補正レンズ１３１と補正レンズ１３２との２つの補正レンズ（像ブレ補正レンズ）を有し、補正レンズ１３１を光学式ブレ補正に用いる。また、撮像装置１００は、補正レンズ１３１の制御モードとして、ブレ補正モード又は被写体追尾モードを選択可能である。ブレ補正モードの場合、撮像装置１００は、補正レンズ１３２を光学式ブレ補正制御に用いる。被写体追尾モードの場合、撮像装置１００は、補正レンズ１３２を被写体追尾制御に用いる。

まずは、補正レンズ１３１を用いた光学式ブレ補正の説明を行う。角速度センサ１０１は、撮像装置１００に加わる振れを角速度信号として検出し、その角速度信号をＡ／Ｄ変換器１０２に供給する。Ａ／Ｄ変換器１０２は、角速度センサ１０１から供給される角速度信号をデジタル化してμＣＯＭ（マイクロコンピュータ）１０３内部の信号分割部１０４に供給する。以下では、デジタル化した角速度信号を角速度データと表現する。

信号分割部１０４は、駆動制御切替部１１５から通知される現在の補正レンズ１３２の制御モードを示す情報を受け取り、制御モードに応じて出力を切り替える。被写体追尾モードの場合、角速度データに基づく光学式ブレ補正は補正レンズ１３１のみで行われるため、信号分割部１０４は、角速度データを分割せずにレンズ駆動量演算部１０５へ出力する。他方、ブレ補正モードの場合、補正レンズ１３１と補正レンズ１３２との２つを使用して光学式ブレ補正が行われるため、信号分割部１０４は、角速度データを分割してレンズ駆動量演算部１０５及び駆動制御切替部１１５に出力する。信号分割部１０４の詳細は後述する。ブレ補正モード又は被写体追尾モードのいずれの場合であっても、レンズ駆動量演算部１０５は、信号分割部１０４が出力する角速度データに基づいて補正レンズ１３１を駆動するための駆動量を算出し、減算器１０６に出力する。

減算器１０６は、レンズ駆動量演算部１０５の出力から後述のレンズ位置データを減算して得られる偏差データを制御フィルタ１０７に出力する。制御フィルタ１０７は、入力データを所定のゲインで増幅する増幅器、及び位相補償フィルタを含む。減算器１０６から供給された偏差データは、制御フィルタ１０７において増幅器及び位相補償フィルタによる信号処理が行われた後、パルス幅変調部１０８に出力される。

パルス幅変調部１０８は、制御フィルタ１０７を通過して供給されたデータを、パルス波のデューティー比を変化させる波形（即ち、ＰＷＭ波形）に変調して、モータ駆動部１０９に供給する。モータ１１０は、補正レンズ１３１の駆動用のボイス・コイル型モータである。モータ１１０がモータ駆動部１０９により駆動されることにより、補正レンズ１３１が光軸と垂直な方向に移動される。ここで、端子Ａ１１１と端子Ａ１２６は、各々が電気的に接続されていることを示している。また、端子Ｂ１１２と端子Ｂ１２７は、各々が電気的に接続されていることを示している。

位置検出センサ１１３は、磁石とそれに対向する位置に備えられたホール・センサとを含み、補正レンズ１３１の光軸と垂直な方向への移動量を検出し、その検出結果をＡ／Ｄ変換器１１４に出力する。Ａ／Ｄ変換器１１４は、位置検出センサ１１３の検出信号をデジタルデータであるレンズ位置データに変換し、上述した減算器１０６に供給する。これによって、レンズ駆動量演算部１０５の出力に対して、補正レンズ１３１の光軸と垂直な方向への移動量を追従させる、フィードバック制御系を構成している。

補正レンズ１３１は、例えばシフトレンズであり、光軸に対し垂直平面上を移動されることにより光軸を偏向する、振れ補正可能な光学系である。補正レンズ１３１の移動が行われた結果、撮像装置１００の振れによって生じる撮像面上の被写体の縦横方向のブレが補正された像が、撮像素子１３３に結像される。

ここで、もう１つの補正レンズ制御系、即ち、レンズ駆動量演算部１１６からＡ／Ｄ変換器１２５の処理内容は、基本的には、レンズ駆動量演算部１０５からＡ／Ｄ変換器１１４の処理と同じであるため、詳細な説明は省略する。但し、ブレ補正モードの場合と被写体追尾モードの場合とで、駆動制御切替部１１５からレンズ駆動量演算部１１６に入力されるデータが異なるため、結果として、補正レンズ１３２の制御も異なる。制御モードの切り替えに関係する処理については、後に詳細な説明を行う。

以下では、撮像した画像を保存及び表示する処理について説明する。また、撮像した画像から顔位置を検出する処理と、動きベクトルを検出する処理に関しても説明する。

撮像素子１３３は、補正レンズ１３１と補正レンズ１３２を含む撮像光学系１３０によって結像された被写体像を撮像画像信号としての電気信号に変換し、信号処理部１３４に供給する。信号処理部１３４は、撮像素子１３３により得られた信号から、例えばＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）を生成して画像メモリ１４０に供給する。また、信号処理部１３４は、顔検出部１３５と動きベクトル検出部１３７にもそれぞれビデオ信号を供給する。但し、顔検出部１３５と動きベクトル検出部１３７に供給するビデオ信号は、画像メモリ１４０に供給するビデオ信号と同じものでなくてもよい。

顔検出部１３５は、ビデオ信号に対して任意の公知の顔認識処理を施して撮影画面内の人物の顔（所定の被写体）の領域を検出する、被写体検出処理を行う。そして、顔検出部１３５は、検出結果を被写体移動量演算部１３６に供給する。被写体移動量演算部１３６は、顔検出部１３５で検出した人物の顔領域位置に基づき、前回の撮像画像から今回の撮像画像までの間における人物の移動量を算出する、移動量取得処理を行う。そして、被写体移動量演算部１３６は、算出結果を被写体移動量データとして駆動制御切替部１１５に供給する。

動きベクトル検出部１３７は、信号処理部１３４から出力されるビデオ信号を、１フィールド（又は１フレーム）期間遅延させるため不図示のメモリに保持しておく。そして、動きベクトル検出部１３７は、今回の撮像により取得したビデオ信号の画像（第１の撮像画像）と前回の撮像により取得した１フィールド（又は１フレーム）前の画像（第２の撮像画像）との２枚の画像の輝度信号に基づき、動きベクトルを検出する。

具体的な動きベクトルの検出方法は、例えば、従来提案されているブロックマッチング法などを用いる。ブロックマッチング法は、撮像画像をブロックと呼ばれる領域に分割し、例えば１フレーム前の撮像画像と現在の撮像画像との類似箇所をブロック単位で検出する方法である。１フレーム前の撮像画像内の任意の範囲において、現在の撮像画像内の任意ブロックとの相関値が最も大きい場所が類似ブロック位置として検出される。現在の撮像画像内の任意ブロック位置と１フレーム前の撮像画像内の類似ブロック位置との変位量を求めることにより、撮像画像のフレーム間の動き情報、即ち動きベクトルが検出される。

なお、ブロックマッチング法は、動きベクトル検出部１３７における動きベクトル検出方法の一例であり、動きベクトル検出方法はブロックマッチング法以外の方法を用いてもよい。また、マッチング演算については、尾上守夫等により、情報処理Vol.17,No.7,p.634 〜640 July 1976で詳しく論じられている。

代表ベクトル決定部１３８は、動きベクトル検出部１３７において検出される複数の動きベクトルから画像全体の動きを示す代表ベクトルを算出し、算出した代表ベクトルをメモリ読み出し制御部１３９に供給する。なお、代表ベクトルの算出方法としては、複数のブロック単位の動きベクトルの中央値又は平均値を代表ベクトルとする方法が挙げられる。ここ以降で動きベクトルと表記しているものは、代表ベクトルを示す場合もある。

メモリ読み出し制御部１３９は、代表ベクトル決定部１３８で検出した動きベクトルに応じて、画像の動きが相殺されるように画像メモリ１４０の読み出し位置を制御する。これにより、画像メモリ１４０からブレが補正されたビデオ信号（出力画像）が出力される。このように画像メモリ１４０の読み出し位置を変更して出力画像取得処理を行うことでブレ補正を行う方法は、電子式ブレ補正と呼ばれる。本実施形態では、撮像装置１００は、ブレ補正モードの場合は電子式ブレ補正を行うが、被写体追尾モードの場合は電子式ブレ補正を行わない。そのため、メモリ読み出し制御部１３９は、駆動制御切替部１１５で決定される補正レンズ１３２の制御モードに応じて、処理を変更する。但し、この処理の詳細は後述するものとする。

画像メモリ１４０から出力されるビデオ信号は、記録制御部１４１及び表示制御部１４３に供給される。記録制御部１４１は、記録開始や終了の指示に用いる操作部（不図示）によって映像信号の記録が指示された場合、画像メモリ１４０から供給されたビデオ信号を記録媒体１４２に出力し、記録させる。記録媒体１４２は、半導体メモリ等の情報記録媒体やハードディスク等の磁気記録媒体である。表示制御部１４３は、画像メモリ１４０から供給されたビデオ信号を出力して表示デバイス１４４に画像を表示させる。表示制御部１４３は表示デバイス１４４を駆動し、表示デバイス１４４は液晶表示素子（ＬＣＤ）等により画像を表示する。

以下、図３を参照して、補正レンズ１３２の制御モードの切り替えに伴って撮像装置１００が実行する処理について説明する。ここで、フローチャートの説明に先立ち、いずれの制御モードに切り替えるかを選択する方法の具体例について説明する。１つの例として、撮像装置１００は、ブレ補正モードと被写体追尾モードとを選択可能なメニューを備えている。撮影者がメニューからブレ補正モードを選択した場合、駆動制御切替部１１５は制御モードをブレ補正に切り替える。撮影者が被写体追尾モードを選択した場合、駆動制御切替部１１５制御モードを被写体追尾に切り替える。別の例として、撮影者がタッチパネルなどの操作で追尾させたい被写体を選択すると、駆動制御切替部１１５は、制御モードをブレ補正モードから被写体追尾モードに切り替える。更に別の例として、顔検出部１３５が人物など追尾対象の被写体を検出した場合に、駆動制御切替部１１５は、制御モードを被写体追尾モードに切り替え、顔検出部１３５が追尾対象の被写体が検出できなかった場合は、制御モードをブレ補正モードに切り替える。

駆動制御切替部１１５が補正レンズ１３２の制御モードをブレ補正モードと被写体追尾モードとの間で切り替えると、本フローチャートの処理が開始する。Ｓ１００で、駆動制御切替部１１５は、補正レンズ１３２の現在の制御モードを信号分割部１０４とメモリ読み出し制御部１３９に通知する。

Ｓ１０１において、現在の制御モードがブレ補正モードであるか被写体追尾モードであるかに応じて、処理が分岐する。ブレ補正モードの場合、処理はＳ１０２に進み、被写体追尾モードの場合、処理はＳ１０５に進む。

Ｓ１０２で、信号分割部１０４は、Ｓ１００において駆動制御切替部１１５から通知された制御モードに従った動作を開始する。具体的には、信号分割部１０４は、角速度データを分割してレンズ駆動量演算部１０５と駆動制御切替部１１５へそれぞれ出力する。角速度データの分割方法の一例として、レンズ駆動量演算部１０５への出力は角速度データに所定の係数ｎ（ｎ＜１）を乗じた値であり、駆動制御切替部１１５への出力は角速度データに係数（１−ｎ）を乗じた値である。また、角速度データの分割方法の別の例として、信号分割部１０４は、低周波通過フィルタ又は高周波通過フィルタの機能を有し、角速度データを周波数分離して、一方の出力を低周波信号、他方の出力を高周波信号とする。

Ｓ１０３で、駆動制御切替部１１５は、制御モードに従った動作を開始する。具体的には、駆動制御切替部１１５は、信号分割部１０４から供給される分割された角速度データをレンズ駆動量演算部１１６に出力する。このとき、駆動制御切替部１１５は、被写体移動量演算部１３６から供給される被写体移動量データを無効化する。これにより、補正レンズ１３２は、分割された角速度データのみに基づいて駆動され、補正レンズ１３２による光学式ブレ補正が行われる。このように、分割された角速度データの一方の出力に基づいて補正レンズ１３１を駆動し、他方の出力に基づいて補正レンズ１３２を駆動することで、２つの補正レンズを使用した光学式ブレ補正が実現される。

Ｓ１０４で、メモリ読み出し制御部１３９は、Ｓ１００において駆動制御切替部１１５から通知された制御モードに従った動作を開始する。具体的には、メモリ読み出し制御部１３９は、代表ベクトル決定部１３８から供給される動きベクトル（代表ベクトル）に基づいて、画像メモリ１４０からの画像読み出し位置を制御する。これにより、光学式ブレ補正での補正誤差による画像ブレを電子式ブレ補正で更に補正することが可能となる。

他方、被写体追尾モードの場合、Ｓ１０５で、信号分割部１０４は、Ｓ１００において駆動制御切替部１１５から通知された制御モードに従った動作を開始する。具体的には、信号分割部１０４は、Ａ／Ｄ変換器１０２から供給される角速度データを分割せずにレンズ駆動量演算部１０５へ出力する。このとき、信号分割部１０４は、駆動制御切替部１１５に対しては、０や無効な値などを出力し、駆動制御切替部１１５が信号分割部１０４の出力を使用しないようにする。

Ｓ１０６で、駆動制御切替部１１５は、制御モードに従った動作を開始する。具体的には、駆動制御切替部１１５は、信号分割部１０４から供給されるデータを無効化し、被写体移動量演算部１３６から出力される被写体移動量データをレンズ駆動量演算部１１６に出力する。これにより、補正レンズ１３２が被写体の移動に合わせて駆動して光軸を偏向するため、被写体が移動する場合であっても被写体位置が画像内の略一定位置に収まるようになる。

Ｓ１０７で、メモリ読み出し制御部１３９は、Ｓ１００において駆動制御切替部１１５から通知された制御モードに従った動作を開始する。具体的には、メモリ読み出し制御部１３９は、電子式ブレ補正が行われないようにする。即ち、メモリ読み出し制御部１３９は、画像メモリ１４０からの画像読み出し位置が変更されないように、予め決められた固定位置を画像読み出し位置とする。このＳ１０７の処理により電子式ブレ補正を止めることで、補正レンズ１３２の被写体追尾によって生じる背景位置変化を電子式ブレ補正で抑制しようとする誤補正を防ぐことが可能となる。

以上説明したように、第１の実施形態によれば、撮像装置１００は、補正レンズ１３２の制御モードとしてブレ補正モードと被写体追尾モードとの間で切り替え可能である。そして、撮像装置１００は、ブレ補正モードの場合は電子式ブレ補正を行うが、被写体追尾モードの場合は電子式ブレ補正を行わない。

これにより、電子式ブレ補正機能を有する撮像装置が補正レンズ１３２のような光学系により被写体追尾を行う際に、電子式ブレ補正機能が被写体追尾を妨げることを抑制することが可能となる。

なお、上記の説明においては、撮像装置１００の振れを検出するために角速度センサ１０１の出力を用いたが、これは種々の変形が可能である。例えば、加速度センサを用いてもよい。また、光学式ブレ補正及び被写体追尾を行うために、補正レンズ１３２を駆動するものとしたが、これに限定されるものではない。例えば、撮像装置１００は、補正レンズ１３２の代わりに撮像素子１３３を駆動することにより、光学式ブレ補正及び被写体追尾を行ってもよい。或いは、光学式ブレ補正及び被写体追尾を行うためにプリズムを用いる方法等も利用可能である。撮像光学系１３０の光軸と撮像素子１３３との位置関係を変化させる方法であれば、いかなる方法によって光学式ブレ補正及び被写体追尾を行ってもよい。

また、図３のＳ１０７における、メモリ読み出し制御部１３９の制御は、必ずしも固定値に基づいて画像読み出しを行うようにする制御に限定されない。例えば、メモリ読み出し制御部１３９は、読み出し位置の変更可能範囲を、被写体追尾時モードの場合はブレ補正モードの場合よりも小さい範囲にした上で、電子式ブレ補正を行ってもよい。換言すると、メモリ読み出し制御部１３９は、被写体追尾時モードの場合には、動きベクトルに１未満の所定のゲインをかけてブレ補正モードの場合よりもブレ補正効果を小さくすればよく、ブレ補正効果を完全に０にする必要は無い。この場合でも、被写体追尾時の背景移動に基づく動きベクトルが電子式ブレ補正に与える影響が小さくなるため、電子式ブレ補正機能が被写体追尾を妨げることがある程度は抑制される。ここで述べた種々の変形に関しては、以降の実施形態でも当てはまるものである。

［第２の実施形態］
図４は、第２の実施形態に係る撮像装置２００の構成を示すブロック図である。図４において、図２と同様の構成には同一の符号を付し、説明は省略する。第１の実施形態では、撮像装置１００は、被写体追尾モードの場合、電子式ブレ補正の効果を小さくする、または０にしていた。これに対し、第２の実施形態では、撮像装置２００は、被写体追尾モードの場合であっても、代表ベクトルを利用した補正処理を行う。但し、詳細は後述するが、この補正処理は、画像メモリ１４０のメモリ読み出し位置を変更するという点では第１の実施形態の電子式ブレ補正と同様であるが、ブレを補正するのではなく、被写体追尾の精度を向上させる役割を果たす。このような補正処理を、「電子式追尾補正」と呼ぶ。

図４に示す撮像装置２００においては、μＣＯＭ２０１が顔サイズ判定部２０３を備えており、顔検出部２０２は、検出した顔領域情報から顔サイズに関する情報を顔サイズ判定部２０３に通知する。また、メモリ読み出し制御部２０４は、レンズ駆動量演算部１１６で算出した補正レンズ１３２の駆動量を受け取る構成になっている。メモリ読み出し制御部２０４は、顔サイズ判定部２０３から通知される判定結果に基づいて処理内容を変更する。

撮像装置２００は、補正レンズ１３２の制御モードがブレ補正モードの場合は第１の実施形態と同様に電子式ブレ補正を行い、補正レンズ１３２の制御モードが被写体追尾モードの場合は電子式追尾補正を行う。

図５は、撮像装置２００が実行する電子式追尾補正の処理を示すフローチャートである。本フローチャートは、図３のＳ１０７を置き換えるものである。まず、Ｓ２００で、顔検出部２０２は、顔サイズ情報、即ち撮像画像内に占める主被写体の顔の大きさを顔サイズ判定部２０３に通知する。

Ｓ２０１で、顔サイズ判定部２０３は、顔検出部２０２から通知された顔サイズ情報に基づいて、顔サイズが閾値以上であるか否かを判定する。閾値以上の場合、処理はＳ２０２に進み、閾値未満の場合、処理はＳ２０３に進む。ここで、閾値は、代表ベクトル決定部１３８で決定される代表ベクトルに対して、追尾対象の主被写体の移動と背景の位置変化のいずれがより強く寄与するかの境界となる値である。即ち、動きベクトル検出部１３７で検出された複数の動きベクトルのうち、被写体の動きを表す動きベクトルの数が背景の位置変化を表す動きベクトルの数よりも多くなるような被写体の顔サイズが、閾値となる。従って、主被写体の顔サイズが閾値以上の場合は、代表ベクトルは主に主被写体の移動に基づいて算出され、顔サイズが閾値未満の場合は、代表ベクトルは主に背景の位置変化に基づいて算出されることとなる。

Ｓ２０２で、メモリ読み出し制御部２０４は、代表ベクトルに基づいて画像メモリ１４０の読み出し位置を制御する。代表ベクトルは主に主被写体移動に基づいて算出されているので、この制御により、被写体位置のズレ（即ち、補正レンズ１３２による被写体追尾の誤差）を補正する電子式追尾補正が実現される。

他方、Ｓ２０３では、メモリ読み出し制御部２０４は、レンズ駆動量演算部１１６で算出される補正レンズ１３２のレンズ駆動量と代表ベクトルとの差分に基づいて電子式追尾補正を行う。

Ｓ２０３でのメモリ読み出し制御部２０４の処理について、図６を参照して詳細に説明する。図６（ａ）は、レンズ駆動量演算部１１６で算出される補正レンズ１３２のレンズ駆動量を表す。このレンズ駆動量は、主被写体位置に基づいて算出されたものであり、補正レンズ１３２の駆動の目標量に対応する。補正レンズ１３２を図６（ａ）に基づいて追尾駆動することで、これまで述べてきたように背景にある固定被写体位置が変化し、前述の背景位置変化が図６（ｂ）に示すような代表ベクトルとして検出される。ここで、図６（ａ）のレンズ駆動量と図６（ｂ）の代表ベクトルとの波形の違いは、補正レンズ１３２の駆動がレンズ駆動量に対し完全に追従できていないことによる、追従誤差量を表す。即ち、代表ベクトルから、補正レンズ１３２の駆動の目標量に対応するレンズ駆動量を差し引いた値が、レンズ駆動誤差として図６（ｃ）に示すような波形で表れる。なお、図４には不図示であるが、代表ベクトルからレンズ駆動量を差し引く処理のため、メモリ読み出し制御部２０４は、レンズ駆動量の単位を代表ベクトルと合わせる処理を行う。

メモリ読み出し制御部２０４は、図６（ｃ）に示すレンズ駆動誤差に基づいて画像メモリ１４０の読み出し位置を変更する。これにより、補正レンズ１３２による被写体追尾を妨げるような電子式ブレ補正は回避しつつ、補正レンズ１３２の駆動誤差（即ち、被写体追尾の誤差）を補正することが可能となる。

以上説明したように、第２の実施形態によれば、撮像装置２００は、ブレ補正モードの場合は電子式ブレ補正を行い、被写体追尾モードの場合は電子式追尾補正を行う。これにより、電子式ブレ補正機能が被写体追尾を妨げることを抑制し、更に、被写体追尾の誤差を補正することが可能となる。

［第３の実施形態］
図７は、第３の実施形態に係る撮像装置３００の構成を示すブロック図である。図７において、図２と同様の構成には同一の符号を付し、説明は省略する。撮像装置３００は、第２の実施形態における撮像装置２００とは異なる方法によって、電子式追尾補正を実現する。

図７に示す撮像装置３００においては、μＣＯＭ３０１が動きベクトル検出範囲算出部３０２を備えている。図８は、撮像装置３００が実行する電子式追尾補正の処理を示すフローチャートである。本フローチャートは、図３のＳ１０７を置き換えるものである。

Ｓ３００で、顔検出部１３５は、顔領域検出を行い、検出した顔領域情報を動きベクトル検出範囲算出部３０２に通知する。Ｓ３０１で、動きベクトル検出範囲算出部３０２は、Ｓ３００において通知された顔領域情報に基づいて動きベクトル検出範囲を算出し、算出した動きベクトル検出範囲を動きベクトル検出部３０３に通知する。

動きベクトル検出範囲算出部３０２で算出される動きベクトル検出範囲の一例は図９に示す通りである。補正レンズ１３２の制御モードがブレ補正モードの場合、図９（ａ）に示すように、検出範囲は撮像画像の略全域であるが、補正レンズ１３２の制御モードが被写体追尾モードの場合は、図９（ｂ）に示すように、検出範囲は顔領域周辺のみである。図９（ｂ）において、「顔領域」と記載された点線枠が顔検出部１３５で検出された顔領域を示しており、このときの動きベクトル検出範囲は、該顔領域が含まれる６つのブロックのみである。但し、顔領域の配置によっては検出範囲に含まれるブロック数が極めて少数になってしまうため、検出精度が低下する要因となる。そこで、動きベクトル検出数が少なくなり過ぎることを回避するために、顔領域が含まれるブロック及び該ブロックと隣接するブロックまでを検出範囲としてもよい。換言すると、被写体追尾モード時に設定される動きベクトル検出範囲は、主被写体を含みつつ、ブレ補正モード時に設定される動きベクトル検出範囲よりも狭ければ、どのような範囲であっても構わない。

また、動きベクトル検出範囲の算出方法別の例として、動きベクトル検出範囲算出部３０２は、動きベクトルの信頼性を判定し、信頼性に基づいてブロック数やブロックサイズを決定し、動きベクトル検出範囲としてもよい。

Ｓ３０２で、動きベクトル検出部３０３は、動きベクトル検出範囲算出部３０２から通知された動きベクトル検出範囲内で、動きベクトルの検出を行う。Ｓ３０３で、代表ベクトル決定部１３８は、動きベクトル検出部３０３で検出された動きベクトルに基づいて代表ベクトルを決定する。代表ベクトルの決定方法は、ブレ補正モードの場合と同様である。Ｓ３０４で、メモリ読み出し制御部１３９は、代表ベクトルに基づいて電子式追尾補正を行う。ここでの処理は、図２のＳ２０２と同様である。

以上説明したように、第３の実施形態によれば、撮像装置３００は、被写体追尾モードの場合、顔領域に基づいて算出された動きベクトル検出範囲に基づいて動きベクトルを検出し、電子式追尾補正を行う。これにより、電子式ブレ補正機能が被写体追尾を妨げることを抑制し、更に、被写体追尾の誤差を補正することが可能となる。

［第４の実施形態］
図１０は、第４の実施形態に係る撮像装置４００の構成を示すブロック図である。図１０において、図２と同様の構成には同一の符号を付し、説明は省略する。

撮像装置４００は、補正レンズ１３２の制御モードとして、ブレ補正モード及び被写体追尾モードに加えて、構図変更モードを選択可能である。構図変更モードにおいて、撮像装置４００は、補正レンズ１３２を移動させることで、映像にパンニング、又はチルティング効果を持たせる構図変更制御を実行可能である。

補正レンズ１３２を構図変更のために駆動させる場合は、電子式ブレ補正を行うと構図変更を妨げてしまう。そのため、撮像装置４００は、構図変更モードの場合、第１の実施形態における被写体追尾モードの場合と同様に、画像メモリ１４０のメモリ読み出し位置変更を行わず、更に、補正レンズ１３１の駆動も停止させる。

図１０に示す撮像装置４００は、レンズ駆動パラメータ設定部４０２を備え、μＣＯＭ４０１内の駆動制御切替部４０３は、レンズ駆動パラメータ設定部４０２の出力を受ける。また、駆動制御切替部４０３は、レンズ駆動量演算部４０４に対し、レンズ駆動量を０に設定するように制御することができる。

以下、図１１を参照して、補正レンズ１３２の制御モードの切り替えに伴って撮像装置４００が実行する処理について説明する。駆動制御切替部４０３が補正レンズ１３２の制御モードをブレ補正モード、被写体追尾モード、及び構図変更モードの間で切り替えると、本フローチャートの処理が開始する。

Ｓ４００で、駆動制御切替部４０３は、補正レンズ１３２の現在の制御モードを信号分割部１０４、メモリ読み出し制御部１３９、及びレンズ駆動量演算部４０４に通知する。

Ｓ４０１において、現在の制御モードに応じて処理が分岐する。構図変更モードの場合、処理はＳ４０２に進み、ブレ補正モード又は被写体追尾モードの場合、処理はＳ４０８に進む。Ｓ４０８の処理は、第１の実施形態から第３の実施形態で説明したものと同様である。

Ｓ４０２で、信号分割部１０４は、Ｓ４００において駆動制御切替部４０３から通知された制御モードに従った動作を開始する。具体的には、信号分割部１０４は、Ａ／Ｄ変換器１０２から供給される角速度データを分割せずにレンズ駆動量演算部４０４へ出力する。このとき、信号分割部１０４は、駆動制御切替部４０３に対しては、０や無効な値などを出力し、駆動制御切替部１１５が信号分割部１０４の出力を使用しないようにする。

Ｓ４０３で、レンズ駆動パラメータ設定部４０２は、撮影者が設定したレンズ駆動パラメータを駆動制御切替部４０３に出力する。ここで、レンズ駆動パラメータの一例として、補正レンズ１３２の移動開始位置、移動終了位置、及び、移動開始位置から移動終了位置まで移動する速度の組み合わせが挙げられる。別の一例として、補正レンズ１３２の移動開始位置、移動速度、移動方向、及び移動完了までに要する時間の組み合わせが挙げられる。但し、撮影者が所望する構図変更を満たすためのパラメータは、これらに限定されるものではない。

Ｓ４０４で、駆動制御切替部４０３は、制御モードに従った動作を開始する。具体的には、駆動制御切替部４０３は、信号分割部１０４から供給されるデータを無効化し、レンズ駆動パラメータ設定部４０２から出力されるレンズ駆動パラメータをレンズ駆動量演算部１１６に出力する。

Ｓ４０５で、レンズ駆動量演算部１１６は、駆動制御切替部４０３から出力されるレンズ駆動パラメータに基づいて補正レンズ１３２のレンズ駆動量を算出し、減算器１１７へ出力する。このレンズ駆動量に基づいて補正レンズ１３２を駆動し光軸を偏向することで、撮像装置４００が固定状態で撮影が行われても、あたかも撮像装置４００をパンニング又はチルティングしたような映像を撮影することが可能となる。

Ｓ４０６で、レンズ駆動量演算部４０４は、Ｓ４００において駆動制御切替部４０３から通知された制御モードに従った動作を開始する。具体的には、レンズ駆動量演算部４０４は、補正レンズ１３２による構図変更を妨げないようにするために、信号分割部１０４から供給される角速度データを無効化し、レンズ駆動量を任意の固定値で減算器１０６に出力する。但し、Ｓ４０６の処理は、補正レンズ１３１の駆動を停止させる処理ならば、これに限定されるものではない。例えば、信号分割部１０４が駆動制御切替部４０３からの通知を受けて、駆動制御切替部４０３とレンズ駆動量演算部４０４とのいずれにも０、任意の固定値、又は無効データなどを出力してもよい。或いは、制御フィルタ１０７やパルス幅変調部１０８でレンズ駆動停止処理を行ってもよい。また、補正レンズ１３１の構造でレンズ固定用部材を備え、構図変更モードの場合は補正レンズ１３１をレンズ固定用部材で固定させてもよいものとする。

Ｓ４０７で、メモリ読み出し制御部１３９は、Ｓ４００において駆動制御切替部４０３から通知された制御モードに従った動作を開始する。具体的には、メモリ読み出し制御部１３９は、電子式ブレ補正が（電子式追尾補正も）行われないようにする。即ち、メモリ読み出し制御部１３９は、画像メモリ１４０からの画像読み出し位置が変更されないように、予め決められた固定位置を画像読み出し位置とする。このＳ４０７の処理で電子式ブレ補正や電子式追尾補正を止めることで、補正レンズ１３２による構図変更が妨げられないようにすることが可能となる。なお、図３のＳ１０７と同様、メモリ読み出し制御部１３９は、画像読み出し位置を固定する代わりに、読み出し位置の変更可能範囲がブレ補正モード時よりも小さくなるように代表ベクトルに１未満の所定のゲインをかけて補正効果を小さくした上で、電子式ブレ補正を行ってもよい。

以上説明したように、第４の実施形態によれば、撮像装置４００は、補正レンズ１３２の制御モードとして、ブレ補正モード及び被写体追尾モードに加えて、構図変更モードを選択可能である。そして、撮像装置１００は、構図変更モードの場合は電子式ブレ補正を行わない。

これにより、電子式ブレ補正機能を有する撮像装置が補正レンズ１３２のような光学系により構図変更を行う際に、電子式ブレ補正機能が構図変更を妨げることを抑制することが可能となる。

なお、撮像装置４００は、補正レンズ１３１を停止し、補正レンズ１３２で構図変更を行う代わりに、補正レンズ１３２を停止し、補正レンズ１３１で構図変更を行ってもよい。

［第５の実施形態］
図１２は、第５の実施形態に係る撮像装置５００の構成を示すブロック図である。

第５の実施形態においては、上述してきた第１から第４の実施形態における撮像装置に対し、代表ベクトルを補正レンズ１３２の駆動にも使用する構成を追加した。図１２では、第５の実施形態の特徴となる部分のみ図示し、前述までの実施形態で説明してきた構成と差異がないブロックは図示を省略、または同一の符号を付し、説明も省略する。

撮像装置５００におけるμＣＯＭ５０１は、レンズ駆動量換算部５０４と、加算器５０５を備え、駆動制御切替部５０２は、メモリ読み出し制御部１３９に加えてレンズ駆動量換算部５０４にも制御モードを通知する。

代表ベクトル決定部５０３は、動きベクトル検出部１３７で検出される動きベクトルの中から代表ベクトルを決定し、レンズ駆動量換算部５０４とメモリ読み出し制御部１３９に代表ベクトルを出力する。

レンズ駆動量換算部５０４は、代表ベクトルを補正レンズ１３２（図２参照）を駆動するための補正量に換算する。ただし、レンズ駆動量換算部５０４による換算処理は、単純な単位変換処理だけでなく、積分や位相合わせなどのフィルタ演算処理も含むものとする。

レンズ駆動量換算部５０４の出力を、以下ではベクトルレンズ駆動量と定義する。加算器５０５をレンズ駆動量演算部１１６の後段に加えることで、位置検出センサ１２４からのフィードバック系とは異なるベクトルによるフィードバック制御を実現する。

ここで、レンズ駆動量換算部５０４は、駆動制御切替部５０２から通知された制御モードがブレ補正モードでない場合には、ベクトルによる補正レンズ１３２の駆動が行われない（或いは、小さくなる）ようにする。即ち、レンズ駆動量換算部５０４は、ベクトルレンズ駆動量に１未満の所定のゲインをかけて、加算器５０５への出力を０またはブレ補正モード時の出力よりも小さい値とすることで、補正効果を小さくする。この処理により、被写体追尾モード時に補正レンズ１３２の被写体追尾によって生じる背景位置変化により生じるベクトルによる、ブレの誤補正を抑制することが可能となる。

第１から第４の実施形態では、主に電子式ブレ補正機能が被写体追尾又は構図変更を妨げることを抑制することを説明してきた。しかしながら、第５の実施形態から明らかな通り、ブレ補正機能は電子式に限定されず、電子式であれ光学式であれ、像ブレ補正機能が被写体追尾又は構図変更を妨げることを抑制することが可能である。

［その他の実施形態］
上記の各実施形態では、補正レンズ１３１と補正レンズ１３２の２つの補正レンズを備える撮像装置について説明した。しかしながら、各撮像装置は、補正レンズ１３１を備えなくても構わない。即ち、各撮像装置は、１つの補正レンズの制御モードを、ブレ補正モード及び被写体追尾モード（第４の実施形態の場合、更に構図変更モード）の間で切り替えても構わない。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００…撮像装置、１０３…μＣＯＭ、１０５…レンズ駆動量演算部、１１５…駆動制御切替部、１１６…レンズ駆動量演算部、１３１…補正レンズ、１３２…補正レンズ、１３５…顔検出部、１３６…被写体移動量演算部、１３７…動きベクトル検出部、１３８…代表ベクトル決定部

Claims (6)

1. 撮像素子で撮像された撮像画像より所定の被写体を検出する被写体検出手段と、
   前記撮像素子で撮像された２枚の撮像画像より撮像画面内を移動する前記所定の被写体の移動量を取得する移動量取得手段と、
   前記撮像素子に光束を導く撮像光学系を構成する光学素子を前記撮像光学系の光軸と異なる方向に移動させることで、前記撮像画面内における前記所定の被写体の移動量を抑制する被写体追尾手段と、
   前記撮像素子で撮像された２枚の撮像画像を比較して像ブレ量を示す動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトルに基づいて像ブレを補正する像ブレ補正手段と、
   前記被写体追尾手段による被写体追尾を行うか否かを切り替える切替手段と、
   を備え、
   前記像ブレ補正手段は、前記被写体追尾を行う場合の前記像ブレ補正の効果を、前記被写体追尾を行わない場合の前記像ブレ補正の効果よりも小さくする
   ことを特徴とする撮像装置。
2. 前記像ブレ補正手段は、前記被写体追尾を行う場合の前記像ブレ補正の補正値のゲインを、前記被写体追尾を行わない場合の前記像ブレ補正の補正値のゲインよりも小さくすることを特徴とする請求項１に記載の撮像装置。
3. 前記像ブレ補正手段の像ブレ補正は、前記撮像画像の読み出し位置を制御する電子式ブレ補正制御であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記所定の被写体のサイズが閾値以上であるか否かを判定する判定手段を備え、
   前記像ブレ補正手段は、前記切替手段にて前記被写体追尾を行う制御が選択された場合でも、前記所定の被写体のサイズが前記閾値以上であるときは、前記像ブレ補正の効果を小さくしないことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮像素子で撮像された撮像画像において、前記動きベクトル検出手段により前記動きベクトルを検出する範囲を設定する設定手段を備え、
   前記設定手段は、前記被写体追尾を行う場合の前記動きベクトルを検出する範囲を、前記被写体追尾を行わない場合の前記動きベクトルを検出する範囲よりも狭く設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 撮像装置が実行する撮像方法であって、
   撮像素子で撮像された撮像画像より所定の被写体を検出する被写体検出工程と、
   前記撮像素子で撮像された２枚の撮像画像より撮像画面内を移動する前記所定の被写体の移動量を取得する移動量取得工程と、
   前記撮像素子に光束を導く撮像光学系を構成する光学素子を前記撮像光学系の光軸と異なる方向に移動させることで、前記撮像画面内における前記所定の被写体の移動量を抑制する被写体追尾工程と、
   前記撮像素子で撮像された２枚の撮像画像を比較して像ブレ量を示す動きベクトルを検出する動きベクトル検出工程と、
   前記動きベクトルに基づいて像ブレを補正する像ブレ補正工程と、
   前記被写体追尾工程による被写体追尾を行うか否かを切り替える切替工程と、
   を備え、
   前記像ブレ補正工程では、前記被写体追尾を行う場合の前記像ブレ補正の効果を、前記被写体追尾を行わない場合の前記像ブレ補正の効果よりも小さくする
   ことを特徴とする撮像方法。

Images