JP2008124787A - 手ぶれ補正装置及び方法並びに撮像装置 - Google Patents

Abstract

【課題】手ぶれとパン又はチルト操作を区別する。
【解決手段】手ぶれ検出センサ又は映像信号から得た動きベクトルを用いて撮像装置の動きを検出し、その動き検出結果に基づいて、切り出し枠Ｂ_n（有効撮影領域）を撮影可能最大領域内で移動させることにより手ぶれ補正を行う。切り出し枠の端部に位置する顔領域Ｆ１に着目し、撮像装置の動きに由来して顔領域Ｆ１がフレームアウトする方向に移動している場合には、その動きは手ぶれによるものと判断して顔領域Ｆ１がフレーム内に収まる方向に切り出し枠を移動させる。一方、撮像装置の動きに由来して顔領域Ｆ１がフレームインする方向に移動している場合には、その動きはパン又はチルト操作によるものと判断して、そのフレームインが阻害されないように切り出し枠の位置制御を行う。
【選択図】図１０

Description

本発明は、手ぶれ補正装置及び手ぶれ補正方法、並びに、手ぶれ補正装置を備えたデジタルビデオカメラ又はデジタルスチルカメラ等の撮像装置に関する。

手ぶれ補正技術は、カメラ撮影における手ぶれを軽減する技術であり、近年において盛んに研究されている。手ぶれ補正技術において、手ぶれと撮影者による意図的な揺れとを区別することは重要である。意図的な揺れは、パン又はチルト操作などのカメラ操作によって生じる。通常、撮像装置には、手ぶれと意図的な揺れを判別する機能が搭載されているのであるが、これを完璧に判別することは一般的に難しい。

表示部を備えた撮像装置において、仮に、意図的な揺れを手ぶれと誤って捉えてしまうと、不自然な表示画像が表示されてしまう。例えば、撮影者が構図を変えようとして撮像装置を左方向に振っているのに、それを手ぶれと判断すると、そのカメラ操作に由来して生じるべき表示画像の揺れがキャンセルされて、表示画像が不自然になってしまう（表示画像が暫く遅れてから、カメラ操作に追従するようになる）。

また、画像情報を用いて動き検出を行い、この動き検出結果に基づいて手ぶれ補正を行う場合、手ぶれと異なる動きが画像内に存在すると動き検出の信頼性が低下して適切な手ぶれ補正ができなくなる。手ぶれと異なる被写体の動きを手ぶれ成分と捉えた上で手ぶれ補正が行われてしまうためである。

特開２００２−９９０１３号公報 特開２００３−３２３６２１号公報

上述の如く、手ぶれと意図的な揺れとの区別の失敗に由来する、或いは、手ぶれと異なる動きが画像内に存在することに由来する、手ぶれ補正の問題を解決することは急務である。

そこで本発明は、より適切な手ぶれ補正の実現に寄与する手ぶれ補正装置及び手ぶれ補正方法を提供することを目的とする。また、本発明は、そのような手ぶれ補正装置を備えた撮像装置を提供することを目的とする。

上記目的を達成するために本発明に係る第１の手ぶれ補正装置は、撮像装置の動きを検出して、その動きを表す動きデータを出力する検出手段と、前記動きデータに基づいて手ぶれ補正処理を実行可能な補正手段と、を備えた手ぶれ補正装置において、撮像手段にて得られる各撮影画像から着目すべき物体領域を抽出する物体領域抽出手段を更に備え、画像上における前記物体領域の移動方向を考慮して、前記補正手段による前記手ぶれ補正処理を制御することを特徴とする。

例えば、着目される物体領域がフレームアウトするような方向に移動している場合、そのような移動を引き起こすような撮像装置の動きは、補正されるべき手ぶれである可能性が高い。一方、着目される物体領域がフレームインするような方向に移動している場合、そのような移動を引き起こすような撮像装置の動きは、撮影者による意図的な揺れである可能性が高い。このように、着目すべき物体領域の移動方向には、自然な手ぶれ補正を実現するための情報が含まれている。これを考慮して、上述のように手ぶれ補正装置を構成する。これにより、より適切な手ぶれ補正（自然な手ぶれ補正）を実現することが可能となる。

具体的には、前記移動方向と前記動きデータとに基づいて、前記撮像装置の動きが意図的な揺れであるのか或いは手ぶれであるのかを判別する判別手段を更に備え、前記補正手段は、前記判別手段の判別結果に基づき、前記手ぶれに対して前記手ぶれ補正処理を実行する。

また例えば、前記補正手段は、前記意図的な揺れに対して前記手ぶれ補正処理の実行を禁止する。

着目すべき物体領域の移動方向と動きデータにて表される撮像装置の動きとを参照すれば、その動きが意図的な揺れに由来するのか或いは手ぶれに由来するのかを推測することができる。

そしてより具体的には例えば、前記判別手段は、前記撮像装置の動きに対応して前記物体領域が前記撮像手段の有効撮影領域から出て行く方向へ移動している場合は、その撮像装置の動きは手ぶれであると判別する一方、前記撮像装置の動きに対応して前記物体領域が前記撮像手段の有効撮影領域に入っていく方向へ移動している場合は、その撮像装置の動きは意図的な揺れであると判別する。

また具体的には例えば、前記物体領域抽出手段は、各撮影画像から所定種類の物体または所定の画像特徴を有する物体を検出して該物体の全部又は一部を含む領域を、前記物体領域として抽出する。

前記有効撮影領域との位置関係を考慮し、例えば、有効撮影領域の端部に位置する所定種類の物体を含む領域を前記物体領域として抽出する。

また具体的には例えば、前記物体領域は人物の顔に対応する顔領域である。

また具体的には例えば、前記物体領域抽出手段は、各撮影画像内を彩度が比較的高い領域と彩度が比較的低い領域とに分類することにより定まる、彩度が比較的高い領域を、前記物体領域として抽出する。

また例えば、前記検出手段は、各撮影画像内に設けられた動き検出領域内の映像信号に基づいて各撮影画像間の動きを前記撮像装置の動きとして検出し、これによって前記動きデータを出力し、前記物体領域抽出手段によって前記物体領域としての前記顔領域が抽出された際、前記顔領域は、前記動き検出領域から除外される。

また例えば、前記検出手段は、各撮影画像内に設けられた動き検出領域内の映像信号に基づいて各撮影画像間の動きを前記撮像装置の動きとして検出し、これによって前記動きデータを出力し、当該手ぶれ補正装置は、前記物体領域としての前記顔領域に対応する顔の向きを検出するとともに、その顔の向きの変化を検出する顔向き検出手段を更に備え、前記顔向き検出手段によって前記顔の向きの変化が検出された際、その変化のあった顔に対応する前記顔領域は、前記動き検出領域から除外される。

また、上記目的を達成するために本発明に係る第２の手ぶれ補正装置は、撮像手段にて順次得られる各撮影画像内に設けられた動き検出領域内の映像信号に基づいて手ぶれ補正処理を実行する手ぶれ補正装置において、各撮影画像から人物の顔を検出して、その顔の全部又は一部を含む顔領域を抽出する顔領域抽出手段を備え、前記顔領域抽出手段によって前記顔領域が抽出された際、前記顔領域は、前記動き検出領域から除外されることを特徴とする。

これにより、手ぶれ補正用の動き検出の信頼性が増し、より適切な手ぶれ補正を実現することが可能となる。

また例えば、第２の手ぶれ補正装置において、前記撮影画像に前記顔領域が含まれていないフレームから前記撮影画像に前記顔領域が含まれているフレームに移行した時にのみ、前記顔領域は、前記動き検出領域から除外されるようにしてもよい。

また、上記目的を達成するために本発明に係る第３の手ぶれ補正装置は、撮像手段にて順次得られる各撮影画像内に設けられた動き検出領域内の映像信号に基づいて手ぶれ補正処理を実行する手ぶれ補正装置において、各撮影画像から人物の顔を検出して、その顔の全部又は一部を含む顔領域を抽出する顔領域抽出手段と、前記顔領域に対応する顔の向きを検出するとともに、その顔の向きの変化を検出する顔向き検出手段と、を備え、前記顔向き検出手段によって前記顔の向きの変化が検出された際、前記顔領域は、前記動き検出領域から除外されることを特徴とする。

これによっても、手ぶれ補正用の動き検出の信頼性が増し、より適切な手ぶれ補正を実現することが可能となる。

そして、上記目的を達成するため本発明に係る撮像装置は、上記の何れかに記載の手ぶれ補正装置と、前記撮像素子とを備える。

また、上記目的を達成するために本発明に係る第１の手ぶれ補正方法は、撮像装置の動きを表す動きデータに基づいて手ぶれ補正処理を実行する手ぶれ補正方法において、与えられる各撮影画像から着目すべき物体領域を抽出し、画像上における前記物体領域の移動方向を考慮して、前記手ぶれ補正処理を制御することを特徴とする。

また、上記目的を達成するために本発明に係る第２の手ぶれ補正方法は、与えられる各撮影画像内に設けられた動き検出領域内の映像信号に基づいて手ぶれ補正処理を実行する手ぶれ補正方法において、各撮影画像から人物の顔を検出して、その顔の全部又は一部を含む顔領域を抽出する顔領域抽出ステップを備え、前記顔領域抽出ステップによって前記顔領域が抽出された際、前記顔領域を前記動き検出領域から除外することを特徴とする。

また、上記目的を達成するために本発明に係る第３の手ぶれ補正方法は、与えられる各撮影画像内に設けられた動き検出領域内の映像信号に基づいて手ぶれ補正処理を実行する手ぶれ補正方法において、各撮影画像から人物の顔を検出して、その顔の全部又は一部を含む顔領域を抽出する顔領域抽出ステップと、前記顔領域に対応する顔の向きを検出するとともに、その顔の向きの変化を検出する顔向き検出ステップと、を備え、前記顔向きステップによって前記顔の向きの変化が検出された際、前記顔領域を前記動き検出領域から除外することを特徴とする。

本発明は、より適切な手ぶれ補正の実現に寄与する。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発 明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、動画像及び静止画像を撮影可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影可能なデジタルスチルカメラであってもよい。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、制御部１３と、操作部１４と、表示部１５と、記録媒体１６と、を備えている。

撮像部１１は、光学系と、絞りと、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子と、光学系や絞りを制御するためのドライバ（全て不図示）と、を有している。ドライバは、制御部１３からの制御信号に基づいて、光学系のズーム倍率や焦点距離、及び、絞りの開度を制御する。撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。

ＡＦＥ１２は、撮像部１１（撮像素子）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、制御部１３に出力する。

制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部としても機能する。制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。

操作部１４は、シャッタボタン及び所謂十字キー（何れも不図示）等から成り、外部からの操作を受け付ける。操作部１４に対する操作内容は、制御部１３に伝達される。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、制御部１３の制御の下、現在の撮影画像に基づく画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、制御部１３による制御の下、撮影画像に基づく画像などを記憶する。

撮像装置１の動作モードには、撮影した動画像又は静止画像を、操作部１４に対する操作に従って記録媒体１６に記録可能な撮影モードと、記録媒体１６に記録されている画像を表示部１５に再生表示する再生モードと、が含まれる。各モード間の遷移は、操作部１４に対する所定操作に従って実施される。

撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒の周期）にて、順次撮影を行い、その順次撮影によって得られた各撮影画像は、表示部１５に更新表示される。実際には、手ぶれ補正処理によって得られた切り出し画像（或いはその縮小画像）が表示部１５に表示される。また、撮影モードにおいて、操作部１４に対する操作に従って、この切り出し画像が記録媒体１６に記録される。

図２を用いて、撮影画像と切り出し画像の関係を説明する。図２において、符号Ａが付された四角枠内は撮影画像の全体領域を表し、符合Ｂは、その撮影画像の全体領域内に設けられた切り出し枠を表す。切り出し枠Ｂ内の画像が切り出し画像とされる。手ぶれ補正処理では、撮像装置１の動きに由来する、切り出し画像のぶれがキャンセルされるように、切り出し枠Ｂを撮影画像の全体領域Ａ内で二次元方向に移動させる。

撮影画像の全体領域Ｂは撮影可能な最大の領域であるため、それを撮影可能最大領域と呼ぶことができる。一方、切り出し枠Ｂ内の領域は、実際に表示部１５に表示され、また、実際に記録媒体１６に記録される画像領域であるため、それを有効撮影領域と呼ぶことができる。

撮像装置１によって実現される手ぶれ補正処理の実施例として、以下に、第１〜第４実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。各実施例で示される手ぶれ補正部は、図１の制御部１３内に設けられる。

また、所定のフレーム周期が経過するごとに、第１、第２、・・・、第（ｎ−１）、第ｎ、第（ｎ＋１）フレームが、この順番で訪れるものとする。各フレームにおいて、１枚の撮影画像が撮影される。そして、第１、第２、・・・、第（ｎ−１）、第ｎ、第（ｎ＋１）フレームの撮影によって得られた撮影画像を、以下、夫々、第１、第２、・・・、第（ｎ−１）、第ｎ、第（ｎ＋１）フレーム画像とも呼ぶ（ｎは、２以上の整数）。本明細書では、撮影画像とフレーム画像を同義のものとして取り扱う。順次得られる複数のフレーム画像によって動画像が形成される。

＜＜第１実施例＞＞
まず、第１実施例について説明する。図３は、第１実施例に係る手ぶれ補正処理を実行する手ぶれ補正部２０の機能ブロック図である。手ぶれ補正部２０は、顔検出部２１と、動き検出部２２と、パン・チルト／手ぶれ判別部２３（以下、判別部２３という）と、切り出し制御部２４と、を有する。

手ぶれ補正部２０には、各フレームにおいて、撮影画像（フレーム画像）を表す映像信号が与えられる。手ぶれ補正部２０は、撮影画像の一部を切り出すことによって得られる切り出し画像を出力する。

顔検出部２１は、各撮影画像の中から人物の顔を検出して、顔の全部又は一部を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出部２１は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のように撮影画像から肌色領域を抽出することによって顔（顔領域）を検出しても良いし、特開２００６−２１１１３９号公報や特開２００６−７２７７０号公報に記載の手法を用いて顔（顔領域）を検出しても良い。

典型的には例えば、入力画像（即ち、撮影画像）内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か（着目領域が顔領域であるか否か）を検出する。類似判定は、顔であるか否かを識別するのに有効な特徴量を抽出することによって行う。特徴量は、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジ等である。

入力画像において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域の画像と基準顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えば入力画像の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。

また、入力画像（即ち、撮影画像）を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、入力画像中から任意の大きさの顔を検出することができる。

顔検出部２１は、抽出した顔領域についての顔位置データを判別部２３に出力する。顔位置データは、抽出した顔領域の、撮影画像における位置（即ち、画像上の座標位置）を表す。顔位置データは、フレームごとに作成されて判別部２３に送られる。１枚の撮影画像から複数の顔領域が抽出された場合は、顔領域ごとに顔位置データが作成される。

次に、動き検出部２２の機能について説明する。動き検出部２２において、各撮影画像は、垂直方向にＭ分割且つ水平方向にＮ分割して捉えられる。このため、各撮影画像は、（Ｍ×Ｎ）個の分割領域に分割して考えられる。Ｍ及びＮは、それぞれ２以上の整数である。ＭとＮは、一致していても一致していなくてもよい。

図４に、各撮影画像の分割の様子を示す。（Ｍ×Ｎ）個の分割領域をＭ行Ｎ列の行列として捉え、撮影画像の原点Ｘを基準として、各分割領域をＡＲ［ｉ，ｊ］にて表す。ここで、ｉ及びｊは、１≦ｉ≦Ｍ且つ１≦ｊ≦Ｎ、を満たす各整数をとる。ｉが同じ分割領域ＡＲ［ｉ，ｊ］は、同一の水平ライン上の画素から構成され、ｊが同じ分割領域ＡＲ［ｉ，ｊ］は、同一の垂直ライン上の画素から構成される。

動き検出部２２は、例えば、公知又は周知の画像マッチング法（例えば、ブロックマッチング法や代表点マッチング法）を用い、隣接するフレーム画像間において映像信号を対比することにより、各撮影画像の動きベクトルを分割領域ＡＲ［ｉ，ｊ］ごとに検出する。分割領域ＡＲ［ｉ，ｊ］ごとに検出された動きベクトルを、特に、領域動きベクトルという。或る分割領域ＡＲ［ｉ，ｊ］についての領域動きベクトルは、隣接するフレーム画像間における、当該分割領域ＡＲ［ｉ，ｊ］内の画像の動きの大きさ及び向きを特定する。

例として、ある１つの分割領域ＡＲ［ｉ，ｊ］に着目し、第（ｎ−１）と第ｎフレーム画像間で、その分割領域ＡＲ［ｉ，ｊ］についての領域動きベクトルを、代表点マッチング法を用いて算出する手法を説明する。

１つの分割領域ＡＲ［ｉ，ｊ］は、図５に示す如く、複数の小領域（検出ブロック）ｅに分割されている。図５に示す例では、１つの分割領域ＡＲ［ｉ，ｊ］が４８個の小領域ｅに分割されている（垂直方向に６分割され且つ水平方向に８分割されている）。各小領域ｅは、例えば、３２×３２の画素（垂直方向に３２画素且つ水平方向に３２画素の二次元配列された画素）で構成される。そして、図６に示すように、各小領域ｅに、複数のサンプリング点Ｓと１つの代表点Ｒが設定される。或る１つの小領域ｅに関し、複数のサンプリング点Ｓは、例えば当該小領域ｅを構成する画素の全てに対応する（但し、代表点Ｒを除く）。

第ｎフレーム画像における小領域ｅ内の各サンプリング点Ｓの輝度値と、第（ｎ−１）フレーム画像における対応する小領域ｅ内の代表点Ｒの輝度値との差の絶対値が、全ての小領域ｅに対して求められる。或る１つのサンプリング点Ｓについて求められた上記絶対値は、そのサンプリング点Ｓにおける相関値と呼ばれる。また、輝度値とは、映像信号を形成する輝度信号の値である。

そして、分割領域内の全ての小領域ｅ間において、代表点Ｒに対する偏移が同じサンプリング点Ｓ同士の相関値が累積加算される（今の例の場合、４８個の相関値が累積加算される）。換言すれば、各小領域ｅ内の同じ位置（小領域内座標における同じ位置）の画素について求めた輝度差の絶対値が４８個の小領域ｅ分、累積加算される。この累積加算によって得られる値を、「累積相関値」とよぶ。累積相関値は、一般に、マッチング誤差とも呼ばれる。１つの小領域ｅ内のサンプリング点Ｓの個数と同じ個数の累積相関値が求められることになる。

そして、代表点Ｒと累積相関値が最小となるサンプリング点Ｓとの偏移、すなわち相関性が最も高い偏移が検出される。一般的には、その偏移が当該分割領域の領域動きベクトルとして抽出される。

また、動き検出部２２は、各分割領域ＡＲ［ｉ，ｊ］から算出される領域動きベクトルの信頼性を考慮して、各分割領域ＡＲ［ｉ，ｊ］の有効又は無効を判別する。この判別の手法として様々な手法が提案されており、動き検出部２２は、それらの何れをも採用可能である。例えば、特開２００６−１０１４８５号公報に記載の手法を用いればよい。

１つの分割領域ＡＲ［ｉ，ｊ］に着目し、その分割領域ＡＲ［ｉ，ｊ］の有効又は無効の判別手法を例示する。上述の如く代表点マッチング法を用いて着目した分割領域についての領域動きベクトルを算出する場合、その着目した分割領域について、複数の累積相関値が算出される。動き検出部２２は、「この複数の累積相関値の平均値が所定値よりも大きい」という第１条件を満たすか否かを判断する。また、「この複数の累積相関値の平均値を最小相関値で割った値が所定値よりも大きい」という第２条件を満たすか否かを判断する。最小相関値とは、上記複数の累積相関値の最小値である。そして、第１及び第２条件の双方が満たされる場合、当該分割領域を有効とし、そうでない場合に当該分割領域を無効とする。上述の処理を各分割領域に対して行えばよい。

そして、動き検出部２２は、有効な分割領域ＡＲ［ｉ，ｊ］について算出された領域動きベクトルの平均ベクトルを求め、その平均ベクトルを、全体動きベクトル（ぶれベクトル）として出力する。撮影画像内に収まる被写体自体に動きがない場合、全体動きベクトルは、隣接するフレーム間の撮像装置１の動きの向き及び大きさを表すことになる。

判別部２３は、顔検出部２１からの顔位置データと動き検出部２２からの全体動きベクトルとに基づいて、隣接するフレーム間における撮像装置１の動きが、意図的な揺れであるのか、或いは、手ぶれであるのかを判別する。尚、全体動きベクトルの大きさがゼロ（又は略ゼロ）の場合、判別部２３は、撮像装置１が静止状態にあると判別する。撮像装置１が静止状態にあると判別された場合、手ぶれ補正処理は実行されない。

意図的な揺れには、撮影者が意図的に撮像装置１を左右方向に振るカメラ操作、すなわち所謂パン操作と、撮影者が意図的に撮像装置１を上下方向に振るカメラ操作、すなわち所謂チルト操作と、が含まれる。手ぶれとは、撮像装置１を支持する手の震え等に由来する、撮影者の意図しない撮像装置１のぶれを意味する。

判別部２３の機能をより具体的に説明する。まず、図７を参照する。尚、図７を含む画像を表す図面において、各画像は、撮像装置１から被写体に向かう向きより見た画像として示されている。図７において、符号Ａ_nは、第ｎフレーム画像の全体領域を表しており、符号Ｂ_nは、第ｎフレーム画像についての切り出し枠を表す。今、顔検出部２１によって第ｎフレーム画像から２つの顔領域Ｆ１及びＦ２が抽出されたとする。

顔領域Ｆ１及びＦ２の夫々についての顔位置データは、判別部２３に伝達される。判別部２３は、各顔位置データに基づきつつ、切り出し枠Ｂ_nの端部に位置する顔領域を特定する。

具体的には、図８に示す如く、切り出し枠Ｂ_n内に切り出し枠Ｂ_nの外周部分に相当する端部領域１００を定義する。図８において、端部領域１００は、斜線が付されたドーナツ状の領域となっている。端部領域１００は、四角形である切り出し枠Ｂ_nの全体領域から、切り出し枠Ｂ_nより小さい矩形領域１０１を除くことによって得られる領域に相当する。尚、第ｎフレーム画像内であって且つ切り出し枠Ｂ_n外の領域、即ち、第ｎフレーム画像の全体領域Ａ_nから切り出し枠Ｂ_n内の領域を除外することによって得られるドーナツ状の斜線領域１０２（図９参照）の全部又は一部をも、端部領域１００に含めるようにしてもよい。

そして、判別部２３は、各顔位置データに基づきつつ、顔領域の全体又は一部が端部領域１００と重なる顔領域を着目対象とし、それ以外の顔領域を非着目対象とする。着目対象とされた顔領域を、以下、特に、着目顔領域と呼ぶ場合ある。今、顔領域Ｆ１が端部領域１００と重なり且つ顔領域Ｆ２が端部領域１００と重ならなかったことにより、顔領域Ｆ１が着目顔領域として特定され、顔領域Ｆ２が非着目対象となったものとする。図７は、着目顔領域Ｆ１の左端が切り出し枠Ｂ_nの左端と略一致している場合を想定している。但し、着目顔領域Ｆ１の左端が切り出し枠Ｂ_nの左端よりも更に左側に位置し、且つ、着目顔領域Ｆ１の右端が切り出し枠Ｂ_nの左端よりも右側に位置している場合を想定してもよく、その想定下でも、以下の処理がなされうる。

図１０（ａ）に、第（ｎ＋１）フレーム画像の第１例を示す。図１０（ｂ）に、第（ｎ＋１）フレーム画像の第２例を示す。図１０（ａ）の符号Ａ_n+1aは第（ｎ＋１）フレーム画像の全体領域の第１例を表しており、図１０（ｂ）の符号Ａ_n+1bは第（ｎ＋１）フレーム画像の全体領域の第２例を表している。図１０（ａ）及び（ｂ）の夫々は、第（ｎ＋１）フレーム画像内に、第ｎフレーム画像における切り出し枠Ｂ_nを重ね合わせて表したものである。各フレームにおいて、切り出し枠の位置は切り出し制御部２４によって移動制御されるため、図１０（ａ）及び（ｂ）は、切り出し枠の移動制御前の状態を表している。

今、説明の簡略化上、第ｎと第（ｎ＋１）フレーム間において、顔領域Ｆ１及びＦ２に対応する顔を含む被写体全てが実空間上で静止している場合を考える。

図１０（ａ）に示される第（ｎ＋１）フレーム画像は、例えば、第ｎと第（ｎ＋１）フレーム間において、鉛直線を回転軸として撮像装置１を右方向に回転させた場合に得られる。この回転によって、第ｎと第（ｎ＋１）フレーム間において、顔領域Ｆ１及びＦ２を含む被写体が画像内で左方向に移動し、顔領域Ｆ１の左側部分が切り出し枠Ｂ_n外に移動している。そして、この場合、第ｎと第（ｎ＋１）フレーム画像間についての全体動きベクトルの向きは「右向き」となる。以下、第ｎと第（ｎ＋１）フレーム画像間についての全体動きベクトルを、Ｖ_n+1にて表す。

一方、図１０（ｂ）に示される第（ｎ＋１）フレーム画像は、例えば、第ｎと第（ｎ＋１）フレーム間において、鉛直線を回転軸として撮像装置１を左方向に回転させた場合に得られる。この回転によって、第ｎと第（ｎ＋１）フレーム間において、顔領域Ｆ１及びＦ２を含む被写体が画像内で右方向に移動し、顔領域Ｆ１が切り出し枠Ｂ_nの中央方向に移動している。そして、この場合、第ｎと第（ｎ＋１）フレーム画像間についての全体動きベクトルＶ_n+1の向きは「左向き」となる。

通常、人物の顔が有効撮影領域（即ち、切り出し枠）の端部にかかるような構図は好まれず、撮影者は、そのような構図を避けようとする。このため、図１０（ａ）に示されるような第（ｎ＋１）フレーム画像が得られた要因は手ぶれである可能性が高い。従って、図１０（ａ）に示されるような第（ｎ＋１）フレーム画像が得られた場合、判別部２３は、第ｎと第（ｎ＋１）フレーム間における撮像装置１の動きは、手ぶれに由来していると判別して、手ぶれ判定信号を切り出し制御部２４に伝達する。

一方、図１０（ｂ）に示されるような第（ｎ＋１）フレーム画像が得られた要因は、顔をフレームインさせようとする意図的な揺れ（パン操作）である可能性が高い。従って、図１０（ｂ）に示されるような第（ｎ＋１）フレーム画像が得られた場合、判別部２３は、第ｎと第（ｎ＋１）フレーム間における撮像装置１の動きは、意図的な揺れ（パン操作など）に由来していると判別して、パン・チルト判定信号を切り出し制御部２４に伝達する。

具体的な処理として、判別部２３は、第ｎと第（ｎ＋１）フレーム画像についての顔位置データから、フレーム画像（或いは切り出し枠）内における、第ｎと第（ｎ＋１）フレーム間の着目顔領域Ｆ１の移動方向（以下、移動方向Ｍ_n+1と記述する）検出する。この移動方向Ｍ_n+1の検出に当たり、第ｎフレームより前のフレーム画像についての顔位置データを更に参照するようにしてもよい。

そして、判別部２３は、着目顔領域Ｆ１と切り出し枠Ｂ_nとの位置関係を参照しつつ、移動方向Ｍ_n+1に基づいて、着目顔領域Ｆ１が切り出し枠Ｂ_n内から出て行く方向に移動しているのか、或いは、着目顔領域Ｆ１が切り出し枠Ｂ_n内に入っていく方向に移動しているのか、或いは、そのどちらでもないのかを判別する。

例えば、図１０（ａ）に示す如く、第ｎと第（ｎ＋１）フレーム画像間において着目顔領域Ｆ１が切り出し枠Ｂ_nの左側へ出て行く方向に移動している場合において、第ｎと第（ｎ＋１）フレーム画像間についての全体動きベクトルＶ_n+1の向きが右向きである時、判別部２３は、着目顔領域Ｆ１の該移動は撮像装置１の動きに由来しているものと判断すると共に、その全体動きベクトルＶ_n+1に対応する撮像装置１の動きは、手ぶれであると判別する。

また例えば、図１０（ｂ）に示す如く、第ｎと第（ｎ＋１）フレーム画像間において着目顔領域Ｆ１が切り出し枠Ｂ_n内に入っていく方向（即ち、右方向）に移動している場合において、第ｎと第（ｎ＋１）フレーム画像間についての全体動きベクトルＶ_n+1の向きが左向きである時、判別部２３は、着目顔領域Ｆ１の該移動は撮像装置１の動きに由来しているものと判断すると共に、その全体動きベクトルＶ_n+1に対応する撮像装置１の動きは、意図的な揺れであると判別する。

これに加え、判別部２３は、手ぶれと意図的な揺れとの判別を、顔領域以外に基づいても実行する。手ぶれと意図的な揺れとの判別手法として、様々な他の手法が提案されている。判別部２３は、それをも採用して最終的に手ぶれと意図的な揺れとの判別を行う。例えば、「全体動きベクトルの向きが所定フレーム数継続して同一方向に維持されている」というパン・チルト判定条件が満たされる場合、顔領域に基づく判別結果に関わらず、撮像装置１の動きは意図的な揺れに由来するものと判断して、パン・チルト判定信号を切り出し制御部２４に出力する。

切り出し制御部２４は、動き検出部２２からの全体動きベクトルと判別部２３の判別結果に基づきつつ、各フレーム画像内に設ける切り出し枠の位置を制御する。概略的には、判別部２３から手ぶれ判定信号が出力されている時には、全体動きベクトルの向きと反対向きに切り出し枠を移動させる手ぶれ補正処理を実行し、判別部２３からパン・チルト判定信号が出力されている時には、この手ぶれ補正処理の実行を禁止する。

図１１（ａ）に、図１０（ａ）の第（ｎ＋１）フレーム画像に対する切り出し枠Ｂ_n+1aを示し、図１１（ｂ）に、図１０（ｂ）の第（ｎ＋１）フレーム画像に対する切り出し枠Ｂ_n+1bを示す。

切り出し枠Ｂ_n+1a又はＢ_n+1bは、切り出し制御部２４による切り出し枠移動制御によって、第（ｎ＋１）フレーム画像内に定義される切り出し枠である。切り出し枠移動制御後の切り出し枠Ｂ_n+1a又はＢ_n+1b内の画像は、第（ｎ＋１）フレームに対応する切り出し画像として、表示部１５に表示され、また、必要に応じて記録媒体１６に記録される。

切り出し枠移動制御の具体的な手法としては、例えば、特開２００６―１０１４８５号公報に記載の手法を用いればよい。この手法について簡単に説明する。尚、説明の便宜上、判別部２３から手ぶれ判定信号が出力されている状態を手ぶれ状態と呼び、判別部２３からパン・チルト判定信号が出力されている状態をパン・チルト状態と呼ぶ。

手ぶれ状態において、切り出し制御部２４は、全体動きベクトルを用いて積分ベクトルを求める。第（ｎ−１）フレームを前フレーム、第ｎフレームを現フレームとして考え、前フレームと現フレームとの間の全体動きベクトルをＶ_nで表す。また、前フレームに対する積分ベクトルをＳ_n-1、現フレームに対する積分ベクトルをＳ_nで表す。

図１２に、現フレームのフレーム画像の全体領域Ａ_nと、現フレームの切り出し枠Ｂ_nと、積分ベクトルＳ_nと、の関係を示す。尚、図示の都合上、図１２において、図面上におけるＡ_nとＢ_nの大きさの関係を、図７等と異ならせている。

切り出し枠Ｂ_nの位置は、フレーム画像の全体領域Ａ_nの中心Ｏ_Aを原点としたＸＹ座標系において、切り出し枠Ｂ_nの中心Ｏ_Bの座標で与えられる。中心Ｏ_Aの位置は、各フレーム画像において共通であるが、切り出し枠の中心の座標は、切り出し制御部２４による切り出し枠移動制御によって変化しうる。積分ベクトルＳ_nは、中心Ｏ_Aから切り出し枠Ｂ_nにおける中心Ｏ_Bに向かうベクトルであり、中心Ｏ_Aから積分ベクトルＳ_nで示される方向に積分ベクトルＳ_nで示される距離だけ移動した座標位置が切り出し枠Ｂ_nの中心Ｏ_Bの座標位置を表す。

手ぶれ状態において、切り出し制御部２４は、撮像部１１の光学系における３５ｍｍフィルム換算の焦点距離Ｆと、予め設定されている焦点距離の最小値Ｆ_min及び最大値Ｆ_maxと、予め設定されている積分ベクトルの減衰係数の最小値Ｋ_minおよび最大値Ｋ_maxとを用いて、下記式（１）に従って、積分ベクトルの減衰係数Ｋを求める。

そして、下記式（２）に基づいて、現フレームの積分ベクトルＳ_nを計算する。
Ｓ_n＝Ｋ・（Ｓ_n-1―Ｃ）＋Ｖ_n＋Ｃ ・・・（２）

ここで、Ｃは、積分ベクトルと同じ２次元ベクトル量である減衰中心（減衰中心ベクトル）である。減衰中心Ｃの初期値は０であり、上記式（２）によって積分ベクトルＳ_n が算出される毎に、下記式（３）に基づいて更新される。即ち、積分ベクトルＳ_n が算出される毎に、式（３）の右辺のベクトル量を新たにＣに代入する。式（３）におけるＫ_Cは、予め設定された減衰中心の減衰係数である。
Ｃ＝Ｋ_C・Ｃ ・・・（３）

一方、パン・チルト状態では、下記式（４）に従って現フレームの積分ベクトルＳ_nが計算される。即ち、切り出し制御部２４内に記憶された前フレームの積分ベクトルＳ_n-1を現フレームの積分ベクトルＳ_nとする。
Ｓ_n＝Ｓ_n-1 ・・・（４）

また、パン・チルト状態から手ぶれ状態に遷移したとき、切り出し制御部２４は、その時の積分ベクトルＳ_nを減衰中心Ｃに代入する。従って、この場合、その次のフレームに対する積分ベクトルＳ_n+1は、「Ｓ_n+1＝Ｋ・（Ｓ_n―Ｓ_n）＋Ｖ_n+1＋Ｓ_n」にて算出されることになる（上記式（２）参照）。

切り出し制御部２４は、上記の如く積分ベクトルＳ_nを算出し、積分ベクトルＳ_nに従って切り出し枠Ｂ_nの位置を決定して、切り出し枠Ｂ_n内の画像を、現フレームにおける切り出し画像として出力する。この切り出し画像は、表示部１５に表示され、必要に応じて記録媒体１６に記録される。

このように、切り出し枠（有効撮影領域）の端部に存在している顔領域が撮像装置１の動きに由来して切り出し枠（有効撮影領域）から出て行く方向に移動している場合には、その動きは手ぶれに由来するものと判断して、その顔領域が切り出し枠内に収まりやすくなるように手ぶれ補正処理を実行する。一方、その顔領域が撮像装置１の動きに由来して切り出し枠（有効撮影領域）に入っていく方向に移動している場合には、その動きは意図的なカメラ操作に由来するものと判断して、その顔領域がより切り出し枠内に入りやすくように切り出し枠の位置を制御する。

これにより、表示画像の端部に位置する顔をフレームインさせようとする意図的なカメラ操作に対して手ぶれ補正が施されてフレームインが阻害され、表示画像が不自然になる（表示画像がひっかかったようになる）、といった問題が解消される。一方、表示画像の端部に位置する顔がフレームアウトするような場合には適切に手ぶれ補正が施される。

尚、上述の例では、撮影画像の映像信号から隣接する撮影画像間の動きを全体動きベクトルとして検出し、その全体動きベクトルを撮像装置１の動きを表す動きデータとして取り扱った。しかしながら、撮像装置１の動きを表す動きデータを出力する検出センサ（不図示）を撮像装置１に搭載し、その検出センサの出力データを用いて撮像装置１の動きを検出するようにしてもよい。検出センサからの動きデータより、上述の全体動きベクトルと同等の状態量を算出することができ、それを用いて上述と同様の処理を行うことができる。検出センサは、例えば、撮像装置１の角速度を検出する角速度センサ、所定軸に対する撮像装置１の角度を検出する角度センサ、又は、撮像装置１の加速度を検出する加速度センサである（全て不図示）。

撮影画像（撮影可能最大領域）内で切り出し枠を移動させることによって手ぶれ補正処理を実現しているが、上記の検出センサを用いる場合は、撮像部１１側で手ぶれ補正処理を行うことも可能である。この場合であっても、撮像装置１では有効撮影領域が定められており、この有効撮影領域内の画像が、表示部１５に表示され、また必要に応じて記録媒体１６に記録される。

撮像部１１側で手ぶれ補正処理を行う場合、例えば、撮像部１１の光学系に補正レンズ又はバリアングルプリズム（全て不図示）を設ける。そして、手ぶれに由来する、撮像部１１の撮像素子上の光学像のぶれがキャンセルされるように、補正レンズを光軸に直交する平面上で二次元方向に移動させることによって或いはバリアングルプリズムを駆動制御することによって、手ぶれ補正を実現する。また例えば、撮像部１１の撮像素子を駆動制御する駆動機構（不図示）を設ける。そして、手ぶれに由来する、撮像部１１の撮像素子上の光学像のぶれがキャンセルされるように、撮像素子を光軸に直交する平面上で二次元方向に移動させることによって、手ぶれ補正を実現する。

＜＜第２実施例＞＞
次に、第２実施例について説明する。図１３は、第２実施例に係る手ぶれ補正処理を実行する手ぶれ補正部２０ａの機能ブロック図である。手ぶれ補正部２０ａは、顔検出部２１と、動き検出部２２ａと、パン・チルト／手ぶれ判別部２３ａ（以下、判別部２３ａという）と、切り出し制御部２４と、を有する。

顔検出部２１は、第１実施例と同様、各撮影画像から顔領域を抽出して顔位置データを作成する。但し、作成された顔位置データは、動き検出部２２ａに与えられる。

動き検出部２２ａは、第１実施例に係る動き検出部２２と同様の処理にて全体動きベクトルを算出する。但し、顔位置データに基づき、全体動きベクトルを算出するための動き検出領域から顔領域が除外されるようにする。

これについて、具体例を挙げてより詳細に説明する。図７を参照する。今、第ｎフレーム画像から顔領域Ｆ１が抽出された場合を考える。説明の簡略化上、顔領域Ｆ２を無視する。顔領域Ｆ１についての顔位置データは、動き検出部２２ａに伝達される。動き検出部２２ａは、第（ｎ−１）と第ｎフレーム間における全体動きベクトルＶ_n及び（又は）第ｎと第（ｎ＋１）フレーム間における全体動きベクトルＶ_n+1を算出するにあたり、顔領域Ｆ１に対応する分割領域ＡＲ［ｉ，ｊ］（図４参照）を除外して考える。

例えば、第ｎフレーム画像について、図１４に示す如く、顔領域Ｆ１が４つの分割領域ＡＲ［４，４］、ＡＲ［４，５］、ＡＲ［５，４］及びＡＲ［５，５］と重なっていたとする。この場合、動き検出部２２ａは、全体動きベクトルＶ_n及び（又は）Ｖ_n+1を算出するに際して、その４つの分割領域ＡＲ［４，４］、ＡＲ［４，５］、ＡＲ［５，４］及びＡＲ［５，５］を、除外分割領域と取り扱って除外する。

それに加え、動き検出部２２ａは、その４つの除外分割領域以外の各分割領域について、第１実施例で説明したように有効又は無効を判別する。そして、動き検出部２２ａは、除外分割領域ではなく且つ有効と判別された分割領域ＡＲ［ｉ，ｊ］に対応する領域動きベクトルの平均ベクトルを求め、その平均ベクトルを、全体動きベクトルとして出力する。除外分割領域ではなく且つ有効と判別された分割領域ＡＲ［ｉ，ｊ］は、通常、複数存在することになるが、その複数の分割領域の合成領域が、全体動きベクトルを検出するための動き検出領域となる。

尚、図１４の分割領域ＡＲ［４，４］等の如く、分割領域の一部分しか顔領域Ｆ１と重なっていない場合は、重なり部分の大きさに応じて、その分割領域を除外分割領域と取り扱わないことも可能である。また、顔領域Ｆ２を無視して考えたが、顔領域Ｆ２についても同様に処理される。

判別部２３ａは、動き検出部２２ａによって算出された全体動きベクトルに基づいて、隣接するフレーム間における撮像装置１の動きが、意図的な揺れであるのか、或いは、手ぶれであるのかを判別し、意図的な揺れであると判別した場合はパン・チルト判定信号を、手ぶれであると判別した場合は手ぶれ判定信号を、切り出し制御部２４に出力する。例えば、第１実施例で述べたパン・チルト判定条件が成立している場合はパン・チルト判定信号を出力し、それが成立していない場合は手ぶれ判定信号を出力する。

切り出し制御部２４は、第１実施例におけるそれと同じものであり、判別部２３ａの出力信号を参照しつつ、撮像装置１の動きを表す動きデータとしての全体動きベクトルに基づき第１実施例と同様の手ぶれ補正処理を行って、切り出し画像を生成する。この切り出し画像は、表示部１５に表示され、必要に応じて記録媒体１６に記録される。

画像内における手ぶれと異なる動きは、手ぶれ補正用の動きベクトル検出の信頼性を低下させる。人物が被写体となっている場合、その被写体は何らかの動きをとる可能性が高い。これに鑑み、上述の如く、顔領域を動き検出領域から除外する。これにより、手ぶれ補正用の動きベクトル検出の信頼性が増し、より適切な手ぶれ補正を実現することが可能となる。

以下、第２実施例に関する変形例を示す。上述のように処理すると、顔領域が継続的に撮影領域内に収まっている場合、その間、常に該顔領域は動き検出領域から除外されることになる。しかしながら、顔領域が新たに抽出された場合に対してのみ、顔領域を動き検出領域から除外されるようにしてもよい。

つまり例えば、図１５に示す如く、第（ｎ−１）フレーム画像まで顔領域が存在しておらず、第ｎフレーム画像にて顔領域が初めて抽出され、第ｎフレーム画像以降、その顔領域がフレーム画像内に収まり続けていたとする。この場合、第（ｎ−１）と第ｎフレーム間における全体動きベクトルＶ_nを算出する際には、顔領域と重なる分割領域ＡＲ［ｉ，ｊ］を動き検出領域から除外し、それ以外の全体動きベクトルを算出する際には、顔領域と重なる分割領域ＡＲ［ｉ，ｊ］を動き検出領域から除外しないようにする。

また、図１３の手ぶれ補正部２０ａを、図１６の手ぶれ補正部２０ａａのように変形してもよい。手ぶれ補正部２０ａａは、図３の手ぶれ補正部２０と図１３の手ぶれ補正部２０ａを組み合わせたものに相当する。手ぶれ補正部２０ａａは、図３の手ぶれ補正部２０における動き検出部２２が動き検出部２２ａに置換された点において、図３の手ぶれ補正部２０と相違しており、その相違点を除いて手ぶれ補正部２０ａａと手ぶれ補正部２０は同様である。

手ぶれ補正部２０ａａにおける判別部２３は、第１実施例に係るそれと同様、動き検出部２２ａで作成された全体動きベクトルと顔検出部２１にて作成された顔位置データとに基づいて、隣接するフレーム間における撮像装置１の動きが、意図的な揺れであるのか、或いは、手ぶれであるのかを判別し、その判別結果に従って、手ぶれ判定信号又はパン・チルト判定信号を切り出し制御部２４に出力する。手ぶれ補正部２０ａａによれば、第１と第２実施例の双方における効果を得ることができる。

＜＜第３実施例＞＞
次に、第３実施例について説明する。図１７は、第３実施例に係る手ぶれ補正処理を実行する手ぶれ補正部２０ｂの機能ブロック図である。手ぶれ補正部２０ｂは、顔検出部２１ｂと、動き検出部２２ｂと、パン・チルト／手ぶれ判別部２３ｂ（以下、判別部２３ｂという）と、切り出し制御部２４と、を有する。

顔検出部２１ｂは、第１実施例と同様、各撮影画像から顔領域を抽出する。これに加え、顔検出部２１ｂは、各撮影画像における顔の向きも併せて検出する。即ち、顔検出部２１ｂは、各撮影画像において検出された顔が、正面顔（正面から見た顔）であるのか、或いは、横顔（横から見た顔）であるのか、或いは、斜め顔（斜めから見た顔）であるのかを区別して検出する。

実際には、正面顔を基準とした顔の向きを角度として検出する。この角度は、例えば、３０°を単位として検出される。即ち、顔の向きの角度は、−９０°、−６０°、−３０°、０°、＋３０°、＋６０°及び＋９０°の何れかの角度として検出される。正面顔の角度は０°であり、横顔の角度は−９０°又は＋９０°であり、斜め顔の角度は、−６０°、−３０°、＋３０°又は＋６０°である。正面顔を基準として、右向きの角度は正、左向きの角度は負とされる。

顔の向きを検出する手法として様々な手法が提案されており、顔検出部２１ｂは何れの手法をも採用可能である。

例えば、特開平１０−３０７９２３号公報に記載の手法のように、撮影画像の中から、目、鼻、口等の顔部品を順番に見つけていって画像中の顔の位置を検出し、顔部品の投影データに基づいて顔の向き（角度）を検出する。

或いは例えば、特開２００６−７２７７０号公報に記載の手法を用いてもよい。この手法では、１つの正面顔を左側半分（以下、左顔という）と右側半分（以下、右顔という）とに分けて考え、学習処理を介して左顔に関するパラメータと右顔に関するパラメータを生成しておく。顔検出時には、撮影画像内の注目領域を左右に分割し、この分割によって得られた各分割注目領域と、上記２つのパラメータの内の対応するパラメータとの類似度を算出する。そして、一方又は双方の類似度が閾値以上の時に、注目領域が顔領域であると判別する。更に、各分割注目領域に対する類似度の大小関係から顔の向き（角度）を検出する。

顔検出部２１ｂは、顔の向きの変化が検出された場合にのみ、それに対応するデータ（後述する向き変化顔位置データ）を動き検出部２２ｂに送る。

これについて、具体例を挙げてより詳細に説明する。今、図１８に示す如く、第（ｎ−１）フレーム画像から１つの顔が検出されて１つの顔領域１２０が抽出され、第ｎフレーム画像からも１つの顔が検出されて１つの顔領域１２１が抽出されたとする。顔検出部２１ｂは、画像上における顔領域１２０と１２１の中心位置を比較し、両顔領域の中心位置間の距離が所定値以下の場合に、両顔領域は同一の顔についての顔領域であると判断する。

今、両顔領域のフレーム画像内における位置は、同じ又は略同じであり、両顔領域は同一の顔についての顔領域であると判断されたとする。この場合、顔検出部２１ｂは、顔領域１２０と１２１についての顔の向き（角度）を対比して、顔の向きが変化しているか否かを判断する。図１８に示す如く、第（ｎ−１）と第ｎフレーム間で顔の向きが変化している場合、顔検出部２１ｂは、第ｎフレーム画像に対する向き変化顔位置データを動き検出部２２ｂに出力する。この向き変化顔位置データは、顔の向きに変化のあった顔領域（今の例の場合、顔領域１２１）の、撮影画像における位置（即ち、画像上の座標位置）を表す。

動き検出部２２ｂは、第１実施例に係る動き検出部２２と同様の処理にて全体動きベクトルを算出する。但し、向き変化顔位置データが与えられた場合は、その向き変化顔位置データに対応する顔領域を、全体動きベクトルを算出するための動き検出領域から除外する。今の例の場合、第ｎフレーム画像に関して顔領域１２１の位置を表す向き変化顔位置データが与えられるので、動き検出部２２ｂは、第（ｎ−１）と第ｎフレーム間における全体動きベクトルＶ_nを算出するにあたり、顔領域１２１に対応する分割領域ＡＲ［ｉ，ｊ］（図４参照）を除外して考える。

除外の考え方は第２実施例におけるそれと同様である。例えば、第ｎフレーム画像について、顔領域１２１が４つの分割領域ＡＲ［４，４］、ＡＲ［４，５］、ＡＲ［５，４］及びＡＲ［５，５］と重なっていた場合、動き検出部２２ｂは、全体動きベクトルＶ_nを算出するに際して、その４つの分割領域ＡＲ［４，４］、ＡＲ［４，５］、ＡＲ［５，４］及びＡＲ［５，５］を、除外分割領域と取り扱って除外する。

それに加え、動き検出部２２ｂは、その４つの除外分割領域以外の各分割領域について、第１実施例で説明したように有効又は無効を判別する。そして、動き検出部２２ｂは、除外分割領域ではなく且つ有効と判別された分割領域ＡＲ［ｉ，ｊ］に対応する領域動きベクトルの平均ベクトルを求め、その平均ベクトルを、全体動きベクトルとして出力する。除外分割領域ではなく且つ有効と判別された分割領域ＡＲ［ｉ，ｊ］は、通常、複数存在することになるが、その複数の分割領域の合成領域が、全体動きベクトルを検出するための動き検出領域となる。

判別部２３ｂは、動き検出部２２ｂによって算出された全体動きベクトルに基づいて、隣接するフレーム間における撮像装置１の動きが、意図的な揺れであるのか、或いは、手ぶれであるのかを判別し、意図的な揺れであると判別した場合はパン・チルト判定信号を、手ぶれであると判別した場合は手ぶれ判定信号を、切り出し制御部２４に出力する。例えば、第１実施例で述べたパン・チルト判定条件が成立している場合はパン・チルト判定信号を出力し、それが成立していない場合は手ぶれ判定信号を出力する。

切り出し制御部２４は、第１実施例におけるそれと同じものであり、判別部２３ｂの出力信号を参照しつつ、撮像装置１の動きを表す動きデータとしての全体動きベクトルに基づき第１実施例と同様の手ぶれ補正処理を行って、切り出し画像を生成する。この切り出し画像は、表示部１５に表示され、必要に応じて記録媒体１６に記録される。

画像内における手ぶれと異なる動きは、手ぶれ補正用の動きベクトル検出の信頼性を低下させる。人物が被写体となっている場合、その被写体は何らかの動きをとる可能性が高く、その動きの１つとして顔の向きの変化が考えられる。これに鑑み、上述の如く、顔の向きの変化が検出された場合は、その変化は被写体の動きに由来すると判断して、その変化のあった顔に対応する顔領域を動き検出領域から除外する。これにより、手ぶれ補正用の動きベクトル検出の信頼性が増し、より適切な手ぶれ補正を実現することが可能となる。

また、図１７の手ぶれ補正部２０ｂを、図１９の手ぶれ補正部２０ｂｂのように変形してもよい。手ぶれ補正部２０ｂｂは、図３の手ぶれ補正部２０と図１７の手ぶれ補正部２０ｂを組み合わせたものに相当する。手ぶれ補正部２０ｂｂは、図３の手ぶれ補正部２０における顔検出部２１及び動き検出部２２が顔検出部２１ｂ及び動き検出部２２ｂに置換された点において、図３の手ぶれ補正部２０と相違しており、その相違点を除いて手ぶれ補正部２０ｂｂと手ぶれ補正部２０は同様である。但し、手ぶれ補正部２０ｂｂにおける顔検出部２１ｂは、第１実施例に係る顔検出部２１と同様、撮影画像から顔領域が抽出された場合は、撮影画像内の顔の向きの変化に関係なく、顔位置データを判別部２３に出力する。

手ぶれ補正部２０ｂｂにおける判別部２３は、第１実施例に係るそれと同様、動き検出部２２ｂで作成された全体動きベクトルと顔検出部２１ｂにて作成された顔位置データとに基づいて、隣接するフレーム間における撮像装置１の動きが、意図的な揺れであるのか、或いは、手ぶれであるのかを判別し、その判別結果に従って、手ぶれ判定信号又はパン・チルト判定信号を切り出し制御部２４に出力する。手ぶれ補正部２０ｂｂによれば、第１と第３実施例の双方における効果を得ることができる。

＜＜第４実施例＞＞
第１実施例では、顔が主要被写体となる可能性が高いことに鑑み、意図的な揺れと手ぶれとを判別するための要素として人物の顔に特に着目したが、その要素は、顔に限定されない。例えば、色検出、エッジ検出又はパターン認識を用いて撮影画像から主要被写体を検出し、その主要被写体の全部又は一部を含む主要被写体領域を撮影画像から抽出して、この主要被写体領域に対して、第１実施例と同様の処理を行えばよい。この場合、第１実施例に記載の顔及び顔領域を、夫々、主要被写体及び主要被写体領域に読み替えればよい。

これにより、表示画像の端部に位置する主要被写体をフレームインさせようとする意図的なカメラ操作に対して手ぶれ補正が施されてフレームインが阻害され、表示画像が不自然になる（表示画像がひっかかったようになる）、といった問題が解消される。一方、表示画像の端部に位置する主要被写体がフレームアウトするような場合には適切に手ぶれ補正が施される。

このような第１実施例に対する変形例を第４実施例として説明する。以下、主要被写体について例示する。

［主要被写体の第１例］
例えば、主要被写体として、花や料理された食物（或いは食材そのもの）が挙げられる。それらは、一般的に彩度が高いため、画像上で容易に他と区別することができる。彩度は、撮影画像を表す映像信号から特定される。例えば、主要被写体検出部（不図示）が、周知の領域分割などの手法によって、撮影画像内を比較的彩度が高い領域と比較的彩度が低い領域とに分類し、比較的彩度が高い領域を主要被写体領域として抽出する。比較的彩度が高い花が撮影対象となっている場合、この抽出された主要被写体領域には、その花の全部又は一部が含まれることになる。実際には例えば、各撮影画像にて彩度が所定の彩度範囲内に含まれる画像部分を特定し、その画像部分を主要被写体領域として抽出すればよい。このようにして検出される主要被写体は、彩度が比較的高いという画像特徴（画像上の特徴）を有する。

撮像装置１の撮影モードに、マクロ撮影モード、花撮影モード又は料理撮影モードが含まれているときは、それらの何れかの撮影モードが選択されている場合に、主要被写体を比較的彩度が高い物体であると捉えればよい。それらの撮影モードが選択されている場合、撮影者が着目する主要被写体が花などである可能性が高いからである。

マクロ撮影モードは、撮像装置１に近接した被写体の撮影に適した撮影モードであり、花撮影モードは、花の撮影に適した撮影モードであり、料理撮影モードは、料理された食物（或いは食材そのもの）の撮影に適した撮影モードである。それらの撮影モードは、図１の操作部１４に対する所定操作によって選択される。

［主要被写体の第２例］
また、エッジ検出処理又はコントラスト検出処理を介して主要被写体を検出するようにしてもよい。通常、撮影者は、着目する主要被写体にピントを合わせようとするため、主要被写体が現れる画像部分のエッジ成分又はコントラスト量は比較的大きくなるからである。

具体的には例えば、撮影画像内の隣接する画素間の輝度値の差分を算出するなどして、撮影画像内の各画像部分のエッジ成分を算出する。そして、他の画像部分と比べてエッジ成分が比較的大きくなっている画像部分を主要被写体領域として特定する。また例えば、撮影画像において、輝度信号の所定の高域周波数成分を抽出し、抽出した高域周波数成分から撮影画像内の各画像部分のコントラスト量を評価する。そして、他の画像部分と比べてコントラスト量が比較的大きくなっている画像部分を主要被写体領域として特定する。

これらの主要被写体領域には、主要被写体の全部又は一部が含まれることになる。このようにして検出される主要被写体は、エッジ成分又はコントラスト量が比較的大きいという画像特徴（画像上の特徴）を有する。

［主要被写体の第３例］
また、パターン認識処理を介して主要被写体（所定種類の物体であり、例えば車）を検出するようにしてもよい。この場合、撮影画像１に搭載されたメモリ（不図示）に、パターン認識に必要な登録パターンを予め保存しておく。そして、撮影画像と登録パターンとを対比することにより、撮影画像から登録パターンに合致又は類似する物体を主要被写体として検出し、その主要被写体の全部又は一部を含む領域を主要被写体領域として抽出する。

上述の各主要被写体を、所定種類の物体又は所定の画像特徴を有する物体と呼ぶこともでき、これに対応して、主要被写体領域を物体領域と呼ぶこともできる。「顔に対応する画像部分、彩度の比較的高い画像部分、エッジ成分又はコントラスト量が比較的高い画像部分、または、登録パターンに合致又は類似する物体に対応する画像部分、を物体領域内に含める」という所定の規則に則って、物体領域は抽出されることになる。

＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、手ぶれ補正部（２０、２０ａ、２０ａａ、２０ｂ又は２０ｂｂ）の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。

ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、手ぶれ補正部（２０、２０ａ、２０ａａ、２０ｂ又は２０ｂｂ）にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

［注釈２］
動き検出部（２２、２２ａ又は２２ｂ）又は上記検出センサは、撮像装置１の動きを検出し、その動きを表す動きデータを出力する検出手段又は動き検出手段として機能する。また、切り出し制御部２４は、補正手段として機能する。また、顔検出部（２１又は２１ｂ）は、物体領域抽出手段又は顔領域抽出手段として機能する。また、第３実施例に係る顔検出部２１ｂは、顔向き検出手段としても機能する。

本発明の実施の形態に係る撮像装置の全体ブロック図である。 撮影画像の全体領域と切り出し枠の関係を示す図である。 本発明の第１実施例に係る、図１の制御部内に設けられる手ぶれ補正部の機能ブロック図である。 図３の動き検出部２２にて定義される、動きベクトル検出用の分割領域を示す図である。 図４に示す１つの分割領域内が複数の小領域に分割される様子を示す図である。 図５に示す１つの小領域を詳細に示した図である。 本発明の第１実施例に係り、第ｎフレーム画像の様子を示す図である。 図３の手ぶれ補正部の機能を説明するための図である。 図３の手ぶれ補正部の機能を説明するための図である。 本発明の第１実施例に係り、切り出し枠移動制御前の第（ｎ＋１）フレーム画像の様子を示す図である。 本発明の第１実施例に係り、切り出し枠移動制御後の第（ｎ＋１）フレーム画像の様子を示す図である。 図３の切り出し制御部にて定義される積分ベクトルを説明するための図である。 本発明の第２実施例に係る、図１の制御部内に設けられる手ぶれ補正部の機能ブロック図である。 図１３の動き検出部による顔領域除外機能を説明するための図である。 本発明の第２実施例に係り、各フレーム画像の遷移の様子を示す図である。 図１３（又は図３）の手ぶれ補正部の変形例を示す図である。 本発明の第３実施例に係る、図１の制御部内に設けられる手ぶれ補正部の機能ブロック図である。 本発明の第３実施例に係り、隣接するフレーム画像間で顔の向きが変化している様子を示す図である。 図１７（又は図３）の手ぶれ補正部の変形例を示す図である。

符号の説明

１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３ 制御部
１４ 操作部
１５ 表示部
１６ 記録媒体
２０、２０ａ、２０ａａ、２０ｂ、２０ｂｂ 手ぶれ補正部
２１、２１ｂ 顔検出部
２２、２２ａ、２２ｂ 動き検出部
２３、２３ａ、２３ｂ パン・チルト／手ぶれ判別部
２４ 切り出し制御部

Claims (11)

1. 撮像装置の動きを検出して、その動きを表す動きデータを出力する検出手段と、
   前記動きデータに基づいて手ぶれ補正処理を実行可能な補正手段と、を備えた手ぶれ補正装置において、
   撮像手段にて得られる各撮影画像から着目すべき物体領域を抽出する物体領域抽出手段を更に備え、
   画像上における前記物体領域の移動方向を考慮して、前記補正手段による前記手ぶれ補正処理を制御する
   ことを特徴とする手ぶれ補正装置。
2. 前記移動方向と前記動きデータとに基づいて、前記撮像装置の動きが意図的な揺れであるのか或いは手ぶれであるのかを判別する判別手段を更に備え、
   前記補正手段は、前記判別手段の判別結果に基づき、前記手ぶれに対して前記手ぶれ補正処理を実行する
   ことを特徴とする請求項１に記載の手ぶれ補正装置。
3. 前記補正手段は、前記意図的な揺れに対して前記手ぶれ補正処理の実行を禁止する
   ことを特徴とする請求項２に記載の手ぶれ補正装置。
4. 前記判別手段は、
   前記撮像装置の動きに対応して前記物体領域が前記撮像手段の有効撮影領域から出て行く方向へ移動している場合は、その撮像装置の動きは手ぶれであると判別する一方、
   前記撮像装置の動きに対応して前記物体領域が前記撮像手段の有効撮影領域に入っていく方向へ移動している場合は、その撮像装置の動きは意図的な揺れであると判別する
   ことを特徴とする請求項２または請求項３に記載の手ぶれ補正装置。
5. 前記物体領域抽出手段は、各撮影画像から所定種類の物体または所定の画像特徴を有する物体を検出して該物体の全部又は一部を含む領域を、前記物体領域として抽出する
   ことを特徴とする請求項１〜請求項４の何れかに記載の手ぶれ補正装置。
6. 前記物体領域は人物の顔に対応する顔領域である
   ことを特徴とする請求項１〜請求項５の何れかに記載の手ぶれ補正装置。
7. 前記物体領域抽出手段は、各撮影画像内を彩度が比較的高い領域と彩度が比較的低い領域とに分類することにより定まる、彩度が比較的高い領域を、前記物体領域として抽出する
   ことを特徴とする請求項１〜請求項５の何れかに記載の手ぶれ補正装置。
8. 前記検出手段は、各撮影画像内に設けられた動き検出領域内の映像信号に基づいて各撮影画像間の動きを前記撮像装置の動きとして検出し、これによって前記動きデータを出力し、
   前記物体領域抽出手段によって前記物体領域としての前記顔領域が抽出された際、前記顔領域は、前記動き検出領域から除外される
   ことを特徴とする請求項６に記載の手ぶれ補正装置。
9. 撮像手段にて順次得られる各撮影画像内に設けられた動き検出領域内の映像信号に基づいて手ぶれ補正処理を実行する手ぶれ補正装置において、
   各撮影画像から人物の顔を検出して、その顔の全部又は一部を含む顔領域を抽出する顔領域抽出手段を備え、
   前記顔領域抽出手段によって前記顔領域が抽出された際、前記顔領域は、前記動き検出領域から除外される
   ことを特徴とする手ぶれ補正装置。
10. 請求項１〜請求項９の何れかに記載の手ぶれ補正装置と、
    前記撮像手段と、を備えた
    ことを特徴とする撮像装置。
11. 撮像装置の動きを表す動きデータに基づいて手ぶれ補正処理を実行する手ぶれ補正方法において、
    与えられる各撮影画像から着目すべき物体領域を抽出し、画像上における前記物体領域の移動方向を考慮して、前記手ぶれ補正処理を制御する
    ことを特徴とする手ぶれ補正方法。

Images