JP2012156644A - 電子カメラ、プログラム及び記録媒体 - Google Patents

Abstract

【課題】 本発明は、主要被写体が撮影画面内を何れかの方向に移動した場合であっても、その主要被写体のぶれを低減させる撮影手段を提供する。
【解決手段】 電子カメラは、撮像部と、認識部と、設定部と、動き量検出部と、判定部と、取得部とを備える。撮像部は、撮影光学系からの被写体像を撮像して画像を取得する。認識部は、画像から主要被写体を認識する。設定部は、撮影画面内を何れかの方向に移動する主要被写体の動きを検出するために、主要被写体の領域内に複数の観察領域を設定する。動き量検出部は、時系列に取得される複数の画像に基づいて、観察領域毎の動き量を検出する。判定部は、観察領域毎の動き量に基づいて、主要被写体の移動状態を判定する。取得部は、判定部により主要被写体が静止していると判定された場合には、撮像素子に記録用画像を取得させる。
【選択図】 図１

Description

本発明は、電子カメラ、プログラム及びそのプログラムが記録された記録媒体に関する。

従来、主要被写体のぶれを低減させて自動的に流し撮りの撮影を行なう電子カメラが提案されている（例えば、特許文献１参照）。

特開２００９−１３０５５７号公報

しかし、上記の電子カメラによる撮影では、主要被写体の移動方向が撮影画面内で例えば左右方向に限られている。そのため、主要被写体の移動方向によっては、その主要被写体のぶれを低減させる撮影が困難になるおそれがある。

そこで、本発明は、上記事情に鑑み、主要被写体が撮影画面内を何れかの方向に移動した場合であっても、その主要被写体のぶれを低減させる撮影手段を提供することを目的とする。

本発明の一態様の電子カメラは、撮像部と、認識部と、設定部と、動き量検出部と、判定部と、取得部とを備える。撮像部は、撮影光学系からの被写体像を撮像して画像を取得する。認識部は、画像から主要被写体を認識する。設定部は、撮影画面内を何れかの方向に移動する主要被写体の動きを検出するために、主要被写体の領域内に複数の観察領域を設定する。動き量検出部は、時系列に取得される複数の画像に基づいて、観察領域毎の動き量を検出する。判定部は、観察領域毎の動き量に基づいて、主要被写体の移動状態を判定する。取得部は、判定部により主要被写体が静止していると判定された場合には、撮像素子に記録用画像を取得させる。

本発明の一態様のプログラムは、撮像処理と、認識処理と、設定処理と、動き量検出処理と、判定処理と、取得処理とをコンピュータに実行させることを特徴とする。撮像処理は、撮影光学系からの被写体像を撮像して画像を取得させる。認識処理は、画像から主要被写体を認識する。設定処理は、撮影画面内を何れかの方向に移動する主要被写体の動きを検出するために、主要被写体の領域内に複数の観察領域を設定する。動き量検出処理は、時系列に取得される複数の画像に基づいて、観察領域毎の動き量を検出する。判定処理は、観察領域毎の動き量に基づいて、主要被写体の移動状態を判定する。取得処理は、判定処理により主要被写体が静止していると判定された場合には、撮像処理により記録用画像を取得させる。

本発明の一態様の記録媒体は、撮像処理と、認識処理と、設定処理と、動き量検出処理と、判定処理と、取得処理とをコンピュータに実行させるための命令が記録されたコンピュータ可読な記録媒体であることを特徴とする。撮像処理は、撮影光学系からの被写体像を撮像して画像を取得させる。認識処理は、画像から主要被写体を認識する。設定処理は、撮影画面内を何れかの方向に移動する主要被写体の動きを検出するために、主要被写体の領域内に複数の観察領域を設定する。動き量検出処理は、時系列に取得される複数の画像に基づいて、観察領域毎の動き量を検出する。判定処理は、観察領域毎の動き量に基づいて、主要被写体の移動状態を判定する。取得処理は、判定処理により主要被写体が静止していると判定された場合には、撮像処理により記録用画像を取得させる。

本発明は、主要被写体が撮影画面内を何れかの方向に移動した場合であっても、その主要被写体のぶれを低減させる撮影手段を提供できる。

電子カメラ１の構成例を示すブロック図 観察領域の設定処理の一例を説明する図 観察領域毎の動き量の検出処理の一例を説明する図 観察領域毎の動き量の検出処理の他の一例を説明する図 電子カメラ１の動作の一例を示すフローチャート ぶれ抑制モードにおける撮影動作の一例を示すシーケンス図 主要被写体の移動状態の判定基準の一例を示す図 主要被写体が光軸方向に移動する撮影シーンの一例を説明する図 自動ズームモードの一例を説明する図 自動ズームモードの他の一例を説明する図

以下、図面に基づいて本発明の実施の形態を詳細に説明する。図１は、電子カメラ１の構成例を示すブロック図である。ここで、電子カメラ１は、被写体のぶれが抑制された撮影を行なう「ぶれ抑制モード」を有している。ぶれ抑制モードでは、例えば動く主要被写体が撮影画面内で静止した時に、自動的に撮影を実行する撮影モードである。

電子カメラ１は、撮影光学系１０と、レンズ駆動部１１と、絞り１２と、絞り駆動部１３と、撮像素子１４と、信号処理部１５と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６と、画像処理部１７と、フラッシュメモリ１８と、記録インターフェース部（以下「記録Ｉ／Ｆ部」という）１９と、表示インターフェース部（以下「表示Ｉ／Ｆ部」という）２０と、表示モニタ２１と、タッチパネル２２と、操作部２３と、レリーズ釦２４と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２５と、データバス２６とを備える。

このうち、信号処理部１５、ＲＡＭ１６、画像処理部１７、フラッシュメモリ１８、記録Ｉ／Ｆ部１９、表示Ｉ／Ｆ部２０及びＣＰＵ２５は、データバス２６を介して互いに接続されている。また、レンズ駆動部１１、絞り駆動部１３、信号処理部１５、タッチパネル２２、操作部２３及びレリーズ釦２４は、ＣＰＵ２５に接続されている。

撮影光学系１０は、焦点距離を調整するズームレンズと、撮像素子１４の撮像面での結像位置を調整するフォーカスレンズとを含む複数のレンズ群で構成されている。レンズ駆動部１１は、撮影光学系１０内でズームレンズやフォーカスレンズのレンズ位置をＣＰＵ２５の指示に応じて光軸（図中Ｌ）方向に調整する。なお、簡単のため、図１では、撮影光学系１０を１枚のレンズとして図示する。

絞り１２は、撮像素子１４に入射する単位時間当たりの光量を調節する。絞り駆動部１３は、絞り１２の開口量をＣＰＵ２５の指示に応じて調整する。

撮像素子１４は、撮影光学系１０及び絞り１２を通過した被写体像を撮像し、アナログの画像信号を取得する。そして、撮像素子１４が出力するアナログの画像信号は、信号処理部１５に入力される。なお、撮像素子１４の撮像面には、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３種類のカラーフィルタが例えばベイヤー配列で配置されている。また、撮像素子１４の電荷蓄積時間及び画像信号の読み出しは、タイミングジェネレータ（不図示）によって制御される。

ここで、撮像素子１４は、後述のレリーズ釦２４の全押し操作に応答して記録用画像（本画像）を撮像する。また、撮像素子１４は、撮影待機時に所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。また、撮像素子１４は、ぶれ抑制モードにおいて、後述の取得部２５ｅの指示に応答して、記録用画像を撮像する。

なお、撮像素子１４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のカラーイメージセンサである。

信号処理部１５は、撮像素子１４が出力するアナログの画像信号をデジタル信号（画像データ）に変換しデータバス２６に出力する。

ＲＡＭ１６は、揮発性のメモリであり、信号処理部１５が出力する画像データは、データバス２６を介して画像データとしてＲＡＭ１６に一時記録される。画像処理部１７は、ＲＡＭ１６に記録されている画像データを読み出し、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理等）を施す。また、画像処理部１７は、画像信号を解析して、画素毎の輝度を検出する。具体的には、画像処理部１７は、ＲＧＢ信号の画像データを輝度信号（Ｙ信号）と、色差信号（Ｃｒ、Ｃｂ信号）の画像データに変換（ＹＣ変換）する。

フラッシュメモリ１８は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ１８には、電子カメラ１の制御を行なうプログラム等が予め記録されている。ＣＰＵ２５は、このプログラムに従い、一例として後述の図５に示すフローの処理を実行する。また、フラッシュメモリ１８には、主要被写体の移動状態の判定基準を示す情報（閾値を含む）がテーブル化されて記録されている（詳細は後述する）。

記録Ｉ／Ｆ部１９には、着脱自在の記録媒体３０を接続するためのコネクタ（不図示）が形成されている。そして、記録Ｉ／Ｆ部１９は、そのコネクタに接続された記録媒体３０にアクセスして静止画像の記録処理等を行なう。この記録媒体３０は、例えば、カード型の不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体３０を示している。

表示Ｉ／Ｆ部２０は、ＲＡＭ１６に一時記録された再生用の静止画像や電子カメラ１の操作メニューを示す画像等を表示モニタ２１に出力する。また、表示Ｉ／Ｆ部２０は、撮影待機時において、記録媒体３０に記録する記録用画像に比べて撮像素子１４が出力する画像の解像度を低く設定したスルー画像を表示モニタ２１に出力する。例えば、表示Ｉ／Ｆ部２０は、３０フレーム毎秒（３０ｆｐｓ）でスルー画像を表示モニタ２１に出力する。表示モニタ２１は、例えば液晶表示媒体により構成される。

タッチパネル２２は、タッチパネル表面に接触した指先等の位置を検出する。そして、タッチパネル２２は、検出した位置情報をＣＰＵ２５に出力することで撮影者からの操作を受け付ける。操作部２３は、撮影者の操作を受け付ける複数の釦（不図示）を有しており、電子カメラ１を操作するための指示入力を受け付ける。

レリーズ釦２４は、半押し操作（撮影前におけるオートフォーカス（ＡＦ）や自動露出（ＡＥ）等の動作開始の指示入力）と全押し操作（記録媒体３０に記録する記録用画像を取得するための撮像動作開始）との指示入力とを受け付ける。

ＣＰＵ２５は、各種演算及び電子カメラ１の統括的な制御を行なうマイクロプロセッサである。ＣＰＵ２５は、上記のプログラムを実行することにより、電子カメラ１の各部の制御等を行なう。ＣＰＵ２５は、認識部２５ａと、設定部２５ｂと、動き量検出部２５ｃと、判定部２５ｄと、取得部２５ｅと、ズーム制御部２５ｆとしても機能する。

認識部２５ａは、画像から主要被写体を認識する。例えば、認識部２５ａは、画像を解析して人物の顔を抽出し、顔を主要被写体として認識する。具体的には、認識部２５ａは、画像の画像信号の輝度分布に基づいて、肌色領域を顔の領域として抽出する。認識部２５ａは、顔を検出した場合、さらに顔の特徴部位を検出する。すなわち、認識部２５ａは、例えば、特開２００１−１６５７３号公報等に記載された特徴点抽出処理によって、目、鼻、耳、唇等の顔の特徴部位を画像から検出する。これにより、認識部２５ａは、人物の顔の領域を容易に主要被写体として認識できる。なお、認識部２５ａは、顔の横顔を認識しても良い。具体的には、認識部２５ａは、画像の画像信号の輝度分布に基づいて、肌色領域とその領域に連なる黒色領域とから顔の輪郭を抽出し、顔の輪郭の形状が中心対称性を有さない場合、横顔として検出して良い。また、認識部２５ａは、顔の輪郭部分である鼻の輪郭に基づいて横顔を検出しても良い。

また、認識部２５ａは、タッチパネル２２を介して、ユーザ入力により指定された領域を主要被写体として認識しても良い。これにより、認識部２５ａは、ユーザが指定した領域を主要被写体とすることができる。

或いは、認識部２５ａは、画像の画像データを量子化することにより主要被写体と背景とを分離し、その主要被写体を認識しても良い。具体的には、認識部２５ａは、画像データを２値化するため、画像データの輝度分布に基づいて２値化の基準となる画素の明るさを選択する。そして、認識部２５ａは、その画素の明るさを基準にして、基準となる画素値よりも明るい画素値は白、基準以下の暗い画素値は黒とすることで、画像データを２値化する。これにより、認識部２５ａは、主要被写体を示す領域と背景を示す領域とが分離した画像を得ることができる。

設定部２５ｂは、撮影画面内を何れかの方向に移動する主要被写体の動きを検出するために、主要被写体の領域内に複数の観察領域を設定する。具体的には、設定部２５ｂは、例えば、認識部２５ａが認識した目、鼻、耳、唇等の特徴部位を観察領域に設定する。或いは、設定部２５ｂは、後述する図２に示す通り、顔の領域を囲む矩形枠の各辺の中点を含む領域を観察領域に設定しても良い。

図２は、観察領域の設定処理の一例を説明する図である。図２では、撮影画面内を紙面上、主要被写体（人物Ｐ１）が右から左の方向に走っている１フレーム（スルー画像）を模式的に表している。ここで、認識部２５ａは、顔の領域を抽出し、その顔の領域を囲む矩形枠Ｗ１を設定する。そして、設定部２５ｂは、例えば、矩形枠Ｗ１の各辺の中点を含む領域を観察領域に設定する。具体的には、設定部２５ｂは、主要被写体である人物Ｐ１の顔の領域の上下左右の４箇所に観察領域（Ｓ１、Ｓ２、Ｓ３、Ｓ４）を設定する。

動き量検出部２５ｃは、時系列に取得される複数のスルー画像に基づいて、観察領域毎の動き量を検出する。

図３は、観察領域毎の動き量の検出処理の一例を説明する図である。図３に示す撮影画面は、撮像素子１４の撮像面に対応しており、一例として、縦に３０分割、横に２０分割され、全体で６００分割されている。図３（ａ）は、図２に示す１フレームの画像に各画素を対応付けて重畳して描いている。動き量検出部２５ｃは、例えば、フレーム間での主要被写体の観察領域毎の動き量を、画像内の画素数の移動量で検出する。図３（ｂ）は、図３（ａ）に示すフレームの次フレーム（現フレーム）の画像に各画素を対応付けて重畳して描いている。なお、説明をわかりやすくするため、図３（ｂ）では、前フレーム（図３（ａ））の矩形枠Ｗ１と人物Ｐ１（図中点線）も対応付けて重畳して描いている。また、図３（ｂ）では、動きベクトル（図中矢印）を模式的に重畳して描いている。

動き量検出部２５ｃは、画像処理部１７が検出した画素毎の輝度に基づいて、観察領域（Ｓ１、Ｓ２、Ｓ３、Ｓ４（符号省略））の４箇所の画素の色（輝度）に対して、どの方向に移動したのか画素単位で検出する。図３（ｂ）の例では、観察領域全てが、動きベクトルの向きに８画素移動しているので、動き量検出部２５ｃは、人物Ｐ１の移動を検出する。ここで、動き量検出部２５ｃは、連続するフレーム間にわたって、観察領域の移動量が予め設定した閾値を超えた場合に観察領域の動き量として検出しても良い。つまり、動き量検出部２５ｃは、観察領域の移動量に基づいて、観察領域の動き量を検出する。これにより、動き量検出部２５ｃは、閾値を判定基準として動き量を検出することができる。ここで閾値とは、例えば、観察領域の画素上での移動量であって、図３（ｂ）の場合、一例として、２画素とする。なお、実際の適用においては、さらに閾値の値を適宜変更しても良い。また、本実施形態では、説明をわかりやすくするため、閾値を、観察領域の画素上での移動量に対応付けているが、撮影画面内の位置座標に対応付けて、予め設定した移動距離を閾値として設定しても良い。

図４は、観察領域毎の動き量の検出処理の他の一例を説明する図である。図４では、主要被写体の移動方向が、光軸方向（撮影光学系１０の光軸方向の成分を有する方向を含む）である場合を想定している。図４（ａ）、（ｂ）は、主要被写体（人物Ｐ２）が撮影光学系１０の光軸Ｌ方向（紙面垂直方向：図中ｚ方向）に移動するシーンでのスルー画像を時系列に示している。認識部２５ａは、人物Ｐ２の顔の領域を検出し、矩形枠Ｗ１を設定する。ここで、図４（ｃ）は、図４（ａ）、（ｂ）の矩形枠Ｗ１内の領域を抽出して拡大した図である。図４（ｃ）では、紙面左側が図４（ａ）の矩形枠Ｗ１内の領域を示す図であり、紙面右側が図４（ｂ）の矩形枠Ｗ１内の領域を示す図である。

設定部２５ｂは、観察領域Ｓ１〜Ｓ４を図３で説明した場合と同様にして矩形枠Ｗ１内に設定する。ここで、図４（ａ）から図４（ｂ）の状態に人物Ｐ２が移動した場合、人物Ｐ２の移動方向は、撮影者に接近する方向になる。この際、各観察領域（Ｓ１〜Ｓ４）の移動方向は、撮影画面上で矩形枠Ｗ１が拡大する方向となり、図４（ｃ）の矢印で示す通り、外側に向かう方向となる（以下「正の向き」という）。なお、人物Ｐ２の移動方向が撮影者から遠ざかる場合、各観察領域（Ｓ１〜Ｓ４）の移動方向は、撮影画面上で矩形枠Ｗ１が縮小する方向となり、内側に向かう方向となる（以下「負の向き」という）。したがって、動き量検出部２５ｃは、各観察領域（Ｓ１〜Ｓ４）の移動方向が、正の向き、或いは、負の向きの場合、人物Ｐ２の移動方向を光軸方向として検出する。

つまり、設定部２５ｂが主要被写体内に観察領域を４箇所設定することにより、動き量検出部２５ｃは、撮影画面内の主要被写体の移動方向を、上下方向、左右方向、斜め方向、光軸方向（前後方向）の何れかの方向であるかを検出することが容易に可能となる。なお、設定部２５ｂが観察領域を４箇所設定することは一例であって、４箇所に限定されない。

判定部２５ｄは、観察領域毎の動き量に基づいて、主要被写体の移動状態を判定する。具体的には、判定部２５ｄは、現フレームと前フレームとのフレーム間での観察領域毎の動き量に基づいて、主要被写体が撮影画面内の何れかの方向に移動しているか、或いは、主要被写体が静止しているか等の移動状態を判定する。

取得部２５ｅは、判定部より観察領域が静止していると判定された場合には、撮像素子１４に本画像を取得させる。具体的には、取得部２５ｅは、ＡＥやＡＦを行なった後、タイミングジェネレータ（不図示）を介して電荷蓄積時間等の撮影条件を制御して撮像素子１４に本画像を取得させる自動撮影を行なう。

ズーム制御部２５ｆは、ズーム倍率を変更する。具体的には、ズーム制御部２５ｆは、レンズ駆動部１１にズーム倍率の変更を指示する。これにより、ズーム制御部２５ｆは、レンズ駆動部１１を介して撮影光学系１０のズームレンズのズーム倍率を変更する。また、主要被写体の移動状態が撮影光学系１０の光軸方向の成分を有する方向への移動であると判定部２５ｄが判定した場合には、ズーム制御部２５ｆは、ズーム倍率を変更する。これにより、ズーム制御部２５ｆは、観察領域の動き量を相殺することができる（詳細は後述する）。

また、ＣＰＵ２５は、現フレームと前フレームとのフレーム間差分によりの主要被写体の動きを検出し、画像内で主要被写体を追尾する。具体的には、ＣＰＵ２５は、一例としてスルー画像を１６画素×１６画素のブロックに分割し、ブロック毎に各画素のフレーム間の差分信号が予め設定した差分信号用の閾値以上になる画素を算出することにより主要被写体の動きを検出する。なお、ＣＰＵ２５は、スルー画像を間引き読み出しすることによりフレーム間差分を行なっても良い。

次に、電子カメラ１の撮影時における動作の一例を説明する。図５は、電子カメラ１の動作の一例を示すフローチャートである。以下の動作例では、電源オンの後、先ず、ＣＰＵ２５は、撮像素子１４を駆動させてスルー画像の撮像を開始する。その後、操作部２３は、撮影モードとして「ぶれ抑制モード」の指示入力を受け付けると、ＣＰＵ２５は、図５に示すフローの処理を開始する。なお、撮像素子１４の画素数は、図３で説明した画素数よりも多いことする。また、ＣＰＵ２５は、「ぶれ抑制モード」の下位のモードとして、撮影者の操作を介さずにズーム倍率の変更を行なう「自動ズームモード」の設定の指示入力を受け付けても良い。

図６は、ぶれ抑制モードにおける撮影動作の一例を示すシーケンス図である。撮影シーンとしては、主要被写体（人物Ｐ３）がサッカーをしているシーンを一例として取り上げる。図６（ａ）では、図５に示すフローの処理を開始から終了まで時間軸ｔ（単位：秒）に沿って表している。また、図６（ｂ）では、図５に示すフローの処理に対応付けて、時系列に４枚のスルー画像（図中（１）〜（４））を抽出して描いている。

ステップＳ１０１：ＣＰＵ２５の認識部２５ａは、主要被写体の認識処理を行なう。具体的には、認識部２５ａは、スルー画像の画像信号の輝度分布に基づいて、肌色領域を顔の領域として抽出する。そして、認識部２５ａは、前述した特徴点抽出処理によって、顔の特徴部位を画像から検出する。さらに、認識部２５ａは、顔の特徴部位の位置関係に基づいて、人物Ｐ３の顔の領域を囲む矩形枠Ｗ１を設定する（図６（ｂ）の（１）参照）。

ステップＳ１０２：主要被写体の認識ができた場合（ステップＳ１０２：Ｙｅｓ）、ＣＰＵ２５は、ステップＳ１０３の処理に移行する。一方、主要被写体の認識ができなかった場合（ステップＳ１０２：Ｎｏ）、ＣＰＵ２５は、図５に示すフローの処理を終了する。

ステップＳ１０３：ＣＰＵ２５の設定部２５ｂは、観察領域の設定処理を行なう。具体的には、設定部２５ｂは、主要被写体である人物Ｐ３の顔の領域の上下左右の４箇所に観察領域（Ｓ１、Ｓ２、Ｓ３、Ｓ４）を設定する（図６（ｂ）の（１）の拡大図を参照）。ここで、ＣＰＵ２５は、表示モニタ２１に表示させるスルー画像に矩形枠Ｗ１を重畳表示させる。一方、ＣＰＵ２５は、観察領域については撮影者に視認させる必要がないので、表示モニタ２１に観察領域を表示させない。なお、設定部２５ｂは、人物Ｐ３の目、鼻、唇等の顔の特徴部位を観察領域として設定しても良い。

ステップＳ１０４：ＣＰＵ２５は、主要被写体の追尾処理を行なう。具体的には、ＣＰＵ２５は、現フレームと前フレームとのフレーム間差分によりの主要被写体の動きを検出し、画像内でその主要被写体を追尾する。また、ＣＰＵ２５は、現フレームにおける追尾対象の主要被写体の位置と、前フレームの追尾対象の主要被写体の位置とに基づいて、動きベクトル（方向と大きさとを含む）を算出する。なお、図６（ｂ）の（３）、（４）の図は、ステップＳ１０４からステップＳ１１０の処理に対応している。

ステップＳ１０５：ＣＰＵ２５は、主要被写体の追尾がフレーム間でできたか否かを判定する。ＣＰＵ２５は、主要被写体を撮影画面内で消失した場合（ステップＳ１０５：Ｙｅｓ）、図５に示すフローの処理を終了する。一方、ＣＰＵ２５は、主要被写体を撮影画面内で消失しない場合（ステップＳ１０５：Ｎｏ）、ステップＳ１０６の処理に移行する。

ステップＳ１０６：ＣＰＵ２５の動き量検出部２５ｃは、フレーム間で観察領域毎に移動量を算出する。具体的には、動き量検出部２５ｃは、現フレームと前フレームとから、フレーム間での主要被写体の観察領域毎の移動量を、画像内の画素数の移動量で検出する。

ステップＳ１０７：ＣＰＵ２５の判定部２５ｄは、観察領域毎の移動量が閾値以下であるか否かを判定する。具体的には、判定部２５ｄは、フラッシュメモリ１８に記録されている閾値を参照し、移動量から定まる観察領域毎の動き量に基づいて、主要被写体が撮影画面内の何れかの方向に移動しているか、或いは、主要被写体が静止しているかの移動状態を判定する。ここで、観察領域毎の移動量が閾値以下であれば、判定部２５ｄは、主要被写体が静止状態にあると判定する。したがって、観察領域毎の移動量が閾値以下の場合（ステップＳ１０７：Ｙｅｓ）、ＣＰＵ２５は、後述するステップＳ１１１の撮影処理に移行する。一方、観察領域毎の移動量が閾値よりも大きい場合（ステップＳ１０７：Ｎｏ）、ＣＰＵ２５は、ステップＳ１０８の処理に移行する。なお、判定部２５ｄは、フラッシュメモリ１８に記録されている主要被写体の移動状態の判定基準を示す情報を参照して判定しても良い。

図７は、主要被写体の移動状態の判定基準の一例を示す図である。図７（ａ）は、主要被写体が光軸方向に移動する場合について、主要被写体の移動状態の判定基準の一例を示す図である。図７（ａ）では、主要被写体の横幅の画素数と、静止状態と許容する閾値との関係を示している。ここで、主要被写体の横幅としては、簡単のため、図４（ｃ）で示した矩形枠Ｗ１の横幅であって良い。

例えば、前フレームにおける横幅の画素数が１０画素であって、現フレームにおける横幅の画素数が１０画素の場合、判定部２５ｄは、観察領域毎の移動量が２画素以下ならば、主要被写体は静止していると判定する。

一方、図４に示した通り、主要被写体の移動方向が光軸方向で撮影者に近づいて来る場合、撮影画面内における主要被写体（顔の領域）の占める割合は大きくなってくる。例えば、前フレームにおける横幅の画素数が１０画素であったのが、移動に伴い現フレームで３０画素になった場合、判定部２５ｄは、次回のフレーム間差分での観察領域毎の移動量が例えば６画素以下ならば、主要被写体は静止していると判定する。これにより、判定部２５ｄは、より正確に主要被写体の移動状態を判定できる。これは、撮影画面内に占める主要被写体の割合が、例えば図４（ａ）と図４（ｂ）とを比較した場合、図４（ａ）の場合の方が撮影画面内に占める主要被写体の割合が小さい分、画素数の移動量が同じでも、図４（ｂ）の場合と比較して、動きが大きくなるからである。

また、図７（ｂ）は、シャッタ速度と主要被写体を静止状態と許容する閾値との関係を示している。シャッタ速度が速い方が、動きのある被写体を静止させて撮影しやすくなる。したがって、判定部２５ｄは、シャッタ速度の設定値に応じた画素数を閾値の画素数にさらに加算して、主要被写体の移動状態を判定しても良い。これにより、判定部２５ｄは、シャッタ速度の設定値が大きいほど閾値の値を大きくして、主要被写体の移動状態を判定できる。

なお、図７に示した画素数は、一例であって、これらの数値に限定されない。また、図７（ｂ）において、判定部２５ｄは、シャッタ速度の設定値に応じた画素数を閾値の画素数にさらに加算するのでなく、シャッタ速度の設定値に応じた所定の比例係数を乗算するようにしても良い。

ステップＳ１０８：ＣＰＵ２５は、主要被写体の移動方向が光軸方向の場合（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０９の処理に移行する。一方、ＣＰＵ２５は、主要被写体の移動方向が光軸方向でない場合（ステップＳ１０８：Ｎｏ）、ステップＳ１０４の処理に戻り、追尾処理を引き続き行なう。

ステップＳ１０９：ＣＰＵ２５は、自動ズームモードの設定の有無を判定する。自動ズームモードの設定がされている場合（ステップＳ１０９：Ｙｅｓ）、ＣＰＵ２５は、ステップＳ１１０の処理に移行する。一方、自動ズームモードの設定がされていない場合（ステップＳ１０９：Ｎｏ）、ＣＰＵ２５は、ステップＳ１０４の処理に戻り、追尾処理を引き続き行なう。

ステップＳ１１０：ＣＰＵ２５のズーム制御部２５ｆは、ズーム倍率の変更を行なう。なお、図６で取り上げた撮影シーンの場合、主要被写体（人物Ｐ３）が光軸方向に移動していないため、ステップＳ１０９、ステップＳ１１０の処理は行なわれない。そのため、本実施形態では、別途、別の撮影シーンで主要被写体の光軸方向の移動を取り上げて、ステップＳ１０９、ステップＳ１１０の処理の詳細について説明する。

ステップＳ１１１：ＣＰＵ２５の取得部２５ｅは、自動撮影により、撮像素子１４に本画像を取得させる。具体的には、取得部２５ｅは、タイミングジェネレータ（不図示）を介して電荷蓄積時間等の撮影条件を制御して撮像素子１４に本画像を取得させる（図６（ｂ）の（４）の図参照）。そして、ＣＰＵ２５は、図５に示すフローの処理を終了させる。その後、ＣＰＵ２５は、本画像を記録媒体３０に記録する。

次に、主要被写体が光軸方向に移動する撮影シーンでの撮影の一例について説明する。

図８は、主要被写体が光軸方向に移動する撮影シーンの一例を説明する図である。図８（ａ）では、主要被写体（人物Ｐ４）がブランコ５０に乗っている様子を表している。ここで、（Ａ）及び（Ｃ）の地点では、ブランコ５０に乗っている主要被写体の動きベクトルが一旦ゼロになり、主要被写体は一時的に静止状態になる。その後、動きベクトルは反転し、主要被写体はブランコ５０での運動を再度開始する。また、（Ｂ）の地点では、動きベクトルが最大になる。

図８（ｂ）は、主要被写体（人物Ｐ４）がブランコ５０に乗っている様子を正面から見た図（スルー画像）である。図８（ｂ）では、図８（ａ）の（Ｃ）の地点を表している。

例えば、図８に示す通り、主要被写体の移動方向が光軸方向で撮影者に近づいて来る場合、ＣＰＵ２５は、ステップＳ１０９の処理に移行する。さらに、自動ズームモードが設定されていない場合（ステップＳ１０９：Ｎｏ）、ＣＰＵ２５は、ステップＳ１０４の処理に戻る。そして、例えば、ステップＳ１０４からステップＳ１０９の処理を繰り返すうちに、図８（ｂ）に示す地点（図８（ａ）の（Ｃ）の地点）に主要被写体（人物Ｐ４）が到達すると、主要被写体は一時的に静止状態になる。この場合、判定部２５ｄは、次回のステップＳ１０７の処理で、観察領域毎の移動量が閾値以下と判定し（ステップＳ１０７：Ｙｅｓ）、ＣＰＵ２５は、ステップＳ１１１の撮影処理に移行する。そして、ＣＰＵ２５は、図５に示すフローの処理（ぶれ抑制モード）を終了させる。その後、ＣＰＵ２５は、本画像を記録媒体３０に記録する。

次に自動ズームモードが設定されている場合について説明する。図９は、自動ズームモードの一例を説明する図である。図９（ａ）は、前フレームにおける主要被写体（Ｐ４）の移動方向が正の方向を表している（図８（ａ）に示す（Ａ）から（Ｃ）に向かう移動）。図９（ａ）に示す通り、主要被写体の移動方向が光軸方向で撮影者に近づいて来る場合、ＣＰＵ２５は、ステップＳ１０９の処理に移行する。さらに、自動ズームモードが設定されている場合（ステップＳ１０９：Ｙｅｓ）、ＣＰＵ２５は、ステップＳ１１０の処理に移行する。

ズーム制御部２５ｆは、レンズ駆動部１１を介して撮影光学系１０のズームレンズを広角側にシフトする（図９（ｂ））。図９（ｂ）では、各観察領域の移動方向を実線の矢印（動きベクトル）で表している。また、点線の矢印は、ズームレンズを広角側にシフトさせることを模式的に表している。

ＣＰＵ２５は、ステップＳ１１０の処理後に再度ステップＳ１０４の処理に戻る。そして、ＣＰＵ２５は、追尾処理を行ない、現フレームの画像を得る。この際、現フレームの主要被写体を図９（ｃ）に示す。動き量検出部２５ｃは、現フレームと前フレームとから、フレーム間での主要被写体の観察領域毎の移動量を、画像内の画素数の移動量で検出する。判定部２５ｄは、観察領域毎の動き量に基づいて、主要被写体の移動状態を再度判定する（ステップＳ１０６）。判定部２５ｄは、例えば、図９（ａ）に示す主要被写体と、図９（ｃ）に示す主要被写体とを比較する。観察領域毎の移動量が閾値以下の場合（ステップＳ１０７：Ｙｅｓ）、主要被写体は見かけ上、静止状態になるので、ＣＰＵ２５は、ステップＳ１１１の撮影処理に移行することができる。そして、ＣＰＵ２５は、図５に示すフローの処理を終了させる。その後、ＣＰＵ２５は、本画像を記録媒体３０に記録する。

図１０は、自動ズームモードの他の一例を説明する図である。図１０（ａ）は、前フレームにおける主要被写体（Ｐ４）の移動方向が負の方向を表している（図８（ａ）に示す（Ｃ）から（Ａ）に向かう移動）。図１０（ａ）に示す通り、主要被写体の移動方向が光軸方向で撮影者から遠ざかる場合、ＣＰＵ２５は、ステップＳ１０９の処理に移行する。さらに、自動ズームモードが設定されている場合（ステップＳ１０９：Ｙｅｓ）、ＣＰＵ２５は、ステップＳ１１０の処理に移行する。

ズーム制御部２５ｆは、レンズ駆動部１１を介して撮影光学系１０のズームレンズを望遠側にシフトする（図１０（ｂ））。図１０（ｂ）では、各観察領域の移動方向を実線の矢印（動きベクトル）で表している。また、点線の矢印は、ズームレンズを望遠側にシフトさせることを模式的に表している。

ＣＰＵ２５は、ステップＳ１１０の処理後に再度ステップＳ１０４の処理に戻る。そして、ＣＰＵ２５は、追尾処理を行ない、現フレームの画像を得る。この際、現フレームの主要被写体を図１０（ｃ）に示す。動き量検出部２５ｃは、現フレームと前フレームとから、フレーム間での主要被写体の観察領域毎の移動量を、画像内の画素数の移動量で検出する。判定部２５ｄは、観察領域毎の動き量に基づいて、主要被写体の移動状態を再度判定する（ステップＳ１０６）。判定部２５ｄは、例えば、図１０（ａ）に示す主要被写体と、図１０（ｃ）に示す主要被写体とを比較する。観察領域毎の移動量が閾値以下の場合（ステップＳ１０７：Ｙｅｓ）、主要被写体は見かけ上、静止状態になるので、ＣＰＵ２５は、ステップＳ１１１の撮影処理に移行することができる。そして、ＣＰＵ２５は、図５に示すフローの処理を終了させる。その後、ＣＰＵ２５は、本画像を記録媒体３０に記録する。

以上より、本実施形態の電子カメラ１は、主要被写体が撮影画面内を何れかの方向に移動した場合であっても、観察領域を設定することにより、主要被写体の移動状態を判定することができる。これにより、電子カメラ１は、主要被写体が静止した場合（見かけ上静止した場合も含む）に、自動的に本画像を取得する。したがって、電子カメラ１は、主要被写体のぶれを低減させる撮影手段を提供できる。
（上記実施形態の補足事項）
（１）上記実施形態では、自動ズームモードにより、撮影光学系１０のズームレンズのズーム倍率を変更する場合について説明した。ここで、ズーム制御部２５ｆは、ぶれ抑制モードの際、ユーザのマニュアル操作に応じて、ズームレンズのズーム倍率を変更しても良い。この場合、設定部２５ｂは、ズーム倍率変更後の主要被写体に対して、再度観察領域を設定する。また、ＣＰＵ２５は、ズーム倍率変更後の主要被写体が撮影画面内に占める割合に応じて閾値を再設定する。これにより、動き量検出部２５ｃは、ユーザのマニュアル操作に応じてズーム倍率の変更が生じても、再設定された閾値を判定基準として動き量を検出することができる。

（２）上記実施形態では、認識部２５ａは、主要被写体として顔を認識した。ここで、本実施形態では、予め人物登録をした画像をフラッシュメモリ１８に記録しておいても良い。これにより、撮影画面内に複数の人物がいる場合、認識部２５ａは、撮影画面内で認識した顔と人物登録した顔とを照合して、登録された人物のみを主要被写体としても良い。

（３）上記実施形態では、電子カメラ１を動かさないようにして撮影を行った。本実施形態では、前述した撮影手段を流し撮り撮影に適用しても良い。

（４）本発明のプログラムは、例えば、電子カメラ１のＣＰＵ２５上で実行される。上記実施形態では、フラッシュメモリ１８に本発明のプログラムが予め記録されていた。なお、本実施形態では、例えば、本発明のプログラムを記録媒体３０に記録して、この記録媒体３０に記録されたプログラムをフラッシュメモリ１８に記録しても良い。これにより、電子カメラ１では、新たな機能を追加するファームウエアとして、本発明のプログラムを適用することが可能となる。

（５）本発明のプログラムは、いわゆるウェブカメラとコンピュータとを組み合わせたカメラシステムに適用しても良い。この場合、本発明のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。

（６）なお、（５）でいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。さらに（５）でいう「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに前述の「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでも良い。また上記のプログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせにより実現するものであっても良い。

１・・・電子カメラ、１４・・・撮像素子、２５ａ・・・認識部、２５ｂ・・・設定部、２５ｃ・・・動き量検出部、２５ｄ・・・判定部、３０・・・記録媒体

Claims (9)

1. 撮影光学系からの被写体像を撮像して画像を取得する撮像部と、
   前記画像から主要被写体を認識する認識部と、
   撮影画面内を何れかの方向に移動する前記主要被写体の動きを検出するために、前記主要被写体の領域内に複数の観察領域を設定する設定部と、
   時系列に取得される複数の前記画像に基づいて、前記観察領域毎の動き量を検出する動き量検出部と、
   前記観察領域毎の動き量に基づいて、前記主要被写体の移動状態を判定する判定部と、
   前記判定部により前記主要被写体が静止していると判定された場合には、前記撮像部に記録用画像を取得させる取得部と
   を備えることを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   ズーム倍率を変更するズーム制御部をさらに備え、
   前記主要被写体の移動状態が前記撮影光学系の光軸方向の成分を有する方向への移動であると前記判定部が判定した場合には、前記ズーム制御部は、前記ズーム倍率を変更することを特徴とする電子カメラ。
3. 請求項２に記載の電子カメラにおいて、
   前記判定部は、前記ズーム倍率の変更に伴う前記観察領域毎の動き量に基づいて、前記主要被写体の移動状態を再度判定し、
   前記取得部は、前記判定部により前記主要被写体が静止していると新たに判定された場合には、前記撮像部に前記記録用画像を取得させることを特徴とする電子カメラ。
4. 請求項１から請求項３の何れか１項に記載の電子カメラにおいて、
   前記動き量検出部は、連続する画像間にわたって、前記観察領域の移動量が閾値を超えた場合に前記観察領域の動き量を検出することを特徴とする電子カメラ。
5. 請求項１から請求項４の何れか１項に記載の電子カメラにおいて、
   前記認識部は、前記画像を解析して人物の顔を抽出し、前記顔を前記主要被写体として認識することを特徴とする電子カメラ。
6. 請求項１から請求項４の何れか１項に記載の電子カメラにおいて、
   前記認識部は、前記画像の画像データを量子化することにより前記主要被写体と背景とを分離し、該主要被写体を認識することを特徴とする電子カメラ。
7. 請求項１から請求項４の何れか１項に記載の電子カメラにおいて、
   前記認識部は、ユーザ入力により指定された領域を前記主要被写体として認識することを特徴とする電子カメラ。
8. 撮影光学系からの被写体像を撮像して画像を取得させる撮像処理と、
   前記画像から主要被写体を認識する認識処理と、
   撮影画面内を何れかの方向に移動する前記主要被写体の動きを検出するために、前記主要被写体の領域内に複数の観察領域を設定する設定処理と、
   時系列に取得される複数の前記画像に基づいて、前記観察領域毎の動き量を検出する動き量検出処理と、
   前記観察領域毎の動き量に基づいて、前記主要被写体の移動状態を判定する判定処理と、
   前記判定処理により前記主要被写体が静止していると判定された場合には、前記撮像処理により記録用画像を取得させる取得処理と
   をコンピュータに実行させることを特徴とするプログラム。
9. 撮影光学系からの被写体像を撮像して画像を取得させる撮像処理と、
   前記画像から主要被写体を認識する認識処理と、
   撮影画面内を何れかの方向に移動する前記主要被写体の動きを検出するために、前記主要被写体の領域内に複数の観察領域を設定する設定処理と、
   時系列に取得される複数の前記画像に基づいて、前記観察領域毎の動き量を検出する動き量検出処理と、
   前記観察領域毎の動き量に基づいて、前記主要被写体の移動状態を判定する判定処理と、
   前記判定処理により前記主要被写体が静止していると判定された場合には、前記撮像処理により記録用画像を取得させる取得処理と
   をコンピュータに実行させるための命令が記録されたコンピュータ可読な記録媒体。

Images