JP2008151910A

JP2008151910A - 撮像装置

Info

Publication number: JP2008151910A
Application number: JP2006338232A
Authority: JP
Inventors: Kenji Kimoto; 賢志木本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-12-15
Filing date: 2006-12-15
Publication date: 2008-07-03
Anticipated expiration: 2026-12-15
Also published as: US20080143865A1; US8194175B2; JP5016909B2

Abstract

【課題】連続撮像モードであってもピントを被写体に追従させることを可能にする撮像装置を提供する。
【解決手段】撮像画像データから被写体の特徴点を抽出する抽出手段と、記録保存のための撮像に先立って、前記特徴点に基づいて決定される走査領域でのフォーカスレンズの光軸方向の走査により合焦位置を検出し、該合焦位置への前記フォーカスレンズの移動を制御する焦点調節手段と、記録保存のための撮像を複数回繰り返す連続撮像モードでは、前記焦点調節手段と前記抽出手段とを同期をとって動作させる動作タイミング制御手段（連写間ＡＦ（１）、連写間ＡＦ（２））とを有する。
【選択図】図１４

Description

本発明は、連続撮像モードでの焦点調節において被写体の特徴点の抽出結果を反映可能な撮像装置に関する。

従来から、人物の目、鼻、口等の特徴点を抽出し、抽出された特徴点を用いてＡＦ（オートフォーカス）エリアを設定する撮像装置が知られている。例えば特許文献１のように、抽出された特徴点の大きさを判別し、その判別結果に応じて最適のＡＦエリアを設定するとともに、特徴点に基づいて被写体までの距離を算出することが可能な撮像装置が提案されている。

ところが、一般的に人物の特徴点の抽出は時間のかかる処理であるため、連続撮影などのカメラ特有の特殊な状況下では特徴点抽出処理の実施が性能低下の原因となる場合がある。そこで、特許文献２では、被写体画像を連続して撮影する連続撮像モードが設定されている場合には、特徴点の抽出処理を行わないように制御する。もしくは、連続撮像モードでは、特徴点を検出する領域を連続撮像モード以外の撮像モードよりも小さく設定する。このようにして、特徴点の抽出処理にかかる時間を短縮するものである。
特開２００４−３１７６９９号公報特開２００５−２２３６６０号公報

しかしながら、連続撮像モードでは特徴点の抽出を行わないように制御する場合、連続撮影間の被写体の移動状況をカメラが認識することが困難になる。特に連続撮影中にコントラスト検出方式の焦点調節を行うシステムでは、焦点評価値（画像のコントラストに対応する焦点信号）を算出するＡＦエリア外に被写体が移動してしまった場合にピントを追従させることができなくなる。

また、特徴点の抽出処理時間を短くするため、特徴点の検出領域を小さく制御する場合、被写体が特徴点検出領域外に移動してしまうような状況ではＡＦエリアを追従させることができなくなり、結果的にピントを被写体に追従させることができなくなる。

（発明の目的）
本発明の目的は、連続撮像モードであってもピントを被写体に追従させることを可能にする撮像装置を提供しようとするものである。

上記目的を達成するために、本発明は、撮像画像データから被写体の特徴点を抽出する抽出手段と、記録保存のための撮像に先立って、前記特徴点に基づいて決定される走査領域でのフォーカスレンズの光軸方向の走査により合焦位置を検出し、該合焦位置への前記フォーカスレンズの移動を制御する焦点調節手段と、記録保存のための撮像を複数回繰り返す連続撮像モードでは、前記焦点調節手段と前記抽出手段とを同期をとって動作させる動作タイミング制御手段とを有する撮像装置とするものである。

本発明によれば、連続撮像モードであってもピントを被写体に追従させることを可能にする撮像装置を提供できるものである。

本発明を実施するための最良の形態は、以下の実施例１および２に示す通りである。

以下、図面を参照しながら本発明の実施例１について説明する。なお、本実施例１では、特徴点抽出部による人の顔検出にかかる時間が、本露光や現像処理などにかかる時間よりも長いシステム上での連続撮像モードでの焦点調節動作について説明するものである。なお、連続撮像モードとは、記録保存のための撮像を一定時間間隔で複数回繰り返すモードであり、連写とは、記録保存のための撮像を繰り返し行うことである。

図１は、本発明の実施例１に係わる撮像装置の回路構成を示すブロック図である。図１において、１０１はズーム機構を含む撮影レンズ、１０２は光量を制御する絞り及びシャッター、１０３はＡＥ（自動露出）処理部である。１０４は後述する撮像素子上に焦点を合わせるためのフォーカスレンズ、１０５はＡＦ処理部である。１０６はストロボ、１０７はＥＦ処理部、１０８は被写体からの反射光を電気信号に変換する受光手段又は光電変換手段としての撮像素子である。１０９は撮像素子１０８の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含むＡ／Ｄ変換部、１１０は画像処理部、１１１はＷＢ（ホワイトバランス）処理部である。

１１２はフォーマット変換部、１１３は高速な内蔵メモリ（例えばランダムアクセスメモリなど、以下、ＤＲＡＭ）である。１１４はメモリカードなどの記録媒体とそのインターフェースからなる画像記録部、１１５は撮影シーケンスなどシステムを制御するシステム制御部である。１１６は画像表示用メモリ（以下、ＶＲＡＭ）、１１７は画像表示、操作補助のための表示やカメラ状態の表示の他、撮影時には撮影画面とＡＦエリア（測距領域）を表示する操作表示部である。１１８はカメラを外部から操作するための操作部である。

１１９は、プログラム、風景、人物、スポーツなどの撮影モードを設定する撮影モードスイッチ、１２０は１回撮影、連続撮影（以下、連写撮影とも記す）、セルフタイマ撮影などのドライブモード設定を行うドライブモードスイッチ（ＳＷ）である。１２２はシステムに電源を投入するためのメインスイッチである。１２３はＡＦやＡＥ等の撮影スタンバイ動作（撮影準備動作）を行うためのスイッチ（以下、ＳＷ１）、１２４はスイッチＳＷ１の操作後、撮影を行うスイッチ（以下、ＳＷ２）である。

１２１は特徴点抽出部であり、画像データの中から被写体の形状、位置、サイズ等の特徴点を抽出し、その結果より所定のアルゴリズムに則って人間の顔としての信頼度が高いものを選定する。そして、その大きさ（Ｗｉｄｔｈ，Ｈｅｉｇｈｔ）および左上の座標（ｘ,ｙ）からなる特徴点情報および抽出処理が完了したことを示す抽出処理完了フラグ（完了でＴＲＵＥ，未完了でＦＡＬＳＥ）をＤＲＡＭ１１３に記憶する。このとき、人の顔を検出できずに抽出処理が完了した場合は大きさおよび座標情報がクリアされる。つまり、Ｗｉｄｔｈ，Ｈｅｉｇｈｔ，ｘ，ｙがすべて０にされる。なお、特徴点抽出部１２１は独立したハードウェアであり、動作中であってもシステム制御部１１５は別の処理を実施できるものとする。

上記ＤＲＡＭ１１３は一時的な画像記憶手段としての高速バッファとして、あるいは画像の圧縮伸張における作業用メモリなどに使用される。上記操作部１１８は、例えば次のようなものが含まれる。撮像装置の撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換スイッチ、などである。

図２は、本発明の実施例１に係わる撮像装置の電源投入直後からの一連の動作を示すフローチャートであり、システム制御部１１５によって実行される。

まず、ステップＳ２０１では、後述する図３のフローチャートに従ってライブ画表示を行う。次のステップＳ２０２では、スイッチＳＷ１の状態を調べ、ＯＮであればステップＳ２０３へ進み、そうでなければステップＳ２０１に戻る。ここで、スイッチＳＷ１の機能は、ＡＦやＡＥなどの撮影スタンバイ動作を行うことである。

次のステップＳ２０３では、ライブ画表示時に実施されている特徴点抽出処理を停止する。そして、次のステップ２０４にて、ＡＥ処理部１０３で画像処理部１１０の出力を用いてＡＦ用のＡＥ処理を行う。続くステップＳ２０５では、後述する図４のフローチャートに従ってＡＦ動作を行う。そして、次のステップＳ２０６にて、スイッチＳＷ１の状態を調べ、ＯＮであればステップＳ２０７へ進み、そうでなければステップＳ２０１へ戻る。

スイッチＳＷ１がＯＮであるとしてステップＳ２０７へ進むと、ここではスイッチＳＷ２の状態を調べ、ＯＮであればステップＳ２０８へ進む。また、ＯＦＦであればステップＳ２０６へ戻って、スイッチＳＷ１がＯＦＦされるか、スイッチＳＷ２がＯＮされるまでフォーカスをロックする。ここで、スイッチＳＷ２の機能はスイッチＳＷ１の操作後撮影を行うことである。

スイッチＳＷ２がＯＮであるとしてステップＳ２０８へ進むと、次の本露光用のＡＥ処理を実施する。そして、次のステップＳ２０９にて、後述する図１１のフローチャートに従って撮影処理を実施するが、この処理は連写撮影処理および連写間の焦点調節処理および連写の実施判定を含んでいる。ステップＳ２０９の終了後はステップＳ２０１に戻る。

次に、図２のステップＳ２０１にて実行されるライブ画表示のサブルーチンについて、図３のフローチャートを参照しながら説明する。

まず、ステップＳ３０１では、撮像素子１０８より所定周期で出力される撮像画像データに対して画像処理部１１０で画像処理を施し、ライブ画表示に適した画像データ（以下、ライブ画元データ）を生成する。次のステップＳ３０２では、特徴点抽出が完了しているか否かを判定する。抽出処理が完了しているか否かは前述の抽出処理完了フラグの状態より判定可能である。ここで、完了していない場合にはステップＳ３０３へ進み、上記ステップＳ３０１で生成したライブ画元データを用いて特徴点抽出部１２１にて画像データの中から被写体の形状、位置、サイズ等の特徴点を抽出する処理を開始する。

一方、上記ステップＳ３０２で特徴点抽出が完了していると判定した場合にはステップＳ３０４へ進み、ＤＲＡＭ１１３に保存された特徴点情報と最新のライブ画元データより実際に表示する画像データ(以下、表示用画像データ)を合成する。このとき、特徴点情報が存在しない場合にはライブ画元データが表示用画像データとなる。また、通常特徴点抽出部１２１による特徴点抽出完了周期よりもライブ画元データの生成周期のほうが短いため、このステップＳ３０４で使用する特徴点情報はその時点で抽出されている最新のものを使用することになる。

次のステップＳ３０５では、上記ステップＳ３０４で生成した表示用画像データをＶＲＡＭ１１６に書き込み、操作表示部１１７の表示内容を更新する。続くステップＳ３０６では、ライブ画の停止要求があったか否かを判定し、停止要求がない場合にはステップＳ３０１に戻り、所定の周期でライブ画の更新を継続する。一方、ライブ画停止の要求があった場合にはステップＳ３０７へ進み、特徴点抽出部１２１による抽出処理を停止し、ライブ画表示の処理を終了する。

次に、図２のステップＳ２０５にて実行されるＡＦ動作のサブルーチンについて、図４のフローチャートを参照しながら説明する。

まず、ステップＳ４０１では、スキャン範囲（走査領域）を設定する。ここで、スキャン範囲は、後述する図７のフローチャートによる合焦判定に必要なスキャンデータ数を満たすと同時に、スキャン時間が不必要に長くならないようにマクロ／非マクロ等の各種設定に応じて決定する。次のステップＳ４０２では、ＡＦ処理部１０５に設定する焦点評価値算出のためのＡＦエリアを設定する。本実施例１では、特徴点抽出部１２１により人の顔が検出され、特徴点情報がＤＲＡＭ１１３に存在する場合には、特徴点情報が示す撮影画面内の所定の大きさと位置にＡＦエリアを設定する。また、存在しない場合には撮影画面内中央の縦横１５％をＡＦエリアとして設定するものとする。

次のステップＳ４０３では、後述する図６のフローチャートに従って、上記ステップＳ４０１で設定されたスキャン範囲のスキャン動作を行う。そして、次のステップＳ４０４にて、上記ステップＳ４０３で記憶したスキャンデータにより後述する図７のフローチャートにしたがって合焦判定を行う。続くステップＳ４０５では、上記ステップＳ４０４における合焦判定の結果が○であればステップＳ４０６へ進み、×であればステップＳ４０７へ進む。合焦判定の結果が×であるとしてステップＳ４０７へ進むと、定点と呼ばれるあらかじめ設定された被写体距離に対応する位置にフォーカスレンズ１０４を移動させる。また、合焦判定の結果が○であるとしてステップＳ４０６へ進むと、上記ステップＳ４０４において計算した焦点評価値のピーク位置にフォーカスレンズ１０４を光軸方向に移動させる。

次に、図４のステップＳ４０３におけるスキャンのサブルーチンについて、図５のフローチャートを参照しながら説明する。

まず、ステップＳ６０１では、フォーカスレンズ１０４をスキャン開始位置に移動させる。スキャン開始位置は設定されたスキャン範囲の一端に設定される。次のステップＳ６０２では、フォーカスレンズ１０４がスキャン開始位置に到達したか否かを判定し、到達した場合はステップＳ６０３へ進み、到達しない場合にはステップＳ６０２に戻る。

フォーカスレンズ１０４がスキャン開始位置に到達したとしてステップＳ６０３へ進むと、ここでは焦点評価値の算出を開始する。そして、次のステップＳ６０４にて、撮影画面内に設定されるＡＦエリアの焦点評価値とフォーカスレンズ１０４の位置をシステム制御部１１５に内蔵される図示しない演算メモリに記憶する。続くステップＳ６０５では、レンズ位置がスキャン終了位置にあるかどうかを調べ、スキャン終了位置であればステップＳ６１０に進み、そうでなければステップＳ６０６へ進む。

レンズ位置がスキャン終了位置でないとしてステップＳ６０６へ進むと、ここではドライブモードが連写か否かを調べ、連写モードである場合にはステップＳ６０７に進み、連写モードでない場合にはステップＳ６０９へ進む。連写モードであるとしてステップＳ６０７へ進むと、これまでに取得した焦点評価値のサンプル数を調べ、そのサンプル数が所定値Ｎか否かを判定する。Ｎ個のデータを取得済みであればステップＳ６０８へ進み、特徴点抽出を開始する。つまり、特徴点抽出にかかる時間をあらかじめ算出しておき、スキャン範囲内の焦点評価値を取得するための時間と特徴点抽出にかかる時間が重なるようにサンプル数の所定値Ｎを設定し、特徴点抽出の開始タイミングをスキャンに同期して制御する。

ステップＳ６０９では、次の焦点評価値の取得位置にフォーカスレンズ１０４を移動させる。上記のスキャン終了位置は、設定されたスキャン範囲の他端に設定される。その後はステップＳ６０４へ進む。

ステップＳ６０４へ進むと、ステップＳ６０９にて所定量動かした位置で算出した焦点評価値とそのレンズ位置を記憶する。その後、ステップＳ６０５にて、フォーカスレンズ１０４が終了位置に到達していると判定した場合にはステップＳ６１０へ進み、焦点評価値の算出を停止する。

以上が、スイッチＳＷ１のＯＮ時におけるＡＦ処理におけるスキャン動作である。

次に、図４のステップＳ４０４における合焦判定について、図６〜図９を参照しながら説明する。

焦点評価値は遠近競合などの特殊な場合を除けば、横軸にフォーカスレンズ位置、縦軸に焦点評価値をとると、その形は図６に示すような山状になる。そこで、焦点評価値が山状になっているか否かを、焦点評価値の最大値と最小値の差、一定値（ＳｌｏｐｅＴｈｒ）以上の傾きで傾斜している部分の長さ、傾斜している部分の勾配から判定することにより、合焦判定を行うことができる。合焦判定における判定結果は、以下に示すように ○、×で出力される。
○：焦点評価値のピーク位置から、被写体の焦点調節が可能である。
×：被写体のコントラストが不十分、もしくはスキャンした距離範囲外の距離に被写体が位置する。

ここで、図６に示すように、山の頂上（Ａ点）から傾斜が続いていると認められる点をＤ点、Ｅ点とし、Ｄ点とＥ点の幅を山の幅Ｌ、Ａ点とＤ点の焦点評価値の差ＳＬ１とＡ点とＥ点の焦点評価値の差ＳＬ２の和（ＳＬ１＋ＳＬ２）をＳＬとする。

図７は、図４のステップＳ４０４における合焦判定のサブルーチンの詳細を示すフローチャートである。

まず、ステップＳ７０１にて、焦点評価値の最大値ｍａｘと最小値ｍｉｎ及び最大値ｍａｘを与えるスキャンポイントｉｏを求める。次のステップＳ７０２では、焦点評価値の山の幅を表す変数Ｌ、山の勾配を表す変数ＳＬをともに０に初期化する。続くステップＳ７０３では、最大値を与えるスキャンポイントｉｏがスキャンを行った所定範囲における遠側端の位置か否かを調べ、遠側端位置でないならばステップＳ７０４へ進み、無限遠方向への単調減少を調べる。遠側端位置であったならば、ステップＳ７０４の処理をスキップしてステップＳ７０５へ進む。

ここで、ステップＳ７０４における無限遠方向への単調減少を調べる処理について、図８のフローチャートを用いて説明する。

まず、ステップＳ８０１では、カウンタ変数ｉをｉｏに初期化する。次のステップＳ８０２では、スキャンポイントｉにおける焦点評価値の値ｄ［ｉ］と、ｉより１スキャンポイント分無限遠よりのスキャンポイント（ｉ−１）における焦点評価値の値ｄ［ｉ−１］の差を一定値ＳｌｏｐｅＴｈｒと比較する。ｄ［ｉ］−ｄ［ｉ−１］≧ＳｌｏｐｅＴｈｒであれば、無限遠方向への単調減少が生じていると判定し、ステップＳ８０３へ進む。そして、焦点評価値が一定値以上の傾きで傾斜している部分の長さ（山の幅）を表す変数Ｌ、単調減少区間における減少量を表す変数ＳＬを、以下の式に従い、更新する。

Ｌ＝Ｌ＋１
ＳＬ＝ＳＬ＋（ｄ［ｉ］−ｄ［ｉ−１］）
一方、ｄ［ｉ］−ｄ［ｉ−１］≧ＳｌｏｐｅＴｈｒでなければ、無限遠方向への単調減少は生じていないと判定し、無限遠方向への単調減少をチェックする処理を終了し、ステップＳ７０５へ進む。

無限遠方向への単調減少をチェックする処理を継続する場合はステップＳ８０４へ進み、ｉ＝ｉ−１として、検出をする点を１スキャンポイント無限遠側に移す。次のステップＳ８０５では、カウンタｉがスキャンを行った所定範囲における遠側端位置の値（＝０）になったかどうかをチェックする。カウンタｉの値が０、すなわち単調減少を検出する開始点がスキャンを行った所定範囲における遠側端位置に達したならば、無限遠方向への単調減少をチェックする処理を終了し、図７のステップＳ７０５へ進む。

以上のようにして、ｉ＝ｉｏから無限遠方向への単調減少をチェックする。

図７に戻り、ステップＳ７０５では、最大値を与えるスキャンポイントｉｏがスキャンを行った所定範囲における至近端の位置か否かを調べ、至近端位置でないならばステップＳ７０６へ進み、至近方向への単調減少を調べる。至近端位置であったならば、この処理をスキップし、ステップＳ７０７へ進む。

ここで、ステップＳ７０６における至近方向への単調減少を調べる処理について、図９のフローチャートを用いて説明する。

まず、ステップＳ９０１では、カウンタ変数ｉをｉｏに初期化する。次のステップＳ９０２では、スキャンポイントｉにおける焦点評価値の値ｄ［ｉ］と、ｉより１スキャンポイント分至近端よりのスキャンポイント（ｉ＋１）における焦点評価値の値ｄ［ｉ＋１］の差を一定値ＳｌｏｐｅＴｈｒと比較する。ｄ［ｉ］−ｄ［ｉ＋１］≧ＳｌｏｐｅＴｈｒであれば、至近方向への単調減少が生じていると判定し、ステップＳ９０３へ進む。そして、焦点評価値が一定値以上の傾きで傾斜している部分の長さ（山の幅）を表す変数Ｌ、単調減少区間における減少量を表す変数ＳＬを、以下の式に従い、更新する。

Ｌ＝Ｌ＋１
ＳＬ＝ＳＬ＋（ｄ［ｉ］−ｄ［ｉ＋１］）
一方、ｄ［ｉ］−ｄ［ｉ＋１］≧ＳｌｏｐｅＴｈｒでなければ、至近方向への単調減少は生じていないと判定し、至近方向への単調減少をチェックする処理を終了し、ステップＳ７０７へ進む。

至近方向への単調減少をチェックする処理を継続する場合はステップＳ９０４へ進み、ｉ＝ｉ＋１として、検出をする点を１スキャンポイント至近側に移す。次のステップＳ９０５では、カウンタｉがスキャンを行った所定範囲における至近端位置の値（＝Ｎ）になったかどうかをチェックする。カウンタｉの値がＮ、すなわち単調減少を検出する開始点がスキャンを行った所定範囲における至近端位置に達したならば、至近方向への単調減少をチェックする処理を終了し、図７のステップＳ７０７へ進む。

以上のようにして、ｉ＝ｉｏから至近方向への単調減少をチェックする。

無限遠方向および至近方向への単調減少をチェックする処理が終了したならば、得られた焦点評価値が山状になっているか否か、諸係数をそれぞれのしきい値と比較し、以下のように、○×の判定を行う。

再び図７に戻り、ステップＳ７０７では、焦点評価値の最大値を与えるスキャンポイントｉｏがスキャンを行った所定範囲における至近端であるかを調べる。さらに、至近端スキャンポイントｎにおける焦点評価値の値ｄ［ｎ］と、ｎより１スキャンポイント分無限遠よりのスキャンポイント（ｎ−１）における焦点評価値の値ｄ［ｎ−１］の差が、一定値ＳｌｏｐｅＴｈｒ以上であるかを調べる。両方の条件を満たすとステップＳ７１１へ進み、そうでなければステップＳ７０８へ進む。

ステップＳ７０８へ進むと、焦点評価値の最大値を与えるスキャンポイントｉｏがスキャンを行った所定範囲における遠側端であるかを調べる。さらに、遠側端スキャンポイント０における焦点評価値の値ｄ［０］と、０より１スキャンポイント分至近端よりのスキャンポイント１における焦点評価値の値ｄ［１］の差が、一定値ＳｌｏｐｅＴｈｒ以上であるかを調べる。両方の条件を満たすとステップＳ７１１へ進み、そうでなければステップＳ７０９へ進む。

ステップＳ７０９では、一定値以上の傾きで傾斜している部分の長さＬが所定値Ｌｏ以上であるかを調べる。さらに、傾斜している部分の傾斜の平均値ＳＬ／Ｌが所定値ＳＬｏ／Ｌｏ以上であり、かつ焦点評価値の最大値ｍａｘと最小値ｍｉｎの差が所定値以上であるかを調べる。両方の条件を満たすとステップＳ７１０へ進み、そうでなければステップＳ７１１へ進む。

ステップＳ７１０へ進むと、得られた焦点評価値が山状となっていて、被写体の焦点調節が可能であるため、判定結果を○とする。一方、ステップＳ７１１へ進むと、得られた焦点評価値が山状となっておらず、被写体の焦点調節が不可能であるため、判定結果を×とする。

以上のようにして、図４のフローチャートにおけるステップＳ４０４の合焦判定を行う。

次に、図２のステップＳ２０９にて実行される撮影処理のサブルーチンについて、図１０のフローチャートを参照しながら説明する。本実施例１における撮影処理サブルーチンは、連写の実施決定および連写間の焦点調節を含んでいる。

まず、図１０のステップＳ１１００では、それまで表示されていたライブ画表示を停止させる。そして、次のステップＳ１１０１では、撮像素子１０８への露光を行う。撮像素子面上に結像された像は光電変換されてアナログ信号となる。次のステップＳ１１０２では、アナログ信号がＡ／Ｄ変換部１０９へ送られ、撮像素子１０８の出力ノイズ除去や非線形処理などの前処理の後にデジタル信号に変換される。続くステップＳ１１０３では、現在の設定が連写モードであるか否かを判定し、連写モードである場合はステップＳ１１０４へ進み、連写モードでない場合にはステップＳ１１０６へ進む。

連写モードであるとしてステップＳ１１０４へ進むと、スイッチＳＷ２が継続してＯＮされているかを判定し、ＯＮ状態が維持されている場合にはステップＳ１１０５の連写間ＡＦ処理サブルーチンに進む。このステップＳ１１０５の連写間ＡＦ処理については図１１および図１２を用いて別途説明する。次のステップＳ１１０６では、Ａ／Ｄ変換部１０９からの出力信号をＷＢ処理部１１１によりホワイトバランス調整し、画像処理部１１０で適正な出力画像信号とする。

次のステップＳ１１０７では、出力画像信号をフォーマット変換部１１２でＪＰＥＧフォーマット等への画像フォーマット変換を行い、作業用メモリとしてのＤＲＡＭ１１３に一時的に格納する（以下、記憶するとも記す）。なお、ステップＳ１１０６からステップＳ１１０７までの一連の処理を本実施例中では「現像処理」と呼ぶことにする。続くステップＳ１１０８では、メモリとしてのＤＲＡＭ１１３内のデータを画像記録部１１４にてカメラ内のメモリ、またはカメラに装着されたメモリカードなどの外部記録媒体へ保存するため、以下の処理を行う。つまり、他の処理と並列に実施される記録媒体へのデータ書き込み処理(遅延書き込み)を行うための書き込み要求の登録を行う。これにより、記録媒体への保存中にライブ画像の表示などの処理が可能となる。

次のステップＳ１１０９では、ステップＳ１１００で停止させたライブ画像の表示を再開する。ここでいうライブ画像とは、記録媒体へのデータ書き込みを目的としない撮像により得られた画像である。この記録保存を目的としない画像を操作表示部１１７に表示された画像がライブ画像である。こうしたライブ画像の表示により撮影者は連写中であっても撮影画角や撮影被写体を確認しながら撮影を行うことができる。

このように連写モード設定がなされていて、かつ、スイッチＳＷ２がＯＮされている場合には、連写撮影が継続して実施されるようになっている。また、いずれかの条件が成立していなければ単写撮影となる。

次に、図１０のステップＳ１１０５における連写間ＡＦ処理のサブルーチンについて、図１１、図１２、図１３、図１４を用いて説明する。図１１はスキャン範囲の設定を説明するための図であり、図１２および図１３は一連の連写間ＡＦ処理をフローチャートで表現したものである。また、図１４は、図１２および図１３のフローチャートで実現される連写間ＡＦ処理と他の処理が並列に実行される際の実行タイミングを示した図である。

図１２のステップＳ１２０１にて、現像処理を開始する。この現像処理の開始タイミングは、図１４に示した本露光画像信号の読み出し完了直後である。次のステップＳ１２０２では、連写撮影の２駒目であるかどうか調べ、連写２駒目であればステップＳ１２０６へ進み、連写２駒目でなければステップＳ１２０３へ進む。

連写２駒目であるとしてステップＳ１２０６へ進むと、現在位置、すなわち連写１駒目のフォーカスレンズ位置（ＦＰ１）をスキャン範囲中心として設定する（図１１の（２）参照）。スキャン範囲幅は連写間隔時間を延ばさないことを優先し、例えば、連写間隔内にＡＦ動作が終了することが確認済みの一律なスキャン範囲幅を設定する。なお、連写1駒目（１駒目の撮影）では、設定されたモードにおけるＡＦ可能な範囲全域がスキャン範囲に設定される。

連写２駒目でないとしてステップＳ１２０３へ進むと、連写撮影の３駒目であるかどうか調べ、連写３駒目であればステップＳ１２０５へ進み、連写３駒目でなければステップＳ１２０４へ進む。ステップＳ１２０５では、合焦位置履歴情報として連写１駒目、２駒目の２つの合焦位置情報があるので、連写間隔時間は一定であるとして、１次近似により被写体予測を行ってスキャン中心位置ＯｂｊＰ３を式（１）により求める（図１１の（３）参照）。

ＯｂｊＰ３＝ＦＰ２＋（ＦＰ２−ＦＰ１）×ＦｐＡｄｊ３ …………（１）
ＦＰ１：連写１駒目のフォーカスレンズ位置
ＦＰ２：連写２駒目のフォーカスレンズ位置
ＦｐＡｄｊ３：０（前位置）〜１（予測）のパラメータ
また、パラメータＦｐＡｄｊ（ｎ）は、被写体予測結果と直前の合焦位置の重み付け設定のパラメータであり、０〜１の値をとる。図１１のフォーカスレンズ位置では、ＦｐＡｄｊ（ｎ）＝１としている。スキャン範囲幅はステップＳ１２０６と同様に一律なスキャン範囲幅を設定する。

また、連写３駒目でないとしてステップＳ１２０４へ進むと、合焦位置履歴情報として少なくとも直前３回の合焦位置情報があるので、連写間隔時間は一定であるとする。そして、２次近似により被写体予測を行ってスキャン中心位置ＯｂｊＰ４を式（２）により求める（図１１の（４）参照）。

ＯｂｊＰ４＝（ＦＰ１−３・ＦＰ２＋３・ＦＰ１）×ＦｐＡｄｊ４＋ＦＰ３
×（１−ＦｐＡｄj４）
＝（ＦＰ１−３・ＦＰ２＋２・ＦＰ３）×ＦｐＡｄｊ４＋ＦＰ３
…………（２）
ＦＰ３：連写３駒目のフォーカスレンズ位置
同様に、連写ｎ駒目では２次近似によりスキャン中心位置ＯｂｊＰ(ｎ)を式（３）により求める。

ＯｂｊＰ(ｎ)＝{ＦＰ（ｎ−３）−３・ＦＰ（ｎ−２）＋２・ＦＰ（ｎ−１）}
×ＦｐＡｄｊ（ｎ）＋ＦＰ（ｎ−１） …………（３）
スキャン範囲幅はステップＳ１２０６と同様に一律なスキャン範囲幅を設定する。

次にステップＳ１２０７へ進み、フォーカスレンズ１０４をステップＳ１２０４からステップＳ１２０６までのいずれかで設定したスキャン範囲のスキャン開始位置へ移動を開始する。したがって、図１４に示すように、フォーカスレンズ１０４のスキャン開始位置への移動中は現像処理が並行して実施されることになる。

次のステップＳ１２０８では、フォーカスレンズ１０４がスキャン開始位置に到達したか否かを判定し、到達した場合はステップＳ１２０９へ進み、到達していない場合はステップＳ１２０８に戻ってレンズ位置の移動完了を待つ。

次のステップＳ１２０９では、特徴点抽出部１２１による抽出処理が完了しているか否かを判断する。ここで待っている特徴点抽出処理の完了は、図１４に示す連写間ＡＦ（１）であれば、図５のステップＳ６０８で開始したスイッチＳＷ１のＯＮ時のＡＦ動作で開始したものである。また、連写が継続される場合は、連写間ＡＦ動作における後述するステップＳ１２１８で開始したものになる。特徴点抽出部１２１による抽出処理が完了している場合には次のステップＳ１２１０に進み、完了していない場合ステップＳ１２０９に戻り処理の完了を待つ。ステップＳ１２１０では、図４のステップＳ４０２と同様にＡＦエリア設定を行う。

ステップＳ１２１１へ進むと、現像処理の完了を確認し、完了していなければステップＳ１２１１に戻り、現像処理完了を待つ。また、処理が完了している場合には次のステップＳ１２１２を実施する。したがって、レンズのスキャン開始位置への移動完了、ＡＦエリアの設定、現像処理の全てが完了しない限り次の処理には進まない。次のステップＳ１２１２では、ライブ画像の表示を開始する。また、併せてステップＳ１２１３にて焦点評価値の算出を開始する。再開されるライブ画像は図１０のステップＳ１１００で本露光の直前に停止したものである。本露光は、静止画として記録される画像の露光であり、この露光期間と露光された画像データの現像処理中は、ライブ画像を生成することができないため、その表示は中止されている。

次のステップＳ１２１４では、撮影画面内に設定されるＡＦエリアの焦点評価値とフォーカスレンズ１０４の位置をシステム制御部１１５に内蔵される図示しない演算メモリに記憶する。続くステップＳ１２１５では、フォーカスレンズ１０４を駆動して所定の方向へ所定量動かす。そして、ステップＳ１２１６にて、フォーカスレンズ１０４の位置がスキャン終了位置にあるかどうかを調べ、スキャン終了位置であればステップＳ１２１９へ進み、そうでなければステップＳ１２１７へ進む。

ステップＳ１２１７へ進むと、これまでに取得した焦点評価値のサンプル数を調べ、そのサンプル数が所定値Ｎか否かを判定する。Ｎ個のデータが取得済みであればステップＳ１２１８に進み、特徴点抽出を開始する。つまり、特徴点抽出にかかる時間をあらかじめ算出しておき、スキャン範囲内の焦点評価値を取得するための時間と特徴点抽出にかかる時間が重なるようにサンプル数の所定値Ｎを設定し、特徴点抽出の開始タイミングを制御する。

フォーカスレンズ１０４が終了位置に到達後、ステップＳ１２１９では、焦点評価値の算出を停止する。次にステップＳ１２２０へ進むと、上記ステップＳ１２１４で記憶した焦点評価値とそのレンズ位置から焦点評価値のピーク位置を計算して合焦位置を確定する。次のステップＳ１２２１では、上記ステップＳ１２２０で決定した合焦位置にフォーカスレンズ１０４を移動させる。続くステップＳ１２２２では、フォーカスレンズ１０４の位置が合焦位置に到達したか否かを判定し、到達していない場合はステップＳ１２２２に戻ってフォーカスレンズ１０４が合焦位置に到達するまで待つ。到達した場合は連写間ＡＦ（１）の処理を終了する。

ここまでのフローについて、図１４を用いて、各種処理の実施タイミングを中心に説明する。

まず、図１４中の連写間ＡＦ（１）の動作に先立って、連写が継続される条件が成立していると、前回のＡＦ動作（この場合はスイッチＳＷ１のＯＮ直後のＡＦ動作）におけるスキャン動作中のライブ画像をもとに特徴点抽出（図１４における特徴点抽出１）を行う。この抽出処理は時間のかかる処理であるため、前回のＡＦにおけるスキャン動作に加え、１駒目の本露光後に行われる現像処理までの一連の処理と平行して実施される。このとき、同時に被写体予測とスキャン開始位置へのフォーカスレンズ１０４の移動も実施されている。

特徴点抽出の処理が完了すると、その結果が連写間ＡＦ（１）のスキャン動作における焦点評価値算出時のＡＦエリア設定に反映され、撮影画角内で抽出された人の顔の位置で焦点評価値の演算が実施される。また、連写撮影が継続される場合は、図１４の連写間ＡＦ（２）のように、前回の連写間ＡＦ（１）におけるスキャン動作中のライブ画像をもとに特徴点抽出（この場合は図１４における特徴点抽出２）を行い、その結果がスキャン動作に反映されることになる。

以上の実施例１によれば、図１４に示すように、一連の連写撮影動作と並列に、特徴点の抽出動作およびコントラスト検出方式の焦点調節動作を構成する各処理を同期したタイミングで実施することが可能になる。上記各処理とは、前回の合焦位置検出動作となるスキャン動作、合焦位置の算出、今回のスキャン範囲決定、スキャン開始位置への移動の算出である。

よって、連写撮影間という限られた時間内で効率よく特徴点抽出処理の結果をコントラスト検出方式の焦点調節動作に反映することが可能となる。

詳しくは、例えば単写モードが設定されている場合など、比較的時間的制約の少ない状況では、電力消費やライブ画像の見栄え等を考慮し、ライブ画上に表示する被写体検出情報のための特徴点抽出動作を表示に最適な周期で実行する。そして、焦点調節の際には、最後に抽出された情報を元にＡＦエリアを設定することで、特徴点抽出動作と焦点調節動作を非同期に実行させている。

一方、連写モードなど時間的制約の多いモードが設定されている場合には、特徴点抽出動作と焦点調節動作を同期して実行させることで、限られた時間内に特徴点抽出動作の結果を適切なタイミングで焦点調節動作に反映することが可能となる。これにより、設定されているモードの性質にあった特徴点抽出動作と焦点調節動作の実行が可能となる。

なお、本実施例１中では「現像処理」をＡ／Ｄ変換部１０９からの出力信号の読み出しからＪＰＥＧ等の画像フォーマットへの変換までとした。この点、次のようなシステムでもよい。すなわち、例えば、Ａ／Ｄ変換部１０９からの出力信号をＷＢ処理部１１１によりホワイトバランス調整する。そして、画像処理部１１０で適正な出力画像信号を生成するまでを「現像処理」とする。その直後にライブ画用の画像生成が可能な状態となった時点からその生成と表示を開始する。このようにすることで、出力画像信号のＪＰＥＧ等へのフォーマット変換とライブ画表示を並列に実施する構成も考えられる。

以下、図面を参照しながら本発明の実施例２について説明する。本実施例２では、特徴点抽出部１２１による人の顔検出にかかる時間が、現像処理の時間内に終了するようなシステム上での連写間の焦点調節動作について説明する。

本実施例２に係わる撮像装置の回路構成は、図１と同様である。また、図２〜図４で示した基本的な動作および図１０で示した撮影動作ついても、上記実施例１と同様であるため、詳細な説明は省略する。図４のステップＳ４０３のスキャン動作については、図５のステップＳ６０６〜Ｓ６０８の処理をしない以外は共通である。したがって、本実施例２で処理の異なる連写間の焦点調節動作に関して、図１５〜図１８を用いて説明する。なお、図１５〜図１７のフローチャートで示された一連の処理はシステム制御部１１５によって実行される。

まず、図１５のステップＳ１４０１にて現像処理を開始する。この現像処理の開始タイミングは図１８に示した本露光画像信号の読み出し完了直後であり、連写間ＡＦ（１）の処理とは並列に実行される。

ここで、本実施例２における現像処理を実行するステップＳ１４０１の内容を、図１７にて説明する。

まず、ステップＳ１６０５では、撮像素子から読み出された画像データよりＹＵＶ形式のメイン画像データを生成する。次のステップＳ１６０６では、メイン画像とともに保存されるサムネイル画像のＹＵＶ形式のデータを生成する。続くステップＳ１６０７では、上記ステップＳ１６０５で生成されたＹＵＶ形式のメイン画像をＪＰＥＧ形式にエンコードする。同様に、次のステップＳ１６０８では、ＹＵＶ形式のサムネイル画像をＪＰＥＧ形式にエンコードする。前述の処理を実施することで撮像素子から読み出されたデータが記録されるＪＰＥＧ形式のデータへと変換される。

図１５の説明に戻り、次にステップＳ１４０２では、連写の２駒目であるかどうか調べ、連写２駒目であればステップＳ１４０６へ進み、連写２駒目でなければステップＳ１４０３へ進む。以降、ステップＳ１４０４，Ｓ１４０５，Ｓ１４０６で示された連写撮影枚数によって決定される予測処理を伴ったスキャン範囲の決定方法については、上記実施例１の図１２における説明と同様であるため説明を省略する。

次にステップＳ１４０７へ進み、フォーカスレンズ１０４をステップＳ１４０４からステップＳ１４０６までのいすれかで設定したスキャン範囲のスキャン開始位置へ移動を開始する。続くステップＳ１４０８では、現像処理の一部であるＹＵＶ形式のサムネイル画像の生成が完了するのを待つ。図１７のステップＳ１６０６にてＹＵＶ形式のサムネイル画像が生成されている場合には次のステップＳ１４０９に進み、生成が完了していない場合には再びＳ１４０８に戻る。

ステップＳ１４０９へ進むと、生成されたＹＵＶ形式のサムネイル画像を入力値として特徴点抽出部１２１により特徴点抽出処理を開始する。したがって、図１８に示すように、フォーカスレンズ１０４の移動中は特徴点抽出処理と残りの現像処理が並行して実施されることになる。次のステップＳ１４１０では、フォーカスレンズ１０４がスキャン開始位置へ到達したか否かを判定し、到達していない場合は再びステップＳ１４１０へ戻り、レンズの移動完了を待つ。

一方、スキャン開始位置に到達した場合にはステップＳ１４１１へ進み、特徴点抽出部１２１による抽出処理が完了しているか否かを判定する。特徴点抽出部１２１による抽出処理が完了している場合にはステップＳ１４１２へ進み、完了していない場合ステップＳ１４１１に戻り、処理の完了を待つ。ステップＳ１４１２へ進むと、図４のステップＳ４０２と同様に、ＡＦエリアの設定を行う。そして、図１６のステップＳ１４１３にて、現像処理の完了を確認し、完了していなければステップＳ１４１３へ戻り、現像処理完了を待つ。また、処理が完了している場合にはステップＳ１４１４を実施する。したがって、レンズ位置の移動完了、ＡＦエリア設定、現像処理の全てが完了しない限り、次の処理には進まない。

次のステップＳ１４１４では、ライブ画像の表示を開始する。そして、次のステップＳ１４１５にて、焦点評価値の算出を開始する。再開されるライブ画像は図１０のステップＳ１１００で本露光の直前に停止したものである。本露光は、静止画として記録される画像の露光であり、この露光期間と露光された画像データの現像処理中は、ライブ画像を生成することができないため、その表示は中止されている。

次のステップＳ１４１６では、撮影画面内に設定されるＡＦエリアの焦点評価値とフォーカスレンズ１０４の位置をシステム制御部１１５に内蔵される図示しない演算メモリに記憶する。続くステップＳ１４１７では、フォーカスレンズ１０４を駆動して所定の方向へ所定量動かす。そして、ステップＳ１４１８にて、フォーカスレンズ１０４の位置がスキャン終了位置にあるかどうかを調べ、スキャン終了位置であればステップＳ１４１９へ進み、そうでなければステップＳ１４１６へ戻ってスキャン動作を継続する。

ステップＳ１４１９へ進むと、上記ステップＳ１４１６で記憶した焦点評価値とそのレンズ位置から、焦点評価値のピーク位置を計算して合焦位置を確定する。次のステップＳ１４２０では、上記ステップＳ１４１９で決定した合焦位置にフォーカスレンズ１０４を移動させる。続くステップＳ１４２１では、フォーカスレンズ１０４の位置が合焦位置に到達したか否かを判定し、到達した場合はステップＳ１４２２へ進み、到達していない場合はステップＳ１４２１に戻ってフォーカスレンズ１０４が撮影位置に到達するまで待つ。次のステップＳ１４２２では、焦点評価値の算出を停止する。

ここまでのフローについて、図１８を用いて、各種処理の実施タイミングを中心に説明する。

まず、図１８中の連写間ＡＦ（１）の動作では、前回の本露光時（１駒目）に得られた画像データの現像処理中に生成されるＹＵＶ形式サムネイル画像生成にあわせて、特徴点抽出（図１８における特徴点抽出１）を開始する。そして、他の現像処理と平行して特徴点抽出処理を実施する。このとき、同時に被写体予測とスキャン開始位置へのフォーカスレンズ１０４の移動も実施されている。現像処理、特徴点抽出、スキャン開始位置への移動が完了すると、特徴点抽出の結果が連写間ＡＦ（１）のスキャン動作における焦点評価値算出時のＡＦエリア設定に反映され、撮影画角内で抽出された人の顔の位置で焦点評価値の演算が実施される。また、連写撮影が継続される場合は、図１８の連写間ＡＦ（２）のように、前回の本露光時（２駒目）に得られる画像データをもとに特徴点抽出（この場合は図１８における特徴点抽出２）を行う。そして、その結果がスキャン動作に反映されることになる。

以上の実施例２によれば、図１８に示すように、一連の連写撮影動作と並列に、特徴点の抽出動作およびコントラスト検出方式の焦点調節動作を構成する各処理を同期したタイミングで実施することが可能になる。上記の各処理とは、スキャン範囲決定、スキャン開始位置への移動である。

上記の実施例１及び２によれば、連写間のコントラスト検出方式による焦点調節を実現しつつ、平行して特徴点の抽出処理を実施し、その結果を反映することが可能となる。そのため、連写間隔を維持しながら連写中であっても人の顔にピントの合った良好な画像を得ることが可能となる。

本発明の実施例１および２に係わる撮像装置の回路構成を示すブロック図である。本発明の実施例１および２に係わる撮像装置の一連の動作を示すフローチャートである。図２におけるライブ画表示のサブルーチンのフローチャートである。図２におけるＡＦ動作のサブルーチンのフローチャートである。図４におけるスキャン動作のサブルーチンのフローチャートである。本実施例１および２に係わる焦点評価値の判定の概念を説明するための図である。図４における合焦判定のサブルーチンのフローチャートである。図７における無限遠方向の単調減少を求める動作のフローチャートである。図７における至近端方向の単調減少を求める動作のフローチャートである。図２における撮影処理のサブルーチンのフローチャートである。本発明の実施例１に係わる連写間ＡＦのスキャン範囲設定についての説明図である。本発明の実施例１に係わる連写間ＡＦ処理を示したフローチャートである。図１２の動作の続を示すフローチャートである。本発明の実施例１に係わる連写間ＡＦ処理の実行タイミングを示す説明図である。本発明の実施例２に係わる連写間ＡＦ処理Ａを示したフローチャートである。図１５の動作の続を示すフローチャートである。本発明の実施例２に係わる現像処理を示す説明図である。本発明の実施例２に係わる連写間ＡＦ処理の実行タイミングを示す説明図である。

符号の説明

１０１撮影レンズ
１０２絞り及びシャッター
１０３ＡＥ処理部
１０４フォーカスレンズ
１０５ＡＦ処理部
１０６ストロボ
１０７ＥＦ処理部
１０８撮像素子
１１０画像処理部
１１３ＤＲＡＭ
１１４画像記録部
１１５システム制御部
１１７操作表示部
１１８操作部
１１９撮影モードスイッチ
１２０ドライブモードスイッチ
１２１特徴点抽出部

Claims

撮像画像データから被写体の特徴点を抽出する抽出手段と、
記録保存のための撮像に先立って、前記特徴点に基づいて決定される走査領域でのフォーカスレンズの光軸方向の走査により合焦位置を検出し、該合焦位置への前記フォーカスレンズの移動を制御する焦点調節手段と、
記録保存のための撮像を複数回繰り返す連続撮像モードでは、前記焦点調節手段と前記抽出手段とを同期をとって動作させる動作タイミング制御手段とを有することを特徴とする撮像装置。
前記動作タイミング制御手段は、前記連続撮像モード以外では、前記焦点調節手段と前記抽出手段とを非同期に動作させることを特徴とする請求項１に記載の撮像装置。
前記動作タイミング制御手段は、前記焦点調節手段による前回の合焦位置検出動作と平行して前記抽出手段を動作させ、得られた特徴点情報を次の合焦位置検出動作にて使用するように、前記焦点調節手段と前記抽出手段の動作タイミングを制御することを特徴とする請求項１または２に記載の撮像装置。
前記動作タイミング制御手段は、本露光後に行われる現像処理と平行して前記抽出手段を動作させ、得られた特徴点情報を次の合焦位置検出動作にて使用するように、前記焦点調節手段と前記抽出手段の動作タイミングを制御することを特徴とする請求項１または２に記載の撮像装置。