JP2008092083A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】本発明は、一時的に主被写体が検出できなくとも焦点検出エリアを示す表示を見やすくすることができ、主被写体に対して的確にオートフォーカスを行うことができる撮像装置を提供する。
【解決手段】顔検出回路１０５で検出された顔に焦点検出枠２０１を設定してＡＦ動作を実行している際に顔が検出されなかったときは、顔位置情報がＲＡＭ１１１に記憶されてから所定の時間が経過し、撮影開始から一度も顔検出がされていないかを判定する。そして、顔位置情報がＲＡＭ１１１に記憶されてから所定の時間が経過し、且つ撮影開始から少なくとも１度顔検出されている場合、顔枠表示を行わず、ＲＡＭ１１１に記憶された顔位置情報に基づいて焦点検出枠２０１を設定してＡＦ動作を行う。
【選択図】図４

Description

本発明は、デジタルカメラ等の撮像装置及びその制御方法に関する。

デジタルカメラ等の撮像装置では、液晶モニタ等で被写体の動きを観察するために画像データと共に主被写体の検出結果を連続的に表示する場合、主被写体の動きに合わせて主被写体の検出結果を更新することが望まれる。そこで、周期的に行われる主被写体の検出による検出結果を随時更新し、最新の主被写体が検出された領域を常に表示する処理が行われる。つまり、主被写体が検出された場合、その検出された領域に、主被写体が検出されたことを示す枠が被写体の画像に重畳させて表示される。主被写体の検出方法としては、例えば、両目や鼻や口などの顔の器官の配置に基づいて人物の正面顔や斜め顔を検出する方法が提案されている（例えば、特許文献１参照）。
特開２００２−２５１３８０号公報

しかしながら、上記主被写体の検出方法では、主被写体である人物が瞬きして目を閉じたり、不意に余所見をして顔が横向きになった場合、検出対象である両目を認識できなくなり、主被写体の検出ができなくなる。その結果、被写体が場所を移動していないにもかかわらず、検出された領域を示す枠が一時的に消えることとなる。

また、顔が検出されていないことから顔に合わせたオートフォーカス動作を行うことが困難である。

本発明は、一時的に主被写体が検出できなくとも焦点検出エリアを示す表示を見やすくすることができ、主被写体に対して的確にオートフォーカスを行うことができる撮像装置及びその制御方法を提供することを目的とする。

上記目的を達成するために、請求項１記載の撮像装置は、撮像手段を備える撮像装置において、被写体の顔検出を行う顔検出手段と、前記撮像手段により撮像された画像を逐次表示すると共に、当該画像上で前記顔検出手段により被写体の顔が検出された領域を示す顔枠を表示する表示手段と、表示されている顔枠に基づいて前記撮像手段を被写体に自動合焦させる合焦手段とを備え、前記合焦手段は、前記顔検出手段により被写体の顔が検出されなくなったときでも、前記表示手段に表示されていた顔枠を表示させると共に、当該顔枠に基づいて自動合焦させることを特徴とする。

上記目的を達成するために、請求項４記載の撮像装置の制御方法は、撮像手段を備える撮像装置の制御方法において、被写体の顔検出を行う顔検出ステップと、前記撮像手段により撮像された画像を逐次表示すると共に、当該画像上で前記顔検出ステップにより被写体の顔が検出された領域を示す顔枠を表示手段に表示する表示ステップと、表示されている顔枠に基づいて前記撮像手段を被写体に自動合焦させる合焦ステップとを備え、前記合焦ステップは、前記顔検出ステップにより被写体の顔が検出されなくなったときでも、前記表示手段に表示されていた顔枠を表示させると共に、当該顔枠に基づいて自動合焦させることを特徴とする。

本発明によれば、一時的に主被写体が検出できなくとも焦点検出エリアを示す表示を見やすくすることができ、主被写体に対して的確にオートフォーカスを行うことができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。

図１は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。

図１において、撮像装置１００は、例えば、デジタルカメラ等であり、撮像レンズ１０１と、フォーカスレンズ１０２と、撮像素子１０３と、Ａ／Ｄ変換器１０４と、顔検出回路１０５と、信号処理回路１０６と、画像メモリ１０７とを備える。また、撮像装置１００は、記録媒体１０９と、フォーカス駆動回路１１０と、ＲＡＭ１１１と、表示回路１１２と、表示装置１１３と、ＳＷ１＿１１４とＳＷ２＿１１５と、システム制御部１１６と、ＲＯＭ１１７と、ＡＦ評価値演算回路１１８とを備える。

フォーカスレンズ１０２は、その位置が変更されることによりフォーカスが調節される。撮像素子１０３は、撮像レンズ１０１を通過した被写体像の光束を光電変換して電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等から成る。Ａ／Ｄ変換器１０４は、撮像素子１０３から出力されたアナログ信号にクランプ処理、ゲイン処理等を行いデジタル信号に変換する。

顔検出回路１０５は、撮像された画像データから人物の顔の目、口等のエッジから顔の特徴部を検出し、該画像データ上の人物の顔が占める領域を検出する顔検出処理を実行する。顔検出処理は、顔検出回路１０５により所定の周期で繰り返し実行される。顔検出回路１０５は、顔が検出されたときに顔位置情報を含む顔情報を生成してＲＡＭ１１１に記憶する。顔情報は、例えば、画像データにおける各顔の位置（中心位置）を示す座標、大きさ、信頼度などである。ＲＡＭ１１１に記憶される顔情報は、上記所定の周期で更新される。

信号処理回路１０６は、顔検出回路１０５からのデータ或いはシステム制御部１１６からのデータに対して所定の画素補間処理や色変換処理を行う。また、信号処理回路１０６は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてオートホワイトバランス処理等の信号処理を行う。

信号処理された画像信号は、画像メモリ１０７、システム制御部１１６を介して或いは直接記録回路１０８を介して、取り外し可能な記録媒体１０９に記録されたり、表示回路１１２に送られて表示装置１１３で画像表示されたりする。

システム制御部１１６は、フォーカス駆動回路１１０に対する制御を行う。オートフォーカス動作については後述する。

システム制御部１１６に接続されたＲＡＭ１１１には、表示装置１１３に表示するデータが記憶されている。このデータは表示回路１１２を介してＬＣＤ（Liquid Crystal Display）等の表示装置１１３に表示される。

画像メモリ１０７は、撮像された静止画象や動画像が記憶されるメモリである。画像メモリ１０７は所定枚数の静止画像や所定時間分の動画像を記憶するのに十分な記憶容量を有し、画像メモリ１０７に対して高速にアクセスが可能である。これにより、複数枚の静止画像を連続して撮像する連写撮影や複数の撮像画像を合成するパノラマ撮影を行う場合であっても、画像メモリ１０７に対して静止画像や動画像を記憶することができる。また、この画像メモリ１０７は、システム制御部１１６の作業領域としても使用され得る。

表示装置１１３は、撮像された画像データを逐次表示することにより、電子ファインダ機能を実現する。また、表示装置１１３は、システム制御部１１６でのプログラムの実行に応じて任意に表示がオン／オフされる。さらに、表示装置１１３は、顔検出状態表示、焦点検出枠表示、合焦表示、非合焦の警告表示なども行う。

記録回路１０８は、メモリカードやハードディスク等から成る記録媒体１０９のインタフェースである。この記録回路１０８を用いて、画像データや画像データに付属した管理情報を転送し合うことができる。システム制御部１１６は撮像装置１００全体の動作を制御している。システム制御部１１６に接続されたＲＡＭ１１１やＲＯＭ１１７には、システム制御部１１６の動作用の定数、変数、プログラム等が記憶されている。

次に、図１〜図３を参照してオートフォーカス（ＡＦ）動作について説明する。

図２は、オートフォーカス動作時に設定される焦点検出枠の一例を示す図である。図３は、オートフォーカス評価値の一例を示す図である。

オートフォーカス動作はシステム制御部１１６により制御される。フォーカス駆動回路１１０により所定の駆動レートでフォーカスレンズ１０２が駆動され、フォーカスレンズ１０２の各位置で撮像された画像の画像信号を用いて画像のコントラストに応じた信号をＡＦ評価値演算回路１１８が演算する。この演算は、図２に示すように、システム制御部１１８により設定された焦点検出枠２０１について行われる。

コントラストに応じた信号（ＡＦ評価値）の演算は次の様に行われる。ＡＦ評価値演算回路１１８は、焦点検出枠内の画像データの各ラインに水平方向のバンドパスフィルタを適用する。次に、ＡＦ評価値演算回路１１８は、ライン毎にバンドパス出力信号の絶対値の最も大きいものを選択する。そして、ＡＦ評価値演算回路１１８は、選択した信号を垂直方向に積分する。この一連の演算動作により、水平方向のコントラストの大きいものが検出され、垂直方向に積分することで信号のＳ／Ｎが向上される。

以上のように構成することで、合焦状態で最も値が大きくなり、非合焦状態にすると値が小さくなるような信号を得ることが可能である。

焦点検出枠２０１は、システム制御部１１６により、後述する顔位置や表示されている顔枠などの任意の位置に設定される。焦点検出範囲は、撮影レンズが合焦できる近端から無限位置までに設定される。また、焦点検出範囲として、マクロモードでは主として近側から１ｍの範囲が設定されたり、遠景を撮影するモードでは無限に近い範囲が設定されてもよい。

図３に示すように、上記信号の極大値位置で撮影を行うことで合焦した画像を得ることができる。合焦位置を高速で正確に決定するためには、まずフォーカスレンズ駆動回路１１０が荒いステップに対応した駆動レートでフォーカスレンズ１０２を駆動し、システム制御部１１６が荒いステップ間隔でＡＦ評価値を取得する。次に、ＡＦ評価値が極大となる焦点検出範囲の付近をさらに細かいステップに対応した駆動レートでフォーカスレンズ１０２が駆動され、システム制御部１１６が細かいステップ間隔でＡＦ評価値を取得する。細かいステップ間隔で取得されたＡＦ評価値の極大位置を合焦位置に決定する。

また、近側を細かいステップ間隔、遠側を荒いステップ間隔でフォーカスレンズ１０２を駆動して得られたＡＦ評価値の極大値位置を合焦位置としてもよい。

合焦位置が決定された後、その合焦位置にフォーカスレンズ１０２を駆動するようにフォーカス駆動回路１１０が動作する。細かいステップでの合焦動作が必要な場合には、再びフォーカスレンズ駆動回路１１０が細かいステップに対応した駆動レートでフォーカスレンズ１０２を駆動し、ＡＦ評価値が演算された後に合焦位置が決定される。電子ファインダ機能による画像表示中またはＳＷ１＿１１４が操作されたときにオートフォーカス動作が行われ、ＳＷ２＿１１５が操作されたときに撮像及び画像の記録が行われる。

次に、図１の撮像装置における電子ファインダ機能による画像表示中のフォーカス動作について図４を参照して説明する。

図４は、電子ファインダ機能による画像表示中の撮像時のフォーカス動作の流れを示すフローチャートである。

図４において、まず、システム制御部１１６は、撮像された画像データを取得し（ステップＳ４０１）、取得した画像データに対して顔検出回路１０５による顔検出を行わせ、顔が検出されたか否かを判別する（ステップＳ４０２）。

ステップＳ４０２の判別の結果、顔が検出された場合は、システム制御部１１６は顔検出回路１０６から得られた顔位置情報をＲＡＭ１１１に記憶し、顔検出回路１０６により検出された顔の位置に顔枠を付けて表示装置１１３に表示する（ステップＳ４０３）。次に、顔検出ＡＦ処理を行い（ステップＳ４０４）、ステップＳ４０５へ進む。顔検出ＡＦ処理は、上述したように顔検出回路１０５で検出された顔に焦点検出枠２０１を設定してＡＦ動作を行う処理である。

一方、ステップＳ４０２の判別の結果、顔が検出されなかった場合は、システム制御部１１６は顔枠表示条件に合致したか否かを判別する（ステップＳ４０６）。ここでは、ステップＳ４０３で顔位置情報がＲＡＭ１１１に記憶されてから所定の時間が経過したか否かを判定する。この所定の時間は、予め決められた時間である。ステップＳ４０６の判別の結果、顔枠表示条件に合致している、即ち顔位置情報がＲＡＭ１１１に記憶されてから所定の時間経過していない場合は、ステップＳ４０７へ進む。

ステップＳ４０７では、システム制御部１１６が顔枠表示を行う。ここでは、システム制御部１１６は、顔検出回路１０６により顔が検出されていないことから、ＲＡＭ１１１に記憶された顔位置情報に基づいて顔枠を設定して表示装置１１３に表示する。顔位置情報から顔位置が画面の中央にある場合は比較的長い時間顔枠を表示し、画面端のある場合は短時間で顔枠の表示を停止する。なお、顔位置だけでなく顔の大きさに応じて顔枠表示条件を変えるなどしてもよい。

次に、顔枠ＡＦ処理を行い（ステップＳ４０８）、ステップＳ４０５へ進む。顔枠ＡＦ処理は、上述した顔検出ＡＦ処理とは異なり、ＲＡＭ１１１に記憶された顔位置情報に基づいて顔枠を表示し、顔に焦点検出枠２０１を設定してＡＦ動作を行う処理である。また、顔位置に対して焦点検出枠２０１の大きさを広げたり、焦点検出枠２０１を移動させたりして合焦精度を高めることもできる。

一方、ステップＳ４０６の判別の結果、顔枠表示条件に合致しない、すなわち顔位置情報がＲＡＭ１１１に記憶されてから所定の時間が経過していた場合、さらに顔参照ＡＦ条件に合致したか否かを判別する（ステップＳ４０９）。ここでは、ステップＳ４０３で顔位置情報がＲＡＭ１１１に記憶されてから所定の時間が経過し、撮影開始から一度も顔検出がされていないかを判定する。

ステップＳ４０９の判別の結果、顔参照ＡＦ条件に合致している、即ち顔位置情報がＲＡＭ１１１に記憶されてから所定の時間が経過し、且つ撮影開始から少なくとも１度顔検出されている場合、システム制御部１１６は顔枠表示を行わずに顔情報参照ＡＦ処理を行い（ステップＳ４１０）、ステップＳ４０５へ進む。顔情報参照ＡＦ処理は、上述した顔枠ＡＦ処理とは異なり、顔枠表示を行わずに、ＲＡＭ１１１に記憶された顔位置情報に基づいて焦点検出枠２０１を設定してＡＦ動作を行う処理である。

一方、ステップＳ４０９の判別の結果、顔参照ＡＦ条件に合致しない、即ち顔位置情報がＲＡＭ１１１に記憶されてから所定の時間が経過し、且つ撮影開始から１度も顔検出されていない場合は、顔情報を参照しない通常のＡＦ処理（非顔ＡＦ）を行い（ステップＳ４１１）、ステップＳ４０５へ進む。

ステップＳ４０５では、撮影が終了したか否かを判別し、終了していないときは、ステップＳ４０１へ戻って上述の処理を繰り返す一方、終了したときは撮像処理を終了する。

次に、ＳＷ１＿１１４の押下後の動作について説明する。

ＳＷ１＿１１４の押下後は、撮影画像取得のためのＡＦ動作が行われるが、上述した電子ファインダ機能による画像表示中の動作と同様のフローの処理を行うため詳細な説明を省略する。ＳＷ１＿１１４が押下された後は、電子ファインダ表示機能を停止してオートフォーカス動作を行うなどオートフォーカス動作を優先的に行うため、フォーカスレンズ駆動中に取得された画像から顔検出を行うことも可能である。また、フォーカスレンズ駆動中に取得された画像から顔検出された場合には、焦点検出枠２０１を設定し直すなどしてもよい。

上記実施の形態によれば、顔検出回路１０５で検出された顔に焦点検出枠２０１を設定してＡＦ動作を実行中に顔が検出されなかったときは、顔位置情報がＲＡＭ１１１に記憶されてから所定時間が経過し、撮影開始から一度も顔検出がされていないかを判定する。そして、顔位置情報がＲＡＭ１１１に記憶されてから所定の時間が経過し、且つ撮影開始から少なくとも１度顔検出されている場合、顔枠表示を行わず、ＲＡＭ１１１に記憶された顔位置情報に基づいて焦点検出枠２０１を設定してＡＦ動作を行う。これにより、得られた画像データから主被写体を自動的に検出して焦点検出エリアを表示し、この焦点検出エリアに対して焦点調節動作を行わせる撮像装置において、一時的に主被写体が検出できなくとも焦点検出エリアを示す表示を見やすくすることができる。また、主被写体に対して的確にオートフォーカスを行うことができる。

なお、上記実施の形態では、本発明をデジタルカメラ等の撮像装置に適用した形態について説明したが、動画撮影が可能なデジタルビデオカメラに本発明が適用可能であることは云うまでもない。また、本発明がオートフォーカス装置に適用されてもよい。

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に記憶されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

本発明の実施の形態に係る撮像装置が適用された撮像装置の構成を示すブロック図である。 オートフォーカス動作時に設定される焦点検出枠の一例を示す図である。 オートフォーカス評価値の一例を示す図である。 電子ファインダ機能による画像表示中の撮像時のフォーカス動作の流れを示すフローチャートである。

符号の説明

１００ 撮像装置
１０１ 撮影レンズ
１０２ フォーカスレンズ
１０３ 撮像素子
１０５ 顔検出回路
１０６ 信号処理回路
１１０ フォーカス駆動回路
１１１ ＲＡＭ
１１３ 表示装置
１１４ ＳＷ１
１１５ ＳＷ２
１１６ システム制御部
１１８ ＡＦ評価値演算回路
２０１ 焦点検出枠

Claims (6)

1. 撮像手段を備える撮像装置において、
   被写体の顔検出を行う顔検出手段と、
   前記撮像手段により撮像された画像を逐次表示すると共に、当該画像上で前記顔検出手段により被写体の顔が検出された領域を示す顔枠を表示する表示手段と、
   表示されている顔枠に基づいて前記撮像手段を被写体に自動合焦させる合焦手段とを備え、
   前記合焦手段は、前記顔検出手段により被写体の顔が検出されなくなったときでも、前記表示手段に表示されていた顔枠を表示させると共に、当該顔枠に基づいて自動合焦させることを特徴とする撮像装置。
2. 前記顔検出手段は、被写体の顔を検出すると顔位置情報を生成して記憶手段に記憶し、前記合焦手段は、前記顔検出手段により被写体の顔が検出されなくなった場合、前記記憶された顔位置情報に基づいて被写体に自動合焦させることを特徴とする請求項１記載の撮像装置。
3. 前記合焦手段は、前記顔位置情報が前記記憶手段に記憶されてから予め決められた時間よりも長い時間が経過した場合、前記表示手段に前記顔枠を表示させることなく、前記記憶された顔位置情報に基づいて自動合焦させることを特徴とする請求項２記載の撮像装置。
4. 撮像手段を備える撮像装置の制御方法において、
   被写体の顔検出を行う顔検出ステップと、
   前記撮像手段により撮像された画像を逐次表示すると共に、当該画像上で前記顔検出ステップにより被写体の顔が検出された領域を示す顔枠を表示手段に表示する表示ステップと、
   表示されている顔枠に基づいて前記撮像手段を被写体に自動合焦させる合焦ステップとを備え、
   前記合焦ステップは、前記顔検出ステップにより被写体の顔が検出されなくなったときでも、前記表示手段に表示されていた顔枠を表示させると共に、当該顔枠に基づいて自動合焦させることを特徴とする制御方法。
5. 前記顔検出ステップは、被写体の顔を検出すると顔位置情報を生成して記憶手段に記憶し、前記合焦ステップは、前記顔検出ステップにて被写体の顔が検出されなくなった場合、前記記憶された顔位置情報に基づいて被写体に自動合焦させることを特徴とする請求項４記載の制御方法。
6. 前記合焦ステップは、前記顔位置情報が前記記憶手段に記憶されてから長い時間が経過した場合、前記表示手段に前記顔枠を表示させることなく、前記記憶された顔位置情報に基づいて自動合焦させることを特徴とする請求項５記載の制御方法。

Images