JP2008028956A - 撮像装置、および、撮像装置における対象物検出用画像信号の生成方法 - Google Patents

Abstract

【課題】撮像装置が行う対象物検出処理を、検出精度の劣化を伴うことなく高速化する。
【解決手段】撮像装置の撮像光学系が被写体の像を結像させる結像面に生じた被写体の像をデジタル変換して得られた原画像信号に対して所定の第１の信号処理を行い、撮像装置の記録手段への記録用および／または撮像装置の表示手段への表示用の第１の画像信号を生成する第１の信号処理手段１０３と、原画像信号に対して所定の第２の信号処理を行い、被写体中の所定の対象物を検出するための第２の画像信号を生成する第２の信号処理手段１０１と、第２の画像信号を入力として、被写体中の所定の対象物を検出する対象物検出手段１０２と、対象物検出手段による対象物の検出結果に応じて撮像装置の動作を制御する制御手段とを設け、前記の第２の信号処理が前記の第１の信号処理とは異なるようにした。
【選択図】図５

Description

本発明は、撮像された画像から所定の対象物を検出し、その検出結果に応じて撮像条件等を制御する撮像装置に関するものであり、特に、所定の対象物を検出するための画像を生成する処理に関するものである。

デジタルカメラによる人物撮影を、より手軽に、失敗なく行うために、人物の顔を検出する機能を有するデジタルカメラが提案されている。

具体的には、撮影画像（表示用画像、スルー画）中の顔領域を検出し、その顔領域の大きさが所定値以上の場合にその顔を含む領域をＡＦエリアとして、コントラスト検出方式による焦点評価値の算出を行ったり、検出された顔領域をＡＥエリアとして露出の設定を行ったり、検出された顔領域が所定の大きさとなるように撮影画角の設定（ズーミング）を行ったり、顔領域が検出された場合には人物撮影モードに設定したり、検出された顔領域を基準にホワイトバランスの調整を行ったりすることが提案されている（例えば、特許文献１）。
特開２００４−３２０２８６号公報

このようにデジタルカメラに顔検出機能を持たせ、検出結果を利用してカメラを制御するためには、顔検出処理をリアルタイムで行う必要がある。

しかしながら、高精度な顔検出をリアルタイムで行うことは、処理速度の問題から困難である。そのため、リアルタイム処理のためには顔検出処理の高速化が必要であるが、顔検出処理の高速化は顔検出精度の劣化につながる。

本発明は、上記事情を鑑みてなされたものであり、撮像された画像から所定の対象物を検出し、その検出結果に応じて撮像条件等を制御する撮像装置において、対象物の検出精度の劣化を伴うことなく検出処理の高速化を実現する撮像装置、特に、対象物を検出するための画像信号の生成方法を提供することを目的とする。

本発明の撮像装置は、撮像光学系と、撮像光学系が被写体の像を結像させる結像面を構成する撮像素子と、結像面に生じた被写体の像をデジタル変換して原画像信号を得る変換手段とを備えた撮像装置において、原画像信号に対して所定の第１の信号処理を行い、撮像装置の記録手段に記録するための、および／または、撮像装置の表示手段に表示するための第１の画像信号を生成する第１の信号処理手段と、原画像信号に対して、第１の信号処理とは異なる第２の信号処理を行い、被写体中の所定の対象物を検出するための第２の画像信号を生成する第２の信号処理手段と、第２の画像信号を入力として、被写体中の所定の対象物を検出する対象物検出手段と、対象物検出手段による対象物の検出結果に応じて撮像装置の動作を制御する制御手段とを設けたことを特徴とする。

本発明の撮像装置における対象物を検出するための画像信号の生成方法は、被写体からの光が撮像装置の撮像光学系を通過して撮像素子からなる結像面上に結像することによって結像面に生じた被写体の像をデジタル変換して得られる原画像信号に対して所定の信号処理を行い、この信号処理後の画像信号を入力として、被写体中の所定の対象物を検出し、対象物の検出結果に応じて撮像装置の動作を制御する撮像装置における、対象物を検出するための画像信号の生成方法であって、対象物を検出するための信号処理が、撮像装置の記録手段に記録するための、および／または、撮像装置の表示手段に表示するための信号処理とは異なる処理であることを特徴とするものである。

ここで、第１の信号処理と第２の信号処理は、複数の信号処理を組み合わせたものであることが考えられ、第１、第２の信号処理を構成する個々の信号処理のすべてが異なる処理である必要はなく、第１、第２の信号処理に共通の処理と、第１、第２の信号処理とで異なる処理とから構成されていてもよい。

また、第２の信号処理が、第１の信号処理に含まれる信号処理のうち少なくとも１つ以上を含まないようにすることが好ましい。

特に、第２の信号処理が、第１の信号処理に含まれる同時化処理を含まないようにすることが好ましい。ここで、同時化処理とは、色信号、例えばＲＧＢ信号の補間処理のことである。例えば、ＣＣＤ−ＲＡＷ画像から色補間を行い、ＲＧＢ信号を生成する。

また、第１、第２の信号処理に共通の処理については、同一の回路を共有するようにすることが好ましい。

第２の信号処理を構成する個々の処理の具体例としては、前記原画像信号から所定の色信号を得る処理、例えば、特定の色信号のみを抽出したり、各色信号の平均値を算出したりする処理や、被写体の像を縮小する処理、規格化されたサイズに合わせる処理等が挙げられる。

所定の対象物の具体例としては、人物の顔が挙げられる。

制御手段の具体例としては、検出結果に応じて、コントラスト検出方式によるオートフォーカス制御のためのＡＦエリアを設定したり、露出補正のためのＡＥエリアを設定したり、ズーミングを行ったり、人物、風景等の撮影モードを設定したり、ホワイトバランスの調整の基準となる領域を設定したり、顔検出結果に基づいて階調補正を行ったり、検出された対象物の領域を表示用画像にマーキングしたり、検出結果を記録用画像に関連づけて記録したりする制御が挙げられる。

本発明の撮像装置、および、撮像装置において所定の対象物を検出するための画像信号の生成方法によれば、対象物を検出するための画像信号を、記録・表示のための画像を生成するための第１の信号処理とは異なる第２の信号処理によって生成するので、記録・表示のための画像とは異なる対象物検出処理に特化した画像を生成することが可能になり、対象物の検出精度の劣化を伴うことなく、検出処理の高速化が実現される。

特に、第２の信号処理が第１の信号処理に含まれる信号処理のうち少なくとも１つ以上を含まないようにすれば、第２の信号処理および対象物検出処理の全体での高速化が実現されるだけでなく、信号処理回路の削減によるコストダウンも可能になる。

また、第２の信号処理が第１の信号処理に含まれる同時化処理を含まないようにしたり、第２の信号処理として、原画像信号から所定の色信号を得る処理を含むようにしたり、被写体の像を縮小する処理を含むようにしたりすれば、第２の信号処理および対象物検出処理の全体での高速化にさらに効果的である。

また、第２の信号処理として、被写体の像を規格化されたサイズに合わせる処理を含むようにすれば、顔検出処理回路の削減に資するだけでなく、顔検出処理のＩＰ化(Intellectual Property）、すなわち、ＬＳＩを開発する度に再設計する必要が無くなることによる開発リソースの低減にも資する。

また、第１、第２の信号処理に共通の処理については、同一の回路を共有するようにすれば、信号処理回路の削減によるコストダウンが図られる。

以下、図面を参照して本発明の実施の形態となる顔検出機能付きデジタルスチルカメラについて説明する。なお、本発明の適用範囲はデジタルスチルカメラに限定されず、例えば、デジタルビデオカメラ、デジタルカメラ付き携帯電話、デジタルカメラ付きＰＤＡ等、電子撮像機能を備えた他の電子機器に対しても適用可能である。

図１および２は、デジタルカメラの一例を示すものであり、それぞれ背面側および前面側から見た外観図である。図１に示すように、デジタルカメラ１の本体１０の背面には、撮影者による操作のためのインターフェースとして、動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下レバー１３、左右ボタン１４、Ｂａｃｋ（戻る）ボタン１５、表示切替ボタン１６が設けられ、さらに撮影のためのファインダ１７および撮影並びに再生のためのモニタ１８が設けられている。また本体１０の上面には、シャッタボタン１９が設けられている。

動作モードスイッチ１１は、静止画撮影モード、動画撮影モード、再生モードの各動作モードを切り替えるためのスライドスイッチである。

メニュー／ＯＫボタン１２は、押下される毎に撮影モード、フラッシュ発光モード、記録画素数や感度等の設定を行うための各種メニューをモニタ１８に表示させたり、モニタ１８に表示されたメニューに基づく選択・設定を行ったりするためのボタンである。

ズーム／上下レバー１３は、上下方向に倒すことによって、撮影時には望遠／広角の調整が行われ、各種設定時にはモニタ１８に表示されるメニュー画面中のカーソルが上下に移動して表示される。

左右ボタン１４は、各種設定時にモニタ１８に表示されるメニュー画面中のカーソルを左右に移動して表示させるためのボタンである。

Ｂａｃｋ（戻る）ボタン１５は、押下されることによって各種設定操作を中止し、モニタ１８に１つ前の画面を表示するためのボタンである。

表示切替ボタン１６は、押下することによってモニタ１８の表示のＯＮ／ＯＦＦ、各種ガイド表示、文字表示のＯＮ／ＯＦＦ等を切り替えるためのボタンである。

以上説明した各ボタンおよびレバーの操作によって設定された内容は、モニタ１８中の表示や、ファインダ１７内のランプ、スライドレバーの位置等によって確認可能となっている。

また、ファインダ１７は、ユーザが被写体を撮影する際に構図やピントを合わせるために覗くためのものである。ファインダ１７から見える被写体像は、本体１０の前面にあるファインダ窓２３を介して映し出される。

モニタ１８には、撮影の際に被写体確認用のスルー画が表示される。これにより、モニタ１８は電子ビューファインダとして機能する他、撮影後の静止画や動画の再生表示、各種設定メニューの表示を行う。

シャッタボタン１９は、半押しと全押しの２段階の状態変化があり、半押しは、本撮影の撮影条件設定処理のトリガとなり、全押しは、本撮影の実行のトリガとなる。

さらに、図２に示すように、本体１０の前面には、撮影レンズ（撮像光学系）２０、レンズカバー２１、電源スイッチ２２、ファインダ窓２３、フラッシュライト２４およびセルフタイマーランプ２５が設けられ、側面にはメディアスロット２６が設けられている。

撮影レンズ２０は、被写体像を所定の結像面上（本体１０内部にあるＣＣＤ）に結像させるためのものであり、フォーカスレンズやズームレンズ等によって構成される。

レンズカバー２１は、デジタルカメラ１の電源がオフ状態の時、再生モードであるとき等に撮影レンズ２０の表面を覆い、汚れやゴミ等から撮影レンズ２０を保護するものである。

電源スイッチ２２は、デジタルカメラ１の電源のオン／オフを切り替えるためのスイッチである。

フラッシュライト２４は、シャッタボタン１９が押下され、本体１０の内部にあるシャッタが開いている間に、撮影に必要な光を被写体に対して瞬間的に照射するためのものである。

セルフタイマーランプ２５は、セルフタイマーによって撮影する際に、シャッタの開閉タイミングを被写体に知らせるためものである。

メディアスロット２６は、メモリカード等の外部記録メディア７０が充填されるための充填口であり、外部記録メディア７０が充填されると、データの読み取り／書き込みが行われる。

図３は、デジタルカメラ１の主要な機能構成を示すブロック図である。デジタルカメラ１の操作系として、前述の動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下レバー１３、左右ボタン１４、Ｂａｃｋ（戻る）ボタン１５、表示切替ボタン１６、シャッタボタン１９および電源スイッチ２２と、これらのスイッチ、ボタン、レバー類の操作内容を動作制御部７５に伝えるための操作系インターフェース７４が設けられている。

また、撮影レンズ２０を構成するものとして、フォーカスレンズ２０ａおよびズームレンズ２０ｂが設けられている。これらのレンズは、各々、モータとモータドライバからなるフォーカスレンズ駆動部５１およびズームレンズ駆動部５２によって駆動され、光軸方向に移動可能な構成となっている。フォーカスレンズ駆動部５１は、ＡＦ処理部６２によって求められる焦点調節量データに基づいてフォーカスレンズ２０ａを駆動したり、コントラスト検出方式のＡＦ制御を行う場合には、フォーカスレンズ２０ａを所定のステップ幅で駆動したりする。ズームレンズ駆動部５２は、ズーム／上下レバー１３の操作量データに基づいてズームレンズ２０ｂの駆動を制御する。

絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。この絞り駆動部５５は、ＡＥ（自動露出）処理部６３から出力される絞り値データに基づいて絞り５４の絞り径の調整を行う。

シャッタ５６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部５７によって駆動される。シャッタ駆動部５７は、シャッタボタン１９の押下信号と、ＡＥ処理部６３から出力されるシャッタ速度データとに応じてシャッタ５６の開閉の制御を行う。

上記光学系の後方には、撮影素子であるＣＣＤ５８を有している。ＣＣＤ５８は、多数の受光素子が２次元状に配列されてなる光電面を有しており、光学系を通過した被写体光が光電面に結像され、光電変換される。光電面の前方には、各画素に光を集光させるためのマイクロレンズアレイ（不図示）と、ＲＧＢ各色のフィルタが規則的に配列されてなるカラーフィルタアレイ（不図示）とが配置されている。ＣＣＤ５８は、ＣＣＤ制御部５９から供給される垂直転送クロック信号および水平転送クロック信号に同期して、画素毎に蓄積された電荷を１ラインずつシリアルのアナログ画像データとして出力する。各画素における電荷の蓄積時間（即ち露出時間）は、ＣＣＤ制御部５９から与えられる電子シャッタ駆動信号によって決定される。

ＣＣＤ５８が出力するアナログ画像データは、アナログ信号処理部６０に入力される。このアナログ信号処理部６０は、アナログ画像信号のノイズ除去を行う相関２重サンプリング回路（ＣＤＳ）と、アナログ画像信号のゲイン調整を行うオートゲインコントローラ（ＡＧＣ）と、アナログ画像データをデジタル画像データに変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。そしてデジタル画像データは、画素毎にＲＧＢの濃度値を持つＣＣＤ−ＲＡＷデータである。

タイミングジェネレータ７２は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部５７、ＣＣＤ制御部５９、アナログ信号処理部６０に入力されて、シャッタボタン１９の操作と、シャッタ５６の開閉、ＣＣＤ５８の電荷取り込み、アナログ信号処理６０の処理の同期が取られる。

フラッシュ制御部７３は、フラッシュ発光モードの設定や測光情報等に基づいてフラッシュライト２４の発光動作を制御する。

画像入力コントローラ６１は、上記アナログ信号処理部６０から入力されたＣＣＤ−ＲＡＷデータをＲＡＭ６８に書き込む。

ＲＡＭ６８は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）から構成されている。

表示インターフェース７１は、ＲＡＭ６８に格納された画像データをモニタ１８に表示させるためのものであり、輝度（Ｙ）信号と色（Ｃ）信号を一緒にして１つの信号としたコンポジット信号に変換してモニタ１８に出力する。デジタルスチルカメラ１の動作モードが撮影モードに設定されている場合には、一定間隔でのＣＣＤ５８からの電荷の読出しに基づくスルー画がモニタ１８に出力され、再生モードに設定されている場合には、外部記録メディア７０に記録されている画像が出力される。

ＡＦ処理部６２、ＡＥ処理部６３、およびＡＷＢ処理部６４は、プレ画像に基づいて撮影条件を決定する。プレ画像とは、シャッタボタン１９が半押しされることによって発生する半押し信号を検出した動作制御部７５がＣＣＤ５８にプレ撮影を実行させた結果、ＲＡＭ６８に格納された画像データに基づいた画像である。なお、シャッタボタン１９が半押しされていない状態であっても、ＣＣＤ５８からの電荷の読出しを所定の時間間隔で行い、アナログ信号処理部６０でデジタル化された画像データに基づいて処理を行うようにしてもよく、この画像データはスルー画と同じものであってもよいし、異なるタイミングで読出しを行うことによって得られたものであってもよい。

ＡＦ処理部６２は、コントラスト検出方式により、プレ画像に基づいてフォーカスレンズ２０ａの駆動量（焦点調節量）を決定する。なお、デジタルカメラ１の顔検出機能がオンに設定されている場合には、後述する顔検出処理の処理結果に基づいて、ＡＦエリア（コントラストの算出対象エリア）が設定されることがある。

ＡＥ処理部６３は、上記プレ画像に基づいて被写体輝度を測定し、所定のプログラム線図に基づいて絞り値やシャッタ速度等を決定し、絞り値データやシャッタ速度データを出力する。なお、デジタルカメラ１の顔検出機能がオンに設定されている場合には、後述する顔検出処理の処理結果に基づいて、ＡＥエリア（被写体輝度の測定対象エリア）が設定されることがある。

ＡＷＢ処理部６４は、本画像のホワイトバランスの自動調整を行う。この本画像とは、シャッタボタン１９が全押しされることによって本撮影の実行が指示され、ＣＣＤ５８からアナログ画像データが取り込まれ、アナログ信号処理部６０、画像入力コントローラ６１経由でＲＡＭ６８に格納された画像データに基づいた画像である。本画像の画素数の上限はＣＣＤ５８の画素数によって決定されるが、例えば、ユーザが設定可能な画質設定（ファイン、ノーマル等の設定）により、記録画素数を変更することができる。一方、スルー画やプレ画像の画素数は本画像より少なくてもよく、例えば、本画像の１／１６程度の画素数で取り込まれてもよい。なお、デジタルカメラ１の顔検出機能がオンに設定されている場合には、後述する顔検出処理の処理結果に基づいて、ホワイトバランスの調整の基準となる領域が設定されることがある。

画像処理部６５は、ＣＣＤ−ＲＡＷデータに対して所定の画像処理を行う。なお、本明細書では、顔検出処理もこの画像処理部６５によって実現される一機能として記載する。この顔検出処理は、デジタルカメラ１の顔検出機能がオンに設定されている場合に行われる。この画像処理部６５で行われる具体的な処理内容については後述する。

圧縮／伸長処理部６６は、画像処理部６５によって画質補正等の処理が行われた画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆ等のデータ形式に基づいて付帯情報が付加される。またこの圧縮／伸長処理部６６は、再生モードにおいては、外部記録メディア７０から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示インターフェース７１に出力され、表示インターフェース７１は画像データに基づいた画像をモニタ１８に表示させる。

メディアインターフェース６９は、図２におけるメディアスロット２６を含み、外部記録メディア７０に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。

動作制御部７５は、各種ボタン、レバー、スイッチの操作や各機能ブロックからの信号に応じて、デジタルカメラ１の本体各部の動作を制御する。

データバス７６は、画像入力コントローラ６１、各種処理部６２〜６７、ＲＡＭ６８、各種インターフェース６９、７１、および動作制御部７５に接続されており、このデータバス７６を介して各種信号、データの送受信が行われる。

ＯＳＤ信号発生部７７は、デジタルカメラ１の機能設定のためのメニュー画面を表示させるための信号を発生させる。

ＲＯＭ６７には、各種の処理・制御プログラムや参照データ等が記憶されている。

なお、図３の機能構成のデジタルスチルカメラ１への物理的な実装形態については、様々な形態が考えられる。例えば、アナログ信号処理部６０とタイミングジェネレータ７２を１つのチップセットとすることや、画像入力コントローラ６１、ＡＦ処理部６２、ＡＥ処理部６３、ＡＷＢ処理部６４、画像処理部６５、圧縮／伸長処理部６６、メディアインターフェース６９、表示インターフェース７１を１つのチップセットとすること、これらに動作制御部７５や操作系インターフェース７４もあわせて１つのチップセットとすること等が考えられる。また、各チップセットにＲＯＭやＲＡＭを内蔵させてもよい。さらに、ＡＦ処理部６２、ＡＥ処理部６３、ＡＷＢ処理部６４、画像処理部６５、圧縮／伸長処理部６６等で行われるデータ処理についても、その処理に特化したハードウェア回路として実装してもよいし、各処理を行わせるためのプログラムを汎用的なチップ上で実行させることによってソフトウェア的に実装してもよい。ただし、本発明に特有の回路の実装形態については後述する。

次に、ユーザによる操作に応じたデジタルカメラ１の動作の基本的な流れについて、図４のフローチャートを用いて説明する。ユーザによる電源スイッチ２２をＯＮにする操作の後、動作制御部７５は、動作モードスイッチ１１の設定にしたがって、動作モードが撮影モードであるか再生モードであるか判別する（ステップＳ１）。再生モードの場合（ステップＳ１；再生）、画像の再生処理が行われる（ステップＳ１２）。この再生処理は、メディア制御部６９が外部記録メディア７０に記憶された画像ファイルを読み出し、画像データをＲＡＭ６８に一旦格納し、格納された画像データに基づいた画像をモニタ１８に表示させるための処理である。再生処理が終了したら、動作制御部７５はデジタルカメラ１の電源スイッチ２２によってオフ操作がなされたか否かを判別し（ステップＳ１０）、オフ操作がなされていたら（ステップＳ１０；ＹＥＳ）、デジタルカメラ１の電源をオフし、処理を終了する。

一方、ステップＳ１において動作モードが撮影モードであると判別された場合（ステップＳ１；撮影）、スルー画の表示が行われる（ステップＳ２）。具体的には、ＣＣＤ５８からの電荷の読出しによって出力されるアナログ画像データが、アナログ信号処理部６０でのＣＤＳ，ＡＧＣ，ＡＤＣの各処理によってＣＣＤ−ＲＡＷデータにデジタル変換され、ＣＣＤ−ＲＡＷデータが画像入力コントローラ６１によってＲＡＭ６８に格納され、格納されたＣＣＤ−ＲＡＷデータが表示インターフェース７１によってコンポジット信号に変換され、モニタ１８に出力される。スルー画の場合には、この一連の処理が所定の時間間隔で行われることによって表示される画像が更新され、動画的な表示となる。

動作制御部７５はシャッタボタン１９が半押しされたか否かを監視しており（ステップＳ３）、半押しがされていない場合（ステップＳ３；ＮＯ）、動作制御部７５はスルー画の表示（ステップＳ２）とシャッタボタン１９の半押しの検出（ステップＳ３）を繰り返す。

ユーザが、モニタ１８に表示されるスルー画を見ながら、またはファインダ１７を覗きながら、撮影レンズ２０を被写体に向け、必要に応じてズーム／上下レバー１３を操作してズームレンズ２０ｂを移動させ、撮影画角を決定し、シャッタボタン１９を半押しすると、動作制御部７５において半押しが検出され（ステップＳ３；ＹＥＳ）、プレ画像の取得の指示が出される。

この指示に応じて、スルー画用の電荷の読出しとは関係なく、ＣＣＤ５８では電荷の読出しが行われ、出力されたアナログ画像データが、アナログ信号処理部６０でのＣＤＳ，ＡＧＣ，ＡＤＣの各処理によってＣＣＤ−ＲＡＷデータにデジタル変換され、ＣＣＤ−ＲＡＷデータが画像入力コントローラ６１によってＲＡＭ６８に格納される。このＣＣＤ−ＲＡＷデータによる画像がプレ画像である（ステップＳ４）。

次に露出決定処理が行われる（ステップＳ５）。具体的には、ＡＥ処理部６３が、取得されたプレ画像に基づいて被写体輝度を測定し、予めＲＯＭ６７に記憶されているプログラム線図を表す参照データに基づいて、露出、すなわち絞り値やシャッタ速度を決定し、絞り値データやシャッタ速度データを出力し、さらに、動作制御部７５の指示に応じて、出力された絞り値データに基づいて、絞り駆動部５５によって絞りの口径が調整される。また、被写体輝度の測定結果によっては、シャッタボタン１９の全押しによる本撮影の際にフラッシュライト２４が発光するように設定される。

続いて焦点調節処理が行われる（ステップＳ６）。具体的には、ＡＦ処理部６２がフォーカスレンズ２０ａの駆動量と駆動方向を決定し、フォーカスレンズ駆動部５１が駆動量と駆動方向に基づいてフォーカスレンズ２０ａを光軸方向に駆動する。

動作制御部７５では、シャッタボタン１９の半押しが解除されたか否かが判別される（ステップＳ７）。半押しが解除された場合には（ステップＳ７；ＹＥＳ）再びスルー画の表示が行われる（ステップＳ２）。半押しが解除されていない場合は（ステップＳ７；ＮＯ）、シャッタボタン１９が全押しされたか否かの判別が繰り返される（ステップＳ８）。全押しされた場合は（ステップＳ８；ＹＥＳ）動作制御部７５が撮影処理の実行を指示する（ステップＳ９）。この指示に応じて、タイミングジェネレータ７２がタイミング信号を適宜発生させ、この信号によってシャッタ５６の開閉、ＣＣＤ５８の電荷取り込み、アナログ信号処理６０の処理の同期が取られる。シャッタ駆動部５７は、シャッタ５７を閉じた後、ＡＥ処理部６３で求められたシャッタ速度に応じてシャッタ５７を再度開く。そして、ＣＣＤ５８制御部５９によって、シャッタが開いていた間にＣＣＤ５８に蓄積された電荷の読出しが行われ、ＣＣＤ５８の光電面に結像された被写体像を表すアナログ画像データが出力される。出力されたアナログ画像データは、アナログ信号処理部６０でのＣＤＳ，ＡＧＣ，ＡＤＣの各処理によってＣＣＤ−ＲＡＷデータにデジタル変換され、ＣＣＤ−ＲＡＷデータが画像入力コントローラ６１によってＲＡＭ６８に格納される。さらに、ＲＡＭ６８に格納されたＣＣＤ−ＲＡＷデータによる画像に対して、所定のセットアップ条件に基づき、ＡＷＢ処理部６４が公知のホワイトバランスの調整処理を行い、さらに、画像処理部６５がガンマ補正、シャープネス補正、コントラスト補正等の画質補正処理と、ＹＣデータへの変換処理を行う。

撮影処理が終了すると、動作制御部７５は撮影画像のモニタ１８への表示を指示するとともに、圧縮／伸張処理部６６に上記の処理・変換後の画像データの圧縮処理を行わせ、圧縮後の画像データに撮影条件等の付帯情報を付加してＥｘｉｆ形式の画像ファイルを生成させ、メディアインターフェース６９経由で外部記録メディア７０への画像ファイルの記録を行わせる（ステップＳ１０）。そして動作制御部７５は電源スイッチ２２によってオフ操作がなされたか否かを判別し（ステップＳ１１）、オフ操作がなされていたら（ステップＳ１１；ＹＥＳ）、デジタルカメラ１の電源をオフし、処理を終了する。オフ操作がなされていなかったら（ステップＳ１１；ＮＯ）、動作モードの判別処理（ステップＳ１）に戻る。

なお、デジタルカメラ１では、モニタ１８に表示される機能設定メニューに対する選択操作によって、顔検出機能のＯＮ／ＯＦＦを設定することが可能となっている。さらに、顔検出処理の結果に基づいて、カメラのどの機能を制御するかについても設定可能になっている。具体的には、顔検出結果に基づくＡＦエリアの設定、ＡＥエリアの設定、ホワイトバランス調整の基準領域の設定、人物撮影モード／風景撮影モードの切替え、顔検出結果に基づく階調補正の有無、モニタ１８に表示される画像中の顔領域に対するマーキング表示の有無、顔検出結果を画像と関連づけて外部記録メディア７０に記録するかどうか等の設定が可能になっている。

以下では、この顔検出機能をＯＮに設定した場合における画像処理部６５の処理の詳細について説明する。

図５は、本発明の第１の実施形態となるデジタルカメラ１の画像処理部６５の構成を表すブロック図である。図に示したように、ＣＣＤ−ＲＡＷデータを入力として顔検出用の信号処理を行う顔検出用信号処理回路１０１と、顔検出用信号処理回路１０１によって処理された顔検出用画像データを入力として顔検出処理を行って、顔検出結果を出力する顔検出処理回路１０２とからなる顔検出系の処理回路と、ＣＣＤ−ＲＡＷデータを入力として、外部記録メディア７０への記録用、および、モニタ１８への表示用の信号処理を行って記録・表示用画像の画像データを出力する記録・表示用信号処理回路１０２からなる記録・表示系の処理回路とから構成される。

表１は、顔検出用信号処理回路１０１と記録・表示用信号処理回路１０２で行われる処理の内容をまとめたものである。

表に示したように、顔検出用信号処理回路１０１では、記録・表示用信号処理回路１０２で行われる処理のうち、同時化処理などの長時間を要する処理や実装には回路規模が大きくなる処理であるとともに、削減しても顔検出精度への影響が小さい処理、すなわち、欠陥補正、シェーディング補正、ディストーション補正、および、同時化処理は行われないように構成されている。

顔検出処理回路１０２は、図６に模式的に示すように、所定の大きさの探索領域を顔検出用画像中で探索方向に移動させながら、各探索領域の位置において、顔を表すマッチング領域とマッチングさせることによって、一致度の高い領域を顔領域として検出する。顔検出処理の処理結果としては、検出された顔の数、検出された個々の顔領域の位置、大きさ、検出された顔の角度、顔らしさ等がある。

なお、顔検出処理の具体的な方法としては、例えば、特開２００５−１０８１９５号公報に記載の方法を適用して、入力画像の各画素におけるエッジの向きと大きさを表す勾配ベクトルの向きを表す第１の特徴量を、複数の第１の識別器（後述）に入力することによって入力画像中に顔候補領域が存在するかどうかを判定し、さらに、顔候補領域が存在する場合には、その領域を抽出し、抽出された顔候補領域の各画素における勾配ベクトルの大きさを正規化し、正規化後の勾配ベクトルの大きさと向きを表す第２の特徴量を、第２の識別器（後述）に入力することによって、抽出された顔候補領域が真の顔領域であるかどうかを判定し、真の顔領域であれば、その領域を顔部分として検出することが考えられる。ここで、第１／第２の識別器は、学習用サンプルとなる顔であることがわかっている複数の画像と顔でないことがわかっている複数の画像の各々について算出された第１／第２の特徴量を入力とする、AdaBoost等のマシンラーニングの手法を用いた学習処理によって各々得られたものである。この他、特表２００４−５２７８６３号公報に記載の固有顔表現と画像自体との相関スコアを用いる方法や、知識ベース、特徴抽出、肌色検出，テンプレートマッチング、グラフマッチング、統計的手法(ニューラルネットワーク、SVM、HMM)等の様々な公知の手法を適用することができる。

図７は、シャッタ５６の押下をトリガとして顔検出処理が行われる場合の画像処理部６５における処理の流れを示すフローチャートである。図に示したように、シャッタ５６の押下待ちの状態（#1；ＮＯ）からシャッタ５６が押下されると（#1；ＹＥＳ）、前述のように動作制御部７５によって本撮影処理の実行が指示され、ＣＣＤ５８の電荷の取り込みからの一連の処理によりＣＣＤ−ＲＡＷデータが取り込まれる（#2）。取り込まれたＣＣＤ−ＲＡＷデータは、顔検出用信号処理回路１０１に入力され、顔検出用信号処理回路１０１が、上の表１に示した信号処理を行い、顔検出用画像の画像データが生成される（#3）。生成された顔検出用画像データは、顔検出処理回路１０２に入力され、顔検出処理回路１０２が、顔検出用画像中の顔領域を検出する処理を行い、検出結果を出力する（#4）。

このとき、ＣＣＤ−ＲＡＷデータは、記録・表示用信号処理回路１０３にも同時に入力され、上の表１に示した信号処理を行い、記録・表示用画像の画像データが生成される。

以上のように、本発明の第１の実施形態では、顔検出用画像を、記録・表示用画像を生成するための記録・表示用信号処理回路１０３とは異なる顔検出用信号処理回路１０１の処理によって生成するので、記録・表示用画像とは異なる顔検出処理に特化した画像を生成することが可能になる。

また、一般に、顔検出処理への入力画像が同時化処理を行った後の画像（記録・表示用画像に相当）であるのに対し、本実施形態では、顔検出処理への入力画像が、この長時間を要する同時化処理が省略された顔検出用信号処理回路１０１によって処理された画像となるから、顔検出用画像の生成から顔検出までの一連の処理の高速化にも大きく貢献する。

さらに、顔検出用信号処理回路１０１では、顔検出精度への影響の小さい処理を行わないので、顔検出精度の低下させることなく、顔検出用画像の生成から顔検出までの一連の処理の高速化が可能になる。

また、顔検出用信号処理回路１０１の回路規模も小さくなるので、コストダウンにも資する。

本発明の第２の実施形態は、第１の実施形態における顔検出用信号処理回路１０１にＣＣＤ−ＲＡＷデータからＧ信号を抽出する処理を付加したものである。下の表２は、子の第２の実施形態における顔検出用信号処理回路１０１と記録・表示用信号処理回路１０２で行われる処理の内容をまとめたものである。

図８は、Ｇ信号の抽出処理を模式的に表したものである。図８（ａ）は、ＣＣＤ−ＲＡＷ画像の構成を示したものであり、Ｒ，Ｇ，Ｂの各信号が規則的に配列されている状態からＧ信号のみを抽出することにより、図８（ｂ）のように、Ｇ信号のみが配列された画像を得ることができる。

本発明の第２の実施形態によれば、従来は、ＣＣＤ−ＲＡＷ画像に同時化処理を施した画像からＧ信号を抽出することで、顔検出の入力画像を生成していたのに対し、顔検出用信号処理回路１０１が、同時化処理を施すことなくＣＣＤ−ＲＡＷ画像から直接Ｇ信号を抽出するので、顔検出用画像の生成に要する時間の短縮が図られる。

上記の本発明の第２の実施形態では、表２に示したように、顔検出用信号処理回路１０１と記録・表示用信号処理回路１０２で共通に行われている処理が存在する。そこで、本発明の第３の実施形態として、この共通の処理を、顔検出用信号処理回路１０１と記録・表示用信号処理回路１０２から切り離し、共通信号処理回路として共有させることができる。

図９は、本発明の第３の実施形態となるデジタルカメラ１の画像処理部６５の構成を表すブロック図である。図に示したように、ＣＣＤ−ＲＡＷデータを入力として顔検出と記録・表示に共通の信号処理を行う共通信号処理回路１０４と、共通信号処理回路１０４によって処理された画像データを入力として顔検出用の信号処理を行う顔検出用信号処理回路１０５と、顔検出用信号処理回路１０５によって処理された顔検出用画像データを入力として顔検出処理を行って、顔検出結果を出力する顔検出処理回路１０２とからなる顔検出系の処理回路と、共通信号処理回路１０４によって処理された画像データを入力として、外部記録メディア７０への記録用、および、モニタ１８への表示用の信号処理を行って記録・表示用画像の画像データを出力する記録・表示用信号処理回路１０６からなる記録・表示系の処理回路とから構成される。なお、顔検出処理回路１０２は、上記の第１の実施形態と同様である。

表３は、共通信号処理回路１０４と顔検出用信号処理回路１０５と記録・表示用信号処理回路１０６で行われる処理の内容をまとめたものである。

表３に示したように、表２において顔検出用信号処理回路１０１と記録・表示用信号処理回路１０２で共通に行われている処理、すなわち、オフセット補正、ゲイン補正、ガンマ補正の各処理を、共通信号処理回路１０４で行うようにし、顔検出用信号処理回路１０５は、顔検出用画像の生成に特有のＧ信号の抽出処理のみを行い、記録・表示用信号処理回路１０６は、記録・表示用画像の生成に特有の欠陥補正、シェーディング補正、ディストーション補正、および、同時化処理のみを行うようにしている。

図１０は、シャッタ５６の押下をトリガとして顔検出処理が行われる場合の画像処理部６５における処理の流れを示すフローチャートである。図に示したように、シャッタ５６の押下待ちの状態（#11；ＮＯ）からシャッタ５６が押下されると（#11；ＹＥＳ）、前述のように動作制御部７５によって本撮影処理の実行が指示され、ＣＣＤ５８の電荷の取り込みからの一連の処理によりＣＣＤ−ＲＡＷデータが取り込まれる（#12）。取り込まれたＣＣＤ−ＲＡＷデータは、共通信号処理回路１０４に入力されて、上の表３に示した顔検出と記録・表示に共通の信号処理が行われる（#13）。共通信号処理回路１０４による処理済の画像データは、顔検出用信号処理回路１０５に入力され、顔検出用信号処理回路１０５が、上の表３に示した信号処理を行い、顔検出用画像の画像データが生成される（#14）。生成された顔検出用画像データは、顔検出処理回路１０２に入力され、顔検出処理回路１０２が、顔検出用画像中の顔領域を検出する処理を行い、検出結果を出力する（#15）。

このとき、共通信号処理回路１０４による処理済の画像データは、記録・表示用信号処理回路１０６にも同時に入力され、上の表３に示した信号処理を行い、記録・表示用画像の画像データが生成される。

以上のように、本発明の第３の実施形態では、記録・表示用の画像生成と顔検出の入力画像生成との双方に共通する処理を、共通信号処理回路１０４で行うようにしたので、回路規模の削減によるコストダウンが図られる。

本発明の第４の実施形態は、本発明の第３の実施形態において、顔検出用画像のサイズを縮小する処理を付加したものである。すなわち、図１１の、本発明の第４の実施形態となるデジタルカメラ１の画像処理部６５の構成を表すブロック図に示すように、顔検出用信号処理回路１０５によって処理されたデータを入力として、顔検出用画像のサイズを所定のサイズに縮小するリサイズ処理回路１０９が、上記の第３の実施形態（図９）に付加された構成となっている。なお、他の処理回路については、上記の第１から第３の実施形態と同様である。

図１２は、シャッタ５６の押下をトリガとして顔検出処理が行われる場合の画像処理部６５における処理の流れを示すフローチャートである。図に示したように、シャッタ５６の押下待ちの状態（#21；ＮＯ）からシャッタ５６が押下されると（#21；ＹＥＳ）、前述のように動作制御部７５によって本撮影処理の実行が指示され、ＣＣＤ５８の電荷の取り込みからの一連の処理によりＣＣＤ−ＲＡＷデータが取り込まれる（#22）。取り込まれたＣＣＤ−ＲＡＷデータは、共通信号処理回路１０４に入力されて、上の表３に示した顔検出と記録・表示に共通の信号処理が行われる（#23）。共通信号処理回路１０４による処理済の画像データは、顔検出用信号処理回路１０５に入力され、顔検出用信号処理回路１０５が、上の表３に示した信号処理を行う（#24）。顔検出用信号処理回路１０５による処理済の画像データは、リサイズ処理回路１０９に入力され、リサイズ処理回路１０５が、入力された画像のサイズを縮小する処理を行い、顔検出用画像データを出力する（#25）。生成された顔検出用画像データは、顔検出処理回路１０２に入力され、顔検出処理回路１０２が、顔検出用画像中の顔領域を検出する処理を行い、検出結果を出力する（#26）。

このとき、共通信号処理回路１０４による処理済の画像データは、記録・表示用信号処理回路１０６にも同時に入力され、上の表３に示した信号処理を行い、記録・表示用画像の画像データが生成される。

以上のように、本発明の第４の実施形態では、リサイズ処理回路１０９が、顔検出用画像を縮小することで探索領域（図６参照）を縮小し、探索に要する時間を削減する。これにより、顔検出時間の短縮が実現される。

本発明の第５の実施形態は、上記の第４の実施形態におけるリサイズ処理回路１０９を、顔検出用画像のサイズを規格化されたサイズに変更するようにしたものである。すなわち、上記の第４の実施形態では、リサイズ処理回路１０９は画像のサイズを縮小するだけであったが、本実施形態では、画像のサイズを拡大・縮小することによって、顔検出用画像のサイズを所定のサイズ、例えば、ＶＧＡサイズに変更する。

したがって、回路の構成は図１１と同様で、処理の流れは図１２と同様であるが、顔検出処理回路１０２が出力する検出結果のうち、検出された各顔の位置と大きさについては、ＶＧＡ画像に対する相対位置、大きさとなる。

本発明の第５の実施形態によれば、リサイズ処理回路１０９が顔検出処理回路１０２への入力画像のサイズを統一するので、顔検出処理回路１０２の処理可能画素数を限定することにより、回路規模の削減が実現される。デジタルカメラの場合、機種によって撮像素子の画素数が異なるため、顔検出処理回路１０２を低画素数のものに合わせて設計した場合、高画素数のデジタルカメラでは顔検出用画像の画素数が、顔検出処理回路１０２の入力可能画素数を超えることが考えられる。そこで、リサイズ処理回路１０９が顔検出用画像のサイズを縮小することによって、低画素数用の顔検出処理回路１０２を高画素数のデジタルカメラに利用することが可能になる。逆に、顔検出処理回路１０２を高画素数のものに合わせて設計した場合、低画素数のデジタルカメラでは顔検出用画像の画素数が、顔検出処理回路１０２の入力可能画素数に満たないことが考えられる。そこで、リサイズ処理回路１０９が顔検出用画像のサイズを拡大することによって、高画素数用の顔検出処理回路１０２を低画素数のデジタルカメラに利用することが可能になる。このように、顔検出処理のＩＰ化(Intellectual Property）、すなわち、ＬＳＩを開発する度に再設計する必要が無くなることによる開発リソースの低減にも資する。

図１３は、本発明の第６の実施形態となるデジタルカメラ１の画像処理部６５の構成を表すブロック図である。図に示したように、ＣＣＤ−ＲＡＷデータを入力として顔検出と記録・表示に共通の信号処理を行う共通信号処理回路１０７と、共通信号処理回路１０７によって処理された画像データを顔検出用画像として入力を受け付け、顔検出処理を行って、顔検出結果を出力する顔検出処理回路１０２とからなる顔検出系の処理回路と、共通信号処理回路１０７によって処理された画像データを入力として、外部記録メディア７０への記録用、および、モニタ１８への表示用の信号処理を行って記録・表示用画像の画像データを出力する記録・表示用信号処理回路１０８からなる記録・表示系の処理回路とから構成される。なお、顔検出処理回路１０２は、上記の第１の実施形態と同様である。

表４は、共通信号処理回路１０７と記録・表示用信号処理回路１０８で行われる処理の内容をまとめたものである。

表４に示したように、顔検出用画像の生成と記録・表示用画像の生成に共通の信号処理、すなわち、オフセット補正、ゲイン補正、ガンマ補正の各処理を、共通信号処理回路１０７で行うようにし、記録・表示用信号処理回路１０８は、記録・表示用画像の生成に特有の欠陥補正、シェーディング補正、ディストーション補正を行う。また、共通信号処理回路１０７では、同時化処理も行うようにしている。

したがって、顔検出用画像を生成する際には、ＣＣＤ−ＲＡＷデータに対して共通信号処理回路１０７による処理のみを行い、記録・表示用画像を生成する際には、ＣＣＤ−ＲＡＷデータに対して共通信号処理回路１０７による処理と記録・表示用信号処理回路１０８による処理の両方を行う。

以上のように、本発明の第６の実施形態では、長時間を要する処理で、かつ、削減しても顔検出精度への影響が小さい処理を顔検出用画像の生成の際には行わないことにより、顔検出用画像の生成から顔検出までの一連の処理の高速化が図られる。

デジタルカメラの背面図 デジタルカメラの前面図 デジタルカメラの機能ブロック図 ユーザによる操作に応じたデジタルカメラの動作の流れを説明するためのフローチャート 本発明の第１、第２の実施形態となるデジタルカメラの画像処理部の構成を表すブロック図 画像スキャンによる顔検出方法を示す図 本発明の第１、第２の実施形態における顔検出処理の流れを示すフローチャート （ａ）ＣＣＤ−ＲＡＷ画像の構成と（ｂ）Ｇ信号抽出後の画像の構成を模式的に表した図 本発明の第３の実施形態となるデジタルカメラの画像処理部の構成を表すブロック図 本発明の第３の実施形態における顔検出処理の流れを示すフローチャート 本発明の第４、第５の実施形態となるデジタルカメラの画像処理部の構成を表すブロック図 本発明の第４、第５の実施形態における顔検出処理の流れを示すフローチャート 本発明の第６の実施形態となるデジタルカメラの画像処理部の構成を表すブロック図

符号の説明

１ デジタルカメラ
１１ 動作モードスイッチ
１２ メニューボタン
１３ ズーム／上下レバー
１４ 左右ボタン
１５ ＢＡＣＫ（戻る）ボタン
１６ 表示切替ボタン
１７ ファインダ
１８ モニタ
１９ シャッタボタン
２０ 撮像レンズ
２０ａ フォーカスレンズ
２０ｂ ズームレンズ
２１ レンズカバー
２２ 電源スイッチ
２３ ファインダ窓
２４ フラッシュライト
２５ セルフタイマーランプ
２６ メディアスロット
５１ フォーカスレンズ駆動部
５２ ズームレンズ駆動部
５４ 絞り
５５ 絞り駆動部
５６ シャッタ
５７ シャッタ駆動部
５８ ＣＣＤ
５９ ＣＣＤ駆動部
６０ アナログ信号処理部
６１ 画像入力コントローラ
６２ ＡＦ処理部
６３ ＡＥ処理部
６４ ＡＷＢ処理部
６５ 画像処理部
６６ 圧縮／伸長処理部
６７ ＲＯＭ
６８ ＲＡＭ
６９ メディアインターフェース
７０ 外部記録メディア
７１ 表示インターフェース
７２ タイミングジェネレータ
７３ フラッシュ制御部
７４ 操作系インターフェース
７５ 動作制御部
７６ データバス
７７ ＯＳＤ信号発生部
１０１、１０５ 顔検出用信号処理回路
１０２ 顔検出処理回路
１０３、１０６、１０８ 記録・表示用信号処理回路
１０４、１０７ 共通信号処理回路
１０９ リサイズ処理回路

Claims (9)

1. 撮像光学系と、
   前記撮像光学系が被写体の像を結像させる結像面を構成する撮像素子と、
   該結像面に生じた前記被写体の像をデジタル変換して原画像信号を得る変換手段とを備えた撮像装置において、
   前記原画像信号に対して所定の第１の信号処理を行い、前記撮像装置の記録手段に記録するための、および／または、前記撮像装置の表示手段に表示するための第１の画像信号を生成する第１の信号処理手段と、
   前記原画像信号に対して、前記第１の信号処理とは異なる第２の信号処理を行い、前記被写体中の所定の対象物を検出するための第２の画像信号を生成する第２の信号処理手段と、
   前記第２の画像信号を入力として、前記被写体中の所定の対象物を検出する対象物検出手段と、
   該対象物検出手段による前記対象物の検出結果に応じて前記撮像装置の動作を制御する制御手段とを備えたことを特徴とする撮像装置。
2. 前記第２の信号処理が、前記第１の信号処理に含まれる信号処理のうち少なくとも１つ以上を含まないものであることを特徴とする請求項１記載の撮像装置。
3. 前記第２の信号処理が、前記第１の信号処理に含まれる同時化処理を含まないものであることを特徴とする請求項２記載の撮像装置。
4. 前記第２の信号処理が、前記原画像信号から所定の色信号を得る処理を含むものであることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記第１の信号処理手段と、前記第２の信号処理手段は、前記第１の信号処理と前記第２の信号処理とで共通する信号処理については、同一の回路を共有するものであることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記第２の信号処理は、前記被写体の像を縮小する処理を含むものであることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記第２の信号処理は、前記被写体の像を規格化されたサイズに合わせる処理を含むものであることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
8. 前記対象物が、人物の顔であることを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 被写体からの光が撮像装置の撮像光学系を通過して撮像素子からなる結像面上に結像することによって該結像面に生じた該被写体の像をデジタル変換して得られる原画像信号に対して所定の信号処理を行い、該信号処理後の画像信号を入力として、前記被写体中の所定の対象物を検出し、前記対象物の検出結果に応じて前記撮像装置の動作を制御する撮像装置における、前記対象物を検出するための画像信号の生成方法であって、
   前記対象物を検出するための信号処理が、前記撮像装置の記録手段に記録するための、および／または、前記撮像装置の表示手段に表示するための信号処理とは異なる処理であることを特徴とする、撮像装置における対象物を検出するための画像信号の生成方法。

Images