JP2007067934A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 きめ細かな赤目緩和機能の実施が可能な撮像装置及びその制御方法を提供すること。
【解決手段】 例えば顔認識技術を用い、撮像画像中に含まれる個人を特定する。そして、個人毎に予め設定された赤目緩和機能の制御パラメータを参照し（Ｓ１２２）、設定に応じた赤目緩和機能を実施する（Ｓ１２５）。これにより、個人差や好みを反映した赤目緩和機能の実施が可能である。
【選択図】 図３

Description

本発明は撮像装置及びその制御方法に関し、特に、赤目緩和機能を有する撮像装置及びその制御方法に関する。

フラッシュを使用した写真撮影を行なった際、フラッシュ光が網膜で反射することにより目が赤く写る赤目現象が起こることがある。赤目現象は瞳孔が開いている場合に発生し易いため、本撮影前にフラッシュや他の光源を点灯（プリ発光）し、瞳孔を収縮させた後に本撮影を行なうことで、赤目現象の発生を緩和する赤目緩和機能が知られている。

赤目緩和機能を使用する場合、プリ発光手順が追加されること、プリ発光後に瞳孔が収縮瞳するまでの時間が０．８秒〜１．５秒程度必要であることから、シャッターボタンを押してから実際に撮影されるまでの時間（レリーズタイムラグ）が長くなる。そのため、常に使用する状態にしておくと、子供やスポーツの撮影など、被写体の動きが大きい場合や、一瞬の出来事を撮影したい場合に、シャッターチャンスを逃してしまうことがある。従って、従来、赤目緩和機能の使用は、フラッシュモード設定ボタン等を操作することにより、撮影前に明示的に設定する必要があるのが一般的である。

赤目緩和機能の使用有無をカメラが判断する方法として、特許文献１では、顔認識技術を用いる方法が提案されている。特許文献１においては、撮影画面内に顔が存在し、かつフラッシュ撮影が必要な明るさであり、さらに顔までの距離がフラッシュの適正露光可能範囲内である場合に、赤目緩和機能の使用を決定している。

また、プリ発光を用いた赤目緩和機能の他に、撮影された画像から赤目現象の発生を検出し、画像処理を施して赤目を補正するという赤目緩和機能も提案されている（特許文献２）。

特開２００４−３２０２８４号公報 特開平１０−２３３９２９号公報

特許文献２に記載されるような、画像処理により赤目を補正する方法では、出来上がった画像が不自然になりやすく、特に拡大してプリントされた場合には目立ってしまう場合がある。従って、やはりプリ発光を利用して赤目現象の発生を抑制し、自然な撮影画像を得ることが理想である。

特許文献１記載の方法では、赤目緩和機能の使用有無をカメラが判断するので、赤目緩和機能を有するにもかかわらず、設定を怠ったことで赤目現象が発生してしまうという事態を抑制することは期待できる。

しかし、これらの従来技術は、赤目現象の抑制効果における個人差については何ら考慮されていない。上述のように、プリ発光による赤目現象の抑制は、プリ発光に反応した瞳孔の収縮を利用したものであるが、プリ発光に反応して瞳孔が収縮するまでの時間には個人差がある。そのため、常に一定のプリ発光を行なっても、最適な赤目現象の抑制効果が得られるとは限らない。

本発明はこのような従来技術の課題に鑑みなされたものであり、よりきめ細かな赤目緩和機能の実施が可能な撮像装置及びその制御方法の提供を目的とする。

上述の目的は、プリ発光を利用した赤目緩和機能を有する撮像装置であって、顔認識用の特徴点データ及び赤目緩和機能の制御パラメータを含む個人データを記憶する記憶手段と、本撮影前に得られる撮像画像と個人データとから、被写体に含まれる個人を特定する認識手段と、フラッシュ撮影時に、特定された個人に対応する個人データに含まれる制御パラメータに応じた赤目緩和機能の設定を行なう設定手段と、設定に応じた赤目緩和機能の実施及びフラッシュ撮影を行なう制御手段とを有することを特徴とする撮像装置によって達成される。

また、上述の目的は、プリ発光を利用した赤目緩和機能を有する撮像装置の制御方法であって、顔認識用の特徴点データ及び赤目緩和機能の制御パラメータを含む個人データを記憶する記憶手段から、個人データを読み出すステップと、本撮影前に得られる撮像画像と、個人データとから、被写体に含まれる個人を特定する認識ステップと、フラッシュ撮影時に、特定された個人に対応する個人データに含まれる制御パラメータに応じた赤目緩和機能の設定を行なう設定ステップと、設定に応じた赤目緩和機能の実施及びフラッシュ撮影を行なう制御ステップとを有することを特徴とする撮像装置の制御方法によっても達成される。

このような構成により、本発明によれば、一律な赤目緩和機能の実施ではなく、よりきめ細かな赤目緩和機能の実施が可能となる。

以下、添付図面を用いて本発明をその好適な実施形態に基づき詳細に説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置の一例としてのデジタルカメラの構成例を示すブロック図である。
本実施形態におけるデジタルカメラ１００は、顔検出機能（画像の中から人物の顔に相当する領域を検出する機能）及び個人判定機能（顔検出機能により検出した顔の画像に含まれる複数の特徴点の照合により個人を判定する機能）を有する。

図１において、システム制御部１は、例えばＣＰＵを含み、デジタルカメラ１００全体の制御を司る。ＲＯＭ２はシステム制御部１のＣＰＵが実行する処理手順（プログラム）や各種データを記憶している。ＲＡＭ３はシステム制御部１のワークエリアとして使用され、撮像画像もここに一旦格納される。メモリカード４はデジタルカメラ１００が使用可能な着脱自在な記憶媒体の一例である。メモリスロット５は、メモリカード４をデジタルカメラ１００に電気的に接続するインタフェースであり、メモリカード４の使用時にはメモリスロット５に装着する。操作部６はシャッターボタン、メニュー操作キー（カーソルキー、選択／実行キー等）、各種モードの設定／変更キーなどの操作ボタンを有し、ユーザがデジタルカメラ１００に対して各種設定や指示を与える際に用いる。なお、シャッターボタンは、ＳＷ１、ＳＷ２の２つのスイッチを有し、開放状態（ＳＷ１、ＳＷ２がＯＦＦ）、半押し状態（ＳＷ１がＯＮ）、全押し状態（ＳＷ２がＯＮ）の３つの状態を持つ。

光学レンズ群７はズームレンズやフォーカスレンズを含み、レンズドライバ８が光学レンズ群７のズーミング制御やフォーカシングの駆動制御を行う。また、絞りドライバ１０は光学的な絞り９を制御する。撮像素子１１は例えばＣＣＤセンサやＣＭＯＳセンサであり、光学レンズ群７、絞り９を介して撮像素子１１に結像した被写体像を電気信号に変換する光電変換素子である。画像処理部１２は撮影画像に対して各種画像処理を行う。画像処理部１２で行なう画像処理としては、Optical Black除去処理、ホワイトバランス処理、圧縮符号化復号化処理等が含まれる。なお、Optical Black除去処理とは、絞り９を全閉して被写体光が撮像素子１１に入射しない状態としても、撮像素子１１から出力されてしまう信号の影響を、撮影画像から除去する処理である。

表示部１３は例えばＬＣＤや有機ＥＬディスプレイを代表とする表示部であって、撮像画像や、各種メニューを表示する。また、表示部１３は、撮影画像を逐次表示することで電子ビューファインダとしても機能する。姿勢検知部１４は撮像装置の姿勢、具体的には横位置、縦位置を検出する。本実施形態のデジタルカメラ１００は、この検出結果に応じて顔検出の処理方法を変える。顔画像検出部１５は、画像処理部１２から出力された画像信号の中から人物の顔に相当する領域を検出する。個人判別部１６は画像検出部１５から出力された、人物の顔に相当する領域から複数の特徴点を照合し、予め登録された個人を特定する。赤目緩和部１７は赤目緩和用の光源として図示しないランプを有し、フラッシュ撮影に先立ってランプを発光させ、被写体に光を照射して瞳を小径にする赤目緩和機能を制御する。フラッシュ１８はフラッシュ撮影に用いられ、被写体の輝度をあげるために被写体に向けて閃光を照射する。

上記構成において、操作部６のシャッターボタンを押下して全押し状態とした際に、通常撮影やフラッシュ撮影で撮像素子１１より得られた画像信号は、画像処理部１２に供給される。そしてデジタルデータ化、上述したOptical Black除去処理、ホワイトバランス処理などが行なわれ、最終的に圧縮符号化（一般にはＪＰＥＧ形式による符号化）された後、メモリスロット５に挿入されたメモリカード４に保存される。

なお、本実施形態のデジタルカメラ１００は、赤目緩和オートモード、赤目緩和オフモード、ポートレートモード、風景モード、オートモードなどの撮影モードを有する。赤目オートモードは赤目緩和を行うモードであるが、本実施形態では個人を検知することで個人データにより赤目緩和動作を行わない場合もある。赤目緩和オフモードは赤目緩和機能の使用を禁止するモードである。ポートレートモードは人物の撮影に適するようにプログラムされた撮影モードであり、人物が引き立つように人物を中心として、被写界深度が浅くなるように絞り９を調整して撮影する。風景モードは風景の撮影に適するようにプログラムされた撮影モードであり、ピントは無限距離に合うように制御される。また、オートモードは、被写体の特徴を自動的に判別して最適な撮影を行うようにプログラムされた撮影モードである。これらの撮影モードは、操作部６の撮影モード切り替えダイヤルや他のスイッチ、キーをユーザが操作することによって設定、切替が可能とされている。

また、本実施形態のデジタルカメラ１００は、ポートレートモード及びオートモードが選択されているときには、被写体に人物が含まれ、人物を中心とした構図にて撮影が行われる可能性が高いと判断して顔検出機能及び個人判別機能を有効にする。一方、風景モードが選択されているときには、人物を中心とした構図にて撮影が行われる可能性が低いと判断し、顔検出機能を無効にしたり、赤目緩和機能の実行を禁止する。これにより、風景モードにおける撮影処理時間やレリーズタイムラグを増加させることがない。

なお、撮影モード以外の情報に基づいて赤目緩和機能の使用、不使用を自動的に決定するように構成しても良い。例えば、日中の逆光撮影などでは、フラッシュ１８を強制発光が指定される場合があるが、このような場合にはもともと明るい環境であり、瞳孔は小さくなっているものと考えられるので、赤目緩和機能の実施を禁止するようにしてもよい。また、フラッシュ１８の発光モード以外にも、マクロ撮影時（焦点距離が所定距離よりも短い場合）には赤目緩和機能を使用しないなど、焦点距離の情報などを利用しても良い。

図２は、本実施形態のデジタルカメラ１００における撮影準備処理を示すフローチャートである。
まず、システム制御部１は、操作部６のシャッターボタンが半押し（ＳＷ１がＯＮ）が検出されるまで待機する（Ｓ１０１）。シャッターボタンの半押しが検出されると、レンズドライバ８及び絞りドライバ１０を介し、予め決められた第１の露出条件（絞り値、露出時間）及びフォーカス位置となるよう光学レンズ群７及び絞り９を制御する。そして、撮像素子１１１から第１の画像信号を取得する（Ｓ１０２）。取得した画像信号は画像処理部１２でデジタルデータ化され、第１の画像データとしてＲＡＭ３へ格納される。次に、システム制御部１は、ＲＡＭ３に格納された第１の画像データのうち、撮像画面中に予め設定されたデフォルトの特定領域に対応する画像データから得られる情報を基に、第２の露出条件及びフォーカス位置を決定する（Ｓ１０３）。

続いて、システム制御部１はレンズドライバ８及び絞りドライバ１０を介し、第２の露出条件及びフォーカス位置となるよう光学レンズ群７及び絞り９を制御して、第２の画像信号を取得する（Ｓ１０４）。取得した画像信号は画像処理部１２でデジタルデータ化され、第２の画像データとしてＲＡＭ３へ格納される。

このように、ステップＳ１０１からステップＳ１０４にて、予め簡易的な露出制御および焦点調節制御を行うことで、画像信号中の被写体像を明確にし、顔を検出する処理の精度をあげている。また、これらの処理を行なう際に、システム制御部１は姿勢センサ１４からの検出信号に基づき、デジタルカメラ１００の姿勢が、横位置、第１の縦位置及び第２の縦位置のいずれであるかを判断する（Ｓ１０５）。なお、第１及び第２の縦位置は、横位置から反時計回り及び時計回りに９０度回転させた状態に対応する。ここでは、通常シャッターボタンが横位置のカメラ背面から見て右手上面に設けられることが一般的であることから、第１の縦位置をシャッターボタンが上に来る縦位置、第２の縦位置をシャッターボタンが下に来る縦位置としている。

そして、顔画像検出部１５は、姿勢センサ１４の判断結果に基づき、顔検出のための前処理であるフィルタ処理（エッジ検出処理）の適用方向を決定する。具体的には、横位置なら撮像画像の垂直方向に（Ｓ１０６）、第１の縦位置なら第１の水平方向に（Ｓ１０７）か、第２の縦位置なら第２の水平方向に（Ｓ１０８）それぞれ適用方向を決定する。そして、個々のステップでフィルタ処理を実施する。

Ｓ１０５で横位置と判別された場合、ＲＡＭ３から第２の画像データを垂直方向に１ラインずつ読み出し、垂直方向にバンドパスフィルタをかけ、垂直方向高周波信号（エッジ情報）をＲＡＭ３に記録する（Ｓ１０６）。第１の縦位置と判別された場合には、ＲＡＭ３から第２の画像データを水平方向に１ラインずつ読み出し、水平方向にバンドパスフィルタをかけ、水平方向高周波信号をＲＡＭ３に記録する（Ｓ１０７）。また、第２の縦位置と判別された場合には、ＲＡＭ３から第２の画像データをステップＳ１０７と反対側から水平方向に１ラインずつ読み出し、水平方向にバンドパスフィルタをかけ、水平方向高周波信号をＲＡＭ３に記録する（Ｓ１０８）。

なお、ここで言う垂直方向、水平方向とは、本デジタルカメラ１００で撮像した矩形画像の長辺の長さ方向を水平方向、短辺の長さ方向を垂直方向として定義される。図４を用いてより具体的に説明すれば、横位置では、図４（ａ）のような人物の顔画像が得られるので、ステップＳ１０６では同図の矢印に沿った顔に対して上から下へ垂直方向にフィルタ処理（エッジ検出処理）を行い、その結果をＲＡＭ３に記憶する。また、第１の縦位置で撮影した画像は、横位置で観察すれば図４（ｂ）のようになるため、ステップＳ１０７では同図に矢印で示す水平方向（左方向）へフィルタ処理（エッジ検出処理）を行い、結果をＲＡＭ３に記憶する。

また、第２の縦位置で撮影した画像は、横位置で観察すれば図４（ｃ）のようになるため、ステップＳ１０８では同図に矢印で示す水平方向（右方向）へフィルタ処理（エッジ検出処理）を行い、結果をＲＡＭ３に記憶する。

図４（ｂ）及び（ｃ）に示す顔画像の両方に対して、図４（ａ）に示す顔画像と同方向にエッジ検出を行った場合、同じ顔を撮像した画像であっても、個々のエッジ検出結果は大きく異なってしまう。そこで、本実施形態では、姿勢センサ１４の検出結果に応じてエッジ検出を行う方向を異ならせることで、撮影時のデジタルカメラ１００の姿勢にかかわらず、顔に対して同方向（ここでは上から下）へフィルタ処理することを可能としている。その結果、顔画像検出時の情報処理が格段に容易となる上、検出精度も向上することができる。つまり、デジタルカメラ１００の姿勢に応じて、画像信号に対するエッジ検出を行う方向を設定することで、短時間で正確な顔検出処理を施すことができる。

デジタルカメラ１００の姿勢によりフィルタ処理を行なう方向を異ならせる代わりに、画像を同じ向きに合わせてから同方向にフィルタ処理を行なっても同じ効果が得られる。例えば、図４（ｂ）や図４（ｃ）の画像を回転して図４（ａ）の向きに合わせ、全ての画像に対して図４（ａ）に示す方向でフィルタ処理を行なうことができる。もちろん、どの画像に他の画像の向きを合わせるかは任意に設定可能である。さらに別の方法として、顔画像に対して複数方向（例えば上下左右方向）からエッジ検出を行う方法も考えられる。

Ｓ１０６、Ｓ１０７、Ｓ１０８のいずれかの処理を終えると、顔画像検出部１５は検出画像（エッジ抽出画像）と基準画像とを用いてパターンマッチング処理を行う（Ｓ１０９）。このパターンマッチング処理にて、ＲＡＭ３に保持されている、高周波成分からなる画像データ（エッジ抽出画像データ）と、予め記憶してある基準画像データとを比較し、人間の目との形状パターン認識処理を行う。この形状パターン認識処理において、目の候補群が検出される。また、同時に、鼻、口、耳などの特徴点を持つパーツに対しても、エッジ抽出画像データと基準画像データ群との比較形状認識により検出する。

このとき、デジタルカメラ１００の姿勢が判明しているので、全ての基準画像データの中からデジタルカメラ１００の姿勢に該当する方向の候補群に絞り込んでパターンマッチング処理を行なうことで、処理を簡略化させることが可能である。

パターンマッチング処理を終えると、人物の目（両目）を検出したか否かを判断する（Ｓ１１０）。検出できた場合には、パターンマッチングで検出された目の候補群のうち、対となる目の候補を対応づけ、目の候補群データを更に絞り込む。そして、目の候補群データと、その他のパーツ（鼻、口、耳）に基づき、予め設定した複数の非顔条件フィルタ（ＲＯＭ２に格納されている）の１つを選択し、そのフィルタを通過したものを顔と認識する（Ｓ１１１）。非顔条件フィルタは、例えば目、鼻、口、耳といったパーツが、顔に見えない並び方や位置関係を有するかどうかを判定するための条件群である。

そして、顔画像検出部１５は目、鼻や口等のパーツ及び顔と判定された領域の大きさ、位置を示す情報（顔座標）をシステム制御部１に返す（Ｓ１１２）。顔画像検出部１５により顔に関する情報が検出されると、個人判定部１６にて個人の判別がおこなわれる。個人の判別にはＲＯＭ２や図示しない不揮発性ＲＡＭに予め登録された個人の特徴点データを用いる。本実施形態において、個人の特徴点データは一例として人種、目の色、目の大きさ、目と鼻腔との位置関係、目や鼻などの間隔と個人の特徴である黒子や身体的な顔の特徴（傷、あざ）などの相対的な位置関係などである。また、各個人毎に後述する、赤目緩和機能の制御データも登録されている。

個人判定部１６は、顔画像検出部１５が検出した顔座標をシステム制御部１を通じて取得すると、登録されている特徴点データと同じ種類の特徴点１つを検出し（Ｓ１１３）、対応する登録済特徴点データと照合して個人を判定する（Ｓ１１４）。個人を判別できない場合はＳ１１５で、照合していない他の特徴点データがあるかどうか判定する。まだ照合していない特徴点データがあれば、その１つについて、Ｓ１１３、Ｓ１１４で検出と登録値との照合を行なう。このようにして、Ｓ１１３、Ｓ１１４、Ｓ１１５のループで順次特徴点データの照合を行い、個人判別を行なう。Ｓ１１４で個人が判別できた場合には、判別した個人の登録データを参照可能なように、個人ＩＤなどの固有情報を記憶しておく。

そして、個人が判別されるか、または全ての特徴点を利用しても個人判別できない場合にはＳ１１７に進む。ここでシステム制御部１は、検出した顔領域を基に測光領域に重み付けを行い（図５）、両目を中心とした領域（図６）を焦点調節領域として設定する。この、ステップＳ１１７における処理の詳細は後述する。

なお、デジタルカメラの場合、一般に、撮影中の画像は表示部１３にリアルタイムに表示される。そのため、本実施形態では、シャッターボタンが半押しの状態で実施される上述のＳ１０２〜Ｓ１１２の処理によって、人物の顔（特に目）が検出できた場合、表示部１３に顔検出がなされた旨の所定のマーク（図示せず）を表示する。このようにすると、デジタルカメラが人物の顔を認識できたこと、またその結果として人物の顔を撮影するために適した条件が設定されたことをユーザに報知することが可能となる。さらに本実施形態のデジタルカメラ１００は、個人判別部１６で個人の判別ができた場合、その個人に対応したマークを表示する。勿論これは記号、文字、ニックネームやイラストであっても良い。

一方、ステップＳ１１０にて両目の検出に失敗した場合には、デフォルトの測光領域、焦点調節領域を設定し（Ｓ１１６）、これらの領域の出力を基に露出制御、焦点調節制御を行う。

いずれにしても、測光領域、焦点調節領域を設定すると、シャッターボタンが全押しされている（ＳＷ２がＯＮ）か否かを判断する（Ｓ１１８）。全押しされていない場合には半押し状態が継続しているかどうか確認し（Ｓ１４０）、半押し状態である限り上記処理を繰り返す。半押し状態が解除されれば、処理を終了する。また、Ｓ１１８でシャッターボタンの全押を検出すると、撮影動作に進む。

図３は、本実施形態のデジタルカメラ１００における撮影処理を示すフローチャートである。
図２のステップＳ１１６又はＳ１１７で設定された被写体の測光領域の輝度に基づき、システム制御部１はフラッシュ１８を使用するか判断する（Ｓ１１９）。測光領域の外光輝度が高く、フラッシュ１８を使用する必要がない撮影でない場合はＳ１２０に進み、フラッシュ１８を使用しない通常撮影を行なう。また、測光領域の輝度が低く、フラッシュ１８を使用した撮影を行なう場合には、Ｓ１２１に進み、赤目緩和機能の使用設定を確認する。ここで確認する設定は、個人別に登録されている設定ではなく、一般的な動作設定としてメニュー画面から設定可能なものである。Ｓ１２１で、禁止が設定されていなければ、図２で説明した認識、判別処理の結果に応じた赤目緩和機能の実施を設定する。

Ｓ１４１では、図２で説明したＳ１０９の認識処理において、目が検出されているかどうかを調べ、検出できていなければ、赤目緩和機能を実施せずに通常の撮影を行なうべくＳ１２７へ進む。一方、目の検出がされていれば、Ｓ１４２で個人判別ができているかどうかを調べる。個人判別が出来ていなければ、Ｓ１４３で通常の赤目緩和機能の実施を設定し、Ｓ１２５へ進む。また、Ｓ１４２で個人判別が出来ている場合には、判別された個人に対応する登録データを参照する（Ｓ１２２）。

図１０は、本実施形態のデジタルカメラ１００において用いる赤目緩和機能の制御パラメータテーブルの例を示す図である。
本実施形態では、個々の設定に対応したコード（赤目緩和機能制御コード）と、赤目緩和機能の制御パラメータとして、赤目緩和部１７が有するランプの点灯時間、点灯方式が関連付けられている。そして、個人判別用に用いられるデータに加え、例えばこのコードが個人情報として登録される。すなわち、登録される個人データには、識別情報（ＩＤ）、特徴点データ、赤目緩和機能制御コードが含まれる。そして、図２で説明した判別処理において個人を特定できた場合にはそのＩＤをＲＡＭ３等に記憶しておき、Ｓ１２２ではこのＩＤを用いて個人データを特定する。さらに、特定した個人データ中に含まれる赤目緩和機能制御コードから図１０に示すテーブルを参照する。個々人に対して個別の赤目緩和機能の実施を設定可能である。

図１０に示すように、図１０の例では赤目緩和機能の制御パラメータとして、点灯時間（ランプを利用する期間）、点灯方法（連続点灯又は点滅）、ランプの駆動電流の増加（輝度増加）有無を用いて赤目緩和機能、すなわちプリ発光の内容を変化させる。図１０において、下に記載されるほど赤目緩和機能は強くなる。

図１０に示す複数通りの設定値は、例えば操作部６を用いてメニュー画面を操作することにより、ユーザが設定及び変更可能とされる。例えば最初の撮影時にはデフォルトのコード（例えば０００１）が個人データに登録され、撮影結果に応じて設定変更を行ない、個人の好みや実効などの観点から設定を変更することができる。

例えば、プリ発光を望まない人や、プリ発光をしなくても赤目になりにくい人の場合にはプリ発光を禁止するように設定（コード００００）する。また、効果が出にくい人の場合には点灯時間を長くしたり、駆動電流を増加させたり、点滅させたりするという、より強い赤目緩和機能が実施されるように設定する。逆に、最強の赤目緩和機能を行なっても赤目になってしまう人に関しては赤目緩和機能の実施（プリ発光）を禁止することもできる。

また、子供（一般に、動きやすく、プリ発光を行なうとシャッターチャンスを逃しやすい）や、ランプによる照射が望ましくない動物に関してはプリ発光を禁止とするという、被写体の種類に応じた設定が可能であっても良い。この場合、認識処理において被写体の距離と顔面積との関係により子供かどうかを判断することが可能である。また、ペットについては犬や猫といった代表的な動物に対し、個人データとして特徴点データを記憶しておくことで認識が可能である。

なお、ここではデフォルトのプリ発光強度が図１０において最も弱いコード０００１に対応するものとした。しかし、デフォルトの制御を強め（例えばコード０１１１等）にしておき、デフォルトの制御で効果が得られる人に対して赤目緩和機能を弱く設定できるようにしても良い。また、個人データに登録するデフォルトのコードに対応する赤目緩和機能制御は、通常の赤目緩和機能制御と等しくても良いし、等しくなくても良い。

Ｓ１２２で個人データを参照した結果、赤目緩和機能の実施禁止コード（００００）が設定されていれば、赤目緩和機能の実施設定を行なわずにＳ１２７へ進み、通常のフラッシュ撮影を行なう。一方、赤目緩和機能禁止以外のコードが設定されていれば（Ｓ１４４）、コードに対応した制御パラメータを設定する（Ｓ１２３）。

そして、Ｓ１２５で、設定に応じたランプのプリ発光を行ない、Ｓ１２７へ進む。Ｓ１２７では、通常のフラッシュ撮影を行なう。フラッシュを使用しない撮影（Ｓ１２０）およびフラッシュ撮影（Ｓ１２７）では、最新の測光領域が最適な輝度となるように絞り９を絞りドライバ１０にて制御し、最新の焦点調節領域に焦点が合うように光学レンズ群７をレンズドライバ８を駆動して撮像する。

Ｓ１２８では、撮影された被写体の現像処理（色補間処理、ホワイトバランス処理といった、ＲＡＷデータを画像として視認できるデータに変換する処理）を行なう。更に、現像後の画像中、赤目現象が発生しているかどうかを確認する（Ｓ１２９）。この確認は、顔画像の瞳位置に対応する画素の色を判別することにより行なう。なお、Ｓ１２９の処理はフラッシュ撮影時のみ実施するようにしても良い。

確認の結果、赤目が認められる場合には、警告及び／又は画像合成による赤目補正処理を行う（Ｓ１３０）。Ｓ１３１では、Ｓ１２８またはＳ１３０で得られた画像信号を圧縮符号化し、メモリカード４に書き込む。

次に、本実施形態のデジタルカメラ１００における露出制御、焦点調節制御の詳細について説明する。
デジタルカメラ１００は、図５に示すように、撮像データを複数のブロック（小領域）に分割し、ブロックごとに輝度値を算出する。図中、顔のイメージが示された領域が顔画像検出部１５にて検出された顔領域である。このとき、各ブロック内の顔領域が占める割合に応じて重み付けを行う。図示の場合、５段階の重み付けを示しており、"５"は該当するブロック内に顔領域のみが存在する場合を示す。顔領域と非顔領域の両方を含むブロックについては、その割合に応じた値を設定し、完全に非顔領域のみしか存在しないブロックについては"１"の重み付け値を割振った。

この結果、各ブロックの輝度をＢｉ、重み付け値をＤｉ（ｉ＝１，２...，ブロック総数）としたとき、画像全体の積分輝度ＴＢは、
ＴＢ＝ΣＢｉ×Ｄｉ
で表わされる。

次いで、積分輝度値の平均が予め設定した目標輝度値になるよう絞り、シャッタースピードを算出する。このような構成により、顔領域における適正露出が優先された露出制御が実現できる。特に逆光下においても人物に最適な露出レベルとなる。もちろん、重み付けをせずに、顔画像検出部１５にて検出された顔領域から得られる輝度値のみを用いて露出制御を行っても構わない。

また、焦点調節制御についても、図６に示すように、Ｓ１０９で検出された両目が含まれるように焦点調節領域（ＡＦ(Auto Focus)領域）を設定し、その焦点調節領域内で合焦するよう光学レンズ群７を制御する。

具体的には、光学レンズ群７のフォーカスレンズを予め決められたステップ幅毎に移動させ、その都度撮影を実施し、設定した焦点調節領域の領域の画像信号から輝度信号を作成し、バンドパスフィルタを適用して高周波信号群を作成する。そして、各高周波信号群の絶対値の和をＡＦ信号として算出し、最もＡＦ信号の値が大きくなった画像を撮影した位置を合焦位置と判断し、光学レンズ群７に含まれるフォーカスレンズをその位置に移動させる。

なお、顔に相当するとして検出された顔領域が複数存在する場合には、各顔領域について合焦位置を検出し、その結果最も近距離と判定された合焦位置にフォーカスレンズを移動させる。このような構成により、常に顔、特に目に対する合焦精度が向上する。

次に、本実施形態のデジタルカメラ１００におけるホワイトバランス処理について説明する。
図７は、本実施形態のデジタルカメラ１００において、撮像素子１１が有するカラーフィルタのＲＧＢ配置パターンを示す図である。ホワイトバランス処理は、撮像データを図７に示すような４画素から成る小ブロック（ＲＧＢブロック）に分割し、以下の式を用いて各ブロックの白評価値（Ｃｘ，Ｃｙ）を算出する。
Ｃｘ＝（Ｒ−Ｂ）／Ｙ
Ｃｙ＝（Ｒ＋Ｂ−（Ｇ１＋Ｇ２））／Ｙ
上式におけるＲ，Ｂ，Ｇ１，Ｇ２はそれぞれＲＧＢブロックを構成するＲフィルタ、Ｂフィルタ、Ｇ１及びＧ２フィルタを通過した光束を撮像素子１１で光電変換して得られた値であり、ＹはこれらＲ，Ｇ１，Ｇ２，Ｂの値を演算して得られた輝度値である。

各白評価値が予め設定された白検出範囲（図８の点線内領域）に入るかどうかをチェックし（白サーチと呼ぶ）、白検出範囲内であれば白と判断する。そして、白と判断されたＲＧＢブロックの画素積分値よりホワイトバランスゲインを算出する。

これが通常用いられているホワイトバランスの基本アルゴリズムであるが、図８に示すように、低色温度光源（赤みがかった光源）下の白色被写体と、高色温度光源（青みがかった光源）下の肌色被写体では、色評価値がほぼ同じ値となる。そのため、正しい白検出ができなくなる。本実施形態では、これを回避するために、顔（肌色被写体）と判断されたＲＧＢブロックを白サーチ対象から除外する。また、白のみ検出するのではなく、顔と判断された領域は白サーチと同様の方法で、肌色サーチを行い、予め設定した肌色・色温度特性グラフより色温度を特定することでより正確な光源色温度を算出できる。

以上説明したように、本実施形態によれば、個人データとして赤目緩和機能を制御するための情報を記憶し、被写体として含まれる人物に対応する個人データに基づいて赤目緩和機能を実施する。これにより、従来は被写体の区別無く一律に行なわれていた赤目緩和機能の実施をよりきめ細かく制御することが可能となり、より効果的な赤目緩和の実現が期待される。

特に、赤目緩和を行なう場合には、その強度を可変とすることで、より個々の人物に適した赤目緩和機能の実施が可能である。なお、実施形態においては強弱が可変である場合のみを説明したが、実施、不実施のみを個人データに登録することも可能である。

また、プリ発光を行なわない設定も個人データとして設定可能である。そのため、プリ発光を望まない人や、プリ発光によりシャッターチャンスを逃し易い被写体、プリ発光の効果がない人、或いはプリ発光しなくても赤目になりにくい人の撮影において、プリ発光を行なわない様に制御することが可能である。

＜第２の実施形態＞
図９は、本発明の第２の実施形態に係る撮像装置としてのデジタルカメラにおける撮影処理動作を説明するフローチャートである。
図９と図３との比較から明らかなように、本実施形態のデジタルカメラは、現像処理後の画像データ中に赤目現象の発生が検出された際の処理が第１の実施形態と異なる。それ以外の点に関しては第１の実施形態のデジタルカメラ１００と同等でよいため、ここでは第１の実施形態と異なるＳ２０１〜Ｓ２０５の処理についてのみ説明する。

Ｓ１２９において、現像後の画像中、赤目現象が発生しているかどうかを確認し、確認の結果、赤目が認められない場合には、個人が特定されていれば、その個人データの撮影回数を１増加させた後、Ｓ１３１へ進む。一方赤目が検出された場合には、Ｓ２０１へ進む。

Ｓ２０１では、合焦距離（上述の通り、顔検出がなされた場合には顔に合焦するように制御される）が、赤目緩和効果の期待できる有効距離（およそ数メータ）の範囲内であるかどうかをチェックする。これは、もともと被写体距離が遠く、赤目緩和機能の効果が期待できない状態での撮影結果に基づいて、後述する赤目緩和機能の制御パラメータ変更処理を行なわないようにするためである。

そして、合焦距離が有効距離内であり、個人が特定されている場合には、個人データに含まれる赤目発生回数と赤目緩和機能の使用回数をそれぞれ１増加させるとともに、赤目発生確率を算出する。この確率は、赤目発生回数／赤目緩和機能の使用回数×１００（％）として算出可能である。そして、この確率が所定値以上であるかどうかを確認し（Ｓ２０３）、所定値に達していなければ、第１の実施形態と同様、Ｓ１３０において警告及び／又は画像合成処理による赤目補正を行い、Ｓ１３１へ進む。

一方、赤目発生確率が所定以上であれば、個人データを参照し、現在登録されている赤目緩和機能の制御パラメータが最強の状態（例えば図１０における「１１１１」）であるか、赤目緩和機能の禁止状態（例えば図１０における「００００」）かどうかを確認する（Ｓ２０４）。既に制御パラメータが最強の状態であれば、これ以上の効果が期待できないため、以後の撮影では赤目緩和機能の使用を禁止するように個人データに登録する。そして、Ｓ１３０において警告及び／又は画像合成処理による赤目補正を行い、Ｓ１３１へ進む。

一方、Ｓ２０４において、現在登録されている赤目緩和機能の制御パラメータが最強の状態でも、禁止状態でもない場合には、次回にはより強い赤目緩和機能が実施されるよう、制御パラメータを変更する（Ｓ２０５）。例えば、現在の設定値よりも図１０で１つ下の設定値となるように変更する。また、個人データに含まれる赤目発生回数と赤目緩和機能の使用回数をそれぞれ０に初期化する。これにより、新しい制御パラメータに対応した赤目発生確率を正しく算出できる。Ｓ２０５の処理が終了したら、Ｓ１３０へ進み、警告及び／又は画像合成処理による赤目補正を行った後、Ｓ１３１へ進む。

Ｓ１３１では、第１の実施形態で説明したように、Ｓ１２８又はＳ１３０で得られた画像データに対して圧縮符号化処理を適用し、画像ファイルとしてメモリカード４に記録する。

以上説明したように、本実施形態によれば、第１の実施形態の効果に加え、特定された個人に対する赤目緩和機能の制御パラメータを、自動的に更新することが可能となる。従って、同一個人に対して赤目緩和機能を用いた撮影を行なっていけば、個人個人に適した赤目緩和機能の実施が可能になる。

＜他の実施形態＞
また、上述の実施形態では、赤目現象の発生をデジタルカメラが検出し、画像処理による補正もカメラが行なうものとして説明したが、カメラでは赤目現象が検出された場合には補正を促す警告のみを行なうようにしてもよい。この場合、補正はユーザが別途パソコン等でフォトレタッチアプリケーション等を用いて行なう。

また、赤目緩和機能を強力にするための制御パラメータとして、ランプ駆動電流の増加を例示したが、他のパラメータを用いても良い。例えば、照射角を狭めることによっても輝度を上昇させることができる。なお、この場合には、主被写体が照射される範囲で照射角を狭める。

また、パターンマッチング処理において、顔画像領域から瞳が検出できない場合は赤目緩和機能を禁止しても良い。
また、撮影画像中に複数の個人が検出された場合は、個人データに優先順位を予め設定することで優先者の個人データを優先させることでも良い。
また、赤目緩和機能の効果は、予め登録した条件で撮影することで登録条件にて警告により確認が可能であることは言うまでもない。

また、上述の実施形態では、赤目緩和用の補助光源としてフラッシュとは別に設けられたランプを使用した場合について説明した。しかし、フラッシュを赤目緩和用の光源として用いる撮像装置であっても同様な赤目緩和機能の制御が可能である。この場合、赤目緩和機能の制御パラメータとして、光量、照射角またはシャッターが開くまでの時間を利用することができる。

なお、上述の実施形態では、撮像装置がデジタルカメラである場合について説明したが、本発明は、デジタルカメラ以外の装置（デジタルビデオカメラ、カメラ付き携帯電話など）で実施することも可能である。

また、上述の実施形態では、撮影モードがポートレートモード又はオートモードである場合には顔検出機能を有効としたが、顔検出機能の有効無効は他の条件に応じて設定しても良い。例えば、撮影モードに関わらず、顔検出機能の有効、無効をユーザが設定可能なように構成することができる。具体的には、顔検出機能の有効／無効設定ボタンを設けたり、設定メニュー項目中に顔検出機能の有効／無効設定項目を含めるなどを例示することができる。

また、上述の実施形態では人物の目の位置を検出し、これを基に口、鼻、耳等の他のパーツを検出して顔に相当する領域を検出していたが、他の方法により顔画像領域を検出しても良い。目だけを検出する場合や、あるいは顔や体の他のパーツを検出する場合であっても、撮像装置の姿勢に応じて検出方法を変えることで本発明を適用することができる。

また、上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、本発明の機能処理を撮像装置が有するコンピュータで実現するために、該コンピュータに供給、インストールされるコンピュータプログラム自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

この場合、本発明の機能処理をコンピュータで実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、例えばサーバとしてのコンピュータ装置とケーブルで接続したり、サーバとしての無線基地局との無線接続したりする方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）をサーバに記憶しておく。プログラムデータファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスした撮像装置に、プログラムデータファイルをダウンロードすることによって供給する。

本発明の実施形態に係る撮像装置としてのデジタルカメラの構成例を示すブロック図である。 実施形態に係るデジタルカメラの撮影準備処理を示すフローチャートである。 第１の実施形態に係るデジタルカメラの撮像装置の処理を示すフローチャートである。 実施形態におけるフィルタ処理のスキャン方向を示す図である。 実施形態における露出の重み付けを説明するための図である。 実施形態における焦点調節領域を示す図である。 実施形態に係るデジタルカメラで用いるカラーフィルタの例を示す図である。 実施形態におけるホワイトバランス処理を説明するための図である。 第２の実施形態に係るデジタルカメラの撮像装置の処理を示すフローチャートである。 実施形態に係るデジタルカメラで用いる赤目緩和機能の制御パラメータの例を示す図である。

Claims (13)

1. プリ発光を利用した赤目緩和機能を有する撮像装置であって、
   顔認識用の特徴点データ及び赤目緩和機能の制御パラメータを含む個人データを記憶する記憶手段と、
   本撮影前に得られる撮像画像と前記個人データとから、被写体に含まれる個人を特定する認識手段と、
   フラッシュ撮影時に、前記特定された個人に対応する個人データに含まれる前記制御パラメータに応じた前記赤目緩和機能の設定を行なう設定手段と、
   前記設定に応じた赤目緩和機能の実施及びフラッシュ撮影を行なう制御手段とを有することを特徴とする撮像装置。
2. 前記制御パラメータが、前記赤目緩和機能の不実施を含む複数通りの制御パラメータから選択されたものであることを特徴とする請求項１記載の撮像装置。
3. 前記個人データ中の制御パラメータが、複数の前記赤目緩和機能の強度を実現するための制御パラメータから選択されたものであることを特徴とする請求項１又は請求項２記載の撮像装置。
4. 前記制御パラメータが、前記プリ発光を行なう光源の駆動電流、発光時間、発光方法の少なくとも１つを含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
5. 前記認識手段が、前記撮像画像から顔画像領域を検出し、当該顔画像領域の特徴点データと前記個人データ中の特徴点データとから、前記被写体に含まれる個人を特定することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
6. 前記顔画像領域で適正露出が得られるように露出制御を行なう露出制御手段をさらに有することを特徴とする請求項５記載の撮像装置。
7. 前記認識手段が、前記顔画像領域中の目の領域を検出し、
   前記目の領域を合焦領域として自動合焦制御を行なう自動合焦制御手段をさらに有することを特徴とする請求項５又は請求項６記載の撮像装置。
8. 本撮影により得られた撮像画像中に赤目が存在するかどうかを検出する、赤目検出手段をさらに有することを特徴とする請求項１乃至請求項７のいずれか１項に記載の撮像装置。
9. 前記赤目が検出された場合、画像処理によって前記赤目を補正する赤目補正手段をさらに有することを特徴とする請求項８記載の撮像装置。
10. 前記赤目が検出された場合、前記特定された個人に対応する個人データに含まれる前記制御パラメータに基づく赤目緩和機能の実施を伴う撮影により、赤目が発生した確率を算出する確率算出手段と、
    前記確率が所定値以上である場合、前記個人データに含まれる前記制御パラメータを、より強い赤目緩和機能が期待される制御パラメータに変更する変更手段とをさらに有することを特徴とする請求項８又は請求項９記載の撮像装置。
11. 前記赤目が検出され、かつ前記特定された個人に対応する個人データに含まれる前記制御パラメータが、最も強力な赤目緩和機能の実施を設定する制御パラメータであった場合、前記個人データに含まれる前記制御パラメータを、赤目緩和機能の不実施を設定する制御パラメータに変更する禁止手段をさらに有することを特徴とする請求項８乃至請求項１０のいずれか１項に記載の撮像装置。
12. 前記個人データに含まれる前記制御パラメータを、ユーザが変更するための操作手段をさらに有することを特徴とする請求項１乃至請求項１１のいずれか１項に記載の撮像装置。
13. プリ発光を利用した赤目緩和機能を有する撮像装置の制御方法であって、
    顔認識用の特徴点データ及び赤目緩和機能の制御パラメータを含む個人データを記憶する記憶手段から、前記個人データを読み出すステップと、
    本撮影前に得られる撮像画像と、前記個人データとから、被写体に含まれる個人を特定する認識ステップと、
    フラッシュ撮影時に、前記特定された個人に対応する個人データに含まれる前記制御パラメータに応じた前記赤目緩和機能の設定を行なう設定ステップと、
    前記設定に応じた赤目緩和機能の実施及びフラッシュ撮影を行なう制御ステップとを有することを特徴とする撮像装置の制御方法。

Images