JP2004206688A - 顔認識方法、顔切出方法、および撮像装置 - Google Patents

Abstract

【課題】画像に含まれる顔部分をより正確に認識することができる顔認識方法、認識した顔を切り出す顔切出方法、および撮像装置を提供することを目的とする。
【解決手段】閃光発光装置とレンズとの距離を極めて近くするなどして、故意に赤目などの目が変色する不具合の発生率を上昇させたカメラを使い、被写体を撮影する。撮影画像に含まれる目の変色部分を検出し、その目の変色部分を基に撮影画像に含まれる人物の顔を認識する。撮影画像中の目の変色部分を修正して、認識した顔部分を不具合修正後の撮影画像から切り出すことで、より正確に、かつ不具合が修正された顔画像を生成することができる。
【選択図】 図３

Description

本発明は、画像に含まれる人物の顔部分を認識する顔認識方法、認識した顔部分を切り出す顔切出方法、および、被写体の撮影を行って撮影画像を得て、その撮影画像に含まれる人物の顔部分を認識する撮像装置に関する。

従来、デジタルカメラの普及に伴って、撮影画像をデジタル化して扱うことが広範に行われている。例えば、フィルムに記録された撮影画像は、保管するのに嵩張ったり、撮影画像をプリントするときに、通常は、プリント店に依頼しなければならないなどという不便さがある。これに対し、デジタル化された撮影画像は、複数の撮影画像をまとめてＦＤなどに記録することができるために嵩張らず、また、パーソナルコンピュータとプリンタとを使って、いつでも撮影画像をプリントすることができるという利点がある。さらに、撮影画像をデジタル化する利点として、撮影画像にパーソナルコンピュータなどを使って所望の画像処理を施し、撮影画像の不具合を修正することができるという点も挙げられる。上述した画像処理としては、例えば、フラッシュ撮影時の閃光が網膜の奥で反射して目が赤色や金色に写ってしまう赤目や金目を修正する処理や、閃光によって目をつぶってしまう目瞑りを修正する処理、空の色や肌の色を見た目に好ましい色に修正する処理、および階調補正処理などがあり、デジタル化された撮影画像にこれらの画像処理を施すことによって、より好ましい画像を得ることができる（例えば、特許文献１、および特許文献２参照）。

また、近年では、集合写真用の撮影画像データに所定の画像処理を施して、撮影画像中の各個人の顔部分を切り出した顔画像を表わす画像データを生成し、その画像データに基づいて個人写真を作成することなども行われている。
特開平１０−２３３９２９号公報 特開平１１−１２７３７１号公報

集合写真用の撮影画像データから個人写真用の画像データを生成するには、まず、撮影画像に含まれる、目印となる顔部品（以下、これを目印部品と称する）を検出し、その目印部品を基に撮影画像中の顔部分を認識して、撮影画像から顔部分を切り出した顔画像を表わす画像データを生成する。

ここで、撮影画像中の複数の顔部分を切り出す場合、例えば、目印部品が目であるときに撮影画像中に赤目や目瞑りが生じているなど、目印部品の状態のばらつきが大きいと、目印部品を検出することが困難になる。その結果、目印部品を確実には検出することができず、認識できる顔部分と認識できない顔部分とができてしまう恐れがある。さらに、最近のカメラは小型化が進み、カメラの閃光発光装置とレンズとの間の距離を十分にとることができないために赤目や金目の発生が増加しており、撮影画像中の目を正確に検出することがいっそう困難になっているという問題がある。

本発明は、上記事情に鑑み、画像に含まれる顔部分を精度よく認識することができる顔認識方法、認識した顔部分を切り出す顔切出方法、および、被写体の撮影を行って撮影画像を得て、その撮影画像に含まれる人物の顔部分を精度よく認識することができる撮像装置を提供することを目的とする。

上記目的を達成する本発明の顔認識方法は、画像を表わす画像データに基づいて、画像中の顔部分を認識する顔認識方法において、
画像データに基づいて、画像中で所定の変色を生じている目部分を検出する検出過程と、
検出過程で検出された目部分を基に、前記画像中の顔部分を認識する認識過程とを有することを特徴とする。

従来、撮影画像中の目を検出して、検出した目を基に撮影画像に含まれる顔部分を認識する顔認識方法が知られている。撮影画像中の目を検出する際には、撮影画像中の一般的な目の色（黒や青など）と目の形（丸）である画像部分を検出することが行われているが、例えば、撮影画像に赤目や金目が生じているときには、撮影画像に含まれる全ての目を正確に検出することは困難である。この結果、撮影画像中の認識できる顔部分と認識できない顔部分とが生じてしまうという恐れがある。

ところで、近年では、カメラの小型化が進み、閃光発光装置とレンズとの間の距離が十分にはとれないために、赤目や金目のような目の変色の発生率が上昇している。また、この目の変色の発生率が上昇するのに伴って、上記のような撮影画像中の目を基にした顔の認識率はますます低下している。これに対して、本発明の顔認識方法は、検出過程で検出された変色を生じている目部分に着目して、その変色した目部分を基に認識過程で顔部分を認識する。目の変色の発生を回避することは困難なことであるが、目の変色を故意に発生させるのは容易なことであるため、本発明の顔認識方法によると、目の変色を故意に発生させた撮影画像を使って、精度よく、かつ容易に顔部分を認識することができる。

また、本発明の顔認識方法において、上記の検出過程は、画像中の赤目部分を検出する過程であることが好ましい。

被写体を撮影するカメラの閃光発光装置とレンズとの位置を極めて近くすると、特に赤目の発生率が上昇する。また、撮影画像中の赤目を検出する処理は、従来から広く行われているために技術の蓄積が豊富であり、それらのノウハウを使って精度よく赤目を検出することができる。したがって、この赤目が起こりやすい設計のカメラを用いて被写体を撮影し、撮影画像中の赤目を検出して顔部分を認識することにより、いっそう正確で効率よく顔部分を認識することができる。

また、上記目的を達成する本発明の顔切出方法は、画像を表わす画像データに基づいて、画像中の顔部分を切り出して顔部分画像を生成する顔切出方法において、
画像データに基づいて、画像中の赤目部分を検出する検出過程と、
検出過程で検出された赤目部分を基に、画像中の顔部分を認識する認識過程と、
検出過程で検出された赤目部分を修正する修正過程と、
認識過程で認識され、修正過程で赤目部分が修正された顔部分を画像から切り出して顔部分画像を生成する顔画像生成過程とを有することを特徴とする。

従来から、集合写真用の撮影画像から各個人の顔部分を認識し、その顔部分を切り出して個人写真を生成することが行われている。このとき、上記の顔認識方法のように、撮影画像中の赤目部分を基に顔部分を認識する方法を適用して顔部分を認識し、認識した顔部分を切り出して顔部分画像を生成することにより、正確で効率よく顔部分画像を生成することができる。

また、本発明の顔切出方法は、画像を表わす画像データに基づいて、画像中の顔部分を切り出して顔部分画像を生成する顔切出方法において、
画像データに基づいて、画像中で所定の変色を生じている目部分を検出する検出過程と、
検出過程で検出された目部分を基に、画像中の顔部分を認識する認識過程と、
検出過程で検出された目部分の変色を修正する修正過程と、
認識過程で認識され、修正過程で変色が修正された顔部分を画像から切り出して顔部分画像を生成する顔画像生成過程とを備えたものであってもよい。

本発明の顔切出方法は、赤目に限らず、例えば、金目などのような目の変色を基に顔部分を認識し、認識した顔部分を切り出して顔部分画像を生成するものであってもよい。赤目を故意に発生させることは、その他の目の変色を発生させることよりも容易であるため、赤目を基に顔部分を認識することによって、より精度よく顔部分を認識して正確に顔部分画像を生成することができる。

また、上記目的を達成する本発明の顔認識装置は、画像を表わす画像データに基づいて、画像中の顔部分を認識する顔認識装置において、
画像データに基づいて、画像中で所定の変色を生じている目部分を検出する検出部と、
検出部で検出された目部分を基に、画像中の顔部分を認識する認識部とを備えたことを特徴とする。

本発明の顔認識装置を使って、例えば、閃光発光装置とレンズとの位置が極めて近い、赤目や金目などの発生しやすいカメラで撮影された画像に含まれる顔部分をより正確に認識することができる。

また、上記目的を達成する本発明の撮像装置は、被写体を撮影して撮影画像を表わす撮影画像データを生成する撮像装置において、
撮影画像データに基づいて、撮影画像中で所定の変色を生じている目部分を検出する検出部と、
検出部で検出された目部分を基に、撮影画像中の顔部分を認識する認識部と、
検出部で検出された目部分の変色を修正する修正部と、
認識部で認識され、修正部で変色が修正された顔部分を撮影画像から切り出して顔部分画像を生成する顔画像生成部とを備えたことを特徴とする。

本発明の撮像装置は、閃光発光装置とレンズとの位置を極めて近く設計するなどして、目の変色などの発生率を上昇させることで、撮影画像中の目の変色部分を検出して、その目の変色部分を基に認識した顔部分を切り出し、顔部分画像をより正確に生成することができる。

さらに、本発明の撮像装置において、上記の検出部は、画像中の赤目部分を検出するものであり、修正部は、検出部で検出された赤目部分を修正するものであることが好適である。

本発明によれば、画像に含まれる顔部分を精度よく認識する顔認識方法、認識した顔部分を切り出す顔切出方法、および、被写体の撮影を行って撮影画像を得て、その撮影画像に含まれる人物の顔部分を精度よく認識する撮像装置を提供することができる。

以下、本発明の実施形態について説明する。

図１は、本発明の一実施形態のデジタルカメラを示す外観図である。

デジタルカメラ１００の正面には、外観上、撮影時に押されるシャッタボタン１２０、シャッタボタン１２０の押下に同期して発光する閃光発光装置１４０、閃光発光装置１４０から発光された光量を計測する調光センサ１５０、撮影者が被写体の位置などを定めるために覗くファインダ１１０、および被写体に焦点を合わせるフォーカスレンズや撮影画角を切り替えるズームレンズなどで構成される撮影レンズ１３０が備えられている。シャッタボタン１２０は半押し、および全押しの２段階に押下可能であり、シャッタボタン１２０を半押しすると、撮影レンズ１３０内のフォーカスレンズに取り付けられたモータを光軸に沿う方向に駆動して撮影画角の中央領域に焦点を合わせて、フォーカスレンズの位置を被写体像の読み取り（露光）まで維持するフォーカスロックが設定され、シャッタボタン１２０を全押しするとシャッタが切られて実際の撮影が行われる。また、閃光発光装置１４０は、撮影レンズ１３０に極めて近い位置に備えられており、赤目を故意に発生させる設計になっている。

ここで、デジタルカメラ１００の内部の構造について説明する。

図２は、デジタルカメラのブロック図である。

このデジタルカメラ１００は、画像処理プロセッサ２００、タイミングジェネレータ２１０、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅ Ｄｅｖｉｃｅ）２１１、ＡＤ（Ａｎａｒｏｇ−Ｄｅｇｉｔａｌ）コンバータ２２０、画像表示ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２３０、高速演算用メモリ２４０、画像蓄積メモリ２５０、制御用マイクロコンピュータ３００、露光制御部３１０、シャッタ３１１、フォーカス制御部３２０、ズーム制御部３３０、閃光発光部３４０、電源制御部３５０、スイッチ群３６０、ステイタスＬＣＤ３７０、および図１にも示す撮影レンズ１３０を備えており、パーソナルコンピュータなどの外部装置５００に接続可能である。

まず、スイッチ群３６０について説明する。

スイッチ群３６０には、図示しないが、図１のシャッタボタン１２０の押下に伴って入切するシャッタスイッチ、撮影レンズ１３０内のズームレンズを動かして望遠撮影・広角撮影に撮影画角を切り替えるズームスイッチ、撮影画像を記録する通常記録モードと撮影画像に含まれる人物の顔部分を切り出した顔部分画像を記録する顔画像記録モードとのいずれかに記録モードを切り替えるモード切替スイッチ、撮影画像を画像表示ＬＣＤ２３０に表示する画像表示スイッチ、デジタルカメラ１００の状態をステイタスＬＣＤ３７０に表示するステイタススイッチなどが備えられている。シャッタスイッチは２段階に設定可能なスイッチであり、シャッタボタン１２０が半押しされると一段目のスイッチが入ってフォーカスロックが設定され、シャッタボタン１２０が全押しされると二段目のスイッチが入ってシャッタ３１１が切られる。

次に、スイッチ群３６０以外の各部分について説明する。

画像処理プロセッサ２００は、被写体を撮影した撮影画像に画像処理を施して、被写体までの距離測定（測距）、および輝度測定（測光）を行う。また、画像処理プロセッサ２００は、撮影画像に階調補正やホワイトバランス補正などといった所定の画像補正処理を施すとともに、撮影画像中の赤目を検出し、上述した記録モードに応じて、撮影画像中の赤目を修正する赤目修正処理、赤目を基に撮影画像に含まれる顔部分を認識する顔認識処理、赤目修正後の撮影画像から顔部分を切り出す顔切出処理を行う。これら赤目修正処理、顔認識処理、および顔切出処理については後述する。

ＣＣＤ２１１は、被写体光を受光して、その被写体光をアナログ信号である被写体信号に変換する。変換された被写体信号は、タイミングジェネレータ２１０で生成されるタイミングで、ＣＣＤ２１１からＡＤコンバータ２２０へ送られる。ＡＤコンバータ２２０は、ＣＣＤ２１１から取得した被写体信号を、デジタルデータである撮影画像データに変換する。

画像表示ＬＣＤ２３０は、画像処理プロセッサ２００から送られてきた画像データに基づく画像を表示する液晶モニタである。また、高速演算用メモリ２４０は、画像処理プロセッサ２００で使われる一時メモリであり、画像蓄積メモリ２５０は、画像処理プロセッサ２００から送られた画像データを記録するメモリである。

制御用マイクロコンピュータ３００は、撮影枚数の監視、バッテリ残量の監視などを行うとともに、画像処理プロセッサ２００から測距情報、および輝度情報等を取得して、撮影画角内の中央領域にある被写体にピントを合わせるときのフォーカスレンズ位置、スイッチ群３６０に含まれるズームスイッチの設定に従ったズームレンズ位置、撮影レンズ１３０に入ってくる光の量を調節する絞り量、およびＣＣＤ２１１で受光する時間を調節するシャッタスピード等を決定する。また、スイッチ群３６０から送られた各スイッチの設定状況に従って、上記の各レンズ位置などの各情報、および動作指示を図２の各部に伝える。

露光制御部３１０は、制御用マイクロコンピュータ３００から絞り量およびシャッタスピードの情報を取得すると、シャッタ３１１に取りつけられたモータを駆動して、絞り量を調節するとともに、指示されたシャッタスピードでシャッタ３１１を切り、ＣＣＤ２１１で被写体光を受光する際の露光を制御する。

フォーカス制御部３２０は、制御用マイクロコンピュータ３００からフォーカスレンズ位置の情報を取得すると、撮影レンズ１３０に含まれるフォーカスレンズに取り付けられたモータを駆動して、フォーカスレンズを指示されたフォーカスレンズ位置に移動させる。

ズーム制御部３３０は、制御用マイクロコンピュータ３００からズームレンズ位置の情報を取得すると、撮影レンズ１３０に含まれるズームレンズに取り付けられたモータを駆動して、ズームレンズを指示されたズームレンズ位置に移動させる。

閃光発光部３４０は、制御用マイクロコンピュータ３００から閃光の適性発光量の情報を取得すると、図１に示す閃光発光装置１４０から閃光を発光する。このとき発光した閃光の発光量は調光センサ１５０で計測され、発光量が適性発光量に達すると、発光を停止する。

電源制御部３５０は、電源４００から供給される電力を制御する。ステイタスＬＣＤ３７０は、制御用マイクロコンピュータ３００から撮影枚数やバッテリ残量などの情報を取得して、それらの情報を表示する液晶モニタである。

本実施形態のデジタルカメラ１００は、基本的には以上のように構成されている。ここで、デジタルカメラ１００における、本発明の一実施形態としての特徴は、画像処理プロセッサ２００で行われる、赤目修正処理、顔認識処理、および顔切出処理にあり、以下、これら各処理について詳しく説明する。

図３は、画像処理プロセッサの赤目修正処理、顔認識処理、および顔切出処理に関する機能の機能ブロック図である。

画像処理プロセッサ２００は、検出機能２０１、認識機能２０２、修正機能２０３、および顔画像生成機能２０４などの機能を有している。

検出機能２０１は、図２のＡＤコンバータ２２０からデジタル化された撮影画像を取得する。さらに、検出機能２０１は、撮影画像のうち、色が赤く丸い形状の画像部分を探して撮影画像に含まれている赤目を検出し、検出された赤目の位置を示す赤目の位置情報を生成する。赤目は、本発明にいう赤目の一例にあたるとともに、所定の変色を生じている目部分の一例にあたる。この検出機能２０１は、本発明の撮像装置および顔認識装置における検出部による機能の一例に相当する。

認識機能２０２は、検出機能２０１で生成された赤目の位置情報に基づいて、撮影画像に含まれる人物の顔を認識し、認識された顔の位置を示す顔の位置情報を生成する。この認識機能２０２は、本発明の撮像装置および顔認識装置における認識部による機能の一例に相当する。

修正機能２０３は、撮影画像、および検出機能２０１で生成された赤目の位置情報に基づき、撮影画像のうちの赤目の画像部分の彩度を所定の値まで落として、赤目の画像部分を写真として好ましい一般的な人物の目の色および明るさと同等な色および明るさに修正し、修正後撮影画像を生成する。修正機能２０３は、本発明の撮像装置における修正部による機能の一例にあたる。

顔画像生成機能２０４は、修正機能２０３で生成された修正後撮影画像、および認識機能２０２で生成された顔の位置情報を取得して、修正後撮影画像から人物の顔画像を切り出した顔部分画像を生成する。この顔画像生成機能２０４は、本発明の撮像装置における顔画像生成部による機能の一例に相当する。

画像処理プロセッサ２００は、顔認識処理および顔切出処理に関する機能として、基本的には以上のような機能を有している。

ここで、以下では、撮影者が被写体を撮影して、撮影画像を記録する一連の手順について説明する。

まず、撮影者が記録モードとして顔画像記録モードを選択して、撮影画像を記録する例について説明する。

撮影者は、図示しない記録モード切替ボタンで、記録モードとして顔画像記録モードを選択する。

撮影者によって顔画像記録モードが選択されると、デジタルカメラ１００の内部では、図２のスイッチ群３６０に含まれるモード切替スイッチで顔画像記録モードが設定され、設定された記録モードが制御用マイクロコンピュータ３００に伝えられる。制御用マイクロコンピュータ３００は、記録モードが伝えられると、その記録モードを画像処理プロセッサ２００に送る。

さらに、撮影者は、図１のファインダ１１０を覗き、所望の被写体が撮影画角内の中央領域に配置されるようにデジタルカメラ１００を動かして、シャッタボタン１２０を半押しする。

撮影者によって図１のシャッタボタン１２０が半押しされると、デジタルカメラ１００の内部では、図２のスイッチ群３６０に含まれるシャッタスイッチの一段目が入り、シャッタスイッチの一段目が入ったことが制御用マイクロコンピュータ３００に伝えられる。

このとき、画像処理プロセッサ２００では、測距などの処理に用いられる解像度の低い撮影画像データが取得される。即ち、ＣＣＤ２１１で被写体光が粗く読み取られて低解像度の被写体信号が生成され、低解像度の被写体信号がＡＤコンバータ２２０へ送られる。低解像度の被写体信号は、ＡＤコンバータ２２０で、デジタル信号である撮影画像データに変換され、この低解像度の撮影画像データは、画像処理プロセッサ２００に送られる。

画像処理プロセッサ２００は、低解像度の撮影画像データを用いて、撮影画角内の輝度を算出するとともに（測光）、低解像度画像データのうちの中央領域にあたる部分のコントラストを測定して被写体までの距離を算出する（測距）。算出結果である輝度情報および測距情報は、制御用マイクロコンピュータ３００に送られる。

制御用マイクロコンピュータ３００は、画像処理プロセッサ２００から取得した輝度情報から、シャッタスピードおよび絞り量を決定し、測距情報から、被写体に焦点をあわせるためのフォーカスレンズ位置を決定する。また、制御用マイクロコンピュータ３００は、フォーカス制御部３２０にフォーカスレンズ位置の情報を送り、シャッタスピードおよび絞り量を、撮影者によって図１のシャッタボタン１２０が全押しされるまで保持する。

フォーカス制御部３２０は、制御用マイクロコンピュータ３００からフォーカスレンズ位置の情報を取得し、撮影レンズ１３０に含まれるフォーカスレンズに取り付けられたモータを駆動して、フォーカスレンズをフォーカスレンズ位置に移動する。

上述した本撮影のための一連の準備処理（以下では、この一連の準備処理をプレ撮影処理と称する）が終了すると、以下で説明する本撮影処理が開始される。

撮影者は、図１のシャッタボタン１２０を全押しする。

シャッタボタン１２０が全押しされると、図２に示すスイッチ群３６０に含まれるシャッタスイッチの二段目が入り、シャッタスイッチの二段目が入ったことが制御用マイクロコンピュータ３００に伝えられる。

制御用マイクロコンピュータ３００は、シャッタスイッチの二段目が入ったことが伝えられると、シャッタスピードおよび絞り量の情報を露光制御部３１０に送る。露光制御部３１０は、制御用マイクロコンピュータ３００からシャッタスピードおよび絞り量の情報を取得すると、指示されたシャッタスピードおよび絞り量に従って、絞りを調節してシャッタ３１１を切る。

シャッタ３１１が切られると、ＣＣＤ２１１で受光された被写体光は、解像度の高い被写体信号に変換されてＡＤコンバータ２２０へ送られ、その被写体信号は、ＡＤコンバータ２２０で解像度の高い撮影画像データに変換される。さらに、撮影画像データは画像処理プロセッサ２００に送られる。

図４は、画像処理プロセッサに撮影画像が送られて、その撮影画像が図２に示す画像蓄積メモリに記録されるときの、画像処理プロセッサで行われる一連の処理を示すフローチャートである。以下では、この図４のフローチャートを使って、画像処理プロセッサ２００に撮影画像が送られてからその撮影画像が記録されるまでの一連の手順について説明する。尚、図４とともに、図５から図９の各図も合わせて参照しながら説明する。

図３に示す画像処理プロセッサ２００の検出機能２０１には、図２の制御用マイクロコンピュータ３００から、記録モードとして顔画像記録モードが設定されたことが伝えられ、ＡＤコンバータ２２０から撮影画像データが送られる（図４のステップＳ１）。

以上のようにして本撮影処理が行われ、撮影画像が取得される。

図５は、検出機能に入力された撮影画像データが表わす撮影画像を示す図である。撮影画像６００は、複数の人物６０１が含まれた集合写真用の撮影画像である。デジタルカメラ１００は、故意に赤目を発生させるカメラであり、撮影画像６００に含まれる全ての人物６０１の目には赤目が生じている。赤目は、閃光を発光して人物を撮影するときに、目の瞳孔が開いた状態で閃光の強い光が眼底の毛細血管に当たって反射し、その結果、撮影画像に写っている人物の目の色が赤くなってしまう現象である。この赤目は、カメラのレンズと閃光発光装置が近い場合に発生しやすいものであるが、本実施形態のデジタルカメラ１００は、図１に示すように、撮影レンズ１３０と閃光発光装置１４０が極めて近い位置に配置されている。

図３の検出機能２０１は、図５の撮影画像６００のうち、色が赤く、形状が丸い画像部分を探し、撮影画像６００に含まれている赤目を検出する（図４のステップＳ２）。

図６は、撮影画像に含まれている赤目を検出した検出結果を示す図である。図５の撮影画像６００に含まれている人物６０１の目には、全て赤目が発生しているため、赤目の検出結果６１０には、撮影画像６００中の全ての人物の目６１１が含まれている。

図３の検出機能２０１は、検出した赤目の位置を示す赤目の位置情報を生成し、撮影画像データ、赤目の位置情報、および記録モードである顔画像記録モードを修正機能２０３に送る。さらに、検出機能２０１は、撮影画像データおよび赤目の位置情報を認識機能２０２にも送る。検出機能２０１で行われるステップＳ２の処理は、本発明の顔認識方法および顔切出方法における検出過程の一例にあたる。

図４のフローチャートにおいて、ここでは記録モードとして顔画像記録モードが選択されているため、ステップＳ３からステップＳ５に進む。

図３の認識機能２０２は、検出機能２０１から赤目の位置情報および撮影画像データを送られると、その赤目の位置情報を基に、撮影画像データが表わす撮影画像中の人物の顔を認識する（図４のステップＳ５）。

図７は、図６の赤目の検出結果を基に、図５の撮影画像に含まれる人物の顔を認識した結果を示す図である。顔の認識結果６２０では、図５の撮影画像６００における、図６の赤目の検出結果６１０で示される目６１１の周辺部が、顔６２１として認識されている。

図３の認識機能２０２は、認識した顔の位置を示す顔の位置情報を生成し、この顔の位置情報を修正機能２０３に送る。認識機能２０２で行われるステップＳ５の処理は、本発明の顔認識方法および顔切出方法における認識過程の一例に相当する。

修正機能２０３は、検出機能２０１から送られた撮影画像データおよび赤目の位置情報を基に、撮影画像データが表わす撮影画像のうちの、赤目の位置情報が示す位置の画像部分の彩度を落として、撮影画像に含まれる赤目を修正する（図４のステップＳ６）。

図８は、図６の赤目の検出結果を基に、図５の撮影画像に含まれる赤目を修正した修正後撮影画像を示す図である。図５の撮影画像６００に含まれる人物６０１の目に生じていた赤目が、修正後撮影画像６３０に含まれる人物６３１の目では修正されている。

図３の修正機能２０３は、修正後撮影画像６３０を表わす修正後撮影画像データ、および認識機能２０２から送られた顔の位置情報を顔画像生成機能２０４に送る。修正機能２０３で行われるステップＳ５の処理は、本発明の顔切出方法における修正過程の一例にあたる。

顔画像生成機能２０４は、修正機能２０３から修正後撮影画像データおよび顔の位置情報が送られると、修正後撮影画像データが表わす修正後撮影画像から顔の位置情報が示す画像部分を切り出して、顔部分画像を生成する（図４のステップＳ６）。

図９は、図８の修正後撮影画像から、図７の顔の認識結果に基づく顔の画像部分を切り出した顔部分画像を示す図である。図９に示すように、顔部分画像６４０に含まれる人物の目は、赤目が修正されており、かつ、図５に示す撮影画像６００に含まれる人物６０１全員の顔部分画像６４０が生成されている。

顔画像生成機能２０４は、顔部分画像に基づく顔画像データを、図２に示す画像蓄積メモリ２５０に送る。この顔画像生成機能２０４で行われるステップＳ６の処理は、本発明の顔切出方法における顔画像生成過程の一例に相当する。

顔画像データは、画像蓄積メモリ２５０に送られて、画像蓄積メモリ２５０で記録される（図４のステップＳ８）。

上記のような処理が、撮影が終了するまで繰り返される（図４のステップＳ９）。

このように、本実施形態のデジタルカメラ１００によると、赤目を確実に発生させて、その赤目に基づいて精度良く顔部分を認識し、確実に顔部分を切り出すことができる。

以上で、記録モードとして顔画像記録モードを選択して、撮影画像を記録する例についての説明を終了し、次に、記録モードとして通常記録モードを選択して撮影画像を記録する例について説明する。

撮影者は、図示しない記録モード切替ボタンで、記録モードとして通常記録モードを選択する。

撮影者によって通常記録モードが選択されると、デジタルカメラ１００の内部では、図２のスイッチ群３６０に含まれるモード切替スイッチで通常記録モードが設定され、設定された記録モードが制御用マイクロコンピュータ３００に伝えられる。上述した顔画像記録モードの場合と同様に、制御用マイクロコンピュータ３００は、記録モードを画像処理プロセッサ２００に送る。

さらに、撮影者は、顔画像記録モード選択時と同様に、図１のファインダ１１０を覗き、シャッタボタン１２０を半押ししてフォーカスロックを設定する。

撮影者によって図１のシャッタボタン１２０が半押しされると、デジタルカメラ１００の内部では、上述した顔画像記録モードの場合と同様に、一連のプレ撮影処理が行われる。

ここで、撮影者は、図１のシャッタボタン１２０を全押しする。

シャッタボタン１２０が全押しされると、上述した顔画像記録モードの場合と同様の本撮影処理が行われ、撮影画像を表わす撮影画像データが図２に示す画像処理プロセッサ２００に入力される。

以下では、記録モードとして顔画像記録モードを選択した場合の上記説明と同様に、図４のフローチャートを使って説明する。

図３に示す画像処理プロセッサ２００の検出機能２０１は、撮影画像データが送られるとともに、図２の制御用マイクロコンピュータ３００から記録モードとして通常記録モードが設定されたことが伝えられる（図４のステップＳ１）。検出機能２０１は、上述した顔画像記録モードの場合と同様に赤目を検出して赤目の位置情報を生成するが（図４のステップＳ２）、この例では顔の切出しは行わず（図４のステップＳ３）、撮影画像および赤目の位置情報を認識機能２０２には送らず、撮影画像、赤目の位置情報、および記録モードとして通常記録モードを修正機能２０３にのみ送る。図４のフローチャートではステップＳ３からステップＳ４に進む。

修正機能２０３では、検出機能２０１から送られた撮影画像データおよび赤目の位置情報を基に、上述した顔画像記録モードの場合と同様な撮影画像中の赤目の修正処理が行われる（図４のステップＳ４）。また、この例では、修正機能２０３は、撮影画像中の赤目を修正した修正後撮影画像を表わす修正後撮影画像データを顔画像生成機能２０４には送らず、図２に示す画像蓄積メモリ２５０に直接送る。

修正後撮影画像データは、画像蓄積メモリ２５０に送られて、顔部分画像データと同様に画像蓄積メモリ２５０で記録され（図４のステップＳ８）、上記のような処理が、撮影が終了するまで繰り返される（図４のステップＳ９）。

このように、本実施形態のデジタルカメラによると、通常記録モードが選択された場合にも、赤目が修正された見た目に好ましい画像を記録することができる。

以上で、本発明の第１実施形態の説明を終了し、続いて、本発明の第２実施形態について説明する。本実施形態のデジタルカメラは、第１実施形態のデジタルカメラ１００と同様な要素を有するが、第１実施形態とは赤目の検出を行うタイミングが異なる。以下では、第１実施形態の説明で使った図１および図２をここでも使って、第１実施形態との相違点に注目して説明する。

図１０は、本実施形態のデジタルカメラで行われる一連の撮影処理を示すフローチャートである。

まず、撮影者は、所望の被写体に向けて図１のデジタルカメラ１００を動かして、シャッタボタン１２０を半押しする。

図１のシャッタボタン１２０が半押しされると、デジタルカメラ１００の内部では、図２のスイッチ群３６０に含まれるシャッタスイッチの一段目が入る。このとき、制御用マイクロコンピュータ３００から閃光発光部３４０に発光量の指示が与えられ、閃光発光部３４０は、図１に示す閃光発光装置１４０から指示された発光量の閃光を発光する（図１０のステップＳ２１）。

閃光が発光されると、第１実施形態と同様に、ＣＣＤ２１１で被写体光が粗く読み取られ、解像度の低い撮影画像データが生成される（図１０のステップＳ２２）。この低解像度の撮影画像データが表わす画像は、図５に示す撮影画像６００と同様の、ただし画質が粗い画像となる。

画像処理プロセッサ２００は、図４のステップＳ２と同様の処理によって、低解像度の撮影画像データが表わす画像に含まれる赤目を検出する（図１０のステップＳ２３）。

赤目が検出された場合、図１０のステップＳ２４からステップＳ２５へ進む。画像処理プロセッサ２００は、図４のステップＳ５と同様な処理を行い、低解像度の撮影画像データが表わす画像中の人物の顔を検出し（図１０のステップＳ２５）、検出した顔の位置を示す位置情報を生成する。

画像処理プロセッサ２００は、さらに、低解像度の撮影画像データに基づいて、顔の位置情報が表わす位置（以下、この顔の位置情報が表わす位置を被写体位置と称する）における測距情報、および被写体位置における輝度情報とを算出し、それらの情報を制御用マイクロコンピュータ３００に送る。

制御用マイクロコンピュータ３００は、画像処理プロセッサ２００から取得した輝度情報から、シャッタスピードおよび絞り量を決定し、測距情報から、被写体に焦点をあわせるためのフォーカスレンズ位置を決定する。このようにして決定されたシャッタスピードや絞り量、フォーカスレンズ位置などに従って、図２に示す各種要素が調整される（図１０のステップＳ２６）。

図１０のステップＳ２１からステップＳ２６における一連のプレ撮影処理が終了すると、撮影者によって図１のシャッタボタン１２０が全押しされ、図４のステップＳ１で説明した第１実施形態における本撮影処理と同様の本撮影処理が行われる（図１０のステップＳ２７）。

ここで、画像処理プロセッサ２００で算出された測距情報や輝度情報は、撮影画像データが表わす撮影画像に含まれる赤目に基づいて人物の顔が検出されて、その人物の位置に合わせて算出されたものである。したがって、この測距情報や輝度情報に基づいて、ＡＦ（フォーカス調整）、ＡＥ（露出調整）、ＡＷＢ（ホワイトバランス補正）などを行うことによって、検出された人物に精度良く焦点を合わせて、好ましい露出で撮影を行うことができる。また、動画を撮影することができるデジタルカメラで、上記のようにプレ撮影処理で予め人物を検出しておき、例えば、その検出した人物の色を追跡して撮影を続けることによって、その検出した人物に常に焦点が合わせられた、画質のよい動画を得ることができる。

また、図１０のステップＳ２４において、低解像度の撮影画像データが表わす撮影画像中に赤目が検出されなかった場合、この撮影画像中には人物が含まれていないことを表わす。この場合には、ステップＳ２４からステップＳ２７に進み、所定のシャッタスピードや絞り量やフォーカスレンズ位置などに従って本撮影が行われる。

以上で、本発明の第２実施形態の説明を終了し、続いて、本発明の第３実施形態について説明する。本実施形態は、第１実施形態のデジタルカメラ１００と同様の構成を有する撮像装置を備え、その撮像装置で撮影された撮影画像中の人物に対して個人認証を行うシステムである。

図１１は、本発明の第３実施形態が適用された個人認証システムの機能ブロック図である。

個人認証システム７００は、図２に示す第１実施形態のデジタルカメラ１００と同様の構成を有する撮像装置７１０と、撮像装置７１０に接続されたパーソナルコンピュータ７２０とで構成されている。パーソナルコンピュータ７２０には、赤目検出部７２１、顔認識部７２２、個人認識部７２３、記憶部７２４、および画像表示部７２５それぞれとしての機能が備えられている。この赤目検出部７２１は、本発明にいう検出部の一例にあたり、顔認識部７２２は、本発明にいう顔認識部の一例に相当する。記憶部７２４には、予め、人物の顔画像と、その人物に関する情報とが対応付けられて保存されている。

図１２は、撮像装置で撮影された撮影画像に基づいて、撮影画像中の人物を認証する一連の処理を示すフローチャートである。

撮像装置７１０では、第１実施形態のデジタルカメラ１００における一連の撮影処理（図４のステップＳ１）と同様の一連の撮影処理が行われて、撮影画像を表わす撮影画像データが生成される（図１２のステップＳ３１）。この撮像装置７１０では、図１に示すデジタルカメラ１００と同様に、閃光発光装置とレンズとがかなり近接した位置に配置されており、撮影画像に赤目が生じやすいという特徴がある。この撮像装置７１０で生成された撮影画像データは、赤目検出部７２１に送られる。

赤目検出部７２１では、図４のステップＳ２や図１０のステップＳ２３と同様な処理によって、送られてきた撮影画像データが表わす撮影画像中の赤目が検出される（図１２のステップＳ３２）。

赤目検出部７２１で撮影画像中に赤目が検出された場合、ステップＳ３３からステップＳ３４に進み、撮影画像データと、赤目の位置情報とが顔認識部７２２に送られて、顔認識処理が開始される。顔認識部７２２では、図４のステップＳ４や図１０のステップＳ２５と同様の処理が行われ、撮影画像中の人物の顔部分が検出される（図１２のステップＳ３４）。顔認識部７２２で検出された顔部分を表わす顔部分画像は、個人認識部７２３に送られる。

個人認識部７２３は、記憶部７２４に記憶されている顔画像のうち、顔認識部７２２から送られてきた顔部分画像の顔を有する人物と同じ人物の顔画像を探索する。この個人を認証する処理は、従来から広く行われている処理であり、本明細書では詳細な説明を省略する。さらに、個人認識部７２３は、探索した顔画像と対応付けられた人物に関する情報を取得する（図１２のステップＳ３５）。取得された人物に関する情報と、人物の顔画像は、画像表示部７２５に送られて、それら人物に関する情報と、人物の顔画像とが表示画面（図示しない）上に表示される。

また、図１２のステップＳ３３において、撮影画像中に赤目が検出されなかった場合には、ステップＳ３４およびステップＳ３５の処理が省略され、個人認証処理が行われない。この場合、図１１の赤目検出部７２１から、画像表示部７２５に撮影画像が送られて、表示画面（図示しない）上に、撮影画像と、「個人が認証できません」というメッセージとが表示される。

従来から広く使われている、人物を撮影して得られた撮影画像に基づいて個人を認証する個人認証システムにおいては、例えば、人物の写真やお面などをカメラの前に配置すると、それら写真やお面を撮影した撮影画像に基づいて人物の確認が行われてしまい、個人認証システムが突破されてしまう恐れがある。本実施形態の個人認証システムによると、赤目などといった目の変色が生じている撮影画像中の人物に対してのみ個人認証を行い、写真やお面などが撮影された、赤目が生じていない撮影画像中の人物に対しては個人認証が行われず、エラーメッセージなどが出力される。したがって、例えば、本実施形態の個人認証システムをセキュリティシステムに適用すると、強固なセキュリティシステムを構成することができる。

ここで、上記では、撮影画像中の赤目を検出して顔を認識するデジタルカメラ、顔認識方法、および顔切出方法などについて説明したが、本発明の撮像装置、顔認識方法、および顔切出方法は、画像中で所定の変色を生じている目部分を検出して顔を認識するものであればよく、例えば、撮影画像中の金目を検出して顔を認識するものであってもよい。

また、上記では、撮像装置としてデジタルカメラを適用する例について説明したが、本発明の撮像装置は、例えば、携帯電話に搭載される小型カメラなどであってもよい。

また、上記では、閃光発光装置で可視光を発して、その可視光の元で撮影された撮影画像における目を検出する例について説明したが、本発明の撮像装置、顔認識方法、および顔切出方法は、赤外光などといった可視光以外の光を閃光発光装置から発して、その光の元で撮影された撮影画像中の目を検出するものであってもよい。可視光以外の光で被写体を撮影することによって、撮影画像中の目の検出をいっそう容易に行うことができる。

本発明の一実施形態のデジタルカメラを示す外観図である。 デジタルカメラのブロック図である。 画像処理プロセッサ内の顔認識処理および顔切出処理に関する部分の機能ブロック図である。 撮影画像を取得して、その撮影画像を図２に示す画像蓄積メモリに記録するときの、画像処理プロセッサで行われる一連の処理を示すフローチャートである。 検出機能に入力された撮影画像データが表わす撮影画像を示す図である。 撮影画像に含まれている赤目を検出した検出結果を示す図である。 赤目の検出結果を基に、撮影画像に含まれる人物の顔を認識した結果を示す図である。 赤目の検出結果を基に、撮影画像に含まれる赤目を修正した修正後撮影画像を示す図である。 修正後撮影画像から、顔の認識結果に基づく顔の画像部分を切り出した顔部分画像を示す図である。 第２実施形態のデジタルカメラで行われる一連の撮影処理を示すフローチャートである。 本発明の第３実施形態が適用された個人認証システムの機能ブロック図である。 撮像装置で撮影された撮影画像に基づいて、撮影画像中の人物を認証する一連の処理を示すフローチャートである。

符号の説明

１００ デジタルカメラ
１１０ ファインダ
１２０ シャッタボタン
１３０ 撮影レンズ
１４０ 閃光発光装置
１５０ 調光センサ
２００ 画像処理プロセッサ
２０１ 検出機能
２０２ 認識機能
２０３ 修正機能
２０４ 顔画像生成機能
２１０ タイミングジェネレータ
２１１ ＣＣＤ
２２０ ＡＤコンバータ
２３０ 画像表示ＬＣＤ
２４０ 高速演算用メモリ
２５０ 画像蓄積メモリ
３００ 制御用マイクロコンピュータ
３１０ 露光制御部
３１１ シャッタ
３２０ フォーカス制御部
３３０ ズーム制御部
３４０ 閃光発光部
３５０ 電源制御部
３６０ スイッチ群
３７０ ステイタスＬＣＤ
４００ 電源
５００ 外部装置
６００ 撮影画像
６０１ 人物
６１０ 赤目の検出結果
６１１ 目
６２０ 顔の認識結果
６２１ 顔
６３０ 修正後撮影画像
６３１ 人物
６４０ 顔部分画像
７００ 個人認証システム
７１０ 撮像装置
７２０ パーソナルコンピュータ
７２１ 赤目検出部
７２２ 顔認識部
７２３ 個人認識部
７２４ 記憶部
７２５ 画像表示部

Claims (5)

1. 画像を表わす画像データに基づいて、画像中の顔部分を認識する顔認識方法において、
   前記画像データに基づいて、画像中で所定の変色を生じている目部分を検出する検出過程と、
   前記検出過程で検出された目部分を基に、前記画像中の顔部分を認識する認識過程とを有することを特徴とする顔認識方法。
2. 前記検出過程は、画像中の赤目部分を検出する過程であることを特徴とする請求項１記載の顔認識方法。
3. 画像を表わす画像データに基づいて、画像中の顔部分を切り出して顔部分画像を生成する顔切出方法において、
   前記画像データに基づいて、画像中の赤目部分を検出する検出過程と、
   前記検出過程で検出された赤目部分を基に、前記画像中の顔部分を認識する認識過程と、
   前記検出過程で検出された赤目部分を修正する修正過程と、
   前記認識過程で認識され、前記修正過程で赤目部分が修正された顔部分を画像から切り出して顔部分画像を生成する顔画像生成過程とを有することを特徴とする顔切出方法。
4. 被写体を撮影して撮影画像を表わす撮影画像データを生成する撮像装置において、
   前記撮影画像データに基づいて、撮影画像中で所定の変色を生じている目部分を検出する検出部と、
   前記検出部で検出された目部分を基に、前記撮影画像中の顔部分を認識する認識部と、
   前記検出部で検出された目部分の変色を修正する修正部と、
   前記認識部で認識され、前記修正部で変色が修正された顔部分を撮影画像から切り出して顔部分画像を生成する顔画像生成部とを備えたことを特徴とする撮像装置。
5. 前記検出部は、画像中の赤目部分を検出するものであり、前記修正部は、前記検出部で検出された赤目部分を修正するものであることを特徴とする請求項４記載の撮像装置。

Images