JP2001067459A - 顔画像処理方法および顔画像処理装置 - Google Patents

顔画像処理方法および顔画像処理装置

Info

Publication number
JP2001067459A
JP2001067459A JP24012199A JP24012199A JP2001067459A JP 2001067459 A JP2001067459 A JP 2001067459A JP 24012199 A JP24012199 A JP 24012199A JP 24012199 A JP24012199 A JP 24012199A JP 2001067459 A JP2001067459 A JP 2001067459A
Authority
JP
Japan
Prior art keywords
face
image
pupil
state
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP24012199A
Other languages
English (en)
Inventor
Hiroshi Sukegawa
寛 助川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP24012199A priority Critical patent/JP2001067459A/ja
Publication of JP2001067459A publication Critical patent/JP2001067459A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】規定枚数の画像を蓄積することなく、２フレー
ム目以降で撮影者が希望とする顔状態になった時点で撮
影を完了することができる顔画像処理方法を提供する。 【解決手段】１人または複数の被撮影者を対象とした撮
影を行なう際、被撮影者の顔画像を含む画像をフレーム
画像として入力し、この入力されたフレーム画像に対
し、その画像中に存在する被撮影者の顔領域を抽出し、
この抽出された顔領域に対し、被撮影者の顔の状態が撮
影者の希望とする状態であるか否かを判定し、この判定
により被撮影者の顔の状態が撮影者の希望とする状態で
あると判定された場合、当該判定に用いたフレーム画像
を最適顔画像として出力し、上記判定により被撮影者の
顔の状態が撮影者の希望とする状態でないと判定された
場合、撮影者の希望する画像を顔の部位単位で合成して
最適顔画像として出力する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、たとえば、１人ま
たは複数の被撮影者を対象とした撮影を行なうテレビカ
メラや電子スチルカメラなどにおいて、被撮影者の顔画
像を処理する顔画像処理方法および顔画像処理装置に関
する。
【０００２】
【従来の技術】たとえば、テレビカメラや電子スチルカ
メラ、あるいは、テレビ電話、監視カメラの撮影など
で、１人または複数の人物の顔が入った写真を撮影しよ
うとしている場合において、顔の方向、目や口などの状
態といったものが撮影者の希望とする状態になっている
瞬間に撮影をしたいとき、被撮影者に希望の状態に顔の
状態を合わせてもらうといった方法をとるか、監視カメ
ラなどでは全ての時間において連続的にビデオテープな
どを使って撮影を行ない、後から最適な画像を目で見な
がら選択するといった方法をとっていた。
【０００３】
【発明が解決しようとする課題】ところが、１人または
複数の人物を対象に撮影を行なっているときに、撮影者
の希望する画像を獲得するために、被撮影者に対してあ
らかじめ顔の状態の希望を伝えて、その状態にしてもら
う必要があったり、複数の人物を撮影する場合には、撮
影してみて顔部位の一部が希望通りでなかったり、複数
名の場合には１人でも適さない状態の人がいた場合に、
再度撮りなおしをする必要がある。そのため、ばらばら
な顔の状態をしている可能性のある撮影対象の場合、非
常に撮影が困難であった。また、正面から写真を撮ると
きなど、眼鏡に光が反射してしまうなどの問題もあっ
た。
【０００４】そこで、最近、このような問題を解決する
ために、被撮影者の瞳や鼻、口の状態がどのような状態
であるかを判定することによって、被撮影者が希望の顔
の状態であるときに撮影をすることが可能な顔画像処理
方法が考えられている。
【０００５】しかし、この顔画像処理方法では、被撮影
者の肌色の違いなどによって瞳位置を正しく検出できな
いことがあり、また、被撮影者がかけている眼鏡に光が
反射して目が見つからないと瞳位置を正しく判定できな
いという問題があり、さらに、最適な顔画像を選択する
までに一定枚数の画像を取込まなければならず、そのた
めシャッタボタンを押してから一定枚数の画像を取込む
ために時間がかかるといった問題が生じることがあっ
た。
【０００６】そこで、本発明は、１人または複数の被撮
影者の顔を撮影するときに、被撮影者の瞳の開閉、口の
開閉、眼鏡で光の反射が起きているかなどを随時判定
し、規定枚数の画像を蓄積することなく、２フレーム目
以降で撮影者が希望とする顔状態になった時点で撮影を
完了することができる顔画像処理方法および顔画像処理
装置を提供することを目的とする。
【０００７】また、本発明は、被撮影者の目と口が動い
ているような状態でも希望の顔部位を合成して最適な顔
画像を作成することも可能となる顔画像処理方法および
顔画像処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】本発明の顔画像処理方法
は、１人または複数の被撮影者を対象とした撮影を行な
うものにおいて、１人または複数の被撮影者の顔画像を
含む画像をフレーム画像として入力するステップと、こ
の入力されたフレーム画像に対し、その画像中に存在す
る被撮影者の顔領域を抽出するステップと、この抽出さ
れた顔領域に対し、被撮影者の顔の状態が撮影者の希望
とする状態であるか否かを判定するステップと、この判
定により被撮影者の顔の状態が撮影者の希望とする状態
であると判定された場合、当該判定に用いたフレーム画
像を最適顔画像として出力するステップとからなること
を特徴とする。
【０００９】また、本発明の顔画像処理装置は、１人ま
たは複数の被撮影者を対象とした撮影を行なうものにお
いて、１人または複数の被撮影者の顔画像を含む画像を
フレーム画像として入力する画像入力手段と、この画像
入力手段により入力されたフレーム画像に対し、その画
像中に存在する被撮影者の顔領域を抽出する顔領域抽出
手段と、この顔領域抽出手段により抽出された顔領域に
対し、被撮影者の顔の状態が撮影者の希望とする状態で
あるか否かを判定する判定手段と、この判定手段により
被撮影者の顔の状態が撮影者の希望とする状態であると
判定された場合、当該判定に用いたフレーム画像を最適
顔画像として出力する出力手段とを具備している。
【００１０】また、本発明の顔画像処理装置は、１人ま
たは複数の被撮影者を対象とした撮影を行なうものにお
いて、１人または複数の被撮影者の顔画像を含む画像を
フレーム画像として入力する画像入力手段と、この画像
入力手段により入力されたフレーム画像に対し、その画
像中に存在する被撮影者の顔領域を抽出する顔領域抽出
手段と、被撮影者の特徴を入力する特徴入力手段と、こ
の特徴入力手段により入力された被撮影者の特徴に応じ
て最適な瞳検出用の辞書が選択され、この選択された辞
書を用いて前記顔領域抽出手段により抽出された顔領域
内から被撮影者の瞳を検出する瞳検出手段と、この瞳検
出手段により検出された瞳が瞬き中であるか否かを判定
する瞬き判定手段と、この瞬き判定手段により瞳が瞬き
中ではないと判定された場合、前記瞳検出手段により検
出された瞳の状態を判定する瞳状態判定手段と、前記瞬
き判定手段の判定結果および前記瞳状態判定手段の判定
結果に基づき、被撮影者の顔の状態が撮影者の希望とす
る状態であるか否かを判定する顔状態判定手段と、この
顔状態判定手段により被撮影者の顔の状態が撮影者の希
望とする状態であると判定された場合、当該判定に用い
たフレーム画像を最適顔画像として出力する出力手段と
を具備している。
【００１１】また、本発明の顔画像処理装置は、１人ま
たは複数の被撮影者を対象とした撮影を行なうものにお
いて、１人または複数の被撮影者の顔画像を含む画像を
フレーム画像として入力する画像入力手段と、この画像
入力手段により入力されたフレーム画像に対し、その画
像中に存在する被撮影者の顔領域を抽出する顔領域抽出
手段と、被撮影者の特徴を入力する特徴入力手段と、こ
の特徴入力手段により入力された被撮影者の特徴に応じ
て最適な瞳検出用の辞書が選択され、この選択された辞
書を用いて前記顔領域抽出手段により抽出された顔領域
内から被撮影者の瞳を検出する瞳検出手段と、この瞳検
出手段により検出された瞳の近傍で眼鏡による光反射が
生じているか否かを判定する眼鏡反射判定手段と、この
眼鏡反射判定手段により眼鏡による光反射が生じていな
いと判定された場合、前記瞳検出手段により検出された
瞳の状態を判定する瞳状態判定手段と、前記眼鏡反射判
定手段の判定結果および前記瞳状態判定手段の判定結果
に基づき、被撮影者の顔の状態が撮影者の希望とする状
態であるか否かを判定する顔状態判定手段と、この顔状
態判定手段により被撮影者の顔の状態が撮影者の希望と
する状態であると判定された場合、当該判定に用いたフ
レーム画像を最適顔画像として出力する出力手段とを具
備している。
【００１２】さらに、本発明の顔画像処理装置は、１人
または複数の被撮影者を対象とした撮影を行なうものに
おいて、１人または複数の被撮影者の顔画像を含む画像
をフレーム画像として入力する画像入力手段と、この画
像入力手段により入力されたフレーム画像に対し、その
画像中に存在する被撮影者の顔領域を抽出する顔領域抽
出手段と、この顔領域抽出手段により抽出された顔領域
において、被撮影者の肌色を判定する肌色判定手段と、
この肌色判定手段の判定結果に応じて最適な瞳検出用の
辞書が選択され、この選択された辞書を用いて前記顔領
域抽出手段により抽出された顔領域内から被撮影者の瞳
を検出する瞳検出手段と、この瞳検出手段の検出結果に
基づき、前記顔領域抽出手段により抽出された顔領域内
から被撮影者の口を検出する口検出手段と、前記瞳検出
手段により検出された瞳が瞬き中であるか否かを判定す
る瞬き判定手段と、前記瞳検出手段により検出された瞳
の近傍で眼鏡による光反射が生じているか否かを判定す
る眼鏡反射判定手段と、この眼鏡反射判定手段により眼
鏡による光反射が生じていないと判定され、かつ、前記
瞬き判定手段により瞳が瞬き中ではないと判定された場
合、前記瞳検出手段により検出された瞳の状態を判定す
る瞳状態判定手段と、前記口検出手段により検出された
口の状態を判定する口状態判定手段と、前記瞬き判定手
段の判定結果、前記眼鏡反射判定手段の判定結果、前記
瞳状態判定手段の判定結果、および、前記口状態判定手
段の判定結果に基づき被撮影者の顔の状態が撮影者の希
望とする状態であるか否かを判定する顔状態判定手段
と、この顔状態判定手段により被撮影者の顔の状態が撮
影者の希望とする状態であると判定された場合、当該判
定に用いたフレーム画像を最適顔画像として出力する出
力手段と、前記顔状態判定手段により被撮影者の顔の状
態が撮影者の希望とする状態でないと判定された場合、
撮影者の希望する画像を顔の部位単位で合成して最適顔
画像として出力する最適顔画像合成手段とを具備してい
る。
【００１３】本発明によれば、たとえば、テレビカメラ
や電子スチルカメラなどで１人または複数の被撮影者を
対象とした撮影を行なうときにおいて、被撮影者の瞳の
瞬きや口の動き、眼鏡での光の反射など、被撮影者の顔
状態の判定を毎フレームごとに行なうことにより、被撮
影者が撮影のタイミングを考えることなく、被撮影者に
どの部位が撮影者の理想状態でないかをフィードバック
しながら撮影することができ、規定枚数の画像を蓄積す
る必要もなく、２フレーム目以降で撮影者が希望とする
顔状態になった時点で撮影を完了することができる。ま
た、目と口が動いているような状態でも希望の顔部位を
合成して作成することも可能となる。
【００１４】また、本発明によれば、被撮影者の肌色な
どの特徴を入力し、この入力された被撮影者の特徴に応
じて、各種処理に用いられる辞書を最適なものに選択す
ることにより、非常に精度の高い各種処理を行なうこと
ができる。
【００１５】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。
【００１６】なお、本実施の形態では、たとえば、テレ
ビカメラや電子スチルカメラから入力された画像中に含
まれる１人または複数の被撮影者の顔の状態を認識し、
瞳の瞬き、眼鏡への光反射、頭部の動き、口の開閉など
といった顔の状態を随時検出しながら、撮影者側の希望
とする顔の状態になった時点で撮影するシステムに適用
した場合について説明する。
【００１７】図１は、本実施の形態に係るシステムの構
成を概略的に示すものである。本システムは、たとえ
ば、２つのテレビカメラ１Ａ，１Ｂ、モニタ（ディスプ
レイ）２、および、パーソナルコンピュータ（または、
ワークステーション）３からなり、あるいは、携帯形の
筐体内部にパーソナルコンピュータと同様の計算および
記憶装置などを含み、液晶やプラズマなどの小形のディ
スプレイを装備した電子スチルカメラ４からなる。電子
スチルカメラ４は、たとえば、位置および角度をずらし
た位置で撮影できるように、２つのカメラ入力部（レン
ズおよび撮像素子）４Ａ，４Ｂを備えているものとす
る。
【００１８】図２は、本実施の形態に係る顔画像処理装
置の構成を概略的に示すものである。この顔画像処理装
置は、被撮影者の画像を入力する画像入力部（画像入力
手段）としての２種類のテレビカメラ１１Ａ，１１Ｂ
（図１のテレビカメラ１Ａ，１Ｂに相当）、入力された
画像を記憶する画像記憶手段としての画像メモリ１２、
入力された画像内から存在する被撮影者の顔領域を抽出
する顔領域抽出手段としての顔領域抽出部１３、各種処
理用の辞書が格納されている辞書部１４、後で詳細を説
明する各種画像処理を行なう画像処理部１５、最適顔画
像を記憶する最適顔画像記憶用メモリ１６、画像を表示
したりプリントアウトしたりする出力手段としての画像
出力部１７（図１のモニタ２に相当）、撮影者に対し各
種音声案内を行なう音声案内部１８、および、ビデオカ
メラ１１Ａ，１１Ｂの動作を制御するカメラ制御部１９
によって構成されている。
【００１９】図３は、図２に示した顔画像処理装置にお
ける処理全体の流れを示すものである。以下、図２のフ
ローチャートを参照して処理全体の流れを簡単に説明す
る。まず、ステップＳ１にて、ビデオカメラ１１Ａ，１
１Ｂからデジタイズされた被撮影者の画像を入力し、ス
テップＳ２にて、画像メモリ１２にその入力画像を随時
格納する。次に、ステップＳ３にて、顔領域抽出部１３
を用いて、入力画像内に存在する１人または複数の被撮
影者の顔領域を抽出する。
【００２０】次に、ステップＳ４にて、画像処理部１５
は、顔領域抽出部１３で抽出された各顔領域において、
被撮影者の特徴、この例では被撮影者の肌色が黒いか白
いかを判定する。次に、ステップＳ５にて、画像処理部
１５は、ステップＳ４での肌色の判定結果を用いて、辞
書部１４内の各種処理用辞書を最適なものに切換える
（選択する）。
【００２１】次に、ステップＳ６にて、画像処理部１５
は、顔領域抽出部１３で抽出された各顔領域内におい
て、被撮影者の瞳および鼻孔を検出するとともに、ステ
ップＳ７にて、被撮影者の口を検出する。
【００２２】次に、ステップＳ８にて、画像処理部１５
は、ステップＳ６で検出された瞳が瞬き中か否かを判定
する。次に、ステップＳ９にて、画像処理部１５は、ス
テップＳ６で検出された瞳の近傍で眼鏡による光反射が
生じているか否かを判定する。
【００２３】これらの判定により、瞳に瞬きがなく、か
つ、眼鏡への光の反射もないと判定されると、次に、ス
テップＳ１０にて、画像処理部１５は、ステップＳ６で
検出された瞳の状態を判定する。次に、ステップＳ１１
にて、画像処理部１５は、ステップＳ７で検出された口
の状態を判定する。
【００２４】次に、ステップＳ１２にて、画像処理部１
５は、ステップＳ８〜Ｓ１１までの各判定結果に基づき
被撮影者の顔部位の状態が撮影者の希望とする状態であ
るか否かを判定する。ここで希望状態の顔画像ではない
と判定された場合、画像処理部１５は、顔の各部位の中
で撮影者側が希望する状態の部位だけを最適顔画像記憶
用メモリ１６に記憶しておき、ステップＳ１３の最適顔
画像合成処理によって、希望状態の部位画像を組合わせ
て最適な顔画像を合成する。
【００２５】希望状態の顔画像になるまで、ステップＳ
１の画像入力処理に戻って被撮影者の画像を撮影し直
し、撮影し直すたびにステップＳ１４の状態案内出力処
理により、眼鏡反射判定や顔状態判定によって撮影者の
希望状態でないと判定された部位に関しては、画像出力
部１７から文字や記号などで出力するとともに、音声案
内部１８から音声案内を出力することによって、被撮影
者にフィードバックする。
【００２６】最終的に、撮影者の希望する状態になった
時点で、最適な顔画像を確定または合成し、ステップＳ
１５の最適顔画像出力処理によって、画像出力部１７に
確定した最適な顔画像を表示して撮影者に結果を知らせ
るとともに、確定した最適な顔画像を各種記録媒体にプ
リントする。
【００２７】以下、各ステップＳ１〜Ｓ１５の処理につ
いて詳細に説明する。
【００２８】まず、ステップＳ１の画像入力処理につい
て説明する。１人または複数の被撮影者が写るように設
置された、動画像入力用のテレビカメラおよび静止画入
力用の電子スチルカメラなどを利用して、被撮影者の顔
画像を含む画像をカラーまたはモノクロでデジタイズし
て入力する。この際、１つのカメラ入力部（レンズと撮
像素子）だけではなく、やや位置および角度をずらした
位置で撮影できるように、２つのカメラ入力部を準備す
ることにより、微妙に画角の違う２種類の画像を入力で
きるようにする。この実施の形態では、図２に示したよ
うに、画角の違う２種類の画像を入力できるように設置
された２種類のテレビカメラ１１Ａ，１１Ｂを用いてい
る。なお、入力画像の階調やサイズは特に限定せず、カ
メラの入力階調や入力解像度にしたがうこととする。
【００２９】次に、ステップＳ２の入力画像蓄積処理に
ついて説明する。２種類のテレビカメラ１１Ａ，１１Ｂ
から取込まれた被撮影者の顔画像を含む画像はそのまま
別々のメモリ領域に記憶される。また、各カメラ入力に
つき、直前（１フレーム前）の入力画像を別の画像バッ
ファ領域に記憶する。
【００３０】次に、ステップＳ３の顔領域抽出処理につ
いて説明する。被撮影者の顔のうち、上下は眉毛から唇
付近、左右は両目の両端の外側に位置する領域を顔領域
として定め、あらかじめ複数の被撮影者の画像を利用し
て、平均画像もしくはＫＬ展開をして上位成分固有ベク
トルを用いるなどして顔探索用の初期平均顔辞書を作成
する。また、初期平均顔辞書を用いて顔探索用の辞書で
様々な入力画像を評価し、顔を正しく検出できたら顔辞
書に追加、顔辞書と類似度が高いと判定されたが顔では
なかった領域は非顔辞書として画像を収集して辞書を作
成する。
【００３１】入力された画像に対して顔の大きさの影響
をなくすために、複数段階での拡大・縮小画像を作成
し、それぞれの画像に対してテンプレートマッチング法
または部分空間法、複合類似度法などを利用して顔領域
の探索を行なう。顔領域の探索を高速化するために複数
解像度での顔辞書を準備し、ピラミッド探索法を用いて
高速に顔探索することも利用できる。
【００３２】走査する手順を図４の説明図に示す。この
図４における３種類の画像は、複数解像度で顔を探索す
るときの処理画像である。なお、図４（ａ）は高解像度
画像での探索（小さい顔サイズ向け）を、図４（ｂ）は
中解像度画像での探索（中位の顔サイズ向け）を、図４
（ｃ）は低解像度画像での探索（大きい顔サイズ向け）
を、それそぞれ示している。
【００３３】顔領域は、顔辞書と類似度が高く、非顔辞
書と類似度が低くなるのが理想であり、 評価値＝顔辞書との類似度−非顔辞書の中での最高類似
度 で与えられる評価値が最も高い場所を求め、第１の顔検
出領域とする。最高値をだした領域と重ならず、所定の
距離以上離れた位置で所定の評価閾値以上の評価値を与
える領域に対しても顔の検出領域とすることで、複数人
数が入力画像に入っている場合でも全て検出することが
できる。
【００３４】次に、ステップＳ４の自動肌色判定処理に
ついて説明する。ステップＳ３の顔領域抽出処理によっ
て抽出された各顔領域に対し、顔領域内の所定割合に相
当する面積が黒となり、残りが白となるように、輝度閾
値を計算して２値化する方法（Ｐ−Ｔｉｌｅ法：「画像
解析ハンドブック」、高木幹雄他、東京大学出版会、Ｐ
Ｐ５０３参照）で２値化処理することにより、抽出され
た顔領域内での暗い部分を抽出する（図５参照）。
【００３５】また、２値化で暗いと判定された領域に対
し、円形分離度フィルタ（動画像を用いた顔認識システ
ム、山口修他、信学技報ＰＲＭＵ９７−５０、ＰＰ１７
〜２３参照）をかけることにより、図６に示すように、
所定の半径で作られる円周の外側領域と内側領域それぞ
れにおける輝度分散の比率を求める円形分離度を計算
し、かつ、円周の内部の平均輝度と外部の平均輝度との
差が所定閾値以上あるものに限定することにより、黒く
て丸い領域を列挙する。瞳や鼻孔の個人差や目の動きに
よる黒丸領域の大きさの違いは複数の半径でフィルタ処
理することで対応できる。
【００３６】以上の流れの処理にあわせて、以下の２種
類の方法で被撮影者の肌色の黒さおよび白っぽさを判定
する。どちらの方法を利用しても肌色判定は実現できる
が、両方を同時に使うことにより精度を上げることも可
能である。
【００３７】（Ａ）Ｐ−Ｔｉｌｅ法の２値化を利用した
肌色判定 Ｐ−Ｔｉｌｅ法の２値化処理で求められる閾値は、輝度
ヒストグラムの片寄りがあると、閾値もそれにつられて
変動するため、肌の色が黒い人と肌の色が白い人で異な
る結果が求められる。肌色が黒い人は、輝度ヒストグラ
ム（図５（ｂ）参照）が黒画素付近に集中するために、
Ｐ−Ｔｉｌｅ法によって求められる閾値も黒（輝度＝
０）の方により、肌色が白い人（図５（ａ）参照）は逆
な傾向となる。
【００３８】この結果、Ｐ−Ｔｉｌｅ法の２値化閾値が
所定の閾値よりも高い場合には、肌の白い人向けの辞書
を使用し、その逆の場合には、肌の色が黒い人向けの辞
書を使用するようにする。本実施の形態では、辞書を２
つ準備した例を挙げているが、閾値によって区切る領域
を増やすことにより、３つ以上の辞書を準備して選択す
ることも容易である。
【００３９】（Ｂ）円形分離度フィルタを利用した肌色
判定 肌の色が黒い人の顔に対して上記の円形分離度フィルタ
をかけた場合、肌の色が白い人では眉毛やほくろ、瞳、
鼻孔など、黒くて丸い領域に比べて周辺の肌色の輝度が
充分明るいために瞳候補点が多く挙げられるが、肌の黒
い人の場合は、円形分離度で用いられる円周の外部と内
部との輝度差が小さくなるため、顔全体で挙げられる瞳
候補点の数が減少するようになる。この候補点の数を利
用して、被撮影者の肌色が黒いか白いかを判定すること
が可能である。
【００４０】次に、ステップＳ５の辞書切換（選択）処
理について説明する。顔状態認識処理に用いる各種辞書
は、被撮影者の肌色（輝度分布）に依存する部分が多い
ために、肌色にあわせて辞書を切換えることが認識精度
向上に向けて有効な手段となる。
【００４１】そこで、本実施の形態では、ステップＳ４
の肌色判定処理の判定結果に基づき、顔状態認識処理に
用いる各種辞書を最適なものに切換える。ここで、肌色
の状態によって選ばれた辞書は、以降の瞳および鼻孔検
出、口検出、瞬き判定、瞳状態判定などに反映させるよ
うにする。
【００４２】次に、ステップＳ６の瞳・鼻孔検出処理に
ついて説明する。ステップＳ４の肌色判定処理で抽出さ
れた候補点（顔領域内の黒くて丸い場所）それぞれに対
して、顔領域中心から左右に分けて、両瞳の位置関係に
対する幾何学配置条件を用いて候補点の組合わせ（左右
で１組）を絞り込む。たとえば、カメラからの距離によ
って両瞳間の距離の最大もしくは最小の閾値を決める、
正面静止状態の顔しかない場合は、両瞳を結ぶ線が水平
に近いように角度の閾値を決める、などの幾何学的な配
置の拘束条件である。
【００４３】この幾何学的な条件を満たした左右の両瞳
候補点それぞれに対して、下記式に示す評価計算を行な
い、左右の評価値を足したものをその組合わせの評価値
とする。
【００４４】評価値＝瞳辞書との類似度−非瞳辞書の中
での最高類似度なお、各辞書は、顔領域抽出処理と同様
に、前もって複数名の被検者のデータからあらかじめ作
成しておくものとし、肌色判定処理によって判定された
肌色に合わせた辞書を選択して使用するようにする。
【００４５】ここで用いる瞳辞書は、目つぶりや横目、
上目などといった各種の瞳の状態を全て別々の複数辞書
として持ち、目つぶりや横目の状態など、様々な状態で
も安定して瞳領域を検出することができる。
【００４６】また、非瞳辞書も瞳と間違いやすい鼻孔や
目尻、目頭、眉などのクラスを分けて、複数の辞書を持
たせ、非瞳辞書の類似度計算のときには、その中で最も
高い類似度を与えるものを選択して計算することで、色
々な抽出失敗に対処する。この様子を図７に示す。
【００４７】また、鼻孔検出処理も、上述した瞳検出処
理と同様、鼻孔辞書、非鼻孔辞書と類似度計算を行な
い、下記式に示す評価計算により評価値を各点で求め
る。
【００４８】評価値＝鼻孔辞書との類似度−非鼻孔辞書
の中での最高類似度また、候補点の全ての２点の組合わ
せの中で、あらかじめ与えてある瞳との幾何学的な配置
条件に一致する中で、上記評価値が最高となる１組の点
（左右の２点）を求め、それを両鼻孔位置として検出す
る。なお、幾何学拘束のときに瞳と鼻孔の４点の位置関
係を用いることで、精度を上げることも可能である。
【００４９】次に、ステップＳ７の口検出処理について
説明する。上述した顔領域抽出処理、瞳・鼻孔検出処理
によって顔および目、鼻の配置が求められたため、両瞳
の中心、両鼻孔の中心をそれぞれ求め、平均的な幾何学
的配置を利用して口があるだろうと思われる計算を行な
う。図８に瞳と鼻孔と口の位置関係を示すので、それを
参照されたい。
【００５０】次に、図９に示すように、上記計算により
求めた口候補の領域において、最も暗い画素しかでない
ような所定の閾値以下の輝度を持つ画素を黒画素にし、
それ以外の画素を白画素とする２値化を行ない、この２
値化画像を基準画像とする。この閾値でも抽出される領
域は暗い部分もしくは黒い部分のため、髭の領域もしく
は開いている口の領域とする。そこから徐々に閾値を上
げて２値化を行ない、基準画像との差分画像に対してラ
ベリング処理を行ない、横に長い領域（ラベル）がでて
きて大きくなってきたら、その領域が縦横それぞれ所定
サイズ以上になった段階で、口の領域とする。一方で、
初期閾値の２値化結果とサイズがほとんど変わらない髭
などのような真っ黒な領域は差分処理によって排除で
き、口領域とは区別することができる。
【００５１】次に、ステップＳ８の瞬き判定処理につい
て説明する。ステップＳ６の瞳・鼻孔検出処理で求めら
れた左右の瞳領域に対し、現在その瞳が瞬き中であるか
どうかを判定する。瞬き判定は、下記（Ａ）、（Ｂ）の
２種類の方法で実現でき、（Ｂ）の方法の場合は頭部全
体の動きも検出することが可能である。
【００５２】（Ａ）インタレースぶれを利用した瞬き判
定 ビデオカメラ１１Ａ，１１Ｂとしてインタレースカメラ
を利用することによって起こるインタレースのぶれを利
用する。インタレースカメラを利用すると、図１０に示
すような奇数フィールドの画像から偶数フィールドの画
像に変化する瞬きのように速い動きがあった場合、フィ
ールド間の画像の差が１ラインごとに交互に現われる。
図１０（ｂ）が偶数フィールドの画像、図１０（ａ）が
奇数フィールドの画像、図１０（ｃ）が入力画像であ
る。
【００５３】通常の瞳画像では、瞳の中心から外に向か
うにつれて徐々に輝度が変化していくため、Ａ−Ｂライ
ン間のＹ軸方向の輝度差に比べてＡ−Ｃライン間のＹ軸
方向の輝度差は大きくなるが、図１０の例のように瞬き
といった急激な動きがあるような場合には、フィールド
間の輝度差（この場合は、瞼と瞳の輝度差）が大きなた
め、同じフィールドであるＡ−Ｃライン間の輝度差の方
が違うフィールド間のＡ−Ｂライン間の輝度差に比べて
小さくなる。ここで、下記数１の計算を行なう。
【００５４】
【数１】
【００５５】ただし、ｄｉｆｆ１，ｄｉｆｆ２はそれぞ
れ１ライン上との平均輝度差、２ライン上との平均輝度
差であり、Ｖ（ｘ，ｙ）は（ｘ，ｙ）における輝度、Ｎ
1 ，Ｎ2 は１ライン飛び、２ライン飛びの場合のそれぞ
れにおける瞳の外周を示す円の上半分内の計算画素数で
ある。この領域を選んでいるのは、瞬き中の瞼と瞳の輝
度差が大きくでやすい領域だからである。
【００５６】１ライン上との平均輝度差であるｄｉｆｆ
１と２ライン上との平均輝度差ｄｉｆｆ２を計算し、所
定の閾値ThresholdForInteraceCheck を考慮して、 diff２＞diff１＋ThresholdForInteraceCheck を満たしたときに、瞬きによるインタレースぶれが起き
ていると判定する。
【００５７】（Ｂ）瞳の動きを利用した瞬き判定 直前のフレームと現在のフレームとの間において、両瞳
を検出した瞳半径の大きさ、および、瞳検出時の類似度
スコア、瞳検出座標の動きを調べる方法である。両瞳の
半径変化量をΔＲ、両瞳の類似度スコア変化量をΔScor
e 、両瞳の座標変化量をΔPos として下記式のように計
算する。
【００５８】ΔＲ＝｜Ｒl(t)−Ｒl(t-1)｜＋｜Ｒr(t)−
Ｒr(t-1)｜ ΔScore ＝｜Score l(t)−Score l(t-1)｜＋｜Score r
(t)−Score r(t-1)｜ ΔPos ＝｜Poslx(t)−Poslx(t-1)｜＋｜Posly(t)−Posl
y(t-1)｜＋｜Posrx(t−Posrx(t-1)｜＋｜Posry(t)−Pos
ry(t-1)｜ ただし、Ｒ、Score 、Pos の後ろに付くｌ，ｒは左右瞳
の違い、ｘ，ｙはＸ座標、Ｙ座標の違い、括弧内のｔは
現在のフレームにおける値、ｔ−１は１フレーム前の
値、｜ａ｜はａの絶対値を意味する。
【００５９】これらの結果を利用して、図１１に示すフ
ローチャートのように、ΔＲ，ΔScore ，ΔPos を順
次、所定の閾値と比較していくことによって、瞳が開い
ているのか瞬き中であるかのを判定する。なお、半径と
類似度の動きが少ないときは瞳自体の動きはないと判定
し、瞳の座標だけが動いている場合には「頭部全体の動
き」と判定する。
【００６０】次に、ステップＳ９の眼鏡反射判定処理に
ついて説明する。被撮影者が眼鏡をかけていた場合、周
囲の照明との位置関係により、瞳部分に光の反射が起き
てしまい、瞳の位置や状態を正しく検出できないといっ
たことがある。そういったことを防止するために、ビデ
オカメラ１１Ａ，１１Ｂによる２つの画像それぞれに対
して、ステップＳ８の瞬き判定処理までの処理を行なっ
て、２つのカメラ画像における入力画像の位置合わせ
（キャリブレーション）を行なった後に、瞳検出位置お
よび検出した際の評価値の比較を行なうことにより、片
方の画像では検出された位置にもう片方では見つからな
いといった場合に、眼鏡の光反射が起きていてると判定
する。
【００６１】図１２を例にとると、ビデオカメラ１１Ａ
からの入力画像は照明灯２０の光による眼鏡２１の反射
は起こらないのだが、ビデオカメラ１１Ｂの位置では反
射の影響がでる。その結果、ビデオカメラ１１Ａ，１１
Ｂでの入力画像で、ビデオカメラ１１Ａの画像では瞳を
検出できるが、ビデオカメラ１１Ｂの画像では瞳を検出
できないといった結果となる。
【００６２】このように、片方の画像では瞳を正しく検
出されたが、もう片方では検出されなかった場合には、
眼鏡２１の反射が起きない方の画像を選択できる他、状
態案内出力処理によって、被撮影者に対して「あごを引
いてください」などの案内を行なうことにより、希望す
る画角での最適な状態で撮影を行なうことができる。
【００６３】次に、ステップＳ１０の瞳状態判定処理に
ついて説明する。ステップＳ６の瞳・鼻孔検出処理で求
められた左右の瞳領域に対し、ステップＳ８の瞬き判定
処理で瞬き中ではないと判定されている場合にのみ、瞳
がどういったた状態であるかの判定を行なう。瞬き以外
の状態としては、「目つぶり」、「横目」、「上目」な
どといった瞳の様々な状態が挙げられ、各状態にあわせ
て辞書を作成しておき、入力画像から検出された瞳画像
との類似度が最も高くなる状態を現在の瞳の状態と判定
する。
【００６４】評価値は、各種辞書との類似度を求めた上
で、最高類似度と２番目に高い類似度との差を評価値と
し、この評価値が所定の閾値よりも大きくなった段階
で、瞳がどういった状態であるかを判定する。この値が
高いということは理想の状態に近く、他の状態と明確に
区別できる状態だと判断できる。ここでの処理の説明図
を図１３に示す。
【００６５】次に、ステップＳ１１の口状態判定処理に
ついて説明する。ここでは、口の上下幅および左右幅
と、その上下左右幅それぞれに定めた閾値との比較によ
って口が開いているか閉じているかを判定するととも
に、各種特徴量の直前のフレームとの差によりどの程度
の口の動きがあるかを判定する。
【００６６】以下、図１２に示すフローチャートを参照
して具体的に説明する。まず、口の上下幅（縦幅）が所
定の閾値以下か否かを判定し（Ｓ４１）、口の上下幅が
所定の閾値以下でなければ、口が開いていると判定する
（Ｓ４２）。ステップＳ４１において、口の上下幅が所
定の閾値以下であれば、口の左右幅（横幅）が所定の閾
値以下か否かを判定し（Ｓ４３）、口の左右幅が所定の
閾値以下でなければ、口が閉じていると判定する（Ｓ４
４）。
【００６７】ステップＳ４３において、口の左右幅が所
定の閾値以下であれば、口の上下幅および左右幅が一定
サイズになるように正規化した画像において作成した複
数の状態（普通の口、とんがっている口、くいしばり、
あかんべえなど）の辞書と比較することで（Ｓ４５）、
口の状態（とんがっている口、あかんべえ）を判定する
（Ｓ４６，Ｓ４７）。そして、各種特徴量の直前のフレ
ームとの差によりどの程度の口の動きがあるかを判定す
る。
【００６８】次に、ステップＳ１２の顔状態判定処理に
ついて説明する。ここでは、入力された画像が撮影者の
希望する画像であるかどうかを判定する。あらかじめ図
１５に示すような瞳と口の状態それぞれを縦軸、横軸に
とったマトリクスを準備し、撮影者がマトリクスの中か
ら希望の状態を選んでチェックを入れていくことによ
り、希望状態がどういった状態であるかを入力する。希
望の状態とは、たとえば、証明写真などの場合の状態と
は、「瞳が正面を向いて開いた状態であり、口は閉じた
状態である」になり、スナップ写真などでは、「瞳が開
いた状態で、口の状態はどちらでもよい」、「瞳が開い
た状態で、口が笑った状態」などとなる。
【００６９】ここで、入力画像に対してステップＳ８の
瞬き判定、ステップＳ９の眼鏡反射判定、ステップＳ１
０の瞳状態判定、および、ステップＳ１１の口状態判定
の各判定処理を行ない、それらの判定結果と希望状態の
マトリクスのチェック項目とを比較することにより、撮
影者の希望する顔状態であるかどうかを判定する。希望
状態であった場合には、それで撮影を終了し、希望状態
でない場合には、どの部位が希望状態で、どの部位が希
望状態でないかをログに記録する。
【００７０】次に、ステップＳ１３の最適顔画像合成処
理について説明する。被撮影者が目を開いて口を閉じて
いる状態の写真を撮りたいなどといった撮影を行ないた
い場合、ステップＳ１２の顔状態判定処理までの処理に
よって、各顔の部位（瞳、鼻孔、口）の状態が認識され
ているため、撮影された画像の中で撮影者の希望状態で
ある部位の周辺を含んだ画像を保存し、既に希望状態で
あった部位が保存されている場合に関しては、辞書との
類似度によって求められた評価値の高い方に置き換え
る。
【００７１】途中、評価値によって部位単位で画像の保
存を行なっているが、できるだけ同じ画像での部位を選
択した方が合成部分が減るために画像全体として良好な
画像を得られるため、希望状態である部位の数が多いと
きには評価値よりも部位数を優先する。最終的に全ての
部位において撮影者の希望する状態になった状態で画像
を合成することで、撮影者の希望する顔画像を作成す
る。
【００７２】合成する場合には、できるだけ被撮影者が
動かないことが前提であるが、動いてしまった場合に
は、顔領域より大きめにとった保存領域の周辺に沿って
アンチエイリアス処理をかけることにより、不自然な合
成画像でなくなるように処理を行なう。
【００７３】たとえば、図１６に示すように、あるフレ
ームでは目が開いているが口が開いている、あるフレー
ムでは口が閉まっているが目も閉じているといった状態
が続いていても、各部位の理想状態の画像を保存してお
くことによって、最終出力画像で合成して最適顔画像を
出力することができる。
【００７４】次に、ステップＳ１４の状態案内出力処理
について説明する。眼鏡反射判定処理や顔状態判定処理
によって撮影者の希望状態でないと判定された場合、希
望状態の顔になるまで画像入力処理に戻って画像を撮影
し直し、希望状態でないと判定された部位に関しては、
テレビカメラで据置形装置の場合にはモニタやＬＥＤ、
スピーカに、また、携帯形装置のものでは内蔵されたモ
ニタやＬＥＤ、小形スピーカに文字、記号、音声などで
出力することによって、被撮影者にどの部位が撮影者の
希望状態でなかったかをフィードバックできるようにす
る。
【００７５】次に、ステップＳ１５の最適顔画像出力処
理について説明する。最終的に、撮影者の希望する状態
になった時点で画像を確定または合成し、テレビカメラ
で据置形装置の場合にはモニタに、デジタルカメラ（電
子スチルカメラ）のような携帯形装置のものでは内蔵さ
れたモニタに、最適顔画像を表示することによって出力
を行なう。それと同時に、確定画像を各種記録媒体に保
存することや、ビデオ出力への出力などを行なう。
【００７６】このように、上記実施の形態によれば、テ
レビカメラや電子スチルカメラなどで１人または複数の
被撮影者を対象とした撮影を行なうときにおいて、被撮
影者の瞳の瞬きや口の動き、眼鏡での光の反射など、被
撮影者の顔状態の判定を毎フレームごとに行なうことに
より、被撮影者が撮影のタイミングを考えることなく、
被撮影者にどの部位が撮影者の理想状態でないかをフィ
ードバックしながら撮影することができ、規定枚数の画
像を蓄積する必要もなく、２フレーム目以降で撮影者が
希望とする顔状態になった時点で撮影を完了することが
できる。
【００７７】また、目と口が動いているような状態でも
希望の顔部位を合成して、最適顔画像を作成することも
できる。
【００７８】さらに、被撮影者の肌色を自動的に判定
し、この判定した被撮影者の肌色に応じて、各種処理に
用いられる辞書を最適なものに選択することにより、非
常に精度の高い各種処理を行なうことができる。
【００７９】なお、前記実施の形態では、被撮影者の肌
色を自動的に判定して入力する場合について説明した
が、本発明はこれに限定されるものでなく、撮影者があ
らかじめ手動で被撮影者の肌色を入力することで、確実
に肌色が反映されるようにしてもよい。
【００８０】また、前記実施の形態では、被撮影者の特
徴として肌色を用いた場合について説明したが、本発明
はこれに限定されるものでなく、たとえば、眼鏡挿着の
有無、年齢、性別などを用いてもよく、さらには、入力
画像がモノクロ（Ｙ成分のみ）の場合か、カラー（Ｙへ
変換、Ｒ、Ｇ、Ｂの単色成分のみ使う場合など）の場合
かなどにより細かく辞書を切換えて使うことによって、
性能を向上させることもできる。
【００８１】
【発明の効果】以上詳述したように本発明によれば、１
人または複数の被撮影者の顔を撮影するときに、被撮影
者の瞳の開閉、口の開閉、眼鏡で光の反射が起きている
かなどを随時判定し、規定枚数の画像を蓄積することな
く、２フレーム目以降で撮影者が希望とする顔状態にな
った時点で撮影を完了することができる顔画像処理方法
および顔画像処理装置を提供できる。
【００８２】また、本発明によれば、被撮影者の目と口
が動いているような状態でも希望の顔部位を合成して最
適な顔画像を作成することも可能となる顔画像処理方法
および顔画像処理装置を提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るシステムの構成を概
略的に示す模式図。
【図２】実施の形態に係る顔画像処理装置の構成を概略
的に示すブロック図。
【図３】顔画像処理装置における処理全体の流れを示す
フローチャート。
【図４】顔領域抽出処理を説明するための図。
【図５】Ｐ−Ｔｉｌｅ法の２値化による自動肌色判定処
理を説明するための図。
【図６】円形分離度フィルタの処理を説明するための
図。
【図７】瞳・鼻孔検出処理を説明するための図。
【図８】瞳・鼻孔検出処理における瞳と鼻孔と口の位置
関係を説明するための図。
【図９】口検出処理を説明するための図。
【図１０】インタレースぶれを利用した瞬き判定処理を
説明するための図。
【図１１】瞳の動きを利用した瞬き判定処理を説明する
ためのフローチャート。
【図１２】眼鏡反射判定処理を説明するための図。
【図１３】瞳状態判定処理を説明するための図。
【図１４】口状態判定処理を説明するための図。
【図１５】顔状態判定処理を説明するための図。
【図１６】最適顔画像合成処理を説明するための図。
【符号の説明】
１Ａ，１Ｂ，１１Ａ，１１Ｂ……ビデオカメラ（画像入
力手段） ２……モニタ（出力手段） ３……パーソナルコンピュータ ４……電子スチルカメラ １２……画像メモリ（画像記憶手段） １３……顔領域抽出部（顔領域抽出手段） １４……辞書部 １５……画像処理部 １６……最適顔画像用メモリ １７……画像出力部（出力手段） １８……音声案内部（出力手段） １９……カメラ制御部
フロントページの続き Ｆターム(参考） 5B057 CE08 CH11 DA08 DB02 DB06 DC08 DC22 DC25 DC33 DC39 5C054 AA01 CA04 CC03 EA01 EA05 ED17 FB03 FC04 FC05 FC08 FC12 FC16 GA04 GB01 GD03 HA18 HA25 5C064 AA02 AB02 AB03 AB04 AC04 AC08 AC12

Claims (19)

    【特許請求の範囲】
  1. 【請求項１】 １人または複数の被撮影者を対象とした
    撮影を行なうものにおいて、 １人または複数の被撮影者の顔画像を含む画像をフレー
    ム画像として入力するステップと、 この入力されたフレーム画像に対し、その画像中に存在
    する被撮影者の顔領域を抽出するステップと、 この抽出された顔領域に対し、被撮影者の顔の状態が撮
    影者の希望とする状態であるか否かを判定するステップ
    と、 この判定により被撮影者の顔の状態が撮影者の希望とす
    る状態であると判定された場合、当該判定に用いたフレ
    ーム画像を最適顔画像として出力するステップと、 からなることを特徴とする顔画像処理方法。
  2. 【請求項２】 前記判定により被撮影者の顔の状態が撮
    影者の希望とする状態でないと判定された場合、撮影者
    の希望する画像を顔の部位単位で合成して最適顔画像と
    して出力するステップをさらに具備することを特徴とす
    る請求項１記載の顔画像処理方法。
  3. 【請求項３】 １人または複数の被撮影者を対象とした
    撮影を行なうものにおいて、 １人または複数の被撮影者の顔画像を含む画像をフレー
    ム画像として入力する画像入力手段と、 この画像入力手段により入力されたフレーム画像に対
    し、その画像中に存在する被撮影者の顔領域を抽出する
    顔領域抽出手段と、 この顔領域抽出手段により抽出された顔領域に対し、被
    撮影者の顔の状態が撮影者の希望とする状態であるか否
    かを判定する判定手段と、 この判定手段により被撮影者の顔の状態が撮影者の希望
    とする状態であると判定された場合、当該判定に用いた
    フレーム画像を最適顔画像として出力する出力手段と、 を具備したことを特徴とする顔画像処理装置。
  4. 【請求項４】 前記判定手段により被撮影者の顔の状態
    が撮影者の希望とする状態でないと判定された場合、撮
    影者の希望する画像を顔の部位単位で合成して最適顔画
    像として出力する最適顔画像合成手段をさらに具備する
    ことを特徴とする請求項３記載の顔画像処理装置。
  5. 【請求項５】 前記最適顔画像合成手段は、被撮影者の
    各顔部位ごとに希望状態に最も近いと判定された顔部位
    領域および周辺画像を別々に保存しておき、最終出力画
    像で最適顔部位画像を組合わせて合成することにより最
    適顔画像を出力することを特徴とする請求項４記載の顔
    画像処理装置。
  6. 【請求項６】 １人または複数の被撮影者を対象とした
    撮影を行なうものにおいて、 １人または複数の被撮影者の顔画像を含む画像をフレー
    ム画像として入力する画像入力手段と、 この画像入力手段により入力されたフレーム画像に対
    し、その画像中に存在する被撮影者の顔領域を抽出する
    顔領域抽出手段と、 被撮影者の特徴を入力する特徴入力手段と、 この特徴入力手段により入力された被撮影者の特徴に応
    じて最適な瞳検出用の辞書が選択され、この選択された
    辞書を用いて前記顔領域抽出手段により抽出された顔領
    域内から被撮影者の瞳を検出する瞳検出手段と、 この瞳検出手段により検出された瞳が瞬き中であるか否
    かを判定する瞬き判定手段と、 この瞬き判定手段により瞳が瞬き中ではないと判定され
    た場合、前記瞳検出手段により検出された瞳の状態を判
    定する瞳状態判定手段と、 前記瞬き判定手段の判定結果および前記瞳状態判定手段
    の判定結果に基づき、被撮影者の顔の状態が撮影者の希
    望とする状態であるか否かを判定する顔状態判定手段
    と、 この顔状態判定手段により被撮影者の顔の状態が撮影者
    の希望とする状態であると判定された場合、当該判定に
    用いたフレーム画像を最適顔画像として出力する出力手
    段と、 を具備したことを特徴とする顔画像処理装置。
  7. 【請求項７】 １人または複数の被撮影者を対象とした
    撮影を行なうものにおいて、 １人または複数の被撮影者の顔画像を含む画像をフレー
    ム画像として入力する画像入力手段と、 この画像入力手段により入力されたフレーム画像に対
    し、その画像中に存在する被撮影者の顔領域を抽出する
    顔領域抽出手段と、 被撮影者の特徴を入力する特徴入力手段と、 この特徴入力手段により入力された被撮影者の特徴に応
    じて最適な瞳検出用の辞書が選択され、この選択された
    辞書を用いて前記顔領域抽出手段により抽出された顔領
    域内から被撮影者の瞳を検出する瞳検出手段と、 この瞳検出手段により検出された瞳の近傍で眼鏡による
    光反射が生じているか否かを判定する眼鏡反射判定手段
    と、 この眼鏡反射判定手段により眼鏡による光反射が生じて
    いないと判定された場合、前記瞳検出手段により検出さ
    れた瞳の状態を判定する瞳状態判定手段と、 前記眼鏡反射判定手段の判定結果および前記瞳状態判定
    手段の判定結果に基づき、被撮影者の顔の状態が撮影者
    の希望とする状態であるか否かを判定する顔状態判定手
    段と、 この顔状態判定手段により被撮影者の顔の状態が撮影者
    の希望とする状態であると判定された場合、当該判定に
    用いたフレーム画像を最適顔画像として出力する出力手
    段と、 を具備したことを特徴とする顔画像処理装置。
  8. 【請求項８】 前記瞳状態判定手段は、前記特徴入力手
    段により入力された被撮影者の特徴に応じて最適な瞳状
    態判定用の辞書が選択され、この選択された辞書を用い
    て瞳の状態を判定することを特徴とする請求項６または
    請求項７記載の顔画像処理装置。
  9. 【請求項９】 前記特徴入力手段は、被撮影者の特徴と
    して肌の色を入力することを特徴とする請求項６または
    請求項７記載の顔画像処理装置。
  10. 【請求項１０】 前記特徴入力手段は、被撮影者の特徴
    として眼鏡の有無を入力することを特徴とする請求項６
    または請求項７記載の顔画像処理装置。
  11. 【請求項１１】 前記特徴入力手段は、被撮影者の特徴
    として年齢を入力することを特徴とする請求項６または
    請求項７記載の顔画像処理装置。
  12. 【請求項１２】 前記特徴入力手段は、被撮影者の特徴
    として性別を入力することを特徴とする請求項６または
    請求項７記載の顔画像処理装置。
  13. 【請求項１３】 前記特徴入力手段は、被撮影者の特徴
    として瞳の色を入力することを特徴とする請求項６また
    は請求項７記載の顔画像処理装置。
  14. 【請求項１４】 前記特徴入力手段は、前記顔領域抽出
    手段により抽出された顔領域に対し、その顔領域内にお
    ける眉毛や瞳、鼻孔といった周囲よりも暗い領域の平均
    的な輝度分布比率にあわせて黒画素の比率が所定値にな
    るように閾値を決定する２値化処理を施し、その際に求
    められた２値化閾値の輝度値によって肌色の白さおよび
    黒さを判定する肌色判定手段であることを特徴とする請
    求項９記載の顔画像処理装置。
  15. 【請求項１５】 前記特徴入力手段は、前記顔領域抽出
    手段により抽出された顔領域に対し、円形マスクの内外
    輝度差および輝度分離度が所定の閾値以上の領域を抽出
    し、この抽出された領域の数が所定の閾値と比較して多
    いか少ないかを調べることにより肌色の白さおよび黒さ
    を判定する肌色判定手段であることを特徴とする請求項
    ９記載の顔画像処理装置。
  16. 【請求項１６】 前記画像入力手段はインタレースカメ
    ラであり、前記瞬き判定手段は、このインタレースカメ
    ラから入力された被撮影者の顔画像を含む画像におい
    て、瞳の外周に相当する円のうち上方半分の領域を処理
    対象とし、被撮影者が瞬きをした瞬間は瞼と瞳の輝度差
    が奇数フィールドと偶数フィールドとの間における画像
    の輝度差となって生じることを利用し、前記処理対象領
    域内において１ライン上との平均輝度差と２ライン上と
    の平均輝度差とを比較することにより単一画像で瞬き動
    作を判定することを特徴とする請求項６記載の顔画像処
    理装置。
  17. 【請求項１７】 前記瞬き判定手段は、前記顔領域抽出
    手段により抽出された顔領域に対して円形分離度フィル
    タ、瞳辞書との類似度計算によって検出された瞳の半径
    の大きさ、瞳辞書との類似度および瞳検出位置の３つの
    特徴量を、当該フレーム画像の直前のフレーム画像で得
    られたものと比較することにより瞳が瞬き中であるか否
    かを判定することを特徴とする請求項６記載の顔画像処
    理装置。
  18. 【請求項１８】 前記画像入力手段は画角をずらした複
    数のカメラからなり、前記眼鏡反射判定手段は、これら
    複数のカメラからの入力画像に対し別々に瞳の検出を行
    なって、瞳検出位置および瞳検出時の評価値の比較を行
    なうことにより、片方の画像では瞳が正しく検出された
    が、もう片方では瞳が正しく検出されなかった場合に眼
    鏡による光の反射が生じていると判定することを特徴と
    する請求項７記載の顔画像処理装置。
  19. 【請求項１９】 １人または複数の被撮影者を対象とし
    た撮影を行なうものにおいて、 １人または複数の被撮影者の顔画像を含む画像をフレー
    ム画像として入力する画像入力手段と、 この画像入力手段により入力されたフレーム画像に対
    し、その画像中に存在する被撮影者の顔領域を抽出する
    顔領域抽出手段と、 この顔領域抽出手段により抽出された顔領域において、
    被撮影者の肌色を判定する肌色判定手段と、 この肌色判定手段の判定結果に応じて最適な瞳検出用の
    辞書が選択され、この選択された辞書を用いて前記顔領
    域抽出手段により抽出された顔領域内から被撮影者の瞳
    を検出する瞳検出手段と、 この瞳検出手段の検出結果に基づき、前記顔領域抽出手
    段により抽出された顔領域内から被撮影者の口を検出す
    る口検出手段と、 前記瞳検出手段により検出された瞳が瞬き中であるか否
    かを判定する瞬き判定手段と、 前記瞳検出手段により検出された瞳の近傍で眼鏡による
    光反射が生じているか否かを判定する眼鏡反射判定手段
    と、 この眼鏡反射判定手段により眼鏡による光反射が生じて
    いないと判定され、かつ、前記瞬き判定手段により瞳が
    瞬き中ではないと判定された場合、前記瞳検出手段によ
    り検出された瞳の状態を判定する瞳状態判定手段と、 前記口検出手段により検出された口の状態を判定する口
    状態判定手段と、 前記瞬き判定手段の判定結果、前記眼鏡反射判定手段の
    判定結果、前記瞳状態判定手段の判定結果、および、前
    記口状態判定手段の判定結果に基づき被撮影者の顔の状
    態が撮影者の希望とする状態であるか否かを判定する顔
    状態判定手段と、 この顔状態判定手段により被撮影者の顔の状態が撮影者
    の希望とする状態であると判定された場合、当該判定に
    用いたフレーム画像を最適顔画像として出力する出力手
    段と、 前記顔状態判定手段により被撮影者の顔の状態が撮影者
    の希望とする状態でないと判定された場合、撮影者の希
    望する画像を顔の部位単位で合成して最適顔画像として
    出力する最適顔画像合成手段と、 を具備したことを特徴とする顔画像処理装置。
JP24012199A 1999-08-26 1999-08-26 顔画像処理方法および顔画像処理装置 Pending JP2001067459A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24012199A JP2001067459A (ja) 1999-08-26 1999-08-26 顔画像処理方法および顔画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24012199A JP2001067459A (ja) 1999-08-26 1999-08-26 顔画像処理方法および顔画像処理装置

Publications (1)

Publication Number Publication Date
JP2001067459A true JP2001067459A (ja) 2001-03-16

Family

ID=17054817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24012199A Pending JP2001067459A (ja) 1999-08-26 1999-08-26 顔画像処理方法および顔画像処理装置

Country Status (1)

Country Link
JP (1) JP2001067459A (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004361989A (ja) * 2003-05-30 2004-12-24 Seiko Epson Corp 画像選択システム及び画像選択プログラム、並びに画像選択方法
JP2006508463A (ja) * 2002-11-29 2006-03-09 ソニー・ユナイテッド・キングダム・リミテッド 顔検出
JP2006094059A (ja) * 2004-09-22 2006-04-06 Nikon Corp 撮像装置およびプログラム
JP2006166348A (ja) * 2004-12-10 2006-06-22 Konica Minolta Holdings Inc 顔画像撮影装置および顔画像判定装置ならびに顔画像判定プログラム
WO2006090449A1 (ja) * 2005-02-23 2006-08-31 Fujitsu Limited 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
JP2006254358A (ja) * 2005-03-14 2006-09-21 Omron Corp 撮像装置およびタイマー撮影方法
JP2006285956A (ja) * 2005-03-11 2006-10-19 Fuji Photo Film Co Ltd 赤目検出方法および装置並びにプログラム
JP2007067560A (ja) * 2005-08-29 2007-03-15 Canon Inc 撮像装置及びその制御方法、コンピュータプログラム及び記録媒体
JP2008067008A (ja) * 2006-09-06 2008-03-21 Sharp Corp 撮影装置、撮影方法、撮影プログラムおよび記録媒体
JP2008301429A (ja) * 2007-06-04 2008-12-11 Tokai Rika Co Ltd 画像処理装置
US7529428B2 (en) 2003-09-25 2009-05-05 Nintendo Co., Ltd. Image processing apparatus and storage medium storing image processing program
JP2009105816A (ja) * 2007-10-25 2009-05-14 Nikon Corp カメラ、および画像記録プログラム
JP2009527983A (ja) * 2006-02-24 2009-07-30 フォトネーション アイルランド リミテッド デジタル画像を選択的に不適格とする方法及び装置
JP2010081301A (ja) * 2008-09-26 2010-04-08 Casio Computer Co Ltd 撮影装置、音声案内方法、及びプログラム
US7787025B2 (en) 2001-09-18 2010-08-31 Ricoh Company, Limited Image pickup device that cuts out a face image from subject image data
JP2011109696A (ja) * 2011-01-17 2011-06-02 Casio Computer Co Ltd 撮影画像記録装置および撮影画像記録制御方法
US8077215B2 (en) 2007-04-13 2011-12-13 Fujifilm Corporation Apparatus for detecting blinking state of eye
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
WO2015194084A1 (ja) * 2014-06-20 2015-12-23 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム
US9893441B2 (en) * 2014-08-08 2018-02-13 Autonetworks Technologies, Ltd. Card edge connector and method for manufacturing same
JP2019135618A (ja) * 2018-02-05 2019-08-15 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7973853B2 (en) 2001-09-18 2011-07-05 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method calculating an exposure based on a detected face
US7920187B2 (en) 2001-09-18 2011-04-05 Ricoh Company, Limited Image pickup device that identifies portions of a face
US7903163B2 (en) 2001-09-18 2011-03-08 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
US7787025B2 (en) 2001-09-18 2010-08-31 Ricoh Company, Limited Image pickup device that cuts out a face image from subject image data
US8421899B2 (en) 2001-09-18 2013-04-16 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
US7978261B2 (en) 2001-09-18 2011-07-12 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
JP2006508463A (ja) * 2002-11-29 2006-03-09 ソニー・ユナイテッド・キングダム・リミテッド 顔検出
JP2004361989A (ja) * 2003-05-30 2004-12-24 Seiko Epson Corp 画像選択システム及び画像選択プログラム、並びに画像選択方法
US7529428B2 (en) 2003-09-25 2009-05-05 Nintendo Co., Ltd. Image processing apparatus and storage medium storing image processing program
JP4492273B2 (ja) * 2004-09-22 2010-06-30 株式会社ニコン 撮像装置およびプログラム
JP2006094059A (ja) * 2004-09-22 2006-04-06 Nikon Corp 撮像装置およびプログラム
JP2006166348A (ja) * 2004-12-10 2006-06-22 Konica Minolta Holdings Inc 顔画像撮影装置および顔画像判定装置ならびに顔画像判定プログラム
US8457351B2 (en) 2005-02-23 2013-06-04 Fujitsu Limited Image object detection using separate ranges from both image detections
WO2006090449A1 (ja) * 2005-02-23 2006-08-31 Fujitsu Limited 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
JP2006285956A (ja) * 2005-03-11 2006-10-19 Fuji Photo Film Co Ltd 赤目検出方法および装置並びにプログラム
JP2006254358A (ja) * 2005-03-14 2006-09-21 Omron Corp 撮像装置およびタイマー撮影方法
JP4639869B2 (ja) * 2005-03-14 2011-02-23 オムロン株式会社 撮像装置およびタイマー撮影方法
JP2007067560A (ja) * 2005-08-29 2007-03-15 Canon Inc 撮像装置及びその制御方法、コンピュータプログラム及び記録媒体
JP2009527983A (ja) * 2006-02-24 2009-07-30 フォトネーション アイルランド リミテッド デジタル画像を選択的に不適格とする方法及び装置
JP2008067008A (ja) * 2006-09-06 2008-03-21 Sharp Corp 撮影装置、撮影方法、撮影プログラムおよび記録媒体
US8077215B2 (en) 2007-04-13 2011-12-13 Fujifilm Corporation Apparatus for detecting blinking state of eye
JP2008301429A (ja) * 2007-06-04 2008-12-11 Tokai Rika Co Ltd 画像処理装置
JP2009105816A (ja) * 2007-10-25 2009-05-14 Nikon Corp カメラ、および画像記録プログラム
US8532345B2 (en) 2007-10-25 2013-09-10 Nikon Corporation Camera and image recording program product
US9462180B2 (en) 2008-01-27 2016-10-04 Fotonation Limited Detecting facial expressions in digital images
US11470241B2 (en) 2008-01-27 2022-10-11 Fotonation Limited Detecting facial expressions in digital images
US11689796B2 (en) 2008-01-27 2023-06-27 Adeia Imaging Llc Detecting facial expressions in digital images
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
JP2010081301A (ja) * 2008-09-26 2010-04-08 Casio Computer Co Ltd 撮影装置、音声案内方法、及びプログラム
JP2011109696A (ja) * 2011-01-17 2011-06-02 Casio Computer Co Ltd 撮影画像記録装置および撮影画像記録制御方法
WO2015194084A1 (ja) * 2014-06-20 2015-12-23 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム
US10462358B2 (en) 2014-06-20 2019-10-29 Sony Corporation Information processing apparatus, information processing system, and information processing method
US9893441B2 (en) * 2014-08-08 2018-02-13 Autonetworks Technologies, Ltd. Card edge connector and method for manufacturing same
JP2019135618A (ja) * 2018-02-05 2019-08-15 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
US11195298B2 (en) 2018-02-05 2021-12-07 Canon Kabushiki Kaisha Information processing apparatus, system, method for controlling information processing apparatus, and non-transitory computer readable storage medium
JP7104523B2 (ja) 2018-02-05 2022-07-21 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム

Similar Documents

Publication Publication Date Title
JP2001067459A (ja) 顔画像処理方法および顔画像処理装置
JP4377472B2 (ja) 顔画像処理装置
US11716527B2 (en) Photographing apparatus, method and medium using image recognition
JP3761059B2 (ja) ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ
JP4307496B2 (ja) 顔部位検出装置及びプログラム
EP0989517B1 (en) Determining the position of eyes through detection of flashlight reflection and correcting defects in a captured frame
US8836777B2 (en) Automatic detection of vertical gaze using an embedded imaging device
US7130453B2 (en) Eye position detection method and device
JP4898532B2 (ja) 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体
US20050200722A1 (en) Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program
CA2773865A1 (en) Display device with image capture and analysis module
JPH0424503A (ja) 眼位置検出装置
US20050063568A1 (en) Robust face detection algorithm for real-time video sequence
US20050041111A1 (en) Frame adjustment device and image-taking device and printing device
JP2003150942A (ja) 目位置追跡方法
JP2000137789A (ja) 画像処理装置
JP5242827B2 (ja) 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法
JPH04174309A (ja) 運転車の眼位置検出装置及び状態検出装置
JP4063583B2 (ja) デジタルカメラ
JP2005045601A (ja) 画像撮影装置およびプログラム
KR20190063130A (ko) 스마트 미러
JPH04174304A (ja) 眼位置検出装置
JP5017476B2 (ja) 顔画像処理装置、顔画像処理方法および電子スチルカメラ
JP2001184483A (ja) 個人識別装置及び個人識別方法
JP2009169975A (ja) 顔画像処理装置