JP2009169975A - 顔画像処理装置 - Google Patents
顔画像処理装置 Download PDFInfo
- Publication number
- JP2009169975A JP2009169975A JP2009106612A JP2009106612A JP2009169975A JP 2009169975 A JP2009169975 A JP 2009169975A JP 2009106612 A JP2009106612 A JP 2009106612A JP 2009106612 A JP2009106612 A JP 2009106612A JP 2009169975 A JP2009169975 A JP 2009169975A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- pupil
- images
- facial expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】顔画像を含む人物の複数枚の画像を入力し、この入力された各画像ごとに人物の顔領域を抽出し、この抽出された各画像ごとの顔領域の表情の評価値を求め、この評価された評価値を用いて前記入力された画像内に表示された人物の顔の表情が撮影者が希望した表情となる画像であるかを各画像ごとに判定し、この判定結果を利用して前記複数枚の画像の中で人物の顔の表情が撮影者が希望した表情と判定された画像を選択して出力する。
【選択図】図1
Description
例えば電子スチルカメラやTV電話、監視カメラで人物を撮影する場合、顔の向きや目や口などの状態が希望の状態の時に一人または複数の人物の顔を撮影しようとする時は、被撮影者に希望の状態に顔の状態をあわせてもらうといった方法をとるか、監視カメラなどではすべての時間において連続的にビデオテープなどを使って撮影を行い、後から最適な画像を目で見ながら選ぶといった方法をとっている。
初めに本方式を用いてテレビカメラや電子スチルカメラから入力された連続画像中に含まれる1人または複数の人物の顔の状態(表情)を認識し、撮影者の希望とする状態の顔を撮影する装置についての実施形態を示す。
図1は、本発明の実施形態であるシステムの一例を示す構成図である。図1において、本実施形態は、テレビカメラ及びモニタ1、PC(またはワークステーション)からなる装置2,3、または電子スチルカメラのような携帯型の筐体内部にPCと同様の計算及び記憶装置等を含み、液晶やプラズマ等の小型ディスプレイを装備した装置4からなる。
得られた結果や候補画像は入力画像サイズまたは顔サイズ補正部23によってサイズを補正しながら出力部24によって表示し、撮影者に結果を知らせる。
一名または複数名の人物が写るように設置された、動画像入力用のテレビカメラ及び静止画入力用の電子スチルカメラ等を利用して画像をカラーまたはモノクロでデジタイズして入力する。入力画像の階調やサイズはとくに限定せずカメラの入力階調、入力解像度に従うこととする。
画像入力部11から取り込まれた画像はそのままメモリに保存され、また直前(Nフレーム前まで)の複数の画像を別の領域に保存する。
人物顔領域のうち、上下端は眉毛から唇付近、左右端は両目の両端の外側に位置する領域を顔検索用領域として定め、予め複数名の画像を利用して平均画像もしくはKL展開をして上位成分固有ベクトルを用いる等して顔探索用の顔辞書を作成する。
評価値=顔辞書との類似度−非顔辞書との類似度
で与えられる評価値の最も高い場所を求め第一の顔検出領域とする。最高値を出した領域と重ならず所定の距離以上離れた位置で所定の評価しきい値以上の評価値を与える領域に対しても顔の検出領域とすることで、複数人数が入力画像に入っている場合でも全員を検出し、被撮影領域中の人数を計測することも可能である。
顔領域抽出部13によって抽出された顔領域それぞれに対して、複数の半径で円形分離度フィルター(「動画像を用いた顔認識システム」、山口修他、信学技報 PRMU97−50,PP17−23を参照)をかけることで円形で周りより暗くなっている場所を瞳候補点として列挙する。瞳領域は顔の上方領域にあると想定されるので探索領域は顔全体に対して処理する必要はない。
評価値=瞳辞書との類似度−非瞳辞書との類似度
なお、各辞書は前もって複数名の被験者のデータから顔領域抽出部と同様に辞書を予め作成しておくものとし、この場合の瞳辞書は眼がねをかけている、目つぶり、横目、半目などといった各種の瞳の状態を全て別々の複数辞書として持ち、目つぶりや横目の状態など様々な状態でも安定して瞳領域を検出することができる。
また鼻孔検出部15と組み合わせて幾何学的な拘束条件を図5のように定めることで、瞳検出の精度を上げることが可能である。
顔検出部13及び瞳検出部14の位置関係を用いて鼻領域を限定する。顔領域中央部であり両瞳よりも下において瞳検出部14と同様に二値化、円形分離度フィルター処理をすることで暗くて丸い部分の領域を鼻孔候補点として列挙し、それぞれに対して顔検出部と同様、鼻孔辞書、非鼻孔辞書と類似度計算をし以下の評価値を各点で求める。
評価値=鼻孔辞書との類似度−非鼻孔辞書との類似度
また、候補点全ての2点の組み合わせの中で、予め与えてある瞳との幾何学的な配置条件に一致する中で上記評価値が最高となる一組の点(左右の2点)を求め、それを両鼻孔位置として検出する。また瞳検出部14にも示したが幾何学配置条件の中で瞳と鼻孔の4点を行うことで精度を上げることも可能である。
顔領域抽出部13、瞳検出部14及び鼻孔検出部15によって顔及び目鼻の配置が求められたため、両瞳の中心、両鼻孔の中心を求め平均的な幾何学配置を利用して口があるだろうと思われる計算を行う。図5は、本発明の瞳検出部及び鼻孔検出部における瞳と鼻孔と口の位置関係を説明する説明図であり、図5を参照されたい。
図7において、その領域において最も暗い画素しか出ないような所定しきい値以下の輝度を持つ画素を黒画素にし、それ以外の画素を白画素とする二値化処理を行い、この画像を基準画像とする。このしきい値でも抽出される領域は暗い部分もしくは黒い部分のため、ひげの領域もしくは開いている口の領域とする。そこから徐々にしきい値を上げて二値化をし、基準画像との差分画像に対してラベリング処理を行い、横に長い領域(ラベル)がでてきて大きくなってきたらその領域が縦横それぞれ所定サイズ以上になった段階で口の領域とする。一方で初期しきい値の二値化結果とサイズがほとんど変わらないのはひげなどのような真っ黒な領域は差分処理によって排除でき、口領域とは区別することができる。
瞳検出部14で求められた左右の各瞳領域にたいし、「目つぶり」「半目」「横目」「上目」等といった目の様々な状態にあわせて辞書を作成しておき、得られた瞳画像との類似度が最も高くなる状態を現在の瞳の状態と判定する。
次に、口状態判定部16の処理のフローチャートを図11に示す。
図11において、口の上下幅左右幅、及び上下左右幅、およびそれぞれに定めたしきい値との比較によって口が開いているか閉じているかの判定を行う。口の上下幅が所定しきい値以上となれば(S41)口が開いていると判定し(S44)、所定しきい値以下の場合で横幅が所定しきい値以上であれば(S42)口が閉じていると判定する(S45)。さらに、そのどちらにも属さない場合には、口の上下幅左右幅、及び上下左右幅を一定サイズになるように正規化した画像において複数の状態の辞書(普通の口、とんがっている口、くいしばり、あかんべぇ等それぞれにあわせて辞書を作成)と比較することで(S43)口の状態を判定する(S46,S47)。
瞳状態判定部17及び口状態判定部18の出力を利用し、撮影者の希望する顔状態であるかどうかを判定する。希望の状態とは、例えば証明写真等の場合の状態とは「瞳が正面を向いて開いた状態であり、口は閉じた状態である」になり、スナップ写真等では「瞳が開いた状態で口の状態はどちらでもよい」「瞳が開いた状態で口が笑った状態」等となる。
顔領域抽出部13で抽出された顔領域それぞれにおいて、男女それぞれの平均顔からなる辞書、大人子供それぞれの平均顔からなる辞書、また国籍などそれぞれで平均顔画像辞書をもち、類似度計算をしてどちらに近いかで属性ごとに人数の計測を行い、得られた結果をもとに顔領域に対して属性のラベル付けを行う。また属性に関係なく非撮影領域内に存在する人物の数を全部積算することにより人数計測を行うことができる。
所定時間内に蓄積された時系列連続画像の中において、顔状態判定部19で示したようなマトリクスを用い、撮影者の希望とする状態であるかどうかを、一枚一枚毎に、そして各人毎に、そして各部位毎に計数をかけて積算したものを評価値として求める。式は以下の通り。
評価値=(希望辞書との類似度−非希望辞書中最高類似度)
ここで、「顔」は撮影領域内に含まれる全顔を示し、「部位」は各顔領域内における目と口を示す。複数枚得た画像の中で上記評価値が最も高くなる画像を最適画像として選択する。
複数人物を対象として撮影をしており、撮影領域内の全員が目を開いて笑っている(口を開いている)状態の写真を撮りたいなどといった希望の状態の撮影を行いたい場合、上記顔状態判定部19までの処理を所定時間繰り返すことで蓄積された画像の中で、被撮影者それぞれにおいて最適の画像を顔領域及び所定範囲の顔の周辺画像を保存し、最終出力画像で最適画像をあてはめて合成することで、被撮影者が撮影タイミングやまわりの調整が必要なく最適な画像を作成する。合成する場合には、できるだけ被撮影者が動かないことが前提であるが、動いてしまった場合には顔領域より大きめにとった保存領域の周辺に沿ってアンチエイリアス処理をかけることにより不自然な合成画像でなくなるように処理を行う。
出力部24に出力する際に入力された画像をそのまま出力することもできるが、抽出された一人または複数人の顔領域の大きさに応じて出力画像の大きさを拡大・縮小する。顔のサイズは顔領域抽出部13で用いた複数解像度の顔辞書のサイズを用いれば求めることができるのだがサイズの解像度分だけ解像度が必要となるため、ここでは別手法を用いる。
最後に出力部24の処理を以下に説明する。
テレビカメラで据え置き型の装置の場合にはモニタ、携帯タイプのものでは内蔵されたモニタに最適画像及び最適候補画像を並べて出力を行う。図14に示されたように最適画像と判定された画像が大きく出力され、その横には時間列にそって評価値の高いものを並べる。もし希望の画像が候補列の方にある場合には上下左右のボタンで希望画像を選択できるようにして最終出力画像を変更できるほか、図14の点線の四角で囲われた矩形領域Hのように各画像それぞれ顔領域に印をつけ、複数の画像の中から最適の顔を手動で合成することも可能である。
また、集合写真等など複数人物を撮影する場合に被撮影者それぞれの最適状態の画像を自動的に合成することで、被撮影者全員の最適な画像を容易に得ることが可能となる。
Claims (2)
- 顔画像を含む人物の複数枚の画像を入力する画像入力手段と、
この画像入力手段により入力された各画像ごとに、前記人物の顔領域を抽出する顔領域抽出手段と、
この顔領域抽出手段により抽出された各画像ごとの顔領域の表情の評価値を求める表情評価手段と、
この表情評価手段で評価された評価値を用いて前記画像入力手段より入力された画像内に表示された前記人物の顔の表情が撮影者が希望した表情となる画像であるかを各画像ごとに判定する表情判定手段と、
この表情判定手段の判定結果を利用して前記複数枚の画像の中で前記人物の顔の表情が撮影者が希望した表情と判定された画像を選択して出力する画像選択手段と、
を具備したことを特徴とする顔画像処理装置。 - 前記表情評価手段における評価値の求め方は、評価する部位のその部位に該当する辞書との類似度からその部位に該当しない辞書との類似度の差によって決定することを特徴とする請求項1記載の顔画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009106612A JP4762329B2 (ja) | 2009-04-24 | 2009-04-24 | 顔画像処理装置および顔画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009106612A JP4762329B2 (ja) | 2009-04-24 | 2009-04-24 | 顔画像処理装置および顔画像処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06007999A Division JP4377472B2 (ja) | 1999-03-08 | 1999-03-08 | 顔画像処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011092307A Division JP5017476B2 (ja) | 2011-04-18 | 2011-04-18 | 顔画像処理装置、顔画像処理方法および電子スチルカメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009169975A true JP2009169975A (ja) | 2009-07-30 |
JP4762329B2 JP4762329B2 (ja) | 2011-08-31 |
Family
ID=40970997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009106612A Expired - Lifetime JP4762329B2 (ja) | 2009-04-24 | 2009-04-24 | 顔画像処理装置および顔画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4762329B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013132013A (ja) * | 2011-12-22 | 2013-07-04 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09161062A (ja) * | 1995-12-13 | 1997-06-20 | Nissan Motor Co Ltd | パターン認識方法 |
JPH10269356A (ja) * | 1997-03-26 | 1998-10-09 | Oki Electric Ind Co Ltd | 画像選択方法及び画像選択装置 |
-
2009
- 2009-04-24 JP JP2009106612A patent/JP4762329B2/ja not_active Expired - Lifetime
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09161062A (ja) * | 1995-12-13 | 1997-06-20 | Nissan Motor Co Ltd | パターン認識方法 |
JPH10269356A (ja) * | 1997-03-26 | 1998-10-09 | Oki Electric Ind Co Ltd | 画像選択方法及び画像選択装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013132013A (ja) * | 2011-12-22 | 2013-07-04 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4762329B2 (ja) | 2011-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4377472B2 (ja) | 顔画像処理装置 | |
US8819015B2 (en) | Object identification apparatus and method for identifying object | |
US8411171B2 (en) | Apparatus and method for generating image including multiple people | |
JP4824411B2 (ja) | 顔抽出装置、半導体集積回路 | |
US11232586B2 (en) | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium | |
US8928770B2 (en) | Multi-subject imaging device and imaging method | |
CN110837750B (zh) | 一种人脸质量评价方法与装置 | |
WO2008012905A1 (fr) | Dispositif d'authentification et procédé d'affichage d'une image à authentifier | |
JP5460793B2 (ja) | 表示装置、表示方法、テレビジョン受信機及び表示制御装置 | |
US7460705B2 (en) | Head-top detecting method, head-top detecting system and a head-top detecting program for a human face | |
US20100188520A1 (en) | Imaging device and storage medium storing program | |
JP2001067459A (ja) | 顔画像処理方法および顔画像処理装置 | |
JP4206053B2 (ja) | ユーザインタフェース装置およびユーザインタフェースプログラム | |
JP2015106252A (ja) | 顔向き検出装置及び3次元計測装置 | |
KR102364929B1 (ko) | 피부 변화를 추적하는 전자 장치, 서버, 및 시스템 | |
CN112183200A (zh) | 一种基于视频图像的眼动追踪方法和系统 | |
JP2005149370A (ja) | 画像撮影装置、個人認証装置及び画像撮影方法 | |
JP5242827B2 (ja) | 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法 | |
JP3970573B2 (ja) | 顔画像認識装置および方法 | |
CN109328355A (zh) | 用于智能群体肖像的方法和系统 | |
JP6098133B2 (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
JPWO2022074865A5 (ja) | 生体検知装置、制御方法、及びプログラム | |
JP4762329B2 (ja) | 顔画像処理装置および顔画像処理方法 | |
JP2013118574A (ja) | 撮像装置 | |
JP5017476B2 (ja) | 顔画像処理装置、顔画像処理方法および電子スチルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110413 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110607 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
EXPY | Cancellation because of completion of term |