JP2001101429A - 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体 - Google Patents
顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体Info
- Publication number
- JP2001101429A JP2001101429A JP27431499A JP27431499A JP2001101429A JP 2001101429 A JP2001101429 A JP 2001101429A JP 27431499 A JP27431499 A JP 27431499A JP 27431499 A JP27431499 A JP 27431499A JP 2001101429 A JP2001101429 A JP 2001101429A
- Authority
- JP
- Japan
- Prior art keywords
- face
- contour
- iris
- line
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【課題】 顔面の向きを簡単かつ精度良く検出する。
【解決手段】 ３台のカメラにより得た顔面の画像は、
２値化処理部１３により２値化され、セグメント化処理
部１４により、２値画像上の等輝度線を線分、円弧のセ
グメントに置き換えるセグメント化処理が行われる。つ
いで３次元計測部１５が、各セグメントに対する３次元
計測処理を実行すると、虹彩検出部１６は、直径約１cm
の円の円の弧を形成し、かつ６〜７cmの距離範囲にある
一対のセグメントを両目の虹彩の輪郭線として検出す
る。口検出部１７は、各虹彩の輪郭線から得られた各瞳
の位置に基づき、口部を表すセグメントを検出して、そ
の中心点の座標を算出する。顔の向き検出部１８は、各
瞳および口部の中心点の検出位置から顔面の向きを表す
仮想平面を特定する。
２値化処理部１３により２値化され、セグメント化処理
部１４により、２値画像上の等輝度線を線分、円弧のセ
グメントに置き換えるセグメント化処理が行われる。つ
いで３次元計測部１５が、各セグメントに対する３次元
計測処理を実行すると、虹彩検出部１６は、直径約１cm
の円の円の弧を形成し、かつ６〜７cmの距離範囲にある
一対のセグメントを両目の虹彩の輪郭線として検出す
る。口検出部１７は、各虹彩の輪郭線から得られた各瞳
の位置に基づき、口部を表すセグメントを検出して、そ
の中心点の座標を算出する。顔の向き検出部１８は、各
瞳および口部の中心点の検出位置から顔面の向きを表す
仮想平面を特定する。
Description
【０００１】
【産業上の利用分野】この発明は、顔面を撮像して得ら
れる画像を処理して、その顔面を観測する技術に属し、
特に、複数の撮像手段より得た画像を用いた３次元計測
処理により、顔面または視線の向きを認識しつつ顔面を
観測する技術に関連する。
れる画像を処理して、その顔面を観測する技術に属し、
特に、複数の撮像手段より得た画像を用いた３次元計測
処理により、顔面または視線の向きを認識しつつ顔面を
観測する技術に関連する。
【０００２】
【従来の技術】従来、人の顔を撮像して得た画像を用い
て個人認証を行う方法として、２次元画像上でエッジな
どの特徴点を抽出してモデルとのマッチング処理を行っ
たり、顔面にモアレ縞を投影しつつ撮像して、画像上の
各縞の屈曲状態から顔の輪郭形状を認識する、といった
技術が知られている。また複数台のカメラにより観測対
象となる顔面を撮像して、各画像上の特徴点についての
３次元計測処理を行い、その認識結果を所定の３次元モ
デルと照合するなどして、顔を認識することも試みられ
ている。
て個人認証を行う方法として、２次元画像上でエッジな
どの特徴点を抽出してモデルとのマッチング処理を行っ
たり、顔面にモアレ縞を投影しつつ撮像して、画像上の
各縞の屈曲状態から顔の輪郭形状を認識する、といった
技術が知られている。また複数台のカメラにより観測対
象となる顔面を撮像して、各画像上の特徴点についての
３次元計測処理を行い、その認識結果を所定の３次元モ
デルと照合するなどして、顔を認識することも試みられ
ている。
【０００３】
【発明が解決しようとする課題】従来の２次元の画像処
理は、観測対象の顔面が定められた基準の方向を向いて
いることを前提とするものである。したがって撮像時の
顔面が基準と異なる方向を向いていると、認識精度は著
しく低下してしまう。
理は、観測対象の顔面が定められた基準の方向を向いて
いることを前提とするものである。したがって撮像時の
顔面が基準と異なる方向を向いていると、認識精度は著
しく低下してしまう。
【０００４】一方、３次元での顔認識処理を行う場合
は、各画像により得られた３次元計測結果に対し、所定
の３次元モデルを回転させつつ照合するなどして、顔面
の向きを検出することが可能であるが、このような方法
では、処理に多大な時間がかかる。特に個人認証のよう
な目的に用いる場合、複数のモデルに対し、それぞれモ
デルの回転処理や照合処理を繰り返す必要があり、実用
に耐える処理を行い得るとは、到底考えられない。
は、各画像により得られた３次元計測結果に対し、所定
の３次元モデルを回転させつつ照合するなどして、顔面
の向きを検出することが可能であるが、このような方法
では、処理に多大な時間がかかる。特に個人認証のよう
な目的に用いる場合、複数のモデルに対し、それぞれモ
デルの回転処理や照合処理を繰り返す必要があり、実用
に耐える処理を行い得るとは、到底考えられない。
【０００５】この発明は上記問題点に着目してなされた
もので、顔面または視線の向きを簡単かつ精度良く検出
して、個人認証のほか、種々の制御に応用可能な顔観測
を可能となすことを目的とする。
もので、顔面または視線の向きを簡単かつ精度良く検出
して、個人認証のほか、種々の制御に応用可能な顔観測
を可能となすことを目的とする。
【０００６】
【課題を解決するための手段】発明者は、計測により、
人の目の虹彩は、人種や老若男女を問わず、直径約１cm
の大きさを有し、また両目の虹彩は、安定した距離範囲
（大人の場合、約６〜７cmの範囲）に位置することに気
がついた（図３参照）。また顔面のような平坦部が多
く、輝度の変化の少ない対象物を撮像した場合、目の虹
彩や口部が、画像上で最も安定して抽出できる特徴とな
ることは、自明である。
人の目の虹彩は、人種や老若男女を問わず、直径約１cm
の大きさを有し、また両目の虹彩は、安定した距離範囲
（大人の場合、約６〜７cmの範囲）に位置することに気
がついた（図３参照）。また顔面のような平坦部が多
く、輝度の変化の少ない対象物を撮像した場合、目の虹
彩や口部が、画像上で最も安定して抽出できる特徴とな
ることは、自明である。
【０００７】請求項１の発明では、上記した虹彩の特徴
に着目し、観測対象の顔面に向けて配置された複数の撮
像手段より得た複数の画像上で、それぞれ顔面の特徴を
表す輪郭線を抽出した後に、輪郭線の各構成点を画像間
で対応づけて３次元計測処理を実行し、３次元空間にお
いて所定大きさを有する円弧状の輪郭線を、目の虹彩の
輪郭線として検出するようにしている。
に着目し、観測対象の顔面に向けて配置された複数の撮
像手段より得た複数の画像上で、それぞれ顔面の特徴を
表す輪郭線を抽出した後に、輪郭線の各構成点を画像間
で対応づけて３次元計測処理を実行し、３次元空間にお
いて所定大きさを有する円弧状の輪郭線を、目の虹彩の
輪郭線として検出するようにしている。
【０００８】請求項２の発明では、目の虹彩の輪郭線を
検出する際に、３次元空間において所定大きさを有し、
かつ所定の距離範囲に位置する一対の円弧状の輪郭線
を、両目の虹彩の輪郭線として検出するようにしてい
る。
検出する際に、３次元空間において所定大きさを有し、
かつ所定の距離範囲に位置する一対の円弧状の輪郭線
を、両目の虹彩の輪郭線として検出するようにしてい
る。
【０００９】請求項３の発明では、請求項２の方法によ
り検出された両目の虹彩の輪郭線の並び方向に直交する
方向で所定の距離範囲に位置する輪郭線から口部の代表
点を検出し、前記各虹彩の輪郭線と口部の代表点との検
出位置から観測対象の顔面または視線の向きを検出する
ようにしている。
り検出された両目の虹彩の輪郭線の並び方向に直交する
方向で所定の距離範囲に位置する輪郭線から口部の代表
点を検出し、前記各虹彩の輪郭線と口部の代表点との検
出位置から観測対象の顔面または視線の向きを検出する
ようにしている。
【００１０】請求項４の発明では、前記虹彩の輪郭線と
して、直径約１cmの円の孤を形成する輪郭線を検出する
ようにしている。
して、直径約１cmの円の孤を形成する輪郭線を検出する
ようにしている。
【００１１】請求項５の発明にかかる顔観測装置は、観
測対象となる顔面に向けて配置された複数の撮像手段に
より得た画像を入力する画像入力手段と、前記画像入力
手段により入力された各画像に対し、それぞれ顔面の特
徴を表す輪郭線を抽出する輪郭線抽出手段と、抽出され
た輪郭線の各構成点を画像間で対応づけて３次元計測処
理を実行する計測手段と、前記計測手段による３次元計
測結果を用いて、３次元空間内で所定大きさを有する円
弧状の輪郭線を、目の虹彩の輪郭線として検出する虹彩
検出手段とを具備する。
測対象となる顔面に向けて配置された複数の撮像手段に
より得た画像を入力する画像入力手段と、前記画像入力
手段により入力された各画像に対し、それぞれ顔面の特
徴を表す輪郭線を抽出する輪郭線抽出手段と、抽出され
た輪郭線の各構成点を画像間で対応づけて３次元計測処
理を実行する計測手段と、前記計測手段による３次元計
測結果を用いて、３次元空間内で所定大きさを有する円
弧状の輪郭線を、目の虹彩の輪郭線として検出する虹彩
検出手段とを具備する。
【００１２】請求項６の発明では、前記虹彩検出手段
は、前記３次元空間において、前記所定大きさを有し、
かつ所定の距離範囲に位置する一対の円弧状の輪郭線
を、両目の虹彩の輪郭線として検出する。さらに請求項
７の発明では、３次元空間において、直径が約１cmの円
の孤を形成する輪郭線を、虹彩の輪郭線として検出する
ようにしている。
は、前記３次元空間において、前記所定大きさを有し、
かつ所定の距離範囲に位置する一対の円弧状の輪郭線
を、両目の虹彩の輪郭線として検出する。さらに請求項
７の発明では、３次元空間において、直径が約１cmの円
の孤を形成する輪郭線を、虹彩の輪郭線として検出する
ようにしている。
【００１３】請求項８の発明にかかる顔観測装置は、請
求項５と同様の画像入力手段、輪郭線抽出手段、３次元
計測処理のほか、計測手段による３次元計測結果を用い
て、３次元空間内において所定大きさを有し、かつ所定
の距離範囲に位置する一対の円弧状の輪郭線を、両目の
虹彩の輪郭線として検出する虹彩検出手段と、前記虹彩
検出手段により検出された各虹彩の輪郭線を用いて、観
測対象の顔面または視線の向きを検出する向き検出手段
とを具備する。この向き検出手段は、前記３次元空間に
おいて、前記各虹彩の輪郭線の並び方向に直交する方向
で所定の距離範囲に位置する輪郭線から口部の代表点を
検出し、前記各虹彩の輪郭線と口部の代表点との検出位
置から観測対象の顔面または視線の向きを検出する。
求項５と同様の画像入力手段、輪郭線抽出手段、３次元
計測処理のほか、計測手段による３次元計測結果を用い
て、３次元空間内において所定大きさを有し、かつ所定
の距離範囲に位置する一対の円弧状の輪郭線を、両目の
虹彩の輪郭線として検出する虹彩検出手段と、前記虹彩
検出手段により検出された各虹彩の輪郭線を用いて、観
測対象の顔面または視線の向きを検出する向き検出手段
とを具備する。この向き検出手段は、前記３次元空間に
おいて、前記各虹彩の輪郭線の並び方向に直交する方向
で所定の距離範囲に位置する輪郭線から口部の代表点を
検出し、前記各虹彩の輪郭線と口部の代表点との検出位
置から観測対象の顔面または視線の向きを検出する。
【００１４】請求項９以降の発明は、観測対象となる顔
面に向けて配置された複数の撮像手段により得た画像を
取り込んで、前記顔面を観測するためのプログラムが記
録された記録媒体に関するもので、請求項９の発明にか
かる記録媒体は、各撮像手段により得た画像上でそれぞ
れ顔面の特徴を表す輪郭線を抽出するステップ、抽出さ
れた輪郭線の各構成点を画像間で対応づけて３次元計測
処理を実行するステップ、前記３次元計測処理の結果を
用いて、３次元空間において所定大きさを有する円弧状
の輪郭線を、目の虹彩を表す輪郭線として検出するステ
ップ、の各ステップを実行するためのプログラムが記録
されている。
面に向けて配置された複数の撮像手段により得た画像を
取り込んで、前記顔面を観測するためのプログラムが記
録された記録媒体に関するもので、請求項９の発明にか
かる記録媒体は、各撮像手段により得た画像上でそれぞ
れ顔面の特徴を表す輪郭線を抽出するステップ、抽出さ
れた輪郭線の各構成点を画像間で対応づけて３次元計測
処理を実行するステップ、前記３次元計測処理の結果を
用いて、３次元空間において所定大きさを有する円弧状
の輪郭線を、目の虹彩を表す輪郭線として検出するステ
ップ、の各ステップを実行するためのプログラムが記録
されている。
【００１５】請求項１０の発明にかかる記録媒体には、
各撮像手段により得た画像上でそれぞれ顔面の特徴を表
す輪郭線を抽出するステップ、抽出された輪郭線の各構
成点を画像間で対応づけて３次元計測処理を実行するス
テップ、前記３次元計測処理の結果を用いて、３次元空
間において所定大きさを有し、かつ所定の距離範囲に位
置する一対の円弧状の輪郭線を、両目の虹彩を表す輪郭
線として検出するステップ、の各ステップを実行するた
めのプログラムが記録される。
各撮像手段により得た画像上でそれぞれ顔面の特徴を表
す輪郭線を抽出するステップ、抽出された輪郭線の各構
成点を画像間で対応づけて３次元計測処理を実行するス
テップ、前記３次元計測処理の結果を用いて、３次元空
間において所定大きさを有し、かつ所定の距離範囲に位
置する一対の円弧状の輪郭線を、両目の虹彩を表す輪郭
線として検出するステップ、の各ステップを実行するた
めのプログラムが記録される。
【００１６】請求項１１の発明にかかる記録媒体には、
請求項１０の各プログラムに加えて、前記３次元空間に
おいて、前記各虹彩の輪郭線の並び方向に直交する方向
に位置する輪郭線から口部の代表点を検出するステップ
を実行するためのプログラムと、前記各虹彩の輪郭線と
口部の代表点との各検出位置から観測対象の顔面または
視線の向きを検出するステップを実行するためのプログ
ラムとが記録されている。
請求項１０の各プログラムに加えて、前記３次元空間に
おいて、前記各虹彩の輪郭線の並び方向に直交する方向
に位置する輪郭線から口部の代表点を検出するステップ
を実行するためのプログラムと、前記各虹彩の輪郭線と
口部の代表点との各検出位置から観測対象の顔面または
視線の向きを検出するステップを実行するためのプログ
ラムとが記録されている。
【００１７】
【作用】顔面の特徴を表す輪郭線につき３次元計測処理
を行うことにより、各輪郭線の３次元形状が明らかにな
るが、その中で、個人差の少ない目の虹彩の大きさに応
じた円孤状の輪郭線を検出することにより、目の虹彩の
位置が明らかになる。また両目の虹彩の位置を検出した
後に、口部のように安定して抽出できる特徴を検出する
と、これらの検出位置から顔面に近似する平面を認識し
て、顔面の向きを特定することが可能となる。さらにこ
の顔面の向きに合わせて３次元計測結果を回転させてモ
デルとのマッチング処理を行ったり、顔面の向きから視
線の先にある対象物を特定するなどの処理が可能とな
る。
を行うことにより、各輪郭線の３次元形状が明らかにな
るが、その中で、個人差の少ない目の虹彩の大きさに応
じた円孤状の輪郭線を検出することにより、目の虹彩の
位置が明らかになる。また両目の虹彩の位置を検出した
後に、口部のように安定して抽出できる特徴を検出する
と、これらの検出位置から顔面に近似する平面を認識し
て、顔面の向きを特定することが可能となる。さらにこ
の顔面の向きに合わせて３次元計測結果を回転させてモ
デルとのマッチング処理を行ったり、顔面の向きから視
線の先にある対象物を特定するなどの処理が可能とな
る。
【００１８】
【実施例】図１は、この発明の一実施例にかかる顔認識
処理装置の構成を示す。この顔認識処理装置１は、ＣＰ
Ｕ２を制御主体とするコンピュータであって、ＣＰＵ２
のほか、ＲＯＭ３，ＲＡＭ４，ハードディスク装置５な
どによる制御部６に、ＣＤ−ＲＯＭドライブ７，画像入
力部８，入力部９，モニタ１０などが接続されて成る。
処理装置の構成を示す。この顔認識処理装置１は、ＣＰ
Ｕ２を制御主体とするコンピュータであって、ＣＰＵ２
のほか、ＲＯＭ３，ＲＡＭ４，ハードディスク装置５な
どによる制御部６に、ＣＤ−ＲＯＭドライブ７，画像入
力部８，入力部９，モニタ１０などが接続されて成る。
【００１９】この顔認識処理装置１は、所定の観測対象
位置に到達した人物の顔面を撮像した画像を用いて、そ
の人物を特定するためのもので、ハードディスク装置５
内には、後記する図４に示す各処理部の機能を実現する
ためのプログラムやデータファイルが格納されている。
なおこれらのプログラムやデータファイルは、元はＣＤ
−ＲＯＭのような記録媒体に記録されており、このＣＤ
−ＲＯＭを前記ＣＤ−ＲＯＭドライブ７にセットして所
定のインストール作業を行うことにより、ハードディス
ク装置５内に格納されたものである。
位置に到達した人物の顔面を撮像した画像を用いて、そ
の人物を特定するためのもので、ハードディスク装置５
内には、後記する図４に示す各処理部の機能を実現する
ためのプログラムやデータファイルが格納されている。
なおこれらのプログラムやデータファイルは、元はＣＤ
−ＲＯＭのような記録媒体に記録されており、このＣＤ
−ＲＯＭを前記ＣＤ−ＲＯＭドライブ７にセットして所
定のインストール作業を行うことにより、ハードディス
ク装置５内に格納されたものである。
【００２０】またこの顔認識処理装置１は、前記観測対
象位置に向けて配置される３台のカメラ１１ａ，１１
ｂ，１１ｃからの画像を取り込んで３次元計測処理を実
行し、その計測結果と、あらかじめ用意された複数の３
次元モデルとのマッチング処理を行って、顔面の認識を
行うように設定されている。画像入力部８は、各カメラ
１１ａ，１１ｂ，１１ｃ毎に個別のインターフェイス回
路やＡ／Ｄ変換回路を具備するもので、これにより各カ
メラ１１ａ，１１ｂ，１１ｃより得られた３枚の画像
は、画像入力部８に同時に取り込まれてディジタル処理
された後に、前記制御部６に入力される。ＲＡＭ４に
は、各画像を個別に記憶するための記憶エリアが設定さ
れており、ＣＰＵ２は、ハードディスク装置５内のプロ
グラムに基づき、ＲＡＭ４に適宜アクセスしつつ、一連
の認識処理を実行する。
象位置に向けて配置される３台のカメラ１１ａ，１１
ｂ，１１ｃからの画像を取り込んで３次元計測処理を実
行し、その計測結果と、あらかじめ用意された複数の３
次元モデルとのマッチング処理を行って、顔面の認識を
行うように設定されている。画像入力部８は、各カメラ
１１ａ，１１ｂ，１１ｃ毎に個別のインターフェイス回
路やＡ／Ｄ変換回路を具備するもので、これにより各カ
メラ１１ａ，１１ｂ，１１ｃより得られた３枚の画像
は、画像入力部８に同時に取り込まれてディジタル処理
された後に、前記制御部６に入力される。ＲＡＭ４に
は、各画像を個別に記憶するための記憶エリアが設定さ
れており、ＣＰＵ２は、ハードディスク装置５内のプロ
グラムに基づき、ＲＡＭ４に適宜アクセスしつつ、一連
の認識処理を実行する。
【００２１】入力部９は、初期設定時や３次元モデルの
登録時に各種の設定データを入力する際などに用いられ
るもので、キーボードやマウスなどにより構成される。
またモニタ１０は、ＣＲＴやＬＣＤなどの表示デバイス
より成るもので、各カメラ１１ａ，１１ｂ，１１ｃより
取り込まれた原画像のほか、処理過程で生成される２値
画像，等輝度線の抽出画像，３次元データの投影画像
（詳細は後記する）などを、適宜、表示する。また最終
的な認識結果も、このモニタ１０に表示させることが可
能である。
登録時に各種の設定データを入力する際などに用いられ
るもので、キーボードやマウスなどにより構成される。
またモニタ１０は、ＣＲＴやＬＣＤなどの表示デバイス
より成るもので、各カメラ１１ａ，１１ｂ，１１ｃより
取り込まれた原画像のほか、処理過程で生成される２値
画像，等輝度線の抽出画像，３次元データの投影画像
（詳細は後記する）などを、適宜、表示する。また最終
的な認識結果も、このモニタ１０に表示させることが可
能である。
【００２２】図２（１）（２）は、前記カメラ１１ａ，
１１ｂ，１１ｃの配置例を示す。なおこの実施例では３
台のカメラ１１ａ，１１ｂ，１１ｃを配置しているが、
最低２台のカメラが配置されていれば、この発明による
３次元認識処理を行うことが可能である。
１１ｂ，１１ｃの配置例を示す。なおこの実施例では３
台のカメラ１１ａ，１１ｂ，１１ｃを配置しているが、
最低２台のカメラが配置されていれば、この発明による
３次元認識処理を行うことが可能である。
【００２３】この実施例では、観測対象の顔面１２に向
けて、各カメラ１１ａ，１１ｂ，１１ｃを、それぞれの
光軸が平行かつ上下方向に並ぶように配置しており、う
ち中央位置のカメラ１１ｂは上下の各カメラ１１ａ，１
１ｃよりもレンズ面を後方にずらして配置されている。
なお、これらカメラ１１ａ，１１ｂ，１１ｃのカメラ座
標系と観測対象の空間座標系との関係を表すパラメータ
や、カメラ１１ａ，１１ｂ，１１ｃ間の感度差を補正す
るためのパラメータなどは、あらかじめキャリブレーシ
ョンにより求められ、ハードディスク装置５などにセッ
トされている。
けて、各カメラ１１ａ，１１ｂ，１１ｃを、それぞれの
光軸が平行かつ上下方向に並ぶように配置しており、う
ち中央位置のカメラ１１ｂは上下の各カメラ１１ａ，１
１ｃよりもレンズ面を後方にずらして配置されている。
なお、これらカメラ１１ａ，１１ｂ，１１ｃのカメラ座
標系と観測対象の空間座標系との関係を表すパラメータ
や、カメラ１１ａ，１１ｂ，１１ｃ間の感度差を補正す
るためのパラメータなどは、あらかじめキャリブレーシ
ョンにより求められ、ハードディスク装置５などにセッ
トされている。
【００２４】３次元空間内で、各カメラ１１ａ，１１
ｂ，１１ｃの画像により得られた顔面の特徴点と３次元
モデルとのマッチング処理を実行するためには、まず特
徴点の３次元計測結果から顔面がいずれの方向を向いて
いるかを検出した上で、前記３次元計測結果または３次
元モデルのいずれかを、それぞれの３次元データにより
表される顔面の向きが一致するように回転補正する必要
がある。
ｂ，１１ｃの画像により得られた顔面の特徴点と３次元
モデルとのマッチング処理を実行するためには、まず特
徴点の３次元計測結果から顔面がいずれの方向を向いて
いるかを検出した上で、前記３次元計測結果または３次
元モデルのいずれかを、それぞれの３次元データにより
表される顔面の向きが一致するように回転補正する必要
がある。
【００２５】ところで発明者は、多数の人々の顔面を計
測した結果、図３に示すように、人の目の虹彩は、人種
や老若男女を問わず、直径が約１cmの大きさを有すると
いう結果を得た。また成人の場合、両目の瞳の中心点間
の距離は、約６〜７cmの範囲にあり、さらにこれら中心
点を結ぶ直線から口部の中心位置までの距離は、約７cm
になるという計測結果も得た。この実施例の顔認識処理
装置１は、この計測結果に基づき、３次元計測結果から
両目の虹彩および口部の中心位置を検出し、これらの検
出位置から顔面に近似する平面を求め、その平面の向き
を観測対象の顔面の向きとして特定するようにしてい
る。ＣＰＵ２には、前記ハードディスク装置５内のプロ
グラムにより、図４に示すように、２値化処理部１３，
セグメント化処理部１４，３次元計測部１５，虹彩検出
部１６，口検出部１７，顔の向き検出部１８，マッチン
グ処理部１９の各機能が設定される。
測した結果、図３に示すように、人の目の虹彩は、人種
や老若男女を問わず、直径が約１cmの大きさを有すると
いう結果を得た。また成人の場合、両目の瞳の中心点間
の距離は、約６〜７cmの範囲にあり、さらにこれら中心
点を結ぶ直線から口部の中心位置までの距離は、約７cm
になるという計測結果も得た。この実施例の顔認識処理
装置１は、この計測結果に基づき、３次元計測結果から
両目の虹彩および口部の中心位置を検出し、これらの検
出位置から顔面に近似する平面を求め、その平面の向き
を観測対象の顔面の向きとして特定するようにしてい
る。ＣＰＵ２には、前記ハードディスク装置５内のプロ
グラムにより、図４に示すように、２値化処理部１３，
セグメント化処理部１４，３次元計測部１５，虹彩検出
部１６，口検出部１７，顔の向き検出部１８，マッチン
グ処理部１９の各機能が設定される。
【００２６】前記２値化処理部１３は、各カメラ１１
ａ，１１ｂ，１１ｃからの入力画像をそれぞれ所定のし
きい値で２値化するためのもので、セグメント化処理部
１４は、入力画像毎、しきい値毎の各２値画像につき、
それぞれ白画素と黒画素との境界を表す輪郭線（以下こ
れを「等輝度線」という）を抽出した後、輪郭追跡によ
り抽出された等輝度線から線分または円弧に近似するパ
ターンを、順次抽出する。抽出されたパターンは、近似
する線分や円弧に置き換えられ（以下、この線分や円弧
のパターンを「セグメント」、等輝度線をセグメントに
置き換える処理を「セグメント化」という）、セグメン
ト毎に、そのセグメントの構成点の座標や、セグメント
の属性（線分，円弧のいずれか）を示す符号などを連ね
たデータが、ＲＡＭ４内の所定エリアに保存される。
ａ，１１ｂ，１１ｃからの入力画像をそれぞれ所定のし
きい値で２値化するためのもので、セグメント化処理部
１４は、入力画像毎、しきい値毎の各２値画像につき、
それぞれ白画素と黒画素との境界を表す輪郭線（以下こ
れを「等輝度線」という）を抽出した後、輪郭追跡によ
り抽出された等輝度線から線分または円弧に近似するパ
ターンを、順次抽出する。抽出されたパターンは、近似
する線分や円弧に置き換えられ（以下、この線分や円弧
のパターンを「セグメント」、等輝度線をセグメントに
置き換える処理を「セグメント化」という）、セグメン
ト毎に、そのセグメントの構成点の座標や、セグメント
の属性（線分，円弧のいずれか）を示す符号などを連ね
たデータが、ＲＡＭ４内の所定エリアに保存される。
【００２７】３次元計測部１５は、各カメラ１１ａ，１
１ｂ，１１ｃからの入力画像につき、セグメント化され
た２値画像間でセグメントの各構成点を対応づけし、対
応づけられた構成点の組毎に、三角測量の原理により３
次元座標を算出する。
１ｂ，１１ｃからの入力画像につき、セグメント化され
た２値画像間でセグメントの各構成点を対応づけし、対
応づけられた構成点の組毎に、三角測量の原理により３
次元座標を算出する。
【００２８】図５は、所定のカメラによる濃淡画像から
得た２値画像を、図６は、この２値画像上の等輝度線を
抽出して得られた画像を、それぞれ示す。図７は、各カ
メラ１１ａ，１１ｂ，１１ｃ毎に得られた３枚の等輝度
線画像をセグメント化した後に３次元計測処理を行った
結果であって、計測処理により得られた各セグメントの
３次元データを２次元平面上に投影した画像を表してい
る。
得た２値画像を、図６は、この２値画像上の等輝度線を
抽出して得られた画像を、それぞれ示す。図７は、各カ
メラ１１ａ，１１ｂ，１１ｃ毎に得られた３枚の等輝度
線画像をセグメント化した後に３次元計測処理を行った
結果であって、計測処理により得られた各セグメントの
３次元データを２次元平面上に投影した画像を表してい
る。
【００２９】前記虹彩検出部１６は、このセグメントの
３次元計測結果から、両目の虹彩を表すセグメントを抽
出するためのもので、図８に示すように、直径が約１cm
で、中心点間の距離が６〜７cmの範囲内にある一対の円
の孤を形成するセグメントＣ l，Ｃrを検出し、これらセ
グメントＣl，Ｃrの中心点Ｐl，Ｐrの３次元座標を各瞳
の位置として特定する。
３次元計測結果から、両目の虹彩を表すセグメントを抽
出するためのもので、図８に示すように、直径が約１cm
で、中心点間の距離が６〜７cmの範囲内にある一対の円
の孤を形成するセグメントＣ l，Ｃrを検出し、これらセ
グメントＣl，Ｃrの中心点Ｐl，Ｐrの３次元座標を各瞳
の位置として特定する。
【００３０】口検出部１７は、図９に示すように、３次
元空間内に、前記点Ｐl，Ｐrを結ぶ線分Ｌを設定し、こ
の線分Ｌの中心点Ｐcを含み、線分Ｌに対し顔の長さ方
向（図中のｙ軸方向）に沿って直交する平面Ｓを設定す
る。そしてこの平面Ｓ上で、前記線分Ｌより下方（ｙ軸
の正方向）であって、点Ｐcから約７cmの地点を中心
に、ｙ軸方向において唇の厚みに相当する１cm程度の幅
範囲にあるセグメントの構成点を、口部の特徴点として
抽出する。さらに口検出部１７は抽出された各構成点の
重心Ｐmcを求め、これを口部の中心点として特定する。
元空間内に、前記点Ｐl，Ｐrを結ぶ線分Ｌを設定し、こ
の線分Ｌの中心点Ｐcを含み、線分Ｌに対し顔の長さ方
向（図中のｙ軸方向）に沿って直交する平面Ｓを設定す
る。そしてこの平面Ｓ上で、前記線分Ｌより下方（ｙ軸
の正方向）であって、点Ｐcから約７cmの地点を中心
に、ｙ軸方向において唇の厚みに相当する１cm程度の幅
範囲にあるセグメントの構成点を、口部の特徴点として
抽出する。さらに口検出部１７は抽出された各構成点の
重心Ｐmcを求め、これを口部の中心点として特定する。
【００３１】なお図８，９において、ｘ，ｙ，ｚで示す
座標系は、この顔認識処理装置１の観測対象となる空間
座標系であって、ｘｙ平面の向きが顔面の基準の向きと
して設定されているものとする。したがってマッチング
処理に用いられる３次元モデルは、いずれも、顔面が基
準の向きを向いているときの３次元データにより構成さ
れる。
座標系は、この顔認識処理装置１の観測対象となる空間
座標系であって、ｘｙ平面の向きが顔面の基準の向きと
して設定されているものとする。したがってマッチング
処理に用いられる３次元モデルは、いずれも、顔面が基
準の向きを向いているときの３次元データにより構成さ
れる。
【００３２】顔の向き検出部１８は、前記空間座標系に
おいて、前記各瞳の位置を表す点Ｐ l，Ｐrと、口部の中
心点Ｐmcとにより表される仮想平面を、顔面の向きを表
す平面として特定する。マッチング処理部１９は、この
仮想平面の向きが前記空間座標系のｘｙ平面に重なるよ
うに、前記３次元計測により得られた各３次元座標を回
転補正し、しかる後に、これら補正処理後の３次元座標
に対し、あらかじめ複数の人物について得られた３次元
モデルを順に照合して、計測結果に適合する３次元モデ
ルを検索する。
おいて、前記各瞳の位置を表す点Ｐ l，Ｐrと、口部の中
心点Ｐmcとにより表される仮想平面を、顔面の向きを表
す平面として特定する。マッチング処理部１９は、この
仮想平面の向きが前記空間座標系のｘｙ平面に重なるよ
うに、前記３次元計測により得られた各３次元座標を回
転補正し、しかる後に、これら補正処理後の３次元座標
に対し、あらかじめ複数の人物について得られた３次元
モデルを順に照合して、計測結果に適合する３次元モデ
ルを検索する。
【００３３】なおこの実施例では、顔面の向きの検出や
マッチング処理にかかる精度を向上するために、各カメ
ラ１１ａ，１１ｂ，１１ｃからの入力画像をそれぞれ複
数のしきい値により２値化し、各しきい値につき、それ
ぞれ前記等輝度線の抽出から虹彩の輪郭線の検出までの
処理を行うようにしている。そして虹彩の輪郭線が検出
されると、図１０に示すように、しきい値毎に得た３次
元データを重畳してから、口部の中心点や顔面の傾きを
検出し、しかる後に３次元モデルとのマッチング処理を
行うようにしている。
マッチング処理にかかる精度を向上するために、各カメ
ラ１１ａ，１１ｂ，１１ｃからの入力画像をそれぞれ複
数のしきい値により２値化し、各しきい値につき、それ
ぞれ前記等輝度線の抽出から虹彩の輪郭線の検出までの
処理を行うようにしている。そして虹彩の輪郭線が検出
されると、図１０に示すように、しきい値毎に得た３次
元データを重畳してから、口部の中心点や顔面の傾きを
検出し、しかる後に３次元モデルとのマッチング処理を
行うようにしている。
【００３４】図１１は、上記顔認識処理にかかる一連の
処理手順を示す。ＳＴ１では、所定のタイミングで各カ
メラ１１ａ，１１ｂ，１１ｃからの画像が取り込まれ、
画像間における輝度差などのノイズが補正された後の濃
淡画像がＲＡＭ４内に格納される。つぎのＳＴ２では、
２値化処理部１３により各濃淡画像が所定のしきい値で
２値化される。続くＳＴ３で、セグメント化処理部１４
により各２値画像に対する等輝度線の抽出処理とセグメ
ント化処理とが実行されると、ＳＴ４の３次元計測部１
５の処理に移行し、各セグメントにかかる３次元データ
が算出される。
処理手順を示す。ＳＴ１では、所定のタイミングで各カ
メラ１１ａ，１１ｂ，１１ｃからの画像が取り込まれ、
画像間における輝度差などのノイズが補正された後の濃
淡画像がＲＡＭ４内に格納される。つぎのＳＴ２では、
２値化処理部１３により各濃淡画像が所定のしきい値で
２値化される。続くＳＴ３で、セグメント化処理部１４
により各２値画像に対する等輝度線の抽出処理とセグメ
ント化処理とが実行されると、ＳＴ４の３次元計測部１
５の処理に移行し、各セグメントにかかる３次元データ
が算出される。
【００３５】つぎに、ＳＴ５では、虹彩検出部１６によ
り、前記３次元データから虹彩を表す一対のセグメント
が検出される。ここで図１２を用いて虹彩を表すセグメ
ントの検出処理の詳細を説明する。虹彩検出部１６は、
前記図８に示した原理に基づき、３次元データの中から
直径が約１cmの円の孤を形成するセグメントを検出した
後、さらに検出されたセグメントの中から、円弧の長さ
が所定のしきい値以上のものを、虹彩を表すセグメント
の候補として絞り込む（ＳＴ５−１，５−２）。
り、前記３次元データから虹彩を表す一対のセグメント
が検出される。ここで図１２を用いて虹彩を表すセグメ
ントの検出処理の詳細を説明する。虹彩検出部１６は、
前記図８に示した原理に基づき、３次元データの中から
直径が約１cmの円の孤を形成するセグメントを検出した
後、さらに検出されたセグメントの中から、円弧の長さ
が所定のしきい値以上のものを、虹彩を表すセグメント
の候補として絞り込む（ＳＴ５−１，５−２）。
【００３６】さらに虹彩検出部１６は、絞り込まれた各
セグメントの中から６〜７cmの距離範囲に位置する２個
のセグメントを対応づける（ＳＴ５−３）。なお虹彩の
色が異なる複数の人種を観測対象とする場合は、この対
応付けにあたり、あらかじめ虹彩の色毎に、画像上に現
れる虹彩の輝度または色彩にかかるテンプレートを作成
しておき、原画像上で各セグメントに対応する画素の画
素値とテンプレートとを照合するなどして、対応づけを
行うのが望ましい。
セグメントの中から６〜７cmの距離範囲に位置する２個
のセグメントを対応づける（ＳＴ５−３）。なお虹彩の
色が異なる複数の人種を観測対象とする場合は、この対
応付けにあたり、あらかじめ虹彩の色毎に、画像上に現
れる虹彩の輝度または色彩にかかるテンプレートを作成
しておき、原画像上で各セグメントに対応する画素の画
素値とテンプレートとを照合するなどして、対応づけを
行うのが望ましい。
【００３７】このような処理により虹彩の候補となるセ
グメントの組が検出されるが、もし複数組の候補が検出
されている場合は、最も円に近い円弧によるセグメント
の組が採用される（ＳＴ５−４〜５−６）。そして最終
的に残されたセグメントの組について、各セグメントの
中心点Ｐl，Ｐrが検出され、その座標位置が前記した各
瞳の位置として特定される（ＳＴ５−７）。
グメントの組が検出されるが、もし複数組の候補が検出
されている場合は、最も円に近い円弧によるセグメント
の組が採用される（ＳＴ５−４〜５−６）。そして最終
的に残されたセグメントの組について、各セグメントの
中心点Ｐl，Ｐrが検出され、その座標位置が前記した各
瞳の位置として特定される（ＳＴ５−７）。
【００３８】図１１に戻って、以下、ＳＴ６，７でしき
い値を変更しつつ上記ＳＴ２〜ＳＴ５の処理を繰り返し
行うことにより、前記図６に示したようなセグメントの
３次元データを複数とおり取得するとともに、しきい値
毎に虹彩の輪郭線の検出処理を行う。そして設定された
すべてのしきい値についての処理が完了すると、ＳＴ
６，８が「ＹＥＳ」となってＳＴ９へと移行し、重畳さ
れた３次元データに対し、口検出部１７による口部の中
心点Ｐmcの検出処理が行われる。
い値を変更しつつ上記ＳＴ２〜ＳＴ５の処理を繰り返し
行うことにより、前記図６に示したようなセグメントの
３次元データを複数とおり取得するとともに、しきい値
毎に虹彩の輪郭線の検出処理を行う。そして設定された
すべてのしきい値についての処理が完了すると、ＳＴ
６，８が「ＹＥＳ」となってＳＴ９へと移行し、重畳さ
れた３次元データに対し、口検出部１７による口部の中
心点Ｐmcの検出処理が行われる。
【００３９】なおＳＴ１〜７において、各瞳の位置とし
てしきい値毎に異なる座標が取得された場合は、各座標
間の距離が誤差範囲内であることを確認した上で、左右
の目毎に、検出された各座標位置につき重心点などの代
表点を求め、それぞれの代表点を前記各瞳の位置Ｐl，
Ｐrとして口部の中心点Ｐmcを検出する。またいずれの
しきい値による２値画像においても虹彩が検出されない
場合は、ＳＴ８が「ＮＯ」となってＳＴ１に戻り、処理
対象の画像の再取込みの後に、上記ＳＴ１〜７の処理が
再度実行される。またしきい値毎に虹彩の輪郭線を検出
するのに代えて、しきい値毎のセグメントの３次元デー
タを重畳した後に虹彩の輪郭線を検出するようにしても
よい。
てしきい値毎に異なる座標が取得された場合は、各座標
間の距離が誤差範囲内であることを確認した上で、左右
の目毎に、検出された各座標位置につき重心点などの代
表点を求め、それぞれの代表点を前記各瞳の位置Ｐl，
Ｐrとして口部の中心点Ｐmcを検出する。またいずれの
しきい値による２値画像においても虹彩が検出されない
場合は、ＳＴ８が「ＮＯ」となってＳＴ１に戻り、処理
対象の画像の再取込みの後に、上記ＳＴ１〜７の処理が
再度実行される。またしきい値毎に虹彩の輪郭線を検出
するのに代えて、しきい値毎のセグメントの３次元デー
タを重畳した後に虹彩の輪郭線を検出するようにしても
よい。
【００４０】ＳＴ９で口部の中心点Ｐmcが検出される
と、つぎのＳＴ１０で、顔の向き検出部１８は、前記各
点Ｐl，Ｐr，Ｐmcの３次元座標を平面の方程式にあては
めることにより、顔面の向きを表す仮想平面を求める。
と、つぎのＳＴ１０で、顔の向き検出部１８は、前記各
点Ｐl，Ｐr，Ｐmcの３次元座標を平面の方程式にあては
めることにより、顔面の向きを表す仮想平面を求める。
【００４１】つぎのＳＴ１１で、マッチング処理部１９
は、たとえば、前記図９の線分Ｌの中心点Ｐcが空間座
標系の原点Ｏに重なり、かつ点Ｐmcがｙ軸上に位置する
ように各３次元座標をアフィン変換することにより、前
記３点Ｐl，Ｐr，Ｐmcにより得られた仮想平面をｘｙ平
面に重ね合わせた後、ＳＴ１２で、アフィン変換後の３
次元データに各３次元モデルを順次マッチングさせる。
そして最後のＳＴ１３で、このマッチング処理による照
合結果をモニタ１０などに出力して、一連の処理を終了
する。
は、たとえば、前記図９の線分Ｌの中心点Ｐcが空間座
標系の原点Ｏに重なり、かつ点Ｐmcがｙ軸上に位置する
ように各３次元座標をアフィン変換することにより、前
記３点Ｐl，Ｐr，Ｐmcにより得られた仮想平面をｘｙ平
面に重ね合わせた後、ＳＴ１２で、アフィン変換後の３
次元データに各３次元モデルを順次マッチングさせる。
そして最後のＳＴ１３で、このマッチング処理による照
合結果をモニタ１０などに出力して、一連の処理を終了
する。
【００４２】このように入力画像毎に得られたセグメン
トの３次元データから、個人差の少ない両目の虹彩の輪
郭線に相当するセグメントを検出した後、これらセグメ
ントと同様に安定して検出される口部の代表的な特徴点
を検出し、これらの検出位置を用いて観測対象の顔面の
向きを検出するので、顔面の向きを簡単かつ精度良く検
出することが可能となる。しかも変換処理後に、各３次
元モデルにつき１度ずつマッチング処理を行えば良いか
ら、マッチング処理にかかる時間は大幅に短縮され、高
速かつ高精度の認識処理が実現する。
トの３次元データから、個人差の少ない両目の虹彩の輪
郭線に相当するセグメントを検出した後、これらセグメ
ントと同様に安定して検出される口部の代表的な特徴点
を検出し、これらの検出位置を用いて観測対象の顔面の
向きを検出するので、顔面の向きを簡単かつ精度良く検
出することが可能となる。しかも変換処理後に、各３次
元モデルにつき１度ずつマッチング処理を行えば良いか
ら、マッチング処理にかかる時間は大幅に短縮され、高
速かつ高精度の認識処理が実現する。
【００４３】なお上記実施例では、等輝度線をセグメン
ト化することにより顔面の特徴を表す輪郭線を抽出する
ようにしているが、これに代えて、各入力画像上にエッ
ジフィルタを走査してエッジを抽出してから３次元計測
処理を行い、虹彩の輪郭線に相当する一対の円弧状のエ
ッジを検出するようにしてもよい。
ト化することにより顔面の特徴を表す輪郭線を抽出する
ようにしているが、これに代えて、各入力画像上にエッ
ジフィルタを走査してエッジを抽出してから３次元計測
処理を行い、虹彩の輪郭線に相当する一対の円弧状のエ
ッジを検出するようにしてもよい。
【００４４】また前記図９に示した口部の中心点Ｐmcの
検出方法は、観測対象の人物が正面視の状態にあること
を前提としている。したがって横目づかいの人に対応す
るためには、画像上で目頭や目尻を表すエッジを検出
し、これらエッジ間の中心を通る平面に沿って前記口部
のセグメントを検索するのが望ましい。
検出方法は、観測対象の人物が正面視の状態にあること
を前提としている。したがって横目づかいの人に対応す
るためには、画像上で目頭や目尻を表すエッジを検出
し、これらエッジ間の中心を通る平面に沿って前記口部
のセグメントを検索するのが望ましい。
【００４５】ところで上記実施例において検出される顔
面の向きは、観測対象の人物の視線の向きと言い換える
ことができる。したがって上記実施例のように個人認証
のためのマッチング処理を行う場合のみならず、視線が
特定方向に向けられたことにより所定のオンオフ動作の
トリガを生成したり、虹彩の検出位置と視線の向きとか
ら目の注目対象を特定して、何らかの処理を実行するな
どの応用例が考えられる。なお顔面または視線の向き
は、前記した３点Ｐl，Ｐr，Ｐmcにより特定される仮想
平面に直交するベクトルにより表すことができる。
面の向きは、観測対象の人物の視線の向きと言い換える
ことができる。したがって上記実施例のように個人認証
のためのマッチング処理を行う場合のみならず、視線が
特定方向に向けられたことにより所定のオンオフ動作の
トリガを生成したり、虹彩の検出位置と視線の向きとか
ら目の注目対象を特定して、何らかの処理を実行するな
どの応用例が考えられる。なお顔面または視線の向き
は、前記した３点Ｐl，Ｐr，Ｐmcにより特定される仮想
平面に直交するベクトルにより表すことができる。
【００４６】たとえばバーチャルリアリティ空間におい
て対戦型のゲームを行う場合に、所定位置に複数台のカ
メラを設置して遊技者の顔面を撮像すれば、上記した方
法により遊技者の視線を検出しつつ、検出された視線の
方向に応じて対戦相手のキャラクターの動作を制御する
などの処理が実現する。またパーソナルコンピュータの
ディスプレイ装置の内部などにカメラを配置して、ユー
ザーの視線の方向を検出した後、検出された視線の方向
と虹彩の検出位置から求めた瞳の位置Ｐl，Ｐrとから、
遊技者がディスプレイのどの位置に着目しているを検出
し、その検出位置にカーソルを動かす、といった制御も
実行可能である。
て対戦型のゲームを行う場合に、所定位置に複数台のカ
メラを設置して遊技者の顔面を撮像すれば、上記した方
法により遊技者の視線を検出しつつ、検出された視線の
方向に応じて対戦相手のキャラクターの動作を制御する
などの処理が実現する。またパーソナルコンピュータの
ディスプレイ装置の内部などにカメラを配置して、ユー
ザーの視線の方向を検出した後、検出された視線の方向
と虹彩の検出位置から求めた瞳の位置Ｐl，Ｐrとから、
遊技者がディスプレイのどの位置に着目しているを検出
し、その検出位置にカーソルを動かす、といった制御も
実行可能である。
【００４７】
【発明の効果】上記したようにこの発明では、顔面中の
各部の中で、計測値の個人差が少なく、また画像上で安
定して検出できる特徴として、目の虹彩に着目し、顔面
の特徴を表す輪郭線の３次元データの中から虹彩の輪郭
線を検出するようにしたので、両目の虹彩を検出した後
に、口部のように安定して抽出できる特徴を検出するこ
とにより、顔面または視線の向きを簡単かつ精度良く認
識することが可能である。
各部の中で、計測値の個人差が少なく、また画像上で安
定して検出できる特徴として、目の虹彩に着目し、顔面
の特徴を表す輪郭線の３次元データの中から虹彩の輪郭
線を検出するようにしたので、両目の虹彩を検出した後
に、口部のように安定して抽出できる特徴を検出するこ
とにより、顔面または視線の向きを簡単かつ精度良く認
識することが可能である。
【００４８】したがって３次元モデルとのマッチング処
理により個人認証を行う際には、顔面の向きを検出して
各計測値の回転補正を行った上でマッチング処理を行う
ことができ、高速かつ高精度のマッチング処理を実現す
ることができる。また顔面または視線が特定方向を向い
たことに応じてオンオフ制御を行ったり、虹彩の位置と
視線の方向から着目対象を特定して所定の制御を行うな
ど、コンピュータに対する非接触での入力処理を実現す
ることができる。
理により個人認証を行う際には、顔面の向きを検出して
各計測値の回転補正を行った上でマッチング処理を行う
ことができ、高速かつ高精度のマッチング処理を実現す
ることができる。また顔面または視線が特定方向を向い
たことに応じてオンオフ制御を行ったり、虹彩の位置と
視線の方向から着目対象を特定して所定の制御を行うな
ど、コンピュータに対する非接触での入力処理を実現す
ることができる。
【図面の簡単な説明】
【図１】この発明が適用された顔認識処理装置の構成を
示すブロック図である。
示すブロック図である。
【図２】カメラの設置例を示す正面図および側面図であ
る。
る。
【図３】虹彩の大きさ、および瞳間の距離の計測結果を
示す説明図である。
示す説明図である。
【図４】ＣＰＵに設定される顔認識処理用の機能を示す
機能ブロック図である。
機能ブロック図である。
【図５】２値画像の一例を示す説明図である。
【図６】図５の２値画像から等輝度線を抽出した画像を
示す説明図である。
示す説明図である。
【図７】等輝度線から切り分けたセグメントに対する３
次元計測結果を２次元平面上に投影した画像を示す説明
図である。
次元計測結果を２次元平面上に投影した画像を示す説明
図である。
【図８】虹彩の検出方法を示す説明図である。
【図９】口部の中心点の検出方法を示す説明図である。
【図１０】しきい値毎に得られたセグメントの３次元デ
ータを重畳した結果を２次元平面上に投影した画像を示
す説明図である。
ータを重畳した結果を２次元平面上に投影した画像を示
す説明図である。
【図１１】顔認識処理の手順を示すフローチャートであ
る。
る。
【図１２】図１１のＳＴ５の詳細な手順を示すフローチ
ャートである。
ャートである。
１ 顔認識処理装置 ２ ＣＰＵ ６ 制御部 ８ 画像入力部 １１ａ，１１ｂ，１１ｃ カメラ １４ セグメント化処理部 １５ ３次元計測部 １６ 虹彩検出部 １７ 口検出部 １８ 顔の向き検出部
フロントページの続き Ｆターム(参考） 2F065 AA04 AA37 BB05 CC16 DD03 FF04 FF09 JJ03 JJ16 JJ26 QQ04 QQ32 SS02 SS13 5B057 AA20 BA02 BA30 CA08 CA13 CA16 CC01 CE12 DA08 DA12 DB02 DB08 DC03 DC05 DC08 DC36 5C054 CC03 FC05 FC12 FC14 FD01 HA00 HA05 5L096 AA06 AA09 BA08 BA18 CA04 DA02 EA43 FA03 FA04 FA06 FA62 FA66 FA67 FA69 FA72 GA51 HA01 9A001 HH21 HH23 HH25 JJ71 KK63 LL03
Claims (11)
- 【請求項１】 観測対象となる顔面に向けて配置された
複数の撮像手段を用いて、前記顔面を観測する方法にお
いて、 各撮像手段により得た複数の画像上でそれぞれ顔面の特
徴を表す輪郭線を抽出した後に、輪郭線の各構成点を画
像間で対応づけて３次元計測処理を実行し、３次元空間
において所定大きさを有する円弧状の輪郭線を、目の虹
彩の輪郭線として検出することを特徴とする顔面の観測
方法。 - 【請求項２】 観測対象となる顔面に向けて配置された
複数の撮像手段を用いて、前記顔面を観測する方法にお
いて、 各撮像手段により得た複数の画像上でそれぞれ顔面の特
徴を表す輪郭線を抽出した後に、輪郭線の各構成点を画
像間で対応づけて３次元計測処理を実行し、３次元空間
において、それぞれ所定大きさを有し、かつ所定の距離
範囲に位置する一対の円弧状の輪郭線を、両目の虹彩の
輪郭線として検出することを特徴とする顔面の観測方
法。 - 【請求項３】 請求項２に記載された方法において、 前記３次元空間において、前記両目の虹彩の輪郭線の並
び方向に直交する方向で所定の距離範囲に位置する輪郭
線から口部の代表点を検出し、前記各虹彩の輪郭線と口
部の代表点との検出位置から観測対象の顔面または視線
の向きを検出する顔面の観測方法。 - 【請求項４】 請求項１または２に記載された方法にお
いて、 前記虹彩の輪郭線として、直径約１cmの円の孤を形成す
る輪郭線を検出することを特徴とする顔面の観測方法。 - 【請求項５】 観測対象となる顔面に向けて配置された
複数の撮像手段を用いて、前記顔面を観測する装置にお
いて、 前記撮像手段により得た画像を入力する画像入力手段
と、 前記画像入力手段により入力された各画像に対し、それ
ぞれ顔面の特徴を表す輪郭線を抽出する輪郭線抽出手段
と、 抽出された輪郭線の各構成点を画像間で対応づけて３次
元計測処理を実行する計測手段と、 前記計測手段による３次元計測結果を用いて、３次元空
間内で所定大きさを有する円弧状の輪郭線を、目の虹彩
の輪郭線として検出する虹彩検出手段とを具備して成る
顔観測装置。 - 【請求項６】 前記虹彩検出手段は、前記３次元空間内
において、前記所定大きさを有し、かつ所定の距離範囲
に位置する一対の円弧状の輪郭線を、両目の虹彩の輪郭
線として検出する請求項５に記載された顔観測装置。 - 【請求項７】 前記虹彩検出手段は、前記３次元空間内
において、直径が約１cmの円の孤を形成する輪郭線を、
虹彩の輪郭線として検出する請求項５または６に記載さ
れた顔観測装置。 - 【請求項８】 観測対象となる顔面に向けて配置された
複数の撮像手段を用いて、前記顔面を観測する装置にお
いて、 前記各撮像手段により得た画像を入力する画像入力手段
と、 前記画像入力手段により入力された各画像に対し、それ
ぞれ顔面の特徴を表す輪郭線を抽出する輪郭線抽出手段
と、 抽出された輪郭線の各構成点を画像間で対応づけて３次
元計測処理を実行する計測手段と、 前記計測手段による３次元計測結果を用いて、３次元空
間内において所定大きさを有し、かつ所定の距離範囲に
位置する一対の円弧状の輪郭線を、両目の虹彩の輪郭線
として検出する虹彩検出手段と、 前記虹彩検出手段により検出された各虹彩の輪郭線を用
いて、観測対象の顔面または視線の向きを検出する向き
検出手段とを具備し、 前記向き検出手段は、前記３次元空間において、前記各
虹彩の輪郭線の並び方向に直交する方向で所定の距離範
囲に位置する輪郭線から口部の代表点を検出し、前記各
虹彩の輪郭線と口部の代表点との検出位置から観測対象
の顔面または視線の向きを検出する顔観測装置。 - 【請求項９】 観測対象となる顔面に向けて配置された
複数の撮像手段により得た画像を取り込んで、前記顔面
を観測するためのプログラムが記録された記録媒体であ
って、 各撮像手段により得た画像上でそれぞれ顔面の特徴を表
す輪郭線を抽出するステップ、 抽出された輪郭線の各構成点を画像間で対応づけて３次
元計測処理を実行するステップ、 前記３次元計測処理の結果を用いて、３次元空間におい
て所定大きさを有する円弧状の輪郭線を、目の虹彩を表
す輪郭線として検出するステップ、の各ステップを実行
するためのプログラムが記録された顔観測処理用の記録
媒体。 - 【請求項１０】 観測対象となる顔面に向けて配置され
た複数の撮像手段からの画像を取り込んで、前記顔面を
観測するためのプログラムが記録された記録媒体であっ
て、 各撮像手段により得た画像上でそれぞれ顔面の特徴を表
す輪郭線を抽出するステップ、 抽出された輪郭線の各構成点を画像間で対応づけて３次
元計測処理を実行するステップ、 前記３次元計測処理の結果を用いて、３次元空間におい
て所定大きさを有し、かつ所定の距離範囲に位置する一
対の円弧状の輪郭線を、両目の虹彩を表す輪郭線として
検出するステップ、の各ステップを実行するためのプロ
グラムが記録された顔観測処理用の記録媒体。 - 【請求項１１】 請求項１０に記載された顔観測処理用
の記録媒体であって、 前記プログラムに加えて、前記３次元空間において、前
記各虹彩の輪郭線の並び方向に直交する方向に位置する
輪郭線から口部の代表点を検出するステップを実行する
ためのプログラムと、前記各虹彩の輪郭線と口部の代表
点との各検出位置から観測対象の顔面または視線の向き
を検出するステップを実行するためのプログラムとが記
録された顔観測処理用の記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27431499A JP2001101429A (ja) | 1999-09-28 | 1999-09-28 | 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27431499A JP2001101429A (ja) | 1999-09-28 | 1999-09-28 | 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001101429A true JP2001101429A (ja) | 2001-04-13 |
Family
ID=17539932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27431499A Pending JP2001101429A (ja) | 1999-09-28 | 1999-09-28 | 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001101429A (ja) |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002282210A (ja) * | 2001-03-27 | 2002-10-02 | Japan Science & Technology Corp | 視線検出方法及びその装置 |
| WO2003060814A1 (en) * | 2002-01-16 | 2003-07-24 | Iritech, Inc. | System and method for iris identification using stereoscopic face recognition |
| US7761453B2 (en) | 2005-01-26 | 2010-07-20 | Honeywell International Inc. | Method and system for indexing and searching an iris image database |
| US7825948B2 (en) | 2001-08-15 | 2010-11-02 | Koninklijke Philips Electronics N.V. | 3D video conferencing |
| JP2010282340A (ja) * | 2009-06-03 | 2010-12-16 | Seiko Epson Corp | 画像に含まれる目の状態を判定する画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置 |
| JP2010541087A (ja) * | 2007-10-05 | 2010-12-24 | ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド | 画像解析装置および方法 |
| US7933507B2 (en) | 2006-03-03 | 2011-04-26 | Honeywell International Inc. | Single lens splitter camera |
| JPWO2009116242A1 (ja) * | 2008-03-18 | 2011-07-21 | パナソニック株式会社 | 運転者監視装置、運転者監視方法及び車両 |
| US8045764B2 (en) | 2005-01-26 | 2011-10-25 | Honeywell International Inc. | Expedient encoding system |
| US8050463B2 (en) | 2005-01-26 | 2011-11-01 | Honeywell International Inc. | Iris recognition system having image quality metrics |
| US8049812B2 (en) | 2006-03-03 | 2011-11-01 | Honeywell International Inc. | Camera with auto focus capability |
| KR101085435B1 (ko) | 2009-12-30 | 2011-11-21 | 안동대학교 산학협력단 | 다중 카메라를 이용한 얼굴 인식 시스템 |
| US8063889B2 (en) | 2007-04-25 | 2011-11-22 | Honeywell International Inc. | Biometric data collection system |
| US8064647B2 (en) | 2006-03-03 | 2011-11-22 | Honeywell International Inc. | System for iris detection tracking and recognition at a distance |
| US8085993B2 (en) | 2006-03-03 | 2011-12-27 | Honeywell International Inc. | Modular biometrics collection system architecture |
| US8090246B2 (en) | 2008-08-08 | 2012-01-03 | Honeywell International Inc. | Image acquisition system |
| US8090157B2 (en) | 2005-01-26 | 2012-01-03 | Honeywell International Inc. | Approaches and apparatus for eye detection in a digital image |
| US8098901B2 (en) | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
| US8213782B2 (en) | 2008-08-07 | 2012-07-03 | Honeywell International Inc. | Predictive autofocusing system |
| US8280119B2 (en) | 2008-12-05 | 2012-10-02 | Honeywell International Inc. | Iris recognition system using quality metrics |
| US8285005B2 (en) | 2005-01-26 | 2012-10-09 | Honeywell International Inc. | Distance iris recognition |
| US8436907B2 (en) | 2008-05-09 | 2013-05-07 | Honeywell International Inc. | Heterogeneous video capturing system |
| US8442276B2 (en) | 2006-03-03 | 2013-05-14 | Honeywell International Inc. | Invariant radial iris segmentation |
| US8472681B2 (en) | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
| US8630464B2 (en) | 2009-06-15 | 2014-01-14 | Honeywell International Inc. | Adaptive iris matching using database indexing |
| US8705808B2 (en) | 2003-09-05 | 2014-04-22 | Honeywell International Inc. | Combined face and iris recognition system |
| US8742887B2 (en) | 2010-09-03 | 2014-06-03 | Honeywell International Inc. | Biometric visitor check system |
| CN106022228A (zh) * | 2016-05-11 | 2016-10-12 | 东南大学 | 一种基于网格纵横局部二值模式的三维人脸识别方法 |
| JP2018045437A (ja) * | 2016-09-14 | 2018-03-22 | 株式会社デンソーアイティーラボラトリ | 虹彩検出装置、虹彩検出方法、およびプログラム |
| JP2020135076A (ja) * | 2019-02-13 | 2020-08-31 | Ｎｅｃソリューションイノベータ株式会社 | 顔向き検出装置、顔向き検出方法、及びプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04225478A (ja) * | 1990-12-27 | 1992-08-14 | Fujitsu Ltd | 視線検出装置 |
| JPH08271222A (ja) * | 1995-03-29 | 1996-10-18 | Sanyo Electric Co Ltd | 人体頭部位置検出装置 |
| JPH10233929A (ja) * | 1997-02-19 | 1998-09-02 | Canon Inc | 画像処理装置及び方法 |
| JPH11149559A (ja) * | 1997-08-29 | 1999-06-02 | Eastman Kodak Co | ディジタル画像中の人間の目を自動的に検出する方法 |
| JPH11242745A (ja) * | 1998-02-25 | 1999-09-07 | Victor Co Of Japan Ltd | 顔画像の計測・処理方法 |
-
1999
- 1999-09-28 JP JP27431499A patent/JP2001101429A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04225478A (ja) * | 1990-12-27 | 1992-08-14 | Fujitsu Ltd | 視線検出装置 |
| JPH08271222A (ja) * | 1995-03-29 | 1996-10-18 | Sanyo Electric Co Ltd | 人体頭部位置検出装置 |
| JPH10233929A (ja) * | 1997-02-19 | 1998-09-02 | Canon Inc | 画像処理装置及び方法 |
| JPH11149559A (ja) * | 1997-08-29 | 1999-06-02 | Eastman Kodak Co | ディジタル画像中の人間の目を自動的に検出する方法 |
| JPH11242745A (ja) * | 1998-02-25 | 1999-09-07 | Victor Co Of Japan Ltd | 顔画像の計測・処理方法 |
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4729188B2 (ja) * | 2001-03-27 | 2011-07-20 | 独立行政法人科学技術振興機構 | 視線検出装置 |
| JP2002282210A (ja) * | 2001-03-27 | 2002-10-02 | Japan Science & Technology Corp | 視線検出方法及びその装置 |
| US7825948B2 (en) | 2001-08-15 | 2010-11-02 | Koninklijke Philips Electronics N.V. | 3D video conferencing |
| WO2003060814A1 (en) * | 2002-01-16 | 2003-07-24 | Iritech, Inc. | System and method for iris identification using stereoscopic face recognition |
| CN100350420C (zh) * | 2002-01-16 | 2007-11-21 | 虹膜技术公司 | 利用立体人脸识别的虹膜识别系统和方法 |
| US8705808B2 (en) | 2003-09-05 | 2014-04-22 | Honeywell International Inc. | Combined face and iris recognition system |
| US8098901B2 (en) | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
| US8090157B2 (en) | 2005-01-26 | 2012-01-03 | Honeywell International Inc. | Approaches and apparatus for eye detection in a digital image |
| US7761453B2 (en) | 2005-01-26 | 2010-07-20 | Honeywell International Inc. | Method and system for indexing and searching an iris image database |
| US8488846B2 (en) | 2005-01-26 | 2013-07-16 | Honeywell International Inc. | Expedient encoding system |
| US8045764B2 (en) | 2005-01-26 | 2011-10-25 | Honeywell International Inc. | Expedient encoding system |
| US8050463B2 (en) | 2005-01-26 | 2011-11-01 | Honeywell International Inc. | Iris recognition system having image quality metrics |
| US8285005B2 (en) | 2005-01-26 | 2012-10-09 | Honeywell International Inc. | Distance iris recognition |
| US8761458B2 (en) | 2006-03-03 | 2014-06-24 | Honeywell International Inc. | System for iris detection, tracking and recognition at a distance |
| US8049812B2 (en) | 2006-03-03 | 2011-11-01 | Honeywell International Inc. | Camera with auto focus capability |
| US8442276B2 (en) | 2006-03-03 | 2013-05-14 | Honeywell International Inc. | Invariant radial iris segmentation |
| US7933507B2 (en) | 2006-03-03 | 2011-04-26 | Honeywell International Inc. | Single lens splitter camera |
| US8064647B2 (en) | 2006-03-03 | 2011-11-22 | Honeywell International Inc. | System for iris detection tracking and recognition at a distance |
| US8085993B2 (en) | 2006-03-03 | 2011-12-27 | Honeywell International Inc. | Modular biometrics collection system architecture |
| US8063889B2 (en) | 2007-04-25 | 2011-11-22 | Honeywell International Inc. | Biometric data collection system |
| US8363955B2 (en) | 2007-10-05 | 2013-01-29 | Sony Computer Entertainment Europe Limited | Apparatus and method of image analysis |
| JP2010541087A (ja) * | 2007-10-05 | 2010-12-24 | ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド | 画像解析装置および方法 |
| JPWO2009116242A1 (ja) * | 2008-03-18 | 2011-07-21 | パナソニック株式会社 | 運転者監視装置、運転者監視方法及び車両 |
| JP2011154721A (ja) * | 2008-03-18 | 2011-08-11 | Panasonic Corp | 運転者監視装置、運転者監視方法及び車両 |
| US8436907B2 (en) | 2008-05-09 | 2013-05-07 | Honeywell International Inc. | Heterogeneous video capturing system |
| US8213782B2 (en) | 2008-08-07 | 2012-07-03 | Honeywell International Inc. | Predictive autofocusing system |
| US8090246B2 (en) | 2008-08-08 | 2012-01-03 | Honeywell International Inc. | Image acquisition system |
| US8280119B2 (en) | 2008-12-05 | 2012-10-02 | Honeywell International Inc. | Iris recognition system using quality metrics |
| JP2010282340A (ja) * | 2009-06-03 | 2010-12-16 | Seiko Epson Corp | 画像に含まれる目の状態を判定する画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置 |
| US8472681B2 (en) | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
| US8630464B2 (en) | 2009-06-15 | 2014-01-14 | Honeywell International Inc. | Adaptive iris matching using database indexing |
| KR101085435B1 (ko) | 2009-12-30 | 2011-11-21 | 안동대학교 산학협력단 | 다중 카메라를 이용한 얼굴 인식 시스템 |
| US8742887B2 (en) | 2010-09-03 | 2014-06-03 | Honeywell International Inc. | Biometric visitor check system |
| CN106022228A (zh) * | 2016-05-11 | 2016-10-12 | 东南大学 | 一种基于网格纵横局部二值模式的三维人脸识别方法 |
| CN106022228B (zh) * | 2016-05-11 | 2019-04-09 | 东南大学 | 一种基于网格纵横局部二值模式的三维人脸识别方法 |
| JP2018045437A (ja) * | 2016-09-14 | 2018-03-22 | 株式会社デンソーアイティーラボラトリ | 虹彩検出装置、虹彩検出方法、およびプログラム |
| WO2018051836A1 (ja) * | 2016-09-14 | 2018-03-22 | 株式会社デンソー | 虹彩検出装置、虹彩検出方法、虹彩検出プログラム、及び虹彩検出プログラムを記録した記録媒体 |
| US10963695B2 (en) | 2016-09-14 | 2021-03-30 | Denso Corporation | Iris detection device, iris detection method, and recording medium onto which iris detection program is recorded |
| JP2020135076A (ja) * | 2019-02-13 | 2020-08-31 | Ｎｅｃソリューションイノベータ株式会社 | 顔向き検出装置、顔向き検出方法、及びプログラム |
| JP7279892B2 (ja) | 2019-02-13 | 2023-05-23 | Ｎｅｃソリューションイノベータ株式会社 | 顔向き検出装置、顔向き検出方法、及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001101429A (ja) | 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体 | |
| US9898651B2 (en) | Upper-body skeleton extraction from depth maps | |
| US9881204B2 (en) | Method for determining authenticity of a three-dimensional object | |
| CN110675487B (zh) | 基于多角度二维人脸的三维人脸建模、识别方法及装置 | |
| JP3962803B2 (ja) | 頭部検出装置、頭部検出方法および頭部検出プログラム | |
| JP2022095879A (ja) | 眼の特徴を用いる眼ポーズ識別 | |
| US8879847B2 (en) | Image processing device, method of controlling image processing device, and program for enabling computer to execute same method | |
| CN111046717A (zh) | 眼底图像黄斑中心定位方法、装置、电子设备及存储介质 | |
| JP2010033305A (ja) | 画像情報処理方法、及び装置 | |
| JP2009536731A (ja) | 深度マップによるヒューマノイド形状のモデル化 | |
| US10909363B2 (en) | Image acquisition system for off-axis eye images | |
| US9727776B2 (en) | Object orientation estimation | |
| CN110926330A (zh) | 图像处理装置和图像处理方法 | |
| Pires et al. | Unwrapping the eye for visible-spectrum gaze tracking on wearable devices | |
| EP3973697A1 (en) | Modification of projected structured light based on identified points within captured image | |
| JP2961264B1 (ja) | ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP6942566B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
| CN116051631A (zh) | 光斑标注方法及系统 | |
| JP2000149025A (ja) | ジェスチャ認識装置及び方法 | |
| CN111199533B (zh) | 图像处理装置 | |
| JP2008203995A (ja) | 物体形状生成方法、物体形状生成装置及びプログラム | |
| CN109254663B (zh) | 一种儿童图书辅助阅读机器人的使用方法 | |
| WO2008105545A1 (ja) | 情報抽出方法、登録装置、照合装置及びプログラム | |
| CN115580716A (zh) | 一种基于实物模块的投影画面输出方法、系统及设备 | |
| CN115272417A (zh) | 图像数据的处理方法、图像处理设备以及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060613 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060810 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061003 |