JP2001022933A - ２次元テンプレートを用いた顔画像処理装置 - Google Patents
２次元テンプレートを用いた顔画像処理装置Info
- Publication number
- JP2001022933A JP2001022933A JP11192958A JP19295899A JP2001022933A JP 2001022933 A JP2001022933 A JP 2001022933A JP 11192958 A JP11192958 A JP 11192958A JP 19295899 A JP19295899 A JP 19295899A JP 2001022933 A JP2001022933 A JP 2001022933A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- nostril
- candidate
- face image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 情報量は少ないが鼻孔および目の特徴を的確
に表した２次元テンプレートを一つ或いは複数用いるこ
とにより、付属情報に左右されることなく精度よく、高
速に鼻孔および目を抽出する。 【解決手段】 本発明の顔画像処理装置は、顔画像を入
力する顔画像入力手段と、入力した顔画像より目候補が
存在する領域を推定する目領域設定手段と、前記目領域
内で目候補を複数の輝度値を有するデータに変換する目
候補抽出手段と、抽出された候補内で目およびその位置
を確定する目確定手段とを備える。
に表した２次元テンプレートを一つ或いは複数用いるこ
とにより、付属情報に左右されることなく精度よく、高
速に鼻孔および目を抽出する。 【解決手段】 本発明の顔画像処理装置は、顔画像を入
力する顔画像入力手段と、入力した顔画像より目候補が
存在する領域を推定する目領域設定手段と、前記目領域
内で目候補を複数の輝度値を有するデータに変換する目
候補抽出手段と、抽出された候補内で目およびその位置
を確定する目確定手段とを備える。
Description
【０００１】
【発明の属する技術分野】この発明は、入力顔画像より
２次元テンプレートを用いて、より正確に鼻孔および目
の抽出を行う顔画像処理装置に関するものである。
２次元テンプレートを用いて、より正確に鼻孔および目
の抽出を行う顔画像処理装置に関するものである。
【０００２】
【従来の技術】従来の運転者のテンプレートを用いた顔
画像処理装置としては、例えば特開平８−１７５２１８
号公報等に記載されているものがある。この従来例の装
置全体の構成は、図２４のブロック図に示されている。
この従来の顔画像処理装置は、運転者を撮像するカメラ
１２と、Ａ／Ｄ変換器、正規化回路及び相関演算回路を
備えた画像処理装置１３と、標準テンプレート及び眉毛
や目などの顔要素配置データが予め格納されているメモ
リ１６と、画像処理装置１３の処理結果から運転者の運
転状態を判別し、警報装置１５に制御信号を出力して警
報を発する電子制御ユニット（ＥＣＵ）１４からなる。
画像処理装置としては、例えば特開平８−１７５２１８
号公報等に記載されているものがある。この従来例の装
置全体の構成は、図２４のブロック図に示されている。
この従来の顔画像処理装置は、運転者を撮像するカメラ
１２と、Ａ／Ｄ変換器、正規化回路及び相関演算回路を
備えた画像処理装置１３と、標準テンプレート及び眉毛
や目などの顔要素配置データが予め格納されているメモ
リ１６と、画像処理装置１３の処理結果から運転者の運
転状態を判別し、警報装置１５に制御信号を出力して警
報を発する電子制御ユニット（ＥＣＵ）１４からなる。
【０００３】また、この装置の動作すなわち処理のフロ
ーは図２６に示されている。図２６において、ステップ
Ｓ１０１により運転者の顔画像が撮像され、得られた顔
画像は、ステップＳ１０２にて、最大輝度を２５６、最
小輝度を１とする濃淡正規化が行われる。正規化処理が
行われた後、ステップＳ１０３にて標準テンプレートを
用いて対象テンプレートが検出される。すなわち、図２
５における、撮像された画像に対して、予め設定されて
いる標準テンプレートを用いて相関演算を行い、テンプ
レート作成手段Ｍ２により運転者用の対象テンプレート
を作成する。
ーは図２６に示されている。図２６において、ステップ
Ｓ１０１により運転者の顔画像が撮像され、得られた顔
画像は、ステップＳ１０２にて、最大輝度を２５６、最
小輝度を１とする濃淡正規化が行われる。正規化処理が
行われた後、ステップＳ１０３にて標準テンプレートを
用いて対象テンプレートが検出される。すなわち、図２
５における、撮像された画像に対して、予め設定されて
いる標準テンプレートを用いて相関演算を行い、テンプ
レート作成手段Ｍ２により運転者用の対象テンプレート
を作成する。
【０００４】テンプレート作成手段Ｍ２は、撮像された
画像内で運転者の対象顔領域を設定する対象顔領域設定
手段Ｍ５と、その対象顔領域内で１つの目及び１つの眉
を含む顔の縦方向に長い対象目近傍領域を設定する対象
目近傍領域設定手段Ｍ６と、その対象目近傍領域内で目
を含む対象目領域を設定する対象目領域設定手段を備え
ており、対象顔領域及び対象目近傍領域及び対象目領域
それぞれを対象テンプレートとする。対象テンプレート
が検出された後、再びカメラにより運転者の顔画像が撮
影され、ステップＳ１０４にて濃淡正規化が行われる。
そして、この正規化顔画像に対し、ステップＳ１０５に
て対象テンプレートによる相関演算にて目領域の検出が
行われる。Ｓ１０６において、ＥＣＵ１４は、順次入力
される目領域の画像に基づいて運転者の目の状態を判定
する。そしてステップＳ１０７で運転者の目状態に異常
があると判定された場合には、運転者が居眠りしている
と判定して、Ｓ１０８にて警報装置を作動させ、運転者
に注意を促す。
画像内で運転者の対象顔領域を設定する対象顔領域設定
手段Ｍ５と、その対象顔領域内で１つの目及び１つの眉
を含む顔の縦方向に長い対象目近傍領域を設定する対象
目近傍領域設定手段Ｍ６と、その対象目近傍領域内で目
を含む対象目領域を設定する対象目領域設定手段を備え
ており、対象顔領域及び対象目近傍領域及び対象目領域
それぞれを対象テンプレートとする。対象テンプレート
が検出された後、再びカメラにより運転者の顔画像が撮
影され、ステップＳ１０４にて濃淡正規化が行われる。
そして、この正規化顔画像に対し、ステップＳ１０５に
て対象テンプレートによる相関演算にて目領域の検出が
行われる。Ｓ１０６において、ＥＣＵ１４は、順次入力
される目領域の画像に基づいて運転者の目の状態を判定
する。そしてステップＳ１０７で運転者の目状態に異常
があると判定された場合には、運転者が居眠りしている
と判定して、Ｓ１０８にて警報装置を作動させ、運転者
に注意を促す。
【０００５】
【発明が解決しようとする課題】しかしながら、画像を
多値データのままで処理を行うと非常に時間がかかり、
また眼鏡装着の有無や天候・髪等の付属情報によって顔
の状態（眉と目の関係等）は変化し、不安定である。と
ころが、上記した従来の顔画像処理装置では、眉と目を
含む情報量の多いテンプレートを用いて相関演算を行っ
ているため、入力画像総てを検索するには非常に時間が
かかる上、個人情報を持たない標準テンプレートにより
検索を開始するため、通常とは違った付属情報の影響下
における画像では、鼻孔や目の検出が不可能となる恐れ
がある。
多値データのままで処理を行うと非常に時間がかかり、
また眼鏡装着の有無や天候・髪等の付属情報によって顔
の状態（眉と目の関係等）は変化し、不安定である。と
ころが、上記した従来の顔画像処理装置では、眉と目を
含む情報量の多いテンプレートを用いて相関演算を行っ
ているため、入力画像総てを検索するには非常に時間が
かかる上、個人情報を持たない標準テンプレートにより
検索を開始するため、通常とは違った付属情報の影響下
における画像では、鼻孔や目の検出が不可能となる恐れ
がある。
【０００６】この発明は、上記のような問題点を解決す
るためになされたもので、情報量は少ないが鼻孔および
目の特徴を的確に表した２次元テンプレートを一つ或い
は複数用いることにより、付属情報に左右されることな
く精度よく、高速に鼻孔および目を抽出することができ
る顔画像処理装置を提供することを目的とするものであ
る。
るためになされたもので、情報量は少ないが鼻孔および
目の特徴を的確に表した２次元テンプレートを一つ或い
は複数用いることにより、付属情報に左右されることな
く精度よく、高速に鼻孔および目を抽出することができ
る顔画像処理装置を提供することを目的とするものであ
る。
【０００７】
【課題を解決するための手段】この発明の一側面に係る
顔画像処理装置は、顔画像を入力する顔画像入力手段
と、入力した顔画像より目候補が存在する領域を推定す
る目領域設定手段と、前記目領域内で目候補を複数の輝
度値を有するデータに変換する目候補抽出手段と、抽出
された候補内で目およびその位置を確定する目確定手段
とを備えるものである。
顔画像処理装置は、顔画像を入力する顔画像入力手段
と、入力した顔画像より目候補が存在する領域を推定す
る目領域設定手段と、前記目領域内で目候補を複数の輝
度値を有するデータに変換する目候補抽出手段と、抽出
された候補内で目およびその位置を確定する目確定手段
とを備えるものである。
【０００８】この発明の他の側面に係る顔画像処理装置
は、顔画像を入力する顔画像入力手段と、入力した顔画
像より鼻孔候補が存在する領域を推定する鼻孔領域設定
手段と、前記鼻孔領域内で鼻孔候補を複数の輝度値を有
するデータに変換する鼻孔候補抽出手段と、抽出された
鼻孔候補内で鼻孔を確定する鼻孔確定手段と、確定した
鼻孔より目候補が存在する領域を推定する目領域設定手
段と、目領域内で目候補を複数の輝度値を有するデータ
に変換する目候補抽出手段と、前記目候補抽出手段によ
り抽出された候補内で目候補およびその位置を確定する
目確定手段とを備えるものである。
は、顔画像を入力する顔画像入力手段と、入力した顔画
像より鼻孔候補が存在する領域を推定する鼻孔領域設定
手段と、前記鼻孔領域内で鼻孔候補を複数の輝度値を有
するデータに変換する鼻孔候補抽出手段と、抽出された
鼻孔候補内で鼻孔を確定する鼻孔確定手段と、確定した
鼻孔より目候補が存在する領域を推定する目領域設定手
段と、目領域内で目候補を複数の輝度値を有するデータ
に変換する目候補抽出手段と、前記目候補抽出手段によ
り抽出された候補内で目候補およびその位置を確定する
目確定手段とを備えるものである。
【０００９】この発明の一実施態様においては、上記鼻
孔候補抽出手段もしくは目候補抽出手段は、予め設定さ
れている２次元テンプレートおよび少なくとも一つの閾
値を用いて、注目画素と周辺画素との相対輝度に対する
簡易マッチングを行うことを特徴とするものである。
孔候補抽出手段もしくは目候補抽出手段は、予め設定さ
れている２次元テンプレートおよび少なくとも一つの閾
値を用いて、注目画素と周辺画素との相対輝度に対する
簡易マッチングを行うことを特徴とするものである。
【００１０】この発明の他の実施態様においては、上記
鼻孔候補抽出手段もしくは目候補抽出手段は、さらに可
変抽出輝度閾値を用いて、マッチングを行う対象を限定
することを特徴とするものである。
鼻孔候補抽出手段もしくは目候補抽出手段は、さらに可
変抽出輝度閾値を用いて、マッチングを行う対象を限定
することを特徴とするものである。
【００１１】この発明の更に他の実施態様においては、
上記鼻孔候補抽出手段もしくは目候補抽出手段は、さら
に可変抽出輝度閾値または２次元テンプレートを複数用
いることを特徴とするものである。
上記鼻孔候補抽出手段もしくは目候補抽出手段は、さら
に可変抽出輝度閾値または２次元テンプレートを複数用
いることを特徴とするものである。
【００１２】この発明の更にまた他の実施態様において
は、上記鼻孔候補抽出手段もしくは目候補抽出手段は、
さらに２次元テンプレートを画像抽出度合いにより緩和
していくことを特徴とするものである。
は、上記鼻孔候補抽出手段もしくは目候補抽出手段は、
さらに２次元テンプレートを画像抽出度合いにより緩和
していくことを特徴とするものである。
【００１３】
【発明の実施の形態】以下、添付図面により本発明の実
施の形態について詳細に説明する。
施の形態について詳細に説明する。
【００１４】実施の形態１．図１はこの発明の実施の形
態１に係る顔画像処理装置の概略構成を示す。本実施の
形態における顔画像処理装置は、顔画像を撮影するＣＣ
Ｄカメラ１とＣＣＤカメラから出力された顔画像の画像
データを記憶する画像メモリ２と、画像メモリ２から画
像データを読み出して、その画像データに基づいて画像
処理を行うＣＰＵ３とで構成される。
態１に係る顔画像処理装置の概略構成を示す。本実施の
形態における顔画像処理装置は、顔画像を撮影するＣＣ
Ｄカメラ１とＣＣＤカメラから出力された顔画像の画像
データを記憶する画像メモリ２と、画像メモリ２から画
像データを読み出して、その画像データに基づいて画像
処理を行うＣＰＵ３とで構成される。
【００１５】図２は図１におけるＣＰＵ３内の処理の概
要を示す機能ブロック図である。図２において、ＣＰＵ
３は、画像メモリ２から画像データを読み出して入力す
る顔画像入力手段４と、顔画像入力手段４に入力された
画像データに基づいて目領域を設定する目領域設定手段
５と、目領域設定手段５の出力に基づいて目候補を抽出
する目候補抽出手段６と、目候補抽出手段６の出力に基
づいて目とその存在位置を確定する目確定手段７とを備
える。これらの手段は、ＣＰＵ３がプログラムを実行し
てソフト的に処理する内容を機能的に表したものであ
る。
要を示す機能ブロック図である。図２において、ＣＰＵ
３は、画像メモリ２から画像データを読み出して入力す
る顔画像入力手段４と、顔画像入力手段４に入力された
画像データに基づいて目領域を設定する目領域設定手段
５と、目領域設定手段５の出力に基づいて目候補を抽出
する目候補抽出手段６と、目候補抽出手段６の出力に基
づいて目とその存在位置を確定する目確定手段７とを備
える。これらの手段は、ＣＰＵ３がプログラムを実行し
てソフト的に処理する内容を機能的に表したものであ
る。
【００１６】まず、ＣＰＵ３は、画像メモリ２より顔画
像の画像データを読み込んで顔画像入力手段４に入力
し、目領域設定手段５により入力画像内で目が存在する
と思われる領域を推定し、目候補抽出手段６により輝度
変換を行って目候補を抽出する。この際、輝度変換をし
たデータは入力画像とは別のメモリに保存し、入力画像
データも後で参照できるようにしておく。さらに、抽出
された領域から、目確定手段７により目候補および目位
置を確定する。以下、各手段について詳細に説明する。
像の画像データを読み込んで顔画像入力手段４に入力
し、目領域設定手段５により入力画像内で目が存在する
と思われる領域を推定し、目候補抽出手段６により輝度
変換を行って目候補を抽出する。この際、輝度変換をし
たデータは入力画像とは別のメモリに保存し、入力画像
データも後で参照できるようにしておく。さらに、抽出
された領域から、目確定手段７により目候補および目位
置を確定する。以下、各手段について詳細に説明する。
【００１７】図３はＣＣＤカメラ１により撮影された顔
画像８を示した図である。入力画像内で目候補が存在す
ると思われる領域を推定する目領域設定手段５では、例
えば目検索モード中は図８に示すような顔全体をカバー
する比較的大きな矩形の目検索領域５ｒを設定し、また
目追跡モード中は目のみをカバーする比較的小さな矩形
の目追跡領域５ｒｌ、５ｒｒを設定する。目検索モード
とは目位置学習が未だ行われていない（未だ目を見つけ
ていない）状態を指し、目追跡モードとは目学習済の
（目を見つけた）状態を指す。検索領域５ｒは画面内で
通常の運転姿勢で顔が入る範囲に限定して設定される。
追跡領域５ｒｌ、５ｒｒは、目学習位置（又は目前回位
置）５ｇｌ、５ｇｒから所定幅の領域を設定する。ここ
では、両目に対し目領域を設定したが、左右どちらか一
方でも構わない。
画像８を示した図である。入力画像内で目候補が存在す
ると思われる領域を推定する目領域設定手段５では、例
えば目検索モード中は図８に示すような顔全体をカバー
する比較的大きな矩形の目検索領域５ｒを設定し、また
目追跡モード中は目のみをカバーする比較的小さな矩形
の目追跡領域５ｒｌ、５ｒｒを設定する。目検索モード
とは目位置学習が未だ行われていない（未だ目を見つけ
ていない）状態を指し、目追跡モードとは目学習済の
（目を見つけた）状態を指す。検索領域５ｒは画面内で
通常の運転姿勢で顔が入る範囲に限定して設定される。
追跡領域５ｒｌ、５ｒｒは、目学習位置（又は目前回位
置）５ｇｌ、５ｇｒから所定幅の領域を設定する。ここ
では、両目に対し目領域を設定したが、左右どちらか一
方でも構わない。
【００１８】次に、目候補抽出手段６について説明す
る。図４のフローチャートに示すように、ステップＳ１
において、目候補抽出手段６は、予め用意した目形状を
簡単かつ的確に表した２次元テンプレート６ｔ（例えば
図５の（ａ）参照）を用いて、目領域内で簡易マッチン
グを行い、目候補と思われる要素を抽出する（図５の
（ｂ））。目候補抽出手段６では、目領域設定手段５に
より設定した領域内で、注目画素６ｃをＸ、Ｙ方向に順
次移動させ、注目画素６ｃの周辺画素のうち目判定要素
画素（＝２次元テンプレートで指し示す点）の条件を確
認し、注目画素６ｃが目候補画素であるかどうかの判定
を行う。
る。図４のフローチャートに示すように、ステップＳ１
において、目候補抽出手段６は、予め用意した目形状を
簡単かつ的確に表した２次元テンプレート６ｔ（例えば
図５の（ａ）参照）を用いて、目領域内で簡易マッチン
グを行い、目候補と思われる要素を抽出する（図５の
（ｂ））。目候補抽出手段６では、目領域設定手段５に
より設定した領域内で、注目画素６ｃをＸ、Ｙ方向に順
次移動させ、注目画素６ｃの周辺画素のうち目判定要素
画素（＝２次元テンプレートで指し示す点）の条件を確
認し、注目画素６ｃが目候補画素であるかどうかの判定
を行う。
【００１９】判定基準は、条件Ａ（注目画素に対し、目
判定要素画素総ての輝度値が所定閾値６ｔｈ以上である
こと）である。
判定要素画素総ての輝度値が所定閾値６ｔｈ以上である
こと）である。
【００２０】図６に示した注目点（網掛け画素）の輝度
値に対し、目判定要素画素（白画素）総ての輝度値が＋
６ｔｈを上回れば（図４でＹＥＳ：実線）、注目点は目
候補画素であると判定し（図６断面図）、ステップＳ２
において、注目点の画素すなわち注目画素を輝度値１に
設定し、また、ステップＳ１での判定結果が「ＮＯ」
（図４で破線）（目判定要素画素総ての輝度値が＋６ｔ
ｈ以下）であれば、ステップＳ３で注目画素を輝度値０
に設定する。次いで、ステップＳ４において、全画素に
ついて検索済みか否かを判定し、「ＮＯ」であれば次の
画素に移り、「ＹＥＳ」（実線）であれば処理を終了す
る（図６において、斜線画素＝周辺画素、黒画素＝目候
補画素）。ここで目が抽出でき、眉が抽出されにくい理
由は、図７に示すように、眉上部には髪、下部には目が
あり、また眉の形状から目形状の２次元テンプレートで
は、眉は条件Ａを総て満たすのが困難であるためであ
る。
値に対し、目判定要素画素（白画素）総ての輝度値が＋
６ｔｈを上回れば（図４でＹＥＳ：実線）、注目点は目
候補画素であると判定し（図６断面図）、ステップＳ２
において、注目点の画素すなわち注目画素を輝度値１に
設定し、また、ステップＳ１での判定結果が「ＮＯ」
（図４で破線）（目判定要素画素総ての輝度値が＋６ｔ
ｈ以下）であれば、ステップＳ３で注目画素を輝度値０
に設定する。次いで、ステップＳ４において、全画素に
ついて検索済みか否かを判定し、「ＮＯ」であれば次の
画素に移り、「ＹＥＳ」（実線）であれば処理を終了す
る（図６において、斜線画素＝周辺画素、黒画素＝目候
補画素）。ここで目が抽出でき、眉が抽出されにくい理
由は、図７に示すように、眉上部には髪、下部には目が
あり、また眉の形状から目形状の２次元テンプレートで
は、眉は条件Ａを総て満たすのが困難であるためであ
る。
【００２１】次に、目確定手段７により上記で抽出した
領域中の目候補および目位置を確定する。目候補抽出手
段６によって抽出された領域に対し、図８の（ｂ）に示
すように、各Ｘ座標ごとにそのＹ軸上に存在する黒画素
数を数えてその数値をＸ軸に投影し、所定幅７ｗ・所定
高さ７ｈを持つものを帯状領域として認め、さらにその
帯状領域内の各Ｙ座標ごとにそのＸ軸上に存在する黒画
素数を数えてその数値をＹ軸に投影し、所定幅７ｗ'・
所定高さ７ｈ'を持つものを目候補領域とする。目候補
領域推定後にラベリングを行い、目候補を確定する。但
し、通常のラベリングでは、図１０の（ｂ）に示すよう
に、各画素につき８方のラベル確認と、全画素がラベル
済みになるまでのループを要するため時間がかかる。そ
こで、図１０の（ａ）に示すように、７方のラベル確認
と１ループでの処理に限定し、ラベリングを簡単化して
行う。図９にラベリングのフローチャートを示す。図９
において、（ａ）は本発明のラベリング処理フロー、
（ｂ）は通常（従来）のラベリング処理フローである。
領域中の目候補および目位置を確定する。目候補抽出手
段６によって抽出された領域に対し、図８の（ｂ）に示
すように、各Ｘ座標ごとにそのＹ軸上に存在する黒画素
数を数えてその数値をＸ軸に投影し、所定幅７ｗ・所定
高さ７ｈを持つものを帯状領域として認め、さらにその
帯状領域内の各Ｙ座標ごとにそのＸ軸上に存在する黒画
素数を数えてその数値をＹ軸に投影し、所定幅７ｗ'・
所定高さ７ｈ'を持つものを目候補領域とする。目候補
領域推定後にラベリングを行い、目候補を確定する。但
し、通常のラベリングでは、図１０の（ｂ）に示すよう
に、各画素につき８方のラベル確認と、全画素がラベル
済みになるまでのループを要するため時間がかかる。そ
こで、図１０の（ａ）に示すように、７方のラベル確認
と１ループでの処理に限定し、ラベリングを簡単化して
行う。図９にラベリングのフローチャートを示す。図９
において、（ａ）は本発明のラベリング処理フロー、
（ｂ）は通常（従来）のラベリング処理フローである。
【００２２】次に、本発明によるラベリング処理につい
て、図９（ａ）により説明する。 （１）２値化後の画像の所定領域に対し、例えば領域の
左上部より注目画素を順次移動し、まず注目画素が黒色
画素であるか判定する（ステップＳＴ１）。黒色画素で
あれば、ラベル済みであるかを判定し（ステップＳＴ
２）、ラベル済みでなければ新しいラベル番号（NO.R）
をふる（ステップＳＴ３）。
て、図９（ａ）により説明する。 （１）２値化後の画像の所定領域に対し、例えば領域の
左上部より注目画素を順次移動し、まず注目画素が黒色
画素であるか判定する（ステップＳＴ１）。黒色画素で
あれば、ラベル済みであるかを判定し（ステップＳＴ
２）、ラベル済みでなければ新しいラベル番号（NO.R）
をふる（ステップＳＴ３）。
【００２３】（２）その後、ラベル開始位置（＝現在位
置）を記憶し（ステップＳＴ４）、図１０(a)に示すよ
うに、ラベル開始位置より走査方向に順次走査する。す
なわち、全画素検索済みか判定し（ステップＳＴ５）、
ＮＯであれば次の画素へ進み（ステップＳＴ６）、黒色
画素か判定（ステップＳＴ７）する。走査中は注目画素
の周辺７画素のラベル状態を判定する。注目画素が黒色
画素であり（ステップＳＴ７でＹＥＳ）、かつ周辺７画
素にラベル済みのものが有れば（ステップＳＴ８でＹＥ
Ｓ）、注目画素にラベル番号（NO.R）をふる（ステップ
ＳＴ９）。（このとき新しいラベル番号（NO）になるこ
とはない。）それ以外はラベルをふらない。すなわち、
周囲７画素中１画素がラベル済みであれば、その時点で
注目画素にラベルをふり、次の画素へ進む。
置）を記憶し（ステップＳＴ４）、図１０(a)に示すよ
うに、ラベル開始位置より走査方向に順次走査する。す
なわち、全画素検索済みか判定し（ステップＳＴ５）、
ＮＯであれば次の画素へ進み（ステップＳＴ６）、黒色
画素か判定（ステップＳＴ７）する。走査中は注目画素
の周辺７画素のラベル状態を判定する。注目画素が黒色
画素であり（ステップＳＴ７でＹＥＳ）、かつ周辺７画
素にラベル済みのものが有れば（ステップＳＴ８でＹＥ
Ｓ）、注目画素にラベル番号（NO.R）をふる（ステップ
ＳＴ９）。（このとき新しいラベル番号（NO）になるこ
とはない。）それ以外はラベルをふらない。すなわち、
周囲７画素中１画素がラベル済みであれば、その時点で
注目画素にラベルをふり、次の画素へ進む。
【００２４】（３）検索領域終了まで行ったら（すなわ
ち全画素検索済みになったら（ステップＳＴ５でＹＥ
Ｓ））、ラベル開始位置へ戻り（ステップＳＴ１０）、
ラベル番号（NO.R）を更新（インクリメント）し（ステ
ップＳＴ１１）、全画素検索済みか判定し（ステップＳ
Ｔ１２）、検索済みでなければ（ＮＯ）、次の画素へ進
み（ステップＳＴ１３）、ステップＳＴ１に戻って前記
走査を繰り返す。
ち全画素検索済みになったら（ステップＳＴ５でＹＥ
Ｓ））、ラベル開始位置へ戻り（ステップＳＴ１０）、
ラベル番号（NO.R）を更新（インクリメント）し（ステ
ップＳＴ１１）、全画素検索済みか判定し（ステップＳ
Ｔ１２）、検索済みでなければ（ＮＯ）、次の画素へ進
み（ステップＳＴ１３）、ステップＳＴ１に戻って前記
走査を繰り返す。
【００２５】（４）検索領域内すべての点に対し、
（１）〜（３）の走査がすめば（ステップＳＴ１２でＹ
ＥＳ）、処理を終了する（ステップＳＴ１４）。
（１）〜（３）の走査がすめば（ステップＳＴ１２でＹ
ＥＳ）、処理を終了する（ステップＳＴ１４）。
【００２６】これに対して、通常の（すなわち従来より
知られている）動作は、図９（ｂ）に示す通りである。
すなわち、 （Ａ）２値化後の画像の所定領域に対し、例えば領域の
左上部より注目画素を順次移動し、まず注目画素が黒色
画素であるかを判定する（ステップＳＴ２１）。黒色画
素であれば、ラベル済みであるかどうかを判定し（ステ
ップＳＴ２２）、ラベル済みでなければ新しいラベル番
号（NO.R）をふる（ステップＳＴ２３）。ステップＳＴ
２１で黒色画素でないか、或いはステップＳＴ２２でラ
ベル済みと判定されれば、全画素検索済みであるか（ス
テップＳＴ３４）、および黒色画素が全てラベル済みで
あるかを判定し（ステップＳＴ３５）、全画素検索済み
でないか、或いは全画素がラベル済みでなければ次の画
素へ進んで（ステップＳＴ３７）、再びステップＳＴ２
１へ戻る。
知られている）動作は、図９（ｂ）に示す通りである。
すなわち、 （Ａ）２値化後の画像の所定領域に対し、例えば領域の
左上部より注目画素を順次移動し、まず注目画素が黒色
画素であるかを判定する（ステップＳＴ２１）。黒色画
素であれば、ラベル済みであるかどうかを判定し（ステ
ップＳＴ２２）、ラベル済みでなければ新しいラベル番
号（NO.R）をふる（ステップＳＴ２３）。ステップＳＴ
２１で黒色画素でないか、或いはステップＳＴ２２でラ
ベル済みと判定されれば、全画素検索済みであるか（ス
テップＳＴ３４）、および黒色画素が全てラベル済みで
あるかを判定し（ステップＳＴ３５）、全画素検索済み
でないか、或いは全画素がラベル済みでなければ次の画
素へ進んで（ステップＳＴ３７）、再びステップＳＴ２
１へ戻る。
【００２７】（Ｂ）ステップＳＴ２３の後、図１０(b)
に示すように、注目画素の周囲８画素を確認し（ステッ
プＳＴ２４）、ラベル済みでなければ、次の周辺画素へ
移り（ステップＳＴ２５）、これが黒色画素であるかを
判定し（ステップＳＴ２６）、黒画素で有れば、注目画
素と同じラベル番号（NO.R）を各周辺画素にふり、ラベ
ル数RCTをカウントする（ステップＳＴ２７）。
に示すように、注目画素の周囲８画素を確認し（ステッ
プＳＴ２４）、ラベル済みでなければ、次の周辺画素へ
移り（ステップＳＴ２５）、これが黒色画素であるかを
判定し（ステップＳＴ２６）、黒画素で有れば、注目画
素と同じラベル番号（NO.R）を各周辺画素にふり、ラベ
ル数RCTをカウントする（ステップＳＴ２７）。
【００２８】（Ｃ）次いで（Ｂ）（ステップＳＴ２４乃
至２７）を走査方向に順次行い、ステップＳＴ２４で周
囲８画素がラベル済みとなったら、全画素検索済みか判
定し（ステップＳＴ２８）、この判定結果がＮＯで有れ
ば、次の画素へ進んで（ステップＳＴ２９）、ラベル済
みかを判定し（ステップＳＴ３０）、ラベル済みで有れ
ばステップＳＴ２４へ進み、ラベル済みでなければステ
ップＳＴ２８へ進む。このようにして、ラベルすべきも
のがなくなるまで前記走査を繰り返す。
至２７）を走査方向に順次行い、ステップＳＴ２４で周
囲８画素がラベル済みとなったら、全画素検索済みか判
定し（ステップＳＴ２８）、この判定結果がＮＯで有れ
ば、次の画素へ進んで（ステップＳＴ２９）、ラベル済
みかを判定し（ステップＳＴ３０）、ラベル済みで有れ
ばステップＳＴ２４へ進み、ラベル済みでなければステ
ップＳＴ２８へ進む。このようにして、ラベルすべきも
のがなくなるまで前記走査を繰り返す。
【００２９】（Ｄ）このようにして（Ｃ）まで終了すれ
ば、すなわちステップＳＴ２８で全画素検索済みになれ
ば、領域開始位置へ戻り（ステップＳＴ３１）、ラベル
数RCTカウントが零であるかを判定し（ステップＳＴ３
２）、零でなければステップＳＴ３０へ進み、零で有れ
ばラベル番号（NO.R）を更新（インクリメント）し（ス
テップＳＴ３３）、（Ａ）〜（Ｃ）を繰り返す。
ば、すなわちステップＳＴ２８で全画素検索済みになれ
ば、領域開始位置へ戻り（ステップＳＴ３１）、ラベル
数RCTカウントが零であるかを判定し（ステップＳＴ３
２）、零でなければステップＳＴ３０へ進み、零で有れ
ばラベル番号（NO.R）を更新（インクリメント）し（ス
テップＳＴ３３）、（Ａ）〜（Ｃ）を繰り返す。
【００３０】（Ｅ）検索領域内すべての黒色画素に対
し、（Ａ）〜（Ｄ）の走査が済めば、すなわちステップ
ＳＴ３５で全黒色画素ラベル済みに達したら、処理を終
了する（ステップＳＴ３８）。
し、（Ａ）〜（Ｄ）の走査が済めば、すなわちステップ
ＳＴ３５で全黒色画素ラベル済みに達したら、処理を終
了する（ステップＳＴ３８）。
【００３１】さらに上記ラベリング処理においてラベル
中にそのＸ・Ｙ方向重心位置を演算し、目位置とする。
但し、ラベルされた候補のＸ・Ｙ方向幅や面積などから
目とは判定できない場合には目未検出とし、もしくは要
素が２つ以上ある場合などは要素のＸ・Ｙ方向幅や面積
などから最も目らしいもの１候補を抽出し、その重心を
目位置とする。図１１の（ａ）乃至（ｃ）には、このよ
うな３つの例が示されている。（ａ）は目が１つの連続
した領域で表される場合を示しており、目領域が「１」
として連続的にラベリングされており、（ｂ）は反射等
で目が数個に分断された場合を示しており、この例では
３つに分断された連続領域がそれぞれ「１」、「２」、
「３」としてラベリングされており、また（ｃ）は目が
一部分分断された場合を示しており、２つに分離された
領域がそれぞれ「１」、「２」で示されている。（ｂ）
及び（ｃ）では、「２」とトラベルされた領域が目候補
として抽出される。
中にそのＸ・Ｙ方向重心位置を演算し、目位置とする。
但し、ラベルされた候補のＸ・Ｙ方向幅や面積などから
目とは判定できない場合には目未検出とし、もしくは要
素が２つ以上ある場合などは要素のＸ・Ｙ方向幅や面積
などから最も目らしいもの１候補を抽出し、その重心を
目位置とする。図１１の（ａ）乃至（ｃ）には、このよ
うな３つの例が示されている。（ａ）は目が１つの連続
した領域で表される場合を示しており、目領域が「１」
として連続的にラベリングされており、（ｂ）は反射等
で目が数個に分断された場合を示しており、この例では
３つに分断された連続領域がそれぞれ「１」、「２」、
「３」としてラベリングされており、また（ｃ）は目が
一部分分断された場合を示しており、２つに分離された
領域がそれぞれ「１」、「２」で示されている。（ｂ）
及び（ｃ）では、「２」とトラベルされた領域が目候補
として抽出される。
【００３２】また、目確定手段７により確定した目位置
はメモリ内に保存し、目追跡モード時の目領域設定に用
いる。
はメモリ内に保存し、目追跡モード時の目領域設定に用
いる。
【００３３】実施の形態２．図１２乃至１６は本発明の
実施の形態２を示すものである。この実施の形態２は、
図１２に示すように、上記実施の形態１に、鼻孔領域設
定手段９、鼻孔候補抽出手段１０および鼻孔確定手段１
１を追加し、それと同時に目領域設定手段５を変更した
ものである。
実施の形態２を示すものである。この実施の形態２は、
図１２に示すように、上記実施の形態１に、鼻孔領域設
定手段９、鼻孔候補抽出手段１０および鼻孔確定手段１
１を追加し、それと同時に目領域設定手段５を変更した
ものである。
【００３４】先ず、入力画像内で鼻孔候補が存在すると
思われる領域を推定する鼻孔領域設定手段９について述
べる。鼻孔領域設定手段９では、例えば鼻孔検索モード
中には、図１５に示すように、目から顎までを含む比較
的大きな矩形の鼻孔検索領域９ｒ、鼻孔追跡モード中に
は鼻のみを含む比較的小さな矩形の鼻孔追跡領域９ｒｒ
をそれぞれ設定する。ここで、鼻孔検索モードとは、鼻
孔位置学習が未（すなわち未だ鼻孔を目を見つけていな
い状態）を指し、鼻孔追跡モードとは、鼻孔学習済の状
態を指す。鼻孔検索領域９ｒは画面内で通常の運転姿勢
で顔が入る範囲に限定して設定する。また、鼻孔追跡領
域９ｒｒは、鼻孔学習位置（又は、鼻孔前回位置）９ｇ
ｒから所定幅の領域を設定する。
思われる領域を推定する鼻孔領域設定手段９について述
べる。鼻孔領域設定手段９では、例えば鼻孔検索モード
中には、図１５に示すように、目から顎までを含む比較
的大きな矩形の鼻孔検索領域９ｒ、鼻孔追跡モード中に
は鼻のみを含む比較的小さな矩形の鼻孔追跡領域９ｒｒ
をそれぞれ設定する。ここで、鼻孔検索モードとは、鼻
孔位置学習が未（すなわち未だ鼻孔を目を見つけていな
い状態）を指し、鼻孔追跡モードとは、鼻孔学習済の状
態を指す。鼻孔検索領域９ｒは画面内で通常の運転姿勢
で顔が入る範囲に限定して設定する。また、鼻孔追跡領
域９ｒｒは、鼻孔学習位置（又は、鼻孔前回位置）９ｇ
ｒから所定幅の領域を設定する。
【００３５】鼻孔候補抽出手段１０は、例えば図１３の
（ａ）に示すような２次元テンプレート１０ｔで鼻孔領
域内で簡易マッチングを行い、図１３の（ｂ）に示すよ
うな鼻孔候補と思われる要素を抽出する。具体的には、
鼻孔候補抽出手段１０では、図１４の（ａ）に示すよう
に、鼻孔領域設定手段９により設定した領域内で、注目
画素１０ｃをＸ、Ｙ方向に順次移動させ、注目画素１０
ｃの周辺画素のうち鼻孔判定要素画素（＝２次元テンプ
レートで指し示す点）の条件を確認し、注目画素１０ｃ
が鼻孔候補画素であるかどうかの判定を行う。判定基準
は条件Ａ（注目画素に対し、鼻孔判定要素画素総ての輝
度値が所定閾値１０ｔｈ以上であること）である。図１
４の（ａ）の断面図である図１４の（ｂ）に示すよう
に、注目点（網掛け画素）１０ｃの輝度値に対し、鼻孔
判定要素画素（白画素）総ての輝度値が＋１０ｔｈを上
まわれば、注目点は鼻孔候補画素であると判定し、次の
画素に移る。図１４の（ａ）及び（ｂ）において、斜線
画素＝周辺画素、黒画素＝目候補画素である。
（ａ）に示すような２次元テンプレート１０ｔで鼻孔領
域内で簡易マッチングを行い、図１３の（ｂ）に示すよ
うな鼻孔候補と思われる要素を抽出する。具体的には、
鼻孔候補抽出手段１０では、図１４の（ａ）に示すよう
に、鼻孔領域設定手段９により設定した領域内で、注目
画素１０ｃをＸ、Ｙ方向に順次移動させ、注目画素１０
ｃの周辺画素のうち鼻孔判定要素画素（＝２次元テンプ
レートで指し示す点）の条件を確認し、注目画素１０ｃ
が鼻孔候補画素であるかどうかの判定を行う。判定基準
は条件Ａ（注目画素に対し、鼻孔判定要素画素総ての輝
度値が所定閾値１０ｔｈ以上であること）である。図１
４の（ａ）の断面図である図１４の（ｂ）に示すよう
に、注目点（網掛け画素）１０ｃの輝度値に対し、鼻孔
判定要素画素（白画素）総ての輝度値が＋１０ｔｈを上
まわれば、注目点は鼻孔候補画素であると判定し、次の
画素に移る。図１４の（ａ）及び（ｂ）において、斜線
画素＝周辺画素、黒画素＝目候補画素である。
【００３６】次に、鼻孔確定手段１１により上記のよう
に抽出した領域中の鼻孔候補および鼻孔位置を確定す
る。鼻孔候補抽出手段１０によって抽出された領域に対
してラベリングを行い、鼻孔候補を確定する。ラベリン
グは上記実施の形態１と同様に行う。
に抽出した領域中の鼻孔候補および鼻孔位置を確定す
る。鼻孔候補抽出手段１０によって抽出された領域に対
してラベリングを行い、鼻孔候補を確定する。ラベリン
グは上記実施の形態１と同様に行う。
【００３７】さらに、上記ラベリング処理におけるラベ
ル付け中に抽出領域のＸ・Ｙ方向重心位置を演算し、鼻
孔候補位置とする。鼻孔候補は、図１６に示すように、
顔横方向に大きさと形状（楕円に近いもの）の近いもの
が２つ並ぶものを検索し、鼻孔とする。鼻孔位置は２つ
の候補の中点とする。ラベル付けされた要素のＸ・Ｙ方
向幅や面積などから鼻孔とは判定できない場合には鼻孔
未検出とし、もしくは候補が２つ以上ある場合などは候
補のＸ・Ｙ方向幅や面積などから最も鼻孔らしいもの１
候補を抽出し、その重心中点を鼻孔位置とする。
ル付け中に抽出領域のＸ・Ｙ方向重心位置を演算し、鼻
孔候補位置とする。鼻孔候補は、図１６に示すように、
顔横方向に大きさと形状（楕円に近いもの）の近いもの
が２つ並ぶものを検索し、鼻孔とする。鼻孔位置は２つ
の候補の中点とする。ラベル付けされた要素のＸ・Ｙ方
向幅や面積などから鼻孔とは判定できない場合には鼻孔
未検出とし、もしくは候補が２つ以上ある場合などは候
補のＸ・Ｙ方向幅や面積などから最も鼻孔らしいもの１
候補を抽出し、その重心中点を鼻孔位置とする。
【００３８】鼻孔確定手段１１により確定した鼻孔位置
はメモリ内に保存し、鼻孔追跡モード時の鼻孔領域設定
に用いる。
はメモリ内に保存し、鼻孔追跡モード時の鼻孔領域設定
に用いる。
【００３９】実施の形態３．図１７および１８は本発明
の実施の形態３を示すものである。この実施の形態３
は、上記実施の形態１、２の鼻孔候補抽出手段１０およ
び目候補抽出手段６において、可変抽出輝度閾値を用い
るものである。
の実施の形態３を示すものである。この実施の形態３
は、上記実施の形態１、２の鼻孔候補抽出手段１０およ
び目候補抽出手段６において、可変抽出輝度閾値を用い
るものである。
【００４０】具体的には、図１７のフローチャートに示
すように、図１のステップＳ１と同様のテンプレートの
条件を判定するステップＳ１の前に、ステップＳ６で、
上記実施の形態１、２の鼻孔候補抽出手段１０および目
候補抽出手段６において、注目画素の輝度値を可変抽出
輝度閾値（鼻孔と目はそれぞれ違う閾値）により評価
し、２次元テンプレートによる評価を行うか否かを判定
する。判定基準は、図１８に示すように、条件Ｂ（注目
画素の輝度値が、可変抽出輝度閾値６１０ｔｈ以下であ
ること）である。ここで、注目点画素を減少させること
により、処理速度がより早くなる。また可変抽出輝度閾
値６１０ｔｈは、前画面までの２次元テンプレート通過
画素の輝度値により可変に制御することで、固定値にし
た場合よりさらに画像に適した値を得ることが可能であ
る。
すように、図１のステップＳ１と同様のテンプレートの
条件を判定するステップＳ１の前に、ステップＳ６で、
上記実施の形態１、２の鼻孔候補抽出手段１０および目
候補抽出手段６において、注目画素の輝度値を可変抽出
輝度閾値（鼻孔と目はそれぞれ違う閾値）により評価
し、２次元テンプレートによる評価を行うか否かを判定
する。判定基準は、図１８に示すように、条件Ｂ（注目
画素の輝度値が、可変抽出輝度閾値６１０ｔｈ以下であ
ること）である。ここで、注目点画素を減少させること
により、処理速度がより早くなる。また可変抽出輝度閾
値６１０ｔｈは、前画面までの２次元テンプレート通過
画素の輝度値により可変に制御することで、固定値にし
た場合よりさらに画像に適した値を得ることが可能であ
る。
【００４１】可変抽出輝度閾値は、例えば、推定閾値を
設定し、目（或いは鼻孔）を検索後、抽出可であれば閾
値が適当であるとして、その閾値を継続して用いる。抽
出不可であれば推定閾値は不適当すなわち目（或いは鼻
孔）画素が範囲外として閾値を段階的に緩めていく。ま
た、抽出可の際の閾値は前述のように継続しても良い
が、２次元テンプレート通過画素の平均輝度値または最
大輝度値などを利用して再設定すると、より適当な閾値
が得られる。
設定し、目（或いは鼻孔）を検索後、抽出可であれば閾
値が適当であるとして、その閾値を継続して用いる。抽
出不可であれば推定閾値は不適当すなわち目（或いは鼻
孔）画素が範囲外として閾値を段階的に緩めていく。ま
た、抽出可の際の閾値は前述のように継続しても良い
が、２次元テンプレート通過画素の平均輝度値または最
大輝度値などを利用して再設定すると、より適当な閾値
が得られる。
【００４２】実施の形態４．図１９および２０は本発明
の実施の形態４を示すものである。この実施の形態４
は、上記実施の形態１、２および３の鼻孔候補抽出手段
１０および目候補抽出手段６において、２次元テンプレ
ートを複数用いるものである。
の実施の形態４を示すものである。この実施の形態４
は、上記実施の形態１、２および３の鼻孔候補抽出手段
１０および目候補抽出手段６において、２次元テンプレ
ートを複数用いるものである。
【００４３】上記実施の形態１、２および３では、鼻孔
候補抽出手段１０および目候補抽出手段６において２次
元テンプレート６ｔ、９ｔを使用したが、図１９に示す
ように、ステップＳ１で、最初の２次元テンプレート６
ｔ、９ｔが条件Ａを満たさない場合には、ステップＳ７
において、次の２次元テンプレート６ｔ'、９ｔ'がその
条件Ａを満たしているか否かを判定し、満たせば通過画
素とするものである。
候補抽出手段１０および目候補抽出手段６において２次
元テンプレート６ｔ、９ｔを使用したが、図１９に示す
ように、ステップＳ１で、最初の２次元テンプレート６
ｔ、９ｔが条件Ａを満たさない場合には、ステップＳ７
において、次の２次元テンプレート６ｔ'、９ｔ'がその
条件Ａを満たしているか否かを判定し、満たせば通過画
素とするものである。
【００４４】また、複数テンプレートには色々考えられ
るが、例えば図２０（Ａ）では、注目画素とテンプレー
ト画素の距離が変わるだけであるが、（３）及び（４）
に示すように、左側のテンプレートだけでは眼鏡フレー
ムなどの位置によっては、注目点と目下側テンプレート
の距離が長いために通過不可（（３）参照）である可能
性があり、また（１）及び（２）に示すように、右側の
テンプレートだけでは眉と目の間隔が狭い人では通過不
可（（２）参照）になる可能性がある。
るが、例えば図２０（Ａ）では、注目画素とテンプレー
ト画素の距離が変わるだけであるが、（３）及び（４）
に示すように、左側のテンプレートだけでは眼鏡フレー
ムなどの位置によっては、注目点と目下側テンプレート
の距離が長いために通過不可（（３）参照）である可能
性があり、また（１）及び（２）に示すように、右側の
テンプレートだけでは眉と目の間隔が狭い人では通過不
可（（２）参照）になる可能性がある。
【００４５】すなわち、図２０（Ｂ）のように、テンプ
レートと注目点との距離やテンプレートの大きさの大小
で個人差をカバーすることが可能である。ここでは、テ
ンプレートと注目点との距離の異なる２つ目のテンプレ
ート（１）、（２）及び大きさの異なる２つの鼻孔のテ
ンプレート（３）、（４）を示しているが、これらはど
ちらにも言えることで、目のテンプレートを大小２種類
にすることでの個人差をカバーしたり、鼻孔のテンプレ
ートを大きさは同じで注目点とテンプレートとの距離を
変えることで髭などがあっても鼻孔を検出できるように
することも考えられる。システムの処理速度にもよる
が、テンプレートは２種に限らず、数種あればそれだけ
対応できるものが多くなる。
レートと注目点との距離やテンプレートの大きさの大小
で個人差をカバーすることが可能である。ここでは、テ
ンプレートと注目点との距離の異なる２つ目のテンプレ
ート（１）、（２）及び大きさの異なる２つの鼻孔のテ
ンプレート（３）、（４）を示しているが、これらはど
ちらにも言えることで、目のテンプレートを大小２種類
にすることでの個人差をカバーしたり、鼻孔のテンプレ
ートを大きさは同じで注目点とテンプレートとの距離を
変えることで髭などがあっても鼻孔を検出できるように
することも考えられる。システムの処理速度にもよる
が、テンプレートは２種に限らず、数種あればそれだけ
対応できるものが多くなる。
【００４６】実施の形態５．図２１および２２は本発明
の実施の形態５を示すものである。この実施の形態５
は、上記実施の形態１乃至４の鼻孔候補抽出手段１０お
よび目候補抽出手段６において、可変抽出輝度閾値を複
数用いるものである。
の実施の形態５を示すものである。この実施の形態５
は、上記実施の形態１乃至４の鼻孔候補抽出手段１０お
よび目候補抽出手段６において、可変抽出輝度閾値を複
数用いるものである。
【００４７】この実施の形態５では、上記実施の形態１
乃至３の鼻孔候補抽出手段１０および目候補抽出手段６
において、注目画素の輝度値を評価するための可変抽出
輝度閾値を複数持つことにより、注目画素の輝度範囲限
定による速度アップまたは入力画像の輝度変化への対応
を行うものである。例えば、２つの可変抽出輝度閾値６
１０ｔｈ、６１０ｔｈ'（６１０ｔｈ'＞６１０ｔｈ）を
持つ場合には、入力画像の輝度変化により第１の可変抽
出輝度閾値６１０ｔｈによる条件Ｂを満たす画素が無い
或いは少なかった場合、第１の可変抽出輝度閾値６１０
ｔｈよりも小さな第２の可変抽出輝度閾値６１０ｔｈ'
を用いて再度評価して輝度を３値化した画像を得る。す
なわち、図２１のフローチャートに示すように、ステッ
プＳ６の判定結果が「ＮＯ」のとき、ステップＳ８で注
目画素が第２の可変抽出輝度閾値６１０ｔｈ'以下であ
るか否かを判定して、判定結果が「ＹＥＳ」であれば、
ステップＳ７で追加のテンプレートが条件Ａをクリアし
ているか否か判定して、この判定結果が「ＹＥＳ」であ
れば、ステップＳ９で注目画素をテンプレート通過画素
として、輝度値２を設定する。また、ステップＳ８或い
はステップＳ７において、判定結果が「ＮＯ」であれ
ば、ステップＳ３で注目画素の輝度値を「０」とする。
乃至３の鼻孔候補抽出手段１０および目候補抽出手段６
において、注目画素の輝度値を評価するための可変抽出
輝度閾値を複数持つことにより、注目画素の輝度範囲限
定による速度アップまたは入力画像の輝度変化への対応
を行うものである。例えば、２つの可変抽出輝度閾値６
１０ｔｈ、６１０ｔｈ'（６１０ｔｈ'＞６１０ｔｈ）を
持つ場合には、入力画像の輝度変化により第１の可変抽
出輝度閾値６１０ｔｈによる条件Ｂを満たす画素が無い
或いは少なかった場合、第１の可変抽出輝度閾値６１０
ｔｈよりも小さな第２の可変抽出輝度閾値６１０ｔｈ'
を用いて再度評価して輝度を３値化した画像を得る。す
なわち、図２１のフローチャートに示すように、ステッ
プＳ６の判定結果が「ＮＯ」のとき、ステップＳ８で注
目画素が第２の可変抽出輝度閾値６１０ｔｈ'以下であ
るか否かを判定して、判定結果が「ＹＥＳ」であれば、
ステップＳ７で追加のテンプレートが条件Ａをクリアし
ているか否か判定して、この判定結果が「ＹＥＳ」であ
れば、ステップＳ９で注目画素をテンプレート通過画素
として、輝度値２を設定する。また、ステップＳ８或い
はステップＳ７において、判定結果が「ＮＯ」であれ
ば、ステップＳ３で注目画素の輝度値を「０」とする。
【００４８】図２２に示すように、眼鏡反射などで目画
像の輝度値が上がっている場合には、第１の可変抽出輝
度閾値６１０ｔｈのみを用いた場合では目の形状が崩れ
ていて目と認識できなかったものが（図２２の左側）、
第２の可変抽出輝度閾値６１０ｔｈ'を用いることによ
り、目として認識できることがある（図２２の右側）。
第２の可変抽出輝度閾値６１０ｔｈ'は実施の形態３の
可変抽出輝度閾値６１０ｔｈと同様、前画面までの２次
元テンプレート通過画素の輝度値により制御することも
可能であるし、第１の可変抽出輝度閾値６１０ｔｈの値
によって制御することも可能である。
像の輝度値が上がっている場合には、第１の可変抽出輝
度閾値６１０ｔｈのみを用いた場合では目の形状が崩れ
ていて目と認識できなかったものが（図２２の左側）、
第２の可変抽出輝度閾値６１０ｔｈ'を用いることによ
り、目として認識できることがある（図２２の右側）。
第２の可変抽出輝度閾値６１０ｔｈ'は実施の形態３の
可変抽出輝度閾値６１０ｔｈと同様、前画面までの２次
元テンプレート通過画素の輝度値により制御することも
可能であるし、第１の可変抽出輝度閾値６１０ｔｈの値
によって制御することも可能である。
【００４９】実施の形態６．図２３は本発明の実施の形
態６を示すものである。この実施の形態６は、上記実施
の形態１乃至５の鼻孔候補抽出手段１０或いは目候補抽
出手段６或いはそれら両方の手段において、２次元テン
プレートを画像抽出度合いにより緩和していくものであ
る。
態６を示すものである。この実施の形態６は、上記実施
の形態１乃至５の鼻孔候補抽出手段１０或いは目候補抽
出手段６或いはそれら両方の手段において、２次元テン
プレートを画像抽出度合いにより緩和していくものであ
る。
【００５０】上記実施の形態１乃至５の鼻孔候補抽出手
段１０或いは目候補抽出手段６或いはそれら両手段にお
いて、条件Ａを満たすことが困難な状況において、２次
元テンプレートを緩和することで対応する。２次元テン
プレート６ｔ、９ｔを用いて抽出を行った際の通過画素
が無い或いは少ない場合、条件Ａにおいて、テンプレー
ト非通過画素を０点−＞１点−＞２点…と順次ループご
とに緩和していく（上限は設定する）ことにより鼻孔候
補或いは目候補或いはそれら両者を抽出する。
段１０或いは目候補抽出手段６或いはそれら両手段にお
いて、条件Ａを満たすことが困難な状況において、２次
元テンプレートを緩和することで対応する。２次元テン
プレート６ｔ、９ｔを用いて抽出を行った際の通過画素
が無い或いは少ない場合、条件Ａにおいて、テンプレー
ト非通過画素を０点−＞１点−＞２点…と順次ループご
とに緩和していく（上限は設定する）ことにより鼻孔候
補或いは目候補或いはそれら両者を抽出する。
【００５１】具体的には、図２３のフローチャートに示
すように、まず最初に、ステップＳ１０において、注目
画素が輝度変換済みか否かを判定し、判定結果が「ＹＥ
Ｓ」であれば、ステップＳ６へ進み、以下ステップＳ４
までの処理は図４のフローチャートの処理と同じであ
る。ステップＳ１０の判定結果が「ＮＯ」であれば、ス
テップＳ４へ進み、そこで全画素について検索済みか否
かを判定し、「ＮＯ」であれば、ステップＳ５で処理対
象を次の注目画素に移してステップＳ１０に戻る。
すように、まず最初に、ステップＳ１０において、注目
画素が輝度変換済みか否かを判定し、判定結果が「ＹＥ
Ｓ」であれば、ステップＳ６へ進み、以下ステップＳ４
までの処理は図４のフローチャートの処理と同じであ
る。ステップＳ１０の判定結果が「ＮＯ」であれば、ス
テップＳ４へ進み、そこで全画素について検索済みか否
かを判定し、「ＮＯ」であれば、ステップＳ５で処理対
象を次の注目画素に移してステップＳ１０に戻る。
【００５２】ステップＳ４の判定結果が「ＹＥＳ」であ
れば、ステップＳ１１で通過が素が不十分でないか否か
を判定し、「ＹＥＳ」であれば、ステップＳ１２で条件
Ａの緩和数（回数）が所定の上限値を超えていないか否
かを判定し、この判定結果が「ＹＥＳ」であれば（超え
ていなければ）、緩和数を更新して（例えば１だけ増加
させて）から開始位置であるステップＳ１０へ戻る。ま
た、ステップＳ１１或いはステップＳ１２において判定
結果が「ＮＯ」の場合には、処理を終了する。
れば、ステップＳ１１で通過が素が不十分でないか否か
を判定し、「ＹＥＳ」であれば、ステップＳ１２で条件
Ａの緩和数（回数）が所定の上限値を超えていないか否
かを判定し、この判定結果が「ＹＥＳ」であれば（超え
ていなければ）、緩和数を更新して（例えば１だけ増加
させて）から開始位置であるステップＳ１０へ戻る。ま
た、ステップＳ１１或いはステップＳ１２において判定
結果が「ＮＯ」の場合には、処理を終了する。
【００５３】
【発明の効果】以上から明らかなように、この発明の一
側面に係る顔画像処理装置は、顔画像を入力する顔画像
入力手段と、入力した顔画像より目候補が存在する領域
を推定する目領域設定手段と、前記目領域内で目候補を
複数の輝度値を有するデータに変換する目候補抽出手段
と、抽出された候補内で目およびその位置を確定する目
確定手段とを備えるので、２次元テンプレートを用いて
直接目領域の輝度変換を行うことによって、鼻孔やその
他の補助的な要素を利用することなく、高速に目領域を
抽出することができる。
側面に係る顔画像処理装置は、顔画像を入力する顔画像
入力手段と、入力した顔画像より目候補が存在する領域
を推定する目領域設定手段と、前記目領域内で目候補を
複数の輝度値を有するデータに変換する目候補抽出手段
と、抽出された候補内で目およびその位置を確定する目
確定手段とを備えるので、２次元テンプレートを用いて
直接目領域の輝度変換を行うことによって、鼻孔やその
他の補助的な要素を利用することなく、高速に目領域を
抽出することができる。
【００５４】また、この発明の他の側面に係る顔画像処
理装置は、顔画像を入力する顔画像入力手段と、入力し
た顔画像より鼻孔候補が存在する領域を推定する鼻孔領
域設定手段と、前記鼻孔領域内で鼻孔候補を複数の輝度
値を有するデータに変換する鼻孔候補抽出手段と、抽出
された鼻孔候補内で鼻孔を確定する鼻孔確定手段と、確
定した鼻孔より目候補が存在する領域を推定する目領域
設定手段と、目領域内で目候補を複数の輝度値を有する
データに変換する目候補抽出手段と、前記目候補抽出手
段により抽出された候補内で目候補およびその位置を確
定する目確定手段とを備えるので、２次元テンプレート
を用いて鼻孔抽出を行い、抽出された鼻孔を用いて目存
在領域の推定を行うことにより精度良く、目領域を抽出
することができる。
理装置は、顔画像を入力する顔画像入力手段と、入力し
た顔画像より鼻孔候補が存在する領域を推定する鼻孔領
域設定手段と、前記鼻孔領域内で鼻孔候補を複数の輝度
値を有するデータに変換する鼻孔候補抽出手段と、抽出
された鼻孔候補内で鼻孔を確定する鼻孔確定手段と、確
定した鼻孔より目候補が存在する領域を推定する目領域
設定手段と、目領域内で目候補を複数の輝度値を有する
データに変換する目候補抽出手段と、前記目候補抽出手
段により抽出された候補内で目候補およびその位置を確
定する目確定手段とを備えるので、２次元テンプレート
を用いて鼻孔抽出を行い、抽出された鼻孔を用いて目存
在領域の推定を行うことにより精度良く、目領域を抽出
することができる。
【００５５】この発明の一実施態様においては、上記鼻
孔候補抽出手段もしくは目候補抽出手段は、予め設定さ
れている２次元テンプレートおよび少なくとも一つの閾
値を用いて、注目画素と周辺画素との相対輝度に対する
簡易マッチングを行うので、２次元テンプレートを用い
ることにより、また一般的なテンプレートマッチングに
おける相関演算を用いないため、精度良く、高速に顔要
素を抽出することができる。
孔候補抽出手段もしくは目候補抽出手段は、予め設定さ
れている２次元テンプレートおよび少なくとも一つの閾
値を用いて、注目画素と周辺画素との相対輝度に対する
簡易マッチングを行うので、２次元テンプレートを用い
ることにより、また一般的なテンプレートマッチングに
おける相関演算を用いないため、精度良く、高速に顔要
素を抽出することができる。
【００５６】この発明の他の実施態様においては、上記
鼻孔候補抽出手段もしくは目候補抽出手段は、さらに可
変抽出輝度閾値を用いて、マッチングを行う対象を限定
するので、可変抽出輝度閾値を併用することにより２次
元テンプレートを用いる領域を限定して、さらに高速に
顔要素を抽出することができる。
鼻孔候補抽出手段もしくは目候補抽出手段は、さらに可
変抽出輝度閾値を用いて、マッチングを行う対象を限定
するので、可変抽出輝度閾値を併用することにより２次
元テンプレートを用いる領域を限定して、さらに高速に
顔要素を抽出することができる。
【００５７】この発明の更に他の実施態様においては、
上記鼻孔候補抽出手段もしくは目候補抽出手段は、さら
に可変抽出輝度閾値または２次元テンプレートを複数用
いるので、２次元テンプレートおよび可変抽出輝度閾値
を複数併用することにより、個人差による顔要素の違い
をカバーして、さらに精度良く顔要素を抽出することが
できる。
上記鼻孔候補抽出手段もしくは目候補抽出手段は、さら
に可変抽出輝度閾値または２次元テンプレートを複数用
いるので、２次元テンプレートおよび可変抽出輝度閾値
を複数併用することにより、個人差による顔要素の違い
をカバーして、さらに精度良く顔要素を抽出することが
できる。
【００５８】この発明の更にまた他の実施態様において
は、上記鼻孔候補抽出手段もしくは目候補抽出手段は、
さらに２次元テンプレートを画像抽出度合いにより緩和
していくようにしたので、２次元テンプレートを画像抽
出度合いにより緩和していくことにより、付属情報の変
化（眼鏡反射や髪等）に対応して、さらに精度よく顔要
素を抽出することができる。
は、上記鼻孔候補抽出手段もしくは目候補抽出手段は、
さらに２次元テンプレートを画像抽出度合いにより緩和
していくようにしたので、２次元テンプレートを画像抽
出度合いにより緩和していくことにより、付属情報の変
化（眼鏡反射や髪等）に対応して、さらに精度よく顔要
素を抽出することができる。
【図１】 本発明の実施の形態１に係る顔画像処理装置
の概略構成を示す図である。
の概略構成を示す図である。
【図２】 その顔画像処理装置の機能的構成を示すフロ
ーチャートである。
ーチャートである。
【図３】 本発明におけるカメラからの入力画像を示す
図である。
図である。
【図４】 本発明の実施の形態１、２における目抽出手
段又は鼻孔抽出手段の処理の流れを示すブロック図であ
る。
段又は鼻孔抽出手段の処理の流れを示すブロック図であ
る。
【図５】 本発明における目抽出手段のテンプレートで
ある。
ある。
【図６】 その目抽出手段の説明図である。
【図７】 その目抽出手段による、眉選択時の様子を示
す図である。
す図である。
【図８】 本発明における目領域設定手段の説明図であ
る。
る。
【図９】 本発明の目確定手段のラベリング処理の流れ
を示すフローチャートである。
を示すフローチャートである。
【図１０】 本発明及び従来のラベリング時の走査方向
を表す説明図である。
を表す説明図である。
【図１１】 ３例のラベリングの状態を表す説明図であ
る。
る。
【図１２】 本発明の実施の形態２に係る顔画像処理装
置の機能的構成を示すブロック図である。
置の機能的構成を示すブロック図である。
【図１３】 本発明の鼻孔抽出手段のテンプレートであ
る。
る。
【図１４】 その鼻孔抽出手段の説明図である。
【図１５】 その鼻孔領域設定手段の説明図である。
【図１６】 その鼻孔確定手段のラベリングの説明図で
ある。
ある。
【図１７】 本発明の実施の形態３における目抽出手
段、鼻孔抽出手段の処理の流れを示すフローチャートで
ある。
段、鼻孔抽出手段の処理の流れを示すフローチャートで
ある。
【図１８】 本発明の実施の形態３における目抽出手段
又は鼻孔抽出手段の説明図である。
又は鼻孔抽出手段の説明図である。
【図１９】 本発明の実施の形態４における目抽出手段
又は鼻孔抽出手段の処理の流れを示すフローチャートで
ある。
又は鼻孔抽出手段の処理の流れを示すフローチャートで
ある。
【図２０】 本発明の実施の形態４における目抽出手段
又は鼻孔抽出手段のテンプレートである。
又は鼻孔抽出手段のテンプレートである。
【図２１】 本発明の実施の形態５における目抽出手段
又は鼻孔抽出手段の処理の流れを示すフローチャートで
ある。
又は鼻孔抽出手段の処理の流れを示すフローチャートで
ある。
【図２２】 本発明の実施の形態５における目抽出手段
又は鼻孔抽出手段の説明図である。
又は鼻孔抽出手段の説明図である。
【図２３】 本発明の実施の形態６における目抽出手段
又は鼻孔抽出手段の処理の流れを示すフローチャートで
ある。
又は鼻孔抽出手段の処理の流れを示すフローチャートで
ある。
【図２４】 従来例の顔画像処理装置の全体構成を示す
図である。
図である。
【図２５】 従来例の顔画像処理装置のテンプレート作
成手段の詳細を示す図である。
成手段の詳細を示す図である。
【図２６】 従来例の顔画像処理装置の動作の流れを示
すフローチャートである。
すフローチャートである。
１ カメラ、２ 画像メモリ、３ ＣＰＵ、４ 顔画像
入力手段、５ 目領域設定手段、６ 目候補抽出手段、
７ 目確定手段、９ 鼻孔領域設定手段、１０鼻孔候補
抽出手段、１１ 鼻孔確定手段。
入力手段、５ 目領域設定手段、６ 目候補抽出手段、
７ 目確定手段、９ 鼻孔領域設定手段、１０鼻孔候補
抽出手段、１１ 鼻孔確定手段。
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 3D037 FA05 FB09 5H180 AA01 CC04 LL01 LL02 LL07 LL08 LL20 5L096 CA02 DA03 EA12 FA19 FA34 GA34 GA41 GA51 JA04 JA09 9A001 BB03 EE02 EE05 FF03 HH23 HH27 LL09
Claims (6)
- 【請求項１】 顔画像を入力する顔画像入力手段と、 入力した顔画像より目候補が存在する領域を推定する目
領域設定手段と、 前記目領域内で目候補を複数の輝度値を有するデータに
変換する目候補抽出手段と、 抽出された候補内で目およびその位置を確定する目確定
手段と、 を備えたことを特徴とする顔画像処理装置。 - 【請求項２】 顔画像を入力する顔画像入力手段と、 入力した顔画像より鼻孔候補が存在する領域を推定する
鼻孔領域設定手段と、 前記鼻孔領域内で鼻孔候補を複数の輝度値を有するデー
タに変換する鼻孔候補抽出手段と、 抽出された鼻孔候補内で鼻孔を確定する鼻孔確定手段
と、 確定した鼻孔より目候補が存在する領域を推定する目領
域設定手段と、 目領域内で目候補を複数の輝度値を有するデータに変換
する目候補抽出手段と、 前記目候補抽出手段により抽出された候補内で目候補お
よびその位置を確定する目確定手段と、 を備えたことを特徴とする顔画像処理装置。 - 【請求項３】 上記鼻孔候補抽出手段もしくは目候補抽
出手段は、予め設定されている２次元テンプレートおよ
び少なくとも一つの閾値を用いて、注目画素と周辺画素
との相対輝度に対する簡易マッチングを行うことを特徴
とする請求項１または２に記載の顔画像処理装置。 - 【請求項４】 上記鼻孔候補抽出手段もしくは目候補抽
出手段は、さらに可変抽出輝度閾値を用いて、マッチン
グを行う対象を限定することを特徴とする請求項１乃至
３の何れかに記載の顔画像処理装置。 - 【請求項５】 上記鼻孔候補抽出手段もしくは目候補抽
出手段は、さらに可変抽出輝度閾値または２次元テンプ
レートを複数用いることを特徴とする請求項１乃至４の
何れかに記載の顔画像処理装置。 - 【請求項６】 上記鼻孔候補抽出手段もしくは目候補抽
出手段は、さらに２次元テンプレートを画像抽出度合い
により緩和していくことを特徴とする請求項１乃至５の
何れかに記載の顔画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19295899A JP3768735B2 (ja) | 1999-07-07 | 1999-07-07 | 顔画像処理装置 |
| US09/449,610 US6094498A (en) | 1999-07-07 | 1999-11-30 | Face image processing apparatus employing two-dimensional template |
| KR10-2000-0004191A KR100377531B1 (ko) | 1999-07-07 | 2000-01-28 | 2차원 템플레이트를 사용한 안화상처리장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19295899A JP3768735B2 (ja) | 1999-07-07 | 1999-07-07 | 顔画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001022933A true JP2001022933A (ja) | 2001-01-26 |
| JP3768735B2 JP3768735B2 (ja) | 2006-04-19 |
Family
ID=16299872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19295899A Expired - Fee Related JP3768735B2 (ja) | 1999-07-07 | 1999-07-07 | 顔画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6094498A (ja) |
| JP (1) | JP3768735B2 (ja) |
| KR (1) | KR100377531B1 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030081539A (ko) * | 2002-04-11 | 2003-10-22 | (주)엠앤제이코퍼레이션 | 얼굴 구성 요소 추출 시스템 및 방법 |
| KR100590572B1 (ko) | 2004-12-15 | 2006-06-19 | 삼성전자주식회사 | 눈 위치 검출 방법 및 장치 |
| JP2006277245A (ja) * | 2005-03-29 | 2006-10-12 | Adachi Light Co Ltd | 顔画像認識装置 |
| JP2008065705A (ja) * | 2006-09-08 | 2008-03-21 | Toyota Motor Corp | 居眠り検知装置、居眠り検知方法 |
| JP2008520039A (ja) * | 2004-11-10 | 2008-06-12 | イーストマン コダック カンパニー | 人間の画像における虹彩及び瞳孔の検出方法 |
| KR100903096B1 (ko) | 2007-06-27 | 2009-06-16 | 포항공과대학교 산학협력단 | 눈 검증 및 눈 위치 보정을 이용한 눈 검출 방법 |
| EP2930656A1 (en) | 2014-04-09 | 2015-10-14 | Fujitsu Limited | Eye gaze detection apparatus, eye gaze detection program and eye gaze detection method |
| DE102017203649A1 (de) | 2016-03-07 | 2017-09-07 | Omron Automotive Electronics Co., Ltd. | Gesichtsbildverarbeitungsvorrichtung |
| US10176374B2 (en) | 2014-05-27 | 2019-01-08 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AUPQ896000A0 (en) * | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
| EP1229486A1 (en) * | 2001-01-31 | 2002-08-07 | GRETAG IMAGING Trading AG | Automatic image pattern detection |
| US7239726B2 (en) * | 2001-12-12 | 2007-07-03 | Sony Corporation | System and method for effectively extracting facial feature information |
| US6873714B2 (en) * | 2002-02-19 | 2005-03-29 | Delphi Technologies, Inc. | Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution |
| CN100465985C (zh) * | 2002-12-31 | 2009-03-04 | 佳能株式会社 | 人眼探测方法及设备 |
| US7421097B2 (en) * | 2003-05-27 | 2008-09-02 | Honeywell International Inc. | Face identification verification using 3 dimensional modeling |
| WO2006030519A1 (ja) * | 2004-09-17 | 2006-03-23 | Mitsubishi Denki Kabushiki Kaisha | 顔認証装置及び顔認証方法 |
| CN101124612B (zh) * | 2005-02-17 | 2012-06-20 | 富士通株式会社 | 图像处理方法、图像处理系统、以及图像处理装置 |
| JP4663699B2 (ja) * | 2007-09-27 | 2011-04-06 | 富士フイルム株式会社 | 画像表示装置、及び画像表示方法 |
| WO2009084042A1 (en) * | 2008-01-02 | 2009-07-09 | Hi Tech Robotic Systemz Ltd | Driver state monitoring system |
| WO2009102940A1 (en) * | 2008-02-14 | 2009-08-20 | The International Performance Registry, Llc | System and method for animal identification using iris images |
| JP5336939B2 (ja) * | 2009-06-15 | 2013-11-06 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN101853397A (zh) * | 2010-04-21 | 2010-10-06 | 中国科学院半导体研究所 | 一种基于人类视觉特性的仿生人脸检测方法 |
| JP5367037B2 (ja) * | 2011-09-26 | 2013-12-11 | 本田技研工業株式会社 | 顔向き検出装置 |
| KR20130054636A (ko) * | 2011-11-17 | 2013-05-27 | 현대모비스 주식회사 | 적외선 카메라 및 3ｄ 모델링을 이용한 운전자 자세 감시 장치 및 방법 |
| JP5418579B2 (ja) * | 2011-12-06 | 2014-02-19 | 株式会社デンソー | 開閉眼検出装置 |
| US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
| US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
| KR20160073866A (ko) * | 2014-12-17 | 2016-06-27 | 삼성전자주식회사 | 홍채 인식 장치, 이를 포함하는 홍채 인식 시스템 및 상기 홍채 인식 시스템의 동작 방법 |
| US10394019B2 (en) * | 2017-02-27 | 2019-08-27 | Tobii Ab | Determining eye openness with an eye tracking device |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01158579A (ja) * | 1987-09-09 | 1989-06-21 | Aisin Seiki Co Ltd | 像認識装置 |
| JPH08175218A (ja) * | 1994-12-26 | 1996-07-09 | Toyota Motor Corp | 運転状態検出装置 |
| JP3452685B2 (ja) * | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | 顔画像の処理装置 |
| JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
-
1999
- 1999-07-07 JP JP19295899A patent/JP3768735B2/ja not_active Expired - Fee Related
- 1999-11-30 US US09/449,610 patent/US6094498A/en not_active Expired - Lifetime
-
2000
- 2000-01-28 KR KR10-2000-0004191A patent/KR100377531B1/ko not_active IP Right Cessation
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030081539A (ko) * | 2002-04-11 | 2003-10-22 | (주)엠앤제이코퍼레이션 | 얼굴 구성 요소 추출 시스템 및 방법 |
| JP2008520039A (ja) * | 2004-11-10 | 2008-06-12 | イーストマン コダック カンパニー | 人間の画像における虹彩及び瞳孔の検出方法 |
| KR100590572B1 (ko) | 2004-12-15 | 2006-06-19 | 삼성전자주식회사 | 눈 위치 검출 방법 및 장치 |
| JP4628839B2 (ja) * | 2005-03-29 | 2011-02-09 | 株式会社足立ライト工業所 | 顔画像認識装置 |
| JP2006277245A (ja) * | 2005-03-29 | 2006-10-12 | Adachi Light Co Ltd | 顔画像認識装置 |
| JP2008065705A (ja) * | 2006-09-08 | 2008-03-21 | Toyota Motor Corp | 居眠り検知装置、居眠り検知方法 |
| JP4692447B2 (ja) * | 2006-09-08 | 2011-06-01 | トヨタ自動車株式会社 | 居眠り検知装置、居眠り検知方法 |
| KR100903096B1 (ko) | 2007-06-27 | 2009-06-16 | 포항공과대학교 산학협력단 | 눈 검증 및 눈 위치 보정을 이용한 눈 검출 방법 |
| EP2930656A1 (en) | 2014-04-09 | 2015-10-14 | Fujitsu Limited | Eye gaze detection apparatus, eye gaze detection program and eye gaze detection method |
| US9508004B2 (en) | 2014-04-09 | 2016-11-29 | Fujitsu Limited | Eye gaze detection apparatus, computer-readable recording medium storing eye gaze detection program and eye gaze detection method |
| US10176374B2 (en) | 2014-05-27 | 2019-01-08 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
| DE102017203649A1 (de) | 2016-03-07 | 2017-09-07 | Omron Automotive Electronics Co., Ltd. | Gesichtsbildverarbeitungsvorrichtung |
| US10223577B2 (en) | 2016-03-07 | 2019-03-05 | Omron Automotive Electronics Co., Ltd. | Face image processing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100377531B1 (ko) | 2003-03-26 |
| KR20010014458A (ko) | 2001-02-26 |
| JP3768735B2 (ja) | 2006-04-19 |
| US6094498A (en) | 2000-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001022933A (ja) | ２次元テンプレートを用いた顔画像処理装置 | |
| EP2074550B1 (en) | Eye opening detection system and method of detecting eye opening | |
| EP2860664B1 (en) | Face detection apparatus | |
| US8055016B2 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
| WO2019145578A1 (en) | Neural network image processing apparatus | |
| KR100322982B1 (ko) | 얼굴화상처리장치 | |
| JP5675233B2 (ja) | 情報処理装置、その認識方法及びプログラム | |
| JP6234762B2 (ja) | 眼部検出装置、方法、およびプログラム | |
| JPH0944685A (ja) | 顔画像処理装置 | |
| JP2006260397A (ja) | 開眼度推定装置 | |
| JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
| JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
| JP4992823B2 (ja) | 顔検出装置及び顔検出方法 | |
| JP2011089784A (ja) | 物体方向推定装置 | |
| JP4082203B2 (ja) | 開閉眼判定装置 | |
| CN111325058B (zh) | 驾驶行为检测方法、装置、系统及存储介质 | |
| JP2005134966A (ja) | 顔画像候補領域検索方法及び検索システム並びに検索プログラム | |
| CN113095119A (zh) | 一种修正人脸裁剪框的人脸识别系统 | |
| JP4070450B2 (ja) | 前方車両認識装置及び認識方法 | |
| CN115578781A (zh) | 去遮挡的虹膜检测方法、虹膜识别方法及可读存储介质 | |
| JP4781292B2 (ja) | 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム | |
| KR20220151165A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
| JP5035139B2 (ja) | 眼画像処理装置 | |
| JP2011086051A (ja) | 眼位置認識装置 | |
| JP3500891B2 (ja) | 居眠り状態検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050104 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060202 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |