JP2003150942A - 目位置追跡方法 - Google Patents
目位置追跡方法Info
- Publication number
- JP2003150942A JP2003150942A JP2001350962A JP2001350962A JP2003150942A JP 2003150942 A JP2003150942 A JP 2003150942A JP 2001350962 A JP2001350962 A JP 2001350962A JP 2001350962 A JP2001350962 A JP 2001350962A JP 2003150942 A JP2003150942 A JP 2003150942A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- image
- template
- face
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 簡単な装置で正確に人の目の位置を検知し、
リアルタイムで追跡することができる目位置追跡方法を
提供する。 【解決手段】 動く画像を捕らえるビデオカメラ１０を
備え、このカメラ１０により撮像した画像をディジタル
化し所定周期で記憶する半導体メモリや磁気記憶装置等
から成る記憶装置と、カメラ１０により撮像した人の顔
の目の位置を認識する目位置認識手段とを構成するコン
ピュータ１４を設ける。目位置認識手段は、カメラ１０
で捕らえた人の顔の画像情報を、人の目２０の虹彩２２
の大きさの範囲内に入るテンプレート１６と比較しなが
らスキャンし、目２０の虹彩２２の部分と顔の他の部分
との画像の明暗を検知して、コンピュータ１４の記憶装
置の記憶周期毎に、人の目２０の位置を検出し追跡す
る。
リアルタイムで追跡することができる目位置追跡方法を
提供する。 【解決手段】 動く画像を捕らえるビデオカメラ１０を
備え、このカメラ１０により撮像した画像をディジタル
化し所定周期で記憶する半導体メモリや磁気記憶装置等
から成る記憶装置と、カメラ１０により撮像した人の顔
の目の位置を認識する目位置認識手段とを構成するコン
ピュータ１４を設ける。目位置認識手段は、カメラ１０
で捕らえた人の顔の画像情報を、人の目２０の虹彩２２
の大きさの範囲内に入るテンプレート１６と比較しなが
らスキャンし、目２０の虹彩２２の部分と顔の他の部分
との画像の明暗を検知して、コンピュータ１４の記憶装
置の記憶周期毎に、人の目２０の位置を検出し追跡す
る。
Description
【０００１】
【発明の属する技術分野】この発明は、人の顔を撮影し
て、その画像の中の目の位置を自動的に追跡する目位置
追跡方法に関する。
て、その画像の中の目の位置を自動的に追跡する目位置
追跡方法に関する。
【０００２】
【従来の技術】従来、画像認識技術等を利用して人の顔
の目の位置を自動的に追跡するシステムが提案されてい
る。目位置の追跡方法として、例えば、顔の中の眉の間
を認識し目の位置を追跡する方法が提案されている。ま
た、２台のカメラを用いて頭部の位置や姿勢、視線の方
向をリアルタイムで計測するシステムも提案されてい
る。その外、顔の特徴的な部位として、顔の部位の中で
比較的明確に各人共通に存在し動きの少ない部位である
鼻孔に着目し、その位置から目の領域を特定し目の位置
を検出するものがある。この鼻孔の検出は、更新型テン
プレートマッチングと分離度フィルタの両方を用いて安
定に目位置を追跡するものである。
の目の位置を自動的に追跡するシステムが提案されてい
る。目位置の追跡方法として、例えば、顔の中の眉の間
を認識し目の位置を追跡する方法が提案されている。ま
た、２台のカメラを用いて頭部の位置や姿勢、視線の方
向をリアルタイムで計測するシステムも提案されてい
る。その外、顔の特徴的な部位として、顔の部位の中で
比較的明確に各人共通に存在し動きの少ない部位である
鼻孔に着目し、その位置から目の領域を特定し目の位置
を検出するものがある。この鼻孔の検出は、更新型テン
プレートマッチングと分離度フィルタの両方を用いて安
定に目位置を追跡するものである。
【０００３】
【発明が解決しようとする課題】上記従来の技術の眉間
を検出する方法の場合、眉間周辺に髪の毛が掛かると検
出できないという問題があり、人や条件を問わず簡単に
目位置を検出できるものではない。また、２台のカメラ
を用いる検出方法は、各人毎に顔の特徴を表すテンプレ
ートを作成する必要があり、システムが複雑なものであ
る。さらに、顔の鼻孔を検出するものは、撮像アングル
を顔のやや下方にしないと鼻孔を認識できないものであ
り、カメラの位置やアングルに制限のあるものである。
を検出する方法の場合、眉間周辺に髪の毛が掛かると検
出できないという問題があり、人や条件を問わず簡単に
目位置を検出できるものではない。また、２台のカメラ
を用いる検出方法は、各人毎に顔の特徴を表すテンプレ
ートを作成する必要があり、システムが複雑なものであ
る。さらに、顔の鼻孔を検出するものは、撮像アングル
を顔のやや下方にしないと鼻孔を認識できないものであ
り、カメラの位置やアングルに制限のあるものである。
【０００４】この発明は上記従来の技術の問題点に鑑み
てなされたものであり、簡単な装置で正確に人の目の位
置を検知し、リアルタイムで追跡することができる目位
置追跡方法を提供することを目的とする。
てなされたものであり、簡単な装置で正確に人の目の位
置を検知し、リアルタイムで追跡することができる目位
置追跡方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】この発明は、動く画像を
捕らえるビデオカメラ等のカメラと、このカメラにより
撮像した画像をディジタル化し所定周期で記憶する半導
体メモリや磁気記憶装置等から成る記憶装置と、上記カ
メラにより撮像した人の顔の目の位置を認識する目位置
認識手段を設け、人の目の位置を追跡する目位置追跡方
法であって、上記目位置認識手段は、上記カメラで捕ら
えた人の顔の画像情報を、人の目の虹彩の大きさの範囲
内に入るテンプレートと比較しながらスキャンし、目の
虹彩部分と顔の他の部分との画像の明暗を検知して、上
記記憶装置の記憶周期毎に人の目の位置を検出し追跡す
る目位置追跡方法である。
捕らえるビデオカメラ等のカメラと、このカメラにより
撮像した画像をディジタル化し所定周期で記憶する半導
体メモリや磁気記憶装置等から成る記憶装置と、上記カ
メラにより撮像した人の顔の目の位置を認識する目位置
認識手段を設け、人の目の位置を追跡する目位置追跡方
法であって、上記目位置認識手段は、上記カメラで捕ら
えた人の顔の画像情報を、人の目の虹彩の大きさの範囲
内に入るテンプレートと比較しながらスキャンし、目の
虹彩部分と顔の他の部分との画像の明暗を検知して、上
記記憶装置の記憶周期毎に人の目の位置を検出し追跡す
る目位置追跡方法である。
【０００６】上記画像は上記記憶装置に記憶し、撮像し
た顔画像の下方から順に記憶した画像情報と上記テンプ
レートとの比較のためのスキャンを行う。上記テンプレ
ートは、十字形状に形成され、縦方向の長さが横方向の
長さよりもわずかに短いものである。
た顔画像の下方から順に記憶した画像情報と上記テンプ
レートとの比較のためのスキャンを行う。上記テンプレ
ートは、十字形状に形成され、縦方向の長さが横方向の
長さよりもわずかに短いものである。
【０００７】上記テンプレートにより目の虹彩と他の部
分との画像の明暗を比較する際に、その位置の上下の部
分の画像情報を参照し、眉による暗部の有無をもって虹
彩の位置を判断する。また、目の位置を検出する際に、
最初に検出した目の位置により、他方の目の位置を推測
して、他方の目があるべき位置の周辺を部分的にスキャ
ンする目位置追跡方法である。
分との画像の明暗を比較する際に、その位置の上下の部
分の画像情報を参照し、眉による暗部の有無をもって虹
彩の位置を判断する。また、目の位置を検出する際に、
最初に検出した目の位置により、他方の目の位置を推測
して、他方の目があるべき位置の周辺を部分的にスキャ
ンする目位置追跡方法である。
【０００８】
【発明の実施の形態】以下、この発明の一実施形態につ
いて図面に基づいて説明する。図１はこの発明の一実施
形態の目位置追跡方法に用いる装置を示す。この装置
は、図示しない三脚等に取り付けられたビデオカメラ１
０と、撮影用に一定の明るさを得るための、例えばラン
プ１２やオートアイリスレンズ１３、及び撮像画像を処
理するコンピュータ１４から成る。ビデオカメラ１２
は、高感度のものが好ましく、コンピュータ１４は、ビ
デオカメラ１０で撮った画像を動画としてリアルタイム
で処理可能な処理速度を有したものであればよい。
いて図面に基づいて説明する。図１はこの発明の一実施
形態の目位置追跡方法に用いる装置を示す。この装置
は、図示しない三脚等に取り付けられたビデオカメラ１
０と、撮影用に一定の明るさを得るための、例えばラン
プ１２やオートアイリスレンズ１３、及び撮像画像を処
理するコンピュータ１４から成る。ビデオカメラ１２
は、高感度のものが好ましく、コンピュータ１４は、ビ
デオカメラ１０で撮った画像を動画としてリアルタイム
で処理可能な処理速度を有したものであればよい。
【０００９】この実施形態の目位置追跡方法は、先ず、
ビデオカメラ１０で撮った画像をディジタル化してコン
ピュータ１４の半導体メモリ及び磁気記憶装置からなる
記憶装置内に記憶する。さらに、例えば２５６階調ある
撮像画像の明暗情報を閾値処理により２値化する。この
２値化した画像に対して後述するテンプレートにより目
の位置を検出するためのマッチング処理を行う。この発
明の実施形態では、黒目である目の虹彩と白目および顔
の皮膚等を比較するため、諧調のある画像情報ではな
く、２値化した画像情報で良い。
ビデオカメラ１０で撮った画像をディジタル化してコン
ピュータ１４の半導体メモリ及び磁気記憶装置からなる
記憶装置内に記憶する。さらに、例えば２５６階調ある
撮像画像の明暗情報を閾値処理により２値化する。この
２値化した画像に対して後述するテンプレートにより目
の位置を検出するためのマッチング処理を行う。この発
明の実施形態では、黒目である目の虹彩と白目および顔
の皮膚等を比較するため、諧調のある画像情報ではな
く、２値化した画像情報で良い。
【００１０】目の虹彩のテンプレートによるマッチング
は、画素数がＬ×Ｌピクセルの画像情報に対してテンプ
レートデータとの差を逐次求めていく残差逐次検出法に
より行う。残差逐次検出法は、図２に示すように、テン
プレートｔ（ｘ，ｙ）と、撮像画像のテンプレート上の
部分入力画像ｆ（ｘ，ｙ）とのマッチング評価値Ｅ
（ｐ，ｑ）を次式（１）により計算し、所定の閾値を越
えた段階で相関はないとして処理を打ち切り、次の位置
で同様に計算を行い、マッチング位置を探す方法であ
る。 Ｅ（ｐ，ｑ）＝ΣM-1 x=0ΣM-1 y=0|ｆ（x+p，y+q）−ｔ（ｘ，ｙ）| （１） 但し、０≦ｐ≦Ｌ−Ｍ＋１，０≦ｑ≦Ｌ−Ｍ＋１
は、画素数がＬ×Ｌピクセルの画像情報に対してテンプ
レートデータとの差を逐次求めていく残差逐次検出法に
より行う。残差逐次検出法は、図２に示すように、テン
プレートｔ（ｘ，ｙ）と、撮像画像のテンプレート上の
部分入力画像ｆ（ｘ，ｙ）とのマッチング評価値Ｅ
（ｐ，ｑ）を次式（１）により計算し、所定の閾値を越
えた段階で相関はないとして処理を打ち切り、次の位置
で同様に計算を行い、マッチング位置を探す方法であ
る。 Ｅ（ｐ，ｑ）＝ΣM-1 x=0ΣM-1 y=0|ｆ（x+p，y+q）−ｔ（ｘ，ｙ）| （１） 但し、０≦ｐ≦Ｌ−Ｍ＋１，０≦ｑ≦Ｌ−Ｍ＋１
【００１１】この目位置追跡方法に用いるテンプレート
１６は、図３に示すように、人の目２０の虹彩２２内に
収まる程度の大きさの横長の十字状に形成する。人の目
の虹彩の直径は約１１ｍｍであり、瞼により隠れる部分
を考慮して、テンプレート１６の上下方向は短くしてあ
る。撮像画像においては、ディスプレイ上でも虹彩２２
の大きさが実際のものと同程度の約１１mmとなるように
調整し、テンプレートの大きさを、例えば、１ｍｍが
４．２ピクセルである場合、横の長さを１１ｍｍで４６
ピクセル、縦の長さを６ｍｍで２５ピクセルとする。テ
ンプレート１６の十字の線幅は１ピクセルとする。
１６は、図３に示すように、人の目２０の虹彩２２内に
収まる程度の大きさの横長の十字状に形成する。人の目
の虹彩の直径は約１１ｍｍであり、瞼により隠れる部分
を考慮して、テンプレート１６の上下方向は短くしてあ
る。撮像画像においては、ディスプレイ上でも虹彩２２
の大きさが実際のものと同程度の約１１mmとなるように
調整し、テンプレートの大きさを、例えば、１ｍｍが
４．２ピクセルである場合、横の長さを１１ｍｍで４６
ピクセル、縦の長さを６ｍｍで２５ピクセルとする。テ
ンプレート１６の十字の線幅は１ピクセルとする。
【００１２】このような十字状のテンプレート１６を用
いることにより、図４に示すように、目２０の回転に対
しても、虹彩２２とのマッチングを得ることができる。
また、顔画像の拡大縮小に対しても、図５に示すよう
に、画像の拡大に対しては、テンプレート１６と虹彩２
２とのマッチングが可能であり、認識率が低下する恐れ
はあるが検出可能である。これに対して、縮小した場合
は、テンプレート１６が虹彩２２の画像よりも大きくな
ると、目２０の白目領域にテンプレートが入り、正確に
認識できなくなる。
いることにより、図４に示すように、目２０の回転に対
しても、虹彩２２とのマッチングを得ることができる。
また、顔画像の拡大縮小に対しても、図５に示すよう
に、画像の拡大に対しては、テンプレート１６と虹彩２
２とのマッチングが可能であり、認識率が低下する恐れ
はあるが検出可能である。これに対して、縮小した場合
は、テンプレート１６が虹彩２２の画像よりも大きくな
ると、目２０の白目領域にテンプレートが入り、正確に
認識できなくなる。
【００１３】この実施形態では、残差逐次検出法により
マッチングを行う画像上のピッチは、横方向に４ピクセ
ル毎、縦方向に１ピクセル毎に行った。マッチング判断
は、テンプレートの横方向に１ピクセルずつ行い縦方向
には１ピクセル飛ばしで行った。そして、テンプレート
１６の横幅の９０％以上、縦幅の４０％以上のマッチン
グ度が同時に得られた場合に目らしいと判断した。
マッチングを行う画像上のピッチは、横方向に４ピクセ
ル毎、縦方向に１ピクセル毎に行った。マッチング判断
は、テンプレートの横方向に１ピクセルずつ行い縦方向
には１ピクセル飛ばしで行った。そして、テンプレート
１６の横幅の９０％以上、縦幅の４０％以上のマッチン
グ度が同時に得られた場合に目らしいと判断した。
【００１４】また、この実施形態では、テンプレート１
６のマッチングに際して、顔画像上の誤認識の可能性の
ある部分との区別を確実にするために、目２０の周辺部
分の特徴も判断材料とした。ここでは図６に示すよう
に、テンプレート１６の上下において、眉２４の有無を
判断材料とした。例えば、虹彩２２を１１ｍｍとした場
合、人の顔の個人差による違いを考慮して、眉２４の位
置のチェックポイントはテンプレート１６の中心から上
２５〜５０ｍｍの間、眉２４と目２０との間のチェック
ポイントは同じく１５〜２７ｍｍ、目２０の下について
は、同じく１５〜２２ｍｍの各２値化されたピクセルの
値を判別する。これにより目２０の直上では黒い部分が
無く、その上方に眉２４による黒部分が検知され、目の
下方には黒部分がないということを目検知の判断材料と
することができる。さらに、図６の一点鎖線で示すよう
に、顔画像が拡大した場合も、一定の範囲内であれば、
眉２４とその下の部分の検知により目位置を正確に判断
することができる。
６のマッチングに際して、顔画像上の誤認識の可能性の
ある部分との区別を確実にするために、目２０の周辺部
分の特徴も判断材料とした。ここでは図６に示すよう
に、テンプレート１６の上下において、眉２４の有無を
判断材料とした。例えば、虹彩２２を１１ｍｍとした場
合、人の顔の個人差による違いを考慮して、眉２４の位
置のチェックポイントはテンプレート１６の中心から上
２５〜５０ｍｍの間、眉２４と目２０との間のチェック
ポイントは同じく１５〜２７ｍｍ、目２０の下について
は、同じく１５〜２２ｍｍの各２値化されたピクセルの
値を判別する。これにより目２０の直上では黒い部分が
無く、その上方に眉２４による黒部分が検知され、目の
下方には黒部分がないということを目検知の判断材料と
することができる。さらに、図６の一点鎖線で示すよう
に、顔画像が拡大した場合も、一定の範囲内であれば、
眉２４とその下の部分の検知により目位置を正確に判断
することができる。
【００１５】またこの実施形態では、撮像した顔画像の
２値化したデータの左下方（顔の位置のあご側）から順
に、記憶した画像情報とテンプレート１６との比較のた
めのスキャンを行う。これにより、眉２４を目２０と誤
認識することを防止した。また、目２０の位置を検出す
る際に、最初に検出した目の位置により、他方の目の位
置を推測して後の処理を行うようにした。即ち、図７
（ａ）に示すように、テンプレートとの比較を行うスキ
ャンにより画像の左側で目２０を最初に検知した場合、
画像の右側に他方の目が位置していると推測し、その右
側の部分的な領域のみをスキャンし、他方の目を検出す
る。そして、両方の目２０の中間位置を画像の中の顔の
位置２５とする。これにより、判断する画像の情報量を
削減することができ、処理速度を上げることができる。
また、図７（ｂ）に示すように、顔画像の中央部分で目
２０を検知した場合、その顔画像中には他方の目は映っ
ていないと判断してその処理を打ち切り、次の画像の目
位置追跡に移る。また、図７（ｃ）に示すように、図７
（ａ）とは逆に、顔画像の右側で目２０を最初に検知し
た場合、画像の左側に他方の目が位置していると推測
し、その左側の部分的な領域のみをスキャンし、他方の
目を検出する。そして、両方の目２０の中間位置を画像
の中の顔の位置２５とする。
２値化したデータの左下方（顔の位置のあご側）から順
に、記憶した画像情報とテンプレート１６との比較のた
めのスキャンを行う。これにより、眉２４を目２０と誤
認識することを防止した。また、目２０の位置を検出す
る際に、最初に検出した目の位置により、他方の目の位
置を推測して後の処理を行うようにした。即ち、図７
（ａ）に示すように、テンプレートとの比較を行うスキ
ャンにより画像の左側で目２０を最初に検知した場合、
画像の右側に他方の目が位置していると推測し、その右
側の部分的な領域のみをスキャンし、他方の目を検出す
る。そして、両方の目２０の中間位置を画像の中の顔の
位置２５とする。これにより、判断する画像の情報量を
削減することができ、処理速度を上げることができる。
また、図７（ｂ）に示すように、顔画像の中央部分で目
２０を検知した場合、その顔画像中には他方の目は映っ
ていないと判断してその処理を打ち切り、次の画像の目
位置追跡に移る。また、図７（ｃ）に示すように、図７
（ａ）とは逆に、顔画像の右側で目２０を最初に検知し
た場合、画像の左側に他方の目が位置していると推測
し、その左側の部分的な領域のみをスキャンし、他方の
目を検出する。そして、両方の目２０の中間位置を画像
の中の顔の位置２５とする。
【００１６】このようにしてビデオカメラ１０により撮
像した顔画像は、図８に示すフローチャートのように、
各フレーム毎にコンピュータ１４によりリアルタイムに
処理する。処理の流れは、コンピュータ１４により顔画
像情報をディジタル化して記憶装置により記憶し、さら
に階調を無くして２値化した画像情報とし、各フレーム
毎に記憶し、上述の目位置検出処理を行う。目位置の検
出に際して、テンプレート１６は片目ずつ虹彩２２を検
知するので、上記のように、全体領域のテンプレートマ
ッチングのスキャンを画像の水平方向であるｘ方向に行
い、一つのマッチングがあると、その検出位置が画像の
中央部か否かを判断し、中央部であれば、片目のみが顔
画像に現れているとして、その顔画像の目位置に十字を
付して次のフレームの処理に移る。また、最初に検出し
た目の位置が中央部でない場合、図７で説明したよう
に、他方の目位置の検出のための部分的なスキャンを行
い、両目を検知して、顔画像の両目位置に十字を付す。
以上の処理が撮像した顔画像のフレーム毎に行われるの
で、ビデオカメラ１０で撮像した顔の目位置をリアルタ
イムで追跡することができる。
像した顔画像は、図８に示すフローチャートのように、
各フレーム毎にコンピュータ１４によりリアルタイムに
処理する。処理の流れは、コンピュータ１４により顔画
像情報をディジタル化して記憶装置により記憶し、さら
に階調を無くして２値化した画像情報とし、各フレーム
毎に記憶し、上述の目位置検出処理を行う。目位置の検
出に際して、テンプレート１６は片目ずつ虹彩２２を検
知するので、上記のように、全体領域のテンプレートマ
ッチングのスキャンを画像の水平方向であるｘ方向に行
い、一つのマッチングがあると、その検出位置が画像の
中央部か否かを判断し、中央部であれば、片目のみが顔
画像に現れているとして、その顔画像の目位置に十字を
付して次のフレームの処理に移る。また、最初に検出し
た目の位置が中央部でない場合、図７で説明したよう
に、他方の目位置の検出のための部分的なスキャンを行
い、両目を検知して、顔画像の両目位置に十字を付す。
以上の処理が撮像した顔画像のフレーム毎に行われるの
で、ビデオカメラ１０で撮像した顔の目位置をリアルタ
イムで追跡することができる。
【００１７】この実施形態の目位置追跡方法によれば、
ほぼ片目で９８％、両目で９５％の確率で目の検出を行
うことができ、顔の動きに合わせて目の位置の追跡が可
能となった。そしてこの実施形態の目位置追跡方法は、
目の位置を利用してコンピュータの入力手段を構成した
り、自動車運転時の自動居眠り検知装置や、自動視線検
出装置、人の顔位置検出装置、さらに瞳孔計測装置等へ
も利用可能となる。
ほぼ片目で９８％、両目で９５％の確率で目の検出を行
うことができ、顔の動きに合わせて目の位置の追跡が可
能となった。そしてこの実施形態の目位置追跡方法は、
目の位置を利用してコンピュータの入力手段を構成した
り、自動車運転時の自動居眠り検知装置や、自動視線検
出装置、人の顔位置検出装置、さらに瞳孔計測装置等へ
も利用可能となる。
【００１８】
【発明の効果】この発明の目位置追跡方法は、カメラと
コンピュータを用いて顔画像の中から簡単に目位置を検
出することができ、検出のための処理が簡単であること
から、目位置の動きをリアルタイムで追跡することがで
きる。
コンピュータを用いて顔画像の中から簡単に目位置を検
出することができ、検出のための処理が簡単であること
から、目位置の動きをリアルタイムで追跡することがで
きる。
【００１９】この発明のテンプレートを十字形状にする
ことにより、顔の回転にも対応することができる。ま
た、テンプレートの縦方向の長さが横方向の長さよりも
わずかに短いので、目の細い人や瞼がやや下がった状態
でも目位置を検知することができる。
ことにより、顔の回転にも対応することができる。ま
た、テンプレートの縦方向の長さが横方向の長さよりも
わずかに短いので、目の細い人や瞼がやや下がった状態
でも目位置を検知することができる。
【００２０】さらに、テンプレートにより目の虹彩と他
の部分との画像の明暗を比較する際に、その位置の上下
の部分の画像情報の中の眉による暗部の有無をもって虹
彩の位置を判断することにより、より高精度に目位置を
検出することができる。また、目の位置を検出する際
に、最初に検出した目の位置により、他方の目の位置を
推測して、他方の目があるべき位置の周辺を部分的にス
キャンすることにより、処理画像データの情報量を削減
することができ、処理速度を上げることができる。これ
により、より正確にリアルタイムでの目位置検出、追跡
が可能となり、コンピュータの負担が軽減される。
の部分との画像の明暗を比較する際に、その位置の上下
の部分の画像情報の中の眉による暗部の有無をもって虹
彩の位置を判断することにより、より高精度に目位置を
検出することができる。また、目の位置を検出する際
に、最初に検出した目の位置により、他方の目の位置を
推測して、他方の目があるべき位置の周辺を部分的にス
キャンすることにより、処理画像データの情報量を削減
することができ、処理速度を上げることができる。これ
により、より正確にリアルタイムでの目位置検出、追跡
が可能となり、コンピュータの負担が軽減される。
【図１】この発明の一実施形態の測定システムの概略図
である。
である。
【図２】この発明の一実施形態に用いた残差逐次検出法
を示す概念図である。
を示す概念図である。
【図３】この発明の一実施形態のテンプレートを示す図
である。
である。
【図４】この発明の一実施形態のテンプレートに対して
顔画像の目が回転した状態を示す図である。
顔画像の目が回転した状態を示す図である。
【図５】この発明の一実施形態のテンプレートに対して
顔画像の目が拡大縮小した状態を示す図である。
顔画像の目が拡大縮小した状態を示す図である。
【図６】この発明の一実施形態のテンプレートとともに
眉の有無および眉と目の間と目の下を検知する状態を説
明した概略図である。
眉の有無および眉と目の間と目の下を検知する状態を説
明した概略図である。
【図７】この発明の一実施形態のテンプレートを用いて
目位置を検知するための顔画像のスキャンを説明した概
略図である。
目位置を検知するための顔画像のスキャンを説明した概
略図である。
【図８】この発明の一実施形態の目位置追跡方法の処理
を示す概略フローチャートである。
を示す概略フローチャートである。
１０ ビデオカメラ
１２ ランプ
１３ オートアイリスレンズ
１４ コンピュータ
１６ テンプレート
２０ 目
２２ 虹彩
２４ 眉
２５ 顔位置
フロントページの続き
(72)発明者 中村 清実
富山県射水郡小杉町太閤山９−３−１ 県
大公舎324号
(72)発明者 牧野 武志
富山県婦負郡婦中町速星841−３
(72)発明者 坂井 孝光
愛知県額田郡幸田町深溝桶口15−９
Ｆターム(参考） 5B057 BA02 CE12 DA07 DB02 DB09
DC05
5L096 AA06 EA43 FA54 FA62 FA69
GA10 GA51
Claims (5)
- 【請求項１】 動く画像を捕らえるカメラと、このカメ
ラにより撮像した画像を所定周期で記憶する記憶装置
と、上記カメラにより撮像した人の顔の目の位置を認識
する目位置認識手段を設け、人の目の位置を追跡する目
位置追跡方法において、上記目位置認識手段は、上記カ
メラで捕らえた人の顔の画像情報を、人の目の虹彩の大
きさの範囲内に入るテンプレートと比較しながらスキャ
ンし、目の虹彩部分と顔の他の部分との画像の明暗を検
知して、上記記憶装置の記憶周期毎に人の目の位置を検
出し追跡することを特徴とする目位置追跡方法。 - 【請求項２】 上記画像はディジタル化して上記記憶装
置に記憶し、上記スキャンは撮像した顔の下方から順に
行うことを特徴とする請求項１記載の目位置追跡方法。 - 【請求項３】 上記テンプレートは、十字形状に形成さ
れ、縦方向の長さが横方向の長さよりもわずかに短いこ
とを特徴とする請求項１または２記載の目位置追跡方
法。 - 【請求項４】 上記テンプレートにより目の虹彩と他の
部分との画像の明暗を比較する際に、その位置の上下の
部分の画像情報を参照し、眉による暗部の有無をもって
虹彩の位置を判断することを特徴とする請求項１，２ま
たは３記載の目位置追跡方法。 - 【請求項５】 目の位置を検出する際に、最初に検出し
た目の位置により、他方の目の位置を推測して、他方の
目があるべき位置の周辺を部分的にスキャンすることを
特徴とする請求項２記載の目位置追跡方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001350962A JP2003150942A (ja) | 2001-11-16 | 2001-11-16 | 目位置追跡方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001350962A JP2003150942A (ja) | 2001-11-16 | 2001-11-16 | 目位置追跡方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003150942A true JP2003150942A (ja) | 2003-05-23 |
Family
ID=19163353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001350962A Pending JP2003150942A (ja) | 2001-11-16 | 2001-11-16 | 目位置追跡方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003150942A (ja) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006055388A (ja) * | 2004-08-20 | 2006-03-02 | Toyama Prefecture | 遠隔介護支援システム |
| US7761453B2 (en) | 2005-01-26 | 2010-07-20 | Honeywell International Inc. | Method and system for indexing and searching an iris image database |
| EP2286586A2 (en) * | 2008-05-12 | 2011-02-23 | Microsoft Corporation | Gaze accurate video conferencing |
| US7933507B2 (en) | 2006-03-03 | 2011-04-26 | Honeywell International Inc. | Single lens splitter camera |
| US8045764B2 (en) | 2005-01-26 | 2011-10-25 | Honeywell International Inc. | Expedient encoding system |
| US8049812B2 (en) | 2006-03-03 | 2011-11-01 | Honeywell International Inc. | Camera with auto focus capability |
| US8050463B2 (en) | 2005-01-26 | 2011-11-01 | Honeywell International Inc. | Iris recognition system having image quality metrics |
| US8064647B2 (en) | 2006-03-03 | 2011-11-22 | Honeywell International Inc. | System for iris detection tracking and recognition at a distance |
| US8063889B2 (en) | 2007-04-25 | 2011-11-22 | Honeywell International Inc. | Biometric data collection system |
| US8085993B2 (en) | 2006-03-03 | 2011-12-27 | Honeywell International Inc. | Modular biometrics collection system architecture |
| US8090157B2 (en) | 2005-01-26 | 2012-01-03 | Honeywell International Inc. | Approaches and apparatus for eye detection in a digital image |
| US8090246B2 (en) | 2008-08-08 | 2012-01-03 | Honeywell International Inc. | Image acquisition system |
| US8098901B2 (en) | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
| US8213782B2 (en) | 2008-08-07 | 2012-07-03 | Honeywell International Inc. | Predictive autofocusing system |
| US8280119B2 (en) | 2008-12-05 | 2012-10-02 | Honeywell International Inc. | Iris recognition system using quality metrics |
| US8285005B2 (en) | 2005-01-26 | 2012-10-09 | Honeywell International Inc. | Distance iris recognition |
| US8436907B2 (en) | 2008-05-09 | 2013-05-07 | Honeywell International Inc. | Heterogeneous video capturing system |
| US8442276B2 (en) | 2006-03-03 | 2013-05-14 | Honeywell International Inc. | Invariant radial iris segmentation |
| US8472681B2 (en) | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
| US8630464B2 (en) | 2009-06-15 | 2014-01-14 | Honeywell International Inc. | Adaptive iris matching using database indexing |
| US8705808B2 (en) | 2003-09-05 | 2014-04-22 | Honeywell International Inc. | Combined face and iris recognition system |
| US8742887B2 (en) | 2010-09-03 | 2014-06-03 | Honeywell International Inc. | Biometric visitor check system |
| JP2021077082A (ja) * | 2019-11-08 | 2021-05-20 | Kddi株式会社 | 物体追跡装置及び方法 |
-
2001
- 2001-11-16 JP JP2001350962A patent/JP2003150942A/ja active Pending
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8705808B2 (en) | 2003-09-05 | 2014-04-22 | Honeywell International Inc. | Combined face and iris recognition system |
| JP2006055388A (ja) * | 2004-08-20 | 2006-03-02 | Toyama Prefecture | 遠隔介護支援システム |
| US8285005B2 (en) | 2005-01-26 | 2012-10-09 | Honeywell International Inc. | Distance iris recognition |
| US8098901B2 (en) | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
| US8045764B2 (en) | 2005-01-26 | 2011-10-25 | Honeywell International Inc. | Expedient encoding system |
| US8488846B2 (en) | 2005-01-26 | 2013-07-16 | Honeywell International Inc. | Expedient encoding system |
| US8050463B2 (en) | 2005-01-26 | 2011-11-01 | Honeywell International Inc. | Iris recognition system having image quality metrics |
| US7761453B2 (en) | 2005-01-26 | 2010-07-20 | Honeywell International Inc. | Method and system for indexing and searching an iris image database |
| US8090157B2 (en) | 2005-01-26 | 2012-01-03 | Honeywell International Inc. | Approaches and apparatus for eye detection in a digital image |
| US8085993B2 (en) | 2006-03-03 | 2011-12-27 | Honeywell International Inc. | Modular biometrics collection system architecture |
| US8064647B2 (en) | 2006-03-03 | 2011-11-22 | Honeywell International Inc. | System for iris detection tracking and recognition at a distance |
| US8442276B2 (en) | 2006-03-03 | 2013-05-14 | Honeywell International Inc. | Invariant radial iris segmentation |
| US8049812B2 (en) | 2006-03-03 | 2011-11-01 | Honeywell International Inc. | Camera with auto focus capability |
| US8761458B2 (en) | 2006-03-03 | 2014-06-24 | Honeywell International Inc. | System for iris detection, tracking and recognition at a distance |
| US7933507B2 (en) | 2006-03-03 | 2011-04-26 | Honeywell International Inc. | Single lens splitter camera |
| US8063889B2 (en) | 2007-04-25 | 2011-11-22 | Honeywell International Inc. | Biometric data collection system |
| US8436907B2 (en) | 2008-05-09 | 2013-05-07 | Honeywell International Inc. | Heterogeneous video capturing system |
| US8643691B2 (en) | 2008-05-12 | 2014-02-04 | Microsoft Corporation | Gaze accurate video conferencing |
| EP2286586A2 (en) * | 2008-05-12 | 2011-02-23 | Microsoft Corporation | Gaze accurate video conferencing |
| EP2286586A4 (en) * | 2008-05-12 | 2013-11-06 | Microsoft Corp | VISIOCONFERENCE WITH PRECISE LOOK |
| US8213782B2 (en) | 2008-08-07 | 2012-07-03 | Honeywell International Inc. | Predictive autofocusing system |
| US8090246B2 (en) | 2008-08-08 | 2012-01-03 | Honeywell International Inc. | Image acquisition system |
| US8280119B2 (en) | 2008-12-05 | 2012-10-02 | Honeywell International Inc. | Iris recognition system using quality metrics |
| US8630464B2 (en) | 2009-06-15 | 2014-01-14 | Honeywell International Inc. | Adaptive iris matching using database indexing |
| US8472681B2 (en) | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
| US8742887B2 (en) | 2010-09-03 | 2014-06-03 | Honeywell International Inc. | Biometric visitor check system |
| JP2021077082A (ja) * | 2019-11-08 | 2021-05-20 | Kddi株式会社 | 物体追跡装置及び方法 |
| JP7365862B2 (ja) | 2019-11-08 | 2023-10-20 | Kddi株式会社 | 物体追跡装置及び方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003150942A (ja) | 目位置追跡方法 | |
| JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
| US7574021B2 (en) | Iris recognition for a secure facility | |
| US20050084179A1 (en) | Method and apparatus for performing iris recognition from an image | |
| JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| US6134339A (en) | Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame | |
| US8836777B2 (en) | Automatic detection of vertical gaze using an embedded imaging device | |
| JP4469476B2 (ja) | 眼位置検出方法および眼位置検出装置 | |
| JP4743823B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| US20160379042A1 (en) | Apparatuses, systems, and methods for confirming identity | |
| JP5127531B2 (ja) | 画像監視装置 | |
| JP2000259814A (ja) | 画像処理装置及びその方法 | |
| JP5661043B2 (ja) | 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法 | |
| JP5001930B2 (ja) | 動作認識装置及び方法 | |
| KR101775874B1 (ko) | 깊이정보 기반의 안면인식 자동차제어방법 | |
| US7460705B2 (en) | Head-top detecting method, head-top detecting system and a head-top detecting program for a human face | |
| EP1703480A2 (en) | System and method to determine awareness | |
| JP2024042707A (ja) | 端末、方法、及びプログラム | |
| JP4082203B2 (ja) | 開閉眼判定装置 | |
| Hanna et al. | A System for Non-Intrusive Human Iris Acquisition and Identification. | |
| JP3980464B2 (ja) | 鼻位置の抽出方法、およびコンピュータに当該鼻位置の抽出方法を実行させるためのプログラムならびに鼻位置抽出装置 | |
| CN112971712A (zh) | 生物体信息取得装置、终端装置、取得方法、记录介质 | |
| WO2020259603A1 (zh) | 图像处理装置及图像处理方法 | |
| US20210174068A1 (en) | Live facial recognition system and method | |
| JP4543810B2 (ja) | 鼻検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060518 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060920 |