JP2004341953A - 顔部位追跡装置 - Google Patents
顔部位追跡装置 Download PDFInfo
- Publication number
- JP2004341953A JP2004341953A JP2003139406A JP2003139406A JP2004341953A JP 2004341953 A JP2004341953 A JP 2004341953A JP 2003139406 A JP2003139406 A JP 2003139406A JP 2003139406 A JP2003139406 A JP 2003139406A JP 2004341953 A JP2004341953 A JP 2004341953A
- Authority
- JP
- Japan
- Prior art keywords
- face part
- search area
- face
- image
- reference face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】複数の顔部位の追跡に際し、処理時間及び検出精度の面で向上を図ることが可能な顔部位追跡装置を提供する。
【解決手段】この顔部位追跡装置１は、撮像部１０、顔部位検出部２０、配置関係取得部３０及び顔部位追跡部４０を備える。まず、撮像部１０が被検出者の顔を撮像し、得られた撮像画像内から、顔部位検出部２０が基準顔部位と他顔部位とを検出する。また、この際に配置関係取得部３０は、各顔部位の配置関係情報を取得する。そして、顔部位追跡部４０は、これら情報に基づき基準顔部位追跡用の基準顔部位探査領域として設定し、基準顔部位探査領域内から基準顔部位の位置を検出する。次いで、顔部位追跡部４０は、基準顔部位の位置と配置関係情報とに基づいて撮像画像に対し他顔部位追跡用の他顔部位探査領域を設定し、他顔部位探査領域内から他顔部位の位置を検出する。
【選択図】 図１
【解決手段】この顔部位追跡装置１は、撮像部１０、顔部位検出部２０、配置関係取得部３０及び顔部位追跡部４０を備える。まず、撮像部１０が被検出者の顔を撮像し、得られた撮像画像内から、顔部位検出部２０が基準顔部位と他顔部位とを検出する。また、この際に配置関係取得部３０は、各顔部位の配置関係情報を取得する。そして、顔部位追跡部４０は、これら情報に基づき基準顔部位追跡用の基準顔部位探査領域として設定し、基準顔部位探査領域内から基準顔部位の位置を検出する。次いで、顔部位追跡部４０は、基準顔部位の位置と配置関係情報とに基づいて撮像画像に対し他顔部位追跡用の他顔部位探査領域を設定し、他顔部位探査領域内から他顔部位の位置を検出する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、顔部位追跡装置に関する。
【０００２】
【従来の技術】
従来、被検出者の顔を撮像して得られた撮像画像から、追跡の対象となる顔の部位（眼など）を検出し、顔部位を追跡していく顔部位追跡装置が知られている。この装置では、例えば、被検出者の顔の横幅から眼の存在領域の横方向位置を検出し、その後、所定の処理を行って眼の存在領域の縦方向位置を検出している（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開平０４−２４５０３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記装置では、撮像画像の全体から所望する顔部位の存在領域を決定しているため、以下の問題点を有する。すなわち、時系列的に入力される撮像画像に基づいて顔部位を追跡していく場合、撮像画像の全体に対して処理を行わなければならず、処理時間が長くなってしまう。また、検出した顔部位が追跡対象となる顔部位か否かを判別するための処理も行わなければならず、検出精度に不安がある。
【０００５】
そして、このような状況下、複数の顔部位を検出する場合には、上記処理時間及び検出精度の問題は一層顕著なものとなる。
【０００６】
【課題を解決するための手段】
本発明によれば、被検出者の顔部位の動きを追跡する顔部位追跡装置であって、撮像手段は、被検出者の顔を撮像して、複数の顔部位のうち基準となる基準顔部位及び基準顔部位以外の他顔部位を含む撮像画像を取得し、基準顔部位探査領域設定手段は、取得した撮像画像内に、所定の情報に基づいて、画像全体よりも狭くされた基準顔部位追跡用の基準顔部位探査領域を設定し、基準顔部位位置検出手段は、基準顔部位探査領域設定手段により設定された基準顔部位探査領域内から、基準顔部位の位置を検出し、他顔部位探査領域設定手段は、基準顔部位位置検出手段により検出された基準顔部位の位置と、各顔部位の相対位置を示す配置関係情報とに基づいて、撮像画像に対し、画像全体よりも狭くされた他顔部位追跡用の他顔部位探査領域を設定し、他顔部位位置検出手段は、他顔部位探査領域設定手段により設定された他顔部位探査領域内から、他顔部位の位置を検出する。
【０００７】
【発明の効果】
本発明によれば、所定の情報に基づいて、画像全体よりも狭くされた領域を基準顔部位追跡用の基準顔部位探査領域を設定している。また、他顔部位探査領域も画像全体より小さくされている。このため、これら探査領域の設定後においては、この領域内から顔部位を検出すればよく、画像全体から顔部位を検出する場合に比して、検出処理を迅速に行うことができる。
【０００８】
また、他顔部位探査領域は基準顔部位の位置と配置関係情報とに基づいて設定されている。このため、他顔部位のおおよその位置を含んだ他顔部位探査領域を設定でき、他顔部位が存在する可能性の高い領域を設定することができる。
【０００９】
従って、複数の顔部位の追跡に際し、処理時間及び検出精度の面で向上を図ることができる。
【００１０】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【００１１】
図１は、本発明の実施形態に係る顔部位追跡装置の構成を示す機能ブロック図である。同図に示すように、顔部位追跡装置１は、被検出者の顔を撮像し、得られた画像に基づいて、顔部位の動きを追跡するものであって、撮像部（撮像手段）１０を備えている。また、顔部位追跡装置１は、顔部位検出部２０と、配置関係取得部（配置関係取得手段）３０と、顔部位追跡部４０とを備えている。
【００１２】
撮像部１０は、被検出者の顔を撮像することにより、複数の顔部位のうち基準となる基準顔部位及び基準顔部位以外の他顔部位を含む撮像画像を取得するものである。また、撮像部１０は、入力した撮像画像のデータを、顔部位検出部２０及び顔部位追跡部４０に送出する構成とされている。
【００１３】
ここで、上記基準顔部位とは、被検出者の顔部位（眼や鼻や口など）のうちのいずれか１つの顔部位であり、後の処理の基準とされるものである。また、他顔部位は、基準顔部位以外の顔部位であって、例えば基準顔部位が左眼である場合の右眼や鼻や口などが該当する。
【００１４】
顔部位検出部２０は、入力した撮像画像の全体から複数の顔部位を検出するものである。また、顔部位検出部２０は、配置関係取得部３０及び顔部位追跡部４０に接続されており、検出した複数の顔部位の位置情報をこれらに送出する構成とされている。
【００１５】
配置関係取得部３０は、顔部位検出部２０等にて検出された複数の顔部位の位置に基づいて、配置関係情報を求めるものである。この配置関係情報とは、各顔部位の相対的位置を示すものである。より具体的には１の顔部位に対する他の顔部位の位置等を示すものであり、例えば、基準顔部位が左眼である場合に、左眼に対する右眼、鼻、口それぞれの位置を示すものである。
【００１６】
顔部位追跡部４０は、撮像部１０、顔部位検出部２０及び配置関係取得部３０からの信号に基づいて、複数の顔部位の動きを追跡するものである。この顔部位追跡部４０は、基準顔部位設定部４１と、顔部位探査領域設定部４２と、顔部位位置検出部４３とを備えている。
【００１７】
基準顔部位設定部４１は、複数の顔部位から基準顔部位を選定するものである。すなわち、ここで選定されたものが基準顔部位となり、選定されなかったものが他顔部位となる。また、基準顔部位設定部４１は、顔部位探査領域設定部４２に接続されており、選定した基準顔部位の情報をこれに送出する構成とされている。
【００１８】
顔部位探査領域設定部４２は、撮像画像に対し、画像全体よりも狭い顔部位探査領域を設定するものである。また、顔部位探査領域設定部４２は、顔部位位置検出部４３に接続されており、これに探査領域の情報を送出する構成とされている。
【００１９】
顔部位位置検出部４３は、顔部位探査領域設定部４２により設定された探査領域内から顔部位の位置を検出するものである。すなわち、顔部位位置検出部４３は、画像全体よりも狭く設定された領域内から顔部位を検出するものである。従って、顔部位位置検出部４３は、画像全体に対し顔部位を検出する顔部位検出部２０よりも、迅速に検出処理が行えるようになっている。
【００２０】
ここで、上記顔部位探査領域設定部４２は、基準顔部位探査領域設定部（基準顔部位探査領域設定手段）４２ａと、他顔部位探査領域設定部（他顔部位探査領域設定手段）４２ｂとを有している。
【００２１】
基準顔部位探査領域設定部４２ａは、所定の情報に基づいて、画像全体よりも狭くされた基準顔部位追跡用の基準顔部位探査領域を設定するものである。また、基準顔部位探査領域設定部４２ａは、基準顔部位探査領域の設定後、この領域情報を顔部位位置検出部４３に送出する構成とされている。
【００２２】
顔部位位置検出部４３は、基準顔部位位置検出部（基準顔部位位置検出手段）４３ａと、他顔部位位置検出部（他顔部位位置検出手段）４３ｂとを備えている。
【００２３】
基準顔部位位置検出部４３ａは、基準顔部位探査領域設定部４２ａにより設定された基準顔部位探査領域内から基準顔部位の位置を検出するものである。この基準顔部位位置検出部４３ａは、他顔部位探査領域設定部４２ｂに接続されており、検出した基準顔部位の位置の情報をこれに送出する構成とされている。
【００２４】
他顔部位探査領域設定部４２ｂは、基準顔部位位置検出部４３ａからの基準顔部位の位置の情報を入力するものである。また、これに加えて他顔部位探査領域設定部４２ｂは、配置関係取得部３０から配置関係情報を入力する構成とされている。
【００２５】
そして、他顔部位探査領域設定部４２ｂは、入力した情報、すなわち基準顔部位の位置と配置関係情報とに基づいて、撮像画像に対し、画像全体よりも狭くされた他顔部位追跡用の他顔部位探査領域を設定する。さらに、他顔部位探査領域設定部４２ｂは、設定後に、探査領域の情報を他顔部位位置検出部４３ｂに送出する構成とされている。
【００２６】
他顔部位位置検出部４３ｂは、他顔部位探査領域設定部４２ｂにより設定された他顔部位探査領域内から他顔部位の位置を検出するものである。ここで、上記他顔部位探査領域設定部４２ｂにより設定された他顔部位探査領域は、他顔部位が存在する可能性が高いものとして設定されている。
【００２７】
通常、被検出者の顔各部位の位置は、被検出者が顔の向きを変えることにより、撮像画像中において移動するが、相対位置（例えば眼に対する鼻の位置）はさほど変化しない。このため、複数の顔部位のうち１つでも位置が特定できれば、全ての顔部位の位置が特定できることとなる。
【００２８】
ここで、他顔部位探査領域の設定時点においては、既に基準顔部位の位置が検出されている。故に、被検出者が顔をどのように動かしたとしても、基準顔部位の位置が定まっているので、他顔部位のおおよその位置を決定することができる。すなわち、基準顔部位の位置と配置関係情報とに基づくことで、他顔部位のおおよその位置を含んだ他顔部位探査領域を設定できることとなる。よって、他顔部位探査領域は、他顔部位が存在する可能性が高いものとなる。
【００２９】
次に、顔部位追跡装置１の動作の概略について説明する。まず、顔部位追跡装置１は、取得した画像から複数の顔部位の位置を検出して、配置関係情報を求める。
【００３０】
すなわち、撮像部１０が被検出者の顔を撮像し、得られた画像データを顔部位検出部２０に送信する。これを受けた顔部位検出部２０は、画像全体から複数の顔部位の位置を検出する。そして、顔部位検出部２０は、検出した複数の顔部位の位置情報を配置関係取得部３０に送出する。
【００３１】
位置情報を受けた配置関係取得部３０は、検出された複数の顔部位の位置に基づいて、配置関係情報を求める。この際、配置関係取得部３０は、配置関係情報として、複数の顔部位のうち１の顔部位とこれ以外の顔部位との画像縦方向距離及び横方向距離を求める。さらに、配置関係取得部３０は、画像上において、１の顔部位から当該１の顔部位以外の顔部位へ向かう方向を求める。
【００３２】
また、配置関係取得部３０は、上記に限らず、画像上において１の顔部位と当該１の顔部位以外の顔部位とを結ぶ線分の長さを求め、この線分と画像所定方向との角度を求めるようにしてもよい。
【００３３】
そして、配置関係取得部３０は、配置関係情報を顔部位追跡部４０に送出する。
【００３４】
次に、顔部位検出装置１は、上記処理の後に、新たに撮像部１０によって撮像された画像に対して顔部位の追跡を行っていく。
【００３５】
すなわち、撮像部１０が撮像画像を取得し、画像データを顔部位追跡部４０に送信する。これを受けた顔部位追跡部４０の基準顔部位設定部４１は、例えば顔部位検出部２０等により検出された各顔部位の位置などに基づいて、基準顔部位を選定する。そして、選定した基準顔部位の情報を顔部位探査領域設定部４２の基準顔部位探査領域設定部４２ａに送出する。
【００３６】
基準顔部位探査領域設定部４２ａは、画像全体よりも狭くされた基準顔部位追跡用の基準顔部位探査領域を設定する。このとき、基準顔部位探査領域設定部４２ａは、所定の情報に基づいて基準顔部位探査領域を設定する。ここで、所定の情報とは、過去に撮像画像から検出された基準顔部位の位置の情報である。すなわち、基準顔部位探査領域設定部４２ａは、例えば、前撮像画像以前の撮像画像における基準顔部位の位置を元に領域を定義し、この定義した領域を前記基準顔部位探査領域として設定する。なお、前撮像画像とは、前回の撮像処理により得られた撮像画像をいう。
【００３７】
また、所定の情報は、過去に取得された２以上の撮像画像から求まる基準顔部位の移動量であってもよい。すなわち、基準顔部位探査領域設定部４２ａは、例えば、過去の撮像された２以上の撮像画像を解析し、基準顔部位の移動量を求める。そして、この移動量に基づく位置を中心位置として基準顔部位探査領域を設定する。
【００３８】
さらに、基準顔部位探査領域の大きさは、例えば、被検出者が顔の向きを変えたときに、サンプリング時間中に基準顔部位が移動する移動量に基づいて、決定される。このサンプリング時間は、本装置１の撮像速度や画像処理速度等に依存するものであり、例えば１／３０秒程度である。
【００３９】
基準顔部位探査領域の設定後、基準顔部位探査領域設定部４２ａは、基準顔部位探査領域の情報を顔部位位置検出部４３の基準顔部位位置検出部４３ａに送出する。
【００４０】
領域の情報を受けた基準顔部位位置検出部４３ａは、設定された基準顔部位探査領域内から基準顔部位の位置を検出する。この検出は、例えば濃度値等の情報に基づいてなされる。そして、検出後、基準顔部位位置検出部４３ａは、基準顔部位の位置情報を他顔部位探査領域設定部４２ｂに送出する。
【００４１】
基準顔部位の位置情報を受けた他顔部位探査領域設定部４２ｂは、検出した基準顔部位の位置と配置関係情報とに基づいて、撮像画像に対し、画像全体よりも狭くされた他顔部位追跡用の他顔部位探査領域を設定する。そして、他顔部位探査領域の設定後、他顔部位探査領域設定部４２ｂは、設定した領域の情報を他顔部位位置検出部４３ｂに送出する。
【００４２】
そして、他顔部位位置検出部４３ｂは、他顔部位探査領域内から他顔部位の位置を検出する。以後、本装置１は、撮像画像毎に上記位置検出を繰り返し、複数の顔部位を追跡していく。
【００４３】
ここで、上記他顔部位探査領域の大きさは、基準顔部位探査領域以下の大きさとされることが望ましい。これは以下の理由による。
【００４４】
基準顔部位探査領域は、過去の撮像画像における基準顔部位の位置等に基づいて設定されるものである。このため、過去から現在にかけて被検出者が顔を動かした場合には、過去の基準顔部位の位置に基づく基準顔部位探査領域内には、現時刻において基準顔部位が存在しないことがあり得る。従って、基準顔部位は、被検出者の顔の移動を考慮して、或る程度の大きさにしておく必要がある。
【００４５】
一方、他顔部位探査領域は、上述のように、現撮像画像から検出された基準顔部位の位置に基づいて設定される。すなわち、他顔部位探査領域は、現在の情報に基づいて設定されるものであり、時間的な影響を受けないものといえる。そして、時間的影響を受けないことから、当然に過去から現在にかけて被検出者が顔を動かした場合にも何ら影響がないこととなる。
【００４６】
故に、他顔部位探査領域は、被検出者が顔の動きを考慮する必要がない分だけ、基準顔部位探査領域よりも狭くすることが可能である。そして、本実施形態では、他顔部位探査領域の大きさを基準顔部位探査領域以下の大きさとすることで、処理速度の向上を図っている。
【００４７】
なお、本装置１は、自動車、鉄道車両、船舶の被検出者やプラントのオペレータ等の顔部位追跡に用いることができるが、以下の説明においては、自動車の被検出者の顔部位追跡に適用した場合で説明する。また、以下の説明では、基準顔部位を被検出者の左眼とし、他顔部位を右眼として説明するが、これに限らず、基準顔部位及び他顔部位は眉、鼻、口、耳などであっても構わない。また、他顔部位は１つでなく複数であっても構わない。
【００４８】
図２は、本発明の実施形態に係る顔部位追跡装置の示すハード構成図である。同図に示すように、撮像部１０としてＴＶカメラ２が自動車のインストルメント上に設けられている。
【００４９】
ＴＶカメラ２は、被検出者を略正面から撮像できる位置に設置されており、少なくとも被検出者の顔部分を撮影するようにされている。このＴＶカメラ２の入力画像は、本実施形態では、例えば横方向（Ｘ）６４０画素、縦方向（Ｙ）４８０画素からなる。
【００５０】
前記ＴＶカメラ２で撮像された入力画像は、インストルメント裏側など車体内部に設置されたマイクロコンピュータ３に画像データとして入力される。
【００５１】
マイクロコンピュータ３には、顔部位検出部２０、配置関係取得部３０及び顔部位追跡部４０を構成するプログラムロジックがプログラミングされている。なお、顔部位追跡部４０のプログラムロジックは、基準顔部位設定部４１、顔部位探査領域設定部４２及び顔部位位置検出部４３のそれぞれのロジックを含むものである。
【００５２】
また、顔部位探査領域設定部４２のプログラムロジックは、基準顔部位探査領域設定部４２ａ、及び他顔部位探査領域設定部４２ｂのロジックを含んでいる。さらに、顔部位位置検出部４３のプログラムロジックは、基準顔部位位置検出部４３ａ、及び他顔部位位置検出部４３ｂのロジックを含んでいる。
【００５３】
次に、本実施形態に係る顔部位追跡装置１の動作について説明する。図３は、本実施形態に係る顔部位追跡装置１の動作の概略を示すメインフローチャートである。同図に示すように、まず、処理が開始されると、マイクロコンピュータ３は、初期値入力処理を実行する（ＳＴ１）。この初期値入力の処理では、サンプリング時間などの各種定数が読み込まれる。
【００５４】
そして、マイクロコンピュータ３は、全ての顔部位が見つかっているか否かを示す顔部位検出フラグ「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定する（ＳＴ２）。その後、マイクロコンピュータ３は、処理フレームカウンタ「ｉ」を「０」に初期化する（ＳＴ３）。
【００５５】
初期化後、マイクロコンピュータ３は、終了判断処理を実行する（ＳＴ４）。この際、マイクロコンピュータ３は、例えばエンジンが起動しているか等に基づいて判断を行う。
【００５６】
そして、マイクロコンピュータ３は、「ＳＴＯＰ」か否かを判断する（ＳＴ５）。例えばエンジンが起動されていないと判断した場合、マイクロコンピュータ３は、「ＳＴＯＰ」であると判断し（ＳＴ５：ＹＥＳ）、処理は終了することとなる。
【００５７】
一方、エンジンが起動され走行しているなどにより、「ＳＴＯＰ」でないと判断した場合（ＳＴ５：ＮＯ）、マイクロコンピュータ３は、顔画像の撮像処理を実行する（ＳＴ６）。これにより、ＴＶカメラ２は、被検出者の顔を撮像する。
【００５８】
その後、マイクロコンピュータ３は、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」か否かを判断する（ＳＴ７）。すなわち、全ての顔部位が見つかっているか否かを判断する。
【００５９】
顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」であり、いずれかの顔部位が見つかっていないと判断した場合（ＳＴ７：ＹＥＳ）、マイクロコンピュータ３は、顔部位検出処理を実行する（ＳＴ８）。このステップＳＴ８の処理は、主として、図１にて説明した顔部位検出部２０にて行われる処理である。すなわち、マイクロコンピュータ３は、顔部位検出部２０に相当するプログラムを実行することとなる。なお、この処理において、全ての顔部位が見つけられた場合には、後述するが、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」とされることとなる。
【００６０】
顔部位検出処理の実行後、マイクロコンピュータ３は、処理フレームカウンタ「ｉ」をインクリメントする（ＳＴ９）。そして、処理は、ステップＳＴ４に戻る。
【００６１】
その後、上記したステップＳＴ４〜ＳＴ６を経て、ステップＳＴ７に至る。このとき、前述の顔部位検出処理（ＳＴ８）において、全ての顔部位が見つけられていた場合には、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」となっている。
【００６２】
このため、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」でないと判断されて（ＳＴ７：ＮＯ）、マイクロコンピュータ３は追跡処理を実行する（ＳＴ１０）。このステップＳＴ１０の処理は、主として図１にて説明した顔部位追跡部４０にて行われる処理である。すなわち、マイクロコンピュータ３は、顔部位追跡部４０に相当するプログラムを実行する。そして、顔部位の追跡が行われる。
【００６３】
その後、処理はステップＳＴ９に移行し、処理フレームカウンタをインクリメント後、再度処理はステップＳＴ４に戻る。以上の処理が、ステップＳＴ５にて「ＹＥＳ」と判断されるまで繰り返されることとなる。
【００６４】
なお、図１を参照して説明したように、顔部位検出部２０は、撮像画像全体に対して処理を行い、複数の顔部位を検出する。一方、顔部位追跡部４０は、撮像画像に領域を設定し、その領域内から基準顔部位又は他顔部位を検出していくようにしている。
【００６５】
このため、本装置１は、少なくとも一度は画像全体に対して処理を行うものの、その後は画像の一部に対して処理を行うこととなり、常に画像全体に処理を行う装置に比して、迅速な処理を行うことができる。
【００６６】
次に、顔部位検出処理（ＳＴ８）の詳細な動作について説明する。図４は、図３に示した顔部位検出処理（ＳＴ８）の詳細な動作を示すフローチャートである。
【００６７】
同図に示すように、ステップＳＴ７にて「ＹＥＳ」と判断された場合、マイクロコンピュータ３は、顔部位である可能性を有する候補の位置の特定処理を実行する（ＳＴ１１）。この処理により、画像全体から候補の位置が１又は複数特定される。具体的には、画像全体から左眼及び右眼である可能性を有する候補の位置が１又は複数特定される。
【００６８】
その後、マイクロコンピュータ３は、候補の選定処理を行う（ＳＴ１２）。この処理は、ステップＳＴ１１において選定された１又は複数の候補のうち、後述のステップＳＴ１４における判定の対象となるものを選定する処理である。
【００６９】
一方、この処理により選定されなかったものは、判定の対象から除外されることとなる。例えば、既に左眼であることがわかっている候補については判定を行う必要がない。このため、本処理では、上記特定された候補のうち、顔部位であることが明らかなものについて除外している。
【００７０】
従って、本装置１の起動時には、左眼又は右眼であることが明らかな候補がないものの、処理が行われ左眼又は右眼が特定されると、その候補は除外されていくこととなる。
【００７１】
その後、マイクロコンピュータ３は、判定する顔部位の設定処理を行う（ＳＴ１３）。すなわち、マイクロコンピュータ３は、左眼と右眼とのうち先に特定するものを選択し、選択した左眼又は右眼の判定用パラメータを設定する。
【００７２】
設定処理終了後、マイクロコンピュータ３は、顔部位判定処理を実行する（ＳＴ１４）。すなわち、ステップＳＴ１１により特定された候補であって、且つステップＳＴ１２にて除外されなかったもののうち１つを対象とし、その１つがステップＳＴ１３にて選択された所望する顔部位であるか否かを判断する。
【００７３】
その後、マイクロコンピュータ３は、顔部位判定処理（ＳＴ１４）の結果に基づいて候補が所望する顔部位であったと判定されたか否かを判断する（ＳＴ１５）。
【００７４】
所望する顔部位であったと判定されていなかった場合（ＳＴ１５：ＮＯ）、マイクロコンピュータ３は、ステップＳＴ１１にて特定され及びステップＳＴ１２において除外されなかった候補のすべてについて判定したか否かを判断する（ＳＴ１９）。
【００７５】
すべてについて判定した場合（ＳＴ１９：ＹＥＳ）、処理は図３のステップＳＴ９に移行する。一方、すべてに対して判定していない場合（ＳＴ１９：ＮＯ）、処理はステップＳＴ１４に戻る。
【００７６】
そして、マイクロコンピュータ３は、ステップＳＴ１４にて、他の候補を選択し、再度、選択した候補が所望する顔部位であるか否かを判断する。
【００７７】
ところで、ステップＳＴ１５において、所望する顔部位であると判定されていた場合（ＳＴ１５：ＹＥＳ）、マイクロコンピュータ３は、検出対象となる顔部位のすべてを判定し終えたか否かを判断する（ＳＴ１６）。すなわち、左眼及び右眼の双方について候補との判定し終えたか否かを判定する。
【００７８】
すべての検出対象について判定し終えていないと判断した場合（ＳＴ１６：ＮＯ）、処理はステップＳＴ１２に戻る。一方、すべてを判定し終えたと判断した場合（ＳＴ１６：ＹＥＳ）、マイクロコンピュータ３は、顔部位検出フラグ「ＧｅｔＦｌａｇ」を「ＴＲＵＥ」にする（ＳＴ１７）。
【００７９】
その後、マイクロコンピュータ３は、各顔部位の位置関係の取得処理を行う（ＳＴ１８）。すなわち、配置関係情報を取得する。なお、このステップＳＴ１８の処理は、図１にて説明した配置関係取得部３０にて行われる処理である。すなわち、マイクロコンピュータ３は、配置関係取得部３０に相当するプログラムを実行することとなる。そして、処理は図３のステップＳＴ９に移行する。
【００８０】
ここで、全ての顔部位、特に２つ以上の顔部位が見つかっていない場合には、配置関係情報を求めることができない。このため、マイクロコンピュータ３は、ステップＳＴ１８において他の処理を行う。例えば、配置関係情報を求めず、「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定する処理などである。
【００８１】
以上のようにして、本装置１では、顔部位である可能性を有する１又は複数の候補を特定し、特定された１又は複数の候補を１つずつ判定して被検出者の複数の顔部位を検出している。なお、顔部位である可能性を有する候補を特定する処理（ステップＳＴ１１の処理）は、以下のようにして行われる。
【００８２】
図５は、図４に示した候補位置特定処理（ＳＴ１１）の詳細を示すフローチャートである。同図において、まず、マイクロコンピュータ３は、撮像した画像のデータ全体を、全体画像として画像メモリに保存する（ＳＴ２１）。
【００８３】
次に、マイクロコンピュータ３は、ステップＳＴ２２の判断を行う。この判断については後述する。ステップＳＴ２２において「ＮＯ」と判断された場合、マイクロコンピュータ３は、全体画像の縦方向（Ｙ軸方向）の画素列のうち１ラインのみに沿って濃度値の相加平均演算を行う（ＳＴ２３）。
【００８４】
この相加平均演算は、例えば縦方向に並ぶ所定数の画素について、濃度の平均値を求め、所定数の画素のうちの１画素の濃度値を前記平均値とする処理である。例えば、所定数が「５」である場合、画面上方から１〜５番目に位置する画素を選択して平均値を求め、この平均値を５番目の画素の濃度値とする。次に、画面上方から２〜６番目に位置する画素を選択して平均値を求め、この平均値を６番目の画素の濃度値とする。そして、これを順次繰り返し、１ラインすべての画素について濃度の平均値を求める。
【００８５】
このように相加平均演算することで、本装置１は、画像データ撮影時の濃度値の変化の小さなバラツキを無くすことができ、濃度値の大局的な変化を捉えることができる。
【００８６】
相加平均演算後、マイクロコンピュータ３は、縦方向に相加平均値の微分演算を行う（ＳＴ２４）。そして、マイクロコンピュータ３は、微分値に基づいてポイント抽出を行う（ＳＴ２５）。このポイント抽出とは、縦方向の画素列に沿って画素濃度の相加平均値の局所的な高まり毎に１個ずつの画素を定める処理であって、例えば相加平均値の微分値が負から正に変化する画素を定める処理である。
【００８７】
ポイントとなる画素を定めた後、マイクロコンピュータ３は、現在ポイント抽出していたラインを次ラインへ切り替える（ＳＴ２６）。
【００８８】
そして、マイクロコンピュータ３は、縦方向の全ラインでのポイント抽出が終了したか否かを判断する（ＳＴ２２）。全ラインでのポイント抽出が終了していないと判断した場合（ＳＴ２２：ＮＯ）、前述のステップＳＴ２３〜ＳＴ２６の処理を経て、再度ステップＳＴ２２に戻る。
【００８９】
一方、全ラインでのポイント抽出が終了したと判断した場合（ＳＴ２２：ＹＥＳ）、隣り合う各ラインの抽出ポイントのＹ座標値を比較する。そして、Ｙ座標値が所定値以内の場合、連続データとして、（ｉ）連続データのグループ番号、（ｉｉ）連続開始ライン番号、及び（ｉｉｉ）連続データ数をメモリする。また、（ｉｖ）連続データを構成する各抽出ポイントの縦方向位置の平均値（その連続データの代表上下位置）、及び（ｖ）連続開始ラインと終了ラインの横方向位置の平均値（その連続データの代表左右位置）をメモリする（ＳＴ２７）。
【００９０】
なお、本実施形態では、顔部位を眼としているため、連続データは横方向比較的長く延びるものとなる。このため、マイクロコンピュータ３は、連続データ形成後、横方向に所定値以上続くことを条件に連続データを選択することができる。
【００９１】
その後、マイクロコンピュータ３は、各連続データについて代表座標値Ｃを定め、これを基準として存在領域ＥＡを設定する（ＳＴ２８）。この代表座標値Ｃとは、ステップＳＴ２７の処理において、メモリされたＸ座標値の平均値及びＹ座標値の平均値により決定するものである（上記ｉｖ，ｖに示す平均値）。なお、存在領域ＥＡについては、図６〜図１０を参照して後述する。
【００９２】
代表座標値Ｃを定めて存在領域ＥＡを設定した後、処理は、図４のステップＳＴ１２に移行する。以上が、顔部位の候補位置特定処理（ＳＴ１１）である。以上のようにして、求められた連続データが候補となり、連続データの代表座標値Ｃが候補の位置（候補点）となる。
【００９３】
なお、上記処理の詳細は、特開平１０−４０３６１号公報、及び特開平１０−１４３６６９号公報にも記載されている。
【００９４】
次に、縦方向の画素列ごとに定められた抽出ポイントが画像横方向に隣接する場合に形成される連続データ、その連続データの代表座標値Ｃ及び存在領域ＥＡについて説明する。
【００９５】
図６は、図５に示したステップＳＴ２７の処理にて形成される連続データ、並びにステップＳＴ２８の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。なお、顔部位候補位置特定処理（ＳＴ１１）は、１又は複数の顔部位候補を特定するものであるが、図６では複数の顔部位候補が特定された場合を例に説明する。
【００９６】
同図に示すように、マイクロコンピュータ３は、複数の連続データＧを形成している。これは、眼を検出対象としているため、眼と似た特徴量を示すもの（口、鼻、眉毛など）が検出されるためである。
【００９７】
連続データＧは、前述したように、縦方向の画素列ごとに定められた抽出ポイントが画像横方向に隣接する場合に形成されるものである。そして、この連続データを形成する横方向両端の画素のＸ座標値の平均値と、連続データを形成する各画素のＹ座標値の平均値により、代表座標値Ｃが決定される。さらに、存在領域ＥＡは、この代表座標値Ｃを基準として設定される。
【００９８】
次に、存在領域ＥＡの設定方法を説明する。図７は、図６に示した存在領域ＥＡの大きさを示す説明図であり、図８及び図９は数人の眼の大きさを調べた横Ｘａ、縦Ｙａの長さの統計データを示す説明図であり、図１０は存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。
【００９９】
存在領域ＥＡの設定は、存在領域ＥＡの大きさが決定され、その後、存在領域ＥＡの画像上における位置が定められることでなされる。
存在領域ＥＡの大きさは、ノイズ（顔の皺や明暗などを抽出してしまう）の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。本実施形態では、数人の顔部位の大きさを調べ、それに余裕分（例えば×１．５倍）を加味して、存在領域ＥＡの大きさを決定している。すなわち、図８及び図９のように、顔部位の縦横寸法のデータを集め、その分布の例えば９５％をカバーする寸法に余裕分を考慮して決定する方法を採用している。
【０１００】
そして上記９５％をカバーする寸法、すなわち横寸法ｘａ、縦寸法ｙａに余裕分（×１．５）を加味して決定している（図７）。なお、存在領域ＥＡの大きさについては、画像処理により顔部位の幅や高さを推定し、縦横の大きさに余裕分を加える大きさとしてもよい。
【０１０１】
このように存在領域ＥＡの大きさが決定された後、マイクロコンピュータ３は、図１０に示すように、例えば眼の座標値（ｘ１，ｙ１）を基準に、基準点Ｐを決める。基準点Ｐは、眼の座標値（ｘ１，ｙ１）から距離ｘ２，ｙ２だけ離れた位置に定められるものである。
【０１０２】
そして、マイクロコンピュータ３は、点Ｐを基準に存在領域ＥＡの寸法ｘ３，ｙ３を描画する。これにより、存在領域ＥＡの位置が決定される。その後、画像全体で見つかった連続データＧすべてについて存在領域ＥＡを設定する。
【０１０３】
なお、上記のｘ２及びｙ２はｘ３，ｙ３の１／２であって、予め存在領域ＥＡが眼の中心にくるような長さとすることが望ましい。
【０１０４】
以上の図５〜図１０の処理により、図４の顔部位候補位置特定処理（ＳＴ１１）がなされる。
【０１０５】
次に、図４の顔部位判定処理（ＳＴ１４）について説明する。図１１は、図４に示した顔部位判定処理（ＳＴ１４）の詳細を示すフローチャートである。なお、図１１においては、左眼を検出する場合の処理を説明する。
【０１０６】
まず、マイクロコンピュータ３は、図５の処理にて求められた左眼の存在領域ＥＡの画像データを微少画像ＩＧとして画像メモリに保存する（ＳＴ３１）。全体画像と画像メモリに保存される微小画像ＩＧとの状態を図１２に示す。図１２は、微小画像を示す説明図である。図１２に示すように、マイクロコンピュータ３は、全体画像から左眼の存在領域ＥＡ内の画像を抽出し、微小画像ＩＧとしている。
【０１０７】
再度、図１１を参照して説明する。マイクロコンピュータ３は、全体画像の代表座標値Ｃを微少画像ＩＧの代表座標値ＩＣとする。そして、マイクロコンピュータ３は、微少画像ＩＧの代表座標値ＩＣを基準とした範囲ＡＲを設定し、範囲ＡＲの濃度情報をもとに二値化閾値を設定する（ＳＴ３２）。
【０１０８】
範囲ＡＲでの二値化閾値の算出方法の一例を、図１３を参照して説明する。図１３は、範囲ＡＲでの二値化閾値の算出方法の説明図である。まず、マイクロコンピュータ３は、範囲ＡＲにおいて縦方向に数ラインの濃度値の読み出しを行う。
【０１０９】
そして、マイクロコンピュータ３は、各ラインにおいて濃度値の最も高い（明るい）濃度値と、最も低い（暗い）濃度値をメモリしていく。全ラインのメモリが終了したら、マイクロコンピュータ３は、各ラインの最も高い（明るい）濃度値の中で、一番低い濃度値（皮膚の部分）と、各ラインの最も低い（暗い）濃度値の中で、一番低い濃度値（眼の部分）とを求める。そして、その中央値を二値化閾値とする。
【０１１０】
なお、上記した範囲ＡＲは、好適に二値化閾値を決定するため、眼の黒い部分と眼の周囲の皮膚の白い部分が入るように設定される。また、範囲ＡＲは、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさにされる。
【０１１１】
さらに、二値化閾値は、範囲ＡＲ内の眼の一番低い（暗い）濃度値と、皮膚の部分の一番低い（暗い）濃度値の中央値とすることで、皮膚の部分から眼の部分を切り出すのに適した値になる。
【０１１２】
ここで、二値化閾値を決定するのに皮膚部分における一番低い（暗い）濃度値を用いている理由は、次の通りである。例えば、範囲ＡＲの一部に直射光が当たっている場合、皮膚部分は、眼球の黒色部分に比して、光を強く反射する傾向にある。このため、本装置１は、多くのノイズともいえる光を入力してしまうこととなる。
【０１１３】
この場合、濃度値を読み出す範囲ＡＲを極力小さくしても、画像がノイズ光による影響を受け、本装置１は正確な二値化閾値を決定できなくなってしまう。このため、本実施形態では、強く反射している可能性がある濃度値の高い部分を用いず、皮膚の部分の濃度値の一番低い（暗い）濃度値を用いることで、より適切な二値化閾値を決定できるようにしている。
【０１１４】
再度、図１１を参照して説明する。二値化閾値の決定後、マイクロコンピュータ３は、決定した二値化閾値を用いて微少画像ＩＧを二値化処理し、二値画像ｂＧとして画像メモリに保存する（ＳＴ３３）。
【０１１５】
次に、マイクロコンピュータ３は、全体画像の代表座標値Ｃを二値画像ｂＧの位置ｂＣとし、この位置ｂＣを初期位置として設定する（ＳＴ３４）。その後、マイクロコンピュータ３は、設定位置が黒画素か否かを判断する（ＳＴ３５）。ここでは、ステップＳＴ３５において設定された初期位置が黒画素か否か判断される。
【０１１６】
そして、設定位置が黒画素でないと判断した場合（ＳＴ３５：ＮＯ）、マイクロコンピュータ３は、設定位置を上下左右に１画素ずつずらす（ＳＴ３６）。その後、マイクロコンピュータ３は、再度、設定位置が黒画素か否かを判断する。ここでは、ステップＳＴ３６においてずらされた設定位置が黒画素か否か判断される。そして、黒画素と判断されるまで、この処理が繰り返される。
【０１１７】
一方、設定位置が黒画素であると判断した場合（ＳＴ３５：ＹＥＳ）、マイクロコンピュータ３は、その黒画素の連結成分を候補オブジェクトとして設定する（ＳＴ３７）。そして、マイクロコンピュータ３は、候補オブジェクトの幾何形状を算出する（ＳＴ３８）。
【０１１８】
算出後、マイクロコンピュータ３は、予め記憶している左眼のテンプレートの幾何形状と候補オブジェクトの幾何形状とを比較する（ＳＴ３９）。候補オブジェクトと左眼のテンプレートとの幾何形状の比較方法の一例を、図１４を参照して説明する。
【０１１９】
図１４は、候補オブジェクトと顔部位である左眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は左眼の右側が欠けた状態を示し、（ｃ）は左眼の左側が欠けた状態を示している。
【０１２０】
左眼の画像を二値化した形状は光環境が良く安定した画像であれば図１４（ａ）に示すようなものになる。ところが、車室内に直射日光が一側から当たる等して光環境が悪化したときには、図１４（ｂ）及び（ｃ）に示すように、一部が欠けた形状になることもある。
【０１２１】
マイクロコンピュータ３は、上記のような候補オブジェクトを正確に判断するために、３つの条件により比較判断を行う。まず、条件（ｉ）としては、横幅が眼の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることである。次に、条件（ｉｉ）としては、黒眼の左側の凹み形状があることである。また、条件（ｉｉｉ）としては、黒眼の右側の凹み形状があることである。
【０１２２】
再度、図１１を参照して説明する。幾何形状の比較後、マイクロコンピュータ３は、上記３つの条件に基づき、比較判断を行い、候補オブジェクトと左眼テンプレートとの幾何形状が一致するか否かを判断する（ＳＴ４０）。ここで、図１４（ｂ）及び（ｃ）のように眼の形状の一部が欠けている場合を考慮し、マイクロコンピュータ３は、条件（ｉ）及び（ｉｉ）を満たすもの、並びに条件（ｉｉ）及び（ｉｉｉ）を満たすものを一致すると判断する。
【０１２３】
一致しないと判断した場合（ＳＴ４０：ＮＯ）、マイクロコンピュータ３は、その候補オブジェクトが左眼でないと判定し（ＳＴ４１）、その後、処理は、図４のステップＳＴ１５に移行する。
【０１２４】
一方、一致すると判断した場合（ＳＴ４０：ＹＥＳ）、マイクロコンピュータ３は、その候補オブジェクトが左眼であると判定する（ＳＴ４２）。そして、判定された候補オブジェクトの座標値（全体画像における代表座標値Ｃに相当する）を、画像上における左眼の座標値としてメモリする（ＳＴ４３）。
【０１２５】
その後、マイクロコンピュータ３は、一致と判断された候補オブジェクトを含む微小画像ＩＧを顔部位画像ＭＧｉとして、画像メモリに保存する（ＳＴ４４）。そして、処理は、図４のステップＳＴ１５に移行する。
【０１２６】
なお、図１１の処理では、二値化閾値を用いて二値化した候補オブジェクトを検出している。このため、本実施形態では、眼の部分と他の部分（背景や眼以外の顔部分）とを明確に区別し、眼を正確に捉えることができる。さらには、候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上させることができる。
【０１２７】
以上、図４〜図１４を参照して説明したように、マイクロコンピュータ３（顔部位検出部２０）は、入力した画像全体から、左眼を検出することとなる。なお、図１１では、左眼を検出する場合を説明しているが、右眼についても同様である。
【０１２８】
次に、図４に示した配置関係情報を取得処理（ＳＴ１８）の詳細を図１５及び図１６を参照して説明する。
【０１２９】
例えば、配置関係取得部３０は、配置関係情報として、複数の顔部位のうち１の顔部位と当該１の顔部位以外の顔部位との画像縦方向及び横方向の距離、並びに画像上において１の顔部位から１の顔部位以外の顔部位へ向かう方向を求める。図１５は、配置関係取得部３０が左右の眼間の画像縦方向及び横方向の距離と方向とを求める場合の様子を示す説明図である。
【０１３０】
同図に示すように、配置関係取得部３０は、顔部位検出部２０により検出された顔部位である左眼及び右眼の位置に基づいて、距離を求める。例えば、左眼の画像上における座標が（ＸＬ，ＹＬ）であり、右眼の画像上における座標が（ＸＲ，ＹＲ）であるとする。このとき、配置関係取得部３０は、各顔部位の画像横方向の距離として「ＸＬ−ＸＲ」という値を取得し、縦方向の距離として「ＹＬ−ＹＲ」という値を取得する。なお、「ＸＬ−ＸＲ」等を絶対値として求めないのは、画像上において左眼から右眼に向かう方向を求めるためである。
【０１３１】
また、配置関係取得部３０は、配置関係情報として、画像上において顔部位を結んだときの線分の長さ、及びその線分と画像所定方向とが為す角度を求めてもよい。図１６は、配置関係取得部３０が各顔部位間の線分の長さ及び所定方向と為す角度を求める場合の様子を示す説明図である。
【０１３２】
同図に示すように、配置関係取得部３０は、顔部位検出部２０により検出された顔部位である左眼及び右眼の位置に基づいて、距離を求める。同様に、左眼の画像上の座標位置が（ＸＬ，ＹＬ）であり、右眼の画像上の座標位置が（ＸＲ，ＹＲ）であるとする。このとき、配置関係取得部３０は、画像上において各顔部位を結んだ線分の長さとして、「｛（ＸＬ−ＸＲ）２＋（ＹＬ−ＹＲ）２｝１／２」という値を取得する。また、所定方向を画像横方向、すなわち水平方向とした場合、線分と画像所定方向とが為す角度として「ａｒｃｔａｎ｛（ＹＬ−ＹＲ）／（ＸＬ−ＸＲ）｝」という値を取得する。
【０１３３】
以上のようにして、配置関係取得部３０は、配置関係情報を取得する。そして、前述したように、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」とされた場合には、図３に示すように、顔部位追跡処理（ＳＴ１０）が実行される。
【０１３４】
図１７は、図３に示した追跡処理（ＳＴ１０）の詳細を示すフローチャートである。同図に示すように、ステップＳＴ７にて「ＮＯ」と判断された場合、マイクロコンピュータ３は、基準顔部位の設定処理を行う（ＳＴ５１）。これにより、基準顔部位として左眼が選定される。
【０１３５】
なお、このステップＳＴ５１の処理は、図１に示した基準顔部位設定部４１にて行われる処理である。すなわち、マイクロコンピュータ３は、基準顔部位設定部４１に相当するプログラムを実行することとなる。
【０１３６】
基準顔部位の選定後、マイクロコンピュータ３は、基準顔部位探査領域の設定処理を実行する（ＳＴ５２）。このステップＳＴ５２の処理は、図１に示した基準顔部位探査領域設定部４２ａにて行われる処理である。すなわち、マイクロコンピュータ３は、基準顔部位探査領域設定部４２ａに相当するプログラムを実行することとなる。図１８〜図１９を参照して、基準顔部位探査領域の設定処理を説明する。
【０１３７】
図１８は、基準顔部位探査領域の設定処理（ＳＴ５２）の詳細を示すフローチャートである。同図に示すように、マイクロコンピュータ３は、基準顔部位探査領域の位置を設定する（ＳＴ６１）。ここでは、例えば、顔部位検出部２０等により検出された過去の基準顔部位の位置に基づいて、基準顔部位探査領域の中心位置が設定される。
【０１３８】
より具体的には、前撮像画像（前回の撮像処理により得られた撮像画像をいう。以下同じ。）以前の撮像画像おける基準顔部位の位置から求められた基準顔部位のフレーム間移動量に従って、基準顔部位探査領域の中心位置が設定される。フレーム間移動量とは、上述したサンプリング時間中の移動量をいう。
【０１３９】
さらに詳細に説明すると、まず、マイクロコンピュータ３は、前回及び前々回の撮像画像から基準顔部位の移動量を求める。その後、前回の基準顔部位の位置に移動量を加えて、今回の基準顔部位の位置を推定する。そして、マイクロコンピュータ３は、推定した位置を基準顔部位探査領域の中心位置とする。
【０１４０】
以上のようにして、中心位置を設定すると、マイクロコンピュータ３は、基準顔部位探査領域の大きさを設定する（ＳＴ６２）。そして、マイクロコンピュータ３は、設定した中心位置及び大きさで基準顔部位探査領域を設定する（ＳＴ６３）。
【０１４１】
ここで、基準顔部位探査領域の大きさは以下のようにして決定される。図１９は、図１８に示した顔部位探査領域の大きさ設定処理（ＳＴ６３）の説明図であり、（ａ）は時刻ｔ０において撮像された画像を示し、（ｂ）は時刻ｔ１において撮像された画像を示し、（ｃ）は時刻ｔ２において撮像された画像を示し、（ｄ）は時刻ｔ３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【０１４２】
被検出者が顔の向きを変える場合、まず、時刻ｔ０において図１９（ａ）に示す画像が撮像される。このとき、被検出者は、ほぼ正面を視認している。その後、時刻ｔ１において、図１９（ｂ）に示す画像が撮像される。このとき、被検出者は、サイドミラー等を確認すべく、顔を右（図１９においては左側）に向け始める。顔の向きを右に向け始めたことから、被検出者の左眼の位置は、右側へ移動することとなる。
【０１４３】
そして、時刻ｔ２において、図１９（ｃ）に示す画像が撮像される。このとき、被検出者は、時刻ｔ１よりも、さらに顔を右に向けている。このため、左眼の位置は、さらに右側へ移動することとなる。
【０１４４】
その後、時刻ｔ３において、図１９（ｄ）に示す画像が撮像される。このとき、被検出者は、サイドミラー等を確認しており、顔を最も右側に向けた状態となっている。故に、左眼の位置は、最も右側へ移動したこととなる。
【０１４５】
そして、図１９（ｅ）に示すように、時刻ｔ０からｔ３に向かって、これら画像上の左眼の位置が徐々に移動していることがわかる。基準顔部位探査領域の大きさは、これら時刻ｔ０〜ｔ３までの各期間（ｔ０〜ｔ１，ｔ１〜ｔ２，ｔ２〜ｔ３）に移動する左眼位置が含まれるように設定される。
【０１４６】
さらに、基準顔部位探査領域の大きさは、被検出者が顔の向きを変えたときとして、被検出者が顔を上下左右に振っているときに基づいて、設定されることが望ましい。例えば、被検出者は顔の向きを変える意思がなくとも、車両の振動等により多少の顔の向きを変えてしまう場合がある。また、本装置１が振動により顔の向きが変わったと誤認する場合もある。このため、被検出者が顔を上下左右に振っているときを対象とし、明らかな被検出者の動作に基づいて基準顔部位探査領域の大きさを設定することが望ましくなる。
【０１４７】
再度、図１７を参照して説明する。ステップＳＴ５２の後、マイクロコンピュータ３は、基準顔部位の候補の特定処理を実行する（ＳＴ５３）。この処理は、図５に示した処理と同様であるので、説明を省略する。なお、図５に示した特定処理は画像全体に対して行っているが、ステップＳＴ５３における候補の特定処理は、基準顔部位探査領域内において行っている。
【０１４８】
すなわち、マイクロコンピュータ３は、基準顔部位探査領域内において、撮像画像の縦方向の画素列に沿って画素の濃度値を検出する。このとき、マイクロコンピュータ３は、相加平均演算を実行し、濃度の平均値を求める。そして、マイクロコンピュータ３は、検出された濃度平均値の局所的な高まり毎に１個ずつの画素を定めてポイント抽出する。その後、マイクロコンピュータ３は、縦方向の画素列ごとに定められたポイントが画像横方向に隣接する場合に、横方向に延びるポイント群の連続データＧを形成する。この連続データＧは、図５〜図９を参照して説明したものと同様である。そして、マイクロコンピュータ３は、形成された連続データＧの代表座標値Ｃを、候補の候補点とする。
【０１４９】
また、この処理は、図１に示した基準顔部位位置検出部４３ａにて行われる処理である。すなわち、マイクロコンピュータ３は、基準顔部位位置検出部４３ａに相当するプログラムを実行することとなる。
【０１５０】
その後、マイクロコンピュータ３は、基準顔部位の判定位置検出処理を実行する（ＳＴ５４）。すなわち、マイクロコンピュータ３は、ステップＳＴ５３において特定された候補が基準顔部位であるか否か、すなわち左眼であるか否かを判断し、左眼であった場合には、候補点を左眼の位置として検出する。また、マイクロコンピュータ３は、ステップＳＴ５３において複数の候補が特定された場合、同様に、それぞれについて左眼であるか否かを判断し、左眼であるものの候補点の位置を左眼の位置として検出することとなる。
【０１５１】
なお、この処理もステップＳＴ５３の処理と同様に、図１に示した基準顔部位位置検出部４３ａにて行われる処理である。
【０１５２】
その後、マイクロコンピュータ３は、「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」であるか否かを判断する（ＳＴ５５）。すなわち、マイクロコンピュータ３は、この時点において、顔部位のいずれかが見つかっていない状態になっているか否かを判断している。
【０１５３】
「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」であると判断した場合（ＳＴ５５：ＹＥＳ）、マイクロコンピュータ３は、他顔部位探査領域の設定処理を実行する（ＳＴ５６）。このステップＳＴ５６の処理は、図１に示した他顔部位探査領域設定部４２ｂにて行われる処理である。すなわち、マイクロコンピュータ３は、他顔部位探査領域設定部４２ｂに相当するプログラムを実行することとなる。図２０を参照して、他顔部位探査領域の設定処理を説明する。
【０１５４】
図２０は、他顔部位探査領域の設定処理（ＳＴ５６）の詳細を示すフローチャートである。同図に示すように、マイクロコンピュータ３は、他顔部位探査領域の位置を設定する（ＳＴ６１）。ここでは、既にステップＳＴ５４（基準顔部位位置検出部４３ａ）にて検出された基準顔部位の位置と配置関係情報に基づいて、他顔部位探査領域の中心位置が設定される。
【０１５５】
その後、マイクロコンピュータ３は、他顔部位探査領域の大きさを設定する（ＳＴ６２）。このとき、マイクロコンピュータ３は、他顔部位探査領域の大きさを基準顔部位探査領域以下の大きさとして設定する。そして、マイクロコンピュータ３は、設定した中心位置及び大きさで他顔部位探査領域を設定する（ＳＴ６３）。
【０１５６】
その後、マイクロコンピュータ３は、他顔部位の候補の特定処理を実行する（ＳＴ５７）。この処理は、図５に示した処理と同様であるので、説明を省略する。なお、ステップＳＴ５３における候補の特定処理は、他顔部位探査領域内において行われる。
【０１５７】
すなわち、マイクロコンピュータ３は、他顔部位探査領域内において、撮像画像の縦方向の画素列に沿って画素の濃度値を検出し、ポイントが定める。そして、マイクロコンピュータ３は、連続データＧを形成し、形成された連続データＧの代表座標値Ｃを、顔部位候補の候補点とする。
【０１５８】
また、この処理は、図１に示した他顔部位位置検出部４３ｂにて行われる処理である。すなわち、マイクロコンピュータ３は、他顔部位位置検出部４３ｂに相当するプログラムを実行することとなる。
【０１５９】
その後、マイクロコンピュータ３は、他顔部位の判定位置検出処理を実行する（ＳＴ５８）。すなわち、マイクロコンピュータ３は、ステップＳＴ５８において特定された候補が他顔部位であるか否か、すなわち右眼であるか否かを判断し、右眼であった場合には、候補点を右眼の位置として検出する。また、ステップＳＴ５８において複数の候補が特定された場合も同様である。なお、この処理もステップＳＴ５７の処理と同様に、図１に示した他顔部位位置検出部４３ｂにて行われる処理である。
【０１６０】
そして、マイクロコンピュータ３は、ステップＳＴ５４及びＳＴ５８において検出された基準顔部位及び他顔部位の位置に基づいて、両者の配置関係情報を求める。その後、マイクロコンピュータ３は、他顔部位すべてについて判定し終えたか否かを判断する（ＳＴ６０）。
【０１６１】
本実施形態では、他顔部位は右眼の１つであるが、例えば口や鼻等を他顔部位としている場合には、他顔部位は複数あることとなる。このため、ステップＳＴ６０にて、他顔部位すべてについて判定し終えたか否かを判断している。
【０１６２】
他顔部位すべてについて判定し終えていない場合（ＳＴ６０：ＮＯ）、処理は、ステップＳＴ５５に戻る。一方、他顔部位すべてについて判定し終えた場合（ＳＴ６０：ＹＥＳ）、処理は図３のステップＳＴ９に戻る。
【０１６３】
ところで、ステップＳＴ５５において「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」でないと判断した場合（ＳＴ５５：ＮＯ）、処理は、図３のステップＳＴ９に移行する。
【０１６４】
このように、本実施形態では、基準顔部位の位置を検出し、その後、配置関係情報と基準顔部位との位置に基づき、他顔部位の探査領域を設定している。被検出者の顔の各部位の位置は、被検出者が顔の向きを変えることにより、撮像画像中において変化するが、相対位置はさほど変化しない。このため、前述したように、他顔部位の探査領域は、他顔部位が存在する可能性が高いものとなる。そして、この探査領域から他顔部位を検出するため、他顔部位についての検出精度は優れたものとなる。
【０１６５】
ここで、図１７の処理は、以下のようにされていても構わない。図２１は、図３に示した追跡処理（ＳＴ１０）の第２の例を示すフローチャートである。同図に示すように、第２の例では、処理の順番等が図１７に示す処理（第１の例）と異なっている。
【０１６６】
すなわち、まず、第２の例おいてマイクロコンピュータ３は、顔部位の候補の特定処理を行う（ＳＴ５１ａ）。ただし、この処理は、基準顔部位及び他顔部位それぞれについて候補を特定するのではなく、これらすべての候補を特定するようにしている。
【０１６７】
また、この処理では、画像全体から候補を特定する。このため、処理速度の低下等の問題が考えられる。しかし、この時点では、既に顔部位検出部２０等にて基準及び他顔部位の位置が検出されているため、検出された位置を参考に、候補特定処理を行うことにより処理速度の低下という問題を発生させないようにすることができる。
【０１６８】
その後、基準顔部位の設定処理（ＳＴ５２ａ）、基準顔部位探査領域の設定処理（ＳＴ５３ａ）、基準顔部位の判定位置検出処理（ＳＴ５４ａ）が行われる。これらの処理は、それぞれ図１７に示したステップＳＴ５１、ＳＴ５３，ＳＴ５４と同様の処理である。
【０１６９】
そして、「ＧｅｔＦｌａｇ」の判断（ＳＴ５５ａ）、他顔部位探査領域の設定処理（ＳＴ５３ａ）、他顔部位の判定位置検出処理（ＳＴ５４ａ）、が行われる。これらの処理は、それぞれ図１７に示したステップＳＴ５５、ＳＴ５６，ＳＴ５８と同様の処理である。
【０１７０】
さらに、基準顔部位と他顔部位の位置関係の取得処理（ＳＴ５８ａ）、矢顔部位をすべて判定したか否かの判断（ＳＴ５９ａ）が行われ、処理は図３のステップＳＴ９に移行する。なお、ステップＳＴ５８ａ，ＳＴ５９ａの処理は、それぞれ図１７に示したステップＳＴ５９、ＳＴ６０と同様である。
【０１７１】
次に、図１７に示したフローチャートの詳細について説明する。なお、以下に示す図１７の詳細説明は、図２１に示した第２の例の詳細説明とほぼ同様であるため、第２の例の詳細説明は省略する。
【０１７２】
まず、基準顔部位の判定及び位置検出（ＳＴ５４）について詳細に説明する。図２２は、図１７に示した基準顔部位の判定位置検出処理（ＳＴ５４）の詳細を示すフローチャートである。
【０１７３】
まず、マイクロコンピュータ３は、基準顔部位の優先顔部位探査領域を設定する（ＳＴ８１）。このとき、マイクロコンピュータ３は、例えば、基準顔部位が約８０％の確立で検出できる程度の大きさに優先顔部位探査領域を設定する。また、被検出者が一方向を視認しているときに、左眼の位置が納まる程度の大きさに優先顔部位探査領域を設定してもよい。
【０１７４】
図２３は、図２０に示した優先顔部位探査領域の設定処理（ＳＴ８１）の一例を示す説明図であり、（ａ）は時刻ｔ１０において撮像された画像を示し、（ｂ）は時刻ｔ１１において撮像された画像を示し、（ｃ）は時刻ｔ１２において撮像された画像を示し、（ｄ）は時刻ｔ１３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【０１７５】
被検出者が一方向を視認している場合、まず、時刻ｔ１０において図２３（ａ）の画像が撮像される。その後、時刻ｔ１１，時刻ｔ１２，時刻ｔ１３において、それぞれ図２３（ｂ）、（ｃ）、（ｄ）の画像が撮像される。
【０１７６】
これらの画像上における左眼位置は、被検出者が一方向を視認していることから、図２３（ｅ）からも明らかなように、ほぼ静止した状態となっている。
【０１７７】
優先顔部位探査領域の設定処理（ＳＴ８１）においては、例えば、これら時刻ｔ１０〜ｔ１３までの各期間における左眼位置がすべて含まれるように設定される。
【０１７８】
ここで、一方向を視認している場合と顔の向きを変えた場合との左眼位置の分布について説明する。図２４は、一方向を視認している場合と顔の向きを変えた場合との左眼位置の分布を示す説明図である。ここで、図２４の縦軸は画像におけるＸ軸方向の座標値であり、横軸は画像におけるＹ軸方向の座標値である。また、画像サイズ６４０×４８０であり、縦軸の最大値は４８０で、横軸の最大値は６８０である。さらに、図２４では３０フレーム／秒のビデオレートでサンプリングしたときの座標をプロットしたものを示している。
【０１７９】
同図に示すように、被検出者が一方向を視認している場合、左眼位置はほぼ１点に滞留している。このとき、軌跡ａに示すように、各時刻の座標値は、Ｘ軸において２００〜２３０で、Ｙ軸において３５０〜３９０でほぼ一定となっている。
【０１８０】
一方、被検出者が顔の向きを変えた場合、例えば、エアコン装置の操作パネル等が設置されている方向（左下方向）に、被検出者が顔を向けた場合、左眼位置は大きく移動する。このとき、軌跡ｂに示すように、各時刻の座標値は、Ｘ軸において３９０〜５２０で、Ｙ軸において２４０〜３５０であり、大きく移動している。
【０１８１】
この分布についての解析結果を図２５に示す。図２５は、図２４に示した分布から求まる左眼位置の移動量の解析結果を示す説明図である。なお、図２５では、被検出者が図２４の軌跡ａ及び軌跡ｂと同様の動きをした場合に、３０ｍｓ／フレーム及び６０ｍｓ／フレームにて、撮像したときの解析結果を示している。また、ここでの画像サイズは、６４０×４８０である。
【０１８２】
まず、軌跡ａと同様の動きを３０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「１．１３」Ｙ軸方向に「０．５２」である。また、このときの標準偏差はＸ軸方向に「０．９５」Ｙ軸方向に「０．５２」であり、３δ移動量はＸ軸方向に「３．９７」Ｙ軸方向に「２．０８」である。そして、最大移動量は、Ｘ軸方向に「４」Ｙ軸方向に「２」である。
【０１８３】
一方、軌跡ｂと同様の動きを３０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「３．３８」Ｙ軸方向に「２．３５」である。また、このときの標準偏差はＸ軸方向に「２．６３」Ｙ軸方向に「２．１２」であり、３δ移動量はＸ軸方向に「１１．２７」Ｙ軸方向に「８．７２」である。そして、最大移動量は、Ｘ軸方向に「１４」Ｙ軸方向に「９」である。
【０１８４】
また、軌跡ａと同様の動きを６０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「１．７６」Ｙ軸方向に「０．９１」である。また、このときの標準偏差はＸ軸方向に「１．４７」Ｙ軸方向に「０．６８」であり、３δ移動量はＸ軸方向に「６．１８」Ｙ軸方向に「２．９４」である。そして、最大移動量は、Ｘ軸方向に「６」Ｙ軸方向に「３」である。
【０１８５】
一方、軌跡ｂと同様の動きを６０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「５．７７」Ｙ軸方向に「４．２５」である。また、このときの標準偏差はＸ軸方向に「４．１０」Ｙ軸方向に「３．７０」であり、３δ移動量はＸ軸方向に「１８．０６」Ｙ軸方向に「１５．３５」である。そして、最大移動量は、Ｘ軸方向に「１５」Ｙ軸方向に「１４」である。
【０１８６】
このように、図２５から明らかなように、被検出者が一方向を視認しているときには、左眼位置の移動量が最大数画素程度であるが、顔の向きを変えた場合には、左眼位置の移動量が最大数十画素となっている。
【０１８７】
以上のように、被検出者が顔の向きを変えたときと、一方向視認時とでは移動量が大きく異なる。基準顔部位探査領域は、被検出者が顔の向きを変えたときに眼の位置が納まるような大きさで設定され、基準顔部位の優先顔部位探査領域は、一方向視認時眼の位置が納まるような大きさで設定される。
【０１８８】
再度、図２２を参照して説明する。基準顔部位の優先顔部位探査領域の設定後、マイクロコンピュータ３は、基準顔部位の候補が優先顔部位探査領域内にあるか否かを判断する（ＳＴ８２）。より詳細には、基準顔部位の候補の候補点である代表座表値Ｃが優先顔部位探査領域内にあるか否かを判断する。
【０１８９】
なお、この処理は、基準顔部位の候補について候補点を定めることによって、高精度に行われている。すなわち、基準顔部位の候補について候補点を定めていない場合には、候補の一部が優先顔部位探査領域内であって、一部が優先顔部位探査領域外にあるという事態が生じてしまう可能性がある。ところが、点と領域とに基づく判断を行うことで、候補の一部が優先顔部位探査領域内であって、一部が優先顔部位探査領域外にあるという事態を無くすことができ、高精度に処理を行うことができる。
【０１９０】
候補が優先顔部位探査領域内にあると判断した場合（ＳＴ８２：ＹＥＳ）、マイクロコンピュータ３は、基準顔部位の候補が基準顔部位であると判定する（ＳＴ８３）。そして、マイクロコンピュータ３は、基準顔部位を含む存在領域ＥＡを微小画像ＩＧとして画像メモリに保存する（ＳＴ８４）。
【０１９１】
その後、マイクロコンピュータ３は、基準顔部位の候補の代表座標値Ｃを基準顔部位の座標値としてメモリし（ＳＴ８５）、さらに、微小画像ＩＧを顔部位画像ＭＧｉとして画像メモリに保存する（ＳＴ８６）。
【０１９２】
そして、マイクロコンピュータ３は、不検出カウンタを初期化する（ＳＴ８７）。その後、処理は図３に示したステップＳＴ１８に移行する。なお、不検出カウンタとは、基準顔部位が特定できない連続処理数をカウントするものである。
【０１９３】
このように、優先顔部位探査領域内に候補が納まっている場合、マイクロコンピュータ３は、その候補が基準顔部位であるか否かを判断することなく、基準顔部位と決定している。
【０１９４】
一方、優先顔部位探査領域外であって、基準顔部位探査領域内に候補が納まっている場合には、マイクロコンピュータ３は、その候補が基準顔部位であるか否かを判断していき、正確に基準顔部位を検出するようにしている。
【０１９５】
すなわち、候補が優先顔部位探査領域内に無いと判断した場合（ＳＴ８２：ＮＯ）、処理は、図２６に示すステップＳＴ９１に移行する。
【０１９６】
図２６は、顔部位の候補が優先顔部位探査領域内に無いと判断された場合に実行される処理を示すフローチャートである。
【０１９７】
マイクロコンピュータ３は、まず、微小画像ＩＧの濃度による基準顔部位判定処理を行う（ＳＴ８２）。詳細には、図２７に示す処理が実行される。図２７は、図２６に示した濃度による基準顔部位判定処理（ＳＴ９１）の詳細を示すフローチャートである。
【０１９８】
同図に示すように、まず、マイクロコンピュータ３は、微小画像ＩＧを画像メモリに保存する（ＳＴ１１１）。その後、マイクロコンピュータ３は、微小画像ＩＧの濃度データと基準顔部位画像ＭＧｉ−１の濃度データの類似度パラメータを求める（ＳＴ１１２）。
【０１９９】
ここで、基準顔部位画像ＭＧｉ−１は、前回の追跡処理において画像メモリに記憶された基準顔部位の画像である。このため、マイクロコンピュータ３は、現在の画像フレームから抽出された基準顔部位の候補を含む微小画像ＩＧと、過去の画像フレームにおいて特定された基準顔部位を含む微小画像との双方から、濃度データの類似度パラメータを求めている。
【０２００】
また、濃度値データの類似度パラメータは、次の式により求められる。
【０２０１】
【数１】
なお、Ｉ（ｍ，ｎ）は、微小画像ＩＧの画素の濃度を示し、Ｔ（ｍ，ｎ）は顔部位画像ＭＧｉ−１の画素の濃度を示し、Ｍ及びＮは画素サイズを示している。上記式に示されるように、類似度パラメータは残差和として表される。
【０２０２】
この残差和は２枚の画像の類似性が高いと値が小さくなり、類似性が低いと大きくなることから、閾値をもうけて、残差和が閾値よりも小さいと類似性が高いと判断できる。
【０２０３】
この処理の後、マイクロコンピュータ３は、類似度パラメータに基づいて、抽出された候補が顔部位の顔部位か否かを判定する（ＳＴ１１３）。すなわち、類似度が高い否かを判断して、微小画像ＩＧが顔部位となる顔部位を含むものか否かを判断している。
【０２０４】
類似度が高くないと判断した場合（ＳＴ１１３：ＮＯ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが顔部位となる顔部位でないと判定する（ＳＴ１１４）。その後、処理は、図２６のステップＳＴ９１に移行する。
【０２０５】
一方、類似度が高いと判断した場合（ＳＴ１１３：ＹＥＳ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが顔部位となる顔部位であると判定する（ＳＴ１１５）。その後、処理は、図２６のステップＳＴ９１に移行する。
【０２０６】
再度、図２６を参照して説明する。ステップＳＴ９１の後、マイクロコンピュータ３は、図２７に示したステップＳＴ１１４，ＳＴ１１５の判定に基づいて、存在領域ＥＡが基準顔部位を含むものか否かを判断する（ＳＴ９２）。
【０２０７】
基準顔部位を含むものであると判断された場合（ＳＴ９２：ＹＥＳ）、処理は、図２２に示したステップＳＴ８５に移行する。一方、基準顔部位を含むものでないと判断された場合（ＳＴ９２：ＮＯ）、マイクロコンピュータ３は、周波数画像による顔部位判定処理を行う（ＳＴ９３）。
【０２０８】
詳細には、図２８に示す処理が実行される。図２８は、図２６に示した周波数画像による顔部位判定処理（ＳＴ９３）の詳細を示すフローチャートである。
【０２０９】
同図に示すように、まず、マイクロコンピュータ３は、存在領域ＥＡを微小画像ＩＧとして画像メモリに保存する（ＳＴ１２１）。その後、マイクロコンピュータ３は、微小画像ＩＧを周波数処理して周波数画像ＩＦＧを生成し、これを画像メモリに保存する（ＳＴ１２２）。すなわち、マイクロコンピュータ３は、現在の画像フレームから抽出された基準顔部位の候補を含む微小画像ＩＧを周波数処理して周波数画像ＩＦＧを生成している。
【０２１０】
ここでの周波数画像の生成は、フーリエ変換やウェーブレット変換などの一般的な方法により行われる。図２９は、図２８に示した周波数画像生成処理（ＳＴ１２２）の説明図であり、（ａ）は微小画像ＩＧを示しており、（ｂ）は周波数画像を示している。
【０２１１】
図２９（ａ）に示すような微小画像ＩＧを周波数処理した場合には、例えば、図２９（ｂ）に示す画像が得られる。マイクロコンピュータ３は、この周波数画像を画像メモリに保存することとなる。
【０２１２】
再度、図２８を参照して説明する。ステップＳＴ１２２の後、マイクロコンピュータ３は、前回の追跡処理において画像メモリに記憶された顔部位画像ＭＧｉ−１を周波数処理して基準顔部位周波数画像ＢＩＦＧを求め、これを画像メモリに保存する（ＳＴ１２３）。すなわち、マイクロコンピュータ３は、過去の画像フレームにおいて特定された顔部位の顔部位を含んだ顔部位画像ＭＧｉ−１を周波数処理して基準顔部位周波数画像ＢＩＦＧを求めている。なお、ここでの周波数処理は、図２９を参照して説明したものと同様である。
【０２１３】
次に、マイクロコンピュータ３は、周波数画像ＩＦＧと基準顔部位周波数画像ＢＩＦＧの類似度パラメータを算出する（ＳＴ１２４）。類似度パラメータの算出方法は、図２７に示したステップＳＴ１１２と同様であり、濃度データの残差和を求めることによりなされる。
【０２１４】
この処理の後、マイクロコンピュータ３は、算出された類似度パラメータに基づいて、抽出された候補が基準顔部位か否かを判定する（ＳＴ１２５）。すなわち、類似度が高い否かを判断して、微小画像ＩＧが基準顔部位を含むものか否かを判断している。
【０２１５】
類似度が高くないと判断した場合（ＳＴ１２５：ＮＯ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが基準顔部位でないと判定する（ＳＴ１２６）。その後、処理は、図２６のステップＳＴ９５に移行する。
【０２１６】
一方、類似度が高いと判断した場合（ＳＴ１２５：ＹＥＳ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが顔部位となる顔部位であると判定する（ＳＴ１２７）。その後、処理は、図２６のステップＳＴ９４に移行する。
【０２１７】
再度、図２６を参照して説明する。ステップＳＴ９３の後、マイクロコンピュータ３は、図２８に示したステップＳＴ１２６，ＳＴ１２７の判定に基づいて、存在領域ＥＡが基準顔部位を含むものか否かを判断する（ＳＴ９４）。
【０２１８】
基準顔部位を含むものであると判断された場合（ＳＴ９４：ＹＥＳ）、処理は、図２２に示したステップＳＴ８５に移行する。一方、基準顔部位を含むものでないと判断された場合（ＳＴ９４：ＮＯ）、マイクロコンピュータ３は、候補オブジェクトの幾何形状による基準顔部位判定処理を行う（ＳＴ９５）。
【０２１９】
詳細には、図３０に示す処理が実行される。図３０は、図２６に示した候補オブジェクトの幾何形状による基準顔部位判定処理（ＳＴ９５）の詳細を示すフローチャートである。同図に示すステップＳＴ１３１〜ＳＴ１３９については、図１１に示したステップＳＴ３１〜ＳＴ３９と同様であるため、説明を省略する。
【０２２０】
この処理の後、マイクロコンピュータ３は、算出された幾何形状のマッチング度合いに基づいて、抽出された候補が顔部位の顔部位か否かを判定する（ＳＴ１４０）。すなわち、幾何形状が一致するかを判断して、微小画像ＩＧが基準顔部位を含むものか否かを判断している。
【０２２１】
一致しないと判断した場合（ＳＴ１４０：ＮＯ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが基準顔部位でないと判定する（ＳＴ１４１）。その後、処理は、図２６のステップＳＴ９６に移行する。
【０２２２】
一方、一致すると判断した場合（ＳＴ１４１：ＹＥＳ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが顔部位となる顔部位であると判定する（ＳＴ１４２）。その後、処理は、図２６のステップＳＴ９６に移行する。
【０２２３】
再度、図２６を参照して説明する。ステップＳＴ９６の後、マイクロコンピュータ３は、図３０に示したステップＳＴ１４１，１４２の判定に基づいて、存在領域ＥＡが基準顔部位を含むものか否かを判断する（ＳＴ９６）。
【０２２４】
基準顔部位を含むものであると判断された場合（ＳＴ９６：ＹＥＳ）、処理は、図２２に示したステップＳＴ８５に移行する。一方、顔部位となる顔部位を含むものでないと判断された場合（ＳＴ９６：ＮＯ）、マイクロコンピュータ３は、ステップＳＴ９７の処理を行う。
【０２２５】
図１７に示したステップＳＴ５３では、複数の基準顔部位候補が抽出されている場合がある。例えば、被検出者が眼鏡を着用している場合などには、複数の顔部位候補が抽出されることがある（後述する）。このため、マイクロコンピュータ３は、他の基準顔部位の候補があるか、すなわち未だ判定していない基準顔部位の候補があるか否かを判断する（ＳＴ９７）。他の基準顔部位の候補があると判断した場合（ＳＴ９８：ＹＥＳ）、処理は図２２のステップＳＴ８２に移行する。
【０２２６】
一方、他の基準顔部位の候補がないと判断した場合（ＳＴ９７：ＮＯ）、マイクロコンピュータ３は、不検出カウンタをインクリメントする（ＳＴ９８）。その後、マイクロコンピュータ３は、不検出カウンタの数値が顔部位再検出処理移行数を超えたか否かを判断する（ＳＴ９９）。顔部位再検出処理移行数は、基準顔部位を特定できなかった場合であっても、図３のステップＳＴ８の処理を行うことなく、ステップＳＴ１０の追跡処理を連続して何度実行するかを示す数である。この数は、システムの処理速度、処理精度等によって異なってくるものであり、本装置１の適用対象に合わせて適宜設定すればよいものである。
【０２２７】
顔部位再検出処理移行数を超えていないと判断した場合（ＳＴ９９：ＮＯ）、処理は、図１７に示したステップＳＴ５５に移行する。そして、図３において、再度の顔部位追跡処理（ＳＴ１０）が行われることとなる。なお、再度ステップＳＴ１０の処理が実行され、再度、基準顔部位の候補が顔部位であると判定されなかった場合には、不検出カウンタがさらにインクリメントされることとなる。そして、ステップＳＴ１０の処理が繰り返され、不検出カウンタの値が顔部位再検出処理移行数を超えた場合（ＳＴ９９：ＹＥＳ）、マイクロコンピュータ３は、顔部位検出フラグ「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定する（ＳＴ１００）。その後、マイクロコンピュータ３は、不検出カウンタを初期化し（ＳＴ１０１）、処理は、図１７に示したステップＳＴ５５に移行する。
【０２２８】
なお、不検出カウンタの数値が顔部位再検出処理移行数を超えた場合、顔部位検出フラグ「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定されるため、図３に示す顔部位検出処理（ＳＴ８）が、再度実行されることとなる。すなわち、マイクロコンピュータ３は、基準顔部位を特定できないため、ステップＳＴ１０の処理を繰り返したにもかかわらず、数回に渡って基準顔部位を特定できない場合に、最終的に基準顔部位を特定できなかったとする。そして、再度の顔部位検出処理（ＳＴ８）を実行することとなる。
【０２２９】
なお、この繰り返しの処理課程において所定の条件を満たすことにより、本装置１では、基準優先顔部位探査領域を設定しないようにもしている。
【０２３０】
図３１は、基準優先顔部位探査領域の設定処理（ＳＴ８１）の詳細を示すフローチャートである。まず、マイクロコンピュータ３は、不検出カウンタが優先顔部位領域の非設定数を超えた否かを判断する（ＳＴ１５１）。優先顔部位領域の非設定数は、顔部位が追跡できていないと判断するのに必要な数である。この数も、顔部位再検出処理移行数と同様に、システムの処理速度、処理精度によって設定される値が異なってくるものである。
【０２３１】
なお、優先顔部位領域の非設定数は、ほぼビデオレートで処理ができ、顔部位の検出率（顔部位を顔部位として判定する率）が９０％程度であれば３〜５に設定できる。
【０２３２】
不検出カウンタが優先顔部位領域の非設定数を超えたと判断した場合（ＳＴ１５１：ＹＥＳ）、マイクロコンピュータ３は、優先顔部位探査領域の領域設定を行うことなく、処理は図２２のステップＳＴ８２に移行する。一方、不検出カウンタが優先顔部位領域の非設定数を超えていないと判断した場合（ＳＴ１５１：ＮＯ）、マイクロコンピュータ３は、優先顔部位探査領域の領域設定を行い（ＳＴ１５２）、処理は図２１のステップＳＴ８２に移行する。
【０２３３】
次に、図１７の他顔部位の候補位置特定処理（ＳＴ５８）であるが、この処理は、基準顔部位候補の特定処理（ＳＴ５３）と同様であるため、詳細説明は省略する。
【０２３４】
次に、図３２〜図３９を参照して、上記の図２２のステップＳＴ８１をさらに詳細に説明する。図３２は、基準顔部位探査領域及び優先顔部位探査領域の説明図である。同図に示すように、基準顔部位探査領域は、中心から片側幅Ｈ１、片側高Ｖ１の大きさとなっている。また、優先顔部位探査領域は、中心から片側幅Ｈ２、片側高Ｖ２の大きさとなっている。ここでの中心は、例えば、前回の処理において検出された基準顔部位の代表座標値Ｃである。また、前回の処理とは、顔部位検出処理（ＳＴ８）及び顔部位追跡処理（ＳＴ１０）のいずれであってもよい。
【０２３５】
なお、これら領域の大きさは、システムの処理速度、処理精度によっても変わってくるが、例えば、前述の例ではＨ１を３０〜５０画素、Ｖ１を２０〜３０画素とすればよい。また、Ｈ２を１０〜１５画素、Ｖ２を５から１０画素程度に設定すればよい。
【０２３６】
ところが、上記のような基準顔部位探査領域では、被検出者が顔の向きを大きく変えた場合などには、基準顔部位が領域外へ移動してしまい、基準顔部位を特定できないこともある。すなわち、前回の処理において検出された基準顔部位の代表座標値Ｃを基準顔部位探査領域の中心としているため、移動中の基準顔部位は、今回の処理時において既に領域外に位置しているということもありうる。
【０２３７】
そこで、本実施形態では、図３３に示すように、顔部位探査領域の大きさを可変としている。図３３は、基準顔部位探査領域の大きさを可変とする場合の一例を示す説明図である。同図に示すように、マイクロコンピュータ３は、基準顔部位が特定できなかった場合には、基準顔部位探査領域を広くする。
【０２３８】
本実施形態においては、例えば、一度基準顔部位が特定されず不検出カウンタが「１」となった場合、基準顔部位が存在するであろう領域を広げて、基準顔部位の候補を見つけるようにしている。
【０２３９】
また、基準顔部位探査領域の大きさは次のようにして決定してもよい。図３４は、顔部位探査領域の大きさを可変とする場合の他の例を示す説明図である。同図に示すように、マイクロコンピュータ３は、基準顔部位探査領域を広くする際に不検出カウンタのカウント値に基づいて、基準顔部位探査領域の大きさを順次大きくするようにしてもよい。
【０２４０】
すなわち、不検出カウンタの数値が大きければ大きいほど、基準顔部位探査領域を広くするようにしている。このように、不検出カウンタの数値に基づいて領域の大きさを決定することで、基準顔部位が特定できなかった連続回数に応じて領域の大きさを広くするようにしている。
【０２４１】
通常、基準顔部位探査領域を大きくすると処理速度の低下を招くため、基準顔部位探査領域の大きさを前回処理のときの大きさに比して、突然に大きくしてしまうことは、急激な処理速度の低下を招いてしまう。ところが、この例のように大きさを不検出カウンタの数値に応じて決定することで、処理速度の急激な低下を防止しつつ基準顔部位探査領域を適切な大きさにすることができる。
【０２４２】
なお、ここでは、基準顔部位探査領域の大きさを広くするようにしているが、同様に、他顔部位探査領域の大きさを広くするようにしてもよい。この場合、複数の他顔部位のうちいずれか１つでも検出できなかった場合に、当該領域を広くするようにすればよい。また、この際には、他顔部位探査領域を基準顔部位探査領域以下の大きさにする必要はなく、マイクロコンピュータ３は、基準顔部位探査領域以下の大きさという制限を解除することとなる。
【０２４３】
また、図３２にて説明した基準顔部位探査領域の中心は、前回の処理において検出された基準顔部位の代表座標値Ｃとしなくともよい。以下にその場合の例を示す。図３５は、顔部位探査領域の中心位置を設定する場合の一例を示す説明図である。
【０２４４】
同図には、前々回及び前回の眼の位置及び顔部位探査領域の中心位置が示されている。図３５に示す例の場合、まず、マイクロコンピュータ３は、前々回及び前回の基準顔部位探査領域について、中心位置のＸ軸方向での差分及びＹ軸方向での差分を求める。そして、前回の中心位置にこれらの差分値を加え、得られた座標値を今回の基準顔部位探査領域の中心位置とする。
【０２４５】
図３６は、図３５に示した処理についての画像例を示す説明図であり、（ａ）は全体画像を示し、（ｂ）は拡大画像を示している。
【０２４６】
図３５を参照して説明した処理を実行した場合、図３６（ａ）に示すように、基準顔部位探査領域内に左眼の位置が納まっている。また、図３６（ｂ）の拡大画像例からも明らかなように、前々回及び前回の中心位置に基づいて今回の基準顔部位探査領域を設定した結果、今回の基準顔部位探査領域内に左眼の位置が納まっている。このように、本例では過去の画像フレームにおける基準顔部位の移動量に基づいて基準顔部位探査領域を設定することで、被検出者の顔の動きに応じて適切処理を行うことができる。
【０２４７】
なお、本例においては、前回、前々回の基準顔部位の位置から求まる移動量に応じて基準顔部位探査領域の中心位置を決定しているが、これに限らない。すなわち、前々回以前に特定された基準顔部位の位置から移動量を求め、これに基づき、中心位置を決定するようにしてもよい。また、基準顔部位探査領域の中心位置を、まず、前回特定された基準顔部位の位置とし、この位置にて基準顔部位が特定されず不検出カウンタが「１」となった場合に、本例を用いるようにしてもよい。
【０２４８】
次に中心位置の設定の他の例について説明する。図３７は、顔部位探査領域の中心位置を設定する場合の他の例を示す説明図である。図３８は、左眼の位置及び基準顔部位探査領域の中心位置を含む画像例を示す説明図であり、（ａ）は全体画像を示し、（ｂ）は拡大画像を示している。
【０２４９】
図３５及び図３６を参照して説明した例は、中心位置のＸ軸方向での差分値及びＹ軸方向での差分値が大きい場合に有効な手段となる。本例では、Ｘ軸方向での差分値及びＹ軸方向での差分値が小さい場合に有効な手段となる。
【０２５０】
図３７及び図３８に示すように、Ｘ軸方向での差分値及びＹ軸方向での差分値が大きくない場合には、これらの図に示すように、被検出者の顔の動きに応じて基準顔部位探査領域を設定しなくともよい。なぜなら、被検出者の顔の動きに応じて設定しなくとも基準顔部位が基準顔部位探査領域内に含まれるからである。
【０２５１】
そこで、本例では、Ｘ軸方向での差分値及びＹ軸方向での差分値が小さい場合、前回の処理において検出された基準顔部位の代表座標値Ｃを中心位置としている。
【０２５２】
このように、Ｘ軸方向での差分値及びＹ軸方向での差分値を考慮しつつも移動量が所定の閾値を超えない場合、通常通り、前回の処理における代表座標値Ｃを中心位置とする。これにより、図３５及び図３６に示した例に比して、詳細な計算等を不要とし迅速な処理を行うことができる。
【０２５３】
次に、画像例を参照しつつ本実施形態に係る顔部位追跡装置１の動作を再度説明する。なお、以下の説明においては、便宜上代表座標値Ｃを代表座標点Ｃと称する。
【０２５４】
図３９は、前処理にて撮像された撮像画像から得られる配置関係情報を示す説明図であり、（ａ）は画像横方向及び縦方向距離と方向とからなる配置関係情報を示している。また、（ｂ）は顔部位間の線分及び画像水平方向との角度からなる配置関係情報を示している。
【０２５５】
図３９では、被検出者は前方を視認している。この状態において、基準顔部位である左眼の位置及び他顔部位である右眼の位置が検出されると、配置関係情報が得られる。
【０２５６】
図４０は、今回処理にて撮像された撮像画像から得られる連続データを示す説明図である。本画像例では、右眼の連続データＧ４の代表座標点Ｃ４が優先顔部位探査領域内に納まっている。このため代表座標点Ｃ４が左眼の位置として検出される。すなわち、図２２のステップＳＴ８２において、「ＹＥＳ」と判断される。
【０２５７】
図４１は、他顔部位探査領域の設定の様子を示す説明図であり、（ａ）は画像横方向及び縦方向距離と方向とからなる配置関係情報に基づく設定の様子を示している。また、（ｂ）は顔部位間の線分及び画像水平方向との角度からなる配置関係情報に基づく設定の様子を示している。
【０２５８】
図３９に示す配置関係情報及び図４０に示す基準顔部位の位置が検出されると、図４１に示すように、配置関係情報に基づいて他顔部位探査領域が設定される。
【０２５９】
まず、図４１（ａ）に示すように、今回検出された基準顔部位である左眼の位置から、正方向及び負方向を考慮して顔部位間の横方向距離及び縦方向距離だけ離れた位置に他顔部位探査領域の中心位置を設定する。
【０２６０】
そして、その位置を中心として、他顔部位探査領域を設定する。他顔部位探査領域の大きさは、基準顔部位探査領域の大きさ以下である。
【０２６１】
図４２は、他顔部位探査領域の設定処理の様子を示す要部説明図である。図４２に示すように、他顔部位探査領域は、基準顔部位探査領域より小さな領域であるが、領域内には他顔部位である右眼が納まっている。
【０２６２】
また、同様に、図４１（ｂ）に示す場合であっても、他顔部位探査領域は、基準顔部位探査領域より小さな領域であるが、領域内には他顔部位である右眼が納まっている。
【０２６３】
次に、被検出者が顔の向きを変えた場合の本装置１の動作を説明する。図４３は、前処理にて撮像された撮像画像から得られる配置関係情報を示す説明図であり、被検出者が顔の向きを変えた場合を示している。
【０２６４】
図４３では、被検出者はサイドミラー等を視認すべく右方向を向いている。この状態において、基準顔部位である左眼の位置及び他顔部位である右眼の位置が検出されると、配置関係情報が得られる。
【０２６５】
図４４は、今回処理にて撮像された撮像画像から得られる連続データを示す説明図であり、（ａ）は全体画像例を示しており、（ｂ）は拡大画像例を示している。
【０２６６】
図４４では、被検出者の顔は、図４３に示した状態よりもさらに右方向を向いている。そして、この動きにより、左眼の連続データＧ４の代表座標点Ｃ４は、優先顔部位探査領域外に位置しているこのため、図２２のステップＳＴ８２において、「ＮＯ」と判断される。
【０２６７】
そして、図２６に示した処理が行われることとなる。このとき、左眼は優先顔部位探査領域外あるものの、基準顔部位探査領域内に納まっている。よって、図２６の処理により、左眼の位置が検出される。
【０２６８】
図４５は、他顔部位探査領域の設定の様子を示す説明図である。図４５に示すように、他顔部位探査領域は、基準顔部位探査領域より小さな領域である。さらに、被検出者は顔の向きを変えている。しかし、他顔部位探査領域内には他顔部位である右眼が納まっている。
【０２６９】
すなわち、被検出者が顔の向きを変えた場合であっても、基準顔部位と他顔部位の相対位置の多少の変化は、他顔部位の検出に影響を与えないことがわかる。
【０２７０】
次に、被検出者が眼鏡を着用している場合の本装置１の動作を説明する。図４６は、被検出者が眼鏡を着用している場合に、前処理にて得られる画像例を示す説明図である。
【０２７１】
図４６に示すように、被検出者は眼鏡を着用している。この状態において、基準顔部位である左眼の位置及び他顔部位である右眼の位置が検出されると、配置関係情報が得られる。
【０２７２】
図４７は、被検出者が眼鏡を着用している場合に今回処理にて得られる画像例を示す説明図である。配置関係情報が得られ、今回処理にて画像が得られると、図４７に示すように、基準顔部位探査領域及び優先顔部位探査領域が設定される。ところが、被検出者が眼鏡を着用している場合には、図４７に示すように、基準顔部位探査領域内から複数の候補点Ｃ１〜Ｃ５が抽出されることがある。
【０２７３】
図４７によると、連続データＧ２の代表座標点Ｃ２、連続データＧ３の代表座標点Ｃ３、連続データＧ４の代表座標点Ｃ４がいずれもが優先顔部位探査領域ではない顔部位探査領域内にある。
【０２７４】
図４８は、複数の微小画像例を示す説明図である。上記のように、複数の候補点Ｃ２〜Ｃ４が抽出された場合では、図４８に示すように、それぞれの候補点Ｃ２〜Ｃ４について微小画像が形成される。
【０２７５】
そして、それぞれの微小画像ＩＧ１，ＩＧ２，ＩＧ３について、ステップＳＴ９１，ＳＴ９３，ＳＴ９５の基準顔部位判定処理を順次行っていく。
【０２７６】
なお、この例において、１つ目の微小画像ＩＧＡ１を判定した場合、基準顔部位でないと判定されて、図２６のステップＳＴ９７の処理において、他の顔部位候補があると判断される。そして、２つ目の微小画像ＩＧＡ２が判定の対象とされ、基準顔部位が特定されることとなる。
【０２７７】
図４９は、眼鏡着用時の他顔部位探査領域の設定の様子を示す説明図である。図４９に示すように、他顔部位探査領域は、基準顔部位探査領域より小さな領域である。さらに、被検出者は眼鏡を着用している。しかし、他顔部位探査領域内には他顔部位である右眼が納まっている。
【０２７８】
しかも、他顔部位探査領域内には、右眼の候補点Ｃ８のみが納まっており、他の候補点Ｃ６，Ｃ７，Ｃ９，Ｃ１０は、高部位探査領域外にある。すなわち、被検出者が眼鏡を着用している場合であっても、他顔部位の検出に影響を与えないことがわかる。
【０２７９】
また、本実施形態では、基準顔部位探査領域を囲む領域を連続データ抽出領域として設定し、その領域内だけで連続データを抽出するようにしてもよい。
【０２８０】
図５０は、連続データ抽出領域を設定する場合に前処理にて得られる画像例を示す説明図である。図５０では、被検出者は前方を視認している。この状態において、基準顔部位である左眼の位置及び他顔部位である右眼の位置が検出されると、配置関係情報が得られる。
【０２８１】
図５１は、今回得られた撮像画像上に連続データ抽出領域を設定したときの一例を示す図である。また、図５２は、他顔部位探査領域及びこの領域の抽出領域の設定の様子を示す説明図である。
【０２８２】
図５１に示すように、顔部位探査領域の周囲には、連続データ抽出領域が設定されている。この場合、マイクロコンピュータ３は、この領域内から基準顔部位候補を抽出する。そして、基準顔部位を特定していくこととなる。なお、図５１に示す例の場合、連続データＧ１の代表座標点Ｃ１が優先顔部位探査領域内にあるので、マイクロコンピュータ３は、代表座標点Ｃ１を基準顔部位である左眼として判定することとなる。
【０２８３】
そして、図５２に示すように、マイクロコンピュータ３は、配置関係情報及び基準顔部位の位置に基づいて他顔部位探査領域を設定する。また、マイクロコンピュータ３は、他顔部位探査領域を囲む連続データ抽出領域を設定する。このように、連続データ抽出領域を設定した場合にあっても、他顔部位探査領域内には他顔部位である右眼が納まっている。
【０２８４】
すなわち、連続データ抽出領域を設定した場合であっても、他顔部位の検出に影響を与えず、さらに、画像全体に対して処理を行うこともない。なお、この連続データ抽出領域の設定処理は、顔部位追跡部４０だけでなく、顔部位検出部２０が行うようにしてもよい。顔部位検出部２０が行う場合、基準及び優先等の探査領域が設定されていない状態から、処理する領域を絞り込むことができ、より高速に処理を行うことができる。
【０２８５】
このようにして、本実施形態における顔部位追跡装置１は、複数の顔部位のうち基準となる基準顔部位が存在する可能性が高く且つ画像全体よりも狭くされた領域を基準顔部位追跡用の領域として設定している。このため、追跡用の領域の設定後においては、この領域内から基準顔部位を検出すればよく、画像全体から基準顔部位を検出する場合に比して、検出処理を迅速に行うことができる。
【０２８６】
また、他顔部位の追跡用の領域は、画像全体より小さくされている。このため、追跡用の領域の設定後においては、画像全体から他顔部位を検出する場合に比して、検出処理を迅速に行うことができる。
【０２８７】
また、他顔部位探査領域は基準顔部位の位置と配置関係情報とに基づいて設定されている。被検出者の顔各部位（例えば眼や鼻や口）の位置は、被検出者が顔の向きを変えることにより、撮像画像中において移動するが、相対位置（例えば眼に対する鼻の位置）はさほど変化しない。このため、複数の顔部位のうち１つでも位置が特定できれば、すべての顔部位の位置が特定できることとなる。
【０２８８】
ここで、他顔部位追跡用の領域の設定時点においては、既に基準顔部位の位置が検出されている。故に、被検出者が顔をどのように動かしたとしても、基準顔部位の位置が定まっているので、他顔部位のおおよその位置を決定することができる。すなわち、基準顔部位の位置と配置関係情報とに基づくことで、他顔部位のおおよその位置を含んだ他顔部位探査領域を設定でき、他顔部位が存在する可能性の高い領域を設定することができる。
【０２８９】
従って、複数の顔部位の追跡に際し、処理時間及び検出精度の面で向上を図ることができる。
【０２９０】
また、基準顔部位探査領域設定部４２ａは、過去に撮像された画像から特定された基準顔部位の位置に基づいて、基準顔部位探査領域を設定している。すなわち、顔部位検出部２０又は顔部位位置検出部４３のいずれか一方により、基準顔部位の位置が特定された場合には、これらからの情報に基づいて基準顔部位探査領域を設定する。
【０２９１】
そして、このようにして設定される基準顔部位探査領域は、前回の基準顔部位の位置に基づくから、比較的基準顔部位が存在する可能性の高いものとなる。従って、基準顔部位探査領域の設定に関し精度向上を図ることができる。
【０２９２】
また、基準顔部位探査領域設定部４２ａは、前撮像画像以前の撮像画像における基準顔部位の位置を元に定義される領域を基準顔部位探査領域として設定するので、精度良く基準顔部位の探査領域を設定できる。
【０２９３】
また、基準顔部位探査領域設定部４２ａは、前撮像画像以前の撮像画像における基準顔部位の位置から求められた基準顔部位のフレーム間移動量に従って、基準顔部位探査領域の中心位置を設定するとしたので、精度良く基準顔部位の探査領域を設定できる。
【０２９４】
また、基準顔部位探査領域設定部４２ａは、過去に撮像された画像内から求まる基準顔部位の移動量に基づいて、基準顔部位探査領域を設定する。このため、被検出者の顔の動き等について考慮された位置に基準顔部位探査領域が設定されることとなる。従って、被検出者の顔の動きに応じて基準顔部位探査領域を適切に設定することができる。
【０２９５】
また、基準顔部位探査領域設定部４２ａは、被検出者が顔の向きを変えたときに、サンプリング時間中に移動する基準顔部位の移動量に基づいて、基準顔部位探査領域の大きさを決定している。このため、被検出者が顔の向きを変えたとしても、基準顔部位探査領域内には基準顔部位が納まることとなり、好適に基準顔部位の検出を行うことができる。
【０２９６】
また、基準顔部位探査領域設定部４２ａは、被検出者が顔の向きを変えたときとして、被検出者が頭を上下左右に振っているときを採用するので、精度良く基準顔部位の探査領域を設定できる。
【０２９７】
また、他顔部位探査領域設定部４２ｂは、他顔部位探査領域を基準顔部位探査領域以下の大きさで設定している。本実施形態の他顔部位探査領域は、現撮像画像から検出された基準顔部位の位置に基づいて設定される。すなわち、他顔部位探査領域は、現在の情報に基づいて設定されるものであり、時間的な影響を受けないものといえる。そして、時間的影響を受けないことから、当然に過去から現在にかけて被検出者が顔を動かした場合にも何ら影響がないこととなる。
【０２９８】
故に、他顔部位探査領域の大きさを小さくして、処理速度の向上を図ることができる。
【０２９９】
他顔部位探査領域設定部は、いずれか１つ以上の他顔部位の位置を検出できなかった場合に、他顔部位探査領域を広くすると共に、他顔部位探査領域を基準顔部位探査領域以下の大きさで設定するという制限を解除している。このように、他顔部位が検出されなかった時点で、他顔部位探査領域を大きくするので、処理速度の向上を図ると共に、他顔部位が不検出となってしまう可能性を軽減することができる。
【０３００】
本実施形態では、予め配置関係情報を記憶させておき、これに基づいて他顔部位探査領域を設定することも可能であるが、この場合の配置関係情報は被検出者の個々人の顔の特徴を考慮したものとなっていない。故に、この配置関係情報に基づいて他顔部位探査領域を設定すると、多少領域設定が不正確になる可能性がある。
【０３０１】
ところが、本実施形態では、配置関係情報が配置関係取得部３０により求められるようになっている。このため、被検出者の個々人の顔の特徴差に影響を受けることなく、好適に他顔部位探査領域を設定することができる。
【０３０２】
また、配置関係取得部３０は、配置関係情報として、顔部位間の画像縦方向距離及び横方向距離と、一方の顔部位から他方の顔部位への方向とを求めている。また、配置関係取得部３０は、配置関係情報として、画像上において顔部位間を結んだときの線分の長さと、この線分と画像所定方向とが為す角度を求めてもよい。
【０３０３】
この場合、一の顔部位に対する他の顔部位の位置が一義的に決定されることとなり、正確な配置関係情報を得ることができる。
【０３０４】
なお、本実施形態は上記の構成に限られず、本発明の趣旨を逸脱しない範囲において変更等が可能である。例えば、顔部位位置検出部４３を複数設け、これらそれぞれを異なる位置検出精度とするようにしてもよい。
【０３０５】
すなわち、通常、判定等を行う手段は、検出精度が低くなると処理速度が速くなる傾向にある。これを利用して、本実施形態において顔部位の検出精度が低く処理速度が速いものから順に検出処理を実行するようにする。そして、これにより、処理速度を高めると共に、判定精度の低下を防ぐことができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る顔部位追跡装置の構成を示す機能ブロック図である。
【図２】本発明の実施形態に係る顔部位追跡装置の示すハード構成図である。
【図３】本実施形態に係る顔部位追跡装置の動作の概略を示すメインフローチャートである。
【図４】図３に示した顔部位検出処理（ＳＴ８）の詳細な動作を示すフローチャートである。
【図５】図４に示した顔部位候補位置特定処理（ＳＴ１１）の詳細を示すフローチャートである。
【図６】図５に示したステップＳＴ２７の処理にて形成される連続データ、並びにステップＳＴ２８の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。
【図７】図６に示した存在領域ＥＡの大きさを示す説明図である。
【図８】数人の眼の大きさを調べた横Ｘａの長さの統計データを示す説明図である。
【図９】数人の眼の大きさを調べた縦Ｙａの長さの統計データを示す説明図である。
【図１０】存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。
【図１１】図４に示した顔部位判定処理（ＳＴ１４）の詳細を示すフローチャートである。
【図１２】微小画像を示す説明図である。
【図１３】範囲ＡＲでの二値化閾値の算出方法の説明図である。
【図１４】候補オブジェクトと顔部位である眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は眼の右側が欠けた状態を示し、（ｃ）は眼の左側が欠けた状態を示している。
【図１５】配置関係取得部が各顔部位の画像縦方向及び横方向の距離と方向とを求める場合の様子を示す説明図である。
【図１６】配置関係取得部が各顔部位間の線分の長さ及び所定方向と為す角度を求める場合の様子を示す説明図である。
【図１７】図３に示した追跡処理（ＳＴ１０）の詳細を示すフローチャートである。
【図１８】基準顔部位探査領域の設定処理（ＳＴ５２）の詳細を示すフローチャートである。
【図１９】図１８に示した顔部位探査領域の大きさ設定処理（ＳＴ６３）の説明図であり、（ａ）は時刻ｔ０において撮像された画像を示し、（ｂ）は時刻ｔ１において撮像された画像を示し、（ｃ）は時刻ｔ２において撮像された画像を示し、（ｄ）は時刻ｔ３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【図２０】他顔部位探査領域の設定処理（ＳＴ５６）の詳細を示すフローチャートである。
【図２１】図３に示した追跡処理（ＳＴ１０）の第２の例を示すフローチャートである。
【図２２】図１７に示した基準顔部位の判定位置検出処理（ＳＴ５４）の詳細を示すフローチャートである。
【図２３】図２０に示した優先顔部位探査領域の設定処理（ＳＴ８１）の一例を示す説明図であり、（ａ）は時刻ｔ１０において撮像された画像を示し、（ｂ）は時刻ｔ１１において撮像された画像を示し、（ｃ）は時刻ｔ１２において撮像された画像を示し、（ｄ）は時刻ｔ１３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【図２４】一方向を視認している場合と顔の向きを変えた場合との左眼位置の分布を示す説明図である。
【図２５】図２４に示した分布から求まる左眼位置の移動量の解析結果を示す説明図である。
【図２６】顔部位の候補が優先顔部位探査領域内に無いと判断された場合に実行される処理を示すフローチャートである。
【図２７】図２６に示した濃度による基準顔部位判定処理（ＳＴ９１）の詳細を示すフローチャートである。
【図２８】図２６に示した周波数画像による顔部位判定処理（ＳＴ９３）の詳細を示すフローチャートである。
【図２９】図２８に示した周波数画像生成処理（ＳＴ１２２）の説明図であり、（ａ）は微小画像ＩＧを示しており、（ｂ）は周波数画像を示している。
【図３０】図２６に示した候補オブジェクトの幾何形状による基準顔部位判定処理（ＳＴ９５）の詳細を示すフローチャートである。
【図３１】基準優先顔部位探査領域の設定処理（ＳＴ８１）の詳細を示すフローチャートである。
【図３２】基準顔部位探査領域及び優先顔部位探査領域の説明図である。
【図３３】基準顔部位探査領域の大きさを可変とする場合の一例を示す説明図である。
【図３４】顔部位探査領域の大きさを可変とする場合の他の例を示す説明図である。
【図３５】顔部位探査領域の中心位置を設定する場合の一例を示す説明図である。
【図３６】図３５に示した処理についての画像例を示す説明図であり、（ａ）は全体画像を示し、（ｂ）は拡大画像を示している。
【図３７】顔部位探査領域の中心位置を設定する場合の他の例を示す説明図である。
【図３８】左眼の位置及び基準顔部位探査領域の中心位置を含む画像例を示す説明図であり、（ａ）は全体画像を示し、（ｂ）は拡大画像を示している。
【図３９】前処理にて撮像された撮像画像から得られる配置関係情報を示す説明図であり、（ａ）は画像横方向及び縦方向距離と方向とからなる配置関係情報を示している。また、（ｂ）は顔部位間の線分及び画像水平方向との角度からなる配置関係情報を示している。
【図４０】今回処理にて撮像された撮像画像から得られる連続データを示す説明図である。
【図４１】他顔部位探査領域の設定の様子を示す説明図であり、（ａ）は画像横方向及び縦方向距離と方向とからなる配置関係情報に基づく設定の様子を示しており、（ｂ）は顔部位間の線分及び画像水平方向との角度からなる配置関係情報に基づく設定の様子を示している。
【図４２】他顔部位探査領域の設定処理の様子を示す要部説明図である。
【図４３】前処理にて撮像された撮像画像から得られる配置関係情報を示す説明図であり、被検出者が顔の向きを変えた場合を示している。
【図４４】今回処理にて撮像された撮像画像から得られる連続データを示す説明図であり、（ａ）は全体画像例を示しており、（ｂ）は拡大画像例を示している。
【図４５】他顔部位探査領域の設定の様子を示す説明図である。
【図４６】被検出者が眼鏡を着用している場合に、前処理にて得られる画像例を示す説明図である。
【図４７】被検出者が眼鏡を着用している場合に今回処理にて得られる画像例を示す説明図である。
【図４８】複数の微小画像例を示す説明図である。
【図４９】眼鏡着用時の他顔部位探査領域の設定の様子を示す説明図である。
【図５０】連続データ抽出領域を設定する場合に前処理にて得られる画像例を示す説明図である。
【図５１】今回得られた撮像画像上に連続データ抽出領域を設定したときの一例を示す図である。
【図５２】他顔部位探査領域及びこの領域の抽出領域の設定の様子を示す説明図である。
【符号の説明】
１…顔部位追跡装置
２…ＴＶカメラ
３…マイクロコンピュータ
１０…撮像部（撮像手段）
２０…顔部位検出部
３０…配置関係取得部（配置関係取得手段）
４２ａ…基準顔部位探査領域設定部（基準顔部位探査領域設定手段）
４２ｂ…他顔部位探査領域設定部（他顔部位探査領域設定手段）
４３ａ…基準顔部位位置検出部（基準顔部位位置検出手段）
４３ｂ…他顔部位位置検出部（他顔部位位置検出手段）
【発明の属する技術分野】
本発明は、顔部位追跡装置に関する。
【０００２】
【従来の技術】
従来、被検出者の顔を撮像して得られた撮像画像から、追跡の対象となる顔の部位（眼など）を検出し、顔部位を追跡していく顔部位追跡装置が知られている。この装置では、例えば、被検出者の顔の横幅から眼の存在領域の横方向位置を検出し、その後、所定の処理を行って眼の存在領域の縦方向位置を検出している（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開平０４−２４５０３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記装置では、撮像画像の全体から所望する顔部位の存在領域を決定しているため、以下の問題点を有する。すなわち、時系列的に入力される撮像画像に基づいて顔部位を追跡していく場合、撮像画像の全体に対して処理を行わなければならず、処理時間が長くなってしまう。また、検出した顔部位が追跡対象となる顔部位か否かを判別するための処理も行わなければならず、検出精度に不安がある。
【０００５】
そして、このような状況下、複数の顔部位を検出する場合には、上記処理時間及び検出精度の問題は一層顕著なものとなる。
【０００６】
【課題を解決するための手段】
本発明によれば、被検出者の顔部位の動きを追跡する顔部位追跡装置であって、撮像手段は、被検出者の顔を撮像して、複数の顔部位のうち基準となる基準顔部位及び基準顔部位以外の他顔部位を含む撮像画像を取得し、基準顔部位探査領域設定手段は、取得した撮像画像内に、所定の情報に基づいて、画像全体よりも狭くされた基準顔部位追跡用の基準顔部位探査領域を設定し、基準顔部位位置検出手段は、基準顔部位探査領域設定手段により設定された基準顔部位探査領域内から、基準顔部位の位置を検出し、他顔部位探査領域設定手段は、基準顔部位位置検出手段により検出された基準顔部位の位置と、各顔部位の相対位置を示す配置関係情報とに基づいて、撮像画像に対し、画像全体よりも狭くされた他顔部位追跡用の他顔部位探査領域を設定し、他顔部位位置検出手段は、他顔部位探査領域設定手段により設定された他顔部位探査領域内から、他顔部位の位置を検出する。
【０００７】
【発明の効果】
本発明によれば、所定の情報に基づいて、画像全体よりも狭くされた領域を基準顔部位追跡用の基準顔部位探査領域を設定している。また、他顔部位探査領域も画像全体より小さくされている。このため、これら探査領域の設定後においては、この領域内から顔部位を検出すればよく、画像全体から顔部位を検出する場合に比して、検出処理を迅速に行うことができる。
【０００８】
また、他顔部位探査領域は基準顔部位の位置と配置関係情報とに基づいて設定されている。このため、他顔部位のおおよその位置を含んだ他顔部位探査領域を設定でき、他顔部位が存在する可能性の高い領域を設定することができる。
【０００９】
従って、複数の顔部位の追跡に際し、処理時間及び検出精度の面で向上を図ることができる。
【００１０】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【００１１】
図１は、本発明の実施形態に係る顔部位追跡装置の構成を示す機能ブロック図である。同図に示すように、顔部位追跡装置１は、被検出者の顔を撮像し、得られた画像に基づいて、顔部位の動きを追跡するものであって、撮像部（撮像手段）１０を備えている。また、顔部位追跡装置１は、顔部位検出部２０と、配置関係取得部（配置関係取得手段）３０と、顔部位追跡部４０とを備えている。
【００１２】
撮像部１０は、被検出者の顔を撮像することにより、複数の顔部位のうち基準となる基準顔部位及び基準顔部位以外の他顔部位を含む撮像画像を取得するものである。また、撮像部１０は、入力した撮像画像のデータを、顔部位検出部２０及び顔部位追跡部４０に送出する構成とされている。
【００１３】
ここで、上記基準顔部位とは、被検出者の顔部位（眼や鼻や口など）のうちのいずれか１つの顔部位であり、後の処理の基準とされるものである。また、他顔部位は、基準顔部位以外の顔部位であって、例えば基準顔部位が左眼である場合の右眼や鼻や口などが該当する。
【００１４】
顔部位検出部２０は、入力した撮像画像の全体から複数の顔部位を検出するものである。また、顔部位検出部２０は、配置関係取得部３０及び顔部位追跡部４０に接続されており、検出した複数の顔部位の位置情報をこれらに送出する構成とされている。
【００１５】
配置関係取得部３０は、顔部位検出部２０等にて検出された複数の顔部位の位置に基づいて、配置関係情報を求めるものである。この配置関係情報とは、各顔部位の相対的位置を示すものである。より具体的には１の顔部位に対する他の顔部位の位置等を示すものであり、例えば、基準顔部位が左眼である場合に、左眼に対する右眼、鼻、口それぞれの位置を示すものである。
【００１６】
顔部位追跡部４０は、撮像部１０、顔部位検出部２０及び配置関係取得部３０からの信号に基づいて、複数の顔部位の動きを追跡するものである。この顔部位追跡部４０は、基準顔部位設定部４１と、顔部位探査領域設定部４２と、顔部位位置検出部４３とを備えている。
【００１７】
基準顔部位設定部４１は、複数の顔部位から基準顔部位を選定するものである。すなわち、ここで選定されたものが基準顔部位となり、選定されなかったものが他顔部位となる。また、基準顔部位設定部４１は、顔部位探査領域設定部４２に接続されており、選定した基準顔部位の情報をこれに送出する構成とされている。
【００１８】
顔部位探査領域設定部４２は、撮像画像に対し、画像全体よりも狭い顔部位探査領域を設定するものである。また、顔部位探査領域設定部４２は、顔部位位置検出部４３に接続されており、これに探査領域の情報を送出する構成とされている。
【００１９】
顔部位位置検出部４３は、顔部位探査領域設定部４２により設定された探査領域内から顔部位の位置を検出するものである。すなわち、顔部位位置検出部４３は、画像全体よりも狭く設定された領域内から顔部位を検出するものである。従って、顔部位位置検出部４３は、画像全体に対し顔部位を検出する顔部位検出部２０よりも、迅速に検出処理が行えるようになっている。
【００２０】
ここで、上記顔部位探査領域設定部４２は、基準顔部位探査領域設定部（基準顔部位探査領域設定手段）４２ａと、他顔部位探査領域設定部（他顔部位探査領域設定手段）４２ｂとを有している。
【００２１】
基準顔部位探査領域設定部４２ａは、所定の情報に基づいて、画像全体よりも狭くされた基準顔部位追跡用の基準顔部位探査領域を設定するものである。また、基準顔部位探査領域設定部４２ａは、基準顔部位探査領域の設定後、この領域情報を顔部位位置検出部４３に送出する構成とされている。
【００２２】
顔部位位置検出部４３は、基準顔部位位置検出部（基準顔部位位置検出手段）４３ａと、他顔部位位置検出部（他顔部位位置検出手段）４３ｂとを備えている。
【００２３】
基準顔部位位置検出部４３ａは、基準顔部位探査領域設定部４２ａにより設定された基準顔部位探査領域内から基準顔部位の位置を検出するものである。この基準顔部位位置検出部４３ａは、他顔部位探査領域設定部４２ｂに接続されており、検出した基準顔部位の位置の情報をこれに送出する構成とされている。
【００２４】
他顔部位探査領域設定部４２ｂは、基準顔部位位置検出部４３ａからの基準顔部位の位置の情報を入力するものである。また、これに加えて他顔部位探査領域設定部４２ｂは、配置関係取得部３０から配置関係情報を入力する構成とされている。
【００２５】
そして、他顔部位探査領域設定部４２ｂは、入力した情報、すなわち基準顔部位の位置と配置関係情報とに基づいて、撮像画像に対し、画像全体よりも狭くされた他顔部位追跡用の他顔部位探査領域を設定する。さらに、他顔部位探査領域設定部４２ｂは、設定後に、探査領域の情報を他顔部位位置検出部４３ｂに送出する構成とされている。
【００２６】
他顔部位位置検出部４３ｂは、他顔部位探査領域設定部４２ｂにより設定された他顔部位探査領域内から他顔部位の位置を検出するものである。ここで、上記他顔部位探査領域設定部４２ｂにより設定された他顔部位探査領域は、他顔部位が存在する可能性が高いものとして設定されている。
【００２７】
通常、被検出者の顔各部位の位置は、被検出者が顔の向きを変えることにより、撮像画像中において移動するが、相対位置（例えば眼に対する鼻の位置）はさほど変化しない。このため、複数の顔部位のうち１つでも位置が特定できれば、全ての顔部位の位置が特定できることとなる。
【００２８】
ここで、他顔部位探査領域の設定時点においては、既に基準顔部位の位置が検出されている。故に、被検出者が顔をどのように動かしたとしても、基準顔部位の位置が定まっているので、他顔部位のおおよその位置を決定することができる。すなわち、基準顔部位の位置と配置関係情報とに基づくことで、他顔部位のおおよその位置を含んだ他顔部位探査領域を設定できることとなる。よって、他顔部位探査領域は、他顔部位が存在する可能性が高いものとなる。
【００２９】
次に、顔部位追跡装置１の動作の概略について説明する。まず、顔部位追跡装置１は、取得した画像から複数の顔部位の位置を検出して、配置関係情報を求める。
【００３０】
すなわち、撮像部１０が被検出者の顔を撮像し、得られた画像データを顔部位検出部２０に送信する。これを受けた顔部位検出部２０は、画像全体から複数の顔部位の位置を検出する。そして、顔部位検出部２０は、検出した複数の顔部位の位置情報を配置関係取得部３０に送出する。
【００３１】
位置情報を受けた配置関係取得部３０は、検出された複数の顔部位の位置に基づいて、配置関係情報を求める。この際、配置関係取得部３０は、配置関係情報として、複数の顔部位のうち１の顔部位とこれ以外の顔部位との画像縦方向距離及び横方向距離を求める。さらに、配置関係取得部３０は、画像上において、１の顔部位から当該１の顔部位以外の顔部位へ向かう方向を求める。
【００３２】
また、配置関係取得部３０は、上記に限らず、画像上において１の顔部位と当該１の顔部位以外の顔部位とを結ぶ線分の長さを求め、この線分と画像所定方向との角度を求めるようにしてもよい。
【００３３】
そして、配置関係取得部３０は、配置関係情報を顔部位追跡部４０に送出する。
【００３４】
次に、顔部位検出装置１は、上記処理の後に、新たに撮像部１０によって撮像された画像に対して顔部位の追跡を行っていく。
【００３５】
すなわち、撮像部１０が撮像画像を取得し、画像データを顔部位追跡部４０に送信する。これを受けた顔部位追跡部４０の基準顔部位設定部４１は、例えば顔部位検出部２０等により検出された各顔部位の位置などに基づいて、基準顔部位を選定する。そして、選定した基準顔部位の情報を顔部位探査領域設定部４２の基準顔部位探査領域設定部４２ａに送出する。
【００３６】
基準顔部位探査領域設定部４２ａは、画像全体よりも狭くされた基準顔部位追跡用の基準顔部位探査領域を設定する。このとき、基準顔部位探査領域設定部４２ａは、所定の情報に基づいて基準顔部位探査領域を設定する。ここで、所定の情報とは、過去に撮像画像から検出された基準顔部位の位置の情報である。すなわち、基準顔部位探査領域設定部４２ａは、例えば、前撮像画像以前の撮像画像における基準顔部位の位置を元に領域を定義し、この定義した領域を前記基準顔部位探査領域として設定する。なお、前撮像画像とは、前回の撮像処理により得られた撮像画像をいう。
【００３７】
また、所定の情報は、過去に取得された２以上の撮像画像から求まる基準顔部位の移動量であってもよい。すなわち、基準顔部位探査領域設定部４２ａは、例えば、過去の撮像された２以上の撮像画像を解析し、基準顔部位の移動量を求める。そして、この移動量に基づく位置を中心位置として基準顔部位探査領域を設定する。
【００３８】
さらに、基準顔部位探査領域の大きさは、例えば、被検出者が顔の向きを変えたときに、サンプリング時間中に基準顔部位が移動する移動量に基づいて、決定される。このサンプリング時間は、本装置１の撮像速度や画像処理速度等に依存するものであり、例えば１／３０秒程度である。
【００３９】
基準顔部位探査領域の設定後、基準顔部位探査領域設定部４２ａは、基準顔部位探査領域の情報を顔部位位置検出部４３の基準顔部位位置検出部４３ａに送出する。
【００４０】
領域の情報を受けた基準顔部位位置検出部４３ａは、設定された基準顔部位探査領域内から基準顔部位の位置を検出する。この検出は、例えば濃度値等の情報に基づいてなされる。そして、検出後、基準顔部位位置検出部４３ａは、基準顔部位の位置情報を他顔部位探査領域設定部４２ｂに送出する。
【００４１】
基準顔部位の位置情報を受けた他顔部位探査領域設定部４２ｂは、検出した基準顔部位の位置と配置関係情報とに基づいて、撮像画像に対し、画像全体よりも狭くされた他顔部位追跡用の他顔部位探査領域を設定する。そして、他顔部位探査領域の設定後、他顔部位探査領域設定部４２ｂは、設定した領域の情報を他顔部位位置検出部４３ｂに送出する。
【００４２】
そして、他顔部位位置検出部４３ｂは、他顔部位探査領域内から他顔部位の位置を検出する。以後、本装置１は、撮像画像毎に上記位置検出を繰り返し、複数の顔部位を追跡していく。
【００４３】
ここで、上記他顔部位探査領域の大きさは、基準顔部位探査領域以下の大きさとされることが望ましい。これは以下の理由による。
【００４４】
基準顔部位探査領域は、過去の撮像画像における基準顔部位の位置等に基づいて設定されるものである。このため、過去から現在にかけて被検出者が顔を動かした場合には、過去の基準顔部位の位置に基づく基準顔部位探査領域内には、現時刻において基準顔部位が存在しないことがあり得る。従って、基準顔部位は、被検出者の顔の移動を考慮して、或る程度の大きさにしておく必要がある。
【００４５】
一方、他顔部位探査領域は、上述のように、現撮像画像から検出された基準顔部位の位置に基づいて設定される。すなわち、他顔部位探査領域は、現在の情報に基づいて設定されるものであり、時間的な影響を受けないものといえる。そして、時間的影響を受けないことから、当然に過去から現在にかけて被検出者が顔を動かした場合にも何ら影響がないこととなる。
【００４６】
故に、他顔部位探査領域は、被検出者が顔の動きを考慮する必要がない分だけ、基準顔部位探査領域よりも狭くすることが可能である。そして、本実施形態では、他顔部位探査領域の大きさを基準顔部位探査領域以下の大きさとすることで、処理速度の向上を図っている。
【００４７】
なお、本装置１は、自動車、鉄道車両、船舶の被検出者やプラントのオペレータ等の顔部位追跡に用いることができるが、以下の説明においては、自動車の被検出者の顔部位追跡に適用した場合で説明する。また、以下の説明では、基準顔部位を被検出者の左眼とし、他顔部位を右眼として説明するが、これに限らず、基準顔部位及び他顔部位は眉、鼻、口、耳などであっても構わない。また、他顔部位は１つでなく複数であっても構わない。
【００４８】
図２は、本発明の実施形態に係る顔部位追跡装置の示すハード構成図である。同図に示すように、撮像部１０としてＴＶカメラ２が自動車のインストルメント上に設けられている。
【００４９】
ＴＶカメラ２は、被検出者を略正面から撮像できる位置に設置されており、少なくとも被検出者の顔部分を撮影するようにされている。このＴＶカメラ２の入力画像は、本実施形態では、例えば横方向（Ｘ）６４０画素、縦方向（Ｙ）４８０画素からなる。
【００５０】
前記ＴＶカメラ２で撮像された入力画像は、インストルメント裏側など車体内部に設置されたマイクロコンピュータ３に画像データとして入力される。
【００５１】
マイクロコンピュータ３には、顔部位検出部２０、配置関係取得部３０及び顔部位追跡部４０を構成するプログラムロジックがプログラミングされている。なお、顔部位追跡部４０のプログラムロジックは、基準顔部位設定部４１、顔部位探査領域設定部４２及び顔部位位置検出部４３のそれぞれのロジックを含むものである。
【００５２】
また、顔部位探査領域設定部４２のプログラムロジックは、基準顔部位探査領域設定部４２ａ、及び他顔部位探査領域設定部４２ｂのロジックを含んでいる。さらに、顔部位位置検出部４３のプログラムロジックは、基準顔部位位置検出部４３ａ、及び他顔部位位置検出部４３ｂのロジックを含んでいる。
【００５３】
次に、本実施形態に係る顔部位追跡装置１の動作について説明する。図３は、本実施形態に係る顔部位追跡装置１の動作の概略を示すメインフローチャートである。同図に示すように、まず、処理が開始されると、マイクロコンピュータ３は、初期値入力処理を実行する（ＳＴ１）。この初期値入力の処理では、サンプリング時間などの各種定数が読み込まれる。
【００５４】
そして、マイクロコンピュータ３は、全ての顔部位が見つかっているか否かを示す顔部位検出フラグ「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定する（ＳＴ２）。その後、マイクロコンピュータ３は、処理フレームカウンタ「ｉ」を「０」に初期化する（ＳＴ３）。
【００５５】
初期化後、マイクロコンピュータ３は、終了判断処理を実行する（ＳＴ４）。この際、マイクロコンピュータ３は、例えばエンジンが起動しているか等に基づいて判断を行う。
【００５６】
そして、マイクロコンピュータ３は、「ＳＴＯＰ」か否かを判断する（ＳＴ５）。例えばエンジンが起動されていないと判断した場合、マイクロコンピュータ３は、「ＳＴＯＰ」であると判断し（ＳＴ５：ＹＥＳ）、処理は終了することとなる。
【００５７】
一方、エンジンが起動され走行しているなどにより、「ＳＴＯＰ」でないと判断した場合（ＳＴ５：ＮＯ）、マイクロコンピュータ３は、顔画像の撮像処理を実行する（ＳＴ６）。これにより、ＴＶカメラ２は、被検出者の顔を撮像する。
【００５８】
その後、マイクロコンピュータ３は、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」か否かを判断する（ＳＴ７）。すなわち、全ての顔部位が見つかっているか否かを判断する。
【００５９】
顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」であり、いずれかの顔部位が見つかっていないと判断した場合（ＳＴ７：ＹＥＳ）、マイクロコンピュータ３は、顔部位検出処理を実行する（ＳＴ８）。このステップＳＴ８の処理は、主として、図１にて説明した顔部位検出部２０にて行われる処理である。すなわち、マイクロコンピュータ３は、顔部位検出部２０に相当するプログラムを実行することとなる。なお、この処理において、全ての顔部位が見つけられた場合には、後述するが、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」とされることとなる。
【００６０】
顔部位検出処理の実行後、マイクロコンピュータ３は、処理フレームカウンタ「ｉ」をインクリメントする（ＳＴ９）。そして、処理は、ステップＳＴ４に戻る。
【００６１】
その後、上記したステップＳＴ４〜ＳＴ６を経て、ステップＳＴ７に至る。このとき、前述の顔部位検出処理（ＳＴ８）において、全ての顔部位が見つけられていた場合には、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」となっている。
【００６２】
このため、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」でないと判断されて（ＳＴ７：ＮＯ）、マイクロコンピュータ３は追跡処理を実行する（ＳＴ１０）。このステップＳＴ１０の処理は、主として図１にて説明した顔部位追跡部４０にて行われる処理である。すなわち、マイクロコンピュータ３は、顔部位追跡部４０に相当するプログラムを実行する。そして、顔部位の追跡が行われる。
【００６３】
その後、処理はステップＳＴ９に移行し、処理フレームカウンタをインクリメント後、再度処理はステップＳＴ４に戻る。以上の処理が、ステップＳＴ５にて「ＹＥＳ」と判断されるまで繰り返されることとなる。
【００６４】
なお、図１を参照して説明したように、顔部位検出部２０は、撮像画像全体に対して処理を行い、複数の顔部位を検出する。一方、顔部位追跡部４０は、撮像画像に領域を設定し、その領域内から基準顔部位又は他顔部位を検出していくようにしている。
【００６５】
このため、本装置１は、少なくとも一度は画像全体に対して処理を行うものの、その後は画像の一部に対して処理を行うこととなり、常に画像全体に処理を行う装置に比して、迅速な処理を行うことができる。
【００６６】
次に、顔部位検出処理（ＳＴ８）の詳細な動作について説明する。図４は、図３に示した顔部位検出処理（ＳＴ８）の詳細な動作を示すフローチャートである。
【００６７】
同図に示すように、ステップＳＴ７にて「ＹＥＳ」と判断された場合、マイクロコンピュータ３は、顔部位である可能性を有する候補の位置の特定処理を実行する（ＳＴ１１）。この処理により、画像全体から候補の位置が１又は複数特定される。具体的には、画像全体から左眼及び右眼である可能性を有する候補の位置が１又は複数特定される。
【００６８】
その後、マイクロコンピュータ３は、候補の選定処理を行う（ＳＴ１２）。この処理は、ステップＳＴ１１において選定された１又は複数の候補のうち、後述のステップＳＴ１４における判定の対象となるものを選定する処理である。
【００６９】
一方、この処理により選定されなかったものは、判定の対象から除外されることとなる。例えば、既に左眼であることがわかっている候補については判定を行う必要がない。このため、本処理では、上記特定された候補のうち、顔部位であることが明らかなものについて除外している。
【００７０】
従って、本装置１の起動時には、左眼又は右眼であることが明らかな候補がないものの、処理が行われ左眼又は右眼が特定されると、その候補は除外されていくこととなる。
【００７１】
その後、マイクロコンピュータ３は、判定する顔部位の設定処理を行う（ＳＴ１３）。すなわち、マイクロコンピュータ３は、左眼と右眼とのうち先に特定するものを選択し、選択した左眼又は右眼の判定用パラメータを設定する。
【００７２】
設定処理終了後、マイクロコンピュータ３は、顔部位判定処理を実行する（ＳＴ１４）。すなわち、ステップＳＴ１１により特定された候補であって、且つステップＳＴ１２にて除外されなかったもののうち１つを対象とし、その１つがステップＳＴ１３にて選択された所望する顔部位であるか否かを判断する。
【００７３】
その後、マイクロコンピュータ３は、顔部位判定処理（ＳＴ１４）の結果に基づいて候補が所望する顔部位であったと判定されたか否かを判断する（ＳＴ１５）。
【００７４】
所望する顔部位であったと判定されていなかった場合（ＳＴ１５：ＮＯ）、マイクロコンピュータ３は、ステップＳＴ１１にて特定され及びステップＳＴ１２において除外されなかった候補のすべてについて判定したか否かを判断する（ＳＴ１９）。
【００７５】
すべてについて判定した場合（ＳＴ１９：ＹＥＳ）、処理は図３のステップＳＴ９に移行する。一方、すべてに対して判定していない場合（ＳＴ１９：ＮＯ）、処理はステップＳＴ１４に戻る。
【００７６】
そして、マイクロコンピュータ３は、ステップＳＴ１４にて、他の候補を選択し、再度、選択した候補が所望する顔部位であるか否かを判断する。
【００７７】
ところで、ステップＳＴ１５において、所望する顔部位であると判定されていた場合（ＳＴ１５：ＹＥＳ）、マイクロコンピュータ３は、検出対象となる顔部位のすべてを判定し終えたか否かを判断する（ＳＴ１６）。すなわち、左眼及び右眼の双方について候補との判定し終えたか否かを判定する。
【００７８】
すべての検出対象について判定し終えていないと判断した場合（ＳＴ１６：ＮＯ）、処理はステップＳＴ１２に戻る。一方、すべてを判定し終えたと判断した場合（ＳＴ１６：ＹＥＳ）、マイクロコンピュータ３は、顔部位検出フラグ「ＧｅｔＦｌａｇ」を「ＴＲＵＥ」にする（ＳＴ１７）。
【００７９】
その後、マイクロコンピュータ３は、各顔部位の位置関係の取得処理を行う（ＳＴ１８）。すなわち、配置関係情報を取得する。なお、このステップＳＴ１８の処理は、図１にて説明した配置関係取得部３０にて行われる処理である。すなわち、マイクロコンピュータ３は、配置関係取得部３０に相当するプログラムを実行することとなる。そして、処理は図３のステップＳＴ９に移行する。
【００８０】
ここで、全ての顔部位、特に２つ以上の顔部位が見つかっていない場合には、配置関係情報を求めることができない。このため、マイクロコンピュータ３は、ステップＳＴ１８において他の処理を行う。例えば、配置関係情報を求めず、「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定する処理などである。
【００８１】
以上のようにして、本装置１では、顔部位である可能性を有する１又は複数の候補を特定し、特定された１又は複数の候補を１つずつ判定して被検出者の複数の顔部位を検出している。なお、顔部位である可能性を有する候補を特定する処理（ステップＳＴ１１の処理）は、以下のようにして行われる。
【００８２】
図５は、図４に示した候補位置特定処理（ＳＴ１１）の詳細を示すフローチャートである。同図において、まず、マイクロコンピュータ３は、撮像した画像のデータ全体を、全体画像として画像メモリに保存する（ＳＴ２１）。
【００８３】
次に、マイクロコンピュータ３は、ステップＳＴ２２の判断を行う。この判断については後述する。ステップＳＴ２２において「ＮＯ」と判断された場合、マイクロコンピュータ３は、全体画像の縦方向（Ｙ軸方向）の画素列のうち１ラインのみに沿って濃度値の相加平均演算を行う（ＳＴ２３）。
【００８４】
この相加平均演算は、例えば縦方向に並ぶ所定数の画素について、濃度の平均値を求め、所定数の画素のうちの１画素の濃度値を前記平均値とする処理である。例えば、所定数が「５」である場合、画面上方から１〜５番目に位置する画素を選択して平均値を求め、この平均値を５番目の画素の濃度値とする。次に、画面上方から２〜６番目に位置する画素を選択して平均値を求め、この平均値を６番目の画素の濃度値とする。そして、これを順次繰り返し、１ラインすべての画素について濃度の平均値を求める。
【００８５】
このように相加平均演算することで、本装置１は、画像データ撮影時の濃度値の変化の小さなバラツキを無くすことができ、濃度値の大局的な変化を捉えることができる。
【００８６】
相加平均演算後、マイクロコンピュータ３は、縦方向に相加平均値の微分演算を行う（ＳＴ２４）。そして、マイクロコンピュータ３は、微分値に基づいてポイント抽出を行う（ＳＴ２５）。このポイント抽出とは、縦方向の画素列に沿って画素濃度の相加平均値の局所的な高まり毎に１個ずつの画素を定める処理であって、例えば相加平均値の微分値が負から正に変化する画素を定める処理である。
【００８７】
ポイントとなる画素を定めた後、マイクロコンピュータ３は、現在ポイント抽出していたラインを次ラインへ切り替える（ＳＴ２６）。
【００８８】
そして、マイクロコンピュータ３は、縦方向の全ラインでのポイント抽出が終了したか否かを判断する（ＳＴ２２）。全ラインでのポイント抽出が終了していないと判断した場合（ＳＴ２２：ＮＯ）、前述のステップＳＴ２３〜ＳＴ２６の処理を経て、再度ステップＳＴ２２に戻る。
【００８９】
一方、全ラインでのポイント抽出が終了したと判断した場合（ＳＴ２２：ＹＥＳ）、隣り合う各ラインの抽出ポイントのＹ座標値を比較する。そして、Ｙ座標値が所定値以内の場合、連続データとして、（ｉ）連続データのグループ番号、（ｉｉ）連続開始ライン番号、及び（ｉｉｉ）連続データ数をメモリする。また、（ｉｖ）連続データを構成する各抽出ポイントの縦方向位置の平均値（その連続データの代表上下位置）、及び（ｖ）連続開始ラインと終了ラインの横方向位置の平均値（その連続データの代表左右位置）をメモリする（ＳＴ２７）。
【００９０】
なお、本実施形態では、顔部位を眼としているため、連続データは横方向比較的長く延びるものとなる。このため、マイクロコンピュータ３は、連続データ形成後、横方向に所定値以上続くことを条件に連続データを選択することができる。
【００９１】
その後、マイクロコンピュータ３は、各連続データについて代表座標値Ｃを定め、これを基準として存在領域ＥＡを設定する（ＳＴ２８）。この代表座標値Ｃとは、ステップＳＴ２７の処理において、メモリされたＸ座標値の平均値及びＹ座標値の平均値により決定するものである（上記ｉｖ，ｖに示す平均値）。なお、存在領域ＥＡについては、図６〜図１０を参照して後述する。
【００９２】
代表座標値Ｃを定めて存在領域ＥＡを設定した後、処理は、図４のステップＳＴ１２に移行する。以上が、顔部位の候補位置特定処理（ＳＴ１１）である。以上のようにして、求められた連続データが候補となり、連続データの代表座標値Ｃが候補の位置（候補点）となる。
【００９３】
なお、上記処理の詳細は、特開平１０−４０３６１号公報、及び特開平１０−１４３６６９号公報にも記載されている。
【００９４】
次に、縦方向の画素列ごとに定められた抽出ポイントが画像横方向に隣接する場合に形成される連続データ、その連続データの代表座標値Ｃ及び存在領域ＥＡについて説明する。
【００９５】
図６は、図５に示したステップＳＴ２７の処理にて形成される連続データ、並びにステップＳＴ２８の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。なお、顔部位候補位置特定処理（ＳＴ１１）は、１又は複数の顔部位候補を特定するものであるが、図６では複数の顔部位候補が特定された場合を例に説明する。
【００９６】
同図に示すように、マイクロコンピュータ３は、複数の連続データＧを形成している。これは、眼を検出対象としているため、眼と似た特徴量を示すもの（口、鼻、眉毛など）が検出されるためである。
【００９７】
連続データＧは、前述したように、縦方向の画素列ごとに定められた抽出ポイントが画像横方向に隣接する場合に形成されるものである。そして、この連続データを形成する横方向両端の画素のＸ座標値の平均値と、連続データを形成する各画素のＹ座標値の平均値により、代表座標値Ｃが決定される。さらに、存在領域ＥＡは、この代表座標値Ｃを基準として設定される。
【００９８】
次に、存在領域ＥＡの設定方法を説明する。図７は、図６に示した存在領域ＥＡの大きさを示す説明図であり、図８及び図９は数人の眼の大きさを調べた横Ｘａ、縦Ｙａの長さの統計データを示す説明図であり、図１０は存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。
【００９９】
存在領域ＥＡの設定は、存在領域ＥＡの大きさが決定され、その後、存在領域ＥＡの画像上における位置が定められることでなされる。
存在領域ＥＡの大きさは、ノイズ（顔の皺や明暗などを抽出してしまう）の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。本実施形態では、数人の顔部位の大きさを調べ、それに余裕分（例えば×１．５倍）を加味して、存在領域ＥＡの大きさを決定している。すなわち、図８及び図９のように、顔部位の縦横寸法のデータを集め、その分布の例えば９５％をカバーする寸法に余裕分を考慮して決定する方法を採用している。
【０１００】
そして上記９５％をカバーする寸法、すなわち横寸法ｘａ、縦寸法ｙａに余裕分（×１．５）を加味して決定している（図７）。なお、存在領域ＥＡの大きさについては、画像処理により顔部位の幅や高さを推定し、縦横の大きさに余裕分を加える大きさとしてもよい。
【０１０１】
このように存在領域ＥＡの大きさが決定された後、マイクロコンピュータ３は、図１０に示すように、例えば眼の座標値（ｘ１，ｙ１）を基準に、基準点Ｐを決める。基準点Ｐは、眼の座標値（ｘ１，ｙ１）から距離ｘ２，ｙ２だけ離れた位置に定められるものである。
【０１０２】
そして、マイクロコンピュータ３は、点Ｐを基準に存在領域ＥＡの寸法ｘ３，ｙ３を描画する。これにより、存在領域ＥＡの位置が決定される。その後、画像全体で見つかった連続データＧすべてについて存在領域ＥＡを設定する。
【０１０３】
なお、上記のｘ２及びｙ２はｘ３，ｙ３の１／２であって、予め存在領域ＥＡが眼の中心にくるような長さとすることが望ましい。
【０１０４】
以上の図５〜図１０の処理により、図４の顔部位候補位置特定処理（ＳＴ１１）がなされる。
【０１０５】
次に、図４の顔部位判定処理（ＳＴ１４）について説明する。図１１は、図４に示した顔部位判定処理（ＳＴ１４）の詳細を示すフローチャートである。なお、図１１においては、左眼を検出する場合の処理を説明する。
【０１０６】
まず、マイクロコンピュータ３は、図５の処理にて求められた左眼の存在領域ＥＡの画像データを微少画像ＩＧとして画像メモリに保存する（ＳＴ３１）。全体画像と画像メモリに保存される微小画像ＩＧとの状態を図１２に示す。図１２は、微小画像を示す説明図である。図１２に示すように、マイクロコンピュータ３は、全体画像から左眼の存在領域ＥＡ内の画像を抽出し、微小画像ＩＧとしている。
【０１０７】
再度、図１１を参照して説明する。マイクロコンピュータ３は、全体画像の代表座標値Ｃを微少画像ＩＧの代表座標値ＩＣとする。そして、マイクロコンピュータ３は、微少画像ＩＧの代表座標値ＩＣを基準とした範囲ＡＲを設定し、範囲ＡＲの濃度情報をもとに二値化閾値を設定する（ＳＴ３２）。
【０１０８】
範囲ＡＲでの二値化閾値の算出方法の一例を、図１３を参照して説明する。図１３は、範囲ＡＲでの二値化閾値の算出方法の説明図である。まず、マイクロコンピュータ３は、範囲ＡＲにおいて縦方向に数ラインの濃度値の読み出しを行う。
【０１０９】
そして、マイクロコンピュータ３は、各ラインにおいて濃度値の最も高い（明るい）濃度値と、最も低い（暗い）濃度値をメモリしていく。全ラインのメモリが終了したら、マイクロコンピュータ３は、各ラインの最も高い（明るい）濃度値の中で、一番低い濃度値（皮膚の部分）と、各ラインの最も低い（暗い）濃度値の中で、一番低い濃度値（眼の部分）とを求める。そして、その中央値を二値化閾値とする。
【０１１０】
なお、上記した範囲ＡＲは、好適に二値化閾値を決定するため、眼の黒い部分と眼の周囲の皮膚の白い部分が入るように設定される。また、範囲ＡＲは、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさにされる。
【０１１１】
さらに、二値化閾値は、範囲ＡＲ内の眼の一番低い（暗い）濃度値と、皮膚の部分の一番低い（暗い）濃度値の中央値とすることで、皮膚の部分から眼の部分を切り出すのに適した値になる。
【０１１２】
ここで、二値化閾値を決定するのに皮膚部分における一番低い（暗い）濃度値を用いている理由は、次の通りである。例えば、範囲ＡＲの一部に直射光が当たっている場合、皮膚部分は、眼球の黒色部分に比して、光を強く反射する傾向にある。このため、本装置１は、多くのノイズともいえる光を入力してしまうこととなる。
【０１１３】
この場合、濃度値を読み出す範囲ＡＲを極力小さくしても、画像がノイズ光による影響を受け、本装置１は正確な二値化閾値を決定できなくなってしまう。このため、本実施形態では、強く反射している可能性がある濃度値の高い部分を用いず、皮膚の部分の濃度値の一番低い（暗い）濃度値を用いることで、より適切な二値化閾値を決定できるようにしている。
【０１１４】
再度、図１１を参照して説明する。二値化閾値の決定後、マイクロコンピュータ３は、決定した二値化閾値を用いて微少画像ＩＧを二値化処理し、二値画像ｂＧとして画像メモリに保存する（ＳＴ３３）。
【０１１５】
次に、マイクロコンピュータ３は、全体画像の代表座標値Ｃを二値画像ｂＧの位置ｂＣとし、この位置ｂＣを初期位置として設定する（ＳＴ３４）。その後、マイクロコンピュータ３は、設定位置が黒画素か否かを判断する（ＳＴ３５）。ここでは、ステップＳＴ３５において設定された初期位置が黒画素か否か判断される。
【０１１６】
そして、設定位置が黒画素でないと判断した場合（ＳＴ３５：ＮＯ）、マイクロコンピュータ３は、設定位置を上下左右に１画素ずつずらす（ＳＴ３６）。その後、マイクロコンピュータ３は、再度、設定位置が黒画素か否かを判断する。ここでは、ステップＳＴ３６においてずらされた設定位置が黒画素か否か判断される。そして、黒画素と判断されるまで、この処理が繰り返される。
【０１１７】
一方、設定位置が黒画素であると判断した場合（ＳＴ３５：ＹＥＳ）、マイクロコンピュータ３は、その黒画素の連結成分を候補オブジェクトとして設定する（ＳＴ３７）。そして、マイクロコンピュータ３は、候補オブジェクトの幾何形状を算出する（ＳＴ３８）。
【０１１８】
算出後、マイクロコンピュータ３は、予め記憶している左眼のテンプレートの幾何形状と候補オブジェクトの幾何形状とを比較する（ＳＴ３９）。候補オブジェクトと左眼のテンプレートとの幾何形状の比較方法の一例を、図１４を参照して説明する。
【０１１９】
図１４は、候補オブジェクトと顔部位である左眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は左眼の右側が欠けた状態を示し、（ｃ）は左眼の左側が欠けた状態を示している。
【０１２０】
左眼の画像を二値化した形状は光環境が良く安定した画像であれば図１４（ａ）に示すようなものになる。ところが、車室内に直射日光が一側から当たる等して光環境が悪化したときには、図１４（ｂ）及び（ｃ）に示すように、一部が欠けた形状になることもある。
【０１２１】
マイクロコンピュータ３は、上記のような候補オブジェクトを正確に判断するために、３つの条件により比較判断を行う。まず、条件（ｉ）としては、横幅が眼の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることである。次に、条件（ｉｉ）としては、黒眼の左側の凹み形状があることである。また、条件（ｉｉｉ）としては、黒眼の右側の凹み形状があることである。
【０１２２】
再度、図１１を参照して説明する。幾何形状の比較後、マイクロコンピュータ３は、上記３つの条件に基づき、比較判断を行い、候補オブジェクトと左眼テンプレートとの幾何形状が一致するか否かを判断する（ＳＴ４０）。ここで、図１４（ｂ）及び（ｃ）のように眼の形状の一部が欠けている場合を考慮し、マイクロコンピュータ３は、条件（ｉ）及び（ｉｉ）を満たすもの、並びに条件（ｉｉ）及び（ｉｉｉ）を満たすものを一致すると判断する。
【０１２３】
一致しないと判断した場合（ＳＴ４０：ＮＯ）、マイクロコンピュータ３は、その候補オブジェクトが左眼でないと判定し（ＳＴ４１）、その後、処理は、図４のステップＳＴ１５に移行する。
【０１２４】
一方、一致すると判断した場合（ＳＴ４０：ＹＥＳ）、マイクロコンピュータ３は、その候補オブジェクトが左眼であると判定する（ＳＴ４２）。そして、判定された候補オブジェクトの座標値（全体画像における代表座標値Ｃに相当する）を、画像上における左眼の座標値としてメモリする（ＳＴ４３）。
【０１２５】
その後、マイクロコンピュータ３は、一致と判断された候補オブジェクトを含む微小画像ＩＧを顔部位画像ＭＧｉとして、画像メモリに保存する（ＳＴ４４）。そして、処理は、図４のステップＳＴ１５に移行する。
【０１２６】
なお、図１１の処理では、二値化閾値を用いて二値化した候補オブジェクトを検出している。このため、本実施形態では、眼の部分と他の部分（背景や眼以外の顔部分）とを明確に区別し、眼を正確に捉えることができる。さらには、候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上させることができる。
【０１２７】
以上、図４〜図１４を参照して説明したように、マイクロコンピュータ３（顔部位検出部２０）は、入力した画像全体から、左眼を検出することとなる。なお、図１１では、左眼を検出する場合を説明しているが、右眼についても同様である。
【０１２８】
次に、図４に示した配置関係情報を取得処理（ＳＴ１８）の詳細を図１５及び図１６を参照して説明する。
【０１２９】
例えば、配置関係取得部３０は、配置関係情報として、複数の顔部位のうち１の顔部位と当該１の顔部位以外の顔部位との画像縦方向及び横方向の距離、並びに画像上において１の顔部位から１の顔部位以外の顔部位へ向かう方向を求める。図１５は、配置関係取得部３０が左右の眼間の画像縦方向及び横方向の距離と方向とを求める場合の様子を示す説明図である。
【０１３０】
同図に示すように、配置関係取得部３０は、顔部位検出部２０により検出された顔部位である左眼及び右眼の位置に基づいて、距離を求める。例えば、左眼の画像上における座標が（ＸＬ，ＹＬ）であり、右眼の画像上における座標が（ＸＲ，ＹＲ）であるとする。このとき、配置関係取得部３０は、各顔部位の画像横方向の距離として「ＸＬ−ＸＲ」という値を取得し、縦方向の距離として「ＹＬ−ＹＲ」という値を取得する。なお、「ＸＬ−ＸＲ」等を絶対値として求めないのは、画像上において左眼から右眼に向かう方向を求めるためである。
【０１３１】
また、配置関係取得部３０は、配置関係情報として、画像上において顔部位を結んだときの線分の長さ、及びその線分と画像所定方向とが為す角度を求めてもよい。図１６は、配置関係取得部３０が各顔部位間の線分の長さ及び所定方向と為す角度を求める場合の様子を示す説明図である。
【０１３２】
同図に示すように、配置関係取得部３０は、顔部位検出部２０により検出された顔部位である左眼及び右眼の位置に基づいて、距離を求める。同様に、左眼の画像上の座標位置が（ＸＬ，ＹＬ）であり、右眼の画像上の座標位置が（ＸＲ，ＹＲ）であるとする。このとき、配置関係取得部３０は、画像上において各顔部位を結んだ線分の長さとして、「｛（ＸＬ−ＸＲ）２＋（ＹＬ−ＹＲ）２｝１／２」という値を取得する。また、所定方向を画像横方向、すなわち水平方向とした場合、線分と画像所定方向とが為す角度として「ａｒｃｔａｎ｛（ＹＬ−ＹＲ）／（ＸＬ−ＸＲ）｝」という値を取得する。
【０１３３】
以上のようにして、配置関係取得部３０は、配置関係情報を取得する。そして、前述したように、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」とされた場合には、図３に示すように、顔部位追跡処理（ＳＴ１０）が実行される。
【０１３４】
図１７は、図３に示した追跡処理（ＳＴ１０）の詳細を示すフローチャートである。同図に示すように、ステップＳＴ７にて「ＮＯ」と判断された場合、マイクロコンピュータ３は、基準顔部位の設定処理を行う（ＳＴ５１）。これにより、基準顔部位として左眼が選定される。
【０１３５】
なお、このステップＳＴ５１の処理は、図１に示した基準顔部位設定部４１にて行われる処理である。すなわち、マイクロコンピュータ３は、基準顔部位設定部４１に相当するプログラムを実行することとなる。
【０１３６】
基準顔部位の選定後、マイクロコンピュータ３は、基準顔部位探査領域の設定処理を実行する（ＳＴ５２）。このステップＳＴ５２の処理は、図１に示した基準顔部位探査領域設定部４２ａにて行われる処理である。すなわち、マイクロコンピュータ３は、基準顔部位探査領域設定部４２ａに相当するプログラムを実行することとなる。図１８〜図１９を参照して、基準顔部位探査領域の設定処理を説明する。
【０１３７】
図１８は、基準顔部位探査領域の設定処理（ＳＴ５２）の詳細を示すフローチャートである。同図に示すように、マイクロコンピュータ３は、基準顔部位探査領域の位置を設定する（ＳＴ６１）。ここでは、例えば、顔部位検出部２０等により検出された過去の基準顔部位の位置に基づいて、基準顔部位探査領域の中心位置が設定される。
【０１３８】
より具体的には、前撮像画像（前回の撮像処理により得られた撮像画像をいう。以下同じ。）以前の撮像画像おける基準顔部位の位置から求められた基準顔部位のフレーム間移動量に従って、基準顔部位探査領域の中心位置が設定される。フレーム間移動量とは、上述したサンプリング時間中の移動量をいう。
【０１３９】
さらに詳細に説明すると、まず、マイクロコンピュータ３は、前回及び前々回の撮像画像から基準顔部位の移動量を求める。その後、前回の基準顔部位の位置に移動量を加えて、今回の基準顔部位の位置を推定する。そして、マイクロコンピュータ３は、推定した位置を基準顔部位探査領域の中心位置とする。
【０１４０】
以上のようにして、中心位置を設定すると、マイクロコンピュータ３は、基準顔部位探査領域の大きさを設定する（ＳＴ６２）。そして、マイクロコンピュータ３は、設定した中心位置及び大きさで基準顔部位探査領域を設定する（ＳＴ６３）。
【０１４１】
ここで、基準顔部位探査領域の大きさは以下のようにして決定される。図１９は、図１８に示した顔部位探査領域の大きさ設定処理（ＳＴ６３）の説明図であり、（ａ）は時刻ｔ０において撮像された画像を示し、（ｂ）は時刻ｔ１において撮像された画像を示し、（ｃ）は時刻ｔ２において撮像された画像を示し、（ｄ）は時刻ｔ３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【０１４２】
被検出者が顔の向きを変える場合、まず、時刻ｔ０において図１９（ａ）に示す画像が撮像される。このとき、被検出者は、ほぼ正面を視認している。その後、時刻ｔ１において、図１９（ｂ）に示す画像が撮像される。このとき、被検出者は、サイドミラー等を確認すべく、顔を右（図１９においては左側）に向け始める。顔の向きを右に向け始めたことから、被検出者の左眼の位置は、右側へ移動することとなる。
【０１４３】
そして、時刻ｔ２において、図１９（ｃ）に示す画像が撮像される。このとき、被検出者は、時刻ｔ１よりも、さらに顔を右に向けている。このため、左眼の位置は、さらに右側へ移動することとなる。
【０１４４】
その後、時刻ｔ３において、図１９（ｄ）に示す画像が撮像される。このとき、被検出者は、サイドミラー等を確認しており、顔を最も右側に向けた状態となっている。故に、左眼の位置は、最も右側へ移動したこととなる。
【０１４５】
そして、図１９（ｅ）に示すように、時刻ｔ０からｔ３に向かって、これら画像上の左眼の位置が徐々に移動していることがわかる。基準顔部位探査領域の大きさは、これら時刻ｔ０〜ｔ３までの各期間（ｔ０〜ｔ１，ｔ１〜ｔ２，ｔ２〜ｔ３）に移動する左眼位置が含まれるように設定される。
【０１４６】
さらに、基準顔部位探査領域の大きさは、被検出者が顔の向きを変えたときとして、被検出者が顔を上下左右に振っているときに基づいて、設定されることが望ましい。例えば、被検出者は顔の向きを変える意思がなくとも、車両の振動等により多少の顔の向きを変えてしまう場合がある。また、本装置１が振動により顔の向きが変わったと誤認する場合もある。このため、被検出者が顔を上下左右に振っているときを対象とし、明らかな被検出者の動作に基づいて基準顔部位探査領域の大きさを設定することが望ましくなる。
【０１４７】
再度、図１７を参照して説明する。ステップＳＴ５２の後、マイクロコンピュータ３は、基準顔部位の候補の特定処理を実行する（ＳＴ５３）。この処理は、図５に示した処理と同様であるので、説明を省略する。なお、図５に示した特定処理は画像全体に対して行っているが、ステップＳＴ５３における候補の特定処理は、基準顔部位探査領域内において行っている。
【０１４８】
すなわち、マイクロコンピュータ３は、基準顔部位探査領域内において、撮像画像の縦方向の画素列に沿って画素の濃度値を検出する。このとき、マイクロコンピュータ３は、相加平均演算を実行し、濃度の平均値を求める。そして、マイクロコンピュータ３は、検出された濃度平均値の局所的な高まり毎に１個ずつの画素を定めてポイント抽出する。その後、マイクロコンピュータ３は、縦方向の画素列ごとに定められたポイントが画像横方向に隣接する場合に、横方向に延びるポイント群の連続データＧを形成する。この連続データＧは、図５〜図９を参照して説明したものと同様である。そして、マイクロコンピュータ３は、形成された連続データＧの代表座標値Ｃを、候補の候補点とする。
【０１４９】
また、この処理は、図１に示した基準顔部位位置検出部４３ａにて行われる処理である。すなわち、マイクロコンピュータ３は、基準顔部位位置検出部４３ａに相当するプログラムを実行することとなる。
【０１５０】
その後、マイクロコンピュータ３は、基準顔部位の判定位置検出処理を実行する（ＳＴ５４）。すなわち、マイクロコンピュータ３は、ステップＳＴ５３において特定された候補が基準顔部位であるか否か、すなわち左眼であるか否かを判断し、左眼であった場合には、候補点を左眼の位置として検出する。また、マイクロコンピュータ３は、ステップＳＴ５３において複数の候補が特定された場合、同様に、それぞれについて左眼であるか否かを判断し、左眼であるものの候補点の位置を左眼の位置として検出することとなる。
【０１５１】
なお、この処理もステップＳＴ５３の処理と同様に、図１に示した基準顔部位位置検出部４３ａにて行われる処理である。
【０１５２】
その後、マイクロコンピュータ３は、「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」であるか否かを判断する（ＳＴ５５）。すなわち、マイクロコンピュータ３は、この時点において、顔部位のいずれかが見つかっていない状態になっているか否かを判断している。
【０１５３】
「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」であると判断した場合（ＳＴ５５：ＹＥＳ）、マイクロコンピュータ３は、他顔部位探査領域の設定処理を実行する（ＳＴ５６）。このステップＳＴ５６の処理は、図１に示した他顔部位探査領域設定部４２ｂにて行われる処理である。すなわち、マイクロコンピュータ３は、他顔部位探査領域設定部４２ｂに相当するプログラムを実行することとなる。図２０を参照して、他顔部位探査領域の設定処理を説明する。
【０１５４】
図２０は、他顔部位探査領域の設定処理（ＳＴ５６）の詳細を示すフローチャートである。同図に示すように、マイクロコンピュータ３は、他顔部位探査領域の位置を設定する（ＳＴ６１）。ここでは、既にステップＳＴ５４（基準顔部位位置検出部４３ａ）にて検出された基準顔部位の位置と配置関係情報に基づいて、他顔部位探査領域の中心位置が設定される。
【０１５５】
その後、マイクロコンピュータ３は、他顔部位探査領域の大きさを設定する（ＳＴ６２）。このとき、マイクロコンピュータ３は、他顔部位探査領域の大きさを基準顔部位探査領域以下の大きさとして設定する。そして、マイクロコンピュータ３は、設定した中心位置及び大きさで他顔部位探査領域を設定する（ＳＴ６３）。
【０１５６】
その後、マイクロコンピュータ３は、他顔部位の候補の特定処理を実行する（ＳＴ５７）。この処理は、図５に示した処理と同様であるので、説明を省略する。なお、ステップＳＴ５３における候補の特定処理は、他顔部位探査領域内において行われる。
【０１５７】
すなわち、マイクロコンピュータ３は、他顔部位探査領域内において、撮像画像の縦方向の画素列に沿って画素の濃度値を検出し、ポイントが定める。そして、マイクロコンピュータ３は、連続データＧを形成し、形成された連続データＧの代表座標値Ｃを、顔部位候補の候補点とする。
【０１５８】
また、この処理は、図１に示した他顔部位位置検出部４３ｂにて行われる処理である。すなわち、マイクロコンピュータ３は、他顔部位位置検出部４３ｂに相当するプログラムを実行することとなる。
【０１５９】
その後、マイクロコンピュータ３は、他顔部位の判定位置検出処理を実行する（ＳＴ５８）。すなわち、マイクロコンピュータ３は、ステップＳＴ５８において特定された候補が他顔部位であるか否か、すなわち右眼であるか否かを判断し、右眼であった場合には、候補点を右眼の位置として検出する。また、ステップＳＴ５８において複数の候補が特定された場合も同様である。なお、この処理もステップＳＴ５７の処理と同様に、図１に示した他顔部位位置検出部４３ｂにて行われる処理である。
【０１６０】
そして、マイクロコンピュータ３は、ステップＳＴ５４及びＳＴ５８において検出された基準顔部位及び他顔部位の位置に基づいて、両者の配置関係情報を求める。その後、マイクロコンピュータ３は、他顔部位すべてについて判定し終えたか否かを判断する（ＳＴ６０）。
【０１６１】
本実施形態では、他顔部位は右眼の１つであるが、例えば口や鼻等を他顔部位としている場合には、他顔部位は複数あることとなる。このため、ステップＳＴ６０にて、他顔部位すべてについて判定し終えたか否かを判断している。
【０１６２】
他顔部位すべてについて判定し終えていない場合（ＳＴ６０：ＮＯ）、処理は、ステップＳＴ５５に戻る。一方、他顔部位すべてについて判定し終えた場合（ＳＴ６０：ＹＥＳ）、処理は図３のステップＳＴ９に戻る。
【０１６３】
ところで、ステップＳＴ５５において「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」でないと判断した場合（ＳＴ５５：ＮＯ）、処理は、図３のステップＳＴ９に移行する。
【０１６４】
このように、本実施形態では、基準顔部位の位置を検出し、その後、配置関係情報と基準顔部位との位置に基づき、他顔部位の探査領域を設定している。被検出者の顔の各部位の位置は、被検出者が顔の向きを変えることにより、撮像画像中において変化するが、相対位置はさほど変化しない。このため、前述したように、他顔部位の探査領域は、他顔部位が存在する可能性が高いものとなる。そして、この探査領域から他顔部位を検出するため、他顔部位についての検出精度は優れたものとなる。
【０１６５】
ここで、図１７の処理は、以下のようにされていても構わない。図２１は、図３に示した追跡処理（ＳＴ１０）の第２の例を示すフローチャートである。同図に示すように、第２の例では、処理の順番等が図１７に示す処理（第１の例）と異なっている。
【０１６６】
すなわち、まず、第２の例おいてマイクロコンピュータ３は、顔部位の候補の特定処理を行う（ＳＴ５１ａ）。ただし、この処理は、基準顔部位及び他顔部位それぞれについて候補を特定するのではなく、これらすべての候補を特定するようにしている。
【０１６７】
また、この処理では、画像全体から候補を特定する。このため、処理速度の低下等の問題が考えられる。しかし、この時点では、既に顔部位検出部２０等にて基準及び他顔部位の位置が検出されているため、検出された位置を参考に、候補特定処理を行うことにより処理速度の低下という問題を発生させないようにすることができる。
【０１６８】
その後、基準顔部位の設定処理（ＳＴ５２ａ）、基準顔部位探査領域の設定処理（ＳＴ５３ａ）、基準顔部位の判定位置検出処理（ＳＴ５４ａ）が行われる。これらの処理は、それぞれ図１７に示したステップＳＴ５１、ＳＴ５３，ＳＴ５４と同様の処理である。
【０１６９】
そして、「ＧｅｔＦｌａｇ」の判断（ＳＴ５５ａ）、他顔部位探査領域の設定処理（ＳＴ５３ａ）、他顔部位の判定位置検出処理（ＳＴ５４ａ）、が行われる。これらの処理は、それぞれ図１７に示したステップＳＴ５５、ＳＴ５６，ＳＴ５８と同様の処理である。
【０１７０】
さらに、基準顔部位と他顔部位の位置関係の取得処理（ＳＴ５８ａ）、矢顔部位をすべて判定したか否かの判断（ＳＴ５９ａ）が行われ、処理は図３のステップＳＴ９に移行する。なお、ステップＳＴ５８ａ，ＳＴ５９ａの処理は、それぞれ図１７に示したステップＳＴ５９、ＳＴ６０と同様である。
【０１７１】
次に、図１７に示したフローチャートの詳細について説明する。なお、以下に示す図１７の詳細説明は、図２１に示した第２の例の詳細説明とほぼ同様であるため、第２の例の詳細説明は省略する。
【０１７２】
まず、基準顔部位の判定及び位置検出（ＳＴ５４）について詳細に説明する。図２２は、図１７に示した基準顔部位の判定位置検出処理（ＳＴ５４）の詳細を示すフローチャートである。
【０１７３】
まず、マイクロコンピュータ３は、基準顔部位の優先顔部位探査領域を設定する（ＳＴ８１）。このとき、マイクロコンピュータ３は、例えば、基準顔部位が約８０％の確立で検出できる程度の大きさに優先顔部位探査領域を設定する。また、被検出者が一方向を視認しているときに、左眼の位置が納まる程度の大きさに優先顔部位探査領域を設定してもよい。
【０１７４】
図２３は、図２０に示した優先顔部位探査領域の設定処理（ＳＴ８１）の一例を示す説明図であり、（ａ）は時刻ｔ１０において撮像された画像を示し、（ｂ）は時刻ｔ１１において撮像された画像を示し、（ｃ）は時刻ｔ１２において撮像された画像を示し、（ｄ）は時刻ｔ１３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【０１７５】
被検出者が一方向を視認している場合、まず、時刻ｔ１０において図２３（ａ）の画像が撮像される。その後、時刻ｔ１１，時刻ｔ１２，時刻ｔ１３において、それぞれ図２３（ｂ）、（ｃ）、（ｄ）の画像が撮像される。
【０１７６】
これらの画像上における左眼位置は、被検出者が一方向を視認していることから、図２３（ｅ）からも明らかなように、ほぼ静止した状態となっている。
【０１７７】
優先顔部位探査領域の設定処理（ＳＴ８１）においては、例えば、これら時刻ｔ１０〜ｔ１３までの各期間における左眼位置がすべて含まれるように設定される。
【０１７８】
ここで、一方向を視認している場合と顔の向きを変えた場合との左眼位置の分布について説明する。図２４は、一方向を視認している場合と顔の向きを変えた場合との左眼位置の分布を示す説明図である。ここで、図２４の縦軸は画像におけるＸ軸方向の座標値であり、横軸は画像におけるＹ軸方向の座標値である。また、画像サイズ６４０×４８０であり、縦軸の最大値は４８０で、横軸の最大値は６８０である。さらに、図２４では３０フレーム／秒のビデオレートでサンプリングしたときの座標をプロットしたものを示している。
【０１７９】
同図に示すように、被検出者が一方向を視認している場合、左眼位置はほぼ１点に滞留している。このとき、軌跡ａに示すように、各時刻の座標値は、Ｘ軸において２００〜２３０で、Ｙ軸において３５０〜３９０でほぼ一定となっている。
【０１８０】
一方、被検出者が顔の向きを変えた場合、例えば、エアコン装置の操作パネル等が設置されている方向（左下方向）に、被検出者が顔を向けた場合、左眼位置は大きく移動する。このとき、軌跡ｂに示すように、各時刻の座標値は、Ｘ軸において３９０〜５２０で、Ｙ軸において２４０〜３５０であり、大きく移動している。
【０１８１】
この分布についての解析結果を図２５に示す。図２５は、図２４に示した分布から求まる左眼位置の移動量の解析結果を示す説明図である。なお、図２５では、被検出者が図２４の軌跡ａ及び軌跡ｂと同様の動きをした場合に、３０ｍｓ／フレーム及び６０ｍｓ／フレームにて、撮像したときの解析結果を示している。また、ここでの画像サイズは、６４０×４８０である。
【０１８２】
まず、軌跡ａと同様の動きを３０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「１．１３」Ｙ軸方向に「０．５２」である。また、このときの標準偏差はＸ軸方向に「０．９５」Ｙ軸方向に「０．５２」であり、３δ移動量はＸ軸方向に「３．９７」Ｙ軸方向に「２．０８」である。そして、最大移動量は、Ｘ軸方向に「４」Ｙ軸方向に「２」である。
【０１８３】
一方、軌跡ｂと同様の動きを３０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「３．３８」Ｙ軸方向に「２．３５」である。また、このときの標準偏差はＸ軸方向に「２．６３」Ｙ軸方向に「２．１２」であり、３δ移動量はＸ軸方向に「１１．２７」Ｙ軸方向に「８．７２」である。そして、最大移動量は、Ｘ軸方向に「１４」Ｙ軸方向に「９」である。
【０１８４】
また、軌跡ａと同様の動きを６０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「１．７６」Ｙ軸方向に「０．９１」である。また、このときの標準偏差はＸ軸方向に「１．４７」Ｙ軸方向に「０．６８」であり、３δ移動量はＸ軸方向に「６．１８」Ｙ軸方向に「２．９４」である。そして、最大移動量は、Ｘ軸方向に「６」Ｙ軸方向に「３」である。
【０１８５】
一方、軌跡ｂと同様の動きを６０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「５．７７」Ｙ軸方向に「４．２５」である。また、このときの標準偏差はＸ軸方向に「４．１０」Ｙ軸方向に「３．７０」であり、３δ移動量はＸ軸方向に「１８．０６」Ｙ軸方向に「１５．３５」である。そして、最大移動量は、Ｘ軸方向に「１５」Ｙ軸方向に「１４」である。
【０１８６】
このように、図２５から明らかなように、被検出者が一方向を視認しているときには、左眼位置の移動量が最大数画素程度であるが、顔の向きを変えた場合には、左眼位置の移動量が最大数十画素となっている。
【０１８７】
以上のように、被検出者が顔の向きを変えたときと、一方向視認時とでは移動量が大きく異なる。基準顔部位探査領域は、被検出者が顔の向きを変えたときに眼の位置が納まるような大きさで設定され、基準顔部位の優先顔部位探査領域は、一方向視認時眼の位置が納まるような大きさで設定される。
【０１８８】
再度、図２２を参照して説明する。基準顔部位の優先顔部位探査領域の設定後、マイクロコンピュータ３は、基準顔部位の候補が優先顔部位探査領域内にあるか否かを判断する（ＳＴ８２）。より詳細には、基準顔部位の候補の候補点である代表座表値Ｃが優先顔部位探査領域内にあるか否かを判断する。
【０１８９】
なお、この処理は、基準顔部位の候補について候補点を定めることによって、高精度に行われている。すなわち、基準顔部位の候補について候補点を定めていない場合には、候補の一部が優先顔部位探査領域内であって、一部が優先顔部位探査領域外にあるという事態が生じてしまう可能性がある。ところが、点と領域とに基づく判断を行うことで、候補の一部が優先顔部位探査領域内であって、一部が優先顔部位探査領域外にあるという事態を無くすことができ、高精度に処理を行うことができる。
【０１９０】
候補が優先顔部位探査領域内にあると判断した場合（ＳＴ８２：ＹＥＳ）、マイクロコンピュータ３は、基準顔部位の候補が基準顔部位であると判定する（ＳＴ８３）。そして、マイクロコンピュータ３は、基準顔部位を含む存在領域ＥＡを微小画像ＩＧとして画像メモリに保存する（ＳＴ８４）。
【０１９１】
その後、マイクロコンピュータ３は、基準顔部位の候補の代表座標値Ｃを基準顔部位の座標値としてメモリし（ＳＴ８５）、さらに、微小画像ＩＧを顔部位画像ＭＧｉとして画像メモリに保存する（ＳＴ８６）。
【０１９２】
そして、マイクロコンピュータ３は、不検出カウンタを初期化する（ＳＴ８７）。その後、処理は図３に示したステップＳＴ１８に移行する。なお、不検出カウンタとは、基準顔部位が特定できない連続処理数をカウントするものである。
【０１９３】
このように、優先顔部位探査領域内に候補が納まっている場合、マイクロコンピュータ３は、その候補が基準顔部位であるか否かを判断することなく、基準顔部位と決定している。
【０１９４】
一方、優先顔部位探査領域外であって、基準顔部位探査領域内に候補が納まっている場合には、マイクロコンピュータ３は、その候補が基準顔部位であるか否かを判断していき、正確に基準顔部位を検出するようにしている。
【０１９５】
すなわち、候補が優先顔部位探査領域内に無いと判断した場合（ＳＴ８２：ＮＯ）、処理は、図２６に示すステップＳＴ９１に移行する。
【０１９６】
図２６は、顔部位の候補が優先顔部位探査領域内に無いと判断された場合に実行される処理を示すフローチャートである。
【０１９７】
マイクロコンピュータ３は、まず、微小画像ＩＧの濃度による基準顔部位判定処理を行う（ＳＴ８２）。詳細には、図２７に示す処理が実行される。図２７は、図２６に示した濃度による基準顔部位判定処理（ＳＴ９１）の詳細を示すフローチャートである。
【０１９８】
同図に示すように、まず、マイクロコンピュータ３は、微小画像ＩＧを画像メモリに保存する（ＳＴ１１１）。その後、マイクロコンピュータ３は、微小画像ＩＧの濃度データと基準顔部位画像ＭＧｉ−１の濃度データの類似度パラメータを求める（ＳＴ１１２）。
【０１９９】
ここで、基準顔部位画像ＭＧｉ−１は、前回の追跡処理において画像メモリに記憶された基準顔部位の画像である。このため、マイクロコンピュータ３は、現在の画像フレームから抽出された基準顔部位の候補を含む微小画像ＩＧと、過去の画像フレームにおいて特定された基準顔部位を含む微小画像との双方から、濃度データの類似度パラメータを求めている。
【０２００】
また、濃度値データの類似度パラメータは、次の式により求められる。
【０２０１】
【数１】
【０２０２】
この残差和は２枚の画像の類似性が高いと値が小さくなり、類似性が低いと大きくなることから、閾値をもうけて、残差和が閾値よりも小さいと類似性が高いと判断できる。
【０２０３】
この処理の後、マイクロコンピュータ３は、類似度パラメータに基づいて、抽出された候補が顔部位の顔部位か否かを判定する（ＳＴ１１３）。すなわち、類似度が高い否かを判断して、微小画像ＩＧが顔部位となる顔部位を含むものか否かを判断している。
【０２０４】
類似度が高くないと判断した場合（ＳＴ１１３：ＮＯ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが顔部位となる顔部位でないと判定する（ＳＴ１１４）。その後、処理は、図２６のステップＳＴ９１に移行する。
【０２０５】
一方、類似度が高いと判断した場合（ＳＴ１１３：ＹＥＳ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが顔部位となる顔部位であると判定する（ＳＴ１１５）。その後、処理は、図２６のステップＳＴ９１に移行する。
【０２０６】
再度、図２６を参照して説明する。ステップＳＴ９１の後、マイクロコンピュータ３は、図２７に示したステップＳＴ１１４，ＳＴ１１５の判定に基づいて、存在領域ＥＡが基準顔部位を含むものか否かを判断する（ＳＴ９２）。
【０２０７】
基準顔部位を含むものであると判断された場合（ＳＴ９２：ＹＥＳ）、処理は、図２２に示したステップＳＴ８５に移行する。一方、基準顔部位を含むものでないと判断された場合（ＳＴ９２：ＮＯ）、マイクロコンピュータ３は、周波数画像による顔部位判定処理を行う（ＳＴ９３）。
【０２０８】
詳細には、図２８に示す処理が実行される。図２８は、図２６に示した周波数画像による顔部位判定処理（ＳＴ９３）の詳細を示すフローチャートである。
【０２０９】
同図に示すように、まず、マイクロコンピュータ３は、存在領域ＥＡを微小画像ＩＧとして画像メモリに保存する（ＳＴ１２１）。その後、マイクロコンピュータ３は、微小画像ＩＧを周波数処理して周波数画像ＩＦＧを生成し、これを画像メモリに保存する（ＳＴ１２２）。すなわち、マイクロコンピュータ３は、現在の画像フレームから抽出された基準顔部位の候補を含む微小画像ＩＧを周波数処理して周波数画像ＩＦＧを生成している。
【０２１０】
ここでの周波数画像の生成は、フーリエ変換やウェーブレット変換などの一般的な方法により行われる。図２９は、図２８に示した周波数画像生成処理（ＳＴ１２２）の説明図であり、（ａ）は微小画像ＩＧを示しており、（ｂ）は周波数画像を示している。
【０２１１】
図２９（ａ）に示すような微小画像ＩＧを周波数処理した場合には、例えば、図２９（ｂ）に示す画像が得られる。マイクロコンピュータ３は、この周波数画像を画像メモリに保存することとなる。
【０２１２】
再度、図２８を参照して説明する。ステップＳＴ１２２の後、マイクロコンピュータ３は、前回の追跡処理において画像メモリに記憶された顔部位画像ＭＧｉ−１を周波数処理して基準顔部位周波数画像ＢＩＦＧを求め、これを画像メモリに保存する（ＳＴ１２３）。すなわち、マイクロコンピュータ３は、過去の画像フレームにおいて特定された顔部位の顔部位を含んだ顔部位画像ＭＧｉ−１を周波数処理して基準顔部位周波数画像ＢＩＦＧを求めている。なお、ここでの周波数処理は、図２９を参照して説明したものと同様である。
【０２１３】
次に、マイクロコンピュータ３は、周波数画像ＩＦＧと基準顔部位周波数画像ＢＩＦＧの類似度パラメータを算出する（ＳＴ１２４）。類似度パラメータの算出方法は、図２７に示したステップＳＴ１１２と同様であり、濃度データの残差和を求めることによりなされる。
【０２１４】
この処理の後、マイクロコンピュータ３は、算出された類似度パラメータに基づいて、抽出された候補が基準顔部位か否かを判定する（ＳＴ１２５）。すなわち、類似度が高い否かを判断して、微小画像ＩＧが基準顔部位を含むものか否かを判断している。
【０２１５】
類似度が高くないと判断した場合（ＳＴ１２５：ＮＯ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが基準顔部位でないと判定する（ＳＴ１２６）。その後、処理は、図２６のステップＳＴ９５に移行する。
【０２１６】
一方、類似度が高いと判断した場合（ＳＴ１２５：ＹＥＳ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが顔部位となる顔部位であると判定する（ＳＴ１２７）。その後、処理は、図２６のステップＳＴ９４に移行する。
【０２１７】
再度、図２６を参照して説明する。ステップＳＴ９３の後、マイクロコンピュータ３は、図２８に示したステップＳＴ１２６，ＳＴ１２７の判定に基づいて、存在領域ＥＡが基準顔部位を含むものか否かを判断する（ＳＴ９４）。
【０２１８】
基準顔部位を含むものであると判断された場合（ＳＴ９４：ＹＥＳ）、処理は、図２２に示したステップＳＴ８５に移行する。一方、基準顔部位を含むものでないと判断された場合（ＳＴ９４：ＮＯ）、マイクロコンピュータ３は、候補オブジェクトの幾何形状による基準顔部位判定処理を行う（ＳＴ９５）。
【０２１９】
詳細には、図３０に示す処理が実行される。図３０は、図２６に示した候補オブジェクトの幾何形状による基準顔部位判定処理（ＳＴ９５）の詳細を示すフローチャートである。同図に示すステップＳＴ１３１〜ＳＴ１３９については、図１１に示したステップＳＴ３１〜ＳＴ３９と同様であるため、説明を省略する。
【０２２０】
この処理の後、マイクロコンピュータ３は、算出された幾何形状のマッチング度合いに基づいて、抽出された候補が顔部位の顔部位か否かを判定する（ＳＴ１４０）。すなわち、幾何形状が一致するかを判断して、微小画像ＩＧが基準顔部位を含むものか否かを判断している。
【０２２１】
一致しないと判断した場合（ＳＴ１４０：ＮＯ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが基準顔部位でないと判定する（ＳＴ１４１）。その後、処理は、図２６のステップＳＴ９６に移行する。
【０２２２】
一方、一致すると判断した場合（ＳＴ１４１：ＹＥＳ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが顔部位となる顔部位であると判定する（ＳＴ１４２）。その後、処理は、図２６のステップＳＴ９６に移行する。
【０２２３】
再度、図２６を参照して説明する。ステップＳＴ９６の後、マイクロコンピュータ３は、図３０に示したステップＳＴ１４１，１４２の判定に基づいて、存在領域ＥＡが基準顔部位を含むものか否かを判断する（ＳＴ９６）。
【０２２４】
基準顔部位を含むものであると判断された場合（ＳＴ９６：ＹＥＳ）、処理は、図２２に示したステップＳＴ８５に移行する。一方、顔部位となる顔部位を含むものでないと判断された場合（ＳＴ９６：ＮＯ）、マイクロコンピュータ３は、ステップＳＴ９７の処理を行う。
【０２２５】
図１７に示したステップＳＴ５３では、複数の基準顔部位候補が抽出されている場合がある。例えば、被検出者が眼鏡を着用している場合などには、複数の顔部位候補が抽出されることがある（後述する）。このため、マイクロコンピュータ３は、他の基準顔部位の候補があるか、すなわち未だ判定していない基準顔部位の候補があるか否かを判断する（ＳＴ９７）。他の基準顔部位の候補があると判断した場合（ＳＴ９８：ＹＥＳ）、処理は図２２のステップＳＴ８２に移行する。
【０２２６】
一方、他の基準顔部位の候補がないと判断した場合（ＳＴ９７：ＮＯ）、マイクロコンピュータ３は、不検出カウンタをインクリメントする（ＳＴ９８）。その後、マイクロコンピュータ３は、不検出カウンタの数値が顔部位再検出処理移行数を超えたか否かを判断する（ＳＴ９９）。顔部位再検出処理移行数は、基準顔部位を特定できなかった場合であっても、図３のステップＳＴ８の処理を行うことなく、ステップＳＴ１０の追跡処理を連続して何度実行するかを示す数である。この数は、システムの処理速度、処理精度等によって異なってくるものであり、本装置１の適用対象に合わせて適宜設定すればよいものである。
【０２２７】
顔部位再検出処理移行数を超えていないと判断した場合（ＳＴ９９：ＮＯ）、処理は、図１７に示したステップＳＴ５５に移行する。そして、図３において、再度の顔部位追跡処理（ＳＴ１０）が行われることとなる。なお、再度ステップＳＴ１０の処理が実行され、再度、基準顔部位の候補が顔部位であると判定されなかった場合には、不検出カウンタがさらにインクリメントされることとなる。そして、ステップＳＴ１０の処理が繰り返され、不検出カウンタの値が顔部位再検出処理移行数を超えた場合（ＳＴ９９：ＹＥＳ）、マイクロコンピュータ３は、顔部位検出フラグ「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定する（ＳＴ１００）。その後、マイクロコンピュータ３は、不検出カウンタを初期化し（ＳＴ１０１）、処理は、図１７に示したステップＳＴ５５に移行する。
【０２２８】
なお、不検出カウンタの数値が顔部位再検出処理移行数を超えた場合、顔部位検出フラグ「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定されるため、図３に示す顔部位検出処理（ＳＴ８）が、再度実行されることとなる。すなわち、マイクロコンピュータ３は、基準顔部位を特定できないため、ステップＳＴ１０の処理を繰り返したにもかかわらず、数回に渡って基準顔部位を特定できない場合に、最終的に基準顔部位を特定できなかったとする。そして、再度の顔部位検出処理（ＳＴ８）を実行することとなる。
【０２２９】
なお、この繰り返しの処理課程において所定の条件を満たすことにより、本装置１では、基準優先顔部位探査領域を設定しないようにもしている。
【０２３０】
図３１は、基準優先顔部位探査領域の設定処理（ＳＴ８１）の詳細を示すフローチャートである。まず、マイクロコンピュータ３は、不検出カウンタが優先顔部位領域の非設定数を超えた否かを判断する（ＳＴ１５１）。優先顔部位領域の非設定数は、顔部位が追跡できていないと判断するのに必要な数である。この数も、顔部位再検出処理移行数と同様に、システムの処理速度、処理精度によって設定される値が異なってくるものである。
【０２３１】
なお、優先顔部位領域の非設定数は、ほぼビデオレートで処理ができ、顔部位の検出率（顔部位を顔部位として判定する率）が９０％程度であれば３〜５に設定できる。
【０２３２】
不検出カウンタが優先顔部位領域の非設定数を超えたと判断した場合（ＳＴ１５１：ＹＥＳ）、マイクロコンピュータ３は、優先顔部位探査領域の領域設定を行うことなく、処理は図２２のステップＳＴ８２に移行する。一方、不検出カウンタが優先顔部位領域の非設定数を超えていないと判断した場合（ＳＴ１５１：ＮＯ）、マイクロコンピュータ３は、優先顔部位探査領域の領域設定を行い（ＳＴ１５２）、処理は図２１のステップＳＴ８２に移行する。
【０２３３】
次に、図１７の他顔部位の候補位置特定処理（ＳＴ５８）であるが、この処理は、基準顔部位候補の特定処理（ＳＴ５３）と同様であるため、詳細説明は省略する。
【０２３４】
次に、図３２〜図３９を参照して、上記の図２２のステップＳＴ８１をさらに詳細に説明する。図３２は、基準顔部位探査領域及び優先顔部位探査領域の説明図である。同図に示すように、基準顔部位探査領域は、中心から片側幅Ｈ１、片側高Ｖ１の大きさとなっている。また、優先顔部位探査領域は、中心から片側幅Ｈ２、片側高Ｖ２の大きさとなっている。ここでの中心は、例えば、前回の処理において検出された基準顔部位の代表座標値Ｃである。また、前回の処理とは、顔部位検出処理（ＳＴ８）及び顔部位追跡処理（ＳＴ１０）のいずれであってもよい。
【０２３５】
なお、これら領域の大きさは、システムの処理速度、処理精度によっても変わってくるが、例えば、前述の例ではＨ１を３０〜５０画素、Ｖ１を２０〜３０画素とすればよい。また、Ｈ２を１０〜１５画素、Ｖ２を５から１０画素程度に設定すればよい。
【０２３６】
ところが、上記のような基準顔部位探査領域では、被検出者が顔の向きを大きく変えた場合などには、基準顔部位が領域外へ移動してしまい、基準顔部位を特定できないこともある。すなわち、前回の処理において検出された基準顔部位の代表座標値Ｃを基準顔部位探査領域の中心としているため、移動中の基準顔部位は、今回の処理時において既に領域外に位置しているということもありうる。
【０２３７】
そこで、本実施形態では、図３３に示すように、顔部位探査領域の大きさを可変としている。図３３は、基準顔部位探査領域の大きさを可変とする場合の一例を示す説明図である。同図に示すように、マイクロコンピュータ３は、基準顔部位が特定できなかった場合には、基準顔部位探査領域を広くする。
【０２３８】
本実施形態においては、例えば、一度基準顔部位が特定されず不検出カウンタが「１」となった場合、基準顔部位が存在するであろう領域を広げて、基準顔部位の候補を見つけるようにしている。
【０２３９】
また、基準顔部位探査領域の大きさは次のようにして決定してもよい。図３４は、顔部位探査領域の大きさを可変とする場合の他の例を示す説明図である。同図に示すように、マイクロコンピュータ３は、基準顔部位探査領域を広くする際に不検出カウンタのカウント値に基づいて、基準顔部位探査領域の大きさを順次大きくするようにしてもよい。
【０２４０】
すなわち、不検出カウンタの数値が大きければ大きいほど、基準顔部位探査領域を広くするようにしている。このように、不検出カウンタの数値に基づいて領域の大きさを決定することで、基準顔部位が特定できなかった連続回数に応じて領域の大きさを広くするようにしている。
【０２４１】
通常、基準顔部位探査領域を大きくすると処理速度の低下を招くため、基準顔部位探査領域の大きさを前回処理のときの大きさに比して、突然に大きくしてしまうことは、急激な処理速度の低下を招いてしまう。ところが、この例のように大きさを不検出カウンタの数値に応じて決定することで、処理速度の急激な低下を防止しつつ基準顔部位探査領域を適切な大きさにすることができる。
【０２４２】
なお、ここでは、基準顔部位探査領域の大きさを広くするようにしているが、同様に、他顔部位探査領域の大きさを広くするようにしてもよい。この場合、複数の他顔部位のうちいずれか１つでも検出できなかった場合に、当該領域を広くするようにすればよい。また、この際には、他顔部位探査領域を基準顔部位探査領域以下の大きさにする必要はなく、マイクロコンピュータ３は、基準顔部位探査領域以下の大きさという制限を解除することとなる。
【０２４３】
また、図３２にて説明した基準顔部位探査領域の中心は、前回の処理において検出された基準顔部位の代表座標値Ｃとしなくともよい。以下にその場合の例を示す。図３５は、顔部位探査領域の中心位置を設定する場合の一例を示す説明図である。
【０２４４】
同図には、前々回及び前回の眼の位置及び顔部位探査領域の中心位置が示されている。図３５に示す例の場合、まず、マイクロコンピュータ３は、前々回及び前回の基準顔部位探査領域について、中心位置のＸ軸方向での差分及びＹ軸方向での差分を求める。そして、前回の中心位置にこれらの差分値を加え、得られた座標値を今回の基準顔部位探査領域の中心位置とする。
【０２４５】
図３６は、図３５に示した処理についての画像例を示す説明図であり、（ａ）は全体画像を示し、（ｂ）は拡大画像を示している。
【０２４６】
図３５を参照して説明した処理を実行した場合、図３６（ａ）に示すように、基準顔部位探査領域内に左眼の位置が納まっている。また、図３６（ｂ）の拡大画像例からも明らかなように、前々回及び前回の中心位置に基づいて今回の基準顔部位探査領域を設定した結果、今回の基準顔部位探査領域内に左眼の位置が納まっている。このように、本例では過去の画像フレームにおける基準顔部位の移動量に基づいて基準顔部位探査領域を設定することで、被検出者の顔の動きに応じて適切処理を行うことができる。
【０２４７】
なお、本例においては、前回、前々回の基準顔部位の位置から求まる移動量に応じて基準顔部位探査領域の中心位置を決定しているが、これに限らない。すなわち、前々回以前に特定された基準顔部位の位置から移動量を求め、これに基づき、中心位置を決定するようにしてもよい。また、基準顔部位探査領域の中心位置を、まず、前回特定された基準顔部位の位置とし、この位置にて基準顔部位が特定されず不検出カウンタが「１」となった場合に、本例を用いるようにしてもよい。
【０２４８】
次に中心位置の設定の他の例について説明する。図３７は、顔部位探査領域の中心位置を設定する場合の他の例を示す説明図である。図３８は、左眼の位置及び基準顔部位探査領域の中心位置を含む画像例を示す説明図であり、（ａ）は全体画像を示し、（ｂ）は拡大画像を示している。
【０２４９】
図３５及び図３６を参照して説明した例は、中心位置のＸ軸方向での差分値及びＹ軸方向での差分値が大きい場合に有効な手段となる。本例では、Ｘ軸方向での差分値及びＹ軸方向での差分値が小さい場合に有効な手段となる。
【０２５０】
図３７及び図３８に示すように、Ｘ軸方向での差分値及びＹ軸方向での差分値が大きくない場合には、これらの図に示すように、被検出者の顔の動きに応じて基準顔部位探査領域を設定しなくともよい。なぜなら、被検出者の顔の動きに応じて設定しなくとも基準顔部位が基準顔部位探査領域内に含まれるからである。
【０２５１】
そこで、本例では、Ｘ軸方向での差分値及びＹ軸方向での差分値が小さい場合、前回の処理において検出された基準顔部位の代表座標値Ｃを中心位置としている。
【０２５２】
このように、Ｘ軸方向での差分値及びＹ軸方向での差分値を考慮しつつも移動量が所定の閾値を超えない場合、通常通り、前回の処理における代表座標値Ｃを中心位置とする。これにより、図３５及び図３６に示した例に比して、詳細な計算等を不要とし迅速な処理を行うことができる。
【０２５３】
次に、画像例を参照しつつ本実施形態に係る顔部位追跡装置１の動作を再度説明する。なお、以下の説明においては、便宜上代表座標値Ｃを代表座標点Ｃと称する。
【０２５４】
図３９は、前処理にて撮像された撮像画像から得られる配置関係情報を示す説明図であり、（ａ）は画像横方向及び縦方向距離と方向とからなる配置関係情報を示している。また、（ｂ）は顔部位間の線分及び画像水平方向との角度からなる配置関係情報を示している。
【０２５５】
図３９では、被検出者は前方を視認している。この状態において、基準顔部位である左眼の位置及び他顔部位である右眼の位置が検出されると、配置関係情報が得られる。
【０２５６】
図４０は、今回処理にて撮像された撮像画像から得られる連続データを示す説明図である。本画像例では、右眼の連続データＧ４の代表座標点Ｃ４が優先顔部位探査領域内に納まっている。このため代表座標点Ｃ４が左眼の位置として検出される。すなわち、図２２のステップＳＴ８２において、「ＹＥＳ」と判断される。
【０２５７】
図４１は、他顔部位探査領域の設定の様子を示す説明図であり、（ａ）は画像横方向及び縦方向距離と方向とからなる配置関係情報に基づく設定の様子を示している。また、（ｂ）は顔部位間の線分及び画像水平方向との角度からなる配置関係情報に基づく設定の様子を示している。
【０２５８】
図３９に示す配置関係情報及び図４０に示す基準顔部位の位置が検出されると、図４１に示すように、配置関係情報に基づいて他顔部位探査領域が設定される。
【０２５９】
まず、図４１（ａ）に示すように、今回検出された基準顔部位である左眼の位置から、正方向及び負方向を考慮して顔部位間の横方向距離及び縦方向距離だけ離れた位置に他顔部位探査領域の中心位置を設定する。
【０２６０】
そして、その位置を中心として、他顔部位探査領域を設定する。他顔部位探査領域の大きさは、基準顔部位探査領域の大きさ以下である。
【０２６１】
図４２は、他顔部位探査領域の設定処理の様子を示す要部説明図である。図４２に示すように、他顔部位探査領域は、基準顔部位探査領域より小さな領域であるが、領域内には他顔部位である右眼が納まっている。
【０２６２】
また、同様に、図４１（ｂ）に示す場合であっても、他顔部位探査領域は、基準顔部位探査領域より小さな領域であるが、領域内には他顔部位である右眼が納まっている。
【０２６３】
次に、被検出者が顔の向きを変えた場合の本装置１の動作を説明する。図４３は、前処理にて撮像された撮像画像から得られる配置関係情報を示す説明図であり、被検出者が顔の向きを変えた場合を示している。
【０２６４】
図４３では、被検出者はサイドミラー等を視認すべく右方向を向いている。この状態において、基準顔部位である左眼の位置及び他顔部位である右眼の位置が検出されると、配置関係情報が得られる。
【０２６５】
図４４は、今回処理にて撮像された撮像画像から得られる連続データを示す説明図であり、（ａ）は全体画像例を示しており、（ｂ）は拡大画像例を示している。
【０２６６】
図４４では、被検出者の顔は、図４３に示した状態よりもさらに右方向を向いている。そして、この動きにより、左眼の連続データＧ４の代表座標点Ｃ４は、優先顔部位探査領域外に位置しているこのため、図２２のステップＳＴ８２において、「ＮＯ」と判断される。
【０２６７】
そして、図２６に示した処理が行われることとなる。このとき、左眼は優先顔部位探査領域外あるものの、基準顔部位探査領域内に納まっている。よって、図２６の処理により、左眼の位置が検出される。
【０２６８】
図４５は、他顔部位探査領域の設定の様子を示す説明図である。図４５に示すように、他顔部位探査領域は、基準顔部位探査領域より小さな領域である。さらに、被検出者は顔の向きを変えている。しかし、他顔部位探査領域内には他顔部位である右眼が納まっている。
【０２６９】
すなわち、被検出者が顔の向きを変えた場合であっても、基準顔部位と他顔部位の相対位置の多少の変化は、他顔部位の検出に影響を与えないことがわかる。
【０２７０】
次に、被検出者が眼鏡を着用している場合の本装置１の動作を説明する。図４６は、被検出者が眼鏡を着用している場合に、前処理にて得られる画像例を示す説明図である。
【０２７１】
図４６に示すように、被検出者は眼鏡を着用している。この状態において、基準顔部位である左眼の位置及び他顔部位である右眼の位置が検出されると、配置関係情報が得られる。
【０２７２】
図４７は、被検出者が眼鏡を着用している場合に今回処理にて得られる画像例を示す説明図である。配置関係情報が得られ、今回処理にて画像が得られると、図４７に示すように、基準顔部位探査領域及び優先顔部位探査領域が設定される。ところが、被検出者が眼鏡を着用している場合には、図４７に示すように、基準顔部位探査領域内から複数の候補点Ｃ１〜Ｃ５が抽出されることがある。
【０２７３】
図４７によると、連続データＧ２の代表座標点Ｃ２、連続データＧ３の代表座標点Ｃ３、連続データＧ４の代表座標点Ｃ４がいずれもが優先顔部位探査領域ではない顔部位探査領域内にある。
【０２７４】
図４８は、複数の微小画像例を示す説明図である。上記のように、複数の候補点Ｃ２〜Ｃ４が抽出された場合では、図４８に示すように、それぞれの候補点Ｃ２〜Ｃ４について微小画像が形成される。
【０２７５】
そして、それぞれの微小画像ＩＧ１，ＩＧ２，ＩＧ３について、ステップＳＴ９１，ＳＴ９３，ＳＴ９５の基準顔部位判定処理を順次行っていく。
【０２７６】
なお、この例において、１つ目の微小画像ＩＧＡ１を判定した場合、基準顔部位でないと判定されて、図２６のステップＳＴ９７の処理において、他の顔部位候補があると判断される。そして、２つ目の微小画像ＩＧＡ２が判定の対象とされ、基準顔部位が特定されることとなる。
【０２７７】
図４９は、眼鏡着用時の他顔部位探査領域の設定の様子を示す説明図である。図４９に示すように、他顔部位探査領域は、基準顔部位探査領域より小さな領域である。さらに、被検出者は眼鏡を着用している。しかし、他顔部位探査領域内には他顔部位である右眼が納まっている。
【０２７８】
しかも、他顔部位探査領域内には、右眼の候補点Ｃ８のみが納まっており、他の候補点Ｃ６，Ｃ７，Ｃ９，Ｃ１０は、高部位探査領域外にある。すなわち、被検出者が眼鏡を着用している場合であっても、他顔部位の検出に影響を与えないことがわかる。
【０２７９】
また、本実施形態では、基準顔部位探査領域を囲む領域を連続データ抽出領域として設定し、その領域内だけで連続データを抽出するようにしてもよい。
【０２８０】
図５０は、連続データ抽出領域を設定する場合に前処理にて得られる画像例を示す説明図である。図５０では、被検出者は前方を視認している。この状態において、基準顔部位である左眼の位置及び他顔部位である右眼の位置が検出されると、配置関係情報が得られる。
【０２８１】
図５１は、今回得られた撮像画像上に連続データ抽出領域を設定したときの一例を示す図である。また、図５２は、他顔部位探査領域及びこの領域の抽出領域の設定の様子を示す説明図である。
【０２８２】
図５１に示すように、顔部位探査領域の周囲には、連続データ抽出領域が設定されている。この場合、マイクロコンピュータ３は、この領域内から基準顔部位候補を抽出する。そして、基準顔部位を特定していくこととなる。なお、図５１に示す例の場合、連続データＧ１の代表座標点Ｃ１が優先顔部位探査領域内にあるので、マイクロコンピュータ３は、代表座標点Ｃ１を基準顔部位である左眼として判定することとなる。
【０２８３】
そして、図５２に示すように、マイクロコンピュータ３は、配置関係情報及び基準顔部位の位置に基づいて他顔部位探査領域を設定する。また、マイクロコンピュータ３は、他顔部位探査領域を囲む連続データ抽出領域を設定する。このように、連続データ抽出領域を設定した場合にあっても、他顔部位探査領域内には他顔部位である右眼が納まっている。
【０２８４】
すなわち、連続データ抽出領域を設定した場合であっても、他顔部位の検出に影響を与えず、さらに、画像全体に対して処理を行うこともない。なお、この連続データ抽出領域の設定処理は、顔部位追跡部４０だけでなく、顔部位検出部２０が行うようにしてもよい。顔部位検出部２０が行う場合、基準及び優先等の探査領域が設定されていない状態から、処理する領域を絞り込むことができ、より高速に処理を行うことができる。
【０２８５】
このようにして、本実施形態における顔部位追跡装置１は、複数の顔部位のうち基準となる基準顔部位が存在する可能性が高く且つ画像全体よりも狭くされた領域を基準顔部位追跡用の領域として設定している。このため、追跡用の領域の設定後においては、この領域内から基準顔部位を検出すればよく、画像全体から基準顔部位を検出する場合に比して、検出処理を迅速に行うことができる。
【０２８６】
また、他顔部位の追跡用の領域は、画像全体より小さくされている。このため、追跡用の領域の設定後においては、画像全体から他顔部位を検出する場合に比して、検出処理を迅速に行うことができる。
【０２８７】
また、他顔部位探査領域は基準顔部位の位置と配置関係情報とに基づいて設定されている。被検出者の顔各部位（例えば眼や鼻や口）の位置は、被検出者が顔の向きを変えることにより、撮像画像中において移動するが、相対位置（例えば眼に対する鼻の位置）はさほど変化しない。このため、複数の顔部位のうち１つでも位置が特定できれば、すべての顔部位の位置が特定できることとなる。
【０２８８】
ここで、他顔部位追跡用の領域の設定時点においては、既に基準顔部位の位置が検出されている。故に、被検出者が顔をどのように動かしたとしても、基準顔部位の位置が定まっているので、他顔部位のおおよその位置を決定することができる。すなわち、基準顔部位の位置と配置関係情報とに基づくことで、他顔部位のおおよその位置を含んだ他顔部位探査領域を設定でき、他顔部位が存在する可能性の高い領域を設定することができる。
【０２８９】
従って、複数の顔部位の追跡に際し、処理時間及び検出精度の面で向上を図ることができる。
【０２９０】
また、基準顔部位探査領域設定部４２ａは、過去に撮像された画像から特定された基準顔部位の位置に基づいて、基準顔部位探査領域を設定している。すなわち、顔部位検出部２０又は顔部位位置検出部４３のいずれか一方により、基準顔部位の位置が特定された場合には、これらからの情報に基づいて基準顔部位探査領域を設定する。
【０２９１】
そして、このようにして設定される基準顔部位探査領域は、前回の基準顔部位の位置に基づくから、比較的基準顔部位が存在する可能性の高いものとなる。従って、基準顔部位探査領域の設定に関し精度向上を図ることができる。
【０２９２】
また、基準顔部位探査領域設定部４２ａは、前撮像画像以前の撮像画像における基準顔部位の位置を元に定義される領域を基準顔部位探査領域として設定するので、精度良く基準顔部位の探査領域を設定できる。
【０２９３】
また、基準顔部位探査領域設定部４２ａは、前撮像画像以前の撮像画像における基準顔部位の位置から求められた基準顔部位のフレーム間移動量に従って、基準顔部位探査領域の中心位置を設定するとしたので、精度良く基準顔部位の探査領域を設定できる。
【０２９４】
また、基準顔部位探査領域設定部４２ａは、過去に撮像された画像内から求まる基準顔部位の移動量に基づいて、基準顔部位探査領域を設定する。このため、被検出者の顔の動き等について考慮された位置に基準顔部位探査領域が設定されることとなる。従って、被検出者の顔の動きに応じて基準顔部位探査領域を適切に設定することができる。
【０２９５】
また、基準顔部位探査領域設定部４２ａは、被検出者が顔の向きを変えたときに、サンプリング時間中に移動する基準顔部位の移動量に基づいて、基準顔部位探査領域の大きさを決定している。このため、被検出者が顔の向きを変えたとしても、基準顔部位探査領域内には基準顔部位が納まることとなり、好適に基準顔部位の検出を行うことができる。
【０２９６】
また、基準顔部位探査領域設定部４２ａは、被検出者が顔の向きを変えたときとして、被検出者が頭を上下左右に振っているときを採用するので、精度良く基準顔部位の探査領域を設定できる。
【０２９７】
また、他顔部位探査領域設定部４２ｂは、他顔部位探査領域を基準顔部位探査領域以下の大きさで設定している。本実施形態の他顔部位探査領域は、現撮像画像から検出された基準顔部位の位置に基づいて設定される。すなわち、他顔部位探査領域は、現在の情報に基づいて設定されるものであり、時間的な影響を受けないものといえる。そして、時間的影響を受けないことから、当然に過去から現在にかけて被検出者が顔を動かした場合にも何ら影響がないこととなる。
【０２９８】
故に、他顔部位探査領域の大きさを小さくして、処理速度の向上を図ることができる。
【０２９９】
他顔部位探査領域設定部は、いずれか１つ以上の他顔部位の位置を検出できなかった場合に、他顔部位探査領域を広くすると共に、他顔部位探査領域を基準顔部位探査領域以下の大きさで設定するという制限を解除している。このように、他顔部位が検出されなかった時点で、他顔部位探査領域を大きくするので、処理速度の向上を図ると共に、他顔部位が不検出となってしまう可能性を軽減することができる。
【０３００】
本実施形態では、予め配置関係情報を記憶させておき、これに基づいて他顔部位探査領域を設定することも可能であるが、この場合の配置関係情報は被検出者の個々人の顔の特徴を考慮したものとなっていない。故に、この配置関係情報に基づいて他顔部位探査領域を設定すると、多少領域設定が不正確になる可能性がある。
【０３０１】
ところが、本実施形態では、配置関係情報が配置関係取得部３０により求められるようになっている。このため、被検出者の個々人の顔の特徴差に影響を受けることなく、好適に他顔部位探査領域を設定することができる。
【０３０２】
また、配置関係取得部３０は、配置関係情報として、顔部位間の画像縦方向距離及び横方向距離と、一方の顔部位から他方の顔部位への方向とを求めている。また、配置関係取得部３０は、配置関係情報として、画像上において顔部位間を結んだときの線分の長さと、この線分と画像所定方向とが為す角度を求めてもよい。
【０３０３】
この場合、一の顔部位に対する他の顔部位の位置が一義的に決定されることとなり、正確な配置関係情報を得ることができる。
【０３０４】
なお、本実施形態は上記の構成に限られず、本発明の趣旨を逸脱しない範囲において変更等が可能である。例えば、顔部位位置検出部４３を複数設け、これらそれぞれを異なる位置検出精度とするようにしてもよい。
【０３０５】
すなわち、通常、判定等を行う手段は、検出精度が低くなると処理速度が速くなる傾向にある。これを利用して、本実施形態において顔部位の検出精度が低く処理速度が速いものから順に検出処理を実行するようにする。そして、これにより、処理速度を高めると共に、判定精度の低下を防ぐことができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る顔部位追跡装置の構成を示す機能ブロック図である。
【図２】本発明の実施形態に係る顔部位追跡装置の示すハード構成図である。
【図３】本実施形態に係る顔部位追跡装置の動作の概略を示すメインフローチャートである。
【図４】図３に示した顔部位検出処理（ＳＴ８）の詳細な動作を示すフローチャートである。
【図５】図４に示した顔部位候補位置特定処理（ＳＴ１１）の詳細を示すフローチャートである。
【図６】図５に示したステップＳＴ２７の処理にて形成される連続データ、並びにステップＳＴ２８の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。
【図７】図６に示した存在領域ＥＡの大きさを示す説明図である。
【図８】数人の眼の大きさを調べた横Ｘａの長さの統計データを示す説明図である。
【図９】数人の眼の大きさを調べた縦Ｙａの長さの統計データを示す説明図である。
【図１０】存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。
【図１１】図４に示した顔部位判定処理（ＳＴ１４）の詳細を示すフローチャートである。
【図１２】微小画像を示す説明図である。
【図１３】範囲ＡＲでの二値化閾値の算出方法の説明図である。
【図１４】候補オブジェクトと顔部位である眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は眼の右側が欠けた状態を示し、（ｃ）は眼の左側が欠けた状態を示している。
【図１５】配置関係取得部が各顔部位の画像縦方向及び横方向の距離と方向とを求める場合の様子を示す説明図である。
【図１６】配置関係取得部が各顔部位間の線分の長さ及び所定方向と為す角度を求める場合の様子を示す説明図である。
【図１７】図３に示した追跡処理（ＳＴ１０）の詳細を示すフローチャートである。
【図１８】基準顔部位探査領域の設定処理（ＳＴ５２）の詳細を示すフローチャートである。
【図１９】図１８に示した顔部位探査領域の大きさ設定処理（ＳＴ６３）の説明図であり、（ａ）は時刻ｔ０において撮像された画像を示し、（ｂ）は時刻ｔ１において撮像された画像を示し、（ｃ）は時刻ｔ２において撮像された画像を示し、（ｄ）は時刻ｔ３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【図２０】他顔部位探査領域の設定処理（ＳＴ５６）の詳細を示すフローチャートである。
【図２１】図３に示した追跡処理（ＳＴ１０）の第２の例を示すフローチャートである。
【図２２】図１７に示した基準顔部位の判定位置検出処理（ＳＴ５４）の詳細を示すフローチャートである。
【図２３】図２０に示した優先顔部位探査領域の設定処理（ＳＴ８１）の一例を示す説明図であり、（ａ）は時刻ｔ１０において撮像された画像を示し、（ｂ）は時刻ｔ１１において撮像された画像を示し、（ｃ）は時刻ｔ１２において撮像された画像を示し、（ｄ）は時刻ｔ１３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【図２４】一方向を視認している場合と顔の向きを変えた場合との左眼位置の分布を示す説明図である。
【図２５】図２４に示した分布から求まる左眼位置の移動量の解析結果を示す説明図である。
【図２６】顔部位の候補が優先顔部位探査領域内に無いと判断された場合に実行される処理を示すフローチャートである。
【図２７】図２６に示した濃度による基準顔部位判定処理（ＳＴ９１）の詳細を示すフローチャートである。
【図２８】図２６に示した周波数画像による顔部位判定処理（ＳＴ９３）の詳細を示すフローチャートである。
【図２９】図２８に示した周波数画像生成処理（ＳＴ１２２）の説明図であり、（ａ）は微小画像ＩＧを示しており、（ｂ）は周波数画像を示している。
【図３０】図２６に示した候補オブジェクトの幾何形状による基準顔部位判定処理（ＳＴ９５）の詳細を示すフローチャートである。
【図３１】基準優先顔部位探査領域の設定処理（ＳＴ８１）の詳細を示すフローチャートである。
【図３２】基準顔部位探査領域及び優先顔部位探査領域の説明図である。
【図３３】基準顔部位探査領域の大きさを可変とする場合の一例を示す説明図である。
【図３４】顔部位探査領域の大きさを可変とする場合の他の例を示す説明図である。
【図３５】顔部位探査領域の中心位置を設定する場合の一例を示す説明図である。
【図３６】図３５に示した処理についての画像例を示す説明図であり、（ａ）は全体画像を示し、（ｂ）は拡大画像を示している。
【図３７】顔部位探査領域の中心位置を設定する場合の他の例を示す説明図である。
【図３８】左眼の位置及び基準顔部位探査領域の中心位置を含む画像例を示す説明図であり、（ａ）は全体画像を示し、（ｂ）は拡大画像を示している。
【図３９】前処理にて撮像された撮像画像から得られる配置関係情報を示す説明図であり、（ａ）は画像横方向及び縦方向距離と方向とからなる配置関係情報を示している。また、（ｂ）は顔部位間の線分及び画像水平方向との角度からなる配置関係情報を示している。
【図４０】今回処理にて撮像された撮像画像から得られる連続データを示す説明図である。
【図４１】他顔部位探査領域の設定の様子を示す説明図であり、（ａ）は画像横方向及び縦方向距離と方向とからなる配置関係情報に基づく設定の様子を示しており、（ｂ）は顔部位間の線分及び画像水平方向との角度からなる配置関係情報に基づく設定の様子を示している。
【図４２】他顔部位探査領域の設定処理の様子を示す要部説明図である。
【図４３】前処理にて撮像された撮像画像から得られる配置関係情報を示す説明図であり、被検出者が顔の向きを変えた場合を示している。
【図４４】今回処理にて撮像された撮像画像から得られる連続データを示す説明図であり、（ａ）は全体画像例を示しており、（ｂ）は拡大画像例を示している。
【図４５】他顔部位探査領域の設定の様子を示す説明図である。
【図４６】被検出者が眼鏡を着用している場合に、前処理にて得られる画像例を示す説明図である。
【図４７】被検出者が眼鏡を着用している場合に今回処理にて得られる画像例を示す説明図である。
【図４８】複数の微小画像例を示す説明図である。
【図４９】眼鏡着用時の他顔部位探査領域の設定の様子を示す説明図である。
【図５０】連続データ抽出領域を設定する場合に前処理にて得られる画像例を示す説明図である。
【図５１】今回得られた撮像画像上に連続データ抽出領域を設定したときの一例を示す図である。
【図５２】他顔部位探査領域及びこの領域の抽出領域の設定の様子を示す説明図である。
【符号の説明】
１…顔部位追跡装置
２…ＴＶカメラ
３…マイクロコンピュータ
１０…撮像部（撮像手段）
２０…顔部位検出部
３０…配置関係取得部（配置関係取得手段）
４２ａ…基準顔部位探査領域設定部（基準顔部位探査領域設定手段）
４２ｂ…他顔部位探査領域設定部（他顔部位探査領域設定手段）
４３ａ…基準顔部位位置検出部（基準顔部位位置検出手段）
４３ｂ…他顔部位位置検出部（他顔部位位置検出手段）
Claims (13)
- 被検出者の顔部位の動きを追跡する顔部位追跡装置において、
被検出者の顔を撮像して、複数の顔部位のうち基準となる基準顔部位、及び基準顔部位以外の他顔部位を含む撮像画像を取得する撮像手段と、
前記撮像手段により取得された撮像画像に対し、所定の情報に基づいて、画像全体よりも狭くされた基準顔部位追跡用の基準顔部位探査領域を設定する基準顔部位探査領域設定手段と、
前記基準顔部位探査領域設定手段により設定された基準顔部位探査領域内から、基準顔部位の位置を検出する基準顔部位位置検出手段と、
前記撮像画像に対し、前記基準顔部位位置検出手段により検出された基準顔部位の位置と、各顔部位の相対位置を示す配置関係情報とに基づいて、画像全体よりも狭くされた他顔部位追跡用の他顔部位探査領域を設定する他顔部位探査領域設定手段と、
前記他顔部位探査領域設定手段により設定された他顔部位探査領域内から、他顔部位の位置を検出する他顔部位位置検出手段と、
を備えることを特徴とする顔部位追跡装置。 - 前記基準顔部位探査領域設定手段は、所定の情報として、過去に撮像画像から検出された基準顔部位の位置に基づき、前記基準顔部位探査領域を設定することを特徴とする請求項１に記載の顔部位追跡装置。
- 前記基準顔部位探査領域設定手段は、前撮像画像以前の撮像画像における基準顔部位の位置を元に定義される領域を、前記基準顔部位探査領域として設定することを特徴とする請求項２に記載の顔部位追跡装置。
- 前記基準顔部位探査領域設定手段は、前撮像画像以前の撮像画像における基準顔部位の位置から求められた当該基準顔部位のフレーム間移動量に従って、前記基準顔部位探査領域の中心位置を設定することを特徴とする請求項２に記載の顔部位追跡装置。
- 前記基準顔部位探査領域設定手段は、所定の情報として、過去に取得された２以上の撮像画像から求まる基準顔部位の移動量に基づいて、前記基準顔部位探査領域を設定することを特徴とする請求項１〜請求項４のいずれか１項に記載の顔部位追跡装置。
- 前記基準顔部位探査領域設定手段は、所定の情報として、被検出者が顔の向きを変えたときに、サンプリング時間中に移動する基準顔部位の移動量に基づいて、前記基準顔部位探査領域の大きさを決定することを特徴とする請求項１〜請求項５のいずれか１項に記載の顔部位追跡装置。
- 前記基準顔部位探査領域設定手段は、被検出者が顔の向きを変えたときとして、被検出者が顔を上下左右に振っているときを採用することを特徴とする請求項６に記載の顔部位追跡装置。
- 前記他顔部位探査領域設定手段は、前記他顔部位探査領域を前記基準顔部位探査領域以下の大きさで設定することを特徴とする請求項１〜請求項７のいずれか１項に記載の顔部位追跡装置。
- 前記他顔部位探査領域設定手段は、いずれか１つ以上の他顔部位の位置を検出できなかった場合に、前記他顔部位探査領域を広くすると共に、前記他顔部位探査領域を前記基準顔部位探査領域以下の大きさで設定するという制限を解除することを特徴とする請求項８に記載の顔部位追跡装置。
- 検出された複数の顔部位の位置に基づいて、前記配置関係情報を求める配置関係取得手段を更に備えることを特徴とする請求項１〜請求項９のいずれか１項に記載の顔部位追跡装置。
- 前記配置関係取得手段は、前記配置関係情報として、複数の顔部位のうち１の顔部位と前記１の顔部位以外の顔部位との画像縦方向距離及び横方向距離を求めると共に、画像上において前記１の顔部位から前記１の顔部位以外の顔部位へ向かう方向を求めることを特徴とする請求項１０に記載の顔部位追跡装置。
- 前記配置関係取得手段は、前記配置関係情報として、画像上において１の顔部位と前記１の顔部位以外の顔部位とを結んだときの線分の長さ、及びその線分と画像所定方向とが為す角度を求めることを特徴とする請求項１０に記載の顔部位追跡装置。
- 被検出者の顔部位の動きを追跡する顔部位追跡装置において、
被検出者の顔を撮像して、複数の顔部位のうち基準となる基準顔部位、及び基準顔部位以外の他顔部位を含む撮像画像を取得し、前記撮像画像に対し、所定の情報に基づいて、画像全体よりも狭くされた基準顔部位追跡用の基準顔部位探査領域を設定し、設定した基準顔部位探査領域内から、基準顔部位の位置を検出し、前記撮像画像に対し、検出した基準顔部位の位置と、各顔部位の相対位置を示す配置関係情報とに基づいて、画像全体よりも狭くされた他顔部位追跡用の他顔部位探査領域を設定し、設定した他顔部位探査領域内から、他顔部位の位置を検出することを特徴とする顔部位追跡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003139406A JP2004341953A (ja) | 2003-05-16 | 2003-05-16 | 顔部位追跡装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003139406A JP2004341953A (ja) | 2003-05-16 | 2003-05-16 | 顔部位追跡装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004341953A true JP2004341953A (ja) | 2004-12-02 |
Family
ID=33528504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003139406A Pending JP2004341953A (ja) | 2003-05-16 | 2003-05-16 | 顔部位追跡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004341953A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006202047A (ja) * | 2005-01-20 | 2006-08-03 | Toyota Motor Corp | 移動物体検出装置及び移動物体検出方法 |
| JP2007322351A (ja) * | 2006-06-05 | 2007-12-13 | Mitsubishi Electric Corp | ３次元物体照合装置 |
| JP2011134344A (ja) * | 2011-02-24 | 2011-07-07 | Nintendo Co Ltd | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
-
2003
- 2003-05-16 JP JP2003139406A patent/JP2004341953A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006202047A (ja) * | 2005-01-20 | 2006-08-03 | Toyota Motor Corp | 移動物体検出装置及び移動物体検出方法 |
| JP4609076B2 (ja) * | 2005-01-20 | 2011-01-12 | トヨタ自動車株式会社 | 移動物体検出装置及び移動物体検出方法 |
| JP2007322351A (ja) * | 2006-06-05 | 2007-12-13 | Mitsubishi Electric Corp | ３次元物体照合装置 |
| JP2011134344A (ja) * | 2011-02-24 | 2011-07-07 | Nintendo Co Ltd | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
| US8718325B2 (en) | 2011-02-24 | 2014-05-06 | Nintendo Co., Ltd. | Computer-readable storage medium, image processing apparatus, image processing system, and image processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3768735B2 (ja) | 顔画像処理装置 | |
| US6118887A (en) | Robust multi-modal method for recognizing objects | |
| US5715325A (en) | Apparatus and method for detecting a face in a video image | |
| EP1426898A2 (en) | Human detection through face detection and motion detection | |
| CN101027678B (zh) | 基于单个图像的多生物统计系统及方法 | |
| KR101490016B1 (ko) | 인물 화상 처리 장치 및 인물 화상 처리 방법 | |
| JP5218168B2 (ja) | 撮像装置、動体検知方法、動体検知回路、プログラム、及び監視システム | |
| EP2192549A1 (en) | Target tracking device and target tracking method | |
| JPH0676062A (ja) | 画像処理装置 | |
| WO2022095440A1 (zh) | 面向自动驾驶的人机协同感知方法及系统 | |
| JP4506250B2 (ja) | 上瞼検出装置 | |
| JP4529635B2 (ja) | 開閉眼判定装置 | |
| JP3936683B2 (ja) | 道路位置検出装置及びプログラム | |
| JP2004038624A (ja) | 車両認識方法、車両認識装置及び車両認識用プログラム | |
| JP2009205283A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2007265281A (ja) | 自影判定方法 | |
| JP2004341953A (ja) | 顔部位追跡装置 | |
| JP2004334786A (ja) | 状態検出装置及び状態検出システム | |
| JP4107104B2 (ja) | 顔部位追跡装置 | |
| JP4725096B2 (ja) | 覚醒度判断装置 | |
| JP4042602B2 (ja) | 画像処理装置 | |
| JP4070450B2 (ja) | 前方車両認識装置及び認識方法 | |
| JP5128454B2 (ja) | 瞼検出装置、瞼検出方法及びプログラム | |
| JP2005013626A (ja) | 覚醒状態検出装置 | |
| JP2005018654A (ja) | 脇見状態検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060403 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080509 |