JP2001243466A - 顔認識装置およびその方法 - Google Patents

Abstract

(57)【要約】 【課題】 顔の認識処理において、人が顔画像を撮影す
る画像入力装置に対してわざわざ移動したり向きを変え
たりする手間などをかけることなく、精度の高い識別及
び認識を行うことを可能とする顔認識装置およびその方
法を提供する。 【解決手段】 画像入力部１１によって入力された画像
は、デジタル化され画像記憶部１３に記憶される。顔方
向検出部１５は、画像記憶部１３から読み出した画像デ
ータを分析することによって、その画像に写された顔の
向いている方向を検出する。移動制御部１６が制御する
駆動部２０の作用によって、画像入力部１１の位置また
は向きが変化するため、対象となる人の顔を複数の様々
な方向から撮像することが可能となる。それらの画像の
うち、顔を正面から撮像した画像データを用いて顔認識
部１４が認識処理を行うため、良い認識精度が得られ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、人を識別したり
顔の表情や状態を読み取ったりすることなどを目的とし
て顔を認識する顔認識装置およびその方法に関する。特
に、顔の正面画像を取得することにより認識の精度を上
げる顔認識装置およびその方法に関する。

【０００２】

【従来の技術】情報化の進展に伴い、利用者にとってよ
り使い易いマンマシンインタフェースが求められてきて
いる。また、それに伴いマンマシンインタフェースにお
ける利用者識別および認証の技術の重要性もますます高
まってきている。大別すると、このような認証の方式と
して、本人しか持っていない情報媒体（例えば、磁気カ
ードやＩＣカードなど）を用いる方法、本人しか知り得
ない情報（例えば、パスワードなど）の符合による方
法、本人の身体の特徴（例えば、指紋、眼底の模様、顔
つきなど）による方法などがあげられる。身体特徴を利
用する方法のひとつとして、顔のデジタル画像を基に人
を識別する方法の研究は従来より行われている。また、
認証目的に限らず、マンマシンインタフェースとして利
用者の表情を認識することで、利用者の感情等をも判断
することも考えられ、顔認識の技術の重要度は高まって
いる。例えば、表情を基に、笑っている、怒っている、
疲れているといった状態を判断したり、大人か子供かを
判断したりするという利用方法が考えられている。

【０００３】デジタル画像に写された顔の分析による人
の顔認識において、横顔を撮像した場合、あるいは上下
左右いずれかの斜め方向から顔を撮像した場合は、真正
面からの写した画像を用いる場合と比較して、顔の検出
や顔の構成要素の検出や顔の特徴の抽出が難しいことが
知られている。また、真後ろあるいは斜め後ろの方向か
ら撮像した場合には、後頭部の像しか得られず、顔の認
識は著しく困難あるいは不可能である。

【０００４】

【発明が解決しようとする課題】従って、従来技術によ
る顔認識装置では、認識精度を上げるために、人に撮像
部に対して真正面に対向することを要求している。しか
しながら、人にとっての利便性および機械に対する親和
性を高めて技術の応用範囲を今後より一層広めるために
は、人にわざわざ上記のような動作をとることを求める
ことは得策ではない。

【０００５】本発明は、上記のような事情を考慮してな
されたものであって、顔の認識処理を行うにあたって、
人がわざわざ移動したり向きを変えたり姿勢を正したり
する手間をかけることや、そのような動作を行うことに
よって機械と向かい合うという違和感を感じさせたりす
ることなく、精度の高い顔認識を行うことを可能とする
顔認識装置およびその方法を提供することを目的とす
る。

【０００６】

【課題を解決するための手段】上記の課題を解決するた
めに、請求項１に記載の発明は、画像入力部を備え、こ
の画像入力部より入力される画像データを基に顔の認識
処理を行う顔認識装置において、前記画像入力部の空間
に対する位置または向きの少なくとも一方を移動させる
ための駆動部と、前記画像データを基にこの画像に写さ
れた顔の方向を検出する顔方向検出部と、前記顔方向検
出部が検出した顔方向に基づいて前記駆動部を制御する
移動制御部とを備えることを特徴とする顔認識装置を要
旨とする。

【０００７】この発明のこのような構成により、駆動部
は、移動制御部の制御によりながら、画像入力部の位置
または向きを移動させる。駆動部による移動手段によっ
て、顔認識装置全体が移動しても良いし、顔認識装置自
体は移動せずに画像入力部だけが移動しても良い。画像
入力部が移動することにより、様々な方向から顔画像を
撮像することが可能となる。それら様々な方向から撮像
された顔画像のうち、正面から撮像された顔画像を用い
て認識処理を行うことにより、高精度な顔認識処理が可
能となる。

【０００８】また請求項２に記載の発明においては、前
記移動制御部は、前記画像データの頭部領域における所
定の色の割合が多くなる方向に前記画像入力部が移動す
るように前記駆動部を制御し、前記顔方向検出部は、移
動に伴って前記割合のピークを検出し、このピークが検
出されたときの画像データを基に顔の認識処理を行うこ
とを特徴とする。

【０００９】この発明のこのような構成により、駆動部
は、移動制御部の制御によりながら、撮像された画像に
おける顔の肌の色の領域が大きくなるように画像入力部
の位置または向きを移動させる。顔方向検出部は、頭部
領域における肌の色の領域の面積の割合がピークとなる
位置を検出する。肌の色の領域面積の割合がピークとな
る画像が顔正面の画像であると判断できる。

【００１０】また請求項３に記載の発明においては、前
記移動制御部は、前記画像入力部が所定の範囲の位置お
よび方向を網羅的に移動するように前記駆動部を制御
し、前記顔方向検出部は、移動に伴って前記画像入力部
より入力される複数の画像データのうち頭部領域におけ
る所定の色の割合が最大となる画像データを検出し、前
記割合が最大となった当該画像データを基に顔の認識処
理を行うことを特徴とする。

【００１１】この発明のこのような構成により、駆動部
は、移動制御部の制御によりながら、所定の範囲を網羅
するように画像入力部を移動させる。それらの移動に伴
って画像入力部から入力された画像を基に、顔方向検出
部は、肌の色の領域面積の割合が最大となる位置の画像
を特定する。この肌の色の領域面積の割合が最大である
画像が顔正面の画像であると判断できる。

【００１２】また請求項４に記載の発明においては、前
記顔方向検出部は、前記画像データにおける顔の構成要
素の重心の位置を基に顔の方向を検出することを特徴と
する。

【００１３】ここで、顔の構成要素とは、画像上で認識
可能な顔の形態要素であり、例えば目、鼻、口、眉毛、
耳などである。この発明のこのような構成により、顔方
向検出部は、顔の構成要素の重心と顔輪郭との位置関係
により、顔の方向を検出できる。よって、頭髪の状態な
どによって色情報だけから顔方向を検出することが困難
な場合にも正確に顔方向を検出することができる。

【００１４】また請求項５の発明においては、様々な方
向から見た顔の画像をテンプレート画像として記憶する
テンプレート画像記憶部を備え、前記顔方向検出部は、
前記画像データと前記テンプレート画像との相関度を基
に顔の方向を検出することを特徴とする。

【００１５】ここで、個々のテンプレート画像における
顔方向は既知である。よって、顔方向検出部が入力画像
と複数のテンプレート画像との相関度を算出し、最も相
関度の高いテンプレート画像を特定することにより、顔
方向を求めることができる。

【００１６】また請求項６に記載の発明においては、前
記顔方向検出部は、顔方向の検出状態に応じて複数の検
出手段を切り替えて使用することを特徴とする。

【００１７】この発明のこのような構成により、顔方向
検出部は、入力された画像の状態に応じて、それ適した
顔方向検出手段を用いることが可能となる。画像の状態
とは、例えば、人の頭部の認識状態や、画像入力部の移
動に伴う肌の色の領域面積の変化の様子や、画像内での
明度の分布などである。

【００１８】また請求項７に記載の発明は、画像入力手
段から入力された画像データを基にこの画像に写された
顔の方向を検出する第１のステップと、検出された顔の
方向に基づいて前記画像入力手段の空間に対する位置ま
たは向きの少なくとも一方を移動させる第２のステップ
と、顔方向が正面である画像データを特定する第３のス
テップと、この第３のステップにおいて特定された画像
データを基に顔の認識処理を行う第４のステップとを有
することを特徴とする顔認識方法を要旨とする。

【００１９】また請求項８に記載の発明では、前記第１
のステップにおいては、前記画像データの頭部領域にお
ける所定の色の割合によって顔の方向を検出し、前記第
２のステップにおいては、前記割合が大きくなるような
移動の制御を行い、前記第３のステップにおいては、前
記割合のピークを検出することによって顔方向が正面で
あることを特定することを特徴とする。

【００２０】また請求項９に記載の発明は、画像入力手
段が所定の移動範囲の位置および方向を網羅するように
移動させる第１のステップと、この第１のステップの移
動に伴って、前記画像入力手段から入力された複数の画
像データそれぞれの頭部領域における所定の色の割合を
算出する第２のステップと、この第２のステップにおけ
る算出結果を基に、当該移動範囲において入力された複
数の画像データのうち前記割合が最大となる画像データ
を特定する第３のステップと、この第３のステップにお
いて特定された画像データを基に顔の認識処理を行う第
４のステップとを有することを特徴とする顔認識方法を
要旨とする。

【００２１】また請求項１０に記載の発明では、前記第
１のステップにおいては、前記画像データにおける顔の
構成要素の重心の位置を基に顔の方向を検出することを
特徴とする。

【００２２】また請求項１１に記載の発明では、様々な
方向から見た顔の画像をテンプレート画像として予め記
憶しておき、前記第１のステップにおいては、前記画像
データと前記テンプレート画像との相関度を基に顔の方
向を検出することを特徴とする。

【００２３】また請求項１２に記載の発明では、前記第
１のステップにおいては、顔方向の検出状態に応じて複
数の検出手段を切り替えて使用することを特徴とする。

【００２４】

【発明の実施の形態】以下、図面を参照しこの発明の一
実施形態について説明する。図１は、同実施形態による
顔認識装置の機能構成を示すブロック図である。図１に
おいて、顔認識装置１は、画像入力部１１、画像取込部
１２、画像記憶部１３、顔認識部１４、顔方向検出部１
５、移動制御部１６、位置検出部１７、駆動部２０とに
より構成される。

【００２５】画像入力部１１は、レンズ等の集光手段を
介して得られる光による像を電気信号に変換する。画像
取込部１２は、画像入力部１１が出力する電気信号を基
に量子化や情報圧縮などの処理を行い、デジタル処理可
能な画像データに変換する。画像記憶部１３は、画像取
込部１２によって変換された画像データを蓄積する。こ
の画像記憶部１３に蓄積された画像データは必要に応じ
て読み出せるようになっている。顔方向検出部１５は、
画像記憶部１３に蓄積された画像データを読み出し、そ
の画像の中から顔を検出し分析することにより、撮像面
に対する顔の方向を検出する。この顔方向検出部１５に
よる方向検出の詳細事項については後述する。

【００２６】位置検出部１７は、空間における顔認識装
置１の位置および向き、あるいは顔認識装置１に設けら
れている画像入力部１１の位置および向きを検出する。
位置検出部１７による位置検出の原理としては様々なも
のが採用可能であるが、例えば、前後進モータ２１や操
舵モータ２２に設けられたエンコーダによってこれらの
モータの作動量を検出することによる方法や、空間内の
固定物（床、柱、天井、その他）にマークされた情報を
物理的方法または電気的方法または光学的方法またはそ
の他の方法によって読み取ることによる方式や、発信さ
れた電波や光や音波などを受信しその発信源の方向を基
に位置検出する方式や、電波などによる信号を受信した
時刻と基準となる時刻との差を基に位置検出する方式
や、ジャイロを用いる方法などがある。電波を受信する
方法の具体例としては、ＧＰＳ（Global Positioning S
ystem ）を用いる方法などがある。

【００２７】移動制御部１６は、顔方向検出部１５によ
って検出された顔方向および位置検出部１７によって検
出された位置情報を基に、また独自の移動戦略に基づ
き、画像入力部１１の位置あるいは向きもしくはその両
方を変えるべく、駆動部２０を制御する。本実施形態に
おける駆動部２０は、前後進モータ２１と操舵モータ２
２により構成され、これらのモータにより車輪を駆動し
て顔認識装置１全体の位置や向きを変えることができる
ようになっている。

【００２８】次に、上記のような機能を有する顔認識装
置１の移動のしかたについて説明する。図２は、顔認識
装置１と認識対象となる人との位置関係を示す平面図で
ある。図２において、顔認識装置１に設けられた画像入
力部１１の撮像面は人３９に向けられている。このよう
な状況において、顔認識装置１は前述した駆動部２０の
機能によって、少なくとも人３９を中心とする円周４０
に沿って平面上を移動することができる。具体的には例
えば、円周４０に沿って敷設されているレール上を走行
することによって、そのような移動を行う。図２に示す
ように、顔認識装置の位置は人３９が存在している場所
を中心として原位置からの変位角θによって表される。
また、平面視において、円周４０上の時計回りの移動を
「＋」、反時計回りの移動を「−」で表すものとする。

【００２９】本顔認識装置に設けられている顔方向検出
部は、入力された画像内における肌の色の領域の量を基
に顔方向を検出する。図３は、顔方向検出部１５の詳細
機能構成を示すブロック図である。図３に示すように、
顔方向検出部１５は肌色検出部５０を有しており、この
肌色検出部５０は、ＲＧＢ変換部５１、明度・色度記憶
部５２、比較部５３、肌色面積割合算出部５４によって
構成されている。

【００３０】立体構造物である顔は、照明の照射の具合
によって照明のむらが生じるため、同系色の領域でも同
一一定値のＲＧＢ値を持つことがないので、入力された
画像データに対して下で述べる変換処理を行って明度と
色度の分離を行う。そして、人の頭部部分の明度値範囲
および肌の部分の色度値範囲を予め設定しておき、画像
データ中の画素のうちこれら両方の範囲条件を満足する
画素数を求めることにより、肌色面積を計算するように
する。顔認識装置の作動する環境によって、これら明度
と色度の最適値は異なるため、本実施形態では、使用場
所等に応じて設定値を自由に変更できるようにしてい
る。また、明度の範囲と色度の範囲とをそれぞれ独立に
設定することも可能であり、例えば、人の肌以外のもの
を肌と同一視しないように色度は狭い範囲に設定して、
光線の陰影の状況などに柔軟に対応できるように明度は
広い範囲に設定するということもできる。

【００３１】ＲＧＢ変換部５１は、画像記憶部１３から
読み出された画像データに関して次のような変換処理を
行って明度および色度を分離して抽出する。つまり、画
素毎の明度ｌは、 ｌ＝（Ｒ′＋Ｇ′＋Ｂ′）／３ によって表され、色度ｒ、ｇ、ｂはそれぞれ ｒ＝６３Ｒ′／（Ｒ′＋Ｇ′＋Ｂ′） ｇ＝６３Ｇ′／（Ｒ′＋Ｇ′＋Ｂ′） ｂ＝６３Ｂ′／（Ｒ′＋Ｇ′＋Ｂ′） によって表される。但し、γを画像入力部における感度
曲線の特性値とし、その逆数１／γをγ′としたとき
に、Ｒ′、Ｇ′、Ｂ′はそれぞれ次の数式で表されるも
のである。

【００３２】

【数１】

【００３３】人の肌の明度および色度の設定値が、外部
から設定値入力部６０を介して入力され、明度・色度記
憶部５２に記憶されるようになっている。比較部５３
は、ＲＧＢ変換部５１から出力される明度および色度の
値と明度・色度記憶部５２に記憶された肌の色の値とを
比較することによって、その画素が肌の色に該当するか
どうかを判断する。この比較部５３の判断結果に基づい
て、肌色面積割合算出部５４が入力画像における肌色面
積割合値を算出し、出力する。

【００３４】なお、ここで顔方向検出のために用いる面
積とは、入力された画像上の面積ではなく、実空間にお
ける平行投射面積である。特殊なケースとして、対象の
顔と画像入力部との距離が一定の場合には画像上の面積
や画素の数を用いて頭部領域や肌色領域の大きさを扱っ
て良い。一般のケースでは、対象の顔と画像入力部との
距離は変動するため、それに伴って画像上の顔面積も変
動する。従って、この場合には距離の変動に伴う画像上
の面積を補正して計算に用いるか、画像上の頭部面積に
占める肌色面積の割合を用いるようにする。ここでは簡
単化のため、撮影される人の頭部領域は、画像の中央部
の一定の大きさおよび位置に正規化されているものとす
る。このように正規化された画像を用いて、頭部領域に
占める肌色面積の割合を求める。

【００３５】次に、上記のような構成を有する顔認識装
置が人の顔を認識する手順について説明する。図４は、
本実施形態による顔認識装置が人の顔を認識する第１の
手順を示すフローチャートである。本手順においては、
顔認識装置が図２に示したような円周上を移動すること
を前提とする。

【００３６】図４の手順においては、まず顔認識装置は
移動方向の初期値を「−」方向、つまり時計回りの方向
に設定する（ステップ１０１）。次に、顔認識装置は自
己の位置を表す変位角θを検出する（ステップ１０
２）。次に、画像入力部から取り込んだ入力画像におけ
る頭部領域の肌色量（肌色面積値）を検出する（ステッ
プ１０３）。そして、次に肌色量の割合のピークが検出
されたかどうかを判断する（ステップ１０４）が、この
ステップの初回実行時にはピークは検出されないので、
「Ｎｏ」の方向に遷移する。

【００３７】次いで、設定されている移動方向に所定量
だけ移動し（ステップ１０５）、その移動先において新
たに取り込まれた入力画像における肌色量を検出する
（ステップ１０６）。そこで、新たな肌色量と前回の肌
色量とを比較し（ステップ１０７）、肌色量が増えてい
なければ移動方向をそれまでとは逆方向に設定し（ステ
ップ１０８）、肌色量が増えていれば移動方向をそのま
ま維持する（ステップ１０９）。その後、ステップ１０
４〜１０９の処理を繰り返す。

【００３８】ステップ１０４においては、勾配法によっ
て、肌色量の割合のピークを検出する。肌色量の割合の
ピークが検出された場合には、その位置が人の顔に対す
る正面であると判断し、移動を終了する。そして、その
位置で取り込まれた画像データが顔認識部１４に渡さ
れ、顔認識部１４は渡された正面顔画像を用いることに
よって高精度の顔認識処理を行うことが可能となる。ま
た、ＧＡ（Genetic Algorithm,遺伝子アルゴリズム）法
を用いて、隔散的位置で画像を取り込みながら顔の正面
方向を求める方法をとっても良い。

【００３９】次に、顔認識装置によって人の顔を認識す
る第２の手順について説明する。この第２の手順におい
ても、顔認識装置が図２に示したような円周上を移動す
ることを前提とする。そして、顔認識装置は初期位置か
ら所定量ずつ移動しながら、それぞれの位置で入力画像
を取り込み、前述の方法によって画像における肌色面積
割合値を算出し、位置情報と肌色面積割合値とをペアで
記録していく。図５は、そのように記録されたデータの
構造を示す表図である。本実施形態では、顔認識装置は
変位角１度毎に画像を取り込み、１度から３６０度まで
３６０個の入力画像についてそれぞれの肌色面積割合値
を記録している。例えば、図５に示すデータでは、変位
角４４度の位置において肌色面積割合値が最大の「８８
％」となっている。よってこの４４度の位置が人の顔に
対する正面であると判断し、その位置で取り込まれた画
像データが顔認識部１４に渡され、顔認識部１４は渡さ
れた正面顔画像を用いることによって顔認識処理を行
う。なお、それぞれの角度における肌色割合値には誤差
が含まれることが多いため、そのような場合には変位角
に対する値の変化を円滑化するようなフィルタリング処
理を行った上で、最大の肌色割合値を検出するようにし
ても良い。

【００４０】次に、顔認識装置によって人の顔を認識す
る第３の手順について説明する。この第３の方法では、
入力画像データを分析することによって目、鼻、口など
といった顔の構成要素を抽出し、それらの構成要素の配
置を基に顔の向きを検出し、その顔の向きを基に顔正面
画像を得るための移動量を算出する。図６は、そのよう
な顔方向検出の原理を示す参考図である。入力画像デー
タから、エッジフィルタリング処理およびテンプレート
マッチング処理によって顔輪郭および顔の構成要素の輪
郭を抽出し、画像上におけるそれらの位置関係によって
撮像面に対する顔の方向を算出する。具体的には例え
ば、平面画像における顔輪郭の重心と、目と鼻と口の重
心とのずれによって顔方向を算出する。

【００４１】図７は、上記のような顔の構成要素に基づ
く顔方向検出を用いて顔認識を行う手順を示すフローチ
ャートである。まず、入力画像を基に顔の構成要素を認
識し、特徴の抽出を行う（ステップ３０１）。次に、上
述した顔の構成要素の配置関係の分析により顔の方向の
検出を行う（ステップ３０２）。次に、検出された顔方
向を基に、正面画像を得るための目標位置を算出し、移
動方向および移動量を決定する。ここで、移動すべき量
が所定量以下かどうかによって、既に顔の正面画像が得
られているかどうかを判定する（ステップ３０４）。ス
テップ３０４における「所定量」を適切に取ることによ
って、顔正面を捕らえる精度を上げる。また、この「所
定量」が小さすぎることによるハンチングを起こさない
ように、予め設定しておく。もし移動すべき量が所定量
よりも大きい場合は、実際に移動を行い（ステップ３０
５）、ステップ３０１以降の処理を繰り返す。ステップ
３０４において移動すべき量が所定量以下である場合に
は、それ以上移動せず、その位置で取り込まれた画像デ
ータが顔認識部１４に渡され、顔認識処理が行われる。
この手法を用いることにより、髪の毛の色や量によって
肌色面積割合値を基にした顔方向の検出が難しい場合に
も、顔の正面の判断が可能となる。

【００４２】次に、顔認識装置によって人の顔を認識す
る第４の手順について説明する。この第４の方法では、
既知の顔方向によるテンプレート画像を用いる。図１１
は、それぞれ異なる顔方向のテンプレート画像例を示す
図である。図１１に示すそれぞれの画像は顔の正面に対
して、＋９０度（ａ）、＋４５度（ｂ）、０度（ｃ）、
−４５度（ｄ）、−９０度（ｅ）の角度のテンプレート
画像である。これらのテンプレート画像を画像記憶部
（テンプレート画像記憶部）に記憶しておき、画像入力
部から入力された画像とこれらテンプレート画像との相
関度を基に、入力画像の顔方向を決定する。また、この
テンプレートマッチングによる方法を前述の勾配法ある
いはＧＡ法とを組み合わせることによって、正面顔画像
を得るようにしても良い。また、髪の毛の色（黒、茶、
ブロンド、赤等）の領域が、入力画像上の顔の左右両側
に均等に存在することを以て正面画像であることを判断
する手法を併用しても良い。

【００４３】なお、図１１で示した５種類の方向に限ら
ず、より細かいステップの角度で刻まれた多数の方向か
らの画像を用いて精度の向上を図っても良い。また、単
一の人物だけでなく、複数人物のテンプレート画像を用
意して広い範囲の特徴に対応できるようにしても良い。
さらに、テンプレートマッチングをする際に、複数のサ
ンプル顔画像の特徴の平均値をとった平均顔のテンプレ
ートを用いても良い。またさらに、モザイク処理や空間
方向の平滑化処理を施したテンプレート画像を用いるよ
うにしても良い。

【００４４】以上、移動により顔の正面画像を得て高精
度の顔認識処理を行うための第１〜第４の手順について
説明したが、取得した顔画像の状態または顔方向の検出
状態に応じてこれら複数の方法を切り替えて使用するよ
うにしても良い。なお、顔方向の検出状態とは、撮像角
度による肌色量のピーク性の鋭さや、顔の構成要素の検
出の確度や、テンプレートマッチング時のマッチング確
度等である。

【００４５】次に、画像入力部を移動させる手段につい
て説明する。図８は、本実施形態による顔認識装置の外
観を示す側面図（ａ）および正面図（ｂ）である。図８
に示すように顔認識装置１には複数の車輪８１が設けら
れており、これらの車輪８１は駆動部によって駆動され
る。よって顔認識装置１全体が移動することが可能であ
り、顔認識装置に設けられている画像入力部１１もそれ
に伴って移動する。

【００４６】図９は、画像入力部を移動させるための他
の形態を示す側面図（ａ）および正面図（ｂ）である。
図９において、画像入力部１１は、画像入力部移動用ア
ーム９１〜９３および画像入力部用移動用ジョイント９
４〜９７によって構成される多関節系の先に備え付けら
れている。従って、移動制御部の制御によって駆動部が
この多関節系を駆動することにより、アームの届く範囲
内で画像入力部１１の位置および向きを自由に変えるこ
とができる。なお、図９に示す顔認識装置は車輪も持っ
ており、顔認識装置１の位置を静止したまま画像入力部
１１の位置を移動させるだけでなく、顔認識装置１全体
の位置と画像入力部１１の位置とを同時に移動させるこ
とも可能である。

【００４７】図１０は、画像入力部１１が取り付けられ
た自動車の運転者席を示す参考図である。画像入力部１
１は、自動車ルーフに設けられたレールに沿って移動で
きるようになっており、そのような移動によって所定範
囲内の任意の方向から運転者席の顔の画像を取得でき
る。従って、運転者の顔の位置や向きが変化した場合に
も、画像入力部１１が顔を追従することができる。画像
入力部１１は、可視光線画像だけでなく赤外線画像をも
入力することができるようになっており、夜間走行時や
トンネル内走行時にも運転者の顔画像を取り込むことが
できる。そして、取得された画像データを基に、図１０
には示されてない顔方向検出部が運転者の顔方向を検出
し、同じく図示されてない顔認識部が顔の認識を行う。
このように自動車に本発明の顔認識装置を設けることに
より、顔によって運転者を識別したり、顔の表情を基に
運転者の疲労度や覚醒度を検出することが可能となる。
なお、運転者に限らず、同乗者を撮影してその顔を認識
できるようにしても良い。

【００４８】なお、画像入力部１１の移動の手段は上記
のような、車輪によるものや、作業用アームによるもの
に限定されない。他の例としては、二脚による歩行、四
脚による歩行、その他多脚によるもの、無限軌道による
もの、浮上して移動するものなどでも良い。

【００４９】また、上記実施形態では、頭部が常に画像
入力部の撮像面に写っていることを前提としているが、
頭部領域を決定し画像入力部を移動させるような処理を
加えることによって、予め頭部が写ってない状態から開
始して顔を認識できる位置に移動するようにしても良
い。また、画像を基にするだけでなく、人が口から発す
る声をステレオマイクロフォンを用いて検知し、２本の
マイクロフォンにおける音圧差を基に人の正面を判断
し、顔の正面画像を得て認識処理を行うようにしても良
い。また、顔認識装置に発音手段を設けて、顔認識装置
から人に対して声をかけることによって人が正面を向く
ようにしむけて、顔の正面画像を得るようにしても良
い。

【００５０】上記のように移動手段を有する顔認識装置
を用いて、ロボット、特に人間型ロボットやペット型ロ
ボットや自律作業ロボットを構成した場合、移動手段に
よって人間の正面に回り込めるようになるため、人間と
の自然な位置関係でのコミュニケーションを実現するこ
とができ、また結果的に顔正面画像を取得し、顔認識お
よび顔識別の精度を向上させることが可能となり、例え
ば、特定の人間の指示のみに従うロボットを実現するこ
とができる。

【００５１】上述の顔認識装置は、内部にコンピュータ
を用いて構成しても良い。この場合、上述した画像取り
込み、顔方向検出、移動制御、顔認識の各過程またはこ
れらの過程の一部は、プログラムの形式でコンピュータ
システムの記録媒体に記憶されており、このプログラム
をコンピュータが読み出して実行することによって、上
記処理が行われる。ここでコンピュータシステムの記録
媒体とは、フロッピー（登録商標）ディスク、光磁気デ
ィスク、ＣＤ−ＲＯＭ、磁気ハードディスク、半導体メ
モリ等をいう。

【００５２】

【発明の効果】以上説明したように、請求項１または請
求項７の発明によれば、入力された画像データを基に顔
の方向を検出することが可能であり、人間の感覚として
コミュニケーションをとるのに自然と感じられる位置に
移動して顔の認識を行うことが可能となるため、利用者
にとって親和性が高く、扱い易い装置となる。また、顔
正面の画像を選択的に用いて顔認識の処理を行うことが
できるため、顔認識の精度を向上させることが可能とな
る。また、これらの発明によれば、顔認識装置が自律的
に画像入力部を移動させることによって異なる複数の方
向から撮像し、正面画像を得ることが可能であるため、
顔を用いた認証等においても人がわざわざ位置または向
きを変えることによって画像入力部に顔を向ける必要が
ない。

【００５３】また、請求項２または請求項８の発明によ
れば、顔の肌の色を検出してその面積が大きくなるよう
な方向に画像入力部を移動させる制御を行うため、比較
的短時間で顔の正面画像を得ることが可能となる。ま
た、請求項３または請求項９の発明によれば、例えば、
人の周囲を一周して全方位からの画像を取得するなど、
所定範囲を網羅的に移動して、顔の肌の色を検出してそ
の面積の割合が最大となる画像を用いるため、確実に顔
の正面画像を得ることが可能となる。

【００５４】また、請求項４または請求項１０の発明に
よれば、画像上での顔の構成要素の重心を基に顔方向を
検出するため、衣類が顔の一部を覆っている場合や、頭
髪の状態などによって、色情報だけから顔方向を検出す
ることが困難な場合にも正確に顔方向を検出することが
できる。

【００５５】また、請求項５または請求項１１の発明に
よれば、既知の様々な方向から見た顔の画像を予めテン
プレート画像として記憶しておき、入力画像とテンプレ
ート画像との相関度によって顔方向を検出するため、頭
髪の状態などによって、色情報だけから顔方向を検出す
ることが困難な場合にも正確に顔方向を検出することが
できる。

【００５６】また、請求項６または請求項１２の発明に
よれば、入力された画像の状態に応じて、顔方向検出の
方法を切り替えるため、状況ごとに適した方法で顔の正
面の画像を得ることができるようになる。

【図面の簡単な説明】

【図１】 この発明の一実施形態による顔認識装置の機
能構成を示すブロック図である。

【図２】 同実施形態による顔認識装置の位置、移動範
囲、および移動方向を示す平面図である。

【図３】 同実施形態による顔認識装置における顔方向
検出部の詳細機能構成を示すブロック図である。

【図４】 同実施形態による顔認識装置における顔方向
検出の手順を示すフローチャートである。

【図５】 同実施形態による顔認識装置における顔方向
検出のための変位角と肌色面積値の関係を保持するデー
タの構造を示す表図である。

【図６】 同実施形態による顔認識装置において顔の構
成要素の配置関係により顔方向を検出する原理を示す参
考図である。

【図７】 同実施形態による顔認識装置において顔の構
成要素の配置関係を基に検出された顔方向を用いて顔正
面に移動する手順を示すフローチャートである。

【図８】 同実施形態による顔認識装置の外観を示す側
面図（ａ）および正面図（ｂ）である。

【図９】 同実施形態による顔認識装置の外観を示す側
面図（ａ）および正面図（ｂ）である。

【図１０】 顔認識装置が取り付けられた自動車を示す
参考図である。

【図１１】 テンプレート顔画像を示す図である。

【符号の説明】

１ 顔認識装置 １１ 画像入力部 １２ 画像取込部 １３ 画像記憶部 １４ 顔認識部 １５ 顔方向検出部 １６ 移動制御部 １７ 位置検出部 ２０ 駆動部 ２１ 前後進モータ ２２ 操舵モータ ５０ 肌色検出部 ５１ ＲＧＢ変換部 ５２ 明度・色度記憶部 ５３ 比較部 ５４ 肌色面積割合算出部 ６０ 設定値入力部 ８１ 車輪 ９１，９２，９３ 画像入力部移動用アーム ９４，９５，９６，９７ 画像入力部用移動用ジョイン
ト

Claims (12)

【特許請求の範囲】
1. 【請求項１】 画像入力部を備え、この画像入力部より
   入力される画像データを基に顔の認識処理を行う顔認識
   装置において、 前記画像入力部の空間に対する位置または向きの少なく
   とも一方を移動させるための駆動部と、 前記画像データを基にこの画像に写された顔の方向を検
   出する顔方向検出部と、 前記顔方向検出部が検出した顔方向に基づいて前記駆動
   部を制御する移動制御部と、 を備えることを特徴とする顔認識装置。
2. 【請求項２】 前記移動制御部は、前記画像データの頭
   部領域における所定の色の割合が多くなる方向に前記画
   像入力部が移動するように前記駆動部を制御し、 前記顔方向検出部は、移動に伴って前記割合のピークを
   検出し、 このピークが検出されたときの画像データを基に顔の認
   識処理を行うことを特徴とする請求項１に記載の顔認識
   装置。
3. 【請求項３】 前記移動制御部は、前記画像入力部が所
   定の範囲の位置および方向を網羅的に移動するように前
   記駆動部を制御し、 前記顔方向検出部は、移動に伴って前記画像入力部より
   入力される複数の画像データのうち頭部領域における所
   定の色の割合が最大となる画像データを検出し、 前記割合が最大となった当該画像データを基に顔の認識
   処理を行うことを特徴とする請求項１に記載の顔認識装
   置。
4. 【請求項４】 前記顔方向検出部は、前記画像データに
   おける顔の構成要素の重心の位置を基に顔の方向を検出
   することを特徴とする請求項１に記載の顔認識装置。
5. 【請求項５】 様々な方向から見た顔の画像をテンプレ
   ート画像として記憶するテンプレート画像記憶部を備
   え、 前記顔方向検出部は、前記画像データと前記テンプレー
   ト画像との相関度を基に顔の方向を検出することを特徴
   とする請求項１に記載の顔認識装置。
6. 【請求項６】 前記顔方向検出部は、顔方向の検出状態
   に応じて複数の検出手段を切り替えて使用することを特
   徴とする請求項１〜５のいずれかに記載の顔認識装置。
7. 【請求項７】 画像入力手段から入力された画像データ
   を基にこの画像に写された顔の方向を検出する第１のス
   テップと、 検出された顔の方向に基づいて前記画像入力手段の空間
   に対する位置または向きの少なくとも一方を移動させる
   第２のステップと、 顔方向が正面である画像データを特定する第３のステッ
   プと、 この第３のステップにおいて特定された画像データを基
   に顔の認識処理を行う第４のステップとを有することを
   特徴とする顔認識方法。
8. 【請求項８】 前記第１のステップにおいては、前記画
   像データの頭部領域における所定の色の割合によって顔
   の方向を検出し、 前記第２のステップにおいては、前記割合が大きくなる
   ような移動の制御を行い、 前記第３のステップにおいては、前記割合のピークを検
   出することによって顔方向が正面であることを特定する
   ことを特徴とする請求項７に記載の顔認識方法。
9. 【請求項９】 画像入力手段が所定の移動範囲の位置お
   よび方向を網羅するように移動させる第１のステップ
   と、 この第１のステップの移動に伴って、前記画像入力手段
   から入力された複数の画像データそれぞれの頭部領域に
   おける所定の色の割合を算出する第２のステップと、 この第２のステップにおける算出結果を基に、当該移動
   範囲において入力された複数の画像データのうち前記割
   合が最大となる画像データを特定する第３のステップ
   と、 この第３のステップにおいて特定された画像データを基
   に顔の認識処理を行う第４のステップとを有することを
   特徴とする顔認識方法。
10. 【請求項１０】 前記第１のステップにおいては、前記
    画像データにおける顔の構成要素の重心の位置を基に顔
    の方向を検出することを特徴とする請求項７に記載の顔
    認識方法。
11. 【請求項１１】 様々な方向から見た顔の画像をテンプ
    レート画像として予め記憶しておき、 前記第１のステップにおいては、前記画像データと前記
    テンプレート画像との相関度を基に顔の方向を検出する
    ことを特徴とする請求項７に記載の顔認識方法。
12. 【請求項１２】 前記第１のステップにおいては、顔方
    向の検出状態に応じて複数の検出手段を切り替えて使用
    することを特徴とする請求項７、請求項８、請求項１
    ０、または請求項１１のいずれかに記載の顔認識方法。