JP2004310702A - 顔識別システム - Google Patents

Abstract

【課題】顔の識別率をより向上させることができる顔識別システムを提供する。
【解決手段】対象人物の顔データを生成する顔データ生成部１８、参照顔データを登録する参照顔データ記憶部１９、及び前記顔データと前記参照顔データとを比較して、前記対象人物の顔を識別する顔識別部２１を有し、複数のエリアを移動可能なロボット１２と、複数の人物の顔データを登録するデータベース１４と、前記ロボット１２が存在するエリアに居ると推定される人物の顔データを前記データベース１４から抽出し、この抽出された顔データを参照顔データとして前記ロボット１２に送信するコントローラ１３とを備える。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、人物の顔を識別するための顔識別システムに関する。
【０００２】
【従来の技術】
従来、顔識別システムとして、ＣＣＤカメラなどの撮像手段によって対象人物を撮像した画像から、対象人物の顔を識別するシステムが知られている（例えば、特許文献１）。この顔識別システムは、データベースに登録した多くの顔の画像パターンと、対象人物の撮像画像パターンとを対比することによって、対象人物の顔を識別している。
【０００３】
ところで、昨今、例えば社屋といった広いエリア内を巡回するロボットが知られているが、このようなロボットに顔識別システムが組み込まれれば、このロボットは、訪れる顧客の応対に利用することができる。
【０００４】
【特許文献１】
特開２０００−２５９８３４号公報（段落番号（００２７）乃至段落番号（００９５）参照）
【０００５】
【発明が解決しようとする課題】
しかしながら、このような顔識別システムが組み込まれたロボットでは、ロボットに、屋内の全エリアにいると推定される多くの顔の画像パターンと、対象人物の撮像画像パターンとを対比させると、対比させる顔の画像データパターンの種類が膨大になるため、顔の識別率が低下する。
【０００６】
そこで、本発明は、顔の識別率をより向上させることができる顔識別システムを提供することを課題とする。
【０００７】
【課題を解決するための手段】
前記課題を解決するために、請求項１に記載の顔識別システムは、対象人物を撮像し、前記対象人物の顔データを生成する顔データ生成部、参照顔データを登録する参照顔データ記憶部、及び前記顔データと前記参照顔データとを比較することにより、前記対象人物の顔を識別する顔識別部を有し、複数のエリアを移動可能なロボットと、複数の人物の顔データを登録するデータベースと、前記ロボットが存在するエリアにいると推定される人物の顔データを前記データベースから抽出し、この抽出された顔データを参照顔データとして前記ロボットに送信するコントローラとを備えることを特徴とする。
【０００８】
この顔識別システムでは、ロボットが存在するエリアにいると推定される人物の参照顔データと、対照人物の顔データとを比較することによって、ロボットが対照人物の顔を識別するので、当該エリアに存在する確率の低い人物の顔データは、参照顔データから除かれる。したがって、この顔識別システムによれば、ロボットは、より高い識別率で対照人物の顔を識別することができる。また、この顔識別システムによれば、参照顔データの量が低減されるので、ロボットによる顔の識別速度を高めることができる。
【０００９】
請求項２に記載の顔識別システムは、請求項１に記載の顔識別システムにおいて、前記ロボットは、自身の位置を検出するとともに、その検出された位置情報を前記コントローラに出力する位置情報出力部をさらに備え、前記コントローラは、前記位置情報出力部から入力された位置情報に基づいて、前記ロボットが存在する位置を認識することを特徴とする。
【００１０】
この顔識別システムによれば、ロボットが、自身の位置を検出することができるので、ロボットが存在するエリアを推定することができる。したがって、この顔識別システムによれば、ロボット自身が、そのエリアに存在すると推定される人物の参照顔データをコントローラに要求することができる。
【００１１】
請求項３に記載の顔識別システムは、請求項１又は請求項２に記載の顔識別システムにおいて、前記コントローラは、予め設定された時間帯の切り替わりに基づいて、前記ロボットが存在するエリアにいる人物を推定することを特徴とする。
【００１２】
この顔識別システムによれば、ロボットが存在するエリアにいる人物が、時間と場所とで推定されるので、当該エリアに存在する確率の低い人物の顔データは、参照顔データからさらに確実に除かれる。したがって、この顔識別システムによれば、ロボットは、より一層高い識別率で対照人物の顔を識別することができる。また、この顔識別システムによれば、参照顔データの量がさらに低減されるので、ロボットによる顔の識別速度をより高めることができる。
【００１３】
請求項４に記載の顔識別システムは、請求項３に記載の顔識別システムにおいて、前記コントローラは、予め設定された時間帯の切り替わりに基づいて、前記ロボットのいる位置の明るさを推定し、その推定された明るさ情報に基づいて、前記データベースから抽出した顔データを補正して参照顔データを生成することを特徴とする。
【００１４】
この顔識別システムでは、ロボットのいる位置の明るさに基づいて、前記データベースから抽出した顔データを補正して参照顔データを生成するので、この参照顔データは、ロボットのカメラが撮像した際の明るさで得られた顔データと同等に補正されている。したがって、この顔識別システムによれば、ロボットによる顔の識別率は、一層高められる。
【００１５】
請求項５に記載の顔識別システムは、請求項１から請求項４のいずれか一項に記載の顔識別システムにおいて、前記ロボットは、自身が存在する位置の明るさを検出するとともに、その検出された明るさ情報を前記コントローラに出力する光センサをさらに備え、前記コントローラは、前記光センサから出力された明るさ情報に基づいて、前記データベースから抽出した顔データを補正して参照顔データを生成することを特徴とする。
【００１６】
この顔識別システムでは、光センサによって、ロボットが存在する位置の明るさ情報が得られ、ロボットが存在する位置に基づいて、参照顔データが生成される。したがって、この顔識別システムによれば、ロボットによる顔の識別率が、より一層高められる。
請求項６に記載の顔識別システムは、請求項４又は請求項５に記載の顔識別システムにおいて、前記データベースは、明るさに応じた肌色閾値が登録されているとともに、前記コントローラは、前記ロボットのいる位置の明るさに応じた前記肌色閾値を前記データベースから抽出して、前記ロボットに出力することを特徴とする。
この顔識別システムによれば、ロボットがいる位置の明るさに応じた適切な肌色閾値を利用して、対象人物の顔を検出することができる。
【００１７】
【発明の実施の形態】
次に、本発明に係る顔識別システムの実施の形態について適宜図面を参照しながら説明する。
【００１８】
参照する図面において、図１は、本実施の形態に係る顔識別システムのブロック図、図２は、図１の顔識別システムを構成するロボットの参照顔データ記憶部、顔データ生成部、顔識別部及び顔データ登録部の関係を示すブロック図、図３は、図１の顔識別システムを構成するコントローラの顔データ抽出条件設定部のブロック図、図４は、図１の顔識別システムを構成するデータベース及びサーバの関係を示すブロック図、図５（ａ）及び図５（ｂ）は、図１の顔識別システムを構成する顔認識条件データベースに登録される顔認識条件（テーブル）の説明図である。
【００１９】
図１に示すように、本実施の形態に係る顔識別システム１１は、ロボット１２と、コントローラ１３と、データベース１４とを備えている。以下に、ロボット１２、コントローラ１３及びデータベース１４の順番に説明する。
【００２０】
（ロボット）
ロボット１２は、図１及び図２に示すように、識別の対象となる対象人物を撮像して撮像画像を取得するカメラＣＲ，ＣＬと、対象人物の撮像画像から後記個人顔データを生成する顔データ生成部１８と、前記個人顔データと対比するためにコントローラ１３から送信された個人顔データを登録するための参照顔データ記憶部１９と、顔データ生成部１８で生成した個人顔データ及び参照顔データ記憶部１９に登録された個人顔データを比較することによって、前記対照人物の顔を識別する顔識別部２１と、新規な顔データ（後記顔画像データ）を後記データベース１４に登録する際に使用される顔データ登録部２２と、ロボット１２の位置を検出するとともに、その検出された位置情報をコントローラ１３に出力するジャイロ１７と、ロボット１２が存在する位置の明るさを検出するとともに、その検出された明るさ情報を出力する光センサ１６と、コントローラ１３との間でデータの送受信を行う送受信部１２ａとを備えている。なお、個人顔データ及び顔画像データは、特許請求の範囲にいう「顔データ」に含まれ、ジャイロ１７は、特許請求の範囲にいう「位置情報出力部」に相当する。
【００２１】
カメラＣＲ，ＣＬは、カラーＣＣＤカメラであり、このカメラＣＲ，ＣＬで撮像された画像（撮像画像）は、フレーム毎に図示しないフレームグラバに記憶された後、次に説明する顔データ生成部１８の移動体抽出部１８ａに入力されるようになっている。
【００２２】
次に、ロボット１２の参照顔データ記憶部１９、顔データ生成部１８、顔識別部２１及び顔データ登録部２２について、図２を参照しながら説明する。
顔データ生成部１８は、移動体抽出部１８ａと、顔検出部１８ｂと、個人顔データ生成部１８ｃとで構成されており、これら移動体抽出部１８ａ、顔検出部１８ｂ及び個人顔データ生成部１８ｃは、この順番で互いに接続されている。また、この顔データ生成部１８は、送受信部１２ａと接続されており、後記する顔認識条件データベース１４ａから、顔認識条件読出部及びコントローラ１３を経由して送信される顔認識条件、具体的には、顔検出部１８ｂで使用される肌色閾値を受信するように構成されている。なお、この肌色閾値は、前記カメラＣＲ，ＣＬのカメラゲインやホワイトバランスの調整に使用されてもよい。
【００２３】
移動体抽出部１８ａは、移動体、つまり対象人物の撮像画像部分を抽出するものであり、次の手順によって、カメラＣＲ，ＣＬで捕らえた撮像画像から対象人物の撮像画像部分を抽出するように構成されている。まず、左右のカメラＣＲ，ＣＬで同時刻に撮像された左右の画像の視差に基づいて、視差の大きさ（視差量）を距離の情報として各画素ごとに埋め込んだ距離画像を生成する。また、一方のカメラ（例えばＣＲ）を基準として、時刻の異なる画像を入力し、その差分によって、撮像画像の中から動きのある領域を抽出した差分画像を生成する。そして、これら距離画像及び差分画像から、最も動き量の多い視差（距離）を特定し、その距離を人物が存在する対象距離とする。さらに、対象距離の前後の所定範囲の距離に対応する画素を距離画像から抽出した対象距離画像を生成する。この対象距離画像で、画素が存在する領域を対象領域としてＳＮＡＫＥＳ手法を用い、輪郭を抽出することで、移動体を抽出する。
【００２４】
なお「ＳＮＡＫＥＳ手法」とは、閉曲線からなる動的輪郭モデル（ＳＮＡＫＥＳ）を、予め定義されたエネルギ関数が最小となるように収縮変形させることにより、対象物の輪郭を抽出する手法である。
【００２５】
顔検出部１８ｂは、カメラＣＲ，ＣＬの撮像画像から抽出した肌色領域で覆われる、移動体抽出部１８ａで抽出された対象人物の頭部に相当する領域を顔の撮像画像部分として検出するように構成されている。そして、この顔検出部１８ｂは、前記した肌色領域が所定の基準を満足する程度に検出されなかった場合には、ロボット１２が対象人物を見失ったと判断するようになっている。また、顔検出部１８ｂは、顔特徴点の位置合わせを行うことによって、正規化処理を行うように構成されている。この正規化処理が施された顔の撮像画像部分（以下に、これを単に「顔画像データ」という）は、この顔検出部１８ｂに接続された個人顔データ生成部１８ｃ及び顔データ登録部２２に送信される。なお、顔検出部１８ｂには、顔の撮像画像部分を正規化するに際に抽出する肌色領域を設定するにあたって、コントローラ１３から送信される肌色閾値が設定されている。
【００２６】
個人顔データ生成部１８ｃは、後記する参照顔データ記憶部１９に登録された固有ベクトルを参照するとともに、顔検出部１８ｂから受け取った顔画像データをベクトルで表したものと、各固有ベクトルとの内積を求めることによって、個人顔データを生成するように構成されている。なお、この個人顔データは、顔画像データを固有ベクトルで規定された固有空間内の位置を示す、固有ベクトルの係数（パラメータ）であり、いわば、顔の特徴パラメータともいうべきものである。
【００２７】
顔識別部２１は、個人顔データ生成部１８ｃ及び参照顔データ記憶部１９と接続されている。この顔識別部２１は、顔データ生成部１８が生成した個人顔データを、参照顔データ記憶部１９から読み出した個人顔データと対比させて、識別の対象となる顔の人物がいかなる者であるか、つまり、顔データ生成部１８が生成した個人顔データが、いかなる個人ＩＤで関連付けされた個人顔データに相当するかを識別するように構成されている。
【００２８】
また、この顔識別部２１は、後記する識別回数ｆ（図６参照）を積算するカウンタ機能を備えている。このカウンタ機能は、複数の識別回数ｆを経てもなお、識別の対象となる顔の人物がいかなる者であるかを識別できない場合に、後記する顔データ登録部２２に対して、この対象人物の顔画像データ（顔検出部１８ｂから出力されたもの）を後記する顔画像データベース１４ｂ（図１参照）に登録するように要求するきっかけを生起するものである。
【００２９】
参照顔データ記憶部１９は、個人顔データ生成部１８ｃ、顔識別部２１及び次に説明する顔データ登録部２２と接続されるとともに、顔データ登録部２２を介して送受信部１２ａと接続されている。この参照顔データ記憶部１９は、後記するコントローラ１３（図１参照）から送信された個人顔データ、その個人ＩＤ及び固有ベクトルを登録するものである。ここでの個人顔データは、特許請求の範囲にいう「参照顔データ」に相当する。
【００３０】
顔データ登録部２２は、顔検出部１８ｂ、顔識別部２１、参照顔データ記憶部１９及び送受信部１２ａと接続されている。この顔データ登録部２２は、１フレームごとの対象人物の顔画像データを顔検出部１８ｂから受信するように構成されている。
【００３１】
また、顔データ登録部２２は、識別に利用できる程度の顔画像データを一時的に記憶するメモリ機能を有している。そして、顔データ登録部２２は、記憶した顔画像データの蓄積枚数ｎ（図７参照）を積算するカウンタ機能を有している。
【００３２】
また、顔データ登録部２２は、コントローラ１３から送受信部１２ａを介して受け取った個人顔データを、前記参照顔データ記憶部１９に登録させるように構成されている。また、この顔データ登録部２２は、前記顔識別部２１から出力された登録要求を受けて、顔検出部１８ｂから出力された顔画像データを、送受信部１２ａを介してコントローラ１３に送信するようになっている。なお、このような登録要求を受けることによって、顔データ登録部２２が、このような動作を開始することを、以下に、「登録モードがＯＮになる」と表現する。また、この顔データ登録部２２に対して、後記するように、ロボット駆動制御装置１５（図１参照）が、顔画像データを新規に登録するように要求した場合にも、この顔識別システム１１では、登録モードがＯＮになるように設定されている。
【００３３】
また、この顔データ登録部２２は、クロック機能を備えており、登録モードがＯＮになってから、所定の時間が経過してもなお、顔画像データがコントローラ１３に送信されない場合に、登録モードを解除（ＯＦＦ）にするように構成されている。
【００３４】
ジャイロ１７は、ロボット１２が、移動するエリアの先々で、ロボット１２のいる位置を検出するとともに、その位置情報を出力するように構成されている。光センサ１６は、ロボット１２のいる位置の照度や輝度といった明るさを検出し、その明るさ情報を出力するように構成されている。
【００３５】
送受信部１２ａは、前記ジャイロ１７、前記光センサ１６及び顔データ登録部２２と接続されており、ロボット１２及びコントローラ１３（図１参照）間におけるデータのやり取りの仲立ちを行うように構成されている。
【００３６】
（コントローラ）
コントローラ１３は、顔データ抽出条件設定部２３、サーバ２４、ロボット駆動制御装置１５及び送受信部１３ａ（図１参照）を備えている。この送受信部１３ａは、前記したロボット１２の送受信部１２ａ（図１参照）と同様に構成されているのでその説明は省略する。以下に、顔データ抽出条件設定部２３、サーバ２４及びロボット駆動制御装置１５の順番に説明する。
【００３７】
顔データ抽出条件設定部２３は、図３に示すように、送受信部１３ａ及び地図情報データベース２５に接続されたロボット位置推定部２６と、エリア切り替わり判断部２７、時間帯変化判断部２８、明るさ判断部２９及び天候判断部３１で構成される判断部と、これら判断部に接続される人的抽出条件出力部３２及び光学的抽出条件出力部３３とを備えている。
【００３８】
ロボット位置推定部２６は、ロボット１２のジャイロ１７（図１参照）が出力したロボット１２の位置情報を、送受信部１３ａを介して受け取るようになっている。また、ロボット位置推定部２６は、地図情報データベース２５から読み出した地図情報、つまりロボット１２が移動する複数のエリアの地図情報と、受け取った位置情報とを照合することによって、エリア内におけるロボット１２の位置を推定するように構成されている。
【００３９】
エリア切り替わり判断部２７は、ロボット位置推定部２６が推定したロボット１２の位置を参照することによって、ロボット１２の存在するエリアが切り替わったことを判断するように構成されている。この「エリアが切り替わる」とは、ロボット１２が隣り合うエリアの境界を越えたことをいい、この「エリアが切り替わる」場合の具体例としては、ロボット１２がロビーから応接室に入った場合、ロボット１２が社屋１号館から社屋２号館に移った場合等が挙げられる。
【００４０】
時間帯変化判断部２８は、任意の時間幅で区切ることによって予め設定された時間帯が変化したことを、この時間帯変化判断部２８に配設されたクロック２８ａで判断するように構成されている。なお、この時間帯は、それぞれの時間帯の長さが同一でも異なっていてもよく、この時間帯の具体例としては、社屋にいる人物の勤務時間帯や社屋に訪れる顧客の面会時間帯、社屋の照明が点灯又は消灯する時間帯等が挙げられる。
【００４１】
明るさ判断部２９は、コントローラ１３の送受信部１３ａと接続されており、ロボット１２の光センサ１６（図１参照）が出力した明るさ情報を、ロボット１２の送受信部１２ａ及びコントローラ１３の送受信部１３ａ（図１参照）を介して受け取るようになっている。そして、明るさ判断部２９は、この明るさ情報に基づいて、ロボット１２のいるエリアの明るさを判断するように構成されている。
【００４２】
天候判断部３１は、リアルタイムの天候情報データを配信する、例えばインターネットといったネットワーク３１ａに接続されており、ネットワーク３１ａから得られた天候情報データによって、ロボット１２のいる地域の天候を判断するように構成されている。
【００４３】
人的抽出条件出力部３２は、後記する顔画像データベース１４ｂ（図４参照）に登録された顔画像データを、後記するサーバ２４（図４参照）に読み出させる際に、顔画像データの抽出条件を設定するものである。
【００４４】
この人的抽出条件出力部３２は、エリア切り替わり判断部２７と接続されており、このエリア切り替わり判断部２７が、前記したようにエリアが切り替わったことを判断することによって、ロボット１２のいるエリアを認識するようになっている。また、人的抽出条件出力部３２は、時間帯変化判断部２８と接続されており、この時間帯変化判断部２８が、前記したように時間帯が変化したことを判断することによって、所定の時間帯を認識するようになっている。そして、人的抽出条件出力部３２は、これらロボット１２のいるエリア及び所定の時間帯を顔画像データの抽出条件（人的抽出条件）として出力するように構成されている。なお、エリアの切り替わり及び時間帯の変化がない場合には、人的抽出条件出力部３２は、これら人的抽出条件を出力しないようになっている。
【００４５】
光学的抽出条件出力部３３は、後記するように、ロボット１２に向けて送信する顔画像データを補正するために使用される補正値を、この補正値が登録される顔認識条件データベース１４ａから読み出す際の抽出条件を設定するものである。この光学的抽出条件出力部３３は、エリア切り替わり判断部２７と接続されており、前記したと同様にして、ロボット１２のいるエリアを認識するようになっている。また、光学的抽出条件出力部３３は、時間帯変化判断部２８と接続されており、前記したと同様にして、時間帯の変化によって特定される所定の時間帯を認識するようになっている。
【００４６】
また、光学的抽出条件出力部３３は、明るさ判断部２９と接続されており、明るさ判断部２９が判断したロボット１２のいるエリアの明るさ（以下に、「光センサ１６で検出した明るさ」という）を認識するようになっている。また、光学的抽出条件出力部３３は、天候判断部３１と接続されており、天候判断部３１が判断したロボット１２のいる地域のリアルタイムの天候を認知するようになっている。そして、この光学的抽出条件出力部３３は、その切り替わりがあったエリア、変化した時間帯、変化した明るさ及び変化した天候のいずれかを前記した補正値の抽出条件（光学的抽出条件）として出力するように構成されている。
【００４７】
また、この光学的抽出条件出力部３３は、これらエリアの切り替わり、時間帯の変化、ロボット１２の光センサ１６で検出した明るさの変化及び天候の変化のいずれかをトリガとすることによって、次に説明する顔認識条件読出部３４が、顔認識条件データベース１４ａから顔認識条件を読み出すきっかけを生起している。なお、これらエリアの切り替わり、時間帯の変化、ロボット１２の光センサ１６で検出した明るさの変化及び天候の変化のいずれもがない場合には、光学的抽出条件出力部３３は、これら光学的抽出条件を出力しないようになっている。
【００４８】
コントローラ１３を構成するサーバ２４は、図４に示すように、顔認識条件読出部３４と、顔画像データ読出部３５と、顔画像データ補正部３６と、個人顔データ生成部３８と、登録顔画像データ標準化部３９とを備えている。
【００４９】
顔認識条件読出部３４は、顔データ抽出条件設定部２３からそれぞれ出力された前記人的抽出条件及び前記光学的抽出条件を受け取ることによって、顔認識条件データベース１４ａから次に説明する顔認識条件を読み出すとともに、人的抽出条件に対応する顔認識条件及び光学的抽出条件に対応する顔認識条件をそれぞれ出力するように構成されている。
【００５０】
人的抽出条件に対応する顔認識条件は、人的抽出条件、つまりロボット１２のいるエリア及び所定の時間帯に関連付けされた情報であり、この顔認識条件には、所定の時間帯にロボット１２が移動したエリアにいると推定される人物の個人ＩＤが少なくとも含まれている。
【００５１】
光学的抽出条件に対応する顔認識条件は、光学的抽出条件を構成する前記トリガとなった切り替わりや変化があったもの、つまり、切り替わりがあったエリア、変化した時間帯、変化した明るさ及び変化した天候のいずれかに関連付けされた情報であり、この顔認識条件には、少なくとも、ロボット１２のいるエリアにおける所定の時間帯の平均的な明るさに対応する補正値、ロボット１２の光センサ１６で検出した明るさに対応する補正値、前記天候から推定される明るさに対応する補正値及び顔検出部１８ｂで使用される肌色閾値が含まれている。
【００５２】
そして、顔認識条件読出部３４は、光学的抽出条件に対応する顔認識条件を出力するにあたって、主に、ロボット１２の光センサ１６で検出した明るさに対応する補正値を出力するとともに、補完的に、ロボット１２のいるエリアにおける所定の時間帯の平均的な明るさに対応する補正値及び前記天候から推定される明るさに対応する補正値を出力するようになっている。
【００５３】
ここで「補完的に」とは、ロボット１２の光センサ１６が、例えば、不測に遮蔽された場合や故障した場合に、当該補正値が補完的に使用されるという意味である。なお、本実施の形態では、ロボット１２のいるエリアにおける所定の時間帯の平均的な明るさに対応する補正値及び前記天候から推定される明るさに対応する補正値が、補完的に出力されるように構成されているが、本発明は、これに限定されることなく、顔認識条件読出部３４が、ロボット１２のいるエリアにおける所定の時間帯の平均的な明るさに対応する補正値及び前記天候から推定される明るさに対応する補正値を主に出力するように構成されていてもよい。
【００５４】
顔画像データ読出部３５は、顔認識条件読出部３４が出力した人的抽出条件に対応する顔認識条件である個人ＩＤに基づいて、この個人ＩＤに関連付けされた顔画像データを、後記する顔画像データベース１４ｂから読み出すように構成されている。そして、顔画像データ読出部３５は、読み出した顔画像データを出力するようになっている。
【００５５】
顔画像データ補正部３６は、前記顔認識条件読出部３４と接続されており、この顔認識条件読出部３４が出力した光学的抽出条件に対応する顔認識条件、すなわち顔画像データ読出部３５で読み出された顔画像データを補正するための補正値を受け取るようになっている。
【００５６】
また、顔画像データ補正部３６は、顔画像データ読出部３５に接続されており、この顔画像データ読出部３５が出力した顔画像データを受け取って、この顔画像データを前記した補正値で補正するとともに、補正された顔画像データを出力するように構成されている。
【００５７】
個人顔データ生成部３８は、顔画像データ補正部３６及び顔画像データベース１４ｂと接続されており、前記顔データ生成部１８の個人顔データ生成部１８ｃと同様に構成されている。そして、この個人顔データ生成部３８は、後記する顔画像データベース１４ｂに登録されている固有ベクトルを参照するとともに、顔画像データ補正部３６から出力された顔画像データをベクトルで表したものと、各固有ベクトルとの内積を求めることによって、個人顔データを生成するように構成されている。このようにして生成された個人顔データと、顔画像データベース１４ｂから読み出した固有ベクトルとは、送受信部１３ａを介してロボット１２に出力されるようになっている。なお、このようにして出力される個人顔データは、前記顔画像データ補正部３６で顔画像データが補正されていることから、前記ロボット１２のカメラＣＲ，ＣＬが撮像した際の明るさで得られた画像から生成した個人顔データと同等に補正されている。
【００５８】
登録顔画像データ標準化部３９は、送受信部１３ａ、顔認識条件読出部３４及び顔画像データベース１４ｂと接続されているとともに、新規に登録される顔画像データに個人ＩＤを自動的に付与するＩＤ付与機能を備えている。この登録顔画像データ標準化部３９は、ロボット１２の顔データ登録部２２（図２参照）が出力した新規に登録する顔画像データを、ロボット１２の送受信部１２ａ（図２参照）及びコントローラ１３の送受信部１３ａを介して受け取るように構成されている。そして、登録顔画像データ標準化部３９は、顔認識条件読出部３４が出力する顔認識条件（光学的抽出条件に対応するもの）を参照するとともに、前記顔画像データ補正部３６とは逆の操作を行うことによって、新規に登録する顔画像データを標準化するように構成されている。また、登録顔画像データ標準化部３９は、標準化した顔画像データに個人ＩＤを付与するとともに、この顔画像データをデータベース１４に登録するように構成されている。また、登録顔画像データ標準化部３９は、この個人ＩＤに関連付けて、新規に登録した顔画像データがどこの場所で、何時に取得されたものであるかを特定するデータをデータベース１４に登録するように構成されていてもよい。
【００５９】
なお、ここでいう標準化とは、予め設定した基準となる明るさで撮像して得た顔画像データの状態になるように、明るさの異なる環境で撮像した顔画像データを補正することをいう。
【００６０】
コントローラ１３のロボット駆動制御装置１５は、再び図１を参照すると明らかなように、入力端末１５ａとモニタ１５ｂとを備えるとともに、送受信部１３ａに接続されている。このロボット駆動制御装置１５は、必要に応じて、オペレータがロボット１２を操作するときに使用されるものである。また、このロボット駆動制御装置１５は、オペレータからの指令によって、顔データ登録部２２（図２参照）に、登録モードをＯＮにするように要求することができるようになっている。
入力端末１５ａは、ロボット１２の操作コマンドを入力するものであり、モニタ１５ｂは、入力した操作コマンドを確認するためのものである。
【００６１】
（データベース）
データベース１４は、図４に示すように、顔画像データを登録した顔画像データベース１４ｂと、顔認識条件を登録した顔認識条件データベース１４ａとで構成されている。
【００６２】
顔画像データベース１４ｂには、個人ＩＤに関連付けされた顔画像データが標準化されて複数登録されている。そして、この顔画像データベース１４ｂには、顔の特徴パラメータである個人顔データを求める際に使用される固有ベクトルが格納されている。
顔認識条件データベース１４ａには、どのエリアにいかなる人物が存在しているかを推定する情報として、それらの人物の個人ＩＤがエリア別及び時間帯別で登録されている。この情報は、前記した人的抽出条件に対応する顔認識条件に相当する。この顔認識条件の具体例としては、図５（ａ）に示すように、エリアａ，ｂ，ｃと時間帯Ａ，Ｂ，Ｃとで特定される情報、さらに具体的には、社屋の各エリアと、これらエリアに勤務する社員の勤務時間帯とで特定される情報や、各エリアと、これらエリアに訪れる顧客の面会時間帯とで特定される情報等が挙げられる。
【００６３】
また、顔認識条件データベース１４ａには、前記した光学的抽出条件に対応する顔認識条件が登録されている。この顔認識条件としては、ロボット１２のいるエリアの明るさと、この明るさに関連付けされた補正値、つまり、標準化された顔画像データを、ロボット１２のいるエリアの明るさで撮像された画像の状態になるように補正する補正値であれば特に制限はない。そして、顔認識条件データベース１４ａには、この補正値が、前記した光学的抽出条件に関連付けされて登録されている。このような顔認識条件としては、例えば、図５（ｂ）に示すように、時間帯Ａにおける、エリアａ，ｂ，ｃの明るさで特定される肌色の補正値や、図示しないが、照明のみで明るさが決定されているエリアにおいて、そのエリアで特定される肌色の補正値や、窓からの外光のみで明るさが決定されているエリアにおいて、エリアと時間帯とで特定される肌色の補正値等が挙げられる。
【００６４】
次に、本実施の形態に係る顔識別システムの動作について適宜図面を参照しながら説明する。
【００６５】
参照する図面において、図６は、本実施の形態に係る顔識別システムを構成するロボットの動作中の工程を示すフローチャート、図７は、本実施の形態に係る顔識別システムを構成するロボットの登録モードがＯＮになった場合のフローチャート、図８は、本実施の形態に係る顔識別システムを構成するコントローラが、ロボットの参照顔データ記憶部の更新処理を行う際の動作を示すフローチャート、図９は、コントローラが、ロボットから受けた顔画像データをデータベースに登録する際の動作を示すフローチャートである。
【００６６】
（ロボットの動作）
ロボット１２は、図６に示すように、ロボット１２の駆動を開始してから（ステップＳ１）、ロボット１２の駆動を停止するまで（ステップＳ１５）、次に説明するデータの送受信、参照顔データ記憶部１９（図２参照）への個人顔データ等の登録、対象人物の撮像、撮像した対象人物の顔の識別、コントローラ１３（図１参照）への新規の顔画像データの送信等を繰り返している。
【００６７】
このようなロボット１２の一連の動作を適宜に図１及び図２を参照しながら説明する。ロボット１２は、コントローラ１３に向けて、ジャイロ１７（図１参照）が出力した位置情報や光センサ１６（図１参照）が出力した明るさ情報を送信するとともに、コントローラ１３からの個人顔データや顔画像データの登録要求を受信している（ステップＳ２）。これらのデータの送受信は、ロボット１２及びコントローラ１３の送受信部１２ａ，１３ａを介して行われる。なお、ロボット１２が受信する個人顔データは、その個人顔データを受信した時間帯に、ロボット１２が存在しているエリアにいると推定される人物の個人顔データに限定されている。
【００６８】
ここで、ロボット１２が、個人顔データ、その個人ＩＤ及び固有ベクトル（図６中、「個人顔データ等」と表現する）を受信すると（ステップＳ３，Ｙｅｓ）、参照顔データ記憶部１９（図２参照）は、これら個人顔データ、個人ＩＤ及び固有ベクトルを参照顔データ記憶部１９に登録する（ステップＳ４）。そして、ロボット１２の送受信部１２ａが、これら個人顔データ、個人ＩＤ及び固有ベクトルを受信しなかった場合（ステップＳ３，Ｎｏ）には、後記する登録モードに係るステップＳ５を経て、ステップＳ６に移行する。このステップＳ６では、ロボット１２のカメラＣＲ，ＣＬ（図２参照）が、対象人物を撮像する。そして、移動体抽出部１８ａ（図２参照）は、カメラＣＲ，ＣＬが撮像した画像を取得して、この画像から移動体（対象人物）を抽出する（ステップＳ７）。
【００６９】
移動体の抽出は、次のようにして行われる。まず、左右のカメラＣＲ，ＣＬで同時刻に撮像された左右の画像の視差に基づいて、視差の大きさ（視差量）を距離の情報として各画素ごとに埋め込んだ距離画像を生成する。また、一方のカメラ（例えばＣＲ）を基準として、時刻の異なる画像を入力し、その差分によって、撮像画像の中から動きのある領域を抽出した差分画像を生成する。そして、これら距離画像及び差分画像から、最も動き量の多い視差（距離）を特定し、その距離を人物が存在する対象距離とする。さらに、対象距離の前後の所定範囲の距離に対応する画素を距離画像から抽出した対象距離画像を生成する。この対象距離画像で、画素が存在する領域を対象領域としてＳＮＡＫＥＳを用い、輪郭を抽出することで、移動体が抽出される。
【００７０】
次に、撮像画像中で移動体として抽出された対象人物の撮像画像部分に基づいて、顔検出部１８ｂ（図２参照）は、顔の撮像画像部分を検出する（ステップＳ８）。この顔の検出は、カメラＣＲ，ＣＬで撮像された撮像画像から肌色領域を抽出し、移動体抽出部１８ａで抽出された対象人物の頭部に相当する肌色領域を覆う領域を検出することによって行われる。そして、顔検出部１８ｂは、顔の撮像画像の正規化処理をも行う。この正規化した顔の撮像画像のデータ、つまり顔画像データは、個人顔データ生成部１８ｃ（図２参照）に送信される。
【００７１】
この顔画像データを受け取った個人顔データ生成部１８ｃは、参照顔データ記憶部１９に格納された固有ベクトルを参照するとともに、顔画像データをベクトルで表したものと、各固有ベクトルとの内積を求めることによって、個人顔データを生成する（ステップＳ９）。
【００７２】
生成された個人顔データは、顔識別部２１（図２参照）に送信される。顔識別部２１は、この個人顔データを受信したことによって、前記参照顔データ記憶部１９を参照する（ステップＳ１０）。そして、顔識別部２１は、参照顔データ記憶部１９から読み出された個人顔データと、個人顔データ生成部１８ｃで生成された個人顔データとを対比することによって、カメラＣＲ，ＣＬで撮像した対象人物の顔を識別する（ステップＳ１１）。
【００７３】
ここで、顔識別部２１が、個人顔データ生成部１８ｃで生成された個人顔データに該当する個人顔データを参照顔データ記憶部１９に見出した場合、すなわち顔を識別できた場合（ステップＳ１２，Ｙｅｓ）には、個人顔データと関連付けられた個人ＩＤを参照することによって、その個人ＩＤに対応する図示しないサブルーチン、例えば、その対象人物に応じた挨拶や案内を実行する。そして、このサブルーチンが終了すると、後記するカウンタステップＳ１６のｆを初期化（ｆ＝０）し（ステップＳ１３）、その後、ロボット１２の駆動を停止しない場合（ステップＳ１４，Ｎｏ）には、工程がステップＳ２に戻る。そして、ロボット１２の駆動を停止させる場合（ステップＳ１４，Ｙｅｓ）には、ロボット１２の駆動を停止させることによって（ステップＳ１５）、このロボット１２の動作工程が終了する。
【００７４】
その一方で、顔識別部２１が、顔を識別することができなかった場合（ステップＳ１２，Ｎｏ）には、この顔識別部２１に配設されたカウンタによるカウンタステップＳ１６，Ｓ１７が実行され、ｆ≦１０の場合（ステップＳ１７，Ｎｏ）には、ステップＳ２乃至ステップＳ１２が繰り返される。そして、ｆ＞１０になると（ステップＳ１７，Ｙｅｓ）、この顔識別システム１１の登録モードがＯＮになる（ステップＳ１８）。
【００７５】
なお、このロボット１２の動作工程で、カウンタステップＳ１６，Ｓ１７を設定しているのは、顔識別部２１が対象人物の顔を識別することができなかった理由として、対象人物の個人顔データが、参照顔データ記憶部１９に登録されていない場合に加えて、対象人物の顔の撮像（ステップＳ６）が適正に実行されていない場合が考えられるので、ステップＳ６が、適正な対象人物の撮像であったかを確認するためである。また、本実施の形態では、ステップＳ１７をｆ＞１０に設定しているが、このｆの下限値は、１０に限定されず、適宜に選択することができる。
【００７６】
次に、前記したステップＳ５について説明する。ロボット１２の送受信部１２ａが、コントローラ１３のロボット駆動制御装置１５（図１参照）から送信された顔画像データの登録要求を受信し、そして、この登録要求を顔データ登録部２２（図２）が受け取ることによって、この顔識別システム１１の登録モードがＯＮになるか、あるいは前記したステップＳ１８で、この顔識別システム１１の登録モードがＯＮになると（ステップＳ５，Ｙｅｓ）、図７に示すように、後記するカウンタステップ（ステップＳ２７，Ｓ２８）のｎを、顔データ登録部２２が、初期化（ｎ＝０）するとともに、顔データ登録部２２のタイマ（クロック機能）を初期化（ｔ＝０）する（ステップＳ２０）。そして、タイマは初期化されると同時にスタートする。このステップＳ２１に続いて、前記したステップＳ６乃至ステップＳ８と同様の、対象人物の撮像（ステップＳ２１）、移動体抽出（ステップＳ２２）及び顔検出（ステップＳ２３）が実行される。
【００７７】
次に、ステップＳ２３によって、移動体抽出部１８ａから出力されたデータを、顔検出部１８ｂが受け取ると、この顔検出部１８ｂは、移動体輪郭内の肌色領域を検出することによって、対象人物を見失っていないか、つまり対象人物の顔を検出することができたか否かを判断する（ステップＳ２４）。そして、顔検出部１８ｂが、対象人物の顔を検出することができたと判断すると（ステップＳ２４，Ｙｅｓ）、この顔検出部１８ｂは、検出した顔領域内から顔特徴点を抽出し、位置合わせを行うことで正規化顔画像を得る。顔特徴点を抽出できたか否かによって、登録用画像として使用できるか否かを判断する（ステップＳ２５）。
【００７８】
顔検出部１８ｂが、顔画像データを登録画像として使用できると判断した場合には（ステップ２５，Ｙｅｓ）、その登録用画像を顔データ登録部２２は、顔検出部１８ｂから受け取り、それをメモリに蓄積する（ステップＳ２６）。そして、顔データ登録部２２のカウンタ機能によって、カウンタステップＳ２７，Ｓ２８を経た後、蓄積枚数ｎが３０枚になったとき、あるいは、顔データ登録部２２のタイマが１５秒を経過（ｔ＞１５ｓ）したときに（ステップＳ２８，Ｙｅｓ）、顔データ登録部２２は、メモリに蓄積した顔画像データの全てを送受信部１２ａを介してコントローラ１３に送信する（ステップＳ２９）。次いで、顔データ登録部２２が、登録モードを解除（ＯＦＦ）にした（ステップＳ３０）後に、このロボット１２の動作は、ステップＳ２に戻る。
【００７９】
一方、前記ステップＳ２４で、顔検出部１８ｂが、対象人物の顔を検出することができなかった場合（ステップＳ２４，Ｎｏ）には、顔データ登録部２２が、登録モードを解除（ＯＦＦ）にした（ステップＳ３０）後に、このロボット１２の動作は、ステップＳ２に戻る。
【００８０】
また、ステップＳ２５で、顔検出部１８ｂが、顔特徴点の抽出に失敗した、すなわち取得した顔画像データが登録用画像として使用できないと判断した場合には（ステップＳ２５，Ｎｏ）、クロックの初期化時（ステップＳ２０）から１５秒を超えた時点（ｔ＞１５ｓ）で（ステップＳ３１，Ｙｅｓ）、顔データ登録部２２が、登録モードを解除（ＯＦＦ）にした（ステップＳ３０）後に、このロボット１２の動作は、ステップＳ２に戻る。
【００８１】
そして、ステップＳ１４で、ロボット１２の駆動を停止する場合（ステップＳ１４，Ｙｅｓ）には、ロボット１２の駆動を停止させることによって（ステップＳ１５）、このロボット１２の動作工程が終了する。
【００８２】
（コントローラの動作）
図８に示すように、まず、コントローラ１３の送受信部１３ａが、ジャイロ１７（図１参照）が出力したロボット１２の位置情報や光センサ１６（図１参照）が出力した明るさ情報を受信すると（ステップＳ４０）、コントローラ１３のロボット位置推定部２６（図３参照）は、地図情報データベース２５から読み出した地図情報と、受け取った位置情報とを照合することによって、エリア内におけるロボット１２の位置を推定する（ステップＳ４１）。
【００８３】
次に、エリア切り替わり判断部２７は、ロボット位置推定部２６が推定したロボット１２の位置を参照することによって、ロボット１２のいるエリアが切り替わったか否かを判断し（ステップＳ４２）、明るさ判断部２９は、ロボット１２の光センサ１６（図１参照）が出力した明るさ情報に基づいて、ロボット１２がいるエリアの明るさが変化した否かを判断し（ステップＳ４３）、時間帯変化判断部２８は、予め設定された時間帯が変化したか否かを判断し（ステップＳ４４）、天候判断部３１は、ネットワーク３１ａから天候情報を受信することによって（ステップＳ４５）、天候が変化したか否かを判断する（ステップＳ４６）。その結果、ロボット１２のいるエリアが切り替わっておらず（ステップＳ４２，Ｎｏ）、ロボット１２がいるエリアの明るさが変化しておらず（ステップＳ４３，Ｎｏ）、時間帯が変化しておらず（ステップＳ４４，Ｎｏ）、且つ天候が変化していない（ステップＳ４６，Ｎｏ）場合には、人的抽出条件出力部３２及び光学的抽出条件出力部３３（図３参照）は、人的抽出条件及び光学的抽出条件のいずれをも出力しない。したがって、ロボット１２の参照顔データ記憶部１９の顔画像データが更新されずに、このコントローラ１３の動作工程は終了する。
【００８４】
一方、ロボット１２のいるエリアが切り替わるか（ステップＳ４２，Ｙｅｓ）、ロボット１２がいるエリアの明るさが変化するか（ステップＳ４３，Ｙｅｓ）、時間帯が変化するか（ステップＳ４４，Ｙｅｓ）、天候が変化するか（ステップＳ４６，Ｙｅｓ）のいずれかの場合には、人的抽出条件出力部３２及び光学的抽出条件出力部３３から人的抽出条件及び光学的抽出条件が出力されるか、あるいは、少なくとも光学的抽出条件が出力される。そして、人的抽出条件及び光学的抽出条件の少なくともいずれかを、顔認識条件読出部３４が受け取ることによって、顔認識条件データベース１４ａから顔認識条件が読み出される（ステップＳ４７）。ここでは、人的抽出条件出力部３２及び光学的抽出条件出力部３３から人的抽出条件及び光学的抽出条件が出力された場合を想定して説明を続ける。
【００８５】
顔認識条件読出部３４が、例えば人的抽出条件（エリア＝ａ、時間帯＝Ａ）及び光学的抽出条件（エリア＝ａ、明るさ＝Ｘ）を受け取った場合に、顔認識条件読出部３４は、顔データ生成用データベース１４ａの図５（ａ）に示されるようなテーブルを参照する。そして、顔認識条件読出部３４は、人的抽出条件（エリア＝ａ、時間帯＝Ａ）に基づいて、人的抽出条件に対応する顔認識条件として、ＩＤ３、ＩＤ５及びＩＤ１５で示される個人ＩＤを取得する。これら個人ＩＤで特定される人物が、時間帯Ａにおいてエリアａにいると推定される人物となる。次いで、顔認識条件読出部３４は、顔データ生成用データベース１４ａの図５（ｂ）に示されるようなテーブルを参照する。そして、顔認識条件読出部３４は、光学的抽出条件（エリア＝ａ、明るさ＝Ｘ）に基づいて、明るさＸのエリアａの輝度の補正値（＋５）を、光学的抽出条件に対応する顔認識条件として取得する。
また、顔認識条件読出部３４は、光学的抽出条件（エリア＝ａ、明るさ＝Ｘ）に基づいて、顔データ生成用データベース１４ａから肌色閾値を読み出すとともに、この肌色閾値を、コントローラ１３の顔データ生成部１８に出力する。出力された肌色閾値は、顔検出部１８ｂで顔の撮像画像部分の正規化処理を行う際に使用される。したがって、ロボットがいる位置の明るさに応じた適切な肌色閾値を利用して、対象人物の顔を検出することができる。
【００８６】
次に、人的抽出条件に対応する顔認識条件が顔画像データ読出部３５（図４参照）に出力されると、この顔画像データ読出部３５は、ＩＤ３、ＩＤ５及びＩＤ１５に関連付けされた顔画像データを顔画像データベース１４ｂから読み出す（ステップＳ４８）。
【００８７】
その一方で、顔画像データ補正部３６（図４参照）は、顔認識条件読出部３４（図４参照）から前記輝度の補正値（＋５）を取得するとともに、顔画像データ読出部３５から前記ＩＤ３、ＩＤ５及びＩＤ１５に関連付けされた顔画像データを受け取る。そして、顔画像データ補正部３６は、これらの顔画像データを補正値（＋５）で補正する（ステップＳ４９）。このように補正された顔画像データは、ロボット１２のカメラＣＲ，ＣＬが撮像した際の明るさで得られた画像と同等に補正されている。
【００８８】
このように補正された顔画像データが、顔画像データ補正部３６から個人顔データ生成部３８（図４参照）に出力されると、個人顔データ生成部３８は、顔画像データベース１４ｂから固有ベクトルを読み出すとともに、前記ステップＳ９と同様にして、個人顔データを生成する（ステップＳ５０）。そして、この個人顔データ及び固有ベクトルが、送受信部１３ａを介してロボット１２に送信されて（ステップＳ５１（図６中、ステップＳ６参照））、コントローラ１３のロボット１２への個人顔データの送信工程は終了する。
【００８９】
次に、コントローラ１３が、ロボット１２から送信された顔画像データの登録処理をする工程を説明する。図９に示すように、ロボット１２の顔データ登録部２２（図２参照）が送受信部１２ａを介して、顔画像データを出力すると（図７、ステップＳ２９参照）、コントローラ１３の送受信部１３ａは、図９に示すように、この顔画像データを受信するとともに（ステップＳ５５）、この顔画像データを登録顔画像データ標準化部３９（図４参照）に出力する。そして、登録顔画像データ標準化部３９は、前記した顔認識条件読出部３４の顔認識条件を参照することによって（ステップＳ５６）、顔画像データを標準化する（ステップＳ５７）。このとき、登録顔画像データ標準化部３９は、前記顔画像データ補正部３６（図４参照）とは逆の操作を行うことによって、新規に登録する顔画像データを標準化する。そして、登録顔画像データ標準化部３９が、標準化した顔画像データに個人ＩＤを付与するとともに、この顔画像データをデータベース１４に登録することによって（ステップＳ５８）、このコントローラ１３の顔画像データの登録処理動作は終了する。
【００９０】
このような本実施の形態に係る顔識別システム１１では、ロボット１２が存在するエリアにいると推定される人物の個人顔データと、対照人物の個人顔データとを比較することによって、ロボット１２が対照人物の顔を識別するので、当該エリアに存在する確率の低い人物の個人顔データは、参照顔データ記憶部１９には登録されない。したがって、この顔識別システム１１によれば、ロボット１２は、より高い識別率で対照人物の顔を識別することができる。また、この顔識別システム１１によれば、参照顔データ記憶部１９に登録される個人顔データの量が低減されるので、ロボット１２による顔の識別速度を高めることができる。
【００９１】
また、この顔識別システム１１によれば、ロボット１２が、ジャイロ１７によって、自身の位置を検出することができるので、エリアの切り替わりを的確に推定することができる。したがって、この顔識別システム１１によれば、ロボット１２自身が、そのエリアに存在すると推定される人物の個人顔データをコントローラ１３に要求することができる。
【００９２】
また、この顔識別システム１１によれば、前記ロボット１２が存在するエリアにいる人物が、時間帯の変化とエリアの切り替わりが判断されることによって推定される。したがって、当該エリアに存在する確率の低い人物の個人顔データは、参照顔データ記憶部１９にはさらに確実に登録されない。したがって、この顔識別システム１１によれば、ロボット１２は、より一層高い識別率で対照人物の顔を識別することができる。また、この顔識別システム１１によれば、参照顔データ記憶部１９に登録される個人顔データの量がさらに低減されるので、ロボット１２による顔の識別速度をより高めることができる。
【００９３】
この顔識別システム１１では、ロボット１２のいる位置の明るさに基づいて、顔画像データベース１４ｂから抽出した顔画像データを補正して個人顔データを生成するので、この個人顔データは、ロボット１２のカメラＣＲ，ＣＬが撮像した際の明るさで得られた顔画像データから生成した個人顔データと同等に補正されている。したがって、この顔識別システム１１によれば、ロボット１２による顔の識別率は、一層高められる。
【００９４】
この顔識別システム１１では、光センサ１６によって、ロボット１２が存在する位置の明るさ情報が得られ、そして、この明るさ情報に基づいて、参照顔データが生成されるので、ロボット１２が存在する位置の明るさは、より的確に推測される。したがって、この顔識別システム１１によれば、ロボット１２による顔の識別率は、より一層高められる。
【００９５】
また、この顔識別システム１１では、ロボット１２が存在する位置の明るさ情報を、ロボット１２が存在するエリアや、時間帯及び天候によって、推定することができる。
【００９６】
また、この顔識別システム１１によれば、天候判断部３１が、ネットワーク３１ａに接続されているので、季節の変動による明るさの変化をも把握することができるようになる。
【００９７】
また、この顔識別システム１１では、時間帯の変化とエリアの切り替わりによって、エリアに存在する人物のスケジュールをロボット１２に把握させることができる。したがって、この顔識別システム１１によれば、訪れる顧客の面会予定に合わせて、参照顔データ記憶部１９に登録されている個人顔データを更新すれば、当該顧客の対応にロボット１２を使用することができる。
【００９８】
以上、本発明の顔識別システム１１を本実施の形態に基づいて具体的に説明したが、本発明は、これらの実施の形態に何ら制限されるものではない。
【００９９】
本実施の形態に係る顔識別システム１１では、ロボット１２の参照顔データ記憶部１９における個人顔データの更新及び顔画像データベース１４ｂへの新規の顔画像データの登録を、自動的に行うように構成したが、本発明はこれに限定されることなく、これらの更新工程及び登録工程の一部を手動で行うように構成してもよい。
【０１００】
例えば、本実施の形態に係る顔識別システム１１では、顔データ抽出条件設定部２３が、人的抽出条件及び光学的抽出条件を、自動的にサーバ２４の顔認識条件読出部３４に送信するように構成しているが、本発明はこれに限定されることなく、ロボット１２に随伴するオペレータが、エリアの切り替わりや時間帯の変化を判断して、そのエリア及び時間帯を、例えばＧＵＩ回路を介して、顔認識条件読出部３４に入力するように構成してもよい。
【０１０１】
また、本実施の形態に係る顔識別システム１１では、新規に顔画像データを登録するにあたって、ロボット１２が参照顔データ記憶部１９を参照することによって、対象人物の顔画像データを登録するか否かを判断するように構成されているが、本発明は、これに限定されることなく、ロボット１２に随伴するオペレータが、対象人物の顔を登録するか否かを判断するようにしてもよい。
【０１０２】
また、本実施の形態に係る顔識別システム１１では、顔データ登録部２２が、対象人物の顔の撮像画像が、顔の識別に使用することができるものか否かを判断するように構成されているが、本発明は、これに限定されるものではなく、オペレータが目視でこれを判断するようにしてもよい。
【０１０３】
また、本実施の形態に係る顔識別システム１１では、サーバ２４を構成する個人顔データ生成部３８で個人顔データを生成する際に、顔画像データベースに予め格納された固有ベクトルを使用しているが、本発明はこれに限定されるものではない。例えば、顔画像データベース１４ｂから読み出された、ロボット１２が参照するべき人物の顔画像データ郡について、顔画像データの主成分分析を行うことによって固有ベクトルを算出する固有ベクトル生成部をサーバ２４に配設するとともに、この固有ベクトル生成部から個人顔データ生成部３８に固有ベクトルを供給するように、本発明の顔識別システムは構成されていてもよい。
【０１０４】
また、本実施の形態では、ネットワーク３１ａとして、インターネットを例示したが、ネットワーク３１ａは、ＬＡＮやＷＡＮであってもよい。
【０１０５】
また、本実施の形態では、ロボット１２から送信された顔画像データを標準化するとともに、これを個人ＩＤやこの顔画像データが取得された場所（エリア）や時間をデータベース１４に登録するように構成しているが、さらに、この顔画像データの対象人物を当該エリアで見かけた回数といった、この対象人物に係る履歴を、データベース１４に登録するように、本発明の顔識別システムは構成されていてもよい。このような顔識別システムによれば、この履歴に基づいて、ロボット１２に挨拶や応対をさせることができる。
【０１０６】
【発明の効果】
本発明の顔識別システムによれば、顔の識別率をより向上させることができる。
【図面の簡単な説明】
【図１】本実施の形態に係る顔識別システムのブロック図である。
【図２】図１の顔識別システムを構成するロボットの参照顔データ記憶部、顔データ生成部、顔識別部及び顔データ登録部の関係を示すブロック図である。
【図３】図１の顔識別システムを構成するコントローラの顔データ抽出条件設定部のブロック図である。
【図４】図１の顔識別システムを構成するデータベース及びサーバの関係を示すブロック図である。
【図５】図５（ａ）は、図１の顔識別システムを構成する顔認識条件データベースに登録される人的抽出条件に対応する顔認識条件（テーブル）の説明図、図５（ｂ）は、図１の顔識別システムを構成する顔認識条件データベースに登録される光学的抽出条件に対応する顔認識条件（テーブル）の説明図である。
【図６】本実施の形態に係る顔識別システムを構成するロボットの動作中の工程を示すフローチャートである。
【図７】本実施の形態に係る顔識別システムを構成するロボットの登録モードがＯＮになった場合のフローチャートである。
【図８】本実施の形態に係る顔識別システムを構成するコントローラが、ロボットの参照顔データ記憶部の更新処理を行う際の動作を示すフローチャートである。
【図９】本実施の形態に係る顔識別システムを構成するコントローラが、ロボットから受けた顔画像データをデータベースに登録する際の動作を示すフローチャートである。
【符号の説明】
１１ 顔識別システム
１２ ロボット
１３ コントローラ
１４ データベース
１６ 光センサ
１７ ジャイロ（位置情報出力部）
１８ 顔データ生成部
１９ 参照顔データ記憶部
２１ 顔識別部

Claims (6)

1. 対象人物を撮像し、前記対象人物の顔データを生成する顔データ生成部、参照顔データを登録する参照顔データ記憶部、及び前記顔データと前記参照顔データとを比較することにより、前記対象人物の顔を識別する顔識別部を有し、複数のエリアを移動可能なロボットと、
   複数の人物の顔データを登録するデータベースと、
   前記ロボットが存在するエリアにいると推定される人物の顔データを前記データベースから抽出し、この抽出された顔データを参照顔データとして前記ロボットに送信するコントローラとを備えることを特徴とする顔識別システム。
2. 前記ロボットは、自身の位置を検出するとともに、その検出された位置情報を前記コントローラに出力する位置情報出力部をさらに備え、
   前記コントローラは、前記位置情報出力部から入力された位置情報に基づいて、前記ロボットが存在する位置を認識することを特徴とする請求項１に記載の顔識別システム。
3. 前記コントローラは、予め設定された時間帯の切り替わりに基づいて、前記ロボットが存在するエリアにいる人物を推定することを特徴とする請求項１又は請求項２に記載の顔識別システム。
4. 前記コントローラは、予め設定された時間帯の切り替わりに基づいて、前記ロボットのいる位置の明るさを推定し、その推定された明るさ情報に基づいて、前記データベースから抽出した顔データを補正して参照顔データを生成することを特徴とする請求項３に記載の顔識別システム。
5. 前記ロボットは、自身が存在する位置の明るさを検出するとともに、その検出された明るさ情報を前記コントローラに出力する光センサをさらに備え、
   前記コントローラは、前記光センサから出力された明るさ情報に基づいて、前記データベースから抽出した顔データを補正して参照顔データを生成することを特徴とする請求項１から請求項４のいずれか一項に記載の顔識別システム。
6. 前記データベースは、明るさに応じた肌色閾値が登録されているとともに、前記コントローラは、前記ロボットのいる位置の明るさに応じた前記肌色閾値を前記データベースから抽出して、前記ロボットに出力することを特徴とする請求項４又は請求項５に記載の顔識別システム。

Images