JP2007521572A

JP2007521572A - フィーチャー認識のための装置及び方法

Info

Publication number: JP2007521572A
Application number: JP2006525985A
Authority: JP
Inventors: リヒャルト、ペー．クライホルスト; ハサン、エブラヒマレク
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2003-09-10
Filing date: 2004-09-07
Publication date: 2007-08-02
Also published as: US20070116364A1; EP1665124A1; CN1849613A; KR20060119968A; WO2005024707A1

Abstract

顔認識システムは画像センサ（１００）を備え、当該画像センサ（１００）の出力は、検出モジュール（１０２）へと送られ、検出モジュール（１０２）の出力は、認識モジュール（１０４）へと送られる。検出モジュール（１０２）は、未知の個数の顔を検出して位置を特定することができる（存在する場合）。当該手順の主要部分の後には、セグメンテーションが実施される、即ち、当該画像内の顔候補の領域が選択される。その後、小さすぎる領域を取り除き、且つ、取り扱う選択領域について特定の縦横比を指定することによって、結果をより信頼できるものとすることができる。認識モジュール（１０４）は、検出モジュール（１０２）から受け取ったデータを、既知のフィーチャーからなるデータベース内に記憶されたデータと照合し、「一致度」が、予め定められた信頼性レベルよりも高いと判定された場合には、関連する被写体の識別情報が、出力の信頼性のレベルを示す信号と共に、当該システムの出力へと送られる。当該システムは更に解析器（１０６）を含み、出力の信頼性のレベルが、予め定められた閾値（比較器（１０８）によって設定される）よりも低いと判定された場合には、検出モジュール（１０２）の出力は、解析器（１０６）にも送られる。解析器（１０６）は、信頼性の低さの理由を判定するために、検出モジュール（１０２）からのデータの少なくとも一部について評価を行い、更に、例えば「カメラに近寄って下さい」「左／右に動いて下さい」等の言葉による指示を指示対象の被写体に与えるために、音声合成器（１１０）へと信号を出力する。出力の信頼性が、予め定められた閾値に達している場合には、例えば言葉によるグリーティングが、被写体に示されるようにしてもよい。

Description

この発明は、フィーチャー認識のための装置及び方法、とりわけ特に、顔認識（例えば監視システム又は識別システムにおける顔認識）のための装置及び方法に関する。

組み込みインテリジェンスを含むカメラへの需要が、監視や識別のような様々な目的用に急速に拡大している。近年、顔認識は、そのようなカメラにとっての重要な応用領域となっている。顔認識は、視覚的作業の一種であり、人間はこの作業をほぼ無意識に行う事ができるが、コンピュータにおいてのこの作業は、興味深く且つ取り組み甲斐のある技術的問題を引き起こす。

顔認識の応用領域は、様々な分野で拡大しており、例えば、環境インテリジェンスの形で、ピンコードに代わるものとして、アクセス制御のためのユーザ識別に利用されたり、ＰＣのセッティングのような機器のパラメータ調整のためのユーザ識別に利用されたり、例えば、監視システムの一部として、ユーザ識別用に利用されたりしている。

現在、多くの顔認識システムでは、映像速度での動作を採用するよりむしろ、前もって取得された映像を利用している。現在利用可能な幾つかのシステムでは、取得された映像ストリームからのオンザフライ顔認識を実行可能であり、そのようなシステムへの需要が急速に拡大している。しかしながら、それらのシステムには、信頼性がなく且つ扱い難いという傾向がある。それは必ずしも、顔認識に利用される処理に原因があるのではなく、シーンや関連する取得画像の「安定性」に原因がある。

認識処理は、例えば、検出処理で利用されるサブ画像が小さすぎる場合、被写体がカメラから遠くなりすぎるので、信頼できないことがあり、また、被写体がカメラの被写界に完全に納まっていない場合、信頼できないことがある。現在のシステムにて、これを判定する唯一の方法は、コンピュータスクリーン上の中間信号に着目することであり、それを調整する唯一の方法は、取得画像が認識用に十分に良好になるまで、被写体が歩き回ること及び被写体がカメラに対して様々な位置に立ってみることである。

米国特許６，１３４，３３９号は、両目の位置を判定し、取得画像フレーム内のアイ・ディフェクトを補正するための方法及び装置について説明しており、当該装置は、画像フレーム内の両目を特定するためのレッド・アイ検出器と、検出された両目の複数の対が、予め定められた全ての基準を満たしているか否かを判定し、満たしていない場合に、あるフォームのエラーコードを出力する手段と、を備えている。説明されている一の実施形態によれば、当該システムは、取得画像内で検出された両目の位置が最善であることを示すための音響信号（例えば「ビープ」）を出力するように構成されていてもよい。

我々は、改良された構成を考案した。

本発明によれば、フィーチャー認識のための装置が提供され、
当該装置は、
被写界内の画像を取得（ｃａｐｔｕｒｅ）する画像取得手段と、
前記画像内の被写体の存在を特定し、前記被写体の１又は２以上のフィーチャーを検出する検出手段と、
前記１又は２以上のフィーチャーを、記憶されているフィーチャーデータと照合する認識手段と、
前記取得画像がフィーチャー認識用として十分なものであるか否かを判定する手段とを備え、
更に、前記取得画像がフィーチャー認識用として十分なものではないと判定された場合に、前記被写体への指示を生成して出力する手段、を備え、前記指示は、前記被写界内の前記被写体への要求動作に関する指示であり、前記指示は、前記被写体が、前記被写界内での自己の位置決めを行って、十分な画像が取得可能になるようにする、のを手助けするようになっている、ことを特徴とする。

好ましい実施形態では、前記指示は、音響信号（ａｕｄｉｏｓｉｇｎａｌ）、好ましくは、音声信号（ｓｐｅｅｃｈｓｉｇｎａｌ）の形の音響信号を含み、当該音声信号は、前記被写体に方向を指示する。当該被写体は、前記画像取得装置に対して当該方向に動くことを要求される。

本発明の第３実施形態による装置は、前記被写体に関するデータを出力するための検出モジュール及び認識モジュールを備え、当該検出モジュール及び認識モジュールは、前記出力データを、前記出力データの信頼性を示すデータと共に出力する。十分な画像が取得されたか否かを判定するために、前記信頼性データを、予め定められた閾値と比較する手段、が設けられていてもよい。好ましくは、十分な画像が取得可能になるように、前記被写体がとることを要求される動作を決定し、且つ、対応するデータを、前記被写体への指示を出力する前記手段に提供する解析器（ａｎａｌｙｓｅｒ）、が設けられる。

前記検出モジュールは、好ましくは、取得画像内の１又は２以上のフィーチャーを特定し、且つ、前記１又は２以上のフィーチャーの位置に関するデータを、前記認識モジュールに提供する、ように構成される。前記認識モジュールは、好ましくは、フィーチャーのデータベースと、一致度を判定するために、前記検出モジュールから受け取ったフィーチャーデータを、前記データベースの内容と比較する手段と、を含む。

また、本発明によれば、フィーチャー認識の方法が提供され、
当該方法は、
画像取得手段の被写界内の画像を取得し、
前記画像内の被写体の存在を特定し、前記被写体の１又は２以上のフィーチャーを検出し、
前記１又は２以上のフィーチャーを、記憶されているフィーチャーデータと照合し、
前記取得画像がフィーチャー認識用として十分なものであるか否かを判定する、
というステップ群を含み、
更に、前記取得画像がフィーチャー認識用として十分なものではないと判定された場合に、前記被写体への指示を自動的に生成して出力する手段、を用意するステップを含み、前記指示は、前記被写界内の前記被写体への要求動作に関する指示であり、前記指示は、前記被写体が、前記被写界内での自己の位置決めを行って、十分な画像が取得可能になるようにする、のを手助けするようになっている、ことを特徴とする。

このように、本発明は、顔認識システムのための装置及び方法を提供する。当該顔認識システムは、取得画像と当該取得画像内の被写体の位置とを解析し、被写体の画像の質がフィーチャー認識用として十分なものであるかどうかを判定し、十分なものではない場合には、十分な質の画像が取得可能になるように、被写体が被写界内でどのように動く必要があるかを判定し、当該システムにより認識される正しい位置へと被写体を導くように、被写体への指示（すなわち「フィードバック」）を生成して出力する、という意味でユーザフレンドリーで且つ感覚的に解りやすい顔認識システムである。

フィードバックシステム（好ましくは音声形式のフィードバックシステム）をフィーチャー認識システム内に含めることにより、取得画像内の被写体の顔が認識の信頼性を担保するには小さすぎる場合、被写体がわずかにカメラの被写界の枠外にいる場合、のような従来技術の顔認識システムに特有な盲点を、簡潔で迅速でユーザフレンドリーな（感覚的に解りやすい）方法で克服することができる。当該システムは例えば、被写体に、もっと近くに来ること、ある方向側又は別の方向側に動くこと、又はカメラを真っ直ぐと見ること、を要求するように構成可能である。当該システムは更に、被写体がうまく認識されていることを示すためのグリーティング（先程と同様、好ましくは音声形式のグリーティング）を発するように構成されてもよい。このようにして、従来技術のシステムにて必要とされたズームレンズ、移動カメラ、及び技巧的なフィードバック回路については、これらを不要とすることができる。

本発明のこれら及びその他の側面については、以下に記載の実施形態から明らかになると共に、以下に記載の実施形態を参照することで明確になる。

以下、本発明の実施形態について、単なる例として且つ添付の図面を参照して説明することにする。

添付図面の図１を参照するに、従来技術による一般的な顔認識システムは、被写界内のシーンの画像（１０１−図２）を取得するための画像センサ１００を備え、画像センサ１００からの出力は、検出モジュール１０２への入力となる。検出モジュール１０２は、取得シーン内にある未知の個数の顔を検出して位置を特定し（存在する場合）、この手順の主要部分の後には、セグメンテーションが実施される、即ち、当該シーン内の顔候補の領域が選択される。これは、（「両目」、「両眉毛の形」、又は肌の色（ｓｋｉｎｔｏｎｅｃｏｌｏｒ）のような）当該シーン内の特定の「フィーチャー」を検出することにより実現される。その後、検出モジュール１０２は、（添付図面の図２に示すような）寸法ｄｘ，ｄｙ及び位置ｘ，ｙのサブ画像１０３を生成し、それらを認識モジュール１０４へと送る。

当該認識モジュールは、検出モジュール１０２から受け取った一又は各サブ画像１０３を、サブ画像各々にとっての好ましいフォーマットに拡大縮小することができ、その後、当該サブ画像を、既知のフィーチャーからなるサブ画像データベース内に記憶されたデータと照合する（図３参照）。当該認識モジュールは、当該一又は各サブ画像１０３を記憶サブ画像ａ，ｂ，及びｃと比較し、サブ画像１０３と最も一致する記憶サブ画像を特定し、「一致度」が、予め定められた信頼性レベルよりも高いと判定された場合には、関連する被写体の識別情報が、出力の信頼性のレベルを示す信号と共に、当該システムの出力へと送られる。

しかしながら、上述のように、現在の多くの顔認識システムには、信頼性がなく且つ扱い難いという傾向がある。それは必ずしも、顔認識に利用される処理に原因があるのではなく、シーンや関連する取得画像の「安定性」に原因がある。

添付図面の図４を参照するに、本発明の例示的な実施形態による顔認識システムは、画像センサ１００を備え、上述のように、当該画像センサ１００の出力は、検出モジュール１０２へと送られる。検出モジュール１０２は、図１に図示され、図１を参照しつつ説明されたシステムの対応モジュールと同様に動作し、検出モジュール１０２の出力（即ち、特定された１又は２以上のサブ画像）は、上述のように、認識モジュール１０４へと送られる。

より詳細には、当該検出モジュールは、（映像シーケンスから）画像が与えられた場合、未知の個数の顔を検出して位置を特定することができる（存在する場合）。当該手順の主要部分の後には、セグメンテーションが実施される、即ち、当該画像内の顔候補の領域が選択される。本発明の一の実施形態では、これは、色に特化した選択（ｃｏｌｏｒｓｐｅｃｉｆｉｃｓｅｌｅｃｔｉｏｎ）によって実行されるようにしてもよい（例えば、検出モジュール１０２は、肌色ピクセル又は肌色ピクセル群の存在を検索することによって、取得画像内にある顔を検出するように構成されていてもよい）。その後、小さすぎる領域を取り除き、且つ、取り扱う選択領域について特定の縦横比を指定（ｅｎｆｏｒｃｅ）することによって、結果をより信頼できるものとすることができる。

ここでも、上記認識モジュールは、検出モジュール１０２から受け取った一又は各サブ画像を、サブ画像各々にとっての好ましいフォーマットに拡大縮小することができ、その後、当該サブ画像を、既知のフィーチャーからなるサブ画像データベース内に記憶されたデータと照合する（図３参照）。当該認識モジュールは、当該一又は各サブ画像を記憶サブ画像ａ，ｂ，及びｃと比較し、サブ画像と最も一致する記憶サブ画像を特定し、「一致度」が、予め定められた信頼性レベルよりも高いと判定された場合には、関連する被写体の識別情報が、出力の信頼性のレベルを示す信号と共に、当該システムの出力へと送られる。

このように、顔認識処理によれば、検出モジュールによって検出された（１又は２以上の）顔が、顔データベースを参照することで特定される。このために、ラジアル基底関数（ＲＢＦ）ニューラルネットワークが利用されてもよい。ＲＢＦニューラルネットワークを利用する背景にある理由は、その学習速度の速さ及びそのトポロジーのコンパクトさに加えて、類似画像を分類する前に類似画像をクラスタリングするその能力にある（以下を参照：J. Haddadnia, K. Faez and P. Moallem, "Human Face Recognition with Moment Invariants Based on Shape Information", in Proceedings of the International Conference on Information Systems, Analysis and Synthesis, vol. 20, (Orlando, Florida, USA), International Institute of Informatics and Systematics (ISAS'2001)）。

当該システムは更に、解析器１０６を含み、出力の信頼性のレベルが、予め定められた閾値（比較器１０８によって設定される）よりも低いと判定された場合には、検出モジュール１０２の出力は、解析器１０６にも送られる。解析器１０６は、信頼性の低さの理由を判定するために、検出モジュール１０２からのデータの少なくとも一部について評価を行い、例えば「カメラに近寄って下さい」「左／右に動いて下さい」等の言葉による指示を指示対象の被写体に与えるために、音声合成器１１０へと信号を出力する。出力の信頼性が、予め定められた閾値に達している場合には、例えば「ハロー、グリーンさん」のような言葉によるグリーティングが、被写体に示されるようにしてもよい。

このように、上述のシステムは、（話し言葉による指示又はグリーティングとして）ユーザへのフィードバックを出力する。これは感覚的にとても解りやすく、対象人物は、話し言葉による指示によって、認識される正しい位置へとユーザフレンドリーな方法で誘導されることになる。

一の実施形態では、上記解析器内で実行するソフトウェアコードは、以下のようにしてもよい：
if ((dx < 5g pixels) OR (dy < 6g pixels))
then speak ("近寄って下さい")
else if (x = 0) then speak ("左に動いて下さい")
else if (x = 63g) then speak ("右に動いて下さい")
else if (reliability > threshold)
speak ("ハロー", name_from_database(identifier))
end
このように、大まかに言って、顔認識は、これまで特にサイバートロニクス（ｃｙｂｅｒｔｒｏｎｉｃｓ）の分野で興味を集めてきたタスクである。顔認識が難しい理由は、ロバスト認識のためには、顔が適切な角度で完全にカメラの正面にある必要がある、という点にある。また、取得画像内の顔のサイズは、最低限の個数のピクセルに達していなければならない。顔部分が十分なピクセルを含んでいない場合には、信頼性のある検出及び認識が実現できないからである。顔がカメラの被写界に完全に納まっていない場合（例えば、左に寄りすぎ又は右に寄りすぎ）にも、同じ問題が起こる。

ユーザに対して従来技術のシステムのフィードバックが出力される場合、当該フィードバックは、一連の処理における中間画像のような技術的特性のものとなる。効果的なフィードバックは出力されない。上述の例示的な実施形態では、本発明は、顔認識システムを提供し、当該顔認識システムは、音声合成を利用した耳で聞こえるフィードバックを具備する。従って、当該システムは、取得画像内の顔が小さすぎる場合に、「近寄って下さい」や、横方向への動きのための「左に動いて下さい」や、「こちらを見て下さい！」を出力するように構成できる。このように、本発明は、感覚的にとても解りやすいユーザインタフェースシステムを提供する。そして、従来技術のシステムと比べて画像がより良好に制御されるので、認識能力が著しく改善される。

多くの異なるフィーチャー認識技術が当業者の知るところとなり、本発明はここで説明した観点に限定されるようには意図されていないことが理解されよう。

留意されるべきは、上述の実施形態は、本発明を限定しているというよりはむしろ説明している、ということであり、且つ、当業者は、添付の特許請求の範囲により定義される本発明の領域から離れることなく、多くの代替的な実施形態を設計することができる、ということである。特許請求の範囲において、括弧内に記載の参照符号は、特許請求の範囲を限定するように解釈されるべきではない。単語「ｃｏｍｐｒｉｓｉｎｇ（備える、含む、からなる）」及び「ｃｏｍｐｒｉｓｅｓ（備える、含む、からなる）」等は、全体として請求項又は明細書中で列挙されている要素・ステップ以外の要素・ステップを排除するものではない。１つの要素（ａｎｅｌｅｍｅｎｔ）についての単数形の言及は、２つ以上の当該要素（ｓｕｃｈｅｌｅｍｅｎｔｓ）についての複数形の言及を排除するものではなく、逆も同様である。本発明は、いくつかの別個の要素を備えるハードウェア手段と、適切にプログラムされたコンピュータ手段により実施されるようにしてもよい。いくつかの手段を列挙している装置請求項において、それらの手段の内のいくつかは、１つの同じハードウェアアイテムにより具体化することもできる。単に特定の複数の手段が互いに異なる従属請求項において説明されているという事実は、これらの手段の組み合わせが有用ではないということを意味するものではない。

従来技術による一般的な顔認識システムの構成を図示した概略的なブロック図である。図１の検出モジュールがとる動作に係る概略図である。図１の認識モジュールにより実行される照合処理に係る概略図である。本発明の例示的な実施形態による顔認識システムの構成を図示した概略的なブロック図である。

Claims

フィーチャー認識のための装置であって、
当該装置は、
被写界内の画像を取得する画像取得手段と、
前記画像内の被写体の存在を特定し、前記被写体の１又は２以上のフィーチャーを検出する検出手段と、
前記１又は２以上のフィーチャーを、記憶されているフィーチャーデータと照合する認識手段と、
前記取得画像がフィーチャー認識用として十分なものであるか否かを判定する手段とを備え、
更に、前記取得画像がフィーチャー認識用として十分なものではないと判定された場合に、前記被写体への指示を生成して出力する手段、を備え、前記指示は、前記被写界内の前記被写体への要求動作に関する指示であり、前記指示は、前記被写体が、前記被写界内での自己の位置決めを行って、十分な画像が取得可能になるようにする、のを手助けするようになっている、ことを特徴とする装置。
前記指示は、音響信号を含む、請求項１に記載の装置。
前記音響信号は、話し言葉による指示を前記被写体に出力する音声合成器により出力される、請求項２に記載の装置。
前記被写体に関するデータを出力するための検出モジュール及び認識モジュールを備え、当該検出モジュール及び認識モジュールは、前記出力データを、前記出力データの信頼性を示すデータと共に出力する、請求項１乃至３のいずれか１項に記載の装置。
十分な画像が取得されたか否かを判定するために、前記信頼性データを、予め定められた閾値と比較する手段、を備える請求項４に記載の装置。
十分な画像が取得可能になるように、前記被写体がとることを要求される動作を決定し、且つ、対応するデータを、前記被写体への指示を出力する前記手段に提供する解析器、を備える請求項１乃至５のいずれか１項に記載の装置。
前記検出モジュールは、取得画像内の１又は２以上のフィーチャーを特定し、且つ、前記１又は２以上のフィーチャーの位置に関するデータを、前記認識モジュールに提供する、ように構成されている請求項４に記載の装置。
前記認識モジュールは、フィーチャーのデータベースと、一致度を判定するために、前記検出モジュールから受け取ったフィーチャーデータを、前記データベースの内容と比較する手段と、を含む請求項７に記載の装置。
フィーチャー認識の方法であって、
当該方法は、
画像取得手段の被写界内の画像を取得し、
前記画像内の被写体の存在を特定し、前記被写体の１又は２以上のフィーチャーを検出し、
前記１又は２以上のフィーチャーを、記憶されているフィーチャーデータと照合し、
前記取得画像がフィーチャー認識用として十分なものであるか否かを判定する、
というステップ群を含み、
更に、前記取得画像がフィーチャー認識用として十分なものではないと判定された場合に、前記被写体への指示を自動的に生成して出力する手段、を用意するステップを含み、前記指示は、前記被写界内の前記被写体への要求動作に関する指示であり、前記指示は、前記被写体が、前記被写界内での自己の位置決めを行って、十分な画像が取得可能になるようにする、のを手助けするようになっている、ことを特徴とする方法。