JP2006243849A

JP2006243849A - 機器制御装置及びその方法

Info

Publication number: JP2006243849A
Application number: JP2005055149A
Authority: JP
Inventors: Osamu Yamaguchi; 修山口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-02-28
Filing date: 2005-02-28
Publication date: 2006-09-14
Anticipated expiration: 2025-02-28
Also published as: US20060193502A1; JP4267584B2; US7734072B2

Abstract

【課題】登録作業を明示的な作業として行わない個人識別機能をもつシステムにおいて、認識結果に対する確認を簡素化して辞書更新の利便性の向上を行うことを目的とする。
【解決手段】機器制御装置１０は、顔認識処理部１２、機器設定部１４、対話処理部１６とから構成され、ユーザの顔画像に関する個人データを取得し、取得した個人データと、登録された個人辞書データと比較して、取得した個人データに対応する人物を認識し、認識した人物に対応する登録時の顔画像を、前記登録されている個人辞書データに基づいて表示し、表示した人物が前記ユーザに一致するか否かの確認情報を前記ユーザから受け、確認された人物に対応する前記機器環境パラメータに設定する。
【選択図】図１

Description

本発明は、人物認識による機器制御装置及びその方法に関する。

近年、バイオメトリクスを用いた個人認証技術など、セキュリティへの関心が高まっている。人間の生体情報を利用する個人認識法としては、顔、声紋、指紋、虹彩などを利用したものがある。それらの中でも顔を利用した場合は、精神的、肉体的負担をかけることなく認識でき、利用しやすいといった特徴がある。また、さまざまなバイオメトリクスの中で、判断のための特徴量（顔画像）を人間が認識、識別が可能な手段である。

顔認識の技術は、セキュリティとしての応用だけではなく、インターフェースの利便性を向上させるために、システムのユーザ対応のために個人識別技術が利用されている。しかしながら、既にこれまでに提案されているものについては、セキュリティを意識したものが多く、「登録作業」「更新作業」などが明示的に発生する。より利便性の高いインターフェースの構築のためには、明示的な「登録作業」「更新作業」などを省略することが必要である。

車のドライバーの顔を認識して、シートなどの設定を行うというものが特許文献１に開示されている。これらの発明では、利用者が特定できない場合、新たにデータベースに登録するという機能がある。また、特許文献２では、通行者の識別を行うために未登録の人物が通過した場合に、新たにデータベースに登録する方法が開示されている。

但し、これらの自動登録を行う場合には、いくつかの問題がある。

（１）認識に間違いあった際、別人の設定が成される可能性がありその場合の復旧方法が示されていない。

（２）登録されているにもかかわらず、顔認識に間違いがあり、新たな人物だと判断された場合に、システムに伝える方法が明らかではない。

（３）顔認識の精度を向上させるために、自動的に更新する方法が必要であるが、システムが人物を間違えて認識していた場合には、ある登録人物に別人のデータが混入するという問題がある。

（４）自動登録が行われる場合、同じ人物が二重化される場合があり、辞書の統合、廃棄などのメンテナンスをする必要がある。

また、認識に間違いがある可能性に対する処理としては、特許文献３では、本人に確認をする手段が開示されているが、セキュリティ応用を目的としているため、認識結果から本人を拒絶する発明となっており、インターフェース応用には適さない。
特開２００２−２８８６７０公報特開２００４−５４５８０公報特許第３５９０２８５号公報

そこで、本発明では、登録作業を明示的な作業として行わない個人識別機能をもつシステムにおいて、認識結果に対する確認を簡素化する方法や、辞書更新の利便性の向上を行うことを目的とする。

本発明は、ユーザが操作する一または複数の機器の状態または動作に関する機器環境パラメータを制御する機器制御装置において、前記ユーザの顔画像を入力し、前記顔画像から顔認識用の個人データを取得する取得手段と、一または複数の人物の顔画像及び顔認識用の個人データに関する個人辞書データが予め登録されている登録情報保持手段と、前記取得した個人データと、前記登録された個人辞書データにおける個人データと比較して、前記取得した個人データに対応する人物を認識する顔認識処理手段と、前記登録されている人物毎に前記機器環境パラメータを記憶している機器環境情報記憶手段と、前記認識した人物に対応する登録時の顔画像を、前記登録されている個人辞書データに基づいて表示する表示手段と、前記表示した人物が前記ユーザに一致するか否かの確認情報を前記ユーザから受ける対話処理手段と、前記確認された人物に対応する前記機器環境パラメータを前記機器環境情報記憶手段から呼び出し、前記機器をその機器環境パラメータに設定する機器設定手段と、を具備することを特徴とする機器制御装置である。

本発明によれば、明示的な登録作業を行わない自動的に登録される顔認識機能をもつシステムにおいて、できるだけユーザとのインタラクションを簡素化して、利便性が高いシステムが構築できる。

以下に本発明の一実施形態について説明する。

本実施形態では、自動登録機能を有する人物認識による機器制御装置１０の適用例として、自動車のドライバーを認識し、その個人に合わせてルームミラー、シートの位置などの機器１８の設定を行う装置について説明を行う。

図１のブロック図に示すように、機器制御装置１０は、顔認識処理部１２、機器設定部１４、対話処理部１６とから構成され、ルームミラー、シートの位置などの各種の機器１８を制御する。

（１）顔認識処理部１２
顔認識処理部１２について説明する。顔認識処理部１２は、図２のブロック図に示すように、画像入力部１２１、特徴量抽出部１２２、部分空間算出部１２３、認識部１２４、登録情報保持部１２５、登録情報更新部１２６とから構成され、カメラなどを用いて顔画像を入力し、画像処理行った後、顔パターンの類似度を用いて人物の識別を行う。

（１−１）画像入力部１２１
画像入力部１２１は、顔画像をコンピュータに入力するための装置からなり、ＣＣＤカメラなどの画像入力装置から構成される。画像入力装置の数に関しては限定せず複数の台数から構成されても良い。入力された画像は画像入力ボードなどでＡ／Ｄ変換されてデジタル化され、画像メモリに蓄えられる。

（１−２）特徴量抽出部１２２
特徴量抽出部１２２では、顔領域検出部、顔部品検出部、特徴量変換部から構成され、入力された画像から顔領域を決定する顔画像解析を行ない、認識のための特徴量に変換する。

（１−２−１）顔領域検出部
顔領域検出部では、画像メモリに蓄えられた画像中から顔の領域、もしくは頭部領域を検出する。

本実施形態の検出方法は、予め用意された顔検出のためのテンプレートを、画像中を移動させながら相関値を求めることによって、最も高い相関値をもった場所を顔領域とする。

相関値を計算する代わりに、Ｅｉｇｅｎｆａｃｅ法や部分空間法を利用して距離や類似度を求め、その類似度の高い場所を抽出する方法などの顔検出手段でもよく、方法は問わない。また、大きく横を向いた頭部から顔領域をとり出すために、数方向の横向き顔のテンプレートを用意しておき利用してもよい。顔領域を含んだ部分画像を顔部品検出部に送る。

（１−２−２）顔部品検出部
次に、顔部品検出部では、目、鼻、口といった顔部品を検出する。本実施形態では、検出された顔領域の部品の中から、目、鼻の位置を検出する。検出方法は、非特許文献１（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」，電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法を用いて良い。

（１−２−３）特徴量変換部
特徴量変換部では、検出された部品の位置と顔領域をもとに、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量としている。いくつかの顔部品のうち、２つの組み合わせを考え、その２つの顔部品特徴点を結ぶ線分が、一定の割合で顔領域検出部分に収まっていればよい。部品が収まっていない場合や、部品位置との割合が条件を満たさない場合には、矩形を拡大、縮小し、同様にｍピクセルｘｎピクセルの領域に変換する。図３上は、入力画像を特徴量抽出部１２２によって処理し得られた顔画像データであり、時系列的に得られたものである。

本実施形態では、各ピクセルの濃淡値を特徴ベクトルの要素情報として、ｍ×ｎ次元の情報を用いる。この特徴ベクトルについての内容についてはこの限りではなく、各種変換を施したようなものでも構わない。

（１−３）部分空間算出部１２３
部分空間算出部１２３は、特徴量抽出部１２２で得られた特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。

本実施形態では、相関行列Ｃ_ｄを特徴ベクトルから求め、相関行列Ｃ_ｄ＝Φ_ｄΛ_ｄΦ^Ｔ _ｄと対角化して、固有ベクトルの行列Φ_ｄを求める。

図３は、入力画像を特徴量抽出部１２２によって処理し得られた顔画像データである。これらのデータを特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。図３下は、その固有ベクトルを画像化して表示したものである。

この部分空間は、人物の同定を行うための識別辞書として利用する。後で述べるように、自動登録の際に入力系列から計算された部分空間を辞書とする。また、部分空間自身を識別を行うため入力データとしてもよい。部分空間算出部１２３での計算結果は、認識部１２４、また、登録情報保持部１２５に送られる。

（１−４）認識部１２４
次に、認識部１２４について説明する。

認識部１２４は、登録情報保持部１２５に蓄えられた登録データ（部分空間）と特徴量抽出部１２２で得られた特徴量、または部分空間算出部１２３で得られる部分空間とを比較することにより、カメラに写っている人物が誰であるかを識別する。

人物を識別するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を識別結果とすればよい。

認識の方法としては、特徴量算出部の情報を用いる場合は、部分空間法や複合類似度法などの方法を用いてよい。本実施形態での認識方法は、非特許文献２（前田賢一、渡辺貞一：“局所的構造を導入したパターン・マッチング法”，電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））にある相互部分空間法や非特許文献３（福井和広，山口修，鈴木薫，前田賢一，制約相互部分空間法を用いた環境変動にロバストな顔画像認識−照明変動の影響を抑える制約相互部分空間の学習−，信学論Ｄ−ＩＩＶｏｌ．Ｊ８２−Ｄ−ＩＩ，Ｎｏ．４，６１３−６２０，１９９９）にある制約相互部分空間法を用いてもよい。これらの方法では、予め蓄えられた登録データも、入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」から類似度が定義される。

入力データ列に対して同様に相関行列Ｃ_ｉｎを求め、Φ_ｉｎΛ_ｉｎΦ_ｉｎ ^Ｔと対角化し、固有ベクトルΦ_ｉｎを求める。

二つのΦ_ｉｎ，Φ_ｄで表される部分空間の部分空間間類似度（０．０〜１．０）を求め、それを認識するための類似度とする。

制約相互部分空間法の場合は、それぞれの部分空間を制約空間に射影することにより識別に有効な特徴を引き出した後、部分空間間類似度を求める。

認識部１２４は、図４のように動作する。

認識部１２４は、識別作業を行い識別対象となる登録データ（部分空間）をすべて登録情報保持部１２５により読み出す。そして、それぞれの登録情報との類似度を入力ベクトルまたは入力部分空間との類似度を計算する。次に計算された類似度の中から最大のものを選択し、それを認識結果として出力する。識別結果は、類似度の順に並べ変えをしておく。

図４のように、類似度を閾値判定することによって、認識結果が正しいかどうかを検証する。例えば類似度があまりに低い場合には、どの識別対象でもないと判断することもでき、登録作業を行う。ここでの登録作業とは、入力部分空間を登録情報保持部１２５におくり、個人辞書として保存することである。

ここで計算された類似度、判定結果などは、登録情報更新部１２６にも送られ、更新のための情報として利用される。

（１−５）登録情報保持部１２５
登録情報保持部１２５は、人物を同定するために利用する部分空間（または相関行列など）や、また登録の際の時刻、日時、場所などの状況情報などを蓄積できる。画像入力データや抽出した特徴量などでもよい。本実施形態では、部分空間を保持するだけでなく、部分空間を計算するための前段階の相関行列も保持する形態での説明を行う。

登録情報保持部１２５は、一人の人物、またはあるＩＤコードに対応して、一つまたは複数の登録データを保持する。部分空間は、その取得された時間などの付帯情報とともに記憶される。また、これらの登録情報は、登録情報更新部１２６の指示により、新規作成、変更、削除などが行われる。

（１−５）登録情報更新部１２６
登録情報更新部１２６は、登録情報保持部１２５の登録データを必要に応じて更新する。

登録情報更新部１２６の一実施形態として、図５のようなフローチャートで動作する。まず、認識部１２４で認識が行われた際の、認識の結果を受け取る。次に、どの登録データを用いて認識が行われたかの情報を登録情報保持部１２５から得る。これにより、いずれの登録データに対してどの程度の類似度があるかを得る。登録情報の更新は、相関行列のレベルでの更新について説明する。登録されている登録情報の相関行列をＣ_ｒとすると、入力データによって得られる相関行列をＣ_ｉとすると、Ｃ´_ｒ＝αＣ_ｒ＋βＣ_ｉによる相関行列同士の和を求めることで、相関行列を更新し、さらにＣ´_ｒをＫ−Ｌを展開することで、辞書を更新する。α，βについては、例えば収集時間に依存するパラメータなどで重みを変えるために使われる。

また、登録情報更新部１２６は、登録情報保持部１２５の中から重複している辞書を見つけ、同一人物の辞書を１つにまとめる処理も行う。登録されている辞書がｎ個の場合、ｎ（ｎ−１）個の組み合わせについて、辞書同士の類似度を相互部分空間法、制約相互部分空間法などで求める。その類似度が設定した閾値を超えた場合に、同一人物であると判定する。統合処理は、２つの登録情報の相関行列をＣ_ａ，Ｃ_ｂとすると、Ｃ´＝Ｃ_ａ＋Ｃ_ｂのような相関行列同士の和を求め、１つの新たな相関行列とすることで行われる。

（２）機器設定部１４
次に、機器設定部１４について説明する。機器設定部１４は、顔による個人認識の結果をうけとり、機器を制御を行う。

図６のブロック図に示すように、機器設定部１４は、個人認識の結果を判断する個人識別判断部１４１、機器の情報を送受信する機器制御部１４２、各種個人に対応した機器のパラメータ情報を記憶する機器環境情報記憶部１４３、機器の状態の変更に応じて人物の推定を行う機器情報個人推定部１４４からなる。

（２−１）個人識別判断部１４１
個人認識の結果を判断する個人識別判断部１４１は、顔画像処理部の結果を受けとり、その識別結果から、各種機器への操作、処理の判断を行う。また、未登録者の自動登録の判断も行う。

（２−２）機器制御部１４２
機器制御部１４２は、各アクチュエータに機器環境情報記憶部１４３の機器環境パラメータを送信したり、各センサの値を読み取り、機器の状態の変更を検知するための情報をやりとりする。

（２−３）機器環境情報記憶部１４３
各登録されている個人に対応する各機器環境パラメータを記憶する。各種機器環境パラメータが変わった場合には、データベースを更新する。

（２−４）機器情報個人推定部１４４
機器情報個人推定部１４４は、機器環境情報記憶部１４３の内容と現在の各種機器１８のセンサの状態を比較し、各機器環境パラメータが近いと思われるパラメータセットに対応する人物のＩＤを出力する。

なお、各種機器１８とは、自動車のシート、バックミラー、ハンドル、サイドミラーなどの運転にかかわる装置、また、オーディオ装置、クーラーなどの車内装置などである。これらは機器設定部１４からの指示によって電子的に制御可能なように各種アクチュエータ等が装備されていると同時に、各種機器１８の状態をセンシングできるように、エンコーダ、センサなどが設置されている。

（３）対話処理部１６
対話処理部１６は、システムの情報を提示する画面、スピーカーなどの出力装置とボタン、マイク、ジョイスティックはどの入力装置からなる。また、図７に示すように、顔画像処理部１６１があり、登録されている人物の顔画像を顔認識処理部１２から受け取り、状況に応じて出力装置に提示する。

（４）第１の動作例
基本的な動作のフローチャートについて、図８を用いて説明する。

まず、顔認識処理部１２では顔検出処理が行われる（ｓ１０００）、顔検出が可能かどうかを判断し（ｓ１００１）、顔検出が行われた場合、認識処理を行う。顔が検出できない場合は、見つかるまで処理を繰り返す。認識処理（ｓ１００２）は先に説明した図４のように処理が行われる。

認識結果を受け取った個人識別判断部１４１では、登録されていた人物であるかどうか判断を行い（ｓ１００３）、登録人物である場合、登録されていた環境設定を行う（ｓ１０１０）。

全ての登録人物との類似度が設定した閾値を下まわった場合には、登録人物ではないと判断される。このとき、ドライバーに確認を行う（ｓ１００６）。登録人物ではないと判断される場合は２つあり、第１の状態はドライバーが本当に未登録者との場合と、第２の状態は、登録人物であるのに、類似度が閾値に達しないために未登録者と間違えられている場合である。

確認は対話処理部１６を通して、未登録者か登録者かどうかを問い合わせる。対話処理部１６では、最も類似度が高いとされる登録人物の登録時写真と未登録アイコンが表示される。未登録者の場合は、ドライバーは未登録であることを入力する。未登録者かどうかを判断が確定した場合（ｓ１００７）、未登録者の場合は登録処理を行う（ｓ１００８）。登録処理では、入力データを登録データに変換するとともに、撮影した顔画像を取得しておき、その顔画像を表示に利用する。そして、現在の機器環境パラメータである機器環境パラメータを機器環境情報記憶部１４３で記憶する（ｓ１００９）。登録者の場合は選択された人物の機器環境パラメータを機器環境情報記憶部１４３から呼び出し、機器制御部１４２に各種機器の設定を行う指示を出し、環境設定を行う（ｓ１０１０）。

（５）第２の動作例
次に、第１の動作例での認識処理で、システムが人物を間違えてしまった場合には、次のような問題が起こる。

第１の問題は、異なる人物と判定されて場合、異なる環境設定がなされることとなり、例えば、シートの設定の場合であれば、全く違う位置にセットされてしまう。

第２の問題は、異なる人物と判定されたままであると、更新処理が行われると、別の人物のデータが混入してしまうことになる。これを避けるために認識処理の後にも確認処理を行う。

第２の動作例を図９のフローチャートで説明する。

第１の動作例と同様、顔認識処理部１２では顔検出処理が行われる（ｓ１１００）、顔検出が可能かどうかを判断し（ｓ１１０１）、顔検出が行われた場合、認識処理（ｓ１１０２）を行う。登録されていた人物であるかどうか判断を行い（ｓ１１０３）、登録人物である場合、ドライバーに確認を行う（ｓ１１０４）。ドライバーに確認を行う場合、システムがどの人物と認識したのかをドライバーに示す必要がある。しかし、登録時には名前などを登録をしていないし、ＩＤ番号も示していない。よって、ドライバーが確認するには、登録処理を行ったとき（すなわち、最初にシステムを使ったとき）の顔画像を表示することのみで、ドライバーに伝えることができる。

登録時の顔画像を表示し、認識した人物があっているかどうかを問い合わせる手段は、対話処理部１６が行う。例えば、カーナビゲーションシステムの画面に顔画像を表示し、その人物とドライバーが同じであるかどうかを確認し、Ｙｅｓ／Ｎｏで返答する。ドライバーが登録人物と確認した場合は、登録されていた環境設定を行う（ｓ１１１０）。登録人物でないと判断された場合にも、ドライバーに確認を行う（ｓ１１０６）。登録者でない場合は、未登録者かどうかを判断し（ｓ１１０７）、未登録者の場合は登録処理を行う（ｓ１１０８）。そして、現在の機器環境パラメータを機器環境情報記憶部１４３で記憶する（ｓ１１０９）。本人と確認が行われた場合、もしくは、登録処理を行った直後は、その人が入れ替わることが少ないため、更新処理を行う。なお、途中で人が変わるなどが検出された場合は、更新処理を中止する。

（６）第３の動作例
第１の動作例、第２の動作例の場合では、確認作業があるものの、自動登録が行われる場合に、同じ人物が二重化されてしまう場合がある。よって、個人辞書の統合、廃棄などのユーザによるメンテナンスが必要となる。本実施形態では、この作業の自動化（統合化処理）について説明する。なお、ここでの二重化とは、ある人物の登録がすでになされており、その人物が未登録者と確認されたのち、登録処理が行われることを指す。

このとき、登録時に統合のチェックを行い、統合処理を強要すると、異なる環境設定を望むドライバー（例えば、状況に応じた２種類の設定を所有する）の場合もあるため、一度は登録が行われた状態にし、エンジンを切る直前、もしくは、エンジンをかけたときなど、登録状態が複数になった後、統合化処理を行う。

統合化処理は、図１０のフローチャートを用いて説明する。

まず、全ての個人辞書同士の類似性を判定するために、全ての個人辞書の組み合わせについて、辞書同士の類似度を相互部分空間法、制約相互部分空間法などて求める（ｓ１２０１）。その類似度の高いものがあるかどうかを予め定めた閾値により判定し（ｓ１２０２）、類似した辞書がある場合には、さらに、機器環境パラメータの類似性を比較する（ｓ１２０３）。機器環境パラメータも類似している場合は、同じ人である場合が高い。よって、統合処理を行う（ｓ１２０４）。機器環境パラメータが似ていない場合、確認処理を行い、２つの辞書の人物が同じであるかどうかをドライバーに判断を委ねる（ｓ１２０５）。もし、多重化（２つ以上の設定を持ちたい場合）を認める場合には、統合化処理を行わない。多重化をするのではなく、統合をしてもよいという判断が下された場合は、２つの辞書を統合する（ｓ１２０４）。

なお、辞書の統合処理は、顔認識処理部１２での登録処理更新部で行われ、登録処理保持部の辞書が統合される。また、それに伴い、対応する機器環境パラメータは、同一人物のものの１つを選択し、機器環境情報記憶部１４３に記憶し直す。

（７）第４の動作例
上記動作例に加えて、さらに機器１８の状態をセンシングしてその機器環境パラメータを利用する方法について説明する。

第２の動作例のような確認作業を行う際に、選択処理をより簡便にするには、選択可能な人物の数を制限するのがよい。手動で機器１８の設定が変わった場合、変更のあった機器環境パラメータをデータベースから検索して、人物の絞込みを行う。

具体例として、顔認識が失敗する場合、すなわち、設定閾値を超えない場合に、ある機器１８を手動で操作することを考える。通常、認識が成功していれば所望の状態に機器１８が設定されるのに対し、顔認識が失敗しているため、未登録者であることの確認や誤認識の確認を待って、システムはなにも動作を起こさない。

そこで、ユーザが対話処理部１６の操作をすることなく、機器設定部１４に接続されているある機器１８を動かす。一例として、自動車の場合、顔認識がうまくいかないで、ルームミラーを動かす場合を考える。この場合、ルームミラーの方向を表すエンコーダのパラメータがＲｄ０からＲｄ１になったとする。そこで、機器情報個人推定部１４４では、機器環境情報記憶部１４３の環境設定データベースからルームミラーの機器環境パラメータがＲｄ１に近い値をもつものを抽出する。そして、この抽出された人物であるかどうかのみを選択肢として提示すればよい。これは、認識結果が不確定であるときに、ある機器１８の設定情報から、人物を推定することができる。確認をとるための情報として有用である。

このように、各機器１８の操作による推定結果は、対話処理部１６における応答の代わりとして利用できる。また、この各機器１８の操作による推定結果を顔認識処理部１２に送り、抽出されたものだけを認識すれば、さらに高速に処理することも可能となる。

（８）変形例
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

例えば、上記実施形態では、自動車における顔認識と機器制御について述べたが、別の乗り物や電子機器などの操作についてでもよい。また、自動的な個人情報の登録機能を有するロボットなどに応用できる。

本発明の一実施形態の機器制御装置のブロック図である。顔認識処理部１２のブロック図である。特徴例を示す図である。顔認識のフローチャートである。辞書更新のフローチャートである。機器設定部１４のブロック図である。対話処理部１６のブロック図である。第１の動作例の機器設定のフローチャートである。第２の動作例の機器設定のフローチャートである。第３の動作例の自動辞書統合のフローチャートである。

符号の説明

１０機器制御装置
１２顔認識処理部
１４機器設定部
１６対話処理部
１２１画像入力部
１２２特徴量抽出部
１２３部分空間算出部
１２４認識部
１２５登録情報保持部
１２６登録情報更新部
１４１個人識別判断部
１４２機器制御部
１４３機器環境情報記憶部
１４４機器情報個人推定部

Claims

ユーザが操作する一または複数の機器の状態または動作に関する機器環境パラメータを制御する機器制御装置において、
前記ユーザの顔画像を入力し、前記顔画像から顔認識用の個人データを取得する取得手段と、
一または複数の人物の顔画像及び顔認識用の個人データに関する個人辞書データが予め登録されている登録情報保持手段と、
前記取得した個人データと、前記登録された個人辞書データにおける個人データと比較して、前記取得した個人データに対応する人物を認識する顔認識処理手段と、
前記登録されている人物毎に前記機器環境パラメータを記憶している機器環境情報記憶手段と、
前記認識した人物に対応する登録時の顔画像を、前記登録されている個人辞書データに基づいて表示する表示手段と、
前記表示した人物が前記ユーザに一致するか否かの確認情報を前記ユーザから受ける対話処理手段と、
前記確認された人物に対応する前記機器環境パラメータを前記機器環境情報記憶手段から呼び出し、前記機器をその機器環境パラメータに設定する機器設定手段と、
を具備する
ことを特徴とする機器制御装置。
前記登録情報保持手段に登録されている複数の個人辞書データの互いの類似度を求め、
前記類似度が閾値より高い個人辞書データ同士を統合する登録情報更新手段を有する
ことを特徴とする請求項１記載の機器制御装置。
前記登録情報保持手段に登録されている複数の個人辞書データの互いの類似度を求め、前記類似度が閾値より高い個人辞書データに対応する前記機器環境パラメータを機器環境情報記憶手段から呼び出し、前記呼び出した機器環境パラメータ同士の類似度を比較し、前記機器環境パラメータの類似度が閾値より高いときは、前記個人辞書データ同士を統合する統合処理手段を有する
ことを特徴とする請求項１記載の機器制御装置。
前記ユーザにより前記機器が操作されて、前記機器環境パラメータが変更された場合に、前記変更された機器環境パラメータに対応する一または複数の人物を前記機器環境情報記憶手段から呼び出す機器情報個人推定手段を有し、
前記表示手段は、前記呼び出した人物に関する顔画像を前記登録されている個人辞書データに基づいて表示する
ことを特徴とする請求項１記載の機器制御装置。
前記ユーザにより前記機器が操作されて、前記機器環境パラメータが変更された場合に、前記変更された機器環境パラメータに対応する一または複数の人物を前記機器環境情報記憶手段から呼び出す機器情報個人推定手段を有し、
前記顔認識処理手段は、前記呼び出した人物の中から顔認識を行う
ことを特徴とする請求項１記載の機器制御装置。
前記ユーザにより前記機器が操作されて、前記機器環境パラメータが変更された場合に、前記変更された機器環境パラメータに対応する一または複数の人物を前記機器環境情報記憶手段から呼び出す機器情報個人推定手段を有し、
前記対話処理手段は、前記機器情報個人推定手段によって人物が呼び出された場合に前記ユーザから確認情報を受けたとする
ことを特徴とする請求項１記載の機器制御装置。
ユーザが操作する一または複数の機器の状態または動作に関する機器環境パラメータを制御する機器制御方法において、
前記ユーザの顔画像を入力し、前記顔画像から顔認識用の個人データを取得する取得ステップと、
一または複数の人物の顔画像及び顔認識用の個人データに関する個人辞書データが予め登録されている登録情報保持ステップと、
前記取得した個人データと、前記登録された個人辞書データにおける個人データと比較して、前記取得した個人データに対応する人物を認識する顔認識処理ステップと、
前記登録されている人物毎に前記機器環境パラメータを記憶している機器環境情報記憶ステップと、
前記認識した人物に対応する登録時の顔画像を、前記登録されている個人辞書データに基づいて表示する表示ステップと、
前記表示した人物が前記ユーザに一致するか否かの確認情報を前記ユーザから受ける対話処理ステップと、
前記確認された人物に対応する前記機器環境パラメータを呼び出し、前記機器をその機器環境パラメータに設定する機器設定ステップと、
を具備する
ことを特徴とする機器制御方法。
ユーザが操作する一または複数の機器の状態または動作に関する機器環境パラメータを制御する機器制御方法をコンピュータによって実現するプログラムにおいて、
前記ユーザの顔画像を入力し、前記顔画像から顔認識用の個人データを取得する取得機能と、
一または複数の人物の顔画像及び顔認識用の個人データに関する個人辞書データが予め登録されている登録情報保持機能と、
前記取得した個人データと、前記登録された個人辞書データにおける個人データと比較して、前記取得した個人データに対応する人物を認識する顔認識処理機能と、
前記登録されている人物毎に前記機器環境パラメータを記憶している機器環境情報記憶機能と、
前記認識した人物に対応する登録時の顔画像を、前記登録されている個人辞書データに基づいて表示する表示機能と、
前記表示した人物が前記ユーザに一致するか否かの確認情報を前記ユーザから受ける対話処理機能と、
前記確認された人物に対応する前記機器環境パラメータを呼び出し、前記機器をその機器環境パラメータに設定する機器設定機能と、
を実現する
ことを特徴とする機器制御方法のプログラム。