JP2003271958A

JP2003271958A - 画像処理方法、その装置、そのプログラム、その記録媒体及び画像処理装置搭載型ロボット装置

Info

Publication number: JP2003271958A
Application number: JP2002073386A
Authority: JP
Inventors: Atsushi Okubo; 厚志大久保
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-03-15
Filing date: 2002-03-15
Publication date: 2003-09-26

Abstract

(57)【要約】【課題】高精度で且つ少ない情報量でもリアルタイム
で正確に顔を認識できる画像処理方法、その装置、その
プログラム、その記録媒体及び画像処理装置搭載型ロボ
ット装置を提供する。【解決手段】顔認識装置１００１は、画像入力部１０
０２と、画像から顔画像を検出する顔検出部１００３
と、顔画像から顔特徴情報を検出する顔特徴検出部１０
０４と、顔画像情報及び顔特徴情報からなる個人顔デー
タの分布をガウス分布近似することにより顔認識する顔
認識部１００５と、顔認識部１００５の結果を出力する
認識結果部１００６とから構成される。この顔認識装置
１００１は、個人顔データ分布の共分散行列が全ての個
人顔に共通であると仮定して予め求めた共通共分散行
列、同一個人の複数の顔画像から平均して求めた登録済
平均顔画像ベクトル、及び学習した顔画像の枚数情報を
有し、顔認識部１００５は、これらの情報から確率密度
分布を算出して顔を認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔等の画像をリア
ルタイムに認識する画像処理方法、その装置、そのプロ
グラム、その記録媒体及び画像処理装置搭載型ロボット
装置に関する。

【０００２】

【従来の技術】電気的又は磁気的な作用を用いて人間
（生物）の動作に似た運動を行う機械装置を「ロボッ
ト」という。我が国においてロボットが普及し始めたの
は、１９６０年代末からであるが、その多くは、工場に
おける生産作業の自動化・無人化等を目的としたマニピ
ュレータや搬送ロボット等の産業用ロボット（Industri
al Robot）であった。

【０００３】最近では、人間のパートナーとして生活を
支援する、すなわち住環境その他の日常生活上の様々な
場面における人的活動を支援する実用ロボットの開発が
進められている。このような実用ロボットは、産業用ロ
ボットとは異なり、人間の生活環境の様々な局面におい
て、個々に個性の相違した人間、又は様々な環境への適
応方法を自ら学習する能力を備えている。例えば、犬、
猫のように４足歩行の動物の身体メカニズムやその動作
を模した「ペット型」ロボット、或いは、２足直立歩行
を行う人間等の身体メカニズムや動作をモデルにしてデ
ザインされた「人間型」又は「人間形」ロボット（Huma
noid Robot）等のロボット装置は、既に実用化されつつ
ある。

【０００４】これらのロボット装置は、産業用ロボット
と比較して、エンターテインメント性を重視した様々な
動作を行うことができるため、エンターテインメントロ
ボットと呼称される場合もある。また、そのようなロボ
ット装置には、外部からの情報や内部の状態に応じて自
律的に動作するものがある。

【０００５】ところで、ロボット装置が人間及び物等を
認識するために、ロボット装置の例えば頭部ユニットに
は、画像処理装置が搭載される。画像処理装置の１つと
しては、例えば個人の顔を認識する顔認識装置がある。
この顔認識装置における顔認識方法においては、個人顔
を学習する際に多くの顔画像を入力して固有値計算及び
特徴認識等の複雑な計算処理を行うため、リアルタイム
処理が困難である。従って、通常、顔認識はオフライン
処理で行われている。また、登録する顔画像をそのまま
保存しておき、相関法等を使用した簡単なマッチング処
理のみで認識を行うことによりリアルタイムに顔の学習
をする方法もあるが、顔の表情変化及び照明条件の変化
等に対応できず、認識率が極めて低い。

【０００６】従来、上述のような相関法等を使用した顔
認識方法に比して、リアルタイムであっても顔認識率を
高めた顔認識方法がBaback Moghaddam等により、Beyond
Eigenfaces :Probabilistic Matching for Face Recog
nition(M.I.T Media Laboratory Perceptual Computing
Section Technical Report No.433), ProbabilisticVi
sual Learning for Object Representation(IEEE Trans
actions on PatternAnalysis and Machine Intelligenc
e, Vol. 19, No. 7, JULY 1997)に提案されている（以
下、従来例という）。

【０００７】この従来例に記載の顔認識方法において
は、同一人物の２枚の顔の差分画像の第１のクラス及び
別人物の２枚の顔の差分画像の第２のクラスの２つのク
ラスを求め、この２つのクラスの分布は個人によらず一
定であると仮定する。そして、予め大量画像を使用して
２つの差分顔クラスを学習することにより、新しい顔
は、画像を１枚のみ保存するだけで登録することがで
き、従ってリアルタイムで顔登録処理を可能とするもの
である。

【０００８】

【発明が解決しようとする課題】しかしながら、従来例
においては、相関法等と比較すると認識率が高いもの
の、登録時の顔（登録顔）が不鮮明であったり、表情及
び照明環境が標準的でなかったりした場合には、認識率
が悪化するという問題点がある。

【０００９】本発明は、このような従来の実情に鑑みて
提案されたものであり、少ない情報量でも高精度にリア
ルタイムで正確に顔を認識できる画像処理方法、その装
置、そのプログラム、その記録媒体及び画像処理装置搭
載型ロボット装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】上述した目的を達成する
ために、本発明に係る画像処理方法は、入力された画像
から顔画像を検出し、この顔画像から顔特徴情報を検出
し、この顔画像及び顔特徴情報からなる個人顔データの
分布をガウス分布近似することにより顔認識する画像入
力方法において、複数の個人顔から予め学習した学習デ
ータベースに格納された、個人顔データ分布の共分散行
列が全ての個人顔に共通であると仮定して予め求めた共
通共分散行列及び各個人の複数の顔画像ベクトルを平均
して予め求めた登録済平均顔画像ベクトルから確率密度
分布を求めて顔認識する顔認識工程を有することを特徴
とする。

【００１１】本発明においては、共通共分散行列Σを使
用して確率密度分布を求めて顔認識する顔認識手段を有
するため、学習データベースのデータ量及び顔認識の際
の計算量を飛躍的減少させることができ、リアルタイム
で顔認識することができると共に、相関法に比して顔認
識率が極めて高いと共に、登録時の顔が不鮮明であった
り、照度及び照明関係が標準的でなかったりしても、学
習データベースの登録済平均顔画像ベクトルは同一個人
の複数の顔画像から平均して求められるため、極めて高
い認識率を維持することができる。

【００１２】本発明に係る画像処理装置は、画像入力手
段と、この画像入力手段から供給された画像から顔画像
を検出する顔画像検出手段と、この顔画像から顔特徴情
報を検出する顔特徴検出手段とを有し、上記顔画像及び
顔特徴情報からなる個人顔データの分布をガウス分布近
似することにより顔認識する画像処理装置において、複
数の個人顔から予め学習した学習データベースを保有
し、上記学習データベースは、個人顔データ分布の共分
散行列が全ての個人顔に共通であると仮定して予め求め
た共通共分散行列と、各個人の複数の顔画像ベクトルを
平均して予め求めた登録済平均顔画像ベクトルとを有
し、上記共通共分散行列及び上記登録済平均顔画像ベク
トルから確率密度分布を求めて顔認識する顔認識手段を
有することを特徴とする。

【００１３】本発明に係る画像処理装置は、複数のパタ
ーンから１つのパターンを認識する画像処理装置におい
て、画像入力手段と、この画像入力手段から供給された
入力画像から特徴部分を検出する特徴検出手段と、上記
入力画像及び上記特徴部分から上記パターンの画像デー
タの分布をガウス分布近似することによりパターン認識
する認識手段と、複数のパターンから予め上記パターン
の特徴を学習し、上記パターンの画像データ分布の共分
散行列が全てのパターンに共通であると仮定して求めた
共通共分散行列と同一種類の複数のパターン画像ベクト
ルを平均して求めた登録済平均パターン画像ベクトルと
を保有する学習データベースとを具備し、上記認識手段
は、上記共通共分散行列及び上記登録済平均パターン画
像ベクトルから確率密度分布を求めてパターン認識する
ものであることを特徴とする。

【００１４】本発明に係るロボット装置は、供給された
入力情報に基づいて動作を行う自律型のロボット装置で
あって、画像入力手段と、この画像入力手段から供給さ
れた画像から顔画像を検出する顔画像検出手段と、この
顔画像から顔特徴情報を検出する顔特徴検出手段と、複
数の個人顔から予め学習し、個人顔データ分布の共分散
行列が全ての個人顔に共通であると仮定して予め求めた
共通共分散行列と各個人の複数の顔画像ベクトルを平均
して予め求めた登録済平均顔画像ベクトルとを保有する
学習データベースと、上記共通共分散行列及び上記登録
済平均顔画像ベクトルから確率密度分布を求めて顔認識
する顔認識手段とを有することを特徴とする。

【００１５】本発明においては、共通共分散行列を使用
してリアルタイムで顔認識することができる画像処理装
置が搭載されているため、ロボット装置はリアルタイム
に個人の顔を認識することが可能となり、更に認識率が
高く相関法に比して顔の表情変化及び照明等の条件変化
等に対応できるため、エンターテイメント性等、ロボッ
ト装置の使用用途を更に広くすることができる。

【００１６】

【発明の実施の形態】以下、本発明を適用した具体的な
実施の形態について、図面を参照しながら詳細に説明す
る。この実施の形態は、例えば脚式移動ロボット等に搭
載され、個人の顔を認識する顔認識装置に本発明の画像
処理装置を適用したものである。

【００１７】図１は、本実施の形態の顔認識装置を示す
ブロック図である。図１に示すように、顔認識装置１０
０１は、画像入力部１００２と、画像入力部１００２か
らの画像が入力され、この画像から顔画像を検出する顔
検出部１００３と、顔検出部１００３からの顔画像情報
が入力され、顔画像情報から顔特徴情報を検出する顔特
徴検出部１００４と、顔画像情報及び顔特徴情報が入力
され、これらの個人顔データの分布をガウス分布近似す
ることにより顔認識する顔認識部１００５と、顔認識部
１００５の結果を出力する認識結果部１００６とから構
成される。また、この顔認識装置１は、複数の個人顔か
ら予め学習した学習データベース（図示せず）を有し、
顔検出部１００３、顔特徴検出１００４及び顔認識部１
００５は、学習データベースのデータを必要に応じて取
り出して処理を行うものである。

【００１８】学習データベースは、個人顔データ分布の
共分散行列が全ての個人顔に共通であると仮定して予め
求めた共通共分散行列Σ、同一個人の複数の顔画像ベク
トルを平均した平均顔画像ベクトル（登録済平均顔画像
ベクトル）及び学習した顔画像の枚数情報等を有し、顔
認識部１００５は、この共通共分散行列Σ及び登録済顔
画像ベクトルを使用して確率密度分布を求め、顔を認識
するものである。

【００１９】以下、本実施の形態の顔認識装置の原理に
ついて説明する。顔検出部１００３において抽出される
顔画像の大きさをｎ×ｍピクセルとしたとき、この２次
元データ列をラスタ方向等の決められた順番で一列に並
べ換えることにより、Ｎ＝ｎ×ｍ次元の顔画像ベクトル
ｘを定義することができる。この場合、一枚の顔画像は
Ｎ次元の空間上の１点と考えられ、一般的に各個人の顔
は、図２に示すように、互いに交わることがない分布を
形成する。図２は、個人Ａ〜Ｄの個人顔データの分布を
模式的に示している。

【００２０】Ｎ次元として定義された空間において、各
個人顔の顔データ分布を推定することは、一般的に、空
間は高次元であり、顔データ分布は極めて複雑な形状を
有しているため顔認識の際の問題点となる。

【００２１】即ち、このように高次元で複雑な形状をし
た顔データ分布を数学的に取り扱うことは困難である。
従って、顔データの分布を単純化する方法として、後述
するように、顔認識部１００５の顔画像アライメント部
により、画像変換処理を行う。

【００２２】例えば図３（ａ）に示すような顔画像１１
０１から、図３（ｂ）に示すように、各顔画像に含まれ
る顔の特徴位置（眼、鼻及び口等の位置）１１０２を検
出し、図３（ｃ）に示すように、アフィン変換等のモー
フィング処理による特徴位置のアライメントを行い、各
特徴位置が全て同じ位置となるように画像変換処理を行
う。こうして顔データ分布の形状を単純化すれば、顔デ
ータの分布はガウス分布に近づくことは公知である。

【００２３】顔データ分布がガウス分布近似できると、
数学的に取り扱うことが比較的容易になる。具体的には
各個人のデータ分布の統計量（個人ｉの顔画像ベクトル
ｘ_ｉの平均である平均顔画像ベクトル及び共分散行列Σ
_ｉ）を求めれば、下記数式（２）により、ある顔画像ベ
クトルｘが個人ｉである確率密度分布Ｐ（ｘ｜Ω_ｉ）を
求めることができる。

【００２４】

【数４】

【００２５】Ｎ次元空間においてｎ個のデータが分布し
ているときの共分散行列Σは、下記数式（３）で表され
る。

【００２６】

【数５】

【００２７】しかし、共分散行列Σ_ｉを高精度で求める
ためには、顔クラスΩ_ｉに属する多量の顔画像ベクトル
が必要となる。例えば、３０×３０ピクセルの顔画像空
間、即ち、９００次元の空間における共分散行列Σを推
定するためには、一般に数千枚の顔画像が必要とされ
る。顔認識装置において、このように大量の顔画像が必
要になると、新たに登録しようとした際、登録終了まで
に極めて長い時間を要することになり実用的ではない。
更に、既に登録された個人顔の情報が古くなった際等に
同一人物の現在の顔情報を追加学習させる場合において
も、新規登録と同様に長い時間を要すると共に、このよ
うな追加学習させる機能を一般的に実現するためには学
習に使用した顔画像を顔認識装置に全て保存しておく必
要があり、装置に多量のデータ記憶源が必要となる。

【００２８】これに対し、ＰＣＡ（Principal Componen
t Analysis：主成分分析）法を使用して、次元圧縮する
方法も公知であるが、この方法を使用しても、新規登録
の際には、一般的には１００枚以上の顔画像が必要とな
る。また、上述した場合と同様に、追加学習を行うため
には、学習した顔画像を全て記憶しておくことが必要と
なる。

【００２９】そこで、以上のような問題点を解決するた
めに、本願発明者等は、共分散行列Σが全ての個人顔に
共通であると仮定した。即ち、本願発明者等は、全ての
任意の個人ｉについて、Σ_ｉ＝Σと仮定した下記数式
（１）を使用して確率密度分布を求めれば、確率密度分
布を求める際のデータ記憶量が飛躍的に低減することが
できることを見出した。

【００３０】

【数６】

【００３１】上記数式（１）に示す確率密度分布におい
て、例えば顔認識するために画像入力部２から入力され
た画像から得られた顔画像ベクトルをｘ_ｔｍｐとすれ
ば、上記数式（１）の顔画像ベクトルｘに顔画像ベクト
ルｘ_ｔｍｐを代入することにより、顔画像ベクトルｘ
_ｔｍｐが登録済顔クラスΩ_ｉに属する確率が算出され
る。全ての登録済顔クラスΩ_ｉについて、顔画像ベクト
ルｘ_ｔｍｐが属する確率を算出して最も確率が高い登録
済顔クラスを求めれば、顔画像ベクトルｘ_ｔｍｐが属す
る登録済顔クラスが推定される。

【００３２】これにより、事前に様々な人物の顔画像を
大量に学習して全ての顔に共通な共分散行列（共通共分
散行列）Σを求めておけば、この顔認識装置に新たに個
人登録する際には、新規平均顔画像ベクトルを求める計
算だけでよく、必要な新規顔画像の枚数も１０枚程度と
なり、データ量が大幅に削減されるため、リアルタイム
で新規顔登録及び既存登録顔の追加学習が可能となる。
上述した顔認識部５は、後述する確率推定部を有し、学
習データベースの登録データを使用して、上記数式
（１）から確率密度分布を算出して、顔画像ベクトルｘ
を有する顔を認識する。

【００３３】ここで、学習データベースに記憶すべきデ
ータは、全ての顔に共通な共分散行列Σ、各登録済み個
人顔の各登録済平均顔画像ベクトル、及び学習した顔の
各個人における枚数情報ｎ_ｉのみとなる。このため、新
たに顔を登録する場合、データとしては新たに登録する
顔の平均顔画像ベクトル（新規平均顔画像ベクトル）
と、学習した顔の枚数（枚数情報）とが１つ増えるのみ
であり、データ記憶源をほとんど消費することがない。

【００３４】また、既存顔（登録済顔）の追加学習を行
うには下記数式（４）及び数式（５）を使用して、登録
済平均顔画像ベクトルを更新すればよく、追加学習の際
のデータ記憶量は変化しない。

【００３５】

【数７】

【００３６】

【数８】

【００３７】このような追加学習による学習データベー
スの更新作業は、例えば顔認識部に更新手段を設けて行
われる。

【００３８】一方、前述したように、従来例において
は、同一人物の２枚の顔画像の差分クラス（intraperso
nal class）Ω_Ｉと、別人物の２枚の顔画像の差分顔ク
ラス（extrapersonal class）Ω_Ｅとを予め大量の画像
を用いて学習することにより、顔の登録時には、画像を
そのまま保存するだけのリアルタイム顔登録処理が可能
となる。この従来例においては、ある入力された顔画像
ベクトルｘがΩ_Ｉに属する、即ち、顔画像ベクトルｘが
個人Ｉである確率密度分布は下記数式（６）で表され
る。

【００３９】

【数９】

【００４０】ここで、本願発明者等は、上記数式（６）
において、登録顔画像ベクトルｘ_ｉの代わりに、登録済
個人ｉの登録平均顔画像ベクトルを代入し、同一人物の
２枚の顔画像ベクトルの差分顔画像ベクトルΔの代わり
に、同一人物の１枚の顔画像ベクトルとその人物の平均
顔画像ベクトルとの差分顔画像ベクトルΔ_ａｖｇを代入
することにより、更に精度が高い確率密度分布が求まる
ことを知見した。即ち、同一人物の２枚の顔画像ベクト
ルの差分顔クラスの代わりに、同一人物の１枚の顔画像
ベクトルとその人物の平均顔画像ベクトルとの差分顔ク
ラスΩ_Ｉａｖｇを求める。この場合、ある入力された顔
画像ベクトルｘがΩ_Ｉａｖｇに属する確率密度分布は下
記数式（７）及び数式（８）で示される。

【００４１】

【数１０】

【００４２】

【数１１】

【００４３】即ち、上記数式（１）を使用する本実施の
形態の顔認識方法は、上記数式（８）はガウス分布の共
分散行列Σが全ての個人顔に共通であると仮定した数式
（１）と等価であり、同一人物の１枚の顔画像ベクトル
ｘとその人物の平均顔画像ベクトルとの差分顔クラスΩ
_Ｉａｖｇを学習することにより、リアルタイムに顔の新
規学習及び追加学習を可能にする方法となる。

【００４４】ここで、本実施の形態においては、平均顔
画像ベクトルを使用し、この平均顔画像ベクトルと１枚
の顔画像ベクトルｘとの差分顔クラスΩ_Ｉａｖｇを学習
しているため、単に２枚の顔画像ベクトルから差分顔ク
ラスを求める従来例よりも、顔認識率が遙かに高い。即
ち、複数枚の顔画像から平均顔画像ベクトルを求めるた
め、登録時の顔が不鮮明であったり、表情及び照明環境
が標準的でない顔（顔画像）においても確実に認識する
ことができる。

【００４５】以下、本実施の形態の顔認識装置１につい
て具体的に説明する。上述した図１に示す画像入力部１
００２は、例えば、ＣＣＤカメラ等の撮像装置を有し、
この撮像装置にて獲得された画像をデジタル変換し、顔
検出部１００３へ入力する。顔認識装置１００１がロボ
ット装置に搭載される場合は、例えばロボット装置の頭
部ユニットに搭載されるＣＣＤカメラ等の撮像手段によ
り画像を入手することができる。顔検出部１００３で
は、デジタル変換された画像内に含まれる顔画像の領域
を抽出し、抽出された顔画像領域を顔特徴検出部１００
４に入力する。顔特徴検出部１００４は、顔画像領域に
含まれる眼、鼻、及び口等の顔特徴位置を検出し、この
顔特徴位置を、顔検出部１００３で検出された顔画像と
共に顔認識部１００５へ供給する。顔認識部１００５
は、上述したアルゴリズムに基づいて入力画像内の顔が
学習データベース中の顔と同一人物のものである確率密
度を計算する。認識結果部１００６は、顔認識部１００
５の計算結果を認識結果として出力する。

【００４６】図４は、顔検出部１００３を示すブロック
図である。図４に示すように、顔検出部１００３は、画
像切り出し部１０３２と顔判断部１０３３とを有する。
先ず、画像入力部１００２より画像切り出し部１０３２
に画像１０３１が入力される。画像切り出し部１０３２
は、入力画像１０３１の全部又は一部の領域をラスタ走
査し、入力画像１０３１から顔が含まれていると想定さ
れる様々な大きさの画像を切り出し、切り出した切出画
像データを顔判断部１０３３に入力する。顔判断部１０
３３は、顔学習データベース１００７に接続されてお
り、この顔学習データベース１００７の顔学習データを
使用し、切り取られた画像が顔であるか否かの判断を行
う。切り取られた画像が顔であると判断された場合は、
その顔画像又は顔領域情報（以下、顔画像１０３４とい
う。）を顔特徴検出部１００４へ出力する。顔判断部１
０３３の判断方法としては、相関法に基づくテンプレー
トマッチング法、ＰＣＡ、及びＳＶＭ（Support Vector
Machine）法等を使用した方法等がある。

【００４７】図５は、顔特徴検出部４を示すブロック図
である。図５に示すように、顔特徴検出部１００４は、
画像切り出し部１０４２と、顔特徴判断部１０４３とを
有する。顔検出部１００３から顔画像１０３４が入力さ
れると、顔特徴検出部１００４の画像切り出し部１０４
２は、顔検出部１００３の画像切り出し部１０３２と同
様に、入力された顔画像１０３４の全部又は一部の領域
をラスタ走査し、眼、鼻及び耳等の顔特徴が含まれると
想定される様々な大きさの画像を切り出し、切り出した
画像を顔特徴判断部１０４３に入力する。顔特徴判断部
１０４３は、学習データベース１００７に接続されてお
り、この学習データベース１００７の顔学習データを使
用して、切り出した画像が顔特徴であるか否かを判断す
る。切り出した画像が顔特徴であると判断した場合は、
その顔特徴位置等の顔特徴情報１０４４を検査結果とし
て出力する。この顔特徴判断部１０４３の判断方法にお
いても、顔検出部１００３の顔判断部１０３３と同様な
方法、即ち相関法に基づくテンプレートマッチング法、
ＰＣＡ法、及びＳＶＭ法等を使用することができる。

【００４８】図６は、顔認識部１００５を示すブロック
図である。図６に示すように、顔認識部１００５は、顔
検出部１００３からの顔画像１０３４及び顔特徴検出部
１００４からの顔特徴情報１０４４の各データ１０５１
が入力される顔画像アライメント部１０５２と、コント
ラスト正規化部１０５３と、確率推定部１０５４と、顔
認識部１０５５とを有する。

【００４９】画像アライメント部１０５２には、顔検出
部１００３及び顔特徴検出部１００４から夫々顔画像１
０３４及び顔特徴情報１０４４が入力される。画像アラ
イメント部１０５２は、上述したように、顔特徴位置
が、予め決められた所定の基準位置にとなるようにアフ
ィン変換等のモーフィング処理を行う。モーフィング処
理されたデータは、コントラスト正規化部１０５３に入
力される。コントラスト正規化部１０５３は、モーフィ
ング処理後の顔画像の照明条件等を一定にするため、コ
ントラストを調整する。コントラスト調整が行われた顔
画像（顔画像ベクトル）は確率推定部１０５４に入力さ
れる。

【００５０】確率推定部１０５４は、学習データベース
７に接続されており、学習データベース７の登録済み顔
と、コントラスト調整が行われた顔画像とのマッチング
を行い、同一人物である確率を推定する。即ち、この確
率推定部１０５４は、入力された顔画像ベクトル並びに
学習データベース１００７に登録されている共通共分散
行列Σ及び平均登録顔ベクトル等のデータと、上記数式
（１）とを使用して、入力顔画像ベクトルが登録済個人
ｉである確率を求める。この推定結果は、認識結果部１
００６に出力される。認識結果部１００６は、登録され
た人物の中から入力顔と同一である可能性が最も高い人
物を出力する。この際、同一である可能性が最も高い人
物は、上述した確率が最も高い人物とすることもできる
が、確率推定部５４の推定結果の時系列情報等を分析し
て、同一である可能性が最も高い人物を出力するように
すると、更に認識精度が向上する。

【００５１】本実施の形態においては、共分散行列を全
ての個人顔に共通であるとした共通共分散行列を使用し
てガウス分布近似することにより、データ量を飛躍的に
低減することができ、これにより、リアルタイムの顔認
識を可能にすることができる。また、従来例において、
個人顔の顔の登録データが１枚の顔画像であるのに対
し、複数枚の顔画像の平均顔を登録データとしているた
め、従来例においては登録時の顔が不鮮明であったり、
表情及び照明環境が標準的でない場合には認識率が低下
したりしたが、本実施の形態においては、登録データと
して平均顔画像ベクトルを用いることにより、顔認識の
精度を飛躍的に高めることができる。特に、ロボット装
置にこの画像処理装置を適用した場合において、ロボッ
トが自律的に顔を認識する際、照明及び角度等、標準的
な顔画像を取り込むことができるとは限らないため、本
実施の形態のような高精度に顔認識が可能な装置を適用
する必要がある。

【００５２】また、本実施の形態においては、本発明の
画像処理装置を顔認識装置として説明したが、本発明の
画像処理装置は、顔認識装置に限るものではなく、相互
の変化の度合いが小さいもの（パターン）であれば、共
分散行列を全てのパターンに共通として、上述と同様な
方法にて適用可能である。

【００５３】次に、上述した実施の形態における画像処
理装置（顔認識装置）を搭載した２足歩行タイプのロボ
ット装置について詳細に説明する。この人間型のロボッ
ト装置は、住環境その他の日常生活上の様々な場面にお
ける人的活動を支援する実用ロボットであり、内部状態
（怒り、悲しみ、喜び、楽しみ等）に応じて行動できる
ほか、人間が行う基本的な動作を表出できるエンターテ
インメントロボットである。

【００５４】図７に示すように、ロボット装置１は、体
幹部ユニット２の所定の位置に頭部ユニット３が連結さ
れると共に、左右２つの腕部ユニット４Ｒ／Ｌと、左右
２つの脚部ユニット５Ｒ／Ｌが連結されて構成されてい
る（但し、Ｒ及びＬの各々は、右及び左の各々を示す接
尾辞である。以下において同じ。）。

【００５５】このロボット装置１が具備する関節自由度
構成を図８に模式的に示す。頭部ユニット３を支持する
首関節は、首関節ヨー軸１０１と、首関節ピッチ軸１０
２と、首関節ロール軸１０３という３自由度を有してい
る。

【００５６】また、上肢を構成する各々の腕部ユニット
４Ｒ／Ｌは、肩関節ピッチ軸１０７と、肩関節ロール軸
１０８と、上腕ヨー軸１０９と、肘関節ピッチ軸１１０
と、前腕ヨー軸１１１と、手首関節ピッチ軸１１２と、
手首関節ロール軸１１３と、手部１１４とで構成され
る。手部１１４は、実際には、複数本の指を含む多関節
・多自由度構造体である。ただし、手部１１４の動作
は、ロボット装置１の姿勢制御や歩行制御に対する寄与
や影響が少ないので、本明細書ではゼロ自由度と仮定す
る。したがって、各腕部は７自由度を有するとする。

【００５７】また、体幹部ユニット２は、体幹ピッチ軸
１０４と、体幹ロール軸１０５と、体幹ヨー軸１０６と
いう３自由度を有する。

【００５８】また、下肢を構成する各々の脚部ユニット
５Ｒ／Ｌは、股関節ヨー軸１１５と、股関節ピッチ軸１
１６と、股関節ロール軸１１７と、膝関節ピッチ軸１１
８と、足首関節ピッチ軸１１９と、足首関節ロール軸１
２０と、足部１２１とで構成される。本明細書中では、
股関節ピッチ軸１１６と股関節ロール軸１１７の交点
は、ロボット装置１の股関節位置を定義する。人体の足
部１２１は、実際には多関節・多自由度の足底を含んだ
構造体であるが、ロボット装置１の足底は、ゼロ自由度
とする。したがって、各脚部は、６自由度で構成され
る。

【００５９】以上を総括すれば、ロボット装置１全体と
しては、合計で３＋７×２＋３＋６×２＝３２自由度を
有することになる。ただし、エンターテインメント向け
のロボット装置１が必ずしも３２自由度に限定されるわ
けではない。設計・制作上の制約条件や要求仕様等に応
じて、自由度すなわち関節数を適宜増減することができ
ることはいうまでもない。

【００６０】上述したようなロボット装置１がもつ各自
由度は、実際にはアクチュエータを用いて実装される。
外観上で余分な膨らみを排してヒトの自然体形状に近似
させること、２足歩行という不安定構造体に対して姿勢
制御を行うことなどの要請から、アクチュエータは小型
且つ軽量であることが好ましい。

【００６１】図９には、ロボット装置１の制御システム
構成を模式的に示している。同図に示すように、ロボッ
ト装置１は、ヒトの四肢を表現した体幹部ユニット２，
頭部ユニット３，腕部ユニット４Ｒ／Ｌ，脚部ユニット
５Ｒ／Ｌと、各ユニット間の協調動作を実現するための
適応制御を行う制御ユニット１０とで構成される。

【００６２】ロボット装置１全体の動作は、制御ユニッ
ト１０によって統括的に制御される。制御ユニット１０
は、ＣＰＵ（Central Processing Unit）や、ＤＲＡ
Ｍ、フラッシュＲＯＭ等の主要回路コンポーネント（図
示しない）で構成される主制御部１１と、電源回路やロ
ボット装置１の各構成要素とのデータやコマンドの授受
を行うインターフェイス（何れも図示しない）などを含
んだ周辺回路１２とで構成される。

【００６３】本発明を実現するうえで、この制御ユニッ
ト１０の設置場所は、特に限定されない。図９では体幹
部ユニット２に搭載されているが、頭部ユニット３に搭
載してもよい。あるいは、ロボット装置１外に制御ユニ
ット１０を配備して、ロボット装置１の機体とは有線又
は無線で交信するようにしてもよい。

【００６４】図８に示したロボット装置１内の各関節自
由度は、それぞれに対応するアクチュエータによって実
現される。すなわち、頭部ユニット３には、首関節ヨー
軸１０１、首関節ピッチ軸１０２、首関節ロール軸１０
３の各々を表現する首関節ヨー軸アクチュエータＡ_２、
首関節ピッチ軸アクチュエータＡ_３、首関節ロール軸ア
クチュエータＡ_４が配設されている。

【００６５】また、頭部ユニット３には、外部の状況を
撮像するためのＣＣＤ（Charge Coupled Device）カメ
ラが設けられているほか、前方に位置する物体までの距
離を測定するための距離センサ、外部音を集音するため
のマイク、音声を出力するためのスピーカ、使用者から
の「撫でる」や「叩く」といった物理的な働きかけによ
り受けた圧力を検出するためのタッチセンサ等が配設さ
れている。

【００６６】また、体幹部ユニット２には、体幹ピッチ
軸１０４、体幹ロール軸１０５、体幹ヨー軸１０６の各
々を表現する体幹ピッチ軸アクチュエータＡ_５、体幹ロ
ール軸アクチュエータＡ_６、体幹ヨー軸アクチュエータ
Ａ_７が配設されている。また、体幹部ユニット２には、
このロボット装置１の起動電源となるバッテリを備えて
いる。このバッテリは、充放電可能な電池によって構成
されている。

【００６７】また、腕部ユニット４Ｒ／Ｌは、上腕ユニ
ット４_１Ｒ／Ｌと、肘関節ユニット４_２Ｒ／Ｌと、前腕
ユニット４_３Ｒ／Ｌに細分化されるが、肩関節ピッチ軸
１０７、肩関節ロール軸１０８、上腕ヨー軸１０９、肘
関節ピッチ軸１１０、前腕ヨー軸１１１、手首関節ピッ
チ軸１１２、手首関節ロール軸１１３の各々表現する肩
関節ピッチ軸アクチュエータＡ_８、肩関節ロール軸アク
チュエータＡ_９、上腕ヨー軸アクチュエータＡ_１０、肘
関節ピッチ軸アクチュエータＡ_１１、肘関節ロール軸ア
クチュエータＡ_１２、手首関節ピッチ軸アクチュエータ
Ａ_１３、手首関節ロール軸アクチュエータＡ_１４が配備
されている。

【００６８】また、脚部ユニット５Ｒ／Ｌは、大腿部ユ
ニット５_１Ｒ／Ｌと、膝ユニット５ _２Ｒ／Ｌと、脛部ユ
ニット５_３Ｒ／Ｌに細分化されるが、股関節ヨー軸１１
５、股関節ピッチ軸１１６、股関節ロール軸１１７、膝
関節ピッチ軸１１８、足首関節ピッチ軸１１９、足首関
節ロール軸１２０の各々を表現する股関節ヨー軸アクチ
ュエータＡ_１６、股関節ピッチ軸アクチュエータ
Ａ_１７、股関節ロール軸アクチュエータＡ_１８、膝関節
ピッチ軸アクチュエータＡ_１９、足首関節ピッチ軸アク
チュエータＡ_２０、足首関節ロール軸アクチュエータＡ
_２１が配備されている。各関節に用いられるアクチュエ
ータＡ_２，Ａ_３・・・は、より好ましくは、ギア直結型で
旦つサーボ制御系をワンチップ化してモータ・ユニット
内に搭載したタイプの小型ＡＣサーボ・アクチュエータ
で構成することができる。

【００６９】体幹部ユニット２、頭部ユニット３、各腕
部ユニット４Ｒ／Ｌ、各脚部ユニット５Ｒ／Ｌなどの各
機構ユニット毎に、アクチュエータ駆動制御部の副制御
部２０，２１，２２Ｒ／Ｌ，２３Ｒ／Ｌが配備されてい
る。さらに、各脚部ユニット５Ｒ／Ｌの足底が着床した
か否かを検出する接地確認センサ３０Ｒ／Ｌを装着する
とともに、体幹部ユニット２内には、姿勢を計測する姿
勢センサ３１を装備している。

【００７０】接地確認センサ３０Ｒ／Ｌは、例えば足底
に設置された近接センサ又はマイクロ・スイッチなどで
構成される。また、姿勢センサ３１は、例えば、加速度
センサとジャイロ・センサの組み合わせによって構成さ
れる。

【００７１】接地確認センサ３０Ｒ／Ｌの出力によっ
て、歩行・走行などの動作期間中において、左右の各脚
部が現在立脚又は遊脚何れの状態であるかを判別するこ
とができる。また、姿勢センサ３１の出力により、体幹
部分の傾きや姿勢を検出することができる。

【００７２】主制御部１１は、各センサ３０Ｒ／Ｌ，３
１の出力に応答して制御目標をダイナミックに補正する
ことができる。より具体的には、副制御部２０，２１，
２２Ｒ／Ｌ，２３Ｒ／Ｌの各々に対して適応的な制御を
行い、ロボット装置１の上肢、体幹、及び下肢が協調し
て駆動する全身運動パターンを実現できる。

【００７３】ロボット装置１の機体上での全身運動は、
足部運動、ＺＭＰ（Zero Moment Point）軌道、体幹運
動、上肢運動、腰部高さなどを設定するとともに、これ
らの設定内容にしたがった動作を指示するコマンドを各
副制御部２０，２１，２２Ｒ／Ｌ，２３Ｒ／Ｌに転送す
る。そして、各々の副制御部２０，２１，・・・等で
は、主制御部１１からの受信コマンドを解釈して、各ア
クチュエータＡ_２，Ａ_３・・・等に対して駆動制御信号
を出力する。ここでいう「ＺＭＰ」とは、歩行中の床反
力によるモーメントがゼロとなる床面上の点のことであ
り、また、「ＺＭＰ軌道」とは、例えばロボット装置１
の歩行動作期間中にＺＭＰが動く軌跡を意味する。な
お、ＺＭＰの概念並びにＺＭＰを歩行ロボットの安定度
判別規範に適用する点については、Miomir Vukobratovi
c著“LEGGED LOCOMOTION ROBOTS”（加藤一郎外著『歩
行ロボットと人工の足』（日刊工業新聞社））に記載さ
れている。

【００７４】以上のように、ロボット装置１は、各々の
副制御部２０，２１，・・・等が、主制御部１１からの
受信コマンドを解釈して、各アクチュエータＡ_２，Ａ_３
・・・に対して駆動制御信号を出力し、各ユニットの駆
動を制御している。これにより、ロボット装置１は、目
標の姿勢に安定して遷移し、安定した姿勢で歩行でき
る。

【００７５】また、ロボット装置１における制御ユニッ
ト１０では、上述したような姿勢制御のほかに、加速度
センサ、タッチセンサ、接地確認センサ等の各種セン
サ、及びＣＣＤカメラからの画像情報、マイクからの音
声情報等を統括して処理している。制御ユニット１０で
は、図示しないが加速度センサ、ジャイロ・センサ、タ
ッチセンサ、距離センサ、マイク、スピーカなどの各種
センサ、各アクチュエータ、ＣＣＤカメラ及びバッテリ
が各々対応するハブを介して主制御部１１と接続されて
いる。

【００７６】主制御部１１は、上述の各センサから供給
されるセンサデータや画像データ及び音声データを順次
取り込み、これらをそれぞれ内部インターフェイスを介
してＤＲＡＭ内の所定位置に順次格納する。また、主制
御部１１は、バッテリから供給されるバッテリ残量を表
すバッテリ残量データを順次取り込み、これをＤＲＡＭ
内の所定位置に格納する。ＤＲＡＭに格納された各セン
サデータ、画像データ、音声データ及びバッテリ残量デ
ータは、主制御部１１がこのロボット装置１の動作制御
を行う際に利用される。

【００７７】主制御部１１は、ロボット装置１の電源が
投入された初期時、制御プログラムを読み出し、これを
ＤＲＡＭに格納する。また、主制御部１１は、上述のよ
うに主制御部１１よりＤＲＡＭに順次格納される各セン
サデータ、画像データ、音声データ及びバッテリ残量デ
ータに基づいて自己及び周囲の状況や、使用者からの指
示及び働きかけの有無などを判断する。

【００７８】さらに、主制御部１１は、この判断結果及
びＤＲＡＭに格納した制御プログラムに基づいて自己の
状況に応じて行動を決定するとともに、当該決定結果に
基づいて必要なアクチュエータを駆動させることにより
ロボット装置１に、いわゆる「身振り」、「手振り」と
いった行動をとらせる。

【００７９】このようにしてロボット装置１は、制御プ
ログラムに基づいて自己及び周囲の状況を判断し、使用
者からの指示及び働きかけに応じて自律的に行動でき
る。

【００８０】ところで、このロボット装置１は、内部状
態に応じて自律的に行動することができる。そこで、ロ
ボット装置１における制御プログラムのソフトウェア構
成例について、図１０乃至図１５を用いて説明する。

【００８１】図１０において、デバイス・ドライバ・レ
イヤ４０は、制御プログラムの最下位層に位置し、複数
のデバイス・ドライバからなるデバイス・ドライバ・セ
ット４１から構成されている。この場合、各デバイス・
ドライバは、ＣＣＤカメラやタイマ等の通常のコンピュ
ータで用いられるハードウェアに直接アクセスすること
を許されたオブジェクトであり、対応するハードウェア
からの割り込みを受けて処理を行う。

【００８２】また、ロボティック・サーバ・オブジェク
ト４２は、デバイス・ドライバ・レイヤ４０の最下位層
に位置し、例えば上述の各種センサやアクチュエータ２
８_１〜２８_ｎ等のハードウェアにアクセスするためのイ
ンターフェイスを提供するソフトウェア群でなるバーチ
ャル・ロボット４３と、電源の切換えなどを管理するソ
フトウェア群でなるパワーマネージャ４４と、他の種々
のデバイス・ドライバを管理するソフトウェア群でなる
デバイス・ドライバ・マネージャ４５と、ロボット装置
１の機構を管理するソフトウェア群でなるデザインド・
ロボット４６とから構成されている。

【００８３】マネージャ・オブジェクト４７は、オブジ
ェクト・マネージャ４８及びサービス・マネージャ４９
から構成されている。オブジェクト・マネージャ４８
は、ロボティック・サーバ・オブジェクト４２、ミドル
・ウェア・レイヤ５０、及びアプリケーション・レイヤ
５１に含まれる各ソフトウェア群の起動や終了を管理す
るソフトウェア群であり、サービス・マネージャ４９
は、メモリカードに格納されたコネクションファイルに
記述されている各オブジェクト間の接続情報に基づいて
各オブジェクトの接続を管理するソフトウェア群であ
る。

【００８４】ミドル・ウェア・レイヤ５０は、ロボティ
ック・サーバ・オブジェクト４２の上位層に位置し、画
像処理や音声処理などのこのロボット装置１の基本的な
機能を提供するソフトウェア群から構成されている。ま
た、アプリケーション・レイヤ５１は、ミドル・ウェア
・レイヤ５０の上位層に位置し、当該ミドル・ウェア・
レイヤ５０を構成する各ソフトウェア群によって処理さ
れた処理結果に基づいてロボット装置１の行動を決定す
るためのソフトウェア群から構成されている。

【００８５】なお、ミドル・ウェア・レイヤ５０及びア
プリケーション・レイヤ５１の具体なソフトウェア構成
をそれぞれ図１１に示す。

【００８６】ミドル・ウェア・レイヤ５０は、図１１に
示すように、騒音検出用、温度検出用、明るさ検出用、
音階認識用、距離検出用、姿勢検出用、タッチセンサ
用、動き検出用及び色認識用の各信号処理モジュール６
０〜６８並びに入力セマンティクスコンバータモジュー
ル６９などを有する認識系７０と、出力セマンティクス
コンバータモジュール７８並びに姿勢管理用、トラッキ
ング用、モーション再生用、歩行用、転倒復帰用、ＬＥ
Ｄ点灯用及び音再生用の各信号処理モジュール７１〜７
７などを有する出力系７９とから構成されている。

【００８７】認識系７０の各信号処理モジュール６０〜
６８は、ロボティック・サーバ・オブジェクト４２のバ
ーチャル・ロボット４３によりＤＲＡＭから読み出され
る各センサデータや画像データ及び音声データのうちの
対応するデータを取り込み、当該データに基づいて所定
の処理を施して、処理結果を入力セマンティクスコンバ
ータモジュール６９に与える。ここで、例えば、バーチ
ャル・ロボット４３は、所定の通信規約によって、信号
の授受或いは変換をする部分として構成されている。

【００８８】入力セマンティクスコンバータモジュール
６９は、これら各信号処理モジュール６０〜６８から与
えられる処理結果に基づいて、「うるさい」、「暑
い」、「明るい」、「ボールを検出した」、「転倒を検
出した」、「撫でられた」、「叩かれた」、「ドミソの
音階が聞こえた」、「動く物体を検出した」又は「障害
物を検出した」などの自己及び周囲の状況や、使用者か
らの指令及び働きかけを認識し、認識結果をアプリケー
ション・レイヤ４１に出力する。

【００８９】アプリケーション・レイヤ５１は、図１２
に示すように、行動モデルライブラリ８０、行動切換モ
ジュール８１、学習モジュール８２、感情モデル８３及
び本能モデル８４の５つのモジュールから構成されてい
る。

【００９０】行動モデルライブラリ８０には、図１３に
示すように、「バッテリ残量が少なくなった場合」、
「転倒復帰する」、「障害物を回避する場合」、「感情
を表現する場合」、「ボールを検出した場合」などの予
め選択されたいくつかの条件項目にそれぞれ対応させ
て、それぞれ独立した行動モデルが設けられている。

【００９１】そして、これら行動モデルは、それぞれ入
力セマンティクスコンバータモジュール６９から認識結
果が与えられたときや、最後の認識結果が与えられてか
ら一定時間が経過したときなどに、必要に応じて後述の
ように感情モデル８３に保持されている対応する情動の
パラメータ値や、本能モデル８４に保持されている対応
する欲求のパラメータ値を参照しながら続く行動をそれ
ぞれ決定し、決定結果を行動切換モジュール８１に出力
する。

【００９２】なお、この実施の形態の場合、各行動モデ
ルは、次の行動を決定する手法として、図１４に示すよ
うな１つのノード（状態）ＮＯＤＥ_０〜ＮＯＤＥ_ｎから
他のどのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移するかを
各ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに間を接続するアーク
ＡＲＣ_１〜ＡＲＣ_ｎ１に対してそれぞれ設定された遷移
確率Ｐ_１〜Ｐ_ｎに基づいて確率的に決定する有限確率オ
ートマトンと呼ばれるアルゴリズムを用いる。

【００９３】具体的に、各行動モデルは、それぞれ自己
の行動モデルを形成するノードＮＯＤＥ_０〜ＮＯＤＥ_ｎ
にそれぞれ対応させて、これらノードＮＯＤＥ_０〜ＮＯ
ＤＥ _ｎ毎に図１５に示すような状態遷移表９０を有して
いる。

【００９４】この状態遷移表９０では、そのノードＮＯ
ＤＥ_０〜ＮＯＤＥ_ｎにおいて遷移条件とする入力イベン
ト（認識結果）が「入力イベント名」の列に優先順に列
記され、その遷移条件についてのさらなる条件が「デー
タ名」及び「データ範囲」の列における対応する行に記
述されている。

【００９５】したがって、図１５の状態遷移表９０で表
されるノードＮＯＤＥ_１００では、「ボールを検出（Ｂ
ＡＬＬ）」という認識結果が与えられた場合に、当該認
識結果とともに与えられるそのボールの「大きさ（SIZ
E）」が「0から1000」の範囲であることや、「障害物を
検出（OBSTACLE）」という認識結果が与えられた場合
に、当該認識結果とともに与えられるその障害物までの
「距離（DISTANCE）」が「0から100」の範囲であること
が他のノードに遷移するための条件となっている。

【００９６】また、このノードＮＯＤＥ_１００では、認
識結果の入力がない場合においても、行動モデルが周期
的に参照する感情モデル８３及び本能モデル８４にそれ
ぞれ保持された各情動及び各欲求のパラメータ値のう
ち、感情モデル８３に保持された「喜び（Joy）」、
「驚き（Surprise）」又は「悲しみ（Sadness）」の何
れかのパラメータ値が「50から100」の範囲であるとき
には他のノードに遷移することができるようになってい
る。

【００９７】また、状態遷移表９０では、「他のノード
ヘの遷移確率」の欄における「遷移先ノード」の行にそ
のノードＮＯＤＥ_０〜ＮＯＤＥ_ｎから遷移できるノード
名が列記されているとともに、「入力イベント名」、
「データ名」及び「データの範囲」の列に記述された全
ての条件が揃ったときに遷移できる他の各ノードＮＯＤ
Ｅ_０〜ＮＯＤＥ_ｎへの遷移確率が「他のノードヘの遷移
確率」の欄内の対応する箇所にそれぞれ記述され、その
ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移する際に出力すべ
き行動が「他のノードヘの遷移確率」の欄における「出
力行動」の行に記述されている。なお、「他のノードヘ
の遷移確率」の欄における各行の確率の和は１００
［％］となっている。

【００９８】したがって、図１５の状態遷移表９０で表
されるノードＮＯＤＥ_１００では、例えば「ボールを検
出（ＢＡＬＬ）」し、そのボールの「ＳＩＺＥ（大き
さ）」が「0から1000」の範囲であるという認識結果が
与えられた場合には、「30［％］」の確率で「ノードＮ
ＯＤＥ_１２０（node 120）」に遷移でき、そのとき「Ａ
ＣＴＩＯＮ１」の行動が出力されることとなる。

【００９９】各行動モデルは、それぞれこのような状態
遷移表９０として記述されたノードＮＯＤＥ_０〜ＮＯ
ＤＥ_ｎが幾つも繋がるようにして構成されており、入力
セマンティクスコンバータモジュール６９から認識結果
が与えられたときなどに、対応するノードＮＯＤＥ_０〜
ＮＯＤＥ_ｎの状態遷移表を利用して確率的に次の行動を
決定し、決定結果を行動切換モジュール８１に出力する
ようになされている。

【０１００】図１２に示す行動切換モジュール８１は、
行動モデルライブラリ８０の各行動モデルからそれぞれ
出力される行動のうち、予め定められた優先順位の高い
行動モデルから出力された行動を選択し、当該行動を実
行すべき旨のコマンド（以下、行動コマンドという。）
をミドル・ウェア・レイヤ５０の出力セマンティクスコ
ンバータモジュール７８に送出する。なお、この実施の
形態においては、図１３において下側に表記された行動
モデルほど優先順位が高く設定されている。

【０１０１】また、行動切換モジュール８１は、行動完
了後に出力セマンティクスコンバータモジュール７８か
ら与えられる行動完了情報に基づいて、その行動が完了
したことを学習モジュール８２、感情モデル８３及び本
能モデル８４に通知する。

【０１０２】一方、学習モジュール８２は、入力セマン
ティクスコンバータモジュール６９から与えられる認識
結果のうち、「叩かれた」や「撫でられた」など、使用
者からの働きかけとして受けた教示の認識結果を入力す
る。

【０１０３】そして、学習モジュール８２は、この認識
結果及び行動切換えモジュール７１からの通知に基づい
て、「叩かれた（叱られた）」ときにはその行動の発現
確率を低下させ、「撫でられた（誉められた）」ときに
はその行動の発現確率を上昇させるように、行動モデル
ライブラリ７０における対応する行動モデルの対応する
遷移確率を変更する。

【０１０４】他方、感情モデル８３は、「喜び（Jo
y）」、「悲しみ（Sadness）」、「怒り（Anger）」、
「驚き（Surprise）」、「嫌悪（Disgust）」及び「恐
れ（Fear）」の合計６つの情動について、各情動毎にそ
の情動の強さを表すパラメータを保持している。そし
て、感情モデル８３は、これら各情動のパラメータ値
を、それぞれ入力セマンティクスコンバータモジュール
６９から与えられる「叩かれた」及び「撫でられた」な
どの特定の認識結果や、経過時間及び行動切換モジュー
ル８１からの通知などに基づいて周期的に更新する。

【０１０５】具体的には、感情モデル８３は、入力セマ
ンティクスコンバータモジュール６９から与えられる認
識結果と、そのときのロボット装置１の行動と、前回更
新してからの経過時間となどに基づいて所定の演算式に
より算出されるそのときのその情動の変動量を△Ｅ
［ｔ］、現在のその情動のパラメータ値をＥ［ｔ］、そ
の情動の感度を表す係数をｋ_ｅとして、下記数式（９）
によって次の周期におけるその情動のパラメータ値Ｅ
［ｔ＋１］を算出し、これを現在のその情動のパラメー
タ値Ｅ［ｔ］と置き換えるようにしてその情動のパラメ
ータ値を更新する。また、感情モデル８３は、これと同
様にして全ての情動のパラメータ値を更新する。

【０１０６】

【数１２】

【０１０７】なお、各認識結果や出力セマンティクスコ
ンバータモジュール７８からの通知が各情動のパラメー
タ値の変動量△Ｅ［ｔ］にどの程度の影響を与えるかは
予め決められており、例えば「叩かれた」といった認識
結果は「怒り」の情動のパラメータ値の変動量△Ｅ
［ｔ］に大きな影響を与え、「撫でられた」といった認
識結果は「喜び」の情動のパラメータ値の変動量△Ｅ
［ｔ］に大きな影響を与えるようになっている。

【０１０８】ここで、出力セマンティクスコンバータモ
ジュール７８からの通知とは、いわゆる行動のフィード
バック情報（行動完了情報）であり、行動の出現結果の
情報であり、感情モデル８３は、このような情報によっ
ても感情を変化させる。これは、例えば、「叫ぶ」とい
った行動により怒りの感情レベルが下がるといったよう
なことである。なお、出力セマンティクスコンバータモ
ジュール７８からの通知は、上述した学習モジュール８
２にも入力されており、学習モジュール８２は、その通
知に基づいて行動モデルの対応する遷移確率を変更す
る。

【０１０９】なお、行動結果のフィードバックは、行動
切換モジュール８１の出力（感情が付加された行動）に
よりなされるものであってもよい。

【０１１０】一方、本能モデル８４は、「運動欲（exer
cise）」、「愛情欲（affection）」、「食欲（appetit
e）」及び「好奇心（curiosity）」の互いに独立した４
つの欲求について、これら欲求毎にその欲求の強さを表
すパラメータを保持している。そして、本能モデル８４
は、これらの欲求のパラメータ値を、それぞれ入力セマ
ンティクスコンバータモジュール６９から与えられる認
識結果や、経過時間及び行動切換モジュール８１からの
通知などに基づいて周期的に更新する。

【０１１１】具体的には、本能モデル８４は、「運動
欲」、「愛情欲」及び「好奇心」については、認識結
果、経過時間及び出力セマンティクスコンバータモジュ
ール７８からの通知などに基づいて所定の演算式により
算出されるそのときのその欲求の変動量をΔＩ［ｋ］、
現在のその欲求のパラメータ値をＩ［ｋ］、その欲求の
感度を表す係数ｋ_ｉとして、所定周期で下記数式（１
０）を用いて次の周期におけるその欲求のパラメータ値
Ｉ［ｋ＋１］を算出し、この演算結果を現在のその欲求
のパラメータ値Ｉ［ｋ］と置き換えるようにしてその欲
求のパラメータ値を更新する。また、本能モデル８４
は、これと同様にして「食欲」を除く各欲求のパラメー
タ値を更新する。

【０１１２】

【数１３】

【０１１３】なお、認識結果及び出力セマンティクスコ
ンバータモジュール７８からの通知などが各欲求のパラ
メータ値の変動量△Ｉ［ｋ］にどの程度の影響を与える
かは予め決められており、例えば出力セマンティクスコ
ンバータモジュール７８からの通知は、「疲れ」のパラ
メータ値の変動量△Ｉ［ｋ］に大きな影響を与えるよう
になっている。

【０１１４】なお、本実施の形態においては、各情動及
び各欲求（本能）のパラメータ値がそれぞれ０から１０
０までの範囲で変動するように規制されており、また係
数ｋ _ｅ、ｋ_ｉの値も各情動及び各欲求毎に個別に設定さ
れている。

【０１１５】一方、ミドル・ウェア・レイヤ５０の出力
セマンティクスコンバータモジュール７８は、図１１に
示すように、上述のようにしてアプリケーション・レイ
ヤ５１の行動切換モジュール８１から与えられる「前
進」、「喜ぶ」、「鳴く」又は「トラッキング（ボール
を追いかける）」といった抽象的な行動コマンドを出力
系７９の対応する信号処理モジュール７１〜７７に与え
る。

【０１１６】そしてこれら信号処理モジュール７１〜７
７は、行動コマンドが与えられると当該行動コマンドに
基づいて、その行動をするために対応するアクチュエー
タに与えるべきサーボ指令値や、スピーカから出力する
音の音声データ及び又はＬＥＤに与える駆動データを生
成し、これらのデータをロボティック・サーバ・オブジ
ェクト４２のバーチャル・ロボット４３及び信号処理回
路を順次介して対応するアクチュエータ又はスピーカ又
はＬＥＤに順次送出する。

【０１１７】このようにしてロボット装置１は、上述し
た制御プログラムに基づいて、自己（内部）及び周囲
（外部）の状況や、使用者からの指示及び働きかけに応
じた自律的な行動ができる。

【０１１８】このような制御プログラムは、ロボット装
置が読取可能な形式で記録された記録媒体を介して提供
される。制御プログラムを記録する記録媒体としては、
磁気読取方式の記録媒体（例えば、磁気テープ、フレキ
シブルディスク、磁気カード）、光学読取方式の記録媒
体（例えば、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ）
等が考えられる。記録媒体には、半導体メモリ（いわゆ
るメモリカード（矩形型、正方形型など形状は問わな
い。）、ＩＣカード）等の記憶媒体も含まれる。また、
制御プログラムは、いわゆるインターネット等を介して
提供されてもよい。

【０１１９】これらの制御プログラムは、専用の読込ド
ライバ装置、又はパーソナルコンピュータ等を介して再
生され、有線又は無線接続によってロボット装置１に伝
送されて読み込まれる。また、ロボット装置１は、半導
体メモリ、又はＩＣカード等の小型化された記憶媒体の
ドライブ装置を備える場合、これら記憶媒体から制御プ
ログラムを直接読み込むこともできる。

【０１２０】

【発明の効果】以上詳細に説明したように本発明に係る
画像処理方法は、入力された画像から顔画像を検出し、
この顔画像から顔特徴情報を検出し、この顔画像及び顔
特徴情報からなる個人顔データの分布をガウス分布近似
することにより顔認識するプログラムにおいて、複数の
個人顔から予め学習した学習データベースに格納された
個人顔データ分布の共分散行列が全ての個人顔に共通で
あると仮定して予め求めた共通共分散行列及び各個人の
複数の顔画像ベクトルを平均して予め求めた登録済平均
顔画像ベクトルから確率密度分布を求めて顔認識する顔
認識工程を有するので、共通共分散行列Σを使用するこ
とにより、学習データベースのデータ量及び顔認識の際
の計算量を飛躍的減少させることができ、これにより、
リアルタイムで顔認識することができる。

【０１２１】また、本発明に係るロボット装置は、供給
された入力情報に基づいて動作を行う自律型のロボット
装置であって、画像入力手段と、この画像入力手段から
供給された画像から顔画像を検出する顔画像検出手段
と、この顔画像から顔特徴情報を検出する顔特徴検出手
段と、複数の個人顔から予め学習し、個人顔データ分布
の共分散行列が全ての個人顔に共通であると仮定して予
め求めた共通共分散行列と各個人の複数の顔画像ベクト
ルを平均して予め求めた登録済平均顔画像ベクトルとを
保有する学習データベースと、上記共通共分散行列及び
上記登録済平均顔画像ベクトルから確率密度分布を求め
て顔認識する顔認識手段とを有するので、共通共分散行
列Σを使用してリアルタイムで顔認識することができる
画像処理装置が搭載されているため、ロボット装置が、
例えば照明及び角度等、標準的な顔画像を取り込むこと
ができない場合等においても、自律的にかつリアルタイ
ムに個人の顔を認識することが可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態の顔認識装置を示すブロッ
ク図である。

【図２】各個人顔の顔画像分布を模式的に示すグラフ図
である。

【図３】アライメント処理を示す模式図である。

【図４】本発明の実施の形態における顔認識装置の顔検
出部を示すブロック図である。

【図５】同装置の顔特徴検出部を示すブロック図であ
る。

【図６】同装置の顔認識部を示すブロック図である。

【図７】本発明の実施の形態におけるロボット装置の外
観構成を示す斜視図である。

【図８】同ロボット装置の自由度構成モデルを模式的に
示す図である。

【図９】同ロボット装置の回路構成を示すブロック図で
ある。

【図１０】同ロボット装置のソフトウェア構成を示すブ
ロック図である。

【図１１】同ロボット装置のソフトウェア構成における
ミドル・ウェア・レイヤの構成を示すブロック図であ
る。

【図１２】同ロボット装置のソフトウェア構成における
アプリケーション・レイヤの構成を示すブロック図であ
る。

【図１３】アプリケーション・レイヤの行動モデルライ
ブラリの構成を示すブロック図である。

【図１４】同ロボット装置の行動決定のための情報とな
る有限確率オートマトンを説明する図である。

【図１５】有限確率オートマトンの各ノードに用意され
た状態遷移表を示す図である。

【符号の説明】

１００１顔認識装置、１００２画像入力部、１００
３顔検出部、１００４顔特徴検出部、１００５顔
認識部、１００６認識結果部、１００７顔学習デー
タベース、１０３１画像、１０３２画像切り出し
部、１０３３顔判断部、１０３４顔画像、１０４２
画像切り出し部、１０４３顔特徴判断部、１０４４
特徴位置、１０５１データ、１０５２顔画像アラ
イメント部、１０５３コントラスト正規化部、１０５
４確率推定部、１０５５顔認識部

フロントページの続きＦターム(参考） 3C007 AS36 CS08 KS07 KS08 KT01 KT11 MT15 WA03 WA13 5B057 AA05 CA08 CA16 CB08 CB16 CH01 CH08 DA12 DB09 DC33 DC40 5L096 BA05 BA18 EA11 FA32 FA33 GA30 JA11 KA13

Claims

【特許請求の範囲】

【請求項１】入力された画像から顔画像を検出し、こ
の顔画像から顔特徴情報を検出し、この顔画像及び顔特
徴情報からなる個人顔データの分布をガウス分布近似す
ることにより顔認識する画像入力方法において、複数の個人顔から予め学習した学習データベースに格納
された、個人顔データ分布の共分散行列が全ての個人顔
に共通であると仮定して予め求めた共通共分散行列及び
各個人の複数の顔画像ベクトルを平均して予め求めた登
録済平均顔画像ベクトルから確率密度分布を求めて顔認
識する顔認識工程を有することを特徴とする画像入力方
法。
【請求項２】上記学習データベースは、上記共通共分
散行列、上記登録済平均顔画像ベクトル、及び学習した
顔画像の枚数情報を有することを特徴とする請求項１記
載の画像処理方法。
【請求項３】上記顔画像及び上記顔特徴情報を正規化
する正規化工程を有することを特徴とする請求項１記載
の画像処理方法。
【請求項４】上記顔認識工程は、上記顔画像と上記顔
特徴情報とが入力され顔特徴をアライメントしてアライ
メント画像を生成する顔画像アライメント工程と、上記
アライメント画像のコントラストを正規化して正規化画
像を生成するコントラスト正規化工程と、上記正規化画
像と上記共通共分散行列及び登録済平均顔画像ベクトル
とから確率密度分布を求める確率推定工程とを有するこ
とを特徴とする請求項２記載の画像処理方法。
【請求項５】上記顔認識工程は、既に登録済みの顔で
あって追加学習する登録済顔の新規顔画像と登録済平均
顔画像ベクトルとから更新登録済平均顔画像ベクトルを
算出し、上記学習した顔画像の枚数情報に上記新規顔画
像の枚数を加算した更新枚数情報を算出して、上記学習
データベースの上記登録済顔画像ベクトル及び枚数情報
を夫々更新登録済平均顔画像ベクトル及び更新枚数情報
に書き換える更新処理工程を有することを特徴とする請
求項４記載の画像処理方法。
【請求項６】上記顔画像ベクトルが登録済個人である
確率密度分布は、下記数式（１）で示されることを特徴
とする請求項４記載の画像処理方法。【数１】
【請求項７】上記入力画像は、時系列の画像データを
入力し、上記顔認識工程は、上記時系列の画像データを
使用して顔認識する認識工程を有することを特徴とする
請求項４記載の画像処理方法。
【請求項８】画像入力手段と、この画像入力手段から
供給された画像から顔画像を検出する顔画像検出手段
と、この顔画像から顔特徴情報を検出する顔特徴検出手
段とを有し、上記顔画像及び顔特徴情報からなる個人顔
データの分布をガウス分布近似することにより顔認識す
る画像処理装置において、複数の個人顔から予め学習した学習データベースを保有
し、上記学習データベースは、個人顔データ分布の共分散行
列が全ての個人顔に共通であると仮定して予め求めた共
通共分散行列と、各個人の複数の顔画像ベクトルを平均
して予め求めた登録済平均顔画像ベクトルとを有し、上記共通共分散行列及び上記登録済平均顔画像ベクトル
から確率密度分布を求めて顔認識する顔認識手段を有す
ることを特徴とする画像処理装置。
【請求項９】上記学習データベースは、上記共通共分
散行列、上記登録済平均顔画像ベクトル、及び学習した
顔画像の枚数情報を有することを特徴とする請求項８記
載の画像処理装置。
【請求項１０】上記顔画像及び上記顔特徴情報を正規
化する正規化手段を有することを特徴とする請求項８記
載の画像処理装置。
【請求項１１】上記顔認識手段は、上記顔検出手段に
より検出された顔画像と上記顔特徴検出手段により検出
された顔特徴情報とが入力され顔特徴をアライメントし
てアライメント画像を生成する顔画像アライメント部
と、上記アライメント画像のコントラストを正規化して
正規化画像を生成するコントラスト正規化部と、上記正
規化画像と上記共通共分散行列及び登録済平均顔画像ベ
クトルとから確率密度分布を求める確率推定部とを有す
ることを特徴とする請求項９記載の画像処理装置。
【請求項１２】上記顔認識手段は、既に登録済みの顔
であって追加学習する登録済顔の新規顔画像と登録済平
均顔画像ベクトルとから更新登録済平均顔画像ベクトル
を算出し、上記学習した顔画像の枚数情報に上記新規顔
画像の枚数を加算した更新枚数情報を算出して、上記学
習データベースの上記登録済顔画像ベクトル及び枚数情
報を夫々更新登録済平均顔画像ベクトル及び更新枚数情
報に書き換える更新処理手段を有することを特徴とする
請求項１１記載の画像処理装置。
【請求項１３】上記顔画像ベクトルが登録済個人であ
る確率密度分布は、下記数式（１）で示されることを特
徴とする請求項１１記載の画像処理装置。【数２】
【請求項１４】上記入力画像は、時系列の画像データ
を入力し、上記顔認識手段は、上記時系列の画像データ
を使用して顔認識する顔認識部を有することを特徴とす
る請求項１１記載の画像処理装置。
【請求項１５】複数のパターンから１つのパターンを
認識する画像処理装置において、画像入力手段と、この画像入力手段から供給された入力画像から特徴部分
を検出する特徴検出手段と、上記入力画像及び上記特徴部分から上記パターンの画像
データの分布をガウス分布近似することによりパターン
認識する認識手段と、複数のパターンから予め上記パターンの特徴を学習し、
上記パターンの画像データ分布の共分散行列が全てのパ
ターンに共通であると仮定して求めた共通共分散行列と
同一種類の複数のパターン画像ベクトルを平均して求め
た登録済平均パターン画像ベクトルとを保有する学習デ
ータベースとを具備し、上記認識手段は、上記共通共分散行列及び上記登録済平
均パターン画像ベクトルから確率密度分布を求めてパタ
ーン認識するものであることを特徴とする画像処理装
置。
【請求項１６】上記学習データベースは、上記共通共
分散行列、上記登録済平均パターン画像ベクトル、及び
学習したパターン画像の枚数情報を有することを特徴と
する請求項１５記載の画像処理装置。
【請求項１７】上記入力画像及び上記特徴部分を正規
化する正規化手段を有することを特徴とする請求項１５
記載の画像処理装置。
【請求項１８】供給された入力情報に基づいて動作を
行う自律型のロボット装置であって、画像入力手段と、この画像入力手段から供給された画像から顔画像を検出
する顔画像検出手段と、この顔画像から顔特徴情報を検出する顔特徴検出手段
と、複数の個人顔から予め学習し、個人顔データ分布の共分
散行列が全ての個人顔に共通であると仮定して予め求め
た共通共分散行列と各個人の複数の顔画像ベクトルを平
均して予め求めた登録済平均顔画像ベクトルとを保有す
る学習データベースと、上記共通共分散行列及び上記登録済平均顔画像ベクトル
から確率密度分布を求めて顔認識する顔認識手段とを有
することを特徴とするロボット装置。
【請求項１９】上記学習データベースは、上記共通共
分散行列、上記登録済平均顔画像ベクトル、及び学習し
た顔画像の枚数情報を有することを特徴とする請求項１
８記載のロボット装置。
【請求項２０】上記顔認識手段は、上記顔画像及び上
記顔特徴情報を正規化する正規化手段を有することを特
徴とする請求項１８記載のロボット装置。
【請求項２１】上記顔認識手段は、上記顔画像検出手
段により検出された顔画像と上記顔特徴検出手段により
検出された顔特徴情報とが入力され顔特徴をアライメン
トしてアライメント画像を生成する顔画像アライメント
部と、上記アライメント画像のコントラストを正規化し
て正規化画像を生成するコントラスト正規化部と、上記
正規化画像と上記共通共分散行列及び登録済平均顔画像
ベクトルとから確率密度分布を求める確率推定部とを有
することを特徴とする請求項１９記載のロボット装置。
【請求項２２】上記顔認識手段は、既に登録済みの顔
であって追加学習する登録済顔の新規顔画像と登録済平
均顔画像ベクトルとから更新登録済平均顔画像ベクトル
を算出し、上記学習した顔画像の枚数情報に上記新規顔
画像の枚数を加算した更新枚数情報を算出して、上記学
習データベースの上記登録済顔画像ベクトル及び枚数情
報を夫々更新登録済平均顔画像ベクトル及び更新枚数情
報に書き換える更新処理手段を有することを特徴とする
請求項２１記載のロボット装置。
【請求項２３】上記顔画像ベクトルが登録済個人であ
る確率密度分布は、下記数式（１）で示されることを特
徴とする請求項２１記載のロボット装置。【数３】
【請求項２４】上記入力画像は、時系列の画像データ
を入力し、上記顔認識手段は、上記時系列の画像データ
を使用して顔認識する顔認識部を有することを特徴とす
る請求項２１記載のロボット装置。
【請求項２５】入力された画像から顔画像を検出し、
この顔画像から顔特徴情報を検出し、この顔画像及び顔
特徴情報からなる個人顔データの分布をガウス分布近似
することにより顔認識する動作をコンピュータに実行さ
せるためのプログラムにおいて、複数の個人顔から予め学習した学習データベースに格納
された、個人顔データ分布の共分散行列が全ての個人顔
に共通であると仮定して予め求めた共通共分散行列及び
各個人の複数の顔画像ベクトルを平均して予め求めた登
録済平均顔画像ベクトルから確率密度分布を求めて顔認
識する顔認識工程を有することを特徴とするプログラ
ム。
【請求項２６】入力された画像から顔画像を検出し、
この顔画像から顔特徴情報を検出し、この顔画像及び顔
特徴情報からなる個人顔データの分布をガウス分布近似
することにより顔認識する動作をコンピュータに実行さ
せるためのプログラムを記録したコンピュータ読み取り
可能な記録媒体において、複数の個人顔から予め学習した学習データベースに格納
された、個人顔データ分布の共分散行列が全ての個人顔
に共通であると仮定して予め求めた共通共分散行列及び
各個人の複数の顔画像ベクトルを平均して予め求めた登
録済平均顔画像ベクトルから確率密度分布を求めて顔認
識する顔認識工程を有することを特徴とするプログラム
が記録された記録媒体。