JP2001109894A - 画像情報認識装置および画像情報認識方法および画像情報認識プログラムを記憶した媒体 - Google Patents

Abstract

(57)【要約】 【課題】認識対象物体の表面属性や、照明環境といった
撮像条件に影響を受けることなく、認識対象の形状、３
次元的姿勢、および姿勢変化量を高速、かつ効率的に求
めることの可能な画像認識装置を提供する。 【解決手段】認識対象の距離画像から認識対象の輪郭情
報を検出する輪郭ストローク検出手段102 と、輪郭スト
ローク検出手段にて取得した輪郭ストロークを構成する
全ベクトルについて、そのベクトル方位に関し量子化を
行うベクトル方位量子化手段103 と、ベクトル方位量子
化手段により取得された輪郭ストロークを構成する全て
の量子化ベクトルにおいて各量子化ベクトルの頻度分布
を算出するベクトル方位分布正規化手段104 と、ベクト
ル方位分布正規化手段により取得されたベクトル方位正
規化分布情報を基に認識対象の３次元姿勢を検出する姿
勢情報検出手段105 とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、取得した距離画像
を基に輪郭情報を検出し、輪郭ストロークあるいは法線
を構成するベクトルの方位分布に関する統計情報から撮
像物体の形状認識、および姿勢認識を行う画像情報認識
装置および画像情報認識方法に関する。

【０００２】

【従来の技術】従来、ビデオカメラなどの撮像装置を用
いて、認識対象物の姿勢、および形状情報を検出しよう
とした場合、以下のような方法が取られていた。

【０００３】まず一つ目は、撮像画像を対象としたパタ
ーンマッチングを用いる手法である。これは、予め決め
られた姿勢の撮像対象をテンプレート画像として撮像し
て、登録しておき、これと新たに撮像した認識対象画像
との間で適合度評価を行い、最も適合したテンプレート
画像から姿勢情報を検出するというものである。

【０００４】この手法で姿勢情報を求めようとした場
合、事前にテンプレート画像における姿勢情報が登録さ
れている必要がある。

【０００５】３次元的な空間姿勢の検出には、モーショ
ンキャプチャと呼ばれる物理的な姿勢検出手段などを利
用することができる。この場合、テンプレートの数が認
識精度に直結するため、テンプレートを多数用意してお
く必要があり、適合度計算の回数が増えるため効率的と
は言えない。

【０００６】また、この手法を用いて撮像対象の形状を
認識しようとした場合、テンプレート画像の登録段階
で、撮像対象を背景から切り出しておく必要がある。こ
れは、テンプレートマッチングの認識精度にも大きく影
響するため、必ず必要な前処理である。

【０００７】さらに、テンプレート画像との画像レベル
でのマッチングには、以下のような問題点があった。つ
まり、撮像画像中の認識対象領域の大きさ、および濃度
が、撮像環境あるいは、撮像物体の表面属性やテクスチ
ャなどに大きく依存しており、実用的な認識精度を得る
ことができないということである。

【０００８】別の手法としては、画像中の特徴点から３
次元的姿勢を検出するという手法もある。たとえば、手
の傾きを検出しようとした場合を考えてみる。この場
合、まず複数のカメラから撮像した手の取得画像から、
手先、および手のひらに相当する部分を特徴点として定
義し、その３次元位置情報を検出することが必要にな
る。

【０００９】そのためには、まず各カメラで同時期に取
得された画像から対応する特徴点（手先、および手のひ
ら）を検出し、そのスクリーン座標から３角測量の要領
で特徴点の３次元的な空間位置情報を求める。

【００１０】ここで求められた特徴点（手先、および手
のひら）の空間位置座標から、特徴点で構成される面
（手全体）の姿勢を３次元的に検出することができるわ
けである。しかし、この手法では、事前に各カメラの各
種パラメータ調整に相当するキャリブレーションを行っ
た上で、特徴点の検出、対応づけといった煩雑な作業が
必要であり、汎用的に使える手法とは言えない。

【００１１】また、この手法を用いて撮像対象の形状を
認識しようとした場合、撮像対象の輪郭に沿って、その
輪郭形状を表現できる程度の特徴点を設定する必要があ
り、撮像対象の形状が複雑になればなるほど特徴点量が
増えるわけで、形状認識手法としては現実的な手法と言
えない。

【００１２】また、動きを特徴づける関節などの部位に
あらかじめセンサを装着し、撮像した画像からセンサ部
位を抽出し、３次元的な姿勢を計測するモーションキャ
プチャと呼ばれる手法も存在する。この手法では、上記
で紹介した手法に比べ、特徴点の抽出や対応づけ処理は
軽くなるが、システム全体のコストが高くつき、システ
ムを稼動する上での制約も多い。さらに煩わしい特定の
センサデバイスを装着する必要があり、とても一般ユー
ザが使えるものにはなっていない。

【００１３】以上のように、従来方法では、撮像画像か
ら３次元的な姿勢、および形状情報の抽出を行う方法に
は様々な問題点があった。

【００１４】

【発明の解決しようとする課題】このように、従来の手
法では、撮像画像から３次元的な姿勢、および形状情報
の抽出を行うに当たり、テンプレート画像との比較によ
る方法にあってはテンプレート画像とのマッチング処理
の際、撮像物体領域の位置やサイズ、あるいは濃淡パタ
ーンに依存して認識精度が低下する問題があった。

【００１５】また、ビデオカメラなどを用いて認識対象
物の３次元的な姿勢を取得しようとした場合には、３次
元物体の投影画像を対象に画像レベルのパターンマッチ
ングを行うしかなく、高精度に奥行き方向を含めた３次
元的姿勢情報の認識を行うことは不可能であった。

【００１６】そこで、この発明の目的とするところは、
高精度に奥行き方向を含めた３次元的姿勢の認識を行う
ことができるようにし、また、認識対象の形状や姿勢変
化量を認識できるようにした画像認識装置および画像認
識方法を提供することにある。

【００１７】

【課題を解決するための手段】上記目的を達成するた
め、本発明は次のように構成する。すなわち、 ［１］ 第１の発明における画像認識装置は、被写体像
を、その離間距離対応の濃度で撮像した距離画像として
取得する撮像手段を備えた画像取得手段と、前記画像取
得手段で取得された距離画像から被写体像の輪郭情報を
検出するための輪郭ストローク検出手段と、前記輪郭ス
トローク検出手段で検出した輪郭ストロークを構成する
全ベクトルに対し、そのベクトル方位に基づき量子化を
行うベクトル方位量子化手段と、前記ベクトル方位量子
化手段で量子化された、輪郭ストロークを構成する全ベ
クトルに関し、全量子化ベクトル方位に対する分布状況
の正規化を行うベクトル方位分布正規化手段と、前記ベ
クトル方位分布正規化手段で計算された正規化方位分布
に応じて前記被写体の姿勢を検出する姿勢情報検出手段
とを具備し、認識対象物の３次元的な姿勢情報の認識を
行うようにする。

【００１８】この発明は、被写体画像を、その離間距離
対応の濃度で撮像して距離画像として出力する画像取得
手段にて撮像した所望被写体の距離画像から、その画像
の輪郭ストロークを抽出し、得られた輪郭ストロークか
ら当該輪郭ストロークを構成する全ベクトルに対して、
３次元的なベクトル方位を代表する量子化ベクトルで近
似し、その頻度分布に基づき、認識対象物体の三次元的
姿勢を検出する。

【００１９】そのため、本実施例によれば、被写体であ
る認識対象の物体の三次元的姿勢を定量的に評価できる
ようになり、高精度に奥行き方向を含めた３次元的姿勢
の認識を行うことができるようになる画像認識が実現で
きる。

【００２０】［２］ 第２の発明における画像認識装置
は、被写体像を、その離間距離対応の濃度で撮像した距
離画像として取得する画像取得手段と、前記画像取得手
段が取得した距離画像から被写体像の輪郭を構成するス
トローク情報を検出するための輪郭ストローク検出手段
と、前記輪郭ストローク検出手段で検出した輪郭ストロ
ークを構成する全ベクトルに対し、そのベクトル方位に
基づき量子化を行うベクトル方位量子化手段と、前記ベ
クトル方位量子化手段で量子化された、輪郭ストローク
を構成する全ベクトルに関し、全量子化ベクトル方位に
対する分布状況の正規化を行うベクトル方位分布正規化
手段と、前記ベクトル方位分布正規化手段で計算された
ストロークのベクトル方位正規化分布情報を格納するた
めの、ベクトル方位分布パターン格納手段と、前記ベク
トル方位分布パターン格納手段に格納された正規化方位
分布情報と、前記ベクトル方位分布正規化手段で計算さ
れた正規化方位分布パターンとを比較することで、認識
対象物体の姿勢情報を検出する姿勢情報検出手段とを具
備し、被写体である認識対象物の３次元的な姿勢情報の
認識を行う構成とする。

【００２１】この構成により、テンプレートとして認識
したい対象の輪郭ストローク情報をベクトル方位分布と
して登録しておけるため、認識対象の物体の姿勢はもと
より、その形状パターンの認識、およびテンプレート物
体に対する姿勢変化量の認識と云った各種姿勢情報の認
識を行うことができるようになる。

【００２２】この構成においては、あらかじめ認識させ
たい認識対象物体の様々な姿勢での距離画像（代表的姿
勢毎に最低限１枚）を用いて、輪郭ストロークを構成す
る全ベクトル方位の正規化分布情報を得て、これを各種
姿勢別のオリジナルテンプレートとして保存しておき、
姿勢情報検出手段には、被写体である認識対象の物体の
輪郭ストロークから得られるベクトル方位正規化分布の
情報をこのテンプレートおよびこのテンプレートから姿
勢変化計算により求めた新テンプレートである演算姿勢
変化テンプレートと比較させることにより、近いもの、
すなわち、類似度の高いものを以て認識対象の物体の形
状、姿勢、および姿勢変化量とする。

【００２３】そのため、認識対象の物体の形状、姿勢、
および姿勢変化量の検出が容易に行えて、形状パターン
の認識、およびテンプレート物体に対する姿勢変化量の
認識ができるようになる。

【００２４】また、［１］項における構成では、撮像対
象の三次元的姿勢を定量的に評価できるのに対して、こ
の［２］項の形態の発明においては、テンプレートとし
て認識したい対象の輪郭ストローク情報をベクトル方位
分布として登録しておけるため、物体の３次元的姿勢、
形状パターンの認識、およびテンプレート物体に対する
姿勢変化量の認識ができる構成となる。

【００２５】［３］ 第３の発明における画像認識装置
は、被写体像を、その離間距離対応の濃度で撮像した距
離画像として取得する撮像手段を備えた画像取得手段
と、画像取得手段で取得された距離画像から撮像物体の
法線情報を検出するための法線検出手段と、前記法線検
出手段で検出した全法線ベクトルに対し、そのベクトル
方位に基づき量子化を行う法線ベクトル方位量子化手段
と、前記法線ベクトル方位量子化手段で量子化された、
全法線ベクトルに関し、全量子化ベクトル方位に対する
分布状況の正規化を行う法線ベクトル方位分布正規化手
段と、前記法線ベクトル方位分布正規化手段で計算され
た正規化方位分布に応じて撮像物体の姿勢情報を検出す
る姿勢情報検出手段と、を具備し、対象物の３次元的な
姿勢情報の認識を行う構成とする。

【００２６】この構成においては、認識対象である撮像
物体の姿勢情報を検出するにあたり、認識対象の各部の
表面における法線に着目して、その認識対象の各部の傾
きを知ることにより、認識対象の姿勢情報（認識対象の
形状、３次元的姿勢、および姿勢変化量）を引き出す。

【００２７】すなわち、法線ベクトル方位頻度分布に基
づき、撮像物体の姿勢情報を検出する検出方式であり、
［１］，［２］項の発明における構成での求めた量子化
ベクトル方位が、この［３］項の発明では撮像物体面を
代表する法線ベクトル成分に置き換わっている。

【００２８】つまり、認識対象の各部の表面における法
線に着目することで、その認識対象の各部の傾きを法線
ベクトル方位頻度分布に基づいて取得することで、認識
対象の姿勢情報（認識対象の形状、３次元的姿勢、およ
び姿勢変化量）を引き出す。従って、法線情報に基づい
た認識対象の姿勢情報検出方式が実現できることにな
る。

【００２９】［４］ 第４の発明における画像認識装置
は、被写体像を、その離間距離対応の濃度で撮像した距
離画像として取得する画像取得手段と、前記画像取得手
段が取得した距離画像から撮像物体の法線情報を検出す
る法線検出手段と、前記法線検出手段で検出した全法線
ベクトルに対し、そのベクトル方位に基づき量子化を行
う法線ベクトル方位量子化手段と、前記法線ベクトル方
位量子化手段で量子化された、全法線ベクトルに関し、
全量子化ベクトル方位に対する分布状況の正規化を行う
法線ベクトル方位分布正規化手段と、前記法線ベクトル
方位分布正規化手段で計算されたストロークのベクトル
方位正規化分布情報を格納する法線ベクトル方位分布パ
ターン格納手段と、前記法線ベクトル方位分布パターン
格納手段に格納された正規化方位分布情報と、前記法線
ベクトル方位分布正規化手段で計算された正規化方位分
布パターンとを比較することで、撮像物体の姿勢情報を
検出するための、姿勢情報検出手段とを具備し、対象物
の３次元的な姿勢情報の認識を行う構成とする。

【００３０】この構成によれば、認識対象である撮像物
体の姿勢情報を、撮像物体面を代表する法線ベクトル成
分に基づいて検出するが、この構成においての［３］の
構成との相違点は、テンプレートを用いてそのテンプレ
ートとの類似度の高さに基づき、類似度の高いテンプレ
ートの持つ情報から求めるようにしているという点であ
る。

【００３１】つまり、認識対象の各部の表面における法
線に着目することで、その認識対象の各部の傾きを法線
ベクトル方位頻度分布に基づいて、認識対象の姿勢情報
を引き出すことができるが、その法線ベクトル方位頻度
分布を姿勢別に用意したテンプレートとの類似度の比較
（評価式による評価値の大きさ）により、適合度の高い
ものを見つけてそのテンプレートの本来的に持つ姿勢情
報や形状情報を以て認識対象の姿勢情報（認識対象の形
状、３次元的姿勢、および姿勢変化量）を認識できるよ
うにした認識対象の姿勢情報検出方式が実現できる。

【００３２】［５］第５の発明における画像認識装置
は、被写体像を、その離間距離対応の濃度で撮像した距
離画像として取得する画像取得手段と、前記画像取得手
段が取得した撮像画像から画像特徴量を検出する画像特
徴量検出手段と、前記画像特徴量検出手段で検出した画
像特徴量に基づき、撮像物体の姿勢情報を検出する姿勢
情報検出手段とを具備し、対象物の３次元的な姿勢情報
の認識を行う構成とする。

【００３３】この構成によれば、画像特徴量としてモー
メント量を用いるようにしたことで、撮像物体表面のミ
クロな変位に依存することなく、撮像物体の３次元的姿
勢情報を精度良く求めることが可能となり、認識対象で
ある撮像物体表面にミクロな変位があっても、これの影
響を受けることなく、３次元的姿勢情報を精度良く求め
ることができるようになる。

【００３４】

【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。 （第１の実施形態）この第１の実施形態においては、与
えられた距離画像から、その輪郭ストロークを抽出し、
得られた輪郭ストロークから当該輪郭ストロークを構成
する全ベクトルに対して、３次元的なベクトル方位を代
表する量子化ベクトルで近似し、その頻度分布に基づ
き、撮像対象の三次元的姿勢を検出する方式の実施例を
説明する。

【００３５】図１は、本発明の第１の実施形態に係る画
像認識装置の全体構成図であって、１０１は画像取得手
段、１０２は輪郭ストローク検出手段、１０３はベクト
ル方位量子化手段、１０４はベクトル方位分布正規化手
段、１０５は姿勢情報検出手段である。

【００３６】これらのうち、画像取得手段１０１は認識
対象物体（例えば、人間の手、顔、全身など）を、その
３次元形状を反映した奥行き値を持つ画像（以下、距離
画像と呼ぶ）として所定時間毎（例えば１／３０秒毎な
ど）に取得するものである。このような距離画像の取得
法としては、例えば、特開平ＰＨ１０‐１７７４４９号
公報に開示されている画像取得方法などが知られてお
り、これらの技術を用いて実現することができる。

【００３７】具体的には、この距離画像取得技術は、被
写体に近赤外線を照射し、その近赤外線反射光学像を撮
像手段にて撮像して得た被写体画像を利用するものであ
って、当該撮像して得られた近赤外線反射光学像は、例
えば、その被写体が手などのような一様に光を反射する
物体からの反射の場合、その反射光量は距離と密接な関
係を持つことを利用している。すなわち、物体からの反
射光は、物体までの距離の二乗に反比例して小さくな
る。そして、撮像手段で得た近赤外線反射像の画像の画
素値はその画素位置で受けた近赤外線光量に対応するの
で、被写体が手などのような一様に光を反射する物体か
らの反射の場合、その画像の各画素値（濃度値（階調
値））は距離に密接な関係を持つこととなり、距離が離
れるほど、濃度値が薄くなる。従って、２次元画像では
あるが、このようにして得た画像を用いることで、３次
元形状を反映した奥行き値を持つ画像である距離画像と
して利用できる。

【００３８】前記輪郭ストローク検出手段１０２は、前
記画像取得手段１０１により取得された距離画像から、
その輪郭を構成するストローク情報を検出するものであ
り、また、前記ベクトル方位量子化手段１０３は前記輪
郭ストローク検出手段１０２で検出した輪郭ストローク
を構成する全ベクトルに対し、そのベクトル方位成分に
基づき量子化を行う量子化手段である。

【００３９】また、前記ベクトル方位分布正規化手段１
０４は、前記ベクトル方向量子化手段１０３で取得され
た輪郭ストロークを構成する全ベクトルに関し、全量子
化ベクトル方位に対する分布状況の正規化を行う正規化
手段であり、前記姿勢情報検出手段１０５は、前記ベク
トル方位分布正規化手段１０４で計算されたベクトル方
位正規化分布に応じて、撮像物体の姿勢を検出するもの
である。

【００４０】このような構成の本システムにおいては、
画像取得手段１０１は、上述したように認識対象物体
（例えば、人間の手、顔、全身など）を、その３次元形
状を反映した奥行き値を持つ画像（距離画像）として所
定時間毎（例えば１／３０秒毎など）に取得する。そし
て、この場合、所定時間毎に距離画像が取得されてゆく
ため、これらをメモリなどを用いて、当該画像取得手段
１０１の内部または外部で逐次保持することで、対象物
の距離画像による動画像（以降、距離画像ストリームと
呼ぶ）を得るようにしている。このとき、距離画像スト
リームは、距離画像の取得間隔をｔ秒としたとき、“最
新の距離画像”、“最新からｔ秒前（以降、１フレーム
前と呼ぶ）の距離画像”、“最新から２ｔ秒前（２フレ
ーム前、以下同様）の距離画像”、…、といった複数フ
レームの距離画像の集合体として得られることになる。

【００４１】ここで、距離画像の詳細について説明して
おく。

【００４２】図２に、画像取得手段１０１により取得さ
れた手の距離画像の例を示す。距離画像は、１台の撮像
手段にて撮像した画像ではあるが、上述したように、距
離の二乗に反比例する濃度値を持つ画像であるため、奥
行き情報を有する３次元画像と云う意味合いを持つ画像
となっている。

【００４３】この距離画像は、例えば、Ｘ軸（横）方向
６４画素×Ｙ軸（縦）方向６４画素構成であり、濃度値
はＺ軸（奥行き）方向の情報を持つもので、これは２５
６階調で表現される画像となっている。図２は、距離画
像の距離値、すなわちｚ軸方向の階調をグレースケール
で表現したもので、この場合、色が黒に近いほど距離が
近く、白に近くなるほど距離が遠いことを示している。
また、色が完全に白のところは、画像がない、あるいは
あっても遠方で、実質的に画像が無いのと同じであるこ
とを示している。

【００４４】このようにして画像取得手段１０１によっ
て取得された距離画像は、画像ストリームとして順次、
輪郭ストローク検出手段１０２に送られる。すると、輪
郭ストローク検出手段１０２は、前記画像取得手段１０
１によって取得された距離画像ストリーム中に含まれる
距離画像から、撮像物体の輪郭を表すストローク情報を
検出する。

【００４５】撮像物体を囲む輪郭線の抽出は、撮像画像
に対してあるしきい値以上の画素が存在する領域を探索
することで、求めることができる。具体的には、例え
ば、特開平１０‐１７７４４９号公報に開示されている
画像取得方法などを用いれば、背景画像成分の画素値を
しきい値以下に落とすことで、撮像物体のみを切り出す
ことが可能である。

【００４６】具体的に抽出処理を説明する。ここでの抽
出処理の流れを図３に示す。輪郭ストローク検出手段１
０２は、まず、輪郭線検出の開始点を求める（図３のス
テップＳ３０１）。ここでは、画素値がしきい値以上の
画素のうち、最も左上にあるものを開始点として選ぶこ
とにする。

【００４７】次に輪郭ストローク検出手段１０２は、ス
テップＳ３０１で設定した開始点をもとに、時計回りに
ストローク構成点を探索していく。そして、あらかじめ
設定しておいた単位ベクトル長を超えるしきい値以上の
最も近い画素を、ストローク構成点の候補として登録す
る（図３のステップＳ３０２）。

【００４８】ここで、単位ベクトル長を調整すること
で、輪郭ストロークを構成するベクトル数を調整するこ
とが可能である。単位ベクトル長を長くすれば、同じ輪
郭形状に対し、ベクトル数を少なくできるが、形状の再
現度は低くなり、逆に単位ベクトル長を数画素程度にす
れば、ベクトル数は増えるが、形状の再現度を高めるこ
とができる。

【００４９】次に、ステップＳ３０２で求めた輪郭候補
点と開始点との距離を評価し、その結果、単位ベクトル
長より短かい場合には輪郭を一巡したことになるため、
輪郭ストロークの探索を終了する。そうでない場合、候
補点を輪郭構成点として登録し、この構成点を基点とし
て次の輪郭候補点の探索を繰り返す（図３のステップＳ
３０３，Ｓ３０２）。

【００５０】このようにして得られたストローク構成点
Ｐｉ（ｉ＝１，２，３，…Ｎ，…）の画素成分を、三次
元位置座標（画像ピクセル位置（画素位置）（Ｘ，Ｙ）
と距離値（Ｚ））と解釈すると、例えば、図４に示す如
きの点列情報として、輪郭ストロークStrokeは表現でき
る。ここでＰｉ（ｉ＝１，２，３，…Ｎ，…）はストロ
ーク構成点、ＳＶ（ｋ）（ｋ＝０，１，２，３，…Ｎ，
…）は構成ベクトルである。

【００５１】図５は切り出された輪郭ストロークを、撮
像画像と重ね合わせて表示したものである。ストローク
を構成する隣り合う２点間を結ぶベクトルは、画面表示
して操作者に呈示する場合には、端点（ストローク構成
点）の距離値（Ｚ値）に応じて色付けすると良い。そし
て、手前に近づくほど（Ｚ値が大きくなるほど）赤く、
奥に離れていくほど(Ｚ値が小さくなるほど)青くなるよ
う表示設定して画面に表示すると、距離感が掴み易い表
示となる。

【００５２】 このようにして、輪郭ストローク検出手段１０２が検出
した輪郭ストローク情報はベクトル方位量子化手段１０
３に与えられる。すると、ベクトル方位量子化手段１０
３は、この輪郭ストローク検出手段１０２で検出された
輪郭ストローク情報から、輪郭ストロークを構成する全
ベクトルに対して、そのベクトル方位に応じて量子化を
行う。ここでの量子化は、輪郭ストロークを構成する全
ベクトルに対し、全量子化ベクトルとの相関を計算し、
最も相関の高い量子化ベクトルに置き換えると云った処
理である。

【００５３】ベクトル方位量子化手段１０３による輪郭
ストローク構成ベクトルの量子化ベクトルへの置換処理
の流れを図６に示す。

【００５４】図６に示すように、ベクトル方位量子化手
段１０３は、まず、輪郭ストローク構成点列から輪郭ス
トロークを構成するベクトルを生成する（図６のステッ
プＳ６０１）。

【００５５】輪郭ストロークの構成ベクトルＳＶ（ｋ）
はストローク点列 Stroke から以下のように求められる
（図３）。ただし、ストロークを構成する全ベクトル数
をＮとする。

【００５６】 ＳＶ（ｋ）＝Ｐ_k＋1−Ｐ_k …式（２） ただし、（ｋ＝０〜Ｎ−１） 次に、ベクトル方位量子化手段１０３は、ステップＳ６
０１で求めた構成ベクトルＳＶ（ｋ）に対してそのベク
トル長に応じた正規化を行う（図６のステップＳ６０
２）。そして、これにより正規化構成ベクトルＳＶ′
（ｋ）を得る。

【００５７】この正規化した構成ベクトルＳＶ′（ｋ）
は、以下のように求めることができる。ただし、｜｜Ｖ
｜｜はベクトルＶの長さを表すものとする。

【００５８】 ＳＶ′（ｋ）＝ＳＶ（ｋ）／｜｜ＳＶ（ｋ）｜｜ …式（３） （ｋ＝０〜Ｎ−１） なお、量子化ベクトルは、認識したい姿勢検出範囲で、
均質に三次元的ベクトル方位を表現できるものであれば
よい。ここでは、ＸＹ平面を基底とした正規化極座標を
考える（図７参照）。

【００５９】具体的には、ＸＹ平面内方位分割数をＱｘ
ｙ、そして、Ｚ軸方向の方位分割数をＱｚとすると、当
該量子化ベクトルＵＶ（ｉ，ｊ）は一般に以下のように
表現できる。

【００６０】 但し、（ｉ＝０〜Ｑｘｙ−１，ｊ＝０〜Ｑｚ） 従って、Ｑxy＝８，Ｑz ＝４の場合を例にとると、重複
するベクトルは一つの量子化ベクトルとして表現して表
現するため、全量子化ベクトルは以下の２６種のベクト
ルとなる。

【００６１】UV(0〜7,0) = (0,0,1)，UV(0,1) = (1,0,
√2), UV(1,1) = (1/2,1/2,√2),UV(2,1) = (0,1,√
2), UV(3,1) = (-1/2,1/2,√2),UV(4,1) = (-1,0,√
2), UV(5,1) = (-1/2,-1/2,√2),UV(6,1) = (0,-1,√
2), UV(7,1) = (1/2,-1/2,√2),UV(0,2) = (1,0,0),
UV(1,2) = (1/√2,1/√2,0),UV(2,2) = (0,1,0), UV
(3,2) = (-1/√2,1/√2,0),UV(4,2) = (-1,0,0), UV
(5,2) = (-1/√2,-1/√2,0),UV(6,2) = (0,-1,0), UV
(7,2) = (1/√2,-1/√2,0),UV(0,3) = (1,0,-√2), UV
(1,3) = (1/2,1/2,-√2),UV(2,3) = (0,1,-√2), UV
(3,3) = (-1/2,1/2,-√2),UV(4,3) = (-1,0,-√2), UV
(5,3) = (-1/2,-1/2,-√2),UV(6,3) = (0,-1,-√2), U
V(7,3) = (1/2,-1/2,-√2),UV(0〜7,4) = (0,0,-1) 一般に、量子化数は計算精度と計算量のトレードオフの
関係にあり、量子化数を増やすことで、検出精度の向上
が期待できるが、反面、計算量が増大する。また、量子
化ベクトルの次元は、姿勢検出の方向性も表しており、
ＱxyはＺ軸周りの傾き具合、ＱzはＺ軸方向の傾き具合
の検出精度に、それぞれ対応している。

【００６２】ステップＳ６０３では、輪郭ストロークを
構成するベクトルに対して、全量子化ベクトルとの類似
度を計算することで、置換可能な量子化ベクトルを求め
る。

【００６３】ステップＳ６０２で求めた正規化ストロー
ク構成ベクトルＳＶ′（ｋ）と、各量子化ベクトルＵＶ
との相関計数 Corr（k,i,j）は、以下のようにベクトル
内積で求めることができる。

【００６４】 Corr(k, i, j) = SV′(k) * UV(i,j) …式(5) 但し、k=0〜 N-1, i = 0 〜 Qxy-1, j = 0 〜 Qz 相関が最大時の量子化ベクトル次元（ｉ，ｊ）を（ｉma
x，ｊmax）とすると、ストローク構成ベクトルＳＶ′
（ｋ）と量子化ベクトルＵＶ（ｉmax，ｊmax）を入れ替
えることで、ストローク構成ベクトルの量子化を行うこ
とができる（図６のステップＳ６０４）。

【００６５】以上の処理を、全ストローク構成ベクトル
に関して施すことで、ストローク構成ベクトルの量子化
を終了する（図６のステップＳ６０５）。

【００６６】ベクトル方位量子化手段１０３によるこの
ような処理により、量子化されたストローク構成ベクト
ルは、ベクトル方位分布正規化手段１０４に与えられ
る。するとベクトル方位分布正規化手段１０４では、前
記ベクトル方位量子化手段１０３により量子化された輪
郭ストロークを構成する全ベクトルに亙って、そのベク
トル方位分布を正規化する。

【００６７】この処理は次のようにして行う。ここで
は、輪郭ストロークを構成する全ベクトル中、各量子化
ベクトルがどの程度含まれているかを計算する。量子化
ベクトルの構成割合Ｒ（ｉ，ｊ）は、その量子化ベクト
ルの総数Ｎ（ｉ，ｊ）と輪郭ストロークを構成する全ベ
クトル数Ｎとから、以下のように求めることができる
（図８参照）。

【００６８】R(i，j)＝Ｎ(i，j)／Ｎ …式(6) 一般に輪郭ストロークの長さは、同じ輪郭形状を持った
撮像対象であっても、画像中の撮像サイズに応じて異な
る。輪郭形状が等しいということは、輪郭ストロークを
構成する量子化ベクトル成分の割合が等しいと考えるこ
とができる。つまり、このベクトル方位分布正規化手段
１０４で量子化ベクトル方位分布の正規化を行うこと
で、後段の姿勢情報検出手段１０５は、撮像サイズに合
わせて認識対象の適正な姿勢検出が行えるようになるわ
けである。例えば、図８（ａ）の如き量子化ベクトル方
位分布は正規化されることにより図８（ｂ）の如きにな
り、これによって、後段の姿勢情報検出手段１０５は、
撮像サイズに合わせて認識対象の適正な姿勢検出が行え
るようになるわけである。

【００６９】ベクトル方位分布正規化手段１０４で正規
化された量子化ベクトル方位分布の情報は姿勢情報検出
手段１０５に与えられる。そして、この姿勢情報検出手
段１０５は、前記ベクトル方位分布正規化手段１０４で
求めた輪郭ストロークを構成する全ベクトルの正規化方
位分布から、撮像対象（認識対象物）の姿勢を検出す
る。

【００７０】この撮像対象の姿勢を検出は次のようにし
て行う。ここでは、前記ベクトル方位分布正規化手段１
０４で求めたベクトル方位分布中、最大の分布を表す量
子化ベクトルをその認識対象の姿勢を代表する成分とみ
なすことにする。

【００７１】ここで、求められた量子化ベクトルを姿勢
代表ベクトルＵＶ′（ｉ，ｊ）と表すとすると、そのｉ
成分がＸＹ平面におけるＺ軸（奥行き方向）を中心とし
た回転成分（２*π*ｉ／Ｑxy [radian]の回転量）を表
し、また、ｊ成分が奥行き方向の傾斜成分（π*ｊ／Ｑz
[radian]の傾き量）を表わすことになる（図８）。

【００７２】ここでは、輪郭ストローク成分のみを計算
の対象にしており、輪郭ストローク内部、つまり撮像物
体の表面テクスチャや、照明条件に依存する濃淡画像情
報に依存しないため、安定して撮像物体の形状、および
姿勢を検出することが可能である。

【００７３】また、輪郭ストロークの構成ベクトルをそ
の３次元方位に応じて、量子化ベクトルで置換し、その
頻度分布をストローク長に応じて正規化することで、撮
像サイズなどに依存しない効率的な姿勢認識を行うこと
が可能となっている。

【００７４】以上、この実施形態の発明は、被写体画像
を、その離間距離対応の濃度で撮像して距離画像として
出力する画像取得手段にて撮像した所望被写体の距離画
像から、その画像の輪郭ストロークを抽出し、得られた
輪郭ストロークから当該輪郭ストロークを構成する全ベ
クトルに対して、３次元的なベクトル方位を代表する量
子化ベクトルで近似し、その頻度分布に基づき、撮像対
象物体の三次元的姿勢や形状を検出するようにしたもの
である。

【００７５】そのため、本実施例によれば、撮像対象の
三次元的姿勢を定量的に評価できるようになり、高精度
に奥行き方向を含めた３次元的姿勢の認識を行うことが
できるようになる画像認識装置および画像認識方法が実
現できる。

【００７６】次に第２の実施形態について説明する。

【００７７】第１の実施形態では、輪郭ストロークを構
成する全ベクトルに対して、３次元的なベクトル方位を
代表する量子化ベクトルで近似し、その頻度分布に基づ
き、撮像対象（認識対象）の三次元的姿勢や形状の検出
を行う方式について説明した。ところで、被写体に予め
様々な姿勢をとらせ、それを撮像して得た距離画像を元
にして輪郭ストロークのベクトル方位正規化分布情報を
得てこれをスタンダードモデルすなわち、テンプレート
として別途保存しておき、被写体の認識に当たっては、
取得した認識対象の被写体（撮像物体）の距離画像をも
とにしての輪郭ストロークから得られるベクトル方位正
規化分布情報を、前記スタンダードモデル（テンプレー
ト）としての輪郭ストロークのベクトル方位正規化分布
情報と比較照合することにより、当該被写体（撮像物
体）の形状認識、姿勢認識、および姿勢変化量の検出を
行うようにすれば、演算処理の負荷が軽減され、その
分、処理速度が向上して、リアルタイムに形状パターン
の認識、およびテンプレート物体に対する姿勢変化量の
認識ができるようになるシステムの実現が期待できる。
この例を次に第２の実施形態として説明する。

【００７８】（第２の実施形態）第２の実施例では、基
準（テンプレート）として用意してある輪郭ストローク
のベクトル方位正規化分布と、認識対象の撮像物体の輪
郭ストロークから得られるベクトル方位正規化分布とか
ら、撮像物体の形状、姿勢、および姿勢変化量と云った
姿勢情報の検出を行うことにより、形状パターンの認
識、およびテンプレート物体に対する姿勢変化量の認識
ができるようにした例を説明する。

【００７９】図９は、本発明の第２の実施形態に係る画
像認識装置の全体構成図である。図９において、９０１
は画像取得手段であり、認識対象としての被写体の距離
画像を取得するための撮像手段を備えた画像取得手段で
ある。９０２は輪郭ストローク検出手段であり、画像取
得手段９０１で取得された距離画像から輪郭を構成する
ストローク情報を検出するためのものである。

【００８０】また、９０３はベクトル方位量子化手段で
あり、当該ベクトル方位量子化手段９０３は前記輪郭ス
トローク検出手段９０２で検出した輪郭ストロークを構
成する全ベクトルに対し、そのベクトル方位成分に基づ
き量子化を行う量子化手段である。

【００８１】９０４はベクトル方位分布正規化手段であ
って、当該ベクトル方位分布正規化手段９０４は前記ベ
クトル方向量子化手段９０３で取得された輪郭ストロー
クを構成する全ベクトルに関し、全量子化ベクトル方位
に対する分布状況の正規化を行うためのものであり、９
０６はベクトル方位分布パターン格納手段であって、こ
のベクトル方位分布パターン格納手段９０６は前記ベク
トル方位分布正規化手段９０４で求めた輪郭ストローク
を構成する全ベクトルの正規化方位分布情報を格納する
ためのものである。このベクトル方位分布パターン格納
手段９０６には、被写体に予め様々な姿勢をとらせ、そ
れを撮像して得た距離画像を元にして得た輪郭ストロー
クのベクトル方位正規化分布情報（ベクトル方位正規化
分布パターン）をスタンダードモデルすなわち、テンプ
レートとして保存しておくため等に用いる。

【００８２】また、９０５は姿勢情報検出手段であっ
て、当該姿勢情報検出手段９０５は前記ベクトル方位分
布パターン格納手段９０６に格納されたテンプレートと
してのベクトル方位正規化分布パターンと、前記ベクト
ル方位分布正規化手段９０４で計算されたベクトル方位
正規化分布情報とを比較することで、撮像物体の姿勢情
報を検出するものである。

【００８３】次にこのような構成の本装置の作用を説明
する。本実施形態において、第１の実施形態との違い
は、ベクトル方位分布パターン記憶手段９０６を新たに
設け、ベクトル方位分布正規化手段９０４で取得したベ
クトル方位正規化分布情報を、このベクトル方位分布パ
ターン記憶手段９０６に保存できるようにした点と、こ
のベクトル方位分布パターン記憶手段９０６に保存した
ベクトル方位正規化分布情報を、前記姿勢情報検出手段
９０５において姿勢情報の認識にパターン情報として利
用するようにした点である。

【００８４】画像取得手段９０１、輪郭ストローク検出
手段９０２、ベクトル方位量子化手段９０３、およびベ
クトル方位分布正規化手段９０４、の作用、および働き
は、第１の実施形態における同名の構成要素である画像
取得手段１０１、輪郭ストローク検出手段１０２、ベク
トル方位量子化手段１０３、およびベクトル方位分布正
規化手段１０４と基本的に同じである。

【００８５】すなわち、第１の実施形態の構成要素であ
る画像取得手段１０１と同様の機能を持つ画像取得手段
９０１により被写体である認識対象物体（例えば、人間
の手、顔、全身など）を、その３次元形状を反映した奥
行き値を持つ画像としての距離画像として所定時間毎
（例えば１／３０秒毎など）に取得することで、距離画
像による動画像（距離画像ストリーム）を得、得られた
距離画像の画像ストリームは、第１の実施形態の構成要
素である輪郭ストローク検出手段１０２と同様の機能を
持つ輪郭ストローク検出手段９０２に順次送られて、こ
こで距離画像ストリーム中に含まれる距離画像から、撮
像物体の輪郭を表すストローク情報が検出される。撮像
物体を囲む輪郭線の抽出は、撮像画像に対してあるしき
い値以上の画素が存在する領域を探索することで、求め
ることができる。

【００８６】輪郭ストローク検出手段９０２が検出した
輪郭ストローク情報は、第１の実施形態の構成要素であ
るベクトル方位量子化手段１０３と同様の機能を持つベ
クトル方位量子化手段９０３に与えられる。すると、ベ
クトル方位量子化手段９０３は、この輪郭ストローク検
出手段９０２で検出された輪郭ストローク情報から、輪
郭ストロークを構成する全ベクトルに対して、そのベク
トル方位に応じて量子化を行う。ここでの量子化は、輪
郭ストロークを構成する全ベクトルに対し、全量子化ベ
クトルとの相関を計算し、最も相関の高い量子化ベクト
ルに置き換えると云った処理である。

【００８７】ベクトル方位量子化手段９０３によるこの
ような処理により、量子化されたストローク構成ベクト
ルは、第１の実施形態の構成要素であるベクトル方位分
布正規化手段１０４と同様の機能を持つベクトル方位分
布正規化手段９０４に与えられる。

【００８８】するとベクトル方位分布正規化手段９０４
では、前記ベクトル方位量子化手段９０３により量子化
された輪郭ストロークを構成する全ベクトルに亙って、
そのベクトル方位分布を正規化する。そして、この正規
化された量子化ベクトル方位分布の情報は、第１の実施
形態の構成要素である姿勢情報検出手段１０５と同様の
機能を持つ姿勢情報検出手段９０５に与えられる。

【００８９】そして、この姿勢情報検出手段９０５は、
前記ベクトル方位分布正規化手段９０４で求めた輪郭ス
トロークを構成する全ベクトルの正規化方位分布を、ベ
クトル方位分布パターン記憶手段９０６の記憶情報と比
較照合することで、認識対象の形状、３次元的姿勢、お
よび姿勢変化量と云った撮像対象の姿勢情報を検出す
る。

【００９０】すなわち、本実施形態においては、ベクト
ル方位分布パターン記憶手段９０６には、前記ベクトル
方位分布正規化手段９０４で取得したベクトル方位正規
化分布情報を保存しておくが、この保存しておくベクト
ル方位正規化分布情報は認識させたい対象物体の撮像画
像から得た、輪郭ストロークを構成する全ベクトル方位
の正規化分布情報であり、予め様々な姿勢をとらせ、そ
れを撮像して得た距離画像を元にして得た各姿勢別輪郭
ストロークのベクトル方位正規化分布情報（ベクトル方
位正規化分布パターン）をスタンダードモデルすなわ
ち、テンプレートとして保存したものである。

【００９１】姿勢情報検出手段９０５では、ベクトル方
位分布パターン記憶手段９０６に保存してある各種テン
プレートとなるベクトル方位正規化分布を基に、撮像対
象の輪郭ストロークを構成するベクトルのベクトル方位
正規化分布とパターンマッチングを行うことで、形状パ
ターンの認識を行う。

【００９２】このように、本実施形態では、あらかじめ
ベクトル方位分布パターン記憶手段９０６には、認識さ
せたい対象物体に様々な姿勢をとらせ、それぞれの姿勢
での対象物体の撮像画像を用いて、輪郭ストロークを構
成する全ベクトル方位の正規化分布情報を得て、これを
各種姿勢別のテンプレートとして保存しておき、姿勢情
報検出手段９０５には、認識対象の撮像物体の輪郭スト
ロークから得られるベクトル方位正規化分布の情報をこ
のテンプレートと比較させることにより、撮像物体の形
状認識、姿勢認識、および姿勢変化量の検出を行わせ
て、形状パターンの認識、およびテンプレート物体に対
する姿勢変化量の認識ができるようにしている。しか
し、テンプレートとしては認識しようとする物体のとり
得る実際のあらゆる姿勢のものを用意すると云うのは現
実的でない。

【００９３】そこで、本実施例では、例えば、手のポー
ズの認識を対象とする場合には、手の仕草の典型例とし
ての“グー”のポーズ、“チョキ”のポーズ、“パー”
のポーズ、“人差し指の一本指し”のポーズと云った代
表的なものを最低１つずつ用意して、これより、計算に
より各種姿勢のテンプレート（演算姿勢変化テンプレー
ト）を求め、これらの基本となるテンプレート並びに演
算姿勢変化テンプレートと認識対象とを比較すること
で、姿勢認識を行うようにする。

【００９４】演算姿勢変化テンプレートは、前記の基本
となるテンプレートを用いてそれをＸ，Ｙ，Ｚの軸回り
に姿勢を変化させた処理を行い、得られたテンプレート
を新たな演算姿勢変化テンプレートとすることで、テン
プレートのパターンを増やし、これらのテンプレートを
用いて認識対象を比較することで、姿勢認識を行う。テ
ンプレートと認識対象との比較による認識は、評価式
（評価値：Ｄiff ）を用いて行う。

【００９５】前記ベクトル方位分布パターン記憶手段９
０６に保存してあるテンプレート画像の輪郭ストローク
（テンプレート・ストローク）を構成するベクトル方位
正規化分布をＲｔｅｍｐ（ｉ，ｊ）、演算処理により新
たに取得した撮像対象の輪郭ストローク（撮像ストロー
ク）を構成するベクトル方位正規化分布をＲｏｂｊ
（ｉ，ｊ）とすると、テンプレートマッチングにおける
評価式（評価値：Ｄiff）は以下の式（７）ようにな
る。ただし、量子化次元数ＱxyおよびＱz はテンプレー
ト・ストロークと撮像ストロークとで変わらないものと
する。

【００９６】 姿勢情報検出手段９０５では、全テンプレートに対して
上記評価式による評価を行い、評価値Ｄiff が最小とな
るパターンを持つテンプレートを、認識対象被写体であ
る撮像対象物体の像を最もよく表現する形状パターンと
して検出する。

【００９７】図１０の如き例の場合、認識対象物体の画
像である図１０（ａ）の撮像画像のＲｔｅｍｐ（ｉ，
ｊ）‐Ｒｏｂｊ（ｉ，ｊ）特性（ベクトル方位正規化分
布‐撮像ストロークを構成するベクトル方位正規化分布
特性）が最もマッチングする評価値Ｄiff となるテンプ
レートは、図１０（ｂ）の評価値Ｄiff ＝０．００４を
示すテンプレート＃１であり、このテンプレート＃１が
最も適合した撮像パターンとみなされる様子を示してい
る。

【００９８】すなわち、図１０（ｃ）のテンプレート＃
２に対する評価値はＤiff ＝０．０４５、そして、図１
０（ｄ）のテンプレート＃３に対する評価値はＤiff ＝
０．０２６で、最小の値を示す評価値はＤiff ＝０．０
０４を示すテンプレート＃１であるから、このテンプレ
ート＃１が最も適合した撮像パターンであると決定でき
る。

【００９９】なお、撮像対象が同じ形状である場合、前
記ベクトル方位分布パターン記憶手段９０６に保存され
たベクトル方位分布パターン（テンプレート・分布パタ
ーン）と、新たに取得した認識対象物体の像の輪郭スト
ロークを構成するベクトル方位正規化分布情報とから、
テンプレート・分布パターンに対する認識対象物体の像
の姿勢変化量を算出する方式とすることも可能である。

【０１００】この方式を採用する場合における前記姿勢
情報検出手段９０５における姿勢変化量検出処理の流れ
を図１１に示す。

【０１０１】この方式の場合、前記姿勢情報検出手段９
０５はまずはじめに、ベクトル方位分布パターン記憶手
段９０６に保存されたテンプレート（テンプレート・分
布パターン）を基にして、テンプレート画像の姿勢が変
化した際の、ベクトル方位分布パターンを演算により新
規に生成する（図１１のステップＳ１１０１）。

【０１０２】ここでは、前記ベクトル方位分布パターン
記憶手段９０６に保存されたテンプレートとなる輪郭ス
トロークベクトルＲtemp(i,j) を、ｉあるいはｊの各次
元内において量子化ベクトルの頻度分布パターンを一定
量シフトさせる演算を施し、これによって得られたベク
トル分布パターン（求められた輪郭ストロークベクトル
Ｒ′temp(i,j) ）を新たな生成テンプレート（演算姿勢
変化テンプレート）とする。

【０１０３】例えば、ｉ次元内でのシフト量deltaのテ
ンプレート（Ｒ′temp）は、以下のようなプログラムに
よる演算処理により、求めることができる。なお、ｍｏ
ｄはモジュラ演算子（剰余演算子）を示している。

【０１０４】 （ただし、delta = 1 〜 Qxy-1 ） すなわち、テンプレートを用意するに当たって、あらゆ
る姿勢の距離画像を準備する必要はなく、認識対象に類
似の物体による少なくともある姿勢の１枚の距離画像か
ら得た基本のテンプレートがあれば、当該基本のテンプ
レートとなる輪郭ストロークベクトル Rtemp(i,j)を
ｉ、あるいはｊ各次元内において、量子化ベクトルの頻
度分布パターンを一定量シフトさせたベクトル分布パタ
ーンを演算により求めることで、新たなテンプレート
（演算姿勢変化テンプレート）を生成することができ
る。

【０１０５】ベクトル方位正規化分布の頻度分布パター
ンをシフトさせて求めたテンプレート（演算姿勢変化テ
ンプレート）は、テンプレート対象の撮像物体を仮想的
に回転処理を施した際に生成される輪郭ストロークから
求められるベクトル方位分布とみなすことができる。

【０１０６】これは、輪郭ストロークの形状パターンを
表現する際に、そのストロークを構成するベクトルの相
対的な方位のみを扱っており、ストロークの位置は考慮
していないためである。

【０１０７】次に、姿勢情報検出手段９０５はステップ
Ｓ１１０１で得られた複数の分布パターン候補に対し
て、前記ベクトル方位分布正規化手段で得られる撮像画
像のベクトル方位分布パターンとの類似度を計算し、最
も適合する分布パターンを求める（図１１のステップＳ
１１０２）。

【０１０８】上の例では、Ｑxy-1個のテンプレート、お
よびにオリジナルのテンプレートに対して、式（７）記
載の評価式により、類似度の評価を行うことになる。

【０１０９】最後に、ステップＳ１１０２で得られた適
合分布パターンから、姿勢変化量を算出する（図１１の
ステップＳ１１０３）。

【０１１０】シフトするベクトル成分ｉ，ｊ、およびシ
フト量は、それぞれ空間回転方向、および回転量に相当
している。上述した式（４）に記載の量子化ベクトルの
場合、ｉ成分のシフトは、ＸＹ平面内のＺ軸に対する姿
勢回転変化、j成分のシフトは、Ｚ軸方向に対する傾き
変化とみなすことができる。さらに、変化量は、ｉ，ｊ
についての１シフト毎に、それぞれ２π／Ｑxy［radia
n］，π／Ｑz ［radian］と求めることが出来る。

【０１１１】以上のことから、最も適合するテンプレー
ト・パターンのｉ次元内シフト量がdelta であった場
合、テンプレート画像に対するＸＹ平面内のＺ軸周りの
回転量ＲｏｔＺは、以下のように求めることができる。

【０１１２】 RotZ ＝２π*delta／Ｑxy [radian] …式（８） 図１２は、認識対象が人差し指を１本突き出した状態の
手である場合においての姿勢情報検出手段９０５におけ
る姿勢情報検出の様子を示した図である。図１２の
（ａ）が撮像画像とＲ（ｉ，ｊ）‐ＵＶ（ｉ）特性図
（すなわち、テンプレート・パターン）であり、
（ｂ），（ｃ），（ｄ），…が各テンプレートの姿勢画
像とＲ（ｉ，ｊ）‐ＵＶ（ｉ）特性図（すなわち、テン
プレート・パターン）をそれぞれ示している。

【０１１３】図１２（ａ）が撮像画像の場合、評価値Ｄ
iffは、用意されたテンプレートのの場合でＤiff ＝
０．３４（図１２の（ｂ）の例）、そして、このテンプ
レートをシフト量“１”だけシフトさせて求めた新テン
プレート（演算姿勢変化テンプレート）の場合でＤiff
＝０．０９（図１２の（ｃ）の例）、そして、（ｂ）の
テンプレートをシフト量“２”だけシフトさせて求めた
新テンプレート（演算姿勢変化テンプレート）の場合で
Ｄiff＝０．１８（図１２の（ｄ）の例）、… と云う
具合になり、類似度評価のための評価式により求めた評
価値Ｄiff が最低の値を示すものが適合するテンプレー
トであるから、図１２の（ｃ）に示したシフト量“１”
のテンプレート・パターンと適合することがわかる。そ
して、このテンプレートは元となる図１２（ｂ）のテン
プレート（オリジナルのテンプレート）について、Ｚ軸
周りに２π／８＝π／４ [radian]回転させたものであ
ることから、このことから認識対象は、元となるテンプ
レートをＺ軸周りに２π／８＝π／４ [radian]回転し
た姿勢と認識することができる。

【０１１４】このようにして、少ないテンプレートから
計算により、姿勢を変えた別の各種テンプレートを求
め、これらテンプレートと認識対象を、類似度評価のた
めの評価式により求めた評価値Ｄiff による比較によっ
て適合するものを見つけ出すことで、認識対象の姿勢を
求めることができる。

【０１１５】認識対象の姿勢を求める手法としては、こ
の他、前記ベクトル方位分布パターン記憶手段９０６に
保存されている正規化方位分布パターンにおける姿勢代
表ベクトル（最も分布量の多い量子化ベクトル）ＵＶ_
Ｖtemp と、新たに取得した認識対象の撮像画像から得
られる輪郭ストロークを構成するベクトル方位正規化分
布から求められる姿勢代表ベクトルＵＶ_Ｖ とのベクト
ル差分から、直接、姿勢変化量を求めるようにすること
も可能である。この場合、回転軸をRotAxis 、そして、
回転量をRotAngleとすると、これら回転軸RotAxis およ
び回転量RotAngleは、以下のようにして求めることがで
きる。

【０１１６】 RotAxis ＝ UV_V ×UV_Vtemp （ベクトル外積） …式（９） RotAngle＝ arccos(UV_V・UV_Vtemp) （ベクトル内積） …式（１０） 以上、この第２の実施形態においては、あらかじめ認識
させたい対象物体の様々な姿勢での撮像画像（代表的姿
勢別に最低限１枚）を用いて、輪郭ストロークを構成す
る全ベクトル方位の正規化分布情報を得て、これを各種
姿勢別のオリジナルテンプレートとして保存しておき、
姿勢情報検出手段９０５には、認識対象の物体の像の輪
郭ストロークから得られるベクトル方位正規化分布の情
報をこのテンプレートおよびこのテンプレートから姿勢
変化計算により求めた新テンプレートである演算姿勢変
化テンプレートと比較させることにより、近いもの、す
なわち、類似度の高いものを以て認識対象の物体の形
状、姿勢、および姿勢変化量とするようにしたから、認
識対象の物体の形状認識、姿勢認識、および姿勢変化量
の検出が容易に行えて、形状パターンの認識、およびテ
ンプレート物体に対する姿勢変化量の認識ができるよう
になる。

【０１１７】また、第１の実施形態における構成では、
撮像対象の三次元的姿勢を定量的に評価できるのに対し
て、この第２の実施形態においては、テンプレートとし
て認識したい対象の輪郭ストローク情報をベクトル方位
分布として登録しておけるため、形状パターンの認識、
およびテンプレート物体に対する姿勢変化量の認識がで
きる構成となる。

【０１１８】なお、オリジナルテンプレートが豊富に用
意できている場合には、オリジナルテンプレートのみを
使用して比較させることにより、近いもの、すなわち、
類似度の高いものを以て認識対象の物体の形状、姿勢、
および姿勢変化量とすることができ、また、演算姿勢変
化テンプレートが豊富に用意できている場合には、演算
姿勢変化テンプレートのみを使用して比較させることに
より、近いもの、すなわち、類似度の高いものを以て認
識対象の物体の形状、姿勢、および姿勢変化量とするこ
とができ、これにより、認識対象の物体の形状認識、姿
勢認識、および姿勢変化量の検出うこともできる。

【０１１９】以上は、テンプレートを用いる認識の例で
あったが、認識対象の各部の表面における法線に着目す
ると、その認識対象の各部の傾きを知ることができ、認
識対象の姿勢情報を引き出すことが可能である。

【０１２０】従って、次に法線ベクトル方位頻度分布に
基づき、撮像物体の姿勢情報を検出する検出方式の例を
説明する。

【０１２１】（第３の実施形態）図１３は、本発明の第
３の実施形態に係る画像認識装置の全体構成図であっ
て、１３０１は画像取得手段、１３０２は法線検出手
段、１３０３は法線ベクトル方位量子化手段、１３０４
は法線ベクトル方位分布正規化手段、１３０５は姿勢情
報検出手段である。

【０１２２】これらのうち、画像取得手段１３０１は、
認識対象の物体の距離画像を取得するための撮像手段を
備えた構成であって、基本的には第１の実施形態で説明
した画像取得手段１０１と機能は同一である。また、法
線検出手段１３０２は画像取得手段１３０１で取得され
た距離画像から法線ベクトル情報を検出するためのもの
であり、法線ベクトル方位量子化手段１３０３は、前記
法線検出手段１３０２で検出した全法線ベクトルに対
し、そのベクトル方位成分に基づき量子化を行う量子化
手段である。

【０１２３】また、法線ベクトル方位分布正規化手段１
３０４は、前記法線ベクトル方向量子化手段１３０３で
取得した全法線ベクトルに関し、全量子化ベクトル方位
に対する分布状況の正規化を行う正規化手段であり、姿
勢情報検出手段１３０５は、前記法線ベクトル方位分布
正規化手段１３０４で計算された法線ベクトル方位正規
化分布に応じて、撮像物体の姿勢情報を検出するもので
ある。

【０１２４】次に、このような構成の本装置の作用を説
明する。画像取得手段１３０１の作用、および働きは、
第１の実施形態と同じである。

【０１２５】すなわち、第１の実施形態の構成要素であ
る画像取得手段１０１と同様の機能を持つ画像取得手段
１３０１により、被写体である認識対象物体（例えば、
人間の手、顔、全身など）を、その３次元形状を反映し
た奥行き値を持つ画像としての距離画像として所定時間
毎（例えば１／３０秒毎など）に取得することで、距離
画像による動画像（距離画像ストリーム）を得る。

【０１２６】そして、得られた距離画像の画像ストリー
ムは、法線検出手段１３０２に与えられ、当該法線検出
手段１３０２では、距離画像から撮像物体面で構成され
る法線を検出する。

【０１２７】法線検出処理は次のようにして行う。い
ま、距離画像における（ｘ，ｙ）なる座標位置の画素の
画素値（濃度値；距離情報に対応する）をＶ（ｘ，ｙ）
とし、３次元位置座標（ｘ，ｙ，Ｖ（ｘ，ｙ））で表現
される点とすると、Ｘ方向、Ｙ方向に隣り合う画素間の
関係から、前記（ｘ，ｙ）なる座標位置の画素の法線ベ
クトルＮ（ｘ，ｙ）を３次元的に求めることができる。

【０１２８】図１４を参照して説明すると、座標位置
（ｉ，ｊ）の画素の法線ベクトルＮ（ｉ，ｊ）は、以下
のように求めることができる。すなわち、図１４は３次
元空間における法線ベクトルＮ（ｉ，ｊ）を示してお
り、座標位置（ｉ，ｊ）の画素の画素値をＶ（ｉ，
ｊ）、隣接の画素（座標位置（ｉ＋１，ｊ）およびＶ
（ｉ，ｊ＋１））の画素値をＶ（ｉ＋１，ｊ）、Ｖ
（ｉ，ｊ＋１）とすると、 N(i,j)＝(V(i+1，j)−V(i，j))×(V(i，j+1)−V(i，j)) （ベクトル外積） …式（１１） と表せる。従って、これにより、前記（ｘ，ｙ）なる座
標位置の画素の法線ベクトルＮ（ｘ，ｙ）を３次元的に
求めることができる。

【０１２９】このような処理により法線検出手段１３０
２が求めた法線ベクトルは、法線ベクトル方位量子化手
段１３０３に与えられる。当該法線ベクトル方位量子化
手段１３０３では、第１の実施形態における構成要素で
あるベクトル方位量子化手段１０３で述べた輪郭ストロ
ークを構成する全ベクトルに対するそのベクトル方位成
分についての分布状況の正規化処理と同様の処理によ
り、法線ベクトルをベクトル長に応じて正規化する処理
を行い、量子化ベクトルとの相関を計算することで、法
線ベクトルと量子化ベクトルとの置き換えを行う。そし
て、これを法線ベクトル方位分布正規化手段１３０４に
与える。

【０１３０】法線ベクトル方位分布正規化手段１３０４
では、第１の実施形態における構成要素である前記ベク
トル方位分布正規化手段１０４の作用で述べた輪郭スト
ローク構成ベクトルに対する分布状況の正規化処理と同
様の処理により、前記法線ベクトル方位量子化手段１３
０３で求めた法線ベクトルに対し、そのベクトル方位に
基づく頻度分布を作成し、全法線ベクトル数に応じて頻
度分布の正規化処理を行う。

【０１３１】そして、姿勢情報検出手段１３０５では、
第１の実施形態における構成要素である前記姿勢情報検
出手段１０５における正規化ベクトル方位分布に対する
のと同様の処理により、前記法線ベクトル方位分布正規
化手段１３０４で求めた法線ベクトル方位頻度分布に基
づき、認識対象である撮像物体の姿勢情報（認識対象の
形状、３次元的姿勢、および姿勢変化量など）を検出す
る。

【０１３２】このようにして認識対象である撮像物体の
姿勢情報を検出するが、この第３の実施形態においての
第１の実施形態との相違点は、求めた量子化ベクトル方
位が、撮像物体面を代表する法線ベクトル成分であると
いう点である。

【０１３３】つまり、認識対象の各部の表面における法
線に着目することで、その認識対象の各部の傾きを法線
ベクトル方位頻度分布に基づいて、認識対象の姿勢情報
を引き出すことができ、法線情報に基づいた認識対象の
姿勢情報検出方式が実現できる。

【０１３４】（第４の実施形態）図１５は、本発明の第
４の実施形態に係る画像認識装置の全体構成図であっ
て、１５０１は画像取得手段、１５０２は法線検出手
段、１５０３は法線ベクトル方位量子化手段、１４０４
は法線ベクトル方位分布正規化手段、１５０５は姿勢情
報検出手段、１５０６は法線ベクトル方位分布パターン
格納手段である。

【０１３５】これらのうち、画像取得手段１５０１は、
距離画像を取得するための撮像手段を備えた構成であっ
て、基本的には第１の実施形態で説明した画像取得手段
１０１と機能は同一である。また、法線検出手段１５０
２は画像取得手段１５０１で取得された距離画像から法
線ベクトル情報を検出するためのものであって、第３の
実施形態における構成要素である法線検出手段１３０２
と基本的に同じものである。

【０１３６】また、法線ベクトル方位量子化手段１５０
３は、前記法線検出手段１５０２で検出した全法線ベク
トルに対し、そのベクトル方位成分に基づき量子化を行
う量子化手段であって、第３の実施形態における構成要
素である法線ベクトル方位量子化手段１３０３と基本的
に同じものである。

【０１３７】また、法線ベクトル方位分布正規化手段１
５０４は、前記法線ベクトル方向量子化手段１５０３で
取得した全法線ベクトルに関し、全量子化ベクトル方位
に対する分布状況の正規化を行う正規化手段であって、
第３の実施形態における構成要素である法線ベクトル方
位分布正規化手段１３０４と同じものであり、姿勢情報
検出手段１５０５は、前記法線ベクトル方位分布正規化
手段１３０４で計算された法線ベクトル方位正規化分布
に応じて、撮像物体の姿勢情報を検出するものであっ
て、これもまた第３の実施形態における構成要素である
姿勢情報検出手段１３０５と基本的には同じである。

【０１３８】但し、本実施形態においては、前記法線ベ
クトル方位分布正規化手段１５０４で求めたる全法線ベ
クトルの正規化方位分布情報を格納するための、法線ベ
クトル方位分布パターン格納手段１５０６があり、姿勢
情報検出手段１５０５には前記法線ベクトル方位分布パ
ターン格納手段１５０６に格納された法線ベクトル方位
正規化分布パターンと、前記法線ベクトル方位分布正規
化手段１５０４で計算された法線ベクトル方位正規化分
布情報とを比較することで、認識対象である撮像物体の
姿勢情報（認識対象の形状、３次元的姿勢、および姿勢
変化量など）を検出する機能が設けられている構成とな
っている。

【０１３９】ここで、本第４の実施形態と前述の第３の
実施形態との違いは、前記法線ベクトル方位分布正規化
手段１５０４で取得した法線ベクトル方位正規化分布情
報を、前記法線ベクトル方位分布パターン記憶手段１５
０６に保存しておき、前記姿勢情報検出手段１５０５
で、姿勢情報の認識に比較のためのパターン情報として
利用する点である。

【０１４０】次に、このような構成の本装置の作用を説
明する。画像取得手段１５０１、法線検出手段１５０
２、法線ベクトル方位量子化手段１５０３、および法線
ベクトル方位分布正規化手段１５０４の作用、および働
きは、第３の実施形態と同じである。

【０１４１】すなわち、第１の実施形態の構成要素であ
る画像取得手段１０１と同様の機能を持つ画像取得手段
１５０１により、被写体である認識対象物体（例えば、
人間の手、顔、全身など）を、その３次元形状を反映し
た奥行き値を持つ画像としての距離画像として所定時間
毎（例えば１／３０秒毎など）に取得することで、距離
画像による動画像（距離画像ストリーム）を得る。

【０１４２】そして、得られた距離画像の画像ストリー
ムは、法線検出手段１５０２に与えられ、当該法線検出
手段１５０２では、第３の実施形態の構成要素である法
線検出手段１３０２と同様の手法により、距離画像から
撮像物体面で構成される法線を検出して法線ベクトルを
求める。

【０１４３】法線検出手段１５０２が求めた法線ベクト
ルは、法線ベクトル方位量子化手段１５０３に与えられ
る。当該法線ベクトル方位量子化手段１５０３では、第
１および第３の実施形態における構成要素であるベクト
ル方位量子化手段１０３，１３０３で述べた輪郭ストロ
ークを構成する全ベクトルに対するそのベクトル方位成
分についての分布状況の正規化処理と同様の処理によ
り、法線ベクトルをベクトル長に応じて正規化する処理
を行い、量子化ベクトルとの相関を計算することで、法
線ベクトルと量子化ベクトルとの置き換えを行う。そし
て、これを法線ベクトル方位分布正規化手段１５０４に
与える。

【０１４４】法線ベクトル方位分布正規化手段１５０４
では、第１および第３の実施形態における構成要素であ
る前記ベクトル方位分布正規化手段１０４，１３０４の
作用で述べた輪郭ストローク構成ベクトルに対する分布
状況の正規化処理と同様の処理により、前記法線ベクト
ル方位量子化手段１５０３で求めた法線ベクトルに対
し、そのベクトル方位に基づく頻度分布を作成し、全法
線ベクトル数に応じて頻度分布の正規化処理を行う。

【０１４５】一方、法線ベクトル方位分布パターン記憶
手段１５０５は、前記法線ベクトル方位分布正規化手段
１５０４で取得した法線ベクトル方位正規化分布情報を
保存しておく。この場合、保存しておく法線ベクトル方
位正規化分布情報はテンプレートとしての利用に供する
ものであり、対象の物体に予め様々な姿勢をとらせ、そ
れを撮像して得た距離画像を元にして得た各姿勢別法線
ベクトル方位正規化分布情報（ベクトル方位正規化分布
パターン）である。

【０１４６】この各姿勢別法線ベクトル方位正規化分布
情報をスタンダードモデルすなわち、テンプレートとし
て保存するが、テンプレートとしては認識しようとする
物体のとり得る実際のあらゆる姿勢のものを用意すると
云うのは現実的でないので、第２の実施形態と同様に、
基本的な姿勢別に少なくとも１つづつ、用意する。もち
ろん、テンプレートとしての利用を考えた場合、可能な
限り、多くを保存しておいても構わない。

【０１４７】しかし、テンプレートとしては認識しよう
とする物体のとり得る実際のあらゆる姿勢のものを用意
すると云うのは現実的でない。

【０１４８】そこで、本実施例では、例えば、手のポー
ズの認識を対象とする場合には、手の仕草の典型例とし
ての“グー”のポーズ、“チョキ”のポーズ、“パー”
のポーズ、“人差し指の一本指し”のポーズと云った代
表的なものを最低１つずつ用意して、これより、計算に
より各種姿勢のテンプレート（演算姿勢変化テンプレー
ト）を求め、これらの基本となるテンプレートおよび演
算姿勢変化テンプレートと認識対象とを姿勢情報検出手
段１５０６で比較することで、姿勢認識を行う。演算姿
勢変化テンプレートの作成は、前記の基本となるテンプ
レートを用いてＸ，Ｙ，Ｚの軸回りに姿勢を変化させる
演算を施し、作成する。この演算による新たなテンプレ
ート作成により、テンプレートのパターンを増やし、こ
れらのテンプレートと認識対象とを比較することで、よ
り精密な姿勢認識を行うことができるようにするすなわ
ち、姿勢情報検出手段１５０６では、第２の実施形態に
おける前記姿勢情報検出手段９０５における、輪郭スト
ロークを構成するベクトル方位正規化分布に対する処理
と同様にして、前記法線ベクトル方位分布パターン記憶
手段１５０５に保存してあるスタンダードとしてのテン
プレートである法線ベクトル方位正規化分布パターン
と、これを元に演算により得たテンプレートを用い、認
識対象である物体の距離画像から新たに取得した前記法
線ベクトル方位分布正規化手段１５０４の法線ベクトル
方位正規化分布情報とを評価式による評価値を用いて比
較し、適合する分布パターンを検出することで、その分
布パターンを持つテンプレートの情報から撮像物体の３
次元的姿勢情報を認識する。

【０１４９】また、第２の実施形態での構成要素である
前記姿勢情報検出手段９０５における、ベクトル方位正
規化分布に対する処理と同様にして、前記法線ベクトル
方位分布パターン記憶手段１５０５に保存してある法線
ベクトル方位分布パターンを量子化単位に変位させるこ
とで、新たに生成される法線ベクトル方位分布パターン
と、前記法線ベクトル方位分布正規化手段１５０４で取
得される法線ベクトル方位正規化分布情報とから、撮像
物体の姿勢変化量を検出することも出来る。

【０１５０】さらに、第２の実施形態の構成要素である
前記姿勢情報検出手段９０５における、ベクトル方位正
規化分布に対する処理と同様にして、前記法線ベクトル
方位分布パターン記憶手段１５０５に保存してある法線
ベクトル方位分布パターンから求められる姿勢代表ベク
トルと、前記法線ベクトル方位分布正規化手段１５０４
で取得される法線ベクトル方位分布情報から得られる姿
勢代表ベクトルとから、姿勢変化量を直接検出すること
も出来る。

【０１５１】このようにして認識対象である撮像物体の
姿勢情報を、撮像物体面を代表する法線ベクトル成分に
基づいて検出するが、この第４の実施形態においての第
３の実施形態との相違点は、スタンダードとしてのテン
プレートを用意し、さらにこのテンプレートから演算に
より求めた各種状態を変化させたテンプレートを用意す
ると共に、これらのテンプレートと認識対象とを比較す
ることにより、得られる類似度の高さにの度合いに基づ
き、類似度の高いテンプレートの持つ情報から求めるよ
うにしているという点である。

【０１５２】つまり、認識対象の各部の表面における法
線に着目することで、その認識対象の各部の傾きを法線
ベクトル方位頻度分布に基づいて、認識対象の姿勢情報
を引き出すことができるが、その法線ベクトル方位頻度
分布を姿勢別に用意したテンプレートとの類似度の比較
（評価式による評価値の大きさ）により、適合度の高い
ものを見つけてそのテンプレートの本来的に持つ姿勢情
報を以て認識対象の姿勢を認識できるようにした認識対
象物体の姿勢情報検出方式が実現できる。

【０１５３】なお、オリジナルテンプレートが豊富に用
意できている場合には、オリジナルテンプレートのみを
使用して比較させることにより、近いもの、すなわち、
類似度の高いものを以て認識対象の物体の形状、姿勢、
および姿勢変化量とすることができ、また、演算姿勢変
化テンプレートが豊富に用意できている場合には、演算
姿勢変化テンプレートのみを使用して比較させることに
より、近いもの、すなわち、類似度の高いものを以て認
識対象の物体の形状、姿勢、および姿勢変化量とするこ
とができ、これにより、認識対象の物体の形状認識、姿
勢認識、および姿勢変化量の検出うこともできる。

【０１５４】ところで、撮像物体表面にミクロな変位が
あると撮像物体の３次元的姿勢情報もこれの影響を受け
てしまう心配がある。そこで、これを解消して撮像物体
の３次元的姿勢情報を精度良く求めることができる例を
次に第５の実施形態として説明する。

【０１５５】（第５の実施形態）画像特徴量としてモー
メント量を用いるようにし、これによって、撮像物体表
面のミクロな変位に依存することなく、撮像物体の３次
元的姿勢情報を精度良く求めることが可能となる例を次
に第５の実施形態として説明する。

【０１５６】図１６は、本発明の第５の実施形態に係る
画像認識装置の全体構成図であって、１６０１は距離画
像を取得するための撮像手段を備えた画像取得手段であ
り、１６０２はこの画像取得手段１６０１で取得された
撮像画像から画像特徴量を検出するための画像特徴量検
出手段である。また、１６０３は、前記画像特徴量検出
手段１６０２によって検出された画像特徴量に基づき、
撮像物体の姿勢情報を検出するための姿勢情報検出手段
である。

【０１５７】次に、このような構成の本システムの作用
を説明する。画像取得手段１６０１の作用、および働き
は、第１の実施形態での画像取得装置１０１と基本的に
は同じである。画像取得手段１６０１で得られた距離画
像は、画像特徴量検出手段１６０２に与えられる。この
画像特徴量検出手段１６０２では、前記画像取得手段１
６０１から与えられた距離画像から、画像特徴量を検出
する。

【０１５８】ここで画像特徴量検出手段１６０２の求め
る画像特徴量として、３次元モーメント量とすると、こ
の画像特徴量検出手段１６０２は次のようにして画像特
徴量としての３次元モーメント量を求めることになる。

【０１５９】今、画素（ｘ，ｙ）の距離画素値をＶ
（ｘ，ｙ）とすると、距離画像の各画素値は３次元空間
中の点（ｘ，ｙ，Ｖ（ｘ，ｙ））として表現することが
できる。そこで、距離画像中のすべての画素で構成され
る３次元点群に対して、３次元モーメント量の計算を行
う。

【０１６０】距離画像における各画素の２次までの３次
元モーメント量Ｍxyzは以下のように、求めることがで
きる（図１７参照）。なお、Ｍに付属する３桁の添え字
としての数字は“０”が０次、“１”が１次、“２”が
２次を示しており、Ｍ₀₀₀はｘ，ｙ，ｚが全て０次、Ｍ
₁₁₀はｘ，ｙが１次、そして、ｚが０次であることを示
し、Ｍ₂₀₀はｘが２次、そして、ｙとｚが０次であるこ
とを示す、と云った具合である。

【０１６１】 姿勢情報検出手段１６０３では、前記画像特徴量検出手
段１６０２で検出された画像特徴量（３次元モーメント
量Ｍxyz）をもとに、撮像物体の姿勢情報を検出するも
のである。

【０１６２】前記画像特徴量検出手段１６０２で取得し
た３次元モーメント量Ｍxyzを用いることで、Ｘ，Ｙ，
Ｚ各軸（Ｘ軸は横軸方向、Ｙ軸は縦軸方向、Ｚ軸は濃度
で画像取得手段の撮像位置に対する距離を反映する）に
対する撮像物体の構成する面の姿勢回転量を検出するこ
とができる。すなわち、Ｘ，Ｙ，Ｚ各軸周りの回転量を
それぞれ、θｘｙ，θｘｚ，θｙｚとし、また、ａ，
ｂ，ｃ，ｄ，ｅ，ｆを下式で示す変数とすると、以下の
ように求めることができる。

【０１６３】撮像物体の姿勢は図１７のような関係にあ
るとすると、 θxy＝arctan（ｄ，（ａ−ｂ））／２ …式（２２） θxz＝arctan（ｅ，（ａ−ｃ））／２ …式（２３） θyz＝arctan（ｆ，（ｂ−ｃ））／２ …式（２４） ただし、 ｘ_c＝Ｍ₁₀₀／Ｍ₀₀₀ …式（２５） ｙ_c＝Ｍ₀₁₀／Ｍ₀₀₀ …式（２６） ｚ_c＝Ｍ₀₀₁／Ｍ₀₀₀ …式（２７） ａ＝（Ｍ₂₀₀／Ｍ₀₀₀）−ｘ_c ² …式（２８） ｂ＝（Ｍ₀₂₀／Ｍ₀₀₀）−ｙ_c ² …式（２９） ｃ＝（Ｍ₀₀₂／Ｍ₀₀₀）−ｚ_c ² …式（３０） ｄ＝２（（Ｍ₁₁₀／Ｍ₀₀₀）−ｘ_cｙ_c） …式（３１） ｅ＝２（（Ｍ₁₀₁／Ｍ₀₀₀）−ｘ_cｚc） …式（３２） ｆ＝２（（Ｍ₀₁₁／Ｍ₀₀₀）−ｙ_cｚc） …式（３３） で求めることができる。そして、姿勢情報検出手段１６
０３は画像特徴量検出手段１６０２の求めた画像特徴量
としての３次元モーメント量から姿勢情報を求める。

【０１６４】このように、第５の実施形態では、画像特
徴量としてモーメント量を用いるようにしたことで、撮
像物体表面のミクロな変位に依存することなく、撮像物
体の３次元的姿勢情報を精度良く求めることが可能とな
り、認識対象である撮像物体表面にミクロな変位があっ
ても、これの影響を受けることなく、３次元的姿勢情報
を精度良く求めることができるようになる。

【０１６５】以上、種々の実施例を説明したが、本発明
は上述した実施例に限定することなく、種々変形して実
施可能である。また、第１ないし第５の実施形態に記載
した手法は、コンピュータに実行させることのできるプ
ログラムとして、磁気ディスク（フロッピー（登録商
標）ディスク、ハードディスクなど）、光ディスク（Ｃ
Ｄ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒
体に格納して頒布することもできる。

【０１６６】

【発明の効果】以上、詳述したように、本発明によれ
ば、対象物体を撮像した距離画像から、撮像対象の３次
元的姿勢、形状、およびに姿勢変化量を高速、かつ安定
して検出することができる画像認識装置および画像認識
方法を提供できる。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、本発明の
第１の実施形態に係る画像認識装置の構成例を概略的に
示す図である。

【図２】本発明を説明するための図であって、本発明で
用いる距離画像について説明するための図である。

【図３】本発明を説明するための図であって、本発明の
第１の実施形態に係る画像認識装置の輪郭ストローク検
出手段における、輪郭ストローク検出処理の流れを説明
するための図である。

【図４】本発明を説明するための図であって、本発明の
第１の実施形態に係る画像認識装置の輪郭ストローク検
出処理におけるストローク構成点列と点列間を結ぶベク
トルとの関係を説明するための図である。

【図５】本発明を説明するための図であって、本発明の
第１の実施形態に係る画像認識装置での検出した輪郭ス
トロークと撮像画像との関係を説明するための図であ
る。

【図６】本発明を説明するための図であって、本発明の
第１の実施形態に係る画像認識装置でのベクトル方位量
子化手段における、輪郭ストロークを構成するベクトル
方位の量子化を行う処理の流れを説明するための図であ
る。

【図７】本発明を説明するための図であって、本発明の
第１の実施形態に係る画像認識装置でのベクトル方位の
量子化に用いる量子化ベクトルを説明するための図であ
る。

【図８】本発明を説明するための図であって、本発明の
第１の実施形態に係る画像認識装置での ベクトル方位
分布正規化手段におけるベクトル頻度分布の正規化処理
と、姿勢情報検出手段における姿勢代表ベクトルの検出
を説明するための図である。

【図９】本発明を説明するための図であって、本発明の
第２の実施形態に係る画像認識装置の構成例を概略的に
示す図である。

【図１０】本発明を説明するための図であって、本発明
の第２の実施形態における姿勢情報検出手段において、
姿勢パターン検出の様子を説明するための図である。

【図１１】本発明を説明するための図であって、本発明
の第２の実施形態における姿勢情報検出手段における、
分布パターンの自動生成による姿勢変化量検出処理の流
れを説明するための図である。

【図１２】本発明を説明するための図であって、本発明
の第２の実施形態における姿勢情報検出手段における、
分布パターンの自動生成による姿勢変化量検出の様子を
説明するための図である。

【図１３】本発明を説明するための図であって、本発明
の第３の実施形態に係る画像認識装置の構成例を概略的
に示す図である。

【図１４】本発明を説明するための図であって、本発明
の第３の実施形態における法線検出手段において、法線
検出の様子を説明するための図である。

【図１５】本発明を説明するための図であって、本発明
の第４の実施形態に係る画像認識装置の構成例を概略的
に示すブロック構成図である。

【図１６】本発明を説明するための図であって、本発明
の第５の実施形態に係る画像認識装置の構成例を概略的
に示すブロック構成図である。

【図１７】本発明を説明するための図であって、本発明
の第５の実施形態を説明するための図である。

【符号の説明】

１０１，９０１，１３０１，１５０１，１６０１…画像
取得手段 １０２，９０２…輪郭ストローク検出手段 １０３，９０３…ベクトル方位量子化手段 １０４，９０４…ベクトル方位分布正規化手段 １０５，９０５，１３０５，１５０５，１６０３…姿勢
情報検出手段 ９０６…ベクトル方位分布パターン格納手段 １３０２，１５０２…法線検出手段 １３０３，１５０３…法線ベクトル方位量子化手段 １３０４，１５０４…法線ベクトル方位分布正規化手段 １５０６…法線ベクトル方位分布パターン格納手段 １６０２…画像特徴量検出手段。

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 9/20 Ｇ０６Ｆ 15/70 ３３５Ｚ Ｆターム(参考） 2F065 AA04 AA06 AA31 AA37 AA39 AA51 BB05 CC16 DD06 FF04 FF42 FF61 GG21 JJ03 JJ26 QQ00 QQ03 QQ24 QQ25 QQ28 QQ38 QQ41 QQ42 5B057 CA08 CA12 CA16 CB13 CB17 CG06 DA17 DB03 DC07 DC08 DC09 DC17 5L096 AA09 EA18 EA23 FA06 FA13 FA66 FA67 GA47 JA09

Claims (18)

【特許請求の範囲】
1. 【請求項１】被写体の像を、その離間距離対応の濃度で
   撮像した距離画像として出力する画像取得手段と、 この画像取得手段にて取得した距離画像から前記被写体
   の姿勢情報を検出する姿勢情報検出手段と、を具備する
   ことを特徴とする画像情報認識装置。
2. 【請求項２】被写体の像を、その離間距離対応の濃度で
   撮像した距離画像として出力する画像取得手段と、 前記画像取得手段が取得した距離画像から被写体像の輪
   郭を構成するストローク情報を検出する輪郭ストローク
   検出手段と、 前記輪郭ストローク検出手段で検出した輪郭ストローク
   を構成する全ベクトルに対し、そのベクトル方位に基づ
   き量子化を行うベクトル方位量子化手段と、 前記ベクトル方位量子化手段で取得された各量子化ベク
   トル方位から、輪郭ストロークを構成する全ベクトルの
   方位分布を正規化するベクトル方位分布正規化手段と、 前記ベクトル方位分布正規化手段で正規化されたベクト
   ル方位分布に応じて前記被写体の姿勢情報を検出する姿
   勢情報検出手段と、を具備することを特徴とする画像情
   報認識装置。
3. 【請求項３】被写体の像を、その離間距離対応の濃度で
   撮像した距離画像として出力する画像取得手段と、 前記画像取得手段が取得した距離画像から被写体像の輪
   郭を構成するストローク情報を検出する輪郭ストローク
   検出手段と、 前記輪郭ストローク検出手段で検出した輪郭ストローク
   を構成する全ベクトルに対し、そのベクトル方位に基づ
   き量子化処理するベクトル方位量子化手段と、 前記ベクトル方位量子化手段で量子化されて取得された
   各量子化ベクトル方位から、輪郭ストロークを構成する
   全ベクトルの方位分布を正規化するベクトル方位分布正
   規化手段と、 前記ベクトル方位分布正規化手段で正規化されて得られ
   た輪郭ストロークの正規化方位分布情報を格納するベク
   トル方位分布パターン格納手段と、 被写体の姿勢認識時でのその被写体の距離画像を用いて
   前記ベクトル方位分布正規化手段により得た正規化方位
   分布と前記ベクトル方位分布パターン格納手段に格納さ
   れた正規化方位分布情報とを比較することにより、当該
   姿勢認識対象被写体の姿勢情報を検出する姿勢情報検出
   手段と、を具備することを特徴とする画像情報認識装
   置。
4. 【請求項４】前記姿勢情報検出手段は、 被写体の姿勢認識時にその被写体の距離画像を用いて前
   記前記ベクトル方位分布正規化手段で得た正規化方位分
   布と、前記ベクトル方位分布パターン格納手段に格納さ
   れた正規化方位分布情報での正規化方位分布パターンお
   よび当該ベクトル方位分布パターン格納手段に格納され
   た正規化方位分布情報を量子化単位に変位させることで
   新たに生成される正規化方位分布パターンのうちの少な
   くとも一方とを比較することにより、姿勢認識対象の被
   写体の姿勢変化量を検出する構成とすることを特徴とす
   る請求項２に記載の画像情報認識装置。
5. 【請求項５】被写体の像を、その離間距離対応の濃度で
   撮像した距離画像として取得する画像取得手段と、 前記画像取得手段が取得した距離画像から前記被写体の
   姿勢を構成する法線情報を検出する法線検出手段と、 前記法線検出手段で検出した全法線ベクトルに対し、そ
   のベクトル方位に基づき量子化を行う法線ベクトル方位
   量子化手段と、 前記法線ベクトル方位量子化手段で取得された各量子化
   法線ベクトル方位から、全法線ベクトルの方位分布を正
   規化する法線ベクトル方位分布正規化手段と、 前記法線ベクトル方位分布正規化手段で正規化された法
   線ベクトル方位分布に応じて前記被写体の姿勢情報を検
   出する姿勢情報検出手段と、を具備することを特徴とす
   る画像情報認識装置。
6. 【請求項６】被写体の像を、その離間距離対応の濃度で
   撮像した距離画像として取得する画像取得手段と、 前記画像取得手段が取得した距離画像から前記被写体の
   姿勢を構成する法線情報を検出する法線検出手段と、 前記法線検出手段で検出した全法線ベクトルに対し、そ
   のベクトル方位に基づき量子化処理する法線ベクトル方
   位量子化手段と、 前記法線ベクトル方位量子化手段で取得された各量子化
   法線ベクトル方位から、全法線ベクトルの方位分布を正
   規化する法線ベクトル方位分布正規化手段と、 前記法線ベクトル方位分布正規化手段で求めた法線の正
   規化方位分布情報を格納する法線ベクトル方位分布パタ
   ーン格納手段と、 被写体の姿勢認識時でのその被写体の距離画像を用いて
   の前記法線ベクトル方位分布正規化手段で得た正規化法
   線方位分布と、前記法線ベクトル方位分布パターン格納
   手段に格納された正規化法線方位分布情報とを比較する
   ことにより、当該姿勢認識対象の被写体の姿勢情報を検
   出する姿勢情報検出手段と、を具備することを特徴とす
   る画像情報認識装置。
7. 【請求項７】前記姿勢情報検出手段は、 被写体の姿勢認識時でのその被写体の距離画像を用いて
   の前記法線ベクトル方位分布正規化手段で得た正規化法
   線方位分布と、前記法線ベクトル方位分布パターン格納
   手段に格納された正規化法線方位分布情報による正規化
   法線方位分布パターンおよび前記法線ベクトル方位分布
   パターン格納手段に格納された正規化法線方位分布情報
   を量子化単位に変位させることで新たに生成される正規
   化法線方位分布パターンのうちの少なくとも一方とを比
   較することにより、当該姿勢認識対象の被写体の姿勢情
   報を検出する構成とすることを特徴とする請求項６に記
   載の画像情報認識装置。
8. 【請求項８】被写体像を、その離間距離対応の濃度で撮
   像した距離画像として取得する画像取得手段と、 前記画像取得手段が取得した距離画像から画像特徴量を
   検出するための画像特徴量検出手段と、 前記画像特徴量検出手段から検出された画像特徴量から
   被写体の姿勢を検出する姿勢情報検出手段と、を具備す
   ることを特徴とする画像情報認識装置。
9. 【請求項９】前記画像特徴量検出手段は、距離画像から
   得られるモーメント量を検出する構成とすると共に、前
   記姿勢情報検出手段は前記画像特徴量検出手段で検出さ
   れたモーメント量を基に、姿勢認識対象の被写体の姿勢
   情報を検出する構成とすることを特徴とする請求項８に
   記載の画像情報認識装置。
10. 【請求項１０】被写体を、その離間距離対応の濃度で撮
    像した距離画像から前記被写体像の輪郭を構成するスト
    ローク情報を検出する輪郭ストローク検出ステップと、 この検出した輪郭ストロークを構成する全ベクトルに対
    し、そのベクトル方位に基づき量子化するベクトル方位
    量子化ステップと、 前記ベクトル方位量子化ステップにて取得した各量子化
    ベクトル方位から、輪郭ストロークを構成する全ベクト
    ルの方位分布を正規化するベクトル方位分布正規化ステ
    ップと、 前記ベクトル方位分布正規化ステップで正規化されたベ
    クトル方位分布に応じて前記被写体の姿勢情報を検出す
    る姿勢情報検出ステップと、を具備することを特徴とす
    る画像情報認識方法。
11. 【請求項１１】被写体を、その離間距離対応の濃度で撮
    像した距離画像から被写体像の輪郭を構成するストロー
    ク情報を検出する輪郭ストローク検出ステップと、 前記輪郭ストローク検出ステップで検出した輪郭ストロ
    ークを構成する全ベクトルに対し、そのベクトル方位に
    基づき量子化処理するベクトル方位量子化ステップと、 前記ベクトル方位量子化ステップで得た各量子化ベクト
    ル方位から、輪郭ストロークを構成する全ベクトルの方
    位分布を正規化するベクトル方位分布正規化ステップ
    と、 前記ベクトル方位分布正規化ステップで得た輪郭ストロ
    ークの正規化方位分布情報を格納するベクトル方位分布
    パターン格納ステップと、 被写体の姿勢認識時でのその被写体の距離画像を用いて
    前記ベクトル方位分布正規化ステップにて得た正規化方
    位分布と前記ベクトル方位分布パターン格納ステップで
    格納した正規化方位分布情報とを比較することにより、
    当該姿勢認識対象被写体の姿勢情報を検出する姿勢情報
    検出ステップと、を具備することを特徴とする画像情報
    認識方法。
12. 【請求項１２】被写体を、その離間距離対応の濃度で撮
    像した距離画像から当該被写体像の姿勢を構成する法線
    情報を検出する法線検出ステップと、 前記法線検出ステップで検出した全法線ベクトルに対
    し、そのベクトル方位に基づき量子化する法線ベクトル
    方位量子化ステップと、 前記法線ベクトル方位量子化ステップで得た各量子化法
    線ベクトル方位から、全法線ベクトルの方位分布を正規
    化する法線ベクトル方位分布正規化ステップと、 前記法線ベクトル方位分布正規化ステップで正規化され
    た法線ベクトル方位分布に応じて前記被写体の姿勢情報
    を検出する姿勢情報検出ステップと、を具備することを
    特徴とする画像情報認識方法。
13. 【請求項１３】被写体を、その離間距離対応の濃度で撮
    像した距離画像から被写体像の姿勢を構成する法線情報
    を検出する法線検出ステップと、 前記法線検出ステップで検出した全法線ベクトルに対
    し、そのベクトル方位に基づき量子化処理する法線ベク
    トル方位量子化ステップと、 前記法線ベクトル方位量子化ステップで得た各量子化法
    線ベクトル方位から、全法線ベクトルの方位分布を正規
    化する法線ベクトル方位分布正規化ステップと、 前記法線ベクトル方位分布正規化手段で求めた法線の正
    規化方位分布情報を格納する法線ベクトル方位分布パタ
    ーン格納手段と、 被写体の姿勢認識時でのその被写体の距離画像を用いて
    の前記法線ベクトル方位分布正規化手段で得た正規化法
    線方位分布と、前記法線ベクトル方位分布パターン格納
    手段に格納された正規化法線方位分布情報とを比較する
    ことにより、当該姿勢認識対象の被写体の姿勢情報を検
    出する姿勢情報検出手段と、を具備することを特徴とす
    る画像情報認識方法。
14. 【請求項１４】認識をする対象の物体の距離画像から輪
    郭を構成するストローク構成ベクトル分布を求め、スト
    ローク構成ベクトル分布単体、あるいは、別途登録され
    たストローク構成ベクトル分布との比較を実施し、その
    比較結果から前記認識対象の物体の姿勢、あるいは形状
    情報を認識させることを特徴とするコンピュータで読取
    り可能で、かつ、実行可能な画像情報認識プログラムを
    記録した記録媒体。
15. 【請求項１５】被写体を、その離間距離対応の濃度で撮
    像した距離画像から被写体像の輪郭を構成するストロー
    ク情報を検出する輪郭ストローク検出ステップと、 この検出した輪郭ストロークを構成する全ベクトルに対
    し、そのベクトル方位に基づき量子化するベクトル方位
    量子化ステップと、 前記ベクトル方位量子化ステップにて取得した各量子化
    ベクトル方位から、輪郭ストロークを構成する全ベクト
    ルの方位分布を正規化するベクトル方位分布正規化ステ
    ップと、 前記ベクトル方位分布正規化ステップで正規化されたベ
    クトル方位分布に応じて前記被写体の姿勢情報を検出す
    る姿勢情報検出ステップと、を具備することを特徴とす
    るコンピュータで読取り可能で、かつ、実行可能な画像
    情報認識プログラムを記録した記録媒体。
16. 【請求項１６】被写体を、その離間距離対応の濃度で撮
    像した距離画像から被写体像の輪郭を構成するストロー
    ク情報を検出する輪郭ストローク検出ステップと、 前記輪郭ストローク検出ステップで検出した輪郭ストロ
    ークを構成する全ベクトルに対し、そのベクトル方位に
    基づき量子化処理するベクトル方位量子化ステップと、 前記ベクトル方位量子化ステップで得た各量子化ベクト
    ル方位から、輪郭ストロークを構成する全ベクトルの方
    位分布を正規化するベクトル方位分布正規化ステップ
    と、 前記ベクトル方位分布正規化ステップで得た輪郭ストロ
    ークの正規化方位分布情報を格納するベクトル方位分布
    パターン格納ステップと、 被写体の姿勢認識時でのその被写体の距離画像を用いて
    前記ベクトル方位分布正規化ステップにて得た正規化方
    位分布と前記ベクトル方位分布パターン格納ステップで
    格納した正規化方位分布情報とを比較することにより、
    当該姿勢認識対象被写体の姿勢情報を検出する姿勢情報
    検出ステップと、を具備することを特徴とするコンピュ
    ータで読取り可能で、かつ、実行可能な画像情報認識プ
    ログラムを記録した記録媒体。
17. 【請求項１７】被写体を、その離間距離対応の濃度で撮
    像した距離画像から被写体の表面の法線情報を検出する
    法線検出ステップと、 前記法線検出ステップで検出した全法線ベクトルに対
    し、そのベクトル方位に基づき量子化する法線ベクトル
    方位量子化ステップと、 前記法線ベクトル方位量子化ステップで得た各量子化法
    線ベクトル方位から、全法線ベクトルの方位分布を正規
    化する法線ベクトル方位分布正規化ステップと、 前記法線ベクトル方位分布正規化ステップで正規化され
    た法線ベクトル方位分布に応じて前記被写体の姿勢情報
    を検出する姿勢情報検出ステップと、を具備することを
    特徴とするコンピュータで読取り可能で、かつ、実行可
    能な画像情報認識プログラムを記録した記録媒体。
18. 【請求項１８】被写体を、その離間距離対応の濃度で撮
    像した距離画像から被写体の表面の法線情報を検出する
    法線検出ステップと、 前記法線検出ステップで検出した全法線ベクトルに対
    し、そのベクトル方位に基づき量子化処理する法線ベク
    トル方位量子化ステップと、 前記法線ベクトル方位量子化ステップで得た各量子化法
    線ベクトル方位から、全法線ベクトルの方位分布を正規
    化する法線ベクトル方位分布正規化ステップと、 前記法線ベクトル方位分布正規化手段で求めた法線の正
    規化方位分布情報を格納する法線ベクトル方位分布パタ
    ーン格納手段と、 被写体の姿勢認識時でのその被写体の距離画像を用いて
    の前記法線ベクトル方位分布正規化手段で得た正規化法
    線方位分布と、前記法線ベクトル方位分布パターン格納
    手段に格納された正規化法線方位分布情報とを比較する
    ことにより、当該姿勢認識対象の被写体の姿勢情報を検
    出する姿勢情報検出手段と、を具備することを特徴とす
    るコンピュータで読取り可能で、かつ、実行可能な画像
    情報認識プログラムを記録した記録媒体。