JP2003271929A - ロボットの物体認識方法 - Google Patents

Abstract

(57)【要約】 【課題】コンピュータグラフィックスを用いた効果的な
ロボットの物体認識方法を提供する。 【解決手段】計算機内に３次元モデルを格納する３次元
モデル格納部、計算機上の３次元空間内で前記３次元モ
デルを様々な視点で撮影し画像を得る写真撮影手段、前
記写真撮影部で取得した画像から物体の特徴を抽出する
写真分析手段、前記写真分析手段で抽出された物体の特
徴を物体の知識へと格納する知識格納手段から前記３次
元モデルの特徴を物体の知識へと格納する学習部と、実
世界の物体を撮影し画像を得る写真撮影手段、前記写真
撮影部で取得した画像から物体の特徴を抽出する写真分
析手段、前記写真分析手段で抽出された物体の特徴と前
記知識格納手段で蓄積された物体の知識から物体を認識
する画像比較手段から構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ロボットの物体認
識装置に関し、特に３次元物体を認識するための物体認
識装置に関する。

【０００２】

【従来の技術】従来、三次元物体の認識に関しては、三
次元モデルの特徴を物体の圧縮データとして蓄積する手
法が利用されている。例えば、特許出願２００１−２７
３４９５の「物体認識装置」では、顔の形状とテクスチ
ャをそれぞれ計算機に入力し、顔の形状とテクスチャの
それぞれの統計モデルを作成することで、物体の形状を
考慮して物体を正確に認識することができる。

【０００３】

【発明が解決しようとする課題】しかし、先の物体認識
装置では、特定の物体を認識する際には有効であるが、
多くの種類の物体から、１つの物体を特定するという一
般的な物体認知の問題には有効ではない。また、最適な
統計モデルを作成する際、１つ１つのデータを手動で入
力しなければならないので、手間がかかる。本発明は、
このような課題を解決するためになされたもので、この
発明の目的は特定の物体を認識するためだけではなく、
形状の類似した物体をも認識できる物体認識装置を提供
することである。また、この発明のもう一つの目的は学
習時に三次元モデルを手間をかけずに入力することので
きる物体認識装置を提供することである。

【０００４】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明は計算機内に３次元モデルを格納する３次
元モデル格納手段、計算機上の３次元空間内で前記３次
元モデルを様々な視点で撮影し画像を得る写真撮影手
段、前記写真撮影手段で取得した画像から物体の特徴を
抽出する写真分析手段、前記写真分析手段で抽出された
物体の特徴を物体の知識へと格納する知識格納手段から
前記３次元モデルの特徴を物体の知識へと格納する学習
部と、実世界の物体を撮影し画像を得る写真撮影手段、
前記写真撮影手段で取得した画像から物体の特徴を抽出
する写真分析手段、前記写真分析手段で抽出された物体
の特徴と前記知識格納手段で蓄積された物体の知識から
物体を認識する画像比較手段から実世界の物体を認識す
る認識部とを含む。

【０００５】

【実施例】以下、本発明の実施の形態について図面を参
照して説明する。

【０００６】図１は、本発明の実施の形態の１つにおけ
るロボットの物体認識装置の構成を示すブロック図であ
る。本発明は、学習部ａ２と認識部ａ６から構成され
る。

【０００７】図１を参照して、学習部ａ２は、計算機上
に表示した３次元モデルａ１の画像を撮影し、その画像
内の物体の特徴を抽出し、その特徴を学習して物体の知
識ａ３に格納する。認識部ａ６は、カメラａ４により撮
影した物体の２次元画像を、学習部ａ２により蓄積され
た物体の知識ａ３を用いて認識し、認識結果ａ７を出力
する。また、破線のカメラａ８を加え、同一物体の異な
る視点から見た画像を２枚撮影し、２枚の写真の認識か
ら物体を認識するためにカメラ２台ａ４、ａ８から構成
してもよい。もちろん、この部分はカメラ１台でもロボ
ットが移動することにより、同一物体の異なる視点から
見た画像を２枚撮影するように構成してもよい。以下
に、学習部ａ２と認識部ａ６の動作原理について示す。

【０００８】図２は、図１に示した学習部ａ２のブロッ
ク図である。学習部ａ２は、計算機上に表示した３次元
モデルｂ１の形状ｂ２から３次元モデルの２次元画像デ
ータｂ５を抽出する写真撮影手段ｂ４と、２次元画像デ
ータｂ５から物体の特徴データｂ７を抽出する写真分析
手段ｂ６と、物体の特徴データｂ７と３次元モデルｂ１
の名前ｂ３を物体の知識ｂ９へ格納する知識格納手段ｂ
８から構成される。

【０００９】図３は、図１に示した認識部ａ６のブロッ
ク図である。図３を参照して、認識部ａ６は、物体の実
画像ｃ１から物体の特徴データｃ３を抽出する写真分析
手段ｃ２と、物体の特徴データｃ３と学習部ａ２により
蓄積した物体の知識ｃ４を比較し認識結果ｃ６を出力す
る画像比較手段ｃ５から構成される。ここで、写真分析
手段ｃ２は、図２に示した写真分析手段ｂ４と同一の処
理を行うものである。

【００１０】図４は、図１に示した認識部ａ６の構成に
ついて、２次元画像ａ５を２枚入力するためにカメラａ
４とａ８の２台を使用した場合の認識部ａ６のブロック
図である。図４を参照して、認識部ａ６は、物体の実画
像１ｄ１から物体の特徴データ１ｄ３を抽出する写真分
析手段ｄ２と、物体の特徴データ１ｄ３と学習部ａ２に
より蓄積した物体の知識ｄ７を比較し、認識結果１ｄ１
０を出力する画像比較手段ｄ８と、同様に物体の実画像
２ｄ４から物体の特徴データ２ｄ６を抽出する写真分析
手段ｄ５と、物体の特徴データ２ｄ６と学習部ａ２によ
り蓄積した物体の知識ｄ７とを比較し、認識結果２ｄ１
１を出力する画像比較手段ｄ１２から構成される。ここ
で、写真分析手段ｄ２と写真分析手段ｄ５は、図２に示
した写真分析手段ｂ４と同一の処理を行うものである。
また、画像比較手段ｄ８と画像比較手段ｄ８は同一の処
理を行うものである。

【００１１】図５は、図２に示した写真分析手段ｂ６の
原理の一例を説明するブロック図である。図５を参照し
て、写真分析手段ｂ６は、２次元画像ｅ１の画像サイズ
を統一し、色情報をＲＧＢからＹＩＱへと変換する正規
化手段ｅ２と、正規化画像ｄ３をウェーブレット変換に
より解像度解析し、低周波画像ｅ５を抽出するウェーブ
レット変換手段ｅ４と、低周波画像ｅ５から物体の特徴
データｅ７を抽出する特徴抽出手段ｅ６とを含む。

【００１２】図６は、図１に示した学習部ａ２の動作を
簡単に説明するためのフロー図である。図６と図２を参
照して、動作について簡単に説明すると、ステップｆ１
では、計算機上に表示された３次元モデルｂ１の写真画
像ｂ５を写真撮影手段ｂ４において撮影する。図８はコ
ンピュータグラフィックスを用いて計算機上に表示した
３次元モデルｂ１の例である。それぞれの３次元モデル
は、その形状情報ｂ２をもとに、計算機上に表示されて
いる。また、３次元モデルの撮影においては、ロボット
から見た視点からの画像のみを撮影の対象とすること
で、物体の認識に有効かつ適量の物体の特徴データを得
ることができる。

【００１３】ステップｆ２では、写真分析手段ｂ６にお
いて、撮影された写真画像ｂ５から物体の特徴データｂ
７を抽出する。写真分析手段ｂ６における処理の流れは
後述する。物体の特徴データは写真画像の物体情報を圧
縮した２次元画像データの形で抽出される。

【００１４】ステップｆ３では、抽出した物体の特徴デ
ータｂ７が物体の知識ｂ９に既に格納されているか判断
する。図１２は物体の知識ｂ９の概念図である。図１２
を参照して、物体の知識１１には、物体のデータが一つ
ずつ順に格納され、それぞれの物体データ１２と１６
は、その物体の名前と物体の特徴データを持つ。

【００１５】ステップｆ４では、一つの物体が既に十分
学習されているかを判断する。一つの物体につき、既に
十分な量の物体の特徴データが物体の知識ｂ９に格納さ
れていれば、学習を終了する。しかし、まだ十分な量の
物体の特徴データが物体の知識に格納されていなけれ
ば、物体を見る視点を所定角度ずつ変えることにより、
同一物体の別の視点から見た画像を再び学習するとし、
ステップｆ４に進む。

【００１６】ステップｆ５では、ロボットが物体を見る
視点を所定角度変更する。

【００１７】図７は、図１に示した認識部ａ６の動作を
簡単に説明するためのフロー図である。図７と図３を参
照して、動作について簡単に説明すると、ステップｇ１
では、カメラａ４により物体の実画像ｃ１を撮影する

【００１８】ステップｇ２では、写真分析手段ｃ２によ
り実画像ｃ１から物体の特徴データｃ３を抽出する。写
真分析手段ｃ６における処理の詳細は後述する。物体の
特徴データは写真画像の物体情報を圧縮した２次元画像
データの形で抽出される。

【００１９】ステップｇ３では、画像比較手段ｃ５によ
り、物体の知識ｃ４に格納されている物体の特徴データ
と先の写真分析手段ｃ２により抽出された物体の特徴デ
ータｃ３の差分をテンプレートマッチングにより計算す
る。テンプレートマッチングにより、２つの特徴データ
の差分が小さいほど、それぞれの物体は類似した物体と
いうことが言える。このようにして、物体の知識ｃ４に
格納されている全ての物体の特徴データと物体の特徴デ
ータｃ３との差分をテンプレートマッチングにより計算
する。

【００２０】ステップｇ４では、物体の知識ｃ４に格納
されている全ての物体において、算出された差分のうち
最も小さい値を持つ物体の名前を認識結果ｃ６として出
力する。

【００２１】図８は、図１に示した認識部ａ６におい
て、２次元画像ａ５を２枚入力するためにカメラａ４と
ａ８の２台を使用した場合の認識部ａ６の動作を簡単に
説明するためのフロー図である。図８と図４を参照し
て、動作について簡単に説明すると、ステップｈ１で
は、物体の撮影用フラグであり、初期値に０を代入す
る。ｆｌａｇ＝０では物体の写真１枚を認識に用い、ｆ
ｌａｇ＝１では物体の写真２枚を認識に用いる。また、
認識結果識別変数ｉの初期値として、１を代入する。

【００２２】ステップｈ２では、カメラにより物体の実
画像１ｄ１を撮影する。

【００２３】ステップｆ３では、写真分析手段ｄ２によ
り実画像１ｄ１から物体の特徴データｃ３を抽出する。
写真分析手段ｄ６における処理の詳細は後述する。物体
の特徴データは写真画像の物体情報を圧縮した２次元画
像データの形で抽出される。

【００２４】ステップｈ４では、画像比較手段ｄ８によ
り物体の知識ｄ７に格納されている物体の特徴データと
物体の特徴データ１ｄ３の差分テンプレートマッチング
により計算する。テンプレートマッチングにより、２つ
の特徴データの差分が小さいほど、それぞれの物体は類
似した物体ということが言える。物体の知識ｄ７に格納
されている全ての物体の特徴データと物体の特徴データ
ｂ７との差分をテンプレートマッチングにより計算し、
物体の知識に格納されている物体のうち、差分の最も小
さい物体の名前とその差分値を認識結果１ｄ１０に格納
する。

【００２５】ステップｈ６では、認識結果１ｃ１０にお
ける差分が１０より大きければステップｈ７へ、差分が
１０以下であればステップｈ１０へ進む。認識結果１ｄ
１０における差分は、テンプレートマッチングにより算
出した２枚の画像の差を計算したものであり、その差分
が１０以下であれば、２枚の画像における物体がほとん
ど同一であるとし、その認識結果が信用できるものと判
断する。この場合、入力する実画像は、カメラａ４（図
１参照）で撮影した実画像１枚のみで物体の認識が可能
である。また、差分が１０より大きければ、２台のカメ
ラａ４とａ８（図１参照）により、同じ物体を別の視点
から見た画像を認識し、２枚の画像の認識結果より最終
的な認識結果を判断し、認識の信頼性を高める。また、
上述したとおり、カメラａ４の１台でも良く、その場合
はロボットが駆動することにより、物体を見る視点を変
え、別の視点から見た物体の写真を撮影し、２枚の画像
を取得する。

【００２６】ステップｈ７では、ｆｌａｇに１を代入す
ることにより、物体の実画像を２枚撮影したことを後の
処理に知らせる。

【００２７】ステップｈ８では、物体を見る視点を変
え、同じ物体を異なる視点から撮影できるようにする。
もちろん、カメラを２台用いても同様に同じ物体を異な
る視点から撮影できる。

【００２８】ステップｈ９では、ｆｌａｇの値が０の場
合、一枚の実画像で信用できる認識結果を得たとし、ス
テップｈ１２へ進む。また、ｆｌａｇの値が１の場合、
同じ物体に対する異なる視点による２つの認識結果１ｄ
１０と認識結果２ｄ１１から最終的な認識結果を判断す
るとし、ステップｈ１０へ進む。

【００２９】ステップｈ１０では、結果判断手段ｄ１２
により同じ物体に対する異なる視点による２つの認識結
果１ｄ１０と認識結果２ｄ１１におけるそれぞれの差分
を比較し、認識結果１の差分が小さければステップｈ１
２へ、認識結果２の差分が小さければステップｈ１１へ
進む。

【００３０】ステップｈ１１では、認識結果ｄ１３とし
て認識結果２ｄ１１における物体の名前を出力する。

【００３１】ステップｈ１２では、認識結果ｄ１３とし
て認識結果１ｄ１０における物体の名前を出力する。

【００３２】図９は、図２に示す写真分析手段ｂ４の原
理の一例を説明するフロー図である。また、図１１は入
力画像から物体の特徴を抽出するまでの段階を説明する
図である。ｋ１からｋ４は図８における冷蔵庫ｊ９の写
真を写真分析手段において分析した流れを示した図で、
ｋ１は入力２次元画像ｅ１、ｋ２は正規化画像ｅ３、ｋ
３は低周波画像ｅ５、ｋ４は物体の特徴画像ｅ７であ
る。図５と図９、図１１を参照して、写真分析手段の動
作を説明する。

【００３３】ステップｇ１では、入力２次元画像ｅ１の
画像サイズを２″ピクセルに統一する。ここで、ｎは自
然数である。これは、後のウェーブレット変換手段ｅ４
において、多重にウェーブレット変換する際に必要とな
る。例えば、ｋ１の画像は縦幅が１７８ピクセル、横幅
が２５６ピクセルであり、ｋ２のように２５６×２５６
の黒色画像に元画像を貼り付けるという方法で画像サイ
ズを統一する。また、色情報をＲＧＢからＹＩＱの濃淡
情報に変換することにより、物体の特徴抽出を容易にす
る。ここで、物体の背景は、黒または白と統一してある
ので、背景を全て黒に変換することにより、ｋ２のよう
な正規化画像ｅ３を作成する。

【００３４】ステップｇ２では、ウェーブレット変換手
段ｅ４において正規化画像ｅ３にウェーブレット変換を
かけることにより、ｋ３のような低周波画像ｅ５を作成
する。ウェーブレット変換は画像を解像度解析できると
いうことから、画像処理に利用できることが良く知られ
ている。画像を１回ウェーブレット変換すると、画像を
高周波成分と低周波成分にわけることができ、その低周
波成分をもう１回ウェーブレット変換すると、低周波成
分を高周波部分と低周波部分にわけることができる。こ
うして、画像を極限までウェーブレット変換することに
より、画像の高周波部分のみを残すことができる。例え
ば、ｋ３の画像において、右上部分は原画像の高周波成
分であり、左下部分は原画像の低周波部分の高周波成分
である。このうち左下の低周波部分が画像のおおよその
形状情報を持ち、その部分を低周波画像ｅ５として利用
する。

【００３５】ステップｇ３では、特徴抽出手段ｅ６にお
いて、低周波画像ｅ５から物体の特徴データを抽出す
る。低周波画像ｅ５の最も低周波な部分８×８ピクセル
を物体の特徴データとして抽出する。例えば、低周波画
像ｋ３におけるの左下の低周波部分８×８ピクセルをｋ
４のような画像データとして抽出することにより、物体
の特徴データｅ７を作成する。

【００３６】

【発明の効果】学習部では、計算機上の三次元空間内で
三次元モデルを写真撮影手段において所定角度ずつ視点
を変えて、物体の周りの全ての視点で撮影し、撮影した
画像内の物体の特徴を写真分析手段において抽出し、抽
出した物体の特徴を知識格納手段において物体の知識に
格納する。認識部では、カメラにより撮影した物体の画
像を学習部と同様にその画像内の物体の特徴を写真分析
手段において抽出し、学習部によって蓄積された物体の
知識内の物体の特徴と画像比較手段において比較する。
これにより、学習時に計算機上に入力した３次元モデル
から自動的に物体の写真画像を得ることができるので、
学習時に手間がかからない。また、学習させた特定の物
体の認識のみではなく、類似した形状の物体をも認識す
ることができる。そして、計算機上の３次元モデルをロ
ボットの視点からのみ撮影するように構成すれば、物体
の知識のデータ量が圧縮できるほか、学習時間も短縮で
きる。

【００３７】また、認識部がカメラの位置を駆動し、視
点を変えることにより写真撮影手段によって物体の画像
を２枚撮影し、２枚の画像をそれぞれ認識部において認
識し、それぞれの認識結果を結果判断手段により最終的
な認識結果を判断することにより、高い認識率を得るこ
とができる。

【００３８】

【図面の簡単な説明】

【図１】この発明の１実施例の全体的な構成を示すブロ
ック図。

【図２】この発明の１実施例における学習部のブロック
図。

【図３】この発明の１実施例における認識部のブロック
図。

【図４】この発明の１実施例においてカメラを２台使用
した場合の認識部のブロック図。

【図５】この発明の１実施例における写真分析手段のブ
ロック図。

【図６】この発明の１実施例における学習部のフロー
図。

【図７】この発明の１実施例における認識部のフロー
図。

【図８】この発明の１実施例においてカメラを２台使用
した場合の認識部のフロー図。

【図９】この発明の１実施例における写真分析手段のフ
ロー図。

【図１０】この発明の１実施例における３次元モデルの
例を示す図。

【図１１】この発明の１実施例における写真分析手段の
流れを説明する図。

【図１２】この発明の１実施例における物体の知識の構
成を説明する模式図。

【符号の説明】

ａ２ 学習部 ａ６ 認識部 ｂ４ 写真撮影手段 ｂ６ 写真分析手段 ｂ８ 知識格納手段 ｄ８ 画像比較手段 ｄ１２ 結果判断手段 ｅ２ 正規化手段 ｅ４ ウェーブレット変換手段 ｅ６ 特徴抽出手段

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 3C007 KT00 KT01 KT03 KT11 5B057 AA05 BA02 DA12 DB02 DB09 DC09 DC33 DC36 DC38 DC39 DC40 5L096 BA05 CA02 FA00 FA22 HA07 KA04

Claims (4)

【特許請求の範囲】
1. 【請求項１】計算機内に３次元モデルを格納する３次元
   モデル格納手段、 計算機上の３次元空間内で前記３次元モデルを様々な視
   点で撮影し画像を得る写真撮影手段、 前記写真撮影手段で取得した画像から物体の特徴を抽出
   する写真分析手段、 前記写真分析手段で抽出された物体の特徴を物体の知識
   へと格納する知識格納手段から前記３次元モデルの特徴
   を物体の知識へと格納する学習部と、 実世界の物体を撮影し画像を得る写真撮影手段、 前記写真撮影手段で取得した画像から物体の特徴を抽出
   する写真分析手段、 前記写真分析手段で抽出された物体の特徴と前記知識格
   納手段で蓄積された物体の知識から物体を認識する画像
   比較手段から実世界の物体を認識する認識部から構成さ
   れるロボットの物体認識装置。
2. 【請求項２】請求項１において、写真撮影手段がロボッ
   トの視点から前記３次元モデルの画像を撮影することを
   特徴とするロボットの物体認識装置。
3. 【請求項３】請求項１において、写真分析手段が画像に
   おける物体の特徴をウェーブレット変換により抽出する
   ことを特徴とするロボットの物体認識装置。
4. 【請求項４】請求項１において、認識部がカメラの位置
   を駆動し、視点を変えることにより写真撮影手段によっ
   て物体の画像を２枚撮影することを特徴とするロボット
   の物体認識装置。