JP2003269917A - 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 - Google Patents
距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置Info
- Publication number
- JP2003269917A JP2003269917A JP2002073383A JP2002073383A JP2003269917A JP 2003269917 A JP2003269917 A JP 2003269917A JP 2002073383 A JP2002073383 A JP 2002073383A JP 2002073383 A JP2002073383 A JP 2002073383A JP 2003269917 A JP2003269917 A JP 2003269917A
- Authority
- JP
- Japan
- Prior art keywords
- image
- reliability
- distance
- stereo
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Manipulator (AREA)
Abstract
(57)【要約】
【課題】 信頼度が低い部分を含む画像においても、照
度及び対象物に関係なく、高精度に距離情報を取得する
ことができる距離計測方法、その装置、そのプログラ
ム、その記録媒体及び距離計測装置搭載型ロボット装置
を提供する。 【解決手段】 ステレオ距離計測装置５０１は、異なる
パラメータで、ステレオカメラ５１０により撮像された
複数枚のステレオ画像５１１から、信頼度画像生成計算
部５２０及び距離画像生成計算部５３０にて夫々複数の
信頼度画像５２１及び距離画像５３１が生成される。こ
れらの画像から、画像マスキング処理部５４０及び低信
頼度補完処理部５５０にて、信頼度画像５２１内の所定
の閾値より高い高信頼度領域における距離画像の距離デ
ータが合成され、低信頼度領域における距離データは高
信頼度領域における距離データにより補間し、距離画像
が生成される。
度及び対象物に関係なく、高精度に距離情報を取得する
ことができる距離計測方法、その装置、そのプログラ
ム、その記録媒体及び距離計測装置搭載型ロボット装置
を提供する。 【解決手段】 ステレオ距離計測装置５０１は、異なる
パラメータで、ステレオカメラ５１０により撮像された
複数枚のステレオ画像５１１から、信頼度画像生成計算
部５２０及び距離画像生成計算部５３０にて夫々複数の
信頼度画像５２１及び距離画像５３１が生成される。こ
れらの画像から、画像マスキング処理部５４０及び低信
頼度補完処理部５５０にて、信頼度画像５２１内の所定
の閾値より高い高信頼度領域における距離画像の距離デ
ータが合成され、低信頼度領域における距離データは高
信頼度領域における距離データにより補間し、距離画像
が生成される。
Description
【０００１】
【発明の属する技術分野】本発明は、ロボット等が環境
認識又は物体認識をするために、距離データを取得する
ための距離計測方法、その装置、そのプログラム、その
記録媒体及び距離計測装置搭載型ロボット装置に関し、
特に、画像から信頼度を求めて距離データの精度の向上
を図った距離計測方法、その装置、そのプログラム、そ
の記録媒体及び距離計測装置搭載型ロボット装置に関す
る。
認識又は物体認識をするために、距離データを取得する
ための距離計測方法、その装置、そのプログラム、その
記録媒体及び距離計測装置搭載型ロボット装置に関し、
特に、画像から信頼度を求めて距離データの精度の向上
を図った距離計測方法、その装置、そのプログラム、そ
の記録媒体及び距離計測装置搭載型ロボット装置に関す
る。
【０００２】
【従来の技術】電気的又は磁気的な作用を用いて人間
（生物）の動作に似た運動を行う機械装置を「ロボッ
ト」という。我が国においてロボットが普及し始めたの
は、１９６０年代末からであるが、その多くは、工場に
おける生産作業の自動化・無人化等を目的としたマニピ
ュレータ及び搬送ロボット等の産業用ロボット（Indust
rialRobot）であった。
（生物）の動作に似た運動を行う機械装置を「ロボッ
ト」という。我が国においてロボットが普及し始めたの
は、１９６０年代末からであるが、その多くは、工場に
おける生産作業の自動化・無人化等を目的としたマニピ
ュレータ及び搬送ロボット等の産業用ロボット（Indust
rialRobot）であった。
【０００３】最近では、人間のパートナーとして生活を
支援する、すなわち住環境その他の日常生活上の様々な
場面における人的活動を支援する実用ロボットの開発が
進められている。このような実用ロボットは、産業用ロ
ボットとは異なり、人間の生活環境の様々な局面におい
て、個々に個性の相違した人間、又は様々な環境への適
応方法を自ら学習する能力を備えている。例えば、犬又
は猫のように４足歩行の動物の身体メカニズム及びその
動作を模した「ペット型」ロボット、或いは、２足直立
歩行を行う人間等の身体メカニズム及びその動作をモデ
ルにしてデザインされた「人間型」又は「人間形」ロボ
ット（Humanoid Robot）等のロボット装置は、既に実用
化されつつある。
支援する、すなわち住環境その他の日常生活上の様々な
場面における人的活動を支援する実用ロボットの開発が
進められている。このような実用ロボットは、産業用ロ
ボットとは異なり、人間の生活環境の様々な局面におい
て、個々に個性の相違した人間、又は様々な環境への適
応方法を自ら学習する能力を備えている。例えば、犬又
は猫のように４足歩行の動物の身体メカニズム及びその
動作を模した「ペット型」ロボット、或いは、２足直立
歩行を行う人間等の身体メカニズム及びその動作をモデ
ルにしてデザインされた「人間型」又は「人間形」ロボ
ット（Humanoid Robot）等のロボット装置は、既に実用
化されつつある。
【０００４】これらのロボット装置は、産業用ロボット
と比較して、エンターテインメント性を重視した様々な
動作を行うことができるため、エンターテインメントロ
ボットと呼称される場合もある。また、そのようなロボ
ット装置には、外部からの情報及び内部の状態に応じて
自律的に動作するものがある。
と比較して、エンターテインメント性を重視した様々な
動作を行うことができるため、エンターテインメントロ
ボットと呼称される場合もある。また、そのようなロボ
ット装置には、外部からの情報及び内部の状態に応じて
自律的に動作するものがある。
【０００５】ところで、ロボットが環境認識又は物体認
識をするためには、距離データを取得する必要がある。
距離データ取得の手法の１つとして、ステレオ画像によ
る距離測定手法（以下、ステレオ距離計測ともいう。）
がある。ステレオ距離計測では、空間的に離れた場所に
設置された２つ以上のカメラから得られる画像を比較し
て、三角測量の原則で距離を計測する。この際、測定対
象物のテクスチャによってはカメラ間で対応関係が正し
く得られず、正しい距離測定ができないことがある。な
お、ここでのステレオ距離測定とは、２台以上の複数の
カメラを用いた方法も含むものである。
識をするためには、距離データを取得する必要がある。
距離データ取得の手法の１つとして、ステレオ画像によ
る距離測定手法（以下、ステレオ距離計測ともいう。）
がある。ステレオ距離計測では、空間的に離れた場所に
設置された２つ以上のカメラから得られる画像を比較し
て、三角測量の原則で距離を計測する。この際、測定対
象物のテクスチャによってはカメラ間で対応関係が正し
く得られず、正しい距離測定ができないことがある。な
お、ここでのステレオ距離測定とは、２台以上の複数の
カメラを用いた方法も含むものである。
【０００６】ステレオ距離測定結果より得られる距離デ
ータの精度及び信頼度を上げることは、特にロボットに
おいては、距離データを用いた後段の認識精度を大きく
左右する点で、極めて重要な問題である。
ータの精度及び信頼度を上げることは、特にロボットに
おいては、距離データを用いた後段の認識精度を大きく
左右する点で、極めて重要な問題である。
【０００７】従来、ステレオカメラのステレオ画像から
信頼度画像を取得し距離データを得る技術がある。図２
（ａ）乃至図２（ｅ）は、夫々左カメラの入力画像（左
カメラ画像）、右カメラの入力画像（右カメラ画像）、
距離画像、信頼度画像、及び距離画像を信頼度画像でマ
スクした後のマスク距離画像を示す模式図である。
信頼度画像を取得し距離データを得る技術がある。図２
（ａ）乃至図２（ｅ）は、夫々左カメラの入力画像（左
カメラ画像）、右カメラの入力画像（右カメラ画像）、
距離画像、信頼度画像、及び距離画像を信頼度画像でマ
スクした後のマスク距離画像を示す模式図である。
【０００８】距離画像は、例えば色が白いほどカメラか
らの距離が近いことを示し、色が黒くなるほどカメラか
らの距離が遠いことを示す。ステレオ距離計測による距
離データの取得には、テンプレートマッチングによって
左右画像を比較する方法が使用される。従って、図２
（ａ）及び図２（ｂ）の夫々左カメラ画像６００Ｌ及び
右カメラ画像６００Ｒに示すように、無地の壁面６０１
Ｌ，６０１Ｒ又は本の表紙部分６０２Ｌ，６０２Ｒ等、
テクスチャが乏しい部分は、ノイズが生じて正しい距離
データが得られず、図２（ｃ）に示すように、距離画像
６０３において、ノイズ領域６０４が現れる。
らの距離が近いことを示し、色が黒くなるほどカメラか
らの距離が遠いことを示す。ステレオ距離計測による距
離データの取得には、テンプレートマッチングによって
左右画像を比較する方法が使用される。従って、図２
（ａ）及び図２（ｂ）の夫々左カメラ画像６００Ｌ及び
右カメラ画像６００Ｒに示すように、無地の壁面６０１
Ｌ，６０１Ｒ又は本の表紙部分６０２Ｌ，６０２Ｒ等、
テクスチャが乏しい部分は、ノイズが生じて正しい距離
データが得られず、図２（ｃ）に示すように、距離画像
６０３において、ノイズ領域６０４が現れる。
【０００９】図２（ｄ）に示す信頼度画像６０７は、分
散値（複雑度）を信頼度値とした画像の例を示してい
る。図２（ｄ）に示す例での信頼度画像６０７は、分散
値が大きい程、信頼度が高く白く表示され、分散値が小
さいと信頼度が低く黒く表示される。上述したように、
図２（ｃ）の距離画像６０３で距離の値が正しく計測さ
れないテクスチャが乏しい壁に相当する領域及び本の表
紙に相当する領域６０４は分散値が小さいと計測され、
黒く示される低信頼度領域６０８となる。一方、図２
（ｃ）に示す距離画像において、距離が正しく計測でき
て距離によって濃さが異なる濃淡領域６０５は、信頼度
画像においては、白く示される高信頼度領域６０９とな
る。
散値（複雑度）を信頼度値とした画像の例を示してい
る。図２（ｄ）に示す例での信頼度画像６０７は、分散
値が大きい程、信頼度が高く白く表示され、分散値が小
さいと信頼度が低く黒く表示される。上述したように、
図２（ｃ）の距離画像６０３で距離の値が正しく計測さ
れないテクスチャが乏しい壁に相当する領域及び本の表
紙に相当する領域６０４は分散値が小さいと計測され、
黒く示される低信頼度領域６０８となる。一方、図２
（ｃ）に示す距離画像において、距離が正しく計測でき
て距離によって濃さが異なる濃淡領域６０５は、信頼度
画像においては、白く示される高信頼度領域６０９とな
る。
【００１０】図２（ｅ）に示すマスク後の距離画像６１
０は、図２（ｄ）の信頼度画像の分散値が低い低信頼度
領域６０８を輝度を０（黒）として、図２（ｃ）の距離
画像６０３からマスクしたものである。これにより、低
信頼度領域６１２がマスクされ、信頼度が高い距離デー
タを有する領域６１１のみが図２（ｅ）のマスク後の距
離画像６１０に反映される。
０は、図２（ｄ）の信頼度画像の分散値が低い低信頼度
領域６０８を輝度を０（黒）として、図２（ｃ）の距離
画像６０３からマスクしたものである。これにより、低
信頼度領域６１２がマスクされ、信頼度が高い距離デー
タを有する領域６１１のみが図２（ｅ）のマスク後の距
離画像６１０に反映される。
【００１１】
【発明が解決しようとする課題】しかしながら、従来の
ステレオカメラを搭載した移動ロボット等においては、
上述のステレオ距離計測で距離データを測定しているた
め、イメージ撮像デバイスの性能限界を超えるようなダ
イナミックレンジの広いシーンに対しては、以下の対象
物を含むような低信頼度部の画像においてステレオ距離
計測が正確にできないという問題点がある。即ち、 １．輝度のダイナミックレンジが大きく、濃淡が淡い部
分はその濃淡がつぶれてしまう対象物を有する画像 ２．反射率が高い表面を有し、照明の光が反射して高輝
度部分が飽和する対象物を有する画像 ３．照度が低く、感度が不足して黒い部分を生じる対象
物を有する画像 これらの画像は濃淡が得られない部分が生じ、その部分
においてステレオ距離計測ができない。これは、環境内
を移動できるロボットは、一定でない照明環境内におい
て、照度が高い明るい場所では画像が飽和することによ
り、高輝度部分が白く撮影されてしまったり、逆に、照
度が低い位暗い場所では感度が不足して真っ黒に撮影さ
れてしまうためである。
ステレオカメラを搭載した移動ロボット等においては、
上述のステレオ距離計測で距離データを測定しているた
め、イメージ撮像デバイスの性能限界を超えるようなダ
イナミックレンジの広いシーンに対しては、以下の対象
物を含むような低信頼度部の画像においてステレオ距離
計測が正確にできないという問題点がある。即ち、 １．輝度のダイナミックレンジが大きく、濃淡が淡い部
分はその濃淡がつぶれてしまう対象物を有する画像 ２．反射率が高い表面を有し、照明の光が反射して高輝
度部分が飽和する対象物を有する画像 ３．照度が低く、感度が不足して黒い部分を生じる対象
物を有する画像 これらの画像は濃淡が得られない部分が生じ、その部分
においてステレオ距離計測ができない。これは、環境内
を移動できるロボットは、一定でない照明環境内におい
て、照度が高い明るい場所では画像が飽和することによ
り、高輝度部分が白く撮影されてしまったり、逆に、照
度が低い位暗い場所では感度が不足して真っ黒に撮影さ
れてしまうためである。
【００１２】更に、従来のテンプレートマッチングによ
るステレオ距離計測においては、比較画像中の一部を基
準画像中の画像と輝度値とにおいて、エピポーラライン
に沿って比較するという動作原理上、 ４．単一輝度及び単一色のテクスチャを有する対象物 ５．エピポーララインに平行なテクスチャを有する対象
物 の距離を正確に測定することは困難であるという問題点
がある。
るステレオ距離計測においては、比較画像中の一部を基
準画像中の画像と輝度値とにおいて、エピポーラライン
に沿って比較するという動作原理上、 ４．単一輝度及び単一色のテクスチャを有する対象物 ５．エピポーララインに平行なテクスチャを有する対象
物 の距離を正確に測定することは困難であるという問題点
がある。
【００１３】本発明は、このような従来の実情に鑑みて
提案されたものであり、上述のような信頼度が低い部分
を含む画像においても、照度及び対象物に関係なく、高
精度に距離情報を取得することができる距離計測方法、
その装置、そのプログラム、その記録媒体及び距離計測
装置搭載型ロボット装置を提供することを目的とする。
提案されたものであり、上述のような信頼度が低い部分
を含む画像においても、照度及び対象物に関係なく、高
精度に距離情報を取得することができる距離計測方法、
その装置、そのプログラム、その記録媒体及び距離計測
装置搭載型ロボット装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】上述した目的を達成する
ために、本発明に係る距離計測方法は、視差を有する２
以上の画像を入力する画像入力工程と、上記２以上の画
像から距離データを算出し該距離データから距離画像を
生成する距離画像生成工程と、１つの上記距離画像を生
成するのに使用した上記２以上の画像の少なくとも１つ
から信頼度画像を生成する信頼度画像生成工程と、上記
信頼度画像の信頼度に基づいて補正距離画像を生成する
距離画像補正工程とを有し、上記距離画像補正工程は、
上記信頼度画像の信頼度が所定の閾値よりも低い低信頼
度領域を有するときは、上記信頼度を高める信頼度向上
処理工程を有することを特徴とする。
ために、本発明に係る距離計測方法は、視差を有する２
以上の画像を入力する画像入力工程と、上記２以上の画
像から距離データを算出し該距離データから距離画像を
生成する距離画像生成工程と、１つの上記距離画像を生
成するのに使用した上記２以上の画像の少なくとも１つ
から信頼度画像を生成する信頼度画像生成工程と、上記
信頼度画像の信頼度に基づいて補正距離画像を生成する
距離画像補正工程とを有し、上記距離画像補正工程は、
上記信頼度画像の信頼度が所定の閾値よりも低い低信頼
度領域を有するときは、上記信頼度を高める信頼度向上
処理工程を有することを特徴とする。
【００１５】本発明においては、信頼度向上処理工程に
より信頼度画像の信頼度を向上して、この信頼度が向上
した信頼度画像に基づいて距離データを算出して距離画
像を生成するため、距離画像の精度及び信頼度を高める
ことができる。
より信頼度画像の信頼度を向上して、この信頼度が向上
した信頼度画像に基づいて距離データを算出して距離画
像を生成するため、距離画像の精度及び信頼度を高める
ことができる。
【００１６】また、上記画像入力工程はステレオ画像を
入力する工程であり、上記信頼度向上処理工程は、上記
低信頼度領域の信頼度を高める方へパラメータを変更し
たステレオ画像を再入手する画像再入手工程と、この再
入手ステレオ画像から距離画像を生成する距離画像再生
成工程とを有するので、例えばステレオ画像入力手段に
設けられたステレオカメラのダイナミックレンジ等の撮
像条件、又は撮像位置等のパラメータを種々変更して信
頼度が高い画像を得ることができる。
入力する工程であり、上記信頼度向上処理工程は、上記
低信頼度領域の信頼度を高める方へパラメータを変更し
たステレオ画像を再入手する画像再入手工程と、この再
入手ステレオ画像から距離画像を生成する距離画像再生
成工程とを有するので、例えばステレオ画像入力手段に
設けられたステレオカメラのダイナミックレンジ等の撮
像条件、又は撮像位置等のパラメータを種々変更して信
頼度が高い画像を得ることができる。
【００１７】更に、上記ステレオ画像入力工程は、第１
のステレオ画像を入力する工程であり、上記距離画像生
成工程は、上記第１のステレオ画像から第１の距離デー
タを算出し該第１の距離データから第１の距離画像を生
成する工程であり、上記信頼度画像生成工程は、上記第
１の距離画像を生成するのに使用した上記第１のステレ
オ画像の少なくとも１つから第１の信頼度画像を生成す
る工程であって、上記距離画像補正工程は、上記第１の
信頼度画像の信頼度が所定の閾値よりも低い低信頼度領
域を有するときは、上記低信頼度領域の信頼度を高める
方へパラメータを変更した第２のステレオ画像を再入手
する画像再入手工程と、この第２のステレオ画像から第
２の距離データを算出して第２の距離画像を生成する距
離画像再生成工程と、上記第１の距離画像の上記低信頼
度領域の上記第１の距離データを上記第２の距離画像の
上記低信頼度領域における上記第２の距離データに置換
して合成距離画像を生成する距離画像合成工程とを有す
るので、例えばパラメータを制御しても信頼度が向上し
ない領域を有する場合等は、高信頼度領域における距離
データのみを使用し、この距離データを合成することに
より、信頼度が高い距離画像を得ることができる。
のステレオ画像を入力する工程であり、上記距離画像生
成工程は、上記第１のステレオ画像から第１の距離デー
タを算出し該第１の距離データから第１の距離画像を生
成する工程であり、上記信頼度画像生成工程は、上記第
１の距離画像を生成するのに使用した上記第１のステレ
オ画像の少なくとも１つから第１の信頼度画像を生成す
る工程であって、上記距離画像補正工程は、上記第１の
信頼度画像の信頼度が所定の閾値よりも低い低信頼度領
域を有するときは、上記低信頼度領域の信頼度を高める
方へパラメータを変更した第２のステレオ画像を再入手
する画像再入手工程と、この第２のステレオ画像から第
２の距離データを算出して第２の距離画像を生成する距
離画像再生成工程と、上記第１の距離画像の上記低信頼
度領域の上記第１の距離データを上記第２の距離画像の
上記低信頼度領域における上記第２の距離データに置換
して合成距離画像を生成する距離画像合成工程とを有す
るので、例えばパラメータを制御しても信頼度が向上し
ない領域を有する場合等は、高信頼度領域における距離
データのみを使用し、この距離データを合成することに
より、信頼度が高い距離画像を得ることができる。
【００１８】本発明に係る距離計測方法は、視差を有す
る２以上の画像を入力する画像入力工程と、上記２以上
の画像から距離データを算出し該距離データから距離画
像を生成する距離画像生成工程と、１つの上記距離画像
を生成するのに使用した上記２以上の画像の少なくとも
１つから信頼度画像を生成する信頼度画像生成工程と、
上記信頼度画像の信頼度に基づいて補正距離画像を生成
する距離画像補正工程とを有し、上記距離画像補正工程
は、上記信頼度画像の信頼度が所定の閾値よりも低い低
信頼度領域を有するときは、上記閾値よりも高い信頼度
を有する高信頼度領域の高信頼度距離データを使用して
上記低信頼度領域の低信頼度距離データを補完する補完
処理工程を有することを特徴とする。
る２以上の画像を入力する画像入力工程と、上記２以上
の画像から距離データを算出し該距離データから距離画
像を生成する距離画像生成工程と、１つの上記距離画像
を生成するのに使用した上記２以上の画像の少なくとも
１つから信頼度画像を生成する信頼度画像生成工程と、
上記信頼度画像の信頼度に基づいて補正距離画像を生成
する距離画像補正工程とを有し、上記距離画像補正工程
は、上記信頼度画像の信頼度が所定の閾値よりも低い低
信頼度領域を有するときは、上記閾値よりも高い信頼度
を有する高信頼度領域の高信頼度距離データを使用して
上記低信頼度領域の低信頼度距離データを補完する補完
処理工程を有することを特徴とする。
【００１９】本発明においては、低信頼度距離データを
補完（又は補間）する補完処理工程を有するため、例え
ばパラメータを制御しても信頼度が向上しない低信頼度
領域における距離データは、高信頼度領域における距離
データを使用して補完（又は補間）することにより、低
信頼度領域においても距離データを有する距離画像を得
ることができる。
補完（又は補間）する補完処理工程を有するため、例え
ばパラメータを制御しても信頼度が向上しない低信頼度
領域における距離データは、高信頼度領域における距離
データを使用して補完（又は補間）することにより、低
信頼度領域においても距離データを有する距離画像を得
ることができる。
【００２０】本発明に係る距離計測装置は、ステレオ画
像を入力するステレオ画像入力手段と、上記ステレオ画
像から距離データを算出し該距離データから距離画像を
生成する距離画像生成手段と、１つの上記距離画像を生
成するのに使用した上記ステレオ画像の少なくとも１つ
から信頼度画像を生成する信頼度画像生成手段と、上記
信頼度画像の信頼度に基づいて補正距離画像を生成する
距離画像補正手段とを有し、上記距離画像補正手段は、
上記信頼度画像の信頼度が所定の閾値よりも低い低信頼
度領域を有するときは、上記信頼度を高める信頼度向上
処理手段を有することを特徴とする。
像を入力するステレオ画像入力手段と、上記ステレオ画
像から距離データを算出し該距離データから距離画像を
生成する距離画像生成手段と、１つの上記距離画像を生
成するのに使用した上記ステレオ画像の少なくとも１つ
から信頼度画像を生成する信頼度画像生成手段と、上記
信頼度画像の信頼度に基づいて補正距離画像を生成する
距離画像補正手段とを有し、上記距離画像補正手段は、
上記信頼度画像の信頼度が所定の閾値よりも低い低信頼
度領域を有するときは、上記信頼度を高める信頼度向上
処理手段を有することを特徴とする。
【００２１】本発明に係る距離計測装置は、ステレオ画
像を入力する画像情報入力手段と、上記ステレオ画像か
ら距離データを算出し該距離データから距離画像を生成
する距離画像生成手段と、１つの上記距離画像を生成す
るのに使用した上記ステレオ画像の少なくとも１つから
信頼度画像を生成する信頼度画像生成手段と、上記信頼
度画像の信頼度に基づいて補正距離画像を生成する距離
画像補正手段とを有し、上記距離画像補正手段は、上記
信頼度画像の信頼度が所定の閾値よりも低い低信頼度領
域を有するときは、上記閾値よりも高い信頼度を有する
高信頼度領域の高信頼度距離データを使用して上記低信
頼度領域の低信頼度距離データを補完する補完処理手段
を有することを特徴とする。
像を入力する画像情報入力手段と、上記ステレオ画像か
ら距離データを算出し該距離データから距離画像を生成
する距離画像生成手段と、１つの上記距離画像を生成す
るのに使用した上記ステレオ画像の少なくとも１つから
信頼度画像を生成する信頼度画像生成手段と、上記信頼
度画像の信頼度に基づいて補正距離画像を生成する距離
画像補正手段とを有し、上記距離画像補正手段は、上記
信頼度画像の信頼度が所定の閾値よりも低い低信頼度領
域を有するときは、上記閾値よりも高い信頼度を有する
高信頼度領域の高信頼度距離データを使用して上記低信
頼度領域の低信頼度距離データを補完する補完処理手段
を有することを特徴とする。
【００２２】本発明に係るロボット装置は、供給された
入力情報に基づいて動作を行う自律型のロボット装置で
あって、ステレオ画像を入力するステレオ画像入力手段
と、上記ステレオ画像から距離データを算出し該距離デ
ータから距離画像を生成する距離画像生成手段と、１つ
の上記距離画像を生成するのに使用した上記ステレオ画
像の少なくとも１つから信頼度画像を生成する信頼度画
像生成手段と、上記信頼度画像の信頼度に基づいて補正
距離画像を生成する距離画像補正手段とを有し、上記距
離画像補正手段は、上記信頼度画像の信頼度が所定の閾
値よりも低い低信頼度領域を有するときは、上記信頼度
を高める信頼度向上処理手段を有することを特徴とす
る。
入力情報に基づいて動作を行う自律型のロボット装置で
あって、ステレオ画像を入力するステレオ画像入力手段
と、上記ステレオ画像から距離データを算出し該距離デ
ータから距離画像を生成する距離画像生成手段と、１つ
の上記距離画像を生成するのに使用した上記ステレオ画
像の少なくとも１つから信頼度画像を生成する信頼度画
像生成手段と、上記信頼度画像の信頼度に基づいて補正
距離画像を生成する距離画像補正手段とを有し、上記距
離画像補正手段は、上記信頼度画像の信頼度が所定の閾
値よりも低い低信頼度領域を有するときは、上記信頼度
を高める信頼度向上処理手段を有することを特徴とす
る。
【００２３】本発明においては、信頼度画像を使用して
求められた正確な補正距離データが得られるため、ロボ
ット装置は、距離計測データを用いた環境認識及び物体
認識等、ロボット装置の後段の認識精度を高めることが
できる。
求められた正確な補正距離データが得られるため、ロボ
ット装置は、距離計測データを用いた環境認識及び物体
認識等、ロボット装置の後段の認識精度を高めることが
できる。
【００２４】また、上記信頼度向上処理手段は、該低信
頼度領域の信頼度を高める方へパラメータを変更したス
テレオ画像を再入手する画像再入手手段と、この再入手
ステレオ画像から距離画像を生成する距離画像再生成手
段とを有するので、ステレオ画像の撮像条件及び撮像位
置等のカメラパラメータだけではなく、ロボット装置の
ロボットパラメータを種々変更したステレオ画像を再入
手することにより、更に信頼度が高い距離画像を得るこ
とができる。
頼度領域の信頼度を高める方へパラメータを変更したス
テレオ画像を再入手する画像再入手手段と、この再入手
ステレオ画像から距離画像を生成する距離画像再生成手
段とを有するので、ステレオ画像の撮像条件及び撮像位
置等のカメラパラメータだけではなく、ロボット装置の
ロボットパラメータを種々変更したステレオ画像を再入
手することにより、更に信頼度が高い距離画像を得るこ
とができる。
【００２５】本発明に係るロボット装置は、供給された
入力情報に基づいて動作を行う自律型のロボット装置で
あって、ステレオ画像を入力する画像入力手段と、上記
ステレオ画像から距離データを算出し該距離データから
距離画像を生成する距離画像生成手段と、１つの上記距
離画像を生成するのに使用した上記ステレオ画像の少な
くとも１つから信頼度画像を生成する信頼度画像生成手
段と、上記信頼度画像の信頼度に基づいて補正距離画像
を生成する距離画像補正手段とを有し、上記距離画像補
正手段は、上記信頼度画像の信頼度が所定の閾値よりも
低い低信頼度領域を有するときは、上記閾値よりも高い
信頼度を有する高信頼度領域の高信頼度距離データを使
用して上記低信頼度領域の低信頼度距離データを補完す
る補完処理手段を有することを特徴とする。
入力情報に基づいて動作を行う自律型のロボット装置で
あって、ステレオ画像を入力する画像入力手段と、上記
ステレオ画像から距離データを算出し該距離データから
距離画像を生成する距離画像生成手段と、１つの上記距
離画像を生成するのに使用した上記ステレオ画像の少な
くとも１つから信頼度画像を生成する信頼度画像生成手
段と、上記信頼度画像の信頼度に基づいて補正距離画像
を生成する距離画像補正手段とを有し、上記距離画像補
正手段は、上記信頼度画像の信頼度が所定の閾値よりも
低い低信頼度領域を有するときは、上記閾値よりも高い
信頼度を有する高信頼度領域の高信頼度距離データを使
用して上記低信頼度領域の低信頼度距離データを補完す
る補完処理手段を有することを特徴とする。
【００２６】
【発明の実施の形態】以下、本発明を適用した具体的な
実施の形態について、図面を参照しながら詳細に説明す
る。本実施の形態においては、本発明の距離計測装置を
ロボット等に搭載されるステレオ距離計測装置とした場
合について説明する。図１は、本実施の形態の距離計測
装置を示すブロック図である。ステレオ距離計測装置に
おいて、ステレオ距離計測結果の距離画像における距離
データは、元画像のテンプレートの分散値及びマッチン
グ時のエラー値等からその信頼性を測定することができ
る。本実施の形態においては、ステレオ画像から得られ
る距離データの信頼度が高い部分（領域）のデータを使
用して信頼度が低い部分（領域）のデータを補完（又は
補間）する手法により、ステレオ画像の距離データの精
度及び信頼性を向上させるものである。
実施の形態について、図面を参照しながら詳細に説明す
る。本実施の形態においては、本発明の距離計測装置を
ロボット等に搭載されるステレオ距離計測装置とした場
合について説明する。図１は、本実施の形態の距離計測
装置を示すブロック図である。ステレオ距離計測装置に
おいて、ステレオ距離計測結果の距離画像における距離
データは、元画像のテンプレートの分散値及びマッチン
グ時のエラー値等からその信頼性を測定することができ
る。本実施の形態においては、ステレオ画像から得られ
る距離データの信頼度が高い部分（領域）のデータを使
用して信頼度が低い部分（領域）のデータを補完（又は
補間）する手法により、ステレオ画像の距離データの精
度及び信頼性を向上させるものである。
【００２７】図１は、信頼度画像を使用した本実施の形
態のステレオ距離計測装置５０１を示すブロック図であ
る。図１に示すように、先ず、ステレオカメラ（ステレ
オ画像入力手段）５１０から得られたステレオ画像５１
１は、信頼度画像生成計算部（信頼度画像生成手段）５
２０及び距離画像生成計算部（距離画像生成手段）５３
０に入力される。ステレオカメラは２以上のＣＣＤカメ
ラからなり、このＣＣＤカメラにより視差を有する画像
であるステレオ画像を撮像する。そして、信頼度画像生
成計算部５２０及び距離画像生成計算部５３０から、夫
々信頼度画像５２１及び距離画像５３１が生成される。
生成された信頼度画像５２１には、後述する信頼度が高
い領域（高信頼度領域）と信頼度が低い領域（低信頼度
領域）とが検出されるが、例えば、制御手段（図示せ
ず）の検出部（図示せず）により信頼度が低い領域を抽
出し、制御手段のパラメータ制御部（図示せず）が、検
出部の検出結果に基づいて、ステレオカメラのゲイン及
びアイリス等のカメラパラメータをコントロールする
（Ｃ１）か、又はロボットの運動系等、信頼度が高くな
るようにロボットパラメータをコントロールし（Ｃ
２）、再度ステレオ画像を取り込むことにより信頼度を
高める。
態のステレオ距離計測装置５０１を示すブロック図であ
る。図１に示すように、先ず、ステレオカメラ（ステレ
オ画像入力手段）５１０から得られたステレオ画像５１
１は、信頼度画像生成計算部（信頼度画像生成手段）５
２０及び距離画像生成計算部（距離画像生成手段）５３
０に入力される。ステレオカメラは２以上のＣＣＤカメ
ラからなり、このＣＣＤカメラにより視差を有する画像
であるステレオ画像を撮像する。そして、信頼度画像生
成計算部５２０及び距離画像生成計算部５３０から、夫
々信頼度画像５２１及び距離画像５３１が生成される。
生成された信頼度画像５２１には、後述する信頼度が高
い領域（高信頼度領域）と信頼度が低い領域（低信頼度
領域）とが検出されるが、例えば、制御手段（図示せ
ず）の検出部（図示せず）により信頼度が低い領域を抽
出し、制御手段のパラメータ制御部（図示せず）が、検
出部の検出結果に基づいて、ステレオカメラのゲイン及
びアイリス等のカメラパラメータをコントロールする
（Ｃ１）か、又はロボットの運動系等、信頼度が高くな
るようにロボットパラメータをコントロールし（Ｃ
２）、再度ステレオ画像を取り込むことにより信頼度を
高める。
【００２８】生成された信頼度画像５２１及び距離画像
５３１は、画像マスキング処理部５４０に入力される。
そして、画像マスキング処理部５４０の閾値制御部（図
示せず）により、信頼度画像５２１におけるマスキング
の閾値をコントロールし（Ｃ３）、低信頼度領域を検出
してこの低信頼度領域を距離画像５３１からマスキング
することによって、低信頼度領域をマスクして距離画像
５３１から除いたマスク距離画像５３２を生成する。マ
スキングの閾値コントロールとは、閾値制御部（図示せ
ず）により、例えばカメラのゲインを上げた場合は、画
面にノイズが多く含まれるため、閾値を高くする等の調
整を行うことである。なお、ここで、後述するロボット
の視線方向コントロールをして（Ｃ４）、カメラ画像を
移動させる等の処理もなされる。
５３１は、画像マスキング処理部５４０に入力される。
そして、画像マスキング処理部５４０の閾値制御部（図
示せず）により、信頼度画像５２１におけるマスキング
の閾値をコントロールし（Ｃ３）、低信頼度領域を検出
してこの低信頼度領域を距離画像５３１からマスキング
することによって、低信頼度領域をマスクして距離画像
５３１から除いたマスク距離画像５３２を生成する。マ
スキングの閾値コントロールとは、閾値制御部（図示せ
ず）により、例えばカメラのゲインを上げた場合は、画
面にノイズが多く含まれるため、閾値を高くする等の調
整を行うことである。なお、ここで、後述するロボット
の視線方向コントロールをして（Ｃ４）、カメラ画像を
移動させる等の処理もなされる。
【００２９】マスキング処理部５４０のマスキング処理
によって低信頼度領域における距離データがマスキング
されたマスク距離画像５３２は、低信頼度領域補完処理
部５５０に入力され、後述する低信頼度領域補完処理に
よって、低信頼度領域における距離データがその周囲の
信頼度が高い領域における距離データによって補完され
る。ここの補完方法は、例えば、ラプラス方程式等を使
用した補間方法がある。低信頼度領域が補完処理された
完成距離画像５３３は、距離画像使用モジュール５６０
に入力され、後段の処理がなされる。
によって低信頼度領域における距離データがマスキング
されたマスク距離画像５３２は、低信頼度領域補完処理
部５５０に入力され、後述する低信頼度領域補完処理に
よって、低信頼度領域における距離データがその周囲の
信頼度が高い領域における距離データによって補完され
る。ここの補完方法は、例えば、ラプラス方程式等を使
用した補間方法がある。低信頼度領域が補完処理された
完成距離画像５３３は、距離画像使用モジュール５６０
に入力され、後段の処理がなされる。
【００３０】以下、本実施の形態について更に詳細に説
明する。先ず、信頼度画像生成計算部５２０について説
明する。
明する。先ず、信頼度画像生成計算部５２０について説
明する。
【００３１】図２（ａ）乃至図２（ｅ）は、夫々左カメ
ラの入力画像（左カメラ画像）、右カメラの入力画像
（右カメラ画像）、距離画像、信頼度画像、及び距離画
像を信頼度画像でマスクした後のマスク距離画像を示す
図である。
ラの入力画像（左カメラ画像）、右カメラの入力画像
（右カメラ画像）、距離画像、信頼度画像、及び距離画
像を信頼度画像でマスクした後のマスク距離画像を示す
図である。
【００３２】距離画像は、例えば輝度の差（単色の濃
淡）で表示することができ、例えば、輝度が高い（白で
表示される）程、カメラからの距離が近いことを示し、
輝度が低い（黒で表示される）程、カメラからの距離が
遠いことを示すものとする。ステレオ距離計測による距
離データの取得には、テンプレートマッチングによって
左右画像を比較する方法を使用することができる。従っ
て、図２（ａ）及び図２（ｂ）の夫々左カメラ画像６０
０Ｌ及び右カメラ画像６００Ｒに示すように、無地の壁
面６０１Ｌ，６０１Ｒ又は本の表紙部分６０２Ｌ，６０
２Ｒ等、テクスチャが乏しい部分は、ノイズが生じて正
しい距離データが得られず、図２（ｃ）に示すように、
距離画像６０３において、ノイズ領域６０４が現れる。
淡）で表示することができ、例えば、輝度が高い（白で
表示される）程、カメラからの距離が近いことを示し、
輝度が低い（黒で表示される）程、カメラからの距離が
遠いことを示すものとする。ステレオ距離計測による距
離データの取得には、テンプレートマッチングによって
左右画像を比較する方法を使用することができる。従っ
て、図２（ａ）及び図２（ｂ）の夫々左カメラ画像６０
０Ｌ及び右カメラ画像６００Ｒに示すように、無地の壁
面６０１Ｌ，６０１Ｒ又は本の表紙部分６０２Ｌ，６０
２Ｒ等、テクスチャが乏しい部分は、ノイズが生じて正
しい距離データが得られず、図２（ｃ）に示すように、
距離画像６０３において、ノイズ領域６０４が現れる。
【００３３】図２（ｄ）に示す信頼度画像６０７は、後
述するように、左カメラ画像６００Ｌ又は右カメラ画像
６００Ｒをテンプレートとし、その分散値（複雑度）を
信頼度値とした画像の例を示している。信頼度画像は、
左右のいずれか１つのカメラ画像から得ることができ
る。また、後述するように、左右両方のカメラ画像を使
用して作成することもできる。また、分散値を使用する
例以外にも信頼度値として、例えばマッチングスコア又
は他の値を使用する方法等もある。
述するように、左カメラ画像６００Ｌ又は右カメラ画像
６００Ｒをテンプレートとし、その分散値（複雑度）を
信頼度値とした画像の例を示している。信頼度画像は、
左右のいずれか１つのカメラ画像から得ることができ
る。また、後述するように、左右両方のカメラ画像を使
用して作成することもできる。また、分散値を使用する
例以外にも信頼度値として、例えばマッチングスコア又
は他の値を使用する方法等もある。
【００３４】図２（ｄ）に示す例での信頼度画像６０７
は、分散値が大きい程、信頼度が高くなり、輝度が高い
画素として表示（白で表示）され、分散値が小さいと信
頼度が低くなり、輝度が低い画素として表示（黒く表
示）される。上述したように、図２（ｃ）の距離画像６
０３で距離の値が正しく計測されないテクスチャが乏し
い壁に相当する領域及び本の表紙に相当する領域６０４
は分散値が小さいと計測され、夫々黒く表示された低信
頼度領域６０８となる。一方、図２（ｃ）に示す距離画
像において、距離が正しく計測できて距離によって濃さ
が異なる濃淡領域６０５は、図２（ｄ）に示す信頼度画
像においては、白っぽく表示された高信頼度領域６０９
となる。
は、分散値が大きい程、信頼度が高くなり、輝度が高い
画素として表示（白で表示）され、分散値が小さいと信
頼度が低くなり、輝度が低い画素として表示（黒く表
示）される。上述したように、図２（ｃ）の距離画像６
０３で距離の値が正しく計測されないテクスチャが乏し
い壁に相当する領域及び本の表紙に相当する領域６０４
は分散値が小さいと計測され、夫々黒く表示された低信
頼度領域６０８となる。一方、図２（ｃ）に示す距離画
像において、距離が正しく計測できて距離によって濃さ
が異なる濃淡領域６０５は、図２（ｄ）に示す信頼度画
像においては、白っぽく表示された高信頼度領域６０９
となる。
【００３５】図２（ｅ）に示すマスク後の距離画像６１
０は、図２（ｄ）の信頼度画像の分散値が低い黒い低信
頼度領域６０８の輝度を０として、図２（ｃ）の距離画
像６０３からマスクしたものである。これにより、低信
頼度領域６１２がマスクされ、信頼度が高い距離データ
を有する領域６１１のみが図２（ｅ）のマスク後の距離
画像６１０に反映される。ここで、図２（ｄ）の信頼度
画像６０７において、分散値が低いため、信頼度が低い
領域６０８は、信頼度が低い領域と判定するために予め
設定された閾値を使用し、この所定の閾値よりも輝度が
低い部分を低信頼度領域とすることによりマスキング処
理のコントロールを行う。
０は、図２（ｄ）の信頼度画像の分散値が低い黒い低信
頼度領域６０８の輝度を０として、図２（ｃ）の距離画
像６０３からマスクしたものである。これにより、低信
頼度領域６１２がマスクされ、信頼度が高い距離データ
を有する領域６１１のみが図２（ｅ）のマスク後の距離
画像６１０に反映される。ここで、図２（ｄ）の信頼度
画像６０７において、分散値が低いため、信頼度が低い
領域６０８は、信頼度が低い領域と判定するために予め
設定された閾値を使用し、この所定の閾値よりも輝度が
低い部分を低信頼度領域とすることによりマスキング処
理のコントロールを行う。
【００３６】次に、信頼度画像の求め方について説明す
る。ステレオカメラにおける信頼度画像は、様々な評価
値を用いて作成することができるが、本実施の形態にお
いては、上述したテンプレートの分散値による信頼度画
像の求め方及びマッチングスコアによる信頼度画像の求
め方の２つの方法を説明する。
る。ステレオカメラにおける信頼度画像は、様々な評価
値を用いて作成することができるが、本実施の形態にお
いては、上述したテンプレートの分散値による信頼度画
像の求め方及びマッチングスコアによる信頼度画像の求
め方の２つの方法を説明する。
【００３７】ステレオ距離計測では左右のステレオ画像
中の画素の対応関係をテンプレートマッチングによって
探索する。図３（ａ）はテンプレート７０２を抜き出す
基準画像７０１を示す模式図、図３（ｂ）はテンプレー
トとマッチング比較を行う先の画像７０３を示す模式図
である。例えば、左のステレオ画像を基準画像７０１、
右のステレオ画像をマッチング先の画像７０３とするこ
とができる。
中の画素の対応関係をテンプレートマッチングによって
探索する。図３（ａ）はテンプレート７０２を抜き出す
基準画像７０１を示す模式図、図３（ｂ）はテンプレー
トとマッチング比較を行う先の画像７０３を示す模式図
である。例えば、左のステレオ画像を基準画像７０１、
右のステレオ画像をマッチング先の画像７０３とするこ
とができる。
【００３８】テンプレートの分散値による信頼度画像の
求め方としては、先ず、図３（ａ）におけるマッチング
テンプレート７０２内の画素の輝度の分散値を下記数式
１で求める。
求め方としては、先ず、図３（ａ）におけるマッチング
テンプレート７０２内の画素の輝度の分散値を下記数式
１で求める。
【００３９】
【数１】
【００４０】ここで、上記数式１において、Ｖａｒは画
素の輝度の分散値、Ｎはテンプレート７０２に含まれる
画素数、Ｙｉｊはテンプレート７０２内の座標（ｉ，
ｊ）における画素の輝度値を表す。この輝度値Ｙｉｊか
ら、上記数式１によって探索する全てのテンプレートの
分散値Ｖａｒを算出する。そして、この分散値Ｖａｒの
大きさによって分散値による信頼度画像を作成する。上
述した図２（ｄ）に示す信頼度画像においては、分散値
が高い程信頼度が高いことを示し、分散値が低い程、信
頼度が低いことを示す。
素の輝度の分散値、Ｎはテンプレート７０２に含まれる
画素数、Ｙｉｊはテンプレート７０２内の座標（ｉ，
ｊ）における画素の輝度値を表す。この輝度値Ｙｉｊか
ら、上記数式１によって探索する全てのテンプレートの
分散値Ｖａｒを算出する。そして、この分散値Ｖａｒの
大きさによって分散値による信頼度画像を作成する。上
述した図２（ｄ）に示す信頼度画像においては、分散値
が高い程信頼度が高いことを示し、分散値が低い程、信
頼度が低いことを示す。
【００４１】また、マッチングスコアによる信頼度画像
の求め方としては、図３（ａ）に示すテンプレート７０
２と、図３（ｂ）に示すマッチング先画像７０３のエピ
ポーラライン（２台のカメラの幾何条件から決定され
る、対応付けを拘束する直線）７０４に沿って、例えば
距離値（Distance Number）ｎｄ１〜ｎｄ７に応じて選
択された領域とを比較し、これらの領域内の画素の輝度
の差からマッチングスコア値を算出する。図３（ｃ）
は、横軸に距離値をとり、縦軸にマッチングスコア値を
とって、テンプレート７０２のマッチングスコア値を示
すグラフ図である。図３（ｃ）に示すグラフにおいて、
例えば、マッチングスコア値、最小スコア値（距離値ｎ
ｄ３）付近における横軸方向の幅（距離値Distance Num
ber方向への幅）Ｌ、及びグラフの急峻度値等を使用し
てマッチングスコアによる信頼度画像を作成する。
の求め方としては、図３（ａ）に示すテンプレート７０
２と、図３（ｂ）に示すマッチング先画像７０３のエピ
ポーラライン（２台のカメラの幾何条件から決定され
る、対応付けを拘束する直線）７０４に沿って、例えば
距離値（Distance Number）ｎｄ１〜ｎｄ７に応じて選
択された領域とを比較し、これらの領域内の画素の輝度
の差からマッチングスコア値を算出する。図３（ｃ）
は、横軸に距離値をとり、縦軸にマッチングスコア値を
とって、テンプレート７０２のマッチングスコア値を示
すグラフ図である。図３（ｃ）に示すグラフにおいて、
例えば、マッチングスコア値、最小スコア値（距離値ｎ
ｄ３）付近における横軸方向の幅（距離値Distance Num
ber方向への幅）Ｌ、及びグラフの急峻度値等を使用し
てマッチングスコアによる信頼度画像を作成する。
【００４２】次に、図１に示す信頼度が低い領域の信頼
度を高める処理部５８０について更に詳細に説明する。
図４（ａ）乃至図４（ｃ）に示すのは、ダイナミックレ
ンジが広く、高輝度部分が潰れた場合の夫々左カメラ画
像８００、信頼度画像８１０及び距離画像８２０を示
す。なお、図４（ａ）は、テクスチャ（模様）を有する
床８０１上に置かれた紙８０２のカメラ画像を示すもの
である。また、紙８０１にはランダムパターンのテクス
チャを有するものとする。このランダムパターンのテク
スチャがカメラの撮像ダイナミックレンジを超えた場
合、即ち、カメラの絞りを開き過ぎた場合、図４（ａ）
に示すように、カメラ画像８００においては、紙８０２
のテクスチャが現れず、単に白い領域として表示され
る。従って、紙８０２は、図４（ｂ）に示すように、分
散値が低くなり、信頼度画像８１０において、紙に相当
する領域８１１は信頼度が低く、黒っぽく表示され、こ
の領域８１１の距離データが正しくないことが確認され
る。一方、床に相当する領域８１２は模様があるため信
頼度が高くなって白っぽく表示される。また、紙と床と
の境界に相当する領域８１３は、よりコントラストがは
っきりするため、信頼度が最も高い部分として最も輝度
が高く表示される。よって、図４（ｃ）に示すように、
距離画像８２０においては、信頼度が低い紙に相当する
領域８２１にはノイズが生じ正しい距離データが得られ
ない。一方、床部分及び床と紙との境界に相当する領域
８２２においては、本図の上部から下部にかけて、距離
が近くなるため徐々に輝度が上がるような濃淡画像が得
られる。
度を高める処理部５８０について更に詳細に説明する。
図４（ａ）乃至図４（ｃ）に示すのは、ダイナミックレ
ンジが広く、高輝度部分が潰れた場合の夫々左カメラ画
像８００、信頼度画像８１０及び距離画像８２０を示
す。なお、図４（ａ）は、テクスチャ（模様）を有する
床８０１上に置かれた紙８０２のカメラ画像を示すもの
である。また、紙８０１にはランダムパターンのテクス
チャを有するものとする。このランダムパターンのテク
スチャがカメラの撮像ダイナミックレンジを超えた場
合、即ち、カメラの絞りを開き過ぎた場合、図４（ａ）
に示すように、カメラ画像８００においては、紙８０２
のテクスチャが現れず、単に白い領域として表示され
る。従って、紙８０２は、図４（ｂ）に示すように、分
散値が低くなり、信頼度画像８１０において、紙に相当
する領域８１１は信頼度が低く、黒っぽく表示され、こ
の領域８１１の距離データが正しくないことが確認され
る。一方、床に相当する領域８１２は模様があるため信
頼度が高くなって白っぽく表示される。また、紙と床と
の境界に相当する領域８１３は、よりコントラストがは
っきりするため、信頼度が最も高い部分として最も輝度
が高く表示される。よって、図４（ｃ）に示すように、
距離画像８２０においては、信頼度が低い紙に相当する
領域８２１にはノイズが生じ正しい距離データが得られ
ない。一方、床部分及び床と紙との境界に相当する領域
８２２においては、本図の上部から下部にかけて、距離
が近くなるため徐々に輝度が上がるような濃淡画像が得
られる。
【００４３】そこで、図４（ｂ）に示す領域８１１のよ
うに、信頼度画像８１０中に信頼度が低い領域がある場
合、信頼度が高くなるようにカメラのコントロールパラ
メータを調節する。図５（ａ）乃至図５（ｃ）はカメラ
のコントロールパラメータを調節した後の夫々左カメラ
画像９００、信頼度画像９１０及び距離画像９２０を示
す模式図である。図５（ａ）に示すように、カメラパラ
メータのうち、アイリス及びゲインを調整すると、図４
（ａ）において単に白く表示されていた紙８０２は、図
５（ａ）に示すように、床９０１の模様と共に、紙９０
２にもランダムパターンのテクスチャが表示されるよう
になる。カメラ入力画像９００からランダムパターンの
テクスチャを確認できたため、図５（ｂ）に示すよう
に、この場合の信頼度画像９１０は、床に相当する領域
９１２及び床と紙との境界に相当する領域９１３と共
に、紙に相当する領域９１１の信頼度が高くなり白っぽ
く表示される。即ち、画面の紙相当する領域９１３の信
頼度が高くなったため、図５（ｃ）に示すように、距離
画像９２０の床及び床と紙との境界に相当する領域９２
２と共に紙に相当する領域９２１における距離データが
正しく取得できるようになり、距離画像９２０は全体が
濃淡画像となる。このように、信頼度画像９１０に含ま
れる信頼度が低い領域の信頼度が高くなるようにカメラ
パラメータを調整することにより、低信頼度領域におい
てもステレオ距離計測を可能にすることができる。
うに、信頼度画像８１０中に信頼度が低い領域がある場
合、信頼度が高くなるようにカメラのコントロールパラ
メータを調節する。図５（ａ）乃至図５（ｃ）はカメラ
のコントロールパラメータを調節した後の夫々左カメラ
画像９００、信頼度画像９１０及び距離画像９２０を示
す模式図である。図５（ａ）に示すように、カメラパラ
メータのうち、アイリス及びゲインを調整すると、図４
（ａ）において単に白く表示されていた紙８０２は、図
５（ａ）に示すように、床９０１の模様と共に、紙９０
２にもランダムパターンのテクスチャが表示されるよう
になる。カメラ入力画像９００からランダムパターンの
テクスチャを確認できたため、図５（ｂ）に示すよう
に、この場合の信頼度画像９１０は、床に相当する領域
９１２及び床と紙との境界に相当する領域９１３と共
に、紙に相当する領域９１１の信頼度が高くなり白っぽ
く表示される。即ち、画面の紙相当する領域９１３の信
頼度が高くなったため、図５（ｃ）に示すように、距離
画像９２０の床及び床と紙との境界に相当する領域９２
２と共に紙に相当する領域９２１における距離データが
正しく取得できるようになり、距離画像９２０は全体が
濃淡画像となる。このように、信頼度画像９１０に含ま
れる信頼度が低い領域の信頼度が高くなるようにカメラ
パラメータを調整することにより、低信頼度領域におい
てもステレオ距離計測を可能にすることができる。
【００４４】また、図５（ａ）に示すようにカメラパラ
メータを調整することにより信頼度が低い領域の信頼度
を高くした場合、又はカメラのダイナミックレンジが低
い場合、逆に信頼度が高い領域の信頼度が低くなる場合
がある。即ち、図４（ａ）において、床８０１は、この
ときのカメラパラメータでは模様が認識され、信頼度が
高い領域８１２として信頼度画像が得られていたが、図
６（ａ）に示すように、紙１００２のテクスチャを表示
させた場合に、床１００１が黒く表示されて模様が表示
されない場合がある。すると、図６（ｂ）に示す信頼度
画像１０１０において、床に相当する領域１０１２は信
頼度が低下して黒っぽく表示されてしまう。従って、図
６（ｃ）に示す距離画像１０２０において、床に相当す
る領域１０２２はノイズが発生して、距離に応じた適切
な濃淡で示されるべき画像が得られない。
メータを調整することにより信頼度が低い領域の信頼度
を高くした場合、又はカメラのダイナミックレンジが低
い場合、逆に信頼度が高い領域の信頼度が低くなる場合
がある。即ち、図４（ａ）において、床８０１は、この
ときのカメラパラメータでは模様が認識され、信頼度が
高い領域８１２として信頼度画像が得られていたが、図
６（ａ）に示すように、紙１００２のテクスチャを表示
させた場合に、床１００１が黒く表示されて模様が表示
されない場合がある。すると、図６（ｂ）に示す信頼度
画像１０１０において、床に相当する領域１０１２は信
頼度が低下して黒っぽく表示されてしまう。従って、図
６（ｃ）に示す距離画像１０２０において、床に相当す
る領域１０２２はノイズが発生して、距離に応じた適切
な濃淡で示されるべき画像が得られない。
【００４５】このように、例えば、パラメータを変更し
ても図４及び図６に示す信頼度画像８１０，１０１０し
か得られないような場合は、各距離画像において、信頼
度が高い部分のみを組み合わせた距離画像を合成するこ
とにより、全ての領域において信頼度が高い合成距離画
像（距離データ）を得ることができる。即ち、図４に示
す床に相当し、正しい距離データが得られた領域８２２
と図６に示す紙に相当し、正しい距離データが得られた
領域１０２１とを組み合わせることにより、全ての領域
で正確な距離データを有する図５（ｃ）に示す距離画像
９２０と同様な距離画像を合成することができる。
ても図４及び図６に示す信頼度画像８１０，１０１０し
か得られないような場合は、各距離画像において、信頼
度が高い部分のみを組み合わせた距離画像を合成するこ
とにより、全ての領域において信頼度が高い合成距離画
像（距離データ）を得ることができる。即ち、図４に示
す床に相当し、正しい距離データが得られた領域８２２
と図６に示す紙に相当し、正しい距離データが得られた
領域１０２１とを組み合わせることにより、全ての領域
で正確な距離データを有する図５（ｃ）に示す距離画像
９２０と同様な距離画像を合成することができる。
【００４６】更に、カメラパラータを予め変化させなが
ら画像を取得しておき、信頼度が高い部分を組み合わせ
て信頼度が高い距離データを得ることもできる。また、
変化させるカメラパラメータは、アイリス及びゲインパ
ラメータに限らず、ロボットが画像を取得する際にコン
トロールできる全てのパラメータを含むものとすること
ができる。
ら画像を取得しておき、信頼度が高い部分を組み合わせ
て信頼度が高い距離データを得ることもできる。また、
変化させるカメラパラメータは、アイリス及びゲインパ
ラメータに限らず、ロボットが画像を取得する際にコン
トロールできる全てのパラメータを含むものとすること
ができる。
【００４７】また、信頼度画像をトリガーとしてコント
ロールするのは、上述したようなロボットにおける受動
的なパラメータだけではなく、ロボットが、発光した
り、ランダムドットパターンを照射したり、塗料を噴射
したり、又は体を動かして視野に移る影を動かしたりし
て信頼度が高い領域を得る等の能動的な動作による方法
をとることも可能である。
ロールするのは、上述したようなロボットにおける受動
的なパラメータだけではなく、ロボットが、発光した
り、ランダムドットパターンを照射したり、塗料を噴射
したり、又は体を動かして視野に移る影を動かしたりし
て信頼度が高い領域を得る等の能動的な動作による方法
をとることも可能である。
【００４８】更に、首をかしげる、及び移動して対象物
と光源との位置関係を変化させる等の動作により、信頼
度画像中の信頼度を高めることもできる。
と光源との位置関係を変化させる等の動作により、信頼
度画像中の信頼度を高めることもできる。
【００４９】次に、上述した低信頼度領域の信頼度を高
くする処理部５８０の動作について説明する。図７及び
図８は、信頼度を高くする処理部５８０の動作を示すフ
ローチャートであって、夫々信頼度によってパラメータ
をコントロールして信頼度が高い領域の距離データを合
成する方法及びパラメータを変化させながら画像を取得
し、信頼度が高い領域の距離データを合成する方法を示
す。
くする処理部５８０の動作について説明する。図７及び
図８は、信頼度を高くする処理部５８０の動作を示すフ
ローチャートであって、夫々信頼度によってパラメータ
をコントロールして信頼度が高い領域の距離データを合
成する方法及びパラメータを変化させながら画像を取得
し、信頼度が高い領域の距離データを合成する方法を示
す。
【００５０】先ず、信頼度によってパラメータをコント
ロールして信頼度が高い領域の距離データを合成する方
法について説明する。図７に示すように、ステレオカメ
ラからのステレオ映像により、ステレオ画像及び信頼度
画像を取得する（ステップＳ１）。そして、信頼度画像
から、信頼度が低い領域があるか否かを検出する（ステ
ップＳ２）。ここで、信頼度が低い領域がある場合は、
ロボット又はカメラパラメータの例えばゲイン若しくは
アイリス等をコントロールする（ステップＳ３）。信頼
度が低い領域がない場合は、ステップＳ１に戻る。ステ
ップＳ３にてパラメータをコントロールした後、再度ス
テレオカメラによりステレオ画像を撮影してステレオ画
像及び信頼度画像を取得する。この再度得られた信頼度
画像において、ステップＳ２で検出された信頼度が低い
領域の信頼度が高くなったか否かを検出し（ステップＳ
４）、信頼度が高くなった場合は、ステップＳ１及びス
テップＳ３で夫々得られた信頼度画像の信頼度が高い領
域の距離データを合成し（ステップＳ５）、距離データ
を出力する。この距離データは、後段の距離画像使用モ
ジュールへ供給される。また、ステップＳ４にて、信頼
度が低い領域の信頼度が高くならなかった場合は、再び
ステップＳ３に戻り、パラメータを再度コントロールし
てステレオ画像を撮影し、再びステレオ画像及び信頼度
画像を取得する。こうして信頼度が低い領域の信頼度が
高くなるまでロボット又はカメラパラメータをコントロ
ールし、得られた距離データを合成して信頼度が高い距
離データを得る。
ロールして信頼度が高い領域の距離データを合成する方
法について説明する。図７に示すように、ステレオカメ
ラからのステレオ映像により、ステレオ画像及び信頼度
画像を取得する（ステップＳ１）。そして、信頼度画像
から、信頼度が低い領域があるか否かを検出する（ステ
ップＳ２）。ここで、信頼度が低い領域がある場合は、
ロボット又はカメラパラメータの例えばゲイン若しくは
アイリス等をコントロールする（ステップＳ３）。信頼
度が低い領域がない場合は、ステップＳ１に戻る。ステ
ップＳ３にてパラメータをコントロールした後、再度ス
テレオカメラによりステレオ画像を撮影してステレオ画
像及び信頼度画像を取得する。この再度得られた信頼度
画像において、ステップＳ２で検出された信頼度が低い
領域の信頼度が高くなったか否かを検出し（ステップＳ
４）、信頼度が高くなった場合は、ステップＳ１及びス
テップＳ３で夫々得られた信頼度画像の信頼度が高い領
域の距離データを合成し（ステップＳ５）、距離データ
を出力する。この距離データは、後段の距離画像使用モ
ジュールへ供給される。また、ステップＳ４にて、信頼
度が低い領域の信頼度が高くならなかった場合は、再び
ステップＳ３に戻り、パラメータを再度コントロールし
てステレオ画像を撮影し、再びステレオ画像及び信頼度
画像を取得する。こうして信頼度が低い領域の信頼度が
高くなるまでロボット又はカメラパラメータをコントロ
ールし、得られた距離データを合成して信頼度が高い距
離データを得る。
【００５１】次に、パラメータを変化させながら画像を
取得し、信頼度が高い領域の画像データを合成して距離
データを取得する方法について説明する。図８に示すよ
うに、ロボット又はカメラパラメータの例えばゲイン若
しくはアイリス等をコントロールする（ステップＳ１
１）。そしてステレオカメラによりステレオ画像を撮影
し、ステレオ画像及び信頼度画像を取得する（ステップ
Ｓ１２）。次いで、十分な枚数の画像を取得したか否か
を判定し（ステップＳ１３）、十分取得したと判定され
た場合は、取得した複数の信頼度画像から信頼度が高い
領域を抽出しその領域の距離データを合成し（ステップ
Ｓ１４）、距離データを出力する。ステップＳ１３に
て、十分でないと判定された場合は、ステップＳ１１に
戻り、再びパラメータをコントロールしたステレオカメ
ラでステレオ画像を撮影し、ステレオ画像及び信頼度画
像を取得する（ステップＳ１２）。
取得し、信頼度が高い領域の画像データを合成して距離
データを取得する方法について説明する。図８に示すよ
うに、ロボット又はカメラパラメータの例えばゲイン若
しくはアイリス等をコントロールする（ステップＳ１
１）。そしてステレオカメラによりステレオ画像を撮影
し、ステレオ画像及び信頼度画像を取得する（ステップ
Ｓ１２）。次いで、十分な枚数の画像を取得したか否か
を判定し（ステップＳ１３）、十分取得したと判定され
た場合は、取得した複数の信頼度画像から信頼度が高い
領域を抽出しその領域の距離データを合成し（ステップ
Ｓ１４）、距離データを出力する。ステップＳ１３に
て、十分でないと判定された場合は、ステップＳ１１に
戻り、再びパラメータをコントロールしたステレオカメ
ラでステレオ画像を撮影し、ステレオ画像及び信頼度画
像を取得する（ステップＳ１２）。
【００５２】次に、上述の方法により、カメラパラメー
タをコントロールしても信頼度を高めることができない
場合について説明する。図５（ａ）に示した紙９０２と
は異なり、ランダムパターン等のテクスチャがない場合
等は、ゲインコントロール等して信頼度を高めようとし
ても、信頼度を高くすることができず、このような信頼
度の低い領域の距離データは上述の方法では得ることが
できない。この場合、低信頼度領域をそのままにしてお
き、後段の距離画像使用モジュールにおいて使用しない
方法と、低信頼度領域をその周囲の高信頼度領域の正し
い距離データで補完（補間）する方法とがある。
タをコントロールしても信頼度を高めることができない
場合について説明する。図５（ａ）に示した紙９０２と
は異なり、ランダムパターン等のテクスチャがない場合
等は、ゲインコントロール等して信頼度を高めようとし
ても、信頼度を高くすることができず、このような信頼
度の低い領域の距離データは上述の方法では得ることが
できない。この場合、低信頼度領域をそのままにしてお
き、後段の距離画像使用モジュールにおいて使用しない
方法と、低信頼度領域をその周囲の高信頼度領域の正し
い距離データで補完（補間）する方法とがある。
【００５３】距離データを得ることができなかった低信
頼度領域を使用しない方法においては、後段の処理で、
その低信頼度領域をマスクすることになるが、マスクす
る領域を正確に把握する必要があり、低信頼度領域の処
理に関して特別な扱いを必要として処理が複雑になる。
一方、距離データが認識できなかった低信頼度領域をそ
の周囲の高信頼度領域の距離データで補完（補間）する
方法においては、低信頼度領域においても距離データが
算出されるため、マスクすることなく、高信頼度領域と
同様の処理を施すことができる。従って、後段の処理で
扱いやすいという利点がある。
頼度領域を使用しない方法においては、後段の処理で、
その低信頼度領域をマスクすることになるが、マスクす
る領域を正確に把握する必要があり、低信頼度領域の処
理に関して特別な扱いを必要として処理が複雑になる。
一方、距離データが認識できなかった低信頼度領域をそ
の周囲の高信頼度領域の距離データで補完（補間）する
方法においては、低信頼度領域においても距離データが
算出されるため、マスクすることなく、高信頼度領域と
同様の処理を施すことができる。従って、後段の処理で
扱いやすいという利点がある。
【００５４】次に、信頼度が低く、距離データが認識で
きなかった低信頼度領域をその周囲の高信頼度領域の距
離データで補完する処理方法について説明する。図９
（ａ）乃至図９（ｅ）は、図１に示す信頼度が低い領域
を信頼度が高い領域のデータで補完する処理部（距離画
像補完手段）５９０における処理画像を示す模式図であ
る。
きなかった低信頼度領域をその周囲の高信頼度領域の距
離データで補完する処理方法について説明する。図９
（ａ）乃至図９（ｅ）は、図１に示す信頼度が低い領域
を信頼度が高い領域のデータで補完する処理部（距離画
像補完手段）５９０における処理画像を示す模式図であ
る。
【００５５】図９（ａ）の左カメラ画像１１００に示す
ように、画像１１００の中央部分にパターンを有さない
例えば段ボール等の対象物１１０１がある場合、図９
（ｂ）の信頼度画像１１１０に示すように、対象物のエ
ッジに相当する領域１１１１以外の領域１１１２は黒っ
ぽく表示され、信頼度が低くなってしまう。この信頼度
画像１１１０のうち、低信頼度領域である領域１１１２
を図９（ａ）に示すカメラ画像からマスクして、距離画
像を求めると、図９（ｃ）に示すように、低信頼度領域
に相当する領域１１２１の距離データが取り除かれたマ
スク画像１１２０が得られる。次に、このマスクされた
領域１１２１に対して、その周囲の信頼度が高い領域１
１２２の距離データを使用してマスク領域１１２１の距
離データを補完し、マスク領域１１２１の距離データを
求める。補完方法に関しては、種々の方法があるが、本
実施の形態においては、ラプラス方程式を用いた補間例
を示す。
ように、画像１１００の中央部分にパターンを有さない
例えば段ボール等の対象物１１０１がある場合、図９
（ｂ）の信頼度画像１１１０に示すように、対象物のエ
ッジに相当する領域１１１１以外の領域１１１２は黒っ
ぽく表示され、信頼度が低くなってしまう。この信頼度
画像１１１０のうち、低信頼度領域である領域１１１２
を図９（ａ）に示すカメラ画像からマスクして、距離画
像を求めると、図９（ｃ）に示すように、低信頼度領域
に相当する領域１１２１の距離データが取り除かれたマ
スク画像１１２０が得られる。次に、このマスクされた
領域１１２１に対して、その周囲の信頼度が高い領域１
１２２の距離データを使用してマスク領域１１２１の距
離データを補完し、マスク領域１１２１の距離データを
求める。補完方法に関しては、種々の方法があるが、本
実施の形態においては、ラプラス方程式を用いた補間例
を示す。
【００５６】ラプラス方定式の理論的な方程式は、下記
数式２で示される。
数式２で示される。
【００５７】
【数２】
【００５８】ここで、上記数式２のラプラシアン∇を書
き換えると下記数式３で示される。
き換えると下記数式３で示される。
【００５９】
【数３】
【００６０】ここで、上記数式３のｕ（ｘ，ｙ）は、画
面中の座標（ｘ，ｙ）における距離データ値を示す。ラ
プラス方程式の差分近似を用いた反復方で求める場合、
例えば下記数式４を使用することができる。
面中の座標（ｘ，ｙ）における距離データ値を示す。ラ
プラス方程式の差分近似を用いた反復方で求める場合、
例えば下記数式４を使用することができる。
【００６１】
【数４】
【００６２】上記数式４を使用して、適当な回数反復し
て、図９（ｄ）に示す完成距離画像１１３０を得ること
ができる。図９（ｄ）に示すように、図９（ｂ）におい
て信頼度が低く黒く表示されていた領域１１１２等の低
信頼度部がその周囲の信頼度が高い部分の距離データに
より補間された距離画像（補正距離画像）１１３０が得
られる。
て、図９（ｄ）に示す完成距離画像１１３０を得ること
ができる。図９（ｄ）に示すように、図９（ｂ）におい
て信頼度が低く黒く表示されていた領域１１１２等の低
信頼度部がその周囲の信頼度が高い部分の距離データに
より補間された距離画像（補正距離画像）１１３０が得
られる。
【００６３】このように、信頼度が低い領域を補完（補
間）する際、その周囲の信頼度が高い領域の距離データ
を使用する。しかしながら、視界角の限界で、必ずし
も、１つの画面（画像）において、低信頼度領域の周囲
全てが高信頼度領域に囲まれるとは限らない。例えば、
補完したい低信頼度領域が画像の周辺部にあり、低信頼
度領域の周囲の一部が高信頼度領域に接していない場合
等、１つの画像のみからでは低信頼度領域の補完を行う
ことができない場合がある。このような場合、ステレオ
カメラの撮像位置を変化させる、即ち、ロボットの首又
は体を動かして視点方向を変える必要がある。このよう
な場合の信頼度画像の求め方について説明する。
間）する際、その周囲の信頼度が高い領域の距離データ
を使用する。しかしながら、視界角の限界で、必ずし
も、１つの画面（画像）において、低信頼度領域の周囲
全てが高信頼度領域に囲まれるとは限らない。例えば、
補完したい低信頼度領域が画像の周辺部にあり、低信頼
度領域の周囲の一部が高信頼度領域に接していない場合
等、１つの画像のみからでは低信頼度領域の補完を行う
ことができない場合がある。このような場合、ステレオ
カメラの撮像位置を変化させる、即ち、ロボットの首又
は体を動かして視点方向を変える必要がある。このよう
な場合の信頼度画像の求め方について説明する。
【００６４】図１０（ａ）及び図１０（ｂ）は、互いに
別のカメラ位置における夫々信頼度画像１２００，１２
１０を示す。図１０（ａ）において、例えば画面下方に
信頼度が低い部分の低信頼度部１２０１を含む低信頼度
領域１２０２を有し、この低信頼度部１２０１の周囲の
うち、下部は高信頼度領域に接していない場合、この低
信頼度部１２０１の距離データは、図１０（ａ）に示す
信頼度画像１２００のみからは補完することができな
い。この場合は、例えば、ロボットの視点を下方に移
動、即ち、カメラ位置を下方に移動して、低信頼度部１
２０１の周囲が全て高信頼度領域１２１３となるように
する。つまり、図１０（ｂ）に示すように、低信頼度領
域１２１２を画面の中央位置に移動させ、低信頼度部１
２１１の周囲が全て高信頼度領域１２１３となるように
する。これにより、低信頼度部１２１１のデータを、高
信頼度領域１２１３の距離データを使用して補完（補
間）することができる。
別のカメラ位置における夫々信頼度画像１２００，１２
１０を示す。図１０（ａ）において、例えば画面下方に
信頼度が低い部分の低信頼度部１２０１を含む低信頼度
領域１２０２を有し、この低信頼度部１２０１の周囲の
うち、下部は高信頼度領域に接していない場合、この低
信頼度部１２０１の距離データは、図１０（ａ）に示す
信頼度画像１２００のみからは補完することができな
い。この場合は、例えば、ロボットの視点を下方に移
動、即ち、カメラ位置を下方に移動して、低信頼度部１
２０１の周囲が全て高信頼度領域１２１３となるように
する。つまり、図１０（ｂ）に示すように、低信頼度領
域１２１２を画面の中央位置に移動させ、低信頼度部１
２１１の周囲が全て高信頼度領域１２１３となるように
する。これにより、低信頼度部１２１１のデータを、高
信頼度領域１２１３の距離データを使用して補完（補
間）することができる。
【００６５】また、図１０（ｃ）に示すように、低信頼
度領域１３００が極めて広い領域からなり、１つのステ
レオ画像に低信頼度領域１３００の全体を含むことが不
可能な場合、カメラの位置（ロボットの視点）を例え
ば、図中矢印１３０１で示すように、左上１３０２、左
下１３０３、右下１３０４、右上１３０５の順に動か
し、低信頼度部１３００の周囲が全て高信頼度領域１３
０６で囲まれるよう視点を移動させて例えば合計４枚の
カメラ画像を得る。そして、これらの４枚のカメラ画像
から信頼度画像を計算し、この四枚の信頼度画像を合成
した合成信頼度画像を取得する。そして、低信頼度領域
１３００の周囲を囲む高信頼度領域１３０６の距離デー
タから低信頼度領域１３００の距離データを補完（補
間）して、完全な距離画像（補正距離画像）を得ること
ができる。
度領域１３００が極めて広い領域からなり、１つのステ
レオ画像に低信頼度領域１３００の全体を含むことが不
可能な場合、カメラの位置（ロボットの視点）を例え
ば、図中矢印１３０１で示すように、左上１３０２、左
下１３０３、右下１３０４、右上１３０５の順に動か
し、低信頼度部１３００の周囲が全て高信頼度領域１３
０６で囲まれるよう視点を移動させて例えば合計４枚の
カメラ画像を得る。そして、これらの４枚のカメラ画像
から信頼度画像を計算し、この四枚の信頼度画像を合成
した合成信頼度画像を取得する。そして、低信頼度領域
１３００の周囲を囲む高信頼度領域１３０６の距離デー
タから低信頼度領域１３００の距離データを補完（補
間）して、完全な距離画像（補正距離画像）を得ること
ができる。
【００６６】以下、距離データの補完方法を図１及び図
１１のフローチャートにより説明する。ステレオカメラ
５１０のステレオ画像５１１から信頼度画像生成計算部
５２０にて信頼度画像５２１を生成した後、信頼度画像
５２１は、画像マスキング処理部５４０に入力される。
この画像マスキング処理部５４０にて、先ず、図１１に
示すように、信頼度画像５２１内において、信頼度が低
い部分（低信頼度領域）が画像５２１の境界上にあるか
否かを検出する（ステップＳ２１）。ステップＳ２１で
信頼度画像５２１の境界上に低信頼度部（低信頼度領
域）が検出された場合は、低信頼度部がマスクされたマ
スク距離画像が生成され、低信頼度部補完処理部５５０
に入力される。ここで、低信頼度領域周辺の信頼度が高
い部分の距離データを保持し（ステップＳ２２）、低信
頼度部（低信頼度領域）の縁に沿ってステレオカメラ
（ロボットの視点）を移動する（ステップＳ２３）。そ
して、低信頼度部（低信頼度領域）の縁を一巡したか否
かを判定し（ステップＳ２４）、一巡したと判定した場
合は、低信頼度部の周囲の高信頼度領域の距離データに
より、低信頼度部の距離データを補完（補間）する（ス
テップＳ２５）。また、ステップＳ２１で低信頼度部
（低信頼度領域）が画像の境界上にないと判定された場
合もステップＳ２５へ進み、低信頼度部の距離データを
補完する。
１１のフローチャートにより説明する。ステレオカメラ
５１０のステレオ画像５１１から信頼度画像生成計算部
５２０にて信頼度画像５２１を生成した後、信頼度画像
５２１は、画像マスキング処理部５４０に入力される。
この画像マスキング処理部５４０にて、先ず、図１１に
示すように、信頼度画像５２１内において、信頼度が低
い部分（低信頼度領域）が画像５２１の境界上にあるか
否かを検出する（ステップＳ２１）。ステップＳ２１で
信頼度画像５２１の境界上に低信頼度部（低信頼度領
域）が検出された場合は、低信頼度部がマスクされたマ
スク距離画像が生成され、低信頼度部補完処理部５５０
に入力される。ここで、低信頼度領域周辺の信頼度が高
い部分の距離データを保持し（ステップＳ２２）、低信
頼度部（低信頼度領域）の縁に沿ってステレオカメラ
（ロボットの視点）を移動する（ステップＳ２３）。そ
して、低信頼度部（低信頼度領域）の縁を一巡したか否
かを判定し（ステップＳ２４）、一巡したと判定した場
合は、低信頼度部の周囲の高信頼度領域の距離データに
より、低信頼度部の距離データを補完（補間）する（ス
テップＳ２５）。また、ステップＳ２１で低信頼度部
（低信頼度領域）が画像の境界上にないと判定された場
合もステップＳ２５へ進み、低信頼度部の距離データを
補完する。
【００６７】本実施の形態によれば、従来はステレオ距
離計測が不可能であった以下の対象物を含む画像、即
ち、 １．輝度のダイナミックレンジが大きく濃淡が淡い部分
がつぶれる対象物を含む画像 ２．反射率が高い表面を有するため、照明の光が反射し
て高輝度部分が飽和する対象物を含む画像 ３．照度が低く、感度が不足し黒い部分が生じる対象物
含む画像 ４．単一輝度及び単一色のテクスチャを有する対象物含
む画像 ５．エピポーフラインに平行なテクスチャを有する対象
物含む画像 に対しても、信頼度画像を作成し、信頼度が低い場合
は、信頼度が高くなるようにカメラ又はロボットパラメ
ータを変化させ再びステレオ画像を入手するか、異なる
パラメータで撮像された複数のステレオ画像から信頼度
が高い領域を合成し、その信頼度画像に基づいて距離画
像を合成するか、又は信頼度が低い領域の距離データを
その周囲の信頼度が高い距離データを使用して補完する
ことにより、信頼度が高い距離データを得ることができ
る。
離計測が不可能であった以下の対象物を含む画像、即
ち、 １．輝度のダイナミックレンジが大きく濃淡が淡い部分
がつぶれる対象物を含む画像 ２．反射率が高い表面を有するため、照明の光が反射し
て高輝度部分が飽和する対象物を含む画像 ３．照度が低く、感度が不足し黒い部分が生じる対象物
含む画像 ４．単一輝度及び単一色のテクスチャを有する対象物含
む画像 ５．エピポーフラインに平行なテクスチャを有する対象
物含む画像 に対しても、信頼度画像を作成し、信頼度が低い場合
は、信頼度が高くなるようにカメラ又はロボットパラメ
ータを変化させ再びステレオ画像を入手するか、異なる
パラメータで撮像された複数のステレオ画像から信頼度
が高い領域を合成し、その信頼度画像に基づいて距離画
像を合成するか、又は信頼度が低い領域の距離データを
その周囲の信頼度が高い距離データを使用して補完する
ことにより、信頼度が高い距離データを得ることができ
る。
【００６８】以下、上述した実施の形態におけるステレ
オ距離計測装置を搭載した２足歩行タイプのロボット装
置について詳細に説明する。この人間型のロボット装置
は、住環境その他の日常生活上の様々な場面における人
的活動を支援する実用ロボットであり、内部状態（怒
り、悲しみ、喜び、楽しみ等）に応じて行動できるほ
か、人間が行う基本的な動作を表出できるエンターテイ
ンメントロボットである。
オ距離計測装置を搭載した２足歩行タイプのロボット装
置について詳細に説明する。この人間型のロボット装置
は、住環境その他の日常生活上の様々な場面における人
的活動を支援する実用ロボットであり、内部状態（怒
り、悲しみ、喜び、楽しみ等）に応じて行動できるほ
か、人間が行う基本的な動作を表出できるエンターテイ
ンメントロボットである。
【００６９】図１２に示すように、ロボット装置１は、
体幹部ユニット２の所定の位置に頭部ユニット３が連結
されると共に、左右２つの腕部ユニット４Ｒ／Ｌと、左
右２つの脚部ユニット５Ｒ／Ｌが連結されて構成されて
いる（但し、Ｒ及びＬの各々は、右及び左の各々を示す
接尾辞である。以下において同じ。）。
体幹部ユニット２の所定の位置に頭部ユニット３が連結
されると共に、左右２つの腕部ユニット４Ｒ／Ｌと、左
右２つの脚部ユニット５Ｒ／Ｌが連結されて構成されて
いる（但し、Ｒ及びＬの各々は、右及び左の各々を示す
接尾辞である。以下において同じ。）。
【００７０】このロボット装置１が具備する関節自由度
構成を図１３に模式的に示す。頭部ユニット３を支持す
る首関節は、首関節ヨー軸１０１と、首関節ピッチ軸１
０２と、首関節ロール軸１０３という３自由度を有して
いる。
構成を図１３に模式的に示す。頭部ユニット３を支持す
る首関節は、首関節ヨー軸１０１と、首関節ピッチ軸１
０２と、首関節ロール軸１０３という３自由度を有して
いる。
【００７１】また、上肢を構成する各々の腕部ユニット
４Ｒ／Ｌは、肩関節ピッチ軸１０７と、肩関節ロール軸
１０８と、上腕ヨー軸１０９と、肘関節ピッチ軸１１０
と、前腕ヨー軸１１１と、手首関節ピッチ軸１１２と、
手首関節ロール軸１１３と、手部１１４とで構成され
る。手部１１４は、実際には、複数本の指を含む多関節
・多自由度構造体である。ただし、手部１１４の動作
は、ロボット装置１の姿勢制御や歩行制御に対する寄与
や影響が少ないので、本明細書ではゼロ自由度と仮定す
る。したがって、各腕部は７自由度を有するとする。
４Ｒ／Ｌは、肩関節ピッチ軸１０７と、肩関節ロール軸
１０８と、上腕ヨー軸１０９と、肘関節ピッチ軸１１０
と、前腕ヨー軸１１１と、手首関節ピッチ軸１１２と、
手首関節ロール軸１１３と、手部１１４とで構成され
る。手部１１４は、実際には、複数本の指を含む多関節
・多自由度構造体である。ただし、手部１１４の動作
は、ロボット装置１の姿勢制御や歩行制御に対する寄与
や影響が少ないので、本明細書ではゼロ自由度と仮定す
る。したがって、各腕部は７自由度を有するとする。
【００７２】また、体幹部ユニット２は、体幹ピッチ軸
１０４と、体幹ロール軸１０５と、体幹ヨー軸１０６と
いう３自由度を有する。
１０４と、体幹ロール軸１０５と、体幹ヨー軸１０６と
いう３自由度を有する。
【００７３】また、下肢を構成する各々の脚部ユニット
５Ｒ／Ｌは、股関節ヨー軸１１５と、股関節ピッチ軸１
１６と、股関節ロール軸１１７と、膝関節ピッチ軸１１
８と、足首関節ピッチ軸１１９と、足首関節ロール軸１
２０と、足部１２１とで構成される。本明細書中では、
股関節ピッチ軸１１６と股関節ロール軸１１７の交点
は、ロボット装置１の股関節位置を定義する。人体の足
部１２１は、実際には多関節・多自由度の足底を含んだ
構造体であるが、ロボット装置１の足底は、ゼロ自由度
とする。したがって、各脚部は、６自由度で構成され
る。
５Ｒ／Ｌは、股関節ヨー軸１１５と、股関節ピッチ軸１
１６と、股関節ロール軸１１７と、膝関節ピッチ軸１１
８と、足首関節ピッチ軸１１９と、足首関節ロール軸１
２０と、足部１２１とで構成される。本明細書中では、
股関節ピッチ軸１１６と股関節ロール軸１１７の交点
は、ロボット装置１の股関節位置を定義する。人体の足
部１２１は、実際には多関節・多自由度の足底を含んだ
構造体であるが、ロボット装置１の足底は、ゼロ自由度
とする。したがって、各脚部は、６自由度で構成され
る。
【００７４】以上を総括すれば、ロボット装置１全体と
しては、合計で３＋７×２＋３＋６×２＝３２自由度を
有することになる。ただし、エンターテインメント向け
のロボット装置１が必ずしも３２自由度に限定されるわ
けではない。設計・制作上の制約条件や要求仕様等に応
じて、自由度すなわち関節数を適宜増減することができ
ることはいうまでもない。
しては、合計で３＋７×２＋３＋６×２＝３２自由度を
有することになる。ただし、エンターテインメント向け
のロボット装置１が必ずしも３２自由度に限定されるわ
けではない。設計・制作上の制約条件や要求仕様等に応
じて、自由度すなわち関節数を適宜増減することができ
ることはいうまでもない。
【００７５】上述したようなロボット装置１がもつ各自
由度は、実際にはアクチュエータを用いて実装される。
外観上で余分な膨らみを排してヒトの自然体形状に近似
させること、２足歩行という不安定構造体に対して姿勢
制御を行うことなどの要請から、アクチュエータは小型
且つ軽量であることが好ましい。
由度は、実際にはアクチュエータを用いて実装される。
外観上で余分な膨らみを排してヒトの自然体形状に近似
させること、２足歩行という不安定構造体に対して姿勢
制御を行うことなどの要請から、アクチュエータは小型
且つ軽量であることが好ましい。
【００７６】図１４には、ロボット装置１の制御システ
ム構成を模式的に示している。同図に示すように、ロボ
ット装置１は、ヒトの四肢を表現した体幹部ユニット
２，頭部ユニット３，腕部ユニット４Ｒ／Ｌ，脚部ユニ
ット５Ｒ／Ｌと、各ユニット間の協調動作を実現するた
めの適応制御を行う制御ユニット１０とで構成される。
ム構成を模式的に示している。同図に示すように、ロボ
ット装置１は、ヒトの四肢を表現した体幹部ユニット
２，頭部ユニット３，腕部ユニット４Ｒ／Ｌ，脚部ユニ
ット５Ｒ／Ｌと、各ユニット間の協調動作を実現するた
めの適応制御を行う制御ユニット１０とで構成される。
【００７７】ロボット装置１全体の動作は、制御ユニッ
ト１０によって統括的に制御される。制御ユニット１０
は、ＣＰＵ（Central Processing Unit）や、ＤＲＡ
Ｍ、フラッシュＲＯＭ等の主要回路コンポーネント（図
示しない）で構成される主制御部１１と、電源回路やロ
ボット装置１の各構成要素とのデータやコマンドの授受
を行うインターフェイス（何れも図示しない）などを含
んだ周辺回路１２とで構成される。
ト１０によって統括的に制御される。制御ユニット１０
は、ＣＰＵ（Central Processing Unit）や、ＤＲＡ
Ｍ、フラッシュＲＯＭ等の主要回路コンポーネント（図
示しない）で構成される主制御部１１と、電源回路やロ
ボット装置１の各構成要素とのデータやコマンドの授受
を行うインターフェイス（何れも図示しない）などを含
んだ周辺回路１２とで構成される。
【００７８】本発明を実現するうえで、この制御ユニッ
ト１０の設置場所は、特に限定されない。図１４では体
幹部ユニット２に搭載されているが、頭部ユニット３に
搭載してもよい。あるいは、ロボット装置１外に制御ユ
ニット１０を配備して、ロボット装置１の機体とは有線
又は無線で交信するようにしてもよい。
ト１０の設置場所は、特に限定されない。図１４では体
幹部ユニット２に搭載されているが、頭部ユニット３に
搭載してもよい。あるいは、ロボット装置１外に制御ユ
ニット１０を配備して、ロボット装置１の機体とは有線
又は無線で交信するようにしてもよい。
【００７９】図１３に示したロボット装置１内の各関節
自由度は、それぞれに対応するアクチュエータによって
実現される。すなわち、頭部ユニット３には、首関節ヨ
ー軸１０１、首関節ピッチ軸１０２、首関節ロール軸１
０３の各々を表現する首関節ヨー軸アクチュエータ
Ａ２、首関節ピッチ軸アクチュエータＡ３、首関節ロー
ル軸アクチュエータＡ４が配設されている。
自由度は、それぞれに対応するアクチュエータによって
実現される。すなわち、頭部ユニット３には、首関節ヨ
ー軸１０１、首関節ピッチ軸１０２、首関節ロール軸１
０３の各々を表現する首関節ヨー軸アクチュエータ
Ａ２、首関節ピッチ軸アクチュエータＡ３、首関節ロー
ル軸アクチュエータＡ４が配設されている。
【００８０】また、頭部ユニット３には、外部の状況を
撮像するためのＣＣＤ（Charge Coupled Device）カメ
ラが設けられているほか、前方に位置する物体までの距
離を測定するための距離センサ、外部音を集音するため
のマイク、音声を出力するためのスピーカ、使用者から
の「撫でる」や「叩く」といった物理的な働きかけによ
り受けた圧力を検出するためのタッチセンサ等が配設さ
れている。
撮像するためのＣＣＤ（Charge Coupled Device）カメ
ラが設けられているほか、前方に位置する物体までの距
離を測定するための距離センサ、外部音を集音するため
のマイク、音声を出力するためのスピーカ、使用者から
の「撫でる」や「叩く」といった物理的な働きかけによ
り受けた圧力を検出するためのタッチセンサ等が配設さ
れている。
【００８１】また、体幹部ユニット２には、体幹ピッチ
軸１０４、体幹ロール軸１０５、体幹ヨー軸１０６の各
々を表現する体幹ピッチ軸アクチュエータＡ５、体幹ロ
ール軸アクチュエータＡ６、体幹ヨー軸アクチュエータ
Ａ７が配設されている。また、体幹部ユニット２には、
このロボット装置１の起動電源となるバッテリを備えて
いる。このバッテリは、充放電可能な電池によって構成
されている。
軸１０４、体幹ロール軸１０５、体幹ヨー軸１０６の各
々を表現する体幹ピッチ軸アクチュエータＡ５、体幹ロ
ール軸アクチュエータＡ６、体幹ヨー軸アクチュエータ
Ａ７が配設されている。また、体幹部ユニット２には、
このロボット装置１の起動電源となるバッテリを備えて
いる。このバッテリは、充放電可能な電池によって構成
されている。
【００８２】また、腕部ユニット４Ｒ／Ｌは、上腕ユニ
ット４１Ｒ／Ｌと、肘関節ユニット４２Ｒ／Ｌと、前腕
ユニット４３Ｒ／Ｌに細分化されるが、肩関節ピッチ軸
１０７、肩関節ロール軸１０８、上腕ヨー軸１０９、肘
関節ピッチ軸１１０、前腕ヨー軸１１１、手首関節ピッ
チ軸１１２、手首関節ロール軸１１３の各々表現する肩
関節ピッチ軸アクチュエータＡ８、肩関節ロール軸アク
チュエータＡ９、上腕ヨー軸アクチュエータＡ１０、肘
関節ピッチ軸アクチュエータＡ１１、肘関節ロール軸ア
クチュエータＡ１２、手首関節ピッチ軸アクチュエータ
Ａ１３、手首関節ロール軸アクチュエータＡ１４が配備
されている。
ット４１Ｒ／Ｌと、肘関節ユニット４２Ｒ／Ｌと、前腕
ユニット４３Ｒ／Ｌに細分化されるが、肩関節ピッチ軸
１０７、肩関節ロール軸１０８、上腕ヨー軸１０９、肘
関節ピッチ軸１１０、前腕ヨー軸１１１、手首関節ピッ
チ軸１１２、手首関節ロール軸１１３の各々表現する肩
関節ピッチ軸アクチュエータＡ８、肩関節ロール軸アク
チュエータＡ９、上腕ヨー軸アクチュエータＡ１０、肘
関節ピッチ軸アクチュエータＡ１１、肘関節ロール軸ア
クチュエータＡ１２、手首関節ピッチ軸アクチュエータ
Ａ１３、手首関節ロール軸アクチュエータＡ１４が配備
されている。
【００８３】また、脚部ユニット５Ｒ／Ｌは、大腿部ユ
ニット５１Ｒ／Ｌと、膝ユニット５ ２Ｒ／Ｌと、脛部ユ
ニット５３Ｒ／Ｌに細分化されるが、股関節ヨー軸１１
５、股関節ピッチ軸１１６、股関節ロール軸１１７、膝
関節ピッチ軸１１８、足首関節ピッチ軸１１９、足首関
節ロール軸１２０の各々を表現する股関節ヨー軸アクチ
ュエータＡ１６、股関節ピッチ軸アクチュエータ
Ａ１７、股関節ロール軸アクチュエータＡ１８、膝関節
ピッチ軸アクチュエータＡ１９、足首関節ピッチ軸アク
チュエータＡ２０、足首関節ロール軸アクチュエータＡ
２１が配備されている。各関節に用いられるアクチュエ
ータＡ２，Ａ３・・・は、より好ましくは、ギア直結型で
旦つサーボ制御系をワンチップ化してモータ・ユニット
内に搭載したタイプの小型ＡＣサーボ・アクチュエータ
で構成することができる。
ニット５１Ｒ／Ｌと、膝ユニット５ ２Ｒ／Ｌと、脛部ユ
ニット５３Ｒ／Ｌに細分化されるが、股関節ヨー軸１１
５、股関節ピッチ軸１１６、股関節ロール軸１１７、膝
関節ピッチ軸１１８、足首関節ピッチ軸１１９、足首関
節ロール軸１２０の各々を表現する股関節ヨー軸アクチ
ュエータＡ１６、股関節ピッチ軸アクチュエータ
Ａ１７、股関節ロール軸アクチュエータＡ１８、膝関節
ピッチ軸アクチュエータＡ１９、足首関節ピッチ軸アク
チュエータＡ２０、足首関節ロール軸アクチュエータＡ
２１が配備されている。各関節に用いられるアクチュエ
ータＡ２，Ａ３・・・は、より好ましくは、ギア直結型で
旦つサーボ制御系をワンチップ化してモータ・ユニット
内に搭載したタイプの小型ＡＣサーボ・アクチュエータ
で構成することができる。
【００８４】体幹部ユニット２、頭部ユニット３、各腕
部ユニット４Ｒ／Ｌ、各脚部ユニット５Ｒ／Ｌなどの各
機構ユニット毎に、アクチュエータ駆動制御部の副制御
部２０，２１，２２Ｒ／Ｌ，２３Ｒ／Ｌが配備されてい
る。さらに、各脚部ユニット５Ｒ／Ｌの足底が着床した
か否かを検出する接地確認センサ３０Ｒ／Ｌを装着する
とともに、体幹部ユニット２内には、姿勢を計測する姿
勢センサ３１を装備している。
部ユニット４Ｒ／Ｌ、各脚部ユニット５Ｒ／Ｌなどの各
機構ユニット毎に、アクチュエータ駆動制御部の副制御
部２０，２１，２２Ｒ／Ｌ，２３Ｒ／Ｌが配備されてい
る。さらに、各脚部ユニット５Ｒ／Ｌの足底が着床した
か否かを検出する接地確認センサ３０Ｒ／Ｌを装着する
とともに、体幹部ユニット２内には、姿勢を計測する姿
勢センサ３１を装備している。
【００８５】接地確認センサ３０Ｒ／Ｌは、例えば足底
に設置された近接センサ又はマイクロ・スイッチなどで
構成される。また、姿勢センサ３１は、例えば、加速度
センサとジャイロ・センサの組み合わせによって構成さ
れる。
に設置された近接センサ又はマイクロ・スイッチなどで
構成される。また、姿勢センサ３１は、例えば、加速度
センサとジャイロ・センサの組み合わせによって構成さ
れる。
【００８６】接地確認センサ３０Ｒ／Ｌの出力によっ
て、歩行・走行などの動作期間中において、左右の各脚
部が現在立脚又は遊脚何れの状態であるかを判別するこ
とができる。また、姿勢センサ３１の出力により、体幹
部分の傾きや姿勢を検出することができる。
て、歩行・走行などの動作期間中において、左右の各脚
部が現在立脚又は遊脚何れの状態であるかを判別するこ
とができる。また、姿勢センサ３１の出力により、体幹
部分の傾きや姿勢を検出することができる。
【００８７】主制御部１１は、各センサ３０Ｒ／Ｌ，３
１の出力に応答して制御目標をダイナミックに補正する
ことができる。より具体的には、副制御部２０，２１，
２２Ｒ／Ｌ，２３Ｒ／Ｌの各々に対して適応的な制御を
行い、ロボット装置１の上肢、体幹、及び下肢が協調し
て駆動する全身運動パターンを実現できる。
１の出力に応答して制御目標をダイナミックに補正する
ことができる。より具体的には、副制御部２０，２１，
２２Ｒ／Ｌ，２３Ｒ／Ｌの各々に対して適応的な制御を
行い、ロボット装置１の上肢、体幹、及び下肢が協調し
て駆動する全身運動パターンを実現できる。
【００８８】ロボット装置１の機体上での全身運動は、
足部運動、ＺＭＰ（Zero Moment Point）軌道、体幹運
動、上肢運動、腰部高さなどを設定するとともに、これ
らの設定内容にしたがった動作を指示するコマンドを各
副制御部２０，２１，２２Ｒ／Ｌ，２３Ｒ／Ｌに転送す
る。そして、各々の副制御部２０，２１，・・・等で
は、主制御部１１からの受信コマンドを解釈して、各ア
クチュエータＡ２，Ａ３・・・等に対して駆動制御信号
を出力する。ここでいう「ＺＭＰ」とは、歩行中の床反
力によるモーメントがゼロとなる床面上の点のことであ
り、また、「ＺＭＰ軌道」とは、例えばロボット装置１
の歩行動作期間中にＺＭＰが動く軌跡を意味する。な
お、ＺＭＰの概念並びにＺＭＰを歩行ロボットの安定度
判別規範に適用する点については、Miomir Vukobratovi
c著“LEGGED LOCOMOTION ROBOTS”（加藤一郎外著『歩
行ロボットと人工の足』（日刊工業新聞社））に記載さ
れている。
足部運動、ＺＭＰ（Zero Moment Point）軌道、体幹運
動、上肢運動、腰部高さなどを設定するとともに、これ
らの設定内容にしたがった動作を指示するコマンドを各
副制御部２０，２１，２２Ｒ／Ｌ，２３Ｒ／Ｌに転送す
る。そして、各々の副制御部２０，２１，・・・等で
は、主制御部１１からの受信コマンドを解釈して、各ア
クチュエータＡ２，Ａ３・・・等に対して駆動制御信号
を出力する。ここでいう「ＺＭＰ」とは、歩行中の床反
力によるモーメントがゼロとなる床面上の点のことであ
り、また、「ＺＭＰ軌道」とは、例えばロボット装置１
の歩行動作期間中にＺＭＰが動く軌跡を意味する。な
お、ＺＭＰの概念並びにＺＭＰを歩行ロボットの安定度
判別規範に適用する点については、Miomir Vukobratovi
c著“LEGGED LOCOMOTION ROBOTS”（加藤一郎外著『歩
行ロボットと人工の足』（日刊工業新聞社））に記載さ
れている。
【００８９】以上のように、ロボット装置１は、各々の
副制御部２０，２１，・・・等が、主制御部１１からの
受信コマンドを解釈して、各アクチュエータＡ２，Ａ３
・・・に対して駆動制御信号を出力し、各ユニットの駆
動を制御している。これにより、ロボット装置１は、目
標の姿勢に安定して遷移し、安定した姿勢で歩行でき
る。
副制御部２０，２１，・・・等が、主制御部１１からの
受信コマンドを解釈して、各アクチュエータＡ２，Ａ３
・・・に対して駆動制御信号を出力し、各ユニットの駆
動を制御している。これにより、ロボット装置１は、目
標の姿勢に安定して遷移し、安定した姿勢で歩行でき
る。
【００９０】また、ロボット装置１における制御ユニッ
ト１０では、上述したような姿勢制御のほかに、加速度
センサ、タッチセンサ、接地確認センサ等の各種セン
サ、及びＣＣＤカメラからの画像情報、マイクからの音
声情報等を統括して処理している。制御ユニット１０で
は、図示しないが加速度センサ、ジャイロ・センサ、タ
ッチセンサ、距離センサ、マイク、スピーカなどの各種
センサ、各アクチュエータ、ＣＣＤカメラ及びバッテリ
が各々対応するハブを介して主制御部１１と接続されて
いる。
ト１０では、上述したような姿勢制御のほかに、加速度
センサ、タッチセンサ、接地確認センサ等の各種セン
サ、及びＣＣＤカメラからの画像情報、マイクからの音
声情報等を統括して処理している。制御ユニット１０で
は、図示しないが加速度センサ、ジャイロ・センサ、タ
ッチセンサ、距離センサ、マイク、スピーカなどの各種
センサ、各アクチュエータ、ＣＣＤカメラ及びバッテリ
が各々対応するハブを介して主制御部１１と接続されて
いる。
【００９１】主制御部１１は、上述の各センサから供給
されるセンサデータや画像データ及び音声データを順次
取り込み、これらをそれぞれ内部インターフェイスを介
してＤＲＡＭ内の所定位置に順次格納する。また、主制
御部１１は、バッテリから供給されるバッテリ残量を表
すバッテリ残量データを順次取り込み、これをＤＲＡＭ
内の所定位置に格納する。ＤＲＡＭに格納された各セン
サデータ、画像データ、音声データ及びバッテリ残量デ
ータは、主制御部１１がこのロボット装置１の動作制御
を行う際に利用される。
されるセンサデータや画像データ及び音声データを順次
取り込み、これらをそれぞれ内部インターフェイスを介
してＤＲＡＭ内の所定位置に順次格納する。また、主制
御部１１は、バッテリから供給されるバッテリ残量を表
すバッテリ残量データを順次取り込み、これをＤＲＡＭ
内の所定位置に格納する。ＤＲＡＭに格納された各セン
サデータ、画像データ、音声データ及びバッテリ残量デ
ータは、主制御部１１がこのロボット装置１の動作制御
を行う際に利用される。
【００９２】主制御部１１は、ロボット装置１の電源が
投入された初期時、制御プログラムを読み出し、これを
ＤＲＡＭに格納する。また、主制御部１１は、上述のよ
うに主制御部１１よりＤＲＡＭに順次格納される各セン
サデータ、画像データ、音声データ及びバッテリ残量デ
ータに基づいて自己及び周囲の状況や、使用者からの指
示及び働きかけの有無などを判断する。
投入された初期時、制御プログラムを読み出し、これを
ＤＲＡＭに格納する。また、主制御部１１は、上述のよ
うに主制御部１１よりＤＲＡＭに順次格納される各セン
サデータ、画像データ、音声データ及びバッテリ残量デ
ータに基づいて自己及び周囲の状況や、使用者からの指
示及び働きかけの有無などを判断する。
【００９３】さらに、主制御部１１は、この判断結果及
びＤＲＡＭに格納した制御プログラムに基づいて自己の
状況に応じて行動を決定するとともに、当該決定結果に
基づいて必要なアクチュエータを駆動させることにより
ロボット装置１に、いわゆる「身振り」、「手振り」と
いった行動をとらせる。
びＤＲＡＭに格納した制御プログラムに基づいて自己の
状況に応じて行動を決定するとともに、当該決定結果に
基づいて必要なアクチュエータを駆動させることにより
ロボット装置１に、いわゆる「身振り」、「手振り」と
いった行動をとらせる。
【００９４】このようにしてロボット装置１は、制御プ
ログラムに基づいて自己及び周囲の状況を判断し、使用
者からの指示及び働きかけに応じて自律的に行動でき
る。
ログラムに基づいて自己及び周囲の状況を判断し、使用
者からの指示及び働きかけに応じて自律的に行動でき
る。
【００９５】ところで、このロボット装置１は、内部状
態に応じて自律的に行動することができる。そこで、ロ
ボット装置１における制御プログラムのソフトウェア構
成例について、図１５乃至図２０を用いて説明する。
態に応じて自律的に行動することができる。そこで、ロ
ボット装置１における制御プログラムのソフトウェア構
成例について、図１５乃至図２０を用いて説明する。
【００９６】図１５において、デバイス・ドライバ・レ
イヤ４０は、制御プログラムの最下位層に位置し、複数
のデバイス・ドライバからなるデバイス・ドライバ・セ
ット４１から構成されている。この場合、各デバイス・
ドライバは、ＣＣＤカメラやタイマ等の通常のコンピュ
ータで用いられるハードウェアに直接アクセスすること
を許されたオブジェクトであり、対応するハードウェア
からの割り込みを受けて処理を行う。
イヤ４０は、制御プログラムの最下位層に位置し、複数
のデバイス・ドライバからなるデバイス・ドライバ・セ
ット４１から構成されている。この場合、各デバイス・
ドライバは、ＣＣＤカメラやタイマ等の通常のコンピュ
ータで用いられるハードウェアに直接アクセスすること
を許されたオブジェクトであり、対応するハードウェア
からの割り込みを受けて処理を行う。
【００９７】また、ロボティック・サーバ・オブジェク
ト４２は、デバイス・ドライバ・レイヤ４０の最下位層
に位置し、例えば上述の各種センサやアクチュエータ２
８１〜２８ｎ等のハードウェアにアクセスするためのイ
ンターフェイスを提供するソフトウェア群でなるバーチ
ャル・ロボット４３と、電源の切換えなどを管理するソ
フトウェア群でなるパワーマネージャ４４と、他の種々
のデバイス・ドライバを管理するソフトウェア群でなる
デバイス・ドライバ・マネージャ４５と、ロボット装置
１の機構を管理するソフトウェア群でなるデザインド・
ロボット４６とから構成されている。
ト４２は、デバイス・ドライバ・レイヤ４０の最下位層
に位置し、例えば上述の各種センサやアクチュエータ２
８１〜２８ｎ等のハードウェアにアクセスするためのイ
ンターフェイスを提供するソフトウェア群でなるバーチ
ャル・ロボット４３と、電源の切換えなどを管理するソ
フトウェア群でなるパワーマネージャ４４と、他の種々
のデバイス・ドライバを管理するソフトウェア群でなる
デバイス・ドライバ・マネージャ４５と、ロボット装置
１の機構を管理するソフトウェア群でなるデザインド・
ロボット４６とから構成されている。
【００９８】マネージャ・オブジェクト４７は、オブジ
ェクト・マネージャ４８及びサービス・マネージャ４９
から構成されている。オブジェクト・マネージャ４８
は、ロボティック・サーバ・オブジェクト４２、ミドル
・ウェア・レイヤ５０、及びアプリケーション・レイヤ
５１に含まれる各ソフトウェア群の起動や終了を管理す
るソフトウェア群であり、サービス・マネージャ４９
は、メモリカードに格納されたコネクションファイルに
記述されている各オブジェクト間の接続情報に基づいて
各オブジェクトの接続を管理するソフトウェア群であ
る。
ェクト・マネージャ４８及びサービス・マネージャ４９
から構成されている。オブジェクト・マネージャ４８
は、ロボティック・サーバ・オブジェクト４２、ミドル
・ウェア・レイヤ５０、及びアプリケーション・レイヤ
５１に含まれる各ソフトウェア群の起動や終了を管理す
るソフトウェア群であり、サービス・マネージャ４９
は、メモリカードに格納されたコネクションファイルに
記述されている各オブジェクト間の接続情報に基づいて
各オブジェクトの接続を管理するソフトウェア群であ
る。
【００９９】ミドル・ウェア・レイヤ５０は、ロボティ
ック・サーバ・オブジェクト４２の上位層に位置し、画
像処理や音声処理などのこのロボット装置１の基本的な
機能を提供するソフトウェア群から構成されている。ま
た、アプリケーション・レイヤ５１は、ミドル・ウェア
・レイヤ５０の上位層に位置し、当該ミドル・ウェア・
レイヤ５０を構成する各ソフトウェア群によって処理さ
れた処理結果に基づいてロボット装置１の行動を決定す
るためのソフトウェア群から構成されている。
ック・サーバ・オブジェクト４２の上位層に位置し、画
像処理や音声処理などのこのロボット装置１の基本的な
機能を提供するソフトウェア群から構成されている。ま
た、アプリケーション・レイヤ５１は、ミドル・ウェア
・レイヤ５０の上位層に位置し、当該ミドル・ウェア・
レイヤ５０を構成する各ソフトウェア群によって処理さ
れた処理結果に基づいてロボット装置１の行動を決定す
るためのソフトウェア群から構成されている。
【０１００】なお、ミドル・ウェア・レイヤ５０及びア
プリケーション・レイヤ５１の具体なソフトウェア構成
をそれぞれ図１６に示す。
プリケーション・レイヤ５１の具体なソフトウェア構成
をそれぞれ図１６に示す。
【０１０１】ミドル・ウェア・レイヤ５０は、図１６に
示すように、騒音検出用、温度検出用、明るさ検出用、
音階認識用、距離検出用、姿勢検出用、タッチセンサ
用、動き検出用及び色認識用の各信号処理モジュール６
０〜６８並びに入力セマンティクスコンバータモジュー
ル６９などを有する認識系７０と、出力セマンティクス
コンバータモジュール７８並びに姿勢管理用、トラッキ
ング用、モーション再生用、歩行用、転倒復帰用、ＬＥ
Ｄ点灯用及び音再生用の各信号処理モジュール７１〜７
７などを有する出力系７９とから構成されている。
示すように、騒音検出用、温度検出用、明るさ検出用、
音階認識用、距離検出用、姿勢検出用、タッチセンサ
用、動き検出用及び色認識用の各信号処理モジュール６
０〜６８並びに入力セマンティクスコンバータモジュー
ル６９などを有する認識系７０と、出力セマンティクス
コンバータモジュール７８並びに姿勢管理用、トラッキ
ング用、モーション再生用、歩行用、転倒復帰用、ＬＥ
Ｄ点灯用及び音再生用の各信号処理モジュール７１〜７
７などを有する出力系７９とから構成されている。
【０１０２】認識系７０の各信号処理モジュール６０〜
６８は、ロボティック・サーバ・オブジェクト４２のバ
ーチャル・ロボット４３によりＤＲＡＭから読み出され
る各センサデータや画像データ及び音声データのうちの
対応するデータを取り込み、当該データに基づいて所定
の処理を施して、処理結果を入力セマンティクスコンバ
ータモジュール６９に与える。ここで、例えば、バーチ
ャル・ロボット４３は、所定の通信規約によって、信号
の授受或いは変換をする部分として構成されている。
６８は、ロボティック・サーバ・オブジェクト４２のバ
ーチャル・ロボット４３によりＤＲＡＭから読み出され
る各センサデータや画像データ及び音声データのうちの
対応するデータを取り込み、当該データに基づいて所定
の処理を施して、処理結果を入力セマンティクスコンバ
ータモジュール６９に与える。ここで、例えば、バーチ
ャル・ロボット４３は、所定の通信規約によって、信号
の授受或いは変換をする部分として構成されている。
【０１０３】入力セマンティクスコンバータモジュール
６９は、これら各信号処理モジュール６０〜６８から与
えられる処理結果に基づいて、「うるさい」、「暑
い」、「明るい」、「ボールを検出した」、「転倒を検
出した」、「撫でられた」、「叩かれた」、「ドミソの
音階が聞こえた」、「動く物体を検出した」又は「障害
物を検出した」などの自己及び周囲の状況や、使用者か
らの指令及び働きかけを認識し、認識結果をアプリケー
ション・レイヤ４１に出力する。
６９は、これら各信号処理モジュール６０〜６８から与
えられる処理結果に基づいて、「うるさい」、「暑
い」、「明るい」、「ボールを検出した」、「転倒を検
出した」、「撫でられた」、「叩かれた」、「ドミソの
音階が聞こえた」、「動く物体を検出した」又は「障害
物を検出した」などの自己及び周囲の状況や、使用者か
らの指令及び働きかけを認識し、認識結果をアプリケー
ション・レイヤ４１に出力する。
【０１０４】アプリケーション・レイヤ５１は、図１７
に示すように、行動モデルライブラリ８０、行動切換モ
ジュール８１、学習モジュール８２、感情モデル８３及
び本能モデル８４の５つのモジュールから構成されてい
る。
に示すように、行動モデルライブラリ８０、行動切換モ
ジュール８１、学習モジュール８２、感情モデル８３及
び本能モデル８４の５つのモジュールから構成されてい
る。
【０１０５】行動モデルライブラリ８０には、図１８に
示すように、「バッテリ残量が少なくなった場合」、
「転倒復帰する」、「障害物を回避する場合」、「感情
を表現する場合」、「ボールを検出した場合」などの予
め選択されたいくつかの条件項目にそれぞれ対応させ
て、それぞれ独立した行動モデルが設けられている。
示すように、「バッテリ残量が少なくなった場合」、
「転倒復帰する」、「障害物を回避する場合」、「感情
を表現する場合」、「ボールを検出した場合」などの予
め選択されたいくつかの条件項目にそれぞれ対応させ
て、それぞれ独立した行動モデルが設けられている。
【０１０６】そして、これら行動モデルは、それぞれ入
力セマンティクスコンバータモジュール６９から認識結
果が与えられたときや、最後の認識結果が与えられてか
ら一定時間が経過したときなどに、必要に応じて後述の
ように感情モデル８３に保持されている対応する情動の
パラメータ値や、本能モデル８４に保持されている対応
する欲求のパラメータ値を参照しながら続く行動をそれ
ぞれ決定し、決定結果を行動切換モジュール８１に出力
する。
力セマンティクスコンバータモジュール６９から認識結
果が与えられたときや、最後の認識結果が与えられてか
ら一定時間が経過したときなどに、必要に応じて後述の
ように感情モデル８３に保持されている対応する情動の
パラメータ値や、本能モデル８４に保持されている対応
する欲求のパラメータ値を参照しながら続く行動をそれ
ぞれ決定し、決定結果を行動切換モジュール８１に出力
する。
【０１０７】なお、この実施の形態の場合、各行動モデ
ルは、次の行動を決定する手法として、図１９に示すよ
うな１つのノード（状態）ＮＯＤＥ０〜ＮＯＤＥｎから
他のどのノードＮＯＤＥ０〜ＮＯＤＥｎに遷移するかを
各ノードＮＯＤＥ０〜ＮＯＤＥｎに間を接続するアーク
ＡＲＣ１〜ＡＲＣｎ１に対してそれぞれ設定された遷移
確率Ｐ１〜Ｐｎに基づいて確率的に決定する有限確率オ
ートマトンと呼ばれるアルゴリズムを用いる。
ルは、次の行動を決定する手法として、図１９に示すよ
うな１つのノード（状態）ＮＯＤＥ０〜ＮＯＤＥｎから
他のどのノードＮＯＤＥ０〜ＮＯＤＥｎに遷移するかを
各ノードＮＯＤＥ０〜ＮＯＤＥｎに間を接続するアーク
ＡＲＣ１〜ＡＲＣｎ１に対してそれぞれ設定された遷移
確率Ｐ１〜Ｐｎに基づいて確率的に決定する有限確率オ
ートマトンと呼ばれるアルゴリズムを用いる。
【０１０８】具体的に、各行動モデルは、それぞれ自己
の行動モデルを形成するノードＮＯＤＥ０〜ＮＯＤＥｎ
にそれぞれ対応させて、これらノードＮＯＤＥ０〜ＮＯ
ＤＥ ｎ毎に図２０に示すような状態遷移表９０を有して
いる。
の行動モデルを形成するノードＮＯＤＥ０〜ＮＯＤＥｎ
にそれぞれ対応させて、これらノードＮＯＤＥ０〜ＮＯ
ＤＥ ｎ毎に図２０に示すような状態遷移表９０を有して
いる。
【０１０９】この状態遷移表９０では、そのノードＮＯ
ＤＥ０〜ＮＯＤＥｎにおいて遷移条件とする入力イベン
ト（認識結果）が「入力イベント名」の列に優先順に列
記され、その遷移条件についてのさらなる条件が「デー
タ名」及び「データ範囲」の列における対応する行に記
述されている。
ＤＥ０〜ＮＯＤＥｎにおいて遷移条件とする入力イベン
ト（認識結果）が「入力イベント名」の列に優先順に列
記され、その遷移条件についてのさらなる条件が「デー
タ名」及び「データ範囲」の列における対応する行に記
述されている。
【０１１０】したがって、図２０の状態遷移表９０で表
されるノードＮＯＤＥ１００では、「ボールを検出（Ｂ
ＡＬＬ）」という認識結果が与えられた場合に、当該認
識結果とともに与えられるそのボールの「大きさ（SIZ
E）」が「0から1000」の範囲であることや、「障害物を
検出（OBSTACLE）」という認識結果が与えられた場合
に、当該認識結果とともに与えられるその障害物までの
「距離（DISTANCE）」が「0から100」の範囲であること
が他のノードに遷移するための条件となっている。
されるノードＮＯＤＥ１００では、「ボールを検出（Ｂ
ＡＬＬ）」という認識結果が与えられた場合に、当該認
識結果とともに与えられるそのボールの「大きさ（SIZ
E）」が「0から1000」の範囲であることや、「障害物を
検出（OBSTACLE）」という認識結果が与えられた場合
に、当該認識結果とともに与えられるその障害物までの
「距離（DISTANCE）」が「0から100」の範囲であること
が他のノードに遷移するための条件となっている。
【０１１１】また、このノードＮＯＤＥ１００では、認
識結果の入力がない場合においても、行動モデルが周期
的に参照する感情モデル８３及び本能モデル８４にそれ
ぞれ保持された各情動及び各欲求のパラメータ値のう
ち、感情モデル８３に保持された「喜び（Joy）」、
「驚き（Surprise）」又は「悲しみ（Sadness）」の何
れかのパラメータ値が「50から100」の範囲であるとき
には他のノードに遷移することができるようになってい
る。
識結果の入力がない場合においても、行動モデルが周期
的に参照する感情モデル８３及び本能モデル８４にそれ
ぞれ保持された各情動及び各欲求のパラメータ値のう
ち、感情モデル８３に保持された「喜び（Joy）」、
「驚き（Surprise）」又は「悲しみ（Sadness）」の何
れかのパラメータ値が「50から100」の範囲であるとき
には他のノードに遷移することができるようになってい
る。
【０１１２】また、状態遷移表９０では、「他のノード
ヘの遷移確率」の欄における「遷移先ノード」の行にそ
のノードＮＯＤＥ０〜ＮＯＤＥｎから遷移できるノード
名が列記されているとともに、「入力イベント名」、
「データ名」及び「データの範囲」の列に記述された全
ての条件が揃ったときに遷移できる他の各ノードＮＯＤ
Ｅ０〜ＮＯＤＥｎへの遷移確率が「他のノードヘの遷移
確率」の欄内の対応する箇所にそれぞれ記述され、その
ノードＮＯＤＥ０〜ＮＯＤＥｎに遷移する際に出力すべ
き行動が「他のノードヘの遷移確率」の欄における「出
力行動」の行に記述されている。なお、「他のノードヘ
の遷移確率」の欄における各行の確率の和は１００
［％］となっている。
ヘの遷移確率」の欄における「遷移先ノード」の行にそ
のノードＮＯＤＥ０〜ＮＯＤＥｎから遷移できるノード
名が列記されているとともに、「入力イベント名」、
「データ名」及び「データの範囲」の列に記述された全
ての条件が揃ったときに遷移できる他の各ノードＮＯＤ
Ｅ０〜ＮＯＤＥｎへの遷移確率が「他のノードヘの遷移
確率」の欄内の対応する箇所にそれぞれ記述され、その
ノードＮＯＤＥ０〜ＮＯＤＥｎに遷移する際に出力すべ
き行動が「他のノードヘの遷移確率」の欄における「出
力行動」の行に記述されている。なお、「他のノードヘ
の遷移確率」の欄における各行の確率の和は１００
［％］となっている。
【０１１３】したがって、図２０の状態遷移表９０で表
されるノードＮＯＤＥ１００では、例えば「ボールを検
出（ＢＡＬＬ）」し、そのボールの「ＳＩＺＥ（大き
さ）」が「0から1000」の範囲であるという認識結果が
与えられた場合には、「30［％］」の確率で「ノードＮ
ＯＤＥ１２０（node 120）」に遷移でき、そのとき「Ａ
ＣＴＩＯＮ１」の行動が出力されることとなる。
されるノードＮＯＤＥ１００では、例えば「ボールを検
出（ＢＡＬＬ）」し、そのボールの「ＳＩＺＥ（大き
さ）」が「0から1000」の範囲であるという認識結果が
与えられた場合には、「30［％］」の確率で「ノードＮ
ＯＤＥ１２０（node 120）」に遷移でき、そのとき「Ａ
ＣＴＩＯＮ１」の行動が出力されることとなる。
【０１１４】各行動モデルは、それぞれこのような状態
遷移表９０として記述されたノードＮＯＤＥ０〜 ＮＯ
ＤＥｎが幾つも繋がるようにして構成されており、入力
セマンティクスコンバータモジュール６９から認識結果
が与えられたときなどに、対応するノードＮＯＤＥ０〜
ＮＯＤＥｎの状態遷移表を利用して確率的に次の行動を
決定し、決定結果を行動切換モジュール８１に出力する
ようになされている。
遷移表９０として記述されたノードＮＯＤＥ０〜 ＮＯ
ＤＥｎが幾つも繋がるようにして構成されており、入力
セマンティクスコンバータモジュール６９から認識結果
が与えられたときなどに、対応するノードＮＯＤＥ０〜
ＮＯＤＥｎの状態遷移表を利用して確率的に次の行動を
決定し、決定結果を行動切換モジュール８１に出力する
ようになされている。
【０１１５】図１７に示す行動切換モジュール８１は、
行動モデルライブラリ８０の各行動モデルからそれぞれ
出力される行動のうち、予め定められた優先順位の高い
行動モデルから出力された行動を選択し、当該行動を実
行すべき旨のコマンド（以下、行動コマンドという。）
をミドル・ウェア・レイヤ５０の出力セマンティクスコ
ンバータモジュール７８に送出する。なお、この実施の
形態においては、図１８において下側に表記された行動
モデルほど優先順位が高く設定されている。
行動モデルライブラリ８０の各行動モデルからそれぞれ
出力される行動のうち、予め定められた優先順位の高い
行動モデルから出力された行動を選択し、当該行動を実
行すべき旨のコマンド（以下、行動コマンドという。）
をミドル・ウェア・レイヤ５０の出力セマンティクスコ
ンバータモジュール７８に送出する。なお、この実施の
形態においては、図１８において下側に表記された行動
モデルほど優先順位が高く設定されている。
【０１１６】また、行動切換モジュール８１は、行動完
了後に出力セマンティクスコンバータモジュール７８か
ら与えられる行動完了情報に基づいて、その行動が完了
したことを学習モジュール８２、感情モデル８３及び本
能モデル８４に通知する。
了後に出力セマンティクスコンバータモジュール７８か
ら与えられる行動完了情報に基づいて、その行動が完了
したことを学習モジュール８２、感情モデル８３及び本
能モデル８４に通知する。
【０１１７】一方、学習モジュール８２は、入力セマン
ティクスコンバータモジュール６９から与えられる認識
結果のうち、「叩かれた」や「撫でられた」など、使用
者からの働きかけとして受けた教示の認識結果を入力す
る。
ティクスコンバータモジュール６９から与えられる認識
結果のうち、「叩かれた」や「撫でられた」など、使用
者からの働きかけとして受けた教示の認識結果を入力す
る。
【０１１８】そして、学習モジュール８２は、この認識
結果及び行動切換えモジュール７１からの通知に基づい
て、「叩かれた（叱られた）」ときにはその行動の発現
確率を低下させ、「撫でられた（誉められた）」ときに
はその行動の発現確率を上昇させるように、行動モデル
ライブラリ７０における対応する行動モデルの対応する
遷移確率を変更する。
結果及び行動切換えモジュール７１からの通知に基づい
て、「叩かれた（叱られた）」ときにはその行動の発現
確率を低下させ、「撫でられた（誉められた）」ときに
はその行動の発現確率を上昇させるように、行動モデル
ライブラリ７０における対応する行動モデルの対応する
遷移確率を変更する。
【０１１９】他方、感情モデル８３は、「喜び（Jo
y）」、「悲しみ（Sadness）」、「怒り（Anger）」、
「驚き（Surprise）」、「嫌悪（Disgust）」及び「恐
れ（Fear）」の合計６つの情動について、各情動毎にそ
の情動の強さを表すパラメータを保持している。そし
て、感情モデル８３は、これら各情動のパラメータ値
を、それぞれ入力セマンティクスコンバータモジュール
６９から与えられる「叩かれた」及び「撫でられた」な
どの特定の認識結果や、経過時間及び行動切換モジュー
ル８１からの通知などに基づいて周期的に更新する。
y）」、「悲しみ（Sadness）」、「怒り（Anger）」、
「驚き（Surprise）」、「嫌悪（Disgust）」及び「恐
れ（Fear）」の合計６つの情動について、各情動毎にそ
の情動の強さを表すパラメータを保持している。そし
て、感情モデル８３は、これら各情動のパラメータ値
を、それぞれ入力セマンティクスコンバータモジュール
６９から与えられる「叩かれた」及び「撫でられた」な
どの特定の認識結果や、経過時間及び行動切換モジュー
ル８１からの通知などに基づいて周期的に更新する。
【０１２０】具体的には、感情モデル８３は、入力セマ
ンティクスコンバータモジュール６９から与えられる認
識結果と、そのときのロボット装置１の行動と、前回更
新してからの経過時間となどに基づいて所定の演算式に
より算出されるそのときのその情動の変動量を△Ｅ
［ｔ］、現在のその情動のパラメータ値をＥ［ｔ］、そ
の情動の感度を表す係数をｋｅとして、下記数式５によ
って次の周期におけるその情動のパラメータ値Ｅ［ｔ＋
１］を算出し、これを現在のその情動のパラメータ値Ｅ
［ｔ］と置き換えるようにしてその情動のパラメータ値
を更新する。また、感情モデル８３は、これと同様にし
て全ての情動のパラメータ値を更新する。
ンティクスコンバータモジュール６９から与えられる認
識結果と、そのときのロボット装置１の行動と、前回更
新してからの経過時間となどに基づいて所定の演算式に
より算出されるそのときのその情動の変動量を△Ｅ
［ｔ］、現在のその情動のパラメータ値をＥ［ｔ］、そ
の情動の感度を表す係数をｋｅとして、下記数式５によ
って次の周期におけるその情動のパラメータ値Ｅ［ｔ＋
１］を算出し、これを現在のその情動のパラメータ値Ｅ
［ｔ］と置き換えるようにしてその情動のパラメータ値
を更新する。また、感情モデル８３は、これと同様にし
て全ての情動のパラメータ値を更新する。
【０１２１】
【数５】
【０１２２】なお、各認識結果や出力セマンティクスコ
ンバータモジュール７８からの通知が各情動のパラメー
タ値の変動量△Ｅ［ｔ］にどの程度の影響を与えるかは
予め決められており、例えば「叩かれた」といった認識
結果は「怒り」の情動のパラメータ値の変動量△Ｅ
［ｔ］に大きな影響を与え、「撫でられた」といった認
識結果は「喜び」の情動のパラメータ値の変動量△Ｅ
［ｔ］に大きな影響を与えるようになっている。
ンバータモジュール７８からの通知が各情動のパラメー
タ値の変動量△Ｅ［ｔ］にどの程度の影響を与えるかは
予め決められており、例えば「叩かれた」といった認識
結果は「怒り」の情動のパラメータ値の変動量△Ｅ
［ｔ］に大きな影響を与え、「撫でられた」といった認
識結果は「喜び」の情動のパラメータ値の変動量△Ｅ
［ｔ］に大きな影響を与えるようになっている。
【０１２３】ここで、出力セマンティクスコンバータモ
ジュール７８からの通知とは、いわゆる行動のフィード
バック情報（行動完了情報）であり、行動の出現結果の
情報であり、感情モデル８３は、このような情報によっ
ても感情を変化させる。これは、例えば、「叫ぶ」とい
った行動により怒りの感情レベルが下がるといったよう
なことである。なお、出力セマンティクスコンバータモ
ジュール７８からの通知は、上述した学習モジュール８
２にも入力されており、学習モジュール８２は、その通
知に基づいて行動モデルの対応する遷移確率を変更す
る。
ジュール７８からの通知とは、いわゆる行動のフィード
バック情報（行動完了情報）であり、行動の出現結果の
情報であり、感情モデル８３は、このような情報によっ
ても感情を変化させる。これは、例えば、「叫ぶ」とい
った行動により怒りの感情レベルが下がるといったよう
なことである。なお、出力セマンティクスコンバータモ
ジュール７８からの通知は、上述した学習モジュール８
２にも入力されており、学習モジュール８２は、その通
知に基づいて行動モデルの対応する遷移確率を変更す
る。
【０１２４】なお、行動結果のフィードバックは、行動
切換モジュール８１の出力（感情が付加された行動）に
よりなされるものであってもよい。
切換モジュール８１の出力（感情が付加された行動）に
よりなされるものであってもよい。
【０１２５】一方、本能モデル８４は、「運動欲（exer
cise）」、「愛情欲（affection）」、「食欲（appetit
e）」及び「好奇心（curiosity）」の互いに独立した４
つの欲求について、これら欲求毎にその欲求の強さを表
すパラメータを保持している。そして、本能モデル８４
は、これらの欲求のパラメータ値を、それぞれ入力セマ
ンティクスコンバータモジュール６９から与えられる認
識結果や、経過時間及び行動切換モジュール８１からの
通知などに基づいて周期的に更新する。
cise）」、「愛情欲（affection）」、「食欲（appetit
e）」及び「好奇心（curiosity）」の互いに独立した４
つの欲求について、これら欲求毎にその欲求の強さを表
すパラメータを保持している。そして、本能モデル８４
は、これらの欲求のパラメータ値を、それぞれ入力セマ
ンティクスコンバータモジュール６９から与えられる認
識結果や、経過時間及び行動切換モジュール８１からの
通知などに基づいて周期的に更新する。
【０１２６】具体的には、本能モデル８４は、「運動
欲」、「愛情欲」及び「好奇心」については、認識結
果、経過時間及び出力セマンティクスコンバータモジュ
ール７８からの通知などに基づいて所定の演算式により
算出されるそのときのその欲求の変動量をΔＩ［ｋ］、
現在のその欲求のパラメータ値をＩ［ｋ］、その欲求の
感度を表す係数ｋｉとして、所定周期で下記数式６を用
いて次の周期におけるその欲求のパラメータ値Ｉ［ｋ＋
１］を算出し、この演算結果を現在のその欲求のパラメ
ータ値Ｉ［ｋ］と置き換えるようにしてその欲求のパラ
メータ値を更新する。また、本能モデル８４は、これと
同様にして「食欲」を除く各欲求のパラメータ値を更新
する。
欲」、「愛情欲」及び「好奇心」については、認識結
果、経過時間及び出力セマンティクスコンバータモジュ
ール７８からの通知などに基づいて所定の演算式により
算出されるそのときのその欲求の変動量をΔＩ［ｋ］、
現在のその欲求のパラメータ値をＩ［ｋ］、その欲求の
感度を表す係数ｋｉとして、所定周期で下記数式６を用
いて次の周期におけるその欲求のパラメータ値Ｉ［ｋ＋
１］を算出し、この演算結果を現在のその欲求のパラメ
ータ値Ｉ［ｋ］と置き換えるようにしてその欲求のパラ
メータ値を更新する。また、本能モデル８４は、これと
同様にして「食欲」を除く各欲求のパラメータ値を更新
する。
【０１２７】
【数６】
【０１２８】なお、認識結果及び出力セマンティクスコ
ンバータモジュール７８からの通知などが各欲求のパラ
メータ値の変動量△Ｉ［ｋ］にどの程度の影響を与える
かは予め決められており、例えば出力セマンティクスコ
ンバータモジュール７８からの通知は、「疲れ」のパラ
メータ値の変動量△Ｉ［ｋ］に大きな影響を与えるよう
になっている。
ンバータモジュール７８からの通知などが各欲求のパラ
メータ値の変動量△Ｉ［ｋ］にどの程度の影響を与える
かは予め決められており、例えば出力セマンティクスコ
ンバータモジュール７８からの通知は、「疲れ」のパラ
メータ値の変動量△Ｉ［ｋ］に大きな影響を与えるよう
になっている。
【０１２９】なお、本実施の形態においては、各情動及
び各欲求（本能）のパラメータ値がそれぞれ０から１０
０までの範囲で変動するように規制されており、また係
数ｋ ｅ、ｋｉの値も各情動及び各欲求毎に個別に設定さ
れている。
び各欲求（本能）のパラメータ値がそれぞれ０から１０
０までの範囲で変動するように規制されており、また係
数ｋ ｅ、ｋｉの値も各情動及び各欲求毎に個別に設定さ
れている。
【０１３０】一方、ミドル・ウェア・レイヤ５０の出力
セマンティクスコンバータモジュール７８は、図１６に
示すように、上述のようにしてアプリケーション・レイ
ヤ５１の行動切換モジュール８１から与えられる「前
進」、「喜ぶ」、「鳴く」又は「トラッキング（ボール
を追いかける）」といった抽象的な行動コマンドを出力
系７９の対応する信号処理モジュール７１〜７７に与え
る。
セマンティクスコンバータモジュール７８は、図１６に
示すように、上述のようにしてアプリケーション・レイ
ヤ５１の行動切換モジュール８１から与えられる「前
進」、「喜ぶ」、「鳴く」又は「トラッキング（ボール
を追いかける）」といった抽象的な行動コマンドを出力
系７９の対応する信号処理モジュール７１〜７７に与え
る。
【０１３１】そしてこれら信号処理モジュール７１〜７
７は、行動コマンドが与えられると当該行動コマンドに
基づいて、その行動をするために対応するアクチュエー
タに与えるべきサーボ指令値や、スピーカから出力する
音の音声データ及び又はＬＥＤに与える駆動データを生
成し、これらのデータをロボティック・サーバ・オブジ
ェクト４２のバーチャル・ロボット４３及び信号処理回
路を順次介して対応するアクチュエータ又はスピーカ又
はＬＥＤに順次送出する。
７は、行動コマンドが与えられると当該行動コマンドに
基づいて、その行動をするために対応するアクチュエー
タに与えるべきサーボ指令値や、スピーカから出力する
音の音声データ及び又はＬＥＤに与える駆動データを生
成し、これらのデータをロボティック・サーバ・オブジ
ェクト４２のバーチャル・ロボット４３及び信号処理回
路を順次介して対応するアクチュエータ又はスピーカ又
はＬＥＤに順次送出する。
【０１３２】このようにしてロボット装置１は、上述し
た制御プログラムに基づいて、自己（内部）及び周囲
（外部）の状況や、使用者からの指示及び働きかけに応
じた自律的な行動ができる。
た制御プログラムに基づいて、自己（内部）及び周囲
（外部）の状況や、使用者からの指示及び働きかけに応
じた自律的な行動ができる。
【０１３３】このような制御プログラムは、ロボット装
置が読取可能な形式で記録された記録媒体を介して提供
される。制御プログラムを記録する記録媒体としては、
磁気読取方式の記録媒体（例えば、磁気テープ、フレキ
シブルディスク、磁気カード）、光学読取方式の記録媒
体（例えば、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ）
等が考えられる。記録媒体には、半導体メモリ（いわゆ
るメモリカード（矩形型、正方形型など形状は問わな
い。）、ＩＣカード）等の記憶媒体も含まれる。また、
制御プログラムは、いわゆるインターネット等を介して
提供されてもよい。
置が読取可能な形式で記録された記録媒体を介して提供
される。制御プログラムを記録する記録媒体としては、
磁気読取方式の記録媒体（例えば、磁気テープ、フレキ
シブルディスク、磁気カード）、光学読取方式の記録媒
体（例えば、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ）
等が考えられる。記録媒体には、半導体メモリ（いわゆ
るメモリカード（矩形型、正方形型など形状は問わな
い。）、ＩＣカード）等の記憶媒体も含まれる。また、
制御プログラムは、いわゆるインターネット等を介して
提供されてもよい。
【０１３４】これらの制御プログラムは、専用の読込ド
ライバ装置、又はパーソナルコンピュータ等を介して再
生され、有線又は無線接続によってロボット装置１に伝
送されて読み込まれる。また、ロボット装置１は、半導
体メモリ、又はＩＣカード等の小型化された記憶媒体の
ドライブ装置を備える場合、これら記憶媒体から制御プ
ログラムを直接読み込むこともできる。
ライバ装置、又はパーソナルコンピュータ等を介して再
生され、有線又は無線接続によってロボット装置１に伝
送されて読み込まれる。また、ロボット装置１は、半導
体メモリ、又はＩＣカード等の小型化された記憶媒体の
ドライブ装置を備える場合、これら記憶媒体から制御プ
ログラムを直接読み込むこともできる。
【０１３５】本実施の形態においては、頭部ユニットの
ＣＣＤカメラ（ステレオカメラ５１０）及び画像処理回
路からなるステレオ距離計測装置から信頼度画像を使用
して求められた正確な補正距離データが情報処理手段に
入力されるため、ロボット装置は、ステレオ距離計測デ
ータを用いた環境認識及び物体認識等、ロボットの後段
の認識精度を高めることができる。
ＣＣＤカメラ（ステレオカメラ５１０）及び画像処理回
路からなるステレオ距離計測装置から信頼度画像を使用
して求められた正確な補正距離データが情報処理手段に
入力されるため、ロボット装置は、ステレオ距離計測デ
ータを用いた環境認識及び物体認識等、ロボットの後段
の認識精度を高めることができる。
【０１３６】また、上記パラメータは、ＣＣＤカメラの
パラメータと、ロボット装置のパラメータとを含み、信
頼度画像の信頼度に基づいてカメラパラメータ及びロボ
ットパラメータを制御することで、ＣＣＤ画像の撮像条
件及び撮像位置等のカメラパラメータを制御するだけで
はなく、ロボット装置の頭部ユニット、左右２つの腕部
ユニット４Ｒ／Ｌ及び左右２つの脚部ユニット５Ｒ／Ｌ
等を動作させるロボットパラメータを種々変更すること
により、更に信頼度が高い距離画像を得ることができ、
ロボット装置の性能が向上する。
パラメータと、ロボット装置のパラメータとを含み、信
頼度画像の信頼度に基づいてカメラパラメータ及びロボ
ットパラメータを制御することで、ＣＣＤ画像の撮像条
件及び撮像位置等のカメラパラメータを制御するだけで
はなく、ロボット装置の頭部ユニット、左右２つの腕部
ユニット４Ｒ／Ｌ及び左右２つの脚部ユニット５Ｒ／Ｌ
等を動作させるロボットパラメータを種々変更すること
により、更に信頼度が高い距離画像を得ることができ、
ロボット装置の性能が向上する。
【０１３７】
【発明の効果】以上詳細に説明したように本発明に係る
ステレオ距離計測方法は、ステレオ画像を入力するステ
レオ画像入力工程と、上記ステレオ画像から距離データ
を算出し該距離データから距離画像を生成する距離画像
生成工程と、１つの上記距離画像を生成するのに使用し
た上記ステレオ画像の少なくとも１つから信頼度画像を
生成する信頼度画像生成工程と、上記信頼度画像の信頼
度に基づいて補正距離画像を生成する距離画像補正工程
とを有し、上記距離画像補正工程は、上記信頼度画像の
信頼度が所定の閾値よりも低い低信頼度領域を有すると
きは、上記信頼度を高める信頼度向上処理工程を有する
か、又は上記閾値よりも高い信頼度を有する高信頼度領
域の高信頼度距離データを使用して上記低信頼度領域の
低信頼度距離データを補完する補完処理工程を有するの
で、輝度のダイナミックレンジが大きく、淡い濃淡が潰
れてしまった画像、反射率が高い表面を有して照明の光
が反射し、高輝度部分が飽和した画像、照度が低く感度
が足りずに黒い部分がある画像、単一輝度及び単一色の
テクスチャ、並びにエピポーラインに平行なテクスチャ
等、従来のステレオ距離計測方法では信頼度が低く距離
情報が得られなかった対象物に対しても信頼度を向上さ
せて正確な距離画像を得ることができる。
ステレオ距離計測方法は、ステレオ画像を入力するステ
レオ画像入力工程と、上記ステレオ画像から距離データ
を算出し該距離データから距離画像を生成する距離画像
生成工程と、１つの上記距離画像を生成するのに使用し
た上記ステレオ画像の少なくとも１つから信頼度画像を
生成する信頼度画像生成工程と、上記信頼度画像の信頼
度に基づいて補正距離画像を生成する距離画像補正工程
とを有し、上記距離画像補正工程は、上記信頼度画像の
信頼度が所定の閾値よりも低い低信頼度領域を有すると
きは、上記信頼度を高める信頼度向上処理工程を有する
か、又は上記閾値よりも高い信頼度を有する高信頼度領
域の高信頼度距離データを使用して上記低信頼度領域の
低信頼度距離データを補完する補完処理工程を有するの
で、輝度のダイナミックレンジが大きく、淡い濃淡が潰
れてしまった画像、反射率が高い表面を有して照明の光
が反射し、高輝度部分が飽和した画像、照度が低く感度
が足りずに黒い部分がある画像、単一輝度及び単一色の
テクスチャ、並びにエピポーラインに平行なテクスチャ
等、従来のステレオ距離計測方法では信頼度が低く距離
情報が得られなかった対象物に対しても信頼度を向上さ
せて正確な距離画像を得ることができる。
【０１３８】また、本発明に係るロボット装置は、供給
された入力情報に基づいて動作を行う自律型のロボット
装置であって、ステレオ画像を入力するステレオ画像入
力手段と、上記ステレオ画像から距離データを算出し該
距離データから距離画像を生成する距離画像生成手段
と、１つの上記距離画像を生成するのに使用した上記ス
テレオ画像の少なくとも１つから信頼度画像を生成する
信頼度画像生成手段と、上記信頼度画像の信頼度に基づ
いて補正距離画像を生成する距離画像補正手段とを有
し、上記距離画像補正手段は、上記信頼度画像の信頼度
が所定の閾値よりも低い低信頼度領域を有するときは、
上記信頼度を高める信頼度向上処理手段を有するか、又
は上記閾値よりも高い信頼度を有する高信頼度領域の高
信頼度距離データを使用して上記低信頼度領域の低信頼
度距離データを補完する補完処理手段を有するので、距
離計測の際に、信頼度画像を用いることにより、距離デ
ータの精度及び信頼度を高めることができ、これによ
り、ステレオ距離計測データを使用した環境認識及び物
体認識等、ロボット装置の後段の認識精度を飛躍的に高
めることができる。
された入力情報に基づいて動作を行う自律型のロボット
装置であって、ステレオ画像を入力するステレオ画像入
力手段と、上記ステレオ画像から距離データを算出し該
距離データから距離画像を生成する距離画像生成手段
と、１つの上記距離画像を生成するのに使用した上記ス
テレオ画像の少なくとも１つから信頼度画像を生成する
信頼度画像生成手段と、上記信頼度画像の信頼度に基づ
いて補正距離画像を生成する距離画像補正手段とを有
し、上記距離画像補正手段は、上記信頼度画像の信頼度
が所定の閾値よりも低い低信頼度領域を有するときは、
上記信頼度を高める信頼度向上処理手段を有するか、又
は上記閾値よりも高い信頼度を有する高信頼度領域の高
信頼度距離データを使用して上記低信頼度領域の低信頼
度距離データを補完する補完処理手段を有するので、距
離計測の際に、信頼度画像を用いることにより、距離デ
ータの精度及び信頼度を高めることができ、これによ
り、ステレオ距離計測データを使用した環境認識及び物
体認識等、ロボット装置の後段の認識精度を飛躍的に高
めることができる。
【図１】本発明の実施の形態におけるステレオ距離計測
装置を示すブロック図である。
装置を示すブロック図である。
【図２】（ａ）乃至（ｅ）は、夫々左カメラの入力画像
（左カメラ画像）、右カメラの入力画像（右カメラ画
像）、距離画像、信頼度画像、及び距離画像を信頼度画
像でマスクした後のマスク距離画像を示す図である。
（左カメラ画像）、右カメラの入力画像（右カメラ画
像）、距離画像、信頼度画像、及び距離画像を信頼度画
像でマスクした後のマスク距離画像を示す図である。
【図３】（ａ）はテンプレート７０２を抜き出す基準画
像７０１を示す模式図、（ｂ）はテンプレートとマッチ
ング比較を行う先の画像７０３を示す模式図、（ｃ）
は、テンプレート７０２の距離数に対するマッチングス
コア値を示すグラフ図である。
像７０１を示す模式図、（ｂ）はテンプレートとマッチ
ング比較を行う先の画像７０３を示す模式図、（ｃ）
は、テンプレート７０２の距離数に対するマッチングス
コア値を示すグラフ図である。
【図４】（ａ）乃至（ｃ）は、ダイナミックレンジが広
く、高輝度部分が潰れた場合の夫々左カメラ画像８０
０、信頼度画像８１０及び距離画像８２０を示す図であ
る。
く、高輝度部分が潰れた場合の夫々左カメラ画像８０
０、信頼度画像８１０及び距離画像８２０を示す図であ
る。
【図５】（ａ）乃至（ｃ）はカメラのコントロールパラ
メータを調節した後の夫々左カメラ画像９００、信頼度
画像９１０及び距離画像９２０を示す図である。
メータを調節した後の夫々左カメラ画像９００、信頼度
画像９１０及び距離画像９２０を示す図である。
【図６】（ａ）乃至（ｃ）は、ダイナミックレンジが狭
く、低輝度部分が潰れた場合の夫々左カメラ画像１００
０、信頼度画像１０１０及び距離画像１０２０を示す図
である。
く、低輝度部分が潰れた場合の夫々左カメラ画像１００
０、信頼度画像１０１０及び距離画像１０２０を示す図
である。
【図７】信頼度によってパラメータをコントロールした
距離データ取得方法を示すフローチャートである。
距離データ取得方法を示すフローチャートである。
【図８】パラメータを変化させながら画像を取得し信頼
度が高い部分を合成した距離データの取得方法を示すフ
ローチャートである。
度が高い部分を合成した距離データの取得方法を示すフ
ローチャートである。
【図９】（ａ）乃至（ｅ）は、処理部５９０における処
理画像を示す図であって、夫々ステレオ画像、信頼度画
像、マスク後の距離画像、及び補完後の距離画像を示す
図である。
理画像を示す図であって、夫々ステレオ画像、信頼度画
像、マスク後の距離画像、及び補完後の距離画像を示す
図である。
【図１０】（ａ）及び（ｂ）は、別のカメラ位置におけ
る信頼度画像を示す図であり、（ｃ）は複数枚の信頼度
画像を示す模式図である。
る信頼度画像を示す図であり、（ｃ）は複数枚の信頼度
画像を示す模式図である。
【図１１】低信頼度領域における距離データの補完方法
を示すフローチャートである。
を示すフローチャートである。
【図１２】本発明の実施の形態におけるロボット装置の
外観構成を示す斜視図である。
外観構成を示す斜視図である。
【図１３】同ロボット装置の自由度構成モデルを模式的
に示す図である。
に示す図である。
【図１４】同ロボット装置の回路構成を示すブロック図
である。
である。
【図１５】同ロボット装置のソフトウェア構成を示すブ
ロック図である。
ロック図である。
【図１６】同ロボット装置のソフトウェア構成における
ミドル・ウェア・レイヤの構成を示すブロック図であ
る。
ミドル・ウェア・レイヤの構成を示すブロック図であ
る。
【図１７】同ロボット装置のソフトウェア構成における
アプリケーション・レイヤの構成を示すブロック図であ
る。
アプリケーション・レイヤの構成を示すブロック図であ
る。
【図１８】アプリケーション・レイヤの行動モデルライ
ブラリの構成を示すブロック図である。
ブラリの構成を示すブロック図である。
【図１９】同ロボット装置の行動決定のための情報とな
る有限確率オートマトンを説明する図である。
る有限確率オートマトンを説明する図である。
【図２０】有限確率オートマトンの各ノードに用意され
た状態遷移表を示す図である。
た状態遷移表を示す図である。
５０１ ステレオ距離計測装置、５１０ ステレオカメ
ラ、５１１ ステレオ画像、５２０ 信頼画像生成計算
部、５２１ 信頼画像、５３０ 距離画像生成計算部、
５３１ 距離画像、５３２ マスク距離画像、５４０
画像マスキング処理部、５５０ 低信頼度領域補完処理
部、５３３ 距離画像、５６０ 距離画像使用モジュー
ル
ラ、５１１ ステレオ画像、５２０ 信頼画像生成計算
部、５２１ 信頼画像、５３０ 距離画像生成計算部、
５３１ 距離画像、５３２ マスク距離画像、５４０
画像マスキング処理部、５５０ 低信頼度領域補完処理
部、５３３ 距離画像、５６０ 距離画像使用モジュー
ル
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０６Ｔ 1/00 ４００ Ｇ０６Ｔ 1/00 ４００Ｍ ５Ｌ０９６
7/60 １８０ 7/60 １８０Ｂ
(72)発明者 佐部 浩太郎
東京都品川区北品川６丁目７番35号 ソニ
ー株式会社内
(72)発明者 上野 謙一郎
東京都品川区北品川６丁目７番35号 ソニ
ー株式会社内
(72)発明者 福地 正樹
東京都品川区北品川６丁目７番35号 ソニ
ー株式会社内
(72)発明者 坪井 利充
東京都品川区北品川６丁目７番35号 ソニ
ー株式会社内
(72)発明者 萩原 茂
東京都品川区北品川６丁目７番35号 ソニ
ー株式会社内
Ｆターム(参考） 2F065 AA06 AA20 AA51 BB05 CC14
CC16 DD09 FF04 FF05 FF09
FF67 JJ03 JJ05 JJ26 LL30
NN01 NN13 PP25 QQ21 QQ31
QQ38 TT08
2F112 AC03 AC06 BA03 CA04 FA03
FA31 FA35 FA38 FA45
3C007 AS36 CS08 KS03 KS04 KS12
KS13 KS36 KT03 KT04 KT11
WA03 WA13
5B047 AA07 BB06 CA11 CA17
5B057 CA12 CA16 CB13 CB16 DB02
DC03 DC32
5L096 AA09 BA05 CA05 FA66 HA01
JA03 JA09
Claims (36)
- 【請求項１】 視差を有する２以上の画像を入力する画
像入力工程と、 上記２以上の画像から距離データを算出し該距離データ
から距離画像を生成する距離画像生成工程と、 １つの上記距離画像を生成するのに使用した上記２以上
の画像の少なくとも１つから信頼度画像を生成する信頼
度画像生成工程と、 上記信頼度画像の信頼度に基づいて補正距離画像を生成
する距離画像補正工程とを有し、 上記距離画像補正工程は、上記信頼度画像の信頼度が所
定の閾値よりも低い低信頼度領域を有するときは、上記
信頼度を高める信頼度向上処理工程を有することを特徴
とする距離計測方法。 - 【請求項２】 上記画像入力工程はステレオ画像を入力
する工程であり、上記信頼度向上処理工程は、上記低信
頼度領域の信頼度を高める方へパラメータを変更したス
テレオ画像を再入手する画像再入手工程と、この再入手
ステレオ画像から距離画像を生成する距離画像再生成工
程とを有することを特徴とする請求項１記載の距離計測
方法。 - 【請求項３】 上記画像入力工程は、ステレオカメラに
よるステレオ画像撮像工程を有し、 上記画像再入手工程は、上記低信頼度領域の信頼度を高
める方へパラメータを変更して再度撮像することにより
上記ステレオ画像を再入手することを特徴とする請求項
２記載の距離計測方法。 - 【請求項４】 上記パラメータは、上記ステレオカメラ
のカメラパラメータ及び／又はステレオカメラの撮像位
置パラメータであることを特徴とすることを特徴とする
請求項３記載の距離計測方法。 - 【請求項５】 上記信頼度画像における上記低信頼度領
域を検出する検出工程と、この検出結果により信頼度を
高める方へ上記ステレオ画像のパラメータをコントロー
ルするパラメータ制御工程を有することを特徴とする請
求項４記載の距離計測方法。 - 【請求項６】 上記画像入力工程は、第１のステレオ画
像を入力する工程であり、 上記距離画像生成工程は、上記第１のステレオ画像から
第１の距離データを算出し該第１の距離データから第１
の距離画像を生成する工程であり、 上記信頼度画像生成工程は、上記第１の距離画像を生成
するのに使用した上記第１のステレオ画像の少なくとも
１つから第１の信頼度画像を生成する工程であって、 上記距離画像補正工程は、上記第１の信頼度画像の信頼
度が所定の閾値よりも低い低信頼度領域を有するとき
は、上記低信頼度領域の信頼度を高める方へパラメータ
を変更した第２のステレオ画像を再入手する画像再入手
工程と、この第２のステレオ画像から第２の距離データ
を算出して第２の距離画像を生成する距離画像再生成工
程と、上記第１の距離画像の上記低信頼度領域の上記第
１の距離データを上記第２の距離画像の上記低信頼度領
域における上記第２の距離データに置換して合成距離画
像を生成する距離画像合成工程とを有することを特徴と
する請求項２記載の距離計測方法。 - 【請求項７】 上記画像入力工程は、異なるパラメータ
で撮像された複数のステレオ画像を入力する工程であ
り、 上記画像再入手工程は、上記低信頼度領域の信頼度を高
める方へパラメータを変更した上記再入手ステレオ画像
を上記複数枚のステレオ画像から選択する工程を有する
ことを特徴とすることを特徴とする請求項２記載の距離
計測方法。 - 【請求項８】 上記パラメータは、ステレオカメラのカ
メラパラメータ及び／又はステレオカメラの撮像位置パ
ラメータであることを特徴とすることを特徴とする請求
項７記載の距離計測方法。 - 【請求項９】 上記画像入力工程は、異なるパラメータ
で撮像された複数のステレオ画像を入力する工程であ
り、 上記距離画像生成工程は、複数の上記ステレオ画像から
距離データを算出し該距離データから複数の上記距離画
像を生成する工程であり、 上記信頼度画像生成工程は、各１つの上記距離画像を生
成するのに使用した上記ステレオ画像の少なくとも１つ
から各上記信頼度画像を生成する工程であって、 上記距離画像補正工程は、上記信頼度画像の信頼度が上
記閾値よりも高い高信頼度領域を合成し該高信頼度領域
のみからなる合成信頼度画像を生成する工程と、この合
成信頼度画像に基づいて距離画像を合成し補正距離画像
を生成する工程とを有することを特徴とする請求項１記
載の距離計測方法。 - 【請求項１０】 上記パラメータは、ステレオカメラの
カメラパラメータ及び／又はステレオカメラの撮像位置
パラメータであることを特徴とすることを特徴とする請
求項９記載の距離計測方法。 - 【請求項１１】 上記信頼度画像生成工程は、上記閾値
をコントロールする閾値制御工程を有する請求項１記載
の距離計測方法。 - 【請求項１２】 視差を有する２以上の画像を入力する
画像入力工程と、 上記２以上の画像から距離データを算出し該距離データ
から距離画像を生成する距離画像生成工程と、 １つの上記距離画像を生成するのに使用した上記２以上
の画像の少なくとも１つから信頼度画像を生成する信頼
度画像生成工程と、 上記信頼度画像の信頼度に基づいて補正距離画像を生成
する距離画像補正工程とを有し、 上記距離画像補正工程は、上記信頼度画像の信頼度が所
定の閾値よりも低い低信頼度領域を有するときは、上記
閾値よりも高い信頼度を有する高信頼度領域の高信頼度
距離データを使用して上記低信頼度領域の低信頼度距離
データを補完する補完処理工程を有することを特徴とす
る距離計測方法。 - 【請求項１３】 上記画像入力工程は、ステレオ画像を
入力する工程であり、上記距離画像補正工程は、上記低
信頼度領域に接する領域が高信頼度領域であるステレオ
画像を再入手する画像再入手工程と、この再入手ステレ
オ画像から距離画像を生成する距離画像再生成工程とを
有することを特徴とする請求項１２記載の距離計測方
法。 - 【請求項１４】 上記ステレオ画像入力工程は、ステレ
オカメラによるステレオ画像撮像工程を有し、 上記画像再入手工程は、上記低信頼度領域に接する領域
が高信頼度領域である上記再入手ステレオ画像を撮像す
る工程を有することを特徴とする請求項１３記載の距離
計測方法。 - 【請求項１５】 上記ステレオ画像入力工程は、第１の
ステレオ画像を入力する工程であり、 上記距離画像生成工程は、上記第１のステレオ画像から
第１の距離データを算出し該第１の距離データから第１
の距離画像を生成する工程であり、 上記信頼度画像生成工程は、上記第１の距離画像を生成
するのに使用した上記第１のステレオ画像の少なくとも
１つから第１の信頼度画像を生成する工程であって、 上記距離画像補正工程は、上記第１の信頼度画像の信頼
度が所定の閾値よりも低い低信頼度領域を有するとき
は、上記低信頼度領域に接する領域が高信頼度領域であ
る第２のステレオ画像を再入手する画像再入手工程と、
この第２のステレオ画像から第２の距離データを算出し
て第２の距離画像を生成する距離画像再生成工程と、上
記第１の距離画像の上記低信頼度領域の上記第１の距離
データを上記第２の距離画像の上記低信頼度領域におけ
る上記第２の距離データにより補完する補完距離画像を
生成する距離画像補完工程とを有することを特徴とする
請求項１３記載の距離計測方法。 - 【請求項１６】 上記ステレオ画像入力工程は、ステレ
オカメラにより異なるパラメータで撮像された複数の上
記ステレオ画像を入力する工程であり、 上記画像再入手工程は、上記低信頼度領域に接する領域
が高信頼度領域である上記再入手ステレオ画像を複数枚
の上記ステレオ画像から選択する工程を有することを特
徴とすることを特徴とする請求項１３記載の距離計測方
法。 - 【請求項１７】 上記パラメータは、上記ステレオカメ
ラのカメラパラメータ及び／又はステレオカメラの撮像
位置パラメータであることを特徴とすることを特徴とす
る請求項１６記載の距離計測方法。 - 【請求項１８】 上記ステレオ画像入力工程は、ステレ
オカメラによるステレオ画像撮像工程を有し、 上記画像再入手工程は、上記低信頼度領域に接する領域
が全て高信頼度領域になるようにパラメータを変更した
上記再入手ステレオ画像を撮像する工程を有することを
特徴とする請求項１３記載の距離計測方法。 - 【請求項１９】 上記信頼度画像における上記低信頼度
領域を検出する検出工程と、この検出結果により上記ス
テレオ画像のパラメータをコントロールするパラメータ
制御工程とを有することを特徴とする請求項１８記載の
距離計測方法。 - 【請求項２０】 上記パラメータは、上記ステレオカメ
ラのカメラパラメータ及び／又はステレオカメラの撮像
位置パラメータであることを特徴とする請求項１９記載
の距離計測方法。 - 【請求項２１】 ステレオ画像を入力するステレオ画像
入力手段と、 上記ステレオ画像から距離データを算出し該距離データ
から距離画像を生成する距離画像生成手段と、 １つの上記距離画像を生成するのに使用した上記ステレ
オ画像の少なくとも１つから信頼度画像を生成する信頼
度画像生成手段と、 上記信頼度画像の信頼度に基づいて補正距離画像を生成
する距離画像補正手段とを有し、 上記距離画像補正手段は、上記信頼度画像の信頼度が所
定の閾値よりも低い低信頼度領域を有するときは、上記
信頼度を高める信頼度向上処理手段を有することを特徴
とする距離計測装置。 - 【請求項２２】 上記信頼度向上処理手段は、上記低信
頼度領域の信頼度を高める方へパラメータを変更したス
テレオ画像を再入手する画像再入手手段と、この再入手
ステレオ画像から距離画像を生成する距離画像再生成手
段とを有することを特徴とする請求項２１記載の距離計
測装置。 - 【請求項２３】 ステレオ画像を入力する画像入力手段
と、 上記ステレオ画像から距離データを算出し該距離データ
から距離画像を生成する距離画像生成手段と、 １つの上記距離画像を生成するのに使用した上記ステレ
オ画像の少なくとも１つから信頼度画像を生成する信頼
度画像生成手段と、 上記信頼度画像の信頼度に基づいて補正距離画像を生成
する距離画像補正手段とを有し、 上記距離画像補正手段は、上記信頼度画像の信頼度が所
定の閾値よりも低い低信頼度領域を有するときは、上記
閾値よりも高い信頼度を有する高信頼度領域の高信頼度
距離データを使用して上記低信頼度領域の低信頼度距離
データを補完する補完処理手段を有することを特徴とす
る距離計測装置。 - 【請求項２４】 上記距離画像補正手段は、上記低信頼
度領域に接する領域が高信頼度領域であるステレオ画像
を再入手する画像再入手手段と、この再入手ステレオ画
像から距離画像を生成する距離画像再生成手段を有する
ことを特徴とする請求項２３記載の距離計測装置。 - 【請求項２５】 供給された入力情報に基づいて動作を
行う自律型のロボット装置であって、 ステレオ画像を入力するステレオ画像入力手段と、 上記ステレオ画像から距離データを算出し該距離データ
から距離画像を生成する距離画像生成手段と、 １つの上記距離画像を生成するのに使用した上記ステレ
オ画像の少なくとも１つから信頼度画像を生成する信頼
度画像生成手段と、 上記信頼度画像の信頼度に基づいて補正距離画像を生成
する距離画像補正手段とを有し、 上記距離画像補正手段は、上記信頼度画像の信頼度が所
定の閾値よりも低い低信頼度領域を有するときは、上記
信頼度を高める信頼度向上処理手段を有することを特徴
とするロボット装置。 - 【請求項２６】 上記信頼度向上処理手段は、上記低信
頼度領域の信頼度を高める方へパラメータを変更したス
テレオ画像を再入手する画像再入手手段と、この再入手
ステレオ画像から距離画像を生成する距離画像再生成手
段を有することを特徴とする請求項２５記載のロボット
装置。 - 【請求項２７】 供給された入力情報に基づいて動作を
行う自律型のロボット装置であって、 ステレオ画像を入力する画像入力手段と、 上記ステレオ画像から距離データを算出し該距離データ
から距離画像を生成する距離画像生成手段と、 １つの上記距離画像を生成するのに使用した上記ステレ
オ画像の少なくとも１つから信頼度画像を生成する信頼
度画像生成手段と、 上記信頼度画像の信頼度に基づいて補正距離画像を生成
する距離画像補正手段とを有し、 上記距離画像補正手段は、上記信頼度画像の信頼度が所
定の閾値よりも低い低信頼度領域を有するときは、上記
閾値よりも高い信頼度を有する高信頼度領域の高信頼度
距離データを使用して上記低信頼度領域の低信頼度距離
データを補完する補完処理手段を有することを特徴とす
るロボット装置。 - 【請求項２８】 上記距離画像補正手段は、上記低信頼
度領域に接する領域が高信頼度領域であるステレオ画像
を再入手する画像再入手手段と、この再入手ステレオ画
像から距離画像を生成する距離画像再生成手段を有する
ことを特徴とする請求項２７記載のロボット装置。 - 【請求項２９】 所定の動作をコンピュータに実行させ
るためのプログラムであって、 ステレオ画像を入力するステレオ画像入力工程と、 上記ステレオ画像から距離データを算出し該距離データ
から距離画像を生成する距離画像生成工程と、 １つの上記距離画像を生成するのに使用した上記ステレ
オ画像の少なくとも１つから信頼度画像を生成する信頼
度画像生成工程と、 上記信頼度画像の信頼度に基づいて補正距離画像を生成
する距離画像補正工程とを有し、 上記距離画像補正工程は、上記信頼度画像の信頼度が所
定の閾値よりも低い低信頼度領域を有するときは、上記
信頼度を高める信頼度向上処理工程を有することを特徴
とするプログラム。 - 【請求項３０】 上記信頼度向上処理工程は、上記低信
頼度領域の信頼度を高める方へパラメータを変更したス
テレオ画像を再入手する画像再入手工程と、この再入手
ステレオ画像から距離画像を生成する距離画像再生成工
程を有することを特徴とする請求項２９記載のプログラ
ム。 - 【請求項３１】 ステレオ画像を入力する画像入力工程
と、 上記ステレオ画像から距離データを算出し該距離データ
から距離画像を生成する距離画像生成工程と、 １つの上記距離画像を生成するのに使用した上記ステレ
オ画像の少なくとも１つから信頼度画像を生成する信頼
度画像生成工程と、 上記信頼度画像の信頼度に基づいて補正距離画像を生成
する距離画像補正工程とを有し、 上記距離画像補正工程は、上記信頼度画像の信頼度が所
定の閾値よりも低い低信頼度領域を有するときは、上記
閾値よりも高い信頼度を有する高信頼度領域の高信頼度
距離データを使用して上記低信頼度領域の低信頼度距離
データを補完する補完処理工程を有することを特徴とす
るプログラム。 - 【請求項３２】 上記距離画像補正工程は、上記低信頼
度領域に接する領域が高信頼度領域であるステレオ画像
を再入手する画像再入手工程と、この再入手ステレオ画
像から距離画像を生成する距離画像再生成工程を有する
ことを特徴とする請求項３１記載のプログラム。 - 【請求項３３】 所定の動作をコンピュータに実行させ
るためのプログラムを記録したコンピュータ読み取り可
能な記録媒体であって、 ステレオ画像を入力するステレオ画像入力工程と、 上記ステレオ画像から距離データを算出し該距離データ
から距離画像を生成する距離画像生成工程と、 １つの上記距離画像を生成するのに使用した上記ステレ
オ画像の少なくとも１つから信頼度画像を生成する信頼
度画像生成工程と、 上記信頼度画像の信頼度に基づいて補正距離画像を生成
する距離画像補正工程とを有し、 上記距離画像補正工程は、上記信頼度画像の信頼度が所
定の閾値よりも低い低信頼度領域を有するときは、上記
信頼度を高める信頼度向上処理工程を有することを特徴
とするプログラムを記録した記録媒体。 - 【請求項３４】 上記信頼度向上処理工程は、上記低信
頼度領域の信頼度を高める方へパラメータを変更したス
テレオ画像を再入手する画像再入手工程と、この再入手
ステレオ画像から距離画像を生成する距離画像再生成工
程を有することを特徴とする請求項３３記載の記録媒
体。 - 【請求項３５】 ステレオ画像を入力する画像入力工程
と、 上記ステレオ画像から距離データを算出し該距離データ
から距離画像を生成する距離画像生成工程と、 １つの上記距離画像を生成するのに使用した上記ステレ
オ画像の少なくとも１つから信頼度画像を生成する信頼
度画像生成工程と、 上記信頼度画像の信頼度に基づいて補正距離画像を生成
する距離画像補正工程とを有し、 上記距離画像補正工程は、上記信頼度画像の信頼度が所
定の閾値よりも低い低信頼度領域を有するときは、上記
閾値よりも高い信頼度を有する高信頼度領域の高信頼度
距離データを使用して上記低信頼度領域の低信頼度距離
データを補完する補完処理工程を有することを特徴とす
るプログラムを記録した記録媒体。 - 【請求項３６】 上記距離画像補正工程は、上記低信頼
度領域に接する領域が高信頼度領域であるステレオ画像
を再入手する画像再入手工程と、この再入手ステレオ画
像から距離画像を生成する距離画像再生成工程を有する
ことを特徴とする請求項３５記載の記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002073383A JP3855812B2 (ja) | 2002-03-15 | 2002-03-15 | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002073383A JP3855812B2 (ja) | 2002-03-15 | 2002-03-15 | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003269917A true JP2003269917A (ja) | 2003-09-25 |
| JP3855812B2 JP3855812B2 (ja) | 2006-12-13 |
Family
ID=29203060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002073383A Expired - Lifetime JP3855812B2 (ja) | 2002-03-15 | 2002-03-15 | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3855812B2 (ja) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005182826A (ja) * | 2003-12-23 | 2005-07-07 | Honda Motor Co Ltd | 多面体認識装置 |
| JP2007249678A (ja) * | 2006-03-16 | 2007-09-27 | Fuji Heavy Ind Ltd | 相関評価システムおよび相関評価方法 |
| JP2007304743A (ja) * | 2006-05-10 | 2007-11-22 | National Institute Of Advanced Industrial & Technology | 視差補間処理方法および処理装置 |
| JP2008090608A (ja) * | 2006-10-02 | 2008-04-17 | Konica Minolta Holdings Inc | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
| JP2010060344A (ja) * | 2008-09-02 | 2010-03-18 | Tokyu Construction Co Ltd | 空間情報表示装置及び支援装置 |
| JP2010071976A (ja) * | 2008-08-19 | 2010-04-02 | Panasonic Corp | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ |
| JP2010171530A (ja) * | 2009-01-20 | 2010-08-05 | Honda Motor Co Ltd | 撮像制御装置 |
| JP2010171531A (ja) * | 2009-01-20 | 2010-08-05 | Honda Motor Co Ltd | 撮像制御装置 |
| WO2011158515A1 (ja) * | 2010-06-17 | 2011-12-22 | パナソニック株式会社 | 距離推定装置、距離推定方法、集積回路、コンピュータプログラム |
| WO2013054499A1 (ja) * | 2011-10-11 | 2013-04-18 | パナソニック株式会社 | 画像処理装置、撮像装置および画像処理方法 |
| JP2013140437A (ja) * | 2011-12-28 | 2013-07-18 | Canon Inc | 画像処理装置および画像処理方法 |
| JP2015096812A (ja) * | 2013-11-15 | 2015-05-21 | キヤノン株式会社 | 画像処理装置、撮像装置および距離補正方法 |
| JP2015207090A (ja) * | 2014-04-18 | 2015-11-19 | キヤノン株式会社 | 画像処理装置、及びその制御方法 |
| JP2016024160A (ja) * | 2014-07-24 | 2016-02-08 | 株式会社日本自動車部品総合研究所 | 立体物認識装置 |
| WO2016194177A1 (ja) * | 2015-06-03 | 2016-12-08 | オリンパス株式会社 | 画像処理装置、内視鏡装置及び画像処理方法 |
| JP2016212086A (ja) * | 2015-04-28 | 2016-12-15 | 三菱電機株式会社 | シーン内の寸法を求める方法 |
| WO2017159312A1 (ja) * | 2016-03-15 | 2017-09-21 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
| JP2018200722A (ja) * | 2018-08-29 | 2018-12-20 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 |
| EP3418773A1 (en) | 2017-06-20 | 2018-12-26 | Canon Kabushiki Kaisha | Distance information generating apparatus, imaging apparatus, and distance information generating method |
| JP2019504522A (ja) * | 2015-11-06 | 2019-02-14 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ | ステレオカメラと構造化光とを用いたヘッドマウントディスプレイを伴う奥行きマッピング |
| JP2019106215A (ja) * | 2019-03-20 | 2019-06-27 | キヤノン株式会社 | データ処理装置、撮像装置、およびデータ処理方法 |
| JP2019114131A (ja) * | 2017-12-25 | 2019-07-11 | Kddi株式会社 | 時系列の奥行き画像におけるデプス値を補正するプログラム、装置及び方法 |
| US10776937B2 (en) | 2016-05-16 | 2020-09-15 | Olympus Corporation | Image processing apparatus and image processing method for setting measuring point to calculate three-dimensional coordinates of subject image with high reliability |
| US11044453B2 (en) | 2014-10-27 | 2021-06-22 | Canon Kabushiki Kaisha | Data processing apparatus, imaging apparatus and data processing method |
| US11119201B2 (en) | 2017-10-24 | 2021-09-14 | Canon Kabushiki Kaisha | Distance detecting apparatus, image capturing apparatus, distance detecting method, and storage medium |
| US11557050B2 (en) | 2019-11-08 | 2023-01-17 | Canon Kabushiki Kaisha | Image processing apparatus, image capturing apparatus, image processing method and storage medium |
| JP2023521765A (ja) * | 2021-01-06 | 2023-05-25 | ノダー インコーポレイテッド | 確信度推定値を有する深度マップを提供するための方法およびシステム |
| US11782145B1 (en) | 2022-06-14 | 2023-10-10 | Nodar Inc. | 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor |
| US11834038B2 (en) | 2020-01-22 | 2023-12-05 | Nodar Inc. | Methods and systems for providing depth maps with confidence estimates |
| JP7480833B2 (ja) | 2018-09-14 | 2024-05-10 | 株式会社リコー | 計測装置、計測システムおよび車両 |
| US11983899B2 (en) | 2020-01-22 | 2024-05-14 | Nodar Inc. | Stereo vision camera system that tracks and filters calibration parameters |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10306132B2 (en) | 2015-05-11 | 2019-05-28 | Canon Kabushiki Kaisha | Distance calculation apparatus, imaging apparatus and distance calculation method that include confidence calculation of distance information |
-
2002
- 2002-03-15 JP JP2002073383A patent/JP3855812B2/ja not_active Expired - Lifetime
Cited By (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7653216B2 (en) | 2003-12-23 | 2010-01-26 | Carnegie Mellon University | Polyhedron recognition system |
| JP2005182826A (ja) * | 2003-12-23 | 2005-07-07 | Honda Motor Co Ltd | 多面体認識装置 |
| JP4511919B2 (ja) * | 2003-12-23 | 2010-07-28 | 本田技研工業株式会社 | 多面体認識装置 |
| JP4694993B2 (ja) * | 2006-03-16 | 2011-06-08 | 富士重工業株式会社 | 相関評価システムおよび相関評価方法 |
| JP2007249678A (ja) * | 2006-03-16 | 2007-09-27 | Fuji Heavy Ind Ltd | 相関評価システムおよび相関評価方法 |
| JP2007304743A (ja) * | 2006-05-10 | 2007-11-22 | National Institute Of Advanced Industrial & Technology | 視差補間処理方法および処理装置 |
| JP2008090608A (ja) * | 2006-10-02 | 2008-04-17 | Konica Minolta Holdings Inc | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
| JP2010071976A (ja) * | 2008-08-19 | 2010-04-02 | Panasonic Corp | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ |
| JP2010060344A (ja) * | 2008-09-02 | 2010-03-18 | Tokyu Construction Co Ltd | 空間情報表示装置及び支援装置 |
| JP2010171531A (ja) * | 2009-01-20 | 2010-08-05 | Honda Motor Co Ltd | 撮像制御装置 |
| JP2010171530A (ja) * | 2009-01-20 | 2010-08-05 | Honda Motor Co Ltd | 撮像制御装置 |
| WO2011158515A1 (ja) * | 2010-06-17 | 2011-12-22 | パナソニック株式会社 | 距離推定装置、距離推定方法、集積回路、コンピュータプログラム |
| CN102472622A (zh) * | 2010-06-17 | 2012-05-23 | 松下电器产业株式会社 | 距离推定装置、距离推定方法、集成电路、计算机程序 |
| US8705801B2 (en) | 2010-06-17 | 2014-04-22 | Panasonic Corporation | Distance estimation device, distance estimation method, integrated circuit, and computer program |
| JP5824364B2 (ja) * | 2010-06-17 | 2015-11-25 | パナソニック株式会社 | 距離推定装置、距離推定方法、集積回路、コンピュータプログラム |
| WO2013054499A1 (ja) * | 2011-10-11 | 2013-04-18 | パナソニック株式会社 | 画像処理装置、撮像装置および画像処理方法 |
| JPWO2013054499A1 (ja) * | 2011-10-11 | 2015-03-30 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、撮像装置および画像処理方法 |
| US9374571B2 (en) | 2011-10-11 | 2016-06-21 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device, imaging device, and image processing method |
| JP2013140437A (ja) * | 2011-12-28 | 2013-07-18 | Canon Inc | 画像処理装置および画像処理方法 |
| JP2015096812A (ja) * | 2013-11-15 | 2015-05-21 | キヤノン株式会社 | 画像処理装置、撮像装置および距離補正方法 |
| JP2015207090A (ja) * | 2014-04-18 | 2015-11-19 | キヤノン株式会社 | 画像処理装置、及びその制御方法 |
| JP2016024160A (ja) * | 2014-07-24 | 2016-02-08 | 株式会社日本自動車部品総合研究所 | 立体物認識装置 |
| US11044453B2 (en) | 2014-10-27 | 2021-06-22 | Canon Kabushiki Kaisha | Data processing apparatus, imaging apparatus and data processing method |
| JP2016212086A (ja) * | 2015-04-28 | 2016-12-15 | 三菱電機株式会社 | シーン内の寸法を求める方法 |
| JPWO2016194177A1 (ja) * | 2015-06-03 | 2018-06-14 | オリンパス株式会社 | 画像処理装置、内視鏡装置及び画像処理方法 |
| WO2016194177A1 (ja) * | 2015-06-03 | 2016-12-08 | オリンパス株式会社 | 画像処理装置、内視鏡装置及び画像処理方法 |
| JP2019504522A (ja) * | 2015-11-06 | 2019-02-14 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ | ステレオカメラと構造化光とを用いたヘッドマウントディスプレイを伴う奥行きマッピング |
| WO2017159312A1 (ja) * | 2016-03-15 | 2017-09-21 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
| US10776937B2 (en) | 2016-05-16 | 2020-09-15 | Olympus Corporation | Image processing apparatus and image processing method for setting measuring point to calculate three-dimensional coordinates of subject image with high reliability |
| EP3418773A1 (en) | 2017-06-20 | 2018-12-26 | Canon Kabushiki Kaisha | Distance information generating apparatus, imaging apparatus, and distance information generating method |
| US10659744B2 (en) | 2017-06-20 | 2020-05-19 | Canon Kabushiki Kaisha | Distance information generating apparatus, imaging apparatus, and distance information generating method |
| US11119201B2 (en) | 2017-10-24 | 2021-09-14 | Canon Kabushiki Kaisha | Distance detecting apparatus, image capturing apparatus, distance detecting method, and storage medium |
| JP2019114131A (ja) * | 2017-12-25 | 2019-07-11 | Kddi株式会社 | 時系列の奥行き画像におけるデプス値を補正するプログラム、装置及び方法 |
| JP2018200722A (ja) * | 2018-08-29 | 2018-12-20 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 |
| JP7480833B2 (ja) | 2018-09-14 | 2024-05-10 | 株式会社リコー | 計測装置、計測システムおよび車両 |
| JP2019106215A (ja) * | 2019-03-20 | 2019-06-27 | キヤノン株式会社 | データ処理装置、撮像装置、およびデータ処理方法 |
| US11557050B2 (en) | 2019-11-08 | 2023-01-17 | Canon Kabushiki Kaisha | Image processing apparatus, image capturing apparatus, image processing method and storage medium |
| US11834038B2 (en) | 2020-01-22 | 2023-12-05 | Nodar Inc. | Methods and systems for providing depth maps with confidence estimates |
| US11983899B2 (en) | 2020-01-22 | 2024-05-14 | Nodar Inc. | Stereo vision camera system that tracks and filters calibration parameters |
| JP2023521765A (ja) * | 2021-01-06 | 2023-05-25 | ノダー インコーポレイテッド | 確信度推定値を有する深度マップを提供するための方法およびシステム |
| US11782145B1 (en) | 2022-06-14 | 2023-10-10 | Nodar Inc. | 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3855812B2 (ja) | 2006-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3855812B2 (ja) | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 | |
| JP3714268B2 (ja) | ロボット装置 | |
| JP4609584B2 (ja) | ロボット装置、顔認識方法及び顔認識装置 | |
| US7133744B2 (en) | Information processing apparatus and method, program storage medium, and program | |
| KR101121763B1 (ko) | 환경 인식 장치 및 방법 | |
| US7532743B2 (en) | Object detector, object detecting method and robot | |
| JP4239635B2 (ja) | ロボット装置、その動作制御方法、及びプログラム | |
| EP1653397A2 (en) | Robot apparatus and method of controlling the behavior thereof | |
| JP2003285288A (ja) | 充電システム及び充電制御方法、ロボット装置、充電装置、及び充電制御プログラム及び記録媒体 | |
| JP2004298977A (ja) | 行動制御装置、行動制御方法及び行動制御プログラム、並びに移動型ロボット装置 | |
| JP2004133637A (ja) | 顔検出装置、顔検出方法及びプログラム、並びにロボット装置 | |
| JP2003266345A (ja) | 経路計画装置、経路計画方法及び経路計画プログラム並びに移動型ロボット装置 | |
| JP2007276052A (ja) | 制御システム、記録システム、情報処理装置および方法、プログラム、並びに記録媒体 | |
| JP2008284690A (ja) | ロボット装置及びロボット装置の制御方法 | |
| JP2003271975A (ja) | 平面抽出方法、その装置、そのプログラム、その記録媒体及び平面抽出装置搭載型ロボット装置 | |
| JP2003266349A (ja) | 位置認識方法、その装置、そのプログラム、その記録媒体及び位置認識装置搭載型ロボット装置 | |
| JP2005342873A (ja) | ロボット装置及びその動作制御方法 | |
| JP2004302644A (ja) | 顔識別装置、顔識別方法、記録媒体、及びロボット装置 | |
| JP2004298975A (ja) | ロボット装置、障害物探索方法 | |
| JP2003271958A (ja) | 画像処理方法、その装置、そのプログラム、その記録媒体及び画像処理装置搭載型ロボット装置 | |
| JP2005111654A (ja) | ロボット装置及びロボット装置の歩行制御方法 | |
| JP2003136456A (ja) | ロボット装置、ロボット装置の明るさ検出方法、明るさ検出プログラム及び記録媒体 | |
| JP2004130427A (ja) | ロボット装置及びロボット装置の動作制御方法 | |
| JP2003266348A (ja) | ロボット装置及びその制御方法 | |
| JP2004302645A (ja) | 顔登録装置、顔登録方法、記録媒体、及びロボット装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040805 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060904 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |