JP2003269937A - 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 - Google Patents
障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置Info
- Publication number
- JP2003269937A JP2003269937A JP2002073388A JP2002073388A JP2003269937A JP 2003269937 A JP2003269937 A JP 2003269937A JP 2002073388 A JP2002073388 A JP 2002073388A JP 2002073388 A JP2002073388 A JP 2002073388A JP 2003269937 A JP2003269937 A JP 2003269937A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- plane
- floor surface
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000006243 chemical reaction Methods 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000009471 action Effects 0.000 description 65
- 230000033001 locomotion Effects 0.000 description 61
- 238000010586 diagram Methods 0.000 description 36
- 238000004364 calculation method Methods 0.000 description 33
- 238000012545 processing Methods 0.000 description 32
- 230000008451 emotion Effects 0.000 description 29
- 230000000875 corresponding effect Effects 0.000 description 28
- 230000007704 transition Effects 0.000 description 27
- 230000004807 localization Effects 0.000 description 21
- 238000009826 distribution Methods 0.000 description 19
- 230000006399 behavior Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 15
- 230000015654 memory Effects 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 11
- 210000004394 hip joint Anatomy 0.000 description 11
- 210000002414 leg Anatomy 0.000 description 11
- 210000002683 foot Anatomy 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 244000145841 kine Species 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 210000000544 articulatio talocruralis Anatomy 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 210000000323 shoulder joint Anatomy 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 210000003857 wrist joint Anatomy 0.000 description 6
- 210000002310 elbow joint Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000000546 chi-square test Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000000245 forearm Anatomy 0.000 description 3
- 210000000629 knee joint Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000001364 upper extremity Anatomy 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000036528 appetite Effects 0.000 description 2
- 235000019789 appetite Nutrition 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 210000003141 lower extremity Anatomy 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 101150106709 ARC1 gene Proteins 0.000 description 1
- 101100013575 Arabidopsis thaliana FTSHI1 gene Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 102100033041 Carbonic anhydrase 13 Human genes 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101000867860 Homo sapiens Carbonic anhydrase 13 Proteins 0.000 description 1
- 101000680262 Homo sapiens Transmembrane protein 60 Proteins 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 102100022076 Transmembrane protein 60 Human genes 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 150000001768 cations Chemical class 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000000473 propyl gallate Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003867 tiredness Effects 0.000 description 1
- 208000016255 tiredness Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
ができる障害物認識装置を提供する。 【解決手段】 距離画像生成部222は、視差画像と同
時変換行列を用いて距離画像を生成する。平面検出部2
23は、距離画像生成部222により生成された距離画
像に基づいて平面パラメータを検出する。座標変換部2
24は、前記同時変換行列をロボット装置1の接地面で
の座標に変換する。床面検出部225は、平面検出部2
23からの平面パラメータと座標変換部224からの座
標変換結果を用いて床面を検出し、その平面パラメータ
を障害物認識部226に供給する。障害物認識部226
は、床面検出部225が検出した床面の平面パラメータ
を用いて床面に載っている点を選択し、この点に基づい
て障害物を認識する。
Description
方法に関し、特に移動型ロボット装置に適用されて床面
上の障害物を認識する障害物認識装置、障害物認識方法
及び障害物認識プログラム、並びに移動型ロボット装置
に関する。
環境を認識して経路計画を立ててそれに応じて移動する
能力は言うまでもなく重要である。従来の移動ロボット
と言えば車輪型のロボットの周囲に超音波センサーを床
に平行に配置して、壁などの反射を測定する方法が取ら
れてきた。これは床に平行に測定することで床自身を測
定する事は無く、反射した点は全て障害物として取り扱
うことが出来るために処理を単純化することができる。
しかしながらこうした方法は、特定の高さの障害物しか
測定しないために小さな段差や穴などの凹んだ障害物を
検出できない。また歩行型ロボット(4足歩行ロボッ
ト、2足歩行ロボットなど)ではこうした測距センサー
は、頭や手先など能動的に姿勢を変えることができる位
置に取り付けられることが多い。
ロボット(エンターテインメントロボット)では、頭部
についた測距センサを使い、ロボットの姿勢から床面パ
ラメータを導出して、測定点が床面に属するか障害物と
して扱うかを判断している。
を変えながら繰り返し測定することで数点)しかなく、
ロボットの周囲の状況を把握したとは言い難い。また1
点しか測定していないために測定に対する信頼度が著し
く低い。
鑑みてなされたものであり、正確に床面を抽出し、障害
物を認識することができる障害物認識装置、障害物認識
方法及び障害物認識プログラムの提供を目的とする。
用して床面上の障害物を認識しながら移動することがで
きる移動型ロボット装置の提供を目的とする。
装置は、前記課題を解決するために、ロボット装置に設
けた複数の撮像手段から得られた画像データに基づいて
算出された視差画像と、前記ロボット装置に設けた複数
のセンサ手段から得られたセンサデータ出力とに基づい
て前記複数の撮像手段が配設された位置における前記視
差画像に対応する同時変換行列とを用いて距離画像を生
成する距離画像生成手段と、前記距離画像生成手段によ
り生成された距離画像に基づいて平面パラメータを検出
する平面検出手段と、前記複数の撮像手段の配設された
位置における座標系を床面での座標系に変換する座標変
換手段と、前記座標変換手段による座標変換結果と、前
記平面検出手段によって検出された平面パラメータとに
基づいて床面を検出する床面検出手段と、前記床面検出
手段の平面パラメータを用いて床面に載っている点を選
択し、この点に基づいて障害物を認識する障害物認識手
段とを備える。
を解決するために、ロボット装置に設けた複数の撮像手
段から得られた画像データに基づいて算出された視差画
像と、前記ロボット装置に設けた複数のセンサ手段から
得られたセンサデータ出力とに基づいて前記複数の撮像
手段が配設された位置における前記視差画像に対応する
同時変換行列とを用いて距離画像を生成する距離画像生
成工程と、前記距離画像生成工程により生成された距離
画像に基づいて平面パラメータを検出する平面検出工程
と、前記複数の撮像手段の配設された位置における座標
系を床面での座標系に変換する座標変換工程と、前記座
標変換工程による座標変換結果と、前記平面検出工程に
よって検出された平面パラメータとに基づいて床面を検
出する床面検出工程と、前記床面検出工程の平面パラメ
ータを用いて床面に載っている点を選択し、この点に基
づいて障害物を認識する障害物認識工程とを備える。
記課題を解決するために、ロボット装置によって実行さ
れることによって障害物を認識する障害物認識プログラ
ムにおいて、前記ロボット装置に設けた複数の撮像手段
から得られた画像データに基づいて算出された視差画像
と、前記ロボット装置に設けた複数のセンサ手段から得
られたセンサデータ出力とに基づいて前記複数の撮像手
段が配設された位置における前記視差画像に対応する同
時変換行列とを用いて距離画像を生成する距離画像生成
工程と、前記距離画像生成工程により生成された距離画
像に基づいて平面パラメータを検出する平面検出工程
と、前記複数の撮像手段の配設された位置における座標
系を床面での座標系に変換する座標変換工程と、前記座
標変換工程による座標変換結果と、前記平面検出工程に
よって検出された平面パラメータとに基づいて床面を検
出する床面検出工程と、前記床面検出工程の平面パラメ
ータを用いて床面に載っている点を選択し、この点に基
づいて障害物を認識する障害物認識工程とを備えてな
る。
課題を解決するために、頭部ユニットと、少なくとも1
以上の可動脚ユニットと、情報処理手段を有する胴体ユ
ニットとを備えてなり、障害物の床面を認識しながら前
記可動脚ユニットを用いて床面を移動する移動型ロボッ
ト装置において、前記頭部ユニットに設けた複数の撮像
手段から得られた画像データに基づいて算出された視差
画像と、前記頭部ユニット、前記可動脚ユニット、前記
胴体ユニットに設けた複数のセンサ手段から得られたセ
ンサデータ出力とに基づいて前記複数の撮像手段が配設
された位置における前記視差画像に対応する同時変換行
列とを用いて距離画像を生成する距離画像生成手段と、
前記距離画像生成手段により生成された距離画像に基づ
いて平面パラメータを検出する平面検出手段と、前記複
数の撮像手段の配設された位置における座標系を床面で
の座標系に変換する座標変換手段と、前記座標変換手段
による座標変換結果と、前記平面検出手段によって検出
された平面パラメータとに基づいて床面を検出する床面
検出手段と、前記床面検出手段の平面パラメータを用い
て床面に載っている点を選択し、この点に基づいて障害
物を認識する障害物認識手段とを前記胴体ユニットに備
えてなる。
ステレオカメラなどを用いた2次元の測距センサを導入
している。これにより画像認識による平面の検出とロボ
ットの姿勢との関係からよりロバストにより正確に床面
を抽出することができるようになっている。
の実施の形態について説明する。この実施の形態は、本
発明に係る障害物認識装置を2足歩行のロボット装置に
適用したものである。
示すブロック図である。図1に示すように、ロボット装
置1の頭部ユニット250には、2台のCCDカメラ2
00R,200Lが設けられ、このCCDカメラ200
R,200Lの後段には、ステレオ画像処理装置210
が設けられている。2台のCCDカメラ(以下、右目2
00R、左目200Lという。)により撮像された右目
画像201R、左目画像201Lは、ステレオ画像処理
装置210に入力される。ステレオ画像処理装置210
は、各画像201R,201Lの視差情報(disparity
data)(距離情報)を計算し、カラー画像(YUV:輝
度Y、UV色差)202及び視差画像(YDR:輝度
Y、視差D、信頼度R)203をフレーム毎に左右交互
に算出する。ここで、視差とは、空間中のある点が左目
及び右目に写像される点の違いを示し、そのカメラから
の距離に応じて変化するものである。
はロボット装置1の体幹部260に内蔵されたCPU
(制御部)220に入力される。また、ロボット装置1
の各関節にはアクチュエータ230が設けられており、
CPU220からの指令となる制御信号231が供給さ
れて、その指令値に応じてモータを駆動する。各関節
(アクチュエータ)には、ポテンショメータが取り付け
られ、その時のモータの回転角がCPUに送られる。こ
のアクチュエータに取り付けられたポテンショメータ、
足底に取り付けられたタッチセンサ及び体幹部に取り付
けられたジャイロ・センサ等の各センサ240は、現在
の関節角度、設置情報、及び姿勢情報等の現在のロボッ
ト装置の状態を計測し、センサデータ241としてCP
U220へ出力する。CPU220は、ステレオ画像処
理装置210からのカラー画像202及び視差画像20
3と、アクチュエータの全ての関節角度等のセンサデー
タ241とが入力され、後述するソフトウェア構成を実
現する。
クト単位で構成され、ロボット装置の位置、移動量、周
囲の障害物、及び環境地図等を認識し、ロボット装置が
最終的に取るべき行動についての行動列を出力する各種
認識処理等を行うものである。なお、ロボット装置の位
置を示す座標として、例えば、後述するランドマーク等
の特定の物体等を座標の原点としたワールド基準系のカ
メラ座標系(以下、絶対座標ともいう。)と、ロボット
装置自身を中心(座標の原点)としたロボット中心座標
系(以下、相対座標ともいう。)との2つの座標を使用
する。
ウェアの構成を示す模式図である。同図において、丸で
表されているのが、オブジェクト又はプロセスと呼ばれ
るエンティティである。オブジェクト同士が非同期に通
信し合うことで、システム全体が動作する。各オブジェ
クトはメッセージ通信と共有メモリを使用したオブジェ
クト間通信方法によりデータの受け渡し及びInvok
eを行っている。
は、キネマティックオドメトリ(Kinematics Odometr
y)KINE310、平面抽出部(Plane Extractor)P
LEX320、障害物グリッド算出部(Occupancy Gri
d)OG330、ランドマーク位置検出部(Landmark Se
nsor)CLS340、絶対座標算出部(Localization)
LZ350及び行動決定部(Situated behavior Laye
r)SBL360から構成され、各オブジェクト単位に
て処理がなされる。これらのソフトウェアの詳細な構成
及び動作については後述する。また、ロボット装置につ
いての詳細な構成及び動作についても後述する。
搭載される本発明の障害物認識装置について説明する。
障害物認識装置は、前記平面抽出部(Plane Extracto
r)PLEX320を実行したCPU220内にて構成
される。図3には障害物認識装置221の機能ブロック
図を示す。障害物認識装置221は、後述する視差画像
から距離画像を生成する距離画像生成部222と、距離
画像から平面検出をして平面パラメータを算出する平面
検出部223と、後述する同時変換行列を座標変換する
座標変換部224と、前記座標変換結果と前記平面パラ
メータからから床面を検出する床面検出部225と、床
面の平面パラメータから障害物を認識する障害物認識部
226とを備えてなる。
に設けた二つのCCDカメラから得られた画像データに
基づいて算出された視差画像と、ロボット装置1に設け
た複数のセンサ手段から得られたセンサデータ出力とに
基づいて二つのCCDカメラが配設された位置における
前記視差画像に対応する同時変換行列を用いて距離画像
を生成する。平面検出部223は、距離画像生成部22
2により生成された距離画像に基づいて平面パラメータ
を検出する。座標変換部224は、前記同時変換行列を
ロボット装置1の接地面での座標に変換する。床面検出
部225は、平面検出部223からの平面パラメータと
座標変換部224からの座標変換結果を用いて床面を検
出し、その平面パラメータを障害物認識部226に供給
する。障害物認識部226は、床面検出部225が検出
した床面の平面パラメータを用いて床面に載っている点
を選択し、この点に基づいて障害物を認識する。
00Rによって取り込まれた映像は、ステレオ画像処理
装置210に入力され、図4に具体的に示す左右画像2
01R,201Lの視差情報(距離情報)からカラー画
像(YUV)202及び視差画像(YDR)203が算
出されてCPU220に入力される。また、ロボット装
置1に複数個設けられた各センサからのセンサデータ2
40が入力される。図2に示すように、これらの視差情
報及び視差画像からなる画像データ301と、ロボット
装置の関節角等のデータであるセンサデータ302とが
キネマティックオドメトリKINE310に入力され
る。
は、画像データ301及びセンサデータ302からなる
入力データに基づいて画像データ301の画像が撮像さ
れた時間におけるセンサデータ302の関節角を割り出
し、この関節角のデータを使用してロボット装置1が中
心に固定されたロボット中心座標系を頭部ユニットに設
けられたカメラの座標系へ変換する。この場合、本実施
の形態においては、ロボット中心座標系からカメラ座標
系の同時変換行列等を導出し、この同時変換行列311
とこれに対応する視差画像312を障害物認識装置22
1(平面抽出部PLEX320の実行結果)へ出力す
る。
X320)は、同時変換行列311とこれに対応する視
差画像312を受け取り、以下の図5に示す処理手順に
したがって障害物を認識する。
PLEX320)の座標変換部224は同時変換行列3
11を、また距離画像生成部222は同時変換行列31
1に対応する視差画像312を受け取る(ステップS6
1)。そして、距離画像生成部222は、視差画像31
2からレンズ歪みとステレオの取り付け誤差を吸収した
キャリブレーションパラメータを利用して、画素毎にカ
メラ座標から見た3次元の位置データ(X,Y,Z)を距離
画像として生成する(ステップS62)。このとき各3
次元データは、視差画像又は距離画像等の入力画像にお
ける信頼度等から得られる信頼度パラメータを個別に有
し、この信頼度パラメータにより選別されて入力され
る。
3次元データ群からランダムにデータをサンプリング
し、ハフ変換により平面を推定する。即ち、法線ベクト
ルの向きを(θ,φ)、原点からの距離をdとしたとき
の平面パラメータ(θ,φ,d)を算出し、平面パラメ
ータを投票空間(θ,Ψ,d)=(θ,φcosθ,
d)に直接投票して平面を推定する。これにより、平面
検出部223は、画像中の支配的な平面のパラメータを
検出する(ステップS63)。この平面のパラメータは
図5に示すパラメータ空間(θ,φ)(投票空間)のヒ
ストグラムにより検出される。パラメータの投票が小さ
いいと障害物、大きいと平面上のものと見なすことがで
きる。
度パラメータ又は平面パラメータの算出方法等により、
1票の投票に対して異なる重み付けをして、投票値を異
ならせると共に、投票値の分布から得られるピーク値を
推定するために、ピーク値近傍における重み付き平均処
理等をすることにより、信頼度の高いデータを推定する
ことができる。そして、この平面パラメータを初期パラ
メータとしてイタレーションを行い、平面を決定するこ
とで、更に信頼度が高い平面を決定することができる。
また、最終的に決定される平面を算出した3次元データ
に付随する信頼度パラメータ及びイタレーションにおけ
る残差誤差等を使用して平面の信頼度を算出し、この平
面信頼度を平面のデータと共に出力することにより、後
段の処理が行い易くなる。このように、平面抽出は、投
票、即ちヒストグラムに基づく確率密度関数の推定によ
り3次元データから、その3次元データに含まれる支配
的な平面のパラメータを決定する確率論的方法で行われ
る。こうして得られた平面のパラメータ使用すれば、元
々画像から得られた距離の測定点が平面上からどれくら
いの距離であるかが分かる。
標系の同時変換行列311から図7に示すようにロボッ
トの足底接地面への変換を求める(ステップS64)。
これにより、カメラ座標系で表現される接地平面のパラ
メータの算出が行われる。そして、床面検出部225
は、平面検出部223による前記ステップS63での画
像による平面の検出結果と、座標変換部224による前
記ステップS64での足底接地平面の照合から、画像中
の平面パラメータから床面に相当するものを選択する
(ステップS65)。
225が前記ステップS65にて選択した平面パラメー
タを使って、元の距離画像から平面上に載っている点を
選択する(ステップS66)。これは以下に示す式1、
式2を用いて、平面からの距離dがしきい値Dthより
小さい事を使って判断する。
囲で選択された測定点(×印)を示す。この図9にて、
黒く抜かれている点が平面と判断されなかった点であ
る。
ステップS66にて平面上(床面)上に載っている点以
外の点(床面上に無い点)を障害物としてステップS6
7にて認識することができる。これらの判断結果は床平
面上の点(x、y)とその高さzで表現される。例え
ば、高さz<0は、平面より凹んでいる点を示す。
物点はそれをくぐることができるので障害物ではないと
いう判断も可能とすることができる。
ら得た床面抽出画像(図9の(b))の高さzを0(z
=0)となるように座標変換すれば、図9の(c)に示
すように、平面上の2次元の位置で床か障害物かを表現
することができる。
定点を使って平面の検出を行うために安定した平面を抽
出できる。また、画像から得られる平面候補をロボット
の姿勢から得られる床面パラメータと照合することで正
しい平面を選択できる。また、障害物を認識するのでは
なく、実質的には床面を認識するので障害物の形状や大
きさに因らない認識が可能である。また、床面からの距
離で障害物を表現するので細かい段差や凹みまで検出す
ることができる。またロボットの大きさを考慮して跨い
だり、くぐったりする判断も容易である。さらに、2次
元床面上の障害物表現となるので経路計画などに既存の
移動ロボットで用いられる手法が適用可能であるし、3
次元の表現より高速に演算できる。
のソフトウェアについて詳細に説明する。図10は、図
2に示すソフトウェア300の動作を示すフローチャー
トである。
ィックオドメトリKINE310には、上述したよう
に、画像データ301及びセンサデータ302が入力さ
れる。この画像データ301は、カラー画像及びステレ
オカメラによる視差画像である。また、センサデータ
は、ロボット装置の関節角等のデータである。キネマテ
ィックオドメトリKINE310は、これらの入力デー
タ301,302を受け取り、メモリに格納されていた
それまでの画像及びセンサデータを更新する(ステップ
S101)。
ータ302との時間的な対応を取る(ステップS102
−1)。即ち、画像データ301の画像が撮像された時
間におけるセンサデータ302の関節角を割り出す。次
いで、この関節角のデータを使用してロボット装置1が
中心に固定されたロボット中心座標系を頭部ユニットに
設けられたカメラの座標系へ変換する(ステップS10
2−2)。この場合、本実施の形態においては、ロボッ
ト中心座標系からカメラ座標系の同時変換行列等を導出
し、この同時変換行列311とこれに対応する画像デー
タとを画像認識を行うオブジェクトへ送信する。即ち、
同時変換行列311及びこれに対応する視差画像312
を平面抽出部PLEX320へ出力し、同時変換行列3
11及びカラー画像313をランドマークセンサ部CL
S340へ出力する。
行パラメータと、足底センサを使用した歩数のカウント
数とからロボット装置1の移動量を算出し、ロボット装
置1のロボット装置中心座標系における移動量を算出す
る。以下、ロボット装置中心座標系の移動量をオドメト
リともいう。このオドメトリ314を障害物グリッド算
出部OG330及び絶対座標算出部LZ350へ出力す
る。
ックオドメトリKINE310にて算出された同時変換
行列311と、これに対応するステレオカメラから得ら
れる視差画像312とが入力されると、それまでメモリ
に格納されていたこれらのデータを更新する(ステップ
S103)。そして、ステレオカメラのキャリブレーシ
ョンパラメータ等を使用して視差画像312から3次元
の位置データ(レンジデータ)を算出する(ステップS
104−1)。次いで、このレンジデータからハフ変換
等を使用して、例えば壁及びテーブル等の平面を除く平
面を平面として抽出する。また、座標変換行列311か
らロボット装置1の足底が接地している平面との対応を
取り、床面を選択し、床面上にない点、例えば所定の閾
値よりも高い位置にあるもの等を障害物として床面から
の距離を算出し、この障害物情報(obstacle)321を
障害物グリッド算出部330に出力する(ステップS1
04−2)。
ネマティックオドメトリKINE310にて算出された
オドメトリ314と、平面抽出部PLEX320にて算
出された障害物の観測情報(障害物情報)321とが入
力されると、メモリに格納されていたそれまでのデータ
を更新する(ステップS105)。そして、床面上に障
害物があるか否かの確率を保持する障害物グリッドを確
率的手法により更新する(ステップS106)。
ロボット装置1を中心とした例えば周囲4mの障害物情
報、即ち、上述した環境地図と、ロボット装置1の向く
方角を示す姿勢情報とを保持しており、上述の方法によ
り、環境地図を更新し、この更新した認識結果(障害物
情報331)を出力することにより、上位レイヤ、即
ち、本実施の形態においては、経路計画決定部SBL3
60にて障害物を回避する計画を作成することができ
る。
マティックオドメトリKINE310から同時変換行列
311及びカラー画像313が入力されると、予めメモ
リ内に格納されていたこれらのデータを更新する(ステ
ップS107)。そして、カラー画像313の画像処理
を行って、予め認識しているカラーランドマークを検出
する。このカラーランドマークのカラー画像313上で
の位置及び大きさをカメラ座標系での位置に変換する。
更に、同時変換行列311を使用し、カラーランドマー
クのカメラ座標系での位置をロボット中心位置座標系に
おける位置に変換し、ロボット中心位置座標系における
カラーランドマーク位置の情報(カラーランドマーク相
対位置情報)341を絶対座標算出部LZ350に出力
する(ステップS108)。
ックオドメトリKINE310からのオドメトリ314
と、ランドマークセンサ部CLS340からのカラーラ
ンドマーク相対位置情報341とが入力されると、予め
メモリ内に格納されていたこれらのデータが更新される
(ステップS109)。そして、絶対座標算出部LZ3
50が予め認識しているカラーランドマークの絶対座標
(ワールド座標系での位置)、カラーランドマーク相対
位置情報341、及びオドメトリ314を使用し、確率
的手法によりロボット装置の絶対座標(ワールド座標系
での位置)を算出する。そして、この絶対座標位置35
1を経路計画決定部SBL360に出力する。
リッド算出部OG330から障害物グリッド情報331
が入力され、絶対座標算出部LZ350から絶対座標位
置351が入力されると、予めメモリに格納されていた
これらのデータが更新される(ステップS111)。そ
して、経路計画決定部SBL360障害物グリッド算出
部OG330からの障害物情報331により、ロボット
装置1の周囲に存在する障害物に関する認識結果を取得
し、絶対座標算出部LZ350から現在のロボット装置
1の絶対座標を取得することにより、絶対座標系又はロ
ボット装置中心のロボット中心座標系で与えられた目標
地点に対して障害物に衝突せずに歩行可能な経路を生成
し、経路に応じて経路を遂行する動作コマンドを発行す
る。即ち、入力データから状況に応じてロボット装置1
が取るべき行動を決定し、その行動列を出力する(ステ
ップS112)。
は、障害物グリッド算出部OG330からロボット装置
の周囲に存在する障害物に関する認識結果及び絶対座標
算出部LZ350からの現在のロボット装置の位置の絶
対座標をユーザに提供し、このユーザからの入力に応じ
て動作コマンドを発行させる。
るデータの流れを模式的に示す図である。なお、図11
において、図1及び図2に示す構成と同一構成要素には
同一符号を付してその詳細な説明は省略する。
r)371は、画像フレーム中から顔領域を検出するオ
ブジェクトであり、カメラ等の画像入力装置からカラー
画像202を受け取り、それを例えば9段階のスケール
画像に縮小変換する。この全ての画像の中から顔に相当
する矩形領域を探索する。重なりあった候補領域を削減
して最終的に顔と判断された領域に関する位置、大き
さ、及び特徴量等の情報372を出力して、顔識別部F
I(FaceIdentify)377へ送る。
を識別するオブジェクトであり、顔の領域を示す矩形領
域画像からなる情報372を顔検出部FDT371から
受け取り、この顔画像がメモリに格納されている手持ち
の人物辞書のうちでどの人物に相当するかを比較して人
物の識別を行う。そして、顔検出部EDT371から受
け取った顔画像の顔画像領域の位置、大きさ情報と共に
人物のID情報378をDIL379に出力する。
racker)373は、色認識を行うオブジェクトで
あり、カメラ等の画像入力装置からカラー画像202を
受け取り、予め保有している複数のカラー・モデル情報
に基づいて色領域を抽出し、連続した領域に分割する。
色認識部MCT373は、分割した各領域の位置、大き
さ及び特徴量等の情報374をDIL379に出力す
る。
ctor)375は、画像の中で動いている部分を検出
する部分であり、検出した動き領域の情報376を距離
情報付加部DIL379に出力する。
InformationLinker)379は、入力
された2次元の情報に距離情報を付加して3次元の情報
を出力するオブジェクトであり、顔検出部FI377か
らのID情報378、色認識部MCT373からの分割
した各領域の位置、大きさ及び特徴量等の情報374、
動き検出部MDT375からの動き領域の情報376に
距離情報を付加して3次元の情報380を短期記憶部S
TM(ShortTermMemory)381に出力
する。
1の外部環境に関する情報を比較的短い時間だけ保持す
るオブジェクトであり、ArthurDecoder
(図示せず)から音声認識結果(単語、音源方向、確信
度)を受け取り、色認識部MCT373から肌色の領域
の位置、大きさと顔領域の位置、大きさを受け取り、顔
識別部FI377から人物のID情報等を受け取る。ま
た、ロボット装置1の機体上の各センサからロボット装
置の首の方向(関節角)を受け取る。そして、これらの
認識結果及びセンサ出力を統合的に使って、現在どこに
どの人物がいて、しゃべった言葉がどの人物のものであ
り、その人物とはこれまでにどんな対話を行ったのかと
いう情報を保存する。こうした物体、即ちターゲットに
関する物理情報と時間方向でみたイベント(履歴)を出
力として、経路計画決定部(状況依存行動階層)(SB
L)360等の上位モジュールに渡す。
部STM381からの情報を基にロボット装置1の行動
(状況に依存した行動)を決定するオブジェクトであ
る。複数の行動を同時に評価したり、実行したりするこ
とができる。また、行動を切り替えて機体をスリープ状
態にしておき、別の行動を起動することができる。
EX320の障害物検出処理を除いた各オブジェクトに
ついて更に詳細に説明する。
の大きさのグリッドに分割された、ロボット中心座標系
の地図情報である環境地図と、例えば環境地図上におい
てx軸方向又はy軸方向等の所定の方角からロボット装
置が向く方角を示す姿勢情報とを有している。また、環
境地図は、障害物情報が平面抽出部PLEXから入力さ
れ、障害物として認識されているグリッド(障害物占有
領域)を有する。この障害物グリッド算出部OG330
は、ロボット装置が移動すると、即ち、オドメトリ31
4が入力されると、予めメモリ内に格納されていた環境
地図及び姿勢情報を、ロボット装置の姿勢の変化(差分
移動角)及び移動距離(差分移動量)に伴って、予め認
識している環境地図及び姿勢方向の情報を更新する。こ
こで、差分移動量がグリッドサイズより小さければ環境
地図を更新せず、移動量がグリッドのサイズを超える場
合は環境地図を更新する。また、環境地図及びそのグリ
ッドの大きさを必要に応じて適宜変更することにより、
計算量及びメモリコピーコスト等を低減することができ
る。
ついて図12〜図17を参照して詳細に説明する。図1
2は、障害物グリッド算出部OG330にて認識される
環境地図を示す模式図である。図12に示すように、環
境地図400は、ロボット装置(移動体)403を中心
とした周囲の地図情報である環境地図(ロボット中心座
標系での地図情報)であり、所定の大きさのグリッド4
10に分割されている。そして、ロボット装置403が
移動すると、常にロボット装置403が環境地図400
の中心に位置する中心グリッド401内に位置するよう
に更新されるものである。この図12に示す環境地図4
00及びグリッド410の大きさは、必要に応じて適宜
変更することができる。即ち、例えば、精細な環境地図
が不要であるとき等は、環境地図400を小さくする
か、又はグリッド410の大きさを大きくして解像度を
下げることにより、計算量及びメモリコピーコスト等を
小さくすることができる。
すグリッド402は、障害物として認識される最小単位
の領域(障害物占有領域)を示す。位置認識装置におけ
る障害物の認識方法としては、例えば、ステレオカメラ
等による視差画像から求める方法、レンジファインダー
等の電波の跳ね返りを利用する方法、及び超音波センサ
等の距離測定センサによる方法等がある。そして、これ
らの方法により認識された障害物の位置を位置認識装置
が環境地図のグリッドの属性として認識(表示)する。
本実施の形態においては、障害物情報は、前述した平面
抽出部PLEX320から入力される。
したように、データ画像及びセンサデータが入力される
キネマティックオドメトリKINE310からオドメト
リ314が入力されると、予めメモリ内に格納されてい
た環境地図を更新する。メモリ内には、ロボット装置4
03を中心としたロボット装置の周囲の障害物等の情報
を有する地図情報である環境地図400と共に、この地
図上においてのロボット装置(移動体)の向きを示す姿
勢情報404とを有するものである。姿勢情報404
は、所定の方角、例えばx軸方向又はy軸方向からロボ
ット装置403が向く方角を示すものである。そして、
ロボット装置の姿勢の変化及び移動等に伴って、図12
に示す予め認識している環境地図及び姿勢方向の情報を
更新する。
る。本発明の位置認識装置においては、ロボット装置等
の移動量の大きさによっては環境地図を更新しない。即
ち、移動量が所定の領域(グリッド)内であれば環境地
図を更新せず、移動量がグリッドのサイズを超える場合
は環境地図を更新するものである。
は移動量に応じた環境地図の更新方法を示す図であっ
て、夫々環境地図を更新しない場合及び環境地図を更新
する場合の環境地図を示す模式図である。図13(a)
に示すように、環境地図500における中心グリッド5
01内にロボット装置503が位置している。ハッチン
グして示すグリッド502は障害物領域を示す。このロ
ボット装置503の移動量505が小さく、図13
(b)に示すように、ロボット装置503の位置が移動
後のロボット装置506においても、そのロボット50
6の位置が中心グリッド501内であった場合、環境地
図500は更新しない。この場合は、中心グリッド50
1内におけるロボット装置の移動位置情報だけを更新す
る。
(c)に示すように、環境地図500における中心グリ
ッド501内に位置したロボット装置503の移動量5
15が大きく中心グリッド501を越えた場合、図13
(d)に示すように、移動後のロボット装置513が環
境地図の中心グリッド511に位置するように、移動し
たグリッドの数だけ環境地図500をシフトさせて更新
して更新環境地図510を得る。
の最小単位であるグリッドの大きさをCS(Cell Siz
e)、グリッド内のロボット装置の位置を(Bx,B
y)、ロボット装置の2次元方向の移動量を(dx,d
y)とすると、グリッドのシフトの大きさ(Sx,S
y)は下記数式(3)で示される。
は、ガウス記号であって、[]内の値を超えない最大の
整数値を示すものとする。また、グリッド内のロボット
位置(Rx,Ry)は、下記数式(4)で示される。
4に示す。図14(a)に示すように、ロボット装置6
03は、グリッドサイズCSを有する複数個のグリッド
に分割された環境地図600における中心グリッド60
1内に位置している。環境地図600内にはハッチング
して示す障害物領域を示す複数個のグリッド602を有
する。ここで、中心グリッド601内の例えば図中左下
隅の点607をグリッド601内のロボット装置603
の位置原点とすることができる。このロボット装置60
3の位置は、原点607からの距離として位置(Bx,
By)として表すことができる。このロボット装置60
3が移動量(dx,dy)605の移動をしてグリッド
608に移動した場合、移動後のロボット装置613の
位置は、(Bx+dx,By+dy)として表すことが
できる。
y)605の移動をした場合、環境地図シフト量(S
x,Sy)は、上記数式(1)から算出することができ
る。ここで、更新環境地図610において、環境地図6
00をx軸方向のシフト量Sx及びy軸方向のシフト量
Syだけ、夫々x軸方向の移動量dx及びy軸方向の移
動量dyとは逆方向に環境地図をシフトさせたものとし
て更新することができる。なお、ここでは、ロボット装
置の移動量(dx,dy)は右向きを正とし、環境地図
のシフト量(Sx,Sy)は、移動方向とは逆方向であ
る左向きを正としている。
更新環境地図610の中心グリッド611に位置する。
ここで、移動後のロボット装置613の環境地図シフト
後の更新環境地図610の中心グリッド611における
ロボット位置(Ax,Ay)は、移動前のロボット装置
603のシフト前環境地図600の中心グリッド601
におけるロボット位置(Bx,By)と、グリッド内移
動量(Rx,Ry)615とからロボット位置(Ax,
Ay)=(Bx+Rx,By+Ry)=(Bx+dx−
CS×Sx,By+dy−CS×Sy)として算出する
ことができる。
新について説明する。図15(a)及び(b)は、姿勢
方向の夫々更新前後の様子を示す模式図である。ロボッ
ト装置の姿勢情報に関しては、環境地図を固定した座標
系に対する角度として示すことができる、即ち、ロボッ
ト装置が姿勢方向dαだけ変化させた場合、ロボット装
置の姿勢方向の情報のみが更新され、環境地図は更新さ
れない。
領域である複数個のグリッド702を有する環境地図7
00における中心グリッド701に位置するロボット装
置703において、移動前のロボット姿勢方向をαとす
る。姿勢方向αは、例えば時計回りを正とし、y軸から
の傾き又はx軸からの傾き等として示すことができる。
ここで、ロボット装置703が姿勢回転角度dαで回転
した場合、図15(b)に示すように、移動後後のロボ
ット姿勢方向(姿勢情報)は、α+dαとして示すこと
ができる。
0のもたらす効果を示す図である。図16に示すよう
に、環境地図及びロボット装置自身の姿勢方向の情報の
更新、即ちキネマティックオドメトリKINE801か
ら障害物グリッド算出部802への移動量(オドメト
リ)803の受け渡しは、所定の時間毎に自動的に行う
こともできるが、ロボット装置が1歩歩く毎に行うよう
にする。このことにより、移動していないときは更新作
業をしないようにし、更新作業を行うことによる計算コ
スト及びメモリコピーコストをなくすことでロボット装
置の例えばCPU等の負荷を低減することができる。ま
た、ソフトウェアの構成がオブジェクト単位で処理を行
うような場合は、受け渡すデータは、ロボット装置の移
動差分量・回転差分量(dx,dy,dα)のみとでよ
く、ロボット装置の絶対座標及び絶対角度を受け渡すよ
りもデータ量が少なく、且つ高い精度を得ることができ
る。
置認識以外の処理を行う場合、例えば音声認識及び顔認
識等、位置認識と直接関係がなく、位置認識のプライオ
リティを下げてもよい場合がある。このような場合にお
いて、位置認識装置(位置認識のオブジェクト)を停止
すると、位置認識のプライオリティが高くなった際に、
停止していた間に移動があったりする等して、停止前の
位置認識結果と整合が取れなくなるという問題(Kid
Nap問題)が生じる。従って、位置認識のプライオリ
ティを下げてよい場合においては、環境地図のグリッド
の大きさCSを大きくするか、又は環境地図サイズの大
きさ自身を小さくするかすることにより、位置認識のオ
ブジェクトを停止することなく、CPUのリソースを低
減することができる。
環境地図及びロボット装置の姿勢情報を図17に示す操
作盤に表示することができる。図17は、例えばユーザ
がロボット装置の遠隔操作時に使用する操作盤を示す模
式図である。図17に示すように、操作盤900には、
ロボット装置のカメラ画像901及び環境地図910が
表示される。操作盤900には、その他、例えばロボッ
ト装置913を移動させる操作ボタン920等が備えら
れている。
は、自律動作以外にユーザが遠隔操作をする利用方法が
ある。従来、ロボットの操作盤にロボット装置に装備さ
れたカメラによって得られる画像を表示するものがあ
る。しかしながら、特に、視野の限られたカメラだけで
はユーザがロボット装置周辺の環境を把握してロボット
装置を操作することは困難であった。しかし、本実施の
形態のように、ロボット装置913に装備されたCCD
等のカメラからのカメラ画像901のみのデータで遠隔
操作する従来のロボット制御よりも、遠隔操作用の操作
盤900に環境地図910を表示することによって、ロ
ボット制御の操作性が飛躍的に向上する。
環境地図を更新しないものとして説明したが、通常、ロ
ボット装置においてはCCDカメラ等の撮像装置は頭部
ユニット前面に設けられており、カメラ画像901はロ
ボット装置の前方の画像を表示する。従って、姿勢情報
が変化してロボット装置の向きが例えば180°回転し
た場合、カメラ画像と環境地図との方向が逆になる。よ
って、姿勢情報が、例えば45°又は90°等、所定の
角度以上回転した場合は、この回転に伴い環境地図を回
転させることにより、更にロボット制御の操作性が向上
する。
0は、図18に示すように、例えば、グリーン部分10
01、ピンク部分1002、又はブルー部分1003等
のカラーを有する人工的なカラーランドマーク1004
を含む環境において、ロボット装置1のセンサ情報と、
ロボット装置1が行った動作情報によって、ロボット装
置の自己位置(位置及び姿勢)を同定する。
間隔状にグリッド(x,y)を設け、各グリッドの位置
l(localization)毎にロボット装置が存在する確率p
(l)を管理する。この存在確率p(l)は、ロボット
装置の移動(move)、即ち内界観測情報a、又はラ
ンドマークの観測、即ち外界観測情報sの入力に応じて
更新される。
の状態、即ち自己位置l'における存在確率p(l')
と、以前の状態l'において移動aを行ったときに状態
lになるという遷移確率p(l|a,l')に依拠す
る。即ち、これまでの各状態l'になる確率p(l')
と、状態l'において移動aを行ったときに状態lにな
るという遷移確率p(l|a,l')の積を加算してい
く(若しくは積分する)ことによって、現在の状態、即
ち自己位置lになるという存在確率p(l)に収束す
る。従って、外界観測結果としてのロボット装置の移動
aが観測されたときには、各グリッドでは、下記数式
(5)に従ってロボット装置の存在確率p(l)を更新
することができる。
置が存在するという存在確率p(l)は、存在確率p
(l)とこの状態lにおいてランドマークを観察すると
いう遷移確率p(s|l)に依拠する。したがって、状
態lにおいてランドマークの観測、即ち外界観測情報s
が入力された場合には、下式に従ってロボット装置の存
在確率p(l)を更新することができる。但し、下記数
式(4)に示すように右辺では、正規化のため、ランド
マークを観察するという確率p(s)で除して正規化し
ている。
と拡張カルマン・フィルタを併用したランドマークセン
サCLS(自己位置同定システム)340の機能構成を
模式的に示している。同図に示すように、このランドマ
ークセンサCLS340は、マルコフ・ローカリゼーシ
ョン部(ML)342と、拡張カルマン・フィルタ部
(EKL)343と、拡張カルマン・フィルタ部343
の動作を制御するEKL制御部344とで構成されてい
る。
は、作業空間内の自分の位置を離散的なグリッド上の自
己位置確率密度分布として保持し、ランドマークの観測
に関する外界観測情報sと、ロボット装置自身の動作に
関する内界観測情報aを入力して、自己位置確率密度分
布の更新を行う。そして、各時刻において、自己位置確
率密度分布の最も高い値を持つグリッドを自己位置の推
定結果としてEKL制御部344に出力する。
部342により求められた各グリッド上での自己位置確
率密度分布を表している。同図では、各グリッドにおけ
る確率密度を濃淡により表現している。最も色が濃い、
即ち自己位置確率密度分布が最も高い値を有するグリッ
ドが自己位置の推定結果となる。
自己位置同定は、センサのノイズに対してロバストであ
り、同定解の精度は粗いが解の収束速度が速いことを主
な特徴とする。
タ部343は、自己位置を状態変数[x,y,θ]を実
測値として保持し、環境内に設置されたカラーランドマ
ーク1004を観測すると、ランドマークからの相対位
置に基づいて自己位置を推定する。また、自身の動作情
報を観測すると、その動作情報に基づいて状態量の推定
を行う。
ット装置自身の動作情報aと状態、即ち、自己位置lと
の関係を規定した状態モデルと、自己位置lとランドマ
ークの観測情報sとの関係を規定した観測モデルとで構
成されている。
位置)lにおいて動作aを行った場合における理論的な
状態lを与える遷移関数F(l,a)を備えている。実
際には理論的な状態lに対してノイズ成分wが重畳され
ることから、ロボット装置の状態lは状態モデルにより
下記数式(7)のように収束する。
態、即ち自己位置iにおいて、ある既知の環境Env
(例えばランドマークの位置など)に関する観測の理論
値sを与える観測関数H(Env,l)を備えている。
実際には観測の理論値に対してノイズ成分vが重畳され
ることから、観測値sは観測モデルにより下記数式
(8)のように収束する。
れぞれのノイズw及びvは、ここではゼロを中央値とす
るガウス分布として仮定する。
lとの関係を規定した状態モデルと自己位置lとランド
マークの観測情報sとの関係を規定した観測モデルを備
えた拡張カルマン・フィルタ部343において、動作情
報aは内界観測結果として、ランドマークの観測情報s
は外界観測結果として、夫々既知である。従って、ロボ
ット装置の自己位置同定を、ロボット装置の状態lをロ
ボット装置の動作情報a及び観測情報sにより推定する
という問題に帰着することができる。ここでは、ロボッ
ト装置の動作a、状態l、及び観測sをそれぞれ下記に
示すガウス分布として表現することができる。
中央値と及び共分散を有するガウス分布をとるものとし
て推定する。そして、ロボット装置の動作aが観測され
たときには、状態lの推定値に関する中央値並びに共分
散を下記数式(9−1),(9−2)により更新するこ
とができる。
lがある中央値及び共分散を有するガウス分布をとるも
のとして推定する。そして、ランドマークの観測情報s
が観測されたときには、状態lの推定値に関する中央値
並びに共分散を下記数式(10−1),(10−2)に
より更新することができる。
報に対するロバスト性に優れているので、拡張カルマン
・フィルタ部343の推定結果は、ランドマークセンサ
CLS340全体の出力としている。
リゼーション部342の出力結果に応じて拡張カルマン
・フィルタ部344の動作を制御する。より具体的に
は、マルコフ・ローカリゼーション部342の自己位置
推定結果に基づいて、ランドマークの観測情報sに関す
る妥当性を検証する。観測情報sの妥当性は、マルコフ
・ローカリゼーション部342において最大の存在確率
となるグリッド位置mlpにおいてランドマークを観測
する確率p(s|mlp)が所定の閾値パラメータth
reshobsを越えたかどうかで判断することができ
る。
を観測する確率p(s|mlp)が閾値パラメータth
reshobsを下回る場合には、センサ・ノイズに対し
てロバストなマルコフ・ローカリゼーション部342に
おいてさえ、センサ・ノイズのために同定解が充分に収
束していないことが推測される。このような場合、セン
サ・ノイズに対するロバスト性が低い拡張カルマン・フ
ィルタ部343において自己位置を推定しても、精度が
高い解が得られず、むしろ演算時間を浪費するだけであ
る。このため、観測情報sが妥当でないと判断された場
合には、切換器345を用いて拡張カルマン・フィルタ
部343への外界観測情報s、即ちランドマークの観測
情報の入力を遮断して、拡張カルマン・フィルタ部34
3における自己位置推定値の更新を停止させる。
ン・フィルタ部343の自己位置推定結果の妥当性も検
証する。自己位置推定結果の妥当性は、推定された状態
lの中央値及び共分散を用いて、マルコフ・ローカリゼ
ーション部342から出力される存在確率p(l)との
分布比較テストにより判断することができる。分布比較
テストの一例は、カイ自乗テストchi−square
−test(ml,ekf)である。
ゼーション部342と拡張カルマン・フィルタ部343
との各確率分布が類似していない場合には、センサ・ノ
イズに対するロバスト性が低い拡張カルマン・フィルタ
部343における自己位置推定値の方が、センサ・ノイ
ズの影響により妥当でないと判断することができる。こ
のような場合、EKL制御部344は拡張カルマン・フ
ィルタ部343の再初期化を行わせる。何故ならば、拡
張カルマン・フィルタは再復帰に多大な時間を要するか
らである。
動作について説明する。図21は、ランドマークセンサ
CLS340の動作を示すフローチャートである。図2
1に示すように、ロボット装置1の移動に関する内界観
測情報aがランドマークセンサCLS340に入力され
ると、まずマルコフ・ローカリゼーション部342にお
いて、上記数式(5)を用いて自己位置推定値の更新処
理が行われる(ステップS201)。次いで、拡張カル
マン・フィルタ部343において、上記数式数(9)を
用いて自己位置推定値の更新処理が行われる(ステップ
S202)。
測情報sがランドマークセンサCLS340に入力され
ると、まずマルコフ・ローカリゼーション部342にお
いて、上記数式(6)を用いて、自己位置推定値の更新
処理が行われる(ステップS211)。
出力結果は、EKL制御部344に入力されて、観測情
報sの妥当性が検証される(ステップS212)。観測
情報sの妥当性は、マルコフ・ローカリゼーション部3
42において最大の存在確率となるグリッド位置mlp
においてランドマークを観測する確率p(s|mlp)
が所定の閾値パラメータthreshobsを越えたかど
うかで判断することができる。
を観測する確率p(s|mlp)が閾値パラメータth
reshobsを下回る場合には、センサ・ノイズに対し
てロバストなマルコフ・ローカリゼーション部342に
おいてさえ、センサ・ノイズのために同定解が充分に収
束していないことが推測される。このような場合、セン
サ・ノイズに対するロバスト性が低い拡張カルマン・フ
ィルタ部343において自己位置を推定しても、精度の
よい解が得られず、むしろ演算時間を浪費するだけであ
る。このため、観測情報sが妥当でないと判断された場
合には、切換器345を用いて拡張カルマン・フィルタ
部343への外界観測情報s、即ちランドマークの観測
情報の入力を遮断して、拡張カルマン・フィルタ部34
3における自己位置推定値の更新を停止させる。
を満たす、即ちグリッド位置mlpにおいてランドマー
クを観測する確率p(s|mlp)が閾値パラメータt
hreshobsを上回る場合には、さらに拡張カルマン
・フィルタ部343において、上記数式(10−1),
(10−2)を用いて更新処理が行われる(ステップS
213)。
己位置推定の結果は、EKL制御部344に入力され
て、その妥当性が検証される(ステップS214)。拡
張カルマン・フィルタ部343による自己位置推定結果
の妥当性は、推定された状態lの中央値及び共分散を用
いて、マルコフ・ローカリゼーション部342から出力
される存在確率p(l)との分布比較テストにより判断
することができる。分布比較テストの一例は、カイ自乗
テストchi−square−test(ml,ek
f)である。
ゼーション部342と拡張カルマン・フィルタ部343
それぞれの確率分布が類似していない場合には、センサ
・ノイズに対するロバスト性が低い拡張カルマン・フィ
ルタ部343における自己位置推定値の方が、センサ・
ノイズの影響により妥当でないと判断することができ
る。このような場合、EKL制御部344は拡張カルマ
ン・フィルタ部343の再初期化を行わせる(ステップ
S215)。何故ならば、拡張カルマン・フィルタは再
復帰に多大な時間を要するからである。
S340では、広い範囲で比較的短い探索時間で探索を
行う大域探索と高精度だが探索時間を要する局所的探索
とを併用して、高精度で、高速且つロバストな自己位置
同定を行うことができる。次に、行動決定部SBL36
0は、障害物グリッド算出部OG330からの障害物情
報331により、ロボット装置1の周囲に存在する障害
物に関する認識結果を取得し、絶対座標算出部LZ35
0から現在のロボット装置1の絶対座標を取得すること
により、絶対座標系又はロボット装置中心のロボット中
心座標系で与えられた目標地点に対して障害物に衝突せ
ずに歩行可能な経路を生成し、経路に応じて経路を遂行
する動作コマンドを発行する。即ち、入力データから状
況に応じてロボット装置1が取るべき行動を決定し、そ
の行動列を出力する。ここで、障害物グリッド算出部O
G330の、障害物情報331に基づいた処理について
は後述する。
害物情報331により生成される障害物地図上の点は、
図22に示すように以下の3つの種類に分類される。
黒色で表される点)である。第2の点は、自由空間(障
害物が存在しない空間)上の点(図中の白で表される
点)である。そして、第3の点は、未観測領域上の点
(図中の斜線で表される点)である。
採用する経路計画アルゴリズムを図23のフローチャー
トに示し、以下に詳細を説明する。先ず、現在位置から
目的位置までを結ぶ直線経路の周辺の障害物地図が作成
されるように、視線を目的地方向に向ける(ステップS
71)。そして距離画像を観測し、距離計測を行い、障
害物地図を作成(更新)する(ステップS72)。
観測領域と自由空間領域を移動可能領域とみなして経路
計画を行う(ステップS73)。
コストを最小化するA*探索(A*search)いう方法を
用いる。このA*探索は、評価関数としてfを用い、h
関数が許容的であるような最良優先探索である。いかな
るヒューリスティック関数に対しても効率最適という点
を用いている。
適用することにより生成された経路が移動可能であるな
否かをステップS74にてチェックし、障害物を回避す
ることのできる経路が計画できなかった場合(NO)に
は、これ以上観測を続けても移動可能な経路が得られる
可能性がないため、その旨を告げて経路計画を終了する
(ステップS75)。
前記A*探索を適用して計画できた場合(YES)に
は、ステップS76に進み、出力された経路上に未観測
領域が含まれるか否かを検索する。このステップS76
にて経路上に未観測領域が含まれなかった場合(NO)
には、ステップS77にて目的地までの経路計画として
移動可能経路を出力する。ステップS76にて未観測領
域が含まれる場合(YES)には、ステップS78に進
んで現在位置から未観測領域までの歩数を計算し、その
歩数が閾値を超えるか否かをチェックする。
る場合(YES)には、ステップS79により未知領域
までの移動可能経路を出力する。一方、ステップS78
において未知観測領域までの歩数が閾値に満たない場合
(NO)は、未観測領域が距離観測されるように視線方
向の制御を行って再観測を行い(ステップS80)、再
び障害物地図の更新を行う。
した経路計画決定部SBL360は、未観測領域と自由
空間領域を移動可能領域とみなして経路計画を行い、出
力された経路上に含まれる未観測領域部のみを再観測す
ることにより、目的地に移動する際に不必要な観測及び
距離画像計算処理を行わなわず、効率的で短時間に移動
経路計画を生成することが可能となる。
た位置認識装置を搭載した2足歩行タイプのロボット装
置について詳細に説明する。この人間型のロボット装置
は、住環境その他の日常生活上の様々な場面における人
的活動を支援する実用ロボットであり、内部状態(怒
り、悲しみ、喜び、楽しみ等)に応じて行動できるほ
か、人間が行う基本的な動作を表出できるエンターテイ
ンメントロボットである。
体幹部ユニット2の所定の位置に頭部ユニット3が連結
されると共に、左右2つの腕部ユニット4R/Lと、左
右2つの脚部ユニット5R/Lが連結されて構成されて
いる(但し、R及びLの各々は、右及び左の各々を示す
接尾辞である。以下において同じ。)。
構成を図25に模式的に示す。頭部ユニット3を支持す
る首関節は、首関節ヨー軸101と、首関節ピッチ軸1
02と、首関節ロール軸103という3自由度を有して
いる。
4R/Lは、肩関節ピッチ軸107と、肩関節ロール軸
108と、上腕ヨー軸109と、肘関節ピッチ軸110
と、前腕ヨー軸111と、手首関節ピッチ軸112と、
手首関節ロール輪113と、手部114とで構成され
る。手部114は、実際には、複数本の指を含む多関節
・多自由度構造体である。ただし、手部114の動作
は、ロボット装置1の姿勢制御や歩行制御に対する寄与
や影響が少ないので、本明細書ではゼロ自由度と仮定す
る。したがって、各腕部は7自由度を有するとする。
104と、体幹ロール軸105と、体幹ヨー軸106と
いう3自由度を有する。
5R/Lは、股関節ヨー軸115と、股関節ピッチ軸1
16と、股関節ロール軸117と、膝関節ピッチ軸11
8と、足首関節ピッチ軸119と、足首関節ロール軸1
20と、足部121とで構成される。本明細書中では、
股関節ピッチ軸116と股関節ロール軸117の交点
は、ロボット装置1の股関節位置を定義する。人体の足
部121は、実際には多関節・多自由度の足底を含んだ
構造体であるが、ロボット装置1の足底は、ゼロ自由度
とする。したがって、各脚部は、6自由度で構成され
る。
しては、合計で3+7×2+3+6×2=32自由度を
有することになる。ただし、エンターテインメント向け
のロボット装置1が必ずしも32自由度に限定されるわ
けではない。設計・制作上の制約条件や要求仕様等に応
じて、自由度、即ち関節数を適宜増減することができる
ことはいうまでもない。
由度は、実際にはアクチュエータを用いて実装される。
外観上で余分な膨らみを排してヒトの自然体形状に近似
させること、2足歩行という不安定構造体に対して姿勢
制御を行うことなどの要請から、アクチュエータは小型
且つ軽量であることが好ましい。
ム構成を模式的に示している。同図に示すように、ロボ
ット装置1は、ヒトの四肢を表現した体幹部ユニット
2,頭部ユニット3,腕部ユニット4R/L,脚部ユニ
ット5R/Lと、各ユニット間の協調動作を実現するた
めの適応制御を行う制御ユニット10とで構成される。
ト10によって統括的に制御される。制御ユニット10
は、CPU(Central Processing Unit)や、DRA
M、フラッシュROM等の主要回路コンポーネント(図
示しない)で構成される主制御部11と、電源回路やロ
ボット装置1の各構成要素とのデータやコマンドの授受
を行うインターフェイス(何れも図示しない)などを含
んだ周辺回路12とで構成される。
限定されない。図26では体幹部ユニット2に搭載され
ているが、頭部ユニット3に搭載してもよい。あるい
は、ロボット装置1外に制御ユニット10を配備して、
ロボット装置1の機体とは有線又は無線で交信するよう
にしてもよい。
自由度は、それぞれに対応するアクチュエータによって
実現される。即ち、頭部ユニット3には、首関節ヨー軸
101、首関節ピッチ軸102、首関節ロール軸103
の各々を表現する首関節ヨー軸アクチュエータA2、首
関節ピッチ軸アクチュエータA3、首関節ロール軸アク
チュエータA4が配設されている。
撮像するためのCCD(Charge Coupled Device)カメ
ラが設けられているほか、前方に位置する物体までの距
離を測定するための距離センサ、外部音を集音するため
のマイク、音声を出力するためのスピーカ、使用者から
の「撫でる」や「叩く」といった物理的な働きかけによ
り受けた圧力を検出するためのタッチセンサ等が配設さ
れている。
軸104、体幹ロール軸105、体幹ヨー軸106の各
々を表現する体幹ピッチ軸アクチュエータA5、体幹ロ
ール軸アクチュエータA6、体幹ヨー軸アクチュエータ
A7が配設されている。また、体幹部ユニット2には、
このロボット装置1の起動電源となるバッテリを備えて
いる。このバッテリは、充放電可能な電池によって構成
されている。
ット41R/Lと、肘関節ユニット42R/Lと、前腕
ユニット43R/Lに細分化されるが、肩関節ピッチ軸
107、肩関節ロール軸108、上腕ヨー軸109、肘
関節ピッチ軸110、前腕ヨー軸111、手首関節ピッ
チ軸112、手首関節ロール軸113の各々表現する肩
関節ピッチ軸アクチュエータA8、肩関節ロール軸アク
チュエータA9、上腕ヨー軸アクチュエータA10、肘
関節ピッチ軸アクチュエータA11、肘関節ロール軸ア
クチュエータA12、手首関節ピッチ軸アクチュエータ
A13、手首関節ロール軸アクチュエータA14が配備
されている。
ニット51R/Lと、膝ユニット52R/Lと、脛部ユ
ニット53R/Lに細分化されるが、股関節ヨー軸11
5、股関節ピッチ軸116、股関節ロール軸117、膝
関節ピッチ軸118、足首関節ピッチ軸119、足首関
節ロール軸120の各々を表現する股関節ヨー軸アクチ
ュエータA16、股関節ピッチ軸アクチュエータA1
7、股関節ロール軸アクチュエータA18、膝関節ピッ
チ軸アクチュエータA19、足首関節ピッチ軸アクチュ
エータA20、足首関節ロール軸アクチュエータA21
が配備されている。各関節に用いられるアクチュエータ
A2,A3・・・は、より好ましくは、ギア直結型で旦つ
サーボ制御系をワンチップ化してモータ・ユニット内に
搭載したタイプの小型ACサーボ・アクチュエータで構
成することができる。
部ユニット4R/L、各脚部ユニット5R/Lなどの各
機構ユニット毎に、アクチュエータ駆動制御部の副制御
部20,21,22R/L,23R/Lが配備されてい
る。さらに、各脚部ユニット5R/Lの足底が着床した
か否かを検出する接地確認センサ30R/Lを装着する
とともに、体幹部ユニット2内には、姿勢を計測する姿
勢センサ31を装備している。
に設置された近接センサ又はマイクロ・スイッチなどで
構成される。また、姿勢センサ31は、例えば、加速度
センサとジャイロ・センサの組み合わせによって構成さ
れる。
て、歩行・走行などの動作期間中において、左右の各脚
部が現在立脚又は遊脚何れの状態であるかを判別するこ
とができる。また、姿勢センサ31の出力により、体幹
部分の傾きや姿勢を検出することができる。
1の出力に応答して制御目標をダイナミックに補正する
ことができる。より具体的には、副制御部20,21,
22R/L,23R/Lの各々に対して適応的な制御を
行い、ロボット装置1の上肢、体幹、及び下肢が協調し
て駆動する全身運動パターンを実現できる。
足部運動、ZMP(Zero Moment Point)軌道、体幹運
動、上肢運動、腰部高さなどを設定するとともに、これ
らの設定内容にしたがった動作を指示するコマンドを各
副制御部20,21,22R/L,23R/Lに転送す
る。そして、各々の副制御部20,21,・・・等で
は、主制御部11からの受信コマンドを解釈して、各ア
クチュエータA2,A3・・・等に対して駆動制御信号
を出力する。ここでいう「ZMP」とは、歩行中の床反
力によるモーメントがゼロとなる床面上の点のことであ
り、また、「ZMP軌道」とは、例えばロボット装置1
の歩行動作期間中にZMPが動く軌跡を意味する。な
お、ZMPの概念並びにZMPを歩行ロボットの安定度
判別規範に適用する点については、Miomir Vukobratovi
c著“LEGGED LOCOMOTION ROBOTS”(加藤一郎外著『歩
行ロボットと人工の足』(日刊工業新聞社))に記載さ
れている。
副制御部20,21,・・・等が、主制御部11からの
受信コマンドを解釈して、各アクチュエータA2,A3
・・・に対して駆動制御信号を出力し、各ユニットの駆
動を制御している。これにより、ロボット装置1は、目
標の姿勢に安定して遷移し、安定した姿勢で歩行でき
る。
ト10では、上述したような姿勢制御のほかに、加速度
センサ、タッチセンサ、接地確認センサ等の各種セン
サ、及びCCDカメラからの画像情報、マイクからの音
声情報等を統括して処理している。制御ユニット10で
は、図示しないが加速度センサ、ジャイロ・センサ、タ
ッチセンサ、距離センサ、マイク、スピーカなどの各種
センサ、各アクチュエータ、CCDカメラ及びバッテリ
が各々対応するハブを介して主制御部11と接続されて
いる。
されるセンサデータや画像データ及び音声データを順次
取り込み、これらをそれぞれ内部インターフェイスを介
してDRAM内の所定位置に順次格納する。また、主制
御部11は、バッテリから供給されるバッテリ残量を表
すバッテリ残量データを順次取り込み、これをDRAM
内の所定位置に格納する。DRAMに格納された各セン
サデータ、画像データ、音声データ及びバッテリ残量デ
ータは、主制御部11がこのロボット装置1の動作制御
を行う際に利用される。
投入された初期時、制御プログラムを読み出し、これを
DRAMに格納する。また、主制御部11は、上述のよ
うに主制御部11よりDRAMに順次格納される各セン
サデータ、画像データ、音声データ及びバッテリ残量デ
ータに基づいて自己及び周囲の状況や、使用者からの指
示及び働きかけの有無などを判断する。
びDRAMに格納した制御プログラムに基づいて自己の
状況に応じて行動を決定するとともに、当該決定結果に
基づいて必要なアクチュエータを駆動させることにより
ロボット装置1に、いわゆる「身振り」、「手振り」と
いった行動をとらせる。
ログラムに基づいて自己及び周囲の状況を判断し、使用
者からの指示及び働きかけに応じて自律的に行動でき
る。
態に応じて自律的に行動することができる。そこで、ロ
ボット装置1における制御プログラムのソフトウェア構
成例について、図27乃至図32を用いて説明する。な
お、この制御プログラムは、上述したように、予めフラ
ッシュROM12に格納されており、ロボット装置1の
電源投入初期時において読み出される。
イヤ40は、制御プログラムの最下位層に位置し、複数
のデバイス・ドライバからなるデバイス・ドライバ・セ
ット41から構成されている。この場合、各デバイス・
ドライバは、CCDカメラやタイマ等の通常のコンピュ
ータで用いられるハードウェアに直接アクセスすること
を許されたオブジェクトであり、対応するハードウェア
からの割り込みを受けて処理を行う。
ト42は、デバイス・ドライバ・レイヤ40の最下位層
に位置し、例えば上述の各種センサやアクチュエータ2
81〜28n等のハードウェアにアクセスするためのイ
ンターフェイスを提供するソフトウェア群でなるバーチ
ャル・ロボット43と、電源の切換えなどを管理するソ
フトウェア群でなるパワーマネージャ44と、他の種々
のデバイス・ドライバを管理するソフトウェア群でなる
デバイス・ドライバ・マネージャ45と、ロボット装置
1の機構を管理するソフトウェア群でなるデザインド・
ロボット46とから構成されている。
ェクト・マネージャ48及びサービス・マネージャ49
から構成されている。オブジェクト・マネージャ48
は、ロボティック・サーバ・オブジェクト42、ミドル
・ウェア・レイヤ50、及びアプリケーション・レイヤ
51に含まれる各ソフトウェア群の起動や終了を管理す
るソフトウェア群であり、サービス・マネージャ49
は、メモリカードに格納されたコネクションファイルに
記述されている各オブジェクト間の接続情報に基づいて
各オブジェクトの接続を管理するソフトウェア群であ
る。
ック・サーバ・オブジェクト42の上位層に位置し、画
像処理や音声処理などのこのロボット装置1の基本的な
機能を提供するソフトウェア群から構成されている。ま
た、アプリケーション・レイヤ51は、ミドル・ウェア
・レイヤ50の上位層に位置し、当該ミドル・ウェア・
レイヤ50を構成する各ソフトウェア群によって処理さ
れた処理結果に基づいてロボット装置1の行動を決定す
るためのソフトウェア群から構成されている。
プリケーション・レイヤ51の具体なソフトウェア構成
をそれぞれ図28に示す。
示すように、騒音検出用、温度検出用、明るさ検出用、
音階認識用、距離検出用、姿勢検出用、タッチセンサ
用、動き検出用及び色認識用の各信号処理モジュール6
0〜68並びに入力セマンティクスコンバータモジュー
ル69などを有する認識系70と、出力セマンティクス
コンバータモジュール78並びに姿勢管理用、トラッキ
ング用、モーション再生用、歩行用、転倒復帰用、LE
D点灯用及び音再生用の各信号処理モジュール71〜7
7などを有する出力系79とから構成されている。
68は、ロボティック・サーバ・オブジェクト42のバ
ーチャル・ロボット43によりDRAMから読み出され
る各センサデータや画像データ及び音声データのうちの
対応するデータを取り込み、当該データに基づいて所定
の処理を施して、処理結果を入力セマンティクスコンバ
ータモジュール69に与える。ここで、例えば、バーチ
ャル・ロボット43は、所定の通信規約によって、信号
の授受或いは変換をする部分として構成されている。
69は、これら各信号処理モジュール60〜68から与
えられる処理結果に基づいて、「うるさい」、「暑
い」、「明るい」、「ボールを検出した」、「転倒を検
出した」、「撫でられた」、「叩かれた」、「ドミソの
音階が聞こえた」、「動く物体を検出した」又は「障害
物を検出した」などの自己及び周囲の状況や、使用者か
らの指令及び働きかけを認識し、認識結果をアプリケー
ション・レイヤ41に出力する。
に示すように、行動モデルライブラリ80、行動切換モ
ジュール81、学習モジュール82、感情モデル83及
び本能モデル84の5つのモジュールから構成されてい
る。
示すように、「バッテリ残量が少なくなった場合」、
「転倒復帰する」、「障害物を回避する場合」、「感情
を表現する場合」、「ボールを検出した場合」などの予
め選択されたいくつかの条件項目にそれぞれ対応させ
て、それぞれ独立した行動モデルが設けられている。
力セマンティクスコンバータモジュール69から認識結
果が与えられたときや、最後の認識結果が与えられてか
ら一定時間が経過したときなどに、必要に応じて後述の
ように感情モデル83に保持されている対応する情動の
パラメータ値や、本能モデル84に保持されている対応
する欲求のパラメータ値を参照しながら続く行動をそれ
ぞれ決定し、決定結果を行動切換モジュール81に出力
する。
ルは、次の行動を決定する手法として、図31に示すよ
うな1つのノード(状態)NODE0〜NODEnから
他のどのノードNODE0〜NODEnに遷移するかを
各ノードNODE0〜NODEnに間を接続するアーク
ARC1〜ARCn1に対してそれぞれ設定された遷移
確率P1〜Pnに基づいて確率的に決定する有限確率オ
ートマトンと呼ばれるアルゴリズムを用いる。
の行動モデルを形成するノードNODE0〜NODEn
にそれぞれ対応させて、これらノードNODE0〜NO
DEn毎に図23に示すような状態遷移表90を有して
いる。
DE0〜NODEnにおいて遷移条件とする入力イベン
ト(認識結果)が「入力イベント名」の列に優先順に列
記され、その遷移条件についてのさらなる条件が「デー
タ名」及び「データ範囲」の列における対応する行に記
述されている。
されるノードNODE100では、「ボールを検出(B
ALL)」という認識結果が与えられた場合に、当該認
識結果とともに与えられるそのボールの「大きさ(SIZ
E)」が「0から1000」の範囲であることや、「障害物を
検出(OBSTACLE)」という認識結果が与えられた場合
に、当該認識結果とともに与えられるその障害物までの
「距離(DISTANCE)」が「0から100」の範囲であること
が他のノードに遷移するための条件となっている。
識結果の入力がない場合においても、行動モデルが周期
的に参照する感情モデル83及び本能モデル84にそれ
ぞれ保持された各情動及び各欲求のパラメータ値のう
ち、感情モデル83に保持された「喜び(Joy)」、
「驚き(Surprise)」又は「悲しみ(Sadness)」の何
れかのパラメータ値が「50から100」の範囲であるとき
には他のノードに遷移することができるようになってい
る。
ヘの遷移確率」の欄における「遷移先ノード」の行にそ
のノードNODE0〜NODEnから遷移できるノード
名が列記されているとともに、「入力イベント名」、
「データ名」及び「データの範囲」の列に記述された全
ての条件が揃ったときに遷移できる他の各ノードNOD
E0〜NODEnへの遷移確率が「他のノードヘの遷移
確率」の欄内の対応する箇所にそれぞれ記述され、その
ノードNODE0〜NODEnに遷移する際に出力すべ
き行動が「他のノードヘの遷移確率」の欄における「出
力行動」の行に記述されている。なお、「他のノードヘ
の遷移確率」の欄における各行の確率の和は100
[%]となっている。
されるノードNODE100では、例えば「ボールを検
出(BALL)」し、そのボールの「SIZE(大き
さ)」が「0から1000」の範囲であるという認識結果が
与えられた場合には、「30[%]」の確率で「ノードN
ODE120(node 120)」に遷移でき、そのとき「A
CTION1」の行動が出力されることとなる。
遷移表90として記述されたノードNODE0〜 NO
DEnが幾つも繋がるようにして構成されており、入力
セマンティクスコンバータモジュール69から認識結果
が与えられたときなどに、対応するノードNODE0〜
NODEnの状態遷移表を利用して確率的に次の行動を
決定し、決定結果を行動切換モジュール81に出力する
ようになされている。
行動モデルライブラリ80の各行動モデルからそれぞれ
出力される行動のうち、予め定められた優先順位の高い
行動モデルから出力された行動を選択し、当該行動を実
行すべき旨のコマンド(以下、行動コマンドという。)
をミドル・ウェア・レイヤ50の出力セマンティクスコ
ンバータモジュール78に送出する。なお、この実施の
形態においては、図30において下側に表記された行動
モデルほど優先順位が高く設定されている。
了後に出力セマンティクスコンバータモジュール78か
ら与えられる行動完了情報に基づいて、その行動が完了
したことを学習モジュール82、感情モデル83及び本
能モデル84に通知する。
ティクスコンバータモジュール69から与えられる認識
結果のうち、「叩かれた」や「撫でられた」など、使用
者からの働きかけとして受けた教示の認識結果を入力す
る。
結果及び行動切換えモジュール71からの通知に基づい
て、「叩かれた(叱られた)」ときにはその行動の発現
確率を低下させ、「撫でられた(誉められた)」ときに
はその行動の発現確率を上昇させるように、行動モデル
ライブラリ70における対応する行動モデルの対応する
遷移確率を変更する。
y)」、「悲しみ(Sadness)」、「怒り(Anger)」、
「驚き(Surprise)」、「嫌悪(Disgust)」及び「恐
れ(Fear)」の合計6つの情動について、各情動毎にそ
の情動の強さを表すパラメータを保持している。そし
て、感情モデル83は、これら各情動のパラメータ値
を、それぞれ入力セマンティクスコンバータモジュール
69から与えられる「叩かれた」及び「撫でられた」な
どの特定の認識結果や、経過時間及び行動切換モジュー
ル81からの通知などに基づいて周期的に更新する。
ンティクスコンバータモジュール69から与えられる認
識結果と、そのときのロボット装置1の行動と、前回更
新してからの経過時間となどに基づいて所定の演算式に
より算出されるそのときのその情動の変動量を△E
[t]、現在のその情動のパラメータ値をE[t]、そ
の情動の感度を表す係数をkeとして、下記数式(1
1)によって次の周期におけるその情動のパラメータ値
E[t+1]を算出し、これを現在のその情動のパラメ
ータ値E[t]と置き換えるようにしてその情動のパラ
メータ値を更新する。また、感情モデル83は、これと
同様にして全ての情動のパラメータ値により更新する。
ンバータモジュール78からの通知が各情動のパラメー
タ値の変動量△E[t]にどの程度の影響を与えるかは
予め決められており、例えば「叩かれた」といった認識
結果は「怒り」の情動のパラメータ値の変動量△E
[t]に大きな影響を与え、「撫でられた」といった認
識結果は「喜び」の情動のパラメータ値の変動量△E
[t]に大きな影響を与えるようになっている。
ジュール78からの通知とは、いわゆる行動のフィード
バック情報(行動完了情報)であり、行動の出現結果の
情報であり、感情モデル83は、このような情報によっ
ても感情を変化させる。これは、例えば、「叫ぶ」とい
った行動により怒りの感情レベルが下がるといったよう
なことである。なお、出力セマンティクスコンバータモ
ジュール78からの通知は、上述した学習モジュール8
2にも入力されており、学習モジュール82は、その通
知に基づいて行動モデルの対応する遷移確率を変更す
る。
切換モジュール81の出力(感情が付加された行動)に
よりなされるものであってもよい。
cise)」、「愛情欲(affection)」、「食欲(appetit
e)」及び「好奇心(curiosity)」の互いに独立した4
つの欲求について、これら欲求毎にその欲求の強さを表
すパラメータを保持している。そして、本能モデル84
は、これらの欲求のパラメータ値を、それぞれ入力セマ
ンティクスコンバータモジュール69から与えられる認
識結果や、経過時間及び行動切換モジュール81からの
通知などに基づいて周期的に更新する。
欲」、「愛情欲」及び「好奇心」については、認識結
果、経過時間及び出力セマンティクスコンバータモジュ
ール78からの通知などに基づいて所定の演算式により
算出されるそのときのその欲求の変動量をΔI[k]、
現在のその欲求のパラメータ値をI[k]、その欲求の
感度を表す係数kiとして、所定周期で下記数式(1
2)を用いて次の周期におけるその欲求のパラメータ値
I[k+1]を算出し、この演算結果を現在のその欲求
のパラメータ値I[k]と置き換えるようにしてその欲
求のパラメータ値を更新する。また、本能モデル84
は、これと同様にして「食欲」を除く各欲求のパラメー
タ値を更新する。
ンバータモジュール78からの通知などが各欲求のパラ
メータ値の変動量△I[k]にどの程度の影響を与える
かは予め決められており、例えば出力セマンティクスコ
ンバータモジュール78からの通知は、「疲れ」のパラ
メータ値の変動量△I[k]に大きな影響を与えるよう
になっている。
各欲求(本能)のパラメータ値がそれぞれ0から100
までの範囲で変動するように規制されており、また係数
ke、kiの値も各情動及び各欲求毎に個別に設定され
ている。
セマンティクスコンバータモジュール78は、図28に
示すように、上述のようにしてアプリケーション・レイ
ヤ51の行動切換モジュール81から与えられる「前
進」、「喜ぶ」、「鳴く」又は「トラッキング(ボール
を追いかける)」といった抽象的な行動コマンドを出力
系79の対応する信号処理モジュール71〜77に与え
る。
7は、行動コマンドが与えられると当該行動コマンドに
基づいて、その行動をするために対応するアクチュエー
タに与えるべきサーボ指令値や、スピーカから出力する
音の音声データ及び又はLEDに与える駆動データを生
成し、これらのデータをロボティック・サーバ・オブジ
ェクト42のバーチャル・ロボット43及び信号処理回
路を順次介して対応するアクチュエータ又はスピーカ又
はLEDに順次送出する。
た制御プログラムに基づいて、自己(内部)及び周囲
(外部)の状況や、使用者からの指示及び働きかけに応
じた自律的な行動ができる。
置が読取可能な形式で記録された記録媒体を介して提供
される。制御プログラムを記録する記録媒体としては、
磁気読取方式の記録媒体(例えば、磁気テープ、フレキ
シブルディスク、磁気カード)、光学読取方式の記録媒
体(例えば、CD−ROM、MO、CD−R、DVD)
等が考えられる。記録媒体には、半導体メモリ(いわゆ
るメモリカード(矩形型、正方形型など形状は問わな
い。)、ICカード)等の記憶媒体も含まれる。また、
制御プログラムは、いわゆるインターネット等を介して
提供されてもよい。
ライバ装置、又はパーソナルコンピュータ等を介して再
生され、有線又は無線接続によってロボット装置1に伝
送されて読み込まれる。また、ロボット装置1は、半導
体メモリ、又はICカード等の小型化された記憶媒体の
ドライブ装置を備える場合、これら記憶媒体から制御プ
ログラムを直接読み込むこともできる。
は、多数の測定点を使って平面の検出を行うために安定
した平面を抽出できる。また、画像から得られる平面候
補をロボットの姿勢から得られる床面パラメータと照合
することで正しい平面を選択できる。また、障害物を認
識するのではなく、実質的には床面を認識するので障害
物の形状や大きさに因らない認識が可能である。また、
床面からの距離で障害物を表現するので細かい段差や凹
みまで検出することができる。またロボットの大きさを
考慮して跨いだり、くぐったりする判断も容易である。
さらに、2次元床面上の障害物表現となるので経路計画
などに既存の移動ロボットで用いられる手法が適用可能
であるし、3次元の表現より高速に演算できる。
障害物認識装置は、座標変換手段による座標変換結果
と、平面検出手段によって検出された平面パラメータと
に基づいて床面検出手段が床面を検出し、その床面の平
面パラメータを用いて床面に載っている点を選択し、こ
の点に基づいて障害物を認識するので、正確に床面を抽
出し、障害物を認識することができる。
標変換工程による座標変換結果と、平面検出工程によっ
て検出された平面パラメータとに基づいて床面検出工程
が床面を検出し、その床面の平面パラメータを用いて床
面に載っている点を選択し、この点に基づいて障害物を
認識するので、正確に床面を抽出し、障害物を認識する
ことができる。
は、ロボット装置によって実行されることにより、座標
変換工程による座標変換結果と、平面検出工程によって
検出された平面パラメータとに基づいて床面検出工程が
床面を検出し、その床面の平面パラメータを用いて床面
に載っている点を選択し、この点に基づいて障害物を認
識するので、ロボット装置に正確に床面を抽出させ、障
害物を認識させることができる。
変換手段による座標変換結果と、平面検出手段によって
検出された平面パラメータとに基づいて床面検出手段が
床面を検出し、その床面の平面パラメータを用いて床面
に載っている点を選択し、この点に基づいて障害物を認
識するので、正確に床面を抽出し、障害物を認識するこ
とができる。
略を示すブロック図である。
フトウェアの構成を示す模式図である。
成を説明するための図である。
順を示すフローチャートである。
タを示す図である。
処理を説明するための図である。
を示す図である。
変換して2次元(床平面)上に障害物を表現したことを
示す図である。
ソフトウェアの動作を示すフローチャートである。
示す模式図である。
(ロボット装置)にて表示される環境地図を示す模式図
である。
識装置の移動量に応じた環境地図の更新方法を示す図で
あって、夫々環境地図を更新しない場合及び環境地図を
更新する場合の環境地図を示す模式図である。
移動量を示す模式図である。
姿勢方向の夫々更新前後の様子を示す模式図である。
である。
す模式図である。
ンドマークを示す模式図である。
示すブロック図である。
られた各グリッド上での自己位置確率密度分布を示す模
式図である。
すフローチャートである。
に、現在位置から目的位置までの経路を示した図であ
る。
である。
成を示す斜視図である。
に示す図である。
である。
ロック図である。
ミドル・ウェア・レイヤの構成を示すブロック図であ
る。
アプリケーション・レイヤの構成を示すブロック図であ
る。
ブラリの構成を示すブロック図である。
る有限確率オートマトンを説明する図である。
た状態遷移表を示す図である。
200L CCDカメラ、201R 右目画像、201
L 左目画像、202 カラー画像、203視差画像、
210 ステレオ画像処理装置、220 CPU、23
0 アクチュエータ、231 制御信号、240 セン
サ、241 センサデータ、260体幹部、300 ソ
フトウェア、310 キネマティックオドメトリKIN
E310、320 平面抽出部PLEX、330 障害
物グリッド算出部OG、340 ランドマーク位置検出
部CLS、350 絶対座標算出部LZ、360 行動
決定部SBL、400,500,510,600,61
0,700 環境地図、401,501,601,70
1 中心グリッド、402,502,602障害物グリ
ッド、403,503,506,513,603,70
3 ロボット装置、410 グリッド、404 情報、
900 操作盤
Claims (8)
- 【請求項1】 ロボット装置に設けた複数の撮像手段か
ら得られた画像データに基づいて算出された視差画像
と、前記ロボット装置に設けた複数のセンサ手段から得
られたセンサデータ出力とに基づいて前記複数の撮像手
段が配設された位置における前記視差画像に対応する同
時変換行列とを用いて距離画像を生成する距離画像生成
手段と、 前記距離画像生成手段により生成された距離画像に基づ
いて平面パラメータを検出する平面検出手段と、 前記複数の撮像手段の配設された位置における座標系を
床面での座標系に変換する座標変換手段と、 前記座標変換手段による座標変換結果と、前記平面検出
手段によって検出された平面パラメータとに基づいて床
面を検出する床面検出手段と、 前記床面検出手段の平面パラメータを用いて床面に載っ
ている点を選択し、この点に基づいて障害物を認識する
障害物認識手段とを備えることを特徴とする障害物認識
装置。 - 【請求項2】 前記障害物認識手段は、前記床面検出手
段にて検出された床面の平面パラメータを用いて平面か
らの距離が小さいデータを取り除いた残りを障害物とし
て認識することを特徴とする請求項1記載の障害物認識
装置。 - 【請求項3】 前記床面検出手段にて検出した床面と、
前記障害物認識手段が認識した障害物とを、高さをゼロ
とした平面座標上に変換して平面上の2次元の位置で床
面か障害物かを識別することを特徴とする請求項1記載
の障害物認識装置。 - 【請求項4】 ロボット装置に設けた複数の撮像手段か
ら得られた画像データに基づいて算出された視差画像
と、前記ロボット装置に設けた複数のセンサ手段から得
られたセンサデータ出力とに基づいて前記複数の撮像手
段が配設された位置における前記視差画像に対応する同
時変換行列とを用いて距離画像を生成する距離画像生成
工程と、 前記距離画像生成工程により生成された距離画像に基づ
いて平面パラメータを検出する平面検出工程と、 前記複数の撮像手段の配設された位置における座標系を
床面での座標系に変換する座標変換工程と、 前記座標変換工程による座標変換結果と、前記平面検出
工程によって検出された平面パラメータとに基づいて床
面を検出する床面検出工程と、 前記床面検出工程の平面パラメータを用いて床面に載っ
ている点を選択し、この点に基づいて障害物を認識する
障害物認識工程とを備える障害物認識方法。 - 【請求項5】 ロボット装置によって実行されることに
よって障害物を認識する障害物認識プログラムにおい
て、 前記ロボット装置に設けた複数の撮像手段から得られた
画像データに基づいて算出された視差画像と、前記ロボ
ット装置に設けた複数のセンサ手段から得られたセンサ
データ出力とに基づいて前記複数の撮像手段が配設され
た位置における前記視差画像に対応する同時変換行列と
を用いて距離画像を生成する距離画像生成工程と、 前記距離画像生成工程により生成された距離画像に基づ
いて平面パラメータを検出する平面検出工程と、 前記複数の撮像手段の配設された位置における座標系を
床面での座標系に変換する座標変換工程と、 前記座標変換工程による座標変換結果と、前記平面検出
工程によって検出された平面パラメータとに基づいて床
面を検出する床面検出工程と、 前記床面検出工程の平面パラメータを用いて床面に載っ
ている点を選択し、この点に基づいて障害物を認識する
障害物認識工程とを備えてなることを特徴とする障害物
認識プログラム。 - 【請求項6】 頭部ユニットと、少なくとも1以上の可
動脚ユニットと、情報処理手段を有する胴体ユニットと
を備えてなり、床面上の障害物を認識しながら前記可動
脚ユニットを用いて床面を移動する移動型ロボット装置
において、 前記頭部ユニットに設けた複数の撮像手段から得られた
画像データに基づいて算出された視差画像と、前記頭部
ユニット、前記可動脚ユニット、前記胴体ユニットに設
けた複数のセンサ手段から得られたセンサデータ出力と
に基づいて前記複数の撮像手段が配設された位置におけ
る前記視差画像に対応する同時変換行列とを用いて距離
画像を生成する距離画像生成手段と、 前記距離画像生成手段により生成された距離画像に基づ
いて平面パラメータを検出する平面検出手段と、 前記複数の撮像手段の配設された位置における座標系を
床面での座標系に変換する座標変換手段と、 前記座標変換手段による座標変換結果と、前記平面検出
手段によって検出された平面パラメータとに基づいて床
面を検出する床面検出手段と、 前記床面検出手段の平面パラメータを用いて床面に載っ
ている点を選択し、この点に基づいて障害物を認識する
障害物認識手段とを前記胴体ユニットに備えてなること
を特徴とする移動型ロボット装置。 - 【請求項7】 前記障害物認識手段は、前記床面検出手
段にて検出された床面の平面パラメータを用いて平面か
らの距離が小さいデータを取り除いた残りを障害物とし
て認識することを特徴とする請求項6記載の移動型ロボ
ット装置。 - 【請求項8】 前記床面検出手段にて検出した床面と、
前記障害物認識手段が認識した障害物とを、高さをゼロ
とした平面座標上に変換して平面上の2次元の位置で床
面か障害物かを識別することを特徴とする請求項6記載
の移動型ロボット装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002073388A JP3945279B2 (ja) | 2002-03-15 | 2002-03-15 | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 |
US10/387,647 US7386163B2 (en) | 2002-03-15 | 2003-03-13 | Obstacle recognition apparatus and method, obstacle recognition program, and mobile robot apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002073388A JP3945279B2 (ja) | 2002-03-15 | 2002-03-15 | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003269937A true JP2003269937A (ja) | 2003-09-25 |
JP3945279B2 JP3945279B2 (ja) | 2007-07-18 |
Family
ID=29203065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002073388A Expired - Fee Related JP3945279B2 (ja) | 2002-03-15 | 2002-03-15 | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7386163B2 (ja) |
JP (1) | JP3945279B2 (ja) |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006016664A1 (ja) * | 2004-08-11 | 2006-02-16 | Honda Motor Co., Ltd. | 平面検出装置及び検出方法 |
WO2006016663A1 (ja) * | 2004-08-11 | 2006-02-16 | Tokyo Institute Of Technology | 物体検出装置 |
WO2006016661A1 (ja) * | 2004-08-11 | 2006-02-16 | Tokyo Institute Of Technology | 移動体周辺監視装置 |
EP1659471A1 (en) | 2004-11-17 | 2006-05-24 | Hitachi, Ltd. | Autonomous mobile equipment with position-of-object and own position detecting system |
JP2006254226A (ja) * | 2005-03-11 | 2006-09-21 | Toshiba Corp | 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2006340391A (ja) * | 2006-07-31 | 2006-12-14 | Toshiba Corp | 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2007196300A (ja) * | 2006-01-24 | 2007-08-09 | Advanced Telecommunication Research Institute International | ロボット制御システム |
JP2008047095A (ja) * | 2006-08-18 | 2008-02-28 | Samsung Electronics Co Ltd | 移動ロボットの領域分離方法および装置 |
JP2009068852A (ja) * | 2007-09-10 | 2009-04-02 | Tokyo Metropolitan Univ | 環境認識システム、自律型移動体および環境認識プログラム |
JP2009515226A (ja) * | 2005-12-09 | 2009-04-09 | 韓國電子通信研究院 | 人工標識と地域座標系を用いた移動ロボットの地図の作成方法及び移動方法 |
JP2009086882A (ja) * | 2007-09-28 | 2009-04-23 | Konica Minolta Holdings Inc | 物体検出装置 |
JP2009168751A (ja) * | 2008-01-18 | 2009-07-30 | Toyota Motor Corp | 障害物検出システム及び障害物検出方法 |
JP2010162077A (ja) * | 2009-01-13 | 2010-07-29 | Design Office See:Kk | ネットワークシュミレーションゲーム |
JP2010287029A (ja) * | 2009-06-11 | 2010-12-24 | Konica Minolta Opto Inc | 周辺表示装置 |
JP2011501134A (ja) * | 2007-10-10 | 2011-01-06 | 本田技研工業株式会社 | 追跡および観測用ロボット |
US7912583B2 (en) | 2004-06-25 | 2011-03-22 | Sony Corporation | Environment map building method, environment map building apparatus and mobile robot apparatus |
JP2011134234A (ja) * | 2009-12-25 | 2011-07-07 | Honda Motor Co Ltd | 移動可能領域抽出装置、移動可能領域抽出システム、移動可能領域抽出方法、およびプログラム |
EP2366503A2 (en) | 2010-03-16 | 2011-09-21 | Sony Corporation | Control apparatus, control method and program |
JP2011201002A (ja) * | 2010-03-26 | 2011-10-13 | Sony Corp | ロボット装置、ロボット装置の遠隔制御方法及びプログラム |
US8073200B2 (en) | 2007-06-06 | 2011-12-06 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
JP2014066634A (ja) * | 2012-09-26 | 2014-04-17 | Oki Electric Ind Co Ltd | 情報処理装置、プログラム及び情報処理方法 |
KR101391554B1 (ko) | 2012-07-19 | 2014-05-02 | 고려대학교 산학협력단 | 평면 추출 방법 및 이를 구비하는 이동 로봇의 지도 형성 방법 및 위치 인식 방법 |
WO2015011558A2 (en) | 2013-07-25 | 2015-01-29 | Toyota Jidosha Kabushiki Kaisha | Placement determining method, placing method, placement determination system, and robot |
JP2016534461A (ja) * | 2013-08-30 | 2016-11-04 | クアルコム,インコーポレイテッド | 物理的光景を表すための方法および装置 |
CN108287543A (zh) * | 2017-01-10 | 2018-07-17 | 德国福维克控股公司 | 用于运行地面处理设备的方法 |
CN108489454A (zh) * | 2018-03-22 | 2018-09-04 | 沈阳上博智像科技有限公司 | 深度距离测量方法、装置、计算机可读存储介质及电子设备 |
CN108665448A (zh) * | 2018-04-27 | 2018-10-16 | 武汉理工大学 | 一种基于双目视觉的障碍物检测方法 |
Families Citing this family (177)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6925357B2 (en) | 2002-07-25 | 2005-08-02 | Intouch Health, Inc. | Medical tele-robotic system |
US20040162637A1 (en) | 2002-07-25 | 2004-08-19 | Yulun Wang | Medical tele-robotic system with a master remote station with an arbitrator |
US7693514B2 (en) * | 2003-08-18 | 2010-04-06 | Honda Motor Co., Ltd. | Information gathering robot |
JP3994950B2 (ja) * | 2003-09-19 | 2007-10-24 | ソニー株式会社 | 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置 |
US7813836B2 (en) | 2003-12-09 | 2010-10-12 | Intouch Technologies, Inc. | Protocol for a remotely controlled videoconferencing robot |
DE102004005380A1 (de) * | 2004-02-03 | 2005-09-01 | Isra Vision Systems Ag | Verfahren zur Bestimmung der Lage eines Objekts im Raum |
US20050204438A1 (en) * | 2004-02-26 | 2005-09-15 | Yulun Wang | Graphical interface for a remote presence system |
WO2005088244A1 (ja) * | 2004-03-17 | 2005-09-22 | Sony Corporation | 平面検出装置、平面検出方法、及び平面検出装置を搭載したロボット装置 |
US20070198178A1 (en) * | 2004-03-31 | 2007-08-23 | Trimby Martin W | Pathfinding system |
KR100763234B1 (ko) * | 2004-06-11 | 2007-10-04 | 삼성전자주식회사 | 주행 상태를 감지하는 시스템 및 방법 |
US8077963B2 (en) * | 2004-07-13 | 2011-12-13 | Yulun Wang | Mobile robot with a head-based movement mapping scheme |
US7343624B1 (en) * | 2004-07-13 | 2008-03-11 | Sonicwall, Inc. | Managing infectious messages as identified by an attachment |
US9154511B1 (en) | 2004-07-13 | 2015-10-06 | Dell Software Inc. | Time zero detection of infectious messages |
US20060052676A1 (en) * | 2004-09-07 | 2006-03-09 | Yulun Wang | Tele-presence system that allows for remote monitoring/observation and review of a patient and their medical records |
JP2006085369A (ja) * | 2004-09-15 | 2006-03-30 | Sony Corp | 移動体装置及びその制御方法 |
US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
US8427472B2 (en) * | 2005-02-08 | 2013-04-23 | Seegrid Corporation | Multidimensional evidence grids and system and methods for applying same |
US7446766B2 (en) * | 2005-02-08 | 2008-11-04 | Seegrid Corporation | Multidimensional evidence grids and system and methods for applying same |
JP4341564B2 (ja) * | 2005-02-25 | 2009-10-07 | 株式会社豊田中央研究所 | 対象物判定装置 |
JP2006239844A (ja) * | 2005-03-04 | 2006-09-14 | Sony Corp | 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置 |
JP4241673B2 (ja) * | 2005-06-17 | 2009-03-18 | 本田技研工業株式会社 | 移動体の経路生成装置 |
US9198728B2 (en) * | 2005-09-30 | 2015-12-01 | Intouch Technologies, Inc. | Multi-camera mobile teleconferencing platform |
KR100727033B1 (ko) * | 2005-12-07 | 2007-06-12 | 한국전자통신연구원 | 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템 |
DE602006009885D1 (de) * | 2005-12-12 | 2009-12-03 | Honda Motor Co Ltd | Steuersystem für einen beweglichen Roboter mit Beinen |
US8577538B2 (en) * | 2006-07-14 | 2013-11-05 | Irobot Corporation | Method and system for controlling a remote vehicle |
US20100171826A1 (en) * | 2006-04-12 | 2010-07-08 | Store Eyes, Inc. | Method for measuring retail display and compliance |
US8108092B2 (en) | 2006-07-14 | 2012-01-31 | Irobot Corporation | Autonomous behaviors for a remote vehicle |
US8849679B2 (en) * | 2006-06-15 | 2014-09-30 | Intouch Technologies, Inc. | Remote controlled robot system that provides medical images |
JP4821548B2 (ja) * | 2006-10-02 | 2011-11-24 | コニカミノルタホールディングス株式会社 | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
US7974460B2 (en) * | 2007-02-06 | 2011-07-05 | Honeywell International Inc. | Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles |
JP4645601B2 (ja) * | 2007-02-13 | 2011-03-09 | トヨタ自動車株式会社 | 環境地図の生成方法及び移動ロボット |
US8265793B2 (en) | 2007-03-20 | 2012-09-11 | Irobot Corporation | Mobile robot for telecommunication |
US9160783B2 (en) | 2007-05-09 | 2015-10-13 | Intouch Technologies, Inc. | Robot system that operates through a network firewall |
US20090018712A1 (en) * | 2007-07-13 | 2009-01-15 | Jerry Richard Duncan | Method and system for remotely monitoring and controlling a vehicle via a virtual environment |
US8036452B2 (en) | 2007-08-10 | 2011-10-11 | Leica Geosystems Ag | Method and measurement system for contactless coordinate measurement on an object surface |
US9020240B2 (en) | 2007-08-10 | 2015-04-28 | Leica Geosystems Ag | Method and surveying system for noncontact coordinate measurement on an object surface |
US8116519B2 (en) * | 2007-09-26 | 2012-02-14 | Honda Motor Co., Ltd. | 3D beverage container localizer |
KR101408657B1 (ko) * | 2007-12-18 | 2014-06-17 | 삼성전자주식회사 | 원격 제어 로봇 시스템의 사용자 인터페이스 장치 및 방법 |
US10875182B2 (en) * | 2008-03-20 | 2020-12-29 | Teladoc Health, Inc. | Remote presence system mounted to operating room hardware |
US8179418B2 (en) | 2008-04-14 | 2012-05-15 | Intouch Technologies, Inc. | Robotic based health care system |
US8170241B2 (en) | 2008-04-17 | 2012-05-01 | Intouch Technologies, Inc. | Mobile tele-presence system with a microphone system |
CN101581936B (zh) * | 2008-05-16 | 2012-01-25 | 深圳富泰宏精密工业有限公司 | 利用手机控制两足式机器人的系统及方法 |
US8265425B2 (en) * | 2008-05-20 | 2012-09-11 | Honda Motor Co., Ltd. | Rectangular table detection using hybrid RGB and depth camera sensors |
KR101457148B1 (ko) * | 2008-05-21 | 2014-10-31 | 삼성전자 주식회사 | 로봇의 위치 추정 장치 및 그 방법 |
US9193065B2 (en) | 2008-07-10 | 2015-11-24 | Intouch Technologies, Inc. | Docking system for a tele-presence robot |
US9842192B2 (en) * | 2008-07-11 | 2017-12-12 | Intouch Technologies, Inc. | Tele-presence robot system with multi-cast features |
US8923602B2 (en) * | 2008-07-22 | 2014-12-30 | Comau, Inc. | Automated guidance and recognition system and method of the same |
US20100021013A1 (en) * | 2008-07-25 | 2010-01-28 | Gale William N | Open area maps with guidance |
US8339417B2 (en) * | 2008-07-25 | 2012-12-25 | Navteq B.V. | Open area maps based on vector graphics format images |
US8417446B2 (en) * | 2008-07-25 | 2013-04-09 | Navteq B.V. | Link-node maps based on open area maps |
US8374780B2 (en) * | 2008-07-25 | 2013-02-12 | Navteq B.V. | Open area maps with restriction content |
US8099237B2 (en) | 2008-07-25 | 2012-01-17 | Navteq North America, Llc | Open area maps |
US8229176B2 (en) | 2008-07-25 | 2012-07-24 | Navteq B.V. | End user image open area maps |
US8825387B2 (en) * | 2008-07-25 | 2014-09-02 | Navteq B.V. | Positioning open area maps |
US20100023251A1 (en) * | 2008-07-25 | 2010-01-28 | Gale William N | Cost based open area maps |
US8705792B2 (en) * | 2008-08-06 | 2014-04-22 | Toyota Motor Engineering & Manufacturing North America, Inc. | Object tracking using linear features |
JP5141507B2 (ja) | 2008-08-25 | 2013-02-13 | 村田機械株式会社 | 自律移動装置 |
US8340819B2 (en) | 2008-09-18 | 2012-12-25 | Intouch Technologies, Inc. | Mobile videoconferencing robot system with network adaptive driving |
US8996165B2 (en) | 2008-10-21 | 2015-03-31 | Intouch Technologies, Inc. | Telepresence robot with a camera boom |
US9672736B2 (en) * | 2008-10-22 | 2017-06-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Site map interface for vehicular application |
US9138891B2 (en) * | 2008-11-25 | 2015-09-22 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
US8463435B2 (en) | 2008-11-25 | 2013-06-11 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
US8849680B2 (en) | 2009-01-29 | 2014-09-30 | Intouch Technologies, Inc. | Documentation through a remote presence robot |
TWI404918B (zh) * | 2009-03-26 | 2013-08-11 | Univ Yuan Ze | 行動載具適應型障礙物閃避之路徑規劃方法 |
US8897920B2 (en) | 2009-04-17 | 2014-11-25 | Intouch Technologies, Inc. | Tele-presence robot system with software modularity, projector and laser pointer |
US8384755B2 (en) | 2009-08-26 | 2013-02-26 | Intouch Technologies, Inc. | Portable remote presence robot |
US11399153B2 (en) * | 2009-08-26 | 2022-07-26 | Teladoc Health, Inc. | Portable telepresence apparatus |
US20110169923A1 (en) * | 2009-10-08 | 2011-07-14 | Georgia Tech Research Corporatiotion | Flow Separation for Stereo Visual Odometry |
JP2011128899A (ja) * | 2009-12-17 | 2011-06-30 | Murata Machinery Ltd | 自律移動装置 |
US11154981B2 (en) * | 2010-02-04 | 2021-10-26 | Teladoc Health, Inc. | Robot user interface for telepresence robot system |
US20110187875A1 (en) * | 2010-02-04 | 2011-08-04 | Intouch Technologies, Inc. | Robot face used in a sterile environment |
US8670017B2 (en) | 2010-03-04 | 2014-03-11 | Intouch Technologies, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
US8918213B2 (en) | 2010-05-20 | 2014-12-23 | Irobot Corporation | Mobile human interface robot |
US9014848B2 (en) | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
US8935005B2 (en) | 2010-05-20 | 2015-01-13 | Irobot Corporation | Operating a mobile robot |
US10343283B2 (en) | 2010-05-24 | 2019-07-09 | Intouch Technologies, Inc. | Telepresence robot system that can be accessed by a cellular phone |
US9149929B2 (en) * | 2010-05-26 | 2015-10-06 | The Boeing Company | Methods and systems for inspection sensor placement |
US10808882B2 (en) | 2010-05-26 | 2020-10-20 | Intouch Technologies, Inc. | Tele-robotic system with a robot face placed on a chair |
US8824762B2 (en) * | 2010-10-22 | 2014-09-02 | The Johns Hopkins University | Method and system for processing ultrasound data |
US9264664B2 (en) | 2010-12-03 | 2016-02-16 | Intouch Technologies, Inc. | Systems and methods for dynamic bandwidth allocation |
KR20120070291A (ko) * | 2010-12-21 | 2012-06-29 | 삼성전자주식회사 | 보행 로봇 및 그의 동시 위치 인식 및 지도 작성 방법 |
US8930019B2 (en) | 2010-12-30 | 2015-01-06 | Irobot Corporation | Mobile human interface robot |
US10281915B2 (en) | 2011-01-05 | 2019-05-07 | Sphero, Inc. | Multi-purposed self-propelled device |
US9429940B2 (en) | 2011-01-05 | 2016-08-30 | Sphero, Inc. | Self propelled device with magnetic coupling |
US9218316B2 (en) * | 2011-01-05 | 2015-12-22 | Sphero, Inc. | Remotely controlling a self-propelled device in a virtualized environment |
US9150263B2 (en) | 2011-01-05 | 2015-10-06 | Sphero, Inc. | Self-propelled device implementing three-dimensional control |
US12093036B2 (en) | 2011-01-21 | 2024-09-17 | Teladoc Health, Inc. | Telerobotic system with a dual application screen presentation |
EP2668008A4 (en) | 2011-01-28 | 2018-01-24 | Intouch Technologies, Inc. | Interfacing with a mobile telepresence robot |
US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
US8805579B2 (en) | 2011-02-19 | 2014-08-12 | Richard Arthur Skrinde | Submersible robotically operable vehicle system for infrastructure maintenance and inspection |
US9146559B2 (en) * | 2011-03-18 | 2015-09-29 | The Raymond Corporation | System and method for gathering video data related to operation of an autonomous industrial vehicle |
KR102041093B1 (ko) | 2011-04-11 | 2019-11-06 | 크라운 이큅먼트 코포레이션 | 조정된 경로 계획기를 사용하는 다수의 자동화 비-홀로노믹 차량들을 효율적으로 스케줄링하는 방법 및 장치 |
US10769739B2 (en) | 2011-04-25 | 2020-09-08 | Intouch Technologies, Inc. | Systems and methods for management of information among medical providers and facilities |
JP2012236244A (ja) * | 2011-05-10 | 2012-12-06 | Sony Corp | ロボット装置、ロボット装置の制御方法、並びにロボット装置制御用プログラム |
US20140139616A1 (en) | 2012-01-27 | 2014-05-22 | Intouch Technologies, Inc. | Enhanced Diagnostics for a Telepresence Robot |
US9098611B2 (en) | 2012-11-26 | 2015-08-04 | Intouch Technologies, Inc. | Enhanced video interaction for a user interface of a telepresence network |
US8655588B2 (en) | 2011-05-26 | 2014-02-18 | Crown Equipment Limited | Method and apparatus for providing accurate localization for an industrial vehicle |
US8548671B2 (en) | 2011-06-06 | 2013-10-01 | Crown Equipment Limited | Method and apparatus for automatically calibrating vehicle parameters |
WO2012169174A1 (ja) * | 2011-06-08 | 2012-12-13 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
US8799201B2 (en) | 2011-07-25 | 2014-08-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for tracking objects |
FR2979428B1 (fr) * | 2011-08-24 | 2013-10-04 | Commissariat Energie Atomique | Methode de localisation d'un objet au moyen d'une grille de reference |
US20140058634A1 (en) | 2012-08-24 | 2014-02-27 | Crown Equipment Limited | Method and apparatus for using unique landmarks to locate industrial vehicles at start-up |
JP5930892B2 (ja) * | 2011-09-07 | 2016-06-08 | 本田技研工業株式会社 | 接触状態推定装置及び軌道生成装置 |
US9056754B2 (en) | 2011-09-07 | 2015-06-16 | Crown Equipment Limited | Method and apparatus for using pre-positioned objects to localize an industrial vehicle |
JP2013058059A (ja) * | 2011-09-08 | 2013-03-28 | Sony Corp | 情報処理装置、情報処理方法、及び、プログラム |
US8836751B2 (en) | 2011-11-08 | 2014-09-16 | Intouch Technologies, Inc. | Tele-presence system with a user interface that displays different communication links |
GB201209382D0 (en) * | 2012-05-25 | 2012-07-11 | Poikos Ltd | Body measurement |
JP5959899B2 (ja) * | 2012-03-30 | 2016-08-02 | 本田技研工業株式会社 | 接触状態推定装置 |
US8902278B2 (en) | 2012-04-11 | 2014-12-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
US9251313B2 (en) | 2012-04-11 | 2016-02-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
EP2850512A4 (en) | 2012-05-14 | 2016-11-16 | Sphero Inc | OPERATION OF A CALCULATION DEVICE BY DETECTING ROUNDED OBJECTS IN A PICTURE |
US9361021B2 (en) | 2012-05-22 | 2016-06-07 | Irobot Corporation | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
WO2013176758A1 (en) | 2012-05-22 | 2013-11-28 | Intouch Technologies, Inc. | Clinical workflows utilizing autonomous and semi-autonomous telemedicine devices |
KR101441187B1 (ko) * | 2012-07-19 | 2014-09-18 | 고려대학교 산학협력단 | 자율 보행 로봇 경로 계획 방법 |
US9829882B2 (en) | 2013-12-20 | 2017-11-28 | Sphero, Inc. | Self-propelled device with center of mass drive system |
CN103808277B (zh) * | 2013-12-23 | 2016-07-06 | 天津大学 | 一种多传感器点云拼接误差的修正方法 |
US10427254B2 (en) * | 2014-04-30 | 2019-10-01 | The Boeing Company | Flexible manufacturing for aircraft structures |
US9659204B2 (en) | 2014-06-13 | 2017-05-23 | Conduent Business Services, Llc | Image processing methods and systems for barcode and/or product label recognition |
US10176452B2 (en) | 2014-06-13 | 2019-01-08 | Conduent Business Services Llc | Store shelf imaging system and method |
US10453046B2 (en) | 2014-06-13 | 2019-10-22 | Conduent Business Services, Llc | Store shelf imaging system |
US9542746B2 (en) | 2014-06-13 | 2017-01-10 | Xerox Corporation | Method and system for spatial characterization of an imaging system |
PL3012695T3 (pl) | 2014-10-23 | 2018-03-30 | Comau S.P.A. | Układ do monitorowania i sterowania zakładem przemysłowym |
KR102404258B1 (ko) * | 2015-02-06 | 2022-06-02 | 삼성전자주식회사 | 로봇충전복귀장치 및 그 복귀방법 |
US9690374B2 (en) | 2015-04-27 | 2017-06-27 | Google Inc. | Virtual/augmented reality transition system and method |
KR101734654B1 (ko) * | 2015-06-25 | 2017-05-11 | 현대자동차주식회사 | 레이저 스캐너를 이용한 센서 중심 좌표계의 점유 격자 지도를 작성하는 시스템 및 방법 |
US10265863B2 (en) * | 2015-09-09 | 2019-04-23 | Carbon Robotics, Inc. | Reconfigurable robotic system and methods |
JP6705636B2 (ja) * | 2015-10-14 | 2020-06-03 | 東芝ライフスタイル株式会社 | 電気掃除機 |
US10788836B2 (en) | 2016-02-29 | 2020-09-29 | AI Incorporated | Obstacle recognition method for autonomous robots |
US10452071B1 (en) | 2016-02-29 | 2019-10-22 | AI Incorporated | Obstacle recognition method for autonomous robots |
US11927965B2 (en) | 2016-02-29 | 2024-03-12 | AI Incorporated | Obstacle recognition method for autonomous robots |
US11449061B2 (en) | 2016-02-29 | 2022-09-20 | AI Incorporated | Obstacle recognition method for autonomous robots |
US11037320B1 (en) | 2016-03-01 | 2021-06-15 | AI Incorporated | Method for estimating distance using point measurement and color depth |
US10311590B1 (en) * | 2016-03-01 | 2019-06-04 | Al Incorporated | Method for estimating distance using point measurement and color depth |
US9928438B2 (en) | 2016-03-10 | 2018-03-27 | Conduent Business Services, Llc | High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database |
JP6431495B2 (ja) * | 2016-03-25 | 2018-11-28 | 本田技研工業株式会社 | 教師データ生成方法 |
US10196104B1 (en) | 2016-05-04 | 2019-02-05 | Schaft Inc. | Terrain Evaluation for robot locomotion |
US11204610B2 (en) * | 2016-05-30 | 2021-12-21 | Kabushiki Kaisha Toshiba | Information processing apparatus, vehicle, and information processing method using correlation between attributes |
EP3252658B1 (en) * | 2016-05-30 | 2021-08-11 | Kabushiki Kaisha Toshiba | Information processing apparatus and information processing method |
WO2017206170A1 (zh) * | 2016-06-03 | 2017-12-07 | 尚艳燕 | 一种电动平衡车的控制方法和控制装置 |
CN105966538B (zh) * | 2016-06-03 | 2018-12-07 | 尚艳燕 | 一种电动平衡车的控制方法和控制装置 |
WO2017210904A1 (zh) * | 2016-06-08 | 2017-12-14 | 尚艳燕 | 一种电动平衡车的导航方法、导航装置及电动平衡车 |
KR102442594B1 (ko) * | 2016-06-23 | 2022-09-13 | 한국전자통신연구원 | 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법 |
US10289990B2 (en) | 2016-10-17 | 2019-05-14 | Conduent Business Services, Llc | Store shelf imaging system and method |
US10210603B2 (en) | 2016-10-17 | 2019-02-19 | Conduent Business Services Llc | Store shelf imaging system and method |
US10019803B2 (en) | 2016-10-17 | 2018-07-10 | Conduent Business Services, Llc | Store shelf imaging system and method using a vertical LIDAR |
US10002344B2 (en) | 2016-10-17 | 2018-06-19 | Conduent Business Services, Llc | System and method for retail store promotional price tag detection |
GB2557179B (en) * | 2016-11-29 | 2020-01-01 | Rolls Royce Plc | Methods, apparatus, computer programs and non-transitory computer readable storage mediums for controlling a hyper redundant manipulator |
CN106482739B (zh) * | 2016-11-30 | 2020-07-17 | 英华达(上海)科技有限公司 | 自动导引运输车导航方法 |
JP6457469B2 (ja) * | 2016-12-08 | 2019-01-23 | ファナック株式会社 | 移動ロボットの干渉領域設定装置 |
JP6649306B2 (ja) * | 2017-03-03 | 2020-02-19 | 株式会社東芝 | 情報処理装置、情報処理方法及びプログラム |
CN106940208A (zh) * | 2017-03-31 | 2017-07-11 | 东华大学 | 机器人目标标定和自身状态监控功能的系统 |
US10839017B2 (en) | 2017-04-06 | 2020-11-17 | AIBrain Corporation | Adaptive, interactive, and cognitive reasoner of an autonomous robotic system utilizing an advanced memory graph structure |
US11151992B2 (en) | 2017-04-06 | 2021-10-19 | AIBrain Corporation | Context aware interactive robot |
US10963493B1 (en) * | 2017-04-06 | 2021-03-30 | AIBrain Corporation | Interactive game with robot system |
US10929759B2 (en) | 2017-04-06 | 2021-02-23 | AIBrain Corporation | Intelligent robot software platform |
US10810371B2 (en) | 2017-04-06 | 2020-10-20 | AIBrain Corporation | Adaptive, interactive, and cognitive reasoner of an autonomous robotic system |
US11862302B2 (en) | 2017-04-24 | 2024-01-02 | Teladoc Health, Inc. | Automated transcription and documentation of tele-health encounters |
US10483007B2 (en) | 2017-07-25 | 2019-11-19 | Intouch Technologies, Inc. | Modular telehealth cart with thermal imaging and touch screen user interface |
US11636944B2 (en) | 2017-08-25 | 2023-04-25 | Teladoc Health, Inc. | Connectivity infrastructure for a telehealth platform |
TWI658431B (zh) * | 2017-10-02 | 2019-05-01 | 緯創資通股份有限公司 | 影像處理方法、影像處理裝置及電腦可讀取記錄媒體 |
WO2019126332A1 (en) * | 2017-12-19 | 2019-06-27 | Carnegie Mellon University | Intelligent cleaning robot |
JP6699677B2 (ja) * | 2018-02-06 | 2020-05-27 | ヤマハ株式会社 | 情報処理方法、情報処理装置およびプログラム |
WO2019167203A1 (ja) * | 2018-02-28 | 2019-09-06 | 本田技研工業株式会社 | 制御装置、作業機械及びプログラム |
US10617299B2 (en) | 2018-04-27 | 2020-04-14 | Intouch Technologies, Inc. | Telehealth cart that supports a removable tablet with seamless audio/video switching |
IT201800005091A1 (it) | 2018-05-04 | 2019-11-04 | "Procedimento per monitorare lo stato di funzionamento di una stazione di lavorazione, relativo sistema di monitoraggio e prodotto informatico" | |
KR102228866B1 (ko) * | 2018-10-18 | 2021-03-17 | 엘지전자 주식회사 | 로봇 및 그의 제어 방법 |
DE102019200753A1 (de) * | 2019-01-22 | 2020-07-23 | Conti Temic Microelectronic Gmbh | Verfahren zur Überwachung einer Position eines Stützrades eines Anhängers und ein Kamerasystem zur Überwachung einer Position eines Stützrades eines Anhängers sowie ein Kraftfahrzeug mit einem Kamerasystem |
EP3924868A4 (en) | 2019-02-11 | 2022-11-30 | 643AI Ltd. | SYSTEMS AND PROCEDURES FOR MANAGEMENT OF MULTIPLE AUTONOMOUS VEHICLES |
US10809734B2 (en) | 2019-03-13 | 2020-10-20 | Mobile Industrial Robots A/S | Route planning in an autonomous device |
EP3734388B1 (en) * | 2019-04-29 | 2023-03-15 | Commissariat à l'Energie Atomique et aux Energies Alternatives | Method and apparatus for performing simultaneous localization and mapping |
US11958183B2 (en) | 2019-09-19 | 2024-04-16 | The Research Foundation For The State University Of New York | Negotiation-based human-robot collaboration via augmented reality |
JP2021060669A (ja) * | 2019-10-03 | 2021-04-15 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理システム及びプログラム |
CN110989630B (zh) * | 2019-12-30 | 2022-09-30 | 科沃斯机器人股份有限公司 | 自移动机器人控制方法、装置、自移动机器人和存储介质 |
US11592299B2 (en) | 2020-03-19 | 2023-02-28 | Mobile Industrial Robots A/S | Using static scores to control vehicle operations |
CN111666876B (zh) * | 2020-06-05 | 2023-06-09 | 阿波罗智联(北京)科技有限公司 | 用于检测障碍物的方法、装置、电子设备和路侧设备 |
CN114185356B (zh) * | 2022-02-16 | 2022-05-31 | 莱陆科技(天津)有限公司 | 智能识别障碍物并控制机器人通过障碍物的方法及装置 |
CN115256379A (zh) * | 2022-07-14 | 2022-11-01 | 北京航空航天大学杭州创新研究院 | 一种工业机器人及其工业机器人避障系统 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4412121A (en) * | 1981-08-28 | 1983-10-25 | S R I International | Implement positioning apparatus and process |
US4647965A (en) * | 1983-11-02 | 1987-03-03 | Imsand Donald J | Picture processing system for three dimensional movies and video systems |
US4965499A (en) * | 1987-12-31 | 1990-10-23 | Westinghouse Electric Corp | Parametric path modeling for an optical automatic seam tracker and real time robotic control system |
US5200818A (en) * | 1991-03-22 | 1993-04-06 | Inbal Neta | Video imaging system with interactive windowing capability |
US5633995A (en) * | 1991-06-19 | 1997-05-27 | Martin Marietta Corporation | Camera system and methods for extracting 3D model of viewed object |
JPH06139498A (ja) * | 1992-10-30 | 1994-05-20 | Mitsubishi Electric Corp | 障害物回避装置 |
KR940017747A (ko) * | 1992-12-29 | 1994-07-27 | 에프. 제이. 스미트 | 영상 처리 디바이스 |
US5592215A (en) * | 1993-02-03 | 1997-01-07 | Rohm Co., Ltd. | Stereoscopic picture system and stereoscopic display panel therefor |
JP3369368B2 (ja) * | 1995-10-11 | 2003-01-20 | 富士通株式会社 | 画像処理装置 |
WO1997015150A1 (fr) * | 1995-10-19 | 1997-04-24 | Sony Corporation | Procede et dispositif de formation d'images en trois dimensions |
JPH1096607A (ja) | 1996-09-25 | 1998-04-14 | Matsushita Electric Ind Co Ltd | 物体検出装置および平面推定方法 |
US6788802B2 (en) * | 1998-05-21 | 2004-09-07 | Sanyo Electric Co., Ltd. | Optical flow estimation method and image synthesis method |
CA2278108C (en) * | 1999-07-20 | 2008-01-29 | The University Of Western Ontario | Three-dimensional measurement method and apparatus |
US6377013B2 (en) * | 1999-12-24 | 2002-04-23 | Honda Giken Kogyo Kabushiki Kaisha | Control apparatus for legged mobile robot |
JP2001191283A (ja) * | 1999-12-31 | 2001-07-17 | Sony Corp | ロボット装置及びその制御方法 |
US6400313B1 (en) * | 2000-01-12 | 2002-06-04 | Honeywell International Inc. | Projection of multi-sensor ray based data histories onto planar grids |
JP4409035B2 (ja) * | 2000-03-22 | 2010-02-03 | 本田技研工業株式会社 | 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体 |
US6788809B1 (en) * | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
JP2002065721A (ja) | 2000-08-29 | 2002-03-05 | Komatsu Ltd | 視覚障害者用環境認識支援装置及びその方法 |
US6945341B2 (en) * | 2000-09-29 | 2005-09-20 | Honda Giken Kogyo Kabushiki Kaisha | Bipedal robot |
US6919909B1 (en) * | 2000-10-24 | 2005-07-19 | Sandia Corporation | Fractional screen video enhancement apparatus |
JP3994950B2 (ja) * | 2003-09-19 | 2007-10-24 | ソニー株式会社 | 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置 |
-
2002
- 2002-03-15 JP JP2002073388A patent/JP3945279B2/ja not_active Expired - Fee Related
-
2003
- 2003-03-13 US US10/387,647 patent/US7386163B2/en not_active Expired - Fee Related
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7912583B2 (en) | 2004-06-25 | 2011-03-22 | Sony Corporation | Environment map building method, environment map building apparatus and mobile robot apparatus |
WO2006016663A1 (ja) * | 2004-08-11 | 2006-02-16 | Tokyo Institute Of Technology | 物体検出装置 |
WO2006016661A1 (ja) * | 2004-08-11 | 2006-02-16 | Tokyo Institute Of Technology | 移動体周辺監視装置 |
US8154594B2 (en) | 2004-08-11 | 2012-04-10 | Tokyo Institute Of Technology | Mobile peripheral monitor |
US8180100B2 (en) | 2004-08-11 | 2012-05-15 | Honda Motor Co., Ltd. | Plane detector and detecting method |
WO2006016664A1 (ja) * | 2004-08-11 | 2006-02-16 | Honda Motor Co., Ltd. | 平面検出装置及び検出方法 |
US8331653B2 (en) | 2004-08-11 | 2012-12-11 | Tokyo Institute Of Technology | Object detector |
US7660665B2 (en) | 2004-11-17 | 2010-02-09 | Hitachi, Ltd. | Autonomous mobile equipment and position-of-object and own position detecting system |
EP1659471A1 (en) | 2004-11-17 | 2006-05-24 | Hitachi, Ltd. | Autonomous mobile equipment with position-of-object and own position detecting system |
JP2006254226A (ja) * | 2005-03-11 | 2006-09-21 | Toshiba Corp | 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2009515226A (ja) * | 2005-12-09 | 2009-04-09 | 韓國電子通信研究院 | 人工標識と地域座標系を用いた移動ロボットの地図の作成方法及び移動方法 |
JP2007196300A (ja) * | 2006-01-24 | 2007-08-09 | Advanced Telecommunication Research Institute International | ロボット制御システム |
JP2006340391A (ja) * | 2006-07-31 | 2006-12-14 | Toshiba Corp | 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US7933686B2 (en) | 2006-08-18 | 2011-04-26 | Samsung Electronics Co., Ltd. | Method of dividing coverage area for robot and device thereof |
JP4680955B2 (ja) * | 2006-08-18 | 2011-05-11 | 三星電子株式会社 | 移動ロボットの領域分離方法および装置 |
JP2008047095A (ja) * | 2006-08-18 | 2008-02-28 | Samsung Electronics Co Ltd | 移動ロボットの領域分離方法および装置 |
US8818039B2 (en) | 2007-06-06 | 2014-08-26 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
US9183444B2 (en) | 2007-06-06 | 2015-11-10 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
US8325985B2 (en) | 2007-06-06 | 2012-12-04 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
US8073200B2 (en) | 2007-06-06 | 2011-12-06 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
JP2009068852A (ja) * | 2007-09-10 | 2009-04-02 | Tokyo Metropolitan Univ | 環境認識システム、自律型移動体および環境認識プログラム |
JP2009086882A (ja) * | 2007-09-28 | 2009-04-23 | Konica Minolta Holdings Inc | 物体検出装置 |
JP2011501134A (ja) * | 2007-10-10 | 2011-01-06 | 本田技研工業株式会社 | 追跡および観測用ロボット |
JP2009168751A (ja) * | 2008-01-18 | 2009-07-30 | Toyota Motor Corp | 障害物検出システム及び障害物検出方法 |
JP2010162077A (ja) * | 2009-01-13 | 2010-07-29 | Design Office See:Kk | ネットワークシュミレーションゲーム |
JP2010287029A (ja) * | 2009-06-11 | 2010-12-24 | Konica Minolta Opto Inc | 周辺表示装置 |
JP2011134234A (ja) * | 2009-12-25 | 2011-07-07 | Honda Motor Co Ltd | 移動可能領域抽出装置、移動可能領域抽出システム、移動可能領域抽出方法、およびプログラム |
EP2366503A2 (en) | 2010-03-16 | 2011-09-21 | Sony Corporation | Control apparatus, control method and program |
KR20110104431A (ko) | 2010-03-16 | 2011-09-22 | 소니 주식회사 | 제어 장치, 제어 방법 및 프로그램 |
US10105843B2 (en) | 2010-03-26 | 2018-10-23 | Sony Corporation | Robot device, remote control method of robot device, and program |
JP2011201002A (ja) * | 2010-03-26 | 2011-10-13 | Sony Corp | ロボット装置、ロボット装置の遠隔制御方法及びプログラム |
KR101391554B1 (ko) | 2012-07-19 | 2014-05-02 | 고려대학교 산학협력단 | 평면 추출 방법 및 이를 구비하는 이동 로봇의 지도 형성 방법 및 위치 인식 방법 |
JP2014066634A (ja) * | 2012-09-26 | 2014-04-17 | Oki Electric Ind Co Ltd | 情報処理装置、プログラム及び情報処理方法 |
WO2015011558A2 (en) | 2013-07-25 | 2015-01-29 | Toyota Jidosha Kabushiki Kaisha | Placement determining method, placing method, placement determination system, and robot |
JP2016534461A (ja) * | 2013-08-30 | 2016-11-04 | クアルコム,インコーポレイテッド | 物理的光景を表すための方法および装置 |
CN108287543A (zh) * | 2017-01-10 | 2018-07-17 | 德国福维克控股公司 | 用于运行地面处理设备的方法 |
CN108287543B (zh) * | 2017-01-10 | 2022-08-02 | 德国福维克控股公司 | 用于运行地面处理设备的方法 |
CN108489454A (zh) * | 2018-03-22 | 2018-09-04 | 沈阳上博智像科技有限公司 | 深度距离测量方法、装置、计算机可读存储介质及电子设备 |
CN108665448A (zh) * | 2018-04-27 | 2018-10-16 | 武汉理工大学 | 一种基于双目视觉的障碍物检测方法 |
CN108665448B (zh) * | 2018-04-27 | 2022-05-13 | 武汉理工大学 | 一种基于双目视觉的障碍物检测方法 |
Also Published As
Publication number | Publication date |
---|---|
US20040013295A1 (en) | 2004-01-22 |
JP3945279B2 (ja) | 2007-07-18 |
US7386163B2 (en) | 2008-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3945279B2 (ja) | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 | |
JP2003266345A (ja) | 経路計画装置、経路計画方法及び経路計画プログラム並びに移動型ロボット装置 | |
JP3994950B2 (ja) | 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置 | |
US20040230340A1 (en) | Behavior controlling apparatus, behavior control method, behavior control program and mobile robot apparatus | |
Chen | Kalman filter for robot vision: a survey | |
JP4016180B2 (ja) | 平面抽出方法、その装置、そのプログラム、その記録媒体及び撮像装置 | |
JP3855812B2 (ja) | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 | |
US20230154015A1 (en) | Virtual teach and repeat mobile manipulation system | |
US20060064202A1 (en) | Environment identification device, environment identification method, and robot device | |
JP2003266349A (ja) | 位置認識方法、その装置、そのプログラム、その記録媒体及び位置認識装置搭載型ロボット装置 | |
US20060241827A1 (en) | Obstacle avoiding apparatus, obstacle avoiding method, obstacle avoiding program and mobile robot apparatus | |
JP4535096B2 (ja) | 平面抽出方法、その装置、そのプログラム、その記録媒体及び撮像装置 | |
US20130116823A1 (en) | Mobile apparatus and walking robot | |
JP2011209203A (ja) | 自己位置推定装置および自己位置推定方法 | |
US11915523B2 (en) | Engagement detection and attention estimation for human-robot interaction | |
Hueser et al. | Learning of demonstrated grasping skills by stereoscopic tracking of human head configuration | |
Kim et al. | Providing services using network-based humanoids in a home environment | |
Lee et al. | Fast perception, planning, and execution for a robotic butler: Wheeled humanoid m-hubo | |
Kemp et al. | Humanoids | |
WO2004085121A1 (ja) | ロボット装置及びロボット装置の制御方法 | |
JP4449410B2 (ja) | ロボット装置及びその物体学習方法 | |
JP2009178782A (ja) | 移動体、環境地図生成装置、及び環境地図生成方法 | |
Yam-Viramontes et al. | Implementation of a natural user interface to command a drone | |
JP2003271958A (ja) | 画像処理方法、その装置、そのプログラム、その記録媒体及び画像処理装置搭載型ロボット装置 | |
Elara et al. | On the redefinition of fan out metric for human robot interactions with humanoid soccer robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040428 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070320 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070402 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100420 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |