JP2006231447A - 指示位置または特定物の確認方法及び座標獲得方法並びに装置 - Google Patents
指示位置または特定物の確認方法及び座標獲得方法並びに装置 Download PDFInfo
- Publication number
- JP2006231447A JP2006231447A JP2005048068A JP2005048068A JP2006231447A JP 2006231447 A JP2006231447 A JP 2006231447A JP 2005048068 A JP2005048068 A JP 2005048068A JP 2005048068 A JP2005048068 A JP 2005048068A JP 2006231447 A JP2006231447 A JP 2006231447A
- Authority
- JP
- Japan
- Prior art keywords
- specific object
- specific
- indicated
- coordinates
- pointing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】 簡単、安価な構成で、人間が指し示した位置やものを認識し、その位置やものの絶対座標、または自分との相対座標を認識すること、また、人間が必要とする特定物を認識して過去の所在を記憶装置から読み出し、その特定物の位置を指し示すため、特定物の絶対座標または自分との相対座標を認識することができるようにした指示位置または特定物の確認方法及び座標獲得方法並びに装置を提供することが課題である。
【解決手段】 人間が指し示し手段を用いて示した指示位置の方向を検知し、該検知した指示位置方向に前記撮像装置を向ける第1のステップと、該第1のステップで指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定し、前記特定位置指し示し手段により指し示す第2のステップと、該特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促し、前記指示位置の座標を特定する第3のステップで指示位置または特定物を確認し、座標を獲得する。
【選択図】 図4
【解決手段】 人間が指し示し手段を用いて示した指示位置の方向を検知し、該検知した指示位置方向に前記撮像装置を向ける第1のステップと、該第1のステップで指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定し、前記特定位置指し示し手段により指し示す第2のステップと、該特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促し、前記指示位置の座標を特定する第3のステップで指示位置または特定物を確認し、座標を獲得する。
【選択図】 図4
Description
本発明は、指示位置または特定物の確認方法及び座標獲得方法並びに装置に関し、特に、自律移動可能に構成されて略人型をなし、人の要求に応えて生活支援を行なうロボットなどに用いて好適な、人からの指示位置または特定物の確認方法及び座標獲得方法並びに装置に関するものである。
多関節アームロボットや搬送ロボット等の産業用ロボットは古くから知られ、工場等で多く用いられている。しかしながらこれら産業用ロボットは、その使用目的が溶接、塗装、運搬等といったように限定されており、アームロボット等のように1箇所に固定されたものや、搬送ロボットのように決められたルートを決められた順序で移動するものがほとんどであった。
ところが近年、自律移動型のロボットが発表されている。この自律移動型ロボットは、所定の空間内を自由に移動することができるよう構成され、人間の住環境下で人間と共存し、産業活動や生産活動等における単純作業や危険作業、難作業等の作業の手助けや代行を行うことを目的としている。前記作業としては、例えば原子力プラント、火力発電プラント等におけるメンテナンス作業、高層ビルにおける清掃作業、火災現場等の災害現場での救助活動等を挙げることができる。
また、自律移動型ロボットの活用範囲として例えば1人暮らしの高齢者の家等に設置し、部屋の掃除や住人の体調管理、あるいは住人が家を留守にしたときの屋内安全確認等、人間の生活に密着して生活支援型としたロボットも発表されている。こういった生活支援型ロボットは、一般家庭にも適用可能なロボットとして位置付けられる。
このような生活支援型の自律移動型ロボットは、人への親しみやすさなどから頭、胸、胴、腕などを有した略人型として、頭部を前後左右に傾けたり振り返り動作を可能とすると共に顔の表情を変化させたり特許文献1に示されているように簡単な会話を可能とし、かつ、腕に複数の関節を設けて或る程度人が行うと同様な動作をさせることが望まれている。
しかしながら、例えば部屋の掃除や住人の体調管理、あるいは住人が家を留守にしたときの屋内安全確認等、人間の生活に密着した生活支援を行うためには、ロボットに与えられた人間の指示を理解してその指示に対応した動作ができるようにすることが必要となる。そのためにはまず第1に、人間がどのようなことを指示しているかをロボット理解させることが必要となり、場合によっては人間が指示する位置への移動や、さらに、移動した先で何をなすべきかを理解させて実行させることが必要となる。
そして、人間がどのようなことを指示しているかを理解させる方式としては、人が発した音声を認識して意味を理解させる方法があるが、音声認識は、単語レベルではかなり高い認識率を示すようになってはいるが話し言葉として複数の単語を連続的に発した場合、その内容を正しく理解させることは非常に難しい。そのため第1段階として、音声の代わりに指示棒や腕、指などで特定の位置やものを指し示し、それによって特定の位置やものを認識させた上で、人間が欲する動作、例えばその位置へものを運ぶ、スイッチをON/OFFする、ドアを開けるなどの動作毎に予め定めておいた方法でこちらの意志を認識させるということが考えられている。この場合必要なのは、人間が指し示した位置やものを認識することとその位置やものの絶対座標、または自分(ロボット)との相対座標の認識である。
また、人間が必要とする特定物の在処を尋ねる場合など、ロボットがその特定物の所在を過去に認識していた場合、その位置を人間に伝えるなどのことも可能であり、この場合、その特定物を認識して過去の所在を記憶装置から読み出すこと、さらにその特定物の位置を指し示すため、特定物の絶対座標または自分(ロボット)との相対座標を認識してそこへ移動すること、または何らかの方法でその特定物を指し示すといったことが必要となる。
音声の代わりに指示棒や腕、指などで特定の位置やものを指し示す方法は、画像認識技術の発展で比較的高い精度で特定の場所を指し示すことが可能となっており、例えば特許文献2には、電子商取引システムに関するものではあるが、パソコンの表示画面をロボットで指し示して人の注意を喚起するため、図6に示したように、机67上を自由に動き回れるロボット60が持つ指示棒63の先端に、パソコン61の表示装置(CRT)画面62との相対的な位置関係を測定するセンサ64を設けておき、指示棒63の指し示す現在位置65とパソコン61から与えられる目標値66に基づいて、指示棒63を目標値66に追従するように制御してロボット60を、パソコン61から提供されるCRT62の位置を基準とする座標系における、ロボット位置目標値に追従させることを可能とすることが示されている。
また、特許文献3には図7に示したように、人物71及びその周辺環境70を撮像するステレオ撮像装置74を用い、そのステレオ撮像装置74からの画像データから人72の頭部領域及び手部領域73を抽出すると共に3次元位置を算出し、頭部領域に関する3次元位置から手部領域73に関する3次元位置を見た方向をカメラ方向として設定することで、カメラ方向に存在するポインティング対象物を含む透視投影画像を前記周辺環境のステレオ画像データに基づいて生成して外部に出力するようにしたポインティング対象画像出力装置が示されている。
しかしながら特許文献1に示された技術は、ロボットによって表示画面上の特定位置を指し示すことを目的としたものであり、生活支援型ロボットにおける人間が指し示す場所を特定する方法には使えない。しかもこの特許文献1における指示点は、コンピュータが指し示す位置が目標位置であり、従ってロボットが指し示す位置との差は容易に算出できるが、生活支援型ロボットにおける人間が指し示す場所は任意の位置であり、応用することは難しい。
また特許文献2に示された技術は、頭部領域に関する3次元位置から手部領域73に関する3次元位置を見た方向をカメラ方向として設定し、それによってカメラ方向に存在するポインティング対象物を含む透視投影画像を外部に出力するから、人の指し示した方向にあるものが透視投影画像として表示できるが、それだけではロボットの人間が指し示すもの自体をロボットが特定することはできず、また、ステレオ撮像装置が必要であって高価にならざるを得ない。
そのため本発明においては、簡単、安価な構成で、人間が指し示した位置やものを認識し、その位置やものの絶対座標、または自分(例えばロボット)との相対座標を認識すること、また、人間が必要とする特定物を認識して過去の所在を記憶装置から読み出し、その特定物の位置を指し示すため、特定物の絶対座標または自分(ロボット)との相対座標を認識することができるようにした指示位置または特定物の確認方法及び座標獲得方法並びに装置を提供することが課題である。
上記課題を達成するため本発明になる指示位置の確認方法及び座標獲得方法は、
撮像装置と、特定位置を指し示す特定位置指し示し手段とを有し、人間が指し示し手段を用いて示した指示位置を確認して座標を取得する指示位置または特定物の確認方法及び座標獲得方法であって、
前記人間が指し示し手段を用いて示した指示位置の方向を検知し、該検知した指示位置方向に前記撮像装置を向ける第1のステップと、
該第1のステップで指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定し、前記特定位置指し示し手段により指し示す第2のステップと、
該特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促し、前記指示位置の座標を特定する第3のステップとからなり、
前記第1のステップで人間が指し示した方向を検知して第2のステップで特定位置指示手段により指し示し、第3のステップで該特定位置指示手段が指し示した位置が人間の指し示した位置であるか否かを確認することで指示位置または特定物を確認し、座標を獲得することを特徴とする。
撮像装置と、特定位置を指し示す特定位置指し示し手段とを有し、人間が指し示し手段を用いて示した指示位置を確認して座標を取得する指示位置または特定物の確認方法及び座標獲得方法であって、
前記人間が指し示し手段を用いて示した指示位置の方向を検知し、該検知した指示位置方向に前記撮像装置を向ける第1のステップと、
該第1のステップで指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定し、前記特定位置指し示し手段により指し示す第2のステップと、
該特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促し、前記指示位置の座標を特定する第3のステップとからなり、
前記第1のステップで人間が指し示した方向を検知して第2のステップで特定位置指示手段により指し示し、第3のステップで該特定位置指示手段が指し示した位置が人間の指し示した位置であるか否かを確認することで指示位置または特定物を確認し、座標を獲得することを特徴とする。
そして、上記課題を達成するため本発明の方法を実施する装置は、
撮像装置と、特定位置を指し示す特定位置指し示し手段とを有し、人間が指し示し手段を用いて示した指示位置を確認して座標を取得する指示位置または特定物の確認及び座標獲得装置であって、
前記人間が指し示し手段を用いて示した指示位置の方向を検知する指示位置方向検知手段と、
前記撮像装置を該指示位置方向検知手段が検知した指示位置方向に向ける第1のアクチュエータ手段と、
指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定する手段と、
該特定された指示位置を前記特定位置指し示し手段により指し示すよう動作させる第2のアクチュエータ手段と、
前記特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促す確認手段と、
該確認手段が確認した前記指示位置の座標を特定する手段とを備えたことを特徴とする。
撮像装置と、特定位置を指し示す特定位置指し示し手段とを有し、人間が指し示し手段を用いて示した指示位置を確認して座標を取得する指示位置または特定物の確認及び座標獲得装置であって、
前記人間が指し示し手段を用いて示した指示位置の方向を検知する指示位置方向検知手段と、
前記撮像装置を該指示位置方向検知手段が検知した指示位置方向に向ける第1のアクチュエータ手段と、
指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定する手段と、
該特定された指示位置を前記特定位置指し示し手段により指し示すよう動作させる第2のアクチュエータ手段と、
前記特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促す確認手段と、
該確認手段が確認した前記指示位置の座標を特定する手段とを備えたことを特徴とする。
このように、人間が指し示し手段を用いて示した指示位置の方向を認識して撮像装置を向け、撮像装置からの映像で指示位置を特定して特定位置指し示し手段により指し示して指示位置であるか否かを確認することで、確実に人間が望む位置または特定物を認識することができ、しかも誤認識を起こすことがないから人間は安心して指示を与えることができる。従って、簡単、安価な構成で、人間が指し示した位置やものを認識し、その位置やものの絶対座標、または自分(例えばロボット)との相対座標を認識することができるようにした指示位置または特定物の確認方法及び座標獲得方法並びに装置を提供することができる。
また、同様に上記課題を達成するため本発明になる指示位置の確認方法及び座標獲得方法は、
特定物と該特定物の位置情報とを記憶している記憶手段と、特定位置を指し示す特定位置指し示し手段とを有し、人間が問い合わせた前記特定物を確認して座標を取得する指示位置または特定物の確認方法及び座標獲得方法であって、
前記人間が問い合わせた前記特定物を認識し、前記記憶手段を検索して特定物の位置情報を読み出す第1のステップと、
該第1のステップで読み出された特定物の位置情報と現在位置座標とから前記特定位置指し示し手段により前記特定物を指し示し、前記人間が問い合わせた特定物であるか否かの確認を人間に促して前記人間が問い合わせた特定物でない場合は人間に再確認を促す第2のステップと、
該第2のステップで確認した前記特定物の座標を特定する第3のステップとからなり、
前記第1のステップで人間が問い合わせた特定物の位置情報を得、第2のステップで第1のステップで得た位置情報により前記特定物を指し示して確認し、第3のステップで特定物の座標を特定するようにして特定物の確認と座標を獲得することを特徴とする。
特定物と該特定物の位置情報とを記憶している記憶手段と、特定位置を指し示す特定位置指し示し手段とを有し、人間が問い合わせた前記特定物を確認して座標を取得する指示位置または特定物の確認方法及び座標獲得方法であって、
前記人間が問い合わせた前記特定物を認識し、前記記憶手段を検索して特定物の位置情報を読み出す第1のステップと、
該第1のステップで読み出された特定物の位置情報と現在位置座標とから前記特定位置指し示し手段により前記特定物を指し示し、前記人間が問い合わせた特定物であるか否かの確認を人間に促して前記人間が問い合わせた特定物でない場合は人間に再確認を促す第2のステップと、
該第2のステップで確認した前記特定物の座標を特定する第3のステップとからなり、
前記第1のステップで人間が問い合わせた特定物の位置情報を得、第2のステップで第1のステップで得た位置情報により前記特定物を指し示して確認し、第3のステップで特定物の座標を特定するようにして特定物の確認と座標を獲得することを特徴とする。
そして、上記課題を達成するため本発明の方法を実施する装置は、
特定物と該特定物の位置情報とを記憶している記憶手段と、特定位置を指し示す特定位置指し示し手段とを有し、人間が問い合わせた前記特定物を確認して座標を取得する指示位置または特定物の確認及び座標獲得装置であって、
人間が問い合わせた前記特定物を認識する手段と、
該認識した特定物を前記記憶手段から検索して特定物の位置情報を読み出す手段と、
該特定物の位置情報と現在位置座標とから特定物を前記特定位置指し示し手段により指し示すよう動作させるアクチュエータ手段と、
前記特定位置指し示し手段が指し示した前記特定物が、前記人間が問い合わせた特定物であるか否かの確認を人間に促す確認手段と、
前記特定位置指し示し手段が指し示した前記特定物が、前記人間が問い合わせた特定物でない場合は人間に再確認を促す再確認手段と、
前記確認手段または再確認手段により確認した前記特定物の座標を特定する手段とを備えたことを特徴とする。
特定物と該特定物の位置情報とを記憶している記憶手段と、特定位置を指し示す特定位置指し示し手段とを有し、人間が問い合わせた前記特定物を確認して座標を取得する指示位置または特定物の確認及び座標獲得装置であって、
人間が問い合わせた前記特定物を認識する手段と、
該認識した特定物を前記記憶手段から検索して特定物の位置情報を読み出す手段と、
該特定物の位置情報と現在位置座標とから特定物を前記特定位置指し示し手段により指し示すよう動作させるアクチュエータ手段と、
前記特定位置指し示し手段が指し示した前記特定物が、前記人間が問い合わせた特定物であるか否かの確認を人間に促す確認手段と、
前記特定位置指し示し手段が指し示した前記特定物が、前記人間が問い合わせた特定物でない場合は人間に再確認を促す再確認手段と、
前記確認手段または再確認手段により確認した前記特定物の座標を特定する手段とを備えたことを特徴とする。
このように、人間が問い合わせた特定物を認識し、記憶手段から位置情報を読み出して特定位置指し示し手段により指し示し、人間が問い合わせた特定物であるか否かを確認することで、確実に人間が望む特定物を認識することができ、しかも誤認識を起こすことがないから人間は安心して指示を与えることができる。従って、簡単、安価な構成で、人間が問い合わせた特定物を確実に認識し、その特定物の位置を指し示す指示位置または特定物の確認方法及び座標獲得方法並びに装置を提供することが課題できる。
そして、前記人間が指し示し手段を用いて示した指示位置方向を、前記指し示し手段に設けられた少なくとも2箇所の発光手段を撮像した撮像データから検知したり、前記指し示し手段に設けられた少なくとも2箇所の磁石が発する磁力を検知することで算出することが本発明の好適な実施例である。
また、前記人間が問い合わせた前記特定物を認識する手段は、音声認識手段であることが好ましい。
さらに、前記特定位置指し示し手段は、レーザポインタであるか、画像表示手段であっても良い。
以上記載のごとく本発明によれば、人間が望む位置または特定物を確実に認識することができ、しかも誤認識を起こすことがないから人間は安心して指示を与えることができる。従って、簡単、安価な構成で、人間が指し示した位置やもの、及び人間が問い合わせた特定物を確実に認識することができ、その位置やものの絶対座標、または自分(例えばロボット)との相対座標を認識することができるようにした指示位置または特定物の確認方法及び座標獲得方法並びに装置を提供することができる。
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
図1は本発明になる指示位置の確認方法及び座標獲得方法に用いるロボットの一例の正面図、図2は図1に示したロボットの制御ブロック図、図3は人により指示した位置をロボットが確認する方法の説明図、図4、図5は本発明になる指示位置または特定物の確認方法及び座標獲得方法のフロー図である。図中、同一構成要素には同一番号を付してある。
図1において1は本発明に用いるロボット本体、2はその頭部、3は魚眼レンズや超広角レンズを備えて全方位を撮像できるようにした第1の撮像装置、4は人間の音声を拾うためのマイクロホン、5は内部に撮像装置を備え、例えばロボット前方60度程度の視野を撮像できるようにした第2の撮像装置を備えた目、6は胸部、7は胸部6に設けられたスピーカ、8は画像ディスプレイ、9は腕部、10は腕部9に設けられた特定位置を指し示す手段としてのレーザポインタ、或いはプロジェクタ、11はロボットの前方にある障害物や人などを検知するための超音波式障害物センサ、12は胴部、13は前方にある障害物や人などを検知するためのレーザ式障害物センサ、14は胴部12に装備された左右の走行用車輪である。
このロボット1は、頭部2と胸部6と胴部(台車部)12と左右の腕部9とを有する略人型のロボットであり、頭部2と胸部6間の首関節や、胸部6と腕部9間の肩関節、腕部9内の肘関節、手首関節等が図示しない駆動機構により回動可能であるとともに、走行用車輪14が図示しない駆動機構により操舵及び走行可能であって、作業空間をバッテリ駆動により自律的に移動するように構成されており、頭部2に設けられた第1の撮像装置3により自分の位置座標を認識し、2つの目5に設けられた第2の撮像装置で前方にある物体を認識したり、超音波式障害物センサ11、レーザ式障害物センサ13により前方にある障害物や人などを検知することができる。
そしてこのロボット1は図2に20で示したようにデータの入出力装置が設けられ、さらにその内部には、制御部21に図示していないCPU(コンピュータ)や、その他自己位置の認識部22、指示点認識部23、音声認識部24、首・腕・手動作認識部25、体方向認識部26、過去動作・位置データベース27、首関節用駆動部28、手首関節用駆動部29、腕関節用駆動部30、車両用駆動部31等を備える。
このロボット1は、例えば前記特許文献1に詳細に述べられているように、内蔵している各種のセンサにより、ユーザの音声を認識して会話する機能の他、ユーザの行動を見守ったり、ユーザの行動を補助したり、ユーザと一緒に行動したりする機能を備えていてもよい。すなわち、車両用駆動部31により走行用車輪14を駆動し、ユーザ(ロボットの所有者や使用者などの話し相手)の顔または体の正面に胴部12を移動させて、この正面位置で頭部2と目(打2の撮像装置)5をユーザの目に向け、ユーザの目を見て会話を行うことができるようにすれば、ユーザからすると、ロボット1が自分の正面に立ち、更に自分の目を見ながら会話を行ってくれるため、従来に比べてより親近感のある会話が成立する。
このように構成したロボット1に、例えば図3(A)に示したように、人間40が携帯電話41を432で示した位置にかけることを頼む場合、本発明においては、図4に示したフローに従って指示位置を確認し、座標を獲得させる。
まずステップS2で、人間40がロボット1に近くに来るよう指示すると、ステップS2でロボットが人間の近傍に移動する。これは前記特許文献1に示されているように、人間が発生した音声を制御部21に設けた音声認識部24で認識し、頭頂カメラ(第1の撮像装置)3や正面カメラ(第2の撮像装置)5で撮像した撮像画像を元に自己位置認識部で自己位置を確認し、正面カメラ(第2の撮像装置)5で撮像した撮像画像を元に人間を認識すると共に、超音波式障害物センサ11、レーザ式障害物センサ13などでその距離を算出し、車両用駆動部31により走行用車輪14を駆動してその方向に移動させ、ユーザ(ロボットの所有者や使用者などの話し相手)の顔または体の正面に胴部12を位置させておこなう。
次のステップS4で人間40が、例えばレーザポインタ42などを用いて432などの指示位置を示し、例えば携帯電話41をかけるよう行動を「掛けて」などの単語会話で指示する。このレーザポインタ42は、例えば2箇所にLED等を用いた発光手段や磁石を埋め込み、ロボット1側は正面カメラ(第2の撮像装置)5等で撮像した撮像画像から発光手段の光を検知したり、磁力センサを有して埋め込んだ磁石を検知し、レーザポインタ42の指し示す方向を検知できるようにしておく。なお、指し示し手段はレーザポインタだけでなく、或る程度の長さの差し棒などでも良いことは自明である。
そのためロボット1は、ステップS5でレーザポインタ42などが指し示す方向と単語会話による指示を認識し、ステップS6で、体方向認識部26が認識している体方向やあるいは首・腕・手動作認識部25が認識している首の方向により、どの程度体や首を回転または移動させればレーザポインタ42などが指し示す方向となるか算出し、車両用駆動部31または首関節用駆動部28によって走行用車輪14をや首軸を駆動し、レーザポインタ42などが指し示す方向に体頭を向かせる。
そしてステップS7で、正面カメラ(第2の撮像装置)5が撮像した撮像画像を指示点認識部23に送ってレーザポインタ42が指し示す位置に生じている光点を検出し、次のステップS8で、さらに撮像画像から既知候補(過去に指示されたものかどうか)か否かを、過去動作・位置データベース27を検索してサーチ判断する。
そして次のステップS9で、認識したレーザポインタ42が指し示している位置と自己位置認識部22が認識している自己位置とから、ロボット1が腕部9に有している特定位置指し示し手段たるレーザポインタ10をどのような方向に向けたらいいかを算出し、首・腕・手動作認識部25、腕関節用駆動部30、手首関節用駆動部29等に指示を与える。
そのため次のステップS10でロボット1側のレーザポインタ10により、人間がレーザポインタ42などを用いて指し示した432などの指示位置近傍に、今度はロボット1側のレーザポインタ10による光点が生じ、そのため次のステップS13においてロボット1が、スピーカ7により「ここでいいですか」等の音声を発する。また、ステップS11では、正面カメラ(第2の撮像装置)5が撮像した撮像画像から指示点認識部23により、ロボット1側のレーザポインタ10による光点を検出する。
そしてステップS14で人間が、ロボット1側のレーザポインタ10による光点が示す位置で良いかどうかを判断し、可能なら音声で、それが難しい場合は例えば指し示し位置が正しいか否か、ロボット1側のレーザポインタ10による光点の位置を左右上下のどの方向に動かせば人間が指し示す位置になるか等を、例えばリモコンなどを用いて指示できるようにし、判断を下す。
そしてこの判断が「No」の場合はステップS15に進み、音声で可能ならば例えば「右50mm」或いは単に「右」などと指示し、それが難しい場合は前記したリモコンを用い、判断が「No」であることと、ロボット1側のレーザポインタ10による光点の位置を右方向にどの程度動かせば人間が指し示す位置になる等を指示する。
そしてこの指示と、ステップS11で先に測定したロボット1側のレーザポインタ10による光点の位置、及び人間がレーザポインタ42などを用いて指し示した432などの指示位置との相対位置を検出し、ステップS12で相対移動量を計算してステップS10でロボット1側のレーザポインタ10による光点の位置を移動させて再度ロボット1側のレーザポインタ10を投影する。
そしてこの動作をステップS14で人間が「Yes」というまで続け、YesになるとステップS16に行って前記したように音声、またはリモコンで伝え、ステップS17でさらに自己位置認識部22により自己位置の認識と指し示した座標を取得し、ステップS18で認識を終了して例えば図3(A)に示した場合は、携帯電話を受け取り、432の位置にこれを掛けて終了する。
このようにすることにより、ロボット1は人間が望む位置または特定物を確実に認識することができ、しかも次の動作を必ず人間に確認しながら行うから誤認識を起こすこともない。従って人間は、ロボット1に対して不安を感じることなく、安心して指示を与えることができる。
なお、以上の説明では、ロボット1側における特定位置を指し示す手段としてレーザポインタ10を例に説明してきたが、例えばプロジェクタ44等を用いる場合、ロボット1は前記したように正面カメラ(第2の撮像装置)5を有するから、図3(B)のように撮像画像や文字などを適当な場所に45のように投影し、それによって人間側の指示に答えるようにしても良い。
次に図5に示したフロー図に従い、例えば人間40がものを探すことをロボット1に頼む場合について説明する。
まずステップS21で、前記と同様人間40がロボット1に「携帯電話」などの単語会話で探すものを指示する。するとステップS22でロボット1は、言われた単語を音声認識部24で認識し、認識できると次のステップS23で、認識した物(この場合は携帯電話)を過去に何処かにしまったり探すことを頼まれたりしたかどうかを、過去動作・位置データベース27で探索する。
そして過去動作・位置データベース27に頼まれたものが有った場合、次のステップS24でロボット1は、過去動作・位置データベース27に記憶されているものの位置座標を読み出し、さらに自己位置認識部22が認識している自己位置とから、ロボット1が腕部9に有している特定位置指し示し手段たるレーザポインタ10などをどのような方向に向けたらいいかを算出し、首・腕・手動作認識部25、腕関節用駆動部30、手首関節用駆動部29等に指示を与える。
そして次のステップS25で、ロボット1側のレーザポインタ10を、人間がロボット1に探索を頼んだものがある位置に向けて投影し、さらにステップS26においてスピーカ7により、「ここでいいですか」等の音声を発する。そしてステップS27で人間が、ロボット1側のレーザポインタ10による光点が示す位置で良いかどうかを判断し、可能なら音声で、それが難しい場合は例えば指し示したものが正しいか否か等を、例えばリモコンなどを用いて指示できるようにして判断を下す。
そしてこの判断が「No」の場合はステップS28に進み、ロボット1は前記ステップS23と同様、過去動作・位置データベース27で再探索する。そしてステップS29で、前記ステップS24と同様過去動作・位置データベース27で再探索したものの位置座標を読み出し、さらに自己位置認識部22が認識している自己位置とから、ロボット1が腕部9に有している特定位置指し示し手段たるレーザポインタ10などをどのような方向に向けたらいいかを算出し、首・腕・手動作認識部25、腕関節用駆動部30、手首関節用駆動部29等に指示を与え、ステップS25でロボット1側のレーザポインタ10を、人間がロボット1に探索を頼んだものがある位置に向けて投影する。
そしてこの動作をステップS27で人間が「Yes」というまで続け、YesになるとステップS30に行って前記したように音声、またはリモコンで正解であることをロボット1に伝え、ステップS30でさらに自己位置認識部22により自己位置の認識と指し示した座標を取得し、ステップS32で認識を終了して例えば携帯電話を人間40に渡すなどの動作を行う。
このようにすることにより、ロボット1は、人間が望む特定物を確実に認識することができ、しかも次の動作を必ず人間に確認しながら行うから誤認識を起こすこともない。従って人間は、ロボット1に対して不安を感じることなく、安心して依頼を与えることができる。
なお、以上の説明では、ロボット1側における特定位置を指し示す手段としてレーザポインタ10を例に説明してきたが、例えばプロジェクタ44等を用いる場合、ロボット1は前記したように正面カメラ(第2の撮像装置)5を有するから、図3(B)のように撮像画像や文字などを適当な場所に45のように投影し、それによって人間側の指示に答えるようにしても良いことは前記したとおりである。
本発明によれば、簡単、安価な構成で、人間が指し示した位置やものを認識し、その位置やものの絶対座標、または自分との相対座標を認識すること、また、人間が必要とする特定物を認識して過去の所在を記憶装置から読み出し、その特定物の位置を指し示すため、特定物の絶対座標または自分との相対座標を認識することができ、ロボット等に応用すれば、生活支援型ロボットの活用範囲を更に広げることができる。
1 ロボット
2 頭部
3 第1の撮像装置
4 マイクロホン
5 第2の撮像装置(目)
6 胸部
7 スピーカ
8 画像ディスプレイ
9 腕部
10 レーザポインタ、或いはプロジェクタ
11 超音波式障害物センサ
12 胴部
13 レーザ式障害物センサ
14 走行用車輪
2 頭部
3 第1の撮像装置
4 マイクロホン
5 第2の撮像装置(目)
6 胸部
7 スピーカ
8 画像ディスプレイ
9 腕部
10 レーザポインタ、或いはプロジェクタ
11 超音波式障害物センサ
12 胴部
13 レーザ式障害物センサ
14 走行用車輪
Claims (14)
- 撮像装置と、特定位置を指し示す特定位置指し示し手段とを有し、人間が指し示し手段を用いて示した指示位置を確認して座標を取得する指示位置または特定物の確認方法及び座標獲得方法であって、
前記人間が指し示し手段を用いて示した指示位置の方向を検知し、該検知した指示位置方向に前記撮像装置を向ける第1のステップと、
該第1のステップで指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定し、前記特定位置指し示し手段により指し示す第2のステップと、
該特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促し、前記指示位置の座標を特定する第3のステップとからなり、
前記第1のステップで人間が指し示した方向を検知して第2のステップで特定位置指示手段により指し示し、第3のステップで該特定位置指示手段が指し示した位置が人間の指し示した位置であるか否かを確認することで指示位置または特定物を確認し、座標を獲得することを特徴とする指示位置または特定物の確認方法及び座標獲得方法。 - 前記人間が指し示し手段を用いて示した指示位置方向を、前記指し示し手段に設けられた少なくとも2箇所の発光手段を撮像した撮像データから検知することを特徴とする請求項1に記載した指示位置または特定物の確認方法及び座標獲得方法。
- 前記人間が指し示し手段を用いて示した指示位置方向を、前記指し示し手段に設けられた少なくとも2箇所の磁石が発する磁力を検知することで算出することを特徴とする請求項1に記載した指示位置または特定物の確認方法及び座標獲得方法。
- 特定物と該特定物の位置情報とを記憶している記憶手段と、特定位置を指し示す特定位置指し示し手段とを有し、人間が問い合わせた前記特定物を確認して座標を取得する指示位置または特定物の確認方法及び座標獲得方法であって、
前記人間が問い合わせた前記特定物を認識し、前記記憶手段を検索して特定物の位置情報を読み出す第1のステップと、
該第1のステップで読み出された特定物の位置情報と現在位置座標とから前記特定位置指し示し手段により前記特定物を指し示し、前記人間が問い合わせた特定物であるか否かの確認を人間に促して前記人間が問い合わせた特定物でない場合は人間に再確認を促す第2のステップと、
該第2のステップで確認した前記特定物の座標を特定する第3のステップとからなり、
前記第1のステップで人間が問い合わせた特定物の位置情報を得、第2のステップで第1のステップで得た位置情報により前記特定物を指し示して確認し、第3のステップで特定物の座標を特定するようにして特定物の確認と座標を獲得することを特徴とする指示位置または特定物の確認方法及び座標獲得方法。 - 前記人間が問い合わせた前記特定物を認識する手段は、音声認識手段であることを特徴とする請求項4に記載した指示位置または特定物の確認方法及び座標獲得方法。
- 前記特定位置指し示し手段は、レーザポインタであることを特徴とする請求項1乃至5のいずれかに記載した指示位置または特定物の確認方法及び座標獲得方法。
- 前記特定位置指し示し手段は、画像表示手段であることを特徴とする請求項1乃至5のいずれかに記載した指示位置または特定物の確認方法及び座標獲得方法。
- 撮像装置と、特定位置を指し示す特定位置指し示し手段とを有し、人間が指し示し手段を用いて示した指示位置を確認して座標を取得する指示位置または特定物の確認及び座標獲得装置であって、
前記人間が指し示し手段を用いて示した指示位置の方向を検知する指示位置方向検知手段と、
前記撮像装置を該指示位置方向検知手段が検知した指示位置方向に向ける第1のアクチュエータ手段と、
指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定する手段と、
該特定された指示位置を前記特定位置指し示し手段により指し示すよう動作させる第2のアクチュエータ手段と、
前記特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促す確認手段と、
該確認手段が確認した前記指示位置の座標を特定する手段とを備えたことを特徴とする指示位置または特定物の確認及び座標獲得装置。 - 前記指示位置方向検知手段は、前記指し示し手段に設けられた少なくとも2箇所の発光手段を前記撮像装置で撮像した撮像データから前記指し示し手段の指し示し方向を検知する手段であることを特徴とする請求項8に記載した指示位置または特定物の確認及び座標獲得装置。
- 前記指示位置方向検知手段は、前記指し示し手段に設けられた少なくとも2箇所の磁石が発する磁力を検知して前記指し示し手段の指し示し方向を算出する手段であることを特徴とする請求項8に記載した指示位置または特定物の確認及び座標獲得装置。
- 特定物と該特定物の位置情報とを記憶している記憶手段と、特定位置を指し示す特定位置指し示し手段とを有し、人間が問い合わせた前記特定物を確認して座標を取得する指示位置または特定物の確認及び座標獲得装置であって、
人間が問い合わせた前記特定物を認識する手段と、
該認識した特定物を前記記憶手段から検索して特定物の位置情報を読み出す手段と、
該特定物の位置情報と現在位置座標とから特定物を前記特定位置指し示し手段により指し示すよう動作させるアクチュエータ手段と、
前記特定位置指し示し手段が指し示した前記特定物が、前記人間が問い合わせた特定物であるか否かの確認を人間に促す確認手段と、
前記特定位置指し示し手段が指し示した前記特定物が、前記人間が問い合わせた特定物でない場合は人間に再確認を促す再確認手段と、
前記確認手段または再確認手段により確認した前記特定物の座標を特定する手段とを備えたことを特徴とする指示位置または特定物の確認及び座標獲得装置。 - 前記人間が問い合わせた前記特定物を認識する手段は、音声認識手段であることを特徴とする請求項8乃至11のいずれかに記載した指示位置または特定物の確認及び座標獲得装置。
- 前記特定位置指し示し手段は、レーザポインタであることを特徴とする請求項8乃至12のいずれかに記載した指示位置または特定物の確認及び座標獲得装置。
- 前記特定位置指し示し手段は、画像表示手段であることを特徴とする請求項8乃至12のいずれかに記載した指示位置または特定物の確認及び座標獲得装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005048068A JP2006231447A (ja) | 2005-02-23 | 2005-02-23 | 指示位置または特定物の確認方法及び座標獲得方法並びに装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005048068A JP2006231447A (ja) | 2005-02-23 | 2005-02-23 | 指示位置または特定物の確認方法及び座標獲得方法並びに装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006231447A true JP2006231447A (ja) | 2006-09-07 |
Family
ID=37039657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005048068A Withdrawn JP2006231447A (ja) | 2005-02-23 | 2005-02-23 | 指示位置または特定物の確認方法及び座標獲得方法並びに装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006231447A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009129058A (ja) * | 2007-11-21 | 2009-06-11 | Mitsubishi Heavy Ind Ltd | 位置特定装置および動作指示装置並びに自走式ロボット |
JP2009183538A (ja) * | 2008-02-07 | 2009-08-20 | Saitama Univ | 自律移動車椅子 |
EP1932632A3 (en) * | 2006-12-01 | 2010-06-23 | NIKKO Co., Ltd. | Video reproducing apparatus |
JP2010179435A (ja) * | 2009-02-09 | 2010-08-19 | Japan Science & Technology Agency | ロボット制御システム及びロボット制御方法 |
JP2012076162A (ja) * | 2010-09-30 | 2012-04-19 | Waseda Univ | 会話ロボット |
JP2012198898A (ja) * | 2012-04-02 | 2012-10-18 | Mitsubishi Heavy Ind Ltd | 位置特定装置および動作指示装置並びに自走式ロボット |
WO2013121653A1 (ja) * | 2012-02-17 | 2013-08-22 | シャープ株式会社 | 自走式電子機器 |
JP2015066632A (ja) * | 2013-09-27 | 2015-04-13 | 本田技研工業株式会社 | ロボット、ロボット制御方法、およびロボット制御プログラム |
-
2005
- 2005-02-23 JP JP2005048068A patent/JP2006231447A/ja not_active Withdrawn
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1932632A3 (en) * | 2006-12-01 | 2010-06-23 | NIKKO Co., Ltd. | Video reproducing apparatus |
JP2009129058A (ja) * | 2007-11-21 | 2009-06-11 | Mitsubishi Heavy Ind Ltd | 位置特定装置および動作指示装置並びに自走式ロボット |
JP2009183538A (ja) * | 2008-02-07 | 2009-08-20 | Saitama Univ | 自律移動車椅子 |
JP2010179435A (ja) * | 2009-02-09 | 2010-08-19 | Japan Science & Technology Agency | ロボット制御システム及びロボット制御方法 |
JP2012076162A (ja) * | 2010-09-30 | 2012-04-19 | Waseda Univ | 会話ロボット |
WO2013121653A1 (ja) * | 2012-02-17 | 2013-08-22 | シャープ株式会社 | 自走式電子機器 |
JP2013169222A (ja) * | 2012-02-17 | 2013-09-02 | Sharp Corp | 自走式電子機器 |
CN104080386A (zh) * | 2012-02-17 | 2014-10-01 | 夏普株式会社 | 自走式电子设备 |
JP2012198898A (ja) * | 2012-04-02 | 2012-10-18 | Mitsubishi Heavy Ind Ltd | 位置特定装置および動作指示装置並びに自走式ロボット |
JP2015066632A (ja) * | 2013-09-27 | 2015-04-13 | 本田技研工業株式会社 | ロボット、ロボット制御方法、およびロボット制御プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4786519B2 (ja) | ロボットによる物体を移動するサービスに必要な情報の取得方法と該方法を用いたロボットによる物体移動サービスシステム | |
US8010231B2 (en) | Communication robot | |
JP2006231447A (ja) | 指示位置または特定物の確認方法及び座標獲得方法並びに装置 | |
US9517559B2 (en) | Robot control system, robot control method and output control method | |
Chaccour et al. | Computer vision guidance system for indoor navigation of visually impaired people | |
JP5366048B2 (ja) | 情報提供システム | |
JP5142137B2 (ja) | リモコン | |
US20120316680A1 (en) | Tracking and following of moving objects by a mobile robot | |
JP2007260822A (ja) | 道案内ロボット | |
JP2004299025A (ja) | 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム | |
JP2003340764A (ja) | 案内ロボット | |
JP2010231698A (ja) | ネットワークロボットシステム、ロボット制御装置、ロボット制御方法およびロボット制御プログラム | |
JP5145569B2 (ja) | 対象物特定方法および装置 | |
JP2008087140A (ja) | 音声認識ロボットおよび音声認識ロボットの制御方法 | |
JP2007139710A (ja) | 歩行補助ロボット | |
JP6134895B2 (ja) | ロボット制御システム、ロボット制御プログラムおよび説明ロボット | |
JP5411789B2 (ja) | コミュニケーションロボット | |
JP2008149399A (ja) | 移動ロボットおよび移動速度推定方法 | |
KR101715472B1 (ko) | 시각 장애인용 스마트 보행 보조 장치 및 이를 이용하는 스마트 보행 보조 시스템 | |
JP2009113190A (ja) | 自律動作型ロボットおよび自律動作型ロボットの動作制御方法 | |
JP2009222969A (ja) | 音声認識ロボットおよび音声認識ロボットの制御方法 | |
JP6150429B2 (ja) | ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法 | |
Chaccour et al. | Novel indoor navigation system for visually impaired and blind people | |
JP6134894B2 (ja) | ロボット制御システムおよびロボット | |
JPWO2017187620A1 (ja) | ロボット |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080513 |