JP2014106597A - 自律移動体、物体情報取得装置、および物体情報取得方法 - Google Patents
自律移動体、物体情報取得装置、および物体情報取得方法 Download PDFInfo
- Publication number
- JP2014106597A JP2014106597A JP2012257310A JP2012257310A JP2014106597A JP 2014106597 A JP2014106597 A JP 2014106597A JP 2012257310 A JP2012257310 A JP 2012257310A JP 2012257310 A JP2012257310 A JP 2012257310A JP 2014106597 A JP2014106597 A JP 2014106597A
- Authority
- JP
- Japan
- Prior art keywords
- predetermined
- image
- recognition
- predetermined area
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
【課題】未知環境での移動体の周囲に存在する物体の物体情報を取得可能とする。
【解決手段】既知の地図情報を用いて移動体が位置する現在地に対応する所定領域を特定する現在地特定部と、所定領域と略同一環境の領域内に存在すると考えられる所定対象物の画像を記憶する第1記憶部と、所定対象物の画像から抽出された特徴量を記憶する第2記憶部と、所定領域の画像を撮影する撮影デバイスと、環境認識機と、を備え、環境認識機は、所定領域内に存在すると考えられる全ての所定対象物の画像を第1記憶部から取得し、その取得した所定対象物を認識対象物として、第2記憶部から取得した認識対象物の特徴量を用いて、撮影デバイスにより撮影した所定領域の画像内において認識対象物を画像認識し、その画像認識に成功した場合、所定領域内に認識対象物が実際に存在するものと判断して、その認識対象物の物体情報を出力する。
【選択図】図1
【解決手段】既知の地図情報を用いて移動体が位置する現在地に対応する所定領域を特定する現在地特定部と、所定領域と略同一環境の領域内に存在すると考えられる所定対象物の画像を記憶する第1記憶部と、所定対象物の画像から抽出された特徴量を記憶する第2記憶部と、所定領域の画像を撮影する撮影デバイスと、環境認識機と、を備え、環境認識機は、所定領域内に存在すると考えられる全ての所定対象物の画像を第1記憶部から取得し、その取得した所定対象物を認識対象物として、第2記憶部から取得した認識対象物の特徴量を用いて、撮影デバイスにより撮影した所定領域の画像内において認識対象物を画像認識し、その画像認識に成功した場合、所定領域内に認識対象物が実際に存在するものと判断して、その認識対象物の物体情報を出力する。
【選択図】図1
Description
本発明は、自律移動体、物体情報取得装置、および物体情報取得方法に関し、特に未知環境における移動体の周囲に存在する物体の物体情報を取得可能な、自律移動体、物体情報取得装置、および物体情報取得方法に関する。
近年、カメラなどにより撮影された撮影画像中の認識対象物を、高精度に認識する様々な方法が提案されている。例えば、地図上の場所に関連付けられた複数の候補オブジェクトと、画像から取得したオブジェクトと、を比較して、取得した画像中のオブジェクトを識別する方法が知られている(特許文献1参照)。
しかしながら、例えば一般家庭環境などの未知環境に移動体を初めて導入する際には、家庭内に存在する物体(例えば家具など)の配置やサイズは多様であるために、ユーザや移動体ベンダーは、家庭内に実際に存在する物体の情報を一から移動体に教示していく必要がある。しかし、このような教示は多大な手間となり、大変な労力を要する。このため、完全な未知環境に移動体がおかれた場合であっても、その移動体の周囲に実際に存在する物体の物体情報を移動体が自律的に取得可能であることが強く求められている。
本発明は、このような問題点を解決するためになされたものであり、未知環境における移動体の周囲の物体の物体情報を取得可能な、自律移動体、物体情報取得装置、および物体情報取得方法を提供することを主たる目的とする。
上記目的を達成するための本発明の一態様は、未知環境における移動体の周囲の物体の物体情報を取得する自律移動体であって、既知の地図情報を用いて前記移動体が位置する現在地に対応する所定領域を特定する現在地特定部と、前記所定領域と略同一環境の領域内に存在すると考えられる所定対象物の画像を記憶する第1記憶部と、前記所定対象物の画像から抽出された特徴量を記憶する第2記憶部と、前記所定領域の画像を撮影する撮影デバイスと、前記所定領域内に存在すると考えられる全ての前記所定対象物の画像を前記第1記憶部から取得し、当該取得した前記所定対象物を認識対象物として、前記第2記憶部から取得した前記認識対象物の特徴量を用いて、前記撮影デバイスにより撮影した前記所定領域の画像内において前記認識対象物を画像認識し、当該画像認識に成功した場合、前記所定領域内に前記認識対象物が実際に存在するものと判断して、当該認識対象物の物体情報を出力する環境認識機と、を備える自律移動体である。
また、前記第1記憶部は、前記所定領域と略同一環境の領域内に存在すると考えられる所定対象物間の位置関係情報を記憶する、ようにしてもよい。
さらにまた、前記自律移動体は、前記環境認識機が前記認識対象物の画像認識に失敗し、前記所定領域内に前記認識対象物が実際に存在しないものと判断した場合に、当該画像認識に失敗した前記認識対象物の物体情報の登録をユーザに指示するユーザ教示部を更に備える、ようにしてもよい。
また、前記環境認識機は、前記所定領域内に存在すると考えられる全ての前記所定対象物を一覧にして示すリストを前記第1記憶部から取得し、当該取得したリストに示された所定対象物の順序に従って前記認識対象物とする前記所定対象物を決定する、ようにしてもよい。
さらにまた、前記リストに示された所定対象物の順序は、特徴量の抽出が相対的に容易な所定対象物ほど優先される順序に従って設定されている、ようにしてもよい。
また、前記環境認識機は、前記撮影デバイスにより撮影した前記所定領域の画像に対して所定の検索範囲を設定し、当該設定した検索範囲に含まれる特徴量を抽出し、当該抽出した特徴量と、前記第2記憶部から取得した前記認識対象物の特徴量とをパターンマッチングすることで、前記設定した検索範囲に前記認識対象物が存在するか否かを画像認識する、ようにしてもよい。
上記目的を達成するための本発明の他の一態様は、未知環境における移動体の周囲の物体の物体情報を取得する物体情報取得装置であって、既知の地図情報を用いて前記移動体が位置する現在地に対応する所定領域を特定する現在地特定部と、前記所定領域と略同一環境の領域内に存在すると考えられる所定対象物の画像を記憶する第1記憶部と、前記所定対象物の画像から抽出された特徴量を記憶する第2記憶部と、前記所定領域の画像を撮影する撮影デバイスと、前記所定領域内に存在すると考えられる全ての前記所定対象物の画像を前記第1記憶部から取得し、当該取得した前記所定対象物を認識対象物として、前記第2記憶部から取得した前記認識対象物の特徴量を用いて、前記撮影デバイスにより撮影した前記所定領域の画像内において前記認識対象物を画像認識し、当該画像認識に成功した場合、前記所定領域内に前記認識対象物が実際に存在するものと判断して、当該認識対象物の物体情報を出力する環境認識機と、を備える物体情報取得装置である。
上記目的を達成するための本発明の他の一態様は、未知環境における移動体の周囲の物体の物体情報を取得する物体情報取得方法であって、既知の地図情報を用いて前記移動体が位置する現在地に対応する所定領域を特定するステップと、前記所定領域の画像を撮影するステップと、前記所定領域内に存在すると考えられる全ての前記所定対象物の画像を、前記所定領域と略同一環境の領域内に存在すると考えられる所定対象物の画像を記憶する第1記憶部から取得するステップと、前記取得した全ての前記所定対象物を認識対象物として、前記所定対象物の画像から抽出された特徴量を記憶する第2記憶部から取得した前記認識対象物の特徴量を用いて、前記撮影した前記所定領域の画像内において前記認識対象物を画像認識するステップと、前記画像認識に成功した場合、前記所定領域内に前記認識対象物が実際に存在するものと判断して、当該認識対象物の物体情報を出力するステップと、を備える物体情報取得方法である。
本発明によれば、未知環境における移動体の周囲の物体の物体情報を取得可能な、自律移動体、物体情報取得装置、および物体情報取得方法を提供することができる。
実施の形態1.
以下、図面を参照して本発明の実施の形態について説明する。
物体情報取得装置100は、移動体としてのロボットに搭載されている。物体情報取得装置100は、未知環境における移動体の周囲に実在する物体の物体情報を取得することができる。ロボットは、この取得した物体情報を用いて、自律的な行動が可能になる。例えば、キッチンにおいて、取得したガスコンロの物体情報を用いて、ガスコンロのボタンをどのように操作すればよいのかなど、その行動をプランニングすることが可能になる。
以下、図面を参照して本発明の実施の形態について説明する。
物体情報取得装置100は、移動体としてのロボットに搭載されている。物体情報取得装置100は、未知環境における移動体の周囲に実在する物体の物体情報を取得することができる。ロボットは、この取得した物体情報を用いて、自律的な行動が可能になる。例えば、キッチンにおいて、取得したガスコンロの物体情報を用いて、ガスコンロのボタンをどのように操作すればよいのかなど、その行動をプランニングすることが可能になる。
物体情報取得装置100は、撮影デバイス1と、環境認識機2と、教示プランナー部3と、環境ビルダー部4と、リスト確認部5と、ユーザ確認部6と、ユーザ教示部7と、第1記憶部としての相対的物体DB8と、第2記憶部としての物体画像データセット9と、を備えている。
撮影デバイス1は、ロボットが位置する所定領域を撮影する。撮影デバイス1は、例えば、ロボットに設置されたカメラであり、画像ピクセル情報を取得可能な周知の撮影デバイスである。
環境認識機2は、所定領域内に存在すると考えられる全ての所定対象物を相対的物体DB8から取得する。そして、環境認識機2は、その取得した所定対象物を認識対象物として、物体画像データセット9から取得した認識対象物の特徴量を用いて、撮影デバイス1により撮影した所定領域の画像内において認識対象物を画像認識する。そして、環境認識機2は、その画像認識に成功した場合、所定領域内に認識対象物が実際に存在するものと判断して、その認識対象物の物体情報を出力する。
教示プランナー部3は、画像認識の結果、所定領域に実際に存在しないと判断された認識対象物を登録する。環境ビルダー部4は、画像認識の結果、所定領域に実際に存在すると判断された認識対象物について、その物体の物体情報を所定領域の環境モデルとして登録する。環境モデルに登録される物体の物体情報は、ロボットの周囲に実在すると判断された物体に関して、所定領域にどのような物体が存在するのかを示す情報に加えて、それら物体の配置情報やサイズ情報などを含むものとしてもよい。
リスト確認部5は、相対的物体DB8から取得されたリストに関して、リスト上に示された認識対象となる所定対象物を一通り認識し終えた否かを確認する。ユーザ確認部6は、画像認識に成功した認識対象物をロボットの表示部に表示し、認識結果が正確であるかユーザに確認してもらう。ユーザ教示部7は、環境認識機2が画像認識に失敗して所定領域内に認識対象物が実際に存在しないものと判断した場合に、その画像認識に失敗した認識対象物の物体情報の登録をユーザにうながし、又は指示する。
相対的物体DB8は、所定領域と略同一環境の領域内に存在すると考えられる所定対象物を記憶し、また、それら所定対象物間の位置関係情報を予め記憶する。この位置関係情報は、例えば、所定対象物間における位置ベクトル情報、所定対象物を示す箱のサイズ、などを含み、各所定対象物間の抽象的関連付けを示す、オントロジー化された視覚情報である。
例えば、所定対象物Aと所定対象物Bとの間の位置関係情報は、所定対象物Aの位置に対する所定対象物Bの相対的位置を示す位置ベクトル(X、Y、距離)および相対的スケールで定義される。このように位置ベクトルは、所定対象物Aの位置に対する所定対象物Bの相対的位置を示す二次元座標(X、Y)、及び、所定対象物Aと所定対象物Bとの間の距離、で表現される。
より具体的には、所定領域がキッチンである場合、その略同一環境の、図2に示すようなキッチンにおいて、「レンジフード」、「ヤカン」、「ガスコンロ」などが存在すると考えられ、これらの所定対象物間の位置関係情報は、例えば、「レンジフード」に対する「ヤカン」の位置ベクトル、「ヤカン」に対する「ガスコンロ」の位置ベクトル、レンジフードに対する「ガスコンロ」の位置ベクトルなどを含む。このとき、各所定対象物が置かれる状況を示すため、下方にある物体の位置ベクトルが負になるように設定するのが好ましい。レンジフードに対するヤカンの位置ベクトルは、例えば、(−0.15、−0.3、0.335)として表現される。
また、図2に示す例では、ガスコンロとレンジフードを例に説明すると、これらの所定対象物間の相対的位置については、レンジフードがガスコンロよりも必ず上方に位置する。また、これらの所定対象物間の相対的スケールについては、横幅のサイズがほぼ同程度のものである。
人間は、例えば、キッチンには、レンジフード、ヤカン、ガスコンロなどの物体が存在すると考えること、またそれら物体間のおおよその配置やそのサイズなどに関して、常識的な知識を有している。このような常識的な知識をロボットに持たせるために、所定領域内に存在する物体に関して、所定対象物間の相対的位置やその相対的スケールといった情報を、相対的物体DBに保持する。
なお、上記位置ベクトルの表現方法は、一例であり、これに限らず、所定対象物間の位置関係を表わすことができれば、任意の表現方法を用いることができる。例えば、所定対象物Aの位置に対する所定対象物Bの相対的位置は、三次元座標(X、Y、Z)で表現されてもよい。
また、所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報を複数種類集め、その複数種類の位置関係情報に基づいて、例えば、統計的・確率的処理、平均化処理、学習アルゴリズムなどを用いて、所定対象物間の位置関係情報のモデルパターンを予め構築してもよい。相対的物体DB8には、そのような複数種類の位置関係情報に基づいた、位置関係情報のモデルパターンが記憶されていてもよい。
物体画像データセット9は、画像認識分野において一般的に用いられる所定対象物の画像集合であり、その所定対象物の画像から抽出された特徴量を記憶する。物体画像データセット9は、後述する物体認識処理において、所定対象物の画像認識に用いられる物体の画像データベースである。例えば、物体画像データセット9は、ガスコンロについての画像集合と、その画像から抽出された特徴量を記憶する。
なお、物体情報取得装置100は、例えば、演算処理等と行うCPU(Central Processing Unit)と、CPUによって実行される演算プログラム等が記憶されたROM(Read Only Memory)と、処理データ等を一時的に記憶するRAM(Random Access Memory)と、を有するマイクロコンピュータを中心にして、ハードウェア構成されている。また、これらCPU、ROM、及びRAMは、データバス等によって相互に接続されている。
ロボットは、例えば、車輪などの移動部(移動手段の一例)を用いて環境内を移動することができる。また、ロボットは、例えばディスプレイなどの表示部(表示手段の一例)を用いて、ユーザに対して情報を提示することができる。また、ロボットは、例えば、タッチパネル、キーボード、マウスなど入力部(入力手段の一具体例)などを用いて、ユーザからの情報の入力を受け付けることができる。
再び図1を参照しながら、物体情報取得装置100を搭載したロボットによる物体情報取得方法を、以下に説明する。まず、ロボットが未知環境に初めて導入された場合として、例えば、ロボットを新規に購入したユーザの自宅にロボットが届いた状況を想定する。
ロボットは、周知の現在地特定部(不図示)を用いて、自身が現在位置する所定領域を特定することができる。現在地特定部は、既知の地図情報を用いてロボットが位置する現在地を取得し、その取得した現在地に対応する所定領域を特定する。
ここで、地図情報は、ユーザの自宅にロボットを導入する際に、ロボットのベンダーあるいはユーザが、ユーザの住宅内の地図情報をロボットに予め入力することができる。また、地図情報は、周知の自己位置推定技術を用いて、ロボット自らが獲得するものとしてもよい。また、地図情報に対して複数の所定領域が対応付けられている。
例えば、ロボットは、既知の地図情報を用いて、ロボット自身が現在どの部屋(例えば、キッチン、ベッドルーム、バスルームなど)に位置するかを特定することができる。なお、現在地情報取得手段はこれに限定されず、例えば、ロボットが現在位置する所定領域を、ロボットに対してユーザが直接指示・入力するものとしてもよい。
ユーザの住宅の各所定領域にはそれぞれ複数の物体が存在し、また、それら物体の配置なども多様であるために、ロボットの周囲に存在する物体を環境モデルとしてモデル化するためには、大変な手間を要する。例えば、キッチンには家具や蛇口などの物体が存在し、それら家具の配置や蛇口の位置などのモデル化には大変な手間を要する。
このため、このような未知環境にロボットが初めて導入された際には、ロボットの周囲に存在する物体に関して、所定領域にどのような物体が存在するのかに加えて、それら物体間の配置やサイズなどを含む物体の物体情報をロボット自身が自律的に取得して、この物体の物体情報により構成される環境のモデル化を実現することが望まれている。
本実施の形態に係る物体情報取得装置100は、物体の物体情報を自律的に取得可能なプランニング機能をロボットに備えさせることで、多様な未知環境においても、環境に実在する物体の物体情報をロボットに自律的に取得させることが可能になる。
このため、本実施の形態では、ロボットは以下に示す手順に従って、所定対象物の認識および判断に関する処理を実行することで、ロボットの周囲に存在する物体の物体情報の取得を実現する。
まず、物体情報取得装置100は、環境認識機2を用いて、キッチンに存在すると考えられる全ての所定対象物の一覧を示すリストを、相対的物体DB8から取得する。環境認識機2は、リストに示された所定対象物がキッチンに実在するかの判断を行うために、このリストに示された所定対象物の順序に従って、認識対象物とする所定対象物を決定する。ここで、リストに示される所定対象物の順序の一例は、例えば、ガスコンロ、レンジフード、蛇口、シンク、冷蔵庫、・・・の順である。
なお、リストに示された所定対象物の順序は、特徴量の抽出が相対的に容易な所定対象物ほど優先される順序に従って予め設定されるものとしてもよい。画像からの特徴量の抽出は、所定対象物の種類に応じてその容易さが異なる。すなわち、画像からの特徴量の抽出が相対的に容易な所定対象物もあれば、相対的に困難な所定対象物も存在する。ここで、例えば、物体認識の順序に関して、画像からの特徴量の抽出が相対的に容易な所定対象物を認識対象として優先的に認識を行うことで、後述する画像認識処理において、画像中における認識対象物の探索をより高速化できることが期待される。
物体情報取得装置100は、まず、リストに示された所定対象物のうちで、その順序が最優先に示される所定対象物を認識対象物として決定し、キッチンにその所定対象物が実際に存在するか判断する。このため、物体情報取得装置100は、環境認識機2を用いてガスコンロの物体認識を行う。
具体的には、環境認識機2は、撮影デバイス1を用いてキッチンの画像を取得する。また、環境認識機2は、物体画像データセット9から、ガスコンロの画像集合およびその特徴量を取得する。そして、環境認識機2は、物体画像データセット9から取得したガスコンロの特徴量を用いて、撮影デバイス1により撮影したキッチンの画像内においてガスコンロを画像認識する。これにより、環境認識機2は、撮影したキッチンの画像中におけるガスコンロを物体認識する。
環境認識機2は、画像認識の際には、取得したキッチンの画像からガスコンロを探索するために、その画像に対して所定の検索範囲を設定してその検索範囲を移動させることで、その画像の全範囲にわたる探索を行う。環境認識機2は、設定した検索範囲に含まれる特徴量を抽出して、抽出した特徴量と、物体画像データセット9から取得したガスコンロに関する特徴量とをパターンマッチングすることで、当該検索範囲にガスコンロが存在するか否かを画像認識することができる。なお、特徴量のパターンマッチングを用いた物体の画像認識手法としては、周知の画像認識手法を採用すればよいため、ここでは、その詳細な説明を省略する。
なお、画像を探索する際の所定の検索範囲(検索ウィンドウ)に関しては、その探索範囲やサイズをランダムに複数個決定した上で、環境に応じてユーザが任意に指定することができる。
また、画像の全範囲にわたって探索を行うことに代えて、ロボットに設置される撮影デバイス1の設置高さと、相対的物体DB8に格納されている所定対象物間の配置と、に応じた、所定の探索範囲のみを探索対象としてもよい。すなわち、ロボットに設置される撮影デバイス1の設置高さは既知であることを利用して、相対的物体DB8に格納されている所定対象物間の配置に基づいて、探索すべき高さの範囲を限定することができる。具体的には、相対的物体DB8には例えば蛇口やシンクの高さが格納されているため、ロボットに設置された撮影デバイス1の高さから見て、蛇口やシンクが撮影デバイス1の高さよりも上に位置するのか下に位置するのかを判断することができる。このため、例えば、蛇口が撮影デバイス1の高さよりも下に位置する場合には、取得したキッチンの画像中において、撮影デバイス1の高さよりも低い範囲を、蛇口を探索するための範囲として設定することができる。
環境認識機2は、ガスコンロを認識できた場合(認識に成功した場合)、ガスコンロがキッチンに存在すると判断して、ガスコンロの物体情報を環境ビルダー部4に出力する。環境ビルダー部4は、認識対象物の物体情報を環境モデルとして登録する。すなわち、物体情報取得装置100は、ロボットの周囲に実在する物体の物体情報を取得することで、未知環境であるキッチンの環境モデルを作成していくことができる。
次いで、物体情報取得装置100は、相対的物体DB8から取得したリストに示される所定対象物の順序に従って、環境認識機2を用いてレンジフードの物体認識を行う。ここで、ガスコンロの次にリストに示されるレンジフードは、ガスコンロに対して相対的に「真上に存在すべき」物体であり、かつ、「同程度のサイズ」である物体である。
さらに、物体情報取得装置100は、相対的物体DB8から取得したリストに示される所定対象物の順序に従って、環境認識機2を用いて、蛇口、シンクなどの順序に従って物体認識を行うことを繰り返していく。
一方で、環境認識機2は、認識対象物を認識できなかった場合(認識に失敗した場合)、その認識対象物はキッチンに存在しないと判断して、その認識対象物を教示プランナー部3に登録する。この認識に失敗した物体に関しては、教示プランナー部3を用いて、後のタイミングでユーザに教示してもらう。
物体情報取得装置100は、リスト確認部5を用いて、環境認識機2を用いての物体認識に関して、相対的物体DB8から取得したリスト上に示される所定対象物を一通り認識し終えた否かを確認する。物体情報取得装置100は、リスト上の所定対象物を一通り認識し終えた場合には、環境認識機2を用いての物体認識処理を終了する。
物体情報取得装置100は、環境認識機2を用いての物体認識処理を終了した場合、ユーザ確認部6を用いて、環境ビルダー部4に登録した物体の物体情報に誤りがあるかをユーザに確認してもらう。これは、物体情報取得装置100が自律的に認識した物体情報には誤りがある可能性もあり、その誤りを訂正するためである。
ユーザ確認部6は、例えば、ロボットが備える表示部にキッチンの画像を表示させた上で、さらに、認識に成功した物体をその物体情報に基づいてキッチンの画像中に表示させて、その表示させた物体が実際にキッチンに存在する物体と一致するか否かを、ユーザに確認してもらう。ユーザは画像に表示された物体を確認し、例えば、タッチペンなどの入力手段を用いて、実際にキッチンに存在する物体と一致しない物を選択・入力することができる。
物体情報取得装置100は、ユーザ教示部7を用いて、認識対象物の認識に失敗して教示プランナー部3に登録された物体と、自律的に認識した結果、誤って認識してしまった物体とを表示部に表示させ、それら物体の物体情報の登録をユーザに指示する。
ユーザ教示部7は、例えば、ロボットが備える表示部に、認識に失敗して教示プランナー部3に登録された物体や、誤って認識してしまった物体を表示部に表示し、認識に失敗した物体などの物体情報をユーザに教示してもらう。ユーザは、表示部に表示された物体を確認し、例えば、タッチペンなどの入力手段を用いて、その物体が何の物体であるか、また、キッチンのどの位置に存在するのかなどを含む物体情報を、ロボットに入力することができる。
なお、ユーザ教示部7は、ユーザがロボットに対して教示を行う際には、ユーザからの返答が簡単となるような表示インタフェースを設定するとよい。例えば、YES/NO程度の簡単な返答を用いてロボットに対して情報を教示できるように、表示部における表示を設定するとよい。
このように、教示プランナー部3による教示は、ユーザはロボットに対して全ての物体を教示する必要がなく、ロボットが認識に失敗した物体のみを対象にして教示を行えばよいため、その教示に要する手間も大幅に削減することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
100 環境認識装置、
1 撮影デバイス、
2 環境認識機、
3 教示プランナー部、
4 環境ビルダー部、
5 リスト確認部、
6 ユーザ確認部、
7 ユーザ教示部、
8 物体間の相対的情報DB、
9 物体画像データセット、
1 撮影デバイス、
2 環境認識機、
3 教示プランナー部、
4 環境ビルダー部、
5 リスト確認部、
6 ユーザ確認部、
7 ユーザ教示部、
8 物体間の相対的情報DB、
9 物体画像データセット、
Claims (8)
- 未知環境における移動体の周囲の物体の物体情報を取得する自律移動体であって、
既知の地図情報を用いて前記移動体が位置する現在地に対応する所定領域を特定する現在地特定部と、
前記所定領域と略同一環境の領域内に存在すると考えられる所定対象物の画像を記憶する第1記憶部と、
前記所定対象物の画像から抽出された特徴量を記憶する第2記憶部と、
前記所定領域の画像を撮影する撮影デバイスと、
前記所定領域内に存在すると考えられる全ての前記所定対象物の画像を前記第1記憶部から取得し、当該取得した前記所定対象物を認識対象物として、前記第2記憶部から取得した前記認識対象物の特徴量を用いて、前記撮影デバイスにより撮影した前記所定領域の画像内において前記認識対象物を画像認識し、当該画像認識に成功した場合、前記所定領域内に前記認識対象物が実際に存在するものと判断して、当該認識対象物の物体情報を出力する環境認識機と、を備える自律移動体。 - 前記第1記憶部は、前記所定領域と略同一環境の領域内に存在すると考えられる所定対象物間の位置関係情報を記憶する、
ことを特徴とする請求項1に記載の自律移動体。 - 前記自律移動体は、前記環境認識機が前記認識対象物の画像認識に失敗し、前記所定領域内に前記認識対象物が実際に存在しないものと判断された場合に、当該画像認識に失敗した前記認識対象物の物体情報の登録をユーザに指示するユーザ教示部を更に備える、
ことを特徴とする請求項1または2に記載の自律移動体。 - 前記環境認識機は、前記所定領域内に存在すると考えられる全ての前記所定対象物を一覧にして示すリストを前記第1記憶部から取得し、当該取得したリストに示された所定対象物の順序に従って前記認識対象物とする前記所定対象物を決定する、
ことを特徴とする請求項1ないし3いずれか1項に記載の自律移動体。 - 前記リストに示された所定対象物の順序は、特徴量の抽出が相対的に容易な所定対象物ほど優先される順序に従って設定されている、
ことを特徴とする請求項4に記載の自律移動体。 - 前記環境認識機は、前記撮影デバイスにより撮影した前記所定領域の画像に対して所定の検索範囲を設定し、当該設定した検索範囲に含まれる特徴量を抽出し、当該抽出した特徴量と、前記第2記憶部から取得した前記認識対象物の特徴量とをパターンマッチングすることで、前記設定した検索範囲に前記認識対象物が存在するか否かを画像認識する、
ことを特徴とする請求項1ないし5いずれか1項に記載の自律移動体。 - 未知環境における移動体の周囲の物体の物体情報を取得する物体情報取得装置であって、
既知の地図情報を用いて前記移動体が位置する現在地に対応する所定領域を特定する現在地特定部と、
前記所定領域と略同一環境の領域内に存在すると考えられる所定対象物の画像を記憶する第1記憶部と、
前記所定対象物の画像から抽出された特徴量を記憶する第2記憶部と、
前記所定領域の画像を撮影する撮影デバイスと、
前記所定領域内に存在すると考えられる全ての前記所定対象物の画像を前記第1記憶部から取得し、当該取得した前記所定対象物を認識対象物として、前記第2記憶部から取得した前記認識対象物の特徴量を用いて、前記撮影デバイスにより撮影した前記所定領域の画像内において前記認識対象物を画像認識し、当該画像認識に成功した場合、前記所定領域内に前記認識対象物が実際に存在するものと判断して、当該認識対象物の物体情報を出力する環境認識機と、を備える物体情報取得装置。 - 未知環境における移動体の周囲の物体の物体情報を取得する物体情報取得方法であって、
既知の地図情報を用いて前記移動体が位置する現在地に対応する所定領域を特定するステップと、
前記所定領域の画像を撮影するステップと、
前記所定領域内に存在すると考えられる全ての前記所定対象物の画像を、前記所定領域と略同一環境の領域内に存在すると考えられる所定対象物の画像を記憶する第1記憶部から取得するステップと、
前記取得した全ての前記所定対象物を認識対象物として、前記所定対象物の画像から抽出された特徴量を記憶する第2記憶部から取得した前記認識対象物の特徴量を用いて、前記撮影した前記所定領域の画像内において前記認識対象物を画像認識するステップと、
前記画像認識に成功した場合、前記所定領域内に前記認識対象物が実際に存在するものと判断して、当該認識対象物の物体情報を出力するステップと、
を備える物体情報取得方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012257310A JP2014106597A (ja) | 2012-11-26 | 2012-11-26 | 自律移動体、物体情報取得装置、および物体情報取得方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012257310A JP2014106597A (ja) | 2012-11-26 | 2012-11-26 | 自律移動体、物体情報取得装置、および物体情報取得方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014106597A true JP2014106597A (ja) | 2014-06-09 |
Family
ID=51028056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012257310A Pending JP2014106597A (ja) | 2012-11-26 | 2012-11-26 | 自律移動体、物体情報取得装置、および物体情報取得方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014106597A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106959696A (zh) * | 2017-05-10 | 2017-07-18 | 北京京东尚科信息技术有限公司 | 运动目标的控制方法和装置 |
CN107491714A (zh) * | 2016-06-13 | 2017-12-19 | 深圳光启合众科技有限公司 | 智能机器人及其目标物体识别方法和装置 |
CN111465963A (zh) * | 2017-10-10 | 2020-07-28 | Cy游戏公司 | 用于确认对象物的获取的系统、服务器、程序和方法 |
JP2020526819A (ja) * | 2017-07-03 | 2020-08-31 | エックス デベロップメント エルエルシー | ロボットアクションへの修正に基づく局所的特徴モデルの更新 |
WO2021125019A1 (ja) * | 2019-12-17 | 2021-06-24 | 株式会社Preferred Networks | 情報システム、情報処理方法、情報処理プログラム、およびロボットシステム |
US11780083B2 (en) | 2017-07-03 | 2023-10-10 | Google Llc | Determining and utilizing corrections to robot actions |
-
2012
- 2012-11-26 JP JP2012257310A patent/JP2014106597A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491714A (zh) * | 2016-06-13 | 2017-12-19 | 深圳光启合众科技有限公司 | 智能机器人及其目标物体识别方法和装置 |
CN106959696A (zh) * | 2017-05-10 | 2017-07-18 | 北京京东尚科信息技术有限公司 | 运动目标的控制方法和装置 |
JP2020526819A (ja) * | 2017-07-03 | 2020-08-31 | エックス デベロップメント エルエルシー | ロボットアクションへの修正に基づく局所的特徴モデルの更新 |
US11640517B2 (en) | 2017-07-03 | 2023-05-02 | X Development Llc | Update of local features model based on correction to robot action |
US11780083B2 (en) | 2017-07-03 | 2023-10-10 | Google Llc | Determining and utilizing corrections to robot actions |
CN111465963A (zh) * | 2017-10-10 | 2020-07-28 | Cy游戏公司 | 用于确认对象物的获取的系统、服务器、程序和方法 |
CN111465963B (zh) * | 2017-10-10 | 2023-11-24 | Cy游戏公司 | 用于确认对象物的获取的系统、服务器、程序和方法 |
WO2021125019A1 (ja) * | 2019-12-17 | 2021-06-24 | 株式会社Preferred Networks | 情報システム、情報処理方法、情報処理プログラム、およびロボットシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10482674B1 (en) | System and method for mobile augmented reality | |
US10565788B2 (en) | Automatic three-dimensional solid modeling method and program based on two-dimensional drawing | |
US10255492B2 (en) | Image processing method providing information for identifying a function of an object, the function being identified based on a pose of a person with respect to the object | |
US11051000B2 (en) | Method for calibrating cameras with non-overlapping views | |
JP2014106597A (ja) | 自律移動体、物体情報取得装置、および物体情報取得方法 | |
US10964057B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
CN103377471B (zh) | 物体定位方法和装置、最优摄像机对确定方法和装置 | |
KR20160033495A (ko) | 증강현실을 이용한 가구 배치 장치 및 방법 | |
JP6639091B2 (ja) | 表示制御装置及び表示制御方法 | |
CN109961074A (zh) | 一种查找物品的方法、机器人及计算机可读存储介质 | |
US9600893B2 (en) | Image processing device, method, and medium for discriminating a type of input image using non-common regions | |
JP6054831B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2014056486A (ja) | 画像ネットワークシステム、画像表示端末および画像処理方法 | |
CN103295011A (zh) | 信息处理装置、信息处理方法、以及计算机程序 | |
US11461923B2 (en) | Calculation system, calculation method, and storage medium | |
KR20210046217A (ko) | 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치 | |
Heya et al. | Image processing based indoor localization system for assisting visually impaired people | |
JP6623851B2 (ja) | 学習方法、情報処理装置および学習プログラム | |
JP7006782B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
US20210042576A1 (en) | Image processing system | |
US9398208B2 (en) | Imaging apparatus and imaging condition setting method and program | |
JP2009216480A (ja) | 三次元位置姿勢計測方法および装置 | |
JP2007200364A (ja) | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 | |
JP2017199259A (ja) | 資材認識装置、および、資材認識方法 | |
JP2020071739A (ja) | 画像処理装置 |