JP2021526081A - 制御装置、制御方法、ロボット装置、およびプログラム - Google Patents

制御装置、制御方法、ロボット装置、およびプログラム Download PDF

Info

Publication number
JP2021526081A
JP2021526081A JP2020562788A JP2020562788A JP2021526081A JP 2021526081 A JP2021526081 A JP 2021526081A JP 2020562788 A JP2020562788 A JP 2020562788A JP 2020562788 A JP2020562788 A JP 2020562788A JP 2021526081 A JP2021526081 A JP 2021526081A
Authority
JP
Japan
Prior art keywords
information
acquired
environmental information
sensor
environment information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020562788A
Other languages
English (en)
Other versions
JP7310831B2 (ja
Inventor
雄大 湯口
雄大 湯口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2021526081A publication Critical patent/JP2021526081A/ja
Application granted granted Critical
Publication of JP7310831B2 publication Critical patent/JP7310831B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39094Interference checking between robot and fixture
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40548Compare measured distances to obstacle with model of environment
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40577Multisensor object recognition
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40611Camera to monitor endpoint, end effector position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

関連要素がセンサから獲得された環境情報によって表されているか否かを判定するように構成された判定部と、判定部が関連要素が環境情報によって表されていると判定した場合に、この環境情報を、関連要素が含まれていない事前獲得環境情報に切り替えるように構成された環境情報設定部とを含む制御装置が提供される。

Description

関連出願の相互参照
本出願は、2018年5月30日に出願された日本優先特許出願特開2018−103203号公報の利益を主張し、その内容全体は、参照により本明細書に組み込まれる。
本開示は、制御装置、制御方法、およびプログラムに関する。
これまでに、下記の特許文献1は、ロボット(ロボットの一部)の動作部を監視するセンサ部によって出力された検出信号がネゲートされると述べている。
特開2009−255264号公報
しかしながら、上記の特許文献1に記載の技術では、ロボットの動作部に対応する検出信号がネゲートされるため、動作部が存在する領域および周囲の状況が把握され得ないという問題がある。このため、ロボットの周囲の状況は不明であり、ロボットの周囲の障害物の位置等に基づいてロボットの動作計画を立てることは困難である。上記の特許文献1に記載の技術では、ロボットの動作部に対応する検出信号がネゲートされるため、ネゲート後にロボットの周囲の状況は把握され得ず、ロボットの安全な運転が妨げられる。
したがって、ロボットに関連する要素が環境情報に含まれている場合または環境情報によって表されている場合でも、最適な動作を可能にする必要がある。
本開示は、添付の特許請求の範囲によって規定される。
本開示の実施形態によれば、関連要素(ロボットアームなどであるが以下で他の例が挙げられている)がセンサから獲得された環境情報に含まれているか否かまたはこれによって表されているか否かを判定するように構成された判定部と、判定部が関連要素が含まれていると判定した場合に、この環境情報を、関連要素が含まれていない事前獲得環境情報に切り替えるように構成された環境情報設定部とを含む制御装置が提供される。
その上、本開示の実施形態によれば、関連要素がセンサから獲得された環境情報に含まれているか否かまたはこれによって表されているか否かを判定するステップと、関連要素が環境情報に含まれているかまたはこれによって表されていると判定された場合に、この環境情報を、関連要素が含まれていない事前獲得環境情報に切り替えるステップとを含む制御方法が提供される。
その上、本開示の実施形態によれば、関連要素がセンサから獲得された環境情報に含まれているか否かまたはこれによって表されているか否かを判定するように構成されたデバイス、および関連要素が環境情報に含まれているかまたはこれによって表されていると判定された場合に、この環境情報を、関連要素が含まれていない事前獲得環境情報に切り替えるように構成されたデバイスとしてコンピュータを機能させるためのプログラムが提供される。
上記のように、本開示の実施形態によれば、関連要素が環境情報に含まれている場合でも、動作が可能であり得る。
なお、上記の効果は必ずしも限定的なものではない。上記の効果とともにまたは上記の効果の代わりに、本明細書に記載されている効果のいずれか1つまたは本明細書から把握され得る他の効果が達成され得る。
本開示の実施形態に係るロボット装置が矢印の方向に移動している状態を示す模式図である。 バウンディングボックス(bounding box)の例を示す模式図である。 関連要素がバウンディングボックス内に含まれている場合の処理を示す模式図である。 環境情報が切り替えられる切替範囲を示す模式図である。 環境情報が切り替えられる切替範囲を示す模式図である。 現在および事前に獲得された環境情報の使用例を時系列で示す模式図である。 現在および事前に獲得された環境情報の使用例を時系列で示す模式図である。 現在および事前に獲得された環境情報の使用例を時系列で示す模式図である。 ロボット装置における処理の流れを示すフローチャートである。 把持物体を含むバウンディングボックスが取得される例を示す模式図である。 ロボット装置と壁との間で2つのアームが重なり合って存在する例を示す模式図である。 移動障害物の移動軌跡を予測する処理の例を示す模式図である。 移動障害物の移動軌跡を予測する処理の例を示す模式図である。 移動障害物の移動軌跡を予測する処理の例を示す模式図である。 移動障害物の移動軌跡を予測する処理の例を示す模式図である。 フォークリフトによる荷下ろしの例を示す模式図である。 ロボット装置を制御する制御装置の構成を示すブロック図である。 一方法を示す概略フローチャートである。 データ処理装置を示す模式図である。
以下では、本開示の好ましい実施形態が、添付の図面を参照して詳細に説明される。なお、本明細書および添付の図面において、実質的に同一の機能および構造を有する構造要素は、同一の参照番号で示され、これらの構造要素の重複する説明は省略されている。
なお、説明は以下の順序で行われる。
1.自律移動技術における外界情報の意義
2.ロボット装置の概要
3.関連要素によって遮られた領域の情報置換
3.1.バウンディングボックスに関して
3.2.バウンディングボックスの具体例
3.3.バウンディングボックス内の環境情報の削除
3.4.環境情報の切り替え
3.5.情報切り替えの時系列の流れ
4.ロボット装置における処理の流れ
5.関連要素が把持物体を含む場合
6.関連要素が重なり合う場合の例
7.環境情報の動的予測処理
8.事前獲得環境情報が使用される他の例
8.1.フォークリフトなどの荷役車による運搬作業時の動作計画
8.2.ロボットアームを搭載した自律移動体の動作計画
1.自律移動技術における外界情報の意義
ロボットなどの移動体が自律的に移動するためには、移動体自体が現時点でどこにいるのか、および移動を阻害する障害物が移動体の近くにあるか否かを常に把握する必要がある。自律移動体には2種類の障害物がある。1つは、建物の壁などの、時間とともに変化しない静的な障害物である。もう1つは、椅子などの、位置および姿勢が時間とともに変化し得る移動障害物である。これらの障害物に関する情報は、自律移動体に取り付けられた外部センサによって獲得される。外部センサは、自律移動体の位置および姿勢の情報を更新しながら自律移動体が障害物にぶつかることなく目的地に到達するために適切な役割を果たす。
しかしながら、ロボットに取り付けられたロボットの構成部品等が、外部センサの周囲の一部のみを覆うまたは覆い隠すだけで、獲得される外界情報は損なわれ、外界は正しく認識され得なくなる。結果として、ロボット自体の構成部品が障害物として誤認識されるという問題が生じ、目的地への到達が困難になる。このため、外部センサがロボット自体の構成部品を検知しても、障害物であるとの誤認識が防止される必要がある。また、構成部品が、ロボットアームなどの、外界の物体との接触を伴うものである場合、運搬中の対象物を含む物を、障害物として取り扱われないように扱う必要がある。
2.ロボット装置の概要
次に、本開示の実施形態に係るロボット装置(自律移動体)1000の全体の大まかな構成が、図1に基づいて説明される。さらなる詳細は、図11を参照して以下で述べられる。
図1は、本実施形態に係るロボット装置1000が矢印の方向に移動している状態を示す模式図である。ロボット装置1000は、環境情報を検出または獲得またはキャプチャすることによって外界の状態を検出する外部センサ200を含み、外部センサ200で検出された障害物を避けながら目的地へ移動する。外部センサ200は、(例えば、対象物までの距離を測定するように構成された距離測定センサとして機能することで)センサ200からある程度の距離にあるおよび/またはセンサ200に対する方向にある対象物である物体または対象物の少なくとも存在を認識または少なくとも検出する物体認識センサ、例えば、カメラ、ToF(time of flight(飛行時間))センサ、光検出および測距(LIDAR:Light Detection and Ranging)、奥行きセンサ、またはRGB(画像)センサなどのセンサであり、外界の環境情報を検出する。環境情報は、例えば、ロボット装置1000の周囲に存在する物体の位置情報を含み得る。一例として、外部センサ200がカメラである場合、環境情報は、画像情報を含み得、外部センサ200がToFセンサである場合、環境情報は、物体の奥行き位置を示す距離測定情報である。外部センサ200がカメラである場合、物体の奥行き位置の情報は、ToFセンサと同様に、3Dカメラを使用して獲得され得る。
図1に示されているように、ロボット装置1000は、アーム100を含む。アーム100は、物体を把持する、物体の状態を検出する、または他のことを実行するために使用される。
ロボット装置1000が移動する際、外部センサ200がロボット装置1000自体の構成部品を検知する場合がある。例えば、アーム100が外部センサ200の検出範囲に含まれ、外部センサ200がアーム100を検知した場合、アーム100は、それ自体環境情報によって表され、そのため、通常、ロボット装置1000に対する障害物として認識される。アーム100が障害物として誤認識されることによって、アーム100が存在する領域は、移動にとってのリスクが高い領域であると判断される。この場合、ロボット装置1000の動作は、ロボット装置1000がアーム100に衝突しないように決定される。
アーム100が障害物として認識され、ロボット装置1000の動作が、ロボット装置1000がアーム100に衝突しないように決定される場合、本来は障害物でないアーム100によってロボット装置1000の動作に制限が課される。その結果、ロボット装置1000の動作が過度に制限される場合がある。
したがって、本実施形態では、外部センサ200がロボット装置1000自体に関連する要素(以下では、関連要素と呼ばれる)を検知した場合、外部センサ200は、関連要素を障害物として認識せず、ロボット装置1000の動作が継続することを可能にする。この文脈における関連要素は、アーム100、アーム100が把持する把持物体、脚、車輪、プロペラ、プローブ、ツール、武器などの、ロボット装置1000自体に含まれる構成部品を含む。これにより、ロボット装置1000の動作が過度に制限されることが抑制され得る。
具体的には、ロボット装置1000などの自律移動体が移動する際の障害物検知において、自律移動体に関連する関連要素が検知されても、関連要素は障害物として認識されず、移動が継続される。これにより、外部センサの検出範囲が関連要素によって遮られる場合でも、移動は、関連要素による制限を受けることなく行われ得る。
この事態において、関連要素の位置および/または形状を近似することによって取得される、三次元形状の形状近似情報(バウンディングボックスなど)が、環境情報から取得または検出された空間において、ロボット装置1000の内部情報(例えば、予めプログラムされた情報、ロボット装置によって導出された情報、構成情報等)から生成され、これにより、関連要素の形状、位置、および姿勢の情報が、環境情報から除去され、障害物としての誤認識が対処される。これらの例では、関連要素が環境情報に含まれているか否かまたは環境情報によって表されているか否かの判定(例えば、以下で説明される判定部530によって実行される)は、関連要素の位置および形状が近似された形状近似情報ならびに環境情報に基づいて、関連要素が環境情報に含まれているか否かまたは環境情報によって表されているか否かを判定するように構成される。
形状近似情報は、例えば、関連要素を包含する単純な形状の情報であってもよく、その場合、判定プロセス(以下で述べられるように、例えば判定部によって実行される)は、環境情報において、関連要素を包含する単純な形状を示す形状近似の存在を検出することを含む。それは、例えば、関連要素の輪郭を拡大することによって取得される情報であり、これにより、形状近似情報が、マージン領域によって囲まれた関連要素の輪郭の物理的形状を示すようにしてもよい。
関連要素が含まれていると判定された環境情報の代わりに、環境情報設定部は、関連要素の位置および形状が近似された形状近似情報の領域の環境情報として事前獲得環境情報を選択するように構成され得る。
さらに、関連要素によって隠された範囲の環境情報が、関連要素の形状、位置、および姿勢の情報が除去された環境情報を、関連要素を含まない、事前に獲得された事前獲得環境情報に切り替える(または前者の代わりに後者を選択する)ことによって推測される。
そのため、一部の例では、環境情報設定部は、関連要素によって隠された領域の環境情報として事前獲得環境情報を選択するように構成される。一部の例では、環境情報設定部は、関連要素が含まれていると判定された領域および関連要素によって隠された領域の環境情報として事前獲得環境情報を選択するように構成される。
また、三次元形状の形状近似情報と環境情報を組み合わせてロボット装置1000の動作を計画することによって、関連要素と障害物との意図しない接触が抑制される。
上記により、ロボット装置1000の関連要素が外部センサを遮る状況でも、外界の環境が推測されながら、ロボット装置1000の動作および移動が継続され得る。さらに、関連要素は、ロボット装置1000の構成部品だけでなく、ロボット装置1000のアーム100が対象物を保持して搬送している場合などにロボット装置1000が作用する対象物も含み、そのため、単なる移動にとどまらず広範囲に使用され得る。
3.関連要素によって遮られた領域の情報置換
3.1.バウンディングボックスに関して
ロボット装置1000が関連要素の位置を把握するには、対象物の全体を覆う幾何学的形状であるバウンディングボックスの概念が用いられる。バウンディングボックスは、ロボット装置1000がその内部に関して(またはその構成および/もしくは機能の少なくとも一部として)保有する内部情報(関連要素のサイズ、関節角度等)に基づいて計算される。具体的には、バウンディングボックスは、内部情報から計算された関連要素の形状、位置、および姿勢の情報から生成される。
図2は、バウンディングボックスの例を示す模式図である。図2は、アーム100のバウンディングボックスが見出される例を示しており、破線で示された直方体の領域を有する、アーム100のバウンディングボックス30を示している。図2に示されているように、バウンディングボックス30は、関連要素の形状が直方体、立方体、円柱、球、円錐、または角錐などの単純な幾何学的形状に近似された形状である。一方、バウンディングボックス30は、アーム100そのものの形状であってもよいし、またはアーム100の形状が所定量だけ外側に拡大された形状であってもよい。バウンディングボックス30の領域は、元のアーム100の領域と同一の領域または元のアーム100の領域よりも広い領域に設定される。
さらに、関連要素がロボット装置1000のアーム100のように複数の構成部品を含む場合には、構成部品ごとにバウンディングボックスが生成されてもよい。
関連要素100のバウンディングボックスまたは他の形状近似の形状(およびサイズ)を明示する形状情報に応じるだけでなく、関連要素が環境情報に含まれているか否かの判定は、センサに対する関連要素の現在位置を明示する情報(以下で述べられる動作計画部570によって提供され得る)にも応じ得る。
少なくとも一部の例では、関連要素は、ロボット装置に関連する要素(例えば、アーム100などの、ロボット装置の構成要素または構成部品)であり、ロボット装置に対する現在の要素位置に応じて(例えば、以下で述べられる1つ以上のアクチュエータ582によって)ロボット装置に対して移動可能であり、ロボット装置によって制御され、センサ200は、ロボット装置に対する現在のセンサ位置(この現在のセンサ位置は固定されてもよいし、または例えば1つ以上のアクチュエータ582によって移動可能であってもよい)を有し、関連要素が環境情報に含まれているか否かの判定は、現在の要素位置および現在のセンサ位置に応じて、センサに対する関連要素の現在位置を明示する情報(この情報は、例えば、点線572として示されているデータ接続を介して動作計画部570から判定部530に提供され得る)を検出することを含む。なお、前述されたように、現在位置情報が知られていない場合、関連要素の位置は、環境情報自体における形状および/または物体の検出によって検出され得る。
3.2.バウンディングボックスの具体例
関連要素の全体が包含され得るサイズの直方体が、バウンディングボックスの形状として使用され、これにより、関連要素に関する環境情報がバウンディングボックス内に含まれているか否かに関する計算が容易に行われ得る。
一方、バウンディングボックスの形状は特に限定されない。関連要素のCADモデルを使用して、現実に最も近い形状のバウンディングボックスが生成され得る。一方、CADモデルが使用される場合、関連要素に対応する環境情報が、バウンディングボックスの内部から外れる可能性がある。これは、CADモデルの誤りまたは関節角度などの内部情報の誤りに起因し得る(これにより、実際の関連要素は、形状情報によって予測されない空間の領域を占め得る)。バウンディングボックスを直方体などの単純な形状に設定し、対応する関連要素よりも大きなサイズでバウンディングボックスを生成する(バウンディングボックスがマージン領域を提供するように)ことにより、関連要素に対応する環境情報が関節角度などの内部情報の誤りによりバウンディングボックスの内部から外れることが防止され得、ロバスト性が高められ得る。
CADモデルを使用してバウンディングボックスを生成する別の方法として、CADモデルを一定の程度または一定のマージンをもって拡大することによって、形状が関連要素の実際の形状に沿ったままで内部情報の誤りが考慮に入れられ得るバウンディングボックスが生成され得る。さらに、1つの構成部品に対して複数のバウンディングボックスが生成され得る。例えば、バウンディングボックスは、1つの関連要素を覆うように複数の立方体を組み合わせることによって形成されてもよい。図2に示されているアーム100のバウンディングボックスの場合、アーム100のバウンディングボックスは、アーム本体102および把持部104の各々にバウンディングボックスを生成し、両者を組み合わせることによって生成されてもよい。
3.3.バウンディングボックス内の環境情報の削除
次に、バウンディングボックス内の環境情報の削除が説明される。上記のように、バウンディングボックスのサイズおよび位置は、ロボット装置1000の内部情報から獲得され得る。例えば、アーム100のバウンディングボックスが例として挙げられる場合、アーム100に対してバウンディングボックスが設定されるとき、バウンディングボックスのサイズ(長さ、幅等)が事前に獲得される。さらに、バウンディングボックスの姿勢(角度)が、アーム100の可動部(関節)に設けられたエンコーダの検出値から獲得される。そのため、バウンディングボックスのサイズおよび位置は、ロボット装置1000によって獲得される内部情報から把握され得る。
一方、ロボット装置1000の周囲に存在する物体の位置情報を示す環境情報は、外部センサ200によって獲得される。関連要素が外部センサ200の検出範囲に含まれており、外部センサ200が関連要素をキャプチャしている場合、関連要素の情報は、環境情報に含まれている。
ロボット装置1000側で把握されたバウンディングボックスのサイズおよび位置に基づいて環境情報がバウンディングボックス内に存在することが判明した場合、この環境情報は、関連要素の情報に相当する。このため、環境情報が獲得された後、まず、バウンディングボックスが存在する空間内に、関連要素に対応する環境情報が含まれているか否かが調べられる。
そして、関連要素に対応する環境情報がバウンディングボックスの空間内に含まれている場合、バウンディングボックスの空間の内部から上で言及された環境情報を除去または削除することによって、関連要素が除外された環境情報が取得され得る。言い換えれば、関連要素が環境情報に存在するまたは含まれていると判定されたら、その判定を行うために使用されたバウンディングボックスに対応する領域および/またはこのバウンディングボックスによって隠されたもしくは覆い隠された領域から環境情報が削除される。
図3は、関連要素がバウンディングボックス内に含まれている場合の処理を示す模式図である。図3は、直方体のバウンディングボックス30を示しており、関連要素が点群40によって示されている場合を示している。関連要素または障害物などの物体が、外部センサ200で検出された場合、物体の空間的な形状および位置は、点群40の座標の集合として表現され得る。
このプロセスの概要として、いわゆる「点群」内の点は、その点の3Dの位置または場所に存在するものの、例えば3D空間における検出を表す。特定の物体が存在する場合、その物体の検出に対応する点は、点群を形成する傾向がある(これに関して、図3の点群40は検出された物体のように概ね形作られた例0である。点群の形状は、検出の分解能(点間距離)、ノイズ、検出誤差、センサ200に対する物体または物体の一部のオクルージョンなどの要因により、(検出されている物理的物体の形状と比較して)近似であり得る。
環境情報において「関連要素が存在するか否かおよび関連要素がどこに存在するか」の検出は、様々な手法を使用して行われ得る。例示の手法では、センサの物理的位置に対する関連要素の物理的位置が、(例えば、ロボット装置が移動を、したがってアーム100の現在の位置を制御する運動制御情報を使用して)導出され、環境データにおける位置が、その情報から少なくとも予測される。別の例では、関連要素のサイズおよび形状に近似するバウンディングボックスが、例えばセンサに対する関連要素の移動の所定のまたは設定可能な範囲によって1組の可能性として限定される様々な可能な位置および/または方向で、検出された点群と比較され、バウンディングボックスとの最も高い相関性(例えば、バウンディングボックスによって明示された区域(volume)またはエリア内に最大数の点)を有する位置および方向が、関連要素の判定された位置として選択される。第2の手法は、センサに対する関連要素の現在の位置の知識を必要としない。例えば、バウンディングボックスの相関性が予測された位置またはその近くの位置で検出され得るように、2つの手法は組み合わされ得る。
一部の例では、このような検出が行われたら、バウンディングボックスの内部に対応する点群の点は、環境情報から削除または除去される。これは、少なくとも一部の例では、バウンディングボックスによってセンサから隠された物体または検出の点(実際にこれらが検出された場合)の削除も含む。少なくとも一部の例では、バウンディングボックスが実際の物理的物体よりも大きい場合があり、これは、実際の物理的物体に対応する場合もあれば対応しない場合もあるいくつかの点の削除を含み得ることに留意されたい。
図3の上側の図は、点群40がバウンディングボックス30に含まれている状態を示している。バウンディングボックス30に含まれている点群40は、関連要素の環境情報に相当する。このため、図3の下側の図に示されているように、バウンディングボックス30に含まれている点群40を除去することによって、関連要素に対応する環境情報は消去される。したがって、環境情報に基づいて障害物を認識するとき、バウンディングボックス30に対応する関連要素は、障害物として認識されず、ロボット装置1000の近傍に障害物が存在するという誤認識が防止され得る。
以上のように、バウンディングボックス内の環境情報を削除することによって、関連要素の情報は、環境情報に含まれなくなる。したがって、関連要素は、障害物として誤認識されず、ロボット装置1000は、関連要素の情報を含まない環境情報に基づいて制御され得る。
3.4.環境情報の切り替えまたは選択
ロボット装置1000の動作、移動等が環境情報に基づいて制御される場合、関連要素によって隠された領域に関して環境情報は使用され得ない。言い換えれば、バウンディングボックスの、外部センサ200の側とは反対の側にある領域は、バウンディングボックスに対応する関連要素によって隠されており、このため、この領域に関して環境情報は獲得され得ない。そのため、隠された領域に障害物がある場合、この障害物に関する環境情報は獲得され得ない。
このため、関連要素によって隠された領域に関しては、事前に獲得された環境情報(以下では、事前獲得環境情報とも呼ばれる)が使用または選択される。具体的には、ある時点で関連要素によって隠されている領域の環境情報は、その時点以前に獲得された事前獲得環境情報に切り替えられる。これにより、関連要素によって隠された領域を含む、環境情報がセンサによって獲得された領域全体に関して、環境情報が取得され得る。
事前獲得環境情報は、ある時点で既に獲得されている環境情報であり、基本的に、関連要素の環境情報を含まない情報である。そのため、関連要素によって隠された領域の環境情報を事前獲得環境情報に切り替えることにより、関連要素によって隠された領域に関しても、関連要素の情報を含まない環境情報が取得され得る。
図4Aおよび図4Bは、事前獲得環境情報に切り替えるための切替範囲35を示す模式図である。図4Aは、ロボット装置1000が正面から見られた状態を示す正面図である。さらに、図4Bは、図4Aのロボット装置1000が上方から(図4Aに示されている矢印AA1の方向から)見られた状態を示す平面図である。図4Aおよび図4Bに示されている例でも、ロボット装置1000のアーム100が関連要素と見なされており、アーム100に対してバウンディングボックス30が設定されている。
図4Aおよび図4Bに示されているように、バウンディングボックス30の、外部センサ200とは反対側にある領域は、関連要素によって隠された領域であり、事前獲得環境情報への切り替えが実行される切替範囲35と見なされる。切替範囲35は、外部センサ200の中心とバウンディングボックス30の頂点50、52、および54を結ぶ直線40、42、および44と、外部センサ200の検出可能な範囲を示す直線46と、距離制限を示す直線48とによって囲まれた範囲(図4Aおよび図4Bではドットで示されている範囲)である。外部センサ200の検出可能な範囲を示す直線46は、外部センサ200が環境情報を検出し得る範囲を示し、図4Aにおいて、環境情報は、直線46の左側の領域では検出され得ない。
切替範囲35は、基本的に、外部センサ200の中心とバウンディングボックス30の頂点を結ぶ直線によって規定される。一方、図4Aに示されている例において、外部センサ200の中心とバウンディングボックス30の頂点を結ぶ直線の中で、外部センサ200の中心とバウンディングボックス30の頂点56を結ぶ直線47は、外部センサ200の検出可能な範囲を示す直線46の外側(左側)に位置する。そのため、直線47と直線46に挟まれた領域では、環境情報は検出され得ない。したがって、切替範囲35は、直線47の代わりに直線46を使用して規定される。
以上のように切替範囲35を設定することによって、図4Aに示されている高さ方向および図4Bに示されている水平方向の両方で、切替範囲35は、切り替えが最も広い範囲で実行され、かつ関連要素によって隠された領域全体が含まれるように設定される。
さらに、距離制限を示す直線48が、その後の動作計画が妨げられない範囲で切替範囲35に制限を課すために提供され得る。距離制限を示す直線48によって切替範囲35が狭められるのは、現在の時点で獲得される環境情報を可能な限り使用し、これにより、現実に即したロボット装置1000の動作が実行されることを可能にすることが企てられているからである。
しかしながら、計算負荷などの何らかの理由で切替範囲を狭めることが困難な場合および切替範囲を狭める必要がない場合は、関連要素がバウンディングボックス30内に検出された時点で範囲全体にわたって、事前に獲得された環境情報への切り替えが実行されてもよい。
以上のように、関連要素によって隠された切替範囲35に対して、現時点の環境情報は使用され得ず、このため、過去に獲得された最近の事前獲得環境情報への切り替えが実行される。したがって、切替範囲35に対しては、最近で最新(直近)の事前獲得環境情報が、現時点の環境情報の代わりに使用され得る。一方、バウンディングボックスの内部に関しては、関連要素の情報を削除することによって、関連要素が除去された環境情報が取得され得る。そのため、関連要素の情報が含まれていない精度の高い環境情報が生成され得る。
そのため、このような実施形態では、環境情報設定プロセス(以下で述べられる環境情報設定部550によって実行され得る)は、センサから新たにまたは直近に獲得された環境情報の少なくとも一部の代わりに、直近の事前獲得環境情報(つまり、新たに獲得された環境情報の獲得前に獲得された直近の環境情報)の対応する一部であって、判定部が、関連要素がこの環境情報の一部に含まれていなかったまたはこの環境情報の一部によって表されていなかったと判定した直近の事前獲得環境情報の対応する一部を選択するように構成される。この対応する一部は、例えば、新たに獲得された環境情報の少なくとも一部に関する環境情報を提供するように選択され得、例えば、関連要素の存在(または存在の判定)のせいで新たに獲得された環境情報において使用できない環境情報と置換される。事前獲得環境情報は、(環境に対して)同一のセンサ位置に対して獲得されたものであってもよいが、事前獲得環境情報が、新たに獲得された環境情報の置換される環境情報に対して代替環境情報を提供するために使用される限り、これは必ずしも必須条件ではない。なお、事前獲得環境情報の単一のインスタンスが、新たに獲得された環境情報の少なくとも一部を代替するすべての環境情報を必ずしも提供しない場合があり得、この場合、1回よりも多い獲得からの事前獲得環境情報が使用される。なお、直近の事前獲得環境情報が使用されることも必須条件ではなく、代わりに、直近に獲得された環境情報以外の環境情報のインスタンスが使用されてもよい。しかしながら、直近の事前獲得環境情報の使用は、代替情報が可能な限り最も新しいことを含意する。
「少なくとも一部」という用語は、関連要素を表すものとして検出された部分のみを指し得る(図2および図3を参照して述べられたように検出プロセス自体は関連要素の周囲のマージンを(必須ではないが)含み得ることに留意されたい。または、この用語は、検出された関連要素の周囲のさらなるマージンが入替操作で適用されることを含意し得る。または、他の例では、この用語は実際には、新たに獲得された環境情報全体の破棄および事前獲得バージョンによるその置換に適用され得る。
そのため、例において、「部分」は、関連要素の位置および形状が近似された形状近似情報の領域、関連要素によって隠された領域、関連要素が含まれていると判定された領域および関連要素によって隠された領域、またはセンサによって獲得された環境データのインスタンス全体のうちの1つ以上であり得る。
任意選択で、新たに獲得された環境情報の置換される「少なくとも一部」は、以下で述べられるように削除され得、それと置換するために、置換環境情報が選択される。
例えば、環境情報削除部(以下で述べられる)は、新たに獲得された環境情報の少なくとも一部の環境情報を削除するように構成され得る。一部の例では、環境情報設定部は、削除された環境情報と置換するために事前獲得環境情報を選択するように構成される。
したがって、バウンディングボックス30の内部と切替範囲35の両方に関して、関連要素の情報を含まない環境情報が獲得され得る。
さらに、事前獲得環境情報への切り替えは、バウンディングボックス30の領域に対しても実行され得る。この場合、切替範囲35とバウンディングボックス30の領域の両方に対して、事前獲得環境情報への切り替えが実行される。そのため、この場合、バウンディングボックス30内の環境情報を削除する処理は不要であり、処理がより簡単に実行され得る。さらに、事前獲得環境情報への切り替えは、環境情報が外部センサ200によって獲得された領域全体に対して実行されてもよい。
また、バウンディングボックス30の領域に対してのみ、事前獲得環境情報への切り替えを実行することも可能である。この場合、事前獲得環境情報への切り替えは一部に限定されるが、バウンディングボックス30の領域に関しては、現時点のより正確な環境情報が獲得され得る。
一方、バウンディングボックス30の領域に対応する事前獲得環境情報に障害物が含まれている場合、事前獲得環境情報は、現時点の状態を反映しておらず、このため、逆にバウンディングボックス30内の環境情報を除去することによって、バウンディングボックス30内に障害物が存在しないことを示す最新の環境情報の獲得が可能である。このような場合、上記のように、関連要素によって隠された切替範囲35に対して、事前獲得環境情報への切り替えが実行され、バウンディングボックス30の内部に関しては、環境情報が削除されることが望ましい。
3.5.情報切り替えの時系列の流れ
図5A、図5B、および図5Cは、現時点で事前に獲得された環境情報の使用例を時系列で示す模式図である。図5A、図5B、および図5Cは、長方形領域の中央にロボット装置1000を示しており、ロボット装置1000が上側から見られた平面図を模式的に示している。その上、図5A、図5B、および図5Cは、ロボット装置1000と環境情報が使用される領域との関係を示している。
図5Aは、時間t_0における状況を示しており、外部センサ200が関連要素によって覆われていないまたは覆い隠されていない状況を示している。つまり、環境情報にバウンディングボックスが存在せず、外部センサ200によって検出された領域全体(図5Aにおいてハッチングで示されている領域)の環境情報に、関連要素の情報は含まれていない。ロボット装置1000は、バウンディングボックス内の環境情報の削除を実行せずにまたは上記の関連要素によって隠された切替範囲35に対して事前獲得環境情報への切り替えを実行せずに、外部センサ200によって検出された環境情報に基づいてまたはこれに応じて、動作計画を(制御機能の実行の例として)立てる。そして、動作計画に基づいて、ロボット装置1000は、それ自体の移動、アーム100の動作等を制御する。さらに、ロボット装置1000(例えば、環境情報設定部540は、この時間t_0に検出されたすべての環境情報を、事前獲得環境情報として更新する。
図5Bは、時間t_0の後の時間t_1における状況を示しており、関連要素300が外部センサ200による検出の範囲の一部を覆っているかまたは覆い隠している状況を示している。この状況では、図5Bにおいてハッチングで示されている領域A1は、関連要素300によって隠された領域であり、この領域に関して、時間t_1の時点で環境情報は獲得され得ない。このため、時間t_0に獲得された事前獲得環境情報が、関連要素300によって隠された領域A1に使用される。図5Bでは、領域A1は、図5Aと同一のハッチングで示されており、これにより、時間t_0に獲得された事前獲得環境情報が領域A1で使用されていることが示されている。一方、関連要素300によって遮られていない領域(図面ではドットで示されている領域B1)の環境情報は、時間t_1で、最新の環境情報として使用され得、したがって、時間t_1に検出された環境情報は、関連要素300によって遮られていない領域に使用される。
さらに、ロボット装置1000は、関連要素300によって遮られていない領域B1の環境情報を、時間t_1の事前獲得環境情報として更新する。この事態において、時間t_0の環境情報(事前獲得環境情報)が使用される領域A1の環境情報は、時間t_1の最新の事前獲得環境情報として取り扱われ得る。
時間t_0の環境情報(事前獲得環境情報)が使用される領域A1の環境情報が、時間t_1の最新の事前獲得環境情報として取り扱われる場合、時間t_0の事前獲得環境情報は、領域A1の時間t_1の事前獲得環境情報として更新される。さらに、関連要素300によって遮られていない領域B1に関して、時間t_1の環境情報が、事前獲得環境情報として更新される。
さらに、図5Cは、時間t_1の後の時間t_2における状況を示しており、関連要素300および関連要素310が外部センサ200を覆っているかまたは覆い隠している状況を示している。この状況では、図5Cにおいてハッチングで示されている領域A1は、関連要素300によって隠された領域であり、この領域に関して、時間t_2の時点で環境情報は獲得され得ない。さらに、図5Cにおいてドットで示されている領域A2は、関連要素310によって隠された領域であり、この領域に関して、時間t_2の時点で環境情報は獲得され得ない。
なお、図5Cの例は、プロセスによって生成された複合環境情報が事前獲得環境情報の1つより多くのインスタンスからのいくつかの新たに獲得された環境情報およびいくつかの代替環境情報を含む状況の概略図を提供する。いずれの場合も、この例では、直近の事前獲得環境情報が各部分に使用される。
このため、時間t_0に獲得された事前獲得環境情報は、関連要素300によって隠された領域A1に使用され、時間t_1に獲得された事前獲得環境情報は、関連要素310によって隠された領域A2に使用される。図5Cでは、領域A1は、図5Aと同一のハッチングで示されており、これにより、時間t_0に獲得された事前獲得環境情報が領域A1で使用されていることが示されている。さらに、領域A2は、図5Bの領域B1と同一のドットで示されており、これにより、時間t_1に獲得された事前獲得環境情報が領域A2で使用されていることが示されている。一方、関連要素300または関連要素310によって遮られていない領域(図面ではドットで示されている領域B2)の環境情報は、時間t_2で、最新の環境情報として使用され得、したがって、時間t_2に検出された環境情報は、関連要素300または関連要素310によって遮られていない領域に使用される。
さらに、ロボット装置1000は、関連要素300または関連要素310によって遮られていない領域の環境情報(例えば、以下で述べられる記憶部560に記憶される)を、事前獲得環境情報として更新する。この事態において、図5Bと同様に、時間t_0および時間t_1のセンサ情報を使用する領域A1および領域A2の環境情報は、時間t_2の最新の事前獲得環境情報として取り扱われ得る。
時間t_0および時間t_1のセンサ情報を使用する領域A1および領域A2の環境情報が、時間t_2の最新の事前獲得環境情報として取り扱われる場合、領域A1に関しては、時間t_0の事前獲得環境情報が、時間t_2の事前獲得環境情報として更新され、領域A2に関しては、時間t_1の事前獲得環境情報が、時間t_2の事前獲得環境情報として更新される。さらに、関連要素300によって遮られていない領域B2に関して、時間t_2の環境情報が、事前獲得環境情報として更新される。
図5Bおよび図5Cでは、関連要素300および310の領域に関して、環境情報が、関連要素300および310にそれぞれ対応するバウンディングボックスの内部から除去される。図5Bおよび図5Cでは、環境情報が除去されたバウンディングボックスは、事前獲得環境情報として使用され得る。例えば、図5Bに示されている時間t_1の時点で事前獲得環境情報を更新するとき、環境情報がバウンディングボックスの内部から除去された情報が、関連要素300の領域の事前獲得環境情報と見なされ得る。同様に、図5Cに示されている時間t_2の時点で事前獲得環境情報を更新するとき、環境情報がバウンディングボックスの内部から除去された情報が、関連要素310の領域の事前獲得環境情報と見なされ得る。
そのため、これらの例では、環境情報設定部(以下で説明される)は、事前獲得環境情報を、時系列的に獲得される、関連要素がセンサの検出範囲に存在しない情報に順次更新するように構成され、環境情報設定部は、更新によって取得された直近の事前獲得環境情報を環境情報として選択するように構成される。
4.ロボット装置における処理の流れ
図6は、本実施形態のロボット装置1000における処理の流れを示すフローチャートである。以下では、ロボット装置1000で実行される処理が、図6に基づいて説明される。図6に示されている処理は、処理1と処理2に分類される。処理1は、外部センサ200によって検出されたバウンディングボックス内の関連要素に関する情報の除去および事前に獲得された事前獲得環境情報への切り替えの処理である。さらに、処理2は、ロボット装置1000の移動および関連要素の動作に関する処理である。
上記の2つの処理を組み合わせることによって、外部センサが関連要素を検出した場合でも、関連要素を障害物として誤認識することが抑制され、また、関連要素の三次元形状に関する位置および姿勢の情報に基づいて障害物との接触を回避する動作計画が立てられ得る。以下、具体的な処理の流れが説明される。
図6の処理は、ロボット装置1000の制御装置500によって所定の制御周期ごとに繰り返し実行される。まず、ステップS10では、ロボット装置1000へのタスクの指示がユーザによって出される。タスクとしては、ロボット装置1000を目的地へ移動させるタスクおよびアーム100で保持された物体を搬送させるタスクなどの様々なタスクが考えられ得る。タスクの指示が出されると、ロボット装置1000は、タスクに応じて動作を開始する。
次のステップS12では、外部センサ200によって検出された環境情報が獲得される。ステップS12では、関連要素を含むすべての環境情報が獲得される。さらに、外部センサによって検出された環境情報とは別に、既に獲得され、メモリ等に保持されている、関連要素を含まない事前獲得環境情報がアクセスされる。ロボット装置1000は、獲得された環境情報ならびにロボット装置1000の位置および姿勢の情報を互いに関連付けて保存する。ロボット装置1000の位置および姿勢の情報は、バウンディングボックスの位置および姿勢に関する情報を含む。ステップS12の処理は、制御周期ごとに常に実行され、環境情報および事前獲得環境情報が更新される。
なお、本プロセスの最初の反復で、「事前獲得」環境情報の最初のインスタンスが獲得され得る。あるいは、プロセスは、「事前獲得」環境情報の最初のインスタンスが、ロボットにプリインストールされた状態、または同一の場所にある別のロボットから例えば無線データ接続によって取得された状態、またはクラウドベースまたはサーバベースのデータソースから獲得された状態で開始されてもよい。
次のステップS14では、関連要素に対応する環境情報がバウンディングボックス内に存在するか否かが判定され、関連要素に対応する環境情報がバウンディングボックス内に存在すると判定された場合、手順はステップS16に進む。ステップS16では、関連要素に該当する情報が、環境情報から消去される。つまり、外部センサ200がバウンディングボックス内に環境情報を検出した場合、バウンディングボックス内の環境情報は、関連要素の情報に相当し、このため、バウンディングボックス内の環境情報は消去される。これにより、バウンディングボックス内の関連要素が障害物として誤認識されることが抑制される。一方、ステップS14において、バウンディングボックス内に環境情報が存在しないと判定された場合、手順は、動作計画を立てるためにステップS20に進む。
なお、上記のように、ステップS18の処理は、ステップS16の処理を実行することなく実行されてもよい。つまり、バウンディングボックス内の情報を含む情報は、事前に獲得された事前獲得環境情報に切り替えられてもよい。
ステップS16の後、手順はステップS18に進む。ステップS18では、関連要素によって隠された領域の環境情報が推定される。この領域は、関連要素が外部センサ200を覆っていたまたは覆い隠していたために測定され得なかったものである。具体的には、ステップS18では、関連要素によって隠された切替範囲35に対して、前回の制御周期においてステップS12で事前に獲得された事前獲得環境情報への切り替えが実行される。
以上のようにして、ステップS16およびステップS18の処理が実行され、これにより、バウンディングボックスの内部と切替範囲35の両方に関して、関連要素の情報を含まない環境情報が取得され得る。そのため、関連要素の情報を含まない環境情報に基づいて、ロボット装置1000の動作計画が立てられ得る。
次のステップS20およびその後のステップの処理では、以上のように取得された、関連要素の情報を含まない環境情報に基づいて、ロボット装置1000の動作計画が立てられ、ロボット装置1000が制御される。動作計画は、ロボット装置1000の移動およびアーム100などの関連要素の動作に関する計画を含む。まず、ステップS20において、関連要素の情報を含まない環境情報から取得された障害物の位置とロボット装置1000の位置が近いか否かが判定される。そして、環境情報から取得された障害物の位置とロボット装置1000の位置が近いと判定された場合、手順はステップS22に進み、障害物とロボット装置1000との間の距離が計算される。ロボット装置1000の位置として、ロボット装置1000の原点、例えば、ロボット1000の中心の座標(重心の位置等)が使用されてもよい。さらに、ロボット装置1000の位置として、外部センサ200の位置が原点として使用されてもよい。原点を基準として使用して障害物とロボット装置1000との間の距離を計算して、環境情報を獲得することもできる。
ステップS20の判定において、ロボット装置1000によって獲得された各バウンディングボックスの情報を使用して、障害物と各バウンディングボックスとの間の距離が小さいか否かが判定されることが好ましい。距離を測定する際のバウンディングボックス側の基準は、バウンディングボックスの中心、またはバウンディングボックスの表面、輪郭等であってもよく、特に限定されない。障害物とバウンディングボックスとの間の距離が所定の閾値以下である場合、手順はステップS22に進み、障害物とバウンディングボックスとの間の距離が計算される。環境情報が図3に示されているように点群によって示される場合、障害物およびバウンディングボックスを示す各点間の距離が計算される。
さらに、何らかの意味の付与が行われ、これにより、障害物を示す点群が全体と見なされ得る場合、障害物とバウンディングボックスとの間の距離は、意味が与えられた集合の中心を使用して判定され得る。例えば、障害物のサイズおよび形状が事前に既に分かっている場合、障害物とバウンディングボックスとの間の距離は、障害物を示す点群の中心を使用し、障害物のサイズおよび形状を考慮に入れることによって判定され得る。また、計算コストを抑制するために、点群の高さ方向が二次元に圧縮された後に距離が計算されてもよい。なお、環境情報は点群に限定されない。
次のステップS24では、環境情報に応じた制御機能の実行の例を表すならば、ステップS22で計算された、障害物とロボット装置1000との間の距離に基づいて、ロボット装置1000が移動する経路の計画またはロボット装置1000のアーム100などの関連要素の動作の計画が立てられる。ロボット装置1000の中心の座標を使用して障害物とロボット装置1000との間の距離が計算される場合に、障害物と中心の座標が比較的近い場合、ロボット装置1000の経路は、障害物から離れるように計画される。さらに、障害物と中心の座標との間の距離が比較的小さい場合、アーム100などの関連要素の動作は、障害物から離れるように計画される。さらに、障害物と中心の座標との間の距離が大きい場合、障害物は特に考慮に入れられずに、ロボット装置1000の移動経路および関連要素の動作は計画される。
好ましくは、ステップS24において、移動経路および関連要素の動作は、障害物とバウンディングボックスとの間の距離の情報を使用して計画される。例えば、障害物とバウンディングボックスとの間の距離が比較的小さい場合、ロボット装置1000の経路は、障害物から離れるように計画される。さらに、障害物とバウンディングボックスとの間の距離が比較的小さい場合、アーム100などの関連要素の動作は、障害物から離れるように計画される。これにより、ロボット装置1000の構成部品、および把持物体などの関連要素の位置および状態を考慮して動作計画が立てられ得、したがって、より安全な動作計画が立てられ得る。
さらに、障害物とバウンディングボックスとの間の距離が大きい場合など、何らかの理由で障害物とバウンディングボックスとの間の距離を考慮する必要がない場合、ロボット装置1000の移動経路および関連要素の動作は、距離の情報またはバウンディングボックスの情報を使用せずに計画されてもよい。ステップS24の後、手順は、ステップS26またはステップS28に進む。
ステップS26では、ロボット装置1000は、ロボット装置1000が移動する経路に関してステップS24で立案された計画に基づいて移動または停止を行う。具体的には、ステップS26において、ロボット装置1000の移動または停止は、下側の車輪などの機構によって行われる。停止は、何らかの外的要因または内的要因により緊急停止が行われる状況も含む。
さらに、ステップS28では、ステップS24で立案された関連要素の動作の計画に基づいて、アーム100などの関連要素の動作または停止が行われる。停止は、何らかの外的要因または内的要因により緊急停止が行われる状況も含む。
5.関連要素が把持物体を含む場合
上記のように、関連要素は、アーム100などのロボット装置1000自体に含まれる構成部品の他に、アーム100が把持する対象物などの、ロボット装置1000に関連する要素を広く含む。ロボット装置1000のアーム100は、対象物に接触し、対象物を把持し、運搬等の作業を行う。このため、対象物が事前に分かっている場合は、この対象のバウンディングボックスが用意され、アーム100が対象物に接触する場合は、この対象物はロボット装置1000の一部と見なされて、上記と同様の処理が実行される。したがって、対象物も考慮に入れた処理が可能になる。
対象物自体は、例えば、物体を把持するために使用されるロボットアームの挟持部の幅を検出して、その幅を、それぞれの幅を有する1組の物体の1つまたはその幅に等しい1つの次元を有する1組のバウンディングボックスの1つのいずれかにマッピングすることによって検出され得る。または、センサ200は、ピックアップされようとしている物体を検出するために物体認識回路またはソフトウェアと関連付けられ得る。認識の欠如の場合、ロボットによってピックアップされ得る最大の物体と同一の大きさの悲観的なバウンディングボックスが使用され得る。
図7は、把持物体を含むバウンディングボックスが取得される例を示す模式図であり、ロボット装置1000が正面から見られた状態を示している。図7に示されている例では、アーム100は、リンク110、リンク120、および把持部122を含む。その上、リンク110およびリンク120にそれぞれ対応するバウンディングボックス32および34が提供されている。さらに、アーム100の先端にある把持部122に対応するバウンディングボックス36と、把持部122によって保持された把持物体60に対応するバウンディングボックス38とが提供されている。
リンク110および120を互いに繋ぐ関節および把持部122とリンク120を互いに繋ぐ関節の各々には、関節の回転角度を検出するエンコーダが設けられている。バウンディングボックス32、34、および36のサイズおよび形状は、ロボット装置1000側で事前に把握されており、バウンディングボックス32、34、および36の位置および姿勢は、エンコーダの検出値に基づいて判定される。
さらに、把持物体60が、把持部104の所定の位置に把持されると仮定される。そのため、把持部104に対する把持物体60の位置は一意に決定され、したがって、把持物体60のバウンディングボックス38の位置および姿勢も、ロボット装置1000側で事前に獲得され得る。
そのため、バウンディングボックス38内の環境情報を除去することによって、把持物体60が障害物として認識されることが阻止され得る。さらに、外部センサ200から見てバウンディングボックス38によって隠されている切替範囲35に対して、事前獲得環境情報への切り替えが実行され、これにより、ロボット装置1000は、事前獲得環境情報に切り替えることによって取得された環境情報に基づいて制御され得る。なお、バウンディングボックス32、34、および36内の環境情報は、リンク110、リンク120、および把持部122に関しても同様に削除される。
把持物体60の例としては、ペットボトル、グラス、テレビのリモコン等が挙げられる。これらのバウンディングボックスの三次元データは、ロボット装置1000側で事前に獲得され、これにより、把持物体60が障害物として認識されることが防止され得る。
さらに、バウンディングボックスが事前に用意されていない場合でも、バウンディングボックスは、環境情報から何らかの意味を有する部分を抽出し、環境情報のその部分に全体として意味を付与することによって自動生成され得る。なお、図7に示されているアーム100、リンク110、リンク120、把持部122等の構成は、一例にすぎず、ロボット装置1000は、この構成に限定されない。例えば、ロボット装置1000は、より多くのリンクを含み得るし、図7とは異なる形状および方法でリンクおよび把持部を含み得る。
6.関連要素が重なり合う場合の例
図8は、ロボット装置1000と壁62との間で2つのアーム130および140が重なり合って存在する例を示す模式図であり、ロボット装置1000が上方から見られた状態を示している。図8に示されているように、アーム130は、リンク132、リンク134、および把持部136を含む。さらに、アーム140は、リンク142、リンク144、および把持部146を含む。また、図8では、リンク132に対応するバウンディングボックス72と、リンク134に対応するバウンディングボックス74と、把持部136に対応するバウンディングボックス76とが提供されている。さらに、リンク142に対応するバウンディングボックス82と、リンク144に対応するバウンディングボックス84と、把持部146に対応するバウンディングボックス86とが提供されている。
環境情報が外部センサ200によって獲得された場合、まず、外部センサ200に近い側のアーム130のバウンディングボックス72、74、および76の内部から環境情報が除去される。これにより、アーム130が障害物として認識されることが抑制される。
さらに、外部センサ200から遠い側のバウンディングボックス82、84、および86の内部から環境情報が除去される。この事態において、外部センサ200側から見られたとき、バウンディングボックス82、84、および86は、バウンディングボックス72、74、および76によって隠されており、このため、バウンディングボックス82、84、または86内のアーム140に対応する環境情報はあまりない。しかしながら、バウンディングボックス72、74、または76によって隠されていない範囲では、バウンディングボックス82、84、および86内に環境情報が存在し、したがって、これらのバウンディングボックスの環境情報は除去される。
これにより、アーム130および140に対応する環境情報が除去される。そして、アーム130とアーム140の両方によって隠れている切替範囲35に対して、事前獲得環境情報への切り替えが実行される。そのため、図8に示されている状態では、アーム130および140に対応する環境情報が除去され、ロボット装置1000は、事前獲得環境情報に含まれている壁62のみを障害物として認識する。したがって、ロボット装置1000は、アーム130および140の背後を見通し得る状態にあり、壁62のみを障害物として考慮に入れて動作計画を立て得る。
以上のように、関連要素が重なり合うために、外部センサ200によって検出され得ない関連要素が存在する場合でも、ロボット装置1000の内部データから各バウンディングボックスが生成され、各バウンディングボックスから環境情報が削除される。さらに、事前に獲得された情報が、障害物の情報として使用される。そのため、図7と同様に、関連要素が除外された環境情報が取得され得、この環境情報に基づいて、ロボット装置1000は制御され得る。
7.環境情報の動的予測処理
移動障害物が存在する場合、事前に獲得された事前獲得環境情報を使用するときに移動障害物が事前に獲得された最後の位置から移動している可能性がある。このため、事前獲得環境情報における移動障害物の位置の変化量から移動障害物の移動軌跡が予測され、移動障害物の移動を考慮して移動計画および動作計画が立てられ得る。
図9Aから図9Dは、移動障害物の移動軌跡を予測する処理の例を示す模式図であり、ロボット装置1000が上方から見られた状態を示している。図9Aから図9Dは、それぞれ時間t_10、時間t_11、時間t_12、および時間t_13におけるロボット装置1000と移動障害物70との位置関係を時系列で示す平面図である。図9Aおよび図9Bに示されているように、移動障害物70は、図面上では上方に移動している。つまり、時間t_10の後の時間t_11において、移動障害物70は、時間t_10の移動障害物70よりも上側を移動している。
図9Cに示されているように、時間t_11の後の時間t_12において関連要素320が外部センサ200の検出範囲の一部を覆っているかまたは覆い隠していると仮定される。この場合、ロボット装置1000の動作計画において、事前獲得環境情報が使用され、移動障害物70が移動していた事実を把握し、移動障害物70のその後の移動軌跡を予測するために時間t_10と時間t_11の両方の情報を使用して、ロボット装置1000の経路が計画される。
具体的には、図9Cに示されている時間t_12の時点では、基本的に、時間t_11の最新の事前獲得環境情報が、関連要素320によって隠された切替範囲に使用される。一方、時間t_11の事前獲得環境情報が使用される場合、時間t_11から時間t_12までの可動移動体70の運動は、事前獲得環境情報に反映されない。このため、時間t_10と時間t_11の両方の環境情報を使用して、時間t_11から時間t_12までの可動移動体70の運動が予測され、時間t_12の時点の可動移動体70の予測位置(図9Cでは破線によって示されている)が、時間t_11の事前獲得環境情報に反映される。
これにより、図9Cに示されているように、時間t_11の事前獲得環境情報と、時間t_12の時点の可動移動体70の予測位置とに基づいて、ロボット装置1000の移動計画78が立案され得る。
図9Dは、時間t_13においてロボット装置1000が時間t_12に立てられた可動移動体70の移動計画78に基づいて移動している状態を示している。図9Aから図9Dは、移動障害物70の移動軌跡の予測から移動障害物70に接触しない経路が生成される例を説明しているが、ロボット装置1000を停止させる判断が、移動障害物70の存在が認識された時点で行われてもよい。
以上のように、事前獲得環境情報への切り替えが実行される場合、事前に蓄積された過去の推移に基づいて未来の状況が予測され、これにより、未来が予測された事前環境情報と現時点のロボット装置1000の状況とに応じて、動作計画が立てられ得る。
8.事前獲得環境情報が使用される他の例
8.1.フォークリフトなどの荷役車による運搬作業時の動作計画
上記のように、本実施形態では、関連要素が外部センサ200を遮った場合でも、外界の状況が、事前獲得環境情報を使用して推定され、動作計画に使用され得る。以下では、フォークリフトなどの荷役車に適用された場合の具体例が説明される。
フォークリフトなどの荷役車で荷物が運搬される場合、荷物、および荷物を昇降するために使用される関連要素の情報が環境情報に含まれており、環境情報が十分に取得されていない状況が発生する可能性がある。このため、荷物が降ろされる場合に、荷物が降ろされる先の机または床の状況が的確に把握され得ず、これが、予期せぬ事故の発生等につながることが予想される。
図10は、フォークリフト1010による荷下ろしの例を示す模式図である。フォークリフト1010は、ロボット装置1000の一例である。図10は、フォークリフト1010が左側から矢印AA2の方向に移動し、フォークリフト1010が荷台82の前に到達した場合に、フォークリフト1010が、運搬している荷物80を荷台82に降ろす状況を示している。
運搬中、フォークリフト1010によって運搬される荷物80は、二点鎖線で示されている位置にアーム400によって持ち上げられる。このように荷物80が持ち上げられた状態では、荷物80、アーム400、およびアーム400を上下させる移動機構402などの、フォークリフト1010の関連要素が、外部センサ200の検出範囲に含まれる。そして、荷台82の周囲の情報が、これらの関連要素によって隠される。
そのため、図10に示されている状態で、事前獲得環境情報を使用せずに荷物80を荷台82に降ろそうとした場合、荷台82の近傍の情報は、外部センサ200から取得された環境情報に含まれず、このため、フォークリフト1010と荷台82との間の水平方向の位置関係、荷物80を降ろすための垂直移動の量等が正確に把握され得ない状況が発生する。
このため、フォークリフト1010が荷台82に近づく前に、荷台82の環境情報が獲得され、事前獲得環境情報として保持される。フォークリフト1010が荷台82に近づく前の状態では、荷台82の周囲は、外部センサの検出範囲に含まれている。したがって、フォークリフト1010が荷台82に近づく前に獲得された環境情報が、事前獲得環境情報として使用される。
これにより、フォークリフト1010が移動して荷台82に近づくときに、フォークリフト1010と荷台82との間の水平方向の位置関係が把握され得、そのため、フォークリフト1010は、図10に示されている最適位置で停止され得る。さらに、事前獲得環境情報に基づいて、荷物80を降ろすための垂直移動の量が把握され得、そのため、荷物80は、把握された垂直移動の量に基づいて荷物80を降ろすことによって正確に荷台82に載せられ得る。以上のように、フォークリフト1010が荷物80を降ろす前に獲得された事前獲得環境情報を使用して、荷物80が降ろされる先の付近の環境状態が推定され得、安定した運搬作業が行われ得る。
以上のように、タスク中に荷台82およびその周囲が不可避的に隠される状況でも、荷台82およびその周囲の状況は、ロボット装置1000が荷台82から離れているときに事前獲得環境情報として獲得され、これにより、ロボット装置1000が荷台82に近づく場合に所望の動作が行われ得る。
8.2.ロボットアームを搭載した自律移動体の動作計画
アーム100を含むロボット装置1000は、運搬の使用のためだけでなく、手を振るなどのジェスチャによって人または機械とのコミュニケーションを行う目的にも使用され得る。ロボット装置1000が、手(アーム100)を振りながら人または対象物に接近する場合、外部センサ200が常にアーム100を検出し続ける状況が発生し得るが、しかし、本実施形態によれば、ロボット装置1000は、アーム100によって隠された環境情報を推定しながら、安全に人または対象物に接近し得る。
本開示の実施形態の適用の対象は、広い範囲に及び、自律移動体の移動方法または関連要素の形状もしくは役割に依存しない。このため、ロボット装置1000の移動方法は、車輪または無限軌道などの回転機構だけでなく、脚式機構、またはドローンなどの回転翼を含む翼式機構であってもよい。さらに、ロボット装置1000が移動することなくアーム100などの関連要素が動作する構成も可能である。
9.制御装置の構成例
図11は、ロボット装置1000を制御する制御装置500の構成を示すブロック図であり、また、ロボット装置は、制御装置500に環境情報を提供するセンサ200と、動作計画に基づいてロボット装置を移動させるように構成された、制御装置500によって制御される1つ以上の移動アクチュエータ582とを(図示のように)含む。制御装置500は、基本的に、ロボット装置1000の内部に(またはロボット装置1000の機能の少なくとも一部として)設けられるが、ロボット装置1000の外部に設けられてもよく、クラウド上に設けられたものであってもよく、例えばロボット装置1000との通信を行う。図11に示されているように、制御装置500は、バウンディングボックス情報保持部510と、位置および姿勢情報獲得部520と、判定部530と、環境情報設定部540(例えば、事前獲得環境情報を時系列的に順次更新するように構成される)と、環境情報記憶部560と、環境情報削除部550と、動作計画部570と、動作制御部580とを含む。なお、図11に示されている構成要素の各々は、回路(ハードウェア)、またはCPUなどの中央演算処理装置およびこの装置を動作させるためのプログラム(ソフトウェア)を含む。
バウンディングボックス情報保持部510は、アーム100などのロボット装置1000の構成部品のバウンディングボックスおよび把持物体60のバウンディングボックスなどの、関連要素のバウンディングボックスの情報を保持する。位置および姿勢情報獲得部520は、例えば関節に設けられたエンコーダ等からアーム100の関節等の角度を獲得し、これにより、各バウンディングボックスの位置および姿勢の情報を獲得する。
判定部530は、関連要素が外部センサ200から獲得された環境情報に含まれているか否かを判定する。より具体的には、判定部530は、バウンディングボックス情報保持部510からバウンディングボックスの形状およびサイズに関する三次元情報を獲得し、位置および姿勢情報獲得部520からバウンディングボックスの位置および姿勢の情報を獲得する。そして、判定部530は、バウンディングボックス内に環境情報が含まれているか否かに応じて、関連要素が環境情報に含まれているか否かを判定する。バウンディングボックス内に環境情報が含まれている場合、判定部530は、関連要素が環境情報に含まれていると判定し、バウンディングボックス内に環境情報が含まれていない場合、判定部530は、関連要素が環境情報に含まれていないと判定する。
判定部530が関連要素が外部センサ200から獲得された環境情報に含まれていると判定した場合、環境情報設定部540は、この環境情報を、関連要素が含まれていない事前獲得環境情報に切り替える。環境情報記憶部560は、事前獲得環境情報を記憶する構成要素であり、制御周期ごとに事前獲得環境情報(または少なくとも、関連要素を含むと判定された部分以外の環境情報)を更新して記憶する。環境情報設定部540は、環境情報記憶部560に記憶されている事前環境情報への切り替えを実行する。また、移動障害物が事前獲得環境情報に含まれているかまたはこれによって表されている場合、環境情報設定部540は、図9Aから図9Dに示されている手法によって移動障害物の運動を予測し、予測された運動を事前獲得環境情報に反映させる。
バウンディングボックス内に環境情報が含まれている場合、環境情報削除部550は、バウンディングボックス内の環境情報を削除する処理を実行する。環境情報設定部540は、環境情報が削除されたバウンディングボックスの情報を環境情報として使用する。
動作計画部570は、環境情報(例えば、外部センサ200によって新たに検出された環境情報および事前獲得環境情報から形成される)に応じてまたはこれに基づいて(制御機能を実行する例として)ロボット装置1000の動作計画を立てる。動作計画部570は、外部センサ200によって検出された環境情報と事前獲得環境情報とに基づいて障害物までの距離を計算し、障害物までの距離に基づいて動作計画を立てるまたは生成する。動作制御部580は、動作計画部570の動作計画に基づいてロボット装置1000の動作を制御する。ロボット装置1000の動作は、(例えば、ロボット装置を移動させるために1つ以上のモータなどの1つ以上の移動アクチュエータ582を制御する動作制御部580によって、ロボット装置1000自体を移動させる車輪および脚などの移動機構の動作を他に含み、このため、動作制御部は、ロボット全体を移動させるための動作および/またはアーム100などの関連要素を移動させる動作を含み得る動作計画に基づいて1つ以上の移動アクチュエータ582の動作を制御するように構成される。動作計画部570は、例としてプランナ、機械学習、スプライン補間、またはベジェ曲線を使用してロボット装置1000の動作の計画を立てる。
動作計画部は、センサから獲得された環境情報と事前獲得環境情報とに基づいて、関連要素の位置および形状が近似された形状近似情報と障害物との間の距離を計算し、この距離に基づいて動作計画を生成するようにも構成され得る。
なお、1つ以上の移動アクチュエータは、ロボットの平行移動または回転などの本体移動(bulk movement)を制御するための移動アクチュエータ、および/またはロボット装置のその他の部分に対するアーム100などのロボットの一部もしくは部品の移動を制御するための移動アクチュエータであり得る。
1つ以上のアクチュエータ582は、例えば、車輪584および/または関連要素100を駆動し得る。
そのため、図11は、関連要素がセンサから新たに獲得された環境情報に含まれているか否かを判定するように構成された判定部530と、判定部が関連要素が環境情報の一部に含まれていると判定した場合に、センサから新たに獲得された環境情報の少なくとも一部の代わりに、関連要素が含まれていないと判定されている事前獲得環境情報を選択するように構成された環境情報設定部540と、環境情報に応じて制御機能(1つ以上の移動アクチュエータ582の制御および/またはこのような制御を提供するための動作計画の生成など)を実行するように構成された制御部570、580とを備える制御装置500の例を提供する。
図11の構成は、例えば図1に示されているような物理的形態で具体化されるとき、制御装置500と、環境情報を提供するように構成されたセンサ200とを備えるロボット装置1000であって、センサは、対象物を認識するように構成された物体認識センサである、ロボット装置1000の例を提供する。
図12は、関連要素がセンサから新たに獲得された環境情報に含まれているか否かを判定する(ステップ1200で)ことと、判定ステップが、関連要素が環境情報の一部に含まれていると判定した場合に、環境センサから新たに獲得された環境情報の少なくとも一部の代わりに、関連要素が含まれていると判定されていない事前獲得環境情報を選択する(またはこれに切り替える)(ステップ1210で)ことと、環境情報に応じて制御機能を実行する(ステップ1220で)こととを含む制御方法を示す概略フローチャートである。
言及されているように、図12のプロセスまたは方法は、適切なコンピュータソフトウェアを実行することによって方法を実行させられる適切なコンピュータまたはデータ処理装置によって実行され得、この場合、このようなソフトウェア、および/またはこのようなソフトウェアを記憶した機械可読非一時的記憶媒体は、本開示の実施形態として取り扱われるべきである。
図13は、中央処理装置(CPU)1310と、例えば、CPU1310によって実行するための上記のソフトウェアを記憶した機械可読非一時的記憶媒体の例として機能する読み出し専用メモリ(ROM)1320と、ランダムアクセスメモリ1330と、例えばセンサ200および/またはアクチュエータ582とインターフェースするための入力/出力(I/O)インターフェースとを備え、これらがすべて模式的なバス構造1350によって相互接続されている上記のコンピュータまたはデータ処理装置1300を示す模式図である。例えば、装置1300は、センサ200およびアクチュエータ582ならびに関連する機構の機能を除いて、図11の機能を(ソフトウェア制御の下で)実施し得る。
以上で説明されたように、本実施形態によれば、関連要素に対応するバウンディングボックスが生成され、バウンディングボックス内の環境情報が除去される。さらに、関連要素の領域または関連要素によって隠された領域の環境情報は、事前獲得環境情報に切り替えられる。これにより、関連要素が環境情報に基づいて障害物として認識されることが抑制され、ロボット装置1000の移動および動作が最適に制御され得る。
添付の特許請求の範囲またはその均等物の範囲内である限り、設計要件および他の要因に応じて、様々な修正、組み合わせ、副次的な組み合わせ、および変更が行われ得ることが、当業者によって理解されるべきである。
さらに、本明細書に記載されている効果は、例示的なまたは例示された効果にすぎず、限定的なものではない。つまり、上記の効果とともにまたは上記の効果の代わりに、本開示に係る技術は、本明細書の記載から当業者には明らかである他の効果を達成し得る。
さらに、本技術は、番号が付けられた以下の段落で以下に示されるようにも構成され得る。
(1)関連要素がセンサから獲得された環境情報に含まれているか否かを判定するように構成された判定部と、
判定部が関連要素が環境情報に含まれていると判定した場合に、この環境情報を、関連要素が含まれていない事前獲得環境情報に切り替えるように構成された環境情報設定部と
を含む制御装置。
(2)判定部は、関連要素の位置および形状が近似された形状近似情報と環境情報とに基づいて、関連要素が環境情報に含まれているか否かを判定する、
(1)に記載の制御装置。
(3)形状近似情報によって示されている空間内に環境情報が含まれている場合に、判定部は、関連要素が環境情報に含まれていると判定する、
(2)に記載の制御装置。
(4)形状近似情報は、関連要素を包含する単純な形状の情報である、
(2)または(3)に記載の制御装置。
(5)形状近似情報は、関連要素の輪郭を拡大することによって取得される情報である、
(2)から(4)のいずれかに記載の制御装置。
(6)環境情報設定部は、関連要素がセンサの検出範囲に存在しない状態で事前に獲得された最新の事前獲得環境情報に環境情報を切り替え、関連要素が切り替えの対象範囲に存在しない新しい環境情報を設定する、
(1)から(5)のいずれかに記載の制御装置。
(7)事前獲得環境情報は、関連要素がセンサの検出範囲に存在しない状態で時系列的に獲得された情報に順次更新され、
環境情報設定部は、更新によって取得された最新の事前獲得環境情報に環境情報を切り替える、
(1)から(5)のいずれかに記載の制御装置。
(8)環境情報設定部は、関連要素が存在する領域の環境情報を事前獲得環境情報に切り替える、
(1)から(7)のいずれかに記載の制御装置。
(9)環境情報設定部は、関連要素の位置および形状が近似された形状近似情報の領域の環境情報を事前獲得環境情報に切り替える、
(8)に記載の制御装置。
(10)環境情報設定部は、関連要素によって隠された領域の環境情報を事前獲得環境情報に切り替える、
(1)から(9)のいずれかに記載の制御装置。
(11)環境情報設定部は、関連要素が存在する領域および関連要素によって隠された領域の環境情報を事前獲得環境情報に切り替える、
(1)から(9)のいずれかに記載の制御装置。
(12)環境情報設定部は、領域全体の環境情報を事前獲得環境情報に切り替える、
(1)から(11)のいずれかに記載の制御装置。
(13)関連要素が存在する領域の環境情報を削除するように構成された環境情報削除部
を含む、(11)に記載の制御装置。
(14)環境情報設定部は、関連要素の位置および形状が近似された形状近似情報の空間の環境情報を削除する、
(13)に記載の制御装置。
(15)環境情報設定部は、過去に環境情報を削除することによって取得された事前獲得環境情報への切り替えを実行する、
(13)に記載の制御装置。
(16)センサは、対象物を認識するように構成された物体認識センサである、
(1)から(15)のいずれかに記載の制御装置。
(17)センサは、対象物までの距離を測定するように構成された距離測定センサである、
(16)に記載の制御装置。
(18)センサから獲得された環境情報と事前獲得環境情報とに基づいて動作計画を立てるように構成された動作計画部
を含む、(1)から(17)のいずれかに記載の制御装置。
(19)動作計画部は、センサから獲得された環境情報と事前獲得環境情報とに基づいて障害物までの距離を計算し、障害物までの距離に基づいて動作計画を立てる、
(18)に記載の制御装置。
(20)動作計画部は、センサから獲得された環境情報と事前獲得環境情報とに基づいて、関連要素の位置および形状が近似された形状近似情報と障害物との間の距離を計算し、この距離に基づいて動作計画を立てる、
(18)に記載の制御装置。
(21)動作計画に基づいてロボットの動作を制御するように構成された制御部
を含む、(18)に記載の制御装置。
(22)移動障害物が事前獲得環境情報に含まれている場合、環境情報設定部は、移動障害物の運動を予測し、予測された運動を事前獲得環境情報に反映させる、
(1)から(21)のいずれかに記載の制御装置。
(23)制御装置はロボットを制御し、関連要素は、ロボットに関連する要素である、
(1)から(22)のいずれかに記載の制御装置。
(24)関連要素は、ロボットに含まれる構成部品またはロボットが作用する対象物である、
(23)に記載の制御装置。
(25)関連要素がセンサから獲得された環境情報に含まれているか否かを判定するステップと、
関連要素が環境情報に含まれていると判定された場合に、この環境情報を、関連要素が含まれていない事前獲得環境情報に切り替えるステップと
を含む制御方法。
(26)関連要素がセンサから獲得された環境情報に含まれているか否かを判定するように構成されたデバイス、および
関連要素が環境情報に含まれていると判定された場合に、この環境情報を、関連要素が含まれていない事前獲得環境情報に切り替えるように構成されたデバイス
としてコンピュータを機能させるためのプログラム。
さらなる例示の構成は、番号が付けられた以下の条項によって規定される。
1.関連要素がセンサから新たに獲得された環境情報によって表されているか否かを判定するように構成された判定部と、
判定部が関連要素が環境情報の一部によって表されていると判定した場合に、センサから新たに獲得された環境情報の少なくとも一部の代わりに、関連要素が含まれていないと判定されている事前獲得環境情報を選択するように構成された環境情報設定部と、
環境情報に応じて制御機能を実行するように構成された制御部と
を備える制御装置。
2.判定部は、関連要素の位置および形状が近似された形状近似情報と環境情報とに基づいて、関連要素環境情報によって表されているか否かを判定するように構成されている、
条項1に記載の制御装置。
3.判定部は、センサに対する関連要素の現在位置を明示する情報に応答し、
環境情報が、センサに対する関連要素の現在位置を明示する情報に応じた位置で形状近似情報によって明示された空間によって表されている場合に、判定部は、関連要素が環境情報によって表されていると判定するように構成されている、
条項2に記載の制御装置。
4.判定部は、環境情報において、関連要素を含む単純な形状を表す形状近似の存在を検出するように構成されている、
条項2に記載の制御装置。
5.形状近似情報は、マージン領域によって囲まれた関連要素の輪郭の物理的形状を表す、
条項2に記載の制御装置。
6.環境情報設定部は、センサから新たに獲得された環境情報の少なくとも一部の代わりに、判定部が関連要素が環境情報の一部によって表されていなかったと判定した直近の事前獲得環境情報を選択するように構成されている、
条項1に記載の制御装置。
7.環境情報設定部は、事前獲得環境情報を、時系列的に獲得される、関連要素がセンサの検出範囲に存在しない情報に順次更新するように構成されており、
環境情報設定部は、更新によって取得された直近の事前獲得環境情報を環境情報として選択するように構成されている、
条項1に記載の制御装置。
8.環境情報の一部は、関連要素の位置および形状が近似された形状近似情報の領域である、
条項1に記載の制御装置。
9.環境情報の一部は、関連要素によって隠された領域である、
条項1に記載の制御装置。
10.環境情報の一部は、関連要素が含まれていると判定された領域および関連要素によって隠された領域である、
条項1に記載の制御装置。
11.環境情報の一部は、環境情報がセンサによって獲得された領域全体である、
条項1に記載の制御装置。
12.新たに獲得された環境情報の少なくとも一部の環境情報を削除するように構成された環境情報削除部
を備える、条項10に記載の制御装置。
13.環境情報設定部は、削除された環境情報と置換するために事前獲得環境情報を選択するように構成されている、
条項12に記載の制御装置。
14.ロボット装置であって、
条項1に記載の制御装置と、
環境情報を提供するように構成されたセンサと
を備え、センサは、対象物を認識するように構成された物体認識センサである、ロボット装置。
15.センサは、対象物までの距離を測定するように構成された距離測定センサである、
条項14に記載のロボット装置。
16.環境情報に応じて制御機能としてロボット装置の動作計画を生成するように構成された動作計画部
を備える、条項14に記載のロボット装置。
17.動作計画部は、センサから獲得された環境情報と事前獲得環境情報とに基づいて障害物までの距離を計算し、障害物までの距離に基づいて動作計画を生成するように構成されている、
条項16に記載のロボット装置。
18.判定部は、センサに対する関連要素の現在位置を明示する情報に応答し、
動作計画部は、センサから獲得された環境情報と事前獲得環境情報とに基づいて、関連要素の位置および形状が近似された形状近似情報と障害物との間の距離を計算し、距離に基づいて動作計画を生成するように構成されている、
条項16に記載のロボット装置。
19.ロボット装置を移動させるための1つ以上の移動アクチュエータ
を備え、制御部は、動作計画に基づいてロボット装置を移動させるための1つ以上の移動アクチュエータの動作を制御するように構成されている、
条項16に記載のロボット装置。
20.移動障害物が事前獲得環境情報によって表されている場合に、環境情報設定部は、移動障害物の運動を予測し、予測された運動を事前獲得環境情報に反映させるように構成されている、
条項14に記載のロボット装置。
21.関連要素は、ロボット装置に関連する要素であり、ロボット装置に対する現在の要素位置に応じてロボット装置に対して移動可能であり、ロボット装置によって制御され、
センサは、ロボット装置に対する現在のセンサ位置を有し、
判定部は、現在の要素位置および現在のセンサ位置に応じて、センサに対する関連要素の現在位置を明示する情報を検出するように構成されている。
条項14に記載のロボット装置。
22.関連要素は、ロボット装置の構成部品である、
条項21に記載のロボット装置。
23.関連要素がセンサから新たに獲得された環境情報によって表されているか否かを判定するステップと、
判定ステップが、関連要素が環境情報の一部によって表されていると判定した場合に、環境センサから新たに獲得された環境情報の少なくとも一部の代わりに、関連要素が含まれていると判定されていない事前獲得環境情報を選択するステップと、
環境情報に応じて制御機能を実行するステップと
を含む制御方法。
24.コンピュータによって実行されたときにコンピュータに条項23の方法を実行させるコンピュータソフトウェア。
25.条項24に記載のコンピュータソフトウェアを記憶した非一時的な機械可読媒体。
500 制御装置
530 判定部
540 環境情報設定部
570 動作計画部
580 動作制御部

Claims (25)

  1. 関連要素がセンサから新たに獲得された環境情報によって表されているか否かを判定するように構成された判定部と、
    前記判定部が前記関連要素が前記環境情報の一部によって表されていると判定した場合に、前記センサから新たに獲得された前記環境情報の少なくとも前記一部の代わりに、前記関連要素が含まれていないと判定されている事前獲得環境情報を選択するように構成された環境情報設定部と、
    前記環境情報に応じて制御機能を実行するように構成された制御部と
    を備える制御装置。
  2. 前記判定部は、前記関連要素の位置および形状が近似された形状近似情報と前記環境情報とに基づいて、前記関連要素が前記環境情報によって表されているか否かを判定するように構成されている、
    請求項1に記載の制御装置。
  3. 前記判定部は、前記センサに対する前記関連要素の現在位置を明示する情報に応答し、
    前記環境情報が、前記センサに対する前記関連要素の前記現在位置を明示する前記情報に応じた位置で前記形状近似情報によって明示された空間によって表されている場合に、前記判定部は、前記関連要素が前記環境情報によって表されていると判定するように構成されている、
    請求項2に記載の制御装置。
  4. 前記判定部は、前記環境情報において、前記関連要素を含む単純な形状を表す形状近似の存在を検出するように構成されている、
    請求項2に記載の制御装置。
  5. 前記形状近似情報は、マージン領域によって囲まれた前記関連要素の輪郭の物理的形状を表す、
    請求項2に記載の制御装置。
  6. 前記環境情報設定部は、前記センサから新たに獲得された前記環境情報の少なくとも前記一部の代わりに、前記判定部が前記関連要素が前記環境情報の前記一部によって表されていなかったと判定した直近の事前獲得環境情報を選択するように構成されている、
    請求項1に記載の制御装置。
  7. 前記環境情報設定部は、前記事前獲得環境情報を、時系列的に獲得される、前記関連要素が前記センサの検出範囲に存在しない情報に順次更新するように構成されており、
    前記環境情報設定部は、前記更新によって取得された直近の事前獲得環境情報を前記環境情報として選択するように構成されている、
    請求項1に記載の制御装置。
  8. 前記環境情報の前記一部は、前記関連要素の位置および形状が近似された形状近似情報の領域である、
    請求項1に記載の制御装置。
  9. 前記環境情報の前記一部は、前記関連要素によって隠された領域である、
    請求項1に記載の制御装置。
  10. 前記環境情報の前記一部は、前記関連要素が含まれていると判定された領域および前記関連要素によって隠された領域である、
    請求項1に記載の制御装置。
  11. 前記環境情報の前記一部は、環境情報が前記センサによって獲得された領域全体である、
    請求項1に記載の制御装置。
  12. 前記新たに獲得された環境情報の少なくとも前記一部の環境情報を削除するように構成された環境情報削除部
    を備える、請求項10に記載の制御装置。
  13. 前記環境情報設定部は、前記削除された環境情報と置換するために前記事前獲得環境情報を選択するように構成されている、
    請求項12に記載の制御装置。
  14. ロボット装置であって、
    請求項1に記載の制御装置と、
    環境情報を提供するように構成されたセンサと
    を備え、前記センサは、対象物を認識するように構成された物体認識センサである、ロボット装置。
  15. 前記センサは、前記対象物までの距離を測定するように構成された距離測定センサである、
    請求項14に記載のロボット装置。
  16. 前記環境情報に応じて前記制御機能として前記ロボット装置の動作計画を生成するように構成された動作計画部
    を備える、請求項14に記載のロボット装置。
  17. 前記動作計画部は、前記センサから獲得された前記環境情報と前記事前獲得環境情報とに基づいて障害物までの距離を計算し、前記障害物までの前記距離に基づいて前記動作計画を生成するように構成されている、
    請求項16に記載のロボット装置。
  18. 前記判定部は、前記センサに対する前記関連要素の現在位置を明示する情報に応答し、
    前記動作計画部は、前記センサから獲得された前記環境情報と前記事前獲得環境情報とに基づいて、前記関連要素の位置および形状が近似された形状近似情報と障害物との間の距離を計算し、前記距離に基づいて前記動作計画を生成するように構成されている、
    請求項16に記載のロボット装置。
  19. 前記ロボット装置を移動させるための1つ以上の移動アクチュエータ
    を備え、前記制御部は、前記動作計画に基づいて前記ロボット装置を移動させるための前記1つ以上の移動アクチュエータの動作を制御するように構成されている、
    請求項16に記載のロボット装置。
  20. 移動障害物が前記事前獲得環境情報によって表されている場合に、前記環境情報設定部は、前記移動障害物の運動を予測し、前記予測された運動を前記事前獲得環境情報に反映させるように構成されている、
    請求項14に記載のロボット装置。
  21. 前記関連要素は、前記ロボット装置に関連する要素であり、前記ロボット装置に対する現在の要素位置に応じて前記ロボット装置に対して移動可能であり、前記ロボット装置によって制御され、
    前記センサは、前記ロボット装置に対する現在のセンサ位置を有し、
    前記判定部は、前記現在の要素位置および前記現在のセンサ位置に応じて、前記センサに対する前記関連要素の現在位置を明示する情報を検出するように構成されている、
    請求項14に記載のロボット装置。
  22. 前記関連要素は、前記ロボット装置の構成部品である、
    請求項21に記載のロボット装置。
  23. 関連要素がセンサから新たに獲得された環境情報によって表されているか否かを判定するステップと、
    前記判定ステップが、前記関連要素が前記環境情報の一部によって表されていると判定した場合に、前記環境センサから新たに獲得された前記環境情報の少なくとも前記一部の代わりに、前記関連要素が含まれていると判定されていない事前獲得環境情報を選択するステップと、
    前記環境情報に応じて制御機能を実行するステップと
    を含む制御方法。
  24. コンピュータによって実行されたときに前記コンピュータに請求項23に記載の方法を実行させるコンピュータソフトウェア。
  25. 請求項24に記載のコンピュータソフトウェアを記憶した非一時的な機械可読媒体。
JP2020562788A 2018-05-30 2019-01-18 制御装置、制御方法、ロボット装置、プログラムおよび非一時的な機械可読媒体 Active JP7310831B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018103203 2018-05-30
JP2018103203 2018-05-30
PCT/JP2019/001525 WO2019230037A1 (en) 2018-05-30 2019-01-18 Control apparatus, control method, robot apparatus and program

Publications (2)

Publication Number Publication Date
JP2021526081A true JP2021526081A (ja) 2021-09-30
JP7310831B2 JP7310831B2 (ja) 2023-07-19

Family

ID=65276249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020562788A Active JP7310831B2 (ja) 2018-05-30 2019-01-18 制御装置、制御方法、ロボット装置、プログラムおよび非一時的な機械可読媒体

Country Status (5)

Country Link
US (1) US11803189B2 (ja)
EP (1) EP3784449A1 (ja)
JP (1) JP7310831B2 (ja)
CN (1) CN112218745A (ja)
WO (1) WO2019230037A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022100030A (ja) * 2020-12-23 2022-07-05 京セラ株式会社 干渉判定装置、ロボット制御システム、及び干渉判定方法
EP4343479A1 (en) * 2022-09-20 2024-03-27 Sandvik Mining and Construction Oy Environment related data management for a mobile mining vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005109647A (ja) * 2003-09-29 2005-04-21 Casio Comput Co Ltd 画像処理装置及びプログラム
JP2008006519A (ja) * 2006-06-27 2008-01-17 Toyota Motor Corp ロボット装置及びロボット装置の制御方法
JP2012130986A (ja) * 2010-12-21 2012-07-12 Toyota Motor Corp 移動体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009255264A (ja) 2008-04-21 2009-11-05 Toyota Motor Corp 自律動作型ロボット
JP5560794B2 (ja) 2010-03-16 2014-07-30 ソニー株式会社 制御装置、制御方法およびプログラム
FI20106090A0 (fi) * 2010-10-21 2010-10-21 Zenrobotics Oy Menetelmä kohdeobjektin kuvien suodattamiseksi robottijärjestelmässä
WO2013046563A1 (ja) 2011-09-29 2013-04-04 パナソニック株式会社 自律移動装置、自律移動方法、及び、自律移動装置用のプログラム
JP6069923B2 (ja) * 2012-07-20 2017-02-01 セイコーエプソン株式会社 ロボットシステム、ロボット、ロボット制御装置
CN104236618B (zh) * 2014-08-04 2017-01-11 湘潭大学 泵车间臂架姿态防碰撞检测方法及系统
WO2016022155A1 (en) * 2014-08-08 2016-02-11 Robotic Vision Technologies, LLC Sensor-based safety features for robotic equipment
CN108007452B (zh) * 2017-12-08 2021-11-26 北京奇虎科技有限公司 根据障碍物更新环境地图的方法、装置及机器人

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005109647A (ja) * 2003-09-29 2005-04-21 Casio Comput Co Ltd 画像処理装置及びプログラム
JP2008006519A (ja) * 2006-06-27 2008-01-17 Toyota Motor Corp ロボット装置及びロボット装置の制御方法
JP2012130986A (ja) * 2010-12-21 2012-07-12 Toyota Motor Corp 移動体

Also Published As

Publication number Publication date
US20210240194A1 (en) 2021-08-05
CN112218745A (zh) 2021-01-12
US11803189B2 (en) 2023-10-31
EP3784449A1 (en) 2021-03-03
WO2019230037A1 (en) 2019-12-05
JP7310831B2 (ja) 2023-07-19

Similar Documents

Publication Publication Date Title
JP6374993B2 (ja) 複数の吸着カップの制御
JP6807949B2 (ja) 干渉回避装置
US11717971B2 (en) Method and computing system for performing motion planning based on image information generated by a camera
JP5620445B2 (ja) 選択条件に基づいてロボットの保持位置姿勢を決定する物品取出装置
US20180290307A1 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
JP2023155399A (ja) ピースロス管理メカニズムを有するロボットシステム
US20200139545A1 (en) Route Outputting Method, Route Outputting System and Route Outputting Program
US11331799B1 (en) Determining final grasp pose of robot end effector after traversing to pre-grasp pose
JP2022009305A (ja) 1つまたは複数のプロセッサ上に離散化された環境を記憶するロボットのモーションプラニングおよびその改善された動作
JP2019188580A (ja) 情報処理装置、制御方法、ロボットシステム、コンピュータプログラム、及び記憶媒体
JPWO2012140770A1 (ja) ロボット制御装置
CN112292235A (zh) 机械手控制装置、机械手控制方法及机械手控制程序
JP2021526081A (ja) 制御装置、制御方法、ロボット装置、およびプログラム
WO2023182345A1 (ja) ハンドリングシステム、情報処理システム、情報処理方法、プログラム、及び記憶媒体
WO2022259600A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US20240208058A1 (en) Methods and apparatus for automated ceiling detection
US20240157572A1 (en) Robot having a plurality of legs and method for determining touchdown position thereof
WO2022070575A1 (ja) 移動体の制御装置及び制御方法
JP7358095B2 (ja) 荷役装置、荷役システムおよびプログラム
JP7049411B2 (ja) 移動体
US20240300109A1 (en) Systems and methods for grasping and placing multiple objects with a robotic gripper
US20230264352A1 (en) Robot device for detecting interference of constituent member of robot
Leibold et al. RoboCup@ Work league winners 2012
JP7286524B2 (ja) ピッキングロボット、ピッキング方法及びプログラム
US20230182293A1 (en) Systems and methods for grasp planning for a robotic manipulator

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210813

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R151 Written notification of patent or utility model registration

Ref document number: 7310831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151