JP2023148859A - 制御方法、制御システム及び保持制御プログラム - Google Patents

Abstract

【課題】 ロボットが対象物をより適切に保持する。【解決手段】情報処理装置が実行する制御方法であって、情報処理装置が、対象物に接触する接触子を有しかつ当該接触子を用いて対象物を保持する保持体の位置及び形状の少なくとも一方の情報を取得するステップと、対象物に対応する対象物エリアと、保持体に対応する保持体エリアとをそれぞれ算出するステップと、基準軸を算出するステップと、対象物エリア内での基準軸上における保持体と対象物との距離を第一距離として取得するステップと、保持体エリア内での基準軸上における保持体と当該保持体に対向する物体との距離を第二距離として取得するステップと、第二距離を複数取得するステップと、複数の第二距離毎に第一距離との差分量を算出すると共に、当該差分量が最大となる保持位置を算出し、当該保持位置にて対象物を保持体により保持させるステップと、を含む。【選択図】図１

Description

本発明は、制御方法、制御システム及び保持制御プログラムに関する。

引用文献１には、ロボットにて対象物を取り出す際に対象物を撮像し撮像結果を画像処理することで対象物を認識する画像処理方法が開示されている。この画像処理方法では、同一の対象物を異なる露光条件にて撮像した撮像結果から輝度の差分を求めて対象物の形状を正しく認識する方法とされている。

特許第７００７３２４号公報

しかしながら、上記従来技術では、対象物の形状を正しく認識した後にロボットが当該対象物を把持する際、対象物の周囲にある障害物との干渉を避けながらより適切に対象物を把持させるという観点からは改良の余地がある。

本発明は、上記の課題を鑑みてなされたものであり、ロボットが対象物をより適切に保持することを目的とする。

一実施形態にかかる制御方法は、情報処理装置が実行する制御方法であって、前記情報処理装置が、対象物に接触する接触子を有しかつ当該接触子を用いて前記対象物を保持する保持体の位置及び形状の少なくとも一方の情報を取得するステップと、前記対象物に対応する対象物エリアと、前記保持体に対応する保持体エリアとをそれぞれ算出するステップと、前記保持体が前記対象物を保持する際の前記保持体の移動軌跡を算出するステップと、前記対象物エリア内での前記移動軌跡上における前記保持体と前記対象物との距離を第一距離として取得するステップと、前記保持体エリア内での前記移動軌跡上における前記保持体と当該保持体に対向する物体との距離を第二距離として取得するステップと、前記保持体を移動させて前記第二距離を複数取得するステップと、複数の前記第二距離毎に前記第一距離との差分量を算出すると共に、当該差分量が最大となる前記保持体エリアに対応する前記保持体の位置を算出し、当該位置にて前記対象物を前記保持体により保持させるステップと、を含む。

一実施形態によれば、ロボットが対象物をより適切に把持することができる。

一実施形態に係る制御システムの構成の一例を示す図である。 一実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 一実施形態に係る制御システムの機能構成の一例を示す図である。 一実施形態に係る制御システムにおける対象物エリア及び保持体エリアの一例を示す図である。 一実施形態に係る制御システムにおいて対象物を保持する際の第一段階の状態を示す図である。 一実施形態に係る制御システムにおいて対象物を保持する際の第二段階の状態を示す図である。 一実施形態に係る制御システムにおいて対象物を保持する際の第三段階の状態を示す図である。 一実施形態に係る制御システムが実行する処理の一例を示すフローチャートである。 一実施形態に係る制御システムにおいて対象物を保持する際の別例を示す図である。 一実施形態に係る制御システムにおいて対象物を保持する際の更なる別例を示す図である

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。また、各図に適宜記す矢印Ｘ、矢印Ｙ、矢印Ｚは、奥行方向、幅方向、垂直方向をそれぞれ表している。

［第１実施形態］
＜システム概要＞
まず、本実施形態に係る制御システムの概要について説明する。本実施形態に係る制御システムは、任意の場所に載置された対象物を認識すると共に、ロボットに設けられた保持体が当該対象物を保持するようロボットを制御するシステムである。

＜システム構成＞
図１は、本実施形態に係る制御システムの構成の一例を示す図である。図１に示すように、本実施形態に係る制御システム１８は、情報処理装置としての制御装置１０と、ロボットとしてのロボットアーム１２と、撮像装置１４と、を含む。制御装置１０は、ロボットアーム１２と、撮像装置１４とにそれぞれ相互に通信可能に接続されている。例えば、制御装置１０と各装置とは、通信ケーブルによる有線接続されている。なお、本実施形態では、制御装置１０と各装置とが有線接続とされているが、これに限らず、図示しないネットワークを介して接続されてもよい。この場合、ネットワークは、一例として、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、またはこれらの組み合わせである。

また、図１に示す例では、制御装置１０、およびロボットアーム１２は、通信ケーブルを介して通信可能に接続された物理的に異なる装置であるが、これは本実施形態を限定するものではない。例えば、制御装置１０は、ロボットアーム１２に内蔵されていてもよい。また、図１に示す例では、ロボットアーム１２および撮像装置１４は、物理的に連結された異なる装置であるが、これは本実施形態を限定するものではない。例えば、撮像装置１４は、ロボットアーム１２に内蔵されていてもよい。

さらに、図１に示す例では、制御システム１８が、ロボットアーム１２および撮像装置１４を１つずつ含んでいるが、これは本実施形態を限定するものではない。制御システム１８は、複数のロボットアーム１２および複数の撮像装置１４を含んでいてもよい。また、図１に示す例では、１つのロボットアーム１２に対して１つの撮像装置１４が設けられているが、これは本実施形態を限定するものではない。制御システム１８において、１つのロボットアーム１２に対応して複数の撮像装置１４が設けられていてもよいし、複数のロボットアーム１２に対応して１つの撮像装置１４が設けられていてもよい。

制御装置１０は、対象物ｏｂｊ１を被写体として含む画像を取得し、当該対象物ｏｂｊ１における保持位置を示す保持位置情報を、後述の生成モデル６０を用いて生成する装置である。また、制御装置１０は、生成した保持位置情報に基づいて、対象物を保持する保持動作を実行するようロボットアーム１２を制御する。制御装置１０は、特許請求の範囲に記載した「情報処理装置」を実現する構成の一例である。制御装置１０の詳細な構成については後述する。

対象物を被写体として含む画像とは、対象物が撮像されることにより生成された画像である。本実施形態において、当該画像は、少なくとも１つの対象物を被写体として含む。例えば、撮像装置１４が対象物ｏｂｊ１を撮像した画像、障害物ｏｂｊ２、ｏｂｊ３を撮像した画像、および対象物ｏｂｊ１及び障害物ｏｂｊ２、ｏｂｊ３の両方を撮像した画像は、それぞれ、対象物を被写体として含む画像の一例である。

保持位置とは、現実空間に存在する対象物ｏｂｊ１において、当該対象物ｏｂｊ１をロボットアーム１２に保持させる保持部分の現実空間における位置である。本実施形態では、保持位置は、画像上の領域によって特定される。換言すると、当該画像上の領域は、保持部分の現実空間における位置を画像上において示す領域である。なお、複数の保持位置候補が連続する領域を、保持領域とする。

ロボットアーム１２は、制御装置１０の制御に基づいて、物体を把持する把持動作を実行する。具体的には、図１に示すように、ロボットアーム１２は、複数の回転軸を有する多関節ロボットであり、台座部２２と、ベース部２４と、アーム部２６と、保持体としてのエンドエフェクタ２８とを含む。

台座部２２は、ロボットアーム１２の設置面に設置される。設置面とは、例えば、床であるが、これに限られない。台座部２２は、制御装置１０の制御に基づいて設置面を移動可能であり得る。例えば、台座部２２は、設置面に接する車輪を有していてもよい。

ベース部２４は、台座部２２に対し、旋回可能に連結される。

アーム部２６は、複数のアームを含む。各アームの基端部は、ベース部２４または他のアームの先端部に対して、定められた軸まわりに回転可能に連結される。また、アーム部２６の先端にはエンドエフェクタ２８が、定められた軸まわりに回転可能に接続される。また、アーム部２６の先端付近には、撮像装置１４が連結される。

エンドエフェクタ２８は、多指ハンドとされており、接触子としての一対の指部３０Ａ、３０Ｂを含む。エンドエフェクタ２８は、制御装置１０の制御に基づいて、指部３０Ａ、３０Ｂを互いに離れるように開く動作と、互いに接近するよう閉じる動作とを行う。上述したロボットアーム１２の保持動作は、エンドエフェクタ２８の開閉により実現される。すなわち、本実施形態におけるロボットアーム１２の保持動作は、対象物ｏｂｊ１を把持することで実現される。

ロボットアーム１２は、制御装置１０の制御に基づいて、台座部２２の移動、ベース部２４の旋回、および各アームの回転の一部または全部を実行することにより、エンドエフェクタ２８を所望の位置に移動する。

撮像装置１４は、制御装置１０の制御に基づいて、載置台３４の上に載置された対象物ｏｂｊ１および障害物ｏｂｊ２、ｏｂｊ３の一部または全部を撮像した画像を生成する。例えば、撮像装置１４の撮像方向および画角は、載置台３４の上を撮像範囲とするよう、制御装置１０の制御に基づいて変更される。

また、撮像装置１４は、制御装置１０の制御に基づいて、載置台３４、載置台３４の上に載置された対象物ｏｂｊ１、障害物ｏｂｊ２、ｏｂｊ３と、撮像装置１４との間の距離をそれぞれ取得する。例えば、撮像装置１４は、公知の深度カメラであり、画素ごとの深度情報から前述の距離を取得するよう、制御装置１０の制御に基づいて作動する。ここで、「距離」には、載置台３４、対象物ｏｂｊ１、障害物ｏｂｊ２、ｏｂｊ３と、撮像装置１４との２点間のそれぞれの最短距離の情報のみならず、所定の軌跡上及び基準軸上の少なくとも一方における２点間の距離の情報が含まれているものとする。本実施形態では、一例として、略上下方向（Ｚ方向）を軸として当該軸上における２点間の距離の情報を含んで取得している。

＜ハードウェア構成＞
次に、制御装置１０のハードウェア構成について説明する。図２は、制御装置１０のハードウェア構成の一例を示す図である。図２に示すように、制御装置１０は、バスＢを介して相互に接続された、プロセッサ３６と、メモリ３８と、ストレージ４０と、通信Ｉ／Ｆ４２と、入出力Ｉ／Ｆ４４と、を備える。

プロセッサ３６は、ストレージ４０に記憶されたプログラムをメモリ３８に展開して実行することにより、制御装置１０の各構成を制御し、制御装置１０の機能を実現する。プロセッサ３６が実行するプログラムは、ＯＳ（Operating System）及び保持制御プログラム４６（図３参照）を含むが、これに限られない。プロセッサ３６が保持制御プログラム４６を実行することにより、本実施形態に係る制御方法が実現される。プロセッサ３６は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。なお、保持制御プログラム４６は、請求項４に記載の「プログラム」に相当する。

メモリ３８は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、ＭＲＡＭ（Magnetoresistive RAM）、又はこれらの組み合わせである。

ストレージ４０は、ＯＳ、保持制御プログラム４６、及び各種のデータを記憶する。ストレージ４０は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。

通信Ｉ／Ｆ４２は、制御装置１０を、通信ケーブルやネットワークを介して、外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ４２は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、 Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信（例えば、Fibre Channel）に準拠したアダプタであるが、これに限られない。

入出力Ｉ／Ｆ４４は、制御装置１０に撮像装置１４及びロボットアーム１２を接続するためのインタフェースであり、一例として所定の規格に適合した複数の入出力端子を含んで構成されている。入出力Ｉ／Ｆ４４は、接続されている撮像装置１４及びロボットアーム１２に対してそれぞれ情報の取得と出力とを行う。

なお、本実施形態において、保持制御プログラム４６は、制御装置１０の製造段階でメモリ３８又はストレージ４０に書き込まれてもよいし、ネットワーク等を介して制御装置１０に提供されてもよいし、図示しないメディアなどの非一時的でコンピュータ読み取り可能な記録媒体を介して制御装置１０に提供されてもよい。

＜機能構成＞
次に、制御装置１０の機能構成について説明する。図３は、制御装置１０の機能構成の一例を示す図である。図３に示すように、制御装置１０は、制御部４８と、記憶部５０と、を有する。制御装置１０は、一例として上述のハードウェア資源を用いて、具体的には、プロセッサ３６がメモリ３８又はストレージ４０に記憶された保持制御プログラム４６を読み出し実行することで、各機能構成を実現する。制御装置１０が実現する機能構成について説明する。

制御部４８は、取得部５２と、生成部５４と、算出部５６と、把持制御部５７、と含む。取得部５２は、撮像装置１４から、対象物ｏｂｊ１及び障害物ｏｂｊ２、ｏｂｊ３を被写体として含む画像を取得する。また、取得部５２は、載置台３４、対象物ｏｂｊ１及び障害物ｏｂｊ２、ｏｂｊ３と、撮像装置１４との２点間のそれぞれの距離を取得する。

また、取得部５２は、エンドエフェクタ２８の位置及び形状の情報を取得する。一例として、取得部５２は、ロボットアーム１２に設けられた図示しないセンサ等からの情報及び画像情報の少なくとも一方を含む情報を基にエンドエフェクタ２８の傾きや姿勢、空間上における位置の情報をリアルタイムで取得する。また、取得部５２は、画像情報及び予め入力された寸法情報の少なくとも一方を含む情報からエンドエフェクタ２８の形状をリアルタイムで取得する。このエンドエフェクタ２８の形状には、指部３０Ａ、３０Ｂの開き度合に関する情報も含まれる。

生成部５４は、取得部５２が取得した画像を後述する生成モデル６０に入力することにより、保持位置の情報（画像上の領域）を生成する。

算出部５６は、エンドエフェクタ２８の位置及び把持位置情報から、エンドエフェクタ２８の移動軌跡及び基準軸を算出する。一例として、本実施形態では対象物ｏｂｊ１の近傍（対象物ｏｂｊ１のＺ方向上方）を目標位置としてエンドエフェクタ２８の現在位置から目標位置までの移動軌跡と、当該目標位置におけるエンドエフェクタ２８と対象物ｏｂｊ１とを結ぶ基準軸とをそれぞれ算出する。本実施形態では、一例として、この基準軸はエンドエフェクタ２８と対象物ｏｂｊ１と結ぶ仮想線であり、当該目標位置からエンドエフェクタ２８が対象物ｏｂｊ１を保持する際の移動軌跡とされている。目標位置からの移動軌跡において、対象物ｏｂｊ１をエンドエフェクタ２８が保持する際、具体的には未把持状態のエンドエフェクタ２８が載置台３４上の対象物ｏｂｊ１の近傍位置（目標位置）から対象物ｏｂｊ１を把持し載置台３４から持ち上げる際には、エンドエフェクタ２８を略上下方向の移動軌跡に沿って移動させる（図７参照）。なお、本実施形態では、基準軸は略上下方向の移動軌跡とされているが、これに限らず、対象物ｏｂｊ１が載置された後述する載置面３４Ａの鉛直方向でエンドエフェクタ２８と対象物ｏｂｊ１とを結ぶ仮想線など、対象物ｏｂｊ１の載置状況やエンドエフェクタ２８の位置や形状に応じて設定してもよい。

算出部５６は、エンドエフェクタ２８が保持可能な領域に対応する対象物エリア６２と、エンドエフェクタ２８に対応する保持体エリア６４とをそれぞれ算出する。具体的には、図４に示されるように、対象物エリア６２は、略上下方向（移動軌跡、Ｚ方向）視にてエンドエフェクタ２８の指部３０Ａと指部３０Ｂとで挟まれた領域（エンドエフェクタ２８が保持可能な領域）と載置台３４の載置面３４Ａとが重なるエリアとされている（なお、図４では対象物エリア６２をわかり易く図示するため対象物ｏｂｊ１及び障害物ｏｂｊ２、ｏｂｊ３の図示を省略している。また、図４～図７、図９において、説明の都合上エンドエフェクタ２８の形状を概略的に図示している）。また、保持体エリア６４は、略上下方向（基準軸）視にて載置台３４の載置面３４Ａとエンドエフェクタ２８の指部３０Ａ、３０Ｂとが重なるエリアとされている。なお、本実施形態では、対象物エリア６２は略上下方向視にてエンドエフェクタ２８の指部３０Ａと指部３０Ｂとで挟まれた領域と、載置面３４Ａとが重なるエリアとされているが、エンドエフェクタ２８の移動軌跡（基準軸）によってはこれに限らない。一例として、図１０に示されるように、壁面６８に取り付けられた複数の棚板６６のうち一つの棚板６６上に載置された対象物ｏｂｊ１をエンドエフェクタ２８にて保持する場合は、対象物ｏｂｊ１の近傍にてエンドエフェクタ２８の移動軌跡は一般的に略水平方向となる。この場合の対象物エリア６２は、略水平方向（移動軌跡、Ｘ方向）視にて指部３０Ａと指部３０Ｂとで挟まれた領域と、壁面６８とが重なるエリアとなる。同様に、保持体エリア６４も、略水平方向（移動軌跡、Ｘ方向）視にて壁面６８と指部３０Ａ、３０Ｂとが重なるエリアとなる。つまり、対象物エリア６２及び保持体エリア６４は、エンドエフェクタ２８の移動軌跡（基準軸）上に存在すると共に、移動軌跡（基準軸）に応じて場所が変化する。

算出部５６は、予め撮像装置１４とエンドエフェクタ２８の指部３０Ａ、３０Ｂとの位置関係を取得し、取得部５２が取得した距離を基に第一距離７０と第二距離７２とを取得する。すなわち、図５に示されるように、算出部５６は、取得部５２からの距離を基に対象物エリア６２内における移動軌跡（基準軸）上でのエンドエフェクタ２８と対象物エリア６２内の物体（本実施形態では対象物ｏｂｊ１）との最短距離を第一距離７０として算出する。同様に、算出部５６は、取得部５２からの距離を基に保持体エリア６４内におけるエンドエフェクタ２８と、エンドエフェクタ２８に対向する物体との最短距離を第二距離７２として算出する。本実施形態では、保持体エリア６４内におけるエンドエフェクタ２８と移動軌跡上対向する物体は障害物ｏｂｊ２、ｏｂｊ３が該当し、当該障害物ｏｂｊ２、ｏｂｊ３とエンドエフェクタ２８の基準点Ｐとの移動軌跡上での最短距離（この場合は基準点Ｐと障害物ｏｂｊ２との距離）が第二距離７２に相当する。なお、基準点Ｐとは、エンドエフェクタ２８の任意の部位とされており、本実施形態では一例として、エンドエフェクタ２８が対象物ｏｂｊ１を把持した際に対象物ｏｂｊ１が存在可能な部位であるスペースＳＰ内における対象物ｏｂｊ１（載置面３４Ａ）から最も離れた部位に設定されている。また、第一距離７０及び第二距離７２を算出する際においては、対象物エリア６２及び保持体エリア６４内に存在する物体の認識をすることなく単純に各エリア内での最短距離を算出してもよいし、対象物エリア６２及び保持体エリア６４内に存在する物体の認識を実行した上で各エリア内での最短距離を算出してもよい。

算出部５６は、指部３０Ａ、３０Ｂの可動範囲内にて指部３０Ａ、３０Ｂを所定の位置へ変更させた上で第二距離７２を算出することを繰り返すことで、第二距離７２を複数算出する。具体的には、図６に示されるように、エンドエフェクタ２８の指部３０Ａ、３０Ｂを所定の範囲内にて所定のステップ（動き幅）で作動させて指部３０Ａ、３０Ｂの開き幅を変化させながら指部３０Ａ、３０Ｂのそれぞれの位置に対応した第二距離７２を複数算出する。この所定の範囲とは、一例として、指部３０Ａ、３０Ｂの最大開き幅から最小開き幅までの範囲とされている。また、所定のステップは、一例として１ｍｍなど任意の数値に設定されている。そして、算出部５６は、複数の第二距離７２毎に第一距離７０との差分を算出し、当該差分が最大となりかつ対象物ｏｂｊ１を保持可能となる指部３０Ａ、３０Ｂの位置（開き幅）を判定する。なお、差分が最大となりかつ対象物ｏｂｊ１を保持可能となる指部３０Ａ、３０Ｂの位置が請求項１、３、４記載の「保持位置」に相当する。

把持制御部５７は、算出部５６が算出した差分が最大となる指部３０Ａ、３０Ｂの位置へ指部３０Ａ、３０Ｂを移動軌跡（Ｚ方向）に沿って移動させると共に、当該位置にてエンドエフェクタ２８を移動軌跡に沿って対象物ｏｂｊ１へ向けて移動させ、図７に示されるように、対象物ｏｂｊ１を保持（把持）し持ち上げて移動させるように作動させる。換言すると、把持制御部５７は、例えば、対象物ｏｂｊ１の検出結果に基づいて、ピッキング対象とする対象物ｏｂｊ１を選択し、選択したピッキング対象を第一距離７０と第二距離７２との差分が最大となる位置にてピッキングできるようにロボットアーム１２を制御する。

図３に示されるように、通信部８０は、通信Ｉ／Ｆ４２（図２参照）により実現される。通信部８０は、通信ケーブルやネットワークを介して、撮像装置１４とロボットアーム１２との間で情報の送受信を行う。通信部８０は、撮像装置１４から撮影画像を受信する。また、通信部８０は、ロボットアーム１２に対して制御情報を送信し、所定のタスクを実行させる。

記憶部５０は、メモリ３８及びストレージ４０により実現される。記憶部５０には、生成モデル６０、保持制御プログラム４６、二次元画像記憶部４７及び距離情報記憶部４９が格納されている。

生成モデル６０は、対象物ｏｂｊ１を被写体として含む画像の入力に対して、当該対象物ｏｂｊ１における保持位置を示す保持位置情報を出力するように公知技術により予め機械学習された学習済みの学習モデルである。生成モデル６０の学習処理及び再学習処理は、例えば、サーバ装置により行われるが、これに限られない。生成モデル６０の学習処理及び再学習処理は、サーバ装置以外の他の装置で行われ、サーバ装置に提供されてもよい。生成モデル６０は、例えば、ＤＮＮ（Deep Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＣＮＮ（Convolutional Neural Network）、ＬＳＴＭ（Long Short-Term Memory）等のニューラルネットワークであるが、これに限られない。生成モデル６０は、決定木、ＳＶＭ（Support Vector Machine）等の学習モデルであってもよい。また、生成モデル６０の学習方法は、例えば、勾配降下法、確率的勾配降下法、又は誤差逆伝播法であるが、これに限られない。

二次元画像記憶部４７は、撮像装置１４が撮影した実体である撮影画像が格納される。本実施形態に係る画像は静止画像（フレーム画像）であってもよいし、動画像であってもよい。画像が静止画像として格納される場合、ＰＮＧ（Portable Network Graphics）、ＧＩＦ（Graphics Interchange Format）、又はＪＰＥＧ（Joint Photographic Experts Group）等のファイル形式が採用され得る。また、画像が動画像として格納される場合、ＭＰＥＧ（Moving Picture Experts Group）、ＡＶＩ（Audio Video Interleave）、又はＦＬＶ（Flash Video）等のファイル形式が採用され得る。ただし、これらのファイル形式は一例であって、画像は如何なる形式で保存されてもよい。

距離情報記憶部４９は、撮像装置１４により取得された各種距離及び算出部５６が算出した各種距離に関する情報が格納される。

＜処理フロー＞
次に、本実施形態に係る制御システムの作用について説明する。図８は、本実施形態に係る制御システムの処理の流れを示すフローチャートである。プロセッサ３６がメモリ３８又はストレージ４０から本実施形態に係る保持制御プログラム４６を読み出し、メモリ３８に展開して実行することにより、本実施形態に係る保持制御プログラム４６に基づく処理が行われる。

プロセッサ３６は、対象物ｏｂｊ１を被写体とする画像を取得する（ステップ１００）。そして、プロセッサ３６は、取得した画像を基に対象物ｏｂｊ１及び障害物ｏｂｊ２、ｏｂｊ３の認識を行う（ステップ１０２）。この認識については、公知の物体認識技術が利用可能であり、一例として、ＣＮＮを用いた３次元物体認識の手法であるＭＭＳＳ（Multi-model Sharable and Specific Feature Learning for RGB-D Object Recognition）が用いられる。この場合、３Ｄデータ（ＲＧＢ画像及び深度画像）と物体の種類（ラベル）との相関関係を機械学習させた学習済モデルに、３Ｄデータを入力することにより、作業空間に存在する物体の座標と各物体の種類（空間情報）が推定される。推定された空間情報は、各物体の種類（ラベル）を付されたポイントクラウドとして出力され得る。図１の例では、載置台３４上に存在する物体として、対象物ｏｂｊ１、障害物ｏｂｊ２、ｏｂｊ３が認識される。なお、障害物については、種類の特定が行われなくてもよい。

プロセッサ３６は、ロボットアーム１２の移動の目標位置を決定する（ステップ１０４）。目標位置の決定は、例えば以下のようにして行われる。プロセッサ３６は、ステップＳ１０２で認識された物体の種類に基づいて、載置台３４上に存在する物体の中から対象物ｏｂｊ１を特定する。この場合、対象物ｏｂｊ１の種類がユーザにより予め設定されていてもよい。次いで、プロセッサ３６は、対象物ｏｂｊ１とロボットアーム１２のエンドエフェクタ２８との位置関係が所定の条件を満たすロボットアーム１２の状態（位置）を、移動の目標位置として決定する。所定の条件は一例として、対象物ｏｂｊ１の近傍かつエンドエフェクタ２８から対象物ｏｂｊ１までの距離が所定の閾値以下である、といった条件である。エンドエフェクタ２８から対象物ｏｂｊ１までの距離とは、例えば、エンドエフェクタ２８の所定の部分から対象物ｏｂｊ１の重心までの距離、又はエンドエフェクタ２８の所定の部分から対象物ｏｂｊ１の表面までの距離である。すなわち、ロボットアーム１２の目標位置とは、例えば、エンドエフェクタ２８の所定の部分から対象物ｏｂｊ１の表面までの距離が所定の閾値以下となるロボットアーム１２の状態をいう。

プロセッサ３６は、ロボットアーム１２の現在位置及び目標位置におけるにおける状態情報、空間情報（対象物ｏｂｊ１及び障害物ｏｂｊ２、ｏｂｊ３の座標情報、ロボットアーム１２の目標位置における状態情報）、及び生成モデル６０を用いて、軌道情報を生成する（ステップ１０６）。本実施形態では、プロセッサ３６は、ロボットアーム１２の現在位置及び目標位置におけるにおける状態情報及び空間情報から障害物ｏｂｊ２、ｏｂｊ３等と干渉しない軌道情報を算出する。また、本実施形態では、プロセッサ３６は、図示しないセンサの検知結果を、現在のロボットアーム１２の状態情報として取得してもよいし、当該検知結果から状態情報を算出してもよいし、取得した画像データを画像解析することにより、状態情報を特定してもよい。プロセッサ３６は、取得した軌道情報を記憶部５０（図３参照）に記憶する。

プロセッサ３６は、生成される軌道情報に従ってロボットアーム１２を制御し、ロボットアーム１２を移動させる（ステップ１０８）。すなわち、プロセッサ３６は、ロボットアーム１２が軌道情報の示す軌道に沿って移動するようにロボットアーム１２を制御する。このとき、図示しないセンサの検知結果がロボットアーム１２の制御に用いられてもよい。

プロセッサ３６は、ロボットアーム１２の現在位置と目標位置とを比較することにより、ロボットアーム１２が目標位置まで移動したかを判定する（ステップ１１０）。現在位置と目標位置が一致する、又は現在位置と目標位置との差が閾値未満である場合、プロセッサ３６はロボットアーム１２が目標位置に移動したと判定する。一方、現在位置と目標位置との差が閾値以上である場合、プロセッサ３６はロボットアーム１２が目標位置まで移動していないと判定する。

ロボットアーム１２が目標位置まで移動した場合（ステップＳ１１０：ＹＥＳ）、プロセッサ３６は、後述するステップＳ１１２の処理に進む。一方、目標位置まで移動していない場合（ステップＳ１１０：ＮＯ）、プロセッサ３６は、ステップＳ１０８へ処理を移行する。

プロセッサ３６は、ロボットアーム１２が目標位置まで移動した状態で対象物ｏｂｊ１を被写体とする画像を取得する（ステップ１１２）。そして、プロセッサ３６は、目標位置から対象物ｏｂｊ１を保持するまでの移動軌跡（基準軸）を算出する（ステップ１１４）。

プロセッサ３６は、エンドエフェクタ２８の指部３０Ａと指部３０Ｂとで挟まれた領域（エンドエフェクタ２８が保持可能な領域）に対応する対象物エリア６２（図４参照）を算出する（ステップ１１６）。また、プロセッサ３６は、エンドエフェクタ２８の指部３０Ａ、３０Ｂに対応する保持体エリア（図４参照）を算出する（ステップ１１８）。

プロセッサ３６は、対象物エリア６２内における物体（対象物ｏｂｊ１）とエンドエフェクタ２８との間の移動軌跡上での最短距離である第一距離７０を算出する（ステップ１２０）と共に、保持体エリア６４内におけるエンドエフェクタ２８と、エンドエフェクタ２８に対向する物体との最短距離である第二距離７２を算出する（ステップ１２２）。プロセッサ３６は、ステップ１２２にて第二距離７２を算出する際は所定の範囲にて指部３０Ａ、３０Ｂの開き幅が変化するように指部３０Ａ、３０Ｂを移動させて複数の第二距離７２を算出する。

プロセッサ３６は、複数の第二距離７２の算出が完了したか否かを判定する（ステップ１２４）複数の第二距離７２の算出が完了していない場合（ステップ１２４：ＮＯ）、プロセッサ３６は、ステップ１２２へ処理を移行する。一方、複数の第二距離７２の算出が完了した場合（ステップ１２４：ＹＥＳ）、プロセッサ３６は、複数の第二距離７２毎に第一距離７０との差分を算出し（ステップ１２８）、当該差分が最大となりかつ対象物ｏｂｊ１を保持できる指部３０Ａ、３０Ｂの位置を判定する（ステップ１３０）。

プロセッサ３６は、差分が最大となりかつ対象物ｏｂｊ１を保持できる指部３０Ａ、３０Ｂの位置へ指部３０Ａ、３０Ｂを移動させる（ステップ１３２）と共に、当該位置にてエンドエフェクタ２８を移動軌跡に沿って対象物ｏｂｊ１へ向けて移動させ、対象物ｏｂｊ１を保持し持ち上げて移動させるように作動させるための処理動作を生成し（ステップ１３４）、当該処理動作に基づいてロボットアーム１２の作動を実行する（ステップ１３６）。

プロセッサ３６は、生成した処理動作に基づくロボットアーム１２の作動が完了したか否かを判定する（ステップ１３８）。ロボットアーム１２の作動が完了していない場合（ステップ１３８：ＮＯ）、プロセッサ３６は、ステップ１３６へ処理を移行する。一方、ロボットアーム１２の作動が完了した場合（ステップ１３８：ＹＥＳ）、プロセッサ３６は、保持制御プログラム４６に基づく処理を終了する。

＜本実施形態の作用・効果＞
次に、本実施形態の作用並びに効果を説明する。

本実施形態によれば、制御装置１０が複数の第二距離７２毎の第一距離７０との差分を算出し、当該差分が最大となりかつ対象物ｏｂｊ１を保持できる保持位置にて対象物ｏｂｊ１をエンドエフェクタ２８が保持するよう制御されることから、エンドエフェクタ２８は対象物ｏｂｊ１の周囲に存在する障害物ｏｂｊ２、ｏｂｊ３と衝突回避しながら対象物ｏｂｊ１をより深い位置にて保持することができる。これにより、ロボットアーム１２が対象物ｏｂｊ１をより適切に保持させることができる。

また、制御装置１０が第一距離７０及び第二距離７２を算出する際、エンドエフェクタ２８が対象物ｏｂｊ１を把持した際に対象物ｏｂｊ１が存在するスペースＳＰ内における対象物ｏｂｊ１（載置面３４Ａ）から最も離れた部位を基準点Ｐとして距離を算出する。したがって、エンドエフェクタ２８はより一層深く対象物ｏｂｊ１を保持することができる。これにより、ロボットアーム１２が対象物ｏｂｊ１をより一層適切に保持させることができる。

さらに、本実施形態に係る制御システム１８によれば、取得部５２がエンドエフェクタ２８の位置及び形状について取得する。また、算出部５６が対象物エリア６２、保持体エリア６４をそれぞれ算出すると共に、エンドエフェクタ２８の移動軌跡（基準軸）を算出する。さらに算出部５６は、第一距離７０と複数の第二距離７２を取得し複数の第二距離７２毎に第一距離７０との差分量を算出して当該差分が最大となりかつ対象物ｏｂｊ１を保持できる位置を算出する。把持制御部５７は、算出部５６が算出した第一距離７０と第二距離７２との差分が最大となる保持位置にて対象物ｏｂｊ１をエンドエフェクタ２８に保持させる。したがって、エンドエフェクタ２８は対象物ｏｂｊ１の周囲に存在する障害物ｏｂｊ２、ｏｂｊ３と衝突回避しながら対象物ｏｂｊ１をより深い位置にて保持することができる。これにより、ロボットアーム１２が対象物ｏｂｊ１をより適切に保持させることができる。

さらにまた、本実施形態に係る保持制御プログラム４６によれば、対象物ｏｂｊ１を保持するエンドエフェクタ２８の位置及び形状の少なくとも一方を算出する処理と、エンドエフェクタ２８の指部３０Ａと指部３０Ｂとで挟まれた領域（エンドエフェクタ２８が保持可能な領域）に対応する対象物エリア６２と、エンドエフェクタ２８に対応する保持体エリア６４とをそれぞれ算出する処理と、エンドエフェクタ２８と対象物ｏｂｊ１とを結ぶ基準軸（エンドエフェクタ２８の移動軌跡）を算出する処理と、対象物エリア６２内でのエンドエフェクタ２８の移動軌跡上におけるエンドエフェクタ２８と物体（対象物ｏｂｊ１）との第一距離７０を取得する処理と、保持体エリア６４内でのエンドエフェクタ２８の移動軌跡上におけるエンドエフェクタ２８とエンドエフェクタ２８に対向する物体（障害物ｏｂｊ２、ｏｂｊ３）との第二距離７２を取得する処理と、エンドエフェクタ２８を移動させて第二距離７２を複数取得する処理と、複数の第二距離７２毎に第一距離７０との差分量を算出すると共に、当該差分量が最大となりかつ対象物ｏｂｊ１を保持できる保持体エリア６４に対応するエンドエフェクタ２８の位置を算出し、当該位置にて対象物ｏｂｊ１をエンドエフェクタ２８により保持させる処理と、をコンピュータに実行させる。したがって、エンドエフェクタ２８は対象物ｏｂｊ１の周囲に存在する障害物ｏｂｊ２、ｏｂｊ３と衝突回避しながら対象物ｏｂｊ１をより深い位置にて保持することができる。これにより、ロボットアーム１２が対象物ｏｂｊ１をより適切に保持させることができる。

また、制御装置１０は、エンドエフェクタ２８を目標位置、すなわち対象物ｏｂｊ１の近傍まで移動させた後に再度対象物ｏｂｊ１を含む画像を撮像すると共に、第一距離７０及び第二距離７２を算出することから、保持する際の精度をより一層高めることができる。

さらに、第二距離７２は、指部３０Ａと指部３０Ｂとの可動範囲内にて指部３０Ａと指部３０Ｂとを所定の位置へ変更させた上で取得することを繰り返すことで複数取得することから、指部３０Ａと指部３０Ｂとが対象物ｏｂｊ１を実際に把持可能な範囲内にて対象物ｏｂｊ１をより深い位置にて保持することができる。これにより、ロボットアーム１２が対象物ｏｂｊ１を現実的かつより適切に保持させることができる。

なお、本実施形態では、一対の指部３０Ａ、３０Ｂにより対象物ｏｂｊ１を把持するエンドエフェクタ２８を制御する構成とされているが、これに限らず、一つ又は三以上の複数の接触子を有するエンドエフェクタにより対象物ｏｂｊ１を保持する構成としてもよい。

また、本実施形態では、対象物ｏｂｊ１を指部３０Ａ、３０Ｂが外側から挟み込むことで保持する構成とされているが、これに限らず、図９に示されるような環状の対象物ｏｂｊ４を保持可能としてもよい。この場合においては、算出部５６が対象物エリア６２と、保持体エリア６４とをそれぞれ算出するのみならず、保持体エリア６４に対して指部３０Ａ、３０Ｂの保持時における可動方向外側（Ｙ方向）の外側エリア６５を算出する。そして、外側エリア６５内における移動軌跡（基準軸）上でのエンドエフェクタ２８と外側エリア６５内の物体（対象物ｏｂｊ４）との最短距離を第一距離７０として算出する。その後、算出部５６が算出した差分が最大となりかつ対象物ｏｂｊ４を保持可能となる指部３０Ａ、３０Ｂの位置にて指部３０Ａ、３０Ｂが対象物ｏｂｊ４の内側に挿入されその後（Ｙ方向）外側へ開くことで対象物ｏｂｊ４を保持する構成としてもよい。

さらに、算出部５６は、指部３０Ａ、３０Ｂの開き幅を変化させながら複数の第二距離７２を算出する構成とされているが、これに限らず、エンドエフェクタ２８自体の向きや位置を変更させて複数の第二距離７２を算出する構成としてもよい。

さらにまた、本実施形態では保持体エリア６４内におけるエンドエフェクタ２８と移動軌跡（基準軸）上対向する物体は障害物ｏｂｊ２、ｏｂｊ３が該当するが、障害物ｏｂｊ２、ｏｂｊ３が存在しない場合は、エンドエフェクタ２８と移動軌跡上対向する物体は載置台３４（載置面３４Ａ）や壁等が該当する。

また、制御装置１０は、エンドエフェクタ２８を目標位置、すなわち対象物ｏｂｊ１の近傍まで移動させた後に再度対象物ｏｂｊ１を含む画像を撮像すると共に、第一距離７０及び第二距離７２を算出する構成とされているが、これに限らず、一度画像取得をした際に移動軌跡、対象物エリア６２、保持体エリア６４、第一距離７０及び第二距離７２を算出しかつエンドエフェクタ２８を移動させる構成としてもよい。換言すると、図８に示されるステップ１００からステップ１１０までを省いた構成としてもよい。

さらに、保持制御プログラム４６に基づく処理を行う際にプロセッサ３６は、ステップ１０２において取得した画像を基に対象物ｏｂｊ１及び障害物ｏｂｊ２、ｏｂｊ３の認識を行う構成とされているが、これに限らず、障害物ｏｂｊ２、ｏｂｊ３の認識は行わずに保持体エリア６４内のエンドエフェクタ２８に対向する物体の高さを認識する構成としてもよい。

＜付記＞
本実施形態は、以下の開示を含む。

（付記１）
情報処理装置が実行する制御方法であって、
前記情報処理装置が、
対象物に接触する接触子を有しかつ当該接触子を用いて前記対象物を保持する保持体の位置及び形状の少なくとも一方の情報を取得するステップと、
前記保持体が保持可能な領域に対応する対象物エリアと、前記保持体に対応する保持体エリアとをそれぞれ算出するステップと、
前記保持体と前記対象物とを結ぶ基準軸を算出するステップと、
前記対象物エリア内での前記基準軸上における前記保持体と前記対象物との距離を第一距離として取得するステップと、
前記保持体エリア内での前記基準軸上における前記保持体と当該保持体に対向する物体との距離を第二距離として取得するステップと、
前記第二距離を複数取得するステップと、
複数の前記第二距離毎に前記第一距離との差分量を算出すると共に、当該差分量が最大となりかつ前記対象物を保持できる保持位置を算出し、当該保持位置にて前記対象物を前記保持体により保持させるステップと、
を含む制御方法。

（付記２）
前記第二距離は、前記接触子の可動範囲内にて当該接触子を所定の位置へ変更させた上で取得することを繰り返すことで複数取得する、
付記１に記載の制御方法。

（付記３）
対象物に接触する接触子を有しかつ当該接触子を用いて前記対象物を保持する保持体の位置及び形状の少なくとも一方の情報を取得する取得部と、
前記保持体が保持可能な領域に対応する対象物エリアと、前記保持体に対応する保持体エリアとをそれぞれ算出すると共に、前記保持体と前記対象物とを結ぶ基準軸を算出し、前記対象物エリア内での前記基準軸上における前記保持体と前記対象物との距離を第一距離として取得し、前記保持体エリア内での前記基準軸上における前記保持体と当該保持体に対向する物体との距離を第二距離として取得しかつ前記第二距離を複数取得し、複数の前記第二距離毎に前記第一距離との差分量を算出すると共に、当該差分量が最大となりかつ前記対象物を保持できる保持位置を算出する算出部と、
前記保持位置にて前記対象物を前記保持体により保持させる把持制御部と、
を有する制御システム。

（付記４）
対象物を保持する保持体の位置及び形状の少なくとも一方を算出する処理と、
前記保持体が保持可能な領域に対応する対象物エリアと、前記保持体に対応する保持体エリアとをそれぞれ算出する処理と、
前記保持体と前記対象物とを結ぶ基準軸を算出する処理と、
前記対象物エリア内での前記基準軸における前記保持体と前記対象物との第一距離を取得する処理と、
前記保持体エリア内での前記基準軸上における前記保持体と当該保持体に対向する対象物との第二距離を取得する処理と、
前記第二距離を複数取得する処理と、
複数の前記第二距離毎に前記第一距離との差分量を算出すると共に、当該差分量が最大となりかつ前記対象物を保持できる保持位置を算出し、当該保持位置にて前記対象物を前記保持体により保持させる処理と、
をコンピュータに実行させる保持制御プログラム。

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１０ 制御装置（情報処理装置）
１８ 制御システム
３０Ａ 指部（接触子）
３０Ｂ 指部（接触子）
２８ エンドエフェクタ（保持体）
４６ 保持制御プログラム
５２ 取得部
５６ 算出部
５７ 把持制御部
６２ 対象物エリア
６４ 保持体エリア
７０ 第一距離
７２ 第二距離
ｏｂｊ１ 対象物

Claims (4)

1. 情報処理装置が実行する制御方法であって、
   前記情報処理装置が、
   対象物に接触する接触子を有しかつ当該接触子を用いて前記対象物を保持する保持体の位置及び形状の少なくとも一方の情報を取得するステップと、
   前記保持体が保持可能な領域に対応する対象物エリアと、前記保持体に対応する保持体エリアとをそれぞれ算出するステップと、
   前記保持体と前記対象物とを結ぶ基準軸を算出するステップと、
   前記対象物エリア内での前記基準軸上における前記保持体と前記対象物との距離を第一距離として取得するステップと、
   前記保持体エリア内での前記基準軸上における前記保持体と当該保持体に対向する物体との距離を第二距離として取得するステップと、
   前記第二距離を複数取得するステップと、
   複数の前記第二距離毎に前記第一距離との差分量を算出すると共に、当該差分量が最大となりかつ前記対象物を保持できる保持位置を算出し、当該保持位置にて前記対象物を前記保持体により保持させるステップと、
   を含む制御方法。
2. 前記第二距離は、前記接触子の可動範囲内にて当該接触子を所定の位置へ変更させた上で取得することを繰り返すことで複数取得する、
   請求項１に記載の制御方法。
3. 対象物に接触する接触子を有しかつ当該接触子を用いて前記対象物を保持する保持体の位置及び形状の少なくとも一方の情報を取得する取得部と、
   前記保持体が保持可能な領域に対応する対象物エリアと、前記保持体に対応する保持体エリアとをそれぞれ算出すると共に、前記保持体と前記対象物とを結ぶ基準軸を算出し、前記対象物エリア内での前記基準軸上における前記保持体と前記対象物との距離を第一距離として取得し、前記保持体エリア内での前記基準軸上における前記保持体と当該保持体に対向する物体との距離を第二距離として取得しかつ前記第二距離を複数取得し、複数の前記第二距離毎に前記第一距離との差分量を算出すると共に、当該差分量が最大となりかつ前記対象物を保持できる保持位置を算出する算出部と、
   前記保持位置にて前記対象物を前記保持体により保持させる把持制御部と、
   を有する制御システム。
4. 対象物を保持する保持体の位置及び形状の少なくとも一方を算出する処理と、
   前記保持体が保持可能な領域に対応する対象物エリアと、前記保持体に対応する保持体エリアとをそれぞれ算出する処理と、
   前記保持体と前記対象物とを結ぶ基準軸を算出する処理と、
   前記対象物エリア内での前記基準軸における前記保持体と前記対象物との第一距離を取得する処理と、
   前記保持体エリア内での前記基準軸上における前記保持体と当該保持体に対向する対象物との第二距離を取得する処理と、
   前記第二距離を複数取得する処理と、
   複数の前記第二距離毎に前記第一距離との差分量を算出すると共に、当該差分量が最大となりかつ前記対象物を保持できる保持位置を算出し、当該保持位置にて前記対象物を前記保持体により保持させる処理と、
   をコンピュータに実行させる保持制御プログラム。