JP2018176334A - 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法 - Google Patents

Abstract

【課題】ワークの把持を行うハンドと周囲にある物体との干渉判定の精度を高める。【解決手段】情報処理装置１は、撮像された物体の第１画像に基づいて、複数の物体の中から把持対象の物体を決定する計測部２０２と、把持対象の物体を把持装置が把持する際に把持対象の物体の周囲にある物体と把持装置が干渉するか否かを判定するための着目領域を特定する特定部２０３と、着目領域に基づいて撮像装置４０による撮像範囲を変更する制御部２０４と、変更後の撮像範囲で撮像された物体の第２画像に基づいて、把持装置が把持対象の物体を把持する際に把持対象の物体の周囲にある物体と把持装置が干渉するか否かの判定を行う判定部２０５と、を有する。【選択図】図１

Description

本発明は、情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法に関する。

工場などの生産ラインにおいて、ビジョンシステムを用いてバラ積みのワークの中から一個体を認識し、ロボットハンドにより把持を行うバラ積みピッキング技術が近年利用されている。このバラ積みピッキングにおいて、ワークを把持する際の周囲にある物体とハンドとの干渉（衝突）の有無を、距離情報を用いて事前に判定する技術がある（特許文献１）。
バラ積みピッキング向けのビジョンシステムとして、ロボットハンドに取り付けたカメラ（オンハンドカメラ）を用いる方法がある。オンハンドカメラはロボットハンドを制御して任意の位置姿勢で撮像が可能である。そのため、比較的狭い領域を高精度に計測する場合に利用されることが多い。
オンハンドカメラを用いて対象物体の三次元位置姿勢を認識する技術において、二段階の撮像を行うことにより認識をロバスト、高精度に行う技術がある。たとえば、はじめに撮像した画像から推定される対象物体の位置姿勢に基づき、距離計測時の隠蔽が少なくなるような撮像位置姿勢を決定後、オンハンドカメラで距離画像を計測し、高精度な位置姿勢を算出する技術がある（特許文献２）。あるいは、第一の画像を撮像したカメラと対象物体とを結ぶ直線上に撮像位置姿勢を設定後、オンハンドカメラで距離画像を計測し、高精度な位置姿勢を算出する技術がある（特許文献３）。

特開２０１５−９３１４号公報 特開２０１６−９９２５７号公報 特開２００２−９０１１３号公報

しかしながら、バラ積みピッキング時の干渉有無の判定に関して、特許文献１の方法は、判定領域すなわちロボットハンドと周囲にある物体との干渉が懸念される領域が、カメラの計測範囲内に収まることを前提としている。そのため、バラ積みワークの存在領域が、カメラの計測領域を超える場合には計測領域外の場所での干渉有無は分からない。一方、特許文献２および特許文献３の方法はワークの位置姿勢を高精度に認識するための撮像位置姿勢を決定するものであり、ワークを把持する際の干渉有無は問題にしていない。そのため、オンハンドカメラなど比較的狭い視野を計測するカメラを用いてバラ積みピッキングを行う場合、計測視野を超える領域での干渉有無の判定は行えなかった。

本発明は、例えば、ワークの把持を行うハンドと周囲にある物体との干渉判定の精度を高めることを目的とする。

上記課題を解決するために、本発明の一側面である情報処理装置は、撮像された物体の第１画像に基づいて、複数の物体の中から把持対象の物体を決定する決定部と、前記把持対象の物体を把持装置が把持する際に前記把持対象の物体の周囲にある物体と前記把持装置が干渉するか否かを判定するための着目領域を特定する特定部と、前記着目領域に基づいて撮像装置による撮像範囲を変更する変更部と、変更後の撮像範囲で撮像された物体の第２画像に基づいて、前記把持装置が前記把持対象の物体を把持する際に前記把持対象の物体の周囲にある物体と前記把持装置が干渉するか否かの判定を行う判定部と、を有する。

本発明によれば、例えば、ワークの把持を行うハンドと周囲にある物体との干渉判定の精度を高めることができる。

ピッキングシステムの構成を示す図である。 情報処理装置の構成を示す図である。 ピッキング対象のワークを示す図である。 干渉判定の処理手順を示すフローチャートである。 第１実施形態における撮像装置４０の位置姿勢を説明する図である。 着目領域の設定について説明する図である。 第２実施形態における撮像装置４０の位置姿勢を説明する図である。 撮像画像および着目領域の特定方法を示す図である。 第５実施形態における撮像装置４０の位置姿勢を説明する図である。

（第１実施形態）
図１は、バラ積みされたワークをピッキングするシステムを示す図である。ピッキングシステムでは、ロボットハンド３０に取り付けた撮像装置４０でワーク１０がパレット２０にバラ積みされた状態を撮像して、多数のワーク１０の中から一個体を検出してピッキングを行う。ピッキングシステムは、情報処理装置１、撮像装置４０、把持装置であるロボットアーム３１およびロボットハンド３０を有している。

撮像装置４０は、任意の位置姿勢に制御可能なオンハンドカメラであり、ロボットハンド３０に搭載されている。撮像装置４０は、多関節ロボットであるロボットアーム３１およびロボットハンド３０を駆動することで任意の位置姿勢に制御可能である。情報処理装置１は、ピッキングシステム全体の動作制御を統括する制御中枢部であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２を含むプロセッサーやメモリ３等を備える。情報処理装置１は、撮像装置４０およびロボットアーム３１に接続している。情報処理装置１は、撮像装置４０が撮像した画像を取得し、画像に基づいてワーク１０の位置姿勢の計測やワーク１０の把持を行う際のロボットハンド３０と周囲にある物体（周囲にある物体）との干渉判定などを行い、ピッキングに適したワーク１０を検出する。情報処理装置１は、計測結果であるワーク１０の位置および姿勢の情報に基づいて、ロボットアーム３１に駆動指令を送って、ロボットアーム３１およびロボットハンド３０の駆動を制御する。

ロボットハンド３０は、ロボットアーム３１の先端に取り付けられており、ワーク１０を把持（即ち、ピッキング）し、並進や回転などの移動をさせることが可能な把持部材である。ロボットハンド３０は、さらに、ワーク１０を他の部品に組み付けることにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動されたワーク１０を加工することにより、物品を製造することができる。ロボットハンド３０の形状は、ワーク１０を把持するもの、ワーク１０を吸着するものなど、ワーク１０を保持できる機能を有していれば、どのような形状であってもよい。

ワーク１０は、パレット２０にバラ積みにされている。パレット２０において、ワーク１０が収納される空間は、撮像装置４０が１度に撮像を行える撮像範囲、即ち計測範囲を超えるものとする。そこで、ロボットアーム３１を制御し任意の位置姿勢に撮像装置４０を移動して撮像を行うことで、ワーク１０の検出を行う。このとき、ワーク１０検出時の撮像画像に収まらなかった領域も対象として、ワーク１０の把持を行う際のロボットハンド３０と周囲にある物体との干渉判定を行う。

図２は、本実施形態に係る情報処理装置１の構成を示している。情報処理装置１は、画像取得部２０１、計測部２０２、特定部２０３、制御部２０４、干渉判定部２０５、記憶部２０６、ロボット制御部２０７を備える。以下、情報処理装置１を構成する各部について説明する。

画像取得部２０１は、撮像装置４０が撮像した画像を取得する。画像取得部２０１は、距離画像および濃淡画像を取得可能である。計測部２０２は、取得した画像に基づいて、複数のワーク１０の中から一個体を検出してその位置および姿勢を算出する。したがって、計測部２０２は、複数のワーク１０の中から一個体を決定する決定部と、その位置および姿勢を計測する計測部としての機能を有する。ワーク１０、撮像装置４０には固有の座標系としてそれぞれ、ワーク座標系、撮像装置座標系が設定されている。計測部２０２は、ワークの位置および姿勢として、撮像装置座標系とワーク座標系との相対位置および相対姿勢を算出する。

図３は、ピッキング対象のワーク１０およびワーク座標系１１を説明する図である。ワーク座標系１１は、把持対象として検出されたワーク１０に設定される座標系である。本実施形態では、ワーク１０の最も面積の広い面にＸ軸およびＹ軸で構成されるＸＹ面が置かれ、Ｙ軸はワーク１０の辺のうち最も長い辺に平行になるように設定される。また、Ｚ軸はＸＹ面に垂直に交わるよう設定される。なお、ワーク１０の形状も、ワーク座標系１１の設定も図３で示したものに限られるものではない。

特定部２０３は、認識したワークを把持する際に干渉が懸念される領域を、着目領域として特定し、特定した着目領域が取得画像に収まっているか、即ち着目領域が撮像範囲内であるか否か判定する。この判定は、着目領域が撮像装置４０の計測領域に収まっていない場合、即ち撮像範囲外である場合には、計測領域外での干渉有無は判断が行えないため、干渉判定に必要な画像が取得できているか否か判定するために行われる。制御部２０４は、撮像装置４０の位置姿勢を設定し、撮像装置４０を制御する。したがって、制御部２０４は、撮像装置４０が撮像を行う際の撮像範囲を変更し、撮像装置の位置および姿勢を設定する変更部と、撮像装置４０を制御する撮像制御部としての機能を有する。特定部２０３において特定した着目領域が取得画像に収まっていないと判定された場合には、撮像画像において画像から見切れた着目領域を新たに撮像するための、撮像装置４０の位置姿勢を設定し、撮像装置４０を移動させて撮像を行う。決定する位置姿勢は、着目領域全体が収まるような位置姿勢でもよいし、見切れた着目領域のみを撮像可能な位置姿勢でもよい。

干渉判定部２０５は、取得した画像に基づいて、ワーク１０を把持する際にロボットハンド３０と把持対象のワーク１０の周囲にある物体とが干渉するか否かの干渉判定を行う。干渉判定の対象となる周囲にある物体には、ワークやパレット２０など、把持対象のワーク１０の周囲にある物体が含まれる。干渉判定部２０５は、具体的には、バラ積みワークおよびパレット２０を撮像した距離画像から得られるワーク１０およびパレット２０の三次元点群データと、検出したワーク１０を把持する際のロボットハンド３０の占有領域との、空間上での重なりを検出することで干渉の発生を検出する。空間上での重なり検出には、ゲームプログラミングなどで一般的に利用される衝突判定技術を利用可能である。

記憶部２０６は、ハンドモデルや相対位置および相対姿勢など、必要な情報を保存するメモリである。ロボット制御部２０７は、ロボットハンド３０とロボットアーム３１を制御し、ワーク１０を把持したり撮像装置４０を移動させたりする。なお、ロボットアーム３１が制御部を有している場合には、ロボット制御部２０７の代わりに、ロボットアーム３１を制御するのに必要な情報、例えば、把持対象の物体の位置姿勢などを出力する出力部を備えるようにしてもよい。

図４は、情報処理装置１における、干渉判定の処理手順を示すフローチャートである。
（ステップＳ１０００）
画像取得部２０１は、制御部２０４が決定した第１の位置姿勢において撮像装置４０が撮像した画像を取得する。このとき、画像取得部２０１は、画像として、距離画像および濃淡画像を取得する。なお、距離画像に基づく計測には、対象に照射したレーザ光やスリット光の反射光をカメラで撮像し、三角測量により距離を計測する公知の方法を利用できる。また、光の飛行時間を利用するＴｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ方式、あるいは、ステレオカメラの撮像画像から三角測量により距離を計算する方法などを利用してもよい。

図５は、第１実施形態における撮像装置４０の位置姿勢を説明する図である。図５（Ａ）は、第１の位置姿勢を示す図である。第１の位置姿勢は、撮像装置４０の計測領域４１およびパレット２０内のワークの量あるいは配置状況を考慮して制御部２０４が適宜決定する。例えば、ワークが大量に残っている状態であれば、パレット２０の中央上方から鉛直下向きに観測を行うような位置姿勢で撮像する。また、ワークが少なくなってきた場合には、パレットの端に存在するワークを計測できるよう、撮像装置４０をパレット底面と平行な面内で移動させてもよい。あるいは、撮像装置４０の計測できる奥行き範囲が狭い場合には、パレット底面付近に存在するワークを計測できるよう、撮像装置４０を、パレット底面に近付けてもよい。この他、ワークの認識に適した画像を撮像できれば、第１の位置姿勢はどのように設定しても構わない。

ステップＳ１０００では、図５（Ａ）に示すように、第１の位置姿勢に撮像装置４０を移動し、バラ積み状態のワーク１０の画像を撮像する。計測領域４１に示す範囲の撮像が行われ、計測領域４１の計測が行える。

（ステップＳ１１００）
計測部２０２は、ステップＳ１０００で取得した濃淡画像および距離画像を用いて、計測領域４１内に含まれるワーク１０の中から一個体を検出するとともに、その位置および姿勢を算出する。図５（Ａ）において、認識したワークを斜線で示す。この把持対象として検出したワークを、以後「把持対象ワーク１２」と呼ぶ。濃淡画像および距離画像を用いてバラ積みの中からワークの位置姿勢を算出する方法は公知のため、ここでは詳細な説明を省略する。なお、ワークの認識には、濃淡画像のみを用いてもよいし距離画像のみを用いてもよい。また、把持対象ワーク１２を決定してから把持対象ワーク１２のみの位置および姿勢を算出するようにしてもよいし、画像内の複数のワーク１０の位置および姿勢を算出し、この算出結果に基づいて把持対象ワーク１２を決定するようにしてもよい。

（ステップＳ１２００）
特定部２０３は、把持対象ワーク１２を把持する際に、ロボットハンド３０との干渉が懸念される領域を着目領域として特定する。着目領域の決定について、図５（Ａ）および図６を用いて説明する。図６は、着目領域の設定について説明する図である。

まず、図６（Ａ）を用いて、記憶部２０６に予め記憶したハンド座標系７２とワーク座標系１１との相対位置姿勢に基づいてハンドモデルを配置し、着目領域を特定する方法を説明する。図６（Ａ）は、ワーク１０を把持する際のハンドモデル７０とワーク１０との配置関係を示す図である。ロボットハンド３０によりワーク１０を把持する際のハンドモデル７０とワーク１０との配置関係を示すである。本実施形態における着目領域は、把持対象ワーク１２の把持を行う際のロボットハンド３０の占有領域である。着目領域は、ロボットハンド３０の三次元形状を表すハンドモデル７０、および、把持を行う際のハンドモデル７０とワーク１０との相対関係を用いて着目領域を特定する。情報処理装置１は、予め、記憶部２０６にハンドモデルに設定された固有の座標系（ハンド座標系７２）とワーク座標系１１とのワーク１０を把持する際の相対位置および相対姿勢を記憶しておく。そして、図５（Ａ）に示すように、把持対象ワーク１２に対し、記憶している相対位置姿勢に基づいてハンドモデル７０を配置し、ハンドモデル７０が配置された領域をバラ積み空間における着目領域７１として特定する。

ハンドモデル７０には、ポリゴンモデルを用いてもよいし、円筒や直方体のようなプリミティブ形状を組み合わせたモデルを用いてもかまわない。その他、干渉判定の当たり判定領域を特定できる三次元形状モデルであれば、ハンド形状モデルの形式は特に限定されない。ハンドモデル７０には、ワーク１０を把持する際にハンドとともに干渉が懸念される領域も合わせてモデル化したものを用いてもよい。例えば、ハンドに取り付けられた撮像装置４０の形状を含めてもよいし、ハンドが取り付けられているアーム先端の一部を含めてもよい。また、把持状態の位置姿勢に至るまでのハンドのアプローチ動作、あるいは、ハンドの指の開閉動作における干渉有無も判定したい場合には、それぞれの動作軌跡に伴いハンドが占有する領域まで含めてモデル化したハンドモデル７０を用いてもよい。

次に、図６（Ｂ）を用いて、予め記憶部２０６にワーク座標系１１におけるワーク１０に対する着目領域９０を直接記憶し、着目領域を特定する方法を説明する。図６（Ｂ）は、ワーク１０を把持する際のワーク１０と着目領域９０との配置関係を示す図である。図６（Ｂ）では、ロボットハンド３０の一例として、ワーク１０の主平面中心を吸着ハンドで把持するロボットハンド３０を採用している。情報処理装置１は、ワーク１０の主平面中心を吸着ハンドで把持する際のロボットハンド３０の占有領域を、ワーク座標系１１に基づく表現にあらかじめ変換したものを着目領域９０として把持する。これにより、ハンド座標系７２とワーク座標系１１の相対位置姿勢を用いた座標変換を行うことなく、認識したワーク１０の位置姿勢に基づいて着目領域９０を特定できる。

（ステップＳ１３００）
特定部２０３は、撮像画像の計測領域４１に対する着目領域７１の見切れの有無を判定する。図５（Ａ）を用いて詳細に説明する。計測領域４１内において、把持対象ワーク１２を把持するハンドモデル７０と周囲にある物体とで干渉は発生していない。しかし、計測領域４１外においてハンドモデル７０と干渉ワーク１３とで干渉が発生している。ただし、この干渉は、計測領域４１の外で起きているため、撮像した距離画像を用いた干渉判定では検出できない。干渉有無を正しく判定するには、ハンドモデル７０のうち、計測領域４１に含まれていない部位を含む新たな画像を撮像し取得する必要である。

ステップＳ１３００で、見切れがないと判定された場合、即ち、着目領域７１（即ち、ハンドモデル７０）が計測領域４１の空間内にすべて含まれる場合は、撮像済みの画像を用いて干渉有無の判定が可能であるので、ステップＳ１６００へ進む。一方、見切れがあると判定された場合、即ち、着目領域７１のすべてが計測領域４１の空間内に含まれていない場合は、撮像済みの画像だけでは干渉有無の判定ができないので、見切れた領域を含む画像を撮像し取得するためにステップＳ１４００に進む。なお、本実施形態において、見切れの有無の判定は、ハンドモデル７０の占有領域の全てが計測領域４１の空間内に含まれる場合に、見切れがないと判定した。しかし、これに限られるものではなく、例えば、計測領域４１の空間内に含まれるハンドモデル７０の占有領域の割合が閾値（例えば、９５パーセント）より高い場合に見切れがない判定するようにしてもよい。

（ステップＳ１４００）
制御部２０４は、撮像装置４０の撮像範囲を見切れた着目領域７１を含むような画像を撮像可能な撮像範囲に変更し、撮像装置４０の新たな位置姿勢として第２の位置姿勢を決定する。また、本実施形態では、ロボットハンド３０がワーク１０の把持を行う際にアプローチする方向と、撮像装置４０の光軸とが一致するように新たな位置姿勢を決定する。これにより、着目領域７１を画像内中心に捉え、かつ、ロボットハンド３０のアプローチ方向からバラ積みのワーク１０を観測した、干渉判定に好適な距離画像が撮像可能である。例えば、図６（Ａ）においてワーク１０の把持を行うに当たり、ロボットハンド３０は、ハンド座標系７２のＺ軸正方向に移動して把持対象のワーク１０へアプローチを行ったのち、把持を行う。より具体的には、ロボットハンド３０はワーク座標系１１のＺ軸とハンド座標系７２のＺ軸とが平行のまま、両者の正方向が互いに近づくようにアプローチを行う。なお、ハンド座標系７２のＺ軸は、ハンドモデル７０の中心軸である。

図５（Ｂ）は、第２の位置姿勢を示す図である。図５（Ｂ）では、第２の位置姿勢における計測領域４１に着目領域７１の全てが含まれている。しかし、これに限られるものではなく、第１の位置姿勢において取得した画像と合わせて着目領域７１の全てが計測できればよいので、第１の位置姿勢における撮像で見切れた領域のみを撮像可能な位置姿勢を第２の位置姿勢としてもよい。

制御部２０４は、図５（Ｂ）に示すように、ハンドのアプローチ方向すなわちハンド座標系７２のＺ軸と、撮像装置４０の光軸４２とが一致するように、制御部２０４は第２の位置姿勢を決定する。このとき、このとき、撮像画像面にハンドモデル７０を投影した時に画像領域内に収まるよう、撮像画像のＸ軸／Ｙ軸における短手／長手方向と、ハンド座標系７２のＸ軸／Ｙにおける短手／長手方向とが互いに一致するような姿勢が望ましい。例えば、撮像装置４０の光軸４２回りの姿勢は、撮像装置４０の座標系のＸ軸とハンド座標系７２のＸ軸とが一致するように第２の位置姿勢を決定する。また、また、撮像装置４０の光軸４２方向の位置については、たとえば、ハンドモデルが撮像装置４０における距離計測可能な奥行き範囲の中央に位置するように設定する。あるいは、距離計測可能な奥行き範囲の最遠面と、ハンドモデル７０のＺ軸方向最遠面とが一致するようにしてもよい。なお、第２の位置姿勢の決定に関して、ロボットハンド３０のアプローチ方向と撮像装置４０の光軸４２とを一致させた後の光軸まわりの姿勢および光軸方向の位置は、他の方法で決定してもよい。計測領域４１が、撮像されていない着目領域７１を十分含むように決定できればいかなる方法でもかまわない。

（ステップＳ１５００）
制御部２０４は、ステップＳ１４００で決定した第２の位置姿勢へ撮像装置４０を移動させ、変更後の撮像範囲で新たに画像を撮像する。そして、画像取得部２０１は、第２の位置姿勢で撮像された画像を取得する。ステップＳ１５００で撮像する画像は、干渉判定に利用するものであるため、距離画像のみを取得する。しかし、濃淡画像も合わせて取得してもかまわない。図５（Ｂ）に示すように、第２の位置姿勢から撮像装置４０により撮像を行うことで、図５（Ａ）では計測領域外であった、干渉ワーク１３を含めた画像を撮像可能となる。第２の位置姿勢で画像を撮像後、ステップＳ１３００に戻る。

なお、ステップＳ１５００において第２の位置姿勢で撮像した画像を取得した後のステップＳ１３００では、各位置姿勢で撮像した画像のいずれの計測領域４１にも収まらない着目領域７１が存在するか否かを判定する。既に撮像した画像の計測領域４１に着目領域７１が収まっていれば、撮像済みの画像を用いて干渉判定が可能であるため、ステップＳ１６００へ進む。一方、撮像した画像のいずれにも収まらない着目領域７１が存在する場合には、見切れた着目領域７１に関して干渉有無の判定は不可能である。よって、見切れた着目領域７１をカバーする画像を撮像するために、ステップＳ１４００へ進む。

（ステップＳ１６００）
干渉判定部２０５は、ステップＳ１０００およびステップＳ１５００で撮像した各距離画像を用いて、把持対象ワーク１２の把持を行うロボットハンド３０と周囲にある物体の干渉有無を判定する。具体的には、まず、撮像した距離画像から得られる三次元点群の各計測点の位置に半径Ｒの微小な球を配置する。そして、各計測点に基づき配置された球と、ロボットハンド３０の占有領域との空間的な重なりを検出することで干渉判定を行う。ハンドモデル７０としてポリゴンモデルを用いる場合は、球とハンドモデル７０を構成するポリゴンとに重なりがあれば干渉あり、なければ干渉なしと判定する。ポリゴンと球との干渉判定方法については、公知の方法を用いることができる。なお、距離画像から得られる三次元点群には、把持対象ワーク１２自体の計測点も含まれる。この把持対象ワーク１２由来の計測点により誤って干渉を検出しないよう、該当する計測点を除外して干渉判定を行ってもよい。また、干渉判定はこのほかの方法で行ってもよい。たとえば、距離画像の隣接画素間の三次元点を連結することでバラ積みワークの三次元形状データを表現するポリゴンモデルを生成し、ハンドモデル７０を構成する各ポリゴンとの、ポリゴン間の交差を検出することで干渉判定を実施してもよい。この場合、ポリゴン間に交差があれば干渉あり、なければ干渉なしと判定する。ポリゴン間の干渉判定方法については、公知の方法を用いることができる。なお、前述したとおりハンドモデル７０には円柱や直方体、球など簡単なプリミティブ形状の組み合わせで三次元形状を表現したモデルを用いることもできる。この場合には、ハンドモデル７０を構成する各プリミティブ形状と、計測点群から生成した球あるいはポリゴンとの重なりを検出することで干渉有無の判定が可能である。この他、ハンドモデル７０が表現するロボットハンド３０の占有領域と、撮像した距離画像から生成するバラ積みワーク１０およびパレット２０の三次元形状データとで、空間的な重なりを検出できる方法であれば、干渉判定はいかなる方法で行っても構わない。

干渉判定部２０５は、干渉判定を、撮像した各距離画像に対して実施する。いずれかの距離画像で干渉ありと判定された場合、把持対象ワーク１２を把持しようとする際に干渉が発生するため、把持不可能と判定する。一方、いずれの距離画像においても干渉なしと判定された場合、把持対象ワーク１２は干渉なく把持可能と判定する。なお、着目領域７１が１つの撮像画像にすべて収まっている場合には、その画像のみ用いて干渉判定を行えばよい。

本実施形態では、ステップＳ１３００の見切れの有無の判定において、ハンドモデル７０の占有領域をすべて着目領域７１として、計測領域内に含まれるか否かを判定した。しかし、バラ積みのワーク１０がパレット２０の最上面の高さを超えず、かつ、パレット２０の上方に干渉が懸念される物体がないと保証される場合には、パレット２０の最上面より高い位置での干渉は発生しないものとして干渉判定を行わなくてもよい。即ち、ハンドモデル７０の占有領域のうち、パレット２０内でバラ積みのワーク１０が収容される空間に存在する部位のみを対象として干渉判定を行えばよい。そこで、ステップＳ１２００で特定したハンドモデル７０の占有領域とバラ積みのワーク１０が存在しうる空間との重複領域を着目領域７１として特定してもよい。これにより、干渉判定に必要な領域をより限定して、見切れの有無を判定可能となる。

本実施形態において、撮像装置４０は、多関節ロボットであるロボットアーム３１の先端にあるロボットハンド３０に備え付けられていた。これらの駆動を制御することで撮像装置４０を移動していたが、決定した位置姿勢にカメラを移動できれば、カメラとロボットとが一体のものでなくてもよい。位置あるいは姿勢を制御可能な単軸ロボットを用いてもよいし、それらを組み合せた制御が可能な直交ロボットを用いてもよい。

また、本実施形態ではワーク認識用の第１の位置姿勢での画像撮像と、干渉判定用の第２の位置姿勢での画像撮像を同一の撮像装置４０を用いて撮像したが、それぞれ別の撮像装置で撮像してもかまわない。例えば、第１の位置姿勢にパレット全体を観測可能な撮像装置を固定しておき、この撮像装置を用いてワーク認識のみ行ってもよい。そして、干渉判定用には、本実施形態で述べたような方法で第２の位置姿勢を決定してロボットアームに取り付けた撮像装置を移動して撮像を行う。これにより、干渉判定に適した画像を別途撮像して、干渉判定をより正確に実施することが可能である。

以上、説明したように、本実施形態では、バラ積みのワークから把持対象を認識後、干渉判定に適した画像を撮像できる撮像装置の位置姿勢を新たに決定して画像撮像を行うことで、ロボットハンドと周囲にある物体との干渉有無を精度よく判定することができる。

（第２実施形態）
第１実施形態では、ステップＳ１４００において、把持動作におけるロボットハンド３０のアプローチ方向と、撮像装置４０の光軸４２とが一致する姿勢を第２の位置姿勢として決定した。これに対して、本実施形態では、パレット２０の中心の上方から着目領域を観測するような姿勢を第２の位置姿勢として用いる。本実施形態は、パレット内にワークが少ない状況で、パレット側面付近での干渉有無を判定したい場合に特に有効である。

図７は、第２実施形態における撮像装置４０の位置姿勢を説明する図である。図７（Ａ）は、撮像装置４０の第１の位置姿勢を示す図であり、図７（Ｂ）は、撮像装置４０の第２の位置姿勢を示す図である。まず、ステップＳ１０００において、撮像装置４０は、図７（Ａ）に示すような第１の位置姿勢で画像の撮像を行い、ステップＳ１１００で把持対象ワーク１２を認識する。ここで、図７（Ａ）に示すようにパレット内のワークが少ない状況で、第１実施形態と同様の方法で撮像位置姿勢を決定すると、パレット側面部に隠蔽されて、干渉ワーク１３の距離計測が行えない可能性がある。

そこで、ステップＳ１４００において第２の位置姿勢を決定する際、図７（Ｂ）に示すように、パレット２０の中心上方から着目領域７１を観測するように第２の位置姿勢を決定する。これにより、パレット２０によって干渉ワーク１３が隠蔽される恐れを回避する。具体的には、撮像装置４０の座標系の原点がパレット中心軸２１を通り、かつ撮像装置４０の計測領域４１中心に、着目領域７１の中心が位置するように第２の位置姿勢を決定する。

パレット中心軸２１上における撮像装置４０の高さは、予めパレット２０内を計測しやすい高さに設定しておく。あるいは、第１実施形態と同様に、着目領域７１が、撮像装置４０において距離計測可能な奥行き範囲の中央に位置するように、撮像装置４０の高さを適宜決定してもよい。また、光軸回りの姿勢に関しては、撮像画像の短手／長手方向と、撮像画像面上における着目領域を投影した時の長手／短手方向とが一致するような姿勢にするのがよい。これにより、パレット２０による隠蔽なく、把持対象ワーク１２周辺のバラ積み形状を観測できるため、精度の高い干渉判定が行える。また、第２の位置姿勢を、パレット２０内のバラ積みワークの量や高さなどに応じて、第１実施形態および本実施形態の決定方法で切り替えるようにしてもよい。

以上説明したように、本実施形態によると、パレット２０の中心上方から着目領域７１を観測するように第２の位置姿勢を決定するため、第２の位置姿勢からの撮像でパレット２０によりワーク１０が隠蔽されることなく精度の高い干渉判定を行うことができる。

（第３実施形態）
第１実施形態では、干渉判定部２０５は、撮像装置４０で取得した距離画像から得られる三次元点群を用いて把持対象ワーク周辺の三次元形状を再現して干渉判定を実施した。これに対して、本実施形態では、距離画像を用いないで撮像画像に基づいて干渉判定を行う。例えば、ステップＳ１０００およびステップＳ１５００で濃淡画像のみを取得し、取得した各濃淡画像から把持対象ワーク以外の周辺ワークも検出する。そして、検出した各ワーク１０と、把持対象ワーク１２を把持するハンドモデル７０との重なりを検出することで、干渉判定を実施する。具体的には、検出したワーク１０それぞれの位置姿勢にワーク１０の三次元形状を表すワークモデルを配置し、ワークモデルの占有領域と把持対象ワークを把持するハンドモデル７０の占有領域（例えば、着目領域７１）との空間的な重なりを検出する。重なりが検出された場合には干渉あり、検出されなかった場合には干渉なしと判定する。

本実施形態では、干渉判定に距離画像は不要であり、撮像画像は把持対象ワークおよびその周辺ワークの認識が行えれば濃淡画像のみを取得すればよい。距離画像が不要となれば、距離画像を撮像する際に必要となるスリットを投影する投影部が不要となり、装置を簡易化できる。

（第４実施形態）
第１実施形態では、ステップＳ１３００の見切り判定において、ハンドモデル７０の占有領域の全てが計測領域４１の空間内に収まっているか否か、三次元情報を用いて判定していた。本実施形態においては、より高速な演算が可能である二次元情報を用いて見切り判定を行う。本実施形態の基本的な処理フローは第１実施形態と同様であるため、ここでは、処理の異なるステップＳ１２００、ステップＳ１３００についてのみ説明する。

（ステップＳ１２００）
特定部２０３は、把持対象ワーク１２を把持する際に干渉が懸念される領域を着目領域７１として特定する。本実施形態では、ハンドモデル７０の占有領域を、撮像画像上に投影することで着目領域７１を特定する。本実施形態における着目領域７１の特定について、図８を用いて説明する。図８は、撮像画像および着目領域の特定方法を示す図である。

図８（Ａ）は、ステップＳ１０００で取得した撮像画像４３である。ステップＳ１１００で、バラ積みされたワーク１０の中から把持対象として把持対象ワーク１２が認識されている。本実施形態では、把持対象ワーク１２に対して把持を行う位置にハンドモデル７０を配置し、図８（Ｂ）に示すように、配置したハンドモデル７０を撮像画像４３に投影する。図８（Ｂ）は、ハンドモデル７０を撮像画像４３に投影した図である。そして、特定部２０３は、ハンドモデル７０が投影された画像領域を着目領域７１として設定する。

（ステップＳ１３００）
特定部２０３は、撮像画像の計測領域に対する、着目領域の見切れの有無を判定する。本実施形態では、着目領域７１が撮像画像４３の画像範囲内に収まっていれば見切れがないと判定する。一方、着目領域７１が撮像画像４３の画像範囲内に収まっていなければ、見切れがあると判定する。図８（Ｂ）の例では、撮像画像４３の範囲外にはみ出る着目領域７１が存在するため、見切れありと判定される。一方、例えば、図８（Ｃ）の状態であれば、着目領域７１が撮像画像４３に収まっているため、見切れはないと判定する。

以上説明したように、本実施形態では画像にハンドモデルを投影することで、二次元情報を用いて見切れの有無を判定するため、高速に処理が可能である。

（第５実施形態）
第１実施形態では、位置姿勢を任意に制御可能な垂直多関節ロボットであるロボットアーム３１の先端のロボットハンド３０に撮像装置４０を取り付けて、バラ積みピッキングの干渉判定を行う方法について述べた。本実施形態では、ＸＹＺ方向の位置のみ制御可能な３軸スライダーに撮像装置４０を取り付けてバラ積みピッキングの干渉判定を行う方法について述べる。３軸スライダーに取り付けられた撮像装置４０は、スライダーにより３自由度の並進移動が可能である。ここでは、スライダーの制御可能な３方向とパレットの縦横高さ方向とが一致し、かつ、スライダーの制御可能な３方向と、撮像装置座標系の各軸の方向が一致するように撮像装置４０を取り付けるものとするが、ように設置するものとする。しかし、これに限られるものではなく、スライダーの設置方法および撮像装置４０の取り付け方は任意の方法でよい。

本実施形態における撮像装置４０は、３軸スライダーに取り付けられているため、移動できる位置および取りうる姿勢が限られている。そこで、本実施形態における、ステップＳ１４００での第２の位置姿勢の設定について説明する。

（ステップＳ１４００）
制御部２０４は、見切れた着目領域を含むような画像を撮像可能な新たな位置姿勢として、第２の位置姿勢を決定する。本実施形態では、撮像装置４０の姿勢は変更できないため、撮像位置のみ決定する。具体的には、図８（Ｃ）に示すように、斜線部で示す着目領域７１の重心位置が、撮像画像中心となるように撮像位置を決定する。なお、着目領域７１の重心位置の代わりに着目領域７１の外接矩形の中心を用いるなど、着目領域７１を画像中心に捉えられる方法であれば他のいかなる方法で決定してもよい。また、本実施形態では着目領域７１全体の重心位置を基準として撮像位置を決定したが、着目領域７１のうち見切れた領域の重心位置を基準として撮像位置を決定してもよい。

撮像装置４０の光軸方向の位置については、第１実施形態と同様に、例えば、ハンドモデル７０が撮像装置４０における距離計測可能な奥行き範囲の中央に位置するように設定する。あるいは、距離計測可能な奥行き範囲の最遠面と、ハンドモデル７０のＺ軸方向最遠面とが一致するようにしてもよい。本実施形態によると、例えば、図５（Ａ）で示される第１の位置姿勢で撮像した後、ステップＳ１４００で、図９で示される第２の位置姿勢を設定することができる。図９は、第５実施形態における撮像装置４０の位置姿勢を説明する図である。

ステップＳ１５００において、ステップＳ１４００で設定した第２の位置姿勢に撮像装置４０を移動して画像を撮像することで、図８（Ｄ）に示すような撮像画像が得られる。これにより、第１の位置姿勢における撮像では見きれていた干渉ワーク１３が観測され、ハンドモデル７０との干渉有無を高い精度で判定できる。

以上、３軸スライダーに撮像装置４０を取り付ける例を説明したが、例えば、１軸あるいは２軸に並進移動可能なスライダーを用いてもよいし、回転制御可能な装置を用いてもよい。また、垂直多関節ロボットにおいて、撮像装置４０の移動が３軸の並進移動のみに限られている場合にも、本実施形態は適用可能である。

以上説明したように、本実施形態によれば、ＸＹＺ方向の位置のみ制御可能な３軸スライダーに撮像装置４０が取り付けられている場合でも、バラ積みピッキングの干渉判定を精度良く行うことができる。

（物品の製造方法に係る実施形態）
以上に説明した実施形態に係る情報処理装置は、物品製造方法に使用しうる。当該物品製造方法は、当該情報処理装置を用いて物体（即ち、ワーク）の計測を行う工程と、当該工程で計測を行われた物体の処理を行う工程と、を含みうる。当該処理は、例えば、加工、切断、搬送、組立（組付）、検査、および選別のうちの少なくともいずれか一つを含みうる。本実施形態の物品製造方法は、従来の方法に比べて、物品の性能・品質・生産性・生産コストのうちの少なくとも１つにおいて有利である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１ 情報処理装置
２０１ 画像取得部
２０３ 特定部
２０４ 制御部
２０５ 干渉判定部

Claims (11)

1. 撮像された物体の第１画像に基づいて、複数の物体の中から把持対象の物体を決定する決定部と、
   前記把持対象の物体を把持装置が把持する際に前記把持対象の物体の周囲にある物体と前記把持装置が干渉するか否かを判定するための着目領域を特定する特定部と、
   前記着目領域に基づいて撮像装置による撮像範囲を変更する変更部と、
   変更後の撮像範囲で撮像された物体の第２画像に基づいて、前記把持装置が前記把持対象の物体を把持する際に前記把持対象の物体の周囲にある物体と前記把持装置が干渉するか否かの判定を行う判定部と、を有することを特徴とする情報処理装置。
2. 前記変更部は、前記着目領域のすべてが前記撮像範囲に含まれるように前記撮像範囲を変更することを特徴とする請求項１に記載の情報処理装置。
3. 前記特定部は、前記把持対象の物体を把持する際に前記把持装置が占有する領域、または、前記把持対象の物体を把持する際の動作軌跡において前記把持装置が占有する領域を、前記着目領域として設定することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記把持装置の三次元形状モデルと、前記把持対象の物体を把持する際の前記把持対象の物体と前記把持装置の相対位置および相対姿勢を記憶する記憶部をさらに有し、
   前記特定部は、前記決定部が決定した前記把持対象の物体に対して、前記相対位置および相対姿勢に基づいて前記把持装置の三次元形状モデルを配置して、前記着目領域を特定することを特徴とする請求項１乃至３のうちいずれか１項に記載の情報処理装置。
5. 前記物体に対する前記物体を把持する際の前記把持装置の位置および姿勢を記憶する記憶部をさらに有し、
   前記特定部は、前記決定部が決定した前記把持対象の物体に対して、前記記憶部が記憶した前記把持装置の位置および姿勢に基づいて、前記着目領域を特定することを特徴とする請求項１乃至３のうちいずれか１項に記載の情報処理装置。
6. 前記特定部は、前記第１画像に、前記把持対象の物体を把持する際の前記把持装置が占有する領域を投影し、前記着目領域を特定することを特徴とする請求項１乃至３のうちいずれか１項に記載の情報処理装置。
7. 前記撮像装置の位置または姿勢を変更することによって、前記撮像範囲を変更することを特徴とする請求項１又は２に記載の情報処理装置。
8. 物体の位置および姿勢を計測する計測装置であって、
   物体を撮像する撮像装置と、請求項１乃至７のいずれか１項に記載の情報処理装置とを備え、
   前記情報処理装置は、前記撮像装置が撮像した画像に基づいて、前記把持対象の物体の位置および姿勢を計測する計測部を有することを特徴とする計測装置。
9. 請求項８に記載の計測装置と、
   前記物体を把持して移動させる把持装置と、を備え、
   前記計測装置は、前記判定部により前記干渉がないと判定された場合に、前記把持装置に前記把持対象の物体の位置および姿勢を出力し、
   前記把持装置は、前記出力された前記把持対象の物体の位置および姿勢に基づいて、前記把持対象の物体を把持する、ことを特徴とするシステム。
10. 物体を把持する際の干渉を判定する干渉判定方法であって、
    撮像された物体の第１画像に基づいて、把持対象の物体を決定する工程と、
    把持装置が前記把持対象の物体を把持する際に前記把持対象の物体と前記把持装置が干渉するか否かを判定するための着目領域を特定する工程と、
    前記着目領域に基づいて撮像装置による撮像範囲を変更する工程と、
    変更後の撮像範囲で撮像された物体の第２画像に基づいて、前記把持装置が前記把持対象の物体を把持する際に前記把持対象の物体の周辺にある物体と前記把持装置が干渉するか否かの判定を行う工程と、
    を有することを特徴とする干渉判定方法。
11. 請求項１乃至７のうちいずれか１項に記載の情報処理装置を用いて、前記物体を把持する際の干渉を判定する工程と、前記把持対象の物体の計測を行う工程と、該計測の結果に基づいて前記把持対象の物体を処理する工程と、を含むことを特徴とする物品の製造方法。

Images