JP2020034526A - ワークの位置姿勢認識装置およびピッキングシステム - Google Patents

Abstract

【課題】 ランダムに積まれたワークの位置姿勢を少ない演算量で認識でき、また、制御情報が少ないスカラロボットを使用できる位置姿勢認識装置およびこれを利用したピッキングシステムを提供する。【解決手段】 ランダムに積まれたワークＷの点群データＰを生成する。ワークＷの半径ｒを推定し、推定した半径ｒに基づいてモデルＭを生成する。生成したモデルＭを、法線ベクトルｎに基づいて推定した原点Ｏに配置し、ｚ軸周りに回転させ、所定の回転角度毎に点群データＰとの一致度を算出する。最も一致度が大きい回転角度をワークＷの軸方向として推定する。【選択図】図１

Description

本発明は、ランダムに積まれたワークの位置姿勢を認識する位置姿勢認識装置およびこれを用いたピッキングシステムに関する。

従来より、ランダムに山積みされたワークを撮影し、撮影画像を解析してワークの位置姿勢を認識し、認識した位置姿勢に基づいてロボットハンドを制御するピッキング技術が知られている。例えば、特許文献１には、検出対象物の距離画像から生成した点群とモデル点群を位置合わせし、物体の位置姿勢を検出する技術が記載されている。また、特許文献２には、対象物の画像の一部と対象物のテンプレート画像を照合して対象物の位置姿勢を推定し、推定した情報に基づいてロボットハンドを制御する技術が記載されている。

特開２０１８−０８８２０９号公報 特開２０１５−０７９３７４号公報

しかし、特許文献１，２の技術によれば、検出対象物であるワーク形状毎にあらかじめモデルやテンプレートを用意しなければならず、作業が煩雑になるという問題があった。また、ワーク表面とモデル表面を精密に照合して位置姿勢を算出しているため、演算量が膨大になるという問題があった。

そこで、本発明の目的は、あらかじめモデル等の準備をする必要がなく、位置姿勢を算出する際の演算量を抑制でき、さらにスカラロボットによるピッキングが可能なワークの位置姿勢認識装置およびこれを用いたピッキングシステムを提供することにある。

上記課題を解決するために、本発明の位置姿勢認識装置は、以下の特徴を備える。
（１）略円柱状のワークを表した点群データに基づいてワークの位置および姿勢を認識する装置であって、装置を制御する制御手段を備え、制御手段が、ワークのサイズに基づいてモデルを生成するモデル生成手段と、モデルを用いてワークの軸方向を推定する軸方向推定手段と、を含み、軸方向推定手段は、モデルを所定の回転軸周りに回転させ、点群データとの一致度が最も高い回転角度を軸方向として推定することを特徴とする。

（２）軸方向推定手段は、点群データに基づいて法線ベクトルを推定し、点群データに含まれる点群を、点群データにより表される略円柱の中心軸に向けて集積させ、点群の集積度に基づいてモデルの回転軸を選択する。

（３）制御手段が、ワークのサイズを推定するサイズ推定手段を含み、サイズ推定手段は、所定の値を仮ワーク径とし、仮ワーク径に対応するモデルを、モデル生成手段を用いて生成し、生成したモデルに対応する軸方向を、軸方向推定手段を用いて推定し、点群データとの一致度が最も高いモデルに対応する仮ワーク径を実ワーク径として推定する。

（４）軸方向推定手段が、モデル毎に点群データとの一致度の平均値を算出する手段を含み、サイズ推定手段は、平均値が最も高いモデルに対応する仮ワーク径を実ワーク径として推定する。

（５）一致度の高い順にモデルを記憶する手段を含み、制御手段は、モデルに基づいてワークが把持可能か否かを判断する把持可能性判断手段を含み、把持可能性判断手段は、記憶手段から一致度の高い順にモデルを読み出して把持可能性を判断し、把持可能なモデルを出力する。

また、本発明のピッキングシステムは、以下の特徴を備える。
（６）上記（１）〜（５）の何れかに記載の位置姿勢認識装置と、軸方向に基づいてワークを把持するメインハンドと、メインハンドが把持したワークの姿勢を変更する補助ハンドと、を備えたことを特徴とする。

（７）メインハンドによるワークの把持状態を検出するカメラを備え、補助ハンドは、カメラの検出結果に基づいてワークの姿勢を変更する。

本発明の位置姿勢認識装置およびピッキングシステムによれば、把持対象のワークを略円柱形状に限定し、ランダムに積まれた状態のワークの三次元画像から点群データを生成し、点群データに基づいてワークのサイズと位置姿勢を算出するため、あらかじめモデル等を準備する必要がないという効果を有する。また、精密な照合演算が不要なため、演算量を低減できるという優れた効果も有する。

本発明の一実施形態を示すピッキングシステムの（ａ）概略平面図、（ｂ）概略右側面図である。 ピッキングシステムのブロック図である。 点群データの法線ベクトルから軸候補点を推定する処理を示す模式図である。 （ａ）仮半径ｒ_i（ｒ_min≦ｒ_i≦ｒ_max：ｉ＝０〜１００）から生成されたモデルを、軸候補点を原点Ｏとするｚ軸周りに回転させる様子を示す模式図である。（ｂ）仮半径ｒ_i毎に一致度の平均値をプロットしたグラフである。 ピッキングシステムの処理の流れを示すフローチャートである。 ピッキング動作を示す動作説明図である。 カメラの撮影画像からワークの把持状態を検出する処理を示す模式図である。 ピッキングしたワークの整列動作を示す動作説明図（１）である。 ピッキングしたワークの整列動作を示す動作説明図（２）である。

以下、本発明をピッキングシステムに具体化した一実施形態を図面に基づいて説明する。また、以下の説明において、スカラロボット３の座標軸を、背面から前方へ向かう方向をｘ軸方向、正面視左側から右側へ向かう向きをｙ軸方向、鉛直方向下から上に向かう方向をｚ軸とする。

図１，２に示すように、この実施形態のピッキングシステム１は、ランダムに積まれた測定対象物表面の三次元形状をスキャンする３Ｄスキャナ４と、３Ｄスキャナ４から受信した計測中間データを点群データＰに変換し、点群データＰに基づいてワークＷの位置姿勢を認識する演算制御用ＰＣ２と、認識された位置姿勢に基づいてワークＷをピッキングし、整列するスカラロボット３と、スカラロボット３によるワークＷの把持状態を検出するカメラ５から構成される。このとき、測定対象物に含まれるワークＷは、略同形状かつ略円柱状であることを要し、本実施例では、円柱状の胴体部に頭部を有するボルト状のワークＷを挙げて説明する。なお、カメラ５は、バックライト６とともに使用しても良い。

演算制御用ＰＣ２は、演算制御を実施する制御部（ＣＰＵ）２１と、制御部２１が算出したデータを保存する記憶部２２と、３Ｄスキャナ４等の外部装置からデータを受信し、制御部２１からの制御情報を外部装置に送信するインターフェース２３から構成される。

制御部２１は、３Ｄスキャナ４から受信した計測中間データを点群データＰに変換する点群データ生成部２４と、点群データＰに基づいてワークＷのサイズを推定するサイズ推定部２５と、推定したサイズをパラメタとしてモデルＭを生成するモデル生成部２６と、生成したモデルＭを用いて軸方向を推定する軸方向推定部２７と、推定した軸方向に基づいてワークＷの把持可能性を判断する把持可能性判断部２８と、カメラ５の撮影画像を処理してワークＷの把持状態を検出する把持状態検出部２９から構成される。

ここで、点群データＰとは、三次元点情報の配列（ｘ，ｙ，ｚ）のことを言う。点群データＰの取得の流れは、以下の通りである。
（１）ＰＣ２が、３Ｄスキャナ４へ計測トリガを発行する。
（２）３Ｄスキャナ４が、計測対象物の表面の三次元形状をスキャンする。
（３）３Ｄスキャナ４が、計測中間データをＰＣ２へ送信する。
（４）ＰＣ２が、計測中間データを点群データＰに変換する。
なお、３Ｄスキャナ４が、点群データＰへの変換を実施する場合もある。しかし、点群データＰの生成は計算量が多いため、一般的には演算制御ＰＣ２にて、専用ライブラリを用いて点群データＰに変換される。また、三次元形状のスキャン手法としては、例えば、プロジェクタ方式、ステレオカメラ方式等が挙げられる。

モデル生成部２６は、パラメタとして半径ｒを入力し、半径ｒ、高さｒの半円柱の側面部からなるワークＷのモデルを生成する。

軸方向推定部２７は、図３（ａ）に示すように、まず、点群データＰに含まれる各々の点ｐについて法線ベクトルｎを推定する。そして、点ｐを法線ベクトルｎと逆方向に半径ｒ分進めた点ｑを、法線ベクトルｎの曲面を側面に含む円柱の軸候補点とし、軸候補点ｑを記憶部２２に登録する。なお、点ｑは、下記の数式１により求められる。

次に、軸方向推定部２７は、軸候補点ｑの集積度を算出し、集積度の高い点ｑを特定する。そして、あらかじめ生成したモデルＭの原点Ｏを、点ｑに配置し、点群データＰとの一致度を算出する。一致度は、「モデルＭ付近に配置された点ｐの数」を、「モデルＭを側面とする半径ｒ、高さｒの半円柱に含まれる点ｐの総数」で除算することにより求められる。軸方向推定部２７は、モデルＭを、ｚ軸周りに０度から１８０度まで回転させ、ｚ角度５度毎に一致度を算出して保持する。そして、最も一致度の高かったｚ角度をモデルＭの軸方向として記憶部２２に登録する。

サイズ推定部２５は、図４（ａ）に示すように、最小半径ｒ_minと最大半径ｒ_maxを仮定し、下記の数式２により求められるｒ_iを半径とするモデルＭ_iをそれぞれ生成し、モデルＭ_i毎に軸方向推定処理を実施する。モデルＭ_iの生成および軸方向推定処理は、モデル生成部２６および軸方向推定部２７の処理と同じであるため説明を省略する。

その後、サイズ推定部２５は、半径ｒ_i毎に、ｚ角度５度毎に算出した一致度の平均値を求め、最も平均値の高い半径ｒ_iをワークＷの半径ｒとして出力する。図４（ｂ）に、一致度の平均値をプロットしたグラフを示す。ここでは、ｒ_min＝２．０mm、ｒ_max＝８．０mmとし、半径ｒを０．０６mm増加させる毎に一致度の平均値をプロットしている。一致度の平均値が最も大きいｒ_iを、ワークＷの実半径ｒと推定できる。

記憶部２２は、一致度の高い順にモデルＭを記憶している。詳しくは、点群データＰには複数のワークＷの表面形状が含まれているため、記憶部２２では、それぞれのワークＷと同じ軸方向を向くモデルＭを算出し、一致度の高い順にモデルＭを記憶する。

把持可能性判断部２８は、記憶部２２から一致度の高い順にモデルＭを読み出し、メインハンド３１が把持可能か否かを判断する。把持可能性の判断は、下記（１）〜（３）の条件の何れか一つに該当する場合に、把持不可能と判断する。
（１）メインハンド３１による把持位置がスカラロボット３の可動範囲外である。
（２）メインハンド３１とパレット１２が干渉する。
（３）メインハンド３１と、把持対象のワークＷとは別のワークＷが干渉する。
把持が不可能である場合には、記憶部２２から次に一致度の高いモデルＭを読み出す。そして、制御部２１は、把持可能と判断されたモデルＭに対応する制御情報をスカラロボット３に送信する。制御情報は、例えば、モデルＭに対応する原点Ｏの座標（ｘ_o，ｙ_o，ｚ_o）および半径ｒ等の制御パラメタを好適に採用できる。

スカラロボット３は、ワークＷを把持するメインハンド３１と、把持状態検出部２９の検出結果に基づいてワークＷの姿勢を変更する補助ハンド３４から構成される。スカラロボット３は、ｚ軸周りに回転し、メインハンド３１を初期位置から補助ハンド３４を経由しつつ整列トレイ１１位置まで移動させる。

メインハンド３１は、スカラロボット３のフランジ面に取り付けられ、電動グリッパ３２と、ワークＷを把持する把持爪３３を備える。電動グリッパ３２は、把持爪３３を平行に移動して開閉させる機構を有する。把持爪３３は任意の位置で保持可能であるため、様々なワークＷ径に対応できる。

補助ハンド３４は、ピッキングシステム１を収容する筐体１０に固定され、ワークＷを挟持する挟持爪３６と、挟持爪３６を開閉させるエアチャック３５と、挟持爪３６およびエアチャック３５を載置した回転ステージ３７を備える。回転ステージ３７は、−１８０〜１８０度の範囲で回転でき、任意の角度に位置決めできる。また、エアチャック３５は、初期状態では挟持爪３６を開位置に保持し、正圧エアを加圧することによって挟持爪３６を閉じる機構を有する。

次に、上記構成のピッキングシステム１の処理の流れについて、図５に基づいて説明する。まず、ワークＷがパレット１２に投入されると（Ｓ１）、３Ｄスキャナ４がワークＷをスキャンし、ＰＣ２に計測中間データを送信する。計測中間データを受信したＰＣ２は、点群データＰを生成し（Ｓ２）、半径をｒ_min〜ｒ_maxと仮定してサイズを推定する（Ｓ３）。その後、実半径ｒを用いてモデルを生成し（Ｓ４）、モデルＭを点群データＰにあてはめて軸方向を推定する（Ｓ５）。ここで、ワークＷの位置姿勢認識は、実半径ｒを用いたモデルの生成および軸方向の推定を主要部とする。この主要部となる処理は、点群データＰに含まれるワークＷの全てについて実施され、記憶部２２では、一致度が高い順にモデルＭをソートして記憶する。

位置姿勢の認識が終わると、制御部２１は、記憶部２２から最も一致度の高いモデルＭを読み出し、把持対象の候補とする（Ｓ６：Ｙｅｓ）。そして、把持対象候補が、メインハンド３１により把持可能である場合には（Ｓ７：Ｙｅｓ）、スカラロボット３にピッキング動作、続いて整列動作のための制御信号を送信する（Ｓ８，Ｓ９）。一方、把持不可能である場合には（Ｓ７：Ｎｏ）、記憶部２２から次に一致度の高いモデルＭを読み出し、把持可能性を判断する（Ｓ１０）。

続いて、スカラロボット３の動作について図６〜９に基づいて説明する。ここでは、メインハンド３１の初期位置を座標（ｘ₀，ｙ₀，ｚ₀）、ＰＣ２から受信したワークＷの把持位置を座標（ｘ₁，ｙ₁，ｚ₁）、所定の遊びをαまたはβとして説明する。また、図面の記号（ａ）等に付した添え字については、「１」はピッキングシステム１を上方から見下ろした図、「２」はピッキングシステム１を側方から見た図であることを示す。

まず、メインハンド３１によるピッキング動作を図６に基づいて説明する。メインハンド３１は、ＰＣ２からピッキング制御情報を受信し、爪先（把持爪３３の先端部）を図６（ａ）〜（ｇ）に示すように動作させる。動作の内容を以下に記載する。
（ａ）爪先を待機位置（ｘ₀，ｙ₀，ｚ₀）で保持する。
（ｂ）爪先をワークＷの真上である座標（ｘ₁，ｙ₁，ｚ₀）に移動する。
（ｃ）把持爪３３をワークＷの中心軸と平行になるように回転させる。
（ｄ）電動グリッパ３２を動作させ、爪先を「ワークＷの直径＋α」つまり、「半径ｒ×２＋α」まで開く。
（ｅ）爪先を座標（ｘ₁，ｙ₁，ｚ₁）に移動する。
（ｆ）電動グリッパ３２を動作させ、爪先を「直径−β」つまり、「半径ｒ×２−β」まで閉じる。
（ｇ）爪先を座標（ｘ₁，ｙ₁，ｚ₀）に移動する。つまり、ｚ方向に垂直に移動させ、ｚ座標のみ待機位置ｚ₀まで戻す。
その後、爪先を待機位置（ｘ₀，ｙ₀，ｚ₀）まで戻す。このときは、ワークＷは、必ずしも水平に把持されているとは限らない。

次に、メインハンド３１および補助ハンド３４による整列動作を図７〜９に基づいて説明する。ピッキング動作が終了すると、図７に示すように、カメラ５でワークＷを把持した状態のメインハンド３１を撮影し、把持状態を検出する。図７（ａ）〜（ｃ）は、以下の状態を示している。
（ａ）メインハンド３１、カメラ５、バックライト６の位置関係を示す図である。
（ｂ）メインハンド３１をカメラ５から見た図である。
（ｃ）カメラ５が把持状態を撮影し、撮影画像５１を出力する。出力した撮影画像５１は、ＰＣ２に送信され、把持状態検出部２９により処理される。
図７（ｄ）〜（ｈ）は、把持状態検出部２９における以下の処理を示している。
（ｄ）撮影画像５１を二値化する。
（ｅ）あらかじめ撮影したメインハンド３１の把持爪３３の画像でマスキングし、ワークＷの画像のみ抽出する。
（ｆ）抽出したワークＷの画像について主成分分析し、ワークＷの傾きを検出する。
（ｇ）検出したワークＷの傾きに沿って、ワークＷの左端と右端を検出する。
（ｈ）左端と右端のうち、太い方をワークの頭端Ｗ_hとし、反対側を尾端Ｗ_tとする。

把持状態を検出した後、図８，９に示すように、メインハンド３１から補助ハンド３４、補助ハンド３４からメインハンド３１にワークＷを受け渡し、ワークＷの姿勢を変更する。図８（ａ）〜（ｆ）および図９の（ｇ）〜（ｌ）は、以下の動作を示している。
（ａ）初期状態では、補助ハンド３４の挟持爪３６は開いている。
（ｂ）補助ハンド３４の回転ステージ３７の角度をワークＷの傾きにあわせて回転させる。
（ｃ）メインハンド３１を移動させ、ワークＷの尾端Ｗ_tを、補助ハンド３４の爪先（挟持爪３６の先端部）付近まで運ぶ。
（ｄ）メインハンド３１をさらに移動させ、ワークＷの尾端Ｗ_tを、補助ハンド３４の挟持爪３６の間に運ぶ。
（ｅ）補助ハンド３４の挟持爪３６をワークＷに合わせて閉じる
（ｆ）メインハンド３１の把持爪３３を開いてワークＷを開放する。
（ｇ）メインハンド３１をｚ方向に移動させる。
（ｈ）補助ハンド３４の回転ステージ３７の角度を０度に戻す。
（ｉ）メインハンド３１をワークＷの把持位置まで降ろす。
（ｊ）メインハンド３１を閉じてワークＷを把持するとともに、補助ハンド３４を開く。
（ｋ）メインハンド３１を横に移動して、補助ハンド３４からワークＷを引き抜く。
（ｌ）スカラロボット３がｚ軸周りに回転移動し、メインハンド３１は、ワークＷを整列トレイに載置する。

以上の構成のピッキングシステム１によれば、把持対象のワークを略円柱形状に限定し、ランダムに積まれたワークＷの計測中間データから点群データＰを生成し、点群データＰに基づいてワークＷの位置および姿勢を算出するため、あらかじめモデル等を準備する必要がなく、作業工程を省くことができるという効果を有する。また、モデルＭのあてはめの際に、精密な照合演算が不要であるため、演算量を低減できるという優れた効果も有する。さらに、本発明のピッキングシステムによれば、メインハンドが把持したワークの姿勢を補助ハンドによって補正するため、制御情報が少ないスカラロボットを採用できるという効果も有する。

その他、本発明は、上記実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で、各部の構成を任意に変更して実施することも可能である。

１ ピッキングシステム
２ 演算制御用ＰＣ（位置姿勢認識装置）
３ スカラロボット
４ ３Ｄスキャナ
５ カメラ
２１ 制御部
２２ 記憶部
２３ インターフェース
２４ 点群データ生成部
２５ サイズ推定部
２６ モデル生成部
２７ 軸方向推定部
２８ 把持可能性判断部
２９ 把持状態検出部
３１ メインハンド
３２ 電動グリッパ
３３ 把持爪
３４ 補助ハンド
３５ エアチャック
３６ 挟持爪
３７ 回転ステージ
Ｏ 原点
Ｐ 点群データ
Ｍ モデル
Ｗ ワーク
ｑ 軸候補点
ｐ 点群データに含まれる各点
ｒ 半径
ｎ 法線ベクトル

Claims (7)

1. 略円柱状のワークを表した点群データに基づいてワークの位置および姿勢を認識する装置であって、
   前記装置を制御する制御手段を備え、
   前記制御手段が、ワークのサイズに基づいてモデルを生成するモデル生成手段と、前記モデルを用いてワークの軸方向を推定する軸方向推定手段と、を含み、
   前記軸方向推定手段は、前記モデルを所定の回転軸周りに回転させ、点群データとの一致度が最も高い回転角度を軸方向として推定することを特徴とする位置姿勢認識装置。
2. 前記軸方向推定手段は、前記点群データに基づいて法線ベクトルを推定し、前記点群データに含まれる点群を、前記点群データにより表される略円柱の中心軸に向けて集積させ、前記点群の集積度に基づいて前記モデルの回転軸を選択する請求項１に記載の位置姿勢認識装置。
3. 前記制御手段が、ワークのサイズを推定するサイズ推定手段を含み、
   前記サイズ推定手段は、所定の値を仮ワーク径とし、仮ワーク径に対応するモデルを、前記モデル生成手段を用いて生成し、生成したモデルに対応する軸方向を、前記軸方向推定手段を用いて推定し、点群データとの一致度が最も高いモデルに対応する仮ワーク径を実ワーク径として推定する請求項１または２に記載の位置姿勢認識装置。
4. 前記軸方向推定手段が、前記モデル毎に前記点群データとの一致度の平均値を算出する手段を含み、
   前記サイズ推定手段は、前記平均値が最も高いモデルに対応する仮ワーク径を実ワーク径として推定する請求項３に記載の位置姿勢認識装置。
5. 前記一致度の高い順にモデルを記憶する手段を含み、
   前記制御手段は、前記モデルに基づいてワークが把持可能か否かを判断する把持可能性判断手段を含み、
   前記把持可能性判断手段は、前記記憶手段から一致度の高い順に前記モデルを読み出して把持可能性を判断し、把持可能なモデルを出力する請求項１〜４のいずれかに記載の位置姿勢認識装置。
6. 請求項１〜５の何れかに記載の位置姿勢認識装置と、前記軸方向に基づいてワークを把持するメインハンドと、前記メインハンドが把持したワークの姿勢を変更する補助ハンドと、を備えたことを特徴とするピッキングシステム。
7. 前記メインハンドによるワークの把持状態を検出するカメラを備え、
   前記補助ハンドは、前記カメラの検出結果に基づいてワークの姿勢を変更する請求項６に記載のピッキングシステム。

Images