JP2020093341A - 容易度判定装置及び容易度判定方法 - Google Patents

Abstract

【課題】物体の把持の容易度を判定可能とする。【解決手段】画像から物体１１のうちの平行グリッパ１０１が接触する面の面内方向である接触面内方向を推定し、推定結果から物体１１の把持の容易度を評価するための指標を取得する指標取得部３０１と、指標取得部３０１により取得された指標から、物体１１の把持の容易度を算出する容易度算出部３０２と、容易度算出部３０２により算出された容易度を示す情報を提示する容易度提示部３０３とを備えた。【選択図】図２

Description

この発明は、物体の把持の容易度を判定する容易度判定装置及び容易度判定方法に関する。

従来から、テンプレートマッチングという手法を用いて、画像から、対象である物体の位置（ｘ、ｙ）及び姿勢（θ）を推定する２次元位置姿勢推定装置が知られている（例えば特許文献１参照）。この２次元位置姿勢推定装置では、物体のモデル（テンプレート）を予め登録し、画像とテンプレートとの間の画像特徴の一致度を評価することで、画像上での物体の位置姿勢を推定する。
そして、ロボットピッキングシステムでは、２次元位置姿勢推定装置により推定された物体の位置及び姿勢に基づいて、コンベア等の搬送路により供給された物体のピッキングを行う。

特開２０１６−２０７１４７号公報

一方、複数のロボットが多品種少量の生産ラインで稼動している場合、ロボットによる把持ミスが生じると作業員がリカバリー作業を行う必要がある。しかしながら、常に把持ミスが起こるわけではない。よって、徹底的な合理化を促進するためには、物体の把持の容易度を検出し、ロボットに配置する作業員の人数を可能な限り少なくすることが望ましい。

この発明は、上記のような課題を解決するためになされたもので、物体の把持の容易度を判定可能な容易度判定装置を提供することを目的としている。

この発明に係る容易度判定装置は、画像から物体のうちの平行グリッパが接触する面の面内方向である接触面内方向を推定し、推定結果から物体の把持の容易度を評価するための指標を取得する指標取得部と、指標取得部により取得された指標から、物体の把持の容易度を算出する容易度算出部と、容易度算出部により算出された容易度を示す情報を提示する容易度提示部とを備えたことを特徴とする。

この発明によれば、上記のように構成したので、物体の把持の容易度を判定可能である。

実施の形態１に係る容易度判定装置を備えロボットピッキングシステムの構成例を示す図である。 実施の形態１に係る容易度判定装置の構成例を示す図である。 実施の形態１に係る容易度判定装置の動作例を示すフローチャートである。 実施の形態１における画像取得部により取得された画像の一例を示す図である。 図５Ａ〜図５Ｃは、実施の形態１における領域抽出部による動作を説明するための図である。 図６Ａ、図６Ｂは、実施の形態１における方向推定部による動作を説明するための図である。 実施の形態１における総距離算出部により算出される総距離、最大距離算出部により算出される最大距離及び実距離算出部により算出される実距離を説明するための図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は実施の形態１に係る容易度判定装置３を備えたロボットピッキングシステムの構成例を示す図である。
容易度判定装置３は、例えば、ＦＡ（ファクトリーオートメーション）等における物体１１のピッキング動作を行うロボットピッキングシステムに設けられる。

ロボットピッキングシステムは、例えば、工場の生産ライン等に配置され、搬送路１２により供給された物体１１のピッキングを行う。なお、搬送路１２により供給される物体１１は重ならずに配置されているものとする。このロボットピッキングシステムは、図１に示すように、ロボット１、カメラ（撮像装置）２及び容易度判定装置３を備えている。

ロボット１は、アームの先端に平行グリッパ１０１を有し、この平行グリッパ１０１を用いて物体１１のピッキングを行う。なお、平行の意味は略平行の意味を含み、また、複数の爪を略平行に配置して平行グリッパ１０１と等価な把持ができるようにしたものを含む。

カメラ２は、例えば平行グリッパ１０１に取付けられ、撮像領域を撮像して画像を得る。このカメラ２により得られた画像を示すデータ（画像データ）は容易度判定装置３に出力される。また、カメラ２の取付け位置は、平行グリッパ１０１に限られない。
なお、カメラ２により得られる画像は、撮像領域に物体１１が存在する場合に、その物体１１を示す領域（物体領域）とその他の領域（背景領域）とを判別可能な画像であればよく、その形式は問わない。カメラ２は、例えば２次元画像を得てもよい。この２次元画像としては、一般的にはカラー又はモノクロの可視画像が挙げられるが、これに限らず、可視画像では上記の判別が容易ではない場合には、近赤外線画像又はマルチスペクトル画像等の特殊な２次元画像を用いてもよい。また、カメラ２は、物体１１にある程度の奥行きがある場合には、距離画像を得てもよい。

容易度判定装置３は、カメラ２により得られた画像から、搬送路１２により供給された物体１１の把持の容易度を判定する。この容易度判定装置３は、図２に示すように、指標取得部３０１、容易度算出部３０２及び容易度提示部３０３を備えている。なお、容易度判定装置３は、システムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路、又はメモリ等に記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により実現される。

指標取得部３０１は、カメラ２により得られた画像から物体１１の接触面内方向を推定し、推定結果から物体１１の把持の容易度を評価するための指標を取得する。接触面内方向は、物体１１のうちの平行グリッパ１０１が接触する面の面内方向である。この指標取得部３０１は、図２に示すように、画像取得部３０４、領域抽出部３０５、方向推定部３０６、総距離算出部３０７、最大距離算出部３０８及び実距離算出部３０９を有している。

画像取得部３０４は、カメラ２により得られた画像を取得する。

領域抽出部３０５は、画像取得部３０４により取得された画像から、画像処理によって物体領域を抽出する。すなわち、領域抽出部３０５は、上記画像から、コントラストの変化の度合いに基づいて、物体領域を抽出する。領域抽出部３０５による物体領域の抽出手法としては、例えば閾値処理又は背景差分法等が考えられるが、物体領域と背景領域とを判別して物体領域を抽出可能な手法であれば特に制限はない。

方向推定部３０６は、領域抽出部３０５により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体１１の姿勢を推定することで、物体１１の接触面内方向を推定する。なお、領域抽出部３０５により抽出された物体領域に基づく領域は、当該物体領域、当該物体領域を凸包した領域、当該物体領域を幾何学形状で近似した領域、当該物体領域を幾何学形状で包含した最小の領域、又は、当該物体領域を幾何学形状で外接した最小の領域のうちの１つ以上の領域を含む。幾何学形状としては、矩形又は楕円等が挙げられる。
方向推定部３０６は、例えば、上記接触面内方向として上記物体領域に基づく領域の長軸方向を推定する。

総距離算出部３０７は、領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、総距離を算出する。総距離は、上記物体領域そのものにおける上記接触面内方向に平行（略平行の意味を含む）な両辺の合計の距離である。

最大距離算出部３０８は、領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、最大距離を算出する。最大距離は、上記両辺を上記接触面内方向に投影した際に重複する部分の距離である。

実距離算出部３０９は、領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、実距離を算出する。実距離は、上記物体領域に基づく領域における上記接触面内方向に垂直な方向（平行グリッパ１０１の把持方向）の距離である。

なお、総距離算出部３０７、最大距離算出部３０８及び実距離算出部３０９は、「領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、物体１１の把持の容易度を評価するための指標を算出する指標算出部」を構成する。

また図２では、指標取得部３０１が、総距離算出部３０７、最大距離算出部３０８及び実距離算出部３０９の全てを有する場合を示した。しかしながら、これに限らず、指標取得部３０１は、総距離算出部３０７、最大距離算出部３０８及び実距離算出部３０９のうちの少なくとも１つ以上を有していればよい。
また、指標取得部３０１は、取得する指標として、上記各指標に加え、更に別の指標を含めてもよい。

容易度算出部３０２は、指標取得部３０１により取得された指標から、搬送路１２により供給された物体１１の把持の容易度を算出する。
なお、容易度算出部３０２は、例えば、指標取得部３０１により取得された指標に係数を乗じた多項式によって容易度を算出する。又は、容易度算出部３０２は、機械学習を行った学習済みの学習器を用いて容易度を算出する。

容易度提示部３０３は、容易度算出部３０２により算出された容易度を示す情報を、モニタ（不図示）に提示する。

次に、図２に示す容易度判定装置３の動作例について、図３を参照しながら説明する。
一般的に、物体１１の姿勢を表現する場合、オイラー角（α，β，γ）及び四元数（ｗ，ｘ，ｙ，ｚ）に代表されるように、ある基準からの回転量（角度）で表現する場合が多い。この場合、物体１１自体はその基準を持っていないため、ユーザは、任意に基準を設定する必要がある。また、基準の設定に関しては特に制限はない。よって、方向推定部３０６は、物体領域に基づく領域から再現性のある一意の方向を導出することで、基準となるテンプレートを用いずに物体１１の姿勢が表現可能である。
また、画像上で物体１１の姿勢を表現する場合、主にＺ軸（カメラ２の光軸方向）周りの回転量で表現する場合が多い。よって、Ｚ軸周りに回転対称な形状を有する物体１１に対しては、姿勢の表現が不可能（不必要）である。このことから、画像上での姿勢推定が必要な物体１１は、形状に何らかの幾何学的特徴を有するものに限定される。そして、物体１１として形状に何らかの幾何学的特徴を有するものを想定した場合、その物体領域に基づく領域の長軸方向は一意に定まる。そこで、以下では、方向推定部３０６は物体１１の接触面内方向として長軸方向を推定する。

そして、実施の形態１に係る容易度判定装置３では、物体領域及び接触面内方向を入力情報として用いることで、搬送路１２により供給された物体１１の把持の容易度を判定する。

この実施の形態１に係る容易度判定装置３の動作例では、図３に示すように、まず、画像取得部３０４は、カメラ２により得られた画像を取得する（ステップＳＴ１）。

次いで、領域抽出部３０５は、画像取得部３０４により取得された画像から、画像処理によって物体領域を抽出する（ステップＳＴ２）。ここでは、領域抽出部３０５は、閾値処理によって画像から物体領域を抽出するものとする。画像取得部３０４により例えば図４に示すような画像が取得されたとする。この画像には、物体１１、搬送路１２及びその他の背景が含まれている。実施の形態１に係る容易度判定装置３では、テンプレートを用意しないため、画像から物体領域を直接抽出することは容易ではない。そこで、領域抽出部３０５は、まず、例えば図５Ａに示すように、閾値処理によって画像から搬送路１２を示す領域（図５Ａに示すグレーの領域）５０１を抽出することが望ましい。そして、領域抽出部３０５は、搬送路１２を示す領域５０１と、当該領域に対してクロージング処理等で領域の穴埋めを行った領域（図５Ｂに示すグレーの領域）５０２との差分をとることで、物体領域（図５Ｃに示すグレーの領域）５０３が抽出可能である。

次いで、方向推定部３０６は、領域抽出部３０５により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体１１の姿勢を推定することで、物体１１の接触面内方向を推定する（ステップＳＴ３）。ここでは、方向推定部３０６は、上記領域の図心を用い、上記接触面内方向として上記領域の長軸方向を推定する。

具体的には、方向推定部３０６は、まず、領域抽出部３０５により抽出された物体領域に基づく領域の図心を導出する。ここで、上記領域を構成する点の座標が（ｕ_ｉ，ｖ_ｉ）（ｉ，ｊ＝１，・・・，Ｎ）で表される場合、方向推定部３０６は、当該領域の０次モーメント及び１次モーメントを用いて、下式（１）〜（４）から、当該領域の図心を導出する。なお、Ｎは上記領域を構成する点の個数である。また、式（１）〜（４）において、ｍ_００は上記領域の０次モーメントを表し、（ｍ_１０，ｍ_０１）は当該領域の１次モーメントを表し、（ｕ（バー），ｖ（バー））は当該領域の図心を表す。

そして、基準方向が画像上の水平方向である場合、方向推定部３０６は、上記領域の２次モーメント及び当該領域の図心に基づいて、下式（６）〜（９）から、水平方向からの回転角度を導出することで物体１１の長軸方向を推定する。式（６）〜（９）において、（ｍ_２０，ｍ_０２，ｍ_１１）は上記領域の２次モーメントを表し、θは回転角度を表す。

例えば、領域抽出部３０５が図５Ｃに示すような物体領域５０３を抽出したとする。また、方向推定部３０６が用いる領域が、図６Ａに示すように物体領域５０３を包含する最小の矩形領域６０１であるとする。この場合、方向推定部３０６により導出される図心６０２及び長軸方向６０３は図６Ｂに示すようになる。

また、方向推定部３０６は、例えば図５Ｃに示す物体領域５０３及び図６Ａに示す矩形領域６０１等のように複数の領域を用いてそれぞれに対して物体１１の長軸方向の推定を行い、それらの推定結果に基づいて物体１１の長軸方向を推定してもよい。これにより、方向推定部３０６は、方向推定の精度の向上を図ることができる。

次いで、総距離算出部３０７は、領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、総距離を算出する（ステップＳＴ４）。すなわち、総距離算出部３０７は、図７に示すように、上記物体領域そのものにおける長軸方向に平行な両辺（図７で符号７０３，７０４に示す辺）の合計の距離を、総距離として算出する。また図７において、符号７０１は図心を示し、符号７０２は長軸方向を示している。

物体領域に基づく領域において接触面内方向に平行な両辺が長い程、平行グリッパ１０１が物体１１を把持する際に物体１１との接触距離が長くなると考えられる。この接触距離が長いということは、平行グリッパ１０１が物体１１を広範囲で把持できることを意味する。そして、平行グリッパ１０１は、把持する範囲が広い程、物体１１の回転モーメントに対して頑健となり、また、静止摩擦力が働くための接触面も広くなる。よって、総距離算出部３０７により算出される総距離は、物体１１の把持が安定し易く容易であることを評価するための因子として技術的な意義がある。

また、最大距離算出部３０８は、領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、最大距離を算出する（ステップＳＴ５）。すなわち、最大距離算出部３０８は、図７に示すように、上記物体領域そのものにおける長軸方向に平行な両辺を当該長軸方向に投影した際に重複する部分の距離（図７で符号７０５に示す距離）を、最大距離として算出する。

一般的に、平行グリッパ１０１が物体１１を安定的に把持するためには少なくとも３点以上で把持することが望ましい。これに対し、最大距離が長い程、３点以上で把持可能な範囲が広くなるため、把持が安定し易く容易であると評価できる。仮に、平行グリッパ１０１が物体１１に接する部分が間欠的になることで総距離が短い場合でも、最大距離が長い場合には、平行グリッパ１０１は物体１１を広範囲で把持可能であり、把持が容易になると評価できる。よって、最大距離算出部３０８により算出される最大距離は、物体１１の把持が安定し易く容易であることを評価するための因子として技術的な意義がある。

また、実距離算出部３０９は、領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、実距離を算出する（ステップＳＴ６）。すなわち、実距離算出部３０９は、図７に示すように、物体領域に基づく領域における短軸方向の距離（図７で符号７０６に示す距離）を、実距離として算出する。

平行グリッパ１０１は、最大ストロークを超えた大きさの物体１１は把持できない。よって、実距離算出部３０９により算出された実距離は、物体１１の把持が容易であることを評価するための因子としての技術的な意義がある。

次いで、容易度算出部３０２は、指標取得部３０１により取得された指標から、搬送路１２により供給された物体１１の把持の容易度を算出する（ステップＳＴ７）。

容易度は、基本的に、総距離、最大距離及び実距離のうちの何れか１つを用いれば成り立ち、また、これらと等価な技術的な意義を有する指標を用いてもよい。なお、実用性を考慮すれば、これらの指標は、指標の算出に用いた物体領域に基づく領域の総面積で正規化することで、汎用性が向上し、好適である。

なお、総距離及び最大距離は、数値が大きい程（長い程）、容易度が高くなる。また、実距離は、数値が小さい程（短い程）、容易度が高くなる。そこで、容易度算出部３０２は、例えば下式（１０）、下式（１１）、下式（１２）又は下式（１３）のような多項式を用いて容易度を算出してもよい。なお、式（１０）〜（１３）において、Ｘは総距離を示し、Ｙは最大距離を示し、Ｚは実距離を示し、Ｓは上記総面積を示している。また、Ａ，Ｂ，Ｃは係数であり、Ａ≧０．０であり、Ｂ≧０．０であり、Ｃ≧０．０である。また、Ａ，Ｂ，Ｃは、オペレータの経験又は実験データに基づく統計処理（回帰分析）等により決定される。
Ｆ＝ＡＸ＋ＢＹ−ＣＺ （１０）
Ｆ＝ＡＸ^２＋ＢＹ^２−ＣＺ^２（１１）
Ｆ＝ＡＸ／Ｓ＋ＢＹ／Ｓ−ＣＺ／Ｓ （１２）
Ｆ＝ＡＸ^２／Ｓ＋ＢＹ^２／Ｓ−ＣＺ^２／Ｓ （１３）

また、容易度としては、総距離、最大距離、実距離以外にも、物体１１の把持の容易度の評価因子として技術的な意義のある指標を取り込むことが可能である。この場合、回帰分析等で得られる多項式では不十分になるくらいに、容易度との関係が複雑になる可能性がある。よって、容易度算出部３０２は、ディープラーニング等のＡＩ（人工知能）によって機械学習を行った学習済みの学習器を用いて容易度を算出してもよい。

次いで、容易度提示部３０３は、容易度算出部３０２により算出された容易度を示す情報をモニタに提示する（ステップＳＴ８）。

ここで、上述したように、複数のロボット１が多品種少量の生産ラインで稼動している場合、把持のミスが起こった際には作業員がリカバリー作業を行う必要がある。そこで、実施の形態１に係る容易度判定装置３で物体１１の把持の容易度を判定する。これにより、生産ラインの作業員又は監督者は、把持の容易度に応じて把持ミスが生じ易いと思われるロボット１に対して優先的に作業員を配置できる。その結果、生産ラインにおいて協働する作業員を効率よく配置可能となり、また、リカバリー作業のための作業員の移動時間を合理的に削減可能となる。

以上のように、この実施の形態１によれば、容易度判定装置３は、画像から物体１１のうちの平行グリッパ１０１が接触する面の面内方向である接触面内方向を推定し、推定結果から物体１１の把持の容易度を評価するための指標を取得する指標取得部３０１と、指標取得部３０１により取得された指標から、物体１１の把持の容易度を算出する容易度算出部３０２と、容易度算出部３０２により算出された容易度を示す情報を提示する容易度提示部３０３とを備えた。これにより、実施の形態１に係る容易度判定装置３は、物体１１の把持の容易度を判定可能である。

また、実施の形態１における指標取得部３０１は、画像を取得する画像取得部３０４と、画像取得部３０４により取得された画像から、物体１１を示す領域である物体領域を抽出する領域抽出部３０５と、領域抽出部３０５により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体１１の姿勢を推定することで、当該物体１１の接触面内方向を推定する方向推定部３０６と、領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、物体１１の把持の容易度を評価するための指標を算出する指標算出部とを有する。これにより、実施の形態１における指標取得部３０１は、テンプレートを用いずに多様な物体１１に対して画像上での接触面内方向が検出可能となり、その接触面内方向から上記指標を算出可能となる。

なお上記では、指標取得部３０１は、テンプレートを用いずに物体１１の接触面内方向を検出する場合を示した。しかしながら、これに限らず、指標取得部３０１は、テンプレートを用いて物体１１の接触面内方向を検出してもよい。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、若しくは実施の形態の任意の構成要素の省略が可能である。

１ ロボット
２ カメラ（撮像装置）
３ 容易度判定装置
１１ 物体
１２ 搬送路
１０１ 平行グリッパ
３０１ 指標取得部
３０２ 容易度算出部
３０３ 容易度提示部
３０４ 画像取得部
３０５ 領域抽出部
３０６ 方向推定部
３０７ 総距離算出部
３０８ 最大距離算出部
３０９ 実距離算出部

Claims (6)

1. 画像から物体のうちの平行グリッパが接触する面の面内方向である接触面内方向を推定し、推定結果から物体の把持の容易度を評価するための指標を取得する指標取得部と、
   前記指標取得部により取得された指標から、物体の把持の容易度を算出する容易度算出部と、
   前記容易度算出部により算出された容易度を示す情報を提示する容易度提示部と
   を備えた容易度判定装置。
2. 前記指標取得部は、
   画像を取得する画像取得部と、
   前記画像取得部により取得された画像から、物体を示す領域である物体領域を抽出する領域抽出部と、
   前記領域抽出部により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体の姿勢を推定することで、当該物体の接触面内方向を推定する方向推定部と、
   前記領域抽出部により抽出された物体領域に基づく領域及び前記方向推定部により推定された接触面内方向から、物体の把持の容易度を評価するための指標を算出する指標算出部とを有する
   ことを特徴とする請求項１記載の容易度判定装置。
3. 前記指標算出部は、物体の把持の容易度を評価するための指標として、物体領域における接触面内方向に平行な両辺の合計の距離である総距離、当該両辺を当該接触面内方向に投影した際に重複する部分の距離である最大距離、及び、当該物体領域に基づく領域における当該接触面内方向に垂直な方向の距離である実距離のうちの少なくとも１つを算出する
   ことを特徴とする請求項２記載の容易度判定装置。
4. 前記容易度算出部は、前記指標取得部により取得された指標に係数を乗じた多項式によって容易度を算出する
   ことを特徴とする請求項１から請求項３のうちの何れか１項記載の容易度判定装置。
5. 前記容易度算出部は、機械学習を行った学習済みの学習器を用いて容易度を算出する
   ことを特徴とする請求項１から請求項３のうちの何れか１項記載の容易度判定装置。
6. 指標取得部が、画像から物体のうちの平行グリッパが接触する面の面内方向である接触面内方向を推定し、推定結果から物体の把持の容易度を評価するための指標を取得するステップと、
   容易度算出部が、前記指標取得部により取得された指標から、物体の把持の容易度を算出するステップと、
   容易度提示部が、前記容易度算出部により算出された容易度を示す情報を提示するステップと
   を有する容易度判定方法。

Images