JP2021063667A - 作業位置決定方法、ロボット制御方法、作業位置決定装置、および面状物ハンドリングシステム - Google Patents

Abstract

【課題】様々な形状の対象物に対して、作業位置を決定する作業位置決定方法を提供する。【解決手段】作業位置決定方法は、面状の対象物を異なる視点から撮像した第１画像および第２画像を取得する撮像工程と、第１画像および第２画像のそれぞれにおいて対象物のエッジの少なくとも一部を抽出するエッジ抽出工程と、抽出したエッジの少なくとも１点の三次元座標を取得する三次元座標取得工程と、三次元座標に基づいて、対象物に対する作業位置を決定する作業位置決定工程と、を含む。【選択図】図３

Description

本発明は、作業位置決定方法、ロボット制御方法、作業位置決定装置、および面状物ハンドリングシステムに関する。

布等の可撓性を有する面状の対象物を扱う作業を、ロボットを利用して自動化することが行われている。例えば、特許文献１には、三次元カメラにより撮影した画像に基づいて、タオル、またはシーツ等の布片の三次元形状を取得して、布片の角部を把持する方法が開示されている。

特開２０１８−１１４０２８号公報

特許文献１に記載された方法では、矩形以外の形状の対象物を取り扱うことが困難である。

そこで、本発明では、面状で様々な形状の、可撓性を有する対象物を認識して作業位置を決定する方法を提供することを課題とする。

本発明に係る作業位置決定方法は、
面状の対象物を異なる視点から撮像した第１画像および第２画像を取得する撮像工程と、
前記第１画像および前記第２画像のそれぞれにおいて前記対象物のエッジの少なくとも一部を抽出するエッジ抽出工程と、
抽出した前記エッジの少なくとも１点の三次元座標を取得する三次元座標取得工程と、
前記三次元座標に基づいて、前記対象物に対する作業位置を決定する作業位置決定工程と、
を含む。

本発明によれば、面状で様々な形状の、可撓性を有する面状の対象物を認識して作業位置を決定する方法を提供することができる。

実施の形態１に係る面状物ハンドリングシステムの構成を示すブロック図である。 実施の形態１に係る面状物ハンドリングシステムの構成を示す概略図である。 実施の形態１に係るロボット制御方法のフローチャートである。 第１カメラにより撮像された対象物の第１画像において対象物の領域を検出する処理を説明する図である。 第１カメラにより撮像された対象物の第１画像の二値化処理を説明する図である。 第１カメラにより撮像された対象物の第１画像においてエッジを抽出する処理を説明する図である。 第１カメラにより撮像された対象物の第１画像において端点を抽出する処理を説明する図である。 第１カメラにより撮像された対象物の第１画像において端点を抽出する処理を説明する図である。 第１カメラにより撮像された対象物の第１画像において端点を抽出する処理を説明する図である。 第１カメラにより撮像された対象物の第１画像において端点を抽出する処理を説明する図である。 対象物のエッジの三次元形状を示す図である。

第１の態様に係る作業位置決定方法は、
面状の対象物を異なる視点から撮像した第１画像および第２画像を取得する撮像工程と、
前記第１画像および前記第２画像のそれぞれにおいて前記対象物のエッジの少なくとも一部を抽出するエッジ抽出工程と、
抽出した前記エッジの少なくとも１点の三次元座標を取得する三次元座標取得工程と、
前記三次元座標に基づいて、前記対象物に対する作業位置を決定する作業位置決定工程と、
を含む。

この構成によると、面状で様々な形状の、可撓性を有する面状の対象物を認識して作業位置を決定することができる。

第２の態様に係る作業位置決定方法は、
前記三次元座標取得工程は、前記エッジの一端点の前記三次元座標を取得することを含んでいてもよい。

第３の態様に係る作業位置決定方法は、
前記対象物は、付属品を有してもよい。

第４の態様に係る作業位置決定方法は、
前記エッジは、第１エッジおよび第２エッジを含んでいてもよい。

これらの構成によると、面状の対象物の２つのエッジの三次元座標を取得するため、対象物の大まかな面の形状および向きを取得することができる。したがって、様々な形状の対象物に対する作業位置をより正確に算出することができる。

第５の態様に係る作業位置決定方法は、
前記対象物が可撓性を有していてもよい。

この構成によると、可撓性を有する対象物に対しても、作業位置を容易に決定することができる。可撓性を有する対象物の場合、形状が一定ではないため、三次元ＣＡＤのデータと第１カメラおよび第２カメラにより取得した三次元座標とのマッチングが困難である。しかし、本発明のように対象物のエッジの三次元座標を取得することで、作業位置を容易に決定することができる。

第６の態様に係るロボット制御方法は、
面状の対象物を異なる視点から撮像した第１画像および第２画像を取得する撮像工程と、
前記第１画像および前記第２画像のそれぞれにおいて、前記対象物のエッジの少なくとも一部を抽出するエッジ抽出工程と、
抽出した前記エッジの少なくとも１点の三次元座標を取得する三次元座標取得工程と、
前記三次元座標に基づいて、前記対象物に対する作業位置を決定する作業位置決定工程と、
前記作業位置に対してロボットハンドに作業させる作業工程と、
を含む。

この構成によると、面状で様々な形状の対象物に対して、作業位置を決定し、作業位置をロボットに指示することによりロボットに作業を実行させることができる。特に、可撓性を有する対象物に対して、より効果を発揮する。

第７の態様に係る作業位置決定装置は、
面状の対象物を異なる視点から撮像する第１カメラおよび第２カメラと、
前記第１カメラおよび前記第２カメラにより撮像されたそれぞれの画像において前記対象物のエッジの少なくとも一部を抽出するエッジ抽出部と、抽出した前記エッジの少なくとも１点の三次元座標を取得する三次元座標取得部と、前記三次元座標に基づいて前記対象物に対する作業位置を決定する作業位置決定部と、を含む演算部と、
を備える。

この構成によると、面状で様々な形状の面状の対象物を認識して作業位置を決定することができる。特に、可撓性を有する対象物に対して、より効果を発揮する。

第８の態様に係る面状物ハンドリングシステムは、
第７の態様に係る作業位置決定装置と、
前記作業位置に対して作業を行うロボットハンドを有するロボットと、
を備える。

この構成によると、面状で様々な形状の対象物に対して、作業位置を決定し、作業位置をロボットに指示することによりロボットに作業を実行させることができる。特に、可撓性を有する対象物に対して、より効果を発揮する。

（実施の形態１）
以下、実施の形態に係る作業位置決定方法、ロボット制御方法、作業位置決定装置、および面状物ハンドリングシステムについて、添付図面を参照しながら説明する。なお、図面において実質的に同一の部材については同一の符号を付している。

［全体構成］
図１は、実施の形態１に係る作業位置決定装置および面状物ハンドリングシステムの構成を示すブロック図である。図２は、実施の形態１に係る面状物ハンドリングシステムの構成を示す概略図である。

本実施の形態の作業位置決定装置２は、第１カメラ１１および第２カメラ１２と、制御部１８と、を備える。制御部１８は、領域検出部１３と、エッジ抽出部１４と、端点抽出部１５と、三次元座標取得部１６と、作業位置決定部１７と、を含む。また、本実施の形態の面状物ハンドリングシステム１は、図１に示すように、作業位置決定装置２と、ロボット３と、ロボット制御部４とを備える。本実施の形態では、図２に示すように、計測ステージ２１に載置された対象物２２を、作業位置決定装置２のカメラ１１、１２により撮像して得られた画像に基づいて、作業位置決定装置２が対象物２２の三次元座標を取得し、ロボット３の作業位置を決定する。本実施の形態では、計測ステージ２１に載置された対象物２２から端部２２ａが垂れ下がり、計測ステージ２１の側面２１ａを背景として、端部２２ａの部分をカメラ１１、１２により撮像する。計測ステージ２１の側面２１ａの色は、後述する画像処理を容易にするため、対象物２２の端部２２ａと明度の差が大きい色であるとよい。さらに、側面２１ａの色は一色であると好ましい。撮像用背景として、対象物２２の端部２２ａと明度の異なる背景ボード等を別途用意してもよい。決定された作業位置に基づいて、ロボット制御部４が、ロボット３を制御して対象物２２に対して作業を実施させる。

対象物２２は、布、紙、フィルム等の可撓性を有する面状あるいはシート状の物体である。本実施の形態では、対象物２２は付属品を有しており、付属品として対象物２２の端部２２ａにフック２２ｂが設けられている。なお、フック２２ｂ等の付属品は、対象物２２の必須の構成ではなく、対象物２２が付属品を有していなくても構わない。付属品には、フック２２ｂのように対象物２２の端部２２ａに設けられたもののほか、例えば対象物２２の内部に設けられた金属リングまたはスナップボタン等を含む。本実施の形態の面状物ハンドリングシステム１は、ロボット３を操作して、端部２２ａを把持してフック穴２２ｃにフック２２ｂをかける作業を実施させる。なお、ロボット３に操作させる作業はこれに限らない。また、対象物２２には、面状の物体であれば、様々な形状のものを採用することができる。

＜作業位置決定装置＞
作業位置決定装置２は、対象物２２の三次元座標を取得し、取得した三次元座標に基づいてロボット３の作業位置を決定する。ここで、対象物２２の三次元座標とは、後述する図１０に示すように、対象物２２の端部２２ａのエッジＥ１、エッジＥ２、対象物２２とフック２２ｂとの境界であるエッジＥ３、対象物の撮像領域におけるエッジＥ４、または、フック２２ｂの対象物２２の端部と接していないエッジＥ５の部分の三次元座標である。対象物２２は面状の物体であるため、図１０のように対象物２２のエッジ（エッジＥ１、エッジＥ２、エッジＥ３、エッジＥ４およびエッジＥ５）上の少なくとも１点の三次元座標を取得すると、ロボット３によるおおよその作業位置を決定することができる。

「作業」には、対象物に対する把持、挟持、および吸着等の保持作業、または対象物に対する塗装、マーキング、溶接、切断、部品取り付け、縫製、またははんだ付け等の加工作業を含む。「作業位置」とは、人またはロボットが、対象物に対して把持、挟持、または吸着等の保持作業、または塗装、マーキング、溶接、切断、部品取り付け、縫製、はんだ付け等の加工作業を行う際に、作業のターゲット位置となる三次元座標をいう。

作業位置決定装置２を構成する各構成要素について、以下に説明する。

＜カメラ＞
第１カメラ１１および第２カメラ１２は、面状の対象物２２を異なる視点から撮像する。第１カメラ１１により撮像された第１画像と、第２カメラ１２により撮像された第２画像とに基づいて、対象物２２の三次元座標を取得する。すなわち、作業位置決定装置２は、ステレオ法により、対象物２２のエッジＥ１、エッジＥ２、エッジＥ３、エッジＥ４、またはエッジＥ５の三次元座標を取得する。可撓性を有する面状体のエッジであるエッジＥ１、エッジＥ２、エッジＥ３、エッジＥ４、またはエッジＥ５を取得すると、本発明の効果をより発揮することができる。

＜制御部＞
制御部１８によって、第１画像および第２画像の画像処理を行う。制御部１８は、例えば、コンピュータ装置である。このコンピュータ装置としては、汎用的なものを用いることができる。制御部１８は、例えば、図１に示すように、処理部１８ａ、記憶部１８ｂを含む。制御部１８は、さらに、表示部、入力装置、記憶装置、またはインタフェース等を含んでいてもよい。なお、制御部１８が本発明の「演算部」に相当する。

＜処理部＞
処理部１８ａは、例えば、中央演算処理装置（ＣＰＵ、ＭＰＵ等）、マイクロコンピュータ、または、コンピュータで実行可能な命令を実行できる処理装置であればよい。

＜記憶部＞
記憶部１８ｂは、例えば、ＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、フラッシュＳＳＤ、ハードディスク、ＵＳＢメモリ、磁気ディスク、光ディスク、光磁気ディスク等のうち少なくとも１つであってもよい。記憶部１８ｂには、後述する領域検出部１３、エッジ抽出部１４、端点抽出部１５、三次元座標取得部１６、および作業位置決定部１７を処理部１８ａで実行可能なプログラムとして含み、これらが記憶部１８ｂから読み出されて、処理部１８ａにより実行される。

＜領域検出部＞
領域検出部１３は、第１画像および第２画像のそれぞれにおいて、対象物２２の領域を検出する。例えば、二値化処理により対象物２２の領域を検出することができる。二値化処理により対象物２２の領域を検出する場合、対象物２２は単色であるとよい。または、ラスタースキャンにより対象物２２の領域の輪郭を検出してもよい。また、その他の公知の方法により、対象物２２の領域の検出を行ってもよい。

＜エッジ抽出部＞
エッジ抽出部１４は、第１画像および第２画像のそれぞれの領域から、対象物２２のエッジＥ１、エッジＥ２、エッジＥ３、エッジＥ４、またはエッジＥ５（図１０参照）のうち、少なくとも１つを抽出する。エッジＥ１、エッジＥ２、エッジＥ３、エッジＥ４、またはエッジＥ５の抽出は、隣接する画素同士の差をとる差分演算等、公知の方法により行うことができる。なお、対象物２２のうち、ＣＡＤデータのマッチング等で形状を認識することが難しい可撓性を有する部分のエッジ（エッジＥ１およびエッジＥ２）を抽出すると、本発明の効果をより発揮する。

＜端点抽出部＞
端点抽出部１５は、第１画像および第２画像のそれぞれにおいて、エッジの一端点を抽出する。エッジの一端点は、エッジＥ１、エッジＥ２、エッジＥ３、エッジＥ４、またはエッジ５のうちいずれかのエッジの１つの端点、またはフック２２ｂの端点であってもよい。本実施の形態では、面状物の端点、すなわち、後述する図１０に示すエッジＥ１およびエッジＥ２とフック２２ｂとの交点（端点Ｉ１、Ｉ２）を使用している。これは、フック２２ｂの端点よりも対象物２２の端点の方が認識精度が高いためである。面状物の端点を抽出するか、フックの端点を抽出するかは、その後のロボットの作業内容によって好ましい方を抽出する。端点の抽出は、隣接する画素同士の差分演算等、公知の方法により行うことができる。

＜三次元座標取得部＞
三次元座標取得部１６は、第１画像および第２画像それぞれの端点に基づいて、エッジの端点（Ｉ１、Ｉ２）の三次元座標を取得する。本実施の形態では、三次元座標は、第１画像および第２画像それぞれにおいて、エッジＥ１の少なくとも１つの点の三次元座標と、エッジＥ２の少なくとも１つの点の三次元座標を含む。なお、エッジＥ１、エッジＥ２、エッジＥ３、エッジＥ４、またはエッジＥ５のうち１つ以上のエッジにおいて、少なくとも１点の三次元座標を取得すればよい。好ましくは、エッジＥ１、エッジＥ２、エッジＥ３、エッジＥ４、またはエッジＥ５のうち１つ以上のエッジの一端点の三次元座標を取得するとよい。エッジの端点を基準として、ステレオ法によって、第１画像および第２画像に基づいて、エッジの三次元座標を取得することができる。

＜作業位置決定部＞
作業位置決定部１７は、抽出したエッジの三次元座標に基づいて、対象物２２に対する作業位置を算出する。例えば、フック２２ｂまたは端点Ｉ１、Ｉ２等から所定の距離の位置を作業位置として決定することができる。

＜面状物ハンドリングシステム＞
面状物ハンドリングシステム１は、作業位置決定装置２と、ロボット３と、ロボット制御部４とを備える。上述した作業位置決定装置２により決定された対象物２２の作業位置に対して、ロボット３を制御して作業を実施させる。面状物ハンドリングシステムを構成する各構成要素について、以下に説明する。

＜ロボット＞
ロボット３は、作業位置決定装置２により算出された作業位置に基づいて、対象物２２に対して作業を実施する。ロボット３は、例えば、ロボットアーム３１と、一対のフィンガ（把持部）を有するロボットハンド３２とを備える。ロボットアーム３１に設けられた複数の関節３１ａを駆動することにより、ロボットハンド３２を移動して、対象物２２の作業位置において把持動作を実施することができる。

＜ロボット制御部＞
ロボット制御部４は、ロボット３に対して作業位置を指示し、ロボット３を制御して作業を実施させる。ロボット制御部４は、図２のように、独立して存在してもよい。または、他の構成要素の一部と共有されていてもよい。例えば、作業位置決定装置２の制御部１８に、ロボット制御部４が含まれていてもよい。ロボット制御部４は、制御部１８と同様に、例えば、ＣＰＵ、メモリ、記憶部、表示部、入力部、およびインタフェース等、通常のパーソナルコンピュータの物理的な構成要素を備えていればよい。

［動作］
図３は、実施の形態１に係るロボット制御方法のフローチャートである。図４〜図１０は、第１カメラにより撮像された対象物の第１画像の画像処理を説明する図である。図１１は、対象物のエッジの三次元座標を示す図である。なお、第２カメラにより撮像された第２画像については図示しないが、第１画像と同様の画像処理が施される。図３のフローチャート、および図４〜図１０を参照して、面状物ハンドリングシステム１の動作について説明する。

（１）ステップＳ０１において、第１カメラ１１および第２カメラ１２により、対象物２２を異なる視点から撮像した第１画像Ｌ（図４〜図１０）および第２画像Ｒ（図示省略）を取得する（撮像工程）。対象物２２の全体を撮像する必要はなく、ロボット３による所望の作業位置の決定に必要な範囲の画像を取得すればよい。本実施の形態では、計測ステージ２１の側面２１ａを背景として、対象物２２の端部２２ａ（図２参照）を含む周辺部分を撮像し、画像を取得する。

（２）ステップＳ０２において、第１画像Ｌおよび第２画像Ｒのそれぞれにおいて、対象物２２の端部２２ａの領域を検出する。図４は第１カメラにより取得された第１画像Ｌである。第１画像Ｌにおいて、二値化処理を実行する。本実施の形態では、対象物２２の色の明度が高いため、背景である計測ステージ２１の側面２１ａの色を明度の低い色にすることで、第１画像Ｌにおいて、対象物２２と背景とのコントラストが大きくなるようにしている。このため、図５に示すように、二値化処理によって、対象物２２の端部２２ａの領域を検出することができる。なお、領域の検出方法は二値化処理に限らず、公知の手法を用いることができる。例えば、対象物２２と計測ステージ２１の側面２１ａとのコントラストが小さい場合には、二値化処理に代わり、ラスタースキャンにより対象物２２の輪郭を検出することで対象物２２の端部２２ａの領域を検出してもよい。領域検出部１３は、フック２２ｂを含む対象物２２の領域を検出していてもよいが、フック２２ｂを除く対象物２２の端部２２ａの領域のみを検出する方が後述するエッジ抽出をしやすいため、好ましい。図５では、対象物２２の端部２２ａとフック２２ｂとの色が似ているため、両者の領域を抽出している。なお、ステップＳ０２の領域検出工程を飛ばして、後述するステップＳ０３のエッジ抽出を行ってもよい。

（３）ステップＳ０３において、第１画像Ｌおよび第２画像Ｒのそれぞれで検出された領域から、対象物２２のエッジＥ１、エッジＥ２を抽出する（エッジ抽出工程）。本実施の形態では、対象物２２のエッジのうち、２つのエッジＥ１およびエッジＥ２を抽出するが、抽出するエッジの数はこれに限らない。なお、エッジＥ１が本発明の「第１エッジ」に相当し、エッジＥ２が本発明の「第２エッジ」に相当する。エッジＥ１〜エッジＥ５のうち、少なくとも１つ以上のエッジの一部分を抽出できればよい。２つ以上のエッジを抽出すれば、対象物２２の大まかな形状や向きを把握することができるため、好ましい。互いに交わらない２辺を抽出すると、より精確な対象物２２の形状や向きを把握できるため、エッジＥ１とエッジＥ２を抽出することが特に好ましい。エッジＥ１とエッジＥ２は、図８に示すようにフック２２ｂのエッジ部分を含んでいてもいいし、含んでいなくてもよい。なお、ステップＳ０２において対象物２２の端部２２ａとフック２２ｂとを合わせて検出し、ステップＳ０３において、エッジ抽出部は、検出した領域の太い領域と細い領域との境界をエッジＥ３として抽出してもよい。

エッジの抽出は、公知の手法を用いて行うことができる。例えば、第１画像Ｌにおいて水平方向にサーチして、明度の差を検出することにより行うことができる。また、２つのエッジＥ１とエッジＥ２との中央に位置する中心線Ｃを算出する。図６を参照して、中心線Ｃは、例えば、水平方向にサーチする際、エッジＥ１を示す点Ｅ１０とエッジＥ２を示す点Ｅ２０との中点Ｃ１を特定し、それぞれの水平方向サーチで特定した中点をつなぐことにより算出することができる。中心線Ｃと、第１画像Ｌにおける垂直線Ｐとの角度θを算出する。ここで、例えば、アフィン変換等を用いて、第１画像Ｌを角度θ回転させ、中心線Ｃが垂直方向となるようにする（図７参照）。

（４）ステップＳ０４において、第１画像Ｌおよび第２画像Ｒのそれぞれにおいて、エッジＥ１、エッジＥ２の端点を抽出する。図８に示すように、角度θ回転させた第１画像Ｌにおいて、エッジＥ１およびエッジＥ２に挟まれた部分を垂直方向にサーチして、明度の差により、対象物２２の端部２２ａとフック２２ｂとのエッジＥ３ｐ１〜Ｅ３ｐ５を抽出する。このとき、エッジＥ３ｐ１〜Ｅ３ｐ５は不連続な線分の集合となる。検出したエッジＥ３ｐ１〜Ｅ３ｐ５を、例えば最小二乗法により直線化して、エッジＥ３を得る（図９参照）。図１０に示すように、エッジＥ３とエッジＥ１との交点およびエッジＥ３とエッジＥ２との交点が、エッジＥ１およびエッジＥ２における面状体の端点Ｉ１、端点Ｉ２となる。端点Ｉ１および端点Ｉ２を抽出することにより、エッジＥ１およびエッジＥ２における面状体エッジの範囲が決定される。

（５）ステップＳ０５において、第１画像Ｌおよび第２画像Ｒのそれぞれの端点Ｉ１および端点Ｉ２に基づいて、エッジＥ１およびエッジＥ２の少なくとも１点の三次元座標を取得する（三次元座標取得工程）。本実施の形態では、異なる視点から撮像した第１画像Ｌおよび第２画像Ｒを利用して、三角測量の原理で三次元座標を取得するステレオ法が採用されている。ステレオ法では、視点の異なる第１画像Ｌおよび第２画像Ｒにおける端点Ｉ１、Ｉ２等の対応点を求め、第１画像Ｌおよび第２画像Ｒでの対応点と第１カメラ１１および第２カメラ１２との位置関係により、エッジＥ１およびエッジＥ２の三次元座標を取得することができる（図１１参照）。本実施の形態では、第１画像Ｌおよび第２画像のそれぞれにおける、端点Ｉ１から延びるエッジＥ１、および端点Ｉ２から延びるエッジＥ２を構成する画素をそれぞれ対応点として対応させて、エッジＥ１およびエッジＥ２の三次元座標を取得している。なお、本実施の形態においては、フック２２ｂを含まないエッジＥ１、Ｅ２のみの三次元座標を取得しているため、対象物２２の面全体の三次元座標を算出するよりも計算量が少なくて済む。

（６）ステップＳ０６において、エッジＥ１、Ｅ２の三次元座標に基づいて、対象物２２に対する作業位置を算出する（作業位置決定工程）。作業位置は、例えば、図１０に示すように、ステップＳ０４で抽出した端点Ｉ１、Ｉ２を通る直線（エッジＥ３）からの距離Ｄによって決定することができる。本実施の形態では、エッジＥ３からの距離Ｄが例えば１０ｍｍの位置、あるいは、例えば５ｍｍ以上１５ｍｍ以下の範囲を作業位置Ｗとして算出する。作業内容によっては、付属品に対する作業位置を算出してもよい。なお、ステップＳ０１〜ステップＳ０６は、作業位置決定装置２により実行される。

（７）ステップＳ０７において、作業位置Ｗをロボット３に指示し、ロボットハンドに作業をさせる（作業工程）。作業位置決定装置２により算出された作業位置Ｗを、ロボット制御部４がロボット３に指示し、対象物２２に対する作業を実施させる。本実施の形態では、ロボット３が図１１の矢印の方向にロボットハンド３２を移動し、対象物２２を把持する。なお、本実施の形態において、対象物２２は面状で可撓性を有するため、エッジＥ１、Ｅ２の三次元座標と作業位置Ｗとが決まると、ロボットに作業を実施させることができる。また、エッジＥ１〜Ｅ５のうち、２以上のエッジの三次元座標を取得すれば、対象物２２の大まかな形状を算出することができるため、作業位置に加えてロボットに作業させる作業方向も決定することができる。本実施形態では、エッジＥ１およびエッジＥ２からなる面に平行な方向である、図１１の矢印の方向を作業方向とすることができる。対象物２２に対する作業は、例えばロボットハンド３２による対象物２２の把持、吸着、穿刺、引掛け等である。本実施の形態では、ロボット３に、対象物２２の作業位置Ｗをロボットハンド３２により把持し、フック２２ｂをフック穴２２ｃにかける作業を実施させることができる。

［効果］
本実施の形態の、作業位置決定方法、ロボット制御方法、作業位置決定装置、および面状物ハンドリングシステムによると、面状の対象物２２のエッジの三次元座標を取得することにより作業位置を決定し、様々な形状の対象物２２に対してロボット３に作業を実施させることができる。ＴＯＦカメラのように対象物２２の面全体の三次元座標の点群データを取得する三次元計測機を用いると、エッジの認識が難しく、またデータ量が多いため処理が難しい。しかし、本実施の形態のようにステレオカメラを用いることで、不要な情報は落として、エッジの三次元座標を取得することができるため、画像処理が容易であり、安定して三次元座標を取得することができる。また、本実施の形態のように、フック２２ｂ等の付属品が設けられた対象物２２に対しても、三次元座標を取得することができる。

また、ステレオ法による三次元座標の取得において、各画像上の対応点を探索するマッチング処理は、最も情報処理の負荷が高くコストのかかるプロセスであるが、本実施の形態では、第１画像Ｌおよび第２画像Ｒそれぞれにおいて、エッジを構成する画素をマッチングすればよいため、マッチング処理の負荷を軽減することができる。

また、対象物２２のエッジの三次元座標を取得することにより、例えば、マーカー等の画像処理のための目印となるものがなくても、所望の作業位置を決定することができる。

上述した実施の形態を挙げて本発明を説明したが、本開示の実施の形態はこれに限定されない。

例えば、上述した実施の形態においては、対象物２２の先端部にフック２２ｂが設けられているが、フックのない対象物であってもよい。

また、対象物２２は面状であれば、様々な形状のものを採用することができる。また、対象物２２は単色の材料で構成されていてもよい。この場合、上述した二値化処理において領域の検出が容易である。

また、上述した実施の形態では、ロボット制御部４が作業位置決定装置２の外部に設けられているが、ロボット制御部４は作業位置決定装置２に内蔵されていてもよい。また、作業位置決定装置２のカメラとそれ以外とが個別の装置として設けられていてもよい。

なお、本開示においては、前述した様々な実施の形態および／または実施例のうちの任意の実施の形態および／または実施例を適宜組み合わせることを含むものであり、それぞれの実施の形態および／または実施例が有する効果を奏することができる。

本発明に係る作業位置決定方法、ロボット制御方法、作業位置決定装置、および面状物ハンドリングシステムによると、様々な形状の対象物に対して、作業位置を決定し、作業位置をロボットに指示することによりロボットに作業を実行させることができる。

１ 面状物ハンドリングシステム
２ 作業位置決定装置
３ ロボット
４ ロボット制御部
１１ 第１カメラ
１２ 第２カメラ
１３ 領域検出部
１４ エッジ抽出部
１５ 端点抽出部
１６ 三次元座標取得部
１７ 作業位置決定部
２２ 対象物

Claims (8)

1. 面状の対象物を異なる視点から撮像した第１画像および第２画像を取得する撮像工程と、
   前記第１画像および前記第２画像のそれぞれにおいて前記対象物のエッジの少なくとも一部を抽出するエッジ抽出工程と、
   抽出した前記エッジの少なくとも１点の三次元座標を取得する三次元座標取得工程と、
   前記三次元座標に基づいて、前記対象物に対する作業位置を決定する作業位置決定工程と、
   を含む、
   作業位置決定方法。
2. 前記三次元座標取得工程は、前記エッジの一端点の前記三次元座標を取得することを含む、
   請求項１に記載の作業位置決定方法。
3. 前記対象物は、付属品を有する、
   請求項１または２に記載の作業位置決定方法。
4. 前記エッジは、第１エッジおよび第２エッジを含む、
   請求項１ないし３のいずれか１項に記載の作業位置決定方法。
5. 前記対象物は、可撓性を有する、
   請求項１ないし４のいずれか１項に記載の作業位置決定方法。
6. 面状の対象物を異なる視点から撮像した第１画像および第２画像を取得する撮像工程と、
   前記第１画像および前記第２画像のそれぞれにおいて、前記対象物のエッジの少なくとも一部を抽出するエッジ抽出工程と、
   抽出した前記エッジの少なくとも１点の三次元座標を取得する三次元座標取得工程と、
   前記三次元座標に基づいて、前記対象物に対する作業位置を決定する作業位置決定工程と、
   前記作業位置に対してロボットハンドに作業させる作業工程と、
   を含む、
   ロボット制御方法。
7. 面状の対象物を異なる視点から撮像する第１カメラおよび第２カメラと、
   前記第１カメラおよび前記第２カメラにより撮像されたそれぞれの画像において前記対象物のエッジの少なくとも一部を抽出するエッジ抽出部と、抽出した前記エッジの少なくとも１点の三次元座標を取得する三次元座標取得部と、前記三次元座標に基づいて前記対象物に対する作業位置を決定する作業位置決定部と、を含む演算部と、
   を備える、
   作業位置決定装置。
8. 請求項７に記載の作業位置決定装置と、
   前記作業位置に対して作業を行うロボットハンドを有するロボットと、
   を備える、
   面状物ハンドリングシステム。

Images