JP2021091056A

JP2021091056A - 測定装置

Info

Publication number: JP2021091056A
Application number: JP2019224156A
Authority: JP
Inventors: 政史中尾; Masafumi Nakao; 直輝 ▲高▼山; Naoki Takayama
Original assignee: Keyence Corp
Current assignee: Keyence Corp
Priority date: 2019-12-12
Filing date: 2019-12-12
Publication date: 2021-06-17

Abstract

【課題】ロボットハンドを複数の展開軸周りに回転させて把持姿勢候補を自動生成する場合に、展開の順序設定に柔軟性を持たせて適切な把持姿勢候補が得られるようにする。【解決手段】測定装置１００は、ユーザの操作に基づいて複数の展開軸と各展開軸に対する展開順序の指定を受け付ける設定部２１と、展開順序に基づいて、持候補位置を把持するためのロボットハンドの姿勢を複数自動生成する位置決定処理部２２とを備えている。【選択図】図２

Description

本発明は、作業空間に配置されたワークを測定するとともに、当該ワークを搬送するロボットを制御することが可能な測定装置に関する。

従来より、例えば特許文献１、２に開示されているように、作業空間に配置されたワークの三次元形状を測定し、ロボットが備えるロボットハンドを制御してワークを把持し、ロボットハンドにより把持したワークを所定の載置位置に載置するようにロボットの動作設定を行うための三次元測定装置が知られている。

特許文献１では、ワークに対してロボットハンドによる把持候補位置を設定しておき、この予め設定されている１つの把持候補位置に対して自由度を持たせた展開軸を設定することにより、ロボットの複数の把持姿勢候補を自動生成するようにしている。

また、特許文献２では、ワークの基準把持候補位置を設定しておき、１つの基準把持候補位置とプレース位置・姿勢のセットから、他の把持候補位置に対応するプレース位置・姿勢を自動生成するようにしている。

特開２０１４−０５４７１５号公報特開２０１８−１４４１５９号公報

ところで、作業空間にばら積みされているばら積み状態のワークをピッキングして順次搬送するばら積みピッキングの場合、ワークの姿勢が様々であることから、ワークがどのような姿勢にあってもピッキングできるように、ワークに対して複数の把持姿勢を予め設定しておくのが好ましい。この点、特許文献１、２では、１つの把持候補位置に対して自由度を設定することで、複数の把持姿勢を自動生成できるので、把持姿勢の登録に要するユーザの負担を軽減できる。

しかしながら、１つの把持候補位置に対して設定可能な展開軸はＸ軸、Ｙ軸、Ｚ軸の複数の展開軸が想定されるが、以下に述べるように、展開する順序によっては不適な把持姿勢となってしまう場合がある。

すなわち、展開軸をツール座標基準で設定した例を示す図８を参照して説明すると、作業空間にＸ方向に細長い柱状のワークＷＫが配置されていて、そのワークＷＫをロボットハンドＨＮＤで把持する際の把持姿勢は、Ｚ軸周りに展開することができるとともに、図９に示すようにＹ軸周りに展開することもでき、さらに、図１０に示すようにＸ軸周りに展開することも可能であるとする。これを前提とし、図１１に示すように、ロボットハンドＨＮＤをＸ軸周りに９０゜回転させてから、Ｙ軸周りに３０゜回転させる展開処理を行うことができ、この場合、所望の姿勢展開を行うことができる。

一方、図１２に示すように、Ｙ軸周りに３０゜回転させてから、Ｘ軸周りに９０゜回転させる展開処理を行うと、想定とは異なる姿勢展開になってしまい、把持姿勢候補として採用することはできない。つまり、展開の順序が固定されていると、ワークＷＫの形状によっては展開できない場合がある。これは第一の展開によって姿勢が変化するとロボットのツール座標も変化するため、第二の展開軸が変わってしまうからである。この例では、ツール座標基準で展開軸を設定しているが、ワーク座標基準で展開軸を設定していても同様な問題は起きる。ツール座標基準であれば、ワークに対する展開軸の方向が変化してしまい、ワーク座標基準であれば、ツールに対する展開軸の方向が変化してしまい、どちらの場合でも複数展開を指定する場合は展開の順序によって得られる結果が異なってしまう。

本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、ロボットハンドを複数の展開軸周りに回転させて把持姿勢候補を自動生成する場合に、展開の順序設定に柔軟性を持たせて適切な把持姿勢候補が得られるようにすることにある。

上記目的を達成するために、本発明は、作業空間に配置されたワークを測定し、当該ワークを搬送するロボットを制御する測定装置であって、前記ワークの把持候補位置及び当該把持候補位置を把持する際のロボットハンドの姿勢を設定する設定部と、前記設定部により設定された前記把持候補位置及び前記ロボットハンドの姿勢を把持情報として記憶する記憶部と、前記作業空間を三次元測定する三次元測定部と、前記三次元測定部による三次元測定結果と、前記記憶部に記憶された前記把持情報とに基づいて、前記作業空間に配置された前記ワークの把持位置を決定し、当該把持位置を把持するための前記ロボットハンドの移動目標座標を算出する位置決定処理部と、前記位置決定処理部が生成した前記移動目標座標を前記ロボットが接続されたロボットコントローラに出力する出力部とを備え、前記設定部は、ユーザの操作に基づいて、複数の互いに直交する展開軸と、各展開軸に対する展開順序の指定を受け付けるように構成され、前記位置決定処理部は、前記設定部により指定された前記展開軸と、前記設定部により指定された前記展開順序とに基づいて、前記把持候補位置を把持するための前記ロボットハンドの姿勢を複数自動生成するように構成されている。

この構成によれば、位置決定処理部が、作業空間の三次元測定結果と、把持情報とに基づいてワークの把持位置を決定すると、当該把持位置を把持するためのロボットハンドの移動目標座標が算出される。ロボットハンドの移動目標座標がロボットコントローラに出力されると、ロボットハンドがその移動目標位置まで移動してワークを把持し、所定の載置位置まで搬送することが可能になる。

把持候補位置を把持するためのロボットハンドの姿勢は、ロボットハンドを各展開軸周りに回転させて展開することで複数自動生成されるので、ユーザの負担が軽減される。このとき、展開順序がユーザにより指定されているので、その展開順序に従って展開が行われる。これにより、例えば図１１に示すような不適な把持姿勢が生成されないようになり、適切な把持姿勢候補が得られる。

好ましくは、前記位置決定処理部は、前記ワークの基準把持候補位置と、当該基準把持候補位置を把持した状態でプレース位置に載置するときの前記ロボットハンドの基準姿勢とに基づいて、前記設定部により指定された前記展開軸に従って展開された前記把持候補位置に対応するプレース位置姿勢を自動生成するように構成することもできる。

すなわち、展開前に設定されている把持候補位置を基準把持候補位置とし、この基準把持候補位置を把持した状態で載置するときのロボットハンドの姿勢が基準姿勢となる。ロボットハンドの姿勢が展開軸に従って展開されて複数の把持可能な姿勢が得られたとき、得られた各姿勢に対応するように、プレース位置姿勢が自動生成されるので、ユーザがプレース位置姿勢を登録せずに済み、負担が軽減される。

好ましくは、前記設定部は、前記ワークの姿勢を所定の姿勢に固定する姿勢固定設定を受け付けるように構成され、前記位置決定処理部は、前記設定部により姿勢固定設定を受け付けた場合、前記ロボットハンドと前記ワークとの位置関係を展開前の位置関係として前記プレース位置姿勢を自動生成するように構成することもできる。

すなわち、例えばワークを吸着することによって把持するロボットハンドの場合、ロボットハンドの位置姿勢は固定されているのに、把持前後でワークの姿勢が変化することがある。このような場合にプレース位置姿勢の自動生成を行うと、ワークの位置姿勢を一意に特定することができないが、本構成では、ワークの姿勢を所定の姿勢に固定することができるので、ロボットハンドとワークとの位置関係を展開前の位置関係とした状態でプレース位置姿勢を自動生成することができる。

好ましくは、前記設定部は、各展開軸に対して個別に前記姿勢固定設定を受け付けるように構成することもできる。

例えば、展開軸としてＸ軸、Ｙ軸、Ｘ軸が存在している場合、これら３つの軸のうち、任意の軸のみに対して姿勢固定設定を受け付けることができる。

好ましくは、前記ロボットハンドで把持した前記ワークをプレース位置まで搬送する搬送経路を生成する経路生成部と、前記設定部により姿勢固定設定を受け付けた場合、前記ロボットハンドと前記ワークとの位置関係を展開前の位置関係とし、前記搬送経路中における前記ワークと障害物との干渉判定を行う干渉判定部とを備えることもできる。

この構成によれば、ロボットハンドで把持したワークをプレース位置まで搬送する搬送経路が自動生成される。搬送経路中に、ワークが障害物と干渉するか否かを判定することができる。上述した吸着による把持のように把持前後でワークの姿勢が変化する場合、想定しているワークの姿勢と、実際に搬送しているときのワークの姿勢とが異なることになり、その結果、干渉判定の結果が不正確になることが考えられる。本構成では、ワークの姿勢を所定の姿勢に固定することができるので、実際に搬送しているときのワークの姿勢にして干渉判定を行うことができる。これにより、干渉判定の結果が正確なものになる。

好ましくは、表示部を備えており、前記設定部は、展開順序に対応した複数のタブを選択操作可能に示すとともに、選択されたタブ毎に、展開軸の選択と、当該展開軸周りに展開するときの角度範囲の設定とを受け付けるユーザインタフェースを生成して前記表示部に表示させるように構成することもできる。

この構成によれば、例えば３つの展開軸が存在している場合、展開順序に対応したタブとして第１タブ、第２タブ、第３タブを表示部に表示させることができる。ユーザが第１タブを選択した場合に１番目に展開する展開軸を選択可能にし、さらにその展開軸周りに展開するときの角度範囲の設定を行うことができる。その後、ユーザが第２タブを選択した場合に２番目に展開する展開軸を選択可能にし、さらにその展開軸周りに展開するときの角度範囲の設定を行うことができる。つまり、ユーザが選択した展開軸毎に角度範囲を個別に設定できるので誤った設定がなされにくい。

本発明によれば、ユーザの操作に基づいて、複数の互いに直交する展開軸と、各展開軸に対する展開順序の指定を受け付け、指定された展開順序に基づいてロボットハンドの姿勢を複数自動生成することができるので、適切な把持姿勢候補を得ることができる。

ロボットシステムを用いてワークを搬送する様子を示す模式図である。ロボットシステムの構成を示すブロック図である。センサ部の一例を示す斜視図である。ロボットハンドでワークを把持する例を示す模式図である。ロボットハンドで空洞を有するワークを内面から把持する例を示す模式図である。ロボットハンドで板状のワークを吸引して把持する例を示す模式図である。サーチモデルの設定の手順を示すフローチャートである。ハンドモデル及び把持位置の設定の手順を示すフローチャートである。ロボットの基本制御のフローチャートの一例を示す図である。ロボットハンドの姿勢をＺ軸周りに展開軸周りに展開した場合の表示例を示す図である。ロボットハンドの姿勢をＹ軸周りに展開軸周りに展開した場合の表示例を示す図である。ロボットハンドの姿勢をＸ軸周りに展開軸周りに展開した場合の表示例を示す図である。Ｘ軸周りに９０゜回転させてから、Ｙ軸周りに３０゜回転させたロボットハンドの姿勢を示す図である。Ｙ軸周りに３０゜回転させてから、Ｘ軸周りに９０゜回転させたロボットハンドの姿勢を示す図である。展開設定用ユーザインタフェースの一例を示す図である。１つの把持姿勢候補でプレース位置を登録する場合を説明する図である。プレース位置姿勢を自動計算した場合を説明する図である。吸着把持するロボットハンドを使用した場合のワークの位置姿勢の変化を説明する図である。ワークの姿勢を固定しない展開軸周りに展開した場合の表示例を示す図である。ワークの姿勢を固定する展開軸周りに展開した場合の表示例を示す図である。搬送時におけるワークの干渉判定を説明する図である。

以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。

図１は、本発明の実施形態に係る測定装置１００を備えたロボットシステム１０００の構成例を示す模式図である。この図１は、各種製品の製造工場等にある作業空間に配置された複数のワークＷＫを、ロボットＲＢＴに１つずつ把持させ、所定の場所に設置されているステージＳＴＧまで搬送して該ステージＳＴＧ上に載置するばら積みピッキングを行う例について示している。

ロボットシステム１０００は、ロボットＲＢＴと、ロボットＲＢＴを制御するロボットコントローラ６とを備えている。ロボットＲＢＴは、産業用の汎用ロボットであり、ベース部が工場等の床面に対して固定されている。ロボットＲＢＴは、例えばマニピュレータ等とも呼ばれており、６軸制御が可能に構成されている。このロボットＲＢＴは、ベース部から延びるアーム部ＡＲＭと、アーム部ＡＲＭの先端部に設けられたロボットハンドＨＮＤとを備えている。アーム部ＡＲＭは、可動部としての関節部を複数備えた多関節型に構成することができる。アーム部ＡＲＭの各関節部の動作及びアーム部ＡＲＭ自体の回転動作によってロボットハンドＨＮＤを可動範囲内の所望の位置まで移動させることができる。

ロボットハンドＨＮＤは、ワークＷＫを把持することが可能に構成されており、その構造は特に限定されるものではない。例えば、ロボットハンドＨＮＤは、図４Ａに示すようにワークＷＫの外側を挟み込んで把持する構造のロボットハンドＨＮＤ１、図４Ｂに示すように空洞部を有するワークＷＫ２の内部に爪部を挿入して拡開させることによって保持する構造のロボットハンドＨＮＤ２、図４Ｃに示すように板状のワークＷＫ３を吸引して保持するロボットハンドＨＮＤ３等があり、いずれのロボットハンドも使用することができる。また、本明細書で「把持」とは、図４Ａに示すワークＷＫの外側を挟み込む方法、空洞部に爪部を挿入して拡開させる方法、吸引する方法等の全ての例を含む意味で使用する。

ロボットコントローラ６はアーム部ＡＲＭの動作やロボットハンドＨＮＤの開閉動作（把持動作）等を制御する。またロボットコントローラ６は図２に示す測定装置１００から、ロボットＲＢＴの制御に必要な情報を取得する。例えば、図１に示す容器ＢＸに無作為に投入された多数の部品であるワークＷＫの位置姿勢を、三次元カメラや照明等のセンサ部２を使用して取得し、測定装置１００でワークＷＫの位置や姿勢を検出して、その情報をロボットコントローラ６が取得する。

ロボットシステム１０００の機能ブロック図を図２に示す。この図に示すロボットシステム１０００は、ロボットＲＢＴ及びロボットコントローラ６の他に、測定装置１００と、表示部３と、操作部４と、ロボット操作具７とを備える。

操作部４では各種設定を行うための部分である。また、測定装置１００は、測定部２０を備えており、ワークＷＫを撮像してワークＷＫの位置姿勢を測定する。さらにユーザは、表示部３で、各種設定や、ロボットＲＢＴの動作状態の確認、測定装置１００の動作状態の確認等を行うことができる。

一方、ロボットコントローラ６は測定装置１００から出力される信号に従い、ロボットＲＢＴの制御を行うように構成された周知の部材である。またロボット操作具７は、ロボットＲＢＴの動作設定を行う。なお、図２の例では操作部４とロボット操作具７を別個の部材としているが、これらを共通の部材としてもよい。

センサ部２は、ロボットビジョンなどと呼ばれる、作業空間やワークＷＫを撮像する部材であり、この実施形態では、ワークＷＫが少なくとも撮像対象物となり、撮像対象物には容器ＢＸが含まれていてもよい。センサ部２で撮像された画像から、ばら積みされたワークＷＫの三次元形状を示す三次元形状データ（画像データ）を取得することが可能になる。容器ＢＸの三次元形状を示す三次元形状データも、センサ部２で撮像された画像から取得することができる。

尚、ワークＷＫや容器ＢＸの三次元形状を取得する方法は、例えば、パターン投影法、ステレオ法、レンズ焦点法、光切断法、光レーダ法、干渉法（白色干渉法）、ＴＯＦ方式などがあり、これらの方法のうち、どの方法を用いてもよい。各方法は、従来から周知であるため、詳細な説明は省略する。本実施形態においては、パターン投影法のうち、周期的な照度分布を有するパターン光を撮像対象物に照射し、撮像対象物の表面で反射した光を受光する位相シフト法を用いている。

センサ部２と形状測定処理部２００とにより、測定部２０が構成されている。形状測定処理部２００は、センサ部２で取得した画像データに基づいてワークＷＫの位置姿勢、形状、各部の寸法だけでなく、容器ＢＸの位置、形状や寸法も測定することができる。形状測定処理部２００は、測定装置１００の一部とすることができるが、別部材として構成することもできる。

測定部２０は、Ｘ方向及びＹ方向に加えてＺ方向（高さ方向）を含む三次元の測定を行うことが可能な三次元測定部である。測定部２０が備えるセンサ部２の具体的な構成は、三次元形状の計測技術に応じて決定される。この例では、センサ部２は、カメラ、照明又はプロジェクタ等を備えている。例えば位相シフト法でワークＷＫの三次元形状を計測する場合は、センサ部２として図３に示すように、プロジェクタ（投光部）ＰＲＪと、複数のカメラ（受光部）ＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４とを備える。プロジェクタＰＲＪは、ワークＷＫに光を照射する部材である。カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４は、プロジェクタＰＲＪにより投光されてワークＷＫの表面で反射した光を受光する撮像素子を有する部材である。投光部の光源は、例えば複数の発光ダイオード、液晶パネル、有機ＥＬパネル、デジタルマイクロミラーデバイス（ＤＭＤ）等で構成することができる。

センサ部２は、カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４やプロジェクタＰＲＪといった複数の部材で構成する他、これらを一体的に構成してもよい。例えばカメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４やプロジェクタＰＲＪを統合してヘッド状とした３Ｄ撮像ヘッドを、センサ部２とすることができる。

また三次元形状データの生成自体をセンサ部２で行うこともできる。この場合、センサ部２に三次元形状データの生成機能を実現する画像処理ＩＣ等を設ける。あるいは、三次元形状データの生成を、形状測定処理部２００側で行わず、センサ部２で撮像した生画像を、測定装置１００の別の部分で画像処理して三次元画像等の三次元形状データを生成する構成としてもよい。

さらに、センサ部２で取得された画像データに基づいて、キャリブレーションを実行することにより、実際のワークＷＫの位置座標（ロボットハンドＨＮＤの移動位置の座標）と、表示部３上に表示された画像上の位置座標とをリンクさせることができる。

測定装置１００は、測定部２０で得られたワークＷＫの位置姿勢等の三次元形状データに基づいて、三次元サーチ、干渉判定、把持解算出等を行う。この測定装置１００は、専用の画像処理プログラムをインストールした汎用のコンピュータや、専用に設計された画像処理コントローラ、専用のハードウェアで構成することができる。また、グラフィックボードなどのハードウェアを画像検査処理に特化させた専用のコンピュータに、画像処理プログラムをインストールした構成とすることもできる。

なお図２の例では、測定部２０が備えるセンサ部２と形状測定処理部２００とを別個の部材で構成する例を示しているが、本発明はこの構成に限られず、例えばセンサ部２と形状測定処理部２００とを一体化したり、あるいはセンサ部２の一部を形状測定処理部２００に組み込んだり、形状測定処理部２００の一部をセンサ部２に組み込むこともできる。このように、図２に示す部材の区分けは一例であって、複数の部材を統合させたり、１つの部材を分けることもできる。例えば操作部４とロボット操作具７とを共通の部材としてもよい。

図１に示すように、センサ部２はロボットＲＢＴと別体としている。すなわち、センサ部２をロボット本体５のアーム部ＡＲＭに設けない、オフハンド形式と呼ばれる形態となっている。尚、センサ部２をアーム部ＡＲＭに設けてもよい。

表示部３は、例えば、液晶モニタや有機ＥＬディスプレイ、ＣＲＴ等を利用できる。操作部４は、各種シミュレーションや画像処理等の各種設定を行うための部材であり、キーボードやマウス等の入力デバイスが利用できる。また表示部３をタッチパネルとすることで、操作部４と表示部３を一体化することもできる。

例えば測定装置１００を、画像処理プログラムをインストールしたコンピュータで構成した場合、後述するように、表示部３上には画像処理プログラムを実行することによって生成されるグラフィカルユーザインターフェース（ＧＵＩ）画面が表示される。表示部３上に表示されたＧＵＩ上から各種の設定を行うことができ、また処理結果等を表示させることができる。この場合、表示部３を各種の設定を行うための設定部や入力部としても利用でき、設定部や入力部には操作部４が含まれていてもよい。

ロボットコントローラ６は、例えばセンサ部２で撮像した情報や測定装置１００から出力される情報等に基づいてロボットの動作を制御する。またロボット操作具７は、ロボットＲＢＴの動作設定を行うための部材であり、いわゆるペンダントなどが利用できる。

ワークＷＫは、図１に示すように複数個が容器ＢＸに無作為に収容されている。このような作業空間の上方には、センサ部２が配置されている。ロボットコントローラ６は、センサ部２で得られたワークＷＫの三次元形状に基づいて、複数のワークＷＫの内から、把持対象のワークＷＫを特定して、このワークＷＫを把持するよう、ロボットＲＢＴを制御する。そして、ワークＷＫを把持位置で把持したまま、アーム部ＡＲＭを動作させて予め定められた載置位置、例えばステージＳＴＧ上まで移動させ、所定の姿勢でワークＷＫを載置する。いいかえると、ロボットコントローラ６は、センサ部２及び測定装置１００で特定されたピッキング対象（把持対象）のワークＷＫをロボットハンドＨＮＤで把持して、把持したワークＷＫを所定の基準姿勢にて、載置場所（ステージＳＴＧ）に載置してロボットハンドＨＮＤを開放するようにロボットＲＢＴの動作を制御する。ステージＳＴＧは、例えばコンベアベルト上やパレット等を挙げることができる。また、把持動作のことをピッキングということもでき、把持位置はピッキング位置ということもできる。また、載置動作のことをプレースということもでき、載置位置はプレース位置ということもできる。

ここで、本実施形態が対象とするピッキングは、ばら積みピッキングに限られるものではなく、どのように載置されたワークＷＫであってもロボットＲＢＴによって搬送することが可能である。本明細書において、ばら積みピッキングとは、容器ＢＸに入れられて無作為に積み上げられたワークＷＫを、ロボットＲＢＴで把持して、所定の位置に載置する他、容器を用いずに所定の領域に積み上げられたワークＷＫに対して把持、載置を行う例、あるいは所定の姿勢で並べられて積み上げられたワークＷＫを順次把持、載置する例も含む意味で使用する。また、必ずしもワークＷＫ同士が積み重ねられている状態であることは要さず、ワークＷＫ同士の重なりがない状態で平面上にランダムに置かれたワークＷＫについても、本明細書においてはばら積みと呼ぶ（順次ピッキングされていき、ピッキングの終盤でワークＷＫ同士の重なりがない状態となった場合でも依然としてばら積みピッキングと呼ばれるのと同じ理由である）。なお、本発明はばら積みピッキングに必ずしも限定されるものでなく、ばら積みされていないワークＷＫをピックアップする用途にも適用できる。

また、図１の例ではセンサ部２を作業空間の上方に固定しているが、センサ部２の固定位置は、作業空間を撮像できる位置であればよく、例えば作業空間の斜め上方や側方、下方、斜め下方など、任意の位置に配置することができる。アーム部ＡＲＭ上のような、可動する不定位置にセンサ部２を配置する態様であってもよい。さらにセンサ部２が有するカメラや照明の数も、１個に限らず複数個としてもよい。さらにまたセンサ部２やロボットＲＢＴ、ロボットコントローラ６との接続は、有線接続に限られず、周知の無線接続としてもよい。

ロボットシステム１０００でばら積みピッキング動作を行うにあたり、予めばら積みピッキング動作を行わせるための設定を含めたティーチングを行うこともできる。具体的には、ワークＷＫのどの部位を、ロボットハンドＨＮＤがどのような姿勢で把持するのか、把持位置及び把持時の姿勢などの登録や、載置位置及び載置時の姿勢などの登録を行うことができる。このような設定は、ペンダント等のロボット操作具７で行うことができる。また、後述するように、実際のロボットＲＢＴを操作せずに、ビジョン空間上で設定を行うこともできる。

表示部３は、ワークＷＫの三次元形状を仮想的に表現するワークモデルや、ロボットハンドＨＮＤの三次元形状を仮想的に表現する、三次元ＣＡＤデータで構成されたロボットハンドモデルを、仮想的な三次元空間上でそれぞれ三次元状に表示させる。さらにこの表示部３は、ワークモデルの基本方向画像を六面図として表示させることもできる。これにより、ワークモデルの各姿勢を六面図で表示させて把持位置の設定作業を行えるようになり、従来面倒であった把持位置の設定作業を容易に行えるようになる。

（設定手順）
図５は、サーチモデルの設定の手順を示すフローチャートであり、また、図６は、ハンドモデル及び把持位置の設定の手順を示すフローチャートである。以下に述べる方法は一例であり、サーチモデルはＣＡＤデータから作成してもよいし、センサ部２で撮像した点群データから作成してもよく、特に限定されるものではない。

サーチモデルの設定と、ロボットモデル、ハンドモデル及び把持位置の設定とは、どちらを先に行ってもよい。サーチモデルの設定と、ロボットモデル、ハンドモデル及び把持位置の設定とは、図２に示す設定部２１で行うことができる。

図５に示すサーチモデルの設定の手順を示すフローチャートの開始後のステップＳＢ１では、ワークＷＫのサーチモデルを登録する。ワークＷＫのサーチモデルとは、後述するサーチ処理を実行する際に使用されるワークＷＫの形状を表したモデルである。ステップＳＢ１でワークＷＫのサーチモデルを登録する際には、ワークＷＫの三次元ＣＡＤデータ（ＣＡＤモデル）を読み込んで、測定装置１００が有する記憶装置４２に一旦記憶させておく。ＣＡＤデータは、ワークＷＫのサーチモデルのデータであり、従来から一般的に用いられているフォーマットのデータを使用することができる。

また、ワークＷＫのサーチモデルとしては、例えばある面から見たサーフェス形状をもとに生成した干渉判定モデル（後述する干渉判定部２５で使用される）であってもよい。すなわち、サーチ用の点群をゼロ面（ワークＷＫの設置面）まで押し出したモデルを干渉判定モデルとして利用することができる。干渉判定モデルを取得する手順としては、まず、サーチモデルの点群情報を取得し、その後、ゼロ面の面情報からサーチモデルの高さ（押し出し量）およびモデルのフットプリントを求める。このとき、背景除去閾値によって背景を除去したり、マスク処理によって背景を除去することもできる。そして、押し出し量に基づき、点群を押し出す。このとき、フットプリントの範囲の高さ情報のみを使う。穴埋めやノイズ除去のために、任意で点群情報または高さ化した画像に対しＸ方向及びＹ方向の膨張収縮処理をする。

干渉判定モデルの表面をポリゴン化する際、頂点インデックス型とすることができる。これにより、頂点アレイ、頂点インデックスアレイでポリゴンを表現することができ、例えばＳＴＬ形式に比べて扱いやすく、必要容量も少なくすることができる。干渉判定モデルの表面をポリゴン化する際、任意でポリゴン縮小処理を実施してもよい。また、点群情報について、任意で間引きを行うことができる。さらに、点群が高さ画像となっている場合は、画像縮小によって画素値の削減も可能である。

上述のように押し出した形状は、ワークＷＫが複雑な形状をしていたとしても、それよりも大きな範囲を囲っているため、後述する干渉判定には有効である。また、複数の面を組み合わせる必要がないので、操作が簡便である。さらに、あるワークＷＫに対して複数の押し出し干渉判定モデルを持つことで、把持位置姿勢やサーチ位置姿勢に対応した最良の干渉判定モデルを選択することができる。

また、ワークＷＫのサーチモデルとしては、ＣＡＤデータのフォーマットとして最もシンプルなＳＴＬ形式を用いることができる。ＳＴＬ形式は、三角形のポリゴン情報（３点の座標とその面の法線ベクトル）の羅列のみで構成されるデータである。あるいはワークＷＫのサーチモデルとして、三次元情報を有する点群データで構成してもよい。あるいはまた、ワークＷＫのサーチモデルを、高さ情報を有する画像データ、例えば高さ画像や距離画像で構成してもよい。

ステップＳＢ１でワークＷＫのサーチモデルのＣＡＤデータを読み込んだ後、ステップＳＢ２に進み、ワークＷＫのサーチモデルの確認及び登録を行う。例えば、読み込んだワークＷＫのサーチモデルのＣＡＤデータを表示部３に表示させることにより、測定装置１００の使用者が、所望のサーチモデルであるか否かを確認することができる。その結果、所望のサーチモデルである場合には、そのサーチモデルを測定装置１００に登録する。確認の結果、所望のサーチモデルでない場合には、別のＣＡＤデータを読み込み、再び確認する。

ステップＳＢ２では、ワークＷＫのサーチモデルの登録の際、ＣＡＤモデルの外接直方体を規定し、この外接直方体の中心をＣＡＤの原点に補正する原点補正処理を行う。ワークＷＫのサーチモデルの原点は、三次元ＣＡＤデータが有する座標情報から、測定装置１００が自動的に決定する。例えばワークＷＫのサーチモデルの三次元ＣＡＤデータに対して、当該サーチモデルに外接する仮想直方体を規定し、この仮想直方体の重心をサーチモデルの原点として設定することができる。

また、ステップＳＢ１で読み込んだＣＡＤモデルの六面、即ち、ＣＡＤモデルを「上」、「下」、「左」、「右」、「前」、「後」の各方向から見た高さ画像データをステップＳＢ２で生成する。まず、ＣＡＤモデルの平面図、底面図、左側面図、右側面図、正面図、背面図となるように、６つの高さ画像データを生成する。この高さ画像データから高さ画像が得られる。「上」はＺ軸の正方向（プラス側）から見た高さ画像、「下」はＺ軸の負方向（マイナス側）から見た高さ画像、「左」はＸ軸の負方向から見た高さ画像、「右」はＸ軸の正方向から見た高さ画像、「前」はＹ軸の負方向から見た高さ画像、「後」はＹ軸の正方向から見た高さ画像に対応する。ただ、これらは一例であって、異なる座標系を用いてもよいし、Ｘ−Ｙ平面におけるＸ＝Ｙの直線を軸として、この軸と互いに直交する座標系に基づいて、各軸の正負方向から見た高さ画像を用いてもよい。また、三次元ＣＡＤデータから、高さ画像を生成する際、必ずしもＣＡＤデータの軸に直交した方向（「上」、「下」、「左」、「右」、「前」、「後」）から見た高さ画像である必要はなく、例えばワークＷＫのサーチモデルの姿勢（視点）を任意に変えて、変えた状態の視点から高さ画像を生成するようにしてもよい。

また、ＣＡＤモデルが三次元ＣＡＤデータからなるものであるので、三次元ＣＡＤデータをＣＡＤモデルのＸ、Ｙ、Ｚ座標のそれぞれについてプラス方向及びマイナス方向の各方向から見たときの高さ画像に変換することで、ＣＡＤモデルの六面について高さ画像を得ることができる。

上述のようにして生成した６つの高さ画像の中で同じ見え方になる高さ画像を削除することもできる。見え方の一致／不一致は、ワークの上下（Ｚ軸の正負方向）、前後（Ｙ軸の正負方向）、左右（Ｘ軸の正負方向）から見た、計六面の高さ画像を高さ画像データに基づいて生成し、高さ画像が一致しているか否かを確認する。ここでは９０°の刻み角度で回転させて一致しているか否かを確認し、他の面と一致する見え方となる面は、ワークＷＫのサーチモデルの登録対象から除外する。

除外した結果、残った高さ画像データを保存する。保存する高さ画像データがＣＡＤモデルの上下左右前後のいずれの方向から見た画像であるかを示す情報、即ち方向に関する情報を当該高さ画像データに付与し、この方向に関する情報と高さ画像データとを関連付けて記憶装置４２に保存しておく。これにより、上下左右前後の各面の関係性情報を持った状態で各高さ画像データを保存しておくことができる。尚、面の関係性情報を保存することなく、高さ画像データのみ保存するようにしてもよい。

以上の方法は、ワークＷＫのＣＡＤデータが存在している場合の方法であるが、仮にワークＷＫのＣＡＤデータが無い場合には、ワークＷＫのサーチモデルを異なる方向から見た複数の高さ画像データをサーチモデルとして登録するようにしてもよい。すなわち、登録したい面を上向きにしたワークＷＫを平面上に置き、三次元計測を行う。この三次元計測は、ロボットシステム１０００のセンサ部２及び形状測定処理部２００を利用して行うことができる。形状測定処理部２００による三次元計測で得られた計測データは形状測定処理部２００から出力され、計測データに基づいて、ワークＷＫの登録したい面の高さ画像データを得ることができる。

このようにして得られた高さ画像データに基づいて高さ画像を得た後、その高さ画像をサーチモデルとして登録する。登録後、サーチに必要な分、登録し終えたか否かを判定する。この判定は使用者が行うことができるが、測定装置１００または画像処理装置３００に行わせるようにしてもよい。すなわち、ワークＷＫを上下左右前後の各方向から見た形状が全て異なれば、六面の全てについて高さ画像を取得するのが好ましいが、上述した長方形の場合のように、同じ形状の面がある場合には六面の全てについて行わなくてもよい。サーチに必要な分、登録し終えたら、終了する。

図５に示すフローチャートのステップＳＢ２に続くステップＳＢ３では、サーチ条件を設定する。サーチ条件には、例えば、サーチ時に検出可能なワークＷＫの数、サーチモデルとワークＷＫとの相関値の下限、特徴抽出条件（エッジ抽出の閾値等）等が含まれている。サーチ条件は使用者が設定することで、設定部２１により受け付けられる。

次に、図６に示すハンドモデル及び把持位置の設定の手順を示すフローチャートについて説明する。開始後のステップＳＣ１では、ロボットモデルを登録する。ロボットモデルは、現場で使用されるロボットＲＢＴに関する各種情報を規定するものである。ロボットＲＢＴに関する各種情報には、例えばアームＡＲＭの長さ、アームＡＲＭの可動域、ロボットＲＢＴの位置、アームＡＲＭの可動部の揺動速度や回転速度等が含まれる。ロボットＲＢＴに関する各種情報には、ロボットＲＢＴの形状を表したモデルを含むことができ、この場合、ロボットＲＢＴのポリゴンデータ（ＣＡＤデータ）を読み込む。このステップがロボットモデルの登録ステップである。

ステップＳＣ１でロボットモデルを登録した後、ステップＳＣ２に進み、ロボットハンドモデルを登録する。ロボットハンドモデルとは、ロボットハンドの形状を表したモデルである。ロボットＲＢＴのハンドモデルを登録する際には、ロボットハンドのポリゴンデータ（ＣＡＤデータ）を読み込む。

その後、ステップＳＣ３に進み、ステップＳＣ２で登録したロボットハンドモデルと、そのロボットハンドモデルが装着されるロボットモデル（ステップＳＣ１で登録済み）のフランジ面との相対的な位置及び姿勢を定義する。具体的には、ロボットハンドモデルにおける取付面と、ロボットモデルのフランジ面とが一致するように、両者の位置関係を定義しておく。

ステップＳＣ３に続くステップＳＣ４では、ロボットモデルのフランジ面に装着された状態にあるロボットハンドモデルの先端座標を指定する。この先端座標は、ロボットコントローラ６から取得することも可能であるが、使用者が設定することも可能である。その後、ステップＳＣ５では、ロボットハンドモデルの登録完了確認を行う。

以上のようにしてロボットハンドモデルを登録した後、ステップＳＣ６に進む。ステップＳＣ６では、ハンドモデルで把持するサーチモデルの面を選択する。サーチモデルの面は、図５に示すフローチャートで登録した高さ画像で表すことができ、登録されている複数の高さ画像の中から、ロボットハンドモデルで把持することが可能な面に対応した高さ画像をユーザが選択する。高さ画像の選択にあたっては、高さ画像を表示部３に表示させておき、これら高さ画像の中から使用者が操作部４の操作によって選択することができる。

ステップＳＣ６で高さ画像を選択した後、ステップＳＣ７に進み、ステップＳＣ６で選択した面を把持する時のロボットハンドＨＮＤの位置及び姿勢を登録する。例えば、Ｘ軸座標、Ｙ軸座標、Ｚ軸座標、Ｘ軸周りの回転角度、Ｙ軸周りの回転角度、Ｚ軸周りの回転角度を個別に入力し、入力された値に対応するように、ロボットハンドモデルを移動させ、高さ画像中の所望位置に配置することができる。これにより、ロボットハンドモデルの位置を調整しながら、ロボットハンドモデルでサーチモデルのどの部位をどのような姿勢で把持するか、即ち把持位置及び姿勢を設定することが可能になる。把持位置及び姿勢の設定は、数値を入力する以外にも、例えばロボットハンドモデルを操作部４のマウスで直接的に操作することによっても可能である。

ここで設定する把持位置は、ロボットハンドＨＮＤにより把持される把持候補位置である。ロボットハンドＨＮＤにより把持される把持候補位置は、既に登録されているワークＷＫの各サーチモデルに対応付けて複数設定することができる。例えば、あるサーチモデルには、２つの把持候補位置を対応付けて設定し、別のサーチモデルには、４つの把持候補位置を対応付けて設定することができる。このようにして設定されたワークＷＫの把持候補位置及びロボットハンドＨＮＤの姿勢を示す把持情報は、サーチモデルと対応付けられた状態で測定装置１００が有する記憶装置４２の把持情報記憶部４２ａ（図２に示す）に記憶することができる。

一般に、一のワークＷＫに対して把持候補位置を複数登録することが多い。これは、把持候補位置を複数登録しておけば、複数の把持解の中から最適な解を選ぶことができるため、仮に得られた把持解候補が、例えばロボットハンドＨＮＤの他の物体との干渉によって最終的な解となり得ない場合、他の把持解候補があれば、把持可能と判定される可能性が高まるからである。このような把持候補位置を複数登録する際、その都度登録を一から行うと、同様の把持候補位置を登録する際に手数が多くなり作業が面倒となる。そこで、既に登録済みの把持候補位置情報をコピーして、この把持候補位置で設定された位置パラメータの一部を変更して、新たな把持候補位置として保存可能とすることで、手間を省いて複数の把持候補位置を容易に登録できるようになる。また、同様に既存の把持候補位置を読み出して、位置パラメータを適宜修正して上書き保存することも可能である。

把持候補位置を登録する際、ワークＷＫのサーチモデルの原点に対して、サーチモデルを把持する際のロボットハンドモデルの相対的な位置及び姿勢を登録する。一方、実際のロボットハンドＨＮＤでワークＷＫをピッキングする際には、センサ部２でワークＷＫを撮像した三次元空間（ビジョン空間）の座標であるビジョン座標から、ロボットコントローラ６がロボットＲＢＴを実際に動作させる際に用いるロボット座標に変換する必要がある。尚、座標はロボット座標（ＸＹＺ、ＲｘＲｙＲｚ）で与えることもできるが、アーム部ＡＲＭの軸角度（ｊｏｉｎｔａｎｇｌｅ）で与えることが望ましい。これにより、後述する干渉判定時にロボットのアーム位置が一意に決定される。また、測定装置１００内で把持位置等のロボット座標から、軸角度を求め、その軸角度をロボットコントローラ６側に伝えることができるようになっている。

具体的には、ワークＷＫのサーチモデルの位置及び姿勢は、ビジョン空間における、位置（Ｘ、Ｙ、Ｚ）と姿勢（Ｒ_X、Ｒ_Y、Ｒ_Z）で求められる（なお姿勢（Ｒ_X、Ｒ_Y、Ｒ_Z）はＺ−Ｙ−Ｘ系オイラー角で表現された姿勢を示している）。また、これを把持するロボットハンドモデルの姿勢についても、同様に測定装置１００の仮想三次元空間における位置（Ｘ、Ｙ、Ｚ）と姿勢（Ｒ_X、Ｒ_Y、Ｒ_Z）として求められる。このようなビジョン空間における位置及び姿勢に基づいて、ロボットコントローラ６がロボットＲＢＴを動作させるには、これらをロボット空間における位置（Ｘ’、Ｙ’、Ｚ’）と姿勢（Ｒ_X’、Ｒ_Y’、Ｒ_Z’）に変換する必要がある。この表示される座標系で算出された位置及び姿勢を、ロボットコントローラ６がロボットハンドＨＮＤを動作させる座標系の位置及び姿勢に座標変換するための変換式を算出する処理は、キャリブレーションと呼ばれる。このキャリブレーションは従来から周知の手法で行うことができる。

図６に示すフローチャートのステップＳＣ８では、必要数の把持候補位置を登録できたか否かを判定する。ロボットハンドＨＮＤで把持することが可能な部位が多数あれば、登録すべき把持候補位置の数が多くなるが、これはユーザが判断する事項であるため、ステップＳＣ８の判定はユーザが判定することになる。ステップＳＣ８でＮＯと判定して必要数の把持候補位置を登録できておらず、登録すべき把持候補位置が他にも残っている場合には、ステップＳＣ６を経てステップＳＣ７に進み、他の把持候補位置を設定し、登録する。すなわち、把持情報記憶部４２ａには、複数の把持情報を記憶させておくことができる。一方、ステップＳＣ８でＹＥＳと判定して必要数の把持候補位置を登録できている場合には、ステップＳＣ９に進む。

ステップＳＣ９では、開始位置と、把持したワークＷＫを載置する載置位置とを登録する。開始位置は、ロボットハンドＨＮＤによってワークＷＫの把持を行う位置であり、搬送開始位置に相当する。開始位置は、容器内にばら積みされているワークＷＫの把持候補位置とすることができる。開始位置は、ワークＷＫが容器内のどこに存在しているかによって異なることになるが、これは三次元サーチによって取得することができる。

一方、載置位置は、ロボットハンドＨＮＤによりワークＷＫが載置される位置であり、例えば図１に示すステージＳＴＧ上に設定することができる。上記開始位置及び載置位置の設定は、座標等を数値で入力する方法によっても可能であるが、それ以外にも、例えばロボットハンドモデルを操作部４のマウス等で直接的に操作することによっても可能である。

ステップＳＣ９が完了すると、ステップＳＣ１０に進む。ステップＳＣ１０では、ワークＷＫを把持位置から載置位置へ移動する間に経由する経由点を登録する。経由点は、２以上登録することもできる。経由点は、複数箇所に登録することができ、この場合、経由点１、経由点２、…というように名称を付して記憶させておくことができる。この例では、経由点をユーザが登録する場合について説明するが、これに限らず、測定装置１００が経由点を算出してユーザに提示するように構成することもでき、この場合はステップＳＣ１０が省略されることになる。

ステップＳＣ１０で登録する経由点は、ロボットハンドＨＮＤがワークＷＫを把持した後、当該ワークＷＫを載置位置に載置するまでの間に当該ロボットハンドＨＮＤまたはワークＷＫが経由する点である。経由点の設定は、座標等を数値で入力する方法によっても可能であるが、それ以外にも、例えばロボットハンドモデルを操作部４のマウス等で直接的に操作することによっても可能である。経由点が設定された場合、ロボットハンドＨＮＤがワークＷＫを把持して開始位置から載置位置へ搬送する途中で、ロボットハンドＨＮＤの一部またはワークＷＫの一部が経由点を通過するように、アーム部ＡＲＭ及びロボットハンドＨＮＤの動作が設定される。

また、設定部２１では、ロボットハンドＨＮＤの待機位置を設定することができるとともに、待機位置にあるロボットハンドＨＮＤが容器ＢＸ内のワークＷＫを把持するまでの間に当該ロボットハンドＨＮＤが経由する往き経路上の経由点を設定することも可能である。ロボットハンドＨＮＤの待機位置及び往き経路上の経由点の設定は、座標等を数値で入力する方法によっても可能であるが、それ以外にも、例えばロボットハンドモデルを操作部４のマウス等で直接的に操作することによっても可能である。

（ロボットの基本制御）
図７は、ロボットＲＢＴの基本制御のフローチャートの一例を示す図である。スタート後のステップＳＤ１では、測定部２０がワークＷＫを撮像してワークＷＫの位置姿勢を測定し、ステップＳＤ２で実行されるサーチ処理用データ（高さ画像データ）を生成する。測定部２０によって三次元計測が可能であるため、サーチ処理用データには高さ情報を含むことができる。

その後、ステップＳＤ２に進み、ステップＳＤ１で生成されたサーチ処理用データに対し、ワークＷＫの位置及び姿勢を検出するサーチ処理を実行する。サーチ処理は高さ情報を含むサーチ処理用データに対してサーチをかけるので、三次元サーチと呼ぶことができる。具体的には、登録されたワークＷＫのサーチモデルを用いて、ワークＷＫの姿勢と位置を特定するのであるが、まずサーチモデルの各特徴点が、最も一致する状態の位置及び姿勢（Ｘ、Ｙ、Ｚ、Ｒ_X、Ｒ_Y、Ｒ_Z）を、サーチ処理用データの中から探索する。ここでＲ_X、Ｒ_Y、Ｒ_Zは、それぞれＸ軸に対する回転角、Ｙ軸に対する回転角、Ｚ軸に対する回転角を表す。このような回転角度の表現方法は種々提案されているところ、ここではＺ−Ｙ−Ｘ系オイラー角を用いることができる。また一致する位置及び姿勢は、各サーチモデルに対して、１つである必要はなく、一定以上一致する位置及び姿勢を、複数検出してもよい。

三次元サーチに用いるサーチモデルとして、ワークＷＫを六面図のように、面ごとに見た画像を用いることで、斜視図などを用いる場合と比べ、三次元サーチの演算処理を簡素化でき、処理を軽負荷、高速化できる利点が得られる。また、サーチモデルの登録作業に際しても表示された状態が見易くなり、ユーザにも視覚的に判り易くできる。また、三次元サーチの結果の位置に、サーチモデルの各特徴点を重畳表示させた結果を二次元表示することや、三次元表示することもできる。対応する特徴点が、サーチ処理用データ中に対してどの程度存在したか（例えば、サーチ処理用データに対し、一定の距離以下の誤差で対応した特徴点の点数割合など）によって、サーチ結果をスコア付けすることができる。

登録されたサーチモデルが存在するか否かをサーチした結果、サーチ処理用データ中に、サーチモデルが存在しない場合、即ちワークＷＫを検出できない場合には、このフローチャートを終了する。

また、ステップＳＤ２では、図２に示す位置決定処理部２２が、測定部２０による測定結果と、把持情報記憶部４２ａに記憶された把持情報とに基づいて、作業空間に配置されたワークＷＫのロボットハンドＨＮＤによる把持位置を決定する。さらに、位置決定処理部２２は、把持位置を決定した後、当該把持位置を把持するためのロボットハンドＨＮＤの移動目標座標を算出するように構成されている。

このとき図２に示す干渉判定部２５の判定結果を使用することができる。干渉判定部２５は、ロボットハンドＨＮＤと障害物との干渉判定を行う部分である。例えば、図６に示すフローチャートに示す処理で登録されたロボットハンドＨＮＤのモデルが容器ＢＸの壁等の障害物に接触するか否かを判定することができる。

ロボットハンドＨＮＤのモデルとの干渉判定においては、サーチ処理用データである高さ画像の各１点１点のｐｉｘｅｌデータが示す三次元点群と、予め入力されているロボットハンドモデルとが干渉するか否かを判定する。この干渉判定の前に、三次元サーチで検出された一のワークＷＫに対して、このワークＷＫの位置と、登録してあるワークＷＫの把持姿勢とに基づいて、ロボットハンドＨＮＤを配置すべき位置（把持座標）と姿勢を計算する。計算された位置において、ロボットハンドＨＮＤが周囲の物体と干渉しないかどうかを判定する。この干渉判定では、ロボットハンドＨＮＤの断面モデルを利用して三次元点群が断面モデルと干渉しているか否かを判定することができる。例えば、ロボットハンドＨＮＤの断面モデルから全ての三次元点が離れている場合には、三次元点群、すなわち高さ画像とハンドモデルＨＮＤとが干渉しないと判定し、一方、ロボットハンドＨＮＤの断面モデルの内側に三次元点が１つでも入っている、またはロボットハンドＨＮＤの断面モデルの縁部に三次元点が１つでも接している場合には、三次元点群、すなわち高さ画像とロボットハンドＨＮＤとが干渉すると判定する。干渉しない場合は、このワークＷＫに対して把持解を算出することができた、即ち把持位置を算出できたということであり、ステップＳＤ３に進む。一方、干渉する場合は、このワークＷＫに対して把持解を算出することができないということであり、このフローチャートを終了するか、別のワークＷＫに対して把持解の算出を試みる。

また、ステップＳＤ３では、図２に示す経路生成部２３が、ロボットハンドＨＮＤで把持したワークＷＫをプレース位置まで搬送する搬送経路を生成する。例えば、経路生成部２３は、ロボットハンドＨＮＤの現在位置からアプローチ位置を介してステップＳＤ２で算出した把持位置までの当該ロボットハンドＨＮＤの経路を生成することや、開始位置（把持位置）から載置位置までのロボットハンドＨＮＤの経路を生成することができる。このステップＳＤ３で生成する経路は、経由点を経由する経路である。また、ステップＳＤ３で生成する経路には、経由点を経由しない経路を含むことができる。

ステップＳＤ４では、出力部２４が、把持位置、載置位置、経由点等の座標及びステップＳＤ２で算出した移動目標座標をロボットコントローラ６に出力する。ロボットコントローラ６は、出力部２４から出力された把持位置、載置位置、経由点等の座標を受け取って制御信号を生成し、生成した制御信号をロボットＲＢＴに出力する。その後、ステップＳＤ５では、ロボットＲＢＴが制御信号に従って動作してワークＷＫを所定の経路で搬送する。

（ロボットハンドの姿勢展開）
次に、ロボットハンドＨＮＤの姿勢展開について説明する。図１に示すように、ばら積み状態のワークＷＫをピッキングして順次搬送するするばら積みピッキングの場合、ワークＷＫの姿勢が様々であることから、ワークＷＫがどのような姿勢にあってもピッキングできるように、ワークＷＫに対して複数の把持姿勢を予め設定しておくのが好ましい。

図８は、作業空間にＸ方向に細長い柱状のワークＷＫが配置されていて、そのワークＷＫをロボットハンドＨＮＤで把持する場合を示している。この図８ではアーム部ＡＲＭを省略しており、ロボットハンドＨＮＤの把持姿勢をＺ軸周りに展開している。展開後のロボットハンドＨＮＤの把持姿勢の例を仮想線で示している。

図９は、図８と同じワークＷＫを同じロボットハンドＨＮＤで把持する場合を示しており、ロボットハンドＨＮＤの把持姿勢をＹ軸周りに展開している。展開後のロボットハンドＨＮＤの把持姿勢の例を仮想線で示している。

図１０は、図８と同じワークＷＫを同じロボットハンドＨＮＤで把持する場合を示しており、ロボットハンドＨＮＤの把持姿勢をＸ軸周りに展開している。展開後のロボットハンドＨＮＤの把持姿勢の例を仮想線で示している。尚、各図では、展開軸をツール座標基準で設定した例を示しているが、ワーク座標基準で設定することもできる。

一般的にロボットＲＢＴの作業空間はＸ方向、Ｙ方向、Ｚ方向の３方向で定義することができるので、ロボットハンドＨＮＤの把持姿勢を展開する際にも、図８に示すＺ軸周りの展開、図９に示すＹ軸周りの展開、図１０に示すＸ軸周りの展開の３つの展開が可能になる。細長い柱状のワークＷＫであれば、図８に示すＺ軸周りの展開、図９に示すＹ軸周りの展開、図１０に示すＸ軸周りの展開をそれぞれ行うことが可能であるが、Ｚ軸周りの展開、Ｙ軸周りの展開及びＸ軸周りの展開を組み合わせて行おうとすると、その順序が問題となることがある。

すなわち、図１１は、Ｘ軸周りに９０゜回転させてから、Ｙ軸周りに３０゜回転させたロボットハンドＨＮＤの姿勢を示しており、この例では、ロボットハンドＨＮＤはワークＷＫを把持候補位置にて把持可能な姿勢にある。一方、図１２は、Ｙ軸周りに３０゜回転させてから、Ｘ軸周りに９０゜回転させたロボットハンドＨＮＤの姿勢を示しており、この例では、ロボットハンドＨＮＤはワークＷＫを把持候補位置にて把持が困難な姿勢にある。つまり、複数の展開軸がある場合に、展開の順序が固定されていると、ワークＷＫの形状によってはロボットハンドＨＮＤの姿勢を展開できない場合がある。

（展開順序の設定）
本例では、複数の展開軸がある場合に、展開の順序設定に柔軟性を持たせて適切な把持姿勢候補が得られるようにしている。図２に示すように、測定装置１００の設定部２１は、ユーザインタフェース生成部２１ａを備えている。ユーザインタフェース生成部２１ａは、測定装置１００の各種設定用ユーザインタフェースやモデル登録用ユーザインタフェース、ウインドウ等を生成して表示部３に表示させる部分である。

図１３は、ユーザインタフェース生成部２１ａが生成する展開設定用ユーザインタフェース６０の一例を示す図であり、この展開設定用ユーザインタフェース６０が表示部３に表示される。展開設定用ユーザインタフェース６０は、展開順序に対応した複数のタブ６０ａ、６０ｂ、６０ｃを選択操作可能に示すとともに、選択されたタブ６０ａ、６０ｂ、６０ｃ毎に、展開軸の選択と、当該展開軸周りに展開するときの角度範囲の設定とを受け付けることができるものである。タブ６０ａ、６０ｂ、６０ｃの選択は、操作部４のマウス等で行うことができ、この操作は設定部２１により受け付けられる。

上述したように展開軸としてＸ軸、Ｙ軸及びＺ軸の３つの軸があるので、展開軸の数に対応するように第１タブ６０ａ、第２タブ６０ｂ及び第３タブ６０ｃを展開設定用ユーザインタフェース６０に示している。第１タブ６０ａ、第２タブ６０ｂ、第３タブ６０ｃにはそれぞれ番号「１」、「２」、「３」が表示してあり、この番号は展開順序を示している。「１」が表示された第１タブ６０ａは、展開順序が１番目であることを示しており、「２」が表示された第２タブ６０ｂは、展開順序が２番目であることを示しており、「３」が表示された第３タブ６０ｃは、展開順序が３番目であることを示している。

設定部２１は、第１タブ６０ａが選択されたこと検出すると、展開順序を１番目にする展開軸をＸ軸、Ｙ軸及びＺ軸の中から選択する展開軸選択領域６０ｄを表示する。Ｘ軸、Ｙ軸及びＺ軸は、例えばプルダウンメニュー形式で表示することができるが、これに限らず、ボタンやチェックボックス等で選択する形式や、軸の名称を直接入力する形式であってもよい。また、設定部２１は、第１タブ６０ａが選択されたこと検出すると、角度範囲設定領域６０ｅ、角度間隔設定領域６０ｆ、展開軸のオフセット設定領域６０ｇ、姿勢優先選択領域６０ｈ、姿勢固定選択領域６０ｉ及び展開姿勢確認ボタン６０ｊを表示する。

角度範囲設定領域６０ｅでは、ロボットハンドＨＮＤを、展開軸選択領域６０ｄで選択した展開軸周りに回転させる際の角度範囲を設定することができる。角度間隔設定領域６０ｆでは、ロボットハンドＨＮＤを展開軸周りに回転させる際の角度ピッチを設定することができる。展開軸のオフセット設定領域６０ｇでは、展開軸をＸ方向にオフセットさせる場合のオフセット量と、Ｙ方向にオフセットさせる場合のオフセット量とを個別に設定することができる。姿勢優先選択領域６０ｈでは、展開軸を基準として０゜のときの姿勢を優先するか否かを選択することができる。姿勢固定選択領域６０ｉでは、ワークＷＫの姿勢を所定の姿勢に固定する姿勢固定設定を受け付けることができる。姿勢固定設定については後述する。展開姿勢確認ボタン６０ｊは、上記各領域で設定された展開条件に基づいてロボットハンドＨＮＤを展開させた様子を図８等に示すような三次元画像にして表示部３に表示させるためのボタンである。

「１」が表示された第１タブ６０ａが選択されると、その選択された第１タブ６０ａの展開軸選択領域６０ｄ、角度範囲設定領域６０ｅ、角度間隔設定領域６０ｆ、展開軸のオフセット設定領域６０ｇ、姿勢優先選択領域６０ｈ、姿勢固定選択領域６０ｉ及び展開姿勢確認ボタン６０ｊのみを表示する。「２」が表示された第２タブ６０ｂが選択されると、その選択された第２タブ６０ｂの展開軸選択領域（図示せず）等が表示され、第１タブ６０ａが選択されたときの展開軸選択領域６０ｄ等は消去される。「３」が表示された第３タブ６０ｃが選択されたときも同様であり、第１タブ６０ａが選択されたときの展開軸選択領域６０ｄ及び第２タブ６０ｂが選択されたときの展開軸選択領域等は消去される。これにより、１番目の展開軸について設定している時に２番目の展開軸や３番目の展開軸に関する設定が誤って行われることはない。

また、例えば、ユーザは、「１」が表示された第１タブ６０ａを選択してＺ軸を選択し、「２」が表示された第２タブ６０ｂを選択してＹ軸を選択し、「３」が表示された第３タブ６０ｃを選択してＸ軸を選択すると、展開順序はＺ軸、Ｙ軸、Ｘ軸となる。このようにしてユーザが展開順序を任意に指定することができる。展開軸の順序を指定する際には、任意の２つの展開軸についてのみその順序を指定することもできる。つまり、設定部２１は、ユーザの操作に基づいて、複数の互いに直交する展開軸と、各展開軸に対する展開順序の指定を受け付けるように構成されている。

図８に示す展開設定用ユーザインタフェース６０は一例であり、展開軸をタブ毎に設定可能に構成されているが、これに限らず、１つの表示領域で展開順序を指定できるように構成されていてもよい。

（展開処理）
図２に示す位置決定処理部２２は、ワークＷＫの把持位置やロボットハンドＨＮＤの移動目標座標を算出するだけでなく、設定部２１により指定された展開軸と、設定部２１により指定された展開順序とに基づいて、把持候補位置を把持するためのロボットハンドＨＮＤの姿勢を複数自動生成するように構成されている。具体的には、図１３に示す展開設定用ユーザインタフェース６０の展開姿勢確認ボタン６０ｊが押されたことを設定部２１が検出すると、位置決定処理部２２は、ロボットハンドＨＮＤのモデルを展開軸周りに、角度範囲設定領域６０ｅで設定された角度範囲だけ、角度間隔設定領域６０ｆで設定された角度ピッチで回転させる。これにより、ロボットハンドＨＮＤの姿勢が複数得られる。このことをロボットハンドＨＮＤの姿勢の展開という。

図８はＺ軸が展開軸である場合に、位置決定処理部２２が自動生成したロボットハンドＨＮＤの姿勢を１つだけ仮想線で示しているが、位置決定処理部２２が自動生成したロボットハンドＨＮＤの姿勢が複数である場合には、複数のロボットハンドＨＮＤの姿勢を重畳表示させることができる。図９はＹ軸が展開軸である場合に、位置決定処理部２２が自動生成したロボットハンドＨＮＤの姿勢を仮想線で示しており、また、図１０はＸ軸が展開軸である場合に、位置決定処理部２２が自動生成したロボットハンドＨＮＤの姿勢を仮想線で示している。図９、図１０に示す場合も、位置決定処理部２２が自動生成したロボットハンドＨＮＤの姿勢が複数である場合には、複数のロボットハンドＨＮＤの姿勢を重畳表示させることができる。

展開順序を設定しておくことで、図１２に示すような不適切な展開を回避することができ、図１１に示すように、Ｘ軸周りに回転させた後、Ｙ軸周りに回転させることができるので、適切な把持姿勢候補を得ることができる。

（プレース位置の登録）
ワークＷＫの把持候補位置を多く登録しておくことで、複数の把持解を得ることができ、これら複数の把持解の中から最適な解を選ぶことができる点で好ましい反面、ワークＷＫを一意の位置姿勢に置くためのプレース位置の登録に際してユーザの負担が増大するおそれがある。

これを解消するために、本実施形態では、図１４に示すように、複数の把持姿勢候補のうち、任意の１つの把持姿勢候補でプレース位置を登録しておき、登録後、図１５に示すように、他の把持候補位置では、相対位置関係からワークＷＫを一意の位置に置くための位置姿勢を自動計算する処理を行うようにしている。

（プレース位置姿勢の自動生成）
把持の展開処理についても同様の処理を行うことができる。すなわち、ロボットハンドＨＮＤの姿勢を複数自動生成すると、把持姿勢候補が多くなり、ワークＷＫを一意の位置姿勢に置くためのプレース位置の登録に際してユーザの負担が増大する。

このことに対して、位置決定処理部２２は、ワークＷＫの基準把持候補位置と、当該基準把持候補位置を把持した状態でプレース位置に載置するときのロボットハンドＨＮＤの基準姿勢とに基づいて、設定部２１により指定された展開軸に従って展開された把持候補位置に対応するプレース位置姿勢を自動生成するように構成されている。つまり、例えば展開前の姿勢でプレース位置姿勢を登録しておけば、展開後の姿勢で掴んだ時のプレース位置を自動計算することができ、把持の展開を行った際にもユーザの負担を軽減できる。

ところが、図１６に示すようにロボットハンドＨＮＤとして吸着把持可能な構造のものを用いると、ロボットハンドＨＮＤによる把持の前後で、ロボットハンドＨＮＤの位置姿勢が変化しないにも関わらず、ワークＷＫの位置姿勢変化してしまうことがある。このようなケースで上述したようなプレース位置の自動計算を行うと、ワークＷＫの位置姿勢を一意にすることができない。

これを解決するために、把持後のワークＷＫの姿勢を固定するかどうかをユーザが選択できるようにしている。具体的には、図１３に示す展開設定用ユーザインタフェース６０の姿勢固定選択領域６０ｉのチェックボックスをチェックすると、展開軸選択領域６０ｄで選択されている軸についてワークＷＫの姿勢が固定される。第１タブ６０ａ、第２タブ６０ｂ、第３タブ６０ｃ毎に姿勢固定選択領域６０ｉが設けられているので、把持の展開軸毎に、ワークＷＫの姿勢を固定するか否か選択することができる。ワークＷＫの姿勢を固定するか否か選択は、ユーザによる姿勢固定設定である。

展開処理時、「ワークＷＫの姿勢を固定する」と選択された軸については、ワークＷＫとロボットハンドＨＮＤとの位置関係は展開前のデータのものを使ってプレース位置計算を行うようにする。つまり、位置決定処理部２２は、設定部２１により展開軸毎に姿勢固定設定を受け付けた場合、ロボットハンドＨＮＤとワークＷＫとの位置関係を展開前の位置関係としてプレース位置姿勢を自動生成することができるので、ワークＷＫの姿勢が把持の前後で変化する展開と変化しない展開との両方を１つの把持設定で扱うことができる。

図１７は、ワークＷＫの姿勢を固定しない展開軸周りに展開した場合の表示例を示す図であり、また、図１８は、ワークＷＫの姿勢を固定する展開軸周りに展開した場合の表示例を示す図である。

（ワークの干渉判定）
図２に示す干渉判定部２５は、搬送経路中におけるワークＷＫと障害物との干渉判定を行うこともできる。干渉判定部２５は、判定時、例えば、図５に示すフローチャートに示す処理で登録されたワークＷＫのサーチモデル（干渉判定モデル）と、三次元サーチで検出された容器ＢＸを構成する点群データ等とを用いる。点群データの例としては、容器ＢＸのモデル、ロボット可動域にある障害物のモデル、ロボット自身のモデルなどがある。具体的には、例えばロボット（各軸、ベース）、ワーク、ハンド、これらに連動する障害物（ケーブルなど）に対して、ロボット（各軸、ベース）、容器、床、ロボット可動範囲内のレイアウト上の障害物（棚やコンベアなど）、カメラ、撮像した点群データ（箱やワークなど）が干渉しないかどうかを判定する。また、干渉判定の前提として、ロボットの可動範囲（角度）も確認する。そして、ワークＷＫのサーチモデルを所定の搬送経路で搬送したときに、ワークＷＫのサーチモデルが、上記点群に接触する場合には干渉すると判定し、接触しない場合には干渉しないと判定する。

干渉判定部２５は、設定部２１により姿勢固定設定を受け付けた場合、ロボットハンドＨＮＤとワークＷＫとの位置関係を展開前の位置関係とし、搬送経路中におけるワークＷＫと障害物との干渉判定を行うように構成されている。

例えば、図１９に示すように、ロボットハンドＨＮＤとして吸着把持可能な構造のものを用いて容器ＢＸ内のワークＷＫを取り出す場合を想定する。ワークＷＫを把持して取り出す経路を生成する場合は、把持したワークＷＫの干渉判定も必要になり、この干渉判定を干渉判定部２５が行う。この時、把持する前のロボットハンドＨＮＤとワークＷＫの相対位置姿勢でワークＷＫの位置姿勢を計算していると、想定しているワークＷＫの姿勢（仮想線で示す）と実際のワークＷＫの姿勢（実線で示す）とが異なることになる。そのため、想定しているワークＷＫの姿勢では干渉しないと判定したが、実際に搬送してみるとワークＷＫが容器ＢＸにあたってしまうというケースがある（破線で示す円７０内）。

このような場合に、干渉判定部２５は、ロボットハンドＨＮＤとワークＷＫとの位置関係を展開前の位置関係としておくことで、把持後のワークＷＫの姿勢で干渉判定を行うことができる。また、ロボットハンドＨＮＤについても、把持前と把持後でロボットハンドＨＮＤの形状モデルを変えて干渉判定／経路生成可能に構成することもできる。

（実施形態の作用効果）
以上説明したように、この実施形態によれば、位置決定処理部２２が、作業空間の三次元測定結果と、把持情報とに基づいてワークＷＫの把持位置を決定すると、当該把持位置を把持するためのロボットハンドＨＮＤの移動目標座標を算出し、ロボットハンドＨＮＤの移動目標座標をロボットコントローラ６に出力することができる。これにより、ロボットハンドＨＮＤをその移動目標位置まで移動させてワークＷＫを把持し、所定の載置位置まで搬送することができる。

把持候補位置を把持するためのロボットハンドＨＮＤの姿勢は、ロボットハンドＨＮＤを各展開軸周りに回転させて展開することで複数自動生成することができるので、ユーザの負担を軽減できる。このとき、展開順序をユーザにより指定できるので、その展開順序に従って展開を行うことができ、適切な把持姿勢候補を得ることができる。

上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

以上説明したように、本発明に係る測定装置は、例えば作業空間に配置されたワークを測定するとともに、当該ワークを搬送するロボットを制御する場合に使用することができる。

２センサ部
３表示部
４操作部（入力部）
６ロボットコントローラ
２０測定部
２１設定部
２１ａユーザインタフェース生成部
２２位置決定処理部
２３経路生成部
２４出力部
２５干渉判定部
１００測定装置
ＨＮＤロボットハンド
ＲＢＴロボット
ＷＫワーク

Claims

作業空間に配置されたワークを測定し、当該ワークを搬送するロボットを制御する測定装置であって、
前記ワークの把持候補位置及び当該把持候補位置を把持する際のロボットハンドの姿勢を設定する設定部と、
前記設定部により設定された前記把持候補位置及び前記ロボットハンドの姿勢を把持情報として記憶する記憶部と、
前記作業空間を三次元測定する三次元測定部と、
前記三次元測定部による三次元測定結果と、前記記憶部に記憶された前記把持情報とに基づいて、前記作業空間に配置された前記ワークの把持位置を決定し、当該把持位置を把持するための前記ロボットハンドの移動目標座標を算出する位置決定処理部と、
前記位置決定処理部が生成した前記移動目標座標を前記ロボットが接続されたロボットコントローラに出力する出力部とを備え、
前記設定部は、ユーザの操作に基づいて、複数の互いに直交する展開軸と、各展開軸に対する展開順序の指定を受け付けるように構成され、
前記位置決定処理部は、前記設定部により指定された前記展開軸と、前記設定部により指定された前記展開順序とに基づいて、前記把持候補位置を把持するための前記ロボットハンドの姿勢を複数自動生成するように構成されていることを特徴とする測定装置。
請求項１に記載の測定装置において、
前記位置決定処理部は、前記ワークの基準把持候補位置と、当該基準把持候補位置を把持した状態でプレース位置に載置するときの前記ロボットハンドの基準姿勢とに基づいて、前記設定部により指定された前記展開軸に従って展開された前記把持候補位置に対応するプレース位置姿勢を自動生成するように構成されていることを特徴とする測定装置。
請求項２に記載の測定装置において、
前記設定部は、前記ワークの姿勢を所定の姿勢に固定する姿勢固定設定を受け付けるように構成され、
前記位置決定処理部は、前記設定部により姿勢固定設定を受け付けた場合、前記ロボットハンドと前記ワークとの位置関係を展開前の位置関係として前記プレース位置姿勢を自動生成するように構成されている測定装置。
請求項３に記載の測定装置において、
前記設定部は、各展開軸に対して個別に前記姿勢固定設定を受け付けるように構成されている測定装置。
請求項３または４に記載の測定装置において、
前記ロボットハンドで把持した前記ワークをプレース位置まで搬送する搬送経路を生成する経路生成部と、
前記設定部により姿勢固定設定を受け付けた場合、前記ロボットハンドと前記ワークとの位置関係を展開前の位置関係とし、前記搬送経路中における前記ワークと障害物との干渉判定を行う干渉判定部とを備えている測定装置。
請求項１から５のいずれか１つに記載の測定装置において、
表示部を備えており、
前記設定部は、展開順序に対応した複数のタブを選択操作可能に示すとともに、選択されたタブ毎に、展開軸の選択と、当該展開軸周りに展開するときの角度範囲の設定とを受け付けるユーザインタフェースを生成して前記表示部に表示させる測定装置。