JP2022017739A - 画像処理装置 - Google Patents

Abstract

【課題】ユーザがロボットプログラムを編集することなくトリガ設定が行えるようにし、かつ、設定された中で最適なタイミングでトリガを自動的に発行できるようにする。【解決手段】プロセッサは、移動経路の途中でハンドＨＮＤがセンサ部２の撮像視野外に移動するタイミングに基づいて、センサ部２に次に撮像させるトリガの発行タイミングを決定することにより、ピッキング動作のサイクルごとにセンサ部２の撮像タイミングを動的に変化させる。【選択図】図４２

Description

本発明は、ピッキング動作を行うロボットの制御に用いられる画像処理装置に関する。

従来より、例えば特許文献１に開示されているように、作業空間に配置されたワークの三次元形状を測定し、ロボットに取り付けられたハンドを制御してワークを把持し、ハンドにより把持したワークを所定の載置位置に載置するようにロボットの動作設定を行うための三次元測定装置が知られている。

特許文献１の三次元測定装置は、ロボットコントローラとは別に設けられており、ロボットコントローラでは難しい高精度な三次元測定を行い、その測定結果に基づいた様々な機能を実現すべく、ワークを把持する際のハンドのアプローチ位置やハンドによる把持を実行する把持実行位置等のように、ハンドが経由すべき点をロボットコントローラに出力することができるようになっている。

すなわち、三次元測定装置は、例えば撮像部によりワーク及びその周辺を撮像して三次元データを取得した後、取得された三次元データからワークをサーチして把持姿勢等を決定する。その後、ワークの把持を実行する把持実行位置の座標を算出し、算出した座標をロボットコントローラに出力する。ロボットコントローラは、座標を受け取ってハンドを動かし、ハンドによってワークを把持して所定の載置位置まで搬送し、当該プレース位置に載置する。

特開２０１８－１４４１５９号公報

上述したように、ロボットを用いてワークのピッキング作業を行う場合には、作業空間にあるワークを把持して搬送すると、その後の作業空間の状況が変化するので、ワークを搬送するごとにカメラで作業空間を撮像し、新たな三次元データを取得する必要がある。

具体的には、まず、ロボットがカメラによる撮像を待機する位置（撮像待機位置）にあるときに、撮像トリガを発行し、作業空間のワークを撮像する。取得された画像内で把持可能なワークの位置などを特定し、目標把持実行位置を計算する。その後、容器などの上空位置を経由して、目標把持実行位置へロボットを移動させた後、ハンドを用いた把持動作を行う。最後に、ロボットをプレース位置へと移動させ、そこでハンドのプレース動作を行い、上記撮像待機位置に戻って撮像トリガを再度発行する。これが、一般的なばら積みピッキングの手順である。

ただし、このように撮像待機位置でトリガ発行すると、カメラの撮像時間、ワークの位置の計算、把持実行位置の計算などの時間分、撮像待機位置でロボットを停止させて待っていなければならず、タクト要求の厳しいばら積みピッキングではこの待ち時間が問題となっていた。

そこで、ロボットがプレース位置に達した瞬間に次の撮像トリガを発行する等の対策が考えられる。この対策を採用することで、プレース位置ではロボットがワークの容器にかぶって撮像を阻害するケースが少なく、かつ、撮像待機位置にロボットが戻るまでの間に撮像や計算を終了させることができるので、厳しいタクト要求にも応えることが可能になる。

しかし、この方法にもいくつかの問題があった。すなわち、撮像トリガを発行する位置は、通常理想的なトリガ位置よりも余裕を持ったタイミングとする必要があるため、プレース位置から撮像待機位置までのロボット移動時間が各種処理を行うのに十分な長さでなく、結局ロスタイムが発生するケースが存在する。ロボット移動時間が各種処理を行うのに十分な長さとなるように撮像トリガを発行するタイミングを早くすると、ロボットが容器に被ってしまい、適切に撮像ができない可能性が高くなり、トリガ発行位置の調整が難しくなる。しかも、ばら積みピッキングではハンドの移動経路がサイクルごとに異なっており、このこともトリガ発行位置の調整を難しくしている。

また、従来は、ロボットプログラムを使ってトリガ位置を決定しており、画像処理装置での経路生成と、ロボットプログラムでのトリガ位置の設定とは独立したものであった。そのため、画像処理装置側で経由点を追加した場合など、ロボットプログラム側の修正を行ってトリガ位置を合わせることとしていた。例えばプレース位置でトリガ発行しようとすると、ロボットプログラムを直接編集する必要があり、かつ、そのプログラムは汎用性の低いものになる。つまり、ユーザがトリガ位置調整を行うことは容易なものではなかった。

本開示は、かかる点に鑑みたものであり、その目的とするところは、ユーザがロボットプログラムを編集することなくトリガ設定が行えるようにし、かつ、設定された中で最適なタイミングでトリガを自動的に発行できるようにすることにある。

上記目的を達成するために、第１の開示は、作業空間に積み上げられた複数のワークの中から所定のワークを把持して順次取り出すピッキング動作をサイクル実行するロボットの制御に用いられる画像処理装置を前提とする。

画像処理装置は、複数のワークが積み上げられた前記作業空間をトリガ命令に従って撮像し、撮像データを出力する撮像部と、前記撮像部から出力された撮像データに基づいて、前記作業空間に積み上げられたワークの中から把持対象となるワークを決定し、当該ワークを把持して所定の載置位置に載置するまでのハンドの経路を設定するプロセッサとを備えている。

前記プロセッサは、前記経路の途中で前記ハンドが前記撮像部の撮像視野外に移動するタイミングに基づいて、前記撮像部に次に撮像させるトリガの発行タイミングを決定することにより、ピッキング動作のサイクルごとに前記撮像部の撮像タイミングを動的に変化させることができる。

この構成によれば、撮像部がトリガ命令に従って作業空間を撮像すると、ワークが含まれた撮像データが当該撮像部からプロセッサに出力される。プロセッサでは、撮像部から出力された撮像データに基づいて、把持対象となるワークを決定するとともに、把持対象のワークから所定の載置位置までのハンドの経路を生成する。この経路に従ってハンドが移動することで、１サイクルのピッキング動作が完了する。

ハンドは経路の途中で撮像部の撮像視野外まで移動するのが一般的である。プロセッサは、ハンドが撮像視野外に移動するタイミングに基づいて、撮像部に次に撮像させるトリガの発行タイミングを決定する。撮像部は、決定された発行タイミングで発行されたトリガ命令に従って作業空間を撮像するので、ハンドがワークに被ってしまうことはなく、撮像視野内のワークを撮像できる。

次のサイクルでは、ワークの数が減ったことで作業空間のワークの状態が前のサイクルとは異なっている。従って、ハンドの経路も前のサイクルとは異なるので、ハンドが撮像部の撮像視野外に移動するタイミングも前のサイクルとは異なる。本開示によれば、ピッキング動作のサイクルごとに撮像部の撮像タイミングを動的に変化させて最適なタイミングでトリガを自動的に発行できる。これにより、ユーザがトリガ位置調整を行う必要が無くなり、利便性が向上する。

第２の開示では、前記プロセッサは、前記経路上の座標を、ロボットを制御するロボットコントローラへ出力することができる。

例えば、ロボットを制御するロボットコントローラを備えたロボットシステムの場合、プロセッサはロボットコントローラとは別であってもよく、この場合、プロセッサが座標をロボットコントローラに出力することで、プロセッサから出力された経路上の座標へ移動するように、ロボットコントローラによってロボットを制御し、これにより、ピッキング動作が可能になる。

尚、本開示は、プロセッサとロボットコントローラとが別の形態以外にもプロセッサがロボットコントローラに内蔵された形態であってもよい。この場合、ロボットコントローラの内部で経路が生成され、生成された経路を移動するように、ロボットコントローラがロボットを制御する。

第３の開示では、前記プロセッサは、前記トリガを発行すべき前記経路上の座標と、当該座標で前記トリガを発行すべきトリガ発行情報とを前記ロボットコントローラへ出力することができる。

この構成によれば、プロセッサが、経路上の座標だけでなく、その座標において撮像を実行させるトリガ発行情報も出力するので、ユーザはロボットプログラムを編集することなく、サイクルごとに変化するトリガ位置を追従させることができる。

第４の開示では、前記プロセッサは、前記経路の情報として前記経路上における連続する複数の経由点の座標を含む情報を生成し、当該経路の情報を前記ロボットコントローラへ出力することができる。

経路は上述したようにサイクルごとに異なっている。プロセッサで生成した経路上には、ハンドが経由すべき点（経由点）として、例えば把持動作を行うべき点や載置動作を行うべき点が存在している。それら複数の経由点をロボットコントローラへ出力することで、ロボットコントローラは複数の経由点を経由するようにハンドを制御できる。

第５の開示では、前記プロセッサは、前記ハンドのアプローチ位置、把持実行位置及び把持後の退避位置のうち、任意の１つの属性を有する固定経由点の座標と、前記固定経由点の属性を示す属性情報とを前記ロボットコントローラへ出力することができる。

この構成によれば、固定経由点の座標と、その経由点の属性を示す属性情報とがロボットコントローラに出力されるので、ユーザは、ロボットコントローラ側との対応関係を考慮することなくハンドの経路設定を編集したり、ロボット自体の動作については関知せずに、ハンドの動作のみを検討すれば済む。つまり、ユーザは各属性情報に対応したハンドの動作を記述するだけでロボットプログラムを作成することが可能になる。

第６の開示では、前記画像処理装置は、ワークモデル及び当該ワークモデル上の前記ハンドによる把持位置情報の入力を受け付けるワークモデル入力部と、ワークが存在する前記作業空間の三次元計測を行う計測部と、前記計測部による三次元計測結果と、前記ワークモデル入力部により入力された前記ワークモデルとに基づいて、前記作業空間に積み上げられたワークの把持位置をサーチするサーチ部と、を備えている。前記干渉判定部は、前記サーチ部でサーチされたワークの把持位置を把持する際に前記ハンドが周囲の物体と干渉するか否かを判定し、周囲の物体との干渉を回避する前記ハンドの姿勢を決定することができる。

この構成によれば、ワークが積み上げられた作業空間に把持可能なワークがある場合には、その把持可能なワークを、把持位置情報に基づいてハンドで把持しようとした際に、ハンドが周囲の物体と干渉するか否かを判定できる。ハンドが周囲の物体と干渉してしまう場合には、サーチ部において把持可能であると判定されていても、実際のピッキング動作は行えないので、干渉判定部は、ピッキング動作が可能となるように、ハンドの姿勢を変えることで、干渉しないハンドの姿勢を決定できる。尚、干渉しないハンドの姿勢が存在しない場合もある。また、ワークモデル上のハンドによる把持位置を複数入力しておくこともできる。

第７の開示では、前記プロセッサは、前記干渉判定部による判定結果に基づいて、前記ハンドが周囲の物体との干渉を回避可能な複数の経由点を決定し、当該経由点を結ぶように前記ハンドの経路生成を行うことができる。

この構成によれば、ハンドが周囲の物体と干渉しない経路でロボットにピッキング動作を実行させることができる。

第８の開示では、前記プロセッサは、前記撮像部の撮像視野の縁を外形状とする仮想の立体図形を設定して前記ハンドが前記立体図形と干渉するか否かを判定し、前記ハンドが前記立体図形と非干渉となるタイミングが、前記ハンドが前記撮像部の撮像視野外に移動するタイミングであると判定することができる。

この構成によれば、仮想の立体図形とハンドとの干渉判定アルゴリズムを用いることで、ハンドが立体図形と非干渉となるタイミングを求めることができる。立体図形の外形状は撮像視野の縁であるため、ハンドが立体図形と非干渉であるということは、ハンドが撮像部の撮像視野外に位置しているということである。したがって、ハンドが撮像部の撮像視野外に移動するタイミングを容易に求めることができる。

第９の開示では、前記プロセッサは、平面視で前記ワークが積み上げられる領域を囲む枠の入力を受け付け、下面の形状が前記枠の形状とされるとともに前記撮像部の受光面に向かって延びる形状の前記立体図形を設定することができる。

例えばワークが容器に収容されている場合には、ワークが積み上げられる領域は容器内に限定される。この場合には平面視で容器の内部空間を囲む形状の枠をユーザが入力すると、その枠の形状が仮想の立体図形の下面の形状となる。そして、その下面から撮像部の受光面に向かって延びる立体図形を設定することで、撮像部の視野範囲が、ワークが積み上げられる領域を反映した適切な形で設定される。枠の形状は特に限定されるものではなく、例えば矩形状、円形状等とすることができる。

第１０の開示では、前記プロセッサは、前記ハンドが前記立体図形と干渉するか否かの判定時には、複数の前記経由点のうち、隣合う経由点の間隔を分割する分割経由点を設定し、当該分割経由点を使用することができる。

この構成によれば、ハンドが撮像部の撮像視野外に移動するタイミングを細かく求めることができる。

第１１の開示では、前記プロセッサは、前記ハンドの把持実行位置から、ワークの載置位置までの間でトリガの発行タイミングを決定し、当該タイミングに対応するロボットの位置をトリガ位置として出力することができる。

第１２の開示では、前記画像処理装置は、前記経路上に複数の経由点が存在する場合、複数の経由点の経由順序を示すとともに、複数の経由点の個別の編集が可能な編集画面を生成する編集画面生成部と、前記編集画面生成部で生成された編集画面を表示する表示部と、を備えている。

以上説明したように、本開示によれば、ハンドが撮像視野外に移動するタイミングに基づいて、次の撮像トリガの発行タイミングを決定することにより、ピッキング動作のサイクルごとに撮像タイミングを動的に変化させることができる。これにより、ユーザがロボットプログラムを編集することなくトリガ設定を行うことができ、その設定された中で最適なタイミングでトリガを自動的に発行できる。

ロボットシステムを用いてばら積みピッキング動作を行う様子を示す模式図である。 ロボットハンドでワークを把持する例を示す模式図である。 空洞を有するワークを内面から把持する例を示す模式図である。 板状のワークを吸引して把持する例を示す模式図である。 アームの先端部の斜視図である。 ハンドが取り付けられたアームの先端部の斜視図である。 ロボットシステムの概略構成を示すブロック図である。 ロボットシステムの詳細構成を示すブロック図である。 センサ部の一例を示す斜視図である。 画像処理装置によるハンドの取付位置算出処理の手順の一例を示すフローチャートである。 ワークモデルの登録の手順の一例を示すフローチャートである。 ハンドモデル及び把持位置の登録の手順の一例を示すフローチャートである。 キャリブレーションの手順の一例を示すフローチャートである。 中心ロボット位置を設定する際に表示されるユーザインタフェース画面の一例を示す図である。 検出ツールを設定する際に表示されるユーザインタフェース画面の一例を示す図である。 ツール中心算出の際に表示されるユーザインタフェース画面の一例を示す図である。 キャリブレーション実行の際に表示されるユーザインタフェース画面の一例を示す図である。 移動間隔設定用ウインドウの一例を示す図である。 ロボット動作チェック用ウインドウの一例を示す図である。 動作チェック後、問題がない場合に表示されるユーザインタフェース画面の一例を示す図である。 動作チェック後、問題がある場合に表示されるユーザインタフェース画面の一例を示す図である。 ハンド撮像時に表示されるユーザインタフェース画面の一例を示す図である。 ６変数の誤差を個別に表示する誤差表示ウインドウの一例を示す図である。 別の実施例に係る図８相当図である。 干渉判定の手順の一例を示すフローチャートである。 干渉判定終了後にロボットを動作させる手順の一例を示すフローチャートである。 経路設定用ユーザインタフェースの一例を示す図である。 属性情報入力ウインドウの一例を示す図である。 固定経由点の位置設定用ウインドウの一例を示す図である。 動作／干渉判定設定用ウインドウの一例を示す図である。 画像処理装置、ロボットコントローラ及びロボットの処理シーケンス図である。 属性情報をユーザインタフェース上で関連付けて登録できる場合のメインプログラムを表示部に表示した例を示す。 属性情報をユーザインタフェース上で関連付けて登録できる場合のアクションプログラムを表示部に表示した例を示す。 属性情報をユーザインタフェース上で関連付けて登録できない場合のメインプログラムを表示部に表示した例を示す。 固定経由点（指定位置）がアプローチ位置の前に追加された場合の図２５相当図である。 固定経由点が追加された場合の図３０Ａ相当図である。 ロボットコントローラ側で属性情報を処理する場合の経由点と属性情報とのデータ配列を示す図である。 画像処理装置側で属性情報を処理する場合の経由点と属性情報とのデータ配列を示す図である。 画像処理装置側で属性情報を処理する場合の図３０Ａ相当図である。 命令配列の中に経由点データが入っている場合の図３５相当図である。 撮像トリガ位置の計算手法の一例を示すフローチャートである。 領域指定用ユーザインタフェースの一例を示す図である。 容器の４辺を指定するウインドウの表示例を示す図である。 容器の深さを指定するウインドウの表示例を示す図である。 撮像トリガ位置の計算手法を説明する概念図である。 起点の指定手順を示す図である。

以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。

図１は、本発明の実施形態に係るロボットシステム１０００の構成例を示す模式図である。この図１は、各種製品の製造工場等にある作業空間に積み上げられた複数のワークＷＫの中から把持可能な所定のワークＷＫを、ロボットＲＢＴを用いて順次取り出し、所定の場所に設置されているステージＳＴＧまで搬送して該ステージＳＴＧ上に載置するばら積みピッキング動作を行う例について示している。このばら積みピッキング動作は、把持可能なワークＷＫが無くなるまで繰り返し実行される。つまり、把持可能な所定のワークＷＫを把持して所定位置まで搬送し、載置するという動作を含むピッキング動作を１サイクルとしたとき、このサイクルを複数回実行するので、ロボットＲＢＴは所定のワークを把持して順次取り出すピッキング動作をサイクル実行するように構成されているということもできる。

ロボットシステム１０００は、ロボットＲＢＴと、ロボットＲＢＴを制御するロボットコントローラ６とを備えている。さらに、この図に示すロボットシステム１０００は、ロボットＲＢＴ及びロボットコントローラ６の他に、図５に示すようにロボット設定装置１００と、センサ部２と、表示部３と、操作部４と、ロボット操作具７とを備える。

図１に示すロボットＲＢＴは、産業用の汎用ロボットであり、工場等の床面に対して固定されるベース部ＢＳを備えている。ロボットＲＢＴは、例えばマニピュレータ等とも呼ばれており、６軸制御が可能に構成されている。このロボットＲＢＴは、ベース部ＢＳから延びるアーム部ＡＲＭと、アーム部ＡＲＭの先端部に設けられたエンドエフェクタとしてロボットハンドＨＮＤ（以下、単に「ハンド」という）とを備えている。アーム部ＡＲＭは、可動部としての関節部を複数備えた多関節型に構成することができる。アーム部ＡＲＭの各関節部の動作及びアーム部ＡＲＭ自体の回転動作によってハンドＨＮＤを可動範囲内の所望の位置まで移動させることができる。

ハンドＨＮＤは、ワークＷＫを把持可能に構成されている。ハンドＨＮＤは、図２Ａに示すようにワークＷＫの外側を挟み込んで把持する構造のハンドＨＮＤ１、図２Ｂに示すように空洞部を有するワークＷＫ２の内部に爪部を挿入して拡開させることによって保持する構造のハンドＨＮＤ２、図２Ｃに示すように板状のワークＷＫ３を吸引して保持するハンドＨＮＤ３等があり、いずれのエンドエフェクタも使用することができる。また、本明細書で「把持」とは、図２Ａに示すワークＷＫの外側を挟み込む方法、空洞部に爪部を挿入して拡開させる方法、吸引する方法等の全ての例を含む意味で使用する。

図３に示すように、ハンドＨＮＤの先端部には、フランジＦＬＧが固定されている。上述したようにハンドＨＮＤの種類は様々あり、ワークＷＫに応じて変更する必要があるので、ハンドＨＮＤの交換がユーザ側で自在に行えるように、図４に示すようにフランジＦＬＧにハンドＨＮＤが着脱可能に取り付けられている。ハンドＨＮＤのフランジＦＬＧへの取付位置及び姿勢は設計値通りになるように指定されている。ハンドＨＮＤのフランジＦＬＧへの取付位置及び姿勢が設計値通りになるように、例えばガイドピン（図示せず）などを設けておくこともできるが、ガイドピンなどが設けられていたとしても、実際にピッキング作業が行われる現場では、ハンドＨＮＤが必ずしも設計値通りにフランジＦＬＧに取り付けられているとは限らず、ハンドＨＮＤの取付位置及び姿勢が設計値からずれていることがあり得る。

（座標系の説明）
本実施形態に係るロボットシステム１０００では、ロボット座標系と、カメラ座標系と、フランジ座標系と、ツール座標系とが存在している。ロボット座標系は、図１に示すように原点を点ＯＲとした三次元座標系であり、例えばロボットＲＢＴの取付位置を原点としたときの座標系である。ロボット座標系は、ロボットＲＢＴの各部（フランジＦＬＧ、アームＡＲＭ等）の位置の基準となる座標系である。図１では、ロボット座標系の原点ＯＲがロボットＲＢＴの基部の中心である例を示しているが、これに限らず、例えば、ベース部ＢＳの上面の中心をロボット座標系の原点ＯＲとしてもよい。また、一般的に、ロボット座標とは、ロボット座標系におけるフランジＦＬＧの位置を示している。

この実施形態では、詳細は後述するが、センサ部２は、いわゆるカメラを備えた構成とすることもでき、所定の撮像視野内を撮像可能に構成されている。このセンサ部２で撮像された画像内の各点の基準となる座標系としてカメラ座標系（撮像部の座標系）が定義されている。カメラ座標系の一例として、Ｘ，Ｙはセンサ部２の真下を原点ＯＣにし、Ｚはセンサ部２による計測レンジの中央を原点ＯＣにしているが、これに限られるものではない。

フランジ座標系は、図３に示すようにフランジＦＬＧの取付面の中心を原点ＯＦとした三次元座標系である。また、ハンドＨＮＤをツールと呼ぶこともでき、図４に示すように、ツール座標系はツールの先端を原点ＯＴとした三次元座標系である。ツール座標系の原点ＯＴは、ツールの先端に限られるものではなく、ツールの任意の位置であってもよい。

（ロボットの制御）
ロボットＲＢＴは、図１に示すロボットコントローラ６によって制御される。ロボットコントローラ６はアーム部ＡＲＭの動作やハンドＨＮＤの開閉動作等を制御する。またロボットコントローラ６は図５に示すロボット設定装置１００から、ロボットＲＢＴの制御に必要な情報を取得する。例えば、図１に示す容器ＢＸに無作為に投入された多数の部品であるワークＷＫの三次元形状を、三次元カメラや照明等を含むセンサ部２を使用して取得し、ロボット設定装置１００でワークＷＫの位置や姿勢を検出して、その情報をロボットコントローラ６が取得する。

図５に示す操作部４では、後述するピッキング動作時の干渉判定の設定、画像処理に関する各種設定を行う。また、表示部３で、各種設定や、ロボットＲＢＴの動作状態の確認、ロボット設定装置１００の動作状態の確認、ハンドＨＮＤの取付状態の確認等を行う。さらに、ロボット設定装置１００の内部に設けられている画像処理装置３００（図６に示す）が例えば三次元サーチ、干渉判定、把持解の算出等を行う。

一方、ロボットコントローラ６はロボット設定装置１００から出力される信号に従い、ロボットＲＢＴの制御を行うように構成された周知の部材である。またロボット操作具７は、ロボットＲＢＴの動作設定を行う。なお、図５の例では操作部４とロボット操作具７を別個の部材としているが、これらを共通の部材としてもよい。

センサ部２は、ロボットビジョンなどと呼ばれる部材であり、撮像対象物を撮像する撮像部と呼ぶこともできる。この実施形態では、ハンドＨＮＤ及びワークＷＫが少なくともセンサ部２の撮像対象物となる。ワークＷＫを撮像する際には、容器ＢＸが撮像対象物として含まれていてもよい。また、ハンドＨＮＤを撮像する際には、フランジＦＬＧやアーム部ＡＲＭが撮像対象物として含まれていてもよい。

センサ部２は、ロボットコントローラ６に接続されており、ロボットコントローラ６から出力されるトリガ命令を受信可能に構成されている。センサ部２は、ロボットコントローラ６から出力されたトリガ命令に従って視野範囲を撮像し、その撮像データをプロセッサ３００Ａに出力する。トリガ命令は、単にトリガと呼ぶこともできるし、トリガ信号と呼ぶこともできる。

センサ部２で撮像された画像から、ばら積みされたワークＷＫの三次元形状を示す三次元形状データを取得することが可能になる。容器ＢＸの三次元形状を示す三次元形状データも、センサ部２で撮像された画像から取得することができる。同様に、ハンドＨＮＤの三次元形状を示す三次元形状データ、フランジＦＬＧの三次元形状を示す三次元形状データ等もセンサ部２で撮像された画像から取得することができる。

尚、上記各三次元形状を取得する方法は、例えば、パターン投影法、ステレオ法、レンズ焦点法、光切断法、光レーダ法、干渉法（白色干渉法）、ＴＯＦ方式などがあり、これらの方法のうち、どの方法を用いてもよい。各方法は、従来から周知であるため、詳細な説明は省略する。本実施形態においては、パターン投影法のうち、周期的な照度分布を有するパターン光を撮像対象物に照射し、撮像対象物の表面で反射した光を受光する位相シフト法を用いている。

センサ部２は、測定対象物であるワークＷＫの形状を測定する形状測定装置と呼ぶこともでき、ワークＷＫが存在する作業空間の三次元計測を行う計測部２ａ（図６に示す）を備えている。このため、センサ部２によってハンドＨＮＤ、ワークＷＫや容器ＢＸの形状を測定することもできる。センサ部２は、ロボット設定装置１００の一部とすることができるが、別部材として構成することもできる。センサ部２の具体的な構成は、三次元形状の計測技術に応じて決定される。

本例では、センサ部２は、計測部２ａの他に、カメラ、照明又はプロジェクタ等を備える。例えば位相シフト法でワークＷＫの三次元形状を計測する場合は、センサ部２として図７に示すように、プロジェクタ（投光部）ＰＲＪと、複数のカメラ（受光部）ＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４とを備える。プロジェクタＰＲＪは、撮像対象物に光を照射するための部材である。カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４は、プロジェクタＰＲＪにより投光されて撮像対象物の表面で反射した光を受光する撮像素子を有する部材である。投光部の光源は、例えば複数の発光ダイオード、液晶パネル、有機ＥＬパネル、デジタルマイクロミラーデバイス（ＤＭＤ）等で構成することができる。

センサ部２は、カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４やプロジェクタＰＲＪといった複数の部材で構成する他、これらを一体的に構成してもよい。例えばカメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４やプロジェクタＰＲＪを統合してヘッド状とした三次元撮像ヘッドを、センサ部２とすることができる。

また三次元形状データの生成自体はセンサ部２の計測部２ａで行うことができる。この場合、計測部２ａには、三次元形状データの生成機能を実現する画像処理ＩＣ等を設けておけばよい。あるいは、三次元形状データの生成を、センサ部２側で行わず、センサ部２で撮像した生画像を、画像処理装置３００へ転送し、画像処理装置３００内の計測部（図示せず）で画像処理して三次元画像等の三次元形状データを生成する構成としてもよい。センサ部２は、撮像データである三次元形状データを後述する決定部３０５等に出力することができる。

ロボット設定装置１００は、センサ部２で得られたワークＷＫの三次元形状データに基づいて、三次元サーチ、干渉判定、把持解算出等を行う。このロボット設定装置１００は、専用の画像処理プログラムをインストールした汎用のコンピュータや、専用に設計された画像処理コントローラ、専用のハードウェアで構成することができる。また、グラフィックボードなどのハードウェアを画像検査処理に特化させた専用のコンピュータに、画像処理プログラムをインストールした構成とすることもできる。

なお図５の例では、センサ部２やロボットコントローラ６等をロボット設定装置１００とは別個の部材で構成する例を示しているが、本発明はこの構成に限られず、例えばセンサ部２と画像処理装置１００とを一体化したり、あるいはロボットコントローラ６をロボット設定装置１００に組み込むこともできる。このように、図５に示す部材の区分けは一例であって、複数の部材を統合させることもできる。

センサ部２はロボットＲＢＴと別体としている。すなわち、センサ部２をロボット本体５のアーム部ＡＲＭに設けない、オフハンド形式と呼ばれる形態となっている。尚、センサ部２をアーム部ＡＲＭに設けてもよい。

表示部３は、例えば、液晶モニタや有機ＥＬディスプレイ、ＣＲＴ等で構成できる。また、操作部４は、例えば、キーボードやマウス、ポインティングデバイス等の各種入力デバイスで構成できる。また、表示部３をタッチパネル式ディスプレイとすることで、操作部４と表示部３とを一体化することもできる。

例えばロボット設定装置１００を、画像処理プログラムをインストールしたコンピュータで構成した場合、表示部３上には画像処理プログラムのグラフィカルユーザインタフェース（ＧＵＩ）画面が表示される。表示部３上に表示されたＧＵＩ上から各種の設定を行うことができ、また各種画像や干渉判定結果等の処理結果を表示させることができる。この場合、表示部３を各種の設定を行うための設定部としても利用でき、設定部には操作部４が含まれていてもよい。

ロボットコントローラ６は、センサ部２で撮像した情報に基づいてロボットの動作を制御する。またロボット操作具７は、ロボットＲＢＴの動作設定を行うための部材であり、ペンダントなどが利用できる。

ワークＷＫは、図１に示すように複数個が容器ＢＸに無作為に収容されている。このような作業空間の上方には、センサ部２が配置されている。ロボットコントローラ６は、センサ部２で得られたワークＷＫの三次元形状に基づいて、複数のワークＷＫの内から、把持対象のワークＷＫを決定するとともに把持候補位置も決定して、この把持対象のワークＷＫを把持候補位置で把持するよう、ロボットＲＢＴを制御する。そして、ワークＷＫを把持したまま、アーム部ＡＲＭを動作させて予め定められた所定の載置位置、例えばステージＳＴＧ上まで移動させ、所定の姿勢でワークＷＫを載置する。いいかえると、ロボットコントローラ６は、センサ部２及びロボット設定装置１００で特定されたピッキング対象のワークＷＫをハンドＨＮＤで把持して、把持したワークＷＫを所定の基準姿勢にて、載置場所（ステージＳＴＧ）に載置してハンドＨＮＤを開放するようにロボットＲＢＴの動作を制御する。ステージＳＴＧは、例えばコンベアベルト上やパレット等であってもよい。

ここで本明細書において、ばら積みピッキングとは、容器ＢＸに入れられて無作為に積み上げられたワークＷＫを、ロボットＲＢＴで把持して、所定の位置に載置する他、容器ＢＸを用いずに所定の領域に積み上げられたワークＷＫに対して把持、載置を行う例、あるいは所定の姿勢で並べられて積み上げられたワークＷＫを順次把持、載置する例も含む意味で使用する。また、必ずしもワークＷＫ同士が積み重ねられている状態であることは要さず、ワークＷＫ同士の重なりがない状態で平面上にランダムに置かれたワークＷＫについても、本明細書においてはばら積みと呼ぶ（順次ピッキングされていき、ピッキングの終盤でワークＷＫ同士の重なりがない状態となった場合でも依然としてばら積みピッキングと呼ばれるのと同じ理由である）。なお、本発明はばら積みピッキングに必ずしも限定されるものでなく、ばら積みされていないワークＷＫを把持して搬送する用途にも適用できる。

また、図１の例ではセンサ部２を作業空間の上方に固定しているが、センサ部２の固定位置は、作業空間を撮像できる位置であればよく、例えば作業空間の斜め上方や側方、下方、斜め下方など、任意の位置に配置することができる。さらにセンサ部２が有するカメラや照明の数も、１個に限らず複数個としてもよい。さらにまたセンサ部２やロボットＲＢＴ、ロボットコントローラ６との接続は、有線接続に限られず、周知の無線接続としてもよい。

ロボットシステム１０００でばら積みピッキング動作を行うにあたり、予めばら積みピッキング動作を行わせるための設定を含めたティーチングを行うこともできる。具体的には、ワークＷＫのどの部位を、ハンドＨＮＤがどのような姿勢で把持するのか、把持位置及び姿勢などの登録を行う。このような設定は、ペンダント等のロボット操作具７で行うことができる。また、後述するように、実際のロボットを操作せずに、ビジョン空間上で設定を行うこともできる。

表示部３は、ワークＷＫの三次元形状を仮想的に表現するワークモデルや、ハンドＨＮＤの三次元形状を仮想的に表現する、三次元ＣＡＤデータで構成されたエンドエフェクタモデルを、仮想的な三次元空間上でそれぞれ三次元状に表示させることもできる。さらにこの表示部３は、ワークモデルの基本方向画像を六面図として表示させることもできる。これにより、ワークモデルの各姿勢を六面図で表示させて把持位置の設定作業を行えるようになり、従来面倒であった把持位置の設定作業を容易に行えるようになる。

（画像処理装置３００の構成）
図６に示すように、ロボット設定装置１００は、画像処理装置３００を備えている。画像処理装置３００は、センサ部２、操作部４及び表示部３を備えた構成とすることができる。また、画像処理装置３００は、マイクロコンピュータ等からなるプロセッサ３００Ａを備えている。プロセッサ３００Ａは、ワークモデルを入力するワークモデル入力部３０１と、ハンドモデルを登録する登録部３０２とを備えている。また、プロセッサ３００Ａは、キャリブレーション実行部３０３と、ロボットＲＢＴの座標を取得する取得部３０４と、ロボットＲＢＴのフランジＦＬＧに取り付けられたハンドＨＮＤの位置及び姿勢を決定する決定部３０５と、ハンドＨＮＤの取付位置を算出する算出部３０６とを備えている。さらに、プロセッサ３００Ａは、ワークＷＫの把持位置をサーチするサーチ部３０７と、ハンドＨＮＤが周囲の物体と干渉するか否かを判定する干渉判定部３０８と、経路生成部３０９と、座標情報等をロボットコントローラ６へ出力する出力部３１０とを備えている。以下、プロセッサ３００Ａの各部が実行する処理について具体的に説明する。

図８は、プロセッサ３００Ａによる干渉判定の手順の一例を示すフローチャートである。ステップＳＡ１は、干渉判定を実行する環境の設定ステップである。この設定の主要な手順は、図９に示すワークモデルの登録の手順を示すフローチャートと、図１０に示すハンドモデル及び把持位置の登録の手順を示すフローチャートに示す通りである。ワークモデルの登録と、ハンドモデル及び把持位置の登録とは、どちらを先に行ってもよい。

（ワークモデル入力部３０１の構成）
図６に示すワークモデル入力部３０１は、ワークモデル及び当該ワークモデル上のハンドＨＮＤによる把持位置情報の入力を受け付ける部分である。具体的には、図９に示すフローチャートに従ってワークモデル及び把持位置情報を入力し、登録することができる。

開始後のステップＳＢ１はワークモデルの入力ステップである。ワークモデルとは、後述するワークＷＫのサーチ処理を実行する際に使用されるワークＷＫの形状を表したモデルであり、サーチモデルと呼ぶこともできる。ステップＳＢ１でワークモデルを入力する際には、ワークＷＫの三次元ＣＡＤデータ（ＣＡＤモデル）を読み込んで、画像処理装置３００が有する記憶部３２０（図６に示す）に一旦記憶させておくことができる。この三次元ＣＡＤデータは、例えば従来から一般的に用いられているフォーマットのデータを使用することができ、任意のタイミングで読み出して使用することができる。

この実施形態では、三次元ＣＡＤデータのフォーマットとして最もシンプルなＳＴＬ形式を用いている。ＳＴＬ形式は、三角形のポリゴン情報（３点の座標とその面の法線ベクトル）の羅列のみで構成されるデータである。あるいはワークモデルとして、三次元情報を有する点群データで構成してもよい。あるいはまた、ワークモデルを、高さ情報を有する画像データ、例えば高さ画像や距離画像で構成してもよい。

ステップＳＢ１でワークモデルを入力した後、ステップＳＢ２に進み、ワークモデルの確認及び登録を行う。例えば、入力したワークモデルのＣＡＤデータを表示部３に表示させることにより、画像処理装置３００の使用者が、所望のワークモデルであるか否かを確認することができる。その結果、所望のワークモデルである場合には、そのワークモデルを画像処理装置２００に登録する。確認の結果、所望のワークモデルでない場合には、別の三次元ＣＡＤデータを選択して入力し、再び確認する。

ステップＳＢ１で読み込んだ三次元ＣＡＤモデルの六面、即ち、三次元ＣＡＤモデルを「上」、「下」、「左」、「右」、「前」、「後」の各方向から見た高さ画像データをステップＳＢ２で生成する。まず、ＣＡＤモデルの平面図、底面図、左側面図、右側面図、正面図、背面図となるように、６つの高さ画像データを生成する。この高さ画像データから高さ画像が得られる。「上」はＺ軸の正方向（プラス側）から見た高さ画像、「下」はＺ軸の負方向（マイナス側）から見た高さ画像、「左」はＸ軸の負方向から見た高さ画像、「右」はＸ軸の正方向から見た高さ画像、「前」はＹ軸の負方向から見た高さ画像、「後」はＹ軸の正方向から見た高さ画像に対応する。ただ、これらは一例であって、異なる座標系を用いてもよいし、Ｘ－Ｙ平面におけるＸ＝Ｙの直線を軸として、この軸と互いに直交する座標系に基づいて、各軸の正負方向から見た高さ画像を用いてもよい。また、三次元ＣＡＤデータから、高さ画像を生成する際、必ずしもＣＡＤデータの軸に直交した方向（「上」、「下」、「左」、「右」、「前」、「後」）から見た高さ画像である必要はなく、例えばワークモデルの姿勢（視点）を任意に変えて、変えた状態の視点から高さ画像を生成するようにしてもよい。

また、ＣＡＤモデルが三次元ＣＡＤデータからなるものであるので、三次元ＣＡＤデータをＣＡＤモデルのＸ、Ｙ、Ｚ座標のそれぞれについてプラス方向及びマイナス方向の各方向から見たときの高さ画像に変換することで、ＣＡＤモデルの六面について高さ画像を得ることができる。

上述のようにして生成した６つの高さ画像の中で同じ見え方になる高さ画像を削除することもできる。見え方の一致／不一致は、ワークの上下（Ｚ軸の正負方向）、前後（Ｙ軸の正負方向）、左右（Ｘ軸の正負方向）から見た、計六面の高さ画像を高さ画像データに基づいて生成し、高さ画像が一致しているか否かを確認する。ここでは９０°の刻み角度で回転させて一致しているか否かを確認し、他の面と一致する見え方となる面は、サーチモデルの登録対象から除外する。このような除外は、画像処理装置３００の使用者が手動で行うこともできるし、画像処理装置３００側で自動で行わせてもよいし、あるいはこれらを組み合わせて行うようにしてもよい。

具体例について説明すると、例えば、ワークＷＫが直方体であった場合には、三次元ＣＡＤモデルを上から見た高さ画像と下から見た高さ画像とが同じになり、この場合には、いずれか一方を削除する。三次元ＣＡＤモデルを左から見た高さ画像と右から見た高さ画像も同じになるので一方を削除する。また、三次元ＣＡＤモデルを前から見た高さ画像と後から見た高さ画像も同じになるので一方を削除する。ワークＷＫが複雑な形状であっても、一方向から見た高さ画像と他方向から見た高さ画像が同じになることがあり、この場合も一方の高さ画像を削除することができる。ワークＷＫが立方体の場合は６面のうち、５面を削除することができる。

同じになる画像の一方を削除した結果、残った高さ画像データを保存する。保存する高さ画像データが三次元ＣＡＤモデルの上下左右前後のいずれの方向から見た画像であるかを示す情報、即ち方向に関する情報を当該高さ画像データに付与し、この方向に関する情報と高さ画像データとを関連付けて画像処理装置３００の記憶部３２０に保存しておく。これにより、上下左右前後の各面の関係性情報を持った状態で各高さ画像データを保存しておくことができるので、１つのワークモデルを異なる方向から見た複数の高さ画像データを相互に関連付けて画像処理装置３００に登録しておくことが可能になる。

したがって、高さ画像データを記憶部３２０から読み出したときに、例えば、三次元ＣＡＤモデルの６方向から見た高さ画像を関連付けて得ることができる。以上のように、ワークモデルを異なる方向から見た複数の高さ画像データをワークＷＫのサーチモデルとして登録することが可能になる。ワークＷＫのサーチモデルは、複数種登録しておくこともできる。尚、面の関係性情報を保存することなく、高さ画像データのみ保存するようにしてもよい。

以上の方法は、ワークＷＫの三次元ＣＡＤデータが存在している場合の方法であるが、仮にワークＷＫの三次元ＣＡＤデータが無い場合には、ワークモデルを異なる方向から見た複数の高さ画像データをサーチモデルとして登録するようにしてもよい。すなわち、登録したい面を上向きにしたワークＷＫを平面上に置き、三次元計測を行う。この三次元計測は、ロボットシステム１０００のセンサ部２を利用して行うことができる。センサ部２により得られた計測データが出力され、計測データに基づいて、ワークＷＫの登録したい面の高さ画像データを得ることができる。

このようにして得られた高さ画像データに基づいて高さ画像を得た後、その高さ画像をワークＷＫのサーチモデルとして登録する。登録後、サーチに必要な分、登録し終えたか否かを判定する。この判定はユーザが行うことができるが、画像処理装置３００に行わせるようにしてもよい。すなわち、ワークＷＫを上下左右前後の各方向から見た形状が全て異なれば、六面の全てについて高さ画像を取得するのが好ましいが、上述した長方形の場合のように、同じ形状の面がある場合には六面の全てについて行わなくてもよい。サーチに必要な分、登録し終えたら、終了する。

（登録部３０２の構成）
図６に示すように、登録部３０２は、ロボットＲＢＴのフランジＦＬＧに取り付けられるハンドＨＮＤの形状を示すハンドモデルを登録する部分である。登録部３０２によるハンドモデルの登録手順は、図１０に示すフローチャートの通りである。開始後のステップＳＣ１は、ロボットＲＢＴのハンドモデルを登録するステップである。ロボットＲＢＴのハンドモデルとは、ハンドＨＮＤの形状を表したモデルである。ロボットＲＢＴのハンドモデルを登録する際には、ハンドＨＮＤのポリゴンデータ（三次元ＣＡＤデータ）の入力を受け付ける。このステップＳＣ１では、ハンドＨＮＤのポリゴンデータを入力することにより、入力された三次元ＣＡＤデータで表されるモデルをハンドモデルとして登録する。ハンドＨＮＤの三次元ＣＡＤデータを入力する際に、当該三次元ＣＡＤデータの原点位置情報の入力も受け付ける。この原点位置情報の入力は、三次元ＣＡＤデータに付随するものであるため、ユーザによる入力作業は不要にして、ハンドＨＮＤの三次元ＣＡＤデータの入力と同時に入力することもできる。

ハンドモデルを登録する際、三次元ＣＡＤデータ以外にも、直方体や円柱などの三次元形状のパーツを組み合わせてハンドモデルを作成し、この作成したハンドモデルを登録するようにしてもよい。また、三次元ＣＡＤデータには無いケーブルなどを作成して登録することもできる。

ステップＳＣ２では、ステップＳＣ１で登録したハンドモデルと、そのハンドモデルが装着されるロボットＲＢＴのフランジＦＬＧとの相対的な位置及び姿勢を定義する。具体的には、ハンドモデルにおける取付面と、ロボットＲＢＴのフランジＦＬＧとが一致するように、両者の位置関係を定義しておく。このとき、フランジＦＬＧの座標を基準としたハンドＨＮＤの位置及び姿勢の入力を受け付けることができる。

ステップＳＣ２に続くステップＳＣ３では、ロボットＲＢＴのフランジＦＬＧに装着された状態にあるハンドモデルの先端座標を指定する。この先端座標は、ロボットコントローラ６から取得することも可能であるが、ユーザが設定することも可能である。その後、ステップＳＣ４では、ハンドモデルの登録完了確認を行う。

以上のようにしてロボットＲＢＴのハンドモデルを登録した後、ステップＳＣ５に進む。ステップＳＣ５では、ロボットＲＢＴのハンドＨＮＤで把持するワークモデルの面を選択する。ワークモデルの面は、図９に示すフローチャートで登録した高さ画像で表すことができ、登録されている複数の高さ画像の中から、ロボットＲＢＴのハンドＨＮＤで把持することが可能な面に対応した高さ画像をユーザが選択する。高さ画像の選択にあたっては、高さ画像を表示部３に表示させておき、これら高さ画像の中から使用者が操作部４の操作によって選択することができる。

ステップＳＣ５で高さ画像を選択した後、ステップＳＣ６に進み、ステップＳＣ５で選択した面を把持する時のハンドＨＮＤの位置及び姿勢を登録する。例えば、Ｘ軸座標、Ｙ軸座標、Ｚ軸座標、Ｘ軸周りの回転角度、Ｙ軸周りの回転角度、Ｚ軸周りの回転角度を個別に入力し、入力された値に対応するように、ハンドモデルを移動させ、高さ画像中の所望位置に配置することができる。これにより、ハンドモデルの位置を調整しながら、ハンドモデルでワークモデルのどの部位をどのような姿勢で把持するか、即ち把持位置及び姿勢を設定することが可能になる。把持位置及び姿勢の設定は、数値を入力する以外にも、例えばハンドモデルを操作部４のマウスで直接的に操作することによっても可能である。

ここで設定する把持位置は、ロボットＲＢＴにより把持される把持候補位置である。ロボットＲＢＴにより把持される把持候補位置は、予め登録されているワークＷＫの各サーチモデルに対応付けて複数設定することができる。例えば、あるサーチモデルには、２つの把持候補位置を対応付けて設定し、別のサーチモデルには、４つの把持候補位置を対応付けて設定することができる。設定された把持候補位置は、サーチモデルと対応付けられた状態で記憶部３２０に記憶させておくことができる。

一般に、一のワークＷＫに対して把持候補位置を複数登録することが多い。これは、把持候補位置を複数登録しておけば、複数の把持解の中から最適な解を選ぶことができるため、仮に得られた把持解候補が、例えばハンドＨＮＤの他の物体との干渉によって最終的な解となり得ない場合、他の把持解候補があれば、把持可能と判定される可能性が高まるからである。このような把持候補位置を複数登録する際、その都度登録を一から行うと、同様の把持候補位置を登録する際に手数が多くなり作業が面倒となる。そこで、既に登録済みの把持候補位置情報をコピーして、この把持候補位置で設定された位置パラメータの一部を変更して、新たな把持候補位置として保存可能とすることで、手間を省いて複数の把持候補位置を容易に登録できるようになる。また、同様に既存の把持候補位置を読み出して、位置パラメータを適宜修正して上書き保存することも可能である。

把持候補位置を登録する際、サーチモデルの原点に対して、ワークＷＫを把持する際のハンドＨＮＤの相対的な位置及び姿勢を登録する。一方、実際のハンドＨＮＤでワークＷＫを把持する際には、センサ部２でワークＷＫを撮像した三次元空間（ビジョン空間）の座標から、ロボットコントローラ６がロボットＲＢＴを実際に動作させる際に用いるロボット座標に変換する必要がある。

具体的には、ワークモデルの位置及び姿勢は、ビジョン空間における位置（Ｘ，Ｙ，Ｚ）と姿勢（Ｒｘ，Ｒｙ，Ｒｚ）で求められる（なお姿勢（Ｒｘ，Ｒｙ，Ｒｚ）はＺ－Ｙ－Ｘ系オイラー角で表現された姿勢を示している）。また、これを把持するハンドＨＮＤの姿勢についても、同様に画像処理装置３００の仮想三次元空間における位置（Ｘ，Ｙ，Ｚ）と姿勢（Ｒｘ，Ｒｙ，Ｒｚ）として求められる。このようなビジョン空間における位置及び姿勢に基づいて、ロボットコントローラ６がロボットＲＢＴを動作させるには、これらをロボット空間における位置（Ｘ’，Ｙ’，Ｚ’）と姿勢（Ｒｘ’，Ｒｙ’，Ｒｚ’）に変換する必要がある。この表示される座標系で算出された位置及び姿勢を、ロボットコントローラ６がハンドＨＮＤを動作させる座標系の位置及び姿勢に座標変換するための変換式を算出する処理は、キャリブレーションと呼ばれる。このキャリブレーションについては後述する。

図１０に示すフローチャートのステップＳＣ７では、必要数の把持候補位置を登録できたか否かを判定する。ハンドＨＮＤで把持することが可能な部位が多数あれば、登録すべき把持候補位置の数が多くなるが、これは使用者が判断する事項であるため、ステップＳＣ７の判定は使用者が判定することになる。ステップＳＣ７でＮＯと判定して必要数の把持候補位置を登録できておらず、登録すべき把持候補位置が他にも残っている場合には、ステップＳＣ５を経てステップＳＣ６に進み、他の把持候補位置を設定し、登録する。一方、ステップＳＣ７でＹＥＳと判定して必要数の把持候補位置を登録できている場合には、ステップＳＣ８に進む。

ステップＳＣ８では、開始位置と載置位置とを登録する。載置位置は、ロボットハンドＨＮＤによりワークＷＫが載置される位置であり、例えば図１に示すステージＳＴＧ上に設定することができる。上記開始位置及び載置位置の設定は、座標等を数値で入力する方法によっても可能であるが、それ以外にも、例えばロボットハンドモデルを操作部４のマウス等で直接的に操作することによっても可能である。

ステップＳＣ８が完了すると、ステップＳＣ９に進む。ステップＳＣ９では、ワークＷＫを把持する把持実行位置から載置位置へ移動する間に経由する経由点を登録する。経由点は、１つ登録してもよいし、２つ以上登録することもできる。経由点は、経路上の複数箇所に登録することができ、この場合、経由点１、経由点２、…というように名称を付して記憶部３２０に記憶させておくことができる。この例では、経由点をユーザが登録する場合について説明するが、これに限らず、画像処理装置３００が経由点を自動で算出してユーザに提示するように構成することもでき、この場合はステップＳＣ９が省略されることになる。

ステップＳＣ９で登録する経由点は、ロボットハンドＨＮＤがワークＷＫを把持した後、当該ワークＷＫを載置位置に載置するまでの間に当該ロボットハンドＨＮＤまたはワークＷＫが経由する点である。経由点の設定は、座標等を数値で入力する方法によっても可能であるが、それ以外にも、例えばロボットハンドモデルを操作部４のマウス等で直接的に操作することによっても可能である。経由点が設定された場合、ロボットハンドＨＮＤがワークＷＫを把持して開始位置から載置位置へ搬送する途中で、ロボットハンドＨＮＤの一部またはワークＷＫの一部、または、ロボットハンドＨＮＤに対して固定的に定められた点が経由点を通過するように、ロボットハンドＨＮＤの動作が設定される。ロボットハンドＨＮＤに対して固定的に定められた点とは、例えばフランジ座標系の原点としてもよい。

また、ロボットハンドＨＮＤの待機位置を設定することができるとともに、待機位置にあるロボットハンドＨＮＤが容器ＢＸ内のワークＷＫを把持するまでの間に当該ロボットハンドＨＮＤが経由する往き経路上の経由点を設定することも可能である。ロボットハンドＨＮＤの待機位置及び往き経路上の経由点の設定は、座標等を数値で入力する方法によっても可能であるが、それ以外にも、例えばロボットハンドモデルを操作部４のマウス等で直接的に操作することによっても可能である。

尚、経由点はロボット座標（Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚ）で与えることもできるが、アーム部ＡＲＭの軸角度（ｊｏｉｎｔ ａｎｇｌｅ）で与えることもできる。アーム部ＡＲＭの軸角度で与えることにより、干渉判定されるロボットのアーム位置が一意に決定される。

プロセッサ３００Ａ内で把持位置等のロボット座標から、軸角度を求め、その軸角度をロボットコントローラ６側に伝えることができるようになっている。指定位置は、ユーザインタフェース上でロボット座標または軸角度のいずれかで指定できる。このロボット座標から軸角度を求める仕組みは「逆運動学」と呼ばれており、これは干渉判定と同様に経路生成を構成する部分である。以上の処理を経て、図１０に示すフローを終了する。以上の処理を経ることで、図８に示すフローチャートのステップＳＡ１が終了する。

（キャリブレーションの実行ステップ）
図８に示すフローチャートのステップＳＡ１の後、ステップＳＡ２に進み、図６に示すキャリブレーション実行部３０３がキャリブレーションを実行する。上述したように、例えばセンサ部２で検出したワークＷＫはカメラ座標基準での位置及び姿勢が算出されるが、実際にそれをロボットＲＢＴで把持するときはロボット座標基準での位置及び姿勢が必要になる。カメラ座標での位置姿勢をロボット座標での位置姿勢に変換する情報をキャリブレーションデータと呼ぶことができる。

一例として、キャリブレーションデータは２つの座標系間の変換行列として表現される。これを作成するためには、同じ位置姿勢に対するそれぞれの座標基準での位置姿勢の値の組み合わせ列が必要になる。それらを利用して、変換行列を変数として最適化問題を解くことで、２つの座標系間の変換行列を推定できる。

上記組み合わせ列の作成方法として、ロボットＲＢＴに検出対象の物体を保持させ、Ｘ－Ｙ－Ｚ方向に決まった移動量移動させ、各点でのロボット座標と検出した位置を記録する方法がある。座標変換行列はこの設定範囲内で計算するため、ここで設定される範囲はできるだけ大きくして、ロボットＲＢＴの運用時に検出対象が存在し得る範囲を全てカバーすることが望ましい。計算した範囲外で座標変換を行うと、ずれが大きくなる可能性があるからである。

しかし、設定範囲を大きくすると、その設定範囲がロボットＲＢＴの可動範囲外になったり、ロボットＲＢＴが障害物と干渉してしまったり、検出対象がロボットＲＢＴの陰になり、センサ部２で検出できなくなってしまうといった問題が発生することがある。また、そもそも、ロボットＲＢＴとセンサ部２との位置関係がおおまかにでも分かっていないと、キャリブレーションを行う範囲が適切であるか否か、ハンドＨＮＤが障害物と干渉するか否かといったことを判定できない。

また、ロボットＲＢＴの可動範囲外や、障害物との干渉については事前チェックも可能であるが、検出対象がロボットＲＢＴの陰になってしまう問題については、ロボットＲＢＴとセンサ部２との位置関係が分かっていないとチェックできない。

そこで、本実施形態に係るキャリブレーション実行部３０３は、第１段階として狭い範囲でキャリブレーションを実行し、これによりロボットＲＢＴとセンサ部２との位置関係を計算しておき、第２段階として、上記第１段階で取得された情報を用いて、上記第１段階で実行した範囲よりも広い範囲でキャリブレーションを実行した時に問題が発生しないかチェックする。一例として、狭い範囲でのキャリブレーションは、例えばユーザが設定した広い範囲でのキャリブレーションを任意の倍率で縮小して、その範囲でキャリブレーションを実行する例を挙げることができる。

最初のロボットＲＢＴとセンサ部２との位置関係の計算にはツール中心算出のデータを利用してもよい。ツール中心算出とは、センサ部２での検出点とロボットＲＢＴの現在地を指すツール中心点とのオフセットを求める計算のことである。ツール中心周りに回転させて各点で検出を行うことで、ツール中心点へのオフセットを計算できる。

以下、図１１に示すフローチャートに基づいて、本実施形態のキャリブレーションについて詳細に説明する。スタート後のステップＳＤ１では、中心ロボット位置を設定する。この中心ロボット位置は、キャリブレーション動作を開始する際の開始位置になるため、ステップＳＤ１を開始位置設定ステップと呼ぶこともできる。

ステップＳＤ１では、キャリブレーション実行部３０３が図１２に示すユーザインタフェース画面５０を生成して表示部３に表示させる。ユーザインタフェース画面５０には、ロボット座標を表示する座標表示領域５１と、ロボットモデルを表示するロボットモデル表示領域５２と、設定用ウインドウ５３とが設けられている。座標表示領域５１には、キャリブレーションを行う際の各点の座標が表示される。この例では、点０～点４まで表示しているが、表示の切り替えを行うことで、全ての点（後述する例では２７点）の座標を確認することができる。

ロボットモデル表示領域５２には、ピッキング動作をさせるロボットＲＢＴの三次元モデルを表示させることができる。このロボットモデルの元になるデータは、例えば外部からロボットＲＢＴの三次元データを読み込むことで取得できる。

設定用ウインドウ５３には、開始位置設定ボタン５３ａ、検出ツール設定ボタン５３ｂ、ツール中心算出ボタン５３ｃ及びキャリブレーション開始ボタン５３ｄが設けられている。さらに、設定用ウインドウ５３には、上記ボタン５３ａ～５３ｄのうち、操作されたボタンに対応した処理や動作を説明するためのメッセージや説明図を表示する情報表示領域５４も設けられている。

図１１に示すステップＳＤ１を実行する際には、ユーザが図１２に示す設定用ウインドウ５３の開始位置設定ボタン５３ａを操作する。キャリブレーション実行部３０３は、開始位置設定ボタン５３ａが操作されたことを検出すると、情報表示領域５４に、開始位置の設定に関する説明を表示するとともに、設定用ウインドウ５３に開始位置設定領域５５を表示する。

開始位置設定領域５５では、「ロボット座標系」と「各軸」のうち、ユーザが一方を選択可能になっている。「ロボット座標系」が選択されると、ロボット座標基準での現在のロボットＲＢＴ（フランジＦＬＧ）の座標（Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚ）を取得し、これを開始位置として登録する。一方、「各軸」が選択されると、ロボットアームＡＲＭの各関節部分の角度を取得し、これによって算出されるフランジＦＬＧの座標を開始位置として登録する。六軸ロボットＲＢＴであるため、Ｊ１～Ｊ６までの６変数が存在する。これら変数を変更することで、開始位置設定を行うことができる。

続いて、図１１に示すフローチャートのステップＳＤ２に進み、検出ツールの設定を行う。検出ツールとは、キャリブレーションを実行する際に使用する物であり、単にツールと呼んだり、ワークと呼んだりすることができる。検出ツールはロボットＲＢＴに把持させ、後述するように移動させる物であり、設定された検出ツールをパターンマッチングで検出してキャリブレーションデータを作成することができる。

図１３に示すように、キャリブレーション実行部３０３は、検出ツール設定ボタン５３ｂが操作されたことを検出すると、情報表示領域５４に、検出ツールの設定に関する説明を表示するとともに、設定用ウインドウ５３に検出ツール設定領域５６を表示する。検出ツール設定領域５６では、検出ツールを追加したり、編集することが可能になっている。

続いて、図１１に示すフローチャートのステップＳＤ３に進み、検出ツールの中心を算出するツール中心算出ステップを行う。図１４に示すように、キャリブレーション実行部３０３は、ツール中心算出ボタン５３ｃが操作されたことを検出すると、情報表示領域５４に、ツール中心算出の設定に関する説明を表示するとともに、設定用ウインドウ５３にツール中心算出領域５７を表示する。ツール中心算出とは、センサ部２による検出点と、ロボットＲＢＴの現在地を指すツール中心点とのオフセットを求める計算のことであり、検出ツールの中心は、パターンマッチングで検出した検出ツールと、ロボットＲＢＴのフランジＦＬＧとのオフセットを求めるために使用できる。例えば、検出ツールをその中心周りに回転させ、各点で検出を行うことで、ツール中心点へのオフセットを計算できる。尚、ツール中心算出の設定の際、検出ツールを上記狭い範囲で実際に動かして仮設定してもよい。

続くステップＳＤ４では、移動間隔の設定を行う。移動間隔とは、キャリブレーションの際に移動させる検出ツールの間隔である。まず、図１５に示すように、キャリブレーション実行部３０３は、キャリブレーション開始ボタン５３ｄが操作されたことを検出すると、情報表示領域５４に、移動間隔の入力に関する説明を表示するとともに、設定用ウインドウ５３にキャリブレーション実行用領域５８を表示する。

キャリブレーション実行用領域５８には、移動間隔をＸ方向、Ｙ方向、Ｚ方向で個別表示する移動間隔表示領域５８ａと、設定ボタン５８ｂと、動作チェックボタン５８ｃとが設けられている。キャリブレーション実行部３０３は、設定ボタン５８ｂが操作されたことを検出すると、図１６に示す移動間隔設定用ウインドウ５９を表示部３に表示させる。

移動間隔設定用ウインドウ５９には、Ｘ方向、Ｙ方向、Ｚ方向の各移動間隔を個別に設定可能な設定領域５９ａが設けられている。各移動間隔は、ユーザが例えば数値（単位：ｍｍ）で入力し、設定できる。移動間隔設定用ウインドウ５９には、検出ツールを移動させる位置を示す複数の点と、隣合う２点間の寸法（移動間隔）とを図で表示する図表示領域５９ｂも設けられている。

初期点（図１６において１として示されている点）は、センサ部２の中心に設定しておく。初期点と、ユーザによって入力された移動間隔とに基づいて、計測すべき２７点（９×３）が決定され、それが図１６の図表示領域５９ｂに表示される。設定された移動間隔は、図１５に示す移動間隔表示領域５８ａに表示される。

その後、図１１に示すフローチャートのステップＳＤ５に進み、動作チェックを行う。動作チェックは、ステップＳＤ３のツール中心算出で決定されたセンサ部２とロボットＲＢＴとのおおよその位置関係に基づいて、ステップＳＤ４で設定された移動間隔で正しくキャリブレーションができるか否かを確認する。

この確認の前に、動作制限領域の設定を行う。キャリブレーション実行部３０３は、図１５に示す動作チェックボタン５８ｃが操作されたことを検出すると、図１７に示すロボット動作チェック用ウインドウ６０を表示部３に表示する。動作制限とは、例えばロボットＲＢＴの周りに柵が存在している場合に、ロボットＲＢＴがその柵に接触しないように、ロボットＲＢＴの動作範囲を柵内の領域に制限することである。ロボット動作チェック用ウインドウ６０内では、動作制限領域をＸ方向、Ｙ方向、Ｚ方向で個別に設定可能である。動作制限領域はユーザが設定することで、キャリブレーション実行部３０３によって受け付けられる。

動作制限領域の設定が完了すると、図１７に示すロボット動作チェック用ウインドウ６０に設けられているロボット動作チェックボタン６０ａをユーザが操作する。キャリブレーション実行部３０３は、ロボット動作チェックボタン６０ａが操作されたことを検出すると、ステップＳＤ３のツール中心算出で決定されたセンサ部２とロボットＲＢＴとのおおよその位置関係を元に、動作制限領域を考慮して、その範囲内でロボットＲＢＴが他の物体に干渉しないか、検出ツールが影に入らないか、検出ツールがセンサ部２の撮像視野に入っているか等の各チェック項目を確認する。動作制限領域の設定がない場合には、設定された移動間隔から決定された２７点について上記チェック項目を確認する。

動作チェックが終わると、図１１に示すステップＳＤ６に進み、動作に問題がないか否かを判定する。上記チェック項目の全てに問題が無ければ、ステップＳＤ６でＹＥＳと判定されてステップＳＤ７に進む。ステップＳＤ７では、図１８に示すように確認結果表示ウインドウ６１を表示させ、当該ウインドウ６１内で問題がなかったことをユーザに報知する。また、ロボットモデル表示領域５２には、ロボットモデルとともに、点が表示される。ロボットモデル表示領域５２には、センサ部２で撮像された三次元点群の情報、例えばワークＷＫや容器ＢＸ等も表示することができる。

一方、上記チェック項目のうち、１つでも問題がある場合には、ステップＳＤ６でＮＯと判定されてステップＳＤ８に進む。ステップＳＤ８では、図１９に示すように確認結果表示ウインドウ６１を表示させ、当該ウインドウ６１内で問題があったことを具体的に特定してユーザに報知する。この場合も、センサ部２で撮像された三次元点群の情報をロボットモデル表示領域５２に表示させることができる。また、問題がある点を、問題がない点とは異なる形態でロボットモデル表示領域５２に表示させることができる。この場合、問題がある点を強調して表示させる等の表示形態を採用できる。

また、ステップＳＤ９では、問題がある点を回避するように、キャリブレーション実行部３０３が点の位置座標を自動で計算する。この計算結果は、ユーザが図１９に示すウインドウ６１内の「推奨設定を確認する」というボタン６１ａを操作することでロボットモデル表示領域５２に表示され、確認可能である。

続いて、図１１に示すフローチャートのステップＳＤ１０に進む。すなわち、ユーザが図１５に示す実行ボタン５８ｄを操作するとステップＳＤ１０のキャリブレーションが実行され、このキャリブレーションでは、複数の点の位置座標について、ハンドＨＮＤの実際の位置座標と、画像処理装置３００に表示されている画像上の位置座標との間の変換式を算出する。座標変換の方法は、特に限定されるものではなく、例えばアフィン変換で変換することができる。

（式１）に示すように、ハンドＨＮＤの実際の位置座標（ｘ’，ｙ’）と、画像処理装置３００に表示されている画像上の位置座標（ｘ、ｙ）とに基づいて、６つの自由度を有する変換式の係数ａ、ｂ、ｃ、ｄ、ｅ、ｆを求める。対応する位置座標が６つを超える場合には、最小二乗法を用いれば良い。

キャリブレーション実行部３０３は、図１５に示す実行ボタン５８ｄが操作されたことを検出すると、検出ワークが各点を通過するように、ロボットＲＢＴに対して移動指示及び移動先の位置座標を含む移動命令をロボットコントローラ６へ送信する。ロボットコントローラ６は、移動命令に含まれる位置座標へとハンドＨＮＤを移動させる。

キャリブレーション実行部３０３は、移動命令に応じて移動したハンドＨＮＤの各位置座標である座標値（ｘ’，ｙ’）を、ロボットコントローラ６から取得する。移動したハンドＨＮＤの位置座標と、撮像された検出ツールの画像上での位置座標との位置ずれを調整することができる。

なお、キャリブレーション実行部３０３において取得する座標値（ｘ’，ｙ’）は、画像処理装置３００からの移動命令に応じてハンドＨＮＤが移動した各位置において、ロボットコントローラ６から取得した座標値としているが、画像処理装置３００において事前に設定されたハンドＨＮＤの移動目標座標をそのまま上記座標値としても良い。

キャリブレーション実行部３０３は、ハンドＨＮＤが移動した各移動先にて検出ツールを撮像するようセンサ部２の動作を制御する。これにより、ロボットコントローラ６から取得した移動先のハンドＨＮＤの位置座標に対応する領域を撮像するよう制御することで、撮像された画像に基づいて検出ツールの実際の位置座標である座標値（ｘ、ｙ）を検出することができる。

キャリブレーション実行部３０３は、各移動先にて撮像された検出ツールの画像に基づいて検出ツールの位置座標である座標値（ｘ、ｙ）を検出し、取得した複数の座標値（ｘ’，ｙ’）と、検出した複数の座標値（ｘ、ｙ）とに基づいて、両座標間の変換規則を算出する。具体的には上記（式１）に座標値を代入して、係数ａ、ｂ、ｃ、ｄ、ｅ、ｆを求める。

検出ツールの移動順は、特に限定されるものではないが、例えば図１６の図表示領域５９ｂに表示されているような順とすることができる。すなわち、高さが等しい平面内で複数の点を通るように検出ツールを移動させた後、高さが異なる平面内で同様に複数の点を通るように検出ツールを移動させることができる。

以上のようにして、図８に示すフローチャートのステップＳＡ２のキャリブレーション実行ステップが完了する。キャリブレーションデータは記憶部３２０等に記憶させておくことができる。

（ハンドの撮像ステップ）
図８に示すフローチャートのステップＳＡ３では、ロボットＲＢＴのフランジＦＬＧに取り付けられたハンドＨＮＤをセンサ部２により撮像する。例えば図４に示すように、フランジＦＬＧにハンドＨＮＤが取り付けられている状態で、フランジＦＬＧ及びハンドＨＮＤがセンサ部２の撮像視野に入るようにロボットＲＢＴを制御する。具体的には、画像処理装置３００は、図２０に示すように、ユーザインタフェース画面７０にハンド撮像ウインドウ７１を表示させる。ハンド撮像ウインドウ７１には、ハンドＨＮＤがセンサ部２の撮像視野に入るようにロボットＲＢＴを動かすことについての説明が表示されている。その後、センサ部２に撮像を実行させると、フランジＦＬＧ及びハンドＨＮＤが含まれる画像が取得される。取得された画像は、記憶部３２０に一旦記憶させておくことができるとともに、ユーザインタフェース画面７０に設けられている画像表示領域７２に表示させることができる。

（撮像時のロボットの座標取得ステップ）
図８に示すフローチャートのステップＳＡ４では、図６に示す取得部３０４が、センサ部２によりハンドＨＮＤが撮像された際のロボットＲＢＴの座標を取得する。センサ部２によりハンドＨＮＤが撮像された時点のみ、ロボットＲＢＴの座標を取得してもよいし、センサ部２によりハンドＨＮＤを撮像していない間も継続してロボットＲＢＴの現在位置を取得し続けておき、その位置情報の中から、センサ部２によりハンドＨＮＤが撮像された時点のロボットＲＢＴの座標を取得してもよい。取得したロボットＲＢＴの座標は記憶部３２０に記憶させておくことができる。

（ハンドモデルの読み込みステップ）
図８に示すフローチャートのステップＳＡ５では、まず、図１０に示すフローチャートのステップＳＣ１で登録されたハンドモデルを読み込む。読み込まれたハンドモデルは、ハンドＨＮＤのサーチモデルとして登録される。このステップは、ハンドモデルの登録要求がある場合のみ実行すればよく、例えば前回登録したデータをそのまま使うなどの場合は省略できる。

（ハンドの位置及び姿勢決定ステップ）
図８に示すフローチャートのステップＳＡ６では、図６に示す決定部３０５がロボットのフランジＦＬＧに取り付けられたハンドＨＮＤの位置及び姿勢を決定する。まず、決定部３０５が、登録部３０２で登録されたハンドモデルを読み込むとともに、センサ部２により撮像されたハンドＨＮＤを含む画像とを読み込む。決定部３０５は、ハンドモデルと、ハンドＨＮＤを含む画像とを読み込んだ後、ハンドモデルと、ハンドＨＮＤを含む画像とをパターンマッチングする。パターンマッチングの手法は、例えば三次元マッチング、三次元サーチ等とも呼ばれている手法である。

パターンマッチングを行うことにより、フランジＦＬＧに実際に取り付けられている実物のハンドＨＮＤを含む画像中に、ハンドモデルが存在するか否かを判定でき、画像中に実物のハンドＨＮＤが含まれていれば、そのハンドＨＮＤを検出して当該ハンドＨＮＤの位置及び姿勢を決定できる。

（ハンドの取付位置算出ステップ）
図８に示すフローチャートのステップＳＡ７では、図６に示す算出部３０６が、取得部３０４により取得された撮像時におけるロボットＲＢＴの座標と、決定部３０５により決定されたハンドＨＮＤの位置及び姿勢に基づいて、フランジＦＬＧに対するハンドＨＮＤの取付位置を算出する。このとき、ハンドＨＮＤの位置及び姿勢を決定する変数として、カメラ座標系における６変数（Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚ）を算出することができる。

具体的には、まず、カメラ座標系におけるハンドＨＮＤの位置姿勢に関する６変数を、ステップＳＡ２で取得したロボット－カメラのキャリブレーションデータを用いてロボット座標系のハンドＨＮＤの位置及び姿勢に関する６変数に変換する。これにより、撮像時におけるロボットＲＢＴの座標が分かる。

撮像時におけるロボットＲＢＴの座標が分かれば、ロボットＲＢＴのフランジＦＬＧが撮像時にどこに存在していたかが分かる。すなわち、フランジＦＬＧの座標をロボットＲＢＴの座標として取得することができる。ロボットＲＢＴの座標から予想されるフランジＦＬＧの原点の位置及び姿勢と、ロボット座標系のハンドＨＮＤの位置及び姿勢との差分を求める。この差分がフランジ座標基準のハンドＨＮＤの位置及び姿勢を示す情報となる。この差分を、フランジＦＬＧに実際に取り付けられているハンドＨＮＤの取付誤差として設定することができる。ハンドＨＮＤの取付誤差は設計値に対する誤差となる。つまり、ハンドＨＮＤがフランジＦＬＧに対して設計値からずれて取り付けられていた場合に、そのずれを例えば具体的な数値等で取得することが可能になる。算出部３０６は、上記キャリブレーションデータを使用することで、センサ部２により撮像したハンドＨＮＤの位置及び姿勢をフランジ座標系に変換することができる。フランジ座標系での原点位置からフランジＦＬＧに取り付けられたハンドＨＮＤの取付位置の誤差を算出できる。

また、決定部３０５により決定されたハンドＨＮＤの位置及び姿勢からハンドＨＮＤの原点位置を算出することができる。ハンドＨＮＤの原点位置は、例えばハンドＨＮＤの三次元ＣＡＤデータの原点位置とすることができる。また、ハンドＨＮＤが取り付けられるべき位置は設計値によって規定されており、この位置情報は予め取得可能である。算出したハンドＨＮＤの原点位置と、予め規定されているハンドＨＮＤが取り付けられるべき位置を示すロボットの座標との差分を求め、求めた差分に従い、フランジＦＬＧに取り付けられたハンドＨＮＤの取付位置を算出できる。

（誤差の表示）
算出部３０６は、ハンドＨＮＤの位置及び姿勢変数ごとに上記誤差を算出する。変数は、上述したように６つ（Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚ）あるので、キャリブレーション実行部３０３は、Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚのそれぞれの誤差を取得することができる。

キャリブレーション実行部３０３は６つ誤差を取得すると、図２１に示すような誤差表示ウインドウ７５をユーザインタフェース画面７０に表示させる。誤差表示ウインドウ７５には、Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚのそれぞれの誤差を表示する誤差表示領域７５ａが設けられている。Ｘ，Ｙ，Ｚの単位はｍｍであり、Ｒｘ，Ｒｙ，Ｒｚの単位は度（゜）である。６変数を例えば縦や横に並べて表示することができる。つまり、画像処理装置３００は、算出部３０６が算出した誤差を変数ごとに表示する表示部３を備えているので、ユーザは変数ごとに誤差を把握できる。

（別の実施例）
上述した実施例では、ハンドＨＮＤの形状を登録部３０２で登録しているが、ハンドＨＮＤのロボットＲＢＴに対する位置は登録しなくてもよく、ハンドＨＮＤの位置をセンサ部２が撮像した画像から測定している。この実施例以外の別の実施例も本発明に含まれる。

すなわち、別の実施例は、ハンドＨＮＤの形状を登録するとともに、ハンドＨＮＤのロボットＲＢＴに対する位置も登録する例である。ハンドＨＮＤがロボットＲＢＴに設計値通りに取り付けられていれば、どのような位置及び姿勢でハンドＨＮＤが検出されるべきかが、画像処理装置３００側で事前に把握できる。その位置及び姿勢と実際に検出された位置及び姿勢の差分を反映させればよい。

別の実施例に係る手順を図２２のフローチャートに示す。ステップＳＥ１では、図８のフローチャートのステップＳＡ１と同様に設定ステップを行う。このとき、ハンドＨＮＤのロボットＲＢＴに対する位置も登録部３０２で登録する。その後、ステップＳＥ２は、図８のフローチャートのステップＳＡ２と同じである。

ステップＳＥ３は、ハンドモデルを読み込み、ハンドモデルのロボットＲＢＴへの取付位置を仮設定する。続くステップＳＥ４、ＳＥ５、ＳＥ６、ＳＥ７は、図８のフローチャートのステップＳＡ３、ＳＡ４、ＳＡ５、ＳＡ６と同じである。

ステップＳＥ８では、ステップＳＥ５で取得した撮像時のロボットの座標と、ステップＳＥ７で決定されたハンドＨＮＤの位置及び姿勢とに基づいて、ハンドＨＮＤとロボットＲＢＴへの取付位置を算出する。その後、ステップＳＥ９では、現在登録されている取付位置に対する誤差を設定に反映する。

（干渉判定）
図２３は、干渉判定の手順の一例を示すフローチャートである。干渉判定は、図８のフローチャートに示す処理、図２２のフローチャートに示す処理が終了した後に行われる。

図２３のフローチャートのステップＳＦ１では、センサ部２が、上述したようにワークＷＫの存在する作業空間の三次元計測を行う。三次元計測により、容器ＢＸ及びワークＷＫを含む領域の各部の高さを表す高さ画像データを生成する。高さ画像データから高さ画像を得ることができる。高さ画像は、高さ情報を有する画像であって、距離画像、三次元画像等とも呼ばれる。

その後、ステップＳＦ２では、ステップＳＦ１で取得した三次元計測結果である高さ画像と、ワークモデル入力部３０１により入力されたワークモデルとに基づいて、作業空間内のワークＷＫをサーチする。これは、図６に示すサーチ部３０７が実行する。

具体的には、まず、サーチ部３０７が記憶部３２０に記憶されているワークモデルを読み込む。サーチ部３０７は、読み込んだワークモデルを用いて、各ワークモデルの姿勢と位置を特定する三次元サーチを高さ画像に対して行う。すなわち、ワークモデルの各特徴点が、最も一致する状態の位置及び姿勢（Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚ）を、高さ画像の中から探索する。Ｒｘ，Ｒｙ，Ｒｚは、それぞれＸ軸に対する回転角、Ｙ軸に対する回転角、Ｚ軸に対する回転角を表しており、このような回転角度の表現方法は種々提案されているところ、ここではＺ－Ｙ－Ｘ系オイラー角を用いることができる。また一致する位置及び姿勢は、各サーチモデルに対して、１つである必要はなく、一定以上一致する位置及び姿勢を複数検出してもよい。

サーチ部３０７が高さ画像中にワークＷＫが存在するか否かをサーチした結果、高さ画像中にワークＷＫを検出できない場合には、図２３に示すステップＳＦ３においてＮＯと判定されて終了する。

一方、ステップＳＦ２の三次元サーチの結果、高さ画像の中にワークＷＫを検出できた場合には、ステップＳＦ４に進み、干渉判定及び把持解を算出する。このステップＳＦ４では、まず、サーチ部３０７がワークＷＫの把持位置をサーチする。把持位置を１つも検出できない場合は、把持解を算出できないということであるため、次のステップＳＦ５でＮＯと判定されて終了するか、別のワークＷＫに対して把持解の算出を試みる。

ステップＳＦ４で把持位置を検出できた場合は、ロボットＲＢＴによりピッキング動作する際にハンドＨＮＤが周囲の物体と干渉するか否かを、図６に示す干渉判定部３０８が判定する。つまり、ロボットＲＢＴにピッキング動作を実行させる前に、ハンドＨＮＤが周囲の物体と干渉するか否かの判定を実行することで、周囲の物体との干渉を回避するハンドＨＮＤの姿勢を決定することができる。周囲の物体は、例えば容器ＢＸ、把持対象以外のワークＷＫ、その他、ピッキング動作時に障害となる部材等である。

ステップＳＦ４の干渉判定ステップでは、高さ画像の各１点１点のｐｉｘｅｌデータが示す三次元点群と、ハンドモデルとが干渉するか否かを判定する。干渉判定の前に、三次元サーチで検出された一のワークＷＫに対して、このワークＷＫの位置と、登録してあるワークモデルの把持姿勢とに基づいて、ハンドＨＮＤを配置すべき位置と姿勢を計算する。計算された位置において、ハンドＨＮＤが周囲の物体と干渉しないかどうかを、ハンドモデルを利用して判定する。

この干渉判定では、ハンドモデルの断面モデルを利用して三次元点群が断面モデルと干渉しているか否かを判定することができる。例えば、断面モデルから全ての三次元点が離れている場合には、三次元点群、すなわち高さ画像とハンドモデルとが干渉していないと判定し、一方、断面モデルの内側に三次元点が１つでも入っている、または断面モデルの縁部に三次元点が１つでも接している場合には、三次元点群、すなわち高さ画像とハンドモデルとが干渉していると判定する。干渉していない場合は、このワークＷＫに対して把持解を算出することができたということであり、ステップＳＦ５においてＹＥＳと判定されて終了する。一方、三次元点群とハンドモデルとが干渉している場合は、このワークＷＫに対して把持解を算出することができないということであり、ステップＳＦ５においてＮＯと判定されて終了するか、同じワークＷＫの別の把持位置や、別のワークＷＫに対して把持解の算出を試みる。

また、同じ把持位置であっても、ハンドＨＮＤの位置及び姿勢の少なくとも一方を変えることで、周囲の物体との干渉を回避できる場合があるので、干渉すると判定された場合には、干渉判定部３０８が、ハンドモデルの位置及び姿勢の少なくとも一方を変えて同じ把持位置を把持したときの干渉判定を実行させることができる。これにより、干渉判定部３０８は、干渉を回避するハンドＨＮＤの位置及び姿勢を決定できる。

以上の手順では、いずれかのワークＷＫで把持解が得られると、その時点で把持候補位置を検討する処理を終了して、得られた把持解に該当する把持候補位置でワークＷＫを把持するように処理している。ただ、この方法に限らず、例えば把持可能なすべての把持候補位置を１つのワークＷＫについて求めた上で、いずれの把持候補位置を選択するかをユーザが決定するように構成してもよい。また、ワークＷＫの置かれた高さ情報に注目し、ワークＷＫが置かれた高さが高いもの、いいかえると、ばら積みされたワークＷＫ群の内で、より上方に位置するものを把持候補位置として選択することもできる。

（経路生成、制御信号出力、ロボット動作の流れ）
図２３のフローチャートに示す干渉判定が終了してハンドＨＮＤが周囲の物体と干渉しないと判定された場合には、図２４のフローチャートのステップＳＧ１に進む。ステップＳＧ１では、図６に示す経路生成部３０９がハンドＨＮＤの経路生成を行う。

具体的には、経路生成部３０９は、干渉判定部３０８による判定結果に基づいて、ハンドＨＮＤが周囲の物体との干渉を回避可能な複数の経由点を決定し、当該経由点を結ぶように経路を生成し、その経路は、ロボットハンドＨＮＤの現在位置からアプローチ位置を介して把持位置に至り、把持位置から載置位置に至る経路である。このステップＳＧ１で生成する経路には、経由点を経由しない経路を含むことができる。また、経路生成部３０９が生成する経路は、各経由点間を最短で結び、さらには、ロボットハンドＨＮＤの現在位置から載置位置に至る経路として最短のものを生成してもよい。

ステップＳＧ２では、出力部３１０が、把持実行位置、載置位置、経由点等の座標をロボットコントローラ６へ出力する。ロボットコントローラ６は、出力部３１０から出力された把持実行位置、載置位置、経由点等の座標を受け取って制御信号を生成し、生成した制御信号をロボットＲＢＴに出力する。その後、ステップＳＧ３では、ロボットＲＢＴが制御信号に従って動作してワークＷＫを所定の経路で搬送する。

出力部３１０がロボットコントローラ６へ出力する点は、固定経由点（ユーザが設定する固定的な点、及び、経路生成部２３が自動算出するアプローチ位置、把持実行位置、退避位置）と、経路生成の途中経由点（経路生成部３０９が自動算出する点）とがある。ロボットコントローラ６に出力する経由点についてもアーム部ＡＲＭの各軸値での出力と、Ｘ、Ｙ、Ｚ、Ｒｘ、Ｒｙ、Ｒｚでの出力との両方が可能である。

仮に、経路生成部３０９がアプローチ位置や把持位置等を出力するのみだと、ロボットコントローラ６側で容器ＢＸなどの障害物を避けるようプログラムを組む必要があり、これはプログラムの複雑化を招き、ユーザによるプログラムのカスタマイズを難しくしてしまう。これに対し、本例のように、経路生成部３０９にロボットハンドＨＮＤの動作全体を計画させ、いくつかの途中経由点をロボットコントローラ６へ出力できるようにすることでロボットコントローラ６側のプログラム記述を簡単にすることができるメリットがある。

ところが、ロボットＲＢＴの動作経路を実際に生成してみないとロボットハンドＨＮＤが経由すべき経由点の数が定まらないため、ロボットコントローラ６がロボットハンドＨＮＤの把持動作や載置動作を行うべき経由点を特定できない。

また、ユーザが固定経由点を増減した場合には、ロボットコントローラ６側で新たにプログラムを組み直さない限り、画像処理装置３００が出力する経由点数と、ロボットコントローラ６側のプログラムが期待する経由点数とに相違が生じることになる。従って、ユーザが固定経由点を増減する度にプログラムを組み直す手間が生じる。

さらに、固定経由点は、「把持動作をすべき点」、「載置動作をすべき点」など、それぞれ固有の属性を有している。例えば、画像処理装置３００側で経由点を変更した場合、ロボットコントローラ６側がそれに追従していないと、期待していないところで把持動作が行われたりするなどの問題が生じるおそれがあり、このこともプログラムの作成を難しいものにしていた。

このような問題に対し、本例では、経路生成部３０９が、センサ部２による測定結果と、把持情報とに基づいて、作業空間に配置されたワークＷＫのロボットハンドＨＮＤによる把持位置を決定するだけでなく、決定した把持位置を把持するためのロボットハンドＨＮＤのアプローチ位置、把持位置及び把持後の退避位置のうち、任意の１つの属性を有する固定経由点の座標も決定するように構成されている。そして、出力部３１０は、経路生成部３０９が決定した固定経由点の座標、及び固定経由点の属性を示す属性情報を含む情報をロボットＲＢＴに接続されたロボットコントローラ６に出力する。

また、出力部３１０は、特定箇所でのトリガの実行可否のフラグ、設定経路区間数、プログラムのループ挙動制御フラグ（点Ａから始まる経路を２サイクル目からは別の点Ｂから始めるといった制御）、設定区間の属性（例えば把持区間）、各区間のロボット動作速度、設定した通常経路とは違う経路が選択されているかどうか、最適トリガ位置を示すパラメータ、各区間の経由点が何点あるか、といった各種情報をロボットコントローラ６に出力することもできる。

尚、画像処理装置３００にはロボットＲＢＴの機種が入力可能である。ロボットＲＢＴの機種が入力されると、入力されたロボットＲＢＴを制御するロボットコントローラ６との接続が可能になるとともに、入力されたロボットＲＢＴの各種データ（アーム部ＡＲＭの可動範囲等）も自動的に読み込むことができる。また、通信形式をロボットＲＢＴのメーカーに応じた形式に自動的に変更することができる。すなわち、例えばロボットＲＢＴの主要なメーカーが製造する主要なロボットＲＢＴの情報、通信形式を予め記憶部３２０等に記憶させておき、ユーザの入力操作によってそれら情報を読み出して利用することができるようになっているので、設定時にロボットＲＢＴの情報等を個別に入力せずに済む。

（経路生成時におけるユーザ設定部分の詳細）
図２５は、経路設定用ユーザインタフェース８０の一例を示す図である。経路設定用ユーザインタフェース８０は、複数の経由点の個別の編集が可能な編集画面であり、図６に示す編集生成部３１２により生成されて、表示部３に表示される。経路設定用ユーザインタフェース８０には、選択されたロボットＲＢＴを示す三次元画像が表示されるロボット表示領域８０ａと、各種設定操作の選択を行う選択領域８０ｂと、ロボットハンドＨＮＤの移動順を示す順序表示領域８０ｃとが設けられている。順序表示領域８０ｃには、箱（容器）上空位置、アプローチ位置、把持実行位置、退避位置、プレース位置、撮像待機位置等の固定経由点の他、経路生成部３０９が自動算出した途中経由点がその名称とともに表示される。名称は、例えば「アプローチ位置」、「退避位置」、「把持位置」、「指定位置」等のように、ユーザにとって意味の分かり易い名称とすることができる。順序表示領域８０ｃに表示されている経由点は、ロボット表示領域８０ａにおいてロボットＲＢＴとの相対的な位置関係を把握可能な状態で表示される。

順序表示領域８０ｃは、固定経由点が複数決定された場合に複数の固定経由点を表示するとともに、それら固定経由点の経由順序を示すことが可能に構成されている。すなわち、順序表示領域８０ｃには、ロボットハンドＨＮＤが動作を開始する位置である「撮像待機位置」が最も上に位置付けられており、その下に経由順に並ぶように、複数の経由点が羅列された状態で表示されるようになっている。固定経由点及び途中経由点（以下、これらをまとめて経由点ともいう）の表示の形態は図示する形態に限られるものではなく、例えば左右方向に順に並ぶ形態であってもよい。また、固定経由点間を補完する曲線または直線は、途中経由点の集合であることから、途中経由点と同義である。

順序表示領域８０ｃには、経由点を追加する際に操作する追加ボタン８０ｄ及び挿入ボタン８０ｅが設けられている。また、経由点を編集する際に操作する編集ボタン８０ｆと、動作速度を設定する際に操作する動作速度設定ボタン８０ｇも順序表示領域８０ｃに設けられている。ユーザが追加ボタン８０ｄまたは挿入ボタン８０ｅを操作すると、経由点を追加または所望の位置に挿入することができる。経由点を追加すると、図２６に示すように、経路生成部３０９が、経由点の属性情報を入力するための属性情報入力ウインドウ８１を生成し、順序表示領域８０ｃに重畳表示させる。この属性情報入力ウインドウ８１により、複数の固定経由点の個別の編集が可能になっている。尚、不要な固定経由点を削除することもできる。

属性情報は、ロボットハンドＨＮＤのアプローチ位置、把持実行位置、把持後の退避位置、プレース位置、相対位置等である。属性情報入力ウインドウ８１には、それら属性情報のうちから任意の１つを選択可能な形態で表示されている。つまり、１つの固定経由点には１つの属性情報を関連付けることができるようになっている。経由点の属性情報を入力するための入力部は、属性情報入力ウインドウ８１に対して入力操作を行うことが可能な操作部４で構成することができる。

属性情報入力ウインドウ８１のＯＫボタン８１ａが押されると、選択内容が反映され、固定経由点と属性情報とが関連付けられた状態で記憶部３２０に記憶される一方、キャンセルボタン８１ｂが押されると、選択内容は破棄される。ＯＫボタン８１ａまたはキャンセルボタン８１ｂが押されると、属性情報入力ウインドウ８１が閉じられる。

図２５に示す編集ボタン８０ｆが押されると、経路生成部３０９が、図２７に示す位置設定用ウインドウ８２を生成し、経路設定用ユーザインタフェース８０に重畳表示させる。位置設定用ウインドウ８２には、編集対象の固定経由点の名称を表示する名称表示領域８２ａと、固定経由点の位置や固定経由点におけるロボットハンドＨＮＤの姿勢を指定する位置姿勢指定領域８２ｂとが設けられている。名称表示領域８２ａに表示した名称を変更することができる。また、位置姿勢指定領域８２ｂでは、位置や姿勢を直交座標で指定するか、各軸角度で指定するかを選択できるとともに、撮像待機位置も指定することができるようになっている。撮像待機位置とは、センサ部２でワークＷＫを撮像する際にセンサ部２の視野範囲に入らない所までロボットハンドＨＮＤを退避させることが可能な位置である。

位置設定用ウインドウ８２の次へボタン８２ｃが操作されると、経路生成部３０９が、図２８に示す動作／干渉判定設定用ウインドウ８３を生成し、経路設定用ユーザインタフェース８０に重畳表示させる。動作／干渉判定設定用ウインドウ８３には、動作設定領域８３ａと、干渉判定設定領域８３ｂとが設けられている。動作設定領域８３ａでは、経由点を経由する経路を生成するか、しないかを選択することができる。

経路生成しない場合は、各軸補間動作で移動させるか、直線補間動作で移動させるかを選択することができる。各軸補間動作は軸角度空間では直線移動であるが、実三次元空間では曲線を描いた起動のことである。直線補間動作はその逆である。この実施形態では各軸の角度ですべての座標を内部管理しているため、直線補間移動は厳密には小さい区間の各軸補間動作の組で実現される。この場合は十分直線とみなせるだけの複数の経路点を生成する（生成した経路点間は各軸補間移動）。これは設定時に決定されるものの、経路生成ありの場合と同様にユーザが明示的に設定しない経由点ができることになる。なお、経路生成しない場合も干渉判定は実施されるが、干渉をさけるような経路が生成できないため、この経路で干渉していると全体として経路生成が不可となる。例えば、経路を生成する場合には、経路生成部３０９が経由点を経由する経路を自動生成してロボット表示領域８０ａに表示させることができる。経路を自動生成すると、途中経由点が自動生成される。

干渉判定設定領域８３ｂでは、干渉判定に用いるマージン情報を数値（ｍｍ）で入力することができるようになっている。ロボットハンドＨＮＤと障害物との距離が入力された数値未満になると、干渉すると判定する。

図２９は、経路生成部３０９、ロボットコントローラ６及びロボットＲＢＴの処理シーケンス図である。処理シーケンス図中、Ｓ１００では、ロボットコントローラ６が経路生成部３０９に対して経路生成結果を要求する。この要求を受けた経路生成部３０９は経路生成を行うとともに、固定経由点の数、固定経由点間の経由点数、固定経由点の属性、経由点の座標、特殊退避の有無等の情報を、出力部３１０によりロボットコントローラ６へ出力させる。

ここで、固定経由点数は動的に変えることができる。例えば、図２５に示す経路設定用ユーザインタフェース８０上で固定経由点が増加すれば、ロボットコントローラ６に送信される固定経由点数が増加し、経路設定用ユーザインタフェース８０上で固定経由点が減少すれば、ロボットコントローラ６に送信される固定経由点数も減少する。この実施形態では、固定経由点毎の属性情報を出力するようにしているが、これの代替例として、各属性情報に対応する固定経由点のインデックスを出力することもできる。

図２９におけるＳ１０１は、固定経由点分、繰り返される処理である。この処理では、まず、Ｓ１０２においてロボットコントローラ６が所望の固定経由点を特定する。その後、Ｓ１０３においてロボットＲＢＴに対して経由点への移動命令を出す。Ｓ１０４では、現在の固定経由点に関連付けられた属性情報に基づいて属性を判断する。Ｓ１０５では、Ｓ１０４で判断した属性に応じたアクション実行ファイルを呼び出す。アクション実行ファイルとは、例えば把持、プレース等である。その後、Ｓ１０６ではロボットＲＢＴに対してアクション発行する。その後、Ｓ１０２において別の固定経由点を特定する。Ｓ１０２～Ｓ１０６が固定経由点分、繰り返されることになり、これによりワークＷＫを搬送することができる。

（ロボットコントローラ擬似プログラム）
次に、ロボットコントローラ擬似プログラムについて説明する。ロボットコントローラ擬似プログラムは、固定経由点の属性情報を画像処理装置３００において当該固定経由点と関連付けて登録するとともに出力し、ロボットコントローラ６側で属性情報を処理する方法（第１の方法）と、画像処理装置３００側で固定経由点の属性情報を処理してロボットＲＢＴへの命令に変換し、ロボットコントローラ６側では受け取った命令を逐次実行する方法（第２の方法）とがある。以下、第１の方法と第２の方法の具体例を説明する。

（第１の方法の具体例）
まず、固定経由点の属性情報をユーザインタフェース上で固定経由点と関連付けて登録できる場合についてのメインプログラムの一例を図３０Ａに示す。本例では、センサ部２に対して測定を実行させ、測定結果が存在しなければプログラムを終了する一方、測定結果が存在すれば、その後の処理が実行される。例えば、経路生成結果を受け取り、固定経由点、途中経由点までロボットハンドＨＮＤを移動させ、現在の固定経由点の属性を判断し、その属性に応じたアクションを発行する。ここで図３０Ｂに示すように、別プログラムとしてのアクションプログラムを呼び出して実行する。

別プログラムの例としては、ロボットハンドＨＮＤにワークＷＫを把持させるプログラムや、ワークＷＫを載置するプログラム、また、センサ部２に作業空間を撮像させるプログラムなどが挙げられる。例えば、ユーザは予め、ワークＷＫを把持させるプログラムや、ワークＷＫを載置するプログラム、センサ部２に作業空間を撮像させるトリガ発行プログラムなどを作成しておき、ロボットコントローラ６は経由点に付与された属性情報を判断し、その属性情報に応じたプログラムを実行してもよい。このような構成により、画像処理装置３００からワークＷＫの把持タイミングやワークＷＫの載置タイミング、センサ部２のトリガ発行タイミングなどを設定することが可能であってもよい。

一方、属性情報をユーザインタフェース上で関連付けて登録できない場合について説明する。図２５の順序表示領域８０ｃに示す順序で経由点が設定されている場合には、図３１に一例を示すようにメインプログラムが生成される。図３１に示すメインプログラムの固定経由点１～５は、図２５の順序表示領域８０ｃにおける「アプローチ位置」、「把持位置」、「退避位置」、２つの「指定位置」にそれぞれ対応しており、各経由点の属性情報に基づいてアクションが発行される。

図３２に示すように、固定経由点（指定位置）をアプローチ位置の前に追加することができ、この場合にメインプログラムがどのように変わるかを説明する。図３２では、順序表示領域８０ｃに黒塗りで示す「指定位置」が追加された形態を示している。「指定位置」の追加時には、ユーザが、図２６に示す属性情報入力ウインドウ８１により属性情報を入力しているので、追加された「指定位置」には属性情報が関連付けられている。この場合、メインプログラムは図３３に示すように第１１行に記載されていた「ＨＡＮＤ ＯＰＥＮ」を消し、第１６行に「ＨＡＮＤ ＯＰＥＮ」を書き直す。そして、第３３行で追加された経由点分処理を増やす。尚、把持位置では「ＨＡＮＤ ＣＬＯＳＥ」である。

以上のようにして、画像処理装置３００において経由点と属性情報を関連付けて登録するとともに出力し、ロボットコントローラ６側で経由点に関連付けられた属性情報を解釈して処理をすることができる。この例においては、経由点とそれに関連付けられた属性情報という２つの配列を持つことによってロボットプログラムの簡易化を実現することができる。この場合のデータの持ち方の一例を図３４に示す。

（第２の方法の具体例）
次に、画像処理装置３００側で固定経由点の属性情報を処理して命令に変換し、ロボットコントローラ６側ではその命令を逐次実行する第２の方法について説明する。この場合においては、画像処理装置３００は命令情報と経由点の位置情報をロボットコントローラ６に送信するので、結果としてロボットコントローラ６は図３５に示すようなデータ配列を持つこととなる。図３５中、「経由点」は、当該経由点をなぞることを要求し、また「ハンド」はロボットハンドＨＮＤの操作を行うことを要求する。

ロボットコントローラ６では、図３５に示す命令配列を参照しながら次に何をするべきか決めることができる。この場合のメインプログラムを図３６に示しており、第１１行でロボットＲＢＴにＭｏｖｅ命令を発行した後、第１３行でロボットハンドＨＮＤにハンドアクションを発行している。また、図３７に示すように、命令配列の中に経由点データが入っていてもよい。

（センサ部の撮像タイミング）
図６に示すように、プロセッサ３００Ａは、撮像タイミング設定部３１０を備えている。撮像タイミング設定部３１０は、センサ部２に撮像させるトリガ（撮像トリガ）の発行タイミングを決定し、決定したタイミングで撮像が実行されるように、出力部３１０が撮像トリガの発行タイミングをロボットコントローラ６に出力する。すなわち、撮像タイミング設定部３１０は、経路生成部３０９により生成された移動経路の途中でハンドＨＮＤがセンサ部２の撮像視野外に移動するタイミングに基づいて、センサ部２に次に撮像させるトリガの発行タイミングを決定する。ハンドＨＮＤの移動経路は、サイクルごとにことなっているので、センサ部２の撮像タイミングはサイクルごとに異なることになる。つまり、撮像タイミング設定部３１０は、ピッキング動作のサイクルごとにセンサ部２の撮像タイミングを動的に変化させるように構成されている。経路生成部３０９により生成される経路が最短経路であってもよく、この場合、プロセッサ３００Ａによるトリガの発行タイミングの決定が容易になる。

以下に述べるようにすることで、最適な撮像トリガ位置を計算することができ、しかも、計算した最適な撮像トリガ位置をロボットコントローラ６に送信して画一的なロボットプログラムで、変化する撮像トリガ位置に追従して最適なタイミングで撮像処理を実行することができる。

（最適な撮像トリガ位置の計算）
まず、最適な撮像トリガ位置の計算について説明する。最適な撮像トリガ位置の計算にあたっては、干渉判定アルゴリズムを用いて、ロボットＲＢＴが撮像対象に被らなくなる最速のタイミングを自動計算し、得られたタイミングでのロボットＲＢＴの位置を撮像トリガ発行位置とする。以下、図３８に示すフローチャートに従って、最適な撮像トリガ位置の計算手法の一例を具体的に説明する。

開始後、ステップＳＨ１では、平面視でワークＷＫが積み上げられる領域をユーザが指定する。この実施形態では、図１に示すように容器ＢＸ内にワークＷＫが積み上げられているので、容器ＢＸ（箱ともいう）内が、ワークＷＫが積み上げられる領域に相当する。ステップＳＨ１では、図６に示す撮像タイミング設定部３１１が、図３９に示す領域指定用ユーザインタフェース８５を生成して表示部３に表示させる。

領域指定用ユーザインタフェース８５には、センサ部２により撮像された容器ＢＸを含む画像を表示する画像表示領域８６が設けられている。この画像表示領域８６には、各種画像フィルターによって処理された処理後の画像を表示することができる。ユーザは、画像表示領域８６に表示された画像を見ることで容器ＢＸの形状を把握でき、ワークＷＫが存在している場合にはワークＷＫも把握できる。さらに、領域指定用ユーザインタフェース８５には、上記領域の指定方法をユーザに選択させるための選択ウインドウ８７が表示される。

上記領域の指定方法としては、例えば、容器ＢＸの４辺を指定する方法と、容器ＢＸの位置とサイズを数値で指定する方法とがあり、これら２つの方法の説明文や説明図が選択ウインドウ８７に表示される。上記２つの方法以外の方法で上記領域を指定してもよく、その場合は選択肢を増やせばよい。選択ウインドウ８７には、上記２つの方法のうち、一方をユーザが選択するためのボタン等が設けられている。

撮像タイミング設定部３１１は、容器ＢＸの４辺を指定する方法が選択されたことを検出すると、図４０に示すように、容器ＢＸの４辺を指定する４辺指定用ウインドウ８８を生成して領域指定用ユーザインタフェース８５に表示させる。

４辺指定用ウインドウ８８は、平面視における容器ＢＸの４辺をそれぞれユーザに指定させるためのウインドウである。この４辺指定用ウインドウ８８には、容器ＢＸの第１辺（図４０の上辺に相当）の２点を指定させる指示と、容器ＢＸの第２辺（図４０の右辺に相当）の２点を指定させる指示と、容器ＢＸの第３辺（図４０の下辺に相当）の２点を指定させる指示と、容器ＢＸの第４辺（図４０の左辺に相当）の２点を指定させる指示とが表示されている。ユーザがその指示通りに４辺を指定すると、撮像タイミング設定部３１１は、４本の直線１～４を画像表示領域８６に描画する。４本の直線１～４で形成される矩形枠２０００（図４２に示す）で囲まれた領域を、ワークＷＫが積み上げられる領域として特定する。つまり、撮像タイミング設定部３１１は、平面視でワークＷＫが積み上げられる領域を囲む枠２０００の入力を受け付ける。上記指定の際には、ユーザによるマウスのクリック操作で指定させればよい。

ワークＷＫが積み上げられる領域の入力方法は、上述した方法に限られるものではなく、例えば、容器ＢＸの４つの頂点をユーザに指定させる方法、固定値で面を構成する頂点の座標を持っておく方法、周知のサーチアルゴリズムを利用して容器ＢＸの位置を特定し、その結果に基づいて容器ＢＸの上面の４つの頂点の座標を特定する方法等を挙げることができる。４つの頂点が特定されれば、それら４つの頂点を持つ矩形枠２０００が定まるので、その矩形枠２０００内の領域をワークＷＫが積み上げられる領域として特定できる。

平面視でワークＷＫが積み上げられる領域を指定が終わると、容器ＢＸの深さの指定を受け付ける。撮像タイミング設定部３１１は、図４１に示す深さ指定用ウインドウ８９を生成して領域指定用ユーザインタフェース８５に表示させる。また、画像表示領域８６には、容器ＢＸを斜め上方から見たイメージ画像を表示させる。深さ指定用ウインドウ８９には、容器ＢＸの深さを数値入力可能な数値入力領域８９ａと、再指定ボタン８９ｂとが設けられている。撮像タイミング設定部３１１は、再指定ボタン８９ｂが押されたことを検出すると、画像表示領域８６上で容器ＢＸの底面位置の指定を受け付ける。この指定もマウスのクリック操作等により可能である。容器ＢＸの底面位置が指定されると、容器ＢＸの上面位置との差を演算することで、容器ＢＸの深さを取得できる。

その後、図３８に示すフローチャートのステップＳＨ２に進む。ステップＳＨ２では、ハンドＨＮＤの経路内で、最適トリガ計算を行う際の起点の指定を受け付ける。例えば、図４２に破線で示すようにハンドＨＮＤの経路が生成されていたと仮定する。この経路内には、撮像待機位置Ｐｗ、容器上空位置Ｐｕ、把持実行位置Ｐｇ、載置位置Ｐｐ、撮像待機位置Ｐｗという順で座標を特定することができる。ユーザが把持実行位置Ｐｇを指定すると、その位置の座標が起点の座標として登録される。撮像タイミング設定部３１１は、起点として指定された把持実行位置Ｐｇへの移行の経路で、ロボットＲＢＴが撮像対象物（例えばワークＷＫや容器ＢＸ）に被らなくなる最速のタイミングを計算し、そのタイミングを最適トリガタイミングとする。ロボットＲＢＴが撮像対象物に被らなくなる最速のタイミングを決定するのが目的なので、通常、ロボットＲＢＴが撮像対象物に被っている点を起点として指定する。

起点の指定はユーザが行うことができる。図４３を用いて、起点の指定について具体的に説明する。図４３の順序表示領域８０ｃは、設定されたハンドＨＮＤの経路を表す。順序表示領域８０ｃには、撮像待機位置、箱上空位置、アプローチ位置、把持位置、退避位置、箱上空位置、プレース位置が経由点として指定されている。プロセッサ３００Ａは、これらの複数の経由点を順に辿るように経路を生成する。これらの経由点は、例えば順序表示領域８０ｃに表示される追加ボタンや挿入ボタン、削除ボタンをクリックすることで新たに経由点を追加することや、すでに設定された経由点を削除するといった編集が可能であってもよい。

プロセッサ３００Ａは、順序表示領域８０ｃで設定された複数の経由点から任意の経由点の選択を受け付ける。例えば経由点としてプレース位置の選択を受け付けた場合、プレース位置に関する詳細設定ウインドウ９０を順序表示領域８０ｃに重畳表示させることができる。この詳細設定ウインドウ９０は、順序表示領域８０ｃで設定された複数の経由点それぞれに対して表示させることが可能であってもよい。順序表示領域８０ｃに重畳表示された詳細設定ウインドウ９０では、動作設定や干渉判定設定、トリガ設定を受け付ける。動作設定では、経路を生成するか否かを設定することができる。「経路を生成する」が選択された場合、箱上空位置からプレース位置までの間にハンドＨＮＤが経由すべき複数の分割経由点がプロセッサ３００Ａにより生成される。プロセッサ３００Ａにより生成される経路はロボットＲＢＴやハンドＨＮＤが周囲の物体と干渉せず、かつ、順序表示領域８０ｃに一覧表示された複数の経由点間をより移動距離が短くなるように生成されてもよく、また、プロセッサ３００Ａが複数の移動経路候補を生成し、複数の移動経路候補の中から最短経路となる経路が移動経路として設定されてもよい。なお、生成される経路は、箱上空位置からプレース位置までの間に限られず、撮像待機位置から複数の経由点を経由し、再び撮像待機位置に戻ってくるまでの経路を生成してもよい。また、順序表示領域８０ｃで選択された区間に対応する範囲で経路が生成されてもよい。干渉判定設定では、ロボットＲＢＴやハンドＨＮＤが周囲の物体と干渉するか否かを判定する際のマージンの設定を受け付ける。また、トリガ設定にはこの区間で撮像するか否かを選択する選択領域９０ａが設けられている。「この区間で撮像する」を選択すると、図４３の右に示すように、順序表示領域８０ｃに目印９０ｂが表示される。

また、「この区間で撮像する」が選択された場合、さらに、「自動設定位置で撮像する」と「区間の終点で撮像する」とが選択できてもよい。「自動設定位置で撮像する」が選択された場合、例えばロボットＲＢＴが撮像対象物に被らなくなる最速のタイミングでトリガを発行したり、ロボットＲＢＴと撮像対象物とが被らなくなった際の経由点または分割経由点にトリガ発行タイミングという属性を付与したりしてもよい。「区間の終点で撮像する」が選択された場合、例えば、ウインドウ９０と紐づいた区間の終点においてトリガを発行したり、ウインドウ９０と紐づいた区間の終点に対応する経由点または分割経由点にトリガ発行タイミングという属性を付与したりしてもよい。図４３では、一覧表示された複数の経由点のうち、区間５のプレース位置が選択されている状態であり、区間５がウインドウ９０と紐づいた区間である。また区間５の区間の終点とは、プレース位置であってもよい。

また、経由点または分割経由点にトリガ発行タイミングという属性を付与した場合、ロボットコントローラ６は、プロセッサ３００Ａから受け取った経由点および複数の分割経由点に付与された属性情報を判断する。その属性情報に応じたプログラムを予め作成しておくとともに、属性情報に応じたプログラムを実行することで、ロボットコントローラ６のプログラムを編集することなくピッキング動作ごとに変化しうるトリガ発行タイミングに動的に追従することができるように構成されていてもよい。

起点の指定は自動で行うこともできる。例えば、把持実行位置ＰｇではロボットＲＢＴが容器ＢＸに被ることが確定しているので、その位置を起点として自動で指定してもよい。

次いで、図３８のフローチャートのステップＳＨ３に進む。ステップＳＨ３では、撮像タイミング設定部３１１が仮想の視線障害物を設定する。この実施形態では、仮想の視線障害物として、図４２に示すように仮想の立体図形３０００を設定する。仮想の立体図形３０００は、センサ部２の撮像視野の縁を外形状とする図形である。この立体図形３０００の底面の位置は、上記枠２０００の位置と一致している。また、立体図形３０００の底面の形状は、上記枠２０００の形状と一致している。立体図形３０００は、上記枠２０００からセンサ部２の受光面に向かって延びる形状である。具体的には、枠２０００の４つの頂点からそれぞれセンサ部２の受光面の中心まで延びる仮想の４本の直線と、上記枠２０００を形成する４本の直線とで構成される四角錐が上記立体図形３０００である。立体図形３０００の形状は、特に限定されるものではなく、容器ＢＸの形状等に応じて異なる形状になることもある。

その後、図３８に示すフローチャートのステップＳＨ４に進む。ステップＳＨ４では、ステップＳＨ２で指定した起点から経路を小刻みに分割する。図４２に示す形態では、経由点である把持実行位置Ｐｇから次の経由点である載置位置Ｐｐまでの間隔を分割する分割経由点Ｐｄを複数設定する。把持実行位置Ｐｇから載置位置Ｐｐまでの間の分割経由点Ｐｄは１つであってよいが、多い方が干渉判定の精度が向上するので好ましい。

分割経由点Ｐｄを設定した後、図３８に示すフローチャートのステップＳＨ５に進む。ステップＳＨ５では、撮像タイミング設定部３１１は、干渉判定アルゴリズムを利用して経路上のハンドＨＮＤが上記立体図形３０００と非干渉となるタイミングを検出する。具体的には、干渉判定の際には、ステップＳＨ４で設定した分割経由点Ｐｄを使用して、ハンドＨＮＤが立体図形３０００と干渉するか否かを判定する。各分割経由点Ｐｄが上記立体図形３０００内に位置する場合、及び上記立体図形３０００の外面に接している場合には、ハンドＨＮＤが立体図形３０００と干渉していると判定し、それら以外の場合に干渉していないと判定する。複数の分割経由点Ｐｄのうち、最も把持実行位置Ｐｇに近い点から順に干渉判定を行う。その結果、上記立体図形３０００に干渉しない分割経由点Ｐｔが見つかったとする。

図３８に示すフローチャートのステップＳＨ６では、上記立体図形３０００に干渉しない分割経由点Ｐｔが見つかると、ハンドＨＮＤがその点Ｐｔに位置する時に、立体図形３０００と非干渉となるタイミングであるとするとともに、ハンドＨＮＤがセンサ部２の撮像視野外に移動するタイミングであると判定する。図４２で最適トリガ位置を点Ｐｔと表記しているように、干渉判定を利用することで最適トリガ位置を精度良く決定することができる。

最適トリガ位置を決定した後、その情報を出力部３１０がロボットコントローラ６に出力する。このとき、例えば、出力部３１０から経路情報を以下の例に示すように「連続する複数の経由点」として送信しているものとする。
Ｐｗ＝[J1,J2,J3,J4,J5,J6]
Ｐｕ＝[J1,J2,J3,J4,J5,J6]
・
・
Ｐｐ＝[J1,J2,J3,J4,J5,J6]
この経由点情報とは別に、トリガ経由点が何番目の経由点か、という情報を送信しておくことができる。ロボットプログラム側では、経路をなぞるために経由点を前から順になぞるようなプログラムが書かれているものとすると、その処理に「今移動した経由点の順番＝トリガ経由点の番号かどうか」を判定するプログラムを追加し、条件を満たすならばトリガを発行する、といったプログラムを以下のように組んでおけばよい。

疑似コード：
For i=0 To n-1
Move 経由点[i]
If i = t
トリガ発行
Endif
Endfor
ｔ：送信されてきたトリガタイミング情報であり、今回であれば、トリガ経由点が前から何番目かを示す整数が入っていると想定する。
ｎ：移動しなければならない経由点の数であり、これも通常外部から送信される。
経由点ｉ：移動しなければならないｉ番目の経由点の位置情報であり、通常外部から送信される。

ロボットＲＢＴが撮像対象物に被らなくなる最速のタイミングを決定する際に、干渉判定以外の手法を用いてもよい。例えば、容器ＢＸの４辺からそれぞれ光を放射し、それが遮られる場合には、ロボットＲＢＴが撮像対象物に被っていると判定し、遮られない場合にはロボットＲＢＴが撮像対象物に被っていないと判定することができる。このような手法は、レイトレーシングと呼ぶことができる。

（実施形態の作用効果）
以上説明したように、この実施形態によれば、始めに、センサ部２が撮像トリガ命令に従って作業空間を撮像すると、ワークＷＫが含まれた撮像データが当該センサ部２からプロセッサ３００Ａに出力される。プロセッサ３００Ａでは、センサ部２から出力された撮像データに基づいて、把持対象となるワークＷＫを決定するとともに、把持対象のワークＷＫから所定の載置位置までのハンドＨＮＤの移動経路を生成する。この移動経路に従ってハンドＨＮＤが移動することで、１サイクルのピッキング動作が完了する。

ハンドＨＮＤは移動経路の途中でセンサ部２の撮像視野外まで移動する。この撮像視野外まで移動するタイミングを撮像タイミング設定部３１１が判定する。プロセッサ３００Ａは、ハンドＨＮＤが撮像視野外に移動するタイミングに基づいて、センサ部２に次に撮像させるトリガの発行タイミングを決定する。センサ部２は、決定された発行タイミングで発行されたトリガ命令に従って作業空間を撮像するので、ハンドＨＮＤがワークＷＫに被ってしまうことはなく、撮像視野内のワークＷＫを撮像できる。

次のサイクルでは、ワークＷＫの数が減ったことで作業空間のワークＷＫの状態が前のサイクルとは異なっている。従って、ハンドＨＮＤの移動経路も前のサイクルとは異なるので、ハンドＨＮＤがセンサ部２の撮像視野外に移動するタイミングも前のサイクルとは異なる。この実施形態では、ピッキング動作のサイクルごとにセンサ部２の撮像タイミングを動的に変化させて最適なタイミングでトリガを自動的に発行できる。これにより、ユーザがトリガ位置調整を行う必要が無くなり、利便性が向上する。

上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

以上説明したように、本発明に係る画像処理装置は、例えばピッキング動作を行うロボットの制御に利用することができる。

２ センサ部（撮像部）
３００ 画像処理装置
３００Ａ プロセッサ
３１２ 編集生成部
ＨＮＤ ハンド
ＲＢＴ ロボット
ＷＫ ワーク

Claims (12)

1. 作業空間に積み上げられた複数のワークの中から所定のワークを把持して順次取り出すピッキング動作をサイクル実行するロボットの制御に用いられる画像処理装置であって、
   複数のワークが積み上げられた前記作業空間をトリガ命令に従って撮像し、撮像データを出力する撮像部と、
   前記撮像部から出力された撮像データに基づいて、前記作業空間に積み上げられたワークの中から把持対象となるワークを決定し、当該ワークを把持して所定の載置位置に載置するまでのハンドの経路を設定するプロセッサとを備え、
   前記プロセッサは、前記経路の途中で前記ハンドが前記撮像部の撮像視野外に移動するタイミングに基づいて、前記撮像部に次に撮像させるトリガの発行タイミングを決定することにより、ピッキング動作のサイクルごとに前記撮像部の撮像タイミングを動的に変化させることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記プロセッサは、前記経路上の座標を、ロボットを制御するロボットコントローラへ出力する画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記プロセッサは、前記トリガを発行すべき前記経路上の座標と、当該座標で前記トリガを発行すべきトリガ発行情報とを前記ロボットコントローラへ出力する画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記プロセッサは、前記経路の情報として前記経路上における連続する複数の経由点の座標を含む情報を生成し、当該経路の情報を前記ロボットコントローラへ出力する画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記プロセッサは、前記ハンドのアプローチ位置、把持実行位置及び把持後の退避位置のうち、任意の１つの属性を有する固定経由点の座標と、前記固定経由点の属性を示す属性情報とを前記ロボットコントローラへ出力する画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記画像処理装置は、
   ワークモデル及び当該ワークモデル上の前記ハンドによる把持位置情報の入力を受け付けるワークモデル入力部と、
   ワークが存在する前記作業空間の三次元計測を行う計測部と、
   前記計測部による三次元計測結果と、前記ワークモデル入力部により入力された前記ワークモデルとに基づいて、前記作業空間に積み上げられたワークの把持位置をサーチするサーチ部と、
   前記サーチ部でサーチされたワークの把持位置を把持する際に前記ハンドが周囲の物体と干渉するか否かを判定し、周囲の物体との干渉を回避する前記ハンドの姿勢を決定する干渉判定部とを備えている画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記プロセッサは、前記干渉判定部による判定結果に基づいて、前記ハンドが周囲の物体との干渉を回避可能な複数の経由点を決定し、当該経由点を結ぶように前記ハンドの経路生成を行う画像処理装置。
8. 請求項１から７のいずれか１つに記載の画像処理装置において、
   前記プロセッサは、前記撮像部の撮像視野の縁を外形状とする仮想の立体図形を設定して前記ハンドが前記立体図形と干渉するか否かを判定し、前記ハンドが前記立体図形と非干渉となるタイミングが、前記ハンドが前記撮像部の撮像視野外に移動するタイミングであると判定する画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記プロセッサは、平面視で前記ワークが積み上げられる領域を囲む枠の入力を受け付け、下面の形状が前記枠の形状とされるとともに前記撮像部の受光面に向かって延びる形状の前記立体図形を設定する画像処理装置。
10. 請求項８または９に記載の画像処理装置において、
    前記プロセッサは、前記ハンドが前記立体図形と干渉するか否かの判定時には、前記経路上に設定される複数の経由点のうち、隣合う経由点の間隔を分割する分割経由点を設定し、当該分割経由点を使用する画像処理装置。
11. 請求項１から１０のいずれか１つに記載の画像処理装置において、
    前記プロセッサは、前記ハンドの把持実行位置から、ワークの載置位置までの間でトリガの発行タイミングを決定し、当該タイミングに対応するロボットの位置をトリガ位置として出力する画像処理装置。
12. 請求項１から１１のいずれか１つに記載の画像処理装置において、
    前記画像処理装置は、
    前記経路上に複数の経由点が存在する場合、複数の経由点の経由順序を示すとともに、複数の経由点の個別の編集が可能な編集画面を生成する編集画面生成部と、
    前記編集画面生成部で生成された編集画面を表示する表示部と、を備えている画像処理装置。

Images