JP2015114292A - ワークの位置情報特定装置および方法 - Google Patents

Abstract

【課題】ワークの位置情報を高精度に特定することができるワークの位置情報特定装置および方法を提供する。【解決手段】ワーク配置領域Ａ１の上方に設置されたカメラ１０と撮像物との間の距離に応じた明度を有する第１画像を生成する第１撮像システム１１から第１画像を取得する第１画像取得部１４と、カメラ１０における撮像物からの受光光量に応じた明度を有する第２画像を生成する第２撮像システム１２から第２画像を取得する第２画像取得部１５と、第１画像と第２画像とを合成し、第２画像から第１画像における所定のしきい値以下の距離にある領域に対応する領域を抽出してなる第３画像を生成する第３画像生成部１６と、記憶部１３からワークＷの上面形状のデータを読み出し、当該データにおけるワークＷの上面形状を第３画像にマッチングさせるパターンマッチング処理を行って、ワークＷの位置情報を特定するマッチング処理部１７と、を備える。【選択図】図１

Description

本発明は、所定のワーク配置領域に配置されたワークの位置情報を特定するためのワークの位置情報特定装置および方法に関する。

パレット上に段ボールで梱包された商品などのワークを積載しておき、当該積載されたワークを多軸のロボットにより１つずつ取り出す自動化工程においては、複数段に積層されたワークのうち、取り出すべきワーク（例えば最上段のワーク）の位置情報（ワーク単体の位置および姿勢）を特定することが重要である。このように、ワークの位置情報を特定するための方法として、例えばワークと測定装置との距離を把握するために距離画像を撮像する態様が知られている（例えば特許文献１等参照）。また、カメラの受光光量に応じた濃淡画像を用いてワークの位置情報を特定する態様も知られている（例えば特許文献２等参照）。

特開２００３−１４１５１１号公報 特開平５−１２７７２２号公報

しかし、距離画像を撮像する態様は、複数のワークの上面が平面で同じ高さである場合、複数のワーク間の境界線があいまいになり易い。これに対し、濃淡画像を用いる態様は、境界線が明確に撮像される。しかし、ワークの表面に商品説明などの印刷がある場合には、このような印刷が濃淡画像に含まれてしまうため、印刷によるノイズを境界線と誤認識してしまうおそれがある。

本発明は、以上のような課題を解決すべくなされたものであり、ワークの位置情報を高精度に特定することができるワークの位置情報特定装置および方法を提供することを目的とする。

本発明の一態様に係るワークの位置情報特定装置は、平面視において略多角形の形状かつ上面が平面状である１以上のワークが所定のワーク配置領域に配置された状態における前記ワークの位置情報を特定するためのワークの位置情報特定装置であって、前記ワークの上面形状のデータを記憶する記憶部と、前記ワーク配置領域の上方に設置されたカメラを用いて前記ワーク配置領域にある物を撮像した画像であって撮像された物（以下、撮像物）が当該カメラと当該撮像物との間の距離に応じた明度を有する第１画像を生成する第１撮像システムと、前記ワーク配置領域の上方に設置されたカメラによって前記ワーク配置領域にある物を撮像した画像であって前記撮像物が当該カメラにおける当該撮像物からの受光光量に応じた明度を有する第２画像を生成する第２撮像システムと、前記第１撮像システムから前記第１画像を取得する第１画像取得部と、前記第２撮像システムから前記第２画像を取得する第２画像取得部と、前記第１画像と前記第２画像とを合成し、前記第２画像から前記第１画像における所定のしきい値以下の距離にある領域に対応する領域を抽出してなる第３画像を生成する第３画像生成部と、前記記憶部から前記ワークの上面形状のデータを読み出し、当該データにおける前記ワークの上面形状を前記第３画像にマッチングさせるパターンマッチング処理を行って、前記ワークの位置情報を特定するマッチング処理部と、を備えたものである。

上記構成によれば、距離情報を含む第１画像をフィルタとして用いて第２画像から所定のしきい値以下の距離にある領域を抽出することにより、第３画像が生成される。当該第３画像に基づいてパターンマッチング処理を行うことにより、印刷等によるノイズの影響を低減させることができる。したがって、ワークの位置情報を高精度に特定することができる。

前記第１撮像システムは、レーザスリット光を走査しながら前記ワーク配置領域に照射する照射部と、当該照射部から離間して前記ワーク配置領域の上方に配置された前記カメラと、当該カメラにおける前記ワーク配置領域にある物により反射された前記レーザスリット光の受光位置に基づいて前記第１画像を生成する第１画像生成部と、を備えてもよい。これにより、距離情報を含む第１画像を高精度に取得できる。

前記第１撮像システムのカメラは、前記第２撮像システムのカメラとして用いられるように構成されてもよい。これにより、システムを簡単な構成で実現できる。

前記第３画像生成部は、前記第１画像を前記しきい値以下か否かに基づいて２値化し、前記第２画像を当該２値化された第１画像でフィルタリングすることにより第３画像を生成してもよい。第１画像を２値化することにより、所定のしきい値以下の距離にある領域を簡単かつ明確に抽出することができる。

前記マッチング処理部は、前記パターンマッチング処理を行う前に、前記第３画像生成部で生成された前記第３画像を二値化し、当該二値化された画像を収縮および膨張させるオープニング処理を行い、前記二値化された画像から前記オープニング処理後の画像を差し引くことで前記第３画像の角部を抽出する角部抽出処理を行ってもよい。これにより、パターンマッチング処理を行い易くすることができる。

前記マッチング処理部は、前記パターンマッチング処理を行う前に、前記第３画像の角部を抽出する角部抽出処理と、前記第３画像の角部と、前記ワークの上面形状のデータに基づく仮想ワークの角部とを位置合わせする位置合わせ処理と、前記位置合わせ処理において、前記第３画像の１つの角部において前記仮想ワークの配置方向が異なる複数の位置情報が存在する場合、前記第３画像において当該複数の位置情報が重複する前記仮想ワークの領域をぼかして第４画像を生成するぼかし処理とを行ってもよい。これにより、位置情報を特定すべきワークの上面の印刷によるノイズを少なくすることができ、特定精度をより高くすることができる。

また、本発明の他の態様に係るワークの位置情報特定方法は、平面視において略多角形の形状かつ上面が平面状である１以上のワークが所定のワーク配置領域に配置された状態における前記ワークの位置情報を特定するためのワークの位置情報特定方法であって、前記ワーク配置領域の上方に設置されたカメラを用いて前記ワーク配置領域にある物を撮像した画像であって撮像された物（以下、撮像物）が当該カメラと当該撮像物との間の距離に応じた明度を有する第１画像を生成し、前記ワーク配置領域の上方に設置されたカメラによって前記ワーク配置領域にある物を撮像した画像であって前記撮像物が当該カメラにおける当該撮像物からの受光光量に応じた明度を有する第２画像を生成し、前記第１画像と前記第２画像とを合成し、前記第２画像から前記第１画像における所定のしきい値以下の距離にある領域に対応する領域を抽出してなる第３画像を生成し、前記記憶部から前記ワークの上面形状のデータを読み出し、当該データにおける前記ワークの上面形状を前記第３画像にマッチングさせるパターンマッチング処理を行って、前記ワークの位置情報を特定するものである。

上記方法によれば、距離情報を含む第１画像をフィルタとして用いて第２画像から所定のしきい値以下の距離にある領域を抽出することにより、第３画像が生成される。当該第３画像に基づいてパターンマッチング処理を行うことにより、印刷等によるノイズの影響を低減させることができる。したがって、ワークの位置情報を高精度に特定することができる。

本発明は以上に説明したように構成され、ワークの位置情報を高精度に特定することができるという効果を奏する。

図１は本発明の一実施形態に係るワークの位置情報特定装置が適用されたロボット制御システムの概略構成を示す図である。 図１に示すワークの位置情報特定装置を用いた位置情報特定方法を示すフローチャートである。 図３Ａは図１に示すワークの位置情報特定装置により得られた第１画像を示す図である。 図３Ｂは図１に示すワークの位置情報特定装置により得られた第２画像を示す図である。 図３Ｃは図１に示すワークの位置情報特定装置により得られた第３画像を示す図である。 図４Ａは、第３画像に対して行われる角部抽出処理を例示するための図である。図４Ａは、第３画像を示す図である。 図４Ｂは、第３画像に対して行われる角部抽出処理を例示するための図である。図４Ｂは、２値化された画像を示す図である。 図４Ｃは、第３画像に対して行われる角部抽出処理を例示するための図である。図４Ｃは、オープニング処理後の画像を示す図である。 図４Ｄは、第３画像に対して行われる角部抽出処理を例示するための図である。図４Ｄは、角部の画像を示す図である。 図５Ａは、第３画像に対して行われる位置合わせ処理を例示するための図である。図５Ａは、角部の選択処理を説明するための図である。 図５Ｂは、第３画像に対して行われる位置合わせ処理を例示するための図である。図５Ｂは、第１の位置合わせ態様を示す図である。 図５Ｃは、第３画像に対して行われる位置合わせ処理を例示するための図である。図５Ｃは、第２の位置合わせ態様を示す図である。 図６Ａは、第３画像に対して行われるぼかし処理を例示するための図である。図６Ａは、仮想ワークの重複部の抽出態様を説明するための図である。 図６Ｂは、第３画像に対して行われるぼかし処理を例示するための図である。図６Ｂは、ぼかし領域の生成態様を説明するための図である。 図６Ｃは、第３画像に対して行われるぼかし処理を例示するための図である。図６Ｃは、ぼかし処理後の画像を示す図である。 図７Ａは、第３画像に対して行われるパターンマッチング処理を例示するための図である。図７Ａは、ワークの予想中心領域を示す図である。 図７Ｂは、第３画像に対して行われるパターンマッチング処理を例示するための図である。図７Ｂは、一の角部におけるパターンマッチング結果を示す図である。 図７Ｃは、第３画像に対して行われるパターンマッチング処理を例示するための図である。図７Ｃは、角部削除処理を示す図である。

以下、本発明の実施の形態を、図面を参照しながら説明する。なお、以下では全ての図を通じて同一又は相当する要素には同一の参照符号を付して、その重複する説明を省略する。

図１は本発明の一実施形態に係るワークの位置情報特定装置が適用されたロボット制御システムの概略構成を示す図である。図１に示すように、本実施形態のロボット制御システム１は、所定のワーク配置領域（以下、第１のワーク配置領域）Ａ１に配置された１以上のワークＷから１つのワークＷを取り出し、第１のワーク配置領域Ａ１とは異なる第２のワーク配置領域Ａ２に載置するロボット２と、ロボット２を制御するロボットコントローラ３とを備えている。ロボット２は、基部と先端部との間に複数の可動軸が設けられる。ロボット２の先端部には、ワークＷを把持するハンドツール２ａが設けられる。

ワークＷは、平面視において略多角形の形状かつ平面状の上面を有している。例えば、ワークＷは、直方体状、立方体状、多角柱の形状を有している。具体的には、ワークＷは、例えば缶ビール等を梱包する段ボールケース等の箱体である。なお、本明細書において、多角形とは三角形、四角形、五角形等、頂点が３つ以上の形状を含む。また、多角形の形状には、角部に曲線形状が形成された形状（アールが存在する形状）も含まれる。直方体状および立方体状についても同様である。

本実施形態において、第１のワーク配置領域Ａ１は、第１の搬送装置５の搬送経路の終端部上に設定される。なお、第１の搬送装置５の搬送経路の途中に第１のワーク配置領域Ａ１を設定してもよい。第１の搬送装置５は、例えばベルトコンベア等で構成される。第１の搬送装置５上には、パレット４が載置され、パレット４上に複数のワークＷが積み重ねられるように配置される。また、平面視においては、パレット４上に複数のワークＷが所定のパターンで配置される。つまり、平面視において、パレット４上の複数のワークＷは、複数の姿勢で配置される。第１のワーク配置領域Ａ１は、パレット４が第１の搬送装置５の所定位置（例えば終端部）に位置したときのパレット４の表面内として定義される。

本実施形態において、第２のワーク配置領域Ａ２は、第２の搬送装置６の搬送経路の始端部上に設定される。なお、第２搬送装置６の搬送経路の途中に第２のワーク配置領域Ａ２を設定してもよい。第２の搬送装置６は、例えばベルトコンベア等で構成される。ロボット２は、取り出したワークＷを１つずつ第２の搬送装置６上に設定された第２のワーク配置領域Ａ２に載置し、第２の搬送装置６が載置されたワークＷを搬送する。

以上のように、ロボット２は、第１のワーク配置領域Ａ１に複数の平面位置、複数の姿勢（ワークＷの平面視における長手方向の向き）、複数の高さ（上面位置）等の位置情報を有し得るワークＷを１つずつ認識してハンドツール２ａにより把持する必要がある。

このために、ロボット制御システム１は、ワークＷの位置情報を特定するための位置情報特定装置７を備えている。位置情報特定装置７は、第１のワーク配置領域Ａ１の上方に設置され、第１のワーク配置領域Ａ１の平面視における画像を生成するための撮像システム８と、撮像システム８で生成された画像に基づいてワークＷの位置情報を特定する処理装置９とを備えている。

撮像システム８は、第１撮像システム１１と、第２撮像システム１２とを備えている。第１撮像システム１１は、第１のワーク配置領域Ａ１の上方に設置されたカメラ１０を用いて第１のワーク配置領域Ａ１にある物を撮像した画像であって撮像された物（以下、撮像物）が当該カメラ１０と当該撮像物との間の距離に応じた明度を有する第１画像を生成するよう構成される。第２撮像システム１２は、第１のワーク配置領域Ａ１の上方に設置されたカメラ１０によって第１のワーク配置領域Ａ１にある物を撮像した画像であって撮像物が当該カメラ１０における当該撮像物からの受光光量に応じた明度を有する第２画像を生成するよう構成される。なお、第１画像および第２画像は、カメラ１０の視野内にある物（被写体および背景）を撮像（take out）した画像（picture）を意味する。

処理装置９は、例えばパーソナルコンピュータおよびマイクロコントローラ等のコンピュータであり、各種情報を記憶するハードディスクまたは外部記憶装置等の記憶装置と、各種演算を行うＣＰＵ等の演算装置とを備えている。なお、図１において、処理装置９は、ロボットコントローラ３とは別のコンピュータとして例示されているが、ロボットコントローラ３内のマイクロコントローラが処理装置９として機能するように構成されてもよい。

処理装置９は、ワークＷの位置情報を特定するために、記憶部１３、第１画像取得部１４、第２画像取得部１５、第３画像生成部１６、およびマッチング処理部１７として機能する。これらの機能は、ソフトウェアモジュールとして構成されてもよいし、ハードウェアモジュールとして構成されてもよい。

記憶部１３は、ワークＷの上面形状のデータを記憶する。ワークＷの上面形状のデータは、予め処理装置９に入力される。第１画像取得部１４は、第１撮像システム１１から第１画像を取得する。第２画像取得部１５は、第２撮像システム１１から第２画像を取得する。第３画像生成部１６は、第１画像と第２画像とを合成し、第２画像から第１画像における所定のしきい値以下の距離にある領域に対応する領域を抽出してなる第３画像を生成する。マッチング処理部１７は、記憶部１３からワークＷの上面形状のデータを読み出し、当該データにおけるワークＷの上面形状を第３画像にマッチングさせるパターンマッチング処理を行って、ワークＷの位置情報を特定する。

このような構成によれば、距離情報を含む第１画像をフィルタとして用いて第１のワーク配置領域Ａ１において撮像された撮像物についての第２画像から所定のしきい値以下の距離にある領域を抽出することにより、第３画像が生成される。当該第３画像に基づいてパターンマッチング処理を行うことにより、印刷等によるノイズの影響を低減させることができる。したがって、ワークの位置情報を高精度に特定することができる。

以下、具体的に説明する。

まず、第１撮像システム１１について説明する。第１撮像システム１１は、レーザスリット光を走査しながら第１のワーク配置領域Ａ１に照射する照射部１８と、当該照射部１８から離間して第１のワーク配置領域Ａ１の上方に配置されたカメラ１０と、当該カメラ１０における第１のワーク配置領域Ａ１にある物により反射されたレーザスリット光の受光位置に基づいて第１画像を生成する第１画像生成部として機能するマイクロコントローラ等の画像処理部１９と、を備えている。第１撮像システム１１は、例えばレーザスリットスキャン（ＬＳＣ）装置が適用される。

第１撮像システム１１は、照射部１８からレーザスリット光を第１のワーク配置領域Ａ１に照射し、その反射光をカメラ１０で受光する。第１撮像システム１１は、照射部１８とカメラ１０との間の長さ、レーザスリット光の照射角、および、カメラ１０のイメージセンサ面に入射された反射光の位置に基づく反射光の入射角から三角測距を行い、カメラ１０と当該撮像物との間の距離を算出する。そして、第１撮像システム１１は、算出された距離に応じた明度を有する第１画像を生成する。このようにして、距離情報を含む第１画像を高精度に取得できる。

また、第１撮像システム１１のカメラ１０は、第２撮像システム１２のカメラとしても用いられる。これにより、システムを簡単な構成で実現できる。本実施形態における第２撮像システム１２は、第１のワーク配置領域Ａ１にある物を撮像するカメラ１０と、カメラ１０によって撮像された撮像物からの受光光量に応じた明度（または濃度といってもよい）を有する第２画像を生成する画像処理部１９と、を備えている。さらに、第２撮像システム１２は、カメラ１０による撮像の際に第１のワーク配置領域Ａ１を照らす照明部２０を備えている。例えば、照明部２０は、第１のワーク配置領域Ａ１を過不足なく照らすような構成であれば特に限定されないが、例えば、複数のＬＥＤ光源が平面内に配列された平面照明器具として構成されてもよい。また、照明器具を複数用いて、複数の照明器具を互いに異なる角度から光を照射可能なように配置してもよい。

以下、上記ロボット制御システムを用いたワークＷの位置情報特定方法についてより詳しく説明する。図２は図１に示すワークの位置情報特定装置を用いた位置情報特定方法を示すフローチャートである。また、図３Ａは図１に示すワークの位置情報特定装置により得られた第１画像を示す図であり、図３Ｂは図１に示すワークの位置情報特定装置により得られた第２画像を示す図であり、図３Ｃは図１に示すワークの位置情報特定装置により得られた第３画像を示す図である。図３Ａ〜図３Ｃには、第１のワーク配置領域Ａ１に同じ形状（直方体形状）を有する４つのワークＷ（段ボール箱）が配置されている。図３Ａ〜図３Ｃの例において、４つのワークＷの上面位置はすべて等しいとする。なお、ワークＷの上面には、図３Ｂに示すように、テープが、幅方向中央部において長手方向に平行に貼り付けられるとともに、長手方向両端部において幅方向に平行に貼り付けられている。また、ワークＷの上面には文字や図柄などが印刷されている場合もある。

まず、前述したように、第１画像取得部１４は、第１撮像システム１１により生成された第１画像を取得する（ステップＳ１）。取得された第１画像は、記憶部１３に記憶される。図３Ａに示すように、第１画像は、第１撮像システム１１のカメラ１０からの距離に応じた明度を有する。具体的には、第１画像は、所定距離以下に存在する物は、明るく（淡く）、所定距離（しきい値）より遠くに存在する物は、暗い（濃い）画像となる。図３Ａに示す例では、４つのワークＷの上面が明るい画像となっている。言い換えると、第１のワーク配置領域Ａ１に配置されたワークＷのうち、カメラ１０からの距離が最も近い（最上段の）ワークＷの上面位置または当該上面位置より所定距離遠い位置がしきい値として設定される。なお、第１画像は、図３Ａに示すように、撮像物がしきい値以下の距離にあるか否かで２値化した画像として生成されてもよいし、距離に応じて複数の階調を有する画像として生成されてもよい。第１画像には、ワークＷに貼られたテープや印刷物による影響はないが、隣り合うワークＷ同士の境界線が分かり難い。

続いて、第２画像取得部１５は、第２撮像システム１２により生成された第２画像を取得する（ステップＳ２）。取得した第２画像は、記憶部１３に記憶される。図３Ｂに示すように、第２画像は、第２撮像システム１２のカメラ１０により撮像された撮像物からの受光光量に応じた明度を有する。このため、第２画像は、ワークＷに貼られたテープや印刷物により明るさが異なる。また、第１のワーク配置領域Ａ１に配置された最上段のワークＷ以外のワークＷまたはその他の物も第２画像に含まれる。

そこで、第３画像生成部１６は、第１画像と第２画像とを合成し、第２画像から第１画像におけるしきい値以下の距離にある領域に対応する領域を抽出してなる第３画像を生成する（ステップＳ３）。具体的には、第３画像生成部１６は、第１画像をしきい値以下か否かに基づいて２値化し、第２画像を当該２値化された第１画像でフィルタリングする。すなわち、２値化された第１画像と第２画像とが重ね合わせられ、第２画像のうち２値化された第１画像におけるしきい値以下の領域を残してその他の領域が削除される。これにより、第３画像が生成される。この結果、第３画像は、図３Ｃに示すように、第２画像のうち、しきい値以下の距離に位置する最上段のワークＷの上面のみが含まれる画像となる。第１画像を２値化することにより、しきい値以下の距離にある領域を簡単かつ明確に抽出することができる。生成された第３画像は、記憶部１３に記憶される。

マッチング処理部１７は、記憶部１３からワークＷの上面形状のデータを読み出し、当該データにおけるワークＷの上面形状を第３画像にマッチングさせるパターンマッチング処理を行って、ワークＷの位置情報を特定する（ステップＳ４）。

上記のように、第３画像には、第２画像のうち、第１のワーク配置領域Ａ１に配置されたワークＷのうち、カメラ１０からの距離が最も近い（最上段の）ワークＷの上面のみが含まれる。したがって、当該第３画像に基づいてパターンマッチング処理を行うことにより、ワークＷ以外の物や最上段以外のワークＷの印刷物等によるノイズの影響を低減させることができる。これにより、パターンマッチング処理の精度を高くすることができ、ワークの位置情報を高精度に特定することができる。

次に、パターンマッチング処理をより高精度に行うための方法について説明する。本実施形態においては、図２に示すように、パターンマッチング処理を行う前に、第３画像生成部１６で生成された第３画像におけるワークＷの角部が抽出される角部抽出処理が行われる（ステップＳＯ１）。図４Ａ〜図４Ｄは、第３画像に対して行われる角部抽出処理を例示するための図である。

マッチング処理部１７は、図４Ａに示すような、第３画像生成部１６で生成され、記憶部１３に記憶された第３画像を読み出し、二値化する。この二値化処理においては、第２画像から削除された領域（以下、削除領域）か否かに基づいて二値化される。例えば、第３画像において削除領域を０とし、ワークＷの上面領域を印刷やテープの有無に拘わらず１とする。０と１とは反対でもよい。これにより、図４Ｂに示すような最上段のワークＷの上面領域とそれ以外との領域（削除領域）とで分けられた２階調の画像が得られる。二値化された画像は、記憶部１３に記憶される。

さらに、マッチング処理部１７は、二値化された画像を収縮および膨張させるオープニング処理を行う。オープニング処理を行うことにより、図４Ｃに示すような、最上段のワークＷの上面領域における角部が丸められた画像が得られる。オープニング処理には、第３画像のうち削除領域に接する境界部分の画素を除去する（１→０にする）収縮処理と、第３画像に接する削除領域の画素を第３画像に加える（０→１にする）膨張処理とが含まれる。オープニング処理においては、収縮処理および膨張処理を複数回繰り返す。このようなオープニング処理の特性により、処理後の画像は、角部が丸められる。言い換えると、オープニング処理後の画像は、角部が誤差として除去される。オープニング処理後の画像は、記憶部１３に記憶される。

その後、マッチング処理部１７は、二値化された画像（図４Ｂ）およびオープニング処理後の画像（図４Ｃ）を記憶部１３からそれぞれ読み出し、第３画像の角部を抽出する。具体的には、マッチング処理部１７は、二値化された画像からオープニング処理後の画像を差し引く処理を行う。これにより、図４Ｄに示すような、二値化された画像からオープニング処理で除去された角部のみの画像が得られる。図４Ｄにおいては、４つの角部が抽出されている。なお、二値化された画像からオープニング処理後の画像を差し引く処理の後、細かいノイズを除去する処理を行ってもよい。マッチング処理部１７は、角部のみの画像を用いて、第３画像における各角部の位置座標を特定する。特定された角部の位置座標は、記憶部１３に記憶される。このような角部のみの画像を用いて、第３画像の角部の位置を抽出することにより、パターンマッチング処理を行い易くすることができる。

さらに、マッチング処理部１７は、図２に示すように、パターンマッチング処理を行う前に、第３画像の角部と、ワークＷの上面形状のデータに基づく仮想ワークの角部とを位置合わせする位置合わせ処理を行う（ステップＳＯ２）。図５Ａ〜図５Ｃは、第３画像に対して行われる位置合わせ処理を例示するための図である。

マッチング処理部１７は、図４Ｄに示される角部のみの画像から抽出された第３画像の角部の位置座標の１つを記憶部１３から読み出す。マッチング処理部１７は、読み出した位置座標に対応する第３画像上の点を基準点Ｐに設定する。図５Ａにおいては、第３画像における４つの角部のうち左上の角部が基準点Ｐとして設定されていることが示されている。なお、基準点Ｐの設定は、図４Ｄに示される角部のみの画像と第３画像とを実際に重ねることによって設定することとしてもよい。

マッチング処理部１７は、記憶部１３に予め記憶されたワークＷの上面形状のデータを読み出し、基準点Ｐとして設定された角部にワークＷの上面形状のデータに基づく仮想ワークＶの角部を位置合わせする。この際、マッチング処理部１７は、仮想ワークＶが第３画像においてワークＷが存在する領域からはみ出ないような仮想ワークＶの配置態様を抽出する。例えば、マッチング処理部１７は、第３画像における削除利用域に接する境界部のうち、基準点Ｐである角部を含む２つの線分の両方に重なるような仮想ワークＶの配置態様を抽出する。抽出された仮想ワークＶの位置情報は記憶部１３に記憶される。

図５Ｂにおいては、第１の位置合わせ態様として、仮想ワークＶが縦向きに配置された態様が示され、図５Ｃにおいては、第２の位置合わせ態様として、仮想ワークＶが横向きに配置された態様が示されている。本実施形態の例では、これら２つの配置態様が考えられ、これらの態様の位置情報が記憶部１３に記憶される。

なお、位置情報は、ワークＷ単体の位置情報（所定の座標系における絶対位置）および複数のワークＷの配置態様（他のワークＷとの相対位置）の何れをも含み得る。また、一情報は、例えば、ワークＷの各角部の座標、ワークＷの境界部の座標、ワークＷの中心点の座標、所定の基準位置からの回転角度等を含み得る。

このような位置合わせ処理において、上記のように、第３画像の１つの角部（基準点Ｐ）において仮想ワークＶの配置方向が異なる複数の位置情報が存在する場合、マッチング処理部１７は、ぼかし処理を行う（ステップＳＯ３）。ぼかし処理において、マッチング処理部１７は、第３画像において当該複数の位置情報が重複する仮想ワークＶの領域をぼかして第４画像を生成する。

図６Ａ〜図６Ｃを用いてより詳しく説明する。図６Ａ〜図６Ｃは、第３画像に対して行われるぼかし処理を例示するための図である。まず、マッチング処理部１７は、第３画像および一の基準点Ｐに基づく複数の仮想ワークＶの位置情報を読み出し、第３画像上に、複数の仮想ワークＶを配置する。次に、マッチング処理部１７は、複数の仮想ワークＶのうち、重複している領域を重複部Ｑとして抽出する。図６Ａに示すように、複数の仮想ワークＶは、重複部Ｑと、重複していない領域Ｒとに区画される。

マッチング処理部１７は、区画された各領域Ｑ，Ｒに対して相似形を保ったまま縮小する収縮（erosion）処理を行い、図６Ｂに示すような、重複部Ｑが第３画像の境界上に存在しないようなぼかし領域Ｓを生成する。マッチング処理部１７は、第３画像におけるぼかし領域Ｓをぼかす処理を行い、図６Ｃに示すような、基準点Ｐに基づくぼかし領域Ｓがぼけた第４画像を生成する。

同様に、マッチング処理部１７は、第３画像における他の角部においても、位置合わせ処理およびぼかし処理を行うことにより、すべての角部に基づいて生成されたぼかし領域Ｓがぼけた第４画像が生成される。生成された第４画像は、記憶部１３に記憶される。ぼかし領域Ｓは、領域内にワークＷの境界が位置することがない領域として定義される。言い換えると、第３画像におけるぼかし領域Ｓ内に生じる明度差は、すべてノイズとして扱うことができる。

なお、ぼかし領域Ｓをぼかす代わりに、ぼかし領域Ｓのノイズを除去する処理を行う（例えばぼかし領域Ｓ内の明度を最大にする）こととしてもよい。ただし、ぼかし領域Ｓのノイズを除去する処理を行うと、ぼかし領域Ｓの境界線がノイズとして現れる可能性がある。一方、上述したように、ぼかし領域Ｓ内の画像をぼかすことにより、新たなノイズを生成することなく、ぼかし領域Ｓのノイズを低減させることができる。

これにより、位置情報を特定すべきワークＷの上面のテープおよび印刷等によるノイズを少なくすることができ、特定精度をより高くすることができる。

なお、ぼかし処理を行う際には、予め上記角部抽出処理を行うことが好ましい。しかし、本発明はこれに限られず、別途何らかの方法で角部を特定する（例えばオペレータが第３画像を目視して角部を指定する等）ことによってもぼかし処理を行うことができる。また、上記角部抽出処理を行わない場合等、角部の正確な座標が特定されない場合であっても、ある程度角部が存在する領域が特定した上で、当該領域に含まれる第３画像の境界の交点を求めることで角部の位置座標を特定することとしてもよい。

次に、本実施形態におけるパターンマッチング処理について説明する。図７Ａ〜図７Ｃは、第３画像に対して行われるパターンマッチング処理を例示するための図である。マッチング処理部１７は、第３画像、角部の位置情報、角部に対する仮想ワークＶの位置情報を読み出し、第３画像における一の角部（基準点Ｐ）に対応する仮想ワークＶの位置情報から各仮想ワークＶにおけるワークＷの予想中心領域Ｔを生成する。図７Ａに示すように、本実施形態における例では、１つの角部に対して２つの予想中心領域Ｔが生成される。

さらに、マッチング処理部１７は、生成された１以上の予想中心領域Ｔに対応する第３画像上の位置に、仮想ワークＶを配置することにより、第３画像と仮想ワークＶとのパターンマッチングを行う。その結果、マッチング処理部１７は、図７Ｂに示すように、ワークＷの配置態様の検出結果を検出ワーク領域Ｚとして設定し、検出ワーク領域Ｚの位置情報を記憶部１３に記憶する。その後、マッチング処理部１７は、検出ワーク領域Ｚの検出に用いた角部を削除する処理を行う。削除された角部は、図７Ｃにおいて符号Ｕで示される。

マッチング処理部１７は、削除されていない角部があるか否かを検索し、削除されていない角部があれば、当該角部を基準点Ｐとして、上記と同様にパターンマッチング処理を行う。この際、マッチング処理部１７は、検出ワーク領域Ｚに他の角部に基づく仮想ワークＶが重ならないように条件付けされる。このようにして、削除されていない角部が存在しなくなるまで上記パターンマッチング処理を繰り返す。

この結果、記憶部１３に記憶された検出ワーク領域Ｚの位置情報がワークＷの位置情報として特定される。特定されたワークＷの位置情報は、ロボットコントローラ３に送られる。ロボットコントローラ３は、ワークＷの位置情報に基づいて、ロボット２を制御する。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない範囲内で種々の改良、変更、修正が可能である。

例えば、上記実施形態においてはパターンマッチング処理の前処理として、角部抽出処理、位置合わせ処理およびぼかし処理を行っているが、これらの前処理を行わずにパターンマッチング処理を行うこととしてもよい。また、上記パターンマッチング処理の前処理のうち、少なくとも１つを選択的に行うこととしてもよい。

本発明のワークの位置情報特定装置および方法は、ワークの位置情報を高精度に特定するために有用である。

１ ロボット制御システム
２ ロボット
２ａ ハンドツール
３ ロボットコントローラ
４ パレット
５ 第１の搬送装置
６ 第２の搬送装置
７ 位置情報特定装置
８ 撮像システム
９ 処理装置
１０ カメラ
１１ 第１撮像システム
１２ 第２撮像システム
１３ 記憶部
１４ 第１画像取得部
１５ 第２画像取得部
１６ 第３画像生成部
１７ マッチング処理部
１８ 照射部
１９ 画像処理部
２０ 照明部
Ａ１ 第１のワーク配置領域
Ａ２ 第２のワーク配置領域
Ｗ ワーク

Claims (7)

1. 平面視において略多角形の形状かつ上面が平面状である１以上のワークが所定のワーク配置領域に配置された状態における前記ワークの位置情報を特定するためのワークの位置情報特定装置であって、
   前記ワークの上面形状のデータを記憶する記憶部と、
   前記ワーク配置領域の上方に設置されたカメラを用いて前記ワーク配置領域にある物を撮像した画像であって撮像された物（以下、撮像物）が当該カメラと当該撮像物との間の距離に応じた明度を有する第１画像を生成する第１撮像システムと、
   前記ワーク配置領域の上方に設置されたカメラによって前記ワーク配置領域にある物を撮像した画像であって前記撮像物が当該カメラにおける当該撮像物からの受光光量に応じた明度を有する第２画像を生成する第２撮像システムと、
   前記第１撮像システムから前記第１画像を取得する第１画像取得部と、
   前記第２撮像システムから前記第２画像を取得する第２画像取得部と、
   前記第１画像と前記第２画像とを合成し、前記第２画像から前記第１画像における所定のしきい値以下の距離にある領域に対応する領域を抽出してなる第３画像を生成する第３画像生成部と、
   前記記憶部から前記ワークの上面形状のデータを読み出し、当該データにおける前記ワークの上面形状を前記第３画像にマッチングさせるパターンマッチング処理を行って、前記ワークの位置情報を特定するマッチング処理部と、を備えた、ワークの位置情報特定装置。
2. 前記第１撮像システムは、レーザスリット光を走査しながら前記ワーク配置領域に照射する照射部と、当該照射部から離間して前記ワーク配置領域の上方に配置された前記カメラと、当該カメラにおける前記ワーク配置領域にある物により反射された前記レーザスリット光の受光位置に基づいて前記第１画像を生成する第１画像生成部と、を備えている、請求項１に記載のワークの位置情報特定装置。
3. 前記第１撮像システムのカメラは、前記第２撮像システムのカメラとして用いられるように構成される、請求項１または２に記載のワークの位置情報特定装置。
4. 前記第３画像生成部は、前記第１画像を前記しきい値以下か否かに基づいて２値化し、前記第２画像を当該２値化された第１画像でフィルタリングすることにより第３画像を生成する、請求項１から３の何れかに記載のワークの位置情報特定装置。
5. 前記マッチング処理部は、前記パターンマッチング処理を行う前に、前記第３画像生成部で生成された前記第３画像を二値化し、当該二値化された画像を収縮および膨張させるオープニング処理を行い、前記二値化された画像から前記オープニング処理後の画像を差し引くことで前記第３画像の角部を抽出する角部抽出処理を行う、請求項１から４の何れかに記載のワークの位置情報特定装置。
6. 前記マッチング処理部は、前記パターンマッチング処理を行う前に、
   前記第３画像の角部を抽出する角部抽出処理と、
   前記第３画像の角部と、前記ワークの上面形状のデータに基づく仮想ワークの角部とを位置合わせする位置合わせ処理と、
   前記位置合わせ処理において、前記第３画像の１つの角部において前記仮想ワークの配置方向が異なる複数の位置情報が存在する場合、前記第３画像において当該複数の位置情報が重複する前記仮想ワークの領域をぼかして第４画像を生成するぼかし処理とを行う、請求項１から５の何れかに記載のワークの位置情報特定装置。
7. 平面視において略多角形の形状かつ上面が平面状である１以上のワークが所定のワーク配置領域に配置された状態における前記ワークの位置情報を特定するためのワークの位置情報特定方法であって、
   前記ワーク配置領域の上方に設置されたカメラを用いて前記ワーク配置領域にある物を撮像した画像であって撮像された物（以下、撮像物）が当該カメラと当該撮像物との間の距離に応じた明度を有する第１画像を生成し、
   前記ワーク配置領域の上方に設置されたカメラによって前記ワーク配置領域にある物を撮像した画像であって前記撮像物が当該カメラにおける当該撮像物からの受光光量に応じた明度を有する第２画像を生成し、
   前記第１画像と前記第２画像とを合成し、前記第２画像から前記第１画像における所定のしきい値以下の距離にある領域に対応する領域を抽出してなる第３画像を生成し、
   前記記憶部から前記ワークの上面形状のデータを読み出し、当該データにおける前記ワークの上面形状を前記第３画像にマッチングさせるパターンマッチング処理を行って、前記ワークの位置情報を特定する、ワークの位置情報特定方法。