JP2022120664A - ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラム - Google Patents

Abstract

【課題】積載エリアにおいてワークの一部が隠れていてもワークの位置を正確且つ高精度に検出するワーク検出装置及び方法を提供する。【解決手段】ワーク検出装置は、撮像画像に写る補助装置を積載エリア内の補助装置の実在領域を撮像画像から除外可能となるように検出し、実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、積載エリア内のワークの存在位置を検出し、存在位置が判明したワークの画像に第１のマッチングでマッチしたワークモデルの形状データについて、実在領域のうちのワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成し、新たな形状データが示すワークモデルと、ワークの画像との第２のマッチングを施して、積載エリア上のワークの実積載位置を特定する。【選択図】図４

Description

本発明は、ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラムに関する。

従来、積載エリアに積載した複数の板状部材等のワークを供給ロボット等のローディング装置によって、曲げ加工等を行うプレスブレーキ等の加工機（ベンディングマシン）へ供給することが行われている。そして、ローディングに際しては、例えば磁力によってワークを浮上させて他のワークから分離するマグネットフロータや、エアの噴射圧力によってワークを他のワークから分離するエアセパレータ等のワークめくり装置（ワーク一枚取り装置）が用いられている。

通常、エアセパレータ等のワークめくり装置は、積載エリアに隣接する位置に設置された設置台に固定された状態で設けられている。このため、積載エリアに対し積載された複数のワークが一箇所に置かれ、これらのワークに対応するワークめくり装置が一つ配置されることが行われている。

一方で、例えば積載エリアが広い場合は、種類の異なる複数のワークを積載エリア内の複数箇所に配置することも想定される。このような場合、各ワークに対応するワークめくり装置を積載エリア内に複数配置することで対応を図るとするならば、積載エリア内には複数のワークとワークめくり装置とが混在する状態となる。なお、積載エリア内に配置されているワークの位置を検出するワーク検出装置（例えば、特許文献１参照）では、単眼カメラによってワークを撮像してその位置を検出することが行われている。

特開２０１８－１２０３８８号公報

しかしながら、上記のような複数のワークとワークめくり装置とが混在した状態の積載エリアにおいては、ワークめくり装置の一部がワーク上に配置される場合があるので、このような場合は単眼カメラの撮像範囲においてワークの一部を隠してしまうこととなり、ワークの位置を正確且つ高精度に検出することが難しくなる。

本発明は、上記事情に鑑みてなされたもので、積載エリアにおいてワークの一部が隠れていてもワークの位置を正確且つ高精度に特定しワークを検出することができるワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラムを提供することを目的とする。

本発明に係るワーク検出装置は、ワークが積載されると共に前記ワークに対する作業を補助する配置自在な可搬性を備えた補助装置の一部が前記ワーク上に配置された積載エリアを、撮像装置によって撮像した撮像画像に基づいて、前記積載エリア内の前記ワークを検出するワーク検出装置であって、前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出する装置検出部と、前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出する第１検出部と、前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成するデータ作成部と、前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定する第２検出部と、を備える。

本発明の一実施形態において、前記データ作成部は、前記形状データの前記輪郭成分を表す線分を分割又は消去して無効化する編集を行う。

本発明の他の実施形態において、前記第２検出部は、前記第１検出部による前記第１のマッチングよりも探索範囲を絞り込んで前記第２のマッチングを行う。

本発明の更に他の実施形態において、前記データ作成部及び前記第２検出部は、前記新たな形状データを作成して前記第２のマッチングを施すことを、前記探索範囲を段階的に絞り込みながら複数回連続して繰り返し行う。

本発明の更に他の実施形態において、前記第２検出部は、前記実積載位置として、前記積載エリア上の前記ワークの高さ、大きさ及び回転角度を含む三次元位置を特定する。

本発明の更に他の実施形態において、前記装置検出部は、前記補助装置の装置本体の天面部に少なくとも設けられた、前記補助装置の位置及び方向を識別可能な指標を検出し、検出された前記指標を予め記憶された指標モデル画像が示す指標とマッチングして、前記積載エリア内の前記補助装置の配置位置及び配置の向きを検出し、前記実在領域を算出する。

本発明に係るワーク検出方法は、ワークが積載されると共に前記ワークに対する作業を補助する配置自在な可搬性を備えた補助装置の一部が前記ワーク上に配置された積載エリアを、撮像装置によって撮像した撮像画像に基づいて、前記積載エリア内の前記ワークを検出するワーク検出方法であって、前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出する工程と、前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出する工程と、前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成する工程と、前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定する工程と、を含む。

本発明の一実施形態において、前記形状データを作成する工程では、前記形状データの前記輪郭成分を表す線分を分割又は消去して無効化する編集を行う。

本発明の他の実施形態において、前記実積載位置を特定する工程では、前記存在位置を検出する工程での前記第１のマッチングよりも探索範囲を絞り込んで前記第２のマッチングを行う。

本発明の更に他の実施形態において、前記形状データを作成する工程及び前記実積載位置を特定する工程では、前記新たな二次元形状データを作成して前記第２のマッチングを施すことを、前記探索範囲を段階的に絞り込みながら複数回連続して繰り返し行う。

本発明の更に他の実施形態において、前記実積載位置を特定する工程では、前記実積載位置として、前記積載エリア上の前記ワークの高さ、大きさ及び回転角度を含む三次元位置を特定する。

本発明の更に他の実施形態において、前記補助装置を検出する工程では、前記補助装置の装置本体の天面部に少なくとも設けられた、前記補助装置の位置及び方向を識別可能な指標を検出し、検出された前記指標を予め記憶された指標モデル画像が示す指標とマッチングして、前記積載エリア内の前記補助装置の配置位置及び配置の向きを検出し、前記実在領域を算出する。

本発明に係るワーク検出システムは、積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を備えた補助装置と、前記積載エリアを撮像可能な撮像装置と、前記撮像装置によって撮像された撮像画像に基づいて、前記補助装置の一部が前記ワーク上に配置された前記積載エリア内の前記ワークを検出するワーク検出装置と、を備え、前記ワーク検出装置は、前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出する装置検出部と、前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出する第１検出部と、前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成するデータ作成部と、前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定する第２検出部と、を有する。

本発明の一実施形態において、前記ワーク検出装置からの検出結果に基づいて、検出された前記ワークに対する前記補助装置の動作を制御する制御装置をさらに備える。

本発明に係るワーク検出プログラムは、ワークが積載されると共に前記ワークに対する作業を補助する配置自在な可搬性を備えた補助装置の一部が前記ワーク上に配置された積載エリアを、撮像装置によって撮像した撮像画像に基づいて、前記積載エリア内の前記ワークを検出するワーク検出プログラムであって、コンピュータに、前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出させる工程と、前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出させる工程と、前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成させる工程と、前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定させる工程と、を実行させる。

本発明によれば、積載エリアにおいてワークの一部が隠れていてもワークの位置を正確且つ高精度に特定しワークを検出することができる。

本発明の一実施形態に係るワーク検出システムの構成例を概略的に示す斜視図である。 同ワーク検出システムにおけるワーク検出装置の機能的構成を概略的に示すブロック図である。 同ワーク検出装置のハードウェア構成を概略的に示す構成図である。 同ワーク検出システムにおけるワーク検出処理の一例を示すフローチャートである。 同ワーク検出処理における装置検出処理の一例を示すフローチャートである。 同ワーク検出システムの撮像装置により撮像された撮像画像を概念的に示すイメージ図である。 同ワーク検出システムにおける補助装置を概略的に示す斜視図である。 同補助装置に設けられた指標の一例を示す図である。 同指標の他の例を示す図である。 同撮像画像における補助装置の実在領域を概念的に示すイメージ図である。 同撮像画像を用いた第１のマッチングを概念的に説明するためのイメージ図である。 同撮像画像におけるワークの画像と探索範囲内でマッチングされたワークモデルを概念的に説明するためのイメージ図である。 同撮像画像を用いたデータ作成及び第２のマッチングを概念的に説明するためのイメージ図である。

以下、添付の図面を参照して、本発明の実施形態に係るワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラムを詳細に説明する。ただし、以下の実施形態は、各請求項に係る発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、本実施形態においては、各構成要素の縮尺や寸法が誇張されて示されている場合や、一部の構成要素が省略されている場合がある。

図１は、本発明の一実施形態に係るワーク検出システム１００の構成例を概略的に示す斜視図である。図１に示すように、本実施形態に係るワーク検出システム１００は、パレットＰ上の積載エリアＴＡ内に積載されたワークＷに対する作業（例えば、曲げ加工機等へのローディング等）を補助する補助装置としてのワークめくり装置１０と、積載エリアＴＡを撮像可能な撮像装置としてのカメラ２０と、を備える。

また、ワーク検出システム１００は、ワーク検出システム１００全体の制御を行うＮＣ装置等の機能を有すると共に、カメラ２０によって撮像された撮像画像に基づいて画像解析や画像補正等の画像処理全般を行う画像処理装置の機能を有し、積載エリアＴＡ上のワークＷの実際の積載位置（実積載位置）を特定しワークを検出するワーク検出装置３０を備える。

なお、本実施形態においては、ワーク検出装置３０は、表示装置としてのディスプレイ６９と、キーボードやマウス等の入力装置からなる入力部３５ａと、を備えて構成されているが、これらディスプレイ６９及び入力部３５ａに代わり同等の機能を備えることができるもの（例えば、遠隔から利用可能な表示手段や入力手段等）であれば、これに限定されるものではない。

また、本実施形態においては、例えば、曲げ加工機等の加工機や、ワーク保持用ロボット等のローディング装置については図示は省略するが、これらの加工機やローディング装置等は、ワーク検出装置３０により各種動作を制御可能な状態でワーク検出システム１００に含まれていても良い。

また、本実施形態においては、補助装置としてワークめくり装置１０を例に挙げて説明するが、補助装置はワークＷに対する各種の作業を補助することができるものであれば、これに限定されるものではない。さらに、図示は省略するが、各ワークめくり装置１０、カメラ２０及びワーク検出装置３０は、それぞれ有線又は無線により、互いにデータや信号を送受信可能に接続されている。

ワークめくり装置１０は、配置自在な可搬性を備え、パレットＰ上の積載エリアＴＡ内に複数配置されたワークＷにそれぞれ対応するように、積載エリアＴＡの内外の複数箇所に自在に配置され得る。本実施形態においては、ワークめくり装置１０は、積載エリアＴＡ内において各ワークＷに対し、その一部がワーク上に配置されるように、例えば一対一で対応するように複数配置され得る。このワークめくり装置１０の詳細な構成については後述する。

カメラ２０は、例えば安価で汎用性の高い単眼カメラ（すなわち、１台のカメラ）により構成され、積載エリアＴＡの全体を撮像範囲として撮像可能となるように、パレットＰの積載エリアＴＡの中央直上に、カメラスタンド２１等の支持部材を介して配置されている。なお、カメラ２０によるパレットＰ上の積載エリアＴＡの撮像に関して、得られる撮像画像の各種キャリブレーションは予め行われているものとする。

また、図示は省略するが、パレットＰの周囲所定箇所には、積載エリアＴＡに積載されたワークＷに照射光を照射する、複数個の発光ダイオード（LED）等を有する照明設備が設けられている。カメラ２０により積載エリアＴＡを撮像する際には、この照明設備によってワークＷに照明光を照射するようにすれば、撮像画像の明るさを適正露出にて適切に調整することができる。

一方、ワーク検出装置３０は、機能的には次のように構成されている。
図２は、ワーク検出システム１００におけるワーク検出装置３０の機能的構成を概略的に示すブロック図であり、図３はワーク検出装置３０のハードウェア構成を概略的に示す構成図である。

図２に示すように、カメラ２０により撮像された撮像画像の画像データは、ワーク検出装置３０に入力される。ワーク検出装置３０は、機能的には、画像取得部３１と、画像処理部３２と、演算部３３と、記憶部３４と、操作部３５と、を備える。なお、ワークＷの検出は、主に装置検出部３６、第１検出部３７、データ作成部３８及び第２検出部３９を有する画像処理部３２によって行われる。

ここで、画像取得部３１は、カメラ２０から出力された撮像画像の画像データを取得する。画像処理部３２は、画像取得部３１が取得した画像データに対して、例えば二値化処理、モルフォロジー処理、ニュートン法を用いた近似処理、テンプレートマッチング等のマッチング処理等を含む各種画像変換・画像解析処理（以下、このような処理を「画像処理」と総称する。）を施す。

なお、画像データ（ラスタデータ）は、画像処理部３２による画像処理によって、積載エリアＴＡ内のワークめくり装置１０やワークＷ等の写し出された各物体の輪郭成分を特徴量（幾何学形状データ）として抽出し、線状に繋げた線分で表現可能な数値データ（ベクタデータ）に変換され得るもので、後述する各マッチングは、処理負荷の軽減を図るため、特に言及しない場合ベクタデータ同士で行われ得る。

画像処理部３２の装置検出部３６は、画像データが示す撮像画像に写るワークめくり装置１０を、積載エリアＴＡ内のワークめくり装置１０の実在領域を算出し、撮像画像から除外可能となるようにワークめくり装置１０を検出する。なお、ワーク検出システム１００におけるワークめくり装置１０の検出についての詳細は後述する。

第１検出部３７は、装置検出部３６によりワークめくり装置１０の実在領域が除外された撮像画像を探索範囲として、この探索範囲に写るワークＷの画像と、記憶部３４に予め記憶された各種ワークＷの二次元形状を表す形状データからなるワークモデルとのマッチング（第１のマッチング）を行う。そして、第１検出部３７は、積載エリアＴＡ内のワークＷの大体の位置を表す存在位置を検出する。

データ作成部３８は、第１検出部３７により存在位置が判明したワークＷの画像に対してマッチしたワークモデルの形状データについて、ワークめくり装置１０の実在領域のうちのワークＷ上に被る領域（図６参照）に重なる部分の輪郭成分を表す線分を編集して、新たな形状データを作成する。具体的には、データ作成部３８は、形状データの輪郭成分を表す線分を分割又は消去して無効化するように編集を行う。

そして、第２検出部３９は、データ作成部３８により作成された新たな形状データが示すワークモデルと、ワークＷの画像とのマッチング（第２のマッチング）を行って、積載エリアＴＡ上のワークＷの実際の積載位置である実積載位置を特定することでワークＷを検出する。具体的には、第２検出部３９は、ワークＷの実積載位置として、積載エリアＴＡ上のワークＷの高さ、ワークＷの大きさ及びワークＷの回転角度を含む三次元位置を特定する。

なお、例えば第２検出部３９でのマッチングは、検出精度の向上を目的として、第１検出部３７でのマッチングよりも探索範囲を絞り込んで（すなわち、積載エリアＴＡ全体を探索範囲とするのではなく、ワークＷの画像及びワークモデルを拡大したものを探索範囲として）行われても良い。また、データ作成部３８による形状データの作成と、第２検出部３９によるマッチングは、さらに検出精度を向上させるべく、上記探索範囲を段階的に絞り込みながら複数回連続して行われても良い。

演算部３３は、画像処理部３２からの検出結果に基づいて、検出されたワークＷに対応するワークめくり装置１０の動作を制御するための演算、及びワーク検出システム１００全体を制御するための演算等の各種演算処理を行って、各部に対して制御出力を行う。記憶部３４は、ワークＷやワークめくり装置１０を二次元又は三次元で表すＣＡＤデータ（形状データ）、各種形状のワークＷの基準となるモデル（ワークモデル）画像を含む各種の画像データ、各種プログラムデータ等の、ワーク検出装置３０にて利用する各種のデータを読み書き可能に記憶する。

なお、ワークモデル画像は、例えば積載エリアＴＡ上に実際に積載されたワークＷの配置箇所や積載高さ、回転具合等によってカメラ２０で撮像した際に見た目が異なって写る複数の画像（例えば、傾いて見えたりする画像や、歪んで見たりする画像等）が、各ワークＷ毎に複数種類記憶されていても良く、上述した形状データ（各画像に応じて寸法が変更された形状データ）とそれぞれ紐付けられていても良い。また、操作部３５は、ワーク検出装置３０のユーザによる操作入力を、入力部３５ａを介して受け付ける。

図３に示すように、ワーク検出装置３０は、ハードウェア構成として、例えばＣＰＵ６１と、ＲＡＭ６２と、ＲＯＭ６３と、ＨＤＤ（ハードディスクドライブ）６４と、ＳＳＤ（ソリッドステートドライブ）６５と、を備える。また、ワーク検出装置３０は、入力Ｉ／Ｆ（インタフェース）６６と、出力Ｉ／Ｆ（インタフェース）６７と、通信Ｉ／Ｆ（インタフェース）６８と、を備える。各構成部６１～６８は、それぞれバス６０によって相互に接続されている。

ＣＰＵ６１は、ＲＡＭ６２、ＲＯＭ６３、ＨＤＤ６４、ＳＳＤ６５等に記憶された各種プログラムを実行することでワーク検出装置３０を含めたワーク検出システム１００の全体を制御すると共に、ワーク検出プログラムを実行することで、上記画像処理部３２及び演算部３３の機能を実現する。

ＲＡＭ６２は、ＣＰＵ６１の作業領域として使用され得る。ＲＯＭ６３は、上記各種プログラムを少なくとも読み出し可能に格納する。ＨＤＤ６４及びＳＳＤ６５は、上述した各種のデータを読み書き可能に記憶し、ＲＡＭ６２、ＲＯＭ６４と共に上記記憶部３４の機能を実現する。

入力Ｉ／Ｆ６６には、カメラ２０が接続されて撮像画像が取得される。従って、入力Ｉ／Ｆ６６は、上記画像取得部３１の機能を実現する。これと共に、入力Ｉ／Ｆ６６には、上記操作部３５の入力部３５ａとして機能するタッチパネル６９ａが接続され、ユーザからの操作入力に伴う情報を受け付ける。なお、入力Ｉ／Ｆ６６には、図示しないキーボードやマウス等の入力手段も接続され得る。

出力Ｉ／Ｆ６７には、例えば、タッチパネル６９ａが内蔵された、ワーク検出装置３０のディスプレイ６９が接続され、モニタ表示される各種情報が出力される。なお、ワーク検出装置３０は、通信Ｉ／Ｆ６８を介して、図示しないインターネット等のネットワークや外部機器等と接続され得る。

このように構成されたワーク検出装置３０を備えたワーク検出システム１００におけるワーク検出処理は、例えば次のように行われる。
図４は、ワーク検出システム１００におけるワーク検出処理の一例を示すフローチャートであり、図５はワーク検出処理におけるワークめくり装置１０の装置検出処理の一例を示すフローチャートである。また、図６は、ワーク検出システム１００のカメラ２０により撮像された撮像画像を概念的に示すイメージ図、図７はワーク検出システム１００におけるワークめくり装置１０を概略的に示す斜視図である。

ワークＷの検出に際しては、図４に示すように、まず、カメラ２０によってワークＷ及びワークめくり装置１０が積載・配置された積載エリアＴＡを撮像し（ステップＳ１００）、ワーク検出装置３０に撮像画像の画像データを出力する。次に、ワーク検出装置３０は、画像取得部３１を介して撮像画像の画像データを取得し、上述したように画像データを画像解析する（ステップＳ１０１）。

ここで、図６に示すように、パレットＰの上方に設置されたカメラ２０により撮像された撮像画像２２には、積載エリアＴＡ上に積載されたワークＷと共に、装置本体１０Ａ及びめくりユニット１０Ｂ（これらについては後述する）を有するワークめくり装置１０が、例えばその一部（めくりユニット１０Ｂの一部）がワークＷの一部分上に被るように写し出される。

一般的に、このような状態でワークＷ及びワークめくり装置１０が写し出された撮像画像２２を用いてワークＷの検出を試みても、めくりユニット１０ＢのワークＷ上に被った部分がその下のワークＷの輪郭部分や形状等を見えなくしているため、該当部分を認識できなくなり、マッチングによるワークＷの検出に失敗（誤検出）してしまうことが頻発する。

そこで、本実施形態のワーク検出装置３０は、上記ステップＳ１０１の画像解析後の撮像画像２２に基づいて、前もって積載エリアＴＡ内のワークめくり装置１０を検出する装置検出処理（ステップＳ１０２）を実行する。このステップＳ１０２の装置検出処理は、装置検出部３６において、例えば次のように行われる。

図５に示すように、装置検出処理においては、まず、エッジ検出処理等によって、例えばワークめくり装置１０に設けられたマーカ１４，１５（図６参照）の検出を行う（ステップＳ１１０）。ここで、マーカ１４，１５等について説明する。マーカ１４，１５等は、ワークめくり装置１０の位置及び方向を識別可能に表示するものである。

前提として、図７に示すように、ワークめくり装置１０は、例えば上面視矩形状の外形を有する装置本体１０Ａと、この装置本体１０Ａに対して移動可能且つワークＷに接触して保持可能となるように、装置本体１０Ａに対していわゆる片持ち状に設けられためくりユニット１０Ｂと、を備える。

めくりユニット１０Ｂは、例えばエアの噴射圧力及び吸着力によって、パレットＰ上の積載エリアＴＡ内に積載された複数の板状のワークＷのうちの最上部のワークＷを、他のワークＷからめくって分離する機能を有する。このように、ワークめくり装置１０は、めくりユニット１０ＢによってワークＷを一枚取りするための一枚取り装置として用いられ得るが、一枚取り装置の詳細構成については公知であるため、ここでは説明を省略する。なお、本実施形態のワークめくり装置１０においては、めくりユニット１０Ｂの配置側を装置の前方側と定義する。

装置本体１０Ａは、装置の上方側に設けられた天面部１１と、この天面部１１から装置の前方側において左右二箇所で傾斜する斜面部１２と、天面部１１（及び斜面部１２）と装置の左右側において繋がる一対の側面部１３と、を有する。装置本体１０Ａの天面部１１、斜面部１２及び一対の側面部１３の所定箇所には、それぞれワークめくり装置１０の位置及び方向を識別可能な指標としてのマーカ１４，１５，１６が設けられる。

具体的には、マーカ１４，１６は、装置本体１０Ａの天面部１１及び一対の側面部１３の所定箇所に複数設けられ、マーカ１５は、装置本体１０Ａの斜面部１２の所定箇所に複数設けられている。より具体的には、マーカ１４は、装置本体１０Ａの天面部１１における装置の後方側に近い左右二箇所に設けられており、マーカ１６は、装置本体１０Ａの一対の側面部１３における装置の上方側に近い箇所にそれぞれ設けられている。すなわち、マーカ１６は、マーカ１４の側方かつ直下に設けられている。また、マーカ１５は、装置本体１０Ａの二箇所の斜面部１２における傾斜方向両端部近傍箇所にそれぞれ設けられている。

図８は、ワークめくり装置１０に設けられたマーカ１４～１６の一例を示す図であり、図９はマーカ１４～１６の他の例を示す図である。ワークめくり装置１０の装置本体１０Ａに設けられたマーカ１４，１５，１６は、例えば、公知のＡｒＵｃｏマーカやＣｈＡｒＵｃｏマーカ等を含むＡＲ（拡張現実）マーカにより構成することができる。

図８に示すように、マーカ１４（１５，１６）は、マーカ全体を表す全体領域１８と、マーカによる位置及び方向を識別させるための識別領域１９と、を少なくとも備えたフィルム状部材や板状部材により構成されている。なお、図１、図６及び図７等においては、マーカ１４～１６の識別領域１９の図示は省略している。

マーカ１４～１６の識別領域１９の形状は、例えば図８に示す例では単純な矩形を組み合わせた形状であるが、図９（ａ）～図９（ｇ）に示すように、複数の矩形や正方形を組み合わせたり、全体領域１８内の識別領域１９の位置を変更したりと、ワークめくり装置１０の位置及び方向を、少なくともそれ単体で識別できる形状であれば、図示のものに限定されるものではなく、より複雑な形状や、より単純な形状等の種々の形状を採用し得る。

また、マーカ１４～１６は、カメラ２０の画素数や撮影解像度等の撮像性能に応じてその寸法（全体領域１８及び識別領域１９の大きさや形状等）が設定され得るが、積載エリアＴＡを上方から撮像した撮像画像２２から十分にワークめくり装置１０の配置位置及び配置の向きを判別可能となるように検出され得るものであれば、少なくとも装置本体１０Ａの天面部１１に一つ設けられていれば良い。すなわち、ワークめくり装置１０が正規の配置状態である場合は、天面部１１が撮像画像に最も写り込みやすいからである。

なお、装置本体１０Ａの一対の側面部１３に設けられたマーカ１６は、例えばワークめくり装置１０が何らかのアクシデント（例えば、図示しないローディング装置のロボットアーム等と衝突する等）により転倒した場合であっても、ワークめくり装置１０の位置及び方向（積載エリアＴＡ内における転倒時の配置位置及び配置の向き）を識別可能とするために設けられている。

再び図５に戻り、上記ステップＳ１１０にてマーカ１４，１５を検出したら、各マーカ１４，１５の全体領域１８の四隅のピクセル（画素）位置を表す位置情報を算出し、記憶部３４に記憶する（ステップＳ１１１）。なお、ピクセル（画素）とは、ワーク検出装置３０で撮像画像２２を取り扱うときの色情報（色調、階調等）を持つ最小単位又は最小要素のことを言う。

次に、各マーカ１４，１５について、記憶部３４に記憶されたＣＡＤデータにより示されるワークめくり装置１０の各部の寸法情報や、マーカモデルの画像を表す画像データ等の各種データに基づいて、ワークめくり装置１０において実際に配置されたマーカ１４，１５の位置を示すモデル位置の位置情報を取得する（ステップＳ１１２）。

そして、装置検出部３６は、以下のステップＳ１１３～ステップＳ１１６の処理を、複数回（例えば、５回）繰り返す。すなわち、取得したモデル位置と記憶したピクセル位置をニュートン法等の近似処理にかけて、マーカ１４，１５の積載エリアＴＡ内での物理的な三次元位置（ｘ，ｙ，ｚ位置）と回転（ｒｚ）を算出する（ステップＳ１１３）。

次に、三次元位置と回転を算出したら、その算出結果に基づく物理的な三次元位置（ｘ，ｙ，ｚ位置）と回転（ｒｚ）を反映した状態のマーカ１４，１５を表すマーカ画像を生成する（ステップＳ１１４）。そして、生成したマーカ画像が表すマーカ１４，１５を、例えば記憶部３４に予め記憶された、三次元位置や回転の状態に応じてそれぞれ異なる各種のマーカモデル画像と、例えばテンプレートマッチング処理（ステップＳ１１５）を行うことによって探索する。こうして探索したマーカモデル画像が示すマーカ１４，１５のマッチング情報（ｘ，ｙ，ｚ位置及び回転ｒｚ）を基に、記憶部３４に記憶されたマーカ１４，１５のピクセル位置を表す位置情報を更新する（ステップＳ１１６）。

このようなステップＳ１１３～ステップＳ１１６を複数回繰り返した後に、例えばマッチング情報が十分に収束したか否かを判断し（ステップＳ１１７）、十分に収束していないと判断した場合（ステップＳ１１７のＮｏ）は、上記ステップＳ１１３に移行して以降の処理を繰り返す。

一方、十分に収束したと判断した場合（ステップＳ１１７のＹｅｓ）、記憶部３４に記憶されている各種データに基づいて、ワークめくり装置１０を撮像画像２２から除外可能となるように、積載エリアＴＡ内におけるワークめくり装置１０の実在領域Ｒ（図１０参照）を算出して、ワークめくり装置１０を検出する（ステップＳ１１８）。なお、図１０は、撮像画像２２におけるワークめくり装置１０の実在領域Ｒを概念的に示している。こうしてワークめくり装置１０を検出したら、本フローチャートによる装置検出処理を終了して、図４のステップＳ１０３に移行する。

すなわち、ステップＳ１０３では、ワークＷの誤検出を回避するため、マッチングの探索範囲である積載エリアＴＡを写した撮像画像２２から、図１０に示すように、画像処理部３２においてワークめくり装置１０の実在領域Ｒの画素範囲を抽出して、抽出した実在領域Ｒを処理対象から除外する（ステップＳ１０３）。

そして、図１１に示すように、第１検出部３７によって、実在領域Ｒが除外された撮像画像２２の全域（積載エリアＴＡ）を探索範囲ＳＲとして、この探索範囲ＳＲに写る各ワークＷの画像と、例えば記憶部３４に予め記憶されたワークＷの二次元形状を表す形状データからなる複数のワークモデルＷｍとの第１のマッチング（ステップＳ１０４）を施す。なお、ワークモデルＷｍの形状データは、例えば点（ｘ，ｙ座標点）、線分（ｘ，ｙ座標点間を結ぶライン）、面（ｘ，ｙ座標点間を結ぶラインで閉じた線分）により画定されるベクタデータであり、ワークＷの縦、横、長さ、厚さ等の各寸法や形状を規定している。

この第１のマッチングにより、図１２に示すように、ワークＷの画像と探索範囲ＳＲ内でマッチングされたワークモデルＷｍに、例えば記憶部３４内のデータベース（ＤＢ）において予め紐付けられている形状データを参照して演算することにより、探索範囲ＳＲのどの位置にワークモデルＷｍに該当するワークＷがあるか（ワークモデルＷｍに当てはまったか）が分かる。これにより、積載エリアＴＡ内のワークＷの大体の存在位置を把握することが可能となる。なお、図１２を含む以降の説明においては、積載エリアＴＡ内の複数のワークＷ及びワークめくり装置１０のうち、一つのワークＷ及びワークめくり装置１０について着目して説明するが、他のワークＷ及びワークめくり装置１０についても同様であることは言うまでもない。

第１のマッチングの後は、以下のステップＳ１０５～ステップＳ１０７の処理を、複数回（例えば、４回）繰り返す。すなわち、ワークＷの積載エリアＴＡ内における存在位置が判明したら、データ作成部３８によって、そのワークＷの画像に第１のマッチングでマッチしたワークモデルＷｍの形状データについて、ワークめくり装置１０の実在領域ＲのうちのワークＷ上に被る領域１０ＢＲ（図１３参照）に重なる部分の輪郭成分を表す線分を編集して新たな形状データのワークモデルＷｍｒを作成する（ステップＳ１０５）。

すなわち、データ作成部３８は、図１３に示すように、マッチしたワークモデルＷｍの形状データをＤＢから読み出して、ワークめくり装置１０の被る領域１０ＢＲと重なる部分の輪郭成分を表す線分Ｌ及び線分Ｓ１～Ｓ４について、編集として例えば線分Ｌを線分Ｌ１，Ｌ２に分割すると共に、線分Ｓ１～Ｓ４については消去することによって、ワークモデルＷｍから線分Ｌｄ，Ｓｄが無効化された新たな形状データ（変形データ）のワークモデルＷｍｒを作成する。そして、第２検出部３９は、変形データが示すワークモデルＷｍｒと、ワークＷの画像との第２のマッチング（ステップＳ１０６）を施して、探索範囲ＳＲの絞り込み（例えば、探索範囲ＳＲよりもミクロな探索範囲ＳＳＲを探索範囲とする）を行う（ステップＳ１０７）。

このようなステップＳ１０５～ステップＳ１０７を複数回繰り返した後に、例えばワークＷとワークモデルＷｍｒとが、細部にまで亘って十分にマッチングされたことにより、マッチングが完了したか否かを判断し（ステップＳ１０８）、マッチングが完了していないと判断した場合（ステップＳ１０８のＮｏ）は、上記ステップＳ１０５に移行して以降の処理を繰り返す。

一方、マッチングが完了したと判断した場合（ステップＳ１０８のＹｅｓ）、第２検出部３９は、探索範囲ＳＲにおける正確なマッチング情報（ワークＷの積載位置座標、積載高さ、積載寸法、積載角度等の各種情報）を、撮像画像２２及び記憶部３４の各種データに基づく画像処理部３２の演算により得ることができるので、積載エリアＴＡ上のワークＷの実際の積載位置である実積載位置を特定して（ステップＳ１０９）、ワークＷを検出し、本フローチャートによる処理を終了する。

このように、本実施形態のワーク検出システム１００によれば、積載エリアＴＡにおいて、別途任意の場所に配置されたワークめくり装置１０によってワークＷの一部がカメラ２０による撮像範囲から隠れた状態となっていても、積載エリアＴＡ内のワークＷの大体の位置をマッチングにより把握する。さらに、マッチングされたワークモデルＷｍの形状データについて、隠れた部分を考慮して編集した上でワークの画像とマッチングを行うことを、例えば探索範囲を絞り込みながら複数回行う。そして、その結果と予め記憶されているＣＡＤデータ等の各種データとに基づき演算を行うことで、ワークＷの積載エリアＴＡ上の実積載位置を特定する。これにより、積載エリアＴＡ内のワークＷの積載位置を正確且つ高精度に特定してワークＷを検出することが可能となる。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ ワークめくり装置（補助装置）
１０Ａ 装置本体
１０Ｂ めくりユニット（可動部）
１１ 天面部
１２ 斜面部
１３ 側面部
１４，１５，１６ マーカ（指標）
１８ 全体領域
１９ 識別領域
２０ カメラ（撮像装置）
２１ カメラスタンド
２２ 撮像画像
３０ ワーク検出装置
１００ ワーク検出システム
Ｐ パレット
Ｒ 実在領域
ＳＲ，ＳＳＲ 探索範囲
ＴＡ 積載エリア
Ｗ ワーク
Ｗｍ ワークモデル

Claims (15)

1. ワークが積載されると共に前記ワークに対する作業を補助する配置自在な可搬性を備えた補助装置の一部が前記ワーク上に配置された積載エリアを、撮像装置によって撮像した撮像画像に基づいて、前記積載エリア内の前記ワークを検出するワーク検出装置であって、
   前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出する装置検出部と、
   前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出する第１検出部と、
   前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成するデータ作成部と、
   前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定する第２検出部と、を備える
   ワーク検出装置。
2. 前記データ作成部は、前記形状データの前記輪郭成分を表す線分を分割又は消去して無効化する編集を行う
   請求項１記載のワーク検出装置。
3. 前記第２検出部は、前記第１検出部による前記第１のマッチングよりも探索範囲を絞り込んで前記第２のマッチングを行う
   請求項１又は２記載のワーク検出装置。
4. 前記データ作成部及び前記第２検出部は、前記新たな形状データを作成して前記第２のマッチングを施すことを、前記探索範囲を段階的に絞り込みながら複数回連続して繰り返し行う
   請求項１又は２記載のワーク検出装置。
5. 前記第２検出部は、前記実積載位置として、前記積載エリア上の前記ワークの高さ、大きさ及び回転角度を含む三次元位置を特定する
   請求項１～４のいずれか１項記載のワーク検出装置。
6. 前記装置検出部は、前記補助装置の装置本体の天面部に少なくとも設けられた、前記補助装置の位置及び方向を識別可能な指標を検出し、検出された前記指標を予め記憶された指標モデル画像が示す指標とマッチングして、前記積載エリア内の前記補助装置の配置位置及び配置の向きを検出し、前記実在領域を算出する
   請求項１～５のいずれか１項記載のワーク検出装置。
7. ワークが積載されると共に前記ワークに対する作業を補助する配置自在な可搬性を備えた補助装置の一部が前記ワーク上に配置された積載エリアを、撮像装置によって撮像した撮像画像に基づいて、前記積載エリア内の前記ワークを検出するワーク検出方法であって、
   前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出する工程と、
   前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出する工程と、
   前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成する工程と、
   前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定する工程と、を含む
   ワーク検出方法。
8. 前記形状データを作成する工程では、前記形状データの前記輪郭成分を表す線分を分割又は消去して無効化する編集を行う
   請求項７記載のワーク検出方法。
9. 前記実積載位置を特定する工程では、前記存在位置を検出する工程での前記第１のマッチングよりも探索範囲を絞り込んで前記第２のマッチングを行う
   請求項７又は８記載のワーク検出方法。
10. 前記形状データを作成する工程及び前記実積載位置を特定する工程では、前記新たな二次元形状データを作成して前記第２のマッチングを施すことを、前記探索範囲を段階的に絞り込みながら複数回連続して繰り返し行う
    請求項７又は８記載のワーク検出方法。
11. 前記実積載位置を特定する工程では、前記実積載位置として、前記積載エリア上の前記ワークの高さ、大きさ及び回転角度を含む三次元位置を特定する
    請求項７～１０のいずれか１項記載のワーク検出方法。
12. 前記補助装置を検出する工程では、前記補助装置の装置本体の天面部に少なくとも設けられた、前記補助装置の位置及び方向を識別可能な指標を検出し、検出された前記指標を予め記憶された指標モデル画像が示す指標とマッチングして、前記積載エリア内の前記補助装置の配置位置及び配置の向きを検出し、前記実在領域を算出する
    請求項７～１１のいずれか１項記載のワーク検出方法。
13. 積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を備えた補助装置と、
    前記積載エリアを撮像可能な撮像装置と、
    前記撮像装置によって撮像された撮像画像に基づいて、前記補助装置の一部が前記ワーク上に配置された前記積載エリア内の前記ワークを検出するワーク検出装置と、を備え、
    前記ワーク検出装置は、
    前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出する装置検出部と、
    前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出する第１検出部と、
    前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成するデータ作成部と、
    前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定する第２検出部と、を有する
    ワーク検出システム。
14. 前記ワーク検出装置からの検出結果に基づいて、検出された前記ワークに対する前記補助装置の動作を制御する制御装置をさらに備える
    請求項１３記載のワーク検出システム。
15. ワークが積載されると共に前記ワークに対する作業を補助する配置自在な可搬性を備えた補助装置の一部が前記ワーク上に配置された積載エリアを、撮像装置によって撮像した撮像画像に基づいて、前記積載エリア内の前記ワークを検出するワーク検出プログラムであって、
    コンピュータに、
    前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出させる工程と、
    前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出させる工程と、
    前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成させる工程と、
    前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定させる工程と、を実行させる
    ワーク検出プログラム。

Images