JP2003097918A - 画像処理装置、コンピュータを用いて画像を処理するためのプログラムおよびそのプログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 パレットに積載されたワークの位置データを
正確に算出する。 【解決手段】 画像処理コンピュータは、ワーク８０の
表面色および求められる位置データの精度などに基づい
て格子パターン９０の形態を決定する回路と、決定した
格子パターン９０をプロジェクタ５２に送信する回路
と、ワーク８０を積載したパレット７０が存在しない状
態で投影された格子パターン９０を第１の画像データと
して、ワーク８０を積載したパレット７０が存在する状
態で投影された格子パターン９０を第２の画像データと
して撮像するように、ＣＣＤカメラ５４を制御する回路
と、ＣＣＤカメラ５４により撮像された第１の画像デー
タおよび第２の画像データに基づいて、格子パターン９
０の交点の移動距離を算出し、その移動距離に基づい
て、ワーク８０の高さデータを作成する回路とを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ロボットによるデ
パレタイジングに適用することができる画像処理技術に
関し、特に、複数のワークが積載されたパレットから各
ワークをデパレタイズする場合に、各ワークの位置情
報、重心位置情報を作成する画像処理技術に関する。

【０００２】

【従来の技術】最近の工業用ロボットの意欲的な開発に
より、様々な分野にロボットが用いられている。たとえ
ば、パレットにダンボール箱をパレタイズしたり、パレ
ットに積載されたダンボール箱をデパレタイズしたりす
る分野にロボットが用いられている。このような分野に
おける省力化の要求に対応して、作業者を介することな
く、ロボット自身がパレットに積載されたダンボール箱
の配置を検知してデパレタイズを行なう。このため、ロ
ボットは、パレットにダンボール箱がどのように積載さ
れているのかを判断する必要がある。

【０００３】特開平３−２３４４９１号公報は、このよ
うなダンボール箱の段差を検知する自動移載システムを
開示する。このシステムは、パレット上に積載された複
数のダンボール箱へ帯状のレーザ光をそのダンボール箱
の斜め上方から照射するレーザ出力装置と、パレットを
搬送する搬送コンベアと、搬送コンベアにより搬送中の
ダンボール箱の反射光を、帯状のレーザ光と直交する方
向であってダンボール箱の斜め上方から撮像するカメラ
と、搬送中のパレットの位置信号と、カメラから入力さ
れた帯状の反射光とに基づいて、ダンボール箱の段差信
号を出力する画像処理装置と、画像処理装置から入力さ
れた段差信号に基づいてダンボール箱の積み卸しを行な
うロボット装置とを含む。

【０００４】このシステムによると、ダンボール箱が歯
抜けの状態で積載されて、搬送コンベアにより搬送され
てくると、帯状のレーザ光の反射光の位置がその歯抜け
の位置でずれることにより、段差を検出できる。この段
差をダンボール箱の歯抜けとしてロボットに送信し、ロ
ボットは歯抜けの状態を考慮して、パレットに積載され
たダンボ−ル箱をデパレタイズできる。

【０００５】

【発明が解決しようとする課題】最近の多品種小ロット
生産の高まりにより、１台のロボットが実行するデパレ
タイズ工程に、さまざまな大きさのダンボール箱が、さ
まざまな積載パターンで、搬送されてくる。上述の公報
のシステムでは、簡単なダンボールの段差を検出でき
る。しかしながら、さまざまな大きさのダンボール箱、
さまざまな積載パターンに対応できない。また、レーザ
光を使用するため、システム価格が高価になったり、周
囲の作業環境に与える影響が大きくなったりする。さら
に搬送コンベアで搬送中に発生した、ダンボール箱およ
びパレットの多少のずれにより、段差を誤検知する可能
性がある。

【０００６】本発明は、上述の課題を解決するためにな
されたものであって、安価、正確かつ安全に、周囲の環
境に依存することなく、多様な状況に対応が可能な、パ
レットに積載された物体などの画像を処理する装置、コ
ンピュータを用いて画像を処理するためのプログラムお
よびそのプログラムを記録した記録媒体を提供すること
である。

【０００７】

【課題を解決するための手段】第１の発明に係る画像処
理装置は、物体を撮像した画像データを処理する画像処
理装置である。この画像処理装置は、物体に、２以上の
線分により構成される格子パターンを投影するための投
影手段と、２次元領域を撮像するための撮像手段と、投
影手段と撮像手段とに接続され、投影手段と撮像手段と
を制御するための制御手段とを含む。制御手段は、予め
定められた条件に従った格子パターンを、物体に投影す
るように、投影手段に指示するための第１の指示手段
と、投影手段により投影された格子パターンおよび物体
の少なくとも一方を含む２次元領域を撮像するように、
撮像手段に指示するための第２の指示手段と、撮像手段
により撮像された２次元領域の画像に基づいて、物体に
関する情報を作成するための作成手段とを含む。

【０００８】第１の発明によると、投影手段は、たとえ
ば液晶型プロジェクタや半導体型プロジェクタであっ
て、２以上の線分により構成される格子パターンであっ
て、それらの線分が交差する交点を少なくとも１つ含む
格子パターンを、物体に投影する。第２の指示手段は、
たとえば、格子パターンのみを撮像するように、物体の
みを撮像するように、格子パターンが照射された物体を
撮像するように、撮像手段を指示する。作成手段は、た
とえば、格子パターンのみを撮像した画像と、格子パタ
ーンが照射された物体を撮像した画像とにおけるそれぞ
れの交点の間の距離に基づいて、物体の高さに関する情
報を作成できる。これは、同じ格子パターンを投影して
も、物体が有無状態によって格子パターンの交点座標が
ずれるためである。これにより、複数の物体が積載され
ている状態において、多少積載状態がずれていても、物
体に関する情報を正確に作成できる。その結果、プロジ
ェクタなどを用いて、安価、正確かつ安全に、周囲の環
境に依存することなく、多様な状況に対応が可能な、パ
レットに積載された物体などの画像を処理する装置を提
供することができる。

【０００９】第２の発明に係る画像処理装置は、第１の
発明の構成に加えて、第１の指示手段は、物体の色に対
応して予め定められた色の線分により構成される格子パ
ターンを、物体に投影するように、投影手段に指示する
ための手段を含む。

【００１０】第２の発明によると、たとえば、プロジェ
クタは、多種類の色を出力できるので、物体の表面の色
に対応して予め定められた色の線分を投影できる。物体
の表面色と線分が同系色になることを避けて撮像手段に
より線分の反射光を的確に撮像することができる。

【００１１】第３の発明に係る画像処理装置は、第１の
発明の構成に加えて、第１の指示手段は、直方体を構成
する一辺と予め定められた角度を有する線分により構成
される格子パターンを、物体に投影するように、投影手
段に指示するための手段を含む。

【００１２】第３の発明によると、物体は直方体の形状
を有し、格子パターンは、その直方体を構成する一辺と
予め定められた角度を有する線分により構成される。こ
れにより、物体と物体とが接するように積載されている
場合であっても、その物体間の隙間を斜めに横切る線分
の不連続性を抽出して、物体の外形に関する情報を作成
することができる。

【００１３】第４の発明に係る画像処理装置は、第１の
発明の構成に加えて、第１の指示手段は、物体の位置情
報の精度に対応して予め定められた太さの線分により構
成される格子パターンを、物体に投影するように、投影
手段に指示するための手段を含む。

【００１４】第４の発明によると、物体に関する情報
は、物体の位置情報であって、この位置情報を高精度で
必要な場合であって外乱光の影響が大きい場合には、線
分の太さを太くして、外乱光による影響を少なくして、
物体の位置情報を正確に作成できる。

【００１５】第５の発明に係る画像処理装置は、第１の
発明の構成に加えて、第１の指示手段は、物体の位置情
報の精度に対応して予め定められた間隔を有する平行な
線分により構成される格子パターンを、物体に投影する
ように、投影手段に指示するための手段を含む。

【００１６】第５の発明によると、物体に関する情報
は、物体の位置情報であって、この位置情報を高精度で
必要な場合には、線分の間隔を狭くして、低精度でよい
場合には、線分の間隔を広くして、必要な精度に合致さ
せて物体の位置情報を作成することができる。

【００１７】第６の発明に係る画像処理装置は、第１〜
第５のいずれかの発明の構成に加えて、第２の指示手段
は、物体が存在しない状態において投影手段により投影
された格子パターンを含む２次元領域を第１の画像とし
て、格子パターンの交点が投影された物体を含む２次元
領域を第２の画像として撮像するように、撮像手段に指
示するための手段を含む。作成手段は、第２の画像にお
ける交点と、第１の画像における交点との距離に基づい
て、物体の寸法に関する情報を作成するための手段を含
む。

【００１８】第６の発明によると、第２の指示手段は、
格子パターンのみを第１の画像として撮像するように、
格子パターンが照射された物体を第２の画像として撮像
するように撮像手段を指示する。作成手段は、第１の画
像と、第２の画像とにおけるそれぞれの交点の間の距離
に基づいて、物体の寸法（たとえば高さ）に関する情報
を作成できる。これは、同じ格子パターンを投影して
も、物体が有無状態によって格子パターンの交点座標が
ずれるためである。これにより、複数の物体が積載され
ている状態において、多少積載状態がずれていても、物
体に関する情報を正確に作成できる。

【００１９】第７の発明に係る画像処理装置は、第１〜
第５のいずれかの発明の構成に加えて、第２の指示手段
は、格子パターンが投影されていない物体を含む２次元
領域を第１の画像として、格子パターンの交点が投影さ
れた物体を含む２次元領域を第２の画像として撮像する
ように、撮像手段に指示するための手段を含む。作成手
段は、第２の画像と第１の画像との差分データにおける
線分の不連続点に基づいて、物体の外形に関する情報を
作成するための手段を含む。

【００２０】第７の発明によると、第２の指示手段は、
物体のみを第１の画像として撮像するように、格子パタ
ーンが照射された物体を第２の画像として、撮像するよ
うに撮像手段を指示する。作成手段は、第２の画像と第
１の画像との差分データを作成する。作成手段は、差分
データにおける線分の不連続点に基づいて、物体の外形
に関する情報を作成できる。これは、物体と物体との間
の隙間においては投影された格子パターンが切断されて
不連続になるためである。これにより、複数の物体が積
載されている状態において、多少積載状態がずれていて
も、物体に関する情報を正確に作成できる。

【００２１】第８の発明に係る画像処理装置は、第７の
発明の構成に加えて、作成手段は、物体の外形に関する
情報に基づいて、物体について予め定められた位置から
のずれに関する情報を作成するための手段を含む。

【００２２】第８の発明によると、物体の外形に基づい
て、物体について予め定められた位置からのずれに関す
る情報（たとえば、搬送中に発生した振動による、物体
の重心のずれ、物体が回転した角度などの情報）を作成
して、デパレタイジングロボットに送信することができ
る。ロボットは、その重心を把持して、物体が回転した
角度を修正してデパレタイズできる。

【００２３】第９の発明に係る画像処理装置は、第１〜
第８のいずれかの発明の構成に加えて、投影手段は、ブ
ラウン管型プロジェクタ、液晶型プロジェクタおよび半
導体型プロジェクタのいずれかである。

【００２４】第９の発明によると、映像デバイスとし
て、ブラウン管、液晶および半導体を用いたプロジェク
タは、高輝度の格子パターンを物体に投影できる。レー
ザ光と異なり、さまざまな格子パターンを投影すること
ができ、安価、正確かつ安全に、周囲の環境に依存する
ことなく、多様な状況に対応が可能な、パレットに積載
された物体などの画像を処理する装置を提供することが
できる。

【００２５】第１０の発明に係るプログラムは、コンピ
ュータを用いて、物体を撮像した画像データを処理する
プログラムである。このコンピュータには、物体に、２
以上の線分により構成される格子パターンを投影するた
めの投影プロジェクタと２次元領域を撮像するためのカ
メラとが接続されている。プログラムは、コンピュータ
に、予め定められた条件に従った格子パターンを、物体
に投影するように、投影プロジェクタに指示する第１の
指示手順と、投影プロジェクタにより投影された格子パ
ターンおよび物体の少なくとも一方を含む２次元領域を
撮像するように、カメラに指示する第２の指示手順と、
カメラにより撮像された２次元領域の画像に基づいて、
物体に関する情報を作成する作成手順とを実行させる。

【００２６】第１０の発明によると、液晶型プロジェク
タや半導体型プロジェクタは、２以上の線分により構成
される格子パターンであって、それらの線分が交差する
交点を少なくとも１つ含む格子パターンを、物体に投影
する。プログラムがコンピュータに実行させる第２の指
示手順は、たとえば、格子パターンのみを撮像するよう
に、物体のみを撮像するように、格子パターンが照射さ
れた物体を撮像するように、カメラを指示する。作成手
順は、たとえば、格子パターンのみを撮像した画像と、
格子パターンが照射された物体を撮像した画像とにおけ
るそれぞれの交点の間の距離に基づいて、物体の高さに
関する情報を作成できる。これにより、複数の物体が積
載されている状態において、多少積載状態がずれていて
も、物体に関する情報を正確に作成できる。その結果、
投影プロジェクタを用いて、安価、正確かつ安全に、周
囲の環境に依存することなく、多様な状況に対応が可能
な、パレットに積載された物体などの画像をコンピュー
タを用いて処理するプログラムを提供することができ
る。

【００２７】第１１の発明に係る記録媒体は、コンピュ
ータを用いて、物体を撮像した画像データを処理するプ
ログラムを記録した記録媒体である。このコンピュータ
には、物体に、２以上の線分により構成される格子パタ
ーンを投影するための投影プロジェクタと、２次元領域
を撮像するためのカメラとが接続されている。プログラ
ムは、コンピュータに、予め定められた条件に従った格
子パターンを、物体に投影するように、投影プロジェク
タに指示する第１の指示手順と、投影プロジェクタによ
り投影された格子パターンおよび物体の少なくとも一方
を含む２次元領域を撮像するように、カメラに指示する
第２の指示手順と、カメラにより撮像された２次元領域
の画像に基づいて、物体に関する情報を作成する作成手
順とを実行させる。

【００２８】第１１の発明によると、液晶型プロジェク
タや半導体型プロジェクタは、２以上の線分により構成
される格子パターンであって、それらの線分が交差する
交点を少なくとも１つ含む格子パターンを、物体に投影
する。プログラムがコンピュータに実行させる第２の指
示手順は、たとえば、格子パターンのみを撮像するよう
に、物体のみを撮像するように、格子パターンが照射さ
れた物体を撮像するように、カメラを指示する。作成手
順は、たとえば、格子パターンのみを撮像した画像と、
格子パターンが照射された物体を撮像した画像とにおけ
るそれぞれの交点の間の距離に基づいて、物体の高さに
関する情報を作成できる。これにより、複数の物体が積
載されている状態において、多少積載状態がずれていて
も、物体に関する情報を正確に作成できる。その結果、
投影プロジェクタを用いて、安価、正確かつ安全に、周
囲の環境に依存することなく、多様な状況に対応が可能
な、パレットに積載された物体などの画像をコンピュー
タを用いて処理するプログラムを記録した記録媒体を提
供することができる。

【００２９】

【発明の実施の形態】以下、図面を参照しつつ、本発明
の実施の形態について説明する。以下の説明では、同一
の部品には同一の符号を付してある。それらの名称およ
び機能も同じである。したがってそれらについての詳細
な説明は繰返さない。

【００３０】図１に、本実施の形態に係る画像処理コン
ピュータ５０を含む、デパレタイズシステムの全体構成
図を示す。このデパレタイズシステムは、複数のワーク
が積載されたパレットから、各ワークをロボットを用い
てデパレタイズするシステムである。このデパレタイズ
システムは、デパレタイズ用のロボット３２と、ロボッ
ト３２に接続されロボット３２を制御するロボットコン
トローラ３０と、ワークを撮像した画像データを処理す
る画像処理コンピュータ５０と、デパレタイズシステム
を含む製造ラインを管理するラインコントロールコンピ
ュータ４０とを含む。

【００３１】ラインコントロールコンピュータ４０に
は、コンベアなどのパレット搬送ユニット４２と、パレ
ット搬送ユニット４２の予め定められた位置にパレット
が停止したことを検知するパレット検知センサ４４とが
接続されている。画像処理コンピュータ５０には、ワー
クに格子パターンを投影する投影プロジェクタ５２と、
ワークを撮像するＣＣＤ（Charge Coupled Device）カ
メラ５４とが接続されている。

【００３２】ラインコントロールコンピュータ４０は、
ホストコンピュータ（図示しない）から送信された、パ
レット毎の、ワークの積載パターン（配置パターン）お
よびワークの外形寸法を含む積載データを記憶する。ラ
インコントロールコンピュータ４０とロボットコントロ
ーラ３０とは、ＬＡＮ（Local Area Network）６０を介
して接続されている。ラインコントロールコンピュータ
４０は、パレット検知センサ４４からパレット検知信号
を受信すると、受信したパレット検知信号をロボットコ
ントローラ３０に送信する。ラインコントロールコンピ
ュータ４０は、パレット搬送ユニット４２の予め定めら
れた位置に停止したパレットに対応する積載データを、
ロボットコントローラ３０に送信する。

【００３３】画像処理コンピュータ５０は、ロボットコ
ントローラ３０に接続されている。画像処理コンピュー
タ５０は、ロボットコントローラ３０からパレット検知
信号および積載データを受信すると、投影処理を開始す
る。画像処理コンピュータ５０は、この投影処理により
決定された格子パターンを投影プロジェクタ５２に送信
する。ロボット３２が１段分のワークをデパレタイズす
ると、その１段下のワークのデパレタイズのために、ロ
ボットコントローラ３０は、画像処理コンピュータ５０
に実装データ要求信号を送信する。画像処理コンピュー
タ５０は、ロボットコントローラ３０から実装データ要
求信号を受信すると、撮像処理を開始する。このとき、
投影処理で決定された格子パターンがワークに投影され
る。画像処理コンピュータ５０は、この撮像処理により
算出された、実際にパレットに積載されたワークの基準
点の座標、重心点の座標およびワークのずれ角度を含む
実装データを、ロボットコントローラ３０に送信する。
ロボット３２は、ロボットコントローラ３０が受信した
実装データに基づいて、パレット上のワークをデパレタ
イズする。ロボット３２は、ワークをハンドリングする
のに十分な可搬重量を有する。

【００３４】ロボットコントローラ３０は、ラインコン
トロールコンピュータ４０からワークの積載パターンを
含む積載データを受信しているが、パレットが実際に搬
送されると、搬送時の衝撃等により、パレット上でワー
クがずれる。受信した積載データと実際の積載位置のデ
ータ（実装データ）とがずれているため、受信した積載
データそのものを用いてロボット３２によるデパレタイ
ズできないため、ロボット３２がデパレタイズする前に
実装データが必要になる。

【００３５】画像処理コンピュータ５０は、一般的なコ
ンピュータにより実現される。画像処理コンピュータ５
０に接続される投影プロジェクタ５２は、ブラウン管型
プロジェクタ、液晶型プロジェクタおよぶ半導体型プロ
ジェクタのいずれでもよい。投影プロジェクタ５２は、
高い輝度が得られ、画面の中央部と隅部とにおける画像
の歪が少ない半導体型プロジェクタが好ましい。画像処
理コンピュータ５０に接続されるＣＣＤカメラ５４は、
カラーのＣＣＤカメラであって、一般的なものである。
投影プロジェクタ５２およびＣＣＤカメラ５４は、画像
処理コンピュータ５０と通信するための通信インターフ
ェイスを有する。

【００３６】図２を参照して、ＣＣＤカメラ５４は、パ
レット搬送ユニットパレット４２上の予め定められた位
置（パレット検知センサ４４によりパレット７０が検知
される位置）に停止したパレットの中央の鉛直上方に設
けられる。ＣＣＤカメラ５４で撮像される２次元領域
は、パレット７０全体を十分に撮像できる大きさであ
る。投影プロジェクタ５２は、ＣＣＤカメラ５４とは異
なり、パレット７０の斜め上方に設けられる。投影プロ
ジェクタ５２とＣＣＤカメラ５４との距離および投影プ
ロジェクタ５２の角度は、投影される格子パターン９０
の左右端および上下端で発生する歪が、許容範囲に収ま
るように設定されている。

【００３７】投影プロジェクタ５２は、画像処理コンピ
ュータ５０から受信した投影信号により、パレット７０
に積載されたワーク８０上に、格子パターン９０を投影
を開始し、画像処理コンピュータ５０から受信した投影
停止信号により格子パターン９０の投影を停止する。こ
の格子パターン９０は、予め定められた条件を満足する
ように、画像処理コンピュータ５０が作成する。図２に
示すように、格子パターンは、たとえばワーク８０の一
辺に対して４５度±１５度および１３５度±１５度の傾
きを有する平行な複数の線分から構成される。この線分
の間隔、線分の色および線分の太さは、予め定められた
条件を満足するように、画像処理コンピュータ５０が決
定する。

【００３８】ＣＣＤカメラ５４は、画像処理コンピュー
タ５０から受信した撮像信号に基づいて、パレット７０
がない状態で格子パターン９０が投射された状態、パレ
ット７０がある状態で格子パターン９０が投射されてい
ない状態およびパレット７０がある状態で格子パターン
９０が投射された状態の３つの状態について、２次元領
域を撮像する。

【００３９】なお、投影プロジェクタ５２とＣＣＤカメ
ラ５４とを、ロボット３２のハンド部分に設置するよう
にしてもよい。また、積載データは、ラインコントロー
ルコンピュータ４０ではなく、ロボットコントローラ３
０が記憶しておいてもよい。

【００４０】図３に、画像処理コンピュータ５０の一例
であるコンピュータシステムの外観を示す。図３を参照
して、このコンピュータシステム１００は、ＦＤ（Flex
ibleDisk）駆動装置１０６およびＣＤ−ＲＯＭ（Compac
t Disc-Read Only Memory)駆動装置１０８を備えたコン
ピュータ１０２と、モニタ１０４と、キーボード１１０
と、マウス１１２とを含む。

【００４１】図４に、このコンピュータシステム１００
の構成をブロック図形式で示す。図４に示すように、コ
ンピュータ１０２は、上記したＦＤ駆動装置１０６およ
びＣＤ−ＲＯＭ駆動装置１０８に加えて、相互にバスで
接続されたＣＰＵ（CentralProcessing Unit）１２０
と、メモリ１２２と、固定ディスク１２４と、ロボット
コントローラ３０に接続され、ロボットコントローラ３
０と通信するためのロボットコントローラインターフェ
イス１２６と、投影プロジェクタ５２に接続され、投影
プロジェクタ５２と通信するための投影プロジェクタイ
ンターフェイス１２８と、ＣＣＤカメラ５４に接続さ
れ、ＣＣＤカメラ５４と通信するためのＣＣＤカメライ
ンターフェイス１３０とを含む。ＦＤ駆動装置１０６に
はＦＤ１１６がセットされる。ＣＤ−ＲＯＭ駆動装置１
０８にはＣＤ−ＲＯＭ１１８がセットされる。

【００４２】画像を処理する機能は、コンピュータハー
ドウェアとＣＰＵ１２０により実行されるソフトウェア
とにより実現される。一般的にこうしたソフトウェア
は、ＦＤ１１６、ＣＤ−ＲＯＭ１１８などの記録媒体に
格納されて流通し、ＦＤ駆動装置１０６またはＣＤ−Ｒ
ＯＭ駆動装置１０８などにより記録媒体から読取られて
固定ディスク１２４に一旦格納される。さらに固定ディ
スク１２４からメモリ１２２に読出されて、ＣＰＵ１２
０により実行される。

【００４３】これらのコンピュータのハードウェア自体
は一般的なものである。コンピュータは、ＣＰＵ１２０
を含む制御回路、記憶回路、入力回路、出力回路および
ＯＳ（Operating System）を含み、プログラムを実行す
る環境を備えたものである。本発明のプログラムは、こ
のようなコンピュータに、画像処理機能を実現させるプ
ログラムである。したがって本発明の最も本質的な部分
は、ＦＤ、ＣＤ−ＲＯＭ、メモリカード、固定ディスク
などの記録媒体に記録されたプログラムおよびこのプロ
グラムが記録された記録媒体である。

【００４４】なお、図３および図４に示したコンピュー
タ自体の動作は周知であるので、ここではその詳細な説
明は繰返さない。

【００４５】図５を参照して、本実施の形態に係る画像
処理コンピュータ５０が、ロボットコントローラ３０か
ら受信する積載データについて説明する。この積載デー
タは、前述の説明のように、ロボットコントローラ３０
が、ラインコントロールコンピュータ４０からＬＡＮ６
０を介して受信する。図５に示すように、積載データ
は、ヘッダ、積載段数、奇数段積載パターン、偶数段積
載パターン、積載ワーク幅、積載ワーク奥行き、積載ワ
ーク高さおよび積載ワーク色を含む。奇数段積載パター
ンおよび偶数段積載パターンは、それぞれ奇数段および
偶数段における積載ワーク数および積載されたワークの
配置パターンを示す。

【００４６】図６を参照して、本実施の形態に係る画像
処理コンピュータ５０からロボットコントローラ３０に
送信される実装データについて説明する。図６に示すよ
うに、実装データは、ヘッダ、第Ｎ段目第１ワーク実装
データ（基準点座標（Ｘ、Ｙ）、重心点座標（Ｘ、
Ｙ）、ずれ角度θ）と、第Ｎ段目第２ワーク実装データ
（基準点座標（Ｘ、Ｙ）、重心点座標（Ｘ、Ｙ）、ずれ
角度θ）とを含む。図６に示すように、実装データは、
第Ｎ段目に積載されたワークの実装データであって、そ
のＮ段目に積載されたワークの数の実装データを含む。
なお、ずれ角度θは、基準とする直交座標系のいずれか
の軸とワーク８０の一辺とにより形成される角度をい
う。ワーク８０は、直交座標系のいずれかの軸とワーク
の一辺とが平行（または垂直）になるように、基準位置
が予め定められている。この重心点座標（Ｘ、Ｙ）とず
れ角度θとを受信したロボットコントローラ３０は、重
心点座標（Ｘ、Ｙ）とロボットハンドの中心位置とが一
致し、かつずれ角度θだけロボットハンドを回転させた
状態で、ワーク８０を把持するようにロボット３２を制
御する。ロボット３２は、ワーク８０を把持後、ずれ角
度θだけロボットハンドを逆回転させた状態で、デパレ
タイズ位置にワーク８０を載置する。

【００４７】図７を参照して、本実施の形態に係る画像
処理コンピュータ５０で実行されるプログラムは、投影
処理に関し、以下のような制御構造を有する。

【００４８】ステップ（以下、ステップをＳと略す。）
１００にて、ＣＰＵ１２０は、予備処理を行なう。この
予備処理は、パレット７０が存在しない状態において、
投影プロジェクタ５２により格子パターン９０を投影し
て、撮像カメラ５４により２次元領域を撮像した格子パ
ターン撮像データを固定ディスク１２４に記憶する。

【００４９】Ｓ１０２にて、ＣＰＵ１２０は、ロボット
コントローラ３０からパレット検知信号を受信したか否
かを判断する。パレット検知信号は、パレット搬送ユニ
ット４２の予め定められた位置に、パレット７０が停止
したことをパレット検知センサ４４が検知すると、ライ
ンコントロールコンピュータ４０およびＬＡＮ６０を介
してロボットコントローラ３０に送信され、ロボットコ
ントローラ３０が画像処理コンピュータ５０に送信す
る。パレット検知信号を受信すると（Ｓ１０２にてＹＥ
Ｓ）、処理はＳ１０４へ移される。もしそうでないと
（Ｓ１０２にてＮＯ）、処理はＳ１０２へ戻され、ロボ
ットコントローラ３０からのパレット検知信号の受信を
待つ。

【００５０】Ｓ１０４にて、ＣＰＵ１２０は、投影処理
を開始する。Ｓ１０６にて、ＣＰＵ１２０は、ロボット
コントローラ３０から積載データ（図５）を受信したか
否かを判断する。ロボットコントローラ３０から積載デ
ータを受信すると（Ｓ１０６にてＹＥＳ）、処理はＳ１
１０へ移される。もしそうでないと（Ｓ１０６にてＮ
Ｏ）、処理はＳ１０８へ移される。

【００５１】Ｓ１０８にて、ＣＰＵ１２０は、投影処理
を開始してから、予め定められた時間が経過したか否か
を判断する。予め定められた時間が経過すると（Ｓ１０
８にてＹＥＳ）、処理はＳ１２６へ移される。もしそう
でないと（Ｓ１０８にてＮＯ）、処理はＳ１０６へ戻さ
れ、ロボットコントローラ３０からの積載データの受信
を待つ。

【００５２】Ｓ１１０にて、ＣＰＵ１２０は、ロボット
コントローラ３０から受信した積載データを固定ディス
ク１２４に記憶する。Ｓ１１２にて、ＣＰＵ１２０は、
環境データ算出処理を行なう。この環境データ算出処理
の詳細については後述する。

【００５３】Ｓ１１４にて、ＣＰＵ１２０は、積載ワー
ク色に基づいて、格子パターンの線の色を決定する。Ｓ
１１６にて、ＣＰＵ１２０は、積載段数および積載ワー
ク高さに基づいて、格子パターンの線の間隔を決定す
る。

【００５４】Ｓ１１８にて、ＣＰＵ１２０は、外乱光補
正フラグに基づいて、格子パターンの線の太さを決定す
る。このＳ１１８における処理において、外乱光補正フ
ラグがセット状態であると格子パターンの線は太くなる
ように、外乱光補正フラグがリセット状態であると格子
パターンの線は細くなるようにそれぞれ決定される。Ｓ
１２０にて、ＣＰＵ１２０は、位置補正回転角度に基づ
いて、格子パターンの回転角度を決定する。

【００５５】Ｓ１２２にて、ＣＰＵ１２０は、決定され
た色、間隔、太さおよび回転角度を有する格子パターン
を作成する。Ｓ１２４にて、ＣＰＵ１２０は、作成され
た格子パターンのデータを投影プロジェクタ５２に送信
する。

【００５６】Ｓ１２６にて、ＣＰＵ１２０は、通信エラ
ー処理を行なう。この通信エラー処理は、たとえば、ロ
ボットコントローラ３０と画像処理コンピュータ５０と
の間において通信エラーが発生したことをモニタ１０４
に表示する。

【００５７】図８を参照して、図７の環境データ算出処
理の詳細について説明する。Ｓ１５０にて、ＣＰＵ１２
０は、ＣＣＤカメラ５４に撮像信号を送信する。この撮
像信号を受信したＣＣＤカメラ５４は、予め定められた
撮像条件に従って２次元領域を撮像し、撮像データを画
像処理コンピュータ５０に送信する。

【００５８】Ｓ１５２にて、ＣＰＵ１２０は、ＣＣＤカ
メラ５４から撮像データを受信したか否かを判断する。
ＣＣＤカメラ５４から撮像データを受信すると（Ｓ１５
２にてＹＥＳ）、処理はＳ１５６へ移される。もしそう
でないと（Ｓ１５２にてＮＯ）、処理はＳ１５４へ移さ
れる。

【００５９】Ｓ１５４にて、ＣＰＵ１２０は、ＣＣＤカ
メラ５４に撮像信号を送信してから、予め定められた時
間が経過したか否かを判断する。予め定められた時間が
経過すると（Ｓ１５４にてＹＥＳ）、処理はＳ１７２へ
移される。もしそうでないと（Ｓ１５４にてＮＯ）、処
理はＳ１５２へ戻され、ＣＣＤカメラ５４からの撮像デ
ータの受信を待つ。

【００６０】Ｓ１５６にて、ＣＰＵ１２０は、受信した
撮像データに基づいて、基準点の色データを抽出する。
Ｓ１５８にて、ＣＰＵ１２０は、基準点の標準の色デー
タを読出す。この基準点の標準の色データは、予め、固
定ディスク１２４に記憶されている。

【００６１】Ｓ１６０にて、ＣＰＵ１２０は、受信した
撮像データに基づいて抽出した色データと、読出した標
準の色データとの差が、予め定められた値以上であるか
否かを判断する。色データと、標準の色データとの差が
予め定められた値以上である場合には（Ｓ１６０にてＹ
ＥＳ）、処理はＳ１６２へ移される。もしそうでないと
（Ｓ１６０にてＮＯ）、処理はＳ１６４へ移される。

【００６２】Ｓ１６２にて、ＣＰＵ１２０は、色データ
と標準の色データとの差が予め定められた値以上である
ことから、外乱光の影響が大きいと判断し、外乱光補正
フラグをセット状態にする。

【００６３】Ｓ１６４にて、ＣＰＵ１２０は、受信した
撮像データからパレットの基準点の座標データを抽出す
る。たとえば、パレットの基準点は、パレットの左上端
が選択される。Ｓ１６６にて、ＣＰＵ１２０は、基準点
の標準座標データを読出す。この基準点の標準座標デー
タは、予め固定ディスク１２４に記憶されている。

【００６４】Ｓ１６８にて、ＣＰＵ１２０は、受信した
撮像データに基づいて抽出した座標データと、読出した
標準座標データとの差が、予め定められた値以上である
か否かを判断する。座標データと、標準座標データとの
差が予め定められた値以上である場合には（Ｓ１６８に
てＹＥＳ）、処理はＳ１７０へ移される。もしそうでな
いと（Ｓ１６８にてＮＯ）、この環境データ算出処理は
終了し、処理は、図７のＳ１１４へ戻される。

【００６５】Ｓ１７０にて、ＣＰＵ１２０は、座標デー
タと、標準座標データとの差が予め定められた値以上で
あることから、パレット７０がパレット搬送ユニット４
２の上で回転していると判断し、位置補正回転角度を算
出する。この位置補正回転角度により、パレット７０の
１辺と格子パターン９０とが４５°および１３５°に交
差するように設定できる。

【００６６】Ｓ１７２にて、ＣＰＵ１２０は、通信エラ
ー処理を行なう。この通信エラー処理において、たとえ
ば、ＣＣＤカメラ５４と画像処理コンピュータ５０との
間において通信エラーが発生したことを、モニタ１０４
に表示する。

【００６７】図９を参照して、本実施の形態に係る画像
処理コンピュータ５０で実行されるプログラムは、撮像
処理に関し、以下のような制御構造を有する。

【００６８】Ｓ２００にて、ＣＰＵ１２０は、１段毎の
実装データ要求信号をロボットコントローラ３０から受
信したか否かを判断する。ロボットコントローラ３０
は、ロボット３２により、１段分のデパレタイズが終了
すると、画像処理コンピュータ５０に、実装データ要求
信号を送信する。ロボットコントローラ３０から実装デ
ータ要求信号を受信すると（Ｓ２００にてＹＥＳ）、処
理はＳ２０２へ移される。もしそうでないと（Ｓ２００
にてＮＯ）、処理はＳ２００へ戻され、ロボットコント
ローラ３０からの実装データ要求信号の受信を待つ。

【００６９】Ｓ２０２にて、ＣＰＵ１２０は、ＣＣＤカ
メラ５４に撮像信号を送信する。Ｓ２０４にて、ＣＰＵ
１２０は、ＣＣＤカメラ５４から撮像データを受信した
か否かを判断する。ＣＣＤカメラ５４から撮像データを
受信すると（Ｓ２０４にてＹＥＳ）、処理はＳ２０８へ
移される。もしそうでないと（Ｓ２０４にてＮＯ）、処
理はＳ２０６へ移される。

【００７０】Ｓ２０６にて、ＣＰＵ１２０は、ＣＣＤカ
メラ５４に撮像信号を送信してから予め定められた時間
が経過したか否かを判断する。予め定められた時間が経
過すると（Ｓ２０６にてＹＥＳ）、処理は図１１のＳ２
６４へ移される。もしそうでないと（Ｓ２０６にてＮ
Ｏ）、処理はＳ２０４へ戻され、ＣＣＤカメラ５４から
の撮像データの受信を待つ。

【００７１】Ｓ２０８にて、ＣＰＵ１２０は、ＣＣＤカ
メラ５４から受信した格子パターン無し撮像データを固
定ディスク１２４に記憶する。Ｓ２１０にて、ＣＰＵ１
２０は、投影プロジェクタ５２に投影信号を送信する。
この投影信号を受信した投影プロジェクタ５２は、予め
受信している格子パターンに基づいて、パレット７０お
よびワーク８０に対し、格子パターンを投影する。Ｓ２
１２にて、ＣＰＵ１２０は、ＣＣＤカメラ５４に撮像信
号を送信する。

【００７２】Ｓ２１４にて、ＣＰＵ１２０は、ＣＣＤカ
メラ５４から撮像データを受信したか否かを判断する。
ＣＣＤカメラ５４から撮像データを受信すると（Ｓ２１
４にてＹＥＳ）、処理はＳ２１８へ移される。もしそう
でないと（Ｓ２１４にてＮＯ）、処理はＳ２１６へ移さ
れる。

【００７３】Ｓ２１６にて、ＣＰＵ１２０は、ＣＣＤカ
メラ５４に撮像信号を送信してから予め定められた時間
が経過したか否かを判断する。予め定められた時間が経
過すると（Ｓ２１６にてＹＥＳ）、処理は図１１のＳ２
６４へ移される。もしそうでないと（Ｓ２１６にてＮ
Ｏ）、処理はＳ２１４へ戻され、ＣＣＤカメラ５４から
の撮像データの受信を待つ。

【００７４】Ｓ２１８にて、ＣＰＵ１２０は、投影プロ
ジェクタ５２に、投影停止信号を送信する。この投影停
止信号を受信した投影プロジェクタ５２は、投影してい
た格子パターンの投影を停止する。Ｓ２２０にて、ＣＰ
Ｕ１２０は、受信した格子パターン有り撮像データを固
定ディスク１２４に記憶する。Ｓ２２２にて、ＣＰＵ１
２０は、固定ディスク１２４に記憶された格子パターン
撮像データを、第１の画像データとして、格子パターン
無し撮像データを、第２の画像データとして、格子パタ
ーン有り撮像データを、第３の画像データとして、それ
ぞれ固定ディスク１２４に記憶する。

【００７５】図１０を参照して、Ｓ２２４にて、ＣＰＵ
１２０は、第１の画像データの交点座標を算出して、第
１の交点座標データとして固定ディスク１２４に記憶す
る。Ｓ２２６にて、ＣＰＵ１２０は、第３の画像データ
の交点座標を算出して、第２の交点座標データとして、
固定ディスク１２４に記憶する。

【００７６】Ｓ２２８にて、ＣＰＵ１２０は、第１の交
点座標データと、第２の交点座標データとに基づいて、
対応する交点の距離を算出する。たとえば、このとき複
数ある距離の平均値が算出される。Ｓ２３０にて、ＣＰ
Ｕ１２０は、交点の距離と、積載ワーク高さにより定ま
る定数とに基づいて、パレット積載高さを算出する。こ
のＳ２３０における処理は、積載ワーク高さが高ければ
高いほど、交点の距離が遠くなることに基づく。この積
載ワーク高さと交点の距離との間には、線形関数により
表わされる関係がある。

【００７７】たとえば、このパレット積載高さは、投影
プロジェクタ５２とＣＣＤカメラ５４とを固定した場合
には、通常パレット７０の上面を基準面とした絶対高さ
を表わし、投影プロジェクタ５２とＣＣＤカメラ５４と
をロボット３２のハンド部分に設置するようにした場合
には、上記の絶対高さまたはパレット７０に積載された
最上段のワーク８０の上面からの相対高さを表わす。

【００７８】Ｓ２３２にて、ＣＰＵ１２０は、算出した
パレット積載高さに基づいて、現在の段数Ｎ（上からＮ
段目）を算出する。

【００７９】Ｓ２３４にて、ＣＰＵ１２０は、第２の画
像データと第３の画像データとの差分データを算出す
る。Ｓ２３６にて、ＣＰＵ１２０は、算出した差分デー
タを、予め定められたしきい値で２値化する。Ｓ２３８
にて、ＣＰＵ１２０は、２値化された画像データにおけ
る格子パターンの線分の不連続点を抽出する。

【００８０】Ｓ２４０にて、ＣＰＵ１２０は、抽出した
不連続点からの検索範囲内に存在する連続線分を検索す
る。Ｓ２４２にて、ＣＰＵ１２０は、傾きが同じ線分を
検索できたか否かを判断する。傾きが同じ線分を検索で
きると（Ｓ２４２にてＹＥＳ）、処理はＳ２４４へ移さ
れる。もしそうでないと（Ｓ２４２にてＮＯ）、処理は
Ｓ２４６へ移される。

【００８１】Ｓ２４４にて、ＣＰＵ１２０は、検索でき
た不連続点をワークのエッジに決定する。

【００８２】Ｓ２４６にて、ＣＰＵ１２０は、検索範囲
を予め定められたドット数分だけ拡げる。Ｓ２４８に
て、ＣＰＵ１２０は、拡げた検索範囲が予め定められた
範囲を超過しているか否かを判断する。拡げた検索範囲
が予め定められた範囲を超過していると（Ｓ２４８にて
ＹＥＳ）、処理はＳ２５０へ移される。もしそうでない
と（Ｓ２４８にてＮＯ）、処理はＳ２４０へ戻され、拡
げた検索範囲内に連続線分が存在するか否かを検索す
る。

【００８３】Ｓ２５０にて、ＣＰＵ１２０は、検索エラ
ー処理を行なう。この検索エラー処理は、予め定められ
たドット数分だけ検索範囲を拡げても傾きが同じ線分を
検索できなかった場合の処理であって、この不連続点を
スキップして、次の不連続点に対する処理を行なうよう
に処理する。その後、処理はＳ２５２へ移される。

【００８４】Ｓ２５２にて、ＣＰＵ１２０は、全撮像領
域を処理できたか否かを判断する。全撮像領域を処理で
きると（Ｓ２５２にてＹＥＳ）、処理は図１１のＳ２５
４へ移される。もしそうでないと（Ｓ２５２にてＮ
Ｏ）、処理はＳ２４０へ戻され、さらに他の不連続点か
らの検索範囲内に存在する連続線分を検索する。

【００８５】図１１を参照して、Ｓ２５４にて、ＣＰＵ
１２０は、積載ワーク幅および積載ワーク奥行きを超過
しない範囲において、エッジと決定された不連続点を、
積載ワークの外形と決定する。この積載ワーク幅および
積載ワーク奥行きは、ロボットコントローラ３０から受
信し固定ディスク１２４に記憶されている。

【００８６】Ｓ２５６にて、ＣＰＵ１２０は、積載ワー
クの外形と、第２の画像データまたは第３の画像データ
とに基づいて、上からＮ段目のワークをＭ個に決定す
る。Ｓ２５８にて、ＣＰＵ１２０は、上からＮ段目のＭ
個の積載ワークについて、基準点座標（Ｘ、Ｙ）、重心
点座標（Ｘ、Ｙ）およびずれ角度θを算出する。この基
準点座標は、たとえば、ワーク８０の上方から見て左上
端に設定される。

【００８７】Ｓ２６０にて、ＣＰＵ１２０は、上からＮ
段目のＭ個の積載ワークについて、実装データ（基準点
座標（Ｘ、Ｙ）、重心点座標（Ｘ、Ｙ）、ずれ角度θ）
（図６）をロボットコントローラ３０に送信する。

【００８８】Ｓ２６２にて、ＣＰＵ１２０は、最下段ま
で処理できたか否かを判断する。最下段まで処理できる
と（Ｓ２６２にてＹＥＳ）、この撮像処理を終了する。
もしそうでないと（Ｓ２６２にてＮＯ）、処理は図９の
Ｓ２００に戻され、もう１段下に積載されたワークにつ
いての実装データが算出される。

【００８９】以上のような構造およびフローチャートに
基づく、画像処理コンピュータ５０の動作について説明
する。

【００９０】［投影動作］画像処理コンピュータ５０
は、パレット７０がない状態において、投影プロジェク
タ５２により格子パターン９０を投影させて、ＣＣＤカ
メラ５４により２次元領域を撮像した、格子パターン撮
像データを固定ディスク１２４に記憶する（Ｓ１０
０）。パレット搬送ユニット４２により、ワーク８０が
積載されたパレット７０がパレット搬送ユニット４２上
の予め定められた位置に搬送される。パレット検知セン
サ４４がパレット７０を検知すると、パレット検知セン
サ４４からラインコントロールコンピュータ４０にパレ
ット検知信号が送信される。ラインコントロールコンピ
ュータ４０は、ＬＡＮ６０を介して、ロボットコントロ
ーラ３０にパレット検知信号を送信し、ロボットコント
ローラ３０は、受信したパレット検知信号を画像処理コ
ンピュータ５０に送信する。

【００９１】画像処理コンピュータ５０がロボットコン
トローラ３０からパレット検知信号を受信すると（Ｓ１
０２にてＹＥＳ）、投影処理が開始される（Ｓ１０
４）。ロボットコントローラ３０がラインコントロール
コンピュータ４０から受信した積載データを、画像処理
コンピュータ５０に送信する。画像処理コンピュータ５
０は、ロボットコントローラ３０から積載データを受信
すると（Ｓ１０６にてＹＥＳ）、受信した積載データを
固定ディスク１２４に記憶する（Ｓ１１０）。

【００９２】画像処理コンピュータ５０は、ＣＣＤカメ
ラ５４に、撮像信号を送信する（Ｓ１５０）。ＣＣＤカ
メラ５４は、格子パターン９０が投影されていない状態
のワーク８０を撮像して、画像処理コンピュータ５０に
送信する。画像処理コンピュータ５０が、ＣＣＤカメラ
５４から撮像データを受信すると（Ｓ１５２にてＹＥ
Ｓ）、画像処理コンピュータ５０は、受信した撮像デー
タに基づいて、基準点の色データを抽出する（Ｓ１５
６）。画像処理コンピュータ５０は、基準点の標準の色
データを予め固定ディスク１２４に記憶しておく。画像
処理コンピュータ５０は、固定ディスク１２４から、基
準点の標準の色データを読出す（Ｓ１５８）。受信した
撮像データに基づいて抽出された色データと、固定ディ
スクから読出した標準の色データとの差が予め定められ
た以上であると（Ｓ１６０にてＹＥＳ）、外乱光補正フ
ラグがセットされる（Ｓ１６２）。

【００９３】画像処理コンピュータ５０は、ＣＣＤカメ
ラ５４から受信した撮像データから、パレットの基準点
の座標データを抽出する（Ｓ１６４）。画像処理コンピ
ュータ５０は、予め固定ディスク１２４に、基準点の標
準座標データを記憶している。画像処理コンピュータ５
０は、固定ディスク１２４に記憶された基準点の標準座
標データを読出す（Ｓ１６６）。画像処理コンピュータ
５０は、ＣＣＤカメラ５４から受信した撮像データから
抽出した座標データと、固定ディスク１２４から読出し
た標準座標データとの差が予め定められた値以上である
と（Ｓ１６８にてＹＥＳ）、位置補正回転角度を算出す
る（Ｓ１７０）。

【００９４】画像処理コンピュータ５０は、積載データ
（図５）に含まれる積載ワーク色に基づいて、格子パタ
ーン９０の線分の色を決定する（Ｓ１１４）。画像処理
コンピュータ５０は、積載データ（図５）に含まれる積
載段数および積載ワーク高さに基づいて、格子パターン
９０の線の間隔を決定する（Ｓ１１６）。画像処理コン
ピュータ５０は、外乱光補正フラグがセットされている
と、格子パターン９０の線の太さを太く、外乱光補正フ
ラグがリセット状態であると、格子パターン９０の線の
太さを細く決定する（Ｓ１１８）。画像処理コンピュー
タ５０は、位置補正回転角度に基づいて、格子パターン
の回転角度を決定する。

【００９５】画像処理コンピュータ５０は、決定した
色、間隔、太さおよび回転角度を有する格子パターンを
作成し（Ｓ１２２）、作成された格子パターンのデータ
を、投影プロジェクタ５２に送信する（Ｓ１２４）。

【００９６】［撮像動作］ロボット３２が１段分のデパ
レタイズを行なった後、またはパレット７０が到着した
直後に、ロボットコントローラ３０は、画像処理コンピ
ュータ５０に、実装データ要求信号を送信する。画像処
理コンピュータ５０は、実装データ要求信号をロボット
コントローラ３０から受信すると（Ｓ２００にてＹＥ
Ｓ）、ＣＣＤカメラ５４に撮像信号を送信する。このと
き、ＣＣＤカメラ５４は、ワークが存在するが、格子パ
ターン９０が投影されていない状態で、２次元領域を撮
像し、画像処理コンピュータ５０に撮像データを送信す
る。画像処理コンピュータはＣＣＤカメラ５４から撮像
データを受信すると（Ｓ２０４にてＹＥＳ）、格子パタ
ーン無し撮像データを、固定ディスク１２４に記憶する
（Ｓ２０８）。

【００９７】画像処理コンピュータ５０は、投影プロジ
ェクタ５２に、投影信号を送信する（Ｓ２１０）。画像
処理コンピュータ５０は、ＣＣＤカメラ５４に撮像信号
を送信する（Ｓ２１２）。このとき、ＣＣＤカメラ５４
は、格子パターン９０が投影されたワーク８０を含む２
次元領域を撮像し、撮像データを画像処理コンピュータ
５０に送信する。画像処理コンピュータ５０は、撮像デ
ータをＣＣＤカメラ５４から受信すると（Ｓ２１２でＹ
ＥＳ）、投影プロジェクタ５２に投影停止信号を送信す
る（Ｓ２１８）。投影停止信号を受信した投影プロジェ
クタ５２は、格子パターン９０の投影を停止する。

【００９８】画像処理コンピュータ５０は、ＣＣＤカメ
ラ５４から受信した格子パターン有り撮像データを固定
ディスク１２４に記憶する（Ｓ２２０）。固定ディスク
１２４は、格子パターン撮像データ（格子パターンの
み）を、第１の画像データとして、格子パターン無し撮
像データ（ワークのみ）を、第２の画像データとして、
格子パターン有り撮像データ（格子パターン有り、ワー
ク有り）を、第３の画像データとして、固定ディスク１
２４にそれぞれ記憶する（Ｓ２２２）。

【００９９】画像処理コンピュータ５０は、第１の画像
データの交点座標を算出し（Ｓ２２４）、第２の画像デ
ータの交点座標を算出する（Ｓ２２６）。画像処理コン
ピュータ５０は、第１の交点座標データと、第２の交点
座標データとに基づいて、対応する、交点の距離を算出
する（Ｓ２２８）。画像処理コンピュータ５０は、交点
の距離と、積載ワーク高さにより定まる定数とに基づい
て、パレット積載高さを算出し（Ｓ２３０）、パレット
積載高さに基づいて、現在の段数Ｎ（上からＮ段目）を
算出する（Ｓ２３２）。

【０１００】画像処理コンピュータ５０は、第２の画像
データと第３の画像データとの差分データを算出し（Ｓ
２３４）、算出した差分データを予め定められたしきい
値で２値化する（Ｓ２３６）。画像処理コンピュータ５
０は、２値化された画像データにおける格子パターン線
の不連続点を抽出する（Ｓ２３８）。画像処理コンピュ
ータ５０は、不連続点からの検索範囲内に存在する連続
線分を検索し（Ｓ２４０）、傾きが同じ線分を検索でき
ると（Ｓ２４２にてＹＥＳ）、検索できた不連続点をワ
ーク８０のエッジに決定する（Ｓ２４４）。

【０１０１】画像処理コンピュータは、不連続点からの
検索範囲内において連続線分が検索できないと、予め定
められたドット数分だけ検索範囲を拡げて、連続線分を
検索することを繰返し行なう。

【０１０２】画像処理コンピュータ５０は、全撮像領域
に含まれる不連続点に対する処理ができると（Ｓ２５２
にてＹＥＳ）、積載データ（図５）に含まれる積載ワー
ク幅および積載ワーク奥行きを超過しない範囲におい
て、エッジと決定された不連続点を積載ワークの外形と
決定する（Ｓ２５４）。画像処理コンピュータ５０は、
積載ワークの外形に基づいて、上からＮ段目のワークを
Ｍ個に決定し（Ｓ２５６）、上からＮ段目のＭ個の積載
ワークについて、基準点座標（Ｘ、Ｙ）、重心点座標
（Ｘ、Ｙ）およびずれ角度θを算出する（Ｓ２５８）。
画像処理コンピュータ５０は、上からＮ段目のＭ個の積
載ワークについて、実装データ（図６）をロボットコン
トローラ３０に送信する（Ｓ２６０）。このような処理
が、最下段まで繰返し行なわれる。

【０１０３】［画像データ］図１２に、第１の画像デー
タを、図１３に第２の画像データを、図１４に第３の画
像データを示す。図１２に示すように、第１の画像デー
タには、格子パターン９０のみが撮像されている。図１
３に示すように、第２の画像データには、格子パターン
が投影されていない状態のワーク８０が撮像されてい
る。図１４に示すように、第３の画像データには、格子
パターン９０が投影されたワーク８０が撮像されてい
る。

【０１０４】図１５に、第１の画像データにおける格子
パターンの交点と、第３の画像データにおける格子パタ
ーンの交点との移動を示す。図１５に示すように、点線
で示される第１の画像データにおける交点が、実線によ
り示される第３の画像データにおける交点に移動してい
る。この交点の移動距離に基づいて、パレット高さ（パ
レット７０の高さにワーク８０の高さを加えた高さ）が
算出される。

【０１０５】図１６に、第２の画像データと第３の画像
データの差分データを２値化したデータを示す。図１６
に示すように、ワークの外形に沿って、不連続点が存在
する。図１７を参照して、この不連続点について説明す
る。図１７（Ａ）に、図１６にワークの外形を加えたも
のを示す。このワークの外形は、差分データとして現わ
れないが、説明をわかりやすくするために、図１７
（Ａ）に表示している。図１７（Ｂ）に、図１７（Ａ）
の一部分を拡大した図を、図１７（Ｃ）に、図１７
（Ｂ）の一部分を拡大した図を示す。図１７（Ａ）〜
（Ｃ）に示すように、ワーク８０が接するように積載さ
れている場合であっても、僅かな隙間による格子パター
ン９０の不連続点が存在する。図１７（Ｃ）に示すよう
に、この不連続点から予め定められた範囲内にある同じ
傾きを持つ連続した線分を検索し、そのような線分が検
索されると、その不連続点をワーク８０のエッジと決定
する。このように処理することにより、ワークの外形を
算出することができる。ワークの外形を算出することが
できると、ワークの重心座標およびワークのずれ角度θ
を算出することができる。

【０１０６】図１８〜図２０に、図１２〜図１４に対応
する撮像例を示す。図１８〜図２０に示す場合には、１
段当り９個あるワークのうち右上端のワークが歯抜けに
なっている場合である。

【０１０７】以上のようにして、本実施の形態に係る画
像処理コンピュータによると、ワークの表面色などに基
づいて、予め格子パターンを構成する線分の色などを決
定しておき、液晶型プロジェクタ、半導体型プロジェク
タなどの高輝度のプロジェクタを用いて、ワークに格子
パターンを投影する。投影された格子パターンを撮像カ
メラにより撮像して、撮像された画像データに基づい
て、パレットに積載されたワークの幅、奥行きおよび高
さ、ワークの基準点の位置座標、ワークの重心点の位置
座標およびワークのずれ角度などを算出することができ
る。ワークの投影される格子パターンは、予め必要な精
度を満足するように、外乱光の影響を抑制するように決
定されているため、周囲の環境に依存することなく、多
様な状況に対応が可能な、パレットに積載されたワーク
などの画像を処理することができる。その結果、安価、
正確かつ安全に、パレットに積載された物体などの画像
を処理する画像処理コンピュータを提供することができ
る。

【０１０８】なお、上述した実施の形態において、環境
データ算出処理などの一部の処理は、省略してもよい。
また、ラインコントロールコンピュータを設けずに、ホ
ストコンピュータから直接ロボットコントローラが積載
データを受信してもよい。また、第１の画像データと第
３の画像データとによる画像処理、および第２の画像デ
ータと第３の画像データとによる画像処理のいずれかを
行なうものであってもよい。これらの処理は、単位時間
あたりのロボットのデパレタイズ処理能力と、画像処理
コンピュータの画像処理能力とのバランスがとれるよう
に適宜選択される。

【０１０９】さらに、上述した実施の形態において、実
装データの処理単位を１段単位としたが、これに限定さ
れない。たとえば、実装データの処理単位は、ワーク１
個単位であってもよい。このようにすると、１個ずつデ
パレタイズするたびにワークのずれを検知でき、あるワ
ークのデパレタイズ時にロボットハンドが干渉したこと
よる次にデパレタイズするワークのずれに対応できる。
ＣＣＤカメラ５４で二次元領域を撮像する際には、実装
データの処理単位を一度に撮像してもよいし、実装デー
タの処理単位の領域を一部ずつを複数回にわけて撮像し
て実装データの処理単位の２次元領域の全体を撮像する
ようにしてもよい。

【０１１０】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【図面の簡単な説明】

【図１】 本発明の実施の形態に係るデパレタイズシス
テムの全体構成図である。

【図２】 投影プロジェクタおよびＣＣＤカメラを含む
画像処理部の構成を表わす斜視図である。

【図３】 本発明の実施に形態に係る画像処理コンピュ
ータの外観図である。

【図４】 図３に示すコンピュータシステムの制御ブロ
ック図である。

【図５】 ロボットコントローラから画像処理コンピュ
ータに送信される、積載データのデータ構造を示す図で
ある。

【図６】 画像処理コンピュータからロボットコントロ
ーラに送信される、実装データのデータ構造を示す図で
ある。

【図７】 本実施の形態に係る画像処理コンピュータに
おいて実行される投射処理の制御の手順を示すフローチ
ャートである。

【図８】 本実施の形態に係る画像処理コンピュータに
おいて実行される環境データ算出処理の制御の手順を示
すフローチャートである。

【図９】 本実施の形態に係る画像処理コンピュータに
おいて実行される撮像処理の制御の手順を示すフローチ
ャート（その１）である。

【図１０】 本実施の形態に係る画像処理コンピュータ
において実行される撮像処理の制御の手順を示すフロー
チャート（その２）である。

【図１１】 本実施の形態に係る画像処理コンピュータ
において実行される撮像処理の制御の手順を示すフロー
チャート（その３）である。

【図１２】 第１の画像データを示す図（その１）であ
る。

【図１３】 第２の画像データを示す図（その１）であ
る。

【図１４】 第３の画像データを示す図（その１）であ
る。

【図１５】 ワーク高さを求める手順を説明するための
図である。

【図１６】 ワーク外形を求める手順を説明するための
図（その１）である。

【図１７】 ワーク外形を求める手順を説明するための
図（その２）である。

【図１８】 第１の画像データを示す図（その２）であ
る。

【図１９】 第２の画像データを示す図（その２）であ
る。

【図２０】 第３の画像データを示す図（その２）であ
る。

【符号の説明】

３０ ロボットコントローラ、３２ ロボット、４０
ラインコントロールコンピュータ、４２ パレット搬送
コンベア、４４ パレット検知センサ、５０画像処理コ
ンピュータ、５２ 投影プロジェクタ、５４ ＣＣＤカ
メラ、６０ＬＡＮ、８０ ワーク、９０ 格子パター
ン、１００ コンピュータシステム、１０２ コンピュ
ータ、１０４ モニタ、１０６ ＦＤ駆動装置、１０８
ＣＤ−ＲＯＭ駆動装置、１１０ キーボード、１１２
マウス、１２６ ロボットコントローラインターフェ
イス、１２８ 投影プロジェクタインターフェイス、１
３０ ＣＣＤカメラインターフェイス。

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｇ０６Ｔ 7/60 １５０ Ｇ０６Ｔ 7/60 １５０Ｐ Ｇ０１Ｂ 11/24 Ｋ Ｆターム(参考） 2F065 AA04 AA21 AA53 CC00 FF07 JJ03 JJ19 JJ26 QQ24 QQ25 RR06 5B047 AA07 AA11 AB04 BC11 CA12 5B057 AA01 BA02 BA23 CA01 CA13 CA16 DA06 DB03 DC08 5L096 BA05 CA02 FA06 FA67 FA69 GA08 JA11

Claims (11)

【特許請求の範囲】
1. 【請求項１】 物体を撮像した画像データを処理する画
   像処理装置であって、前記画像処理装置は、 前記物体に、２以上の線分により構成される格子パター
   ンを投影するための投影手段を含み、前記格子パターン
   は前記線分が交差する交点を少なくとも１つ含み、前記
   画像処理装置はさらに、 ２次元領域を撮像するための撮像手段と、 前記投影手段と前記撮像手段とに接続され、前記投影手
   段と前記撮像手段とを制御するための制御手段とを含
   み、 前記制御手段は、 予め定められた条件に従った格子パターンを、前記物体
   に投影するように、前記投影手段に指示するための第１
   の指示手段と、 前記投影手段により投影された格子パターンおよび前記
   物体の少なくとも一方を含む２次元領域を撮像するよう
   に、前記撮像手段に指示するための第２の指示手段と、 前記撮像手段により撮像された２次元領域の画像に基づ
   いて、前記物体に関する情報を作成するための作成手段
   とを含む、画像処理装置。
2. 【請求項２】 前記第１の指示手段は、前記物体の色に
   対応して予め定められた色の線分により構成される格子
   パターンを、前記物体に投影するように、前記投影手段
   に指示するための手段を含む、請求項１に記載の画像処
   理装置。
3. 【請求項３】 前記物体は直方体の形状を有し、 前記第１の指示手段は、前記直方体を構成する一辺と予
   め定められた角度を有する線分により構成される格子パ
   ターンを、前記物体に投影するように、前記投影手段に
   指示するための手段を含む、請求項１に記載の画像処理
   装置。
4. 【請求項４】 前記物体に関する情報は、物体の位置情
   報であって、 前記第１の指示手段は、前記物体の位置情報の精度に対
   応して予め定められた太さの線分により構成される格子
   パターンを、前記物体に投影するように、前記投影手段
   に指示するための手段を含む、請求項１に記載の画像処
   理装置。
5. 【請求項５】 前記物体に関する情報は、物体の位置情
   報であって、 前記第１の指示手段は、前記物体の位置情報の精度に対
   応して予め定められた間隔を有する平行な線分により構
   成される格子パターンを、前記物体に投影するように、
   前記投影手段に指示するための手段を含む、請求項１に
   記載の画像処理装置。
6. 【請求項６】 前記第２の指示手段は、前記物体が存在
   しない状態において前記投影手段により投影された格子
   パターンを含む２次元領域を第１の画像として、前記格
   子パターンの交点が投影された物体を含む２次元領域を
   第２の画像として撮像するように、前記撮像手段に指示
   するための手段を含み、 前記作成手段は、前記第２の画像における交点と、前記
   第１の画像における交点との距離に基づいて、前記物体
   の寸法に関する情報を作成するための手段を含む、請求
   項１〜５のいずれかに記載の画像処理装置。
7. 【請求項７】 前記第２の指示手段は、前記格子パター
   ンが投影されていない物体を含む２次元領域を第１の画
   像として、前記格子パターンの交点が投影された物体を
   含む２次元領域を第２の画像として撮像するように、前
   記撮像手段に指示するための手段を含み、 前記作成手段は、前記第２の画像と前記第１の画像との
   差分データにおける前記線分の不連続点に基づいて、前
   記物体の外形に関する情報を作成するための手段を含
   む、請求項１〜５のいずれかに記載の画像処理装置。
8. 【請求項８】 前記作成手段は、前記物体の外形に関す
   る情報に基づいて、前記物体について予め定められた位
   置からのずれに関する情報を作成するための手段を含
   む、請求項７に記載の画像処理装置。
9. 【請求項９】 前記投影手段は、ブラウン管型プロジェ
   クタ、液晶型プロジェクタおよび半導体型プロジェクタ
   のいずれかである、請求項１〜８のいずれかに記載の画
   像処理装置。
10. 【請求項１０】 コンピュータを用いて、物体を撮像し
    た画像データを処理するプログラムであって、前記コン
    ピュータには、前記物体に、２以上の線分により構成さ
    れる格子パターンを投影するための投影プロジェクタが
    接続され、前記格子パターンは前記線分が交差する交点
    を少なくとも１つ含み、前記コンピュータにはさらに、
    ２次元領域を撮像するためのカメラが接続され、 前記プログラムは、コンピュータに、 予め定められた条件に従った格子パターンを、前記物体
    に投影するように、前記投影プロジェクタに指示する第
    １の指示手順と、 前記投影プロジェクタにより投影された格子パターンお
    よび前記物体の少なくとも一方を含む２次元領域を撮像
    するように、前記カメラに指示する第２の指示手順と、 前記カメラにより撮像された２次元領域の画像に基づい
    て、前記物体に関する情報を作成する作成手順とを実行
    させるプログラム。
11. 【請求項１１】 コンピュータを用いて、物体を撮像し
    た画像データを処理するプログラムを記録した記録媒体
    であって、前記コンピュータには、前記物体に、２以上
    の線分により構成される格子パターンを投影するための
    投影プロジェクタが接続され、前記格子パターンは前記
    線分が交差する交点を少なくとも１つ含み、前記コンピ
    ュータにはさらに、２次元領域を撮像するためのカメラ
    が接続され、 前記プログラムは、コンピュータに、 予め定められた条件に従った格子パターンを、前記物体
    に投影するように、前記投影プロジェクタに指示する第
    １の指示手順と、 前記投影プロジェクタにより投影された格子パターンお
    よび前記物体の少なくとも一方を含む２次元領域を撮像
    するように、前記カメラに指示する第２の指示手順と、 前記カメラにより撮像された２次元領域の画像に基づい
    て、前記物体に関する情報を作成する作成手順とを実行
    させるプログラムを記録した記録媒体。