JP2000331163A

JP2000331163A - 画像処理装置

Info

Publication number: JP2000331163A
Application number: JP11143263A
Authority: JP
Inventors: Kunio Fujiwara; 邦夫藤原
Original assignee: Sharp Corp; Sharp Manufacturing Systems Corp
Current assignee: Sharp Corp; Sharp Manufacturing Systems Corp
Priority date: 1999-05-24
Filing date: 1999-05-24
Publication date: 2000-11-30

Abstract

(57)【要約】【課題】計測対象物の品種が変化したときに、その品
種変化に即応した適正なパターンマッチングが行える画
像処理装置を提供する。【解決手段】ＣＣＤカメラ１１の取り込み画像データ
全領域５０内に一部分のサーチウインドウ５１を設定し
ておき、サーチウインドウモードにおいて、計測対象物
４０を撮像した画像データのうちサーチウインドウ５１
のみのウインドウ画像データを取り込み、正規化相関な
どの画像処理を行って計測対象物４０の到達を検知する
とともに計測対象物４０の品種を判別する。そして、判
別した品種に応じたテンプレート画像データを選択す
る。次いで、全画素読み出しモードに進み、前記の選択
したテンプレート画像データに基づいてのパターンマッ
チングにより欠陥検査を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、欠陥検査用の画像
処理装置、特に生産ライン検査システムに装備されて生
産される半製品または製品の欠陥（例えば位置ずれな
ど）を検出するための画像処理装置にかかわり、詳しく
は計測対象物が検査ポイントに到達したことを画像処理
によって検出するように構成してある画像処理装置であ
って、計測対象物の品種変化に素早く対応できるように
する技術に関する。

【０００２】

【従来の技術】従来より、検査対象をＣＣＤカメラ等に
よって撮像して画像データを取得し、その画像データを
画像処理して判定基準と比較することにより欠陥の有無
を判定し、欠陥と判定したときにアラームを出力するよ
うに構成された画像処理装置が知られている。

【０００３】図７は従来の技術にかかわる画像処理装置
の電気的構成を示すブロック図である。図８は上記の画
像処理装置を適用する生産ライン検査システムの概要を
示す。図７において、符号の６０は画像処理装置、６１
は撮影レンズや絞りやＣＣＤ（電荷結合デバイス）など
からなるＣＣＤカメラ、６２は可変タイミングジェネレ
ータ（ＶＴＧ）、６３はＣＣＤのドライバ、６４はＡ／
Ｄ変換器、６５はＣＰＵ（中央演算処理装置）、６６は
ＲＯＭ（リードオンリーメモリ）、６７はＲＡＭ（ラン
ダムアクセスメモリ）、６８は入出力インターフェイス
（ＰＩＯ（Parallel Input/Output））、６９はバスで
ある。このシステムは、計測対象物の到達検出に光電セ
ンサを用いないタイプとなっている。

【０００４】コンベアなどの搬送手段７１によって複数
の計測対象物（容器）８０が所定の間隔を隔てて連続的
に搬送されていく。ここでは、計測対象物８０のラベル
８１が位置ずれなく正常な位置に貼り付けられているか
否かを検査するものとする。画像処理装置６０における
ＣＣＤカメラ６１は検査ポイントＤＰにおいて計測対象
物８０を撮像するようにセッティングされている。可変
タイミングジェネレータ（ＶＴＧ）６２はＣＣＤドライ
バ６３に対して可変のタイミング信号（水平転送クロッ
クタイミングパルスＴＰＨ、垂直転送クロックタイミン
グパルスＴＰＶ）を出力し、ＣＣＤドライバ６３はその
可変のタイミング信号に従って水平転送クロックφＨお
よび垂直転送クロックφＶを送出してＣＣＤカメラ６１
を駆動する。ＣＣＤカメラ６１は被写体である搬送中の
計測対象物８０を撮像する。すなわち、計測対象物８０
の光学像が撮像レンズを介してＣＣＤの表面に結像し、
ＣＣＤはその光学像を信号電荷として蓄積しているが、
タイミング信号を入力すると、感光部のフォトダイオー
ドから垂直転送ＣＣＤへの転送および垂直転送ＣＣＤか
ら水平転送ＣＣＤへの転送を行い、出力アンプを介して
映像信号として出力する。Ａ／Ｄ変換器６４はＣＣＤカ
メラ６１から入力したアナログの映像信号（ＣＣＤ出力
信号）をディジタルの画像データに変換する。このＡ／
Ｄ変換器６４のビット数を例えば８ビットとすると、画
像データは２５６階調となる。Ａ／Ｄ変換器６４で得ら
れた画像データはバス６９を介してＲＡＭ６７のフレー
ムメモリ領域に一時的に格納される。

【０００５】図８において符号の９０はＣＣＤカメラ６
１による取り込み画像データ全領域を示している。計測
対象物８０のラベル８１の検査を行うためにＲＡＭ６７
に格納されている１フレーム分の画像データを画像処理
するが、その画像処理の開始は、計測対象物８０が所定
の検査ポイントＤＰに到達したことを検知したタイミン
グで行う必要がある。そのために、旧来では、到達検出
手段として二点鎖線で示すように光電センサ７０を検査
ポイントＤＰに配置し、この光電センサ７０によるトリ
ガ信号を画像処理装置６０に対して入出力インターフェ
イス６８およびバス６９を介してＣＰＵ６５に送出する
ようにしていた。

【０００６】ところで、本出願人は、特開平９−４３０
５４号公報において、光電センサ７０を用いないで、画
像処理の開始のトリガを画像処理自体において行うよう
にする技術を提案している。それは、検査ポイントＤＰ
に相当する取り込み画像データ全領域９０内の特定の領
域に到達検出のためのサーチウインドウ９１を電子的に
（ソフトウェア的に）設定し、このサーチウインドウ９
１での画像データに一定の変動があったときに、計測対
象物８０が検査ポイントＤＰに到達したと判定するので
ある。サーチウインドウ９１は、取り込み画像データ全
領域９０における水平方向アドレスと垂直方向アドレス
と水平方向画素数と垂直方向画素数によって定められ
る。これらのアドレスと画素数はＲＡＭ６７にあらかじ
め設定されている。

【０００７】ＣＣＤカメラ６１によって取得した画像デ
ータの処理については、サーチウインドウモードと全画
素読み出しモードに分かれる。検査のための画像処理を
行っていない待機状態では、サーチウインドウモードが
設定され、サーチウインドウ９１のみをチェックする。
ＣＰＵ６５は、ＲＡＭ６７から読み出した前記のアドレ
スおよび画素数のデータに従って、可変タイミングジェ
ネレータ６２を制御し、ＣＣＤドライバ６３からサーチ
ウインドウ９１に相当する水平転送クロックφＨおよび
垂直転送クロックφＶをＣＣＤカメラ６１のＣＣＤに送
出させる。ＣＣＤにおいてサーチウインドウ９１に相当
する映像信号（ＣＣＤ出力信号）が出力され、これがＡ
／Ｄ変換器６４において２５６階調のディジタルの画像
データに変換され、そのサーチウインドウ９１内相当の
ウインドウ画像データがＲＡＭ６７のワーキングエリア
にストアされる。ＣＰＵ６５は、そのウインドウ画像デ
ータを所定のしきい値で２値化処理し、得られた黒成分
（または白成分）がサーチウインドウ９１の全画素数の
例えば５０％を超えた時点でトリガ信号を生成する。こ
のトリガ信号の生成によって、サーチウインドウモード
から全画素読み出しモードに切り換える。計測対象物８
０が検査ポイントＤＰに到達したか否かのチェックをサ
ーチウインドウ９１のみでの２値化処理で行っているの
で、そのチェックを高速に行うことができる。

【０００８】ＣＰＵ６５は、生成したトリガ信号を可変
タイミングジェネレータ６２に送出し、ＣＣＤドライバ
６３から取り込み画像データ全領域９０に相当する水平
転送クロックφＨおよび垂直転送クロックφＶをＣＣＤ
カメラ６１のＣＣＤに送出させる。取り込み画像データ
全領域９０についての映像信号（ＣＣＤ出力信号）がＡ
／Ｄ変換器６４において２５６階調のディジタルの画像
データに変換され、１フレーム分の画像データがＲＡＭ
６７のフレームメモリ領域にストアされる。ＣＰＵ６５
は、ＲＯＭ６６から読み出したプログラムおよびＲＡＭ
６７から読み出した画像処理演算用条件に従って、ＲＡ
Ｍ６７のフレームメモリ領域に格納されている１フレー
ム分全体の画像データを読み出す。そして、１画素単位
または複数画素の集合であるブロック単位で所要の画像
処理のための演算を実行してラベル８１に相当する画像
領域を見いだし、ＲＡＭ６７から読み出したラベル形状
に相当するテンプレート画像データと画素比較すること
のパターンマッチングに基づいて両者の画像データの一
致度を算出し、その一致度が所定のしきい値以上となっ
ているか否かを判断し、しきい値以上となっているとき
は欠陥無しすなわちラベル８１についての位置ずれ無し
と判定し、しきい値未満のときは欠陥有りすなわちラベ
ル８１についての位置ずれ有りと判定する。あるいは、
ラベルの貼り忘れと判定する。その正常・異常の判定結
果は入出力インターフェイス６８を介して外部のモニタ
等に出力される。

【０００９】

【発明が解決しようとする課題】上記した従来の技術に
は次のような問題があった。それは、サーチウインドウ
９１での２値化処理により計測対象物８０が検査ポイン
トＤＰに到達したことを検出しているが、単にそれだけ
では、計測対象物８０の種類が変化した場合に対応する
ことができないのである。計測対象物８０の品種（種
類）が変化すると、検査項目としてのラベル形状のパタ
ーンマッチングのための基準となるテンプレート画像デ
ータも切り換える必要があるが、この切り換えを自動的
に行える手段が存在していないために、計測対象物８０
の品種の変化に対応できなかった。

【００１０】多品種少量生産においては、同一のライン
に複数種類の製品または半製品を切り換えて流すことが
ある。上記の従来の技術の画像処理装置６０の場合に
は、このような事態に対応することができないのであ
る。それに対応するためには、オペレータ等が品種の変
化の判断を人為的に行い、さらに、その品種に応じたテ
ンプレート画像データの選択も人為的に行う必要があ
る。しかし、それは非常に面倒なことであるとともに、
ミスを発生しがちである。生産ライン上にリミットスイ
ッチやバーコードリーダなどの品種判別センサを配置
し、その判別結果に応じてテンプレート画像データを自
動的に切り換えるようにすることも考えたが、品種に応
じたリミットスイッチの選択はむずかしい。また、画像
処理装置とは別にバーコードリーダを採用することは、
コスト負担が大きくなりすぎるという問題がある。

【００１１】本発明は上記した課題の解決を図るべく創
作したものであって、計測対象物の品種が変化したとき
に、その品種変化に即応した適正なパターンマッチング
が行える画像処理装置を提供することを目的としてい
る。

【００１２】

【課題を解決するための手段】上記した課題の解決を図
ろうとする本発明にかかわる請求項１の画像処理装置
は、次のように構成してある。すなわち、計測対象物が
検査ポイントに到達したことを画像処理によって検出
し、その到達検出に基づいて欠陥検査の画像処理を開始
するように構成されている画像処理装置を前提とする。
そして、前記検査ポイントに到達したことの画像処理を
もって計測対象物の品種を判別し、前記欠陥検査の画像
処理においてその品種に応じた基準データ（例えばパタ
ーンマッチングのためのテンプレート画像データ）を選
択して画像処理を行うように構成してある。画像処理を
もって、到達検出とともにその到達した計測対象物の品
種をも自動的に判別するので、そして、欠陥検査の画像
処理での基準データとして前記の判別した品種に応じた
基準データを自動的に選択するので、計測対象物の品種
変化にかかわらず、その品種変化に対応した適正な欠陥
検査の画像処理が行える。なお、光電センサやバーコー
ドリーダなどの別の手段を用いないですむ。もっとも、
これらを併用してはならないことは意味しない。

【００１３】本発明にかかわる請求項２の画像処理装置
は、上記請求項１において、前記到達検出の画像処理に
おけるスキャン領域を、取り込み画像データ全領域のう
ちの小さな一部分であるサーチウインドウとしたもので
ある。取り込み画像データ全領域でスキャンして到達検
出と品種判別を行う場合に比べて、短時間での処理が可
能である。したがって、特に速く移動する計測対象物の
欠陥検査に有利となる。

【００１４】本発明にかかわる請求項３の画像処理装置
は、上記請求項２において、次のような構成としてあ
る。すなわち、前記サーチウインドウの設定において、
水平方向アドレス、垂直方向アドレス、水平方向画素数
および垂直方向画素数を指定することにより任意の位置
にサーチウインドウを設定可能に構成してあることを特
徴としている。計測対象物の種類がさまざまに変化して
も、それぞれに応じた適正な位置にサーチウインドウを
設定することができ、汎用性が高まる。

【００１５】本発明にかかわる請求項４の画像処理装置
は、上記請求項２，３において、次のような構成として
ある。すなわち、前記サーチウインドウの設定におい
て、このサーチウインドウ以外の領域では水平転送クロ
ックおよび垂直転送クロックの周波数を標準より高くシ
フトさせるように構成してあることを特徴としている。
サーチウインドウ以外の画像データは到達検出および品
種判別にとって不要であるので、その画像データを間引
くことにより、高速な処理が可能となる。

【００１６】

【発明の実施の形態】以下、本発明にかかわる画像処理
装置の実施の形態を図面に基づいて詳細に説明する。

【００１７】図１は実施の形態の画像処理装置の電気的
構成を示すブロック図である。図１において、符号の１
０は当該の画像処理装置、１１は撮影レンズや絞りなど
を含む光学系および固体撮像手段の代表例であるＣＣＤ
（電荷結合デバイス）などからなるＣＣＤカメラであ
り、このＣＣＤカメラ１１は、撮影レンズによってＣＣ
Ｄ上に光学像を結像し、結像された光学像をＣＣＤで光
電変換して電気信号として出力するものである。１２は
ＣＣＤカメラ１１からのアナログの映像信号（ＣＣＤ出
力信号）をディジタル化して画像データに変換するＡ／
Ｄ変換器、１３はシステム全体の制御を司る制御手段の
一例としてのＣＰＵ（中央演算処理装置）、１４はＣＰ
Ｕ１３による演算・制御等のためのプログラムを格納し
ているＲＯＭ（リードオンリーメモリ）、１５はＣＰＵ
１３の演算・制御等を補助するとともにデータを格納す
るＲＡＭ（ランダムアクセスメモリ）である。１６はＣ
ＣＤドライバ１７がＣＣＤカメラ１１におけるＣＣＤに
対して所定の水平転送クロックφＨおよび垂直転送クロ
ックφＶを出力するように、ＣＣＤドライバ１７に対し
て対応する水平転送クロックタイミングパルスＴＰＨや
垂直転送クロックタイミングパルスＴＰＶを出力する可
変タイミングジェネレータ（ＶＴＧ：VariableTiming G
enerator）、１７は水平転送クロックφＨおよび垂直転
送クロックφＶを生成してＣＣＤカメラ１１におけるＣ
ＣＤに送出し、このＣＣＤを駆動するためのＣＣＤドラ
イバ、１８は外部との間でデータや制御信号の入出力を
行うためのＰＩＯ（Parallel Input/Output）と称され
る入出力インターフェイス、１９はＣＰＵ１３、ＲＯＭ
１４、ＲＡＭ１５、Ａ／Ｄ変換器１２、可変タイミング
ジェネレータ１６および入出力インターフェイス１８を
接続するバスである。

【００１８】ＣＣＤドライバ１７は、ＣＣＤに与える水
平転送クロックφＨと垂直転送クロックφＶのモードに
よって、所定の比較的小さな部分的スキャン領域である
サーチウインドウ５１（図２参照）をＣＣＤにおいて任
意に設定し、そのサーチウインドウ５１の画素領域から
のみ信号電荷を読み出すことができるようになってい
る。もちろん、通常のものと同様に、ＣＣＤの取り込み
画像データ全領域５０からの信号電荷の読み出しも可能
である。前者をサーチウインドウモードといい、後者を
全画素読み出しモードという。

【００１９】サーチウインドウモードの場合、ＣＣＤド
ライバ１７はＣＣＤに対して図３に示すような可変周波
数の水平転送クロックφＨａと可変周波数の垂直転送ク
ロックφＶａを送出するようになっており、このとき可
変タイミングジェネレータ１６はそのような転送クロッ
クを生成するような水平転送クロックタイミングパルス
ＴＰＨと垂直転送クロックタイミングパルスＴＰＶをＣ
ＣＤドライバ１７に送出するようになっている。そのよ
うな動作はＣＰＵ１３からの指令によって行われる。全
画素読み出しモードの場合は、ＣＣＤドライバ１７はＣ
ＣＤに対して図５に示すような通常の標準の水平転送ク
ロックφＨと垂直転送クロックφＶを送出するようにな
っており、このとき可変タイミングジェネレータ１６は
そのような転送クロックを生成するような水平転送クロ
ックタイミングパルスＴＰＨと垂直転送クロックタイミ
ングパルスＴＰＶをＣＣＤドライバ１７に送出するよう
になっている。そのような動作もＣＰＵ１３からの指令
によって行われる。図３と図５の違いについてはのちに
詳しく説明する。

【００２０】入出力インターフェイス１８には、図示し
ないケーブルを介してＣＲＴ（陰極線管）や液晶ディス
プレイ（ＬＣＤ）などのモニタ２１を接続できるように
なっている。また、ＲＡＭ１５に必要な初期値、判定基
準等のためのパラメータ、しきい値、その他の条件、必
要なデータ、特に、パターンマッチングの基準データと
なるテンプレート画像データや計測対象物の到達検出の
ためのウインドウ用マッチング画像データなどを設定入
力したり、必要な指示を与えたりするためのワイヤード
リモコンなどの入力操作部２２や、画像処理装置１０の
内部の状況や判断結果などをオペレータや検査要員等に
知らせるための警報器２３やインジケータをそれぞれ個
別のケーブルを介して接続することが可能となってい
る。なお、ワイヤードリモコンに代えてワイヤレスリモ
コンを用いることも可能とし、この場合は、リモコン受
信機の出力端子を入出力インターフェイス１８に接続す
るものとする。警報器２３としては、ＬＥＤ（発光ダイ
オード）、蛍光表示管その他任意の発光素子、灯器、あ
るいはブザーなどの鳴動器が適用可能とする。さらに、
入出力インターフェイス１８には、必要な外部記憶装置
２４を接続することができるようになっている。この外
部記憶装置２４は、計測対象物４０の種々の品種ごとに
ウインドウ用マッチング画像データおよびテンプレート
画像データも格納しており、ＣＰＵ１３は入力操作部２
２の操作に基づいて外部記憶装置２４をアクセスして必
要な品種のウインドウ用マッチング画像データおよびテ
ンプレート画像データを読み出してＲＡＭ１５に格納す
るようになっている。外部記憶装置２４としては、ハー
ドディスクドライブなどの磁気記録デバイス、ＭＯ（Ma
gneto Optics）ディスクドライブやＤＶＤ（Digital Ve
rsatile Disk）‐ＲＡＭドライブなどの光磁気記録デバ
イス、フラッシュメモリ、ＥＥＰＲＯＭその他の不揮発
性メモリなどの半導体記憶デバイスなどがある。

【００２１】なお、ここでは、ＲＡＭ１５は充分に大き
な記憶容量をもっているものとし、かつ、電源をオフし
ても記憶内容が消えないように、ＲＡＭ１５に対してバ
ックアップを行っているものとする。そのバックアップ
は、例えばリチウム電池でもよいし、大容量のキャパシ
タでもよい。

【００２２】図２は上記構成の画像処理装置１０を適用
する生産ライン検査システム３０の概要を示す。図２に
おいて、符号の３１は計測対象物４０（４０ａ，４０
ｂ）を搬送するコンベヤなどの搬送手段である。なお、
説明の便宜上、図２においては、ＣＣＤカメラ１１を画
像処理装置１０の外側に出して描いているが、実際に
は、ＣＣＤカメラ１１は画像処理装置１０と一体となっ
ている。もっとも、ＣＣＤカメラ１１を画像処理装置１
０とは別体構成とし、両者をケーブルで接続した態様と
してもよい。Ｘは搬送手段３１による搬送方向を示す。

【００２３】図２においては、計測対象物４０として製
品梱包体が示されている。この製品梱包体４０にはいく
つかの種類がある。ここでは、代表的に２種類の製品梱
包体４０ａ，４０ｂを示してあるが、その種類数はいく
つであってもかまわない。第１の品種の製品梱包体４０
ａの側面には、それ特有のラベル４１ａが貼り付けられ
ており、また、その品種を識別するための識別符４２ａ
が施されている。また、第２の品種の製品梱包体４０ｂ
の側面には、それ特有のラベル４１ｂが貼り付けられて
おり、また、その品種を識別するための識別符４２ｂが
施されている。なお、それぞれの識別符４２ａ，４２ｂ
についてはほぼ同じ箇所に配置するものとする。それ
は、ＣＣＤのサーチウインドウ５１においてこれらの識
別符４２ａ，４２ｂを検出するためである。

【００２４】ＣＣＤカメラ１１は、搬送手段３１によっ
て搬送されていく計測対象物４０をその側面から撮像す
るように、搬送手段３１の経路の横脇で検査ポイントＤ
Ｐにおいて到達検出を行うような位置関係で配置されて
いる。なお、計測対象物４０の上面にラベルや識別符が
あるときは、ＣＣＤカメラ１１を搬送手段３１の真上に
配置して、計測対象物４０の上面を撮像するようにす
る。なお、後に説明するが、計測対象物４０としては、
何も製品梱包体に限る必要はなく、また、検査対象とし
ては、何もラベルに限る必要はなく、画像処理による検
査が可能なものであれば、どのようなものを検査対象と
してもよいことを付記しておく。印刷表記を検査対象と
してもよい。検査項目としては形状でも数量でもサイズ
でも面積でも、その他何であってもよい。製品梱包体や
ラベルは一例にすぎない。

【００２５】ＣＣＤカメラ１１による取り込み画像デー
タ全領域（有効画素領域）５０内の特定の領域に到達検
出のためのサーチウインドウ５１を電子的に（ソフトウ
ェア的に）設定してある。このサーチウインドウ５１は
製品梱包体４０ａ，４０ｂにおける識別符４２ａ，４２
ｂの位置に対応して設定されるものとする。このサーチ
ウインドウ５１の設定位置は任意に調整できるものであ
る。それは、後述するように、水平方向アドレス、垂直
方向アドレス、水平方向画素数および垂直方向画素数の
設定値によって任意に調整し得る。計測対象物４０にお
ける識別符４２ａ，４２ｂの大きさや位置に応じて調整
するのである。

【００２６】次に、上記のように構成された実施の形態
の場合の生産ライン検査システム３０に適用された画像
処理装置１０の動作を説明する。

【００２７】駆動されている搬送手段３１によって複数
の計測対象物４０（４０ａ，４０ｂ）が所定の間隔を隔
てて連続的に搬送されていく。画像処理装置１０におけ
るＣＣＤカメラ１１は、搬送手段３１による搬送経路の
所定の位置に設定された検査ポイントＤＰを起点として
その上手側の所定の面積範囲（視野）を監視している。
計測対象物４０が検査ポイントＤＰに到達するのを検出
するために、画像処理装置１０におけるＣＰＵ１３はま
ずサーチウインドウモードを設定する。すなわち、ＣＰ
Ｕ１３は、スキャン領域として取り込み画像データ全領
域５０内におけるサーチウインドウ５１を設定するため
に、そのサーチウインドウ５１の取り込み画像データ全
領域５０における水平方向アドレスと垂直方向アドレス
と水平方向画素数と垂直方向画素数をＲＡＭ１５から読
み出して、可変タイミングジェネレータ１６に送出す
る。なお、あらかじめ入力操作部２２での操作によりそ
れらの設定データをＲＡＭ１５に入力設定しておくもの
とする。

【００２８】サーチウインドウモードのときのアドレス
および画素数のデータをＣＰＵ１３から受け取った可変
タイミングジェネレータ１６は、カウンタの設定を調整
して、すなわち分周比を調整することにより、サーチウ
インドウ５１を所定の位置に生成するための水平転送ク
ロックタイミングパルスＴＰＨと垂直転送クロックタイ
ミングパルスＴＰＶを生成してＣＣＤドライバ１７に送
出する。それを受け取ったＣＣＤドライバ１７は、図３
に示すような可変周波数の水平転送クロックφＨａと同
じく可変周波数の垂直転送クロックφＶａを生成してＣ
ＣＤカメラ１１のＣＣＤに送出する。

【００２９】図４に模式的に示すように、可変周波数の
水平転送クロックφＨａは、サーチウインドウ５１に対
応する時間帯で正規の水平周波数ｆＨとなっており、サ
ーチウインドウ５１以外に対応する時間帯でより高い水
平周波数ｆＨｈとなっている（ｆＨｈ＞ｆＨ）。また、
可変周波数の垂直転送クロックφＶａは、サーチウイン
ドウ５１に対応する時間帯で正規の垂直周波数ｆＶとな
っており、サーチウインドウ５１以外に対応する時間帯
でより高い垂直周波数ｆＶｈとなっている（ｆＶｈ＞ｆ
Ｖ）。

【００３０】図３においては、可変周波数の垂直転送ク
ロックφＶａの正規の垂直周波数ｆＶでの１周期分につ
いて、可変周波数の水平転送クロックφＨａの１水平ラ
イン分を示している。そして、その可変周波数の水平転
送クロックφＨａの正規の水平周波数ｆＨの時間帯での
ＣＣＤの映像信号ＰＳ１を有効として出力するように
し、より高い水平周波数ｆＨｈの時間帯での映像信号Ｐ
Ｓ２を無効とすることを意味している。

【００３１】正規よりも高い水平周波数ｆＨｈ、正規よ
りも高い垂直周波数ｆＶｈのときには、ＣＣＤからの信
号電荷の読み出しが実質的に行われない。したがって、
正規の水平周波数ｆＨでかつ正規の垂直周波数ｆＶのと
きに限定してＣＣＤからの信号電荷の読み出しが行われ
る。すなわち、サーチウインドウ５１のみでＣＣＤ出力
信号を抽出することができる。サーチウインドウモード
では、サーチウインドウ５１以外の領域からのＣＣＤ出
力信号は不要であるので、その領域では走査周波数を水
平方向でも垂直方向でも充分に高くシフトして、ＣＣＤ
出力信号の読み出しを行わないようにしているととも
に、サーチウインドウ５１内での正規の走査周波数での
スキャンが終了してから再びそのスキャンが始まるまで
の時間を大幅に削減しており、結果として、このような
間引き処理によりサーチウインドウ５１でのサーチ処理
を高速化しているのである。

【００３２】ＣＣＤカメラ１１におけるＣＣＤにおいて
は、計測対象物４０の光学像が撮像レンズを介してＣＣ
Ｄの表面に結像し、ＣＣＤはその光学像を信号電荷とし
て蓄積している。可変周波数の水平転送クロックφＨａ
での正規の水平周波数ｆＨのタイミングおよび可変周波
数の垂直転送クロックφＶａでの正規の垂直周波数ｆＶ
のタイミングに応じて、サーチウインドウ５１に対応し
ている感光部のフォトダイオードから垂直転送ＣＣＤへ
の転送および垂直転送ＣＣＤから水平転送ＣＣＤへの転
送を行い、出力アンプを介して映像信号として出力す
る。Ａ／Ｄ変換器１２はＣＣＤカメラ１１から入力した
サーチウインドウ５１対応のアナログの映像信号（ＣＣ
Ｄ出力信号）をディジタルの画像データすなわちウイン
ドウ画像データに変換する。このＡ／Ｄ変換器１２のビ
ット数を例えば８ビットとすると、画像データは２５６
階調となる。そのウインドウ画像データはＲＡＭ１５の
ワーキングエリアに一時的に格納される。なお、８ビッ
トについては、一例にすぎなくて、仕様に応じて適宜に
変更してよいことはいうまでもない。

【００３３】ＣＣＤにおけるスキャンが取り込み画像デ
ータ全領域５０での垂直方向の最終ラインで水平方向の
最終画素に達したとき、ＣＰＵ１３は、ＲＡＭ１５に格
納されているウインドウ画像データを読み出し、また、
ＲＡＭ１５にあらかじめ格納してある候補のウインドウ
用マッチング画像データを読み出し、正規化相関の手法
によってウインドウ画像データと候補のウインドウ用マ
ッチング画像データとの一致度を算出し、その一致度が
所定のしきい値よりも大きいか否かを判断し、一致度が
しきい値以下であれば候補のウインドウ用マッチング画
像データを更新する。ＲＡＭ１５に格納してあるすべて
のウインドウ用マッチング画像データを候補としていず
れも一致度がしきい値以下であれば、まだ、計測対象物
４０が到達していないものとして、継続してサーチウイ
ンドウモードで計測対象物４０の到達を待つ。一致度が
しきい値よりも大きくて、ウインドウ画像データが現在
の候補のウインドウ用マッチング画像データと実質的に
一致していると判定できるときは、ＣＰＵ１３は、計測
対象物４０の到達があったものと判定し、その候補のウ
インドウ用マッチング画像データの品種を決定する。す
なわち、検査ポイントＤＰに到達した計測対象物４０の
品種を決定する。このことは、のちのパターンマッチン
グの際のテンプレート画像データの種類を、その決定し
た品種に基づいて選択することにつながる。計測対象物
４０の到達を検出したＣＰＵ１３は、トリガ信号を出力
し、動作モードをサーチウインドウモードから全画素読
み出しモードに切り換える。

【００３４】以下、全画素読み出しモードの動作につい
て説明する。すなわち、ＣＰＵ１３は、スキャン領域と
して取り込み画像データ全領域５０を設定するために、
その取り込み画像データ全領域５０の水平方向アドレス
と垂直方向アドレスと水平方向画素数と垂直方向画素数
をＲＡＭ１５から読み出して、可変タイミングジェネレ
ータ１６に送出する。その全画素読み出しモードのとき
のアドレスおよび画素数のデータをＣＰＵ１３から受け
取った可変タイミングジェネレータ１６は、カウンタ
（分周比）の設定を調整して、正規の水平転送クロック
タイミングパルスＴＰＨと垂直転送クロックタイミング
パルスＴＰＶを生成してＣＣＤドライバ１７に送出す
る。それを受け取ったＣＣＤドライバ１７は、図５に示
すようなそれぞれ全体にわたって正規（標準）の水平周
波数ｆＨを保つ水平転送クロックφＨと正規（標準）の
垂直周波数ｆＶを保つ垂直転送クロックφＶを生成して
ＣＣＤカメラ１１のＣＣＤに送出する。これにより、Ｃ
ＣＤは、サーチウインドウモードのときのような間引き
はせずに、有効画素の全画素のＣＣＤ出力信号を出力す
ることになる。

【００３５】全画素読み出しモードにおいては、ＣＣＤ
カメラ１１におけるＣＣＤは、被写体である計測対象物
４０をその全体を含む状態で撮像する。すなわち、取り
込み画像データ全領域５０にわたって正規の水平周波数
ｆＨを保つ水平転送クロックφＨと正規の垂直周波数ｆ
Ｖを保つ垂直転送クロックφＶによって、すべての画素
の感光部のフォトダイオードから垂直転送ＣＣＤへの転
送および垂直転送ＣＣＤから水平転送ＣＣＤへの転送を
行い、出力アンプを介して映像信号として出力する。Ａ
／Ｄ変換器１２はＣＣＤカメラ１１から入力した取り込
み画像データ全領域５０対応の１フレーム分のアナログ
の映像信号（ＣＣＤ出力信号）をディジタルの２５６階
調の画像データに変換する。その取り込み画像データ全
領域５０対応の１フレーム分の画像データはＲＡＭ１５
のフレームメモリ領域に格納される。

【００３６】ＣＰＵ１３は、１フレーム分の画像データ
のＲＡＭ１５のフレームメモリ領域に対する書き込みが
完了すると、ＲＯＭ１４から読み出したプログラムおよ
びＲＡＭ１５から読み出した画像処理演算用条件に従っ
て、フレームメモリ領域をアクセスし、フレームメモリ
領域に格納されている１フレーム分全体の画像データを
読み出す。そして、１画素単位または複数画素の集合で
あるブロック単位で所要の画像処理のための演算を実行
し、判定のための演算結果をＲＡＭ１５にストアする。
次に、その演算結果とＲＡＭ１５から読み出した判定基
準との比較を行い、演算結果が正常であるか否かを判定
する。ＲＡＭ１５には、あらかじめ入力操作部２２から
入出力インターフェイス１８およびバス１９を介して画
像処理演算用条件や判定基準が設定登録されている。画
像処理演算用条件としては、先のサーチウインドウモー
ドで得た計測対象物４０（４０ａ，４０ｂ）についての
品種に対応したパターンマッチングの基準となるテンプ
レート画像データを選択する。

【００３７】ここで、説明の便宜上、図２に示す第１の
品種の製品梱包体４０ａが検査ポイントＤＰに到達した
とする。サーチウインドウモードでは、その識別符４２
ａ（「ＡＢＣ」の符号で代表させてある）がサーチウイ
ンドウ５１において取り込まれ、到達した計測対象物が
第１の品種の製品梱包体４０ａであると判明する。した
がって、全画素読み出しモードにおいては、この第１の
品種の製品梱包体４０ａの検査対象であるラベル４１ａ
（「☆」のマークで代表させてある）のパターンマッチ
ングによる検査を行うに際して、その前提として第１の
品種の製品梱包体４０ａのラベル４１ａに対応したテン
プレート画像データを選択する。また、ラベル４１ａを
識別するための濃度値についてのしきい値やラベル４１
ａの貼り付け位置の良否を判定するためのしきい値（上
限値と下限値）やラベル４１ａのサイズ、形状などの種
別を判定するためなどの判定基準を選択する。

【００３８】ＣＰＵ１３は、ＲＡＭ１５のフレームメモ
リ領域から読み出した第１の品種の製品梱包体４０ａの
画像データと当該の第１の品種に対応して選択されたラ
ベルチェック用のテンプレート画像データと画素比較す
ることのパターンマッチングに基づいて、ラベル４１ａ
に相当する計測対象基準画像検出領域を抽出し、その計
測対象基準画像検出領域での両者の画像データの一致度
を算出し、その一致度が所定のしきい値以上となってい
るか否かを判断し、しきい値以上となっているときは欠
陥無しすなわちラベル４１ａについての位置ずれ無しと
判定し、しきい値未満のときは欠陥有りすなわちラベル
４１ａついての位置ずれ有りと判定する。また、一致度
が所定値以下（この所定値は前記のしきい値よりかなり
低く設定されている）のときは、ラベルが存在していな
いもの（ラベル貼り付けミス）と判定する。

【００３９】次に、図２に示す第２の品種の製品梱包体
４０ｂが検査ポイントＤＰに到達したとする。サーチウ
インドウモードでは、その識別符４２ｂ（「ＸＹＺ」の
符号で代表させてある）がサーチウインドウ５１におい
て取り込まれ、到達した計測対象物が第２の品種の製品
梱包体４０ｂであると判明する。したがって、全画素読
み出しモードにおいては、この第２の品種の製品梱包体
４０ｂの検査対象であるラベル４１ｂ（「○○○」のマ
ークで代表させてある）のパターンマッチングによる検
査を行うに際して、その前提として第２の品種の製品梱
包体４０ｂのラベル４１ｂに対応したテンプレート画像
データ、その他の判定基準を選択する。その他の動作に
ついては前述同様となる。

【００４０】ＣＰＵ１３は、以上のようなパターンマッ
チングによる画像処理の結果をバス１９および入出力イ
ンターフェイス１８を介して外部のモニタ２１に送出
し、表示する。また、欠陥有りと判定したときは、警告
信号を出力し、外部に接続の警報器２３を動作させるこ
とにより、オペレータに対してリアルタイムに異常（Ｎ
Ｇ）が発生したことを知らせる。

【００４１】以上のＣＰＵ１３による動作の概要を図８
のフローチャートに示しておく。なお、このフローチャ
ートにおいて、「登録画像」というのはウインドウ用マ
ッチング画像データのことである。また、「画像処理
１」や「画像処理２」などは、第１の品種の製品梱包体
４０ａに対応したテンプレート画像データに基づく画像
処理や第２の品種の製品梱包体４０ｂに対応したテンプ
レート画像データに基づく画像処理のことを意味してい
る。

【００４２】なお、異常（ＮＧ）とされた欠陥画像デー
タを、バス１９および入出力インターフェイス１８を介
して外部記憶装置２４に転送格納してもよい。オペレー
タは、あとで外部記憶装置２４からその欠陥画像データ
を読み出して再生表示し、欠陥原因の究明に供すること
ができる。

【００４３】以上、一つの実施の形態について説明して
きたが、本発明は次のように構成したものも含み得るも
のとする。

【００４４】（１）重要と考えられる変形の実施の形態
として、ＲＡＭ１５とは別に、図１で二点鎖線で示すよ
うに、ＥＥＰＲＯＭ２５をバス１９に接続し、各種の画
像処理演算用条件のデータや、品種別のウインドウ用マ
ッチング画像データや、品種別のテンプレート画像デー
タなどをこのＥＥＰＲＯＭ２５に登録するように構成し
たものも好ましい。ＥＥＰＲＯＭは不揮発性メモリであ
り、長期間の記憶が可能である。また、電気的にデータ
消去することも可能であり、非常に好都合である。

【００４５】（２）上記の（１）の変形として、ＥＥＰ
ＲＯＭを入出力インターフェイス１８を介して外部に接
続するのでもよい。

【００４６】（３）また、ＲＡＭ１５とは別に、フレー
ムメモリ２６をバス１９に接続し、ＣＣＤカメラ１１の
撮像で取得したウインドウ画像データや１フレーム分の
画像データをそのフレームメモリ２６にストアするよう
に構成したものも好ましい。この場合に、さらにフレー
ムメモリに代えてフィールドメモリでもよい。

【００４７】（４）サーチウインドウ５１のみを局所的
にスキャンするのでもよい。すなわち、水平方向アドレ
スと垂直方向アドレスで決まるサーチウインドウ５１の
左上頂点からいきなり読み出しを行い、水平方向画素数
と垂直方向画素数で決まるサーチウインドウ５１の右下
頂点で読み出しを停止するのである。この場合、水平転
送クロックφＨや垂直転送クロックφＶを高い側にシフ
トする必要はない。

【００４８】（５）計測対象物４０の到達検出とともに
品種判定を行うに際して、サーチウインドウをそれぞれ
に個別に設定するようにしてもよい。

【００４９】（６）サーチウインドウの数が１つである
か複数であるかはともかくとして、計測対象物の到達検
出と品種判定とは、時間的に全く同一時刻に行う必要は
なく、若干の時間的ずれすなわち遅延が生じてもよきも
のとする。

【００５０】（７）サーチウインドウでの品種判定にお
いて、上記の実施の形態では正規化相関の手法を用いた
が、これ以外のどのような手法を採用してもよい。

【００５１】（８）計測対象物４０としては何も製品梱
包体に限る必要はなく、また、検査対象としては何もラ
ベルの位置ずれや形状相違などに限る必要はなく、画像
処理による検査が可能なものであれば、どのようなもの
を検査対象としてもよい。

【００５２】（９）モデムカードやＩＳＤＮカードを利
用して公衆回線あるいは専用回線を介して検査結果や画
像データ等を遠隔の端末に送出するように構成してもよ
い。

【００５３】（１０）その他本発明の要旨と直接に関係
しない任意の事項については、公知の任意のものが適用
可能であり、また、公知以外のものであっても、本発明
の要旨を逸脱しない範囲において適用可能であることは
いうまでもない。

【００５４】上記の（１）〜（１０）は互いに独立した
事項であり、これらのうち任意の事項を任意数適当に組
み合わせてもよきものとする。

【００５５】

【発明の効果】画像処理装置についての請求項１の発明
によれば、計測対象物の到達検出と到達した計測対象物
の品種判別をともに画像処理によって自動的に行うの
で、そして、欠陥検査の画像処理での例えばパターンマ
ッチングのためのテンプレート画像データなどの基準デ
ータとして前記の判別した品種に応じた基準データを自
動的に選択するので、オペレータの人為的作業による品
種判別や基準データ選択を行う場合に比べて、品種変化
に対する応答性が高く、また正確であり、省力化が可能
である。また、光電センサやバーコードリーダなどの別
の手段を用いる場合に比べて、イニシャルコストやラン
ニングコストを軽減することができる。

【００５６】請求項２の発明によれば、到達検出および
品種判定をサーチウインドウに限定したので、短時間処
理が可能となり、特に速く移動する計測対象物の欠陥検
査に有利となる。

【００５７】請求項３の発明によれば、サーチウインド
ウを任意位置に設定可能であるので、計測対象物の種類
のさまざまな変化に対する即応性をもたせることがで
き、汎用性が高まる。

【００５８】請求項４の発明によれば、水平および垂直
の転送クロックをサーチウインドウ以外の領域で高速化
して間引くようにしてあるので、短時間処理が可能とな
り、特に速く移動する計測対象物の欠陥検査に有利とな
る。

【図面の簡単な説明】

【図１】本発明の実施の形態の画像処理装置の電気的
構成を示すブロック図

【図２】実施の形態の画像処理装置を適用する生産ラ
イン検査システムの概要の説明図

【図３】実施の形態の画像処理装置のサーチウインド
ウモードにおけるタイミング図

【図４】前記のサーチウインドウモードにおける転送
クロック周波数の説明図

【図５】実施の形態の画像処理装置の全画素読み出し
モードにおけるタイミング図

【図６】実施の形態の画像処理装置の動作を説明する
概略のフローチャート

【図７】従来の技術の画像処理装置の電気的構成を示
すブロック図

【図８】従来の技術の画像処理装置を適用する生産ラ
イン検査システムの概要の説明図

【符号の説明】１０…画像処理装置、１１…ＣＣＤカメラ、１２…Ａ／
Ｄ変換器、１３…ＣＰＵ、１４…ＲＯＭ、１５…ＲＡ
Ｍ、１６…可変タイミングジェネレータ（ＶＴＧ）、１
７…ＣＣＤドライバ、１８…入出力インターフェイス、
１９…バス、２１…モニタ、２２…入力操作部、２３…
警報器、２４…外部記憶装置、３０…生産ライン検査シ
ステム、３１…搬送手段、４０…計測対象物、４０ａ…
第１の品種の製品梱包体、４０ｂ…第２の品種の製品梱
包体、４１ａ，４１ｂ…検査対象であるラベル、４２
ａ，４２ｂ…到達検出に用いる識別符、５０…取り込み
画像データ全領域、５１…サーチウインドウ、φＨ…水
平転送クロック、φＶ…垂直転送クロック、φＨａ…可
変周波数の水平転送クロック、φＶａ…可変周波数の垂
直転送クロック、ｆＨ…正規の水平周波数、ｆＶ…正規
の垂直周波数、ｆＨｈ…高くシフトされた水平周波数、
ｆＶｈ…高くシフトされた垂直周波数、ＰＳ１…有効と
される映像信号、ＰＳ２…無効とされる映像信号、ＤＰ
…検査ポイント、Ｘ…搬送方向

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｂ５Ｃ０５４Ｆターム(参考） 2F065 AA20 AA49 AA61 BB02 BB15 CC00 DD06 FF04 FF61 JJ03 JJ09 JJ26 LL04 LL30 NN11 PP15 QQ03 QQ24 QQ25 QQ36 QQ37 QQ39 QQ41 QQ42 RR06 RR09 SS09 SS13 2G051 AB02 CA03 CA04 DA06 EA11 EA12 EA14 EB09 ED04 ED13 5B057 AA04 BA02 BA11 CC03 CH18 DA03 DA07 DA12 5C022 AA01 AC01 AC42 5C024 AA01 BA00 CA24 DA05 DA07 FA01 FA11 GA11 HA14 HA21 HA25 HA27 JA32 5C054 AA01 CC02 CD03 CG06 CH03 DA01 DA08 EA01 EA03 EA05 EA07 EB05 ED11 EH07 EJ00 FA00 FC12 FE09 FE28 FF02 FF03 GA00 GB02 GB13 GD05 HA03

Claims

【特許請求の範囲】

【請求項１】計測対象物が検査ポイントに到達したこ
とを画像処理によって検出し、その到達検出に基づいて
欠陥検査の画像処理を開始する画像処理装置であって、
前記検査ポイントに到達したことの画像処理をもって計
測対象物の品種を判別し、前記欠陥検査の画像処理にお
いてその品種に応じた基準データを選択して画像処理を
行うように構成してあることを特徴とする画像処理装
置。
【請求項２】前記到達検出の画像処理におけるスキャ
ン領域を、取り込み画像データ全領域のうちの小さな一
部分であるサーチウインドウとしてある請求項１に記載
の画像処理装置。
【請求項３】前記サーチウインドウの設定において、
水平方向アドレス、垂直方向アドレス、水平方向画素数
および垂直方向画素数を指定することにより任意の位置
にサーチウインドウを設定可能に構成してあることを特
徴とする請求項２に記載の画像処理装置。
【請求項４】前記サーチウインドウの設定において、
このサーチウインドウ以外の領域では水平転送クロック
および垂直転送クロックの周波数を標準より高くシフト
させるように構成してあることを特徴とする請求項２ま
たは請求項３に記載の画像処理装置。