JP2000331162A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 欠陥のある検査対象の画像情報の保存件数を
増やせ、かつ再現性の良い画像処理装置を提供する。 【解決手段】 検査対象である複数の部品４０を載置し
たトレイ３０をＣＣＤカメラ２で撮像し、Ａ／Ｄ変換し
て得られた画像データをフレームメモリ５に格納する。
ＣＰＵ６は、パターンマッチングを行って欠陥の有無を
判定する。欠陥有りと判定したときは、その欠陥有りと
する一部分の部分的欠陥画像データ７０のみを切り出
し、取り込み画像データ全領域１００での部分的欠陥画
像データ７０の座標を示す付属情報８０を部分的欠陥画
像データ７０に関連付けて複合データ９０としてＲＡＭ
８やＥＥＰＲＯＭ１６などの記憶手段に保存する。再生
するときは、正常全画像データ２００を読み出し、それ
に付属情報８０の座標データに基づいて部分的欠陥画像
データ７０を画像合成し、表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、欠陥検査用の画像
処理装置、特に生産ライン検査システムに装備されて生
産される半製品または製品の欠陥（例えば位置ずれな
ど）を検出するための画像処理装置にかかわり、詳しく
は欠陥のある検査対象の画像データの保存の件数を増や
すための技術に関する。

【０００２】

【従来の技術】従来より、検査対象をＣＣＤカメラ等に
よって撮像して画像データを取得し、その画像データを
画像処理して判定基準と比較することにより欠陥の有無
を判定し、欠陥と判定したときにその欠陥のある検査対
象についての画像データを外部記憶装置に保存するよう
に構成された画像処理装置が知られている。このような
欠陥のある画像データを「ＮＧ画像データ」という。Ｎ
Ｇは「No Good」のことである。

【０００３】欠陥有りと判定したときは、一般的には警
報または警告を発することが行われる。そのとき直ちに
生産ラインを停止するか、それともある程度時間をおい
て様子を見てから停止するか、あるいは定刻に停止する
かはともかくとして、欠陥有りのときには、歩留まりの
低下を抑制するため、その欠陥が何で、どこでどのよう
な原因によって欠陥が発生したのかの欠陥状況を見きわ
める必要がある。その場合に、欠陥有り判定時に保存し
ておいた画像データを再生して表示し、検査要員等がそ
の欠陥のある検査対象の映像を見て、欠陥状況を判断す
る。そして、その判断の結果に基づいて、該当する原因
を見いだし、補修や部品交換などのメンテナンスを行
う。

【０００４】

【発明が解決しようとする課題】上記した従来の技術に
は次のような問題点がある。欠陥有り判定時に保存する
のは欠陥のある検査対象の画像データ（ＮＧ画像デー
タ）の全体についてである。すなわち、画像処理に際し
てＣＣＤカメラ等より取り込んだ１フレーム分の画像デ
ータをフレームメモリに格納するが、欠陥有りと判定し
たときは、その１フレーム分全体の画像データを丸ごと
保存するようにしている。

【０００５】しかし、このような欠陥のあるＮＧ画像デ
ータを保存しておく記憶エリアの記憶容量にはおのずと
一定の限界がある。その記憶エリアの記憶容量として、
複数フレーム分を確保しているが、規定フレーム分のＮ
Ｇ画像データの格納がなされてしまうと、メモリフルの
状態になる。このメモリフルの状態は、特に、欠陥が連
続して発生する場合、あるいは間欠的ではあっても頻繁
に発生する場合に陥る。このような場合、ソフトウェア
によって異なるが、それ以上のＮＧ画像データの保存を
禁止する手法があり、また、最も古いＮＧ画像データを
破棄したうえで最新のＮＧ画像データを格納するという
手法もある。前者の場合には、最新の欠陥についてのＮ
Ｇ画像データが得られないという不都合がある。後者の
場合には、最も古い欠陥についてのＮＧ画像データが得
られなくなって、欠陥原因解析において根本原因が突き
止めにくくなるおそれがある。いずれにしても、記憶エ
リアの記憶容量に限界があるので、欠陥有りのときに１
フレーム分全体の画像データを丸ごと保存することが大
きな原因となっている。

【０００６】記憶容量を大きくすれば、対応ができるマ
ージンが増大するが、それではコストアップは避けられ
ない。

【０００７】また、欠陥のある１フレーム分全体の画像
データをフレームメモリから読み出して該当の記憶エリ
アに転送するのには、比較的多くの時間がかかるという
問題もある。

【０００８】本発明は上記した課題の解決を図るべく創
作したものであって、欠陥のある検査対象の画像情報の
保存の件数を増やすことのできる画像処理装置を提供す
ることを目的としている。

【０００９】

【課題を解決するための手段】上記した課題の解決を図
ろうとする本発明にかかわる請求項１の画像処理装置
は、次のように構成してある。すなわち、撮像した検査
対象の画像データについての画像処理に基づいて欠陥の
有無を判定し、欠陥有りと判定したときに当該の欠陥有
りの一部分の画像データである部分的欠陥画像データの
みを切り出すとともに、取り込み画像データ全領域での
その部分的欠陥画像データが占める座標についての付属
情報とともに前記部分的欠陥画像データを保存するよう
に構成してあることを特徴としている。この構成による
と、次のような作用がある。すなわち、欠陥有りと判定
したときに、従来技術のように１枚分（１フレーム分）
全体の画像データを丸ごと保存するのではなく、その欠
陥を含んでいる一部分の画像データである部分的欠陥画
像データのみを選択的に切り出して保存するので、限ら
れた記憶容量の記憶エリアに対する欠陥のある検査対象
の画像情報の保存の件数を増やすことが可能となる。さ
らに、部分的欠陥画像データを記憶エリアに転送する時
間は、１枚分全体の画像データを転送する場合よりも短
くなる。また、保存するのが一部分を切り出した部分的
欠陥画像データであっても、取り込み画像データ全領域
でその部分的欠陥画像データが占める座標を示す付属情
報を併せて保存するから、部分的欠陥画像データを再現
したりチェックしたりするうえで不都合は生じない。

【００１０】本発明にかかわる請求項２の画像処理装置
は、次のような構成となっている。すなわち、検査対象
の撮像手段と、撮像で得られる画像データの一時記憶手
段と、前記画像データを画像処理し判定基準に従って欠
陥の有無を判定する手段と、欠陥有りと判定したときに
当該の欠陥有りの部分的欠陥画像データのみを切り出す
手段と、取り込み画像データ全領域でのその部分的欠陥
画像データが占める座標についての付属情報を生成する
手段と、前記部分的欠陥画像データと前記付属情報とを
関連付ける手段と、その関連付けられた複合データを保
存する手段とを備えていることを特徴としている。この
構成は、請求項１の構成をより具体的に記述するもので
あって、請求項１と同様の作用を発揮する。

【００１１】本発明にかかわる請求項３の画像処理装置
は、次のような構成となっている。すなわち、撮像した
検査対象の画像データについての画像処理に基づいて欠
陥の有無を判定し、欠陥有りと判定したときに当該の欠
陥有りの部分的欠陥画像データのみを切り出すととも
に、取り込み画像データ全領域でのその部分的欠陥画像
データが占める座標についての付属情報とともに前記部
分的欠陥画像データを保存し、再生に際してあらかじめ
登録しておいた正常全画像データに対して前記部分的欠
陥画像データを前記付属情報に基づいて位置合わせして
画像合成するように構成してあることを特徴としてい
る。この構成によると、次のような作用がある。すなわ
ち、請求項１と同様に、限られた記憶容量の記憶エリア
に対する欠陥のある検査対象の画像情報の保存の件数を
増やせるとともに、記憶エリアに対する部分的欠陥画像
データの転送が短時間に行え、さらに、保存するのは部
分的欠陥画像データであっても、再生に際しては正常全
画像データと画像合成した合成画像データとして再現す
ることが可能であり、その画像合成は取り込み画像デー
タ全領域に占める部分的欠陥画像データの座標を示す付
属情報に基づいて行われるので、正確な合成画像データ
を生成することができ、欠陥のある画像データの再現性
を良好なものにすることができて、欠陥原因等をチェッ
クするうえで不都合は生じない。

【００１２】本発明にかかわる請求項４の画像処理装置
は、次のような構成となっている。すなわち、検査対象
の撮像手段と、撮像で得られる画像データの一時記憶手
段と、前記画像データを画像処理し判定基準に従って欠
陥の有無を判定する手段と、欠陥有りと判定したときに
当該の欠陥有りの部分的欠陥画像データのみを切り出す
手段と、取り込み画像データ全領域でのその部分的欠陥
画像データが占める座標についての付属情報を生成する
手段と、前記部分的欠陥画像データと前記付属情報とを
関連付ける手段と、その関連付けられた複合データを保
存する手段と、あらかじめ正常全画像データを登録して
おく手段と、再生に際して前記正常全画像データと前記
部分的欠陥画像データと前記付属情報とを読み出し前記
付属情報に基づいて前記部分的欠陥画像データを前記正
常全画像データに対して位置合わせして画像合成する手
段と、その画像合成で得られた合成画像データを読み出
して表示用の映像信号に変換する手段とを備えているこ
とを特徴としている。この構成は、請求項３の構成をよ
り具体的に記述するものであって、請求項３と同様の作
用を発揮する。

【００１３】本発明にかかわる請求項５の画像処理装置
は、上記請求項１〜４において、前記検査対象が搬送さ
れるものであり、その搬送経路の所要の検査ポイントに
前記検査対象が到達したことを検出する到達検出手段を
備えており、この到達検出手段による検出信号をトリガ
として前記検査対象の撮像および欠陥判定を行うように
構成してあることを特徴としている。この構成による
と、検査対象が搬送されるものであっても、その検査対
象をタイミング良く撮像して、上記の作用を得ることが
可能となる。

【００１４】本発明にかかわる請求項６の画像処理装置
は、上記請求項１〜５において、前記検査対象における
検査項目が取り込み画像データに含まれる複数の部分画
像の位置ずれまたは品種違いとされていることを特徴と
している。本発明は、位置ずれや品種違いの判定に有効
な機能を発揮する。

【００１５】

【発明の実施の形態】以下、本発明にかかわる画像処理
装置の実施の形態を図面に基づいて詳細に説明する。

【００１６】図１は実施の形態の画像処理装置の電気的
構成を示すブロック図である。図１において、符号の１
は当該の画像処理装置、２は撮影レンズや絞りなどを含
む光学系および固体撮像手段の代表例であるＣＣＤ（電
荷結合デバイス）などからなるＣＣＤカメラであり、こ
のＣＣＤカメラ２は、撮影レンズによってＣＣＤ上に光
学像を結像し、結像された光学像をＣＣＤで光電変換し
て電気信号として出力するものである。３はＣＣＤカメ
ラ２からのアナログの映像信号（ＣＣＤ出力信号）をデ
ィジタル化して画像データに変換するＡ／Ｄ変換器、４
はＣＣＤカメラ２、Ａ／Ｄ変換器３およびフレームメモ
リ５に対してタイミング信号を出力して画像データの取
得のタイミング制御を行うとともに、フレームメモリ５
およびＤ／Ａ変換器１１に対してタイミング信号を出力
して取得の映像信号の表示のタイミング制御を行うカメ
ラ・表示コントローラ、５は画像データ一時記憶手段の
一例としてのフレームメモリ、６はシステム全体の制御
を司る制御手段の一例としてのＣＰＵ（中央演算処理装
置）、７はＣＰＵ６による演算・制御等のためのプログ
ラムを格納しているＲＯＭ（リードオンリーメモリ）、
８はＣＰＵ６の演算・制御等を補助するとともにデータ
を格納するＲＡＭ（ランダムアクセスメモリ）、９は外
部との間でデータや制御信号の入出力を行う入出力イン
ターフェイス、１０はＣＰＵ６、ＲＯＭ７、ＲＡＭ８、
カメラ・表示コントローラ４、フレームメモリ６および
入出力インターフェイス９を接続するバス、１１はフレ
ームメモリ５からカメラ・表示コントローラ４を介して
の画像データをアナログの映像信号に変換するＤ／Ａ変
換器、１２は画像処理装置１に図示しないインターフェ
イスおよびケーブルを介して接続されているＣＲＴ（陰
極線管）や液晶ディスプレイ（ＬＣＤ）などのモニタで
ある。フレームメモリ５は、少なくとも１フレーム分以
上の画像データを蓄積できる画像メモリであって、ＶＲ
ＡＭ、ＳＲＡＭ、ＤＲＡＭなどが一般的に使用される
が、ここではバス１０とは独立動作可能なＶＲＡＭを使
用しているものとする。なお、カメラ・表示コントロー
ラ４とフレームメモリ５とはパラレルなバスラインを介
して接続されている。また、入出力インターフェイス９
には、ＲＡＭ８に必要な初期値、判定基準等のためのパ
ラメータ、しきい値、その他の条件、必要なデータなど
を設定入力したり、必要な指示を与えたりするためのワ
イヤードリモコンなどの入力操作部１３や画像処理装置
１の内部の状況や判断結果などをオペレータや検査要員
等に知らせるための警報器１４やインジケータをそれぞ
れ個別のケーブルを介して接続することが可能となって
いる。なお、ワイヤードリモコンに代えてワイヤレスリ
モコンを用いることも可能とし、この場合は、リモコン
受信機の出力端子を入出力インターフェイス９に接続す
るものとする。警報器１４としては、ＬＥＤ（発光ダイ
オード）、蛍光表示管その他任意の発光素子、灯器、あ
るいはブザーなどの鳴動器が適用可能とする。さらに、
入出力インターフェイス９には、必要な外部記憶装置１
５を接続することができるものとする。その外部記憶装
置１５としては、ハードディスクドライブなどの磁気記
録デバイス、ＭＯ（Magneto Optics）ディスクドライブ
やＤＶＤ（Digital Versatile Disk）‐ＲＡＭドライブ
などの光磁気記録デバイス、フラッシュメモリ、ＥＥＰ
ＲＯＭその他の不揮発性メモリなどの半導体記憶デバイ
スなどがあり、さらにはＶＴＲ（ビデオテープレコー
ダ）などでもよいものとする。

【００１７】図２は上記構成の画像処理装置１を適用す
る生産ライン検査システム２０の概要を示す。図２にお
いて、符号の２１は計測対象物３０を搬送するコンベヤ
などの搬送手段、２２は搬送手段２１の近傍で搬送され
ていく計測対象物３０の到達を検出するための到達検出
手段の一例としての光電センサであり、検査ポイントＤ
Ｐに配置されている。光電センサ２２はケーブル２３を
介して画像処理装置１の入出力インターフェイス９に接
続されている。なお、説明の便宜上、図２においては、
ＣＣＤカメラ２を画像処理装置１の外側に出して描いて
いるが、実際には、ＣＣＤカメラ２は画像処理装置１と
一体となっている。もっとも、ＣＣＤカメラ２を画像処
理装置１とは別体構成とし、両者をケーブルで接続した
態様としてもよい。Ｘは搬送手段２１による搬送方向を
示す。

【００１８】図２においては、計測対象物３０として、
複数の部品４０を所定間隔をおいて所定位置に載置した
トレイが示されている。図３はトレイ３０とそれに載置
されている複数の部品４０とを示す概略の平面図であ
る。符号の３１はトレイ３０の底部をなす載置面、３２
はトレイ３０の周囲の立ち上がり壁である。この例で
は、部品４０を６個載置するようにしている。もっと
も、このような数値は単なる例示にすぎず、仕様に応じ
て適宜に変更してよいことはいうまでもない。ＣＣＤカ
メラ２は、搬送手段２１によって搬送されていくトレイ
３０および部品４０をその真上から撮像するように、搬
送手段２１の直上に配置されている。なお、後に説明す
るが、計測対象物３０としては、何も部品を載置したト
レイに限る必要はなく、画像処理による検査が可能なも
のであれば、どのようなものを検査対象としてもよいこ
とを付記しておく。ここでのトレイ３０は一例にすぎな
い。

【００１９】次に、上記のように構成された実施の形態
の場合の生産ライン検査システム２０に適用された画像
処理装置１の動作を説明する。

【００２０】駆動されている搬送手段２１によって複数
の計測対象物（トレイ）３０が所定の間隔を隔てて連続
的に搬送されていく。計測対象物３０は、検査ポイント
ＤＰの少し上手側において、図示しないアライメント装
置により、搬送手段２１上における位置決めが行われて
いるものとする。検査ポイントＤＰに達した計測対象物
（トレイ）３０があると、その検査ポイントＤＰに設置
されている到達検出手段２２が動作する。到達検出手段
２２が光電センサの場合は、次のような動作となる。光
電センサ２２は、レーザーダイオードなどの発光素子と
フォトダイオードなどの受光素子からなり、発光素子か
ら出射したレーザービームなどが計測対象物３０に当た
って反射し、その反射光を受光素子で捕捉し、電気信号
に変換し増幅することにより到達検出を行う。

【００２１】計測対象物３０が検査ポイントＤＰに到達
したことを到達検出手段２２が検出すると、到達検出手
段２２はその検出信号をトリガ信号として画像処理装置
１に送出する。画像処理装置１においては、その入出力
インターフェイス９を介して入力されてきたトリガ信号
がバス１０を介してＣＰＵ６に与えられる。ＣＰＵ６は
トリガ信号を入力すると、カメラ・表示コントローラ４
に起動信号を出力する。カメラ・表示コントローラ４は
起動信号を入力すると、ＣＣＤカメラ２、Ａ／Ｄ変換器
３、フレームメモリ５およびＤ／Ａ変換器１１に対して
タイミング信号を出力する。

【００２２】ＣＣＤカメラ２におけるＣＣＤはタイミン
グ信号を入力すると、その電子シャッタを開き作動さ
せ、被写体である計測対象物３０を撮像する。すなわ
ち、計測対象物３０の光学像が撮像レンズを介してＣＣ
Ｄの表面に結像し、ＣＣＤはその光学像を信号電荷とし
て蓄積しているが、タイミング信号を入力すると、感光
部のフォトダイオードから垂直転送ＣＣＤへの転送およ
び垂直転送ＣＣＤから水平転送ＣＣＤへの転送を行い、
出力アンプを介して映像信号として出力する。Ａ／Ｄ変
換器３はタイミング信号の入力によって起動し、ＣＣＤ
カメラ２から入力したアナログの映像信号（ＣＣＤ出力
信号）をディジタルの画像データに変換する。このＡ／
Ｄ変換器３のビット数を例えば８ビットとすると、画像
データは２５６階調となる。フレームメモリ５はタイミ
ング信号を入力し、Ａ／Ｄ変換器３と同期をとった状態
でＡ／Ｄ変換器３からの１フレーム分の画像データを格
納する。なお、８ビットについては、一例にすぎなく
て、仕様に応じて適宜に変更してよいことはいうまでも
ない。

【００２３】カメラ・表示コントローラ４は、フレーム
メモリ５への画像データの書き込みと並行して、その書
き込んだ画像データをフレームメモリ５から読み出し、
Ｄ／Ａ変換器１１に転送する。Ｄ／Ａ変換器１１は、転
送されてきた画像データをアナログの映像信号に変換
し、モニタ１２に出力する。なお、モニタ１２に至る映
像信号は、図示しない所要のビデオエンコーダなどによ
りＮＴＳＣ方式などモニタ１２に適合した所要のフォー
マットに変換されているものとする。このようにして、
計測対象物３０の到達を検出した時点から、その計測対
象物３０を被写体像とする映像をモニタ１２にリアルタ
イムに映出する。

【００２４】カメラ・表示コントローラ４は１フレーム
分の画像データのフレームメモリ５に対する書き込みが
完了すると、その書き込み完了信号をＣＰＵ６に出力す
る。その書き込み完了信号を入力したＣＰＵ６は、ＲＯ
Ｍ７から読み出したプログラムおよびＲＡＭ８から読み
出した画像処理演算用条件に従って、フレームメモリ５
をアクセスし、フレームメモリ５に格納されている１フ
レーム分全体の画像データを読み出す。そして、１画素
単位または複数画素の集合であるブロック単位で所要の
画像処理のための演算を実行し、判定のための演算結果
をＲＡＭ８にストアする。次に、その演算結果とＲＡＭ
８から読み出した判定基準との比較を行い、演算結果が
正常であるか否かを判定する。

【００２５】ＲＡＭ８には、あらかじめ入力操作部１３
から入出力インターフェイス９およびバス１０を介して
画像処理演算用条件や判定基準が設定登録されている。
画像処理演算用条件としては、部品４０を識別するため
の濃度値についてのしきい値や部品４０の載置位置の良
否を判定するためのしきい値（上限値と下限値）や部品
４０のサイズ、形状などの種別を判定するためなどの判
定基準がある。

【００２６】トレイ３０上の複数の部品４０の載置状態
の良否判定の場合は、具体的に次のようになる。図４は
パターンマッチングの動作説明図である。図４におい
て、符号の５０は図３に示す計測対象物すなわちトレイ
３０についての画像データであるトレイ画像、５１は載
置面３１についての画像データである載置面画像、５２
は立ち上がり壁３２についての画像データである立ち上
がり壁画像、６０は部品４０についての画像データであ
る部品画像、１００は取り込み画像データ全領域であ
る。図４に示すように、ＣＣＤカメラ２によって撮像さ
れ、フレームメモリ５に格納されている取り込み画像デ
ータ全領域１００において、正規の部品画像６０の位置
に対応してあらかじめ設定されている破線矩形で図示し
た計測サーチ領域ＤＳを高速サーチして部品画像６０ら
しきものを見いだし、ＲＡＭ８から読み出した部品形状
に相当するテンプレート画像データと画素比較すること
のパターンマッチングに基づいて、二点鎖線矩形で図示
した計測対象基準画像検出領域ＤＴを抽出し、その計測
対象基準画像検出領域ＤＴでの両者の画像データの一致
度を算出し、その一致度が所定のしきい値以上となって
いるか否かを判断し、しきい値以上となっているときは
欠陥無しすなわち部品画像６０についての位置ずれ無し
と判定し、しきい値未満のときは欠陥有りすなわち部品
画像６０についての位置ずれ有りと判定する。また、一
致度が所定値以下（この所定値は前記のしきい値よりか
なり低く設定されている）のときは、部品が存在してい
ないものと判定する。図４の場合は、すべての部品画像
６０がトレイ画像５０に対して適正な位置にあると判断
される。すなわち、トレイ３０において複数の部品４０
がすべて適正な位置関係で載置されていることになる。

【００２７】図５の場合は、取り込み画像データ全領域
１００において、１つの例えば左下の部品画像６０が正
規の位置よりも判定基準以上にずれている。すなわち、
計測対象基準画像検出領域ＤＴが判定基準以上にずれて
いて一致度がしきい値未満となっており、欠陥有りと判
定されることになる。この場合は、その判定基準以上に
ずれている１つの部品画像６０について計測サーチ領域
ＤＳでの画像データの切り出しを行い、それを欠陥のあ
る部分的欠陥画像データ７０として保存する。つまり、
欠陥のある画像データの保存に際して、従来の技術の場
合のように取り込み画像データ全領域１００の丸ごとを
対象とするのではなく、欠陥のある１つの部品画像６０
の計測サーチ領域ＤＳに相当する部分的欠陥画像データ
７０のみを切り出して保存するのである。この場合に、
その切り出した部分的欠陥画像データ７０の座標データ
を付属情報８０として部分的欠陥画像データ７０に関連
付けて保存する。

【００２８】付属情報８０である座標データとしては、
各計測サーチ領域ＤＳの左上角部のＸ座標とＹ座標の組
み合わせでよく、それぞれ、（Ｘ1 ，Ｙ1 ），（Ｘ1 ，
Ｙ2），（Ｘ1 ，Ｙ3 ），（Ｘ2 ，Ｙ1 ），（Ｘ2 ，Ｙ2
），（Ｘ2 ，Ｙ3 ）で表される。なお、このような各
計測サーチ領域ＤＳについての座標データはあらかじめ
ＲＡＭ８に設定登録されているものとする。

【００２９】図５の場合には、付属情報８０の座標デー
タとしては、（Ｘ1 ，Ｙ3 ）が選択される。ＣＰＵ６
は、欠陥有りと判定した部品画像６０についての部分的
欠陥画像データ７０と対応する座標データである付属情
報８０とを関連付けて複合データ９０となし、この複合
データ９０をバス１０を介してＲＡＭ８に転送格納す
る。

【００３０】なお、ここでは、ＲＡＭ８は充分に大きな
記憶容量をもっているものとし、かつ、電源をオフして
も記憶内容が消えないように、ＲＡＭ８に対してバック
アップを行っているものとする。そのバックアップは、
例えばリチウム電池でもよいし、大容量のキャパシタで
もよい。なお、ＲＡＭ８に代えて、図１でバス１０に接
続した二点鎖線で示すＥＥＰＲＯＭ１６に複合データ９
０を保存するようにしてもよい。むしろ、その方が良
い。以下では、「ＲＡＭ８やＥＥＰＲＯＭ１６などの記
憶手段」と記述することとする。

【００３１】図６の場合は、取り込み画像データ全領域
１００において、１つの例えば右側中央の部品画像６０
が正規の形状とは相違している。この場合も、一致度が
しきい値未満となっていて欠陥有りと判定されることに
なり、その欠陥の１つの部品画像６０について計測サー
チ領域ＤＳでの画像データの切り出しを行い、その欠陥
のある部分的欠陥画像データ７０と対応する座標データ
を付属情報８０として関連付け、複合データ９０として
ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保存す
る。図６の場合の付属情報８０の座標データとしては、
右側中央の計測サーチ領域ＤＳに対応した座標データ
（Ｘ2 ，Ｙ2 ）が付属情報８０として選択される。

【００３２】なお、部品画像６０の面積すなわち画素数
が正規と異なる場合も同様の処理が行われる。欠陥有り
と判定される部品画像６０が複数生じる場合もある。そ
のような一例を図７に示しておく。この場合は、欠陥の
あるそれぞれの部分的欠陥画像データ７０とそれぞれに
対応する座標データを付属情報８０として関連付け、複
合データ９０としてＲＡＭ８やＥＥＰＲＯＭ１６などの
記憶手段に保存することになる。

【００３３】なお、以上のようなパターンマッチングに
よる画像処理の結果は、カメラ・表示コントローラ４お
よびＤ／Ａ変換器１１を介してモニタ１２に表示され
る。また、ＣＰＵ６は、１つでも欠陥を判定したとき
は、警告信号を出力する。その警告信号はバス１０およ
び入出力インターフェイス９を介して外部に接続の警報
器１４に送出され、その警報器１４を動作させることに
より、オペレータに対してリアルタイムに異常（ＮＧ）
が発生したことを知らせる。

【００３４】以上のＣＰＵ６による動作の概要を図８の
フローチャートに示しておく。なお、警告信号の出力は
ステップＳ７の直後であってもよい。

【００３５】次に、欠陥原因の解析の作業の場合の動作
について説明する。

【００３６】図９に示すように、ＲＡＭ８やＥＥＰＲＯ
Ｍ１６などの記憶手段には取り込み画像データ全領域１
００の正常な全画像データ２００が格納されているもの
とする。この正常全画像データ２００のＲＡＭ８やＥＥ
ＰＲＯＭ１６などの記憶手段への格納については、トレ
イ３０および複数の部品４０の組み合わせ仕様に応じて
あらかじめ求めたものを外部記憶装置１５に格納してお
き、必要に応じて選択して外部記憶装置１５から入出力
インターフェイス９およびバス１０を介してＲＡＭ８や
ＥＥＰＲＯＭ１６などの記憶手段に転送格納するのであ
る。また、ＣＣＤカメラ２から取り込んでフレームメモ
リ５に格納した取り込み画像データ全領域１００につい
て正常と判断したときに、それを正常全画像データ２０
０としてＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に
転送格納するのでもよい。あるいは、必ずしもＲＡＭ８
やＥＥＰＲＯＭ１６などの記憶手段に格納しておく必要
はなく、外部記憶装置１５に転送格納しておくのでもよ
い。

【００３７】オペレータまたは別の検査要員やメンテナ
ンス要員が欠陥原因解析を行うときに、入力操作部１３
からの所要の操作を行うと、ＣＰＵ６は、正常全画像デ
ータ２００を読み出し、次いで、異常（ＮＧ）とされた
部品画像６０についての複合データ９０すなわち部分的
欠陥画像データ７０とそれに関連する付属情報８０とを
読み出す。付属情報８０は、その部分的欠陥画像データ
７０が正常全画像データ２００においてどの位置を占め
るかについての座標データである。ＣＰＵ６は、その座
標データに基づいて部分的欠陥画像データ７０を正常全
画像データ２００に対して上書き式に画像合成し、合成
画像データ３００を生成する。図１０は、その画像合成
の様子を示す。そして、その合成画像データ３００をフ
レームメモリ５に転送格納し、カメラ・表示コントロー
ラ４およびＤ／Ａ変換器１１を介して合成画像データ３
００をモニタ１２に送出し、モニタ１２において合成画
像データ３００の映像を映出する。

【００３８】検査要員等は、その合成画像データ３００
の映像の表示を見ることにより、欠陥の原因を究明す
る。必要に応じて、入力操作部１３からの操作により、
モニタ１２に映出されフレームメモリ５に格納されてい
る合成画像データ３００について再度の画像処理を行う
ことも可能である。この場合に、合成画像データ３００
の全体について欠陥の有無の判定を行う画像処理を実施
してもよいし、あらかじめ分かっている欠陥のある部分
的欠陥画像データ７０の領域においてのみ画像処理を実
施してもよい。後者の場合は、欠陥のある部分的欠陥画
像データ７０を指定するに際して、それに関連している
付属情報８０の座標データに基づいて指定する。これに
よって、欠陥発生状況を再現することができる。

【００３９】以上のＣＰＵ６による動作の概要を図１１
のフローチャートに示しておく。

【００４０】なお、異常（ＮＧ）とされた部分的欠陥画
像データ７０とそれに関連する付属情報８０との複合デ
ータ９０をＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段
に保存するに際して、必ずしも同一記憶エリアに保存す
ることは必須の要件ではない。欠陥有りの部分的欠陥画
像データ７０と付属情報８０とをＲＡＭ８やＥＥＰＲＯ
Ｍ１６などの記憶手段の保存エリアの別の領域に分けて
保存し、両者を関係付けるデータ、すなわち当該の部分
的欠陥画像データ７０を格納するアドレスと当該の付属
情報８０を格納するアドレスとを関係付けたデータをさ
らに保存すればよいのである。

【００４１】なお、ＲＡＭ８やＥＥＰＲＯＭ１６などの
記憶手段として大容量のものを採用し、多数の欠陥有り
の部分的欠陥画像データおよびそれに関連する付属情報
をまとめて、すなわちデータベース化して保存しておく
ようにすれば、異常の発生原因や発生箇所などについて
の解析を統計的に行う上で有利となる。検査要員や解析
要員は、欠陥の発生がいつから始まっていつまで続いた
か、欠陥が量的にどのように変化していったかを解析す
る。

【００４２】以上のように、本実施の形態の画像処理装
置においては、トレイ画像５０において複数の部品画像
６０のうち１つでも欠陥有り（位置ずれや形状異常など
有り）と判定したとは、従来技術のように１フレーム分
全体の画像データを丸ごと保存するのではなく、その欠
陥を含んでいる部分的欠陥画像データ７０のみを選択的
に切り出して保存するので、記憶容量が限られているＲ
ＡＭ８やＥＥＰＲＯＭ１６などの記憶手段においても、
そのような部分的欠陥画像データ７０の保存件数を増や
すことができる。すなわち、メモリフルになるまでの保
存件数が従来技術に比べて大幅に増加する。部分的欠陥
画像データ７０とともに座標データを付属情報８０とし
て保存するが、付属情報８０の容量は少ないものです
む。６つの部品画像６０のうち１つだけ欠陥があるとき
には、図５や図６から推測できるように使用する記憶容
量は従来技術の場合の６分の１以下となることは明らか
である。特に、欠陥が連続して発生した場合であって
も、あるいは間欠的ではあっても頻繁に発生する場合で
あっても、メモリフルに至るまでには充分なマージンを
確保することができる。したがって、新たな欠陥発生に
対してそれ以上の保存ができなくなってしまうまでの記
憶容量のゆとりがある。あるいは、最も古いＮＧ画像デ
ータ（部分的欠陥画像データ）を破棄したうえで最新の
ＮＧ画像データ（部分的欠陥画像データ）を格納しなけ
ればならない状態に至るまでの記憶容量のゆとりがあ
る。したがって、欠陥の発生が多くて時系列的に累積し
ていっても、そのすべてのあるいはほとんど大部分の欠
陥有りの部分的欠陥画像データ７０を保存しておくこと
ができ、あとでの欠陥原因解析を有利に進めることがで
きる。そして、この利点を発揮させるのに、ことさらに
記憶容量を大きくする必要がなくて、コスト面での負担
の増大を抑制できる。さらに、部分的欠陥画像データ７
０をＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に転送
する時間は、１フレーム分全体の画像データを丸ごと転
送する場合よりも短くなる。

【００４３】そして、あとの欠陥原因解析において、欠
陥を示す映像を再生するに際しては、ＲＡＭ８やＥＥＰ
ＲＯＭ１６などの記憶手段から正常全画像データ２００
を読み出すとともに、異常（ＮＧ）とされた部分的欠陥
画像データ７０を読み出し、付属情報８０が示す座標デ
ータに基づいて部分的欠陥画像データ７０を正常全画像
データ２００の所定の位置において画像合成して、全体
の中で部分の欠陥を含んだ状態の合成画像データ３００
を生成して、それをモニタ１２に表示するので、欠陥の
ある画像データの再現性を良好なものにすることがで
き、欠陥原因等をチェックするうえで不都合は生じな
い。

【００４４】以上、一つの実施の形態について説明して
きたが、本発明は次のように構成したものも含み得るも
のとする。

【００４５】（１）重要と考えられる変形の実施の形態
として、異常（ＮＧ）とされた部分的欠陥画像データ７
０とそれに関連する付属情報８０との複合データ９０を
保存するデバイスとして、画像処理装置１に内蔵し、バ
ス１０に接続した図１で二点鎖線で示すＥＥＰＲＯＭ１
６とするのが好ましい。ＥＥＰＲＯＭ１６は不揮発性メ
モリであり、長期間の記憶が可能である。また、電気的
にデータ消去することも可能であり、非常に好都合であ
る。

【００４６】（２）上記の（１）の変形として、ＥＥＰ
ＲＯＭを入出力インターフェイス９を介して外部に接続
するのでもよい。

【００４７】（３）複合データ９０を保存する箇所とし
て、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段以外の
ものとして、外部記憶装置１５を利用するように構成し
てもよい。その外部記憶装置１５としては、例えば、ハ
ードディスクドライブなどの磁気記録デバイス、ＭＯ
（Magneto Optics）ディスクドライブやＤＶＤ‐ＲＡＭ
ドライブなどの光磁気記録デバイス、フラッシュメモ
リ、ＥＥＰＲＯＭその他の不揮発性メモリなどの半導体
記憶デバイスなどがあり、さらにはＶＴＲ（ビデオテー
プレコーダ）などでもよいものとする。

【００４８】（４）フレームメモリ５に代えてフィール
ドメモリでもよいし、その他のメモリでもよい。

【００４９】（５）フレームメモリ５をシステムメモリ
としてのＲＡＭ８と共用することも可能である。

【００５０】（６）計測対象物３０が所定の検査ポイン
トＤＰに到達したことを検出する到達検出手段について
は、上記の実施の形態の光電センサ２２に代えて、超音
波センサ、圧電センサ、リミットスイッチなど何であっ
てもよい。あるいは、ＣＣＤカメラ２で撮像して得られ
た画像データの画像処理に基づいて、すなわち画像デー
タに対して到達検出用のサーチウインドウを設定して、
ソフトウェア的に到達検出を判定するように構成しても
よい。

【００５１】（７）計測対象物３０としては何も複数の
部品４０を載置したトレイ３０に限る必要はなく、ま
た、検査対象としては何も部品４０の位置ずれや形状相
違などに限る必要はなく、画像処理による検査が可能な
ものであれば、どのようなものを検査対象としてもよ
い。半製品または製品に貼り付けられ、あるいは印刷さ
れているラベルの面積の判定でもよいし、半製品または
製品そのもののサイズの判定など何であってもよい。

【００５２】（８）カメラ・表示コントローラ４は、フ
レームメモリ５への画像データの書き込みと並行して、
その書き込んだ画像データをフレームメモリ５から読み
出し、Ｄ／Ａ変換器１１に転送し、モニタ１２に映像を
リアルタイムで表示したが、このようなリアルタイムの
表示はしなくてもよい。つまり、モニタ１２を異常判定
のときだけリアルタイムに表示動作させるようにしても
よいし、あるいはそれもなくして、異常の原因究明のと
きにだけ用いるようにすることも可能である。

【００５３】（９）欠陥有りのときの部分的欠陥画像デ
ータ７０等の保存に際しては、画像データを圧縮してか
ら保存するように構成してもよい。この場合、表示に際
しては画像伸張して表示するものとする。

【００５４】（１０）モデムカードやＩＳＤＮカードを
利用して公衆回線あるいは専用回線を介して画像データ
等を遠隔の端末に送出するように構成してもよい。

【００５５】（１１）上記の実施の形態では、欠陥のあ
る検査対象の画像データについて部分的欠陥画像データ
７０に付属情報８０を関連付けて複合データ９０とな
し、これを保存するようにしたが、これとともに、正常
とされるＯＫ画像データについても同様に、付属情報を
関連付けて複合データとなして保存するように構成して
もよい。

【００５６】（１２）その他本発明の要旨と直接に関係
しない任意の事項については、公知の任意のものが適用
可能であり、また、公知以外のものであっても、本発明
の要旨を逸脱しない範囲において適用可能であることは
いうまでもない。

【００５７】上記の（１）〜（１２）は互いに独立した
事項であり、これらのうち任意の事項を任意数適当に組
み合わせてもよきものとする。

【００５８】

【発明の効果】画像処理装置についての請求項１の発明
によれば、欠陥のある検査対象の画像情報の保存件数を
増やすことができるとともに、記憶エリアに対する部分
的欠陥画像データの転送を短時間に行うことができ、さ
らに保存するのが一部分を切り出した部分的欠陥画像デ
ータであっても、全領域での占める位置を示す付属情報
を併せて保存するから、欠陥有りの検査対象の映像の再
現およびチェックは良好に行うことができる。また、請
求項２の発明によっても、上記請求項１と同様の効果が
得られる。

【００５９】請求項３の発明によれば、上記請求項１の
効果に加えて、再生に際して、正規の位置関係で部分的
欠陥画像データを正常全画像データに画像合成したうえ
で再生させるので、意義ある情報を欠損することなく、
良好で精度の高い再現性を確保することができ、欠陥原
因等をチェックするうえで好都合となる。また、請求項
４の発明によっても、上記請求項３と同様の効果が得ら
れる。

【００６０】請求項５の発明によれば、生産ライン等で
搬送される検査対象について、検査対象をタイミング良
く撮像し、効率良く検査することができ、また、上記と
同様の効果が得られる。

【００６１】請求項６の発明によれば、位置ずれまたは
品種違いの判定において、本発明を好適に実施すること
が可能となる。

【図面の簡単な説明】

【図１】 本発明の実施の形態の画像処理装置の電気的
構成を示すブロック図

【図２】 実施の形態の画像処理装置を適用する生産ラ
イン検査システムの概要の説明図

【図３】 実施の形態の生産ライン検査システムで搬送
されるトレイとそれに載置されている複数の部品とを示
す概略の平面図

【図４】 実施の形態の画像処理装置によるパターンマ
ッチングの動作説明図

【図５】 実施の形態の画像処理装置によるパターンマ
ッチングで欠陥有りすなわち位置ずれ有りと判定される
場合の動作説明図

【図６】 実施の形態の画像処理装置によるパターンマ
ッチングで欠陥有りすなわち形状相違と判定される場合
の動作説明図

【図７】 欠陥有りとされる部品画像が複数ある場合の
パターンマッチングの動作説明図

【図８】 実施の形態の画像処理装置のパターンマッチ
ングの際の動作を示す概略のフローチャート

【図９】 実施の形態の画像処理装置においてその記憶
手段に格納されている正常全画像データのフォーマット

【図１０】 実施の形態の画像処理装置における正常全
画像データと部分的欠陥画像データとの画像合成の動作
説明図

【図１１】 実施の形態の画像処理装置における欠陥原
因解析の際の動作を示す概略のフローチャート

【符号の説明】

１…画像処理装置、２…ＣＣＤカメラ、３…Ａ／Ｄ変換
器、４…カメラ・表示コントローラ、５…フレームメモ
リ、６…ＣＰＵ、７…ＲＯＭ、８…ＲＡＭ、９…入出力
インターフェイス、１０…バス、１１…Ｄ／Ａ変換器、
１２…モニタ、１３…入力操作部、１４…警報器、１５
…外部記憶装置、１６…ＥＥＰＲＯＭ、２０…生産ライ
ン検査システム、２１…搬送手段、２２…到達検出手段
（光電センサ）、２３…ケーブル、３０…計測対象物
（トレイ）、３１…載置面、３２…立ち上がり壁、４０
…部品、５０…トレイ画像、５１…載置面画像、５２…
立ち上がり壁画像、６０…部品画像、７０…部分的欠陥
画像データ、８０…付属情報、９０…複合データ、１０
０…取り込み画像データ全領域、２００…正常全画像デ
ータ、３００…合成画像データ、ＤＰ…検査ポイント、
ＤＳ…計測サーチ領域、ＤＴ…計測対象基準画像検出領
域、Ｘ…搬送方向

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2G051 AA90 AB02 AB20 CA03 CA04 DA01 DA06 EA12 EA14 EB01 EB02 ED07 FA10 5B057 BA02 BA11 CA08 CA12 CA16 CB08 CB12 CB16 CB19 CC03 CE08 CE09 CH11 DA03 DA16 DB02 DB09

Claims (6)

【特許請求の範囲】
1. 【請求項１】 撮像した検査対象の画像データについて
   の画像処理に基づいて欠陥の有無を判定し、欠陥有りと
   判定したときに当該の欠陥有りの部分的欠陥画像データ
   のみを切り出すとともに、取り込み画像データ全領域で
   のその部分的欠陥画像データが占める座標についての付
   属情報とともに前記部分的欠陥画像データを保存するよ
   うに構成してあることを特徴とする画像処理装置。
2. 【請求項２】 検査対象の撮像手段と、撮像で得られる
   画像データの一時記憶手段と、前記画像データを画像処
   理し判定基準に従って欠陥の有無を判定する手段と、欠
   陥有りと判定したときに当該の欠陥有りの部分的欠陥画
   像データのみを切り出す手段と、取り込み画像データ全
   領域でのその部分的欠陥画像データが占める座標につい
   ての付属情報を生成する手段と、前記部分的欠陥画像デ
   ータと前記付属情報とを関連付ける手段と、その関連付
   けられた複合データを保存する手段とを備えていること
   を特徴とする画像処理装置。
3. 【請求項３】 撮像した検査対象の画像データについて
   の画像処理に基づいて欠陥の有無を判定し、欠陥有りと
   判定したときに当該の欠陥有りの部分的欠陥画像データ
   のみを切り出すとともに、取り込み画像データ全領域で
   のその部分的欠陥画像データが占める座標についての付
   属情報とともに前記部分的欠陥画像データを保存し、再
   生に際してあらかじめ登録しておいた正常全画像データ
   に対して前記部分的欠陥画像データを前記付属情報に基
   づいて位置合わせして画像合成するように構成してある
   ことを特徴とする画像処理装置。
4. 【請求項４】 検査対象の撮像手段と、撮像で得られる
   画像データの一時記憶手段と、前記画像データを画像処
   理し判定基準に従って欠陥の有無を判定する手段と、欠
   陥有りと判定したときに当該の欠陥有りの部分的欠陥画
   像データのみを切り出す手段と、取り込み画像データ全
   領域でのその部分的欠陥画像データが占める座標につい
   ての付属情報を生成する手段と、前記部分的欠陥画像デ
   ータと前記付属情報とを関連付ける手段と、その関連付
   けられた複合データを保存する手段と、あらかじめ正常
   全画像データを登録しておく手段と、再生に際して前記
   正常全画像データと前記部分的欠陥画像データと前記付
   属情報とを読み出し前記付属情報に基づいて前記部分的
   欠陥画像データを前記正常全画像データに対して位置合
   わせして画像合成する手段と、その画像合成で得られた
   合成画像データを読み出して表示用の映像信号に変換す
   る手段とを備えていることを特徴とする画像処理装置。
5. 【請求項５】 前記検査対象が搬送されるものであり、
   その搬送経路の所要の検査ポイントに前記検査対象が到
   達したことを検出する到達検出手段を備えており、この
   到達検出手段による検出信号をトリガとして前記検査対
   象の撮像および欠陥判定を行うように構成してあること
   を特徴とする請求項１から請求項４までのいずれかに記
   載の画像処理装置。
6. 【請求項６】 前記検査対象における検査項目が取り込
   み画像データに含まれる複数の部分画像の位置ずれまた
   は品種違いとされていることを特徴とする請求項１から
   請求項５までのいずれかに記載の画像処理装置。