JP2006139374A - 異常画像抽出方法及び異常画像抽出装置 - Google Patents

Abstract

【課題】製造工程として異常であることを早期に検知するために、予め想定しない不良要因に関連する画像を効率よく収集する。
【解決手段】マスター画像３１から対象物の輪郭情報３２を抽出し、この輪郭情報３２と輪郭のバラツキ情報３３から輪郭が位置変動しうる領域のデータ３４ａを予め生成して、この変動領域データ３４ａに対して重み付けデータ３４ｂに基づいて重み付けを行い、一方、比較処理プロセス３７ａにおいて、直前画像３５と現時点の画像３６を比較し、互いの整合性をとるために必要な相対的画像ズレ量３８ａを求め、ズレ量３８ａがゼロになるように、両者の画像位置を補正した後に、両者の差分画像３７ｂを生成するとともに重み付けデータ３４ｂを利用して、その重みを画素毎に乗じて画面内平均濃度階調差３８ｂを求め、ブロック毎に、階調差３８ｂと同様の処理によってブロック内濃度階調差３８ｃを求め、局所変動を検出する。
【選択図】図４

Description

本発明は、生産ラインなどにおいて、画像処理等を利用して自動検査を行い、欠陥を抽出・判定する装置に適用される異常画像抽出方法及び異常画像抽出装置に関する。

近年、生産物の構造が微細化、複雑化する中で、製造過程も複雑化している。生産ラインなどでは、欠陥製品流出防止のため、画像処理等を利用した自動検査を実施しているが、これらの取り組みは予め想定した欠陥を抽出・判定する考え方であり、想定しない欠陥まで抽出することはできない。これを実現するには、通常（正常）とは異なるということを何らかの手段で検知する必要がある。

従来の異常画像抽出方法としては、画像検査工程において、不良と判定された製品の検査対象画像を保存しておき、作業者がこれを適宜確認するといったものがある。しかしこの方法では、離散的に集められた画像を元に工程の不具合要因を想定するには、作業者の経験に頼る部分が大きく、人によって原因解析可否のバラツキが大きい。また、何よりも収集される画像が、検査しきい値を基準にしているため、予め不良品を想定していることが前提である。従って、想定外の不良品画像は収集できる可能性が低く、想定外の要因によって引き起こされた工程不具合は、その原因解析に至るに相当の時間を要する。

また特許文献１のように、連続画像からその特徴部位の変位を求める方法の提案例があるが、特徴部位を抽出するにあたり、通常と異なるという観点でより高度に、不具合要因に結びつく可能性の高い画像を抽出できるとは限らず、従来の発明は必ずしも効率よく不具合画像を得るというものではなく、前述の問題を改善するものでもない。
特開平９−９１４５３号公報

前記従来の構成では、収集可能な不良品画像は、予め想定した不良要因に基づく検査しきい値を基準にしたものである。従って、このように想定不良品を前提にしている以上、ここで見つかる不良品は、製品として不良であっても、製造工程としては異常ではない。逆に、製造工程として異常であることを早期に検知しようとしても、予め想定しない不良要因に関連する画像を効率よく収集する手段がないため、想定外の要因によって引き起こされた工程不具合は、その原因解析に至るに相当の時間を要するという課題がある。

本発明は、前記従来の課題を解決するもので、画像を保存する条件設定を、予め想定される検査条件などに依存するのではなく、過去の画像などとの比較を柔軟かつ効率的に実施することによって実現するものである。すなわち、対象画像を通常画像と比較し、その差異を特徴づける方法と、これを具現化する装置に関する発明であり、想定しない欠陥を抽出し、作業者がこれを確認するなどの方法によって、複雑化する工程不良を早期に改善することに寄与するものである。

前記課題を解決するため、本発明は、正常状態の参考となるマスター画像を生成し、マスター画像を元にして予測されるリファレンス画像を生成し、このリファレンス画像と実際に撮像された画像との比較を行い、比較した結果に重み付けを施して特徴的な差を抽出し、この抽出結果に基づいて異常判定を行うことを特徴とする。このように構成することにより、正常状態と異常状態との違いをより効率的に抽出することができる。

また本発明は、リファレンス画像と撮像画像との比較を行う上で、双方の差分画像上の各輪郭近傍領域の情報に重み付けを行うことを特徴とする。このように構成することにより、輪郭近傍の影響を低減し、誤った欠陥情報抽出を防止することができる。

また本発明は、リファレンス画像と撮像画像との比較結果に重み付けを施す際に、重みを比較結果のべき乗または対数を乗じることを特徴とする。

また本発明は、リファレンス画像と撮像画像との比較結果に重み付けを施す際に、比較結果に特徴的な差異が時系列に連続的に発生している場合、その度合いに応じた重みを比較結果に乗じることを特徴とする。

また本発明は、正常状態の参考となるマスター画像を生成する手段と、マスター画像を元にして予測されるリファレンス画像を生成する手段と、このリファレンス画像と実際に撮像された画像との比較する手段と、比較した結果に重み付けを施して特徴的な差を抽出する手段と、この抽出結果に基づいて異常判定を行う手段とを有することを特徴とする。

また本発明は、マスター画像、リファレンス画像、撮像画像および欠陥候補画像を保存するメモリと、リファレンス画像と撮像画像との比較手段としての演算装置と、この異常判定の場合に欠陥候補が発生したことを知らせる報知装置とを有することを特徴とする。

以上のように、本発明の異常画像抽出方法は、従来手法のように予め想定した不良要因に基づく検査しきい値を基準にして不良品画像を収集するものではなく、過去の画像などとの比較を柔軟かつ効率的に実施することによって実現するものである。すなわち、対象画像を通常画像と比較し、その差異を特徴づける方法と、これを具現化する装置に関する発明であり、想定しない欠陥を抽出し、作業者がこれを確認するなどの方法によって、複雑化する工程不良を早期に改善することが可能となり、この分野の進展および生産性の向上に大きく寄与するものである。

以下、本発明の一実施の形態について、図面を参照しながら説明する。

図１は、本発明の実施の形態における、異常画像抽出方法を実現する基本構成の一例を示す説明図、図２は画像処理装置の要部構成を示す説明図であり、１１は対象物画像を撮像する撮像器、１２は撮像画像情報を処理する画像処理装置、１３は撮像画像や判定情報などを表示する表示装置、１４は動作条件設定などを行うための操作盤である。

画像処理装置１２には、撮像器１１、表示装置１３および操作盤１４との間で信号の入出力を行うための外部Ｉ／Ｆ１５、撮像器１１からの撮像データ等を保存するメモリブロック１６、各種のデータ処理を行うＣＰＵ１７、外部Ｉ／Ｆ１５，メモリブロック１６，ＣＰＵ１７等の間でデータの送受信を行うためのバス１８が備えられている。また、外部Ｉ／Ｆ１５には報知器１９が接続されており、表示装置１３とともに判定情報を報知する。

メモリブロック１６には、マスター画像メモリ１６ａ、リファレンス画像メモリ１６ｂ、現在画像メモリ１６ｃ、差分画像メモリ１６ｄが備えられており、詳細は後述するが、マスター画像メモリ１６ａにはマスター画像３１（図４参照）、リファレンス画像メモリ１６ｂには直前画像３５（図４参照）、現在画像メモリ１６ｃには現時点の画像３６（図４参照）、差分画像メモリ１６ｄには差分画像３７ｂが保存される（図４参照）。

撮像器１１によって撮像された画像は、画像処理装置１２内のメモリに時系列に保存され、以降に記す処理が施される。

図３はメモリに時系列保存される撮像画像イメージを示すものであり、２１ａ〜２１ｆは撮影画像イメージを示し、符号２１ａ〜２１ｆの順に保存される。ここで、撮像画像イメージ２１ａ〜２１ｆは、同一対象物の時系列変化を捉えた画像と考えても良いし、個々に同種で別個の対象物であるとしてもかまわない。本実施形態においては、図３において、撮像画像イメージ２１ａ〜２１ｄ及び２１ｆは通常の標準的対象物の状態であるものとし、撮像画像イメージ２１ｅは異常状態であるとして説明することにする。

通常状態との違いとしては、例えば、撮像画像イメージ２１ｅのように、画像中の対象物位置２２ｘ，２２ｙが他の撮像画像イメージ２１ａ〜２１ｄ及び２１ｆとは大きく異なる点、あるいは欠陥２３のようなシミ状のモノが付着している点が異なる点などがあげられる。こういった通常状態との違いが、予め想定される場合には、例えば特定の位置や領域の変化量抽出条件、例えば、欠陥２３の面積サイズなどのしきい値条件等を設定しておき、そのしきい値を越える結果が得られた場合に、異常判定を行うことができる。

しかし、通常状態との違いが予め想定できない場合には、こういった条件を設定しておくことができない。そこで、通常状態との違いが予め想定できない場合における対応について図４を参照しながら説明する。

図４は時系列に撮像された画像を元に異常状態との違いをより効率的に抽出するためのデータの流れを示すブロック図であり、３１は対象物のＣＡＤデータなどから生成されたマスター画像、もしくは予め正常品であることが判っている対象物を撮像したマスター画像である。

まず、画像処理によって、マスター画像３１のデータや画像を元に、対象物の輪郭情報３２を抽出する。輪郭情報３２は２次元の座標情報であり、画像を元に輪郭情報を抽出する手法としては、元画像の膨張画像及び収縮画像を生成し、２者の差分画像によって輪郭画像を生成し、これを元に輪郭の各座標を抽出する方法などがある。

３３は輪郭のバラツキ情報である。ここで、輪郭のバラツキとは、対象物が通常移動しうる距離であり、対象物が概ねこの距離の範囲で位置変動することを意味する。バラツキ情報３３の値は、およその見込みで設定するか、対象物の時系列位置変動量を観察し、その変動の標準偏差（σ）を元に、例えば３０値を設定する。そして、輪郭情報３２に輪郭バラツキ情報３３を加えることによって、輪郭が位置変動しうる領域が定義できるため、この領域を変動領域データ３４ａとして予め生成しておく。この変動領域データ３４ａは、後に行う画像差分処理において、画像の僅かなズレにより輪郭近傍の差が顕著に現れてしまうのを防ぐため、輪郭近傍部分の差分情報の重みを軽減する目的に利用される。すなわち、変動領域データ３４ａに対し、輪郭近傍領域は重みを軽く、それ以外は重みを重く設定する。３４ｂは重み付けデータを示し、図中の数字は重み付けデータ３４ｂの一例を示すものである。

３５は、時系列に撮像された画像の内、現時点の直前画像、３６は現時点の画像、３７ａは直前画像３５と現時点の画像３６の比較処理プロセスである。まず、比較処理プロセス３７ａにおいて、直前画像３５と現時点の画像３６を比較し、最も整合性の高い相対的な位置関係を求める。一般的には、パターンマッチングと言われる手法によって、画像間の整合を評価することができる。これによって、互いの整合性をとるために必要な相対的画像ズレ量３８ａ（平行移動成分や回転成分を含む）を求める。また、相対的画像ズレ量がゼロになるよう、双方の画像位置を補正した後に、両者の差分画像３７ｂを生成し、その画面内平均濃度階調差３８ｂを求める。その際、前述の輪郭近傍領域に重みづけを施した重み付けデータ３４ｂを利用し、その重みを画素毎に乗じて画面内平均濃度階調差３８ｂを求める。

大局的な濃度変動は、上記の画面内平均濃度階調差３８ｂによって表現されるが、例えば微細な欠陥発生など局所的な変動については検出できない。こういった変動を検出するため、画面内を適当なブロックに細分化し、このブロック毎に上記の画面内平均濃度階調差３８ｂと同様の処理を施し比較することによって、局所的な変動を検出できる可能性が高くなる。３９は画面内を適当なブロックに細分化したイメージを示す。ブロック毎に求められた濃度の差分情報の内、例えば最も差分値が大きいブロックの値をブロック内濃度階調差３８ｃとすれば、局所的な変動の大きさに従って、ブロック内濃度階調差３８ｃが大きくなり、局所変動の検出が容易となる。

以上のようにして、直前画像３５と現時点の画像３６とを比較し、相対的画像ズレ量３８ａ、画面内平均濃度階調差３８ｂ、ブロック内濃度階調差３８ｃといった代表値を求めることができる。

ところで、上述したような画像の変動状況を、より人に近い感性判断を行うことによって判断の正確さを向上することが可能になる。その例を以下に示す。

一般に、人は、変化の度合いに対して反応が比例せず、その内容によって鈍感に反応する場合と、敏感に反応する場合があることが知られている。例えば、光量の感受性については、フェヒナー則
Ｒ＝Ｃlog(Ｓ／ＳＯ)
Ｒは反応量、Ｃは定数、Ｓは信号量、ＳＯは基準信号量
に従うことが知られている。これによって、人は光量の感受性におけるダイナミックレンジを大きく取ることができる。また、これとは逆に、変化に対して敏感に反応する場合の法則として、スティーブンス則が知られている。
Ｒ＝Ｃ(Ｓ−ＳＯ)^ｎ
Ｒは反応量、Ｃは定数、Ｓは信号量、ＳＯは基準信号量、ｎは適当なべき乗数
こういったルールを前述の変化量算出に適用し、判断の正確さを向上することが可能になる。例えば、求められた相対的画像ズレ量３８ａの値をｘとする場合、単にｘをこの代表値とするのでなく、
（代表値）＝Ｃ(ｘ−ｘｏ)^ｎ
Ｃは定数、ｘｏは基準量、ｎは適当なべき乗数
とすることによって、僅かなズレは軽微な値に、大きなズレは大きな値に、単にズレ量に比例したものでなく、実用的な重みづけを施すことが可能となる。これは画面内平均濃度階調差３８ｂやブロック内濃度階調差３８ｃの値についても、同様である。

上記内容は、例えば、直前画像３５を図３に示す画像２１ｄとし現時点の画像３６を図３に示す画像２１ｅとして比較・評価について説明したものである。ここで、時系列に画像を複数撮像すると、現時点の画像３６と、過去の複数画像とをそれぞれ比較することができる。すなわち、前述の相対的画像ズレ量３８ａ、画面内平均濃度階調差３８ｂおよびブロック内濃度階調差３８ｃの値は、比較する画像枚数に応じて複数求められる。例えば、相対的画像ズレ量３８ｄ、画面内平均濃度階調差３８ｅおよびブロック内濃度階調差３８ｆは、現時点の画像３６を図３に示す画像２１ｅとし、直前画像３５を図３に示す画像２１ｃとして比較・評価したものであり、同様に、相対的画像ズレ量３８ｇ、画面内平均濃度階調差３８ｈおよびブロック内濃度階調差３８ｉは、図３に示す画像２１ｅと画像２１ｂを比較・評価したものである。このように、時系列に評価値を求めると、時間軸での重みづけが可能となる。

ここで現時点での検査対象に突発性の不具合が発生し、その時の撮影したものが画像２１ｅであるとすれば、過去の画像２１ｄ，２１ｃ，２１ｂなどと比較した際に、どの画像との比較においても差が顕著に生じることになる。従って、例えばこういった顕著な差が連続している（突発である）ことを評価して、時系列の重みづけを施して、各評価項目を評価することも可能である。相対的画像ズレ量３８ａ，３８ｄ，３８ｇを例にとれば、これらいずれの値も顕著なものであれば、突発的に不具合が発生している可能性が極めて高いため、これらの評価値を、単に加算するなどでなく、より大きな重みを乗じるなどが考えられる。また、この重みに前述のスティーブンス則などを適用し、値が連続する回数分、べき乗するなどの評価方法も考えられる。

このようにして、相対的画像ズレ量３８ａ，３８ｄ，３８ｇに基づいて時系列評価値４０ａが求められる。また同様に、画面内平均濃度階調差３８ｂ，３８ｅ，３８ｈ、ブロック内濃度階調差３８ｃ，３８ｇ，３８ｉに基づいて画面内平均濃度階調差の時系列評価値４０ｂ、ブロック内濃度階調差の時系列評価値４０ｃも、求めることが可能である。そして、最終的に時系列評価値４０ａ〜４０ｃを統合し、総合評価結果４１を求める。総合評価結果４１を算出する際には、単純に１／３ずつの重みで加算する方法がある。また、内容によって各値の重みづけを変えることもできる。例えば、位置ズレが生じることがまれなシステムであれば、相対的画像ズレ量の時系列評価値４０ａの重みをより大きく設定することによって、より現実的な評価が可能となる。

このような手順で求められた総合評価結果４１を、既設定のしきい値と比較して、この値を超えるときに画像処理装置１２（図１参照））から適切な出力を行う。例えば、画像を利用容易な領域に別枠保存したり、表示装置１３上に表示したり、別途用意される表示灯などの報知器１９（図１参照）を点灯したり、制御上のホストマシンに異常発生信号を送るといったことなどがあげられる。

以上のように、本発明の異常画像抽出方法及び装置によれば、従来手法のように予め想定した不良要因に基づく検査しきい値を基準にして不良品画像を収集するものではなく、過去の画像などとの比較を柔軟かつ効率的に実施することによって実現することができる。すなわち、本発明は、対象画像を通常画像と比較し、その差異を特徴づける方法と、これを具現化する装置に関する発明であり、想定しない欠陥を抽出し、作業者がこれを確認するなどの方法によって、複雑化する工程不良を早期に改善することが可能となり、この分野の進展および生産性の向上に大きく寄与するものである。

本発明の異常画像抽出方法及び装置は、複雑化する工程不良を早期に改善することが可能となり、この分野の進展および生産性の向上に大きく寄与するものであり、生産ラインなどにおける自動検査の分野に有用である。

本発明の実施の形態における異常画像抽出方法を実現する基本構成の一例を示す説明図 異常画像抽出装置の要部構成を示す説明図 メモリに時系列保存される撮像画像イメージを示す説明図 異常状態との違いをより効率的に抽出するためのデータの流れを示すブロック図

符号の説明

１１ 撮像器
１２ 画像処理装置
１３ 表示装置
１４ 操作盤
２１ａ，２１ｂ，２１ｃ，２１ｄ，２１ｆ 画像（過去の画像）
２１ｅ 画像（現在の画像、異常状態）
２２ｘ，２２ｙ 対象物位置
２３ 欠陥
３１ マスター画像
３２ 輪郭情報
３３ バラツキ情報
３４ａ 変動領域データ
３４ｂ 重み付けデータ
３５ 直前画像
３６ 現時点の画像
３７ａ 比較処理プロセス
３７ｂ 差分画像
３８ａ，３８ｄ，３８ｇ 相対的画像ズレ量
３８ｂ，３８ｅ，３８ｈ 画面内平均濃度階調差
３８ｃ，３８ｆ，３８ｉ ブロック内濃度階調差
３９ （画面内を適当なブロックに細分化した）イメージ
４０ａ，４０ｂ，４０ｃ 時系列評価値
４１ 総合評価結果

Claims (6)

1. 正常状態の参考となるマスター画像を生成し、マスター画像を元にして予測されるリファレンス画像を生成し、このリファレンス画像と実際に撮像された画像との比較を行い、比較した結果に重み付けを施して特徴的な差を抽出し、この抽出結果に基づいて異常判定を行うことを特徴とする異常画像抽出方法。
2. リファレンス画像と撮像画像との比較を行う上で、双方の差分画像上の各輪郭近傍領域の情報に重み付けを行うことを特徴とする請求項１記載の異常画像抽出方法。
3. リファレンス画像と撮像画像との比較結果に重み付けを施す際に、重みを比較結果のべき乗または対数を乗じることを特徴とする請求項１または２記載の異常画像抽出方法。
4. リファレンス画像と撮像画像との比較結果に重み付けを施す際に、比較結果に特徴的な差異が時系列に連続的に発生している場合、その度合いに応じた重みを比較結果に乗じることを特徴とする請求項１または２記載の異常画像抽出方法。
5. 正常状態の参考となるマスター画像を生成する手段と、マスター画像を元にして予測されるリファレンス画像を生成する手段と、このリファレンス画像と実際に撮像された画像との比較する手段と、比較した結果に重み付けを施して特徴的な差を抽出する手段と、この抽出結果に基づいて異常判定を行う手段とを有することを特徴とする異常画像抽出装置。
6. マスター画像、リファレンス画像、撮像画像および欠陥候補画像を保存するメモリと、リファレンス画像と撮像画像との比較手段としての演算装置と、この異常判定の場合に欠陥候補が発生したことを知らせる報知装置とを有することを特徴とする請求項５記載の異常画像抽出装置。

Images