JP2010175305A - 被検査体の検査装置 - Google Patents

Abstract

【課題】属人的な知識や経験に頼らなくても良好な検査精度を容易に実現することができる被検査体の検査装置を提供する。
【解決手段】検査装置は、被検査体１０００を撮像する撮像部と、被検査体画像１００４の各画素に複数の属性を対応づけて一般化画素１０１２を生成する画像統合部と、一般化画素１０１２に基づいて代表画素１０２１を設定する代表画素設定部と、複数の属性を次元とする空間１０１６における一般化画素１０１２と代表画素１０２１との距離に応じて決定された輝度を有する画素からなる新たな検査画像１０２８を作成する輝度演算部と、を備える。
【選択図】図１

Description

この発明は被検査体の検査装置に関し、特に撮像して得られた被検査体の画像を利用して被検査体を検査する被検査体の検査装置に関する。

特許文献１には、電子部品の基板実装後におけるはんだ付け状態を検査する外観検査装置が記載されている。この装置は、はんだ付け部に対して角度を異ならしめて順次光照射を行う照明部と、はんだ付け部の表面からの反射光をとらえる撮像部と、を備える。この装置は、撮像出力からはんだの大きさと形状を求めファジィ推論処理を行ってはんだ付け状態を判定する。また、特許文献２には、入力画像からはんだ形状に関する特徴量を抽出し、ファジィクラスタリング法を適用して検査をすることが記載されている。

特開平４−３４３０４６号公報 特開平３−２０４０８９号公報

電子基板の検査にはさまざまな検査項目がある。検査項目ごとに良好な精度で検査するには、一般に事前の調整作業やチューニングが必要である。例えば被検査体の撮像条件に関しては、照明光の照射方向や照射範囲、波長、さらに撮像装置での撮像時間や撮像波長範囲など多数のパラメータを調整することになる。また、被検査体画像の処理についても、いかなる処理方法をどのようなパラメータで行うかが検査精度に大きく影響する。

このような調整は、作業者が自身の知識や経験に基づいて試行錯誤で行っている。よって、十分に良好な検査精度を実現することがそもそも必ずしも容易とはいえない。例えば被検査体画像からは多種多様な情報を抽出することが可能であるが、いかなる情報を組み合わせれば良好な検査精度が得られるかは明らかではない。また、所望の検査精度を保証することも容易ではない。

本発明はこうした状況に鑑みてなされたものであり、その目的は、属人的な知識や経験に頼らなくても良好な検査精度を容易に実現することができる検査装置を提供することにある。

本発明のある態様の検査装置は、被検査体を撮像する撮像部と、被検査体画像の各画素に複数の属性を対応づけて一般化画素を生成する画像統合部と、一般化画素から代表画素を選択する代表画素設定部と、前記複数の属性を次元とする空間における一般化画素と代表画素との距離に応じて決定された輝度を有する画素からなる新たな検査画像を作成する輝度演算部と、を備える。

この態様によれば、各画素に対応づけられている複数の属性を代表画素と各画素との距離という新たな尺度で容易に比較することができる。よって、属人的知識や経験への依存度を低くして、良好な検査精度を容易に実現することができる。また、この新たな尺度に応じて決定された輝度を有する画素からなる新たな検査画像を作成することにより、所望の検査項目についての検査も容易に行うことが可能となる。

本発明のある態様の被検査体画像の処理方法は、被検査体を撮像する撮像ステップと、被検査体画像の各画素に複数の属性を対応づけて一般化画素を生成する対応ステップと、一般化画素から代表画素を選択する選択ステップと、前記複数の属性を次元とする空間における一般化画素と代表画素との距離に応じて決定された輝度を有する画素からなる新たな検査画像を作成する作成ステップと、を備える。

本発明の別の態様の検査装置は、被検査体画像の画素に与えられている複数の属性を次元とする空間に各画素をマッピングする第１マッピング処理部と、検査に合格であることが保証されている合格画素と、該検査に不合格であることが保証されている不合格画素とを設定する代表画素設定部と、前記空間において合格画素と不合格画素とを結ぶ直線に各画素を投影する第２マッピング処理部と、を備える。

本発明の別の態様の検査装置は、被検査体画像の各画素に与えられている複数の属性を次元とする高次元空間に各画素をマッピングする第１マッピング処理部と、検査に合格であることが保証されている合格画素と、該検査に不合格であることが保証されている不合格画素とを設定する代表画素設定部と、合格画素を含む第１画素群と不合格画素を含む第２画素群との前記高次元空間における偏在状態が反映されるように前記高次元空間から低次元空間に各画素を投影する第２マッピング処理部と、を備える。

本発明によれば、良好な検査精度で検査をすることができる。

本発明の一実施形態に係る検査画像作成処理を説明するための図である。 本発明の一実施形態に係る画素間情報演算処理を説明するための図である。 図１の検査画像作成処理により作成された検査画像の一例である。 本発明の一実施形態に係る外観検査装置の構成を模式的に示す図である。 図４の試験ユニットの詳細斜視図である。 図４の照明ユニットを含む試験ユニットの模式図である。 本発明の一実施形態に係るラインセンサの構成を示す図である。 本発明の一実施形態に係る解析ユニットの構成の一例を示す図である。 本発明の一実施形態に係る外観検査装置の検査手順を示すフローチャートである。 本発明の一実施形態に係る検査画像作成処理を示すフローチャートである。 本発明の一実施形態に係る被検査体画像の一例である。 本発明の一実施形態に係る被検査体画像の一例である。 本発明の一実施形態に係るマッピングの一例を示す図である。

本発明の理解を容易にするために、本発明の一実施形態の概要をまず説明する。本発明の一実施形態によれば、被検査体画像の画素を精度よくクラスタリングする方法が提供される。被検査体を撮像した画像の画素そのものではなく、複数種類の情報を新たに付加した多次元の画素をクラスタリングする。複数の代表画素を設定し、各画素がいずれの代表画素に似た性質を有しているかによって画素を分類する。その結果例えば、所望の検査項目に関して被検査体画像の画素を合格画素群と不合格画素群とに精度よく分類して、良好な検査精度を実現することができるようになる。

もう少し詳しく述べる。本発明の一実施形態においては、まず、被検査体画像の１画素に複数の属性を対応づけて多次元の画素値をもつ画素を生成する。複数の属性の一例は、同一の被検査体を異なる複数の撮像条件で撮像して得られた複数の被検査体画像それぞれの対応画素の画素値である。画素値のように定量的な情報だけではなく、定性的な属性を画素に対応づけてもよい。複数の属性は、異種の属性を組み合わせることが好ましい。この多次元の画素値を有する画素を、以下では便宜上、「一般化された画素」または「一般化画素」と呼ぶ。ある１つの属性が複数の検査項目に影響したり、あるいは逆に複数の属性が１つの検査項目に影響する場合もある。１つの画素に複数の属性を対応づけることにより、従来のように複数の画像を個別的に処理するのに比べて、統一的で効率的な処理が可能となる。

一般化画素は、複数属性を次元とする状態空間にマッピングされる。本願発明者は、被検査体画像についてこのマッピングを行うと、一般化画素が一様に状態空間に分布するのではなく大きく偏在する傾向があるということを見出した。その主な理由の１つは、被検査体の表面上の各点は性質によっていくつかに分類され、各点を撮像して得られた画素も同様に分類されるからである。例えば被検査体が電子基板である場合には、例えば基板表面であるか部品表面であるかにより分類されるし、表面の色、あるいは汚れやキズの有無によっても分類され得る。

マッピング結果は、より低次元の空間に投影される。例えば、マッピング空間内のある直線に一般化画素を投影する。そうすると、その直線上に一般化画素の偏在状態が反映される。つまりマッピング空間での画素の密度分布が直線上に転写される。直線上の投影位置に応じて各画素に例えば輝度を割り当てることにより、被検査体の特定の性質が強調された新たな検査画像を作成することができる。

この投影直線は例えば、所望の検査項目について合格が確認済みの画素と不合格が確認済みの画素とを結ぶ直線とする。共通特性をもつ画素のマッピング空間での偏在により、確認済みの合格画素の近傍に他の合格画素も群集し、確認済みの不合格画素の近傍に他の不合格画素も群集する。よって、投影直線上で確認済みの合格画素と不合格画素との間に判定基準を設定することにより、合格画素群と不合格画素群とを良好な精度で判別することができる。

図１は、本発明の一実施形態を概念的に説明するための図である。一実施形態に係る検査装置は画像処理部を備えており、図１に示される検査画像生成処理は主として画像処理部が実行する。

まず、被検査体１０００が準備される。被検査体１０００は例えば、電子部品が実装された電子基板である。被検査体１０００は撮像部により撮像される。図１では矢印１００２で撮像処理を示している。撮像部により被検査体画像１００４が撮像される。

被検査体画像１００４は１枚でも複数枚でもよいが、図１では５枚の画像Ａ乃至画像Ｅが撮像される。複数の被検査体画像１００４は異なる照明条件で撮像される。例えば、第１画像は緑色ＬＥＤを照明光源として基板表面に垂直に入射する照明光のもとで撮像された単色画像である。第２画像は白色ＬＥＤを照明光源として基板表面に斜めに入射する照明光のもとで撮像されたカラー画像であり、ＲＧＢの３つの色成分からなる。第３画像は青色ＬＥＤを照明光源として基板表面に斜めに入射する照明光のもとで撮像された単色画像である。図１においては、画像Ａが第１画像に相当し、画像Ｂ乃至Ｄが第２画像の各色成分に相当し、画像Ｅが第３画像に相当する。

複数の被検査体画像１００４の各々は、被検査体１０００の表面上の同一位置に対応する画素１００６を有している。画像処理部は、各被検査体画像１００４の対応画素１００６を特定し、各対応画素１００６の画素値を１組に統合する。この統合処理を図１では矢印１００８で示している。統合処理により、上述の一般化画素１０１２が生成される。一般化画素１０１２の集合を以下では一般化画像１０１０と呼ぶ。個々の被検査体画像１００４の対応画素１００６を１つの要素に対応づけることにより、多次元の画素値を有する一般化画素１０１２が生成される。図１では画像Ａ乃至画像Ｅから５次元の一般化画素１０１２が生成される。一般化画素１０１２は例えば、画像Ａ乃至画像Ｅの対応画素１００６の輝度を成分とする５次元のベクトルとして表記することができる。撮像したすべての被検査体画像１００４を一般化画像１０１０に必ずしも統合しなくてもよく、統合する被検査体画像１００４の組合せを検査項目に応じて異ならせてもよい。

なお、一般化画素１０１２に対応づける属性は対応画素１００６の画素値には限られず、図２に示すように、１つの被検査体画像１００４上のある画素とその画素の近傍の画素とから演算される画素間情報を一般化画素１０１２に対応づけてもよい。画素間情報は例えばエッジ検出に有効である。画素間情報を用いて一般化画素を生成する場合には、被検査体画像１００４は複数枚でなくてもよく、１枚であってもよい。

画素間情報は例えば上下左右の隣接画素それぞれとの画素値の差であってもよいし、上下左右の隣接画素とその中心画素との画素値の平均であってもよい。例えば図２に示されるように中心画素１０３０、上画素１０３２、右画素１０３４、下画素１０３６、左画素１０３８の画素値がそれぞれ８０、７０、２０、７０、２０である場合には、画素間情報として周囲４画素との平均値、上画素との輝度差、右画素との輝度差、下画素との輝度差、左画素との輝度差をそれぞれ５２、１０、６０、１０、６０と求めることができる。なお斜めに隣接する画素や、直接隣接していない近傍の画素を用いて画素間情報を演算することも可能である。

図２に示される場合においては、１枚の被検査体画像１００４から最大で６次元の一般化画像を生成することができる。中心画素輝度、上下左右画素との平均輝度、上下左右画素それぞれとの輝度差で合計６次元である。図１に示される５枚の被検査体画像Ａ乃至Ｅそれぞれについて図２のように６次元の画素間情報を演算した場合には、最大３０次元の一般化画像１０１０が生成される。

図１に戻る。統合処理１００８に続いて、画像処理部は、一般化画素１０１２が有する複数の次元からなる状態空間１０１６に各一般化画素１０１２をマッピングする。つまり、一般化画素１０１２が有する複数の画素値を状態空間１０１６における座標として状態空間１０１６上に位置づける。このマッピング処理を図１では矢印１０１４で示している。図１では状態空間１０１６は、画像Ａ乃至画像Ｅに対応する次元Ａ乃至次元Ｅからなる５次元空間である。図１では５次元の状態空間１０１６を概念的に図示している。本明細書では文脈によって状態空間１０１６を例えば、「マッピング空間」と呼ぶこともあるし、「高次元空間」と呼ぶこともある。

一般化画像１０１０を高次元空間１０１６にマッピングすると、たいていは、一般化画素１０１２は偏在した分布を示す。高次元空間１０１６における一般化画素１０１２の密度分布には疎密が生じる。一般化画素１０１２は複数のクラスタに群集する傾向を有する。図１では、第１クラスタ１０１８及び第２クラスタ１０２０を例として示す。第１クラスタ１０１８及び第２クラスタ１０２０は第１画素群及び第２画素群と呼ぶこともある。図１では第１クラスタ１０１８及び第２クラスタ１０２０に含まれる一般化画素１０１２をそれぞれ白丸及び黒丸で示している。

このように偏在するのは上述のように、各一般化画素１０１２が被検査体１０００表面のある位置に対応し、その位置の表面特性を示す情報を有しているからである。よって、被検査体１０００表面で類似の性質を有する複数の位置に対応する複数の一般化画素１０１２は、マッピング空間１０１６上で互いに近接することになる。例えば基板表面（典型的には緑色表面）に対応する一般化画素１０１２は空間１０１６で１つのクラスタをなすことになるし、部品表面の特定色部分（例えば青色部分）や基板上の文字部分（例えば白色）もそれぞれクラスタをなす。基板表面のキズにより下層が露出されている部位に対応する一般化画素１０１２、あるいは汚れや指紋の付着箇所等もそれぞれクラスタをなすと考えられる。

画像処理部は、マッピングされた一般化画素１０１２を基準点１０２１との位置関係により単純化して表現する。図１ではこの変換処理を矢印１０２２で示している。変換処理１０２２は、高次元空間１０１６でのクラスタ分布を保ちつつ、より低次元の空間に各画素をマッピングし直す処理である。この低次元空間の次元は高次元空間１０１６の次元と重複していてもよいし、完全に異なっていてもよい。

例えば図１に示されるように、画像処理部は、基準点１０２１との距離によって各一般化画素１０１２を１次元の画素値で表現する。基準点１０２１はマッピング空間１０１６の原点であってもよいし、任意の点であってもよい。基準点１０２１は一般化画素１０１２から選択された代表画素であってもよいし、一般化画素に基づいて生成された代表画素であってもよい。

その結果、一般化画素１０１２（図１では第１クラスタ１０１８及び第２クラスタ１０２０）は、高次元空間１０１６でのクラスタ分布が反映された状態で直線１０２４上にマッピングされる。画像処理部は、直線１０２４上での基準点１０２１と各画素の距離から各画素の輝度を演算する。例えば基準点１０２１を最大輝度に設定し、基準点１０２１から離れるほど小さい輝度値を各画素に割り当てる。逆に、基準点１０２１を最小輝度に設定し、基準点１０２１から離れるほど大きい輝度値を各画素に割り当ててもよい。

画像処理部は、このようにして輝度が割り当てられた画素から新たな検査画像１０２８を作成する。図１ではこの作成処理を矢印１０２６で示している。画像処理部は、元の被検査体画像１００４における画素の配列に沿って直線１０２４上の各画素を並べ直して検査画像１０２８を作成する。この検査画像１０２８は、個々の被検査体画像１００４のもつ情報を統合した上で、各画素の性質に応じたクラスタ分布が反映された画像となっている。例えば図３に示されるように、基板に実装された電子部品は全体的に明るく表示され、基板表面は暗く表示された画像を得ることができる。また基板表面上の汚れやキズを明るく際立たせることもできる。

したがって、画像処理部における処理を所望の検査項目に応じて予め最適化することにより、その検査での判別対象が強調された検査画像を作成することができる。例えば、マッピング空間の次元となる複数の属性を所望の検査項目について予め適切に設定しておくことにより、作業者がその都度調整作業をしなくても精度のよい検査結果を得ることができるようになる。従前のように個別的な複数の被検査体画像に多様なチューニングを属人的に施して良好な検査結果を得るのではなく、精密な検査に寄与する検査画像を経験の浅い作業者でも容易に得ることができる。

本発明の一実施形態においては、被検査体の検査装置は、被検査体を照明する照明光源と、照明された被検査体からの光を受けるセンサと、センサ出力に基づく被検査体の検査を制御するメイン制御ユニットと、を備えてもよい。被検査体の検査装置は、被検査体からの光をセンサへと導く光学系と、センサと被検査体とを相対的に移動させる移動機構と、を備えてもよい。センサは撮像部であってもよい。

メイン制御ユニットは、撮像部により撮像された被検査体画像から検査画像を作成する画像処理部と、画像処理部で作成された検査画像に基づいて被検査体を検査する検査部と、を含んでもよい。画像処理部は、被検査体画像の各画素に複数の属性を対応づけて一般化画素を生成する画像統合部と、一般化画素に基づいて代表画素を設定する代表画素設定部と、複数の属性を次元とする空間における一般化画素と代表画素との距離に応じて決定された輝度を有する画素からなる新たな検査画像を作成する輝度演算部と、を備えてもよい。画像処理部は、複数の属性を次元とする空間に一般化画素をマッピングするマッピング処理部を備えてもよい。複数の属性は、第１の被検査体画像に由来する属性と、第１の被検査体画像とは異なる第２の被検査体画像に由来する属性と、を含んでもよい。複数の属性は例えば、第１の照明条件で撮像された第１の被検査体画像の第１色成分の輝度と、第１の撮像条件とは異なる第２の照明条件で撮像された第２の被検査体画像の第２色成分の輝度と、を含んでもよい。第１色成分と第２色成分とは同じであってもよいし、異なってもよい。

代表画素設定部は、一般化画素から代表画素を選択してもよいし、一般化画素に基づいて一般化画素とは異なる値を有する代表画素を演算してもよい。代表画素は例えば、所望の検査項目に合格であることが保証されている画素であってもよいし、逆に、所望の検査項目に不合格であることが保証されている画素であってもよい。代表画素は、事前の検査により予め学習されていてもよい。

一実施形態においては、代表画素設定部は、少なくとも第１代表画素及び第２代表画素を設定してもよい。輝度演算部は、第１代表画素の輝度を最大値にかつ第２代表画素の輝度を最小値に設定してもよい。輝度演算部は、一般化画素が第１代表画素に近いほど該最大値に近い輝度を与え、一般化画素が第２代表画素に近いほど該最小値に近い輝度を与えてもよい。この場合例えば、第１代表画素からの距離が第１しきい値よりも小さい一般化画素については第１代表画素からの距離に基づいて輝度を設定し、第２代表画素からの距離が第２しきい値よりも小さい一般化画素については第２代表画素からの距離に基づいて輝度を設定してもよい。第１しきい値及び第２しきい値は例えばマッピング空間における画素の偏在を考慮して定めることができる。輝度演算部は、第１代表画素と共通の特性を有する一般化画素については第１代表画素に近いほど該最大値に近い輝度を与え、第２代表画素と共通の特性を有する一般化画素については第２代表画素に近いほど該最小値に近い輝度を与えてもよい。

また、輝度演算部は、一般化画素と第１代表画素との距離と、当該一般化画素と第２代表画素との距離との比に応じて輝度を決定してもよい。このように、第１代表画素及び第２代表画素それぞれと一般化画素との距離の比を用いることにより、演算された複数画素間の輝度差を比較的大きくすることができる。具体的には例えば、第１代表画素と一般化画素の距離と第２代表画素と一般化画素の距離との合計に対する第１代表画素（または第２代表画素）と一般化画素の距離の割合に応じて輝度を決定してもよい。このようにすれば、特に第１代表画素と第２代表画素とがマッピング空間において近接している場合に、新たに作成される検査画像のコントラストを大きくすることができるという点で好ましい。検査画像のコントラストが大きければ検査をしやすくすることができる。また、第１代表画素及び第２代表画素それぞれとの距離が同程度である画素の輝度を第１及び第２代表画素からの距離にかかわらず同程度に調整することもできる。

輝度演算部は、上述のように距離比を輝度に変換することに代えて、例えば一般化画素と第１代表画素との距離と、当該一般化画素と第２代表画素との距離との差に応じて輝度を決定してもよい。このように、輝度演算部は、一般化画素と第１代表画素との距離と、当該一般化画素と第２代表画素との距離との違いを表す指標に応じて輝度を決定してもよい。なお逆に、第１代表画素及び第２代表画素それぞれとの距離が同程度である画素の輝度を第１及び第２代表画素からの距離に応じて異ならせるように調整してもよい。

すなわち、輝度演算部は、第１代表画素を「白」とし、第２代表画素を「黒」として、第１代表画素及び第２代表画素と各画素との位置関係に基づいて各画素にグレイレベルの画素値を与えてもよい。輝度演算部は例えば、輝度を求めるべき画素と第１代表画素との距離と当該画素と第２代表画素との距離との比を求め、最大輝度と最小輝度との中間におけるこの距離比に応じた輝度値を当該画素に割り当ててもよい。

輝度演算部は、第１代表画素に近い一般化画素については第１代表画素との距離に応じて第１色成分の輝度を決定してもよいし、第２代表画素に近い一般化画素については第２代表画素との距離に応じて第１色成分とは異なる第２色成分の輝度を決定してもよい。輝度演算部は、第１代表画素と共通の特性を有する一般化画素については第１代表画素との距離に応じて第１色成分の輝度を決定してもよい。輝度演算部は、第２代表画素と共通の特性を有する画素については第２代表画素との距離に応じて、第１色成分とは異なる第２色成分の輝度を決定してもよい。このようにして新たなカラー検査画像を生成してもよい。

一実施形態においては、代表画素設定部は、少なくとも第１代表画素及び第２代表画素を設定し、第１代表画素及び第２代表画素の少なくとも一方については共通の特性を有する代表画素を複数設定してもよい。また、代表画素設定部は、共通の特性を有する複数の第１代表画素と、第１代表画素とは異なる共通の特性を有する複数の第２代表画素とを設定してもよい。代表画素設定部は、被検査体の設計情報に基づいて共通の特性を有する代表画素を複数設定してもよい。輝度演算部は、第１代表画素の輝度を最大値にかつ第２代表画素の輝度を最小値に設定してもよい。輝度演算部は、一般化画素と当該一般化画素に最も近接する第１代表画素及び第２代表画素それぞれとの距離に基づいて当該一般化画素の輝度を決定してもよい。すなわち、輝度演算部は、最近接第１代表画素を「白」とし、最近接第２代表画素を「黒」として、最近接第１代表画素及び最近接第２代表画素と各画素との位置関係に基づいて各画素にグレイレベルの画素値を与えてもよい。輝度演算部は例えば、輝度を求めるべき画素と最近接第１代表画素との距離と当該画素と最近接第２代表画素との距離との比を求め、最大輝度と最小輝度との中間におけるこの距離比に応じた輝度値を当該画素に割り当ててもよい。

一実施形態においては、代表画素設定部は、複数の代表画素を設定してもよい。輝度演算部は、一般化画素と最も近接する代表画素との距離に応じて輝度を決定してもよい。上述のように、被検査体画像の一般化画素はマッピング空間において偏在している。よって、マッピング処理部は、最も近接する代表画素を特定することにより一般化画素をクラスタリングしてもよい。その上で、輝度演算部が最近接代表画素との距離に応じて輝度を決定することにより、代表画素を複数設けた場合の演算処理を単純化することができる。

また、輝度演算部は、複数の代表画素が設定されている場合に、一般化画素との距離を計算する代表画素を被検査体の設計情報に基づいて選択してもよい。この場合、輝度演算部は、被検査体の設計情報に基づいて、それぞれの一般化画素に相対的に類似する代表画素を選択してもよい。被検査体の設計情報として例えば基板表面及び実装部品の色情報を用いてもよく、または、被検査体を撮像したカラー画像から得られる基板表面及び実装部品の色情報を用いてもよい。輝度演算部は例えば、所定の色空間における一般化画素の位置と、代表画素に対応する被検査体上の基準位置の当該色空間での位置との偏差が最小である代表画素を選択してもよい。または、その偏差が所定のしきい値以内である代表画素のうちいずれかを選択してもよい。このようにすれば、同様の性質（例えば同じ色味）を有する画素は共通の代表画素を基準として輝度が演算される。設計情報を加味することで、より精度を高めることができる。

第１代表画素は所望の検査項目に合格であることが保証されている画素であり、第２代表画素は所望の検査項目に不合格であることが保証されている画素であってもよい。逆に第１代表画素が不合格画素であり第２代表画素が合格画素であってもよい。第１代表画素についての共通の特性は例えば、基板上に実装されている部品に相当する画像領域の画素であることであってもよい。第２代表画素についての共通の特性は例えば、基板表面に相当する画像領域の画素であることであってもよい。逆に第１代表画素が基板表面に相当する画素であり、第２代表画素が部品に相当する画素であってもよい。輝度演算部は、共通の特性を有する画素を被検査体の設計情報（例えば実装部品の位置情報、基板表面及び実装部品の色情報など）に基づいて特定してもよいし、被検査体を撮像した画像に基づいて特定してもよい。

代表画素設定部は、検査項目に応じて代表画素を変更してもよい。例えば第１の検査項目においては代表画素の第１セットを用い、第２の検査項目においては代表画素の第２セットを用いてもよい。あるいは１つの検査項目について異なる複数セットの代表画素を併用してもよい。代表画素の１つのセットに含まれる代表画素は１つであってもよいし複数であってもよい。この場合、輝度演算部は、代表画素の第１セットを用いて得られた輝度を第１色成分に割り当て、代表画素の第２セットを用いて得られた輝度を第２色成分に割り当てて、新たなカラー検査画像を作成してもよい。例えば、第１セットは基板表面上に設定した合格画素と、部品上に設定した不合格画素とを含み、第２セットは部品上の背景部分に設定した合格画素と、部品上の文字部分に設定した不合格画素とを含んでもよい。第１セットに基づいて得られた輝度を赤成分に割り当て、第２セットに基づいて得られた輝度を緑成分に割り当てて、新たなカラー検査画像を作成してもよい。

一実施形態においては、撮像部は、第１撮像条件で被検査体を撮像して第１画像を取得し、第１撮像条件とは異なる第２撮像条件で被検査体を撮像して第２画像を取得してもよい。画像統合部は、第１画像の各画素に第２画像の対応画素の画素値を対応づけて一般化画素を生成してもよい。さらに、撮像部は第３撮像条件で被検査体を撮像して第３画像を取得し、画像統合部は第１画像の各画素に第３画像の対応画素の画素値を対応づけてもよい。

撮像条件には例えば、撮像部におけるパラメータと、照明条件とが含まれる。照明条件には例えば、照明源から被検査体に入射する照明光の照度や色、照明光の照射角度、被検査体上での照射範囲などがある。照明光の照射角度には例えば、被検査体の基板表面に垂直に入射する場合と、斜めに入射する場合とがある。被検査体上での照射範囲の設定には例えば、被検査体全体に照射する場合と、部分的に照射する場合とがある。部分的に照射する場合には例えば、被検査体基板の端部への照射を避けて中心部に照射する場合がある。また、撮像部に対し被検査体を相対移動する場合には、移動方向に直交する方向に一次元的に延びる照明形状としてもよい。この場合、照明の長手方向と被検査体の相対移動方向との交差角度を垂直以外の角度に設定してもよい。異なる複数の交差角度の照明で撮像することにより、照明の当たらない死角となる領域を減らすことができる。

一実施形態においては、画像統合部は、被検査体画像の画素の画素値と当該画素の周囲の画素の画素値とに基づいて演算される画素間情報を当該画素に対応づけてもよい。画素間情報は例えば、隣接画素との輝度差であってもよいし、周囲の画素との平均輝度であってもよい。

一実施形態においては、代表画素設定部は、代表画素の学習処理を行う。この場合、代表画素設定部は、指定範囲から複数の代表画素候補を選択し、該複数の代表画素候補に基づいて代表画素を生成してもよい。代表画素設定部は、指定範囲に含まれる画素を代表画素候補に選択し、代表画素候補を結合することにより代表画素を生成してもよい。指定範囲は被検査体の画像上に設定されてもよいし、マッピング空間上に設定されてもよい。代表画素候補の結合は、代表画素候補の平均または重み付け平均であってもよい。

代表画素設定部は、１つの指定範囲から任意の数の代表画素を生成してもよい。また、複数の指定範囲から１つの代表画素を生成してもよい。すなわち、代表画素設定部は、第１の指定範囲から生成された代表画素と、第１の指定範囲とは異なる第２の指定範囲から生成された代表画素とを結合して新たな代表画素を生成してもよい。代表画素設定部は、第１の指定範囲と第２の指定範囲とが共通の性質を有する場合には第１及び第２の指定範囲の代表画素の結合を許可し、第１の指定範囲と第２の指定範囲とが共通の性質を有しない場合には第１及び第２の指定範囲の代表画素の結合を禁止してもよい。第１の指定範囲から生成される代表画素の数を第２の指定範囲から生成される代表画素の数とは異ならせてもよい。

第１の指定範囲は基板上に実装されている部品に相当する画像領域に含まれていてもよいし、第２の指定範囲は基板表面に相当する画像領域に含まれていてもよい。この場合、第１の指定範囲から生成される代表画素の数を第２の指定範囲から生成される代表画素の数よりも多くしてもよい。そうすると、例えば部品上の複数の色に対応させて複数の代表画素を設ける一方、基板の一様な表面性状に対応させてより少数の代表画素を設けることができる。基板表面の実情にあわせた検査画像の作成が可能となる。また、例えば代表画素を調整することで検査画像作成処理のチューニングも可能となり、高度な知識及び経験を有する作業者が求める繊細な調整の要求に応えることもできる。

一実施形態においては、画像処理部は、被検査体画像の画素に与えられている複数の属性を次元とする高次元空間に各画素をマッピングする第１マッピング処理部と、検査に合格であることが保証されている合格画素を設定する代表画素設定部と、高次元空間における合格画素と各画素との距離に応じて決定された輝度を有する画素からなる検査画像を作成する第２マッピング処理部と、を備えてもよい。

一実施形態においては、画像処理部は、被検査体画像の画素に与えられている複数の属性を次元とする高次元空間に各画素をマッピングする第１マッピング処理部と、検査に合格であることが保証されている合格画素と、該検査に不合格であることが保証されている不合格画素とを設定する代表画素設定部と、高次元空間において合格画素と不合格画素とを結ぶ直線に各画素を投影する第２マッピング処理部と、を備えてもよい。

第２マッピング処理部は、合格画素を含む第１画素群と不合格画素を含む第２画素群との高次元空間における偏在状態が反映されるように高次元空間から低次元空間に各画素を投影してもよい。高次元空間において第１画素群の画素と第２画素群の画素とは例えば互いに混在することなく、第１画素群と第２画素群とは離れて分布する傾向にある。第２マッピング処理部は、高次元空間における画素の密度分布が保存される形式で高次元空間よりも低次元の空間に各画素をマッピングしてもよい。

第２マッピング処理部は、高次元空間における代表画素と各画素との位置関係を、代表画素と各画素との距離の大小関係を保ちつつ低次元の空間で表現してもよい。第２マッピング処理部は、低次元空間の次元を複数の色成分のそれぞれに対応させることにより、新たなカラー検査画像を作成してもよい。第２マッピング処理部は例えば、マッピング空間から３次元空間に各画素を投影し、各次元をＲＧＢ成分のそれぞれに対応させて新たなカラー検査画像を作成してもよい。第２マッピング処理部は、高次元空間における代表画素と各画素との距離を求め、各画素との距離に応じて決定された輝度を有する画素からなる新たな単色の検査画像を作成してもよい。

本発明の一実施形態に係る画像処理装置は、被検査体を照明する照明手段と、照明手段により照明された被検査体を撮像し被検査体画像を生成する撮像手段と、被検査体画像から画素情報を生成する画素情報生成手段と、画素情報生成手段が生成した全ての画素情報を情報数に応じた多次元空間にマッピングする多次元空間マッピング手段と、多次元空間内での位置情報に基づいて各画素の輝度を生成する輝度変換手段と、を備えてもよい。

照明手段は、被検査体の同一箇所を異なる照明角度で照明するよう構成されていてもよい。撮像手段は、それぞれ異なる照明角度による複数の被検査体画像を生成してもよい。多次元空間マッピング手段は、異なる照明条件で撮像手段により生成された複数の画像の画素情報を使用してもよい。

画素情報生成手段は、各被検査体画像の画素情報及び画素間情報を生成してもよい。画素情報は、各被検査体画像の画素の輝度情報及び色情報の少なくとも１つを含んでもよい。画素の色情報は複数のパラメータ（例えばＲＧＢの３つのパラメータ）を含んでもよい。画素間情報は、周辺画素の輝度値との演算で求めるモーメント情報を含んでもよい。モーメント情報は、周辺画素の輝度値との演算で求める１次モーメント値及び２次モーメント値の少なくとも１つを含んでもよい。

輝度変換手段は、多次元空間内に予め指定したＯＫ位置からの距離に応じて各画素の輝度を生成してもよい。輝度変換手段は、多次元空間内に予め指定したＯＫ位置とＮＧ位置との距離の比に応じて各画素の輝度を生成してもよい。

輝度変換手段は、多次元空間内にマッピングされた画素と多次元空間内に予め指定した全てのＯＫ位置との距離を計算し、最も距離が近いＯＫ位置からの距離に応じて各画素の輝度を生成してもよい。輝度変換手段は、多次元空間内にマッピングされた画素と多次元空間内に予め指定した全てのＯＫ位置および全てのＮＧ位置の距離を計算し、最も距離が近いＯＫ位置との距離及び最も距離が近いＮＧ位置との距離の比に応じて各画素の輝度を生成してもよい。

図４は、本発明の一実施形態に係る外観検査装置１０の構成を模式的に示す。この装置は、被検査体の検査面をラインセンサで走査して画像を形成し、画像認識によって被検査体の部品実装状態等の合否を判定するものである。ラインセンサによる撮像ラインに対して垂直に走査ヘッドを駆動することで順次ラインごとの画像が得られ、走査ヘッドの一次元運動で検査が完了する。

図４のごとく、外観検査装置１０は、メインユニット１２と試験ユニット１４を備える。試験ユニット１４の下部には支持台２２が設けられ、被検査体である基板１が把持される。支持台２２にはコンベアが設けられており、被検査体である基板１が把持された状態で、例えば、他の工程から一定の速度で流れてくるようになっている。試験ユニット１４の上部には、走査ヘッド１６と、それを駆動するステッピングモータ２０と、走査ヘッド１６を支持するリニアガイド等のガイド１８が設けられている。

走査ヘッド１６は照明ユニット３０、レンズ３２およびラインセンサ３４を有する。これらの部材はフレーム３６上に固定されている。照明ユニット３０は、後述の落射照明源、側方照明源、ハーフミラーなどを内蔵する。基板１から垂直上方への反射光はミラーでレンズ３２へ導かれ、レンズ３２を通過した後、一次元ＣＣＤセンサであるラインセンサ３４へ入力される。ラインセンサ３４はライン単位に基板１を撮像してその画像データ５４を出力する。

試験ユニット１４には、検査前の待機状態における待機位置にある走査ヘッド１６と対向する位置にシェーディング補正用の基準プレート６０が設けられている。基準プレート６０は、基準プレート６０の位置を調整する位置調整機構（図示せず）に接続されている。基準プレート６０は、蛍光増白剤を含む樹脂製の白色の板状部材である。基準プレート６０に代えて、蛍光増白剤を含む樹脂製の白色シートであってもよい。

メインユニット１２は、本装置全体を統括的に制御するもので、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたコーティング検査機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

メインユニット１２のヘッド制御ユニット４０はまず、照明制御クロック５０（以下、同期信号ともいう）を照明ユニット３０へ供給し、１ライン毎に落射照明と側方照明とを交互に切り替えて点灯させる。ヘッド制御ユニット４０はさらに、モータ制御信号５２をモータ２０へ、試験開始信号５６をメモリ制御ユニット４２へそれぞれ出力する。モータ制御信号５２によってモータ２０のステップ制御がなされ、検査の開始に際し、走査ヘッド１６が基板１の端部へ移動する。以下、この位置を「スタート位置」という。以降、１ライン撮像するたびにモータ制御信号５２によって走査ヘッド１６が１ライン分進行する。一方、試験開始信号５６を参照し、メモリ制御ユニット４２はメモリ４４への画像データ５４の書込を制御し、以降、画像データ５４がライン単位で記録されていく。画像データ５４は、落射照明で撮像されたものと、側方照明で撮像されたものとが１ライン毎に選択的に入力され、全ラインの撮像が終わると、メモリ４４内には、落射照明で撮像された画像と、側方照明で撮像された画像とが形成される。

メインユニット１２は、例えば待機状態においてシェーディング補正をする。待機状態においては外観検査装置１０に基板１は設けられていない。メインユニット１２のヘッド制御ユニット４０は、シェーディング補正をするとき、モータ制御信号５２によってモータ２０を制御して走査ヘッド１６を待機位置に維持する。ヘッド制御ユニット４０は、照明制御クロック５０を照明ユニット３０へ出力し、シェーディング補正のための点灯状態を制御する。メインユニット１２は、それぞれの光源で基準プレート６０を照明したときに得られる反射光の輝度が予め設定された基準輝度となるようシェーディング補正値を生成する。シェーディング補正は、ラインセンサ３４のＲＧＢの色成分それぞれについて行う。

なお、メモリ４４の内部構成、メモリ４４内の画像データ５４の配置については設計上の自由度があり、いろいろな構成が可能である。たとえば、メモリ４４内に、複数の画像を個別に格納するための独立した２つの記憶領域が設けられ、メモリ制御ユニット４２は、１ライン毎に各記憶領域に分けて画像データ５４が個別に格納されるように制御してもよい。あるいは、メモリ４４内には、複数の画像を格納するための単一の記憶領域が設けられ、メモリ制御ユニット４２は、その単一の記憶領域に画像データ５４が１ラインずつ交互に格納されるように制御してもよい。

解析ユニット４６は、走査と並行して、または走査完了後にメモリ４４から画像データを読み出し、先に得られたシェーディング補正値を加味し、判定基準記憶部４８に予め記録された判定基準に照らして、検査項目ごとに合否を判断する。検査項目としては例えば、部品の位置ずれ、欠品、ハンダのヌレ、ハンダブリッジの有無、実装部品の間違い、極性の反転、基板表面の汚れやキズの有無などがある。解析ユニット４６はさらに、各検査項目について基板上の位置を特定してもよい。判定基準記憶部４８には予め合否に関する判断基準または基準画像が記録されている。解析ユニット４６は、実際にラインセンサ３４で取得された画像にそれらの基準または画像を適用して合否判定を行う。あるいは、解析ユニット４６は、実際に撮像した画像を処理して作成した検査画像に判定基準を適用して合否判定を行う。

図５は試験ユニット１４の斜視図、図６は試験ユニット１４を撮像ラインの方向１１０（以下、単に撮像ライン方向と呼ぶ）から見た模式図である。図５または図６に示した状態で１ライン分の画像データが取り込まれると、走査ヘッド１６はガイド１８（図４参照）によって駆動方向へ１ライン分送り出される。以降同様の処理を繰り返すことにより、基板１全面にわたる画像データが取得される。

照明ユニット３０は落射照明源１００と側方照明源１０２を有し、これらがハーフミラー１０８を取り囲んでいる。落射照明源１００とハーフミラー１０８にはレンチキュラーシート１０６が間挿され、落射光はレンチキュラーシート１０６、ハーフミラー１０８を通過して基板１の検査面へ入射角がほぼゼロで投じられる。側方照明源１０２の下にはアクリルシート１０４が設けられる。この実施の形態では落射照明源１００に幅をもたせており、基板１が反ったときでも入射角がゼロになるような落射光成分が存在するよう配慮している。

アクリルシート１０４は、側方照明源１０２からの側方光を拡散する。側方照明源１０２は点光源であるＬＥＤの集合体であるため、拡散作用がないと、スポット的な光が画像データへ写り込んで検査精度に悪影響を及ぼす懸念がある。一方、レンチキュラーシート１０６は、撮像ライン方向１１０について落射光を基板１に垂直な成分に絞り込むよう作用する。なお、落射光に関する拡散作用はレンチキュラーシート１０６によって実現される。

図６のごとく、落射照明源１００は中央からふたつのサブ基板１００ａ、１００ｂに分かれ、それぞれ撮像ライン方向１１０にＬＥＤ（発光ダイオード）群をもつ。落射照明源１００は緑色ＬＥＤ群からなる。これらのサブ基板１００ａ、１００ｂは微妙に内側を向け合う形で接続され、それぞれのＬＥＤ群が効率的に検査中のライン１１２へ落射光を投ずる配置とされている。

一方、ふたつの側方照明源１０２は、３列のＬＥＤ群をもつ高側方照明源１０２ａと、１列のＬＥＤ群をもつ低側方照明源１０２ｂとを有し、落射照明源１００同様、ライン１１２へ効率的に側方光を投ずるよう傾斜がつけられている。高側方照明源１０２ａは白色ＬＥＤ群からなり、低側方照明源１０２ｂは青色ＬＥＤ群からなる。高側方照明源１０２ａよりも低側方照明源１０２ｂのほうが、より大きい入射角（入射光線と入射点での法線とがなす角度）で照明光をライン１１２に照射する。ライン１１２からの反射光はハーフミラー１０８で反射し、レンズ３２へ向けられる。これを図５で示せば、落射照明源１００内のある点Ｐからの落射光Ｌ１は基板１上の点Ｑ付近で反射し、反射光Ｌ２がハーフミラー１０８で再度反射し、その反射光Ｌ３がレンズ３２へ入射する。なお、落射照明源１００、高側方照明源１０２ａ、及び低側方照明源１０２ｂは、それぞれ独立に点灯制御可能なよう、図示しない電源が別系統になっている。

また、照明ユニット３０は、基板１に平行な面内で落射照明源１００が撮像ライン方向１１０と任意の交差角度をなすように、図示される標準位置から落射照明源１００を回転または移動させる駆動機構（図示せず）を備えてもよい。同様に、照明ユニット３０は、基板１に平行な面内で側方照明源１０２が撮像ライン方向１１０と任意の交差角度をなすように側方照明源１０２を回転または移動させる駆動機構（図示せず）を備えてもよい。複数の角度で照明して撮像することにより、照明の当たらない死角を減らすことができる。なお、ミラー１０８等の付随する光学系、及びラインセンサ３４等の角度または位置を変更する駆動機構を更に備えてもよく、落射照明源１００または側方照明源１０２の交差角度を標準位置から変更したときは、ミラー１０８等の付随する光学系、及びラインセンサ３４等もこの移動機構により対応する角度または位置に移動させてもよい。

図７は、ラインセンサ３４の構成を示す。ラインセンサ３４は、それぞれがＲＧＢ３色のいずれかに対応した赤色撮像素子列１５０、緑色撮像素子列１５２、青色撮像素子列１５４とからなる。これら素子列は５０００個〜１００００個の撮像素子１６２が配置されて構成される。赤色撮像素子列１５０は、赤色成分を抽出する赤色カラーフィルタ１５６がその入射面に設けられる。同様に、緑色撮像素子列１５２と青色撮像素子列１５４の入射面に、それぞれ緑色成分を抽出する緑色カラーフィルタ１５８と青色成分を抽出する青色カラーフィルタ１６０とが設けられる。赤色撮像素子列１５０および緑色撮像素子列１５２、および、緑色撮像素子列１５２および青色撮像素子列１５４は、それぞれΔＣのピッチを保つ。よって、ラインセンサ３４は、赤成分画像、青成分画像、及び緑成分画像をメインユニット１２に出力する。

これらＲＧＢ３色の画像には、ピッチΔＣに起因してわずかな位置ズレが生じている。この位置ズレを解消するための位置補正をしながら合成することによって、ズレのない検査用画像を生成する。ＲＧＢ３色の画像の位置補正および合成は、ラインセンサ３４からメモリ４４へ取り込む際にメモリ制御ユニットによって実行してもよいし、ＲＧＢ３色の画像を別個にメモリ４４へ取り込んでおき、後に解析ユニット４６によって位置補正および合成を実行してもよい。また、解析ユニット４６は、ＲＧＢ３色の画像のいずれかを検査用画像として選択してもよい。

図８は、本発明の一実施形態に係る解析ユニット４６の構成の一例を示す図である。解析ユニットは、検査部７０及び画像処理部７２を含んで構成される。検査部７０は、判定基準記憶部４８に予め記録された判定基準と検査画像とに基づいて、検査項目ごとに合否を判断する。また、不合格の場合、検査部７０は、検出された異常の位置を検査画像上において特定してもよい。画像処理部７２は、メモリ４４から画像データを読み出して検査画像を生成し、検査画像を検査部７０に与える。画像処理部７２は、画像統合部７４、マッピング処理部７６、代表画素設定部７８、及び輝度演算部８０を含んで構成される。

図９は、以上の構成による外観検査装置１０の検査手順を示すフローチャートである。落射照明の点灯と側方照明の点灯を同期信号に合わせて選択して行い、基板１上を走査ヘッド１６が一回移動する間に落射照明による画像と側方照明による画像の両方の画像を個別かつ一度に形成する。具体的には、緑色ＬＥＤ照明による単色画像、白色ＬＥＤ照明によるカラー画像、及び青色ＬＥＤ照明による単色画像が一度に得られる。なお、外観検査装置１０による画像解像度は十分に高く、画像を数ラインおきに取得しても十分検査目的に耐えるとする。

まず、第１モードである落射照明モードが選択され、走査ヘッド１６がスタート位置へ送られる（Ｓ５０）。落射照明モードの選択に伴い、ヘッド制御ユニット４０によって落射照明源１００が点灯状態、高側方照明源１０２ａ及び低側方照明源１０２ｂが消灯状態におかれる。落射照明のもと、ラインセンサ３４により第１ラインの撮像が実施され（Ｓ５２）、その画像データ５４がメモリ４４へ書き込まれる（Ｓ５４）。

つづいて、ヘッド制御ユニット４０により走査ヘッド１６が駆動方向へ１ライン分送られ（Ｓ５６）、予め入力されていた基板１に関する情報に従い、その位置が走査のエンド位置、すなわち基板１の終了端であるか否かが判定される（Ｓ５８）。エンド位置でなければ（Ｓ５８のＮ）、高側方照明モードへ切り替えが行われる（Ｓ６０）。高側方照明モードの選択に伴い、ヘッド制御ユニット４０によって側方照明源１０２のうち高側方照明源１０２ａが点灯状態、落射照明源１００及び低側方照明源１０２ｂが消灯状態におかれる。高側方照明のもと、ラインセンサ３４による第２ラインの撮像、メモリ４４への画像データ５４の書込、走査ヘッド１６の進行（Ｓ５２、Ｓ５４、Ｓ５６）が行われる。

さらに同様にして、ヘッド制御ユニット４０により走査ヘッド１６が駆動方向へ１ライン分送られ（Ｓ５６）、その位置が走査のエンド位置であるか否かが判定される（Ｓ５８）。エンド位置でなければ（Ｓ５８のＮ）、低側方照明モードへ切り替えが行われる（Ｓ６０）。低側方照明モードの選択に伴い、ヘッド制御ユニット４０によって側方照明源１０２のうち低側方照明源１０２ｂが点灯状態、落射照明源１００及び高側方照明源１０２ａが消灯状態におかれる。低側方照明のもと、ラインセンサ３４による第３ラインの撮像、メモリ４４への画像データ５４の書込、走査ヘッド１６の進行（Ｓ５２、Ｓ５４、Ｓ５６）が行われる。

走査ヘッド１６がエンド位置にくるまでＳ５２からＳ６０の処理は繰り返され、複数の画像が形成される。３Ｎ＋１番目（Ｎ＝０，１，２，・・・）のラインの画像は、落射光によって形成される画像であり、３Ｎ＋２番目（Ｎ＝０，１，２，・・・）のラインの画像は、高側方照明によって形成される画像であり、３Ｎ番目（Ｎ＝１，２，・・・）のラインの画像は、低側方照明によって形成される画像である。このインターリーブ方式によれば、走査ヘッド下に基板１を１度通過させることにより複数画像を取得でき、検査時間の短縮が実現される。

走査ヘッド１６がエンド位置にくれば、処理はＳ５８のＹからＳ６２へ進む。ステップＳ６２では、解析ユニット４６は、撮像した被検査体画像に基づいて、検査に使用する検査画像を作成する。解析ユニット４６は、検査項目ごとに異なる検査画像を作成してもよい。ついで、解析ユニット４６は、作成した検査画像を用いて各検査項目について検査する（Ｓ６４）。検査の合否判定基準その他の情報は判定基準記憶部４８から読み出され、利用される。検査が終わると結果が表示され（Ｓ６６）、一連の処理を終える。合否は表示だけでなくメモリ４４へ記録してもよい。支持台２２のコンベア上を流れてくる後続の基板１に対する検査処理を続ける場合には、その基板１に対してＳ５０からＳ６６の処理を同様に行う。このように、順次流れてくる基板１に対して検査処理を連続的に行うことができる。

図１０は、本発明の一実施形態に係る検査画像作成処理Ｓ６２を示すフローチャートである。検査画像作成処理は上述のように、被検査体を撮像して得た被検査体画像の持つ情報を各画素に多次元的に関連づけ、各画素の性質に応じたクラスタ分布が反映された新たな検査画像を作成する処理である。一実施例においては、検査画像作成処理は、画像処理部７２に含まれる画像統合部７４、代表画素設定部７８、及び輝度演算部８０（図８参照）により実行される。

画像統合部７４は、マッピング空間の次元とする属性を決定する（Ｓ７０）。画像統合部７４は、メモリ４４に記憶されている画像から抽出し得るすべての属性をマッピング空間の次元として選択してもよいし、要求検査項目に必要な属性を次元として選択してもよい。ここでは理解を容易にするために、簡単な一例としてマッピング空間の次元を２次元とする。緑色ＬＥＤの照明光で基板表面に垂直方向から照射して撮像した画像（トップ画像と呼ぶ）の輝度と、青色ＬＥＤの照明光で斜めから照射して撮像した画像（ロー画像と呼ぶ）の輝度との２つの属性をマッピング空間の次元とする。

画像統合部７４は、複数の画像それぞれにおいて対応する画素が有する情報を１つの多次元画素に統合する（Ｓ７２）。画像統合部７４は例えば、トップ画像の各画素にロー画像の各対応画素の輝度値を対応づけて、トップ画像での輝度値及びロー画像での輝度値の２つの成分を有する２次元の一般化画素を生成する。

代表画素設定部７８は、一般化画素に基づいて代表画素を設定する（Ｓ７４）。代表画素設定部７８は、生成された一般化画素から代表画素を選択してもよいし、予め設定または学習されている代表画素をメモリ４４から読み出してもよい。代表画素設定部７８は、マッピング空間内のＯＫ位置（例えば所望の検査項目に合格の画素）及びＮＧ位置（例えば所望の検査項目に不合格の画素）を代表画素とする。なお、「ＯＫ位置」及び「ＮＧ位置」との表現は単に異なる種類の基準位置を区別するために用いている表現にすぎず、ＯＫ位置は合格画素には限られないし、ＮＧ位置は不合格画素には限られない。

輝度演算部８０は、画像統合部７４により生成された一般化画素と代表画素設定部７８により設定されたＯＫ位置及びＮＧ位置とに基づいて各画素の輝度を演算する（Ｓ７６）。輝度演算部８０は、マッピング空間での各画素から最も近いＯＫ位置までの距離（以下、ＯＫ距離という）を求める。輝度演算部８０は、マッピング空間での各画素から最も近いＮＧ位置までの距離（以下、ＮＧ距離という）を求める。輝度演算部８０は、ＯＫ距離とＮＧ距離との和（合計距離という）を各画素について求める。輝度演算部８０は、ＯＫ距離と合計距離との比、及びＮＧ距離と合計距離との比を各画素について求める。

さらに、輝度演算部８０は、ＮＧ位置よりもＯＫ位置に近い画素（すなわちＯＫ距離がＮＧ距離より小さい画素）については、作成する検査画像での最大輝度と最小輝度との輝度差にＯＫ距離と合計距離との比を掛けた値を最大輝度から引いて得られる値を輝度として与える。一方、輝度演算部８０は、ＯＫ位置よりもＮＧ位置に近い画素（すなわちＯＫ距離がＮＧ距離より大きい画素）については、作成する検査画像での最大輝度と最小輝度との輝度差にＮＧ距離と合計距離との比を掛けた値を最小輝度に加えて得られる値を輝度として与える。例えば最大輝度は２５５、最小輝度は０に設定される。このようにすればＯＫ位置に近い画素ほど大きな輝度が与えられ、ＮＧ画素に近い画素ほど小さな輝度が与えられる。また、距離の比に応じて輝度を与えることにより、ＯＫ位置とＮＧ位置とが近接している場合であっても画素間の輝度差を大きくすることができる。ＯＫ位置及びＮＧ位置の両方から等距離である画素に関して、ＯＫ位置及びＮＧ位置から近くても遠くても同じ輝度を与えることができる。

輝度演算部８０は、このようにして演算された各画素の輝度値から検査画像を作成し（Ｓ７８）、例えば検査部７０に与える。輝度演算部８０は、検査画像をメモリ４４に書き出してもよいし、検査装置の表示部（図示せず）に表示してもよい。

一変形例として、輝度演算部８０は、各画素から最も近いＯＫ位置またはＮＧ位置までの距離を求める代わりに、検査対象基板の設計情報に基づいて各画素の性質に最も近いＯＫ位置またはＮＧ位置までの距離を求めてもよい。検査対象基板の設計情報は例えばメモリ４４に予め記憶されている。輝度演算部８０は例えば、各画素に最も近い色を有するＯＫ位置またはＮＧ位置までの距離を求める。輝度演算部８０は、各ＯＫ位置が有する各色成分の輝度を設計情報から読み出して、距離を演算しようとしている画素の各色成分の輝度との偏差が最も小さいＯＫ位置を選択する。輝度演算部８０は、この偏差が最小のＯＫ位置を用いて上述の実施例と同様にして各画素の輝度を求めてもよい。

図１１及び図１２はそれぞれ、検査対象基板の同一領域のトップ画像及びロー画像の一例を示す図である。図１１及び図１２において矢印が指しているのは、基板表面に平行なハンダ面領域である。トップ画像は落射照明光で撮像されているのでハンダ面領域が明るいが、ロー画像は側方照明光で撮像されているのでハンダ面領域からの反射光が撮像装置に入射せず暗く見える。また、図１１及び図１２の中央部には基板上に印刷された文字が観察される。文字表面で照明光が拡散されるため、ロー画像のほうが文字は明るく見える。

ハンダ面領域及び文字領域の画素のマッピングの例を図１３に示す。この例ではマッピング空間の次元は２次元であるので、マッピング空間を平面で表すことができる。図１３では横軸がトップ画像での輝度を示し、縦軸がロー画像での輝度を示す。上述のように、基板表面に平行なハンダ面領域の画素はトップ画像では明るくロー画像では暗い。文字領域の画素はトップ画像では暗くロー画像では明るい。よって、ハンダ面領域の画素群と文字領域の画素群とはマッピング空間で離れた位置をとる。マッピング空間内の適当な直線（例えば縦軸または横軸）に各画素を投影し、その直線上での各画素の位置によって輝度を割り当てることにより、ハンダ面領域の画素群と文字領域の画素群との間に大きな輝度差をつけることができる。したがって、ハンダ面と文字とを明りょうに識別できる検査画像を得ることができる。

トップ画像及びロー画像を単に取得した段階においては、２つの画像におけるハンダ面及び文字の輝度の違いについての知識をもとに２つの画像を対比しなければ、ハンダ面と文字とを識別することができない。これは簡単な例であるが、実際の検査においては更なる知識や経験を前提とした複雑なチューニング作業が必要とされるのが実情である。ところが本実施形態によれば、作成された検査画像からハンダ面と文字とを容易に識別することが可能であり、同様にして多様な種類の画素を識別可能な検査画像を作成することもできる。

本発明の一実施形態によれば、１画素に多数の情報を関連づけて各画素が多次元空間にマッピングされ、例えばＯＫ位置またはＮＧ位置との近さでクラスタリングがなされる。多数の個別画像から良好な検査精度を得るための高度な属人的チューニングを作業者に求める必要性が小さくなる。多数の画素情報が統一的かつ効率的に処理され、精度よい検査に寄与する新たな検査画像を簡単に作成することができる。

１ 基板、 １０ 外観検査装置、 １６ 走査ヘッド、 ３０ 照明ユニット、 ３４ ラインセンサ、 ４０ ヘッド制御ユニット、 ４２ メモリ制御ユニット、 ４４ メモリ、 ４６ 解析ユニット、 ４８ 判定基準記憶部、 ７０ 検査部、 ７２ 画像処理部。

Claims (12)

1. 被検査体を撮像する撮像部と、
   被検査体画像の各画素に複数の属性を対応づけて一般化画素を生成する画像統合部と、
   一般化画素に基づいて代表画素を設定する代表画素設定部と、
   前記複数の属性を次元とする空間における一般化画素と代表画素との距離に応じて決定された輝度を有する画素からなる新たな検査画像を作成する輝度演算部と、を備えることを特徴とする検査装置。
2. 前記代表画素設定部は、少なくとも第１代表画素及び第２代表画素を設定し、
   前記輝度演算部は、第１代表画素の輝度を最大値にかつ第２代表画素の輝度を最小値に設定し、一般化画素が第１代表画素に近いほど該最大値に近い輝度を与え、一般化画素が第２代表画素に近いほど該最小値に近い輝度を与えることを特徴とする請求項１に記載の検査装置。
3. 前記輝度演算部は、一般化画素と第１代表画素との距離と、当該一般化画素と第２代表画素との距離との比に応じて輝度を決定することを特徴とする請求項２に記載の検査装置。
4. 前記代表画素設定部は、複数の代表画素を設定し、
   前記輝度演算部は、一般化画素と最も近接する代表画素との距離に応じて輝度を決定することを特徴とする請求項１に記載の検査装置。
5. 前記代表画素設定部は、少なくとも第１代表画素及び第２代表画素を設定し、第１代表画素及び第２代表画素の少なくとも一方については共通の特性を有する代表画素を複数設定し、
   前記輝度演算部は、第１代表画素の輝度を最大値にかつ第２代表画素の輝度を最小値に設定し、一般化画素と当該一般化画素に最も近接する第１代表画素及び第２代表画素それぞれとの距離に基づいて当該一般化画素の輝度を決定することを特徴とする請求項１に記載の検査装置。
6. 前記代表画素設定部は、複数の代表画素を設定し、
   前記輝度演算部は、被検査体の設計情報に基づいて選択された代表画素との距離に応じて輝度を決定することを特徴とする請求項１に記載の検査装置。
7. 前記撮像部は、第１照明条件で被検査体を撮像して第１画像を取得し、第１照明条件とは異なる第２照明条件で被検査体を撮像して第２画像を取得し、
   前記画像統合部は、第１画像の各画素に第２画像の対応画素の画素値を対応づけて一般化画素を生成することを特徴とする請求項１から６のいずれかに記載の検査装置。
8. 前記画像統合部は、被検査体画像の画素の画素値と当該画素の周囲の画素の画素値とに基づいて演算される画素間情報を当該画素に対応づけることを特徴とする請求項１から７のいずれかに記載の検査装置。
9. 前記代表画素設定部は、指定範囲から複数の代表画素候補を選択し、該複数の代表画素候補に基づいて代表画素を生成することを特徴とする請求項１から８のいずれかに記載の検査装置。
10. 被検査体を撮像し、
    被検査体画像の各画素に複数の属性を対応づけて一般化画素を生成し、
    一般化画素に基づいて代表画素を設定し、
    前記複数の属性を次元とする空間における一般化画素と代表画素との距離に応じて決定された輝度を有する画素からなる新たな検査画像を作成することを含むことを特徴とする被検査体画像の処理方法。
11. 被検査体画像の画素に与えられている複数の属性を次元とする空間に各画素をマッピングする第１マッピング処理部と、
    検査に合格であることが保証されている合格画素と、該検査に不合格であることが保証されている不合格画素とを設定する代表画素設定部と、
    前記空間において合格画素と不合格画素とを結ぶ直線に各画素を投影する第２マッピング処理部と、を備えることを特徴とする検査装置。
12. 被検査体画像の各画素に与えられている複数の属性を次元とする高次元空間に各画素をマッピングする第１マッピング処理部と、
    検査に合格であることが保証されている合格画素と、該検査に不合格であることが保証されている不合格画素とを設定する代表画素設定部と、
    合格画素を含む第１画素群と不合格画素を含む第２画素群との前記高次元空間における偏在状態が反映されるように前記高次元空間から低次元空間に各画素を投影する第２マッピング処理部と、を備えることを特徴とする検査装置。