JP2001153626A - 電子部品の搭載状態検査装置および搭載状態検査方法 - Google Patents

Abstract

(57)【要約】 【課題】 検査の処理効率に優れ検査精度を向上させる
とともに操作性に優れた電子部品の搭載状態検査装置お
よび搭載状態検査方法を提供すること。 【解決手段】 基板２に搭載された電子部品３の搭載状
態を検査する電子部品の搭載状態検査方法において、取
り込み画像から３次元のＲＧＢ画像データを取得し、こ
のＲＧＢ画像データを、Ｈ（色相）、Ｓ（彩度）、Ｉ
（明度）の３要素のそれぞれの要素を１つの独立の次元
とする３次元のＨＳＩ画像データにカラーモデル変換す
る。変換されたＨ，Ｉ，Ｓのそれぞれの画像データを色
抽出フィルタによりデータ変換した画像を合成処理して
得られた色抽出画像（モノクロ画像）４２に基づき搭載
状態検査を行う。これにより、検査対象領域を周囲から
精度よく分離して検査精度を向上させ、検査の処理効率
および操作性を向上させることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、基板に搭載された
電子部品の搭載状態を検査する電子部品の搭載状態検査
装置に関するものである。

【０００２】

【従来の技術】電子部品実装工程においては、実装基板
を対象として外観検査が行われる。この外観検査では、
基板に搭載された状態の電子部品の搭載状態、すなわち
電子部品の有無や搭載位置・極性などの項目が検査され
る。また電子部品が半田付けされた後には、半田の有無
や半田形状などをチェックする半田付け検査が行われ
る。この外観検査においては、電子部品が搭載された状
態の基板をカメラで撮像して得られた画像データを画像
処理することにより行われる。

【０００３】従来より、この画像処理において単色照明
下で撮像して得られたモノクロ画像データを用いる方法
や、カラーカメラで得られたカラー画像を用いる方法が
用いられていた。モノクロ画像を用いる場合には、主に
検出対象部位と周囲との明度の相違を検出することによ
り、検出対象部位の位置や形状を特定していた。また、
カラー画像を用いる場合には、検出対象部位の画像と周
囲の画像におけるＲＧＢ次元での画像情報の相違を検出
していた。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来の方法には、以下に述べるような問題点があった。す
なわち、モノクロ画像を用いる場合には、検出対象と周
囲との間に明度差が明瞭に存在しない場合、たとえば基
板電子部品とも樹脂材質であり基板を撮像して得られた
画像と電子部品の画像との間に明度差が小さい場合に
は、精度のよい検査を行うことが困難であった。

【０００５】また、カラー画像を用いる場合には、ＲＧ
Ｂ次元での画像情報のみでは検出対象を周囲から精度よ
く分離することが困難で、多くの場合分離用の専用フィ
ルタを検出対象に応じて設定する必要があり、外観検査
の画像処理に長時間を要して検査の処理効率が低下する
とともに、フィルタ設定に手間と時間を要し検査装置と
しての操作性が悪いという問題点があった。

【０００６】そこで本発明は、検査の処理効率に優れ検
査精度を向上させるとともに操作性に優れた電子部品の
搭載状態検査装置および搭載状態検査方法を提供するこ
とを目的とする。

【０００７】

【課題を解決するための手段】請求項１記載の電子部品
の搭載状態検査装置は、基板に搭載された電子部品の搭
載状態を検査する電子部品の搭載状態の検査装置であっ
て、基板を撮像することによりＲ（赤）、Ｇ（緑）、Ｂ
（青）の３要素のそれぞれの要素を１つの独立の次元と
する３次元のＲＧＢ画像データを取得するカメラと、前
記３次元のＲＧＢ画像データを、Ｈ（色相）、Ｓ（彩
度）、Ｉ（明度）の３要素のそれぞれの要素を１つの独
立の次元とする３次元のＨＳＩ画像データに変換するカ
ラーモデル変換部と、前記ＨＳＩ画像データに基づいて
電子部品の搭載状態を検査する部品搭載状態検査手段と
を備えた。

【０００８】請求項２記載の電子部品の搭載状態検査装
置は、請求項１記載の電子部品の搭載状態検査装置であ
って、前記部品搭載状態検査手段は、前記ＨＳＩ画像デ
ータから所望の色を抽出した色抽出画像を入手する色抽
出部と、この色抽出画像に基づいて電子部品の搭載状態
を検査する部品搭載状態検査部とを備えた。

【０００９】請求項３記載の電子部品の搭載状態検査装
置は、請求項２記載の電子部品の搭載状態検査装置であ
って、前記色抽出部は、電子部品の色を抽出する色抽出
フィルタを備えている。

【００１０】請求項４記載の電子部品の搭載状態検査装
置は、請求項３記載の電子部品の搭載状態検査装置であ
って、前記色抽出部は、Ｈ（色彩）、Ｓ（彩度）、Ｉ
（明度）別に色抽出フィルタを備えた。

【００１１】請求項５記載の電子部品の搭載状態検査装
置は、請求項３記載の電子部品の搭載状態検査装置であ
って、前記色抽出フィルタは、カラーモデル変換された
画像データを多値化データ形式で入力し、出力を２値以
上の多値化データで出力する。

【００１２】請求項６記載の電子部品の搭載状態検査装
置は、請求項５記載の電子部品の搭載状態検査装置であ
って、前記色抽出フィルタは、ファジー領域を備えてい
る。

【００１３】請求項７記載の電子部品の搭載状態検査装
置は、請求項４記載の電子部品の搭載状態検査装置であ
って、前記色抽出部は、Ｈ，Ｓ，Ｉのそれぞれの色抽出
フィルタからの出力を合成して１つのモノクロ画像を得
る。

【００１４】請求項８記載の電子部品の搭載状態検査方
法は、基板に搭載された電子部品の搭載状態を検査する
電子部品の搭載状態検査方法であって、基板を撮像する
ことによりＲ（赤）、Ｇ（緑）、Ｂ（青）の３要素のそ
れぞれの要素を１つの独立の次元とする３次元のＲＧＢ
画像データを取得する工程と、前記３次元のＲＧＢ画像
データを、Ｈ（色相）、Ｓ（彩度）、Ｉ（明度）の３要
素のそれぞれの要素を１つの独立の次元とする３次元の
ＨＳＩ画像データにカラーモデル変換する工程と、この
ＨＳＩ画像データに基づいて電子部品の搭載状態を検査
する工程とを含む。

【００１５】請求項９記載の電子部品の搭載状態検査方
法は、請求項８記載の電子部品の搭載状態検査方法であ
って、前記搭載状態を検査する工程において、前記ＨＳ
Ｉ画像データから所望の色を抽出した色抽出画像を入手
し、この色抽出画像に基づいて電子部品の搭載状態を検
査する。

【００１６】請求項１０記載の電子部品の搭載状態検査
方法は、請求項９記載の電子部品の搭載状態検査方法で
あって、前記色抽出画像の入手に、電子部品の色を抽出
する色抽出フィルタを用いる。

【００１７】請求項１１記載の電子部品の搭載状態検査
方法は、請求項１０記載の電子部品の搭載状態検査方法
であって、前記色抽出画像の入手に、Ｈ（色彩）、Ｓ
（彩度）、Ｉ（明度）別に色抽出フィルタを用いる。

【００１８】請求項１２記載の電子部品の搭載状態検査
方法は、請求項１０記載の電子部品の搭載状態検査方法
であって、前記色抽出フィルタは、カラーモデル変換さ
れた画像データを多値化データ形式で入力し、出力を２
値以上の多値化データで出力する。

【００１９】請求項１３記載の電子部品の搭載状態検査
方法は、請求項１２記載の電子部品の搭載状態検査方法
であって、前記色抽出フィルタは、ファジー領域を備え
ている。

【００２０】請求項１４記載の電子部品の搭載状態検査
方法は、請求項１１記載の電子部品の搭載状態検査方法
であって、前記色抽出画像は、Ｈ，Ｓ，Ｉのそれぞれの
色抽出フィルタからの出力を合成して１つのモノクロ画
像を得る。

【００２１】本発明によれば、基板を撮像することによ
り得られたＲ（赤）、Ｇ（緑）、Ｂ（青）の３要素のそ
れぞれの要素を１つの独立の次元とする３次元のＲＧＢ
画像データを、Ｈ（色相）、Ｓ（彩度）、Ｉ（明度）の
３要素のそれぞれの要素を１つの独立の次元とする３次
元のＨＳＩ画像データにカラーモデル変換し、このＨＳ
Ｉ画像データに基づいて電子部品搭載状態を検査するこ
とにより、検査対象領域を周囲から精度よく分離して検
査精度を向上させると共に、従来必要とされた煩雑な専
用フィルタ設定の手間を省き、検査の処理効率および操
作性を向上させることができる。

【００２２】

【発明の実施の形態】次に本発明の実施の形態を図面を
参照して説明する。図１は本発明の一実施の形態の電子
部品の搭載状態検査装置の構成を示すブロック図、図２
は同電子部品の搭載状態検査装置の処理機能を示す機能
ブロック図、図３は同電子部品の搭載状態検査装置の部
品ライブラリの構成図、図４は同電子部品の搭載状態検
査装置の色抽出処理の説明図、図５は同電子部品の搭載
状態検査装置の色抽出フィルタの説明図、図６は同電子
部品の実装状態検査処理のフロー図、図７は同電子部品
の搭載状態検査処理のフロー図、図８は同電子部品の半
田付状態検査処理のフロー図、図９は同ＸＹテーブル位
置決め処理のフロー図、図１０、図１１、図１２、図１
３は同電子部品の搭載状態検査装置の色抽出フィルタ設
定の表示画面を示す図、図１４は同電子部品実装基板を
示す説明図である。

【００２３】まず図１を参照して電子部品の搭載状態検
査装置の構成について説明する。図１において、ＸＹテ
ーブル１上には基板２が保持されており、基板２には複
数の種類の異なる電子部品３が実装されている。基板２
の上方には、照明部４とカメラ５より成る撮像部が配設
されている。照明部４は白色光を発光するリング状の発
光体４ａと略半球面状の反射体４ｂを備えており、発光
体４ａから反射体４ｂの内面に向けて照射された白色光
は、球面状の反射面によって拡散反射され、下方の基板
２を照明する。

【００２４】照明部４の上方にはカメラ５が下向きに配
置されており、カメラ５は反射体４ｂの上部に設けられ
た開口を介して、白色の拡散反射光で照明された状態の
基板２を撮像する。このときＸＹテーブル１を駆動する
ことにより基板２は水平移動し、基板２上に実装された
任意の電子部品３をカメラ５の直下に位置させて撮像す
ることができる。

【００２５】カメラ５はカメラ制御ユニット６に接続さ
れている。カメラ制御ユニット６は撮像タイミングなど
のカメラ５の撮像動作を制御するとともに、撮像データ
からＲ（赤）、Ｇ（緑）、Ｂ（青）の三原色を抽出し、
各要素ごとの画像データとして出力する。Ｒ，Ｇ，Ｂの
三要素の画像データはカラーモデル変換部７に送られ
る。

【００２６】カラーモデル変換部７は前記Ｒ，Ｇ，Ｂの
三要素のそれぞれの要素を１つの独立の次元とする３次
元のＲＧＢ画像データを、Ｈ（色相）、Ｓ（彩度）、Ｉ
（明度）のそれぞれの要素を１つの独立の次元とする３
次元のＨＳＩ画像データに変換する。このＨＳＩ画像デ
ータは、画像記憶部８に備えられたフレームメモリに記
憶される。また、画像記憶部８はＨＳＩ画像データに変
換される前のＲＧＢ画像データをも併せて記憶する。

【００２７】演算部９はＣＰＵでありプログラム記憶部
１１に記憶された各種のプログラムに従って演算や処理
を行う。ＲＡＭ１０は演算部９が演算を行う際の作業領
域となるメモリである。プログラム記憶部１１は、色抽
出フィルタティーチングプログラムや、部品搭載状態検
査プログラム、半田付状態検査プログラム、色抽出処理
プログラム、全体制御プログラムなどの各種の処理・演
算のプログラムを記憶する。

【００２８】データ記憶部１２は、検査シーケンスのデ
ータ、検査対象の電子部品についての各種のデータより
構成される部品ライブラリ、および検査結果を記録する
データなど各種のデータを記憶する。操作・入力部１３
はキーボード、マウス、タッチパネルなどであり、操作
コマンドや各種のデータ入力を行う。色抽出フィルタ一
時記憶部１４は、ＨＳＩ画像データから所望の色を抽出
する色抽出処理に使用される色抽出フィルタを一時的に
記憶する。

【００２９】照明制御部１５は照明部４の点灯の制御
や、照度などの照明条件の制御を行う。機構制御部１６
は、基板２を保持・位置決めするＸＹテーブル１の動作
を制御する。表示部１７はモニタであり、操作・入力時
の案内画面を表示するほか、カメラ５によって撮像さ
れ、カラーモデル変換された画像を表示する。

【００３０】次に図２を参照して電子部品の搭載状態検
査装置の処理機能について説明する。図２において、１
２は図１に示すデータ記憶部１２に記憶されるデータ内
容を、８は図１に示す画像記憶部８に記憶される画像デ
ータの内容を示すものである。また、表示処理部２０、
入力処理部２１、色抽出フィルタティーチング部２２、
全体制御部２６は、図１に示す演算部９によって行われ
る処理の内容を示している。

【００３１】カメラ５によって撮像されカメラ制御ユニ
ット６によって出力された撮像対象の基板２のＲＧＢ画
像データは、画像記憶部８の第１の画像記憶部８ａに格
納される。このＲＧＢ画像データは、半田付け状態検査
部２３に送られ、このＲＧＢ画像データに基づいて半田
付状態が検査される。ここでは、接合部の半田形状や大
きさが検査され、検査結果は全体制御部２６を介してデ
ータ記憶部１２の検査結果記憶部１２ｃ格納される。

【００３２】カラーモデル変換部７によってＲＧＢ画像
データから変換されたＨＳＩ画像データは、画像記憶部
８の第２の画像記憶部８ｂに格納される。そしてこのＨ
ＳＩ画像データは色抽出部２５に送られる。色抽出部２
５ではＨＳＩ画像データを用いて撮像視野内の所定部位
の色を抽出する処理、すなわち当該部位の本来の色を他
の特定の色に置き換えた画像（色抽出画像）を合成する
処理が行われる。この色抽出処理により得られた色抽出
画像は、第３の画像記憶部８ｃに格納される。

【００３３】この色抽出画像は部品搭載状態検査部２４
に送られ、ここで所定部位に所定の電子部品が正しい位
置に正常な状態で搭載されているか否かについての検査
が行われる。すなわち、この電子部品の搭載状態検査装
置は部品搭載状態検査手段を備えており、この搭載状態
検査装置は、ＨＳＩ画像データから所望の色を抽出した
色抽出画像を入手する色抽出部２５と、この色抽出画像
に基づいて電子部品の搭載状態を検査する部品搭載状態
検査部２４とを備えたものとなっている。

【００３４】検査結果は全体制御部２６を介してデータ
記憶部１２の検査結果記憶部１２ｃに格納される。表示
処理部２０は、画像記憶部８およびデータ記憶部１２か
らデータを読み出し、表示部１７に表示させる処理を行
う。入力処理部２１は、操作・入力部１３からの入力を
処理し、制御部２６やデータ記憶部１２へ入力する処理
を行う。

【００３５】次にデータ記憶部１２に記憶されるデータ
内容について説明する。検査データ記憶部１２ａは、搭
載状態検査装置の検査処理における動作順序を示す検査
シーケンスデータを記憶する。この検査シーケンスデー
タの中には、検査の対象となる電子部品を特定するため
の部品識別情報、色コード、検査項目に関する情報が含
まれている。ライブラリ記憶部１２ｂは部品ライブラ
リ、すなわち検査対象の電子部品について設定されてい
る各種のデータを記憶する。ここで図３を参照して部品
ライブラリについて説明する。

【００３６】図３において、電子部品識別情報３０は検
査対象となる電子部品の部品名や型式など、電子部品を
識別し特定するための情報である。この電子部品識別情
報は、電子部品を基板に自動搭載するチップマウンタ等
で用いられる情報をそのまま流用する場合が一般的であ
る。一般に電子部品の特定はこの電子部品識別情報３０
のみで可能であるが、電子部品の種類によっては型式・
機能上は全く同一部品であって、外観の色のみが異なっ
ている場合がある。

【００３７】本来、チップマウンタや明暗画像で電子部
品の搭載状態を判定する検査装置においては、このよう
な色の違いを区別する必要がなかったが、カラー画像を
用いる検査装置では、このような色の違いにも対応する
必要がある。そのため、部品ライブラリを構成する情報
に色コードを設定し、この色コードによって同一の電子
部品識別情報によって表現される異なる色の電子部品を
識別できるようになっている。

【００３８】図３に示すように、同一の電子部品識別情
報３０に対応して複数の色コード１、色コード２・・・
が設定されている。そしてそれぞれの色コードについて
各検査項目（例えば、電子部品の有無検査、搭載位置に
おける方向を示す極性検査など）ごとにライブラリデー
タ、すなわちウィンドウデータ３１ａ，３１ｂ，３１
ｃ、検査パラメータ３２ａ，３２ｂ，３２ｃ、ＬＵＴ３
３ａ，３３ｂ，３３ｃが設定されている。（以下の記述
においては、特に区別の必要がない場合にはａ，ｂ，ｃ
の添字を省略し、単にウインドウデータ３１、検査パラ
メータ３２、ＬＵＴ３３と記載する。） ウィンドウデータ３１は、カメラ５によって撮像された
視野内において、当該検査項目に必要な領域のみを取り
出すために設定されるウィンドウの位置を特定するデー
タである。検査パラメータ３２は、このウィンドウ内の
画像データに基づいて演算により得られる検査のための
諸量（例えば寸法、位置、面積など）の合否判定に用い
られるしきい値データである。

【００３９】またＬＵＴ（ルックアップテーブル）３３
は、ＨＳＩ画像データから色抽出画像を入手する処理を
行う際に用いられる色抽出フィルタを数値データとして
表した変換テーブルについてのデータである。このＬＵ
Ｔ３３を適切に設定することにより、所望の色の領域を
強調した色抽出画像を得ることが可能となる。

【００４０】これらのライブラリデータは、検査処理実
行時に検査シーケンス内の部品識別情報や検査項目等の
情報に基づいて全体制御部２６によって読み出され、半
田付け状態検査部２３、部品搭載状態検査部２４、色抽
出部２５に送られる。全体制御部２６は、検査対象の電
子部品識別情報３０に基づいて、色抽出フィルタに関す
るデータをライブラリ記憶部１２ｂに記憶されたライブ
ラリから読みとって色抽出部２５で使用する色抽出フィ
ルタの設定を行う色抽出フィルタ設定手段となってい
る。

【００４１】次に図４を参照して、色抽出画像を得るた
めに行われる処理について説明する。ここでは、基板２
に実装された電子部品（方形のコンデンサ部品）の搭載
状態、すなわち電子部品の有無や搭載状態での姿勢を検
査することを目的として、電子部品３の上面部分を色抽
出の対象領域として設定し、この領域を他の領域から明
瞭に分離できるような変換形態でモノクロ画像に変換す
る例を示す。このような処理を行うことにより、ＲＧＢ
画像上では分離が困難な場合にあっても、対象領域を周
囲から明瞭に分離して取り出し、形状認識や寸法などの
諸量算出を容易に行うことができる。

【００４２】図４に示すように、カメラ５によって取り
込まれた電子部品３を含む基板２の画像は、ＲＧＢ画像
データからＨＳＩ画像データにカラーモデル変換され
る。ここでは、画像を構成する各画素毎にＲＧＢ次元で
表された色のデータをＨＳＩ次元でのデータに変換する
処理が行われ、カラーモデル変換後のデータからはＨ，
Ｓ，Ｉの各種類毎にデータが分離されて出力される。

【００４３】これにより、第２の画像記憶部８ｂには、
各画素毎にＨ，Ｓ，Ｉのそれぞれのデータを対応させた
画像、すなわちＨ（色相）のみで表された色変換画像４
０ａ、Ｓ（彩度）のみで表された色変換画像４０ｂおよ
びＩ（明度）のみで表された色変換画像４０ｃが格納さ
れる。そしてこれらの画像データに対して、色抽出フィ
ルタ（Ｈフィルタ４１ａ、Ｓフィルタ４１ｂ、Ｉフィル
タ４１ｃ）４１を用いたデータ変換が行われる。すなわ
ち色抽出画像を得るための色抽出部２５は、電子部品の
色を抽出する色抽出フィルタ４１を備えている。

【００４４】この色抽出フィルタ４１を用いたデータ変
換は、各画素毎に求められたＨ，Ｓ，Ｉの数値データ
（多値化データ）を所定の変換法則に従って新たな数値
データに置き換えることによって行われる。ここで用い
られる色抽出フィルタ４１は、この変換法則を定めるも
のである。そしてこの変換法則は、ＬＵＴの形で検査対
象の各領域毎に設定される。

【００４５】このＬＵＴの設定に際しては、当該領域を
実際に撮像して画像データを入手し、画像データ上で当
該領域の材質・表面性状の特性を表す属性データ（ここ
では、Ｈ，Ｓ，Ｉの３種類の数値データ）を定量化する
と共に、後述するように、Ｈ，Ｓ，Ｉの数値データの当
該領域内での実際の分布状態を求め、これらの分布に基
づいて適切な変換法則をＬＵＴの形式で数値データとし
て設定する処理が行われる。

【００４６】すなわち、色抽出フィルタティーチング部
２２は画像記憶部８の画像データに基づいて色抽出フィ
ルタ４１を設定しＬＵＴ３３としてライブラリ記憶部１
２ｂに格納する。この色抽出フィルタティーチング処理
は、操作・入力部１３から入力処理部２１を介して行わ
れるティーチング操作入力に従って、表示部１７に表示
されるティーチング画面上で行われる。

【００４７】ここで図５を参照して色抽出フィルタ４１
の具体例について説明する。図５に示すグラフはＨフィ
ルタ４１ａの特性線を示すものであり、Ｈ，Ｓについて
も同様にＳフィルタ４１ｂ、Ｉフィルタ４１ｃが設定さ
れる。図５に示すグラフは、色相を示す属性値の入力値
Ｈと出力値Ｈ’の対応関係を示すものであり、横軸上の
各数値Ｈ（入力値）は、このグラフを介して縦軸上の各
数値Ｈ’（出力値）に対応している。

【００４８】すなわち図５（ａ）に示すように、Ｈフィ
ルタ４１ａを示す特性線は台形状（またはステップ状）
の形状で表され、横軸上のＨの数値がＨ１以下、またＨ
４以上であれば対応するＨ’の数値は０（ゼロ）とな
る。そして、Ｈの数値がＨ２以上Ｈ３以下であれば、対
応するＨ’の数値は最大値Ｈｍａｘとなる。

【００４９】なお、Ｈ１とＨ２の間の範囲［１］および
Ｈ３とＨ４の間の範囲［２］にはファジー領域が設定さ
れており、図５（ｂ）に示すようにこれらの範囲
［１］、［２］の数値Ｈは、この特性線によって縦軸上
の対応する数値Ｈ’に変換される。すなわち、色抽出フ
ィルタは、カラーモデル変換された画像データ（数値デ
ータＨ）を０（ゼロ）からＨｍａｘまでの間で変化する
多値化データ形式で入力し、出力を２値以上の多値化デ
ータ（同じく０（ゼロ）からＨｍａｘまでの間で変化す
る数値データＨ’）で出力する。

【００５０】ここで、出力に２値化データを含ませてい
るのは、色抽出フィルタの特性線の形状として台形状の
特性線の代わりにステップ状の特性線を設定する場合が
あるからである。この場合には前述のファジー領域は存
在せず、従って出力値は２値化データ（０（ゼロ）もし
くはＨｍａｘのいずれか）となる。この場合には、この
出力データによって得られる画像は２値画像となる。

【００５１】そしてこのように色抽出フィルタを用いて
変換された３種類の色変換画像を合成処理することによ
り、色抽出画像４２（図４参照）が求められる。この合
成処理では、目的とする色抽出画像に求められる特性に
よって各種の合成処理方法が用いられる。この色抽出画
像を構成する各画素には異なる３種類の数値データ
（Ｈ，Ｓ，Ｉ）が対応していることから、この３種類の
数値データに基づく判定条件の組み合わせを変えること
により、合成処理後に出力される色抽出画像は変化す
る。従って、前記判定条件の組み合わせを適切に設定す
ることにより、色抽出画像を所望の特性、すなわち特定
領域を他の領域から明瞭に分離できるような特性を備え
たものとすることができる。

【００５２】１例として、図４に示すような、検出対象
の電子部品３の部分は白色部４２ｂに、その他の部分は
黒色から灰色の範囲で色が変化する非白色部４２ａに変
換された色抽出画像（モノクロ画像）４２を得る場合に
ついて説明する。このような場合には、前述の色抽出フ
ィルタによって変換された後のＨ，Ｓ，Ｉそれぞれの数
値が全て所定条件を満たす画素についてのみ、白色部と
して抽出するような判定条件の組み合わせを設定すれば
よい。

【００５３】すなわち、ある画素のＨ，Ｓ，Ｉのいずれ
か１つの数値が色抽出範囲として設定されるしきい値な
どの所定判定条件から外れている場合には、この画素は
色抽出対象から外される。従って、微妙な属性の相違を
鋭敏に識別できることを示しており、ＲＧＢ画像データ
上では領域の分離が困難な場合においても、精度の高い
分離を行うことができる。

【００５４】この電子部品の搭載状態検査装置は上記の
ように構成されており、次に図６を参照して本搭載状態
検査装置によって行われる部品実装状態検査について説
明する。まず、データ記憶部１２の検査データ記憶部１
２ａから検査シーケンスデータを読み取る（ＳＴ１）。
次に読み取った検査シーケンスデータの内容に応じて処
理内容の選択を行う（ＳＴ２）。ここで終了が選択され
たならばそのまま処理を終了し、いずれかの処理の実行
が選択された場合には、ＸＹテーブル位置決め処理（Ｓ
Ｔ３）、照明制御処理（ＳＴ４）、画像取り込み処理
（ＳＴ５）、部品搭載状態検査処理（ＳＴ６）、半田付
状態検査処理（ＳＴ７）の各処理が実行され、その後再
び（ＳＴ１）に戻る。

【００５５】次に各図を参照して上記の各処理について
説明する。はじめにＸＹテーブル位置決め処理について
図９を参照して説明する。まずデータ記憶部１２に記憶
された視野割付情報に基づいてＸＹテーブル１の位置決
め座標を求める（ＳＴ１１）。次いでこの位置決めを目
標としてＸＹテーブル１を移動させる（ＳＴ１２）。こ
れにより、図１４に示すように、基板２上に設定された
視野２ａ，２ｂ，２ｃ・・・が順次カメラ５による撮像
位置に移動する。これらの各視野には、検査のための画
像情報の取り込みが行われる領域Ｗが設定されており、
これらの領域はウインドウデータ３１によって示され
る。

【００５６】照明制御処理（ＳＴ４）では、撮像対象に
応じて使用する照明の選択が行われ、撮像対象に応じた
適正な照度設定や、点灯・消灯のタイミングの制御が行
われる。画像取り込み処理（ＳＴ５）においては、画像
記憶部８のフレームメモリでの記憶領域の設定や、カメ
ラ５による撮像タイミングの制御が行われ、これによ
り、基板２上に設定された各視野の撮像が順次行われ
る。

【００５７】次に図７を参照して部品搭載状態検査処理
について説明する。まずライブラリ記憶部１２ｂより、
検査に必要なウィンドウデータ３１、検査パラメータ３
２および色抽出フィルタ（ＬＵＴ３３）のデータを読み
取る（ＳＴ２１）。すなわち、撮像視野内における検査
対象の所定領域を指定するデータ、検査項目に対応する
しきい値データおよびカラーモデル変換された画像デー
タを当該領域に応じた変換法則によって変換するための
ＬＵＴ３３のデータが読みとられる。

【００５８】読みとられた色抽出フィルタのデータ（Ｌ
ＵＴ３３）は、色抽出フィルタ一時記憶部１４に記憶さ
れ、これにより使用する色抽出フィルタが設定される
（ＳＴ２２）。

【００５９】この後、色抽出処理が行われ（ＳＴ２
３）、Ｈ，Ｓ，Ｉのそれぞれの画像を合成することによ
り、色抽出画像が得られる。この色抽出処理は色抽出フ
ィルタ一時記憶部１４に記憶された色抽出フィルタのデ
ータ（ＬＵＴ３３）を用いて色抽出部２５にて実行され
る。そして、色抽出画像の中からウィンドウデータで示
される所定領域（図１４参照）の情報を取り出す（ＳＴ
２４）。すなわち、ここでは検査対象の所定領域を他の
領域から分離し、この所定領域から画像情報を取り出
す。

【００６０】そして取り出した画像情報を統計的に処理
して検査パラメータと比較する（ＳＴ２５）。すなわ
ち、画像処理手法などによって所定領域の画像情報を処
理することにより、各検査項目に応じた検査諸量（領域
の寸法、面積、重心位置、境界線など）を求め、これら
の検査諸量を各項目毎に設定されたしきい値と比較す
る。そして比較の結果得られた検査結果は検査結果記憶
部１２ｃに記憶される（ＳＴ２６）。

【００６１】なお、検査対象の電子部品が複数の色を有
する多色部品の場合には、この色の数に応じて（ＳＴ２
２）〜（ＳＴ２３）の処理を複数回繰り返す。多色部品
としては、帯状のカラーバンドか複数色で表示されたメ
ルフ抵抗器や、上面が２色に塗り分けられたタンタルコ
ンデンサなどの例がある。また、（ＳＴ２４）〜（ＳＴ
２５）の統計的処理のかわりに、色抽出処理された範囲
の画像をパターンマッチングの対象として形状判定を行
うことにより、所定の検査を行うようにしてもよい。

【００６２】次に半田付状態検査処理について図８を参
照して説明する。まずライブラリ記憶部１２ｂより検査
に必要なウィンドウデータ、検査パラメータを読み取る
（ＳＴ３１）。次に所定の条件で第１の画像記憶部８ａ
から取り込んだ単独又は複数の画像（ＲＧＢ画像）か
ら、ウィンドウデータで示された領域の情報を取り出す
（ＳＴ３２）。そして検査項目に応じた検査処理（半田
量検査、ブリッジ検査等）を実行する（ＳＴ３３）。こ
の後検査結果を検査結果記憶部１２ｃに記憶する（ＳＴ
３４）。

【００６３】次に図１０〜図１３を参照して、色抽出フ
ィルタのティーチング処理について説明する。各図は表
示部１７のモニタ上に表示される表示画面５０上で行わ
れる処理について示すものである。まず図１０に示すよ
うに、表示画面５０にはカメラ５で撮像された基板２の
画像が表示される。ここでは、検査対象の電子部品３が
基板２のランド２ａに半田付けされた状態で表示されて
いる。

【００６４】表示画面５０内には各種のタッチパネルの
ボタンが設定されている。色取込領域設定ボタン５１を
操作することにより、周囲から分離するための色取り込
みを行う領域の設定が行われる。インチングボタン５３
を操作すると色取り込み領域領域を示す領域枠３ａが画
面５０内で移動する。

【００６５】図１０は領域枠３ａが電子部品３の上面に
位置している状態を示しており、この状態で色取込領域
設定ボタン５１を操作することにより領域設定が実行さ
れ、取り消しボタン５４を操作すると領域設定が取り消
される。そして色抽出フィルタ作成ボタン５２を操作す
ることにより色抽出フィルタ作成が開始される。これに
より図１１に示す画面が表示される。

【００６６】図１１において、表示画面５０には、色取
込領域内の画像データから得られた当該領域における
Ｈ，Ｓ，Ｉの数値データの分布図、すなわち当該領域を
構成する各画素について求められたＨ，Ｓ，Ｉのそれぞ
れの数値データの累積分布をＨ，Ｓ，Ｉの各項目毎に表
した分布図５５ａ，５５ｂ，５５ｃが表示される。これ
らの分布図において、横軸はＨ，Ｓ，Ｉのそれぞれの値
を、縦軸は各値におけるデータの累積頻度（画素数）を
示している。これらの分布図には、それぞれＨ，Ｓ，Ｉ
の分布状態を示すグラフ５６ａ，５６ｂ，５６ｃが表示
される。これらのグラフは、この色の特徴を示す。

【００６７】そして、分布図５５ａ，５５ｂ，５５ｃに
重ねて色抽出フィルタの設定を行う。すなわち、それぞ
れのグラフ５６ａ，５６ｂ，５５ｃを包含する形で台形
状の色抽出フィルタの特性線５７ａ，５７ｂ，５７ｃを
描く。これにより、Ｈ，Ｓ，Ｉのそれぞれの項目につい
て色抽出フィルタ（図４に示す４１ａ，４１ｂ，４１ｃ
参照）が設定される。

【００６８】なお、この特性線を示すグラフにおいて、
横軸は前記分布図５５ａ，５５ｂ，５５ｃと同様に、
Ｈ，Ｓ，Ｉの各値（入力値）を示しているが、縦軸は前
記分布図と異なりデータ変換後のＨ，Ｓ，Ｉの値
（Ｈ’，Ｓ’，Ｉ’：出力値）を示している。すなわ
ち、Ｈ，Ｉ，Ｓの分布状態を示す各グラフと色抽出フィ
ルタの各特性線は同一画面上に重ね合わせられているも
のの、各グラフの高さと各特性線の高さの間には特定の
関係はない。

【００６９】これらの分布図と共に、ここで設定される
色抽出フィルタがカバーする色相と彩度の範囲を視覚的
に参照するための参照枠（カラーパレット）５８、およ
び同様に色抽出フィルタがカバーする明度範囲を視覚的
に参照するための参照枠５９が表示される。

【００７０】参照枠５８は、左右方向に色相Ｈを、上下
方向に彩度Ｓを変化させて、色の変化を２次元的に表示
したものである。また、参照枠５９は左右方向に明度を
変化させて明るさの変化を表示したものである。この参
照枠５８，５９内に示されるウィンドウ５８ａ，５９ａ
の位置により、当該領域内における色相・彩度および明
度を視覚的に確認できるようになっている。また、参照
枠６０には、当該色取込領域の色を示す画像が表示され
る。

【００７１】このように、実際の撮像によって得られた
Ｈ，Ｓ，Ｉの数値データの分布状態に基づきこれらの分
布範囲を包含する形で色抽出フィルタを設定することに
より、以下に述べる効果を得ることができる。すなわ
ち、検査時において撮像される電子部品の材質・表面性
状や撮像条件は、常に高い精度で均一性を保っていると
は限らない。従って、このようなばらつきを含む電子部
品を撮像した画像データをカラー画像変換して得られる
Ｈ，Ｓ，Ｉの各データも、ある幅の分布範囲内でばらつ
いている。

【００７２】そこで、前述のように設定された色抽出フ
ィルタを用いてデータ変換を行うことにより、電子部品
の材質・表面性状などのばらつきに起因して、撮像によ
り得られるＨ，Ｓ，Ｉのデータに多少のばらつきがあっ
ても、これらのデータが予め設定された分布範囲内に位
置する限りは、当該色取込領域に固有の属性を有するデ
ータとして判別される。

【００７３】さらには、色抽出フィルタの特性線を台形
状にして、分布範囲の上下両境界域にファジー領域を設
定することにより、分布範囲の境界域近傍に位置するデ
ータを切り捨てることがなく、電子部品や撮像条件など
のばらつきに適切に対応したより信頼性の高い検査を行
うことを可能とする。

【００７４】そして図１１において、画面５０上で上記
のように設定された色抽出フィルタについて、登録ボタ
ン６１、修正ボタン６２、取り消しボタン６３の各ボタ
ン操作を行うことにより、当該色抽出フィルタの登録、
修正、取り消しの各処理が行われる。

【００７５】ここで色抽出ボタン６４を操作することに
より、図１２に示す色抽出画像の画面が表示され、この
画面によって所定の色抽出が行われているか否かを確認
する。即ち電子部品３の上面に相当する領域６６ｂが白
色画像で抽出されその他の領域６６ａが黒色から灰色の
間で表示されるモノクロ画像が得られていれば、所期の
色抽出が行われたことになる。

【００７６】また、比較サンプルボタン６５を操作する
と、表示画面は図１０に示す画面に切り換わり、この状
態で比較サンプル操作を行うことができる。すなわち、
画面上で対象としている色取込領域以外の他の領域から
色取り込みを行い、前述の色抽出フィルタをこの画像に
適用した場合に、図１２に示す色抽出画像４２と同様の
色抽出結果が得られたならば、設定された色抽出フィル
タではこれらの２つの領域を分離できないことを示して
いる。

【００７７】そこでこのような場合には、色抽出フィル
タの修正が必要となる。この修正処理は、図１１に示す
画面５０上で修正ボタン６２を操作することにより行わ
れる。このボタン操作により、図１３に示す修正用の画
面が表示される。ここでは、分布図５５ａ，５５ｂ，５
５ｃ上で設定された色抽出フィルタの特性線５７ａ，５
７ｂ，５７ｃを修正する処理が行われる。

【００７８】図１３は、これらのうち特性線５７ｂを修
正する例を示している。すなわち、修正しようとする特
性線上の折れ点部をタッチ操作することにより修正対象
が指定され、当該折れ点部が画面上で反転表示される。
そして移動ボタン６８を操作することにより、修正対象
の特性線５７ｂを所望の方向へ移動させて色抽出フィル
タを修正することができる。そしてこの修正に伴って参
照枠５８内の表示ウィンドウ５８ａも修正内容に応じて
移動する。

【００７９】この後登録ボタン６１を操作して修正後の
色抽出フィルタの再登録を行った後、再び前述の色抽出
による確認を行い、当該領域が他の領域から明瞭に分離
されることが確認されたならば、当該色抽出フィルタの
登録操作を行う。このようにして登録された色抽出フィ
ルタは、ＬＵＴ３３としてライブラリ記憶部１２ｂに格
納される。

【００８０】このＬＵＴ３３は前述のように検査対象の
電子部品ごとに、更には色コードごとに、各検査項目に
対応するウィンドウ、即ち色取込領域と関連付けられて
格納される。これにより、電子部品の搭載状態検査にお
いては、検査対象に応じた適切な色抽出が行われ、色抽
出対象部位の属性を正しく検出して他の領域との分離を
精度よく行うことができる。

【００８１】上記説明したように、本発明は電子部品の
搭載状態検査において、ＲＧＢ画像データをＨＳＩ画像
データに変換し、このＨＳＩ画像データを処理対象とし
たものである。これにより、前述のように３要素のうち
１つでも違いがあれば、その領域は他から明瞭に分離さ
れることから、明度の違いが少なくＲＧＢ画像では分離
が困難であったような対象でも、色相あるいは彩度に違
いがあれば高精度の検査が可能となる。従って、従来の
ＲＧＢ画像データに基づいて画像認識を行う場合に、対
象に応じて必要とされた専用のフィルタリング処理を削
減することができ、処理効率および操作性を大巾に向上
させている。

【００８２】さらには、ＨＳＩ画像データを変換処理す
る際に用いられる色抽出フィルタにファジー領域を設定
することにより、電子部品の材質や表面性状に起因する
外観にばらつきや、照明などの撮像条件のばらつきがあ
る場合においても、より信頼性の高い検査を行うことが
できる。

【００８３】また複数の色抽出フィルタをＬＵＴの形で
予め部品ライブラリに電子部品を識別する識別情報別に
格納しておくことにより、検査対象の電子部品の品種切
り替えの都度色抽出フィルタの設定をティーチング作業
の形態で行う必要がなく、操作性に優れた電子部品の搭
載状態の検査装置が実現される。

【００８４】さらには、同一型式・機能すなわち識別情
報が同一であって、外観の色のみが異なるような電子部
品に対しても、ＬＵＴを識別情報と色別に部品ライブラ
リに格納しておくことにより、単なる外観のばらつきで
はなく色そのものが相違している場合にあっても、同一
型式・機能の電子部品については同一の検査結果を得る
ことができる。

【００８５】

【発明の効果】本発明によれば、基板を撮像することに
より得られたＲ（赤）、Ｇ（緑）、Ｂ（青）の３要素の
それぞれの要素を１つの独立の次元とする３次元のＲＧ
Ｂ画像データを、Ｈ（色相）、Ｓ（彩度）、Ｉ（明度）
の３要素のそれぞれの要素を１つの独立の次元とする３
次元のＨＳＩ画像データにカラーモデル変換し、この３
次元のＨＳＩ画像データに基づいて電子部品搭載状態を
検査するようにしたので、検査対象領域を周囲から精度
よく分離して検査精度を向上させると共に、従来必要と
された煩雑な専用フィルタ設定の手間を省き、検査の処
理効率および操作性を向上させることができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態の電子部品の搭載状態検
査装置の構成を示すブロック図

【図２】本発明の一実施の形態の電子部品の搭載状態検
査装置の処理機能を示す機能ブロック図

【図３】本発明の一実施の形態の電子部品の搭載状態検
査装置の部品ライブラリの構成図

【図４】本発明の一実施の形態の電子部品の搭載状態検
査装置の色抽出処理の説明図

【図５】本発明の一実施の形態の電子部品の搭載状態検
査装置の色抽出フィルタの説明図

【図６】本発明の一実施の形態の電子部品の実装状態検
査処理のフロー図

【図７】本発明の一実施の形態の電子部品の搭載状態検
査処理のフロー図

【図８】本発明の一実施の形態の電子部品の半田付状態
検査処理のフロー図

【図９】本発明の一実施の形態のＸＹテーブル位置決め
処理のフロー図

【図１０】本発明の一実施の形態の電子部品の搭載状態
検査装置の色抽出フィルタ設定の表示画面を示す図

【図１１】本発明の一実施の形態の電子部品の搭載状態
検査装置の色抽出フィルタ設定の表示画面を示す図

【図１２】本発明の一実施の形態の電子部品の搭載状態
検査装置の色抽出フィルタ設定の表示画面を示す図

【図１３】本発明の一実施の形態の電子部品の搭載状態
検査装置の色抽出フィルタ設定の表示画面を示す図

【図１４】本発明の一実施の形態の電子部品実装基板を
示す説明図

【符号の説明】

２ 基板 ３ 電子部品 ５ カメラ ７ カラーモデル変換部 ８ 画像記憶部 ９ 演算部 １１ プログラム記憶部 １２ データ記憶部 １２ａ 検査データ記憶部 １２ｂ ライブラリ記憶部 １２ｃ 検査結果記憶部 ２２ 色抽出フィルタティーチング部 ２４ 部品搭載状態検査部 ２５ 色抽出部 ３０ 電子部品識別情報 ３１，３１ａ，３１ｂ，３１ｃ ウインドウデータ ３２ 検査パラメータ ３３ ＬＵＴ ４１ 色抽出フィルタ ４２ 色抽出画像

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA16 AA51 AA56 CC26 CC28 DD06 FF01 FF04 GG17 GG24 JJ03 JJ09 JJ19 JJ26 LL11 NN02 PP12 QQ00 QQ24 QQ31 QQ38 RR06 SS02 SS13 2G020 AA08 DA05 DA13 DA23 DA34 DA52

Claims (14)

【特許請求の範囲】
1. 【請求項１】基板に搭載された電子部品の搭載状態を検
   査する電子部品の搭載状態検査装置であって、基板を撮
   像することによりＲ（赤）、Ｇ（緑）、Ｂ（青）の３要
   素のそれぞれの要素を１つの独立の次元とする３次元の
   ＲＧＢ画像データを取得するカメラと、前記３次元のＲ
   ＧＢ画像データを、Ｈ（色相）、Ｓ（彩度）、Ｉ（明
   度）の３要素のそれぞれの要素を１つの独立の次元とす
   る３次元のＨＳＩ画像データに変換するカラーモデル変
   換部と、前記ＨＳＩ画像データに基づいて電子部品の搭
   載状態を検査する部品搭載状態検査手段とを備えたこと
   を特徴とする電子部品の搭載状態検査装置。
2. 【請求項２】前記部品搭載状態検査手段は、前記ＨＳＩ
   画像データから所望の色を抽出した色抽出画像を入手す
   る色抽出部と、この色抽出画像に基づいて電子部品の搭
   載状態を検査する部品搭載状態検査部とを備えたことを
   特徴とする請求項１記載の電子部品の搭載状態検査装
   置。
3. 【請求項３】前記色抽出部は、電子部品の色を抽出する
   色抽出フィルタを備えていることを特徴とする請求項２
   記載の電子部品の搭載状態検査装置。
4. 【請求項４】前記色抽出部は、Ｈ（色彩）、Ｓ（彩
   度）、Ｉ（明度）別に色抽出フィルタを備えたことを特
   徴とする請求項３記載の電子部品の搭載状態検査装置。
5. 【請求項５】前記色抽出フィルタは、カラーモデル変換
   された画像データを多値化データ形式で入力し、出力を
   ２値以上の多値化データで出力することを特徴とする請
   求項３記載の電子部品の搭載状態検査装置。
6. 【請求項６】前記色抽出フィルタは、ファジー領域を備
   えていることを特徴とする請求項５記載の電子部品の搭
   載状態検査装置。
7. 【請求項７】前記色抽出部は、Ｈ，Ｓ，Ｉのそれぞれの
   色抽出フィルタからの出力を合成して１つのモノクロ画
   像を得ることを特徴とする請求項４記載の電子部品の搭
   載状態検査装置。
8. 【請求項８】基板に搭載された電子部品の搭載状態を検
   査する電子部品の搭載状態の検査方法であって、基板を
   撮像することによりＲ（赤）、Ｇ（緑）、Ｂ（青）の３
   要素のそれぞれの要素を１つの独立の次元とする３次元
   のＲＧＢ画像データを取得する工程と、前記３次元のＲ
   ＧＢ画像データを、Ｈ（色相）、Ｓ（彩度）、Ｉ（明
   度）の３要素のそれぞれの要素を１つの独立の次元とす
   る３次元のＨＳＩ画像データにカラーモデル変換する工
   程と、このＨＳＩ画像データに基づいて電子部品の搭載
   状態を検査する工程とを含むことを特徴とする電子部品
   の搭載状態検査方法。
9. 【請求項９】前記搭載状態を検査する工程において、前
   記ＨＳＩ画像データから所望の色を抽出した色抽出画像
   を入手し、この色抽出画像に基づいて電子部品の搭載状
   態を検査することを特徴とする請求項８記載の電子部品
   の搭載状態検査方法。
10. 【請求項１０】前記色抽出画像の入手に、電子部品の色
    を抽出する色抽出フィルタを用いることを特徴とする請
    求項９記載の電子部品の搭載状態検査方法。
11. 【請求項１１】前記色抽出画像の入手に、Ｈ（色彩）、
    Ｓ（彩度）、Ｉ（明度）別に色抽出フィルタを用いるこ
    とを特徴とする請求項１０記載の電子部品の搭載状態検
    査方法。
12. 【請求項１２】前記色抽出フィルタは、カラーモデル変
    換された画像データを多値化データ形式で入力し、出力
    を２値以上の多値化データで出力することを特徴とする
    請求項１０記載の電子部品の搭載状態検査方法。
13. 【請求項１３】前記色抽出フィルタは、ファジー領域を
    備えていることを特徴とする請求項１２記載の電子部品
    の搭載状態検査方法。
14. 【請求項１４】前記色抽出画像は、Ｈ，Ｓ，Ｉのそれぞ
    れの色抽出フィルタからの出力を合成して１つのモノク
    ロ画像を得ることを特徴とする請求項１１記載の電子部
    品の搭載状態検査方法。