JP2006098093A - Substrate inspection device, substrate inspection method, inspection logic forming device of substrate inspection device and inspection logic forming method - Google Patents

Substrate inspection device, substrate inspection method, inspection logic forming device of substrate inspection device and inspection logic forming method Download PDF

Info

Publication number
JP2006098093A
JP2006098093A JP2004281591A JP2004281591A JP2006098093A JP 2006098093 A JP2006098093 A JP 2006098093A JP 2004281591 A JP2004281591 A JP 2004281591A JP 2004281591 A JP2004281591 A JP 2004281591A JP 2006098093 A JP2006098093 A JP 2006098093A
Authority
JP
Japan
Prior art keywords
inspection
logic
image
feature amount
defective product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004281591A
Other languages
Japanese (ja)
Other versions
JP4453503B2 (en
Inventor
Takako Onishi
貴子 大西
Hirotaka Wada
洋貴 和田
Toshihiro Moriya
俊洋 森谷
Atsushi Shimizu
敦 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2004281591A priority Critical patent/JP4453503B2/en
Publication of JP2006098093A publication Critical patent/JP2006098093A/en
Application granted granted Critical
Publication of JP4453503B2 publication Critical patent/JP4453503B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95684Patterns showing highly reflecting parts, e.g. metallic elements

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Electric Connection Of Electric Components To Printed Circuits (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technique which enables the judgment of the quality of a solder fillet in a high-density mounting substrate with high-precision. <P>SOLUTION: The substrate inspection device is constituted so that a first pixel region of a bluish color is first extracted from an inspection image according to a first logic to judge whether the characteristic quantity possessed by the first pixel region satisfies a first judge condition. Next, a second pixel region of a reddish color is extracted from the inspection image according to a second logic by the substrate inspection device to judge whether the characteristic quantity possessed by the second pixel region satisfies a second judge condition. When both of the judge results of the first and second logics are real, a part to be inspected is judged to be a good product. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、基板検査装置で用いられる検査ロジックを自動生成するための技術に関する。   The present invention relates to a technique for automatically generating inspection logic used in a substrate inspection apparatus.

従来より、多数の電子部品が実装されたプリント基板の実装品質を検査するための基板検査装置が提案されている。この種のプリント基板において「電子部品の電極部とランドを半田付けした際の半田盛りの形状」を半田フィレットと呼ぶが、電子部品の電極部の濡れ上がりによっては、半田フィレットが形成されているように見えて、実は電子部品と半田フィレットが未接触な場合もある。よって、半田付けの良否を検査するには、自由曲線からなる半田フィレットの形状を正確に捉える必要がある。   Conventionally, there has been proposed a board inspection apparatus for inspecting the mounting quality of a printed circuit board on which a large number of electronic components are mounted. In this type of printed circuit board, “the shape of the solder pile when the electrode part of the electronic component and the land are soldered” is called a solder fillet. However, depending on the wetting of the electrode part of the electronic component, a solder fillet is formed. In some cases, the electronic component and the solder fillet are not in contact with each other. Therefore, in order to inspect the soldering quality, it is necessary to accurately grasp the shape of the solder fillet made of a free curve.

しかしながら、従前の基板検査装置では、モノクロ(単色)単一照明を光源に用いていたために、半田フィレットの3次元形状を画像解析するのが困難であった。それゆえ、半田付けの良否を判定することができず、基板検査装置として実用に耐えるものではなかった。   However, in the conventional board inspection apparatus, since monochrome (single color) single illumination is used as a light source, it is difficult to perform image analysis of the three-dimensional shape of the solder fillet. Therefore, the quality of soldering cannot be determined, and the board inspection apparatus cannot be used practically.

このような課題を解決するため、本出願人は、図13に示す方式の基板検査装置を提案した(特許文献1参照)。この方式は3色光源カラーハイライト方式(もしくは単にカラーハイライト方式)とよばれるもので、複数の色の光源で検査対象を照らすことによって半田フィレットの3次元形状を疑似カラー画像として得る技術である。   In order to solve such a problem, the present applicant has proposed a substrate inspection apparatus of the type shown in FIG. 13 (see Patent Document 1). This method is called the three-color light source color highlight method (or simply the color highlight method), and is a technology that obtains the three-dimensional shape of the solder fillet as a pseudo-color image by illuminating the inspection object with light sources of multiple colors. is there.

プリント基板の自動検査の実用化は、実質、このカラーハイライト方式技術の登場以降であると言われている。特に、電子部品が小型化する現在では、半田フィレット形状を目視で判別することも困難であり、カラーハイライト方式の基板検査装置なしでは基板検査が成り立たないと言うこともできる。   It is said that the practical use of automatic inspection of printed circuit boards is practically after the advent of this color highlighting technology. In particular, at the present time when electronic components are miniaturized, it is difficult to visually determine the solder fillet shape, and it can be said that board inspection cannot be realized without a color highlight type substrate inspection apparatus.

図13に示すように、カラーハイライト方式の基板検査装置は、基板110上の検査対象107に異なる入射角で三原色光を照射する投光部105と、検査対象107からの反射光を撮像する撮像部106と、を備える。この投光部105は、異なる径を有し、かつ制御処理部からの制御信号に基づき赤色光、緑色光、青色光を同時に照射する3個の円環状光源111,112,113により構成されている。各光源111,112,113は、検査対象107の真上位置に中心を合わせ、かつ検査対象107から見て異なる仰角に対応する方向に配置されている。   As shown in FIG. 13, the color highlight type substrate inspection apparatus images a light projecting unit 105 that irradiates the inspection target 107 on the substrate 110 with the three primary color lights at different incident angles and the reflected light from the inspection target 107. An imaging unit 106. The light projecting unit 105 includes three annular light sources 111, 112, and 113 that have different diameters and that simultaneously emit red light, green light, and blue light based on a control signal from the control processing unit. Yes. The light sources 111, 112, and 113 are arranged in directions corresponding to different elevation angles when viewed from the inspection target 107 while being centered on the position directly above the inspection target 107.

かかる構成の投光部105で検査対象(半田フィレット)107を照射すると、撮像部106には、検査対象107の表面の傾斜に応じた色の光が入射する。よって、図14に示すように、電子部品の半田付けが良好であるとき/部品が欠落しているとき/半田不足の状態であるときなど、半田フィレットの形状に応じて、撮像画像の色彩パターンに明確な差異が現れる。これにより、半田フィレットの3次元形状を画像解析するのが容易になり、電子部品の有無や半田付けの良否を正確に判定することができるようになる。   When the inspection target (solder fillet) 107 is irradiated by the light projecting unit 105 having such a configuration, light of a color corresponding to the inclination of the surface of the inspection target 107 enters the imaging unit 106. Therefore, as shown in FIG. 14, when the soldering of the electronic component is good / when the component is missing / when the solder is insufficient, the color pattern of the captured image depends on the shape of the solder fillet. A clear difference appears. This facilitates image analysis of the three-dimensional shape of the solder fillet, and makes it possible to accurately determine the presence / absence of electronic components and the quality of soldering.

カラーハイライト方式の基板検査装置では、「あるべき良品の色」や「あるべき不良品の色」を表す色パラメータ(色条件)を予め設定しておき、検査画像の中から色パラメータに該当する色領域を抽出し、その抽出された領域のもつ種々の特徴量(例えば、面積や長さ)に基づいて良否の判定を行う。したがって、実際の検査に先立ち、検査に用いる色
パラメータ、特徴量の種類、良品と不良品とを切り分けるための判定条件(たとえば、しきい値)などを設定しておく必要がある。この色パラメータ、特徴量および判定条件を合わせて検査ロジックもしくは検査パラメータと呼び、また検査ロジックを設定・調整することを一般にティーチングと呼ぶ。
In the color highlight type substrate inspection system, color parameters (color conditions) representing “the color of a good product that should be” and “the color of a defective product that should be” are set in advance, and the corresponding color parameter is selected from the inspection image. The color area to be extracted is extracted, and the quality is determined based on various feature amounts (for example, area and length) of the extracted area. Therefore, prior to the actual inspection, it is necessary to set the color parameters used for the inspection, the types of feature amounts, the determination conditions (for example, threshold values) for separating good products from defective products, and the like. The color parameters, feature amounts, and determination conditions are collectively referred to as inspection logic or inspection parameters, and setting and adjusting the inspection logic is generally referred to as teaching.

検査精度を向上するためには、良品の示す特徴量と不良品の示す特徴量との間に有意かつ明確な差異が現れるように色パラメータを設定することが肝要である。すなわち、色パラメータのティーチングの善し悪しが検査精度を直接左右すると言える。   In order to improve the inspection accuracy, it is important to set the color parameter so that a significant and clear difference appears between the feature quantity indicated by the non-defective product and the feature quantity indicated by the defective product. That is, it can be said that the quality of teaching of color parameters directly affects the inspection accuracy.

そこで本出願人は、図15に示すように、カラーハイライト方式における色パラメータの設定を支援するためのツールを提案している(特許文献2参照)。このツールでは、色パラメータとして、赤、緑、青の各色相比ROP、GOP、BOPおよび明度データBRTのそれぞれの上限値および下限値の設定が可能である。図15の入力画面には、色パラメータの設定値を入力するための色パラメータ設定部127とともに、設定された各色パラメータにより抽出される色彩の範囲を表示するための設定範囲表示部128が設けられている。この設定範囲表示部128には、所定の明度の下で得られるすべての色彩を示した色合い図134が表示されており、オペレータが各色パラメータの上限値、下限値を設定すると、色合い図134上には、設定された色パラメータにより抽出される色彩を囲むような確認領域135が表示される。また、2値化表示ボタン129を押すと、現在の色パラメータによる抽出結果が二値画像で表示される。このツールによれば、オペレータは、確認領域135や二値画像を見ながら、適切な抽出結果が得られるまで色パラメータの追い込みを行うことができる。
特開平2−78937号公報 特開平9−145633号公報
Therefore, as shown in FIG. 15, the present applicant has proposed a tool for supporting the setting of color parameters in the color highlight method (see Patent Document 2). In this tool, it is possible to set the upper limit value and the lower limit value of each of the hue ratios ROP, GOP, BOP and lightness data BRT of red, green, and blue as color parameters. The input screen of FIG. 15 is provided with a color parameter setting unit 127 for inputting color parameter setting values, and a setting range display unit 128 for displaying the color range extracted by each set color parameter. ing. The setting range display section 128 displays a hue diagram 134 showing all colors obtained under a predetermined brightness. When the operator sets the upper limit value and lower limit value of each color parameter, Displays a confirmation area 135 surrounding the color extracted by the set color parameter. When the binarization display button 129 is pressed, the extraction result based on the current color parameter is displayed as a binary image. According to this tool, the operator can track the color parameters until an appropriate extraction result is obtained while viewing the confirmation area 135 and the binary image.
Japanese Patent Laid-Open No. 2-78937 JP 9-145633 A

基板検査装置は、プリント基板の実装品質について一度に複数の検査項目を高速かつ正確に検査することが出来るという利点がある。ただし、基板検査装置の実稼動にあたっては、個別の検査対象に合わせて検査ロジック各々のティーチングを行い、不良品の見逃しがなく、かつ、良品を不良品と判定してしまう過検出が許容値(あらかじめ想定する値)以下に抑え込めるまで、判定精度を十分に高めなければならない。   The board inspection apparatus has an advantage that a plurality of inspection items can be inspected at high speed and accurately at once for the mounting quality of the printed board. However, in actual operation of the board inspection device, the over logic that teaches each inspection logic according to the individual inspection object, does not miss the defective product, and determines that the non-defective product is a defective product is an allowable value ( Judgment accuracy must be sufficiently increased until the value can be kept below the value assumed in advance.

ところが、カラーハイライト方式の基板検査装置では、実用に耐え得る高度な基板検査が可能な反面、不良品の見逃しと過検出を目標値まで抑え込むためのティーチングが難しい。上述した色パラメータ設定支援ツールを利用したとしても、結局、色パラメータの追い込みはオペレータの経験と勘に頼る部分が大きいため、設定ミスの発生は避けられない。しかも、どれだけ優れたオペレータでも試行錯誤的に調整を繰り返さなければならず、非効率的であり、多大な労力と調整時間を要してしまうという問題がある。   However, in the color highlight type substrate inspection apparatus, although advanced substrate inspection that can withstand practical use is possible, teaching to suppress oversight and overdetection of defective products to a target value is difficult. Even if the color parameter setting support tool described above is used, it is inevitable that the setting of a color parameter will depend on the experience and intuition of the operator. In addition, no matter how good the operator is, the adjustment must be repeated on a trial and error basis, which is inefficient and requires a lot of labor and adjustment time.

また最近では、高密度実装が進み、部品間の距離が狭まってきているが、これに起因して次のような問題が生じている。たとえば図16に示すように、検査対象部品140のそばに大きな部品141が存在すると、3つの光源111,112,113のうち最も入射角の大きな(仰角の小さな)光源113からの光(本例では青色光)が部品141に遮られる。そうすると、青色光が検査対象部品140に当たらないため、半田フィレット形状を正確に反映した色彩パターンが得られない。   In recent years, high-density mounting has progressed, and the distance between components has been narrowed. However, this has caused the following problems. For example, as shown in FIG. 16, when a large component 141 is present near the component to be inspected 140, light from the light source 113 having the largest incident angle (small elevation angle) among the three light sources 111, 112, and 113 (this example) The blue light is blocked by the component 141. Then, since the blue light does not hit the inspection target component 140, a color pattern that accurately reflects the solder fillet shape cannot be obtained.

図17の上段に、不良品(半田不足)、良品(青色光が遮られているもの)、良品(遮光がないもの)、不良品(半田過多)それぞれの半田フィレットの形状(側面図)を示し、中段に各半田フィレットを撮像して得た色彩パターン(上視図)を示す。通常は、良品
の半田フィレットでは青系色の領域が大きくなり、不良品の半田フィレットでは青系色の領域が小さくなる傾向にあるため、下段のように青系色の画素領域だけを抽出し、その画素領域の大きさ(面積や長さなど)を比べれば、半田フィレットの良否判定を行うことができる。しかしながら、青色光が遮られた半田フィレットでは、たとえ良品であっても青系色の画素領域が非常に小さくなり、不良品との判別をつけづらい。
In the upper part of FIG. 17, the shape (side view) of the solder fillet for each of the defective products (insufficient solder), non-defective products (those with blocked blue light), non-defective products (those without light shielding), and defective products (excessive solder). The color pattern (upper view) obtained by imaging each solder fillet is shown in the middle row. Normally, blue-colored areas tend to be large for good solder fillets, and blue-colored areas tend to be small for defective solder fillets, so only the blue-colored pixel areas are extracted as shown below. By comparing the size (area, length, etc.) of the pixel region, it is possible to determine whether the solder fillet is good or bad. However, in a solder fillet where blue light is blocked, even if it is a non-defective product, the blue-colored pixel area becomes very small and it is difficult to distinguish it from a defective product.

図18は、良品、不良品それぞれの青系色の画素領域の面積をヒストグラムにしたものである。青色光が遮られた良品の度数分布が不良品の度数分布と重なってしまうことがわかる。どのような検査であっても不良品の流出は絶対に許されないため、不良品と良品との切り分けが難しい場合は、しきい値を図18のように設定し、過検出の発生を許容せざるを得ない。しかし、これでは過検出が頻発し、良品を不良品として廃棄するロスコストが増えたり、不良品の目視による再検査が必要となるなど、検査を自動化するメリットがなくなってしまう。   FIG. 18 is a histogram of the areas of the blue color pixel regions of the non-defective product and the defective product. It can be seen that the frequency distribution of non-defective products blocked by blue light overlaps with the frequency distribution of defective products. In any inspection, the outflow of defective products is never allowed. Therefore, when it is difficult to separate defective products from non-defective products, the threshold is set as shown in FIG. 18 to allow the occurrence of over-detection. I must. However, this leads to frequent overdetection, which increases the loss cost of discarding a non-defective product as a defective product, and necessitates a re-inspection of the defective product by visual inspection.

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、高密度実装基板における半田フィレットの良否判定を高精度に行うことのできる技術を提供することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique capable of accurately determining the quality of a solder fillet on a high-density mounting board.

本発明のさらなる目的は、高密度実装基板における半田フィレット検査で用いられるパラメータを自動生成可能な技術を提供することである。   A further object of the present invention is to provide a technique capable of automatically generating parameters used in solder fillet inspection on a high-density mounting board.

本発明の基板検査装置は、以下に述べる基板検査方法によって半田フィレットの良否判定を行う。   The board inspection apparatus according to the present invention performs solder fillet pass / fail judgment by the board inspection method described below.

まず、投光手段によって、基板上の検査対象部品に異なる入射角で複数の色の光を照射し、撮像手段によって、その反射光を撮像して検査画像を取得する。入射角とは光と基板の法線(撮像手段の光軸)とのなす角であり、基板(部品)から見た仰角が大きい光源からの光ほど入射角は小さい。検査画像の半田部分には、半田フィレットの傾斜角に応じた色彩パターンが現れる。   First, light of a plurality of colors is irradiated at different incident angles onto the inspection target component on the substrate by the light projecting means, and the reflected light is imaged by the imaging means to obtain an inspection image. The incident angle is an angle formed between light and the normal line of the substrate (the optical axis of the image pickup means), and the incident angle is smaller as the light from the light source has a larger elevation angle as viewed from the substrate (component). A color pattern corresponding to the inclination angle of the solder fillet appears in the solder portion of the inspection image.

基板検査装置は検査ロジックを記憶する記憶部を有する。詳しくは、記憶部は、入射角が最も大きい光の色成分を含む画素を抽出するための第1色条件、および、前記第1色条件を満足する画素領域がもつ第1特徴量に関して、良品の過検出は排除し且つ不良品の見逃しは許容する値に設定された第1判定条件を含む第1ロジック、並びに、入射角が最も小さい光の色成分を含む画素を抽出するための第2色条件、および、前記第2色条件を満足する画素領域がもつ第2特徴量に関して、前記第1ロジックで見逃され得る不良品の見逃しは排除する値に設定された第2判定条件を含む第2ロジックを記憶している。   The board inspection apparatus has a storage unit for storing inspection logic. Specifically, the storage unit is good with respect to the first color condition for extracting the pixel including the color component of the light having the largest incident angle and the first feature amount of the pixel area that satisfies the first color condition. The first logic including the first determination condition set to a value that allows the overdetection of the defect and the oversight of the defective product to be permitted, and the second for extracting the pixel including the color component of the light having the smallest incident angle. Regarding the second feature amount of the pixel region that satisfies the color condition and the second color condition, the second feature condition includes a second determination condition that is set to a value that excludes overlooking of defective products that can be missed by the first logic. 2 logics are stored.

半田フィレット検査を行う際には、記憶部から第1ロジックおよび第2ロジックが読み込まれる。   When performing the solder fillet inspection, the first logic and the second logic are read from the storage unit.

そしてまず、基板検査装置の第1検査手段が、第1ロジックに従って、前記検査画像の半田部分から前記第1色条件を満足する第1画素領域を抽出して、前記第1画素領域のもつ第1特徴量が前記第1判定条件を満足するか判定する。   First, the first inspection means of the board inspection apparatus extracts a first pixel area satisfying the first color condition from the solder portion of the inspection image according to the first logic, and the first pixel area has the first pixel area. It is determined whether one feature amount satisfies the first determination condition.

ここで、第1色条件は入射角が最も大きい光の色成分を含む画素を抽出するものであることから、第1画素領域は、良品では大きく(広く)、不良品では小さく(狭く)なる傾向にある。よって、第1特徴量としては、画素領域の大きさを表す量を採用するとよい。たとえば、第1画素領域を構成するラインのうち、所定幅以上の画素数をもつラインの本
数を第1特徴量とすることが好ましい。この特徴量は、画素領域の固まりの大きさを反映した量といえる。また、第1特徴量として第1画素領域の面積(画素数)を用いてもよい。
Here, since the first color condition is to extract pixels including a color component of light having the largest incident angle, the first pixel region is large (wide) for non-defective products and small (narrow) for defective products. There is a tendency. Therefore, an amount representing the size of the pixel region may be employed as the first feature amount. For example, it is preferable that the number of lines having a number of pixels greater than or equal to a predetermined width among the lines constituting the first pixel region is the first feature amount. This feature amount can be said to reflect the size of the cluster of pixel regions. Further, the area (number of pixels) of the first pixel region may be used as the first feature amount.

高密度実装基板では、入射角の最も大きい光は他の部品で遮られる可能性がある。その場合、正しい色彩パターンが得られず、良品であっても第1画素領域が不良品並に小さくなる。しかし、第1判定条件は良品の過検出を排除する値に設定されているので、良品であれば必ず判定結果が真となる。なお、入射角の最も大きい光が遮られた良品における場合と同等の大きさの第1画素領域をもつ不良品は、第1ロジックでは見逃される(判定結果が真となる)。   In a high-density mounting substrate, light having the largest incident angle may be blocked by other components. In that case, a correct color pattern cannot be obtained, and even if the product is a non-defective product, the first pixel area becomes as small as a defective product. However, since the first determination condition is set to a value that eliminates overdetection of a non-defective product, the determination result is always true for a non-defective product. Note that a defective product having a first pixel area having the same size as that of a non-defective product that is blocked by light having the largest incident angle is overlooked in the first logic (the determination result is true).

次に、基板検査装置の第2検査手段が、第2ロジックに従って、前記検査画像の半田部分から前記第2色条件を満足する第2画素領域を抽出して、前記第2画素領域のもつ第2特徴量が前記第2判定条件を満足するか判定する。   Next, the second inspection means of the substrate inspection apparatus extracts a second pixel region that satisfies the second color condition from the solder portion of the inspection image according to the second logic, and the second pixel region has the second pixel region. It is determined whether the two feature amounts satisfy the second determination condition.

ここで、第2色条件は入射角が最も小さい光の色成分を含む画素を抽出するものであることから、第2画素領域は、良品では小さく(狭く)、不良品では大きく(広く)なる傾向にある。よって、第2特徴量も、第1特徴量と同様、画素領域の大きさを表す量を採用するとよい。なお、半田の不良には、半田なし、半田不足、半田過多など様々な形態があり、それぞれ第2画素領域の現れ方もまちまちである。よって、第2画素領域の構成画素が固まっていても離散していても同様の値が得られるという点で、第2特徴量として第2画素領域の面積(画素数)を採用することが好ましい。また、面積を用いた場合には、検査ロジック(第2判定条件)の生成が簡単になるという利点もある。   Here, since the second color condition is to extract pixels including the color component of light having the smallest incident angle, the second pixel region is small (narrow) for non-defective products and large (wide) for defective products. There is a tendency. Accordingly, the second feature amount may be an amount that represents the size of the pixel region, similarly to the first feature amount. Note that there are various forms of solder defects such as no solder, insufficient solder, excessive solder, and the appearance of the second pixel region varies. Therefore, it is preferable to adopt the area (number of pixels) of the second pixel region as the second feature amount in that the same value can be obtained regardless of whether the constituent pixels of the second pixel region are solid or discrete. . Further, when the area is used, there is an advantage that the generation of the inspection logic (second determination condition) is simplified.

第2画素領域の大きさは、入射角の最も大きい光が他の部品に遮られていても何ら影響を受けない。よって、第1ロジックで見逃される不良品と、入射角の最も大きい光が遮られた良品とのあいだに、第2特徴量の有意かつ明確な差異を見出すことが可能である。言い換えれば、第1ロジックで見逃され得る不良品を排除する値に第2判定条件を設定することが可能であり、この第2判定条件を用いれば少なくとも、第1ロジックにおいて良品と判定された部品の中から、見逃された不良品を除くことができる。   The size of the second pixel region is not affected at all even if the light having the largest incident angle is blocked by other components. Therefore, it is possible to find a significant and clear difference in the second feature amount between a defective product that is overlooked by the first logic and a non-defective product that is blocked by light having the largest incident angle. In other words, it is possible to set the second determination condition to a value that excludes defective products that can be overlooked by the first logic, and if this second determination condition is used, at least a component that is determined to be non-defective in the first logic You can remove the defective products that you missed.

そして、基板検査装置の判定手段は、前記第1ロジックおよび第2ロジックの判定結果が共に真の場合に前記検査対象部品を良品と判定する。これにより、入射角の最も大きい光が他の部品に遮られていたとしても、良品は良品と判定され、且つ、不良品の見逃しは排除されるので、高密度実装基板における半田フィレットについての高精度な良否判定を実現することができる。   Then, the determination means of the board inspection apparatus determines that the inspection target component is a non-defective product when the determination results of the first logic and the second logic are both true. As a result, even if the light having the largest incident angle is blocked by other parts, the non-defective product is determined to be non-defective and the oversight of the defective product is eliminated. An accurate pass / fail judgment can be realized.

上記第1ロジックおよび第2ロジックからなる検査ロジックは、本発明の検査ロジック生成装置によって自動生成される。検査ロジック生成装置は、画像取得手段、第1画素領域抽出手段、第1特徴量ヒストグラム生成手段、第1判定条件決定手段、特定不良品画像選出手段、第2画素領域抽出手段、第2特徴量ヒストグラム生成手段、第2判定条件決定手段、検査ロジック生成手段を有し、これらの機能は情報処理装置のプログラムによって実現される。   The inspection logic composed of the first logic and the second logic is automatically generated by the inspection logic generation device of the present invention. The inspection logic generation device includes an image acquisition unit, a first pixel region extraction unit, a first feature amount histogram generation unit, a first determination condition determination unit, a specific defective product image selection unit, a second pixel region extraction unit, and a second feature amount. A histogram generation unit, a second determination condition determination unit, and an inspection logic generation unit are included, and these functions are realized by a program of the information processing apparatus.

本発明の検査ロジック生成装置では、まず、画像取得手段が、半田付けの良好な部品を撮像して得られた複数の良品画像と半田付けの不良な部品を撮像して得られた複数の不良品画像とを取得する。   In the inspection logic generation device of the present invention, first, the image acquisition means captures a plurality of non-defective images obtained by imaging components with good soldering and a plurality of defects obtained by imaging components with poor soldering. Acquire non-defective images.

そして、第1画素領域抽出手段が、入射角が最も大きい光の色成分を含む画素を抽出するための第1色条件を用いて、前記良品画像および不良品画像のそれぞれから第1画素領
域を抽出し、第1特徴量ヒストグラム生成手段が、それぞれの第1画素領域がもつ第1特徴量について第1特徴量ヒストグラムを作成し、第1判定条件決定手段が、前記第1特徴量ヒストグラムにおいて前記良品画像の度数分布のすべてを内包するように第1判定条件を決定する。これにより、良品の過検出は排除し且つ不良品の見逃しは許容する値をもつ第1判定条件を生成することができる。
Then, the first pixel region extracting means extracts the first pixel region from each of the non-defective product image and the defective product image using the first color condition for extracting the pixel including the color component of the light having the largest incident angle. The first feature quantity histogram generating means creates a first feature quantity histogram for the first feature quantity of each first pixel region, and the first determination condition determining means uses the first feature quantity histogram in the first feature quantity histogram. The first determination condition is determined so as to include all the frequency distributions of the non-defective images. As a result, it is possible to generate the first determination condition having a value that eliminates the overdetection of the non-defective product and allows the oversight of the defective product.

ここで、第1特徴量として、「第1画素領域を構成するラインのうち、所定幅以上の画素数をもつラインの本数」を採用した場合には、次の手順で「幅」および「本数のしきい値」の最適解を探索するとよい。   Here, when “the number of lines having the number of pixels greater than or equal to a predetermined width among the lines constituting the first pixel region” is adopted as the first feature amount, the “width” and “number of lines” are determined by the following procedure. It is recommended to search for an optimal solution of “threshold value”.

まず、第1判定条件決定手段が、ラインの幅を任意に設定する。そして、前記良品画像および不良品画像それぞれの第1画素領域における前記幅以上の画素数をもつラインの本数について前記第1特徴量ヒストグラム生成手段に第1特徴量ヒストグラムを作成させ、前記良品画像の度数分布の下限よりも小さなにしきい値を設定し、そのしきい値による前記良品画像と前記不良品画像の分離度を算出する。   First, the first determination condition determining means arbitrarily sets the line width. Then, the first feature amount histogram generating unit is configured to create a first feature amount histogram for the number of lines having the number of pixels equal to or larger than the width in the first pixel region of each of the good product image and the defective product image, and the non-defective product image A threshold value is set smaller than the lower limit of the frequency distribution, and the degree of separation between the good product image and the defective product image based on the threshold value is calculated.

第1判定条件決定手段は、「幅」の設定値を変えながら、上述した一連の探索処理を繰り返すことによって、分離度が最大となる幅を決定し、決定された「幅」および「その幅におけるしきい値」を前記第1判定条件とする。これにより、自動的に第1判定条件の最適解を求めることができる。   The first determination condition determining means determines the width that maximizes the degree of separation by repeating the above-described series of search processes while changing the set value of “width”, and determines the determined “width” and “the width” The threshold value at “is used as the first determination condition. Thereby, the optimal solution of the first determination condition can be automatically obtained.

良品画像と不良品画像の分離度としては、種々の量を採用できるが、前記しきい値を超える度数の不良品画像の数に基づいて算出される量であることが好ましい。このような分離度を採用すれば、第1ロジックで見逃される不良品の数を少なくすることができ、最終的な判定精度の向上につながる。たとえば、単純に、しきい値を超える度数の不良品画像の数を分離度として採用してもよいし、その数の関数を分離度としてもよい。また、良品画像の度数分布の下限値と、しきい値以下の不良品画像の度数分布の上限値とのあいだの距離や、良品画像の度数分布のピーク値と不良品画像の度数分布のピーク値とのあいだの距離などを考慮することも好ましい。   As the degree of separation between the non-defective product image and the defective product image, various amounts can be adopted, but it is preferably an amount calculated based on the number of defective product images having a frequency exceeding the threshold value. If such a degree of separation is employed, the number of defective products that are missed by the first logic can be reduced, leading to an improvement in final determination accuracy. For example, the number of defective images having a frequency exceeding the threshold value may be simply adopted as the separation degree, or a function of the number may be used as the separation degree. In addition, the distance between the lower limit of the frequency distribution of good images and the upper limit of the frequency distribution of defective images below the threshold, the peak value of the frequency distribution of non-defective images, and the peak of the frequency distribution of defective images It is also preferable to consider the distance between the values.

第1判定条件が決定したら、特定不良品画像選出手段が、前記不良品画像の中から前記第1判定条件を満足する度数のものを特定不良品画像として選び出す。つまり、特定不良品画像とは、第1ロジックで見逃され得る不良品に対応している。   When the first determination condition is determined, the specific defective product image selection unit selects, as the specific defective product image, a frequency satisfying the first determination condition from the defective product images. That is, the specific defective product image corresponds to a defective product that can be overlooked in the first logic.

続いて、第2画素領域抽出手段が、入射角が最も小さい光の色成分を含む画素を抽出するための第2色条件を用いて、前記良品画像および前記特定不良品画像のそれぞれから第2画素領域を抽出し、第2特徴量ヒストグラム生成手段が、それぞれの第2画素領域がもつ第2特徴量について第2特徴量ヒストグラムを作成し、第2判定条件決定手段が、前記第2特徴量ヒストグラムの度数分布に基づいて、前記特定不良品画像の第2特徴量から前記良品画像の第2特徴量を分離するための第2判定条件を決定する。このように、第2判定条件の基準となる教師画像を、良品画像と特定不良品画像に限ったことにより、第1ロジックで見逃され得る不良品(特定不良品)の見逃しを排除する値をもつ第2判定条件を生成することができる。   Subsequently, the second pixel region extracting means uses the second color condition for extracting the pixel including the color component of the light having the smallest incident angle, and uses the second color condition to extract the second from each of the good product image and the specific defective product image. The pixel area is extracted, the second feature quantity histogram generating means creates a second feature quantity histogram for the second feature quantity of each second pixel area, and the second determination condition determining means is the second feature quantity. Based on the frequency distribution of the histogram, a second determination condition for separating the second feature quantity of the non-defective product image from the second feature quantity of the specific defective product image is determined. In this way, by limiting the teacher image serving as the reference for the second determination condition to the non-defective image and the specific defective product image, a value that eliminates the oversight of the defective product (specific defective product) that can be overlooked in the first logic. A second determination condition can be generated.

ここで、第2特徴量として、第2画素領域の面積を採用した場合には、上述したような探索処理が不要となるため、第2判定条件の決定処理が簡単になる。なお、第2特徴量として、「第2画素領域を構成するラインのうち、所定幅以上の画素数をもつラインの本数」を採用し、上述した探索処理に準じた手順で「幅」および「本数のしきい値」の最適解を探索することも可能である。   Here, when the area of the second pixel region is adopted as the second feature amount, the above-described search process is not necessary, and the determination process of the second determination condition is simplified. As the second feature amount, “the number of lines having a pixel number equal to or larger than a predetermined width among the lines constituting the second pixel region” is adopted, and the “width” and “ It is also possible to search for the optimal solution of the “threshold number”.

第1および第2判定条件が決定したら、検査ロジック生成手段が、検査対象部品を撮像して得られた検査画像から前記第1色条件を満足する画素領域を抽出して、その画素領域のもつ第1特徴量が前記第1判定条件を満足するか判定する第1ロジックと、前記検査画像から前記第2色条件を満たす画素領域を抽出して、その画素領域のもつ第2特徴量が前記第2判定条件を満足するか判定する第2ロジックとからなり、前記第1ロジックおよび第2ロジックの判定結果が共に真の場合に前記検査対象部品を良品と判定する検査ロジックを生成する。この検査ロジックは基板検査装置に渡され、半田フィレット検査に供される。   When the first and second determination conditions are determined, the inspection logic generation unit extracts a pixel area that satisfies the first color condition from an inspection image obtained by imaging the inspection target component, and the pixel area has First logic that determines whether or not the first feature amount satisfies the first determination condition, and a pixel region that satisfies the second color condition is extracted from the inspection image, and the second feature amount of the pixel region is The second logic for determining whether or not the second determination condition is satisfied, and when both the determination results of the first logic and the second logic are true, the inspection logic for determining the inspection target component as a non-defective product is generated. This inspection logic is passed to the board inspection apparatus and used for solder fillet inspection.

なお、本発明は、上記処理の少なくとも一部を含む基板検査装置の基板検査方法もしくは検査ロジック生成方法、または、かかる方法を実現するためのプログラムとして捉えることができる。また、本発明は、上記処理を実行する手段の少なくとも一部を有する基板検査装置または基板検査装置の検査ロジック生成装置として捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。   The present invention can be understood as a substrate inspection method or inspection logic generation method of a substrate inspection apparatus including at least a part of the above processing, or a program for realizing such a method. The present invention can also be understood as a substrate inspection apparatus having at least a part of the means for performing the above-described processing or an inspection logic generation apparatus of the substrate inspection apparatus. Each of the above means and processes can be combined with each other as much as possible to constitute the present invention.

本発明の基板検査装置によれば、高密度実装基板における半田フィレットの良否判定を高精度に行うことができる。また、本発明の検査ロジック生成装置によれば、基板検査装置に用いられるパラメータ、特に高密度実装基板における半田フィレット検査で用いられる検査ロジックを自動生成することができ、ティーチング作業の軽減、さらにはティーチングの自動化を図ることが可能となる。   According to the board inspection apparatus of the present invention, it is possible to determine the quality of the solder fillet on the high-density mounting board with high accuracy. Further, according to the inspection logic generation device of the present invention, parameters used in the substrate inspection device, in particular, inspection logic used in solder fillet inspection on a high-density mounting substrate can be automatically generated, and teaching work can be reduced. Teaching can be automated.

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。   Exemplary embodiments of the present invention will be described in detail below with reference to the drawings.

(基板検査システムの構成)
図1は、本発明の実施形態に係る基板検査システムのハードウェア構成を示している。
(Configuration of board inspection system)
FIG. 1 shows a hardware configuration of a board inspection system according to an embodiment of the present invention.

基板検査システムは、基板検査処理を実行する基板検査装置1と、この基板検査装置1の基板検査処理において用いられる検査ロジック(パラメータ)を自動生成する検査ロジック生成装置2とから構成される。基板検査装置1と検査ロジック生成装置2は、有線もしくは無線のネットワーク、または、MOやDVDなどの記録媒体を介して、画像やパラメータなどの電子データの受け渡しを行うことができる。なお、本実施形態では基板検査装置1と検査ロジック生成装置2が別体構成となっているが、基板検査装置本体に検査ロジック生成装置の機能を組み込んで一体構成とすることも可能である。   The substrate inspection system includes a substrate inspection apparatus 1 that executes a substrate inspection process, and an inspection logic generation apparatus 2 that automatically generates inspection logic (parameters) used in the substrate inspection process of the substrate inspection apparatus 1. The board inspection apparatus 1 and the inspection logic generation apparatus 2 can exchange electronic data such as images and parameters via a wired or wireless network, or a recording medium such as an MO or a DVD. In the present embodiment, the board inspection apparatus 1 and the inspection logic generation apparatus 2 are configured separately, but the function of the inspection logic generation apparatus can be incorporated into the board inspection apparatus main body to be integrated.

(基板検査装置の構成)
基板検査装置1は、カラーハイライト方式により基板20上の実装部品21の実装品質(半田付け状態など)を自動検査する装置である。基板検査装置1は、概略、Xステージ22、Yステージ23、投光部24、撮像部25、制御処理部26を備えている。
(Configuration of board inspection equipment)
The board inspection apparatus 1 is an apparatus for automatically inspecting the mounting quality (soldering state, etc.) of the mounting component 21 on the board 20 by a color highlight method. The substrate inspection apparatus 1 generally includes an X stage 22, a Y stage 23, a light projecting unit 24, an imaging unit 25, and a control processing unit 26.

Xステージ22およびYステージ23は、それぞれ制御処理部26からの制御信号に基づいて動作するモータ(図示せず)を備える。これらモータの駆動によりXステージ22が投光部24および撮像部25をX軸方向へ移動させ、またYステージ23が基板20を支持するコンベヤ27をY軸方向へ移動させる。   Each of the X stage 22 and the Y stage 23 includes a motor (not shown) that operates based on a control signal from the control processing unit 26. By driving these motors, the X stage 22 moves the light projecting unit 24 and the imaging unit 25 in the X axis direction, and the Y stage 23 moves the conveyor 27 that supports the substrate 20 in the Y axis direction.

投光部24は、異なる径を有しかつ制御処理部26からの制御信号に基づき赤色光,緑色光,青色光を同時に照射する3個の円環状光源28,29,30により構成されている。各光源28,29,30は、観測位置の真上位置に中心を合わせかつ観測位置から見て異なる仰角に対応する方向に配置されている。かかる配置により、投光部24は基板20
上の実装部品21に異なる入射角で複数の色の光(本実施形態では、R,G,Bの3色)を照射する。
The light projecting unit 24 includes three annular light sources 28, 29, and 30 that have different diameters and that simultaneously emit red light, green light, and blue light based on a control signal from the control processing unit 26. . The light sources 28, 29, and 30 are arranged in directions corresponding to different elevation angles when centered on the position directly above the observation position and viewed from the observation position. With this arrangement, the light projecting unit 24 is connected to the substrate 20.
The upper mounting component 21 is irradiated with light of a plurality of colors (three colors of R, G, and B in this embodiment) at different incident angles.

撮像部25はカラーカメラであって、観測位置の真上位置に下方に向けて位置決めしてある。これにより基板表面の反射光が撮像部25により撮像され、三原色のカラー信号R,G,Bに変換されて制御処理部26へ供給される。   The imaging unit 25 is a color camera, and is positioned downward at a position directly above the observation position. As a result, the reflected light on the substrate surface is imaged by the imaging unit 25, converted into color signals R, G, and B of the three primary colors and supplied to the control processing unit 26.

制御処理部26は、A/D変換部33、画像処理部34、検査ロジック記憶部35、判定部36、撮像コントローラ31、XYステージコントローラ37、メモリ38、制御部(CPU)39、記憶部32、入力部40、表示部41、プリンタ42、通信I/F43などで構成される。   The control processing unit 26 includes an A / D conversion unit 33, an image processing unit 34, an inspection logic storage unit 35, a determination unit 36, an imaging controller 31, an XY stage controller 37, a memory 38, a control unit (CPU) 39, and a storage unit 32. , An input unit 40, a display unit 41, a printer 42, a communication I / F 43, and the like.

A/D変換部33は、撮像部25からのカラー信号R,G,Bを入力してディジタル信号に変換する回路である。各色相毎のディジタル量の濃淡画像データは、メモリ38内の画像データ格納エリアへと転送される。   The A / D conversion unit 33 is a circuit that receives the color signals R, G, and B from the imaging unit 25 and converts them into digital signals. The digital grayscale image data for each hue is transferred to the image data storage area in the memory 38.

撮像コントローラ31は、制御部39と投光部24および撮像部25とを接続するインターフェイスなどを備える回路であり、制御部39の出力に基づき投光部24の各光源28,29,30の光量を調整したり、撮像部25の各色相光出力の相互バランスを保つなどの制御を行う。   The imaging controller 31 is a circuit including an interface for connecting the control unit 39 to the light projecting unit 24 and the image capturing unit 25, and the light amount of each light source 28, 29, 30 of the light projecting unit 24 based on the output of the control unit 39. And control such as maintaining the mutual balance of the hue light outputs of the imaging unit 25 is performed.

XYステージコントローラ37は制御部39とXステージ22およびYステージ23とを接続するインターフェイスなどを備える回路であり、制御部39の出力に基づきXステージ22およびYステージ23の駆動を制御する。   The XY stage controller 37 is a circuit including an interface for connecting the control unit 39 to the X stage 22 and the Y stage 23, and controls driving of the X stage 22 and the Y stage 23 based on the output of the control unit 39.

検査ロジック記憶部35は、基板検査処理に用いられる検査ロジックを記憶する記憶部である。基板検査装置1では、半田形状を検査するフィレット検査や部品の欠落を検査する欠落検査など、複数種類の検査処理を行うことができる。検査ロジックは、検査の種類ごとに用意されるものであって、画像から所定の色彩パターン(画素領域)を抽出するための色パラメータ(色条件)、その色彩パターンから抽出する特徴量の種類、その特徴量に関する良否の判定条件などから構成される。   The inspection logic storage unit 35 is a storage unit that stores inspection logic used for substrate inspection processing. The board inspection apparatus 1 can perform a plurality of types of inspection processes such as a fillet inspection for inspecting a solder shape and a lack inspection for inspecting a missing part. The inspection logic is prepared for each type of inspection, and includes color parameters (color conditions) for extracting a predetermined color pattern (pixel area) from the image, types of feature values extracted from the color pattern, Consists of pass / fail judgment conditions related to the feature amount.

画像処理部34は、基板20上の部品21を撮像して得られた画像から色パラメータを満たす領域を抽出する処理、および、抽出された領域から所定の特徴量を算出する処理を実行する回路である。判定部36は、画像処理部34で算出された特徴量を受け取り、その特徴量が所定の判定条件を満たすか否かで部品の実装状態の良否を判定する処理を実行する回路である。   The image processing unit 34 performs a process of extracting a region satisfying the color parameter from an image obtained by imaging the component 21 on the substrate 20 and a process of calculating a predetermined feature amount from the extracted region. It is. The determination unit 36 is a circuit that receives the feature amount calculated by the image processing unit 34 and executes processing for determining whether the component mounting state is good or not based on whether or not the feature amount satisfies a predetermined determination condition.

入力部40は、操作情報や基板20に関するデータなどを入力するのに必要なキーボードやマウスなどから構成されている。入力されたデータは制御部39へ供給される。通信I/F43は、検査ロジック生成装置2や他の外部装置などとの間でデータの送受信を行うためのものである。   The input unit 40 includes a keyboard, a mouse, and the like necessary for inputting operation information and data related to the substrate 20. The input data is supplied to the control unit 39. The communication I / F 43 is for transmitting and receiving data to and from the inspection logic generation device 2 and other external devices.

制御部(CPU)39は、各種演算処理や制御処理を実行する回路である。記憶部32は、ハードディスクやメモリから構成される記憶装置であって、制御部39にて実行されるプログラムの他、基板のCAD情報、基板検査処理の判定結果などが格納される。   The control unit (CPU) 39 is a circuit that executes various arithmetic processes and control processes. The storage unit 32 is a storage device composed of a hard disk and a memory, and stores the CAD information of the substrate, the determination result of the substrate inspection process, and the like in addition to the program executed by the control unit 39.

図2に基板検査装置1の機能構成を示す。基板検査装置1は、指示情報受付機能10、基板搬入機能11、CAD情報読込機能12、ステージ操作機能13、撮像機能14、検査ロジック読込機能15、検査機能16、判定結果書込機能17、基板搬出機能18を有
する。また、検査機能16は、半田領域抽出機能16a、第1検査機能16b、第2検査機能16c、判定機能16dから構成される。これらの機能は、制御部39が記憶部32に格納されたプログラムに従って上記ハードウェアを制御することによって実現されるものである。また、記憶部32の内部には、CAD情報を記憶するCAD情報記憶部32aと判定結果を記憶する判定結果記憶部32bが設けられている。
FIG. 2 shows a functional configuration of the substrate inspection apparatus 1. The board inspection apparatus 1 includes an instruction information reception function 10, a board carry-in function 11, a CAD information reading function 12, a stage operation function 13, an imaging function 14, an inspection logic reading function 15, an inspection function 16, a determination result writing function 17, and a board. An unloading function 18 is provided. The inspection function 16 includes a solder region extraction function 16a, a first inspection function 16b, a second inspection function 16c, and a determination function 16d. These functions are realized by the control unit 39 controlling the hardware according to a program stored in the storage unit 32. In addition, a CAD information storage unit 32 a that stores CAD information and a determination result storage unit 32 b that stores determination results are provided inside the storage unit 32.

(基板検査処理)
次に、上記基板検査装置1における基板検査処理について述べる。ここでは、基板検査処理の一例として、高密度実装基板に対応した半田フィレット検査を説明する。半田フィレット検査とは、半田フィレットの形状が良好か否かを判定する処理である。
(Board inspection processing)
Next, substrate inspection processing in the substrate inspection apparatus 1 will be described. Here, a solder fillet inspection corresponding to a high-density mounting substrate will be described as an example of the substrate inspection processing. The solder fillet inspection is a process for determining whether or not the shape of the solder fillet is good.

図3(a)に示すように、良品の半田フィレットでは、部品21から基板20上のランドにかけて山の裾野のような広い傾斜面が形成される。これに対し、半田不足が起こると傾斜面の面積が小さくなり、逆に半田過多の場合には半田フィレットがランド上に盛り上がった形状となる。   As shown in FIG. 3A, in a good solder fillet, a wide inclined surface like a mountain skirt is formed from the component 21 to the land on the substrate 20. On the other hand, when the solder shortage occurs, the area of the inclined surface is reduced. Conversely, when the solder is excessive, the solder fillet is raised on the land.

これらの半田フィレットを基板検査装置1で撮像すると、それぞれ図3(b)に示すような画像(色彩パターン)が得られる。赤色,緑色,青色の照射光はそれぞれ異なる角度で半田フィレットに入射するため、半田フィレットの傾斜に応じて撮像部25に入射する反射光の色相が変化する。つまり、傾斜の急な部分では入射角度の最も浅い青色光の反射光が支配的となるのに対し、傾斜がほとんどない部分では赤色光の反射光が支配的となる。   When these solder fillets are imaged by the board inspection apparatus 1, images (color patterns) as shown in FIG. 3B are obtained. Since the red, green, and blue irradiation lights are incident on the solder fillet at different angles, the hue of the reflected light that is incident on the imaging unit 25 changes according to the inclination of the solder fillet. That is, the reflected light of the blue light having the shallowest incident angle is dominant in the steep portion, whereas the reflected light of the red light is dominant in the portion having almost no inclination.

したがって、通常は、良品の半田フィレットでは青系色の画素領域が大きく、赤系色の画素領域が小さくなり、不良品の半田フィレットでは逆に青系色の画素領域が小さく、赤系色の画素領域が大きくなるのである。ただし、他の部品により青色光が遮られた半田フィレットでは、たとえ良品であっても青系色の画素領域が不良品並に小さくなる(赤系色の画素領域には影響がない)。   Therefore, normally, a non-defective solder fillet has a large blue-colored pixel area and a small red-colored pixel area, whereas a defective solder fillet has a small blue-colored pixel area and a red-colored pixel area. The pixel area becomes large. However, in a solder fillet in which blue light is blocked by other parts, even if it is a non-defective product, the blue-color pixel area becomes as small as a defective product (the red-color pixel area is not affected).

本実施形態のフィレット検査では、このような色彩パターンの傾向を利用し、青色領域の大きさに基づき良否判定を行う第1ロジックと、赤色領域の大きさに基づき良否判定を行う第2ロジックとを組み合わせることによって、高密度実装に対応したフィレット検査を実現する。以下、図4のフローチャートに沿って、フィレット検査の処理の流れを具体的に説明する。   In the fillet inspection according to the present embodiment, using such a tendency of the color pattern, a first logic that performs pass / fail determination based on the size of the blue region, and a second logic that performs pass / fail determination based on the size of the red region, By combining, fillet inspection compatible with high-density mounting is realized. Hereinafter, the flow of fillet inspection processing will be described in detail with reference to the flowchart of FIG.

指示情報受付機能10は、基板検査の実行を指示する指示情報が入力されるまで待ち状態にある(ステップS100;NO、ステップS101)。入力部40の操作により、もしくは、通信I/F43を介して外部機器から指示情報が入力されると、指示情報受付機能10が指示情報を、基板搬入機能11、CAD情報読込機能12および検査ロジック読込機能15に送る(ステップS100;YES)。この指示情報には検査対象となる基板の情報(型番など)が含まれている。   The instruction information receiving function 10 is in a waiting state until instruction information for instructing execution of substrate inspection is input (step S100; NO, step S101). When instruction information is input from an external device by operating the input unit 40 or via the communication I / F 43, the instruction information receiving function 10 receives the instruction information, the board carry-in function 11, the CAD information reading function 12, and the inspection logic. The data is sent to the reading function 15 (step S100; YES). The instruction information includes information (model number, etc.) of the board to be inspected.

検査ロジック読込機能15は、基板の型番に対応する検査ロジックを検査ロジック記憶部35から読み込む(ステップS102)。ここではフィレット検査用の検査ロジックが読み込まれる。   The inspection logic reading function 15 reads the inspection logic corresponding to the model number of the board from the inspection logic storage unit 35 (step S102). Here, the inspection logic for the fillet inspection is read.

本実施形態の検査ロジックは第1ロジックと第2ロジックとから構成される。第1ロジックには、入射角が最も大きい光の色成分を含む画素(つまり、青系色の画素)を抽出するための第1色パラメータ(第1色条件)、および、幅としきい値からなる第1判定条件が含まれる。また、第2ロジックには、入射角が最も小さい光の色成分を含む画素(つま
り、赤系色の画素)を抽出するための第2色パラメータ(第2色条件)、および、しきい値からなる第2判定条件が含まれている。
The inspection logic of this embodiment is composed of a first logic and a second logic. The first logic includes a first color parameter (first color condition) for extracting a pixel including a light color component having the largest incident angle (that is, a blue color pixel), a width and a threshold value. A first determination condition is included. The second logic includes a second color parameter (second color condition) for extracting a pixel (that is, a red color pixel) including a light color component having the smallest incident angle, and a threshold value. Is included.

基板搬入機能11は、指示情報に基づいてプリント基板搬入部から検査対象となる基板20をコンベヤ27上に搬入し(ステップS103)、CAD情報読込機能12は、基板の型番に対応するCAD情報をCAD情報記憶部32aから読み込む(ステップS104)。   Based on the instruction information, the board carry-in function 11 carries the board 20 to be inspected from the printed board carry-in section onto the conveyor 27 (step S103), and the CAD information reading function 12 receives the CAD information corresponding to the model number of the board. Read from the CAD information storage unit 32a (step S104).

次に、ステージ操作機能13は、読み込まれたCAD情報から基板20の寸法、形状、部品の配置などの情報を得て、基板20上に実装された複数の部品21が順に観測位置(撮像位置)に位置合わせされるように、XYステージコントローラ37を介してXステージ22およびYステージ23を操作する(ステップS105)。   Next, the stage operation function 13 obtains information such as the dimensions, shape, and component arrangement of the substrate 20 from the read CAD information, and the plurality of components 21 mounted on the substrate 20 are sequentially observed positions (imaging positions). The X stage 22 and the Y stage 23 are operated via the XY stage controller 37 (step S105).

一方、撮像機能14は、撮像コントローラ31を介して投光部24の3個の光源28,29,30を発光させ、赤色、緑色、青色の光を同時に基板20上に照射する。また、撮像機能14は、撮像コントローラ31を介して撮像部25を制御し、ステージ22,23の操作に同期して基板20上の部品21を撮像する(ステップS106)。撮像された画像はメモリ38に取り込まれる。   On the other hand, the imaging function 14 causes the three light sources 28, 29, and 30 of the light projecting unit 24 to emit light via the imaging controller 31, and simultaneously irradiates red, green, and blue light onto the substrate 20. In addition, the imaging function 14 controls the imaging unit 25 via the imaging controller 31, and images the component 21 on the substrate 20 in synchronization with the operation of the stages 22 and 23 (step S106). The captured image is taken into the memory 38.

検査機能16では、半田領域抽出機能16aが、画像処理部34によって撮像画像から半田領域を抽出する(ステップS107)。半田領域の抽出はたとえばテンプレートマッチングにより自動で行うことができる。   In the inspection function 16, the solder area extraction function 16a extracts the solder area from the captured image by the image processing unit 34 (step S107). The extraction of the solder region can be automatically performed by template matching, for example.

続いて、第1検査機能16bが、第1ロジックに従って、抽出された半田領域から第1色パラメータを満足する第1画素領域を抽出する(ステップS108)。ここで用いられる第1色パラメータは、青色の彩度の下限と上限、および、明度の下限と上限の4つの値で構成されている。第1検査機能16bは、二値化処理によって、第1色パラメータで定義された色範囲内に含まれる画素を白画素に、それ以外の画素を黒画素に変換する。図3(c)は、二値化後の半田領域を示している。第1色パラメータで二値化することにより、半田領域中の青系色の第1画素領域のみが白画素として抽出されていることがわかる。   Subsequently, the first inspection function 16b extracts a first pixel area that satisfies the first color parameter from the extracted solder area according to the first logic (step S108). The first color parameter used here is composed of four values: a lower limit and an upper limit of blue saturation, and a lower limit and an upper limit of lightness. The first inspection function 16b converts pixels included in the color range defined by the first color parameter into white pixels and other pixels into black pixels by binarization processing. FIG. 3C shows the solder area after binarization. By binarizing with the first color parameter, it can be seen that only the first pixel area of the blue color in the solder area is extracted as a white pixel.

次に、第1検査機能16bは、画像処理部34にて、第1画素領域(白画素領域)の特徴量を抽出する(ステップS109)。ここでは図5に示すように、特徴量として、第1画素領域を構成するラインのうち、第1判定条件で規定された幅(以下、「規定幅」と呼ぶ)以上の画素数をもつラインの本数(以下、「規定幅ライン数」と呼ぶ)が算出される。図5の例では、良品の第1画素領域から「4本」、不良品の第1画素領域から「1本」という特徴量が抽出されている。この特徴量は画素領域の固まりの大きさを反映しており、良品画像における青系色領域を見分けるのに適している。なお、説明をわかりやすくするために図5では10×10画素の画像を例示したが、実際の検査では数十×数十〜百数十×百数十程度の画像が用いられる。   Next, the first inspection function 16b extracts the feature amount of the first pixel region (white pixel region) in the image processing unit 34 (step S109). Here, as shown in FIG. 5, a line having the number of pixels equal to or greater than the width defined by the first determination condition (hereinafter referred to as “defined width”) among the lines constituting the first pixel region as the feature amount. (Hereinafter referred to as “specified width line number”). In the example of FIG. 5, feature quantities “4” are extracted from the first pixel area of the non-defective product, and “1” is extracted from the first pixel area of the defective product. This feature amount reflects the size of a cluster of pixel areas, and is suitable for distinguishing a blue color area in a non-defective image. In order to make the explanation easy to understand, an image of 10 × 10 pixels is illustrated in FIG. 5, but an image of about several tens × several tens to several hundreds × hundreds tens is used in an actual inspection.

次に、第1検査機能16bは、第1画素領域の規定幅ライン数を判定部36に引き渡し、判定部36にて第1画素領域の規定幅ライン数と第1判定条件に含まれるしきい値とを比較する(ステップS110)。規定幅ライン数がしきい値を超えた場合には「真」と判定され、しきい値以下の場合には「偽」と判定される。たとえば、しきい値が「3本」であれば、図5の良品は「真」、不良品は「偽」という判定結果が得られる。   Next, the first inspection function 16b passes the specified width line number of the first pixel region to the determination unit 36, and the determination unit 36 includes the specified width line number of the first pixel region and the threshold included in the first determination condition. The value is compared (step S110). When the specified number of lines exceeds the threshold value, it is determined as “true”, and when it is equal to or less than the threshold value, it is determined as “false”. For example, if the threshold value is “3”, the determination result is “true” for the non-defective product in FIG. 5 and “false” for the defective product.

本実施形態では、第1判定条件の規定幅としきい値とが、良品の過検出は排除し且つ不良品の見逃しは許容する値に予め設定されている(具体的な設定方法については後述する)。技術常識的には、検査に用いられる判定条件は良品の過検出は許容し且つ不良品の見
逃しは排除する値に設定されるものであるが、本実施形態ではあえてその逆の設定を採用している。これにより、図3(d)に示すように、遮光の有無に拘わらず、良品であれば必ず第1ロジックの判定結果が「真」となる。なお、左から2番目の不良品は、遮光ありの良品と同等の大きさの第1画素領域をもつため、その判定結果は「真」となり、不良品の見逃しが起こる。この見逃し不良品を排除するために、第1ロジックで「真」と判定された画像は、第2ロジックにかけられることとなる(ステップS110;YES)。
In the present embodiment, the specified width and threshold value of the first determination condition are preset to values that eliminate overdetection of non-defective products and allow oversight of defective products (a specific setting method will be described later). ). Technical common sense is that the judgment condition used for inspection is set to a value that allows overdetection of non-defective products and excludes oversight of defective products, but in the present embodiment, the opposite setting is used. ing. As a result, as shown in FIG. 3D, the determination result of the first logic is always “true” if it is a non-defective product regardless of the presence or absence of light shielding. Since the second defective product from the left has the first pixel area having the same size as the non-defective product with light shielding, the determination result is “true” and the defective product is overlooked. In order to eliminate this missed defective product, the image determined as “true” by the first logic is applied to the second logic (step S110; YES).

第2検査機能16cは、第2ロジックに従って、半田領域から第2色パラメータを満足する第2画素領域を抽出する(ステップS111)。ここで用いられる第2色パラメータは、赤色の彩度の下限と上限、および、明度の下限と上限の4つの値で構成されている。第2検査機能16cは、二値化処理によって、第2色パラメータで定義された色範囲内に含まれる画素を白画素に、それ以外の画素を黒画素に変換する。図3(e)は、二値化後の半田領域を示している。第2色パラメータで二値化することにより、半田領域中の赤系色の第2画素領域のみが白画素として抽出されていることがわかる。   The second inspection function 16c extracts a second pixel area that satisfies the second color parameter from the solder area according to the second logic (step S111). The second color parameter used here is composed of four values, a lower limit and an upper limit of red saturation and a lower limit and an upper limit of lightness. The second inspection function 16c converts the pixels included in the color range defined by the second color parameter into white pixels and the other pixels into black pixels by binarization processing. FIG. 3E shows the solder area after binarization. By binarizing with the second color parameter, it can be seen that only the second pixel area of the red color in the solder area is extracted as a white pixel.

次に、第2検査機能16cは、画像処理部34にて、第2画素領域(白画素領域)の特徴量を抽出する(ステップS112)。ここでは特徴量として第2画素領域の面積値(画素数)が算出される。そして、第2検査機能16cは、面積値を判定部36に引き渡し、判定部36にて第2画素領域の面積値と第2判定条件に含まれるしきい値とを比較する(ステップS113)。面積値がしきい値以下の場合には「真」と判定され、しきい値を超えた場合には「偽」と判定される。   Next, in the second inspection function 16c, the image processing unit 34 extracts the feature amount of the second pixel area (white pixel area) (step S112). Here, the area value (number of pixels) of the second pixel region is calculated as the feature amount. Then, the second inspection function 16c passes the area value to the determination unit 36, and the determination unit 36 compares the area value of the second pixel region with the threshold value included in the second determination condition (step S113). When the area value is equal to or smaller than the threshold value, it is determined as “true”, and when it exceeds the threshold value, it is determined as “false”.

本実施形態では、第2判定条件のしきい値が、第1ロジックで見逃され得る不良品の見逃しを排除する値に予め設定されている(具体的な設定方法については後述する)。これにより、図3(f)に示すように、良品の場合は判定結果が「真」となり、第1ロジックで見逃された不良品については判定結果が「偽」となる。   In the present embodiment, the threshold value of the second determination condition is set in advance to a value that excludes overlooking of defective products that can be overlooked in the first logic (a specific setting method will be described later). As a result, as shown in FIG. 3F, the determination result is “true” for a non-defective product, and the determination result is “false” for a defective product that is missed by the first logic.

判定機能16dは、第1ロジックおよび第2ロジックの判定結果が共に「真」の場合に検査対象部品を「良品」と判定し、少なくともいずれか一方の判定結果が「偽」の場合には「不良品」と判定する(ステップS114,S115)。図3の破線は「良品」と判定される対象を表している。   The determination function 16d determines that the component to be inspected is “non-defective” when the determination results of the first logic and the second logic are both “true”, and “decision” when at least one of the determination results is “false”. It is determined as “defective product” (steps S114 and S115). The broken line in FIG. 3 represents an object to be determined as “good”.

判定結果書込機能17は、上記判定結果をロケーションID(部品を特定するための情報)とともに判定結果記憶部32bに書き込む(ステップS116)。   The determination result writing function 17 writes the determination result together with the location ID (information for specifying a part) in the determination result storage unit 32b (step S116).

基板20上のすべての部品について検査を行ったら、基板搬出機能18がプリント基板搬送部によって基板20を搬出し、基板検査処理を終了する(ステップS117)。   When all the components on the board 20 have been inspected, the board carry-out function 18 carries out the board 20 by the printed board carrying section, and the board inspection process is terminated (step S117).

以上述べた基板検査処理によれば、2次元画像に現れる色彩パターンによって半田フィレットの3次元形状を的確に把握できるため、半田実装品質の良否を正確に判定可能となる。しかも、青色光が他の部品に遮られたとしても、良品は良品と判定され、且つ、不良品の見逃しは排除されるので、高密度実装基板における半田フィレットについての高精度な良否判定を実現することができる。   According to the board inspection processing described above, since the three-dimensional shape of the solder fillet can be accurately grasped by the color pattern appearing in the two-dimensional image, it is possible to accurately determine the quality of the solder mounting quality. Moreover, even if the blue light is blocked by other parts, the non-defective product is judged as a non-defective product and the oversight of the defective product is eliminated. can do.

では次に、上述した検査ロジックを生成する方法について説明する。本実施形態では、検査ロジック生成装置2によって検査ロジックが自動的に生成される。   Next, a method for generating the above-described inspection logic will be described. In the present embodiment, the inspection logic is automatically generated by the inspection logic generation device 2.

(検査ロジック生成装置の構成)
検査ロジック生成装置2は、図1に示すように、CPU、メモリ、ハードディスク、I/O制御部、通信I/F、表示部、情報入力部(キーボードやマウス)などを基本ハード
ウェアとして備える汎用のコンピュータ(情報処理装置)によって構成される。
(Configuration of inspection logic generator)
As shown in FIG. 1, the inspection logic generation device 2 is a general-purpose device including a CPU, a memory, a hard disk, an I / O control unit, a communication I / F, a display unit, an information input unit (keyboard and mouse), etc. as basic hardware. Computer (information processing apparatus).

図6に検査ロジック生成装置2の機能構成を示す。検査ロジック生成装置2は、指示情報受付機能50、教師画像情報読込機能51、画像取得機能52、振分機能53、第1画素領域抽出機能54、第1特徴量抽出機能55、第1特徴量ヒストグラム生成機能56、第1判定条件決定機能57、特定不良品画像選出機能58、第2画像領域抽出機能59、第2特徴量抽出機能60、第2特徴量ヒストグラム生成機能61、第2判定条件決定機能62、検査ロジック生成機能63、検査ロジック書込機能64を有する。これらの機能は、メモリもしくはハードディスクに格納されたプログラムがCPUに読み込まれ実行されることによって実現されるものである。   FIG. 6 shows a functional configuration of the inspection logic generation device 2. The inspection logic generation device 2 includes an instruction information reception function 50, a teacher image information reading function 51, an image acquisition function 52, a distribution function 53, a first pixel area extraction function 54, a first feature quantity extraction function 55, and a first feature quantity. Histogram generation function 56, first determination condition determination function 57, specific defective product image selection function 58, second image region extraction function 59, second feature quantity extraction function 60, second feature quantity histogram generation function 61, second determination condition A determination function 62, an inspection logic generation function 63, and an inspection logic writing function 64 are provided. These functions are realized by a program stored in a memory or a hard disk being read and executed by a CPU.

また、ハードディスク内には、ティーチングに用いる教師画像情報を記憶する教師画像情報DB65が設けられている。教師画像情報は、基板検査装置1によって撮像された実装部品の画像と、その画像が検出すべきもの(良品)か除外すべきもの(不良品)かを示す教師情報(ティーチングデータ)とからなる。ティーチングの信頼性を高めるために、良品と不良品それぞれについて数十〜数千の教師画像情報を準備することが好ましい。   In addition, a teacher image information DB 65 that stores teacher image information used for teaching is provided in the hard disk. The teacher image information includes an image of the mounted component imaged by the board inspection apparatus 1 and teacher information (teaching data) indicating whether the image should be detected (non-defective product) or excluded (defective product). In order to increase the reliability of teaching, it is preferable to prepare dozens to thousands of teacher image information for each of the non-defective product and the defective product.

(検査ロジック生成処理)
図7Aおよび図7Bのフローチャートに沿って、検査ロジック生成処理の流れを説明する。
(Inspection logic generation process)
The flow of the inspection logic generation process will be described along the flowcharts of FIGS. 7A and 7B.

指示情報受付機能50は、検査ロジックの自動生成を指示する指示情報が入力されるまで待ち状態にある(ステップS200;NO、ステップS201)。情報入力部から指示情報が入力されると、指示情報受付機能50は教師画像情報読込機能51に指示情報を伝える(ステップS200;YES)。この指示情報には検査ロジック生成の対象となる教師画像情報を特定する情報、および、検査ロジックの種類などが含まれている。   The instruction information receiving function 50 is in a waiting state until instruction information for instructing automatic generation of inspection logic is input (step S200; NO, step S201). When the instruction information is input from the information input unit, the instruction information receiving function 50 transmits the instruction information to the teacher image information reading function 51 (step S200; YES). This instruction information includes information for specifying teacher image information to be subjected to inspection logic generation, the type of inspection logic, and the like.

教師画像情報読込機能51は、指示情報に従って、作成すべき検査ロジックに対応する教師画像情報を教師画像情報DB65から読み込む(ステップS202)。教師画像情報には、良品画像(半田フィレットの良好な画像)と不良品画像(半田フィレットの不良な画像)とが含まれる。また良品画像には、青色光が他の部品により遮られている部品の画像と、青色光が正しく照射されている部品の画像とが含まれる。これらの画像には教師情報が付与されている。   The teacher image information reading function 51 reads teacher image information corresponding to the examination logic to be created from the teacher image information DB 65 in accordance with the instruction information (step S202). The teacher image information includes a non-defective image (an image with a good solder fillet) and a defective image (an image with a defective solder fillet). The non-defective image includes an image of a component in which blue light is blocked by another component and an image of a component that is correctly irradiated with blue light. Teacher information is given to these images.

教師画像情報が読み込まれたら、画像取得機能52が、教師情報の付与された画像から半田領域を抽出する(ステップS203)。画像取得機能52は、図8に示すように、ランドウィンドウ70と部品本体ウィンドウ71から構成されるテンプレートを有しており、テンプレートを拡大/縮小したり、ランドウィンドウ70と部品本体ウィンドウ71の相対位置をずらしたりしながら、各ウィンドウ70,71を画像中のランド領域72および部品73に合わせ込む。ウィンドウの合わせ込みには、例えば、テンプレートマッチングなどの手法を利用すればよい。これにより、良品画像と不良品画像それぞれについてランド領域72が特定される。そして、ランドウィンドウ70から部品本体ウィンドウ71との重なり部分を除いた領域が半田領域として抽出される(図8の斜線部分参照)。   When the teacher image information is read, the image acquisition function 52 extracts a solder area from the image to which the teacher information is added (step S203). As shown in FIG. 8, the image acquisition function 52 has a template composed of a land window 70 and a component main body window 71, and enlarges / reduces the template, or relative to the land window 70 and the component main body window 71. The windows 70 and 71 are aligned with the land area 72 and the part 73 in the image while shifting the position. For example, a method such as template matching may be used for matching the windows. Thereby, the land area 72 is specified for each of the non-defective product image and the defective product image. And the area | region except the overlap part with the component main body window 71 from the land window 70 is extracted as a solder area | region (refer the shaded part of FIG. 8).

次に、振分機能53が、教師情報に基づき、抽出された半田領域を良品画像と不良品画像とに振り分ける(ステップS204)。良品画像や不良品画像の例は、図3(b)を参照のこと。   Next, the distribution function 53 distributes the extracted solder area into a non-defective product image and a defective product image based on the teacher information (step S204). See FIG. 3B for examples of non-defective images and defective images.

(1)第1判定条件の決定処理
第1画素領域抽出機能54は、予め設定されている第1色パラメータを用いて、良品画
像および不良品画像のすべての半田領域を二値化する(ステップS205)。第1色パラメータは、青色の彩度の下限と上限、および、明度の下限と上限の4つの値で構成されている。第1色パラメータの値は、青色全体を包含するように設定されていてもよいし、良品画像と不良品画像それぞれの画素の色の傾向から自動的に算出するようにしてもよい。この二値化処理では、第1色パラメータで定義された色範囲内に含まれる青系色画素が白画素に、それ以外の画素が黒画素に変換される。二値化後の白画素領域を第1画素領域と呼ぶ。
(1) First Determination Condition Determination Process The first pixel area extraction function 54 binarizes all solder areas of the non-defective product image and the defective product image using the preset first color parameters (step S205). The first color parameter is composed of four values: a lower limit and an upper limit of blue saturation, and a lower limit and an upper limit of lightness. The value of the first color parameter may be set so as to include the entire blue color, or may be automatically calculated from the pixel color tendency of each of the non-defective product image and the defective product image. In this binarization process, blue color pixels included in the color range defined by the first color parameter are converted into white pixels, and other pixels are converted into black pixels. The white pixel area after binarization is called a first pixel area.

図3(c)に示すように、原則として、良品画像では第1画素領域が非常に大きく、不良品画像では第1画素領域がきわめて小さくなる。よって、このような二値化画像を利用すると、良品・不良品を識別するための特徴量を定量的に計算するのが容易になる。特徴量としては、第1画素領域の面積、面積比、重心、長さ、最大幅、形状などが挙げられるが、ここでは上述したように規定幅ライン数を特徴量として選ぶ。   As shown in FIG. 3C, in principle, the first pixel region is very large in a non-defective image, and the first pixel region is extremely small in a defective image. Therefore, when such a binarized image is used, it becomes easy to quantitatively calculate a feature amount for identifying a non-defective product or a defective product. Examples of the feature amount include the area of the first pixel region, the area ratio, the center of gravity, the length, the maximum width, the shape, and the like. Here, as described above, the specified width line number is selected as the feature amount.

ただし、規定幅の設定しだいで規定幅ライン数は変化し、良品と不良品の分離度も変化する。そこで本実施形態では、規定幅を仮の値に設定し、良品画像および不良品画像それぞれの第1画素領域における規定幅ライン数について第1特徴量ヒストグラムを作成し、良品画像の度数分布の下限よりも小さな値にしきい値を設定し、そのしきい値による良品画像と不良品画像の分離度を算出する、といった一連の探索処理を繰り返すことによって、分離度が最大となる最適な規定幅を決定する。   However, as the specified width is set, the number of specified width lines changes, and the degree of separation between non-defective products and defective products also changes. Therefore, in the present embodiment, the specified width is set to a temporary value, a first feature amount histogram is created for the specified number of lines in the first pixel area of each of the good image and the defective image, and the lower limit of the frequency distribution of the good image By setting a threshold value to a smaller value and calculating the degree of separation between the non-defective product image and the defective product image based on the threshold value, the optimum specified width that maximizes the degree of separation is repeated. decide.

具体的には、まず、第1特徴量抽出機能55が、良品画像と不良品画像それぞれの第1画素領域についてライン毎の幅(白画素の数)を計算する(ステップS206)。図9に示すように、良品画像では幅の広いラインが多く、不良品画像では少ない。また、遮光ありの良品画像では遮光部分が黒画素になってしまうため、幅の広いラインが少なくなっていることがわかる。   Specifically, first, the first feature quantity extraction function 55 calculates the width (number of white pixels) for each line for the first pixel areas of the non-defective image and the defective image (step S206). As shown in FIG. 9, many non-defective images have many wide lines and few defective images. In addition, it can be seen that in a non-defective image with light shielding, the light shielding portion is a black pixel, so that wide lines are reduced.

次に、第1特徴量抽出機能55は、規定幅の初期値を設定する(ステップS207)。ここでは、ランド幅の10%〜90%の規定幅について探索を行うこととし、初期値はランド幅の10%に設定される(規定幅の値は、ランド幅に対する割合(%)の形式でもよいし、それを画素数に換算した形式でもよい)。   Next, the first feature quantity extraction function 55 sets an initial value of the specified width (step S207). Here, the search is performed for the specified width of 10% to 90% of the land width, and the initial value is set to 10% of the land width (the value of the specified width is also a ratio (%) to the land width). It may be a format converted into the number of pixels).

第1特徴量抽出機能55は、各第1画素領域について、規定幅以上の幅をもつラインの本数(規定幅ライン数)を計算する(ステップS208)。第1特徴量ヒストグラム生成機能56は、各第1画素領域の規定幅ライン数に関する第1特徴量ヒストグラムを作成する(ステップS209)。図10に第1特徴量ヒストグラムの一例を示す。図中の黒部分が良品画像の度数分布(良品分布)を表しており、白部分が不良品画像の度数分布(不良品分布)を表している。遮光ありの良品画像は遮光なしの良品画像に比べて規定幅ライン数が少ないために、良品分布の一部が不良品分布に重なっていることがわかる。   The first feature quantity extraction function 55 calculates the number of lines having a width equal to or greater than the specified width (number of specified width lines) for each first pixel region (step S208). The first feature amount histogram generation function 56 creates a first feature amount histogram relating to the number of defined width lines of each first pixel region (step S209). FIG. 10 shows an example of the first feature amount histogram. The black portion in the figure represents the frequency distribution (defective product distribution) of the non-defective image, and the white portion represents the frequency distribution (defective product distribution) of the defective product image. It can be seen that the non-defective image with light shielding has a smaller number of specified width lines than the non-defective image with no light shielding, so that a part of the non-defective product distribution overlaps the defective product distribution.

第1判定条件決定機能57は、第1特徴量ヒストグラムにおいて良品画像の度数分布(遮光あり、なしの両方を含む)のすべてを内包するようなしきい値を決定する(ステップS210)。本実施形態では、良品分布の下限値と、不良品分布から良品分布との重なりを除いた部分(以下、「非重複分布」という。)の上限値との間にしきい値を設定する。たとえば、図10のように非重複分布と良品分布とが連なっている(間隔が無い)場合には、非重複分布の上限値(良品分布の下限値より1小さい値)をしきい値とすればよい。また、非重複分布と良品分布とが離れている(間隔が有る)場合(図11の中段参照)には、非重複分布の上限値と良品分布の下限値の中間値をしきい値とするか、好ましくは、非重複分布の分散と良品分布の分散に基づいて両分布の間の適切な位置にしきい値を設定すればよい。なお、良品分布の下限値よりも小さな値にしきい値が設定されるのであれば
、他のしきい値決定アルゴリズムを採用しても構わない。
The first determination condition determination function 57 determines a threshold value that includes all of the frequency distributions of the non-defective images (including both with and without light shielding) in the first feature amount histogram (step S210). In this embodiment, a threshold value is set between the lower limit value of the non-defective product distribution and the upper limit value of a portion obtained by excluding the overlap of the non-defective product distribution with the non-defective product distribution (hereinafter referred to as “non-overlapping distribution”). For example, as shown in FIG. 10, when the non-overlapping distribution and the non-defective distribution are continuous (there is no interval), the upper limit value of the non-overlapping distribution (a value smaller than the lower limit value of the non-defective distribution) is set as the threshold value. That's fine. When the non-overlapping distribution and the non-defective product distribution are separated (there is an interval) (see the middle part of FIG. 11), an intermediate value between the upper limit value of the non-overlapping distribution and the lower limit value of the non-defective product distribution is used as a threshold value. Alternatively, preferably, a threshold value may be set at an appropriate position between the two distributions based on the variance of the non-overlapping distribution and the variance of the non-defective distribution. In addition, as long as the threshold value is set to a value smaller than the lower limit value of the non-defective product distribution, another threshold value determination algorithm may be adopted.

そして、第1判定条件決定機能57は、このしきい値による良品画像と不良品画像の分離度を算出する(ステップS211)。ここでは単純に、「しきい値を超える度数の不良品画像の数」を分離度と定義する。つまり、このしきい値によって見逃される不良品の数が少ないほど分離度が良好であると判断するのである。算出された分離度は、規定幅およびしきい値とともにメモリに格納される。   Then, the first determination condition determination function 57 calculates the separation degree between the non-defective product image and the defective product image based on the threshold value (step S211). Here, simply, “the number of defective images whose frequency exceeds the threshold value” is defined as the degree of separation. That is, the smaller the number of defective products that are missed by this threshold value, the better the degree of separation. The calculated degree of separation is stored in the memory together with the specified width and threshold value.

なお、この定義以外の分離度を採用しても構わない。たとえば、非重複分布の上限値と良品分布の下限値とのあいだの距離や、非重複分布(もしくは不良品分布)と良品分布の分散や、非重複分布(もしくは不良品分布)のピーク値と良品分布のピーク値とのあいだの距離などを考慮することも好ましい。さらに、距離をX、見逃し数をYとした場合に、分離度Eを下記の関数式にて定義してもよい。
E=αX+βY
E=αX/Y
ただし、α,βは係数。
A degree of separation other than this definition may be adopted. For example, the distance between the upper limit of the non-overlapping distribution and the lower limit of the non-defective distribution, the variance of the non-overlapping distribution (or defective product distribution) and the non-defective product distribution, and the peak value of the non-overlapping distribution (or defective product distribution) It is also preferable to consider the distance between the peak value of the non-defective product distribution and the like. Further, when the distance is X and the number of misses is Y, the degree of separation E may be defined by the following functional expression.
E = αX + βY
E = αX / Y
Where α and β are coefficients.

その後、図11に示すように、第1特徴量抽出機能55によって規定幅が順次更新され(ステップS213)、各々の規定幅におけるしきい値および分離度が算出されてはメモリに格納されていく(ステップS208〜S212;NO)。規定幅の最大値(本例ではランド幅の90%)に達したら、上記探索処理を終了する(ステップS212;YES)。そして、メモリに蓄積された各規定幅での分離度を比較して、分離度が最大となった規定幅を選び出し、当該規定幅およびその規定幅におけるしきい値を第1判定条件として決定する(ステップS214)。以上の処理により、良品の過検出は排除し且つ不良品の見逃しは許容する第1判定条件が求まる。   Thereafter, as shown in FIG. 11, the prescribed widths are sequentially updated by the first feature amount extraction function 55 (step S213), and the threshold value and the degree of separation in each prescribed width are calculated and stored in the memory. (Steps S208 to S212; NO). When the maximum value of the specified width is reached (90% of the land width in this example), the search process is terminated (step S212; YES). Then, the degree of separation at each prescribed width stored in the memory is compared to select the prescribed width having the maximum degree of separation, and the prescribed width and the threshold value in the prescribed width are determined as the first determination condition. (Step S214). With the above processing, the first determination condition that eliminates the overdetection of the non-defective product and permits the oversight of the defective product is obtained.

(2)第2判定条件の決定処理
第1判定条件が確定したら、特定不良品画像選出機能58が、不良品画像の中からその第1判定条件を満足する(しきい値を超える)度数のものを特定不良品画像として選び出す(ステップS215)。つまり、特定不良品画像とは、第1ロジックで見逃され得る不良品に対応している(図10参照)。
(2) Determination Process of Second Determination Condition When the first determination condition is confirmed, the specific defective product image selection function 58 has a frequency that satisfies the first determination condition (exceeds a threshold value) from the defective product images. An image is selected as a specific defective product image (step S215). That is, the specific defective product image corresponds to a defective product that can be overlooked in the first logic (see FIG. 10).

第2画素領域抽出機能59は、予め設定されている第2色パラメータを用いて、良品画像および特定不良品画像のすべての半田領域を二値化する(ステップS216)。第2色パラメータは、赤色の彩度の下限と上限、および、明度の下限と上限の4つの値で構成されている。第2色パラメータの値は、赤色全体を包含するように設定されていてもよいし、良品画像と特定不良品画像それぞれの画素の色の傾向から自動的に算出するようにしてもよい。この二値化処理では、第2色パラメータで定義された色範囲内に含まれる赤系色画素が白画素に、それ以外の画素が黒画素に変換される。二値化後の白画素領域を第2画素領域と呼ぶ。   The second pixel area extraction function 59 binarizes all the solder areas of the non-defective image and the specific defective product image using the preset second color parameter (step S216). The second color parameter is composed of four values: a lower limit and an upper limit of red saturation, and a lower limit and an upper limit of lightness. The value of the second color parameter may be set so as to include the entire red color, or may be automatically calculated from the pixel color tendency of each of the non-defective product image and the specific defective product image. In this binarization processing, red color pixels included in the color range defined by the second color parameter are converted into white pixels, and other pixels are converted into black pixels. The white pixel area after binarization is called a second pixel area.

図3(e)に示すように、原則として、良品画像では第2画素領域が非常に小さく、不良品画像では第2画素領域がきわめて大きくなる。よって、このような二値化画像を利用すると、良品・不良品を識別するための特徴量を定量的に計算するのが容易になる。特徴量としては、第2画素領域の面積、面積比、重心、長さ、最大幅、形状などが挙げられるが、ここでは面積(面積値)を特徴量として選ぶ。面積値は単一パラメータであるため、規定幅ライン数のような複合パラメータ(幅、ライン数)と異なり、しきい値(判定条件)の決定処理が簡単となる。   As shown in FIG. 3E, in principle, the second pixel region is very small in a non-defective image, and the second pixel region is extremely large in a defective image. Therefore, when such a binarized image is used, it becomes easy to quantitatively calculate a feature amount for identifying a non-defective product or a defective product. The feature amount includes the area, area ratio, center of gravity, length, maximum width, shape, and the like of the second pixel region. Here, the area (area value) is selected as the feature amount. Since the area value is a single parameter, the threshold value (judgment condition) determination process is simplified, unlike a composite parameter (width, number of lines) such as the specified number of lines.

具体的には、第2特徴量抽出機能60が、良品画像と特定不良品画像それぞれの第2画
素領域について面積(画素数)を計算し(ステップS217)、第2特徴量ヒストグラム生成機能61が、各第2画素領域の面積値に関する第2特徴量ヒストグラムを作成する(ステップS218)。図12は、良品画像と特定不良品画像の第2特徴量ヒストグラムの一例を示している。良品画像と特定不良品画像とを比べた場合、赤系色画素の面積値に明確な差異が現れることがわかる。
Specifically, the second feature quantity extraction function 60 calculates the area (number of pixels) for the second pixel area of each of the non-defective product image and the specific defective product image (step S217), and the second feature quantity histogram generation function 61 Then, a second feature amount histogram relating to the area value of each second pixel region is created (step S218). FIG. 12 shows an example of a second feature amount histogram of a good product image and a specific defective product image. When a good product image and a specific defective product image are compared, it can be seen that a clear difference appears in the area value of the red color pixel.

次に、第2判定条件決定機能62が、第2特徴量ヒストグラムの度数分布に基づいて、特定不良品画像の面積値から良品画像の面積値を最適に分離するためのしきい値を算出する(ステップS219)。このしきい値が第2判定条件となる。   Next, the second determination condition determination function 62 calculates a threshold value for optimally separating the area value of the non-defective product image from the area value of the specific defective product image based on the frequency distribution of the second feature amount histogram. (Step S219). This threshold value is the second determination condition.

なお、特徴量ヒストグラムに現れた2つの山を最適に分離する手法は種々提案されており、ここではどの方法を採用してもよい。たとえば、大津の判別分析法を利用してもよいし、あるいは、経験に基づき良品画像の山の端から3σだけ離れた点をしきい値に決めてもよい。また、第1判定条件の場合と同様のしきい値決定アルゴリズムを採用してもよい(ただし、第2判定条件のしきい値決定に際しては、特定不良品の見逃しを排除できるようにしきい値を設定すべきである。)。   Various methods for optimally separating the two peaks appearing in the feature amount histogram have been proposed, and any method may be adopted here. For example, Otsu's discriminant analysis method may be used, or a point separated by 3σ from the edge of a non-defective image peak may be determined as a threshold based on experience. In addition, a threshold determination algorithm similar to that in the case of the first determination condition may be adopted (however, in determining the threshold value of the second determination condition, a threshold value is set so as to eliminate oversight of a specific defective product). Should be set).

上記処理によって第1判定条件および第2判定条件が確定したら、検査ロジック生成機能63が、第1色パラメータと第1判定条件(規定幅としきい値)とから第1ロジックを生成するとともに、第2色パラメータと第2判定条件(しきい値)とから第2ロジックを生成し、さらにそれらを組み合わせ、第1ロジックおよび第2ロジックの判定結果が共に真の場合に検査対象部品を良品と判定する半田フィレット用の検査ロジックを生成する(ステップS220)。そして、検査ロジック書込機能64が、その検査ロジックを基板検査装置1の検査ロジック記憶部35に書き込む(ステップS221)。   When the first determination condition and the second determination condition are determined by the above process, the inspection logic generation function 63 generates the first logic from the first color parameter and the first determination condition (specified width and threshold), and the first logic The second logic is generated from the two-color parameters and the second determination condition (threshold value), and these are further combined. If both the determination results of the first logic and the second logic are true, the inspection target part is determined to be a non-defective product. Inspection logic for the solder fillet to be generated is generated (step S220). Then, the inspection logic writing function 64 writes the inspection logic in the inspection logic storage unit 35 of the substrate inspection apparatus 1 (step S221).

以上述べた本実施形態によれば、半田フィレット検査で用いられる検査ロジックが自動で生成されるので、ティーチングに要する時間と負荷を大幅に削減することができる。しかも、この検査ロジックによれば、高密度実装基板における半田フィレットの良否判定を高精度に行うことができる。なお、色パラメータとしきい値の信頼性は、最初に与える教師画像情報の数が多くなるほど向上する。   According to the present embodiment described above, since the inspection logic used in the solder fillet inspection is automatically generated, the time and load required for teaching can be greatly reduced. Moreover, according to this inspection logic, it is possible to determine the quality of the solder fillet on the high-density mounting board with high accuracy. Note that the reliability of the color parameter and the threshold value is improved as the number of teacher image information to be given first increases.

<変形例>
上述した実施形態は本発明の一具体例を例示したものにすぎない。本発明の範囲は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。
<Modification>
The above-described embodiment is merely an example of the present invention. The scope of the present invention is not limited to the above embodiment, and various modifications can be made within the scope of the technical idea.

たとえば、上記実施形態では彩度の下限と上限および明度の下限と上限からなる色パラメータを用いているが、色パラメータの種類や値の選択は基板検査装置で撮像された部品画像がもつ色彩パターンの傾向に合わせて決定すればよい。また、色パラメータは矩形に限らず、円形、多角形、自由曲線図形などを用いてもよいし、さらに多次元形状にしてもよい。   For example, in the above embodiment, color parameters including the lower limit and upper limit of saturation and the lower limit and upper limit of brightness are used, but the type and value of the color parameter are selected by the color pattern of the component image captured by the board inspection apparatus. It may be determined according to the tendency of. Further, the color parameter is not limited to a rectangle, and a circle, a polygon, a free curve figure, or the like may be used, or a multidimensional shape may be used.

また、第1画素領域や第2画素領域から抽出する特徴量としては、他にも、面積比、長さ、最大幅、重心などを好ましく採用できる。面積比とは、ランドウィンドウ内で二値化された面積の占有率である。たとえばランド領域に対して部品がずれて半田付けされていると、半田領域の面積が大小するため、面積比が変化する。これを特徴量として捉えれば、部品ずれの検査に有効である。また、長さとは、白画素領域の縦方向や横方向の長さであり、最大長は、白画素領域の長さの中で最大の値である。また、重心とは、白画素領域の重心のランドウィンドウに対する相対位置である。   In addition, as a feature amount extracted from the first pixel region and the second pixel region, an area ratio, a length, a maximum width, a center of gravity, and the like can be preferably employed. The area ratio is the occupation ratio of the binarized area in the land window. For example, if a component is soldered with a deviation from the land area, the area of the solder area increases and the area ratio changes. If this is regarded as a feature amount, it is effective for inspection of component displacement. The length is the length in the vertical direction or the horizontal direction of the white pixel region, and the maximum length is the maximum value among the lengths of the white pixel region. The center of gravity is a relative position of the center of gravity of the white pixel region with respect to the land window.

良否を精度良く判定できるものであればどの特徴量を用いてもよく、精度向上のために
複数種類の特徴量を組み合わせることも好ましい。また、検査ロジック生成処理において複数種類の特徴量を抽出し、その中で良品と不良品とが最もよく分離されるものを特徴量として採用するといったことも可能である。なお、上記実施形態では判定条件の決定に特徴量ヒストグラムを用いたが、特徴量の種類が異なればそれに合わせて、面積比ヒストグラム、長さヒストグラム、最大幅ヒストグラム、重心ヒストグラムなど、を用いることになる。例えば、面積値ヒストグラムの替わりに面積比ヒストグラムを用いれば、ランドウィンドウにおける色パラメータで二値化された画素の占有率によって良否判定を実行するので、部品がズレたり傾いたりしてランドウィンドウの大きさが小さくなったり大きくなったりした場合でも、ランドウィンドウの大きさに影響されない判定処理が可能となる。
Any feature amount may be used as long as it can accurately determine pass / fail, and it is also preferable to combine a plurality of types of feature amounts to improve accuracy. It is also possible to extract a plurality of types of feature amounts in the inspection logic generation process, and to adopt a feature amount that best separates non-defective products and defective products among them. In the above embodiment, the feature amount histogram is used to determine the determination condition. However, if the type of feature amount is different, an area ratio histogram, a length histogram, a maximum width histogram, a centroid histogram, or the like is used in accordance with the feature amount. Become. For example, if an area ratio histogram is used instead of the area value histogram, the pass / fail judgment is executed based on the pixel occupation rate binarized by the color parameter in the land window. Even when the size becomes smaller or larger, determination processing that is not affected by the size of the land window is possible.

本発明の実施形態に係る基板検査システムのハードウェア構成を示す図。The figure which shows the hardware constitutions of the board | substrate inspection system which concerns on embodiment of this invention. 基板検査装置の機能構成を示す図。The figure which shows the function structure of a board | substrate inspection apparatus. 半田フィレットの形状と色彩パターンと二値化画像と検査ロジックの判定結果の関係を示す図。The figure which shows the relationship of the determination result of the shape of a solder fillet, a color pattern, a binarized image, and inspection logic. 基板検査処理の流れを示すフローチャート。The flowchart which shows the flow of a board | substrate inspection process. 規定幅および規定幅ライン数について説明する図。The figure explaining the regulation width and the regulation width line number. 検査ロジック生成装置の機能構成を示す図。The figure which shows the function structure of a test | inspection logic production | generation apparatus. 検査ロジック生成処理の流れを示すフローチャート。The flowchart which shows the flow of a test | inspection logic production | generation process. 検査ロジック生成処理の流れを示すフローチャート。The flowchart which shows the flow of a test | inspection logic production | generation process. 半田領域の抽出処理を示す図。The figure which shows the extraction process of a solder area | region. 第1画素領域の特徴量を示す図。The figure which shows the feature-value of a 1st pixel area. 第1特徴量ヒストグラムを示す図。The figure which shows the 1st feature-value histogram. 第1判定条件の探索処理を示す図。The figure which shows the search process of a 1st determination condition. 第2判定条件の決定処理を示す図。The figure which shows the determination process of 2nd determination conditions. カラーハイライト方式の基板検査装置の構成を示す図。The figure which shows the structure of the board | substrate inspection apparatus of a color highlight system. 撮像画像に現れる色彩パターンの一例を示す図。The figure which shows an example of the color pattern which appears in a captured image. 色パラメータの設定支援ツールを示す図。The figure which shows the setting support tool of a color parameter. 高密度実装に起因する問題を示す図。The figure which shows the problem resulting from high-density mounting. 半田フィレットの形状と色彩パターンと二値化画像の関係を示す図。The figure which shows the relationship between the shape of a solder fillet, a color pattern, and a binarized image. 良品、不良品それぞれの青系色の画素領域の面積ヒストグラムを示す図。The figure which shows the area histogram of the pixel area of the blue color of each good product and inferior goods.

符号の説明Explanation of symbols

1 基板検査装置
2 検査ロジック生成装置
10 指示情報受付機能
11 基板搬入機能
12 CAD情報読込機能
13 ステージ操作機能
14 撮像機能
15 検査ロジック読込機能
16 検査機能
16a 半田領域抽出機能
16b 第1検査機能
16c 第2検査機能
16d 判定機能
17 判定結果書込機能
18 基板搬出機能
20 基板
21 実装部品
22 Xステージ
23 Yステージ
24 投光部
25 撮像部
26 制御処理部
27 コンベヤ
28 赤色光源
29 緑色光源
30 青色光源
31 撮像コントローラ
32 記憶部
32a CAD情報記憶部
32b 判定結果記憶部
33 A/D変換部
34 画像処理部
35 検査ロジック記憶部
36 判定部
37 XYステージコントローラ
38 メモリ
39 制御部
40 入力部
41 表示部
42 プリンタ
50 指示情報受付機能
51 教師画像情報読込機能
52 画像取得機能
53 振分機能
54 第1画素領域抽出機能
55 第1特徴量抽出機能
56 第1特徴量ヒストグラム生成機能
57 第1判定条件決定機能
58 特定不良品画像選出機能
59 第2画像領域抽出機能
60 第2特徴量抽出機能
61 第2特徴量ヒストグラム生成機能
62 第2判定条件決定機能
63 検査ロジック生成機能
64 検査ロジック書込機能
65 教師画像情報DB
70 ランドウィンドウ
71 部品本体ウィンドウ
72 ランド領域
73 部品
DESCRIPTION OF SYMBOLS 1 Board | substrate inspection apparatus 2 Inspection logic production | generation apparatus 10 Instruction information reception function 11 Board | substrate carrying-in function 12 CAD information reading function 13 Stage operation function 14 Imaging function 15 Inspection logic reading function 16 Inspection function 16a Solder area extraction function 16b 1st inspection function 16c 1st 2 Inspection Function 16d Judgment Function 17 Judgment Result Writing Function 18 Board Unloading Function 20 Board 21 Mounted Parts 22 X Stage 23 Y Stage 24 Projecting Unit 25 Imaging Unit 26 Control Processing Unit 27 Conveyor 28 Red Light Source 29 Green Light Source 30 Blue Light Source 31 Imaging controller 32 storage unit 32a CAD information storage unit 32b determination result storage unit 33 A / D conversion unit 34 image processing unit 35 inspection logic storage unit 36 determination unit 37 XY stage controller 38 memory 39 control unit 40 input unit 41 display unit 42 printer 50 Instruction information reception function 51 Teacher image information reading function 52 Image acquisition function 53 Distribution function 54 First pixel area extraction function 55 First feature quantity extraction function 56 First feature quantity histogram generation function 57 First determination condition determination function 58 Specification Defective product image selection function 59 Second image region extraction function 60 Second feature quantity extraction function 61 Second feature quantity histogram generation function 62 Second determination condition determination function 63 Inspection logic generation function 64 Inspection logic writing function 65 Teacher image information DB
70 Land window 71 Parts window 72 Land area 73 Parts

Claims (14)

投光手段によって、基板上の検査対象部品に異なる入射角で複数の色の光を照射し、
撮像手段によって、その反射光を撮像して検査画像を取得し、
入射角が最も大きい光の色成分を含む画素を抽出するための第1色条件と、前記第1色条件を満足する画素領域がもつ第1特徴量に関して、良品の過検出は排除し且つ不良品の見逃しは許容する値に設定された第1判定条件とを含む第1ロジックを記憶部から読み込み、
前記第1ロジックに従って、前記検査画像の半田部分から前記第1色条件を満足する第1画素領域を抽出して、前記第1画素領域のもつ第1特徴量が前記第1判定条件を満足するか判定し、
入射角が最も小さい光の色成分を含む画素を抽出するための第2色条件と、前記第2色条件を満足する画素領域がもつ第2特徴量に関して、前記第1ロジックで見逃され得る不良品の見逃しを排除する値に設定された第2判定条件とを含む第2ロジックを記憶部から読み込み、
前記第2ロジックに従って、前記検査画像の半田部分から前記第2色条件を満足する第2画素領域を抽出して、前記第2画素領域のもつ第2特徴量が前記第2判定条件を満足するか判定し、
前記第1ロジックおよび第2ロジックの判定結果が共に真の場合に前記検査対象部品を良品と判定する
基板検査装置による基板検査方法。
The light projecting means irradiates the inspection target parts on the substrate with light of a plurality of colors at different incident angles,
The imaging means captures the reflected light to obtain an inspection image,
With respect to the first color condition for extracting the pixel including the color component of the light having the largest incident angle and the first feature amount of the pixel area satisfying the first color condition, overdetection of non-defective products is eliminated and is not detected. The first logic including the first determination condition set to an allowable value for overlooking the non-defective product is read from the storage unit,
According to the first logic, a first pixel area that satisfies the first color condition is extracted from a solder portion of the inspection image, and a first feature amount of the first pixel area satisfies the first determination condition. Determine whether
Regarding the second color condition for extracting the pixel including the color component of the light having the smallest incident angle and the second feature amount possessed by the pixel area satisfying the second color condition, the second logic condition may be overlooked by the first logic. A second logic including a second determination condition set to a value that eliminates oversight of non-defective products is read from the storage unit;
According to the second logic, a second pixel area that satisfies the second color condition is extracted from a solder portion of the inspection image, and a second feature amount of the second pixel area satisfies the second determination condition. Determine whether
A substrate inspection method by a substrate inspection apparatus that determines that the inspection target component is a non-defective product when both of the determination results of the first logic and the second logic are true.
前記第1特徴量は、前記第1画素領域を構成するラインのうち、所定幅以上の画素数をもつラインの本数である
請求項1記載の基板検査装置による基板検査方法。
2. The substrate inspection method according to claim 1, wherein the first feature amount is the number of lines having a number of pixels greater than or equal to a predetermined width among lines constituting the first pixel region.
前記第2特徴量は、前記第2画素領域の面積である
請求項1または2記載の基板検査装置による基板検査方法。
The substrate inspection method according to claim 1, wherein the second feature amount is an area of the second pixel region.
基板上の実装部品に異なる入射角で複数の色の光を照射し、その反射光を撮像して得られた画像に基づいて部品の実装状態を検査する基板検査装置において用いられる検査ロジックを自動生成する方法であって、
情報処理装置が、
半田付けの良好な部品を撮像して得られた複数の良品画像と半田付けの不良な部品を撮像して得られた複数の不良品画像とを取得し、
入射角が最も大きい光の色成分を含む画素を抽出するための第1色条件を用いて、前記良品画像および不良品画像のそれぞれから第1画素領域を抽出し、
それぞれの第1画素領域がもつ第1特徴量について第1特徴量ヒストグラムを作成し、
前記第1特徴量ヒストグラムにおいて前記良品画像の度数分布のすべてを内包するように第1判定条件を決定し、
前記不良品画像の中から前記第1判定条件を満足する度数のものを特定不良品画像として選び出し、
入射角が最も小さい光の色成分を含む画素を抽出するための第2色条件を用いて、前記良品画像および前記特定不良品画像のそれぞれから第2画素領域を抽出し、
それぞれの第2画素領域がもつ第2特徴量について第2特徴量ヒストグラムを作成し、
前記第2特徴量ヒストグラムの度数分布に基づいて、前記特定不良品画像の第2特徴量から前記良品画像の第2特徴量を分離するように第2判定条件を決定し、
検査対象部品を撮像して得られた検査画像から前記第1色条件を満足する画素領域を抽出して、その画素領域のもつ第1特徴量が前記第1判定条件を満足するか判定する第1ロジックと、前記検査画像から前記第2色条件を満たす画素領域を抽出して、その画素領域
のもつ第2特徴量が前記第2判定条件を満足するか判定する第2ロジックとからなり、前記第1ロジックおよび第2ロジックの判定結果が共に真の場合に前記検査対象部品を良品と判定する検査ロジックを生成する
基板検査装置の検査ロジック生成方法。
Automatic inspection logic used in board inspection equipment that inspects the mounting state of components based on images obtained by irradiating mounting colors on the board with multiple colors at different angles of incidence and imaging the reflected light A method of generating,
Information processing device
Acquire a plurality of non-defective images obtained by imaging the parts with good soldering and a plurality of defective images obtained by imaging the parts with poor soldering,
Extracting a first pixel region from each of the non-defective product image and the defective product image using a first color condition for extracting a pixel including a color component of light having the largest incident angle;
Creating a first feature amount histogram for the first feature amount of each first pixel region;
Determining a first determination condition so as to include all of the frequency distribution of the non-defective image in the first feature amount histogram;
A frequency that satisfies the first determination condition is selected from the defective images as a specific defective image,
Extracting a second pixel region from each of the non-defective product image and the specific defective product image using a second color condition for extracting a pixel including a color component of light having the smallest incident angle,
Create a second feature amount histogram for the second feature amount of each second pixel region,
Based on the frequency distribution of the second feature amount histogram, a second determination condition is determined so as to separate the second feature amount of the non-defective product image from the second feature amount of the specific defective product image,
A pixel region that satisfies the first color condition is extracted from an inspection image obtained by imaging the inspection target component, and a first feature amount of the pixel region is determined to satisfy the first determination condition. 1 logic and a second logic for extracting a pixel region that satisfies the second color condition from the inspection image and determining whether a second feature amount of the pixel region satisfies the second determination condition, An inspection logic generation method for a substrate inspection apparatus, which generates inspection logic for determining that a component to be inspected is a non-defective product when both the determination results of the first logic and the second logic are true.
前記第1特徴量は、前記第1画素領域を構成するラインのうち、所定幅以上の画素数をもつラインの本数である
請求項4記載の基板検査装置の検査ロジック生成方法。
The inspection logic generation method of the substrate inspection apparatus according to claim 4, wherein the first feature amount is the number of lines having a number of pixels equal to or larger than a predetermined width among lines constituting the first pixel region.
情報処理装置は、
ラインの幅を設定し、前記良品画像および不良品画像それぞれの第1画素領域における前記幅以上の画素数をもつラインの本数について前記第1特徴量ヒストグラムを作成し、前記良品画像の度数分布の下限よりも小さな値にしきい値を設定し、そのしきい値による前記良品画像と前記不良品画像の分離度を算出する探索処理を繰り返すことによって、分離度が最大となる幅を決定し、
決定された幅およびその幅におけるしきい値を前記第1判定条件とする
請求項5記載の基板検査装置の検査ロジック生成方法。
Information processing device
The width of the line is set, the first feature amount histogram is created for the number of lines having the number of pixels equal to or larger than the width in the first pixel area of each of the good product image and the defective product image, and the frequency distribution of the good product image is By setting a threshold value to a value smaller than the lower limit, and repeating the search process for calculating the separation degree of the non-defective product image and the defective product image based on the threshold value, a width that maximizes the separation degree is determined,
6. The inspection logic generation method for a substrate inspection apparatus according to claim 5, wherein the determined width and a threshold value in the width are set as the first determination condition.
前記分離度は、前記しきい値を超える度数の不良品画像の数に基づいて算出される
請求項6記載の基板検査装置の検査ロジック生成方法。
The inspection logic generation method for a substrate inspection apparatus according to claim 6, wherein the separation degree is calculated based on the number of defective product images whose frequency exceeds the threshold value.
前記第2特徴量は、前記第2画素領域の面積である
請求項4〜7のうちいずれか1項記載の基板検査装置の検査ロジック生成方法。
The inspection logic generation method of the substrate inspection apparatus according to claim 4, wherein the second feature amount is an area of the second pixel region.
基板上の検査対象部品に異なる入射角で複数の色の光を照射する投光手段と、
その反射光を撮像して検査画像を取得する撮像手段と、
入射角が最も大きい光の色成分を含む画素を抽出するための第1色条件、および、前記第1色条件を満足する画素領域がもつ第1特徴量に関して、良品の過検出は排除し且つ不良品の見逃しは許容する値に設定された第1判定条件を含む第1ロジック、並びに、入射角が最も小さい光の色成分を含む画素を抽出するための第2色条件、および、前記第2色条件を満足する画素領域がもつ第2特徴量に関して、前記第1ロジックで見逃され得る不良品の見逃しを排除する値に設定された第2判定条件を含む第2ロジックを記憶する記憶部と、
前記第1ロジックに従って、前記検査画像の半田部分から前記第1色条件を満足する第1画素領域を抽出して、前記第1画素領域のもつ第1特徴量が前記第1判定条件を満足するか判定する第1検査手段と、
前記第2ロジックに従って、前記検査画像の半田部分から前記第2色条件を満足する第2画素領域を抽出して、前記第2画素領域のもつ第2特徴量が前記第2判定条件を満足するか判定する第2ロジックを実行する第2検査手段と、
前記第1ロジックおよび第2ロジックの判定結果が共に真の場合に前記検査対象部品を良品と判定する判定手段と、
を備える基板検査装置。
A light projecting means for irradiating a plurality of colors of light at different angles of incidence on a component to be inspected on a substrate;
Imaging means for imaging the reflected light to obtain an inspection image;
With respect to the first color condition for extracting the pixel including the color component of the light having the largest incident angle, and the first feature amount of the pixel area that satisfies the first color condition, overdetection of non-defective products is eliminated and A first logic including a first determination condition set to an allowable value for overlooking a defective product, a second color condition for extracting a pixel including a color component of light having the smallest incident angle, and the first A storage unit that stores a second logic including a second determination condition that is set to a value that eliminates oversight of a defective product that can be overlooked in the first logic with respect to a second feature amount of a pixel region that satisfies a two-color condition When,
According to the first logic, a first pixel area that satisfies the first color condition is extracted from a solder portion of the inspection image, and a first feature amount of the first pixel area satisfies the first determination condition. First inspection means for determining whether or not
According to the second logic, a second pixel area that satisfies the second color condition is extracted from a solder portion of the inspection image, and a second feature amount of the second pixel area satisfies the second determination condition. Second inspection means for executing second logic for determining whether or not
A determination means for determining that the inspection target part is a non-defective product when both of the determination results of the first logic and the second logic are true;
A board inspection apparatus comprising:
基板上の実装部品に異なる入射角で複数の色の光を照射し、その反射光を撮像して得られた画像に基づいて部品の実装状態を検査する基板検査装置において用いられる検査ロジックを自動生成するための装置であって、
半田付けの良好な部品を撮像して得られた複数の良品画像と半田付けの不良な部品を撮像して得られた複数の不良品画像とを取得する画像取得手段と、
入射角が最も大きい光の色成分を含む画素を抽出するための第1色条件を用いて、前記良品画像および不良品画像のそれぞれから第1画素領域を抽出する第1画素領域抽出手段
と、
それぞれの第1画素領域がもつ第1特徴量について第1特徴量ヒストグラムを作成する第1特徴量ヒストグラム生成手段と、
前記第1特徴量ヒストグラムにおいて前記良品画像の度数分布のすべてを内包するように第1判定条件を決定する第1判定条件決定手段と、
前記不良品画像の中から前記第1判定条件を満足する度数のものを特定不良品画像として選び出す特定不良品画像選出手段と、
入射角が最も小さい光の色成分を含む画素を抽出するための第2色条件を用いて、前記良品画像および前記特定不良品画像のそれぞれから第2画素領域を抽出する第2画素領域抽出手段と、
それぞれの第2画素領域がもつ第2特徴量について第2特徴量ヒストグラムを作成する第2特徴量ヒストグラム生成手段と、
前記第2特徴量ヒストグラムの度数分布に基づいて、前記特定不良品画像の第2特徴量から前記良品画像の第2特徴量を分離するように第2判定条件を決定する第2判定条件決定手段と、
検査対象部品を撮像して得られた検査画像から前記第1色条件を満足する画素領域を抽出して、その画素領域のもつ第1特徴量が前記第1判定条件を満足するか判定する第1ロジックと、前記検査画像から前記第2色条件を満たす画素領域を抽出して、その画素領域のもつ第2特徴量が前記第2判定条件を満足するか判定する第2ロジックとからなり、前記第1ロジックおよび第2ロジックの判定結果が共に真の場合に前記検査対象部品を良品と判定する検査ロジックを生成する検査ロジック生成手段と、
を備える基板検査装置の検査ロジック生成装置。
Automatic inspection logic used in board inspection equipment that inspects the mounting state of components based on images obtained by irradiating mounting colors on the board with multiple colors at different angles of incidence and imaging the reflected light A device for generating,
Image acquisition means for acquiring a plurality of non-defective images obtained by imaging good soldering parts and a plurality of defective images obtained by imaging non-soldering parts;
First pixel region extraction means for extracting a first pixel region from each of the non-defective product image and the defective product image using a first color condition for extracting a pixel including a color component of light having the largest incident angle;
First feature quantity histogram generating means for creating a first feature quantity histogram for the first feature quantity of each first pixel region;
First determination condition determining means for determining a first determination condition so as to include all of the frequency distribution of the non-defective image in the first feature amount histogram;
Specific defective product image selection means for selecting, as the specific defective product image, a frequency satisfying the first determination condition from the defective product images;
Second pixel region extraction means for extracting a second pixel region from each of the non-defective product image and the specific defective product image using a second color condition for extracting a pixel including a light color component having the smallest incident angle. When,
Second feature amount histogram generating means for creating a second feature amount histogram for the second feature amount of each second pixel region;
Second determination condition determining means for determining a second determination condition so as to separate the second feature quantity of the non-defective product image from the second feature quantity of the specific defective product image based on the frequency distribution of the second feature quantity histogram. When,
A pixel region that satisfies the first color condition is extracted from an inspection image obtained by imaging the inspection target component, and a first feature amount of the pixel region is determined to satisfy the first determination condition. 1 logic and a second logic for extracting a pixel region that satisfies the second color condition from the inspection image and determining whether a second feature amount of the pixel region satisfies the second determination condition, Inspection logic generating means for generating inspection logic for determining that the inspection target component is a non-defective product when both of the determination results of the first logic and the second logic are true;
An inspection logic generation device for a substrate inspection device comprising:
前記第1特徴量は、前記第1画素領域を構成するラインのうち、所定幅以上の画素数をもつラインの本数である
請求項10記載の基板検査装置の検査ロジック生成装置。
The inspection logic generation device of a substrate inspection device according to claim 10, wherein the first feature amount is the number of lines having a number of pixels equal to or larger than a predetermined width among lines constituting the first pixel region.
第1判定条件決定手段は、
ラインの幅を設定し、前記良品画像および不良品画像それぞれの第1画素領域における前記幅以上の画素数をもつラインの本数について前記第1特徴量ヒストグラム生成手段に第1特徴量ヒストグラムを作成させ、前記良品画像の度数分布の下限よりも小さな値にしきい値を設定し、そのしきい値による前記良品画像と前記不良品画像の分離度を算出する探索処理を繰り返すことによって、分離度が最大となる幅を決定し、
決定された幅およびその幅におけるしきい値を前記第1判定条件とする
請求項11記載の基板検査装置の検査ロジック生成装置。
The first determination condition determining means is:
The width of the line is set, and the first feature amount histogram generating means is configured to create a first feature amount histogram for the number of lines having the number of pixels equal to or larger than the width in the first pixel region of each of the good product image and the defective product image. By setting the threshold value to a value smaller than the lower limit of the frequency distribution of the non-defective image and repeating the search process for calculating the separation degree between the good image and the defective image based on the threshold value, the degree of separation is maximized. To determine the width
12. The inspection logic generation device of a substrate inspection device according to claim 11, wherein the determined width and a threshold value in the width are set as the first determination condition.
前記分離度は、前記しきい値を超える度数の不良品画像の数に基づいて算出される
請求項12記載の基板検査装置の検査ロジック生成装置。
13. The inspection logic generation device for a substrate inspection device according to claim 12, wherein the degree of separation is calculated based on the number of defective product images whose frequency exceeds the threshold value.
前記第2特徴量は、前記第2画素領域の面積である
請求項10〜13のうちいずれか1項記載の基板検査装置の検査ロジック生成装置。
The inspection logic generation device of a substrate inspection device according to claim 10, wherein the second feature amount is an area of the second pixel region.
JP2004281591A 2004-09-28 2004-09-28 Substrate inspection device, substrate inspection method, inspection logic generation device and inspection logic generation method for substrate inspection device Expired - Fee Related JP4453503B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004281591A JP4453503B2 (en) 2004-09-28 2004-09-28 Substrate inspection device, substrate inspection method, inspection logic generation device and inspection logic generation method for substrate inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004281591A JP4453503B2 (en) 2004-09-28 2004-09-28 Substrate inspection device, substrate inspection method, inspection logic generation device and inspection logic generation method for substrate inspection device

Publications (2)

Publication Number Publication Date
JP2006098093A true JP2006098093A (en) 2006-04-13
JP4453503B2 JP4453503B2 (en) 2010-04-21

Family

ID=36238081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004281591A Expired - Fee Related JP4453503B2 (en) 2004-09-28 2004-09-28 Substrate inspection device, substrate inspection method, inspection logic generation device and inspection logic generation method for substrate inspection device

Country Status (1)

Country Link
JP (1) JP4453503B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007327848A (en) * 2006-06-07 2007-12-20 Omron Corp Inspection control device, inspection control method, inspection system, control program and recording medium
JP2008032525A (en) * 2006-07-28 2008-02-14 Omron Corp Setting method of inspection reference data for visual examination of substrate and visual examination device of substrate using it
JP2010112941A (en) * 2008-10-10 2010-05-20 Toyota Motor Corp Surface inspection apparatus
JP2019192169A (en) * 2018-04-27 2019-10-31 日立造船株式会社 Determination device, determination method, and object determination program
CN111289538A (en) * 2020-02-25 2020-06-16 青岛滨海学院 PCB element detection system and detection method based on machine vision
JP2021128174A (en) * 2016-11-14 2021-09-02 コー・ヤング・テクノロジー・インコーポレーテッド Method and device for adjusting quality determination conditions for inspection object
CN114002225A (en) * 2021-10-19 2022-02-01 业成科技(成都)有限公司 Optical detection system and method

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007327848A (en) * 2006-06-07 2007-12-20 Omron Corp Inspection control device, inspection control method, inspection system, control program and recording medium
JP2008032525A (en) * 2006-07-28 2008-02-14 Omron Corp Setting method of inspection reference data for visual examination of substrate and visual examination device of substrate using it
JP2010112941A (en) * 2008-10-10 2010-05-20 Toyota Motor Corp Surface inspection apparatus
JP4719284B2 (en) * 2008-10-10 2011-07-06 トヨタ自動車株式会社 Surface inspection device
US8493558B2 (en) 2008-10-10 2013-07-23 Toyota Jidosha Kabushiki Kaisha Surface inspection apparatus
JP2021128174A (en) * 2016-11-14 2021-09-02 コー・ヤング・テクノロジー・インコーポレーテッド Method and device for adjusting quality determination conditions for inspection object
JP7302131B2 (en) 2016-11-14 2023-07-04 コー・ヤング・テクノロジー・インコーポレーテッド METHOD AND APPARATUS FOR ADJUSTING PASS/FAIL JUDGMENT CONDITIONS FOR INSPECTION OBJECTS
JP7219016B2 (en) 2018-04-27 2023-02-07 日立造船株式会社 Determination device, determination method, and object determination program
JP2019192169A (en) * 2018-04-27 2019-10-31 日立造船株式会社 Determination device, determination method, and object determination program
CN111289538A (en) * 2020-02-25 2020-06-16 青岛滨海学院 PCB element detection system and detection method based on machine vision
CN111289538B (en) * 2020-02-25 2023-08-29 青岛滨海学院 PCB element detection system and detection method based on machine vision
CN114002225A (en) * 2021-10-19 2022-02-01 业成科技(成都)有限公司 Optical detection system and method
CN114002225B (en) * 2021-10-19 2023-05-12 业成科技(成都)有限公司 Optical detection system and method

Also Published As

Publication number Publication date
JP4453503B2 (en) 2010-04-21

Similar Documents

Publication Publication Date Title
JP4595705B2 (en) Substrate inspection device, parameter setting method and parameter setting device
JP4736764B2 (en) Substrate inspection device, inspection logic setting method and inspection logic setting device
JP4935109B2 (en) Substrate inspection device, inspection logic setting method and inspection logic setting device
JP4830501B2 (en) Substrate inspection method and apparatus, and inspection logic setting method and apparatus thereof
JP3551188B2 (en) Surface condition inspection method and substrate inspection device
US7505149B2 (en) Apparatus for surface inspection and method and apparatus for inspecting substrate
JP4492356B2 (en) Substrate inspection device, parameter setting method and parameter setting device
JP4866141B2 (en) Defect review method using SEM review device and SEM defect review device
JP5861462B2 (en) Inspection standard registration method for solder inspection and board inspection apparatus using the method
WO2011036846A1 (en) Defect inspection device and defect inspection method
JP4539355B2 (en) Substrate inspection device, parameter setting method and parameter setting device
JP5417197B2 (en) Inspection apparatus and inspection method
JP4453503B2 (en) Substrate inspection device, substrate inspection method, inspection logic generation device and inspection logic generation method for substrate inspection device
JP2007033126A (en) Substrate inspection device, parameter adjusting method thereof and parameter adjusting device
JP4506395B2 (en) Substrate inspection device, parameter setting method and parameter setting device
JP6049052B2 (en) Wafer visual inspection apparatus and sensitivity threshold setting method in wafer visual inspection apparatus
JP7215218B2 (en) SPECTROSCOPY INSPECTION METHOD, IMAGE PROCESSING DEVICE, AND ROBOT SYSTEM
JP4507785B2 (en) Substrate inspection device, parameter setting method and parameter setting device
JP2006078285A (en) Substrate-inspecting apparatus and parameter-setting method and parameter-setting apparatus of the same
JP4419778B2 (en) Substrate inspection device, parameter setting method and parameter setting device
JP4858227B2 (en) Inspection parameter setting support device, control program and control method thereof
JP2003216930A (en) Method and apparatus for inspecting discoloration
JP2004085543A (en) System and method for visual inspection
JP6150325B2 (en) Substrate inspection apparatus, image analysis apparatus, substrate inspection method, and substrate manufacturing method
JPH10112469A (en) Wirebonding inspection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4453503

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140212

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees