JP2007183980A - Data setting device - Google Patents

Data setting device Download PDF

Info

Publication number
JP2007183980A
JP2007183980A JP2007032455A JP2007032455A JP2007183980A JP 2007183980 A JP2007183980 A JP 2007183980A JP 2007032455 A JP2007032455 A JP 2007032455A JP 2007032455 A JP2007032455 A JP 2007032455A JP 2007183980 A JP2007183980 A JP 2007183980A
Authority
JP
Japan
Prior art keywords
color
recognition
constituent
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007032455A
Other languages
Japanese (ja)
Other versions
JP4481319B2 (en
Inventor
Masatomo Maita
正朋 舞田
Shuzo Igarashi
修三 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007032455A priority Critical patent/JP4481319B2/en
Publication of JP2007183980A publication Critical patent/JP2007183980A/en
Application granted granted Critical
Publication of JP4481319B2 publication Critical patent/JP4481319B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a data setting device for an image recognition device for setting optimal inspection data by dividing the surface color of a part to be inspected into several constituting colors, and calculating the statistic of each constituting color and the similarity of the constituting colors. <P>SOLUTION: The data setting device for setting the setting data of the image recognition device for recognizing the image for recognition of an object to be recognized based on setting data is provided with: a recognition image input part for designating a recognition area in the image for recognition where the object to be recognized is imaged; a constituting color processing part for extracting the position of the constituting colors of the object to be recognized based on the image in the recognition area, and for calculating statistic indicating the variation of the colors concerning the constituting colors; and an inspection data determining part for determining the extraction color range of the object to be recognized based on the statistic. The constituting color processing part comprises a constituting color statistic calculation part for calculating the statistic indicating the variation based on the value of each dimension of each pixel included in the constituting colors in a color space. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、画像認識装置のデータ設定装置及びデータ設定方法に関する。特に、対象物の認識用画像を撮像し、画像中の特定位置に撮像される対象物のもつべき色の範囲(抽出色)を指定し、対象物の抽出及び認識を行う画像認識装置の認識用データを作成するための技術に関する。   The present invention relates to a data setting device and a data setting method for an image recognition device. In particular, the recognition of an image recognition device that captures an image for recognition of an object, specifies a color range (extracted color) of the object to be imaged at a specific position in the image, and extracts and recognizes the object The present invention relates to technology for creating business data.

外観検査機は、検査対象物の検査画像を撮像し、検査データ(抽出色範囲、基準値)を用いて、良否判定を行う装置である。一般的に、光学式の外観検査機は、検査対象物に対して白色色を照射し、特定の角度から撮像することにより検査画像を取得する。その後、検査画像に対して、検査対象箇所が適正色で撮像されているか否かを検査することによって、外観検査を行っている。プリント基板の外観検査では、基板を上部から撮像し、部品実装位置に検査対象部品の表面色が撮像されているのかを検査している。これにより部品の未実装や誤実装といった不良を検出することが可能となる。   The appearance inspection machine is an apparatus that picks up an inspection image of an inspection object and performs pass / fail determination using inspection data (extracted color range, reference value). In general, an optical appearance inspection machine irradiates a test object with a white color and acquires an inspection image by capturing an image from a specific angle. Thereafter, an appearance inspection is performed on the inspection image by inspecting whether or not the inspection target portion is imaged with an appropriate color. In the appearance inspection of the printed circuit board, the board is imaged from above, and it is inspected whether the surface color of the component to be inspected is imaged at the component mounting position. As a result, it is possible to detect defects such as non-mounting or erroneous mounting of components.

外観検査機の使用にあたり、検査画像内の「検査対象箇所の指定」、「抽出色範囲」、「基準値(閾値)」を検査データとして設定する必要がある。「適正色範囲」とは、検査対象物の表面色の色範囲をいう。色範囲とは、検査画像の色空間の各次元に対する上限値及び下限値である。通常、色空間は、赤、緑、青のRGBにより表される。基準値とは、色範囲に該当する画素の面積(抽出面積)に対するものあり、例えば、「検査対象箇所の指定」により特定される検査対象範囲に占める抽出面積の割合の下限値をいう。   When using the appearance inspection machine, it is necessary to set “designation of inspection target location”, “extracted color range”, and “reference value (threshold)” in the inspection image as inspection data. The “appropriate color range” refers to the color range of the surface color of the inspection object. The color range is an upper limit value and a lower limit value for each dimension of the color space of the inspection image. Usually, the color space is represented by RGB of red, green, and blue. The reference value is for the area (extracted area) of the pixel corresponding to the color range, for example, the lower limit value of the ratio of the extracted area in the inspection target range specified by “designation of inspection target location”.

上記の検査データの設定において、問題となるのは、製造上のバラツキによって生じる検査対象物の表面色のバラツキである。この色のバラツキは、見た目の上で同一色であった場合においても、同一色内でバラツキがある。また、同一の検査対象物であっても、サンプル間において、バラツキがある。従って、このバラツキの範囲に合わせて抽出色の範囲を設定しなくてはならない。   In setting the above inspection data, a problem is a variation in the surface color of an inspection object caused by a variation in manufacturing. Even if the color variations are the same in appearance, there are variations in the same color. Moreover, even if it is the same test object, there is variation between samples. Therefore, it is necessary to set the extracted color range in accordance with this variation range.

なぜなら、抽出色の範囲が狭い場合、良品を不良品として判断してしまう「見過ぎ」となり、範囲が広すぎる場合、不良品を良品として判断してしまう「見逃し」の原因となる。また、基準値の設定においても、同様に閾値が高すぎる場合は、「見過ぎ」、低すぎる場合は、「見逃し」の原因となる。「見過ぎ」は後工程の目視検査等の工数増加を引き起こし、「見逃し」は検査品質を低下させ、後工程の電気試験等で不良と判断された原因の特定の工数増加を引き起こす。それ故、検査データの設定は一般的な問題点となる。   This is because if the range of the extracted color is narrow, it becomes “too much” to judge a non-defective product as a defective product, and if it is too wide, it causes “missing” to judge a defective product as a non-defective product. Similarly, in setting the reference value, if the threshold is too high, “too much” is caused, and if it is too low, “missing” is caused. “Overview” causes an increase in man-hours such as visual inspection in the subsequent process, and “missing” causes a decrease in inspection quality, and causes an increase in specific man-hours that are determined to be defective in an electric test or the like in the post-process. Therefore, setting inspection data is a general problem.

認識対象物を他の物と識別するための閾値の設定に関する公知技術としては、特許文献1に記載された発明がある。特許文献1では、カラー視覚センサの認識対象物の色を指定したとき、その色の確信度と面積の特性線及び他の色の特性線を表示し、指定された色により識別対象物が識別可能なように指定された色の閾値を容易に設定可能とすることを開示している。   As a known technique related to setting of a threshold value for distinguishing a recognition object from other objects, there is an invention described in Patent Document 1. In Patent Document 1, when a color of a recognition object of a color visual sensor is designated, the certainty factor of the color, a characteristic line of an area, and a characteristic line of another color are displayed, and the identification object is identified by the designated color. It is disclosed that it is possible to easily set a threshold value of a color designated as possible.

また、3次元形状データ処理に関する公知技術として、特許文献2に記載された発明がある。特許文献2では、顔面模型を作成する際に必要とされる模型用顔領域をカラー画像の肌の色の統計処理結果を判断基準として、カラー画像全体から肌の色に近い色を有する領域のみを抽出することにより自動的に行うことができる3次元形状データ処理装置を開示している。
特開平7−44706号公報 特開2000−76454号公報
Further, as a known technique related to three-dimensional shape data processing, there is an invention described in Patent Document 2. In Patent Document 2, only a region having a color close to the skin color from the entire color image is determined based on the statistical processing result of the skin color of the color image as a model face region required when creating the face model. Discloses a three-dimensional shape data processing apparatus that can be automatically performed.
JP-A-7-44706 JP 2000-76454 A

しかしながら、従来の画像認識装置のデータ設定装置では次の問題点があった。検査対象物の表面色は数種類の色(構成色)で構成され、それぞれの構成色は異なるバラツキを持っている。そのため、全体の表面色の分布は各構成色のバラツキが足し合わされ、複雑なバラツキとなる。これは、抽出色範囲の最適化するのに必要な表面色のバラツキ傾向を知ることを困難にさせている。しかし、表面色の各構成色単位でバラツキが分析可能な場合、表面色のバラツキ傾向を容易に知ることができる。   However, the data setting device of the conventional image recognition device has the following problems. The surface color of the inspection object is composed of several kinds of colors (component colors), and each component color has different variations. For this reason, the distribution of the entire surface color is a combination of variations in the constituent colors, resulting in a complex variation. This makes it difficult to know the variation tendency of the surface color necessary for optimizing the extraction color range. However, when the variation can be analyzed for each constituent color unit of the surface color, the variation tendency of the surface color can be easily known.

また、検査データ設定において、全ての構成色を含むような範囲を抽出色範囲として設定することはできない。ある検査対象物Aの少ない面積の構成色と、他の検査対象物Bの主要な構成色が同一の色の場合がある。この場合、ある検査対象物Aの抽出範囲内にその構成色を含めると、その検査対象物Aではなく、他の検査対象物Bが搭載された場合でも、検査時に良品と判断されてしまうからである。即ち、検査データ設定時には、各構成色のバラツキだけでなく、その他の検査対象物の構成色との関係(類度度)を考慮しなければならない。   Further, in the inspection data setting, a range including all the constituent colors cannot be set as the extraction color range. There are cases where the constituent color of a small area of a certain inspection object A and the main constituent color of another inspection object B are the same color. In this case, if the constituent color is included in the extraction range of a certain inspection object A, it is determined that the inspection object A is a non-defective product even when another inspection object B is mounted instead of the inspection object A. It is. That is, when setting inspection data, it is necessary to consider not only the variation of each component color but also the relationship (similarity) with the component colors of other inspection objects.

また、特許文献1では、認識対象物の構成色を分析し、認識対象画像のサンプル間のバラツキに基づいてその構成色のバラツキを求めるものでないために上記課題を解決することはできない。特許文献2は、顔という予め決められた色を統計処理結果を用いて抽出することはできるが、顔以外の部品等の構成色を抽出して、その構成色のサンプル間のバラツキを求めるものでないために上記課題を解決することはできない。   Moreover, in patent document 1, since the component color of a recognition target object is analyzed and the variation of the component color is not calculated | required based on the variation between the samples of a recognition target image, the said subject cannot be solved. Patent Document 2 can extract a predetermined color of a face using a statistical processing result, but extracts constituent colors of parts other than the face and obtains variations between samples of the constituent colors. Therefore, the above problem cannot be solved.

本発明は、上記問題点を鑑みてなれたものであり、検査対象箇所の表面色をいくつかの構成色に分離し、それぞれの構成色の統計量及び構成色間の色の類似度を算出して、最適な検査データの設定を行うことのできる画像認識装置のデータ設定装置を提供することを目的とする。   The present invention has been made in view of the above problems, and separates the surface color of the inspection target portion into several constituent colors, and calculates the statistic of each constituent color and the similarity between the constituent colors. An object of the present invention is to provide a data setting device for an image recognition device capable of setting optimum inspection data.

本発明によれば、認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部とを具備し、前記構成色処理部は、前記構成色に含まれる各画素の色空間における各次元の値に基づいてとバラツキを示す統計量を算出する構成色統計量算出部を具備したことを特徴するデータ設定装置が提供される。   According to the present invention, in the data setting device that sets the setting data of the image recognition device that recognizes the recognition image of the recognition target object based on the setting data, the recognition in the recognition image obtained by capturing the recognition target object A recognition image input unit for designating a region, and a component color processing unit for extracting a position of a component color of the recognition object based on an image in the recognition region and calculating a statistic indicating a color variation regarding the component color And an inspection data determination unit that determines an extraction color range of the recognition object based on the statistic, and the component color processing unit is configured for each dimension in the color space of each pixel included in the component color. There is provided a data setting device including a constituent color statistic calculation unit that calculates a statistic indicating variation based on a value.

本発明によれば、検査対象物の表面色のバラツキを表すような数枚の検査画像を与えることにより、その表面色のバラツキの傾向を分析し、抽出色範囲の設定を得ることができる。また、他の検査対象物の抽出面積を確認しながら抽出する構成色の選択及び基準値の設定が可能となる。これによって、従来、長時間に渡って検査データの調整を行ってきたが、短時間での検査データの調整が可能となる。また、従来は、検査データの決定に際し、「見逃し」や「見過ぎ」のバランスを調整するための基準値設定及び抽出色の選択を、人が経験的に判断する必要があったが、本発明により、構成色の選択時又は基準値の設定時に「見逃し」及び「見過ぎ」の発生状況を確認しながら検査データを調整することが可能なため、検査データ作成のスキルレス化が実現される。   According to the present invention, by providing several inspection images that represent variations in the surface color of the inspection object, it is possible to analyze the tendency of the variation in the surface color and to set the extraction color range. Further, it is possible to select a component color to be extracted and set a reference value while confirming the extraction area of another inspection object. As a result, adjustment of inspection data has been conventionally performed over a long period of time, but inspection data can be adjusted in a short time. Conventionally, when determining inspection data, it has been necessary for a person to empirically determine the reference value setting and the selection of the extracted color for adjusting the balance of “missing” and “too much”. According to the invention, it is possible to adjust inspection data while checking the occurrence status of `` missing '' and `` overlooking '' when selecting a constituent color or setting a reference value, thereby realizing less skill in creating inspection data The

図1は本発明の原理図である。図1に示すように、データ設定装置は、認識画像入力部2、構成色処理部4及び検査データ決定部6を有する。認識画像入力部2は、認識用対象物10の認識用画像12の認識領域14を指定する。構成色処理部4は、認識領域14内の画像に基づいて認識対象物10の構成色を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する。検査データ決定部6は、統計量に基づいて認識対象物の抽出色範囲を決定する。このように、認識対象物の抽出色範囲は統計量に基づくものであることから、最適な検査データの設定を行うことができる。   FIG. 1 shows the principle of the present invention. As shown in FIG. 1, the data setting device includes a recognition image input unit 2, a constituent color processing unit 4, and an inspection data determination unit 6. The recognition image input unit 2 specifies the recognition area 14 of the recognition image 12 of the recognition object 10. The component color processing unit 4 extracts the component color of the recognition target object 10 based on the image in the recognition area 14, and calculates a statistic indicating the color variation related to the component color. The inspection data determination unit 6 determines the extraction color range of the recognition object based on the statistics. As described above, since the extracted color range of the recognition target is based on the statistic, it is possible to set optimal inspection data.

図2は本発明の実施形態による画像処理装置のデータ設定装置の構成図である。データ設定装置は、各認識対象物、例えば、基板上に実装される電子部品(抵抗、IC、コンデンサ等)について、その抽出色範囲を自動で設定するための装置であり、パソコンやワークステーション等のハードウェア上で実行されるプログラムによりデータ設定処理の各機能が実現される。図2に示すように、データ設定装置は、検査画像入力部50、構成色処理部52、構成色記憶部54及び検査データ決定部56を含む。検査画像入力部50は、図示しないカメラにより撮像された認識対象画像及び認識対象物の認識領域である検査対象箇所を入力して、図示しないディスク等の記憶装置に記憶する。認識対象画像とは、認識対象物がカメラにより撮像された画像であって、1枚の画像に、認識対象物が1個又は複数個撮像されたものをいう。認識対象画像は、各画素毎に、色空間における各次元の値により表現される。例えば、RGBの色空間における、(R,G,B)の各次元の階調(256等)により表現される。検査対象箇所は、認識対象画像において認識対象物を含む領域であり、画像の位置座標の集合により特定される。   FIG. 2 is a configuration diagram of a data setting device of the image processing device according to the embodiment of the present invention. The data setting device is a device for automatically setting the extraction color range of each recognition target object, for example, an electronic component (resistor, IC, capacitor, etc.) mounted on a substrate, such as a personal computer or a workstation. Each function of the data setting process is realized by a program executed on the hardware. As shown in FIG. 2, the data setting device includes an inspection image input unit 50, a constituent color processing unit 52, a constituent color storage unit 54, and an inspection data determination unit 56. The inspection image input unit 50 inputs a recognition target image captured by a camera (not shown) and a portion to be inspected which is a recognition area of the recognition target, and stores them in a storage device such as a disk (not shown). The recognition target image is an image in which the recognition target object is captured by a camera, and one or a plurality of recognition target objects are captured in one image. The recognition target image is represented by a value of each dimension in the color space for each pixel. For example, it is expressed by gradations (256, etc.) in each dimension of (R, G, B) in the RGB color space. The inspection target portion is an area including the recognition target object in the recognition target image, and is specified by a set of position coordinates of the image.

構成色処理部52は、構成色分離手段60、構成色統計量算出手段62及びサンプル間構成色統計量算出手段64を有する。図3は、図2中の構成色分離手段60のフローチャートである。以下、図3を参照して、構成色分離手段60の動作説明をする。ステップS2において、検査画像入力部50より検査対象箇所における認識対象物の全画素を抽出する。ステップS4において、検査対象箇所における出現頻度の高い色μ(μ1,μ2,…,μN)を全ての検査対象箇所内の画素より検索する。出現頻度の高い色μとは、N次元の色で表される色空間において、最も出現する頻度の高い色を示している。このような高出現頻度色μは、ある構成色の平均の色であることが推測される。ステップS6において、高出現頻度色μとその類似色を検査対象箇所内の全画素から検索して、該当する画素の位置を記憶する。類似色とは、色空間において、高出現頻度色μと距離が近い色のことをいう。例えば、各次元が256階調で表現される場合、全ての次元において、μi±20(i=1,…,N)の範囲内に該当する画素の位置を記憶する。これにより、高出現頻度色を平均値とするような構成色のおおよその位置を得ることができる。類似色を検索するのは、一般的に構成色は完全に単一の色ではなく、撮像環境や認識対象物の製造上により、バラツキが生じるからである。 The constituent color processing unit 52 includes constituent color separating means 60, constituent color statistic calculating means 62, and inter-sample constituent color statistic calculating means 64. FIG. 3 is a flowchart of the constituent color separation means 60 in FIG. Hereinafter, the operation of the component color separation means 60 will be described with reference to FIG. In step S <b> 2, all pixels of the recognition target object at the inspection target location are extracted from the inspection image input unit 50. In step S4, the color μ (μ 1 , μ 2 ,..., Μ N ) having a high appearance frequency in the inspection target location is searched from the pixels in all inspection target locations. The color μ having a high appearance frequency indicates a color having the highest appearance frequency in a color space represented by an N-dimensional color. Such a high appearance frequency color μ is estimated to be an average color of certain constituent colors. In step S6, the high appearance frequency color μ and its similar color are searched from all the pixels in the inspection target location, and the position of the corresponding pixel is stored. A similar color refers to a color that is close in distance to the high appearance frequency color μ in the color space. For example, when each dimension is expressed by 256 gradations, the position of the corresponding pixel is stored in the range of μ i ± 20 (i = 1,..., N) in all dimensions. Thereby, it is possible to obtain an approximate position of the constituent color such that the high appearance frequency color is an average value. The reason for searching for similar colors is that, in general, the constituent colors are not completely single colors, but vary due to the imaging environment and the manufacturing of the recognition target.

ステップS8において、検索された各画素に対して、その画素と近傍画素の色の標準偏差を各次元で算出し、各画素に対して算出される標準偏差の全検索画素についての平均値σ(σ1,σ2,…,σN)を得る。近傍画素とは、例えば、検索された画素を中心画素として、周辺1画素(全8画素)を指している。各色構成色は各次元において、色分布が正規分布に従うため、その標準偏差値σ(σ1,σ2,…,σN)を用いることにより、構成色のバラツキの範囲を知ることができる。例えば、μ±3σの範囲では、構成色のおよそ99%が検索される。 In step S8, for each searched pixel, the standard deviation of the color of the pixel and neighboring pixels is calculated for each dimension, and the average value σ ( σ 1 , σ 2 ,..., σ N ). The neighboring pixel refers to, for example, one peripheral pixel (all eight pixels) with the searched pixel as a central pixel. Since each color component color follows a normal distribution in each dimension, the range of variation of the component color can be known by using the standard deviation value σ (σ 1 , σ 2 ,..., Σ N ). For example, in the range of μ ± 3σ, approximately 99% of the constituent colors are searched.

ステップS10において、ステップS8で算出された構成色のバラツキ範囲(全ての次元においてμi±3σiの範囲)に該当する画素を検索する。構成色の周辺の画素から標準偏差を算出して構成色の位置を再検索するのは、各構成色の各次元において色のバラツキが異なるためである。 In step S10, a pixel corresponding to the variation range of the component colors calculated in step S8 (a range of μ i ± 3σ i in all dimensions) is searched. The reason for re-searching the position of the constituent color by calculating the standard deviation from the surrounding pixels of the constituent color is that the variation in color differs in each dimension of each constituent color.

ステップS12において、ノイズ除去を行う。これは、認識対象物の各構成色は、ある程度の同じ位置に固まっているという性質を利用したものである。まず、検索された画素について隣同士の画素は連結した成分とみなして一つの塊とする。各塊について、検索された全ての塊の面積の和に対するその面積が一体値以下(例えば、5%)の画素の塊は除去する。これにより、例えば、基板の色の類似する色が構成色に含まれているとき、認識対象箇所として基板の一部が含まれる場合には、基板の画素の塊が除去されることになる。また、逆に、検索された画素の塊の内部に存在するその塊の面積に対するその内部の面積が一定値以下の検索されない画素をその構成色の画素とする。   In step S12, noise removal is performed. This utilizes the property that the constituent colors of the recognition target object are fixed at the same position to some extent. First, regarding the searched pixels, adjacent pixels are regarded as connected components to form one block. For each chunk, pixel chunks whose area is less than or equal to the integrated value (for example, 5%) relative to the sum of the areas of all retrieved chunks are removed. Thereby, for example, when a color similar to the color of the substrate is included in the constituent colors, if a part of the substrate is included as the recognition target portion, the block of pixels on the substrate is removed. On the other hand, an unsearched pixel whose internal area with respect to the area of the cluster existing inside the cluster of searched pixels is equal to or less than a certain value is defined as a pixel of the constituent color.

ステップS14において、ステップS10,12で選択された画素の面積の検索対象箇所に対する面積比Sを算出する。以上の分析により、ステップS4で算出した高頻出色に対する構成色を取得できる。構成色の面積比Sは構成色情報記憶部54に保存される。ステップS16において、構成色面積比の総和が一定値(95%)以上であるか否かを判断する。一定値以上であれば、分析を終了する。一定値未満であれば、ステップS18に進む。ステップS18において、取得済構成色の画素を除く検査対象画素を分析する。ステップS4〜S14において、構成色として検索されなかった画素に対して行うことにより、他の主要な構成色とその位置を取得することができる。   In step S14, the area ratio S of the area of the pixel selected in steps S10 and 12 to the search target location is calculated. Through the above analysis, the constituent colors for the frequently appearing colors calculated in step S4 can be acquired. The area ratio S of the constituent colors is stored in the constituent color information storage unit 54. In step S16, it is determined whether or not the sum of the constituent color area ratios is equal to or greater than a certain value (95%). If it is above a certain value, the analysis is terminated. If it is less than the certain value, the process proceeds to step S18. In step S18, the pixel to be inspected excluding the pixels of the acquired component color is analyzed. In steps S4 to S14, other main constituent colors and their positions can be acquired by performing the processing on the pixels that are not retrieved as the constituent colors.

構成色統計量算出手段62は、構成色分離手段60により得られた各構成色の画素から各構成色の平均値μ(μ1,μ2,…,μN)と各構成色の画素の標準偏差σ(σ1,σ2,…,σN)の統計量を算出して、構成色情報記憶部54にこれらを記憶する。構成色処理部60及び構成色統計量算出部62は、検査画像入力部50から入力される、同一認識対象物について、異なる認識対象画像(サンプル)の検査対象箇所に対して上記処理を行う。これにより、同一認識対象物について、複数のサンプルに対して、各構成色の平均値及び標準偏差が得られて、構成色情報記憶部54にこれらが記憶されることになる。 The component color statistic calculation means 62 calculates the average value μ (μ 1 , μ 2 ,..., Μ N ) of each component color from the pixels of each component color obtained by the component color separation means 60 and the pixels of each component color. Statistics of standard deviation σ (σ 1 , σ 2 ,..., Σ N ) are calculated and stored in the component color information storage unit 54. The constituent color processing unit 60 and the constituent color statistic calculating unit 62 perform the above processing on the inspection target portions of different recognition target images (samples) for the same recognition target object input from the inspection image input unit 50. Thereby, the average value and standard deviation of each constituent color are obtained for a plurality of samples with respect to the same recognition object, and these are stored in the constituent color information storage unit 54.

サンプル間構成色統計量算出手段64は、同一の検査対象物については、用意されたいくつかのサンプルについて、サンプル間の構成色のバラツキを算出する。各サンプルは、構成色分離手段60及び構成色統計量算出手段62より、上述したように、各構成色の平均値、標準偏差値及び面積比が算出されて、構成色情報記憶部54に記憶されている。各サンプルの同じ構成色において、各次元におけるサンプルの構成色平均値の平均値(サンプル間平均値μS)、サンプルの構成色平均値の標準偏差(サンプル間標準偏差σS)、面積比の平均値(構成色平均面積比SM)及びサンプルの構成色の標準偏差の平均値(構成色標準偏差σM)を算出して、サンプル間平均値μS、サンプル間標準偏差σS、構成色平均面積比SM及び構成色標準偏差σMを構成色情報記憶部54に保存する。 The inter-sample constituent color statistic calculation means 64 calculates the constituent color variation between samples for several prepared samples for the same inspection object. For each sample, the average value, the standard deviation value, and the area ratio of each component color are calculated by the component color separation unit 60 and the component color statistic calculation unit 62 as described above, and stored in the component color information storage unit 54. Has been. For the same constituent color of each sample, the average value of the constituent color average value of the sample in each dimension (average value between samples μ S ), the standard deviation of the sample constituent color average value (standard deviation between samples σ S ), and the area ratio An average value (constituent color average area ratio S M ) and an average value of standard deviations of constituent colors of the samples (constituent color standard deviation σ M ) are calculated, and an inter-sample average value μ S , an inter-sample standard deviation σ S , and a constituent The color average area ratio S M and the constituent color standard deviation σ M are stored in the constituent color information storage unit 54.

図4は、各統計量を示す図である。横軸に色強度(階調)、縦軸に度数(画素数)が表されている。ここでは、構成色のある一次元について示している。太字の曲線は、平均値がサンプル間平均値μS、標準偏差がサンプル間標準偏差σSである正規分布を示している。各構成色は、各サンプルについては、μを中心として一定範囲、例えば、μ±3σMの範囲でバラツキ、サンプル全体の平均値はサンプル間平均値μSを中心に一定範囲、例えば、μS±3σSの範囲でバラツクことを示している。尚、ここでは、各サンプルの構成色は正規分布と仮定していることから、各μ±3σMの範囲では、当該サンプルの構成色については、およそ99%がこの範囲内にあることを意味する。また、μS±3σSの範囲では、サンプルの平均値のおよそ99%がこの範囲内にあることを意味する。 FIG. 4 is a diagram showing each statistic. The horizontal axis represents color intensity (gradation), and the vertical axis represents frequency (number of pixels). Here, one dimension with constituent colors is shown. A bold curve indicates a normal distribution in which the average value is the average value μ S between samples and the standard deviation is the standard deviation σ S between samples. For each sample, each sample color varies within a certain range around μ, for example, μ ± 3σ M , and the average value of the entire sample is within a certain range around the average value μ S between samples, for example, μ S It shows a variation in the range of ± 3σ S. Here, since the constituent colors of each sample are assumed to be a normal distribution, in the range of each μ ± 3σ M , it means that about 99% of the constituent colors of the sample are within this range. To do. Further, in the range of μ S ± 3σ S , it means that approximately 99% of the average value of the sample is within this range.

構成色情報記憶部54は、各検査対象物に対して、構成色分離部60、構成色統計量算出部62により得られた各サンプル単位のデータ(平均値μ、標準偏差σ、面積比S)及びサンプル間構成色統計量算出部64で算出された、サンプル間平均値μS、サンプル間標準偏差σS、構成色平均面積比SM、構成色標準偏差σMを記憶する。 The component color information storage unit 54 stores data (average value μ, standard deviation σ, area ratio S) of each sample unit obtained by the component color separation unit 60 and the component color statistic calculation unit 62 for each inspection object. ), And the inter-sample constituent color statistic calculation unit 64 stores the inter-sample average value μ S , the inter-sample standard deviation σ S , the constituent color average area ratio S M , and the constituent color standard deviation σ M.

検査データ決定部56は、抽出色範囲算出手段70、抽出面積算出手段72及び検査対象色選択手段74を有する。抽出色範囲算出手段70は、サンプル間構成色統計量算出手段64により得られた統計量を利用して、抽出色の範囲を指定する。   The inspection data determination unit 56 includes an extraction color range calculation unit 70, an extraction area calculation unit 72, and an inspection target color selection unit 74. The extracted color range calculation means 70 uses the statistics obtained by the inter-sample constituent color statistics calculation means 64 to specify the extraction color range.

図5は、抽出色範囲を示す図である。横軸は色強度、縦軸は度数を示している。抽出色範囲は構成色の各次元について指定されるが、図5はある一次元を示している。各構成色の各サンプルは、上述したように、例えば、μ±3σMの範囲でバラツク。サンプル全体では、サンプル平均値はμS±3σSの範囲でばらつく。よって、全体のバラツキはμS±(3σS±3σM)の範囲となる。従って、抽出色範囲は、下限値がμS−(3σS+3σM)、上限値がμS+(3σS+3σM)となる。この範囲より抽出範囲が小さくなると、抽出面積が少なくなり「見過ぎ」が発生する可能性があり、この範囲より抽出範囲が大きくなると、抽出面積が大きくなり、他の検査対象物を抽出してしまい「見逃し」の原因となる。抽出面積算出手段72は、任意の検査対象物に設定された各構成色の抽出色範囲に対して、他の検査対象物の各構成色の抽出面積比を算出するものである。 FIG. 5 is a diagram showing the extracted color range. The horizontal axis indicates color intensity, and the vertical axis indicates frequency. Although the extracted color range is specified for each dimension of the constituent colors, FIG. 5 shows one dimension. As described above, each sample of each constituent color varies within a range of μ ± 3σ M , for example. In the entire sample, the average value of the sample varies in the range of μ S ± 3σ S. Therefore, the overall variation is in the range of μ S ± (3σ S ± 3σ M ). Accordingly, the extracted color range has a lower limit value of μ S − (3σ S + 3σ M ) and an upper limit value of μ S + (3σ S + 3σ M ). If the extraction range is smaller than this range, the extraction area may decrease and “overlook” may occur. If the extraction range is larger than this range, the extraction area will increase and other inspection objects may be extracted. It will cause “missing”. The extraction area calculation unit 72 calculates an extraction area ratio of each constituent color of another inspection object with respect to an extraction color range of each constituent color set for an arbitrary inspection object.

図6は、抽出面積算出手段72のフローチャートである。ステップS100において、検査対象物の任意に選択された1つの構成色αの抽出色範囲の中心を算出する。抽出色範囲が位置を算出する。構成色記憶部54に記憶された構成色αのサンプル間平均値μ、サンプル間標準偏差σ、構成色標準偏差σであり、抽出色範囲が、上述したように[μ−(3σ+3σ),μ+(3σ+3σ)]であるとき、抽出色範囲の中心値がサンプル間平均値μとなる。尚、抽出色範囲は任意の範囲とすることができる。ステップS102において、ステップS100で選択された検査対象物と異なる任意に選択された他の検査対象物の1つの構成色βの構成色記憶部54に記憶された、サンプル間平均値μ、サンプル間標準偏差σ、構成色標準偏差σを読み出し、色空間の各次元について、構成色αの抽出色範囲の中心値が構成色βの該当次元のサンプル間バラツキμ±3σの範囲内にあるか否かを判断する。サンプル間バラツキの範囲内にある場合は、ステップS104に進む。サンプル間バラツキの範囲外である場合は、ステップS106に進む。 FIG. 6 is a flowchart of the extraction area calculation means 72. In step S100, the center of the extracted color range of one constituent color α arbitrarily selected from the inspection object is calculated. The extracted color range calculates the position. The inter-sample average value μ , the inter-sample standard deviation σ , and the constituent color standard deviation σ of the constituent color α stored in the constituent color storage unit 54, and the extracted color range is [μ − ( 3σ + 3σ ), μ + (3σ + 3σ )], the center value of the extracted color range is the average value μ between samples. The extracted color range can be set to an arbitrary range. In step S102, the inter-sample average value μ , the sample stored in the constituent color storage unit 54 of one constituent color β of another inspection target arbitrarily selected different from the inspection target selected in step S100 during standard deviation sigma S [beta, reads the configuration color standard deviation sigma Emubeta, for each dimension of the color space, the center of the range of values of the extracted color range of composition colors α is the corresponding dimension of the sample between the variation mu S [beta ± 3 [sigma] S [beta configuration color β It is judged whether it is in. If it is within the range of variation between samples, the process proceeds to step S104. If it is outside the range of the variation between samples, the process proceeds to step S106.

図7は、抽出色中心値がサンプル間バラツキ内にある場合の抽出面積の上限値と下限値の算出方法を示す図である。ステップS104において、図7に示すように、構成色βの平均値Aが抽出色範囲の中心に一致するようなサンプルの平均値及び標準偏差より求められるサンプルの正規分布と抽出色範囲とで囲まれる斜線で示す部分の面積が最大となることから、この面積のこのサンプルの正規分布全体の面積に対する抽出面積比(例えば、80%)を算出し、これを最大(上限)とする。   FIG. 7 is a diagram illustrating a method of calculating the upper limit value and the lower limit value of the extraction area when the extracted color center value is within the variation between samples. In step S104, as shown in FIG. 7, the sample normal distribution and the extracted color range obtained from the average value and standard deviation of the sample such that the average value A of the constituent colors β coincides with the center of the extracted color range are enclosed. Therefore, the extraction area ratio (for example, 80%) of this area to the entire area of the normal distribution of this sample is calculated, and this is set as the maximum (upper limit).

図8は、抽出色中心値がサンプル間バラツキ外にある場合の抽出面積の上限値と下限値の算出方法を示す図である。ステップS106において、構成色βの平均値が抽出色範囲の中心に最も近接するようなサンプル、例えば、図8に示すように該当次元についての平均値がAである当該サンプルの当該平均値及び標準偏差より求められるサンプルの正規分布と抽出色範囲とで囲まれる斜線で示す部分の面積が最大となることから、この面積のこのサンプルの正規分布全体の面積に対する抽出面積比(例えば、45%)を算出し、これを最大(上限)とする。   FIG. 8 is a diagram illustrating a method of calculating the upper limit value and the lower limit value of the extraction area when the extracted color center value is outside the variation between samples. In step S106, a sample whose average value of the constituent color β is closest to the center of the extracted color range, for example, the average value and standard of the sample whose average value for the corresponding dimension is A as shown in FIG. Since the area of the hatched portion surrounded by the normal distribution of the sample and the extracted color range obtained from the deviation becomes the maximum, the ratio of the extracted area to the area of the entire normal distribution of this sample (for example, 45%) Is calculated and set as the maximum (upper limit).

ステップS108において、図7,図8に示すように、抽出色中心値がサンプル間バラツキ内・外のいずれにある場合にも、抽出色範囲の中心値から最も離れるサンプルの該当次元についての正規分布Bと抽出色範囲とで囲まれる斜線で示す部分の面積が最小となることから、この面積のこのサンプルの正規分布全体の面積に対する抽出面積比(例えば、図7に示すように5%又は図8に示すように0%)を算出し、これを最小(下限)とする。   In step S108, as shown in FIGS. 7 and 8, the normal distribution for the corresponding dimension of the sample farthest from the center value of the extracted color range regardless of whether the extracted color center value is within or outside the inter-sample variation. Since the area of the hatched portion surrounded by B and the extracted color range is minimized, the ratio of the extracted area to the area of the entire normal distribution of this sample (for example, 5% as shown in FIG. (0% as shown in FIG. 8) is calculated and set as the minimum (lower limit).

以上のようにして、任意の検査対象物に設定された抽出色範囲の各次元に対して、他の任意の検査対象物の構成色の各次元について、抽出面積比の上限及び下限値が算出される。   As described above, the upper limit and lower limit values of the extraction area ratio are calculated for each dimension of the constituent colors of any other inspection object with respect to each dimension of the extraction color range set for the arbitrary inspection object. Is done.

検査対象色選択手段74は、検査対象物の各構成色の中で、検査対象色を選択する手段である。基本的には、検査対象物の各構成色の中で面積比の大きい構成色、または、他の検査対象物にはないその検査対象物特有の構成色を検査対象色として選択すれば良い。しかし、同じような構成色を持つ検査対象物が存在する場合、もしくは、検査対象物が様々な似たような面積比の構成色をもつ場合は、状況に応じた構成色を選択する必要がある。最適な検査対象色とは、検査対象物のみを抽出して、他の検査対象物を抽出しないことが要求される。   The inspection target color selection unit 74 is a unit that selects an inspection target color from among the constituent colors of the inspection target. Basically, a constituent color having a large area ratio among the constituent colors of the inspection object or a constituent color unique to the inspection object that does not exist in other inspection objects may be selected as the inspection object color. However, if there are inspection objects with similar constituent colors, or if the inspection objects have constituent colors with various similar area ratios, it is necessary to select a constituent color according to the situation. is there. The optimum inspection target color requires that only the inspection object is extracted and no other inspection object is extracted.

図9は、検査対象色選択手段74のフローチャートである。ステップS150において、検査対象物を選択する。ステップS152において、抽出色範囲を入力する。尚、抽出色範囲が入力されない場合は、デフォルトして、選択された検査対象物の各構成色について、抽出色範囲算出手段70により算出されたμS±(3σS+3σM)を抽出色範囲とする。ステップS154において、ステップS152で決定された抽出色範囲の各次元について、他の検査対象物の各構成色の該当次元に対して、上述した抽出面積算出手段72により抽出面積比の上限及び下限値を算出する。尚、検査対象物の抽出色範囲における、他の検査対象物の各構成色の抽出面積比の上限及び下限値は各次元の上限及び下限値の積である。 FIG. 9 is a flowchart of the inspection object color selection unit 74. In step S150, an inspection object is selected. In step S152, an extraction color range is input. If no extracted color range is input, by default, μ S ± (3σ S + 3σ M ) calculated by the extracted color range calculating means 70 is extracted color range for each constituent color of the selected inspection object. And In step S154, for each dimension of the extracted color range determined in step S152, the upper limit and lower limit values of the extraction area ratio by the above-described extraction area calculation means 72 for the corresponding dimension of each constituent color of the other inspection object. Is calculated. Note that the upper and lower limits of the extraction area ratio of each constituent color of the other inspection object in the extraction color range of the inspection object are products of the upper and lower limits of each dimension.

図10は、検査対象物の構成色の抽出色範囲及び他の検査対象物の各構成色の抽出面積比の表示の一例を示す図である。ここでは、検査対象物が部品5であり、他の検査対象物の部品1〜4及び部品5について、抽出面積比が示されている。ステップS156において、検査対象物の各構成色について、他の検査対象物の各構成色の抽出色面積、当該構成色の上限及び下限値をディスプレイに表示する。例えば、図10に示すように、部品5の構成色が構成色1〜3であり、その抽出色範囲が抽出色範囲1〜3であるとき、各部品1〜5の各構成色について、面積比、検査対象部品5の各構成色1〜3の各抽出色範囲1〜3における上限及び下限値が表示される。   FIG. 10 is a diagram illustrating an example of the display of the extracted color range of the constituent colors of the inspection object and the extraction area ratio of each constituent color of the other inspection objects. Here, the inspection object is the part 5, and the extraction area ratio is shown for the parts 1 to 4 and the part 5 of other inspection objects. In step S156, for each constituent color of the inspection object, the extracted color area of each constituent color of the other inspection object and the upper and lower limits of the constituent color are displayed on the display. For example, as shown in FIG. 10, when the component color of the component 5 is the component colors 1 to 3 and the extraction color range is the extraction color range 1 to 3, the area for each component color of the components 1 to 5 The upper and lower limit values in the extracted color ranges 1 to 3 of the component colors 1 to 3 of the component 5 to be inspected are displayed.

ステップS158において、検査対象物の検査対象の構成色の抽出色範囲の設定データを入力する。設定データは、検査を行う者がディスプレイに表示される図10に示された内容を見て、検査対象物の「見逃し」や「見過ぎ」が無いよう最適なものと選択したものである。ステップS160において、検査対象物の検査対象の構成色の閾値の設定テータを入力する。尚、良否判定を決める抽出色の抽出面積の閾値は、当該抽出色の抽出範囲における他の検査対象物の最大抽出面積比以上になるように設定すれば良い。但し、場合により、同じ構成色を持つ検査対象物がある場合がある。この場合は、当該検査対象物と同じ構成色を持つ他の検査対象物の最大抽出面積比が小さい構成色について、当該最大抽出面積比以上を閾値として設定する。   In step S158, the setting data of the extracted color range of the constituent color of the inspection object of the inspection object is input. In the setting data, the person who performs the inspection looks at the contents shown in FIG. 10 displayed on the display and selects the optimum one so that there is no “missing” or “too much” of the inspection object. In step S160, the setting data of the threshold value of the constituent color to be inspected of the inspection object is input. It should be noted that the threshold of the extraction area of the extracted color that determines the pass / fail judgment may be set to be equal to or greater than the maximum extraction area ratio of other inspection objects in the extraction range of the extracted color. However, in some cases, there may be an inspection object having the same component color. In this case, for a constituent color having a small maximum extraction area ratio of another inspection object having the same constituent color as the inspection object, a value equal to or greater than the maximum extraction area ratio is set as a threshold.

次にデータ設定方法を説明する。ここでは、基板上に実装される部品を検査対象物として検査する場合を例に説明する。検査対象物が実装された基板が作製される。基板に実装された各部品を含む場所をカメラにより撮像して、検査対象画像を生成する。検査対象画像内の検査対象物の検査対象箇所を指定する。構成色分離手段60により当該検査対象物の構成色に分離し、構成色統計量算出手段62により色空間における各次元単位に平均値及び標準偏差を算出して、構成色記憶部54に記憶する。同一検査対象物について、複数サンプルの平均値及び標準偏差が算出されると、サンプル間構成色統計量算出手段64により、当該検査対象物の複数サンプルの平均値及び標準偏差より、サンプル間平均値μS、サンプル間標準偏差σS、構成色平均面積比SM及び構成色標準偏差σMを構成色記憶部54に記憶する。 Next, a data setting method will be described. Here, a case where a component mounted on a substrate is inspected as an inspection object will be described as an example. A substrate on which the inspection object is mounted is produced. A place including each component mounted on the board is imaged by a camera to generate an inspection target image. The inspection target part of the inspection target in the inspection target image is designated. The component color separation unit 60 separates the test object into the component colors, and the component color statistic calculation unit 62 calculates an average value and a standard deviation for each dimension unit in the color space, and stores them in the component color storage unit 54. . When the average value and the standard deviation of a plurality of samples are calculated for the same inspection object, the inter-sample average value and the standard deviation are calculated by the inter-sample constituent color statistic calculation means 64 from the average value and the standard deviation of the plurality of samples of the inspection object. μ S , intersample standard deviation σ S , constituent color average area ratio S M, and constituent color standard deviation σ M are stored in the constituent color storage unit 54.

抽出色範囲算出手段70により、検査対象物の構成色の抽出色範囲μS±(3σS+3σM)を算出する。抽出面積算出部72により、検査対象物の構成色の抽出色範囲において、他の検査対象物の各構成色の抽出面積比の上限・下限値を算出する。検査対象色選択手段74により、検査対象物の各構成色の抽出色範囲における他の検査対象物の各構成色の抽出面積比の上限・下限値をディスプレイに表示する。検査者は検査対象物の抽出色範囲及び閾値を設定する。上記の処理を検査対象物が実装された基板が製作される度に行うことによりサンプル数が増加して、統計精度が良くなる。また、上記の処理を基板の検査と並行して行うことができる。即ち、基板の検査対象画像をデータ設定と検査のために併用して、検査とデータ設定を並行して行うことができる。 The extracted color range calculation means 70 calculates the extracted color range μ S ± (3σ S + 3σ M ) of the constituent colors of the inspection object. The extraction area calculation unit 72 calculates the upper limit and lower limit values of the extraction area ratio of each constituent color of the other inspection object in the extracted color range of the constituent color of the inspection object. The inspection target color selection means 74 displays the upper and lower limit values of the extraction area ratio of each component color of the other inspection object in the extraction color range of each component color of the inspection object on the display. The inspector sets the extraction color range and threshold value of the inspection object. By performing the above processing every time a substrate on which an inspection object is mounted is manufactured, the number of samples is increased, and statistical accuracy is improved. In addition, the above processing can be performed in parallel with the inspection of the substrate. That is, it is possible to perform inspection and data setting in parallel by using the inspection target image of the substrate in combination for data setting and inspection.

本発明は以下の付記を含むものである。   The present invention includes the following supplementary notes.

(付記1) 認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、
認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、
前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部と、
を具備したことを特徴とするデータ設定装置。
(Additional remark 1) In the data setting apparatus which sets the said setting data of the image recognition apparatus which recognizes the image for recognition of the recognition target object based on setting data,
A recognition image input unit for designating a recognition area in a recognition image in which a recognition object is captured;
A constituent color processing unit that extracts a position of a constituent color of the recognition object based on an image in the recognition area and calculates a statistic indicating a color variation related to the constituent color;
An inspection data determination unit that determines an extraction color range of the recognition object based on the statistics;
A data setting device comprising:

(付記2) 前記構成色処理部は、前記認識対象内の前記認識対象用画像の出現頻度の高い色の画素及び当該出現頻度の高い色の類似色の画素の平均値から前記出現頻度の高い色及び前記類似色の画素の各画素の近傍画素の標準偏差に基づく一定のバラツキ範囲の画素が前記認識対象物の構成色に含まれるものとして構成色を抽出する構成色分析部を具備したことを特徴とする付記1記載のデータ設定装置。   (Additional remark 2) The said structural color process part has the said appearance frequency high from the average value of the pixel of the color with a high appearance frequency of the said image for recognition objects in the said recognition object, and the pixel of the similar color of the said high appearance frequency color. A component color analyzing unit for extracting a component color as a pixel having a certain variation range based on a standard deviation of neighboring pixels of each pixel of the color and the similar color pixel is included in the component color of the recognition object; The data setting device according to supplementary note 1, characterized by:

(付記3) 前記構成色処理部は、前記構成色に含まれる各画素の色空間における各次元の値の第1平均値と第1標準偏差値の統計量を算出する構成色統計量算出部を具備したことを特徴する付記2記載のデータ設定装置。   (Supplementary Note 3) The component color processing unit calculates a statistic of a first average value and a first standard deviation value of each dimension value in a color space of each pixel included in the component color. The data setting device according to appendix 2, characterized by comprising:

(付記4) 前記構成色処理部は、同一の認識対象物が撮像されている複数のサンプル認識対象用画像についての前記第1平均値の平均であるサンプル間平均値及び当該サンプル間平均値の標準偏差であるサンプル間標準偏差値、前記第1標準偏差値の平均値である構成色平均標準偏差値に基づいて、サンプル間のバラツキ範囲を分析するサンプル間構成色統計量算出部を具備した特徴とする付記3記載のデータ設定装置。   (Additional remark 4) The said structural color process part is the average of the said 1st average value about the some sample recognition object image in which the same recognition target object was imaged, and the average value between the said sample average values. An inter-sample constituent color statistic calculation unit that analyzes a variation range between samples based on a standard deviation value between samples that is a standard deviation and a constituent color average standard deviation value that is an average value of the first standard deviation values is provided. The data setting device according to supplementary note 3, which is characterized.

(付記5) 前記検査データ決定部は、前記認識対象物の各構成色について、前記サンプル間平均値、前記サンプル間標準偏差値及び前記構成色平均標準偏差値に基づいて当該構成色の抽出色範囲を算出する抽出色範囲算出部を具備したことを特徴とする付記4記載のデータ設定装置。   (Additional remark 5) The said test | inspection data determination part is the extraction color of the said component color based on the said average value between samples, the said sample standard deviation value, and the said component color average standard deviation value about each component color of the said recognition target object. The data setting device according to appendix 4, further comprising an extraction color range calculation unit for calculating the range.

(付記6) 前記検査データ決定部は、前記各認識対象物の構成色の抽出色範囲内で当該認識対象物と異なる他の認識対象物の構成色が抽出される確率の上限及び下限値を当該他の認識対象物の構成色のサンプル間平均値、サンプル間標準偏差値及び構成色平均標準偏差値に基づき算出する抽出面積算出部を具備したことを特徴とする付記5記載のデータ設定装置。   (Additional remark 6) The said test | inspection data determination part sets the upper limit and lower limit of the probability by which the constituent color of the other recognition target object different from the said recognition target object is extracted within the extraction color range of the constituent color of each said recognition target object. The data setting device according to appendix 5, further comprising an extraction area calculation unit that calculates an average value between samples of the constituent colors of the other recognition target object, a standard deviation value between samples, and an average standard deviation value of the constituent colors .

(付記7) 前記抽出面積算出部は、前記他の認識対象物の各認識対象用画像の構成色に含まれる画素値の分布が正規分布であると仮定し、当該分布における前記抽出色範囲内の面積を算出することにより前記上限及び下限値を算出することを特徴とする付記6記載のデータ設定装置。   (Additional remark 7) The said extraction area calculation part assumes that distribution of the pixel value contained in the component color of each image for recognition object of the said other recognition target object is normal distribution, and is in the said extraction color range in the said distribution 7. The data setting device according to appendix 6, wherein the upper limit and the lower limit are calculated by calculating an area.

(付記8) 前記検査データ決定部は、前記認識対象物の前記構成色の前記抽出色範囲が与えられた場合に、他の認識対象物の各構成色の前記上限及び下限値を画面に表示する検査対象色選択部を具備したことを特徴とする付記7記載のデータ設定装置。   (Additional remark 8) The said test | inspection data determination part displays the said upper limit and lower limit of each structural color of another recognition target object on a screen, when the said extraction color range of the said structural color of the said recognition target object is given. The data setting device according to appendix 7, further comprising an inspection object color selection unit.

(付記9) 前記構成色分析部は、前記各構成色に含まれる画素からなる領域の面積の前記対象領域の面積に対する面積比を算出し、前記検査対象色選択部は、前記認識対象物の前記構成色の面積比及び当該認識対象物と異なる他の認識対象物の面積比を前記画面に表示することを特徴とする付記8記載のデータ設定装置。   (Additional remark 9) The said structural color analysis part calculates the area ratio with respect to the area of the said target area | region of the area of the area | region which consists of a pixel contained in each said constituent color, The said test target color selection part is the said recognition target object. 9. The data setting device according to appendix 8, wherein an area ratio of the constituent colors and an area ratio of another recognition object different from the recognition object are displayed on the screen.

(付記10) 認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定方法において、
認識対象物が撮像された認識用画像内の認識領域を指定するステップと、
前記認識領域内の画像に基づいて前記認識対象物の構成色を抽出し、当該構成色に関する色のバラツキを示す統計量を算出するステップと、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定するステップと、
を具備したことを特徴とするデータ設定方法。
(Additional remark 10) In the data setting method which sets the said setting data of the image recognition apparatus which recognizes the image for recognition of the recognition target object based on setting data,
Designating a recognition area in a recognition image in which a recognition object is captured;
Extracting a constituent color of the recognition object based on an image in the recognition area, and calculating a statistic indicating a color variation related to the constituent color;
Determining an extraction color range of the recognition object based on the statistics;
A data setting method characterized by comprising:

本発明の原理図である。It is a principle diagram of the present invention. 本発明の実施形態によるデータ設定装置の構成図である。It is a block diagram of the data setting apparatus by embodiment of this invention. 図2中の構成色分離部の処理フローチャートである。3 is a processing flowchart of a component color separation unit in FIG. 2. 各統計量を示す図である。It is a figure which shows each statistic. 抽出色範囲を示す図である。It is a figure which shows the extraction color range. 抽出面積算出手段のフローチャートである。It is a flowchart of an extraction area calculation means. 抽出色範囲がサンプル間バラツキ内にある場合を示す図である。It is a figure which shows the case where an extraction color range exists in the dispersion | variation between samples. 抽出色範囲がサンプル間バラツキ外にある場合を示す図である。It is a figure which shows the case where an extraction color range exists outside the dispersion | variation between samples. 検査対象物選択手段のフローチャートである。It is a flowchart of a test object selection means. 表示の一例を示す図である。It is a figure which shows an example of a display.

符号の説明Explanation of symbols

2 検査画像入力部
4 構成色処理部
6 検査データ決定部
10 認識対象物
12 認識対象用画像
14 認識領域
2 Inspection Image Input Unit 4 Component Color Processing Unit 6 Inspection Data Determination Unit 10 Recognition Object 12 Recognition Object Image 14 Recognition Area

Claims (8)

認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、
認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、
前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部とを具備し、
前記構成色処理部は、前記構成色に含まれる各画素の色空間における各次元の値に基づいて前記色のバラツキを示す統計量を算出する構成色統計量算出部を具備したことを特徴するデータ設定装置。
In the data setting device for setting the setting data of the image recognition device that recognizes an image for recognition of a recognition object based on setting data,
A recognition image input unit for designating a recognition area in a recognition image in which a recognition object is captured;
A constituent color processing unit that extracts a position of a constituent color of the recognition object based on an image in the recognition area and calculates a statistic indicating a color variation related to the constituent color;
An inspection data determination unit that determines an extraction color range of the recognition object based on the statistics,
The component color processing unit includes a component color statistic calculating unit that calculates a statistic indicating a variation in the color based on a value of each dimension in a color space of each pixel included in the component color. Data setting device.
認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、
認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、
前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部とを具備し、
前記構成色処理部は、同一の認識対象物が撮像されている複数のサンプル認識対象用画像についての個々の代表値に対して、前記色のバラツキを示す統計量を算出することを特徴とするデータ設定装置。
In the data setting device for setting the setting data of the image recognition device that recognizes an image for recognition of a recognition object based on setting data,
A recognition image input unit for designating a recognition area in a recognition image in which a recognition object is captured;
A constituent color processing unit that extracts a position of a constituent color of the recognition object based on an image in the recognition area and calculates a statistic indicating a color variation related to the constituent color;
An inspection data determination unit that determines an extraction color range of the recognition object based on the statistics,
The component color processing unit calculates a statistic indicating the color variation with respect to individual representative values of a plurality of sample recognition target images in which the same recognition target object is imaged. Data setting device.
認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、
認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、
前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部とを具備し、
前記構成色処理部は、前記構成色に含まれる各画素の色空間における各次元の値の第1平均値と第1標準偏差値の統計量を算出する構成色統計量算出部を具備し、
前記構成色処理部は、同一の認識対象物が撮像されている複数のサンプル認識対象用画像についての前記第1平均値の平均であるサンプル間平均値及び当該サンプル間平均値の標準偏差であるサンプル間標準偏差値、前記第1標準偏差値の平均値である構成色平均標準偏差値に基づいて、サンプル間のバラツキ範囲を分析するサンプル間構成色統計量算出部を具備した特徴とするデータ設定装置。
In the data setting device for setting the setting data of the image recognition device that recognizes an image for recognition of a recognition object based on setting data,
A recognition image input unit for designating a recognition area in a recognition image in which a recognition object is captured;
A constituent color processing unit that extracts a position of a constituent color of the recognition object based on an image in the recognition area and calculates a statistic indicating a color variation related to the constituent color;
An inspection data determination unit that determines an extraction color range of the recognition object based on the statistics,
The constituent color processing unit includes a constituent color statistic calculating unit that calculates a statistic of a first average value and a first standard deviation value of each dimension value in a color space of each pixel included in the constituent color,
The component color processing unit is an average value between samples that is an average of the first average values and a standard deviation of the average value between samples for a plurality of sample recognition target images in which the same recognition target object is imaged. Data comprising an inter-sample constituent color statistic calculation unit for analyzing a variation range between samples based on an inter-sample standard deviation value and a constituent color average standard deviation value that is an average value of the first standard deviation values Setting device.
前記検査データ決定部は、前記認識対象物の各構成色について、前記サンプル間平均値、前記サンプル間標準偏差値及び前記構成色平均標準偏差値に基づいて当該構成色の抽出色範囲を算出する抽出色範囲算出部を具備したことを特徴とする請求項3記載のデータ設定装置。   The inspection data determination unit calculates an extraction color range of the constituent color for each constituent color of the recognition target object based on the average value between samples, the standard deviation value between samples, and the average standard deviation value between constituent colors. 4. The data setting device according to claim 3, further comprising an extracted color range calculation unit. 前記検査データ決定部は、前記各認識対象物の構成色の抽出色範囲内で当該認識対象物と異なる他の認識対象物の構成色が抽出される確率の上限及び下限値を当該他の認識対象物の構成色のサンプル間平均値、サンプル間標準偏差値及び構成色平均標準偏差値に基づき算出する抽出面積算出部を具備したことを特徴とする請求項4記載のデータ設定装置。   The inspection data determination unit determines the upper and lower limits of the probability that the constituent colors of other recognition objects different from the recognition object are extracted within the extracted color range of the constituent colors of the recognition objects. 5. The data setting device according to claim 4, further comprising an extraction area calculation unit for calculating based on an inter-sample average value, an inter-sample standard deviation value, and a constituent color average standard deviation value of the constituent colors of the object. 前記抽出面積算出部は、前記他の認識対象物の各認識対象用画像の構成色に含まれる画素値の分布が正規分布であると仮定し、当該分布における前記抽出色範囲内の面積を算出することにより前記上限及び下限値を算出することを特徴とする請求項5記載のデータ設定装置。   The extraction area calculation unit calculates an area within the extraction color range in the distribution assuming that the distribution of pixel values included in the constituent colors of each recognition target image of the other recognition target object is a normal distribution. The data setting device according to claim 5, wherein the upper limit and the lower limit are calculated. 前記検査データ決定部は、前記認識対象物の前記構成色の前記抽出色範囲が与えられた場合に、他の認識対象物の各構成色の前記上限及び下限値を画面に表示する検査対象色選択部を具備したことを特徴とする請求項6記載のデータ設定装置。   The inspection data determination unit displays the upper and lower limit values of each constituent color of another recognition target object on the screen when the extracted color range of the constituent color of the recognition target object is given The data setting device according to claim 6, further comprising a selection unit. 前記構成色分析部は、前記各構成色に含まれる画素からなる領域の面積の前記対象領域の面積に対する面積比を算出し、前記検査対象色選択部は、前記認識対象物の前記構成色の面積比及び当該認識対象物と異なる他の認識対象物の面積比を前記画面に表示することを特徴とする請求項7記載のデータ設定装置。   The constituent color analyzing unit calculates an area ratio of an area of a pixel composed of pixels included in each constituent color to an area of the target region, and the inspection target color selecting unit calculates the constituent color of the recognition target object. The data setting device according to claim 7, wherein an area ratio and an area ratio of another recognition object different from the recognition object are displayed on the screen.
JP2007032455A 2007-02-13 2007-02-13 Data setting device Expired - Fee Related JP4481319B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007032455A JP4481319B2 (en) 2007-02-13 2007-02-13 Data setting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007032455A JP4481319B2 (en) 2007-02-13 2007-02-13 Data setting device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002380016A Division JP3934045B2 (en) 2002-12-27 2002-12-27 Data setting device, data setting method, program for executing data setting method, and inspection device

Publications (2)

Publication Number Publication Date
JP2007183980A true JP2007183980A (en) 2007-07-19
JP4481319B2 JP4481319B2 (en) 2010-06-16

Family

ID=38339943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007032455A Expired - Fee Related JP4481319B2 (en) 2007-02-13 2007-02-13 Data setting device

Country Status (1)

Country Link
JP (1) JP4481319B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014076789A1 (en) * 2012-11-15 2014-05-22 株式会社島津製作所 Analysis region setting device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0643112A (en) * 1992-07-23 1994-02-18 Matsushita Electric Ind Co Ltd Teaching method and equipment for image inspecting apparatus
JPH09231362A (en) * 1996-02-27 1997-09-05 Fuji Electric Co Ltd Appearance inspecting device and its method
JP2002286549A (en) * 2001-03-27 2002-10-03 Matsushita Electric Works Ltd Method and system for inspecting color tone

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0643112A (en) * 1992-07-23 1994-02-18 Matsushita Electric Ind Co Ltd Teaching method and equipment for image inspecting apparatus
JPH09231362A (en) * 1996-02-27 1997-09-05 Fuji Electric Co Ltd Appearance inspecting device and its method
JP2002286549A (en) * 2001-03-27 2002-10-03 Matsushita Electric Works Ltd Method and system for inspecting color tone

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014076789A1 (en) * 2012-11-15 2014-05-22 株式会社島津製作所 Analysis region setting device
JP5900644B2 (en) * 2012-11-15 2016-04-06 株式会社島津製作所 Analysis area setting device

Also Published As

Publication number Publication date
JP4481319B2 (en) 2010-06-16

Similar Documents

Publication Publication Date Title
JP4935109B2 (en) Substrate inspection device, inspection logic setting method and inspection logic setting device
US6463426B1 (en) Information search and retrieval system
JP5764238B2 (en) Steel pipe internal corrosion analysis apparatus and steel pipe internal corrosion analysis method
JP4736764B2 (en) Substrate inspection device, inspection logic setting method and inspection logic setting device
CN107111872B (en) Information processing apparatus, information processing method, and storage medium
JP2012026982A (en) Inspection device
JP2004077164A (en) Defect inspection method
JP4492356B2 (en) Substrate inspection device, parameter setting method and parameter setting device
KR20140096595A (en) Method for image classification
KR100868884B1 (en) Flat glass defect information system and classification method
JP5405245B2 (en) Image inspection method and image inspection apparatus
JP4459945B2 (en) Extraction color range setting method
JP4494424B2 (en) Program and inspection device
US7646892B2 (en) Image inspecting apparatus, image inspecting method, control program and computer-readable storage medium
US6675120B2 (en) Color optical inspection system
JP4506395B2 (en) Substrate inspection device, parameter setting method and parameter setting device
JP4481319B2 (en) Data setting device
JP2007033126A (en) Substrate inspection device, parameter adjusting method thereof and parameter adjusting device
JP2021086382A (en) Learning apparatus, detection apparatus, learning method, and learning program
JP4387398B2 (en) Data setting device
JP3934045B2 (en) Data setting device, data setting method, program for executing data setting method, and inspection device
JP4453503B2 (en) Substrate inspection device, substrate inspection method, inspection logic generation device and inspection logic generation method for substrate inspection device
KR102129970B1 (en) Method And Apparatus for Matching inspection Data Electronic Component
JP4419778B2 (en) Substrate inspection device, parameter setting method and parameter setting device
EP4010873B1 (en) Use of an hdr image in a visual inspection process

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100316

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100317

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees