JP2021099285A - Color unevenness inspection device and color unevenness inspection method - Google Patents
Color unevenness inspection device and color unevenness inspection method Download PDFInfo
- Publication number
- JP2021099285A JP2021099285A JP2019231870A JP2019231870A JP2021099285A JP 2021099285 A JP2021099285 A JP 2021099285A JP 2019231870 A JP2019231870 A JP 2019231870A JP 2019231870 A JP2019231870 A JP 2019231870A JP 2021099285 A JP2021099285 A JP 2021099285A
- Authority
- JP
- Japan
- Prior art keywords
- color
- inspected
- pixel
- inspection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims description 27
- 238000009826 distribution Methods 0.000 claims abstract description 63
- 238000003384 imaging method Methods 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 17
- 229910001220 stainless steel Inorganic materials 0.000 claims abstract description 16
- 239000010935 stainless steel Substances 0.000 claims abstract description 16
- 230000003287 optical effect Effects 0.000 description 21
- 238000011156 evaluation Methods 0.000 description 18
- 238000010191 image analysis Methods 0.000 description 11
- 238000000926 separation method Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 230000001678 irradiating effect Effects 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 229910000831 Steel Inorganic materials 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000010959 steel Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Abstract
Description
本発明は、発色処理されたステンレス鋼などの色ムラ検査装置および色ムラ検査方法に関する。 The present invention relates to a color unevenness inspection device and a color unevenness inspection method for color-treated stainless steel and the like.
製品評価等において表面状態等の外観検査は重要な検査項目の一つである。被検査体の表面状態を検査する手段として、光の反射や散乱、吸収、さらには、偏光、色等の種々の特性を利用した多くの検査技術が開示され、実用化されている。光の特性は被検査対象の表面状態によっても変動するため、それらの表面状態等に合わせて光に関する数学的に解析可能な光学的な挙動も把握して、検査光の照射や検出が必要となる。例えば、特許文献1は、物体表面における凹凸の分布の偏りやムラの状態を評価するもので、例えば光沢ムラなどを評価する装置等を開示している。 Appearance inspection such as surface condition is one of the important inspection items in product evaluation. As a means for inspecting the surface condition of the object to be inspected, many inspection techniques utilizing various characteristics such as light reflection, scattering, absorption, polarization, and color have been disclosed and put into practical use. Since the characteristics of light vary depending on the surface condition of the object to be inspected, it is necessary to irradiate and detect the inspection light by grasping the mathematically analyzable optical behavior of light according to the surface condition. Become. For example, Patent Document 1 evaluates a state of unevenness and unevenness of distribution of unevenness on an object surface, and discloses, for example, an apparatus for evaluating gloss unevenness and the like.
外観検査において、色の分布(色ムラ)の評価が求められる場合がある。特許文献2は、検査対象物の色合いを画像処理により検査する装置であって、画像入力手段により入力した検査対象物の入力画像に検査領域を定めた後、この検査領域の複数画素について所定の表色系の色要素により色測定を行うことで色測定値と画素数との関係を示す度数分布を求め、次いで、あらかじめ設定した基準度数分布と前記度数分布とを比較することにより前記検査対象物の色合いの良否判定を行うことを特徴とする色合い検査装置を開示している。 In the visual inspection, evaluation of color distribution (color unevenness) may be required. Patent Document 2 is an apparatus for inspecting the color tone of an inspection object by image processing. After defining an inspection area for an input image of the inspection object input by an image input means, a predetermined number of pixels in the inspection area are defined. The frequency distribution showing the relationship between the color measurement value and the number of pixels is obtained by performing color measurement using the color elements of the color system, and then the inspection target is compared with the preset reference frequency distribution and the frequency distribution. A color inspection device characterized by determining the quality of a color of an object is disclosed.
特許文献3は、検査対象物の表面に光を照射して得られる反射光をカラーカメラで撮影し、その出力信号を色度に変換し、検査領域全体について、この求めた色度と基準色度との色差およびその度数分布を求め、この度数分布と、予め設定しておいた小さい色差では度数の閾値が高く、大きい色差になるに従って度数の閾値が急激に減少してゼロになる閾値曲線とを比較し、度数分布の全体が閾値曲線以下であれば、検査対象物に色むらはないと判定し、閾値曲線に収まらない部分があれば、色ムラがあると判定することを特徴とする色ムラの検査方法を開示しており、基準色度が、標準試料について求めた色度とするものを開示している。 Patent Document 3 captures the reflected light obtained by irradiating the surface of an inspection object with light with a color camera, converts the output signal into chromaticity, and obtains the chromaticity and the reference color for the entire inspection area. The color difference from the degree and its frequency distribution are obtained, and the frequency threshold is high for this frequency distribution and the preset small color difference, and the frequency threshold rapidly decreases to zero as the color difference increases. If the entire frequency distribution is less than or equal to the threshold curve, it is judged that there is no color unevenness in the inspection object, and if there is a part that does not fit in the threshold curve, it is judged that there is color unevenness. It discloses a method for inspecting color unevenness, and discloses a standard chromaticity that is the chromaticity obtained for a standard sample.
特許文献4は、パラメータ設定装置が、対象画像の各画素の色を対象点として、除外画像の各画素の色を除外点として、それぞれ色空間(色ヒストグラム)にマッピングする。そして、色空間を分割する色範囲であって、そこに含まれる対象点の数と除外点の数の差(度数合計値)が最大となるような色範囲を求め、求められた色範囲を基板検査で用いられる色条件(色パラメータ)として設定する。これにより、検査用のパラメータの1つである色条件が自動的に生成される技術を開示している。 In Patent Document 4, the parameter setting device maps the color of each pixel of the target image as the target point and the color of each pixel of the excluded image as the exclusion point in the color space (color histogram). Then, a color range that divides the color space and that maximizes the difference between the number of target points and the number of exclusion points (total frequency value) included in the color range is obtained, and the obtained color range is obtained. Set as a color condition (color parameter) used in substrate inspection. As a result, a technique for automatically generating a color condition, which is one of the parameters for inspection, is disclosed.
特許文献5は、CIE XYZ等色関数と等価に線形変換された三つの分光感度(S1(λ),S2(λ),S3(λ))を有する撮像装置と、該撮像装置により取得した第1画像の関心領域の正規化された二次元または三次元の第1の色度図分布を生成し、前記撮像装置により取得した第2画像の関心領域の正規化された二次元または三次元の第2の色度図分布を生成し、前記第1の色度図分布と、第2の色度図分布とを対比し、第1の色度図分布と第2の色度図分布の重複領域を検出し、前記関心領域の第1画素数を検出し、前記重複領域の第2画素数を検出し、前記第1画素数に対する第2画素数の割合を演算する画像色分布検査装置を開示している。 Patent Document 5 describes an image pickup device having three spectral sensitivities (S1 (λ), S2 (λ), S3 (λ)) linearly converted equivalent to the CIE XYZ color matching function, and a first image obtained by the image pickup device. Generates a normalized two-dimensional or three-dimensional first chromaticity map distribution of the region of interest of one image, and the normalized two-dimensional or three-dimensional region of interest of the second image acquired by the imaging device. A second chromaticity map distribution is generated, the first chromaticity map distribution is compared with the second chromaticity map distribution, and the first chromaticity map distribution and the second chromaticity map distribution are overlapped. An image color distribution inspection device that detects a region, detects the number of first pixels in the region of interest, detects the number of second pixels in the overlapping region, and calculates the ratio of the number of second pixels to the number of first pixels. It is disclosed.
また、特許文献6は、メタリック感やパールのキラメキ等の質感を明確に簡単に定量化し、検査物と基準物との比較検査を合理化する着色検査装置を開示している。また、特許文献7は、規格に不適合となった規格外品を活用し、色・質感の適切なマッチングを行う色・質感管理システム等を開示している。 Further, Patent Document 6 discloses a coloring inspection apparatus that clearly and easily quantifies the texture such as metallic feeling and pearl glitter, and rationalizes the comparative inspection between the inspection object and the reference object. Further, Patent Document 7 discloses a color / texture management system and the like that appropriately match colors / textures by utilizing nonstandard products that do not conform to the standard.
特許文献1は、光沢ムラなどの表面性状を評価するものであり凹凸の分布等がなく色にムラがある被検査対象についてそのムラを十分に評価できない場合があった。特許文献2〜7は、色情報に基づく評価を行うものである。これらの技術は、予め標準値となる画像や標準サンプル(標準品)を設定して、その標準値等との対比を行っている。 Patent Document 1 evaluates surface texture such as uneven gloss, and there is a case where the unevenness cannot be sufficiently evaluated for an object to be inspected having unevenness in color due to lack of distribution of unevenness or the like. Patent Documents 2 to 7 perform evaluation based on color information. In these technologies, standard values such as images and standard samples (standard products) are set in advance and compared with the standard values.
しかしながら、外観検査においては、標準値とするものが決まっていない場合や、製品ごとに色が変わり標準品や標準値が存在しない場合がある。さらに、色は複数の要素が絡み合い認識され、標準値にも一定の幅を設ける場合がある。しかし、標準値の閾値に近い領域が多い製品の場合、標準値との比較による評価結果では不良品となるものの実際に観察するとほとんどムラといえないものとなっている場合もある。よって、標準品や標準値を用いる手法は被検査体によっては利用できない場合があった。 However, in the visual inspection, there are cases where the standard value is not determined, or the color changes for each product and there is no standard product or standard value. Further, the color is recognized by entwining a plurality of elements, and the standard value may have a certain width. However, in the case of a product having many regions close to the threshold value of the standard value, the evaluation result by comparison with the standard value may be a defective product, but it may not be said to be uneven when actually observed. Therefore, the standard product and the method using the standard value may not be available depending on the inspected object.
また、色ムラは製品の製造条件等に起因する場合があると考えられるため、色ムラの適切な評価方法は、製造条件を最適化するための検討指標としても有用である。しかし、目視評価では、評価者や体調、環境等の条件によっても色の感度にばらつきが生じる場合がある。そして、目視評価の条件や色の傾向によってもムラが目立つ色と目立ちにくい色がある。このように目視評価では顕著なムラに見えるものが実際はわずかな製品状態の差などに起因するものだったり、差を識別しにくいものの実際は大きなムラが生じていたりと、目視評価した結果を製造工程にフィードバックすると、条件設定が有効にできない場合がある。このような状況から、色ムラの評価にも定量化しやすいものが求められている。 Further, since it is considered that the color unevenness may be caused by the manufacturing conditions of the product and the like, an appropriate evaluation method of the color unevenness is also useful as an examination index for optimizing the manufacturing conditions. However, in the visual evaluation, the color sensitivity may vary depending on the evaluator, physical condition, environment, and other conditions. Depending on the conditions of visual evaluation and the tendency of color, there are colors in which unevenness is conspicuous and colors in which unevenness is inconspicuous. In this way, what appears to be remarkable unevenness in visual evaluation is actually due to a slight difference in product condition, etc., and although it is difficult to distinguish the difference, large unevenness actually occurs, and the result of visual evaluation is the manufacturing process. If you give feedback to, the condition setting may not be enabled. Under these circumstances, there is a demand for an evaluation of color unevenness that is easy to quantify.
係る状況下、本発明は、様々な被検査体に用いることができ、認識や定量化しやすい被検査体の色ムラを評価する装置および方法を提供することを目的とする。 Under such circumstances, it is an object of the present invention to provide an apparatus and method for evaluating color unevenness of an inspected object, which can be used for various inspected objects and is easy to recognize and quantify.
本発明者は、上記課題を解決すべく鋭意研究を重ねた結果、下記の発明が上記目的に合致することを見出し、本発明に至った。すなわち、本発明は、以下の発明に係るものである。 As a result of diligent research to solve the above problems, the present inventor has found that the following invention meets the above object, and has arrived at the present invention. That is, the present invention relates to the following invention.
<1> 光源と、前記光源から照射された光の少なくとも一部を被検査体の被検査面に反射させ前記被検査面を照射するハーフミラーと、
前記被検査面の検査範囲から反射および/または散乱し前記ハーフミラーを透過した光を撮像することで前記検査範囲の画像を撮像する撮像部とを有し、
前記撮像部で撮像した画像の画素ごとに色成分を検出する検出手段と、
前記画素ごとに前記色成分を表色系成分に換算する表色系換算手段と、
前記表色系成分の少なくとも2つの特性値を用いる空間分布から前記検査範囲における基準値を求める基準値設定手段と、
前記検査範囲の画像の画素ごとに前記基準値から前記画素までの前記空間分布におけるノルムNxを算出するNx算出手段と、を有する色ムラ検査装置。
<2> 前記表色系が、XYZ表色系および/またはLab表色系である<1>記載の色ムラ検査装置。
<3> 前記基準値が、最頻値、平均値、および中央値からなる群から選択されるいずれかに基づくものである<1>または<2>に記載の色ムラ検査装置。
<4> 前記Nxの分布を前記検査範囲の分布図として表示する分布図表示手段を有する<1>〜<3>のいずれかに記載の色ムラ検査装置。
<5> 前記分布図表示手段が、前記Nxに閾値を設け二値化した前記分布図を表示する<4>記載の色ムラ検査装置。
<6> 前記被検査体が発色処理されたステンレス鋼である<1>〜<5>のいずれかに記載の色ムラ検査装置。
<7> 光源から照射された光の少なくとも一部を被検査体の被検査面に反射させるハーフミラーにより前記被検査面を照射し、前記被検査面の検査範囲から反射および/または散乱し前記ハーフミラーを透過した光を撮像することで前記被検査面の検査範囲の画像を撮像する撮像部により撮像した前記画像の画素ごとの色成分を検出する色成分検出工程と、
前記画素ごとに前記色成分を表色系成分に換算する表色系換算工程と、
前記表色系成分の少なくとも2つの特性値を用いる空間分布から前記検査範囲における基準値を求める基準値設定工程と、
画素ごとに前記空間分布における前記基準値から前記画素までのノルムNxを算出するNx算出工程と、を有する色ムラ検査方法。
<1> A light source, a half mirror that reflects at least a part of the light emitted from the light source to the surface to be inspected and irradiates the surface to be inspected.
It has an imaging unit that captures an image of the inspection range by capturing light reflected and / or scattered from the inspection range of the surface to be inspected and transmitted through the half mirror.
A detection means for detecting a color component for each pixel of an image captured by the imaging unit, and
A color system conversion means for converting the color component into a color system component for each pixel, and
A reference value setting means for obtaining a reference value in the inspection range from a spatial distribution using at least two characteristic values of the color system component, and
A color unevenness inspection apparatus having an Nx calculation means for calculating a norm Nx in the spatial distribution from the reference value to the pixel for each pixel of an image in the inspection range.
<2> The color unevenness inspection apparatus according to <1>, wherein the color system is an XYZ color system and / or a Lab color system.
<3> The color unevenness inspection apparatus according to <1> or <2>, wherein the reference value is based on any one selected from the group consisting of a mode value, an average value, and a median value.
<4> The color unevenness inspection apparatus according to any one of <1> to <3>, which has a distribution map display means for displaying the distribution of Nx as a distribution map of the inspection range.
<5> The color unevenness inspection device according to <4>, wherein the distribution map display means displays the binarized distribution map by setting a threshold value in the Nx.
<6> The color unevenness inspection apparatus according to any one of <1> to <5>, wherein the object to be inspected is a color-treated stainless steel.
<7> The surface to be inspected is irradiated with a half mirror that reflects at least a part of the light emitted from the light source to the surface to be inspected, and is reflected and / or scattered from the inspection range of the surface to be inspected. A color component detection step of detecting the color component of each pixel of the image captured by the imaging unit that captures an image of the inspection range of the surface to be inspected by imaging the light transmitted through the half mirror, and a color component detection step.
A color system conversion step of converting the color component into a color system component for each pixel, and
A reference value setting step of obtaining a reference value in the inspection range from a spatial distribution using at least two characteristic values of the color system component, and
A color unevenness inspection method comprising a Nx calculation step of calculating a norm Nx from the reference value in the spatial distribution to the pixel for each pixel.
本発明によれば、様々な被検査体の色ムラの評価に用いることができ、色ムラを認識や定量化しやすいものとすることができる。 According to the present invention, it can be used for evaluation of color unevenness of various objects to be inspected, and color unevenness can be easily recognized and quantified.
以下に本発明の実施の形態を詳細に説明するが、以下に記載する構成要件の説明は、本発明の実施態様の一例(代表例)であり、本発明はその要旨を変更しない限り、以下の内容に限定されない。なお、本明細書において「〜」という表現を用いる場合、その前後の数値を含む表現として用いる。 Hereinafter, embodiments of the present invention will be described in detail, but the description of the constituent elements described below is an example (representative example) of the embodiments of the present invention, and the present invention is described below unless the gist thereof is changed. It is not limited to the contents of. When the expression "-" is used in the present specification, it is used as an expression including numerical values before and after the expression.
[本発明の検査装置]
本発明の検査装置は、光源と、前記光源から照射された光の少なくとも一部を被検査体の被検査面に反射させ前記被検査面を照射するハーフミラーと、前記被検査面の検査範囲から反射および/または散乱し前記ハーフミラーを透過した光を撮像することで前記検査範囲の画像を撮像する撮像部とを有し、前記撮像部で撮像した画像の画素ごとに色成分を検出する検出手段と、前記画素ごとに前記色成分を表色系成分に換算する表色系換算手段と、前記表色系成分の少なくとも2つの特性値を用いる空間分布から前記検査範囲における基準値を求める基準値設定手段と、前記検査範囲の画像の画素ごとに前記基準値から前記画素までの前記空間分布におけるノルムNxを算出するNx算出手段と、を有する色ムラ検査装置である。
本発明の検査装置は、様々な被検査体の色ムラ評価に採用しやすい。また、本発明の検査装置は、色ムラを認識や定量化しやすいものとすることができる。
[Inspection device of the present invention]
The inspection device of the present invention includes a light source, a half mirror that reflects at least a part of the light emitted from the light source to the surface to be inspected and irradiates the surface to be inspected, and an inspection range of the surface to be inspected. It has an imaging unit that captures an image of the inspection range by capturing light that is reflected and / or scattered from the image and transmitted through the half mirror, and detects a color component for each pixel of the image captured by the imaging unit. A reference value in the inspection range is obtained from a detection means, a color system conversion means for converting the color component into a color system component for each pixel, and a spatial distribution using at least two characteristic values of the color system component. It is a color unevenness inspection apparatus having a reference value setting means and an Nx calculation means for calculating a norm Nx in the spatial distribution from the reference value to the pixel for each pixel of the image in the inspection range.
The inspection device of the present invention can be easily adopted for evaluating color unevenness of various objects to be inspected. Further, the inspection apparatus of the present invention can easily recognize and quantify color unevenness.
[本発明の検査方法]
本発明の検査方法は、光源から照射された光の少なくとも一部を被検査体の被検査面に反射させるハーフミラーにより前記被検査面を照射し、前記被検査面の検査範囲から反射および/または散乱し前記ハーフミラーを透過した光を撮像することで前記被検査面の検査範囲の画像を撮像する撮像部により撮像した前記画像の画素ごとの色成分を検出する色成分検出工程と、前記画素ごとに前記色成分を表色系情報に換算する表色系換算工程と、前記表色系成分の少なくとも2つの特性値を用いる空間分布から前記検査範囲における基準値を求める基準値設定工程と、画素ごとに前記空間分布における前記基準値から前記画素までのノルムNxを算出するNx算出工程と、を有する色ムラ検査方法である。
本発明の検査方法は、様々な被検査体の色ムラ評価に採用しやすい。また、本発明の検査方法は、色ムラを認識や定量化しやすいものとすることができる。
なお、本発明の検査方法は、本発明の検査装置を用いておこなうことができ、以下において相互に対応する構成は参照して実施することができる。
[Inspection method of the present invention]
In the inspection method of the present invention, the surface to be inspected is irradiated with a half mirror that reflects at least a part of the light emitted from the light source to the surface to be inspected, and the surface to be inspected is reflected and / or reflected from the inspection range of the surface to be inspected. Alternatively, the color component detection step of detecting the color component of each pixel of the image captured by the imaging unit that captures the image of the inspection range of the surface to be inspected by capturing the scattered light transmitted through the half mirror, and the above. A color system conversion step of converting the color component into color system information for each pixel, and a reference value setting step of obtaining a reference value in the inspection range from a spatial distribution using at least two characteristic values of the color system component. This is a color unevenness inspection method including a Nx calculation step of calculating a norm Nx from the reference value in the spatial distribution to the pixel for each pixel.
The inspection method of the present invention can be easily adopted for evaluating color unevenness of various objects to be inspected. In addition, the inspection method of the present invention can easily recognize and quantify color unevenness.
The inspection method of the present invention can be carried out using the inspection apparatus of the present invention, and the configurations corresponding to each other can be carried out with reference to the following.
本発明者らは、評価基準が確立されていない新たな評価対象となる被検査体の色ムラを評価するにあたって、基準サンプルを設けずに評価する手法を検討した。そこで、被検査体を観察した像について、表色系に換算して得られる刺激値を利用して、その被検査体について現に撮像された像から基準値を設けることを検討した。 The present inventors have examined a method for evaluating the color unevenness of an object to be evaluated, which is a new evaluation target for which evaluation criteria have not been established, without providing a reference sample. Therefore, it was examined to set a reference value from the image actually captured for the inspected object by using the stimulus value obtained by converting the image to be inspected into the color system.
表色系として、XYZ表色系や、Lab表色系などの表色系が知られている。これらは刺激値と呼ばれるような評価指標となる特性値を有している。本発明者らは、この刺激値を複数採用した空間に、観察対象の像の画素ごとの評価結果をプロットして、その結果から基準値を設定することを検討した。さらに、刺激値は複数の軸を有しその方向によって傾向が変わるが、これらを基準値として設定した値からの距離として一律に評価することを検討した。 As the color system, a color system such as an XYZ color system and a Lab color system is known. These have characteristic values that serve as evaluation indexes, such as stimulus values. The present inventors have studied plotting the evaluation results for each pixel of the image to be observed in a space in which a plurality of these stimulus values are adopted, and setting a reference value from the results. Furthermore, although the stimulus value has multiple axes and the tendency changes depending on the direction, it was examined to uniformly evaluate these as the distance from the value set as the reference value.
このように、その像から設定した基準値とその基準値から各画素までのノルムを分布図として表示すると、二値化や、グレースケールのような濃淡表示をより行いやすくなり、この分布図はムラを認識・識別しやすいことを見出した。本発明はこのような知見に基づくものであり、標準サンプルを用いない場合でも、被検査体の検査範囲からムラを評価することができる方法や装置等に関する。 In this way, if the reference value set from the image and the norm from the reference value to each pixel are displayed as a distribution map, it becomes easier to perform binarization and grayscale display, and this distribution map is We found that it was easy to recognize and identify unevenness. The present invention is based on such findings, and relates to a method, an apparatus, and the like capable of evaluating unevenness from the inspection range of an inspected object even when a standard sample is not used.
また、色の評価を行うにあたって、被検査体の種類によっては、被検査面に対する照明の影響によって、被検査面を撮像した像が大きな影響を受ける場合があることが分かった(例えば、図8参照)。被検査体の被検査面を撮像するにあたって、被検査体を支持するX−Yステージを所定の位置として、一定の範囲を撮像して、X−Yステージを移動させるように分割して撮像する場合がある。この一定の範囲を撮像するとき、被検査体への照明の入射角のわずかな違いが反射光などに大きな影響を与えて、撮像する像がその影響を受ける場合がある。また、このような像を複数並べることで広範な検査面の色ムラを評価すると、実際のムラとは対応しない異常部が発生しやすくなる場合がある。 Further, in evaluating the color, it was found that, depending on the type of the object to be inspected, the image of the surface to be inspected may be significantly affected by the influence of illumination on the surface to be inspected (for example, FIG. 8). reference). When imaging the surface to be inspected of the object to be inspected, the XY stage supporting the inspected object is set as a predetermined position, a certain range is imaged, and the XY stage is divided and imaged so as to move. In some cases. When imaging this certain range, a slight difference in the incident angle of the illumination on the object to be inspected may have a great influence on the reflected light and the like, and the image to be imaged may be affected by the slight difference. Further, when a wide range of color unevenness on the inspection surface is evaluated by arranging a plurality of such images, an abnormal portion that does not correspond to the actual unevenness may easily occur.
例えば、ステンレス鋼発色処理で得られるステンレス鋼の化学酸化発色皮膜には、めっき膜の物性や膜厚を利用して干渉色を生じさせるものがある。このような発色処理されたステンレス鋼板の干渉色の状態を評価する技術も求められている。一般に色などの表面状態を観察するときは、光量が強い反射光の影響を抑えて、散乱光などを利用して観察するために、被検査面に斜めから照射した光の散乱光を中心に観察する配置とすることが多い。しかし、本発明者らが検討した結果、発色処理されたステンレス鋼のように干渉色を有するステンレス鋼板は、入射光の入射角の影響を大きく受け、色ムラの検査が難しい。 For example, some of the chemically oxidized color-developing films of stainless steel obtained by the stainless steel color-developing treatment generate an interference color by utilizing the physical properties and film thickness of the plating film. There is also a demand for a technique for evaluating the state of interference color of such a color-developed stainless steel sheet. Generally, when observing surface conditions such as color, in order to suppress the influence of reflected light with a strong amount of light and observe using scattered light, etc., the scattered light of the light radiated diagonally to the surface to be inspected is mainly used. It is often arranged for observation. However, as a result of studies by the present inventors, a stainless steel sheet having an interference color such as color-treated stainless steel is greatly affected by the incident angle of incident light, and it is difficult to inspect color unevenness.
このような干渉色などの影響を受けやすい被検査体に対する照射方法を検討した結果、拡散板で拡散させた面光源の光を、被検査面に対して略垂直に配置したハーフミラーを用いて、被検査面に対して略垂直方向から照射して、被検査面とハーフミラーとの延長上に配置した撮像部を通して像を観察すれば、干渉色を有するステンレス鋼の化学酸化発色皮膜でも入射角依存性等の影響を抑制して、色ムラを検査することができることがわかった。本発明はこのような知見に基づくものであり、入射角依存性の影響が生じうる被検査体であっても、その影響を抑制して、被検査体の検査範囲からムラを評価することができる方法や装置等に関する。 As a result of investigating an irradiation method for an object to be inspected that is easily affected by such interference colors, a half mirror in which the light of a surface light source diffused by a diffuser is arranged substantially perpendicular to the surface to be inspected is used. By irradiating the surface to be inspected from a substantially vertical direction and observing the image through an imaging unit arranged on the extension of the surface to be inspected and the half mirror, even a chemically oxidized and colored film of stainless steel having an interference color is incident. It was found that color unevenness can be inspected by suppressing the influence of angle dependence and the like. The present invention is based on such findings, and even for an inspected object that may be affected by the angle of incidence, it is possible to suppress the influence and evaluate unevenness from the inspection range of the inspected object. Regarding possible methods and devices.
[第一の実施形態]
図1は、本発明に係る検査装置の第一の実施形態の全体構成の概要を示すものである。検査装置100は、支持部20に載置された被検査体21の色ムラを検査する装置である。検査装置100は、光学系10と、支持部20と、撮像部30を有している。さらに、表面検査装置100においては、撮像部30により撮像した像を適宜任意の表示や解析をするために、画像検出手段40と、画像解析手段50と、表示部60を備えている。これらの撮像部30により撮像された像や、画像検出手段40や画像解析手段50により検出、解析された像等は、適宜記憶部70に保存される。また記憶部70は、これらの検出や解析のための換算式や計算式等を適宜保存したものが用いられる。
[First Embodiment]
FIG. 1 shows an outline of the overall configuration of the first embodiment of the inspection device according to the present invention. The
[光学系10]
光学系10は、被検査体21の被検査面を照明する構造である。光学系10は、光源11と、ハーフミラー13とを有する。さらに、光源11とハーフミラー13との間に、拡散板12を有する。光源11から照射された光は、ハーフミラー13で、その一部が反射され、支持部20に支持された被検査体21の被検査面を照明する。被検査面から反射した光の一部は、ハーフミラー13を透過して、撮像部30に撮像される。
[Optical system 10]
The
[光源11]
光源11は、被検査体21を照射する光源である。被検査体21の種類や検査目的などに応じて、この光源11は可視光を含む光などを適宜採用することができる。光源11には、一般的な白色光源や、LED光源、レーザー光源などを用いることができる。光源11にはレンズ(図示せず)を設けて、照射する光を適宜調整して照射してもよい。レンズは、照射する範囲を収束するものや、拡散するもの、平行光として照射するものなどを用いることができる。照射範囲や照射強度に応じてレンズを設けずに照射してもよい。光源11の光は、適宜、直線偏光や楕円偏光などの偏光を用いることもできる。
[Light source 11]
The
光源11は、支持部20上に配置されたハーフミラー13内の反射面に向かって光が入射する配置とする。また、光学系10において、光源11は、拡散板12に対して光束を照射し、拡散板12を通過した光は、ハーフミラー13の方向に入射する。
The
[拡散板12]
光学系10は拡散板12を有する。光源11の光は、拡散板12により拡散されることが好ましい。光源11として、レーザー光源やLED光源を用いることで指向性が高い照射ができるが、これらの光源は点光源となり指向性が強すぎる場合があるため、拡散板12を用いて照明光の強度を均一にして照射する。
[Diffusion plate 12]
The
[ハーフミラー13]
そして、光源11から照射される光は、拡散板12で拡散されて、ハーフミラー13側へと透過する。このハーフミラー13は、その光の分離面が、光源11から照射された光の光軸に対して斜めに配置されている。また、この配置は、被検査体からの反射光(散乱光)の光軸に対しても斜めに配置されている。よって、光源11からハーフミラー13に照射され分離面で反射された光は、被検査体21の被検査面に照射される。そして、被検査面の状態に応じて、被検査面から反射してハーフミラー13に入射した光は、被検査体から反射された光の光軸とハーフミラー13とがなす角度に応じて所定の照射強度の光がハーフミラー13を透過して、対物レンズ31を介して、撮像部30に検出される。このために、被検査体からの反射光の光軸と、ハーフミラー13が光を分離する面とが45°をなすように配置されることが好ましい。
[Half mirror 13]
Then, the light emitted from the
このような光学系10により被検査体21の被検査面を照明することで、被検査面の略垂直方向からの照明により被検査体21を照明することができる。よって、斜め入射などの入射角依存性の影響を抑制した撮像ができる。
By illuminating the surface to be inspected with the object to be inspected 21 by such an
[支持部20]
支持部20は被検査体21を支持するものである。この支持部20は、被検査体21を載置する台でもよいし、被検査体21が検査中に動かないように把持する把持部を有するものとしてもよい。また、被検査体21の検査範囲を調整するために、X−Yステージを有するものとすることもできる。被検査体21は、例えば、各種成形品や、塗装品、コーティング加工品、めっき品などの色ムラを検査する対象とすることができる。
[Support 20]
The
[撮像部30]
撮像部30は、被検査体21の被検査面の検査範囲を撮像する。撮像部30は、光学系10、被検査体21との位置関係、検査目的、被検査体21の種類等に応じて、適宜、被検査体21からの散乱光および/または反射光(以下、「散乱光等」とする。)を検出する。撮像部30が撮像する範囲は適宜対物レンズ31を用いて調整することもできる。撮像部30が撮像した散乱光等の強度や色情報は、適宜、表色系への換算等を行うために記憶部等に記憶される。この散乱光等の検出は、被検査体のどの位置の散乱光等かを特定することができるように、2次元の面状の情報としてエリアセンサで検出することができる。例えば、画素ごとのRGBの色情報を検出することができるCCDカメラなどを用いることができる。なお、散乱光等の強度や色情報の検出感度のバラつきを低減するために、散乱光等を複数回検出してその積分値として散乱光等の強度や色情報は求めるほうがよい。
[Imaging unit 30]
The
さらに、表面検査装置100においては、撮像部30により撮像した像について、適宜任意の表示や解析をおこなう。撮像部30により撮像された像について画像検出手段40で画像の画素ごとの色成分として検出し、画像解析手段50で画素ごとの色成分に基づいて解析する。また、その解析結果は、適宜、表示部60に表示される。
Further, the
[画像検出手段40]
画像検出手段40は、撮像部30などが撮像して伝送された像に関する情報などを取得し、被検査体の検査範囲の画像を、画素ごとの色成分として検出する検出手段である。色成分は、表色系に換算することができるものとして、複数の色を検出することができるものであればよい。例えば撮像部でRGBなどの画素ごとの検出結果を各色成分の情報として画像検出手段40は画素ごとに検出する。この検出された色成分の情報は適宜記憶部70に保存され、画像解析手段50等で解析されたり、解析結果と対比して評価するための撮像画像そのものとして利用することもできる。
[Image detection means 40]
The
[画像解析手段50]
画像解析手段50は、画素ごとに色成分を表色系成分に換算する表色系換算手段を含む。また、画像解析手段50は、表色系成分の少なくとも2つの特性値を用いる空間分布から検査範囲における基準値を求める基準値設定手段を含む。また、画像解析手段50は、画素ごとに前記基準値から前記画素までの前記空間分布におけるノルムNxを算出するNx算出手段を含む。このような解析を行うことで、画像検出手段40で色成分の情報を検出した画像から、標準サンプル等を用いずに、その被検査体21の画像として色ムラなどの解析ができる。さらに、画像解析手段50は、所定の閾値を設けて二値化する手段を含んだり、形状特徴量などを抽出して良否判定や分類等を行う判別手段を含んでもよい。
[Image analysis means 50]
The image analysis means 50 includes a color system conversion unit that converts a color component into a color system component for each pixel. Further, the image analysis means 50 includes a reference value setting means for obtaining a reference value in the inspection range from a spatial distribution using at least two characteristic values of the color system component. Further, the image analysis means 50 includes an Nx calculation means for calculating the norm Nx in the spatial distribution from the reference value to the pixel for each pixel. By performing such an analysis, it is possible to analyze color unevenness and the like as an image of the inspected
[表示部60]
表示部60は、画像解析手段50で解析された解析結果の像や、その像に関する判別結果、画像検出手段40で検出された撮像結果、これらの選択や操作などのための情報などを、使用者が把握しやすいように適宜表示するモニターなどである。
[Display unit 60]
The
[色ムラ検査方法]
図2は、本発明に係る色ムラ検査方法のフローチャート図である。本発明に係る色ムラ検査方法S1は、被検査体の被検査面に光を照射する照射工程S11と、被検査面の検査範囲を撮像する撮像工程S21と、撮像された像の色成分を画素ごとに検出する色成分検出工程S31と、画素ごとに色成分を表色系に換算する表色系換算工程S41と、画素ごとの表色系の値に基づき基準値を設定する基準値設定工程S51と、画素ごとに基準値との差を算出するNx算出工程S61を有し、算出された画素ごとの基準値との差を表示する表示工程S71を有するものとすることができる。以下に、色ムラ検査方法S1を、色ムラ検査装置100を用いて行う場合を例に説明する。
[Color unevenness inspection method]
FIG. 2 is a flowchart of the color unevenness inspection method according to the present invention. The color unevenness inspection method S1 according to the present invention includes an irradiation step S11 for irradiating the surface to be inspected with light, an imaging step S21 for imaging the inspection range of the surface to be inspected, and a color component of the image taken. A color component detection step S31 for detecting each pixel, a color system conversion step S41 for converting a color component for each pixel into a color system, and a reference value setting for setting a reference value based on the value of the color system for each pixel. It is possible to have a step S51 and an Nx calculation step S61 for calculating the difference from the reference value for each pixel, and a display step S71 for displaying the difference from the calculated reference value for each pixel. Hereinafter, a case where the color unevenness inspection method S1 is performed using the color
[照射工程S11]
色ムラ検査方法S1は、まず、光学系10を用いて被検査体の被検査面に光を照射する照射工程S11を行う。光学系10は光源11から照射した光が拡散板12で拡散されハーフミラー13に入射し、その光の一部はハーフミラー13の分離面で反射され、被検査体21の被検査面の垂直方向から被検査面に照射される。
[Irradiation step S11]
The color unevenness inspection method S1 first performs an irradiation step S11 of irradiating the surface to be inspected with light using the
[撮像工程S21]
次に、被検査体の被検査面を撮像する撮像工程S21を行う。ハーフミラー13を介して垂直方向から照射された光は、被検査体21の被検査面の状態等により反射・散乱等される。被検査面からハーフミラー13方向に反射・散乱された光の一部は、ハーフミラー13の分離面を通過し撮像部30方向に透過して、撮像部30により像が観察され撮像される。
[Imaging step S21]
Next, an imaging step S21 for imaging the surface to be inspected of the object to be inspected is performed. The light emitted from the vertical direction through the
[色成分検出工程S31]
次に、撮像工程S21で撮像された検査対象の画像について、検査範囲の画素ごとの色成分を検出する色成分検出工程S31を行う。検査対象の画像は検査装置100の撮像部30で撮像した画像を用いる。これらの検査対象の画像について検査範囲を設定し、その検査範囲について画素ごとの色成分を検出する。画素の大きさや画素数は、検査対象の大きさなどを考慮して適宜設定する。例えば、1画素あたりの各辺1μm〜1mm程度の大きさとすることができる。1辺あたり30画素以上や、50画素以上、100画素以上としてもよい。1辺あたりの画素数の上限は特に定めなくてもよいが、10万画素以下や、5万画素以下、1万画素以下のような上限を設けてもよい。
[Color component detection step S31]
Next, the color component detection step S31 for detecting the color component for each pixel in the inspection range is performed on the image to be inspected captured in the imaging step S21. As the image to be inspected, the image captured by the
[表色系換算工程S41]
次に、色成分検出工程S31の色成分に関する情報について画素ごとに色成分を表色系に換算する表色系換算工程S41を行う。表色系に換算することで、RGBなどの検出されたままの情報を利用するよりも人が知覚する色と対応しやすい処理を行うことができる。これにより、色ムラの表示も熟練した検査者等の判断とも整合する高度な検査を行うことができる。表色系は、XYZ表色系や、Lab表色系を用いることが好ましい。これらは、RGBなどの汎用されている検出手法の色成分に関するデータからの換算手法が確立されており利用しやすく、かつ、本発明の基準値設定などを行うための空間情報としても適している。
[Color system conversion step S41]
Next, a color system conversion step S41 for converting the color component into a color system for each pixel is performed with respect to the information regarding the color component in the color component detection step S31. By converting to a color system, it is possible to perform processing that is easier to correspond to a color perceived by a person than using information as it is detected such as RGB. As a result, it is possible to perform an advanced inspection in which the display of color unevenness is consistent with the judgment of a skilled inspector or the like. As the color system, it is preferable to use an XYZ color system or a Lab color system. These are easy to use because a conversion method from data related to color components of a general-purpose detection method such as RGB has been established, and are also suitable as spatial information for setting the reference value of the present invention. ..
[基準値設定工程S51]
次に、表色系換算工程S41の検査範囲の画像の画素ごとの表色系の値に基づき、その検査範囲における基準値を設定する基準値設定工程S51を行う。この基準値の設定は、画素ごとに表色系の刺激値などの特性値を空間分布として処理して基準値を求める。例えば、XYZ表色系に換算した結果に基づき、検査範囲の画像における各画素の刺激値として、X、Yを用いてその空間分布から、基準値を求める。この基準値は、最頻値、平均値、および中央値からなる群から選択されるいずれかに基づくものなどを基準値とすることができる。これらの最頻値や、平均値、中央値は、その値をそのまま用いてもよいし、その値に基づくものとして、その値の前後一定の範囲を基準としてもよいし、その値に補正値を加えたり係数を設けたものなどを用いてもよい。この空間分布における基準値の設定は、2つ以上の刺激値を用いることで、色情報を反映させたムラのデータ処理が有効なものとなる。さらに、基準値設定工程S51は3つの刺激値を用いた3次元の空間分布を求めてもよい。この基準値は、標準品等がなくとも任意の被検査体の検査範囲から求めることができるという利点を有する。
[Reference value setting step S51]
Next, a reference value setting step S51 for setting a reference value in the inspection range is performed based on the color system value for each pixel of the image in the inspection range of the color system conversion step S41. To set this reference value, a characteristic value such as a stimulus value of a color system is processed as a spatial distribution for each pixel to obtain a reference value. For example, based on the result of conversion to the XYZ color system, a reference value is obtained from the spatial distribution using X and Y as the stimulus value of each pixel in the image in the inspection range. The reference value can be based on one selected from the group consisting of the mode value, the average value, and the median value. For these mode values, average values, and median values, the values may be used as they are, or based on the values, a certain range before and after the values may be used as a reference, or the correction values may be used as the correction values. May be added or a coefficient is provided. By using two or more stimulus values for setting the reference value in this spatial distribution, the uneven data processing that reflects the color information becomes effective. Further, the reference value setting step S51 may obtain a three-dimensional spatial distribution using three stimulus values. This reference value has an advantage that it can be obtained from the inspection range of an arbitrary object to be inspected even if there is no standard product or the like.
[Nx算出工程S61]
次に、基準値設定工程S51で設定した基準値を用いて、検査範囲の画素ごとに基準値との空間分布におけるノルム(ノルムNx)を算出するNx算出工程S61を行う。このノルムは、画素ごとに空間分布における基準値から画素までのノルムNxを算出するものである。例えば、X、Yの刺激値を用いて、基準値(Xc,Yc)が設定された場合、所定の画素の表色系の換算値(X1,Y1)とのノルムN1は、以下の式(1)で求められる。
N1=((X1−Xc)2+(Y1−Yc)2)0・5 式(1)
すなわち、この式(1)で求められるノルムN1は、空間分布における各画素の値と、基準値との距離の絶対値である。このような距離の絶対値とすることで、空間分布における方向を表示せずに定量化しやすいデータとなる。また、ムラの視覚化を行ったとき、色の分布も合わせて表示するものよりも、そのムラを認識しやすいものとなる。
[Nx calculation step S61]
Next, using the reference value set in the reference value setting step S51, an Nx calculation step S61 for calculating the norm (norm Nx) in the spatial distribution with the reference value for each pixel in the inspection range is performed. This norm calculates the norm Nx from the reference value in the spatial distribution to the pixel for each pixel. For example, when the reference values (Xc, Yc) are set using the stimulus values of X and Y, the norm N1 with the conversion value (X1, Y1) of the color system of a predetermined pixel is expressed by the following equation (X1, Y1). Obtained in 1).
N1 = ((X1-Xc) 2 + (Y1-Yc) 2) 0 · 5 formula (1)
That is, the norm N1 obtained by this equation (1) is the absolute value of the distance between the value of each pixel in the spatial distribution and the reference value. By setting the absolute value of such a distance, the data can be easily quantified without displaying the direction in the spatial distribution. Further, when the unevenness is visualized, it becomes easier to recognize the unevenness than the one that also displays the color distribution.
[表示工程S71]
次に、Nx算出工程S61で算出されたノルムNxを画像に表示する表示工程S71を行う。この表示工程S71により、モニターなどの表示部に表示された結果を見て、使用者は検査結果を確認して、製品の良否や状態の判定、製品の製造条件の検証などを行うことができる。ノルムNxについてグレースケールなどの階調的表示や、閾値を設定して二値化等したものを、検査範囲の画像に対応する分布図として表示することができる。このような分布図とすることで、被検査体の検査範囲を単に撮像した像よりも、色ムラの有無や範囲、形状、模様などを識別しやすい分布図を得ることができる。また、本発明にかかる基準値とのノルムNxを利用した分布図は、定量化等を行うためのデータとしても利用しやすい。
[Display step S71]
Next, a display step S71 for displaying the norm Nx calculated in the Nx calculation step S61 on an image is performed. By this display step S71, the user can confirm the inspection result by seeing the result displayed on the display unit such as a monitor, judge the quality or condition of the product, verify the manufacturing condition of the product, and the like. .. A gradation display such as a gray scale for the norm Nx, or a binarized display by setting a threshold value can be displayed as a distribution map corresponding to an image in the inspection range. By using such a distribution map, it is possible to obtain a distribution map that makes it easier to identify the presence / absence, range, shape, pattern, etc. of color unevenness than an image obtained by simply capturing the inspection range of the object to be inspected. Further, the distribution map using the norm Nx with the reference value according to the present invention can be easily used as data for quantification and the like.
本発明において、ノルムNxを求めるための基準値は、その検査対象の検査範囲におけるものとして、都度設定することができる。一方、ノルムNxの閾値は、ノルムNxを絶対値とすることができるため、あらかじめ閾値の範囲を設定しておくこともできる。例えば、XYZ表色系のX,Yの刺激値を用いるとき、ノルムNxが0.005を超えるとき異常点としたり、0.01を超えるとき異常点とする閾値の設定などを行うことができる。階調的表示とする場合も、同様に、例えば異常点を白画素として、所定の範囲までは段階的な表示として、所定の値以上離れるとき、白画素とするなどの表示や処理を行うこともできる。 In the present invention, the reference value for obtaining the norm Nx can be set each time within the inspection range of the inspection target. On the other hand, since the norm Nx threshold value can be an absolute value of the norm Nx, the threshold range can be set in advance. For example, when using the stimulus values of X and Y of the XYZ color system, it is possible to set a threshold value as an abnormal point when the norm Nx exceeds 0.005 or as an abnormal point when the norm Nx exceeds 0.01. .. Similarly, in the case of gradation display, for example, an abnormal point is set as a white pixel, a stepwise display is performed up to a predetermined range, and when the distance is more than a predetermined value, a white pixel is displayed or processed. You can also.
検査範囲の像を、本発明により二値化等することで、良否判定や分類判定の判別も行いやすいものとなる。例えば、二値化された分布図の閾値外の外れ値画素(例えば、白画素)を特定する外れ値画素特定工程と、互いに隣接する複数の外れ値画素からなる外れ値画素グループを特定し、特定した外れ値画素グループの図形的な特徴を示す形状特徴量を抽出する形状特徴量抽出工程と、を備え、前記形状特徴量に写像を用いて、前記形状特徴量抽出工程によって抽出された前記形状特徴量の値から求めた判断パラメータの値に基づいて、色ムラを判断するものとすることもできる。写像には、ヒストグラムや多変量解析などを用いることができる。 By binarizing the image of the inspection range according to the present invention, it becomes easy to determine the quality and the classification. For example, an outlier pixel identification step of specifying outlier pixels (for example, white pixels) outside the threshold of the binarized distribution map and an outlier pixel group consisting of a plurality of outlier pixels adjacent to each other are specified. The shape feature amount extraction step of extracting the shape feature amount indicating the graphic feature of the specified outlier pixel group is provided, and the shape feature amount is extracted by the shape feature amount extraction step using a mapping for the shape feature amount. It is also possible to judge the color unevenness based on the value of the judgment parameter obtained from the value of the shape feature amount. Histograms, multivariate analysis, and the like can be used for mapping.
また、これらの工程や手段はプログラムとしてコンピュータに実行させるものとすることができる。また、このプログラムは、適宜コンピュータが読み取り可能な記録媒体に保存して、利用することができる。 Further, these steps and means can be executed by a computer as a program. Further, this program can be appropriately stored in a computer-readable recording medium and used.
以下、実施例により本発明を更に詳細に説明するが、本発明は、その要旨を変更しない限り以下の実施例に限定されるものではない。 Hereinafter, the present invention will be described in more detail with reference to Examples, but the present invention is not limited to the following Examples unless the gist thereof is changed.
[検査装置(1)]
第一の実施形態に準じる検査装置により、以下の実験を行った。なお、この実験において主な構成は以下のものである。
[光学系]
被検査体の被検査面の垂直方向にハーフミラーを配置した。このハーフミラーの分離面が被検査面の垂直方向となす角度が45度となるように配置した。このハーフミラーの分離面の反射方向に、拡散板を介して、光源を設けた。光源から照射される光の光軸は、ハーフミラーに入射して、ハーフミラーの分離面で反射して、被検査体の被検査面を垂直方向から照射するものとなる。
・光源:“松電舎製LCM−28/28W”(平面LED光源、拡散板、ハーフミラーを一体化させた光源)
[被検査体]
ステンレス化学発色処理皮膜を施したSUS304鋼板を被検査体として、X−Yステージ上に載置した状態で適宜移動させながら、検査範囲を撮像した。
[撮像部]
被検査体を、カメラで撮像した。カメラは画素ごとにRGBの強度を検出することができるものとした。カメラは、水平に配置された被検査体の被検査面を鉛直方向から撮像し、照射された光の散乱光を検出する配置とした。撮像する画像の画素は、1画素当たり約10μm×10μmの大きさとした。撮像された像は、画素ごとにRGBの色情報を有するものとして検出し保存した。
・カメラ:The Imaging Source社製DFK33UX249
[Inspection device (1)]
The following experiment was carried out by the inspection device according to the first embodiment. The main configurations in this experiment are as follows.
[Optical system]
A half mirror was placed in the direction perpendicular to the surface to be inspected of the object to be inspected. The half mirror was arranged so that the angle formed by the separation surface of the half mirror in the vertical direction of the surface to be inspected was 45 degrees. A light source was provided via a diffuser plate in the reflection direction of the separation surface of the half mirror. The optical axis of the light emitted from the light source is incident on the half mirror, reflected by the separation surface of the half mirror, and irradiates the surface to be inspected of the object to be inspected from the vertical direction.
-Light source: "LCM-28 / 28W manufactured by Matsudensha" (light source that integrates a flat LED light source, diffuser plate, and half mirror)
[Inspected body]
A SUS304 steel sheet coated with a stainless chemical color treatment film was used as an inspected object, and the inspection range was imaged while being appropriately moved while being placed on the XY stage.
[Image pickup unit]
The subject to be inspected was imaged with a camera. The camera is supposed to be able to detect the intensity of RGB for each pixel. The camera is arranged so that the surface to be inspected of the inspected object arranged horizontally is imaged from the vertical direction and the scattered light of the irradiated light is detected. The pixels of the image to be captured had a size of about 10 μm × 10 μm per pixel. The captured image was detected and stored as having RGB color information for each pixel.
-Camera: The Imaging Source DFK33UX249
図3は上記の光学系や撮像部を用いて撮像したステンレス鋼の化学酸化発色皮膜である被検査体を撮影した像である。この像は、X−Yステージを移動させながら、7mm×5mmずつ撮像したものを並べて表示したものである。この像について、色ムラを評価した。 FIG. 3 is an image of an inspected object, which is a chemically oxidized color-developing film of stainless steel, taken by using the above optical system and an imaging unit. This image is a side-by-side display of images taken by 7 mm × 5 mm while moving the XY stage. Color unevenness was evaluated for this image.
[色ムラ評価例(1)XYZ表色系]
[基準値の設定]
図3の像について、撮影された像の画素ごとのRGBの色成分を検出した。次に、このRGBの色成分を、画素ごとにXYZ表色系に換算した。図4は、XYZ表色系を用いて、基準値(Xc,Yc)から、所定の画素のXYZ表色系の値(X1,Y1)までのノルムN1を求める計算例を説明するための図であり、画素ごとにこの計算をすることでそれぞれの画素のノルムNxを求めることができる。図5は、XYZ表色系に換算した画素ごとの刺激値X、刺激値Yを分布として表示したものである。この図3の像は、XYZ表色系に換算して画素ごとの値を検討すると、Xがおよそ0.24、Yがおよそ0.255が最頻値であった。この最頻値を、本実施例の基準値N0とした。
[Color unevenness evaluation example (1) XYZ color system]
[Reference value setting]
For the image of FIG. 3, RGB color components for each pixel of the captured image were detected. Next, the RGB color components were converted into an XYZ color system for each pixel. FIG. 4 is a diagram for explaining a calculation example for obtaining the norm N1 from the reference value (Xc, Yc) to the value (X1, Y1) of the XYZ color system of a predetermined pixel using the XYZ color system. Therefore, the norm Nx of each pixel can be obtained by performing this calculation for each pixel. FIG. 5 shows the stimulus value X and the stimulus value Y for each pixel converted into the XYZ color system as a distribution. In the image of FIG. 3, when the values for each pixel were examined in terms of the XYZ color system, X was about 0.24 and Y was about 0.255, which was the mode. This mode value was set as the reference value N0 of this example.
[ノルムNxの計算]
次に、画素ごとに、基準値N0から各画素までのノルムNxを計算した。このNxは、N0との距離として計算した絶対値である。
図6は、Nxの分布を、段階的にグレースケールで表示としたものであり、最頻値であるN0からのノルム(実数)を256階調の8ビット値に変換して表示している。図6(b)は、Nxの分布に閾値を設けて二値化したものである。この閾値は、基準値とのノルム(距離)が0.01を超える場合、異常点として白画素で表示し、ノルムが0.01以下のものは正常点として黒画素で表示した。
[Calculation of norm Nx]
Next, the norm Nx from the reference value N0 to each pixel was calculated for each pixel. This Nx is an absolute value calculated as a distance from N0.
In FIG. 6, the distribution of Nx is displayed in gray scale step by step, and the norm (real number) from N0, which is the mode value, is converted into an 8-bit value of 256 gradations and displayed. .. FIG. 6B shows a binarized distribution of Nx with a threshold value. When the norm (distance) from the reference value exceeds 0.01, this threshold value is displayed as an abnormal point in white pixels, and when the norm is 0.01 or less, it is displayed in black pixels as a normal point.
図3に示すように、ステンレス鋼の化学酸化発色皮膜を撮像した像のままでは濃淡などの影響もあり色ムラを評価しにくい場合がある。一方、本発明により、その検査範囲内で基準値を設定して、その基準値と比較することで、標準サンプルを用いずに、色ムラ判別を行いやすい像に変換することができる。図6は、基準点から大きく外れるほど明るく表示されるため、周囲の基準と認識する大勢を占める領域と異なる部分がどこか識別しやすい像となっている。図6(b)は、二値化しているため、基準となる領域とのノルムが大きい場所をより選択的に認識しやすい像となっている。 As shown in FIG. 3, it may be difficult to evaluate color unevenness due to the influence of shading and the like as the image of the chemically oxidized color-developing film of stainless steel. On the other hand, according to the present invention, by setting a reference value within the inspection range and comparing it with the reference value, it is possible to convert the image into an image in which color unevenness can be easily discriminated without using a standard sample. Since FIG. 6 is displayed brighter as it deviates greatly from the reference point, it is an image in which it is easy to identify a part different from the area occupying the majority recognized as the surrounding reference. Since FIG. 6B is binarized, it is an image that makes it easier to more selectively recognize a place having a large norm with the reference region.
[比較例]
図8は、ハーフミラーを用いず、平面LED光源を被検査面に対して斜め方向(約45度)から照射して撮像した像である。X−Yステージを所定の位置としたときに撮像される像に入射角度等による輝度ムラが大きく、分割して撮像されている各像の輝度ムラが大きいものとなっている。また、このような像を並べたとき、分割される各像のつなぎ目が顕著なものとなっている。このため、色ムラの評価を有効に行いにくい。
[Comparison example]
FIG. 8 is an image taken by irradiating a flat LED light source from an oblique direction (about 45 degrees) with respect to the surface to be inspected without using a half mirror. When the XY stage is set to a predetermined position, the image imaged has a large luminance unevenness due to an incident angle or the like, and the luminance unevenness of each of the divided images is large. Further, when such images are arranged, the joints of the divided images are remarkable. Therefore, it is difficult to effectively evaluate color unevenness.
[色ムラ評価例(2)L*a*b*表色系]
[基準値の設定]
図3の像について、撮影された像の画素ごとのRGBの色成分を検出した。次に、このRGBの色成分を、画素ごとにL*a*b*表色系に換算した。L*a*b*表色系の、L*がおよそ66.9、a*がおよそ0.5、b*がおよそー31.2が最頻値であった。この最頻値を、本実施例の基準値N0´とした。
[Color unevenness evaluation example (2) L * a * b * color system]
[Reference value setting]
For the image of FIG. 3, RGB color components for each pixel of the captured image were detected. Next, the RGB color components were converted into an L * a * b * color system for each pixel. In the L * a * b * color system, L * was about 66.9, a * was about 0.5, and b * was about -31.2, which was the mode. This mode value was set as the reference value N0'of this embodiment.
[ノルムNx´の計算]
次に、画素ごとに、基準値N0´から各画素までのノルムNx´を計算した。このNx´は、N0´との距離として計算した絶対値である。
図7(a)は、Nx´の分布を、段階的にグレースケールで表示としたものであり、最頻値であるN0´からのノルム(実数)を256階調の8ビット値に変換して表示している。図7(b)は、Nx´の分布に閾値を設けて二値化したものである。この閾値は、基準値とのノルム(距離)が0.01を超える場合、異常点として白画素で表示し、ノルムが3.2以下のものは正常点として黒画素で表示した。
[Calculation of norm Nx']
Next, for each pixel, the norm Nx'from the reference value N0'to each pixel was calculated. This Nx'is an absolute value calculated as the distance from N0'.
In FIG. 7A, the distribution of Nx'is displayed in gray scale step by step, and the norm (real number) from N0', which is the mode, is converted into an 8-bit value of 256 gradations. Is displayed. FIG. 7B shows a binarized distribution of Nx'with a threshold value. When the norm (distance) from the reference value exceeds 0.01, this threshold value is displayed as an abnormal point in white pixels, and when the norm is 3.2 or less, it is displayed as a normal point in black pixels.
XYZ表色系を用いた例と同様に、L*a*b*表色系を用いたものも、その検査範囲内で基準値を設定して、その基準値と比較することで、標準サンプルを用いずに、色ムラ判別を行いやすい像に変換することができる。図7(a)は、基準点から大きく外れるほど明るく表示されるため、周囲の基準と認識する大勢を占める領域と異なる部分がどこか識別しやすい像となっている。図7(b)は、二値化しているため、基準となる領域とのノルムが大きい場所をより選択的に認識しやすい像となっている。 Similar to the example using the XYZ color system, the standard sample using the L * a * b * color system is also obtained by setting a reference value within the inspection range and comparing it with the reference value. It is possible to convert to an image in which color unevenness can be easily discriminated without using. Since FIG. 7A is displayed brighter as it deviates greatly from the reference point, it is an image in which it is easy to identify a part different from the area occupying a large number of people recognized as the surrounding reference. Since FIG. 7B is binarized, it is an image that makes it easier to more selectively recognize a place having a large norm with the reference region.
本発明は、成形品や、塗装品、コーティング品、メッキ品などの色ムラの評価に利用することができ、産業上有用である。 INDUSTRIAL APPLICABILITY The present invention can be used for evaluating color unevenness of molded products, painted products, coated products, plated products, etc., and is industrially useful.
10 光学系
11 光源
12 拡散板
13 ハーフミラー
100 検査装置
20 ステージ
21 被検査体
30 撮像部
31 対物レンズ
40 画像検出手段
50 画像解析手段
60 表示部
70 記憶部
10
Claims (7)
前記被検査面の検査範囲から反射および/または散乱し前記ハーフミラーを透過した光を撮像することで前記検査範囲の画像を撮像する撮像部とを有し、
前記撮像部で撮像した画像の画素ごとに色成分を検出する検出手段と、
前記画素ごとに前記色成分を表色系成分に換算する表色系換算手段と、
前記表色系成分の少なくとも2つの特性値を用いる空間分布から前記検査範囲における基準値を求める基準値設定手段と、
前記検査範囲の画像の画素ごとに前記基準値から前記画素までの前記空間分布におけるノルムNxを算出するNx算出手段と、を有する色ムラ検査装置。 A light source, a half mirror that reflects at least a part of the light emitted from the light source to the surface to be inspected and irradiates the surface to be inspected.
It has an imaging unit that captures an image of the inspection range by capturing light reflected and / or scattered from the inspection range of the surface to be inspected and transmitted through the half mirror.
A detection means for detecting a color component for each pixel of an image captured by the imaging unit, and
A color system conversion means for converting the color component into a color system component for each pixel, and
A reference value setting means for obtaining a reference value in the inspection range from a spatial distribution using at least two characteristic values of the color system component, and
A color unevenness inspection apparatus having an Nx calculation means for calculating a norm Nx in the spatial distribution from the reference value to the pixel for each pixel of an image in the inspection range.
前記画素ごとに前記色成分を表色系成分に換算する表色系換算工程と、
前記表色系成分の少なくとも2つの特性値を用いる空間分布から前記検査範囲における基準値を求める基準値設定工程と、
画素ごとに前記空間分布における前記基準値から前記画素までのノルムNxを算出するNx算出工程と、を有する色ムラ検査方法。 The surface to be inspected is irradiated with a half mirror that reflects at least a part of the light emitted from the light source to the surface to be inspected, and the half mirror is reflected and / or scattered from the inspection range of the surface to be inspected. A color component detection step of detecting a color component for each pixel of the image captured by an imaging unit that captures an image of the inspection range of the surface to be inspected by imaging the transmitted light, and a color component detection step.
A color system conversion step of converting the color component into a color system component for each pixel, and
A reference value setting step of obtaining a reference value in the inspection range from a spatial distribution using at least two characteristic values of the color system component, and
A color unevenness inspection method comprising a Nx calculation step of calculating a norm Nx from the reference value in the spatial distribution to the pixel for each pixel.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019231870A JP7411155B2 (en) | 2019-12-23 | 2019-12-23 | Color unevenness inspection device and color unevenness inspection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019231870A JP7411155B2 (en) | 2019-12-23 | 2019-12-23 | Color unevenness inspection device and color unevenness inspection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021099285A true JP2021099285A (en) | 2021-07-01 |
JP7411155B2 JP7411155B2 (en) | 2024-01-11 |
Family
ID=76541065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019231870A Active JP7411155B2 (en) | 2019-12-23 | 2019-12-23 | Color unevenness inspection device and color unevenness inspection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7411155B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023153037A1 (en) * | 2022-02-10 | 2023-08-17 | 三菱パワー株式会社 | Diagnosis method, diagnosis device, and program |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09218095A (en) * | 1996-02-13 | 1997-08-19 | Toshiba Corp | Inspection device of color variation |
JPH11108759A (en) * | 1997-09-30 | 1999-04-23 | Hitachi Ltd | Defect inspecting method and device therefor |
JP2001219546A (en) * | 2000-02-10 | 2001-08-14 | Dainippon Screen Mfg Co Ltd | Method for inspecting printed product |
JP2003028719A (en) * | 2001-07-13 | 2003-01-29 | Dainippon Printing Co Ltd | Instrument and method for inspecting color tone |
JP2003164414A (en) * | 2001-11-29 | 2003-06-10 | Fuji Photo Film Co Ltd | Method and device for displaying fluoroscopic image |
JP2010216886A (en) * | 2009-03-13 | 2010-09-30 | Ricoh Co Ltd | Device and method for evaluating uneven brightness, image forming apparatus, and recording medium |
JP2011180083A (en) * | 2010-03-03 | 2011-09-15 | Sony Corp | Device and method for inspection of color unevenness |
JP2017226883A (en) * | 2016-06-23 | 2017-12-28 | 株式会社アサヒメッキ | Production method of coloring stainless steel due to chemical coloring method |
JP2018204994A (en) * | 2017-05-31 | 2018-12-27 | 株式会社キーエンス | Image inspection device |
-
2019
- 2019-12-23 JP JP2019231870A patent/JP7411155B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09218095A (en) * | 1996-02-13 | 1997-08-19 | Toshiba Corp | Inspection device of color variation |
JPH11108759A (en) * | 1997-09-30 | 1999-04-23 | Hitachi Ltd | Defect inspecting method and device therefor |
JP2001219546A (en) * | 2000-02-10 | 2001-08-14 | Dainippon Screen Mfg Co Ltd | Method for inspecting printed product |
JP2003028719A (en) * | 2001-07-13 | 2003-01-29 | Dainippon Printing Co Ltd | Instrument and method for inspecting color tone |
JP2003164414A (en) * | 2001-11-29 | 2003-06-10 | Fuji Photo Film Co Ltd | Method and device for displaying fluoroscopic image |
JP2010216886A (en) * | 2009-03-13 | 2010-09-30 | Ricoh Co Ltd | Device and method for evaluating uneven brightness, image forming apparatus, and recording medium |
JP2011180083A (en) * | 2010-03-03 | 2011-09-15 | Sony Corp | Device and method for inspection of color unevenness |
JP2017226883A (en) * | 2016-06-23 | 2017-12-28 | 株式会社アサヒメッキ | Production method of coloring stainless steel due to chemical coloring method |
JP2018204994A (en) * | 2017-05-31 | 2018-12-27 | 株式会社キーエンス | Image inspection device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023153037A1 (en) * | 2022-02-10 | 2023-08-17 | 三菱パワー株式会社 | Diagnosis method, diagnosis device, and program |
Also Published As
Publication number | Publication date |
---|---|
JP7411155B2 (en) | 2024-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2989515C (en) | Colour measurement of gemstones | |
Barbin et al. | Digital image analyses as an alternative tool for chicken quality assessment | |
TWI399534B (en) | And a defect inspection device for performing defect inspection using image analysis | |
Leon et al. | Color measurement in L∗ a∗ b∗ units from RGB digital images | |
Taghizadeh et al. | Comparison of hyperspectral imaging with conventional RGB imaging for quality evaluation of Agaricus bisporus mushrooms | |
KR0169892B1 (en) | Method and apparatus for measuring nonuniformity of glossiness and thickness of printed image | |
JP5922865B2 (en) | Method and apparatus for determining the characteristics of a textured surface | |
US11977033B2 (en) | Learning device, inspection device, learning method, and inspection method | |
JP2022522348A (en) | Equipment and methods for inspecting membranes on substrates | |
JP7116771B2 (en) | Multi-step method and investigative apparatus for determining surface properties | |
CN111492198B (en) | Object shape measuring apparatus and method, and program | |
Parkot et al. | Development of an automated quality control system of confectionery using a vision system | |
Yao et al. | Inspection of rice appearance quality using machine vision | |
JP7411155B2 (en) | Color unevenness inspection device and color unevenness inspection method | |
JP2006061170A (en) | Discrimination method for skin | |
KR101224477B1 (en) | Quantitative evaluation of scratch-induced damages on polymeric and coating materials | |
JP5181912B2 (en) | Surface defect inspection method, surface defect inspection apparatus, steel sheet manufacturing method, and steel sheet manufacturing apparatus | |
JP6969500B2 (en) | Good / bad judgment method and good / bad judgment device for the surface of dull finish material | |
JP2023078443A (en) | Evaluation method and evaluation system | |
WO2022202198A1 (en) | Evaluation method and evaluation device for surface roughening of metal surface | |
JP2020201188A (en) | Color unevenness inspection method, color unevenness inspection device, and program | |
JP2013257219A (en) | Surface shape measuring device and method | |
JP2017173300A (en) | Texture evaluation device, texture evaluation method, and program | |
WO2020145023A1 (en) | Optical characteristic analysis apparatus and program | |
WO2016013112A1 (en) | Color variation amount determination device, color variation amount determination method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7411155 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |