JP2017203658A - Inspection method and optical measurement device - Google Patents

Inspection method and optical measurement device Download PDF

Info

Publication number
JP2017203658A
JP2017203658A JP2016094617A JP2016094617A JP2017203658A JP 2017203658 A JP2017203658 A JP 2017203658A JP 2016094617 A JP2016094617 A JP 2016094617A JP 2016094617 A JP2016094617 A JP 2016094617A JP 2017203658 A JP2017203658 A JP 2017203658A
Authority
JP
Japan
Prior art keywords
inspection object
product
abnormal
normal
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016094617A
Other languages
Japanese (ja)
Inventor
山田 英一郎
Eiichiro Yamada
英一郎 山田
服部 知之
Tomoyuki Hattori
知之 服部
奥野 俊明
Toshiaki Okuno
俊明 奥野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2016094617A priority Critical patent/JP2017203658A/en
Publication of JP2017203658A publication Critical patent/JP2017203658A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an inspection method and an optical measurement device with which it is possible to determine the presence of abnormality with higher accuracy.SOLUTION: According to an optical measurement device 100 and an inspection method, a discrimination condition for discriminating between normal product and abnormal product is created using spectrum data obtained by irradiating a plurality of objects with a near-infrared ray that are different in measurement condition or manufacturing management condition and include normal product and abnormal product, and this discrimination condition is applied to spectrum data obtained from an inspection object, whereby determination is made as to whether the inspection object is normal product or abnormal product.SELECTED DRAWING: Figure 1

Description

本発明は、検査方法及び光学測定装置に関する。   The present invention relates to an inspection method and an optical measurement device.

従来から、搬送される検査対象物に混在する異物や不良品の検知を目的として、検査対象物を撮像した後、その画像データを分析して異常の有無を判断することが行われている。例えば、特許文献1では、照射手段を用いて近赤外光を検査対象物に対して照射し、検査対象物からの反射光を平面分光器により平面分光した後撮像することで反射光スペクトルデータを取得し、この反射スペクトルデータを主成分分析法により分析することで異種品を検出する構成が開示されている。   2. Description of the Related Art Conventionally, for the purpose of detecting foreign matters and defective products mixed in an inspection object to be conveyed, after the inspection object is imaged, the presence / absence of an abnormality is determined by analyzing the image data. For example, in Patent Document 1, reflected light spectrum data is obtained by irradiating an inspection object with near-infrared light using an irradiating unit, imaging the reflected light from the inspection object after performing planar spectroscopy with a plane spectrometer. Is obtained, and this reflection spectrum data is analyzed by a principal component analysis method to detect different kinds of products.

国際公開第2005/038443号International Publication No. 2005/038443

しかしながら、画像データを取得する際の測定環境や、ロット間バラつきのような製造時の条件が変わると、検査対象物のスペクトルデータが変化する可能性があるが、従来の手法では、異常の有無を判断する際に用いられる判定条件にはこのようなスペクトルデータの変化について考慮されていない。したがって、異常の有無を判定するための判定精度について改良の余地があった。   However, if the measurement environment for acquiring the image data and the manufacturing conditions such as lot-to-lot variation change, the spectral data of the inspection object may change. Such a change in spectrum data is not taken into consideration in the determination condition used when determining the above. Therefore, there is room for improvement in the determination accuracy for determining the presence or absence of abnormality.

本発明は上記を鑑みてなされたものであり、より高い精度で異常の有無を判定することが可能な検査方法及び光学測定装置を提供することを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to provide an inspection method and an optical measurement apparatus that can determine the presence or absence of abnormality with higher accuracy.

本願発明は、
(1)検査対象物を撮像して得られたスペクトルデータに基づいて、当該検査対象物が正常品であるか異常品であるかを判定する検査方法であって、
測定環境又は製造管理条件が異なり、且つ、正常品及び異常品が含まれる複数の対象物に対して近赤外光を照射することで、複数の対象物から出射される出射光のスペクトルデータを準備するデータ準備工程と、
前記複数の対象物からの出射光のスペクトルデータを利用し、正常品と異常品とを判定するための判定条件を作成する判定条件作成工程と、
検査対象物に対して近赤外光を照射することで、当該検査対象物から出射される出射光のスペクトルデータを取得し、当該検査対象物からのスペクトルデータに対して前記判定条件を適用することで、当該検査対象物が正常品であるか異常品であるかを判定する判定工程と、
を有する検査方法、
及び、
The present invention is
(1) An inspection method for determining whether the inspection object is a normal product or an abnormal product based on spectrum data obtained by imaging the inspection object,
Spectral data of emitted light emitted from multiple objects by irradiating near-infrared light to multiple objects that have different measurement environments or manufacturing control conditions and include normal products and abnormal products A data preparation process to prepare;
Using the spectrum data of the emitted light from the plurality of objects, a determination condition creating step for creating a determination condition for determining a normal product and an abnormal product,
By irradiating the inspection object with near-infrared light, spectrum data of the emitted light emitted from the inspection object is acquired, and the determination condition is applied to the spectrum data from the inspection object. Thus, a determination step of determining whether the inspection object is a normal product or an abnormal product,
Inspection method having
as well as,

(2) 検査対象物を撮像して得られたスペクトルデータに基づいて、当該検査対象物が正常品であるか異常品であるかを判定する光学測定装置であって、
前記検査対象物に対して近赤外光を照射する光源ユニットと、
前記検査対象物を撮像し、前記検査対象物に対する前記近赤外光の照射により当該検査対象物から出射される出射光のスペクトルデータを取得する撮像ユニットと、
前記撮像ユニットで取得された前記検査対象物に係るスペクトルデータに基づいて、当該検査対象物が正常品であるか異常品であるかを判定する分析ユニットと、
を有し、
前記分析ユニットは、測定環境又は製造管理条件が異なり、且つ、正常品及び異常品が含まれる複数の対象物に対して近赤外光を照射することで、複数の対象物から出射される出射光のスペクトルデータから作成された正常品と異常品とを判定するための判定条件を、
当該検査対象物からのスペクトルデータに対して適用することで、当該検査対象物が正常品であるか異常品であるかを判定する光学測定装置、
である。
(2) An optical measurement device that determines whether the inspection object is a normal product or an abnormal product based on spectrum data obtained by imaging the inspection object,
A light source unit that irradiates the inspection object with near-infrared light; and
An imaging unit that images the inspection object and obtains spectral data of emitted light emitted from the inspection object by irradiation of the near-infrared light on the inspection object;
An analysis unit for determining whether the inspection object is a normal product or an abnormal product based on spectrum data relating to the inspection object acquired by the imaging unit;
Have
The analysis unit emits light emitted from a plurality of objects by irradiating a plurality of objects having different measurement environments or manufacturing control conditions and including normal products and abnormal products with near infrared light. Judgment conditions for judging normal products and abnormal products created from spectral data of incident light,
An optical measurement device that determines whether the inspection object is a normal product or an abnormal product by applying the spectral data from the inspection object;
It is.

本発明によれば、より高い精度で異常の有無を判定することが可能な検査方法及び光学測定装置が提供される。   ADVANTAGE OF THE INVENTION According to this invention, the inspection method and optical measuring device which can determine the presence or absence of abnormality with higher precision are provided.

本実施形態に係る光学測定装置の構成を示す図である。It is a figure which shows the structure of the optical measuring device which concerns on this embodiment. ハイパースペクトル画像について概略を説明する図である。It is a figure explaining an outline about a hyperspectral image. 本実施形態に係る検査方法を説明するフロー図である。It is a flowchart explaining the inspection method which concerns on this embodiment. 判定条件の作成に使用するデータについて説明する図である。It is a figure explaining the data used for creation of judgment conditions.

[本願発明の実施形態の説明]
最初に本願発明の実施態様を列記して説明する。
[Description of Embodiment of Present Invention]
First, embodiments of the present invention will be listed and described.

本願の検査方法は、(1)検査対象物を撮像して得られたスペクトルデータに基づいて、当該検査対象物が正常品であるか異常品であるかを判定する検査方法であって、測定環境又は製造管理条件が異なり、且つ、正常品及び異常品が含まれる複数の対象物に対して近赤外光を照射することで、複数の対象物から出射される出射光のスペクトルデータを準備するデータ準備工程と、前記複数の対象物からの出射光のスペクトルデータを利用し、正常品と異常品とを判定するための判定条件を作成する判定条件作成工程と、検査対象物に対して近赤外光を照射することで、当該検査対象物から出射される出射光のスペクトルデータを取得し、当該検査対象物からのスペクトルデータに対して前記判定条件を適用することで、当該検査対象物が正常品であるか異常品であるかを判定する判定工程と、を有する。   The inspection method of the present application is (1) an inspection method for determining whether an inspection object is a normal product or an abnormal product based on spectrum data obtained by imaging the inspection object, and measuring Prepares spectral data of emitted light emitted from multiple objects by irradiating near infrared light to multiple objects with different environment or manufacturing control conditions and including normal and abnormal products A data preparation step, a determination condition creation step for creating a determination condition for determining a normal product and an abnormal product using spectrum data of emitted light from the plurality of objects, and an inspection object By irradiating near-infrared light, the spectrum data of the emitted light emitted from the inspection object is obtained, and by applying the determination condition to the spectrum data from the inspection object, the inspection object Things are positive Has a determination step of determining whether the abnormal product is goods, the.

上記の検査方法によれば、測定環境又は製造管理条件が異なる対象物から取得される正常品及び異常品のスペクトルデータが判定条件の作成に用いられることで、測定環境又は製造管理条件に影響して変化するスペクトルの形状のバラつきを吸収した判定条件が作成されるため、これを用いて検査対象物に係る判定を行うことで、より高い精度での判定を行うことができる。   According to the above inspection method, spectral data of normal products and abnormal products acquired from objects with different measurement environments or manufacturing control conditions are used to create judgment conditions, thereby affecting the measurement environment or manufacturing control conditions. Therefore, a determination condition that absorbs the variation in the shape of the spectrum that changes is created, and therefore, it is possible to perform determination with higher accuracy by performing determination related to the inspection object using this.

(2)また、本願発明は上記(1)に記載の検査方法において、前記判定条件作成工程において、測定環境又は製造管理条件が異なり、且つ、正常品及び異常品が含まれる複数の対象物からの出射光のスペクトルデータに基づいて、1つの判定条件を作成し、前記判定工程で、前記検査対象物からのスペクトルデータに対して前記1つの判定条件を適用することで、当該検査対象物が正常品であるか異常品であるかを判定する態様とする。   (2) In the inspection method according to the above (1), the invention of the present application is based on a plurality of objects in which the measurement environment or the manufacturing control condition is different and the normal product and the abnormal product are included in the determination condition creating step. One determination condition is created based on the spectrum data of the emitted light, and in the determination step, the one determination condition is applied to the spectrum data from the inspection object. It is set as the aspect which determines whether it is a normal product or an abnormal product.

上記1つの判定条件は、測定環境又は製造管理条件の変化に由来するスペクトル形状の変化を吸収した状態で作成されたものとなる。したがって、この1つの判定条件を利用して検査対象物が正常品であるか異常品であるかを判定することで、より高い精度での判定を行うことができる。   The one determination condition is created in a state in which a change in spectrum shape resulting from a change in measurement environment or manufacturing control condition is absorbed. Therefore, determination with higher accuracy can be performed by determining whether the inspection object is a normal product or an abnormal product by using this one determination condition.

(3)また、本願発明は上記(1)に記載の検査方法において、前記判定条件作成工程において、測定環境又は製造管理条件が同一であって、且つ、正常品及び異常品が含まれる複数の対象物からの出射光のスペクトルデータから1つの判定条件を作成し、これを測定環境又は製造管理条件が異なる対象物について個別に繰り返すことで、複数の判定条件を作成し、前記判定工程で、前記検査対象物からのスペクトルデータに対して前記複数の判定条件を個別に適用することで、前記複数の判定条件のそれぞれについて、当該検査対象物が正常品であるか異常品であるかを判定した後、前記複数の判定条件に対する判定結果が全て正常品である場合に、当該検査対象物が正常品であると判定する態様とする。   (3) In the inspection method according to (1), the invention of the present application is a plurality of items in which the measurement environment or the manufacturing control condition is the same in the determination condition creating step, and a normal product and an abnormal product are included. One determination condition is created from the spectrum data of the light emitted from the object, and this is individually repeated for objects with different measurement environments or manufacturing management conditions, thereby creating a plurality of determination conditions. By individually applying the plurality of determination conditions to spectrum data from the inspection object, it is determined whether the inspection object is a normal product or an abnormal product for each of the plurality of determination conditions. After that, when all the determination results for the plurality of determination conditions are normal products, the inspection object is determined to be a normal product.

上記の場合、測定環境又は製造管理条件が異なる条件においても正常品と判定されているということから、測定環境又は製造管理条件の変化に関係なく正常品であると判定されたということになる。したがって、複数の判定条件を利用して検査対象物が正常品であるか異常品であるかを判定することで、より高い精度での判定を行うことができる。   In the above case, since the product is determined to be a normal product even under different measurement environment or manufacturing control conditions, it is determined to be a normal product regardless of changes in the measurement environment or manufacturing control conditions. Therefore, determination with higher accuracy can be performed by determining whether the inspection object is a normal product or an abnormal product by using a plurality of determination conditions.

また、本願の光学測定装置は、(4)検査対象物を撮像して得られたスペクトルデータに基づいて、当該検査対象物が正常品であるか異常品であるかを判定する光学測定装置であって、前記検査対象物に対して近赤外光を照射する光源ユニットと、前記検査対象物を撮像し、前記検査対象物に対する前記近赤外光の照射により当該検査対象物から出射される出射光のスペクトルデータを取得する撮像ユニットと、前記撮像ユニットで取得された前記検査対象物に係るスペクトルデータに基づいて、当該検査対象物が正常品であるか異常品であるかを判定する分析ユニットと、を有し、前記分析ユニットは、測定環境又は製造管理条件が異なり、且つ、正常品及び異常品が含まれる複数の対象物に対して近赤外光を照射することで、複数の対象物から出射される出射光のスペクトルデータから作成された正常品と異常品とを判定するための判定条件を、該検査対象物からのスペクトルデータに対して適用することで、当該検査対象物が正常品であるか異常品であるかを判定する。   The optical measurement device of the present application is (4) an optical measurement device that determines whether the inspection object is a normal product or an abnormal product based on spectrum data obtained by imaging the inspection object. A light source unit that irradiates near-infrared light to the inspection object, images the inspection object, and is emitted from the inspection object by irradiation of the near-infrared light on the inspection object. An imaging unit that acquires spectrum data of emitted light, and an analysis that determines whether the inspection object is a normal product or an abnormal product based on the spectrum data relating to the inspection object acquired by the imaging unit The analysis unit is different in measurement environment or manufacturing control conditions, and irradiates a plurality of objects including normal products and abnormal products with near infrared light, thereby Target By applying a determination condition for determining a normal product and an abnormal product created from spectrum data of emitted light emitted from the spectrum data from the test object, the inspection object is normal It is judged whether it is a product or an abnormal product.

上記の光学測定装置によれば、測定環境又は製造管理条件が異なる対象物から取得される正常品及び異常品のスペクトルデータが判定条件の作成に用いられることで、測定環境又は製造管理条件に影響して変化するスペクトルの形状のバラつきを吸収した判定条件が作成されるため、これを用いて検査対象物に係る判定を行うことで、より高い精度での判定を行うことができる。   According to the above optical measurement apparatus, the spectral data of normal products and abnormal products acquired from objects with different measurement environments or manufacturing control conditions are used to create judgment conditions, thereby affecting the measurement environment or manufacturing control conditions. Thus, a determination condition that absorbs the variation in the spectrum shape that changes is created, so that determination with respect to the inspection object can be performed using this, and determination with higher accuracy can be performed.

[本願発明の実施形態の詳細]
本発明に係る検査方法及び光学測定装置の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
[Details of the embodiment of the present invention]
Specific examples of the inspection method and the optical measurement apparatus according to the present invention will be described below with reference to the drawings. In addition, this invention is not limited to these illustrations, is shown by the claim, and intends that all the changes within the meaning and range equivalent to the claim are included.

本発明の実施形態に係る光学測定装置100について、図1を用いて説明する。本実施形態に係る光学測定装置100は、ベルトコンベア2上に分散載置された検査対象物3(図1では検査対象物の載置位置を示す)が正常品もしくは異常品の何れに該当するかを検査する装置である。本実施形態に係る光学測定装置100の検査対象物3としては、例えば、食品や医薬品等の原材料や製品等が挙げられるが、これらに限定されるものではない。検査対象物3が食品等である場合、正常品に対する異常品とは、異物が付着しているものや、変質等の異状が発生しているものである。光学測定装置100は、測定光を検査対象物3に対して照射することにより得られる拡散反射光のスペクトルを測定し、そのスペクトルに基づいて検査対象物3が正常品もしくは異常品の何れに該当するかを判定する。このため、光学測定装置100は、光源ユニット10(光源部)、撮像ユニット20(撮像部)、及び分析ユニット30(分析部)を備える。   An optical measurement apparatus 100 according to an embodiment of the present invention will be described with reference to FIG. In the optical measuring apparatus 100 according to the present embodiment, the inspection object 3 distributed on the belt conveyor 2 (showing the mounting position of the inspection object in FIG. 1) corresponds to either a normal product or an abnormal product. It is a device for inspecting. Examples of the inspection object 3 of the optical measurement apparatus 100 according to the present embodiment include raw materials such as foods and pharmaceuticals, products, and the like, but are not limited thereto. When the inspection object 3 is a food or the like, an abnormal product with respect to a normal product is a product with foreign matter attached or an abnormality such as alteration. The optical measuring device 100 measures the spectrum of diffusely reflected light obtained by irradiating the inspection object 3 with measurement light, and the inspection object 3 corresponds to a normal product or an abnormal product based on the spectrum. Judge whether to do. Therefore, the optical measurement apparatus 100 includes a light source unit 10 (light source unit), an imaging unit 20 (imaging unit), and an analysis unit 30 (analysis unit).

光源ユニット10は、一定の波長帯域を有する測定光を、ベルトコンベア2上における所定の照射領域A1へ向けて照射する。光源ユニット10が照射する測定光の波長範囲は、検査対象物3に応じて適宜選択される。測定光として近赤外光を用いる場合、具体的には、波長範囲が800nm〜2500nmの光が好適に用いられるが、近赤外光に代えて可視光を測定光として用いることも可能である。なお、本実施形態では、スーパーコンティニューム(SC)光を発生する光源11(SC光源)を含む光源ユニット10について説明する。   The light source unit 10 irradiates measurement light having a certain wavelength band toward a predetermined irradiation area A1 on the belt conveyor 2. The wavelength range of the measurement light irradiated by the light source unit 10 is appropriately selected according to the inspection object 3. When using near infrared light as measurement light, specifically, light having a wavelength range of 800 nm to 2500 nm is preferably used, but visible light can be used as measurement light instead of near infrared light. . In the present embodiment, the light source unit 10 including the light source 11 (SC light source) that generates super continuum (SC) light will be described.

照射領域A1とは、検査対象物3を載置するベルトコンベア2の表面(載置面2b)の一部の領域である。この照射領域A1は、載置面2bの進行方向2a(図1のy軸方向)と垂直な幅方向(x軸方向)に広がり、載置面2bの一方の端から他方の端までを覆うライン状に延びる領域である。照射領域A1の延在方向に垂直な方向(y軸方向)における照射領域A1の幅は10mm以下とすることができるが、特に限定されない。   The irradiation region A1 is a partial region of the surface (mounting surface 2b) of the belt conveyor 2 on which the inspection object 3 is mounted. The irradiation area A1 extends in the width direction (x-axis direction) perpendicular to the traveling direction 2a (y-axis direction in FIG. 1) of the placement surface 2b, and covers from one end to the other end of the placement surface 2b. This is an area extending in a line. The width of the irradiation region A1 in the direction (y-axis direction) perpendicular to the extending direction of the irradiation region A1 can be 10 mm or less, but is not particularly limited.

光源ユニット10は、SC光を出射する光源11と、照射部12と、光源11と照射部12とを接続する光ファイバ13と、を備える。光源11は、近赤外光としてSC光を発生させる。さらに具体的には、SC光源である光源11は、種光源及び非線形媒質を備え、種光源から出射される光を非線形媒質に入力し、非線形媒質中における非線形光学効果によりスペクトルを広帯域に広げてSC光を出力する。   The light source unit 10 includes a light source 11 that emits SC light, an irradiation unit 12, and an optical fiber 13 that connects the light source 11 and the irradiation unit 12. The light source 11 generates SC light as near infrared light. More specifically, the light source 11 that is an SC light source includes a seed light source and a nonlinear medium, inputs light emitted from the seed light source to the nonlinear medium, and broadens the spectrum by a nonlinear optical effect in the nonlinear medium. SC light is output.

光源11により発生された近赤外光(SC光)は、光ファイバ13の一方の端面へ入射される。この近赤外光は、光ファイバ13のコア領域を導波し、もう一方の端面から照射部12に対して出射される。   Near-infrared light (SC light) generated by the light source 11 is incident on one end face of the optical fiber 13. This near-infrared light is guided through the core region of the optical fiber 13 and is emitted from the other end face to the irradiation unit 12.

照射部12は、光ファイバ13の端面から出射される近赤外光(SC光)を検査対象物3が載置される照射領域A1に対して照射する。照射部12は、光ファイバ13から出射される近赤外光を入射して、照射領域A1に対応した1次元のライン状に出射するため、照射部12としてシリンドリカルレンズが好適に用いられる。このように照射部12においてライン状に整形された近赤外光L1が、照射部12から照射領域A1に対して照射される。   The irradiation unit 12 irradiates near-infrared light (SC light) emitted from the end face of the optical fiber 13 to the irradiation area A1 on which the inspection object 3 is placed. Since the irradiation unit 12 receives near infrared light emitted from the optical fiber 13 and emits it in a one-dimensional line corresponding to the irradiation region A1, a cylindrical lens is preferably used as the irradiation unit 12. The near-infrared light L1 shaped in a line shape in the irradiation unit 12 in this way is irradiated from the irradiation unit 12 to the irradiation region A1.

光源ユニット10から出力された近赤外光L1は、照射領域A1上に載置された検査対象物3により拡散反射して検査対象物3から出射される。そして、その一部が、拡散反射光L2として撮像ユニット20に入射する。   The near-infrared light L1 output from the light source unit 10 is diffusely reflected by the inspection object 3 placed on the irradiation area A1 and emitted from the inspection object 3. A part of the light enters the imaging unit 20 as diffusely reflected light L2.

撮像ユニット20は、ハイパースペクトル画像を取得するハイパースペクトルセンサとしての機能を有する。ここで、本実施形態におけるハイパースペクトル画像について図2を用いて説明する。図2は、ハイパースペクトル画像についてその概略を説明する図である。図2に示すように、ハイパースペクトル画像とは、N個の画素P〜Pにより構成されている画像である。図2ではそのうちの一例として2個の画素P及びPについて具体的に示している。画素P及びPには、それぞれ複数の強度データからなるスペクトル情報S及びSが含まれている。この強度データとは、特定の波長(又は波長帯域)におけるスペクトル強度を示すデータであり、図2では、15個の強度データがスペクトル情報S及びSとして保持されていて、これらを重ね合わせた状態で示している。このように、ハイパースペクトル画像Hは、画像を構成する画素毎に、それぞれ複数の強度データを持つという特徴から、画像としての二次元的要素と、スペクトルデータとしての要素をあわせ持った三次元的構成のデータである。なお、本実施形態では、ハイパースペクトル画像Hとは、1画素あたり少なくとも5つの波長帯域における強度データを保有している画素によって構成された画像のことをいう。なお、図2では検査対象物3もあわせて示している。すなわち、図2においてPは検査対象物3を撮像した画素であり、Pは背景(例えば、ベルトコンベア)を撮像した画素である。 The imaging unit 20 has a function as a hyperspectral sensor that acquires a hyperspectral image. Here, the hyperspectral image in this embodiment is demonstrated using FIG. FIG. 2 is a diagram for explaining the outline of the hyperspectral image. As shown in FIG. 2, the hyperspectral image is an image configured by N pixels P 1 to P N. Specifically it shows the two pixel P n and P m as them example in FIG. Each of the pixels P n and P m includes spectral information S n and S m including a plurality of intensity data. And the intensity data is data indicating a spectral intensity at a particular wavelength (or wavelength band), 2, 15 intensity data has been held as the spectral information S n and S m, superposition of these It is shown in the state. As described above, the hyperspectral image H is characterized by having a plurality of intensity data for each pixel constituting the image, so that a three-dimensional image having both a two-dimensional element as an image and an element as spectral data. Configuration data. In the present embodiment, the hyperspectral image H refers to an image composed of pixels having intensity data in at least five wavelength bands per pixel. In FIG. 2, the inspection object 3 is also shown. That, P n in FIG. 2 is a pixel of the captured inspection object 3, P m is the pixel of the captured background (e.g., a belt conveyor).

図1に戻り、本実施形態に係る撮像ユニット20は、カメラレンズ24と、スリット21と、分光器22と、受光部23と、を備える。この撮像ユニット20は、その視野領域20sがベルトコンベア2の進行方向2aと垂直な方向(x軸方向)に延びている。撮像ユニット20の視野領域20sは、載置面2bの照射領域A1に含まれるライン状の領域であって、スリット21を通過した拡散反射光L2が受光部23上に像を結ぶ領域である。   Returning to FIG. 1, the imaging unit 20 according to the present embodiment includes a camera lens 24, a slit 21, a spectroscope 22, and a light receiving unit 23. The imaging unit 20 has a visual field area 20 s extending in a direction (x-axis direction) perpendicular to the traveling direction 2 a of the belt conveyor 2. The visual field area 20s of the imaging unit 20 is a linear area included in the irradiation area A1 of the placement surface 2b, and is an area where the diffusely reflected light L2 that has passed through the slit 21 forms an image on the light receiving unit 23.

スリット21は、照射領域A1の延在方向(x軸方向)と平行な方向に開口が設けられる。撮像ユニット20のスリット21に入射した拡散反射光L2は、分光器22へ入射する。   The slit 21 is provided with an opening in a direction parallel to the extending direction (x-axis direction) of the irradiation region A1. The diffusely reflected light L2 that has entered the slit 21 of the imaging unit 20 enters the spectroscope 22.

分光器22は、スリット21の長手方向、すなわち照射領域A1の延在方向に垂直な方向(y軸方向)に拡散反射光L2を分光する。分光器22により分光された光は、受光部23によって受光される。   The spectroscope 22 splits the diffusely reflected light L2 in the longitudinal direction of the slit 21, that is, the direction perpendicular to the extending direction of the irradiation area A1 (y-axis direction). The light split by the spectroscope 22 is received by the light receiving unit 23.

受光部23は、複数の受光素子が2次元に配列された受光面を備え、各受光素子が光を受光する。これにより、受光部23がベルトコンベア2上の幅方向(x軸方向)に沿った各位置で反射した拡散反射光L2の各波長の光をそれぞれ受光することとなる。各受光素子は、受光した光の強度に応じた信号を位置と波長とからなる二次元平面状の一点に関する情報として出力する。この受光部23の受光素子から出力される信号が、ハイパースペクトル画像に係る画像データとして、撮像ユニット20から分析ユニット30に送られる。   The light receiving unit 23 includes a light receiving surface in which a plurality of light receiving elements are two-dimensionally arranged, and each light receiving element receives light. As a result, the light receiving unit 23 receives light of each wavelength of the diffusely reflected light L2 reflected at each position along the width direction (x-axis direction) on the belt conveyor 2. Each light receiving element outputs a signal corresponding to the intensity of received light as information on a two-dimensional planar point composed of a position and a wavelength. A signal output from the light receiving element of the light receiving unit 23 is sent from the imaging unit 20 to the analysis unit 30 as image data related to the hyperspectral image.

分析ユニット30は、入力された信号により、検査対象物3から出射された拡散反射光L2のスペクトルデータを得て、この得られたスペクトルデータに基づいて検査を行う。検査対象物3が異常品である場合、光源11から出力される測定光(本実施形態では近赤外光)の波長範囲において、異常(異物又は異状)に由来して、正常品とは吸収の特徴が異なる波長帯域が含まれる。そこで、検査対象物3により拡散反射した拡散反射光L2によるハイパースペクトル画像Hにおいて画素毎に含まれて複数の強度データにより構成されるスペクトルデータを参照し、その形状等に基づいて、検査対象物が正常品であるか否かを検査する。   The analysis unit 30 obtains the spectrum data of the diffuse reflected light L2 emitted from the inspection object 3 based on the input signal, and performs an inspection based on the obtained spectrum data. When the inspection object 3 is an abnormal product, it is absorbed from the normal product due to an abnormality (foreign matter or abnormality) in the wavelength range of the measurement light (near infrared light in the present embodiment) output from the light source 11. Wavelength bands with different characteristics are included. Therefore, in the hyperspectral image H by the diffusely reflected light L2 diffusely reflected by the inspection object 3, the spectrum data included in each pixel and configured by a plurality of intensity data is referred to, and the inspection object is based on the shape and the like. Inspect whether or not the product is normal.

あるいは、検査対象物3毎に判定を行うこともできる。検査対象物3毎に判定を行う場合には、ハイパースペクトル画像Hに含まれる複数のスペクトルの平均化等の処理を行ってもよい。分析ユニット30による分析の結果は、例えば分析ユニット30に接続されるモニタや、プリンタ等に出力することによって、この光学測定装置100のオペレータに通知される。   Alternatively, the determination can be performed for each inspection object 3. When the determination is made for each inspection object 3, processing such as averaging of a plurality of spectra included in the hyperspectral image H may be performed. The result of the analysis by the analysis unit 30 is notified to the operator of the optical measurement apparatus 100 by, for example, outputting it to a monitor connected to the analysis unit 30, a printer, or the like.

分析ユニット30は、CPU(Central Processing Unit)、主記憶装置であるRAM(Random Access Memory)及びROM(Read Only Memory)、撮像ユニット等の他の機器との間の通信を行う通信モジュール、並びにハードディスク等の補助記憶装置等のハードウェアを備えるコンピュータとして構成される。そして、これらの構成要素が動作することにより、分析ユニット30としての機能が発揮される。その分析ユニット30による分析処理の概要やその具体的な手法については後述する。   The analysis unit 30 includes a CPU (Central Processing Unit), a RAM (Random Access Memory) and a ROM (Read Only Memory) that are main storage devices, a communication module that performs communication with other devices such as an imaging unit, and a hard disk It is comprised as a computer provided with hardware, such as auxiliary storage devices. And the function as the analysis unit 30 is exhibited when these components operate | move. An outline of analysis processing by the analysis unit 30 and a specific method thereof will be described later.

なお、上記の光学測定装置100のうち、光源ユニット10、撮像ユニット20の構成は種々の変更を行うことができる。   In the optical measurement apparatus 100 described above, the light source unit 10 and the imaging unit 20 can be variously modified.

例えば、光源ユニット10においては、点光源を光源として用いてもよい。ただし、光学測定装置100のように、検査対象物3をベルトコンベア2等により搬送させながらラインカメラ撮像を行う場合には、検査対象物3の搬送方向に対して垂直な方向に延びるライン状の照射領域A1に対して照射する近赤外光L1の光量がより均一であることが好ましい。   For example, in the light source unit 10, a point light source may be used as the light source. However, when the line camera imaging is performed while the inspection object 3 is conveyed by the belt conveyor 2 or the like as in the optical measurement apparatus 100, a line shape extending in a direction perpendicular to the conveyance direction of the inspection object 3 is used. It is preferable that the amount of near-infrared light L1 irradiated to the irradiation region A1 is more uniform.

また、光源ユニット10と検査対象物3との間、検査対象物3と撮像ユニット20との間に、光路を変更するための光学系等が別途設けられていてもよい。   Further, an optical system or the like for changing the optical path may be separately provided between the light source unit 10 and the inspection object 3 and between the inspection object 3 and the imaging unit 20.

また、撮像ユニット20に分光器22を設けることに代えて、光源ユニット10側に波長可変フィルタ等を配置して、検査対象物3に対して照射する光の波長を変化させながら、撮像ユニット20において撮像を行うことで、検査対象物3からの拡散反射光L2によるハイパースペクトル画像Hを得る構成としてもよい。   Further, instead of providing the spectroscope 22 in the imaging unit 20, a wavelength tunable filter or the like is arranged on the light source unit 10 side, and the imaging unit 20 is changed while changing the wavelength of the light irradiated to the inspection object 3. It is good also as a structure which acquires the hyperspectral image H by the diffuse reflected light L2 from the test target object 3 by imaging.

また、本実施形態に係る光学測定装置100では、検査対象物3毎に正常品であるか異常品であるかを判定することを特徴としていて、検査対象物3毎にスペクトルデータを取得することが可能な構成であればよい。したがって、検査対象物3に係るスペクトルをハイパースペクトル画像Hとして取得する構成とは異なる構成であってもよい。   Further, the optical measuring device 100 according to the present embodiment is characterized by determining whether each inspection object 3 is a normal product or an abnormal product, and obtains spectrum data for each inspection object 3. Any configuration is possible. Therefore, a configuration different from the configuration in which the spectrum related to the inspection object 3 is acquired as the hyperspectral image H may be used.

(光学測定装置による検査方法)
次に、上記の光学測定装置により撮像された検査対象物3に係るスペクトルデータを用いて、正常品及び異常品の何れであるかを判定する検査方法について説明する。
(Inspection method using optical measuring device)
Next, an inspection method for determining whether the product is a normal product or an abnormal product using the spectrum data related to the inspection object 3 imaged by the optical measuring device will be described.

図3に示すように、本実施形態に係る検査方法は、概略、正常品/異常のスペクトルデータを準備する工程(S01:データ準備工程)と、準備された正常品/異常のスペクトルデータに基づいて、両者を区別するための判定条件を作成する工程(S02:判定条件作成工程)と、検査対象物のスペクトルデータを取得する工程(S03:検査対象物データ取得工程)と、判定条件を用いて検査対象物のスペクトルデータに基づいて、正常品/異常品の判定を行う工程(S04:判定工程)と、判定結果を出力する工程(S05:結果出力工程)と、を有する。   As shown in FIG. 3, the inspection method according to the present embodiment is roughly based on a process of preparing normal / abnormal spectrum data (S01: data preparation process) and the prepared normal / abnormal spectrum data. Then, a process for creating a determination condition for distinguishing the two (S02: determination condition creation process), a process for acquiring spectrum data of the inspection object (S03: inspection object data acquisition process), and a determination condition are used. Then, based on the spectrum data of the inspection object, a normal product / abnormal product determination step (S04: determination step) and a determination result output step (S05: result output step) are included.

本実施形態に係る光学測定装置100による検査方法では、正常品/異常品を区別するための判定条件を準備しておき、検査対象物3に係るスペクトルを判定条件に照らし合わせて、検査対象物3が正常品/異常品の何れに該当するかを判定する手法が用いられる。このような解析方法としては、PCA(Principal component analysis:主成分分析)、PLS(Partial Least Squares)等の多変量解析、SVM(Support Vector Machine)等のパターン分析等が挙げられる。これらの解析方法は、学習型のアルゴリズムを利用した解析方法ということもできる。   In the inspection method by the optical measuring device 100 according to the present embodiment, determination conditions for distinguishing between normal products / abnormal products are prepared, the spectrum of the inspection object 3 is checked against the determination conditions, and the inspection object is obtained. A method of determining whether 3 is a normal product or an abnormal product is used. Such analysis methods include multivariate analysis such as PCA (Principal component analysis), PLS (Partial Least Squares), and pattern analysis such as SVM (Support Vector Machine). These analysis methods can also be called analysis methods using a learning type algorithm.

このような学習型のアルゴリズムを利用した解析方法を用いて正常品/異常品を区別する場合、正常品/異常品の区別が既知である試料に係るスペクトルデータを検査対象物3に係る測定と同一の条件で取得し、これに基づいて判別条件を事前に作成する。正常品/異常品の区別が既知である対象物(検査対象物と同種の物)に係るスペクトルデータ、すなわち、正常品/異常品に対応するスペクトルデータは、それぞれ複数準備される。その上で、正常品/異常品を区別するための基準を設定する。その工程が、正常品/異常のスペクトルデータを準備する工程(S01)と、準備された正常品/異常のスペクトルデータに基づいて、両者を区別するための判定条件を作成する工程(S02)である。   When discriminating between normal products / abnormal products using an analysis method using such a learning-type algorithm, spectral data related to a sample whose normal product / abnormal products are already known are measured with the measurement related to the inspection object 3. Acquired under the same conditions, and based on this, a discrimination condition is created in advance. A plurality of spectrum data relating to an object for which the distinction between the normal product and the abnormal product is known (the same kind as the inspection object), that is, a plurality of spectrum data corresponding to the normal product / abnormal product is prepared. In addition, a standard for distinguishing between normal and abnormal products is set. The process includes a step of preparing normal / abnormal spectrum data (S01) and a step of creating a determination condition for distinguishing both based on the prepared normal / abnormal spectrum data (S02). is there.

ここで、本実施形態に係る検査方法では、判定条件の作成の仕方に特徴を有する。より具体的には、判定条件を作成する際に準備される正常品/異常品に係る複数のスペクトルデータは、全てが測定環境及び製造管理条件が同一のものではなく、測定環境又は製造管理条件が互いに異なる試料から取得されたものである点を特徴とする。測定環境とは、正常品/異常品に係るスペクトルデータを取得する環境であり、具体的には、気温、湿度、光源ユニット10から出射される測定光(近赤外光)の強度等が挙げられる。また、製造管理条件とは、品質に影響を与えない範囲(正常品から異常品に変化しない範囲)で変化する対象物の製造に係る条件である。製造管理条件としては、具体的には、原材料の差(原材料の品質基準を満たした範囲内でのバラつき)、製造中及び保管時の気温又は湿度、ロット、等が挙げられる。   Here, the inspection method according to the present embodiment is characterized in how to create the determination condition. More specifically, the plurality of spectrum data related to normal / abnormal products prepared when creating the judgment conditions are not all the same in the measurement environment and the manufacturing control conditions, but the measurement environment or the manufacturing control conditions. Are obtained from different samples. The measurement environment is an environment in which spectrum data relating to normal products / abnormal products is acquired, and specifically includes temperature, humidity, intensity of measurement light (near infrared light) emitted from the light source unit 10, and the like. It is done. The production management condition is a condition relating to the production of an object that changes within a range that does not affect quality (a range that does not change from a normal product to an abnormal product). Specific production control conditions include differences in raw materials (variations within a range that satisfies the quality standards of raw materials), temperatures or humidity during production and storage, lots, and the like.

従来は、上記のような測定環境や製造管理条件については、あまり考慮されることなく、正常品/異常品に係るスペクトルデータが準備され、このスペクトルデータに基づいて判定条件が作成されていた。この場合、スペクトルデータが取得された測定環境及び製造管理条件では、判定条件に基づいた適切な判定を行うことができると考えられるが、その他の測定環境及び製造管理条件では、判定が適切に行われない可能性が考えられる。具体的には、正常品であるにも関わらず異常品と判定されることによって歩留まりが低下しまうことや、異常品を正常品と判定してしまうことが考えられる。このようなことが発生する理由としては、判定条件にロバスト性がない、すなわち、(測定環境又は製造管理条件が異なった場合に判定条件が適切に機能しない)ことが原因であると考えられる。   Conventionally, spectrum data relating to normal / abnormal products has been prepared, and determination conditions have been created based on the spectrum data, without much consideration for the measurement environment and manufacturing management conditions described above. In this case, it is considered that an appropriate determination based on the determination condition can be performed in the measurement environment and the manufacturing control condition in which the spectrum data is acquired, but the determination is appropriately performed in the other measurement environment and the manufacturing control condition. There is a possibility of not being broken. Specifically, although it is a normal product, it is conceivable that the yield is lowered due to the determination as an abnormal product, or the abnormal product is determined as a normal product. The reason why this occurs is considered to be that the determination condition is not robust, that is, (the determination condition does not function properly when the measurement environment or the manufacturing control condition is different).

本実施形態に係る検査方法では、上記の問題点を解決するため、測定環境又は製造管理条件が互いに異なる正常品/異常品に係るスペクトルデータを準備し、これに基づいて判定条件を作成する。これにより、ロバスト性を有する判定条件を作成することが可能となると考えられる。なお、測定環境及び製造管理条件は、可能な限り変化させることが好ましいというわけではなく、測定環境及び製造管理条件について、許容される変動範囲(もしくは、想定される変動範囲)を網羅するように変化させることが好ましい。変動範囲を広くし過ぎると、判定条件がロバスト性を有する一方で、より広い条件で取得された正常品/異常品に係るスペクトルデータを用いて判定条件を作成することになり、判定条件自体が曖昧となる可能性が考えられる。したがって、変動範囲を適切に設定することで、判定条件の精度も十分に高く確保することができる。   In the inspection method according to the present embodiment, in order to solve the above problems, spectrum data relating to normal / abnormal products having different measurement environments or manufacturing management conditions are prepared, and determination conditions are created based on the spectrum data. As a result, it is considered that a determination condition having robustness can be created. Note that it is not preferable to change the measurement environment and the production control conditions as much as possible. The measurement environment and the production control conditions should cover the allowable fluctuation range (or assumed fluctuation range). It is preferable to change. If the variation range is too wide, the determination condition has robustness, while the determination condition is created using spectrum data related to normal / abnormal products acquired under a wider condition. It may be ambiguous. Therefore, the accuracy of the determination condition can be secured sufficiently high by appropriately setting the fluctuation range.

測定環境又は製造管理条件が互いに異なる正常品/異常品に係るスペクトルデータは、互いに異なる測定環境又は製造管理条件毎に複数準備することが好ましい。これにより、同一の測定環境及び製造管理条件における正常品/異常品に係るスペクトルデータのバラつきに由来して判定条件が偏ることを防ぐことができる。   It is preferable to prepare a plurality of spectrum data related to normal products / abnormal products having different measurement environments or manufacturing control conditions for each different measurement environment or manufacturing control conditions. As a result, it is possible to prevent the determination conditions from being biased due to variations in spectrum data relating to normal products / abnormal products in the same measurement environment and manufacturing management conditions.

なお、測定環境又は製造管理条件が互いに異なる正常品/異常品に係るスペクトルデータから判定条件を作成する工程(S02)については、より詳細には2種類の手法があり、いずれかを用いることができる。   In addition, there are two types of methods in more detail regarding the step (S02) for creating the determination condition from the spectrum data related to the normal product / abnormal product having different measurement environments or manufacturing control conditions, and one of them can be used. it can.

第1の手法は、予め準備された測定環境又は製造管理条件が互いに異なる正常品/異常品に係るスペクトルデータの全てを利用して、1つの判定条件を作成し、この1つの判定条件に基づいて、検査対象物に係る判定を行う手法である。   In the first method, one determination condition is created using all spectrum data relating to normal / abnormal products having different measurement environments or manufacturing control conditions prepared in advance, and based on the one determination condition. This is a method for making a determination related to an inspection object.

第2の手法は、予め準備された測定環境又は製造管理条件が互いに異なる正常品/異常品に係るスペクトルデータについて、互いに異なる測定環境又は製造管理条件毎にそれぞれ判定条件を作成し、この複数の判定条件に基づいて、検査対象物に係る判定を行う手法である。   The second method creates a determination condition for each of different measurement environments or manufacturing control conditions for spectral data relating to normal products / abnormal products having different measurement environments or manufacturing control conditions prepared in advance. This is a technique for performing a determination related to an inspection object based on a determination condition.

以下、上記の2つの手法をより詳細に説明する。以下の説明では、図4に示す測定環境又は製造管理条件を変更した3種類の正常品/異常品に係るスペクトルデータを準備した場合について説明する。   Hereinafter, the above two methods will be described in more detail. In the following description, a case will be described in which spectrum data relating to three types of normal / abnormal products in which the measurement environment or manufacturing control conditions shown in FIG. 4 are changed is prepared.

図4では、条件1が、気温T℃、湿度M%、光強度X、製造ロットAであるとし、この条件1に該当する正常品i個及び異常品j個を準備したことを示している。同様に、条件2は、気温T℃、湿度M%、光強度X、製造ロットAであるとし、この条件2に該当する正常品i個、異常品j個を準備したことを示している。さらに、条件3は、気温T℃、湿度M%、光強度X、製造ロットAであるとし、この条件3に該当する正常品i個、異常品j個を準備したことを示している。気温T〜T℃の範囲、湿度M〜M%の範囲、及び、光強度X〜Xの範囲は、実際の測定環境又は製造管理条件に応じて設定されたものであるとする。 In Figure 4, the condition 1, the temperature T 1 ° C., prepared humidity M 1%, the light intensity X 1, and a production lot A 1, one normal products i 1 piece and abnormal product j corresponding to the condition 1 It shows that. Similarly, condition 2, the temperature T 2 ° C., humidity M 2%, the light intensity X 2, and a manufacturing lot A 2, two normal product i corresponding to the condition 2, were prepared two abnormal product j It is shown that. Further, Condition 3, the temperature T 3 ° C., a humidity M 3%, the light intensity X 3, that is to be the production lot A 3, normal products i 3 pieces corresponding to the condition 3, were prepared three abnormal product j Is shown. The range of the temperature T 1 to T 3 ° C, the range of the humidity M 1 to M 3 %, and the range of the light intensity X 1 to X 3 are set according to the actual measurement environment or manufacturing control conditions. And

第1の手法では、上記の条件1の正常品i個及び異常品j個、条件2の正常品i個、異常品j個、条件3の正常品i個、異常品j個に関して、全て光学測定装置100を用いて測定を行うことで、正常品及び異常品毎のスペクトルデータを抽出する。すなわち、正常品についてはi+i+i個のスペクトルデータが抽出され、異常品についてはj+j+j個のスペクトルデータが抽出される。なお、スペクトルデータの抽出の際、画素毎のスペクトルデータを直接抽出してもよいし、正常品又は異常品の1個ごとに、隣接する画素のスペクトルデータを平均化した上で抽出してもよい。 In the first approach, one normal products i of the above conditions 1 and abnormal product j 1, normal products i two conditions 2, two abnormal products j, normal products i 3 pieces of condition 3, the abnormal product j All three are measured using the optical measuring device 100, and the spectrum data for each normal product and abnormal product is extracted. That is, i 1 + i 2 + i 3 pieces of spectral data are extracted for normal products, and j 1 + j 2 + j 3 pieces of spectral data are extracted for abnormal products. In addition, when extracting spectral data, spectral data for each pixel may be directly extracted, or may be extracted after averaging spectral data of adjacent pixels for each normal product or abnormal product. Good.

次に、上記の全スペクトルデータに対して、上述した学習型のアルゴリズムを利用することで、正常品と異常品を判別するための判定条件を1つ決定する。   Next, one determination condition for discriminating between a normal product and an abnormal product is determined by using the learning type algorithm described above for all the spectrum data.

その後、検査対象物3に係る測定を行う。具体的には、光学測定装置100を利用し、検査対象物3のハイパースペクトル画像を取得した後に、検査対象物3を撮像した画素を特定する(背景や容器等を撮像した画素を判定対象から除外する)。その後、画素毎又は周辺画素のスペクトルデータを平均化した検査対象物3に係るスペクトルデータを取得する。そして、検査対象物3に係るスペクトルデータに対して、上記で決定された1つの判定条件を適用することで、検査対象物3が正常品であるか異常品であるかを判定する。その後、その結果をモニタ等に表示することで、結果を出力する。なお、結果の出力方法としては、異常品である場合にこれを通知する信号を出力する構成としてもよいし、適宜変更することができる。   Thereafter, measurement related to the inspection object 3 is performed. Specifically, after acquiring the hyperspectral image of the inspection object 3 using the optical measurement device 100, the pixel that images the inspection object 3 is specified (the pixel that images the background, the container, and the like is determined from the determination target). exclude). Thereafter, the spectrum data related to the inspection object 3 obtained by averaging the spectrum data of each pixel or peripheral pixels is acquired. Then, it is determined whether the inspection object 3 is a normal product or an abnormal product by applying the one determination condition determined above to the spectrum data related to the inspection object 3. Thereafter, the result is output by displaying the result on a monitor or the like. Note that the output method of the result may be configured to output a signal for notifying an abnormal product, or may be changed as appropriate.

上記の第1の手法では、気温がT〜T℃、湿度がM〜M%、光強度X〜Xの環境、及び、製造ロットA〜Aのように、測定環境又は製造管理条件が異なる対象物(正常品/異常品)を用いて判定条件が作成されている。上記の測定環境又は製造管理条件は、測定環境又は製造管理条件として変動し得る条件を反映したものであるので、上記の範囲内の条件で得られた検査対象物3について正常品/異常品の判定を行う場合、高い精度での判定を行うことができる。さらに、上記の判定条件を利用すると、測定環境又は製造管理条件が異なる検査対象物3を検査する場合でも、正常品と異常品のスペクトルの差異とは異なる要因(温度違い、湿度違い、光強度違い、製造ロット違い等によるスペクトルバラつき)には影響されないように判定条件が決定されているため、適切な判定が期待できる。 In the first approach described above, temperatures T 1 through T 3 ° C., humidity M 1 ~M 3%, the environment of the light intensity X 1 to X 3, and, as the production lot A 1 to A 3, measured Judgment conditions are created using objects (normal products / abnormal products) having different environments or manufacturing control conditions. Since the above measurement environment or production control conditions reflect conditions that may vary as the measurement environment or production control conditions, the inspection object 3 obtained under the conditions within the above range is a normal product / abnormal product. When the determination is performed, the determination can be performed with high accuracy. Furthermore, when the above judgment conditions are used, even when inspecting the inspection object 3 having different measurement environments or manufacturing control conditions, different factors (temperature difference, humidity difference, light intensity) from the difference in spectrum between the normal product and the abnormal product. Since the determination conditions are determined so as not to be influenced by the difference in spectrum due to the difference and the difference in the production lot), an appropriate determination can be expected.

次に、第2の手法について説明する。第2の手法では、条件1、2、3のそれぞれについて、判定条件を作成する。まず、条件1の正常品及び異常品について、光学測定装置100を用いて測定を行うことで、正常品及び異常品毎のスペクトルデータを抽出する。正常品i個のスペクトルデータが抽出され、異常品についてはj個のスペクトルデータが抽出される。なお、スペクトルデータの抽出の際、画素毎のスペクトルデータを直接抽出してもよいし、正常品又は異常品の1個ごとに、隣接する画素のスペクトルデータを平均化した上で抽出してもよい。その後、上述した学習型のアルゴリズムを利用することで、条件1に関する正常品と異常品を判別するための判定条件を1つ決定する。次に、条件2,3についても同様の手順により判定条件を決定する。この結果、条件1,2,3に対応した判定条件1,2,3が決定される。 Next, the second method will be described. In the second method, determination conditions are created for each of the conditions 1, 2, and 3. First, spectrum data for each normal product and abnormal product is extracted by measuring the normal product and abnormal product of Condition 1 using the optical measuring device 100. It is extracted normal product i 1 pieces of spectral data, j 1 pieces of spectrum data are extracted for abnormal products. In addition, when extracting spectral data, spectral data for each pixel may be directly extracted, or may be extracted after averaging spectral data of adjacent pixels for each normal product or abnormal product. Good. Thereafter, by using the learning type algorithm described above, one determination condition for determining the normal product and the abnormal product regarding the condition 1 is determined. Next, the determination conditions for conditions 2 and 3 are determined in the same procedure. As a result, determination conditions 1, 2, and 3 corresponding to conditions 1, 2, and 3 are determined.

その後、検査対象物3に係る測定を行う。具体的には、光学測定装置100を利用し、検査対象物3のハイパースペクトル画像を取得した後に、検査対象物3を撮像した画素を特定する(背景や容器等を撮像した画素を判定対象から除外する)。その後、画素毎又は周辺画素のスペクトルデータを平均化した検査対象物3に係るスペクトルデータを取得する。   Thereafter, measurement related to the inspection object 3 is performed. Specifically, after acquiring the hyperspectral image of the inspection object 3 using the optical measurement device 100, the pixel that images the inspection object 3 is specified (the pixel that images the background, the container, and the like is determined from the determination target). exclude). Thereafter, the spectrum data related to the inspection object 3 obtained by averaging the spectrum data of each pixel or peripheral pixels is acquired.

次に、検査対象物3に係るスペクトルデータに対して、上記で決定された3つの判定条件のうちの判定条件1を適用することで、検査対象物3が正常品であるか異常品であるかを判定する。同様に、検査対象物3に係るスペクトルデータに対して、上記で決定された3つの判定条件のうちの判定条件2及び判定条件3を個別に適用することで、検査対象物3が正常品であるか異常品であるかを判定する。その後、総合判定として、判定条件1〜3に基づく判定の結果、少なくとも1つの判定条件による判定の結果異常品として判定された場合には、当該検査対象物3は異常品であると判定する。すなわち、判定条件1〜3の全ての判定の結果が正常品である検査対象物のみを総合判定が正常品であると判定する。   Next, by applying the determination condition 1 out of the three determination conditions determined above to the spectrum data related to the inspection object 3, the inspection object 3 is a normal product or an abnormal product. Determine whether. Similarly, by applying the determination condition 2 and the determination condition 3 out of the three determination conditions determined above to the spectrum data related to the inspection object 3, the inspection object 3 is a normal product. Determine whether there is an abnormal product. After that, as a result of the determination based on the determination conditions 1 to 3 as a comprehensive determination, if the determination is made as an abnormal product as a result of the determination based on at least one determination condition, the inspection object 3 is determined to be an abnormal product. That is, it is determined that the comprehensive determination is a normal product only for inspection objects whose determination results of the determination conditions 1 to 3 are normal products.

その後、判定結果をモニタ等に表示することで、結果を出力する。なお、結果の出力方法としては、異常品である場合にこれを通知する信号を出力する構成としてもよいし、適宜変更することができる。   Thereafter, the result is output by displaying the determination result on a monitor or the like. Note that the output method of the result may be configured to output a signal for notifying an abnormal product, or may be changed as appropriate.

上記の第2の手法においても、気温がT〜T℃、湿度がM〜M%、光強度X〜Xの環境、及び、製造ロットA〜Aのように、測定環境又は製造管理条件が異なる対象物(正常品/異常品)を用いて3つの判定条件が作成されている。上記の測定環境又は製造管理条件は、測定環境又は製造管理条件として変動し得る条件を反映したものであるので、上記の範囲内の条件で得られた検査対象物3について正常品/異常品の判定を行う場合、高い精度での判定を行うことができる。さらに、上記の判定条件を利用すると、測定環境又は製造管理条件が異なる検査対象物3を検査する場合でも、正常品と異常品のスペクトルの差異とは異なる要因(温度違い、湿度違い、光強度違い、製造ロット違い等によるスペクトルバラつき)には影響されないように判定条件が決定されているため、適切な判定が期待できる。 In the second approach above, temperatures T 1 through T 3 ° C., humidity M 1 ~M 3%, the environment of the light intensity X 1 to X 3, and, as the production lot A 1 to A 3, Three determination conditions are created using objects (normal products / abnormal products) having different measurement environments or manufacturing control conditions. Since the above measurement environment or production control conditions reflect conditions that may vary as the measurement environment or production control conditions, the inspection object 3 obtained under the conditions within the above range is a normal product / abnormal product. When the determination is performed, the determination can be performed with high accuracy. Furthermore, when the above judgment conditions are used, even when inspecting the inspection object 3 having different measurement environments or manufacturing control conditions, different factors (temperature difference, humidity difference, light intensity) from the difference in spectrum between the normal product and the abnormal product. Since the determination conditions are determined so as not to be influenced by the difference in spectrum due to the difference and the difference in the production lot), an appropriate determination can be expected.

なお、第2の手法は、第1の手法と比較すると、複数の判定条件に基づく判定を行うため、検査対象物3が異常品である場合には確実に異常品であると判定できるだけでなく、一部の判定条件では正常品であると判定された場合でも総合判定では異常品として判定するため、正常品と異常品との境界付近の正常品についても、異常品として判定される可能性がある。その点では、第2の手法のほうが、第1の手法と比較して正常品として判定されるものに異常品が混入することを防ぐ、所謂フェールセーフな手法であるとも考えられる。   In addition, since the second method performs determination based on a plurality of determination conditions as compared with the first method, when the inspection object 3 is an abnormal product, the second method can be determined to be an abnormal product. Even if it is determined that the product is normal under some judgment conditions, it is determined as an abnormal product in the overall judgment. Therefore, the normal product near the boundary between the normal product and the abnormal product may be determined as an abnormal product. There is. In that respect, the second method is considered to be a so-called fail-safe method that prevents an abnormal product from being mixed into what is determined as a normal product as compared to the first method.

以上のように、本実施形態に係る光学測定装置100及び検査方法によれば、測定環境又は製造管理条件が異なり、且つ、正常品及び異常品が含まれる複数の対象物に対して近赤外光を照射すること得られるスペクトルデータを利用して、正常品と異常品とを判定するための判定条件を作成し、これを、検査対象物から得られるスペクトルデータに対して適用することで、検査対象物が正常品であるか異常品であるかが判定される。このように、測定環境又は製造管理条件が異なる対象物から取得される正常品及び異常品のスペクトルデータが判定条件の作成に用いられることで、測定環境又は製造管理条件に影響して変化するスペクトルの形状のバラつきを吸収した判定条件が作成されるため、これを用いて検査対象物に係る判定を行うことで、より高い精度での判定を行うことができる。   As described above, according to the optical measurement apparatus 100 and the inspection method according to the present embodiment, the near-infrared light is applied to a plurality of objects having different measurement environments or manufacturing management conditions and including normal products and abnormal products. By using spectral data obtained by irradiating light, creating a determination condition for determining a normal product and an abnormal product, and applying this to spectral data obtained from an inspection object, It is determined whether the inspection object is a normal product or an abnormal product. As described above, the spectrum data of normal products and abnormal products acquired from objects with different measurement environments or manufacturing control conditions are used to create the judgment conditions, thereby changing the spectrum that affects the measurement environment or manufacturing control conditions. Since a determination condition that absorbs the variation in the shape of the object is created, it is possible to perform a determination with higher accuracy by performing a determination related to the inspection object using the determination condition.

また、上記の第1の手法では、測定環境又は製造管理条件が異なり、且つ、正常品及び異常品が含まれる複数の対象物から取得されるスペクトルデータを利用して1つの判定条件を作成する構成としている。この場合、この1つの判定条件は、測定環境又は製造管理条件の変化に由来するスペクトル形状の変化を吸収した状態で作成されたものとなる。したがって、この1つの判定条件を利用して検査対象物が正常品であるか異常品であるかを判定することで、より高い精度での判定を行うことができる。   In the first method described above, one determination condition is created by using spectrum data obtained from a plurality of objects that have different measurement environments or manufacturing control conditions and include normal products and abnormal products. It is configured. In this case, the one determination condition is created in a state in which the change in the spectrum shape resulting from the change in the measurement environment or the manufacturing control condition is absorbed. Therefore, determination with higher accuracy can be performed by determining whether the inspection object is a normal product or an abnormal product by using this one determination condition.

また、上記の第2の手法では、測定環境又は製造管理条件が同一である正常品及び異常品のスペクトルデータから1つの判定条件を作り、これを繰り返すことで判定条件を複数準備し、検査対象物からのスペクトルデータに対して複数の判定条件を個別に適用してそれぞれに判定を行い、複数の判定条件に対する判定の結果全て正常品であると判定された場合に、当該検査対象物が正常品であると判定する構成としている。この場合、測定環境又は製造管理条件が異なる条件においても正常品と判定されているということから、測定環境又は製造管理条件の変化に関係なく正常品であると判定されたということになる。したがって、複数の判定条件を利用して検査対象物が正常品であるか異常品であるかを判定することで、より高い精度での判定を行うことができる。   In the second method described above, a single determination condition is created from spectrum data of normal products and abnormal products having the same measurement environment or manufacturing control conditions, and a plurality of determination conditions are prepared by repeating this process. A plurality of determination conditions are individually applied to spectrum data from an object, and each determination is made. When all the determination results for the plurality of determination conditions are determined to be normal products, the inspection object is normal. The product is determined to be a product. In this case, since the product is determined to be a normal product even under conditions with different measurement environments or manufacturing control conditions, the product is determined to be a normal product regardless of changes in the measurement environment or manufacturing control conditions. Therefore, determination with higher accuracy can be performed by determining whether the inspection object is a normal product or an abnormal product by using a plurality of determination conditions.

以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限定されず、種々の変更を行うことができる。   As mentioned above, although embodiment of this invention was described, this invention is not limited to said embodiment, A various change can be made.

例えば、上記実施形態では、光学測定装置100に分析ユニット30が組み込まれた構成について説明したが、分析ユニット30のみが光学測定を行う機構を有する光源ユニット10及び撮像ユニット20とは別に運用されていてもよい。   For example, in the above-described embodiment, the configuration in which the analysis unit 30 is incorporated in the optical measurement device 100 has been described. However, only the analysis unit 30 is operated separately from the light source unit 10 and the imaging unit 20 having a mechanism for performing optical measurement. May be.

また、上記実施形態では、測定環境又は製造管理条件が異なる対象物(正常品/異常品)を3種類(3つの条件)準備したが、測定環境又は製造管理条件が異なる対象物を何種類準備するか、また、温度、湿度等のパラメータをどのように組み合わせて準備するか、は、特に限定されず、適宜変更することができる。   In the above embodiment, three types of objects (normal conditions / abnormal products) having different measurement environments or manufacturing control conditions are prepared (three conditions), but how many types of objects having different measurement environments or manufacturing control conditions are prepared. In addition, how to prepare a combination of parameters such as temperature and humidity is not particularly limited and can be appropriately changed.

2…ベルトコンベア、3…検査対象物、10…光源ユニット、11…光源、12…照射部、13…光ファイバ、20…撮像ユニット、21…スリット、22…分光器、23…受光部、24…カメラレンズ、30…分析ユニット、100…光学測定装置。   DESCRIPTION OF SYMBOLS 2 ... Belt conveyor, 3 ... Test object, 10 ... Light source unit, 11 ... Light source, 12 ... Irradiation part, 13 ... Optical fiber, 20 ... Imaging unit, 21 ... Slit, 22 ... Spectroscope, 23 ... Light receiving part, 24 ... camera lens, 30 ... analysis unit, 100 ... optical measuring device.

Claims (4)

検査対象物を撮像して得られたスペクトルデータに基づいて、当該検査対象物が正常品であるか異常品であるかを判定する検査方法であって、
測定環境又は製造管理条件が異なり、且つ、正常品及び異常品が含まれる複数の対象物に対して近赤外光を照射することで、複数の対象物から出射される出射光のスペクトルデータを準備するデータ準備工程と、
前記複数の対象物からの出射光のスペクトルデータを利用し、正常品と異常品とを判定するための判定条件を作成する判定条件作成工程と、
検査対象物に対して近赤外光を照射することで、当該検査対象物から出射される出射光のスペクトルデータを取得し、当該検査対象物からのスペクトルデータに対して前記判定条件を適用することで、当該検査対象物が正常品であるか異常品であるかを判定する判定工程と、
を有する検査方法。
Based on spectral data obtained by imaging an inspection object, an inspection method for determining whether the inspection object is a normal product or an abnormal product,
Spectral data of emitted light emitted from multiple objects by irradiating near-infrared light to multiple objects that have different measurement environments or manufacturing control conditions and include normal products and abnormal products A data preparation process to prepare;
Using the spectrum data of the emitted light from the plurality of objects, a determination condition creating step for creating a determination condition for determining a normal product and an abnormal product,
By irradiating the inspection object with near-infrared light, spectrum data of the emitted light emitted from the inspection object is acquired, and the determination condition is applied to the spectrum data from the inspection object. Thus, a determination step of determining whether the inspection object is a normal product or an abnormal product,
Inspection method having
前記判定条件作成工程において、測定環境又は製造管理条件が異なり、且つ、正常品及び異常品が含まれる複数の対象物からの出射光のスペクトルデータに基づいて、1つの判定条件を作成し、
前記判定工程で、前記検査対象物からのスペクトルデータに対して前記1つの判定条件を適用することで、当該検査対象物が正常品であるか異常品であるかを判定する請求項1に記載の検査方法。
In the determination condition creation step, the measurement environment or manufacturing management conditions are different, and based on the spectrum data of the emitted light from a plurality of objects including normal products and abnormal products, one determination condition is created,
The said determination process WHEREIN: By applying said one determination condition with respect to the spectrum data from the said test object, it is determined whether the said test object is a normal product or an abnormal product. Inspection method.
前記判定条件作成工程において、測定環境又は製造管理条件が同一であって、且つ、正常品及び異常品が含まれる複数の対象物からの出射光のスペクトルデータから1つの判定条件を作成し、これを測定環境又は製造管理条件が異なる対象物について個別に繰り返すことで、複数の判定条件を作成し、
前記判定工程で、前記検査対象物からのスペクトルデータに対して前記複数の判定条件を個別に適用することで、前記複数の判定条件のそれぞれについて、当該検査対象物が正常品であるか異常品であるかを判定した後、前記複数の判定条件に対する判定結果が全て正常品である場合に、当該検査対象物が正常品であると判定する請求項1に記載の検査方法。
In the determination condition creating step, one determination condition is created from spectrum data of emitted light from a plurality of objects having the same measurement environment or manufacturing control condition and including normal and abnormal products, To create multiple judgment conditions by repeating individually for objects with different measurement environments or manufacturing control conditions,
In the determination step, the plurality of determination conditions are individually applied to spectrum data from the inspection object, whereby the inspection object is a normal product or an abnormal product for each of the plurality of determination conditions. 2. The inspection method according to claim 1, wherein after determining whether or not the determination results for the plurality of determination conditions are all normal products, the inspection object is determined to be a normal product.
検査対象物を撮像して得られたスペクトルデータに基づいて、当該検査対象物が正常品であるか異常品であるかを判定する光学測定装置であって、
前記検査対象物に対して近赤外光を照射する光源ユニットと、
前記検査対象物を撮像し、前記検査対象物に対する前記近赤外光の照射により当該検査対象物から出射される出射光のスペクトルデータを取得する撮像ユニットと、
前記撮像ユニットで取得された前記検査対象物に係るスペクトルデータに基づいて、当該検査対象物が正常品であるか異常品であるかを判定する分析ユニットと、
を有し、
前記分析ユニットは、測定環境又は製造管理条件が異なり、且つ、正常品及び異常品が含まれる複数の対象物に対して近赤外光を照射することで、複数の対象物から出射される出射光のスペクトルデータから作成された正常品と異常品とを判定するための判定条件を、
当該検査対象物からのスペクトルデータに対して適用することで、当該検査対象物が正常品であるか異常品であるかを判定する光学測定装置。
An optical measurement device that determines whether the inspection object is a normal product or an abnormal product based on spectrum data obtained by imaging the inspection object,
A light source unit that irradiates the inspection object with near-infrared light; and
An imaging unit that images the inspection object and obtains spectral data of emitted light emitted from the inspection object by irradiation of the near-infrared light on the inspection object;
An analysis unit for determining whether the inspection object is a normal product or an abnormal product based on spectrum data relating to the inspection object acquired by the imaging unit;
Have
The analysis unit emits light emitted from a plurality of objects by irradiating a plurality of objects having different measurement environments or manufacturing control conditions and including normal products and abnormal products with near infrared light. Judgment conditions for judging normal products and abnormal products created from spectral data of incident light,
An optical measurement device that determines whether the inspection object is a normal product or an abnormal product by applying it to spectrum data from the inspection object.
JP2016094617A 2016-05-10 2016-05-10 Inspection method and optical measurement device Pending JP2017203658A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016094617A JP2017203658A (en) 2016-05-10 2016-05-10 Inspection method and optical measurement device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016094617A JP2017203658A (en) 2016-05-10 2016-05-10 Inspection method and optical measurement device

Publications (1)

Publication Number Publication Date
JP2017203658A true JP2017203658A (en) 2017-11-16

Family

ID=60322161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016094617A Pending JP2017203658A (en) 2016-05-10 2016-05-10 Inspection method and optical measurement device

Country Status (1)

Country Link
JP (1) JP2017203658A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232597B2 (en) 2019-01-29 2022-01-25 Seiko Epson Corporation Information system and identification method
WO2022044430A1 (en) * 2020-08-26 2022-03-03 浜松ホトニクス株式会社 Foreign matter inspection device
KR20220053410A (en) * 2020-10-22 2022-04-29 대한민국(농촌진흥청장) System and method for detecting agricultural products residues using hyper-spectral image
CN114414592A (en) * 2022-01-19 2022-04-29 中国科学院上海光学精密机械研究所 Glass bubble detection device and method based on nonlinear holographic thermal image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005038443A1 (en) * 2003-10-17 2005-04-28 Astellas Pharma, Inc. Different-kind-of-object detector employing plane spectrometer
JP2011191129A (en) * 2010-03-12 2011-09-29 Hitachi Information & Control Solutions Ltd Tablet inspection device, tablet packaging apparatus, tablet inspection method, and tablet packaging method
JP2015203586A (en) * 2014-04-11 2015-11-16 住友電気工業株式会社 inspection method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005038443A1 (en) * 2003-10-17 2005-04-28 Astellas Pharma, Inc. Different-kind-of-object detector employing plane spectrometer
JP2011191129A (en) * 2010-03-12 2011-09-29 Hitachi Information & Control Solutions Ltd Tablet inspection device, tablet packaging apparatus, tablet inspection method, and tablet packaging method
JP2015203586A (en) * 2014-04-11 2015-11-16 住友電気工業株式会社 inspection method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232597B2 (en) 2019-01-29 2022-01-25 Seiko Epson Corporation Information system and identification method
WO2022044430A1 (en) * 2020-08-26 2022-03-03 浜松ホトニクス株式会社 Foreign matter inspection device
KR20220053410A (en) * 2020-10-22 2022-04-29 대한민국(농촌진흥청장) System and method for detecting agricultural products residues using hyper-spectral image
KR102418849B1 (en) * 2020-10-22 2022-07-08 대한민국 System and method for detecting agricultural products residues using hyper-spectral image
CN114414592A (en) * 2022-01-19 2022-04-29 中国科学院上海光学精密机械研究所 Glass bubble detection device and method based on nonlinear holographic thermal image
CN114414592B (en) * 2022-01-19 2024-04-12 中国科学院上海光学精密机械研究所 Glass bubble detection device and method based on nonlinear holographic thermal image

Similar Documents

Publication Publication Date Title
JP2014215177A (en) Inspection device and inspection method
KR101019650B1 (en) Different-kind-of-object detector employing plane spectrometer
JP2012098181A (en) Device and method for detection
JP5206335B2 (en) Principal component analysis method, principal component analysis apparatus, heterogeneous product detection apparatus, principal component analysis program, and recording medium on which principal component analysis program is recorded
JP2013044729A (en) Coating state measuring method
US9897560B2 (en) Screening of electronic components for detection of counterfeit articles using automated inspection system
WO2016059946A1 (en) Spectroscopic measurement method and spectroscopic measurement device
KR101498096B1 (en) Apparatus and method for discriminating of geographical origin of agricutural products using hyperspectral imaging
JP2011141809A (en) Equipment and method for analyzing image data
JP5945202B2 (en) Wood material classification and judgment method
JP2017203658A (en) Inspection method and optical measurement device
JP2013164338A (en) Method for detecting foreign matter of plant or plant product
WO2016080442A1 (en) Quality evaluation method and quality evaluation device
JP6295798B2 (en) Inspection method
JP5900644B2 (en) Analysis area setting device
US10585033B2 (en) Microparticle measuring device and microparticle analysis method
JP2016138789A (en) Spectral imaging system
JP2010276361A (en) Abnormal state inspecting device
JP2012189390A (en) Hair detector
JP2016090476A (en) Foreign matter detection method
JP2015014527A (en) Abnormality detection device and abnormality detection method
JP2015040818A (en) Method and apparatus for grain classification
WO2013133171A1 (en) Method for sorting seeds and seed-sorting apparatus
JP7199697B2 (en) Inspection device, inspection method, program, recording medium and powder molding manufacturing device
JP2017133953A (en) Tablet inspection device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181002