JP2013029350A - Appearance inspection method and device for the same - Google Patents

Appearance inspection method and device for the same Download PDF

Info

Publication number
JP2013029350A
JP2013029350A JP2011164102A JP2011164102A JP2013029350A JP 2013029350 A JP2013029350 A JP 2013029350A JP 2011164102 A JP2011164102 A JP 2011164102A JP 2011164102 A JP2011164102 A JP 2011164102A JP 2013029350 A JP2013029350 A JP 2013029350A
Authority
JP
Japan
Prior art keywords
appearance
information
inspection
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011164102A
Other languages
Japanese (ja)
Other versions
JP5676387B2 (en
Inventor
Kaoru Sakai
薫 酒井
Shunji Maeda
俊二 前田
Shigenobu Maruyama
重信 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2011164102A priority Critical patent/JP5676387B2/en
Priority to PCT/JP2012/063878 priority patent/WO2013015013A1/en
Publication of JP2013029350A publication Critical patent/JP2013029350A/en
Application granted granted Critical
Publication of JP5676387B2 publication Critical patent/JP5676387B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/952Inspecting the exterior surface of cylindrical bodies or wires

Abstract

PROBLEM TO BE SOLVED: To provide an appearance inspection method of an object which quantitatively evaluates a defect in the shape which is difficult to be detected in a visual inspection to be detected in an appearance inspection of the object in the complicated shape and a device for the same.SOLUTION: A method for inspecting appearance of an object is constituted so that an inspection target object is loaded, the inspection target object is picked up while continuously moving the inspection target object in at least one direction, surface unevenness information on the inspection target object is acquired while acquiring an image of the inspection target object including texture information on the surface of the inspection target object, the three-dimensional shape of the inspection target object is restored from the acquired surface unevenness information on the inspection target object, appearance information on an object with surface texture is obtained from the acquired image and the restored three-dimensional shape of the inspection target object, a plurality of features are extracted from the obtained appearance information, at least one feature of the plurality of extracted features is compared with a feature corresponding to the at least one feature of preset reference data, and the appearance of an object to be an inspection target is evaluated.

Description

本発明は、被検査対象物の表面テクスチャ(画像)及び表面変位(形状)から被検査対象物の不良を検出する外観検査に係り、ドリルやカッターなど切削加工の工具、タービンホイールなどの複雑形状をした物体の不良を検査するのに好適な外観検査方法及びその装置に関する。   The present invention relates to an appearance inspection for detecting a defect of an object to be inspected from a surface texture (image) and a surface displacement (shape) of the object to be inspected, and a complicated shape such as a cutting tool such as a drill or a cutter or a turbine wheel. The present invention relates to an appearance inspection method and an apparatus suitable for inspecting a defective object.

金属加工部品の生産現場において、加工に用いるドリルやカッターなどの工具はその刃型の形状によって加工品の品質が大きく変わるため、刃型の管理が重要となる。刃型の管理は、刃先の角度を定量化し、欠けの有無や磨耗度合いを把握する必要がある。しかし、ドリルやカッターなどの複雑形状をした物体の外観検査は、遮蔽領域もあり、人が対象物体を動かしながら様々な方向から眺め、不良を検出する目視検査・管理が主流となっている。このため、刃先の微妙な角度の違いや表面凹凸を目視で定量的に計測するには限界があり、定期的に刃を交換することで不良品の作り込みを事前に防止する、もしくは、不良が大量発生したことをきっかけに刃のチェックや交換を行っている。それゆえ、加工品の品質が安定しない、工具の交換コストが不必要に増大するなどの問題があり、目視では検出困難な、微妙な形状や表面凹凸を高精度、かつ定量的に検出できる装置の必要性が生じている。   In the production site for metal workpieces, the quality of the processed product of a tool such as a drill or a cutter used for processing varies greatly depending on the shape of the blade shape. Therefore, management of the blade shape is important. To manage the blade shape, it is necessary to quantify the angle of the blade edge and grasp the presence or absence of chipping and the degree of wear. However, visual inspection and management of an object having a complicated shape such as a drill or a cutter has a shielding area, and a person views the object from various directions while moving the target object, and detects defects. For this reason, there is a limit in quantitatively measuring the subtle angle difference and surface irregularities of the cutting edge, and it is possible to prevent defective products by replacing the blade in advance or The blades are checked and replaced in the wake of the large number of occurrences. Therefore, there is a problem that the quality of the processed product is not stable, the tool replacement cost is unnecessarily increased, and it is difficult to detect visually, and it is possible to detect delicate shapes and surface irregularities with high accuracy and quantitative. The need for is arising.

3次元形状測定は従来から行われている。特開2002−92632号公報(特許文献1)に記載の方法は、測定対象物にレーザ光を照射するとともに、走査してレーザ光の照射スポットの形成位置を変化させ、形成位置が変化されたそれぞれの照射スポットにおける反射光を受光し、三角測量の原理により照射スポットの位置の距離を検出する。そして、得られた3次元形状データに、反射光の受光幅を利用して陰影をつけて表示する。また、別の技術として、特開2009−204425号公報(特許文献2)に記載の方法は、対象物に照射するレーザ光の出射強度を制御して、制御された出射レーザ強度に応じて受光する反射強度が一定となるようにする。これにより、反射率の高低により3次元データの計算が不可能となる部分を少なくし、精度の良い3次元形状計測を可能とするものである。   Three-dimensional shape measurement has been conventionally performed. In the method described in Japanese Patent Laid-Open No. 2002-92632 (Patent Document 1), the measurement object is irradiated with laser light, and the formation position of the irradiation spot of the laser light is changed by scanning to change the formation position. The reflected light at each irradiation spot is received, and the distance of the position of the irradiation spot is detected by the principle of triangulation. Then, the obtained three-dimensional shape data is displayed with a shadow using the light receiving width of the reflected light. As another technique, the method described in Japanese Unexamined Patent Application Publication No. 2009-204425 (Patent Document 2) controls the emission intensity of laser light applied to an object and receives light according to the controlled emission laser intensity. The reflection intensity to be made constant. As a result, the portion where the calculation of the three-dimensional data is impossible due to the high or low reflectance is reduced, and the three-dimensional shape measurement with high accuracy is enabled.

特開2002−92632号公報JP 2002-92632 A 特開2009−204425号公報JP 2009-204425 A

3次元形状の出来栄え検査は、上述の通り、検査員による目視検査であることが多い。このため、検査員によって表面凹凸の良否判定や表面の微小キズ有無の判定結果に違いが生じ、品質のばらつき、不良の流出の要因となっている。これらを解決するためには、形状と表面の状態を計測し、これらを統合して、総合的かつ定量的な判定基準に従って、検査対象物の品質を押さえる必要がある。   As described above, the quality inspection of a three-dimensional shape is often a visual inspection by an inspector. For this reason, the inspector makes a difference in the determination result of the surface unevenness and the determination result of the presence or absence of micro scratches on the surface, which causes variations in quality and outflow of defects. In order to solve these problems, it is necessary to measure the shape and the state of the surface, integrate them, and suppress the quality of the inspection object according to a comprehensive and quantitative determination criterion.

特許文献1および2には、レーザを測定対象物に照射してその反射光を検出し測定対象物の3次元形状データを得ることが記載されているが、計測して得られた3次元形状データからその形状を定量的に良否判定を行うことについては記載されていない。   Patent Documents 1 and 2 describe that a measurement target is irradiated with a laser and its reflected light is detected to obtain three-dimensional shape data of the measurement target. It is not described that the quality of the shape is determined from the data quantitatively.

本発明の目的は、ドリルやカッターなど切削加工の工具、タービンホイールなどの複雑形状をした物体の外観検査において、被検査対象物の表面テクスチャ(画像)及び表面変位(形状)から被検査対象物の不良を定量的に検出し、かつ、可視化する外観検査方法及びその装置を提供することにある。   An object of the present invention is to inspect an object to be inspected from a surface texture (image) and a surface displacement (shape) of an object to be inspected in a visual inspection of an object having a complicated shape such as a cutting tool such as a drill or a cutter or a turbine wheel. It is an object of the present invention to provide an appearance inspection method and apparatus for quantitatively detecting and visualizing defects in the apparatus.

上記課題を解決するために、本発明では、物体の外観を検査する装置を、検査対象物体を載置して少なくとも一方向に連続的に移動可能なテーブル手段と、このテーブル手段に載置された検査対象物体を撮像して検査対象物体の表面のテクスチャ情報を含む前記検査対象物体の画像を取得する画像取得手段と、テーブル手段に載置された検査対象物体の表面凹凸情報を取得する表面変位情報取得手段と、この表面変位情報取得手段で取得した検査対象物体の表面凹凸情報から検査対象物体の立体形状を復元する立体形状復元手段と、画像取得手段で取得した画像と立体形状復元手段で復元した検査対象物体の立体形状とから表面テクスチャを持った物体の外観情報を得る外観データ生成手段と、この外観データ生成手段で得られた外観情報から複数の特徴を抽出する特徴抽出手段と、この特徴抽出手段で抽出した該複数の特徴のうち少なくとも1つの特徴を予め設定した参照データの前記少なくとも1つの特徴に対応する特徴と比較して検査対象となる物体の外観を評価する外観評価手段とを備えて構成した。   In order to solve the above-mentioned problems, in the present invention, an apparatus for inspecting the appearance of an object is placed on a table means that can place an object to be inspected and can move continuously in at least one direction, and the table means. An image acquisition unit that captures an image of the inspection target object and acquires an image of the inspection target object including texture information of the surface of the inspection target object, and a surface that acquires surface unevenness information of the inspection target object placed on the table unit Displacement information acquisition means, three-dimensional shape restoration means for restoring the three-dimensional shape of the inspection target object from the surface unevenness information of the inspection target object acquired by the surface displacement information acquisition means, and the image and three-dimensional shape restoration means acquired by the image acquisition means Appearance data generation means for obtaining the appearance information of the object having the surface texture from the three-dimensional shape of the inspection target object restored in step 3, and whether the appearance information obtained by the appearance data generation means A feature extraction means for extracting a plurality of features, and an inspection object in comparison with a feature corresponding to the at least one feature of reference data set in advance at least one of the plurality of features extracted by the feature extraction means And an appearance evaluation means for evaluating the appearance of the object.

また、上記目的を達成するために、本発明では、物体の外観を検査する装置を、検査対象物体を載置して少なくとも一方向に連続的に移動可能なテーブル手段と、このテーブル手段に載置された検査対象物体を撮像してその画像を取得する画像取得手段と、このテーブル手段に載置された検査対象物体の表面凹凸情報を取得する表面変位情報取得手段と、この表面変位情報取得手段で取得した検査対象物体の表面凹凸から情報該画像取得手段で取得した表面テクスチャに陰影を付加する陰影情報算出手段と、この陰影情報算出手段で算出した陰影を付加した前記物体の表面欠陥を含む外観データを表示する表示手段とを備えて構成した。   In order to achieve the above object, according to the present invention, an apparatus for inspecting the appearance of an object is mounted on a table means on which an object to be inspected can be placed and continuously moved in at least one direction. An image acquisition unit that captures an image of the placed inspection target object and acquires the image, a surface displacement information acquisition unit that acquires surface unevenness information of the inspection target object placed on the table unit, and the surface displacement information acquisition Information from the surface irregularities of the object to be inspected acquired by the means, shadow information calculating means for adding a shadow to the surface texture acquired by the image acquiring means, and surface defects of the object to which the shadow calculated by the shadow information calculating means is added And display means for displaying the appearance data including.

更に、上記目的を達成するために、本発明では、物体の外観を検査する方法において、 検査対象物体を載置して少なくとも一方向に連続的に移動させながら検査対象物体を撮像して検査対象物体の表面のテクスチャ情報を含む検査対象物体の画像を取得しながら検査対象物体の表面凹凸情報を取得し、この取得した検査対象物体の表面凹凸情報から検査対象物体の立体形状を復元し、取得した画像と復元した検査対象物体の立体形状とから表面テクスチャを持った物体の外観情報を得、この得られた外観情報から複数の特徴を抽出し、この抽出した複数の特徴のうち少なくとも1つの特徴を予め設定した参照データの前記少なくとも1つの特徴に対応する特徴と比較して検査対象となる物体の外観を評価するようにした。   Furthermore, in order to achieve the above object, according to the present invention, in the method for inspecting the appearance of an object, the inspection object is imaged while the inspection object is placed and continuously moved in at least one direction. Acquire the surface unevenness information of the inspection target object while acquiring the image of the inspection target object including the texture information of the surface of the object, and restore the 3D shape of the inspection target object from the acquired surface unevenness information of the inspection target object The appearance information of the object having the surface texture is obtained from the obtained image and the restored three-dimensional shape of the inspection target object, and a plurality of features are extracted from the obtained appearance information, and at least one of the extracted features The appearance of the object to be inspected is evaluated by comparing the feature with the feature corresponding to the at least one feature of the reference data set in advance.

また更に、上記目的を達成するために、本発明では、物体の外観を検査する方法において、検査対象物体を載置して少なくとも一方向に連続的に移動させ、この一方向に連続的に移動している検査対象物体を撮像してその画像を取得し、この一方向に連続的に移動している検査対象物体の表面凹凸情報を取得し、この取得した検査対象物体の表面凹凸情報から取得した検査対象物体の画像の表面テクスチャに陰影を付加し、この陰影を付加した検査対象物体の表面欠陥を含む外観データを表示するようにした。   Furthermore, in order to achieve the above object, according to the present invention, in the method for inspecting the appearance of an object, the object to be inspected is placed and continuously moved in at least one direction, and continuously moved in this one direction. The image of the inspection target object is captured and the image is acquired. The surface unevenness information of the inspection target object continuously moving in this one direction is acquired, and the surface unevenness information of the acquired inspection target object is acquired. A shadow is added to the surface texture of the image of the inspection target object, and appearance data including the surface defect of the inspection target object to which this shadow is added is displayed.

本発明によれば、検査対象物体の外観の良否判定に用いる良品基準を、設計データから事前に生成又は検査対象物を撮像して得た画像から作成して保持する良品基準設定手段を備え、良品基準と計測値を照合することにより、人間による定量化が困難な、形状不良や微小表面キズの定量評価値を行えるようになった。また、計測した表面変位と検出光学系の関係から3次元形状の陰影を推定し、表面凹凸に陰影を付与して表示する手段により、目視による最終確認を容易に行えるようになった。   According to the present invention, the non-defective product standard setting means for creating and holding a good product standard used for the quality determination of the appearance of the inspection target object from an image obtained by imaging the inspection target in advance from design data, By collating non-defective product standards with measured values, quantitative evaluation values for shape defects and minute surface scratches, which are difficult for humans to quantify, can now be performed. In addition, a final visual confirmation can be easily performed by means of estimating a three-dimensional shape shadow from the relationship between the measured surface displacement and the detection optical system, and adding and displaying the shadow on the surface unevenness.

本発明の実施例における外観検査装置の概略の構成を示すブロック図である。It is a block diagram which shows the schematic structure of the external appearance inspection apparatus in the Example of this invention. 本発明における外観検査装置のシステム構成の概念を示すブロック図である。It is a block diagram which shows the concept of the system configuration | structure of the external appearance inspection apparatus in this invention. 本発明の実施例における信号処理部の処理の流れを示すフロー図である。It is a flowchart which shows the flow of a process of the signal processing part in the Example of this invention. 本発明の実施例における連結処理部で行われる連結処理の流れを示すフロー図である。It is a flowchart which shows the flow of the connection process performed in the connection process part in the Example of this invention. 本発明の実施例における欠陥判定部で行われる照合処理の流れを示すフロー図である。It is a flowchart which shows the flow of the collation process performed in the defect determination part in the Example of this invention. 本発明の実施例における部位毎に異なるしきい値を適用した欠陥判定処理の概念を説明する検査対象物と良品基準の輪郭線図である。It is an outline figure of a test object and a good quality reference explaining a concept of defect judgment processing to which a different threshold is applied for each part in an example of the present invention. 本発明の実施例における部位毎に異なるしきい値を適用した表面欠陥判定処理の概念を説明する検査対象物と良品基準の輪郭線図。The outline figure of a test object and a quality standard explaining the concept of the surface defect determination process which applied a different threshold value for every site | part in the Example of this invention. 本発明の実施例において表面に凹凸のある検査対象物に対して欠陥判定部で行われる照合処理の別の例の処理の流れを示すフロー図である。It is a flowchart which shows the flow of a process of another example of the collation process performed in a defect determination part with respect to the test target object with an unevenness | corrugation in the surface in the Example of this invention. 本発明の実施例において欠陥判定部で行われる位置照合の概念を示すブロック図である。It is a block diagram which shows the concept of the position collation performed in the defect determination part in the Example of this invention. 本発明の実施例の外観検査装置における信号処理部の処理の流れの別の例を示すフロー図である。It is a flowchart which shows another example of the flow of a process of the signal processing part in the external appearance inspection apparatus of the Example of this invention. 本発明の実施例における検査対象物の斜視図である。It is a perspective view of a test subject in the example of the present invention. 発明の実施例における検査対象物の凹凸情報から推定した陰影像推定図である。It is the shadow image estimation figure estimated from the uneven | corrugated information of the test target object in the Example of invention. 発明の実施例において光学的に撮像して得た検査対象物の光学像である。2 is an optical image of an inspection object obtained by optical imaging in an embodiment of the invention. 発明の実施例において試料をドリルで加工中の有効電力センサ信号を示すグラフである。It is a graph which shows the active power sensor signal in processing the sample in the Example of invention with a drill. 発明の実施例において試料をドリルで加工している状態を示すドリルの正面図である。It is a front view of the drill which shows the state which is processing the sample with the drill in the Example of invention. 発明の実施例における試料をドリルで加工するときの処理の流れを示すフロー図である。It is a flowchart which shows the flow of a process when processing the sample in the Example of invention with a drill. 自由曲面をもつ検査対象の例で、切りくずが薄くなるような条件で切削している状態を示すカッターの側面図である。It is an example of the inspection object which has a free-form surface, and is a side view of a cutter showing a state where cutting is performed under such a condition that chips are thin. 自由曲面をもつ検査対象の例で、切りくずが厚くなるような条件で切削している状態を示すカッターの側面図である。It is an example of the inspection object which has a free-form surface, and is a side view of the cutter showing a state where cutting is performed under conditions such that chips are thick. 発明の実施例における外観検査装置の用途の一例を示す外観検査装置と検査対象の斜視図である。It is a perspective view of an appearance inspection apparatus and an inspection object which show an example of a use of an appearance inspection apparatus in an example of an invention. 発明の実施例における外観検査装置の用途の一例における外観検査の処理の流れを示すフロー図である。It is a flowchart which shows the flow of a process of the external appearance inspection in an example of the use of the external appearance inspection apparatus in the Example of invention.

本発明に係る物体の外観検査方法及びその装置の実施の形態について図を用いて説明する。まず、検査対象物として、複数の羽から成るタービンホイールなど回転対称形の物体を対象とした外観検査装置の実施の形態について説明する。   Embodiments of an object appearance inspection method and apparatus according to the present invention will be described with reference to the drawings. First, an embodiment of an appearance inspection apparatus that targets a rotationally symmetric object such as a turbine wheel composed of a plurality of wings as an inspection object will be described.

図2は本発明の実施例に係る回転対称形物体の外観検査装置の実施の形態を示す概念図である。本実施例における外観検査装置は、計測部1、A/D変換部2、信号処理部3、及び全体制御部9を備えている。   FIG. 2 is a conceptual diagram showing an embodiment of an appearance inspection apparatus for a rotationally symmetric object according to an embodiment of the present invention. The appearance inspection apparatus in the present embodiment includes a measurement unit 1, an A / D conversion unit 2, a signal processing unit 3, and an overall control unit 9.

計測部1は、1つ又は複数の照明部4a、4b及び1つ又は複数の検出部7a、7b、7cを備えている。照明部4aと4bとは互いに異なる照明条件(例えば照射角度、照明方位、照明波長、偏光状態の何れか一つ又は複数が異なる)の光を検査対象物5に照射することができる。照明部4a、4bの各々から出射される照明光により検査対象物5から夫々反射光6a、6bが発生し、該発生した反射光6a、6bの夫々を複数の検出部7a、7b、7cのうちの画像検出部7a、7bの夫々で光の強度分布として検出する。この検出された光の強度分布の夫々はA/D変換部2で増幅されてA/D変換され、信号処理部3に画像信号として入力される。   The measurement unit 1 includes one or more illumination units 4a and 4b and one or more detection units 7a, 7b, and 7c. The illumination units 4a and 4b can irradiate the inspection object 5 with light having different illumination conditions (for example, one or more of the irradiation angle, the illumination direction, the illumination wavelength, and the polarization state are different). Reflected light 6a, 6b is generated from the inspection object 5 by the illumination light emitted from each of the illuminating units 4a, 4b, and the generated reflected light 6a, 6b is generated by each of the plurality of detecting units 7a, 7b, 7c. The image detectors 7a and 7b detect the light intensity distribution. Each of the detected light intensity distributions is amplified and A / D converted by the A / D converter 2 and input to the signal processor 3 as an image signal.

検出部7cは被検査対象物5にレーザを照射し、検査対象物5上の照射位置と検出部7cまでの光路距離を三角測量の原理で計測し、出力する3次元変位検出部(レーザ変位計など)である。3次元変位検出部7cで検出して得られる光路距離データも画像検出部7a、7bで得られる光の強度信号とともにA/D変換部2でA/D変換され、信号処理部3に入力される。
信号処理部3は、3次元モデル生成部8−1、欠陥判定部8−2を備えている。まず、3次元モデル生成部8−1において、入力されるデジタル信号から被検査対象物5の3次元形状データ、及び2次元表面テクスチャデータを被検査対象物5の対応する位置で重ね合わせて3次元モデルを生成する。そして、欠陥判定部8−2により、生成された3次元モデルをあらかじめ保持されている3次元の良品基準と比較し、形状不良や、表面の微小凹凸、表面のテクスチャ不良などの欠陥部分を検出し、全体制御部9に出力する。
図2に示した構成では、反射光6a、6bは別々の検出部7a、7bで検出する実施の形態を示しているが、1つの検出部で共通に検出しても構わない。また、照明部4a、4b及び検出部7a、7bはそれぞれ2つに限定されるものではなく、1又は3つ以上であっても構わない。また、照明部4a、4bの数と検出部7a、7bの数は必ずしも同数である必要はない。
The detection unit 7c irradiates the inspection object 5 with a laser, measures the irradiation position on the inspection object 5 and the optical path distance to the detection unit 7c by the principle of triangulation, and outputs a three-dimensional displacement detection unit (laser displacement) Etc.). The optical path distance data obtained by detection by the three-dimensional displacement detector 7c is also A / D converted by the A / D converter 2 together with the light intensity signals obtained by the image detectors 7a and 7b, and input to the signal processor 3. The
The signal processing unit 3 includes a three-dimensional model generation unit 8-1 and a defect determination unit 8-2. First, the 3D model generation unit 8-1 superimposes the 3D shape data of the inspection object 5 and the 2D surface texture data on the corresponding position of the inspection object 5 from the input digital signal. Generate a dimensional model. Then, the defect determination unit 8-2 compares the generated three-dimensional model with a pre-stored three-dimensional good product standard, and detects defective portions such as shape defects, surface micro unevenness, and surface texture defects. And output to the overall control unit 9.
In the configuration shown in FIG. 2, the reflected light 6a, 6b is detected by the separate detectors 7a, 7b, but may be detected by a single detector. Further, the illumination units 4a and 4b and the detection units 7a and 7b are not limited to two, and may be one or three or more. Moreover, the number of the illumination parts 4a and 4b and the number of the detection parts 7a and 7b do not necessarily need to be the same number.

反射光6a及び反射光6bの夫々は、各々照明部4a及び4bに対応して発生する反射光分布を指す。照明部4aによる照明光の光学条件と照明部4bによる照明光の光学条件が異なれば、各々によって発生する反射光6aと反射光6bは互いに異なる。本実施例において、ある照明光によって発生した反射光の光学的性質およびその特徴を、その反射光の反射光分布と呼ぶ。反射光分布とは、より具体的には、反射光の出射位置・出射方位・出射角度に対する、強度・振幅・位相・偏光・波長・コヒーレンシ等の光学パラメータ値の分布を指す。   Each of the reflected light 6a and the reflected light 6b indicates a reflected light distribution generated corresponding to each of the illumination units 4a and 4b. If the optical condition of the illumination light by the illumination unit 4a and the optical condition of the illumination light by the illumination unit 4b are different, the reflected light 6a and the reflected light 6b generated by each differ from each other. In this embodiment, the optical properties and characteristics of the reflected light generated by a certain illumination light are referred to as the reflected light distribution of the reflected light. More specifically, the reflected light distribution refers to a distribution of optical parameter values such as intensity, amplitude, phase, polarization, wavelength, and coherency with respect to the emission position, emission direction, and emission angle of the reflected light.

次に、図2に示す構成を実現する具体的な外観検査装置の一実施の形態としてのブロック図を図1に示す。即ち、本実施例に係る外観検査装置は、検査対象物5(例えば、ドリルの刃などの試料)に対して照明光を照射する複数の照明部4a、4bと、検査対象物5からの反射光を結像させる画像検出部7a、この画像検出部7aとは異なる角度で検査対象物5からの反射光を結像させる画像検出部7bと、検査対象物5までの距離を計測するレーザ変位計を備えた3次元変位検出部7c、それぞれの検出部より得られた光学像を増幅してA/D変換するA/D変換部2と、信号処理部3と、全体制御部9とを備えて構成される。   Next, FIG. 1 shows a block diagram as an embodiment of a specific appearance inspection apparatus for realizing the configuration shown in FIG. That is, the appearance inspection apparatus according to the present embodiment includes a plurality of illumination units 4a and 4b that irradiate the inspection object 5 (for example, a sample such as a drill blade) with illumination light, and reflection from the inspection object 5. An image detection unit 7a that forms an image of light, an image detection unit 7b that forms an image of reflected light from the inspection object 5 at an angle different from that of the image detection unit 7a, and a laser displacement that measures the distance to the inspection object 5 A three-dimensional displacement detector 7c provided with a meter, an A / D converter 2 for amplifying an optical image obtained from each detector, and A / D converting, a signal processor 3, and an overall controller 9. It is prepared for.

検査対象物5はXY平面内の移動及び回転とXY平面に垂直なZ方向への移動、及びXZ平面内の回転が可能なステージ(X−Y−Z−θ−Rステージ)101に搭載され、X−Y−Z−θ−Rステージ101はメカニカルコントローラ10により駆動される。このとき、検査対象物5をX−Y−Z−θ−Rステージ101にワークチャック103で固定して搭載し、X、Y、Z方向のいずれかに並行に移動させつつ、θ回転、もしくはR回転させて検査対象物5からの反射光を検出することで、検査対象物5の表面全体の反射光強度分布を二次元画像(テクスチャ情報)として得ると同時に、表面変位を三次元の表面凹凸情報として得る。検査対象物5全体を網羅して、表面テクスチャ及び、凹凸情報を得るためのステージ制御はメカニカルコントローラ10によって行う。   The inspection object 5 is mounted on a stage (XYZ-θ-R stage) 101 that can move and rotate in the XY plane, move in the Z direction perpendicular to the XY plane, and rotate in the XZ plane. The XYZ-θ-R stage 101 is driven by the mechanical controller 10. At this time, the inspection object 5 is fixedly mounted on the XYZ-θ-R stage 101 with the work chuck 103 and moved in parallel in any of the X, Y, and Z directions while rotating θ, or By detecting the reflected light from the inspection object 5 by rotating it R, the reflected light intensity distribution of the entire surface of the inspection object 5 is obtained as a two-dimensional image (texture information). Obtained as unevenness information. The mechanical controller 10 performs stage control for obtaining the surface texture and unevenness information covering the entire inspection object 5.

照明部4a、4bの各照明光源は、レーザを用いても、ランプを用いてもよい。また、各照明光源の光の波長は短波長であってもよく、また、広帯域の波長の光(白色光)であってもよい。照明条件(例えば照射角度、照明方位、照明波長、偏光状態等)はユーザにより選択、もしくは自動選択される。
画像検出部7a、7bも同様に、検出条件(例えば検出方位角、検出仰角など)をユーザが設定できる。
画像検出部7a、7bは、1次元イメージセンサ(CCDリニアセンサ)、もしくは、複数の1次元イメージセンサを2次元に配列して構成したCCDエリアセンサなどを採用し、X−Y−Z−θ−Rステージ101の移動・回転と同期してイメージセンサでR回転しながらY軸方向に一致の速度で移動している対象物5からの反射光分布を検出し、2次元画像を得る。画像検出部7a、7bは光学フィルタ71a、71b、すなわちNDフィルタやアッテネータ等の光強度を調整が可能な光学素子、あるいは偏光板や偏光ビームスプリッタや波長板等の偏光光学素子、あるいはバンドパスフィルタやダイクロイックミラー等の波長フィルタの何れか又はそれらを組み合わせたものを含み、検出光の光強度、偏光特性、波長特性の何れか又はそれらを組み合わせて制御する。
Each illumination light source of the illumination units 4a and 4b may use a laser or a lamp. Moreover, the wavelength of the light of each illumination light source may be a short wavelength, or may be light with a broad wavelength (white light). Illumination conditions (for example, irradiation angle, illumination azimuth, illumination wavelength, polarization state, etc.) are selected or automatically selected by the user.
Similarly, in the image detection units 7a and 7b, the user can set detection conditions (for example, a detection azimuth angle and a detection elevation angle).
The image detection units 7a and 7b employ a one-dimensional image sensor (CCD linear sensor) or a CCD area sensor configured by two-dimensionally arranging a plurality of one-dimensional image sensors, and XYZ-θ. -A two-dimensional image is obtained by detecting the reflected light distribution from the object 5 moving at the same speed in the Y-axis direction while rotating R by the image sensor in synchronization with the movement / rotation of the R stage 101. The image detection units 7a and 7b are optical filters 71a and 71b, that is, optical elements capable of adjusting light intensity such as ND filters and attenuators, polarizing optical elements such as polarizing plates, polarizing beam splitters, and wave plates, or bandpass filters. Or any combination of wavelength filters such as dichroic mirrors, or a combination thereof, and controls any one or a combination of the light intensity, polarization characteristics, and wavelength characteristics of the detection light.

信号処理部3は検査対象物5の不良を検出するものであって、画像検出部7a、7b、3次元変位検出部7cから入力された信号から検査対象物5の3次元モデルを生成する3次元モデル生成部8−1と、生成した3次元モデルをあらかじめ入力してある良品基準と照合することにより、形状不良や表面微小凹凸、表面テクスチャ不良などを検出して全体制御部9に出力する欠陥判定部8−2で構成される。そして、信号処理部3において例えば欠陥判定部8−2はデータベースを接続して構成される。   The signal processing unit 3 detects a defect of the inspection object 5, and generates a three-dimensional model of the inspection object 5 from signals input from the image detection units 7a and 7b and the three-dimensional displacement detection unit 7c. By comparing the generated three-dimensional model with the non-defective product standard input in advance, the three-dimensional model generation unit 8-1 detects a shape defect, a surface minute unevenness, a surface texture defect, and the like, and outputs them to the overall control unit 9. It is comprised by the defect determination part 8-2. In the signal processing unit 3, for example, the defect determination unit 8-2 is configured by connecting a database.

更に詳しくは、3次元モデル生成部8−1は、画像検出部7aと7bとから入力した画像信号を統合する画像統合処理部301と、3次元変位検出部7cから入力された3次元形状計測データから3次元形状(立体形状)を復元する3次元形状復元処理部302と、画像統合処理部301で統合した画像と3次元形状復元処理部302で復元された3次元形状とを連結させて重ね合わせて3次元形状データを作成する連結処理部303とを備えている。また、欠陥判定部8−2は連結処理部303で連結処理された3次元形状データと記憶装置12に記憶されている良品基準データとを照合して不良を抽出する照合処理部304を備えている。   More specifically, the three-dimensional model generation unit 8-1 includes an image integration processing unit 301 that integrates image signals input from the image detection units 7a and 7b, and a three-dimensional shape measurement input from the three-dimensional displacement detection unit 7c. A three-dimensional shape restoration processing unit 302 that restores a three-dimensional shape (three-dimensional shape) from data, and an image integrated by the image integration processing unit 301 and a three-dimensional shape restored by the three-dimensional shape restoration processing unit 302 are connected. And a connection processing unit 303 that superimposes and generates three-dimensional shape data. In addition, the defect determination unit 8-2 includes a matching processing unit 304 that collates the three-dimensional shape data connected by the connection processing unit 303 with the good product reference data stored in the storage device 12 and extracts defects. Yes.

全体制御部9は、各種制御を行うCPU(全体制御部9に内蔵)を備え、ユーザからのパラメータなどを受け付け、生成された被検査対象物の3次元モデルや検出された不良部分等を表示する表示手段と入力手段を持つユーザインターフェース部(GUI部)11及び信号処理部3で処理されたモデル、良品基準モデル等を記憶する記憶装置12を適宜接続している。また、信号処理部3、照明部4a、4b、画像検出部7a、7b、3次元変位検出部7c、メカニカルコントローラ10等も全体制御部9からの指令により駆動される。   The overall control unit 9 includes a CPU (incorporated in the overall control unit 9) that performs various controls, accepts parameters from the user, and displays the generated three-dimensional model of the object to be inspected, detected defective portions, and the like. A user interface unit (GUI unit) 11 having a display unit and an input unit and a storage device 12 for storing a model processed by the signal processing unit 3, a good product reference model, and the like are appropriately connected. Further, the signal processing unit 3, the illumination units 4 a and 4 b, the image detection units 7 a and 7 b, the three-dimensional displacement detection unit 7 c, the mechanical controller 10, and the like are also driven by commands from the overall control unit 9.

検査対象物5は、ここでは、回転対称形(ある軸対称で、同じ形状の部品から構成される、図1に示した構成では、Y軸に対して回転対象)をしている。全体制御部9は検査対象物5をX−Y−Z−θ−Rステージ101のR軸回転駆動部102でワークチャック103をY軸周りに回転(R回転)させながらX−Y−Z−θ−Rステージ101によりY軸方向に連続的に移動させ、これに同期して、表面テクスチャを画像検出部7a、7bより、また、表面変位を3次元変位検出部7cより取り込み、得られた2種の反射光(6a、6b)の画像、及び、3次元形状計測データから外観不良を検出する。   Here, the inspection object 5 has a rotationally symmetric shape (a certain axial symmetry and is composed of parts having the same shape. In the configuration shown in FIG. 1, the inspection object 5 is a rotational object with respect to the Y axis). The overall control unit 9 rotates the work chuck 103 around the Y axis (R rotation) by the R axis rotation drive unit 102 of the XYZ-θ-R stage 101 for the inspection object 5 XYZ-. It was obtained by continuously moving the surface texture in the Y-axis direction by the θ-R stage 101 and synchronizing the surface texture from the image detectors 7a and 7b and the surface displacement from the three-dimensional displacement detector 7c. An appearance defect is detected from the images of the two types of reflected light (6a, 6b) and the three-dimensional shape measurement data.

次に、信号処理部3における処理の流れの一例を説明する。図3は、検査対象物5に対し、X−Y−Z−θ−Rステージ101で検査対象物5をR回転させながらY軸方向に走査することにより画像検出部7a、7b、及び3次元変位検出部7cから得られるデジタル信号(画像31、画像32、表面変位33)を入力とし、不良部分を検出する信号処理部3の基本的な処理を示す。入力される画像31、32、表面変位33のうち、画像31と画像32は、1つ又は2つ以上の異なる照明条件と、1つ又は2つ以上の異なる方位角・仰角の組み合わせで撮像された画像である。このため、検査対象物5の表面の微小なキズ(凹凸)、しみや汚れ(テクスチャ)の強調度合い、すなわち見え方は画像31と画像32では異なる。このため、まず、 3次元モデル生成部8−1において、得られた2枚の画像31と32を画像統合処理部301で統合する。   Next, an example of a processing flow in the signal processing unit 3 will be described. FIG. 3 illustrates the image detection units 7 a and 7 b and the three-dimensional image by scanning the inspection target 5 in the Y-axis direction while rotating the inspection target 5 R on the XYZ-θ-R stage 101. A basic process of the signal processing unit 3 that detects a defective portion by using a digital signal (image 31, image 32, surface displacement 33) obtained from the displacement detection unit 7c as an input is shown. Of the input images 31 and 32 and the surface displacement 33, the image 31 and the image 32 are captured with one or more different illumination conditions and one or more different azimuth and elevation angle combinations. It is an image. For this reason, the image 31 and the image 32 are different in the degree of emphasis, that is, the appearance of minute scratches (irregularities), stains and dirt (textures) on the surface of the inspection object 5. Therefore, first, in the three-dimensional model generation unit 8-1, the obtained two images 31 and 32 are integrated by the image integration processing unit 301.

統合方法は各種あるが、その一例を挙げると、(1)平均、(2)論理積、(3)論理和、(4)近傍領域内の標準偏差の大きい方の画素の明るさ、などがある。画像31、32の対応する各画素(x、y)の明るさをそれぞれ、f(x、y)、g(x、y)とすると、統合画像h(x、y)はそれぞれ以下の式で算出される。
平均 :h(x、y)={f(x、y)+g(x、y)}/2 ・・・(数1)
論理積:h(x、y)=minimun{f(x、y)、g(x、y)} ・・・(数2)
論理和:h(x、y)=maximun{f(x、y)、g(x、y)} ・・・(数3)
標準偏差:if(σf>σg) h(x、y)=f(x、y) ・・・(数4)
else h(x、y)=g(x、y)
ただし、 σf =[Σ{f(x+i、y+j)}−{Σf(x+i、y+j)}/(N×N)]/(N×N−1) i、j=0、1、・・N−1(σgも同様)
統合方法は上記以外にも、ノイズの出方などに応じて様々な演算をすることができる。当然、統合処理を行わず、画像31、32のいずれかの画像のみをこの後の処理に使用してもよいし、3枚以上の画像を統合してもよい。
There are various integration methods. For example, (1) average, (2) logical product, (3) logical sum, and (4) brightness of the pixel with the larger standard deviation in the vicinity region. is there. Assuming that the brightness of each corresponding pixel (x, y) of the images 31 and 32 is f (x, y) and g (x, y), the integrated image h (x, y) Calculated.
Average: h (x, y) = {f (x, y) + g (x, y)} / 2 (Expression 1)
Logical product: h (x, y) = minimun {f (x, y), g (x, y)} (Expression 2)
OR: h (x, y) = maximun {f (x, y), g (x, y)} (Equation 3)
Standard deviation: if (σ f > σ g ) h (x, y) = f (x, y) (Expression 4)
else h (x, y) = g (x, y)
However, σ f = [Σ {f (x + i, y + j) 2 } − {Σf (x + i, y + j)} 2 / (N × N)] / (N × N−1) i, j = 0, 1 ..N-1 (same for σ g )
In addition to the above, the integration method can perform various calculations depending on how noise is generated. Naturally, without performing the integration process, only one of the images 31 and 32 may be used for the subsequent processing, or three or more images may be integrated.

一方、信号処理部3の3次元形状復元処理部302は、3次元変位検出部7cから得られる3次元形状計測データ(表面変位33)と、全体制御部9を介して入力したステージコントローラ10によりR軸回転駆動部102を駆動して検査対象物5をY軸周りに回転(R回転)させた回転情報を用いて検査対象物5の検査領域の3次元形状(立体形状)35を復元する
次に、画像統合処理部301で生成した統合画像34と3次元形状復元処理部302で復元した検査対象物5の検査領域の3次元形状35を連結処理部303において連結する。これにより、検査対象物5のデジタル信号から3次元モデル36を生成する。
On the other hand, the three-dimensional shape restoration processing unit 302 of the signal processing unit 3 uses the three-dimensional shape measurement data (surface displacement 33) obtained from the three-dimensional displacement detection unit 7c and the stage controller 10 input via the overall control unit 9. The three-dimensional shape (three-dimensional shape) 35 of the inspection region of the inspection object 5 is restored using rotation information obtained by driving the R-axis rotation driving unit 102 to rotate the inspection object 5 around the Y axis (R rotation). Next, the integrated processing unit 303 connects the integrated image 34 generated by the image integration processing unit 301 and the three-dimensional shape 35 of the inspection area of the inspection object 5 restored by the three-dimensional shape restoration processing unit 302. Thereby, the three-dimensional model 36 is generated from the digital signal of the inspection object 5.

次に、欠陥判定部8−2において、生成された3次元モデル36とあらかじめ記憶装置12に保持してある良品基準37を読み出して照合部304において照合し、良品基準37と差異が大きい部分を不良部分として抽出する。   Next, in the defect determination unit 8-2, the generated three-dimensional model 36 and the non-defective product standard 37 previously stored in the storage device 12 are read out and collated in the collation unit 304, and a portion having a large difference from the non-defective product standard 37 is detected. Extract as a defective part.

図4は、連結処理部303で行われる処理の流れの一例である。2つの細い溝がある対象に対し、40は3次元形状復元処理部302で復元した検査対象物5の検査領域の3次元形状(図3の3次元形状35に相当)のデータである。41は画像統合処理部301で生成した表面テクスチャの統合画像(図3の統合画像34に相当)である。連結処理の対象となるデータ間の対応位置は、図1の検出部71a、71b、71cの位置関係と解像度などから既知であるが、実際には検査対象物5の回転偏心が生じる可能性がある。また、X−Y−Z−θ−Rステージ101のゆらぎなど(ヨーイング及び/又はピッチング)も生じる可能性があり、データを取得した段階で、既知の対応位置に対して、ずれが生じている可能性がある。このため、画像統合処理部301においては、3次元形状データ40と統合画像41の間で位置の照合を行い、精密な位置合せを行う。   FIG. 4 is an example of the flow of processing performed by the connection processing unit 303. For an object having two narrow grooves, 40 is data of the three-dimensional shape (corresponding to the three-dimensional shape 35 in FIG. 3) of the inspection region of the inspection object 5 restored by the three-dimensional shape restoration processing unit 302. Reference numeral 41 denotes an integrated image of the surface texture generated by the image integration processing unit 301 (corresponding to the integrated image 34 in FIG. 3). Corresponding positions between the data to be connected are known from the positional relationship and resolution of the detectors 71a, 71b, 71c in FIG. 1, but in reality, there is a possibility that the rotational eccentricity of the inspection object 5 may occur. is there. Further, fluctuations (yawing and / or pitching) of the XYZ-θ-R stage 101 may occur, and a deviation occurs with respect to a known corresponding position at the stage of acquiring data. there is a possibility. For this reason, in the image integration processing unit 301, position matching is performed between the three-dimensional shape data 40 and the integrated image 41 to perform precise alignment.

図4に示した処理の流れに沿って説明する。まず、3次元形状データ40、統合画像41から位置の照合のための1つ以上の特徴量を算出する(S401、S402)。特徴量の算出方法はS401とS402で同じであっても、異なっていてもよい。その一例として、S401においては、各(x、y)座標位置でのz値の近傍(x、y)位置に対する変化量を特徴とし、S402においては、xy座標内での近傍位置での明るさの微分値を特徴とするなどである。   A description will be given along the flow of processing shown in FIG. First, one or more feature quantities for position matching are calculated from the three-dimensional shape data 40 and the integrated image 41 (S401, S402). The feature amount calculation method may be the same or different in S401 and S402. As an example, S401 is characterized by the amount of change of the z value at each (x, y) coordinate position with respect to the vicinity (x, y) position, and in S402, the brightness at the nearby position in the xy coordinates. It is characterized by the differential value of.

次に、算出されたxy座標位置での特徴量について、3次元形状データ40と統合画像41の間の一致度を、一方のデータをx方向、y方向それぞれにシフトしながら評価し、一致度が最も高くなったときのそれぞれのシフト量を3次元形状データ40と統合画像41の間のずれ量とする(S403)。一致度の評価値の代表的なものとしては、正規化相関がある。そして、算出されたx、y座標のずれを補正し、データの重ね合せを行う(S404)。42は、3次元形状データ40と統合画像41を重ね合わせて生成した3次元モデル(図3の3次元モデル35に相当)の例である。この3次元モデル42は、表面テクスチャ情報をもつ統合画像41に、3次元形状データ40の高さ情報を付加して生成したものである。   Next, the degree of coincidence between the three-dimensional shape data 40 and the integrated image 41 is evaluated for the feature quantity at the calculated xy coordinate position while shifting one data in each of the x direction and the y direction. Each shift amount when the value becomes the highest is set as a shift amount between the three-dimensional shape data 40 and the integrated image 41 (S403). A typical evaluation value for the degree of coincidence is normalized correlation. Then, the calculated deviation of the x and y coordinates is corrected, and the data is superimposed (S404). Reference numeral 42 denotes an example of a three-dimensional model (corresponding to the three-dimensional model 35 in FIG. 3) generated by superimposing the three-dimensional shape data 40 and the integrated image 41. The three-dimensional model 42 is generated by adding height information of the three-dimensional shape data 40 to the integrated image 41 having surface texture information.

図5は、欠陥判定部8−2の内部の照合処理部304で行われる、照合処理の流れの一例である。3次元モデル42は図4で説明した3次元モデル生成部8−1で生成した検査対象物5の3次元モデル(図3の3次元モデル35に相当)、50は事前に記憶装置12から入力済みの良品基準(図3の良品基準36に相当)である。ここでは、良品基準50は、設計データである。   FIG. 5 is an example of the flow of collation processing performed by the collation processing unit 304 inside the defect determination unit 8-2. The three-dimensional model 42 is a three-dimensional model (corresponding to the three-dimensional model 35 in FIG. 3) of the inspection object 5 generated by the three-dimensional model generation unit 8-1 described in FIG. 4, and 50 is input from the storage device 12 in advance. This is a finished good standard (corresponding to the good standard 36 in FIG. 3). Here, the non-defective product standard 50 is design data.

まず、検査対象物5の3次元モデル42、良品基準50の各3次元座標位置での特徴量を算出する(S501、S502)。特徴量の一例としては、表面変位の近傍位置に対する勾配や表面の曲率などがある。そして、S501、S502より算出された、3次元モデル42と良品基準50との特徴量の一致度を、一方のデータをx、y、z方向それぞれにシフトしながら評価し、特徴量の一致度が最も高くなったときのx、y、z方向各々のシフト量を3次元モデル42と良品基準50の間のx、y、z方向のずれ量とする(S503)。一致度の評価値の代表的なものとしては、正規化相関がある。そして、算出されたx、y、z座標のずれを補正して、3次元モデル42と良品基準50の対応する座標点におけるデータの重ね合せを行う(S504)。   First, feature quantities at the three-dimensional coordinate positions of the three-dimensional model 42 and the non-defective product reference 50 of the inspection object 5 are calculated (S501, S502). Examples of the feature amount include a gradient with respect to a position near the surface displacement and a curvature of the surface. Then, the degree of coincidence between the feature amounts of the three-dimensional model 42 and the non-defective product standard 50 calculated from S501 and S502 is evaluated while shifting one data in the x, y, and z directions, respectively. The amount of shift in each of the x, y, and z directions when becomes the highest is taken as the amount of shift in the x, y, and z directions between the three-dimensional model 42 and the non-defective product reference 50 (S503). A typical evaluation value for the degree of coincidence is normalized correlation. Then, the deviation of the calculated x, y, and z coordinates is corrected, and the data at the corresponding coordinate points of the three-dimensional model 42 and the non-defective product reference 50 is superposed (S504).

次に、重ね合わせた3次元モデル42と良品基準50との輪郭座標の差と、対応する輪郭位置の明るさの差を演算する(S505)。そして、算出された差の値と予め設定されたしきい値とを比較し、輪郭の座標位置の差がしきい値より大きい箇所を形状欠陥、明るさの差がしきい値より大きい箇所をしみ、汚れ、微小キズなどの表面欠陥と判定する欠陥判定を行う(S506)。この欠陥判定(S506)の結果は、全体制御部9へ送られる。   Next, a difference in contour coordinates between the superimposed three-dimensional model 42 and the non-defective product standard 50 and a difference in brightness between corresponding contour positions are calculated (S505). Then, the calculated difference value is compared with a preset threshold value, and a point where the difference in the coordinate position of the contour is larger than the threshold value is determined as a shape defect, and a point where the brightness difference is larger than the threshold value. Defect determination is performed to determine surface defects such as stains, dirt, and minute scratches (S506). The result of the defect determination (S506) is sent to the overall control unit 9.

ここで、正常として許容する範囲、もしくは欠陥として検出する基準は、検査対象物体の部位により異なることがある。このため、しきい値は場所により異なる値を設定可能とする。図6は部位毎に異なるしきい値を適用した欠陥判定処理の概念図の一例である。簡単のため、2次元のモデルから形状欠陥を検出する例を示す。   Here, the range that is permitted as normal or the reference that is detected as a defect may differ depending on the part of the inspection target object. For this reason, the threshold value can be set differently depending on the location. FIG. 6 is an example of a conceptual diagram of a defect determination process in which different threshold values are applied to each part. For simplicity, an example in which a shape defect is detected from a two-dimensional model is shown.

図6において、61は検査対象物の輪郭を示す図、60はその設計データなどの良品基準の輪郭を示す図である。62は検査対象物の輪郭線図61と良品基準の輪郭線図60の位置の照合を行い、2次元座標上で検査対象物61と良品基準60を重ね合わせた結果である。破線621が良品基準60の外観形状の輪郭、実線622が検査対象物61の外観形状の輪郭である。63、64、65が輪郭の座標位置のずれが大きかった箇所である。66は良品基準60に対するしきい値幅を示したしきい値線図であり、破線67が良品基準60の外観形状の輪郭、その外側の実線68及び内側の実線69がしきい値で、検査対象物の輪郭61が実線68よりも外側、もしくは実線69よりも内側になった箇所を形状不良、実線68と69の間にあれば正常と判定する。しきい値線図66の例では、鋭角になっている部分(例えば661、662、663など)では正常範囲が狭くなっており、わずかな輪郭のずれであっても形状不良として検出することになる。輪郭のずれが大きかった箇所63、64、65をしきい値線図66と比較した場合、正常としての許容範囲が狭い鋭角部にある63、65は欠陥として検出され、64は欠陥にはならない。   In FIG. 6, 61 is a diagram showing the contour of the inspection object, and 60 is a diagram showing a non-defective standard contour such as the design data. 62 is a result of collating the positions of the contour diagram 61 of the inspection object and the contour diagram 60 of the non-defective product reference and superimposing the inspection target 61 and the good product reference 60 on the two-dimensional coordinates. The broken line 621 is the outline of the external shape of the non-defective product standard 60, and the solid line 622 is the outline of the external shape of the inspection object 61. 63, 64, and 65 are locations where the deviation of the coordinate position of the outline is large. 66 is a threshold line diagram showing the threshold width with respect to the non-defective product standard 60, the broken line 67 is the outline of the external shape of the good product standard 60, the solid line 68 on the outside and the solid line 69 on the inside are the threshold values, A portion where the contour 61 of the object is outside the solid line 68 or inside the solid line 69 is determined to be normal if it is defective in shape and between the solid lines 68 and 69. In the example of the threshold diagram 66, the normal range is narrow in the acute angle portions (for example, 661, 662, 663, etc.), and even a slight contour shift is detected as a shape defect. Become. When the points 63, 64, and 65 where the deviation of the outline is large are compared with the threshold diagram 66, 63 and 65 at the acute angle portion where the normal allowable range is narrow are detected as defects, and 64 does not become a defect. .

表面欠陥を検出する際のしきい値も同様に、部位毎の設定が可能である。図7は部位毎に異なるしきい値を適用した欠陥判定処理の概念図の一例である。簡単のため、2次元のモデルから表面欠陥を検出する例を示す。71は検査対象物の表面状態を表す図、70はその良品基準の表面状態を表す図である。検査対象物の表面状態を表す71は統合画像34から得られた表面テクスチャ情報、良品基準の表面状態を表す70は欠陥のない表面テクスチャ情報である。72は検査対象物の表面状態を表す71と良品基準の表面状態を表す70の位置の照合を行って2次元座標上で検査対象物の表面状態を表す71と良品基準の表面状態を表す70のテクスチャ情報(例えば、各画素の明るさ)の差を演算した結果を示す図である。このテクスチャ情報の差を演算した結果を表す72において、73、74はテクスチャ情報の差が大きかった箇所で、74は73よりも差が大きい。75は良品基準の表面状態を表す70に対するしきい値幅を示したしきい値線図であり、縞ハッチで示した鋭角になっている領域76、77、78、79のしきい値は中央付近750のしきい値に比べて低い状態を示している。   Similarly, the threshold for detecting a surface defect can be set for each part. FIG. 7 is an example of a conceptual diagram of defect determination processing in which different threshold values are applied to each part. For simplicity, an example in which a surface defect is detected from a two-dimensional model is shown. 71 is a view showing the surface state of the inspection object, and 70 is a view showing the surface state of the non-defective product standard. 71 representing the surface state of the inspection object is surface texture information obtained from the integrated image 34, and 70 representing the surface state based on the non-defective product is surface texture information having no defect. 72 indicates the surface state of the inspection target object 71 and the position 70 of the non-defective product reference surface state 70 are collated, and the two-dimensional coordinates 71 indicate the surface state of the inspection target object and the non-defective product standard surface state 70. It is a figure which shows the result of having calculated the difference of the texture information (for example, the brightness of each pixel). In 72 representing the result of calculating the difference of the texture information, 73 and 74 are portions where the difference of the texture information is large, and 74 is larger than 73. 75 is a threshold value diagram showing the threshold width with respect to 70 representing the surface state of the non-defective product, and the threshold values of the regions 76, 77, 78, 79 having sharp angles indicated by the stripe hatching are near the center. The state is lower than the threshold value of 750.

そして、検査対象物の表面状態を表す71と良品基準の表面状態を表す70のテクスチャ情報の差を示す図72において、しきい値線図75に示したしきい値以上の箇所を汚れ、しみ、微小なキズなどの表面不良、しきい値よりも小さい箇所を正常と判定する(数5)。
if f(x、y)≧th(x、y) then 欠陥 ・・・(数5)
if f(x、y)<th(x、y) then 正常
f(x、y)は各座標のテクスチャ情報の差
th(x、y)は各座標のしきい値
つまり、しきい値線図75の例では、テクスチャ情報の差がわずかであっても表面不良として検出することになる。テクスチャ情報の差を示す72において差の大きかった領域73、74をしきい値線図75と比較した場合、正常としての許容範囲が低い鋭角部にある領域73は欠陥として検出され、中央部付近の領域74は欠陥にはならない。
Then, in FIG. 72 showing the difference between the texture information of 71 representing the surface state of the inspection object and 70 representing the surface state of the non-defective product, the portion above the threshold shown in the threshold diagram 75 is stained and stained. Surface defects such as minute flaws, and portions smaller than the threshold value are determined to be normal (Equation 5).
if f (x, y) ≧ th (x, y) then defect ・ ・ ・ (Equation 5)
if f (x, y) <th (x, y) then normal
f (x, y) is the difference in texture information for each coordinate
th (x, y) is the threshold value of each coordinate
That is, in the example of the threshold diagram 75, even if the texture information difference is slight, it is detected as a surface defect. When the areas 73 and 74 having a large difference in the texture information difference 72 are compared with the threshold diagram 75, the area 73 in the acute angle portion having a low normal tolerance is detected as a defect, and the vicinity of the center portion. This region 74 does not become a defect.

しきい値線図66、しきい値線図75といった領域毎に異なるしきい値は、ユーザが事前に手入力して設定することも可能であるが、良品基準からの許容誤差として設計データから生成して設定することも可能である。また、過去の外観検査データに基づき、統計的に設定することもできる。例えば、重要な欠陥が過去に多発している領域や検出不要なノイズが発生しやすい領域などは、過去のデータを集計すれば既知である。そこで、重要な欠陥やノイズの発生確率を算出し、それに応じて、例えば、しきい値線図66又はしきい値線図75上で、重要欠陥の発生確率が高い領域はしきい値を低く、ノイズの発生確率が高い領域はしきい値を高く自動設可能である。なお、個々に設定可能なしきい値領域の最小単位は画素である。   Threshold values that differ from region to region, such as threshold diagram 66 and threshold diagram 75, can be set manually by the user in advance. It can also be generated and set. It can also be set statistically based on past appearance inspection data. For example, an area where important defects have frequently occurred in the past and an area where noise that is unnecessary for detection is likely to occur are known if past data are aggregated. Therefore, the probability of occurrence of important defects and noise is calculated, and accordingly, for example, on the threshold value diagram 66 or threshold value diagram 75, the region where the probability of occurrence of important defects is high lowers the threshold value. In a region where the probability of occurrence of noise is high, the threshold value can be set automatically. The minimum unit of threshold regions that can be set individually is a pixel.

以上の説明では、図5に示した欠陥判定処理S506は、外観形状の輪郭(すなわち3次元変位)から形状欠陥を、画像(すなわち2次元テクスチャ)から表面欠陥をそれぞれ独立で抽出することを示したが、同時に算出することも可能である。図8にその処理の流れの一例を示す。   In the above description, the defect determination process S506 shown in FIG. 5 indicates that the shape defect is extracted independently from the outline of the outer shape (that is, three-dimensional displacement), and the surface defect is extracted independently from the image (that is, two-dimensional texture). However, it is also possible to calculate at the same time. FIG. 8 shows an example of the processing flow.

図8において、80は表面に凹凸のある回転対称系の検査対象物の表面テクスチャ画像(図3の統合画像処理部301で生成された統合画像34に相当)であり、ステージ走査により検査対象物の表面を小領域毎に画像検出部7a又は7bで撮像し、それらをつなぎ合せて生成した展開画像である。   In FIG. 8, reference numeral 80 denotes a surface texture image (corresponding to the integrated image 34 generated by the integrated image processing unit 301 in FIG. 3) of a rotationally symmetric inspection object having an uneven surface. Is a developed image generated by imaging the surface of each of the small areas with the image detection unit 7a or 7b and connecting them.

本実施の形態では、表面テクスチャ画像80のような、検査対象物5の展開図を生成して保持することもできる。81は3次元変位検出部7cで検出した検査対象物5の表面の凹凸情報から3次元形状復元処理部302で復元した検査対象物5の3次元形状を示す図である。82は図1に示した連結処理部303にて表面テクスチャ画像80と3次元形状を示す図81との位置を照合して表面テクスチャ画像80の統合画像の展開図(x、y)座標に被検査対象物5の3次元形状を示す図81の高さ情報z座標を付加した3次元展開モデルである。これは図3の3次元モデル35に相当する。   In the present embodiment, a development view of the inspection object 5 such as the surface texture image 80 can be generated and held. 81 is a diagram showing the three-dimensional shape of the inspection object 5 restored by the three-dimensional shape restoration processing unit 302 from the unevenness information on the surface of the inspection object 5 detected by the three-dimensional displacement detection unit 7c. 82, the connection processing unit 303 shown in FIG. 1 collates the positions of the surface texture image 80 and FIG. 81 showing the three-dimensional shape, and applies the development image (x, y) coordinates of the integrated image of the surface texture image 80. 81 is a three-dimensional development model to which the height information z-coordinate of FIG. 81 showing the three-dimensional shape of the inspection object 5 is added. This corresponds to the three-dimensional model 35 of FIG.

一方、3次元展開モデル82に対応する良品の3次元展開モデルである良品基準83を予め作成しておいて、記憶装置12に記憶しておく。これらに対し、図5で示した例と同様に、照合処理部304において、3次元モデル82と良品基準83のそれぞれについて特徴量を抽出し(S801、S802)、この抽出したそれぞれの特徴量の一致度を評価し(S803)、3次元モデル82と良品基準83の位置の照合を行う(S804)。   On the other hand, a non-defective product reference 83 that is a non-defective three-dimensional developed model corresponding to the three-dimensional developed model 82 is created in advance and stored in the storage device 12. On the other hand, as in the example shown in FIG. 5, the matching processing unit 304 extracts feature amounts for each of the three-dimensional model 82 and the non-defective product reference 83 (S801, S802). The degree of coincidence is evaluated (S803), and the positions of the three-dimensional model 82 and the good product reference 83 are collated (S804).

次に、図8の処理例では、各点について、多次元ベクトル化を行う(S805)。これは、各(x、y)座標の画素において、テクスチャの特徴量を1つ又は複数個算出する。テクスチャの特徴量はその画素の特徴を表すものであればよい。その例としては、統合画像の明るさそのもの(f(x、y))、コントラスト(数6)、近傍画素の明るさ分散値(数7)、近傍画素との明るさの増減(数8)、2次微分値等がある。
コントラスト;max{f(x、y)、f(x+1、y)、f(x、y+1)、f(x+1、y+1)}
−min{f(x、y)、f(x+1、y)、f(x、y+1)、f(x+1、y+1)・・・(数6) 分散;[Σ{f(x+i、y+j)}−{Σf(x+i、y+j)}/M]/(M−1)
i、j=−1、0、1 M=9 ・・・(数7)
輝度増減分布(x方向);
If(f(x+i、y+j)−f(x+i+1、y+j)>0) then g(x+i、y+j)=1
else g(x+i、y+j)=0 ・・・(数8)
そして、算出した1つ又は複数の特徴、f1(x、y)、f2(x、y)、f3(x、y)・・とz座標値(変位情報)、更にその箇所でのしきい値Th(x、y)をその(x、y)座標位置の画素の特徴として、ベクトル化する(数9)。
座標(x、y)の特徴ベクトル V; V=(x、y、z、f1、f2、・・、Th) ・・・(数9)
そして、特徴ベクトルの各要素を特徴軸とする多次元特徴空間に各(x、y)座標の値をプロットする。良品基準83についても同様にプロットする。そして、多次元特徴空間にプロットされた良品基準83の特徴ベクトルの分布を正常部の分布とし、正常部の分布からの距離がしきい値Th(84)よりも大きい点を欠陥として検出する(S806)。多次元特徴量に基づく分類(欠陥/正常の2クラス分類)には各種識別器が用意されている。その代表として、SVM(サポートベクタマシン)、k最近傍識別器、Bayes識別器などがある。
Next, in the processing example of FIG. 8, multidimensional vectorization is performed for each point (S805). This calculates one or a plurality of texture feature quantities for each pixel at the (x, y) coordinates. The feature amount of the texture only needs to represent the feature of the pixel. For example, the brightness of the integrated image itself (f (x, y)), contrast (Equation 6), brightness dispersion value of neighboring pixels (Equation 7), increase / decrease in brightness with neighboring pixels (Equation 8) There are secondary differential values and the like.
Contrast: max {f (x, y), f (x + 1, y), f (x, y + 1), f (x + 1, y + 1)}
−min {f (x, y), f (x + 1, y), f (x, y + 1), f (x + 1, y + 1) (Equation 6) variance; [Σ { f (x + i, y + j) 2 } − {Σf (x + i, y + j)} 2 / M] / (M−1)
i, j = -1, 0, 1 M = 9 (Expression 7)
Luminance increase / decrease distribution (x direction);
If (f (x + i, y + j) −f (x + i + 1, y + j)> 0) then g (x + i, y + j) = 1
else g (x + i, y + j) = 0 (Equation 8)
Then, the calculated one or more features, f1 (x, y), f2 (x, y), f3 (x, y)... And the z coordinate value (displacement information), and the threshold value at that point Th (x, y) is vectorized as a feature of the pixel at the (x, y) coordinate position (Equation 9).
Feature vector V of coordinates (x, y); V = (x, y, z, f1, f2,..., Th) (Equation 9)
Then, the value of each (x, y) coordinate is plotted in a multidimensional feature space having each feature vector element as a feature axis. The non-defective product 83 is also plotted in the same manner. Then, the distribution of the feature vector of the non-defective product standard 83 plotted in the multidimensional feature space is set as a normal part distribution, and a point whose distance from the normal part distribution is larger than the threshold value Th (84) is detected as a defect ( S806). Various classifiers are prepared for classification (defect / normal two-class classification) based on multidimensional feature values. Typical examples include SVM (support vector machine), k nearest neighbor classifier, Bayes classifier, and the like.

これまで説明した、良品基準との照合による微小、かつ微弱信号の欠陥を検出するためには、良品基準と検査対象物の位置の照合が正確に行われる必要がある。位置の照合の一例を図9により説明する。   In order to detect a minute and weak signal defect by collation with the non-defective standard described above, it is necessary to accurately collate the non-defective standard with the position of the inspection object. An example of position verification will be described with reference to FIG.

図9の90は検査対象物の表面の一部のプロファイル、91は対応する良品基準の表面の一部のプロファイルである。検査対象物表面プロファイル90と良品基準表面プロファイル91の位置の照合について、本例では、検査対象物表面プロファイル90の各X座標において、Y方向のZ値断面プロファイル(図中のA−B間のZ値)を、良品基準表面プロファイル91のY方向のZ値断面プロファイル(図中のA’−B’間のZ値)をX軸方向に走査しながら比較し、照合する。これを検査対象物表面プロファイル90の各X座標で行う(Y方向のZ値断面プロファイル92のA1−B1、A2−B2、A3−B3、・・など)。そして、各X座標での両プロファイルの照合結果を集計(多数決をとるなど)し、検査対象物表面プロファイル90の良品基準表面プロファイル91に対するX方向の位置のずれ量を算出する。Y方向のずれ、Z方向のずれも同様にして算出し、x、y、z方向のずれ量を決定する。   90 in FIG. 9 is a partial profile of the surface of the inspection object, and 91 is a partial profile of the corresponding non-defective standard surface. Regarding the collation of the positions of the inspection object surface profile 90 and the non-defective product reference surface profile 91, in this example, the Z-value cross-sectional profile in the Y direction (between A and B in the figure) at each X coordinate of the inspection object surface profile 90. Z value) is compared and scanned while scanning the Z value cross-sectional profile in the Y direction (Z value between A ′ and B ′ in the figure) of the non-defective reference surface profile 91 in the X axis direction. This is performed at each X coordinate of the inspection object surface profile 90 (A1-B1, A2-B2, A3-B3,... Of the Z-value cross-sectional profile 92 in the Y direction). Then, the collation results of both profiles at each X coordinate are tabulated (for example, a majority decision is taken), and the amount of displacement of the position in the X direction with respect to the non-defective product reference surface profile 91 of the inspection object surface profile 90 is calculated. The deviation in the Y direction and the deviation in the Z direction are calculated in the same manner, and the deviation amounts in the x, y, and z directions are determined.

比較に使う良品基準は設計データであり、事前に設定されていることをこれまでの例で示したが、実際の対象物から生成することも可能である。図10は、図3で説明した良品基準として設計データを用いる信号処理部3に変えて、良品基準を実際の対象物から生成する機能を備えた信号処理部310の構成を示す。信号処理部310は、検査対象物5に対し、X−Y−Z−θ−Rステージ101の走査により画像検出部7a、7b、及び3次元変位検出部7cから得られるデジタル信号(画像31、画像32、変位33)を入力とし、不良部分を検出する。   The non-defective product standard used for comparison is design data, and it has been shown in the above examples that it is set in advance, but it can also be generated from an actual object. FIG. 10 shows a configuration of a signal processing unit 310 having a function of generating a non-defective product standard from an actual object, instead of the signal processing unit 3 using design data as the non-defective product standard described in FIG. The signal processing unit 310 performs digital signals (images 31 and 7) obtained from the image detection units 7 a and 7 b and the three-dimensional displacement detection unit 7 c on the inspection target 5 by scanning the XYZ-θ-R stage 101. Using the image 32 and the displacement 33) as input, a defective portion is detected.

信号処理部310は、画像検出部7a、7b、3次元変位検出部7cから入力された信号から検査対象物5の3次元モデルを生成すると共に良品基準100を生成する3次元モデル生成部80−1と、生成した3次元モデルと良品基準と照合することにより、形状不良や表面微小凹凸、表面テクスチャ不良などを検出して全体制御部9に出力する欠陥判定部80−2を備えて構成される。   The signal processing unit 310 generates a three-dimensional model of the inspection object 5 from the signals input from the image detection units 7a and 7b and the three-dimensional displacement detection unit 7c, and generates a non-defective product reference 100. 1 and a defect determination unit 80-2 that detects a shape defect, surface minute unevenness, surface texture defect, and the like by comparing the generated three-dimensional model with a good product standard and outputs the defect to the overall control unit 9. The

更に詳しくは、3次元モデル生成部80−1は、画像検出部7aと7bとから入力した画像31と32とを統合して統合画像34を作成する画像統合処理部311と、3次元変位検出部7cから入力された3次元形状計測データから3次元形状(立体形状)を復元する3次元形状復元処理部312と、画像統合処理部311で統合した画像と3次元形状復元処理部312で復元された3次元形状とを連結させて重ね合わせて3次元モデル36を作成する連結処理部313と、統合画像34と復元された3次元形状データ35とを用いて良品基準100を生成する良品生成処理部1001とを備えている。また、欠陥判定部80−2は連結処理部313で連結処理された3次元モデル36と良品生成処理部1001で生成された良品基準100とを照合して不良を抽出する照合処理部314を備えている。   More specifically, the three-dimensional model generation unit 80-1 integrates the images 31 and 32 input from the image detection units 7a and 7b to create an integrated image 34, and a three-dimensional displacement detection. A 3D shape restoration processing unit 312 that restores a 3D shape (three-dimensional shape) from the 3D shape measurement data input from the unit 7 c, and an image integrated by the image integration processing unit 311 and a 3D shape restoration processing unit 312. The non-defective product generation for generating the non-defective product reference 100 using the connection processing unit 313 that connects and superimposes the generated three-dimensional shapes to create the three-dimensional model 36, and the integrated image 34 and the restored three-dimensional shape data 35. And a processing unit 1001. Further, the defect determination unit 80-2 includes a matching processing unit 314 that collates the three-dimensional model 36 connected by the connection processing unit 313 with the good product standard 100 generated by the good product generation processing unit 1001 and extracts defects. ing.

信号処理部310において、良品基準を検査対象から生成する信号処理部の処理の流れを図10を用いて説明する。   In the signal processing unit 310, the flow of processing of the signal processing unit that generates a non-defective product standard from the inspection target will be described with reference to FIG.

信号処理部310に入力される画像31、32、表面変位33のうち、画像31と画像32は、1つ又は2つ以上の異なる照明条件と、1つ又は2つ以上の異なる方位角・仰角の組み合わせで撮像された画像である。図3で示した例と同様に、まず、 3次元モデル生成部80−1において、得られた2枚の画像31と32を画像統合処理部311で統合する。統合方法は各種あるが、その一例を挙げると、(1)平均、(2)論理積、(3)論理和、(4)近傍領域内の標準偏差の大きい方の画素の明るさ、などがある。統合方法は、(数1)〜(数4)に示した通りである。   Of the images 31 and 32 and the surface displacement 33 input to the signal processing unit 310, the image 31 and the image 32 have one or more different illumination conditions and one or more different azimuth and elevation angles. It is the image imaged by the combination of. Similar to the example shown in FIG. 3, first, in the three-dimensional model generation unit 80-1, the obtained two images 31 and 32 are integrated by the image integration processing unit 311. There are various integration methods. For example, (1) average, (2) logical product, (3) logical sum, and (4) brightness of the pixel with the larger standard deviation in the vicinity region. is there. The integration method is as shown in (Expression 1) to (Expression 4).

一方、3次元形状復元処理部312では、3次元変位検出部7cから入力された3次元形状計測データから3次元形状(立体形状)35を復元する。   On the other hand, the three-dimensional shape restoration processing unit 312 restores the three-dimensional shape (three-dimensional shape) 35 from the three-dimensional shape measurement data input from the three-dimensional displacement detection unit 7c.

次に、画像統合処理部311で生成した統合画像34と3次元形状復元処理部312で復元した3次元形状(立体形状)35とを連結処理部313において連結する。これにより、検査対象物5のデジタル信号から3次元モデル36を生成する。   Next, the integrated image 34 generated by the image integration processing unit 311 and the three-dimensional shape (three-dimensional shape) 35 restored by the three-dimensional shape restoration processing unit 312 are connected by the connection processing unit 313. Thereby, the three-dimensional model 36 is generated from the digital signal of the inspection object 5.

本実施例では、3次元モデル36の生成と同時に、統合画像34と3次元形状復元処理部312で復元した3次元形状(立体形状)35とから良品生成部1001において良品基準100を生成する。そして、欠陥判定部80−2において、生成された3次元モデル36と良品基準100を照合部314において照合し、良品基準100と差異が大きい部分を不良部分として抽出する。   In the present embodiment, the non-defective product standard 100 is generated by the non-defective product generation unit 1001 from the integrated image 34 and the three-dimensional shape (three-dimensional shape) 35 restored by the three-dimensional shape restoration processing unit 312 simultaneously with the generation of the three-dimensional model 36. Then, in the defect determination unit 80-2, the generated three-dimensional model 36 and the good product reference 100 are checked in the check unit 314, and a portion having a large difference from the good product reference 100 is extracted as a defective portion.

良品基準100は、検査対象物が複数の同形状の部品から成る回転対称の物体であれば、対称部品の周期分だけ対象物体を回転させながら、同形状になるように作られた部品を同一の視野、同一の照明角度、同一の検出角度で撮像して複数の部品の画像を得て、得られた複数の画像間で、対応する位置の明るさの平均、もしくは明るさの中央値をとることで生成する。   In the non-defective product standard 100, if the object to be inspected is a rotationally symmetric object composed of a plurality of parts having the same shape, the parts made to have the same shape while rotating the object by the period of the symmetric part are the same. Images of multiple parts by taking images with the same field of view, the same illumination angle, and the same detection angle, and the average of the brightness of the corresponding positions or the median value of the brightness between the obtained images Generate by taking.

以上に説明したように、図2に示した構成を実現する具体的な外観検査装置の形態の例を説明したが、本発明による外観検査装置による外観の計測結果、検査結果は図1に示した表示手段と入力手段を持つユーザインターフェース部(GUI部)11に表示される。例えば、3次元変位検出部7cで得られた表面凹凸情報(表面変位33)は計測点群にすぎない。このため、本発明による外観検査装置は、計測点群をより視覚的にユーザに提示する。その例を図11A乃至図11Cに示す。   As described above, the example of the form of the specific appearance inspection apparatus that realizes the configuration shown in FIG. 2 has been described. However, the measurement results and inspection results of the appearance by the appearance inspection apparatus according to the present invention are shown in FIG. Displayed on a user interface unit (GUI unit) 11 having display means and input means. For example, the surface unevenness information (surface displacement 33) obtained by the three-dimensional displacement detector 7c is only a measurement point group. For this reason, the visual inspection apparatus according to the present invention presents the measurement point group to the user more visually. Examples thereof are shown in FIGS. 11A to 11C.

図11Aにおいて、110は検査対象物である。検査対象物110の表面凹凸に対し、表面テクスチャを取得する際の照明光111の照明角度(図中112)、反射光113を検出する検出部の角度(図中114)などが既知であれば、その凹凸情報(表面変位33)から、陰影の付き方が推定できる。本実施例では、凹凸情報(表面変位33)から陰影を推定し、2次元画像としてGUI部11に表示する。   In FIG. 11A, 110 is an inspection object. If the illumination angle (112 in the figure) of the illumination light 111 when acquiring the surface texture, the angle of the detection unit (114 in the figure) for detecting the reflected light 113, etc. are known with respect to the surface irregularities of the inspection object 110 From the unevenness information (surface displacement 33), it is possible to estimate how the shadow is added. In this embodiment, the shadow is estimated from the unevenness information (surface displacement 33) and displayed on the GUI unit 11 as a two-dimensional image.

図11Bの115は、検査対象物110の凹凸情報(表面変位33)から推定した陰影像の例である。また、表示にとどまらず、凹凸情報(表面変位33)からの陰影像推定機能により、より高感度な検査を可能とする。例えば、画像検出部で検出した実際の表面テクスチャ情報と、凹凸情報から推定した陰影像とを比較することで、実際の表面テクスチャ情報から、ノイズとなる正反射成分や部品の遮蔽による影を除外することが可能となる。これにより、ノイズと微弱な表面欠陥の弁別が容易となる。   11B of FIG. 11B is an example of a shadow image estimated from the unevenness information (surface displacement 33) of the inspection object 110. In addition to the display, the shadow image estimation function based on the unevenness information (surface displacement 33) enables a more sensitive inspection. For example, by comparing the actual surface texture information detected by the image detection unit with the shadow image estimated from the unevenness information, the specular reflection component that becomes noise and the shadow due to the shielding of parts are excluded from the actual surface texture information It becomes possible to do. This facilitates discrimination between noise and weak surface defects.

図11Cの116は画像検出部7a又は7bで検出された光学像である。図11A又は図11Bの陰影像では、検査対象物110の表面の形状欠陥を表示することはできるが、検査対象物110の表面の変色やしみなどの非形状的な欠陥を表示することが難しい。これに対して、図11Cのように光学像を表示することにより、検査対象物110の表面の変色やしみなどの非形状的な欠陥117を表示することができる。従って、図11Cのような光学像を図11A又は図11Bのような陰影像と並べて表示することにより、検査対象物110の表面の形状欠陥と表面の変色やしみなどの非形状的な欠陥を同時に表示することが可能になる。   Reference numeral 116 in FIG. 11C denotes an optical image detected by the image detection unit 7a or 7b. Although the shape defect on the surface of the inspection object 110 can be displayed in the shaded image of FIG. 11A or FIG. 11B, it is difficult to display non-shape defects such as discoloration and stains on the surface of the inspection object 110. . On the other hand, by displaying an optical image as shown in FIG. 11C, it is possible to display non-shape defects 117 such as discoloration and stains on the surface of the inspection object 110. Therefore, by displaying the optical image as shown in FIG. 11C side by side with the shadow image as shown in FIG. 11A or FIG. 11B, the shape defect on the surface of the inspection object 110 and the non-shape defect such as discoloration or stain on the surface can be removed. It becomes possible to display simultaneously.

以上に説明した外観検査装置は、検出部より得られる表面テクスチャ情報、表面変位情報を計測する。特にドリルやカッターなどの切削加工の工具の割れや磨耗、欠けなどを定量的に計測することで、工具の管理や加工対象の出来栄えの推定が可能となる。対象が加工用の工具である場合、加工時のセンサ時系列データと連携して検査を効率的に行うことも可能である。その例を図12A乃至図12Cに示す。   The appearance inspection apparatus described above measures surface texture information and surface displacement information obtained from the detection unit. In particular, by quantitatively measuring the cracks, wear, and chipping of cutting tools such as drills and cutters, it is possible to manage the tools and estimate the quality of the processing target. When the target is a tool for machining, it is possible to efficiently perform inspection in cooperation with sensor time-series data at the time of machining. Examples thereof are shown in FIGS. 12A to 12C.

図12Aにおいて、120のグラフは、図12Bに示した122のドリルにより被加工対象物123を加工中に図示していないセンサで検出した有効電力センサ信号である。図12Aのグラフ120には、時系列に3回分(t1、t2、t3)のセンサ信号がプロットされている。横軸は加工中の時間である。楕円121で囲ってあるt3の信号部分が加工不良が発生したときの有効電力センサ信号を示す。これは、t3のときに加工不良が発生したことを示す。   In FIG. 12A, a graph 120 is an active power sensor signal detected by a sensor (not shown) during processing of the workpiece 123 by the drill 122 shown in FIG. 12B. In the graph 120 of FIG. 12A, sensor signals for three times (t1, t2, t3) are plotted in time series. The horizontal axis is the time during processing. A signal portion at t3 surrounded by an ellipse 121 indicates an active power sensor signal when processing failure occurs. This indicates that a processing failure has occurred at t3.

本実施例による外観検査装置では、このような加工状況などのセンサデータの監視による異常予兆と連動した検査を行う。この検査の流れを、図12Cに示す。   In the appearance inspection apparatus according to the present embodiment, an inspection is performed in conjunction with an abnormality sign by monitoring sensor data such as the processing state. The flow of this inspection is shown in FIG. 12C.

図12Cに示した処理フローにおいて、ドリルといった検査対象となる工具が稼動中、有効電力値などのセンサ信号の監視を行っている(S1201)。この監視して得たデータから異常の予兆を診断し(S1202)、異常がない場合、加工終了とともに、検査対象物は待機状態になる(S1203)。センサ信号に異常の予兆があった場合は、それをトリガーとして、図1乃至図10を用いて説明した実施例による外観検査を実行する(S1204)。これにより、検査の頻度を少なくすることが可能となる。
更に、本外観検査装置の対象は、回転対称系の形状をしたものに限らず、自由曲面をもつものを含む。その例を図13A及び図13Bに示す。図13Aの130、及び図13Bの131は切削用カッターであり、それぞれ形状が異なる。図13Aの132、及び図13Bの133は切削後に発生する切りくずであり、カッターの形状の違いに応じて図13Aの切りくず132と図13Bの切りくず133のように、形状も異なる。本外観検査ではカッター130、131の形状の計測、及び加工対象となる切りくず132、133の形状を計測し、両者を照らし合わせて、より理想的な出来栄えを実現するためのカッター形状の最適化を可能とする。
図14A及び図14Bは本外観検査装置の用途の別の例である。図14Aの140が図1及び図2で説明した外観検査装置であり、ロール状の薄板141が検査対象となる。ここでは、図1及び図2で説明した画像検出部により順次、薄板全面の表面テクスチャ(画像142)が検出され、信号処理部3に入力される。
In the processing flow shown in FIG. 12C, sensor signals such as active power values are monitored while a tool to be inspected such as a drill is in operation (S1201). A sign of abnormality is diagnosed from the data obtained by this monitoring (S1202), and if there is no abnormality, the inspection object is in a standby state as soon as the processing is completed (S1203). When there is a sign of abnormality in the sensor signal, the appearance inspection according to the embodiment described with reference to FIGS. 1 to 10 is executed using the sensor signal as a trigger (S1204). As a result, the frequency of inspection can be reduced.
Furthermore, the object of the appearance inspection apparatus is not limited to a rotationally symmetric shape, but includes an object having a free-form surface. Examples thereof are shown in FIGS. 13A and 13B. 13A in FIG. 13A and 131 in FIG. 13B are cutting cutters, each having a different shape. 13A in FIG. 13A and 133 in FIG. 13B are chips generated after cutting, and the shapes are different as in the case of the chips 132 in FIG. 13A and the chips 133 in FIG. 13B according to the difference in the shape of the cutter. In this visual inspection, the shape of the cutters 130 and 131 and the shape of the chips 132 and 133 to be processed are measured, and compared with each other to optimize the cutter shape to achieve a more ideal workmanship. Is possible.
14A and 14B show another example of the use of the appearance inspection apparatus. 140 of FIG. 14A is the appearance inspection apparatus described with reference to FIGS. 1 and 2, and a roll-shaped thin plate 141 is an inspection target. Here, the surface texture (image 142) on the entire surface of the thin plate is sequentially detected by the image detection unit described with reference to FIGS. 1 and 2 and is input to the signal processing unit 3.

図14Bに、信号処理部3における処理の手順を説明する。信号処理部3では、画像142から欠陥検出を行う(S1401)。これにより、薄板上に欠陥があった場合、その欠陥の位置座標143が検出される。欠陥検出は単純な明るさの2値化処理や、周辺の明るさとの比較など、一般的な欠陥検査方式でよい。次に、欠陥の位置座標近辺の凹凸を3次元変位検出部で検出する(S1402)。そして、検出された欠陥部の変位144から、その欠陥が致命性のあるものか、否かの判定を行い(S1403)、更に欠陥種を特定する(S1404)。以上のように、本外観検査装置においては、薄板上の欠陥が、表面のシミや汚れのような後の洗浄工程で排除できるものか、穴のような排除できないものか、表面テクスチャのみでは判定できない欠陥を、3次元変位情報も使って判定することを可能とする。
以上に示した通り、本発明により、検査員といった人間による直接の目視検査では定量化ができなかった、形状不良や微細なキズのレベルが定量的に評価可能となる。これにより、加工品の出来栄え評価や、加工工具の品質管理、欠陥の致命性判定などを実現する。これにより、製品の安定化を実現する。また、シミュレーション結果などと連動させることで、品質不良の未然防止が実現できる。
FIG. 14B illustrates a processing procedure in the signal processing unit 3. The signal processing unit 3 detects a defect from the image 142 (S1401). Thereby, when there is a defect on the thin plate, the position coordinate 143 of the defect is detected. Defect detection may be performed by a general defect inspection method such as simple brightness binarization processing or comparison with surrounding brightness. Next, the unevenness near the position coordinates of the defect is detected by the three-dimensional displacement detector (S1402). Then, based on the detected displacement 144 of the defective portion, it is determined whether or not the defect is fatal (S1403), and the defect type is further specified (S1404). As described above, in this visual inspection apparatus, it is determined only by the surface texture whether the defects on the thin plate can be eliminated by a subsequent cleaning process such as a stain or dirt on the surface, or cannot be excluded such as a hole. Defects that cannot be determined can also be determined using 3D displacement information.
As described above, according to the present invention, it becomes possible to quantitatively evaluate the shape defect and the level of fine scratches that could not be quantified by direct visual inspection by a person such as an inspector. As a result, it is possible to evaluate the quality of processed products, quality control of processed tools, and determine the criticality of defects. This achieves product stabilization. In addition, it is possible to prevent quality defects by interlocking with simulation results.

以上、本発明の一実施例を、加工用の工具など複雑な形状をした物体の外観検査を例にとって説明したが、自由曲面を持つ物体の類似度判定などにも適用可能である。その1つには、拳銃から発射される弾丸の異同識別がある。   As described above, the embodiment of the present invention has been described by taking the appearance inspection of an object having a complicated shape such as a machining tool as an example. However, the present invention can also be applied to similarity determination of an object having a free-form surface. One of them is the different identification of bullets fired from handguns.

1…計測部 2…A/D変換部 3,310…信号処理部 4a,4b…照明部 5…被検査対象物 7a,7b…画像検出部 7c…3次元変位検出部
8−1,80−1…3次元モデル生成部 8−2、80−2…欠陥判定部
9…全体制御部 10…メカニカルコントローラ 11…ユーザインターフェース部 12…記憶装置 101…X−Y−Z−θ−Rステージ 301…画像統合処理部 302…3次元形状復元処理部 303…連結処理部 304…照合処理部
DESCRIPTION OF SYMBOLS 1 ... Measurement part 2 ... A / D conversion part 3,310 ... Signal processing part 4a, 4b ... Illumination part 5 ... Test object 7a, 7b ... Image detection part 7c ... Three-dimensional displacement detection part
8-1, 80-1 ... 3D model generation unit 8-2, 80-2 ... Defect determination unit
DESCRIPTION OF SYMBOLS 9 ... Overall control part 10 ... Mechanical controller 11 ... User interface part 12 ... Memory | storage device 101 ... XYZ- (theta) -R stage 301 ... Image integration process part 302 ... Three-dimensional shape restoration process part 303 ... Connection process part 304 ... Verification processing section

Claims (14)

物体の外観を検査する装置であって、
検査対象物体を載置して少なくとも一方向に連続的に移動可能なテーブル手段と、
該テーブル手段に載置された前記検査対象物体を撮像して前記検査対象物体の表面のテクスチャ情報を含む前記検査対象物体の画像を取得する画像取得手段と、
該テーブル手段に載置された前記検査対象物体の表面凹凸情報を取得する表面変位情報取得手段と、
該表面変位情報取得手段で取得した前記物体の表面凹凸情報から前記検査対象物体の立体形状を復元する立体形状復元手段と、
該画像取得手段で取得した画像と該立体形状復元手段で復元した前記検査対象物体の立体形状とから表面テクスチャを持った物体の外観情報を得る外観データ生成手段と、
該外観データ生成手段で得られた外観情報から複数の特徴を抽出する特徴抽出手段と、
該特徴抽出手段で抽出した該複数の特徴のうち少なくとも1つの特徴を予め設定した参照データの前記少なくとも1つの特徴に対応する特徴と比較して検査対象となる物体の外観を評価する外観評価手段と、
を備えたことを特徴とする物体の外観検査装置。
A device for inspecting the appearance of an object,
Table means for placing the object to be inspected and continuously moving in at least one direction;
Image acquiring means for capturing an image of the inspection target object including the texture information of the surface of the inspection target object by imaging the inspection target object placed on the table means;
Surface displacement information acquisition means for acquiring surface irregularity information of the inspection object placed on the table means;
A solid shape restoring means for restoring the solid shape of the object to be inspected from the surface unevenness information of the object acquired by the surface displacement information acquiring means;
Appearance data generation means for obtaining appearance information of an object having a surface texture from the image acquired by the image acquisition means and the three-dimensional shape of the inspection target object restored by the three-dimensional shape restoration means;
Feature extraction means for extracting a plurality of features from the appearance information obtained by the appearance data generation means;
Appearance evaluation means for evaluating the appearance of an object to be inspected by comparing at least one of the plurality of features extracted by the feature extraction means with a feature corresponding to the at least one feature of preset reference data When,
An apparatus for inspecting the appearance of an object.
前記外観データ生成手段は、前記立体形状復元手段で復元した前記検査対象物体の立体形状の情報と前記画像取得手段で取得した画像から得られる前記検査対象物体の表面テクスチャ情報とを前記検査対象物体の各位置でベクトル情報として統合して前記外観情報を得し、
前記特徴抽出手段は、前記外観データ生成手段で統合したベクトル情報 と、前記参照データのベクトル情報とを特徴空間上で統合し、
前記外観評価手段は、前記特徴抽出手段で統合した特徴空間上のはずれ値を物体の不良として評価する
ことを特徴とする請求項1記載の物体の外観検査装置。
The appearance data generation means includes the information on the three-dimensional shape of the inspection target object restored by the three-dimensional shape restoration means and the surface texture information of the inspection target object obtained from the image obtained by the image acquisition means. The position information is integrated as vector information to obtain the appearance information,
The feature extraction unit integrates the vector information integrated by the appearance data generation unit and the vector information of the reference data on a feature space,
2. The object appearance inspection apparatus according to claim 1, wherein the appearance evaluation unit evaluates an outlier value on the feature space integrated by the feature extraction unit as an object defect.
前記参照データは、設計データから生成することを特徴とする請求項1又は2に記載の物体の外観検査装置。   The object visual inspection apparatus according to claim 1, wherein the reference data is generated from design data. 前記参照データは、前記画像取得手段で取得した前記検査対象物体の画像から生成することを特徴とする請求項1又は2に記載の物体の外観検査装置。   3. The object appearance inspection apparatus according to claim 1, wherein the reference data is generated from an image of the inspection object acquired by the image acquisition unit. 前記参照データ は、本来同一の表面変位、テクスチャをもつべき物体を前記画像取得手段で撮像して得た画像と前記表面変位情報取得手段で前記物体から取得した表面凹凸情報から前記立体形状復元手段で復元した前記物体の立体形状とを用いて前記外観データ生成手段で生成した表面テクスチャ情報を持った前記物体の外観情報であることを特徴とする請求項1又は2に記載の物体の外観検査装置。 The reference data is the three-dimensional shape restoring means based on an image obtained by imaging an object that should originally have the same surface displacement and texture by the image obtaining means and surface unevenness information obtained from the object by the surface displacement information obtaining means. 3. The appearance inspection of the object according to claim 1, wherein the appearance information of the object has surface texture information generated by the appearance data generation unit using the three-dimensional shape of the object restored in step 3. apparatus. 前記外観評価手段は、前記特徴抽出手段で抽出した複数の特徴のうち、少なくとも1つの特徴を前記参照データの前記少なくとも1つの特徴に対応する特徴と比較して前記検査対象となる物体の特徴と参照データの特徴の一致度から前記検査対象となる物体が前記参照データと同類のものか否かを判断することを特徴とする請求項1又は2に記載の物体の外観検査装置。   The appearance evaluation unit compares at least one feature among the plurality of features extracted by the feature extraction unit with a feature corresponding to the at least one feature of the reference data, and a feature of the object to be inspected. 3. The object appearance inspection apparatus according to claim 1, wherein whether or not the object to be inspected is similar to the reference data is determined based on a degree of coincidence of features of reference data. 物体の外観を検査する装置であって、
検査対象物体を載置して少なくとも一方向に連続的に移動可能なテーブル手段と、
該テーブル手段に載置された前記検査対象物体を撮像してその画像を取得する画像取得手段と、
該テーブル手段に載置された前記検査対象物体の表面凹凸情報を取得する表面変位情報取得手段と、
該表面変位情報取得手段で取得した前記検査対象物体の表面凹凸から情報該画像取得手段で取得した表面テクスチャに陰影を付加する陰影情報算出手段と、
該陰影情報算出手段で算出した陰影を付加した前記物体の表面欠陥を含む外観データを表示する表示手段と、
を備えたことを特徴とする物体の外観検査装置。
A device for inspecting the appearance of an object,
Table means for placing the object to be inspected and continuously moving in at least one direction;
Image acquisition means for imaging the inspection object placed on the table means and acquiring the image;
Surface displacement information acquisition means for acquiring surface irregularity information of the inspection object placed on the table means;
Shadow information calculation means for adding a shadow to the surface texture acquired by the image acquisition means, information from the surface unevenness of the inspection object acquired by the surface displacement information acquisition means;
Display means for displaying appearance data including surface defects of the object to which the shadow calculated by the shadow information calculating means is added;
An apparatus for inspecting the appearance of an object.
物体の外観を検査する方法であって、
検査対象物体を載置して少なくとも一方向に連続的に移動させながら前記検査対象物体を撮像して前記検査対象物体の表面のテクスチャ情報を含む前記検査対象物体の画像を取得しながら前記検査対象物体の表面凹凸情報を取得し、
該取得した前記検査対象物体の表面凹凸情報から前記検査対象物体の立体形状を復元し、
前記取得した画像と前記復元した前記検査対象物体の立体形状とから表面テクスチャを持った物体の外観情報を得、
該得られた外観情報から複数の特徴を抽出し、
該抽出した複数の特徴のうち少なくとも1つの特徴を予め設定した参照データの前記少なくとも1つの特徴に対応する特徴と比較して検査対象となる物体の外観を評価する
ことを特徴とする物体の外観検査方法。
A method for inspecting the appearance of an object,
While inspecting the object to be inspected while placing the object to be inspected and continuously moving in at least one direction, acquiring the image of the object to be inspected including the texture information of the surface of the object to be inspected. Get surface roughness information of the object,
The three-dimensional shape of the inspection target object is restored from the obtained surface unevenness information of the inspection target object,
Obtaining appearance information of an object having a surface texture from the acquired image and the restored three-dimensional shape of the inspection target object,
Extracting a plurality of features from the obtained appearance information;
Appearance of an object characterized by evaluating the appearance of an object to be inspected by comparing at least one of the extracted features with a feature corresponding to the at least one feature of preset reference data Inspection method.
前記外観情報を得ることは、前記復元した検査対象物体の立体形状の情報と前記取得した画像から得られる前記検査対象物体の表面テクスチャ情報とを前記検査対象物体の各位置でベクトル情報として統合することにより得、
前記特徴を抽出することは、前記統合したベクトル情報と、前記参照データのベクトル情報とを特徴空間上で統合し、
前記外観を評価することは、前記統合した特徴空間上のはずれ値を物体の不良として評価することを特徴とする請求項8記載の物体の外観検査方法。
Obtaining the appearance information integrates the restored three-dimensional information of the inspection target object and the surface texture information of the inspection target object obtained from the acquired image as vector information at each position of the inspection target object. Obtained by
Extracting the feature integrates the integrated vector information and the vector information of the reference data on a feature space;
9. The object appearance inspection method according to claim 8, wherein the evaluation of the appearance includes evaluating an outlier value on the integrated feature space as a defect of the object.
前記参照データは、設計データから生成することを特徴とする請求項8又は9に記載の物体の外観検査方法。   10. The object visual inspection method according to claim 8, wherein the reference data is generated from design data. 前記参照データは、前記取得した前記検査対象物体の画像から生成することを特徴とする請求項8又は9に記載の物体の外観検査方法。   The object reference inspection method according to claim 8 or 9, wherein the reference data is generated from the acquired image of the object to be inspected. 前記参照データは、本来同一の表面変位、テクスチャをもつべき物体を撮像して得た画像と前記物体から取得した表面凹凸情報から前記復元した前記物体の立体形状とを用いて生成した表面テクスチャ情報を持った前記物体の外観情報であることを特徴とする請求項8又は9に記載の物体の外観検査方法。   The reference data is surface texture information generated using an image obtained by imaging an object that should originally have the same surface displacement and texture, and the three-dimensional shape of the object restored from the surface unevenness information acquired from the object. 10. The method for inspecting the appearance of an object according to claim 8 or 9, characterized in that the information is appearance information of the object having a point. 前記外観を評価することを、前記抽出した複数の特徴のうち、少なくとも1つの特徴を前記参照データの前記少なくとも1つの特徴に対応する特徴と比較して前記検査対象となる物体の特徴と参照データの特徴の一致度から前記検査対象となる物体が前記参照データと同類のものか否かを判断することにより行うことを特徴とする請求項8又は9に記載の物体の外観検査方法。 The evaluation of the appearance is performed by comparing at least one of the extracted plurality of features with a feature corresponding to the at least one feature of the reference data, and the feature of the object to be inspected and the reference data 10. The object appearance inspection method according to claim 8, wherein the object appearance inspection method is performed by determining whether or not the object to be inspected is similar to the reference data based on the degree of coincidence of the features. 物体の外観を検査する方法であって、
検査対象物体を載置して少なくとも一方向に連続的に移動させ、
該一方向に連続的に移動している前記検査対象物体を撮像してその画像を取得し、
該一方向に連続的に移動している前記検査対象物体の表面凹凸情報を取得し、
該取得した前記検査対象物体の表面凹凸情報から前記取得した前記検査対象物体の画像の表面テクスチャに陰影を付加し、
該陰影を付加した前記検査対象物体の表面欠陥を含む外観データを表示する
ことを特徴とする物体の外観検査方法。
A method for inspecting the appearance of an object,
Place the object to be inspected and move it continuously in at least one direction,
Image the object to be inspected that is continuously moving in the one direction to obtain the image;
Obtaining surface roughness information of the object to be inspected that is continuously moving in the one direction;
A shadow is added to the surface texture of the acquired image of the inspection object from the acquired surface unevenness information of the inspection object,
An appearance inspection method for an object, characterized by displaying appearance data including a surface defect of the inspection target object to which the shadow is added.
JP2011164102A 2011-07-27 2011-07-27 Appearance inspection method and apparatus Expired - Fee Related JP5676387B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011164102A JP5676387B2 (en) 2011-07-27 2011-07-27 Appearance inspection method and apparatus
PCT/JP2012/063878 WO2013015013A1 (en) 2011-07-27 2012-05-30 Appearance inspection method and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011164102A JP5676387B2 (en) 2011-07-27 2011-07-27 Appearance inspection method and apparatus

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014262005A Division JP6040215B2 (en) 2014-12-25 2014-12-25 Inspection method

Publications (2)

Publication Number Publication Date
JP2013029350A true JP2013029350A (en) 2013-02-07
JP5676387B2 JP5676387B2 (en) 2015-02-25

Family

ID=47600873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011164102A Expired - Fee Related JP5676387B2 (en) 2011-07-27 2011-07-27 Appearance inspection method and apparatus

Country Status (2)

Country Link
JP (1) JP5676387B2 (en)
WO (1) WO2013015013A1 (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215217A (en) * 2013-04-26 2014-11-17 住友金属鉱山株式会社 Object inspection device and object inspection method
JP2015094708A (en) * 2013-11-13 2015-05-18 リコーエレメックス株式会社 Visual inspection device
WO2016103492A1 (en) * 2014-12-26 2016-06-30 株式会社日立製作所 Shape measurement method and device
JP2016136105A (en) * 2015-01-23 2016-07-28 新日鐵住金株式会社 Abnormality detection device and abnormality detection method for mechanical equipment
JP2016142720A (en) * 2015-02-05 2016-08-08 国立大学法人神戸大学 Shape evaluation method and shape evaluation device
JP2018072055A (en) * 2016-10-26 2018-05-10 川崎重工業株式会社 Circle scratch inspection device
JP2018077836A (en) * 2016-10-07 2018-05-17 シュネーデル、エレクトリック、インダストリーズ、エスアーエスSchneider Electric Industries Sas Method for 3d mapping of 2d object point
US10203201B2 (en) 2017-03-15 2019-02-12 Fanuc Corporation Measurement device
US20190210183A1 (en) * 2018-01-10 2019-07-11 Klingelnberg Gmbh Method for checking a grinding tool and corresponding device
JP2019527355A (en) * 2016-07-18 2019-09-26 ウニヴェアズィテート バーゼル Computer system and method for improved gloss rendering in digital images
JP2019215240A (en) * 2018-06-12 2019-12-19 シチズンファインデバイス株式会社 Teacher image generation method of appearance inspection device
WO2020003818A1 (en) * 2018-06-28 2020-01-02 パナソニックIpマネジメント株式会社 Inspection instrument and inspection method
US20200180104A1 (en) * 2017-05-19 2020-06-11 Reishauer Ag Measurement of characteristic variables of a precision machining tool
JP2020091584A (en) * 2018-12-04 2020-06-11 ファナック株式会社 Automatic inspection system for machined products
JP2020109374A (en) * 2019-01-07 2020-07-16 日立オートモティブシステムズ株式会社 Surface inspection device and surface inspection method
DE102020200492A1 (en) 2019-01-18 2020-07-23 Fanuc Corporation AUTOMATIC THREE-DIMENSIONAL MEASUREMENT-BASED INSPECTION SYSTEM FOR WORKPIECES
JP2020148655A (en) * 2019-03-14 2020-09-17 株式会社Screenホールディングス Inspection condition creation supporting device, inspection condition creation supporting method, inspection condition creation supporting program, and recording medium
JP2020148656A (en) * 2019-03-14 2020-09-17 株式会社Screenホールディングス Inspection condition creation supporting device, inspection condition creation supporting method, inspection condition creation supporting program, and recording medium
WO2020183836A1 (en) * 2019-03-14 2020-09-17 株式会社Screenホールディングス Inspection condition creation support device, inspection condition creation support method, inspection condition creation support program and recording medium
JP2020173218A (en) * 2019-04-12 2020-10-22 日立オートモティブシステムズ株式会社 Surface inspection device and surface inspection method
KR20210000791A (en) * 2019-06-25 2021-01-06 한국기계연구원 Method and apparatus for inspecting workpiece using laser
CN112789498A (en) * 2018-08-23 2021-05-11 Abb瑞士股份有限公司 Method, control system and inspection system for inspection of a target object
WO2022260028A1 (en) * 2021-06-11 2022-12-15 日立Astemo株式会社 Visual inspection device, visual inspection method, image generation device, and image generation method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6556266B2 (en) * 2016-01-29 2019-08-07 富士フイルム株式会社 Defect inspection apparatus, method and program
US10878554B2 (en) * 2017-10-26 2020-12-29 United Technologies Corporation Defect detection and measurement method
CN211877747U (en) * 2020-04-23 2020-11-06 苏州必为智能控制科技有限公司 3D visual detection equipment
CN113588672A (en) * 2021-09-29 2021-11-02 武汉绿色塑料包装有限公司 Quality detection method for plastic product

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0552535A (en) * 1991-08-23 1993-03-02 Sony Corp Image processor
JP2004038885A (en) * 2002-07-08 2004-02-05 Adoin Kenkyusho:Kk Image feature learning type defect detection method, defect detection device and defect detection program
JP2004037222A (en) * 2002-07-03 2004-02-05 Matsushita Electric Ind Co Ltd Teaching method, electronic substrate inspection method, and electronic substrate inspection device
JP2006284471A (en) * 2005-04-04 2006-10-19 Mitsubishi Electric Corp Pattern inspection method, pattern inspection device and pattern inspecting program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0552535A (en) * 1991-08-23 1993-03-02 Sony Corp Image processor
JP2004037222A (en) * 2002-07-03 2004-02-05 Matsushita Electric Ind Co Ltd Teaching method, electronic substrate inspection method, and electronic substrate inspection device
JP2004038885A (en) * 2002-07-08 2004-02-05 Adoin Kenkyusho:Kk Image feature learning type defect detection method, defect detection device and defect detection program
JP2006284471A (en) * 2005-04-04 2006-10-19 Mitsubishi Electric Corp Pattern inspection method, pattern inspection device and pattern inspecting program

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215217A (en) * 2013-04-26 2014-11-17 住友金属鉱山株式会社 Object inspection device and object inspection method
JP2015094708A (en) * 2013-11-13 2015-05-18 リコーエレメックス株式会社 Visual inspection device
WO2016103492A1 (en) * 2014-12-26 2016-06-30 株式会社日立製作所 Shape measurement method and device
JPWO2016103492A1 (en) * 2014-12-26 2017-06-08 株式会社日立製作所 Shape measuring method and apparatus
JP2016136105A (en) * 2015-01-23 2016-07-28 新日鐵住金株式会社 Abnormality detection device and abnormality detection method for mechanical equipment
JP2016142720A (en) * 2015-02-05 2016-08-08 国立大学法人神戸大学 Shape evaluation method and shape evaluation device
WO2016125797A1 (en) * 2015-02-05 2016-08-11 国立大学法人神戸大学 Shape evaluation method and shape evaluation apparatus
US10775166B2 (en) 2015-02-05 2020-09-15 National University Corporation Kobe University Shape evaluation method and shape evaluation apparatus
JP2019527355A (en) * 2016-07-18 2019-09-26 ウニヴェアズィテート バーゼル Computer system and method for improved gloss rendering in digital images
JP7086559B2 (en) 2016-10-07 2022-06-20 シュネーデル、エレクトリック、インダストリーズ、エスアーエス Method for 3D mapping of 2D target points
JP2018077836A (en) * 2016-10-07 2018-05-17 シュネーデル、エレクトリック、インダストリーズ、エスアーエスSchneider Electric Industries Sas Method for 3d mapping of 2d object point
JP2018072055A (en) * 2016-10-26 2018-05-10 川崎重工業株式会社 Circle scratch inspection device
DE102018202625B8 (en) * 2017-03-15 2020-09-10 Fanuc Corporation Machine measuring device
US10203201B2 (en) 2017-03-15 2019-02-12 Fanuc Corporation Measurement device
DE102018202625B4 (en) 2017-03-15 2020-06-18 Fanuc Corporation Measuring device
US20200180104A1 (en) * 2017-05-19 2020-06-11 Reishauer Ag Measurement of characteristic variables of a precision machining tool
JP2019120706A (en) * 2018-01-10 2019-07-22 クリンゲルンベルク・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツングKlingelnberg GmbH Method for testing grinding tool and corresponding apparatus
US11638983B2 (en) 2018-01-10 2023-05-02 Klingelnberg Gmbh Method for checking a grinding tool and corresponding device
US20190210183A1 (en) * 2018-01-10 2019-07-11 Klingelnberg Gmbh Method for checking a grinding tool and corresponding device
JP7299706B2 (en) 2018-01-10 2023-06-28 クリンゲルンベルク・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング Method and corresponding apparatus for testing grinding tools
JP7186521B2 (en) 2018-06-12 2022-12-09 シチズンファインデバイス株式会社 Teacher image generator for visual inspection equipment
JP2019215240A (en) * 2018-06-12 2019-12-19 シチズンファインデバイス株式会社 Teacher image generation method of appearance inspection device
WO2020003818A1 (en) * 2018-06-28 2020-01-02 パナソニックIpマネジメント株式会社 Inspection instrument and inspection method
JP7170234B2 (en) 2018-06-28 2022-11-14 パナソニックIpマネジメント株式会社 Inspection device and inspection method
JPWO2020003818A1 (en) * 2018-06-28 2021-04-30 パナソニックIpマネジメント株式会社 Inspection equipment and inspection method
CN112789498A (en) * 2018-08-23 2021-05-11 Abb瑞士股份有限公司 Method, control system and inspection system for inspection of a target object
JP2020091584A (en) * 2018-12-04 2020-06-11 ファナック株式会社 Automatic inspection system for machined products
JP7260293B2 (en) 2018-12-04 2023-04-18 ファナック株式会社 Automated inspection system for processed products
JP2020109374A (en) * 2019-01-07 2020-07-16 日立オートモティブシステムズ株式会社 Surface inspection device and surface inspection method
US11118891B2 (en) 2019-01-18 2021-09-14 Fanuc Corporation Automatic three-dimensional measurement-based inspection system for workpieces
DE102020200492A1 (en) 2019-01-18 2020-07-23 Fanuc Corporation AUTOMATIC THREE-DIMENSIONAL MEASUREMENT-BASED INSPECTION SYSTEM FOR WORKPIECES
WO2020183836A1 (en) * 2019-03-14 2020-09-17 株式会社Screenホールディングス Inspection condition creation support device, inspection condition creation support method, inspection condition creation support program and recording medium
JP2020148656A (en) * 2019-03-14 2020-09-17 株式会社Screenホールディングス Inspection condition creation supporting device, inspection condition creation supporting method, inspection condition creation supporting program, and recording medium
JP2020148655A (en) * 2019-03-14 2020-09-17 株式会社Screenホールディングス Inspection condition creation supporting device, inspection condition creation supporting method, inspection condition creation supporting program, and recording medium
JP2020173218A (en) * 2019-04-12 2020-10-22 日立オートモティブシステムズ株式会社 Surface inspection device and surface inspection method
JP7189828B2 (en) 2019-04-12 2022-12-14 日立Astemo株式会社 Surface inspection device and surface inspection method
KR102222898B1 (en) * 2019-06-25 2021-03-05 한국기계연구원 Method and apparatus for inspecting workpiece using laser
KR20210000791A (en) * 2019-06-25 2021-01-06 한국기계연구원 Method and apparatus for inspecting workpiece using laser
WO2022260028A1 (en) * 2021-06-11 2022-12-15 日立Astemo株式会社 Visual inspection device, visual inspection method, image generation device, and image generation method

Also Published As

Publication number Publication date
JP5676387B2 (en) 2015-02-25
WO2013015013A1 (en) 2013-01-31

Similar Documents

Publication Publication Date Title
JP5676387B2 (en) Appearance inspection method and apparatus
CN107735674B (en) Surface defect detection device, surface defect detection method, and steel product manufacturing method
EP2907157B1 (en) Detecting defects on a wafer using defect-specific information
US11536669B2 (en) Detecting machining errors of a laser machining system using deep convolutional neural networks
JP6394514B2 (en) Surface defect detection method, surface defect detection apparatus, and steel material manufacturing method
Wang et al. Effects of scanning orientation on outlier formation in 3D laser scanning of reflective surfaces
WO2013061976A1 (en) Shape inspection method and device
US9486840B2 (en) High-speed, triangulation-based, 3-D method and system for inspecting manufactured parts and sorting the inspected parts
JP5913903B2 (en) Shape inspection method and apparatus
US10746667B2 (en) Fluorescent penetrant inspection system and method
JP6079948B1 (en) Surface defect detection device and surface defect detection method
JP4739044B2 (en) Appearance inspection device
JPWO2016208626A1 (en) Surface defect detection method, surface defect detection apparatus, and steel material manufacturing method
JP6040215B2 (en) Inspection method
JP2013213733A (en) Apparatus and method for inspecting object to be inspected
Cuesta et al. Influence of roughness on surface scanning by means of a laser stripe system
US20140347438A1 (en) Triangulation-based, 3-d method and system for imaging the outer peripheral surface of a part
JP6387909B2 (en) Surface defect detection method, surface defect detection apparatus, and steel material manufacturing method
Sansoni et al. Design and development of a 3D system for the measurement of tube eccentricity
CN114113145B (en) Detection method, detection device and application of micron-level defects of small-caliber inner wall
JP6566903B2 (en) Surface defect detection method and surface defect detection apparatus
US7899573B2 (en) Non-contact method and system for inspecting a multi-faceted machine surface
Brambilla et al. Automated Vision Inspection of Critical Steel Components based on Signal Analysis Extracted form Images
JP2012002605A (en) Defect inspection method of welded surface
JP2006226834A (en) Surface inspection device and surface inspection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130924

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141225

R150 Certificate of patent or registration of utility model

Ref document number: 5676387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees