JP2007155709A - Method of evaluating image clarity - Google Patents

Method of evaluating image clarity Download PDF

Info

Publication number
JP2007155709A
JP2007155709A JP2006299940A JP2006299940A JP2007155709A JP 2007155709 A JP2007155709 A JP 2007155709A JP 2006299940 A JP2006299940 A JP 2006299940A JP 2006299940 A JP2006299940 A JP 2006299940A JP 2007155709 A JP2007155709 A JP 2007155709A
Authority
JP
Japan
Prior art keywords
image
pattern
standard deviation
reference pattern
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006299940A
Other languages
Japanese (ja)
Other versions
JP4768579B2 (en
Inventor
Kazuhisa Shibata
和久 柴田
Hiroyuki Ishigaki
博行 石垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARC Harima Co Ltd
Original Assignee
ARC Harima Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ARC Harima Co Ltd filed Critical ARC Harima Co Ltd
Priority to JP2006299940A priority Critical patent/JP4768579B2/en
Publication of JP2007155709A publication Critical patent/JP2007155709A/en
Application granted granted Critical
Publication of JP4768579B2 publication Critical patent/JP4768579B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method of evaluating quantitatively a surface property such as cleanness and quality of a work surface evaluated conventionally by visual appearance inspection. <P>SOLUTION: A reference pattern 14 arranged with a ring pattern around an objective lens of an imaging device 12 as the center is faced each other to the work surface, by pushing a tip of a probe 10 against the work surface, using the probe 10 provided in a vertical-directional intermediate of a cylindrical case 11, the reference pattern 14 is illuminated by a light from a light source to reflect a reflection image of the reference pattern 14 on the work surface, the reflection image is picked up by the imaging device, a standard deviation of amplitudes in a brightness distribution of an image data is found on a plurality of lines extended radially from the center of the ring pattern in an obtained image, and the image clarity of the work surface is evaluated based on specular rates about the plurality of lines, using a relative value of the obtained standard deviation to a standard deviation of amplitudes in a brightness distribution of an image data on a plurality of lines as to a reference specular face, as the specular rate. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は写像性の評価方法に関し、特に目視外観検査法によって評価されていたワーク表面の綺麗さや質といった表面性状を定量的に評価できるようにした方法に関する。   The present invention relates to a method for evaluating image clarity, and more particularly, to a method that enables quantitative evaluation of surface properties such as cleanliness and quality of a workpiece surface that has been evaluated by a visual appearance inspection method.

例えば、研磨鋼板の表面、塗装面、セラミック製品の表面など、ワーク表面の性状をどのように評価するかは製品開発や商品性上、非常に重要である。   For example, how to evaluate the properties of the workpiece surface, such as the surface of a polished steel plate, the painted surface, and the surface of a ceramic product, is very important in terms of product development and commercial properties.

ワーク表面の性状は例えば表面粗さが小さくても形状に歪みがあったり傷があったりすると悪いと判断できることから、像が正確に写されているか、つまり写像性によって正しく評価することができる。従来は目視外観検査法によって写像性を評価することが行われていたが、目視という人間の官能に頼って判別するため、判別の基準があいまいであること、個人差による判定のばらつきがあること、検査結果が周囲環境からの影響を受けやすく、又単純な検査であっても高速連続といった作業には耐え難く、疲労しやすいことから、写像性を定量化できる方法の開発が強く望まれていた。   For example, even if the surface roughness is small, it can be determined that the shape of the workpiece is poor if the shape is distorted or scratched. Therefore, it is possible to correctly evaluate whether the image has been accurately copied, that is, the mapping property. Conventionally, image clarity was evaluated by visual appearance inspection, but because it depends on human sensation of visual recognition, the criteria for discrimination are ambiguous and there are variations in judgment due to individual differences. Therefore, the development of a method that can quantify the image clarity is strongly desired because the test results are easily affected by the surrounding environment, and even a simple test cannot withstand high-speed continuous work and easily fatigue. It was.

他方、表面の微小な形状については面粗度や光沢度などを測定し、これらの測定値から表面の微小な形状を評価する方法が知られているが、これら面粗度や光沢度は表面性状の一部にすぎず、表面性状を正しく反映したものではない。   On the other hand, methods for measuring surface roughness, glossiness, etc. for minute surface shapes and evaluating the surface minute shape from these measured values are known. It is only part of the properties and does not accurately reflect the surface properties.

また、スリットを形成したパターン板を背後から光源の光によって照明し、ワーク表面にスリットパターンを投影し、このパターンを撮像して得られた画像のスリットの明度変化を検出し、検出信号の振幅の平均値や分散値からワーク表面の仕上がり度を段階的に評価する方法が提案されている(特許文献1)。   In addition, the pattern plate on which the slit is formed is illuminated with light from the light source from behind, the slit pattern is projected onto the workpiece surface, the change in the brightness of the slit of the image obtained by imaging this pattern is detected, and the amplitude of the detection signal A method has been proposed in which the degree of work surface finish is evaluated step by step based on the average value and the dispersion value (Patent Document 1).

また、本件出願人は、基準パターンを光源の光によって照明し、その反射像をワーク表面に写し、基準パターンの輝度分布における輝度の振幅の標準偏差を求め、同種の表面について予め求めた振幅の標準偏差と中心線平均粗さRaとの間の相関関係を用い、測定すべき表面の中心線平均粗さRaを得る方法を開発し出願するに至った(特許文献2)。   In addition, the applicant illuminates the reference pattern with the light of the light source, copies the reflected image onto the work surface, obtains the standard deviation of the luminance amplitude in the luminance distribution of the reference pattern, and obtains the amplitude of the amplitude previously obtained for the same type of surface Using the correlation between the standard deviation and the center line average roughness Ra, a method for obtaining the center line average roughness Ra of the surface to be measured has been developed and filed (Patent Document 2).

特開昭61−75236号公報JP-A-61-75236 特開2001−99632号公報JP 2001-99632 A

しかし、特許文献1記載の方法ではスリットを通過した光を用いているので、光の回折に起因してワーク表面に投影したパターンの輪郭が劣化し及び/又は明度が変化してしまい、中心線平均粗さRaが0.1μm以上の表面には適用できない(稲荷隆彦「投影された光学的パターン像による表面粗さの測定」計測自動制御学会論文集vol.14 No.11 1998(平成10年11月)社団法人計測自動制御学会 参照)。   However, since the method described in Patent Document 1 uses light that has passed through the slit, the contour of the pattern projected on the workpiece surface is deteriorated and / or the brightness changes due to light diffraction, and the center line is changed. Cannot be applied to surfaces with an average roughness Ra of 0.1 μm or more (Takahiko Inari “Surface Roughness Measurement Using Projected Optical Pattern Image” Proceedings of the Society of Instrument and Control Engineers vol.14 No.11 1998 (1998) (November) Japan Society for Instrument and Control Engineers).

他方、特許文献2記載の方法では基準パターンを照明してその反射像を測定すべき表面に写しているので、光の回折に起因する投影パターンの劣化は起こらず、0.1μ以上の中心線平均粗さRaも測定できるものの、ワーク表面の中心線平均粗さの平均値を得るという簡易な測定であるので、表面性状を的確に評価したい場合には不向きである。   On the other hand, in the method described in Patent Document 2, since the reference pattern is illuminated and the reflected image is copied onto the surface to be measured, the projection pattern is not deteriorated due to light diffraction, and the center line is 0.1 μm or more. Although the average roughness Ra can also be measured, it is a simple measurement that obtains the average value of the center line average roughness of the workpiece surface, and is not suitable when it is desired to accurately evaluate the surface properties.

本発明はかかる問題点に鑑み、表面性状を的確に評価できるようにした写像性の評価方法を提供することを課題とする。   In view of such problems, it is an object of the present invention to provide a method for evaluating image clarity that enables accurate evaluation of surface properties.

そこで、本発明に係る写像性の評価方法は、ワーク表面の写像性を評価するにあたり、先端が開放された筒状ケース内に撮像素子を内蔵しかつ撮像素子の対物レンズを中心としてリングパターンを配置してなる基準パターンが筒状ケースの上下方向の中間に設けられたプローブを用い、プローブの先端をワーク表面に当ててワーク表面と基準パターンとを相互に対面させ、光源の光によって基準パターンを照明してワーク表面に基準パターンの反射像を写し、その反射像を撮像素子によって撮像し、得られた画像のリングパターンの中心から径方向に延びる複数の線上における画像データの輝度分布の振幅の標準偏差を求め、得られた標準偏差と、基準鏡面について予め求めておいた画像のリングパターンの中心から径方向に延びる複数の線上における画像データの輝度分布の振幅の標準偏差との相対値を鏡面度とし、複数の線についての鏡面度からワーク表面の写像性を評価するようにしたことを特徴とする。   Therefore, in the evaluation method of image clarity according to the present invention, when evaluating the image clarity of the workpiece surface, the ring pattern is formed around the objective lens of the image pickup device, with the image pickup device built in the cylindrical case with the open end. Using a probe with a reference pattern arranged in the middle of the cylindrical case in the vertical direction, place the tip of the probe against the work surface so that the work surface and the reference pattern face each other. The reflected image of the reference pattern is projected on the workpiece surface, and the reflected image is captured by the image sensor. The amplitude of the luminance distribution of the image data on multiple lines extending in the radial direction from the center of the ring pattern of the obtained image The standard deviation obtained and a plurality of lines extending in the radial direction from the center of the ring pattern of the image obtained in advance for the reference mirror surface The relative values of the amplitude standard deviation of the brightness distribution of the image data and specularity in, characterized in that so as to evaluate the clarity of the work surface from the mirror of the plurality of lines.

本発明の特徴の1つはリング状の基準パターンに照明を当ててその反射像をワーク表面に写し、この反射像を撮像して画像の中心から径方向に延びる複数の線上の画像データの輝度分布の振幅の標準偏差を求め、基準鏡面の標準偏差との相対値を鏡面度とし、複数の線についての鏡面度から写像性を評価するようにした点にある。   One of the features of the present invention is that illumination is applied to a ring-shaped reference pattern, a reflection image thereof is copied onto the work surface, and the luminance of image data on a plurality of lines extending in the radial direction from the center of the image is captured. The standard deviation of the amplitude of the distribution is obtained, the relative value with the standard deviation of the reference mirror surface is taken as the mirror surface degree, and the image clarity is evaluated from the mirror degree of a plurality of lines.

これにより、例えば複数の線についての鏡面度が十分に大きな値であり、しかも相互に等しい場合には表面粗さが小さく、しかも形状の歪みが小さいあるいは傷が少ないなど、表面粗さに異方性がないと判断でき、ワーク表面には像が正確にしかも綺麗に写り、写像性が高いと評価することができる。   As a result, for example, when the specularity of a plurality of lines is a sufficiently large value and they are equal to each other, the surface roughness is small, and the shape roughness is small or there are few scratches. Therefore, it can be judged that the image is accurately and cleanly displayed on the work surface, and that the image clarity is high.

また、複数の線についての鏡面度が相互に等しいが、小さな値である場合には表面粗さの異方性はないが、表面粗さが大きいと判断でき、ワーク表面には像の形状は正確に写るが、綺麗ではなく、写像性は低いと評価することができる。   In addition, the specularities of multiple lines are equal to each other, but if the value is small, there is no anisotropy of the surface roughness, but it can be determined that the surface roughness is large, and the shape of the image on the workpiece surface is Although it looks accurate, it is not beautiful and it can be evaluated that the image clarity is low.

また、複数の線についての鏡面度は十分に大きな値であるが、ばらつきがある場合には表面粗さは小さいけれども、表面粗さに異方性があると判断でき、ワーク表面には像は綺麗であるけれども歪んで写り、この場合も写像性が低いと評価することができる。   In addition, the specularity for multiple lines is a sufficiently large value, but if there is variation, the surface roughness is small, but it can be judged that the surface roughness is anisotropic, and the image on the workpiece surface is Although it is beautiful, it appears distorted. In this case, it can be evaluated that the image clarity is low.

ところで、旋削やフライスなどの切削仕上面、ラッピング仕上面、バフ仕上面など、仕上面粗さに異方性を有する面は一般的に多数あるが、このような面の粗さを計測する場合、一方向にのみ計測できる測定器では測定方向と粗さの方向とを厳密に整合させて計測する、例えば触針式粗さ計などでは粗さの筋目に直角な方向に計測しないと、測定値に誤差が生ずる。ユーザが粗さの筋目あるいはその直角方向を常に正確に認識してセッティングを行うことは必ずしも容易ではなく、このセッティング誤差が測定値のばらつきの原因とする。   By the way, there are generally a large number of surfaces with anisotropy in the finished surface roughness, such as cutting surfaces such as turning and milling, lapping surfaces, buffing surfaces, etc. When measuring the roughness of such surfaces For measuring instruments that can measure only in one direction, measure the measurement direction and the roughness direction in exact alignment. For example, with a stylus type roughness meter, measurement must be performed in a direction perpendicular to the roughness line. An error occurs in the value. It is not always easy for the user to always accurately set the roughness line or the direction perpendicular thereto, and this setting error causes variations in measured values.

これに対し、本発明ではリングパターンを採用し、リングパターンの中心から径方向に延びる複数の線について粗さを測定するようにしているので、ユーザは粗さの方向を意識することなく測定を行うことができる。   On the other hand, in the present invention, a ring pattern is adopted, and the roughness is measured for a plurality of lines extending in the radial direction from the center of the ring pattern, so that the user can perform measurement without being aware of the direction of the roughness. It can be carried out.

また、表面粗さの異方性は表面の機能や機械的特性、例えば面の美しさ、接合面の濡れ特性、接触部合成などに影響すると考えられ、表面粗さの異方性の定量的把握も計測における重要なポイントになる。例えば、表面粗さの異方性を把握する場合、触針式粗さ計では方向をかえて測定を繰り返す必要があり、非常に時間がかかるのに対し、本発明では表面粗さの異方性を瞬時にして定量的に測定できる。   In addition, surface roughness anisotropy is thought to affect surface functions and mechanical properties such as surface aesthetics, joint wetting properties, and contact area synthesis. Grasping is also an important point in measurement. For example, when grasping the anisotropy of the surface roughness, it is necessary to repeat the measurement by changing the direction with the stylus type roughness meter, which takes a very long time, whereas in the present invention, the anisotropic surface roughness Sex can be measured instantaneously and quantitatively.

基準鏡面は専用のミラーを準備してもよいが、失うおそれがある。筒状のプローブは内部に塵が入らないようにキャップで先端開口を塞ぐのが望ましいことから、このキャップの内面を基準鏡面とすることができる。   As the reference mirror surface, a dedicated mirror may be prepared, but there is a risk of losing. Since it is desirable for the cylindrical probe to close the tip opening with a cap so that dust does not enter inside, the inner surface of this cap can be used as a reference mirror surface.

即ち、内面が基準鏡面となったキャップをプローブの先端に嵌着して基準鏡面と基準パターンとを相互に対面させ、光源の光によって基準パターンを照明して基準鏡面に基準パターンの反射像を写し、その反射像を撮像素子によって撮像し、得られた画像のリングパターンの中心から径方向に延びる複数の線上における画像データの輝度分布の振幅の標準偏差を求めるようにするのがよい。   That is, a cap whose inner surface is a reference mirror surface is fitted to the tip of the probe so that the reference mirror surface and the reference pattern face each other, and the reference pattern is illuminated by the light of the light source, and a reflected image of the reference pattern is formed on the reference mirror surface. It is preferable that the reflected image is captured by an image sensor, and the standard deviation of the amplitude of the luminance distribution of the image data on a plurality of lines extending in the radial direction from the center of the ring pattern of the obtained image is obtained.

輝度分布の振幅の標準偏差は画像のリングパターンの中心から径方向に延びる複数の線について求めればよく、角度間隔は特に限定されないが、表面粗さの異方性が写像性の評価の1つのパラメータであることを考慮すると、等しい角度間隔をあけて延びる複数の線について求めるのがよい。   The standard deviation of the amplitude of the luminance distribution may be obtained for a plurality of lines extending in the radial direction from the center of the ring pattern of the image, and the angle interval is not particularly limited, but the anisotropy of the surface roughness is one of the evaluations of image clarity. In consideration of being a parameter, it is preferable to obtain a plurality of lines extending at equal angular intervals.

即ち、得られた画像のリングパターンの中心から径方向に延びかつ相互に等しい角度間隔をあけてなる複数の線上における画像データの輝度分布の振幅の標準偏差を求めるようにするのがよい。   That is, it is preferable to obtain the standard deviation of the amplitude of the luminance distribution of the image data on a plurality of lines extending in the radial direction from the center of the ring pattern of the obtained image and spaced at equal angular intervals.

基準パターンはリングパターンであればよく、リングの幅は特に限定されない。また、リングパターンは1つでもよく、複数でもよい。特に、撮像素子の対物レンズを中心として複数のリングパターンを同心に配置してなる基準パターンを用いると、ワーク表面の広い範囲にわたって写像性を評価できる。   The reference pattern may be a ring pattern, and the width of the ring is not particularly limited. Further, the ring pattern may be one or plural. In particular, when a reference pattern formed by concentrically arranging a plurality of ring patterns around the objective lens of the image sensor is used, the image clarity can be evaluated over a wide range of the workpiece surface.

また、本発明に係る写像性の評価装置は、ワーク表面の写像性を評価する装置であって、先端が開放された筒状ケース内に撮像素子を内蔵しかつ撮像素子の対物レンズを中心としてリングパターンを配置してなる基準パターンを筒状ケースの上下方向の中間に設けて構成され、先端を基準鏡面又はワーク表面に当てて基準鏡面又はワーク表面と基準パターンとを相互に対面させ、光源の光によって基準パターンを照明して基準鏡面又はワーク表面に基準パターンの反射像を写し、その反射像を撮像素子によって撮像するプローブと、該プローブの先端に嵌着可能に設けられ、内面が基準鏡面となったキャップと、上記プローブの信号を入力とし、得られた画像のリングパターンの中心から径方向に延びる複数の線上における画像データの輝度分布の振幅の標準偏差を求め、得られた標準偏差と、基準鏡面について予め求めておいた画像のリングパターンの中心から径方向に延びる複数の線上における画像データの輝度分布の振幅の標準偏差との相対値を鏡面度として演算する演算処理装置と、を備えたことを特徴とする。   Further, the image clarity evaluation apparatus according to the present invention is an apparatus for evaluating image clarity of a workpiece surface, which has an imaging element built in a cylindrical case with an open tip and is centered on an objective lens of the imaging element. A reference pattern formed by arranging a ring pattern is provided in the middle of the cylindrical case in the vertical direction, and the reference mirror surface or work surface and the reference pattern face each other with the tip applied to the reference mirror surface or work surface, and the light source The reference pattern is illuminated with the light of the reference pattern, and a reflected image of the reference pattern is copied onto the reference mirror surface or the workpiece surface. Luminance of image data on multiple lines extending in the radial direction from the center of the ring pattern of the obtained image using the mirror cap and the probe signal as input Obtain the standard deviation of the amplitude of the cloth, the standard deviation obtained, and the standard deviation of the amplitude of the luminance distribution of the image data on a plurality of lines extending in the radial direction from the center of the ring pattern of the image obtained in advance with respect to the reference mirror surface And an arithmetic processing unit that calculates the relative value of the above as the specularity.

鏡面度はプリントアウトしあるいはディスプレイに表示した数値でもって評価してもよいが、数値を比較する必要があって直感的に評価し難い。そこで、演算処理装置で演算された複数の線についての鏡面度を中心から径方向に延びる鏡面度に対応した長さの線分として表示装置(ディスプレイ)に表示するようにすると、視覚によって写像性を評価できる。   The specularity may be evaluated with a numerical value printed out or displayed on a display, but it is difficult to evaluate intuitively because it is necessary to compare numerical values. Therefore, when the specularity of a plurality of lines calculated by the arithmetic processing device is displayed on the display device (display) as a line segment having a length corresponding to the specularity extending in the radial direction from the center, the image clarity is visually determined. Can be evaluated.

プローブは先端が開放された筒状ケース内に撮像素子を内蔵し、撮像素子の対物レンズを中心としてリングパターンを配置してなる基準パターンを筒状ケースの上下方向の中間に設けて構成すればよく、材質や大きさは特に限定されない。   The probe has a built-in image sensor in a cylindrical case with an open end, and a reference pattern formed by arranging a ring pattern around the objective lens of the image sensor is provided in the middle in the vertical direction of the cylindrical case. Well, the material and size are not particularly limited.

基準パターンは例えばフィルム、シートあるいはプレートにリングパターンを印刷し、あるいは刻印するなどして製作することができる。また、基準パターンはその反射像が基準鏡面やワーク表面に写され、鏡面度を求める基準となることから、平坦であることが重要である。   The reference pattern can be produced, for example, by printing or engraving a ring pattern on a film, sheet or plate. In addition, it is important that the reference pattern is flat because the reflected image is reflected on the reference mirror surface or the workpiece surface and becomes a reference for obtaining the mirror surface degree.

基準鏡面は鏡面度を求める基準となることから、平坦面であることが重要である。しかし、ワーク表面は必ずしも平坦面である必要はない。例えば、円筒面や球面であっても複数の線についての鏡面度あるいはその線分の長さの比較から、正確な円筒面や球面か否かを識別することができるからである。   It is important that the reference mirror surface is a flat surface because it serves as a reference for determining the specularity. However, the workpiece surface does not necessarily have to be a flat surface. For example, even if it is a cylindrical surface or a spherical surface, whether or not it is an accurate cylindrical surface or a spherical surface can be identified by comparing the mirror surface degree of a plurality of lines or the lengths of the line segments.

演算処理装置は例えばコンピュータを用いることができる。また、表示装置はCRT、液晶表示装置等の各種ディスプレイを用いることができる。   For example, a computer can be used as the arithmetic processing unit. As the display device, various displays such as a CRT and a liquid crystal display device can be used.

以下、本発明を図面に示す具体例に基づいて詳細に説明する。図1ないし図6は本発明に係る写像性の評価装置の好ましい実施形態を示す。本例の評価装置はプローブ10、コンピュータ(演算処理装置)20、ディスプレイ(表示装置)30及びプリンタ40から構成され、コンピュータ20はインターフェース50を介してプローブ10に接続されている。   Hereinafter, the present invention will be described in detail based on specific examples shown in the drawings. 1 to 6 show a preferred embodiment of the image clarity evaluation apparatus according to the present invention. The evaluation apparatus of this example includes a probe 10, a computer (arithmetic processing apparatus) 20, a display (display apparatus) 30, and a printer 40, and the computer 20 is connected to the probe 10 via an interface 50.

プローブ10では図2に示されるように、ケース11は先端が開口した円筒状をなし、ケース11内にはCCDカメラ12が対物レンズをケース11の先端開口に向けて内蔵されるとともに、ケース11の上部にはCCDカメラ12の信号を処理する処理ユニット12Aが設けられている。   In the probe 10, as shown in FIG. 2, the case 11 has a cylindrical shape with an open front end, and a CCD camera 12 is built in the case 11 with the objective lens facing the front end opening of the case 11. Is provided with a processing unit 12A for processing signals from the CCD camera 12.

また、プローブ10のケース11内には円筒状のベース13が圧入され、ベース13の下端面には基準パターン14が設けられている。この基準パターン14は例えばリング状のフィルムに図3に示されるような4本のリングパターンを形成して構成され、4本のリングパターンは対物レンズの中心を中心として同心にレイアウトされている。   A cylindrical base 13 is press-fitted into the case 11 of the probe 10, and a reference pattern 14 is provided on the lower end surface of the base 13. The reference pattern 14 is configured by forming, for example, four ring patterns as shown in FIG. 3 on a ring-shaped film, and the four ring patterns are laid out concentrically around the center of the objective lens.

さらに、プローブ10のケース11の先端縁内側には断面ほぼ三角形状のリング部材11Aが嵌め込んで固定されて嵌込み凹所が形成され、この嵌込み凹所には複数のLED(光源)16が基準パターン14を指向してかつ相互に間隔をあけて嵌め込まれ、その上方には光拡散リング15が嵌め込まれている。   Furthermore, a ring member 11A having a substantially triangular cross section is fitted and fixed inside the tip edge of the case 11 of the probe 10 to form a fitting recess, and a plurality of LEDs (light sources) 16 are formed in the fitting recess. Is oriented toward the reference pattern 14 and spaced from each other, and a light diffusion ring 15 is fitted above the reference pattern 14.

この光拡散リング15は例えば透明又は半透明のプラスチック製リングの外面に微小凹凸を形成しあるいは内部に光反射性の細粒や細片を分散して製作され、LED16の光を分散して基準パターン14を照明するようになっている。   The light diffusing ring 15 is manufactured, for example, by forming minute irregularities on the outer surface of a transparent or translucent plastic ring, or by dispersing light-reflective fine particles or small pieces inside, and dispersing the light from the LED 16 as a reference. The pattern 14 is illuminated.

また、プローブ10のケース11の先端にはキャップ18が着脱可能に嵌着され、キャップ18の内面は平坦な基準鏡面18Aとなっている。   A cap 18 is detachably fitted to the tip of the case 11 of the probe 10, and the inner surface of the cap 18 is a flat reference mirror surface 18A.

コンピュータ20はプローブ10からの画像データを入力とし、ワークWの表面について得られた画像のリングパターンの中心から径方向に等しい角度間隔で延びる例えば図4に示されるように64本の線上における画像データの輝度分布の振幅の標準偏差を求め、基準鏡面18Aについて予め求めておいた標準偏差との相対値を鏡面度として演算し、オペレータの指示に応じて複数の鏡面度を複数の各線毎にディスプレイ30上に表示し、又複数の線の鏡面度を中心から径方向に延びる鏡面度に対応した長さの線分として表示するようになっている。   The computer 20 receives the image data from the probe 10 as an input and extends from the center of the ring pattern of the image obtained on the surface of the workpiece W at equal angular intervals in the radial direction, for example, images on 64 lines as shown in FIG. The standard deviation of the amplitude of the luminance distribution of the data is obtained, and the relative value with respect to the standard deviation obtained in advance for the reference mirror surface 18A is calculated as the specularity, and a plurality of specularities are obtained for each of the plurality of lines according to the operator's instruction. It is displayed on the display 30, and the specularity of a plurality of lines is displayed as a line segment having a length corresponding to the specularity extending in the radial direction from the center.

ワークWの表面の写像性を評価する場合、プローブ10のケース11にキャップ18を被せたまま、プローブ10を起動させる。すると、LED16からの光で光拡散リング15によって拡散されて基準パターン14を均等に照明し、その反射像がキャップ18の基準鏡面に結像され、その反射像はCCDカメラ12で撮像され、コンピュータ20に送られる。   When evaluating the image clarity of the surface of the workpiece W, the probe 10 is activated with the cap 18 on the case 11 of the probe 10. Then, the light from the LED 16 is diffused by the light diffusing ring 15 to uniformly illuminate the reference pattern 14, the reflected image is formed on the reference mirror surface of the cap 18, and the reflected image is picked up by the CCD camera 12. 20 is sent.

コンピュータ20では得られた画像のリングパターンの中心から径方向に延びる64本の線上においてリングパターンの所定の範囲A(図5の(a) 参照)の画像データを例えば80画素のデータとして抽出し、その輝度分布を演算し、さらに輝度分布における振幅の平均値aを求め、リングパターンの部分L(図6の(a) 参照)と隣接するリングパターンの間の部分H(図6の(a) 参照)における振幅と平均値aとから標準偏差を演算し、64本の各線について求めた輝度分布における振幅の標準偏差を基準鏡面の標準偏差として記憶する。   The computer 20 extracts image data of a predetermined range A (see FIG. 5A) of the ring pattern as, for example, 80 pixel data on 64 lines extending in the radial direction from the center of the ring pattern of the obtained image. Then, the luminance distribution is calculated, and the average value a of the amplitude in the luminance distribution is obtained, and the ring pattern portion L (see (a) in FIG. 6) and the portion H between the adjacent ring patterns ((a in FIG. 6) The standard deviation is calculated from the amplitude and the average value a) in FIG. 6), and the standard deviation of the amplitude in the luminance distribution obtained for each of the 64 lines is stored as the standard deviation of the reference mirror surface.

次に、キャップ18を外し、プローブ10の先端開口を図1に示されるようにワークWの表面に当て、プローブ10を起動してワークWの表面に写った基準パターン14の反射像を撮像し、その画像データは基準鏡面の画像データと同様にしてコンピュータ20で演算処理される。   Next, the cap 18 is removed, the tip opening of the probe 10 is applied to the surface of the workpiece W as shown in FIG. 1, and the probe 10 is activated to capture a reflection image of the reference pattern 14 reflected on the surface of the workpiece W. The image data is processed by the computer 20 in the same manner as the image data of the reference mirror surface.

ワークWの表面の場合、基準パターン14の反射像はワークWの表面の表面粗さや形状の異方性に応じてぼやけ又は変形したものとなるので、得られた画像データの輝度分布は例えば図6の(b) に示されるように立ち上がり及び立ち下がりが基準鏡面18Aの矩形状に比して形状が崩れ、又振幅は小さくなる。   In the case of the surface of the workpiece W, the reflected image of the reference pattern 14 is blurred or deformed according to the surface roughness of the surface of the workpiece W or the anisotropy of the shape. As shown in FIG. 6 (b), the rise and fall are deformed compared to the rectangular shape of the reference mirror surface 18A, and the amplitude is reduced.

そこで、ワークWの表面について得られた64本の各線の標準偏差と基準鏡面18Aについて得られた64本の対応する線の標準偏差との相対値を
(ワーク表面の標準偏差/基準鏡面の標準偏差)×基準値(例えば、1000)
の式を用いて演算してこれを鏡面度とする。
Therefore, the relative value of the standard deviation of each of the 64 lines obtained for the surface of the workpiece W and the standard deviation of the 64 corresponding lines obtained for the reference mirror surface 18A is expressed as (standard deviation of the workpiece surface / standard of the reference mirror surface). Deviation) × reference value (for example, 1000)
This is used as the specularity.

こうして得られた鏡面度を64本の各線毎に記憶し、オペレータがキー操作又はマウス操作によってコンピュータ20に指示を与えると、ディスプレイ30上には64本の各線毎の鏡面度が数値で表示され、又オペレータの指示があると、その数値がプリントアウトされる。   The specularity thus obtained is stored for each of the 64 lines, and when the operator gives an instruction to the computer 20 by a key operation or a mouse operation, the specularity for each of the 64 lines is displayed as a numerical value on the display 30. When there is an instruction from the operator, the numerical value is printed out.

また、オペレータの指示があると、ディスプレイ30上には64本の各線毎の鏡面度が放射状に延びる64本の鏡面度に応じた長さの線分として表示される。   When the operator gives an instruction, the specularity of each of the 64 lines is displayed on the display 30 as a line segment having a length corresponding to the 64 specularities extending radially.

基準パターン14をLED16によって照明し、その反射像をワーク表面に結像させるようにしているので、スリットパターンを用いる場合に比して反射像が高い精度でもって結像される。従来のスリットパターンでは0.1μm以下の中心線平均粗さしか検知できなかったのに対し、本件発明者らの実験によれば、本例の方法では中心線平均粗さ0.01μm〜10μmまでの表面粗さを検知することができる結果、写像性を高い精度でもって評価することができることが確認された。特に、基準パターン14のリングパターンの数をさらに多くし、パターンの輪郭を高い精度、例えばμmレベルの精度で形成すると、ワーク表面の写像性をさらに的確に評価できることが期待される。   Since the reference pattern 14 is illuminated by the LED 16 and the reflected image is formed on the workpiece surface, the reflected image is formed with higher accuracy than when the slit pattern is used. In contrast to the conventional slit pattern, which can only detect a center line average roughness of 0.1 μm or less, according to the present inventors' experiment, the center line average roughness of 0.01 μm to 10 μm is obtained in the method of this example. As a result, it was confirmed that the image clarity can be evaluated with high accuracy. In particular, when the number of ring patterns of the reference pattern 14 is further increased and the contour of the pattern is formed with high accuracy, for example, with accuracy of the μm level, it is expected that the image clarity of the workpiece surface can be more accurately evaluated.

図7ないし図10は異なるワークにおける基準パターン14の反射像、鏡面度の線分(絶対値及び相対値)を示す。図7は表面粗さが小さく、しかも形状の異方性が少ないワークの場合であり、鏡面度の線分は十分に長く、しかも相互にほぼ等しくなっており、写像性が高いと評価することができる。   7 to 10 show the reflection image of the reference pattern 14 and the line segment (absolute value and relative value) of the specularity in different works. Fig. 7 shows the case of a workpiece with low surface roughness and little shape anisotropy. The line segments of the specularity are sufficiently long and almost equal to each other, and it is evaluated that the image clarity is high. Can do.

図8は表面粗さはそれほど大きくはないが、形状の異方性があるワークの場合であり、鏡面度の線分はそれほど短くないが、線分の長さにばらつきがあり、写像性があまり高くないと評価することができる。   FIG. 8 shows a case where the surface roughness is not so large, but the workpiece has anisotropy in shape. The line segment of the mirror surface degree is not so short, but the length of the line segment varies and the image clarity is low. It can be evaluated that it is not too high.

図9は表面粗さは大きく、しかも形状の異方性があるワークの場合であり、鏡面度の線分は短く、線分の長さにばらつきがあり、写像性が低いと評価することができる。   FIG. 9 shows a case where the surface roughness is large and the work has anisotropy in shape. It can be evaluated that the specularity line segment is short, the length of the line segment varies, and the image clarity is low. it can.

図10は表面粗さは非常に大きく、しかも形状の異方性があるワークの場合であり、鏡面度の線分は極めて短く、線分の長さにばらつきがあり、写像性は相当に低いと評価することができる。   FIG. 10 shows a case where the surface roughness is very large and the work has anisotropy in shape, the line segment of the specularity is very short, the length of the line segment varies, and the image clarity is considerably low. Can be evaluated.

本発明に係る写像性の評価装置の好ましい実施形態における全体構成を示す図である。It is a figure which shows the whole structure in preferable embodiment of the image clarity evaluation apparatus which concerns on this invention. 上記実施形態におけるプローブの構造を示す図である。It is a figure which shows the structure of the probe in the said embodiment. 上記実施形態における基準パターンの例を示す図である。It is a figure which shows the example of the reference | standard pattern in the said embodiment. 上記実施形態における画像データから輝度分布を抽出する方法を説明するための模式図である。It is a schematic diagram for demonstrating the method of extracting luminance distribution from the image data in the said embodiment. 上記実施形態における画像データの例を示す図である。It is a figure which shows the example of the image data in the said embodiment. 上記実施形態における輝度分布の例を示す図である。It is a figure which shows the example of the luminance distribution in the said embodiment. ワーク表面の反射像及び鏡面度の線分の例を示す図である。It is a figure which shows the example of the line segment of the reflected image of a workpiece | work surface, and specularity. 他のワーク表面の反射像及び鏡面度の線分の例を示す図である。It is a figure which shows the example of the line segment of the reflected image and specularity of the other workpiece | work surface. 更に他のワーク表面の反射像及び鏡面度の線分の例を示す図である。Furthermore, it is a figure which shows the example of the line segment of the reflected image and mirror surface degree of another workpiece | work surface. 更にまたワーク表面の反射像及び鏡面度の成分の例を示す図である。Furthermore, it is a figure which shows the example of the reflected image of a workpiece | work surface, and a component of specularity.

符号の説明Explanation of symbols

10 プローブ
11 円筒状ケース
12 CCDカメラ
14 基準パターン
15 LED(光源)
20 コンピュータ(演算処理装置)
30 ディスプレイ(表示装置)
10 Probe 11 Cylindrical Case 12 CCD Camera 14 Reference Pattern 15 LED (Light Source)
20 Computer (arithmetic processing unit)
30 Display (display device)

Claims (6)

ワーク表面の写像性を評価するにあたり、
先端が開放された筒状ケース内に撮像素子を内蔵しかつ撮像素子の対物レンズを中心としてリングパターンを配置してなる基準パターンが筒状ケースの上下方向の中間に設けられたプローブを用い、
プローブの先端をワーク表面に当ててワーク表面と基準パターンとを相互に対面させ、光源の光によって基準パターンを照明してワーク表面に基準パターンの反射像を写し、その反射像を撮像素子によって撮像し、
得られた画像のリングパターンの中心から径方向に延びる複数の線上における画像データの輝度分布の振幅の標準偏差を求め、得られた標準偏差と、基準鏡面について予め求めておいた画像のリングパターンの中心から径方向に延びる複数の線上における画像データの輝度分布の振幅の標準偏差との相対値を鏡面度とし、複数の線についての鏡面度からワーク表面の写像性を評価するようにしたことを特徴とする写像性の評価方法。
In evaluating the image clarity of the workpiece surface,
Using a probe in which an imaging element is built in a cylindrical case with an open tip and a reference pattern formed by arranging a ring pattern around the objective lens of the imaging element is provided in the middle in the vertical direction of the cylindrical case,
Place the probe tip against the workpiece surface so that the workpiece surface and the reference pattern face each other, illuminate the reference pattern with light from the light source, copy the reflected image of the reference pattern onto the workpiece surface, and capture the reflected image with an image sensor. And
Obtain the standard deviation of the amplitude of the luminance distribution of the image data on a plurality of lines extending in the radial direction from the center of the ring pattern of the obtained image, and obtain the standard deviation and the ring pattern of the image obtained in advance for the reference mirror surface The relative value of the amplitude deviation of the brightness distribution of the image data on multiple lines extending in the radial direction from the center of the image is taken as the specularity, and the image clarity of the workpiece surface is evaluated from the specularity of the multiple lines. Evaluation method of image clarity characterized by
内面が基準鏡面となったキャップをプローブの先端に嵌着して基準鏡面と基準パターンとを相互に対面させ、光源の光によって基準パターンを照明して基準鏡面に基準パターンの反射像を写し、その反射像を撮像素子によって撮像し、
得られた画像のリングパターンの中心から径方向に延びる複数の線上における画像データの輝度分布の振幅の標準偏差を求めるようにした請求項1記載の写像性の評価方法。
A cap whose inner surface is a reference mirror surface is fitted to the tip of the probe so that the reference mirror surface and the reference pattern face each other, the reference pattern is illuminated by light from the light source, and a reflected image of the reference pattern is copied to the reference mirror surface. The reflected image is captured by the image sensor,
The method for evaluating image clarity according to claim 1, wherein the standard deviation of the amplitude of the luminance distribution of the image data on a plurality of lines extending in the radial direction from the center of the ring pattern of the obtained image is obtained.
得られた画像のリングパターンの中心から径方向に延びかつ相互に等しい角度間隔をあけてなる複数の線上における画像データの輝度分布の振幅の標準偏差を求めるようにした請求項1又は2記載の写像性の評価方法。   3. The standard deviation of the amplitude of the luminance distribution of the image data on a plurality of lines extending in the radial direction from the center of the ring pattern of the obtained image and spaced at equal angular intervals. Evaluation method of image clarity. 撮像素子の対物レンズを中心として複数のリングパターンを同心に配置してなる基準パターンを用いるようにした請求項1又は2記載の写像性の評価方法。   3. The image clarity evaluation method according to claim 1, wherein a reference pattern formed by concentrically arranging a plurality of ring patterns around an objective lens of an image sensor is used. ワーク表面の写像性を評価する装置であって、
先端が開放された筒状ケース内に撮像素子を内蔵しかつ撮像素子の対物レンズを中心としてリングパターンを配置してなる基準パターンを筒状ケースの上下方向の中間に設けて構成されており、先端を基準鏡面又はワーク表面に当てて基準鏡面又はワーク表面と基準パターンとを相互に対面させ、光源の光によって基準パターンを照明して基準鏡面又はワーク表面に基準パターンの反射像を写し、その反射像を撮像素子によって撮像するプローブと、
該プローブの先端に嵌着可能に設けられ、内面が基準鏡面となったキャップと、
上記プローブの信号を入力とし、得られた画像のリングパターンの中心から径方向に延びる複数の線上における画像データの輝度分布の振幅の標準偏差を求め、得られた標準偏差と、基準鏡面について予め求めておいた画像のリングパターンの中心から径方向に延びる複数の線上における画像データの輝度分布の振幅の標準偏差との相対値を鏡面度として演算する演算処理装置と、
を備えたことを特徴とする写像性の評価装置。
An apparatus for evaluating the image clarity of a workpiece surface,
It is configured by providing a reference pattern in the middle of the cylindrical case in the vertical direction, in which the imaging element is built in the cylindrical case with the open end and the ring pattern is arranged around the objective lens of the imaging element. The tip is applied to the reference mirror surface or workpiece surface so that the reference mirror surface or workpiece surface and the reference pattern face each other, the reference pattern is illuminated by the light of the light source, and a reflected image of the reference pattern is projected on the reference mirror surface or workpiece surface. A probe that captures a reflected image with an image sensor;
A cap provided to be fitted to the tip of the probe and having an inner surface serving as a reference mirror surface;
Using the probe signal as an input, the standard deviation of the amplitude of the luminance distribution of the image data on a plurality of lines extending in the radial direction from the center of the ring pattern of the obtained image is obtained, and the obtained standard deviation and the reference mirror surface are obtained in advance. An arithmetic processing unit that calculates the relative value of the standard deviation of the amplitude of the luminance distribution of the image data on a plurality of lines extending in the radial direction from the center of the ring pattern of the image that has been obtained;
A device for evaluating image clarity, comprising:
上記演算処理装置で演算された複数の線についての鏡面度を中心から径方向に延びる鏡面度に対応した長さの線分として表示する表示装置を更に備えた請求項5記載の写像性の評価装置。   6. The evaluation of image clarity according to claim 5, further comprising a display device that displays the specularity of the plurality of lines calculated by the arithmetic processing unit as a line segment having a length corresponding to the specularity extending in the radial direction from the center. apparatus.
JP2006299940A 2005-11-11 2006-11-06 Evaluation method of image clarity Expired - Fee Related JP4768579B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006299940A JP4768579B2 (en) 2005-11-11 2006-11-06 Evaluation method of image clarity

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005326829 2005-11-11
JP2005326829 2005-11-11
JP2006299940A JP4768579B2 (en) 2005-11-11 2006-11-06 Evaluation method of image clarity

Publications (2)

Publication Number Publication Date
JP2007155709A true JP2007155709A (en) 2007-06-21
JP4768579B2 JP4768579B2 (en) 2011-09-07

Family

ID=38240252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006299940A Expired - Fee Related JP4768579B2 (en) 2005-11-11 2006-11-06 Evaluation method of image clarity

Country Status (1)

Country Link
JP (1) JP4768579B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009300085A (en) * 2008-06-10 2009-12-24 Arc Harima Kk Surface property measuring instrument
JP2012068025A (en) * 2010-09-21 2012-04-05 Ntn Corp Visual inspection device and visual inspection method
CN103900500A (en) * 2014-03-25 2014-07-02 中国原子能科学研究院 Impact specimen fracture picture taking device
EP3220101A1 (en) 2016-03-16 2017-09-20 Ricoh Company, Ltd. Texture evaluation apparatus, texture evaluation method, and computer-readable recording medium
EP3410101A1 (en) 2017-05-31 2018-12-05 Ricoh Company, Limited Evaluation device and recording medium storing evaluation program
JP6481188B1 (en) * 2018-06-20 2019-03-13 スガ試験機株式会社 Image clarity measuring instrument
JP2019158820A (en) * 2018-03-16 2019-09-19 Jfeエンジニアリング株式会社 Base processing inspection device and method for inspecting base processing
CN111366560A (en) * 2020-03-26 2020-07-03 北京印刷学院 Method for detecting and characterizing visual definition of printed matter
JP2020201156A (en) * 2019-06-11 2020-12-17 コニカミノルタ株式会社 Device and method for evaluation
JP2021004272A (en) * 2019-06-25 2021-01-14 株式会社イノアックコーポレーション Seal material
WO2022034741A1 (en) * 2020-08-11 2022-02-17 株式会社ウィズアクア Measurement device, measurement system, determination method, and determination program

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009300085A (en) * 2008-06-10 2009-12-24 Arc Harima Kk Surface property measuring instrument
JP2012068025A (en) * 2010-09-21 2012-04-05 Ntn Corp Visual inspection device and visual inspection method
CN103900500A (en) * 2014-03-25 2014-07-02 中国原子能科学研究院 Impact specimen fracture picture taking device
US10593031B2 (en) 2016-03-16 2020-03-17 Ricoh Company, Ltd. Texture evaluation apparatus, texture evaluation method, and computer-readable recording medium
EP3220101A1 (en) 2016-03-16 2017-09-20 Ricoh Company, Ltd. Texture evaluation apparatus, texture evaluation method, and computer-readable recording medium
EP3410101A1 (en) 2017-05-31 2018-12-05 Ricoh Company, Limited Evaluation device and recording medium storing evaluation program
JP2018205037A (en) * 2017-05-31 2018-12-27 株式会社リコー Evaluation device, evaluation program, and method for evaluation
US10614563B2 (en) 2017-05-31 2020-04-07 Ricoh Company, Ltd. Evaluation device and recording medium storing evaluation program
JP2019158820A (en) * 2018-03-16 2019-09-19 Jfeエンジニアリング株式会社 Base processing inspection device and method for inspecting base processing
JP2019219510A (en) * 2018-06-20 2019-12-26 スガ試験機株式会社 Device for measuring image clarity
JP6481188B1 (en) * 2018-06-20 2019-03-13 スガ試験機株式会社 Image clarity measuring instrument
JP2020201156A (en) * 2019-06-11 2020-12-17 コニカミノルタ株式会社 Device and method for evaluation
JP7272124B2 (en) 2019-06-11 2023-05-12 コニカミノルタ株式会社 Evaluation device and evaluation method
JP2021004272A (en) * 2019-06-25 2021-01-14 株式会社イノアックコーポレーション Seal material
JP7305457B2 (en) 2019-06-25 2023-07-10 株式会社イノアックコーポレーション sealing materials, adhesives
CN111366560A (en) * 2020-03-26 2020-07-03 北京印刷学院 Method for detecting and characterizing visual definition of printed matter
WO2022034741A1 (en) * 2020-08-11 2022-02-17 株式会社ウィズアクア Measurement device, measurement system, determination method, and determination program

Also Published As

Publication number Publication date
JP4768579B2 (en) 2011-09-07

Similar Documents

Publication Publication Date Title
JP4768579B2 (en) Evaluation method of image clarity
JP5546103B2 (en) Device for controlling transparent or reflective parts
JP5274008B2 (en) System and method for using light to indicate defect locations in composite buildings
US5500737A (en) Method for measuring the contour of a surface
US7400414B2 (en) Hand-size structured-light three-dimensional metrology imaging system and method
US8638984B2 (en) Display of results of a measurement of workpieces as a function of the detection of the gesture of a user
JP5681021B2 (en) Surface texture measuring device
US8238641B2 (en) Method for measuring mirror index and apparatus thereof
US9998729B2 (en) Method and system for three dimensional imaging and analysis
CN110231352A (en) Image testing device, image checking method and image inspection program
JP2006003372A (en) Method for measuring property of specularly reflecting surface by ccd camera, and apparatus thereof
JP2001099632A (en) Normal reflection type surface shape measuring method and device with ccd camera
EP3240993B1 (en) An arrangement of optical measurement
JP5557586B2 (en) Surface texture measuring device and surface texture measuring method
JPH0875542A (en) Method for measuring quantity of light for display pixel, and method and apparatus for inspecting display screen
KR20070050854A (en) Method for measuring roughness of work piece
JP6508763B2 (en) Surface inspection device
CN115452832A (en) Surface inspection device, storage medium, and surface inspection method
JP2008224540A (en) Distortion inspection method and inspection device
Mantel et al. 3d surface topography measurement using elastomeric contact
US20190227002A1 (en) Apparatus and methods for inspecting damage intensity
JP4787543B2 (en) Optical sheet inspection method
JP4496149B2 (en) Dimensional measuring device
JPH09113215A (en) Device and method of measuring alignment of lenticular medium
CN115931868A (en) Surface inspection device, storage medium, and surface inspection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090415

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110606

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110616

R150 Certificate of patent or registration of utility model

Ref document number: 4768579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees