JP2006189463A - Inspection method of article surface - Google Patents
Inspection method of article surface Download PDFInfo
- Publication number
- JP2006189463A JP2006189463A JP2006101891A JP2006101891A JP2006189463A JP 2006189463 A JP2006189463 A JP 2006189463A JP 2006101891 A JP2006101891 A JP 2006101891A JP 2006101891 A JP2006101891 A JP 2006101891A JP 2006189463 A JP2006189463 A JP 2006189463A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- workpiece
- pixels
- inspected
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本発明は,物品表面を撮影した画像によって物品の外観を検査する方法に関する。 The present invention relates to a method for inspecting the appearance of an article using an image obtained by photographing the article surface.
物品表面の状態を検査する方法として,一般に種々の方法が知られているが,とりわけCCDカメラにより物品を撮影し,その画像を演算処理することによって物品表面の状態を検査する方法が採用されている。この場合,例えばCCDカメラで撮影した画像中において被検査面を示している画素から10点程度選択してそれらの輝度の平均値を標準値として定め,測定対象点の画素の輝度をこの標準値と比較して,物品表面の状態を検査することが行われている。 Various methods are generally known as methods for inspecting the state of an article surface. In particular, a method for inspecting the state of an article surface by photographing the article with a CCD camera and processing the image is adopted. Yes. In this case, for example, about 10 points are selected from the pixels indicating the surface to be inspected in the image photographed by the CCD camera, the average value of the luminances is determined as the standard value, and the luminance of the pixel at the measurement target point is set to the standard value. Compared to the above, the state of the article surface is inspected.
しかしながら,このような従来の検査方法によると,物品の表面状態の変化や,太陽光や室内照明などといった外部環境の変化,画像の撮影をするための照明の有無等により,検査結果が安定しないという問題があった。また一方,検査結果を安定させるために外部環境などの影響を排除するには,多大な投資が必要であった。 However, according to such a conventional inspection method, the inspection result is not stable due to a change in the surface condition of the article, a change in the external environment such as sunlight or indoor lighting, and the presence or absence of illumination for taking an image. There was a problem. On the other hand, in order to eliminate the influence of the external environment and the like in order to stabilize the test results, a great investment was required.
本発明の目的は,外部環境などに影響されずに安定して物品表面の状態を検査できる方法とシステムを提供することにある。 An object of the present invention is to provide a method and system capable of inspecting the state of an article surface stably without being affected by the external environment.
本発明者らは,希土類金属からなる円盤形状磁石のメッキされた表面をCCDカメラで撮影し,その画像において色むら,シミ,膨れ,欠け等を観察し,種々検討した結果,被検査面(メッキ表面)の光学的測定値,特に輝度は外部環境や物品の種類によって異なるが,CCDカメラで撮影された画像中において被検査面を示している画素の輝度は,被検査面が平面もしくは曲率の小さい曲面である場合はほぼ一定な値を示し,±20%程度の正規分布となり,一方,被検査面にシミや,膨れ,ヘアクラックなどの不良がある場合は,画像中においてその不良箇所を示している画素の輝度は,特異な値を示すことを見いだした。 The present inventors photographed a plated surface of a disk-shaped magnet made of a rare earth metal with a CCD camera, observed color irregularities, spots, blisters, chips, etc. in the image, and as a result of various examinations, the surface to be inspected ( The optical measurement value (particularly the plating surface), especially the brightness, varies depending on the external environment and the type of product, but the brightness of the pixel indicating the surface to be inspected in the image taken by the CCD camera is flat or curved. If the curved surface is small, it shows an almost constant value and becomes a normal distribution of about ± 20%. On the other hand, if the surface to be inspected has defects such as spots, blisters, and hair cracks, the defective portion in the image It has been found that the luminance of the pixel indicating the is a unique value.
かかる知見に基づき,本発明によれば,物品の被検査面をCCDカメラにより撮影し,その画像によって物品表面を検査する方法であって,画像中において被検査面を示している画素から任意の2つの画素を選択し,それらを比較することによって物品の表面を検査をすることを特徴とする,検査方法が提供される。 Based on such knowledge, according to the present invention, a method for inspecting the surface of an article with a CCD camera and inspecting the surface of the article with the image is provided. An inspection method is provided, which comprises inspecting the surface of an article by selecting two pixels and comparing them.
この検査方法は,被検査面を示している画素の全部について比較することが好ましい。また,2つの画素を選択するに際し,例えば点対称もしくは線対称である画素を選択することができる。選択された2つの画素について,例えば輝度を比較する。その場合,選択された2つの画素の輝度の比を求め,その比が所定の範囲外である画素が所定の数連続する場合に,物品表面の状態を不良と判断することができる。なお,物品の被検査面をCCDカメラにより撮影するに際し,光源により被検査面を照明しても良い。 In this inspection method, it is preferable to compare all the pixels indicating the surface to be inspected. Further, when selecting two pixels, for example, a pixel that is point-symmetric or line-symmetric can be selected. For example, the luminances of the two selected pixels are compared. In that case, the ratio of the luminance of the two selected pixels is obtained, and when a predetermined number of pixels having the ratio outside the predetermined range continues, the state of the article surface can be determined to be defective. When the surface to be inspected of the article is photographed with a CCD camera, the surface to be inspected may be illuminated with a light source.
本発明によれば,物品の外観を安定して検査することが可能となる。 According to the present invention, it is possible to stably inspect the appearance of an article.
以下,本発明の好ましい実施の形態を図面を参照にして説明する。図1は,本発明の実施の形態にかかる検査システム1の概略的な構成を示す平面図である。この実施の形態では,物品の一例であるNd−Fe−B−C系焼結磁石からなるワークWの外観を連続的に検査する検査システム1として構成されている。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a plan view showing a schematic configuration of an
ワーク(希土類磁石)Wは,円形あるいは角形等の平板形状をなしている。このような平板形状をなすワークWは,焼成によって得られた丸棒状や角棒状の焼結品をスライス状に切断することにより形成されており,例えば厚みが数mm程度で直径や一辺の長さが10mm程度である。このため,ワークWの表面W1と裏面W2はいずれも切断面に形成されている。 The workpiece (rare earth magnet) W has a flat plate shape such as a circle or a square. The workpiece W having such a flat plate shape is formed by cutting a round bar-shaped or square bar-shaped sintered product obtained by firing into slices. For example, the workpiece W has a thickness of about several millimeters and a diameter or a length of one side. Is about 10 mm. For this reason, both the front surface W1 and the back surface W2 of the workpiece | work W are formed in the cut surface.
図1に示す検査システム1において,ワークWが,ホッパー10から整列フィーダー11及びリニアフィーダー12を経て供給されて切り出し装置13によって一枚ずつ取り出され,第1のコンベア14の始端部(図1では,第1の搬送コンベア14の左端部)にワークWが一枚ずつ供給される。整列フィーダー11は,ホッパー10から供給されたワークWに振動を加えることにより,ワークWの表面W1を上に向けた姿勢に揃えて,次のリニアフィーダー12に受け渡すようになっている。切り出し装置13は,図1において反時計回転方向に回転し,その搬送中においてワークWの厚さを二つの厚さ検査装置15,16によって検査するようになっている。
In the
第1のコンベア14は,切り出し装置13から受け渡されたワークWの表面W1を上に向けた姿勢で,その始端部から終端部に向けて(図1中の右向きに)ワークWを搬送していく。第1のコンベア14の終端部(図1では,第1のコンベア14の右端部)には,第2のコンベア20の始端部(図1では,第2のコンベア20の左端部)が接続されており,これら第1のコンベア14と第2のコンベア20によってワークWを搬送する搬送装置を構成している。
The
第1のコンベア14の終端部と第2のコンベア20の始端部の接続箇所には,ワークWを裏返しに反転させる反転装置21が配置されている。反転装置21は,第1のコンベア14から受け渡されたワークWを反転させ,ワークWの裏面W2を上に向けた姿勢にさせるようになっている。第2のコンベア20は,こうして反転装置21によって裏面W2を上に向けた姿勢にさせられたワークWを,その始端部から終端部に向けて(図1中の右向きに)搬送していく。
A
第1のコンベア14に沿って,分別装置25とワークWの表面W1側の外観を検査する3つの検査手段26,27,28が配置されている。分別装置25は,厚さ検査装置15,16によって検査されたことにより,厚さが所定範囲にあると判定されたワークWはそのまま第1のコンベア14によって図1中の右向きに搬送させるが,厚さが所定範囲を越えていると判定されたワークWは領域30に排出させ,厚さが所定範囲未満と判定されたワークWは領域31に排出させる。これにより,厚さが所定範囲にあるワークWだけが,次の検査手段26,27,28に供給されるようになっている。
Along the
一方,第2のコンベア20に沿って,ワークWの裏面W2側の外観を検査する3つの検査手段35,36,37と分別装置38が配置されている。分別装置38は,第1のコンベア14に沿って配置された検査手段26,27,28と第2のコンベア20に沿って配置された検査手段35,36,37によって検査したことにより,外観が正常であると判定されたワークWは,第2のコンベア20の終端部においてシュート40を経て収納領域41に搬出させるが,外観が不良であると判定されたワークWは,第2のコンベア20の終端部においてシュート42を経て領域43に搬出させ,外観が判定できなかったワークWは,第2のコンベア20の終端部においてシュート45を経て領域46に搬出させるようになっている。
On the other hand, along the second conveyor 20, three inspection means 35, 36, 37 for inspecting the appearance of the work W on the
ここで,第1のコンベア14に沿って配置された検査手段26と第2のコンベア20に沿って配置された検査手段35は同様の構成を有しており,図2は,これら検査手段26,35の説明図である。第1のコンベア14もしくは第2のコンベア20によって搬送されるワークWの上方に光源50が配置されており,この光源50によりほぼ真上からワークWを照明している。光源50はリング形状をなしており,この光源50からワークWに照射された反射光が光源50の中央に配置されたコンバージョンレンズ51に入光し,ズームレンズ52を経てCCDカメラ53によってワークWの画像が撮影される。検査手段26,35においては,これらコンバージョンレンズ51,ズームレンズ52及びCCDカメラ53はいずれもワークWの真上(検査手段26にあってはワークWの表面W1に対して垂直,検査手段35にあっては裏面W2に対して垂直)に位置している。こうして,検査手段26においては,第1のコンベア14によって搬送されるワークWの表面W1に対して垂直(真上)の方向から被検査面(表面W1)を撮影し,検査手段35においては,第2のコンベア20によって搬送されるワークWの裏面W2に対して垂直(真上)の方向から被検査面(裏面W2)を撮影する。
Here, the inspection means 26 arranged along the
また,第1のコンベア14に沿って配置された検査手段27と第2のコンベア20に沿って配置された検査手段36も,基本的には図2で説明した検査手段26,35と同様の構成を有しており,図3に示すように,リング状の光源55によってワークWを照明し,その反射光がコンバージョンレンズ56に入光し,ズームレンズ57を経てCCDカメラ58によってワークWの画像が撮影されるようになっている。これらコンバージョンレンズ56,ズームレンズ57及びCCDカメラ58はいずれもワークWの真上(検査手段27にあってはワークWの表面W1に対して垂直,検査手段36にあっては裏面W2に対して垂直)に位置しており,検査手段27においては,第1のコンベア14によって搬送されるワークWの表面W1に対して垂直の方向から撮影し,検査手段36においては,第2のコンベア20によって搬送されるワ−クWの裏面W2に対して垂直の方向から撮影する。但し,これら検査手段27,36にあっては,光源55が(光源50に比べて)大径であり,ワークWの周囲からワークWの外周緑部に対して光を照射している。図示の形態にあっては,ワークWの外周緑部に対して斜め45°に下向きに光を照射するように構成されている。これにより,光源55から照射された光はワークWの外周緑部で反射するので,CCDカメラ58はワークWの外周緑部を撮影するようになっている。
Further, the inspection means 27 arranged along the
また,第1のコンベア14に沿って配置された検査手段28と第2のコンベア20に沿って配置された検査手段37も,基本的には図2で説明した検査手段26,35と同様の構成を有しており,図4に示すように,リング状の光源60によってワークWを照明し,その反射光がコンバージョンレンズ61に入光し,ズームレンズ62を経てCCDカメラ63によってワークWの画像が撮影されるようになっている。但し,先に説明した検査手段26,35や検査手段27,36がワークWに対してほぼ真上から光を照射し,コンバージョンレンズ51,56,ズームレンズ52,57及びCCDカメラ53,58がいずれもワークWの真上(ワークWの表面W1もしくは裏面W2に対して垂直)に配置されていたのに対し,この検査手段28,37にあっては,図4に示すように,光源60とコンバージョンレンズ61,ズームレンズ62及びCCDカメラ63がいずれも,ワークWの表面W1もしくは裏面W2に対して垂直な方向Xに対してα°だけ斜めに傾いた光軸Yを中心として配置されている点が異なっている。この場合,傾斜角αは,例えば5°〜10°程度である。
In addition, the inspection means 28 arranged along the
なお,これら検査手段26,35の光源50及び検査手段28,37の光源60としては,例えばハロゲンランプのリング照明が用いられ,検査手段27,36の光源55としては,例えばハロゲンランプの内径照射照明が用いられる。
As the
また,これら検査手段26,35,検査手段27,36及び検査手段28,37において,コンバージョンレンズ51,56,61としては,例えば清和光学製のCV−05(0.5倍),CV−025(0.25倍)のレンズが用いられる。この場合,最大径が32Φ以下の点対称形状のワークWであればCV−025(0.25倍)のレンズを使用し,最大径が16Φ以下の点対称形状のワークWであればCV−05(0.5倍)のレンズを使用するなどといったように,ワークWの大きさや検査基準などによって使用するレンズを変更すると良い。
In these inspection means 26 and 35, inspection means 27 and 36, and inspection means 28 and 37,
また,これら検査手段26,35,検査手段27,36及び検査手段28,37において,ズームレンズ52,57,62としては,例えば清和光学製のMS−501(0.75〜4.5)の高解像度ズームレンズが用いられる。CCDカメラ53,58,63としては,例えば東京電子製のCS3910(解像度1280×1030),竹中システム製のFC−1300(解像度1280×1030),SONY製のXC−7500(解像度512×480)などが用いられる。なお,東京電子製のCS3910及び竹中システム製のFC−1300には画像入力ボードとしてファースト製のFHC−331LVを用いると良く,SONY製のXC−7500には画像入力ボードとしてファースト製のRICE−001を用いると良い。
Further, in these inspection means 26, 35, inspection means 27, 36 and inspection means 28, 37,
図1に示すように,これら検査手段26,35,検査手段27,36及び検査手段28,37で撮影された画像は,制御装置70に入力されるようになっている。制御装置70は,こうして入力された画像によって後述するようにワークWの表面を検査し,その検査結果に基づいて第2のコンベア20の終端部に配置された分別装置38を制御する。これにより,前述のように外観が正常なワークWのみを収納領域41に搬出させ,外観が不良のワークWを領域43に搬出させると共に,外観が判定できなかったワークWを領域46に搬出させるようになっている。
As shown in FIG. 1, images taken by these inspection means 26, 35, inspection means 27, 36 and inspection means 28, 37 are input to the control device 70. The control device 70 inspects the surface of the workpiece W as will be described later based on the image thus input, and controls the
さて,以上のように構成された検査システム1において,表面W1を上に向けた姿勢にされたワークWが,切り出し装置13により第1のコンベア14の始端部に一枚ずつ供給される。そして分別装置25により,厚さが所定範囲にあるワークWのみがそのまま第1のコンベア14によって図1中の右向きに搬送されていく。
Now, in the
この搬送中において,検査手段26,27,28によりワークWの表面W1側の外観が検査される。即ち,先ず検査手段26の光源50で照明され,CCDカメラ53によってワークWの表面W1の画像が撮影されて,その画像が制御装置70に入力される。こうしてCCDカメラ53で撮影され,制御装置70に入力されるワークWの表面W1の画像Aは,例えばワークWの表面W1の形状が円形である場合は図5に示すように円形状の被検査面(ワークWの表面W1)を映し出すこととなり,また,例えばワークWの表面W1の形状が四角形である場合は図6に示すように四角形状の被検査面(ワークWの表面W1)を映し出すこととなる。
During this conveyance, the appearance on the surface W1 side of the workpiece W is inspected by the inspection means 26, 27, and 28. That is, the light is first illuminated by the
そして,制御装置70では,この画像A中において被検査面(ワークWの表面W1)を示している画素から任意の2つの画素a,bを選択し,それらを比較することによってワークWの表面W1を検査する。この場合,被検査面(ワークWの表面W1)が円形状の如き点対称の形状であれば,図5に示すように,中心点Oについて点対称となる2つの画素a,bをそれぞれ選択し,それらを一々比較する。即ち,図5に示す例について具体的に説明すれば,画素a1と画素b1を比較し,画素a2と画素b2を比較し,画素a3と画素b3を比較し,画素a4と画素b4を比較し,画素a5と画素b5を比較し,画素a6と画素b6を比較し,画素a7と画素b7を比較し,画素a8と画素b8を比較し,画素a9と画素b9を比較し,画素a10と画素b10を比較し,画素a11と画素b11を比較し,画素a12と画素b12を比較し,画素a13と画素b13を比較し,画素a14と画素b14を比較し,画素a15と画素b15を比較し,画素a16と画素b16を比較する。こうして,被検査面(ワークWの表面W1)を示している画素a1〜a16及びb1〜b16の全部について比較する。 The control device 70 selects any two pixels a and b from the pixels indicating the surface to be inspected (the surface W1 of the workpiece W) in the image A, and compares them to compare the surface of the workpiece W. Inspect W1. In this case, if the surface to be inspected (surface W1 of the workpiece W) is a point-symmetric shape such as a circular shape, two pixels a and b that are point-symmetric about the center point O are selected as shown in FIG. Compare them one by one. Specifically, the example shown in FIG. 5 will be described in detail. The pixel a1 and the pixel b1 are compared, the pixel a2 and the pixel b2 are compared, the pixel a3 and the pixel b3 are compared, and the pixel a4 and the pixel b4 are compared. , Compare pixel a5 and pixel b5, compare pixel a6 and pixel b6, compare pixel a7 and pixel b7, compare pixel a8 and pixel b8, compare pixel a9 and pixel b9, and compare pixel a10 and pixel b9 compare b10, compare pixel a11 and pixel b11, compare pixel a12 and pixel b12, compare pixel a13 and pixel b13, compare pixel a14 and pixel b14, compare pixel a15 and pixel b15, Pixel a16 and pixel b16 are compared. In this way, all the pixels a1 to a16 and b1 to b16 indicating the surface to be inspected (the surface W1 of the workpiece W) are compared.
また,被検査面(ワークWの表面W1)が四角形状の如き線対称の形状であれば,図6に示すように,中心線Lについて線対称となる2つの画素をそれぞれ選択し,それらを一々比較する。即ち,図6に示す例について具体的に説明すれば,画素a1と画素b1を比較し,画素a2と画素b2を比較し,画素a3と画素b3を比較し,画素a4と画素b4を比較し,画素a5と画素b5を比較し,画素a6と画素b6を比較し,画素a7と画素b7を比較し,画素a8と画素b8を比較し,画素a9と画素b9を比較し,画素a10と画素b10を比較し,画素a11と画素b11を比較し,画素a12と画素b12を比較し,画素a13と画素b13を比較し,画素a14と画素b14を比較し,画素a15と画素b15を比較し,画素a16と画素b16を比較し,画素a17と画素b17を比較し,画素a18と画素b18を比較する。こうして,被検査面(ワークWの表面W1)を示している画素a1〜a18及びb1〜b18の全部について比較する。 If the surface to be inspected (surface W1 of the workpiece W) is a line-symmetric shape such as a quadrangle, two pixels that are line-symmetric about the center line L are selected as shown in FIG. Compare one by one. Specifically, the example shown in FIG. 6 will be described in detail. The pixel a1 is compared with the pixel b1, the pixel a2 is compared with the pixel b2, the pixel a3 is compared with the pixel b3, and the pixel a4 is compared with the pixel b4. , Compare pixel a5 and pixel b5, compare pixel a6 and pixel b6, compare pixel a7 and pixel b7, compare pixel a8 and pixel b8, compare pixel a9 and pixel b9, and compare pixel a10 and pixel b9 compare b10, compare pixel a11 and pixel b11, compare pixel a12 and pixel b12, compare pixel a13 and pixel b13, compare pixel a14 and pixel b14, compare pixel a15 and pixel b15, The pixel a16 and the pixel b16 are compared, the pixel a17 and the pixel b17 are compared, and the pixel a18 and the pixel b18 are compared. In this way, all the pixels a1 to a18 and b1 to b18 indicating the surface to be inspected (the surface W1 of the workpiece W) are compared.
そして,このように各画素a,b同士を比較する場合,それぞれ選択された2つの画素a,bの輝度Bを一々比較することによって,各画素a,bで示されるワークWの表面W1の各箇所を全体に渡って検査することができる。即ち,ワークWの表面W1に不良がない場合は,CCDカメラ53で撮影された画像A中において被検査面(ワークWの表面W1)を示している各画素a,bの輝度は,ワークWの表面W1が平面もしくは曲率の小さい曲面であればほぼ一定な値を示し,±20%程度の正規分布となる。一方,ワークWの表面W1に色むら,シミ,膨れ,ヘアクラック,欠けなどといった不良が存在する場合は,その不良が存在する箇所を示す画素a,bは,輝度Bが特異な値を示すこととなる。従って,被検査面(ワークWの表面W1)を示している各画素a,bの輝度Bの比をそれぞれ求め,全ての比が所定の範囲内であれば(±20%程度の正規分布から外れない場合は)ワークWの表面W1に不良がないと判断することができ,一方,その比が所定の範囲外となる箇所が存在する場合は(±20%程度の正規分布から外れる画素がある場合は),ワークWの表面W1が不良であると判断することが可能となる。
And when comparing each pixel a and b in this way, the brightness | luminance B of each two selected pixels a and b is compared, respectively, of the surface W1 of the workpiece | work W shown by each pixel a and b. Each part can be inspected throughout. That is, when there is no defect on the surface W1 of the workpiece W, the luminance of each pixel a, b indicating the surface to be inspected (the surface W1 of the workpiece W) in the image A taken by the
ここで,通常は,色むら,シミ,膨れ,ヘアクラック,欠けなどといった不良はワークWの表面W1において相当の範囲に形成されている場合が多く,このため,色むら,シミ,膨れ,ヘアクラック,欠けなどといった不良が存在すると,画像A中において被検査面(ワークWの表面W1)を示している各画素a,bの輝度は,複数の画素a,bに渡り連続して特異な値を示すことが多い。従って,複数の隣接する画素a,bに渡って輝度Bの比が所定の範囲外となった場合に,ワークWの表面W1の状態を不良と判断するようにしても良い。 Here, usually, defects such as uneven color, spots, blisters, hair cracks, and chips are often formed in a considerable range on the surface W1 of the workpiece W. For this reason, uneven colors, stains, blisters, hairs, etc. When a defect such as a crack or a chip exists, the luminance of each pixel a and b indicating the surface to be inspected (the surface W1 of the workpiece W) in the image A is continuously unique across the plurality of pixels a and b. Often shows a value. Therefore, the state of the surface W1 of the workpiece W may be determined to be defective when the ratio of the luminance B is out of a predetermined range across a plurality of adjacent pixels a and b.
こうして,検査手段26のCCDカメラ53で撮影された画像による検査が行われることに引き続き,次に検査手段27の光源55で照明され,CCDカメラ58によってワークWの表面W1の外周緑部の画像が撮影されて,その画像が制御装置70に入力される。こうしてCCDカメラ58で撮影され,制御装置70に入力されるワークWの表面W1の外周緑部の画像A’は,例えばワークWの表面W1の形状が円形である場合は図7に示すように円形状に細く連続した被検査面(ワークWの表面W1の外周緑部)を映し出すこととなり,また,例えばワークWの表面W1の形状が四角形である場合は図8に示すように四角形状に細く連続した被検査面(ワークWの表面W1の外周緑部)を映し出すこととなる。
In this way, the inspection by the image photographed by the
そして,制御装置70では,先と同様に,この画像A’中においても被検査面(ワークWの表面W1の外周緑部)を示している画素から任意の2つの画素a,bを選択し,それらを比較することによってワークWの表面W1を検査する。この場合,ワークWの表面W1が円形状の如き点対称の形状であれば,図7に示すように,中心点Oについて点対称となる2つの画素a,bをそれぞれ選択し,それらを一々比較する。即ち,図7に示す例について具体的に説明すれば,画素a1と画素b1を比較し,画素a2と画素b2を比較し,画素a3と画素b3を比較し,画素a4と画素b4を比較し,画素a5と画素b5を比較し,画素a6と画素b6を比較し,画素a7と画素b7を比較し,画素a8と画素b8を比較し,画素a9と画素b9を比較し,画素a10と画素b10を比較する。こうして,被検査面(ワークWの表面W1の外周縁部)を示している画素a1〜a10及びb1〜b10の全部について比較する。 Then, the control device 70 selects any two pixels a and b from the pixels indicating the surface to be inspected (the outer peripheral green portion of the surface W1 of the workpiece W) in the image A ′ as before. The surface W1 of the workpiece W is inspected by comparing them. In this case, if the surface W1 of the workpiece W is a point-symmetric shape such as a circular shape, two pixels a and b that are point-symmetric about the center point O are selected as shown in FIG. Compare. Specifically, the example shown in FIG. 7 will be described in detail. The pixel a1 and the pixel b1 are compared, the pixel a2 and the pixel b2 are compared, the pixel a3 and the pixel b3 are compared, and the pixel a4 and the pixel b4 are compared. , Compare pixel a5 and pixel b5, compare pixel a6 and pixel b6, compare pixel a7 and pixel b7, compare pixel a8 and pixel b8, compare pixel a9 and pixel b9, and compare pixel a10 and pixel b9 Compare b10. In this way, all the pixels a1 to a10 and b1 to b10 indicating the surface to be inspected (the outer peripheral edge portion of the surface W1 of the workpiece W) are compared.
また,ワークWの表面W1が四角形状の如き線対称の形状であれば,図8に示すように,中心線Lについて線対称となる2つの画素を選択し,それらをそれぞれ比較する。即ち,図8に示す例について具体的に説明すれば,画素a1と画素b1を比較し,画素a2と画素b2を比較し,画素a3と画素b3を比較し,画素a4と画素b4を比較し,画素a5と画素b5を比較し,画素a6と画素b6を比較し,画素a7と画素b7を比較し,画素a8と画素b8を比較し,画素a9と画素b9を比較し,画素a10と画素b10を比較する。こうして,被検査面(ワークWの表面W1の外周縁部)を示している画素a1〜a10及びb1〜b10の全部について比較する。 If the surface W1 of the workpiece W is a line-symmetric shape such as a quadrangle, two pixels that are line-symmetric about the center line L are selected and compared with each other as shown in FIG. Specifically, the example shown in FIG. 8 will be described in detail. The pixel a1 and the pixel b1 are compared, the pixel a2 and the pixel b2 are compared, the pixel a3 and the pixel b3 are compared, and the pixel a4 and the pixel b4 are compared. , Compare pixel a5 and pixel b5, compare pixel a6 and pixel b6, compare pixel a7 and pixel b7, compare pixel a8 and pixel b8, compare pixel a9 and pixel b9, and compare pixel a10 and pixel b9 Compare b10. In this way, all the pixels a1 to a10 and b1 to b10 indicating the surface to be inspected (the outer peripheral edge portion of the surface W1 of the workpiece W) are compared.
そして,このようにワークWの表面W1の外周縁部を示す各画素a,b同士を比較する場合も同様に,それぞれ選択された2つの画素a,bの輝度Bを比較することによって,各画素a,bで示されるワークWの表面W1の外周縁部の各箇所を検査することができる。この場合も,被検査面(ワークWの表面W1の外周縁部)を示している各画素a,bの輝度Bの比をそれぞれ求め,その比によってワークWの表面W1の外周縁部に不良があるかないかを判断することが可能となる。また,複数の隣接する画素a,bに渡って輝度Bの比が所定の範囲外となった場合に,ワークWの表面W1の外周縁部の状態を不良と判断するようにしても良い。 And also when comparing each pixel a and b which shows the outer periphery part of the surface W1 of the workpiece | work W in this way, by comparing the brightness | luminance B of two pixels a and b respectively selected, Each location of the outer peripheral edge of the surface W1 of the workpiece W indicated by the pixels a and b can be inspected. Also in this case, the ratio of the luminance B of each pixel a, b indicating the surface to be inspected (the outer peripheral edge portion of the surface W1 of the workpiece W) is obtained, and the ratio is determined to be defective at the outer peripheral edge portion of the surface W1 of the workpiece W. It becomes possible to determine whether or not there is. Further, when the ratio of the luminance B is outside a predetermined range over a plurality of adjacent pixels a and b, the state of the outer peripheral edge portion of the surface W1 of the workpiece W may be determined to be defective.
また,こうして検査手段27のCCDカメラ58で撮影された画像による検査が行われることに引き続き,更に検査手段28の光源60で照明され,CCDカメラ63によってワークWの表面W1の画像が撮影されて,その画像が制御装置70に入力される。こうしてCCDカメラ63で撮影され,制御装置70に入力されるワークWの表面W1の画像Aは,例えばワークWの表面W1の形状が円形であれば,先に図5で説明したように円形状の被検査面(ワークWの表面W1)を映し出すこととなり,また,例えばワークWの表面W1の形状が四角形であれば,先に図6で説明したように四角形状の被検査面(ワークWの表面W1)を映し出すこととなる。
Further, after the inspection by the image taken by the
そして,制御装置70では,先と同様に,この画像A中においても被検査面(ワークWの表面W1)を示している画素から任意の2つの画素a,bを選択し,それらを比較することによってワークWの表面W1の外周緑部を検査する。この場合,ワークWの表面W1が円形状の如き点対称の形状であれば,先に図5で説明したように,中心点Oについて点対称となる画素a1と画素b1,画素a2と画素b2,画素a3と画素b3,画素a4と画素b4,画素a5と画素b5,画素a6と画素b6,画素a7と画素b7,画素a8と画素b8,画素a9と画素b9,画素a10と画素b10,画素a11と画素b11,画素a12と画素b12,画素a13と画素b13,画素a14と画素b14,画素a15と画素b15,画素a16と画素b16をそれぞれ比較することにより,被検査面(ワークWの表面W1)を示している画素a1〜a16及びb1〜b16の全部について比較する。 Then, in the control device 70, similarly to the above, any two pixels a and b are selected from the pixels indicating the surface to be inspected (the surface W1 of the workpiece W) in the image A, and are compared. Thus, the outer peripheral green portion of the surface W1 of the workpiece W is inspected. In this case, if the surface W1 of the workpiece W is a point-symmetrical shape such as a circular shape, the pixel a1 and the pixel b1, the pixel a2, and the pixel b2 that are point-symmetrical with respect to the center point O as described above with reference to FIG. , Pixel a3 and pixel b3, pixel a4 and pixel b4, pixel a5 and pixel b5, pixel a6 and pixel b6, pixel a7 and pixel b7, pixel a8 and pixel b8, pixel a9 and pixel b9, pixel a10 and pixel b10, pixel By comparing a11 and pixel b11, pixel a12 and pixel b12, pixel a13 and pixel b13, pixel a14 and pixel b14, pixel a15 and pixel b15, pixel a16 and pixel b16, respectively, the surface to be inspected (surface W1 of work W ) Are compared for all the pixels a1 to a16 and b1 to b16.
また,ワークWの表面W1が四角形状の如き線対称の形状であれば,先に図6で説明したように,中心線Lについて線対称となる画素a1と画素b1,画素a2と画素b2,画素a3と画素b3,画素a4と画素b4,画素a5と画素b5,画素a6と画素b6,画素a7と画素b7,画素a8と画素b8,画素a9と画素b9,画素a10と画素b10,画素a11と画素b11,画素a12と画素b12,画素a13と画素b13,画素a14と画素b14,画素a15と画素b15,画素a16と画素b16,画素a17と画素b17,画素a18と画素b18をそれぞれ比較することにより,被検査面(ワークWの表面W1)を示している画素a1〜a18及びb1〜b18の全部について比較する。 If the surface W1 of the workpiece W is a line-symmetric shape such as a square shape, the pixel a1 and the pixel b1, the pixel a2 and the pixel b2, which are line-symmetric with respect to the center line L, as described above with reference to FIG. Pixel a3 and pixel b3, pixel a4 and pixel b4, pixel a5 and pixel b5, pixel a6 and pixel b6, pixel a7 and pixel b7, pixel a8 and pixel b8, pixel a9 and pixel b9, pixel a10 and pixel b10, pixel a11 Pixel b11, pixel a12 and pixel b12, pixel a13 and pixel b13, pixel a14 and pixel b14, pixel a15 and pixel b15, pixel a16 and pixel b16, pixel a17 and pixel b17, pixel a18 and pixel b18, respectively Thus, all the pixels a1 to a18 and b1 to b18 indicating the surface to be inspected (the surface W1 of the workpiece W) are compared.
この場合,先に図4で説明したように,検査手段28では,照明60とコンバージョンレンズ61,ズームレンズ62及びCCDカメラ63がいずれもワークWの表面W1に対して斜めに傾いて配置されるため,例えばワークWの表面W1に凹凸があれば,該凹凸により被検査面(ワークWの表面W1)を示している画素a,bにおいて明暗が現れることになる。
In this case, as described above with reference to FIG. 4, in the
このため,制御装置70は,検査手段28のCCDカメラ63で撮影された画像によって,ワークWの表面W1における凹凸の有無を判断することができる。なお,この場合も,被検査面(ワークWの表面W1)を示している各画素a,bの輝度Bの比をそれぞれ求め,その比によってワークWの表面W1に不良(凹凸)があるかないかを判断することが可能となる。また,複数の隣接する画素a,bに渡って輝度Bの比が所定の範囲外となった場合に,ワークWの表面W1の状態を不良と判断するようにしても良い。
For this reason, the control device 70 can determine the presence or absence of unevenness on the surface W1 of the workpiece W from the image taken by the
以上のようにして,第1のコンベア14による搬送中において,検査手段26,27,28により,ワークWの表面W1側の外観が総合的に検査される。こうして検査手段26,27,28における検査がそれぞれ行われた後,ワークWは,第1のコンベア14によって第1のコンベア14の終端部まで搬送され,反転装置21にて裏返しに反転させられた後,裏面W2を上に向けた姿勢にされたワークWが第2のコンベア20の始端部に供給される。そして,ワークWは,裏面W2を上に向けた姿勢で,第2のコンベア20によって図1中の右向きに搬送されていく。
As described above, the appearance on the surface W1 side of the workpiece W is comprehensively inspected by the inspection means 26, 27, and 28 during the conveyance by the
この第2のコンベア20による搬送中において,先に検査手段26,27,28によってワークWの表面W1側の検査をした場合と同様に,検査手段35,36,37によってワークWの裏面W2側の検査がそれぞれ行われる。こうして,制御装置70では,ワークWの表面W1側及び裏面W2側の状態を総合的に判断されることになる。そして,表面W1側と裏面W2側の両方の外観が検査されたワークWが第2のコンベア20の終端部に搬送されてくると,制御装置70の制御により,分別装置38における分別が行われ,外観が正常なワークWのみが収納領域41に搬出されることとなる。従って,この検査システム1によれば,ワークWの表面W1及び裏面W2やそれらの外周緑部における欠け,クラック,凹凸などといった形状不良の有無を容易に検査でき,暇癖のない外観が正常なワークWのみを選別して得ることが可能となる。
During the conveyance by the second conveyor 20, the inspection means 35, 36, and 37 are used to inspect the work W on the
以上,本発明の好ましい実施の形態の一例を説明したが,本発明は以上に示した形態に限定されない。検査の対象となる物品は,希土類磁石等のワークWに限らず,その他種々の物品の外観検査について本発明を適用できる。また,第1のコンベア14に沿って検査手段26,27,28のいずれか一つを配置しても良いし,第1のコンベア14に沿って検査手段26,27,28を任意の組合せで配置しても良い。また同様に,第2のコンベア20に沿って検査手段35,36,37のいずれか一つを配置しても良いし,第2のコンベア20に沿って検査手段35,36,37を任意の組合せで配置しても良い。
As mentioned above, although an example of preferable embodiment of this invention was demonstrated, this invention is not limited to the form shown above. The object to be inspected is not limited to the workpiece W such as a rare earth magnet, and the present invention can be applied to the appearance inspection of various other articles. Any one of the inspection means 26, 27, 28 may be arranged along the
検査対象となる物品の被検査面は,色調,粗さ,メッキの有無などによる光沢等により輝度が異なってくるので,CCDカメラには隣接して照明光源を設置するのが一般的である。光源は,蛍光灯などの一般的な照明でも良いが,リング状のハロゲンランプで500ルクスから20000ルクスの明るさで被検査面を上方から均一に照明することが好ましい。また,CCDカメラは,色調を検査する場合にはカラーCCDが必要であるが,希土類焼結磁石の表面を検査する場合などは,モノカラーのCCDカメラで十分である。CCDカメラの画素は,30万画素以上好ましくは100万画素以上必要であり,画素が多いほど微細な検査ができるがノイズも増加するので,検査の状況に応じた選択が必要である。 Since the surface to be inspected of an object to be inspected varies in brightness due to color tone, roughness, gloss due to the presence or absence of plating, etc., it is common to install an illumination light source adjacent to the CCD camera. The light source may be a general illumination such as a fluorescent lamp, but it is preferable to uniformly illuminate the surface to be inspected from above with a brightness of 500 lux to 20000 lux with a ring-shaped halogen lamp. The CCD camera requires a color CCD when inspecting the color tone, but a mono-color CCD camera is sufficient when inspecting the surface of the rare earth sintered magnet. The number of pixels of the CCD camera is required to be 300,000 pixels or more, preferably 1 million pixels or more. As the number of pixels increases, fine inspection can be performed but noise also increases. Therefore, selection according to the inspection situation is necessary.
また,CCDカメラによって撮影する場合,絞りは一般的には全開で行う。シャッタースピードは1/1000から1/10000秒で撮影することが望ましい。なお,被検査面が円形状の如き点対称の形状であれば,図5で説明したように,中心点Oについて点対称となる2つの画素をそれぞれ選択し,それらを比較することが好ましい。また,被検査面が四角形状の如き線対称の形状であれば,図6で説明したように,中心線Lについて線対称となる2つの画素をそれぞれ選択し,それら比較することが好ましい。 When photographing with a CCD camera, the aperture is generally fully opened. It is desirable to shoot at a shutter speed of 1/1000 to 1/10000 seconds. If the surface to be inspected has a point-symmetric shape such as a circular shape, it is preferable to select two pixels that are point-symmetric with respect to the center point O and compare them as described with reference to FIG. If the surface to be inspected is a line-symmetric shape such as a quadrangle, it is preferable to select and compare two pixels that are line-symmetric with respect to the center line L, as described with reference to FIG.
また,選択した2つの画素の輝度を比較して検査する場合,本発明者らの知見によれば,輝度の比が0.7〜1.3の間であれば,正常と判断して差し支えないが,検査の種類により,正常と判断される輝度の比の範囲は任意に設定することができる。この範囲が狭すぎると良品を不良品と判断する心配があり,逆に広すぎると不良品を良品と判断する心配がある。それらの事情を予め勘案して,不良品を判断するしきい値を適当に設定し,判定用のプログラムに組み込んで良否を判定する必要がある。これら一連の操作は,制御装置内にインストールされたプログラムによって行えば,連続的に効率の良い外観検査を実施できるようになる。また,判断を良不良2段階だけでなく,3段階以上にふるい分けし,検査を繰り返したり,目視による検査を一部導入することにより,さらにきめこまかい検査を実施することができる。 Further, when the luminance of the two selected pixels is compared and inspected, according to the knowledge of the present inventors, if the luminance ratio is between 0.7 and 1.3, it may be judged as normal. However, depending on the type of inspection, the range of the luminance ratio determined to be normal can be arbitrarily set. If this range is too narrow, there is a concern that a good product will be judged as a defective product, and conversely if it is too wide, there is a concern that a defective product will be judged as a good product. Considering these circumstances in advance, it is necessary to appropriately set a threshold value for judging a defective product and incorporate it into a judgment program to judge pass / fail. If these series of operations are performed by a program installed in the control device, it becomes possible to carry out an efficient visual inspection continuously. In addition, it is possible to carry out a more detailed inspection by screening not only in two stages of good and bad but also in three or more stages and repeating the inspection or introducing a part of the visual inspection.
図1等で説明した本発明の検査システムにおいて,直径6.5mm,厚み1.0mmの円盤形状のNd−Fe−C−B系焼結磁石をワークとして,一定速度50mm/secで搬送させながら,ワークの外観を連続的に検査した。清和光学製MS−501高解像度レンズを装着した東京電子製CS−3910型CCDカメラ(141万画素)を使用し,光源は清和光学製HL−28−2000(28φ)リング状のハロゲンランプを用いた。ワークの外形を包絡処理して形状を求め,その中心がCCDカメラの中心に来たときに撮影した。絞りは全開とし,シャッタースピードは1/2000secである。点対称となる画素を選択し,両者の輝度の比が1.4以上を異常とし,異常となった画素が450以上連続した時に,外観が不良と判断するように設定した。1000個のワークについて本発明による検査を行った。実施例に供される試験について,目視によっても検査を行い,目視による検査結果を正解とした。 In the inspection system of the present invention described with reference to FIG. 1 and the like, a disk-shaped Nd—Fe—C—B system sintered magnet having a diameter of 6.5 mm and a thickness of 1.0 mm is used as a workpiece while being conveyed at a constant speed of 50 mm / sec. , The appearance of the workpiece was continuously inspected. A CS-3910 CCD camera manufactured by Seiko Optical MS-501 high resolution lens (1,410,000 pixels) is used, and the light source is a HL-28-2000 (28φ) ring-shaped halogen lamp manufactured by Seiwa Optical. It was. The outer shape of the workpiece was enveloped to determine the shape, and the image was taken when the center came to the center of the CCD camera. The aperture is fully open and the shutter speed is 1/2000 sec. A pixel that is point-symmetric is selected, and when the ratio of the luminance of the two is 1.4 or more is abnormal, it is set so that the appearance is judged to be defective when the abnormal pixels continue for 450 or more. 1000 workpieces were inspected according to the present invention. About the test used for an Example, it test | inspected also visually and the test result by visual inspection was made into the correct answer.
また,比較例の検査方法として,CCDカメラで撮影した画像中において被検査面を示している画素から10点程度選択してそれらの輝度の平均値を標準値として定め,測定対象点の画素の輝度をこの標準値と比較して,物品表面の状態を検査した。本発明の実施例と比較例を比較したところ,表1のようになり,本発明の実施例は,比較例に比べて,良品の正解率,不良品の正解率がいずれも勝っていた。 Further, as an inspection method of the comparative example, about 10 points are selected from the pixels indicating the surface to be inspected in the image taken by the CCD camera, and the average value of the luminances is determined as a standard value. The condition of the article surface was inspected by comparing the brightness with this standard value. A comparison of the example of the present invention and the comparative example is as shown in Table 1. In the example of the present invention, both the correct answer rate of the non-defective product and the correct answer rate of the defective product were superior to the comparative example.
W ワーク
a,b 画素
1 検査システム
10 ホッパー
11 整列フィーダー
12 リニアフィーダー
13 切り出し装置
14 第1のコンベア
15,16 厚さ検査装置
20 第2のコンベア
21 反転装置
25,38 分別装置
26,27,28,35,36,37 検査手段
70 制御装置
W Work a,
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006101891A JP3930528B2 (en) | 2006-04-03 | 2006-04-03 | Inspection method of article surface |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006101891A JP3930528B2 (en) | 2006-04-03 | 2006-04-03 | Inspection method of article surface |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002023729A Division JP3930333B2 (en) | 2002-01-31 | 2002-01-31 | Article surface inspection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006189463A true JP2006189463A (en) | 2006-07-20 |
JP3930528B2 JP3930528B2 (en) | 2007-06-13 |
Family
ID=36796774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006101891A Expired - Fee Related JP3930528B2 (en) | 2006-04-03 | 2006-04-03 | Inspection method of article surface |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3930528B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008241252A (en) * | 2007-03-23 | 2008-10-09 | Nitto Seiko Co Ltd | Device for inspecting part defect |
JP2017227473A (en) * | 2016-06-20 | 2017-12-28 | タカノ株式会社 | Image checkup device, and program |
-
2006
- 2006-04-03 JP JP2006101891A patent/JP3930528B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008241252A (en) * | 2007-03-23 | 2008-10-09 | Nitto Seiko Co Ltd | Device for inspecting part defect |
JP2017227473A (en) * | 2016-06-20 | 2017-12-28 | タカノ株式会社 | Image checkup device, and program |
Also Published As
Publication number | Publication date |
---|---|
JP3930528B2 (en) | 2007-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3930333B2 (en) | Article surface inspection system | |
TWI626438B (en) | Inspection apparatus and article manufacturing method | |
TW201531695A (en) | Automatic appearance inspection device | |
JP2006268050A (en) | Image inspection apparatus, panel inspection method and display panel manufacturing method | |
JP2007064801A (en) | Lighting system and appearance inspection device equipped with it | |
JP2007303853A (en) | End inspection device | |
JP5245212B2 (en) | Edge inspection device | |
KR20180013709A (en) | Lighting unit, defects inspection device, and lighting method | |
JP6034343B2 (en) | Inspection method for multiple exposure image mixing using overlapped exposure | |
KR20000007250A (en) | Apparatus and method for testing a cream solder on a printed circuit board | |
JP7307520B2 (en) | Appearance inspection device for circular products | |
JP3930528B2 (en) | Inspection method of article surface | |
KR101496993B1 (en) | inspection method for display panel | |
JP2009288121A (en) | Apparatus and method for inspecting lens | |
TWI711816B (en) | System and method for inspecting object | |
JP2007294576A (en) | Testing apparatus and testing method | |
JP2022105581A (en) | Method of detecting molding failure | |
JP2720759B2 (en) | Automatic bonding wire inspection system | |
JP2006244869A (en) | Plasma display panel inspection device, manufacturing method of plasma display panel, and device inspection method | |
JP2017156659A (en) | Defect inspection device and defect inspection method for color filter | |
JP2002310936A (en) | Method and apparatus for visual inspection | |
JP7271329B2 (en) | Lighting device and visual inspection device equipped with the same | |
JP2807599B2 (en) | Semiconductor chip appearance inspection device | |
JP2005249615A (en) | Different material inclusion-inspecting method | |
JPH11173993A (en) | Method and apparatus for detecting contamination |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061010 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070308 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100316 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140316 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |