JP2003269931A - 欠陥の立体形状検出装置 - Google Patents

欠陥の立体形状検出装置

Info

Publication number
JP2003269931A
JP2003269931A JP2002068839A JP2002068839A JP2003269931A JP 2003269931 A JP2003269931 A JP 2003269931A JP 2002068839 A JP2002068839 A JP 2002068839A JP 2002068839 A JP2002068839 A JP 2002068839A JP 2003269931 A JP2003269931 A JP 2003269931A
Authority
JP
Japan
Prior art keywords
plane
defect
work
brightness
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002068839A
Other languages
English (en)
Other versions
JP3935379B2 (ja
Inventor
Munetoshi Numata
宗敏 沼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lossev Technology Corp
Original Assignee
Lossev Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lossev Technology Corp filed Critical Lossev Technology Corp
Priority to JP2002068839A priority Critical patent/JP3935379B2/ja
Publication of JP2003269931A publication Critical patent/JP2003269931A/ja
Application granted granted Critical
Publication of JP3935379B2 publication Critical patent/JP3935379B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

(57)【要約】 【課題】 繰り出されるワークの平面上の立体的な欠陥
の立体形状を画像処理技術により高速で検出できるよう
にする。 【解決手段】 ワーク送り出し機構6により繰り出され
るワーク1の平面上の立体的な欠陥を検査する装置にお
いて、欠陥の立体形状検出装置10は、互いに平行な棒
状で三原色のうち異なる色の照明光を異なる角度からワ
ーク1の検査対象の平面に向けて照射する一対の光源
3、4と、異なる色の照明光の下でワークの検査対象の
平面をワーク1の上方から撮像するRGB対応のカラー
ラインTVカメラ2と、このカラーラインTVカメラ2
からの異なる色毎の画像データ間で同一対応点における
明るさ(濃度値)の比からワークに対する観測点の傾斜
角φyを求め、この傾斜角φyの正接値から求められる高
さの増分をX軸方向に順次累積することによりワークの
平面上の欠陥の立体形状を検出する画像処理装置7とを
具備している。

Description

【発明の詳細な説明】
【0001】
【発明が属する技術分野】本発明は、繰り出されるワー
クの平面上の立体的な欠陥の立体形状を画像処理技術に
より高速で検出する装置に関する。
【0002】
【従来の技術】図1は、従来の技術による平面状のワー
クの欠陥形状計測装置を示す。その欠陥形状計測装置
は、ワークの平面上の立体的な欠陥を検出するために、
レーザスリット発射器、エリアTVカメラ、および画像
処理装置を用いている。なお、ワークは、コンベア等の
ワーク送り出し手段により定速(一定の速度)で送り出
されているものとする。
【0003】ここでエリアTVカメラの視野内の画像サ
イズをH512×V480pixelとし、1画素(pixel)の分解能
を0.1mmとする。レーザスリット光は、斜め上方から照
射され、エリアTVカメラは、ワークの平面の法線方向
から観察するとしたとき、ワークが完全な平面であれ
ば、レーザスリット光は、エリアTVカメラから見て直
線状に観察されるのに対して、ワークに窪み欠陥がある
ときには、エリアTVカメラの画像上のレーザスリット
光は、エリアTVカメラで観察すると、ゆがんで見え
る。そこで、画像処理装置は、上記のゆがみ量、レーザ
スリット発射器の位置、エリアTVカメラの位置から、
三角測量の原理を応用して、画像処理により、ワークの
平面上の欠陥の立体形状を判別する。
【0004】
【発明が解決しようとする課題】上記のケースでは、平
面分解能を画素の分解能と同じに保つには、撮像サイク
ル毎に、ワークを0.1mmづつしか繰り出せない。H512×V
480pixel程度のエリアTVカメラよると、撮像サイクル
は、せいぜい1/120秒であるから、ワークの繰出し速度
は、12mm/sec=720mm/minが限界である。このため、高
速での処理が不可能である。
【0005】したがって、本発明の目的は、繰り出され
るワークの平面上の立体的な欠陥の立体形状を画像処理
技術により高速で、具体的には1m/min〜200m/min
程度の繰り出し速度で繰り出されるワークの平面上にあ
る欠陥の立体形状を平面分解能0.1mm程度、高さ0.2mm程
度の分解能のもとに検出できるようにすることである。
【0006】
【課題を解決するための手段】上記目的のもとに、本発
明は、ワーク送り出し機構により繰り出されるワークの
平面上の立体的な欠陥を検査する装置において、互いに
平行な棒状で三原色のうち異なる色の照明光を異なる角
度からワークの検査対象の平面に向けて照射する一対の
光源と、異なる色の照明光の下でワークの検査対象の平
面をワークの上方から撮像するRGB対応のカラーライ
ンTVカメラと、このカラーラインTVカメラからの異
なる色毎の画像データ間で同一対応点における明るさ
(濃度値)の比からワークに対する観測点の傾斜角φy
を求め、この傾斜角φyの正接値から求められる高さの
増分をX軸方向に順次累積することによりワークの平面
上の欠陥の立体形状を検出する画像処理装置と、により
欠陥の立体形状検出装置を構成している(請求項1)。
【0007】そして、本発明は、一対の光源の異なる色
の照明光をR(赤)とB(緑)との組み合わせ、R
(赤)とG(青)と組み合わせ、およびG(青)とB
(緑)と組み合わせのうち、いずれか1つの組み合わせ
とする(請求項2)。
【0008】また、本発明は、予め切り出したワークの
サンプルとしての資料片を順次傾けながら、その傾き角
の正接値と観測点の明るさ(濃度値)との比(各色の画
像と画像とのの同一点の濃度値の比)を事前に対応表と
して記録しておき、この対応表を参照して、傾斜角の正
接値を求める(請求項3)。
【0009】本発明は、基準面において異なる色毎の画
像データ間で同一対応点における明るさ(濃度値)の和
を事前に求めておき、それに対する観測点の画像データ
間で同一対応点における明るさ(濃度値)の和を求め、
基準面での明るさ(濃度値)の和と観測点での明るさ
(濃度値)の和との比を算出し、すでに計算済みのy軸
まわりの傾斜角φyとを用いて式(16a)により、観測点
のx軸まわりの傾斜角φxの絶対値を求める(請求項
4)。
【0010】さらに、本発明は、ワーク送り出し機構に
エンコーダを取り付け、そのエンコーダからの出力パル
スを画像処理装置の同期制御部に入力し、この同期制御
部からエンコーダからの出力パルスに同期してカラーラ
インTVカメラの撮像間隔を制御することにより、ワー
クの定速でない繰り出し速度に対応することを特徴とす
る請求項1記載の欠陥の立体形状検出装置(請求項
5)。
【0011】
【発明の実施の形態】図2および図3は、本発明による
欠陥の立体形状検出の原理を示している。図2および図
3で、ワーク1の平面を基準面とし、この基準面に対し
法線方向にカラーラインTVカメラ2を置き、基準面に
対し傾き角θ1の点光源であるR(赤色)の光源3、基
準面に対し傾き角θ2の点光源であるB(青)の光源4
をカラーラインTVカメラ2の光軸を挟んで、互いに向
かい合わせに設置するものとする。また、基準面の高さ
に完全拡散面の資料片5を、基準面に対して傾き角φで
置く。
【0012】カラーラインTVカメラ2は、3板式のR
GB方式のTVカメラで、図4のような光の三原色の各
R(赤色)、G(緑色)、B(青色)に関する相対感度
特性を持つ。Rの光源3とBの光源4の各発光波長域
(発光スペクトル)は、それぞれカラーラインTVカメ
ラ2のR(赤色)受光部、B(青色)受光部のみに反応
するような赤色、青色の光とする。それらの光源3、4
は、たとえば高周波蛍光灯の前面にカラーフィルターを
装着したもの、カラーネオン管または発光スペクトルの
限られる高輝度カラーLEDを用いて構成する。
【0013】また図4では、カラーラインTVカメラ2
のR(赤色)受光部とG(緑色)受光部との相対感度周
波数域、またB(青色)受光部とG(緑色)受光部との
相対感度周波数域が一部交わっている。もし、照明光と
して、赤色点光源と緑色点光源、または青色点光源と緑
色点光源を用いるとし、これを高周波蛍光灯の前面にカ
ラーフィルターを装着したものや、カラーネオン管で構
成したとすると、赤色の照明光がG(緑)受光部に感応
したり、緑色の照明光がR(赤)受光部に感応したり、
青色の照明光がG(緑)受光部に感応したり、緑色の照
明光がB(緑)受光部に感応したりして、各色の受光部
から得られる画像とそれに対応する色の照明光とが10
0%対応しなくなってしまうという問題がある。という
のも、ある色の照明光が一定の傾き角度を持つ光源3、
4と対応していなければならないからである。
【0014】この問題を避けるため、光源3、4からの
照明光およびカラーラインTVカメラ2の受光部の感応
色は、R(赤色)とB(青色)との組み合わせとする
と、得られた画像は、明確に一定方向からの光源3、4
によるものであるという保証を得ている。なぜなら図4
では、カラーラインTVカメラ2のR(赤色)受光部と
B(青色)受光部との相対感度周波数域は、決して交わ
らないからである。
【0015】ただし、光源3、4にLEDを用いる場合に
は、発光スペクトル幅が数十nmと狭く、たとえば赤色LE
Dと緑色LEDを用いたときに、得られたR受光部の画像
は、明確に赤色LEDだけからの反射光となり、また、G
受光部の画像は、明確に緑色LEDだけからの反射光とな
る。これは、青色LEDと緑色LEDを用いても同じである。
【0016】ただ一般に高輝度カラーLEDは、高周波蛍
光灯やネオン管と比べて光量が小さく、その照明光の下
で、10m/min以上で高速に移動する物体をカラーライン
TVカメラ2で高速に画像の取り込みを行おうとする
と、絶対光量が不足する。このため、高輝度カラーLED
を用いる場合には、数十〜数百個を束ねて1ユニットと
して用いるなど、光量確保が必要となる。また、高周波
蛍光灯やネオン管でも同様な考え方で、それぞれ450n
m、550nm、650nmにピーク波長を持つような帯域が数十n
mのR,G,B色の帯域フィルターを置くことによっ
て、同様に実現が可能である(請求項2)。
【0017】さて図3で、Rの光源3からのサンプルと
しての資料片5に対する入射光の輝度をI1、Bの光源
4からの資料片5に対する入射光の輝度をI2、資料片
5の反射率をρ、資料片5とRの光源3のなす角度をs
1、資料片5とBの光源4のなす角度をs2とする。この
時、カラーラインTVカメラ2に入射する入射光の輝度
Iは、光学反射モデルのよく知られたLambertの余弦則ま
たはランバートの法則を用いて、下記の式により表され
る。
【0018】 Ir= I1・ρ・cos(90°−s1) = I1・ρ・sin(s1) = I1・ρ・sin(θ1+φ) Ib= I2・ρ・cos(90°−s2) = I2・ρ・sin(s2) = I2・ρ・sin(θ2−φ) (1)
【0019】ここに輝度IrはカラーラインTVカメラ
2に入射する入射光輝度Iのうち、Rの光源3による成
分で、R受光部によるR画像の濃度値(明るさ)frに
変換されるものである。輝度IbはTVカメラ2に入射
する入射光輝度Iのうち、Bの光源4による成分で、B
受光部によるB画像の濃度値(明るさ)fbに変換され
るものである。
【0020】さて、今度は点状の光源3、4ではなく、
互いに平行な棒状(直線状)の光源3、4を用いる場合
を考える。点状の光源3、4というのは光源から全方向
に光を照射するので、ライン状の視野を持つカラーライ
ンTVカメラ2を用いる場合には、絶対光量が不足し不
向きである。棒状の光源3、4は、スリット状の開口部
を通して照射光をカラーラインTVカメラ2の視野に向
けて照射するようになっている。
【0021】図5において、ワーク1の基準面をXY平
面とし、カラーラインTVカメラ2の光軸をZ軸に平行
に置くとする。Y軸方向から見た時のRの光源3とBの
光源4とが基準面となす角度θ1、θ2および基準片5の
基準面に対する傾きφは、図3と同一とする。
【0022】ここで、カラーラインTVカメラ2の光軸
が基準面と交わる点をPo、この点Poを含むXZ平面がR
の光源3と交わる点をP1(0)とする。点P1(0)は、線状光
源の微小要素であって点光源とみなせるから、ここから
のカラーラインTVカメラ2に入射する入射光の輝度Ir
(0)は、点光源P1(0)からの入射光の点P0における輝度
をI1(0)として、(1)式より次式で与えられる。 Ir(0)=I1(0)・ρ・sin(θ1+φ) (2)
【0023】同様にRの光源3上のある点と点Poを結ぶ
線分がP1(0)と点Poを結ぶ線分となす角度をαとした
時、このRの光源3上のある点をP1(α)とする。ここ
からのカラーラインTVカメラ2に入射する入射光の輝
度Ir(α)は、点光源P1(α)からの入射光の点P0にお
ける輝度をI1(α)として、次式で与えられる。 Ir(α)=I1(α)・ρ・sin(θ1+φ)・cos(α) (3)
【0024】さて、明るさは、光源からの距離の二乗に
反比例する。このため、カラーラインTVカメラ2への
入射光の輝度I1(0)とI1(α)との比は、点光源P1(0)と
点Poとを結ぶ線分の長さと、点光源P1(α)と点Poとを結
ぶ線分の長さとの比である1/cos(α)の二乗に反比
例する。これより次式が得られる。 I1(α)= I1(0)・cos2(α) (4)
【0025】よって、(4)式を(2)式に入れて、次式が得
られる。 Ir(α)= I1(0)・cos2(α)・ρ・sin(θ1+φ)・cos(α) = I1(0)・ρ・sin(θ1+φ)・cos3(α) (5)
【0026】図5は、資料片5がY軸のまわりに傾き角
φだけ傾いた場合であるが、これを傾斜角φyとする。
またこれと同時に基準片がX軸まわりにも傾斜角φxだ
け傾いた場合を考える。このとき、カラーラインTVカ
メラ2に入射する入射光の輝度は、傾斜角φxが0であ
る場合に比べ、cos(φx)倍となるため、(2)式および
(5) 式の右辺にcos(φx)を掛けて、次式が得られる。 Ir(0)=I1(0)・ρ・sin(θ1+φy)・cos(φx) (6) Ir(α)=I1(0)・ρ・sin(θ1+φy)・cos3(α)・cos(φx) (7)
【0027】よって、カラーラインTVカメラ2に入射
するRの光源3による入射光の輝度Irは、点光源P1(α)
によるカラーラインTVカメラ2への入射光I1(α)の積
分値と考えて次式が得られる。 Ir=∫Ir(α)dα =∫[I1(0)・ρ・sin(θ1+φy)・cos3(α)・cos(φx)]dα =I1(0)・ ρ・sin(θ1+φy)・cos(φx)・∫cos3(α)dα
【0028】Rの光源3の長さと位置は一定であるか
ら、上記式で∫cos3(α)dαは、一定値となる。それ
を定数C1とおけばつぎの式となる。 Ir= C1・I1(0)・ρ・sin(θ1+φy)・cos(φx) (8)
【0029】同様にBの光源4についても、一定値の定
数C2とおけばつぎの式となる。 Ib= C2・I2(0)・ρ・sin(θ2−φy)・cos(φx) (9)
【0030】なお、Bの光源4の長さがRの光源3と等
しく、カラーラインTVカメラ2の光軸に対し、線対称
の位置にあるものとすれば、C2=C1、θ2=θ1となる。
また光源3、4の光量が等しいとすれば、I2(0)= I
1(0)となり、次の式が得られる。 Ib= C1・I1(0)・ρ・sin(θ1−φy)・cos(φx) (10)
【0031】さて輝度Irや輝度Ibは、カラーラインTV
カメラ2でのR受光部とB受光部での輝度値であり、カ
ラーラインTVカメラ2の観測値frおよび観測値fb
は、それぞれ対応の輝度Irおよび輝度Ibと比例関係にあ
から、この比例定数をC0として、つぎのように表せ
る。 fr=C0・Ir fb=C0・Ib
【0032】今度は逆に、これらの観測値から、資料片
5の傾斜角φx、傾斜角φyを求めてみる。まず、入射
光の観測値frと観測値fbとの比R0を計算する。
(9)式と(10)式とから、次式が得られる。 R0=fr/fb=Ir/Ib =sin(θ1+φy)/sin(θ1−φy) (11) これより、φy=tan-1{tan(θ1)・( R0−1)/(R0+1)} (12) また、tan(φy)=tan(θ1)・(R0−1)/(R0+1) (12a) 傾き角θ1は、0°〜90°までの範囲内であるが、こ
れは一定値であるから、tan(θ1)も一定値となるの
で、比R0が決まれば、傾斜角φyは、ただ一義的に(1
2)式によって決まる。
【0033】さて、φy=0°、φx=0°の時に、輝度I
rをIr0とする。(8)式を用いて、それは次式となる。 Ir0= C1・I1(0)・ρ・sin(θ1) (13)
【0034】また、φy=0°、φx=0°の時に、輝度I
bをIb0とする。(10)式を用いて、それは次式となる。 Ib0=C1・I1(0)・ρ・sin(θ1) (14)
【0035】ここで輝度Ir0のカラーラインTVカメラ
2での観測値をfr0、Ib0の観測値をfb0として、 (fr+fb)/(fr0+fb0) =(Ir+Ib)/(Ir0+Ib0) =[{sin(θ1+φy)+sin(θ1−φy)}/2sin(θ1)]・cos(φx) =cos(φy)・cos(φx) (15)
【0036】観測値fr0と観測値fb0を事前に計測して
おけば、(fr+fb)/(fr0+fb0)が求まり、ま
た、すでに傾斜角φyも求まっているから、cos(φy)
も算出でき、(15)式からcos(φx)が算出できる。
故に cos(φx)=(fr+fb)/{(fr0+fb0)・cos(φy)} (16) であり、これから逆余弦関数を用いて、傾斜角φxの計
算ができる。 φx=±cos-1[(fr+fb)/{(fr0+fb0)・cos(φy)}] (16a)
【0037】この後で説明するように、欠陥の立体形状
は、X軸に沿って、Z軸方向の増分値を順次積み重ねて
いくことにより算出できるが、その時に用いる傾斜角は
φyだけでよい。もちろん同様に、Y軸に沿って、Z軸
方向の増分値を順次積み重ねても欠陥の立体形状を算出
できるが、この時に用いる傾斜角はφxである。
【0038】ところで、(16a)式の逆余弦関数を用いて
求まるX軸まわりの傾斜角φxの正負の符号(傾きの方
向)は不明である。このためここでは、傾斜角φxを用
いた欠陥の立体形状算出方法の詳細な説明を割愛する。
ただ符号の判定は、カラーラインTVカメラ2の光軸に
対し、Y軸まわりに傾いたところに緑色Gの点光源を置
き、これからの光も同時にカラーラインTVカメラ2に
取り込むことによって可能となる。なぜなら、同じcos
(φx)をとる2つの角度+φxと角度−φxでも、緑色
受光部の輝度値Igが大きく異なるためである。
【0039】以上を整理すると、つぎのことが言える。 1)入射光の輝度値の観測値frと観測値fbとの比R0
を求め、これから前記(12)式により傾斜角φyが算出
できる。 2)また入射光の輝度値の観測値frと観測値fbとの和
(fr+fb)と、資料片5が傾いていない場合の同和
(fr0+fb0)との比を求めれば、(16)式と上記傾斜
角φyとを用いて、これからcos(φx)が算出できる。
【0040】本発明は、欠陥の立体形状を算出する手順
(方法)を示している。それは、基準面のある基準高さ
に対して一定の高さの凹凸があるときに、それを欠陥と
判断するためである。
【0041】これに対して、高さZの変化の増分、すな
わちX軸方向の高さの変化量△Zx=△x・tan(φy)
や、Y軸方向の高さの変化量△Zy=△y・tan(φx)が
一定の大きさ以上であれば、それを欠陥とみなすという
簡単な欠陥の判定方法も考えられる。この場合に、△x
や、△yは一定であるから、単に|tan(φy)|と|ta
n(φx)|を求めればよい。|tan(φy)|は、(12
a)式から求めることができ、|tan(φx)|も前記の
(16a)式から求めることができる。|tan(φx)|の
計算においては、傾斜角φxの符号は関係ないので、そ
れはただ一義的に求まる。
【0042】それでは以上の原理を用いて、図6に基づ
いて具体的に欠陥の立体形状を再現する方法について述
べる。図6は、本発明による欠陥の立体形状検出装置1
0を示している。欠陥の立体形状検出装置10は、ワー
ク送り出し機構6により一定の速度または一定しない速
度により繰り出されるワーク1の平面上の立体的な欠陥
を検査するために、一対の光源3、4、RGB対応のカ
ラーラインTVカメラ2、画像処理装置7からなる。こ
こでは、ワーク1がX軸方向の向きに対して反対に一定
速度で繰り出されているものとする。
【0043】一対の光源3、4は、互いに平行な棒状で
三原色のうち異なる色例えばRの照明光およびBの照明
光を異なる角度からワーク1の検査対象の平面に向けて
照射する。カラーラインTVカメラ2は、RGB対応の
カラーラインTVカメラであり、異なる色の照明光の下
でワーク1の検査対象の平面をワーク1の上方から撮像
する。カラーラインTVカメラ2の光軸は、ワーク1の
検査対象の平面つまり基準面に垂直であり、Rの光源3
およびBの光源4は、カラーラインTVカメラ2の光軸
を挟んで線対称に置かれているものとする。2つの光源
3、4はY軸と平行であり、基準面に対する傾き角はと
もにθ1である。
【0044】カラーラインTVカメラ2は、各R,G,
Bのラインデータを画像処理装置7に順次送る。画像処
理装置7は、各R,G,Bのラインデータを各R,G,
Bのプレーン毎に順次ラインをつなぎ合わせて、2次元
の画像データとして記録するものとする。また、画像処
理装置7は、カラーラインTVカメラ2からの異なる色
毎の画像データ間で同一対応点における明るさ(濃度
値)の比からワーク1に対する観測点の傾斜角φyを求
め、この傾斜角φyの正接値から求められる高さの増分
をX軸方向に順次累積することによって、ワーク1の平
面上の欠陥の立体形状を検出する。なお、前記のよう
に、傾斜角φyは、ワーク1の繰出し方向がX軸方向の
向きと反対としたとき、このX軸に対する傾き角、すな
わちy軸まわりの傾き角である。
【0045】図7は、画像処理装置7の具体的な構成を
示している。以下、画像処理装置7の各部の機能に沿っ
て説明する。カラーラインTVカメラ2からのカラー映
像信号は、画像処理装置7に送られる。これらのカラー
映像信号は、各色毎にA/D変換器11、12、13を
介して、各色毎のRプレーン14、Gプレーン15、B
プレーン16に記録される。
【0046】Rプレーン14、Gプレーン15、Bプレ
ーン16は、各色の1ライン(1ラインはn=512画
素、1024画素、2048画素、5000画素などか
らなる。)のデータをmライン(mはハード的またはソ
フト的に決められる。)格納できる専用のメモリ領域で
あって、各色のRプレーン14、Gプレーン15、Bプ
レーン16は、No.1のバッファおよびNo.2のバッファ
(ダブルバッファ)により構成されている。バッファサ
イズは、1画素を1バイト表現とすると、n×mバイト
であり、各色のRプレーン14、Gプレーン15、Bプ
レーン16は2×n×mバイトのサイズである。
【0047】各映像データは、No.1のバッファの先頭か
ら順次1ラインづつ格納され、映像データがNo.1のバッ
ファを満たすと、次に各映像データは、No.2のバッファ
の先頭から順次1ラインづつ格納される。そして、映像
データがNo.2のバッファを満たすと、今度はNo.1のバッ
ファの先頭から格納される。
【0048】Rプレーン14の画像データをfr(i,
j)、Gプレーン15の画像データをfg(i,j)Bプ
レーン16の画像データをfb(i,j)でそれぞれ表す
ものとする。例えばn=512画素の場合、ラインレー
ト(撮像間隔△tの逆数)は、一般に40KHzが可能である
から、1秒間に40000ラインの取得が可能であり、ライ
ンピッチが0.1mmとすれば4000mm、1分間に240mの処理
が可能である。すなわちこれは240m/minの繰出し速度に
対応する。
【0049】演算LSI8は、Rプレーン14の1つの
バッファと、Bプレーン16の同一No.のバッファとの
間で画素間演算を行い、結果プレーン17にその結果を
格納する。この画素間演算は、まず、R0=fr(i,j)
/fb(i,j)を演算した上で、(12a)式で、tan(φ
y)を単精度実数で計算する。 tan(φy)=tan(θ1)・(R0−1)/(R0+1) (12a)
【0050】(12a)式で計算したtan(φy)は、バス18
を経由して、結果プレーン17のバッファαに格納され
る。バッファαの大きさは、各色のRプレーン14、G
プレーン15、Bプレーン16と同じで、1データあた
り単精度実数長である4バイトなので、(n×m×4バ
イト)となる。
【0051】なお、Y軸方向のカラーラインTVカメラ
2の分解能△Yと、1ラインのスキャン時間△tあたり
のX方向の繰出し量△Xとが等しくなるように、ワーク
1の繰出し速度vを一定の速度(定速)に保つものとす
る。分解能△Yは、視野サイズを1ラインの画素数(e
x. 512 画素)で割ったもの、繰出し量△Xは繰出し速
度vにスキャン時間△tをかけたものである。
【0052】さて図6の欠陥部は、図8のように1マス
△x、△yの格子で位置を表現するものとする。図9
は、図8のXY座標系の格子で表された欠陥イメージを
取得した後、演算LSI8で演算したtan(φy)を結果プ
レーン17のαバッファに入れた図である。XY座標系
で、x方向はi、y方向はjをカウンタとする。網かけ
部は、欠陥のある部分(欠陥部)を重ね描きしたもの
で、これを含む該当セルのデータのtan(φy)は0以外の
値を取る。網かけ部を含まないセルのデータtan(φy)は
0である。
【0053】ここで、あるi=m列において、欠陥の手前
(x値が小さい点)にある点の配列データをg(m,1)
=0とし、また欠陥の後ろ(x値が大きい点)にある点
の配列データg(m,n)=0とする。これらの点は欠陥
ではないため、高さが基準面高さ0である。g(m,1)
とg(m,n)が基準面高さにあることを確かめるには、
その点まわりの4近傍や8近傍の点の配列データが0で
あることを確かめればよい。
【0054】さて、点(i,j)のZ方向の高さをZ
(i,j)で表すとすると、高さの増分△Zx=Z(m,
j)−Z(m,j−1)は、1ラインデータ送り量△X
に、−g(m,j)=−tan(φy)をかけたものに等し
い。なぜなら、y軸まわりの傾斜角φyは、該当点のX
軸に対する傾きだからである。よって、つぎの式が成り
立つ。 Z(m,1)= Z(m,n)=0 (17) Z(m,j)=Z(m,j−1)−△x・g(m,j) (18)
【0055】(17)式と(18)式とを用いて、Z(m,
j)を順次求めることができる。最後の点Z(m,n)
は、次式により求められる。 Z(m,n)=Z(m,1)−△x・(g(m,2)+g(m,3)+…+g(m,n)) =−△x・Σ(g(m,j)) (19)
【0056】ところで、(17)式から、Z(m,n)=0
であるから、(19)式の右辺も0になるはずであり、本
来は、−△x・Σ(g(m,j))=0になるべきである
が、tan(φy)を計算する基のデータであるfr(i,
j)やfb(i,j)は、8bit=1バイトしかないデー
タであるため、tan(φy)も有効桁が不足している。特
に、φyが90°または−90°に近い場合には、tan(φ
y)の誤差はかなり大きくなる。このため(19)式の右
辺は一般に0にはならない。
【0057】それゆえに、g(m,j)がもともと誤差を
含むデータと考え、その誤差が点(m,2)から点(m,
n)まで等しく、誤差△gだけあると考えて、Z(m,
n)=−△x・Σ(g(m,j)+△g)=0とする。これ
よって、(nー1)・△g=−Σ(g(m,j))であ
り、よって、下記の式が得られる。 △g=−Σ(g(m,j))/(n−1) (20)
【0058】この△gを用いて、最後の点Z(m,j)は
次式で与えられる。 Z(m,j)=−△x・Σ(g(m,j)+△g) (21)
【0059】これにより、i=mの時の欠陥の立体形状
を再現すると、図10の点Px1から点Pxnまでを結んだ折
れ線のようになる。同様にして、すべてのiにおいて立
体形状を求めた結果が図10である。これらの処理は、
バッファαを用いて上記手順によりCPU9によって計
算され、βバッファにZ軸方向の高さとしてを記録す
る。
【0060】なお、以上の説明では、検査対象のワーク
1を光学特性として完全拡散面としたが、鏡面に近いつ
ややかな反射率の高い面では、(12a)式は成立しな
い。ただこの場合でも、完全鏡面反射でない限り、観測
点からの入射光の輝度値の明るさfrと明るさfb との
比R0と、観測点のy軸まわりの傾斜角φyとは、一対一
の対応である。すなわち比R0を求めれば、これに対応
する傾斜角φyがわかる。
【0061】これを求めるためには予め切り出したワー
ク1のサンプル(資料片5)を順次y軸まわりに傾けな
がら、その傾斜角φyの正接値tan(φy)と観測点の明
るさ(濃度値)との比R0(2枚の画像RプレーンとB
プレーンの同一点の濃度値の比)を事前に図7のパラメ
ータテーブル19に記録しておき、検査時に前記の(12
a)式を計算する代わりに、記録してあるパラメータテ
ーブル19を参照すれば、観測点の明るさ(濃度値)の
比R0から正接値tan(φy)が求まり、あとは完全拡散
面と同様の計算手続きにより、立体形状を求めることが
できる(請求項3)。
【0062】基準面において、R画像の撮像データとB
画像の撮像データとの間で同一対応点における明るさ
(濃度値)の和を事前に求めておき、それに対する観測
点のR画像の撮像データとB画像の撮像データとの間で
同一対応点における明るさ(濃度値)の和を求め、つぎ
にこれらの2つの和の比を計算し、すでに計算済みのy
軸まわりの傾斜角φyとを用いて、(16a)式により、観
測点のx軸まわりの傾斜角φxの絶対値を求める(請求
項4)。続いてこの傾斜角φxの正接値の絶対値を計算
し、結果プレーン17のγプレーンに順次に格納する。
【0063】これより、結果プレーン17のαプレー
ン、γプレーンを参照すれば、傾きの増分の絶対値|△
Zx|および傾きの増分の絶対値|△Zy|が下記の式か
ら求められる。 |△Zx|=△x・|tan(φy)| |△Zy|=△y・|tan(φx)| これにより傾きの増分の絶対値が規定値より大きい画素
には、その観測点に欠陥ありとみなすような欠陥判別も
行うことができる。
【0064】また、以上の説明では、ワーク1が一定の
速度(定速)であるという前提があった。これは、単位
時間△tあたりのx軸方向の増分△xを一定とするため
である。この場合(一定速)のカラーラインTVカメラ
2の撮像タイミング(1ラインを取り込む間隔)△t
は、画像処理装置7からの信号によらず、カラーライン
TVカメラ2自体がもつ内部クロックによる内部同期信
号を用いる。
【0065】これに対し、ワーク1が一定の速度でない
場合には、ワーク送り出し機構6にエンコーダ20を取
り付け、そのエンコーダ20からの出力パルスを画像処
理装置7の同期制御部21に入力し、同期制御部21か
らの出力パルスに同期してカラーラインTVカメラ2の
撮像タイミング(スキャン時間)△tを制御すれば、や
はりx軸方向の増分△xは一定となる(請求項5)。
【0066】ところで、カラーラインTVカメラ2で観
測された観測点の明るさ(濃度値)は、輝度Iと同一と
みなしたが、露光時間(スキャン時間)△tが変化する
ときに、それは一定ではない。なぜなら、カラーライン
TVカメラ2で観測された観測点の明るさ(濃度)は、
撮像時の露光時間に比例するからである。露光時間が長
いと、カラーラインTVカメラ2で観測された観測点の
明るさ(濃度値)は大きくなり、露光時間が短いと、カ
ラーラインTVカメラ2で観測された観測点の明るさ
(濃度値)は小さくなる。
【0067】一般に露光時間は、カラーラインTVカメ
ラ2の撮像タイミング(スキャン時間)△tと同一であ
るから、ワーク1が定速でない場合には、カラーライン
TVカメラ2で観測される観測点の明るさ(濃度値)も
カラーラインTVカメラ2の撮像タイミング(スキャン
時間)△tの影響を受ける。ただ、R画像の撮像データ
およびB画像の撮像データの同一対応点における明るさ
(濃度値)の比からワーク1に対する観測点の傾斜角φ
y(繰出し方向がX軸方向とは反対とした時、このX軸
に対する傾斜角、すなわちy軸まわりの傾斜角)を(1
2)式により計算する手段においては、明るさの比は、
撮像タイミング△tによらず一定になるので、欠陥の立
体形状検出の目的は達成できる。
【0068】もちろん画像処理装置7の露光時間制御部
26が一定の露光時間制御タイミングをカラーラインT
Vカメラ2に送るときには、カラーラインTVカメラ2
で観測される観測点の明るさ(濃度値)は、ワーク1の
繰り出し速度の変化の影響を受けないので、傾斜角φy
や傾斜角φxも安定して求めることができる。
【0069】なお、画像処理装置7のメモリ22は、プ
ログラム、画像データや制御データなどを記憶してお
り、また、入出力部23は、外部機器に必要なデータを
送る。さらに、ビデオメモリ24は、画像データをD/
A変換器25を経てCRT 8(デイスプレイ)に送
り、目視できるようにする。
【0070】
【発明の効果】請求項1によれば、紙、プラスチック、
石膏ボードなど完全拡散反射材料のワークに関し、その
平面上の欠陥の立体形状の測定が高速で行える。具体的
には、200m/min程度の速度で繰り出されるワークの
平面上にある欠陥の立体形状が分解能0.1mm程度、高さ
0.2mm程度の分解能のもとに高速で検出することができ
る。
【0071】請求項2によれば、一対の光源の異なる色
の照明光をR(赤)とB(緑)との組み合わせとすれ
ば、受光部の相対感度周波数域が交わらないので、各色
の画像の識別が確実となる。またカラーLEDや帯域フ
イルターを使用すれば、R(赤)とG(緑)の組み合わ
せや、G(緑)とB(青)と組み合わせでも、受光部の
相対感度周波数域が交わらない状態として、各色の画像
の識別が可能となる。
【0072】請求項3によれば、予め切り出したワーク
のサンプル(資料片)を順次傾けながら、その傾き角の
正接値と観測点の明るさ(濃度値)との比(2枚のR画
像とB画像の同一点の濃度値の比)を事前に対応表とし
て記録しておき、この対応表を参照して、傾斜角の正接
値を求めから、(12a)式の計算が省略でき、処理時間が
一層高速化できる。
【0073】請求項4によれば、基準面において異なる
色毎の画像データ間で同一対応点における明るさ(濃度
値)の和を事前に求めておけば、式(16a)により、観
測点のx軸まわりの傾斜角φxの絶対値を求めることが
でき、傾きの増分の絶対値が規定値より大きい画素で
は、その観測点に欠陥ありとみなすような欠陥判別も行
うことができる。
【0074】請求項5によれば、ワーク送り出し機構の
エンコーダからの出力パルスを利用してカラーラインT
Vカメラの撮像間隔を制御することにより、ワークの定
速でない繰り出し速度にも対応することができる。
【図面の簡単な説明】
【図1】従来のレーザスリットを用い三角測量の原理に
よる欠陥の形状計測装置の斜面図である。
【図2】本発明による欠陥の形状検出装置の斜面図であ
る。
【図3】本発明による欠陥の形状検出装置で点光源を用
いた原理の側面図である。
【図4】カラーラインTVカメラの相対感度特性のグラ
フである。
【図5】本発明による欠陥の形状検出装置の原理の斜面
図である。
【図6】本発明による欠陥の立体形状検出装置による欠
陥の検出時の斜面図である。
【図7】本発明による欠陥の立体形状検出装置における
画像処理装置のブロック図である。
【図8】欠陥をXY座標系の格子で表したときの説明図
である。
【図9】バップァα上で見た欠陥の説明図である。
【図10】計算された立体形状の説明図である。
【符号の説明】
1 ワーク 2 カラーラインTVカメラ 3 光源 4 光源 5 資料片 6 ワーク送り機構 7 画像処理装置 8 演算LSI 9 CPU 10 欠陥の立体形状検出装置 11 A/D変換器 12 A/D変換器 13 A/D変換器 14 Rプレーン 15 Gプレーン 16 Bプレーン 17 結果プレーン 18 バス 19 パラメータテーブル 20 エンコーダ 21 同期制御部 22 メモリ 23 入出力部 24 ビデオメモリ 25 D/A変換器 26 露光時間制御部
フロントページの続き Fターム(参考) 2F065 AA04 AA49 AA53 BB05 BB15 DD06 FF04 GG03 GG07 GG16 GG23 HH02 HH12 HH14 JJ02 JJ15 JJ25 KK01 LL22 PP04 PP15 PP22 PP25 QQ24 QQ25 TT01 UU01 UU02 UU05 2G051 AA31 AA90 AB02 BA01 BA04 BA08 BA20 CA03 CA04 DA01 DA06 EA12 EA14 EA17 EB01 EB02 ED07

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 ワーク送り出し機構により繰り出される
    ワークの平面上の立体的な欠陥を検査する装置におい
    て、 互いに平行な棒状で三原色のうち異なる色の照明光を異
    なる角度からワークの検査対象の平面に向けて照射する
    一対の光源と、異なる色の照明光の下でワークの検査対
    象の平面をワークの上方から撮像するRGB対応のカラ
    ーラインTVカメラと、このカラーラインTVカメラか
    らの異なる色毎の画像データ間で同一対応点における明
    るさ(濃度値)の比からワークに対する観測点の傾斜角
    φyを求め、この傾斜角φyの正接値から求められる高さ
    の増分をX軸方向に順次累積することによりワークの平
    面上の欠陥の立体形状を検出する画像処理装置と、を具
    備することを特徴とする欠陥の立体形状検出装置。
  2. 【請求項2】 一対の光源の異なる色の照明光をR
    (赤)とB(緑)との組み合わせ、R(赤)とG(青)
    と組み合わせ、およびG(青)とB(緑)と組み合わせ
    のうち、いずれか1つの組み合わせとすることを特徴と
    する請求項1記載の欠陥の立体形状検出装置。
  3. 【請求項3】 予め切り出したワークのサンプルとして
    の資料片を順次傾けながら、その傾き角の正接値と観測
    点の明るさ(濃度値)との比(各色の画像と画像とのの
    同一点の濃度値の比)を事前に対応表として記録してお
    き、この対応表を参照して、傾斜角の正接値を求めるこ
    とを特徴とする請求項1記載の欠陥の立体形状検出装
    置。
  4. 【請求項4】 基準面において異なる色毎の画像データ
    間で同一対応点における明るさ(濃度値)の和を事前に
    求めておき、それに対する観測点の画像データ間で同一
    対応点における明るさ(濃度値)の和を求め、基準面で
    の明るさ(濃度値)の和と観測点での明るさ(濃度値)
    の和との比を算出し、すでに計算済みのy軸まわりの傾
    斜角φyとを用いて式(16a)により、観測点のx軸まわ
    りの傾斜角φxの絶対値を求めることを特徴とする請求
    項1記載の欠陥の立体形状検出装置。
  5. 【請求項5】 ワーク送り出し機構にエンコーダを取り
    付け、そのエンコーダからの出力パルスを画像処理装置
    の同期制御部に入力し、この同期制御部からエンコーダ
    からの出力パルスに同期してカラーラインTVカメラの
    撮像間隔を制御することにより、ワークの定速でない繰
    り出し速度に対応することを特徴とする請求項1記載の
    欠陥の立体形状検出装置。
JP2002068839A 2002-03-13 2002-03-13 欠陥の立体形状検出装置 Expired - Fee Related JP3935379B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002068839A JP3935379B2 (ja) 2002-03-13 2002-03-13 欠陥の立体形状検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002068839A JP3935379B2 (ja) 2002-03-13 2002-03-13 欠陥の立体形状検出装置

Publications (2)

Publication Number Publication Date
JP2003269931A true JP2003269931A (ja) 2003-09-25
JP3935379B2 JP3935379B2 (ja) 2007-06-20

Family

ID=29199843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002068839A Expired - Fee Related JP3935379B2 (ja) 2002-03-13 2002-03-13 欠陥の立体形状検出装置

Country Status (1)

Country Link
JP (1) JP3935379B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007010405A (ja) * 2005-06-29 2007-01-18 Yokohama Rubber Co Ltd:The タイヤ動的接地形状測定方法及び装置
JP2008135385A (ja) * 2006-10-31 2008-06-12 National Institute Of Advanced Industrial & Technology Led照明光源装置
JP2009532690A (ja) * 2006-04-05 2009-09-10 セッペーレ,カリ 形状を測定/認識する方法
JP2011511932A (ja) * 2007-12-19 2011-04-14 ソシエテ ド テクノロジー ミシュラン タイヤ表面の評価方法
WO2016194939A1 (ja) * 2015-06-05 2016-12-08 新日鐵住金株式会社 金属体の形状検査装置及び金属体の形状検査方法
KR20170053707A (ko) * 2015-05-29 2017-05-16 신닛테츠스미킨 카부시키카이샤 금속체의 형상 검사 장치 및 금속체의 형상 검사 방법
JP2019168371A (ja) * 2018-03-26 2019-10-03 住友電気工業株式会社 表面状態検査装置及び表面状態検査方法
JP2021156767A (ja) * 2020-03-27 2021-10-07 富士フイルムビジネスイノベーション株式会社 測定装置、情報処理装置、および、プログラム
WO2024116634A1 (ja) * 2022-11-28 2024-06-06 パナソニックIpマネジメント株式会社 検査システム
CN118558621A (zh) * 2024-07-31 2024-08-30 钛玛科(北京)工业科技有限公司 基于产品图像剔除缺陷产品的方法、装置和电子设备

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4735079B2 (ja) * 2005-06-29 2011-07-27 横浜ゴム株式会社 タイヤ動的接地形状測定方法
JP2007010405A (ja) * 2005-06-29 2007-01-18 Yokohama Rubber Co Ltd:The タイヤ動的接地形状測定方法及び装置
JP2009532690A (ja) * 2006-04-05 2009-09-10 セッペーレ,カリ 形状を測定/認識する方法
JP2008135385A (ja) * 2006-10-31 2008-06-12 National Institute Of Advanced Industrial & Technology Led照明光源装置
JP2011511932A (ja) * 2007-12-19 2011-04-14 ソシエテ ド テクノロジー ミシュラン タイヤ表面の評価方法
EP3179205A4 (en) * 2015-05-29 2018-01-17 Nippon Steel & Sumitomo Metal Corporation Metal body shape inspection device and metal body shape inspection method
KR101894683B1 (ko) 2015-05-29 2018-09-04 신닛테츠스미킨 카부시키카이샤 금속체의 형상 검사 장치 및 금속체의 형상 검사 방법
US9970750B2 (en) 2015-05-29 2018-05-15 Nippon Steel & Sumitomo Metal Corporation Shape inspection apparatus for metallic body and shape inspection method for metallic body
KR20170053707A (ko) * 2015-05-29 2017-05-16 신닛테츠스미킨 카부시키카이샤 금속체의 형상 검사 장치 및 금속체의 형상 검사 방법
US9903710B2 (en) 2015-06-05 2018-02-27 Nippon Steel & Sumitomo Metal Corporation Shape inspection apparatus for metallic body and shape inspection method for metallic body
CN107003115A (zh) * 2015-06-05 2017-08-01 新日铁住金株式会社 金属体的形状检查装置和金属体的形状检查方法
JP6119926B1 (ja) * 2015-06-05 2017-04-26 新日鐵住金株式会社 金属体の形状検査装置及び金属体の形状検査方法
WO2016194939A1 (ja) * 2015-06-05 2016-12-08 新日鐵住金株式会社 金属体の形状検査装置及び金属体の形状検査方法
CN107003115B (zh) * 2015-06-05 2019-08-09 日本制铁株式会社 金属体的形状检查装置和金属体的形状检查方法
JP2019168371A (ja) * 2018-03-26 2019-10-03 住友電気工業株式会社 表面状態検査装置及び表面状態検査方法
JP7087533B2 (ja) 2018-03-26 2022-06-21 住友電気工業株式会社 表面状態検査装置及び表面状態検査方法
JP2021156767A (ja) * 2020-03-27 2021-10-07 富士フイルムビジネスイノベーション株式会社 測定装置、情報処理装置、および、プログラム
JP7516804B2 (ja) 2020-03-27 2024-07-17 富士フイルムビジネスイノベーション株式会社 測定装置、情報処理装置、および、プログラム
WO2024116634A1 (ja) * 2022-11-28 2024-06-06 パナソニックIpマネジメント株式会社 検査システム
CN118558621A (zh) * 2024-07-31 2024-08-30 钛玛科(北京)工业科技有限公司 基于产品图像剔除缺陷产品的方法、装置和电子设备

Also Published As

Publication number Publication date
JP3935379B2 (ja) 2007-06-20

Similar Documents

Publication Publication Date Title
EP2745073B1 (en) Systems and methods for performing machine vision using diffuse structured light
WO2011074261A1 (ja) 管状品の検査装置およびその検査方法
CN1682071A (zh) 均匀光照源的方法和设备
JP2003269931A (ja) 欠陥の立体形状検出装置
KR101630596B1 (ko) 차량하부 촬영장치 및 이를 운용하는 차량하부 촬영방법
US10241057B2 (en) Optical inspecting apparatus with an optical screening device
TWI495867B (zh) Application of repeated exposure to multiple exposure image blending detection method
TW201005285A (en) System and method for inspection of semiconductor packages
US20100309309A1 (en) Method for precisely detecting crack width
TWM527556U (zh) 一種物件外表面的取像裝置
JP2530532B2 (ja) 錠剤シ―トの検査装置
JP2018500576A (ja) 光学測定の構成
US20230204519A1 (en) 3d image acquisition system for optical inspection and method for optical inspection of objects, in particular electronic assemblies, electronic boards and the like
JP7136064B2 (ja) 被検査体の表面検査装置および被検査体の表面検査方法
JP4251980B2 (ja) 形状計測装置
JP3322606B2 (ja) 板幅・蛇行検出方法及び装置
CN1138897A (zh) 检验器件外观用的照明装置和使用该照明装置的器件外观自动检验装置
JP2012098131A (ja) 配光特性測定装置、配光特性検査装置、配光特性測定プログラム、配光特性測定方法および配光特性検査方法
KR101846949B1 (ko) 다중 광학계를 이용한 복합 검사장치
KR100710703B1 (ko) 반도체 리드프레임 도금 선폭 측정 검사장치 및 그 방법
TWI694251B (zh) 鋁電解電容器之加締鋁箔檢測方法
JP2002014058A (ja) 検査方法及び装置
TWI759864B (zh) 檢測設備及其收光裝置
JPH0914914A (ja) レーザスペックルパターンによる移動量の測定装置におけるレーザ光の照射方法ならびにその装置
KR101155213B1 (ko) 이차원 광학 검측의 플랫필드 교정방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070319

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100330

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160330

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees