JP2000028512A - 結晶粒径測定方法及び装置 - Google Patents

結晶粒径測定方法及び装置

Info

Publication number
JP2000028512A
JP2000028512A JP10193435A JP19343598A JP2000028512A JP 2000028512 A JP2000028512 A JP 2000028512A JP 10193435 A JP10193435 A JP 10193435A JP 19343598 A JP19343598 A JP 19343598A JP 2000028512 A JP2000028512 A JP 2000028512A
Authority
JP
Japan
Prior art keywords
crystal grain
calculated
diameter
grain size
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10193435A
Other languages
English (en)
Other versions
JP3580137B2 (ja
Inventor
Kazuki Hashimoto
和樹 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Sumitomo Metal Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Metal Industries Ltd filed Critical Sumitomo Metal Industries Ltd
Priority to JP19343598A priority Critical patent/JP3580137B2/ja
Publication of JP2000028512A publication Critical patent/JP2000028512A/ja
Application granted granted Critical
Publication of JP3580137B2 publication Critical patent/JP3580137B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Investigating And Analyzing Materials By Characteristic Methods (AREA)

Abstract

(57)【要約】 【課題】 鋼板又はメッキの材質,コーティング膜の厚
さ又はそのばらつき,及び鋼板のその厚さ方向のばたつ
き等の影響がなく、これらの状態に応じた標準サンプル
での結晶粒径真値と輝度閾値とを求める必要がなく、標
準サンプルを必要としない高精度な結晶粒径測定方法及
び装置を提供する。 【解決手段】 撮像器3によって撮像された撮像画像を
量子化し、量子化結果に基づいて輝度に対する度数分布
を生成し、この度数分布における度数の最大値に対応す
る輝度を輝度閾値として2値化し、2値化結果に応じて
抽出したスパングル等の結晶粒の粒径を演算する画像処
理部4を備える構成とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理により金
属表面の結晶粒径を測定する結晶粒径測定方法及び装置
に関し、特にメッキ表面に析出するスパングルの粒径を
測定する方法及びその装置に関する。
【0002】
【従来の技術】例えば、自動車の外装材及び内装材,家
庭用電化製品の外装材,並びに建築用材として広く用い
られている表面処理鋼板は、冷延薄鋼板の表面に防錆性
及び耐食性の強化を目的として、亜鉛,鉄,アルミニウ
ム,及び錫を主成分とした合金でメッキ処理し、さらに
防錆性を高めるために、無色又は極淡黄色のクロメート
等のコーティング材で表面を被覆することにより製造さ
れ、特に自動車及び家庭用電化製品に用いられる表面処
理鋼板は、塗料との親和性の高いコーティング材を用い
て表面コーティングされた後で塗装処理される。
【0003】最近では、メッキ処理技術の進歩により、
耐食性が著しく優れた表面処理鋼板の製造が可能とな
り、特に家庭用電化製品の外装材及び建築用材において
は、塗装を要しないAl−Zn合金メッキを用いた表面
処理鋼板が既に製品化されている。
【0004】このような塗装を要しない表面処理鋼板に
おいては、メッキ剤塗布後の冷却過程で鋼板表面にスパ
ングルと呼ばれる結晶粒が不可避的に析出するため、メ
ッキ処理された鋼板表面が無色又は極淡黄色のコーティ
ング膜を通した外観上の品質が損なわれるという問題が
あり、この結晶粒の粒径を均一にして外観上の品質低下
を抑制する試みがなされている。なお、ここでいう粒径
とは、結晶粒の面積に相当する大きさの円の直径であ
る。
【0005】一方、結晶粒径のフィードバック制御及び
検査の観点から、製造ライン上で結晶粒径の自動測定を
実現する試みがなされており、特願平9−252515
号において、被測定面を撮像器により撮像した後で2値
化し、2値化画像データに基づいてスパングルの如き所
定の結晶粒を識別し、識別した前記結晶粒の画素数を計
数することによって各結晶粒の面積を演算し、演算され
た面積に対応する円の直径を演算し、演算された各結晶
粒の直径の平均値を演算することによって、被測定面に
おける前記結晶粒の粒径を演算する結晶粒径測定装置が
開示されており、この結晶粒径測定装置によれば前記結
晶粒の粒径を安定的に得ることができる。
【0006】
【発明が解決しようとする課題】本願発明者らは、上述
の如き結晶粒径測定装置における測定精度を更に向上さ
せるために、以下の如き課題を挙げている。
【0007】1つは、前述の結晶粒径測定装置における
2値化閾値(輝度閾値)は、予め作成された標準サンプ
ルを目視測定した粒径を結晶粒径真値とし、標準サンプ
ルの粒径を前記結晶粒径測定装置で測定した値と、前記
結晶粒径真値との誤差が最小となるよう調整して求めら
れるものであり、例えば、材質が異なる表面処理鋼板又
はメッキの被測定面を測定する都度、これらの材質に応
じた標準サンプルの結晶粒径真値と、輝度閾値とを求め
る必要があるほか、測定精度を向上させるために多数の
標準サンプルを必要とする。なお、同一材質の表面処理
鋼板及びメッキを用いた場合であっても、コーティング
膜の厚さが異なる場合には同様の課題を有する。
【0008】また、搬送経路上を連続的に搬送される帯
状の表面処理鋼板の表面を所定間隔で測定する場合に
は、搬送方向におけるコーティング膜の厚さのばらつき
及び搬送される帯状の表面処理鋼板のその厚さ方向のば
たつきが生じるが、各膜厚又は各ばたつき状態に対応し
た標準サンプルを作成することが困難である。
【0009】いま一つは、各結晶粒の面積に対応する円
の直径の平均値を、被測定面における粒径の代表値とす
るため、被測定面における結晶粒径のばらつきが大き
く、また偏っている場合に誤差が増大する。
【0010】図17は、従来の結晶粒径測定装置による
スパングル粒径の測定結果(平均粒径測定値)とこれに
対応する結晶粒径真値との関係を示すグラフであり、横
軸に結晶粒径真値(mm)を、縦軸に従来の結晶粒径測
定値により測定された平均粒径測定値(mm)を夫々配
してある。
【0011】図17に示す如く、測定対象とするスパン
グルが大きくなるにつれて、誤差が増大していることが
わかる。これは、前述した如く微細なスパングルが多数
介在しているからである。
【0012】図18は、図17における平均粒径測定値
のA点及びB点での各スパングルの粒径に対する度数分
布を示すヒストグラムであり、横軸に各スパングルの粒
径(mm)を、縦軸に各粒径における相対度数(%)を
夫々配してある。また、中央から上方にA点のヒストグ
ラムを、下方にB点のヒストグラムを夫々対比させて示
してある。
【0013】図18に示す如く、A点及びB点の何れに
おいても比較的小径のスパングルが多く存在している。
【0014】なお、結晶粒径真値は日本工業規格により
その測定方法が定められていないため、暫定的に図19
に示す如き方法で求めた。
【0015】図19は、結晶粒径真値の求め方を説明す
るための説明図であり、撮像器によって撮像されたスパ
ングルS,S,…の一部を示している。図19におい
て、被測定面上で任意の長さ及び方向の線分A−Aを設
定し、この線分A−Aが横切るスパングルS,S,…の
個数を目視で計数する。そして、線分A−Aの長さを上
述のスパングルS,S,…の個数で除すことによって結
晶粒径真値を求める。
【0016】本発明は斯かる事情に鑑みてなされたもの
であり、量子化結果に基づいて輝度に対する度数分布表
を生成し、この度数分布表における度数の最大値に対応
する輝度を輝度閾値とすることにより、鋼板又はメッキ
の材質,コーティング膜の厚さ又はそのばらつき,及び
鋼板のその厚さ方向のばたつき等の影響がなく、これら
の状態に応じた標準サンプルでの結晶粒径真値と輝度閾
値とを求める必要がなく、標準サンプルを必要としない
高精度な結晶粒径測定方法及び装置を提供することを目
的とする。
【0017】
【課題を解決するための手段】第1発明に係る結晶粒径
測定方法は、撮像器を用いて被測定面を撮像し、撮像結
果を量子化し、量子化結果を所定の輝度閾値に基づいて
2値化することによって前記被測定面に析出する所定種
類の結晶粒を識別し、識別された前記所定種類の結晶粒
の画素数に応じた面積を演算し、該面積に対応する円の
直径を演算し、演算結果に基づいて前記結晶粒の粒径を
算出することにより、前記粒径の測定を行なう結晶粒径
測定方法において、前記量子化結果に基づいて輝度に対
する度数分布を求める第1ステップと、前記度数分布に
基づいて前記所定の輝度閾値を求める第2ステップとを
有することを特徴とする。
【0018】第2発明に係る結晶粒径測定方法は、第1
発明の結晶粒径測定方法において、前記第1及び第2ス
テップの間に、前記度数分布を平滑化するステップを更
に有することを特徴とする。
【0019】第3発明に係る結晶粒径測定方法は、第1
又は第2発明の結晶粒径測定方法における前記第2ステ
ップが、前記度数分布に基づいて度数が最大となる輝度
を前記所定の輝度閾値とすることを特徴とする。
【0020】第4発明に係る結晶粒径測定方法は、第1
〜第3発明の結晶粒径測定方法において、前記面積に対
応する円の直径を演算した後で、演算された前記円の直
径に対して分級し、予め設定された基準粒径と演算され
た前記円の直径に関連する値との比に基づいて、分級結
果に重み付けし、重み付け結果に基づいて前記結晶粒の
粒径を演算することを特徴とする。
【0021】第5発明に係る結晶粒径測定方法は、撮像
器を用いて被測定面を撮像し、撮像結果を量子化し、量
子化結果を所定の輝度閾値に基づいて2値化することに
よって前記被測定面に析出する所定種類の結晶粒を識別
し、識別された前記所定種類の結晶粒の画素数に応じた
面積を演算し、該面積に対応する円の直径を演算し、演
算結果に基づいて前記結晶粒の粒径を算出することによ
り、前記粒径の測定を行なう結晶粒径測定方法におい
て、前記面積に対応する円の直径を演算した後で、演算
された前記円の直径に対して分級し、予め設定された基
準粒径と演算された前記円の直径に関連する値との比に
基づいて、分級結果に重み付けし、重み付け結果に基づ
いて前記結晶粒の粒径を演算することを特徴とする。
【0022】第6発明に係る結晶粒径測定装置は、撮像
器を用いて被測定面を撮像し、撮像結果を量子化し、量
子化結果を所定の輝度閾値に基づいて2値化することに
よって前記被測定面に析出する所定種類の結晶粒を識別
し、識別された前記所定種類の結晶粒の画素数に応じた
面積を演算し、該面積に対応する円の直径を演算し、演
算結果に基づいて前記結晶粒の粒径を算出することによ
り、前記粒径を測定する結晶粒径測定装置において、前
記量子化結果に基づいて輝度に対する度数分布を演算す
る輝度分布演算手段と、該輝度分布演算手段による演算
結果に基づいて前記所定の輝度閾値を演算する閾値演算
手段とを備えることを特徴とする。
【0023】第7発明に係る結晶粒径測定装置は、第6
発明の結晶粒径測定装置において、前記輝度分布演算手
段により演算された前記度数分布を平滑化する平滑化手
段を更に備え、前記閾値演算手段は、前記平滑化手段に
よる平滑化結果に基づいて前記所定の輝度閾値を演算す
べくなしてあることを特徴とする。
【0024】第8発明に係る結晶粒径測定装置は、第6
又は第7発明の結晶粒径測定装置における前記閾値演算
手段が、前記輝度分布演算手段による演算結果で度数が
最大となる輝度に基づいて前記所定の輝度閾値を演算す
べくなしてあることを特徴とする。
【0025】第9発明に係る結晶粒径測定装置は、第6
〜第8発明の結晶粒径測定装置において、前記面積に対
応する円の直径を演算した後で、演算された前記円の直
径に対して分級する分級手段と、予め設定された基準粒
径と演算された前記円の直径に関連する値との比に基づ
いて、前記分級手段による分級結果に重み付けする重み
付け手段と、該重み付け手段による重み付け結果に基づ
いて前記結晶粒の粒径を演算する粒径演算手段とを更に
備えることを特徴とする。
【0026】第10発明に係る結晶粒径測定装置は、撮
像器を用いて被測定面を撮像し、撮像結果を量子化し、
量子化結果を所定の輝度閾値に基づいて2値化すること
によって前記被測定面に析出する所定種類の結晶粒を識
別し、識別された前記所定種類の結晶粒の画素数に応じ
た面積を演算し、該面積に対応する円の直径を演算し、
演算結果に基づいて前記結晶粒の粒径を算出することに
より、前記粒径を測定する結晶粒径測定装置において、
前記面積に対応する円の直径を演算した後で、演算され
た前記円の直径に対して分級する分級手段と、予め設定
された基準粒径と演算された前記円の直径に関連する値
との比に基づいて、前記分級手段による分級結果に重み
付けする重み付け手段と、該重み付け手段による重み付
け結果に基づいて前記結晶粒の粒径を演算する粒径演算
手段とを備えることを特徴とする。
【0027】第1及び第6発明に係る結晶粒径測定方法
及び装置によれば、撮像器により撮像された被測定面の
撮像画像を量子化し、量子化結果に基づいて輝度に対す
る度数分布を求め、求めた度数分布に基づいて2値化閾
値(輝度閾値)を求め、求めた輝度閾値に基づいて撮像
画像を2値化することによって被測定面に析出するスパ
ングルの如き所定種類の結晶粒を識別し、識別された結
晶粒の画素を計数し、計数結果に応じた面積を演算し、
演算結果に対応する円の直径を演算し、演算結果に基づ
いて前記結晶粒の粒径を算出することにより、前記粒径
の測定を行なう構成としたので、被測定面における結晶
粒径分布に応じた輝度閾値を選定することができ、鋼板
又はメッキの材質,コーティング膜の厚さ又はそのばら
つき,及び鋼板のその厚さ方向のばたつき等の影響が少
なく、これらの状態に応じた標準サンプルでの結晶粒径
真値と輝度閾値とを求める必要がなく、標準サンプルを
必要とせずに結晶粒径の測定が可能である。
【0028】第2及び第7発明に係る結晶粒径測定方法
及び装置によれば、度数分布に基づいて輝度閾値を求め
る際に、度数分布を平滑化しておく構成としたので、例
えば輝度に対する度数分布グラフからその極大値を求
め、求めた極大値に対応した輝度を輝度閾値とするよう
な場合において、前記極大値を抽出することが容易とな
る。
【0029】第3及び第8発明に係る結晶粒径測定方法
及び装置によれば、度数分布に基づいて輝度閾値を求め
る際に、上述に例示した如く、極大値のような度数の最
大値に対応した輝度を輝度閾値とする構成としたので、
被測定面における粒径分布の大多数に合わせた輝度を選
定することができ、より誤差の小さい粒径測定が可能で
ある。
【0030】第4及び第9発明に係る結晶粒径測定方法
及び装置によれば、各結晶粒の面積に対応した円の直径
を演算した後で、演算された前記円の直径に対する度数
分布を求めなどして分級し、予め設定された基準粒径と
演算された前記円の直径に関連する値との比に基づい
て、分級結果たる前記度数分布における各級区間の度数
に重み付けを行ない、重み付け結果に基づいて結晶粒径
を演算する構成としたので、例えば被測定面における粒
径分布の大多数に合わせた値を基準粒径とすることによ
り、高精度な結晶粒径の測定が可能である。
【0031】第5及び第10発明に係る結晶粒径測定方
法及び装置によれば、撮像器により撮像された被測定面
の撮像画像を量子化し、量子化結果に基づいて2値化す
ることによって被測定面に析出するスパングルの如き所
定種類の結晶粒を識別し、識別された結晶粒の画素を計
数し、計数結果に応じた面積を演算し、演算結果に対応
する円の直径を演算し、演算した各結晶粒の面積に対応
した円の直径を演算した後で、演算された前記円の直径
に対する度数分布を求めるなどして分級し、予め設定さ
れた基準粒径と演算された前記円の直径に関連する値と
の比に基づいて、分級結果たる前記度数分布における各
級区間の度数に重み付けを行ない、重み付け結果に基づ
いて結晶粒径を演算する構成としたので、前述の重み付
けを従来の結晶粒径測定方法及び装置にも適用すること
ができる。
【0032】
【発明の実施の形態】実施の形態1.図1は、実施の形
態1に係る結晶粒径測定装置の構成を示すブロック図で
ある。図1において、本実施の形態の結晶粒径測定装置
は、Al−Znメッキ処理後に次工程へ搬送される表面
処理鋼板(以後、単に鋼板という)1の表面(被測定
面)11に析出するスパングルの結晶粒径を測定すべく
設けられている。
【0033】帯状に成形された鋼板1は、2つのローラ
r,rにより搬送されており、これらローラr,rの中
途における鋼板1へ光を照射する照明プローブ21が照
射角度(入射角度)θを0°〜90°の範囲で変更可能
なように図示しない支持フレームに支持されており、照
明プローブ21は、光ファイバ22を介して光源2に接
続されている。
【0034】照明プローブ21には、スポット,ライ
ン,面,リング等のあらゆる形態を有するものが使用可
能であるが、被測定面11に均一な光量で照射し、撮像
器3による撮像視野内でのシェーディングの影響を最小
限とするために、ライン光源又は面光源の如き形態とす
るのが望ましい。
【0035】さらに、本実施の形態においては、鋼板1
の搬送に伴って被測定面11が移動するために、瞬時発
光が可能なストロボ型のものを光源2として用いて撮像
ぶれを抑制してある。発光周期は、予め設定した周期で
固定することもできるが、本実施の形態においては、光
源2に接続された撮像制御部53によって、鋼板1の搬
送速度の変動に応じて調整されるようになっている。
【0036】また、光源2には、ハロゲン,メタルハラ
イド,キセノン等の白色光源を用いることができるが、
寿命が比較的に長く、約100W以上の大きいものを用
いることが望ましい。なお、被測定面11における照度
については、光源2と被測定面11との距離,撮像視野
の大きさ等によって変動することは言うまでもない。
【0037】撮像器3は、フルフレームメモリ(1画面
分)を備え、被測定面11を撮像する一般的なCCDか
ら構成され、被測定面11から十分に離隔して設けてあ
るが、微小なスパングルの結晶粒径測定に応じてズーム
倍率(ズーム比)が手動又は自動により調整可能なズー
ムレンズを備えたものが望ましい。なお、照明プローブ
21からの光が被測定面11で正反射する光軸上又はそ
の近傍にある場合には、撮像される画像にハレーション
が生じ、また撮像される被測定面11のスパングルに見
掛けの変形が生じるので、撮像器3は被測定面11に垂
直な光軸上に設けられている。
【0038】また、撮像器3は、撮像周期を調整する画
像フリーザ31に接続されており、画像フリーザ31
は、撮像器3によって撮像された画像をフレーム単位で
処理し、処理結果を画像処理部4へ与える。
【0039】なお、光源2の発光周期が鋼板1の搬送速
度に対して十分に小さい場合には、撮像ぶれが少ないの
で、この画像フリーザ31を省略することができる。
【0040】画像処理部4は、マイクロプロセッサを備
えてなり、画像フリーザ31から与えられる被測定面1
1の画像データを量子化し、量子化した画像データをC
RT42に出力して撮像画像データを表示させるととも
に、更にこの画像データを2値化,前処理(ノイズ除
去,穴埋め等)し、前処理結果に基づいて結晶粒径を演
算した後で、演算結果(結晶粒径測定値)を撮像制御部
53へ与える。また、画像処理部4は、必要に応じて演
算結果,撮像画像データを画像記憶部43に格納する。
【0041】撮像制御部53は、マイクロプロセッサを
備えてなり、画像処理部4から与えられた結晶粒径測定
値をモデム,ルータ等を備えてなる通信制御部52を介
して、図示しない上位コンピュータへ送出するようにな
っている。また、前記上位コンピュータからは同様にし
て通信制御部52を介して鋼板1の搬送速度の情報が受
信され、撮像制御部53は、この搬送速度の情報を撮像
器3へ与える。撮像制御部53は更に以上の動作状態を
CRT51に出力する。
【0042】なお、撮像制御部53の上位コンピュータ
への送信は、撮像器3による撮像周期と一致させること
もでき、また所定回数分の撮像画像からの結晶粒径測定
値の平均値を演算し、これを前記所定回数毎の撮像周期
で送出する構成とすることもできる。但し、送信速度は
画像処理部4及び撮像制御部53の処理速度によって左
右されるものであるが、実際には鋼板1の搬送方向への
スパングル粒径の変動は急激でないため、数Hz〜数十
Hzに対応した周期で実用上十分である。
【0043】なお、本実施の形態においては、Al−Z
nメッキ処理後に次工程へ搬送される途中の鋼板1を撮
像する構成としたが、撮像位置はこれに限るものではな
い。但し、結晶粒径測定値の迅速なフィードバックと、
搬送される鋼板1のバタツキ,板伸び等による結晶粒径
の測定誤差の回避とを達成するために、撮像位置は可及
的にメッキポット後の凝固完了位置に近い位置とするの
が望ましく、また鋼板1のパスライン安定化のために、
何れかのロールr,r近傍が望ましい。
【0044】図2は、実施の形態1の画像処理部4にお
ける結晶粒径演算の処理手順を示すフローチャートであ
る。まず、画像フリーザ31から与えられた画像データ
を量子化し(ステップ1)、量子化結果に基づいて輝度
度数分布表を生成する(ステップ2)。なお、輝度度数
分布表は、テーブル(表)形式ではなくヒストグラム形
式又は度数折線グラフ形式で得ることも可能である。
【0045】次に、生成された輝度度数分布表を平滑化
(平均化)し(ステップ3)、ノイズの影響を小さくす
る。なお、この平滑化は、各輝度階調の前後10階調を
含めた計21階調における度数平均値を求めて、これを
新たにこの輝度階調の度数とするものである。
【0046】平滑化された輝度度数分布表に基づいて、
この分布表の極大値を演算し、演算結果を輝度閾値(2
値化閾値)とする(ステップ4)。なお、極大値の演算
は、次式により行なうことができる。
【0047】 F(n−5)<F(n)>F(n+5)…(1) n:輝度階調(n=0,1,2,…,253,254,
255) F(n):輝度階調nごとの度数
【0048】即ち、各輝度階調の度数をその5階調前の
度数と5階調後の度数と比較し、(1)式を満足してい
る場合に、この輝度階調の度数が極大値であるとする。
なお、(1)式を満足していない場合には、比較した前
後の階調の何れか大きい階調に移行し、この輝度階調に
ついて同様の比較を繰り返す。
【0049】そして、演算された輝度閾値に基づいて前
記画像データを2値化し(ステップ5)、2値化画像デ
ータに一般的な画像処理手法である孤立点除去及び穴埋
め等の前処理を行なう(ステップ6)。
【0050】次いで、スパングルに相当する部分の画素
数を演算し(ステップ7)、この画素数と予め演算され
た1画素の実寸値とに基づいて、この画素に相当する面
積を演算し(ステップ8)、演算した面積に相当する円
の直径を演算する(ステップ9)。
【0051】そして、ステップ7〜ステップ9を全ての
スパングルについて行ったか否かを確認し(ステップ1
0)、全てのスパングルについて行った場合には、予め
設定された閾値に基づいて、直径の小さいスパングルを
排除する(ステップ11:面積除去)。ステップ11に
て除去されず残ったスパングルの直径の平均値を演算し
(ステップ12)、これをスパングルの結晶粒径とす
る。なお、ステップ10にて全てのスパングルについて
行っていない場合には、ステップ7〜ステップ9を繰り
返す。
【0052】なお、ステップ11における閾値には、ス
パングルが析出していない状態(ゼロスパングル)で予
め上述と同様の結晶粒径測定を行ない、このときの測定
値を用いてある。
【0053】図3は、図2のステップ6の前処理におけ
る孤立点除去を説明するための説明図であり、ステップ
5における2値化後の状態を模式的に示してある。
【0054】図3において、被測定面11の撮像領域は
格子状となっており、格子で区切られた各矩形の領域が
夫々1画素を示している。各画素において、2値化後の
スパングルは「1」で示され、それ以外の部分は「0」
で示されるが、被測定面11のごみ,撮像時の何らかの
ノイズ等の要因により、スパングル以外の部分でも
「1」で表示される場合がある。そこで、この孤立点除
去では、「1」の画素に着目し、その画素を取り囲む8
つの画素が全て「0」である場合に、この画素を「0」
に置換することにより、上述の如き影響を排除すること
ができる。
【0055】図4は、図2のステップ6の前処理におけ
る穴埋めを説明するための説明図であり、図3と同様に
ステップ5における2値化後の状態を模式的に示してあ
る。
【0056】図4において、連続した「1」の画素群は
スパングルを示しており、それを取り囲む「0」の画素
群はその他の部分を示している。ところが、前述の孤立
点除去と同様の理由にてスパングルの画素群に「0」の
画素群が混在する場合がある。そこで、「1」の画素群
に囲まれた「0」の画素又はその画素群に着目し、この
「0」の画素又は画素群を「1」に置換することによ
り、上述の如き影響を排除することができる。
【0057】実施の形態2.図5は、実施の形態2に係
る結晶粒径測定装置の構成を示すブロック図である。
【0058】図5において、可動機構部34は、鋼板1
の搬送方向と平行に配置され、また鋼板1に接離する方
向(白抜矢符方向)への移動自在に設けられたビーム3
41と、前記白抜矢符方向へビーム341を貫通して穿
設されたねじ孔に螺合するガイドねじ342とからな
り、ガイドねじ342には、これを回転駆動するモータ
33がその出力軸をガイドねじ342に同軸的に設けら
れている。また、ビーム341の中途部には撮像器3が
鋼板1に対向して設けられている。
【0059】ビーム341の中途部には、更に測距計3
2が鋼板1に対向して設けられている。この測距計32
は、レーザビームを鋼板1の表面に照射し、その反射光
に基づいて光学的に撮像器3と鋼板1の表面との距離
(測定距離)を測定するものであり、所定の時間周期で
測定し、この測定結果を画像処理部4へ与える。
【0060】なお、測距計32には、上述したレーザ式
のほかに、接触式,超音波式,渦電流式等の一般的な測
距手段を用いることが可能であるが、鋼板1に傷をつけ
ないように非接触式が望ましい。
【0061】画像処理部4は、実施の形態1の画像処理
部4と同様の機能を有するとともに、前処理結果と測距
計32からの測距結果とに基づいて結晶粒径を演算した
後で、演算結果(結晶粒径測定値)を撮像制御部53へ
与える。
【0062】図6は、実施の形態2の画像処理部4にお
ける結晶粒径演算の処理手順を示すフローチャートであ
る。まず、実施の形態1における図2のステップ1〜6
と同様に量子化,輝度度数分布表の作成,平滑化,2値
化閾値の演算,2値化,及び前処理を行なう(ステップ
1〜6)。続いて、測距計32による測距結果(測定距
離)を読込み(ステップ7)、読込結果に基づいて1画
素の実寸法を演算する(ステップ8)。そして、図2の
ステップ7〜12と同様の処理を行う(ステップ9〜1
4)。
【0063】図7は、図6のステップ8における1画素
の実寸法の演算を説明するための説明図である。図7に
おいて、Pは1画素の大きさを示しており、1,1は鋼
板を示している。鋼板1は通常bの位置(基準位置)に
あるが、ばたつき,厚みの変動等により、被測定面11
である鋼板1の表面の位置と撮像器3との距離(測定距
離)が変動するために、画素の大きさを基準に演算され
る被測定面11のスパングルの大きさは上述の測定距離
の変動に応じて補正する必要がある。
【0064】鋼板1が基準位置bにある場合には、この
基準位置bと撮像器3との距離をL b (基準測定距離)
とし、そのときの1画素の寸法をXb (基準画素寸法)
とする。
【0065】そして、例えば図7に示す如く鋼板1が白
抜矢符方向へsの位置まで移動した場合、測距計32で
測定される位置bと撮像器3との距離をLs としたとき
の1画素の実寸法Xs は、次式で求めることができる。
【0066】Xs =(Xb /Lb )×Ls …(2)
【0067】なお、基準測定距離Lb ,基準画素寸法X
b については、実測することにより予め容易に得ること
ができるものである。
【0068】本実施の形態は以上の如き構成としてあ
り、実施の形態1に対応する部分には同一の参照符号を
付して説明を省略する。
【0069】実施の形態3.本実施の形態では、実施の
形態2における測定結果を補正することにより、更に高
精度な測定が可能となっている。なお、実施の形態1又
は従来の結晶粒測定装置への適用も可能である。
【0070】図8は、実施の形態3の画像処理部4にお
ける結晶粒径演算の処理手順を示すフローチャートであ
る。まず、実施の形態2における図6のステップ1〜1
3と同様の処理を行ない(ステップ1〜13)、ステッ
プ13の後で、スパングルの直径に対する度数分布表を
生成し(ステップ14)、スパングルの直径に基づいて
度数分布表の補正演算を行なう(ステップ15)。な
お、ステップ15の補正演算は、次式に基づいて各級区
間iについて行なう。
【0071】Gi =Fi ×Di /Ds …(3) i :級区間(i=1,2,…,kとする) Gi :級区間iにおける補正後の度数 Fi :級区間iにおける補正前の度数 Di :級区間iにおける中間値 Ds :基準粒径
【0072】基準粒径Ds は、図17中において結晶粒
径真値と平均粒径真値とが一致する理想的な値の連続を
示す破線と、平均粒径測定値との交点(C点)の値を用
いる。
【0073】そして、補正後の度数分布表に基づいて、
実施の形態2における図6のステップ14と同様に、又
は次式に基づいていてパングルの直径の平均値(平均粒
径測定値)を演算する(ステップ16)。
【0074】
【数1】
【0075】図9は、実施の形態3の結晶粒径測定装置
による撮像画像の一例を示す模式図である。これはZn
−55%Alメッキ処理後の鋼板1の表面を撮像したも
のであり、図9(a)における鋼板1のコーティング膜
厚が1.5μm、図9(b)における鋼板1のコーティ
ング膜厚が2.5μmと夫々してある。
【0076】図9において、最も濃い黒色の部分(比較
的密度の高いハッチング部分)がスパングルS,S,…
であり、図9(b)に示す撮像画像には、そのコーティ
ング膜厚が1μm厚いために図9(a)に示す撮像画像
よりもスパングルS,S,…及びその他の結晶粒(ハッ
チング部分)の濃淡差が小さく見える。
【0077】図10は、図9の撮像画像の輝度に対する
度数折線グラフであり、図9(a),(b)に夫々対応
させてある。また、横軸に輝度としての濃度階調(黒:
0〜白:250)を、縦軸にその度数を夫々配してあ
る。
【0078】同様にして、図11は、図10の度数折線
グラフを平滑化した結果を示すグラフであり、図10
(a),(b)に夫々対応させてある。図11(a),
(b)における各極大値での濃度階調は夫々108,9
3となり、比較的に近い値となっている。これらの濃度
階調を各輝度閾値として、2値化した画像データを図1
2に示す。
【0079】図12は、図9に示した撮像画像を画像処
理装置4にて2値化した結果を示す模式図であり、図1
1(a),(b)に夫々対応させてある。図12に示す
如く、被測定面11の撮像画像からスパングルS,S,
…のみが白色で抽出される。
【0080】図13は、図12のスパングルS,S,…
の粒径ごとの度数分布を示すヒストグラムであり、図1
2(a),(b)に夫々対応させてある。図13に示す
如く、両方のグラフにおいては比較的小径のスパングル
S,S,…が相対的に多いことがわかる。また、両方の
グラフにおけるモード(最頻値)は同一値となり、コー
ティング膜厚に拘わらず相対粒径の分布傾向は同様とな
る。
【0081】このようにして得られた粒径ごとの度数分
布を図8のステップ15の如く補正し、得られた平均粒
径測定値を図14に示す。
【0082】図14は、実施の形態3に係る結晶粒径測
定装置による測定精度を示すグラフであり、横軸には図
19に示した方法にて測定された結晶粒径真値(mm)
を配し、縦軸には横軸に対応する本実施の形態に係る結
晶粒径測定装置により測定された平均粒径測定値(m
m)を夫々配してある。
【0083】図14に示す如く、平均粒径測定値は結晶
粒径真値との略一致を示す45°の直線に収束して、誤
差が±0.1mm以内となっている。従って、本実施の
形態に係る結晶粒径測定装置は、コーティング膜厚が異
なる場合でも高精度に結晶粒径を測定できることがわか
る。
【0084】図15は、従来の結晶粒径測定装置と実施
の形態3の結晶粒径測定装置との測定誤差を比較した図
表である。図15に示す如く、従来装置と本実施の形態
の装置との誤差平均は、8.0×10-3,5.7×10
-4、標準偏差は、0.068,0.047と夫々なって
おり、本実施の形態に係る結晶粒径測定装置の方がより
高精度であることが裏付けられている。なお、各装置に
おけるN数は、15,31と夫々した。
【0085】図16は、図5に示した如く搬送されてい
る鋼板1を測定した結果とこれに対応する測定長との関
係を示すグラフであり、横軸には鋼板1の測定長(搬送
方向長さ:km)を配し、縦軸には横軸に対応する平均
粒径測定値(mm)と、コーティング膜厚の変動(μ
m)とを夫々配してある。なお、所定の測定長間隔にて
コーティング膜厚を5段階に変化させている。また、平
均粒径測定値のグラフ上には、任意の測定長間隔にて結
晶粒径真値を求めた結果が、X印でプロットしてある。
【0086】図16に示す如く、コーティング膜厚の変
動に拘わらず結晶粒径測定値が結晶粒径真値と良好に一
致していることがわかる。
【0087】本実施の形態は以上の如き構成としてあ
り、実施の形態2に対応する部分には同一の参照符号を
付して説明を省略する。
【0088】
【発明の効果】以上詳述した如く本発明に係る結晶粒径
測定方法及び装置よれば、撮像器により撮像された被測
定面の撮像画像を量子化し、量子化結果に基づいて輝度
に対する度数分布を求め、求めた度数分布に基づいて2
値化閾値(輝度閾値)を求め、求めた輝度閾値に基づい
て撮像画像を2値化することによって被測定面に析出す
るスパングルの如き所定種類の結晶粒を識別し、識別さ
れた結晶粒の画素を計数し、計数結果に応じた面積を演
算し、演算結果に対応する円の直径を演算し、演算結果
に基づいて前記結晶粒の粒径を算出することにより、前
記粒径の測定を行なう構成としたので、被測定面におけ
る結晶粒径分布に応じた輝度閾値を選定することがで
き、鋼板又はメッキの材質,コーティング膜の厚さ又は
そのばらつき,及び鋼板のその厚さ方向のばたつき等の
影響が少なく、これらの状態に応じた標準サンプルでの
結晶粒径真値と輝度閾値とを求める必要がなく、標準サ
ンプルを必要とせずに結晶粒径の測定が可能である。
【0089】また、度数分布に基づいて輝度閾値を求め
る際に、度数分布を平滑化しておく構成としたので、例
えば輝度に対する度数分布グラフからその極大値を求
め、求めた極大値に対応した輝度を輝度閾値とするよう
な場合において、前記極大値を抽出することが容易とな
る。
【0090】また、度数分布に基づいて輝度閾値を求め
る際に、上述に例示した如く、極大値のような度数の最
大値に対応した輝度を輝度閾値とする構成としたので、
被測定面における粒径分布の大多数に合わせた輝度を選
定することができ、より誤差の小さい粒径測定が可能で
ある。
【0091】また、各結晶粒の面積に対応した円の直径
を演算した後で、演算された前記円の直径に対する度数
分布を求めるなどして分級し、予め設定された基準粒径
と演算された前記円の直径に関連する値との比に基づい
て、分級結果たる前記度数分布における各級区間の度数
に重み付けを行ない、重み付け結果に基づいて結晶粒径
を演算する構成としたので、例えば被測定面における粒
径分布の大多数に合わせた値を基準粒径とすることによ
り、高精度な結晶粒径の測定が可能である。
【0092】さらに、撮像器により撮像された被測定面
の撮像画像を量子化し、量子化結果に基づいて2値化す
ることによって被測定面に析出するスパングルの如き所
定種類の結晶粒を識別し、識別された結晶粒の画素を計
数し、計数結果に応じた面積を演算し、演算結果に対応
する円の直径を演算し、演算した各結晶粒の面積に対応
した円の直径を演算した後で、演算された前記円の直径
に対する度数分布を求めるなどして分級し、予め設定さ
れた基準粒径と演算された前記円の直径に関連する値と
の比に基づいて、分級結果たる前記度数分布における各
級区間の度数に重み付けを行ない、重み付け結果に基づ
いて結晶粒径を演算する構成としたので、前述の補正を
従来の結晶粒径測定方法及び装置にも適用することがで
きる等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図1】実施の形態1に係る結晶粒径測定装置の構成を
示すブロック図である。
【図2】実施の形態1の画像処理部における結晶粒径演
算の処理手順を示すフローチャートである。
【図3】図2のステップ6の前処理における孤立点除去
を説明するための説明図である。
【図4】図2のステップ6の前処理における穴埋めを説
明するための説明図である。
【図5】実施の形態2に係る結晶粒径測定装置の構成を
示すブロック図である。
【図6】実施の形態2の画像処理部における結晶粒径演
算の処理手順を示すフローチャートである。
【図7】図6のステップ8における1画素の実寸法の演
算を説明するための説明図である。
【図8】実施の形態3の画像処理部における結晶粒径演
算の処理手順を示すフローチャートである。
【図9】実施の形態3の結晶粒径測定装置による撮像画
像の一例を示す模式図である。
【図10】図9の撮像画像の輝度に対する度数折線グラ
フである。
【図11】図10の度数折線グラフを平滑化した結果を
示すグラフである。
【図12】図9に示した撮像画像を画像処理装置にて2
値化した結果を示す模式図である。
【図13】図12のスパングルの粒径ごとの度数分布を
示すヒストグラムである。
【図14】実施の形態3に係る結晶粒径測定装置による
測定精度を示すグラフである。
【図15】従来の結晶粒径測定装置と実施の形態3の結
晶粒径測定意装置との測定誤差を比較した図表である。
【図16】図5に示した如く搬送されている鋼板を測定
した結果とこれに対応する測定長との関係を示すグラフ
である。
【図17】従来の結晶粒径測定装置によるスパングル粒
径の測定結果(平均粒径測定値)とこれに対応する結晶
粒径真値との関係を示すグラフである。
【図18】図17における平均粒径測定値のA点及びB
点での各スパングルの粒径に対する度数分布を示すヒス
トグラムである。
【図19】結晶粒径真値の求め方を説明するための説明
図である。
【符号の説明】
2 光源 3 撮像器 4 画像処理部 11 被測定面 21 照明プローブ 22 光ファイバ

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 撮像器を用いて被測定面を撮像し、撮像
    結果を量子化し、量子化結果を所定の輝度閾値に基づい
    て2値化することによって前記被測定面に析出する所定
    種類の結晶粒を識別し、識別された前記所定種類の結晶
    粒の画素数に応じた面積を演算し、該面積に対応する円
    の直径を演算し、演算結果に基づいて前記結晶粒の粒径
    を算出することにより、前記粒径の測定を行なう結晶粒
    径測定方法において、 前記量子化結果に基づいて輝度に対する度数分布を求め
    る第1ステップと、前記度数分布に基づいて前記所定の
    輝度閾値を求める第2ステップとを有することを特徴と
    する結晶粒径測定方法。
  2. 【請求項2】 前記第1及び第2ステップの間に、前記
    度数分布を平滑化するステップを更に有する請求項1記
    載の結晶粒径測定方法。
  3. 【請求項3】 前記第2ステップは、前記度数分布に基
    づいて度数が最大となる輝度を前記所定の輝度閾値とす
    る請求項1又は2記載の結晶粒径測定方法。
  4. 【請求項4】 前記面積に対応する円の直径を演算した
    後で、演算された前記円の直径に対して分級し、予め設
    定された基準粒径と演算された前記円の直径に関連する
    値との比に基づいて、分級結果に重み付けし、重み付け
    結果に基づいて前記結晶粒の粒径を演算する請求項1乃
    至3の何れかに記載の結晶粒径測定方法。
  5. 【請求項5】 撮像器を用いて被測定面を撮像し、撮像
    結果を量子化し、量子化結果を所定の輝度閾値に基づい
    て2値化することによって前記被測定面に析出する所定
    種類の結晶粒を識別し、識別された前記所定種類の結晶
    粒の画素数に応じた面積を演算し、該面積に対応する円
    の直径を演算し、演算結果に基づいて前記結晶粒の粒径
    を算出することにより、前記粒径の測定を行なう結晶粒
    径測定方法において、 前記面積に対応する円の直径を演算した後で、演算され
    た前記円の直径に対して分級し、予め設定された基準粒
    径と演算された前記円の直径に関連する値との比に基づ
    いて、分級結果に重み付けし、重み付け結果に基づいて
    前記結晶粒の粒径を演算することを特徴とする結晶粒径
    測定方法。
  6. 【請求項6】 撮像器を用いて被測定面を撮像し、撮像
    結果を量子化し、量子化結果を所定の輝度閾値に基づい
    て2値化することによって前記被測定面に析出する所定
    種類の結晶粒を識別し、識別された前記所定種類の結晶
    粒の画素数に応じた面積を演算し、該面積に対応する円
    の直径を演算し、演算結果に基づいて前記結晶粒の粒径
    を算出することにより、前記粒径を測定する結晶粒径測
    定装置において、 前記量子化結果に基づいて輝度に対する度数分布を演算
    する輝度分布演算手段と、該輝度分布演算手段による演
    算結果に基づいて前記所定の輝度閾値を演算する閾値演
    算手段とを備えることを特徴とする結晶粒径測定装置。
  7. 【請求項7】 前記輝度分布演算手段により演算された
    前記度数分布を平滑化する平滑化手段を更に備え、前記
    閾値演算手段は、前記平滑化手段による平滑化結果に基
    づいて前記所定の輝度閾値を演算すべくなしてある請求
    項6記載の結晶粒径測定装置。
  8. 【請求項8】 前記閾値演算手段は、前記輝度分布演算
    手段による演算結果で度数が最大となる輝度に基づいて
    前記所定の輝度閾値を演算すべくなしてある請求項6又
    は7記載の結晶粒径測定装置。
  9. 【請求項9】 前記面積に対応する円の直径を演算した
    後で、演算された前記円の直径に対して分級する分級手
    段と、予め設定された基準粒径と演算された前記円の直
    径に関連する値との比に基づいて、前記分級手段による
    分級結果に重み付けする重み付け手段と、該重み付け手
    段による重み付け結果に基づいて前記結晶粒の粒径を演
    算する粒径演算手段とを更に備える請求項6乃至8の何
    れかに記載の結晶粒径測定装置。
  10. 【請求項10】 撮像器を用いて被測定面を撮像し、撮
    像結果を量子化し、量子化結果を所定の輝度閾値に基づ
    いて2値化することによって前記被測定面に析出する所
    定種類の結晶粒を識別し、識別された前記所定種類の結
    晶粒の画素数に応じた面積を演算し、該面積に対応する
    円の直径を演算し、演算結果に基づいて前記結晶粒の粒
    径を算出することにより、前記粒径を測定する結晶粒径
    測定装置において、 前記面積に対応する円の直径を演算した後で、演算され
    た前記円の直径に対して分級する分級手段と、予め設定
    された基準粒径と演算された前記円の直径に関連する値
    との比に基づいて、前記分級手段による分級結果に重み
    付けする重み付け手段と、該重み付け手段による重み付
    け結果に基づいて前記結晶粒の粒径を演算する粒径演算
    手段とを備えることを特徴とする結晶粒径測定装置。
JP19343598A 1998-07-08 1998-07-08 結晶粒径測定方法及び装置 Expired - Fee Related JP3580137B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19343598A JP3580137B2 (ja) 1998-07-08 1998-07-08 結晶粒径測定方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19343598A JP3580137B2 (ja) 1998-07-08 1998-07-08 結晶粒径測定方法及び装置

Publications (2)

Publication Number Publication Date
JP2000028512A true JP2000028512A (ja) 2000-01-28
JP3580137B2 JP3580137B2 (ja) 2004-10-20

Family

ID=16307946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19343598A Expired - Fee Related JP3580137B2 (ja) 1998-07-08 1998-07-08 結晶粒径測定方法及び装置

Country Status (1)

Country Link
JP (1) JP3580137B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002286655A (ja) * 2001-03-26 2002-10-03 Shibuya Kogyo Co Ltd 物品検査方法
JP2006292544A (ja) * 2005-04-11 2006-10-26 Univ Of Fukui 金属材料等の結晶組織検査支援装置および支援方法
JP2009168749A (ja) * 2008-01-18 2009-07-30 Nikon Corp 粒子解析装置と、粒子解析方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002286655A (ja) * 2001-03-26 2002-10-03 Shibuya Kogyo Co Ltd 物品検査方法
JP2006292544A (ja) * 2005-04-11 2006-10-26 Univ Of Fukui 金属材料等の結晶組織検査支援装置および支援方法
JP4524494B2 (ja) * 2005-04-11 2010-08-18 国立大学法人福井大学 金属材料の結晶組織検査支援装置および支援方法
JP2009168749A (ja) * 2008-01-18 2009-07-30 Nikon Corp 粒子解析装置と、粒子解析方法

Also Published As

Publication number Publication date
JP3580137B2 (ja) 2004-10-20

Similar Documents

Publication Publication Date Title
JP3511881B2 (ja) 結晶粒径測定装置
CN108876768B (zh) 导光板暗影缺陷检测方法
CN106645197B (zh) 检测精密光学元件表面颗粒物的在线检测系统及应用方法
WO2003093761A1 (fr) Procede et instrument de mesure de la forme de coupe du manchon de verre d'un tube electrique soude
CN108088845A (zh) 一种基于微弱信息保留的成像校正方法与装置
CN110807811B (zh) 对不同反射率物体的深度补偿方法及tof相机
CN106355597A (zh) 基于单目视觉的钢板折角自动测量机器人图像处理方法
CN110751669A (zh) 一种新型cbocp在线红外转炉出钢钢流自动检测与跟踪方法及系统
CN111307812A (zh) 基于机器视觉的焊点外观检测方法
JP3371526B2 (ja) 塗装面状態検出装置および塗装面状態検出方法
JP3580137B2 (ja) 結晶粒径測定方法及び装置
JP4705277B2 (ja) 塗油量分布測定装置及び塗油量分布測定方法
CN117381105A (zh) 机器人焊接电流控制方法、装置、电子设备和存储介质
CN115254674B (zh) 一种轴承缺陷分选方法
KR20170027746A (ko) 소재의 표면처리정도 측정방법 및 시스템
JP2002310618A (ja) 寸法計測装置、寸法計測方法および電子部品の検査装置
JPS6114508A (ja) 形状測定装置
CN110310239A (zh) 一种基于特性值拟合消除光照影响的图像处理方法
CN106991672B (zh) 基于光强的物镜定位方法
JP2012007953A (ja) 塗装ムラ評価値算出方法、塗装ムラ評価値算出装置、及び塗装ムラ評価方法
JP5949690B2 (ja) 評価方法及び評価装置
CN112139997B (zh) 一种圆钢修磨质量检测系统中抑制环境光的方法
JPH1172317A (ja) スパングルサイズ測定装置
JP2021189238A (ja) ベルト検査システムおよびベルト検査プログラム
JP2593016B2 (ja) 溶融合金化亜鉛めっき鋼帯の合金化度測定方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040712

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070730

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080730

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080730

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100730

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110730

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110730

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120730

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120730

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees