JP2000036044A - 欠陥統合処理装置および欠陥統合処理方法 - Google Patents
欠陥統合処理装置および欠陥統合処理方法Info
- Publication number
- JP2000036044A JP2000036044A JP10205253A JP20525398A JP2000036044A JP 2000036044 A JP2000036044 A JP 2000036044A JP 10205253 A JP10205253 A JP 10205253A JP 20525398 A JP20525398 A JP 20525398A JP 2000036044 A JP2000036044 A JP 2000036044A
- Authority
- JP
- Japan
- Prior art keywords
- defect
- image
- dark
- unit
- integration processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 273
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000010354 integration Effects 0.000 claims description 83
- 238000001514 detection method Methods 0.000 claims description 59
- 238000003384 imaging method Methods 0.000 claims description 35
- 238000007689 inspection Methods 0.000 claims description 27
- 238000009499 grossing Methods 0.000 claims description 18
- 230000004069 differentiation Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 238000007792 addition Methods 0.000 description 8
- 230000002950 deficient Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000001444 catalytic combustion detection Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000004745 nonwoven fabric Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
- G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
- G01N21/896—Optical defects in or on transparent materials, e.g. distortion, surface flaws in conveyed flat sheet or rod
Landscapes
- Engineering & Computer Science (AREA)
- Textile Engineering (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
陥のより正確な数、位置、大きさなど、欠陥情報をより
詳細に検出する 【解決手段】 被検査物を撮像して得られる画像データ
の明暗情報に基づいて、被検査物の明暗欠陥を検出する
とともに、画像データを微分処理することにより、前記
被検査物のエッジや微小な欠陥を検出し、さらに画像デ
ータに積分処理を行った積分画像に対して微分処理を行
って、低コントラストの明暗欠陥を検出しこれら欠陥を
統合的に処理して欠陥の総合的な情報を得る。
Description
どの欠陥を統合的に処理する欠陥統合処理装置およびそ
の方法に関し、例えば、一定の幅を有し、一方向に移動
する紙、フィルム、不織布などの無地物ロール(ウェッ
ブ)をカメラで撮像し、その画像データに基づいて、ウ
ェッブの欠陥を検査する欠陥統合処理装置および欠陥統
合処理方法に関するものである。
で撮像し、得られた画像信号を用いて、ワークの明暗欠
陥や微小欠陥を検査するようにした検査装置はよく知ら
れている。たとえば、図16は従来の明暗検査装置を示
す機能ブロック図である。この明暗欠陥検査装置は、一
定幅を有し、一方向に移動する被検査物であるウェッブ
2を撮像するラインセンサカメラ1と、カメラ1の撮像
領域を照光する照明装置3と、カメラ1により撮像され
た撮像データを処理して、欠陥を検査する画像処理装置
4とを備えている。
された例えば1024個の受光素子(CCD)から構成
され、そして、ウェッブの幅方向(わたり方向W)中央
部の上方において、ウェッブの幅方向に対してカメラ1
のラインが平行となるよう配置されている。また、照明
装置3は、ウェッブ2の下方に配置され、カメラ1の撮
像領域Rをウェッブ裏面より照光する。
例えば輝度情報が所定値以上にあるか否かを判定するこ
とにより明暗欠陥を検出したり、あるいは、マクロフィ
ルタ処理として、画像データを所定範囲毎に区分して各
区分内で積分した後、これら積分値の区分間における差
分をとることにより微分を行い、すき斑や油汚れなどの
低コントラストの明暗欠陥を検出したり、さらにあるい
は、ミクロフィルタ処理として、微分系のフィルタ処理
によりエッジや微小な欠陥を検出する。
検査装置は、これら種々の欠陥をそれぞれ別個、独立に
検出する処理に止まり、したがって、従来の検査装置に
おいては、ワーク上では一つの欠陥が2種以上の欠陥と
して検出され、欠陥個数を実際より多い数として誤った
検出をする場合がある。また、検出された各欠陥からワ
ークにおける実際の欠陥の形状、大きさなど、その欠陥
がどのような特徴を有するか知ることはできない。さら
に、マクロフィルタ処理における低コントラストの明暗
欠陥検出においては、積分範囲を規定する各区分単位で
欠陥の有無が検出されるため、各区分の取り方によって
は、空間分解能が粗くなり、欠陥位置の検出精度、欠陥
大きさの検出精度が低下する。
処理することにより、欠陥のより正確な数、位置、大き
さなど、欠陥情報をより詳細に検出することが可能な欠
陥統合処理装置、および欠陥統合処理方法を得ることを
目的としている。
ため、本発明は、被検査物を撮像し、その画像データに
基づいて、前記被検査物の欠陥を統合的に検査する欠陥
統合処理装置であって、前記被検査物を撮像して画像デ
ータを出力する撮像装置と、前記撮像装置により得られ
る画像データの明暗情報に基づいて、前記被検査物の明
暗欠陥を検出する明暗欠陥検出部と、前記撮像装置によ
り得られる画像データを微分処理することにより、前記
被検査物のエッジや微小な欠陥を検出する微小欠陥検出
部と、前記撮像装置により得られる画像データに積分処
理を行い、得られた積分画像に対して微分処理を行っ
て、低コントラストの明暗欠陥を検出する低コントラス
ト明暗欠陥検出部と、前記明暗欠陥検出部により求めら
れた明暗欠陥と、前記微小欠陥検出部により求められた
微小欠陥と、前記低コントラスト明暗欠陥検出部により
求められた低コントラスト明暗欠陥とを統合的に処理し
て各検出部で検出された欠陥の総合的な情報を得る欠陥
統合処理部とを備えてなるものである。
合的に処理することにより、欠陥のより正確な数、位
置、大きさなど、欠陥情報をより詳細に検出することが
できる。
部は、前記撮像装置により得られる前記被検査物の一定
方向における所定位置の画像データを所定数だけ加算し
て射影データを演算する射影演算部と、該射影演算部に
より得られる前記射影データに基づいて、前記被検査物
の幅方向についての背景明度を演算する背景明度演算部
と、該背景明度演算部により得られた背景明度を前記撮
像装置より得られる画像データから差し引くことによ
り、画像データから幅方向の背景明度変動を除去する差
分演算部とを備えてなるものである。
置の光学系及び欠陥の大きさに基づく背景明度の変動を
精度よく除去することができ、信頼性の高い欠陥統合処
理を行うことができる。
部は、前記射影演算部により得られる前記被検査物の幅
方向にかけての射影データを平滑化処理するフィルタ
と、前記フィルタにより平滑化処理されたデータを前記
加算された所定数で除して背景明度を算出する正規化部
とを備えてなるものである。
の実質的データ数を増やすことができるので、欠陥の大
きさに対する平滑化データ長を大きくすることができ、
もって平滑化処理による背景明度算出に際して欠陥の影
響を受けにくくすることができ、精度の高い背景明度算
出を行うことができる。
記載の欠陥統合処理装置)においては、前記差分演算部
の出力を所定値と比較することにより明暗欠陥を検査す
る比較部をさらに備えてなるものである。
よく検出することができる。
ずれかに記載の欠陥統合処理装置)において、前記明暗
欠陥検出部は、画像データに基づく画像に所定の大きさ
のメッシュを設定し、各メッシュ内で明欠陥しきい値以
上の画素数と暗欠陥しきい値以下の画素数とを計数して
明暗特徴量を検出する明暗特徴量検出部を備えたもので
ある。
ずれかに記載の欠陥統合処理装置)において、前記低コ
ントラスト明暗欠陥検出部は、前記撮像装置より出力さ
れる画像データにより構成される画像を、等面積を有す
るメッシュに分割するとともに、分割された各メッシュ
において画像データの加算を行って積分画像を得る積分
演算部と、該積分演算部により得られた積分画像に対
し、各メッシュの所定間隔毎に差分演算を行って微分画
像を得る微分演算部と、該微分演算部により得られた微
分画像に基づいて低コントラスト欠陥を検出するコント
ラスト欠陥検出部とを有するマクロフィルタ処理部を備
えているものである。
薄汚れや斑による低コントラストの明暗欠陥が精度よく
検出できる。
理装置)において、前記低コントラスト明暗欠陥検出部
は、積分演算部による画像データの加算を行うメッシュ
の大きさが異なり、かつ前記コントラスト欠陥検出部に
よる欠陥検出のしきい値が前記メッシュの大きさによっ
て異なる、複数のマクロフィルタ処理部を備えているも
のである。
処理装置)において、前記低コントラスト欠陥検出部
は、積分演算部により加算が行われる異なる大きさのメ
ッシュの中で、より小さなメッシュにおいて得られた欠
陥を有する積分画像の値からその平均値を減算した値
を、それよりも大きなメッシュにおいて得られる積分画
像の値から減算して、当該より大きなメッシュにおける
微分画像を求め、該微分画像に基づいて、前記より大き
なメッシュにおける低コントラスト欠陥を判定検出する
マクロフィルタ統合処理部を備えているものである。
ッシュにおける欠陥がより大きなメッシュにおいて、異
なる別の欠陥として検出されることを防止でき、欠陥数
を重複して検出することを防止できる。
処理装置)において、前記マクロフィルタ統合処理部
は、該マクロフィルタ統合処理部により得られるそれぞ
れの欠陥に対する積分画像に基づく値をマクロ欠陥特徴
量としてメッシュ位置情報とともに前記欠陥統合処理部
に出力するものである。
ずれかに記載の欠陥統合処理装置)において、前記微小
欠陥検出部は、画像データに基づく画像の垂直微分画像
と水平微分画像を求め、これらの和の平均である加算画
像を算出し、得られた加算画像を平滑化することにより
微小欠陥を強調するミクロフィルタ処理部と、該ミクロ
フィルタ処理部からの出力値を所定しきい値で二値化す
るとともに、画像データに基づく画像に所定の大きさの
メッシュを設定し、各メッシュ内で前記しきい値以上と
なる前記出力値を有する画素数を計数するミクロフィル
タ特徴量検出部とを備えているものである。
などが精度よく検出できる。
処理装置)において、前記しきい値は複数種類(例えば
3種)の値を有し、それぞれの値に対して前記画素数が
計数される。
いずれかに記載の欠陥統合処理装置)において、前記被
検査物は一定幅を有して一定方向に移動するウェッブで
あり、前記撮像装置は、前記被検査物に対向して前記被
検査物の幅方向に配設されたラインセンサカメラであ
る。
いずれかに記載の欠陥統合処理装置)において、前記欠
陥統合処理部は、前記明暗欠陥検出部により求められた
明暗欠陥と、前記微小欠陥検出部により求められた微小
欠陥と、前記低コントラスト明暗欠陥検出部により求め
られた低コントラスト明暗欠陥との連続性を解析する連
続性解析部と、該連続性解析部により得られた一つの欠
陥に基づいて、所定の特徴量を算出する欠陥特徴量算出
部とを備えているものである。
の欠陥における各種欠陥の面積、外接長方形幅、外接長
方形高さ、アスペクト比、コンパクト性、構造パラメー
タ、エッジ強度、平均濃度などを得ることが可能とな
り、総合的な欠陥情報を得ることが可能となる。
画像データに基づいて、前記被検査物の欠陥を統合的に
検査する欠陥統合処理方法であって、前記被検査物を撮
像して画像データを出力する撮像ステップと、前記撮像
ステップにより得られる前記画像データの明暗情報に基
づいて、前記被検査物の明暗欠陥を検出するステップ
と、前記撮像ステップにより得られる画像データを微分
処理することにより、前記被検査物のエッジや微小な欠
陥を検出するステップと、前記撮像ステップにより得ら
れる画像データに積分処理を行った積分画像に対して微
分処理を行って、低コントラストの明暗欠陥を検出する
ステップと、前記各ステップにより求められた明暗欠陥
と、微小欠陥と、低コントラスト明暗欠陥とを統合的に
処理して各検出部で検出された欠陥の総合的な情報を得
るステップとを備えてなるものである。
を用いて説明する。図1は本発明の実施の形態における
欠陥統合処理装置を示す機能ブロック図である。この欠
陥統合処理装置は、一定幅を有し、一方向に移動する被
検査物であるウェッブ2を撮像するラインセンサカメラ
1と、カメラ1の撮像領域を照光する照明装置3と、カ
メラ1により撮像された画像データを処理して、欠陥を
統合処理する画像処理装置4Aとを備えている。
された例えば1024個の受光素子(CCD)から構成
され、そして、ウェッブの幅方向(わたり方向W)中央
部の上方において、ウェッブの幅方向に対してカメラ1
のラインが平行となるよう配置されている。また、照明
装置3は、ウェッブ2の下方に配置され、カメラ1の撮
像領域Rをウェッブ裏面より照光する。
ラ1の出力側に接続された画像入力部5と、画像入力部
5に接続された明暗欠陥検出部6と微小欠陥検出部7と
低コントラスト明暗欠陥検出部8と、これらに接続され
た欠陥統合処理部9とを備えて構成される。
画像信号をA/D変換するA/D変換器5a、およびA
/D変換された画像信号を複数スキャンにわたり画像デ
ータとして記憶するメモリ5bを備え、カメラ1による
撮像信号を画像処理装置4内に取り込む。
は、画像入力部5の出力側に接続された明暗検出フィル
タ61と、明暗検出フィルタ61の出力側に接続された
比較部62と、比較部62の出力側に接続された明暗特
徴量検出部63とを備えて構成される。
出力側に接続された射影演算部611と、射影演算部6
11の出力側に接続された1次元フィルタ612a、お
よび1次元フィルタ612aの出力側に接続された正規
化部612bとからなる背景明度演算部612と、正規
化部612bの出力側および画像入力部5の出力側に接
続された減算器613とを備えて構成される。
続され、減算器613の出力と第1しきい値S1とを比
較する第1比較器621と、減算器613の出力側に接
続され、減算器613の出力と第2しきい値S2とを比
較する第2比較器622とを備えて構成される。
器621の出力側に接続された明欠陥画素計数部631
と、第2比較器622の出力側に接続された暗欠陥画素
計数部632とを備えて構成される。
るように、ミクロフィルタ処理部71とミクロフィルタ
特徴量検出部72とを備えている。ミクロフィルタ処理
部71は、画像入力部5の出力側に接続された水平微分
画像出力部711および垂直微分画像出力部712と、
これら水平微分画像出力部711と垂直微分画像出力部
712との出力側に接続された加算器713と、加算器
713の出力側に接続された平滑部714とを備えて構
成される。
は、それぞれ平滑部714の出力側に接続され、平滑部
714の出力と第1設定値T1との比較を行う第1比較
器721と、平滑部714の出力と第2設定値T2(T
2>T1)との比較を行う第2比較器722と、平滑部
714の出力と第3設定値T3(T3>T2)との比較
を行う第3比較器723と、第1比較器721の出力側
に接続された第1画素計数部724と、第2比較器72
2の出力側に接続された第2画素計数部725と、第3
比較器723の出力側に接続された第3画素計数部72
6とを備えて構成される。
は、図4に示されるように、第1乃至第3マクロフィル
タ処理部81〜83と、これらマクロフィルタ処理部8
1〜83の出力側に接続されたマクロフィルタ統合処理
部84とから構成される。
れぞれ異なる積分範囲(メッシュ)を有し、それらの範
囲で加算を行って積分画像を得る積分演算部811、8
21、831と、各積分演算部の出力側に接続され、積
分画像を微分して微分画像を得る微分演算部812、8
22、832と、各微分演算部の出力側に接続され、そ
れぞれ異なるしきい値で微分画像に基づき低コントラス
ト欠陥を検出するコントラスト欠陥検出部813、82
3、833と、積分演算部811、821、831の出
力側に接続され、積分画像の平均値を求める平均値算出
部814、824、834とを備えて構成される。
した明欠陥画素計数部631、暗欠陥画素計数部63
2、第1乃至第3画素計数部724〜726、マクロフ
ィルタ統合処理部84の出力側に接続された連続性解析
部91と、この連続性解析部91の出力側に接続された
欠陥特徴量検出部92とを備えて構成される。
る。図6はメモリ5bに取り込まれた画像データ構造を
示している。図6において横軸(x軸)はラインセンサ
カメラ1による1回のスキャンにより得られるデータ位
置を示し、x座標はラインセンサ位置、すなわちウェッ
ブの幅方向への位置座標に対応している。
向の一端を示し、x=Mがウェッブの他端を示してい
る。なお、本実施の形態ではMに1023(センサ数1
024)を採用している。
るスキャンナンバを示しており、図6ではスキャンナン
バ0〜11を示している。スキャンナンバ0は1回目の
スキャンを示している。また図6において、iはスキャ
ン数をN個ずつまとめてナンバを付した場合の各ナンバ
を示している。すなわち、iはガウスの記号を[ ]を
用いると、i=[y/N]として示される。
説明する。明暗検出フィルタ61における射影演算部6
11では、図6に示されたN本づつのスキャンデータ
(N×M)を用いて射影を求める。その様子を図7に示
す。図7においては、斜線部Sで示すように各x座標に
おけるN個づつの撮像データが加算されて(被検査物の
幅方向における所定位置の撮像データが所定数だけ加算
されて)、図8に示すような射影データが得られる。こ
の演算は次式(1)により示される。
た、加算はy=N・iからN個、すなわちN・i+N−
1まで行われる。
示されるように、射影演算部611により得られた射影
データをx軸方向に+m〜−mの範囲で平滑化処理し、
図10に示すような平滑データを算出する。この演算処
理は次式(2)により示される。
gは例えば図14に示されるようなフィルタ関数である
が、このgには定数を用いても良い。
平滑データを加算ライン数Nで除して、図11に示すよ
うな背景明度Gi(x)を算出する。この演算は次式
(3)により示される。
(x)を、カメラ1より画像入力部5に新たに入力され
る画像データf(x,y)より減算して、入力画像デー
タから背景明度を差し引く。この演算は次式(4)によ
り示される。
撮像データf(x,y)は、図13に示されるように、
背景明度の変動が除去された関数F(x,y)として表
される。この場合、射影演算により、ラインセンサカメ
ラ1による実質的なフィルタ処理データ数を増大させる
ことができ、それにより、フィルタによる平滑化データ
長さを欠陥の大きさよりも大きく設定することができる
ため、背景明度変動の除去において、欠陥の大きさの影
響を小さくすることができる。
(x,y)と第1しきい値S1を比較して、F(x,
y)がしきい値S1より大きい場合に明欠陥を判定し、
一方、第2比較器42は、関数F(x,y)と第2しき
い値S2を比較して、F(x,y)が第2しきい値より
低い(絶対値が小さい)場合に、暗欠陥を判定する。
設定した所定の大きさ(16×16画素)の格子状メッ
シュが設定され、明欠陥画素計数部631が各メッシュ
において明欠陥として判定された画素SH (i,j)を
計数し、その結果を欠陥統合処理部9へ出力する。ま
た、暗欠陥画素計数部632が同様に各メッシュにおい
て暗欠陥として判定された画素SL (i,j)を計数
し、その結果を欠陥統合処理部9へ出力する。
する。ミクロフィルタ処理部71では、画像データf
(x,y)により構成される処理対象画像に対して、水
平微分画像と垂直微分画像を算出する。
f(x、y)に対して、
象画像f(x、y)に対して、
Fv (x、y)と水平微分画像:F H (x、y)の和の
平均である加算画像FA (x、y)を算出する。
y)に平滑化フィルターをかけてミクロフィルター画像
FM (x、y)を得る。
1〜第3比較器721〜723により、それぞれ3つの
異なるしきい値(設定値)T1,T2,T3(T1<T
2<T3)で平滑部714の出力を2値化して欠陥検出
を行い、第1〜第3画素計数部724〜726により、
画像において設定した所定の大きさ(16×16画素)
の格子状メッシュ毎の画素数SM (1)(i,j)、SM
(2)(i,j)、SM (3 )(i,j)を求めて欠陥統合処
理部9に出力する。
動作について説明する。第1マクロフィルタ処理部81
では、積分演算部811において、画像データf(x,
y)において構成される入力画像に(m×n画素)のメ
ッシュを設定し、各メッシュ内で画像データの加算を行
い積分画像F(x,y)を得る。この積分画像F(x,
y)は次式で示される。
らm−1までのm個の加算を行う。また、第2(右側)
のΣは、y´について、0からm−1までのm個の加算
を行う。
られた積分画像F(x,y)の値を所定間隔離れた二つ
のメッシュ間毎に次式で示される差分をとって、微分画
像D(x,y)を得る。
正の整数が用いられる。
式により求められたD(x,y)の値が、(11)式に
示されるように、所定のしきい値Tより大きくなること
を条件に欠陥があると判定する。
2)により、積分画像F(x,y)の平均A(x)を算
出する。
N−1まで行われる。ここで、iは、ガウスの記号[
]を用いて、i=[y/N]であらわされ、Nは任意
の平均長を示している。
マクロフィルタ処理部83も上述した第1マクロフィル
タ処理部81と同様な処理を行うが、それぞれの積分演
算部821、831において行われるメッシュ(積分範
囲)および欠陥検出部823、833において使用され
るしきい値Tが第1マクロフィルタのそれらと異なって
いる。
処理部81におけるメッシュ(積分範囲)には縦横の画
素数で例えば8×8、8×16、16×8、16×16
画素のいずれかが用いられ、第2マクロフィルタの積分
範囲は第1マクロフィルタのそれより大きく、第3マク
ロフィルタの積分範囲は第2マクロフィルタのそれより
もさらに大きいものが使用される。また、それぞれの欠
陥検出部813、823、833で使用されるしきい値
T(tS1,tS2,tS3)は、tS1<tS2<tS3の関係を
有する。
作について説明する。マクロフィルタ統合処理部84
は、第1〜第3マクロフィルタ処理部81〜83におい
て検出された欠陥位置に対して、以下の処理を行う。こ
こで、第1〜第3マクロフィルタ処理部81〜83それ
ぞれにおいて得られる積分画像に対応してマクロフィル
タ統合処理部84にて用いられる積分画像をS
(1) (x,y),S(2) (x,y),S(3) (x,y)
とし、欠陥検出しきい値をtS1,tS2,tS3とする。
1、0で定義するマトリックスとして欠陥マトリック
ス:D(1) (x,y),D(2) (x,y),D
(3) (x,y)を定義する。
クスとして欠陥特徴量マトリックス:V(1) (x,
y),V(2) (x,y),V(3) (x,y)を定義す
る。
して 平均値:A(1) (x),A(2) (x),A(3) (x)を
定義する。
84は、第1マクロフィルタ処理部で得られた欠陥が第
2、第3マクロフィルタ処理部に及ぼす影響を除去する
ため、次式による演算を行う。なお、以下の式において
m=1,2,3をとる。また、演算手順もmの小さいも
のから順に行われる。
る第1マクロフィルタ処理部の演算で行われたメッシュ
内のk,lの各値について行われる。
出処理を行う。
下の処理を実行する。
(m) (x−Δx,y−Δy)を欠陥とし、 欠陥マトリックスD(m) (x−Δx,y−Δy)=1 V(m) (x,y)=S- とする。
(x+Δx,y+Δy)を欠陥とし、 欠陥マトリックスD(m) (x+Δx,y+Δy)=1 V(m) (x,y)=S+ とする。
析部91の動作について説明する。連続性解析部91
は、明暗特徴量検出部6の明欠陥画素計数部631およ
び暗欠陥画素計数部632によりそれぞれ得られた明欠
陥画素SH(i,j)および暗欠陥画素SL(i,j)、
ミクロフィルタ特徴量検出部72の第1〜第3画素計数
部それぞれにより得られた画素SM (1) (i,j),S
M (2) (i,j),SM ( 3)(i,j)、マクロフィル
タ統合処理部により得られた欠陥マトリックスD
(m) (x+Δx,y+Δy)の値により検出した複数の
欠陥を所定のメッシュ(16×16画素の格子状)の大
きさ毎に合成し、欠陥の連続性解析を行う。
の連続性解析は、一つのメッシュの回りに存在する8つ
のメッシュとの連続を判定すること(8連結のルール)
により行われる。
91により、一つの欠陥であると判断された欠陥に対し
て、明欠陥画素数SH (i,j)、暗欠陥画素数S
L (i,j)、ミクロフィルタ特徴量である画素数SM
(1) (i,j),SM (2) (i,j),SM (3) (i,
j)、マクロフィルタ特徴量V(1) (i,j)、V(2)
(i,j)、V(3) (i,j)〔V(m) (x,y)に対
応〕による各特徴量の合計が算出される。
する各種欠陥画素数に対応する面積、外接長方形高さ、
外接長方形幅、アスペクト比、コンパクト性、構造パラ
メータ、エッジ強度、平均濃度などがある。
れる。
L (i,j)の総数、SMはSM (1) (i,j)の総数
である。
られる。
内に含まれるメッシュの数である。
徴量である画素数SM (1) (i,j),SM (2) (i,
j),SM (3) (i,j)それぞれの総数に対応し、T
1 ,T2 ,T3 は、それぞれのしきい値T1,T2,T
3に対応し、αは定数である。
被検査物を撮像して画像データを出力する撮像装置と、
前記撮像装置により得られる画像データの明暗情報に基
づいて、前記被検査物の明暗欠陥を検出する明暗欠陥検
出部と、前記撮像装置により得られる画像データを微分
処理することにより、前記被検査物のエッジや微小な欠
陥を検出する微小欠陥検出部と、前記撮像装置により得
られる画像データに積分処理を行った積分画像に対して
微分処理を行って、低コントラストの明暗欠陥を検出す
る低コントラスト明暗欠陥検出部と、前記明暗欠陥検出
部により求められた明暗欠陥と、前記微小欠陥検出部に
より求められた微小欠陥と、前記低コントラスト明暗欠
陥検出部により求められた低コントラスト明暗欠陥とを
統合的に処理して各検出部で検出された欠陥の総合的な
情報を得る欠陥統合処理部とを備えたため、各種の欠陥
を統合的に処理することにより、欠陥のより正確な数、
位置、大きさなど、欠陥情報をより詳細に検出すること
ができる。
る。
ック図である。
ある。
した一例である。
である。
Claims (14)
- 【請求項1】 被検査物を撮像し、その画像データに基
づいて、前記被検査物の欠陥を統合的に検査する欠陥統
合処理装置であって、 前記被検査物を撮像して画像データを出力する撮像装置
と、 前記撮像装置により得られる画像データの明暗情報に基
づいて、前記被検査物の明暗欠陥を検出する明暗欠陥検
出部と、 前記撮像装置により得られる画像データを微分処理する
ことにより、前記被検査物のエッジや微小な欠陥を検出
する微小欠陥検出部と、 前記撮像装置により得られる画像データに積分処理を行
い、得られた積分画像に対して微分処理を行って、低コ
ントラストの明暗欠陥を検出する低コントラスト明暗欠
陥検出部と、 前記明暗欠陥検出部により求められた明暗欠陥と、前記
微小欠陥検出部により求められた微小欠陥と、前記低コ
ントラスト明暗欠陥検出部により求められた低コントラ
スト明暗欠陥とを統合的に処理して各検出部で検出され
た欠陥の総合的な情報を得る欠陥統合処理部とを備えて
なる欠陥統合処理装置。 - 【請求項2】 請求項1に記載の欠陥統合処理装置にお
いて、 前記明暗欠陥検出部は、前記撮像装置により得られる前
記被検査物の一定方向における所定位置の画像データを
所定数だけ加算して射影データを演算する射影演算部
と、 前記射影演算部により得られる前記射影データに基づい
て、前記被検査物の幅方向についての背景明度を演算す
る背景明度演算部と、 前記背景明度演算部により得られた背景明度を前記撮像
装置より得られる画像データから差し引くことにより、
画像データから幅方向の背景明度変動を除去する差分演
算部とを備えてなる欠陥統合処理装置。 - 【請求項3】 請求項2に記載の欠陥統合処理装置にお
いて、 前記背景明度演算部は、前記射影演算部により得られる
前記被検査物の幅方向にかけての射影データを平滑化処
理するフィルタと、 該フィルタにより平滑化処理されたデータを前記加算さ
れた所定数で除して背景明度を算出する正規化部とを備
えてなる欠陥統合処理装置。 - 【請求項4】 請求項2または請求項3に記載の欠陥統
合処理装置において、 前記差分演算部の出力を所定値と比較することにより明
暗欠陥を検査する比較部をさらに備えている欠陥統合処
理装置。 - 【請求項5】 請求項1乃至請求項4のいずれかに記載
の欠陥統合処理装置において、 前記明暗欠陥検出部は、画像データに基づく画像に所定
の大きさのメッシュを設定し、各メッシュ内で明欠陥し
きい値以上の画素数と暗欠陥しきい値以下の画素数とを
計数して明暗特徴量を検出する明暗特徴量検出部を備え
ている欠陥統合処理装置。 - 【請求項6】 請求項1乃至請求項5のいずれかに記載
の欠陥統合処理装置において、 前記低コントラスト明暗欠陥検出部は、 前記撮像装置より出力される画像データにより構成され
る画像を、等面積を有するメッシュに分割するととも
に、分割された各メッシュにおいて画像データの加算を
行って積分画像を得る積分演算部と、該積分演算部によ
り得られた積分画像に対し、各メッシュの所定間隔毎に
差分演算を行って微分画像を得る微分演算部と、該微分
演算部により得られた微分画像に基づいて低コントラス
ト欠陥を検出するコントラスト欠陥検出部とを有するマ
クロフィルタ処理部を備えている欠陥統合処理装置。 - 【請求項7】 請求項6に記載の欠陥統合処理装置にお
いて、 前記低コントラスト明暗欠陥検出部は、積分演算部によ
る画像データの加算を行うメッシュの大きさが異なり、
かつ前記コントラスト欠陥検出部による欠陥検出のしき
い値が前記メッシュの大きさによって異なる、複数のマ
クロフィルタ処理部を備えている欠陥統合処理装置。 - 【請求項8】 請求項7に記載の欠陥統合処理装置にお
いて、 前記低コントラスト欠陥検出部は、積分演算部により加
算が行われる異なる大きさのメッシュの中で、より小さ
なメッシュにおいて得られた欠陥を有する積分画像の値
からその平均値を減算した値を、それよりも大きなメッ
シュにおいて得られる積分画像の値から減算して、当該
より大きなメッシュにおける微分画像を求め、該微分画
像に基づいて、前記より大きなメッシュにおける低コン
トラスト欠陥を判定検出するマクロフィルタ統合処理部
を備えている欠陥統合処理装置。 - 【請求項9】 請求項8に記載の欠陥統合処理装置にお
いて、 前記マクロフィルタ統合処理部は、該マクロフィルタ統
合処理部により得られるそれぞれの欠陥に対する積分画
像に基づく値をマクロ欠陥特徴量としてメッシュ位置情
報とともに前記欠陥統合処理部に出力する欠陥統合処理
装置。 - 【請求項10】 請求項1乃至請求項9のいずれかに記
載の欠陥統合処理装置において、 前記微小欠陥検出部は、画像データに基づく画像の垂直
微分画像と水平微分画像を求め、これらの和の平均であ
る加算画像を算出し、得られた加算画像を平滑化するこ
とにより微小欠陥を強調する微小欠陥検出用空間フィル
タ処理部と、該微小欠陥検出用空間フィルタ処理部から
の出力値を所定しきい値で二値化するとともに、画像デ
ータに基づく画像に所定の大きさのメッシュを設定し、
各メッシュ内で前記しきい値以上となる前記出力値を有
する画素数を計数するミクロフィルタ特徴量検出部とを
備えている欠陥統合処理装置。 - 【請求項11】 請求項10に記載の欠陥統合処理装置
において、 前記しきい値は複数種類の値を有し、それぞれの値に対
して前記画素数が計数される欠陥統合処理装置。 - 【請求項12】 請求項1乃至請求項11のいずれかに
記載の欠陥統合処理装置において、 前記被検査物は一定幅を有して一定方向に移動するウェ
ッブであり、 前記撮像装置は、前記被検査物に対向して前記被検査物
の幅方向に配設されたラインセンサカメラである欠陥統
合処理装置。 - 【請求項13】 請求項1乃至請求項12のいずれかに
記載の欠陥統合処理装置において、 前記欠陥統合処理部は、前記明暗欠陥検出部により求め
られた明暗欠陥と、前記微小欠陥検出部により求められ
た微小欠陥と、前記低コントラスト明暗欠陥検出部によ
り求められた低コントラスト明暗欠陥との連続性を解析
する連続性解析部と、該連続性解析部により得られた一
つの欠陥に基づいて、所定の特徴量を算出する欠陥特徴
量算出部とを備えてなる欠陥統合処理装置。 - 【請求項14】 被検査物を撮像し、その画像データに
基づいて、前記被検査物の欠陥を統合的に検査する欠陥
統合処理方法であって、 前記被検査物を撮像して画像データを出力する撮像ステ
ップと、 前記撮像ステップにより得られる前記画像データの明暗
情報に基づいて、前記被検査物の明暗欠陥を検出するス
テップと、 前記撮像ステップにより得られる画像データを微分処理
することにより、前記被検査物のエッジや微小な欠陥を
検出するステップと、 前記撮像ステップにより得られる画像データに積分処理
を行うとともに、得られた積分画像に対して微分処理を
行って、低コントラストの明暗欠陥を検出するステップ
と、 前記各ステップにより求められた明暗欠陥と、微小欠陥
と、低コントラスト明暗欠陥とを統合的に処理して各検
出部で検出された欠陥の総合的な情報を得るステップと
を備えてなる欠陥統合処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20525398A JP4230566B2 (ja) | 1998-07-21 | 1998-07-21 | 欠陥統合処理装置および欠陥統合処理方法 |
US09/285,748 US6535621B1 (en) | 1998-07-21 | 1999-04-05 | Defect integrated processing apparatus and method thereof |
CA002269250A CA2269250A1 (en) | 1998-07-21 | 1999-04-19 | Defect integrated processing apparatus and method thereof |
DE69923119T DE69923119T2 (de) | 1998-07-21 | 1999-05-27 | Vorrichtung zur integrierten Verarbeitung von Defektabbildungen |
EP99304142A EP0974831B1 (en) | 1998-07-21 | 1999-05-27 | Apparatus for the integrated processing of defect images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20525398A JP4230566B2 (ja) | 1998-07-21 | 1998-07-21 | 欠陥統合処理装置および欠陥統合処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000036044A true JP2000036044A (ja) | 2000-02-02 |
JP4230566B2 JP4230566B2 (ja) | 2009-02-25 |
Family
ID=16503934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20525398A Expired - Lifetime JP4230566B2 (ja) | 1998-07-21 | 1998-07-21 | 欠陥統合処理装置および欠陥統合処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6535621B1 (ja) |
EP (1) | EP0974831B1 (ja) |
JP (1) | JP4230566B2 (ja) |
CA (1) | CA2269250A1 (ja) |
DE (1) | DE69923119T2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006162278A (ja) * | 2004-12-02 | 2006-06-22 | Konica Minolta Medical & Graphic Inc | 欠陥検査装置 |
JP2009287980A (ja) * | 2008-05-27 | 2009-12-10 | Panasonic Electric Works Co Ltd | 外観検査装置 |
JP2010223914A (ja) * | 2009-03-25 | 2010-10-07 | Panasonic Electric Works Co Ltd | 物体表面の欠陥検査方法および欠陥検査装置 |
JP5038293B2 (ja) * | 2006-03-16 | 2012-10-03 | 日本碍子株式会社 | ハニカム構造体の外壁検査方法 |
WO2015159352A1 (ja) * | 2014-04-14 | 2015-10-22 | 株式会社東芝 | ウェブ検査装置、ウェブ検査方法、ウェブ検査プログラム |
WO2020012826A1 (ja) * | 2018-07-11 | 2020-01-16 | 富士フイルム株式会社 | 印刷装置、検査装置、検査方法及びプログラム |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000036033A (ja) * | 1998-07-21 | 2000-02-02 | Toshiba Eng Co Ltd | 明暗検査装置および明暗検査方法 |
US7817844B2 (en) * | 1999-08-26 | 2010-10-19 | Nanogeometry Research Inc. | Pattern inspection apparatus and method |
US7796801B2 (en) * | 1999-08-26 | 2010-09-14 | Nanogeometry Research Inc. | Pattern inspection apparatus and method |
JP4232064B2 (ja) * | 1999-10-25 | 2009-03-04 | 株式会社ニコン | 画像処理を用いたひび割れ評価装置 |
DE60115314T2 (de) * | 2000-04-18 | 2006-08-03 | The University Of Hong Kong | Verfahren für die Auswertung von Bildern zur Defekterkennung |
US6795118B1 (en) * | 2000-10-18 | 2004-09-21 | Micron Technology, Inc. | Testing of solid-state image sensors |
US7142294B2 (en) * | 2000-12-20 | 2006-11-28 | Hitachi, Ltd. | Method and apparatus for detecting defects |
US6753965B2 (en) | 2001-01-09 | 2004-06-22 | The University Of Hong Kong | Defect detection system for quality assurance using automated visual inspection |
US6870950B2 (en) * | 2001-03-15 | 2005-03-22 | Agere Systems Inc. | Method for detecting defects in a material and a system for accomplishing the same |
US20020176617A1 (en) * | 2001-05-22 | 2002-11-28 | Pti Advanced Filtration, Inc. | System and method for continuous integrity testing of a material web |
JP4472260B2 (ja) * | 2003-02-07 | 2010-06-02 | 日本ボールドウィン株式会社 | 印刷面検査方法 |
JP4919378B2 (ja) * | 2005-09-29 | 2012-04-18 | 富士フイルム株式会社 | 描画点データ取得方法および装置並びに描画方法および装置 |
FI119708B (fi) * | 2006-02-01 | 2009-02-13 | Viconsys Oy | Laite rainan tarkkailemiseksi |
JP4217918B2 (ja) * | 2006-11-28 | 2009-02-04 | 村田機械株式会社 | 移動体システム |
JP4065893B1 (ja) * | 2006-12-04 | 2008-03-26 | 東京エレクトロン株式会社 | 欠陥検出装置、欠陥検出方法、情報処理装置、情報処理方法及びそのプログラム |
US7835564B2 (en) * | 2007-04-30 | 2010-11-16 | International Business Machines Corporation | Non-destructive, below-surface defect rendering using image intensity analysis |
JP5429869B2 (ja) * | 2008-12-22 | 2014-02-26 | 株式会社 Ngr | パターン検査装置および方法 |
US8150140B2 (en) * | 2008-12-22 | 2012-04-03 | Ngr Inc. | System and method for a semiconductor lithographic process control using statistical information in defect identification |
DE202010008084U1 (de) * | 2010-07-15 | 2011-10-21 | Eltromat Gmbh | Vorrichtung zur Überwachung des Druckergebnisses bei Rotationsdruckmaschinen |
CN108072659B (zh) * | 2016-11-11 | 2022-05-31 | 三星显示有限公司 | 多光学视觉设备 |
CN113727097B (zh) * | 2021-08-31 | 2023-07-07 | 重庆紫光华山智安科技有限公司 | 拍摄设备状态确认方法、系统、设备及介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5068799A (en) * | 1985-04-24 | 1991-11-26 | Jarrett Jr Harold M | System and method for detecting flaws in continuous web materials |
JP2597370B2 (ja) | 1987-10-14 | 1997-04-02 | 株式会社ヒューテック | シート状被検材の有意差検出方法 |
US5091963A (en) * | 1988-05-02 | 1992-02-25 | The Standard Oil Company | Method and apparatus for inspecting surfaces for contrast variations |
DE69029461T2 (de) | 1989-05-31 | 1997-04-03 | Ishikawajima Harima Heavy Ind | Verfahren zur messung und kontrolle von texturen. |
US5917934A (en) * | 1996-03-15 | 1999-06-29 | Sony Corporation | Automated visual inspection apparatus for detecting defects and for measuring defect size |
US5774177A (en) * | 1996-09-11 | 1998-06-30 | Milliken Research Corporation | Textile fabric inspection system |
JP3484042B2 (ja) * | 1997-05-21 | 2004-01-06 | 株式会社日立製作所 | パターン検査方法およびその装置 |
-
1998
- 1998-07-21 JP JP20525398A patent/JP4230566B2/ja not_active Expired - Lifetime
-
1999
- 1999-04-05 US US09/285,748 patent/US6535621B1/en not_active Expired - Lifetime
- 1999-04-19 CA CA002269250A patent/CA2269250A1/en not_active Abandoned
- 1999-05-27 EP EP99304142A patent/EP0974831B1/en not_active Expired - Lifetime
- 1999-05-27 DE DE69923119T patent/DE69923119T2/de not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006162278A (ja) * | 2004-12-02 | 2006-06-22 | Konica Minolta Medical & Graphic Inc | 欠陥検査装置 |
JP5038293B2 (ja) * | 2006-03-16 | 2012-10-03 | 日本碍子株式会社 | ハニカム構造体の外壁検査方法 |
JP2009287980A (ja) * | 2008-05-27 | 2009-12-10 | Panasonic Electric Works Co Ltd | 外観検査装置 |
JP2010223914A (ja) * | 2009-03-25 | 2010-10-07 | Panasonic Electric Works Co Ltd | 物体表面の欠陥検査方法および欠陥検査装置 |
WO2015159352A1 (ja) * | 2014-04-14 | 2015-10-22 | 株式会社東芝 | ウェブ検査装置、ウェブ検査方法、ウェブ検査プログラム |
JP5889426B1 (ja) * | 2014-04-14 | 2016-03-22 | 株式会社東芝 | ウェブ検査装置、ウェブ検査方法、ウェブ検査プログラム |
WO2020012826A1 (ja) * | 2018-07-11 | 2020-01-16 | 富士フイルム株式会社 | 印刷装置、検査装置、検査方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4230566B2 (ja) | 2009-02-25 |
US6535621B1 (en) | 2003-03-18 |
EP0974831A2 (en) | 2000-01-26 |
CA2269250A1 (en) | 2000-01-21 |
DE69923119T2 (de) | 2006-03-30 |
EP0974831B1 (en) | 2005-01-12 |
EP0974831A3 (en) | 2000-03-22 |
DE69923119D1 (de) | 2005-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4230566B2 (ja) | 欠陥統合処理装置および欠陥統合処理方法 | |
US6091847A (en) | Automated visual inspection apparatus for detecting defects and for measuring defect size | |
JP5043430B2 (ja) | 自動ウェブ検査のための装置および方法 | |
JPH0467275A (ja) | 認識方法及び認識装置 | |
KR20140146137A (ko) | 화상 처리 시스템, 화상 처리 방법 및 화상 처리 프로그램이 기록된 컴퓨터 판독가능한 기록 매체 | |
CN115205223A (zh) | 透明物体的视觉检测方法、装置、计算机设备及介质 | |
JP4244046B2 (ja) | 画像処理方法および画像処理装置 | |
US6614918B1 (en) | Apparatus for inspecting light-and-shade portions and method thereof | |
JP3342581B2 (ja) | 塗膜劣化自動診断方法及び装置 | |
US6570607B1 (en) | Light and shade inspecting apparatus and light and shade inspecting method | |
JP2003156451A (ja) | 欠陥検出装置 | |
JPH08145907A (ja) | 欠陥検査装置 | |
JPH08145904A (ja) | 明欠陥/暗欠陥検査装置 | |
JP3433333B2 (ja) | 欠陥検査方法 | |
JPH0682390A (ja) | 表面欠陥検査方法及び装置 | |
JP4220061B2 (ja) | 周期性パターンの欠陥検査方法及び装置 | |
JP2004125629A (ja) | 欠陥検出装置 | |
JPH05130512A (ja) | 固体撮像素子の画素欠陥測定装置 | |
JPH0735699A (ja) | 表面欠陥検出方法およびその装置 | |
KR101032917B1 (ko) | 홀 군집체 검사 방법 | |
JP2012078143A (ja) | 異物検査装置及びアライメント調整方法 | |
JP2010243214A (ja) | 欠陥検出方法および欠陥検出装置 | |
JPS6142222B2 (ja) | ||
JP2508662Y2 (ja) | 疵検出装置 | |
JPH04294260A (ja) | 印刷パタ−ン品質検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050427 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080916 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081204 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131212 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |