JP2006337167A - 周期性ノイズ下での低コントラスト欠陥検査方法、繰返しパターン下での低コントラスト欠陥検査方法 - Google Patents

周期性ノイズ下での低コントラスト欠陥検査方法、繰返しパターン下での低コントラスト欠陥検査方法 Download PDF

Info

Publication number
JP2006337167A
JP2006337167A JP2005162040A JP2005162040A JP2006337167A JP 2006337167 A JP2006337167 A JP 2006337167A JP 2005162040 A JP2005162040 A JP 2005162040A JP 2005162040 A JP2005162040 A JP 2005162040A JP 2006337167 A JP2006337167 A JP 2006337167A
Authority
JP
Japan
Prior art keywords
defect
pixel
image
density difference
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005162040A
Other languages
English (en)
Other versions
JP3749726B1 (ja
Inventor
Yasukuni Nomura
安国 野村
Arata Yamaguchi
新 山口
Hisao Morino
比佐夫 森野
Kiichiro Kotajima
喜一郎 古田島
Tsutomu Iwazawa
剣 岩澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fast Corp
Original Assignee
Fast Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fast Corp filed Critical Fast Corp
Priority to JP2005162040A priority Critical patent/JP3749726B1/ja
Application granted granted Critical
Publication of JP3749726B1 publication Critical patent/JP3749726B1/ja
Publication of JP2006337167A publication Critical patent/JP2006337167A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

【課題】周期未定の周期性ノイズか又は繰返しパターンのある画像でこれら以外の部分のコントラストが低い場合における欠陥抽出を、従来の欠点を排除し、高速に実行することが可能な欠陥検査方法を提供すること
【解決手段】X方向およびY方向各々に対して得られた、検査対象画素ラインと近傍にある画素ラインまたは繰返しパターンの周期分離れた位置にある画素ラインとの濃度差分画素ラインから、X方向濃度差分画像とY方向濃度差分画像を得て、各画素に対する濃度差分値によって定義される欠陥強度と欠陥方向を使用して欠陥候補を抽出し、その結果に対して領域分割と分割領域に対する濃度統計量によって欠陥候補存在領域を絞り込み、欠陥の連続性判定により欠陥を抽出する。
【選択図】図1

Description

本発明は、被検査物をカメラにより撮像して撮像画像に対する画像処理により被検査物上の欠陥検査方法に係り、更に詳しくは、撮像画像上に予めその周期がわからない周期性ノイズかまたは繰返しパターンが存在し、周期性ノイズまたは繰返しパターンのコントラストが欠陥部分の画像のコントラストよりも低い場合の高速欠陥検査方法に係る。
被検査物をカメラにより撮像して撮像画像に対する画像処理により被検査物上の欠陥検査を行なうに当たって、撮像画像上に予めその周期がわからない周期性ノイズかまたは繰返しパターンが存在する場合は、周期性ノイズまたは繰返しパターンの被検査物正常部分に対するコントラストが欠陥画素部分の正常部分に対するコントラストより低い場合は、従来は、一般画像処理技術により比較的簡単に欠陥画素部分を特定可能であった。また、既知の繰返しパターンが存在する場合には予め繰返しパターンを登録しておき、登録してある繰返しパターンとの照合差分により繰返しパターンを消去する方法が用いられている。この場合の欠点は、繰返しパターンを予め登録しておかなければならない煩わしさである。
一方、予めその周期がわからない周期性ノイズの被検査物正常部分に対するコントラストが欠陥画素部分の正常部分に対するコントラストより高い場合は、濃度の高い画素部分から濃度の低い画素部分を抜き出すことは技術的に高度であり、特に高速に抜き出すことについては、従来、有効な方法が提示されていなかった。この場合、予めその周期がわからない周期性ノイズに代わって既知の繰返しパターンが存在する場合は、前述の方法を用いることができるが同様の欠点を持つ。
現状、先行特許を発見し得ていない。 画像解析ハンドブック(東京大学出版会(1991)、560〜572ペ−ジ、弛緩法によるエッジの抽出、その他)
本発明が解決しようとする課題は、従来有効な方法が提示されていなかった「予めその周期がわからない周期性ノイズかまたは繰返しパターンの被検査物正常部分に対するコントラストが欠陥画素部分の正常部分に対するコントラストより高い場合において、従来の欠点を排除し、欠陥画素部分を高速に抽出することが可能な欠陥検査方法」を提供することである。
第1の手段は、直交XY座標によって画素位置が特定可能で周期性ノイズのある被検査画像において欠陥部を抽出する方法であって、
検査対象画素ライン上の濃度と当該検査対象画素ラインの近傍で選択した近傍画素ライン上の濃度との間で相関度が最大となるように双方の画素ライン情報を相対的に画素ライン方向に移動し、検査対象画素ラインと近傍画素ライン同士の濃度差分画素ラインを取得する過程を、X方向の検査対象画素ラインの各々に対して実行して取得された濃度差分画素ラインを集合してX方向濃度差分画像を作成し、且つY方向の検査対象画素ラインの各々に対して実行して取得された濃度差分画素ラインを集合してY方向濃度差分画像を作成する近傍ライン濃度差分画像作成ステップと、
X方向濃度差分画像とY方向濃度差分画像から得られる被検査画像上の各画素に対応するX方向の濃度差分値(x)とY方向濃度差分値(y)から得た各画素の、欠陥強度を表現する数値からなる欠陥強度濃淡画像と欠陥方向を表現する数値からなる欠陥方向濃淡画像を使用して、被検査画像上の各画素における欠陥存在の確からしさ(以降、欠陥存在確度ともいう)を計算し、その結果により欠陥候補抽出画像として欠陥候補画素を抽出する欠陥候補抽出ステップとを
具備する周期性ノイズ下での低コントラスト欠陥検査方法を採ることである。
第2の手段は、直交XY座標によって画素位置が特定可能で周期性ノイズのある被検査画像において欠陥部を抽出する方法であって、
検査対象画素ライン上の濃度と当該検査対象画素ラインの近傍で選択した近傍画素ライン上の濃度との間で相関度が最大となるように双方の画素ライン情報を相対的に画素ライン方向に移動し、検査対象画素ラインと近傍画素ライン同士の濃度差分画素ラインを取得する過程を、X方向の検査対象画素ラインの各々に対して実行して取得された濃度差分画素ラインを集合してX方向濃度差分画像を作成し、且つY方向の検査対象画素ラインの各々に対して実行して取得された濃度差分画素ラインを集合してY方向濃度差分画像を作成する近傍ライン濃度差分画像作成ステップと、
(a) X方向濃度差分画像とY方向濃度差分画像により被検査画像上の画素(以降、画素1ともいう)各々に対応するX方向の濃度差分値(x)とY方向濃度差分値(y)を得て、所定の方法で定義された欠陥強度と欠陥方向により計算された画素1各々に対応する欠陥強度と欠陥方向により、欠陥強度濃淡画像と欠陥方向濃淡画像を作成し、
(b) 欠陥強度濃淡画像と欠陥方向濃淡画像の画素(以降、画素2ともいう)各々のうちの選択された画素(以降、注目画素ともいう)に対して、当該注目画素の所定の周辺範囲の画素(以降、周辺画素ともいう)の各々の欠陥強度と、周辺画素各々に対して注目画素における欠陥方向に依存して所定の基準で重み付けを行なうための重み係数と、注目画素の欠陥方向を基準方向として当該基準方向に対してなす角度を代表する各方向に対して決められた基準方向に対する方向の適合度を表す係数を使って求められた各周辺画素における欠陥方向から注目画素の欠陥方向を差し引いた角度を代表する方向の係数(以降、適合係数ともいう)とを使用して、前記周辺画素の選択された一つの画素の欠陥強度と当該周辺画素に対応する重み係数と当該周辺画素に対応する適合係数の乗算結果を得る手順を全ての当該周辺画素に対して実行して、その乗算結果の和で定義される欠陥存在確度を計算する手順を欠陥強度濃淡画像の画素2の全てに対して実行し、画素2各々に対して乗算結果が所定の閾値を超えているか否かを調べて当該画素2に対応する画素1が欠陥候補であるか否かを判定し、欠陥候補でないと判定された当該画素2の欠陥強度をゼロと見做して欠陥強度濃淡画像の当該画素2の濃度をゼロに修正する(b)以降ここまでの一連の手順を全ての画素2に対して繰り返して、
(c) 得られた欠陥強度濃淡画像と元の欠陥方向濃淡画像を使用して、(b)に記載の一連の手順を予め設定された回数だけ弛緩法的に繰返し、最終的に得られた欠陥強度濃淡画像を欠陥候補抽出画像として取得する欠陥候補抽出ステップとを
具備する周期性ノイズ下での低コントラスト欠陥検査方法を採ることである。
第3の手段は、直交XY座標によって画素位置が特定可能で周期性ノイズのある被検査画像において欠陥部を抽出する方法であって、
近傍ライン濃度差分画像作成ステップと、
欠陥候補抽出ステップと、
(a) 欠陥候補抽出ステップで取得された欠陥候補抽出画像を小画像領域に領域分割し、分割された各領域(以降、分割領域ともいう)に対して濃度分散値を計算し、所定の閾値以上の濃度分散値を持つ分割領域を欠陥のある可能性のある領域と見做して欠陥領域として指定し、
(b) 欠陥領域を(a)に記述した方法で領域分割し、欠陥領域を更に絞り込んで指定する過程を分割領域が所定のサイズになるまで繰返し、欠陥の可能性のある領域(以降、欠陥候補存在領域ともいう)を抽出する欠陥候補存在領域抽出ステップとを
具備する周期性ノイズ下での低コントラスト欠陥検査方法を採ることである。
第3の手段において、小画像領域に領域分割する際に、各分割領域が互いに重複する領域を持つように領域分割をすることが好ましい。
第4の手段は、直交XY座標によって画素位置が特定可能で周期性ノイズのある被検査画像において欠陥部を抽出する方法であって、
近傍ライン濃度差分画像作成ステップと、
欠陥候補抽出ステップと、
欠陥候補存在領域抽出ステップと、
欠陥候補存在領域抽出ステップで抽出された欠陥候補存在領域に存在する画素を「論理1」とし、欠陥候補存在領域以外の領域の画素は全て「論理0」とする2値化画像を欠陥候補抽出ステップで作成された欠陥強度濃淡画像に対応して作成し、欠陥候補存在領域に対応する2値化領域(以降、2値化欠陥候補領域ともいう)に対し所定の基準で膨張処理を行って隣り合う2値化欠陥候補領域同士を所定の基準の及ぶ範囲で連結し、連結していない箇所は所定の連結条件に従って連結し、連結している2値化欠陥候補領域全体(以降、2値化連結欠陥候補領域という)の形状の特徴量に依存する判定条件に合致する2値化連結欠陥候補領域を欠陥領域として特定し、この特定された2値化連結欠陥候補領域以外の領域の画素を「論理0」として、各々の2値化連結欠陥候補領域に対して収縮処理を施して、「論理1」として残っている画素に対応する被検査画像の画素部分を欠陥として抽出する欠陥抽出ステップとを
具備する周期性ノイズ下での低コントラスト欠陥検査方法を採ることである。
第4の手段において、所定の連結条件を、膨張処理直後の連結している2値化欠陥候補領域の端点から欠陥候補存在領域の欠陥候補存在領域抽出ステップにおける最小の分割領域のサイズを超えない所定画素範囲内に隣の2値化欠陥候補領域の端点が存在することとすることができる。
第4の手段において、判定条件を、2値化連結欠陥候補領域に外接する矩形の長さが、予め決められている所定の長さ以上であることとすることができる。また、更に、太い塊の2値化連結欠陥候補領域を更に欠陥領域としたくない場合には、前記判定条件に、2値化連結欠陥候補領域に外接する矩形の面積と2値化連結欠陥候補領域の面積の比が、太い塊の形状に依存する所定の数値以上であることとする判定条件を追加して両方の条件を満たすこととすることができる。
第1の手段から第4の手段において、近傍ライン濃度差分画像作成ステップにおいて、相対的に移動した画素ラインの濃度平均レベルを画素ラインごとに合わせこむ補正が濃度差分画素ラインを取得する前に付加的に行われることが好ましい。
第1の手段から第4の手段において、欠陥強度と欠陥方向を、濃度差分値(x)とY方向濃度差分値(y)によって、以下の数式で定義することができる。
(数1)
欠陥強度=xの二乗とyの二乗の和の平方根
欠陥方向=arctan(y/x)
第5の手段は、直交XY座標によって画素位置が特定可能で繰返しパターンのある被検査画像において欠陥部を抽出する方法であって、
第1の手段から第4の手段において、近傍画素ラインを検査対象画素ラインから繰返しパターンの周期の整数倍の画素距離だけ離れている画素ラインに変更して、これらの手段のいずれかに記載してある周期性ノイズ下での低コントラスト欠陥検査方法に従って欠陥部を抽出することで繰返しパターン下での低コントラスト欠陥検査を行なうことができる。
予めその周期がわからない周期性ノイズかまたは繰返しパターンの被検査物正常部分に対するコントラストが欠陥画素部分の正常部分に対するコントラストより高い場合において、欠陥画素部分を高速に抽出する欠陥検査方法を提供できたことで、従来、撮像画像にのった予めその周期がわからない周期性ノイズかまたは被検査物にもともと存在するか撮像画像に重畳された繰返しパターンが元で検査が不可能であったか煩雑であった産業生産物の製造検査あるいは屋外調査分野における調査作業おいて、それを可能にする、または煩雑さを回避できる。
本発明を実施するための最良の形態を実施例と共に以下に示す。
図1は、本発明を実施するための最良の形態における処理ステップのフローの例を示す図であり、周期性ノイズのある被検査物の撮像画像に対してステップS1からステップS4の順に処理を行い、コントラストの低い欠陥を抽出する。各処理ステップにおける処理の流れについて、図とともに説明する。被検査物の撮像画像の各画素の位置を、XY直角座標でアドレスすることにする。
(ステップS1) このステップは、相関度条件を用いた近傍ライン濃度差分画像作成ステップであり、ここでは、被検査物の撮像画像の各々の検査対象画素ライン上の濃度と当該画素ラインの近傍で選択した近傍画素ライン上の濃度との間で相関度が最大となるように双方の画素ライン情報を相対的に画素ライン方向に移動し、検査対象画素ラインと傍画素ライン同士の濃度差分をとり濃度差分からなる画素ライン(濃度差分画素ラインという)を取得する過程を、X方向の検査対象画素ラインの各々に対して実行して取得された濃度差分画素ラインを集合してX方向濃度差分画像を作成し、且つY方向の検査対象画素ラインの各々に対して実行して取得された濃度差分画素ラインを集合してY方向濃度差分画像を作成する。
このステップの内容を更に詳しく実施例1で説明する。
一般的にある画素ラインに着目した場合、その濃度波形は当該の画素ラインの近傍の画素ラインの濃度波形と酷似する。図3にあるように、欠陥を持った検査対象画素ラインに対してその近傍画素ラインの濃度波形は欠陥がない部分で非常に似通う。破線が濃度波形の対応を示している。因みに、検査対象画素ラインの濃度波形で近傍画素ラインの濃度波形と異なる小突起部分は欠陥に相当する部分である。この性質を利用して両方の差分をとることによって欠陥情報を抽出しようとするのがこのステップの処理である。その処理の手順は、図2に示すごとくであり、以下に説明する。
(ステップS101) 欠陥撮像画像の上端側から順番にX方向の画素ラインを1個検査対象画素ラインとして選択し、選択された検査対象画素ラインに対してその下方近傍にある画素ラインを近傍画素ラインとして選定する。
(ステップS102) 次に、図3に示すように、双方の画素ライン上の濃度を取得(双方の濃度分布の状況例は図3に示すような波形である)する。最適な近傍の程度は取扱う画像のノイズを除いた画像の濃度変化率と濃度変化率の波の単位長さ当たりの数によって変化する。前者又は後者いずれにしても大きい場合には近くの近傍画素ラインを選択し、小さい場合はより遠くの近傍画素ラインを選択することができる。
(ステップS103) 次に、図4に示すように、近傍画素ラインの画素情報を画素ラインの方向に前後両方向に画素単位で移動させながら、各移動位置で検査対象画素ラインと近傍画素ラインの間で同一のX座標値でアドレスされる画素同士で双方の画素ラインのオリジナル画素情報の存在範囲がX方向に重なる範囲内で相関度を計算し、その相関度データを記憶する。
(ステップS104)次に、図5に示すように、最も相関度の高かった移動位置に近傍画素ラインの画素情報を移動し、近傍画素ラインの濃度平均値を検査対象画素ラインの濃度平均値にあわせるように近傍画素ラインの濃度波形の濃度レベルを比例的に調整する。
(ステップS105)次に、図6に示すように、検査対象画素ラインと濃度レベルの調整された近傍画素ラインとの間で濃度差分をとり、濃度差分画素ラインを取得する。
ただし、もし差分値で上記小突起部分のような有意な値が出た場合に、単純に上記検査対象画素ラインと上記近傍画素ラインとの濃度差分を採るだけでは、検査対象画素ラインと近傍画素ラインのどちらに欠陥があったかの判定ができない。そのため、ステップS101において、検査対象画素ラインの上方近傍にある画素ラインを再度近傍画素ラインとして選定し、ステップS102からステップS105までの手順を実行し、どちらの場合にも画素ライン方向の同じ位置に差分値の似通った有意な値が出た場合に検査対象ライン上にその有意な値の原因があったと判断する。画素ライン方向の同じ位置に差分値の似通った有意な値が出なかった場合には、近傍画素ライン上にその有意な値の原因があったとして、検査対象画素ラインの位置に対応する位置の濃度差分画素ラインとして上記有意な値をその前後の画素の濃度差分値の延長と見做せる値に置き換えたものを採用する。
(ステップS106) 以上、ステップS101からステップS105までの手順を欠陥撮像画像のすべてのX方向の画素ラインに対して実行して、取得されたすべてのX方向濃度差分画素ラインからX方向濃度差分画像を作成する。
(ステップS107) Y方向についても上記と同様な手順によりY方向濃度差分画像を作成する。
ステップS103で近傍画素ライン情報をシフトしたとき、画素ラインの移動方向と反対側の新しく生まれる画素に対しては、この範囲は差分結果をゼロにして欠陥がなかったことにする。
(ステップS2) このステップは、欠陥強度と欠陥方向による欠陥候補抽出ステップであり、図7によってその内容を説明する。
(ステップS201) X方向濃度差分画像とY方向濃度差分画像により被検査画像上の画素(画素1ともいう)各々に対応するX方向の濃度差分値(x)とY方向濃度差分値(y)を得て、式(1)で定義された欠陥強度と式(2)で定義された欠陥方向
(数2)
欠陥強度=xの二乗とyの二乗の和の平方根 (1)
渇間方向=arctan(y/x)
により計算された画素1各々に対応する欠陥強度と欠陥方向により、その画素が画素1各々に対応する欠陥強度濃淡画像(図8にその例を示す。白ければ白い画素ほど欠陥強度の数値の高い画素である。)と欠陥方向濃淡画像を作成する。
(ステップS202) 欠陥強度濃淡画像と欠陥方向濃淡画像の画素(画素2ともいう)各々のうちの選択された画素(注目画素ともいう)を中心画素とする5画素×5画素範囲の画素(周辺画素ともいう)の各々の欠陥強度(式(3)で示す)
(周辺画素ij各々の欠陥強度sijの式(3)を挿入)
と、周辺画素各々に対して注目画素における欠陥方向に依存して所定の基準で重み付けを行なう図10に示すような重み係数((4)でその記号を示す。図10(a)の場合は注目画素の欠陥方向が0度または45度の場合の重み係数で図10(b)の場合は欠陥方向が45度または315度の場合の重み係数)
(wij(4)を挿入)
と、注目画素の欠陥方向を基準方向として当該基準方向に対してなす角度を代表する各方向に対して決められた基準方向に対する方向の適合度を表す係数(方向適合係数ともいう。 図9にその例を示す)を使ってその内の各周辺画素における欠陥方向(式(5)で示す)
(周辺画素ij各々の欠陥方向dijの式(5)を挿入)
から注目画素の欠陥方向を差し引いた角度を代表する方向の係数(適合係数ともいい、(6)でその記号を示す)
(fij(6)を挿入)
とを使用して、ひとつの周辺画素の欠陥強度と当該周辺画素に対応する欠陥方向重み係数と当該周辺画素の方向に対応する適合係数の乗算結果を得る手順を全ての周辺画素に対して実行して、その乗算結果の和で定義される当該注目画素における欠陥存在確度(式(7))
(欠陥存在確度LXYの式を挿入)
を計算する。
(ステップS203) 当該注目画素における欠陥存在確度が所定の閾値を超えているか否かを調べて当該注目画素に対応する画素1が欠陥候補であるか否かを判定し、欠陥候補でないと判定された当該注目画素の欠陥強度をゼロと見做して欠陥強度濃淡画像の当該注目画素の濃度をゼロに修正する。
(ステップS204) ステップS202とステップS204の手順を欠陥強度濃淡画像の画素2の全てに対して実行し、画素2各々に対する欠陥存在確度によって修正された欠陥強度濃淡画像を得る。
(ステップS205) 得られた欠陥強度濃淡画像を新たな欠陥強度濃淡画像として元の欠陥方向濃淡画像とを使用してステップS202からステップS204までの一連の手順を予め設定された回数だけ弛緩法的に繰返し、結果として欠陥存在確度が弛緩法的に高まって、最終的に得られた欠陥強度濃淡画像を欠陥候補抽出画像として取得する。図11はこの欠陥候補抽出画像の例である。白い部分が欠陥候補箇所である。
ここで、各画素2の欠陥存在確度がある閾値を超えている場合に欠陥とし、ある閾値を超えていない場合は欠陥無しとして欠陥強度を0とした理由は、例えば、本実施例とはアプリケーションが違うが、非特許文献1で示されているように、周辺の画素の修正を徐々に進めていく一般的な弛緩法によって周辺の画素の情報によるエッジ確率を変動させて、最後にエッジ確率がある閾値を超えた画素をエッジとしている方法例に対して、本実施例は弛緩法による欠陥存在確度の高まりを加速し高速化を計る為に、条件により周辺の画素の急速な修正を行なう、即ち一回毎に欠陥判定を行い欠陥であるか否かを決定することで収束性を高めようとしたことにある。
当然、この意味から、画素2の濃度をゼロに修正する代わりに「ゼロに近い値」に修正することは、等価な修正と見做せる。
実施例2では、欠陥強度と欠陥方向をそれぞれ式(1)と式(2)で定義しているが、必ずしもこの式に限定されるわけではなく、適切に表現できる他の式で定義しても構わない。
また、周辺画素として、注目画素を中心画素として5画素×5画素の範囲を選定しているが、必ずしもこの選定の仕方に限定されるわけではなく、画素数を増減してもよいし、X方向とY方向の画素数を適宜違えても差し支えない。
また、重み係数として、図10のように注目画素の方向の種類を予め限定し、その各々に対して予め周辺画素各々に対してウエイトを割り振った重み係数のパターンを用意しておく方式に限ることはなく、例えば、注目画素の方向を持ち注目画素の中心を通るA座標軸と注目画素の中心を通りA座標軸に直交するB座標軸からなるAB直交座標系上で重み係数を関数で定義し、その関数を使って各種の注目画素の方向に対して周辺画素各々における重み係数を計算して決める方式を使用してもよい。
また、重み係数のパターン又は関数のあり方も、予め経験等でその形状が想定される場合には欠陥の形状に依存するパターン又は関数を定義して使うほうが望ましい。
また、注目画素の欠陥方向を基準方向として当該基準方向に対してなす角度を代表する各方向に対して決められた基準方向に対する方向の適合度を表す係数が、図9に示すような方式で予め決められているが、必ずしもこの方式に限られることはなく、方向の分割数を増減しても構わないし、基準方向に対する角度の関数として定義しても構わない。
ただ、一般的には、テーブルから数値を引いてくるほうが計算によるよりも処理時間が早くなることを考慮すれば、より高速化するためには、重み係数も含めて本実施例のようにテーブルから数値を引く方法のほうが望ましい。
また、欠陥存在確度に関しても、式(6)で定義されているが、必ずしもこの式に限ることはなく、他の式でも構わない。
(ステップS3) このステップは、濃度統計量による欠陥候補存在領域抽出ステップであり、図12によって素の処理を説明する。
(ステップS301) 図13に示すように、欠陥候補抽出画像をLx画素×Ly画素の画像として、この画像の左上隅から水平右方向へSx画素×Sy画素の小画像で且つ直前の分割領域とはSx画素の半数が重なるように(実線部分と破線部分のように)領域分割を順に行っていくやり方で、分割領域ごとに当該領域に対して濃度分散値を計算し所定の閾値以上の濃度分散値を持つ分割領域を欠陥のある可能性のある領域と見做して欠陥領域と指定する手順を水平方向にこの画像の右端まで実行する。
(ステップS302) 次にこの画像の左端に戻り、垂直方向にSy画素の半数が重なるように(実践部分と1点鎖線部分のように)新たな領域Sx画素×Sy画素を選択し、以降上記の水平右方向への領域分割と濃度分散値計算とこの画像の左端へ戻る一連の手順を、領域分割と濃度分散値計算がこの画像のすべてに対してなされるまで実行する。上記で領域の重なる部分については、重なるいずれかの領域が欠陥領域と指定されれば欠陥領域として指定することにする。また、本実施例ではSx=128、Sy=128としている。
(ステップS303) ステップS301とステップS302で欠陥領域として指定された領域に対して、当該2ステップで実行したと同様の一連の手順を、Lx画素×Ly画素の画像をSx画像×Sy画像に小分割したようにして、より小さい分割領域サイズSx×Sy(例としては、Sx=64、32等、Sy=64、32等がある)として実行する。
(ステップS304) ステップS303の手順を、予め決められている最小分割サイズSx×Sy(例えば、Sx=8または4、Sy=8または4)に対応する手順まで実行し、欠陥領域を絞り込む。
ここで、Sx=4、Sy=4に対して実行するときは、上記分割領域間の重なりがないようにする方が好ましい。
(ステップS305) ステップS304の結果、欠陥領域として指定されている領域を最終的に欠陥のある可能性のある領域と見做して、欠陥候補存在領域として抽出する。
領域分割の仕方に関して、実施例では領域長さの半分が隣接分割領域と重なるように分割領域の設定をしたが、この設定方法に限ることはなく、所定の重なり量でかまわない。ただ、重なり量が少なくなるほど分割領域の境界近辺にある欠陥の抽出が不正確になる確率が増してくることに注意しなければならない。
また、SxおよびSyの数値およびその選び方については、上記の画素数および選び方に限ることはない。
(ステップS4) このステップは、欠陥連続性判定による欠陥抽出ステップであり、このステップの処理を図14に従って説明する。
(ステップS401) 欠陥候補存在領域に存在する画素を「論理1」とし、欠陥候補存在領域以外の領域の画素は全て「論理0」とする2値化画像を欠陥強度濃淡画像に対応して作成する。
(ステップS402) 欠陥候補存在領域に対応する2値化領域(以降、2値化欠陥候補領域ともいう)に対し所定の基準で膨張処理を行って隣り合う2値化欠陥候補領域同士を所定の基準の及ぶ範囲で連結する。
(ステップS403) 連結していない箇所は所定の連結条件に従って連結する。
(ステップS404) 連結している2値化欠陥候補領域全体(2値化連結欠陥候補領域ともいう)の形状の特徴量に依存する判定条件に合致する2値化連結欠陥候補領域を欠陥領域として特定し、この特定された領域以外の領域の画素を「論理0」とする。
(ステップS405) 2値化連結欠陥候補領域(この例を図15に示す。)に対して収縮処理を施して「論理1」として、「論理1」となっている画素に対応する被検査画像の画素部分を欠陥として抽出する。欠陥抽出結果の例を、図16に示す。
上記の所定の連結条件の実施例は、膨張処理直後の連結している2値化欠陥候補領域の端点から欠陥候補領域の最小の前記分割領域のサイズ(辺長さ)を超えない所定画素範囲内に隣の2値化欠陥候補領域の端点が存在することとしている。
また、上記判定条件について以下に説明する。
欠陥の形状についてマクロに見て細長い、線状の形状と太い塊形状を想定できることから、まず細長い線状の形状に合致するパターンを類型化すると図17あるいは図18のような類型化ができる。図17と図18の違いは、2値化連結欠陥候補領域に外接する矩形が、その各辺が座標軸のいずれかに平行であるか、その矩形が2値化連結欠陥候補領域に外接する最小の面積を持つ矩形であるかである。また、太い塊形状に合致するパターンの典型は図17(e)の2値化連結欠陥候補領域Fの内側の領域が欠陥候補領域で埋まっている場合である。
判定の方法は、2値化連結欠陥候補領域に外接する矩形の長さに着目し、矩形の長さのいずれかが予め決められている所定の長さ以上であるときは、上述した全てのパターンをのいずれかであるとして、その2値化連結欠陥候補領域は欠陥領域とする方法である。この場合の前記判定条件は、2値化連結欠陥候補領域に外接する矩形の長さが、予め決められている所定の長さ以上であることである。実施例で使った上記所定の長さの1例は10画素である。
更に、太い塊の2値化連結欠陥候補領域を更に欠陥領域としたくない場合には、2値化連結欠陥候補領域に外接する矩形の面積と2値化連結欠陥候補領域の面積が近い(換言すれば、前者の面積と後者の面積の比が、上記欠陥領域としたくない太い塊の形状に依存する数値(例えば、2)未満であるときには、当該の2値化連結欠陥候補領域は欠陥領域としないとすることである。この場合の前記判定条件に対する追加判定条件は、2値化連結欠陥候補領域に外接する矩形の面積と2値化連結欠陥候補領域の面積の比が、太い塊の形状に依存する所定の数値以上であることである。
本発明を実施するための最良の形態における処理ステップのフローの例を示す図である。 実施例1の処理ステップ「近傍ライン濃度差分画像作成ステップ」の処理フローの例を示す図である。 検査対象画素ラインと近傍画素ラインの濃度波形と画素ライン方向の相互配置状況の例を示す図である。 検査対象画素ラインと近傍画素ラインの濃度の相関値が最大となるように近傍画素ラインを画素ライン方向に移動させる状況の例を示す図である。 図4に示す移動後、近傍画素ラインの平均濃度値を検査対象画素ラインの平均濃度値に合わせる状況の例を示す図である。 図5に示す濃度平均値調整後、検査対象画素ラインと近傍画素ラインの濃度差分処理状況とその結果の濃度差分画素ラインの濃度波形の例を示す図である。 実施例2の処理ステップ「欠陥候補抽出ステップ」の処理フローを示す図である。 濃度差分直後の欠陥強度濃淡画像の例を示す図である。 方向適合係数の例を示す図である。 欠陥方向重み係数の例を示す図である。 欠陥候補抽出画像の例を示す図である。 実施例3の処理ステップ「欠陥候補存在領域抽出ステップ」の処理フローを示す図である。 領域分割の方法の例を示す図で、(a)は第1の領域サイズによる全画像領域の分割方法の例、(b)は第2の領域サイズによる第1の領域の分割方法の例、(c)は第3の領域サイズによる第2の領域の分割方法の例を示す図である。 実施例4の処理ステップ「欠陥抽出ステップ」の処理フローを示す図である。 2値化欠陥候補領域の膨張処理後の例を示す図である。 欠陥抽出結果の例を示す図である。 実施例4の判定条件を説明するための図である。 実施例4の判定条件を説明するための図である。
符号の説明
特になし。

Claims (10)

  1. 直交XY座標によって画素位置が特定可能で周期性ノイズのある被検査画像において欠陥部を抽出する方法であって、
    検査対象画素ライン上の濃度と該検査対象画素ラインの近傍で選択した近傍画素ライン上の濃度との間で相関度が最大となるように双方の画素ライン情報を相対的に画素ライン方向に移動し、前記検査対象画素ラインと前記近傍画素ライン同士の濃度差分画素ラインを取得する過程を、X方向の検査対象画素ラインの各々に対して実行して取得された濃度差分画素ラインを集合してX方向濃度差分画像を作成し、且つY方向の検査対象画素ラインの各々に対して実行して取得された濃度差分画素ラインを集合してY方向濃度差分画像を作成する近傍ライン濃度差分画像作成ステップと、
    前記X方向濃度差分画像と前記Y方向濃度差分画像から得られる前記被検査画像上の各画素に対応するX方向の濃度差分値(x)とY方向濃度差分値(y)から得た前記各画素の、欠陥強度を表現する数値からなる欠陥強度濃淡画像と欠陥方向を表現する数値からなる欠陥方向濃淡画像を使用して、前記被検査画像上の各画素における欠陥存在の確からしさ(以降、欠陥存在確度ともいう)を計算し、その結果により欠陥候補抽出画像として欠陥候補画素を抽出する欠陥候補抽出ステップとを
    具備することを特徴とする周期性ノイズ下での低コントラスト欠陥検査方法。
  2. 直交XY座標によって画素位置が特定可能で周期性ノイズのある被検査画像において欠陥部を抽出する方法であって、
    検査対象画素ライン上の濃度と該検査対象画素ラインの近傍で選択した近傍画素ライン上の濃度との間で相関度が最大となるように双方の画素ライン情報を相対的に画素ライン方向に移動し、前記検査対象画素ラインと前記近傍画素ライン同士の濃度差分画素ラインを取得する過程を、X方向の検査対象画素ラインの各々に対して実行して取得された濃度差分画素ラインを集合してX方向濃度差分画像を作成し、且つY方向の検査対象画素ラインの各々に対して実行して取得された濃度差分画素ラインを集合してY方向濃度差分画像を作成する近傍ライン濃度差分画像作成ステップと、
    (a) 前記X方向濃度差分画像と前記Y方向濃度差分画像により前記被検査画像上の画素(以降、画素1ともいう)各々に対応するX方向の濃度差分値(x)とY方向濃度差分値(y)を得て、所定の方法で定義された欠陥強度と欠陥方向により計算された前記画素1各々に対応する前記欠陥強度と前記欠陥方向により、欠陥強度濃淡画像と欠陥方向濃淡画像を作成し、
    (b) 前記欠陥強度濃淡画像と前記欠陥方向濃淡画像の画素(以降、画素2ともいう)各々のうちの選択された画素(以降、注目画素ともいう)に対して、該注目画素の所定の周辺範囲の画素(以降、周辺画素ともいう)の各々の欠陥強度と、前記周辺画素各々に対して前記注目画素における欠陥方向に依存して所定の基準で重み付けを行なうための重み係数と、注目画素の欠陥方向を基準方向として該基準方向に対してなす角度を代表する各方向に対して決められた該基準方向に対する方向の適合度を表す係数を使って求められた前記各周辺画素における欠陥方向から注目画素の欠陥方向を差し引いた角度を代表する方向の係数(以降、適合係数ともいう)とを使用して、前記周辺画素の選択された一つの画素の欠陥強度と当該周辺画素に対応する重み係数と当該周辺画素に対応する適合係数の乗算結果を得る手順を全ての当該周辺画素に対して実行して、その乗算結果の和で定義される欠陥存在確度を計算する手順を前記欠陥強度濃淡画像の画素2の全てに対して実行し、前記画素2各々に対して前記乗算結果が所定の閾値を超えているか否かを調べて当該画素2に対応する画素1が欠陥候補であるか否かを判定し、欠陥候補でないと判定された当該画素2の欠陥強度をゼロと見做して前記欠陥強度濃淡画像の当該画素2の濃度をゼロに修正する(b)以降ここまでの一連の手順を全ての画素2に対して繰り返して、
    (c) 得られた欠陥強度濃淡画像と元の前記欠陥方向濃淡画像を使用して、(b)に記載の一連の手順を予め設定された回数だけ弛緩法的に繰返し、最終的に得られた欠陥強度濃淡画像を欠陥候補抽出画像として取得する欠陥候補抽出ステップとを
    具備することを特徴とする周期性ノイズ下での低コントラスト欠陥検査方法。
  3. 直交XY座標によって画素位置が特定可能で周期性ノイズのある被検査画像において欠陥部を抽出する方法であって、
    前記近傍ライン濃度差分画像作成ステップと、
    前記欠陥候補抽出ステップと、
    (a) 前記欠陥候補抽出ステップで取得された欠陥候補抽出画像を小画像領域に領域分割し、分割された各領域(以降、分割領域ともいう)に対して濃度分散値を計算し、所定の閾値以上の濃度分散値を持つ分割領を欠陥のある可能性のある領域と見做して欠陥領域として指定し、
    (b) 前記欠陥領域を(a)に記述した方法で領域分割し、前記欠陥領域を更に絞り込んで指定する過程を分割領域が所定のサイズになるまで繰返し、欠陥の可能性のある領域(以降、欠陥候補存在領域ともいう)を抽出する欠陥候補存在領域抽出ステップとを
    具備することを特徴とする周期性ノイズ下での低コントラスト欠陥検査方法。
  4. 小画像領域に領域分割する際に、各分割領域が互いに重複する領域を持つように領域分割がなされることを特徴とする請求項3に記載の周期性ノイズ下での低コントラスト欠陥検査方法。
  5. 直交XY座標によって画素位置が特定可能で周期性ノイズのある被検査画像において欠陥部を抽出する方法であって、
    前記近傍ライン濃度差分画像作成ステップと、
    前記欠陥候補抽出ステップと、
    前記欠陥候補存在領域抽出ステップと、
    前記欠陥候補存在領域抽出ステップで抽出された欠陥候補存在領域に存在する画素を「論理1」とし、前記欠陥候補存在領域以外の領域の画素は全て「論理0」とする2値化画像を前記欠陥候補抽出ステップで作成された欠陥強度濃淡画像に対応して作成し、前記欠陥候補存在領域に対応する2値化領域(以降、2値化欠陥候補領域ともいう)に対し所定の基準で膨張処理を行って隣り合う2値化欠陥候補領域同士を所定の基準の及ぶ範囲で連結し、連結していない箇所は所定の連結条件に従って連結し、連結している2値化欠陥候補領域全体(以降、2値化連結欠陥候補領域という)の形状の特徴量に依存する判定条件に合致する2値化連結欠陥候補領域を欠陥領域として特定し、この特定された2値化連結欠陥候補領域以外の領域の画素を「論理0」として、各々の2値化連結欠陥候補領域に対して収縮処理を施して、「論理1」として残っている画素に対応する被検査画像の画素部分を欠陥として抽出する欠陥抽出ステップとを
    具備することを特徴とする周期性ノイズ下での低コントラスト欠陥検査方法。
  6. 前記所定の連結条件が、前記膨張処理直後の連結している2値化欠陥候補領域の端点から前記欠陥候補存在領域の前記欠陥候補存在領域抽出ステップにおける最小の分割領域のサイズを超えない所定画素範囲内に隣の2値化欠陥候補領域の端点が存在することであることを特徴とする請求項5に記載の周期性ノイズ下での低コントラスト欠陥検査方法。
  7. 前記判定条件が、前記2値化連結欠陥候補領域に外接する矩形の長さが、予め決められている所定の長さ以上であることとする第1条件か、または、該第1条件、前記2値化連結欠陥候補領域に外接する矩形の面積と前記2値化連結欠陥候補領域の面積の比が、太い塊の2値化連結欠陥候補領域の形状に依存する所定の数値以上であることとする第2条件の両方を満たす条件かのいずれかであることを特徴とする請求項5に記載の周期性ノイズ下での低コントラスト欠陥検査方法。
  8. 前記近傍ライン濃度差分画像作成ステップにおいて、相対的に移動した画素ラインの濃度平均レベルを画素ラインごとに合わせこむ補正が濃度差分画素ラインを取得する前に付加的に行われることを特徴とする請求項1から7のいずれかに記載の周期性ノイズ下での低コントラスト欠陥検査方法。
  9. 前記欠陥強度と前記欠陥方向が、前記濃度差分値(x)と前記Y方向濃度差分値(y)によって、以下の数式
    (数1)
    欠陥強度=xの二乗とyの二乗の和の平方根
    欠陥方向=arctan(y/x)
    で定義されることを特徴とする請求項1から7のいずれかに記載の周期性ノイズ下での低コントラスト欠陥検査方法。
  10. 直交XY座標によって画素位置が特定可能で繰返しパターンのある被検査画像において欠陥部を抽出する方法であって、
    前記近傍画素ラインを前記検査対象画素ラインから繰返しパターンの周期の整数倍の画素距離だけ離れている画素ラインに変更して、請求項1から9のいずれかに記載の周期性ノイズ下での低コントラスト欠陥検査方法に従って前記欠陥部を抽出することを特徴とする繰返しパターン下での低コントラスト欠陥検査方法。
JP2005162040A 2005-06-01 2005-06-01 周期性ノイズ下での低コントラスト欠陥検査方法、繰返しパターン下での低コントラスト欠陥検査方法 Active JP3749726B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005162040A JP3749726B1 (ja) 2005-06-01 2005-06-01 周期性ノイズ下での低コントラスト欠陥検査方法、繰返しパターン下での低コントラスト欠陥検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005162040A JP3749726B1 (ja) 2005-06-01 2005-06-01 周期性ノイズ下での低コントラスト欠陥検査方法、繰返しパターン下での低コントラスト欠陥検査方法

Publications (2)

Publication Number Publication Date
JP3749726B1 JP3749726B1 (ja) 2006-03-01
JP2006337167A true JP2006337167A (ja) 2006-12-14

Family

ID=36113752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005162040A Active JP3749726B1 (ja) 2005-06-01 2005-06-01 周期性ノイズ下での低コントラスト欠陥検査方法、繰返しパターン下での低コントラスト欠陥検査方法

Country Status (1)

Country Link
JP (1) JP3749726B1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095108A (ja) * 2009-10-29 2011-05-12 Panasonic Electric Works Co Ltd 木材欠陥検出装置およびその方法
JP2013501228A (ja) * 2009-08-04 2013-01-10 エーエスエムエル ネザーランズ ビー.ブイ. 対象検査システムおよび方法
WO2014112652A1 (ja) * 2013-01-16 2014-07-24 住友化学株式会社 画像生成装置、欠陥検査装置および欠陥検査方法
WO2014119772A1 (ja) * 2013-01-30 2014-08-07 住友化学株式会社 画像生成装置、欠陥検査装置および欠陥検査方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649412B (zh) * 2024-01-30 2024-04-09 山东海天七彩建材有限公司 一种铝材表面质量的检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013501228A (ja) * 2009-08-04 2013-01-10 エーエスエムエル ネザーランズ ビー.ブイ. 対象検査システムおよび方法
JP2011095108A (ja) * 2009-10-29 2011-05-12 Panasonic Electric Works Co Ltd 木材欠陥検出装置およびその方法
WO2014112652A1 (ja) * 2013-01-16 2014-07-24 住友化学株式会社 画像生成装置、欠陥検査装置および欠陥検査方法
JPWO2014112652A1 (ja) * 2013-01-16 2017-01-19 住友化学株式会社 画像生成装置、欠陥検査装置および欠陥検査方法
WO2014119772A1 (ja) * 2013-01-30 2014-08-07 住友化学株式会社 画像生成装置、欠陥検査装置および欠陥検査方法
CN104956210A (zh) * 2013-01-30 2015-09-30 住友化学株式会社 图像生成装置、缺陷检查装置以及缺陷检查方法
JPWO2014119772A1 (ja) * 2013-01-30 2017-01-26 住友化学株式会社 画像生成装置、欠陥検査装置および欠陥検査方法
TWI608230B (zh) * 2013-01-30 2017-12-11 住友化學股份有限公司 圖像產生裝置、缺陷檢查裝置及缺陷檢查方法

Also Published As

Publication number Publication date
JP3749726B1 (ja) 2006-03-01

Similar Documents

Publication Publication Date Title
CN106407883B (zh) 一种复杂表格及其内部手写数字识别方法
CN104718428B (zh) 图案的检查、测量装置及程序
KR101522804B1 (ko) 패턴 매칭 장치 및 기록 매체
CN110502985B (zh) 表格识别方法、装置及表格识别设备
JP6811217B2 (ja) コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム
JP5812705B2 (ja) ひび割れ検出方法
JP7008409B2 (ja) ひび割れ検出方法
JP3749726B1 (ja) 周期性ノイズ下での低コントラスト欠陥検査方法、繰返しパターン下での低コントラスト欠陥検査方法
JP2009211626A (ja) 画像処理装置及び方法
CN116391204A (zh) 线宽测量方法、装置、计算处理设备、计算机程序及计算机可读介质
JP2018128309A (ja) ひび割れ検出方法
JP2009211138A (ja) 対象領域抽出方法および装置ならびにプログラム
CN113282905A (zh) 一种登录测试方法及装置
JP2004265264A (ja) 画像処理装置
CN115546232A (zh) 一种肝脏超声图像工作区域提取方法、系统及电子设备
JP2011165170A (ja) 対象物検出装置及びプログラム
JP5772675B2 (ja) 濃淡画像のエッジ抽出方法、エッジ抽出装置並びに濃淡画像のエッジ抽出プログラム
JP7008408B2 (ja) ひび割れ検出方法
JP2000339462A (ja) 欠陥検査方法および欠陥検査装置
CN117173090A (zh) 焊接缺陷类型识别方法、装置、存储介质及电子设备
US10317203B2 (en) Dimension measuring apparatus and computer readable medium
JP5452035B2 (ja) 欠陥検査方法および欠陥検査装置
JP4980739B2 (ja) ひび割れ検出方法
JP4963824B2 (ja) 変化領域抽出装置及び変化領域抽出方法
JP2001099625A (ja) パターン検査装置およびパターン検査方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051202

R150 Certificate of patent or registration of utility model

Ref document number: 3749726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081209

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091209

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101209

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111209

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111209

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121209

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121209

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121209

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121209

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131209

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250