JP2010237018A - 欠陥検出装置及び欠陥検出方法 - Google Patents

欠陥検出装置及び欠陥検出方法 Download PDF

Info

Publication number
JP2010237018A
JP2010237018A JP2009085016A JP2009085016A JP2010237018A JP 2010237018 A JP2010237018 A JP 2010237018A JP 2009085016 A JP2009085016 A JP 2009085016A JP 2009085016 A JP2009085016 A JP 2009085016A JP 2010237018 A JP2010237018 A JP 2010237018A
Authority
JP
Japan
Prior art keywords
pixel
edge strength
feature amount
edge
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009085016A
Other languages
English (en)
Other versions
JP5511212B2 (ja
Inventor
Yuichiro Hikita
雄一郎 疋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dainippon Screen Manufacturing Co Ltd
Original Assignee
Dainippon Screen Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dainippon Screen Manufacturing Co Ltd filed Critical Dainippon Screen Manufacturing Co Ltd
Priority to JP2009085016A priority Critical patent/JP5511212B2/ja
Publication of JP2010237018A publication Critical patent/JP2010237018A/ja
Application granted granted Critical
Publication of JP5511212B2 publication Critical patent/JP5511212B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】欠陥を誤って検出することが少ない欠陥検出装置及び欠陥検出方法を提供する。
【解決手段】欠陥検出部108は、エッジ強度を算出するエッジ強度算出部110,112,114と、エッジの方向を角度で表現した特徴量を算出する特徴量算出部116,118,120と、2個のエッジ強度が条件を満たすか否かを判定するエッジ強度判定部124,126と、2個の特徴量の差の絶対値が特徴量差閾値を超える場合に画素を欠陥画素と判定する特徴量差判定部128,130とを備える。欠陥検出部108は、2個のエッジ強度が条件を満たすエッジ部において特徴量を比較し、2個の特徴量の差の絶対値が大きい場合に画素を欠陥を撮像した欠陥画素と判定する。
【選択図】図3

Description

本発明は、第1のパターンを撮像した第1の画像と第2のパターンを撮像した第2の画像とを比較し第1のパターンに含まれる欠陥を検出する欠陥検出装置及びこれに関連する技術に関する。
特許文献1の欠陥検出装置(欠陥検査装置)は、第1のパターン(繰り返しパターン5a)を撮像した第1の画像と第2のパターン(繰り返しパターン5b)を撮像した第2の画像とを比較し、第1の画像の濃度値(信号S11)と第2の画像の濃度値(信号S12)との差が閾値を超える場合に、パターンに欠陥が含まれると判定する。
特開平5−264467号公報
ガラス基板に形成された薄膜のパターンからの光は、薄膜の膜厚・材質・積層された層の相互の関係等、照明光の光量・波長等の影響を受け、複雑な干渉を伴う。また、パターンを撮像した画像におけるエッジの形状は、製造プロセスの変動によるパターンそのものの細り・太り、パターンを撮像するときのフォーカスボケ・サンプリング誤差・振動等の影響を受け、変化する。このため、同じパターンを写した複数の画像の濃度値が大きく異なる場合もある。したがって、パターンに含まれる欠陥を特許文献1の欠陥検出装置で検出しようとすると、欠陥に起因しない濃度値の差を欠陥として検出し、欠陥を誤って検出することが多い。
本発明は、この問題を解決するためになされたもので、欠陥を誤って検出することが少ない欠陥検出装置及び欠陥検出方法を提供することを目的とする。
請求項1の発明は、第1のパターンを撮像した第1の画像と第2のパターンを撮像した第2の画像とを比較し第1のパターンに含まれる欠陥を検出する欠陥検出装置であって、第1の画像を構成する第1の画素におけるエッジ強度を算出する第1のエッジ強度算出部と、第2の画像を構成する第2の画素におけるエッジ強度を算出する第2のエッジ強度算出部と、第1の画像を構成する第1の画素におけるエッジの方向を角度で表現した特徴量を算出する第1の特徴量算出部と、第2の画像を構成する第2の画素におけるエッジの方向を角度で表現した特徴量を算出する第2の特徴量算出部と、前記第1のエッジ強度算出部により算出されたエッジ強度及び前記第2のエッジ強度算出部により算出されたエッジ強度が条件を満たすか否かを判定するエッジ強度判定部と、前記エッジ強度判定部により条件が満たされたと判定され、前記第1の特徴量算出部により算出された特徴量と前記第2の特徴量算出部により算出された特徴量との差の絶対値が閾値を超える場合に第1の画素を欠陥を撮像した欠陥画素と判定する特徴量差判定部と、を備える。
請求項2の発明は、請求項1の欠陥検出装置において、前記エッジ強度判定部は、前記第1のエッジ強度算出部により算出されたエッジ強度及び前記第2のエッジ強度算出部により算出されたエッジ強度の少なくとも片方が閾値を超える場合に条件を満たすと判定し、前記特徴量差判定部は、前記第1の特徴量算出部により算出された1個の第1の画素における特徴量と前記第2の特徴量算出部により算出された比較対象範囲内にある2個以上の第2の画素の各々における特徴量との差の絶対値の最小値が閾値を超える場合に第1の画素を欠陥画素と判定する。
請求項3の発明は、請求項1の欠陥検出装置において、前記エッジ強度判定部は、前記第1のエッジ強度算出部により算出されたエッジ強度及び前記第2のエッジ強度算出部により算出されたエッジ強度の両方が閾値を超える場合に条件を満たすと判定し、前記特徴量差判定部は、前記第1の特徴量算出部により算出された1個の第1の画素における特徴量と前記第2の特徴量算出部により算出された比較対象範囲内にある2個以上の第2の画素の各々における特徴量との差の絶対値の最小値が閾値を超える場合に第1の画素を欠陥画素と判定し、前記エッジ強度判定部により条件が満たされなかったと判定され、前記第1のエッジ強度算出部により算出された1個の第1の画素におけるエッジ強度と前記第2のエッジ強度算出部により算出された比較対象範囲内にある2個以上の第2の画素の各々におけるエッジ強度との差の絶対値の最小値が閾値を超える場合に第1の画素を欠陥画素と判定するエッジ強度差判定部、をさらに備える。
請求項4の発明は、請求項1ないし請求項3のいずれかの欠陥検出装置において、2個以上の第2の画像との比較の結果として第1の画素が欠陥画素と判定された場合に第1の画素を欠陥画素と判定する論理積演算部、をさらに備える。
請求項5の発明は、請求項1ないし請求項4のいずれかの欠陥検出装置において、注目画素を含む判定対象範囲に含まれる欠陥画素の数が閾値を超える場合に注目画素を欠陥画素と判定するサイズフィルタ部、をさらに備える。
請求項6の発明は、請求項1ないし請求項5のいずれかの欠陥検出装置において、エッジ強度及び特徴量の算出に先立って第1の画像を平滑化する第1の平滑化部と、エッジ強度及び特徴量の算出に先立って第2の画像を平滑化する第2の平滑化部と、をさらに備える。
請求項7の発明は、請求項1ないし請求項6のいずれかの欠陥検出装置において、前記第1の特徴量算出部及び前記第2の特徴量算出部は、特徴量の算出の基礎となる範囲に含まれる画素の濃度値から算出したエッジ強度が閾値を超えない場合に特徴量の算出の基礎となる範囲を拡大する。
請求項8の発明は、請求項1ないし請求項7のいずれかの欠陥検出装置において、前記第1の特徴量算出部及び前記第2の特徴量算出部は、水平方向のエッジ強度に対する垂直方向のエッジ強度の比を引数とするアークタンジェントの戻り値に基づいて特徴量を算出する。
請求項9の発明は、請求項1ないし請求項7のいずれかの欠陥検出装置において、前記第1の特徴量算出部及び前記第2の特徴量算出部は、相関係数が最も高い形状カーネルを複数の形状カーネルの中から特定し、特定した形状カーネルに割り当てられている値を特徴量とする。
請求項10の発明は、第1のパターンを撮像した第1の画像と第2のパターンを撮像した第2の画像とを比較し第1のパターンに含まれる欠陥を検出する欠陥検出方法であって、(a) 第1の画像を構成する第1の画素におけるエッジ強度を算出する工程と、(b) 第2の画像を構成する第2の画素におけるエッジ強度を算出する工程と、(c) 第1の画像を構成する第1の画素におけるエッジの方向を角度で表現した特徴量を算出する工程と、(d) 第2の画像を構成する第2の画素におけるエッジの方向を角度で表現した特徴量を算出する工程と、(e) 前記工程(a)により算出されたエッジ強度及び前記工程(b)により算出されたエッジ強度が条件を満たすか否かを判定する工程と、(f) 前記工程(e)により条件が満たされたと判定され、前記工程(c)により算出された特徴量と前記工程(d)により算出された特徴量との差の絶対値が閾値を超える場合に第1の画素を欠陥を撮像した欠陥画素と判定する工程と、を備える。
請求項1ないし請求項10の発明によれば、欠陥に起因しない濃度値の差を欠陥として検出しないので、欠陥を誤って検出することが少ない。
請求項2ないし請求項3の発明によれば、エッジ部の位置のわずかなずれを欠陥として検出することが減少するので、欠陥を誤って検出することがさらに少ない。
請求項3の発明によれば、第1の画素及び第2の画素の片方がエッジ部に属する場合の欠陥の検出の感度が閾値により調整されるので、欠陥が適切に検出される。
請求項4の発明によれば、一の第2のパターンに欠陥が含まれても他の第2のパターンに欠陥が含まれなければ、一の第2のパターンに含まれる欠陥に起因して欠陥を検出することがないので、欠陥を誤って検出することがさらに少ない。
請求項5の発明によれば、ノイズの影響を受けにくくなるので、欠陥を誤って検出することがさらに少ない。
請求項6の発明によれば、第1の画像及び第2の画像に含まれるノイズが減少するので、欠陥を誤って検出することがさらに少ない。
請求項7の発明によれば、エッジが鋭い場合には狭い範囲に含まれる画素の濃度値から特徴量が精度良く算出され、エッジが鈍い場合には広い範囲に含まれる画素の濃度値から特徴量が感度良く算出される。
第1実施形態の欠陥検出装置の模式図である。 ガラス基板の平面図である。 第1実施形態の欠陥検出部のブロック図である。 特徴量の算出の基礎となる範囲を示す図である。 特徴量の算出の基礎となる範囲を示す図である。 特徴量の算出の基礎となる範囲を示す図である。 被検査画像を示す図である。 参照画像を示す図である。 被検査画像を示す図である。 参照画像を示す図である。 平滑化フィルタを示す図である。 第2実施形態のエッジ強度判定部、特徴量差判定部及びエッジ強度差判定部のブロック図である。 第3実施形態の特徴量を説明する図である。
<第1実施形態>
第1実施形態は、欠陥検出装置102に関する。
(欠陥検出装置102の概略)
図1は、第1実施形態の欠陥検出装置102の模式図である。欠陥検出装置102は、フラットディスプレイパネル用のガラス基板198の表面に形成された薄膜のパターンに含まれる欠陥を検出する。
図1に示すように、欠陥検出装置102は、パターンを撮像するラインセンサ104と、ラインセンサ104にガラス基板198の表面を走査させる走査機構106と、欠陥を検出する画像処理を行う欠陥検出部108とを備える。欠陥検出装置102は、ラインセンサ104に撮像を行わせながらガラス基板198の表面を走査させることによりガラス基板198の表面に形成されたパターンの2次元画像を生成する。生成された2次元画像は、欠陥検出部108に入力され、欠陥の検出に供される。ラインセンサ104に代えてエリアセンサでパターンを撮像してもよい。
(被検査画像Obj及び参照画像Rf1,Rf2)
図2は、ガラス基板198の平面図である。図2に示すように、ガラス基板198は、8個のパネル196が切り出される8個取り用のマザー基板である。パネル196の各々には、水平方向及び垂直方向に規則的に配列された表示画素パターンが形成された画素アレイ領域194と、不規則に配列された配線パターンが形成された周辺回路領域192とがある。
画素アレイ領域194における欠陥の検出は、一の表示画素パターンを撮像した被検査画像Objと、当該一の表示画素パターンに隣接する他の表示画素パターンを撮像した参照画像Rf1,Rf2とを比較することにより行われる。
周辺回路領域192における欠陥の検出は、一のパネル196の配線パターンを撮像した被検査画像Objと、当該一のパネル196に隣接する他のパネル196の配線パターンを撮像した参照画像Rf1,Rf2とを比較することにより行われる。
このような被検査画像Obj及び参照画像Rf1,Rf2は、例示にすぎない。一般的には、欠陥の検出の対象となる被検査パターンを撮像した画像を被検査画像Obj、被検査パターンと同一であることが期待される参照パターンを撮像した画像を参照画像Rf1,Rf2としうる。
欠陥の検出の対象は、プリント基板、リードフレーム、半導体ウエハ、フォトマスク等に形成されたパターンであってもよい。
(欠陥検出部108の概略)
図3は、第1実施形態の欠陥検出部108のブロック図である。図3の各ブロックは、専用のハードウエアであってもよいし、コンピュータにプログラムを実行させることにより実現されてもよい。欠陥検出部108は、被検査パターンを撮像した1個の被検査画像Objと参照パターンを撮像した2個の参照画像Rf1,Rf2とを比較し被検査パターンに含まれる欠陥を検出する。
以下では、2個の参照画像Rf1,Rf2を区別する必要がある場合は、「第1の参照画像Rf1」及び「第2の参照画像Rf2」と称し、区別する必要がない場合は、単に「参照画像Rf」と称する。
図3に示すように、欠陥検出部108は、エッジ強度を算出するエッジ強度算出部110,112,114と、エッジの方向を角度で表現した特徴量を算出する特徴量算出部116,118,120と、2個のエッジ強度が条件を満たすか否かを判定するエッジ強度判定部124,126と、2個の特徴量の差の絶対値が特徴量差閾値を超える場合に画素を欠陥画素と判定する特徴量差判定部128,130とを備える。欠陥検出部108は、2個のエッジ強度が条件を満たすエッジ部において特徴量を比較し、2個の特徴量の差の絶対値が大きい場合に画素を欠陥を撮像した欠陥画素と判定する。
エッジの方向を角度で表現した特徴量は、パターンからの光に伴う干渉、製造プロセスの変動によるパターンそのものの細り・太り、パターンを撮像するときのフォーカスボケ・サンプリング誤差・振動等の影響を受けにくい。したがって、2個の特徴量の差の絶対値が大きい場合に画素を欠陥画素と判定すれば、欠陥に起因しない濃度値の差を欠陥として検出しないので、欠陥を誤って検出することが少ない。
一方、特徴量は、パターンに含まれる欠陥の影響を受けやすい。したがって、2個の特徴量の差の絶対値が大きい場合に画素を欠陥画素と判定すれば、欠陥が確実に検出される。
欠陥検出部108は、画像を平滑化する平滑化部132,134,136と、2個の参照画像の両方について画素が欠陥画素と判定された場合に画素を欠陥画素と判定するAND(論理積)演算部138と、注目画素を含む判定対象範囲に含まれる欠陥画素の数がサイズフィルタ閾値を超える場合に注目画素を欠陥画素と判定するサイズフィルタ部140とをさらに備える。
(エッジ強度)
「エッジ強度」とは、濃度値の変化の大きさをあらわす数値であり、エッジ部で大きな値となり、フラット部で小さな値となる。したがって、エッジ強度I(x,y)がエッジ強度閾値THI1を超える場合は画素PX(x,y)がエッジ部に属し、エッジ強度閾値THI1を超えない場合は画素PX(x,y)がフラット部に属すると判定される。(x,y)は、画像における画素の座標を表す。
画素PX(x,y)におけるエッジ強度I(x,y)は、例えば、式(1)に示すように、画素PX(x,y)における水平方向(±x方向)のエッジ強度HI(x,y)及び垂直方向(±y方向)のエッジ強度VI(x,y)のうちの最大値(MAX)とする。
Figure 2010237018
水平方向のエッジ強度HI(x,y)は、例えば、式(2)に示すように、画素PX(x,y)の濃度値P(x,y)と画素PX(x,y)に水平方向両側に隣接する画素PX(x-1,y),PX(x+1,y)の濃度値P(x-1,y),P(x+1,y)の各々との差P(x-1,y)-P(x,y),P(x+1,y)-P(x,y)の絶対値(ABS)の和とする。
Figure 2010237018
同様に、垂直方向のエッジ強度VI(x,y)も、例えば、式(3)に示すように、画素PX(x,y)の濃度値P(x,y)と画素PX(x,y)に垂直方向両側に隣接する画素PX(x,y-1),PX(x,y+1)の濃度値P(x,y-1),P(x,y+1)の各々との差P(x,y-1)-P(x,y),P(x,y+1)-P(x,y)の絶対値の和とする。
Figure 2010237018
(エッジ強度算出部110,112,114)
被検査画像Obj用のエッジ強度算出部110は、被検査画像Objを構成する画素PXObj(x,y)におけるエッジ強度IObj(x,y)を算出し、第1の参照画像Rf1用のエッジ強度算出部112は、第1の参照画像Rf1を構成する画素PXRf1(x,y)におけるエッジ強度IRf1(x,y)を算出し、第2の参照画像Rf2用のエッジ強度算出部114は、第2の参照画像Rf2を構成する画素PXRf2(x,y)におけるエッジ強度IRf2(x,y)を算出する。
(特徴量)
第1実施形態の特徴量A(x,y)は、エッジ部でエッジの方向に応じて100〜190となり、フラット部で0となる。特徴量A(x,y)がエッジ部で100〜190となることは必須ではないが、フラット部での値(0)とエッジ部での下限値(100)との差(100-0=100)が、エッジ部での上限値(190)と下限値(100)との差(190-100=90)よりも大きいことが望ましい。これにより、エッジ部同士で特徴量A(x,y)を比較した場合よりもエッジ部とフラット部とで特徴量A(x,y)を比較した場合の方が特徴量A(x,y)の差が大きくなるので、欠陥が確実に検出される。
ただし、フラット部に属する画素にその旨を示すフラグを設定すれば、エッジ部で特徴量A(x,y)が0〜90となるようにしても、フラット部とエッジ部とが明確に区別され、欠陥が確実に検出される。
第1実施形態においては、画素PX(x,y)における特徴量A(x,y)は、式(4)に示すように、水平方向のエッジ強度HI(x,y)に対する垂直方向のエッジ強度VI(x,y)の比を引数とするアークタンジェントの0〜π/2の戻り値(角度)に180/πを乗じ、さらに100を加算した値とする。アークタンジェントの演算は、ハードウエア化が困難であるが、テーブル変換を利用すれば実装が簡略化される。
Figure 2010237018
(特徴量A(x,y)の算出の基礎となる範囲の拡大)
特徴量A(x,y)の算出の基礎となる範囲に含まれる画素の濃度値から算出した水平方向のエッジ強度HI(x,y)及び垂直方向のエッジ強度VI(x,y)のうちの最大値が閾値THI2を超える場合には、適切な特徴量A(x,y)が算出されるが、超えない場合には、適切な特徴量A(x,y)が算出されない。このため、超えない場合は、水平方向のエッジ強度HI(x,y)及び垂直方向のエッジ強度VI(x,y)のうちの最大値が閾値THI2を超え、適切な特徴量A(x,y)が得られるようになるまで、特徴量A(x,y)の算出の基礎となる範囲が拡大される。これにより、エッジが鋭い場合には狭い範囲に含まれる画素の濃度値から特徴量A(x,y)が精度良く算出され、エッジが鈍い場合には広い範囲に含まれる画素の濃度値から特徴量A(x,y)が感度良く算出される。
図4、図5及び図6は、特徴量A(x,y)の算出の基礎となる十字形の範囲の拡大を説明する図である。図4、図5及び図6は、それぞれ、画素PX(x,y)から水平方向両側及び垂直方向両側に1画素だけ広がる1番目に使用される範囲190、画素PX(x,y)から水平方向両側及び垂直方向両側に2画素だけ広がる2番目に使用される範囲188、画素PX(x,y)から水平方向両側及び垂直方向両側に3画素だけ広がる3番目に使用される範囲186を示している。特徴量A(x,y)の算出の基礎となる範囲が十字形であることは必須ではなく、他の形、例えば、正方形であってもよい。
また、式(5)式(6)及び式(7)は、それぞれ、特徴量A(x,y)の算出の基礎となる範囲を1番目に使用される範囲190、2番目に使用される範囲188及び3番目に使用される範囲186としたときの水平方向のエッジ強度HI(x,y)及び垂直方向のエッジ強度VI(x,y)の算出式を示す。特徴量A(x,y)は、式(5)式(6)及び式(7)により算出された水平方向のエッジ強度HI(x,y)及び垂直方向のエッジ強度VI(x,y)から式(4)により算出される。
Figure 2010237018
Figure 2010237018
Figure 2010237018
水平方向のエッジ強度HI(x,y)は、画素PX(x,y)の濃度値P(x,y)と算出の基礎となる範囲に含まれ画素PX(x,y)の水平方向両側にある画素PX(x-n,y),・・・,PX(x-1,y)及びPX(x+1,y),・・・,PX(x+n,y)の濃度値P(x-n,y),・・・,P(x-1,y)及びP(x+1,y),・・・,P(x+n,y)(n=1,2,3)の各々との差の絶対値の和である。垂直方向のエッジ強度VI(x,y)は、画素PX(x,y)の濃度値P(x,y)と算出の基礎となる範囲に含まれ画素PX(x,y)の垂直方向両側にある画素PX(x,y-n),・・・,PX(x,y-1)及びPX(x,y+1),・・・,PX(x,y+n)の濃度値P(x,y-n),・・・,P(x,y-1)及びP(x,y+1),・・・,P(x,y+n)の各々との差の絶対値の和である。
算出の基礎となる範囲を3番目に使用される範囲186まで拡大しても水平方向のエッジ強度HI(x,y)及び垂直方向のエッジ強度VI(x,y)のうちの最大値が閾値THI2を超えない場合は、画素PX(x,y)がフラット部に属すると判定され、特徴量A(x,y)は「0」となる。
算出の基礎となる範囲の拡大を、1番目に使用される範囲190から2番目に使用される範囲188へ、2番目に使用される範囲188から3番目に使用される範囲186へというように2段階で行うことは必須ではなく、1段階又は3段階以上で行ってもよい。
(特徴量算出部116,118,120)
被検査画像Obj用の特徴量算出部116は、被検査画像Objを構成する画素PXObj(x,y)における特徴量AObj(x,y)を算出し、第1の参照画像用Rf1の特徴量算出部118は、第1の参照画像Rf1を構成する画素PXRf1(x,y)における特徴量ARf1(x,y)を算出し、第2の参照画像用Rf2の特徴量算出部120は、第2の参照画像Rf2を構成する画素PXRf2(x,y)における特徴量ARf2(x,y)を算出する。
(エッジ強度判定部124,126)
被検査画像Objと第1の参照画像Rf1との比較用のエッジ強度判定部124は、被検査画像Obj用のエッジ強度算出部110により算出されたエッジ強度IObj(x,y)及び第1の参照画像Rf1用のエッジ強度算出部112により算出されたエッジ強度IRf1(x,y)が条件を満たすか否かを判定する。
同様に、被検査画像Objと第2の参照画像Rf2との比較用のエッジ強度判定部126は、被検査画像Obj用のエッジ強度算出部110により算出されたエッジ強度IObj(x,y)及び第2の参照画像Rf2用のエッジ強度算出部114により算出されたエッジ強度IRf2(x,y)が条件を満たすか否かを判定する。
第1実施形態においては、エッジ強度IObj(x,y)及びエッジ強度IRf1(x,y)が「条件を満たす」とは、エッジ強度IObj(x,y)及びエッジ強度IRf1(x,y)の少なくとも片方がエッジ閾値THI1を超え、画素PXObj(x,y)及び画素PXRf1(x,y)の少なくとも片方がエッジ部に属することをいう。
同様に、エッジ強度IObj(x,y)及びエッジ強度IRf2(x,y)が「条件を満たす」とは、エッジ強度IObj(x,y)及びエッジ強度IRf2(x,y)の少なくとも片方がエッジ閾値THI1を超え、画素PXObj(x,y)及び画素PXRf2(x,y)の少なくとも片方がエッジ部に属することをいう。
(特徴量差判定部128,130)
被検査画像Objと第1の参照画像Rf1との比較用の特徴量差判定部128は、被検査画像Objと第1の参照画像Rf1との比較用のエッジ強度判定部124により条件が満たされたと判定され、被検査画像Obj用の特徴量算出部116により算出された特徴量AObj(x,y)と第1の参照画像Rf1用の特徴量算出部118により算出された特徴量ARf1(x,y)との差の絶対値が特徴量差閾値THAを超え、被検査画像Objと第1の参照画像Rf1とでエッジ方向が異なる場合に、画素PXObj(x,y)を欠陥画素と判定する。
同様に、被検査画像Objと第2の参照画像Rf2との比較用の特徴量差判定部130は、被検査画像Objと第2の参照画像Rf2との比較用のエッジ強度判定部126により条件が満たされたと判定され、被検査画像Obj用の特徴量算出部116により算出された特徴量AObj(x,y)と第2の参照画像Rf2用の特徴量算出部120により算出された特徴量ARf2(x,y)との差の絶対値が特徴量差閾値THAを超え、被検査画像Objと第2の参照画像Rf2とでエッジ方向が異なる場合に、画素PXObj(x,y)を欠陥画素と判定する。
望ましくは、特徴量差判定部128,130は、被検査画像Objの画素PXObj(x,y)との比較の対象となる参照画像の画素PXRf(x,y)をゆすらせ範囲内でゆすらせる「ゆすらせ比較」を行う。すなわち、特徴量差判定部128,130は、1個の画素PXObj(x,y)における特徴量AObj(x,y)と、ゆすらせ(比較対象)範囲内にある9個の画素PXRf(x-1,y-1),PXRf(x-1,y),PXRf(x-1,y+1),PXRf(x,y-1),PXRf(x,y),PXRf(x,y+1),PXRf(x+1,y-1),PXRf(x+1,y),PXRf(x+1,y+1)における特徴量ARf(x-1,y-1),ARf(x-1,y),ARf(x-1,y+1),ARf(x,y-1),ARf(x,y),ARf(x,y+1),ARf(x+1,y-1),ARf(x+1,y),ARf(x+1,y+1)の各々との差の絶対値の最小値が特徴量差閾値THAを超える場合に画素PXObj(x,y)を欠陥画素と判定する。これにより、エッジの位置のわずかなずれを欠陥として検出することが減少するので、欠陥を誤って検出することがさらに少ない。
「ゆすらせ範囲」は、画素PXRf(x,y)から水平方向及び垂直方向に1画素だけ広がる正方形の範囲である。ただし、ゆすらせ範囲が正方形であることは必須ではなく、他の形、例えば、十字形であってもよい。また、「ゆすらせ範囲」に含まれる画素の数が9個であることも必須ではなく、2個以上であればよい。
(特徴量の差及びゆすらせ比較による欠陥の検出の利点)
図7及び図8は、特徴量の差による欠陥の検出の利点を説明する図である。図7及び図8は、それぞれ、被検査画像Obj及び参照画像Rfの一部を示すが、被検査画像Objでは左側領域184よりも右側領域182の方が明るくなっており、参照画像Rfでは右側領域178よりも左側領域180の方が明るくなっている。このような濃度値の逆転は、薄膜の膜厚・材質・積層された層の相互の関係等、照明光の光量・波長等の影響により、ガラス基板198に形成された薄膜のパターンからの光が複雑な干渉を伴うことにより起こる。
このような濃度値の逆転が起こると、従来の欠陥検出装置によれば、欠陥が存在しないにもかかわらず欠陥が誤って検出される。また、このような濃度値の反転に起因する欠陥の検出を避けるために閾値を大きくすると、欠陥が存在するにもかかわらず欠陥が検出されない場合がある。
しかし、このような濃度値の逆転が起こっても、特徴量AObj(x,y),ARf(x,y)の差の絶対値が閾値THAを超えるか否かに基づいて欠陥を検出する第1実施形態の欠陥検出装置102によれば、欠陥が存在しないにもかかわらず欠陥が誤って検出されることが少ない。
図9及び図10は、ゆすらせ比較による欠陥の検出の利点を説明する図である。図9及び図10も、それぞれ、被検査画像Obj及び参照画像Rfの一部を示すが、参照画像Rfのエッジ174よりも被検査画像Objのエッジ176の方が太くなっている。このようなエッジの肥大は、製造プロセスの変動によるパターンそのものの細り・太り、パターンを撮像するときのフォーカスボケ・サンプリング誤差・振動等の影響を受けることにより起こる。
このようなエッジの肥大が起こると、従来の欠陥検出装置によれば、欠陥が存在しないにもかかわらず欠陥が誤って検出される。また、このようなエッジの肥大に起因する欠陥の検出を避けるために閾値を大きくすると、欠陥が存在するにもかかわらず欠陥が検出されない場合がある。
しかし、このようなエッジの肥大が起こっても、ゆすらせ比較を行う第1実施形態の欠陥検出装置102によれば、欠陥が存在しないにもかかわらず欠陥が誤って検出されることが少ない。
(平滑化部132,134,136)
被検査画像Obj用の平滑化部132は、被検査画像Objを平滑化し、第1の参照画像Rf1用の平滑化部134は、第1の参照画像Rf1を平滑化し、第2の参照画像Rf2用の平滑化部136は、第2の参照画像Rf2を平滑化する。
エッジ強度IObj(x,y),IRf1(x,y),IRf2(x,y)及び特徴量AObj(x,y),ARf1(x,y),ARf2(x,y)の算出に先立って被検査画像Obj、第1の参照画像Rf1及び第2の参照画像を平滑化することにより、被検査画像Obj、第1の参照画像Rf1及び第2の参照画像Rf2に含まれるノイズが減少するので、エッジ部とフラット部との分離度が向上する。これにより、欠陥を誤って検出することが少ない。
図11は、平滑化に用いる3×3の平滑化フィルタを示す図である。平滑化フィルタは、重み付けが一様な平均値フィルタであってもよいし、中心から離れると重み付けが軽くなる重み付け平滑化フィルタであってもよい。エッジを保存するエッジ保存フィルタも好適に用いられる。
(AND演算部138)
AND演算部138は、被検査画像Objと第1の参照画像Rf1との比較用の特徴量差判定部128により画素PXObj(x,y)が欠陥画素と判定され、かつ、被検査画像Objと第2の参照画像Rf2との比較用の特徴量差判定部130により画素PXObj(x,y)が欠陥画素と判定された場合に、画素PXObj(x,y)を欠陥画素と判定する。このように2個以上の参照画像との比較の結果として画素PXObj(x,y)が欠陥画素と判定された場合に画素PXObj(x,y)を欠陥画素と判定するようにすれば、一の参照パターンに欠陥が含まれても他の参照パターンに欠陥が含まれなければ、一の参照パターンに含まれる欠陥に起因して欠陥を検出することがないので、欠陥を誤って検出することがさらに少ない。なお、この2個以上の参照画像との比較の結果として画素PXObj(x,y)が欠陥画素と判定された場合に、画素PXObj(x,y)を欠陥画素とする判定には、例えば、特徴量差判定部を3個以上設け、3個以上の全ての特徴量差判定部により画素PXObj(x,y)が欠陥画素と判定された場合に、画素PXObj(x,y)を欠陥画素とする判定や、3個以上の特徴量差判定部のうち2個の特徴量差判定部により画素PXObj(x,y)が欠陥画素と判定された場合に、画素PXObj(x,y)を欠陥画素とする判定も含まれる。
(サイズフィルタ部140)
サイズフィルタ部140は、画素PXObj(x,y)を含む判定対象範囲に含まれる欠陥画素の数が閾値以上である場合に画素PXObj(x,y)を欠陥画素と判定する。これにより、ノイズの影響を受けにくくなるので、欠陥を誤って検出することがさらに少ない。
<第2実施形態>
第2実施形態は、第1実施形態のエッジ強度判定部124,126及び特徴量差判定部128,130に代えて判定のための処理を行うエッジ強度判定部224,226、特徴量差判定部228,230及びエッジ強度差判定部242,244に関する。
図12は、第1実施形態のエッジ強度判定部124,126及び特徴量差判定部128,130に代わる部分のブロック図である。
(エッジ強度判定部224,226)
被検査画像Objと第1の参照画像Rf1との比較用のエッジ強度判定部224も、第1実施形態のエッジ強度判定部124と同様に、エッジ強度IObj(x,y)及びエッジ強度IRf1(x,y)が条件を満たすか否かを判定する。
同様に、被検査画像Objと第2の参照画像Rf2との比較用のエッジ強度判定部226も、第1実施形態のエッジ強度判定部116と同様に、エッジ強度IObj(x,y)及びエッジ強度IRf2(x,y)が条件を満たすか否かを判定する。
第2実施形態においては、エッジ強度IObj(x,y)及びエッジ強度IRf1(x,y)が「条件を満たす」とは、エッジ強度IObj(x,y)及びエッジ強度IRf1(x,y)の両方がエッジ閾値THI1を超え、画素PXObj(x,y)及び画素PXRf1(x,y)の両方がエッジ部に属することをいう。
同様に、エッジ強度IObj(x,y)及びエッジ強度IRf2(x,y)が「条件を満たす」とは、エッジ強度IObj(x,y)及びエッジ強度IRf2(x,y)の両方がエッジ閾値THI1を超え、画素PXObj(x,y)及び画素PXRf2(x,y)の両方がエッジ部に属することをいう。
(特徴量差判定部228,230)
被検査画像Objと第1の参照画像Rf1との比較用の特徴量差判定部228も、第1実施形態の特徴量差判定部128と同様に、エッジ強度判定部224により条件が満たされたと判定され、特徴量IObj(x,y)と特徴量IRf1(x,y)との差の絶対値が特徴量差閾値THAを超える場合に、画素PXObj(x,y)を欠陥画素と判定する。
同様に、被検査画像Objと第2の参照画像Rf2との比較用の特徴量判定部230も、第1実施形態の特徴量差判定部130と同様に、エッジ強度判定部226により条件が満たされたと判定され、特徴量IObj(x,y)と特徴量IRf2(x,y)との差の絶対値が特徴量閾値THAを超える場合に、画素PXObj(x,y)を欠陥画素と判定する。
特徴量差判定部228,230が「ゆすらせ比較」を行うことが望ましいことも、第1実施形態の場合と同様である。
(エッジ強度差判定部242,244)
被検査画像Objと第1の参照画像Rf1との比較用のエッジ強度差判定部242は、エッジ強度判定部224により条件が満たされなかったと判定された場合に、被検査画像Objの画素PXObj(x,y)と比較される参照画像Rf1の画素PXRf1(x,y)をゆすらせ範囲内でゆすらせる「ゆすらせ比較」を行う。
同様に、被検査画像Objと第2の参照画像Rf2との比較用のエッジ強度差判定部244は、エッジ強度判定部226により条件が満たされなかったと判定された場合に、被検査画像Objの画素PXObj(x,y)と比較される参照画像の画素PXRf2(x,y)をゆすらせ範囲内でゆすらせる「ゆすらせ比較」を行う。
すなわち、エッジ強度差判定部242,244は、1個の画素PXObj(x,y)におけるエッジ強度IObj(x,y)と、ゆすらせ範囲内にある9個の画素PXRf(x-1,y-1),PXRf(x-1,y),PXRf(x-1,y+1),PXRf(x,y-1),PXRf(x,y),PXRf(x,y+1),PXRf(x+1,y-1),PXRf(x+1,y),PXRf(x+1,y+1)におけるエッジ強度IRf(x-1,y-1),IRf(x-1,y),IRf(x-1,y+1),IRf(x,y-1),IRf(x,y),IRf(x,y+1),IRf(x+1,y-1),IRf(x+1,y),IRf(x+1,y+1)の各々との差の絶対値の最小値がエッジ強度差閾値THI3を超える場合に画素PXObj(x,y)を欠陥画素と判定する。これにより、画素PXObj(x,y),PXRf(x,y)の片方がエッジ部に属する場合の欠陥の検出の感度がエッジ強度差閾値THI3により調整されるので、欠陥が適切に検出される。
<第3実施形態>
第3実施形態は、第1実施形態の特徴量に代えて採用される特徴量に関する。
図13は、第3実施形態の特徴量を説明する図である。
第3実施形態においては、図13に示すように、式(8)により算出される相関係数が最も高い形状カーネルを複数の形状カーネルの中から特定し、特定した形状カーネルに割り当てられている値を特徴量A(x,y)とする。
Figure 2010237018
このように得られる特徴量A(x,y)も、パターンからの光に伴う干渉、製造プロセスの変動によるパターンそのものの細り・太り、パターンを撮像するときのフォーカスボケ・サンプリング誤差・振動等の影響を受けにくい。このため、欠陥を誤って検出することを減少させるのに寄与する。
<その他>
この発明は詳細に説明されたが、上述の説明は、すべての局面において例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得る。
102 欠陥検出装置
108 欠陥検出部
110,112,114,224,226 エッジ強度算出部
116,118,120 特徴量算出部
124,126 エッジ強度判定部
128,130,228,230 特徴量差判定部
132,134,136 平滑化部
138 AND演算部
140 サイズフィルタ部
242,244 エッジ強度差判定部

Claims (10)

  1. 第1のパターンを撮像した第1の画像と第2のパターンを撮像した第2の画像とを比較し第1のパターンに含まれる欠陥を検出する欠陥検出装置であって、
    第1の画像を構成する第1の画素におけるエッジ強度を算出する第1のエッジ強度算出部と、
    第2の画像を構成する第2の画素におけるエッジ強度を算出する第2のエッジ強度算出部と、
    第1の画像を構成する第1の画素におけるエッジの方向を角度で表現した特徴量を算出する第1の特徴量算出部と、
    第2の画像を構成する第2の画素におけるエッジの方向を角度で表現した特徴量を算出する第2の特徴量算出部と、
    前記第1のエッジ強度算出部により算出されたエッジ強度及び前記第2のエッジ強度算出部により算出されたエッジ強度が条件を満たすか否かを判定するエッジ強度判定部と、
    前記エッジ強度判定部により条件が満たされたと判定され、前記第1の特徴量算出部により算出された特徴量と前記第2の特徴量算出部により算出された特徴量との差の絶対値が閾値を超える場合に第1の画素を欠陥を撮像した欠陥画素と判定する特徴量差判定部と、
    を備える欠陥検出装置。
  2. 請求項1の欠陥検出装置において、
    前記エッジ強度判定部は、前記第1のエッジ強度算出部により算出されたエッジ強度及び前記第2のエッジ強度算出部により算出されたエッジ強度の少なくとも片方が閾値を超える場合に条件を満たすと判定し、
    前記特徴量差判定部は、前記第1の特徴量算出部により算出された1個の第1の画素における特徴量と前記第2の特徴量算出部により算出された比較対象範囲内にある2個以上の第2の画素の各々における特徴量との差の絶対値の最小値が閾値を超える場合に第1の画素を欠陥画素と判定する、
    欠陥検出装置。
  3. 請求項1の欠陥検出装置において、
    前記エッジ強度判定部は、前記第1のエッジ強度算出部により算出されたエッジ強度及び前記第2のエッジ強度算出部により算出されたエッジ強度の両方が閾値を超える場合に条件を満たすと判定し、
    前記特徴量差判定部は、前記第1の特徴量算出部により算出された1個の第1の画素における特徴量と前記第2の特徴量算出部により算出された比較対象範囲内にある2個以上の第2の画素の各々における特徴量との差の絶対値の最小値が閾値を超える場合に第1の画素を欠陥画素と判定し、
    前記エッジ強度判定部により条件が満たされなかったと判定され、前記第1のエッジ強度算出部により算出された1個の第1の画素におけるエッジ強度と前記第2のエッジ強度算出部により算出された比較対象範囲内にある2個以上の第2の画素の各々におけるエッジ強度との差の絶対値の最小値が閾値を超える場合に第1の画素を欠陥画素と判定するエッジ強度差判定部、
    をさらに備える欠陥検出装置。
  4. 請求項1ないし請求項3のいずれかの欠陥検出装置において、
    2個以上の第2の画像との比較の結果として第1の画素が欠陥画素と判定された場合に第1の画素を欠陥画素と判定する論理積演算部、
    をさらに備える欠陥検出装置。
  5. 請求項1ないし請求項4のいずれかの欠陥検出装置において、
    注目画素を含む判定対象範囲に含まれる欠陥画素の数が閾値を超える場合に注目画素を欠陥画素と判定するサイズフィルタ部、
    をさらに備える欠陥検出装置。
  6. 請求項1ないし請求項5のいずれかの欠陥検出装置において、
    エッジ強度及び特徴量の算出に先立って第1の画像を平滑化する第1の平滑化部と、
    エッジ強度及び特徴量の算出に先立って第2の画像を平滑化する第2の平滑化部と、
    をさらに備える欠陥検出装置。
  7. 請求項1ないし請求項6のいずれかの欠陥検出装置において、
    前記第1の特徴量算出部及び前記第2の特徴量算出部は、特徴量の算出の基礎となる範囲に含まれる画素の濃度値から算出したエッジ強度が閾値を超えない場合に特徴量の算出の基礎となる範囲を拡大する、
    欠陥検出装置。
  8. 請求項1ないし請求項7のいずれかの欠陥検出装置において、
    前記第1の特徴量算出部及び前記第2の特徴量算出部は、水平方向のエッジ強度に対する垂直方向のエッジ強度の比を引数とするアークタンジェントの戻り値に基づいて特徴量を算出する、
    欠陥検出装置。
  9. 請求項1ないし請求項7のいずれかの欠陥検出装置において、
    前記第1の特徴量算出部及び前記第2の特徴量算出部は、相関係数が最も高い形状カーネルを複数の形状カーネルの中から特定し、特定した形状カーネルに割り当てられている値を特徴量とする、
    欠陥検出装置。
  10. 第1のパターンを撮像した第1の画像と第2のパターンを撮像した第2の画像とを比較し第1のパターンに含まれる欠陥を検出する欠陥検出方法であって、
    (a) 第1の画像を構成する第1の画素におけるエッジ強度を算出する工程と、
    (b) 第2の画像を構成する第2の画素におけるエッジ強度を算出する工程と、
    (c) 第1の画像を構成する第1の画素におけるエッジの方向を角度で表現した特徴量を算出する工程と、
    (d) 第2の画像を構成する第2の画素におけるエッジの方向を角度で表現した特徴量を算出する工程と、
    (e) 前記工程(a)により算出されたエッジ強度及び前記工程(b)により算出されたエッジ強度が条件を満たすか否かを判定する工程と、
    (f) 前記工程(e)により条件が満たされたと判定され、前記工程(c)により算出された特徴量と前記工程(d)により算出された特徴量との差の絶対値が閾値を超える場合に第1の画素を欠陥を撮像した欠陥画素と判定する工程と、
    を備える欠陥検出方法。
JP2009085016A 2009-03-31 2009-03-31 欠陥検出装置及び欠陥検出方法 Expired - Fee Related JP5511212B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009085016A JP5511212B2 (ja) 2009-03-31 2009-03-31 欠陥検出装置及び欠陥検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009085016A JP5511212B2 (ja) 2009-03-31 2009-03-31 欠陥検出装置及び欠陥検出方法

Publications (2)

Publication Number Publication Date
JP2010237018A true JP2010237018A (ja) 2010-10-21
JP5511212B2 JP5511212B2 (ja) 2014-06-04

Family

ID=43091471

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009085016A Expired - Fee Related JP5511212B2 (ja) 2009-03-31 2009-03-31 欠陥検出装置及び欠陥検出方法

Country Status (1)

Country Link
JP (1) JP5511212B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237270B2 (en) 2010-05-05 2016-01-12 Hiok Nam Tay Auto-focus image system
US9251571B2 (en) 2009-12-07 2016-02-02 Hiok Nam Tay Auto-focus image system
US9258555B2 (en) 2012-08-29 2016-02-09 Hanwha Techwin Co., Ltd. Apparatus and method for determining defect pixel
CN113938571A (zh) * 2020-07-14 2022-01-14 佳能株式会社 图像处理装置、控制方法和存储介质
CN116843615A (zh) * 2023-05-16 2023-10-03 西安邮电大学 一种基于柔性光路的引线框架智能全检方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01161137A (ja) * 1987-12-16 1989-06-23 Fujitsu Ltd 認識装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01161137A (ja) * 1987-12-16 1989-06-23 Fujitsu Ltd 認識装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9251571B2 (en) 2009-12-07 2016-02-02 Hiok Nam Tay Auto-focus image system
US9734562B2 (en) 2009-12-07 2017-08-15 Hiok Nam Tay Auto-focus image system
US9237270B2 (en) 2010-05-05 2016-01-12 Hiok Nam Tay Auto-focus image system
US9258555B2 (en) 2012-08-29 2016-02-09 Hanwha Techwin Co., Ltd. Apparatus and method for determining defect pixel
CN113938571A (zh) * 2020-07-14 2022-01-14 佳能株式会社 图像处理装置、控制方法和存储介质
US20220021779A1 (en) * 2020-07-14 2022-01-20 Canon Kabushiki Kaisha Image processing apparatus, control method, and storage medium
US11991325B2 (en) * 2020-07-14 2024-05-21 Canon Kabushiki Kaisha Image processing apparatus, control method, and storage medium to detect a sheet edge based on marks printed on an adjustment chart and acquired regions of interest images
CN116843615A (zh) * 2023-05-16 2023-10-03 西安邮电大学 一种基于柔性光路的引线框架智能全检方法
CN116843615B (zh) * 2023-05-16 2024-04-12 西安邮电大学 一种基于柔性光路的引线框架智能全检方法

Also Published As

Publication number Publication date
JP5511212B2 (ja) 2014-06-04

Similar Documents

Publication Publication Date Title
JP3435684B2 (ja) 画像情報処理装置
JP5511212B2 (ja) 欠陥検出装置及び欠陥検出方法
US20050007364A1 (en) Method for sorting ununiformity of liquid crystal display panel sorting apparatus, and information recorded medium with recorded program for executing this sorting
JP2008175549A (ja) 欠陥検出装置および欠陥検出方法
JP5442305B2 (ja) 欠陥検出装置及び欠陥検出方法
WO2014034526A1 (ja) 欠陥検査装置および欠陥検査方法
KR20090008185A (ko) 표면 검사 장치
JP2010181328A (ja) 太陽電池ウェハ表面の検査装置,太陽電池ウェハ表面の検査用プログラム,太陽電池ウェハ表面の検査方法
JP4479877B2 (ja) 画像認識による不良検査方法
JP6191623B2 (ja) 画像生成装置、欠陥検査装置および欠陥検査方法
JP4353479B2 (ja) ムラ検査装置、ムラ検査方法、および、濃淡ムラをコンピュータに検査させるプログラム
JP6104745B2 (ja) 穴検査装置
JP2008249413A (ja) 欠陥検出方法および装置
JP5642605B2 (ja) 検査装置、プログラム及び画像の位置合わせ方法
JP2008014831A (ja) エッジ欠陥検出方法、及び検出装置
JP4403036B2 (ja) 疵検出方法及び装置
JP5346304B2 (ja) 外観検査装置、外観検査システムおよび外観検査方法
JP2009145161A (ja) 欠陥検出方法および欠陥検出装置
JP2008145192A (ja) 検査装置、検査方法、および検査用情報登録方法
JP4434116B2 (ja) 金属箔張り積層板の検査方法
JP2007101239A (ja) 外観検査装置及び外観検査方法
JP2000146857A (ja) パターン欠陥検査方法及びその装置
JP4389568B2 (ja) 欠陥検査装置
JP2005303705A (ja) 画像処理装置および方法
JP2010243214A (ja) 欠陥検出方法および欠陥検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130911

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131226

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140325

R150 Certificate of patent or registration of utility model

Ref document number: 5511212

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees