JP2007093304A - 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体 - Google Patents

欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体 Download PDF

Info

Publication number
JP2007093304A
JP2007093304A JP2005280888A JP2005280888A JP2007093304A JP 2007093304 A JP2007093304 A JP 2007093304A JP 2005280888 A JP2005280888 A JP 2005280888A JP 2005280888 A JP2005280888 A JP 2005280888A JP 2007093304 A JP2007093304 A JP 2007093304A
Authority
JP
Japan
Prior art keywords
defect
image
defect detection
block
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005280888A
Other languages
English (en)
Other versions
JP4657869B2 (ja
Inventor
Toshimasa Kuchii
敏匡 口井
Hideyuki Ichihara
英行 市原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2005280888A priority Critical patent/JP4657869B2/ja
Priority to US11/526,780 priority patent/US7783103B2/en
Priority to TW095135589A priority patent/TWI351654B/zh
Priority to CN200610141619XA priority patent/CN1940994B/zh
Publication of JP2007093304A publication Critical patent/JP2007093304A/ja
Application granted granted Critical
Publication of JP4657869B2 publication Critical patent/JP4657869B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】デジタル画像における欠陥領域の有無を、短時間かつコンパクトな回路構成で判定する。
【解決手段】欠陥領域を検出する対象となる被検査画像を、複数のブロックに分割するブロック分割部5と、ブロック分割部5により分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値を算出するブロック加算値算出部6と、ブロック加算値の外れ値があるかを統計的処理により判定することで欠陥領域の有無を判定する統計処理部7および良否判定部8とを備えている。
【選択図】図1

Description

本発明は、デジタル画像における欠陥領域の有無を短時間で判定できるとともに、コンパクトな回路構成で実現できる欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体に関する。
デジタル画像の品質を検査する際、画素データが不均一に変化する領域である欠陥領域の有無を判定することは非常に重要である。特に近年では、デジタルスチルカメラやカメラ内蔵携帯電話など、イメージセンサデバイスの需要の裾野が広がっている。それに伴い、イメージセンサデバイスの高品質化が大きく求められており、イメージセンサデバイスから得られるデジタル画像(イメージセンサ画像)に発生する欠陥領域として、シミ欠陥・ムラ欠陥を検査工程において検出することへの要求が高まっている。
つまり、イメージセンサデバイスは良品であっても、画素座標に対して画素データ(画素値)が緩やかに変化しているシェーディングという成分と、ノイズ成分とによって、画像データが一定値となることはない。特に、イメージセンサ画像において点欠陥や、シミ欠陥・ムラ欠陥が存在すると、それぞれの欠陥に応じて画素データが複雑に変化する。このような観点から、シミ欠陥・ムラ欠陥を検査する必要がある。
さらに、イメージセンサデバイスの画素数が増加しているにも関わらず、携帯電話など製品サイクルが短いものに対しては、デバイス納期が短くなっているため、検査時間の短縮化が強く求められている。
従来、イメージセンサ画像のシミ欠陥・ムラ欠陥の検査は検査員の目視により行われているが、検査員の主観的判断に頼った検査となるため、検査員間の検査基準のばらつきや、検査時の体調により、検査結果が一定にならないといった問題や、シミ欠陥・ムラ欠陥の定量化が難しいという問題がある。そこで近年は、シミ欠陥・ムラ欠陥を定量化し、それらを検出する検査装置が開発されており自動化も進み始めている。
ここで、「シミ欠陥」「ムラ欠陥」の意味について説明しておく。さらに、イメージセンサ画像に発生する「点欠陥」についても説明する。
「点欠陥」とは、イメージセンサ画像における1つの画素データが、その周囲の画素データに比べて、著しく大きな差があり突出した値となる状態を意味する。また、「シミ欠陥」とは、ある領域における複数の画素データのそれぞれが、周囲の画素データに対して、点欠陥における差分よりも小さな差がある状態を意味する。さらに、「ムラ欠陥」とは、シミ欠陥の画素よりもさらに画素データ差が小さい複数の画素が、シミ欠陥よりも広い領域に集まった状態を意味する。
上述の「点欠陥」、「シミ欠陥」、および「ムラ欠陥」を模式的に示したものが図21である。図21に示すように、被検査画像100内においては、点欠陥110が面積の小さな部分として発生し、シミ欠陥120の面積がやや大きな部分として発生し、ムラ欠陥130が面積の大きな部分として発生している。なお、「被検査画像」とは、シミ欠陥やムラ欠陥を検出するために取得されるイメージセンサ画像のサンプルを意味する。
次に、「シェーディング」の意味について説明する。「シェーディング」とは、ムラ欠陥よりも更に広い領域で画素データが緩やかに変化し、イメージセンサ画像の上下左右の終端部分に向かって画素データが小さくなっていく状態を意味する。シェーディングは、画像中央の画素に対して、画像端の画素の感度低下が原因で発生するものである。
たとえば、被検査画像100が図22に示すように得られており、この被検査画像100内に、シミ欠陥120が発生しているといる。このとき、図22に示すように、シェーディング140は、被検査画像100の上下左右の終端部分に向かって画素データが小さくなっていく部分として発生する。
ところで、上述したとおり、近年は、シミ欠陥・ムラ欠陥を定量化し、それらを検出する検査装置が開発されており自動化も進み始めている。その技術の一例として、下記非特許文献1に記載された技術をあげることができる。
非特許文献1に記載された技術は、図23のフローチャートに示すように、大別すると欠陥顕在化処理(ステップ100、以下単にステップを「S」と記載する)、および欠陥領域抽出処理(S200)の2工程からなる。なお、図23のフローによりシミ欠陥やムラ欠陥が判定される被検査画像は、輝度変化および色変化のない白色光あるいは単色光を、イメージセンサデバイスに照射することにより得られた画像である。
欠陥顕在化処理(S100)は、被検査画像におけるシミ欠陥・ムラ欠陥を顕在化させるため、シェーディング成分、ノイズ成分、および点欠陥成分の除去のフィルタを用いる処理である。具体的に説明すると、欠陥顕在化処理は、図23に示すように、画像縮小処理(S110)と、シェーディング補正処理(S120)と、平滑化フィルタを用いるノイズ除去処理(S130)、点欠陥除去フィルタを用いる点欠陥除去処理(S140)と、ラプラシアンフィルタを用いるエッジ検出処理(S150)とからなる。これらの欠陥顕在化処理(S100)を構成する各処理の詳細については、後述する。
欠陥領域抽出処理(S200)は、画素データを2値化する処理(S210)と、S210で2値化された被検査画像に対して凹凸ノイズ除去を行う処理(S220)と、欠陥領域の候補に識別番号を付ける処理(S230、ラベリング処理ともいう)と、S230で識別番号が付与されたすべての箇所に対して特徴量(シミ面積やコントラスト、輝度勾配など)を計算する処理(S240)と、S240で計算された特徴量に基づき、欠陥候補の良否判定を行う処理(S250)とからなる。これらの欠陥領域抽出処理(S200)を構成する各処理の詳細については、後述する。
次に、上述した欠陥顕在化処理(S100)および欠陥領域抽出処理(S200)を構成する各処理の詳細を、順番に説明する。
画像縮小処理(S110)は、画像の縦横サイズを小さくする処理である。これにより、被検査画像のデータ量が削減されるとともに、シミ欠陥・ムラ欠陥を強調させることができる。
シェーディング補正処理(S120)は、シェーディング成分を被検査画像から除去するために、シェーディングによる画素データの低下を、各画素データを加工することによって補正する処理である。シェーディング補正処理は、たとえば、注目画素を中心とする3×3画素のマトリクス内に存在する9画素について、画素データの平均値を求め、注目画素の画素データを当該平均値で除算した値を注目画素の画素データとすることで行われる。
ノイズ除去処理(S130)は、たとえば平滑化フィルタを用いることで被検査画像のノイズを除去する処理である。ここで、平滑化フィルタとは、画像の高周波成分がカットされノイズを除去することができるフィルタを意味する。たとえば、図24(a)に示すように、注目画素を中心とした3×3領域の9個の画素データの平均値を求め、該平均値を注目画素の画素データとするフィルタが、平滑化フィルタに相当する。
点欠陥除去処理(S140)は、点欠陥除去フィルタを用いて、被検査画像における点欠陥を除去する処理を意味する。ここで、点欠陥除去フィルタとは、たとえば、注目画素を中心とする3×3領域の9個の画素について、画素データの中央値、最大値、最小値を求め、注目画素の画素データが最大値(最小値)なら、注目画素の画素データを中央値に置き換えるフィルタを意味する。
エッジ検出処理(S150)は、たとえばラプラシアンフィルタを用いてシミ欠陥・ムラ欠陥のエッジを顕在化する処理である。ここで、ラプラシアンフィルタとは、画像の濃淡変化のエッジを抽出するためのフィルタである。すなわち、図24(b)に示すように、注目画素の画素データを4倍した値から、上下左右の画素(4近傍の画素)の画素データを引き、それを注目画素の画素データとするフィルタが、ラプラシアンフィルタに相当する。
なお、図24(a)および図24(b)に示したフィルタに用いられる演算式を、図25に示す。一般にフィルタ処理を行う場合、処理可能な画像の範囲を考慮することが必要である。例えばサイズが3×3のフィルタは、隣り合う画素が存在しない画像端の画素については処理することができないので、各画素を走査するためのループの初期値と最終値に注意が必要となる。
2値化処理(S210)は、被検査画像の画素データを、所定の閾値と大小判断して「0」または「1」の2値データに変換する処理である。その目的は、情報量減少と、幾何学的な形状抽出・面積計算を容易にすることにある。なお、2値データが「1」または「0」のいずれであるのかを判断するための閾値は、画像全面について一定値、あるいは領域毎に設定する。
そして、S210の2値化処理で2値化された被検査画像の凹凸ノイズが、S220のノイズ除去処理で除去される。当該ノイズ除去処理は、膨張・収縮処理や孤立点除去などで行われる。
ここで、膨張・収縮処理について説明する。膨張・収縮処理とは、2値画像において、注目図形の周囲に存在する微小な凹凸のノイズを消去するための画像処理方法である。特に、膨張処理においては、注目画素の近傍に存在する画素(近傍画素)のうち、1つでも画素データが「1」の画素があれば、注目画素の画素データを「1」とする。また、収縮処理においては、近傍画素のうち1つでも画素データが「0」の画素があれば、その注目画素の画素データを「0」とする。なお、膨張処理および収縮処理は、組み合わせて使用されることが多い。膨張処理→収縮処理という過程により、図形中の小さな凹ノイズが消去され、収縮処理→膨張処理という過程により、小さな凸ノイズが消去される。
図26を用いて、膨張・収縮処理により、2値化処理後の被検査画像150からノイズが除去されるまでの過程について説明する。まず、被検査画像150において、3つのノイズ画素151が存在するとする。このノイズ画素151は、被検査画像150に対して収縮処理を施した被検査画像152に対して、さらに膨張処理を施して被検査画像153とする過程において、除去される。なお、図26においては、画素データが「1」の画素を白抜きされた四角で示しており、画素データが「0」の画素を網掛けされた四角で示している。
また、孤立点除去処理とは、たとえば、2値画像において、注目画素の画素データが0(1)でその周辺の8画素の画素データが1(0)の場合、その注目画素の画素データを周辺8画素の画素データと置き換える処理を意味する。
次に、S230のラベリング処理について説明する。ラベリング処理とは、画像中の連続した図形をグループ分けし、識別番号付けする処理を意味する。ラベリング処理は、通常、画像の全画素をスキャンしながら、各画素の連結状態を判断しつつ、各画素にラベル番号付けすることで行われる。なお、ラベリング処理においては、別グループの属するものとスキャン初期に判断された図形が、スキャン後に連続した1つの図形であると判明することがあるので、ラベリング処理は通常逐次型で行う必要がある。
たとえば、図27に示すように、被検査画像160の画素データが設定されていたとする。この場合、被検査画像160内には、画素データ「1」が連続する部分として、図形161・162・163という3つの図形が存在する。この被検査画像160に対してラベリング処理を行うと、図27に示すように、図形161・162・163のそれぞれに対して、識別番号a・b・cのいずれかが付与される。
上述のラベリング処理が終了したら、識別番号が付与されたすべての箇所に対して特徴量(シミ面積やコントラスト、輝度勾配など)が計算され(S240)、S240で計算された特徴量に基づき、欠陥候補の良否判定が行われる(S250)。
たとえば図27に示すように被検査画像に対してラベリング処理が行われたら、図形161・162・163が欠陥候補となる。この欠陥候補のそれぞれに対して、S240では特徴量を計算する。たとえば、特徴量としてのシミ面積は、画素データがが「1」の画素数を数えることで求められる。
フラットパネルディスプレイの画質検査アルゴリズム(横河技法Vol.47 No.3,2003)
しかしながら、上記非特許文献1に記載された従来技術では、イメージセンサ画像の画素数が大きくなるに従って、シミ欠陥・ムラ欠陥を顕在化させる複数回のフィルタ処理、識別番号付け処理の時間が膨大になり、その結果、イメージセンサデバイスのテスト時間が長大になるという課題がある。
さらに、良否判定のための特徴量であるコントラストや輝度勾配などを計算するために、原画像あるいは縮小画像が必要となり、それを記憶しておくメモリのために回路構成が大きくなってしまうという課題がある。
また、回路構成が大きくなってしまうという課題は、以下の原因によっても生じる。すなわち、従来技術では、シミ欠陥・ムラ欠陥を検出するために、複数回のフィルタ処理を行っている。したがって、イメージセンサデバイスやイメージセンサモジュール内部のDSP部、または画像処理専用装置としてのハードウェアに、従来の画像処理方法を実装すると、ハードウェアの回路構成が大きくなってしまう。
上述した2つの課題、すなわち(1)イメージセンサデバイスのテスト時間が長大になる、(2)回路構成が大きくなるという課題は、非特許文献1に記載された従来技術をイメージセンサ画像の検査に適用した場合に限らず、一般的なデジタル画像に欠陥領域があるか検査するために用いる場合にも発生する。つまり、非特許文献1に記載された従来技術を用いて、一般的なデジタル画像に欠陥領域があるか否かを検査すると、(1)欠陥領域の有無の判定時間が長くなる、(2)回路構成が大きくなるという2つの課題が発生する。
本発明は、上記従来技術の問題点に鑑みなされたものであって、デジタル画像における欠陥領域の有無を短時間で判定できるとともに、コンパクトな回路構成で実現できる欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体を提供することを目的とする。
本発明の欠陥検出装置は、上記従来の課題を解決するため、自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出装置であって、上記欠陥領域を検出する対象となる被検査画像を、複数のブロックに分割するブロック分割手段と、上記ブロック分割手段により分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値を算出するブロック加算値算出手段とを備え、上記ブロック加算値の外れ値があるかを統計的処理により判定することで上記欠陥領域の有無を判定する欠陥領域有無判定手段に対して、上記ブロック加算値を出力することを特徴としている。
上記構成によれば、ブロック分割手段により分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値に基づいて、欠陥領域の有無が欠陥領域有無判定手段における統計的処理により判定される。
ここで、「欠陥領域」とは、イメージセンサデバイスから得られるデジタル画像や、液晶表示装置等のデジタル画像表示装置に表示されるデジタル画像に発生する、シミ欠陥やムラ欠陥が相当する。また、「統計的処理」とは、一般的な統計解析における外れ値検定処理を意味する。
そして、本発明では、ブロック分割を行うことにより、欠陥領域の有無を判定するために必要なデータ量を削減することができるので、欠陥領域の有無の判定を短時間で行うことができる。
また、欠陥領域の有無を判定するために欠陥領域有無判定手段が用いるブロック加算値は、被検査画像やその縮小画像をメモリに記憶しておくことなく求められるものである。よって、本発明の欠陥検出装置をハードウェアに実装した際の回路構成をコンパクトにすることができる。
さらに、上記構成の欠陥検出装置は、上記ブロック分割手段が、隣り合うブロック同士を重ね合わせるように、上記被検査画像を複数のブロックに分割するものであることが好ましい。
すなわち、隣り合うブロックを重ね合わせずに被検査画像を複数のブロックに分割した場合、欠陥領域が隣接するブロックにまたがって発生する場合がある。このような場合、欠陥領域が、異なる2つのブロックにおけるブロック加算値に分散されて影響を与えるために、欠陥領域の有無を適切に判定できない場合がある。
しかしながら、上記構成によれば、ブロック分割手段が、隣り合うブロック同士を重ね合わせるように被検査画像を複数のブロックに分割するので、欠陥領域を1つのブロック内に確実に収めることができる。これにより、欠陥領域の影響が異なる2ブロックのブロック加算値に影響を与えることを防止できるので、欠陥領域を感度良く検出することができる。
さらに、上記構成の欠陥検出装置は、上記欠陥領域有無判定手段が、自身の内部に設けられていてもよい。
上記構成によれば、欠陥領域有無判定手段が欠陥検出装置の内部に設けられているので、ブロック分割手段によるブロック分割処理、ブロック加算値算出手段によるブロック加算値算出処理、および欠陥領域有無判定手段による判定処理を、欠陥検出装置単独で行うことが可能となる。よって、上記構成の欠陥検出装置を用いるだけで、欠陥領域の有無の判定を行うことが可能となる。
また、上記欠陥領域有無判定手段は、欠陥検出装置の外部に設けられていてもよい。
上記構成によれば、欠陥領域有無判定手段が欠陥検出装置の外部に設けられているので、ブロック加算値の外れ値があるかを判定する統計的処理を外部の装置に実行させることができる。これにより、欠陥検出装置は、ブロック分割手段によるブロック分割処理と、ブロック加算値算出手段によるブロック加算値算出処理だけを実現すればよいので、ハードウェアに実装した際の回路構成をコンパクトにすることができる。
さらに、上記構成の欠陥検出装置は、上記欠陥領域有無判定手段が、上記ブロック分割手段が分割した複数のブロックのそれぞれについて上記ブロック加算値算出手段により求められる上記ブロック加算値毎に、統計的に外れ値であるかを判定するものであることが好ましい。
上記構成によれば、ブロック分割手段が分割した複数のブロックのそれぞれについてブロック加算値算出手段により求められるブロック加算値毎に、統計的に外れ値であるかが判定されるので、被検査画像内における全てのブロックについて、欠陥領域の有無が欠陥領域有無判定手段により判定される。よって、欠陥領域の有無を精度良く行うことができる。
また、上記構成の欠陥検出装置は、上記欠陥領域有無判定手段が、上記ブロック分割手段が分割した複数のブロックのそれぞれについて上記ブロック加算値算出手段により求められる上記ブロック加算値のうち、最大の値をとるブロック加算値について、統計的に外れ値であるかを判定するものであってもよい。
上記構成によれば、ブロック加算値の最大値についてだけ、統計的に外れ値であるか否かを判定するので、ブロック分割手段が分割したブロックの全てについて求められるブロック加算値について統計的に外れ値であるかは判定しない。よって、簡易な処理により短時間でデジタル画像における欠陥領域の有無を判断できる。
また、上記構成の欠陥検出装置は、上記ブロック加算値の外れ値があるか否かの判定を、上記ブロック分割手段により上記被検査画像が分割されたブロックの個数および統計的な有意水準により決定された判定閾値と、判定対象となるブロック加算値との大小比較により行うことが好ましい。
上記構成によれば、判定閾値を統計的に求めるので、ブロック加算値が外れ値か否かの判定を的確に行うことができる。したがって、欠陥領域の有無の判定をより的確におこなうことができる。
また、上記構成の欠陥検出装置は、上記ブロック加算値の外れ値があるか否かの判定を、上記欠陥領域が無いことの基準となる良品画像について求められた上記ブロック加算値を統計的に処理して得られる判定閾値と、判定対象となるブロック加算値との大小比較により行ってもよい。
上記構成によれば、良品画像を準備するだけで判定閾値を求めることができるので、簡易な処理により判定閾値を求めることができる。よって、ブロック加算値の外れ値があるか否かの判定をより簡易な処理により行うことができるので、より短時間で欠陥領域の有無の判定を行うことができる。
さらに、上記被検査画像は、イメージセンサデバイスから得られるものであることが好ましい。
上記構成によれば、特に欠陥領域を検出する必要性が高い、イメージセンサデバイスから得られるデジタル画像について、欠陥領域の有無を判定することができる。
また、上記構成の欠陥検出装置は、イメージセンサデバイス内に設けられてもよいし、イメージセンサデバイス内に設けられてもよいし、画像処理装置内に設けられてもよいし、デジタル画像品質テスタ内に設けられてもよい。
なお、「イメージセンサデバイス」とは、CMOSセンサ、CCD等の撮像素子を意味する。また、「イメージセンサモジュール」とは、CMOSセンサ、CCD等の撮像素子にレンズを実装し、制御用のDSPやクロックジェネレータ等を搭載したモジュールを意味する。したがって、イメージセンサデバイスは、イメージセンサモジュールに含まれるものであるといえる。
また、「デジタル画像品質テスタ」とは、その文言どおり、デジタル画像の品質を検査するテスタを意味している。デジタル画像品質テスタで検査されるデジタル画像は、イメージセンサデバイス等の半導体デバイスから得られるものであってもよいし、液晶パネル等のデジタル画像表示装置に入出力されるデジタル画像であってもよい。
本発明のデジタル画像品質テスタは、上記従来の課題を解決するために、自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出装置に外部接続されているデジタル画像品質テスタであって、上記欠陥検出装置は、上記欠陥領域を検出する対象となる被検査画像を、複数のブロックに分割するブロック分割手段と、上記ブロック分割手段により分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値を算出するブロック加算値算出手段とを備えるものであり、上記ブロック加算値算出手段から入力される上記ブロック加算値を統計的に処理し、ブロック加算値の外れ値があるかを判定することで、上記欠陥領域の有無を判定する欠陥領域有無判定手段を備えていることを特徴としている。
上記構成によれば、ブロック分割手段により分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値に基づいて、欠陥領域の有無が欠陥領域有無判定手段における統計的処理により判定される。
そして、本発明では、ブロック分割を行うことにより、欠陥領域の有無を判定するために必要なデータ量を削減することができるので、欠陥領域の有無の判定を短時間で行うことができる。
また、欠陥領域の有無を判定するために欠陥領域有無判定手段が用いるブロック加算値は、被検査画像やその縮小画像をメモリに記憶しておくことなく求められるものである。よって、本発明の欠陥検出装置をハードウェアに実装した際の回路構成をコンパクトにすることができる。
さらに、上記構成のデジタル画像品質テスタは、上記欠陥検出装置が、自身の外部に設けられていることが好ましい。
上記構成によれば、欠陥検出装置がデジタル画像品質テスタの外部に設けられているので、ブロック分割手段によるブロック分割処理と、ブロック加算値算出手段によるブロック加算値算出処理を、デジタル画像品質テスタの外部において実行することができる。これにより、デジタル画像品質テスタは、ブロック加算値の外れ値があるかを判定する統計的処理だけを行えばよいので、より短時間で欠陥領域の有無の判定を行うことができる。
本発明の欠陥検出装置は、上記従来の課題を解決するために、自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出装置であって、(n/3)×(m/3)のサイズを有するブロックが、9個集合することにより構成されるフィルタであって(n、mは画素数で3の倍数)、上記(n/3)×(m/3)のサイズを有するブロックのそれぞれが画素データを積分するものとして構成され、なおかつ、2次微分を行うハイパスフィルタとして構成されるn×mラプラシアンフィルタを用いて、上記欠陥領域を検出する対象となる被検査画像における上記欠陥領域を顕在化させるフィルタリング処理手段を備えていることを特徴としている。
従来技術においては、欠陥領域を検出する際、まず、シェーディング除去処理、ノイズ成分除去処理、およびエッジ検出処理を実行することで、欠陥領域を顕在化させることが行われていた。しかしながら、これらの処理においては、複数回のフィルタ処理を行うので、従来技術の画像処理方法を実装すると、欠陥領域の有無の判定時間が長くなるとともに、ハードウェアの回路構成が大きくなってしまう。
しかしながら、上記構成によれば、n×mラプラシアンフィルタが2次微分を行うハイパスフィルタとして構成されている。したがって、シェーディング成分より高次のエッジを検出することができるとともに、シェーディング成分自体は除去することができる。
さらに、n×mラプラシアンフィルタは、(n/3)×(m/3)のサイズを有するブロックが、9個集合することにより構成されている。この(n/3)×(m/3)のサイズを有するブロックのそれぞれが、画素データを積分するので、ノイズ成分を除去することが可能である。
よって、従来、複数回のフィルタにより行われていたシェーディング除去、ノイズ成分低減、およびエッジ検出を、n×mラプラシアンフィルタを用いて同時に行うことができる。したがって、より短時間かつコンパクトな回路構成で、欠陥領域の有無の判定を行うことができる。
さらに、上記構成の欠陥検出装置において、上記フィルタリング処理手段は、上記n×mラプラシアンフィルタによるフィルタリング処理を、(n/3)×(m/3)のサイズを有するフィルタで、フィルタを構成する全ての重み係数が等しい値に設定された第1フィルタによるフィルタリング処理と、(n/3)×(m/3)のサイズを有するブロックが9個集合することにより形成されるフィルタで、9個のブロックのうち中央に位置する中央ブロックの中央の重み係数と、上記中央ブロックを取り囲む8つのブロックのそれぞれにおける中央の重み係数との和が0となるように設定された第2フィルタによるフィルタリング処理と、に分けて行うことが好ましい。
上記構成によれば、n×mラプラシアンフィルタによる演算処理を低減することが可能となる。たとえば、n=9、m=9の場合、9×9ラプラシアンフィルタによる演算処理は、被検査画像の画素数をNとすると81N回の積和演算が必要であるが、上記第1フィルタおよび第2フィルタによる2段階のフィルタ処理により、積和演算の回数を18N回までに低減することができる。さらに、第1フィルタおよび第2フィルタによれば、n×mラプラシアンフィルタと同様のフィルタリング処理を行うことができる。よって、より短時間に欠陥領域の有無を判定することが可能となる。
さらに、上記構成の欠陥検出装置は、ある画素の画素データがその周囲の画素データに比べて突出した値となる点欠陥を上記被検査画像から除去する点欠陥除去手段に外部接続されており、上記フィルタリング処理手段は、点欠陥が除去された被検査画像に対してn×mラプラシアンフィルタによるフィルタリング処理を実行することが好ましい。
上記構成によれば、点欠陥除去手段により点欠陥が除去された被検査画像に対してn×mラプラシアンフィルタによるフィルタリング処理が行われ、欠陥領域が顕在化される。すなわち、潜在的に欠陥領域となりうる点欠陥が、フィルタリング処理を行う前に被検査画像から取り除かれており、点欠陥が欠陥領域として検出されることを防止できる。これにより、欠陥領域の検出精度を向上させることができる。
また、点欠陥除去手段による点欠陥除去処理は、欠陥検出装置の外部で行われるので、欠陥検出装置はn×mラプラシンアンフィルタによるフィルタリング処理だけを行えばよく、欠陥検出装置における処理が複雑化することを防止することができる。
さらに、上記構成の欠陥検出装置は、上記被検査画像を縮小する画像縮小手段に外部接続されており、上記フィルタリング処理手段が、縮小された被検査画像に対してn×mラプラシアンフィルタによるフィルタリング処理を実行することが好ましい。
上記構成によれば、被検査画像が画像縮小手段により縮小されるので、被検査画像のデータ量が削減されるとともに、被検査画像内に存在する欠陥領域を強調させることができる。
また、画像縮小手段による画像縮小処理は、欠陥検出装置の外部で行われるので、欠陥検出装置はn×mラプラシンアンフィルタによるフィルタリング処理だけを行えばよく、欠陥検出装置における処理が複雑化することを防止することができる。
さらに、上記構成の欠陥検出装置は、ある画素の画素データが、その周囲の画素データに比べて突出した値となる点欠陥を、上記被検査画像から除去する点欠陥除去手段を備えており、上記フィルタリング処理手段が、点欠陥が除去された被検査画像に対してn×mラプラシアンフィルタによるフィルタリング処理を実行する構成であってもよい。
上記構成によれば、点欠陥除去手段により点欠陥が除去された被検査画像に対してn×mラプラシアンフィルタによるフィルタリング処理が行われ、欠陥領域が顕在化される。すなわち、潜在的に欠陥領域となりうる点欠陥が、フィルタリング処理を行う前に被検査画像から取り除かれており、点欠陥が欠陥領域として検出されることを防止できる。これにより、欠陥領域の検出精度を向上させることができる。
さらに、上記構成の欠陥検出装置は、上記被検査画像を縮小する画像縮小手段を備えており、上記フィルタリング処理手段は、縮小された被検査画像に対してn×mラプラシアンフィルタによるフィルタリング処理を実行することが好ましい。
上記構成によれば、被検査画像が画像縮小手段により縮小されるので、被検査画像のデータ量が削減されるとともに、被検査画像内に存在する欠陥領域を強調させることができる。
なお、上記構成の欠陥検出装置は、イメージセンサデバイスに設けられてもよいし、デジタル画像品質テスタに設けられてもよい。
また、本発明の欠陥検出方法は、自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出方法であって、上記欠陥領域を検出する対象となる被検査画像を、複数のブロックに分割するブロック分割ステップと、上記ブロック分割ステップにより分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値を算出するブロック加算値算出ステップと、上記ブロック加算値の外れ値があるかを統計的処理により判定することで上記欠陥領域の有無を判定する欠陥領域有無判定ステップとを備えていることを特徴としている。
また、本発明の欠陥検出方法は、自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出方法であって、(n/3)×(m/3)のサイズを有するブロックが、9個集合することにより構成されるフィルタであって(n、mは画素数で3の倍数)、上記(n/3)×(m/3)のサイズを有するブロックのそれぞれが画素データを積分するものとして構成され、なおかつ、2次微分を行うハイパスフィルタとして構成されるn×mラプラシアンフィルタを用いて、上記欠陥領域を検出する対象となる被検査画像における上記欠陥領域を顕在化させるフィルタリング処理ステップを備えていることを特徴としている。
上記構成の欠陥検出方法によれば、各ステップにおいて本発明の欠陥検出装置と同様の処理が実現されているので、本発明の欠陥検出装置と同様の作用効果を得ることができる。
なお、コンピュータに上記欠陥検出方法を実行させる欠陥検出プログラムにより、コンピュータを用いて本発明の欠陥検出方法と同様の作用効果を得ることができる。さらに、上記欠陥検出プログラムをコンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記欠陥検出プログラムを実行させることができる。
本発明によれば、デジタル画像に発生する欠陥領域の有無を、短時間かつコンパクトな回路構成で判定することができる。
〔1.装置の基本構成〕
本発明の欠陥検出装置に係る一実施形態について、図1を用いて説明する。図1に示すように、本実施形態の欠陥検出装置1は、画像縮小部(画像縮小手段)2と、点欠陥除去部(点欠陥除去手段)3と、フィルタリング部(フィルタリング処理手段)4と、ブロック分割部(ブロック分割手段)5と、ブロック加算値算出部(ブロック加算値算出手段)6と、統計処理部(欠陥領域有無判定手段)7と、良否判定部(欠陥領域有無判定手段)8と、メモリ9とを備えている。
画像縮小部2は、被検査画像の縦横サイズを小さくして、被検査画像を縮小する処理を行うものである。これにより、被検査画像のデータ量が削減されるとともに、被検査画像内に存在するシミ欠陥・ムラ欠陥を強調させることができる。
点欠陥除去部3は、たとえば点欠陥除去フィルタを用いて、被検査画像における点欠陥を除去する処理を行うものである。点欠陥除去フィルタの詳細については上述したとおりである。
なお、上述の画像縮小部2および点欠陥除去部3は、必ずしも欠陥検出装置1の内部に設けられている必要はなく、欠陥検出装置1の外部の装置に設けてもよい。たとえば、欠陥検出装置1の外部装置としてのイメージセンサデバイスやデジタル画像品質テスタに、画像縮小部2または点欠陥除去部3を設けてもよい。
フィルタリング部4は、n×mラプラシアンフィルタ(詳細は後述する)を用いて、シェーディング除去、ノイズ成分低減、およびシミ欠陥のエッジ検出を行うものであり、欠陥検出装置1を特徴付ける1つの要素である。フィルタリング部4における処理の詳細に関しては、後述する。
ブロック分割部5は、被検査画像をメッシュ状に分割して、複数のブロックを生成するものであり、欠陥検出装置1を特徴付けるもう1つの要素である。上記ブロックは、正方形でも長方形でも良く、さらには各ブロックの面積が同じならば、そのブロックの形状は問わない。なお、ブロックサイズの決定方法については後述する。
ブロック加算値算出部6は、ブロック分割部5により分割された複数のブロックのそれぞれについて、ブロック内の全ての画素についての画素データを加算した値であるブロック加算値を求めるものである。
統計処理部7は、シミ欠陥やムラ欠陥が存在するブロックを検出するべく、ブロック加算値算出部6にて算出されたブロック加算値を統計処理するものである。つまり、ブロック内にシミ欠陥・ムラ欠陥などの異常があれば、その欠陥が存在するブロックのブロック加算値は統計的に外れた値となる。そこで、統計処理部7は、複数ブロックのそれぞれについて求められたブロック加算値の最大値・平均値・標準偏差を求めるという統計処理を行う。
良否判定部8は、ブロック加算値の最大値に対して外れ値判定を行い、そのブロック加算値が外れ値か否かを判定することで、被検査画像そのものの良否を判定し、その結果を外部に出力するものである。外れ値の判定は、次の式(1)で行う。
評価値(最大値)=(最大値−平均値)/標準偏差≧判定閾値 …式(1)
なお、式(1)における最大値、平均値、標準偏差は、統計処理部7により求められたブロック加算値に関するものである。また、良否判定部8が判定閾値を決定する方法については後述する。
さらに、良否判定部8においては、ブロック分割部5により分割された複数のブロックのそれぞれについて、シミ欠陥・ムラ欠陥が含まれているかどうかを判定してもよい。この場合、良否判定部8は、下記の式(2)を用いて、各ブロックにシミ欠陥・ムラ欠陥が含まれているかどうかを判定する。
評価値=(各ブロックのブロック加算値−平均値)/標準偏差≧判定閾値 …式(2)
で判定する。
なお、式(2)における平均値、標準偏差は、統計処理部7により求められたブロック加算値に関するものである。また、判定閾値を決定する方法については後述する。
また、上述の統計処理部7および良否判定部8は、必ずしも欠陥検出装置1の内部に設けられている必要はなく、欠陥検出装置1の外部の装置に設けてもよい。たとえば、欠陥検出装置1の外部装置としてのイメージセンサデバイスやデジタル画像品質テスタに、統計処理部7または良否判定部8を設けてもよい。
メモリ9は、欠陥検出装置1における各種処理に必要なフィルタ、パラメータ、演算結果を記憶するものである。たとえば、メモリ9は、フィルタリング部4において用いるn×mラプラシアンフィルタ、ブロック加算値算出部6にて求められるブロック加算値、統計処理部7にて求められるブロック加算値の平均値等、および良否判定部8から出力される良否判定結果を記憶する。
以上の構成により、欠陥検出装置1は、被検査画像内に存在するシミ欠陥あるいはムラ欠陥を検出することで、被検査画像の良否を判定する。特に、本実施形態の欠陥検出装置1において特徴的であるのは、
(1)フィルタリング部4において、n×mラプラシアンフィルタを用いて、シェーディング除去、ノイズ成分低減、およびシミ欠陥のエッジ検出を同時に行っているという点、および、
(2)ブロック分割部5において、被検査画像をメッシュ状に分割して、複数のブロックを生成するという点にある。
つまり、従来技術においては、欠陥顕在化処理において複数回のフィルタ処理を行っていたので、イメージセンサデバイスのテスト時間が長大になるという課題があった。この課題に対して、本実施形態の欠陥検出装置1は、n×mラプラシアンフィルタを用いて、シェーディング除去、ノイズ成分低減、およびシミ欠陥のエッジ検出を同時に行っている。これにより、被検査画像の良否判定に伴う演算量を低減し、テスト時間を大幅に短縮することが可能となっている。
また、イメージセンサデバイスのテスト時間が長大になるという従来の課題は、本実施形態の欠陥検出装置1では、ブロック分割部5において、被検査画像をメッシュ状に分割して、複数のブロックを生成するという点からも解決されている。つまり、ブロック分割することにより、被検査画像の良否判定に必要なデータ量が低減され、テスト時間を大幅に短縮することが可能とされている。
また、本実施形態の欠陥検出装置1を特徴付けるフィルタリング部4およびブロック分割部5のいずれの構成においても、原画像や縮小画像をメモリに記憶しておく必要がない。したがって、本実施形態の欠陥検出装置1は、メモリに必要な記憶容量を低減し、回路構成を小さくすることができるという利点がある。
特に、本実施形態の欠陥検出装置1は、n×mラプラシアンフィルタを用いて、シェーディング除去、ノイズ成分低減、およびシミ欠陥のエッジ検出を同時に行う。これにより、本実施形態の欠陥検出装置1は、フィルタ処理を実行する回数が従来よりも低減されており、小さな回路構成にて実現することができる。
〔2.処理フローの概要〕
次に、本実施形態の欠陥検出装置1により実現される欠陥検出方法のフローについて、図2を用いて説明する。
図2に示すように、本実施形態の欠陥検出方法は、大別すると欠陥顕在化処理(S10)および欠陥領域抽出処理(S20)の2工程からなる。より具体的に説明すると、欠陥顕在化処理(S10)は、画像縮小部2により実行される画像縮小処理(S11)と、点欠陥除去部3により実行される点欠陥除去処理(S12)と、フィルタリング部4により実行されるフィルタリング処理(S13)とからなる。また、欠陥領域抽出処理(S20)は、ブロック分割部5により実行されるブロック分割処理(S21)と、ブロック加算値算出部6により実行されるブロック加算値算出処理(S22)と、統計処理部7により実行される統計処理(S23)と、良否判定部8により実行される良否判定処理(S24)とからなる。
これらの欠陥検出方法を構成する各処理のうち、S13のフィルタリング処理と、S21のブロック分割処理により、本実施形態の欠陥検出方法は特徴付けられる。そこで、先ず、フィルタリング処理およびブロック分割処理の詳細について説明する。
〔3.フィルタリング処理の詳細〕
S13のフィルタリング処理は、上述したとおり、フィルタリング部4により実行されるものであり、n×mラプラシアンフィルタを用いて、シェーディング除去、ノイズ成分低減、およびシミ欠陥のエッジ検出が同時に行われる。
まず、「n×mラプラシアンフィルタ」の意味について説明する。n×mラプラシアンフィルタとは、2次微分を行うハイパスフィルタである。また、nとmは、画素数で3の倍数である。すなわち、図3に示すように、n×mラプラシアンフィルタ10は、(n/3)×(m/3)のサイズを有するブロック(10a〜10i)が、9個集合することにより構成されている。
つまり、図3に示すn×mラプラシアンフィルタ10は、中央のブロック10eについて重み係数「4」が設定されており、このブロック10eに隣接するブロック10b・10d・10f・10hについて重み係数「−1」が設定されているが、重み係数はこれ以外の値に設定してもよい。要は、中央のブロック10eの重み係数と、中央ブロックの周囲に存在する8つのブロック(10a・10b・10c・10d・10f・10g・10h・10i)の重み係数との和が0となっていればよい。さらに、周囲に存在する8つのブロックの重み係数は、均等あるいは上下左右対称に設定されていることが好ましい。
また、図3に示すn×mラプラシアンフィルタ10は、左上に配置されたブロック10a、右上に配置されたブロック10c、左下に配置されたブロック10g、および右下に配置されたブロック10iについて、重み係数が0に設定されている。
さらに、n=9、m=9の場合におけるn×mラプラシアンフィルタ(9×9ラプラシアンフィルタ)の構成について、図4を用いて説明する。図4に示すように、9×9ラプラシアンフィルタ11は、3×3のサイズを有するブロック(11a〜11i)が9個集合することで構成される。
この9×9ラプラシアンフィルタ11においては、中央のブロック11eを構成する9つの重み係数が全て「4」に設定されている。また、このブロック11eに隣接するブロック11b・11d・11f・11hについては、各ブロックを構成する9つの重み係数が全て「−1」に設定されている。さらに、残りのブロック11a・11c・11g・11iについては、9つの重み係数が全て「0」に設定されている。
図5に、9×9ラプラシアンフィルタ11について用いられる演算式を示す。なお、9×9ラプラシアンフィルタのように、サイズが9×9のフィルタは、フィルタ処理の対象となる画像における端部付近のように、上下左右に4画素分の距離内に画素が存在しない領域については演算を行うことができない。よって、フィルタリング処理の際には、各画素を走査するためのループの初期値と最終値に注意が必要となる。
そして、上述のn×mラプラシアンフィルタを用いることで、シェーディング除去、ノイズ成分低減、およびシミ欠陥のエッジ検出が同時に行われる。この理由について以下に説明する。
(理由1)n×mラプラシアンフィルタは2次微分を行うハイパスフィルタである。したがって、シェーディング成分より高次のエッジを検出することができるとともに、シェーディング成分自体は除去することができる。
(理由2)n×mラプラシアンフィルタは、(n/3)×(m/3)のサイズを有するブロックが、9個集合することにより構成されている。この(n/3)×(m/3)のサイズを有するブロックのそれぞれは、画素データを積分するので、ノイズ成分を除去することが可能である。
なお、経験的に、シミ欠陥・ムラ欠陥の大きさに対して、3×3ラプラシアンフィルタよりもサイズが大きいラプラシアンフィルタの方が、欠陥の検出感度がよい。特にコントラスト差が小さいシミ欠陥などについては、サイズが大きなラプラシアンフィルタの方が検出感度がよくなる。
〔4.n×mラプラシアンフィルタの変形例〕
上述のn×mラプラシアンフィルタを用いると、1つの注目画素についてフィルタ演算後の画素データを得るために、注目画素を中心としたn×m個の画素についての画素データを用いて、積和演算をする必要がある。たとえば、9×9ラプラシアンフィルタでは、被検査画像の画素数をNとすると合計81N回の積和演算を行うことになる。
なお、本実施形態においては、乗算1回および加算1回を、積和演算1回とみなしているが、厳密な意味においては、フィルタ係数が「0」に設定されている画素については、乗算および加算が不要になるので、積和演算が全く行われないといえる。また、フィルタ係数が「1」に設定されている画素については、乗算が不要になるが、加算は必要であるので、1回の積和演算が行われないといえる。
これを考慮すると、図4の9×9フィルタを用いる場合、合計45N回の積和演算を行うことになる。
このn×mラプラシアンフィルタの積和演算の回数は、2種類のフィルタを準備してフィルタ演算を2段階に分けることで低減することができる。たとえば、9×9ラプラシアンフィルタの積和演算の回数は、図6(a)に示す第1フィルタ12と、図6(b)に示す第2フィルタ13とを準備することで低減することができる。
ここで、第1フィルタ12は、図6(a)に示すように、3×3のサイズを有しており、フィルタを構成する9つの重み係数が全て「1」に設定されているフィルタである。また、第2フィルタ13は、9×9のサイズを有している構成であり、3×3のサイズを有するブロック(13a〜13i)が9個集合することで構成される。
さらに、第2フィルタ13の中央に位置するブロック13eにおいては、中央の重み係数だけが「4」に設定されており、その周囲の8つの重み係数は全て「0」に設定されている。また、ブロック13eに隣接するブロック13b・13d・13f・13hのそれぞれについては、中央の重み係数だけが「−1」に設定されており、その周囲の8つの重み係数は全て「0」に設定されている。残りのブロック13a・13c・13g・13iについては、9つの重み係数が全て「0」に設定されている。
そして、9×9ラプラシアンフィルタと同様の積和演算は、上記構成の第1フィルタ12および第2フィルタ13を用いて2段階のフィルタ演算を行うことにより実現することができる。ここで、第1フィルタ12および第2フィルタ13による演算は、9画素の積和演算を2回実施する形式となるので、合計18N回の積和演算で終了させることができる。このようにして、9×9ラプラシアンフィルタによる演算回数を低減させることができる。なお、第1フィルタ12および第2フィルタ13について用いられる演算式を、図7に示す。
なお、n×mラプラシアンフィルタの演算回数も、第1フィルタ12および第2フィルタ13と同様に2種類のフィルタを設けることで低減させることができる。
つまり、第1フィルタとして、(n/3)×(m/3)のサイズを有するフィルタで、フィルタを構成する全ての重み係数が、「1」等の等しい値に設定されたものを準備する。また、第2フィルタとして、(n/3)×(m/3)のサイズを有するブロックが9個集合することにより形成されるフィルタを準備する。そして、第2フィルタの重み係数については、第2フィルタの中央ブロック(9個のブロックのうち中央に位置するブロック)における中央の重み係数と、中央ブロックを取り囲む8つのブロックのそれぞれにおける中央の重み係数との和が、0となるように設定し、さらにそれ以外の重み係数は0に設定する。なお、中央のブロックを取り囲む8つのブロックのそれぞれにおける中央の重み係数は、均等にあるいは上下左右対称に設定されることが好ましい。
ただし、n=6, m=6の場合には、第1フィルタは2×2のサイズになる一方、第2フィルタは6×6のサイズになる。そうすると、「ブロックの中央の重み係数」が存在しなくなる。
この場合は、第2フィルタにおいて、中央ブロックにおける中心に最も近い重み係数と、中央ブロックを取り囲む8つのブロックのそれぞれにおける中心に最も近い重み係数との和が、0となるように設定し、さらにそれ以外の重み係数は0に設定すればよい。
〔5.ブロック分割処理の詳細〕
次に、ブロック分割部5(図1)により実行されるブロック分割処理(図2のS21参照)について説明する。
たとえば、図8に示すように、被検査画像20が、横73画素×縦43画素のサイズであるとする。この場合、被検査画像20は、たとえば、1ブロックが5×5画素の領域を有するよう、複数のブロックに分割することが可能である。
また、ブロックの形状は、正方形でも長方形でもよいし、更には面積が均一ならその形状は問わない。さらに、1ブロックのサイズによっては、被検査画像を左上から順に分割していくと、被検査画像の端においてブロックに含まれない画素が存在する場合がる。その場合は、図8の破線に示すように、画像の端にあわせるようにブロック分割を行えばよい。さらには、ブロックの分割は、特に左上から順でなくてもよく、被検査画像の全画素を含むように分割できればよい。
さらに、ブロックサイズは、画像の総画素数、欠陥検出感度、良否判定部8の判定結果にノイズが与える影響、または演算量などから、適切な値を設定する。
つまり、各ブロックのサイズを大きくすると、良否判定部8の判定結果にノイズが与える影響を削除できるが、シミ欠陥・ムラ欠陥の検出感度が低下する。一方、各ブロックのサイズを小さくすると、ノイズ成分や、点欠陥除去部3が除去しきれていない点欠陥成分が検出されてしまうが、シミ欠陥・ムラ欠陥の検出感度が向上する。このようなトレードオフ関係を考慮して、ブロックサイズを適切に設定すればよい。なお、トレードオフ関係を表1に示す。
このように、決定されたブロックサイズに基づいて、ブロック分割部5は被検査画像を複数のブロックに分割し、ブロック加算値算出部6は、分割された各ブロックについてブロック加算値を算出する。図9に、ブロック加算値を演算するための式を示す。
また、図10(a)に示すように、シミ欠陥がブロックの境界にまたがるように分布して発生する場合がある。この場合、隣接する2ブロックのそれぞれにおけるブロック加算値の双方にシミ欠陥が影響を与え、欠陥検出の感度が低下する可能性がある。
しかしながら、図10(b)に示すように、隣り合うブロック同士を重ね合わせるように分割することで、欠陥検出感度の低下を抑えることができる。つまり、現在のブロックと、次の列のブロックまたは次の行のブロックとが重なり合うように、順次ブロックを分割する。これにより、シミ欠陥の影響を1つのブロック内に収められることができ、シミ欠陥が2ブロックのブロック加算値に影響を与えることを防止できる。
さらに、ブロック分割処理が、従来のラベリング処理よりも好適な理由について、以下に説明する。従来技術では、ラベリング処理を行う前の工程である2値化処理やノイズ除去処理に多くの工数が必要である。また、従来技術における2値化処理の閾値によっては、実際の欠陥領域だけでなく、欠陥顕在化処理で十分に除去できていない点欠陥成分やノイズ成分もシミ欠陥・ムラ欠陥の候補となり、2値化するための閾値の決め方が難しい。この問題に対し、従来技術では膨張・収縮処理などで2値画像の凹凸のノイズを除去するが、その際に程度が小さいシミ欠陥・ムラ欠陥の候補も除去してしまう可能性がある。
それに対して、本実施形態のようにブロック分割処理を行うことで、扱うデータ数を大幅に小さくすることが可能となり、良否判定処理を高速に行うことができる。また、ブロック分割処理によれば、2値化処理とは異なり、欠陥のない領域に関する情報を落とすことなく、画像の領域全体について欠陥が存在し得る可能性をブロック加算値により定量評価し、欠陥のない領域と欠陥のある領域との相対比較で良否判定をするため、目視による欠陥領域の検査との相関が高い。
〔6.良否判定処理の詳細〕
次に、良否判定部8(図1)により実行される良否判定処理(図2のS24参照)について説明する。先ず、良否判定部8は、上述したとおり、判定閾値を用いてブロック加算値の最大値が外れ値か否かを判定する。この判定閾値を決定する方法を以下に説明する。
図11は、ブロック加算値の分布を示すヒストグラムの一例である。図11において、横軸はブロック加算値、縦軸はブロック数を表している。被検査画像が良品のイメージセンサデバイスから得られた画像であれば、欠陥顕在化処理(S10)で除去できなかったノイズ成分が支配的となり、ブロック加算値の分布は正規分布に近い形を示す。
そこで、ブロック加算値の平均および標準偏差を、統計処理部7(図1参照)により求めるとともに、以下の式に基づき判定閾値を良否判定部8により決定する。
判定閾値=平均+a×標準偏差 (aは定数)
そして、判定閾値よりも大きいブロック加算値が存在する場合、良否判定部8は、被検査画像にシミ欠陥・ムラ欠陥が存在し、被検査画像が不良であると判定する。
なお、上記定数aは、基準となる良品画像を1つまたは複数個用意し、各良品画像についてブロック加算値を求め、
a=(ブロック加算値の最大値−ブロック加算値の平均値)/ブロック加算値の標準偏差
として決定してもよい。
または、スミルノフ・グラブス棄却検定を用いて、データ数nと棄却域α(=0.01など)から、定数aを決定してもよい。なお、スミルノフ・グラブス棄却検定とは、同じ母集団からのサンプルデータに対して、統計的な外れ値を検定する方法である。この方法を用いると、有意水準(棄却域ともいう、通常、0.01, 0.05の値がよく用いられる)とサンプルデータ数を決定することで、検定対象のデータが外れ値か否かを決める閾値を一意的に決定することができる。
なお、良否判定に用いられる値(評価値)は、標準偏差で正規された値となっているので、判定閾値は、絶対値でなく、標準偏差に対する倍率(定数a)を考慮した値として設定されている。このように判定閾値を設定することで、被検査画像間の輝度ばらつきに影響されない良否判定が可能となる。
次に、良否判定処理のフローについて説明する。被検査画像から生成されるブロック毎に良否判定を行う場合のフローを図12に示す。
先ず、良否判定部8は、被検査画像内で良否判定処理が未だ行われていないブロックを1つ選択し(S30)、選択されたブロックにおける評価値を求める(S31)。なお、評価値は、下式に基づき求められる。
評価値=(選択されたブロックにおけるブロック加算値−平均値)/標準偏差
そして、良否判定部8は、評価値と判定閾値とを比較し(S32)、評価値が判定閾値以上ならば、被検査画像が不良であると判定し、そのブロックの座標と評価値をメモリに書き込む(S33)。
一方、評価値が判定閾値未満であれば、良否判定部8は、被検査画像が良好であると判定し、まだ良否判定の処理が行われていないブロック(未処理ブロック)があるか否かを判断する(S34)。未処理ブロックがあるようであれば、S30の処理に戻る。
S34の判断において未処理ブロックがないと判断された場合、被検査画像における欠陥の有無をメモリに書き込む(S35)。S35では、S33でメモリに書き込んだか否かで画像の良否判定を行ってもよいし、S33で書き込んだ評価値をさらに判定して、その被検査画像の品質のランクを求めて、メモリに書き込む処理を行っても良い。
この被検査画像の品質のランクを求める処理について、具体的な説明を行う。品質のランクを求めるためには、評価値と判定閾値との差の大きさに応じて、複数のランクを設定することが可能である。たとえば、評価値と判定閾値との差の大きさについて、「大」・「中」・「小」という3段階の基準を設けるとともに、被検査画像の品質ランクについても「不良程度大」・「不良程度中」・「不良程度小」という3段階の基準を設けてもよい。または、判定閾値を複数設けることで、被検査画像の品質ランクを評価してもよい。
また、良否判定処理は、上述したように被検査画像から生成される各ブロックについて行うもの以外に、ブロック加算値の最大値に基づいて行うことも可能である。この場合の処理フローについて、図13を用いて説明する。
まず、良否判定部8は、評価値を下式に基づき求める(S40)。
評価値=(ブロック加算値の最大値−ブロック加算値の平均値)/標準偏差
そして、良否判定部8は、S40にて求められた評価値と判定閾値との大小比較を行い(S41)、S42またはS43にてその判定結果をメモリに書き込む。
〔7.実際の画像を用いた説明〕
以下、上記構成の欠陥検出装置1によりシミ欠陥が検出されるまでの過程について、実際の画像を図面に示しながら説明する。
まず、図14(a)に示すように被検査画像が設定されており、その被検査画像内のA部分にシミ欠陥が発生しているとする(A部分を拡大した図である図14(b)参照)。
図14(b)のA部分における画素データを3次元的に表示すると、図14(c)に示すグラフのようになる。すなわち、図14(c)に示すように、シミ欠陥が発生している領域だけ、画素データが増加している。
図15(a)に、図14(b)に示す画像に対して、9×9ラプラシンアンフィルタによるフィルタリング処理を実行した後の画像を示す。また、図15(b)に、9×9ラプラシアンフィルタによりフィルタリング処理された後の画像の画素データを3次元的に表示したグラフを示す。図14(c)のグラフと図15(b)のグラフとを比較すると、図15(b)のグラフにおいては、シミ欠陥以外の領域で画素データが一定となっており、さらに、シミ欠陥領域と、それ以外の領域とにおいて、画素データの差がはっきりとでていることがわかる。このことから、9×9ラプラシアンフィルタを用いることで、図14(b)の画像のシェーディングが除去されるとともに、ノイズ成分も除去され、さらにシミ欠陥のエッジ検出も実現できることがわかる。
さらに、図15(a)に示す画像に対してブロック分割処理を行い、さらに各ブロックについてブロック加算値を求めた後の画像を、図16(a)に示す。さらに、図16(a)に示す画像におけるブロック加算値を、3次元的に表示したグラフを図16(b)に示す。図16(b)に示すように、シミ欠陥の領域においては、ブロック加算値が他の領域に比べて大きくなっている。この図16(b)に示す画像については、最終的に、図16(c)に示すように、欠陥領域が抽出される。
また、図14(a)に示す被検査画像に対して、本実施形態の欠陥検出方法により求められたブロック加算値の分布を図17(a)に示す。さらに、図17(a)のヒストグラムを統計処理し、ブロック加算値に関する最小値・最大値・平均値・標準偏差を求めた結果を図17(b)に示す。この図17(a)に示すヒストグラム、および図17(b)に示す統計処理の結果に基づき、図17(c)に示すように判定閾値が設定される。
〔8.実装例〕
次に、本実施形態の欠陥検出装置を用いるイメージセンサデバイスの検査システムの構成例をいくつか説明する。
先ず、図18に示すように、イメージセンサデバイス本体およびDSP部を有するイメージセンサモジュールと、イメージセンサデバイスのテスタ(デジタル画像品質テスタ)とから構成される検査システムを想定する。イメージセンサデバイス本体は、光源からの光を受光するものである。また、DSP部は、RGB分離部と、CPU部と、複数のメモリとを備えている。これらのDSP部を構成する要素は、一般的なイメージセンサモジュールに設けられたDSP部を構成する要素と変わらないので、詳細な説明は省略する。
図18に示す検査システムの構成例においては、本実施形態の欠陥検出装置1がDSP部の内部に設けられている。このように、本実施形態の欠陥検出装置1は、イメージセンサモジュール内に実装することが可能である。このように、欠陥検出装置1を実装することのメリットとしては、以下の点を挙げることができる。
・イメージセンサモジュール毎に演算・判定機能を持たせることができ、シミ欠陥・ムラ欠陥のパラレル処理が可能である
・イメージセンサモジュールから、デジタル画像品質テスタまたは画像処理装置へ画像データを転送する時間がなくなるため、検査時間の短縮が可能になる。
さらに、欠陥検出装置1にて実行されるブロック加算値の標準偏差を求める演算では、二乗演算を行う過程が存在する。その演算をハードウェア化するのが厳しい場合は、欠陥検出装置1におけるブロック分割処理までをハードウェア実装し、その後の統計処理と良否判定処理とをデジタル画像品質テスタで行うことで、テスタ自体を簡素化することができる。
なお、図18に示す実装例におけるイメージセンサモジュールは、「イメージセンサデバイス」であってもよい。つまり、イメージセンサデバイスの一例であるCMOSセンサにおいては、当該CMOSセンサ自体にDSP部が含まれている場合がある。
このようなイメージセンサデバイスについては、その内部に設けられているDSP部に、本実施形態の欠陥検出装置1を設けることが可能である。このようにイメージセンサデバイス内のDSP部に欠陥検出装置1を設ける実装例は、図18に示す実装例の変更態様としてとらえることができる。
また、本実施形態の欠陥検出装置1は、イメージセンサモジュールの外部に実装することも可能である。つまり、図19に示すように、たとえばRGB分離部、CPU部、および複数のメモリを有する画像処理装置内に、本実施形態の欠陥検出装置1を実装することも可能である。
なお、図19に示す実装例においては、イメージセンサモジュールに含まれるイメージセンサデバイス(図示せず)から、画像処理装置内のメモリに被検査画像を入力してもよい。
さらに、本実施形態の欠陥検出装置1は、デジタル画像品質テスタの内部に実装することも可能である。つまり、図20に示すように、デジタル画像品質テスタ内に設けられた画像処理部に、本実施形態の欠陥検出装置1およびRGB分離部を設けることも可能である。
なお、図20に示す実装例においては、イメージセンサモジュールに含まれるイメージセンサデバイス(図示せず)から、デジタル画像品質テスタ内の画像処理部に被検査画像を入力してもよい。
〔9.本実施形態の欠陥検出方法の演算量〕
本実施形態の欠陥検出方法における演算量と、従来技術における演算量とを定量的に比較した結果を以下に記載する。
先ず、被検査画像の画素数をN、画像縮小率をaとしたうえで、従来技術における画像走査回数を見積もると以下のようになる。
〔欠陥顕在化処理を構成する各処理の画像走査回数〕
・画像縮小処理…N
・シェーディング補正処理…3*3*N/(a*a)
(各画素に対して3×3フィルタによる演算を実行した場合)
・ノイズ除去処理(平滑化フィルタ使用)…3*3*N/(a*a)
・点欠陥除去処理…3*3*N/(a*a)
・エッジ検出処理(ラプラシアンフィルタ使用)…3*3*N/(a*a)
〔欠陥領域抽出処理を構成する各処理の画像走査回数〕
・2値化処理…N/(a*a)
・2値画像に対するノイズ除去処理…(3*3*N/(a*a))*3
(少なく見積もっても画像を3回走査する)
・ラベリング処理…N/(a*a)
(少なく見積もっても画像を1回走査する)
・特徴量としてシミ面積を計算する処理…N/(a*a)
・良否判定処理…欠陥領域抽出処理全体の画像走査回数から見ると微小な回数。
一方、ブロック分割サイズ(画素数)をbとすると、本実施形態の欠陥検出方法における画像走査回数は、以下のように見積もることができる。
〔欠陥顕在化処理を構成する各処理の画像走査回数〕
・画像縮小処理…N
・点欠陥除去処理…3*3*N/(a*a)
・フィルタリング処理…(3*3*N/(a*a))*2
9×9ラプラシアンフィルタによるフィルタリング処理を2段階に分けて行った場合(図6(a)および図6(b)参照)
〔欠陥領域抽出処理を構成する各処理の画像走査回数〕
・ブロック分割および加算値算出処理…N/(a*a)
・統計処理…N/(a*a*b*b)
・良否判定処理…N/(a*a*b*b)。
以上の画像走査回数について、N=400万(画素)、画像縮小率a=2、ブロック分割サイズ(画素数)b=40を代入すると、以下のようになる。
〔従来技術〕
・欠陥顕在化処理 … 40M
・欠陥領域抽出処理 … 30M
合計 70M
〔本実施形態の欠陥検出方法〕
・欠陥顕在化処理 … 31M
・欠陥領域抽出処理 … 1.001M
合計 32.001M
このように、本実施形態の欠陥検出方法によれば、従来技術における欠陥顕在化処理とほぼ同様の画像走査回数により、被検査画像の良否判定を行うことができるといえる。
〔10.補足〕
さらに、本実施形態の欠陥検出装置により実行される欠陥検出方法は、コンピュータにて実行されるプログラムを記録したコンピュータ読み取り可能な記録媒体に、プログラムとして記録することもできる。この結果、本実施形態の欠陥検出方法を行うプログラムを記録した記録媒体を持ち運び自在に提供することができる。
記録媒体としては、マイクロコンピュータで処理が行われるために図示しないメモリ、たとえばROMのようなプログラムメディアであってもよく、図示しない外部記憶装置としてのプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。
いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であってもよいし、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。この場合、ダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスクやハードディスク等の磁気ディスク並びにCD−ROM/MO/MD/DVD等の光ディスクのディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
また、この場合、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め受信機に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。
本発明によれば、デジタル画像における欠陥領域の有無を、短時間かつコンパクトな回路構成で判定できる。特に、本発明は、高品質化が求められているイメージセンサデバイスの品質検査に好適である。さらに、本発明は、イメージセンサデバイスの出力画像だけでなく、液晶パネルを代表するフラットパネルに表示されるデジタル画像の検査にも応用が可能である。
本発明の欠陥検出装置の一実施形態に係る構成を示すブロック図である。 本発明の欠陥検出方法の一実施形態を示すフローチャートである。 図1の欠陥検出装置が用いるn×mラプラシアンフィルタの一構成例を示す図である。 図1の欠陥検出装置が用いる9×9ラプラシアンフィルタの一構成例を示す図である。 図4の9×9ラプラシアンフィルタに用いられる演算式を示す図である。 図6(a)は、図4の9×9ラプラシアンフィルタによるフィルタリング処理を2段階に分けて実行する際に用いる第1フィルタの構成例を示す図であり、図6(b)は、図4の9×9ラプラシアンフィルタによるフィルタリング処理を2段階に分けて実行する際に用いる第2フィルタの構成例を示す図である。 図6に示す第1フィルタおよび第2フィルタについて用いられる演算式を示す図である。 図1の欠陥検出装置により被検査画像を複数のブロックに分割した状態を示す図である。 図1の欠陥検出装置のブロック分割部がブロック加算値を求めるために用いる演算式を示す図である。 図10(a)は、シミ欠陥がブロックの境界にまたがるように分布して発生している状態を示す図であり、図10(b)は、図1のブロック分割部により隣り合うブロック同士を重ね合わせるように分割する状態を示す図であり。 図1の欠陥検出装置のブロック加算値算出部により求められるブロック加算値の分布を示すヒストグラムの一例である。 図1の欠陥検出装置における良否判定部が、被検査画像から生成されるブロック毎に良否判定を行う場合のフローチャートである。 図1の欠陥検出装置における良否判定部が、ブロック加算値の最大値に基づいて良否判定を行う場合のフローチャートである。 図14(a)は、被検査画像の一例を示す図であり、図14(b)は、図14(a)のA部分を拡大した画像の図であり、図14(c)は、図14(b)のA部分における画素データを3次元的に表示したグラフである。 図15(a)は、図14(b)に示す画像に対して、9×9ラプラシンアンフィルタによるフィルタリング処理を実行した後の画像の図であり、図15(b)は、図15(a)に示す画像の画素データを3次元的に表示したグラフである。 図16(a)は、図15(a)に示す画像のブロック加算値を求めた後の画像を示す図であり、図16(b)は、図16(a)に示す画像におけるブロック加算値を、3次元的に表示したグラフであり、図16(c)は、図16(b)に示す画像の欠陥領域を抽出した状態を示す図である 図17(a)は、図14(a)に示す被検査画像に対して、本発明の欠陥検出方法により求められたブロック加算値の分布を示すヒストグラムであり、図17(b)は、図17(a)のヒストグラムを統計処理し、ブロック加算値に関する最小値・最大値・平均値・標準偏差を求めた結果を示す図であり、図17(c)は、図17(b)に示す統計処理の結果に基づき設定された判定閾値を示す図である。 図1の欠陥検出装置を用いるイメージセンサデバイスの検査システムの構成例を示す図である。 図1の欠陥検出装置を用いるイメージセンサデバイスの検査システムに係る他の構成例を示す図である。 図1の欠陥検出装置を用いるイメージセンサデバイスの検査システムに係るさらに他の構成例を示す図である。 デジタル画像に発生する「点欠陥」、「シミ欠陥」、および「ムラ欠陥」を模式的に示した図である。 デジタル画像に発生するシェーディングを示す図である。 従来の欠陥検出方法を示すフローチャートである。 図24(a)は、平滑化フィルタの一例を示す図であり、図24(b)は、ラプラシアンフィルタの一例を示す図である。 図24(a)および図24(b)に示したフィルタに用いられる演算式を示す図である。 膨張・収縮処理により、2値化処理後の被検査画像150からノイズが除去されるまでの過程を説明するための図である。 従来の欠陥検出方法に用いられるラベリング処理を説明するための図である。
符号の説明
1 欠陥検出装置
2 画像縮小部(画像縮小手段)
3 点欠陥除去部(点欠陥除去手段)
4 フィルタリング部(フィルタリング処理手段)
5 ブロック分割部(ブロック分割手段)
6 ブロック加算値算出部(ブロック加算値算出手段)
7 統計処理部(欠陥領域有無判定手段)
8 良否判定部(欠陥領域有無判定手段)
10 n×mラプラシアンフィルタ
12 第1フィルタ
13 第2フィルタ

Claims (31)

  1. 自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出装置であって、
    上記欠陥領域を検出する対象となる被検査画像を、複数のブロックに分割するブロック分割手段と、
    上記ブロック分割手段により分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値を算出するブロック加算値算出手段とを備え、
    上記ブロック加算値の外れ値があるかを統計的処理により判定することで上記欠陥領域の有無を判定する欠陥領域有無判定手段に対して、上記ブロック加算値を出力することを特徴とする欠陥検出装置。
  2. 上記ブロック分割手段は、隣り合うブロック同士を重ね合わせるように、上記被検査画像を複数のブロックに分割するものであることを特徴とする請求項1に記載の欠陥検出装置。
  3. 上記欠陥領域有無判定手段が、自身の内部に設けられていることを特徴とする請求項1または2のいずれか1項に記載の欠陥検出装置。
  4. 上記欠陥領域有無判定手段が、自身の外部に設けられていることを特徴とする請求項1または2のいずれか1項に記載の欠陥検出装置。
  5. 上記欠陥領域有無判定手段は、上記ブロック分割手段が分割した複数のブロックのそれぞれについて上記ブロック加算値算出手段により求められる上記ブロック加算値毎に、統計的に外れ値であるかを判定するものであることを特徴とする請求項1ないし4のいずれか1項に記載の欠陥検出装置。
  6. 上記欠陥領域有無判定手段は、上記ブロック分割手段が分割した複数のブロックのそれぞれについて上記ブロック加算値算出手段により求められる上記ブロック加算値のうち、最大の値をとるブロック加算値について、統計的に外れ値であるかを判定するものであることを特徴とする請求項1ないし4のいずれか1項に記載の欠陥検出装置。
  7. 上記ブロック加算値の外れ値があるか否かの判定を、上記ブロック分割手段により上記被検査画像が分割されたブロックの個数および統計的な有意水準により決定された判定閾値と、判定対象となるブロック加算値との大小比較により行うことを特徴とする請求項1ないし6のいずれか1項に記載の欠陥検出装置。
  8. 上記ブロック加算値の外れ値があるか否かの判定を、上記欠陥領域が無いことの基準となる良品画像について求められた上記ブロック加算値を統計的に処理して得られる判定閾値と、判定対象となるブロック加算値との大小比較により行うことを特徴とする請求項1ないし6のいずれか1項に記載の欠陥検出装置。
  9. 上記被検査画像が、イメージセンサデバイスから得られるものであることを特徴とする請求項1ないし8のいずれか1項に記載の欠陥検出装置。
  10. 請求項1ないし8のいずれか1項に記載の欠陥検出装置を備えることを特徴とするイメージセンサデバイス。
  11. 請求項1ないし9のいずれか1項に記載の欠陥検出装置を備えることを特徴とするイメージセンサモジュール。
  12. 請求項1ないし9のいずれか1項に記載の欠陥検出装置を備えることを特徴とする画像処理装置。
  13. 請求項1ないし9のいずれか1項に記載の欠陥検出装置を備えることを特徴とするデジタル画像品質テスタ。
  14. 自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出装置に外部接続されているデジタル画像品質テスタであって、
    上記欠陥検出装置は、
    上記欠陥領域を検出する対象となる被検査画像を、複数のブロックに分割するブロック分割手段と、
    上記ブロック分割手段により分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値を算出するブロック加算値算出手段とを備えるものであり、
    上記ブロック加算値算出手段から入力される上記ブロック加算値を統計的に処理し、ブロック加算値の外れ値があるかを判定することで、上記欠陥領域の有無を判定する欠陥領域有無判定手段を備えていることを特徴とするデジタル画像品質テスタ。
  15. 上記欠陥検出装置が、自身の外部に設けられていることを特徴とする請求項14に記載のデジタル画像品質テスタ。
  16. 自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出装置であって、
    (n/3)×(m/3)のサイズを有するブロックが、9個集合することにより構成されるフィルタであって(n、mは画素数で3の倍数)、上記(n/3)×(m/3)のサイズを有するブロックのそれぞれが画素データを積分するものとして構成され、なおかつ、2次微分を行うハイパスフィルタとして構成されるn×mラプラシアンフィルタを用いて、上記欠陥領域を検出する対象となる被検査画像における上記欠陥領域を顕在化させるフィルタリング処理手段を備えていることを特徴とする欠陥検出装置。
  17. 上記フィルタリング処理手段は、
    上記n×mラプラシアンフィルタによるフィルタリング処理を、
    (n/3)×(m/3)のサイズを有するフィルタで、フィルタを構成する全ての重み係数が等しい値に設定された第1フィルタによるフィルタリング処理と、
    (n/3)×(m/3)のサイズを有するブロックが9個集合することにより形成されるフィルタで、9個のブロックのうち中央に位置する中央ブロックの中央の重み係数と、上記中央ブロックを取り囲む8つのブロックのそれぞれにおける中央の重み係数との和が0となるように設定された第2フィルタによるフィルタリング処理と、に分けて行うことを特徴とする請求項16に記載の欠陥検出装置。
  18. ある画素の画素データがその周囲の画素データに比べて突出した値となる点欠陥を上記被検査画像から除去する点欠陥除去手段に外部接続されており、
    上記フィルタリング処理手段は、点欠陥が除去された被検査画像に対してn×mラプラシアンフィルタによるフィルタリング処理を実行することを特徴とする請求項16または17に記載の欠陥検出装置。
  19. 上記被検査画像を縮小する画像縮小手段に外部接続されており、
    上記フィルタリング処理手段は、縮小された被検査画像に対してn×mラプラシアンフィルタによるフィルタリング処理を実行することを特徴とする請求項16または17に記載の欠陥検出装置。
  20. ある画素の画素データが、その周囲の画素データに比べて突出した値となる点欠陥を、上記被検査画像から除去する点欠陥除去手段を備えており、
    上記フィルタリング処理手段は、点欠陥が除去された被検査画像に対してn×mラプラシアンフィルタによるフィルタリング処理を実行することを特徴とする請求項16または17に記載の欠陥検出装置。
  21. 上記被検査画像を縮小する画像縮小手段を備えており、
    上記フィルタリング処理手段は、縮小された被検査画像に対してn×mラプラシアンフィルタによるフィルタリング処理を実行することを特徴とする請求項16または17に記載の欠陥検出装置。
  22. 請求項16ないし21のいずれか1項に記載の欠陥検出装置を備えることを特徴とするイメージセンサデバイス。
  23. 請求項16ないし21のいずれか1項に記載の欠陥検出装置を備えることを特徴とするイメージセンサモジュール。
  24. 請求項16ないし21のいずれか1項に記載の欠陥検出装置を備えることを特徴とする画像処理装置。
  25. 請求項16ないし21のいずれか1項に記載の欠陥検出装置を備えることを特徴とするデジタル画像品質テスタ。
  26. 自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出方法であって、
    上記欠陥領域を検出する対象となる被検査画像を、複数のブロックに分割するブロック分割ステップと、
    上記ブロック分割ステップにより分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値を算出するブロック加算値算出ステップと、
    上記ブロック加算値の外れ値があるかを統計的処理により判定することで上記欠陥領域の有無を判定する欠陥領域有無判定ステップとを備えていることを特徴とする欠陥検出方法。
  27. 自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出方法であって、
    (n/3)×(m/3)のサイズを有するブロックが、9個集合することにより構成されるフィルタであって(n、mは画素数で3の倍数)、上記(n/3)×(m/3)のサイズを有するブロックのそれぞれが画素データを積分するものとして構成され、なおかつ、2次微分を行うハイパスフィルタとして構成されるn×mラプラシアンフィルタを用いて、上記欠陥領域を検出する対象となる被検査画像における上記欠陥領域を顕在化させるフィルタリング処理ステップを備えていることを特徴とする欠陥検出方法。
  28. ある画素の画素データが、その周囲の画素データに比べて突出した値となる点欠陥を、上記被検査画像から除去する点欠陥除去ステップを備えており、
    上記フィルタリング処理ステップは、点欠陥が除去された被検査画像に対してn×mラプラシアンフィルタによるフィルタリング処理を実行するステップであることを特徴とする請求項27に記載の欠陥検出方法。
  29. 上記被検査画像を縮小する画像縮小ステップを備えており、
    上記フィルタリング処理ステップは、縮小された被検査画像に対してn×mラプラシアンフィルタによるフィルタリング処理を実行するステップであることを特徴とする請求項27に記載の欠陥検出方法。
  30. 請求項26または27に記載の欠陥検出方法をコンピュータに実行させることを特徴とする欠陥検出プログラム。
  31. 請求項30に記載の欠陥検出プログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。
JP2005280888A 2005-09-27 2005-09-27 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体 Active JP4657869B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005280888A JP4657869B2 (ja) 2005-09-27 2005-09-27 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体
US11/526,780 US7783103B2 (en) 2005-09-27 2006-09-26 Defect detecting device, image sensor device, image sensor module, image processing device, digital image quality tester, and defect detecting method
TW095135589A TWI351654B (en) 2005-09-27 2006-09-26 Defect detecting device, image sensor device, imag
CN200610141619XA CN1940994B (zh) 2005-09-27 2006-09-27 缺陷检测装置、图像传感器器件、图像传感器模块

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005280888A JP4657869B2 (ja) 2005-09-27 2005-09-27 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2007093304A true JP2007093304A (ja) 2007-04-12
JP4657869B2 JP4657869B2 (ja) 2011-03-23

Family

ID=37894016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005280888A Active JP4657869B2 (ja) 2005-09-27 2005-09-27 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体

Country Status (4)

Country Link
US (1) US7783103B2 (ja)
JP (1) JP4657869B2 (ja)
CN (1) CN1940994B (ja)
TW (1) TWI351654B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2037305A1 (en) 2007-09-12 2009-03-18 Fujinon Corporation Imaging lens and imaging apparatus
JP2010151527A (ja) * 2008-12-24 2010-07-08 Internatl Business Mach Corp <Ibm> ムラ評価装置、ムラ評価方法、ディスプレイ検査装置、およびプログラム
JP2014066657A (ja) * 2012-09-27 2014-04-17 Nissan Motor Co Ltd 自動車車体の表面検査装置および表面検査方法
JP2015149554A (ja) * 2014-02-05 2015-08-20 キヤノン株式会社 画像処理装置、画像処理方法及び撮像装置
JP2019029952A (ja) * 2017-08-03 2019-02-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2019145974A (ja) * 2018-02-20 2019-08-29 日本放送協会 超高精細映像に適した画質評価装置
US10402961B2 (en) 2015-11-09 2019-09-03 Ricoh Company, Ltd. Inspection apparatus, inspection system, inspection method, and recording medium

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4694618B2 (ja) * 2006-04-27 2011-06-08 シャープ株式会社 欠陥分布分類方法およびシステム、原因設備特定方法およびシステム、コンピュータプログラム、並びに記録媒体
US7925074B2 (en) * 2006-10-16 2011-04-12 Teradyne, Inc. Adaptive background propagation method and device therefor
US8391585B2 (en) * 2006-12-28 2013-03-05 Sharp Kabushiki Kaisha Defect detecting device, defect detecting method, image sensor device, image sensor module, defect detecting program, and computer-readable recording medium
US8244057B2 (en) * 2007-06-06 2012-08-14 Microsoft Corporation Removal of image artifacts from sensor dust
CN101329281B (zh) * 2007-06-20 2011-08-10 佛山普立华科技有限公司 影像感测晶片污点检测系统及其检测方法
CN101431618B (zh) * 2007-11-06 2010-11-03 联咏科技股份有限公司 具有行读取电路修补功能的图像传感器及其相关方法
TWI437878B (zh) * 2007-11-20 2014-05-11 Quanta Comp Inc 用以校正影像訊號中壞點之方法及電路
KR101510098B1 (ko) * 2007-12-21 2015-04-08 삼성전자주식회사 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
JP5058002B2 (ja) * 2008-01-21 2012-10-24 株式会社豊田中央研究所 物体検出装置
CN101995325A (zh) * 2009-08-25 2011-03-30 比亚迪股份有限公司 一种图像传感器的外观检测方法及系统
GB2487350A (en) * 2011-01-11 2012-07-25 3M Innovative Properties Co Method of detecting a fault on an imaging device
US8761454B2 (en) * 2011-05-10 2014-06-24 Hewlett-Packard Development Company, L.P. Detecting streaks in printed images
CA2743016A1 (en) * 2011-06-10 2012-12-10 Hermary Opto Electronics Inc. 3d machine vision scanning information extraction system
US8891866B2 (en) 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
US20130229408A1 (en) * 2012-03-05 2013-09-05 Korea University Research And Business Foundation Apparatus and method for efficient viewer-centric depth adjustment based on virtual fronto-parallel planar projection in stereoscopic images
WO2014127125A1 (en) * 2013-02-18 2014-08-21 Kateeva, Inc. Quality assessment of oled stack films
TWI498543B (zh) * 2013-06-06 2015-09-01 Crystalwise Technology 自動晶圓光學檢測裝置及檢測晶圓表面均勻性的方法
CN103413333B (zh) * 2013-08-08 2016-02-03 宁波成电泰克电子信息技术发展有限公司 一种碱性电池尾端凹凸缺陷检测方法
WO2015069566A1 (en) * 2013-11-05 2015-05-14 Arizona Board Of Regents For And On Behalf Of Arizona State University Adaptive detection sensor array and method of providing and using the same
DE102013019138A1 (de) * 2013-11-12 2015-05-13 Application Solutions (Electronics and Vision) Ltd. Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
FR3028376B1 (fr) * 2014-11-07 2018-01-12 Safran Electronics & Defense Sas Procede de detection de pixels defectueux.
CN105763768B (zh) * 2014-12-15 2019-12-13 深圳市中兴微电子技术有限公司 一种图像处理方法、装置和系统
EP3082102A1 (de) * 2015-04-13 2016-10-19 MTU Aero Engines GmbH Verfahren zum evaluieren wenigstens einer mittels eines generativen pulverschichtverfahrens hergestellten bauteilschicht
CA3030226A1 (en) * 2016-07-08 2018-01-11 Ats Automation Tooling Systems Inc. System and method for combined automatic and manual inspection
US9798954B1 (en) * 2016-12-15 2017-10-24 Federal Home Loan Mortgage Corporation System, device, and method for image anomaly detection
CN109975299B (zh) * 2017-12-27 2022-03-25 群光电子股份有限公司 发光源检测系统与方法
US11195268B2 (en) * 2018-05-22 2021-12-07 Kla-Tencor Corporation Target selection improvements for better design alignment
US10867382B2 (en) * 2018-05-24 2020-12-15 Keysight Technologies, Inc. Detecting mura defects in master panel of flat panel displays during fabrication
CN109828394A (zh) * 2019-03-22 2019-05-31 惠科股份有限公司 一种显示面板的检测方法和检测机台
CN110196504B (zh) * 2019-06-14 2021-11-12 深圳市全洲自动化设备有限公司 一种应用于lcd玻璃aoi测试的屏蔽干扰污点方法及系统
CN110349129B (zh) * 2019-06-24 2023-06-16 华南理工大学 一种高密度柔性ic基板外观缺陷检测方法
JP6703672B1 (ja) * 2019-07-16 2020-06-03 株式会社テクムズ 検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム
US11538149B2 (en) * 2019-07-31 2022-12-27 Samsung Display Co., Ltd. Spot detection device, spot detection method, and display device
CN111028215A (zh) * 2019-12-06 2020-04-17 上海大学 一种基于机器视觉的检测钢卷端面缺陷方法
CN112801972A (zh) * 2021-01-25 2021-05-14 武汉理工大学 一种桥梁缺陷检测方法、设备、系统及存储介质
CN112903703A (zh) * 2021-01-27 2021-06-04 广东职业技术学院 一种基于图像处理的陶瓷表面缺陷检测方法及系统
CN114399507B (zh) * 2022-03-25 2022-06-17 季华实验室 一种手机外观质量检测方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04270592A (ja) * 1991-02-26 1992-09-25 Matsushita Electron Corp 固体撮像素子の評価方法
JP2000199745A (ja) * 1998-10-26 2000-07-18 Dainippon Printing Co Ltd 色ムラの検査方法及び装置
JP2004279891A (ja) * 2003-03-18 2004-10-07 Chi Mei Electronics Corp 液晶セルの検査装置および検査方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4589140A (en) * 1983-03-21 1986-05-13 Beltronics, Inc. Method of and apparatus for real-time high-speed inspection of objects for identifying or recognizing known and unknown portions thereof, including defects and the like
JPH0671038B2 (ja) * 1987-03-31 1994-09-07 株式会社東芝 結晶欠陥認識処理方法
US5272763A (en) * 1990-03-02 1993-12-21 Matsushita Electric Industrial Co., Ltd. Apparatus for inspecting wiring pattern formed on a board
US5309222A (en) * 1991-07-16 1994-05-03 Mitsubishi Denki Kabushiki Kaisha Surface undulation inspection apparatus
KR960002145B1 (ko) * 1991-07-30 1996-02-13 가부시기가이샤 히다찌세이사구쇼 박막트랜지스터 액정기판의 검사방법 및 그 장치
US5274713A (en) * 1991-09-23 1993-12-28 Industrial Technology Research Institute Real-time apparatus for detecting surface defects on objects
US5379122A (en) * 1992-10-02 1995-01-03 Xerox Corporation Decompression of standard ADCT-compressed images
JP3257131B2 (ja) 1993-03-30 2002-02-18 ソニー株式会社 固体撮像装置の自動欠陥検出装置及び固体撮像装置
KR0152048B1 (ko) 1995-06-22 1998-10-01 김광호 고체촬상소자의 결함 자동판별장치
US5854655A (en) * 1995-08-29 1998-12-29 Sanyo Electric Co., Ltd. Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit
US6002433A (en) * 1995-08-29 1999-12-14 Sanyo Electric Co., Ltd. Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit
JP3128485B2 (ja) 1995-08-29 2001-01-29 三洋電機株式会社 固体撮像素子の欠陥画素検出装置
TW357327B (en) * 1996-08-02 1999-05-01 Sony Corp Methods, apparatus and program storage device for removing scratch or wire noise, and recording media therefor
JPH1127585A (ja) 1997-06-30 1999-01-29 Hitachi Denshi Ltd 固体撮像素子の欠陥画素検出方法
US5917953A (en) * 1997-07-07 1999-06-29 The Morgan Crucible Company Plc Geometry implicit sampler for polynomial surfaces over freeform two-dimensional domains
JP3773773B2 (ja) * 1999-10-27 2006-05-10 三洋電機株式会社 画像信号処理装置及び画素欠陥の検出方法
AU2003273324A1 (en) * 2002-09-12 2004-04-30 Nline Corporation System and method for acquiring and processing complex images
JP2004294202A (ja) 2003-03-26 2004-10-21 Seiko Epson Corp 画面の欠陥検出方法及び装置
JP4247993B2 (ja) 2004-11-05 2009-04-02 シャープ株式会社 画像検査装置、画像検査方法、制御プログラムおよび可読記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04270592A (ja) * 1991-02-26 1992-09-25 Matsushita Electron Corp 固体撮像素子の評価方法
JP2000199745A (ja) * 1998-10-26 2000-07-18 Dainippon Printing Co Ltd 色ムラの検査方法及び装置
JP2004279891A (ja) * 2003-03-18 2004-10-07 Chi Mei Electronics Corp 液晶セルの検査装置および検査方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2037305A1 (en) 2007-09-12 2009-03-18 Fujinon Corporation Imaging lens and imaging apparatus
JP2010151527A (ja) * 2008-12-24 2010-07-08 Internatl Business Mach Corp <Ibm> ムラ評価装置、ムラ評価方法、ディスプレイ検査装置、およびプログラム
US8368750B2 (en) 2008-12-24 2013-02-05 International Business Machines Corporation Non-uniformity evaluation apparatus, non-uniformity evaluation method, and display inspection apparatus and program
JP2014066657A (ja) * 2012-09-27 2014-04-17 Nissan Motor Co Ltd 自動車車体の表面検査装置および表面検査方法
JP2015149554A (ja) * 2014-02-05 2015-08-20 キヤノン株式会社 画像処理装置、画像処理方法及び撮像装置
US10402961B2 (en) 2015-11-09 2019-09-03 Ricoh Company, Ltd. Inspection apparatus, inspection system, inspection method, and recording medium
JP2019029952A (ja) * 2017-08-03 2019-02-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7000066B2 (ja) 2017-08-03 2022-01-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2019145974A (ja) * 2018-02-20 2019-08-29 日本放送協会 超高精細映像に適した画質評価装置

Also Published As

Publication number Publication date
US7783103B2 (en) 2010-08-24
CN1940994A (zh) 2007-04-04
CN1940994B (zh) 2011-01-05
JP4657869B2 (ja) 2011-03-23
US20070071304A1 (en) 2007-03-29
TW200723170A (en) 2007-06-16
TWI351654B (en) 2011-11-01

Similar Documents

Publication Publication Date Title
JP4657869B2 (ja) 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体
JP4399494B2 (ja) 欠陥検出装置、欠陥検出方法、イメージセンサデバイスおよびイメージセンサモジュール
US8391585B2 (en) Defect detecting device, defect detecting method, image sensor device, image sensor module, defect detecting program, and computer-readable recording medium
CN110349145B (zh) 缺陷检测方法、装置、电子设备以及存储介质
US10867382B2 (en) Detecting mura defects in master panel of flat panel displays during fabrication
CN111046862B (zh) 一种字符分割方法、装置以及计算机可读存储介质
KR20190023374A (ko) 디스플레이 패널 검사 방법
CN113785181A (zh) Oled屏幕点缺陷判定方法、装置、存储介质及电子设备
KR100779312B1 (ko) 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈,화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출방법
JP2005172559A (ja) パネルの線欠陥検出方法及び装置
CN116559177A (zh) 一种缺陷检测方法、装置、设备以及存储介质
CN108107611B (zh) 一种自适应缺陷检测方法、装置及电子设备
JP2006085616A (ja) 画像処理アルゴリズム評価方法および装置、画像処理アルゴリズム生成方法および装置、プログラムならびにプログラム記録媒体
JP2011008482A (ja) 欠陥検出方法、欠陥検出装置、および欠陥検出プログラム
KR100754969B1 (ko) 화상 검사 장치, 화상 검사 방법 및 컴퓨터 판독가능한 기억 매체
CN117252861A (zh) 一种晶圆表面缺陷的检测方法、装置及系统
CN112802022A (zh) 智能检测缺陷玻璃图像的方法、电子设备以及存储介质
KR20160097651A (ko) 유효화 영상처리기법을 이용한 시료의 패턴 검사 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP2006155579A (ja) 画像処理方法および画像処理装置
CN111415365B (zh) 图像检测方法及装置
CN115690089A (zh) 一种微弱缺陷检测用的图像增强前处理方法及系统
Prabha et al. Defect detection of industrial products using image segmentation and saliency
CN112801112B (zh) 一种图像二值化处理方法、装置、介质及设备
CN118096732B (zh) 显示屏漏光检测方法、电子设备及存储介质
CN112666733B (zh) Lcd灰阶画面下线型缺陷检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4657869

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

SG99 Written request for registration of restore

Free format text: JAPANESE INTERMEDIATE CODE: R316G99

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350