JP2010066102A - 評価装置、校正方法、校正プログラム、及び、記録媒体 - Google Patents

評価装置、校正方法、校正プログラム、及び、記録媒体 Download PDF

Info

Publication number
JP2010066102A
JP2010066102A JP2008232255A JP2008232255A JP2010066102A JP 2010066102 A JP2010066102 A JP 2010066102A JP 2008232255 A JP2008232255 A JP 2008232255A JP 2008232255 A JP2008232255 A JP 2008232255A JP 2010066102 A JP2010066102 A JP 2010066102A
Authority
JP
Japan
Prior art keywords
evaluation
imaging
evaluation value
calibration
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008232255A
Other languages
English (en)
Other versions
JP4416827B1 (ja
Inventor
Shota Ueki
章太 植木
Hiroyuki Nakai
博之 中井
Yasuhiro Ueda
泰広 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008232255A priority Critical patent/JP4416827B1/ja
Priority to CN200980134847.6A priority patent/CN102144156B/zh
Priority to PCT/JP2009/065861 priority patent/WO2010029976A1/ja
Application granted granted Critical
Publication of JP4416827B1 publication Critical patent/JP4416827B1/ja
Publication of JP2010066102A publication Critical patent/JP2010066102A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/93Detection standards; Calibrating baseline adjustment, drift correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Studio Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】撮像画像に基づいて算出された評価値を利用しながらも、安定した校正が可能な評価装置を実現する。
【解決手段】
撮像装置110は、所定のパタンで配置された複数の撮像位置から特定評価対象物200を撮像する撮像動作を、撮像位置全体をシフトしながら繰り返す。制御装置120は、複数組の撮像画像群の各々から高解像度画像を生成し、生成した高解像度画像の各々に基づいて評価値を算出する。そして、算出した評価値群と基準評価値群とを比較して、校正のために評価値乗じる係数を設定する。
【選択図】図1

Description

本発明は、評価対象物を撮像して得られた撮像画像に基づいて該評価対象物を評価する評価装置に関する。また、そのような評価装置を校正する校正方法、及び、校正プログラムに関する。そのような校正プログラムを記録した記録媒体に関する。
安定、高速、かつ高精度に対象物を評価するために、撮像画像に基づいて該対象物を自動的に評価する評価装置の開発が進められている。このような評価装置に撮像画像を供給する撮像装置は、通常、エリアセンサとして機能する固体撮像素子と、評価対象物の像を固体撮像素子上に結像させる光学系とを備えている。光学系は、レンズその他の光学素子からなり、レンズの焦点位置を調整するフォーカス調整機構、評価対象物とレンズとの距離を調整するワークディスタンス調整機構、光学系の光軸の傾きを調整する光軸調整機構などの各種調整機構により、適正な状態に調整されている。
しかし、光学系の状態は、長時間に渡る使用により悪化する。光学系の状態を悪化させる要因は、各種調整機構のズレ、光学系全体の位置ズレ、照明の劣化による照度の変化など様々である。このため、光学系の状態が悪化した撮像装置により得られた撮像画像に基づいて対象物の適正な評価を行うことはできない。つまり、いつでも適正な評価を行うためには、光学系の再調整などによる評価装置の定期的な校正(較正)が必要となる。
特許文献1には、基準パタンを用いてエリアセンサの校正を行なう技術が開示されている。また、特許文献2には、特殊なパタンを用いてラインセンサの校正を行なう技術が開示されている。
特開平 9−43292(平成 9年 2月14日公開) 特開2004−28706(平成16年 1月29日公開)
しかしながら、従来の評価装置においては、校正を行なう度に各種調整機構を用いた光学系の物理的な調整が必要であり、これに多大な時間を要するという問題があった。
また、撮像解像度がテストパタンのサイズと同程度である場合、撮像装置とテストパタンとの相対位置が僅かにずれただけで、得られる撮像画像はがらっと変わる。よって、撮像画像に基づいて算出される評価値も大きく変動する。換言すれば、同じテストパタンを評価対象としていても、評価を行う度に評価値が目まぐるしく変わる。
もちろん、参照する撮像画像の解像度を上げていけば、評価値のばらつきは小さくなっていくが、撮像画像に基づいて評価値を算出する限り、このような評価値のばらつきは避けられない。すなわち、撮像画像に基づいて算出された評価値を利用する限り、安定した校正を行なうことは困難である。
このようなばらつきの影響を排除するためには、繰り返し評価値を算出して平均化する方法が考えられる。
しかし、特許文献1に記載の技術を用いてこれを行なおうとすると、基準パタンをなんども置き直して撮像を繰り返す必要があり、測定時間が膨大になる。また、測定の効率も悪く、再現性も低い。また、特許文献2には、特殊なパタンで位置の再現性確認を行なうことが記載されているが、これは素子が移動しながら撮像を行うラインセンサのみに有効であり、エリアセンサに適用することはできない。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、撮像画像に基づいて算出された評価値を利用しながらも、安定した校正が可能な評価装置を実現することにある。
上記課題を解決するために、本発明に係る評価装置は、
評価対象物を撮像して得られた撮像画像に基づいて当該評価対象物の評価値を算出する評価装置であって、
所定のパタンで配置された複数の撮像位置から特定評価対象物を撮像する撮像動作を、該複数の撮像位置全体をシフトしながら繰り返すよう撮像装置を制御する制御手段と、
繰り返された撮像動作の各々において上記撮像装置により撮像された撮像画像群から該撮像装置の撮像解像度より高解像度の高解像度画像を生成する生成手段と、
上記生成手段により生成された高解像度画像の各々に基づいて評価値を算出する算出手段と、
当該評価装置の校正のために評価値に乗じる係数を、上記算出手段により算出された評価値群の分布を特徴付ける特徴量に対する、予め設定された基準評価値群の分布を特徴付ける特徴量の比に設定する設定手段と、を備えている、ことを特徴としている。
上記の構成によれば、複数の撮像位置から特定評価対象物を撮像して得られた撮像画像群が複数組得られ、そのそれぞれから高解像度画像が生成される。評価値は、この高解像度画像に基づいて算出されるので、撮像画像に基づいて算出する場合と比べて、得られる評価値群におけるばらつきは小さい。
そして、得られた評価値群の分布を表す特徴量と、予め設定された基準評価値群の分布の特徴量との比から、当該評価装置の校正のために評価値に乗じる係数が設定される。このため、高解像度画像から算出された評価値群に多少のばらつきが残っていても、ばらつきの影響が係数に及び難い。したがって、安定した校正が可能になるという効果を奏する。
しかも、撮像画像は、上記制御手段により制御された撮像装置により得られる。つまり、特定評価対象物を人手で何度も置き直したりする必要はない。このため、測定時間が膨大になったり、再現性が低下したりする虞もない。
なお、上記制御手段は、例えば、上記撮像装置が備えている撮像素子を駆動する駆動機構を制御するものであり、上記複数の撮像位置を巡回するように該撮像素子を駆動する駆動動作を、該複数の撮像位置全体をシフトしながら繰り返すよう該駆動機構を制御する。
本発明に係る評価装置においては、
上記基準評価値群は、上記撮像装置が適正な状態に調整されているときに、上記算出手段により算出される評価値群である、ことが好ましい。
上記の構成によれば、上記撮像装置が適正な状態に調整されていないときに算出された評価値を、上記撮像装置が適正な状態に調整されていれば得れたであろう評価値に校正することができる。
なお、上記基準評価値群は、上記撮像装置が適正な状態に調整されているときに、上記算出手段により実際に算出された実験値であってもよいし、上記撮像装置が適正な状態に調整されているときに、上記算出手段により算出されたであろう評価値を、計算によって見積もった理論値であってもよい。
なお、上記適正な状態は、例えば、上記撮像装置が備えている対物レンズの光軸が上記評価対象物の評価対象面と直交し、かつ、該対物レンズを介して入射した入射光が該撮像装置が備えている撮像素子の受光面上に合焦した状態である。
また、上記特徴量は、例えば、平均値、最大値、最小値、分散、もしくは標準偏差のうちの何れか、または、これらの組み合わせである。
上記課題を解決するために、本発明に係る校正方法は、
評価対象物を撮像して得られた撮像画像に基づいて当該評価対象物の評価値を算出する評価装置の校正方法であって、
複数の撮像位置から特定評価対象物を撮像する撮像動作を、該複数の撮像位置全体をシフトしながら繰り返すよう撮像装置を制御する制御工程と、
繰り返された撮像動作の各々において上記撮像装置により撮像された撮像画像群から該撮像装置の撮像解像度より解像度の高い高解像度画像を生成する生成工程と、
上記生成工程において生成された高解像度画像の各々に基づいて評価値を算出する算出工程と、
当該評価装置の校正のために評価値に乗じる係数を、上記算出工程において算出された評価値群の分布を特徴付ける特徴量に対する、予め設定された基準評価値群の分布を特徴付ける特徴量の比に設定する設定工程と、を含んでいる、ことを特徴としている。
上記の構成によれば、上記評価装置と同様の効果を奏する。
なお、本発明に係る校正方法は、コンピュータによって実現してもよい。この場合、コンピュータに上記各工程を実行させることにより、上記校正方法をコンピュータにおいて実現する校正プログラム、および、その校正プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明に係る評価装置は、以上のように、所定のパタンで配置された複数の撮像位置から特定評価対象物を撮像する撮像動作を、該複数の撮像位置全体をシフトしながら繰り返すよう撮像装置を制御する制御手段と、繰り返された撮像動作の各々において上記撮像装置により撮像された撮像画像群から該撮像装置の撮像解像度より高解像度の高解像度画像を生成する生成手段と、上記生成手段により生成された高解像度画像の各々に基づいて評価値を算出する算出手段と、当該評価装置の校正のために評価値に乗じる係数を、上記算出手段により算出された評価値群の分布を特徴付ける特徴量に対する、予め設定された基準評価値群の分布を特徴付ける特徴量の比に設定する設定手段と、を備えている。
また、本発明に係る校正方法は、複数の撮像位置から特定評価対象物を撮像する撮像動作を、該複数の撮像位置全体をシフトしながら繰り返すよう撮像装置を制御する制御工程と、繰り返された撮像動作の各々において上記撮像装置により撮像された撮像画像群から該撮像装置の撮像解像度より解像度の高い高解像度画像を生成する生成工程と、上記生成工程において生成された高解像度画像の各々に基づいて評価値を算出する算出工程と、当該評価装置の校正のために評価値に乗じる係数を、上記算出工程において算出された評価値群の分布を特徴付ける特徴量に対する、予め設定された基準評価値群の分布を特徴付ける特徴量の比に設定する設定工程と、を含んでいる。
したがって、安定した校正が可能になるという効果を奏する。
本発明の一実施形態について、図面に基づいて説明すれば以下のとおりである。
(評価装置の構成)
まず、本実施形態に係る評価装置100の構成について、図1を参照して説明する。図1は、評価装置100の構成を示した図である。図1に示したように、評価装置100は、撮像装置110と、制御装置120と、表示装置130とを備えている。
撮像装置110は、評価対象物200を撮像するための手段であり、光学系111と固体撮像素子112とアクチュエータ113とにより構成されている。
制御装置120は、撮像装置110を制御するとともに、撮像装置110によって得られ撮像画像に基づいて評価対象物200を評価するための手段である。制御装置120は、例えば、パーソナルコンピュータやワークステーションなどにより構成することができる。
表示装置130は、制御装置120によって得られた評価結果を表示するための手段である。表示装置130は、例えば、LCD(Liquid Crystal Display:液晶ディスプレイ)やCRT(Cathode Ray Tube:ブラウン管)などにより構成することができる。
なお、評価装置100による評価の対象となる評価対象物200は、平板状の物体であれば何でもよく、例えば、液晶パネルである。
(撮像装置の詳細)
次に、評価装置100が具備する撮像装置110の詳細について、再び図1を参照して説明する。上述したとおり、撮像装置110は、光学系111と、固体撮像素子112と、アクチュエータ113とにより構成されている。
光学系111は、評価対象物200の像を固体撮像素子112の受光部上に結像させるための手段である。光学系111は、レンズその他の光学素子により構成される。
固体撮像素子112は、受光部上に結像した評価対象物200の像を画像信号に変換するための手段である。固体撮像素子112としては、例えば、エリアセンサタイプのCCDイメージセンサやCMOSイメージセンサなどを用いることができる。
光学系111を構成するレンズその他の光学素子は、各種調整機構を介して撮像装置110の筐体内壁に取り付けられている。一方、固体撮像素子112は、撮像装置110の筐体内壁に固定されたアクチュエータ113に保持されている。
アクチュエータ113は、評価対象物200に対する固体撮像素子112の相対位置を変位させるための手段である。より具体的には、光学系111のレンズと評価対象物200とを結ぶ光軸に垂直な平面内で固体撮像素子112を2次元的に移動する。ただし、アクチュエータ113による固体撮像素子112の移動は、上記平面内での2次元的な移動に限定されず、回転を含む3次元的な移動であってもよい。なお、アクチュエータ113としては、ピエゾアクチュエータやステッピングモータなど用いることができるが、ここでは、ピエゾアクチュエータを用いるものとする。
(制御装置の詳細)
制御装置120は、撮像装置110から取得した撮像画像に基づいて評価値Xを算出する。ただし、算出された評価値Yそのものに基づいて評価対象物200の良否を判定するのではなく、算出された評価値Yに係数αを乗じた評価値Y´=αYに基づいて評価対象物200の良否を判定する。この係数αは、評価装置100の校正用パラメータである。すなわち、光学系111の状態が悪化しても、制御装置120は、この係数αを設定し直すことによって、正しい評価値Y´=αYを得ることができる。つまり、制御装置120は、光学系111を物理的に再調整することなく、評価装置100の校正を行うことができる。
以下、この係数αの設定方法を中心に制御装置120の機能を説明する。なお、以下に説明する係数αの設定は、不定期に実行されても(操作者の指示に応じて校正を行なう場合など)、特定の周期で定期的に実行されてもよく(特定の周期で自動的に校正を行なう場合など)、その実行タイミングは問わない。
図2は、制御装置120の構成を示すブロック図である。制御装置120は、係数αの設定に関与する機能ブロックとして、アクチュエータ制御部121と、画像データ保存部122と、高解像度化処理部123と、評価値算出部124と、係数設定部125と、校正後評価値判定部126と、校正情報保存部127と、光学系調整指示部128とを備えている。制御装置120による係数αの設定は、上記各部が協働することにより、以下のようにして実現される。
<撮像制御工程(制御工程)>
係数αを設定するために、まず、所定のテストパタンを評価対象物200とした撮像工程が実施される。テストパタンの一例を図3に示す。このテストパタンの中心部には、固体撮像装置111の1画素サイズよりも小さな模擬欠陥が設けられている。
撮像工程においては、所定のパターンで配置されたM箇所(Mは2以上の整数)の撮像位置から評価対象物200を撮像することによって、M枚の撮像画像P11,P12,…,P1Mからなる撮像画像群G1を得る。この撮像動作を、M箇所の撮像位置全体を配置パターンを代えずにシフトさせならN回繰り返し、N組の撮像画像群G1,G2,…,GNを得る(すなわち、合計M×N枚の撮像画像を得る)。なお、撮像位置全体をシフトさせるシフト量は、撮像位置間の距離よりも小さく設定されている。撮像工程において得られたN組の撮像画像群G1,G2,…,GNは、制御装置120の画像データ保存部122に保存される。
なお、撮像画像群Giをどのような撮像画像により構成すればよいか、換言すれば、撮像位置をどのようなパターンで配置すればよいかは、次の工程で実行される高解像度化処理のアルゴリズムによって決まる。例えば、高解像度化処理のアルゴリズムとしてイメージシフト法(画素ずらし法)を用いる場合には、図4(a)〜(i)に例示した各撮像位置からテストパタンを撮像して得られたM枚(ここではM=9)の撮像画像Pi1,Pi2,…,PiMにより撮像画像群Giを構成すればよい。
また、評価対象物200をM箇所の撮像位置から撮像するとは、より具体的に言えば、図5に示したように、受光面の向きを対物レンズの光軸に直交する向きに保ったまま、固体撮像素子112がM箇所の撮像位置を巡回し、各撮像位置においてテストパタンを撮像することである。なお、M箇所の撮像位置は、何れも対物レンズの光軸と垂直な仮想平面内に配置されている。
以上のような撮像工程は、主に、アクチュエータ制御部121により実現される。アクチュエータ制御部121は、撮像装置110との間で各種制御信号の送受信を行なうことによって、撮像装置110が備えているアクチュエータ113の運動を制御する。より具体的には、アクチュエータ113の運動開始タイミング、運動速度、及び、運動距離を制御することによって、固体撮像素子112を上記のように移動させる。
<高解像度化工程(生成工程)>
撮像工程に続いて高解像度化工程が実施される。高解像度化工程においては、高解像度化処理部123が、撮像画像群G1={P11,P12,…,P1M}を画像データ保存部122から読み出すとともに、読み出した撮像画像群G1から高解像度化処理によって高解像度画像P1を生成する。また、同様の処理を他の撮像画像群G2,G3,…,GNについても繰り返し、N枚の高解像度画像P1,P2,…,PNを生成する。
なお、高解像度化処理部123により実行される高解像度化処理には、イメージシフト法を用いてもよいし、超解像法を用いてもよい。イメージシフト法とは、複数の低解像度画像と目的とする高解像度画像との画素ごとの位置対応から、低解像度画像の輝度値を高解像度画像の画素にマッピングする方法である。また、超解像法とは、複数の低解像度画像より目的とする高解像度画像を推定する方法である。超解像法のアルゴリズムとしては、例えば、ML(Maximum-likelihood)法、MAP(Maximum A Posterior)法、POCS(Projection On to Convex Set)法などが知られている。
高解像度化工程において生成されるN枚の高解像度画像P1,P2,…,PNと、これらN枚の高解像度画像P1,P2,…,PNを生成するために、撮像工程において得られるM×N枚の撮像画像P11,P12,…,PNMとを、図6に示す。図6に示した例では、模擬欠陥の像が高解像度画像P1,P2,…,PNの各々に低輝度領域として現れている。
<評価値算出工程(算出工程)>
高解像度化工程に続いて評価値算出工程が実施される。評価値算出工程においては、評価値算出部124が、高解像度画像P1を高解像度化処理部123から取得するとともに、取得した高解像度画像P1に基づいて評価値Y1を算出する。また、同様の処理を他の高解像度画像P2,P3,…,PNについても繰り返し、N個の評価値Y1,Y2,…,YNを算出する。具体的には、評価値Yiとして、コントラスト体積を算出する。
より具体的に言うと、評価値算出部124は、次のようにしてコントラスト体積を算出する。すなわち、まず、高解像度画像Piを構成する画素を、閾値よりも輝度の高い高輝度画素と該閾値より輝度の低い低輝度画素とに分類する。撮像対象領域に含まれる模擬欠陥が黒点欠陥であれば、低輝度画素群により構成される領域を欠陥像と見做し、高輝度画素群により構成される領域をその背景と見做すことができる。次に、各低輝度画素について高輝度画素群の平均輝度値との輝度値差分を算出する。各低輝度画素について算出された輝度値差分は、コントラストとも呼ばれる。最後に、各低輝度画素について算出された輝度値差分を合算する(換言すれば、コントラストを欠陥像に渡って積分する)ことによって、コントラスト体積を得る。
なお、評価値はコントラスト体積に限定されず、輝度(平均輝度、最小輝度、最大輝度、又は、特定画素の輝度)、輝度体積、欠陥サイズ、または、コントラスト(平均コントラスト、最大コントラスト、最小コントラスト、又は特定画素のコントラスト)などを評価値として用いてもよい。
<係数設定工程(設定工程)>
評価値算出工程に続いて係数決定工程が実施される。係数決定工程においては、係数設定部125が、校正のために評価値Xに乗じる係数αを、評価値算出工程にて算出された評価値群{Y1,Y2,…,YN}と、基準評価値群{X1,X2,…,XN}とに基づいて設定する。設定された係数αは、後述するように、校正情報保存部127に保存される。
より具体的に言うと、係数設定部125は、次のようにして係数αを決定する。すなわち、まず、基準評価値群{X1,X2,…,XN}の平均値Xaveと、評価値算出部124によって算出された評価値群{Y1,Y2,…,YN}の平均値Yaveとを、(1)及び(2)式に従って算出する。そして、係数αを、(3)式に従って算出する。すなわち、係数設定部125は、校正のために評価値Xに乗じる係数αを、評価値群{Y1,Y2,…,YN}の平均値Yaveに対する、基準評価値群{X1,X2,…,XN}の平均値Xaveの比の値に設定する。換言すれば、評価値算出部124によって算出された評価値群{Y1,Y2,…,YN}の校正値の平均値αYaveと基準評価値群{X1,X2,…,XN}の平均値Xaveとが一致するように係数αを定める。
Figure 2010066102
Figure 2010066102
Figure 2010066102
なお、係数αを、評価値群{Y1,Y2,…,YN}の平均値Yaveに対する、基準評価値群{X1,X2,…,XN}の平均値Xaveの比Xave/Yaveに一致させる代わりに、評価値群{Y1,Y2,…,YN}の最大値Ymaxに対する、基準評価値群{X1,X2,…,XN}の最大値Xmaxの比Xmax/Ymax、あるいは、評価値群{Y1,Y2,…,YN}の最小値Yminに対する、基準評価値群{X1,X2,…,XN}の最小値Xminの比Xmin/Yminに一致させるようにしてもよい。また、評価値群{Y1,Y2,…,YN}と分散σYに対する基準評価値群{X1,X2,…,XN}の分散σXの比σX/σYに一致させるようにしてもよい。分散の代わりに標準偏差の比に一致させるようにしてもよい。このように、係数αを評価値群{Y1,Y2,…,YN}の分布を表す特徴量に対する基準評価値群の分布を表す特徴量の比に設定すれば、その特徴量が何であるかに関わらず、校正後に得られる評価値群の特徴量を、撮像装置110が適正な状態のときに得られるであろう評価値群の特徴量に一致させることができる。
<後処理工程>
以上のようにして係数αの設定が完了すると後処理工程が実施される。後処理工程においては、校正後評価値判定部126が、新たに設定された係数αを用いた校正を行なうか否かを判断する。校正を行なう場合、校正後評価値判定部126は、校正情報保存部127に保存されている係数αを、新たに設定された係数αに置き換える(これにより、以後、新たに設定された係数αを用いた校正が行なわれることになる)。校正を行なわない場合、光学系調整指示部128が、光学系の物理的な再調整を促すメッセージを、ユーザに提示する(ここでは、当該メッセージを表示部140に表示させることによって提示を行なうが、音声による提示を行なうなどしてもよい)。
校正後評価値判定部126により校正を行なうか否かの判断を行うのは、新たに設定された係数αを用いた校正により評価値のばらつきが大きくなって、検査に悪影響を及ぼす(検出結果の安定性を損なう)事態を回避するためである。なお、説明の便宜上、以下では、評価値としてコントラスト体積を想定し、校正後の評価値が予め定められた検出閾値Vthを上回っているときに、評価対象物200に欠陥があると判定するものとする。
回避すべき第1の事態は、テストパタン上の欠陥が、基準評価値群{X1,X2,…,XN}の何れに基づいて欠陥の有無を判定しても「欠陥あり」との判定結果が得られる欠陥であるにも関わらず、校正後評価値群{αY1,αY2,…,αYN}の何れかに基づいて欠陥の有無を判定すると、「欠陥なし」との判定結果が得られてしまう事態である。
図7(a)に示したように、評価値群{Y1,Y2,…,YN}の平均値Yaveが基準評価値群{X1,X2,…,XN}の平均値Xaveを下回っている場合、(3)式によりαは1より大きな値に設定される。このため、校正後評価値群{αY1,αY2,…,αYN}のばらつきは、図7(b)や図7(c)に示したように、校正前評価値群{Y1,Y2,…,YN}のばらつきよりも大きくなる。
校正後評価値群{αY1,αY2,…,αYN}のばらつきが大きくなったとしても、図7(b)に示したように、校正後評価値群{αY1,αY2,…,αYN}の最小値αYminが検出閾値Vthを上回っていれば、上記のような事態には至らない。しかし、図7(c)に示したように、校正によりばらつきが増大した結果、校正後評価値群{αY1,αY2,…,αYN}の最小値αYminが検出閾値Vthを下回るようになると、少なくとも校正後評価値αYminに対して「欠陥なし」という誤った判定結果を得ることになる。
そこで、校正後評価値判定部126は、(4)式左辺によって定義される評価値群{Y1,Y2,…,YN}のばらつきの大きさを、(4)式右辺によって定義される閾値と比較することによって、校正を行なうか否かを判断する。より具体的には、(4)式が真であるとき、「校正を行なう」と判断し、(4)式が偽であるとき、「校正を行なわない」と判断することによって、上記のごとき誤判定を回避する。
Figure 2010066102
なお、(4)式の真偽に基づいて校正を行なうか否かを決定することにより、上記のごとき誤判定を回避可能な理由は以下のとおりである。
まず、何れの評価値に基づいて欠陥の有無を判定しても「欠陥あり」と判定される基準評価値群{X1,X2,…,XN}に対して、(5)式が成り立つ。
Figure 2010066102
今、評価値群{Y1,Y2,…,YN}を係数αを用いて校正したとすると、校正後評価値群{αY1,αY2,…,αYN}の平均値、最大値、及び最小値は、それぞれ、αYave、αYmax、及びαYminとなる。ここで、Yave、Ymax、及びYminは、それぞれ、評価値群{Y1,Y2,…,YN}の平均値、最大値、及び最小値である。このとき、(6)式が成り立つ。
Figure 2010066102
ここで、校正後評価値群{αY1,αY2,…,αYN}について、基準評価値群{X1,X2,…,XN}と同様に、何れの評価値に基づいて欠陥の有無を判定しても「欠陥あり」と判定されるためには、(7)式を満たすことが必要である。
Figure 2010066102
(6)式を用いて(7)式を変形すれば(4)式が得られる。すなわち、(4)式が真であれば、校正後評価値群{αY1,αY2,…,αYN}の何れに基づいて欠陥の有無を判定しても、基準評価値群{X1,X2,…,XN}に基づく判定と同様に、「欠陥あり」の判定結果が得られることが保証される。
回避すべき第2の事態は、テストパタン上の欠陥が、基準評価値群{X’1,X’2,…,X’N}の何れに基づいて欠陥の有無を判定しても「欠陥なし」との判定結果が得られる欠陥であるにも関わらず、図7(d)に示したように、校正後評価値群{αY’1,αY’2,…,αY’N}の何れかに基づいて欠陥の有無を判定をすると、「欠陥あり」との判定結果が得られてしまう事態である。このような場合、図7(d)から分かるように、欠陥ありと判定されるべき評価値群の分布域と、欠陥なしと判定されるべき評価値群の分布域とが重なり合い、欠陥の有無を検出閾値により切り分けることができなくなる。言い換えれば、合否判定のグレーゾーンが生じてしまうことになる。
そこで、校正後評価値判定部126は、(8)式左辺によって定義される評価値群{Y'1,Y'2,…,Y'N}のばらつきの大きさを、(8)式右辺によって定義される閾値と比較することによって、校正を行なうか否かを判断する。より具体的には、(4)式が真であり、かつ、(8)式が真であるとき、「校正を行なう」と判断し、(4)式が偽であるか、または、(8)式が偽であるとき、「校正を行なわない」と判断することによって、上記のごとき誤判定を回避する。
Figure 2010066102
なお、(8)式の真偽に基づいて校正を行なうか否かを決定することにより、上記のごとき誤判定を回避可能な理由は以下のとおりである。
まず、何れの評価値に基づいて欠陥の有無を判定しても「欠陥なし」と判定される基準評価値群{X’1,X’2,…,X’N}に対して、(9)式が成り立つ。
Figure 2010066102
今、評価値群{Y’1,Y’2,…,Y’N}を係数αを用いて校正したとすると、校正後評価値群{αY’1,αY’2,…,αY’N}の平均値、最大値、及び最小値は、それぞれ、αYave、αYmax、及びαYminとなる。このとき、(10)式が成り立つ。
Figure 2010066102
ここで、校正後評価値群{αY’1,αY’2,…,αY’N}について、基準評価値群{X’1,X’2,…,X’N}と同様、何れの評価値に基づいて欠陥の有無を判定しても「欠陥なし」と判定されるためには、(11)式を満たすことが必要である。
Figure 2010066102
(10)式を用いて(11)式を変形すれば(8)式が得られる。すなわち、(8)式が真であれば、校正後評価値群{αY’1,αY’2,…,αY’N}の何れに基づいて欠陥の有無を判定しても、基準評価値群{X’1,X’2,…,X’N}に基づく判定と同様、「欠陥なし」の判定結果が得られることが保証される。
(プログラム及び記録媒体)
最後に、制御装置120に含まれる各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、制御装置120は、各機能を実現する校正プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである校正プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を制御装置120に供給し、制御装置120がその記録媒体に記録されているプログラムコードを読み出し実行することによっても達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、制御装置120を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して制御装置120に供給するようにしてもよい。この通信ネットワークとしては、とくに限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、とくに限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
(付記事項)
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
なお、本発明は、例えば、以下のように表現することも可能である。
1.平面物を対象とし低解像度画像から生成した高解像度画像を用いて検査を行う画像検査装置において、評価対象パタンに対して撮像位置をずらしながら撮像した複数枚の画像を用いることによって高解像度画像を生成する手段と、前記高解像度画像について撮像位置をずらしながら複数枚生成し対象パタンの評価値を高解像度画像ごとに測定する手段と、前記高解像度画像の評価値と予め定めた基準値からばらつきを考慮して装置校正のための補正係数を算出する手段を備えることを特徴とした、校正装置。
2.前記画像検査装置において、評価対象パタンとレンズ、撮像素子との相対位置を機械的に制御された駆動部を用いて任意の値だけずらして複数枚撮像し、撮像した複数枚の低解像度画像をずらした位置を基に再配置することによって高解像度画像を生成することを特徴とする1記載の校正装置。
3.前記画像検査装置において、評価対象パタンとレンズ、撮像素子との相対位置を機械的に制御された駆動部を用いて高解像度化に必要な位置ずれ量以下の移動量でずらして複数枚撮像し、撮像位置の異なる複数枚の高解像度画像を生成することを特徴とする1記載の校正装置。
4.前記画像検査装置において、複数枚生成した高解像度画像から評価値を測定し、位置ずれによる評価値のばらつきを考慮して基準値のデータ群との比較により補正係数を算出することを特徴とする1記載の校正装置。
5.前記基準値のデータ群は、評価対象パタンとレンズ、撮像素子との相対位置の位置ずれを考慮してフォーカス、光軸、輝度等の光学系について最適な条件で評価値を測定、もしくは計算によって算出することを特徴とする1記載の校正装置。
6.前記光学系の最適な条件は、合焦状態で、光軸のずれがなく、評価対象パタンの評価値が十分な大きさで検出できる状態であることを特徴とする校正装置。
7.前記補正係数を用いた校正後において、補正係数による評価値のばらつきが前記予め定めた基準値のばらつき以下であるかを判定し基準値を越える場合には物理的な調整をオペレータに促すことを特徴とする1記載の校正装置。
本発明は、各種評価対象物における各種欠陥を検出するために利用することができる。欠陥の種類は、撮像画像に像として捉え得るものであればよく、評価対象物の種類は、そのような欠陥を含み得るものであれば何でもよい。特に、液晶表示パネルなどの表示装置における黒点欠陥や輝点欠陥などの欠陥の検出にとりわけ好適に利用することができる。
本発明の実施形態を示すものであり、評価装置の概略構成を示す外観図である。 本発明の実施形態を示すものであり、制御装置の構成を示すブロック図である。 本発明の実施形態を示すものであり、校正時に評価対象物となるテストパタンの一例を示す図である。 本発明の実施形態を示すものであり、高解像度画像の生成に利用される撮像画像群を例示した図である。 本発明の実施形態を示すものであり、アクチュエータに駆動された固体撮像素子の動きを示す図である。 本発明の実施形態を示すものであり、高解像度化処理によって生成されるN枚の高解像度画像、及び、これらの高解像度画像を生成するために参照されるM×N枚の撮像画像を示す図である。 本発明の実施形態を説明するためのものであり、各種評価値のばらつきの大きさを示す図である。
符号の説明
100 評価装置
110 撮像装置
111 光学系
112 固体撮像素子(撮像素子)
113 アクチュエータ(駆動機構)
120 制御装置
121 アクチュエータ制御部(制御手段)
122 画像データ保存部
123 高解像度化処理部(生成手段)
124 評価値算出部(算出手段)
125 係数設定部(設定手段)
126 校正後評価値判定部
127 校正情報保存部
128 光学系調整指示部(提示手段)
130 表示装置

Claims (10)

  1. 評価対象物を撮像して得られた撮像画像に基づいて当該評価対象物の評価値を算出する評価装置であって、
    所定のパタンで配置された複数の撮像位置から特定評価対象物を撮像する撮像動作を、該複数の撮像位置全体をシフトしながら繰り返すよう撮像装置を制御する制御手段と、
    繰り返された撮像動作の各々において上記撮像装置により撮像された撮像画像群から該撮像装置の撮像解像度より高解像度の高解像度画像を生成する生成手段と、
    上記生成手段により生成された高解像度画像の各々に基づいて評価値を算出する算出手段と、
    当該評価装置の校正のために評価値に乗じる係数を、上記算出手段により算出された評価値群の分布を特徴付ける特徴量に対する、予め設定された基準評価値群の分布を特徴付ける特徴量の比に設定する設定手段と、を備えている、
    ことを特徴とする評価装置。
  2. 上記制御手段は、上記撮像装置が備えている撮像素子を駆動する駆動機構を制御するものであり、上記複数の撮像位置を巡回するように該撮像素子を駆動する駆動動作を、該複数の撮像位置全体をシフトしながら繰り返すよう該駆動機構を制御する、
    ことを特徴とする請求項1に記載の評価装置。
  3. 上記基準評価値群は、上記撮像装置が適正な状態に調整されているときに、上記算出手段により算出される評価値群である、
    ことを特徴とする請求項1に記載の評価装置。
  4. 上記適正な状態は、上記撮像装置が備えている対物レンズの光軸が上記評価対象物の評価対象面と直交し、かつ、該対物レンズを介して入射した入射光が該撮像装置が備えている撮像素子の受光面上に合焦した状態である、
    ことを特徴とする請求項3に記載の評価装置。
  5. 上記特徴量は、平均値、最大値、最小値、分散、もしくは標準偏差のうちの何れか、または、これらの組み合わせである、
    ことを特徴とする請求項1から4までの何れか1項に記載の評価装置。
  6. 上記算出手段により算出された評価値群のばらつきの大きさが所定の閾値より小さい場合に限って、上記設定手段により設定された係数を用いた評価値の校正を行なう、ことを特徴とする請求項1から5までのいずれか1項に記載の評価装置。
  7. 上記算出手段により算出された評価値群のばらつきの大きさが所定の閾値より大きい場合に、上記撮像装置の物理的な調整を促すメッセージを提示する提示手段を備えている、
    ことを特徴とする請求項6に記載の評価装置。
  8. 評価対象物を撮像して得られた撮像画像に基づいて当該評価対象物の評価値を算出する評価装置の校正方法であって、
    所定のパタンで配置された複数の撮像位置から特定評価対象物を撮像する撮像動作を、該複数の撮像位置全体をシフトしながら繰り返すよう撮像装置を制御する制御工程と、
    繰り返された撮像動作の各々において上記撮像装置により撮像された撮像画像群から該撮像装置の撮像解像度より解像度の高い高解像度画像を生成する生成工程と、
    上記生成工程において生成された高解像度画像の各々に基づいて評価値を算出する算出工程と、
    当該評価装置の校正のために評価値に乗じる係数を、上記算出工程において算出された評価値群の分布を特徴付ける特徴量に対する、予め設定された基準評価値群の分布を特徴付ける特徴量の比に設定する設定工程と、を含んでいる、
    ことを特徴とする校正方法。
  9. コンピュータに請求項8に記載の校正方法を実行させるため校正プログラムであって、該コンピュータに上記各工程を実行させる校正プログラム。
  10. 請求項9に記載の校正プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2008232255A 2008-09-10 2008-09-10 評価装置、校正方法、校正プログラム、及び、記録媒体 Active JP4416827B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008232255A JP4416827B1 (ja) 2008-09-10 2008-09-10 評価装置、校正方法、校正プログラム、及び、記録媒体
CN200980134847.6A CN102144156B (zh) 2008-09-10 2009-09-10 评价装置及校正方法
PCT/JP2009/065861 WO2010029976A1 (ja) 2008-09-10 2009-09-10 評価装置、校正方法、校正プログラム、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008232255A JP4416827B1 (ja) 2008-09-10 2008-09-10 評価装置、校正方法、校正プログラム、及び、記録媒体

Publications (2)

Publication Number Publication Date
JP4416827B1 JP4416827B1 (ja) 2010-02-17
JP2010066102A true JP2010066102A (ja) 2010-03-25

Family

ID=42005226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008232255A Active JP4416827B1 (ja) 2008-09-10 2008-09-10 評価装置、校正方法、校正プログラム、及び、記録媒体

Country Status (3)

Country Link
JP (1) JP4416827B1 (ja)
CN (1) CN102144156B (ja)
WO (1) WO2010029976A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015206702A (ja) * 2014-04-22 2015-11-19 キヤノン株式会社 画像検査方法、および画像検査装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013031900A1 (ja) * 2011-08-31 2013-03-07 シャープ株式会社 配線欠陥検出方法および配線欠陥検出装置、並びに半導体基板の製造方法
CN104081756B (zh) * 2012-02-03 2017-07-11 松下电器产业株式会社 评价方法以及评价装置
CN103630542B (zh) * 2012-08-27 2018-03-20 Ntn株式会社 缺陷检测装置、缺陷修正装置及缺陷检测方法
CN106645211B (zh) * 2016-12-28 2019-07-12 武汉华星光电技术有限公司 用于矫正干蚀刻机台的扫描传感器的检测治具及方法
JP6614186B2 (ja) * 2017-03-21 2019-12-04 カシオ計算機株式会社 帳簿書類処理装置、帳簿書類処理方法、及びプログラム
JP7106851B2 (ja) * 2017-12-12 2022-07-27 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11336831B2 (en) 2018-07-06 2022-05-17 Canon Kabushiki Kaisha Image processing device, control method, and program storage medium
JP2021085788A (ja) * 2019-11-28 2021-06-03 株式会社リコー 評価装置、評価方法
WO2021145286A1 (ja) * 2020-01-14 2021-07-22 三菱電機株式会社 信号処理装置
CN113804833B (zh) * 2021-09-17 2022-04-29 重庆大学 基于凸集投影和极限学习机的电子鼻漂移通用校准方法
CN116193240B (zh) * 2023-04-27 2023-10-03 天津奇立软件技术有限公司 一种电子设备状态评估方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62214334A (ja) * 1986-03-17 1987-09-21 Mitsubishi Electric Corp 表面欠陥探傷装置
US5768443A (en) * 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
JP3672371B2 (ja) * 1996-02-23 2005-07-20 松下電器産業株式会社 撮像手段による実空間長測定方法及び光学系の校正方法、並びに光学系の校正に用いる基準ゲージ
JP2000004404A (ja) * 1998-06-15 2000-01-07 Sharp Corp 撮像装置
CN2452021Y (zh) * 2000-11-29 2001-10-03 中国科学院大连化学物理研究所 微型激光诱导荧光检测器观测校准装置
JP2002318200A (ja) * 2001-04-20 2002-10-31 Hitachi Eng Co Ltd 撮像カメラを利用した容器等の被検体検査装置
JP4021351B2 (ja) * 2003-03-24 2007-12-12 株式会社新川 ボンディング用照明装置及びボンディング用照明装置の較正方法
DE10318500A1 (de) * 2003-04-24 2004-11-25 Robert Bosch Gmbh Vorrichtung und Verfahren zur Kalibrierung eines Bildsensors
JP2005025503A (ja) * 2003-07-02 2005-01-27 Sharp Corp フィルタの設計方法、フィルタ、欠陥検査方法および欠陥検査装置
US7899636B2 (en) * 2004-12-15 2011-03-01 Koninklijke Philips Electronics N.V. Calibration of optical analysis making use of multivariate optical elements
JP2006197216A (ja) * 2005-01-13 2006-07-27 Olympus Imaging Corp ブレ補正機能付き撮影装置及びブレ補正方法
JP2007309760A (ja) * 2006-05-18 2007-11-29 Canon Chemicals Inc 欠陥検出方法および装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015206702A (ja) * 2014-04-22 2015-11-19 キヤノン株式会社 画像検査方法、および画像検査装置

Also Published As

Publication number Publication date
CN102144156A (zh) 2011-08-03
CN102144156B (zh) 2013-10-02
JP4416827B1 (ja) 2010-02-17
WO2010029976A1 (ja) 2010-03-18

Similar Documents

Publication Publication Date Title
JP4416827B1 (ja) 評価装置、校正方法、校正プログラム、及び、記録媒体
CN103327273B (zh) 图像处理装置、投影仪以及投影仪的控制方法
JP5445363B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
TW200421162A (en) Image processing system, projector, information memory media and image processing method
US20090185034A1 (en) Imaging device for microscope
JP5453573B2 (ja) 撮像装置、撮像方法およびプログラム
JP5911296B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP5242248B2 (ja) 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び、記録媒体
WO2014171304A1 (ja) 撮像装置、撮像装置駆動方法、撮像装置制御プログラム
WO2010001973A1 (ja) 画像検査処理装置、画像検査処理方法、プログラム、及び、記録媒体
JP5238931B2 (ja) Hdr画像生成方法および同方法を用いるデジタル撮像素子
JP6479178B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2007208698A (ja) 映像照射装置
JP2008003063A (ja) シェーディング補正方法、欠陥検出方法、欠陥検出装置、欠陥検出装置の制御方法プログラム
US20130076940A1 (en) Photographing apparatus and method of detecting distortion thereof
JP2008306492A (ja) 画像処理装置、画像処理システム、画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
WO2013115356A1 (ja) 画像表示装置、電子機器、電子カメラ、及び情報端末
JP4936222B2 (ja) 動きベクトル照合装置、画像合成装置及びプログラム
JP2010068241A (ja) 撮像素子、撮像装置
JP2005249946A (ja) 表示装置の欠陥検査装置
JP2007082004A (ja) 画像入力装置、画像入力方法
JP5110260B2 (ja) プロジェクタ、プログラム、情報記憶媒体および画像歪み補正方法
JP4830511B2 (ja) フレア検査装置、フレア検査方法、フレア検査プログラム、及び記録媒体
JP6053449B2 (ja) 顕微鏡
JP2013150170A (ja) 撮像装置および顕微鏡システム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091124

R150 Certificate of patent or registration of utility model

Ref document number: 4416827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

SG99 Written request for registration of restore

Free format text: JAPANESE INTERMEDIATE CODE: R316G99

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350