JP2022105284A - 原子顕微鏡で試料位置を認識するための方法及び装置 - Google Patents

原子顕微鏡で試料位置を認識するための方法及び装置 Download PDF

Info

Publication number
JP2022105284A
JP2022105284A JP2021206218A JP2021206218A JP2022105284A JP 2022105284 A JP2022105284 A JP 2022105284A JP 2021206218 A JP2021206218 A JP 2021206218A JP 2021206218 A JP2021206218 A JP 2021206218A JP 2022105284 A JP2022105284 A JP 2022105284A
Authority
JP
Japan
Prior art keywords
sample
target sample
recognizing
atomic microscope
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021206218A
Other languages
English (en)
Other versions
JP7355982B2 (ja
Inventor
アン チョンフン
Jeonghun An
チョ ヨンサン
Yongsung Cho
パク サン-イル
Sang-Il Park
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Park Systems Corp
Original Assignee
Park Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Park Systems Corp filed Critical Park Systems Corp
Publication of JP2022105284A publication Critical patent/JP2022105284A/ja
Application granted granted Critical
Publication of JP7355982B2 publication Critical patent/JP7355982B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01QSCANNING-PROBE TECHNIQUES OR APPARATUS; APPLICATIONS OF SCANNING-PROBE TECHNIQUES, e.g. SCANNING PROBE MICROSCOPY [SPM]
    • G01Q30/00Auxiliary means serving to assist or improve the scanning probe techniques or apparatus, e.g. display or data processing devices
    • G01Q30/04Display or data processing devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01QSCANNING-PROBE TECHNIQUES OR APPARATUS; APPLICATIONS OF SCANNING-PROBE TECHNIQUES, e.g. SCANNING PROBE MICROSCOPY [SPM]
    • G01Q30/00Auxiliary means serving to assist or improve the scanning probe techniques or apparatus, e.g. display or data processing devices
    • G01Q30/02Non-SPM analysing devices, e.g. SEM [Scanning Electron Microscope], spectrometer or optical microscope
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01QSCANNING-PROBE TECHNIQUES OR APPARATUS; APPLICATIONS OF SCANNING-PROBE TECHNIQUES, e.g. SCANNING PROBE MICROSCOPY [SPM]
    • G01Q20/00Monitoring the movement or position of the probe
    • G01Q20/02Monitoring the movement or position of the probe by optical means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01QSCANNING-PROBE TECHNIQUES OR APPARATUS; APPLICATIONS OF SCANNING-PROBE TECHNIQUES, e.g. SCANNING PROBE MICROSCOPY [SPM]
    • G01Q30/00Auxiliary means serving to assist or improve the scanning probe techniques or apparatus, e.g. display or data processing devices
    • G01Q30/20Sample handling devices or methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01QSCANNING-PROBE TECHNIQUES OR APPARATUS; APPLICATIONS OF SCANNING-PROBE TECHNIQUES, e.g. SCANNING PROBE MICROSCOPY [SPM]
    • G01Q40/00Calibration, e.g. of probes
    • G01Q40/02Calibration standards and methods of fabrication thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01QSCANNING-PROBE TECHNIQUES OR APPARATUS; APPLICATIONS OF SCANNING-PROBE TECHNIQUES, e.g. SCANNING PROBE MICROSCOPY [SPM]
    • G01Q60/00Particular types of SPM [Scanning Probe Microscopy] or microscopes; Essential components thereof
    • G01Q60/02Multiple-type SPM, i.e. involving more than one SPM techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01QSCANNING-PROBE TECHNIQUES OR APPARATUS; APPLICATIONS OF SCANNING-PROBE TECHNIQUES, e.g. SCANNING PROBE MICROSCOPY [SPM]
    • G01Q60/00Particular types of SPM [Scanning Probe Microscopy] or microscopes; Essential components thereof
    • G01Q60/24AFM [Atomic Force Microscopy] or apparatus therefor, e.g. AFM probes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only

Abstract

【課題】原子顕微鏡を駆動するために、自動的に測定位置を認識するための方法及び装置が提供される。【解決手段】原子顕微鏡で試料位置を認識するための方法は、ビジョン部170を通して対象試料132が含まれたビジョン映像を受信するステップ;ビジョン映像を入力として対象試料領域を出力するように構成された予測モデルを利用して、ビジョン映像内で対象試料領域を決定するステップ;対象試料領域に基づいて前記対象試料の位置を決定するステップを含む。【選択図】図1a

Description

本発明は、原子顕微鏡で試料位置を認識するための方法及び装置に関する。
一般に、走査プローブ顕微鏡(Scanning Probe Microscope、SPM)は、カンチレバー(cantilever)とカンチレバーに付いたプローブを含むプローブ(probe)を通して対象試料である試料の表面をスキャン(scan)して、プローブが試料の表面に近接するとき、試料とプローブとの間に相互作用する物理量を測定する装置を意味する。
このような走査プローブ顕微鏡は、走査トンネル顕微鏡(Scanning Tunneling Microscope、STM)及び原子力顕微鏡(Atomic Force Microscope、AFM)(以下、「原子顕微鏡」という)を含むことができる。
ここで、原子顕微鏡は、原子顕微鏡に備えられた光学部のレーザ光がカンチレバーのプローブに対応する位置に照射され、これによってカンチレバーが反るにつれプローブが試料の表面をスキャンすることで、試料の表面の形状(または屈曲)をイメージ化した試料映像を獲得することができる。
このように原子顕微鏡を駆動するために、ユーザは、マニュアルを利用して原子顕微鏡を駆動するための多様な設定値のうち一つで試料の測定位置が設定され得る。このとき、試料が変更されても同じフィーチャー(feature)を繰り返して測定する場合が多いため、自動的に測定位置を認識することが必要である。
従って、原子顕微鏡で試料位置を正確に認識するための方法及び装置が要求される。
背景技術は、本発明に対する理解をより容易にするために作成された。背景技術に記載の事項が先行技術として存在すると認めるものと理解されてはならない。
本発明の発明者らは、ユーザが測定位置を手動で確認し、チップを移動させることが原子顕微鏡の使用性を低下させるという事実を認識した。
特に、本発明の発明者らは、原子顕微鏡のキャリブレーション(calibration)ステップで自動でサンプルの位置を認識してキャリブレーションを遂行することが使用性の増大に役立つという点を認知することができた。
これを解決するための方案として、本発明の発明者らは、試料の位置を機械学習されたモデル、さらに識別因子を利用して正確に認識できる方法及び装置を発明した。
そこで、本発明が解決しようとする課題は、原子顕微鏡で試料位置を認識するための方法及び装置を提供することである。
本発明の課題は、以上において言及した課題に制限されず、言及されていないまた他の課題は、下記の記載から当業者に明確に理解され得るだろう。
前述したような課題を解決するために、原子顕微鏡で試料位置を認識するための方法及び装置が提供される。
本発明の実施例に係る原子顕微鏡で試料位置を認識するための方法は、原子顕微鏡の制御部によって遂行される試料位置を認識するための方法であり、ビジョン部を通して対象試料が含まれたビジョン映像を受信するステップ、ビジョン映像を入力として対象試料領域を出力するように構成された予測モデルを利用して、ビジョン映像内で対象試料領域を決定するステップ、対象試料領域に基づいて対象試料の位置を決定するステップを含む。
本発明の他の実施例に係る原子顕微鏡で試料位置を認識するための方法は、ビジョン部の撮影アングル内に識別因子を配置するステップ、識別因子と離隔された領域に対象試料を配置するステップ、ビジョン部を通して前記識別因子を認識するステップ、及び識別因子に基づいて前記対象試料の位置を決定するステップを含む。
本発明のまた他の実施例に係る原子顕微鏡で試料位置を認識するための装置は、ビジョン部を通して対象試料が含まれたビジョン映像を獲得するビジョン部、及びビジョン部と動作可能に連結された制御部を含む。このとき、制御部は、ビジョン映像を入力として対象試料領域を出力するように構成された予測モデルを利用して、ビジョン映像内で対象試料領域を決定し、対象試料領域に基づいて対象試料の位置を決定するように構成される。
その他の実施例の具体的な事項は、詳細な説明及び図面に含まれている。
本発明は、原子顕微鏡を駆動するためにユーザが試料の位置を別に設定する必要なく原子顕微鏡が試料位置を自動で認識して設定することができる。
また、本発明は、試料位置を認識するために人工神経網モデルを利用することで、試料位置を認識するための演算速度を速くして原子顕微鏡の認識性能を向上させることができる。
より具体的に、ビジョン映像の対照度、照度、彩度等の属性が変化するか試料のパターンの一部が変化してもパターン認識基盤の人工神経網モデルにより試料位置が高い正確度で決定され得る。
さらに、非常に小さな大きさの試料に対する正確な位置把握が可能であり得る。
即ち、試料位置認識方法及び装置の提供によって、ユーザは、試料の位置を正確に知らなくても人工神経網モデルにより試料の位置設定が可能であることで原子顕微鏡を容易に駆動させることができる。
特に、本発明は、試料の正確な位置設定が重要な原子顕微鏡のキャリブレーション(calibration)ステップに適用され得る。そこで、ユーザは、容易に原子顕微鏡の駆動のためのキャリブレーションを遂行することができる。
本発明に係る効果は、以上において例示した内容により制限されず、さらに多様な効果が本明細書内に含まれている。
本発明の実施例に係る原子顕微鏡を説明するための概略図である。 本発明の実施例に係る原子顕微鏡を説明するための概略図である。 本発明の実施例に係る原子顕微鏡を説明するための概略図である。 本発明の実施例に係る電子装置の概略的なブロック図である。 本発明の一実施例によって対象試料のビジョン映像を利用して試料の位置を認識する方法を説明するための例示図である。 本発明の実施例に係る試料の位置を認識するために利用される予測モデルを利用した試料領域決定ステップを説明するための例示図である。 本発明の実施例に係る試料の位置を認識するために利用される予測モデルを利用した試料領域決定ステップを説明するための例示図である。 本発明の実施例に係る試料の位置を認識するために利用される予測モデルの学習データ及び評価結果を示したものである。 本発明の実施例に係る試料の位置を認識するために利用される予測モデルの学習データ及び評価結果を示したものである。 本発明の実施例に係る試料の位置を認識するために利用される予測モデルの学習データ及び評価結果を示したものである。 本発明の実施例に係る試料の位置を認識するために利用される予測モデルの学習データ及び評価結果を示したものである。 本発明の実施例に係る原子顕微鏡で試料の位置を認識するための方法を利用した原子顕微鏡のキャリブレーション手順を説明するための例示図である。 本発明の実施例に係る原子顕微鏡で試料の位置を認識するための方法を利用した原子顕微鏡のキャリブレーション手順を説明するための例示図である。 本発明の他の実施例に係る原子顕微鏡で試料の位置を認識するための方法の手順を説明するための例示図である。 本発明の他の実施例に係る原子顕微鏡で試料の位置を認識するための方法の手順を説明するための例示図である。
本発明の利点及び特徴、そして、それらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すると、明確になるだろう。しかし、本発明は、以下において開示される実施例に限定されるものではなく、互いに異なる多様な形態に具現され、単に、本実施例は、本発明の開示が完全なものとなるようにし、本発明の属する技術の分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇により定義されるだけである。図面の説明と関連して、類似した構成要素に対しては、類似した参照符号が使用され得る。
本文書において、「有する」、「有することができる」、「含む」、または「含むことができる」等の表現は、該当特徴(例:数値、機能、動作、または部品等の構成要素)の存在を指し、さらなる特徴の存在を排除しない。
本文書において、「AまたはB」、「Aまたは/およびBのうち少なくとも一つ」、または「Aまたは/およびBのうち一つまたはそれ以上」等の表現は、共に並べられた項目の全ての可能な組み合わせを含むことができる。例えば、「AまたはB」、「A及びBのうち少なくとも一つ」、または「AまたはBのうち少なくとも一つ」は、(1)少なくとも一つのAを含む、(2)少なくとも一つのBを含む、または(3)少なくとも一つのA及び少なくとも一つのBをいずれも含む場合を全て指すことができる。
本文書において使用された「第1」、「第2」、「一番目」、または「二番目」等の表現は、多様な構成要素を、順序および/または重要度に関係なく修飾でき、ある構成要素を他の構成要素と区分するために使用されるだけで該当構成要素を限定しない。例えば、第1ユーザ機器と第2ユーザ機器は、順序または重要度と関係なく、互いに異なるユーザ機器を示し得る。例えば、本文書に記載の権利範囲を外れずに第1構成要素は第2構成要素と命名され得、類似するように第2構成要素も第1構成要素に変えて命名され得る。
ある構成要素(例:第1構成要素)が他の構成要素(例:第2構成要素)に「(機能的または通信的に)連結されて((operatively or communicatively)coupled with/to)」いるとか「接続されて(connected to)」いると言及された時には、前記ある構成要素が前記他の構成要素に直接的に連結されるか、他の構成要素(例:第3構成要素)を通して連結され得ると理解されるべきである。これに対して、ある構成要素(例:第1構成要素)が他の構成要素(例:第2構成要素)に「直接連結されて」いるとか「直接接続されて」いると言及された時には、前記ある構成要素と前記他の構成要素との間に他の構成要素(例:第3構成要素)が存在しないものと理解され得る。
本文書において使用された表現「~するように構成された(または設定された)(configured to)」は、状況に応じて、例えば、「~に適した(suitable for)」、「~する能力を有する(having the capacity to)」、「~するように設計された(designed to)」、「~するように変更された(adapted to)」、「~するように作られた(made to)」、または「~ができる(capable of)」と変えて使用され得る。用語「~するように構成された(または設定された)」は、ハードウェア的に「特に設計された(specifically designed to)」ものだけを必ずしも意味しなくてよい。その代わりに、ある状況では、「~するように構成された装置」という表現は、その装置が他の装置または部品と共に「~できる」ことを意味し得る。例えば、文句「A、B、及びCを遂行するように構成された(または設定された)プロセッサ」は、該当動作を遂行するための専用プロセッサ(例:エンベデッドプロセッサ)、またはメモリ装置に格納された一つ以上のソフトウェアプログラムを実行することで、該当動作を遂行することのできる汎用プロセッサ(generic-purpose processor)(例:CPUまたはapplication processor)を意味し得る。
本文書において使用された用語は、単に、特定の実施例を説明するために使用されたものであり、他の実施例の範囲を限定しようとする意図でなくてよい。単数の表現は、文脈上明らかに異に意味しない限り、複数の表現を含むことができる。技術的または科学的な用語を含めてここで使用される用語は、本文書に記載の技術の分野における通常の知識を有する者により一般的に理解されるものと同じ意味を有し得る。本文書に使用された用語のうち一般的な辞書に定義された用語は、関連技術の文脈上有する意味と同一または類似した意味に解釈され得、本文書において明らかに定義されない限り、理想的または過度に形式的な意味に解釈されない。場合によって、本文書において定義された用語であっても本文書の実施例を排除するように解釈され得ない。
本発明の様々な実施例のそれぞれの特徴は、部分的または全体的に互いに結合または組み合わせ可能であり、当業者が十分に理解できるように技術的に多様な連動及び駆動が可能であり、各実施例が互いに対して独立して実施可能であってもよく、関連関係で共に実施可能であってもよい。
本明細書において、映像(image)は、静止画像(still image)および/または動画(video)であってよいが、これに限定されない。
以下、添付の図面を参照して、本発明の多様な実施例を詳細に説明する。
図1a、図1b及び図1cは、本発明の実施例に係る原子顕微鏡を説明するための概略図である。提示された実施例においては、XYスキャナとZスキャナが分離された原子顕微鏡を説明する。
図1a及び図1bを参照すると、原子顕微鏡100は、試料の表面的な特性を原子単位にイメージ化して分析及び観察できるようにするための顕微鏡装置であり、チップ(tip)とカンチレバー(cantilever)を含むプローブ110、Zスキャナ122及びプローブアーム(probe arm)124を含むヘッド120、レーザ光をプローブ110のカンチレバーの表面に照射する光学部126、カンチレバーの表面で反射したレーザ光の位置を検出する光学検出部128、試料132が取り付けられ、試料132を移動させるXYスキャナ130、試料132及びXYスキャナ130を移動させるXYステージ140、ヘッド120を移動させるZステージ150、固定フレーム160、プローブ110および/または試料132の表面を示すビジョン部(vision unit)170及びこれらを制御する制御部180を含む。
まず、プローブ110は、チップとカンチレバーを備え、チップが試料132の表面に接触または非接触状態で沿うように構成され得る。プローブ110は、製造会社、モデル、および/またはバージョン等によって多様な形態のチップで構成され得るが、これに限定されない。
ヘッド120に含まれるZスキャナ122は、プローブアーム124を通してプローブ110と連結され、プローブアーム124をZ方向(例:上下)に変位させることで、プローブ110もまたZ方向に移動させることができる。
Zスキャナ122の駆動は、例えば、圧電アクチュエータ(piezoelectric actuator)により遂行され得るが、これに限定されず、XYスキャナ130と分離された場合、積層された圧電駆動機(staced piezo)によって遂行され得る。多様な実施例において、プローブ110の高さを移動させるために、チューブスキャナ(tube scanner、図示しない)が利用されてもよい。
ヘッド120に含まれるプローブアーム124は、端部にプローブ110が固定される。
光学部126は、カンチレバーの上面でプローブ110に対応する目標位置にレーザ光を照射する。目標位置に照射されたレーザ光によりカンチレバーが反るかねじれるようになってプローブ110が対象試料の表面をスキャンするようになる。
カンチレバーから反射したレーザ光は、PSPD(Position Sensitive Position Detector)のような光学検出部128に結像するようになる。カンチレバーの反りまたはねじれによって光学検出部128に結像したレーザ光のスポット動きが検出され、これを通して試料132上に配置された試料に対する表面情報が獲得され得る。
XYスキャナ130は、プローブ110が試料132の表面に対して少なくとも第1方向に相対移動するように、試料132を移動させることができる。具体的に、XYスキャナ130は、試料132をXY平面でX方向及びY方向にスキャンできる。
XYステージ140は、試料132及びXYスキャナ130を相対的に大きな変位でX方向及びY方向に移動させることができる。このようなXYステージ140は、固定フレーム160が固定され得る。
Zステージ150は、ヘッド120を相対的に大きな変位でZ方向に移動させることができる。
固定フレーム160は、XYステージ140及びZステージ150を固定させることができる。
ビジョン部170は、プローブ110または試料132を示すことができる。このようなビジョン部170は、鏡筒、対物レンズ、光供給装置及びCCDカメラを含み、光供給装置から光の供給を受けて対物レンズにより拡大された画像がCCDカメラに視認可能に変換されて別途の表示装置を通して表示され得る。ビジョン部170の具体的な構成は、公知の構成であるので、図示しないことに留意すべきである。
多様な実施例において、ビジョン部170は、試料132の表面の試料映像を撮影できるon Axisカメラであってよいが、これに制限されるものではない。例えば、ビジョン部170は、on Axisカメラより低い倍率(または、視野)の映像を撮影できるoff Axisカメラであってもよい。
多様な実施例において、ビジョン部170は、撮影アングル内に予め配置された識別因子を認識し、識別因子に基づいて、識別因子と離隔された領域に予め配置された対象試料に対するビジョン映像を獲得できる。
このとき、識別因子は、QRコード(登録商標)、バーコード、NFCタグ、RFIDタグ及びOCRコードのうち少なくとも一つであってよいが、これに制限されるものではなく、文字、図形等の標識であってもよい。
多様な実施例において、ビジョン部170は、Z軸に移動され得、これを通して試料132の表面を拡大させて示すことができる。このとき、ビジョン部170の焦点は、Z軸に沿って変更され得る。
多様な実施例において、ビジョン部170は、固定フレーム160に固定され得るが、これに限定されず、他の部材に固定され得る。
制御部180は、ヘッド120、光学部126、光学検出部128、XYスキャナ130、Zステージ150、及びビジョン部170と連結され、これらの駆動を制御できる。このような制御部180は、原子顕微鏡に備えられるか、別途の装置として具現され得るが、これに限定されず、上述した構成要素を制御するために多様に具現され得る。
具体的に、制御部180は、光学検出部128から得られた信号に基づいてカンチレバーの反りおよび/またはねじれ等の程度を決定できる。また、制御部180は、XYスキャナ130が対象試料をXY方向にスキャンするための駆動信号をXYスキャナ130に伝達できる。制御部180は、カンチレバーが一定程度の反りを維持するか、カンチレバーが一定の振幅で振動するようにZスキャナ122を制御できる。制御部180は、Zスキャナ122の長さを測定するか、Zスキャナ122に使用されたアクチュエータに印加される電圧等を測定することで、対象試料の表面を形象化した対象試料データ(例:トポグラフィー(topography))を獲得できる。
一方、原子顕微鏡100を駆動するために、ユーザは、原子顕微鏡100を駆動するための多様な設定値のうち一つで試料の測定位置を入力する必要がある。このような試料の測定位置は、原子顕微鏡を駆動して試料を測定するか、駆動前のキャリブレーションステップで正確に設定される必要がある。
試料132の表面上の対象試料の位置を正確に認識するために、制御部180は、ビジョン部170を通して対象試料に関するビジョン映像を獲得し、獲得されたビジョン映像を基盤に対象試料の領域を決定できる。より具体的に、制御部180は、ビジョン映像を入力として対象試料領域を出力するように構成された予測モデルを利用して、ビジョン映像内で対象試料領域を決定し、対象試料領域に基づいて対象試料の位置を決定するように構成され得る。
一実施例で、制御部180は、パターンを学習して対象試料の領域を出力するように学習された予測モデルを利用して、基板上の図形または文字の集合であるパターンを有する対象体と定義される対象試料の位置を決定できる。
このとき、制御部180は、予測モデルを利用して、パターンに対する特徴(feature)を抽出し、特徴に基づいて対象試料の領域を決定できる。
より具体的に、制御部180は、試料132を多様な環境で撮影した複数の参照映像(または学習映像)に基づいて対象試料を認識するように学習された予測モデルを利用して試料の位置を認識できる。ここで、複数の参照映像は、対象試料周辺の照明強度および/またはビジョン部170の焦点距離(即ち、カメラおよび/または対物レンズの焦点距離)等を一定に変化させながら対象試料を撮影した映像であってよい。
このとき、対象試料は、基板上の図形または文字の集合であるパターンを有する対象体であって、ユーザがよく利用する試料、またはキャリブレーションのために予め決定されたパターンを有する試料であってよい。しかし、対象試料の種類は、これに制限されるものではない。
一方、予測モデルは、複数の参照映像を予め学習し、新たに入力されるビジョン映像から対象試料領域を認識するように構成された人工神経網モデルであってよい。多様な実施例において、予測モデルは、予め学習された合成積神経網(CNN:Convolutional Neural Network)であってよいが、これに限定されない。予め学習された合成積神経網は、入力された入力値に対して合成積(convolution)演算を遂行する一つ以上の階層で構成され得、入力値から合成積演算を遂行して出力値を推論できる。例えば、予め学習された合成積神経網は、複数の人工神経網ステージで分類(classification)動作、客体(即ち、対象試料)の境界を含むバウンディングボックス(bounding box)を設定(または調整)するための回帰(bounding box regression)動作、及び客体と客体でない背景を分割(segmentation)するためのバイナリマスキング(binary masking)動作を並行するMask R-CNN(Regions with Convolutional Neural Network)であってよいが、これに限定されず、ビジョン映像内で対象試料領域を分割できる多様な領域分割アルゴリズムに基づくことができる。例えば、予測モデルは、RetinaNet基盤の人工神経網モデルまたはFaster R-CNN基盤の人工神経網モデルであってよい。
このような予測モデルは、一つのステージが分類動作及び回帰動作を遂行して分類結果を示す分類データ及びバウンディングボックスデータを出力し、他の一つのステージがバイナリマスキング動作を遂行して分割データを出力できる。
多様な実施例において、制御部180は、予測モデルを利用してキャリブレーション試料領域を認識し、これに基づいてキャリブレーション試料位置を決定し、試料位置が決定されると、原子顕微鏡100をキャリブレーションすることができる。
即ち、ユーザがキャリブレーション試料を配置すると、制御部180により試料領域が認識され、試料の位置が決定されて、キャリブレーション試料の位置が設定される。その後、キャリブレーションが遂行され得る。
一方、制御部180は、予測モデルにより決定された対象試料領域の中心座標を算出し、これに基づいて対象試料の位置を決定できる。
多様な実施例において、制御部180は、ビジョン部170の撮影アングル内に予め配置された識別因子に基づいて対象試料の位置を決定できる。
より具体的に、ビジョン部170により識別因子が認識され、識別因子近くに配置された対象試料に対するビジョン映像が獲得されると、制御部180は、ビジョン映像を利用して試料の位置を決定できる。
図1cを参照すると、原子顕微鏡100は、プローブ110、Zスキャナ122及びプローブアーム(probe arm)124を含むヘッド120、光学部126、光学検出部128、試料132が取り付けられるXYスキャナ130、XYステージ140、Zステージ150、固定フレーム160及びビジョン部170を含み、これらを制御するための電子装置200が別に備えられ得る。
電子装置200は、原子顕微鏡100を制御し、試料の位置を認識するためのタブレットPC(Personal Computer)、ノートパソコンおよび/またはPC等のうち少なくとも一つを含むことができる。
このような電子装置200は、原子顕微鏡100からビジョン部170を通して獲得された試料132の表面上の対象試料に対するビジョン映像を受信し、受信されたビジョン映像を基盤に試料の領域を決定し、決定された対象試料領域に基づいて試料の位置を決定できる。
これを通して、本発明は、原子顕微鏡の試料位置を認識することで、ユーザが試料位置を設定せずに原子顕微鏡を駆動させることができる。
下記においては、図2を参照して、電子装置200についてより具体的に説明する。
図2は、本発明の実施例に係る電子装置の概略的なブロック図である。
図2を参照すると、電子装置200は、通信部210、表示部220、格納部230及び制御部240を含む。
通信部210は、電子装置200が外部装置と通信が可能であるように連結する。通信部210は、有/無線通信を利用して原子顕微鏡100と連結され、原子顕微鏡100の駆動及び制御に関連した多様なデータを送受信できる。具体的に、通信部210は、原子顕微鏡100の各構成要素の駆動及び制御のための指示を伝達するか、ビジョン部170を通して獲得されたビジョン映像を受信できる。
表示部220は、ユーザに各種のコンテンツ(例:テキスト、イメージ、ビデオ、アイコン、バナーまたはシンボル等)を表示できる。具体的に、表示部220は、原子顕微鏡100から受信された対象試料データを表示できる。
多様な実施例において、表示部220は、タッチスクリーンを含むことができ、例えば、電子ペンまたはユーザの身体の一部を利用したタッチ(touch)、ジェスチャー(gesture)、近接、ドラッグ(drag)、スワイプ(swipe)またはホバリング(hovering)入力等を受信できる。
格納部230は、原子顕微鏡100の駆動及び制御するために使用される多様なデータを格納できる。多様な実施例において、格納部230は、フラッシュメモリ(登録商標)タイプ(flash(登録商標) memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えばSDまたはXDメモリ等)、ラム(Random Access Memory、RAM)、SRAM(Static Random Access Memory)、ロム(Read-Only Memory、ROM)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、PROM(Programmable Read-Only Memory)、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの格納媒体を含むことができる。電子装置200は、インターネット(internet)上で前記格納部230の格納機能を遂行するウェブストレージ(web storage)と関連して動作することもできる。
制御部240は、通信部210、表示部220、及び格納部230と動作可能に連結され、原子顕微鏡100を制御し、試料の位置を認識するための多様な命令を遂行することができる。
制御部240は、中央処理装置(CPU)、グラフィック処理装置(GPU)、アプリケーションプロセッサ(AP)、デジタル信号処理装置(DSP)、算術論理演算装置(ALU)及び人工神経網プロセッサ(NPU)245のうち少なくとも一つを含むように構成され得る。
具体的に、制御部240は、通信部210を通して原子顕微鏡100から試料132に対するビジョン映像を受信し、受信されたビジョン映像を基盤に対象試料の領域を決定し、決定された対象試料領域に基づいて試料の位置を決定できる。これについての具体的な動作は、図1a及び図1bにおいて説明した制御部180の動作と同一であってよい。
多様な実施例において、対象試料を認識するための予測モデル、特に、対象試料のパターンを認識するための予測モデルのような人工神経網モデルは、外部のサーバに格納され得る。このような場合、制御部240は、通信部210を通して外部のサーバにビジョン映像を送信し、外部のサーバで算出された結果データ(即ち、試料の領域を認識した結果データ)を受信することもできる。
このように、人工神経網モデルを利用する動作は、NPU245によって遂行され得、NPU245は、図1bにおいて説明したNPU182と同じ動作を遂行することができる。
下記においては、対象試料のビジョン映像を利用して試料の位置を認識するための方法を、図3から図5を参照して具体的に説明する。
図3は、本発明の一実施例によって対象試料のビジョン映像を利用して試料の位置を認識する方法を説明するための例示図である。図4及び図5は、本発明の実施例に係る試料の位置を認識するために利用される予測モデルを利用した試料領域決定ステップを説明するための例示図である。後述する動作は、前述した図1bの制御部180または図2の制御部240によって遂行され得る。
まず、図3を参照すると、試料位置を認識するために、ビジョン部を通して対象試料が含まれたビジョン映像が受信され(S310)、予測モデルによりビジョン映像内で対象試料領域が決定され(S320)、対象試料領域に基づいて対象試料の位置が決定される(S330)。
本発明の一実施例によれば、ビジョン映像が受信されるステップ(S310)で、基板上の図形または文字の集合であるパターンを有する対象体である対象試料に対するビジョン映像が獲得され得る。
本発明の他の実施例によれば、ビジョン映像が受信されるステップ(S310)で、on Axisカメラのビジョン部から獲得されたon Axisカメラ映像が受信され得る。
本発明のまた他の実施例によれば、ビジョン映像が受信されるステップ(S310)で、受信されるビジョン映像は、キャリブレーション試料に対する映像であってよい。また、ビジョン映像は、識別因子を含むこともできる。即ち、ビジョン部は、識別因子を認識して対象試料が含まれたビジョン映像を撮影できる。
このとき、識別因子は、対象試料に対する情報、例えば、ユーザにより予めマッピングされた対象試料の名称、さらにプローブの種類、スキャンパラメータ等の特徴を含むことができる。
次に、対象試料領域が決定されるステップ(S320)で、ビジョン映像を入力として対象試料領域を出力するように構成された人工神経網基盤の予測モデルにより試料領域が決定される。
例えば、図4を共に参照すると、対象試料領域が決定されるステップ(S320)で、RetinaNet基盤の複数の人工神経網からなる予測モデル400によりビジョン映像内で対象試料領域が決定される。このとき、提示された実施例において、予測モデル400は、図1a及び図1bにおいて前述した予測モデルを意味し得る。
このとき、RetinaNet基盤の予測モデル400は、ビジョン映像410の入力を受けて深層特徴抽出(deep feature extraction)を遂行するResNet415、入力された単一解像度のビジョン映像410に対する豊富な多重スケール特徴ピラミッド(multi-scale feature pyramid)を構成する特徴ピラミッドネットワーク(feature pyramid network、FPN)420のバックボーン(backbone)を含む。このとき、ResNet415は、50個のレイヤーからなるResnet50であってよいが、これに制限されるものではない。さらに、特徴ピラミッドネットワーク420上にクラス分類(classification)及びボックス回帰(box regression)をそれぞれ遂行する二つのサブネットワーク425が形成される。
より具体的に、対象試料領域が決定されるステップ(S320)で、パターンを有する対象試料が含まれたビジョン映像410がResNet415に入力されると、パターンに基づいて深層特徴が抽出される。その後、特徴ピラミッドネットワーク420の水平連結ネットワークにより豊富な多重スケール特徴ピラミッドが構築される。その後、サブネットワーク425のうちクラス分類サブネットワーク(class subnet)により対象試料の領域によって決定されたアンカーボックス(anchor box)のクラスが分類される。同時に、ボックス回帰サブネットワーク(box subnet)によりアンカーボックスと実際の対象試料の領域に対応するオブジェクトボックスの距離が予測される。最終的に、対象試料領域430が決定される。このとき、選択的にクラス分類確率、即ち、決定された対象試料領域に対する対象試料である確率が共に出力され得る。
一方、本発明の他の特徴によれば、対象試料領域が決定されるステップ(S320)で、Mask R-CNN基盤の予測モデルが利用され得る。
例えば、図5を共に参照すると、対象試料領域が決定されるステップ(S320)で、Mask R-CNN基盤の複数の人工神経網からなる予測モデル500によりビジョン映像内で対象試料領域が決定される。このとき、提示された実施例において、予測モデル500は、図1a及び図1bにおいて説明した予測モデルを意味し得る。
このとき、Mask R-CNN基盤の予測モデル500は、合成積神経網515、領域提案神経網(Region Proposal Network)525、関心領域整列神経網(ROI(Region Of Interest) Align Network)540及び複数の全結合神経網(Fully Connected Network)550、555を含むことができる。ここで、複数の全結合神経網は、第1全結合神経網550及び第2全結合神経網555を含む。
より具体的に、対象試料領域が決定されるステップ(S320)で、ビジョン部を通して獲得された、パターンが形成された対象試料のビジョン映像510が予測モデル500の入力値として入力されると、予測モデル500は、ビジョン映像510から特徴を抽出するための合成積演算を遂行する合成積神経網515を通して特徴データ(Feature Map)520を獲得できる。このとき、特徴データ520は、対象試料のパターンによって多様な値を有し得る。
このような特徴データ520は、対象試料が含まれると予想される候補領域を提案するための領域提案神経網525に入力される。予測モデル500は、領域提案神経網525を通して特徴データ520で対象試料が含まれると予想される候補領域(Region Proposal)及びこれに対する点数(objectness score)を含むデータ530を獲得できる。
合成積神経網515を通して出力された特徴データ520及び領域提案神経網525を通して出力されたデータ530を基盤に候補領域データ535が獲得され得る。ここで、候補領域データ535は、特徴データ520で試料ホルダー、特に試料ホルダー上の対象試料が含まれると予想される少なくとも一つの候補領域に対応して抽出されたデータであってよい。少なくとも一つの候補領域は、予測された客体の形態によって多様な大きさを有し得る。
このような候補領域データ535は、線形補間(linear interpolation)を利用して固定された大きさに変換させるための関心領域整列神経網540に入力される。ここで、固定された大きさは、n x n形態であってよいが(n>0)、これに限定されない。
予測モデル500は、関心領域整列神経網540を通してn x n形態の関心領域データ545を出力できる。このとき、関心領域データ545は、線形補間を利用して候補領域データ535を固定された大きさに整列させたデータであってよいが、これに限定されない。
このような関心領域データ545は、第1全結合神経網550及び第2全結合神経網555それぞれに入力される。ここで、第1全結合神経網550は、複数の全結合層(Fully Connected Layer)を含むことができるが、これに限定されない。第2全結合神経網555は、オートエンコーダ(Auto Encoder)構造が追加されたマスクブランチネットワーク(mask branch network)または少なくとも一つの全結合層(または合成積層)であってよいが、これに限定されない。ここで利用されたオートエンコーダは、入力データにノイズ(noise)を追加した後、ノイズのない原本入力を再構成して出力するように学習されたエンコーダであって、予測モデル500の分割性能を向上させることができる。
予測モデル500は、第1全結合神経網550を通して分類データ560及びバウンディングボックスデータ565を出力し、第2全結合神経網555を通して分割データ570を結果データとして出力できる。例えば、分類データ560は、対象試料領域に対するクラス分類結果(試料)を示す結果データであり、バウンディングボックスデータ565は、対象試料領域周囲に形成されたバウンディングボックス575を示す結果データであり、分割データ570は、対象試料領域580、及び対象試料領域でない背景を示す結果データであってよい。
多様な実施例において、人工神経網予測モデル500の認識正確度を向上させるために、結果データの周辺をクラスタリング(clustering)する後処理方式(post processing)が利用され得る。例えば、クラスタリング方式は、CRF(Conditional Random Field)および/またはChan-Veseアルゴリズム等が利用され得るが、これに限定されない。
このように出力された分類データ560及び分割データ570は、対象試料領域を決定するために利用され得る。
即ち、また図4を共に参照すると、対象試料領域が決定されるステップ(S320)の結果として、多様な領域分割アルゴリズム基盤の予測モデルにより対象試料領域が獲得され得る。
一方、対象試料領域が決定されるステップ(S320)で、予測モデルにより領域(または位置)が決定される対象試料は、予測モデルの学習データの種類によって多様に設定され得る。特定の実施例において、対象試料は、ユーザにより頻繁に利用されるパターンを有する試料であってよいが、これに制限されるものではない。
次に、対象試料の位置が決定されるステップ(S330)で、対象試料領域に基づいて対象試料の正確な位置が決定される。
本発明の一実施例によれば、対象試料の位置が決定されるステップ(S330)で、対象試料領域の中心座標が算出され、中心座標に基づいて対象試料の位置が決定される。
しかし、これに制限されるものではなく、対象試料の形状によって多様な算出方法により対象試料の位置が決定され得る。例えば、多角形の対象試料の場合、対象試料の各頂点に該当する座標に基づいて対象試料の位置が決定され得る。
このように、本発明は、人工神経網を利用して試料位置を認識することで、原子顕微鏡の試料位置を認識するための演算速度を速くして原子顕微鏡の認識性能を向上させることができる。
特に、本発明は、原子顕微鏡を駆動するためにユーザが頻繁に使用する試料の位置を別に設定する必要なく原子顕微鏡が試料位置を自動で認識して設定できる。
また、ビジョン映像の対照度、照度、彩度等の属性が変化するか試料のパターンの一部が変化してもパターン認識基盤の人工神経網モデルにより試料位置が高い正確度で決定され得る。
本発明の多様な実施例に係る試料の位置認識方法は、動作を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
下記においては、図6aから図6dを参照して、本発明の多様な実施例に係る予測モデルの学習及び検証を説明する。
図6aから図6dは、本発明の実施例に係る試料の位置を認識するために利用される予測モデルの学習データ及び評価結果を示したものである。
まず、図6aを参照すると、予測モデルの学習及び評価のために100個の試料パターン映像が利用された。このとき、試料パターン映像は、それぞれ対照程度及びパターン状態、及び試料の位置が異なり得る。一方、予測モデルの学習及び評価に利用された試料は、ウエハ(wafer)上に素子がパターン化された試料であってよいが、これに制限されるものではない。例えば、対象試料は、多様なパターンを有し位置設定対象となる全ての試料を併せることができる。さらに、予測モデルは、RetinaNet基盤の人工神経網モデル、またはFaster R-CNN基盤の人工神経網モデル、またはMask R-CNN基盤の人工神経網モデルであってよいが、これに制限されるものではない。例えば、Resnet50、Resnet-v2、Resnet101、Inception-v3、またはVGG net、R、DenseNet及び、encoder-decoder structureを有するFCN、SegNet、DeconvNet、DeepLAB V3+、U-netのようなDNN(deep neural network)、SqueezeNet、Alexnet、ResNet18、MobileNet-v2、GoogLeNetのうち選択された少なくとも一つのアルゴリズムに基づくことができる。
このとき、図6bを参照すると、予測モデルの学習のためにパターンの実際の位置が正答としてラベリングされた。
図6cの(a)、(b)及び(c)、図6dの(a)、(b)、(c)及び(d)を参照すると、予測モデルは、ビジョン映像の対照程度が変化するか、ビジョン映像内で試料の位置が変化するか、パターンの状態が変更されても正確に対象試料領域を認識するものと現れる。
即ち、本発明の予測モデル基盤の試料位置認識方法によって、対象試料領域が予測され、その位置が最終的に決定されることで、ユーザは、対象試料の位置を設定しなくても原子顕微鏡を駆動できる。
一方、本発明の多様な実施例に係る試料位置認識方法によって、原子顕微鏡のキャリブレーションが自動で遂行され得る。
図7及び図8は、本発明の実施例に係る原子顕微鏡で試料の位置を認識するための方法を利用した原子顕微鏡のキャリブレーション手順を説明するための例示図である。
まず、図7を参照すると、試料位置を認識するために、ビジョン部を通してキャリブレーション試料が含まれたビジョン映像が受信され(S710)、予測モデルによりビジョン映像内でキャリブレーション試料領域が決定され(S720)、キャリブレーション試料領域に基づいてキャリブレーション試料の位置が決定される(S730)。その後、キャリブレーション試料の位置に基づいて原子顕微鏡がキャリブレーションされる(S740)。
本発明の一実施例によれば、キャリブレーション試料に対するビジョン映像が受信されるステップ(S710)で、基板上の図形または文字の集合であるパターンを有する対象体であるキャリブレーション試料に対するビジョン映像が獲得され得る。
例えば、図8の(a)及び(b)を参照すると、キャリブレーション試料は、特定位置(例えば、ディスクまたはウエハの特定領域)に配置され、明るい領域またはより暗い領域の明るさが異なる領域と、ライン形状またはドット形状のパターン形状が異なる複数のパターン領域からなり得る。しかし、キャリブレーション試料は、これに制限されるものではなく、単一パターンからなり得る。
本発明の他の実施例によれば、ビジョン映像が受信されるステップ(S710)で、on Axisカメラのビジョン部から獲得されたキャリブレーション試料が含まれたon Axisカメラ映像が受信され得るが、これに制限されるものではない。
また図7を参照すると、キャリブレーション試料領域が決定されるステップ(S720)で、ビジョン映像を入力として対象試料領域を出力するように構成された人工神経網基盤の予測モデルによりキャリブレーション試料領域が決定される。
例えば、キャリブレーション試料領域が決定されるステップ(S720)で、図8の(a)及び(b)において示されたキャリブレーション試料の4個のパターン領域が決定されるか、4個のパターン領域のうち一つのパターン領域が決定され得る。これは、予測モデルの学習データによって多様に設定され得る。
その後、キャリブレーション試料の位置が決定されるステップ(S730)で、キャリブレーション試料領域に基づいてキャリブレーション試料の正確な位置が決定される。
本発明の一実施例によれば、キャリブレーション試料の位置が決定されるステップ(S730)で、予測モデルにより決定されたキャリブレーション試料領域の中心座標が算出され、中心座標に基づいてキャリブレーション試料の位置が決定される。
しかし、これに制限されるものではなく、キャリブレーション試料の形状によって多様な算出方法によりキャリブレーション試料の位置が決定され得る。例えば、多角形のキャリブレーション試料の場合、キャリブレーション試料の各頂点に該当する座標に基づいてキャリブレーション試料の位置が決定され得る。
次に、原子顕微鏡がキャリブレーションされるステップ(S740)で、キャリブレーション試料の位置、例えば、複数のキャリブレーション試料パターンのうちユーザにより選択されたキャリブレーションパターンの位置に基づいて、原子顕微鏡のZスキャナ122、XYスキャナ130、XYステージ140、Zステージ150の基準を合わせることができる。さらに、原子顕微鏡がキャリブレーションされるステップ(S740)で、対象試料の性質分析の基準を設定するためのより多様なキャリブレーションが遂行され得る。
即ち、本発明の多様な実施例に係る試料位置認識方法によって、ユーザがキャリブレーション試料をランダムに配置しても自動で試料の位置が決定され、より容易に原子顕微鏡に対するキャリブレーションが遂行され得る。
下記においては、図9及び図10を参照して、識別因子に基づいた試料位置測定方法について具体的に説明する。
まず、図9を参照すると、試料の位置測定のために、ビジョン部の撮影アングル内に識別因子が配置され(S910)、識別因子と離隔された領域に測定試料が配置される(S920)。その後、ビジョン部により識別因子が認識され(S930)、最終的に測定試料の位置が決定される(S940)。
より具体的に、識別因子が配置されるステップ(S910)で、QRコード、バーコード、NFCタグ、RFIDタグ及びOCRコードのうち少なくとも一つの識別因子がディスクまたは試料ホルダー上に配置され得る。このとき、識別因子は、前述したものに制限されるものではなく、特定の図形、または文字であってもよい。
その後、測定試料が配置されるステップ(S920)で、対象試料が識別因子近くの領域に配置され得る。
例えば、図10を共に参照すると、識別因子が配置されるステップ(S910)でディスク上に複数のQRコードが配置され、測定試料が配置されるステップ(S920)で複数のQRコードの間に対象試料が配置され得る。
本発明の多様な実施例において、識別因子が配置されるステップ(S910)以後にQRコードのような識別因子と対象試料の名称がマッピングされ得る。
このとき、原子顕微鏡が駆動され、試料に対する性質分析が遂行された以後に、対象試料の位置、適用プローブの種類、スキャンパラメータ及び対象試料に対するビジョン映像情報等が識別因子にマッピングされ得る。
即ち、ビジョン部により識別因子が認識されるステップ(S930)で、既測定された対象試料に対して予め配置された識別因子がビジョン部を通して認識されると、識別因子を通してマッピングされた対象試料に対する情報が現れ得る。
さらに、本発明の多様な実施例において、測定試料の位置が決定されるステップ(S940)以後に、既測定された対象試料の位置が決定され、原子顕微鏡が駆動されて対象試料に対する追加分析が遂行され得る。その後、分析結果に基づいて、対象試料に対する情報が識別因子にアップデートされ得る。
そこで、識別因子に基づいた対象試料の位置認識方法によって、ユーザは、よく使用する対象試料に対してその位置を容易に認知することができる。さらに、ユーザは、識別因子を通して対象試料に対する情報を容易に確認することができる。
以上、添付の図面を参照して、本発明の実施例をさらに詳細に説明したが、本発明は、必ずしもこのような実施例に限定されるものではなく、本発明の技術思想を外れない範囲内で多様に変形実施され得る。従って、本発明に開示された実施例は、本発明の技術思想を限定するためのものではなく、説明するためのものであり、このような実施例によって本発明の技術思想の範囲が限定されるものではない。それゆえ、以上において記述した実施例は、全ての面で例示的なものであり、限定的ではないものと理解すべきである。本発明の保護範囲は、下記の特許請求の範囲によって解釈されるべきであり、それと同等な範囲内にある全ての技術思想は、本発明の権利範囲に含まれるものと解釈されるべきである。
100:原子顕微鏡
110:プローブ
120:ヘッド
122:Zスキャナ
124:プローブアーム
126:光学部
128:光学検出部
130:XYスキャナ
132:試料
140:XYステージ
150:Zステージ
160:固定フレーム
170:ビジョン部
180:制御部

Claims (19)

  1. 原子顕微鏡の制御部によって遂行される試料位置を認識するための方法において、
    ビジョン部を通して対象試料が含まれたビジョン映像を受信するステップ;
    前記ビジョン映像を入力として対象試料領域を出力するように構成された予測モデルを利用して、前記ビジョン映像内で前記対象試料領域を決定するステップ;及び
    前記対象試料領域に基づいて前記対象試料の位置を決定するステップを含む、原子顕微鏡の試料位置を認識するための方法。
  2. 前記対象試料は、基板上の図形または文字の集合であるパターンを有する対象体と定義され、
    前記予測モデルは、前記パターンを学習して対象試料の領域を出力するように学習されたモデルである、請求項1に記載の原子顕微鏡の試料位置を認識するための方法。
  3. 前記対象試料領域を決定するステップは、
    前記予測モデルを利用して、前記パターンに対する特徴(feature)を抽出するステップ、及び
    前記特徴に基づいて前記対象試料の領域を決定するステップを含む、請求項2に記載の原子顕微鏡の試料位置を認識するための方法。
  4. 前記対象試料は、
    前記原子顕微鏡のキャリブレーション(calibration)のためのキャリブレーション試料であり、
    前記対象試料の位置を決定するステップ以後に、
    前記キャリブレーション試料の位置に基づいて前記原子顕微鏡をキャリブレーションするステップをさらに含む、請求項1から3のいずれか一項に記載の原子顕微鏡の試料位置を認識するための方法。
  5. 前記位置を決定するステップは、
    前記対象試料領域の中心座標を算出するステップ、及び
    前記中心座標に基づいて前記対象試料の位置を決定するステップを含む、請求項1から4のいずれか一項に記載の原子顕微鏡の試料位置を認識するための方法。
  6. 前記ビジョン部は、on Axisカメラであり、
    前記ビジョン映像は、on Axisカメラ映像である、請求項1から5のいずれか一項に記載の原子顕微鏡の試料位置を認識するための方法。
  7. 前記受信するステップ以前に、
    前記ビジョン部の撮影アングル内に識別因子を配置するステップ;
    前記識別因子と離隔された領域に前記対象試料を配置するステップをさらに含み、
    前記ビジョン映像を受信するステップは、
    前記ビジョン部を通して前記識別因子を認識するステップ、及び
    前記識別因子に基づいて前記対象試料に対するビジョン映像を受信するステップを含む、請求項1から6のいずれか一項に記載の原子顕微鏡の試料位置を認識するための方法。
  8. 前記識別因子は、前記対象試料に対する情報を含む、請求項7に記載の原子顕微鏡の試料位置を認識するための方法。
  9. 前記識別因子は、QRコード、バーコード、NFCタグ、RFIDタグ及びOCRコードのうち少なくとも一つである、請求項7に記載の原子顕微鏡の試料位置を認識するための方法。
  10. ビジョン部の撮影アングル内に識別因子を配置するステップ;
    前記識別因子と離隔された領域に対象試料を配置するステップ;
    前記ビジョン部を通して前記識別因子を認識するステップ、及び
    前記識別因子に基づいて前記対象試料の位置を決定するステップを含む、原子顕微鏡の試料位置を認識するための方法。
  11. 前記位置を決定するステップ以後に、
    前記対象試料の位置、予め決定されたプローブの種類、予め決定されたスキャンパラメータ及び前記対象試料の種類のうち少なくとも一つの前記対象試料の情報、及び前記識別因子をマッピングするステップをさらに含む、請求項10に記載の原子顕微鏡の試料位置を認識するための方法。
  12. 前記位置を決定するステップ以後に原子顕微鏡を駆動するステップ、
    前記対象試料に対する分析を遂行するステップ、及び
    分析結果に基づいて、前記対象試料の情報をアップデートするステップをさらに含む、請求項10乃至11に記載の原子顕微鏡の試料位置を認識するための方法。
  13. ビジョン部を通して対象試料が含まれたビジョン映像を獲得するビジョン部、及び
    前記ビジョン部と動作可能に連結された制御部を含み、
    前記制御部は、
    前記ビジョン映像を入力として対象試料領域を出力するように構成された予測モデルを利用して、前記ビジョン映像内で前記対象試料領域を決定し、
    前記対象試料領域に基づいて前記対象試料の位置を決定するように構成された、原子顕微鏡の試料位置を認識するための装置。
  14. 前記対象試料は、基板上の図形または文字の集合であるパターンを有する対象体と定義され、
    前記予測モデルは、前記パターンを学習して対象試料の領域を出力するように学習されたモデルである、請求項13に記載の原子顕微鏡の試料位置を認識するための装置。
  15. 前記制御部は、
    前記予測モデルを利用して、前記パターンに対する特徴(feature)を抽出し、
    前記特徴に基づいて前記対象試料の領域を決定するように構成された、請求項14に記載の原子顕微鏡の試料位置を認識するための装置。
  16. 前記対象試料は、
    前記原子顕微鏡のキャリブレーション(calibration)のためのキャリブレーション試料であり、
    前記制御部は、
    前記キャリブレーション試料の位置に基づいて前記原子顕微鏡をキャリブレーションするようにさらに構成された、請求項13から15のいずれか一項に記載の原子顕微鏡の試料位置を認識するための装置。
  17. 前記制御部は、
    前記対象試料領域の中心座標を算出し、
    前記中心座標に基づいて前記対象試料の位置を決定するようにさらに構成された、請求項13から16のいずれか一項に記載の原子顕微鏡の試料位置を認識するための装置。
  18. 前記ビジョン部は、on Axisカメラであり、
    前記ビジョン映像は、on Axisカメラ映像である、請求項13から17のいずれか一項に記載の原子顕微鏡の試料位置を認識するための装置。
  19. 前記ビジョン部は、
    前記ビジョン部の撮影アングル内に予め配置された識別因子を認識し、
    前記識別因子に基づいて、前記識別因子と離隔された領域に予め配置された対象試料に対するビジョン映像を獲得するように構成された、請求項13から18のいずれか一項に記載の原子顕微鏡の試料位置を認識するための装置。
JP2021206218A 2020-12-31 2021-12-20 原子顕微鏡で試料位置を認識するための方法及び装置 Active JP7355982B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200189823A KR102554224B1 (ko) 2020-12-31 2020-12-31 원자 현미경에서 시료 위치를 인식하기 위한 방법 및 장치
KR10-2020-0189823 2020-12-31

Publications (2)

Publication Number Publication Date
JP2022105284A true JP2022105284A (ja) 2022-07-13
JP7355982B2 JP7355982B2 (ja) 2023-10-04

Family

ID=82119798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021206218A Active JP7355982B2 (ja) 2020-12-31 2021-12-20 原子顕微鏡で試料位置を認識するための方法及び装置

Country Status (3)

Country Link
US (1) US11761981B2 (ja)
JP (1) JP7355982B2 (ja)
KR (1) KR102554224B1 (ja)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02141601A (ja) * 1988-11-24 1990-05-31 Seiko Instr Inc 標準試料及びこれを用いた位置補正方法並びに複合化測定装置
JPH05231863A (ja) * 1991-09-27 1993-09-07 Internatl Business Mach Corp <Ibm> 限界寸法測定装置及び方法
JPH05347338A (ja) * 1992-06-16 1993-12-27 Hitachi Ltd 微細回路の動作状態検査装置
JP2001148016A (ja) * 1999-11-22 2001-05-29 Hitachi Ltd 試料検査装置,試料表示装置、および試料表示方法
JP2004205366A (ja) * 2002-12-25 2004-07-22 Japan Science & Technology Agency 高倍率顕微観測装置
JP2005043108A (ja) * 2003-07-23 2005-02-17 Hitachi Kenki Fine Tech Co Ltd 走査型プローブ顕微鏡の特定パターン検出方法
US20090077697A1 (en) * 2007-09-12 2009-03-19 Chanmin Su Method and apparatus of automatic scanning probe imaging
JP2014183130A (ja) * 2013-03-18 2014-09-29 Fujitsu Ltd 半導体装置の製造方法
JP2019527375A (ja) * 2016-06-15 2019-09-26 センソヴェイション アー・ゲーSensovation AG 顕微鏡によって試料をデジタルで撮影するための方法
US20200320697A1 (en) * 2019-04-04 2020-10-08 Alibaba Group Holding Limited Method, system, and device for lung lobe segmentation, model training, model construction and segmentation
JP2020181582A (ja) * 2020-05-25 2020-11-05 株式会社日立ハイテク テンプレートマッチングを用いた検査装置および検査方法
US20200356718A1 (en) * 2019-05-10 2020-11-12 Sandisk Technologies Llc Implementation of deep neural networks for testing and quality control in the production of memory devices

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8595859B1 (en) * 2011-09-30 2013-11-26 Agilent Technologies, Inc. Controlling atomic force microscope using optical imaging
US9564291B1 (en) * 2014-01-27 2017-02-07 Mochii, Inc. Hybrid charged-particle beam and light beam microscopy
US11568629B2 (en) * 2018-06-06 2023-01-31 Cognex Corporation System and method for finding and classifying patterns in an image with a vision system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02141601A (ja) * 1988-11-24 1990-05-31 Seiko Instr Inc 標準試料及びこれを用いた位置補正方法並びに複合化測定装置
JPH05231863A (ja) * 1991-09-27 1993-09-07 Internatl Business Mach Corp <Ibm> 限界寸法測定装置及び方法
JPH05347338A (ja) * 1992-06-16 1993-12-27 Hitachi Ltd 微細回路の動作状態検査装置
JP2001148016A (ja) * 1999-11-22 2001-05-29 Hitachi Ltd 試料検査装置,試料表示装置、および試料表示方法
JP2004205366A (ja) * 2002-12-25 2004-07-22 Japan Science & Technology Agency 高倍率顕微観測装置
JP2005043108A (ja) * 2003-07-23 2005-02-17 Hitachi Kenki Fine Tech Co Ltd 走査型プローブ顕微鏡の特定パターン検出方法
US20090077697A1 (en) * 2007-09-12 2009-03-19 Chanmin Su Method and apparatus of automatic scanning probe imaging
JP2014183130A (ja) * 2013-03-18 2014-09-29 Fujitsu Ltd 半導体装置の製造方法
JP2019527375A (ja) * 2016-06-15 2019-09-26 センソヴェイション アー・ゲーSensovation AG 顕微鏡によって試料をデジタルで撮影するための方法
US20200320697A1 (en) * 2019-04-04 2020-10-08 Alibaba Group Holding Limited Method, system, and device for lung lobe segmentation, model training, model construction and segmentation
US20200356718A1 (en) * 2019-05-10 2020-11-12 Sandisk Technologies Llc Implementation of deep neural networks for testing and quality control in the production of memory devices
JP2020181582A (ja) * 2020-05-25 2020-11-05 株式会社日立ハイテク テンプレートマッチングを用いた検査装置および検査方法

Also Published As

Publication number Publication date
KR102554224B1 (ko) 2023-07-12
US11761981B2 (en) 2023-09-19
JP7355982B2 (ja) 2023-10-04
US20220206039A1 (en) 2022-06-30
KR20220097823A (ko) 2022-07-08

Similar Documents

Publication Publication Date Title
Tabernik et al. Segmentation-based deep-learning approach for surface-defect detection
US11754392B2 (en) Distance determination of a sample plane in a microscope system
CN104871180B (zh) 用于ocr的基于文本图像质量的反馈
TWI829694B (zh) 用於提供超解析度成像之精準度回饋及改良超解析度成像之精準度之系統、裝置及方法
KR102195029B1 (ko) 결함 분류 장치 및 결함 분류 방법
CN102662229B (zh) 具有触摸屏的显微镜
US20180260669A1 (en) Image processing apparatus, image processing method, template generation apparatus, object recognition processor, and object recognition processing program
US8731274B2 (en) Method and system for wafer registration
JP2003016463A (ja) 図形の輪郭の抽出方法、パターン検査方法、パターン検査装置、プログラムおよびこれを格納したコンピュータ読み取り可能な記録媒体
CN112912783A (zh) 用于自动映射基板上的流动对象的方法和系统
CN112348082A (zh) 深度学习模型构建方法、影像处理方法及可读存储介质
CN104641381B (zh) 用于检测圆形标签中的2d条形码的方法和系统
JP2006275952A (ja) パターン評価方法、パターン位置合わせ方法およびプログラム
CN115136209A (zh) 缺陷检测系统
Roy et al. Offline hand-drawn circuit component recognition using texture and shape-based features
Cho et al. Real-time precise object segmentation using a pixel-wise coarse-fine method with deep learning for automated manufacturing
JP7355982B2 (ja) 原子顕微鏡で試料位置を認識するための方法及び装置
KR102465302B1 (ko) 원자 현미경에서 프로브 종류를 인식하기 위한 장치 및 방법
TWI334578B (en) Identifying method for fingerprints and palm print
US20230204624A1 (en) Apparatus and method for identifying target position in atomic force microscope
JP7298813B1 (ja) 原子顕微鏡で目標位置を認識するための装置及び方法
JP3722757B2 (ja) 欠陥撮像装置
Li et al. Tactile Sensing, Skill Learning, and Robotic Dexterous Manipulation
CN113365382A (zh) 灯光控制方法、装置、电子设备和存储介质
KR102509460B1 (ko) 원자 현미경에서 목표 위치를 인식하기 위한 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230823

R150 Certificate of patent or registration of utility model

Ref document number: 7355982

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150