JP2019070716A - 位置を決定する装置、方法、およびプログラム、画像を表示する装置、方法、およびプログラム - Google Patents

Abstract

【課題】スライスの位置を取得する。【解決手段】ミクロトームにより試料が薄膜状に薄切されたスライス６６が配置されたウェハチップ６４を撮影して得られた画像の画像データと、スライス６６の形状を少なくとも要素に持つテンプレートとから、テンプレートマッチングを行って、画像中のスライス６６を検出し、所定の基準位置６２Ａ、６２Ｂ、６２Ｃに基づく検出されたスライスの位置Ｐ１、Ｐ２、Ｐ３、Ｐ４を決定する【選択図】図１４Ａ

Description

本発明は、位置を決定する装置、方法、およびプログラム、画像を表示する装置、方法、およびプログラムに関する。

特許文献１には、電子ビームを走査する走査手段と、電子ビームが走査された試料から発せられる電子を検出する電子検出器を有し、該電子検出器からの検出結果に基づき走査電子像を得る走査型電子顕微鏡と、試料に照明光を照射して該試料からの反射光を受光して光学像を得る光学顕微鏡を備える装置が開示されている。

米国特許第８７９１４１５号公報

本開示の技術の第１の態様の装置は、複数の試料切片が配置された基板を撮影して得られた第１の画像において、少なくとも１つの前記試料切片を検出する検出部と、所定の基準位置を用いて、前記検出された前記試料切片の位置を決定する決定部と、を備える。

本開示の技術の第２の態様の方法では、検出部が、複数の試料切片が配置された基板を撮影して得られた第１の画像において、少なくとも１つの前記試料切片を検出し、決定部が、所定の基準位置を用いて、前記検出された前記試料切片の位置を決定する。

本開示の技術の第３の態様のプログラムは、コンピュータを、第１の態様の装置の前記検出部と前記決定部として機能させる。

本開示の技術の第４の態様の装置は、第１の画像において第１のパラメータを用いて、所定の形状を検出し、前記検出された結果を示す第２の画像において選択された位置を含む前記第２の画像の一部の領域において、第２のパラメータを用いて、前記所定の形状を検出する検出部と、所定の基準位置を用いて、前記検出された前記所定の形状の位置を決定する決定部と、を備える。

本開示の技術の第５の態様の装置は、第１の画像において第１のパラメータを用いて、所定の形状を検出する検出部と、前記検出された結果を示す第２の画像を表示する表示部と、を有し、前記検出部は、第２の画像において選択された位置を含む前記第２の画像の一部の領域において、第２のパラメータを用いて、前記所定の形状を検出する。

本開示の技術の第６の態様の方法では、検出部が、第１の画像において第１のパラメータを用いて、所定の形状を検出し、前記検出部が、前記検出された結果を示す第２の画像において選択された位置を含む前記第２の画像の一部の領域において、第２のパラメータを用いて、前記所定の形状を検出する。

本開示の技術の第７の態様の方法では、検出部が、第１の画像において第１のパラメータを用いて、所定の形状を検出し、前記検出部が、前記検出された結果を示す第２の画像において選択された位置を含む前記第２の画像の一部の領域において、第２のパラメータを用いて、前記所定の形状を検出し、決定部が、所定の基準位置を用いて、前記検出された前記所定の形状の位置を決定する。

本開示の技術の第８の態様のプログラムは、コンピュータを、第４の態様又は第５の態様に記載の前記検出部として機能させる。

ＣＬＥＭ（Ｃｏｒｒｅｌａｔｉｖｅ Ｌｉｇｈｔ ａｎｄ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｙ）システム１０のブロック図である。 画像処理装置１６のＣＰＵ２２が実行するスライス検出処理プログラムの機能の構成を示した図である。 複数のウェハチップ６４が配置されたウェハ６０を示す図である。 ウェハチップ６４の画像３４Ｄを示す図である。 スライス検出処理プログラムのフローチャートである。 図３のステップ８０のスライステンプレート作成処理プログラムのフローチャートである。 スライステンプレートのコーナを指定する順番を示す図である。 スライステンプレートのコーナを指定する順番を示す図である。 スライステンプレートのコーナを指定する順番を示す図である。 選択されたスライス９３の底辺が水平となるように、クリックされた点の位置を回転させ、クリックされた点の座標を修正する様子を説明する図である。 選択されたスライス９３の底辺が水平となるように、クリックされた点の位置を回転させ、クリックされた点の座標を修正する様子を説明する図である。 選択されたスライス９３の底辺が水平となるように、クリックされた点の位置を回転させ、クリックされた点の座標を修正する様子を説明する図である。 図３のステップ８２のオート検出処理プログラムのフローチャートである。 表示部３４の表示画面３４Ｇを示す図である。 指定された閾値に応じて抽出されるエッジの数が異なる様子を示す図である。 指定された閾値に応じて抽出されるエッジの数が異なる様子を示す図である。 指定された閾値に応じて抽出されるエッジの数が異なる様子を示す図である。 は、ウェハチップ６４の画像３４Ｄと各ピクセルについて輝度の勾配の方向を示す輝度勾配方向テーブル３４ＤＥとを示す図である。 は、フィルタの作成の様子を示す図である。 は、ウェハチップ６４の画像３４Ｄのピクセルがスライス６６のピクセルである確からしさ（類似度）を表す値（スコア）のスコアテーブル３４ＤＭを示す図である。 ウェハチップ６４の画像３４Ｄの中の評価領域１０２におけるスコアを求める様子を示す図である。 スライス候補１１２を示す図である。 スライス１１４を示す図である。 スライス１１４を示す図である。 スライス候補１１６を配置した図である。 スライス候補１１６がスライスとして検出しないことを示す図である。 スライス候補１１８を配置した図である。 スライス１１４、スライス１２０を示す図である。 スライス列１３２、１３４の順と、スライス列１３２、１３４のそれぞれのスライスの順とを指定する様子を示す図である。 ウェハ６０上に定められた、絶対位置マーカが付与された３点６２Ａ、６２Ｂ、６２Ｃを基準にしたＸ軸とＹ軸に基づく、各スライス６６の各コーナの点の座標を示す図である。 各スライス６６の各コーナの点の座標を示す図である。 第２の実施の形態の図７のステップ８２Ｅのスライス確定処理の後に実行されるセミマニュアル検出処理プログラムのフローチャートである。 漏れているスライスと認識されたスライスの点１５２Ｐ１がクリックされた様子を示す図である。 クリックされた点１５２Ｐ１を中心とした正方領域１５４Ｒが探索領域として切り出された様子を示す図である。 クリックされた点１５２Ｐ１を示す図である。 クリックされた点１５２Ｐ１を含む所定の領域１５２ＰＲを示す図である。 ウェハチップの画像全体の輝度のヒストグラムを示す図である。 オート検出では検出されなかったスライスのエッジ１５８Ｅ０を示す図である。 探索領域１５４Ｒにおいてスライステンプレート９２を移動させてテンプレートマッチングする様子を示す図である。 スライステンプレート９２の形状を示す図である。 クリックされた点を中心とした正方形の探索領域１５４Ｒを示す図である。 オート検出処理において既に検出されていたスライス１６６Ｘ１、１６６Ｘ２と、セミマニュアル検出処理により検出され且つ確定されたスライス１６６Ｎを示す図である。 第２の変形例におけるオート検出処理プログラムのフローチャートである。 ウェハチップ６４の画像３４Ｄを示す図である。 ユーザが入力部３６を介して指定されたマッチング処理のためにフィルタ９８を移動させる領域８２Ｇ１を示す図である。 検出されたスライスを示す図である。 マッチング処理をする画像の範囲８２ＧＲ１を示す図である。 マッチング処理をする画像の範囲の端の点８２ＧＰ１〜８２ＧＰ３を示す図である。 予め定められた４つのパラメータである２５０、２００、１５０、１００でのエッジの抽出結果の一覧を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

（第１の実施の形態）
図１Ａに示すように、ＣＬＥＭ（Ｃｏｒｒｅｌａｔｉｖｅ Ｌｉｇｈｔ ａｎｄ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｙ）システム１０は、光学顕微鏡１２と、電子顕微鏡１４と、光学顕微鏡１２及び電子顕微鏡１４に接続された画像処理装置１６と、を備えている。光学顕微鏡１２及び電子顕微鏡１４のそれぞれは、コンピュータ、例えば、パーソナルコンピュータを備えるようにしてもよい。なお、画像処理装置１６は、位置決定装置の１例である。

光学顕微鏡１２は、試料の所望の部位、例えば、細胞のニューロンのみにおいて蛍光色素を発現させ、焦点を３次元的に調整することにより、ニューロンの２次元構造または３次元構造のデータを取得する。

電子顕微鏡１４は、試料に電子線を照射し反射した電子を観察することで、試料の表面の所定箇所のデータを取得する。ところで、電子顕微鏡１４では、試料の表面のデータを取得するので、試料の３次元構造のデータを取得することができない。そこで、電子顕微鏡１４で、試料の３次元構造のデータを取得するため、図示しないミクロトームを利用している。具体的には、電子染色された試料を樹脂で固め、断面が台形となるように上下左右端を削り落とし、ミクロトームにより、薄切して台形の薄い複数のスライスを作成する。複数のスライスをウェハチップの上に並べて配置する。電子顕微鏡１４は、各スライスの表面の所定箇所のデータを取得し、各スライスの表面のデータに基づいて３次元構造のデータを構築する。
なお、スライスは、本開示の技術の「試料切片」の１例である。

そして、画像処理装置１６は、電子顕微鏡１４により構築した試料の３次元構造のデータと、光学顕微鏡１２により得た試料の３次元構造のデータを表示する。画像処理装置１６は、電子顕微鏡１４により構築した試料の３次元構造のデータと、光学顕微鏡１２により得た試料の３次元構造のデータとを組み合わせて表示してもよい。例えば、試料全体を表示すると共に、試料の中から所望の部位のみを、色を変えて表示してもよい。

次に、画像処理装置１６の電気系の構成を説明する。画像処理装置１６は、コンピュータ２０を備えている。コンピュータ２０は、ＣＰＵ２２、ＲＯＭ２４、ＲＡＭ２６、入出力（Ｉ／Ｏ）ポート２８を備えている。ＣＰＵ２２〜入出力ポート２８は、バス３０により相互に接続されている。入出力ポート２８には、２次記憶装置３２、表示部３４、入力部３６が接続されている。また、入出力ポート２８には、通信インターフェース（Ｉ／Ｆ）３８を介して、光学顕微鏡１２及び電子顕微鏡１４が接続されている。ＲＯＭ２４または２次記憶装置３２には、後述するスライス検出処理プログラムが記憶されている。
なお、表示部３４は、本開示の技術の表示部の１例である。

次に、図１Ｂを参照して、画像処理装置１６のＣＰＵ２２が実行するスライス検出処理プログラムの機能の構成を説明する。図１Ｂに示すように、スライス検出処理プログラムは、作成機能、検出機能、調整機能、順序付け機能、指定機能、決定機能、及び送信機能を備えている。画像処理装置１６のＣＰＵ２２が各機能を実行することで、画像処理装置１６のＣＰＵ２２は、作成部４２、検出部４４、調整部４６、順序付け部４８、指定部５０、決定部５２、及び送信部５４として機能する。
なお、検出部４４は、本開示の技術の検出部の１例であり、決定部５２は、本開示の技術の決定部の１例である。

次に、図２を参照して、複数のウェハチップ６４が配置されたウェハ６０を説明する。図２Ａに示すように、ウェハ６０の上には、複数のウェハチップ６４が配置されている。ウェハチップ６４の上には、図２Ｂに示すように、複数のスライス６６が配置されている。上記のように、電子染色された試料を樹脂で固め、断面が台形となるように上下左右端を削り落とし、試料をミクロトームにより薄切して複数のスライス６６を形成し、複数のスライス６６をウェハチップ６４の上に並べて配置する。なお、電子染色は、試料を樹脂で固めた後でもよい。

スライス６６の形状を台形としているのは、カットを加えて向きを示すためである。複数のスライス６６の中には、正確な台形ではなく、歪んでいるものや、薄切の際に厚さが薄く（ないしは厚く）なるものもある。

複数のスライス６６を形成するために、試料をミクロトームにより連続して薄切する。試料を連続して薄切する際、既に形成されたスライスを水の上に次に形成されたスライスが押し出すことを繰り返すので、複数のスライス６６は、横に複数枚連なっていることが多い。水の上で横に複数枚連なっている複数のスライス６６をすくいあげ、ウェハチップ６４の上に並べて配置する。なお、単独で存在するスライス９３もある。各スライス６６が配置された向きは乱雑になっている場合もある。なお、図２Ｂに示すように、別の複数のスライス６８も配置される場合もある。

ウェハチップ６４を、光学顕微鏡１２または光学顕微鏡１２とは別の光学顕微鏡で撮影する。光学顕微鏡で撮影できる範囲は、ウェハチップ６４より狭い場合がある。その場合、光学顕微鏡では、撮影する領域をずらしながら、ウェハチップ全体を撮影し、撮影して得られた各画像をつなぎ合わせ、図２Ｂのウェハチップ６４の画像３４Ｄを取得する。なお、別の光学顕微鏡で倍率を調整して、ウェハチップ６４を１枚の画像として撮影するようにしてもよい。なお、ウェハチップ６４の画像３４Ｄは、光学顕微鏡１２で取得しても電子顕微鏡１４で取得しても、更にはカメラ等のその他の画像取得装置で取得してもよい。

図２Ａに示すように、ウェハ６０の上には、光学顕微鏡１２、電子顕微鏡１４、及び画像処理装置１６に共通の基準位置を設定するため、絶対位置マーカが、３点６２Ａ、６２Ｂ、６２Ｃが付与されている。光学顕微鏡１２、電子顕微鏡１４、及び画像処理装置１６は、ウェハ６０やウェハチップ６４上に載置されたスライス６６の画像を取得した場合、スライス６６の位置を、絶対位置マーカが付与された３点６２Ａ、６２Ｂ、６２Ｃを基準に特定することができる。

よって、画像処理装置１６がスライス６６の位置を、絶対位置マーカが付与された３点６２Ａ、６２Ｂ、６２Ｃを基準に特定すると、特定されたスライス６６の位置は、３点６２Ａ、６２Ｂ、６２Ｃを基準にして、光学顕微鏡１２及び電子顕微鏡１４は共通して把握することができる。

次に、本実施の形態の作用を説明する。図３に示すように、スライス検出処理プログラムでは、ステップ８０で、作成部４２は、スライステンプレートを作成する。具体的には、ユーザがスライステンプレートの形状を指定すると、図４のステップ８０Ａで、作成部４２は、スライステンプレートの形状の指定を検出する。例えば、図２Ｂに示すウェハチップ６４の画像３４Ｄを、画像処理装置１６の表示部３４に表示する。ユーザは、ウェハチップ６４の画像３４Ｄの中の複数のスライス６６の中から、スライステンプレートとして形状が比較的台形に等しいスライス９３を選別し、そのスライス９３のコーナを入力部３６を介して順にクリックする。ステップ８０Ａでは、作成部４２は、クリックされた点の位置を検出して、スライステンプレートの形状を決定する。コーナのクリックする順番は、例えば、図５Ａ、図５Ｂに示すように、スライス左下隅から反時計回であってもよい。これは、最初にクリックされた点と２番目にクリックされた点とを結ぶ線を台形の底辺とするためである。なお、台形の底辺を決めるには、スライス左下隅から反時計回で最初にクリックされた点と２番目にクリックされた点とを結ぶ線とするようにしてもよい。なお、クリックの順番は任意でもよい。また、クリック後にユーザにより底辺が指定されてもよい。
スライスの向きは問わない。図５Ａ、図５Ｂに示す例では、コーナの数は４点である。向きを示すカットの形成により、スライスが５角形の場合もあり、この場合には、図５Ｃに示すように、コーナは５点ある。
なお、ウェハチップ６４の画像３４Ｄは、本開示の技術の第１の画像の１例である。

図４のステップ８０Ｂで、作成部４２は、ステップ８０Ａで検出された、クリックされた点の座標修正を行う。具体的には、図６Ａに示す選択されたスライス９３の底辺が、図６Ｂに示すように水平となるように、クリックされた点の位置を回転させる。図６Ｃに示すように、スライス９３の底辺にｘ、ｙ座標の原点を設定し、底辺がｘ軸に沿い、縦の辺が、ｙ軸と平行となり且つ底辺と直角となるように、クリックされた点の座標を修正する。具体的には、スライス９３の左下の点９３Ｐ１のｘ軸上の位置と、左上の点９３Ｐ４のｘ軸上の位置を同じにする。より具体的には、座標が修正される前のスライス９３の左下の点９３Ｐ１、左上の点９３Ｐ４のｘ軸上の位置をそれぞれｘ１、ｘ４とすると、スライス９３の左下の点９３Ｐ１、左上の点９３Ｐ４の修正後の位置を、（ｘ１＋ｘ４）／２にする。同様に、座標が修正される前のスライス９３の右下の点９３Ｐ２、右上の点９３Ｐ３のｘ軸上の位置をそれぞれｘ２、ｘ３とすると、スライス９３の右下の点９３Ｐ２、右上の点９３Ｐ３の修正後の位置を、（ｘ２＋ｘ３）／２にする。スライス９３の底辺に設定したｘ、ｙ座標の原点は、（ｘ１＋ｘ２＋ｘ３＋ｘ４）／４である。なお、図４のステップ８０Ｂの座標修正処理が終了すると、スライス検出処理は図３のステップ８２に進む。

図３のステップ８２で、検出部４４は、オート検出を実行する。なお、オート検出では、後述する変形例のようにステップ８１の探索位置限定ユーザーアシスト処理を加味してもよい。
図３のステップ８２におけるオート検出は、具体的には、図７のステップ８２Ａで、検出部４４は、エッジ抽出する。以下、キャニー（Ｃａｎｎｙ）法を例示して、エッジ抽出の処理を説明するが、他の手法であってもよい。

図８Ａに示すように、表示部３４の表示画面３４Ｇは、ウェハチップ６４の画像３４Ｄを表示する領域、スライダ３４Ｓを移動させてエッジ抽出のためのパラメータを設定するためのスライダ移動表示領域３４ＳＰとを有する。エッジ抽出のためのパラメータは、例えば、キャニー（Ｃａｎｎｙ）法では、閾値であってもよい。表示部３４の表示画面３４Ｇは更に、スライダ３４Ｓの位置によって定まる設定値を表示する設定値表示領域３４Ｋとを有する。
ステップ８２Ａにおいて、検出部４４は、例えば、キャニー法を用いてエッジを検出（抽出）する。キャニー法では、１）ガウシアンフィルタを用いた平滑化処理、２）ソーベルフィルタなどを用いた輝度の勾配の大きさ、輝度の勾配の方向の算出、３）Ｎｏｎ ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ、４）Ｈｙｓｔｅｒｅｓｉｓ Ｔｈｒｅｓｈｏｌｄ処理などが行われるが、エッジ抽出のためのパラメータは例えば最大閾値として用いられる。
図８Ａに示すように、スライダ３４Ｓの位置が左から右に移動するに従ってパラメータの値が大きくなる。スライス６６の各ピクセルの輝度は様々で、エッジ検出の結果はパラメータの値に依存する。スライダ３４Ｓが比較的左側の位置にありパラメータの値（閾値）が小さいと、図８Ｂに示すように、全スライス及び図示しないスライスでないゴミの範囲をエッジ抽出する。スライダ３４Ｓの位置が中央にある場合には、図８Ｃに示すように、スライスの殆どのエッジが抽出される。図８Ｄに示すように、スライダ３４Ｓが右側にあるとパラメータの値（閾値）が大きいため背景との輝度差が大きいスライスのみのエッジが抽出される。これらの表示結果に従って、ユーザは、スライダ３４Ｓを所望の位置にセットし、検出部４４は、スライダ３４Ｓの位置で決定されるパラメータの値に基づいてエッジを抽出する。
なお、パラメータは、本開示の技術の第１のパラメータの１例である。

ステップ８２Ｂで、検出部４４は、図９Ａの左側に示すウェハチップ６４の画像３４Ｄにおいて、例えば、ソーベルフィルタを用いて輝度の勾配の方向を算出し、図９Ａの右側に示すように、各ピクセルの識別データｐ１、ｐ２、・・・ｐｎと、各識別データで識別されるピクセルの輝度の勾配の方向θ１、θ２、・・θｎとを対応して記憶することにより、輝度勾配方向テーブル３４ＤＥを形成する。

なお、本開示の技術では、ソーベルフィルタを用いて輝度の勾配の方向を計算する方法に限定されず、ＰｒｅｗｉｔｔオペレータやＲｏｂｅｒｔｓ ｃｒｏｓｓを用いて、輝度の勾配の方向を計算してもよい。

ステップ８２Ｃで、検出部４４は、フィルタ９８を作成する。具体的には、図９Ｂの左側に示すように、まず、スライステンプレート９２の２本の平行の辺をそれぞれ上下に延長し、２つのマスク部９４、９６を、スライステンプレート９２の上下に配置する。上下のマスク部９４、９６のそれぞれの面積は、スライステンプレート９２の面積の半分である。スライステンプレート９２には、マスク部９４、９６の輝度よりも小さいことを示すＶ０、マスク部９４、９６には、スライステンプレート９２より輝度が大きいことを示すＶ１を設定する。以上により、図９Ｂの右側に示すように、フィルタ９８は、マスク部９４とスライステンプレート９２とマスク部９６との輝度のパターン（Ｖ１、Ｖ０、Ｖ１）により定まる。スライステンプレート９２には、後述するテンプレートマッチングにおいてフィルタ９８を移動させる際の基準となる移動基準位置９５が定められている。
なお、フィルタ９８は、本開示の技術のテンプレートの１例であり、スライステンプレート９２は、本開示の技術の試料切片を示す領域の１例であり、マスク部９４、９６本開示の技術の背景を示す領域の１例である。マスク部９４、９６との輝度（Ｖ１）は、本開示の技術の背景を示す領域に対応する値の１例であり、スライステンプレート９２の輝度（Ｖ０）は、本開示の技術の試料切片を示す領域に対応する値の１例である。

ここで、マスク部９４、９６をスライステンプレート９２の上下に配置し、マスク部９４とスライステンプレート９２とマスク部９６との輝度のパターンを、（Ｖ１（大きい）、Ｖ０（小さい）、Ｖ１（大きい））としているのは、現実のスライス６６及びスライスの上下の画像の輝度に対応させるためである。より詳細には、図２Ｂに示すように、スライス９３の上下には、スライス９３の輝度より大きい輝度の背景部分が存在するので、マスク部９４とスライステンプレート９２とマスク部９６との輝度のパターンを、（Ｖ１（大きい）、Ｖ０（小さい）、Ｖ１（大きい））とすると、フィルタ９８の輝度パターンは、スライス９３及びスライス９３の上下の部分の輝度パターンに対応する。

上記のようにスライステンプレート９２は、形状が比較的台形に等しいスライス９３から形成されている。

以上からウェハチップ６４の画像３４Ｄに対して、フィルタ９８でマッチング処理をすると、ウェハチップ６４の画像３４Ｄの中からスライス９３の部分を検出することができる。

なお、図２Ｂに示すように、ウェハチップ６４の画像３４Ｄにおいてスライス９３の左右の部分は背景であるので、フィルタ９８もマスク部を、スライステンプレート９２の左右に配置することも考えられる。しかし、図２Ｂに示すように、複数のスライス６６は、横に複数枚連なっていることが多く、スライスの左右は、背景ではなく他のスライスが存在する。よって、スライスの左右の輝度は、背景の輝度より小さい。そこで、第１の実施の形態では、マスク部を、スライステンプレート９２の上下に配置して、フィルタ９８を作成している。

ステップ８２Ｄで、検出部４４は、各ピクセルについて評価を行う。具体的には、ウェハチップ６４の画像３４Ｄにおいて、ステップ８２Ａで抽出されたエッジの領域において、フィルタ９８を用いて、マッチング処理（テンプレートマッチング）を実行する。マッチング処理で、ウェハチップ６４の画像３４Ｄのエッジの領域の各ピクセルについて、各ピクセルに移動基準位置９５が位置するように配置されたフィルタ９８と、画像３４Ｄにおけるフィルタ９８が配置された部分との類似度（各ピクセルがスライス６６のピクセルである確からしさを表す値）を計算（評価）する。具体的には、図９Ｃの左側に示すように、移動基準位置９５を基準に、フィルタ９８を、所定の方向３４ＤＡに沿って移動させる。移動基準位置９５がステップ８２Ａで抽出されたエッジの領域に位置していない場合には、マッチング処理を実行せずに、上記移動を継続させる。フィルタ９８を移動させて移動基準位置９５がステップ８２Ａで抽出されたエッジの領域に位置した場合には、フィルタ９８の向きを、移動基準位置９５に対応するピクセルの輝度勾配の方向θになるように、フィルタ９８を回転させて類似度を計算する。以上を、ウェハチップ６４の画像３４Ｄの全体において行う。

各ピクセルについての類似度の計算は、具体的には、次のように行う。移動基準位置９５がステップ８２Ａで抽出されたエッジの領域に位置する場合に、図１０の左側に示すように、ウェハチップ６４の画像３４Ｄからフィルタ９８が位置する評価領域１０２を切り出す。次に、切り出した評価領域１０２の５０％のピクセルが白、残りの５０％のピクセルが黒となる閾値で、切り出した評価領域１０２のピクセル値を２値化する。これは、フィルタ９８の５０％の部分（スライステンプレート９２）が白、残りの５０％の部分（マスク部９４、９６）が黒であることに対応させるためである。そして、２値化した評価領域１０２Ａの輝度パターンとフィルタ９８の輝度パターンとの類似度を計算する。

図１０の左側に示す評価領域１０２は、２値化した評価領域１０２Ａ（図１０の右側）の輝度パターンとフィルタ９８の輝度パターンとがほぼ一致しているので、類似度の値（スコア）としては比較的大きい値、０．９８２（図１０の右側）が計算される。

各ピクセルについて計算したスコアから、図９Ｃの右側に示すように、各ピクセルの識別データｐ１、ｐ２、・・・ｐｎと、各識別データで識別されるピクセルのスコアｓ１、ｓ２、・・・ｓｎを対応して記憶することにより、スコアテーブル３４ＤＭを形成する。

以上のように、スライス部と背景部の明暗分布に基づいたフィルタ９８を用いていることと、輝度値を２値化した値を用いて計算を行うことにより、輝度の変動に対する検出のロバスト性を得ている。例えば、比較的輝度が大きいスライス６６や、スライス内部で輝度のばらつきがあるようなスライス６６といった、検出の難しいスライスであっても、スライス部の輝度が背景部より小さいという条件を満たしていれば、検出が可能である。
なお、スライスを検知するため、フィルタ９８を用いて、マッチング処理（テンプレートマッチング）をしているが、スライスを検知するために行う処理は、フィルタ９８を用いたマッチング処理（テンプレートマッチング）に限定されるものではなく、例えば、機械学習（例えば、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ） を使って見つけるようにしてもよい。

図７のステップ８２Ｅで、検出部４４は、ウェハチップ６４の画像３４Ｄの中で、各スライス６６の位置を確定する。具体的には、検出部４４は、スコアテーブル３４ＤＭ（図９Ｃの右側参照）から抽出されたスコアの最大のピクセルにスライステンプレート９２の原点（移動基準位置９５）を位置させ、輝度勾配方向テーブル３４ＤＥから、スコアの最大のピクセルに対応する輝度の勾配の方向により定まる方向に沿って、図１１Ａに示すように、スライス候補１１２を置き、図１１Ｂに示すように、スライス１１４を設定する。

次に、図１２Ａに示すウェハチップ６４の画像３４Ｄの各ピクセルがスライス６６のピクセルである確からしさを表す値（スコア）がスコア閾値以上の、最大のピクセル以外の全ピクセルに対して、スコアの大きいピクセルから順に、スライスのピクセルであるのかを調べ、調べた結果に応じてスライスを確定する。具体的には、図１２Ｂに示すように、スコア閾値以上の複数のピクセルの中の２番目にスコアが大きいピクセルに、図１１Ａ、図１１Ｂで説明した方法でスライス候補１１６を配置する。配置したスライス候補１１６が既検出のスライス１１４との重なりが所定値以上大きい場合には、図１２Ｃに示すように、スライス候補１１６は、スライスとして検出しない。次に、図１２Ｄに示すように、スコア閾値以上の複数のピクセルの中の３番目にスコアが大きいピクセルに、図１１で説明した方法でスライス候補１１８を配置する。配置したスライス候補１１８が既検出のスライス１１４との重なりが所定値未満の場合には、図１２Ｅに示すように、スライス候補１１８をスライス１２０として確定する。以上をスコア閾値以上のピクセルについて行う。

図７のステップ８２Ｅのスライス確定処理が終了すると、スライス検出処理は、図３のステップ８４に進む。
なお、図３のステップ８２のオート検出に代えて、全てのスライスをユーザが検出する処理を実行するようにしてもよい。

図３のステップ８４で、調整部４６は、確定されたスライスをマニュアル調整する。

具体的には、ステップ８４Ａで、誤検出のスライスを削除する。具体的には、スライス検出処理でスライスとして検出されたが、ユーザが、表示された検出結果を見て、スライスではないと判断した場合、誤検出としてスライスを削除する。

更に、ステップ８４Ｂで、ユーザが検出されたスライスの位置を微調整する。

ステップ８６で、順序付け部４８は、スライス順序付けを行う。すなわち、ユーザが入力部３６を介して、試料の３次元データを構築するために、どの順番でスライスを積層するかを指定する。ステップ８６では、順序付け部４８は、ユーザにより順序の入力を検出する。例えば、ユーザが入力部３６を介して、図１３に示すように、スライス列１３２、１３４の順と、スライス列１３２、１３４のそれぞれのスライスの順とを指定すると、順序付け部４８は、スライス列１３２、１３４の順と、スライス列１３２、１３４のそれぞれのスライスの順とを検出する。

ステップ８８で、指定部５０は、３次元構造のデータ（３Ｄデータ）から除外するスライスを指定する。ウェハチップ６４の画像３４Ｄを見て、誤検出ではなくスライスではあるが、変形して試料の３次元構造のデータ（３Ｄデータ）として使用するには不適切と、ユーザが判断した場合、ユーザは入力部３６を介して、削除するスライスをクリックする。ステップ８８では、指定部５０は、ユーザによる入力を検出し、検出されたスライスのデータを削除する。

図１４Ａに示すように、絶対位置マーカが付与された３点６２Ａ、６２Ｂ、６２Ｃを基準にＸ軸とＹ軸とが、ウェハ６０上に定められている。
ステップ９０で、決定部５２は、絶対位置マーカが付与された３点６２Ａ、６２Ｂ、６２Ｃを基準にした各スライス６６の各コーナの点の位置、即ち、Ｘ軸及びＹ軸上の座標を決定する。具体的には、決定部５２は、点Ｐ１について（ｘ１、ｙ１）、点Ｐ２について（ｘ２、ｙ２）、Ｐ３について（ｘ３、ｙ３）、Ｐ４について（ｘ４、ｙ４）の座標情報を出力する。例えば、（２９２，８０）、（３１０，１１４）、（３７８，７７）、（３３５，５７） を決定する。

ステップ９２で、送信部５４は、通信インターフェース３８を介して、絶対位置マーカが付与された３点６２Ａ、６２Ｂ、６２Ｃを基準にしたスライス６６の位置データを電子顕微鏡１４に送信する。

スライス６６の位置データは、スライスの各コーナの点の座標情報に限定されず、第１に、２個の代表点の座標、例えば、（２９２，８０）、（３１０，１１４）でもよく、第２に、１個の代表点の座標と、絶対位置マーカが付与された２点６２Ｂ、６２Ｃを結ぶ線に対する角度、例えば、（２９２，８０）、６１度でもよい。

また、スライス６６の位置データは、絶対位置マーカが付与された３点６２Ａ、６２Ｂ、６２Ｃを基準にすることに限定されず、ウェハチップ６４の各コーナの４点を、絶対位置マーカが付与された３点６２Ａ、６２Ｂ、６２Ｃを基準に決定し、スライス６６の位置データは、ウェハチップ６４の３つのコーナの点を基準にしてもよい。ウェハチップ６４の各コーナの４点を絶対位置マーカが付与された３点６２Ａ、６２Ｂ、６２Ｃを基準に決定しておけば、ウェハチップ６４の３つのコーナの点を基準にして求めたスライス６６の位置データは、絶対位置マーカが付与された３点６２Ａ、６２Ｂ、６２Ｃを基準にした値に変換することができるからである。

以上説明したように第１の実施の形態の画像処理装置１６は、各スライスの座標情報を取得することができる。

上記のように、絶対位置マーカが、３点６２Ａ、６２Ｂ、６２Ｃが付与された点は、光学顕微鏡１２、電子顕微鏡１４、及び画像処理装置１６において共通の基準位置である。よって、絶対位置マーカが付与された３点６２Ａ、６２Ｂ、６２Ｃを基準にスライス６６の位置を特定すると、特定されたスライス６６の位置は、光学顕微鏡１２、電子顕微鏡１４、及び画像処理装置１６において共通に利用することができる。

よって、ステップ９０で、画像処理装置１６が、絶対位置マーカが付与された３点６２Ａ、６２Ｂ、６２Ｃを基準に特定したスライス６６の位置のデータを電子顕微鏡１４に送信すると、電子顕微鏡１４は、絶対位置マーカが付与された３点６２Ａ、６２Ｂ、６２Ｃを基準に、各スライス６６の位置を特定することができる。

ところで、スライスの表面の観察したい箇所（ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ））は、スライス毎に相対的に同じ位置であるが、従来の電子顕微鏡では、ウェハチップの画像において、ユーザが、スライス毎にスライスの表面の観察したい箇所を個別に指定していた。電子顕微鏡は、１つのスライスの観察したい箇所のデータを取得すると、別のスライスについて個別に指定された箇所が観察範囲に位置するようにウェハを移動させ、各スライスの指定された箇所のデータを取得していた。

このように、従来の技術では、スライス毎に相対的に同じ位置にある観察したい箇所を、ユーザが、スライス毎に個別に指定しているので、ユーザの労力が過大であった。

第１の実施の形態では、光学顕微鏡１２、電子顕微鏡１４、及び画像処理装置１６において共通に利用することができるように、各スライス６６の位置を特定し、また、各スライス６６はサイズ及び形状が同じであるので、電子顕微鏡１４において１つのスライス６６において観察したい箇所を指定する、例えば、観察したい箇所が１点の位置ならクリックすることにより、領域ならばマウスを用いて矩形などで囲むことにより指定すると、指定された箇所の位置に基づいて、他の全てのスライス６６の観察したい箇所を自動的に特定することができる。よって、電子顕微鏡１４では、１つのスライス６６の指定された観察したい箇所のデータを取得すると、各スライス６６の特定された位置と、１つのスライス６６において観察したい箇所の位置とから、別のスライスにおいて対応する観察したい箇所が観察範囲に位置するようにウェハ６０を移動させ、各スライスの観察したい箇所のデータを自動的に取得することができる。

このように１つのスライス６６において観察したい箇所を指定すれば、他の全てのスライス６６の観察したい箇所のデータを自動的に取得することができるので、ユーザの労力を、従来の電子顕微鏡装置において必要であった労力より軽減することができる。

電子顕微鏡１４によりスライス毎に取得した観察したい箇所のデータから、ユーザないしは自動で決定したスライスの並び順に従って、観察したい箇所の３次元構造のデータを構築する。

そして、光学顕微鏡１２により取得した試料の３次元データと、電子顕微鏡１４により構築された試料の３次元構造のデータとを組み合わせて表示してもよい。例えば、試料全体を表示すると共に、試料の中から所望の部位のみを、色を変えて表示してもよい。

（第２の実施の形態）
次に、本開示の技術の第２の実施の形態を説明する。第２の実施の形態の構成は、第１の実施の形態の構成と同様であるので、その説明を省略する。

次に、第２の実施の形態の作用を説明する。第２の実施の形態の作用は、後述するセミマニュアル検出処理（図１５）を、図７のステップ８２Ｅのスライス確定処理の後に実行する点で相違する。検出部４４（図１Ｂ参照）がセミマニュアル検出処理を実行する。

第１の実施の形態では、オート検出処理でスライスを自動的に検出しているが、スライスの検出漏れがある場合がある。第２の実施の形態では、ユーザのアシストを得て、漏れたスライスを検出する。

図１５のステップ１５２で、検出部４４は、検出から漏れてしまった、検出対象のスライスについてクリックされた箇所を検出する。具体的には、オート検出処理で検出されたスライスが表示された図１６Ａに示す画像３４Ｄにおいて、ユーザが入力部３６を介して、スライスであると認識したスライスの中央の点１５２Ｐ１をクリックする。検出部４４は、クリックされた点１５２Ｐ１を検出する。
図１６Ａに示す画像は、本開示の技術の第２の画像の１例である。

ステップ１５４で、検出部４４は、クリックされた点の近傍の領域を切り出す。具体的には、検出部４４は、クリックされた点を中心に正方形の領域を切り出し、探索領域１５４Ｒとする。正方形の領域の一辺は、例えば、スライステンプレート９２がその領域内に収まるように、スライステンプレート９２の対角線の長さから決められる。具体的には、１．０倍〜２．０倍の範囲である。短いほど精度が良くなる。長いほど、ユーザに求められるクリック精度は緩くなる。例えば、スライステンプレート９２の対角線の４／３倍の正方領域を探索領域としてもよい。図１６Ａに示すように、漏れているスライスと認識されたスライスの点１５２Ｐ１がクリックされると、図１６Ｂに示すように、クリックされた点１５２Ｐ１を中心とした正方領域１５４Ｒが探索領域として切り出される。

ステップ１５６で、検出部４４は、エッジ抽出のためのパラメータを設定する。具体的には、図１７Ａに示すように、ステップ１５２でクリックされた点１５２Ｐ１を含む所定の領域のスライス輝度と、背景輝度とから、エッジ抽出のためのパラメータを設定する。エッジ抽出のためのパラメータは、例えば、キャニー （Ｃａｎｎｙ）法では、閾値であってもよい。具体的には、図１７Ｂに示すように、クリックされた点１５２Ｐ１を含む所定の領域１５２ＰＲの中のピクセルの輝度の平均値を、スライス輝度として計算する。また、図１７Ｃに示すように、ウェハチップの画像全体の輝度のヒストグラムを形成し、ヒストグラムの中の最頻値の輝度値を、背景輝度として選択する。図１７Ｃに示す例では、ピクセル総数（Ｃｏｕｎｔ）は７９５００、輝度の最頻値（１０６７９個）の輝度値は、１５１である 。例えば、キャニー（Ｃａｎｎｙ）法を用いて、エッジを抽出する場合、スライス輝度と背景輝度との差の値に応じた値を、エッジ抽出のためのパラメータ（閾値）として設定する。なお、スライス輝度と背景輝度との差の値に応じた値としては、スライス輝度と背景輝度との差の値自体でもよく、スライス輝度と背景輝度との差の１／４の値や１／２の値でもよく、ウェハチップの画像の分解能や倍率に応じて適宜決定される。第２の実施の形態におけるエッジ抽出のためのパラメータは、第１の実施の形態におけるエッジ抽出のためのパラメータよりも探索領域１５４Ｒに適した値にして、エッジを抽出しやすくしている。
なお、ステップ１５６におけるエッジ抽出のためのパラメータは、本開示の技術の第２のパラメータの１例である。

ステップ１５８で、検出部４４は、オート検出処理と同様に、例えば、キャニー（Ｃａｎｎｙ）法を用いて、エッジを抽出する。上記のようにステップ１５６では、スライス輝度と背景輝度との差に応じた値をエッジ抽出のためのパラメータ（閾値）として設定するので、図１７Ｄに示すように、オート検出では検出されなかったスライスのエッジ１５８Ｅ０が抽出される。

なお、ステップ１５６で、検出部４４は、エッジ抽出パラメータとして、スライス輝度と背景輝度との差に応じた値としているが、本開示の技術はこれに限定されず、所定の値を用いてもよい。

図１５のステップ１６０で、検出部４４は、ステップ１５４で切り出された探索領域１５４Ｒの各ピクセルについて各ピクセルがスライス６６のピクセルである確からしさを表す類似度の値（スコア）を計算（評価）する。具体的には、図１８Ａに示す探索領域１５４Ｒにおいて、スライステンプレート９２を移動させ、各ピクセルについて、各ピクセルに移動基準位置９５が対応するように、図１８Ｂに示すスライステンプレート９２を配置する。スライステンプレート９２を移動させて移動基準位置９５が抽出されたエッジの領域に位置した場合には、スライステンプレート９２の向きを、移動基準位置９５に対応するピクセルの輝度勾配の方向θになるように、スライステンプレート９２を回転させて類似度を計算する。スライステンプレート９２と、抽出されたエッジとの重なり具合から、各ピクセルがスライス６６のピクセルである確からしさを表す類似度の値（スコア）を計算し、スコアテーブルを作成する。
なお、図１５のステップ１６０において使用されるスライステンプレート９２は、本開示の技術の試料切片の形状に基づいて決められるテンプレートの１例である。

ステップ１６２で、検出部４４は、スライスを確定する。具体的には、ステップ１６０におけるスコアテーブルを用いて、スコアが最大のピクセルに、移動基準位置９５が対応するようにスライステンプレート９２を配置して、スライスを確定する。この場合には、ユーザにより１つの漏れているスライスが選択されているので、必ず候補を１つ検出する。重なり判定の方法は、オート検出処理のスライスの確定（図７のステップ８２Ｅ）と同様である。重なり判定に用いる検出結果情報（確定スライス）は、オート検出のものと共通する。

図１９Ａに示すように、クリックされた点を中心として正方形の探索領域１５４Ｒについて、図１９Ｂに示すように、スライス１６６Ｎが確定する。

以上説明したように、第２の実施の形態では、オート検出処理で検出から漏れたスライスについて、漏れたスライスをユーザにクリックしてもらうことによりユーザのアシストを得る。オート検出処理におけるエッジ抽出のためのパラメータよりもエッジが抽出されやすいパラメータにして、漏れたスライスを検出している。よって、第２の実施の形態では、試料の３次元構造のデータとして必要なスライスのデータを漏れなく検出することができる。

また、第２の実施の形態では、必ず１個の漏れたスライスがあることが分かっている探索領域１５４Ｒの各ピクセルについて類似度の値（スコア）を、スライステンプレート９２の形状と、オート検出処理におけるエッジ抽出のためのパラメータよりもエッジが抽出されやすいパラメータにして抽出されたエッジとの重なり具合から計算している。そして、スコアが最大のピクセルに、移動基準位置９５が対応するようにスライステンプレート９２を配置して、スライスを確定する。よって、第２の実施の形態では、漏れたスライスを適切に検出することができる。
なお、第２の実施の形態では、探索領域１５４Ｒの各ピクセルがスライス６６のピクセルである確からしさを表す値を計算するために、第１の実施の形態と同様に、フィルタ９８の輝度パターンを用いてもよい。

次に、本開示の技術の変形例を説明する。なお、以下の各変形例の構成は、第１の実施の形態の構成と同様であるので、その説明を省略する。また、各変形例の作用も第１の実施の形態と同様の部分があるので、異なる部分のみを説明する。

（第１の変形例）
第１の実施の形態及び第２の実施の形態では、図２Ｂに示すウェハチップ６４の画像の中の複数のスライス６６の中から、ユーザが、スライステンプレートとして形状が比較的正しいスライス９３を選択し、画像上のスライス９３のコーナを順にクリックして４点（又は５点）を指定している。本開示の技術はこれに限定されず、次のように、スライステンプレート４点（又は５点）を指定するようにしてもよい。

第１に、ユーザが入力部３６を介して、スライステンプレート４点（又は５点）の座標値を入力する。

第２に、ユーザが入力部３６を介して、画像上から１個のスライスの輪郭をなぞるように指定した場合、臨界の形状を検出し、また、１個のスライスを含む範囲を指定した場合、輝度値などを利用してエッジを検出して形状を検出する。そして、検出した形状から、４点（又は５点）の座標を特定する。

（第２の変形例）
第１の実施の形態及び第２の実施の形態では、ウェハチップ６４の画像について、フィルタ９８を用いて、マッチング処理することにより、ウェハチップ６４の画像の各ピクセルについて、各ピクセルがスライス６６のピクセルである確からしさを表す値（類似度）を計算（評価）する。

しかし、スライスは、ウェハチップ６４の上に散らばっているのでなく、列に連なって配置されている。よって、ウェハチップ６４の画像の全体についてマッチング処理する必要はない。

そこで、第２の変形例は、図２０に示すように、第１の実施の形態のオート検出処理（図７）のステップ８２Ａの前に、マッチング処理する領域を限定するため、ステップ８２Ｇで、検出部４４は、探索領域の指定処理を実行する。ステップ８２Ｇの探索領域の指定処理は、図３のステップ８１の探索位置限定ユーザーアシスト処理である。なお、ステップ８２Ｇの探索領域の指定の処理は、ステップ８２Ａのエッジ抽出の処理の後でもよい。

ステップ８２Ｇでは、具体的には、図２１Ａに示すウェハチップ６４の画像３４Ｄにおいて、図２１Ｂに示すように、ユーザが入力部３６を介して指定されたマッチング処理のために、移動基準位置９５を基準にフィルタ９８を移動させる領域８２Ｇ１を検出する。その後、第１の実施の形態と同様に、ステップ８２Ｃ〜８２Ｅを実行する。ステップ８２Ｄにおけるマッチング処理では、ステップ８２Ａで抽出されたエッジの領域において更に領域８２Ｇ１でもある領域においてのみフィルタ９８を移動させながら類似度を計算し、図２１Ｃに示すように、スライスが確定される。

探索領域の指定処理は、図２１Ｂに示す例に限定されず、図２１Ｄに示すように、ユーザが入力部３６を介して、スライスを含む領域８２ＧＲ１を設定する。ステップ８２Ｇでは、検出部４４は、ユーザが入力部３６を介して指定したスライスを含む領域８２ＧＲ１を検出する。その後、第１の実施の形態と同様に、ステップ８２Ｃ〜８２Ｅを実行する。ステップ８２Ｄにおけるマッチング処理は、ステップ８２Ａで抽出されたエッジの領域であり且つ指定された領域８２ＧＲ１の中でのみ実行する。よって、指定された領域８２ＧＲ１の外にあるエッジ領域は無視される。

また、図２１Ｅに示すように、ユーザが入力部３６を介して連続するスライスの端点８２ＧＰ１、８２ＧＰ２、８２ＧＰ３を指定する。ステップ８２Ｇでは、検出部４４は、ユーザが入力部３６を介して指定した端点８２ＧＰ１、８２ＧＰ２、８２ＧＰ３を検出し、端点間を直線で補間する。その後、第１の実施の形態と同様に、ステップ８２Ｃ〜８２Ｅを実行する。ステップ８２Ｄにおけるマッチング処理は、ステップ８２Ａで抽出されたエッジの領域であり且つ端点８２ＧＰ１、８２ＧＰ２、８２ＧＰ３により定まる領域（例えば８２ＧＰ１、８２ＧＰ２、８２ＧＰ３間を直線で補間した領域）でのみ実行する。なお、端点８２ＧＰ１と端点８２ＧＰ２との間の距離をスライステンプレート９２の幅で割り、端点８２ＧＰ１〜端点８２ＧＰ２との間にあるスライスの数を求め、マッチング処理では、ステップ８２Ａで抽出されたエッジの領域であり且つ端点８２ＧＰ１〜端点８２ＧＰ２までの間の領域において、スライス数に応じて割り当てられた領域のみでマッチング処理を実行してもよい。なお、図２１Ｅに示す例では、ユーザが入力部３６を介して端点８２ＧＰ１、８２ＧＰ２、８２ＧＰ３を指定しているが、本開示の技術はこれに限定されない。第１に、抽出されたエッジの範囲を直線に近似して端点８２ＧＰ１〜端点８２ＧＰ３を自動的に検出してもよい。第２に、抽出されたエッジの範囲内で、台形の先端の三角形の部分を抽出し、抽出した三角形の数を数えることによりスライス数を求めてもよい。

第２の変形例では、スライスの探索範囲を、領域や方向において限定することで、品質精度を向上させると共に、処理時間を短縮させることが出来る。なお、スライスの探索範囲は、エッジやエッジとユーザ指定範囲に限定されるものではない。
なお、領域８２Ｇ１を含む範囲、領域８２ＧＲ１、端点８２ＧＰ１、８２ＧＰ２、８２ＧＰ３で定まる領域は、本開示の技術の部分特定領域の１例である。

（第３の変形例）
第１の実施の形態のエッジ抽出のパラメータの設定（図７のステップ８２Ａ）では、まず、ユーザがスライダ３４Ｓを所望の位置にセットする。ステップ８２Ａでは、スライダ３４Ｓの位置を検出し、検出された位置に応じたエッジ抽出のパラメータを設定する。本開示の技術は、このようにユーザがスライダ３４Ｓを所望の位置にセットしてエッジ抽出のパラメータを設定することに限定されない。例えば、予め複数のパラメータを決定しておく。例えば、図２２に示すように、２５０、２００、１５０、１００を決定しておく。４つのパラメータの各々でエッジ抽出し、抽出したエッジを一覧表示する。第１の表示領域３４Ｄ１には、パラメータが２５０の場合のエッジの抽出結果が示されている。第２の表示領域３４Ｄ２には、パラメータ２００の場合のエッジの抽出結果が示されている。第３の表示領域３４Ｄ３には、パラメータ１５０の場合のエッジの抽出結果が示されている。第４の表示領域３４Ｄ４には、パラメータ１００の場合のエッジの抽出結果が示されている。ユーザは、４つの表示結果が好ましいと思う表示領域をクリックする。例えば、第３の表示領域３４Ｄ３をクリックする。ステップ８２Ａでは、１５０をパラメータとして設定する。

また、予め複数のパラメータを決定しておくことに限定されず、パラメータを自動的に徐々に変更し、変更する毎にエッジ抽出し、抽出した結果を表示する。例えば、パラメータを、２０毎に、２５０から、２３０、２１０、１９０、・・・のように徐々に変更する。変更された各パラメータでエッジ抽出し、抽出した結果を表示する。ユーザは、適当と判断した抽出結果が表示されたところで、画面をクリックする。ステップ８２Ａでは、クリックされた時のパラメータを設定する。

なお、第３の変形例では、既にエッジ抽出処理が実行されているので、ステップ８２Ａのエッジ抽出処理は省略される。

（第４の変形例）
エッジを抽出する処理は、キャニー（Ｃａｎｎｙ）法に限定されるものではない。

（第５の変形例）
第１の実施の形態では、テンプレートマッチングのためのテンプレートとして、マスク部９４とスライステンプレート９２とマスク部９６との輝度のパターン（Ｖ１、Ｖ０、Ｖ１）により定まるフィルタ９８を用いている。また、第２の実施の形態では、テンプレートマッチングのためのテンプレートとして、スライステンプレート９２を用いている。本開示の技術は、これに限定されない。

第１に、第１の実施の形態のオート検出のテンプレートマッチングでは、テンプレートとしてスライステンプレート９２を用い、第２の実施の形態のセミマニュアル検出のテンプレートマッチングを実行し、第２の実施の形態のセミマニュアル検出のテンプレートマッチングでは、テンプレートとしてフィルタ９８を用いて、第１の実施の形態のオート検出のテンプレートマッチングを実行するようにしてもよい。

第２に、第１の実施の形態及び第２の実施の形態のテンプレートマッチングでは、テンプレートとしてフィルタ９８を用いて、第１の実施の形態のテンプレートマッチングを実行するようにしてもよい。

第３に、第１の実施の形態及び第２の実施の形態のテンプレートマッチングでは、テンプレートとしてスライステンプレート９２を用いて、第２の実施の形態のテンプレートマッチングを実行してもよい。

第４に、第１の実施の形態及び第２の実施の形態の各々のテンプレートマッチングにおいて、フィルタ９８を用いたテンプレートマッチングと、スライステンプレート９２を用いたテンプレートマッチングとを行う。各テンプレートマッチングにより得られた各ピクセルのスコアの平均を各ピクセルについて求める。各ピクセルについて求めた各ピクセルのスコアの平均からスライスを特定するようにしてもよい。なお、上記平均は単純な平均ではなく、オート検出でのスコアの平均は、フィルタ９８を用いたテンプレートマッチングのスコアがより大きく結果に影響し、セミマニュアル検出でのスコアの平均は、スライステンプレート９２を用いたテンプレートマッチングのスコアがより大きく結果に影響するようにしてもよい。

（付記）
以上から以下のプログラムが提案される。
（付記１）
コンピュータを、
複数の試料切片が配置された基板を撮影して得られた第１の画像において、少なくとも１つの前記試料切片を検出する検出部、及び
所定の基準位置を用いて、前記検出された前記試料切片の位置を決定する決定部
として機能させるプログラム。
（付記２）
前記試料切片は、試料が薄切されて得られる
付記１に記載のプログラム。
（付記３）
前記検出部は、前記試料切片のテンプレートを用いてテンプレートマッチングを行うことにより、前記試料切片を検出する
付記１又は２に記載のプログラム。
（付記４）
前記検出部は、
前記第１の画像の各ピクセルについて、輝度の勾配の方向を検出し、
前記輝度の勾配の方向に基づいて、前記各ピクセルについて、前記テンプレートマッチングを行う、
付記３に記載のプログラム。
（付記５）
前記検出部は、
前記テンプレートマッチングを行って、前記各ピクセルについて、前記各ピクセルが前記試料切片の画素である確からしさを表すスコアを検出し、
前記スコアに基づいて、前記試料切片を検出する、
付記３又は４に記載のプログラム。
（付記６）
前記検出部は、前記第１の画像において、第１のパラメータを用いて前記試料切片のエッジを特定し、
前記特定したエッジを用いて前記試料切片を検出する
付記１〜付記５の何れか１項に記載のプログラム。
（付記７）
前記検出部は、前記第１の画像において指定された領域と前記特定したエッジとを用いて、前記試料切片を検出する
付記６に記載のプログラム。
（付記８）
前記検出部は、前記試料切片の検出結果を示す第２の画像において選択された位置を用いて、試料をさらに検出する
付記１〜付記７の何れか１項に記載のプログラム。
（付記９）
前記検出部は、前記選択された位置に基づいて決められる前記第２の画像の一部の領域において、前記試料切片を検出する
付記８に記載のプログラム。
（付記１０）
前記検出部は、前記第１の画像において、第１のパラメータを用いて前記試料切片のエッジを特定し、前記第２の画像の一部の領域において第２のパラメータを用いてエッジを特定する、
付記９に記載のプログラム。
（付記１１）
前記第２のパラメータは、前記第１のパラメータより、エッジを特定しやすい値である、
付記１０に記載のプログラム。
（付記１２）
前記検出部は、前記試料切片のテンプレートを用いてテンプレートマッチングを行うことにより、前記第２の画像において、試料切片をさらに検出する
付記８〜付記１１の何れか１項に記載のプログラム。
（付記１３）
前記テンプレートは、
前記試料切片を示す領域及び背景を示す領域と、
前記試料切片を示す領域に対応する値及び前記背景を示す領域に対応する値と、
を有する、付記３〜付記５、付記１２の何れか１項に記載のプログラム。
（付記１４）
前記テンプレートは、前記試料切片の形状に基づいて決められる
付記３〜付記５、付記１２の何れか１項にに記載のプログラム。
（付記１５）
コンピュータを、
第１の画像において第１のパラメータを用いて、所定の形状を検出し、
前記検出された結果を示す第２の画像において選択された位置を含む前記第２の画像の一部の領域において、第２のパラメータを用いて、前記所定の形状を検出する検出部、及び
所定の基準位置を用いて、前記検出された前記所定の形状の位置を決定する決定部
として機能させるプログラム。
（付記１６）
コンピュータを、
第１の画像において第１のパラメータを用いて、所定の形状を検出する検出部、及び
前記検出された結果を示す第２の画像を表示する表示部
として機能させるプログラムであって、
前記検出部は、
第２の画像において選択された位置を含む前記第２の画像の一部の領域において、第２のパラメータを用いて、前記所定の形状を検出する
プログラム。

１０ ＣＬＥＭシステム
１２ 光学顕微鏡
１４ 電子顕微鏡
１６ 画像処理装置
２０ コンピュータ
４２ 作成部
４４ 検出部
４６ 調整部
４８ 順序付け部
５０ 指定部
５２ 決定部
５４ 送信部
６０ ウェハ
６４ ウェハチップ
９２ スライステンプレート
９４、９６ マスク部
９８ フィルタ

Claims (21)

1. 複数の試料切片が配置された基板を撮影して得られた第１の画像において、少なくとも１つの前記試料切片を検出する検出部と、
   所定の基準位置を用いて、前記検出された前記試料切片の位置を決定する決定部と、
   を備える装置。
2. 前記試料切片は、試料が薄切されて得られる
   請求項１に記載の装置。
3. 前記検出部は、前記試料切片のテンプレートを用いてテンプレートマッチングを行うことにより、前記試料切片を検出する
   請求項１又は２に記載の装置。
4. 前記検出部は、
   前記第１の画像の各ピクセルについて、輝度の勾配の方向を検出し、
   前記輝度の勾配の方向に基づいて、前記各ピクセルについて、前記テンプレートマッチングを行う、
   請求項３に記載の装置。
5. 前記検出部は、
   前記テンプレートマッチングを行って、各ピクセルについて、前記各ピクセルが前記試料切片の画素である確からしさを表すスコアを検出し、
   前記スコアに基づいて、前記試料切片を検出する、
   請求項３又は４に記載の装置。
6. 前記検出部は、前記第１の画像において、第１のパラメータを用いて前記試料切片のエッジを特定し、
   前記特定したエッジを用いて前記試料切片を検出する
   請求項１〜請求項５の何れか１項に記載の装置。
7. 前記検出部は、前記第１の画像において指定された領域と前記特定したエッジとを用いて、前記試料切片を検出する
   請求項６に記載の装置。
8. 前記検出部は、前記試料切片の検出結果を示す第２の画像において選択された位置を用いて、試料をさらに検出する
   請求項１〜請求項７の何れか１項に記載の装置。
9. 前記検出部は、前記選択された位置に基づいて決められる前記第２の画像の一部の領域において、前記試料切片を検出する
   請求項８に記載の装置。
10. 前記検出部は、前記第１の画像において、第１のパラメータを用いて前記試料切片のエッジを特定し、前記第２の画像の一部の領域において第２のパラメータを用いてエッジを特定する、
    請求項９に記載の装置。
11. 前記第２のパラメータは、前記第１のパラメータより、エッジを特定しやすい値である、
    請求項１０に記載の装置。
12. 前記検出部は、前記試料切片のテンプレートを用いてテンプレートマッチングを行うことにより、前記第２の画像において、試料切片をさらに検出する
    請求項８〜請求項１１の何れか１項に記載の装置。
13. 前記テンプレートは、
    前記試料切片を示す領域及び背景を示す領域と、
    前記試料切片を示す領域に対応する値及び前記背景を示す領域に対応する値と、
    を有する、請求項３〜請求項５、請求項１２の何れか１項に記載の装置。
14. 前記テンプレートは、前記試料切片の形状に基づいて決められる
    請求項３〜請求項５、請求項１２の何れか１項にに記載の装置。
15. 検出部が、複数の試料切片が配置された基板を撮影して得られた第１の画像において、少なくとも１つの前記試料切片を検出し、
    決定部が、所定の基準位置を用いて、前記検出された前記試料切片の位置を決定する、
    方法。
16. コンピュータを、請求項１〜請求項１４の何れか１項に記載の前記検出部と前記決定部として機能させるプログラム。
17. 第１の画像において第１のパラメータを用いて、所定の形状を検出し、
    前記検出された結果を示す第２の画像において選択された位置を含む前記第２の画像の一部の領域において、第２のパラメータを用いて、前記所定の形状を検出する検出部と、
    所定の基準位置を用いて、前記検出された前記所定の形状の位置を決定する決定部と、
    を備える
    装置。
18. 第１の画像において第１のパラメータを用いて、所定の形状を検出する検出部と、
    前記検出された結果を示す第２の画像を表示する表示部と、
    を有し、
    前記検出部は、
    第２の画像において選択された位置を含む前記第２の画像の一部の領域において、第２のパラメータを用いて、前記所定の形状を検出する
    装置。
19. 検出部が、第１の画像において第１のパラメータを用いて、所定の形状を検出し、
    前記検出部が、前記検出された結果を示す第２の画像において選択された位置を含む前記第２の画像の一部の領域において、第２のパラメータを用いて、前記所定の形状を検出する、
    方法。
20. 検出部が、第１の画像において第１のパラメータを用いて、所定の形状を検出し、
    前記検出部が、前記検出された結果を示す第２の画像において選択された位置を含む前記第２の画像の一部の領域において、第２のパラメータを用いて、前記所定の形状を検出し、
    決定部が、所定の基準位置を用いて、前記検出された前記所定の形状の位置を決定する、
    方法。
21. コンピュータを、請求項１７又は請求項１８に記載の前記検出部として機能させるプログラム。