JP2019087369A - 電子顕微鏡及びプログラム - Google Patents

Abstract

【課題】様々な倍率や視野で観察した複数の観察画像を容易に整理して表現することが可能な電子顕微鏡等を提供する。【解決手段】試料Ｓの観察画像を取得する電子顕微鏡１０であって、取得した観察画像を、観察倍率及び観察視野を含む属性データに関連付けて記憶部１３０に記憶させる画像取得部１０１と、記憶部１３０に記憶された複数の観察画像を観察倍率の階層によって分類して表示部１２０に表示させ、ユーザにより、表示部１２０に表示された複数の観察画像のうちの１の観察画像を選択する操作が行われた場合に、選択された観察画像と互いに包含関係にある他の階層の観察画像を相対的に強調して表示し、ユーザにより所定の操作が行われた場合に、複数の階層に渡って選択された複数の観察画像を観察倍率の順に並べて表示部１２０に表示させるとともに、高倍率側の観察画像の観察視野を低倍率側の観察画像上に示して表示する表示制御部１０２とを含む。【選択図】図１

Description

本発明は、電子顕微鏡及びプログラムに関する。

電子顕微鏡を用いて同じ試料を様々な倍率や視野で観察（撮像）した複数の観察画像を整理して表現することが行われている。この際、図１３に模式的に示すように、高い観察倍率で取得された画像Ａが、試料中のどの箇所を拡大して観察した画像であるかを示す目的で、画像Ａよりも低い観察倍率で取得された画像Ｂを並べ、画像Ａの観察視野を示す枠線１を画像Ｂ内に描いて表現することがある。このとき、枠線１と画像Ａとの対応を明確にするために、しばしば画像Ａの観察視野を示す枠線１と画像Ａの頂点同士が線分２によって結ばれるが、線分２は省略される場合もある。更に、画像Ｂの観察視野を示す目的で、画像Ｂよりも低い観察倍率で取得された画像Ｃ内に、画像Ｂの観察視野を示す枠線３や、枠線３と画像Ｂとを対応付ける線分４を描く場合もある。このように、互いに包含関係にある複数の観察画像を倍率の順に並べた上で、高倍率側の観察画像の観察視野を低倍率側の観察画像上に示して表現された画像を、ここでは入れ子ズーム画像と呼ぶ。入れ子ズーム画像の作成は多くの顕微鏡利用者によって頻繁に行われてきた。従来、入れ子ズーム画像の作成のために、注目する観察画像と互いに包含関係にある画像を探し出し、観察倍率の順に並べた上で観察視野を示す枠線を描くという一連の作業は、各々の作業者が汎用の画像処理用ソフトウェアなどを利用して独自の方法で手作業によって処理していた。

特開２００６−７３３４５号公報

通常、顕微鏡の観察画像は保存された時刻やファイル名の順に整理されるため、観察倍率や包含関係を基に観察画像を並べる作業は煩雑になりがちである。一方、顕微鏡メーカーやサードベンダーにより提供される画像閲覧・処理法ソフトウェアの中には、観察画像のメタデータを利用して観察画像を同じ座標平面上に並べる機能を備えるものがある。この方法は、同一座標平面上に並べられた全ての観察画像の観察視野の関係について、座標・倍率ともに正確に表現できるものの、次のような欠点をもっている。広範囲に渡り様々な観察倍率で取得された多数の観察画像の全てを同一座標平面上に並べて取り扱う場合、低倍率で広範囲を閲覧した場合には高倍率で取得された観察画像が小さくなりすぎて閲覧不能になり、反対に高倍率で閲覧した場合にはごく狭い範囲しか閲覧できないという問題があるため、しばしば入れ子ズーム画像として表現したい画像を探し出すことが困難になる。また、汎用の画像処理用ソフトウェアを用いてデジタルズーム画像を作成して入れ子ズーム画像の作成に使用する場合には、従来、デジタルズーム画像のメタデータが利用できなかったため、メタデータを利用した画像の整理が行えなかった。従って、デジタルズーム画像を他の観察画像と同一の座標平面上に並べることはできなかった。

本発明は、以上のような問題点に鑑みてなされたものであり、本発明のいくつかの態様によれば、様々な倍率や視野で観察した複数の観察画像を容易に整理して表現することが可能な電子顕微鏡及びプログラムを提供することができる。

（１）本発明に係る電子顕微鏡は、試料の観察画像を取得する電子顕微鏡であって、取
得した観察画像を、観察倍率及び観察視野を含む属性データに関連付けて記憶部に記憶させる画像取得部と、前記記憶部に記憶された複数の観察画像を観察倍率の階層によって分類して表示部に表示させ、ユーザにより、前記表示部に表示された複数の観察画像のうちの１の観察画像を選択する操作が行われた場合に、選択された観察画像の観察視野全体を含む観察視野を有する他の階層の観察画像、又は、選択された観察画像の観察視野に含まれる観察視野を有する他の階層の観察画像を相対的に強調して表示し、ユーザにより所定の操作が行われた場合に、複数の階層に渡って選択された複数の観察画像を観察倍率の順に並べて前記表示部に表示させるとともに、高倍率側の観察画像の観察視野を低倍率側の観察画像上に示して表示する表示制御部とを含む。また本発明は、上記各部としてコンピュータを機能させるためのプログラムに関する。また本発明は、コンピュータ読み取り可能な情報記憶媒体であって、上記各部としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体に関する。

本発明によれば、複数の観察画像が観察倍率の階層によって分類されて表示され、ユーザが複数の観察画像から１の観察画像を選択する操作を行うと、選択された観察画像と包含関係にある他の階層の観察画像が相対的に強調されて表示されるため、注目する観察画像と包含関係にある観察画像を選択する作業が容易になる。更に、本発明によれば、複数の階層に渡って選択された複数の観察画像が観察倍率の順に並べて表示されるとともに高倍率側の観察画像の観察視野が低倍率側の観察画像上に示されるため、選択した複数の観察画像を倍率の順に手入力で並べた上で観察視野を示す枠線等を手入力で描く煩雑な作業が不要となり、入れ子ズーム画像の作成を容易化することができる。

（２）本発明に係る電子顕微鏡、プログラム及び情報記憶媒体では、ユーザにより、前記記憶部に記憶された複数の観察画像から１の観察画像を選択し、デジタルズームの倍率及び領域を指定する操作が行われた場合に、選択された観察画像から、指定された倍率及び領域のデジタルズーム画像を生成するとともに、選択された観察画像の前記属性データと指定された倍率及び領域とに基づいて、生成したデジタルズーム画像に関連付ける前記属性データを生成し、生成したデジタルズーム画像を、生成した前記属性データに関連付けて前記記憶部に記憶させる画像生成部を更に含んでもよい（画像生成部として更にコンピュータを機能させてもよい）。

本発明によれば、選択された観察画像からデジタルズーム画像を生成する際に、元の観察画像の属性データと指定された倍率及び領域とに基づいてデジタルズーム画像に関連付ける属性データを生成することで、観察画像のみならずデジタルズーム画像をも利用して入れ子ズーム画像を作成することができる。

本実施形態に係る電子顕微鏡の構成の一例を示す図。 画像の包含関係の概念図を示す図。 表示部に表示される表示画面の一例を示す図。 表示部に表示される表示画面の一例を示す図。 表示部に表示される表示画面の一例を示す図。 表示部に表示される表示画面の一例を示す図。 図４〜図６に示す例で選択された３枚の画像から作成された入れ子ズーム画像の出力例を示す図。 入れ子ズーム画像の他の例を示す図。 デジタルズーム画像と属性データの生成について説明するための図。 元画像の属性データにデジタルズーム画像の属性データを追記した例を示す図。 入れ子ズーム画像を作成するときの処理の流れを示すフローチャート。 デジタルズーム画像を作成するときの処理の流れを示すフローチャート。 入れ子ズーム画像の一例を示す図。

以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。

１．構成
図１は、本実施形態に係る電子顕微鏡の構成の一例を示す図である。以下では、電子顕微鏡が、走査電子顕微鏡（ＳＥＭ）の構成を有する場合について説明するが、本発明に係る電子顕微鏡は、走査透過電子顕微鏡（ＳＴＥＭ）の構成を有していてもよいし、透過型電子顕微鏡（ＴＥＭ）の構成を有していてもよい。なお本実施形態の電子顕微鏡は図１の構成要素（各部）の一部を省略した構成としてもよい。

本実施形態に係る電子顕微鏡は、電子顕微鏡本体１０と、処理部１００と、入力部１１０と、表示部１２０と、記憶部１３０とを含む。

電子顕微鏡本体１０は、電子源１１と、集束レンズ１２と、偏向器１３と、対物レンズ１４と、試料ステージ１５と、電子検出器１６と、偏向器制御装置２０と、ステージ制御装置２１と、増幅器２２とを備える。

電子源１１は、電子線を発生させる。電子源１１は、例えば、陰極から放出された電子を陽極で加速し電子線を放出する電子銃である。

集束レンズ１２は、電子源１１から放出された電子線を集束させて電子プローブを形成するためのレンズである。集束レンズ１２によって、電子プローブの径やプローブ電流（照射電流量）を制御することができる。

対物レンズ１４は、試料Ｓの直前に配置された電子プローブを形成するためのレンズである。対物レンズ１４は、例えば、コイルと、ヨークと、を含んで構成されている。対物レンズ１４では、コイルで作られた磁力線を、鉄などの透磁率の高い材料で作られたヨークに閉じ込め、ヨークの一部に切欠き（レンズギャップ）を作ることで、高密度に分布した磁力線を光軸上に漏洩させる。

偏向器１３（走査コイル）は、集束レンズ１２と対物レンズ１４とによって形成された電子プローブ（電子線）を偏向させる。偏向器１３は、電子プローブを、試料Ｓ上で走査するために用いられる。また、偏向器１３は、試料Ｓの任意の位置に電子プローブを移動させて、当該位置を電子プローブで照射するためにも用いられる。偏向器１３は、偏向器制御装置２０により制御される。

試料ステージ１５は、試料Ｓを保持し、試料Ｓを水平方向や垂直方向に移動させ、また、試料Ｓを垂直軸回りに回転させる。試料ステージ１５は、試料Ｓを移動・回転させるための駆動機構を有しており、ステージ制御装置２１により制御される。

電子検出器１６は、電子プローブが試料Ｓに照射（走査）されることにより試料Ｓから放出された二次電子や反射電子を検出する。電子検出器１６の出力信号（二次電子や反射電子の強度信号）は、増幅器２２によって増幅された後、処理部１００に供給される。

入力部１１０は、ユーザが操作情報を入力するためのものであり、入力された操作情報
を処理部１００に出力する。入力部１１０の機能は、タッチパネル（ポインティング手段の一例）により実現することができる。タッチパネルは、タッチパネルに対する接触操作（指定操作）によって入力された接触位置（指定位置）の座標値を検出し、処理部１００に出力する。なお、ポインティング手段として、マウス等のポインティング装置を用いてもよい。

表示部１２０は、処理部１００で生成された画像を出力するものであり、その機能は、入力部１１０としても機能するタッチパネルや、ＬＣＤ、ＣＲＴなどにより実現できる。

記憶部１３０は、処理部１００の各部としてコンピュータを機能させるためのプログラムや各種データを記憶するとともに、処理部１００のワーク領域として機能し、その機能はハードディスク、ＲＡＭなどにより実現できる。

処理部１００は、偏向器制御装置２０やステージ制御装置２１等を制御する処理や、電子顕微鏡像（観察画像）を取得する処理、表示制御等の処理を行う。処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＤＳＰ等）などのハードウェアや、プログラムにより実現できる。処理部１００は、画像取得部１０１、表示制御部１０２、画像生成部１０３を含む。

画像取得部１０１は、増幅器２２によって増幅された検出信号を、走査信号に同期させて画像化することにより、試料Ｓの電子顕微鏡像（走査電子顕微鏡像、ＳＥＭ画像）を観察画像として取得する。また、画像取得部１０１は、取得した観察画像を、観察倍率（観察倍率を特定可能な情報）及び観察視野（観察視野を特定可能な座標情報）を含む属性データ（メタデータ）に関連付けて記憶部１３０に記憶させる。観察画像の観察倍率や観察視野は、当該観察画像の観察時に偏向器制御装置２０やステージ制御装置２１に供給される制御信号に基づき求める。なお、観察倍率として、観察倍率そのものの値を用いてもよいし、観察倍率に比例する値を用いてもよい。観察倍率に比例する値としては、例えば視野サイズ（ＦＯＶ）が挙げられる。

表示制御部１０２は、記憶部１３０に記憶された複数の観察画像（観察画像の縮小画像、サムネイル）を、それぞれの属性データに基づいて、観察倍率の階層によって分類して表示部１２０に一覧表示させる。例えば、表示制御部１０２は、観察倍率の階層ごとに特定の画像表示領域を割り当てて、各階層に分類された各観察画像を各階層に割り当てられた画像表示領域に表示する。また、各階層に分類された観察画像を更に階層内で観察倍率の順に並べて表示させることが望ましい。

また、表示制御部１０２は、ユーザにより、表示部１２０に一覧表示された複数の観察画像のうちの１の観察画像を選択する操作が行われた場合に、各観察画像の属性データに基づいて、選択された観察画像と互いに包含関係にある他の階層（選択された観察画像の階層に隣接する階層）の観察画像を相対的に強調して表示する。例えば、選択された観察画像と包含関係にある画像を強調して表示してもよいし、包含関係にない画像を目立たなくするように表示する（例えば、透明度を高くする、非表示とする）ことで、包含関係にある画像が相対的に強調されるようにする（包含関係にある画像を、包含関係に無い画像と区別可能に表示する）。選択された観察画像と互いに包含関係にある観察画像とは、選択された観察画像の観察視野全体を含む観察視野を有する観察画像、又は、選択された観察画像の観察視野に含まれる観察視野を有する観察画像である。図２に、画像の包含関係の概念図を示す。画像ａと、画像ａ以下の倍率の画像ｂが存在するとき、画像ａの観察視野全体が画像ｂの観察視野内に含まれている場合、画像ａと画像ｂは互いに包含関係にあるとする。なお、画像ａと画像ｂの観察視野が共通の部分を持つものの、画像ａの観察視野全体が画像ｂの観察視野内に含まれていない場合は、画像ａと画像ｂは互いに交差して
いるとする。また、画像ａと画像ｂの観察視野が共通の部分を持たない場合は、画像ａと画像ｂは分離しているとする。更に、交差と分離を合わせて、包含関係にない又は非包含と呼ぶこととする。なお、表示制御部１０２は、選択された観察画像と交差する他の観察画像を、互いに包含関係にある他の観察画像と同様に相対的に強調して表示してもよい。

また、表示制御部１０２は、ユーザにより、入れ子ズーム画像の作成を指示する操作（所定の操作）があった場合に、複数の階層に渡って選択された複数の観察画像それぞれの属性データに基づいて、当該複数の観察画像を観察倍率の順に並べた上で、高倍率側に隣接する観察画像の観察視野を示す枠線又は目印等を低倍率側に隣接する観察画像上に描画した画像（入れ子ズーム画像）を生成し、生成した入れ子ズーム画像を表示部１２０に表示する。

画像生成部１０３は、ユーザにより、記憶部１３０に記憶された複数の観察画像から１の観察画像を選択し、デジタルズームの倍率及び領域（選択した観察画像におけるデジタルズームの対象とする領域）を指定する操作が行われた場合に、選択された観察画像から、指定された倍率及び領域のデジタルズーム画像を生成するとともに、選択された観察画像の属性データと指定された倍率及び領域とに基づいて、生成したデジタルズーム画像に関連付ける属性データを生成し、生成したデジタルズーム画像を、生成した属性データに関連付けて記憶部１３０に記憶させる。デジタルズーム画像の属性データは、観察画像の属性データと同様に、観察倍率と観察視野を特定するために必要な情報を含む。属性データに関連付けて記憶されたデジタルズーム画像は、観察画像と同様に、表示制御部１０２によって分類され、ユーザが選択可能な画像（入れ子ズーム画像の作成に利用可能な画像）となる。

２．本実施形態の手法
次に本実施形態の手法について図面を用いて説明する。

図３は、ユーザが画像を選択する際に表示部１２０に表示される表示画面（グラフィカルユーザインターフェース）の一例を示す図である。記憶部１３０に記憶された画像（観察画像、デジタルズーム画像）は、観察倍率の階層によって分類される。画像の分類は、各画像の属性データに含まれる観察倍率の情報を参照して実行される。表示画面２００には、観察倍率の階層ごとの階層名２０１が表示され、階層名２０１の下方には、その階層に分類された画像の縮小画像２０２が縦方向に並んで表示される。各縮小画像２０２の下側には、当該画像の属性データの内容を表示するための属性データ表示領域２０３が配置される。属性データ表示領域２０３には、画像名２０４と観察倍率２０５が表示される。なお、属性データ表示領域２０３に表示させる情報は、属性データに含まれる情報の中からユーザが任意に選択して設定できることが望ましい。各階層に分類された画像の縮小画像２０２は、上から下へ、低倍率から高倍率の順に並んで表示される。ユーザは、任意の階層のスクロールアロー２０６を操作することで、当該階層に属する縮小画像２０２のうち、表示画面２００内に表示しきれなかった縮小画像２０２を表示させることができる。なお、画像分類後に画像が１つも帰属されなかった階層については自動的に削除する（非表示とする）ことが望ましい。

観察倍率の階層は、左から右へ、低倍率から高倍率の順に並ぶ。図３は、電子顕微鏡として、最低倍率１０倍から最高倍率１，０００，０００倍までの範囲で使用可能な走査電子顕微鏡を用いた例であり、「極低倍率」の階層を１０倍〜９９倍、「低倍率」の階層を１００倍〜９９９倍、「中倍率」の階層を１，０００倍〜９，９９９倍、「高倍率」の階層を１０，０００倍〜９９，９９９倍、「極高倍率」の階層を１００，０００倍〜１，０００，０００倍とする５階層の分類を初期設定としている。なお、図３に示す例では、「高倍率」及び「極高倍率」の階層が表示画面２００に表示されていないが、ユーザは、ス
クロールアロー２０７を操作することで、表示画面２００内に表示しきれなかった階層を表示させることができる。階層の数や各階層の倍率の範囲は、階層間で倍率の範囲が重複しない限り、ユーザが任意に設定できるように構成してもよい。また、初期設定の他に、階層数と各階層の倍率の範囲についていくつかの設定を予め用意しておき、それらの設定の中からユーザが選択できるように構成してもよい。なお、走査電子顕微鏡の最低倍率よりも広い視野の画像を取得するための付属機器（可視光カメラ）によって取得された観察画像が記憶部１３０に記憶されている場合、当該付属機器によって取得された画像を帰属させるための階層を設け、最も低い倍率の階層よりも左側に配置する。図３に示す例では、「極低倍率」という階層名の左隣りに、「カメラ」という階層名２０８が存在する。表示画面２００によって、ユーザは記憶部１３０に記憶された複数の画像の縮小画像を、観察倍率の階層に分類された状態で閲覧することができる。

ユーザが、表示画面２００において任意の画像（任意の画像の縮小画像２０２）を選択する操作を行うと、選択された画像（注目画像）の階層に隣接する階層に属する画像のうち、選択された画像と包含関係にある画像の縮小画像２０２が相対的に強調して表示される。この処理は、選択された画像の属性データに含まれる観察視野の情報及び隣接する階層に属する各画像の属性データに含まれる観察視野の情報を参照して実行される。例えば、ユーザが、１番目の注目画像として、「極低倍率」の階層に属する「Ｉｍａｇｅ００１」を選択すると、図４に示すように、「極低倍率」に隣接する「低倍率」の階層に属する画像のうち、「Ｉｍａｇｅ００１」と包含関係にある「Ｉｍａｇｅ００２」と「Ｉｍａｇｅ００３」の縮小画像が相対的に強調されて表示される。ここでは、選択された画像と包含関係にない画像を目立たなくなるように表示する（例えば、透明度を高めて表示する）ことで、包含関係にある画像が相対的に強調されるようにしている。なお、選択された画像と包含関係にない画像については、ユーザが選択できないようにしてもよい。選択された「Ｉｍａｇｅ００１」の縮小画像の左上には、注目画像として選択されていることを示す注目記号２０９が表示される。また、選択された「Ｉｍａｇｅ００１」の縮小画像内には、「Ｉｍａｇｅ００１」と包含関係にある「Ｉｍａｇｅ００２」、「Ｉｍａｇｅ００３」それぞれの観察視野を示す枠線２１０が表示される。

続いて、ユーザが、２番目の注目画像として、「低倍率」の階層に属する「Ｉｍａｇｅ００２」を選択すると、図５に示すように、「低倍率」に隣接する「中倍率」の階層に属する画像のうち、「Ｉｍａｇｅ００２」と包含関係にない画像が目立たなくなるように表示され、「Ｉｍａｇｅ００２」と包含関係にある「Ｉｍａｇｅ００４」と「Ｉｍａｇｅ００５」の縮小画像が相対的に強調されて表示される。選択された「Ｉｍａｇｅ００２」の縮小画像の左上には注目記号２０９が表示され、当該縮小画像内には、「Ｉｍａｇｅ００２」と包含関係にある「Ｉｍａｇｅ００４」、「Ｉｍａｇｅ００５」それぞれの観察視野を示す枠線２１０が表示される。ここで、「Ｉｍａｇｅ００２」が注目画像として選択されたことを受けて、「Ｉｍａｇｅ００１」の縮小画像内に表示された枠線２１０（点線の枠線）のうち、「Ｉｍａｇｅ００２」の観察視野を示す枠線を、注目画像の観察視野を示す枠線２１１（実線の枠線）に変更することで、包含関係にあるが注目画像として選択されていない画像の観察視野を示す枠線２１０と区別する。

続いて、ユーザが、３番目の注目画像として、「中倍率」の階層に属する「Ｉｍａｇｅ００５」を選択すると、図６に示すように、選択された「Ｉｍａｇｅ００５」の縮小画像の左上には注目記号２０９が表示され、「Ｉｍａｇｅ００２」の縮小画像内に表示された枠線２１０のうち、「Ｉｍａｇｅ００５」の観察視野を示す枠線が枠線２１１に変化する。また、図６には表示されていないが、「中倍率」に隣接する「低倍率」の階層に属する画像のうち、「Ｉｍａｇｅ００５」と包含関係にある画像の縮小画像が相対的に強調されて表示される。ユーザは、以上の操作と同様の操作を繰り返して、最終的に入れ子ズーム画像に使用したい全ての画像を注目画像として選択する。

なお、通常、入れ子ズーム画像として出力される画像は、視野・倍率以外の観察条件（例えば、加速電圧）が同じであるため、注目画像が選択された際に、当該注目画像と視野・倍率以外の観察条件が同一の画像を相対的に強調して表示する（例えば、当該注目画像と視野・倍率以外の観察条件が異なる画像を非表示としたり目立たないように表示する）ようにしてもよい。

ユーザが、入れ子ズーム画像に使用する全ての画像を注目画像として選択した後、入れ子ズーム画像の作成を指示する操作を行うと、注目画像として選択された複数の画像が、入れ子ズーム画像として出力される。図７は、図４〜図６に示す例で選択された３枚の画像から作成された入れ子ズーム画像の出力例を示す。この例では、「ｉｍａｇｅ００１」、「ｉｍａｇｅ００２」、「ｉｍａｇｅ００５」の３枚の画像が観察倍率の順に一方向に並べられ、最も高倍率の「ｉｍａｇｅ００５」の観察視野を示す枠線２１２が「ｉｍａｇｅ００２」内に描画され、「ｉｍａｇｅ００２」の観察視野を示す枠線２１３が最も低倍率の「ｉｍａｇｅ００１」内に描画される。更に、枠線２１２と「ｉｍａｇｅ００５」の頂点同士を結ぶ線分２１４と、枠線２１３と「ｉｍａｇｅ００２」の頂点同士を結ぶ線分２１５が描画される。複数の画像を観察倍率の順に並べる処理は、各画像の属性データに含まれる観察倍率の情報を参照して実行され、観察視野を示す枠線と画像間の観察視野の対応付けを示す線分の描画は、各画像の属性データに含まれる観察視野の情報を参照して実行される。なお、観察視野を示す枠線を描画することに代えて、観察視野の四隅を示す目印を描画するようにしてもよい。図８に示す例では、最も高倍率の画像Ａの観察視野の四隅を示す目印５が低倍率側の画像Ｂ内に描画され、画像Ｂの観察視野の四隅を示す目印６が最も低倍率の画像Ｃ内に描画されている。また、図８に示す例では、画像間の観察視野の対応付けを示す線分が省略されている。

このように、本実施形態に係る電子顕微鏡では、ユーザが画像を選択する際に、低倍率から高倍率までの多くの画像が観察倍率の階層によって分類され、階層の順に並んだ状態で一覧表示されるため、入れ子ズーム画像として出力したい画像を見つける作業が容易になる。また、ユーザが１つの画像を注目画像として選択する操作を行うと、注目画像と包含関係にある画像が相対的に強調して表示されるため、入れ子ズーム画像として出力したい画像を選択する際に、互いに包含関係にある画像を選択する作業が著しく容易になる。また、ユーザが入れ子ズーム画像の作成を指示する操作を行うと、注目画像として選択された複数の画像それぞれの属性データに含まれる観察倍率と観察視野の情報に基づいて、当該複数の画像が観察倍率の順に自動で並べられるとともに高倍率側の画像の観察視野を示す枠線又は目印が低倍率側の画像上に自動で描画されるため、複数の画像を倍率の順に手入力で並べた上で観察視野を示す枠線等を手入力で描くといった煩雑な作業が不要となり、入れ子ズーム画像の作成を容易化することができる。

次に、デジタルズーム画像の作成について、図９を用いて説明する。入れ子ズーム画像を作成する際に、適当な倍率の観察画像が取得されていなかったために、観察画像の一部を画像処理により拡大してデジタルズーム画像を作成する場合がある。この場合、ユーザは、記憶部１３０に記憶された観察画像の中から、デジタルズーム画像を生成するための観察画像を元画像２１６として選択し、元画像２１６の中でデジタルズームしたい領域２１７（領域の位置とサイズ）を指定し、デジタルズームの倍率を指定する操作を行う。ここで、ユーザにデジタルズーム倍率の数値を入力させてもよいし、元画像中の領域２１７を指定する入力のみ受け付け、生成されるデジタルズーム画像の縦方向又は横方向の画素数が元画像の縦方向又は横方向の画素数と一致するようなデジタルズーム倍率を自動で決定してもよい。また、デジタルズーム倍率とデジタルズーム画像の出力サイズを指定する入力を受け付け、受け付けた情報に基づき元画像中の領域２１７のサイズを決定した後、元画像中の領域２１７の位置を指定する入力を受け付けるようにしてもよい。

ユーザが、デジタルズームしたい領域２１７とデジタルズーム倍率を指定すると、指定したデジタルズーム倍率と領域のデジタルズーム画像２１８が生成される。このとき、元画像２１６の属性データ２１９と、ユーザが指定したデジタルズーム倍率及び領域２１７の情報に基づいて、デジタルズーム画像に関連付けられる属性データ２２０が生成される。図９に示す例では、元画像の属性データ２１９は、画像名２２１、画素数２２２（横方向の画素数と縦方向の画素数）、観察倍率２２３、ステージ座標２２４、ステージ回転角２２５、走査回転角２２６、イメージシフト偏向量２２７、観察視野の４つの頂点（Ｐ、Ｑ、Ｒ、Ｓ）の頂点座標２２８を含む。観察視野の頂点座標２２８については、ステージ座標（０，０）、ステージ回転角０°、走査回転角０°、イメージシフト偏向量（０，０）の条件で観察した際の観察画像の中心を原点としたＸＹ座標系を定め、このＸＹ座標系における元画像の観察視野の４つの頂点座標を求める。

また、デジタルズーム画像の属性データ２２０は、画像名２２９、デジタルズーム画像であることを示すためのタグ２３０、元画像名２３１（元画像となる観察画像の画像名）、デジタルズーム倍率２３２、元画像換算倍率２３３、切り出し位置２３４、切り出し領域（領域２１７）の４つの頂点（Ｐ、Ｑ、Ｒ、Ｓ）の頂点座標２３５を含む。元画像換算倍率Ｍ_ｅｑ（２３３）は、元画像の観察倍率２２３をＭ_ｏｒｉｇ、指定されたデジタルズーム倍率２３２をＭ_ｄｚとすると、以下の式（１）で算出される。

Ｍ_ｅｑ＝Ｍ_ｏｒｉｇ×Ｍ_ｄｚ …（１）
元画像換算倍率２３３は、元画像の観察倍率２２３と同等のものとして扱われる。切り出し位置２３４は、元画像２１６における領域２１７の１つの頂点の位置と幅と高さを画素数の単位で記述している。図９に示す切り出し位置２３４は、領域２１７の左上の頂点の位置が、元画像において左から４００番目の画素、上から５００番目の画素であり、領域２１７の幅の画素数が３２０、高さの画素数が２４０であることを示している。この切り出し位置２３４に基づいて、元画像の画素数２２２と元画像の観察視野の頂点座標２２８とを参照することによって、切り出し領域の４つの頂点座標２３５を算出する。この頂点座標２３５は、元画像の観察視野の頂点座標２２８と同一のＸＹ座標系における座標であり、頂点座標２２８と同等のものとして扱われる。なお、頂点座標２２８、２３５を算出するために必要な情報（観察視野を特定可能な情報）を属性データ２１９、２２０に記述していれば、観察視野の座標情報をその都度算出することで、包含関係の判定や入れ子ズーム画像の生成を実行することができるため、頂点座標２２８、２３５を属性データ２１９、２２０に記述することは必須ではない。

このように、本実施形態に係る電子顕微鏡では、観察画像からデジタルズーム画像を生成する際に、元画像換算倍率と観察視野を特定可能な情報を含む属性データを生成してデジタルズーム画像に関連付けることで、デジタルズーム画像の属性データを観察画像の属性データと同様に利用することが可能となり、デジタルズーム画像を作成・使用する場合も含めて、入れ子ズーム画像の作成作業を容易化することができる。

なお、図１０に示すように、デジタルズーム画像を生成した際に、元画像の属性データ２１９に、少なくともデジタルズーム倍率２３２（元画像換算倍率２３３を算出するために必要な情報）と切り出し位置２３４（頂点座標２３５を算出するために必要な情報）とを含む属性データ２２０を追加するようにしてもよい。

３．処理
次に、本実施形態に係る電子顕微鏡の処理の一例について図１１、図１２のフローチャートを用いて説明する。図１１は、入れ子ズーム画像を作成するときの処理の流れを示すフローチャートである。

まず、表示制御部１０２は、記憶部１３０に記憶された複数の画像（観察画像、デジタルズーム画像）を、各画像の属性データに含まれる観察倍率（観察画像の場合は、観察倍率２２３、デジタルズーム画像の場合は、元画像換算倍率２３３）に基づいて、観察倍率の階層によって分類して、縮小画像として表示部１２０に一覧表示させる（ステップＳ１０）。

次に、表示制御部１０２は、表示部１２０に表示された複数の画像の中から１番目の注目画像を選択する操作が行われたか否かを判断し（ステップＳ１１）、当該操作が行われた場合（ステップＳ１１のＹ）には、選択された画像及び隣接する階層の他の画像それぞれの属性データに含まれる観察視野の座標情報（観察画像の場合は、頂点座標２２８、デジタルズーム画像の場合は、頂点座標２３５）に基づいて、選択された画像と互いに包含関係にある他の画像の縮小画像を相対的に強調して表示する（ステップＳ１２）。

次に、表示制御部１０２は、２番目以降の注目画像を選択する操作が行われたか否かを判断し（ステップＳ１３）、当該操作が行われた場合（ステップＳ１３のＹ）には、入れ子ズーム画像の作成を指示する操作が行われたか否かを判断する（ステップＳ１４）。当該操作が行われていない場合（ステップＳ１４のＮ）には、ステップＳ１２に移行する。

入れ子ズーム画像の作成を指示する操作が行われた場合（ステップＳ１４のＹ）には、表示制御部１０２は、注目画像として選択された複数の画像それぞれの属性データに含まれる観察倍率に基づいて当該複数の画像を観察倍率の順に並べて表示部１２０に表示させ、当該複数の画像それぞれの属性データに含まれる観察視野の座標情報に基づいて、高倍率側の画像の観察視野を示す枠線（又は、目印）を低倍率画像の画像上に描画する（ステップＳ１５）。

図１２は、デジタルズーム画像を作成するときの処理の流れを示すフローチャートである。まず、画像生成部１０３は、記憶部１３０に記憶された複数の画像（観察画像、デジタルズーム画像）の中からデジタルズーム画像の元画像を選択する操作が行われたか否かを判断し（ステップＳ２０）、当該操作が行われた場合（ステップＳ２０のＹ）には、元画像においてデジタルズームしたい領域を指定する操作が行われたか否かを判断し（ステップＳ２１）、当該操作が行われた場合（ステップＳ２１のＹ）には、デジタルズーム倍率を指定する操作が行われたか否かを判断する（ステップＳ２２）。

デジタルズーム倍率を指定する操作が行われた場合（ステップＳ２２のＹ）には、画像生成部１０３は、指定された倍率及び領域のデジタルズーム画像を生成し、生成したデジタルズーム画像を記憶部１３０に記憶させる（ステップＳ２３）。次に、画像生成部１０３は、元画像の属性データに含まれる観察倍率２２３と指定された倍率に基づいて、式（１）により元画像換算倍率２３３を算出し（ステップＳ２４）、元画像の属性データに含まれる元画像の画素数２２２と元画像の観察視野の頂点座標２２８と指定された領域（切り出し位置２３４）とに基づいて、切り出し領域の頂点座標２３５を算出する（ステップＳ２５）。次に、画像生成部１０３は、算出した元画像換算倍率２３３と切り出し領域の頂点座標２３５とを含む属性データを生成し、生成した属性データを生成したデジタルズーム画像に関連付けて記憶部１３０に記憶させる（ステップＳ２６）。

なお、本発明は、上述の実施の形態に限定されるものではなく、種々の変形が可能である。本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成すること
ができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。

１…電子顕微鏡、１０…電子顕微鏡本体、１１…電子源、１２…集束レンズ、１３…偏向器、１４…対物レンズ、１５…試料ステージ、１６…電子検出器、２０…偏向器制御装置、２１…ステージ制御装置、２２…増幅器、１００…処理部、１０１…画像取得部、１０２…表示制御部、１０３…画像生成部、１１０…入力部、１２０…表示部、１３０…記憶部、Ｓ…試料

Claims (3)

1. 試料の観察画像を取得する電子顕微鏡であって、
   取得した観察画像を、観察倍率及び観察視野を含む属性データに関連付けて記憶部に記憶させる画像取得部と、
   前記記憶部に記憶された複数の観察画像を観察倍率の階層によって分類して表示部に表示させ、ユーザにより、前記表示部に表示された複数の観察画像のうちの１の観察画像を選択する操作が行われた場合に、選択された観察画像の観察視野全体を含む観察視野を有する他の階層の観察画像、又は、選択された観察画像の観察視野に含まれる観察視野を有する他の階層の観察画像を相対的に強調して表示し、ユーザにより所定の操作が行われた場合に、複数の階層に渡って選択された複数の観察画像を観察倍率の順に並べて前記表示部に表示させるとともに、高倍率側の観察画像の観察視野を低倍率側の観察画像上に示して表示する表示制御部とを含む、電子顕微鏡。
2. 請求項１において、
   ユーザにより、前記記憶部に記憶された複数の観察画像から１の観察画像を選択し、デジタルズームの倍率及び領域を指定する操作が行われた場合に、選択された観察画像から、指定された倍率及び領域のデジタルズーム画像を生成するとともに、選択された観察画像の前記属性データと指定された倍率及び領域とに基づいて、生成したデジタルズーム画像に関連付ける前記属性データを生成し、生成したデジタルズーム画像を、生成した前記属性データに関連付けて前記記憶部に記憶させる画像生成部を更に含む、電子顕微鏡。
3. 試料の観察画像を、観察倍率及び観察視野を含む属性データに関連付けて記憶部に記憶させる画像取得部と、
   前記記憶部に記憶された複数の観察画像を観察倍率の階層によって分類して表示部に表示させ、ユーザにより、前記表示部に表示された複数の観察画像のうちの１の観察画像を選択する操作が行われた場合に、選択された観察画像の観察視野全体を含む観察視野を有する他の階層の観察画像、又は、選択された観察画像の観察視野に含まれる観察視野を有する他の階層の観察画像を相対的に強調して表示し、ユーザにより所定の操作が行われた場合に、複数の階層に渡って選択された複数の観察画像を観察倍率の順に並べて前記表示部に表示させるとともに、高倍率側の観察画像の観察視野を低倍率側の観察画像上に示して表示する表示制御部としてコンピュータを機能させるためのプログラム。

Images