JP2018160378A - 画像処理装置、観察装置、および画像処理方法 - Google Patents

Abstract

【課題】観察倍率および観察位置の少なくとも一方が異なる複数の観察画像の情報をわかりやすく表示することができる画像処理装置を提供する。【解決手段】本発明に係る画像処理装置は、観察装置で試料を撮影して得られた複数の観察画像を、観察倍率および観察位置を含む観察条件とともに記憶する記憶部と、観察倍率情報の入力を受け付ける入力部と、記憶部に記憶された複数の観察画像のうちの少なくとも１枚の観察画像が表示される画像表示領域４を含む表示画像２を表示部に表示する画像処理部と、を含み、画像処理部は、入力された観察倍率情報と一致する観察倍率の観察画像８ａを、画像表示領域４の観察位置に対応する位置に表示し、入力された観察倍率情報と異なる観察倍率の観察画像を、画像表示領域４の観察位置に対応する位置に、観察画像の観察領域の大きさに対応する大きさを有するマーカー９ｂとして表示する。【選択図】図６

Description

本発明は、画像処理装置、観察装置、および画像処理方法に関する。

近年、透過電子顕微鏡（ＴＥＭ）では、デジタルカメラを用いて透過電子顕微鏡像の撮影が行われている。透過電子顕微鏡で試料の観察を行う際には、試料の広い範囲（例えば試料全体）が含まれる低倍率の観察画像を取得し、低倍率の観察画像の視野内を高倍率で観察して高倍率の観察画像を取得することがある。

このようにして取得された低倍率の観察画像および高倍率の観察画像を表示する方法として、例えば、特許文献１には、試料の全体像を第１の画像とし、第１の画像よりも小さい注目すべき領域を第２の画像とし、これらを重ね合わせて表示することによって、試料全体を確認しながら試料像の変化を捉えることができる表示手段を備えた顕微鏡が開示されている。

特開２００５−３５２１００号公報

しかしながら、特許文献１では、様々な倍率の画像が重畳表示されるため、高倍率で撮影された領域がわかりにくいという問題がある。

本発明は、以上のような問題点に鑑みてなされたものであり、本発明のいくつかの態様に係る目的の１つは、観察倍率および観察位置の少なくとも一方が異なる複数の観察画像の情報をわかりやすく表示することができる画像処理装置を提供することにある。

また、本発明にいくつかの態様に係る目的の１つは、観察倍率および観察位置の少なくとも一方が異なる複数の観察画像の情報をわかりやすく表示することができる画像処理方法を提供することにある。

また、本発明のいくつかの態様に係る目的の１つは、上記画像処理装置を含む観察装置を提供することにある。

（１）本発明に係る画像処理装置は、
観察装置で試料を撮影して得られた複数の観察画像を、観察倍率および観察位置を含む観察条件とともに記憶する記憶部と、
観察倍率情報の入力を受け付ける入力部と、
前記記憶部に記憶された複数の観察画像のうちの少なくとも１枚の観察画像が表示される画像表示領域を含む表示画像を表示部に表示する画像処理部と、
を含み、
前記画像処理部は、
入力された前記観察倍率情報と一致する前記観察倍率の観察画像を、前記画像表示領域の前記観察位置に対応する位置に表示し、
入力された前記観察倍率情報と異なる前記観察倍率の観察画像を、前記画像表示領域の
前記観察位置に対応する位置に、観察画像の観察領域の大きさに対応する大きさを有するマーカーとして表示する。

このような画像処理装置では、画像表示領域に、入力された観察倍率情報と一致する観察倍率の観察画像を表示し、入力された観察倍率情報と異なる観察倍率の観察画像をマーカーとして表示するため、１つの画像表示領域に、観察倍率および観察位置の少なくとも一方が異なる複数の観察画像の情報をわかりやすく表示することができる。

このような画像処理装置では、指定された観察倍率の観察画像が他の観察倍率の観察画像と重畳されないため、指定された観察倍率の観察画像をわかりやすく表示できる。さらに、他の観察倍率の観察画像をマーカーとして表示することで、画像表示領域において、指定された観察倍率の観察画像と、他の観察倍率の観察画像と、の位置関係をわかりやすく表示できる。

（２）本発明に係る画像処理装置において、
前記観察位置は、前記試料が保持される前記観察装置の試料ステージにおける試料ステージ座標系の座標として表され、
前記画像表示領域は、前記試料ステージ座標系に対応する画像座標系を有していてもよい。

このような画像処理装置では、観察画像を、観察位置に基づいて画像表示領域の観察位置に対応する位置に配置することができる。

（３）本発明に係る画像処理装置において、
前記画像処理部は、前記観察倍率に基づいて、前記マーカーの色を設定してもよい。

このような画像処理装置では、画像表示領域において、観察画像の観察倍率の情報をわかりやすく表示できる。

（４）本発明に係る画像処理装置において、
前記マーカーの形状は、円であってもよい。

このような画像処理装置では、画像表示領域において、観察画像の観察位置の情報をわかりやすく表示できる。

（５）本発明に係る画像処理装置において、
前記記憶部には、前記観察倍率を補正するための補正データにより補正された観察倍率の情報が記憶され、
前記画像処理部は、前記画像表示領域に、前記観察画像および前記マーカーを、前記補正データで補正された観察倍率に基づく大きさで表示してもよい。

このような画像処理装置では、画像表示領域において、観察画像およびマーカーの大きさを、より正確に観察倍率に対応させることができる。

（６）本発明に係る観察装置は、
本発明に係る画像処理装置を含む。

このような観察装置では、観察倍率および観察位置の少なくとも一方が異なる複数の観察画像の情報をわかりやすく表示することができる。

（７）本発明に係る画像処理方法は、
観察装置で試料を撮影して得られた複数の観察画像のうちの少なくとも１枚の観察画像が表示される画像表示領域を含む表示画像を表示部に表示する画像処理方法であって、
入力部に入力された観察倍率情報と一致する観察倍率の観察画像を、前記画像表示領域の観察画像の観察位置に対応する位置に表示し、
入力された前記観察倍率情報と異なる観察倍率の観察画像を、前記画像表示領域の観察画像の観察位置に対応する位置に、観察画像の観察領域の大きさに対応する大きさを有するマーカーとして表示する。

このような画像処理方法では、画像表示領域に、入力された観察倍率情報と一致する観察倍率の観察画像を表示し、入力された観察倍率情報と異なる観察倍率の観察画像をマーカーとして表示するため、１つの画像表示領域に、観察倍率および観察位置の少なくとも一方が異なる複数の観察画像の情報をわかりやすく表示することができる。

本実施形態に係る画像処理装置を含む電子顕微鏡の構成を模式的に示す図。 本実施形態に係る画像処理装置の構成を示す機能ブロック図。 画像処理部が表示部に表示する表示画像を模式的に示す図。 本実施形態に係る画像処理装置の処理部の処理の流れの一例を示すフローチャート。 画像データテーブルを説明するための図。 画像処理部が表示部に表示する表示画像の一例を示す図。 画像処理部が表示部に表示する表示画像の一例を示す図。 画像処理部が表示部に表示する表示画像の一例を示す図。 画像処理部が表示部に表示する表示画像の一例を示す図。 画像処理部が表示部に表示する表示画像の一例を示す図。 画像処理部が表示部に表示する表示画像の一例を示す図。 画像処理部が表示部に表示する表示画像の一例を示す図。 画像処理部が表示部に表示する表示画像の一例を示す図。 画像処理部が表示部に表示する表示画像の一例を示す図。 画像処理部が表示部に表示する表示画像の一例を示す図。

以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。

１． 画像処理装置
まず、本実施形態に係る画像処理装置について、図面を参照しながら説明する。図１は、本実施形態に係る画像処理装置１００を含む電子顕微鏡１の構成を模式的に示す図である。

電子顕微鏡１は、図１に示すように、電子顕微鏡本体１０と、制御ユニット２０と、画像処理装置１００と、を含んで構成されている。電子顕微鏡１は、例えば、透過電子顕微鏡である。

電子顕微鏡本体１０は、電子源１１と、照射レンズ１２と、試料ステージ１３と、試料ホルダー１４と、対物レンズ１５と、中間レンズ１６と、投影レンズ１７と、撮像装置１８と、を含んで構成されている。

電子源１１は、電子を発生させる。電子源１１は、例えば、陰極から放出された電子を陽極で加速し電子線を放出する電子銃である。

照射レンズ１２は、電子源１１から放出された電子線を集束して試料Ｓに照射する。照射レンズ１２は、図示はしないが、複数の電子レンズで構成されていてもよい。

試料ステージ１３は、試料Ｓを保持する。図示の例では、試料ステージ１３は、試料ホルダー１４を介して、試料Ｓを保持している。試料ステージ１３は、例えば、試料Ｓを水平方向（Ｘ軸方向およびＹ軸方向）に移動させる動作や、試料Ｓを鉛直方向（Ｚ軸方向）に移動させる動作、試料Ｓを傾斜させる動作などの動作を行うための駆動部（図示せず）を含んで構成されている。試料ステージ１３によって、試料Ｓの位置決めを行うことができる。

対物レンズ１５は、試料Ｓを透過した電子線で透過電子顕微鏡像（ＴＥＭ像）を結像するための初段のレンズである。

中間レンズ１６および投影レンズ１７は、対物レンズ１５によって結像された像を拡大し、撮像装置１８上に結像させる。対物レンズ１５、中間レンズ１６、投影レンズ１７は、電子顕微鏡本体１０の結像系を構成している。

撮像装置１８は、結像系によって結像されたＴＥＭ像を撮影する。撮像装置１８は、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅｓ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ等のデジタルカメラである。撮像装置１８は、撮影されたＴＥＭ像（観察画像）を制御ユニット２０に送る。

電子顕微鏡本体１０では、電子源１１から放出された電子線は、照射レンズ１２によって集束されて試料Ｓに照射される。試料Ｓに照射された電子線は、試料Ｓを透過して対物レンズ１５によって結像される。対物レンズ１５によって結像されたＴＥＭ像は、中間レンズ１６および投影レンズ１７によってさらに拡大されて、撮像装置１８で撮影される。撮像装置１８で撮影された観察画像（画像データ）は、制御ユニット２０に送られる。

制御ユニット２０は、電子顕微鏡本体１０の各部を制御する。また、制御ユニット２０は、撮像装置１８からの観察画像（画像データ）を受け付け、観察条件とともに、画像処理装置１００に送る。観察条件は、観察倍率と、観察位置と、を含む。

観察倍率は、観察画像が撮影されたときの倍率である。ここで、制御ユニット２０は、観察画像が撮影されたときの倍率（観察倍率）を補正するための補正データが記憶された記憶装置（図示せず）を有している。そのため、画像処理装置１００に送られる観察倍率の情報は、補正前の観察倍率と、補正データにより補正された観察倍率と、を含んでいてもよい。

補正データは、寸法が既知である部分を有する標準試料を、電子顕微鏡本体１０において観察して観察画像を取得し、観察画像を構成する画素の一辺の長さを算出して、倍率を補正する。この補正を、すべての観察倍率で行うことで、補正データを作成することができる。

なお、補正データは、後述する画像処理装置１００の記憶部１２４（図２参照）に記憶されていてもよい。すなわち、補正データによる観察倍率の補正は、画像処理装置１００の処理部１１０で行われてもよい。

観察位置は、観察画像が撮影された位置である。観察位置は、例えば、試料ステージ１３における試料ステージ座標系の座標として表される。試料ステージ座標系は、試料ステージ１３上の各位置を特定するための座標系であり、例えば直交する２つの座標軸（Ｘ軸およびＹ軸）を持つ直交座標系である。なお、電子顕微鏡本体１０が、電磁的に電子線を偏向して観察視野を移動可能に構成されている場合（例えばイメージシフト等）、この電磁的な観察視野の移動についても、観察位置の情報に反映される。

観察条件は、観察倍率および観察位置以外の情報を含んでいてもよい。例えば、観察条件は、試料Ｓの傾斜の情報、加速電圧（試料Ｓに照射される電子を加速させるための電圧）の情報、などを含んでいてもよい。

画像処理装置１００は、制御ユニット２０から、観察画像（画像データ）を、当該観察画像の観察条件（観察条件情報）とともに受け付けて、当該観察画像を表示部１２２に表示する。

図２は、画像処理装置１００の構成を示す機能ブロック図である。

画像処理装置１００は、図２に示すように、操作部１２０と、表示部１２２と、記憶部１２４と、処理部１１０と、を含んで構成されている。

操作部１２０は、ユーザーによる操作に応じた操作信号を取得し、処理部１１０に送る処理を行う。操作部１２０は、例えば、ボタン、キー、タッチパネル型ディスプレイ、マイクなどである。

表示部１２２は、処理部１１０によって生成された画像を表示するものであり、その機能は、ＬＣＤ、ＣＲＴなどにより実現できる。

記憶部１２４は、処理部１１０が各種の計算処理を行うためのプログラムやデータ等を記憶している。また、記憶部１２４は、処理部１１０の作業領域として用いられ、処理部１１０が各種プログラムに従って実行した算出結果等を一時的に記憶するためにも使用される。記憶部１２４の機能は、ハードディスク、ＲＡＭなどにより実現できる。

処理部１１０は、制御ユニット２０から送られた観察画像（画像データ）および観察条件（観察条件情報）を受け付けて記憶部１２４に記憶する処理、観察画像を表示部１２２に表示する処理などの処理を行う。処理部１１０の機能は、各種プロセッサ（ＣＰＵ等）で記憶部１２４に記憶されたプログラムを実行することにより実現することができる。処理部１１０は、記憶処理部１１２と、画像処理部１１４と、を含む。

記憶処理部１１２は、制御ユニット２０からの観察画像および観察条件を受け付けて、観察画像を観察条件とともに、記憶部１２４に記憶する処理を行う。すなわち、記憶部１２４には、観察画像と、当該観察画像の観察条件と、が関連付けられて記憶される。

記憶処理部１１２は、例えば、１つの試料Ｓを撮影して得られた複数の観察画像を１つの画像データテーブルとして記憶部１２４に記憶する。画像データテーブルには、観察条件が異なる複数の観察画像が含まれていてもよい。

画像処理部１１４は、記憶部１２４に記憶された複数の観察画像のうちの少なくとも１枚の観察画像を含む表示画像を表示部１２２に表示する処理を行う。

図３は、画像処理部１１４が表示部１２２に表示する表示画像２を模式的に示す図である。表示画像２は、観察画像が表示される画像表示領域４と、操作部１２０を介して観察倍率情報を入力するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）ボタン６と、を含んで構成されている。

画像処理部１１４は、画像データテーブルに含まれる観察画像の観察倍率に対応するＧＵＩボタン６を表示画像２に表示する。図３に示す例では、画像データテーブルにはＡ倍、Ｂ倍、およびＣ倍の観察倍率の観察画像が含まれており、これに対応して、表示画像２には、Ａ倍、Ｂ倍、およびＣ倍に対応するＧＵＩボタン６が表示されている。

３つのＧＵＩボタン６から１つのＧＵＩボタンが操作部１２０を介して選択されると、選択されたＧＵＩボタン６に対応する観察倍率情報が処理部１１０（画像処理部１１４）に送られる。すなわち、操作部１２０は観察倍率情報の入力を受け付ける入力部として機能し、当該観察倍率情報は操作部１２０からの操作信号として処理部１１０（画像処理部１１４）に送られる。

画像処理部１１４は、画像データテーブルに含まれる複数の観察画像のうち、入力された観察倍率情報と一致する観察倍率の観察画像８を画像表示領域４に表示し、入力された観察倍率情報と異なる観察倍率の観察画像を画像表示領域４にマーカー９として表示する。

画像処理部１１４は、画像表示領域４において、観察画像８を観察画像８の観察位置に対応する位置に表示する。同様に、画像処理部１１４は、画像表示領域４において、マーカー９を、マーカー９として表示されている観察画像の観察位置に対応する位置に表示する。

ここで、画像表示領域４は、上述した試料ステージ座標系に対応する画像座標系を有している。そのため、画像処理部１１４は、観察画像８の観察位置の情報から、観察画像８を画像表示領域４の観察位置に対応する位置に表示することができる。同様に、画像処理部１１４は、マーカー９として表示されている観察画像の観察位置の情報から、マーカー９を画像表示領域４の観察位置に対応する位置に表示することができる。

マーカー９の形状は、例えば、円である。なお、マーカー９の形状は特に限定されず、三角形、四角形、楕円、星形、などであってもよい。

画像処理部１１４は、マーカー９として表示されている観察画像の観察領域（観察視野）の大きさに対応するように（例えば比例するように）マーカー９の大きさを設定する。画像処理部１１４は、例えば、観察画像の観察領域（例えば長方形）の内接円（または外接円）の直径に比例するように、マーカー９の大きさを設定する。

ここで、記憶部１２４には、観察倍率に加えて、上述した補正データにより補正された観察倍率が記憶されている。そのため、画像処理部１１４は、観察画像８を画像表示領域４に表示する際の観察画像８の大きさ、およびマーカー９の大きさを、補正データにより補正された観察倍率を用いて設定する。

画像処理部１１４は、マーカー９として表示されている観察画像の観察倍率に基づいて、マーカー９の色を決定する。すなわち、マーカー９の色は、観察倍率に対応している。具体的には、記憶部１２４に各観察倍率にそれぞれ色を割り当てたテーブルが記憶されており、画像処理部１１４は、当該テーブルに基づき、マーカー９の色を観察倍率に応じた色とする。

画像処理部１１４は、ＧＵＩボタン６の色を、マーカー９の色と対応させてもよい。すなわち、同じ観察倍率を示すＧＵＩボタン６とマーカー９とは、同じ色で表示されてもよい。

画像処理部１１４は、操作部１２０の操作信号に基づいて、画像表示領域４に表示されている画像を拡大、縮小して表示する（デジタルズーム）。また、画像処理部１１４は、操作部１２０の操作信号に基づいて、画像表示領域４に表示されている画像の視野の移動を行う。また、画像処理部１１４は、操作部１２０の操作信号に基づいて、マーカー９を表示したり非表示にしたりする。

２． 処理
次に、画像処理装置１００の処理部１１０の処理について説明する。図４は、画像処理装置１００の処理部１１０の処理の流れの一例を示すフローチャートである。

まず、画像処理部１１４は、ユーザーが観察画像を表示する処理を開始する指示（開始指示）を行ったか否かを判定する（ステップＳ１００）。画像処理部１１４は、操作部１２０の操作信号に基づいて、ユーザーが開始指示を行ったか否かを判定する。画像処理部１１４は、開始指示が行われるまで待機する（ステップＳ１００のＮｏ）。

画像処理部１１４は、開始指示が行われたと判定した場合（ステップＳ１００のＹｅｓ）、記憶部１２４に記憶されている画像データテーブルに含まれる観察画像の観察倍率の情報を取得する（ステップＳ１０２）。

画像処理部１１４は、取得した観察画像の観察倍率の情報に基づいて、ＧＵＩボタン６を表示する。ここでは、画像データテーブルにはＡ倍、Ｂ倍、およびＣ倍の観察倍率の観察画像が含まれているものとする。そのため、画像処理部１１４は、表示画像２にＡ倍、Ｂ倍、およびＣ倍に対応する３つのＧＵＩボタン６を表示する（図３参照）。

次に、画像処理部１１４は、Ａ倍のＧＵＩボタン６、Ｂ倍のＧＵＩボタン６、およびＣ倍のＧＵＩボタン６のうち、どのボタンが選択されたかを判定する（ステップＳ１０４）。画像処理部１１４は、操作部１２０でＡ倍のＧＵＩボタン６を選択する操作が行われた場合に、Ａ倍のＧＵＩボタン６が選択されたと判定する。また、操作部１２０でＢ倍のＧＵＩボタン６を選択する操作が行われた場合に、Ｂ倍のＧＵＩボタン６が選択されたと判定する。また、操作部１２０でＣ倍のＧＵＩボタン６を選択する操作が行われた場合に、Ｃ倍のＧＵＩボタン６が選択されたと判定する。

画像処理部１１４は、Ａ倍のＧＵＩボタン６が選択されたと判定した場合（ステップＳ１０４の「Ａ」）、画像表示領域４に、Ａ倍の観察画像８を表示し、Ｂ倍の観察画像およびＣ倍の観察画像をそれぞれマーカー９として表示する（ステップＳ１０６）。

画像処理部１１４は、Ｂ倍のＧＵＩボタン６が選択されたと判定した場合（ステップＳ１０４の「Ｂ」）、画像表示領域４に、Ｂ倍の観察画像８を表示し、Ａ倍の観察画像およびＣ倍の観察画像をそれぞれマーカー９として表示する（ステップＳ１０８）。

画像処理部１１４は、Ｃ倍のＧＵＩボタン６が選択されたと判定した場合（ステップＳ１０４の「Ｃ」）、画像表示領域４に、Ｃ倍の観察画像８を表示し、Ａ倍の観察画像およびＢ倍の観察画像をそれぞれマーカー９として表示する（ステップＳ１１０）。

次に、画像処理部１１４は、ユーザーが観察画像を表示する処理を終了する指示（終了
指示）を行ったか否かを判定する（ステップＳ１１２）。画像処理部１１４は、操作部１２０の操作信号に基づいて、ユーザーが終了指示を行ったか否かを判定する。

画像処理部１１４は、終了指示が行われていないと判定した場合（ステップＳ１１２のＮｏ）、ステップＳ１０４に戻って、ステップＳ１０４〜ステップＳ１１２の処理を行う。

画像処理部１１４は、終了指示が行われたと判定した場合（ステップＳ１１２のＹｅｓ）、表示画像２を表示する処理を終了する。

３． 画像処理装置の動作
次に、画像処理装置１００の動作について説明する。図５は、画像データテーブルを説明するための図である。

電子顕微鏡本体１０において、１つの試料Ｓについて、異なる観察倍率、異なる観察位置で試料Ｓの撮影が行われると、記憶処理部１１２の処理によって、記憶部１２４には、複数の観察画像がそれぞれの観察条件とともに記憶される（図５参照）。１つの試料Ｓについて撮影された一連の観察画像は、画像データテーブルとして、記憶部１２４に記憶される。

観察画像（画像データ）とともに記憶される観察条件は、観察位置と、観察倍率（補正データにより補正された観察倍率を含む）と、を含む。

図５に示す画像データテーブルには、１０倍の観察画像が１枚、２５０倍の観察画像が５枚、８００倍の観察画像が６枚、含まれているものとする。

図６〜図１５は、画像処理部１１４が表示部１２２に表示する表示画像の一例を示す図である。

画像処理部１１４は、記憶部１２４に画像データテーブルが記憶されると、図６に示す表示画像２を表示部１２２に表示する。

具体的には、図５に示す画像データテーブルに含まれる観察画像の観察倍率は、１０倍、２５０倍、８００倍であるため、画像処理部１１４は、１０倍に対応するＧＵＩボタン６ａ、２５０倍に対応するＧＵＩボタン６ｂ、および８００倍に対応するＧＵＩボタン６ｃを表示する。

なお、ＧＵＩボタン６ａ、ＧＵＩボタン６ｂ、およびＧＵＩボタン６ｃは、いずれか１つを選択可能となっており、２つ以上のＧＵＩボタンを同時に選択できない。すなわち、画像表示領域４には、単一の観察倍率の観察画像のみが表示される。

図６では、１０倍のＧＵＩボタン６ａが選択されている。そのため、画像処理部１１４は、画像データテーブルに含まれる１０倍の観察画像８ａを画像表示領域４に表示し、２５０倍の観察画像をマーカー９ｂとし、８００倍の観察画像をマーカー９ｃとして画像表示領域４に表示する。

図６では、画像データテーブルに含まれる５枚の２５０倍の観察画像に対応してマーカー９ｂが５つ表示され、６枚の８００倍の観察画像に対応してマーカー９ｃが６つ表示されている。

このとき、観察画像８ａの画像表示領域４での位置は、観察位置（Ｘ１，Ｙ１）に対応している。また、５つのマーカー９ｂの画像表示領域４での位置は、それぞれ観察位置（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）、（Ｘ５，Ｙ５）、（Ｘ６，Ｙ６）に対応している。また、６つのマーカー９ｃの画像表示領域４での位置は、それぞれ観察位置（Ｘ７，Ｙ７）、（Ｘ８，Ｙ８）、（Ｘ９，Ｙ９）、（Ｘ１０，Ｙ１０）、（Ｘ１１，Ｙ１１）、（Ｘ１２，Ｙ１２）に対応している。また、５つのマーカー９ｂの大きさは、観察画像の観察領域の大きさに対応しており、すべて同じ大きさである。また、６つのマーカー９ｃの大きさは、観察画像の観察領域の大きさに対応しており、すべて同じ大きさである。

図６に示す表示画像２から２５０倍のＧＵＩボタン６ｂが選択されると、画像処理部１１４は、図７に示すように、２５０倍の観察画像８ｂを画像表示領域４に表示し、１０倍の観察画像をマーカー９ａとして、８００倍の観察画像をマーカー９ｃとして画像表示領域４に表示する。すなわち、図７に示す画像表示領域４では、図６に示す観察画像８ａがマーカー９ａに置き換えられ、図６に示すマーカー９ｂが２５０倍の観察画像８ｂに置き換えられている。

図７に示す表示画像２から８００倍のＧＵＩボタン６ｃが選択されると、画像処理部１１４は、図８に示すように、８００倍の観察画像８ｃを画像表示領域４に表示し、１０倍の観察画像をマーカー９ａとして、２５０倍の観察画像をマーカー９ｂとして画像表示領域４に表示する。すなわち、図８に示す画像表示領域４では、図７に示す観察画像８ｂがマーカー９ｂに置き換えられ、図７に示すマーカー９ｃが８００倍の観察画像８ｃに置き換えられている。

ここで、図８では、画像表示領域４に表示されている８００倍の観察画像８ｃが小さく表示されてしまう。そのため、ユーザーが操作部１２０を用いて画像表示領域４に表示されている画像を拡大（ズームイン）する操作を行うことで、画像表示領域４に表示されている画像が拡大される（図９参照）。

また、ユーザーが操作部１２０を用いて画像表示領域４に表示されている画像の視野を移動させる操作を行うことで、画像表示領域４に表示されている画像の視野を移動させることができる。例えば、図９に示す画像表示領域４において、操作部１２０としてのマウスによって視野を左下に移動させる操作（ドラッグ操作）を行うことで、画像表示領域４に表示されている画像の視野が左下に移動する（図１０参照）。また、図１０に示す視野から更に視野を移動させることで、画像表示領域４には図１１に示す画像が表示される。

画像表示領域４に図１１に示す画像が表示されている状態で、１０倍のＧＵＩボタン６ａが選択されると、図１２に示すように、画像表示領域４には１０倍の観察画像８ａが表示される。このとき、１０倍の観察画像８ａは、デジタルズームにより拡大されているため、解像度が低い画像となっている。そのため、図１２に示す状態からデジタルズームにより画像を縮小することにより、画像の中心が維持されたまま、画像が縮小される（図１３参照）。

また、ユーザーが操作部１２０を操作してマーカーを非表示にする操作を行うことで、図１４および図１５に示すように、マーカーを非表示にすることができる。なお、図１４では、図６に示す画像表示領域４からマーカー９ｂおよびマーカー９ｃが非表示となっている。図１５では、図９に示す画像表示領域４からマーカー９ａおよびマーカー９ｂが非表示となっている。

画像処理装置１００、および電子顕微鏡１は、例えば、以下の特徴を有する。

画像処理装置１００では、画像処理部１１４は、入力された観察倍率情報と一致する観察倍率の観察画像を、画像表示領域４の観察位置に対応する位置に表示し、入力された観察倍率情報と異なる観察倍率の観察画像を、画像表示領域４の観察位置に対応する位置に、観察画像の観察領域に対応する大きさを有するマーカー９として表示する。そのため、画像処理装置１００では、１つの画像表示領域４に、観察倍率および観察位置の少なくとも一方が異なる複数の観察画像の情報をわかりやすく表示することができる。

画像処理装置１００では、画像表示領域４において、指定された観察倍率の観察画像が他の観察倍率の観察画像と重畳されないため、観察画像８をわかりやすく表示できる。さらに、他の観察倍率の観察画像をマーカーとして表示することで、画像表示領域４において、指定された観察倍率の観察画像と、他の観察倍率の観察画像と、の位置関係をわかりやすく表示できる。

例えば、低倍率の観察画像上に、高倍率の観察画像が重畳された場合、高倍率の観察画像の観察位置がわかりにくいという問題がある。これに対して、画像処理装置１００では、上述したように、低倍率の観察画像と高倍率の観察画像とが重畳されずに、低倍率の観察画像上に、高倍率の観察画像の観察位置および観察領域の大きさを示すマーカー９が表示されるため、高倍率の観察画像の観察位置および観察領域の大きさを把握しやすい。すなわち、画像データテーブルに含まれる複数の観察画像間の位置関係を把握しやすい。

画像処理装置１００では、観察倍率情報を受け付ける入力部としての操作部１２０を有するため、画像表示領域４において観察画像８として表示される観察倍率の観察画像と、マーカー９として表示される観察倍率の観察画像と、を切り替えることができる。

画像処理装置１００では、観察画像の観察位置は、試料ステージ１３における試料ステージ座標系の座標として表され、画像表示領域４は、試料ステージ座標系に対応する画像座標系を有している。そのため、画像処理装置１００では、観察画像を、観察位置に基づいて、画像表示領域４の観察位置に対応する位置に配置することができる。

画像処理装置１００では、画像処理部１１４が、観察画像の観察倍率に基づいて、マーカー９の色を設定する。そのため、画像表示領域４において、観察画像の観察倍率の情報をわかりやすく表示できる。

画像処理装置１００では、マーカー９の形状は円である。そのため、画像表示領域４において、観察画像の位置の情報をわかりやすく表示できる。さらに、画像処理装置１００では、画像表示領域４に表示される画像を生成する処理を簡略化できる。

例えば、マーカー９の形状が観察画像の観察領域に対応した四角形である場合、観察画像の向きを考慮して画像表示領域４にマーカーを表示しなければならない。しかしながら、観察画像の向きをマーカーに反映するためには処理が複雑化してしまう。これに対して、マーカー９の形状が円である場合、観察画像の向きを考慮しなくてもよいため、処理を簡略化できる。

画像処理装置１００では、記憶部１２４には、観察倍率を補正するための補正データにより補正された観察倍率の情報が記憶され、画像処理部１１４は、画像表示領域４に、観察画像およびマーカー９を、補正データで補正された観察倍率に基づく大きさで表示する。そのため、画像処理装置１００では、画像表示領域４において、観察画像およびマーカー９の大きさを、より正確に観察倍率に対応させることができる。

電子顕微鏡１は、画像処理装置１００を含むため、観察倍率および観察位置の異なる複数の観察画像の情報をわかりやすく表示することができる。そのため、電子顕微鏡１では、高倍率で撮影した箇所が把握しやすく、データの取りこぼしを防ぐことができる。

本実施形態に係る画像処理方法は、電子顕微鏡本体１０で試料Ｓを撮影して得られた複数の観察画像のうちの少なくとも１枚の観察画像が表示される画像表示領域４を含む表示画像２を表示部１２２に表示する画像処理方法であって、操作部１２０に入力された観察倍率情報と一致する観察倍率の観察画像８を、画像表示領域４の観察画像の観察位置に対応する位置に表示し、入力された観察倍率情報と異なる観察倍率の観察画像を、画像表示領域４の観察画像の観察位置に対応する位置に、観察画像の観察領域の大きさに対応する大きさを有するマーカー９として表示する。そのため、１つの画像表示領域４に、観察倍率および観察位置の少なくとも一方が異なる複数の観察画像の情報をわかりやすく表示することができる。

なお、本発明は上述した実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能である。

例えば、上述した実施形態では、電子顕微鏡１（透過電子顕微鏡）が画像処理装置１００を含む場合について説明したが、試料像を撮影することが可能な観察装置であれば、画像処理装置１００を含むことができる。このような観察装置としては、荷電粒子（電子やイオン等）を試料に照射して試料像を撮影することが可能な荷電粒子線装置が挙げられる。より具体的には、走査透過電子顕微鏡（ＳＴＥＭ）や、走査電子顕微鏡（ＳＥＭ）、電子プローブマイクロアナライザー（ＥＰＭＡ）、集束イオンビーム装置（ＦＩＢ装置）等が挙げられる。また、このような観察装置としては、光を利用する光学顕微鏡が挙げられる。

なお、上述した実施形態及び変形例は一例であって、これらに限定されるわけではない。例えば各実施形態及び各変形例は、適宜組み合わせることが可能である。

本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法および結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。

１…電子顕微鏡、２…表示画像、４…画像表示領域、６…ＧＵＩボタン、６ａ…ＧＵＩボタン、６ｂ…ＧＵＩボタン、６ｃ…ＧＵＩボタン、８…観察画像、８ａ…観察画像、８ｂ…観察画像、８ｃ…観察画像、９…マーカー、９ａ…マーカー、９ｂ…マーカー、９ｃ…マーカー、１０…電子顕微鏡本体、１１…電子源、１２…照射レンズ、１３…試料ステージ、１４…試料ホルダー、１５…対物レンズ、１６…中間レンズ、１７…投影レンズ、１８…撮像装置、２０…制御ユニット、１００…画像処理装置、１１０…処理部、１１２…記憶処理部、１１４…画像処理部、１２０…操作部、１２２…表示部、１２４…記憶部

Claims (7)

1. 観察装置で試料を撮影して得られた複数の観察画像を、観察倍率および観察位置を含む観察条件とともに記憶する記憶部と、
   観察倍率情報の入力を受け付ける入力部と、
   前記記憶部に記憶された複数の観察画像のうちの少なくとも１枚の観察画像が表示される画像表示領域を含む表示画像を表示部に表示する画像処理部と、
   を含み、
   前記画像処理部は、
   入力された前記観察倍率情報と一致する前記観察倍率の観察画像を、前記画像表示領域の前記観察位置に対応する位置に表示し、
   入力された前記観察倍率情報と異なる前記観察倍率の観察画像を、前記画像表示領域の前記観察位置に対応する位置に、観察画像の観察領域の大きさに対応する大きさを有するマーカーとして表示する、画像処理装置。
2. 請求項１において、
   前記観察位置は、前記試料が保持される前記観察装置の試料ステージにおける試料ステージ座標系の座標として表され、
   前記画像表示領域は、前記試料ステージ座標系に対応する画像座標系を有している、画像処理装置。
3. 請求項１または２において、
   前記画像処理部は、前記観察倍率に基づいて、前記マーカーの色を設定する、画像処理装置。
4. 請求項１ないし３のいずれか１項において、
   前記マーカーの形状は、円である、画像処理装置。
5. 請求項１ないし４のいずれか１項において、
   前記記憶部には、前記観察倍率を補正するための補正データにより補正された観察倍率の情報が記憶され、
   前記画像処理部は、前記画像表示領域に、前記観察画像および前記マーカーを、前記補正データで補正された観察倍率に基づく大きさで表示する、画像処理装置。
6. 請求項１ないし５のいずれか１項に記載の画像処理装置を含む、観察装置。
7. 観察装置で試料を撮影して得られた複数の観察画像のうちの少なくとも１枚の観察画像が表示される画像表示領域を含む表示画像を表示部に表示する画像処理方法であって、
   入力部に入力された観察倍率情報と一致する観察倍率の観察画像を、前記画像表示領域の観察画像の観察位置に対応する位置に表示し、
   入力された前記観察倍率情報と異なる観察倍率の観察画像を、前記画像表示領域の観察画像の観察位置に対応する位置に、観察画像の観察領域の大きさに対応する大きさを有するマーカーとして表示する、画像処理方法。