JP2014112148A - 撮像画像と位置特定画像とを重ねて表示させる装置 - Google Patents

Abstract

【課題】観察対象を相対移動させながら観察する光学装置の撮像画像において、観察対象の空間的な配置を容易に把握させる。
【解決手段】光学系と、光学系の観察範囲を移動させるステージ部と、光学系を通して被写体を撮像する撮像部と、撮像部が撮像した撮像画像に、撮像画像内の位置特定に用いる位置特定画像を重ねて表示させる表示処理部と、位置特定画像に基づく位置の指定を入力する入力部と、ステージ部を制御して、光学系の観察範囲を指定された位置に応じて移動させる駆動制御部と、を備える装置を提供する。
【選択図】図１

Description

本発明は、撮像画像と位置特定画像とを重ねて表示させる装置に関する。

レンズ等を含む光学系に対して観察対象を相対移動させながら、当該観察対象を観察する光学装置が知られている（例えば、特許文献１参照）。
特許文献１ 特開２０１１−８０３２号公報

しかしながら、このような光学装置は、観察対象の空間的な配置を直感的に把握することが難しいので、観察したい場所を指し示すこと等が困難であった。また、光学装置が表示した撮像画像を複数の観察者が観察する場合、一の観察者が他の観察者に対して観察したい場所を指し示すことも困難であった。

本発明の第１の態様においては、光学系と、光学系の観察範囲を移動させるステージ部と、光学系を通して被写体を撮像する撮像部と、撮像部が撮像した撮像画像に、撮像画像内の位置特定に用いる位置特定画像を重ねて表示させる表示処理部と、位置特定画像に基づく位置の指定を入力する入力部と、ステージ部を制御して、光学系の観察範囲を指定された位置に応じて移動させる駆動制御部と、を備える装置を提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る装置１００の構成例を試料１０と共に示す。 本実施形態に係る試料１０を第１倍率で撮像した第１画像の例を示す。 本実施形態に係る第１画像に、位置特定画像を重ねて表示させた例を示す。 本実施形態に係る第１画像の対象物に、名称を付与して表示させた例を示す。 本実施形態に係る試料１０を第２倍率で撮像した第２画像に、位置特定画像を重ねて表示させた例を示す。 本実施形態に係る第２画像の対象物に、名称を付与して表示させた例を示す。 本実施形態に係る装置１００の動作フローを示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る装置１００の構成例を試料１０と共に示す。装置１００は、試料１０の画像を位置特定画像に重ねて表示する。装置１００は、試料１０の表面または内部の固体、液体、または生物等の対象物の画像を表示し、ユーザは当該対象物の表面形状等を観察する。例えば、試料１０は、表面に対象物が形成または付着した、ガラス、金属、絶縁物、または半導体等の基板でよい。これに代えて、試料１０は、対象物を固定処理したプレパラートであってよい。

装置１００は、光学顕微鏡であってよく、これに代えて、レーザ顕微鏡、電子顕微鏡、Ｘ線顕微鏡、または超音波顕微鏡等であってよい。ここで、本実施形態に係る装置１００は、光学顕微鏡の例を説明する。装置１００は、光学系１１０と、撮像部１２０と、表示処理部１３０と、記憶部１４０と、表示部１５０と、光学制御部１６０と、ステージ部１７０と、駆動制御部１８０と、入力部１９０とを備える。

光学系１１０は、接眼レンズ１１２および対物レンズ１１４を有し、当該接眼レンズ１１２および／または対物レンズ１１４を切り替えることにより、倍率を切り替え可能とする。例えば、光学系１１０は、接眼レンズ１１２および対物レンズ１１４の組み合わせにより、数倍から数千倍程度の範囲で倍率を切り替え、対象物からの透過光、反射光、および／または蛍光等を結像させる。本実施例において、光学系１１０は、対物レンズ１１４を切り替える切替部１１６を有する例を説明する。

切替部１１６は、光学系１１０の光軸上の対物レンズ１１４を、指定された対物レンズ１１４に切り替える。切替部１１６は、一例として、複数の対物レンズ１１４が設けられる回転機構部を含み、当該回転機構部を回転させて光軸上の対物レンズ１１４を切り替えるレボルバである。当該レボルバは、手動で回転させて対物レンズ１１４を切り替える機構であってよく、これに代えて、電動による自動回転機構であってもよい。図１において、光学系１１０は、自動回転機構のレボルバを有する例を示す。

撮像部１２０は、光学系１１０を通して被写体である対象物を撮像する。撮像部１２０は、光学系１１０が結像した像を撮像画像に変換するＣＣＤ回路またはカメラ等である。撮像部１２０は、撮像した撮像画像を表示処理部１３０に送信する。また、撮像部１２０は、撮像した撮像画像を記憶部１４０に送信して記憶する。

表示処理部１３０は、撮像部１２０に接続され、撮像部１２０が撮像した撮像画像に、撮像画像内の位置特定に用いる位置特定画像を重ねて表示させる。例えば、表示処理部１３０は、撮像画像とはスケールが異なる地図画像を位置特定画像として、撮像画像に重ねて表示させる。また、表示処理部１３０は、少なくとも１つの対象物に付与された名称を表示した画像を、位置特定画像として撮像画像に重ねてもよい。なお、位置特定画像については、後述する。

表示処理部１３０は、撮像画像または撮像画像と位置特定画像とを重ねた画像を、表示部１５０に送信して表示させる。ここで、表示処理部１３０は、撮像画像を撮像部１２０から受け取ってもよく、これに代えて、記憶部１４０から読み出してもよい。また、表示処理部１３０は、ユーザの指定または装置１００の設定に応じて、位置特定画像を表示させなくてよい。例えば、表示処理部１３０は、ユーザからの位置特定画像を表示させるか否かの指示に応じて、位置特定画像を表示させるか否かを切り換える。また、表示処理部１３０は、光学制御部１６０に接続され、光学系１１０を変更する指示を送信する。また、表示処理部１３０は、駆動制御部１８０に接続され、ステージ部１７０を移動する指示を送信する。

記憶部１４０は、撮像部１２０および表示処理部１３０に接続され、撮像部１２０および表示処理部１３０から送信される画像を記憶する。また、記憶部１４０は、表示処理部１３０からの読み出し命令に応じて、対応する画像を送信する。なお、記憶部１４０は、撮像部１２０が順次撮像する撮像画像を記憶してもよい。

記憶部１４０は、撮像画像と対応させて、光学系１１０の倍率および座標等の情報を記憶してもよい。この場合、記憶部１４０は、当該情報を撮像画像に含めて記憶してもよいし、撮像画像とは別に記憶してもよい。また、記憶部１４０は、ユーザが音声で指示を入力する場合、入力される音声を撮像画像と対応させて記憶してもよい。

表示部１５０は、表示処理部１３０に接続され、撮像部１２０が撮像した画像または表示処理部１３０が画像処理を施した画像を表示処理部１３０から受け取って表示する。表示部１５０は、例えば、ブラウン管、液晶、プラズマ、有機ＥＬ、およびプロジェクタ等のディスプレイ装置である。

光学制御部１６０は、表示処理部１３０の指示に応じて、光学系を制御する。例えば、光学制御部１６０は、切替部１１６と接続され、表示処理部１３０からの倍率変更の指示に応じて、切替部１１６の自動回転機構を駆動して、変更すべき倍率に対応する対物レンズに切り替える。

ステージ部１７０は、試料１０を搭載し、光学系１１０に対する試料１０の相対位置を変えて、光学系１１０の観察範囲を移動させる。ステージ部１７０は、例えば、Ｘ、Ｙ、Ｚ軸方向、および／またはθ軸を回転軸とした回転方向にそれぞれ移動させることができる多軸ステージである。ステージ部１７０は、Ｘ、Ｙ、Ｚ、および／またはθ軸の移動方向にそれぞれ対応するモーターまたはピエゾ等の駆動部を有する。即ち当該駆動部は、対象物に対する光学系１１０の観察範囲を移動させるように機能する。

駆動制御部１８０は、ステージ部１７０を制御して、光学系１１０の観察範囲を、表示処理部１３０に指定された位置に応じて移動させる。駆動制御部１８０は、ステージ部１７０に接続され、ステージ部１７０の駆動部を制御してステージ部１７０を移動させる。

入力部１９０は、ユーザからの装置１００に対する動作指示が入力される。例えば、入力部１９０は、位置特定画像に基づく位置の指定が入力される。また、入力部は、位置特定画像を表示させるか否かの指示が入力されてよい。また、入力部１９０は、光学系１１０の変更、光学系１１０の観察範囲の移動、または装置１００の設定等の指示が入力されてもよい。

入力部１９０は、例えば、マイクロフォン等を備え、音声入力により位置の指定等が入力される入力デバイスを含む。この場合、入力部１９０は、入力された音声を対応する文字データ等に変換する音声認識部と、変換された文字データ等から動作指示を検出する指示検出部とを含み、ユーザの音声入力を動作指示に変換してよい。

これに代えて、またはこれに加えて、入力部１９０は、ユーザの手指等が接触することによって動作指示が入力されるタッチパネルを有し、タッチ入力により位置の指定等が入力される入力デバイスを含んでもよい。また、入力部１９０は、ユーザによる入力部１９０に対する手指等の移動、接触、離間、および接触箇所の移動等のジェスチャーに応じた動作指示が入力されてもよい。

これに代えて、またはこれに加えて、入力部１９０は、マウス、キーボード、ペンタブレット、および／またはジョイスティック等の入力デバイスを含んでもよい。入力部１９０は、表示処理部１３０に接続され、ユーザからの指示を表示処理部１３０に送信する。

以上の本実施形態にかかる装置１００は、ユーザの指示に応じて、例えば試料１０の表面上の対象物を光学系１１０の観察範囲に移動させ、当該対象物の撮像画像を表示部１５０に表示させる。また、装置１００は、ユーザの指示または設定に応じて、撮像画像に位置特定画像を重ねた画像を表示部１５０に表示させる。

図２は、本実施形態に係る試料１０を第１倍率で撮像した第１画像の例を示す。図中のＸ軸およびＹ軸は、一例として、ステージ部１７０が試料１０を移動させることで、第１画像において当該試料１０上の対象物が移動するＸおよびＹ方向にそれぞれ対応する。図２の例は、試料１０が半導体ウエハであり、当該半導体ウエハ上のパーティクルおよびキズ等を対象物２１２、２１４、２１６、および２１８として撮像した第１画像を示す。

即ち、図２は、表示処理部１３０がユーザの指定または装置１００の設定に応じて、撮像部１２０が撮像した撮像画像を表示部１５０に表示させた例を示す。このように、第１画像は、ユーザが肉眼で見る光景とは異なるので、空間的な配置を直感的に把握することが難しい。したがって、第１画像中に複数の対象物が表示されている場合、注目している対象物を指し示すことが困難になる。

例えば、「左にある物体」だけでは、対象物２１６を指すのか、対象物２１８を指すのか、対象物２１６および対象物２１８の両方を指しているのか、または対象物２１６よりも左にある物体を指しているのかは判別できない。また、対象物２１２を指すべく、「右上方にある二つの物体のうちの左側」等とすると、表現が冗長になってしまう。また、第１画像中の対象物の数が増加するにつれて、表現方法はより複雑になり、正確に伝達することが困難になる。また、第１画像を観察するユーザの数が増加することによっても、表現方法の食い違い等が発生して、共通認識を得ることが困難になる。

そこで、本実施形態に係る表示処理部１３０は、撮像部が撮像した撮像画像に、撮像画像の位置特定に用いる位置特定画像を重ねて表示させる。

図３は、本実施形態に係る第１画像に、位置特定画像を重ねて表示させた例を示す。例えば、表示処理部１３０は、撮像画像に比べてより広い範囲の地域を表した地図画像を位置特定画像とする。図３において、表示処理部１３０は、日本の関東近辺の地図を表示する例を示す。

この場合、ユーザは、「小田原」と表現するだけで、対象物２１６を指し示すことができる。また、ユーザは、「尾瀬近辺を第２倍率で観察する」等、対象物がはっきりと特定できない領域等を指し示すこともできる。この場合、記憶部１４０が位置特定画像と、位置特定画像内に表示されている名称または地名等と、当該名称または地名等に対応する座標とを対応付けて記憶し、表示処理部１３０は、ユーザの指示に応じて「尾瀬」に対応する座標を観察範囲の中心に移動してから第２倍率に切り換えてよい。

このように、表示処理部１３０は、第１画像との関係にはよらず、ユーザにとって空間把握のしやすい画像を位置特定画像とする。本例において、表示処理部１３０は、地図画像を位置特定画像としたが、これに代えて、表示処理部１３０は、ひらがな又はカタカナの５０音表、アルファベット表、キーボート画像、数字および／または文字を表記した表等を、位置特定画像としてもよい。

このように表示処理部１３０が撮像画像に位置特定画像を重ねて表示させるので、ユーザは位置特定画像に基づいて、撮像画像内の対象物の位置を把握して特定することができる。ここで、表示処理部１３０は、ユーザが対象物の位置の特定に用いた名称または地名等と、当該名称または地名等に対応する座標とを、第１画像と対応付けて記憶してもよい。

例えば、表示処理部１３０は、ユーザが対象物２１２を「袋田」を用いて特定した場合に、第１画像中の対象物２１２の座標および地名「袋田」の情報を、第１画像と対応付けて記憶部１４０に記憶する。この場合、表示処理部１３０は、ユーザが「袋田を第２倍率にする」、および「袋田の位置を観察範囲の中央に移動する」等の指示が入力部１９０に入力されたことに応じて、「袋田」の座標近辺の対象物を特定したと判断してよい。

また、表示処理部１３０は、ユーザが「袋田に対象物がある」、および「袋田の位置を登録する」等の指示が入力部１９０に入力されたことに応じて、「袋田」の座標近辺の対象物を特定したと判断してよい。また、入力部１９０がタッチパネル等の入力デバイスを含む場合に、対象物２１２の表示部分に対応するタッチパネルの位置にユーザの手指が接触して選択され、対象物２１２に対応する位置の拡大、移動、および登録等の指示が入力されたことに応じて、「袋田」の座標近辺の対象物を特定したと判断してよい。

このように、表示処理部１３０が対象物が特定された情報と対応付けて第１画像を記憶するので、ユーザが再び第１画像を呼び出して表示部１５０に表示させた場合に、表示処理部１３０は、第１画像と対応させて当該情報を表示することができる。即ち、表示処理部１３０は、第１画像に特定された対象物の情報を重ねて表示させることができる。

これに代えて、表示処理部１３０は、対象物に名称を付与して、位置特定画像を生成してもよい。図４は、本実施形態に係る第１画像の対象物に、名称を付与して表示させた例を示す。この場合、表示処理部１３０は、撮像画像から少なくとも１つの対象物を検出する検出部と、当該検出部が検出した少なくとも１つの対象物に名称を付与する名称付与部と、を有する。

検出部は、第１画像から対象物を検出する。例えば、検出部は、ユーザの対象物の指定に応じて、第１画像から対象物を検出する。一例として、ユーザが、タッチパネル等により対象物２１２の位置を指定したことに応じて、検出部は、指定した位置に対応する座標に対象物２１２が存在するとして検出してよい。検出部は、ユーザが対象物２１４、２１６、および２１８を順次指定することに応じて、当該対象物を順次検出する。

検出部は、ユーザの対象物の指定に代えて、画像認識技術等により対象物を検出してもよい。例えば、検出部は、撮像画像内またはユーザが指定する領域内において、隣り合う画素の輝度の変化が予め定められた値以上の画素が、連続して予め定められた長さ以上の線状に並ぶ場合、または閉じた図形等を形成する場合は、当該線または図形を、対象物として検出する。

これに代えて、検出部は、表示部１５０が表示している撮像画像内において、予め定められた輝度または表示画像内の輝度の平均値等に比べて、輝度の高い画素または低い画素が隣り合う画素領域を検出する。検出部は、撮像画像内またはユーザが指定する領域内において、抽出した画素領域が予め定められた面積よりも広い場合、当該画素領域を対象物として検出する。

名称付与部は、検出部が検出した対象物に名称を付与する。名称付与部は、ユーザに対して空間把握がしやすい名称を付けてよい。また、名称付与部は、対象物とは全く関連のない名称を付けてよい。図４において、名称付与部は、対象物２１２に「地球」、対象物２１４に「火星」、対象物２１６に「天王星」、対象物２１８に「土星」という名称を付与した例を示す。これによって、ユーザは、付与された名称で対象物を指し示すことができる。

図５は、本実施形態に係る試料１０を第２倍率で撮像した第２画像に、位置特定画像を重ねて表示させた例を示す。ここで、第２倍率は第１倍率よりも高倍率であり、図５は、図３における対象物２１８を高倍率で表示した例である。表示処理部１３０は、図３と同様に、撮像画像に比べてより広い範囲の地域を表した地図画像を位置特定画像とする。

ここで、表示処理部１３０は、撮像画像の倍率に応じた範囲の地図画像を位置特定画像としてよい。即ち、表示処理部１３０は、撮像画像の倍率が高倍率になればなるほど、より狭い範囲の地域を表した地図画像を位置特定画像とする。一例として、表示処理部１３０は、低倍率側から高倍率側に倍率が変更されることに応じて、世界地図、国の地図、都道府県の地図、市町村の地図等を倍率に応じた順に位置特定画像としてよい。これによって、表示処理部１３０は、ユーザに対して、表示部１５０が表示している画像の倍率を感覚的に示すことができる。

また、表示処理部１３０は、倍率の変更に応じて表示する位置特定画像を、変更前の対象物の位置特定に用いた地域に応じた位置特定画像にしてよい。例えば、表示処理部１３０は、ユーザの指定に応じて指定した位置を高倍率に変更する場合、当該指定した位置の地図画像を表示する。また、表示処理部１３０は、ユーザが指定に応じて指定した位置を低倍率に変更する場合、当該指定した位置を含む地図画像を表示する。

ここで、図５は、図３においてユーザが対象物２１８の高倍率画像を表示させるべく、「高崎」および第２倍率を指定したことに応じて、第２倍率の撮像画像に高崎の地図画像を位置特定画像として重ねて表示した例を示す。また、図５の状態において、ユーザが第１倍率への変更を指示した場合、高崎を含む地図画像を位置特定画像として重ねて表示する。これによって、表示処理部１３０は、ユーザに対して、表示部１５０が表示している画像の倍率および異なる倍率の画像に対する当該画像の配置を感覚的に示すことができる。

ここで、装置１００が第１倍率よりも高倍率の撮像画像を表示部１５０に表示させると、ユーザは新たに観察すべき対象物等を見いだす場合がある。例えば、１つのパーティクルを拡大した場合に、更に細かいパーティクルおよびキズ等を観察する場合がある。そこで、表示処理部１３０は、図３および図４の例で説明した場合と同様に、ユーザからの対象物の特定、当該特定に基づく移動、当該指定に基づく倍率変更、対象物に対応する情報の記憶／読み出し、および名称付与を実行してよい。

図５の例において、表示処理部１３０は、ユーザの入力に応じて、対象物５０２、５０４、および５０６等が特定される。例えば、対象物５０２は「高崎駅」、対象物５０４は「あら町」、対象物５０６は「宮本町」等の地名を用いてユーザによって特定される。

図６は、本実施形態に係る第２画像の対象物に、名称を付与して表示させた例を示す。ここで、表示処理部１３０が対象物に名称を付与する動作については、図４で説明した動作と略同一なので説明を省略する。図６において、名称付与部は、対象物５０２に「日本」、対象物５０４に「フランス」、対象物５０６に「ブラジル」という名称を付与した例を示す。これによって、ユーザは、付与された名称で対象物を指し示すことができる。

ここで、表示処理部１３０は、複数の対象物をグループ分けして、グループ毎に関連する名称を付与してもよい。この場合、検出部は、３以上の対象物が検出された場合に、当該複数の対象物を２以上のグループに分け、名称付与部は、グループ毎に、関連する名称を付与する。ここで、検出部は、対象物が撮像された条件、および観察位置等に基づき、複数の対象物をグループ分けしてよい。

また、名称付与部は、検出部が光学系１１０の倍率に応じて複数の対象物をグループ分けした場合、倍率に応じたスケールまたは階層等に関連する名称を付与してよい。ここで、名称付与部は、検出部が複数の対象物を第１倍率のグループと第１倍率よりも高倍率の第２倍率のグループに分けた場合、第１倍率のグループの名称を、第２倍率のグループの名称よりもスケールまたは階層が上の名称を付与してよい。

例えば、名称付与部は、第１倍率のグループに「国」の名称を付与し、第２倍率のグループに「都市」の名称を付与する。同様に、名称付与部は、第１倍率のグループに、「動物」、「ほ乳類」、「大学」等の名称を付与してよく、この場合、第１倍率のグループの名称に対応して順に、第２倍率のグループに「昆虫」、「は虫類」、「高校」等の名称を付与する。

図３および図５において、表示処理部１３０は、対象物２１２、２１４、２１６、２１８、５０２、５０４、および５０６の合計７個の対象物を検出し、当該７個の対象物を光学系１１０の倍率に応じて２つのグループに分け、第１倍率のグループには「惑星」に関連する名称を付与し、第２倍率のグループには「国名」に関連する名称を付与する例を示す。これによって、ユーザは、対象物に付与された名称に基づき、当該対象物が撮像された条件、および観察位置等を直感的に把握することができる。

ここで、表示処理部１３０は、対象物に付与した名称と、当該名称に対応する座標とを、当該対象物が特定された画像と対応付けて記憶部１４０に記憶してもよい。例えば、表示処理部１３０は、対象物２１２、２１４、２１６、および２１８の座標と、それぞれの対象物に付与した名称とを、第１画像と対応付けて記憶する。また、表示処理部１３０は、対象物５０２、５０４、および５０６の座標と、それぞれの対象物に付与した名称とを、第２画像と対応付けて記憶する。

このように、表示処理部１３０が名称等と対応付けて対象物が特定された画像を記憶することで、ユーザが名称を指定することに応じて、指定した名称に対応する画像を表示することができる。この場合、入力部１９０は、名称付与部が付与した名称の指定が入力されてよく、これに加えて、当該名称に対応する対象物に対する動作指示等が入力されてもよい。例えば、ユーザの対象物の表示の指示に応じて、表示処理部１３０は、当該対象物を観察範囲の中央に移動させる指示を駆動制御部１８０に送信し、駆動制御部１８０は、当該名称に対応付けられた対象物を表示するようにステージ部１７０を移動する。

また、表示処理部１３０は、光学系１１０の倍率が指定された名称に対応する画像の倍率と異なる場合に、当該光学系１１０の倍率を当該名称に対応する倍率に変更する。また、表示処理部１３０は、ユーザが名称の指定と対応させて倍率の変更も指示した場合、対応する対象物を観察範囲の中央に移動する指示を駆動制御部１８０に送信し、倍率を変更する指示を光学制御部１６０に送信する。このように、本実施形態に係る装置１００は、対象物に付与した名称に基づき、表示部１５０に表示させる指示を入力することができる。

図７は、本実施形態に係る装置１００の動作フローを示す。撮像部１２０は、対象物を撮像する（Ｓ７００）。ここで、表示処理部１３０は、試料１０を観察する倍率をユーザから入力部１９０に入力されたことに応じて、光学系１１０を入力された倍率にする指示を光学制御部１６０に送信し、撮像部１２０は、ユーザが指定した倍率で対象物を撮像してよい。

次に、表示処理部１３０は、倍率に応じた位置特定画像を撮像画像に重ねて表示する（Ｓ７１０）。ここで、表示処理部１３０は、予め位置特定画像を表示する指示が設定されていることに応じて、位置特定画像を撮像画像に重ねて表示してよい。また、表示処理部１３０は、位置特定画像を表示する指示に応じて、位置特定画像を撮像画像に重ねて表示してよい。図３は、ユーザが第１倍率で試料１０を観察する指示を入力したことに応じて、表示処理部１３０が第１倍率に対応する位置特定画像を撮像画像に重ねて表示部１５０に表示した例である。

次に、表示処理部１３０は、ユーザの指定に応じて、対象物を特定する（Ｓ７２０）。表示処理部１３０は、位置特定画像に表示された名称および地名等を用いたユーザの入力に応じて対象物を特定してよく、これに代えて、タッチパネル等の入力デバイス等を用いたユーザの入力に応じて対象物を特定してよい。

ここで、表示処理部１３０は、予め対象物に付与され、記憶部１４０に記憶された名称が入力されたことに応じて、当該名称に対応する対象物を特定してもよい。このように、表示処理部１３０は、付与した名称に基づいて対象物を特定することができるので、当該対象物を表示させることにより、ユーザが一度観察した場所を再現することができる。

表示処理部１３０は、ユーザの指定に応じて、特定した対象物に対する動作を実行する（Ｓ７３０）。例えば、表示処理部１３０は、特定した対象物を移動するユーザの指示に応じて、当該移動の指示を駆動制御部１８０に送信する。また、表示処理部１３０は、特定した対象物に名称を付与するユーザの指示に応じて、名称を付与する。

また、入力部１９０は、ユーザの音声を記録する指示が入力されてもよい。この場合、表示処理部１３０は、ユーザの指定する期間または予め定められた期間のユーザの音声を、特定した対象物に対応付けて記憶部１４０に記憶する。また、入力部１９０は、記録したユーザの音声の再生、消去、および更新等の指示が入力されてよい。表示処理部１３０は、ユーザの指示に応じて、記憶部１４０に記憶した音声データの再生、消去、および更新を実行してよい。この場合、装置１００は、記憶した音声データの再生するスピーカ等の出力デバイスを備えてよい。

また、表示処理部１３０は、ユーザの音声を記憶した場合に、当該対象物が特定された座標近辺に音声メモが記録されていることを示すマーカを表示してよい。また、表示処理部１３０は、音声メモの少なくとも一部をテキストに変換したテキストデータを、マーカとして表示してもよい。このように、装置１００は、特定した対象物に対応するユーザの音声を記録および再生するので、ユーザは観察した対象物を容易に特定しつつ、当該対象物に応じた音声メモを記録することができる。

また、表示処理部１３０は、倍率を変更するユーザの指示に応じて、光学系１１０の倍率を変更する指示を光学制御部１６０に送信する（Ｓ７４０）。表示処理部１３０は、ステップＳ７００に戻り、指定された倍率で撮像した撮像画像を表示部１５０に表示する。図５は、ユーザが第２倍率で試料１０を観察する指示を入力したことに応じて、表示処理部１３０が第２倍率に対応する位置特定画像を撮像画像に重ねて表示部１５０に表示した例である。また、表示処理部１３０は、ユーザの指示に応じてステージ部１７０を移動させた場合も、ステップＳ７００に戻り、移動前の倍率で移動後の対象物を撮像した撮像画像を表示部１５０に表示する。

ここで、表示処理部１３０は、ユーザの指示が倍率の変更または移動の指示ではない場合は、ステップＳ７２０に戻って、ユーザから次の対象物の指定の入力を待つ。以上のように、ステップＳ７００からステップＳ７５０を繰り返すことにより、本実施形態に係る装置１００は、試料１０の撮像画像に位置特定画像を重ねて表示してユーザに対象物を観察させる。

これによって、装置１００は、ユーザに対象物の空間的な配置を直感的に把握させて、観察したい場所を指示させることができる。また、表示部１５０に表示した撮像画像を複数の観察者が観察する場合においても、一の観察者が他の観察者に対して観察したい場所を容易に指し示すことができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 試料、１００ 装置、１１０ 光学系、１１２ 接眼レンズ、１１４ 対物レンズ、１１６ 切替部、１２０ 撮像部、１３０ 表示処理部、１４０ 記憶部、１５０ 表示部、１６０ 光学制御部、１７０ ステージ部、１８０ 駆動制御部、１９０ 入力部、２１２ 対象物、２１４ 対象物、２１６ 対象物、２１８ 対象物、５０２ 対象物、５０４ 対象物、５０６ 対象物

Claims (12)

1. 光学系と、
   前記光学系の観察範囲を移動させるステージ部と、
   前記光学系を通して被写体を撮像する撮像部と、
   前記撮像部が撮像した撮像画像に、前記撮像画像内の位置特定に用いる位置特定画像を重ねて表示させる表示処理部と、
   前記位置特定画像に基づく位置の指定が入力される入力部と、
   前記ステージ部を制御して、前記光学系の観察範囲を指定された位置に応じて移動させる駆動制御部と、
   を備える装置。
2. 前記表示処理部は、前記撮像画像とはスケールが異なる地図画像を前記位置特定画像とする請求項１に記載の装置。
3. 前記表示処理部は、前記撮像画像に比べてより広い範囲の地域を表した地図画像を前記位置特定画像とする請求項２に記載の装置。
4. 前記表示処理部は、前記撮像画像の倍率に応じた範囲の地図画像を前記位置特定画像とする請求項２または３に記載の装置。
5. 前記入力部は、音声入力により位置の指定が入力される請求項１から４のいずれか一項に記載の装置。
6. 前記入力部は、タッチパネルを更に有し、タッチ入力により位置の指定が入力される請求項１から５のいずれか一項に記載の装置。
7. 前記表示処理部は、
   前記撮像画像から少なくとも１つの対象物を検出する検出部と、
   前記検出部が検出した前記少なくとも１つの対象物に名称を付与する名称付与部と、
   を有し、
   当該表示処理部は、前記少なくとも１つの対象物に付与された名称を表示した画像を、位置特定画像として前記撮像画像に重ねる請求項１から６のいずれか一項に記載の装置。
8. 前記検出部は、３以上の複数の対象物が検出された場合に、当該複数の対象物を２以上のグループに分け、
   前記名称付与部は、前記グループ毎に、関連する名称を付与する請求項７に記載の装置。
9. 前記検出部は、前記光学系の倍率に応じて、前記複数の対象物を２以上のグループに分け、
   前記名称付与部は、前記グループ毎に、関連する名称を付与する請求項８に記載の装置。
10. 前記入力部は、前記名称付与部が付与した前記名称の指定が入力され、
    前記駆動制御部は、当該名称に対応付けられた対象物を表示するように前記ステージ部を移動させる請求項７から９のいずれか一項に記載の装置。
11. 前記表示処理部は、前記光学系の倍率が指定された前記名称に対応する画像の倍率と異なる場合に、当該光学系の倍率を当該名称に対応する倍率に変更する請求項１０に記載の装置。
12. 前記入力部は、前記位置特定画像を表示させるか否かの指示が入力され、
    前記表示処理部は、当該指示に応じて、前記位置特定画像を表示させるか否かを切り換える請求項１から１１のいずれか一項に記載の装置。

Images