JP2014026208A - コンピュータ装置及びプログラム - Google Patents

コンピュータ装置及びプログラム Download PDF

Info

Publication number
JP2014026208A
JP2014026208A JP2012168215A JP2012168215A JP2014026208A JP 2014026208 A JP2014026208 A JP 2014026208A JP 2012168215 A JP2012168215 A JP 2012168215A JP 2012168215 A JP2012168215 A JP 2012168215A JP 2014026208 A JP2014026208 A JP 2014026208A
Authority
JP
Japan
Prior art keywords
image
display
microscope
stroke
control means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012168215A
Other languages
English (en)
Inventor
Masashi Imatsuji
諒志 今辻
Hiromi Fujimasu
裕実 藤枡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2012168215A priority Critical patent/JP2014026208A/ja
Publication of JP2014026208A publication Critical patent/JP2014026208A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

【課題】顕微鏡画像の表示位置を変えるためになされた入力に応じて、顕微鏡の標本台を水平方向に適切に移動させることが可能なコンピュータ装置を提供する。
【解決手段】コンピュータ装置は、顕微鏡によって形成された画像に対応する顕微鏡画像を表示させる表示制御手段と、顕微鏡画像の表示位置を変えるために当該顕微鏡画像に対してなされた指示入力に基づいて、顕微鏡の標本台を水平方向に移動させる制御を行う駆動制御手段と、を備える。このように標本台を水平方向に移動させることで、顕微鏡画像を所望の位置に適切に表示させることができる。
【選択図】図1

Description

本発明は、コンピュータ装置によって顕微鏡を制御する技術分野に関する。
従来から、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン(Anoto pen)」が知られている。例えば、特許文献1には、アノトペンが、用紙に印刷された所定のドットパターンを読み取って記入情報を生成し、当該記入情報を端末装置に送信することが記載されている。また、特許文献2には、ドットパターンに対向する電子ペンの角度に起因するドットの画像上の配列を補正する回転補正処理機能が記載されている。
その他にも、本発明に関連する技術が特許文献3乃至5に開示されている。特許文献3には、顕微鏡画像をパソコン画面に表示するシステムが開示されている。特許文献4には、回転可能なレボルバに複数の対物レンズを設け、レボルバの回転を検知して、対物レンズの位置を検知する顕微鏡が開示されている。特許文献5には、ディスプレイ上での指示により、標本台(ステージ)を水平方向・上下方向に移動させたり、レボルバを駆動させて対物レンズを切り替えたりすることが開示されている。
特許第3872498号公報 特表2003−529853号公報 特表2002−507780号公報 特公平8−16736号公報 特開2011−242600号公報
ところで、画面上に表示された顕微鏡画像への入力に応じて、顕微鏡に対して所望の制御を行うことができれば便宜である。例えば、顕微鏡画像の表示位置を変えるためになされた入力に応じて、顕微鏡の標本台を水平方向に移動させることができれば便宜である。そこで、本発明は、顕微鏡画像の表示位置を変えるためになされた入力に応じて、顕微鏡の標本台を水平方向に適切に移動させることが可能なコンピュータ装置及びプログラムを提供することを主な目的とする。
本発明の1つの観点では、コンピュータ装置は、顕微鏡によって形成された画像に対応する顕微鏡画像を表示させる表示制御手段と、前記顕微鏡画像の表示位置を変えるために当該顕微鏡画像に対してなされた指示入力に基づいて、前記顕微鏡の標本台を水平方向に移動させる制御を行う駆動制御手段と、を備える。
上記のコンピュータ装置では、表示制御手段は、顕微鏡によって形成された画像をカメラにて撮影することで生成された画像データが入力され、当該画像データにより顕微鏡画像を表示させる。駆動制御手段は、顕微鏡画像の表示位置を変えるために当該顕微鏡画像に対してなされた指示入力に基づいて、顕微鏡の標本台を水平方向に移動させる制御を行う。これにより、顕微鏡画像を所望の位置に適切に表示させることができる。
上記のコンピュータ装置の一態様では、前記指示入力は、前記顕微鏡画像に対して記入されたストロークを含む入力であり、前記駆動制御手段は、前記顕微鏡画像の表示位置が前記ストロークに応じて移動するように、前記標本台を水平方向に移動させる。
この態様では、駆動制御手段は、顕微鏡画像に対して記入されたストロークに応じて、標本台を水平方向に移動させる。これにより、記入されたストロークに合わせて顕微鏡画像の表示位置を適切に移動させることができる。例えば、ストロークに追従するように顕微鏡画像の表示位置を移動させることができる。
上記のコンピュータ装置の他の一態様では、前記指示入力は、前記顕微鏡画像上で指示された起点位置及び終点位置を含む入力であり、前記駆動制御手段は、前記顕微鏡画像の表示位置が前記起点位置から前記終点位置に向かって移動するように、前記標本台を水平方向に移動させる。
この態様では、駆動制御手段は、顕微鏡画像上で指示された起点位置及び終点位置に応じて、標本台を水平方向に移動させる。これにより、顕微鏡画像の表示位置を起点位置から終点位置に向かって適切に移動させることができる。
上記のコンピュータ装置の他の一態様では、前記表示制御手段は、前記顕微鏡画像に対して記入されたストローク又は文字に対応する記入画像を当該顕微鏡画像上に表示させると共に、前記駆動制御手段による前記標本台の移動に応じて、前記記入画像の表示位置を移動させる。
この態様では、表示制御手段は、駆動制御手段による標本台の移動に応じて、記入画像の表示位置を移動させる。これにより、標本台の移動による顕微鏡画像の表示位置の移動に合わせて、記入画像の表示位置を適切に移動させることが可能となる。よって、標本台の移動中に、顕微鏡画像と記入画像との相対的な表示位置の関係がずれてしまうことを適切に抑制することが可能となる。
上記のコンピュータ装置において好適には、前記表示制御手段は、前記顕微鏡画像に対して記入されたストローク又は文字に対応する記入画像を当該顕微鏡画像上に表示させると共に、前記顕微鏡画像に対してなされた前記指示入力に応じて、前記記入画像の表示位置を移動させることができる。顕微鏡画像の表示位置を変えるための指示入力に対してほとんど遅れることなく標本台を移動させることができるような構成であれば、指示入力に応じて記入画像の表示位置を移動させても、顕微鏡画像と記入画像との相対的な表示位置関係のずれはほとんど生じないため、指示入力に応じて記入画像の表示位置を移動させると良い。
本発明の他の観点では、顕微鏡によって形成された画像に対応する顕微鏡画像を表示させると共に、前記顕微鏡画像に対して記入されたストローク又は文字に対応する記入画像を当該顕微鏡画像上に表示させる表示制御手段と、前記顕微鏡画像の表示態様を変更するために当該顕微鏡画像に対してなされた指示入力に基づいて、前記顕微鏡を制御する駆動制御手段と、を備え、前記表示制御手段は、前記駆動制御手段による制御に応じて、前記記入画像の表示態様を変更する。
上記のコンピュータ装置では、駆動制御手段は、顕微鏡画像の表示態様を変更するために当該顕微鏡画像に対してなされた指示入力に基づいて顕微鏡を制御し、表示制御手段は、駆動制御手段による制御に応じて記入画像の表示態様を変更する。これにより、駆動制御手段による制御に応じた態様で記入画像を適切に表示させることができる。
上記のコンピュータ装置の一態様では、前記駆動制御手段は、前記顕微鏡の対物レンズを切り替える制御、及び/又は前記顕微鏡のカメラのズームを調整する制御を行い、前記表示制御手段は、前記駆動制御手段による前記対物レンズを切り替える制御及び/又は前記カメラのズームを調整する制御に応じて、前記記入画像を拡大又は縮小して表示させる。これにより、駆動制御手段の制御による変更後の倍率に応じて、記入画像の表示サイズを適切に拡大又は縮小させることができる。
本発明の他の観点では、プログラムは、上記コンピュータ装置として機能させる。当該プログラムを実行することにより、上記のコンピュータ装置を実現することができる。
本発明によれば、顕微鏡の標本台を水平方向に移動させることで、顕微鏡画像を所望の位置に適切に表示させることができる。
本実施形態に係る情報処理システムのシステム構成図である。 顕微鏡の構造を示す概略図である ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。 (a)はドットパターンを模式的に示し、(b)はそれに対応する情報の例を示す図である。 電子ペンの構造を示す概略図である。 コンピュータ装置の機能ブロック図である。 ストローク描画ボタンが選択された場合の表示画面例を示す。 自由移動ボタンが選択された場合の表示画面例を示す。 本実施形態に係る処理フローを示す。 変形例3において自由移動ボタンが選択された場合の表示画面例を示す。
以下、図面を参照しながら、本発明の実施の形態について説明する。
[情報処理システムの構成]
図1は、本実施形態に係る情報処理システム10のシステム構成図である。図1に示すように、情報処理システム10は、先生などのユーザが使用する電子ペン1と、電子ペン1から記入情報などを受信して種々の処理を行うコンピュータ装置2と、コンピュータ装置2と接続され、レンズによって微小な物体を視覚的に拡大すると共に、レンズによって拡大することで形成された画像のデータをコンピュータ装置2に出力する顕微鏡3と、コンピュータ装置2と接続され、そのディスプレイの表示画面と同じ画像をドットスクリーン5に投影するプロジェクタ4と、ドットパターンが印刷されたドットスクリーン5とを備える。
電子ペン1は、アノトペンなどを利用することができ、ドットパターン(コード化パターン)を読み取って記入情報を生成する。電子ペン1は、生成した記入情報を、Bluetooth(登録商標)等の無線通信方式でコンピュータ装置2に送信する。ドットスクリーン5の表面には、電子ペン1により読み取り可能な、ドットパターン(コード化パターン)が形成されている。
顕微鏡3は、レンズによって拡大した画像に対応する画像データをコンピュータ装置2に出力する。また、顕微鏡3は、顕微鏡3内の構成要素を制御するための制御信号がコンピュータ装置2から入力される。つまり、顕微鏡3は、コンピュータ装置2によって種々の制御が行われる。
コンピュータ装置2は、顕微鏡3から入力された画像データに対応する画像(顕微鏡画像)を、プロジェクタ4によりドットスクリーン5に投影表示させる。また、コンピュータ装置2は、顕微鏡画像が表示されたドットスクリーン5上でユーザが電子ペン1によって記入することで入力した指示を含む記入情報に基づいて、顕微鏡3に対する制御を行う。具体的には、ユーザは、顕微鏡画像上に電子ペン1を用いて記入を行うことで、顕微鏡画像の表示態様を変更させるための指示を入力し、コンピュータ装置2は、電子ペン1によって生成された記入情報に含まれる指示に応じた顕微鏡画像の表示態様を実現すべく、顕微鏡3に対して制御信号を出力する。
[顕微鏡]
次に、図2を参照して、顕微鏡3について説明する。図2は、顕微鏡3の構造を示す概略図である。顕微鏡3は、主に、接眼レンズ3aと、それぞれで倍率が異なる複数の対物レンズ3bと、接眼レンズ3a及び対物レンズ3bによって拡大された画像を撮影するカメラ3cと、複数の対物レンズ3bを保持すると共に本体に対して回転可能なレボルバ3dと、プレパラート3fが載置される標本台(ステージ)3eと、標本(試料)がスライドグラス上に載置されたプレパラート3f(標本がスライドグラスとカバーグラスとの間に挟みこまれたものをプレパラート3fとしても良い)と、標本台3eを移動可能に構成されたアクチュエータ3gと、レボルバ3dを回転駆動可能に構成されたアクチュエータ3hとを備える。
カメラ3cは、接眼レンズ3a及び対物レンズ3bによって形成された画像を撮影し、撮影によって生成された画像データを画像信号S1としてコンピュータ装置2に出力する。また、カメラ3cは、ズーム機能を有しており、コンピュータ装置2から入力される制御信号S2によってズームの調整が行われる。コンピュータ装置2は、顕微鏡画像に対して適用される倍率を変化させるべく、カメラ3cに対して制御信号S2を出力してズームの調整を行う。なお、コンピュータ装置2には、カメラ3cのズーム機能により倍率が調整された画像信号S1が入力される。
アクチュエータ3gは、電動モータなどを有し、標本台3eをX方向及びY方向(つまり水平方向)並びにZ方向(つまり上下方向)に移動可能に構成され、コンピュータ装置2から入力される制御信号S3によって制御が行われる。標本台3eがX方向及び/又はY方向に移動された場合には、画面上での顕微鏡画像の表示位置が変化する。コンピュータ装置2は、顕微鏡画像を所望の位置に表示させるべく、アクチュエータ3gに対して制御信号S3を出力することで、アクチュエータ3gによって標本台3eをX方向及び/又はY方向に移動させる。他方で、標本台3eがZ方向に移動された場合には、フォーカス(ピント)が変化する。コンピュータ装置2は、ピントを合わせるべく、アクチュエータ3gに対して制御信号S3を出力することで、アクチュエータ3gによって標本台3eをZ方向に移動させる。
アクチュエータ3hは、電動モータなどを有し、レボルバ3dを回転させることで対物レンズ3bを切り替えることが可能に構成され、コンピュータ装置2から入力される制御信号S4によって制御が行われる。コンピュータ装置2は、顕微鏡3の倍率を所望の倍率に設定すべく、アクチュエータ3hに対して制御信号S4を出力することで、アクチュエータ3hによって対物レンズ3bを切り替える。
[ドットパターン]
次に、図3及び図4を参照しながら、ドットスクリーン5に印刷されたアノト方式のドットパターン(コード化パターン)について説明する。図3は、ドットスクリーン5に印刷されたドットパターンのドットと、そのドットが変換される値との関係を説明する図である。図3に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトするかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組み合わせにより、ドットスクリーン5上の位置座標が決定されるように構成されている。
図4(a)は、あるドットパターンの配列を示している。図4(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、ドットスクリーン5上のどの部分から6×6ドットを取っても、ユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは位置座標(例えば、そのドットパターンがドットスクリーン5上のどの位置にあるのか)を保持している。図4(b)は、図4(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図3に示す規則性に基づいて、対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン1によって行われる。
[電子ペン]
次に、電子ペン1について図5を用いて説明する。図5は、電子ペン1の構造を示す概略図である。図5に示すように、電子ペン1は、その筐体101の内部に、ペン部104、LED105、CMOSカメラ106、圧力センサ107、CPU等により構成されるプロセッサ108、ROMやRAMといったメモリ109、リアルタイムクロック110、アンテナ等により構成される通信ユニット111、及びバッテリー112を備える。
ペン部104の先端はペン先部103となっており、ユーザ(先生など)は、電子ペン1のペン先部103をドットスクリーン5に当接させて、ドットスクリーン5にストローク(手書きストローク)を記入したり、電子ペン1のペン先部103をドットスクリーン5に当接させてタップ(ペン先部103による軽叩)したりする。ここで、電子ペン1のペン先部103がドットスクリーン5に接触することをペンダウンと呼び、接触している(当接している)状態からペン先部103が離れることをペンアップと呼ぶ。電子ペン1のペンダウンからペンアップまでの間に記入される軌跡が1つのストロークとなり、文字や図形等は、1つ又は複数個のストロークからなる。
バッテリー112は電子ペン1内の各部品に電力を供給するためのものであり、例えば電子ペン1のキャップ(図示せず)の脱着により電子ペン1自体の電源のオン/オフを行うよう構成させてもよい。リアルタイムクロック110は、現在時刻(タイムスタンプ)を示す時刻情報を発信し、プロセッサ108に供給する。圧力センサ107は、ユーザが電子ペン1によりドットスクリーン5にストロークを記入したりタップしたりする際にペン先部103からペン部104を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ108へ伝送する。なお、ペン先部103は、インクを有さず、ペン部104を介して圧力センサ107に筆圧を伝達する。
プロセッサ108は、圧力センサ107から与えられる筆圧データに基づいて、LED105及びCMOSカメラ106のスイッチのオン/オフを切替える。即ち、ユーザが電子ペン1によりドットスクリーン5にストロークを記入したりタップしたりすると、ペン先部103に筆圧がかかり、圧力センサ107によって所定値以上の筆圧が検出されたときに、プロセッサ108は、ユーザが記入を開始したと判定して、LED105及びCMOSカメラ106を作動させる。そして、通信ユニット111が、圧力センサ107により検出されたペンダウン情報PDと、後述するペンIDとを関連付けて、記入情報としてコンピュータ装置2へ送信する。また、ユーザが1つのストロークを記入し終えて電子ペン1をドットスクリーン5から離すと、圧力センサ107は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、通信ユニット111が、圧力センサ107により検出されたペンアップ情報とペンIDとを関連付けて、記入情報としてコンピュータ装置2へ送信する。
LED105とCMOSカメラ106は、電子ペン1のペン先部103付近に取り付けられており、筐体101におけるLED105及びCMOSカメラ106と対向する部分には、開口部102が形成されている。LED105は、ドットスクリーン5上のペン先部103近傍に向けて赤外線を照明する。その領域は、ペン先部103がドットスクリーン5に接触する位置とはわずかにずれている。CMOSカメラ106は、赤外線を透過し赤外線以外を遮断する赤外線透過フィルタが設けられており、LED105によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ108に供給する。ここで、カーボンは赤外線を吸収するため、LED105によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。CMOSカメラ106の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。したがって、ドットスクリーン5に文字や枠線などが印刷されていた場合でも、印刷したインクは赤外域に吸収性を持たないため、プロセッサ108は、ドットパターンを認識することができる。なお、CMOSカメラ106による撮影領域は、図4(a)に示すような約2mm×約2mmの大きさを含む範囲であり、CMOSカメラ106の撮影は毎秒50〜100回程度の定間隔で行われる。また、CMOSカメラ106は、ドットを鮮明に撮影するため、十分な被写界深度を有している。
プロセッサ108は、ユーザの記入が行われる間、CMOSカメラ106によって供給される画像データのドットパターンから、ユーザが記入するストローク(筆跡)のドットスクリーン5上におけるX、Y座標(以後、単に「位置座標」または「座標情報」とも呼ぶ。)を連続的に演算していく。すなわち、プロセッサ108は、CMOSカメラ106によって供給される、図4(a)に示されるようなドットパターンの画像データを図4(b)に示すデータ配列に変換し、さらに、X座標ビット値・Y座標ビット値に変換して、そのデータ配列から所定の演算方法によりX、Y座標データを演算する。なお、プロセッサ108は、ドットパターンに対向する電子ペン1の角度に起因するドットの画像上の配列を補正する回転補正処理機能を備えており、座標演算の際、その機能を発揮させる。そして、プロセッサ108は、リアルタイムクロック110から発信される現在時刻(タイムスタンプ:記入された時刻情報)、筆圧データ及びX、Y座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、ドットスクリーン5における6×6のドットパターンは、ドットスクリーン5内で重複することはないため、ユーザが電子ペン1で文字等を記入すると、記入された位置がドットスクリーン5のどの位置に当たるかを、プロセッサ108による座標演算により特定することができる。
メモリ109には、電子ペン1を識別するための「pen01」といったペンID、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット111は、ペンIDと、時刻情報(タイムスタンプ)と、筆圧データと、X、Y座標データとを関連付けて、記入情報としてコンピュータ装置2へ送信する。通信ユニット111によるコンピュータ装置2への送信は、Bluetooth(登録商標)などの無線送信によって、即時的かつ逐次的に行われる。ここで、電子ペン1のペンダウンからペンアップまでの間に生成されてコンピュータ装置2に送信された1個又は複数個の座標属性情報は、コンピュータ装置2によりストローク情報として記憶される。換言すると、1つのストロークは、1個又は複数個のX、Y座標(座標点)からなり、コンピュータ装置2は、ペンダウン情報及びペンアップ情報によって、1つのストロークを構成する1個又は複数個の座標属性情報を認識する。
[コンピュータ装置]
次に、コンピュータ装置2について説明する。コンピュータ装置2は、ハードウェアとして、電子ペン1とのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、ディスプレイ、マウスやキーボード等で構成される。例えば、コンピュータ装置2は、タブレットPCや、PDA(Personal Data Assistance)、またはディスプレイを備えるPC(パーソナルコンピュータ)などで構成される。
図6は、コンピュータ装置2の機能ブロック図である。コンピュータ装置2は、機能的には、マウスやキーボードといった入力手段21、受信手段22、処理手段24、記憶手段25、表示手段26、インターフェース27a、27b、インターフェース28を備える。受信手段22は、アンテナ受信回路等により構成され、電子ペン1から記入情報を受信し、受信した記入情報を処理手段24に伝送する。表示手段26は、ディスプレイ等によって構成され、処理手段24によって指示された内容を表示する。
インターフェース27a、27bは、顕微鏡3と接続するためのインターフェースである。具体的には、インターフェース27aは、顕微鏡3のカメラ3cによって撮影された画像についての画像信号S1が入力され、当該画像信号S1に対応する画像データを処理手段24に伝送する。また、インターフェース27aは、処理手段24によって生成された、カメラ3cのズームの調整を行うための制御信号S2を、カメラ3cに出力する。
インターフェース27bは、処理手段24によって生成された制御信号S3、S4のそれぞれを、アクチュエータ3g、3hに出力する。具体的には、インターフェース27bは、標本台3eをX方向、Y方向及びZ方向に移動させるための制御信号S3を、アクチュエータ3gに出力する。また、インターフェース27bは、対物レンズ3bを切り替えるべく、レボルバ3dを回転させるための制御信号S4を、アクチュエータ3hに出力する。
なお、2つのインターフェース27a、27bを用いて顕微鏡3と接続することに限定はされず、1つのインターフェースのみを用いて顕微鏡3と接続しても良い。1つのインターフェースのみを用いる場合には、当該インターフェースは、顕微鏡3から画像信号S1が入力されると共に、顕微鏡3に制御信号S2、S3、S4を出力する。
インターフェース28は、プロジェクタ4と接続するためのインターフェースである。インターフェース28は、処理手段24の処理命令に基づき、表示手段26に画像を表示するための画像信号をプロジェクタ4に送信し、表示手段26の画像と同じ画像を同期して投影させる。
記憶手段25は、ハードディスクやROM、RAMといったメモリによって構成される。記憶手段25は、ドットスクリーン5に割り当てられ印刷されたドットパターンの座標範囲に関する座標定義情報を記憶している。ドットパターンの座標範囲は、矩形の角の位置座標(Xn,Yn)、高さ(H)、幅(W)によって規定される。また、記憶手段25は、処理手段24の処理命令により、電子ペン1から受信した記入情報をペンID毎に記憶し、さらに、処理手段24の指示により、記憶領域を確保して、ペンダウンからペンアップまでの記入情報に含まれる座標属性情報をストローク情報として記憶する。上記以外にも、記憶手段25は、処理手段24の指示により、プログラムの実行により生成される各種情報を記憶する。
処理手段24は、CPU等のプロセッサによって構成され、コンピュータ装置2の全体の制御を行う。具体的には、処理手段24は、表示制御手段241及び駆動制御手段242を有する。
表示制御手段241は、インターフェース27aに入力された画像信号S1に対応する画像データ(つまり顕微鏡3のカメラ3cによる撮影によって生成された画像データ)に基づいて、当該画像データに対応する顕微鏡画像を表示手段26のディスプレイに表示させる。加えて、表示制御手段241は、顕微鏡画像をプロジェクタ4によりドットスクリーン5に投影表示させるべく、顕微鏡画像についてのデータを、インターフェース28を介してプロジェクタ4に送信する。
また、表示制御手段241は、上記したような顕微鏡画像が表示された表示エリアの外のエリアに、(1)顕微鏡画像上に電子ペン1などによってストロークを描画するためのストローク描画ボタンBu1と、(2)顕微鏡画像上に描画されたストロークを消去するための消去ボタンBu2と、(3)顕微鏡画像上にキーボードなどによって文字を入力するための文字入力ボタンBu3と、(4)顕微鏡画像上に電子ペン1などによって描かれたストロークに応じて、顕微鏡画像の表示位置を移動するための自由移動ボタンBu4と、を表示させる(図7参照)。このようなボタンBu1〜Bu4(Bu)は、顕微鏡画像と共にドットスクリーン5に投影表示され、ユーザは、ドットスクリーン5上においてボタンBu1〜Bu4のうちのいずれかが表示された箇所を電子ペン1でタップすることで、ボタンBu1〜Bu4のうちのいずれかを選択する。なお、ユーザは、入力手段21のマウスでクリックすることで、ボタンBu1〜Bu4のうちのいずれかを選択することもできる。
ユーザによってボタンBu1〜Bu4のうちのいずれかが電子ペン1でタップされた場合、表示制御手段241は、受信手段22によって受信された記入情報(つまり電子ペン1によって生成された記入情報)に基づいて、ユーザによって電子ペン1を用いて選択されたボタンBuを検知する。表示制御手段241は、ストローク描画ボタンBu1が選択されたことを検知した場合、受信手段22によって受信された記入情報に基づいて、電子ペン1によってドットスクリーン5に記入されたストロークを描画したストローク画像を、表示手段26のディスプレイに表示させる。加えて、表示制御手段241は、ストローク画像をプロジェクタ4によりドットスクリーン5に投影表示させるべく、ストローク画像についてのデータを、インターフェース28を介してプロジェクタ4に送信する。このようなストローク画像は、本発明における「記入画像」の一例に相当する。なお、ドットスクリーン5上におけるボタンBuのタップ検知やスクリーン5上にストローク画像を投影表示させる場合、キャリブレーションによって、ドットスクリーン5の領域内の座標値と、プロジェクタ4によりドットスクリーン5に画像が投影表示される表示手段26のディスプレイ領域内における座標値との間で座標変換するための座標変換関数を事前に求めておく必要がある。
他方で、表示制御手段241は、消去ボタンBu2が選択されたことを検知した場合、顕微鏡画像上に描画されたストローク画像を画面から消去する(つまり非表示とする)。また、表示制御手段241は、文字入力ボタンBu3が選択されたことを検知した場合、文字を入力するための文字入力枠を顕微鏡画像上に表示させる。この場合、表示制御手段241は、電子ペン1によってドットスクリーン5上でタップされた位置に対応する顕微鏡画像上の位置に、文字入力枠を表示させる。そして、表示制御手段241は、ユーザによって入力手段21のキーボードを用いて入力された文字を示す画像を、顕微鏡画像上で文字入力枠が表示された位置に表示させる。このような文字を表示させた画像も、本発明における「記入画像」の一例に相当する。なお、表示制御手段241は、文字入力ボタンBu3が選択されたことを検知した場合、キーボード画像を顕微鏡画像上に表示させて、そのようなキーボード画像を利用してマウスや電子ペン1によって文字を入力できるようにしても良い。
以下では、ストローク描画ボタンBu1が選択された後に電子ペン1で記入されたストロークを描画したストローク画像と、文字入力ボタンBu3が選択された後にキーボードなどで入力された文字を表示させた画像とを、まとめて「記入画像」と呼ぶことがある。
次に、駆動制御手段242が行う制御について説明する。駆動制御手段242は、表示制御手段241によって自由移動ボタンBu4が選択されたことが検知された場合(自由移動ボタンBu4が選択されたことを駆動制御手段242が検知しても良い)、受信手段22によって受信された記入情報に基づいて、詳しくは顕微鏡画像の表示位置を変えるために顕微鏡画像が表示されたドットスクリーン5上でユーザにより電子ペン1で記入されたストロークについての記入情報に基づいて、顕微鏡3に対する制御を行う。具体的には、駆動制御手段242は、顕微鏡画像の表示位置を変えるために電子ペン1で記入されたストロークに追従して顕微鏡画像の表示位置が移動するように、アクチュエータ3gによって標本台3eをX方向及び/又はY方向(つまり水平方向)に移動させる制御を行う。この場合、駆動制御手段242は、電子ペン1で記入されたストロークについての画面上での位置(座標値)に基づいて、現在設定されている倍率なども加味して、標本台3eをX方向及び/又はY方向に移動させるべき移動距離を求め、当該移動距離に応じた制御信号S3を、インターフェース27bを介してアクチュエータ3gに出力する。
他方で、表示制御手段241は、上記のようにユーザによって顕微鏡画像の表示位置を変えるために電子ペン1でストロークが記入された場合、受信手段22によって受信された記入情報に基づいて、電子ペン1によってドットスクリーン5に記入されたストロークを描画したストローク画像(以下では「移動用ストローク画像」と呼ぶ。)を、表示手段26のディスプレイに表示させる。加えて、表示制御手段241は、移動用ストローク画像をプロジェクタ4によりドットスクリーン5に投影表示させるべく、移動用ストローク画像についてのデータを、インターフェース28を介してプロジェクタ4に送信する。1つの例では、表示制御手段241は、移動用ストローク画像を、ストローク描画ボタンBu1が選択された後に電子ペン1で記入されたストロークを描画したストローク画像(記入画像)とは異なる態様で表示させる。なお、表示制御手段241は、駆動制御手段242による標本台3eの移動が完了した際に、移動用ストローク画像を画面から消去する。
このような移動用ストローク画像を表示させるのは、顕微鏡画像の表示位置を変えるための電子ペン1によるストロークの記入に対して標本台3eが遅れて移動する傾向にあるため(つまり、標本台3eの移動による顕微鏡画像の表示位置の移動は、移動用ストローク画像の表示よりも遅れる傾向にあるため)、移動用ストローク画像を表示させておくほうが、標本台3eの移動によって顕微鏡画像の表示位置が移動していく様子が把握し易いからである。
また、表示制御手段241は、上記のような駆動制御手段242の制御による標本台3eの水平方向への移動に応じて、記入画像の表示位置を移動させる。つまり、表示制御手段241は、標本台3eの移動による顕微鏡画像の表示位置の移動に連動するように、記入画像の表示位置を移動させる。この場合、顕微鏡3のアクチュエータ3gは、駆動制御手段242によって標本台3eを水平方向に移動させる制御が行われている際に当該標本台3eについての移動データを、インターフェース27bを介して表示制御手段241に送信し、表示制御手段241は、当該移動データに基づいて、記入画像の表示位置を移動させる。
このように標本台3eの移動に応じて記入画像の表示位置を移動させる理由は以下の通りである。顕微鏡画像の表示位置を変えるための電子ペン1によるストロークの記入に対して標本台3eが遅れて移動する傾向にあるため、当該ストロークの記入に合わせて記入画像の表示位置を移動させると、記入画像の表示位置の移動に対して顕微鏡画像の表示位置の移動が遅れてしまうことがある。つまり、顕微鏡画像と記入画像との相対的な表示位置の関係がずれてしまうことがある。したがって、標本台3eの移動中に顕微鏡画像と記入画像との相対的な表示位置の関係がずれてしまうことを抑制すべく、標本台3eの移動に応じて記入画像の表示位置を移動させることとした。
[表示画面例]
以下では、図7及び図8を参照して、本実施形態における表示画面の具体例を説明する。
図7は、ストローク描画ボタンBu1が選択された場合の表示画面例を示している。この画面は、表示制御手段241による制御に基づき、表示手段26のディスプレイに表示され、プロジェクタ4によりドットスクリーン5に投影表示される画面の一例を示している。即ち、表示手段26のディスプレイとドットスクリーン5とには、同じ画面が同期して表示される。図7に示すように、表示制御手段241は、インターフェース27aに入力された画像データに基づいて、当該画像データに対応する顕微鏡画像G1を表示させる。この場合、表示制御手段241は、顕微鏡画像やストローク画像を表示するための表示エリアR1内に、顕微鏡画像G1を表示させる。また、表示制御手段241は、そのような表示エリアR1の下方に、ストローク描画ボタンBu1と、消去ボタンBu2と、文字入力ボタンBu3と、自由移動ボタンBu4とを表示させる。
図7に示すように、ユーザは、顕微鏡画像G1上にストロークを描く場合、まず、ドットスクリーン5上においてストローク描画ボタンBu1が表示された箇所を電子ペン1でタップする。この際に、表示制御手段241は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換し、ディスプレイ上のストローク描画ボタンBu1に対応するドットスクリーン5上のストローク描画ボタンBu1が表示された箇所が電子ペン1でタップされたことを検知する。この後、ユーザは、顕微鏡画像G1が表示されたドットスクリーン5上において電子ペン1でストロークを描く。ここでは、ユーザが、引き出し線と「べん毛」といった文字とからなるストロークを電子ペン1で描いた場合を例示している。この際に、表示制御手段241は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換することで、電子ペン1によってドットスクリーン5に記入されたストロークを描画したストローク画像(記入画像)G2を、表示手段26の顕微鏡画像G1上に表示させる。
なお、本明細書では、「顕微鏡画像」の文言は、顕微鏡3のカメラ3cによる撮影によって生成された画像データに対応する画像そのものだけでなく、そのような画像が表示される表示エリアR1を含めて用いることがある。例えば、「顕微鏡画像上にストロークを記入する(描く)」とは、顕微鏡3のカメラ3cによる撮影によって生成された画像データに対応する画像のエリア内にストロークを記入する場合だけでなく、表示エリアR1内において、そのような画像のエリアの外にストロークを記入する場合も含むものとする。
図8は、自由移動ボタンBu4が選択された場合の表示画面例を示している。図8(a)〜(c)に示す画面は、表示制御手段241による制御に基づき、表示手段26のディスプレイに表示され、プロジェクタ4によりドットスクリーン5に投影表示される画面の一例を示している。即ち、表示手段26のディスプレイとドットスクリーン5とには、同じ画面が同期して表示される。図8(a)に示すように、表示制御手段241は、インターフェース27aに入力された画像データに基づいて、当該画像データに対応する顕微鏡画像G11aを表示エリアR1内に表示させる。また、表示制御手段241は、表示エリアR1の下方に、ストローク描画ボタンBu1と、消去ボタンBu2と、文字入力ボタンBu3と、自由移動ボタンBu4とを表示させる。更に、表示制御手段241は、ストローク描画ボタンBu1が選択された後に電子ペン1で記入されたストロークを描画したストローク画像(記入画像)G21aを表示させる。ここまでは、図7で示した表示画面と同様である(よって、図7と同様の内容については説明を省略している)。
次に、図8(a)に示すように、ユーザは、顕微鏡画像G11aの表示位置を変える場合に、まず、ドットスクリーン5上において自由移動ボタンBu4が表示された箇所を電子ペン1でタップする。この際に、表示制御手段241は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換し、ディスプレイ上の自由移動ボタンBu4に対応するドットスクリーン5上の自由移動ボタンBu4が表示された箇所が電子ペン1でタップされたことを検知する。この後、ユーザは、顕微鏡画像G11aの表示位置を変えるために、顕微鏡画像G11aが表示されたドットスクリーン5上において電子ペン1でストロークを描く。具体的には、ユーザは、顕微鏡画像G11aの表示位置を追従して移動させたいストロークを描く。この際に、表示制御手段241は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換することで、電子ペン1によってドットスクリーン5に記入されたストロークを描画したストローク画像(移動用ストローク画像)G3を、表示手段26の顕微鏡画像G11a上に表示させる。図8では、移動用ストローク画像G3が二点鎖線にて表示された例を示している。
次に、駆動制御手段242は、上記のように顕微鏡画像G11aの表示位置を変えるために電子ペン1で記入されたストロークに合わせて、アクチュエータ3gによって顕微鏡3の標本台3eをX方向及びY方向(水平方向)に移動させる制御を行う。具体的には、駆動制御手段242は、まず、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換することで、電子ペン1で記入されたストロークの画面上での位置(座標値)を求め、求めたストロークの画面上での位置(座標値)に基づき、現在設定されている倍率なども加味して、標本台3eをX方向に移動させる移動距離及び標本台3eをY方向に移動させる移動距離を求める。
より詳しくは、駆動制御手段242は、顕微鏡画像G11aの表示位置を変えるために電子ペン1で記入されたストロークに追従して顕微鏡画像G11aの表示位置が移動するように、当該ストロークを構成する複数個の点において隣接し合う二点の組み合わせ全てについて、当該二点間の画面上でのX方向の距離及びY方向の距離に応じた、標本台3eをX方向及びY方向に移動させる移動距離を求める。なお、ストロークを構成する複数個の点において隣接し合う二点を用いることに限定はされず、ストロークを構成する複数個の点をある程度間引いた点において隣接し合う二点を用いても良い。この後、駆動制御手段242は、求めたX方向の移動距離及びY方向の移動距離に対応する制御信号S3を生成し、当該制御信号S3を、インターフェース27bを介してアクチュエータ3gに出力する。そして、顕微鏡3側では、アクチュエータ3gが、駆動制御手段242からインターフェース27bを介して入力された制御信号S3に基づいて、当該制御信号S3に対応するX方向の移動距離及びY方向の移動距離だけ標本台3eを移動させる。
他方で、表示制御手段241は、上記のような駆動制御手段242の制御による標本台3eの水平方向への移動に応じて、ストローク画像G21aの表示位置を移動させる。つまり、表示制御手段241は、標本台3eの移動による顕微鏡画像G11aの表示位置の移動に連動するように、ストローク画像G21aの表示位置を移動させる。この場合、顕微鏡3側では、アクチュエータ3gが、駆動制御手段242によって標本台3eを水平方向に移動させる制御が行われている際に当該標本台3eについての移動データを、インターフェース27bを介して表示制御手段241に送信し、表示制御手段241は、当該移動データに基づいて、ストローク画像G21aの表示位置を移動させる。具体的には、表示制御手段241は、受信した移動データに対応する画面上での移動量だけ、ストローク画像G21aの表示位置を移動させる。
図8(b)は、駆動制御手段242の制御により標本台3eが移動している最中に表示される画面例を示している。この画面では、駆動制御手段242の制御により、図8(a)に示した顕微鏡画像G11aが右側に移動した顕微鏡画像G11bが表示されると共に、表示制御手段241の制御により、図8(a)に示したストローク画像G21aが右側に移動したストローク画像G21bが表示される。具体的には、顕微鏡画像G11bは、顕微鏡画像G11aの表示位置を変えるために電子ペン1で記入されたストロークに追従して移動した位置に表示されており、ストローク画像G21bは、そのような顕微鏡画像G11bの表示位置に応じた位置に表示されている。また、標本台3eが移動している最中には、移動用ストローク画像G3は表示されたままとなっている。
図8(c)は、駆動制御手段242による制御が完了した際、つまり標本台3eの移動が完了した際に表示される画面例を示している。この画面では、駆動制御手段242の制御により、図8(b)に示した顕微鏡画像G11bが更に右側に移動した顕微鏡画像G11cが表示されると共に、表示制御手段241の制御により、図8(b)に示したストローク画像G21bが更に右側に移動したストローク画像G21cが表示される。具体的には、顕微鏡画像G11cは、顕微鏡画像G11aの表示位置を変えるために電子ペン1で記入されたストロークの端点(終点)に対応する位置に表示されており、ストローク画像G21cは、そのような顕微鏡画像G11cの表示位置に応じた位置に表示されている。また、標本台3eの移動が完了した際には、移動用ストローク画像G3が画面から消去されている。
[処理フロー]
以下では、図9を参照して、本実施形態に係る処理フローについて説明する。この処理フローは、自由移動ボタンBu4が選択された場合に行われるものである。図9の左側に示す処理フローはコンピュータ装置2によって実行され、図9の右側に示す処理フローは顕微鏡3によって実行される。
まず、コンピュータ装置2側では、表示制御手段241が、自由移動についての指示を検知する(ステップS101)。具体的には、表示制御手段241は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換し、ディスプレイ上の自由移動ボタンBu4に対応するドットスクリーン5上の自由移動ボタンBu4が表示された箇所が電子ペン1でタップされたことを検知する。
次に、駆動制御手段242は、受信手段22によって受信された記入情報に基づいて、顕微鏡画像の表示位置を変えるために顕微鏡画像が表示されたドットスクリーン5上でユーザにより電子ペン1で記入されたストロークについての画面上での位置(座標値)を求める(ステップS102)。具体的には、駆動制御手段242は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換することで、電子ペン1で記入されたストロークの画面上での位置(座標値)を求める。より詳しくは、駆動制御手段242は、電子ペン1で記入されたストロークを構成する複数個の点について画面上での位置(座標値)を求める。
次に、駆動制御手段242は、ステップS102で求めたストロークの画面上での位置(座標値)に基づき、現在設定されている倍率(詳しくは接眼レンズ3a、対物レンズ3b及びカメラ3cのズームによる倍率)なども加味して、顕微鏡3の標本台3eをX方向に移動させる移動距離及び標本台3eをY方向に移動させる移動距離を求める(ステップS103)。具体的には、駆動制御手段242は、電子ペン1で記入されたストロークを構成する複数個の点において隣接し合う二点(ストロークを構成する複数個の点をある程度間引いた点において隣接し合う二点でも良い)の組み合わせ全てについて、当該二点間の画面上でのX方向の距離及びY方向の距離に応じた、標本台3eをX方向及びY方向に移動させる移動距離を求める。
次に、駆動制御手段242は、ステップS103で求めたX方向の移動距離及びY方向の移動距離に基づいて、アクチュエータ3gに対して駆動指示を出力する(ステップS104)。具体的には、駆動制御手段242は、X方向の移動距離及びY方向の移動距離に応じた制御信号S3を生成し、当該制御信号S3を、インターフェース27bを介してアクチュエータ3gに出力する。
この後、顕微鏡3側では、アクチュエータ3gが、駆動制御手段242からインターフェース27bを介して入力された制御信号S3に基づいて、当該制御信号S3に対応するX方向の移動距離及びY方向の移動距離だけ、標本台3eを移動させる(ステップS201)。これと同時に、アクチュエータ3gは、標本台3eを移動させた量を示す移動データを、インターフェース27bを介して表示制御手段241に送信する(ステップS201)。
この後、コンピュータ装置2側では、表示制御手段241が、顕微鏡3のアクチュエータ3gからインターフェース27bを介して受信した移動データに基づいて、ストロークや文字を示す記入画像の表示位置を移動させる(ステップS105)。具体的には、表示制御手段241は、受信した移動データに対応する画面上での移動量だけ、記入画像の表示位置を移動させる。
なお、上記では、電子ペン1を用いて、ボタンBuを選択したり、顕微鏡画像上にストローク(ストローク描画ボタンBu1の選択後に記入するストロークと、自由移動ボタンBu4の選択後に記入するストロークの両方を含む。以下同様とする。)を記入したりする例を示したが、これに限定はされない。他の例では、コンピュータ装置2のマウス(入力手段21)を用いて、ボタンBuを選択したり、顕微鏡画像上にストロークを記入したりすることができる。具体的には、マウスによるクリックによってボタンBuを選択したり、マウスによるドラッグ操作によってストロークを記入したりすることができる。マウスによるドラッグ操作によってストロークを記入した場合には、当該ストロークの位置はそのまま画面上での位置(座標値)となるため、上記したような座標変換関数を用いる必要はない。なお、このようなマウス(入力手段21)を用いる構成は、後述する変形例にも適宜適用されるものとする。
[本実施形態による作用・効果]
以上説明した本実施形態によれば、顕微鏡画像の表示位置を変えるために電子ペン1などで記入されたストロークに応じて、顕微鏡3の標本台3eを水平方向に適切に移動させることができる。これにより、記入されたストロークに合わせて、顕微鏡画像の表示位置を適切に移動させることが可能となる。
また、本実施形態によれば、駆動制御手段242の制御による標本台3eの水平方向への移動に応じて、記入画像の表示位置を適切に移動させることができる。これにより、標本台3eの移動による顕微鏡画像の表示位置の移動に合わせて、記入画像の表示位置を適切に移動させることが可能となる。よって、標本台3eの移動中に、顕微鏡画像と記入画像との相対的な表示位置の関係がずれてしまうことを抑制することが可能となる。
[変形例]
以下では、上記した実施形態の変形例について説明する。なお、下記の変形例は、任意に組み合わせて実施形態に適用することができる。
(変形例1)
上記した実施形態では、顕微鏡画像の表示位置を変えるために電子ペン1で記入されたストロークを描画した移動用ストローク画像を表示させていたが、変形例1では、このような移動用ストローク画像を表示させない。上記したように、顕微鏡画像の表示位置を変えるための電子ペン1によるストロークの記入に対して標本台3eが遅れて移動する傾向にあることを考慮して、移動用ストローク画像を表示させておくほうが標本台3eの移動によって顕微鏡画像の表示位置が移動していく様子が把握し易いといった観点で、移動用ストローク画像を表示させていた。しかしながら、顕微鏡画像の表示位置を変えるための電子ペン1によるストロークの記入に対してほとんど遅れることなく標本台3eを移動させることができるような構成(駆動処理が早い場合や、移動距離が極短く移動に殆ど時間がかからない場合)であれば、移動用ストローク画像を表示させなくても標本台3eの移動によって顕微鏡画像の表示位置が移動していく様子を十分に把握することができるので、移動用ストローク画像を表示させなくても良い。
(変形例2)
上記した実施形態では、駆動制御手段242の制御による標本台3eの水平方向への移動に応じて記入画像の表示位置を移動させていたが、標本台3eの移動に応じて記入画像の表示位置を移動させることに限定はされない。変形例2では、顕微鏡画像の表示位置を変えるために電子ペン1で記入されたストロークに応じて、記入画像の表示位置を移動させることができる。つまり、変形例2では、標本台3eを水平方向に移動させる制御とは独立して、顕微鏡画像の表示位置を変えるために電子ペン1で記入されたストロークについての記入情報に基づいて、記入画像の表示位置を移動させることができる。
上記したように、顕微鏡画像の表示位置を変えるための電子ペン1によるストロークの記入に対して標本台3eが遅れて移動する傾向にあることを考慮して、標本台3eの移動中に顕微鏡画像と記入画像との相対的な表示位置の関係がずれてしまうことを抑制する観点から、標本台3eの移動に応じて記入画像の表示位置を移動させていた。しかしながら、顕微鏡画像の表示位置を変えるための電子ペン1によるストロークの記入に対してほとんど遅れることなく標本台3eを移動させることができるような構成(駆動処理が早い場合や、移動距離が極短く移動に殆ど時間がかからない場合)であれば、記入されたストロークに応じて記入画像の表示位置を移動させても上記のような相対的な表示位置関係のずれはほとんど生じないため、記入されたストロークに応じて記入画像の表示位置を移動させても良い。
このように記入されたストロークに応じて記入画像の表示位置を移動させる場合には、標本台3eの移動に応じて記入画像の表示位置を移動させる場合と比較して、簡便な処理にて記入画像の表示位置を移動させることができる。
(変形例3)
上記した実施形態では、顕微鏡画像上で電子ペン1により記入されたストロークに応じて標本台3eを水平方向に移動させていたが、変形例3では、顕微鏡画像上で電子ペン1によりタップされた位置に応じて標本台3eを水平方向に移動させることができる。具体的には、変形例3では、ユーザは、顕微鏡画像の表示位置を変える場合に、顕微鏡画像上で電子ペン1によって二箇所タップすることとし、コンピュータ装置は、ユーザによって1回目に電子ペン1でタップされた箇所を移動の起点位置とし、ユーザによって2回目に電子ペン1でタップされた箇所を移動の終点位置とし、顕微鏡画像の表示位置が当該起点位置から当該終点位置に向かって移動するように標本台3eを水平方向に移動させる。
図10は、変形例3において自由移動ボタンBu4が選択された場合の表示画面例を示している。図10(a)及び(b)に示す画面は、表示制御手段241による制御に基づき、表示手段26のディスプレイに表示され、プロジェクタ4によりドットスクリーン5に投影表示される画面の一例を示している。即ち、表示手段26のディスプレイとドットスクリーン5とには、同じ画面が同期して表示される。図10(a)に示すように、表示制御手段241は、インターフェース27aに入力された画像データに基づいて、当該画像データに対応する顕微鏡画像G12aを表示エリアR1内に表示させる。また、表示制御手段241は、表示エリアR1の下方に、ストローク描画ボタンBu1と、消去ボタンBu2と、文字入力ボタンBu3と、自由移動ボタンBu4とを表示させる。更に、表示制御手段241は、ストローク描画ボタンBu1が選択された後に電子ペン1で記入されたストロークを描画したストローク画像(記入画像)G22aを表示させる。ここまでは、図7で示した表示画面と同様である(よって、図7と同様の内容については説明を省略している)。
次に、図10(a)に示すように、ユーザは、顕微鏡画像G12aの表示位置を変える場合に、まず、ドットスクリーン5上において自由移動ボタンBu4が表示された箇所を電子ペン1でタップする。この際に、表示制御手段241は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換し、ディスプレイ上の自由移動ボタンBu4に対応するドットスクリーン5上の自由移動ボタンBu4が表示された箇所が電子ペン1でタップされたことを検知する。
この後、ユーザは、顕微鏡画像G12aの表示位置を変えるために、顕微鏡画像G12aが表示されたドットスクリーン5上において電子ペン1によって二箇所タップする。具体的には、ユーザは、まず、顕微鏡画像G12aの表示位置を移動させる場合に当該移動の起点にしたい位置を電子ペン1でタップし、その後に、顕微鏡画像G12aの表示位置を移動させる場合に当該移動の終点とした位置を電子ペン1でタップする。この際に、駆動制御手段242は、受信手段22によって受信された記入情報に基づいて、顕微鏡画像G12aが表示されたドットスクリーン5上において電子ペン1によって二箇所タップされたことを検知する。そして、駆動制御手段242は、電子ペン1によって1回目にタップされた位置を起点位置として検出し、電子ペン1によって2回目にタップされた位置を終点位置として検出する。この場合、駆動制御手段242は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換することで、起点位置及び終点位置の画面上での位置(座標)を求める。表示制御手段241は、このように求められた画面上での位置(座標)に基づいて、起点位置を示す画像G4aと終点位置を示す画像G4bとを顕微鏡画像G12a上に表示させる。図10(a)では、画像G4a、G4bが黒丸にて表示された例を示している。なお、画像G4a、G4bを表示させなくても良い。
次に、駆動制御手段242は、起点位置の画面上での位置(座標)と終点位置の画面上での位置(座標)とのX方向の距離及びY方向の距離を求め、求めたX方向の距離及びY方向の距離から、現在設定されている倍率などを考慮して、標本台3eをX方向に移動させる移動距離及び標本台3eをY方向に移動させる移動距離を求める。そして、駆動制御手段242は、求めたX方向の移動距離及びY方向の移動距離に対応する制御信号S3を生成し、当該制御信号S3を、インターフェース27bを介してアクチュエータ3gに出力する。そして、顕微鏡3側では、アクチュエータ3gが、駆動制御手段242からインターフェース27bを介して入力された制御信号S3に基づいて、当該制御信号S3に対応するX方向の移動距離及びY方向の移動距離だけ標本台3eを移動させる。
他方で、表示制御手段241は、上記のような駆動制御手段242の制御による標本台3eの水平方向への移動に応じて、ストローク画像G22aの表示位置を移動させる。つまり、表示制御手段241は、標本台3eの移動による顕微鏡画像G12aの表示位置の移動に連動するように、ストローク画像G22aの表示位置を移動させる。この場合、顕微鏡3側では、アクチュエータ3gが、駆動制御手段242によって標本台3eを水平方向に移動させる制御が行われている際に当該標本台3eについての移動データを、インターフェース27bを介して表示制御手段241に送信し、表示制御手段241は、当該移動データに基づいて、ストローク画像G22aの表示位置を移動させる。具体的には、表示制御手段241は、受信した移動データに対応する画面上での移動量だけ、ストローク画像G22aの表示位置を移動させる。
図10(b)は、駆動制御手段242による制御が完了した際、つまり標本台3eの移動が完了した際に表示される画面例を示している。この画面では、駆動制御手段242の制御により、図10(a)に示した顕微鏡画像G12aが右側に移動した顕微鏡画像G12bが表示されると共に、表示制御手段241の制御により、図10(a)に示したストローク画像G22aが右側に移動したストローク画像G22bが表示される。具体的には、顕微鏡画像G12bは、上記のように電子ペン1でタップされた終点位置に対応する位置に表示されており、ストローク画像G22bは、そのような顕微鏡画像G12bの表示位置に応じた位置に表示されている。また、標本台3eの移動が完了した際には、起点位置を示す画像G4a及び終点位置を示す画像G4bが画面から消去されている。
以上説明した変形例3によれば、顕微鏡画像の表示位置を変えるためになされた電子ペン1によるタップに応じて(つまり電子ペン1によるタップによって指示された起点位置及び終点位置に応じて)、顕微鏡3の標本台3eを水平方向に適切に移動させることができる。よって、顕微鏡画像の表示位置を適切に移動させることが可能となる。
なお、上記した変形例3は、顕微鏡画像上で電子ペン1によりストローク(顕微鏡画像の表示位置を変えるためストローク)が記入された場合にも適用可能である。具体的には、記入されたストロークの一方の端点(ストロークの記入が開始された位置)を起点位置とし、記入されたストロークの他方の端点(ストロークの記入が終了された位置)を終点位置として、上記した手法と同様にして、顕微鏡画像の表示位置が起点位置から終点位置に向かって移動するように標本台3eを水平方向に移動させることができる。
なお、上記した変形例3では、電子ペン1を用いて起点位置及び終点位置を指示していたが、コンピュータ装置2のマウス(入力手段21)を用いて、起点位置及び終点位置を指示しても良い。
(変形例4)
上記した実施形態では、標本台3eが水平方向に移動された場合に、標本台3eの水平方向の移動に応じて記入画像の表示位置を移動させていたが、変形例4では、顕微鏡3の倍率が変更された場合に、変更された倍率に応じて記入画像の表示サイズを変更することができる。具体的には、変形例4では、駆動制御手段242によって対物レンズ3bを切り替える制御及び/又はカメラ3cのズームを調整する制御が行われた場合に、表示制御手段241は、そのような駆動制御手段242の制御による変更後の倍率に応じて、記入画像の表示サイズを拡大又は縮小させることができる。この場合、駆動制御手段242は、所望の対物レンズ3bに設定されるようにレボルバ3dを回転させるための制御信号S4を、インターフェース27bを介してアクチュエータ3hに出力したり、所望のズームに調整するための制御信号S2を、インターフェース27aを介してカメラ3cに出力したりすることで、顕微鏡3を所望の倍率に変更する。そして、表示制御手段241は、例えば駆動制御手段242の制御による変更後の倍率と現在設定されている倍率との比などに応じて、記入画像の表示サイズを拡大又は縮小させる。
なお、このような倍率を変更するための制御に加えて、標本台3eを水平方向に移動させる制御が行われた場合には、表示制御手段241は、記入画像の表示サイズを拡大又は縮小させる制御に加えて、上記した実施形態で示した手法により、記入画像の表示位置を移動させる制御を行う。
(変形例5)
上記した実施形態では、電子ペン1によってドットスクリーン5に種々の指示(ボタンBuの選択、顕微鏡画像上に描画させるためのストロークの記入、及び顕微鏡画像の表示位置を変えるためのストロークの記入などを意味する。以下同様とする。)を入力していた。変形例5では、ドットスクリーン5を用いると共に、若しくはドットスクリーン5を用いる代わりに、コンピュータ装置2の表示手段26上に配置されたドットパターンオーバーレイヤ(以下「DOL」と表記する。)を用いて、電子ペン1によって種々の指示を入力することができる。つまり、変形例5は、表示手段26上に配置されたDOLを用いて、コンピュータ装置2の表示手段26に表示された顕微鏡画像に対して電子ペン1によって指示を入力するものである。
DOLは、ポリエチレンテレフタラートなどの透明樹脂基板である基材フィルムに、電子ペン1により読み取ることができるよう赤外線を反射する素材(酸化チタン、コレステリック液晶、赤外線反射性顔料など)を含んだインキによりドットパターンのドットが印刷され、さらに透明なEB硬化樹脂などの保護層で保護された層構成を有している。なお、赤外線を反射する素材でドットパターンを印刷しているのは、DOLの下層にある表示手段26から様々な色の可視光が放射されても、電子ペン1によってコントラストよくドットパターンを認識させるのに、望ましいからである。
なお、上記のようなDOLを用いる場合、キャリブレーションによって、DOLの領域内の座標値と、コンピュータ装置2の表示手段26のディスプレイ領域内における座標値との間で座標変換するための座標変換関数を事前に求めておく必要がある。
(変形例6)
上記した実施形態では、電子ペン1とドットスクリーン5とを用いて種々の指示を入力する構成を示した。変形例6では、電子ペン1とドットスクリーン5とを用いる代わりに、接触された位置を検知可能な電子黒板を用いて種々の指示を入力することができる。電子黒板としては、感圧式ボードや電磁式ボードを用いることができる。このような電子黒板には、ドットスクリーン5と同様に、プロジェクタ4により顕微鏡画像やストローク画像が投影表示される。
感圧式ボードは、所定のペン(スタイラス)により圧力が加わると、ボード中に設けられた電気伝導性の2枚のシートが接触することで電気信号を発生させる。電磁式ボードは、ボード表面の直下にワイヤが埋め込まれており、コイルを埋め込んだスタイラスが接触されると、スタイラスとの電磁誘導に基づき接触位置に相当する電気信号を発生させる。コンピュータ装置2は、このように電子黒板によって生成された電気信号を受信し、当該電気信号に基づいて、顕微鏡画像に対して入力された指示に応じた制御を行う。
(変形例7)
上記では、電子ペン、ドットパターン(コード化パターン)、記入情報に、アノト方式を用いていたが、アノト方式を用いることに限定はされない。
1…電子ペン
2…コンピュータ装置
3…顕微鏡
3a…接眼レンズ
3b…対物レンズ
3c…カメラ
3d…レボルバ
3e…標本台
3f…プレパラート
3g、3h…アクチュエータ
4…プロジェクタ
5…ドットスクリーン
21…入力手段
22…受信手段
24…処理手段
25…記憶手段
26…表示手段
27a、27b、28…インターフェース

Claims (8)

  1. 顕微鏡によって形成された画像に対応する顕微鏡画像を表示させる表示制御手段と、
    前記顕微鏡画像の表示位置を変えるために当該顕微鏡画像に対してなされた指示入力に基づいて、前記顕微鏡の標本台を水平方向に移動させる制御を行う駆動制御手段と、を備えることを特徴とするコンピュータ装置。
  2. 前記指示入力は、前記顕微鏡画像に対して記入されたストロークを含む入力であり、
    前記駆動制御手段は、前記顕微鏡画像の表示位置が前記ストロークに応じて移動するように、前記標本台を水平方向に移動させることを特徴とする請求項1に記載のコンピュータ装置。
  3. 前記指示入力は、前記顕微鏡画像上で指示された起点位置及び終点位置を含む入力であり、
    前記駆動制御手段は、前記顕微鏡画像の表示位置が前記起点位置から前記終点位置に向かって移動するように、前記標本台を水平方向に移動させることを特徴とする請求項1に記載のコンピュータ装置。
  4. 前記表示制御手段は、前記顕微鏡画像に対して記入されたストローク又は文字に対応する記入画像を当該顕微鏡画像上に表示させると共に、前記駆動制御手段による前記標本台の移動に応じて、前記記入画像の表示位置を移動させることを特徴とする請求項1乃至3のいずれか一項に記載のコンピュータ装置。
  5. 前記表示制御手段は、前記顕微鏡画像に対して記入されたストローク又は文字に対応する記入画像を当該顕微鏡画像上に表示させると共に、前記顕微鏡画像に対してなされた前記指示入力に応じて、前記記入画像の表示位置を移動させることを特徴とする請求項1乃至3のいずれか一項に記載のコンピュータ装置。
  6. 顕微鏡によって形成された画像に対応する顕微鏡画像を表示させると共に、前記顕微鏡画像に対して記入されたストローク又は文字に対応する記入画像を当該顕微鏡画像上に表示させる表示制御手段と、
    前記顕微鏡画像の表示態様を変更するために当該顕微鏡画像に対してなされた指示入力に基づいて、前記顕微鏡を制御する駆動制御手段と、を備え、
    前記表示制御手段は、前記駆動制御手段による制御に応じて、前記記入画像の表示態様を変更することを特徴とするコンピュータ装置。
  7. 前記駆動制御手段は、前記顕微鏡の対物レンズを切り替える制御、及び/又は前記顕微鏡のカメラのズームを調整する制御を行い、
    前記表示制御手段は、前記駆動制御手段による前記対物レンズを切り替える制御及び/又は前記カメラのズームを調整する制御に応じて、前記記入画像を拡大又は縮小して表示させることを特徴とする請求項6に記載のコンピュータ装置。
  8. 請求項1乃至7のいずれか一項に記載のコンピュータ装置として機能させることを特徴とするプログラム。
JP2012168215A 2012-07-30 2012-07-30 コンピュータ装置及びプログラム Pending JP2014026208A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012168215A JP2014026208A (ja) 2012-07-30 2012-07-30 コンピュータ装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012168215A JP2014026208A (ja) 2012-07-30 2012-07-30 コンピュータ装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2014026208A true JP2014026208A (ja) 2014-02-06

Family

ID=50199868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012168215A Pending JP2014026208A (ja) 2012-07-30 2012-07-30 コンピュータ装置及びプログラム

Country Status (1)

Country Link
JP (1) JP2014026208A (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0871085A (ja) * 1994-09-06 1996-03-19 Nikon Corp 手術用顕微鏡
JP2001059940A (ja) * 1999-08-24 2001-03-06 Nikon Corp 顕微鏡及び記録媒体
JP2003032524A (ja) * 2001-07-16 2003-01-31 Olympus Optical Co Ltd 顕微鏡用デジタルカメラ
JP2011118188A (ja) * 2009-12-04 2011-06-16 Olympus Corp 顕微鏡コントローラ及び顕微鏡コントローラを備える顕微鏡システム
JP2011133579A (ja) * 2009-12-22 2011-07-07 Olympus Corp 顕微鏡コントローラ及び顕微鏡コントローラを備える顕微鏡システム
JP2011242600A (ja) * 2010-05-18 2011-12-01 Olympus Corp 顕微鏡コントローラ及び該顕微鏡コントローラを有する顕微鏡システム
JP2012108511A (ja) * 2010-11-15 2012-06-07 Leica Microsystems (Schweiz) Ag タッチスクリーンを有する顕微鏡

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0871085A (ja) * 1994-09-06 1996-03-19 Nikon Corp 手術用顕微鏡
JP2001059940A (ja) * 1999-08-24 2001-03-06 Nikon Corp 顕微鏡及び記録媒体
JP2003032524A (ja) * 2001-07-16 2003-01-31 Olympus Optical Co Ltd 顕微鏡用デジタルカメラ
JP2011118188A (ja) * 2009-12-04 2011-06-16 Olympus Corp 顕微鏡コントローラ及び顕微鏡コントローラを備える顕微鏡システム
JP2011133579A (ja) * 2009-12-22 2011-07-07 Olympus Corp 顕微鏡コントローラ及び顕微鏡コントローラを備える顕微鏡システム
JP2011242600A (ja) * 2010-05-18 2011-12-01 Olympus Corp 顕微鏡コントローラ及び該顕微鏡コントローラを有する顕微鏡システム
JP2012108511A (ja) * 2010-11-15 2012-06-07 Leica Microsystems (Schweiz) Ag タッチスクリーンを有する顕微鏡

Similar Documents

Publication Publication Date Title
JP5808712B2 (ja) 映像表示装置
US10152222B2 (en) Digital image processing device and associated methodology of performing touch-based image scaling
JP5658552B2 (ja) 表示制御装置及びその制御方法、プログラム、及び記録媒体
US20110102599A1 (en) Mobile terminal including projector and control method thereof
JP5664301B2 (ja) コンピュータ装置、電子ペン入力システム、及びプログラム
EP1914621A1 (en) Executing an operation associated with a region proximate a graphic element on a surface
KR20110074663A (ko) 정보처리장치 및 그 제어 방법
KR20150032028A (ko) 3d 공간-터치 스크린 장치 및 이를 이용한 방법
US20140184507A1 (en) Display device and display control system
US20150042625A1 (en) Display control system and display devices
JP2005301668A (ja) 情報処理装置および情報処理プログラム
JP6146350B2 (ja) 情報処理装置およびコンピュータプログラム
JP2010140327A (ja) ボード書き込みシステム、コンピュータ装置及びプログラム
JP5440926B2 (ja) 情報処理システム及びそのプログラム
JP5553920B2 (ja) 表示パネルおよび表示装置
JPWO2013161236A1 (ja) 光学フィルム、表示パネルおよび表示装置
JP2013047968A (ja) 電子機器、制御方法、プログラム
JP2009037464A (ja) 画像表示装置及びコンピュータプログラム
JP3174897U (ja) 教材コンテンツ表示システム、そのコンピュータ装置、およびそれに用いるシート
JP2013250477A (ja) コンピュータ装置及びプログラム
JP2014026208A (ja) コンピュータ装置及びプログラム
JP6048165B2 (ja) コンピュータ装置、電子ペンシステム、及びプログラム
JP2014002190A (ja) コンピュータ装置及びプログラム
JP2009157448A (ja) 手書き情報入力表示システム
JPWO2013161245A1 (ja) 表示制御システム、表示装置及び表示パネル

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160426

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161115