JP2001091846A - 顕微鏡画像転送システム - Google Patents

顕微鏡画像転送システム

Info

Publication number
JP2001091846A
JP2001091846A JP27129499A JP27129499A JP2001091846A JP 2001091846 A JP2001091846 A JP 2001091846A JP 27129499 A JP27129499 A JP 27129499A JP 27129499 A JP27129499 A JP 27129499A JP 2001091846 A JP2001091846 A JP 2001091846A
Authority
JP
Japan
Prior art keywords
image
microscope
stage
mesh
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP27129499A
Other languages
English (en)
Other versions
JP4434376B2 (ja
Inventor
Shuji Nakagawa
修二 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP27129499A priority Critical patent/JP4434376B2/ja
Priority to PCT/JP2000/006475 priority patent/WO2001022147A1/ja
Priority to KR1020017006095A priority patent/KR20010092740A/ko
Priority to CNB008019886A priority patent/CN100442099C/zh
Priority to TW089119679A priority patent/TW513582B/zh
Publication of JP2001091846A publication Critical patent/JP2001091846A/ja
Application granted granted Critical
Publication of JP4434376B2 publication Critical patent/JP4434376B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/242Devices for focusing with coarse and fine adjustment mechanism
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

(57)【要約】 【課題】遠隔地の観察側がスライドガラスの標本全体像
上からメッシュ分割指定を行ない、このメッシュ指定の
フレーム位置の顕微鏡画像を取り込むよう依頼側に指示
したときに、全てのメッシュ指定画像が短時間で合焦位
置の正しい画像を取得すること。 【解決手段】顕微鏡XYステージの変位に伴う顕微鏡Z
方向位置補正手段により顕微鏡ステージXYZ制御を行
ない(S506、S507)、メモリに記憶する(S5
10)。静止画を撮り込み(S511)、メッシュ位置
にXYステージを移動する(S513)。さらに、XY
の移動に応じてZ位置も微動させる(S514)。AF
動作実行可能であれば、AFを実行し、AF実行不可で
あれば前回Z位置に移動する(S519)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は顕微鏡による観察
像を静止画として伝送する顕微鏡画像転送システムに関
わり、特に病理標本を遠隔で観察するテレパソロジーシ
ステムで利用されるものである。
【0002】
【従来の技術】従来、顕微鏡静止画像伝送システムは、
例えば病理医の顕微鏡TV画像を用いた遠隔病理診断に
利用されている。そして、顕微鏡静止画像観察システム
により、病理診断や生物学における組織標本の観察を行
う場合には、まずスライドガラス上のどの位置にどのよ
うな大きさ、形状、色彩の観察対象が載っているかを把
握することが、見落としの無い効率の良い観察を行うた
めに重要であるとされている。
【0003】このようにスライドガラス上の標本全体像
を把握するためには、検鏡に入る前に肉眼又は拡大鏡で
観察するのが一般的であり、顕微鏡最低対物で観察でき
ないような標本においては、巨視的映像撮影手段を用い
たりする。
【0004】特開平6−3597では、病理医(観察
者)の顕微鏡下での観察手法をTV観察システムに組込
む提案であり、標本全体像を撮影する巨視的映像撮影手
段と、画像領域の指定を行うポインティング手段によ
り、巨視的映像撮影手段で撮影された標本の全体像をポ
インティング手段で画像領域をブロック化し、顕微鏡の
電動ステージを設定し、順次撮影する顕微鏡静止画像観
察システムが考案されている。
【0005】特開平6―222281では、標本全体像
に顕微鏡低倍率の視野に相当するフレーム(ブロック)
を複数箇所指定し、フレーム(ブロック)により指定さ
れた箇所(ステージ位置)の顕微鏡画像を取り込むよう
制御する。この画像撮り込み指定位置を遠隔地の観察者
側(病理医側)で指示できる提案がされている。観察者
側(病理医側)は、スライドガラス上の標本全体像(マ
クロ像)を依頼者側端末から静止画で受信した後、この
マクロ像を均等に分割して拡大指定フレームを指示する
ことも提案されている。このマクロ像を均等に分割して
拡大指定フレームを指示することをここでは、メッシュ
分割指定と呼ぶ。また、依頼者の手作業をなくすため
に、オートフォーカス機能を有する顕微鏡を使用するこ
とも提案されている。本提案において単一のフレームで
拡大指定枠を示すものを「スポット」、マクロ像を均等
に分割して拡大指定フレームを複数指示するものを「メ
ッシュ」として表現する。
【0006】すなわち、従来の顕微鏡静止画像伝送シス
テムは、顕微鏡ステージ上の標本像をTVカメラに取り
込んだ後、コンピュータの画像をキャプチャボードで撮
り込み、画像をデジタル化し、ISDNなどの公衆回線
を通じて、遠隔のコンピュータにデータ転送し、画像表
示する顕微鏡画像転送システムが知られている。遠隔の
コンピュータからも顕微鏡を操作し、倍率の変更やステ
ージの移動も可能である。
【0007】
【発明が解決しようとする課題】本発明で注目した点
は、スライドガラスの標本全体像(マクロ像)から顕微
鏡低倍率の視野に相当する拡大指定フレームを複数箇所
指定するメッシュ指定を行ない、所望の顕微鏡画像を取
得する時の改善にある。
【0008】上述した従来技術では、いずれも巨視的画
像を撮影する手段でスライドガラス上の標本全体像(マ
クロ像)を撮影し、ポインティング手段により矩形枠
(フレーム(ブロック))を所望の位置に複数設定(メ
ッシュ分割指定)し、矩形枠(フレーム)により指定さ
れた箇所の顕微鏡画像を制御し、依頼者の手作業をなく
すために、オートフォーカスを用いること等が記載され
ている。しかしながら、メッシュ指定画像を全て撮り込
むまでの時間や撮り込んだ画像に対してフォーカス位置
の正しさまでは触れていない。
【0009】遠隔病理診断、特に手術中診断において
は、観察者(病理医)が診断できるレベルの画像を最短
の時間で依頼者側(病理医のいない施設)から観察者側
(病理医側)に転送しなければならない。従って複数の
メッシュ画像について個々に合焦位置を手作業で得るの
は手術中診断では時間がかかり過ぎるという問題があ
る。また、複数のメッシュ画像のうちのいずれか1つの
画像についてオートフォーカスを実行し、残りのすべて
の画像についてその最初に得られた合焦位置を用いて撮
像することも考えられるが、光軸に対するZステージの
変位や標本の厚み等の違いにより合焦位置の正しい画像
を取得することは困難であった。
【0010】この発明は上記実情に鑑みてなされたもの
であり、その目的は、遠隔地の観察者側(病理医側)
が、スライドガラスの標本全体像(マクロ画像)上から
メッシュ分割指定を行ない、このメッシュ指定のフレー
ム位置の顕微鏡画像を撮り込むよう依頼者側(病理医の
いない方)に指示したときに、全てのメッシュ指定画像
が短時間で合焦位置の正しい画像を取得することのでき
る顕微鏡画像転送システムを提供することである。
【0011】
【課題を解決するための手段】請求項1に記載の静止画
像上で所望の倍率で拡大画像撮り込みが指定可能な顕微
鏡画像転送システムにおいて、静止画像上で拡大指定枠
領域の輝度情報を記憶する輝度情報記憶手段と、顕微鏡
XYステージの変位に伴うZ方向の位置を補正するZ方
向位置補正手段と、静止画像上で拡大画像撮り込み前
に、オートフォーカス実行可能か否かを判断するオート
フォーカス実行可否判断手段と、前記オートフォーカス
実行可否判断手段によりオートフォーカス実行可能と判
断したとき、顕微鏡XYステージのXY位置と顕微鏡X
YステージのZ位置を記憶するXYZ位置記憶手段と、
前記オートフォーカス実行可否判断手段によりオートフ
ォーカス実行不可と判断したとき、前記XYZ位置記憶
手段に記憶された前回の顕微鏡XYステージのZ位置を
復元するZ位置復元手段とを有することを特徴とする。
【0012】また、請求項2に記載の静止画像上で所望
の倍率で拡大画像撮り込みが指定可能な顕微鏡画像転送
システムにおいて、オートフォーカス可能な位置に顕微
鏡XYステージをXYに移動する手段と、前記顕微鏡X
YステージのXY移動後にオートフォーカスを実行制御
する手段と、オートフォーカス実行後に前記XYステー
ジの位置を移動前の位置に復元する手段と、前の顕微鏡
XYステージの位置を移動前の位置に復元後に画像撮り
込みを制御する手段とを有する。
【0013】また、請求項3に記載の静止画像上で所望
の顕微鏡倍率で拡大画像撮り込み指定可能な顕微鏡画像
転送システムにおいて、複数の各画像撮り込み指定枠か
ら最初にオートフォーカスを実行する箇所を自動的に選
択する手段を有することを特徴とする。
【0014】この発明の顕微鏡画像転送システムによれ
ば、顕微鏡XYステージの変位に伴うZ方向位置補正手
段により顕微鏡XYステージをXYZの方向で制御を行
ない、顕微鏡XYステージの位置と顕微鏡XYステージ
のZ位置をXYZ位置記憶手段により記憶する。次い
で、顕微鏡XYステージのZ位置を復元する手段によ
り、前回位置情報の呼出し、顕微鏡XYステージのXY
Z移動を行う。静止画像上で拡大指定枠領域の輝度情報
を記憶する輝度情報記憶手段は静止画像上で拡大指定枠
領域の輝度情報を記憶する。静止画像上で拡大画像撮り
込み前に、オートフォーカス実行可否判断手段でオート
フォーカス実行可能か否か判断し、オートフォーカス実
行可能と判断したとき、最適な箇所でオートフォーカス
を実行する。また、オートフォーカス実行可否判断手段
でオートフォーカス実行不可と判断したとき前記XYZ
位置記憶手段に記憶された前回の顕微鏡XYステージの
Z位置をZ位置記憶手段で復元し、エラー復帰を自動で
行ない、オートフォーカスエラーの発生する確率を削減
する。
【0015】さらに、標本が存在する位置に顕微鏡XY
ステージを移動した後光軸上に標本がなくてもオートフ
ォーカス実行後に顕微鏡XYステージの位置を移動前の
位置に復元する手段により顕微鏡XYステージをXY移
動してオートフォーカスを実行制御する手段により最適
なZ位置での画像取得を可能にすることで、いかなるメ
ッシュ拡大指定画像であっても最適なZ位置での画像を
取得可能にしている。
【0016】複数の拡大画像撮り込み指定枠(メッシュ
指定枠)から最初にオートフォーカスを実行する箇所を
自動的に選択する手段により、観察者側(病理医)の操
作を簡単にすることができる。
【0017】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。
【0018】図1はこの発明に関わる顕微鏡画像転送シ
ステムの概略図である。顕微鏡907には、電動ステー
ジ909と電動レボルバ908を備え、さらにビデオカ
メラ906を備えている。また、同顕微鏡907には、
図示しないオートフォーカスユニット、調光機能、電動
絞り機能等を備えることも可能である。図1に示す例で
は、顕微鏡操作ユニット913とパーソナルコンピュー
タ等で実現される依頼側端末905を接続し、依頼側端
末905から顕微鏡操作ユニット913に操作データを
転送することにより、顕微鏡の電動部位である対物制
御、オートフォーカス(AF:Auto Focus)制御、Z方
向微動、調光制御、電動絞り機能等を可能にする。な
お、電動機能を有しない手作業による顕微鏡であっても
よい。依頼側端末905内には、図示しないビデオキャ
プチャ機能を有しており、前記ビデオカメラ906の画
像出力と接続する端子も備えている。依頼側端末905
およびパーソナルコンピュータ等で構成される観察側端
末901内には画像等の情報を記憶する記憶媒体を備え
る。依頼側端末905あるいは観察側端末901の周辺
機器としてMO等の記録装置を備えても良い。依頼側端
末905にはモニタ904が接続され、このモニタ上で
顕微鏡画像やマクロ撮影装置画像が観察可能である。
【0019】さらに、画像情報等の情報を公衆回線で伝
送するための回線接続装置910a、910bを備え、
この回線接続装置910a、910bはそれぞれ観察側
端末901および依頼側端末905とのインターフェー
ス回路を有する。依頼側端末905と観察側端末901
は回線接続装置910a、910bとISDN等の公衆
回線903を介して接続される。なお、公衆回線の代わ
りにローカルエリアネットワーク(LAN)を用いても
よい。
【0020】病理診断を遠隔で行うテレパソロジーシス
テムにおいては、病理医(観察者)のいない施設の端末
を依頼側端末905とし、病理医(観察者)のいる施設
の端末を観察側端末901とする。通常依頼者側には、
スライドガラス上の標本全体像を撮影するマクロ撮影装
置911や標本全体像から拡大観察する顕微鏡907を
備える。観察者側にはマクロ撮影装置や顕微鏡等は通常
不要であるが、これらを観察側端末901に接続してい
てもよい。
【0021】図2はテレパソロジーシステムにおける操
作シーケンスをフローチャートで示したものである。ま
ず、顕微鏡のある依頼者側が観察者側に検査してほしい
スライドガラス上の標本の全体像(以下マクロ像と呼
ぶ)をマクロ撮影装置911を用いて撮り込む(S10
01)。その際、観察者側は依頼者側から送信されたマ
クロ像を受信できるように観察側端末901を立ち上げ
ておく(S1009)。マクロ像が顕微鏡の低倍対物に
より観察できるようであれば、マクロ撮影装置を使うま
でもなく、顕微鏡下にスライドガラスを置き、最適な顕
微鏡対物倍率で画像を撮り込んでも構わない。また、顕
微鏡下で顕微鏡対物を最低倍率に設定し、視野を考慮し
たステージ移動を行ったのち順次画像を撮り込み、これ
らの画像を貼り合わせることでマクロ像を作成すること
も可能である。
【0022】マクロ撮影装置911のビデオカメラ91
4で撮像したマクロ像は、依頼側端末905内のビデオ
キャプチャボード(図示しない)を介して、フレームメ
モリに順次記憶し、依頼側端末905のモニタ904上
に表示する。マクロ像を取り込むトリガは任意のスイッ
チ(SW)により行われ、依頼側端末905のモニタ9
04上に表示したアプリケーションソフト上に設けられ
た操作用のSWボタンをマウスクリック等のイベントで
認識したり、図示しない外部操作パネルのSWで選択す
ることで行う。依頼側端末905はマクロ像を取り込む
と観察側端末901に回線接続要求を出す(S100
2)。この回線接続要求は、回線接続装置910a、9
10bを介してISDNなどの公衆回線903経由でデ
ジタルデータを観察側端末901に転送する。観察側端
末901は回線接続要求を受信すると、接続要求処理を
行う(S1010)。この接続処理は、接続先相手を認
識し、問題なければ接続許可を接続先相手に返す。回線
接続処理が確立すると、依頼側端末905は、マクロ像
と初期設定データを観察側端末901に送信する(S1
003)。初期設定ファイルには、依頼側端末905に
接続しているハードウエア情報(顕微鏡、マクロ装置、
TVカメラ種別等)が含まれる。これらのデータを観察
側端末901が受信した後(S1011)、操作権を依
頼側端末905から観察側端末901に渡す(S100
4、S1012)。操作権とは、顕微鏡やステージの制
御や画像撮り込み指定などの操作をする権利のことを示
す。なお、この操作権の変更は、自動的に回線接続が確
立したところで行っても良いし、また端末のモニタ上に
表示したアプリケーションソフト上の操作用のボタンを
依頼者が任意のタイミングでマウスクリック等により切
り替えてもよい。図1の例では、マクロ像を依頼側端末
905が撮り込んだ後に操作権を観察側端末901に渡
している。
【0023】観察者(病理医)は、マクロ像で送られた
画像から注目したい位置を見つけるために、顕微鏡の低
倍対物で観察する(S1013、S1014)。通常、
マクロ像画像の全領域をくまなく観察するために、拡大
指定枠方法として、メッシュ撮り込み指定を選択する
(S1015)。メッシュ撮り込み指定とは、図13に
示すように標本を格子上に分割して拡大位置を指定する
ことである。図3の例ではM0乃至M8がメッシュ撮り
込み指定であり、ステージ移動精度も考慮し撮り込んだ
画像が重複するように指定している。倍率指定とメッシ
ュ撮り込み指定は、観察側端末901の任意のキーボー
ド(図示せず)に割り当ててもよい。
【0024】メッシュ撮り込み指定は、観察側端末90
1のモニタ902上で静止画像を確認しつつ、マウス操
作でメッシュ撮り込み始点指定と終点指定を行うことに
よりメッシュ指定エリアを決め、このエリアの中に拡大
指定枠を自動的に位置決定し静止画上にオーバーレイ表
示する。または、自動的に標本が存在する位置を認識
し、効率的にメッシュ撮り込み指定枠を静止画上にオー
バレイしても構わない。ここで、拡大指定枠方法選択で
メッシュを選択すると、メッシュ撮り込み指定処理が行
われるとともに(S1017)、この拡大指定枠情報を
依頼側端末905が受信すると、この情報に基づき依頼
側端末905のモニタ904に表示している静止画像
(マクロ画像)上にメッシュ撮り込み指定枠をオーバレ
イ表示する(S1018、S1005)。観察側端末9
01のモニタ902と依頼側端末905のモニタ904
上には同一の拡大指定枠を表示し、同じ画面を共有する
ことができる。
【0025】また、(S1015)の拡大指定枠方法選
択でメッシュが選択されなかった場合、(S1016)
に示すようなスポット撮り込み指定が行われる(図3中
S0参照)。観察側端末901のモニタ902上でスポ
ット撮り込み指定処理を行う(S1017)と、この拡
大指定情報を観察側端末901より依頼側端末905に
回線接続装置910aとISDN903と回線接続装置
910bを介して送信する(S1018)。依頼側端末
905は、この拡大指定枠情報を受信すると、この情報
に基づき、依頼側端末905のモニタ904の静止画像
上にスポット撮り込み指定枠をオーバーレイ表示する
(S1005)。スポット指定は、任意の位置を中心に
一箇所拡大指定するものである。スポット処理もメッシ
ュ処理と同様に観察端末901のモニタ902上で静止
画像を確認しつつ、マウス操作で拡大位置を指定する。
また、このスポット指定とメッシュ指定の拡大指定フレ
ーム枠は、図4に示すように移動可能である。図4で
は、一度設定した拡大指定フレーム枠を(S0a)から
(S0b)の位置に移動する例を示している。この拡大
枠指定位置情報は、依頼側端末905と観察側端末90
1の記録媒体に記録する。
【0026】拡大指定枠は追加することも可能であり
(S1019)、もし追加するようであればフローを戻
り、(S1013)から(S1015)までの処理を繰
り返し、その位置を決め、拡大指定率も指定変更し、さ
らに、拡大指定枠方法選択を行う。
【0027】観察者(病理医)は次に拡大したい位置と
倍率が決定し、拡大指定枠を追加する必要が無ければ
(S1019)、画像撮り込み要求を観察側端末901
から依頼側端末905に画像取り込み要求を送信する
(S1020)。
【0028】画像撮り込み要求を受信した依頼側端末9
05は顕微鏡操作として、ステージ移動、対物変更、A
F実行等を行う(S1006)。ステージ移動は、メッ
シュあるいはスポットで指定した依頼側端末905のモ
ニタ904上の位置座標をステージ座標位置に変換し、
XYステージ制御ユニット912に制御データを観察側
端末901から依頼側端末905を介して転送すること
により電動ステージ909を移動させる。同様に、対物
変更並びにAF実行は、観察側端末901から依頼側端
末905を介して顕微鏡操作ユニット913に制御デー
タを送ることにより動作を実行する。
【0029】電動ステージ909の移動および対物レン
ズの倍率を電動レボルバ908を制御して変更すると、
標本画像情報をビデオカメラ906で撮り込み、さらに
この画像情報を依頼側端末905内のビデオキャプチャ
ボードに入力し、画像を静止画にする。静止画にした画
像は、このまま記録媒体に記録しても良いが、画像情報
を転送するためにJPEG(Joint Photographic Coding
Experts Group)などの形式で画像を圧縮する。圧縮し
た画像情報は記録媒体に記録される。記録媒体に記録さ
れた画像情報は、依頼側端末905から回線接続装置9
10bに転送し、公衆回線903、回線接続装置910
aを介して観察側端末901にデータ転送する(S10
07)。
【0030】依頼側端末905から転送された画像情報
を観察端末901が受信すると(S1021)、観察側
端末901は受信した画像情報を観察側端末901のモ
ニタ902上に表示する。画像情報がJPEGなどの形
式で画像圧縮している場合には、伸張して画像表示す
る。
【0031】依頼側端末905は1枚の画像を観察側端
末901に転送し終わると、次なる画像撮り込み指定位
置が残っているかの判断を行う(S1008)。もし残
っていれば、依頼側端末905は、再び顕微鏡操作を行
い(S1006)、画像を撮り込み観察側端末901に
画像データを送信する。この作業はすべての画像指定位
置が無くなるまで行う。観察側端末901は全ての画像
を受信し終わると、観察者(病理医)は観察側端末90
1のモニタ902に表示される画像を見て遠隔観察を行
ない診断する(S1022)。このとき画像の連携とマ
ウス位置情報等を操作権のある観察側端末901から依
頼側端末905に回線接続装置910aおよび公衆回線
903、回線接続装置910bを介して送信する。画像
連携情報やマウス位置情報を受信した依頼側端末905
は、情報に基づき画像を依頼側端末905のモニタ90
4に表示し、マウス位置等の情報も連携する(S102
4)。診断を終了し観察側端末901から回線切断をす
る場合、回線切断要求を依頼側端末905に送信する
(S1025)。回線切断要求を受信した依頼側端末9
05は、回線切断処理をする(S1026)。観察側端
末901は遠隔観察の後終了の判断を行う(S102
3)。さらに、高倍に拡大し、診断を続けたい場合には
ロジックはS1013のシーケンスに戻り、倍率指定
(S1014)から再度繰り返される。
【0032】通常、遠隔診断は観察側端末901から行
うので、操作権は観察者側にあるが、この操作権を依頼
側端末905に任意に切り替えることも可能である。
【0033】図5は操作権を観察側端末901から依頼
側端末905に切り替えて前記拡大指定と画像撮り込み
を行う例のフローチャートである。
【0034】すなわち、図5において、観察側端末90
1は操作権交代要求を依頼側端末905に送信する(S
1101)。依頼側端末905はこの操作権交代要求を
受信し操作権を得る(S1106)。以下、ステップS
1107乃至S1113は図2のS1013乃至S10
19と同様である。さらに、ステップS1114乃至S
1119は図2のS1006乃至S1026と同様であ
る。
【0035】一方、観察側のステップS1102は図2
の依頼者側のステップS1005と同様である。又、図
5において、観察側のステップS1103乃至S110
5は図2のS1021乃至S1025と同様である。
【0036】以上が概略のテレパソロジーシステムのシ
ーケンス動作である。この発明では、このシーケンス動
作のうちS1017のメッシュ指定における顕微鏡操作
(S1006)と画像撮り込み(S1007)の処理に
関わり、メッシュ指定画像を最適なフォーカス位置で撮
り込むことを目的とする。
【0037】以下、この発明の動作を図6および図7を
参照して説明する。
【0038】図6はマクロ撮影後の静止画状態で、メッ
シュ指定処理(S1017)を行った時の図を示してい
る。メッシュ指定は、通常マクロ像を取り込んだ後に、
標本全領域あるいは標本部分領域を顕微鏡の低倍の対物
レンズにより観察できる範囲で格子状に分割して観察す
る時に使用する。標本全領域をくまなく観察する場合、
メッシュ指定した位置すべてにAFを実行すると全ての
画像を撮り込むまでに時間を費やしてしまう。AF箇所
を一箇所設け、そのZ位置ですべてのメッシュ指定位置
の画像データを取得する方が画像撮り込み指定から画像
撮り込み終了までの時間が短くなる。しかしながら、A
F箇所が1つの場合、すべてのメッシュ指定位置での画
像のフォーカスが合っているとは限らない。その原因と
して、ステージ面精度の問題あるいは標本の厚みによる
誤差が考えられる。ここでは、スライドガラスと顕微鏡
ステージとの取付けは平行であり、正確に固定されてい
るものと仮定している。ステージの面精度によるフォー
カスが合わないという問題を解決するためには以下のよ
うにする。メッシュ撮り込み指定位置変化に応じてステ
ージをXYに移動させるとともに、そのXY移動量に応
じてZ方向微動を行う。
【0039】Z方向微動を行うために事前にステージ移
動に伴うZの変動データを顕微鏡の対物レンズ毎に取っ
ておく。図7に示すようにスライドガラスの表面上に格
子状にラインを引いた調整用部品を用意する。格子の間
隔は、細かく任意に設定しても良いが、調整する顕微鏡
の倍率対物視野に応じた大きさにする。初めに顕微鏡の
対物レンズをデータを取得するための倍率に変更する。
次に、図7のスライドガラスを顕微鏡906の電動ステ
ージ909に載せてスライド座標上X=0、Y=0にな
るようにステージ移動させる。X=0、Y=0では、ガ
ラスの端になるので、数mm程度スライドガラスの内側
にラインが引かれているものとする。この位置でフォー
カスが合うように顕微鏡の準焦部を手作業あるいは依頼
側端末905から顕微鏡操作ユニット913を制御する
ことによりZ方向微動を行う。フォーカス位置の確認
は、ビデオカメラ906を通じて依頼側端末905内の
キャプチャボード(図示せず)経由で入力した依頼側端
末905のモニタ904上に動画表示した画像を基に行
う。フォーカス位置の調整ができると、顕微鏡のZ位置
情報を顕微鏡操作ユニット913経由で依頼側端末90
5に取り込む。このX=0、Y=0のスライド座標位置
での顕微鏡Z位置を初期値(Z0)として、依頼側端末
905内のメモリ(図示せず)にデータ格納する。
【0040】次に、X=0、Y=1のステージ座標にス
テージを移動させ、スライドガラス上のラインにフォー
カスを合わせる。
【0041】フォーカス位置の確認をした後、顕微鏡Z
位置情報を取得し、Z初期値Z0との比較を行ない、そ
の比較結果データを依頼側端末905内のメモリ(図示
せず)に記憶する。このようにしてスライドガラス上の
座標を移動させながら、フォーカスを確認し、フォーカ
スの合った位置でのZ位置をZ初期値データ(Z0)と
比較して各座標毎の比較データΔZを取得し、そのデー
タを依頼側端末905内のメモリにデータ格納する。そ
の結果を表したのが図8に示す表である。このデータは
各対物毎にデータを保持するものである。
【0042】以上のようにしてスライドガラスを顕微鏡
ステージに載せた状態でXY変動に対するZのずれデー
タを依頼側端末905のメモリ内に記憶する。この補正
データを元にXYステージ移動に伴うZ補正を行うが、
これを図9のフローチャートを用いて説明する。
【0043】まずスライドガラス上の標本全体像(マク
ロ像)を撮影し、モニタ上に表示する(S501)。マ
クロ像は、通常依頼側端末905を操作してマクロ撮影
装置911や顕微鏡907を用いて撮影するものであ
る。。この撮影したマクロ像は静止画状態のRGB各々
の輝度情報として依頼側端末905及び観察側端末90
1のメモリ内に格納する(S502)。メモリは2次元
の配列にして(例えばVGAサイズの画像の場合R(i
X,iY)に保管(iX=0〜639、iY=0〜47
9)し、後でデータを取り出しやすくする。次に、メッ
シュ撮り込み指定領域を指定する。メッシュ撮り込み指
定は、通常回線に接続した後に、観察側端末901が行
う。もちろん回線を接続していなくても依頼側端末90
5でメッシュ撮り込み指定もできるし、回線接続状態で
も依頼側端末905でもメッシュ撮り込み指定ができ
る。この領域指定は、各モニタ902、904上で確認
しながら静止画像にオーバーレイ表示する(S50
3)。メッシュ指定した例を図10に示す。マクロ静止
画像上にオーバレイ表示したメッシュ位置は、その座標
情報を依頼側端末905及び観察側端末901のメモリ
内に格納する(S504)。この座標情報は、各メッシ
ュ枠の中心を記憶すればよい。また中心座標のみなら
ず、静止画像の倍率情報と、メッシュ拡大指定の倍率情
報を各メッシュ拡大指定枠毎に依頼側端末905及び観
察側端末901のメモリ内に格納しておけば、後で再現
することもできる。
【0044】次に最初にAFを実行するメッシュ拡大指
定枠の位置をモニタ上で指定する(S505)。このA
Fを実行するメッシュ拡大指定枠の位置の指定も操作権
のある方の端末(依頼側端末905あるいは観察側端末
901)のモニタ902あるいは904上に表示されて
いるマクロ静止画像上のメッシュ枠をマウスクリックす
ることにより行う。当然、このマウスクリック情報は、
依頼側端末905と観察側端末901の両者で共有する
ものである。マクロ像上のメッシュ拡大指定枠のうちど
の枠を選択したかわかるように、拡大指定枠の線の太さ
あるいは、線の色を他のメッシュ拡大指定枠と変えるも
のとする。最初にAFを指定する位置が決定されると、
画像撮り込みを開始する。この画像撮り込みの開始は、
操作権のある端末から、図示しないアプリケーション上
の操作用のボタンあるいは、端末のキーボードの任意キ
ーを押すことによって行う。
【0045】依頼側端末905が画像撮り込み開始の指
示を認識すると、最初にAFを実行する指定がされてい
るメッシュ位置にステージ移動する(S506)。この
ステージ移動は、依頼側端末905がXYステージ制御
ユニット912に移動コマンドを送ることにより、顕微
鏡907の電動ステージ909を指定位置に移動する。
ステージ移動量は、モニタ上のメッシュ拡大指定枠位置
から実際にステージ座標系とのデータ変換により演算す
る。
【0046】最初にAF位置を実行するステージ位置に
移動停止した後、AFを実行する(S507)。AF実
行は、依頼側端末905が顕微鏡操作ユニット913に
AF実行データを送ることにより、顕微鏡907のAF
ユニット(図示せず)が動作することにより実現する。
ここで、AFを実行した後、正常に動作すれば良いので
あるが、標本が顕微鏡対物光軸の付近(画面の中心付
近)に存在しない場合、AFエラーが発生する場合があ
る。従ってAFエラーが発生するか否かをチェックする
(S508)。このAFエラーは図示しないAFユニッ
トから出力される。AFエラーが発生すると、顕微鏡操
作ユニット913から依頼側端末905にAFエラー通
知がなされる。このエラーを依頼側端末905が認識し
た場合、依頼側端末905のモニタ904上にAFエラ
ーが発生したことを示すエラー表示がされる。エラー表
示はエラーウインドウとして表示しても良い。また、依
頼側端末905を操作している依頼者に合焦位置に顕微
鏡のZステージ微動ハンドルを手作業による操作で移動
するように指示をする。これで最初のフォーカス位置が
決定される。このZ位置を依頼側端末905のメモリ内
に記憶するとともに、Z位置を記憶したXYステージ位
置座標も記憶する。ステップS508において、AFが
正常に動作した場合はZ位置とXYステージ位置座標を
操作することなく記憶する(S510)。
【0047】ステージXYZの移動が終わると、この位
置で静止画像の画像撮り込み(キャプチャ)をする(S
511)。画像撮り込みは、依頼側端末905がXYス
テージ及びAF確認を行った後に依頼側端末905に装
着しているキャプチャーボードを制御することにより、
顕微鏡907の画像をビデオカメラ906を通じて画像
撮り込みをする。画像を撮り込んだ後、任意の画像ファ
イルフォーマットで依頼側端末905のHDなどの記録
媒体(図示せず)に画像データを保存する。撮り込まれ
た画像は、回線接続装置910b、910aと公衆回線
903を通じて依頼側端末905から観察側端末901
へ転送され、モニタ902に同画像を表示される。
【0048】最初にAF実行する箇所のメッシュ拡大指
定画像を撮り込んだ後に、次のメッシュ拡大指定枠が存
在するか否かチェックする(S512)。次のメッシュ
拡大指定枠がなければ終了する。次のメッシュ拡大指定
枠が存在する場合、次の箇所にXYステージを移動させ
る(S513)。
【0049】XYステージを移動させるとともに、XY
の移動に応じてZ位置を微動させる(S514)。この
Z位置の微動は、図8の表のステージ座標とΔZのデー
タにもとづいて行う。すなわち、前回のステージ位置が
図8の表においてどの座標箇所にあたるかを確認し、そ
の時のΔZをΔZi−1とし、同様に今回のステージ位
置が図8の表においてどの座標箇所およびΔZ(Δ
)になるかを確認する。前回のΔZi−1とΔZ
の差分((ΔZi−1)−(ΔZ))がXYステージ
移動に伴うZ微動量となる。Z微動制御は、依頼側端末
905から顕微鏡操作ユニット913にZ微動量データ
を送ることにより、顕微鏡Zモータを駆動し、Z位置が
変化する。
【0050】電動ステージ909によるXY移動とZ微
動制御が終了したことを依頼側端末905が確認する
と、依頼側端末905は、AF動作を実行するべきか否
かの判断をする(S515)。ステージだけのZのずれ
だけでなく、標本の厚みによるZ誤差を吸収するため
に、任意にAFするか否か判断する。この判断処理の詳
細は図11に示すフローチャートを参照して後に説明す
る。AFを実行するべきだという判断(S516)があ
ればAFを実行する(S517)。AFを実行する必要
が無ければ(S516)、画像撮り込み処理に戻る(S
511)。またAF実行(S517)してエラーが無い
場合(S518)、そのZ位置並びにXY座標値を記憶
する処理(S510)に戻る。もしAF実行してAFエ
ラーが発生していれば(S518)、顕微鏡操作ユニッ
ト913から依頼側端末905にエラーが通知される。
このエラーを依頼側端末905が認識した場合、前回画
像を撮り込んだ位置のZ位置を依頼側端末905のメモ
リ内(図示せず)から呼出し、このZ位置データを顕微
鏡操作ユニット913に転送することにより、自動的に
最良なZ位置に復帰する。この時依頼側端末905には
エラー表示および手動でZ微動操作することを要求した
りしない。自動的に前回Z位置に移動後(S519)、
画像撮り込み処理(S511)に戻る。
【0051】次に、AF実行すべきか否かを判断するフ
ローチャートを図11を参照して説明する。
【0052】最初に前回のステージ位置と今回のステー
ジ位置がどの位の移動差があれば、AF実行するか否か
の判断基準の移動差基準データ(XYrefth)を閾
値として設定する(S601)。この移動差基準データ
(XYrefth)は、任意に初期設定で決められるよ
うにしておく。また、移動差基準データ(XYreft
h)は、対物レンズの開口数(NA:Numerical Apertur
e)から焦点深度を求め、この焦点深度をカバーできな
いXY移動に伴うZ変位のときのXY移動量をプリセッ
トデータとして持っても良い。移動差基準データ(XY
refth)は依頼側端末905内のメモリ内に格納し
ておく。次に今回のメッシュ拡大指定枠のステージXY
座標位置と前回AFを実行したステージXY座標位置の
差分を取り、その差分をXYref(S602)とす
る。前回AFを実行したステージXY座標は、依頼側端
末905のメモリ内に格納されている。XYrefとX
Yrefthとの比較を行う(S603)。前回AF実
行したステージXY座標位置との差分XYrefが移動
差基準データ(XYrefth)より小さければ、AF
実行しなくてもよい(S619)。逆に前回実行したス
テージ座標位置との差分XYrefが移動差基準データ
(XYrefth)より大きければ、さらにAFを実行
しても良いかを確認する処理へと移行する。AFを実行
しても良いかのチェックは、画像の中心付近(光軸中心
付近)に標本が存在するか否かの判断をする。これは、
光軸の中心付近に標本が存在しない場合、AFが正常動
作しない可能性があるからである。ステップS605以
降のフローチャートは、次に拡大したい座標位置の光軸
の中心付近に標本が存在するか否かを静止画像状態で判
断する処理を表している。動画状態でも、光軸中心付近
に標本が存在することは判断できるが、この発明では、
拡大画像を得る前の静止画像のメッシュ拡大指定枠を決
めた状態で予め拡大像を取り込む前に、光軸付近に標本
が存在するか否かを予測する。
【0053】まず、標本が存在するか否かを判断する基
準として、静止画像のRGBの輝度情報を用いる。この
静止画像状態でのRGB各々の輝度情報は、ステップS
502ですでに依頼側端末905のメモリ内に格納され
ている。ステップS604では、標本として認識する輝
度閾値(Gth)を決定するとともに、ステップS60
5で標本像認識チェック用カウンタをクリアする。この
標本認識用の輝度閾値は初期データとして任意のファイ
ルに格納しておき、使用するときにこのファイルからデ
ータを取り出し、依頼側端末905のメモリ内に格納す
る。次に標本像として認識するには、1画素だけでは判
断しかねるので、中心付近の画素データの範囲を決めて
前記輝度閾値(Gth)と比較する必要がある。ステッ
プS606とS607では、静止画像状態でチェックを
するXY座標値の範囲を決定している。まず、X座標の
チェックする範囲を決める。図10はスライドガラス上
の標本全体像(マクロ像)を撮り込み後、メッシュ拡大
指定枠をマクロ像静止画像の上にオーバーレイ表示して
いる状態である。図10のImageWidthとImageHeight
は、静止画像の幅、高さを示してあり、VGAサイズで
は、640X480ピクセルであり、(ImgXmax, ImgYma
x)=(639,479)となる。(1)から(18)のフレーム
は、メッシュ拡大指定枠であり、現表示倍率と次の拡大
指定倍率によりその幅(FrameWidth)、高さ(FrameHeigh
t)が決まる。
【0054】FrameWidth=ImageWidth×(現表示倍率/
次の指定倍率) FrameHeight=ImageHeight×(現表示倍率/次の指定倍
率) 図12は図10におけるメッシュ拡大指定枠のうち(1
0)の枠を拡大表示したものである。図12の(Xmin, Y
min)〜(Xmax, Ymax)は、AFを実行しても中心付近に標
本が存在するかを評価する領域である。図12の(Xic,
Yic)は、図10の画像左上を(0、0)としたときのメ
ッシュ拡大指定枠(10)の中心座標を表す。
【0055】X座標領域を決定するフローチャートを図
13に、Y座標領域を決定するフローチャートを図14
に示す。
【0056】まず、X座標領域を決定するフローチャー
トを説明する。まず、図10の全体画像から見たメッシ
ュ拡大指定枠の中心座標(Xic、Yic)を検出する
(S701)。各メッシュ拡大指定枠の中心座標は、依
頼側端末905のメモリ内(図示せず)から取り出す。
その中心座標から標本が存在するか否かのチェックをす
るため以下の式に基づきX領域の指定を行う(S70
2)。
【0057】Xmin=Xic-FrameWidth/n Xmax=Xic+FrameWidth/n nの値は初期設定において任意に変更可能である。
【0058】同様にしてY領域においても、図10の全
体画像から見たメッシュ拡大指定枠の中心座標(Xi
c、Yic)を検出し(S801)、標本が存在するか
否かのチェックをするため以下の式に基づきY領域の指
定を行う(S802)。
【0059】Ymin=Yic-FrameHeight/m Ymax=Yic+FrameHeight/m mの値は初期設定において任意に変更可能である。
【0060】以上のようにして標本が存在するか否かを
チェックする領域を決定する。標本が存在するか否か
は、各画素の輝度情報と前記ステップS604で決定し
た輝度閾値(Gth)との比較により行う。ここで各画
素の輝度情報は3種類あるが、図9のフローチャートの
例では、G情報だけで行う。もちろんRGB3つの輝度
情報を用いて各々輝度閾値Rth、Gth、Bthを持
ち、それぞれを比較し、総合的に判断してもよい。
【0061】標本が存在するか否かを判断する領域内で
の各画素のGdata(X,Y)輝度情報とステップS
604で決定した輝度閾値(Gth)との比較を行な
い、最終的にAFを実行しても良いか否かの判断する処
理のフローチャートをステップS608以降に示す。
【0062】まず、初期座標を設定する(S608)。
ここで、X、Yは変数であり、依頼者側端末905のメ
モリ(図示せず)に格納する。初期値は前述したチェッ
ク座標領域の初期座標であり、X=Xmin, Y=Yminとする。
【0063】このX、Y座標におけるG輝度情報(Gd
ata(X、Y))を依頼側端末905のメモリ(図示
せず)に格納する。初期値は前述したチェック座標領域
の初期座標であり、X=Xmin、Y=Yminとす
る。
【0064】このX、Y座標におけるG輝度情報(Gd
ata(X、Y))を依頼側端末905のメモリ(図示
せず)から取り出す(S609)。この輝度情報(Gd
ata(X、Y))と輝度閾値(Gth)との比較を行
う(S610)。
【0065】もしG輝度情報(Gdata(X、Y))
の値の方が輝度閾値Gthの値より小さければ(S61
1)標本像が存在すると判断し、ステップS605でク
リアした標本像認識チェック用カウンタをインクリメン
ト(S612)し、依頼側端末905のメモリ(図示せ
ず)に格納する。もしG輝度情報(Gdata(X,
Y))の値の方が輝度閾値(Gth)の値より大きけれ
ば(S611)標本像が存在しないと判断し、標本像認
識チェック用カウンタ(ChkCounter)は変化しない。次
に、X座標を1画素分インクリメントする(S61
3)。このときX座標がS606で決定した領域外にな
るか否かの判断をする(S614)。X座標が領域内に
入っているならばS609の輝度情報と輝度閾値の比較
を行う処理に戻る。X座標が領域外になる場合(S61
4)、X座標を初期値(X=Xmin)とし、Y座標を
1画素分インクリメントする(S615)。Y座標をイ
ンクリメントした後、そのY座標が領域外になるか否か
の判断をする(S616)。Y座標が領域外にならない
場合には、再びS609の輝度情報と輝度閾値を比較し
標本像が存在するか否かの判断する。Y座標インクリメ
ントして、そのY座標が領域外になる場合、標本像が存
在するか否かの判断をする領域すべてのチェックを終了
したことになる。次に、比較用データ(ChkCounterMin)
の値を以下の式に基づき設定する(S617)。
【0066】ChkCounterMin=((Xmax-Xmin)×(Ymax-Ymi
n))/2 上記式では、標本が存在するか否かを判断する領域の半
分とするために2で割っているが、任意の値にしても構
わない。
【0067】次に最終的中心付近に標本像が存在するか
否かを判断する(S618)。標本像認識カウンタ(Ch
kCounter)が比較用データ(ChkCounterMin)以上であれ
ばその領域に標本像が存在すると判断できる。その比較
用データ(ChkCounterMin)以上であれば、その領域に標
本像が存在すると判断できる。
【0068】標本像認識カウンタ(ChkCounter)と比較用
データ(ChkCounterMin)との比較を行ない、標本像認識
カウンタの方が大きければAF実行可能と判断し(S6
20)、小さければAF実行不可として判断する(S6
19)。
【0069】以上のようにして、標本像が画像の中心付
近に存在するか否かを判断し、静止画像状態でAF実行
可能か否か判断することができる。
【0070】次にこの発明の第2実施形態について説明
する。
【0071】実施形態1では、メッシュ拡大指定枠の中
心付近に標本像が存在するか否かをチェックし、AFを
実行しても良いかを判断していたが、図15に示すよう
に中心付近に標本像が存在しなくても中心付近以外に全
領域にわたり標本像が存在する場合がある。例えば、図
15に示すように、標本1501をスライスしたとき
に、穴1503が空いたような場合が考えられる。この
ような場合において、実施形態1の図11のフローチャ
ートの例では、AF実行不可になる(S619)。第2
実施形態では、このAF実行不可と判断した後に再度A
F実行チェックする処理が行われる。
【0072】図15のAFChkAria(a)は図11のフローチ
ャートで拡大指定枠の中心付近に標本が存在するかチェ
ックした領域である。確かに中心付近に標本は存在しな
いが、AFChkAria(b)を画像の中心(光軸中心)としてA
F実行すれば、AFエラーが発生しないはずである。
【0073】図16のフローチャートを用いてS619
でAF実行不可と認識した後のAF実行再チェックにつ
いて説明する。まず、標本像として認識する基準のため
の輝度閾値(Gth)を設定し、依頼側端末905内の
メモリに格納する(S1501)。そしてチェックをす
る座標の初期値を設定する(S1502)。(Xic,Yic)
は図10のようなマクロ像からメッシュ拡大指定枠を表
示したときの任意のメッシュ拡大指定枠の中心座標であ
る。FrameWidthとFrameHeightは、メッシュ拡大指定枠
の幅と高さである。
【0074】次に、標本像が存在するか否かを判断する
ためのチェック用カウンタをクリアする(S150
3)。次にXY座標を変化させながら、個別画素におけ
るG輝度情報(Gdata(X,Y))を取得し、その輝度情報と
S1501で決定した輝度閾値(Gth)との比較を行
う(S1504)。もし輝度閾値(Gth)より小さけ
ればチェック用カウンタをインクリメントする(S15
05)。すなわち、一般に輝度レベルは白色が一番高
い。標本1501に穴1503が空いていれば、G輝度
情報(Gdata(X,Y))は輝度閾値(Gth)よりも大きく
なる。逆に、標本が存在すれば、G輝度情報(Gdata(X,
Y))は輝度閾値(Gth)よりも小さくなる。そして、
X座標をインクリメントし次の座標を準備する(S15
06)。ステップS1507において、X座標がメッシ
ュ拡大指定枠内の領域に入っていれば、ステップS15
04の処理に戻る。逆に、ステップS1507におい
て、X座標をインクリメントした後にメッシュ拡大指定
枠になれば、Y座標をインクリメントし、かつX座標を
初期値に戻す(S1508)。Y座標がインクリメント
した後にメッシュ拡大指定枠の領域外になっていないか
をチェックする(S1509)。領域内であれば、ステ
ップS1504の処理に戻る。
【0075】すべてのXY座標をチェックし終わるとメ
ッシュ拡大指定枠内で標本が存在する画素数比率を以下
の式に基づき算出する(S1510)。
【0076】PicRate=(ChkCounter/FrameWidth×FrameH
eight)×100 PicRateが60%以下であれば、中心付近には標本が存
在しないものの、中心以外の領域で標本が存在すると判
断する(S1511)。この60%という数字は任意に
変更できるものとする。中心以外の領域で標本が存在す
ることを確認後、標本が存在する位置にステージを移動
させる(S1512)。
【0077】標本が存在する位置は、中心座標を数ピク
セル移動させながら、標本像が連続的に存在するか否か
を探すことにより判断できる。
【0078】ステージ移動することで、光軸の中心付近
に標本画像がある位置に移動し、この位置でAFを実行
する(S1513)。AFエラーが発生した場合には、
Z位置を前回のメッシュ拡大指定枠撮り込みしたZ位置
に戻す。Z移動が完了すると現Z位置とXY座標値を依
頼側端末905のメモリ内に記憶した後(S151
4)、ステージ位置を元の位置(Xic,Yic)に戻す(S1
515)。
【0079】以上のように、中心付近に標本像が無く、
AF実行ができないと判断した後でも、中心付近以外の
領域で標本が存在する領域が多いと判断する場合には、
標本像が存在する位置にステージを移動させ、この位置
でAFを実行した後、再び元のステージ位置に戻すこと
により、合焦位置の正しいメッシュ撮り込み指定画像が
取得できる。
【0080】次に、この発明の第3実施形態について説
明する。
【0081】実施形態1では、図9のフローチャートの
ステップS506において、最初にAFを実行するメッ
シュ指定枠位置をモニタ902、904上で指示する例
を示したが、実施形態3では、この最初にAFを実行す
るメッシュ指定枠位置を自動で指定する例を示す。
【0082】図17はこの発明の第3実施形態の処理を
示すフローチャートである。
【0083】マクロ像を撮影した後に静止画像上でメッ
シュ拡大指定枠を指示する。この指示が終了したとき
に、最初にAFを実行するメッシュ拡大指定枠を自動的
に決定処理する。
【0084】まず、メッシュ拡大指定枠の個数をチェッ
クする(S1601)。メッシュ拡大指定枠個別の標本
像認識画素数データを持つために標本像チェック用カウ
ンタを配列データとして持つとともに(S1602)、
配列データの中身をクリアしておく。メッシュ拡大指定
枠毎に標本像存在チェックをする(S1603)。標本
像チェックは、上述したように輝度閾値データと各画素
の輝度情報の比較により判断する。そして標本像として
認識した画素数をChkCounter(i)に記憶する。iは任意の
メッシュ拡大指定枠番号を示す(図10では、(0)〜
(19)の番号)。すべてのメッシュ拡大指定枠の標本
像チェックが終了したならば、標本像チェック用カウン
タの値が大きいものから順に並べる(S1604)。並
べた順番は、別の変数として記憶しておく。次に標本像
チェック用カウンタ値の大きいものから、順に中心付近
に標本が存在するか否かを判断する(S1605)。中
心付近に標本が存在するか否かの判断は、中心座標に対
応する、ステップS1602において記憶した配列デー
タを調べることにより行うことができる。中心付近に標
本像が存在しないと判断した場合には(S1606)、
再度S1605に戻り、次に標本像チェック用カウンタ
値の大きいメッシュ拡大指定枠を取り出し、中心付近に
標本像が存在するか否か判断する。中心付近に標本像が
存在すれば、最初にAFを実行する位置として記憶する
(S1607)。
【0085】以上のようにして、複数のメッシュ拡大指
定枠の中から最も標本像として認識できる画素数を持
ち、かつ中心付近に標本像が存在する箇所を最初にAF
する位置として自動的に認識できる。
【0086】
【発明の効果】この発明によれば、顕微鏡画像の遠隔観
察において、初期観察画像における観察領域の指定(メ
ッシュ分割)後の画像撮り込み時間を短縮かつ合焦位置
が正しい画像観察できる顕微鏡画像転送システムを提供
することができる。
【図面の簡単な説明】
【図1】この発明が適用される顕微鏡画像転送システム
の概略図。
【図2】テレパソロジーシステムの基本操作を示すフロ
ーチャート。
【図3】メッシュ撮り込み指定枠とスポット撮り込み指
定枠の説明図。
【図4】拡大指定枠の移動を説明する図。
【図5】テレパソロジーシステムの操作権が依頼側にあ
るときの基本操作を示すフローチャート。
【図6】この発明の実施形態において、マクロ撮影後の
静止画状態において、メッシュ指定処理を行ったときの
図。
【図7】この発明の実施形態において、ステージXY移
動に伴うZ補正データを取得することを説明するための
図。
【図8】この発明の実施形態において、フォーカスの合
った位置でのZ位置をZ初期値データと比較して得られ
る各座標毎の比較データΔZを示す表。
【図9】この発明の実施形態において、メッシュ画像撮
り込み処理を示すフローチャート。
【図10】この発明の実施形態において、標本像位置に
メッシュ分割位置を設定することを表す図。
【図11】この発明の実施形態において、オートフォー
カス動作実行可否のチェック処理を示すフローチャー
ト。
【図12】この発明の実施形態において、メッシュ分割
画面からAF実行を判断する領域を説明する図。
【図13】この発明の実施形態において、オートフォー
カス実行判断をするX領域を決定する処理を示すフロー
チャート。
【図14】この発明の実施形態において、オートフォー
カス実行判断をするY領域を決定する処理を示すフロー
チャート。
【図15】この発明の第2実施形態において、オートフ
ォーカスチェックエリアの変更を説明する図。
【図16】この発明の第2実施形態において、オートフ
ォーカスを再チェックするフローチャート。
【図17】この発明の第3実施形態において、オートフ
ォーカスを実行する箇所を説明する図。
【符号の説明】
901…観察側端末 902…モニタ 903…ISDN 904…モニタ 905…依頼側端末 906…ビデオカメラ 907…顕微鏡 908…電動レボルバ 909…電動ステージ 910a、910b…回線接続装置 911…マクロ撮影装置 912…XYステージ制御ユニット 913…顕微鏡操作ユニット

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】静止画像上で所望の倍率で拡大画像撮り込
    みが指定可能な顕微鏡画像転送システムにおいて、 静止画像上で拡大指定枠領域の輝度情報を記憶する輝度
    情報記憶手段と、 顕微鏡XYステージの変位に伴うZ方向の位置を補正す
    るZ方向位置補正手段と、 静止画像上で拡大画像撮り込み前に、オートフォーカス
    実行可能か否かを判断するオートフォーカス実行可否判
    断手段と、 前記オートフォーカス実行可否判断手段によりオートフ
    ォーカス実行可能と判断したとき、顕微鏡XYステージ
    のXY位置と顕微鏡XYステージのZ位置を記憶するX
    YZ位置記憶手段と、 前記オートフォーカス実行可否判断手段によりオートフ
    ォーカス実行不可と判断したとき、前記XYZ位置記憶
    手段に記憶された前回の顕微鏡XYステージのZ位置を
    復元するZ位置復元手段と、を有することを特徴とする
    顕微鏡画像転送システム。
  2. 【請求項2】オートフォーカス可能な位置に顕微鏡XY
    ステージをXYに移動する手段と、 前記顕微鏡XYステージのXY移動後にオートフォーカ
    スを実行制御する手段と、 オートフォーカス実行後に前記XYステージの位置を移
    動前の位置に復元する手段と、 前の顕微鏡XYステージの位置を移動前の位置に復元後
    に画像撮り込みを制御する手段と、をさらに有すること
    を特徴とする請求項1記載の顕微鏡画像転送システム。
  3. 【請求項3】複数の各画像撮り込み指定枠から最初にオ
    ートフォーカスを実行する箇所を自動的に選択する手段
    をさらに有することを特徴とする請求項1記載の顕微鏡
    画像転送システム。
JP27129499A 1999-09-24 1999-09-24 顕微鏡画像転送システム Expired - Fee Related JP4434376B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP27129499A JP4434376B2 (ja) 1999-09-24 1999-09-24 顕微鏡画像転送システム
PCT/JP2000/006475 WO2001022147A1 (fr) 1999-09-24 2000-09-21 Systeme de transfert d'image a microscope
KR1020017006095A KR20010092740A (ko) 1999-09-24 2000-09-21 현미경화상전송시스템
CNB008019886A CN100442099C (zh) 1999-09-24 2000-09-21 显微镜图象传送系统和显微镜图象传送方法
TW089119679A TW513582B (en) 1999-09-24 2000-09-22 Microscope image transfer system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27129499A JP4434376B2 (ja) 1999-09-24 1999-09-24 顕微鏡画像転送システム

Publications (2)

Publication Number Publication Date
JP2001091846A true JP2001091846A (ja) 2001-04-06
JP4434376B2 JP4434376B2 (ja) 2010-03-17

Family

ID=17498053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27129499A Expired - Fee Related JP4434376B2 (ja) 1999-09-24 1999-09-24 顕微鏡画像転送システム

Country Status (5)

Country Link
JP (1) JP4434376B2 (ja)
KR (1) KR20010092740A (ja)
CN (1) CN100442099C (ja)
TW (1) TW513582B (ja)
WO (1) WO2001022147A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191959A (ja) * 2002-11-29 2004-07-08 Olympus Corp 顕微鏡画像撮影装置
JP2005037902A (ja) * 2003-07-01 2005-02-10 Olympus Corp 顕微鏡システム、顕微鏡画像表示システム、観察体画像表示方法、及びプログラム
JP2008046327A (ja) * 2006-08-15 2008-02-28 Yokogawa Electric Corp 合焦補正方法
JP2009198525A (ja) * 2008-02-19 2009-09-03 Yokogawa Electric Corp 創薬スクリーニング装置
JP2011095500A (ja) * 2009-10-29 2011-05-12 Olympus Corp 顕微鏡装置および顕微鏡観察方法
JP2012003197A (ja) * 2010-06-21 2012-01-05 Olympus Corp 顕微鏡装置および画像取得方法
JP2012013996A (ja) * 2010-07-01 2012-01-19 Sony Corp 情報処理装置、ステージうねり補正方法、プログラム
JP2012523583A (ja) * 2009-04-13 2012-10-04 ゼネラル・エレクトリック・カンパニイ 改良型予測オートフォーカスシステム及びその方法
JP2013246187A (ja) * 2012-05-23 2013-12-09 Olympus Corp 顕微鏡システム、標本画像生成方法及びプログラム
JP2020535477A (ja) * 2017-09-29 2020-12-03 ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. リアルタイムの自動焦点調節走査

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101304375B1 (ko) * 2011-10-19 2013-09-11 (주)코셈 다중 사용자를 위한 전자현미경의 제어방법
US9664016B2 (en) 2013-03-15 2017-05-30 Chevron U.S.A. Inc. Acoustic artificial lift system for gas production well deliquification
CN113472984B (zh) * 2021-06-28 2023-10-20 平湖莱顿光学仪器制造有限公司 图像获取方法、装置、系统、存储介质和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63167313A (ja) * 1986-12-27 1988-07-11 Hitachi Ltd 自動焦点制御方法
JP2893061B2 (ja) * 1990-07-10 1999-05-17 オムロン株式会社 顕微鏡の自動焦点調整装置
JP2989921B2 (ja) * 1991-02-21 1999-12-13 オリンパス光学工業株式会社 顕微鏡
JP3078083B2 (ja) * 1992-02-19 2000-08-21 オリンパス光学工業株式会社 自動合焦装置
JP3325064B2 (ja) * 1993-01-22 2002-09-17 オリンパス光学工業株式会社 顕微鏡遠隔観察システムとその制御方法
JP3631304B2 (ja) * 1995-10-24 2005-03-23 オリンパス株式会社 顕微鏡の自動焦点整合装置
JPH09304703A (ja) * 1996-05-16 1997-11-28 Olympus Optical Co Ltd フォーカシング装置
JP3863993B2 (ja) * 1998-03-18 2006-12-27 オリンパス株式会社 顕微鏡
JPH11271623A (ja) * 1998-03-19 1999-10-08 Olympus Optical Co Ltd 顕微鏡用オートフォーカス装置
JP2000352661A (ja) * 1999-06-14 2000-12-19 Olympus Optical Co Ltd 合焦装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4544850B2 (ja) * 2002-11-29 2010-09-15 オリンパス株式会社 顕微鏡画像撮影装置
JP2004191959A (ja) * 2002-11-29 2004-07-08 Olympus Corp 顕微鏡画像撮影装置
JP2005037902A (ja) * 2003-07-01 2005-02-10 Olympus Corp 顕微鏡システム、顕微鏡画像表示システム、観察体画像表示方法、及びプログラム
JP2008046327A (ja) * 2006-08-15 2008-02-28 Yokogawa Electric Corp 合焦補正方法
US8878923B2 (en) 2007-08-23 2014-11-04 General Electric Company System and method for enhanced predictive autofocusing
JP2009198525A (ja) * 2008-02-19 2009-09-03 Yokogawa Electric Corp 創薬スクリーニング装置
JP2012523583A (ja) * 2009-04-13 2012-10-04 ゼネラル・エレクトリック・カンパニイ 改良型予測オートフォーカスシステム及びその方法
US8730315B2 (en) 2009-10-29 2014-05-20 Olympus Corporation Microscope apparatus and microscope observation method
JP2011095500A (ja) * 2009-10-29 2011-05-12 Olympus Corp 顕微鏡装置および顕微鏡観察方法
JP2012003197A (ja) * 2010-06-21 2012-01-05 Olympus Corp 顕微鏡装置および画像取得方法
US8890947B2 (en) 2010-06-21 2014-11-18 Olympus Corporation Microscope apparatus and method for image acquisition of specimen slides having scattered specimens
JP2012013996A (ja) * 2010-07-01 2012-01-19 Sony Corp 情報処理装置、ステージうねり補正方法、プログラム
JP2013246187A (ja) * 2012-05-23 2013-12-09 Olympus Corp 顕微鏡システム、標本画像生成方法及びプログラム
JP2020535477A (ja) * 2017-09-29 2020-12-03 ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. リアルタイムの自動焦点調節走査

Also Published As

Publication number Publication date
KR20010092740A (ko) 2001-10-26
WO2001022147A1 (fr) 2001-03-29
CN100442099C (zh) 2008-12-10
JP4434376B2 (ja) 2010-03-17
TW513582B (en) 2002-12-11
CN1321257A (zh) 2001-11-07

Similar Documents

Publication Publication Date Title
JP3557246B2 (ja) 顕微鏡画像遠隔観察装置および顕微鏡画像の遠隔観察方法
JP4937457B2 (ja) 顕微鏡制御装置、顕微鏡制御システム、顕微鏡の制御方法、プログラム、及び記録媒体
KR101760142B1 (ko) 카메라 장치, 카메라 시스템, 제어 장치 및 컴퓨터로 판독가능한 기록 매체
JP4434376B2 (ja) 顕微鏡画像転送システム
TWI461064B (zh) 相機裝置、相機系統、控制裝置及程式
JP2008042315A (ja) カメラ制御装置およびカメラ制御システム
JP2019198043A (ja) 制御装置、制御方法及びプログラム
JP2000295462A (ja) 顕微鏡画像伝送システム
JP2006340091A (ja) カメラサーバ、ビューワ、画像表示システム及び画像配信方法
US20140063072A1 (en) Information processing apparatus, information processing method, and information processing program
JP3448847B2 (ja) 顕微鏡静止画像観察システム
JP3325064B2 (ja) 顕微鏡遠隔観察システムとその制御方法
CN107295247B (zh) 图像记录装置及其控制方法
JP4887167B2 (ja) 画像表示装置、画像表示プログラム及び撮影装置
JP2004282163A (ja) カメラ、監視画像生成方法、プログラム、監視システム
JP4925070B2 (ja) 3次元撮影装置および方法並びにプログラム
JPH06250097A (ja) 顕微鏡遠隔観察システム
JP3432851B2 (ja) 顕微鏡遠隔観察システム
JP2007166447A (ja) 撮像装置、ズーム表示方法、およびプログラム
JPH0651208A (ja) 画像遠隔観察システム
JP2008236785A (ja) 画像提供装置、画像提供方法、および画像提供システム
JPH11234658A (ja) カメラ制御装置
JP2006033160A (ja) 撮像システム
JP2006234993A (ja) カメラ及びプログラム
JP4211377B2 (ja) 画像信号処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140108

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees