JP2000295462A - 顕微鏡画像伝送システム - Google Patents
顕微鏡画像伝送システムInfo
- Publication number
- JP2000295462A JP2000295462A JP11271292A JP27129299A JP2000295462A JP 2000295462 A JP2000295462 A JP 2000295462A JP 11271292 A JP11271292 A JP 11271292A JP 27129299 A JP27129299 A JP 27129299A JP 2000295462 A JP2000295462 A JP 2000295462A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sample image
- block
- sample
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Microscoopes, Condenser (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
における観察領域のメッシュ分割に係る指定を、簡単な
操作により、効率的且つ正確に行うことができる顕微鏡
画像伝送システムを提供することにある。 【解決手段】本発明は、標本像のうち高倍で観察する事
を所望とする領域をブロック単位で指定する顕微鏡画像
伝送システムであって、標本を撮像して上記標本像を得
るビデオカメラ6と、この撮像された標本像を含む静止
画像を記録し、上記静止画像より標本像の位置を検出
し、当該標本像の存在する領域のみを所定単位のブロッ
クで分割し、当該ブロックを指標するラインを上記モニ
タ2、4に上記静止画像に重ねて表示するよう制御する
パソコン1,5を具備する。
Description
係る顕微鏡画像を遠隔で観察するためのシステムに係
り、特に、上記標本のうち拡大を所望とする領域を所定
のブロックで指定し、当該ブロックについて更なる拡大
観察を可能ならしめる顕微鏡画像伝送システムに関する
ものである。
標本をビデオカメラ等で撮影し、パーソナルコンピュー
タ(以下、パソコンと称する)の画像キャプチャーボー
ドで取り込み、当該画像をディジタル化し、例えばIS
DN等の公衆回線を介して遠隔地に配置されたパソコン
に転送し、当該パソコンのモニタに画像を表示する顕微
鏡画像伝送システムに関する種々の技術が開発されてい
る。かかる顕微鏡画像伝送システムは、例えば病理医の
病理診断等に利用されており、遠隔の病理医による病理
診断に伴う顕微鏡操作や倍率変更、ステージ移動も可能
となっている。
行例を説明する。
は、送信端末パソコン(依頼側)と受信端末パソコン
(観察側)とをISDN回線を介して接続し、次の撮影
位置と倍率に係る倍率変更位置指定を遠隔(観察側)で
行い、この指定された撮影位置の顕微鏡ステージの絶対
座標の計算を行い、この計算結果に基づいてステージ位
置制御を行った後、観察を所望とする画像を取り込むこ
とを特徴とする技術が開示されている。
理医がプレパラート全体像を肉眼観察して大まかな観察
方針を立て、続いて低倍率で顕微鏡観察を行い、初期診
断を行ったり、更なる高倍で詳細観察を行うものである
が、上記システムでは、このような一連の診断手順を遠
隔(観察側)でも実現可能としたものである。
は、低倍で顕微鏡観察を行うときに標本像を所定の矩形
領域でメッシュ分割し、当該分割された領域のうち所望
とする領域を選択すれば、その選択領域について自動的
に画像取り込みすることを特徴とするシステムが開示さ
れている。
は、標本像を、設定された所定の閾値をもって2値化
し、メッシュ分割した領域のうち不要なブロックを削除
することを特徴とする技術が開示されている。
た特開平6−222281号公報により開示された技術
では、標本像をメッシュ分割し、この分割された各部分
について画像取り込みするか否かを確認することができ
る。しかし、その反面、作業者によるメッシュ分割を所
望とする領域の始点及び終点の指定といった作業と、メ
ッシュ分割された後においては不要な部分を削除する作
業とを伴い、操作が煩雑であるといった問題が生じてい
た。特に、術中診断においては、無駄な時間がかからな
いことが好ましく、その改善が嘱望されていた。
報により開示された技術では、メッシュ取り込み位置の
始点、終点を指定するだけで、不要な個所を閾値設定に
より自動的に削除することができる。しかし、ブロック
指定は固定座標(x,y)によるため、最適なブロック
指定ができないといった問題があった。
確なメッシュ分割指定ができない可能性があった。即
ち、マクロ像の場合、取り込むことのできる範囲が大き
いため、プレパラートの端を取り込み、プレパラートを
押さえるステージクレンメルとプレパラート間の空間さ
えも取り込むことがある。また、マクロ像から低倍のメ
ッシュ分割指定をする場合、不要な画像部分が発生する
可能性が高く、これら不要な部分を標本像として認識す
ると、メッシュ分割された結果に誤差を生じる為、その
解決が求められていた。
で、その目的とするところは、顕微鏡画像の遠隔観察に
おいて、初期観察画像における観察領域のメッシュ分割
に係る指定を、簡単な操作により、効率的且つ正確に行
うことができる顕微鏡画像伝送システムを提供すること
にある。
に、本発明の第1の態様では、標本像のうち高倍で観察
する事を所望とする領域をブロック単位で指定する顕微
鏡画像伝送システムにおいて、標本を撮像して上記標本
像を得る撮像手段と、上記撮像手段により撮像された標
本像を含む静止画像を記録する記録手段と、上記記録手
段に記録された静止画像を表示する表示手段と、上記標
本像の位置を抽出し、それを基に当該標本像の存在する
領域のみを所定単位のブロックで分割し、当該ブロック
を示す指標を上記静止画像に重ねて上記表示手段に表示
させる機能を備えた制御手段と、を具備することを特徴
とする顕微鏡画像伝送システムが提供される。
て、上記標本像の位置を抽出するために上記制御手段
は、上記静止画像の輝度情報を抽出し、上記標本像の背
景位置に係る輝度情報に基づいて最大輝度レベルを設定
し、上記標本像の不要なデータ位置に係る輝度情報に基
づいて最小輝度レベルを設定する機能と、上記最大輝度
レベル及び最小輝度レベルに基づいて、上記輝度情報を
変換する変換機能と、変換された上記輝度情報に基づい
て標本像の背景位置、不要なデータ位置、標本像の位置
を判断する機能と、を備えていることを特徴とする顕微
鏡画像伝送システムが提供される。
て、上記標本像の位置を抽出するために上記制御手段
は、上記標本像の色情報を抽出し、上記色情報が最大値
に近くなる位置を標本像の背景位置と認識し、上記色情
報が最小値に近くなる位置を標本像の不要なデータ位置
と認識し、上記色情報が所定の閾値以上となる位置を標
本像の位置と認識する機能を備えていることを特徴とす
る顕微鏡画像伝送システムが提供される。
て、上記制御手段は、さらに、上記静止画像に初期ブロ
ック位置を設定し、当該初期ブロック位置を始点として
第1の方向に順次ブロックを設定していき、ブロック位
置が最大座標を越えた場合には、第2の方向にブロック
の幅だけシフトさせて、更なるブロックを第1の方向に
順次設定し、上記表示手段に当該ブロックに係る指標を
表示させる機能を備えていることを特徴とする顕微鏡画
像伝送システムが提供される。
て、上記標本像の位置を抽出するために上記制御手段
は、上記標本像の色情報を抽出し、上記標本像の同位置
での色情報の差を求める機能と、上記色情報の差が最大
になる位置を求める機能と、上記色情報の差が最大とな
る値に基づき所定の閾値を設定する機能と、上記色情報
の差を上記閾値で区別し、閾値以上又は閾値以下となる
位置を上記標本像の位置と認識する機能と、を備えてい
ることを特徴とする顕微鏡画像伝送システムが提供され
る。
て、上記所定の閾値を設定する機能は、赤と緑の輝度差
の最大値を検出する機能と、青と緑の輝度差の最大値を
検出する機能と、上記輝度差の最大値を任意の数値で商
をとり、当該値を閾値とする機能と、を更に有すること
を特徴とする顕微鏡画像伝送システムが提供される。
作用が奏される。
により、標本像の位置を抽出し、当該標本像の存在する
領域のみが所定単位のブロックで分割され、当該ブロッ
クを示す指標を上記静止画像に重ねて上記表示手段に表
示させる。
標本像の位置を抽出するために制御手段は、静止画像の
輝度情報を抽出し、標本像の背景位置に係る輝度情報に
基づいて最大輝度レベルと、標本像の不要なデータ位置
に係る輝度情報に基づいて最小輝度レベルとを設定した
後、最大輝度レベル及び最小輝度レベルに基づいて、輝
度情報を変換し、変換された輝度情報に基づいて標本像
の背景位置、不要なデータ位置、標本像の位置を判断す
る。
標本像の位置を抽出するために制御手段は、標本像の色
情報を抽出して、色情報が最大値に近くなる位置を標本
像の背景位置と認識し、色情報が最小値に近くなる位置
を標本像の不要なデータ位置と認識し、色情報がある閾
値以上となる位置を標本像の位置と認識する。
に、静止画像に、初期ブロック位置が設定され、当該初
期ブロック位置を始点として第1の方向に順次ブロック
が設定され、ブロック位置が最大座標を越えた場合に
は、第2の方向にブロックの幅だけシフトさせて更なる
ブロックが第1の方向に順次設定され、表示手段に当該
ブロックに係る指標を表示させる。
て、上記制御手段により、上記標本像の色情報が抽出さ
れ、上記標本像の同位置での色情報の差が求められ、上
記色情報の差が最大になる位置が求められ、上記色情報
の差が最大となる値に基づき所定の閾値が設定され、上
記色情報の差が上記閾値で区別され、閾値以上又は閾値
以下となる位置を上記標本像の位置と認識される。
て、上記所定の閾値を設定する際に、赤と緑の輝度差の
最大値が検出され、青と緑の輝度差の最大値が検出さ
れ、上記輝度差の最大値を任意の数値で商をとり、当該
値が閾値とされる。
実施の形態について説明する。
の概略図である。
送システムは、観察側のパソコン1と依頼側のパソコン
5とが、不図示の回線接続装置及び公衆回線(例えば、
ISDN)3を介して通信自在に接続されている。さら
に、各パソコン1,5は、観察像を表示するための表示
機能を備えたモニタ2,4を備えている。
されている。この顕微鏡7は、電動ステージ9と電動レ
ボルバ8、ビデオカメラ6を備えている。かかる顕微鏡
7は、これらの他、不図示のオートフォーカスユニッ
ト、調光機構、電動絞り機構等を備えることもできる事
は勿論である。尚、この例では、電動機能を備えている
顕微鏡を採用しているが、これに限定されることなく、
少なくとも電動ステージさえ備えている顕微鏡であれ
ば、本発明を適用することができる。
(不図示)機能を有しており、更には上記ビデオカメラ
6の画像出力を受ける端子をはじめとする各種端子を備
えている。また、上記パソコン1,5は、顕微鏡7など
から出力された画像情報等を記憶するための記憶部を有
しているが、その周辺機器としてMO等の記録装置を付
属しても良いことは勿論である。
ドフリー通話器を接続することもできる。このハンドフ
リー通話器によれば、受話器を持つことなく、パソコン
操作等を行いながらの会話を実現する。さらに、上記例
では、顕微鏡7のみをパソコン5に接続する構成とした
が、ビデオセレクタなどを介してマクロ撮影装置を更に
パソコン5に接続することもできる。
た機能ブロック図である。
は、顕微鏡7と、この顕微鏡7に対して各種の制御信号
を出力したり、顕微鏡7に取り付けられた撮像部21か
らのビデオ信号を受信して後述する処理を行うパソコン
5からなる。
替え部22、ステージ移動部23、オートフォーカス部
24、オートアイリス部25からなる。但し、上記オー
トフォーカス部24とオートアイリス部25は省略可能
である。
2と内部処理部13、ユーザーインターフェース部14
からなる。上記顕微鏡制御部12は、フレームメモリ部
26と倍率制御部27、ステージ制御部28、フォーカ
ス制御部29、アイリス制御部30からなる。上記内部
処理部13は、外部記憶部31と標本領域認識部32、
ブロック分割部33、倍率情報とブロックの大きさとの
相関関係情報記憶部34からなる。上記ユーザーインタ
ーフェース部14は、表示部35と倍率指定部36、ブ
ロック追加・削除・移動指定部37からなる。
たが、観察側のパソコン1の制御系も顕微鏡制御部12
を除いている点以外、上記パソコン5の制御系と略同様
の構成であるため、説明は省略する。
上述した構成の本発明の顕微鏡画像伝送システムの操作
シーケンスを詳細に説明する。
による検査を所望とする標本像を、マクロ像として取り
込む(ステップS1)。ここで、上記マクロ像とは、不
図示のマクロ撮影装置により取り込んだ標本像、或いは
顕微鏡7の最低倍率乃至同等の倍率で取り込んだ標本像
である。
は、依頼側のパソコン5内の不図示のビデオキャプチャ
ボードを介してフレームメモリ部26に順次データとし
て送られ、表示部35(モニタ4)の画面上に表示され
る。上記マクロ像の取り込みは、任意のスイッチ操作に
同期して開始される。即ち、マクロ像の取り込みは、依
頼側の表示部35(モニタ4)上にアプリケーションソ
フトウェアに基づいて表示された操作SWボタンをマウ
スでクリックすること、或いは不図示の外部操作パネル
スイッチで選択することにより開始されることとなる。
込むと、依頼側のパソコン5は、観察側のパソコン1に
対して回線接続要求を行う(ステップS2)。この回線
接続要求は、不図示の回線接続装置、ISDN等の公衆
回線3を介して、観察側のパソコン1にディジタルデー
タを伝送することによって行われる。この回線接続要求
では、回線接続要求コマンド、初期データ、マクロ像情
報等が送信される。
マクロ像情報等を観察側のパソコン1が受信すると(ス
テップS3)。顕微鏡7の操作権が観察側に変更され
る。尚、かかる顕微鏡7の操作権の変更については、回
線接続が確立したタイミングで自動的に行っても良い。
また、表示部35たるモニタ2の画面上でアプリケーシ
ョンソフトウェアに基づいて表示される操作ボタンを観
察側の操作者(病理医)がマウスでクリックするタイミ
ングで切り換えてもよいことは勿論である。
指定する(ステップS4)。この倍率指定は、観察側の
パソコン1の表示部35たるモニタ2の画面上にアプリ
ケーションソフトウェアに基づいて表示される操作ボタ
ンをマウスでクリックする事で、又は観察側のパソコン
1の不図示の操作部たるキーボードに予め割り当てられ
た所定キーを操作する事で、行うことができる。こうし
て指定された倍率情報は、顕微鏡7のある依頼側に適宜
送信される。
る部分をメッシュ指定するかスポット指定するかを選択
する(ステップS5)。ここで、上記「メッシュ指定」
とは、マクロ像を格子状(以下、ブロックと称する)に
分割して拡大位置を指定するものである。一方、「スポ
ット指定」とは、任意の位置を中心に1箇所拡大位置を
指定するものである。この「メッシュ指定」或いは「ス
ポット指定」の選択に基づいて、観察側の表示部35た
るモニタ2上に表示されている標本像に、ラインオーバ
ーレイを行うので、観察者(病理医)は容易に位置の確
認ができることとなる。
指定、或いはスポット指定に伴って、その位置情報を依
頼側に随時データ通信することとしているので、依頼側
の表示部35(モニタ4)でも観察側と同じ画面を共有
することができる。
択された場合にはメッシュ処理が行われ(ステップS
6)、スポット指定が選択された場合にはスポット処理
が行われる(ステップS7)。これらのうち、メッシュ
処理で効率化、高精度化を図った点が本発明の特徴の一
つである。当該メッシュ処理については、各種実施の形
態を用いて後に詳述する。
基づいて指定された位置(領域)について、指定倍率で
画像取り込み要求を依頼側のパソコン5に対して行う
(ステップS8)。尚、上記指定された位置情報は、依
頼側のパソコン5と観察側のパソコン1の内部の記録媒
体に記録される。
像取り込み要求を依頼側のパソコン5が受信すると、依
頼側のパソコン5は顕微鏡7の操作を行い、観察側のパ
ソコン1からの要求に見合った画像を取り込む(ステッ
プS9)。
はスポットで指定された位置をステージ座標位置に変換
し、ステージ駆動部23(電動ステージ9)を駆動して
標本を移動し、指定倍率に応じて倍率切り替え部22
(電動レボルバ8)を変換する。その後、標本画像情報
を撮像部21で取り込む。そして、上記取り込んだ画像
情報を、依頼側のパソコン5内のビデオキャプチャボー
ドに取り込み、画像を静止画に変換する。この静止画に
した画像は、このまま記録媒体に記録しても良いが、本
発明では、画像情報転送の便宜を図るためにJPEG形
式等で画像圧縮した後に記憶することとしている。こう
して記録媒体に記録した画像情報は、依頼側のパソコン
5から不図示の回線接続装置、公衆回線3を介して観察
側のパソコン1にデータ転送される(ステップS1
0)。
像情報を観察側のパソコン1が受信すると(ステップS
11)、観察側のパソコン1は受信した画像情報を観察
側の表示部35たるモニタ2の画面上に表示する。尚、
前述のように画像情報がJPEG方式等で画像圧縮され
ている場合には表示に際して所定の伸張処理を伴う。こ
うして全ての画像が転送し終わると、観察側では、遠隔
観察を行い診断をする(ステップS12)。このとき、
画像の連携とマウス位置情報等を操作権のある観察側の
パソコン1から依頼側のパソコン5に回線接続装置及び
公衆回線3を通じて転送する。上記画像連携情報やマウ
ス位置情報を受信した依頼側のパソコン5は、これらの
情報に基づき、画像を依頼側の表示部35(モニタ4)
に表示し、マウス位置等の情報も連携する。尚、通常、
遠隔診断は、観察側のパソコン1から行うので、操作権
は観察側にあるが、この操作権を依頼側のパソコン5に
して任意に切り替えることもできる。
終了するか否かの判断を行う(ステップS14,S1
5)。ここで、対物レンズを更に高倍に拡大し、診断を
続けることを所望とする場合には、上記ステップ4に戻
り上記一連の処理を繰り返し、所望としない場合には全
ての処理を終了させる。また、観察側からの終了要求が
依頼側へない場合、上記ステップS9に戻り、待ち状態
となる。
ップS6のメッシュ処理の改善を目的としている。即
ち、マクロ像のデータ受信後のメッシュ分割指定を容易
且つ正確に実現することに着目している。以下、かかる
点に鑑みてなされた第1乃至第7の実施の形態を詳細に
説明する。
に係る顕微鏡画像伝送システムによる標本像位置の画像
認識に関する一連の処理を説明する。
識は、後述する第2乃至第6の実施の形態においても採
用される技術である。
明で撮像した場合、図4(a)に示されるような画像が
得られる。この場合、背景部分51は白くなり、標本像
52は染色しているので色を帯びており、ノイズ部分5
3は通常黒に近い色になる。ノイズ部分53は、例えば
マクロ像で撮像したときに発生しやすく、プレパラート
とこれを固定するクレンメルの間のステージ部分を撮影
した場合に生じる。また、その他の要因として光学系に
付着したゴミも静止画像のノイズ部分53として認識さ
れる。本実施の形態では、標本の輝度情報を基に標本像
の位置の画像認識を行うようにしており、抽出したこの
ような画像の輝度情報は、メモリ等の記録媒体上に格納
される。該記録媒体上には、例えばVGA(640×4
80)の画像を撮像している場合、(640,480)
の2次元の配列にした画像の輝度情報が格納される。画
像情報はR,G,Bの3つの情報に分けられ、R(64
0,480)、G(640,480)、B(640,4
80)として、各ピクセル情報を格納する。これらのう
ち、輝度情報として使用するのは、比較的形状が認識し
易いG(640,480)の情報が好ましい。
に2次元に配列して記録媒体内に格納する場合、背景部
分51はR,G,B共にピクセル情報がFF(255)
に近くなり、ノイズ部分53はR,G,B共にある閾値
以下(0に近く)なり、標本像52の存在する個所は、
所定範囲内に収まるデータとなる。
いて、任意のY座標(Yi)の輝度情報を抽出すると、
図4(b)に示されるようになる。この特性を基に、標
本像上限輝度レベル55と標本像下限輝度レベル56を
設定する。
度を認識することで設定できる。
作者(観察側或いは依頼側)は、背景部分51をマウス
でクリックして指示し、マウスポインタの位置に対応す
る画像の輝度情報を上記記録媒体上から読み出し、これ
を背景の輝度レベルとし、この値より若干低めの値を標
本像上限輝度レベル55に設定する。或いは、標本像を
記録媒体上に格納するときにR,G,B共にFF(25
5)に近い値を連続的に繰り返すブロックを検出し、当
該ブロックを背景として自動認識し、当該ブロックのピ
クセル情報を平均化したデータを背景の輝度レベルと
し、この値より若干低めの値を標本像上限輝度レベル5
5として設定してもよいことは勿論である。
も、標本像上限輝度レベル55と同様に、操作者がマウ
スでノイズ部分53をクリックして指示し、当該マウス
位置に対応する画像の輝度情報を上記記録媒体より抽出
し、これをノイズレベルとし、この値よりも若干高めの
値を標本下限輝度レベル56に設定する。尚、上限、下
限値共に操作者が任意に変更することが可能である。
ベル55と標本像下限輝度レベル56に入らないものに
関しては、全て輝度レベルをFF(255)とする。こ
のデータ変換をした結果は、図4(c)に示される通り
となり、標本像のある箇所のみが輝度レベル0となる。
次いで、変換されたデータを基に標本像を表示し直すと
図4(d)に示されるようになり、標本像の箇所のみ黒
く表示される。変換後の輝度情報は2次元の配列データ
として記録媒体に再入力され、標本があるピクセルのみ
輝度レベルが0になり、それ以外は輝度レベルFF(2
55)の値になる。 本発明の第1の実施の形態では、
上記した標本像の上限・下限輝度情報で標本像の範囲検
出を行うと共に、先に2次元の配列データとして記録媒
体に格納した輝度情報を参照しつつ所定のメッシュ指定
を実行する。
示例を参照しつつ、第1の実施の形態によるメッシュデ
ータ作成の過程を説明する。
2次元に配列された輝度情報に基づいて、標本像の存在
する最小座標(Xmin,Ymin)と最大座標(Xmax,Ym
ax)を自動検出する(ステップS21)。
高さを演算する(ステップS22)。
ウェアに基づいて表示されるボタンSWをマウスクリッ
クにより確定したり、パソコンのキーボード等のファン
クションキーに倍率を割り当てて指定することができ
る。上記指定ブロックの幅、高さの演算に関して、ここ
では、現在の対物レンズの倍率を基準にした倍率の比率
でブロックサイズを決める。即ち、現在表示の標本像の
倍率が2倍で次の指定倍率を4倍にする場合には、指定
ブロックの幅、高さ共に640×480表示されている
ブロックのの半分の大きさ(320×240)となる。
定されると、図6(b)に示されるようにメッシュ指定
の初期位置を決定する。即ち、前述の最小座標値を指定
ブロックの左上に設定し、ブロック63を作成する(ス
テップS23)。このブロック63の位置は、初期位置
として記録媒体に記憶される。尚、中心位置を記憶して
も左上座標を記憶してもよい。
に示されるように次のメッシュ位置を検出する(ステッ
プS24)。即ち、X座標を固定にし、Yの移動初期位
置を前記記憶したブロックの高さを考慮した位置とし、
Y座標方向に指定ブロックを移動させ、標本像が存在す
る箇所を検出する。
箇所の標本存在箇所を認識した場合、Y方向移動を止
め、この位置を次のメッシュ位置64とし、その座標を
記録媒体に記憶する(ステップS25)。さらに、Y方
向にブロックを移動させ、次なるメッシュ位置を検出す
る(ステップS26)。
ロックの中心座標がYmaxを超えた場合(ステップS2
8)、X位置を第1のブロック63の幅の長さだけ移動
させ(ステップS29)、これをX開始位置として、上
記ステップS24と同様に標本が存在する箇所(メッシ
ュ位置65乃至67)を検出する。
れるように、ブロックの中心座標が(Xmax、Ymax)を
ともに超えた場合に(ステップS28,S30)、メッ
シュ指定を終了する。
4と観察側のモニタ2で標本像と共に取り込み位置指定
のブロックをラインオーバーレイ表示される。モニタ
2,4上のメッシュ分割位置データは、電動ステージ9
の座標データに変換され、観察側からの画像取り込み要
求に基づいて、当該電動ステージ9を各メッシュ分割指
定位置に移動した後、顕微鏡7を解して撮像部21(ビ
デオカメラ6)で標本像が取り込まれる。
座標系への変換は、パソコン5内の記録媒体に予め記憶
された変換テーブルに基づいて行われる。そして、パソ
コン5から電動ステージ9に対して転送された、データ
に基づいて電動ステージ9を移動させる。そして、電動
ステージ9の移動後に、画像を取り込み、当該画像を依
頼側のパソコン5から観察側のパソコン1に不図示の回
線接続装置、公衆回線3を介してデータ転送する。
係る顕微鏡画像伝送システムによれば、簡単な操作で、
ゴミ等のノイズ部分を除外し、且つ標本像についてのみ
高精度なメッシュ分割を自動的に行うことができる。
る。
像位置検出はX座標を基準としてメッシュ分割指定枠を
決定することとしていたが、標本によってはY基準にし
てメッシュ分割指定を行った方が良い場合もある。かか
る点に鑑みてなされたのが第2の実施の形態であり、こ
の実施の形態では、Y基準にしてメッシュ分割指定を行
うことを特徴としている。即ち、図7に示されるよう
に、メッシュ位置71乃至76の順にメッシュ分割指定
が行われることになる。
る。
のフローチャート及び図8の表示例を参照して説明す
る。この第3の実施の形態では、複数の倍率指定を可能
とし、更に効率のよいメッシュ分割指定を可能としてい
る。
第3の実施の形態に係る拡大ブロック指定処理のシーケ
ンスを説明する。
位置の最小座標(Xmin、Ymin)と最大座標(Xmax、
Ymax)を自動検出する(ステップS31)。
幅、高さを演算する(ステップS32)。この指定倍率
は、アプリケーションソフトウェアに基づいて表示され
るボタンSWをクリックすることにより確立したり、パ
ソコンのキーボード等のファンクションキーに倍率を割
り当てて指定する。上記指定ブロックの幅、高の演算
は、現在の対物レンズ倍率を基準にした倍率の比率で行
う。
続いてメッシュ指定の初期位置を決定する。即ち、前述
の最小座標値を指定ブロックの左上に設定する(ステッ
プS33)。この設定が終了すると、左上に初期設定し
た位置に標本が存在するかどうかの判断が行われる(ス
テップS34)。
と判断されると、ブロック面積とブロック内の標本像の
存在する面積比が算出される(ステップS35)。次い
で、ブロック面積内の標本の存在する面積が50%以下
か否かが判断される(ステップS36)。ここで、この
面積比が50%以下であると判断されれば、このブロッ
ク内でさらに高倍指定のブロック処理(ブロック内メッ
シュ処理)が行われる(ステップS38)。尚、このブ
ロック内メッシュ処理に関する詳細な説明は、後述する
図10のフローチャートで説明する。
ブロック位置を仮座標として記録媒体に記憶しておく。
指定倍率に戻し、次のメッシュ位置を検出する。即ち、
Y座標を固定にし、X移動初期位置を前述の仮座標のブ
ロック位置からブロック幅を考慮した位置とし、X座標
方向に移動させる(ステップS39)。次いで、移動後
のブロックの中心X座標がXmaxを超えるかどうかの判
断をし(ステップS41)、超えていなければ、移動後
のブロックに標本が存在するかどうかの判断に戻る(ス
テップS34)。
とブロック内の標本像の存在する面積比が50%を超え
る場合、現指定倍率の拡大指定ブロックをライン表示
し、この座標を記録媒体に記憶する(ステップS3
7)。
されるように次のメッシュ位置を検出する。即ち、Y座
標を固定にし、Xの移動初期位置を前記記憶したブロッ
クの幅を考慮した位置とし、X座標方向に移動させる
(ステップS39)。
最大座標(Xmax)を超えたかどうかを判断する(ステ
ップS41)。ここで、最大座標を超えていない場合、
移動後のブロック位置に、標本が存在するかどうかの判
断をする(ステップS34)に戻る。
ク位置に、標本が存在しないと判断された場合、Y座標
を固定にし、X方向に1画素分ブロックを移動させる
(ステップS40)。この移動処理は、左上に設定した
初期位置に標本像が存在しない場合にも同様のことをい
う。
ックの中心X座標値が、最大X座標(Xmax)を超えた
かどうかの判断を行う(ステップS41)。ここで、超
えていない場合、標本が存在するかどうかの判断を再び
行う(ステップS34)。これを、標本像が存在する
か、ブロック移動後のブロック中心X座標が最大X座標
(Xmax)を超えるまで続ける。
最大X座標(Xmax)を超えた場合(ステップS4
1)、Y位置をブロックの高さの長さだけ移動させると
ともに、X位置をXminにする(ステップS42)。こ
こで指定している座標は、ブロックの左上の座標であ
る。
Y座標(Ymax)を超えた場合(ステップS43)、終
了である。最大Y座標を超えない場合、次のメッシュ位
置を決定するため、移動後のブロック位置に標本が存在
するかどうかの判断処理(ステップS34)に戻る。
て、図9内で使用するブロック内の標本像の存在する面
積比が50%以下の場合のブロック内のさらに高倍指定
ブロック指定処理(以下、ブロック内メッシュ指定とす
る)について説明する。
対物が存在するかどうかを判断する(ステップS5
1)。現ブロック指定倍率が最高倍率でなければ、処理
を実行し、そうでなければ処理を終了する。
倍率より、さらに高倍の倍率があると判断された場合、
ブロック内の標本像の最小最大座標(Xmin,Ymin)、
(Xmax,Ymax)を検出する(ステップS52)。
拡大指定ブロックの幅・高さを演算する(ステップS5
3)。例えば、顕微鏡に1.25x、2x、4x、10
x、20x、40xの対物レンズが装着してあり、現ブ
ロック指定倍率が2xの場合、さらに高倍の対物レンズ
を4xとし、ブロック内におけるさらに高倍の拡大ブロ
ック幅・高さを演算する。
定ブロックの初期位置をブロック内の左上に設定する
(ステップS54)。そして、この初期位置に標本が存
在するかどうかを判断する(ステップS55)。
積とブロック内の標本像の存在する面積比を算出する
(ステップS56)。
かの判断をする(ステップS57)。ここで、50%以
下であれば、またさらに高倍の指定ブロック処理(ブロ
ック内メッシュ処理)をする(ステップS59)。ブロ
ック内メッシュ処理は、指定対物が最大倍率を超えるま
で行うことになる。この例では、最大倍率までブロック
内メッシュを続けることとしたが、任意の倍率を上限と
して、ブロック内メッシュ処理を行っても構わない。
倍率でブロック位置を仮座標として記録媒体に記憶して
おく。ブロック内メッシュ処理が終了後、指定倍率を戻
し、次のメッシュ位置を検出する。即ち、X座標を固定
にし、Y移動初期位置を前述の仮座標のブロック位置か
らブロック高さを考慮した位置とし、Y座標方向に移動
させる(ステップS60)。そして、移動後のブロック
の中心Y座標がYmaxを超えるかどうかの判断をし(ス
テップS62)、超えていなければ、移動後のブロック
の標本が存在するかどうかの判断に戻る(ステップS5
5)。
の存在する面積比が50%を超える場合、ブロック内に
さらに高倍のラインを表示し、座標とこの時の指定対物
倍率を記憶する(ステップS58)。次のブロック内メ
ッシュ位置を検出するために、Xを固定にし、Y移動後
のブロックの高さを考慮した位置とし、Y座標方向に移
動させる(ステップS60)。この移動後のブロック中
心Y座標がYmaxを超えていなければ(ステップS6
2)、移動後のブロックに標本が存在するかどうかの判
断に戻る(ステップS55)。
どうかの判断をした結果、標本が存在しない場合、Xを
固定にし、Y方向に1画素分ブロック内のブロックを移
動させる(ステップS61)。
座標Y座標がYmaxを超えた場合(ステップS62)、
X位置をブロック内の移動ブロックの幅の長さだけ移動
させるとともに、Y位置をYminにする(ステップS6
3)。
X座標が最大Xmaxを超えているかを判断する(ステッ
プS64)。ここで、中心X座標が最大Xmaxを超えて
いる場合、ブロック内メッシュ処理の終了となる。ま
た、ブロック内の移動ブロックの中心X座標が最大Xma
xを超えていない場合は、標本は存在するかどうかの判
断処理に戻り(ステップS55)、前述の処理を、移動
ブロックの中心座標がXmax、Ymaxを超えるまで続け
る。
係る顕微鏡画像伝送システムによれば、ブロック内の標
本像の占有率に基づいて適宜更なるメッシュ分割を自動
的に行うことができる。
識する手法として、色情報を用いたことを特徴としてい
る。すなわち、一般に、病理標本は染色法により赤系の
色になったり、青系の色に染まるが、第4の実施の形態
では、かかる標本像の染色情報を検出することにより、
標本像位置を認識することとしている。
する第1のセンサと、青の空間周波数領域のみを抽出す
る第2のセンサと、緑の空間周波数領域のみを抽出する
第3のセンサとを、顕微鏡7内に設けている点が第1の
実施の形態と相違する。各センサには、ビデオカメラ6
内のビームスプリッタで標本像が分割され導かれるの
で、各センサの位置はビデオカメラ6と光学的に同位置
に配置されることになる。 上記第1乃至第3のセンサ
の出力は画素単位で抽出され、これらはパソコン内の記
録媒体に記録される。そして、第1乃至第3のセンサの
出力が最大値に近くなる位置を背景位置と認識し、第1
乃至第3のセンサの出力が最低値に近くなる位置を不要
なデータ位置と認識し、赤の空間周波数領域のみを抽出
する第1のセンサからの出力のみが、ある閾値以上にな
る位置を標本像位置と認識する。尚、染色法によって
は、青の空間周波数領域のみを抽出する第2のセンサか
らの出力のみが、ある閾値以上になる位置を標本像位置
とすることもある。
は、上記第1乃至第3のセンサを用いる以外にも、顕微
鏡7内で赤、緑、青それぞれに対応した空間周波数のみ
を通過させる光学フィルタを用いるようにしても検出は
可能である。即ち、1つのセンサに対して、顕微鏡7の
光学フィルタの切り替えを行い、目的の空間周波数領域
のみの像をビデオメラ6に導き、得られた画像情報よ
り、標本像の存在する位置を認識し、記録媒体に記録す
ることもできる。
としては、2次元エリアセンサであることが好ましい
が、特に限定されるものではない。また、上述した実施
の形態では、第1乃至第3のセンサを用いて赤、緑、青
の区間周波数を全て見ていたが、これに限定されるもの
ではなく、例えば比較的形状が認識し易い緑の空間周波
数に対応したセンサのみでも背景位置、不要なデータ位
置、標本像位置を認識することは可能である。
係る顕微鏡画像伝送システムによれば、標本像の色情報
に基づいても、高精度のメッシュ分割を行うことができ
る。
る。
自動的にメッシュ分割する例を示した。これに対して、
第4の実施の形態は、操作者が一度自動確定したメッシ
ュ分割位置を、パソコンのモニタ上に表示したメッシュ
ブロックを操作することにより、任意に移動・削除・追
加できることを特徴としている。
の表示例を参照して、第5の実施の形態によるメッシュ
ブロックの移動操作を説明する。
移動したい任意のブロックをモニタ2の画面上でマウス
等を操作してクリックする(ステップS101)。
し、当該座標をメモリ等の記録媒体内に記憶する(ステ
ップS102)。そして、既に記録済みのメッシュ分割
座標情報を記録媒体より取り出す(ステップS10
3)。
とにより、マウスクリック位置にメッシュ座標位置が存
在するかどうかを判断する(ステップS104)。この
マウスのクリック位置は、指定ブロックの中であればブ
ロック内のそのエリアを押しても認識する判断機能を有
する。
が既に存在すれば(ステップS105)、これを移動し
たいメッシュであると認識する。マウスをクリックした
ままマウスを移動させることにより(ステップS10
6)、メッシュ表示位置を変更していく(ステップS1
07)。上記メッシュ位置の変更は、メッシュラインの
消去、作成を繰り返し行うことになる。
は、マウスクリック位置にメッシュ分割座標情報が存在
するかを判断し、削除手段により行う。削除手段は、キ
ーボード上の任意のボタン、例えば「Delete」キ
ーでも良く、アプリケーションソフトにより表示される
削除ボタンを使用してもよい。
ク位置にメッシュ分割座標情報が存在するかどうかを判
断する。そして、存在しなければ、新規にメッシュブロ
ックを指定することが可能であり、マウスクリックした
ときに新規メッシュ分割位置座標を記録媒体に記録す
る。以上のようにして一度自動でメッシュ分割指定を行
った後に操作者が任意にメッシュ分割指定の移動・追加
・削除ができる。
係る顕微鏡画像伝送システムによれば、自動的にメッシ
ュ分割を行った後に、所望とする位置にブロックを適宜
移動することができる。即ち、観察の自由度が向上す
る。
説明する。
オートフォーカス位置を認識することを特徴としてお
り、メッシュ分割指定で画像を取り込む場合、フォーカ
ス位置を1個所に固定して、複数のメッシュ分割位置の
画像を取り込むこととしている。 以下、図13のフロ
ーチャート及び図14の表示例を参照して、第6の実施
の形態によるオートフォーカス位置認識動作を説明す
る。
カス位置を決定している場合、コントラスト差の大きい
画像である程、よりオートフォーカスを正確にかけるこ
とができる。メッシュ分割位置を自動検出しているとき
に、先ず中心座標付近に標本像のあるメッシュ分割位置
情報と各ブロック内の最大輝度レベル差とを記録媒体に
記憶する。中心座標付近に標本像が存在するかどうか
は、前記標本像認識用データを記録媒体から読み出し用
いる事で判断できる。
0,240)を中心とし任意のピクセルブロック(例え
ば50ピクセル×50ピクセル)の輝度情報が0(標本
が存在)するかどうかで判断することができる(ステッ
プS51)。このブロックは平均化した輝度情報でも構
わない。画像の中心付近に標本像があるブロックを選択
するのは、オートフォーカスをする場合、顕微鏡のオー
トフォーカス用のラインセンサが中心付近のデータを取
るためである。
ュブロックを抽出し、このブロック位置を記録媒体上に
格納する。
てのメッシュ各ブロックのうち最大輝度差を有するブロ
ックを検出する(ステップS52)。そして、最大輝度
差を有するメッシュ分割位置を検出し、当該位置をオー
トフォーカスする箇所として記録媒体に記憶する(ステ
ップS53)。この実施の形態では、メッシュ分解位置
101がオートフォーカスする箇所と選定される。
は、先ず、このオートフォーカスをする箇所に電動ステ
ージ9移動し、この位置で顕微鏡7のオートフォーカス
制御を行うようにパソコン5側から制御することにな
る。
係る顕微鏡画像伝送システムによれば、メッシュ分割の
結果に基づいて、簡単な操作で、フォーカス位置を高精
度で自動認識することができる。
明する。
事があり(図15参照)、この周辺光量不足が輝度レベ
ルを低下させてしまう。従って、従来の自動メッシュ分
割位置認識アルゴリズムでは、輝度情報を基に処理を行
うので、周辺光量不足の影響により正確なメッシュ分割
指定ができなくなる可能性がある。
来背景として認識すべき情報を標本像の輝度レベルと誤
認識してしまう可能性があり、背景の部分にもメッシュ
分割位置をオーバーレイすることになる。第7の実施の
形態では、この周辺光量不足を生じている標本像に対し
て適正なメッシュ分割指定を行うことを特徴とする。以
下、図16のフローチャートを参照して、周辺光量不足
が生じている標本に対するメッシュ分割指定の動作を詳
細に説明する。
る前に、標本のない状態で画像を取り込み、その画像情
報を記録媒体に記録する。この実施の形態では、R0
(640,480)、G0(640,480)、B0
(640,480)の2次元の配列データとして記録媒
体に格納する(ステップS61)。この場合、背景情報
を撮影しているので、画像としては白くなり、ほとんど
の画素の輝度情報はFF(255)になるはずである
が、周辺部分の座標位置ではFF(255)にならな
い。
ての画素情報に対して以下の演算を行う。
報を、R0(640,480)、G(640,48
0)、B(640,480)に記憶する。
情報をR1(640,480)、G1(640,48
0)、B1(640,480)の2次元の配列メモリに
格納する(ステップS62)。原画の画像情報から標本
像のない画像情報を加算し、データをR(640,48
0)、G(640,480)、B(640,480)と
する。ここでは、1画素づつ加算を行う(ステップS6
3)。
係る顕微鏡画像伝送システムによれば、周辺光量不足の
部分だけについてデータを補うことができる。
足のデータを補った結果のデータを基に前記メッシュ分
割指定を行うことで、より正確なメッシュ分割指定が自
動で可能になる。
明する。
し、当該情報を用いて標本像位置を検出することを特徴
とする顕微鏡画像転送システムに関するものである。
抽出により標本像位置を検出する過程を示す模式図であ
り、図18は本実施の形態に係る顕微鏡画像転送システ
ムの機能ブロック図であり、図19、図20は本実施の
形態に係る顕微鏡画像転送システムの動作を説明するた
めのフローチャートである。
転送システムは、画像撮り込み部500と内部処理部5
01、ユーザ操作部502、顕微鏡503に大別され
る。
ラ部201とビデオキャプチャ部202が配設されてい
る。上記顕微鏡503には、オートフォーカス部203
と倍率切替え部204、ステージ移動部205が配設さ
れている。
憶する画像表示メモリ206、ビデオキャプチャ部20
2を制御するビデオキャプチャ制御部207、標本像位
置認識処理部208、メモリ300、外部記憶メモリ2
18を制御する外部記憶メモリ制御部214、オートフ
ォーカス部203を制御するフォーカス制御部215、
倍率切替え部204を制御する倍率制御部216、ステ
ージ移動部205を制御するステージ制御部217が配
設されている。さらに、上記メモリ300には、各輝度
メモリ209乃至211、RG輝度差メモリ212、B
G輝度差メモリ213、RG輝度差最大値メモリ22
5、BG輝度差最大値メモリ226、RG閾値メモリ2
27、BG閾値メモリ228の各領域がある。
示メモリ206の画像を表示する画像表示部219と標
本像位置認識指定部220、画像保存/呼び出し指示部
221、上記フォーカス制御部215によるフォーカス
制御を指定するフォーカス指定部222、上記倍率制御
部216による倍率制御を指定する倍率指定部223、
上記ステージ制御部217に因るステージ制御を指定す
るステージ位置指定部224がそれぞれ配設されてい
る。
位置検出の過程を説明する。
ビデオカメラ部201を介して取り込み、ビデオキャプ
チャ部202でデジタルデータに変換し、このデジタル
データを画像表示メモリ206に取り込んだ後、静止画
像情報にして画像表示部219に表示する。この標本像
の様子は、図17(a)に示される。
は、標本像の領域以外にスライドガラス上のカバーガラ
スの影やゴミ等の領域が混在している。
のY座標位置における輝度情報を色分離して表示した様
子は、図17(b)に示される。背景部分及びノイズ部
分は、赤、緑の輝度情報の変化は同じように推移するも
のの、標本が存在する位置では赤と緑の輝度情報に差が
生じている。一般に、病理標本画像は、観察をするため
に種々の染色をするので、この輝度差を用いれば標本像
位置を算出することができることになる。この図17の
例では、全体的に赤主体で染色している病理標本を対象
にしているが、染色により特徴となる色情報は異なるの
で、各輝度情報としては、赤、緑、青の3つの情報を取
得する。
した様子は図17(c)に示される通りである。同図の
特性に基づいて、赤と緑の輝度差分の最大値RGref
を算出し、これに基づいて閾値を設定する。
Fh、閾値を上回るものを0としたデータの様子は図1
7(d)に示される。このような演算を全てのY座標で
行った結果を示したのが図17(e)である。
て標本像位置を検出する例を示したが、標本によっては
青と赤の輝度差情報、或いは赤と緑の輝度差と青と緑の
輝度差の組み合わせで標本像位置を検出してもよいこと
は勿論である。
を参照して、上記輝度差情報を用いて標本像位置を認識
する動作を詳細に説明する。
下、RGBと称する)の輝度情報を各輝度メモリ20
9,210,211に格納する(ステップS301)。
ここでは、赤(R)の輝度情報をRdata(X,
Y)、緑(G)の輝度情報をGdata(X,Y)、青
(B)の輝度情報をBdata(X,Y)とした2次元
の配列で各輝度メモリ209乃至211に格納する。
尚、Xは0〜(X画素数−1)の範囲であり、Yは0〜
(Y画素数−1)の範囲である。
輝度差メモリ212,213に格納する(ステップS3
02)。即ち、RとGの輝度情報差分(RGref
(X,Y))をとり、これをRG輝度差メモリ212に
格納し、BとGの輝度情報差分(BGref(X,
Y))をとり、BG輝度差メモリ213に格納する。
ta(X,Y) BGref(X,Y)=Bdata(X,Y)−Gda
ta(X,Y) 続いて、各輝度差分の最大値(RGrefmax、BG
refmax)を検出し、RG輝度差最大値メモリ22
5、BG輝度差最大値メモリ226に格納する(ステッ
プS303)。この輝度差分の最大値より標本像認識用
の閾値をRG閾値メモリ227、BG閾値メモリ228
に格納する(ステップS304)。
て、上記閾値の設定のシーケンスを詳細に説明する。閾
値の設定は、各輝度差分の最大値(RGrefmax、
BGrefmax)をRG輝度差最大値メモリ225、
BG輝度差最大値メモリ226から呼び出し(ステップ
S401)、標本染色種別を選択する(ステップS40
2)。そして、この標本染色種別に応じて閾値設定(R
Grefth、BGrefth)を行う(ステップS4
03)。
た、任意に変更できるようにしても構わないことは勿論
である。
の最大値(RGrefmax)の半分の値及びBとGの
輝度差の最大値(BGrefmax)の半分の値を閾値
RGrefth、BGrefthにしてもよい。
ある。この場合のn,mの値をn=RGrefmax、
m=2とする。n=1の場合、RGrefth=RGr
efmaxとなり、RとGの輝度差の情報による閾値設
定を最大レベルまで上げることになる。こうすることで
BとGの輝度差による閾値設定のみで標本像位置を検出
することと等しくなる。
BGrefth)を決定後、標本像認識チェックをする
領域を設定する(ステップS305)。標本全体像の位
置を認識したい場合はXmin=0、Xmax=(X画
素数−1)、Ymin=0、Ymax=(Y画素数−
1)である。
一部の領域をチェックすることも可能である。チェック
する領域を決定すると、その領域内で標本像が存在する
かどうかの判断を行う。
(X=Xmin、Y=Ymin)を設定する(ステップ
S306)。
ータ(RGref、BGref)と標本像認識用閾値
(RGrefth、BGrefth)との比較を行い、
標本像が存在するか否かのチェックを行う。先ず、任意
のX,Y座標における赤緑輝度差データ(RGref
(X,Y))と赤緑輝度差閾値(RGrefth)との
比較を行う(ステップS307)。
fthであれば、(X,Y)座標において標本像が存在
することになる(ステップS310)。
fthであれば青緑輝度差による標本像認識チェックを
行う(ステップS308)。ここで、BGref(X,
Y)>BGrefthであれば、(X,Y)座標におい
て標本像が存在することになる(ステップS310)。
これに対して、BGref(X,Y)≦BGrefth
であれば、(X,Y)座標において標本像が存在しない
ことになる(ステップS309)。こうして、任意の
(X,Y)座標における標本像存在チェックが終了した
ので、次なる座標の標本像チェックをする。
1)し(ステップS311)、新しいX座標値が最大値
(Xmax)を越えていないかをチェックする(ステッ
プS312)。X座標が最大値(Xmax)を越えてい
なければ、この座標における標本像存在チェックをする
処理に戻る(ステップS307)。
ければX座標をXminにするとともにY座標をインク
リメントする(ステップS313)。Y座標をインクリ
メントした結果、Y座標が最大値(Ymax)を越えて
いなければ、この座標における標本像存在チェックをす
る処理(ステップS307)に戻る。Y座標が最大値
(Ymax)を越えていれば、ここで標本像認識チェッ
ク領域の全てを確認したことになり終了する。
明する。
指定を自動で指定した後に、上記メッシュ拡大指定枠の
中で最初にオートフォーカス指定するメッシュ拡大枠位
置を自動で検出するものである。
枠指定を自動で行った後の様子を示す図である。この図
21において、個別のメッシュ拡大指定枠の幅をFra
meWidth、高さをFrameHeightとす
る。また、個別のメッシュ拡大指定枠の中心座標を(X
0c,Y0c)〜(X3c,Y3c)とする。座標の頂
点は、同図の左上である。
て、標本全体像にメッシュ拡大指定枠を自動で行った後
に最初にオートフォーカスを実行する箇所を自動で設定
するシーケンスを詳細に説明する。
hNum)をチェックする(ステップS601)。続い
て、メッシュ拡大指定枠個別の標本像認識画素数データ
を持つために、標本像存在チェック用カウンタを、配列
データ(ChkCounter(0)〜ChkCoun
ter(MeshNum−1))とし設ける(ステップ
S602)。また、メッシュ拡大指定枠個別の標本像存
在チェックをし、ChkCounter(0)〜Chk
Counter(MeshNum−1)に標本像として
認識した画素数データを入れる(ステップS603)。
て、標本像が存在する画素数データのチェックの詳細な
シーケンスを説明する。
値(RGrefth、BGrefth)を設定し、依頼
側端末パソコン内の不図示のメモリに格納する(ステッ
プS701)。閾値設定については、前述したとおりで
ある。
をする座標の初期値を設定する(ステップS702)。
ここで、XicとYicは図21の(X0c,Y0c)
〜(X3c,Y3c)に相当する。FrameWidt
hとFrameHeightは、メッシュ拡大指定枠の
幅と高さである。
像が存在するかどうかを判断するためのチェック用カウ
ンタをクリアする(ステップS703)。
における輝度差情報(RGref(X,Y)、BGre
f(X,Y))を取得し、その輝度差情報と上記ステッ
プS701で決定した輝度差閾値(RGrefth、B
Grefth)との比較を行う(ステップS704)。
ここで、輝度差閾値(RGrefth、BGreft
h)より大きければ、チェック用カウンタをインクリメ
ントする(ステップS705)。そして、X座標をイン
クリメントし次の座標を準備する(ステップS70
6)。一方、X座標がメッシュ拡大指定枠内の領域に入
っていれば(ステップS707)、上記ステップS70
4に戻る。これに対して、X座標がメッシュ拡大指定枠
内の領域に入っていなければ(ステップS707)、Y
座標をインクリメントし、且つX座標を初期値に戻す
(ステップS708)。そして、Y座標がメッシュ拡大
指定枠内の領域外になっているかをチェックする(ステ
ップS709)。そして、領域内であれば、上記ステッ
プS704に戻る。
枠において標本像が存在すると認識した画素数をカウン
トする。Y座標がメッシュ拡大指定枠の領域範囲内の領
域外であれば(ステップS709)、メッシュ拡大指定
枠内全てのX,Y座標において標本像として認識する画
素数を取得したことになる。標本像として認識する画素
数はChkCounterの中にデータとして入る(ス
テップS710)。
unter(I)に記憶する。ここで、Iは任意のメッ
シュ拡大指定枠番号を示す(図21の(0)〜(3)に
相当する)。全てのメッシュ拡大指定枠の標本像存在チ
ェックが終了したならば、標本像存在チェック用カウン
タの値が多いものから順にならべる。この並べた順番
は、別の変数として記憶しておく(ステップS60
4)。
いものから、順に中心付近に標本が存在するかどうかを
判断する(ステップS605)。中心付近に標本像が存
在しないと判断した場合には(ステップS606)、再
度上記ステップS605に戻り、次に標本像存在チェッ
ク用カウンタ値の多いメッシュ拡大指定枠を取り出し、
中心付近に標本像が存在するかどうかを判断する。
最初にAFを実行する位置として記憶する(ステップS
607)。
定枠の中から最も標本像として認識できる画素数を持
ち、且つ中心付近に標本像が存在する箇所を最初にAF
する位置として自動的に認識できる。
たが、本発明はこれに限定されるものではなく、その主
旨を逸脱しない範囲で種々の改良・変更が可能であるこ
とは勿論である。例えば、上記実施の形態では、メッシ
ュ分割の始点を静止画像の左上、終点を右下としたが、
静止画像中の任意の位置を始点、終点とすることもでき
ることは勿論である。
発明が含まれる。
望とする領域をブロック単位で指定する顕微鏡画像伝送
システムにおいて、標本を撮像して上記標本像を得る撮
像手段と、上記撮像手段により撮像された標本像を含む
静止画像を記録する記録手段と、上記記録手段に記録さ
れた静止画像を少なくとも表示する表示手段と、上記静
止画像より標本像の位置を検出し、当該標本像の存在す
る領域のみを所定単位のブロックで分割し、当該ブロッ
クに係る指標を上記表示手段に上記静止画像に重ねて表
示するように制御する制御手段と、上記制御手段により
設定されたブロックの追加、削除、移動を指示する操作
指示手段と、を具備し、上記操作指示手段に指示に従っ
て追加、削除、移動されたブロックに関する位置情報
は、上記記録手段に随時記録されることを特徴とする顕
微鏡画像伝送システム。
望とする領域をブロック単位で指定する顕微鏡画像伝送
システムにおいて、標本を撮像して上記標本像を得る撮
像手段と、上記撮像手段により撮像された標本像を含む
静止画像を記録する記録手段と、上記記録手段に記録さ
れた静止画像を少なくとも表示する表示手段と、上記静
止画像より標本像の位置を検出し、当該標本像の存在す
る領域のみを所定単位のブロックで分割し、当該ブロッ
クに係る指標を上記表示手段に上記静止画像に重ねて表
示するように制御する制御手段と、上記各ブロック内で
の最大輝度レベル差を検出し、当該各ブロックごとの最
大輝度レベル差を比較し、各ブロックの中で最大輝度レ
ベル差を有するブロックの位置座標を検出し、当該ブロ
ックを焦点調節基準位置として焦点調節を行う焦点調節
手段と、を具備することを特徴とする顕微鏡画像伝送シ
ステム。
望とする領域をブロック単位で指定する顕微鏡画像伝送
システムにおいて、標本を撮像して上記標本像を得る撮
像手段と、上記撮像手段により撮像された標本像を含む
静止画像を記録する記録手段と、上記記録手段に記録さ
れた静止画像を少なくとも表示する表示手段と、上記標
本のない状態で静止画像を取り込み、上記標本のある状
態で静止画像を取り込み、両者の輝度情報の差分に基づ
いて、光量不足部分を検出する検出手段と、上記検出手
段により検出された光量不足部分を除外した上で、上記
静止画像より標本像の位置を検出し、当該標本像の存在
する領域のみを所定単位のブロックで分割し、当該ブロ
ックに係る指標を上記表示手段に上記静止画像に重ねて
表示するように制御する制御手段と、を具備することを
特徴とする顕微鏡画像伝送システム。
顕微鏡画像の遠隔観察において、初期観察画像における
観察領域のメッシュ分割に係る指定を、簡単な操作によ
り、効率的且つ正確に行うことができる顕微鏡画像伝送
システムを提供することができる。
概略図である。
図である。
フローチャートである。
ムによる標本像位置の画像認識に関する一連の処理を説
明する図である。
ムによるメッシュデータ作成の過程を説明するフローチ
ャートである。
ムによるメッシュデータ作成の過程を説明するための図
である。
ムによるメッシュデータ作成の過程を説明するための図
である。
ムによるメッシュデータ作成の過程を説明するための図
である。
ムによるメッシュデータ作成の過程を説明するフローチ
ャートである。
る面積比が50%以下の場合のブロック内のさらに高倍
指定ブロック指定処理(以下、ブロック内メッシュ指定
とする)について説明するフローチャートである。
テムによるよるメッシュ枠の移動操作を説明するための
フローチャートである。
テムによるよるメッシュ枠の移動操作を説明するための
図である。
テムによるオートフォーカス位置認識動作を説明するた
めのフローチャートである。
テムによるオートフォーカス位置認識動作を説明するた
めの図である。
示す図である。
テムによる周辺光量不足に対応したメッシュ分割指定の
動作を詳細に説明するフローチャートである。
像位置を検出する過程を示す模式図である。
テムの機能ブロック図である。
テムの動作を説明するためのフローチャートである。
テムの動作を説明するためのフローチャートである。
テムにより標本全体像にメッシュ拡大枠指定を自動で行
った後の様子を示す図である。
テムにより標本全体像にメッシュ拡大指定枠を自動で行
った後に最初にオートフォーカスを実行する箇所を自動
で設定するシーケンスを詳細に説明するフローチャート
である。
テムにより標本像が存在する画素数データのチェックの
詳細なシーケンスを説明するフローチャートである。
Claims (6)
- 【請求項1】 標本像のうち高倍で観察する事を所望と
する領域をブロック単位で指定する顕微鏡画像伝送シス
テムにおいて、 標本を撮像して上記標本像を得る撮像手段と、 上記撮像手段により撮像された標本像を含む静止画像を
記録する記録手段と、 上記記録手段に記録された静止画像を表示する表示手段
と、 上記標本像の位置を抽出し、それを基に当該標本像の存
在する領域のみを所定単位のブロックで分割し、当該ブ
ロックを示す指標を上記静止画像に重ねて上記表示手段
に表示させる機能を備えた制御手段と、を具備すること
を特徴とする顕微鏡画像伝送システム。 - 【請求項2】 上記標本像の位置を抽出するために上記
制御手段は、 上記静止画像の輝度情報を抽出し、上記標本像の背景位
置に係る輝度情報に基づいて最大輝度レベルを設定し、
上記標本像の不要なデータ位置に係る輝度情報に基づい
て最小輝度レベルを設定する機能と、 上記最大輝度レベル及び最小輝度レベルに基づいて、上
記輝度情報を変換する変換機能と、 変換された上記輝度情報に基づいて標本像の背景位置、
不要なデータ位置、標本像の位置を判断する機能と、を
備えていることを特徴とする請求項1に記載の顕微鏡画
像伝送システム。 - 【請求項3】 上記標本像の位置を抽出するために上記
制御手段は、 上記標本像の色情報を抽出し、上記色情報が最大値に近
くなる位置を標本像の背景位置と認識し、上記色情報が
最小値に近くなる位置を標本像の不要なデータ位置と認
識し、上記色情報が所定の閾値以上となる位置を標本像
の位置と認識する機能を備えていることを特徴とする請
求項1に記載の顕微鏡画像伝送システム。 - 【請求項4】 上記制御手段は、 さらに、上記静止画像に初期ブロック位置を設定し、当
該初期ブロック位置を始点として第1の方向に順次ブロ
ックを設定していき、ブロック位置が最大座標を越えた
場合には、第2の方向にブロックの幅だけシフトさせ
て、更なるブロックを第1の方向に順次設定し、上記表
示手段に当該ブロックに係る指標を表示させる機能を備
えていることを特徴とする請求項1に記載の顕微鏡画像
伝送システム。 - 【請求項5】 上記標本像の位置を抽出するために上記
制御手段は、 上記標本像の色情報を抽出し、上記標本像の同位置での
色情報の差を求める機能と、上記色情報の差が最大にな
る位置を求める機能と、上記色情報の差が最大となる値
に基づき所定の閾値を設定する機能と、上記色情報の差
を上記閾値で区別し、閾値以上又は閾値以下となる位置
を上記標本像の位置と認識する機能と、を備えているこ
とを特徴とする請求項1に記載の顕微鏡画像伝送システ
ム。 - 【請求項6】 上記所定の閾値を設定する機能は、赤と
緑の輝度差の最大値を検出する機能と、青と緑の輝度差
の最大値を検出する機能と、上記輝度差の最大値を任意
の数値で商をとり、当該値を閾値とする機能と、を更に
有することを特徴とする請求項5に記載の顕微鏡画像伝
送システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11271292A JP2000295462A (ja) | 1999-02-04 | 1999-09-24 | 顕微鏡画像伝送システム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11-27357 | 1999-02-04 | ||
JP2735799 | 1999-02-04 | ||
JP11271292A JP2000295462A (ja) | 1999-02-04 | 1999-09-24 | 顕微鏡画像伝送システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000295462A true JP2000295462A (ja) | 2000-10-20 |
JP2000295462A5 JP2000295462A5 (ja) | 2006-10-26 |
Family
ID=26365271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11271292A Pending JP2000295462A (ja) | 1999-02-04 | 1999-09-24 | 顕微鏡画像伝送システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000295462A (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004191959A (ja) * | 2002-11-29 | 2004-07-08 | Olympus Corp | 顕微鏡画像撮影装置 |
JP2005202087A (ja) * | 2004-01-15 | 2005-07-28 | Olympus Corp | 顕微鏡装置、顕微鏡装置の制御方法、及びプログラム |
WO2005088250A1 (en) * | 2004-03-12 | 2005-09-22 | Hanbyn Cha | Method and system of measuring an object in a digital image |
US7016109B2 (en) | 2002-09-10 | 2006-03-21 | Olympus Optical Co., Ltd. | Microscopic image capture apparatus and microscopic image capturing method |
US7250963B2 (en) | 2001-12-19 | 2007-07-31 | Olympus Corporation | Microscopic image capture apparatus |
JP2008197992A (ja) * | 2007-02-14 | 2008-08-28 | Nikon Corp | 顕微鏡画像処理システムおよび顕微鏡画像処理方法 |
KR100978421B1 (ko) | 2008-06-25 | 2010-08-26 | 대덕대학산학협력단 | 고속데이터 전송이 가능한 디지털 현미경 |
WO2012018427A3 (en) * | 2010-07-26 | 2012-03-29 | Corista LLC | User targeted medical imaging and information packaging compression and distribution system |
US8244912B2 (en) | 2009-07-27 | 2012-08-14 | Coritsa LLC | System for networked digital pathology exchange |
JP2013011856A (ja) * | 2011-06-01 | 2013-01-17 | Canon Inc | 撮像システムおよびその制御方法 |
WO2014006964A1 (ja) * | 2012-07-04 | 2014-01-09 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム及び顕微鏡システム |
US20140210980A1 (en) * | 2013-01-31 | 2014-07-31 | Sony Corporation | Image acquisition apparatus and image acquisition method |
JP2014521114A (ja) * | 2011-06-30 | 2014-08-25 | ジーイー・ヘルスケア・バイオサイエンス・コーポレイション | 生体イメージングの画像品質最適化 |
JP2014523545A (ja) * | 2011-06-30 | 2014-09-11 | ジーイー・ヘルスケア・バイオサイエンス・コーポレイション | 生体イメージングのための顕微鏡システム及び方法 |
US20150260973A1 (en) * | 2014-03-17 | 2015-09-17 | Canon Kabushiki Kaisha | Focus determination apparatus, focus determination method, and imaging apparatus |
WO2020009186A1 (ja) * | 2018-07-06 | 2020-01-09 | 北海道公立大学法人札幌医科大学 | 観察装置 |
-
1999
- 1999-09-24 JP JP11271292A patent/JP2000295462A/ja active Pending
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7250963B2 (en) | 2001-12-19 | 2007-07-31 | Olympus Corporation | Microscopic image capture apparatus |
US7016109B2 (en) | 2002-09-10 | 2006-03-21 | Olympus Optical Co., Ltd. | Microscopic image capture apparatus and microscopic image capturing method |
US7248403B2 (en) | 2002-09-10 | 2007-07-24 | Olympus Corporation | Microscopic image capture apparatus and microscopic image capturing method |
JP2004191959A (ja) * | 2002-11-29 | 2004-07-08 | Olympus Corp | 顕微鏡画像撮影装置 |
JP4544850B2 (ja) * | 2002-11-29 | 2010-09-15 | オリンパス株式会社 | 顕微鏡画像撮影装置 |
JP2005202087A (ja) * | 2004-01-15 | 2005-07-28 | Olympus Corp | 顕微鏡装置、顕微鏡装置の制御方法、及びプログラム |
JP4664599B2 (ja) * | 2004-01-15 | 2011-04-06 | オリンパス株式会社 | 顕微鏡装置 |
WO2005088250A1 (en) * | 2004-03-12 | 2005-09-22 | Hanbyn Cha | Method and system of measuring an object in a digital image |
JP2008197992A (ja) * | 2007-02-14 | 2008-08-28 | Nikon Corp | 顕微鏡画像処理システムおよび顕微鏡画像処理方法 |
KR100978421B1 (ko) | 2008-06-25 | 2010-08-26 | 대덕대학산학협력단 | 고속데이터 전송이 가능한 디지털 현미경 |
US9710668B2 (en) | 2009-07-27 | 2017-07-18 | Corista LLC | User targeted medical imaging and information packaging, compression and distribution system |
US9110924B2 (en) | 2009-07-27 | 2015-08-18 | Corista LLC | User targeted medical imaging and information packaging, compression and distribution system |
US8352638B2 (en) | 2009-07-27 | 2013-01-08 | Corista, LLC | System for networked digital pathology exchange |
US8504726B2 (en) | 2009-07-27 | 2013-08-06 | Corista LLC | User targeted medical imaging and information packaging, compression and distribution system |
US8244912B2 (en) | 2009-07-27 | 2012-08-14 | Coritsa LLC | System for networked digital pathology exchange |
WO2012018427A3 (en) * | 2010-07-26 | 2012-03-29 | Corista LLC | User targeted medical imaging and information packaging compression and distribution system |
JP2013011856A (ja) * | 2011-06-01 | 2013-01-17 | Canon Inc | 撮像システムおよびその制御方法 |
US9292925B2 (en) | 2011-06-01 | 2016-03-22 | Canon Kabushiki Kaisha | Imaging system and control method thereof |
JP2014521114A (ja) * | 2011-06-30 | 2014-08-25 | ジーイー・ヘルスケア・バイオサイエンス・コーポレイション | 生体イメージングの画像品質最適化 |
JP2014523545A (ja) * | 2011-06-30 | 2014-09-11 | ジーイー・ヘルスケア・バイオサイエンス・コーポレイション | 生体イメージングのための顕微鏡システム及び方法 |
JPWO2014006964A1 (ja) * | 2012-07-04 | 2016-06-02 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム及び顕微鏡システム |
US10955655B2 (en) | 2012-07-04 | 2021-03-23 | Sony Corporation | Stitching images based on presence of foreign matter |
US20150124078A1 (en) * | 2012-07-04 | 2015-05-07 | Sony Corporation | Information processing apparatus, information processing method, program, and microscope system |
WO2014006964A1 (ja) * | 2012-07-04 | 2014-01-09 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム及び顕微鏡システム |
JP2017199026A (ja) * | 2012-07-04 | 2017-11-02 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム及び顕微鏡システム |
JP2019049749A (ja) * | 2012-07-04 | 2019-03-28 | ソニー株式会社 | 医療用システム及び医療用画像処理方法 |
US20140210980A1 (en) * | 2013-01-31 | 2014-07-31 | Sony Corporation | Image acquisition apparatus and image acquisition method |
US20150260973A1 (en) * | 2014-03-17 | 2015-09-17 | Canon Kabushiki Kaisha | Focus determination apparatus, focus determination method, and imaging apparatus |
WO2020009186A1 (ja) * | 2018-07-06 | 2020-01-09 | 北海道公立大学法人札幌医科大学 | 観察装置 |
CN112384606A (zh) * | 2018-07-06 | 2021-02-19 | 北海道公立大学法人札幌医科大学 | 观察装置 |
JPWO2020009186A1 (ja) * | 2018-07-06 | 2021-08-02 | 北海道公立大学法人 札幌医科大学 | 観察装置 |
US20210271062A1 (en) * | 2018-07-06 | 2021-09-02 | Nipro Corporation | Observation Device |
JP7401875B2 (ja) | 2018-07-06 | 2023-12-20 | 北海道公立大学法人 札幌医科大学 | 観察装置 |
CN112384606B (zh) * | 2018-07-06 | 2024-04-12 | 北海道公立大学法人札幌医科大学 | 观察装置 |
US12110480B2 (en) * | 2018-07-06 | 2024-10-08 | Nipro Corporation | Observation device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7215467B2 (en) | System and method for controlling microscope | |
JP2000295462A (ja) | 顕微鏡画像伝送システム | |
US9245317B2 (en) | Optically enhanced digital imaging system | |
US7949161B2 (en) | Microscope system and method for synthesizing microscopic images | |
JP3824116B2 (ja) | 顕微鏡画像遠隔制御システム | |
JP5281972B2 (ja) | 撮像装置 | |
US7973851B2 (en) | Auto-focus system | |
US8964099B2 (en) | Lens device capable of utilizing an AF-frame automatic tracking function | |
JPH09281405A (ja) | 顕微鏡システム | |
JPH07333522A (ja) | 顕微鏡画像遠隔観察装置 | |
JP5047764B2 (ja) | 顕微鏡用撮影装置 | |
JP4640198B2 (ja) | 電子カメラ、多数ポイント同時合焦枠表示方法、及びプログラム | |
JP4434376B2 (ja) | 顕微鏡画像転送システム | |
US20020075563A1 (en) | Camera for microscope and microscope system | |
JP4637337B2 (ja) | 顕微鏡画像観察システム及びその制御方法 | |
US20050157170A1 (en) | Image comparison apparatus, image comparison method, and program to execute image comparison by computer | |
US20140063072A1 (en) | Information processing apparatus, information processing method, and information processing program | |
JP5249799B2 (ja) | 画像出力システム、画像出力方法及び画像出力プログラム | |
JP3448847B2 (ja) | 顕微鏡静止画像観察システム | |
JP2006145793A (ja) | 顕微鏡画像撮像システム | |
JP3321198B2 (ja) | 顕微鏡静止画像観察システム | |
JP3893416B2 (ja) | 電子スチルカメラおよびその画像データ記録再生方法 | |
KR20000057920A (ko) | 현미경 화상 전송 시스템, 현미경 화상 처리 방법 및현미경 화상 처리에 이용하는 기록 매체 | |
JP3698737B2 (ja) | 顕微鏡遠隔観察システム及び遠隔観察方法 | |
JPH11344676A (ja) | 顕微鏡画像撮影システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060908 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080602 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090310 |