JP2009260465A - Remote diagnostic apparatus - Google Patents
Remote diagnostic apparatus Download PDFInfo
- Publication number
- JP2009260465A JP2009260465A JP2008104561A JP2008104561A JP2009260465A JP 2009260465 A JP2009260465 A JP 2009260465A JP 2008104561 A JP2008104561 A JP 2008104561A JP 2008104561 A JP2008104561 A JP 2008104561A JP 2009260465 A JP2009260465 A JP 2009260465A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- unit
- encoded data
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 claims abstract description 86
- 238000012546 transfer Methods 0.000 claims abstract description 56
- 230000003287 optical effect Effects 0.000 claims abstract description 34
- 230000005540 biological transmission Effects 0.000 claims abstract description 28
- 238000003745 diagnosis Methods 0.000 claims description 48
- 238000004171 remote diagnosis Methods 0.000 claims description 22
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000001575 pathological effect Effects 0.000 claims description 4
- 238000010827 pathological analysis Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000010894 electron beam technology Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000007794 irritation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
この発明は、遠隔の観察機器から通信回線を通して取得した被検査体の画像情報に対して、診断を行うために画像情報の通信制御を行う遠隔診断装置に関する。 The present invention relates to a remote diagnosis apparatus that performs communication control of image information for performing diagnosis on image information of an object to be inspected acquired from a remote observation device through a communication line.
従来、疾患の診断や原因(病因)の究明を目的として、手術または検査のために採取された臓器、組織、細胞などの被検査体を、光学顕微鏡等の観察機器を用いて観察し診断する病理診断が、医療の現場で重要な役割を果たしている。そして近年、病理専門医師が遠隔の地にあっても迅速に診断できるように、インターネット等の通信回線を用いた遠隔診断システムが種々提案され、実用化されている。 Conventionally, for the purpose of diagnosing a disease and investigating the cause (pathogenesis), an object such as an organ, tissue, or cell collected for surgery or examination is observed and diagnosed using an observation device such as an optical microscope. Pathological diagnosis plays an important role in the medical field. In recent years, various remote diagnosis systems using a communication line such as the Internet have been proposed and put into practical use so that a pathologist can quickly make a diagnosis even in a remote place.
例えば、特許文献1に開示されているように、被検体を観測する顕微鏡を有する観測装置と、この観測装置に通信回線を介して接続された遠隔装置とを備え、顕微鏡は遠隔地の観測者が通信回線を通じて操作し、顕微鏡の観測像を撮像した撮像画像を符号化して通信回線を通じて遠隔装置に伝送し、観測者側で受信した符号化データを復号化し、表示装置に復号化画像を表示する被検体遠隔観測システムがある。この被検体遠隔観測システムは、撮像要素(顕微鏡各部の設定)が調整中であるか否かを判定する判定手段が設けられ、調整中と判定されている期間では上記観測像を動画として符号化し、非調整中と判定されている期間では上記観測像を高精細の静止画像として符号化するものである。 For example, as disclosed in Patent Document 1, an observation apparatus having a microscope for observing a subject and a remote apparatus connected to the observation apparatus via a communication line are provided, and the microscope is a remote observer. Operates through the communication line, encodes the captured image of the observation image of the microscope, transmits it to the remote device through the communication line, decodes the encoded data received on the observer side, and displays the decoded image on the display device There is a remote observation system for the subject. The subject remote observation system is provided with a determination unit that determines whether or not the imaging element (setting of each part of the microscope) is being adjusted, and the observation image is encoded as a moving image during the period when it is determined that the adjustment is being performed. The observed image is encoded as a high-definition still image during a period in which it is determined that no adjustment is being performed.
また、特許文献2に開示されているように、半導体集積回路等に電子ビームを照射して電位コントラスト分布を観測する電子ビームテスタの遠隔制御システムがある。この遠隔制御システムでは、遠隔地の解析者が通信回線を通じて電子ビームテスタを操作し、解析装置で観測された画像データを、所定のデータ量に圧縮して符号化し、通信回線を通じて所定のフレームレートで連続的に解析者側に転送し、解析者側で受信した符号化データを復号化し、表示装置に画像を表示する。このとき、符号化データの圧縮/転送条件は、操作目的と画像内容に応じて、あらかじめ設けられた圧縮/転送モード判定テーブルを用いて決定される。すなわち、符号化データの圧縮/転送条件は、電子ビームテスタの操作応答情報に基づき、符号化するときの操作応答状態に対応する圧縮/転送モードを判定テーブルの中からその都度選択し、圧縮/転送条件を自動的に切り替える動作が行われる。
しかしながら、特許文献1に開示されている被検体遠隔観測システムにあっては、顕微鏡の観測像を撮像した撮像画像は、動画符号化部または静止画符号化部によって各々異なる符号化方式で符号化されるので、符号化データを復号化して連続表示する際に、自然で滑らかな画像に再生するため、再生モードの切り換えを複雑に制御する必要があった。また、通信回線が有する通信容量に対して、当該システムの単位時間あたりのデータ転送量であるデータ転送レートは経時的に変動するため、同一の通信回線を使用する他の者の使用状況によっては、回線の容量オーバーによる通信効率の低下やその他障害が発生し、複雑に通信制御する必要があった。 However, in the subject remote observation system disclosed in Patent Document 1, the captured image obtained by capturing the observation image of the microscope is encoded by different encoding methods by the moving image encoding unit or the still image encoding unit. Therefore, when the encoded data is decoded and continuously displayed, it is necessary to control the switching of the reproduction mode in order to reproduce a natural and smooth image. In addition, the data transfer rate, which is the data transfer amount per unit time of the system, changes over time with respect to the communication capacity of the communication line, so depending on the usage status of others who use the same communication line As a result, the communication efficiency declined due to the excess line capacity and other problems occurred, and it was necessary to control communication in a complicated manner.
また、特許文献2に開示されている遠隔制御システムにあっては、圧縮/転送モードを判定する判定テーブルは、操作応答情報に基づいて画質とフレームレートを決定しているので、同じ画質とフレームレートに決定したとしても、解析装置から出力された画像データの内容によって、符号化データのデータ量が異なるものであった。例えば、単純な画像の場合には、同様の画質に符号化してもデータ量は比較的小さくて済むが、色の種類の多い複雑な画像の場合には高画質に符号化すると1フレームのデータ量は大きくなってしまう。従って、1フレームのデータ量とフレームレートの積で定まるその画像のデータ転送レートは、解析装置で観測された画像データの内容によって変動するため、同一の通信回線を使用する他の者の使用状況によっては、回線の容量オーバーによる通信効率の低下やその他障害が発生し、安定な通信が行われにくいものであった。 In the remote control system disclosed in Patent Document 2, the determination table for determining the compression / transfer mode determines the image quality and the frame rate based on the operation response information. Even if the rate is determined, the data amount of the encoded data differs depending on the content of the image data output from the analysis device. For example, in the case of a simple image, the amount of data may be relatively small even if it is encoded to the same image quality, but in the case of a complex image with many types of colors, if one image is encoded with a high image quality, one frame of data The amount gets bigger. Therefore, the data transfer rate of the image, which is determined by the product of the data amount of one frame and the frame rate, varies depending on the content of the image data observed by the analysis apparatus. Therefore, the usage status of others who use the same communication line Depending on the situation, the communication efficiency may be reduced due to the excess line capacity, and other problems may occur, making stable communication difficult.
この発明は、上記背景技術に鑑みてなされたもので、一般的な公衆回線等の通信インフラを利用しながらも安定な通信が可能であって、遠隔地の診断医師等に、常に診断し易い連続画像を送ることができる遠隔診断装置を提供することを目的とする。 The present invention has been made in view of the above-described background art, and enables stable communication while using a communication infrastructure such as a general public line, and is always easy to diagnose for a remote diagnosis doctor or the like. An object of the present invention is to provide a remote diagnostic apparatus capable of sending continuous images.
この発明は、被検査体を顕微鏡で観察し、カメラを介して画像データを出力する観察機器と、通信回線を通じて送られた前記顕微鏡の駆動命令を受信する駆動命令受信部と、その駆動命令に基づいて前記顕微鏡の各調整機構に駆動信号を出力する駆動制御部と、前記顕微鏡の動作を監視して動作状態情報を出力する動作状態監視部と、前記カメラが出力する前記画像データを所定の符号化データに変換し前記通信回線を通じて出力する画像通信部とが設けられた観察機器側端末と、前記顕微鏡の前記駆動命令を前記通信回線を通じて出力する駆動命令送信部と、前記符号化データを前記通信回線を通じて受信する符号化データ受信部と、受信した前記符号データを元の画像データに戻して出力する復号化部と、前記復号化した前記画像データに基づいて画像を表示する表示装置とが設けられた診断側端末とを備えた遠隔診断装置であって、前記観察機器側端末の前記画像通信部は、前記動作状態情報に基づいて、前記符号化データの転送レートを決定する転送レート決定部と、前記動作状態情報に基づいて、前記符号化データの画質を決定する画質決定部と、前記観察機器から出力された前記画像データを、前記画質決定部が決定した画質に基づいてデータ量に圧縮して符号化データに変換する符号化部と、決定された前記転送レートに基づき、前記符号化データを前記診断側端末へ通信回線を通じて出力する符号化データ送信部とを備えた遠隔診断装置である。 The present invention provides an observation device that observes an object to be inspected with a microscope and outputs image data through a camera, a drive command receiving unit that receives a drive command for the microscope sent through a communication line, and a drive command Based on a drive control unit that outputs a drive signal to each adjustment mechanism of the microscope, an operation state monitoring unit that monitors the operation of the microscope and outputs operation state information, and the image data output by the camera is a predetermined value. An observation apparatus side terminal provided with an image communication unit that converts into encoded data and outputs through the communication line, a drive command transmission unit that outputs the drive command of the microscope through the communication line, and the encoded data A coded data receiving unit for receiving the data through the communication line; a decoding unit for returning the received coded data to original image data; and the decoded image data A diagnostic diagnostic terminal provided with a display device for displaying an image based on the diagnostic communication terminal, wherein the image communication unit of the observation equipment terminal is based on the operating state information A transfer rate determining unit that determines a data transfer rate; an image quality determining unit that determines an image quality of the encoded data based on the operation state information; and the image data output from the observation device, the image quality determining unit An encoding unit that compresses the data into data based on the image quality determined by the unit and converts the data into encoded data; and a code that outputs the encoded data to the diagnosis side terminal through a communication line based on the determined transfer rate. A remote diagnostic apparatus including a data transmission unit.
前記画質決定部は、前記動作状態情報に基づいて観察者による前記顕微鏡の設定途中か観察中かを検出し、顕微鏡設定中は相対的に画質を落として画像送信間隔を短くし、設定終了後観察中であると判断されたときは、相対的に前記画質を上げて送信間隔を長くする制御を行うものである。 The image quality determining unit detects whether the microscope is being set or observed by an observer based on the operation state information, and relatively reduces the image quality during the microscope setting to shorten the image transmission interval. When it is determined that the image is being observed, control is performed to relatively increase the image quality and lengthen the transmission interval.
前記転送レート決定部は、前記動作状態情報に基づいて観察者による前記顕微鏡の設定が完了し一定時間以上前記顕微鏡の操作がない場合は、前記転送レートを所定の低い値に低下させるものである。 The transfer rate determination unit is configured to reduce the transfer rate to a predetermined low value when the setting of the microscope by an observer is completed based on the operation state information and the microscope is not operated for a predetermined time. .
また、前記転送レート決定部が決定した転送レートと、前記符号化した前記画像データのデータ量とに基づいて、前記符号化データを、前記通信回線に出力する間隔を算出する次データ送信間隔算出部を備えたものである。 Further, a next data transmission interval calculation for calculating an interval for outputting the encoded data to the communication line based on the transfer rate determined by the transfer rate determining unit and the data amount of the encoded image data. It has a part.
さらに、前記観察機器は、前記被検査体である病理組織を光学顕微鏡で観察して、前記観察機器側端末へ観察画像を送り、前記診断側端末は、前記病理組織の観察画像を前記表示装置により表示して、病理診断可能とする遠隔診断装置である。 Further, the observation device observes a pathological tissue that is the object to be inspected with an optical microscope, and sends an observation image to the observation device side terminal. The diagnosis side terminal displays the observation image of the pathological tissue on the display device. This is a remote diagnosis device that can display a path and enable pathological diagnosis.
この発明の遠隔診断装置によれば、観察機器側端末と診断側端末との通信は、転送するデータの大小にかかわらず、所定の範囲内の転送レートで行われるよう制御されるため、同じ通信回線を使用する他の者のデータ通信状態との関係による通信障害が発生しにくく、安定度の高い通信が可能であり、通信制御も容易である。また、所定の転送レートで、フレームレートが高く、顕微鏡を操作するのに適した符号化条件と、詳細な診断に適した精細な画質を得る符号化条件の切り換えが自動的に行われるので、診断医師側の表示装置には、所望の品質の画像が滑らかに連続再生され、診断医師等は、意図通りの診断を苛立ちなく行うことができる。 According to the remote diagnosis apparatus of the present invention, the communication between the observation apparatus side terminal and the diagnosis side terminal is controlled to be performed at a transfer rate within a predetermined range regardless of the size of the data to be transferred. Communication failure due to the relationship with the data communication status of other people using the line is unlikely to occur, highly stable communication is possible, and communication control is also easy. In addition, since the frame rate is high at a predetermined transfer rate, the coding conditions suitable for operating the microscope and the coding conditions for obtaining a fine image quality suitable for detailed diagnosis are automatically switched. An image of a desired quality is smoothly and continuously reproduced on the display device on the diagnosis doctor side, and the diagnosis doctor or the like can perform the intended diagnosis without irritation.
また、顕微鏡の動作状態に基づいて顕微鏡の操作が完了したと認識したときには、システムの転送レートを大幅に低下させるので、診断に支障のない範囲で、使用している通信回線の負担を大幅に低減することができる。 In addition, when it is recognized that the operation of the microscope has been completed based on the operating state of the microscope, the transfer rate of the system is greatly reduced, so that the burden on the communication line used is greatly increased within the range that does not interfere with the diagnosis. Can be reduced.
以下、この発明の一実施形態について、図面に基づいて説明する。遠隔診断装置10は、診断医師が光学顕微鏡を遠隔操作し、光学顕微鏡を介して取得した被検査体の画像情報を所定の通信回線を通じて受信し、診断を行う遠隔診断装置である。図1に示すように遠隔診断装置10は、被検査体を観察して画像データAnを出力する観察機器12と、観察機器12に接続され、観察機器12の入出力を制御する観察機器側端末14とを備え、例えば臨床医師がいる病院等に設置されている。一方、診断側端末16は、例えば診断側医師のいる特定の研究施設等に設置され、観察機器側端末14と診断側端末16の間は、通信回線網18を介して接続されている。図1のブロック図中の矢印は、以下に説明する情報やデータが送られる向きを示している。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. The
観察機器12は、光学顕微鏡20とカメラ22とで構成されている。光学顕微鏡20は、後述する観察機器側端末14の駆動制御部24から出力される駆動信号によって、被検査体のステージ上の位置、レンズの倍率、フォーカス等の調整機構が駆動され、被検査体の観測像の構図などが調整される。カメラ22は、例えばCCDカメラやCMOSカメラであって、光学顕微鏡20の観測像を撮像し、その撮像画像を所定のデジタル形式の画像データAnとして出力するものである。
The
観察機器側端末14は、診断側端末16から送信された光学顕微鏡20に対する駆動命令を受信して駆動制御部24に送る駆動命令受信部26と、その駆動命令を光学顕微鏡20の各調整機構を駆動する駆動信号に変換して出力する駆動制御部24を備えている。駆動制御部24は、光学顕微鏡12の動作状態を監視して、後述する動作状態監視部28に出力する。
The observation
また、光学顕微鏡20の動作状態を監視する動作状態監視部28が設けられ、動作状態監視部28が取得した動作状態情報Bnは、動作状態送信部30、モニタ32、画像通信部34に向けて随時送られている。動作状態送信部30は、動作状態情報Bnを通信回線網18を通じて診断側端末16に送信するものである。モニタ32は、カメラ22が出力する画像データAnを画像表示するほか、動作状態情報Bnの表示等も行い、診断中に臨床医師が使用する。
Further, an operation
画像通信部34は、転送レート決定部36、画質決定部37、符号化部38、次データ送信間隔算出部40、および符号化データ送信部42により構成されている。画像通信部34は、画像データAnと動作状態情報Bnを取得し、画像データAnの符号化条件と通信条件を決定し、各条件に基づいて符号化データFnを作成し、診断側端末16に向けて送信する動作を行うものである。各部の個別の機能については、後述する動作説明の中で詳しく述べる。
The
診断側端末16は、診断医師が出した光学顕微鏡20に対する駆動命令を駆動命令受信部26に向けて送信する駆動命令送信部46と、動作状態送信部30から送信された動作状態情報Bnを受信する動作状態受信部48を備えている。また、画像通信部34から送信された符号化データFnを受信する符号データ受信部50と、符号化データFnを元の画像データである復号化データHnに変換する復号化部52を備えている。そして、モニタ54は、その復号化データHnに基づいた画像を表示するほか、動作状態情報Bnの表示等も行い、診断中に診断医師が使用する。上記符号化データFnの送受信は所定のフレームレートで連続して行われ、モニタ52には、静止画が連続した動的画像が表示されることとなる。
The
また、観察機器側端末14と診断側端末16には、図示しない入出力インターフェースが接続されている。さらに、臨床医師および診断医師が操作して画像データ通信の最大通信容量を設定できるようにしても良い。
An input / output interface (not shown) is connected to the observation
次に、遠隔診断装置10の動作について説明する。まず臨床医師は、被検査体を光学顕微鏡20のステージにセットし、観察機器側端末14を適宜調整し、診断環境を整える。この段階でモニタ32,54には、臨床医師の調整による画像が表示される。
Next, the operation of the
診断医師による診断が始まると、診断医師は、モニタ54の画像表示を見て被検査体を観察する。そして、画像表示の構図等を調整するため、診断側端末16を操作して光学顕微鏡20のステージ位置調整、レンズ倍率調整、フォーカス調整などを行う駆動命令を出す。すると、この駆動命令は、駆動命令送信部46から通信回線網18を通じて、観察機器側端末14で受信され、駆動命令受信部26を経て、駆動制御部24に伝えられる。そして駆動制御部24は、駆動命令を駆動信号に変換し、光学顕微鏡20の各調整機構を動作させる。
When diagnosis by the diagnostic doctor is started, the diagnostic doctor observes the object to be examined by looking at the image display on the
光学顕微鏡20の各調整機構は、駆動制御部24の駆動信号に基づいて動作し、被検査体の観測像が変化する。カメラ22は観測像を撮像し、撮像画像を所定のデジタル形式の画像データAnとして出力する。そして画像データAnは、モニタ32に送られて画像表示され、同時に画像通信部34にも送られる。
Each adjustment mechanism of the
診断医師の駆動命令に従って光学顕微鏡20の各調整機構が動作する様子は、駆動制御部24を介して動作状態監視部28によって随時監視される。例えば、光学顕微鏡20のステージ調整機構の動作状態、フォーカス調整機構の動作状態、それらの動作が継続または停止している時間等が検出される。これらの動作状態情報Bnは、動作状態送信部30、通信回線網18、動作状態受信部48を介して、診断側端末16のモニタ54に表示され、診断医師に認識される。また、これらの動作状態情報Bnは、同時に画像通信部34にも送られる。
The operation state of each adjustment mechanism of the
画像通信部34は、上述のようにカメラ22の画像データAnと動作状態監視部28の動作状態情報Bnを取得し、観測像の符号化データFnを作成し、診断側端末16に向けて送信する機能を備えている。以下にその動作・機能を、図2のフローチャートに基づいて詳しく説明する。図2において、ステップSP10からステップSP12、及びステップ13,14の流れは、画像1フレーム[Frame]の符号化データFnを処理する動作を示している。
The
まず、図2(a)ステップSP10では、転送レート決定部36が、動作状態情報Bnに基づき、診断医師による光学顕微鏡20の操作が途中であるか、操作が完了したかを判定する。診断医師は、モニタ54を見ながら駆動命令によって光学顕微鏡20を操作し、所望の構図の画像が表示されると、その状態で光学顕微鏡20の状態を固定し、その画像を注視して診断を行うのが一般的である。そこで、転送レート決定部36は、光学顕微鏡20の各調整機構の動作が停止し、その停止状態が一定の時間以下であれば操作が途中であると判定し、停止状態が一定の長時間を超えると、顕微鏡の設定操作が完了したものと判定する。
First, in step SP10 of FIG. 2A, the transfer
そして、転送レート決定部36は、操作が途中であると判定したときは、図3、図4に示すように、転送レートCn[Byte/sec]を、通信回線網18の通信容量に対して余裕のある所定の値に決定する。一方、顕微鏡走査が一定の長時間行われず、操作が完了したと判定したときは、転送レートCnの値を大きく低下させ、通信条件をいわゆるスリープモードに切り換える。スリープモードの転送レートCnの値は、操作が途中であるときに設定された転送レートCnの値に対して、例えば10分の1程度に設定されている。
When the transfer
ステップSP11では、画質決定部37が、動作状態情報Bnに基づき、光学顕微鏡20の各調整機構が動作中であるか、動作が完了した停止中であるかを判定する。判定は操作間隔が所定時間内か否か、または顕微鏡の操作部分により操作の初期か終期か等、種々の条件により判断することができる。そして、停止中であると判定したときは、診断医師が画像を注視して診断を行っている可能性があると考えられるので、画質Dnを相対的に精細な画質に決定する。一方、動作中であると判定したときは、診断医師はまだ診断前の調整を行っているものと考えられるので、画質Dnを相対的に粗めの画質に決定する。
In step SP11, the image
ステップSP12では、符号化部38が、カメラ22から送られた画像データAnを、画質決定部37により決定された画質Dnに基づいて圧縮し、符号化データFnを作成する。ここでの符号化処理は、一定のフレーム間隔で行われ、例えば静止画像の圧縮処理方式として周知のJPEG(Joint Photographic Coding Experts Group)方式を使用して行っている。そして符号化データFnは、次の処理を行う次データ送信間隔決定部40と符号化データ送信部42に出力される。
In step SP12, the
また、図2(b)ステップSP13では、次データ送信間隔決定部40が、転送レート決定部36で決定された転送レートCn[Byte/sec]と符号化部38で作成された最新の符号化データFnのデータ量En[Byte]に基づいて、所定の演算処理を行い、次の画像データ送信間隔を決定する。この処理により、通信回線網18を通じて送信されるフレームレート[Frame/sec]が決まる。
Further, in step SP13 of FIG. 2B, the next data transmission
そして、ステップSP14に移行し、符号化データ送信部42は、符号化部38から一定のフレームレートで出力されてくる符号化データFnを順次取得し、決定された画像データ送信間隔に基づいて、次の画像の送信時期まで待機した後、最新の画像フレームの符号化データFnを送信し、次の画像取得に戻る。
Then, the process proceeds to step SP14, and the encoded
ここで、ステップSP10で決定された転送レートCnが一定の値であるため、データ量Enとフレームレートは、図4(a)のグラフに示すように負の相関関係となる。例えば、複雑な内容の画像データAnはデータ量Enが比較的大きいのでフレームレートは小さくなり、反対に、単純な内容の画像データAnはデータ量Enが比較的小さいのでフレームレートは大きくなる。即ち、符号化部38から送られた符号化データFnは、符号化データ送信部42により所定の転送レートCnという通信条件に従い、通信回線網18を介して診断側端末16に向けて送信される。
Here, since the transfer rate Cn determined in step SP10 is a constant value, the data amount En and the frame rate have a negative correlation as shown in the graph of FIG. For example, the image data An having complicated contents has a relatively large data amount En, so the frame rate is small. On the other hand, the image data An having simple contents has a relatively small data amount En, and the frame rate is large. That is, the encoded data Fn sent from the
このように、画像通信部34は、画像1フレーム分の処理をステップSP10〜SP12、及びステップ13,14の流れで行い、それが繰り返される。
As described above, the
診断側端末16の符号化データ受信部50は、所定の間隔で連続送信されてくる符号化データFnを受信し、順次復号化部52に出力する。復号化部52に送られた符号化データFnは、復号化部52により復号化データHnに復号化され、さらにD/A変換等の処理が行われてモニタ54により画像表示される。モニタ54は復号化データHnに基づく画像を順次表示するので、診断医師は、実質的に動画像を見ている感覚で光学顕微鏡20の操作と診断を行うことができる。
The encoded data receiving unit 50 of the
次に、診断医師が光学顕微鏡20の操作と診断を行っているときの、通信回線網18における転送レートCnの変化を、図3、図4(a)、(b)に基づいて説明する。図4(a)、(b)に示すように、診断画像の画像データAnを精細な画質に符号化すると、相対的にデータ量は大きくなるが、粗い画質に圧縮するとデータ量は小さくなる。この実施形態のデータ通信においては、一定の転送レートの範囲内で、画質優先の場合とフレームレートが優先する場合を、光学顕微鏡20の動作状態により、上述の処理に従って自動的に切り換えて制御される。
Next, the change in the transfer rate Cn in the
観察機器側端末14では、光学顕微鏡20を操作して表示画像を所望の構図にするまでの期間T1と、光学顕微鏡20の動作が停止して操作が完了したと判定されるまでの一定の期間T2は、転送レートCnは一定の値に推移するように設定される。観察機器側端末14により顕微鏡操作中と判断される期間T1は、画質を落として、フレームレートを上げて、画像の動きを滑らかなものにする。また、顕微鏡動作により診断中と判断された期間T2は、転送レートCnを一定のまま、画質を優先的に高くして、フレームレートは低くなるようにする。
In the observation
さらに、一定の長期間顕微鏡操作が行われない期間T3は、スリープモードにして転送レートCnを低下させ、画質を維持しつつフレームレートを下げて、通信回線網18の負担を軽減する。なお、転送レートCnが低下しても、画質決定部37が決定する画質Dnは確保されるため、診断には全く支障がない。また、診断医師が表示画像の構図を変更しようと光学顕微鏡20を操作すると、転送レートCnはもう一度期間T1の状態に戻ることになる。
Further, during a period T3 during which the microscope operation is not performed for a certain long period, the transfer mode Cn is lowered, the frame rate is lowered while maintaining the image quality, and the burden on the
以上説明した遠隔診断装置10によれば、観察機器側端末14と診断側端末16との通信は、一定の転送レートCnの範囲内で行われるよう制御されるため、同じ通信回線網18を使用する他の者のデータ通信状態との関係による通信効率の低下や、その他の障害が発生しにくく、通信制御が容易であり、安定度の高い通信が可能である。また、一定の転送レートCnを最大限に有効利用し、かつ、フレームレートが高く光学顕微鏡20を操作するのに適した符号化条件と、詳細な診断に適した精細な画質を得る符号化条件との切り換えが自動的に行われるので、モニタ54には診断医師が所望する品質の画像が滑らかに連続再生され、診断医師は、意図通りの診断を苛立ちなく行うことができる。
According to the
また、光学顕微鏡20の動作状態に基づいて顕微鏡の操作が完了したと認識したときには、転送レートを大幅に低下させる(スリープモード)ので、診断に支障のない範囲で、通信回線網18の負担を大幅に低減することができる。
Further, when it is recognized that the operation of the microscope is completed based on the operation state of the
また、図4(b)に示すように、画像データAnが単純な場合または複雑な場合によってもデータ量Enは変化するが、転送レートCnを一定の範囲内で設定するように制御し、フレームレートを変化させることで、通信効率を低下させること無く、診断医師が所望する品質の画像を滑らかに連続再生することが可能である。 Further, as shown in FIG. 4B, the data amount En varies depending on whether the image data An is simple or complex, but the transfer rate Cn is controlled to be set within a certain range, and the frame is controlled. By changing the rate, it is possible to smoothly and continuously reproduce images of the quality desired by the diagnostic doctor without lowering the communication efficiency.
また、図5に示す遠隔診断装置60ように、一の診断側端末16と、複数の観察機器12及び観察機器側端末14とを通信回線網18を介して接続する構成にしても良い。遠隔診断装置60においても、遠隔診断装置10と同様に安定度の高い通信を行うことができるので、一般公衆回線を利用したインターネット等の通信ネットワークでも通信障害等が発生しにくい。従って、全国各地の病院等に観察機器12及び観察機器側端末14を設置し、一人の診断医師が使用する診断側端末16との間を既存のインターネットを介して接続することによって、大がかりな通信設備を整備することなく、信頼性の高い遠隔診断システム網を容易に構築することができる。
Further, like the
なお、本発明は上記実施形態に限定するものではなく、観察機器は、被検査体の観測像を撮像し、撮像画像を画像データとして出力できるものであればよく、一般的な光学顕微鏡、電子顕微鏡等の各種顕微鏡、内視鏡、その他画像情報を取得可能な装置とカメラ等を適宜組み合わせて構成することができる。さらに、観察機器側端末及び診断側端末に設けられた各機能部は、各々ソフトウエア的に設けられたものであるが、各々個別にハードウエアを備えているものでも良く、これらを組み合わせたものでも良い。 Note that the present invention is not limited to the above-described embodiment, and the observation apparatus only needs to be able to capture an observation image of an object to be inspected and output the captured image as image data. Various microscopes such as microscopes, endoscopes, and other devices capable of acquiring image information and cameras can be appropriately combined. Furthermore, each functional unit provided in the observation equipment side terminal and the diagnosis side terminal is provided in software, but each may be provided with hardware individually, or a combination of these. But it ’s okay.
また、動作状態監視部が出力する動作状態情報Bnは、顕微鏡等のステージ位置やレンズ倍率等に限定するものではない。動作状態情報Bnの内容は、常に診断医師が診断をしやすい画質の画像を提供するために設定されるものであって、画質の切り換えを行うべき動作状態にあるか否かを判定するために必要な情報が得られるものであればよい。 Further, the operation state information Bn output by the operation state monitoring unit is not limited to the stage position of the microscope or the like, the lens magnification, and the like. The contents of the operation state information Bn are always set in order to provide an image having an image quality that is easy for a diagnosis doctor to make a diagnosis, and in order to determine whether or not the operation state is to be switched. What is necessary is just to be able to obtain necessary information.
10,60 遠隔診断装置
12 観察機器
14 観察機器側端末
16 診断側端末
18 通信回線網
20 光学顕微鏡
22 カメラ
24 駆動制御部
28 動作状態監視部
32,54 モニタ
34 画像通信部
36 転送レート決定部
37 画質決定部
38 符号化部
40 次データ送信間隔算出部
42 符号化データ送信部
50 符号データ受信部
52 復号化部
An 画像データ
Bn 動作状態情報
Cn 転送レート
Dn 画質
En データ量
Fn 符号化データ
Hn 復号化データ
10, 60
Claims (5)
通信回線を通じて送られた前記顕微鏡の駆動命令を受信する駆動命令受信部と、その駆動命令に基づいて前記顕微鏡の各調整機構に駆動信号を出力する駆動制御部と、前記顕微鏡の動作を監視して動作状態情報を出力する動作状態監視部と、前記カメラが出力する前記画像データを所定の符号化データに変換し前記通信回線を通じて出力する画像通信部とが設けられた観察機器側端末と、
前記顕微鏡の前記駆動命令を前記通信回線を通じて出力する駆動命令送信部と、前記符号化データを前記通信回線を通じて受信する符号化データ受信部と、受信した前記符号データを元の画像データに戻して出力する復号化部と、前記復号化した前記画像データに基づいて画像を表示する表示装置とが設けられた診断側端末と、
を備えた遠隔診断装置において、
前記観察機器側端末の前記画像通信部は、
前記動作状態情報に基づいて、前記符号化データの転送レートを決定する転送レート決定部と、
前記動作状態情報に基づいて、前記符号化データの画質を決定する画質決定部と、
前記観察機器から出力された前記画像データを、前記画質決定部が決定した画質に基づいたデータ量に圧縮して符号化データに変換する符号化部と、
決定された前記転送レートに基づき、前記符号化データを前記診断側端末へ通信回線を通じて出力する符号化データ送信部と、
を備えたことを特徴とする遠隔診断装置。 An observation device for observing the inspected object with a microscope and outputting image data via a camera;
A drive command receiving unit that receives a drive command for the microscope sent through a communication line, a drive control unit that outputs a drive signal to each adjustment mechanism of the microscope based on the drive command, and monitors the operation of the microscope An observation state side terminal provided with an operation state monitoring unit that outputs operation state information, and an image communication unit that converts the image data output from the camera into predetermined encoded data and outputs the encoded data through the communication line;
A drive command transmitter for outputting the drive command of the microscope through the communication line; an encoded data receiver for receiving the encoded data through the communication line; and returning the received code data to the original image data. A diagnosis-side terminal provided with a decoding unit for outputting and a display device for displaying an image based on the decoded image data;
In a remote diagnosis apparatus equipped with
The image communication unit of the observation device side terminal is:
A transfer rate determining unit that determines a transfer rate of the encoded data based on the operation state information;
An image quality determination unit that determines an image quality of the encoded data based on the operation state information;
An encoding unit that compresses the image data output from the observation device into a data amount based on the image quality determined by the image quality determination unit, and converts the data into encoded data;
Based on the determined transfer rate, an encoded data transmission unit that outputs the encoded data to the diagnosis side terminal through a communication line;
A remote diagnosis apparatus comprising:
The observation device observes a pathological tissue that is the object to be inspected with an optical microscope, and sends an observation image to the observation device side terminal. The diagnosis side terminal displays the observation image of the pathological tissue on the display device. 5. The remote diagnosis apparatus according to claim 1, 2, 3, or 4, wherein pathological diagnosis is possible.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008104561A JP4861364B2 (en) | 2008-04-14 | 2008-04-14 | Remote diagnostic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008104561A JP4861364B2 (en) | 2008-04-14 | 2008-04-14 | Remote diagnostic device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009260465A true JP2009260465A (en) | 2009-11-05 |
JP4861364B2 JP4861364B2 (en) | 2012-01-25 |
Family
ID=41387358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008104561A Active JP4861364B2 (en) | 2008-04-14 | 2008-04-14 | Remote diagnostic device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4861364B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015515013A (en) * | 2012-01-30 | 2015-05-21 | ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー | Microscope and microscope system with wireless radio interface |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08331551A (en) * | 1995-06-05 | 1996-12-13 | Nec Corp | Remote control system |
JPH10274741A (en) * | 1997-03-31 | 1998-10-13 | Tsushin Hoso Kiko | Specimen remote observation system |
JP2000516784A (en) * | 1996-08-23 | 2000-12-12 | ドイチェ テレコム アクチェンゲゼルシャフト | Image transmission remote object inspection device |
JP2003259360A (en) * | 2002-02-28 | 2003-09-12 | Canon Inc | Image change detection system and control method thereof, image change detection apparatus, communication apparatus, image change detection method, communication method, and storage medium |
-
2008
- 2008-04-14 JP JP2008104561A patent/JP4861364B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08331551A (en) * | 1995-06-05 | 1996-12-13 | Nec Corp | Remote control system |
JP2000516784A (en) * | 1996-08-23 | 2000-12-12 | ドイチェ テレコム アクチェンゲゼルシャフト | Image transmission remote object inspection device |
JPH10274741A (en) * | 1997-03-31 | 1998-10-13 | Tsushin Hoso Kiko | Specimen remote observation system |
JP2003259360A (en) * | 2002-02-28 | 2003-09-12 | Canon Inc | Image change detection system and control method thereof, image change detection apparatus, communication apparatus, image change detection method, communication method, and storage medium |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015515013A (en) * | 2012-01-30 | 2015-05-21 | ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー | Microscope and microscope system with wireless radio interface |
Also Published As
Publication number | Publication date |
---|---|
JP4861364B2 (en) | 2012-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7418480B2 (en) | Medical imaging data streaming | |
US9131913B2 (en) | Region-selective fluoroscopic image compression | |
US20040230094A1 (en) | Remote operation support system and method | |
JP5364459B2 (en) | Image transmitting apparatus, image receiving apparatus, image transmitting method, image receiving method, and program | |
EP3534620B1 (en) | Signal processing device and method, and program | |
CA2283364C (en) | Method and apparatus for capturing and automatically transferring an x-ray image to a remote location | |
US8086014B2 (en) | X-ray image diagnostic apparatus and control method, and image processing method | |
WO2015046641A1 (en) | Medical image processor for telemedicine and remote medical diagnosis system comprising same | |
US8868716B2 (en) | Method and apparatus for dynamically adapting image updates based on network performance | |
EP2584523A1 (en) | Image management device | |
JP4861364B2 (en) | Remote diagnostic device | |
US20230172426A1 (en) | Medical system, processing protocol control method, and signal processing device | |
WO2022030450A1 (en) | Medical image system and medical image processing device | |
JPH09117417A (en) | Phthologic image telediagnosis system | |
US11902692B2 (en) | Video processing apparatus and video processing method | |
US20220166962A1 (en) | Video signal processing apparatus, video signal processing method, and image pickup apparatus | |
JPH10274741A (en) | Specimen remote observation system | |
CN106231261B (en) | A kind of tuberculosis medical record information acquisition device | |
US12034935B2 (en) | Reception apparatus, reception method, and image processing system | |
CN110557623A (en) | Mixed reality operation auxiliary equipment, auxiliary method and mixed reality operation system | |
WO2023189520A1 (en) | Information processing system, information processing method, and program | |
US20230128027A1 (en) | Medical-use control system, image processing server, image converting apparatus, and control method | |
CN116138715B (en) | Internal cavity mirror system with adjustable fluorescence shooting angle | |
US20220046248A1 (en) | Reception apparatus, reception method, and image processing system | |
JPH10224783A (en) | Image transmitter with resolution selecting function and image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110826 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20110809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110928 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4861364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |