JP2006071430A - 診断支援システム - Google Patents

Abstract

【課題】表示装置などに視線を移動しなくても顕微鏡で観察しながら観察所見を編集したり、レポートを作成することができるようにする
【解決手段】病理診断における顕微鏡観察中にその視野中にレポート作成に必要な文字や図形等をオーバーレイ表示する。病理診断時に、外部の参考となる教師画像を表示し、両画像を比較参照する。マウス、キーボード、音声入力などのユーザインターフェイスを用いることによって、モニタなどに視線を移動しなくてもレポート作成に必要な文字や図形等のオブジェクトを視野中で操作する。顕微鏡視野内でマウス、キーボード、音声入力などに応じてマウスカーソルが移動した場合に、顕微鏡のステージを移動させて、マウスカーソルが視野のほぼ中央付近に来るように顕微鏡を動作させるものである。
【選択図】図１

Description

本発明は、病理検査で顕微鏡を観察しながらその観察所見を作成するレポート作成時の簡易化を図った診断支援システムに関する。

最近の病理検査では、顕微鏡静止画像を観察しながら、その観察所見を編集したり、レポートを作成したりしている。顕微鏡静止画像を観察しながら所見レポートを作成するものとして、特許文献１に記載されたものがある。

特許文献１に記載されたものは、作業者が、顕微鏡を見ながら発声した病理所見やコマンドに関する発音を認識して、その結果を音声認識合成装置で単語に変換して、レポートを作成するものである。
特開平０８−１２９４７６号公報

特許文献１に記載されたものは、顕微鏡を見ながら他の作業を中断することなく音声でデータ入力することができるので便利であるが、入力内容を確認するために別途表示装置の表示内容を確認する必要があり、その度に顕微鏡から視線を表示装置に移動させる必要が生じる。

この発明は、上述の点に鑑みなされたものであり、表示装置などに視線を移動しなくても顕微鏡で観察しながら観察所見を編集したり、レポートを作成することのできる診断支援システムを提供することを目的とする。

本発明の診断支援システムの第１の特徴は、顕微鏡視野中の観察像を生成する手段と、この生成手段によって生成された観察像上に前記観察像の診断レポートに関する文字や図形等をオーバーレイ表示する表示手段とを備えたことにある。
これは、病理診断における顕微鏡観察中にその視野中にレポート作成に必要な文字や図形等がオーバーレイ表示されるので、モニタなどに視線を移動しなくても顕微鏡視野内でレポートを作成することができるようにしたものである。

本発明の診断支援システムの第２の特徴は、前記第１の特徴に記載された診断支援システムにおいて、前記表示手段が、顕微鏡視野中の観察像を分割して、その一部に外部の画像を表示することにある。
これは、病理診断時に、外部の参考となる教師画像を表示し、両画像を比較参照することによって、この教師画像に基づいた適切な病理診断を行なうことができるようにしたものである。

本発明の診断支援システムの第３の特徴は、前記第１の特徴又は第２の特徴に記載された診断支援システムにおいて、前記視野中で前記文字や図形等のオブジェクトを操作するためのマウス、キーボード、音声入力を含むオブジェクト操作器をさらに備えたことにある。
これは、マウス、キーボード、音声入力などのオブジェクト操作器（ユーザインターフェイス）を用いることによって、モニタなどに視線を移動しなくてもレポート作成に必要な文字や図形等のオブジェクトを視野中で操作することができるようにしたものである。

本発明の診断支援システムの第４の特徴は、前記第１の特徴、第２の特徴又は第３の特徴に記載された診断支援システムにおいて、前記顕微鏡のステージの動作を操作するためのマウス、キーボード、音声入力を含むステージ操作器をさらに備えたことにある。
これは、顕微鏡視野内でマウス、キーボード、音声入力などに応じてマウスカーソルが移動した場合に、顕微鏡のステージをステージ操作器で移動させて、マウスカーソルが視野のほぼ中央付近に来るように顕微鏡を動作させるものである。

本発明によれば、表示装置などに視線を移動しなくても顕微鏡で観察しながら観察所見を編集したり、レポートを作成することができる。

以下添付図面に従って本発明に係る診断支援システムの好ましい実施の形態について説明する。図１は、本発明が適用される診断支援システム全体のハードウエア構成を示すブロック図である。顕微鏡１の鏡筒部１１に半透過鏡のビームスプリッタ１２とカメラ１３とを用いた画像取得手段１４と、半透過鏡を用いた光学的画像重ね合わせ手段（オーバーレイ表示手段）１５とを取り付け、顕微鏡視野中にレポート編集画面を表示させるようにしたものである。

画像取得手段１４によって取り出られた画像は、画像保存手段１６に保存されると共にレポート作成手段１７に出力される。レポート作成手段１７に取り込まれ画像はレポートの作成に用いられる。ユーザーが顕微鏡１を観察しながら、マイク２１、図形操作手段（マウス）２２、キャラクタ操作手段（キーボード等）２３のユーザインターフェイスを操作すると、ＵＩ制御手段２４がその操作量や音声信号等を検知し、編集手段２５によってモニタ手段２６及び顕微鏡視野中のオーバーレイ表示手段１５の表示画面上にあるマウスカーソルの制御、文字列の操作、線や円等の描画オブジェクトの操作を行う。

このようにして顕微鏡視野中で編集された、文章、図等のレポートの構成要素は、レポート作成手段１７によって、画像取得手段１４によって取り出された画像と結合され、さらに、読影レポートとしてレポート保存手段１８に保存される。レポート保存手段１８に保存されたレポートは、ネットワーク上のレポート表示クライアントからの要求に応じて、他の部署で参照可能となっている。すなわち、この診断支援システムは、図示していない通信インターフェイスを介してＬＡＮ（ローカルエリアネットワーク）やインターネット、電話回線などの種々の通信ネットワーク上に接続され、他のコンピュータなどとの間で画像データのやりとりを行えるようになっている。

ＵＩ制御手段２４がマウス２２の動きを取得し、マウスカーソルが顕微鏡視野の辺縁部に移動した場合、顕微鏡制御手段１９によって、顕微鏡の試料を載せるステージ１Ａのモータ１Ｂを制御し、ステージ１Ａを移動させることができる。すわなち、顕微鏡制御手段１９は、マウス２２の移動量と方向を検出し、ステージ１Ａを駆動するＸＹ２軸のモータ１Ｂを駆動し、マウスカーソルの移動する方向に顕微鏡視野を移動させる。

図２は、顕微鏡視野中でレポートを作成する時の視野イメージを示す図である。レポート（細胞に異常はない。）の表示は、図２（Ａ）の様に円形視野中でも、図２（Ｂ）の様に円形視野外のどちらでも良い。円形視野中に、レポートの所見を生成するテキストボックスと、図形を作成するために、図形オブジェクト及びハンドリングするためのマウスポインタをオーバーレイ表示し、顕微鏡視野内で、アノテーションを作成することを可能とする。

なお、図２は、顕微鏡の生画像に対して、オーバーレイ表示する場合を示すものである。顕微鏡による観察は、色の再現性等が重要であり、生画像の観察が必要だからである。なお、参照として、モニタ上で画像を見ることも有用である。この実施の形態では、画像取得手段１４で取得した画像に対して、オーバーレイ表示を行い、それをモニタ上に表示してもよい。この表示の場合、生画像と画像取得手段１４で取得された画像との違いだけであり、視野イメージとしては、図２と同様になる。

図３は、診断支援システムにおけるデータの流れを示す図である。顕微鏡１の対物レンズ１Ｃより入力される試料の検体画像は、ビームスプリッタ１２で、２系統に分けられる。分けられた一方の検体画像は、画像オーバーレイ手段１５を介して、顕微鏡１の接眼レンズ１Ｄ側にオーバーレイ画像として送られ、他方の検体画像は、画像取得手段１４側のカメラ１３に送られる。画像取得手段１４側では、カメラ１３によって生の検体画像をデジタル化し、そのデジタル検体画像を画像保存手段１６に保存する。保存されたデジタル検体画像は、レポート用のキー画像としてレポート文書と共に依頼科などにレポートとして配信され、利用される。

一方、マイク２１、図形操作手段（マウス）２２、キャラクタ操作手段（キーボード等）２３のユーザインターフェイスの操作（マウス操作、キーボード操作、音声操作など）に応じてレポート作成手段１７で作成されたレポート文章は、レポート保存手段１８に保存され、キー画像と共にレポートとして配信され、利用される。また、レポート作成手段１７で作成されたレポート文章は、デジタルコンテンツの編集画面として、オーバーレイ表示手段１５に送られる。

接眼レンズ１Ｄ側の生画像は、オーバーレイ表示手段１５によって、オーバーレイ画像としてデジタルコンテンツの編集画面と組み合わされ、接眼レンズ１Ｄを介してユーザの目に届く。なお、オーバーレイ表示手段１５は、接眼レンズ１Ｄと独立していても、一体となっていてもどちらでもよい。

図４は、顕微鏡画像にデジタルコンテンツ（文字情報や描画オブジェクト）をオーバーレイする方法を示す図である。図４に示すしたものは、半透過鏡（ハーフミラー）４１を顕微鏡１の鏡体内に配置し、半透過鏡４１を透過してくる生画像と、顕微鏡１の鏡体の横方向から半透過鏡４１に投影し、全反射する文字列や描画オブジェクト等のアノテーション図形からなるデジタル画像を光学的に重ねあわせることで、顕微鏡１を観察するユーザに、光学的にオーバーレイした画像を表示するようにしたものである。

図５は、光学的にオーバーレイする別の方法を示す図である。図４に示すようにハーフミラーを利用して光学的にオーバーレイする方法以外に、図５（Ａ）に示すように液晶プロジェクターなどで利用されている透過型液晶パネル５１を顕微鏡１の鏡体内に配置することによって電気的にオーバーレイすることも可能である。この場合は、透過型液晶パネル５１を透過する生画像と、液晶パネル５１で生成されるデジタル画像が、顕微鏡を観察するユーザにとって、重なって見えるようになる。また、図５（Ｂ）に示すように、顕微鏡の鏡体内に液晶ディスプレイからなるモニタを組み込み、顕微鏡画像と文字列や描画オブジェクトをコンピュータ上で重ね合わせて画像処理的にオーバーレイ表示する方法もある。しかし、この場合は、顕微鏡の生画像ではないので、色の再現性等が若干劣る場合が有る。。

図６は、病理診断の支援をする機能について説明する図である。顕微鏡１の鏡筒中に液晶によるシャッター６１を配置し、半透過鏡６２と組み合わせることで、全反射／半透過を電気的に制御する液晶フィルタを構成する。この液晶フィルタによって、顕微鏡視野を全反射領域と半透過領域とに分割し、同一視野中に、保存されている教師画像を投影する。図６（Ａ）に示すように現在の観察像を左側に、教師画像等の過去画像を右側に、それぞれ同一視野中に表示することで、画像の比較を可能とすることによって、病理診断を支援することができる。この場合も、透過型液晶パネルを２枚重ねにして、対物レンズ側を液晶シャッターとし、接眼レンズ側を過去画像の表示に用いることもできる。

図７は、マウスのドラッグに合わせて視野を移動する場合の一例を示す図である。図７（Ａ）のように、視野の中央付近にあるマウスカーソルが、図７（Ｂ）のように視野の辺縁部に達したら、マウスの移動量と方向を検出し、顕微鏡制御手段１９によって、顕微鏡１の試料を載せるステージ１Ａのモータ１Ｂを駆動制御し、ステージ１Ａを移動させるようにする。すなわち、マウス２２の移動量と方向を検出し、ステージ１Ａを駆動するＸＹ２軸のモータ１Ｂを駆動し、マウスカーソルの移動する方向に顕微鏡視野を移動させる。

図８は、レポート作成手段１７によって、編集したレポートを所定のフォーマットに変換する例を示す図である。ユーザは、予めレポートのスタイルを設定しておくことによって、観察中に作成した文書や図形等をキー画像とともに自動的にレイアウトし、それをレポートとしての体裁を整え、図８のような所定フォーマットのレポートを作成する。

本発明が適用される診断支援システム全体のハードウエア構成を示すブロック図である。 顕微鏡視野中でレポートを作成する時の視野イメージを示す図である。 診断支援システムにおけるデータの流れを示す図である。 顕微鏡画像にデジタルコンテンツ（文字情報や描画オブジェクト）をオーバーレイする方法を示す図である。 光学的にオーバーレイする別の方法を示す図である。 病理診断の支援をする機能について説明する図である。 マウスのドラッグに合わせて視野を移動する場合の一例を示す図である。 レポート作成手段によって、編集したレポートを所定のフォーマットに変換する例を示す図である。

符号の説明

１…顕微鏡
１１…鏡筒部
１２…ビームスプリッタ
１３…カメラ
１４…画像取得手段
１５…オーバーレイ表示手段
１６…画像保存手段
１７…レポート作成手段
１８…レポート保存手段
１９…顕微鏡制御手段
１Ａ…ステージ
１Ｂ…モータ
１Ｃ…対物レンズ
１Ｄ…接眼レンズ
２１…マイク
２２…図形操作手段（マウス）
２３…キャラクタ操作手段（キーボード等）
２４…ＵＩ制御手段
２５…編集手段
２６…モニタ手段

Claims (4)

1. 顕微鏡視野中の観察像を生成する手段と、この生成手段によって生成された観察像上に前記観察像の診断レポートに関する文字や図形等をオーバーレイ表示する表示手段とを備えたことを特徴とする診断支援システム。
   。
2. 請求項１に記載された診断支援システムにおいて、前記表示手段は、顕微鏡視野中の観察像を分割して、その一部に外部の画像を表示することを特徴とする診断支援システム。
3. 請求項１又は２に記載された診断支援システムにおいて、前記視野中で前記文字や図形等のオブジェクトを操作するためのマウス、キーボード、音声入力を含むオブジェクト操作器をさらに備えたことを特徴とする診断支援システム。
4. 請求項１、２又は３に記載された診断支援システムにおいて、前記顕微鏡のステージの動作を操作するためのマウス、キーボード、音声入力を含むステージ操作器をさらに備えたことを特徴とする診断支援システム。

Images