例示的な実施形態に係る眼科システム及び眼科情報処理装置について、図面を参照しながら詳細に説明する。なお、引用文献の開示事項や任意の公知技術を実施形態に組み合わせることができる。
実施形態の眼科システムは、各種の施設に設置された眼科撮影装置や、可搬型の眼科撮影装置を用いた遠隔医療に用いられる。実施形態における遠隔医療では、少なくとも、眼科撮影装置により取得された医用画像の読影を、この眼科撮影装置が設置された施設から離れた遠隔地において行う医師が関与する。更に、実施形態における遠隔医療では、眼科撮影装置が設置された施設にて検査をアシストする者(補助者)が関与してもよい。
眼科撮影装置が設置される施設の例として、医療機関、眼鏡店、健康診断会場、検診会場、患者の自宅、福祉施設、公共施設、検診車などがある。
眼科撮影装置は、被検眼の撮影に用いられる任意の装置であってよく、スリットランプ顕微鏡が含まれる。また、眼科システムに含まれる複数の眼科撮影装置のいずれかは、スリットランプ顕微鏡と異なるモダリティ(例えば、眼底カメラ、SLO、OCTなど)であってよい。更に、眼科撮影装置は、測定データや撮影画像を解析するためのアプリケーションを備えていてもよい。
実施形態の眼科システムは、被検眼の特性を測定するための眼科測定装置を更に含んでいてもよい。眼科測定装置の例として、視力検査装置(視標呈示装置、フォロプタ等)、眼屈折検査装置(レフラクトメータ、ケラトメータ等)、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザ、視野計、マイクロペリメータなどがある。
〈眼科システム〉
実施形態に係る眼科システムの構成の例を説明する。図1に例示された眼科システム1000は、眼科撮影が行われるN個の施設(第1施設〜第N施設)のそれぞれと、管理サーバ4000と、医師端末5000mとを結ぶ通信路(通信回線)Nを利用して構築されている。
各施設(第n施設:n=1〜N、Nは1以上の整数)には、眼科撮影装置2000−in(in=1〜Kn、Knは1以上の整数)が設置されている。つまり、各施設(第n施設)には、1以上の眼科撮影装置2000−inが設置されている。眼科撮影装置2000−inは、眼科システム1000の一部を構成する。なお、眼科以外の検査を実施可能な検査装置が眼科システム1000に含まれていてもよい。
本例の眼科撮影装置2000−inは、被検眼の撮影を実施する「撮影装置」としての機能と、各種データ処理や外部装置との通信を行う「コンピュータ」としての機能の双方を備えている。他の例において、撮影装置とコンピュータとを別々に設けることが可能である。この場合、撮影装置とコンピュータとは互いに通信可能に構成されてよい。更に、撮影装置の数とコンピュータの数とはそれぞれ任意であり、例えば単一のコンピュータと複数の撮影装置とを設けることができる。
更に、各施設(第n施設)には、補助者や被検者により使用される情報処理装置(端末3000−n)が設置されている。端末3000−nは、当該施設において使用されるコンピュータであり、例えば、タブレット端末やスマートフォン等のモバイル端末、当該施設に設置されたサーバなどであってよい。更に、端末3000−nは、無線型イヤフォン等のウェアラブルデバイスを含んでいてもよい。なお、端末3000−nは、当該施設においてその機能を使用可能なコンピュータであれば十分であり、例えば、当該施設の外に設置されたコンピュータ(クラウドサーバ等)であってもよい。
眼科撮影装置2000−inと端末3000−nとは、第n施設内に構築されたネットワーク(施設内LAN等)や、広域ネットワーク(インターネット等)や、近距離通信技術を利用して通信を行えるように構成されてよい。
眼科撮影装置2000−inは、サーバとしての機能を備えていてよい。この構成が適用される場合、眼科撮影装置2000−inと端末3000−nとが直接に通信を行うように構成することができる。この場合、管理サーバ4000と端末3000−nとの間の通信を眼科撮影装置2000−inを介して行うことができるので、端末3000−nと管理サーバ4000との間で通信を行う機能を設ける必要がなくなる。
管理サーバ4000は、例えば管理センタに設置されている。管理サーバ4000は、ネットワーク(LAN、広域ネットワーク等)を介して、医師端末5000m(m=1〜M、Mは1以上の整数)と通信が可能である。更に、管理サーバ4000は、第1〜第N施設に設置された眼科撮影装置2000−inの少なくとも一部と広域ネットワークを介して通信が可能である。
管理サーバ4000は、例えば、眼科撮影装置2000−inと医師端末5000mとの間の通信を中継する機能と、この通信の内容を記録する機能とを備える。また、管理サーバ4000は、データ処理機能を備えてもよい。例えば、管理サーバ4000は、被検眼の複数の断面画像から3次元画像を形成する処理を実行する3次元画像形成部(プロセッサ、コンピュータプログラムなどを含む)を含んでいてよい。
医師端末5000mは、眼科撮影装置2000−inによって取得された被検眼の画像の読影に用いられるコンピュータを含む。
本実施形態において、「プロセッサ」は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array))等の回路を意味する。プロセッサは、例えば、記憶回路や記憶装置に格納されているプログラムやデータを読み出し実行することで、実施形態に係る機能を実現することができる。
〈眼科撮影装置の構成〉
眼科撮影装置2000−inの構成について説明する。前述したように、眼科撮影装置2000−inは任意のモダリティであってよいが、本実施形態ではスリットランプ顕微鏡が適用される。
ここで、方向を定義しておく。スリットランプ顕微鏡の光学系において最も被検者側に位置するレンズ(対物レンズ)から被検者に向かう方向を前方向(又は、深さ方向、奥行き方向など)とし、その逆方向を後方向とする。また、前方向に直交する水平方向を左右方向とする。更に、前後方向と左右方向の双方に直交する方向を上下方向とする。
例示的なスリットランプ顕微鏡の外観構成を図2に示す。スリットランプ顕微鏡1には、コンピュータ100が接続されている。コンピュータ100は、各種の制御処理や演算処理を行う。顕微鏡本体(光学系等を格納する筐体)とは別にコンピュータ100を設ける代わりに、顕微鏡本体に同様のコンピュータを搭載した構成を適用することも可能である。コンピュータ100の少なくとも一部と、前述した端末3000−nの少なくとも一部とが共通であってもよい。
スリットランプ顕微鏡1はテーブル2上に載置される。基台4は、移動機構部3を介して水平方向に移動可能に構成されている。基台4は、操作ハンドル5を傾倒操作することにより移動される。
基台4の上面には、観察撮影系6及び照明系8を支持する支持部15が設けられている。支持部15には、観察撮影系6を支持する支持アーム16が左右方向に回動可能に取り付けられている。支持アーム16の上部には、照明系8を支持する支持アーム17が左右方向に回動可能に取り付けられている。支持アーム16及び17は、それぞれ独立に且つ互いに同軸で回動可能とされている。
観察撮影系6は、支持アーム16を回動させることで移動される。照明系8は、支持アーム17を回動させることで移動される。支持アーム16及び17のそれぞれは、電気的な機構によって回動される。移動機構部3には、支持アーム16を回動させるための機構と、支持アーム17を回動させるための機構とが設けられている。なお、支持アーム16を手動で回動させることによって観察撮影系6を移動することもできる。同様に、支持アーム17を手動で回動させることによって照明系8を移動することもできる。
照明系8は、被検眼Eに照明光を照射する。前述のように、照明系8を左右方向に回動することができる。更に、照明系8を上下方向に回動できるように構成されてもよい。つまり、照明系8の仰角や俯角を変更できるように構成されていてもよい。このような照明系8のスイング動作により、被検眼Eに対する照明光の投射方向が変更される。
観察撮影系6は、被検眼Eに投射された照明光の戻り光を案内する左右一対の光学系を有する。この光学系は鏡筒本体9内に収納されている。鏡筒本体9の終端は接眼部9aである。検者は接眼部9aをのぞき込むことで被検眼Eを観察する。前述のように、支持アーム16を回動させることにより鏡筒本体9を左右方向に回動させることができる。更に、観察撮影系6を上下方向に回動できるように構成されてもよい。つまり、観察撮影系6の仰角や俯角を変更できるように構成されていてもよい。このような観察撮影系6のスイング動作により、被検眼Eを撮影する方向を変更することができる。
鏡筒本体9に対峙する位置には顎受け台10が配置されている。顎受け台10には、被検者の顔を安定配置させるための顎受部10aと額当て10bが設けられている。
鏡筒本体9の側面には、倍率を変更するための倍率操作ノブ11が配置されている。更に、鏡筒本体9には、被検眼Eを撮影するための撮像装置13が接続されている。撮像装置13は撮像素子を含む。撮像素子は、光を検出して画像信号GS(電気信号)を出力する光電変換素子である。画像信号GSはコンピュータ100に入力される。撮像素子としては、例えば、CCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられる。照明系8の下方位置には、照明系8から出力される照明光束を被検眼Eに向けて反射するミラー12が配置されている。
〈光学系の構成〉
スリットランプ顕微鏡1の光学系の構成例を図3に示す。前述したように、スリットランプ顕微鏡1は、観察撮影系6と照明系8とを備えている。
〈観察撮影系6〉
観察撮影系6は左右一対の光学系を備えている。左右の光学系は、ほぼ同様の構成を有する。検者は、この左右の光学系により被検眼Eを双眼で観察することができる。なお、図3には、観察撮影系6の左右の光学系の一方のみが示されている。観察撮影系6は、左右の光学系の一方のみを備えていてもよい。符号O1は、観察撮影系6の光軸を示す。
観察撮影系6の左右の光学系のそれぞれは、対物レンズ31、変倍光学系32、ビームスプリッタ34、結像レンズ35、プリズム36、及び接眼レンズ37を含む。ここで、ビームスプリッタ34は、左右の光学系の一方又は双方に設けられる。接眼レンズ37は、接眼部9a内に設けられている。符号Pは、接眼レンズ37に導かれる光の結像位置を示す。符号Ecは被検眼Eの角膜を示す。符号Eoは検者眼を示す。
変倍光学系32は、複数(例えば3枚)の変倍レンズ32a、32b、32cを含む。本実施形態では、観察撮影系6の光路に対して選択的に挿入可能な複数の変倍レンズ群が設けられている。これら変倍レンズ群は、それぞれ異なる倍率に対応する。観察撮影系6の光路に配置された変倍レンズ群が変倍光学系32として用いられる。このような変倍レンズ群の選択的な挿入により、被検眼Eの観察像や撮影画像の倍率(画角)を変更することができる。倍率の変更、つまり観察撮影系6の光路に配置される変倍レンズ群の切り替えは、倍率操作ノブ11を操作することにより行われる。また、図示しないスイッチ等を用いて電動で倍率を変更することもできる。
ビームスプリッタ34は、光軸O1に沿って進む光の光路を、光軸O1の延長上に位置する光路と、光軸O1に対して直交する光路とに分割する。光軸O1の延長上に位置する光路に入射した光は、結像レンズ35、プリズム36及び接眼レンズ37を介して検者眼Eoに導かれる。プリズム36は、光の進行方向を上方に平行移動させる。
一方、光軸O1に対して直交する光路に入射した光は、集光レンズ41及びミラー42を介して、撮像装置13の撮像素子43に導かれる。すなわち、観察撮影系6は、被検眼Eからの戻り光を撮像装置13に導く。撮像素子43は、この戻り光を検出して画像信号GSを生成する。
観察撮影系6は、そのフォーカス位置を変更するための合焦機構40を含む。合焦機構40は、光軸O1に沿って対物レンズ31を移動させる。例えば、合焦機構40は、対物レンズ31を保持する保持部材と、この保持部材を光軸O1の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。
対物レンズ31の移動は、自動及び/又は手動で行われる。自動で対物レンズ31を移動する場合、例えば、コンピュータ100は、公知のフォーカス調整手法(例えば、位相差検出方式、コントラスト検出方式など)を用いて、被検眼Eからの戻り光に基づきフォーカス位置を求めることができる。更に、コンピュータ100は、求められたフォーカス位置まで対物レンズ31を光軸O1に沿って移動するようにアクチュエータを制御することができる。一方、手動で対物レンズ31を移動する場合、ユーザーによる操作に応じてアクチュエータが対物レンズ31を光軸O1に沿って移動させる。
なお、観察撮影系6は、対物レンズ31と撮像素子43との間の光軸O1上の位置に配置された第1合焦レンズを含んでもよい。この場合、合焦機構40は、第1合焦レンズを光軸O1に沿って移動させることによって観察撮影系6のフォーカス位置を変更する。例えば、合焦機構40は、第1合焦レンズを保持する保持部材と、この保持部材を光軸O1の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ31を移動させる場合と同様に、合焦機構40による第1合焦レンズの移動は、自動又は手動で行われる。
また、観察撮影系6の全体(又は一部)が光軸O1に沿って移動可能に構成されていてもよい。この場合、合焦機構40は、観察撮影系6の全体を光軸O1に沿って移動させることによって、観察撮影系6のフォーカス位置を変更する。例えば、合焦機構40は、観察撮影系6が搭載された可動ステージと、この可動ステージを光軸O1の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ31を移動させる場合と同様に、合焦機構40による観察撮影系6の移動は、自動又は手動で行われる。
〈照明系8〉
照明系8は、照明光源51、集光レンズ52、細隙(スリット)形成部53、及び対物レンズ54を含む。符号O2は、照明系8の光軸を示す。
照明光源51は照明光を出力する。なお、照明系8に複数の光源を設けてもよい。例えば、定常光を出力する光源(例えば、ハロゲンランプ、発光ダイオード(LED)等)と、フラッシュ光を出力する光源(例えば、キセノンランプ、LED等)の双方を照明光源51として設けることができる。また、前眼部観察用の光源と後眼部観察用の光源とを別々に設けてもよい。例えば、照明光源51は、可視光を出力する可視光源を含む。照明光源51は、赤外光(例えば、中心波長が800nm〜1000nmの光)を出力する赤外光源を含んでもよい。
細隙形成部53は、スリット光を生成するために用いられる。細隙形成部53は、一対のスリット刃を有する。これらスリット刃の間隔(スリット幅)を変更することにより、生成されるスリット光の幅を変更することができる。
照明系8は、スリット光のフォーカス位置を変更するための合焦機構50を含む。合焦機構50は、対物レンズ54を光軸O2に沿って移動させる。例えば、合焦機構50は、対物レンズ54を保持する保持部材と、この保持部材を光軸O1の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。
対物レンズ54の移動は、自動及び/又は手動で行われる。自動で対物レンズ54を移動する場合、例えば、コンピュータ100は、被検眼Eからの戻り光に基づく像が描出された画像を解析することによってフォーカス位置を求めることができる。更に、コンピュータ100は、求められたフォーカス位置まで対物レンズ54を光軸O2に沿って移動するようにアクチュエータを制御することができる。一方、手動で対物レンズ54を移動する場合には、ユーザーによる操作に応じてアクチュエータが対物レンズ54を光軸O2に沿って移動させる。
なお、照明系8は、対物レンズ54と細隙形成部53との間の光軸O2上の位置に配置された第2合焦レンズを含んでもよい。この場合、合焦機構50は、第2合焦レンズを光軸O2に沿って移動させることによって、スリット光のフォーカス位置を変更する。例えば、合焦機構50は、第2合焦レンズを保持する保持部材と、この保持部材を光軸O2の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ54を移動させる場合と同様に、合焦機構50による第2合焦レンズの移動は、自動又は手動で行われる。
また、照明系8の全体(又は一部)が光軸O2に沿って移動可能に構成されていてもよい。この場合、合焦機構50は、照明系8の全体を光軸O2に沿って移動させることによって、スリット光のフォーカス位置を変更する。例えば、合焦機構50は、照明系8が搭載された可動ステージと、この可動ステージを光軸O2の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ54を移動させる場合と同様に、合焦機構50による照明系8の移動は、自動又は手動で行われる。
図3では図示が省略されているが、照明系8から出力される照明光束を被検眼Eに向けて反射するミラー12が光軸O2上に配置されている。典型的には、照明系8とミラー12とが一体的に回動するように構成されている。
スリットランプ顕微鏡1は、被検眼Eに対する照明角度及び撮影角度を変更しつつ被検眼Eを複数回撮影して複数の画像を取得することができる。換言すると、スリットランプ顕微鏡1は、照明系8及び観察撮影系6を回動させつつ被検眼Eを複数回撮影することで、被検眼Eの複数の断面画像を取得することができる。
このような制御により取得された複数の断面画像のそれぞれには、その取得位置(断面位置)を示す位置情報が関連付けられる。この位置情報は、例えば、照明系8の回動位置、観察撮影系6の回動位置、被検眼Eの正面画像における断面の位置など、及び/又は、これらのいずれかに基づき求められた情報が含まれる。
照明系8の回動位置や観察撮影系6の回動位置は、例えば、エンコーダーなどを含む回動位置検出部によって検出することができる。或いは、照明系8の回動位置や観察撮影系6の回動位置は、それを制御するコンピュータ100によって認識可能である。また、被検眼Eの正面画像における断面の位置は、例えば、別途に取得された被検眼Eの正面画像と、回動位置検出部による検出の結果とに基づいて求めることができる。詳細は後述するが、このような位置情報と複数の断面画像とに基づいて、被検眼Eの3次元画像を形成することができる。
なお、照明角度及び撮影角度を変更しつつ行われる複数回の撮影は、照明角度及び/又は撮影角度が変更されているときに行われてもよいし、照明角度及び/又は撮影角度の変更が停止されているときに行われてもよい。また、照明角度の変更は連続的でも断続的でもよいし、撮影角度の変更は連続的でも断続的でもよい。
スリットランプ顕微鏡1は、被検眼Eに対するフォーカス位置を変更しつつ被検眼Eを複数回撮影して複数の画像を取得することができる。より具体的には、スリットランプ顕微鏡1は、観察撮影系6のフォーカス位置及び照明系8のフォーカス位置の少なくとも一方を変更しつつ被検眼Eを複数回撮影することで、被検眼Eの複数の断面画像を取得することができる。
このような制御により取得された複数の断面画像のそれぞれには、その取得位置(フォーカス位置)を示す位置情報が関連付けられる。この位置情報は、例えば、合焦機構40に対する制御内容、合焦機構50に対する制御内容、合焦機構40により移動される対象(例えば、対物レンズ31、第1合焦レンズ、又は観察撮影系6)の位置、合焦機構50により移動される対象(例えば、対物レンズ54、第2合焦レンズ、又は照明系8)の位置など、及び/又は、これらのいずれかに基づき求められた情報が含まれる。
合焦機構40又は50に対する制御内容は、例えば、それを制御するコンピュータ100によって認識可能である。合焦機構40又は50により移動される対象の位置は、例えば、エンコーダーなどを含む位置検出部によって検出することができる。詳細は後述するが、このような位置情報と複数の断面画像とに基づいて、被検眼Eの3次元画像を形成することができる。
なお、フォーカス位置を変更しつつ行われる複数回の撮影は、フォーカス位置が変更されているときに行われてもよいし、フォーカス位置の変更が停止されているときに行われてもよい。また、フォーカス位置の変更は連続的でも断続的でもよい。
上記した2つの制御を組み合わせることができる。すなわち、スリットランプ顕微鏡1は、照明角度と撮影角度とフォーカス位置とを変更しつつ被検眼Eを複数回撮影して複数の断面画像を取得することが可能である。このような制御により取得された複数の断面画像のそれぞれには、その取得位置(断面位置及びフォーカス位置)を示す位置情報が関連付けられる。
〈制御系の構成〉
スリットランプ顕微鏡1の制御系について、図4〜図6を参照しながら説明する。スリットランプ顕微鏡1の制御系の構成例を図4に示す。なお、制御系を構成する複数の要素の少なくとも一部がコンピュータ100に含まれていてもよい。
〈制御部101〉
制御部101は、スリットランプ顕微鏡1の各部を制御する。制御部101は、観察撮影系6、照明系8、表示部130、通信部170などを制御する。
観察撮影系6の制御としては、変倍光学系32の制御、撮像素子43の制御、合焦機構40の制御、観察撮影系6を移動させるための移動機構60の制御、フォーカス位置検出部150の制御、スキャン位置検出部160の制御などがある。変倍光学系32の制御としては、倍率操作ノブ11に対する操作内容を受けて被検眼Eの肉眼観察像や撮影画像の倍率を変更する制御などがある。撮像素子43の制御としては、撮像素子43の電荷蓄積時間、感度、フレームレート等を変更する制御や、撮像素子43により得られた画像信号GSを画像合成部120に送る制御などがある。合焦機構40の制御としては、合焦機構40による観察撮影系6のフォーカス位置を変更する制御などがある。移動機構60は、例えば、移動機構部3と、支持アーム16及び17と、支持アーム16及び17を移動する機構とを含む。移動機構60の制御としては、観察撮影系6を回動する制御などがある。フォーカス位置検出部150の制御としては、フォーカス位置検出部150により検出された位置を取得し、取得された位置を画像合成部120に送る制御などがある。スキャン位置検出部160の制御としては、スキャン位置検出部160により検出された位置を取得し、取得された位置を画像合成部120に送る制御などがある。
照明系8の制御としては、照明光源51の制御、細隙形成部53の制御、合焦機構50の制御、照明系8を移動させるための移動機構60の制御、フォーカス位置検出部150の制御、スキャン位置検出部160の制御などがある。照明光源51の制御としては、照明光源51の点灯/消灯の切り換え、照明光の光量を変更する制御などがある。細隙形成部53の制御としては、スリット幅を変更する制御、スリットを平行移動する制御、スリットを回転する制御などがある。合焦機構50の制御としては、合焦機構50によるスリット光のフォーカス位置(照明系8のフォーカス位置)を変更する制御などがある。移動機構60の制御としては、照明系8を移動する制御などがある。フォーカス位置検出部150の制御としては、フォーカス位置検出部150により検出された位置を取得し、取得された位置を画像合成部120に送る制御などがある。スキャン位置検出部160の制御としては、スキャン位置検出部160により検出された位置を取得し、取得された位置を画像合成部120に送る制御などがある。
制御部101は、合焦制御部101Aと、スキャン制御部101Bと、記憶部102とを含む。
合焦制御部101Aは、観察撮影系6のフォーカス位置の制御と、照明系8のフォーカス位置の制御とを実行する
図5を参照しつつ合焦制御部101Aの動作について説明する。図5は、被検眼Eの角膜Ecに対する観察撮影系6及び照明系8のフォーカス位置を模式的に表したものである。前述したように、符号31は観察撮影系6の対物レンズであり、符号54は照明系8の対物レンズである。符号Cfは、角膜Ecの前面を示し、符号Cbは角膜Ecの後面を示す。符号Ccは、角膜Ec(角膜前面Cf)の曲率中心位置を示す。例えば、観察撮影系6及び照明系8の回動軸は、曲率中心位置Ccに実質的に一致される。
合焦制御部101Aは、被検眼Eの関心部位に対する深さ方向(つまり、回動動作における動径方向)のスキャン(rスキャン)を制御する。合焦制御部101Aは、合焦機構40と合焦機構50とを連係的に制御することができる。例えば、合焦制御部101Aは、合焦機構40及び合焦機構50を制御して、関心部位の深さ方向(つまり、被検眼Eにおける奥行き方向)の位置PS1、PS2、PS3の順番に観察撮影系6のフォーカス位置及び照明系8のフォーカス位置を変更する。観察撮影系6は、各フォーカス位置に対応した被写界深度で被検眼Eを撮影することができる。例えば、観察撮影系6は、位置PS1に対応した被写界深度PC1における被検眼Eの画像を取得することができる。
合焦制御部101Aは、撮像装置13に画像を取得させる制御と上記の連係的制御とを交互に実行することができる。それにより、合焦制御部101Aは、被検眼Eの関心部位の深さ方向について複数の断面画像の取得を制御することができる。例えば、合焦制御部101Aは、位置PS1を含む断面の画像と、位置PS2を含む断面の画像と、位置PS3を含む断面の画像とを順次に取得するように制御を行うことができる。
スキャン制御部101Bは、被検眼Eの関心部位に対するスキャン位置を水平方向(深さ方向に略直交する方向)に移動するための制御を行う。なお、詳細な説明は省略するが、水平方向と深さ方向との双方に略直交する上下方向にスキャン位置を移動するための制御についても、同じ要領で実行することができる。
図6を参照しつつスキャン制御部101Bの動作について説明する。図6は、角膜Ecに対する観察撮影系6及び照明系8のフォーカス位置を模式的に表したものである。なお、図6において、図5と同様の部分には同一符号を付し、適宜説明を省略する。
スキャン制御部101Bは、被検眼Eの関心部位に対する水平方向(つまり、回動動作における偏角方向)のスキャン(θスキャン)を制御する。スキャン制御部101Bは、例えば、照明系8の回動と観察撮影系6の回動とを連係させるように移動機構60を制御する。例えば、スキャン制御部101Bは、水平方向のスキャン位置PS1、PS11、PS12の順番に観察撮影系6及び照明系8を移動させる。
スキャン制御部101Bは、撮像装置13に画像を取得させる制御と移動機構60の制御とを交互に実行することができる。それにより、スキャン制御部101Bは、被検眼Eの関心部位において水平方向に配列された複数の断面画像を取得するための制御を行うことができる。例えば、スキャン制御部101Bは、位置PS1を含む断面の画像と、位置PS11を含む断面の画像と、位置PS12を含む断面の画像とを順次に取得するように制御を行うことができる。
水平方向の位置PS1、PS11、PS12のそれぞれにおいて、合焦制御部101Aは、観察撮影系6のフォーカス位置及び照明系8のフォーカス位置を深さ方向に変更することができる。それにより、位置PS1、PS2、PS3、PS11、PS21、PS31、PS12、PS22、PS32のそれぞれについて断面画像を取得することができる。
記憶部102は、各種のコンピュータプログラムやデータを記憶する。コンピュータプログラムには、所定の動作モードにしたがってスリットランプ顕微鏡1を動作させるための演算プログラムや制御プログラムが含まれる。データには、各種の検査において使用されるデータが含まれる。このようなデータの例として、スキャン情報がある。スキャン情報は、例えば、関心部位の複数のスキャン位置に観察撮影系6及び照明系8を移動させるための制御情報と、各スキャン位置について1以上の深さ方向の位置に観察撮影系6及び照明系8のフォーカス位置を変更するための制御情報とを含む。これら制御情報は、事前に記憶部102に保存される。制御部101は、記憶部102に記憶されたコンピュータプログラム及びスキャン情報を用いて、スキャン制御部101Bによる水平方向のスキャン位置を制御と、合焦制御部101Aによるフォーカス位置の制御とを、個別的に又は連係的に実行することができる。
制御部101は、プロセッサ、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスクドライブ等を含む。ROMやハードディスクドライブ等の記憶装置には、制御プログラムがあらかじめ記憶されている。制御部101の動作は、制御プログラム等のソフトウェアと、プロセッサ等のハードウェアとが協働することによって実現される。制御部101は、スリットランプ顕微鏡1の本体(例えば基台4内)やコンピュータ100に配置される。
〈画像合成部120〉
画像合成部120は、合焦制御部101A及び/又はスキャン制御部101Bが実行する上記制御にしたがって撮像装置13により取得された複数の断面画像を合成する。
例えば、画像合成部120は、合焦機構40及び合焦機構50によりフォーカス位置を変更しつつ撮像装置13により取得された複数の断面画像を合成する。この場合、複数の断面画像は深さ方向に配列されている。換言すると、複数の断面画像がそれぞれ描写する複数の断面は、同一平面内に配置されている。このような複数の断面画像から構築される合成画像は、個々の断面画像よりも深い被写界深度の(換言すると、パンフォーカスの、又は、ディープフォーカスの)2次元断面画像である。
画像合成部120は、断面が同一の平面内に配置されていない複数の(2次元)断面画像を合成することにより3次元画像を形成することができる。3次元画像とは、3次元座標系により画素の位置が定義された画像(画像データ)を意味する。
3次元画像の例として、複数の断面画像のスタックデータがある。スタックデータは、複数のスキャン位置において得られた複数の断面画像を、スキャン位置の位置関係に基づいて3次元的に配置して得られる画像データである。より具体的に説明すると、スタックデータは、元々個別の2次元座標系により定義されていた複数の断面画像を、同じ3次元座標系により表現する(つまり、同じ3次元空間に埋め込む)ことにより得られる画像データである。
3次元画像の他の例としてボリュームデータ(ボクセルデータとも呼ばれる)がある。ボリュームデータは、3次元的な画素であるボクセルが3次元的に配列された画像データである。ボリュームデータは、例えば、スタックデータに補間処理を施し、画素を3次元化(ボクセル化)することによって形成される。
このような画像合成処理を実行するために、画像合成部120は、配列処理部121と合成処理部122とを含む。
配列処理部121は、前述したrスキャン、θスキャン、又はこれらの組み合わせにより取得された複数の断面画像の配列を、これら断面画像に関連付けられた位置情報(例えば、フォーカス位置、断面位置)に基づき特定し、特定された配列にしたがって複数の断面画像を配置する。
例えば、配列処理部121は、フォーカス位置検出部150により検出されたスリット光のフォーカス位置(例えば、前述した位置情報)を制御部101から受けて複数の断面画像を配列する。また、配列処理部121は、スキャン位置検出部160により検出された観察撮影系6及び照明系8の回動位置(例えば、前述した位置情報)を制御部101から受けて複数の断面画像を配列する。
合成処理部122は、配列処理部121により配列された複数の断面画像を合成する。この画像合成処理は、例えば、スタックデータを形成する処理を含んでよく、ボリュームデータを形成する処理を更に含んでよい。
このような一連の処理を実行することにより、画像合成部120は、被検眼Eの複数の断面画像に基づく3次元画像や2次元画像を形成することができる。
他の例において、画像合成部120は、前述した位置情報を用いることなく複数の断面画像を合成することができる。例えば、画像合成部120は、異なる2以上の断面画像において共通の部位を描出している画像領域(共通領域)を画像解析によって特定し、特定された共通領域が重なるようにこれら断面画像を貼り合わせることができる。このような画像解析が適用される場合、フォーカス位置検出部150やスキャン位置検出部160が設けられる必要はない。ただし、フォーカス位置検出部150やスキャン位置検出部160により得られた情報を「画像の位置の粗調整」に利用し、その後に画像解析による「画像の位置の粗調整」を行うようにしてもよい。
画像合成部120の機能の少なくとも一部が、スリットランプ顕微鏡1と異なる装置に設けられていてもよい。例えば、スリットランプ顕微鏡1との間で通信が可能なコンピュータに、画像合成部120の機能の少なくとも一部を設けることができる。その具体例として、スリットランプ顕微鏡1が設置されている施設に設けられたコンピュータ(例えば、端末3000−n、サーバなど)に、画像合成部120の機能の少なくとも一部を設けることができる。或いは、管理サーバ4000又はこれとの間で通信が可能なコンピュータに、画像合成部120の機能の少なくとも一部を設けることができる。他の例として、医師端末5000m又はこれとの間で通信が可能なコンピュータに、画像合成部120の機能の少なくとも一部を設けることができる。
〈フォーカス位置検出部150〉
フォーカス位置検出部150は、例えば、観察撮影系6のフォーカス位置を検出する第1フォーカス位置検出部と、照明系8のフォーカス位置を検出する第2フォーカス位置検出部とを含む。第1フォーカス位置検出部及び/又は第2フォーカス位置検出部は、例えば、エンコーダーやポテンショメーターなどの位置センサーを含んでよい。
或いは、第1フォーカス位置検出部は、合焦制御部101Aが観察撮影系6に対して実行した制御の内容(つまり、制御の履歴)に基づいて観察撮影系6のフォーカス位置を求めるプロセッサを含んでもよい。同様に、第2フォーカス位置検出部は、合焦制御部101Aが照明系8に対して実行した制御の内容(つまり、制御の履歴)に基づいて照明系8のフォーカス位置を求めるプロセッサを含んでもよい。
〈スキャン位置検出部160〉
スキャン位置検出部160は、例えば、観察撮影系6の位置を検出する第1位置検出部と、照明系8の位置を検出する第2位置検出部とを含む。第1位置検出部及び/又は第2位置検出部は、例えば、基台4の位置を検出するための位置センサーと、支持アーム16及び17の位置を検出するための回動角度センサーとを含む。
或いは、第1位置検出部は、スキャン制御部101Bが観察撮影系6に対して実行した制御の内容(つまり、制御の履歴)に基づいて観察撮影系6の位置を求めるプロセッサを含んでもよい。同様に、第2位置検出部は、スキャン制御部101Bが照明系8に対して実行した制御の内容(つまり、制御の履歴)に基づいて照明系8の位置を求めるプロセッサを含んでもよい。
〈表示部130〉
表示部130は、制御部101の制御を受けて各種の情報を表示する。例えば、表示部130は、液晶ディスプレイ(LCD)などのフラットパネルディスプレイを含む。表示部130は、スリットランプ顕微鏡1の本体に設けられていてもよいし、コンピュータ100に設けられていてもよい。
〈操作部140〉
操作部140は、スリットランプ顕微鏡1を操作するための操作デバイスや、情報を入力するための入力デバイスを含む。操作部140には、スリットランプ顕微鏡1に設けられたボタンやスイッチ(例えば、操作ハンドル5、倍率操作ノブ11など)や、コンピュータ100に設けられた操作デバイス(例えば、マウス、キーボードなど)が含まれる。また、操作部140は、トラックボール、操作パネル、スイッチ、ボタン、ダイアルなど、任意の操作デバイスや入力デバイスを含んでいてよい。
図4では、表示部130と操作部140とを別々に表しているが、表示部130の少なくとも一部と操作部140の少なくとも一部とが同じデバイスであってもよい。その具体例として、タッチスクリーンがある。
〈通信部170〉
通信部170は、スリットランプ顕微鏡1と他の装置との間におけるデータ通信を行う。データ通信の方式は任意である。例えば、通信部170は、インターネットに準拠した通信インターフェイス、専用線に準拠した通信インターフェイス、LANに準拠した通信インターフェイス、近距離通信に準拠した通信インターフェイスなどを含む。データ通信は有線通信でも無線通信でもよい。
通信部170により送受信されるデータは暗号化されていてよい。その場合、例えば、制御部101は、送信データを暗号化する暗号化処理部と、受信データを復号化する復号化処理部とを含む。
〈管理サーバ4000〉
管理サーバ4000の構成について説明する。図7に例示された管理サーバ4000は、制御部4010と、通信確立部4100と、通信部4200とを備える。
〈制御部4010〉
制御部4010は、管理サーバ4000の各部の制御を実行する。制御部4010は、その他の演算処理を実行可能であってよい。制御部4010はプロセッサを含む。制御部4010は、更に、RAM、ROM、ハードディスクドライブ、ソリッドステートドライブなどを含んでいてよい。
制御部4010は、通信制御部4011と転送制御部4012とを含む。
通信制御部4011は、複数の眼科撮影装置2000−inと複数の端末3000−nと複数の医師端末5000mとを含む複数の装置の間における通信の確立に関する制御を実行する。例えば、通信制御部4011は、眼科システム1000に含まれる複数の装置のうちから後述の選択部4120によって選択された2以上の装置のそれぞれに向けて、通信を確立するための制御信号を送る。
転送制御部4012は、通信確立部4100(及び通信制御部4011)により通信が確立された2以上の装置の間における情報のやりとりに関する制御を行う。例えば、転送制御部4012は、通信確立部4100(及び通信制御部4011)により通信が確立された少なくとも2つの装置のうちの一方の装置から送信された情報を他の装置に転送するように機能する。
具体例として、眼科撮影装置2000−inと医師端末5000mとの間の通信が確立された場合、転送制御部4012は、眼科撮影装置2000−inから送信された情報(例えば、眼科撮影装置2000−inにより取得された画像、眼科撮影装置2000−inに入力された情報など)を医師端末5000mに転送することができる。逆に、転送制御部4012は、医師端末5000mから送信された情報(例えば、眼科撮影装置2000−inの動作モードの指定結果)を眼科撮影装置2000−inに転送することができる。
転送制御部4012は、送信元の装置から受信した情報を加工する機能を有していてもよい。この場合、転送制御部4012は、受信した情報と、加工処理により得られた情報との少なくとも一方を転送先の装置に送信することができる。
例えば、転送制御部4012は、眼科撮影装置2000−in等から送信された情報の一部を抽出して医師端末5000m等に送信することができる。また、眼科撮影装置2000−in等から送信された情報(例えば、被検眼Eの画像)を管理サーバ4000又は他の装置によって解析し、その解析結果(及び元の情報)を医師端末5000m等に送信するようにしてもよい。
スリットランプ顕微鏡1(眼科撮影装置2000−in)から複数の断面画像が送信された場合、管理サーバ4000又は他の装置が、これら断面画像から3次元画像(例えば、スタックデータ又はボリュームデータ)を構築し、転送制御部4012が、構築された3次元画像を医師端末5000mに送信するように構成することが可能である。
また、スリットランプ顕微鏡1(眼科撮影装置2000−in)からスタックデータが送信された場合、管理サーバ4000又は他の装置が、このスタックデータからボリュームデータを構築し、転送制御部4012が、構築されたボリュームデータを医師端末5000mに送信するように構成することが可能である。
管理サーバ4000又は他の装置により実行可能なデータ加工処理は、上記した例には限定されず、任意のデータ処理を含んでいてよい。
〈通信確立部4100〉
通信確立部4100は、複数の眼科撮影装置2000−inと複数の端末3000−nと複数の医師端末5000mとを含む複数の装置のうちから選択された少なくとも2つの装置の間における通信を確立するための処理を実行する。本実施形態において「通信の確立」とは、例えば、(1)通信が切断された状態から一方向通信を確立すること、(2)通信が切断された状態から双方向通信を確立すること、(3)受信のみが可能な状態から送信も可能な状態に切り替えること、(4)送信のみが可能な状態から受信も可能な状態に切り替えること、のうちの少なくとも1つを含む概念である。
更に、通信確立部4100は、確立されている通信を切断する処理を実行可能である。本実施形態において「通信の切断」とは、例えば、(1)一方向通信が確立された状態から通信を切断すること、(2)双方向通信が確立された状態から通信を切断すること、(3)双方向通信が確立された状態から一方向通信に切り替えること、(4)送信及び受信が可能な状態から受信のみが可能な状態に切り替えること、(5)送信及び受信が可能な状態から送信のみが可能な状態に切り替えること、のうちの少なくとも1つを含む概念である。
眼科撮影装置2000−in、端末3000−n、及び医師端末5000mのそれぞれは、他の装置(そのユーザー)を呼び出すための通信要求(呼び出し要求)と、他の2つの装置の間の通信に割り込むための通信要求(割り込み要求)とのうちの少なくとも一方を管理サーバ4000に送信することができる。呼び出し要求及び割り込み要求は、手動又は自動で発信される。管理サーバ4000(通信部4200)は、眼科撮影装置2000−in、端末3000−n、又は医師端末5000mから送信された通信要求を受信する。
本実施形態において、通信確立部4100は選択部4120を含んでいてよい。選択部4120は、例えば、眼科撮影装置2000−in、端末3000−n、又は医師端末5000mから送信された通信要求に基づいて、眼科撮影装置2000−in、端末3000−n、及び医師端末5000mのうちから、当該通信要求を送信した装置以外の1以上の装置を選択する。
選択部4120が実行する処理の具体例を説明する。眼科撮影装置2000−in又は端末3000−nからの通信要求(例えば、眼科撮影装置2000−inにより取得された画像の読影の要求)を受けた場合、選択部4120は、例えば、複数の医師端末5000mのうちのいずれかを選択する。通信確立部4100は、選択された医師端末5000mと、眼科撮影装置2000−in及び端末3000−nの少なくとも一方との間の通信を確立する。
通信要求に応じた装置の選択は、例えば、予め設定された属性に基づいて実行される。この属性の例として、検査の種別(例えば、撮影モダリティの種別、画像の種別、疾患の種別、候補疾患の種別など)や、要求される専門度・熟練度や、言語の種別などがある。本例に係る処理を実現するために、通信確立部4100は、予め作成された属性情報が記憶された記憶部411を含んでいてよい。属性情報には、医師端末5000m及び/又はその使用者(医師)の属性が記録されている。
医師の識別は、例えば、事前に割り当てられた医師IDによって行われる。また、医師端末5000mの識別は、例えば、事前に割り当てられた装置IDやネットワークアドレスによって行われる。典型的な例において、属性情報は、各医師の属性として、専門分野(例えば、診療科、専門とする疾患など)、専門度・熟練度、使用可能な言語の種別などを含む。
選択部4120が属性情報を参照する場合、眼科撮影装置2000−in、端末3000−n、又は医師端末5000mから送信される通信要求は、属性に関する情報を含んでいてよい。例えば、眼科撮影装置2000−inから送信される読影要求(つまり、診断要求)は、次のいずれかの情報を含んでいてよい:(1)撮影モダリティの種別を示す情報;(2)画像の種別を示す情報;(3)疾患名や候補疾患名を示す情報;(4)読影の難易度を示す情報;(5)眼科撮影装置2000−in及び/又は端末3000−nのユーザーの使用言語を示す情報。
このような読影要求を受信した場合、選択部4120は、この読影要求と記憶部4110に記憶された属性情報とに基づいて、いずれかの医師端末5000mを選択することができる。このとき、選択部4120は、読影要求に含まれる属性に関する情報と、記憶部4110に記憶された属性情報に記録された情報とを照合する。それにより、選択部4120は、例えば、次のいずれかの属性に該当する医師に対応する医師端末5000mを選択する:(1)当該撮影モダリティを専門とする医師;(2)当該画像種別を専門とする医師;(3)当該疾患(当該候補疾患)を専門とする医師;(4)当該難易度の読影が可能な医師;(5)当該言語を使用可能な医師。
なお、医師と医師端末5000mとの間の対応付けは、例えば、医師端末5000m(又は眼科システム1000)へのログイン時に入力された医師IDによってなされる。
〈通信部4200〉
通信部4200は、他の装置(例えば、眼科撮影装置2000−in、端末3000−n、及び医師端末5000mのいずれか)との間でデータ通信を行う。データ通信の方式や暗号化については、眼科撮影装置2000−inの通信部170と同様であってよい。
〈医師端末5000m〉
医師端末5000mの構成について説明する。図8に例示された医師端末5000mは、制御部5010と、データ処理部5100と、通信部5200と、操作部5300とを備える。
〈制御部5010〉
制御部5010は、医師端末5000mの各部の制御を実行する。制御部5010は、その他の演算処理を実行可能であってよい。制御部5010は、プロセッサ、RAM、ROM、ハードディスクドライブ、ソリッドステートドライブなどを含む。
制御部5010は表示制御部5011を含む。表示制御部5011は、表示装置6000mを制御する。表示装置6000mは、医師端末5000mに含まれてもよいし、医師端末5000mに接続された周辺機器であってもよい。
〈データ処理部5100〉
データ処理部5100は、各種のデータ処理を実行する。
例えば、データ処理部5100は、スリットランプ顕微鏡1(眼科撮影装置2000−in)から送信された複数の断面画像から3次元画像(例えば、スタックデータ又はボリュームデータ)を構築することができる。また、データ処理部5100は、スリットランプ顕微鏡1(眼科撮影装置2000−in)から送信されたスタックデータからボリュームデータを構築することができる。
データ処理部5100は、部分領域指定部5110と、レンダリング部5120とを含む。
部分領域指定部5110は、眼科撮影装置2000−inから送信された画像又はそれに基づき表示された画像について、その部分領域を指定する。
部分領域指定部5110により実行可能な処理の具体例を説明する。スリットランプ顕微鏡1(眼科撮影装置2000−in)を用いて被検眼Eの複数の断面画像が得られた場合、スリットランプ顕微鏡1、管理サーバ4000、医師端末5000m、又は他の装置によって、被検眼Eの3次元画像が形成される。このような3次元画像が医師端末5000mに入力されたとする。制御部5010は、前述したハードディスクドライブ等の記憶装置に3次元画像を保存する。
表示制御部5011は、この3次元画像に基づく画像を表示装置6000mに表示させることができる。例えば、制御部5010は、3次元画像(例えば、スタックデータ又はボリュームデータ)をレンダリング部5120に送る。レンダリング部5120は、3次元画像をレンダリングして画像を形成する。表示制御部5011は、レンダリング部5120により形成された画像を表示装置6000mに表示させる。
医師端末5000mのユーザー(医師)は、表示装置6000mに表示された画像の部分領域を指定することができる。この指定操作は操作部5300を用いて行われる。例えば、ユーザーは、ポインティングデバイスを用いて表示画像の所望の範囲を指定することができる。
部分領域指定部5110は、ユーザーにより指定された表示画像の部分領域に対応する3次元画像の部分領域を特定する。ここで、表示画像は3次元画像をレンダリングして得られた画像である。したがって、表示画像の部分領域に対応する3次元画像の部分領域は、このレンダリングの処理内容に基づき容易に特定される。
他の例を説明する。被検眼Eの他の画像(参照画像と呼ぶ)が過去に取得された場合、この参照画像を利用して3次元画像の部分領域を指定することができる。参照画像は、例えば、前眼部像、OCT画像である。
参照画像の少なくとも一部と3次元画像の少なくとも一部とが被検眼Eの同じ部位を描出していてよい。或いは、参照画像の少なくとも一部が描出している部位と3次元画像の少なくとも一部が描出している部位との双方を描出した広域画像を更に利用することも可能である。このような画像を利用することで、部分領域指定部5110は、参照画像と3次元画像との間の位置合わせを行うことができる。
表示制御部5011は、参照画像(又は広域画像)を表示装置6000mに表示させることができる。ユーザーは、操作部5300を用いて、参照画像(又は広域画像)の部分領域を指定することができる。部分領域指定部5110は、ユーザーにより指定された参照画像(又は広域画像)の部分領域と、上記位置合わせの結果とに基づいて、3次元画像の部分領域を指定することができる。
以上、ユーザーの操作に基づいて3次元画像の部分領域を指定する場合の例を説明したが、手動での指定はこれらに限定されない。一方、ユーザーの操作によらず、部分領域指定部5110が自動で3次元画像の部分領域を指定するようにしてもよい。人工知能プロセッサを用いてこのような自動指定を行ってもよい。
一例において、部分領域指定部5110は、3次元画像及びそれに基づく表示画像の少なくとも一方を解析することにより、3次元画像の部分領域を指定することができる。例えば、部分領域指定部5110は、3次元画像又は表示画像にセグメンテーションを適用して被検眼Eの所定の組織に相当する画像領域を特定し、特定された画像領域に基づいて部分領域を指定することができる。被検眼Eの所定の組織は、例えば、任意の条件にしたがって決定される。この条件の例として、撮影モダリティの種別、画像の種別、(候補)疾患名などがある。
レンダリング部5120は、画像に対してレンダリングを適用する。例えば、レンダリング部5120は、部分領域指定部5110により指定された3次元画像の部分領域に基づいて、この3次元画像をレンダリングする。
レンダリングは任意の処理であってよく、例えば3次元コンピュータグラフィクスを含む。3次元コンピュータグラフィクスは、3次元座標系により定義された3次元空間内の仮想的な立体物(スタックデータ、ボリュームデータなどの3次元画像)を2次元情報に変換することにより立体感のある画像を作成する演算手法である。
レンダリングの例として、ボリュームレンダリング法、最大値投影法(MIP)、最小値投影法(MinIP)、サーフェスレンダリング法、多断面再構成法(MPR)、プロジェクション画像形成、シャドウグラム形成などがある。
〈通信部5200〉
通信部5200は、他の装置(例えば、眼科撮影装置2000−in、端末3000−n、及び管理サーバ4000のいずれか)との間でデータ通信を行う。データ通信の方式や暗号化については、眼科撮影装置2000−inの通信部170と同様であってよい。
〈操作部5300〉
操作部5300は、医師端末5000mを操作するための操作デバイスや、情報を入力するための入力デバイスを含む。操作部5300は、例えば、マウス、キーボード、トラックボール、操作パネル、スイッチ、ボタン、ダイアルなどを含む。操作部5300は、タッチスクリーンを含んでもよい。
スリットランプ顕微鏡1の動作モードを指定するために操作部5300を用いることができる。スリットランプ顕微鏡1については、1以上の動作モードが予め設けられている。本実施形態では、3次元撮影モードを設けることができる。3次元撮影モードは、被検眼の3次元画像を取得するための動作モードである。3次元撮影モードにおいて、スリットランプ顕微鏡1の制御部101は、照明系8と観察撮影系6と移動機構60と合焦機構40及び50とを連係的に制御することにより、被検眼Eの複数の断面画像を撮像装置13に取得させる。なお、スリットランプ顕微鏡1の動作モードは3次元撮影モードに限定されない。
動作モードの指定に用いられるデバイスは、操作部5300に限定されない。例えば、スリットランプ顕微鏡1の操作部140又は端末3000−nを用いて動作モードを指定することができる。動作モードの指定態様はこのような手動指定に限定されない。例えば、当該被検者に対して過去に適用された動作モードを電子カルテ等から取得し、これを指定することができる。また、特定疾患に予め対応付けられた動作モードを自動で指定することができる。また、検査の種別(例えば、スクリーニング、検診、健康診断、一般診療など)に予め対応付けられた動作モードを自動で指定することができる。
〈使用形態〉
本実施形態に係る眼科システム1000の使用形態について説明する。図9は、眼科システム1000の使用形態の例を示す。
スリットランプ顕微鏡1(及び/又は端末3000−n)と医師端末5000mとの間における通信は、既に確立されているとする。或いは、以下のステップS1からステップS6までの期間における任意のタイミングで、スリットランプ顕微鏡1(及び/又は端末3000−n)と医師端末5000mとの間における通信を確立してもよい。
(S1:被検者情報を入力)
まず、スリットランプ顕微鏡1(又は端末3000−n)に被検者情報が入力される。入力された被検者情報は、記憶部102に保存される。スリットランプ顕微鏡1(及び/又は端末3000−n)と医師端末5000mとの間における通信が既に確立されている場合、入力された被検者情報をこの段階で医師端末5000m(又は管理サーバ4000)に送信してもよい。被検者情報は、例えば、被検者IDと背景情報とを含む。
被検者IDは、例えば、医療施設におけるID(患者ID)、検診におけるID、健康診断におけるIDなどがある。これらは例示であって、被検者IDはこれらに限定されない。
背景情報は、被検者に関する任意の情報であって、例えば、被検者の電子カルテの任意の項目に記録された情報や、被検者のアカウントに保存された画像などを含む。典型的には、背景情報は、性別、年齢、身長、体重、疾患名、候補疾患名、検査結果(視力値、眼屈折力値、眼圧値など)、画像(OCT画像、眼底画像、前眼部像など)、検査歴、治療歴などがある。これらは例示であって、背景情報はこれらに限定されない。
例えば、スリットランプ顕微鏡1(又は端末3000−n)のユーザーは、操作部140を用いて被検者情報を入力することができる。また、制御部101及び通信部170は、電子カルテシステム、医用画像アーカイビングシステムに通信路を介してアクセスして被検者情報を取得することができる。また、データリーダを用いて、記録媒体に記録された被検者情報を読み出すことができる。これらは例示であって、被検者情報の入力方法はこれらに限定されない。
(S2:3次元撮影モードに設定)
スリットランプ顕微鏡1の動作モードが3次元撮影モードに設定される。前述したように、動作モードの指定(又は選択)は、手動又は自動で行われる。
(S3:被検眼を撮影)
スリットランプ顕微鏡1は、ステップS2で設定された3次元撮影モードで被検眼Eの撮影を行う。それにより、被検眼Eの複数の断面画像が得られる。
(S4:3次元画像を形成)
スリットランプ顕微鏡1の画像合成部120は、ステップS2で取得された複数の断面画像に基づいて3次元画像を形成する。前述したように、管理サーバ4000、医師端末5000m、又は他の装置が、3次元画像形成処理を実行するようにしてもよい。
(S5:被検眼の正面画像を取得)
スリットランプ顕微鏡1は、被検眼Eの正面画像を取得することができる。なお、正面画像を取得するタイミングは、このタイミングに限定されない。なお、この処理は任意的である。
(S6:データを送信)
スリットランプ顕微鏡1の制御部101は、通信部170を制御して、取得されたデータを医師端末5000mに向けて送信する。送信されるデータは、ステップS4で形成された3次元画像を少なくとも含み、ステップS1で入力された被検者情報及び/又はステップS5で取得された正面画像を更に含んでもよい。
スリットランプ顕微鏡1と異なる装置が3次元画像形成処理を実行する場合、ステップS3で取得された複数の断面画像が送信される。
スリットランプ顕微鏡1から送信されたデータは、管理サーバ4000によって医師端末5000mに転送される。
(S11:データを受信)
医師端末5000mの通信部5300は、ステップS6でスリットランプ顕微鏡1が送信したデータを受信する。制御部5010は、受信されたデータを前述の記憶部に保存する。
(S12:読影を開始?)
医師は、所望のタイミングで読影を開始する(S12:Yes)。
(S13:3次元画像から画像を形成)
読影が開始されると、レンダリング部5120は、自動で又はユーザー(医師)の指示にしたがって、画像(表示用画像)を形成する。
(S14:画像を表示)
表示制御部5011は、ステップS13で形成された表示用画像を表示装置6000mに表示させる。なお、表示用画像に対する操作を行うことが可能である。例えば、表示用画像の向きを変更したり、表示用画像が表す断面を変更したりできるように、医師端末5000mを構成することが可能である。
(S15:部分領域を指定)
ユーザーは、操作部5300を用いて、表示用画像の部分領域を指定する。ここで、前述した参照画像や広域画像を利用してもよい。また、部分領域の指定を自動で行うようにしてもよい。
(S16:3次元画像をレンダリング)
レンダリング部5120は、ステップS15で指定された部分領域に基づいて3次元画像をレンダリングする。それにより、ユーザーが指定した部分領域(つまり、ユーザーが注目している関心部位の画像)を表すレンダリング画像が得られる。
(S17:レンダリング画像を表示)
表示制御部5011は、ステップS16で取得されたレンダリング画像を表示装置6000mに表示させる。
表示制御部5011は、レンダリング画像の位置を示す位置情報を表示装置6000に表示させることができる。この位置情報は、例えば、ステップS15で指定された部分領域の位置や範囲を示す情報、又は、ステップS16で形成されたレンダリング画像の位置や範囲示す情報であってよい。位置情報は、例えば、ステップS5で取得された正面画像や、前述した参照画像又は広域画像や、眼のシェーマ図などとともに表示されてよい。典型的には、このような画像又はシェーマ図における位置や範囲を示す画像を位置情報として表示することができる。
(S18:読影を終了?)
ユーザーは、関心部位を任意に変更しながら読影を行うことができる(S18:No)。その際、ステップS1で入力された被検者情報や、ステップS5で取得された正面画像を参照することができる。
(S19:読影レポートを作成)
読影が終了したら(S18:Yes)、ユーザーは、読影で得た情報や診断結果などを読影レポートに記入する。作成された読影レポートは、例えば、電子カルテシステム等に送信されて保存される。また、スリットランプ顕微鏡1が設置されている施設に読影レポートを送信してもよい。以上で、本例に係る処理は終了となる。
〈変形例〉
本実施形態の変形例を説明する。
スリットランプ顕微鏡1のフォーカス位置を変更するための構成は、上記した合焦機構40及び50に限定されない。
例えば、特開2013−248376号公報に開示された2以上の撮影部(2以上の前眼部カメラ)を利用して被検眼の2以上の画像を取得し、これら画像を解析してフォーカス位置(目標位置)を決定するように構成することが可能である。
フォーカス位置を変更するための構成の他の例として、次のものがある。本例のスリットランプ顕微鏡は、撮像部と、駆動部と、合焦制御部とを含む。撮像部は、被検眼を撮影して右画像及び左画像を取得する。駆動部は、撮像部を含む光学系を少なくとも作動距離方向に駆動させる。合焦制御部は、撮像部より出力された右画像及び左画像に基づき、被検眼に対して自動的に合焦動作を行うように駆動部を制御する。
〈作用・効果〉
以上に説明した実施形態によって奏される作用及び効果について説明する。
実施形態に係る眼科システム(1000)は、通信路(N)を介して接続されたスリットランプ顕微鏡(1、2000−in)と情報処理装置(医師端末5000m)とを含んでいる。
スリットランプ顕微鏡は、画像取得部(観察撮影系6、照明系8、移動機構60など)と、第1通信部(通信部170)とを含む。画像取得部は、被検眼を撮影して3次元画像を取得する。第1通信部は、取得された3次元画像を情報処理装置に向けて送信する。
情報処理装置は、第2通信部(5200)と、表示制御部(5011)と、部分領域指定部(5110)と、レンダリング部(5120)とを含む。第2通信部は、第1通信部により送信された3次元画像を受信する。表示制御部は、受信された3次元画像に基づく第1画像を表示手段(表示装置6000m)に表示させる。部分領域指定部は、表示された第1画像の部分領域を指定する。レンダリング部は、指定された部分領域に基づき3次元画像をレンダリングして第2画像を形成する。表示制御部は、形成された第2画像を表示手段に表示させる。
このように構成された本実施形態の眼科システムによれば、スリットランプ顕微鏡を用いて被検眼の3次元画像をまず取得し、それを情報処理装置に送ることができる。更に、医師は、情報処理装置を用いて3次元画像を任意にレンダリングすることができる。したがって、医師は、スリットランプ顕微鏡を用いて事前に取得された3次元画像を自由にレンダリングしながら、被検眼の任意の関心部位を観察することができる。
それにより、被検眼の画像を取得するときに、医師が遠隔地からリアルタイムで操作を行う必要がなくなる。しかも、眼科画像診断において最も広く且つ頻繁に用いられるスリットランプ顕微鏡で取得された画像を遠隔地において読影できるというメリットもある。
したがって、本実施形態の眼科システムによれば、スリットランプ顕微鏡を効果的に利用することが可能な眼科遠隔医療技術を提供できる。
本実施形態において、情報処理装置は、操作部(5300)を更に含んでいる。更に、部分領域指定部(5110)は、操作部から出力された信号に基づいて部分領域の指定を行うことができる。
このような構成によれば、医師は、被検眼の所望の部位を手動で指定し、この部位のレンダリング画像を観察することができる。
本実施形態において、部分領域指定部は、被検眼の3次元画像及び上記第1画像の少なくとも一方を解析して部分領域を指定するように構成されてもよい。
このような構成によれば、部分領域の指定を自動化することができる。それにより、読影作業の効率化を図ることが可能である。また、コンピュータを用いて読影作業を支援することができる。
本実施形態において、スリットランプ顕微鏡の画像取得部は、照明系(8)と、撮影系(観察撮影系6)と、移動部(移動機構60)とを含んでいてよい。照明系は、被検眼をスリット光で照明する。撮影系は、被検眼からのスリット光の戻り光を撮像装置(13)に導く。移動部は、照明系及び撮影系を移動する。更に、本実施形態の眼科システム(1)は、3次元画像形成部を含む。3次元画像形成部は、照明系及び撮影系を移動しつつ撮像装置により取得された複数の断面画像に基づいて3次元画像を形成する。3次元画像形成部は、例えば、スリットランプ顕微鏡1の画像合成部120に相当する。或いは、医師端末5000m(情報処理装置)又は他の装置に3次元画像形成部を設けることも可能である。
このような構成によれば、被検眼に対する照明角度及び撮影角度を変更しつつ被検眼の複数の断面の画像を取得し、これら断面画像から3次元画像を形成することができる。
本実施形態において、スリットランプ顕微鏡の画像取得部は、フォーカス位置変更部を含んでいてよい。フォーカス位置変更部は、照明系のフォーカス位置及び撮影系のフォーカス位置の少なくとも一方を変更する。更に、3次元画像形成部は、照明系及び撮影系の少なくとも一方の移動と照明系のフォーカス位置及び撮影系のフォーカス位置の少なくとも一方の変更とを行いつつ撮像装置により取得された複数の断面画像に基づいて3次元画像を形成することができる。
このような構成によれば、被検眼に対するフォーカス位置を変更しつつ複数回の撮影を行うことができ、それにより得られた複数の断面画像から3次元画像を形成することができる。
本実施形態において、眼科システムは、スリットランプ顕微鏡の動作モードを指定するための動作モード指定部を含んでいてよい。動作モード指定部は、例えば、医師端末5000mの操作部5300、スリットランプ顕微鏡1の操作部140、端末3000−n、又は、他の装置に相当する。更に、スリットランプ顕微鏡は、制御部(101)を含んでいてよい。動作モード指定部により3次元撮影モードが指定されたとき、スリットランプ顕微鏡の制御部は、照明系と撮影系と移動部とフォーカス位置変更部とを連係的に制御することによって被検眼の複数の断面画像を撮像装置に取得させるように構成されている。
このような構成によれば、被検眼の3次元画像を形成するための複数の断面画像の収集を自動で行うことが可能になる。
本実施形態において、表示制御部(5011)は、レンダリング部により3次元画像から形成された第2画像の位置を示す位置情報を、表示手段に表示させることができる。位置情報は、例えば、第1画像又は他の画像とともに表示される。
このような構成によれば、医師は、第2画像が被検眼のどの部位に相当するか(つまり、第2画像が3次元画像のどの部分に相当するか)を容易に把握することができる。
本実施形態において、スリットランプ顕微鏡は、被検者情報を受け付ける受付部を含んでもよい。受付部は、例えば、スリットランプ顕微鏡1の操作部140、通信部170などに相当する。更に、スリットランプ顕微鏡の第1通信部は、画像取得部により取得された被検眼の3次元画像とともに被検者情報を送信することができる。
このような構成によれば、医師は、3次元画像のレンダリング画像とともに被検者情報を参照して読影や診断を行うことができる。
本実施形態において、スリットランプ顕微鏡の画像取得部は、被検眼を撮影して正面画像を取得するように構成されてもよい。更に、スリットランプ顕微鏡の第1通信部は、画像取得部により取得された被検眼の3次元画像とともに被検眼の正面画像を送信することができる。
このような構成によれば、医師は、3次元画像のレンダリング画像とともに正面画像を参照して読影や診断を行うことができる。
本実施形態において、医師端末5000mは眼科情報処理装置の一例である。眼科情報処理装置(医師端末5000m)は、通信部(5300)と、表示制御部(5011)と、部分領域指定部(5110)と、レンダリング部(5120)とを含む。通信部は、スリットランプ顕微鏡(1)を用いて被検眼を撮影して取得された3次元画像を通信路(N)を介して受け付ける。表示制御部は、受け付けられた3次元画像に基づく第1画像を表示手段(表示装置6000m)に表示させる。部分領域指定部は、表示された第1画像の部分領域を指定する。レンダリング部は、指定された部分領域に基づき3次元画像をレンダリングして第2画像を形成する。更に、表示制御部は、形成された第2画像を表示手段に表示させる。
このような眼科情報処理装置によれば、本実施形態の眼科システムと同様に、スリットランプ顕微鏡を効果的に利用することが可能な眼科遠隔医療技術を提供できる。
以上に説明した実施形態は本発明の典型的な例示に過ぎない。よって、本発明の要旨の範囲内における任意の変形(省略、置換、付加等)を適宜に施すことが可能である。