JP2023051471A - 眼科用画像観察プログラム - Google Patents

Abstract

【課題】複数の撮影方法で撮影された画像間の位置合わせを、良好に行うことができる眼科用画像観察プログラムを提供すること。【解決手段】眼科用画像観察プログラムは、眼科用コンピュータのプロセッサに実行されることによって、被検眼の正面画像である第１検査画像、該第１検査画像と対応する第１観察画像、および、被検眼の第２検査画像、該第２検査画像と対応する第２観察画像、を、第１および第２検査画像取得ステップによって取得し、更に、前記第１検査画像と前記第１観察画像との間で第１位置合わせ処理を行い、前記第１観察画像と前記第２観察画像との間で第２位置合わせ処理を行い、それぞれの変位である検査データ内の変位と、検査データ間の変位と、に基づいて前記第１検査画像と前記第２検査画像との画像間の位置を関連付ける。【選択図】図１

Description

本開示は、眼科用画像観察プログラムに関する。

眼科分野では、被検眼を多角的に診断および観察するために、互いに異なる複数の撮影方法で被検眼を撮影することが行われている。

撮影方法が互いに異なる複数の画像の間には、位置ずれが存在する。

特許文献１には、互いに異なる撮影方法で撮影された複数種類の蛍光造影画像における画像間の位置を関連付けるうえで、それぞれの撮影方法による蛍光造影画像と同時に取得される赤外眼底画像の間の位置ズレが、それぞれの撮影方法による蛍光造影画像間の位置ズレを表すことを利用して、画像間の位置を関連付ける手法が開示されている。

また、蛍光造影画像とカラー眼底画像との間での位置合わせを行う際に、蛍光造影画像と同時に取得される赤外眼底画像と、カラー眼底画像を構成する１つの色成分を示す眼底画像との間の位置ズレを、蛍光造影画像とカラー眼底画像との画像間の位置ズレとみなして、画像間の位置を関連付ける手法が開示されている。

特開２０１６－０５９４００号公報

しかし、特許文献１では、赤外画像間の位置ズレを本来目的とする画像間の位置ズレとして利用できる場合は、撮影方法に依存しているため、画像間の位置を精度良く関連付けることが困難な場合があった。

これに対し、本開示は、従来技術の問題点に基づいてなされたものであり、複数の撮影方法で撮影された画像間の位置合わせを、良好に行うことができる眼科用画像観察プログラムを提供すること、を技術課題とする。

本開示の第１態様に係る眼科用画像観察プログラムは、眼科用コンピュータのプロセッサに実行されることによって、被検眼の正面画像である第１検査画像と、該第１検査画像と対応する正面観察画像である第１観察画像とを、取得する第１検査画像取得ステップと、前記第１検査画像とは撮影方法が異なる被検眼の第２検査画像と、該第２検査画像と対応する正面観察画像である第２観察画像と、を取得する第２検査画像取得ステップと、前記第１検査画像と前記第１観察画像との間で第１位置合わせ処理を行う第１位置合わせステップと、前記第１観察画像と前記第２観察画像との間で第２位置合わせ処理を行う第２位置合わせステップと、前記第１位置合わせ処理に基づいて取得される変位である検査データ内の変位と、前記第２位置合わせ処理に基づいて取得される変位である検査データ間の変位と、に基づいて前記第１検査画像と前記第２検査画像との画像間の位置を関連付ける関連付けステップと、を眼科用コンピュータに実行させる。

本開示によれば、複数の撮影方法で撮影された画像間の位置合わせを、良好に行うことができる。

実施形態に係る位置合わせの手法の概要を示した図である。 実施例に係る眼科用画像観察システムの外観を示した図である。 実施例に係る眼科撮影装置の光学系を示した図である。 撮影光学系の各受光素子と、撮影方法との対応関係を示した表である。 実施例に係る撮影動作の流れを示したフローチャートである。 表示画面の一例を示した図である。 実施例に係る表示動作の流れを示したフローチャートである。 位置合わせの流れを示したフローチャートである 変容例に係る表示画面の一例を示した図である。

「概要」
以下、本開示における１つの実施形態を説明する。実施形態に係る眼科用画像観察システムを説明する。眼科用画像観察システムは、被検眼を撮影し、撮影結果である、検査画像を表示するために利用される。

実施形態において、眼科用画像観察システムは、眼科用コンピュータと、眼科撮影装置と、を含む。眼科撮影装置と眼科用コンピュータとは、別体であってもよいし、一体化されていてもよい。一体化される場合、眼科用コンピュータによって、撮影動作が制御されてもよい。別体である場合、眼科用コンピュータと、眼科撮影装置とは、有線または無線で接続されており、相互に通信可能である。これにより、眼科撮影装置から眼科用コンピュータへ検査画像を送受信できる。

＜眼科撮影装置＞
眼科撮影装置は、少なくとも、撮影光学系（図示せず）を有する。撮影光学系では、被検眼を光で照射したのちに被検眼からの戻り光が受光素子によって受光される。本実施形態では、受光素子からの信号に基づいて被検眼の正面画像が生成される。ここで、本実施形態では、第１検査画像と正面観察画像とが、同一の受光素子からの信号に基づいて生成されてもよい。

撮影光学系は、走査型の光学系であってもよい。この場合、撮影光学系は、光源からの光を被検眼の組織上で走査する走査手段（光スキャナ）と、組織からの戻り光を受光する受光素子と、を少なくとも含んでいてもよい。また、撮影光学系は、第１検査画像および正面観察画像として、眼底の正面画を撮影してもよいし、前眼部の正面画像を撮影してもよい。

第１検査画像は、被検眼の正面画像である。第１検査画像は、撮影トリガに基づいて撮影される。第１検査画像は、例えば、複数色の可視光に基づく反射画像（以下、カラー画像と称する）であってもよいし、単色の可視光による反射画像であってもよい。また、第１検査画像は、蛍光画像であってもよい。蛍光画像は、造影蛍光画像（例えば、ＦＡ画像，ＩＡ画像）であってもよいし、自発蛍光画像（ＦＡＦ画像）であってもよい。

また、第１検査画像として取得される被検眼の正面画像は、レトロ撮影に基づいたレトロ画像であってもよい。レトロ画像は、被検眼の観察面における光の集光位置の前後で散乱された散乱光を、偏心した眼底絞りを用いて選択的に受光することによって撮像される。レトロ画像には、集光位置前後の組織が描画される。ＳＬＯにおけるレトロ撮影の手法の詳細については、例えば、特開２００９－９５６３２号公報等を参照されたい。

正面観察画像は、赤外光による被検眼の正面画像である。例えば、フォーカスや明るさなどの撮影光学系における撮影条件は、随時取得される正面観察画像に基づいて調整されてもよい。撮影光学系は、赤外光を被検眼へ照射し、赤外光の戻り光に基づいて正面観察画像を撮像する。

眼科撮影装置は、更に、被検眼の第２検査画像を撮影してもよい。第２検査画像は、第１検査画像とは撮影方法が異なっている。第２検査画像は、撮影光学系によって撮影されてもよい。この場合、第１検査画像と同一の受光素子からの受光信号に基づいて、第２検査画像が生成されてもよい。また、第１検査画像とは異なる受光素子からの受光信号に基づいて、第２検査画像が生成されてもよい。また、第２検査画像は、撮影光学系とは異なる第２撮影光学系によって撮影されてもよい。第２撮影光学系は、例えば、被検眼のＯＣＴデータを撮影するＯＣＴ光学系であってもよい。この場合、第２検査画像は、ＯＣＴ画像であってもよく、例えば、Ｂスキャンに基づく断層画像であってもよいし、ボリュームスキャンに基づく３次元画像であってもよいし、ＯＣＴ正面画像であってもよい。ＯＣＴ画像は、機能ＯＣＴ画像であってもよく、より具体的な一例であるモーションコントラスト画像（ＭＣ画像）であってもよい。モーションコントラスト画像は、モーションコントラストＯＣＴデータに基づいて生成される。モーションコントラスト画像として、例えば、疑似的な血管造影画像（ＯＣＴアンジオ画像）を得ることができる。

＜眼科用画像観察プログラム＞
実施形態に係る眼科用画像観察プログラムは、眼科用コンピュータのプロセッサによって読み出し可能な、不揮発性メモリに格納されている。眼科用画像観察プログラムは、プロセッサによって実行されることによって、以下の各ステップが眼科用コンピュータによって実行される。

＜第１検査画像取得ステップ＞
第１検査画像取得ステップでは、第１検査画像と第１観察画像とが、同一の受光素子からの信号に基づいて取得される。第１観察画像は、第１検査画像と対応する正面観察画像である。すなわち、被検眼上において第１検査画像が撮影された位置が、第１観察画像によって（おおよそ）特定される。但し、同一の受光素子からの信号に基づいているため、第１検査画像と第１観察画像との間で、撮影タイミングは異なり得る。故に、第１検査画像と第１観察画像との間には、多少の位置ズレが存在する。

＜第２検査画像取得ステップ＞
第２検査画像取得ステップでは、第２検査画像と第２観察画像とが取得される。第２検査画像と第２観察画像とは、同時に（同一のタイミングで）撮影されてもよい。第２観察画像は、第２検査画像と対応する正面観察画像である。すなわち、被検眼上において第２検査画像が撮影された位置が、第２観察画像によって（おおよそ）特定される。

＜第１位置合わせステップ＞
本実施形態において、第１検査画像と第１観察画像とは同一の受光素子からの信号に基づいているので、第１検査画像と第１観察画像とを同時に撮像できない場合がある。この場合、第１検査画像と第１観察画像が近接したタイミングで撮像されたとしても、わずかな位置ズレが生じる。これに対し、本実施形態では、第１位置合わせステップにおいて、第１検査画像と第１観察画像との間で第１位置合わせ処理が行われる。第１位置合わせ処理の結果として、第１検査画像と第１観察画像との間の変位が、検査データ内の変位として取得されてもよい。

第１位置合わせ処理では、ローカルマッチングによって、第１検査画像と第１観察画像との画像間の変位が取得されてもよい。この場合、第１検査画像と第１観察画像とは、連続的に撮影されることによって、大きな位置ズレが生じる可能性が、予め低減されていることが望ましい。本実施形態において、ローカルマッチングでは、画像間の局所領域毎の変位が求められ、局所領域毎の変位に基づいて少なくとも一方の画像が変換される。更なる詳細については、実施例において説明する。

特に、撮影光学系が走査型の光学系である場合は、撮影中の固視微動の影響によって、第１検査画像と第１観察画像との間で異なる歪み（局所的な位置ズレともいう）が生じる場合があり得るので、追加的に、各種の歪み補正処理が行われてもよい。なお、この場合において、例えば、本出願人による特開2020-162926号公報の歪み補正処理が用いられてもよい。

第２検査画像に関する検査データ内の変位を求める必要があるか否かは、第２検査画像の撮影方法に依存する。例えば、第２検査画像と第２観察画像との間で撮影に利用する照明光の波長が異なることにより、倍率色収差の影響で倍率が互いに異なっている場合は、第２検査画像と第２観察画像との間の変位が求められてもよい。また、第２検査画像と第２観察画像とが、同一の受光素子からの受光信号に基づいて撮影された場合等、第２検査画像と第２観察画像とが同時に撮影されなかった場合にも、第２検査画像と第２観察画像との間の変位が更に求められてもよい。

＜第２位置合わせステップ＞
本実施形態では、第１検査画像と第２検査画像とは、相対的に離れたタイミングで取得されることが考えられる。これに対し、第２位置合わせステップにおいて、第１観察画像と第２観察画像との間で第２位置合わせ処理が行われる。第２位置合わせ処理の結果として、第１観察画像と第２観察画像との間の変位が、検査データ間の変位として（第１検査画像と第２検査画像との変位とみなして）て取得されてもよい。第２位置合わせ処理では、グローバルマッチングが行われ、更に、ローカルマッチングが行われる。ローカルマッチングでは、処理対象となるそれぞれの画像に対して、複数の局所領域を設定（一例として、複数のパッチに分割）したうえで、画像間の対応点が局所領域毎に求められる。局所領域毎の対応点のズレが、局所領域毎の変位を表す。局所領域の対応点を求めるマッチング手法として、例えば、各種相関を用いる手法、および、テンプレートマッチング等のいずれかを用いることができる。更なる詳細については、実施例において説明する。

＜関連付けステップ＞
図１に示すように、本実施形態では、関連付けステップにおいて、検査データ内の変位（第１検査画像と第１観察画像との変位）と、検査データ間の変位（第１観察画像と第２観察画像との変位）と、に少なくとも基づいて第１検査画像と第２検査画像との画像間の位置が関連付けられる。例えば、画像間の変位が補正される。その結果、第１検査画像と第２検査画像とが正確に対応付けられる。なお、関連付けステップは、第１位置合わせステップおよび第２位置合わせステップと独立した処理である必要は無く、第１位置合わせステップおよび第２位置合わせステップの中であわせて実行されてもよい。

本実施形態の位置合わせ手法では、撮影方法が互いに異なる第１検査画像と第２検査画像との位置合わせにおいて、第１検査画像と第２検査画像とが直接的にマッチングされずに、第１検査画像と第１観察画像（場合によっては、加えて、第２検査画像と第２観察画像）とのマッチング、および、第１観察画像と第２観察画像とのマッチングが行われるので、撮影方法が互いに異なる画像間において、より頑健な位置合わせが実現しやすい。更に、本実施形態の位置合わせ手法によれば、マッチングの処理を用意しておく必要があるモダリティの組合せの数が抑制されやすい。

図１に示すように、本実施形態において、撮影方法が互いに異なる３枚以上の検査画像間の位置合わせが行われてもよい。例えば、３枚の検査画像間の位置合わせの場合は、第１の撮影方法および第２の撮影方法の何れとも異なる第３の撮影方法による第３検査画像と、第３検査画像と対応付けられた第３観察画像が、少なくとも取得されてもよい（第３検査画像取得ステップ）。また、この場合、第２位置合わせステップにおいて、例えば、テンプレートに対する観察画像の変位をそれぞれ検査データ間の変位として求め、検査データ内の変位と検査データ間の変位と、に基づいて３枚の検査画像間の位置合わせが行われてもよい。テンプレートは、第１~第３の観察画像の何れかであってもよいし、別の観察画像がテンプレートとして利用されてもよい。更に、検査画像が４枚以上の場合においても、同様の要領で位置合わせできる。

＜切換表示＞
また、画像間の位置が関連付けられた状態の第１検査画像と第２検査画像とが、同一の表示領域において切換表示される表示制御ステップが更に実行されてもよい。このとき、画像間の変位が補正されていてもよい。第１検査画像および第２検査画像の各領域における被検眼上の領域が、互いに一致しているので、第１検査画像と第２検査画像との間における各領域の対応関係が、検者において適切に把握されやすい。また、第１検査画像と第２検査画像との差異が、視覚情報の変化として容易に把握されやすく、見比べやすい。

＜並列表示＞
また、画像間の位置が関連付けられた状態の第１検査画像と第２検査画像とが、並列して表示される表示制御ステップが更に実行されてもよい。

「実施例」
次に、実施例を説明する。実施例に係る眼科装置１は、眼科撮影装置とコンピュータとが一体化された、眼科用画像観察システムの１つの実施例である。眼科装置１は、被検眼の各種画像を、自らで撮影することによって取得する。但し、必ずしもこれに限られるものでは無く、他の装置によって撮影された被検眼の画像を、ネットワーク等を介して取得してもよい。

一例として、実施例に係る眼科装置１は、走査型眼底撮影装置（例えば、SLO:Scanning Light Ophthalmoscope）である。眼科装置１は、光干渉断層計（OCT：Optical Coherence Tomography）、視野計などの他の眼科装置と一体化された装置であってもよい。

眼科装置１は、複数の撮影方法で、眼底正面画像を撮影する。各々の撮影方法の間で、利用する光の波長帯、（造影撮影の場合は）造影に利用される物質、および、撮影原理のうち、少なくともいずれかが、互いに異なっていてもよい。

例えば、本実施例において、眼科装置１は、眼底正面画像として、ＩＲ画像、カラー画像、および、蛍光画像を撮影するものとして説明する。ＩＲ画像は、赤外光による反射画像である。本実施例において、ＩＲ画像は、少なくとも眼底観察画像として利用される。また、ＩＲ画像は、撮影方法および撮影時期の少なくとも一方が異なる眼底画像同士の位置合わせに利用される。カラー画像は、カラー撮影によって撮影される。カラー画像は、複数色の可視光による反射画像である。また、蛍光画像は、蛍光撮影によって取得される。蛍光画像は、インドシアニングリーン造影撮影（ＩＡ）、および、フルオレセイン造影撮影（ＦＡ）、のいずれかの撮影方法で撮影されてもよい。２種類の造影剤を同時に静注することにより、２種類の蛍光造影画像が同時に撮影されてもよい。以下では、インドシアニングリーンの蛍光発光に基づく画像を、ＩＡ画像と称し、フルオレセインの蛍光発光に基づく画像を、ＦＡ画像と称する。

＜装置構成＞
まず、図２を参照して、眼科装置１の概略構成を説明する。眼科装置１は、撮影部１００と、制御部７０と、を少なくとも有する。更に、眼科装置１は、モニタ８０および入力インタフェース７５に接続される。

撮影部１００は、被検眼Ｅを撮影するために、後述の撮影光学系１０，２０を少なくとも有する（図３参照）。また、撮影部１００は、被検眼と装置との位置調整（アライメント調整）を行うための駆動部等を備えていてもよい。

制御部７０は、撮影部１００を介した撮影動作、および、撮影された画像の表示制御、等を実行する眼科用コンピュータである。制御部７０は、演算制御部７０およびメモリ７１を備える。

演算制御部７０は、眼科装置１におけるプロセッサである。演算制御部７０は、ＣＰＵ、ＲＡＭ、および、ＲＯＭ等によって構成されてもよい。演算制御部７０は、眼底正面画像の撮影動作、眼底正面画像の表示制御、および、その他の処理を、予め用意されたプログラム（少なくとも実施例に係る眼科画像観察プログラム）に基づいて実行する。

演算制御部７０は、データバス等を介して、メモリ７１、操作部７５、モニタ８０、および、撮影部１００等と接続される。

本実施形態において、メモリ７１は、不揮発性の記憶装置である。例えば、ハードディスクあるいはフラッシュメモリ等が、メモリ７１として適用可能である。本実施形態において、各種プログラムは、メモリ７１に予め記憶されている。メモリ７１は、書き換え可能であってもよい。この場合、以下の実施例において説明するように、メモリ７１には、眼科装置１から取得される各種の眼底正面画像が記憶されてもよい。

操作部７５は、コンピュータ１の入力インタフェースである。演算制御部７０は、操作部７５への操作入力に応じた信号を受け付ける。

便宜上、以下の説明における各種操作は、操作部７５としてマウスが利用されることを前提としたものである。但し、操作部７５は、他の種々のデバイスであってもよい。例えば、タッチパッド、および、キーボードのうちの少なくとも１つが、操作部７５として利用されてもよい。

モニタ８０は、本実施形態において、眼科装置１によって撮影された画像の表示部（表示デバイス）として利用される。モニタ８０は、例えば、汎用のモニタあってもよいし、装置に備え付けのモニタであってもよい。

＜撮影光学系＞
図３を参照して、実施例に係る撮影光学系１０，２０を説明する。撮影光学系１０，２０は、被検眼Ｅにおける眼底正面画像を撮影するために利用される。図３に示すように、撮影光学系１０，２０は、照射光学系１０と、受光光学系２０と、を少なくとも有する。

照射光学系１０は、少なくとも光源１１と、対物レンズ系１７と、を含む。また、図３に示すように、照射光学系１０は、更に、光出射部１１、穴開きミラー１３、走査部１６を有してもよい。

本実施例において、光出射部１１は、レーザー光を出射する。本実施例では、光出射部１１からの光が、照射光学系１０から眼底Ｅｒへ照射される照明光として利用される。光出射部１１は、例えば、レーザーダイオード（LD）、および、スーパールミネッセントダイオード（SLD）等を含んでいてもよい。具体的な構造についての説明は省略するが、光出射部１１は、少なくとも１種類以上の波長域の光を出射する。本実施例では、複数色の光が、同時に、又は選択的に、光出射部１１から出射されるものとする。例えば、本実施例では、光出射部１１から、青，緑，赤の可視域の３色と、赤外域の１色と、の計４色の光が出射される。各色の光は、同時に、又は、交互に出射可能である。

光出射部１１からの光は、穴開きミラー１３に形成された開口部を通り、走査部１６に向かう。走査部１６によって反射された光は、対物レンズ系１７を通過した後、被検眼Ｅの眼底Ｅｒに照射される。

走査部１６（「光スキャナ」ともいう）は、光出射部１１から発せられた光を、眼底上で走査するためのユニットである。以下の説明では、特に断りが無い限り、走査部１６は、走査方向が互いに異なる２つの光スキャナを含むものとする。即ち、主走査用（例えば、Ｘ方向への走査用）の光スキャナ１６ａと、副走査用（例えば、Ｙ方向への走査用）の光スキャナ１６ｂと、を含む。以下では、主走査用の光スキャナ１６ａはレゾナントスキャナであり、副走査用の光スキャナ１６ｂはガルバノミラーであるものとして説明する。但し、各光スキャナ１６ａ，１６ｂには、他の光スキャナが適用されてもよい。例えば、各光スキャナ１６ａ，１６ｂに対し、他の反射ミラー（ガルバノミラー、ポリゴンミラー、レゾナントスキャナ、および、ＭＥＭＳ等）の他、光の進行（偏向）方向を変化させる音響光学素子（ＡＯＭ）等が適用されてもよい。

対物レンズ系１７は、眼科装置１における対物光学系である。対物レンズ系１７は、走査部１６によって走査される光を、眼底Ｅｒに導くために利用される。そのために、対物レンズ系１７は、走査部１６を経た光が旋回される旋回点Ｐを形成する。旋回点Ｐは、照射光学系１０の光軸Ｌ１上であって、対物レンズ系１７に関して走査部１６と光学的に共役な位置に形成される。なお、本開示において「共役」とは、必ずしも完全な共役関係に限定されるものではなく、「略共役」を含むものとする。即ち、眼底画像の利用目的（例えば、観察、解析等）との関係で許容される範囲で、完全な共役位置からズレて配置される場合も、本開示における「共役」に含まれる。なお、眼科撮影装置１における対物光学系は、レンズ系に限定されるものではなく、ミラー系であってもよいし、レンズ系とミラー系とを組み合わせたものでもあってもよいし、その他の光学系であってもよい。

対物レンズ系１７を通過した光は、走査部１６の動作に伴って旋回点Ｐを中心に旋回される。アライメントの結果、被検眼Ｅの前眼部に旋回点Ｐが位置することによって、眼底Ｅｒ上で光が２次元的に走査される。その結果、光出射部１１からの光は、眼底Ｅｒで反射・散乱される、或いは、眼底に存在する蛍光物質を励起させ、眼底からの蛍光を生じさせる。これらの光（つまり、反射・散乱光および蛍光等）が、戻り光として、瞳孔から出射される。

次に、受光光学系２０について説明する。受光光学系２０は、複数の受光素子を持つ。例えば、図３に示すように、複数の受光素子２５，２７，２９を有してもよい。この場合、眼底Ｅｒからの光は、受光素子２５，２７，２９によって受光される。

図３に示すように、本実施例における受光光学系２０は、対物レンズ系１７から穴開きミラー１３までに配置された各部材を、照射光学系１０と共用してもよい。この場合、眼底からの光は、照射光学系１０の光路を遡って、穴開きミラー１３まで導かれる。穴開きミラー１３は、被検眼の角膜，および，装置内部の光学系（例えば対物レンズ系のレンズ面等）での反射によるノイズ光の少なくとも一部を取り除きつつ、眼底Ｅｒからの光を、受光光学系２０の独立光路へ導く。

なお、照射光学系１０と受光光学系２０とを分岐させる光路分岐部材は、穴開きミラー１３に限られるものではなく、その他のビームスプリッターが利用されてもよい。

本実施例の受光光学系２０は、穴開きミラー１３の反射光路に、レンズ２１、ピンホール板２３、および、光分離部（光分離ユニット）３０を有する。本実施例において、光分離部（光分離ユニット）３０が、分光部として利用される。

ピンホール板２３は、眼底共役面に配置されており、ＳＬＯ１における共焦点絞りとして機能する。すなわち、視度調節部４０によって視度が適正に補正される場合において、レンズ２１を通過した眼底Ｅｒからの光は、ピンホール板２３の開口において焦点を結ぶ。ピンホール板２３によって、眼底Ｅｒの集光点（あるいは、焦点面）以外の位置からの光が取り除かれ、残り（集光点からの光）が主に受光素子２５，２７，２９へ導かれる。

光分離部３０は、眼底Ｅｒからの光を分離させる。本実施例では、光分離部３０によって、眼底Ｅｒからの光が波長選択的に光分離される。また、光分離部３０は、受光光学系２０の光路を分岐させる光分岐部を兼用していてもよい。例えば、図３に示すように、光分離部３０は、光分離特性（波長分離特性）が互いに異なる２つのダイクロイックミラー（ダイクロイックフィルター）３１，３２を含んでいてもよい。受光光学系２０の光路は、２つのダイクロイックミラー３１，３２によって、３つに分岐される。また、それぞれの分岐光路の先には、受光素子２５，２７，２９の１つがそれぞれ配置される。

例えば、光分離部３０は、眼底Ｅｒからの光の波長を分離させ、３つの受光素子２５，２７，２９に、互いに異なる波長域の光を受光させる。例えば、青，緑，赤の３色の光を、受光素子２５，２７，２９に１色ずつ受光させる。この場合、各受光素子２５，２７，２９の受光結果から、カラー画像を得ることができる。

また、光分離部３０は、赤外撮影で使用される赤外域の光を、受光素子２５，２７，２９の少なくとも１つに受光させる。本実施例では、一例として、例えば、蛍光撮影で使用される蛍光と、赤外撮影で使用される赤外域の光とが、互いに異なる受光素子に受光される。

ここで、図４を参照し、本実施例における光分離部３０の分光特性を説明する。受光素子２５側の光路には、ダイクロイックミラー３１によって反射される波長域の光が導かれる。ダイクロイックミラー３１は、赤色の波長域の光と赤外域（第１赤外域）の光とを少なくとも反射し、それ以外の波長域の光を透過し、受光素子２５へ受光される。図４に示すように、結果として、受光素子２５では、赤色の波長域の光と赤外域（第１赤外域）の光とが受光される。赤色の波長域は、例えば、カラー撮影に利用される。また、第１赤外域は、例えば、ＩＡ撮影に利用される。つまり、本実施例では、インドシアニングリーンの蛍光波長である赤外成分が含まれるように、第１赤外域は設定される。

受光素子２７側の光路には、ダイクロイックミラー３１を透過し、且つ、ダイクロイックミラー３２によって反射される波長域の光が導かれる。本実施例において、ダイクロイックミラー３２は、緑色の波長域の光を少なくとも反射する。その結果、図４に示すように、結果として、受光素子２７では、緑色の波長域の光が受光される。緑色の波長域は、カラー撮影に利用される。また、緑色の波長域は、ＦＡ撮影に利用されてもよい。つまり、本実施例では、フルオレセインの蛍光波長である緑色成分が含まれるように、緑色の波長域が設定されてもよい。

受光素子２９側の光路には、２つのダイクロイックミラー３１，３２を透過する波長域の光が導かれる。本実施例では、青色の波長域の光と、赤外域の光とが少なくとも透過される。なお、各ダイクロイックミラー３１，３２を透過する赤外光は、ダイクロイックミラー３１で反射される赤外光に対し、短波長側の波長域を持つ。各ダイクロイックミラー３１，３２を透過した光が、受光素子２９で受光される。図４に示すように、結果として、受光素子２９では、青色の波長域の光と、第１赤外域と比べて短波長側の第２赤外域の光と、が受光される。青色の波長域は、例えば、カラー撮影に利用される。また、第２赤外域は、例えば、ＩＲ画像の撮影に利用される。

＜動作説明＞
次に、図５～図＠を参照して、眼科装置１における動作を説明する。

＜撮影動作＞
まず、図５のフローチャートを参照して、眼科装置１による眼底正面画像の撮影動作について説明する。

眼科装置１では、まず、被検眼と装置との位置関係が調整される（Ｓ１）。また、眼底観察画像の取得が開始される（Ｓ２）。つまり、眼科装置１は、光出射部１１から赤外光を継続的に出射すると共に、受光素子２９からの信号に基づいて、ＩＲ画像を眼底観察画像として随時生成する。随時取得されるＩＲ画像に基づいて、フォーカス調整等の各種調整が行われる（Ｓ３）。

次に、撮影方法が選択される（Ｓ４）。撮影方法は、予め定められた撮影シーケンスに従って選択されてもよい。また、撮影方法の選択操作を、都度、受け付けてもよい。本実施例では、撮影方法に応じて、撮影動作が異なる。説明の便宜上。撮影方法を、カラー撮影と、蛍光撮影（ＩＡ撮影またはＦＡ撮影）と、の２種類に大別して説明する。

撮影方法が選択された後、撮影トリガが入力されることによって、撮影が実行される。

＜カラー撮影＞
本実施例の眼科装置１では、カラー画像を撮影する場合とＩＲ画像を撮影する場合との両方で、受光素子２９が使用されるので、ＩＲ画像とカラー画像とは、同時に撮影できない。これに対し、本実施例では、カラー撮影が選択された状態で、撮影トリガが入力されると、光出射部１１からの赤外光の出射が停止され、赤外観察画像の取得が中断される。次に、光出射部１１から青、緑、赤の３色を同時に出射させると共に、受光素子２５，２７，２９から同時に出力される受光信号に基づいて、カラー画像を撮影する（Ｓ５）。撮影後、赤外観察画像の取得が再開される。このように、カラー画像とＩＲ画像とが連続的に撮影される。

撮影終了後、カラー画像と、カラー画像と連続的に取得される１枚のＩＲ画像とが、互いに対応付けられてメモリ７１に保存される（Ｓ６）。

＜蛍光撮影＞
本実施例の眼科装置１において、蛍光画像（ＩＡ画像およびＦＡ画像）を撮影する場合とＩＲ画像を撮影する場合との間で、使用される受光素子が互いに異なっているので、蛍光画像とＩＲ画像とは、同時に撮影可能である。本実施例では、蛍光撮影が選択された状態で、撮影トリガが入力されると、光出射部１１からの赤外光と、選択された蛍光撮影の種別に応じた励起光とが同時に出射される。その結果、蛍光画像とＩＲ画像とが同時に撮影される（Ｓ７）。

例えば、造影初期では、撮影トリガに基づいて、複数フレームの蛍光画像が撮影されてもよい。このとき、各フレームの蛍光画像とそれぞれ同時にＩＲ画像が撮影されてもよい。造影初期では、撮影トリガに基づいて、蛍光画像による静止画像が撮影トリガ毎にワンショットで撮影されてもよい。

撮影終了後、制御部７０は、同時に撮影された蛍光画像とＩＲ画像とを、互いに対応付けて記憶部７１に保存する（Ｓ８）。

以上のようにして、カラー眼底画像、蛍光画像、および、それぞれと対応付けられたＩＲ画像は、眼科撮影トリガに基づいて撮影装置１００によって撮影され、メモリ７１へ保存される（換言すれば、本実施例における眼科用コンピュータである撮影装置１００によって取得される）。この場合において、各種の眼底正面画像には、撮影方法、および、撮影日時を示す識別情報と対応付けられたうえで、メモリ７１へ記憶される。また、蛍光造影画像、および、蛍光造影画像と同時に取得されるＩＲ画像については、撮影時の造影タイマの計測時間を示す情報が、更に、対応づけられていてもよい。

＜表示動作＞
本実施例では、撮影された眼底正面画像について、図６で示すような態様で、異なる撮影方法で撮影された複数の眼底正面画像の比較表示が行われる。すなわち、図６によれば、異なる撮影方法で撮影された複数の眼底正面画像が、１つの表示領域において択一的に表示される。

ここで、図６のフローチャートを参照して、眼底正面画像の表示動作について説明する。

まず、撮影の結果として取得された複数枚の眼底正面画像の中から、比較表示に用いる画像が複数枚登録される（Ｓ１１）。このとき、それぞれの登録画像の間で、被検眼上の撮影範囲は、略一致していることが好ましい。

登録画像は、例えば、撮影の結果として取得された複数枚の眼底正面画像の中から、検者からの登録操作に基づいて選択されてもよい。便宜上、本実施例では、カラー眼底画像と、蛍光造影画像とが、比較表示の対象として選択された場合について説明する。

＜登録画像間の変位情報の検出処理＞
比較表示が行われるうえで、登録画像間における変位情報が、制御部７０によって取得される（Ｓ１２）。詳細な取得動作を、図８に示す。本実施例では、検査データ間の変位情報と、検査データ内の変位情報と、が取得される。本実施例において、登録画像間の変位情報は、検査データ間の変位情報と、検査データ内の変位情報とを合成することによって求められる。

＜検査データ間の変位の取得手法＞
検査データ間の変位情報は、各々の登録画像と対応付けられているＩＲ画像間の変位（位置ズレ）を表す。各々の登録画像は、撮影されたタイミングが大きく離れている場合があるので、眼の回旋や固視のズレ等によって撮影位置がズレている場合があり得る。

＜グローバルマッチング＞
これに対し、本実施例では、各々の登録画像と対応するＩＲ画像間で、まず、グローバルマッチングを行う（Ｓ２１）。本実施例では、グローバルマッチングによって、画像間における画像全体の変位が求められる。本実施例では、画像全体の変位として、平行移動量が求められる。但し、必ずしもこれに限られるものではなく、例えば、回転、歪み、及び、倍率の少なくともいずれかが、更に求められてもよい。画像全体の変位を求めるマッチング手法として、例えば、画像全体を用いた各種相関を用いる手法（例えば、Orientation Correlation, Phase Only Correlation(位相限定相関),Normalized Cross-Correlation(正規化相互相関)等）、および、テンプレートマッチング等のいずれかを用いることができる。また、必ずしも画像全体を用いてマッチング処理が行われる必要は無く、画像中心等の特定の領域における変位を、画像全体の変位とみなして求めてもよい。

＜ローカルマッチング＞
本実施例にける検査データ間位置合わせでは、グローバルマッチングの後、ローカルマッチングが行われる（Ｓ２２）。ローカルマッチングでは、処理対象となるそれぞれの画像に対して、複数の局所領域を設定（一例として、複数のパッチに分割）したうえで、画像間の対応点が局所領域毎に求められる。本実施例において、局所領域を設定する際には、グローバルマッチングで求められた画像全体の変位が考慮される。例えば、画像全体の平行移動を補正したうえで、それぞれの画像の対応する位置に局所領域を設定してもよい。局所領域毎の対応点のズレが、局所領域毎の変位を表す。局所領域の対応点を求めるマッチング手法として、例えば、上記と同様の各種相関を用いる手法、および、テンプレートマッチング等のいずれかを用いることができる。

＜アフィン変換＞
次に、ローカルマッチングによって求められた対応点の情報に基づいて、画像全体のアフィン変換（または射影変換）を求める。（Ｓ２３）
更に、本実施例では、アフィン変換の妥当性が評価される（Ｓ２４）。具体的には、求めたアフィン変換で、処理対象となる２つの画像の一方を再変換し、再変換後の一方の画像におけるアフィン変換後の対応点と他方の画像の対応点とのズレが許容範囲内であるか否かが判定される。許容範囲内であれば変換は成功しており、許容範囲外であれば変換は失敗したものと扱われる。変換が失敗した画像は、後述の比較表示の際の表示対象から除外されてもよい。また、比較表示の際に、変換に失敗していることを表す識別情報が、変換に失敗した画像と同時に表示されてもよい。また、許容範囲外のズレは、走査中の目の動き等に基づく画像の歪みを表しているものと考えられるので、追加的に、各種の歪み補正が行われてもよい。

＜検査データ内の変位の取得手法＞
検査データ内の変位情報は、選択された登録画像と、その登録画像と対応付けられているＩＲ画像との間の変位（位置ズレ）を表す。

上述の通り、カラー眼底画像と、カラー眼底画像と対応付けて取得されるＩＲ画像とは、同一の受光素子からの信号に基づいており、撮影タイミングが異なっている。故に、それら２つの画像間には、位置ズレが存在する。但し、２つの画像は、連続的に撮影されたので、撮影位置に大きな違いは生じ難い。よって、検査データ内の変位情報を取得するうえで、上述のグローバルマッチングは必ずしも必要ではない。

但し、撮影タイミングがわずかに異なったことに伴う位置ズレを補正するために、ローカルマッチングが行われる（Ｓ２２）。本実施例では、登録画像がカラー眼底画像である場合は、カラー眼底画像と、カラー眼底画像と対応付けて取得されるＩＲ画像との間で、上述のローカルマッチングが行われ、ローカルマッチングに基づいて検査データ内の変位情報が取得される。本実施例では、画像全体のアフィン変換が検査データ内の変位情報として取得される（Ｓ２３）。アフィン変換の妥当性についても評価されてもよい（Ｓ２４）。

例えば、第１検査画像と第１観察画像との間における複数の対応点（または対応領域）における変位が、対応点毎（または対応領域毎）に求められてもよい。

また、本実施例において、上述の通り、蛍光画像と、蛍光画像と対応付けて取得されるＩＲ画像とは、同時に撮影されているので、それら２つの画像間には、位置ズレが生じない（つまり、変位はゼロである）。よって、この場合は、蛍光画像と、蛍光画像と対応付けて取得されるＩＲ画像との間でのマッチングに基づく変位情報の取得処理は省略される。

＜補正処理（実施例における関連付け処理）＞
次に、検査データ間の変位情報と、検査データ内の変位情報と、に基づいて、登録画像間の変位が補正される（Ｓ１３）。これによって、それぞれの登録画像上の各位置と眼底の各位置との関係が、互いに一致される。

＜登録画像の比較表示＞
登録画像は、図６で示すような態様で、比較表示が行われる（Ｓ１４）。このときの画面を、便宜上、比較画面と称する。

まず、いずれかの登録画像（便宜上、第１画像と称する）が、所定の表示領域において択一的に表示される。また、切換指示に基づいて、新たに選択された登録画像（便宜上、第２画像と称する）が、第１画像から切換えられて比較用表示領域３０１へ表示される（例えば、図６（ａ）⇔図６（ｂ））。このとき、比較用表示領域３０１には、第２画像の一部または全体であって、所定の比較用表示領域において示される被検眼上の領域が第１画像と一致するように調整されたものが表示される。調整は、Ｓ１３の処理によって取得された変位情報（例えば、第１画像と第２画像とのそれぞれの変位情報）に基づいて行われる。

本実施例では、所定の表示領域に表示される画像が、第１画像から第２画像へ切換わるときに、第２画像は、所定の表示領域において示される被検眼上の領域が切換直前の第１画像と一致するように調整されている。それ故、第１画像と第２画像との間における各領域の対応関係が、検者において適切に把握されやすい。また、第１画像と第２画像との間の差異が、視覚情報の変化として容易に把握されやすい。その結果、本実施形態の切換表示によって、検者は、複数の登録画像を良好に見比べることができる。

「変容例」
以上、実施形態および実施例に基づいて本開示を説明したが、本開示は必ずしもこれに限定されるものではなく、種々の変形が可能である。

例えば、上記実施例によれば、異なる撮影方法で撮影された複数の眼底正面画像が、同一の表示領域において切換表示される場合について説明したが、図９に示すように、個別の表示領域において並列して表示されてもよい。

この場合において、並列して表示される複数の眼底正面画像は、検査データ間の変位情報、および、検査データ内の変位情報に基づいて変位が補正された状態で表示されてもよい。また、図９に示すように、各々の画像上の対応位置に、指標を表示させてもよい。図９では、カーソル３０２，４０２が指標として表示される。各々の表示領域におけるカーソルの相対位置は、互いに一致される。画像間の変位が補正されていることで、各々のカーソルによって、同一の眼底部位を示すことができる。

１ 眼科装置
７０ 制御部

Claims (6)

1. 眼科用コンピュータのプロセッサに実行されることによって、
   被検眼の正面画像である第１検査画像と、該第１検査画像と対応する正面観察画像である第１観察画像とを、取得する第１検査画像取得ステップと、
   前記第１検査画像とは撮影方法が異なる被検眼の第２検査画像と、該第２検査画像と対応する正面観察画像である第２観察画像と、を取得する第２検査画像取得ステップと、
   前記第１検査画像と前記第１観察画像との間で第１位置合わせ処理を行う第１位置合わせステップと、
   前記第１観察画像と前記第２観察画像との間で第２位置合わせ処理を行う第２位置合わせステップと、
   前記第１位置合わせ処理に基づいて取得される変位である検査データ内の変位と、前記第２位置合わせ処理に基づいて取得される変位である検査データ間の変位と、に基づいて前記第１検査画像と前記第２検査画像との画像間の位置を関連付ける関連付けステップと、を眼科用コンピュータに実行させる眼科用画像観察プログラム。
2. 前記第１位置合わせステップにおいて、更に、前記第２検査画像と前記第２観察画像との間で第１位置合わせ処理を行い、
   前記関連付けステップでは、前記第１位置合わせ処理に基づいて取得される変位である、前記第１検査画像と第１観察画像との間の第１の検査データ内の変位と、前記第２検査画像と第２観察画像との間の第２の検査データ内の変位と、前記第２位置合わせ処理に基づいて取得される変位である検査データ間の変位と、に基づいて、前記第１検査画像と前記第２検査画像との画像間の位置を関連付ける、請求項１記載の眼科用画像処理プログラム。
3. 前記第１検査画像と第１観察画像とは、同一の受光素子からの信号に基づいて取得される、請求項１又は２記載の眼科用画像観察プログラム。
4. 前記第１位置合わせ処理では、ローカルマッチングによって前記第１検査画像と前記第１観察画像との画像間の変位を取得し、
   前記第２位置合わせ処理では、グローバルマッチングとローカルマッチングとによって前記第１観察画像と前記第２観察画像との画像間の変位を取得する、請求項１～３の何れかに記載の眼科用画像観察プログラム。
5. 前記検査データ内の変位と、前記検査データ間の変位と、に基づいて画像間の位置が関連付けられた状態の前記第１検査画像と前記第２検査画像とを、同一の表示領域において切換指示に基づいて切換表示する表示制御ステップを備える請求項１～４のいずれかに記載の眼科用画像観察プログラム。
6. 前記検査データ内の変位と、前記検査データ間の変位と、に基づいて画像間の位置が関連付けられた状態の前記第１検査画像と前記第２検査画像とを、並列して表示する表示制御ステップを備える請求項１～４のいずれかに記載の眼科用画像観察プログラム。

Images