JP2017093999A - 撮像装置及びその制御方法、並びに、プログラム - Google Patents

撮像装置及びその制御方法、並びに、プログラム Download PDF

Info

Publication number
JP2017093999A
JP2017093999A JP2015232326A JP2015232326A JP2017093999A JP 2017093999 A JP2017093999 A JP 2017093999A JP 2015232326 A JP2015232326 A JP 2015232326A JP 2015232326 A JP2015232326 A JP 2015232326A JP 2017093999 A JP2017093999 A JP 2017093999A
Authority
JP
Japan
Prior art keywords
imaging
image
predetermined
unit
aoslo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015232326A
Other languages
English (en)
Inventor
勉 歌川
Tsutomu Utagawa
勉 歌川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015232326A priority Critical patent/JP2017093999A/ja
Publication of JP2017093999A publication Critical patent/JP2017093999A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

【課題】被検眼の眼底における再撮像を行う際に、撮像時間の短縮化を実現して被検者の負担を軽減する仕組みを提供する。【解決手段】被検眼Eの眼底Erにおける複数の所定領域を撮像するAOSLO装置111と、AOSLO装置111で複数の所定領域における各所定領域を撮像する際の当該撮像に関する情報を各所定領域ごとに記憶し、複数の所定領域のうちの少なくとも1つの所定領域を再撮像する決定を行い、再撮像すると決定した所定領域における前記撮像に関する情報に基づいて当該所定領域の再撮像をAOSLO装置111に行わせる制御PC150を備える。【選択図】図2−1

Description

本発明は、被検眼の眼底を撮像する撮像装置及びその制御方法、並びに、当該制御方法をコンピュータに実行させるためのプログラムに関するものである。
生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、被検眼の眼底の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡(SLO:Scanning Laser Ophthalmoscope)は、測定光であるレーザーを被検眼の眼底に対してラスタースキャンし、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。
近年、被検眼の収差を波面センサでリアルタイムに測定し、被検眼において発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学SLO(AOSLO:Adaptive Optics SLO)装置が開発された。このAOSLO装置は、高分解能の平面画像(以下、「AOSLO画像」という場合がある)の取得を可能にしている。
高分解能の平面画像を取得する場合、装置自体の光学収差や撮像時間の長時間化等の問題から、一度に撮像する撮像範囲、つまり画角が狭くなってしまう。一方で、診断や検査等に必要な情報を得ようとする場合には、被検眼の眼底を、ある程度の広い範囲の複数位置で撮像する必要がある。また、高倍率の撮像画像ではなくても被検眼の局所的な部位を撮像する場合、全体を把握するために所定の範囲で複数回撮像を行う場合もある。
しかしながら、診断や検査等に必要とされる領域を撮像したとしても、得られた複数の撮像画像同士の関連性が把握できなければならない。つまり、撮像した複数の画像について、それぞれの画像同士の位置関係を明らかにし、その位置に応じて貼り合わせを行うことで、1枚の高精細なパノラマ画像を生成することが求められる。
このような課題を解決するために、特許文献1では、広画角なSLO装置で撮像された大画角な画像と小画角ではあるが高解像度なSLO装置で撮像された画像との相関関係を算出、或いは小画角高解像度の画像同士で相関関係を算出し、その値に基づいて画像を貼り合わせる方法が提案されている。
特開2012−213513号公報
上述したパノラマ画像を生成する場合、大画角画像と小画角画像、或いは、小画角画像と小画角画像との相関関係を算出して比較、またはそれらの各画像の特徴点を抽出して特徴点を比較することにより、複数画像の位置合わせを行うことは一般的な手法である。
しかしながら、被検眼の眼底における小画角画像を撮像する装置は、焦点深度が浅いため、撮像時に被検者(被検眼)が動いてしまうことにより画像がぼける場合や、特徴画像となる血管が画像領域に含まれない場合など、相関関係或いは特徴点の抽出で位置の特定ができない場合がある。このような場合には、被検眼の眼底における小画角画像をもう一度撮り直すことが必要となる。そして、この被検眼の眼底における再撮像を行う際に、例えば当該再撮像に関する設定等を最初から行うと、撮像時間が長くなって被検者に負担を強いることになるという問題があった。
本発明は、このような問題点に鑑みてなされたものであり、被検眼の眼底における再撮像を行う際に、撮像時間の短縮化を実現して被検者の負担を軽減する仕組みを提供することを目的とする。
本発明の撮像装置は、被検眼の眼底における複数の所定領域を撮像する第1の撮像手段と、前記第1の撮像手段で前記複数の所定領域における各所定領域を撮像する際の当該撮像に関する情報を、前記各所定領域ごとに記憶する記憶手段と、前記複数の所定領域のうちの少なくとも1つの所定領域を再撮像する決定を行う決定手段と、前記決定手段で再撮像すると決定された所定領域における前記撮像に関する情報に基づいて、当該所定領域の再撮像を前記第1の撮像手段に行わせる再撮像制御手段とを有する。
また、本発明は、上述した撮像装置の制御方法、並びに、当該制御方法をコンピュータに実行させるためのプログラムを含む。
本発明によれば、被検眼の眼底における再撮像を行う際に、撮像時間の短縮化を実現することができ、被検者の負担を軽減することが可能となる。
本発明の第1の実施形態に係る撮像装置の全体構成の一例を示す図である。 図1に示すヘッド部の光学系の概略構成の一例、及び、図1に示す制御PCに接続される構成の一例を示す図である。 図2−1に示す固視灯の表示面の一例を示す図である。 図2−1に示すAOSLO装置、WFSLO装置、ビーコン装置、固視灯表示装置、及び、前眼部観察装置に用いられている光源の波長分布の一例を示す図である。 本発明の第1の実施形態において、図2−1に示すWFSLO装置で撮像することにより得られたWFSLO画像の一例、及び、図2−1に示すAOSLO装置でAOSLO画像を撮像するAOSLO画像撮像領域である複数の所定領域の一例を示す図である。 図4に示す所定領域のAOSLO画像及びその画像領域の近傍領域に対して特徴点抽出処理を行った状態の一例、並びに、図4に示すWFSLO画像の上に所定領域のAOSLO画像をスティッチング処理した状態の一例を示す図である。 本発明の第1の実施形態に係る撮像装置の制御方法における処理手順の一例を示すフローチャートである。 本発明の第2の実施形態に係る撮像装置の制御方法における処理手順のうち、撮像タスクの一例を示すフローチャートである。 本発明の第2の実施形態に係る撮像装置の制御方法における処理手順のうち、スティッチング処理タスクの一例を示すフローチャートである。 本発明の第3の実施形態に係る撮像装置の制御方法における処理手順の一例を示すフローチャートである。 本発明の第3の実施形態において、図2−1に示すWFSLO装置で撮像することにより得られたWFSLO画像の一例、及び、図2−1に示すAOSLO装置でAOSLO画像を撮像するAOSLO画像撮像領域である複数の所定領域の一例を示す図である。 本発明の第3の実施形態において、図1に示す液晶モニターに表示されるモニター画面の一例を示す図である。 本発明の第3の実施形態において、図1に示す液晶モニターに表示されるモニター画面の一例を示す図である。 本発明の第4の実施形態を示し、AOSLO画像撮像領域を変更する一例を示す図である。
以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。
(第1の実施形態)
まず、本発明の第1の実施形態について説明する。
本実施形態では、本発明に係る撮像装置として、上述したAOSLO装置を備えた装置について説明する。このAOSLO装置は、補償光学系を備え、被検眼の眼底における高横分解能の平面画像(AOSLO画像)の撮像を行う装置である。また、本実施形態に係る撮像装置は、AOSLO画像の取得を補助する目的で、AOSLO画像よりも広画角の平面画像(WFSLO画像)の撮像を行うWFSLO装置、被検眼において発生する収差を測定するためのビーコン装置、撮像箇所を調整するために被検眼の視線を誘導する固視灯表示装置、及び、測定光の入射位置を把握するための前眼部観察装置を備えている。
具体的に、本実施形態に係る撮像装置には、被検眼による光学収差を空間光変調器を用いて補正して平面画像を取得するAOSLO装置が構成され、被検眼の視度や、被検眼による光学収差によらずに良好な平面画像が得られるようになっている。なお、本実施形態では、高横分解能の平面画像を撮像するために、補償光学系を備えたAOSLO装置を用いるが、高解像度を実現できる光学系の構成であれば、補償光学系を備えていないSLO装置を用いてもよい。
<撮像装置100の全体構成>
図1は、本発明の第1の実施形態に係る撮像装置100の全体構成の一例を示す図である。具体的に、図1(a)及び図1(c)は、本実施形態に係る撮像装置100を上から見た図であり、図1(b)は、本実施形態に係る撮像装置100を横から見た図である。
本実施形態に係る撮像装置100は、図1に示すように、ヘッド部110、ステージ部120、顔受け部130、液晶モニター140、制御PC150、及び、ジョイスティック160を有して構成されている。
ヘッド部110は、ステージ部120の上方に設置されており、主要な光学系を内蔵する。このヘッド部110は、ジョイスティック160を傾倒させることによって水平方向に移動し、また、ジョイスティック160を回転させることによって垂直方向に移動する。ステージ部120は、ジョイスティック160の操作に伴って、ヘッド部110を水平方向/垂直方向に移動させる。顔受け部130は、被検者Hの顔の位置を調整する。この顔受け部130は、顎を乗せる顎受け部131と、電動ステージによって顎受け部131を移動させる顎受け駆動部132を有して構成されている。液晶モニター140は、各種の操作画面や各種の情報等を表示する。制御PC150は、撮像装置100の動作を統括的に制御するとともに、各種の処理を行う。ジョイスティック160は、検者により操作され、ヘッド部110を水平方向/垂直方向に移動させるためのものである。また、図1には、ヘッド部110から被検者Hの眼(被検眼)に光を出射する出射口170が示されている。
図1(a)は、被検者Hの左眼を撮像するときのヘッド部110とステージ部120との位置関係を表している。この図1(a)の位置関係の状態から被検者Hの右眼を撮像する場合には、矢印180の方向にヘッド部110を移動させ、図1(c)に示すように被検者Hの右眼の前に出射口170がくるようにする。また、ステージ部120には、ヘッド部110とステージ部120との相対的な位置関係を検出する不図示の左右検出器が付随しており、被検者Hの左右どちらの眼を撮像しているのかを自動的に判別することができるようになっている。
<ヘッド部110の光学系の概略構成>
図2−1は、図1に示すヘッド部110の光学系の概略構成の一例、及び、図1に示す制御PC150に接続される構成の一例を示す図である。
図2−1に示すように、ヘッド部110には、AOSLO装置111、WFSLO装置112、ビーコン装置113、固視灯表示装置114、及び、前眼部観察装置115が構成されている。
光源201−1から出射した光は、光カプラー231によって参照光205と測定光206−1とに分割される。測定光206−1は、シングルモード光ファイバ230−4、空間光変調器259、XYスキャナ219−1、ダイクロイックミラー270−1等を介して、観察対象である被検眼Eに導かれる。また、固視灯256からの光束257は、被検眼Eの固視を促す役割を有する。
測定光206−1は、被検眼Eによって反射或いは散乱された戻り光208となり、光路を逆行し、光カプラー231を介して、ディテクター238−1に入射される。ディテクター238−1は、戻り光208の光強度を電圧信号に変換し、その電圧信号を用いて、被検眼Eの平面画像(AOSLO画像)が構成される。本実施形態では、ヘッド部110の光学系の全体を主にレンズを用いた屈折光学系を用いて構成しているが、レンズの代わりに球面ミラーを用いた反射光学系によっても構成することができる。また、本実施形態では、収差補正デバイスとして反射型の空間光変調器を用いるが、透過型の空間光変調器や、可変形状ミラーを用いても構成することができる。
≪AOSLO装置111≫
まず、図2−1に示すAOSLO装置111について説明する。
ここでは、まず、光源201−1の周辺について説明する。
光源201−1は、例えば、代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。光源201−1から出射された光の波長は840nm程度でバンド幅は50nm程度である。ここでは、光源201−1として、スペックルノイズの少ない平面画像(AOSLO画像)を取得するために低コヒーレント光源を選択している。また、光源201−1の種類としては、ここでは、SLDを採用したが、低コヒーレント光が出射できればよく、例えばASE(Amplified Spontaneous Emission)等を用いることも可能である。また、光源201−1から出射された光は、被検眼Eを測定することを鑑みると、近赤外光が適する。さらに、光源201−1から出射された光の波長は、得られる平面画像(AOSLO画像)の横方向の分解能に影響するため、なるべく短波長であることが望ましく、このため、ここでは840nm程度としている。なお、観察対象の測定部位によっては、他の波長を選んでもよい。光源201−1から出射された光は、シングルモード光ファイバ230−1と光カプラー231とを介して、参照光205と測定光206−1とに、例えば90:10の割合で分割される。また、光ファイバ230−2及びシングルモード光ファイバ230−4には、それぞれ、偏光コントローラ253−2及び253−4が設けられている。
次いで、参照光205の光路について説明する。
光カプラー231によって分割された参照光205は、光ファイバ230−2を介して、光量測定器264に入射される。光量測定器264は、参照光205の光量を測定し、測定光206−1の光量をモニターする用途に用いられる。
次いで、測定光206−1の光路について説明する。
光カプラー231によって分割された測定光206−1は、シングルモード光ファイバ230−4を介してレンズ235−1に導かれ、ビーム径が4mm程度の平行光になるように調整される。測定光206−1は、ビームスプリッタ258−1を通過し、レンズ235−5〜235−6を通過し、空間光変調器259に入射する。ここで、空間光変調器259は、制御PC150からドライバ部280内の空間光変調器駆動ドライバ281を介して制御される。続いて、測定光206−1は、空間光変調器259において変調され、レンズ235−7〜235−8を通過し、XYスキャナ219−1のミラーに入射される。図2−1では簡略化のため、XYスキャナ219−1は1つのミラーとして記したが、実際にはXスキャナとYスキャナとの2枚のミラーが近接して配置され、網膜(眼底Er)上を光軸に垂直な方向にラスタースキャンするものである。また、測定光206−1の中心は、XYスキャナ219−1のミラーの回転中心と一致するように調整されている。
XYスキャナ219−1の構成要素であるXスキャナは、測定光206−1を紙面に平行な方向に走査するスキャナであり、ここでは共振型スキャナを用いている。このXスキャナの駆動周波数は、約7.9kHzである。また、XYスキャナ219−1の構成要素であるYスキャナは、測定光206−1を紙面に垂直な方向に走査するスキャナであり、ここではガルバノスキャナを用いている。このYスキャナの駆動波形はのこぎり波であり、駆動周波数は約32Hz、デューティ比は84%程度である。このYスキャナの駆動周波数は、AOSLO装置111により撮像されるAOSLO画像のフレームレートを決定する重要なパラメータである。XYスキャナ219−1は、制御PC150からドライバ部280内の光スキャナ駆動ドライバ282を介して制御される。
レンズ235−9〜235−10は、被検眼Eの網膜(眼底Er)を走査するための光学系であり、測定光206−1を被検眼Eの瞳孔中心を支点として、網膜(眼底Er)をスキャンする役割がある。本実施形態では、測定光206−1のビーム径を4mm程度としているが、より高分解能な画像を取得するためにビーム径をより大径化してもよい。また、電動ステージ217−1は、矢印で図示する方向に移動することができ、付随するレンズ235−10の位置を動かし、フォーカスを調整することができる。電動ステージ217−1は、制御PC150からドライバ部280内の電動ステージ駆動ドライバ283を介して制御される。
レンズ235−10の位置を調整することで、被検眼Eの網膜(眼底Er)の所定の層に、測定光206−1を合焦し観察することが可能になる。また、被検眼Eが屈折異常を有している場合にも対応できる。
続いて、測定光206−1が被検眼Eに入射すると、網膜(眼底Er)からの反射や散乱により戻り光208となり、再び光カプラー231に導かれ、シングルモード光ファイバ230−3を介してディテクター238−1に到達する。このディテクター238−1は、例えば、高速・高感度な光センサであるAPD(Avalanche Photo Diode)やPMT(Photomultiplier Tube)が用いられる。
≪WFSLO装置112≫
次に、図2−1に示すWFSLO装置112について説明する。
WFSLO装置112の構成は、基本的には、AOSLO装置111と同様の構成となっている。そのため、WFSLO装置112の説明において、AOSLO装置111と重複する部分ついては説明を省略する。
光源201−2から出射された光は、レンズ235−11〜235−12、レンズ235−2、XYスキャナ219−2、レンズ235−13〜235−14、ダイクロイックミラー270−3〜270−1等を介して観察対象である被検眼Eに導かれる。光源201−2は、AOSLO装置111の光源201−1と同様にSLDである。光源201−2から出射された光の波長は920nm程度でバンド幅20nm程度である。
次いで、測定光206−2の光路について説明する。
光源201−2から射出された測定光206−2は、レンズ235−11〜235−12、レンズ235−2、XYスキャナ219−2、レンズ235−13〜235−14、ダイクロイックミラー270−3〜270−1等を介して被検眼Eに導かれる。XYスキャナ219−2の構成要素であるXスキャナは、測定光206−2を紙面に平行な方向に走査するスキャナであり、ここでは共振型スキャナを用いている。このXスキャナの駆動周波数は、約3.9kHzである。また、XYスキャナ219−2の構成要素であるYスキャナは、測定光206−2を紙面に垂直な方向に走査するスキャナであり、ここでは、ガルバノスキャナを用いている。このYスキャナの駆動波形はのこぎり波であり、駆動周波数は約15Hz、デューティ比は84%程度である。このYスキャナの駆動周波数は、WFSLO装置112により撮像されるWFSLO画像のフレームレートを決定する重要なパラメータである。測定光206−2のビーム径は1mmであるが、より高分解能な画像を取得するために、測定光206−2のビーム径を、より大径化してもよい。測定光206−2は、被検眼Eに入射すると、網膜(眼底Er)からの反射や散乱により戻り光208となり、ダイクロイックミラー270−1〜270−3、レンズ235−14〜235−13、XYスキャナ219−2、レンズ235−2〜235−4、ビームスプリッタ258−2等を介してディテクター238−2に到達する。
≪ビーコン装置113≫
次に、図2−1に示す、被検眼Eにおいて発生する収差を測定するためのビーコン装置113について説明する。
光源201−3から射出された測定光206−3は、レンズ235−15〜235−16、ダイクロイックミラー270−4等を介して観察対象である被検眼Eに導かれる。ここで、測定光206−3は、角膜Ecからの反射を避けるために、被検眼Eの中心から偏心して入射される。測定光206−3に基づく戻り光208の一部は、ビームスプリッタ258−1、ピンホール298を介して、波面センサ255に入射され、被検眼Eで発生する戻り光208の収差が測定される。ここで、ピンホール298は、戻り光208以外の不要光を遮蔽する目的で設置されている。波面センサ255は、制御PC150に電気的に接続されている。波面センサ255は、シャックハルトマン方式の波面センサであり、測定レンジは−10D〜+5Dとなっている。得られた収差は、ツェルニケ多項式を用いて表現され、これは被検眼Eによる収差を示している。ツェルニケ多項式は、チルト(傾き)の項、デフォーカスの項、アスティグマ(非点収差)の項、コマの項、トリフォイルの項等からなる。なお、光源201−3から出射される測定光206−3の中心波長は760nm程度で波長幅は20nm程度である。ここで、角膜EcとXYスキャナ219−1と波面センサ255と空間光変調器259とは、光学的に共役になるようレンズ235−5〜235−10等が配置されている。そのため、波面センサ255は、被検眼Eによる収差を測定することが可能になっている。また、空間光変調器259は、被検眼Eによる収差を補正することが可能になっている。
≪固視灯表示装置114≫
固視灯256は、発光型のディスプレイモジュールからなり、表示面(□27mm、128画素×128画素)をXY平面に有する。ここでは、表示面として、液晶、有機EL、LEDアレイ等を用いることができる。被検眼Eが、固視灯256からの光束257を注視することで、被検眼Eの固視或いは回旋が促される。
図2−2は、図2−1に示す固視灯256の表示面の一例を示す図である。
固視灯256の表示面には、例えば図2−2に示すように、任意の点灯位置265に十字のパターンが点滅して表示される。固視灯256からの光束257は、レンズ235−17〜235−18、ダイクロイックミラー270−3〜270−1等を介して、網膜(眼底Er)に導かれる。また、レンズ235−17及び235−18は、固視灯256の表示面と網膜(眼底Er)とが光学的に共役になるよう配置される。また、固視灯256は、制御PC150からドライバ部280内の固視灯駆動ドライバ284を介して制御される。
≪前眼部観察装置115≫
次に、図2−1に示す前眼部観察装置115について説明する。
前眼部照明光源201−4から照射された光は、被検眼Eを照らし、その反射光がダイクロイックミラー270−1,270−2,270−4、レンズ235−19〜235−20を介してCCDカメラ260に入射する。前眼部照明光源201−4は、例えば、中心波長740nm程度の光を出射するLEDである。
≪フォーカス、シャッター、乱視補正≫
以上のように、ヘッド部110は、AOSLO装置111、WFSLO装置112、ビーコン装置113、固視灯表示装置114、及び、前眼部観察装置115の光学系を内蔵して構成されている。このうち、AOSLO装置111、WFSLO装置112、ビーコン装置113及び固視灯表示装置114は、それぞれ、個別に電動ステージ217−1〜217−4を持ち、4つの電動ステージを連動させて動かすことによりフォーカスを調整している。但し、個別にフォーカス位置を調整したい場合には、個別に電動ステージを動かすことで調整可能である。
また、AOSLO装置111、WFSLO装置112及びビーコン装置113は、それぞれシャッター(不図示)を備え、シャッターの開閉により個別に被検眼Eに光を入射させるか否かを制御できる。ここではシャッターを用いたが、光源201−1〜光源201−3を直接ON/OFFすることにより、制御することもできる。同様に、前眼部観察装置115及び固視灯表示装置114についても、それぞれ、前眼部照明光源201−4及び固視灯256をON/OFFにより制御可能である。また、レンズ235−10は交換可能になっており、被検眼Eによる収差(屈折異常)に合わせて球面レンズやシリンドリカルレンズを用いることができる。また1個のレンズに限らず、複数のレンズを組み合わせて設置することも可能である。
≪波長≫
図3は、図2−1に示すAOSLO装置111、WFSLO装置112、ビーコン装置113、固視灯表示装置114、及び、前眼部観察装置115に用いられている光源の波長分布の一例を示す図である。本実施形態では、それぞれの光をダイクロイックミラー270−1〜270−4で分けるために、それぞれ異なる波長帯になるようにしている。なお、図3は各光源の波長の違いを示すものであり、その強度及びスペクトル形状を規定するものではない。
<制御PC150による画像化>
次に、制御PC150による画像化の方法について説明する。
ディテクター238−1に入射された光は、当該ディテクター238−1で光電変換され、制御PC150内のADボード276−1においてデジタル値に変換される。さらに、制御PC150において、XYスキャナ219−1の動作や駆動周波数と同期したデータ処理が行われ、AOSLO画像が形成される。ここで、ADボード276−1の取り込み速度は、約15MHzである。
また、WFSLO装置112において、ディテクター238−2で得られた電圧信号は、制御PC150内のADボード276−2においてデジタル値に変換され、WFSLO画像が形成される。そして、形成されたAOSLO画像及びWFSLO画像は、ともに制御PC150内のメモリに記憶される。
<制御PC150による撮像プロトコル設定>
制御PC150では、撮像プロトコルの設定を行い、撮像装置100を制御する。ここで、撮像プロトコルは、被検眼Eの症例や検査目的等に応じて設定される。具体的に、制御PC150は、例えば撮像プロトコルとして、被検眼Eの眼底Erにおけるどの領域のAOSLO画像を撮像するかを設定し、設定した領域を順次撮像するように撮像装置100を制御する。
図4は、本発明の第1の実施形態において、図2−1に示すWFSLO装置112で撮像することにより得られたWFSLO画像400の一例、及び、図2−1に示すAOSLO装置111でAOSLO画像を撮像するAOSLO画像撮像領域403である複数の所定領域の一例を示す図である。図4に示すWFSLO画像400には、視神経乳頭401及び眼底血管402が示されている。さらに、図4には、AOSLO画像撮像領域403として複数の所定領域[1]〜[9]が示されている。ここで、図2−1に示すAOSLO装置111は、被検眼Eの眼底Erにおける複数の所定領域(例えば図4の所定領域[1]〜[9])を撮像する第1の撮像手段を構成する。また、図2−1に示すWFSLO装置112は、図4に示すように、被検眼Eの眼底Erにおける領域であって、AOSLO装置111で撮像する所定領域を含み且つ当該所定領域よりも広い撮像領域を撮像する第2の撮像手段を構成する。
<制御PC150によるスティッチング処理>
制御PC150では、AOSLO装置111で撮像することにより得られたAOSLO画像、及び、WFSLO装置112で撮像することにより得られたWFSLO画像のそれぞれに対して、特徴点を抽出する画像処理が施される。このとき、WFSLO画像の特徴点抽出を、上述した撮像プロトコルで設定されたAOSLO画像撮像領域403の近傍だけについて実施することにより、画像処理時間を短縮することが可能である。
図5は、図4に示す所定領域[1]のAOSLO画像及びその画像領域の近傍領域に対して特徴点抽出処理を行った状態の一例、並びに、図4に示すWFSLO画像400の上に所定領域[1]のAOSLO画像をスティッチング処理した状態の一例を示す図である。この図5において、図4に示す構成と同様の構成については同じ符号を付している。
具体的に、図5(a)は、図4に示す所定領域[1]のAOSLO画像に対して特徴点である血管の抽出処理を行った状態の一例を示す図である。また、図5(b)は、図4に示す所定領域[1]のAOSLO画像領域の近傍領域(具体的には、X方向及びY方向に2倍の領域)に対して特徴点である血管の抽出処理を行った状態の一例を示す図である。この図5(a)及び図5(b)ともに、血管領域を明確にするために実際の血管よりも太く図示している。図5(c)は、パターンマッチング等の公知の画像処理技術を用いて、WFSLO画像400の上に所定領域[1]のAOSLO画像をスティッチング処理、即ちAOSLO画像をWFSLO画像の同一位置に重ねて表示する処理をした状態の一例を示す図である。
<撮像装置100の制御方法における処理手順>
次に、本実施形態に係る撮像装置100の制御方法における処理手順について説明する。
図6は、本発明の第1の実施形態に係る撮像装置100の制御方法における処理手順の一例を示すフローチャートである。
まず、ステップS601において、制御PC150は、例えば検者から不図示の情報入力装置を介して撮像プロトコルに係る情報及び撮像プロトコルの設定指示が入力されると、入力された撮像プロトコルに係る情報に基づいて撮像プロトコルの設定を行う。ここでは、被検眼Eの眼底領域のうち、図4に示す複数の所定領域[1]〜[9]のAOSLO画像を順次撮像するような撮像プロトコルが設定された場合について説明する。
続いて、ステップS602において、制御PC150は、電動ステージ217−2を用いたフォーカス調整を行った後に、WFSLO装置112を制御してWFSLO画像を撮像する。
続いて、ステップS603において、制御PC150は、ステップS602で得られたWFSLO画像内の特徴点を抽出する処理を行う。具体的には、図4に示すAOSLO画像撮像領域403について眼底血管402を抽出する処理を行う。
続いて、ステップS604において、制御PC150は、例えばステップS601で設定した撮像プロトコルに基づいて、AOSLO画像を撮像するAOSLO画像撮像領域である複数の所定領域のうちの1つの所定領域の設定を行う。ここで、例えば被検眼Eの所定領域[1]を設定する場合、当該所定領域[1]を撮像するために、固視灯256の所定の点灯位置265に十字のパターンを点滅表示させ、被検者Hには固視灯256の十字のパターンを固視してもらい、当該所定領域を設定する。
続いて、ステップS605において、制御PC150は、波面センサ255及び空間光変調器259を用いて、被検眼Eの収差を測定するとともにその補正を行う。
続いて、ステップS606において、制御PC150は、電動ステージ217−1を用いたフォーカス調整を行った後に、ステップS604で設定した所定領域に基づき、AOSLO装置111を制御してAOSLO画像を撮像する。
続いて、ステップS607において、制御PC150は、ステップS606においてAOSLO装置111によりステップS604で設定した所定領域を撮像する際の当該撮像に関する情報を、例えば内部のメモリに記憶する。ここで、撮像に関する情報としては、例えば、当該撮像する領域(ステップS604で設定した所定領域)に関する情報や、当該撮像する被検眼Eの収差に関する情報(例えば、収差を補正するために空間光変調器259を制御する変数の情報等)、当該撮像の際の合焦点に関する情報(例えば、焦点位置の情報等)等が記憶される。この際、本実施形態では、ステップS604で設定された所定領域の撮像に関する情報とともに、当該撮像により得られたAOSLO画像が関連付けられてメモリに記憶される。
続いて、ステップS608において、制御PC150は、ステップS606で得られたAOSLO画像内の特徴点を抽出する処理を行う。具体的には、図4に示す眼底血管402を抽出する処理を行う。
続いて、ステップS609において、制御PC150は、ステップS603で抽出したWFSLO画像の特徴点と、ステップS608で抽出したAOSLO画像の特徴点とに基づいてスティッチング処理を行う。
続いて、ステップS610において、制御PC150は、ステップS609のスティッチング処理が正しく行われたか(スティッチング処理がOKか)否かを判断する。この判断は、AOSLO画像の撮像時に被検者Hが動いたり瞬きしたりすると、スティッチング処理が失敗する場合があるために行うものである。また、本実施形態では、例えば公知のパターンマッチング等の画像処理技術を用いて、WFSLO画像から抽出した特徴点とAOSLO画像から抽出した特徴点とが一致または類似していない場合には、スティッチング処理が失敗(S610/No)と判断する。
そして、ステップS610の判断の結果、ステップS609のスティッチング処理が正しく行われなかった(スティッチング処理が失敗した)場合には(S610/No)、ステップS611に進む。
ステップS611に進むと、制御PC150は、スティッチング処理が失敗したAOSLO画像とともにステップS607で記憶した撮像に関する情報に基づいて、撮像条件(撮像パラメータ等)を再設定する。具体的に、例えば、固視灯256の十字パターンの点灯位置265や、XYスキャナ219−1の振幅領域、空間光変調器259の制御変数、フォーカス調整用の電動ステージ217−1の制御位置等を、前回の当該所定領域の撮像で用いた際の撮像パラメータ等に再設定する。本実施形態では、前回の当該所定領域の撮像時に使用した撮像パラメータ等を再利用するために、撮像領域の調整や、収差補正、フォーカス調整等が不要となったり、前回の当該所定領域の撮像時に使用した撮像パラメータ等を中心に最適な撮像パラメータ等を探索できたりするため、AOSLO画像の再撮像における調整に要する時間を短縮することができる。その後、ステップS605に戻り、ステップS605以降の処理を再度行うことにより、スティッチング処理が失敗したAOSLO画像の再撮像を行う。
一方、ステップS610の判断の結果、ステップS609のスティッチング処理が正しく行われた場合には(S610/Yes)、ステップS612に進む。
ステップS612に進むと、制御PC150は、ステップS601で設定された撮像プロトコルで指定された全ての所定領域(例えば図4の所定領域[1]〜[9])のAOSLO画像の撮像が終了したか否かを判断する。この判断の結果、ステップS601で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像については未だ撮像が終了していない場合には(S612/No)、ステップS604に戻る。そして、ステップS601で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像の撮像が終了するまで、ステップS604〜ステップS612の工程を繰り返し行う。
一方、ステップS612の判断の結果、ステップS601で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像の撮像が終了した場合には(S612/Yes)、図6に示すフローチャートの処理を終了する。
第1の実施形態に係る撮像装置100では、被検眼Eの眼底Erにおける複数の所定領域(例えば図4の所定領域[1]〜[9])を撮像するAOSLO装置111(第1の撮像手段)を備えている。そして、第1の実施形態に係る撮像装置100では、制御PC150が、AOSLO装置111で各所定領域を撮像する際の当該撮像に関する情報を、各所定領域ごとにメモリに記憶するようにしている(図6のS607)。この記憶する処理を行う制御PC150は、記憶手段を構成する。そして、第1の実施形態に係る撮像装置100では、制御PC150が、AOSLO装置111で撮像する複数の所定領域のうちの少なくとも1つの所定領域を再撮像する決定を行うようにしている(図6のS610/No)。この決定する処理を行う制御PC150は、決定手段を構成する。そして、第1の実施形態に係る撮像装置100では、制御PC150が、再撮像すると決定された所定領域における撮像に関する情報に基づいて、当該所定領域の再撮像をAOSLO装置111に行わせるよう制御するようにしている(図6のS611,S606)。この制御の処理を行う制御PC150は、再撮像制御手段を構成する。
かかる構成によれば、被検眼Eの眼底Erにおける再撮像を行う際に、撮像時間の短縮化を実現することができ、これにより、被検者Hの負担を軽減することが可能となる。例えば、AOSLO装置111で撮像することにより得られる小画角画像とWFSLO装置112で撮像することにより得られる大画角画像(或いは小画角画像と小画角画像)とを、位置合わせして貼り合わせたパノラマ画像を生成する際に、いずれかの画像が不良であった場合、当該画像の再撮像を容易にする仕組みを組み込んだことにより、再撮像における撮像時間の短縮化を実現することができ、被検者Hの負担を軽減することができる。
具体的に、第1の実施形態に係る撮像装置100では、制御PC150が、AOSLO装置111で各所定領域を撮像することにより得られた各画像の評価を行うようにしている(図6のS609,S609)。この評価する処理を行う制御PC150は、評価手段を構成する。この際、制御PC150は、例えば、AOSLO装置111で得られた各画像を、WFSLO装置112(第2の撮像手段)で得られた画像の上に位置合わせして表示する(図6のS609,図5(b))。この表示する処理を行う制御PC150は、画像表示手段を構成する。そして、制御PC150は、AOSLO装置111で得られた各画像とWFSLO装置112で得られた画像との相関(より具体的には、それぞれの画像から抽出された特徴点の相関)を評価するようにしている。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
第2の実施形態に係る撮像装置の全体構成は、図1に示す第1の実施形態に係る撮像装置100の全体構成と同様である。また、第2の実施形態に係る撮像装置100に含まれるヘッド部110の光学系等の概略構成は、図2−1及び図2−2に示す第1の実施形態に係る撮像装置100に含まれるヘッド部110の光学系等の概略構成と同様である。
第2の実施形態では、制御PC150が行う処理内容が第1の実施形態と異なる。具体的に、第2の実施形態では、制御PC150は、AOSLO画像及びWFSLO画像を撮像する撮像タスクとスティッチング処理タスクとをマルチタスクで実施する。
図7は、本発明の第2の実施形態に係る撮像装置100の制御方法における処理手順のうち、撮像タスクの一例を示すフローチャートである。また、図8は、本発明の第2の実施形態に係る撮像装置100の制御方法における処理手順のうち、スティッチング処理タスクの一例を示すフローチャートである。
最初に、図7を用いて撮像タスクについて説明する。
まず、ステップS701において、制御PC150は、例えば検者から不図示の情報入力装置を介して撮像プロトコルに係る情報及び撮像プロトコルの設定指示が入力されると、入力された撮像プロトコルに係る情報に基づいて撮像プロトコルの設定を行う。ここでは、被検眼Eの眼底領域のうち、図4に示す複数の所定領域[1]〜[9]のAOSLO画像を順次撮像するような撮像プロトコルが設定された場合について説明する。
続いて、ステップS702において、制御PC150は、電動ステージ217−2を用いたフォーカス調整を行った後に、WFSLO装置112を制御してWFSLO画像を撮像する。
続いて、ステップS703において、制御PC150は、ステップS702で得られたWFSLO画像内の特徴点を抽出する処理を行う。具体的には、図4に示すAOSLO画像撮像領域403について眼底血管402を抽出する処理を行う。
続いて、ステップS704において、制御PC150は、例えばステップS701で設定した撮像プロトコルに基づいて、AOSLO画像を撮像するAOSLO画像撮像領域である複数の所定領域のうちの1つの所定領域の設定を行う。ここでは、第1の実施形態における図6のステップS604とは異なり、AOSLO画像撮像領域の変更は、測定光206−1の光路を変更する方法で実現する場合について説明する。この場合、制御PC150は、例えば固視灯256の中央に十字パターンを点滅表示させ、被検者Hには固視灯256の十字のパターンを固視してもらう。その際、XYスキャナ219−1にはオフセット機能を持たせ、測定光206−1を被検眼Eの眼底中心から離れた領域について走査する方法で実現する。具体的には、ガルバノスキャナの駆動波形であるのこぎり波形にオフセット成分を重畳する、また、共振型スキャナに関しては不図示のガルバノスキャナを光路に追加することにより中心から離れた領域の走査を実現する。この方法を採用することにより、被検者Hが一点を固視したままで眼底Erの広い範囲のAOSLO画像を撮像できるようになる。
続いて、ステップS705において、制御PC150は、波面センサ255及び空間光変調器259を用いて、被検眼Eの収差を測定するとともにその補正を行う。
続いて、ステップS706において、制御PC150は、電動ステージ217−1を用いたフォーカス調整を行った後に、ステップS704で設定した所定領域に基づき、AOSLO装置111を制御してAOSLO画像を撮像する。
続いて、ステップS707において、制御PC150は、ステップS706においてAOSLO装置111によりステップS704で設定した所定領域を撮像する際の当該撮像に関する情報を、例えば内部のメモリに記憶する。ここで、撮像に関する情報としては、例えば、当該撮像する領域(ステップS704で設定した所定領域)に関する情報や、当該撮像する被検眼Eの収差に関する情報(例えば、収差を補正するために空間光変調器259を制御する変数の情報等)、当該撮像の際の合焦点に関する情報(例えば、焦点位置の情報等)等が記憶される。この際、本実施形態では、ステップS704で設定された所定領域の撮像に関する情報とともに、当該撮像により得られたAOSLO画像が関連付けられてメモリに記憶される。
続いて、ステップS708において、制御PC150は、図8に示す別タスクで処理されるスティッチング処理タスクにより、スティッチング処理が正しく行われたか(スティッチング処理がOKか)否かを判断する。この際、制御PC150は、図8に示す別タスクで処理されるスティッチング処理タスクにより、スティッチング処理が失敗した旨の通知の有無に応じて、ステップS708の判断を行う。
ここで、図8を用いてスティッチング処理タスクについて説明する。
最初に、ステップS801において、制御PC150は、図7に示す撮像タスク(具体的にはS706)で撮像されたAOSLO画像内の特徴点を抽出する処理を行う。具体的には、図4に示す眼底血管402を抽出する処理を行う。
続いて、ステップS802において、制御PC150は、図7のステップS703で抽出したWFSLO画像の特徴点と、ステップS801で抽出したAOSLO画像の特徴点とに基づいてスティッチング処理を行う。
続いて、ステップS803において、制御PC150は、ステップS802のスティッチング処理が正しく行われたか(スティッチング処理がOKか)否かを判断する。この具体的な判断の内容は、例えば第1の実施形態における図6のステップS610と同様である。
ステップS803の判断の結果、ステップS802のスティッチング処理が正しく行われなかった(スティッチング処理が失敗した)場合には(S803/No)、ステップS804に進む。
ステップS804に進むと、制御PC150は、図7に示す撮像タスクにスティッチング処理が失敗した旨の通知と失敗したAOSLO画像の撮像に関する情報を通知する。
ステップS803においてステップS802のスティッチング処理が正しく行われたと判断された場合(S803/Yes)、或いは、ステップS804の処理が終了した場合には、ステップS805に進む。
ステップS805に進むと、制御PC150は、図7のステップS701で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像のスティッチング処理が終了したか否かを判断する。この判断の結果、図7のステップS701で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像については未だスティッチング処理が終了していない場合には(S805/No)、ステップS801に戻る。そして、図7のステップS701で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像のスティッチング処理が終了するまで、ステップS801〜ステップS805の工程を繰り返し行う。
一方、ステップS805の判断の結果、図7のステップS701で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像のスティッチング処理が終了した場合には(S805/Yes)、図8に示すフローチャートの処理を終了する。
ここで、再び図7の説明に戻る。
図7のステップS708においてスティッチング処理が正しく行われなかったと判断された場合(S708/No)、即ちスティッチング処理タスクからスティッチング処理が失敗した旨の通知があった場合には、ステップS709に進む。
ステップS709に進むと、スティッチング処理が失敗したAOSLO画像とともにステップS707で記憶した撮像に関する情報に基づいて、撮像条件(撮像パラメータ等)を再設定する。その後、ステップS705に戻り、ステップS705以降の処理を再度行うことにより、スティッチング処理が失敗したAOSLO画像の再撮像を行う。
一方、ステップS708の判断の結果、スティッチング処理が正しく行われた場合(S708/Yes)、即ちスティッチング処理タスクからスティッチング処理が失敗した旨の通知がなかった場合には、ステップS710に進む。
ステップS710に進むと、制御PC150は、ステップS701で設定された撮像プロトコルで指定された全ての所定領域(例えば図4の所定領域[1]〜[9])のAOSLO画像の撮像が終了したか否かを判断する。この判断の結果、ステップS701で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像については未だ撮像が終了していない場合には(S710/No)、ステップS704に戻る。そして、ステップS701で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像の撮像が終了するまで、ステップS704〜ステップS710の工程を繰り返し行う。
一方、ステップS710の判断の結果、ステップS701で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像の撮像が終了した場合には(S710/Yes)、ステップS711に進む。
ここで、本実施形態においては、撮像タスクとスティッチング処理タスクとは非同期で実行されるものとする。このため、ステップS701で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像の撮像が終了した後でもスティッチング処理が引き続き行われている可能性がある。そこで、ステップS711において、制御PC150は、ステップS701で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像のスティッチング処理が終了したか否かを判断する。
ステップS711の判断の結果、ステップS701で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像については未だスティッチング処理が終了していない場合には(S711/No)、ステップS712に進む。
ステップS712に進むと、制御PC150は、スティッチング処理で失敗したAOSLO画像がないか否かを判断する。
ステップS712の判断の結果、スティッチング処理で失敗したAOSLO画像がない場合には(S712/Yes)、所定時間の待機後、ステップS711に戻る。
一方、ステップS712の判断の結果、スティッチング処理で失敗したAOSLO画像がある場合には(S712/No)、ステップS709に戻る。
また、ステップS711の判断の結果、ステップS701で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像のスティッチング処理が終了した場合には(S711/Yes)、図7に示すフローチャートの処理を終了する。
第2の実施形態によれば、第1の実施形態と同様に、被検眼Eの眼底Erにおける再撮像を行う際に、撮像時間の短縮化を実現することができ、これにより、被検者Hの負担を軽減することが可能となる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。
第3の実施形態に係る撮像装置の全体構成は、図1に示す第1の実施形態に係る撮像装置100の全体構成と同様である。また、第3の実施形態に係る撮像装置100に含まれるヘッド部110の光学系等の概略構成は、図2−1及び図2−2に示す第1の実施形態に係る撮像装置100に含まれるヘッド部110の光学系等の概略構成と同様である。
第3の実施形態では、制御PC150が行う処理内容が第1の実施形態及び第2の実施形態と異なる。具体的に、第3の実施形態では、制御PC150は、複数のAOSLO画像を撮像するが、お互いの位置が離れていてスティッチング処理を行わない。
図9は、本発明の第3の実施形態に係る撮像装置100の制御方法における処理手順の一例を示すフローチャートである。
まず、ステップS901において、制御PC150は、例えば検者から不図示の情報入力装置を介して撮像プロトコルに係る情報及び撮像プロトコルの設定指示が入力されると、入力された撮像プロトコルに係る情報に基づいて撮像プロトコルの設定を行う。ここでは、被検眼Eの眼底領域のうち、図10に示す複数の所定領域[1]〜[4]のAOSLO画像を順次撮像するような撮像プロトコルが設定された場合について説明する。
図10は、本発明の第3の実施形態において、図2−1に示すWFSLO装置112で撮像することにより得られたWFSLO画像400の一例、及び、図2−1に示すAOSLO装置111でAOSLO画像を撮像するAOSLO画像撮像領域404である複数の所定領域の一例を示す図である。この図10において、図4に示す構成と同様の構成については同じ符号を付している。図10には、AOSLO画像撮像領域404としてお互いの位置が離れている複数の所定領域[1]〜[4]が示されている。
ここで、再び図9の説明に戻る。
続いて、ステップS902において、制御PC150は、電動ステージ217−2を用いたフォーカス調整を行った後に、WFSLO装置112を制御してWFSLO画像を撮像する。そして、制御PC150は、当該撮像により得られたWFSLO画像を液晶モニター140に表示する処理を行う。
続いて、ステップS903において、制御PC150は、例えばステップS901で設定した撮像プロトコルに基づいて、AOSLO画像を撮像するAOSLO画像撮像領域である複数の所定領域のうちの1つの所定領域の設定を行う。ここでは、第2の実施形態と同様に、AOSLO画像撮像領域の変更は、測定光206−1の光路を変更する方法で実現する。具体的に、制御PC150は、例えば固視灯256の中央に十字パターンを点滅表示させ、これを被検者Hに固視してもらう。その際、XYスキャナ219−1にはオフセット機能を持たせ、測定光206−1を被検眼Eの眼底中心から離れた領域について走査する方法で実現する。この具体的な方法は、第2の実施形態と同様である。
続いて、ステップS904において、制御PC150は、波面センサ255及び空間光変調器259を用いて、被検眼Eの収差を測定するとともにその補正を行う。
続いて、ステップS905において、制御PC150は、電動ステージ217−1を用いたフォーカス調整を行った後に、ステップS903で設定した所定領域に基づき、AOSLO装置111を制御してAOSLO画像を撮像する。
続いて、ステップS906において、制御PC150は、ステップS905においてAOSLO装置111によりステップS903で設定した所定領域を撮像する際の当該撮像に関する情報を、例えば内部のメモリに記憶する。ここで、撮像に関する情報としては、例えば、当該撮像する領域(ステップS903で設定した所定領域)に関する情報や、当該撮像する被検眼Eの収差に関する情報(例えば、収差を補正するために空間光変調器259を制御する変数の情報等)、当該撮像の際の合焦点に関する情報(例えば、焦点位置の情報等)等が記憶される。この際、本実施形態では、ステップS903で設定された所定領域の撮像に関する情報とともに、当該撮像により得られたAOSLO画像が関連付けられてメモリに記憶される。
続いて、ステップS907において、制御PC150は、ステップS905で得られたAOSLO画像を液晶モニター140に表示する処理を行う。この際、制御PC150は、必要に応じてAOSLO画像を拡大表示する処理を行う。
図11は、本発明の第3の実施形態において、図1に示す液晶モニター140に表示されるモニター画面410の一例を示す図である。この図11において、図10に示す構成と同様の構成については同じ符号を付している。
本実施形態においては、制御PC150は、図11に示すように、ステップS902で表示したWFSLO画像400の上に、当該WFSLO画像に対して位置合わせをしてステップS905で得られたAOSLO画像405を貼り付けて表示する。さらに、本実施形態では、制御PC150は、AOSLO画像405を拡大した拡大画像406も表示する。この表示の処理を行う制御PC150は、画像表示手段を構成する。
なお、ステップS907の処理は、後述するステップS916の判断によりAOSLO画像撮像領域の数だけ繰り返し行われ、その際、拡大画像406は観察に支障がなければ複数個表示される。本実施形態では、図10に示すように、AOSLO画像撮像領域404の数が4つであるため、当該4つ全ての拡大画像406が表示される。また、AOSLO画像の撮像直後に自動的に拡大画像406が表示されるのではなく、貼り付けられた任意のAOSLO画像405を検者が選択クリックすることで拡大画像406を表示する形態であってもよい。
続いて、ステップS908において、制御PC150は、ステップS907で表示したAOSLO画像等について画質の評価指標を算出し、当該画質の評価指標が基準以上の画質OKであるか否かを判断する。即ち、ここでは、ステップS907で表示したAOSLO画像等の評価を行うものであり、この評価を行う制御PC150は、評価手段を構成する。具体的に、本ステップでは、モニター画面410に算出した評価指標を表示して、画質の良否を判断する。本実施形態では、貼り付けたAOSLO画像405とその拡大画像406ともに画像の枠の色で評価指標を表示することを想定しており、例えば、良好ならば青、不良ならば赤などと色分けすることが考えられるが、例えばバーの長さで画質の良否を表示してもよい。また、本実施形態では、一般的な、画像における輝度値の分布形状に基づき画質の評価指標を算出する方法を適用することを想定しているが、本発明においてはこの形態に限定されるものではない。例えば、WFSLO画像との相関に基づいて画質の評価指標を算出することや、被検眼Eの視細胞を観察対象とする場合にはその画像に対してフーリエ変換を行ってその特徴量の値に基づき画質の評価指標を算出する形態も、本発明に適用可能である。
ステップS908の判断の結果、評価結果である画質の評価指標が基準(閾値)よりも低く画質がOKでない場合には(S908/No)、撮像不良と判断し、ステップS909に進む。
ステップS909に進むと、制御PC150は、撮像不良である旨を液晶モニター140に表示する処理を行う。続いて、ステップS910において、制御PC150は、その拡大画像406の枠を点滅表示する処理を行う。この表示を行う制御PC150は、評価結果表示手段を構成する。なお、上述したステップS907で拡大画像を表示せずに、ステップS910で拡大画像を表示して更にその枠を点滅表示してもよい。本実施形態では、貼り付けたAOSLO画像405とその拡大画像406ともに、画像の枠を点滅させて撮像が不良であることを表示する。この際、例えば、撮像画像でなく、テキスト表示や他の画像を表示して撮像が不良である旨を表示してもよい。
また、図11に示すモニター画面410には、"再撮像"ボタン407、"調整"ボタン408、"次撮像"ボタン409の3つのボタンが表示される。検者は、拡大画像406を見て、直ちに再撮像をする"再撮像"、撮像のフォーカス調整、撮影範囲、撮影位置の微調整を行うことができる"調整"、何もせずに次の撮像領域の撮像を行う"次撮像"のいずれか1つを選択することができるようになっている。
続いて、ステップS911において、制御PC150は、検者からモニター画面410に対して入力があったか否かを判断する。この判断の結果、検者からモニター画面410に対して入力がない場合には(S911/No)、検者からモニター画面410に対して入力があるまで、ステップS911で待機する。
一方、ステップS911の判断の結果、検者からモニター画面410に対して入力があった場合には(S911/Yes)、ステップS912に進む。
ステップS912に進むと、制御PC150は、検者からモニター画面410に対してなされた入力が、"再撮像"の入力(図11に示す"再撮像"ボタン407の入力)であるか否かを判断する。この図11に示す"再撮像"ボタン407は、再撮像する指示を入力する入力手段を構成する。
ステップS912の判断の結果、検者からモニター画面410に対してなされた入力が"再撮像"の入力である場合には(S912/Yes)、ステップS905に戻り、ステップS906で記憶した撮像に関する情報に基づいてAOSLO画像の再撮像を行う。
一方、ステップS912の判断の結果、検者からモニター画面410に対してなされた入力が"再撮像"の入力でない場合には(S912/No)、ステップS913に進む。
ステップS913に進むと、制御PC150は、検者からモニター画面410に対してなされた入力が、"調整"の入力(図11に示す"調整"ボタン408の入力)であるか否かを判断する。ここで、検者は、撮像のフォーカス調整、撮影範囲、撮影位置の微調整を行いたい場合には、"調整"ボタン408を選択する。そうすると、検者は、液晶モニター140を見ながら不図示の入力手段によりフォーカス調整、撮影範囲、撮影位置の微調整を行うことができ、この調整が終わったら"再撮像"の入力を行うことができるようになっている。
ステップS913の判断の結果、検者からモニター画面410に対してなされた入力が"調整"の入力である場合には(S913/Yes)、ステップS914に進む。
ステップS914に進むと、制御PC150は、検者からモニター画面410に対して"再撮像"の入力があったか否かを判断する。この判断の結果、検者からモニター画面410に対して"再撮像"の入力がない場合には(S914/No)、検者からモニター画面410に対して"再撮像"の入力があるまで、ステップS914で待機する。
一方、ステップS914の判断の結果、検者からモニター画面410に対して"再撮像"の入力があった場合には(S914/Yes)、ステップS915に進む。
ステップS915に進むと、制御PC150は、ステップS913で不図示の入力手段により入力された調整に係る変更の指示に基づいて、現在メモリに記憶されている、再撮像する所定領域における撮像に関する情報を変更する処理を行う。この変更する処理を行う制御PC150は、変更手段を構成する。その後、ステップS904に戻り、当該変更された、再撮像する所定領域における撮像に関する情報に基づいて、当該所定領域の再撮像を行う。
図12は、本発明の第3の実施形態において、図1に示す液晶モニター140に表示されるモニター画面410の一例を示す図である。この図12において、図11に示す構成と同様の構成については同じ符号を付している。
図9に示すフローチャートには記載がないが、再撮像を行った場合には、制御PC150は、図12に示すように、元の画像に基づく拡大画像406−1と再撮像の画像に基づく拡大画像406−2との両方を並べて表示する。これにより、検者は、これらの画像の中からより良いと判断する画像を選択して使用することができる。この場合、制御PC150は、検者により選択指示された拡大画像406を選択する処理を行う。この選択処理を行う制御PC150は、画像選択手段を構成する。ここで、本実施形態では、例えば、AOSLO画像の拡大画像は、最大で最新の3つまで表示するものとする。これにより、前回、前々回のAOSLO画像も拡大して表示され、検者は、これらの画像を比較して再撮像をするか否かを判断することができる。
ここで、再び図9の説明に戻る。
ステップS913において検者からモニター画面410に対してなされた入力が"調整"の入力でないと判断された場合(S913/No:"次撮像"の入力があったと判断された場合)、或いは、ステップS908において画質がOKであると判断された場合には(S908/Yes)、ステップS916に進む。
ステップS914に進むと、制御PC150は、ステップS901で設定された撮像プロトコルで指定された全ての所定領域(例えば図10の所定領域[1]〜[4])のAOSLO画像の撮像が終了したか否かを判断する。この判断の結果、ステップS901で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像については未だ撮像が終了していない場合には(S914/No)、ステップS903に戻る。そして、ステップS903で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像の撮像及び表示が終了するまで、ステップS903〜ステップS916の工程を繰り返し行う。
一方、ステップS916の判断の結果、ステップS901で設定された撮像プロトコルで指定された全ての所定領域のAOSLO画像の撮像が終了した場合には(S916/Yes)、図9に示すフローチャートの処理を終了する。
なお、第3の実施形態では、図9のステップS907において、ステップS905の撮像により得られた各AOSLO画像の拡大画像を表示するようにしているが、本発明においてはこの形態に限定されるものではない。例えば、ステップS905の撮像により得られたAOSLO画像のうち、ステップS905において画質の評価結果がOKでないと判断されたAOSLO画像のみについて、その拡大画像を表示する形態も、本発明に含まれる。
第3の実施形態によれば、第1の実施形態と同様に、被検眼Eの眼底Erにおける再撮像を行う際に、撮像時間の短縮化を実現することができ、これにより、被検者Hの負担を軽減することが可能となる。
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。
上述した第1の実施形態及び第2の実施形態では、スティッチング処理が失敗した場合に、そのまま同じAOSLO画像撮像領域を再撮像することを想定したものであった。しかしながら、例えば血管等の特徴点が少ない領域を撮像する場合など、被検眼Eの瞬きや被検者Hが動いてしまったこと以外の原因でスティッチング処理が失敗した場合には、同じ領域を再撮像しても、スティッチング処理が成功しない場合がある。この場合には、WFSLO画像の特徴点抽出時に特徴点が存在する領域を検出できるため、AOSLO画像の再撮像時には、AOSLO画像撮像領域を変更することが有効である。具体的には、第1の実施形態における図6のS611、第2の実施形態における図7のS709において、再撮像時の撮像条件を再設定するときに、AOSLO画像撮像領域を変更すればよい。本発明の第4の実施形態は、このAOSLO画像撮像領域を変更する形態である。
図13は、本発明の第4の実施形態を示し、AOSLO画像撮像領域を変更する一例を示す図である。この図13において、図4に示す構成と同様の構成については同じ符号を付している。
図13(a)は、所定領域[1]のAOSLO画像撮像領域403には、特徴点である眼底血管402が存在しない状態を示している。しかしながら、WFSLO画像の特徴点抽出時に、所定領域[1]のAOSLO画像撮像領域403における下側の領域411に特徴点である眼底血管402が存在することを検出することができるため、この眼底血管402を含む領域411のAOSLO画像を再撮像すればスティッチング処理の失敗が防げることになる。
具体的には、一例として、図13(b)に示すように、元のAOSLO画像撮像領域に対して再撮像におけるAOSLO画像撮像領域を少しスライドさせて、AOSLO画像撮像領域を変更する態様を適用することができる。
また、他の一例として、図13(c)及び図13(d)に示すように、元のAOSLO画像撮像領域を含み且つ当該元のAOSLO画像撮像領域よりも広い領域を、再撮像におけるAOSLO画像撮像領域とする変更を行う態様を適用することができる。具体的に、図13(c)は元のAOSLO画像撮像領域を水平方向及び垂直方向ともに拡大した態様であり、図13(d)は元のAOSLO画像撮像領域を垂直方向のみ拡大した態様である。
(その他の実施形態)
なお、上述した図4等では、AOSLO画像撮像領域403である複数の所定領域における各所定領域は、それぞれが重複しないものとなっていたが、一部の領域が重なっていてもよい。この形態の場合、制御PC150は、例えば、AOSLO画像の評価を行う際に、当該一部の領域におけるAOSLO画像の相関を評価する態様を適用することが可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
110 ヘッド部、111 AOSLO装置、112 WFSLO装置、113 ビーコン装置、114 固視灯表示装置、115 前眼部観察装置、150 制御PC、E 被検眼、Er 眼底

Claims (20)

  1. 被検眼の眼底における複数の所定領域を撮像する第1の撮像手段と、
    前記第1の撮像手段で前記複数の所定領域における各所定領域を撮像する際の当該撮像に関する情報を、前記各所定領域ごとに記憶する記憶手段と、
    前記複数の所定領域のうちの少なくとも1つの所定領域を再撮像する決定を行う決定手段と、
    前記決定手段で再撮像すると決定された所定領域における前記撮像に関する情報に基づいて、当該所定領域の再撮像を前記第1の撮像手段に行わせる再撮像制御手段と
    を有することを特徴とする撮像装置。
  2. 前記第1の撮像手段で前記各所定領域を撮像することにより得られた各画像の評価を行う評価手段を更に有し、
    前記決定手段は、前記評価手段による前記各画像の評価結果に基づいて、前記再撮像する所定領域を決定することを特徴とする請求項1に記載の撮像装置。
  3. 前記第1の撮像手段で前記各所定領域を撮像することにより得られた各画像の評価を行う評価手段と、
    前記評価手段による前記各画像の評価結果を表示する評価結果表示手段と、
    検者による、前記複数の所定領域のうちの少なくとも1つの所定領域を再撮像する指示を入力する入力手段と
    を更に有し、
    前記決定手段は、前記入力手段により入力された指示に基づいて、前記再撮像する所定領域を決定することを特徴とする請求項1に記載の撮像装置。
  4. 前記入力手段は、検者による、前記再撮像する所定領域における前記撮像に関する情報を変更する指示を更に入力するものであり、
    前記入力手段により入力された変更の指示に基づいて、前記記憶手段に記憶されている、前記再撮像する所定領域における前記撮像に関する情報を変更する変更手段を更に有し、
    前記再撮像制御手段は、前記変更手段で変更された、前記再撮像する所定領域における前記撮像に関する情報に基づいて、当該所定領域の再撮像を前記第1の撮像手段に行わせることを特徴とする請求項3に記載の撮像装置。
  5. 前記第1の撮像手段で前記各所定領域を撮像することにより得られた各画像を表示する画像表示手段を更に有し、
    前記画像表示手段は、検者による画像の選択に基づいて当該選択された画像を拡大表示することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 前記第1の撮像手段で前記各所定領域を撮像することにより得られた各画像を表示する画像表示手段を更に有し、
    前記画像表示手段は、前記評価手段による評価結果が基準よりも低い画像を拡大表示することを特徴とする請求項2乃至4のいずれか1項に記載の撮像装置。
  7. 前記第1の撮像手段で前記各所定領域を撮像することにより得られた各画像を拡大表示する画像表示手段を更に有することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  8. 前記第1の撮像手段で前記再撮像することにより得られた画像を拡大表示する画像表示手段を更に有することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  9. 前記複数の所定領域における各所定領域は、一部の領域が重なっており、
    前記評価手段は、前記一部の領域における画像の相関を評価することを特徴とする請求項2乃至4のいずれか1項に記載の撮像装置。
  10. 前記評価手段は、前記各画像における輝度値の分布形状に基づく評価を行うことを特徴とする請求項2乃至4のいずれか1項に記載の撮像装置。
  11. 前記評価手段は、前記各画像に対してフーリエ変換を行ってその特徴量の値に基づく評価を行うことを特徴とする請求項2乃至4のいずれか1項に記載の撮像装置。
  12. 前記所定領域を含み且つ当該所定領域よりも広い撮像領域を撮像する第2の撮像手段と、
    前記第1の撮像手段で前記各所定領域を撮像することにより得られた各画像を、前記第2の撮像手段で前記撮像領域を撮像することにより得られた画像の上に位置合わせして表示する画像表示手段と
    を更に有し、
    前記評価手段は、前記第1の撮像手段で前記各所定領域を撮像することにより得られた各画像と、前記第2の撮像手段で前記撮像領域を撮像することにより得られた画像との相関を評価することを特徴とする請求項2乃至4のいずれか1項に記載の撮像装置。
  13. 前記評価手段は、前記相関として、前記第1の撮像手段で前記各所定領域を撮像することにより得られた各画像から抽出された特徴点と、前記第2の撮像手段で前記撮像領域を撮像することにより得られた画像から抽出された特徴点との相関を評価することを特徴とする請求項12に記載の撮像装置。
  14. 前記第1の撮像手段で前記各所定領域を撮像することにより得られた各画像を拡大表示するとともに、前記第1の撮像手段で前記再撮像することにより得られた画像を拡大表示する画像表示手段と、
    前記拡大表示された複数の拡大画像の中から検者が指示した拡大画像を選択する画像選択手段と
    を更に有することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  15. 前記撮像に関する情報は、前記撮像する領域に関する情報であることを特徴とする請求項1乃至14のいずれか1項に記載の撮像装置。
  16. 前記撮像に関する情報は、前記撮像する前記被検眼の収差に関する情報であることを特徴とする請求項1乃至14のいずれか1項に記載の撮像装置。
  17. 前記撮像に関する情報は、前記撮像の際の合焦点に関する情報であることを特徴とする請求項1乃至14のいずれか1項に記載の撮像装置。
  18. 前記再撮像制御手段は、前記再撮像を前記第1の撮像手段に行わせる場合、前記撮像する領域に関する情報に基づいて、前記決定手段で前記再撮像すると決定された所定領域を含み且つ当該所定領域よりも広い領域を撮像させることを特徴とする請求項15に記載の撮像装置。
  19. 被検眼の眼底における複数の所定領域を撮像する撮像手段を備える撮像装置の制御方法であって、
    前記撮像手段で前記複数の所定領域における各所定領域を撮像する際の当該撮像に関する情報を、前記各所定領域ごとに記憶する記憶ステップと、
    前記複数の所定領域のうちの少なくとも1つの所定領域を再撮像する決定を行う決定ステップと、
    前記決定ステップで再撮像すると決定された所定領域における前記撮像に関する情報に基づいて、当該所定領域の再撮像を前記撮像手段に行わせる再撮像制御ステップと
    を有することを特徴とする撮像装置の制御方法。
  20. 被検眼の眼底における複数の所定領域を撮像する撮像手段を備える撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記撮像手段で前記複数の所定領域における各所定領域を撮像する際の当該撮像に関する情報を、前記各所定領域ごとに記憶する記憶ステップと、
    前記複数の所定領域のうちの少なくとも1つの所定領域を再撮像する決定を行う決定ステップと、
    前記決定ステップで再撮像すると決定された所定領域における前記撮像に関する情報に基づいて、当該所定領域の再撮像を前記撮像手段に行わせる再撮像制御ステップと
    をコンピュータに実行させるためのプログラム。
JP2015232326A 2015-11-27 2015-11-27 撮像装置及びその制御方法、並びに、プログラム Pending JP2017093999A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015232326A JP2017093999A (ja) 2015-11-27 2015-11-27 撮像装置及びその制御方法、並びに、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015232326A JP2017093999A (ja) 2015-11-27 2015-11-27 撮像装置及びその制御方法、並びに、プログラム

Publications (1)

Publication Number Publication Date
JP2017093999A true JP2017093999A (ja) 2017-06-01

Family

ID=58805143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015232326A Pending JP2017093999A (ja) 2015-11-27 2015-11-27 撮像装置及びその制御方法、並びに、プログラム

Country Status (1)

Country Link
JP (1) JP2017093999A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086997A (ja) * 2017-11-07 2019-06-06 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび観察システム
WO2023203992A1 (ja) * 2022-04-19 2023-10-26 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086997A (ja) * 2017-11-07 2019-06-06 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび観察システム
WO2023203992A1 (ja) * 2022-04-19 2023-10-26 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP5845608B2 (ja) 眼科撮影装置
JP6049309B2 (ja) 測定装置、眼科撮影装置、制御方法及びプログラム
JP6354979B2 (ja) 眼底撮影装置
JP6049310B2 (ja) 撮影装置、制御方法及びプログラム
US10849499B2 (en) Ophthalmologic apparatus and method of controlling the same
JP6041538B2 (ja) 眼科装置
JP5847510B2 (ja) 画像処理装置及び画像処理方法
US10772498B2 (en) Ophthalmological imaging device
JP6349878B2 (ja) 眼科撮影装置、眼科撮影方法、及び眼科撮影プログラム
JP2013248254A (ja) 眼科装置
US9339185B2 (en) Imaging apparatus that acquires a first image and, via an aberration correction unit, a second image of an area corresponding to a part of the first image
JP2019201952A (ja) 撮影装置及びその制御方法
US10321819B2 (en) Ophthalmic imaging apparatus
US10485419B2 (en) Optical imaging apparatus and method for controlling the same
EP3257433B1 (en) Ophthalmic imaging device and generation method of ophthalmic synthetic image
WO2019172062A1 (ja) 眼底撮影装置
JP2016168257A (ja) 眼科装置及びその制御方法、並びに、プログラム
JP2017093999A (ja) 撮像装置及びその制御方法、並びに、プログラム
JP6853690B2 (ja) 眼科撮影装置
JP2016150090A (ja) 撮像装置及びその制御方法
JP2012223428A (ja) 眼科装置
JP6431399B2 (ja) 眼科撮影装置
JP2017144058A (ja) 眼科装置及びその制御方法、並びに、プログラム
JP2019213752A (ja) 眼科装置、及び眼科装置の制御方法
JP2019150424A (ja) 眼底撮影装置