JP2020162927A - 眼科撮影装置、および、眼科用画像処理プログラム - Google Patents

Abstract

【課題】歪みの少ない被検眼の画像を得ること。【解決手段】眼科撮影装置１は、走査型の撮影光学系１０，２０と、受光素子からの信号に基づいて複数枚の被検眼の画像を撮影するプロセッサ７０と、画像処理器８０と、を備える。プロセッサ７０は、撮影光学系１０，２０を制御することによって、第１の条件で撮影された被検眼の画像である第１画像を取得すると共に、前記第１画像とは異なる撮影タイミングにおいて、第１の条件に対して歪みが少なくなるように設定された第２の条件で、被検眼の画像である第２画像を撮影する。画像処理器８０は、第１画像を画像処理のテンプレートとして利用する際に予め、第２画像に対する第１画像の歪みの検出処理、および、歪みの補正処理のうち少なくともいずれかの処理を行う。【選択図】図４

Description

本開示は、被検眼の画像を処理する眼科撮影装置、および、眼科用画像処理プログラムに関する。

従来、眼科分野において、同一箇所を撮影した複数枚の眼科画像を画像処理して、Ｓ／N等の画質の向上を図る種々の手法が知られている。

画像処理において基準となる眼科画像は、テンプレートとも呼ばれ、良好なテンプレートを得るための手法が、これまでに提案されている。例えば、特許文献１には、連続的に撮影された複数枚の被検眼の画像のうち、固視が安定しているときに撮影された一部を判別し、固視が安定しているときに撮影された画像による合成画像を、テンプレートとして作成する手法が開示されている。

また、より広い画角で被検眼を撮影する、走査型の眼科撮影装置の利活用が、近年、急速に広がっている（例えば、特許文献２参照）。

更に、走査型の眼底撮影装置において、高解像度化が求められている。

特開２０１５−００８８４１号公報 特開２０１６−１２３４６７号公報

しかし、走査型の撮影装置では、大きな画角で撮影する場合ほど、画像１枚当たりの撮影に要する時間が増大する傾向にある。撮影時間の増大に伴って、各々の画像の撮影中（走査中）に眼の動きが生じることは、避け難くなってしまう。つまり、各々の画像において歪みが避け難くなってしまう。このような場合、特許文献１に開示された手法では対応が難しい。

本開示は、従来技術の問題点の少なくとも１つに鑑みてなされたものであり、歪みの少ない被検眼の画像が得られる、眼科撮影装置、および、眼科用画像処理プログラムを提供すること、を技術課題とする。

本開示の第１態様に係る眼科撮影装置は、光源からの光を被検眼の組織上で走査する走査手段と、前記組織からの戻り光を受光する受光素子と、を含む撮影光学系と、前記受光素子からの信号に基づいて被検眼の画像を撮影する撮影制御手段と、画像処理手段と、を有し、前記撮影制御手段は、前記撮影光学系を制御することによって、第１の条件で撮影された被検眼の画像である第１画像を取得すると共に、前記第１画像とは異なる撮影タイミングにおいて、前記第１の条件に対して歪みが少なくなるように設定された第２の条件で、被検眼の画像である、第２画像を撮影し、前記画像処理手段は、前記第１画像を画像処理のテンプレートとして利用する際に予め、前記第２画像に対する前記第１画像の歪みの検出処理、および、前記歪みの補正処理のうち少なくともいずれかの処理を行う。

本開示の第２態様に係る眼科用画像処理プログラムは、コンピュータのプロセッサによって実行されることにより、第１の条件にて、走査型の撮影光学系により撮影された被検眼の画像である、第１画像を取得する第１画像取得ステップと、前記第１の条件に対して歪みが少なくなるように設定された第２の条件にて、走査型の撮影光学系により撮影された被検眼の画像である、第２画像を取得する第２画像取得ステップと、前記第１画像を画像処理のテンプレートとして利用する際に、前記第２画像に対する前記第１画像の歪みの検出処理、および、前記歪みの補正処理のうち少なくともいずれかの処理を行う、テンプレート生成ステップと、を前記コンピュータに実行させる。

本開示によれば、歪みの少ない被検眼の画像が得られる。

実施形態に係る装置の概略構成を示す図である。 撮影光学系の概略構成を示す図である。 実施形態に係る動作の流れを示したフローチャートである。 テンプレート取得処理を説明するためのフローチャートである。 比較画像の基準領域（基準点）を説明する図である。 比較画像の基準点と、基準領域のマッチングによってテンプレート上で特定された対応点と、を示す図である。 テンプレート上の各対応点と比較画像の各基準点とのアフィン変換を説明するための図である。 対応点とアフィン写像とに基づく歪みの有無についてを説明するための図である。 撮影処理を説明するためのフローチャートである。 第１の歪み補正・合成処理を説明するためのフローチャートである。 テンプレートを分割する場合の一例を示している。 テンプレートを分割する場合の一例であって、図８Ａよりも詳細に分割した場合を示している。 テンプレートを分割する場合の一例であって、図８Ｂよりもさらに詳細に分割した場合を示している。 歪み補正後の被検眼の画像において、再変形が必要か否かの判定処理を説明するための図である。 類似度による加算の重み付係数の計算手法を説明するための図である。 第２の歪み補正・合成処理を説明するためのフローチャートである。 第２の歪み補正・合成処理において、制御点（対応点）の配置態様の一例を示した図である。 移動量のフィッティング曲線の概要を示した図である。 画角の広い撮影画像において、歪み補正・合成処理を適用する場合の分割の態様の一例を示す図である。 図１４Ａよりも詳細に分割した場合を示している。 図１４Ｂよりもさらに詳細に分割した場合を示している。

以下、図面を参照しつつ、本開示にかかる実施形態を説明する。便宜上、以下では、特に断りが無い限り、実施形態に係る「眼科用画像処理プログラム」の処理内容は、「眼科撮影装置」によって実行されるものとして説明する。

眼科撮影装置は、被検眼の画像（眼科画像）として、眼底の正面画像（以下、眼底画像と称する）を撮影する。但し、「眼科撮影装置」は、必ずしも眼底を撮影するものに限定されるものではなく、被検眼の前眼部等、他の部位を撮影してもよい。

＜装置構成＞
実施形態に係る眼科撮影装置１（図１参照）は、撮影光学系１０，２０（図２参照）と、画像処理器（画像処理プロセッサ）８０と、を少なくとも備える。以下、眼科撮影装置１を、本装置１と省略する。画像処理器８０を有することによって、本装置１は、各種画像処理を実行するコンピュータとなる。画像処理器８０は、装置全体の動作を司るプロセッサによって兼用されてもよい。画像処理器８０は、装置全体の動作を司るプロセッサとは別体であってもよい。画像処理器８０のプロセッサからアクセス可能なメモリには、実施形態に係る眼科用画像処理プログラムが格納されていてもよい。

本装置１は、例えば、図１に示すように、光学ユニット１ａと、制御ユニット１ｂと、に大別されており、撮影光学系１０，２０は光学ユニット１ａに、画像処理器８０は制御ユニット１ｂに、それぞれ格納されていてもよい。制御ユニット１ｂには、プロセッサ（ＣＰＵ）７０の他、各種メモリ７５を有している。眼科用画像処理プログラムは、メモリ７５に格納されていてもよい。また、制御ユニット１ｂには、操作部８５（ユーザインターフェース）が接続されていてもよい。操作部８５は、マウスおよびタッチパネル等のポインティングデバイスであってもよいし、その他のユーザインターフェースであってもよい。制御ユニット１ｂとして、例えば、ＰＣが利用されてもよい。

また、本装置１は、モニタ９０を有していてもよい。モニタ９０には、例えば、撮影された眼底画像が表示される。その他に、モニタ９０には、各種ＧＵＩが表示されてもよい。

＜撮影光学系の概要＞
撮影光学系１０，２０は、眼底画像を撮影する。本実施形態においては、眼底の正面画像が、眼底画像として撮影される。但し、必ずしもこれに限られるものではない。撮影光学系１０，２０は、照射光学系１０と、受光光学系２０と、に大別される（図２参照）。

撮影光学系１０，２０は、走査型の光学系である。図２に例示する撮影光学系１０，２０は、走査手段の一例として、走査部１６を有する。また、撮影光学系１０，２０は、受光素子として、３つの受光素子２５，２７，２９を有する。図２において、撮影光学系１０，２０は、共焦点光学系である。

特に断りが無い限り、以下の説明において、撮影光学系１０，２０は、２次元スキャンタイプの光学系であるものとして説明する。２次元スキャンタイプにおいては、照明光が眼底上でスポット状に形成されると共に、眼底上で２次元的に走査される。但し、必ずしもこれに限られるものでは無く、ラインスキャンタイプ（あるいは、スリットスキャンタイプ）の光学系が、適用されてもよい。この場合は、照明光が眼底上でライン状またはスリット状に形成されると共に、照明光の光束の断面長手方向と交差する方向に、照明光が走査される。

＜照射光学系＞
まず、照射光学系１０について説明する。照射光学系１０は、走査部１６を有し、眼底上でポイント状に照明光を集光させると共に、走査部１６によって、照明光を眼底上で走査させる。

走査部１６（走査手段の一例）は、互いに異なる２方向に、照明光を走査する。説明の便宜上、以下の説明においては、ラスタースキャンによって、照明光が走査されるものとする。この場合、図２に示すように、走査部１６は、主走査用の第１の光スキャナ１６ａと副走査用の第２の光スキャナ１６ｂとを含んでいてもよい。但し、必ずしもこれに限られるものではなく、走査部１６は、２自由度のデバイス（例えば、ＭＥＭＳ等）であってもよい。光スキャナは、ガルバノミラー、ポリゴンミラー、レゾナントスキャナ、ＭＥＭＳ、および、音響光学素子（ＡＯＭ）等のうちいずれかが適宜選択されてもよい。

照射光学系１０は、光源１１からの照明光を眼底へ照射する。照射光学系１０は、複数の波長域の光を、同時に照射可能であってもよいし、選択的に切り替えて照射可能であってもよい。

特に断りが無い限り、以下の説明において、照射光学系１０は、可視光と、赤外光とを、照射するものとして説明する。

照射光学系１０は、その他に、ビームスプリッター１３、レンズ１４、および、対物レンズ１７を有する。

ビームスプリッター１３は、照射光学系１０と受光光学系２０との光路を結合および分離する。ビームスプリッター１３は、穴あきミラーであってもよいし、他の部材であってもよい。

レンズ１４はフォーカシングレンズであって、駆動部（図示せず）によって変位される。レンズ１４と駆動部とは、本実施形態におけるフォーカス調整部４０（視度補正部）として利用される。本実施形態において、レンズ１４の位置は、プロセッサ７０によって制御される。

対物レンズ１７は、本装置１の対物光学系である。対物レンズ１７は、走査部１６によって走査されるレーザー光を、眼底Ｅｒに導くために利用される。対物レンズ１７は、射出瞳の位置に、旋回点Ｐを形成する。旋回点Ｐでは、走査部１６を経た照明光が旋回される。対物光学系は、対物レンズ１７のような屈折系ではなく、ミラーによる反射系であってもよい。

走査部１６を経た照明光は、対物レンズ１７を通過することによって、旋回点Ｐを経て、眼底Ｅｒに照射される。照明光が旋回点Ｐを中心に旋回されることで、眼底Ｅｒ上で照明光が走査される。眼底Ｅｒに照射された照明光は、集光位置（例えば、網膜表面）にて反射される。照明光の眼底反射光は、平行光として瞳孔から出射する。

＜受光光学系＞
次に、受光光学系２０について説明する。受光光学系２０は、１つ又は複数の受光素子を有してもよい。受光光学系２０は、眼底Ｅｒからの戻り光を、受光素子２５，２７，２９の少なくともいずれかに導き、受光させる。

図２に示すように、本実施形態における受光光学系２０は、対物光学系１７からビームスプリッター１３までに配置された各部材を、照射光学系１０と共用してもよい。この場合、眼底Ｅｒからの光は、照射光学系１０の光路を遡って、ビームスプリッター１３まで導かれる。ビームスプリッター１３は、眼底Ｅｒからの光を、受光光学系２０の独立光路へ導く。

更に、図１に示した受光光学系２０は、ビームスプリッター１３の反射光路に、レンズ２１、ピンホール板２３、および、光分離部（光分離ユニット）３０を有する。

ピンホール板２３は、有害光除去部の一例である。ピンホール板２３は、眼底共役面に配置されていることで、眼底Ｅｒの集光点（あるいは、焦点面）以外の位置からの光を取り除くと共に、（集光点からの光）を受光素子２５，２７，２９の少なくともいずれかへ導く。

光分離部３０は、眼底Ｅｒからの光を分離させる。本実施形態では、光分離部３０によって、眼底Ｅｒからの光が波長選択的に光分離される。また、光分離部３０は、受光光学系２０の光路を分岐させる光分岐部を兼用していてもよい。例えば、図２に示すように、光分離部３０は、光分離特性（波長分離特性）が互いに異なる２つのダイクロイックミラー（ダイクロイックフィルター）３１，３２を含んでいてもよい。受光光学系２０の光路は、２つのダイクロイックミラー３１，３２によって、３つに分岐される。また、それぞれの分岐光路の先には、受光素子２５，２７，２９の１つがそれぞれ配置される。

例えば、光分離部３０は、眼底Ｅｒからの光の波長を分離させ、３つの受光素子２５，２７，２９に、互いに異なる波長域の光を受光させる。例えば、青，緑，赤の３色の光を、受光素子２５，２７，２９に１色ずつ受光させてもよい。この場合、各受光素子２５，２７，２９の受光結果に基づいて、カラー画像が生成されてもよい。

また、光分離部３０は、眼底からの蛍光と、観察光の眼底反射光である赤外光とを、互いに異なる受光素子に受光させてもよい。これにより、蛍光画像と同時に、赤外画像を撮影可能であってもよい。蛍光画像は、自発蛍光画像であってもよいし、造影蛍光画像であってもよい。

なお、上記説明した撮影光学系１０，２０は、複数の受光素子を有することで、各受光素子に応じた波長の戻り光を、各々の受光素子で同時に受光し得る。しかし、必ずしもこれに限られるものではない。例えば、本出願人による「特開２００８−２２８７８１号公報」のように、異なる波長域の戻り光を、１つの受光素子へ交互に（シーケンシャルに）受光させることで、フレーム毎に（ライン毎でもよい）に、異なる波長域に基づく眼底画像を取得する装置においても、本開示は適用可能である。

＜画角の切換＞
撮影光学系１０，２０は、画角を変更する画角切換部を有してもよい。例えば、画角切換部は、撮影光学系１０，２０における対物光学系の光学的な構成を切り替えることで、画角を変更してもよい。詳細には、画角切換部は、対物光学系に対して光学素子を挿脱する挿脱機構を含んでいてもよい。光学素子は、レンズ、ミラー、および、プリズム等を用いることができる。また、画角切換部は、２つ以上のレンズの位置関係が光路に沿って変化することで、屈折状態が変更されるズーム機構であってもよい。また、液晶レンズ等の屈折力可変レンズを画角切換部として有していてもよい。更には、画角切換部には、走査部１６が含まれていてもよく、光スキャナ１６ａ，１６ｂの振り角を変更することで、画角が切換えられてもよい。なお、本実施形態における撮影光学系１０，２０は、８０°以上の画角（但し、射出瞳基準）で、眼底画像を撮影可能であってもよい。画角切換部は、８０°未満の第１画角と、８０°以上の第２画角との間で切換えるものであってもよい。

＜眼底画像の取得（撮影）＞
プロセッサ７０は、例えば、受光素子２５，２７，２９から出力される受光信号を基に眼底画像を形成する。より詳細には、プロセッサ７０は、走査部１６による走査（ここでは、ラスタースキャン）と同期して眼底画像を形成する。

本実施形態では、受光素子２５，２７，２９によって、３つの読み出しチャンネルが形成される。プロセッサ７０は、３つの読み出しチャンネル（以下、単に「チャンネル」という）に応じた最大３種類の画像を、ラスタースキャン毎に生成する。本実施形態において、各種の眼底画像は、画像処理器８０によって生成される。

画像処理器８０は、上記のような装置の動作に基づいて逐次形成される複数フレームの眼底画像を、観察画像として取得してもよい。各フレームの観察画像は、時系列にモニタ９０へ表示されてもよい。観察画像は、略リアルタイムに取得された眼底画像からなる動画像である。

本実施形態でいう「取得」は、眼底画像が、画像処理器８０によって処理可能な状態に置かれることを指す。例えば、画像処理器８０によってアクセス可能な所定のメモリ領域へ、眼底画像が記憶されることによって、眼底画像が取得される。

また、逐次形成される複数の眼底画像のうち一部が、撮影画像（キャプチャ画像）として取り込まれる（キャプチャーされる）。その際、撮影画像は記憶媒体（例えば、メモリ７５）に記憶される。撮影画像が記憶される記憶媒体は、不揮発性の記憶媒体（例えば、ハードディスク，フラッシュメモリ等）であってもよい。本実施形態では、例えば、トリガ信号（例えば、レリーズ操作信号等）の出力後、所定のタイミング（又は，期間）に形成される眼底画像がキャプチャーされる。

＜撮影モードの設定＞
プロセッサ７０は、撮影モード（撮影方法）を変更してもよい。プロセッサ７０は、照明光の波長、および、受光信号を読み出すチャンネル、のうち少なくともいずれかを、撮影モードに応じて変更してもよい。撮影モードに応じて、撮影画像として取得される眼底画像の種別が変更される。例えば、第１撮影モードでは、撮影画像としてカラー画像が取得されてもよいし、第２撮影モードでは、撮影画像として蛍光画像が取得されてもよい。また、図示なきフィルタの挿脱が、撮影モードに応じて変更してもよい。

＜眼底画像１枚あたりの取得に要する所要時間の変更＞
眼底画像１枚を取得する所要時間が、変更可能であってもよい。この場合、プロセッサ７０が走査部１６における走査速度を制御することで、所要時間が変更される。所要時間の変更に伴って、眼底画像１枚あたりの画素数（換言すれば、解像度）が、変更される。このとき、主走査方向と副走査方向とのうち、両方の走査速度が制御されてもよいし、いずれか一方の走査速度が制御されてもよい。

一例として、４０９６×４０９６（約０．６ｓｅｃ），１０２４×１０２４（約０．１４ｓｅｃ），５１２×５１２（約０．０７ｓｅｃ）の３種類の画素数で、眼底画像が形成されてもよい。なお、（）カッコ内の数値は、所要時間の一例である。

＜動作説明＞
次に、本装置１において眼底画像を撮影するときの動作を、図３〜図１２を参照して説明する。

図３に示すように、プロセッサ７０は、まず、固視灯の点灯と、観察画像の取得および表示と、を開始させる（Ｓ１，Ｓ２）。固視灯の点灯制御として、所定の呈示位置へ光が走査されるタイミングで可視光を一時的に点灯させるように、撮影光学系１０，２０が制御されてもよい。このようにして、内部固視灯が形成されると共に、被検眼に対して呈示されてもよい。観察画像は、より高いフレームレートで表示されることが好ましい。そこで、観察画像における画素数は、比較的小さな値（ここでは、５１２×５１２）に設定される。

また、各種調整と設定とが行われる（Ｓ３）。例えば、被検眼と装置との位置関係が調整されてもよいし、フォーカス状態が調整されてもよいし、その他の調整が行われてもよい。調整は手動であってもよいし、自動であってもよい。手動で調整される場合、検者は観察画像を参照し得る。また、プロセッサ７０は、撮影モード、および、撮影画像における画素数のうち少なくとも１つの条件を、検者の操作入力に基づいて設定してもよい。撮影画像の画素数は、観察画像に比べて大きな値が設定されてもよい。

その後、テンプレート取得処理が行われる（Ｓ４）。テンプレート取得処理によって、撮影画像の位置合わせの基準画像となるテンプレートが取得される。テンプレートは、Ｓ３の処理において事前に設定された条件でキャプチャーされてもよい。テンプレートは、撮影画像と同条件で撮影された画像であってもよいし、撮影画像とは異なる条件で撮影された画像であってもよい。テンプレート取得処理の詳細については、図４を参照して後述する。

テンプレートが取得された状態で、撮影処理（Ｓ５）が実行される。撮影処理は、例えば、トリガ信号（例えば、レリーズ操作信号等）に基づいて実行される。撮影処理については、図６を参照して、詳細を後述する。撮影処理（Ｓ５）の完了後、撮影結果が保存されると共に、モニタ９０へ表示されてもよい（Ｓ６）。適正に眼底画像が撮影された場合、撮影結果として、撮影画像が表示されてもよい。また、撮影時にエラーが生じた場合、その旨がモニタ９０を介して報知されてもよい。

＜テンプレート取得処理＞
次に、図４を参照して、実施形態に係るテンプレート取得処理（Ｓ５）を、詳細に説明する。テンプレート取得処理では、まず、少なくとも１枚の眼底画像がテンプレートとしてキャプチャーされる（Ｓ１１）。テンプレートは、撮影処理によって取得される撮影画像と同種の眼底画像であることが好ましい。このため、撮影を開始するトリガ信号に基づいて、テンプレートとしてキャプチャーが実行されてもよい。

本実施形態では、比較画像（第２のテンプレート）が、テンプレートとは異なるタイミングで取得される（Ｓ１２）。比較画像は、テンプレートと比べて歪みが少なくなるように設定された条件で撮影された眼底画像である。比較画像は、画像処理器８０によって、テンプレートと比較され、テンプレートにおける歪みが検出される。更に、本実施形態では、画像処理器８０によって、テンプレートにおける歪みが補正される。

上記条件の１例としては、テンプレートとなる画像を取得する所要時間と比べて、比較画像を取得する所要時間が短いこと、が挙げられる。この場合、比較画像の画素数は、テンプレート（および撮影画像）と比べて少なくてもよい。例えば、比較画像は５１２ｘ５１２の画素数で撮影されてもよく、これに対し、テンプレートは１０２４ｘ１０２４若しくは４０９６ｘ４０９６の画素数で撮影されてもよい。

また、上記条件の別の１例として、テンプレートの取得に利用される照明光に比べて、比較画像の取得に利用される照明光の方が、被検者が眩しさを感じにくいこと、が挙げられる。つまり、テンプレートの撮影時と比較して眩しさによる反射的な眼の動きが生じ難くなるように設定された条件下で、比較画像は撮影されてもよい。具体例として、比較画像は、赤外光による眼底画像であって、テンプレートは、可視光による眼底画像でもよい。なお、赤外光による眼底画像の１種である観察画像が、比較画像として利用されてもよい。比較画像の撮影自体は、トリガ信号の入力前に行われていてもよい。例えば、トリガ信号の入力前から事前にメモリに撮りためておいた観察画像（あるいは、複数枚の観察画像による加算画像）を、比較画像として用いてもよい。

また、Ｓ１２の処理には、比較画像の撮影処理が含まれていてもよい。この場合、プロセッサ７０は、テンプレートとは上記いずれかの条件を変えて、比較画像となる眼底画像を撮影する。比較画像と、テンプレートとの間で、取得するための所要時間、照明光の波長域、および、チャンネルの一部又は全部が異なっていてもよい。また、比較画像の撮影範囲は、テンプレートおよび撮影画像と同一であるか、テンプレートおよび撮影画像の撮影範囲を包含していることが好ましい。

＜歪み検出処理、および、判定処理の具体例＞
図５Ａ〜図５Ｄを参照して、歪み検出処理（Ｓ１３）、および、判定処理（Ｓ１４）についての、一具体例を説明する。具体例において、画像処理器８０は、テンプレートと比較画像との間における対応点を複数求め、それぞれの対応点間の変位の違いを、歪みとして検出する。

まず、図５Ａに示すように、比較画像において、複数の基準領域が設定される。図５Ａでは、位置が互いに異なる領域ｈ１〜ｈ５が、基準領域として利用される。基準領域は、４つ以上設定されることが好ましい。

図５Ｂにおいて、比較画像上に示した基準点ｉ１〜ｉ５（比較画像側の対応点）は、それぞれ、領域ｈ１〜ｈ５の中心点である。画像処理器８０は、テンプレート上において、基準点ｉ１〜ｉ５と対応する対応点ｊ１〜ｊ５を求める。基準点と、その基準点と対応する対応点とは、眼底上において略同一位置を示すものと考えられる。例えば、画像処理器８０は、それぞれの領域ｈ１〜ｈ５についてテンプレートに対するマッチングを行う。マッチングでは、テンプレートの各領域と、それぞれの領域ｈ１〜ｈ５との類似度が求められる。テンプレート上で、それぞれの領域ｈ１〜ｈ５との類似度が最も大きくなる領域が、領域ｈ１〜ｈ５に対する対応領域である。対応点ｊ１〜ｊ５は、それぞれの対応領域の中心として特定される。マッチングは、位相限定相関法等の種々の処理を適用できる。

なお、「マッチング」は、２画像間の（類似度マップを求めて）類似度が最大（閾値以上）となる位置を求める画像処理である。本実施形態における各種のマッチングでは、位相限定相関（POC：Phase Only Correlation）に限らず、種々の類似度が利用されてもよい。例えば、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、および、正規化相互相関（NCC:Normalized Cross-Correlation，ZNCC:Zero-mean Normalized Cross-Correlation）等のいずれかであってもよい。

次に、画像処理器８０は、基準点ｉ１〜ｉ５と対応点ｊ１〜ｊ５との間における、アフィン変換の変換行列Ｍを求めてから、各々の基準点ｉ１〜ｉ５を変換行列Ｍでテンプレート上に写像する（図５Ｃ参照）。基準点ｉ１〜ｉ５と対応点ｊ１〜ｊ５とが各画像に４点以上あることで、変換行列Ｍを得ることができる。撮影中に眼が動いた場合（詳細には、動きが変化した場合）、テンプレート内に２次元的な歪みが生じる。変換行列Ｍによる基準点ｉ１〜ｉ５の写像と、対応点ｊ１〜ｊ５とのズレは、歪みが生じた領域において大きくなるものと考えられる。

図５Ｃにおいて、５つの円ｋ１〜ｋ５は、写像した点を中心としており、円の大きさが、歪みの許容範囲を示している。画像処理器８０は、全ての対応点ｊ１〜ｊ５が、円ｋ１〜ｋ５の内側に含まれている場合に、歪みが許容範囲内であると判定する（Ｓ１４：ＹＥＳ）。一方、円ｋ１〜ｋ５の内側に含まれていない対応点ｊ１〜ｊ５が存在することで、歪みが許容範囲外であると判定する（Ｓ１４：ＮＯ）。例えば、図５Ｄには、対応点ｊ３およびｊ４の周囲において、許容範囲を超えた歪みを有するテンプレートを示している。

歪みが許容範囲を超えたと判定される場合に（Ｓ１４：ＮＯ）、図４の例においては、テンプレートが再取得される（Ｓ１１）。再取得されたテンプレートは、上記の流れで改めて歪みが評価される。これにより、比較画像に対する歪みが許容範囲となるテンプレートを得ることができる。つまり、テンプレートと比べて歪みが少なくなるように設定された条件下で撮影された比較画像に対し、より近しい画像をテンプレートとして選定できる。その結果、テンプレートを基準とする撮影画像の各種処理が、良好に行われやすい。

但し、歪みが許容範囲を超える場合、そもそも、固視が困難な被検眼である等、被検眼に対して条件が適していない場合が考えられる。つまり、固視が安定しにくい被検眼が撮影されている場合が考えられる。このような眼に対し、前回と同じ条件でテンプレート等の眼底画像を新たに撮影したところで、依然として新たな画像についても歪みが許容範囲を超えてしまうおそれがある。

そこで、歪みが許容範囲を超えたと判定される場合に（Ｓ１４：ＮＯ）、プロセッサ７０は、より歪みが少なくなるように設定された条件（本実施形態における、第３の条件）で、眼底画像（本実施形態における第３画像）を撮影してもよい。つまり、第３画像は、事前に撮影されたテンプレート（本実施形態における第１画像の１つ）と比べて歪みが生じ難い第３の条件で撮影されている。第３画像は、再撮影によって取得されるテンプレート（第３のテンプレート）であってもよい。また、テンプレートだけでなく、そのテンプレートを基準に合成される眼底画像であってもよい。また、第３画像をテンプレートとして用いる場合、第２の歪み検出処理が、画像処理器８０によって行われてもよい。第２の歪み検出処理で用いられる比較画像は、第３画像よりも歪みが少なくなるように設定された条件で撮影された眼底画像であってもよい。

また、歪みが許容範囲を超えたと判定される場合（Ｓ１４：ＮＯ）、再撮影に変えて、あるいは、再撮影と共に、以下のような処理が行われてもよい。例えば、撮影が中断されてもよい。例えば、可視光で撮影する場合において、直ちに撮影が中断されることで、被検者の負担を抑制できる。また、この場合、Ｓ６の処理にいて、撮影結果として、その旨がモニタ９０へ表示されてもよい。

但し、歪みが許容範囲を超えたと判定された場合（Ｓ１４：Ｎｏ）であっても、撮影処理が中断される必要は必ずしも無い。この場合、例えば、プロセッサ７０は、歪みが許容範囲を超えたと判定されたテンプレートを採用するか否かを検者に確認するための確認画面を、モニタ９０へ表示させてもよい。確認画面が表示された状態で、テンプレートとすることを拒否するための入力操作を受け付けることによって、画像処理器８０は、テンプレートを削除してもよい。削除後、手動で、又は、自動的に、テンプレートが再撮影されてもよい。

確認画面には、例えば、テンプレートと比較画像との合成画像が、モニタ９０へ表示されてもよい。合成画像は、比較画像とテンプレートとを重畳した画像であってもよい。具体例として、比較画像とテンプレートとを、互いに異なるカラーチャンネルで表現した画像であってもよい。また、比較画像と、テンプレートとが、交互に繰り返し配置される、チェック柄パターンの表示形式による画像であってもよい（例えば、本出願人による「特開２０１３-１５４２１」号公報参照）。

本実施形態において、比較画像に基づいて、テンプレートの歪み補正処理（Ｓ１５）が行われてもよい。歪み補正処理は、例えば、非剛体レジストレーションであってもよいし、剛体レジストレーションであってもよい。非剛体レジストレーションについては、例えば、後述の手法を援用できる。歪み補正処理が行われることで、比較画像に対する歪みが一層軽減された画像を、撮影画像に対するテンプレートとして得ることができる。

また、テンプレートは、複数枚の眼底画像による加算画像であってもよい。テンプレートと比較画像との間でチャンネルが異なっている場合に（或いは、照明光の波長域が異なっている場合に）、テンプレートと比較画像との間で互いに異なる特徴が描写される場合が考えられる。この場合、複数枚のテンプレートの歪み補正が、比較画像を基準として行われると、複数枚のテンプレートのうち一部において歪みが適正に補正されない場合が生じやすくなる。この場合、結果として、チャンネルの違いが、歪み補正後のテンプレートによる合成画像において、ノイズを生じさせる原因となり得る。そこで、例えば、比較画像に対して歪み補正が完了したテンプレートの１枚を、第４のテンプレートとして、残りの撮影画像の歪み補正を、第４のテンプレートを基準に行うようにしてもよい。第４のテンプレートと他の撮影画像とは、チャンネルが同一であるため、上記ノイズが抑制されやすくなる。

＜撮影処理の詳細説明＞
図３の例では、以上のようにしてテンプレートが取得された後、撮影処理（Ｓ５）が実行される。

ここで、図６を参照して、実施形態に係る撮影処理（Ｓ５）を、詳細に説明する。撮影処理では、前述の通り、撮影画像がキャプチャーされる（Ｓ２１）。キャプチャーされた撮影画像は、歪み補正・合成処理（Ｓ２２）において、少なくとも撮影中の眼の動きによって生じた２次元的な歪みが、テンプレートを基準として補正される。

このとき、本実施形態では、ローカルマッチングによって、被検眼の画像とテンプレートとの対応点または対応領域が、被検眼の画像とテンプレートとの複数の位置に設定されると共に、対応点毎または対応領域毎の移動量（位置ずれ量ともいう）が算出される。そして、ローカルマッチングによって取得された対応点毎または対応領域毎の移動量に基づいて、撮影画像全体が変形される。このとき、撮影画像は非剛体に変形されてもよい（非剛体レジストレーション）。これにより、撮影画像における歪み（２次元的な歪み）が補正される。本実施形態において、歪みが補正された撮影画像は、テンプレートへ合成される。このとき、例えば、予め定められた枚数の撮影画像が合成されるまで、Ｓ２１，Ｓ２２の処理が繰り返されてもよい。これに代えて、新たな撮影画像が合成される毎に合成画像の画質を評価して、画質の評価値が閾値を超えた段階で、撮影処理（Ｓ５）を終了してもよい。このような撮影処理によって、複数枚の撮影画像による合成画像が、撮影結果として得られる。合成画像は、例えば、複数枚の撮影画像による加算画像であってもよい。合成画像は、撮影結果として、メモリ７５へ保存されてもよいし、モニタ９０へ表示されてもよい。

＜第１の歪み補正・合成処理＞
まず、本実施形態において適用可能な、第１の歪み補正・合成処理の流れを、図７に基づいて説明する。第１の歪み補正・合成処理においては、テンプレート画像および撮影画像が、複数のブロック（分割領域ともいう）に分割されると共に、２枚の画像の間で対応するブロック同士の移動量が算出される（ローカルマッチング）。そして、各ブロックの移動量に基づいて、撮影画像全体が、非剛体的に変形される。なお、ここでいうブロックは、テンプレート画像および撮影画像の複数の位置に設定される、対応領域の一例である。

図７においては、直前に（Ｓ２１の処理によって）キャプチャーされた撮影画像が、歪み補正に適した画像であるか否かが、グローバルマッチングに基づいて判定される（Ｓ３１）。本実施形態におけるグローバルマッチングは、テンプレート画像と撮影画像とを、大まかに位置合わせするための処理である。例えば、画像全体同士のマッチングであってもよいし、画像の一部の領域（例えば、中心領域）のみを用いたマッチングであってもよい。グローバルマッチングにおける類似度（例えば、相関）の最大値が、所定の閾値以上である場合に、撮影画像は補正に適した画像であると判定されてもよい（Ｓ４１：ＧＯＯＤ）。類似度が閾値以下である場合に、撮影画像は、補正に適さないものと判定されてもよい（Ｓ４１：ＢＡＤ）。後者の場合、直前にキャプチャーされた撮影画像については、テンプレートへ加算することなく、歪み補正・合成処理が終了されてもよい。

次に、画像処理器８０によって、ローカルマッチングが行われる（Ｓ３２）。テンプレート画像と撮影画像とが、それぞれ、複数のブロック（分割領域および対応領域ともいう）に分割され、対応するブロック間でマッチングが行われる。一例として、図８Ａに示したすように、横に３等分、縦に４等分、の１２のブロックに分割されてもよい。例えば、ブロック毎にマッチングが行われ、類似度（例えば、POCによる相関）の最大値と、類似度が最大となるときの移動量と、をブロック毎に求めてもよい。

各ブロックの移動量には、画像の歪みが反映されている。このため、ブロックが細かく分割されるほど、歪みを精度よく検出できる。一方、ブロックが細かくなるほど、処理負担が増大する。そこで、本実施形態では、分割後にマッチングの結果を評価し、マッチングの結果に応じて段階的（再帰的）に分割数が増大される。これにより、精度と処理負担の低減とを両立させ得る。一例として、ブロック毎の類似度に基づいて、分割数が適正であるか否かが判定される（Ｓ３３）。例えば、類似度の最大値が閾値を上回るブロックの数が、所定個以上存在する場合に、分割数が適正（十分）と判定されてもよい（Ｓ３３：ＹＥＳ）。一方、類似度の最大値が閾値未満である場合に、分割数が不適正（不十分）と判定されてもよい（Ｓ３３：ＮＯ）。この場合、本実施形態では、更に細かなブロックに画像が分割され（Ｓ３２）、マッチングが再度行われる（Ｓ３３）。例えば、図８Ａ（第１段階：縦４分割、横３分割）⇒図８Ｂ（第２段階：縦８分割、横３分割）⇒図８Ｃ（第３段階：縦１２分割、横３分割）⇒・・・の流れで、段階的に分割数が増大されてもよい。

なお、本装置１においては、横方向（主走査方向）へのスキャンスピードは、縦方向（副走査方向）と比べて格段に速いことから、各々の主走査線内での歪みは生じ難い。このため、横方向（主走査方向）の分割数に比べて、副走査方向の分割数が多いことが好ましい。また、各々のブロックは、横方向に長く（換言すれば、横方向を長手方向として）形成されてもよい。図８Ａ〜図８Ｃでは、横方向を長手方向とする長方形として、各ブロックが形成されている。回旋成分による歪みを検出するうえで、横方向に２つ以上のブロックに分割されていることが好ましい。また、図８Ａ〜図８Ｃでは、横方向の分割数については、縦方向の分割数のように段階的に増加されない。但し、必ずしもこれに限られるものではなく、横方向の分割数についても段階的に増加されてもよい。

次に、最終的な分割状態での各ブロックの移動量に基づいて、撮影画像が非剛体的（非線型的）に変形される（Ｓ３４）。非剛体的な変形のアルゴリズムとしては、薄板スプライン法、Ｂ−スプライン法等の種々の手法が知られている。本実施形態では、種々の手法のうちいずれかを適宜適用し得る。例えば、薄板スプライン法を適用する場合では、各ブロックの中心を、移動量に基づいて移動させるともに、その他の点の移動については、薄板スプライン補間によって移動される。その結果として、撮影画像全体が変形されてもよい。

次に、再変形が必要であるか否かが判定される（Ｓ３５）。例えば、画像処理器８０は、テンプレートと、歪み補正後の撮影画像と、の間の類似度を求め、類似度に基づいて、再変形が必要であるか否かを判定してもよい。類似度は、例えば、２つの画像の間の相互情報量によって評価できる。

ここで、再変形が必要であると判定されると（Ｓ３５：ＹＥＳ）、撮影画像の分割数を増加させたうえで、Ｓ３２〜Ｓ３５の処理が繰り返される。便宜上、繰り返し回数を、１ループ目、２ループ目、３ループ目・・・と数えるものとする。処理を繰り返す回数には上限が設定されていてもよい。図９に示した例では、最大で３ループ目まで処理が繰り替えされ得る。

例えば、類似度を示す値と予め定められた閾値との比較に基づいて上記判定が行われてもよい。類似度を示す値が閾値以上である場合は、再変形が不要であると判定されてもよい。

一方、類似度を示す値が閾値を下まわる場合は、再変形が必要であると判定されてもよい。この場合、例えば、最大で３ループ目まで処理を繰り返して、類似度を示す値が最大値を取る画像を、他の撮影画像との合成処理の対象として採用してもよい。但し、類似度が最大値を取る画像において、歪み補正が正しく行われているとは限らないので、類似度の下限を定める第２の閾値と比較し、類似度が第２の閾値を超えている場合に、類似度が最大値を取る画像を採用するようにしてもよい。図９の例において、第２の閾値には、変形前の撮影画像と、１ループ目の歪み補正後の画像との間の類似度が用いられる。図９においては、類似度１．１８が、第２の閾値として用いられる。最大で３ループ目まで処理を繰り返したときの類似度の最大値が、第２閾値を超えない場合は、歪み補正が失敗しているものと考えられる。この場合、いずれの画像も、他の撮影画像との合成処理の対象として採用されない。

合成処理の対象として採用された歪み補正後の撮影画像については、加算の重み付計算が行われる（Ｓ３６）。重み付計算は、画像の各領域について行われる。例えば、テンプレートと、歪み補正後の撮影画像とを、縦横それぞれに複数のブロックに分割して（図１０では、縦横それぞれに１６分割して）、画像間で対応するブロックの類似度を求めてもよい。このとき、各ブロックの位置は、各画像で一致される。対応するブロックの類似度は、例えば、正規化相互相関（ZNCC）によって評価されてもよいし、他の類似度で評価されてもよい。各ブロックの重み付係数は、各ブロックの類似度に応じて算出されてもよい。

歪み補正後の撮影画像は、算出された重み付係数が各領域へ適用されたうえで、他の画像へ加算される（Ｓ３７）。テンプレートに対する歪みが多く残存する領域ほど、より小さな重み付係数にて加算される。結果、合成画像において、歪みが多く残存する領域の影響を抑制できる。

以上のようにして、第１の歪み補正・合成処理が行われてもよい。

＜第２の歪み補正・合成処理＞
次に、本実施形態において適用可能な、第２の歪み補正・合成処理の流れを、図１１に基づいて説明する。

第２の歪み補正・合成処理では、テンプレートにおける複数の走査線上に、複数の制御点（基準点）が設定される。一部詳細については異なるものの、各制御点を含む小領域のローカルマッチングによって、テンプレートと撮影画像との間における制御点（つまり、対応点）の移動量（ずれ量）が求められる。第２の歪み補正・合成処理では、重み付加算の手法が、第２の歪み補正・合成処理とは大きく異なる。第２の歪み補正・合成処理では、各ラインにおいて、制御点の移動量を、所定の関数でフィッティングし、各制御点のフィッティング誤差と、隣り合うラインに対する移動量の変化と、をそれぞれ考慮して、重み付係数が導出される。以下、詳細について説明する。

図１１においては、まず、撮影画像が歪み補正に適した画像であるか否かが判定される（Ｓ４１）。当該処理は、第１の歪み補正・合成処理におけるＳ３１の処理と同様であってもよいため、詳細な説明を省略する。

次に、画像処理器８０によって、テンプレート上に、複数の制御点が設定される（Ｓ４２）。制御点は、複数のライン（主走査線）のそれぞれに対して複数設定される。

制御点が設定されるラインは、予め定められていてもよい。一例として、図１２においては、等間隔に配置された８本の走査線上に、制御点（図１２では、〇印で示す）が設定されている。

制御点の設定後、ローカルマッチングが行われる。詳細には、テンプレートと撮影画像との間における各制御点の移動量が算出される（Ｓ４３）。例えば、制御点を含む小領域によるローカルマッチングに基づいて、テンプレートにおける制御点との対応する点（つまり、撮影画像側の制御点、図１２では、△印で示す）の位置が探索され、両者の移動量が算出されてもよい。小領域は、制御点を中心とする所定サイズの領域であってもよい。

Ｓ４３の処理では、ライン単位で移動量が算出されてもよい。図１３に示すように、例えば、１つのラインにおける複数の制御点の移動量を、関数でフィッティングしてもよい。フィッティングの手法は、最小二乗近似等の種々の手法の中からいずれかが選択されてもよい。この場合、図１３に示すように、フィッティング曲線上に、各制御点を含むライン上の各点との対応点があるものとみなしてもよい。関数は、例えば、主走査方向の位置ｘと、副走査方向の位置ｙとを変数として持つ。

次に、制御点毎、あるいは、制御点が設定されるライン毎に算出された移動量に基づいて、撮影画像が非線形的（非剛体的）に変形される（Ｓ４４）。例えば、薄板スプライン法によって、撮影画像を変形させてもよいし、他の手法によって、撮影画像を変形させてもよい。

次に、再変形が必要であるか否かが判定される（Ｓ４５）。この処理は、第１の歪み補正・合成処理におけるＳ３５の処理と同様であってもよいため、詳細な説明を省略する。なお、再変形が必要であると判定された場合は、制御点を増やしたうえで、Ｓ４２〜Ｓ４５の処理が繰り返される（ループされる）。この場合、制御点が設定されるラインを増やすことによって、より多くの制御点を設定することが好ましい。大きな歪みがある場合ほど、多くの制御点に基づいて撮影画像が変形されやすいため、歪みが良好に補正されやすくなる。

次に、加算の重み付計算が行われ（Ｓ４６）、計算された係数で加算処理が行われる（Ｓ４７）。重み付係数は、第１の歪み補正・合成処理と同様、テンプレートと歪み補正後の撮影画像との間における、領域毎の類似度に基づいて計算されてもよい。

また、第２の歪み補正・合成処理では、撮影画像上における各ラインの制御点に対する上述のフィッティング曲線と各制御点との誤差（以下、「フィッティング誤差」という）の大きさに基づいて、重み付係数が計算されてもよい。大きな誤差があるラインについては、テンプレートに対する大きな歪みが含まれていたり、ケラレなどによるアーチファクトが存在していたりするものと考えられる。そこで、例えば、あるラインにおいて各制御点の誤差の総和が閾値以上である場合、そのライン、および、その周辺については、他の撮影画像との加算に使用されないような重み付係数が与えられてもよい。フィッティング曲線と各制御点との誤差に基づく重み付係数を、便宜上、異常度と称する。

また、それぞれに制御点が設定された複数のラインであって、隣接するラインの間での移動量の変化（差）の大きさに基づいて、重み付係数が計算されてもよい。移動量の変化が大きい場合、隣接するラインが走査される途中で、眼の動きに変化が生じており、歪みが生じているものと考えられる。そこで、例えば、移動量の変化（差）が大きい場合ほど、小さな係数が与えられてもよい。隣接するラインの間での移動量の変化（差）の大きさに基づく重み付係数を、便宜上、信頼度と称する。

類似度に基づく係数、異常度、および、信頼度は、掛け合わせることができる。つまり、これらのうち２つ以上の係数を、歪み補正後の撮影画像の各領域に対して同時に適用可能である。２つ以上の係数を用いて加算処理が行われることによって、歪みの影響がより抑制された良好な加算画像が得られやすくなる。

＜同時に撮影された複数のチャンネルの被検眼における歪み補正＞
同時に撮影された複数のチャンネルの被検眼の画像において、各チャンネルの画像に対して歪み補正する場合、必ずしもチャンネル毎に上記処理が行われる必要は無い。例えば、いずれか１つのチャンネルに対して、上記処理を行うと共に、同時に撮影された他のチャンネルの画像については、１つのチャンネルにおいて算出された歪み補正の補正量および重み付係数を適用してもよい。

＜内部反射像を避けて対応領域または対応点を設定＞
例えば、撮影光学系１０，２０の内部反射像が撮影範囲へ映り込んでしまう場合が考えられる。内部反射像は、照明光が撮影光学系１０，２０に含まれる光学部材によって反射されることで生じる。内部反射像としては、例えば、撮影光学系に含まれる光学部材での反射によるアーチファクトである。内部反射像は、眼の動きに関わらず画像上の一定位置に出現する。そこで、画像処理器８０は、第１又は第２の歪み補正・合成処理において、内部反射像を避けて、複数のブロック（対応領域）または制御点（対応点）を配置してもよい。これにより、眼の動きに関わらず静止する要素を除外して、テンプレートと撮影画像との間における対応領域または対応点が設定されるので、対応領域または対応点の移動量に基づく歪み補正の精度が向上する。

＜画角、解像度に応じた、対応点および対応点の調整＞
また、例えば、第１の歪み補正・合成処理におけるブロック（対応領域）に関するパラメータ、および、第２の歪み補正・合成処理における制御点（対応点）に関するパラメータは、撮影画像の画角、画素数またはその両方に応じて、画像処理器８０によって調整されてもよい。ブロック（分割領域）に関して調整可能なパラメータとしては、例えば、ブロックの数、大きさ、配置、および、形状、の少なくともいずれかであってもよい。また、制御点に関して調整可能なパラメータは、数（密度）、および、配置のうち少なくともいずれかであってもよい。

例えば、画素数が多いほど撮影時間が長くなり、撮影画像において、歪みの影響を受けやすくなると考えられる。これに対し、画素数が多いほど、ブロックまたは制御点を、増大させてもよい。つまり、ローカルマッチングにおけるテンプレートと撮影画像との間における対応点を、撮影画像の画素数が多いほど増大させてもよい。これにより、撮影画像の歪みに対して適正な処理負担で補正処理を行いやすくなる。

また、例えば、図１３Ａ〜１３Ｃには、画角切換部によって撮影画像の画角が増大された結果として、対物光学系の縁部（図１３Ａ〜１３Ｃではレンズのコバ２０１）が内部反射像として画像上に映り込んでしまう場合が考えられる。この場合、縁部の内側の領域において、被検眼の組織が描写され、当該領域において眼の動きによる歪みが生じ得る。一方、縁部およびその外側の領域については、歪みが生じ得ない。そこで、撮影範囲に光学系の縁部が含まれる場合、画像処理器８０は、該縁部の内側領域のみへ、複数のブロックまたは制御点を配置してもよい。つまり、特定の画角で生じる内部反射像を避けて、複数のブロックまたは制御点が配置されるように、画像処理器８０は、複数のブロックまたは制御点を、画角に応じて変更してもよい。

＜変容例等＞
以上、実施形態に基づいて説明を行ったが、本開示を実施するうえで、実施形態の内容を適宜変更することができる。

＜縮小画像によるマッチング＞
例えば、上記実施形態における各種のマッチング、歪み補正・合成処理のうち少なくともいずれかは、画像サイズが縮小された縮小画像が用いられてもよい。この場合、テンプレートを基準とした画像処理の対象である眼底画像を縮小させて、縮小画像が生成される。追加的に、テンプレートの縮小画像が生成されてもよい。縮小サイズで画像処理が行われることによって、画像処理器８０における処理負担が軽減される。縮小画像における各画素と元の画像における各画素との対応関係は、縮小時の倍率によって一義的に定められる。画像処理器８０は、縮小サイズでのマッチングによって得られたパラメータ・変形行列を、上記倍率で元のサイズの眼底画像へ適用する。これにより、各種のマッチング、歪み補正・合成処理をより低い処理負担で（換言すればより高速に）実行できる。

＜キャプチャー以外の場面における各種画像処理の適用＞
上記実施形態では、画像処理器８０による各種処理が、撮影画像をキャプチャーする際に実行される。しかし、必ずしもこれに限られるものではなく、事前にキャプチャーされた眼底画像に対して、各種画像処理が、画像処理器８０によって、実行されてもよい。例えば、＜テンプレート取得処理＞、＜歪み検出処理、および、判定処理＞、＜第１，第２の歪み補正・合成処理＞等の全部または一部の実行タイミングは、撮影時では無く、閲覧時であってもよい。

事前にキャプチャーされた眼底画像に対して、各種画像処理が行われる場合、各種のテンプレート、および、テンプレートへ合成される眼底画像のうち少なくともいずれかは、検者からの操作入力に基づいて、予め撮影されている、複数枚の眼底画像の中から選択可能であってもよい。

この場合、選択画面が、モニタ９０に表示されてもよい。選択画面上では、複数枚の眼底画像のうち、少なくとも２枚の眼底画像が並べて表示されることが好ましい。また、表示された画像を、任意に、他の画像と入れ替え可能であってもよい。これにより、検者が複数枚の眼底画像を良好に見比べることができる。そして、良好に撮影された画像が、画像処理の対象として選択されやすくなる。

＜手動による対応点または対応領域の設定＞
上記実施形態において、テンプレートおよび撮影画像に対して、対応点または対応領域（対応点または対応領域に関するパラメータ）は、適時、自動的に設定される場合について説明した。しかし、必ずしもこれに限られるものではなく、検者による操作入力に基づいて、手動で設定されてもよい。ここでいう設定には、ゼロベースで設定する場合だけでなく、自動的に設定された対応点および対応領域（対応点または対応領域に関するパラメータ）を、操作入力に基づいて修正することを含む。

この場合、対応点に関しては、数（密度）、および、配置のうち少なくともいずれかのパラメータが、操作入力に基づいて設定可能であってもよい。また、対応領域に関しては、数、大きさ、配置、および、形状のうち少なくともいずれかのパラメータが、操作入力に基づいて設定可能であってもよい。対応点または対応領域が手動で設定された場合も、自動で設定された場合と同様、ローカルマッチング等の各種処理が、画像処理器８０によって実行される。なお、パラメータは、検者が任意に設定可能であってもよいし、予め定められた複数のパターンの中からいずれかを操作入力に応じて選択可能であってもよいし、両者が併用されてもよい。

対応点または対応領域を手動で設定する際に、対応点または対応領域の設定状態を、グラフィカルな表示によって、確認可能であってもよい。例えば、対応点または対応領域を示す指標が重畳された眼底画像（例えば、テンプレート）が、確認のためにモニタ９０上に表示されてもよい。

＜ＯＣＴへの適用について＞
なお、上記実施形態において、眼科撮影装置は、走査型の撮影光学系によって、眼底の正面画像（２次元画像）を撮影する装置であるものとしたが、必ずしもこれに限られるものでは無い。例えば、被検眼の断層画像を撮影する光干渉断層計（以下、ＯＣＴと称する）においても、本開示の技術は適用可能である。ＯＣＴの場合、撮影光学系は、戻り光と参照光とのスペクトル干渉信号に基づいて眼底のＯＣＴデータを取得するＯＣＴ光学系（図示せず）を含んでいてもよい。或いは、眼科撮影装置における撮影光学系は、正面撮影光学系（例えば、上記実施形態における撮影光学系１０，２０）とＯＣＴ光学系との両方を、撮影光学系は含んでいてもよい。

＜上記実施形態の部分的な実施について＞
本実施形態における＜テンプレート取得処理＞と＜撮影処理＞とは、独立可能であって、必ずしも両者が一体的に実施される必要は無い。例えば、＜撮影処理＞において利用するテンプレートは、必ずしも、比較画像を用いて歪み検出、又は、歪み補正が行われたものである必要は無い。また、＜テンプレート取得処理＞のみが、眼科撮影装置、眼科用画像処理プログラムとして、実施されてもよい。

１ 眼科撮影装置
１b 制御ユニット
１０ 照射光学系
２０ 受光光学系
７０ プロセッサ
８０ 画像処理器

Claims (10)

1. 光源からの光を被検眼の組織上で走査する走査手段と、前記組織からの戻り光を受光する受光素子と、を含む撮影光学系と、
   前記受光素子からの信号に基づいて被検眼の画像を撮影する撮影制御手段と、
   画像処理手段と、を有し、
   前記撮影制御手段は、前記撮影光学系を制御することによって、第１の条件で撮影された被検眼の画像である第１画像を取得すると共に、前記第１画像とは異なる撮影タイミングにおいて、前記第１の条件に対して歪みが少なくなるように設定された第２の条件で、被検眼の画像である、第２画像を撮影 し 、
   前記画像処理手段は、前記第１画像を画像処理のテンプレートとして利用する際に予め、前記第２画像に対する前記第１画像の歪みの検出処理、および、前記歪みの補正処理のうち少なくともいずれかの処理を行う、眼科撮影装置。
2. 前記第１の条件は、前記第１画像として可視光による撮影画像を取得するための条件であり、前記第２の条件は、前記第２画像として赤外光による観察画像を取得するための条件である、請求項１記載の眼科撮影装置。
   
3. 前記撮影制御手段は、前記画像処理手段によって検出される歪みが許容範囲を超えた場合に、前記第１画像を再撮影する請求項１又は２記載の眼科撮影装置。
4. 前記撮影制御手段は、前記画像処理手段によって検出される歪みが許容範囲を超えた場合に、前記第１の条件に対して歪みが少なくなるように設定された第３の条件で撮影された被検眼の画像である、第３画像を取得する、請求項１又は２記載の眼科撮影装置。
   
5. 前記撮影制御手段は、前記画像処理手段によって検出される歪みが許容範囲を超えた場合に、報知手段を介して報知する、請求項１又は２記載の眼科撮影装置。
6. 前記撮影制御手段は、前記観察画像である前記第２画像を取得した後、レリーズ信号に基づいて前記撮影画像である前記第1画像を取得する、連続撮影処理を開始させ、
   前記画像処理手段は、前記連続撮影処理と並行して、前記歪み検出処理を行い、
   前記撮影制御手段は、前記画像処理手段によって検出される歪みが許容範囲を超えた場合に、前記連続撮影処理を中断する請求項１又は２記載の眼科撮影装置。
7. 前記第２の条件は、前記第１の条件に対して、被検眼の撮影範囲に対して光を走査する時間が短い、請求項１から６の何れかに記載の眼科撮影装置。
8. 前記画像処理手段は、前記第１画像と前記第２画像との間における、画像内の複数の対応点又は対応領域の移動量に基づいて、前記検出処理または前記補正処理を行う、請求項１から７のいずれかに記載の眼科撮影装置。
9. 前記撮影制御手段は、前記第１画像を複数枚撮影し、
   前記画像処理手段は、更に、前記複数枚の前記第１画像のうち前記第２画像に対する前記補正処理が行われたいずれかを前記テンプレートとして、残りの第１画像を合成する、請求項１から８のいずれかに記載の眼科撮影装置。
10. コンピュータのプロセッサによって実行されることにより、
    第１の条件にて、走査型の撮影光学系により撮影された被検眼の画像である、第１画像を取得する第１画像取得ステップと、
    前記第１の条件に対して歪みが少なくなるように設定された第２の条件にて、走査型の撮影光学系により撮影された被検眼の画像である、第２画像を取得する第２画像取得ステップと、
    前記第１画像を画像処理のテンプレートとして利用する際に、前記第２画像に対する前記第１画像の歪みの検出処理、および、前記歪みの補正処理のうち少なくともいずれかの処理を行う、テンプレート生成ステップと、を前記コンピュータに実行させる眼科用画像処理プログラム。