JP2017170266A - 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム - Google Patents
情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム Download PDFInfo
- Publication number
- JP2017170266A JP2017170266A JP2017134948A JP2017134948A JP2017170266A JP 2017170266 A JP2017170266 A JP 2017170266A JP 2017134948 A JP2017134948 A JP 2017134948A JP 2017134948 A JP2017134948 A JP 2017134948A JP 2017170266 A JP2017170266 A JP 2017170266A
- Authority
- JP
- Japan
- Prior art keywords
- image
- magnification
- imaging
- acquisition
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
【課題】 高倍率画像の画角よりも広範囲で被検眼により分布の異なる組織、細胞群もしくは病変候補を効率的かつ適切に撮像可能にする技術を提供する。
【解決手段】 所与の撮像領域における、当該撮像領域の画角よりも小さい画角を有する複数の高倍率画像の撮像を制御する情報処理装置は、前記高倍率画像を撮像する複数の位置の分布を示す複数の基本パターンを、操作者に対して選択可能に提示する提示手段と、前記複数の基本パターンの中から選択された基本パターンに予め関連付けられた、複数の前記高倍率画像の撮像に関する撮像条件を、操作者の指示に従い調整する調整手段と、調整された前記撮像条件に従い、前記撮像領域において前記複数の高倍率画像を撮像装置に撮像させる制御手段とを備える。
【選択図】 図３
【解決手段】 所与の撮像領域における、当該撮像領域の画角よりも小さい画角を有する複数の高倍率画像の撮像を制御する情報処理装置は、前記高倍率画像を撮像する複数の位置の分布を示す複数の基本パターンを、操作者に対して選択可能に提示する提示手段と、前記複数の基本パターンの中から選択された基本パターンに予め関連付けられた、複数の前記高倍率画像の撮像に関する撮像条件を、操作者の指示に従い調整する調整手段と、調整された前記撮像条件に従い、前記撮像領域において前記複数の高倍率画像を撮像装置に撮像させる制御手段とを備える。
【選択図】 図３
Description
本発明は、眼科診療に用いられる情報処理装置、情報処理方法、及び、コンピュータプログラムに関する。
生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。共焦点レーザ顕微鏡の原理を利用した眼科装置として走査型レーザ検眼鏡（ＳＬＯ：Scanning Laser Ophthalmoscope）が知られている。走査型レーザ検眼鏡は、測定光であるレーザを眼底に対してラスター走査し、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。以下、このような平面画像を撮像する装置をＳＬＯ装置、撮像した平面画像をＳＬＯ画像と記す。
近年、ＳＬＯ装置において測定光のビーム径を大きくすることにより、従来よりも向上した横分解能を有する網膜のＳＬＯ画像を取得することが可能になってきた。しかし、測定光のビーム径の大径化に伴い、網膜のＳＬＯ画像の取得において、被検眼における収差によるＳＬＯ画像のＳ／Ｎ比及び分解能の低下が問題になっていた。それを解決するために、被検眼における収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯ装置が開発されている。これにより、横分解能が高いＳＬＯ画像の取得が可能になっている。
このような高横分解能なＳＬＯ画像は動画像として取得することができ、この動画像を用いて様々な生体情報を計測することができる。例えば、血流動態を非侵襲に観察するために、各フレームから網膜血管を抽出した上で毛細血管における血球の移動速度などが計測される。また、ＳＬＯ画像を用いて視機能との関連を評価するために、視細胞Ｐを検出した上で視細胞Ｐの密度分布や配列の計測が行われている。
もっとも、補償光学ＳＬＯ装置が撮像可能な１つの高横分解能なＳＬＯ画像の画角は一般に小さいため、撮像対象領域が高横分解能なＳＬＯ画像の画角よりも大きい場合、撮像対象領域において撮像領域をどのように設定するかが問題となる。これについて図７を参照して説明する。図７（ａ）は、被検眼の断面図を模式的に示した図である。図７（ｂ）〜図７（ｇ）は、ＳＬＯ画像ないし撮像対象領域の例を示す図である。
図７（ｂ）は高横分解能なＳＬＯ画像の一例を示す図である。図７（ｂ）では、視細胞Ｐや毛細血管の位置に対応した低輝度領域Ｑ、白血球の位置に対応した高輝度領域Ｗが観察されている。視細胞Ｐを観察したり視細胞Ｐの分布を計測する場合には、フォーカス位置を網膜外層（図７（ａ）のＢ５）付近に設定して図７（ｂ）のようなＳＬＯ画像を撮像する。
一方、網膜内層（図７（ａ）のＢ２からＢ４）には、網膜血管や分岐した毛細血管が走行している。特に、患眼では、撮像対象領域が、ＳＬＯ装置が撮像可能な１つのＳＬＯ画像の画角よりも大きい場合がしばしばある。図７（ｃ）、図７（ｄ）は、撮像対象領域がＳＬＯ画像の画角よりも大きい場合の例を示している。図７（ｃ）は毛細血管病変の好発部位（破線で囲まれた環状領域）の例を示し、図７（ｄ）は広範な視細胞欠損領域（黒色の閉領域）の例を示している。図７（ｃ）、図７（ｄ）のような場合、撮像対象領域の全てを高倍率に取得すると多数のＳＬＯ画像の撮像条件の設定が煩雑であったり、撮像時間が長くなって被験者の負担が増えてしまう問題があった。撮像対象領域には、診療する上で高倍率画像を取得する必要性の高い領域と、必要性の低い領域とが混在しているため、被験者に負担がかからない検査時間で高倍率画像を取得する必要の高い領域が全て撮像できるよう、撮像領域を適切に設定する必要がある。
これに関連して、特許文献１には、複数の高倍率画像を取得するためのパラメータ設定に関する技術として、複数の補償光学ＳＬＯ画像の撮像位置を変えて撮像し、パノラマ画像として表示する構成が記載されている。
しかし、詳細に観察もしくは計測したい細胞群や組織、病変領域が高横分解能な画像（高倍率画像ＤH）がカバーする領域よりも広く分布する場合に、これら細胞群等の領域を効率的に撮像する場合、従来の構成には、以下の課題があった。すなわち、
ｉ）操作者が複数の高倍率画像ＤHjの取得パラメータ（例えば、取得位置、画角、画素サイズ、フレーム数、フレームレート等）の値を個別に指定する必要があり、複数画像取得の効率化の妨げになっていた。
ｉｉ）高倍率画像ＤHよりも広い観察対象領域を同一の高倍率画像取得パラメータで撮像すると、取得する高倍率画像の数（総フレーム数）が膨大（数千〜数万枚）になり効率的な画像取得が難しかった。
ｉ）操作者が複数の高倍率画像ＤHjの取得パラメータ（例えば、取得位置、画角、画素サイズ、フレーム数、フレームレート等）の値を個別に指定する必要があり、複数画像取得の効率化の妨げになっていた。
ｉｉ）高倍率画像ＤHよりも広い観察対象領域を同一の高倍率画像取得パラメータで撮像すると、取得する高倍率画像の数（総フレーム数）が膨大（数千〜数万枚）になり効率的な画像取得が難しかった。
特許文献１の構成も、多数の高倍率画像の取得パラメータを画像ごとに手動で決定しており、操作者は取得パラメータの設定のために繁雑な作業を強いられていた。
本発明は上記の課題に鑑みてなされたものであり、高倍率画像の画角よりも広範囲で被検眼により分布の異なる組織、細胞群もしくは病変候補を効率的かつ適切に撮像可能にする技術を提供することを目的とする。
上記目的を達成するため、本発明による情報処理装置は以下の構成を備える。即ち、
被検眼の撮像領域における、当該撮像領域の画角よりも小さい画角を有する複数の高倍率画像の撮像を制御する情報処理装置であって、
前記高倍率画像を撮像する複数の位置の配置を示す複数の基本パターンを、操作者に対して選択可能に提示する提示手段と、
前記複数の基本パターンの中から選択された基本パターンに予め関連付けられた、複数の前記高倍率画像の撮像に関する撮像条件を、操作者の指示に従い調整する調整手段と、
調整された前記撮像条件に従い、前記撮像領域において前記複数の高倍率画像を撮像装置に撮像させる制御手段と
を備える。
被検眼の撮像領域における、当該撮像領域の画角よりも小さい画角を有する複数の高倍率画像の撮像を制御する情報処理装置であって、
前記高倍率画像を撮像する複数の位置の配置を示す複数の基本パターンを、操作者に対して選択可能に提示する提示手段と、
前記複数の基本パターンの中から選択された基本パターンに予め関連付けられた、複数の前記高倍率画像の撮像に関する撮像条件を、操作者の指示に従い調整する調整手段と、
調整された前記撮像条件に従い、前記撮像領域において前記複数の高倍率画像を撮像装置に撮像させる制御手段と
を備える。
本発明によれば、高倍率画像の画角よりも広範囲で被検眼により分布の異なる組織、細胞群もしくは病変候補を効率的かつ適切に撮像可能にする技術を提供することができる。
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。
＜＜実施形態１＞＞
本実施形態に係る情報処理装置としての眼科装置は、複数の高倍率の補償光学ＳＬＯ画像を取得する場合に、予め用意された複数の高倍率画像取得の撮像条件に係るパラメータの基本パターンを操作者（ユーザ）に提示して、操作者に選択させる。次に、必要に応じ、病変形状に合わせて操作者に画像取得パラメータを調節させ、調節の内容に応じて複数の高倍率画像に関する取得パラメータ値を決定する。以下、黄斑部の広範な視細胞欠損領域に対して複数画像を円板状に取得する基本パターンを操作者が選択し、各高倍率画像の取得位置、画角、画素サイズ、フレーム数、フレームレート、合焦位置を決定する場合を一例として説明する。
本実施形態に係る情報処理装置としての眼科装置は、複数の高倍率の補償光学ＳＬＯ画像を取得する場合に、予め用意された複数の高倍率画像取得の撮像条件に係るパラメータの基本パターンを操作者（ユーザ）に提示して、操作者に選択させる。次に、必要に応じ、病変形状に合わせて操作者に画像取得パラメータを調節させ、調節の内容に応じて複数の高倍率画像に関する取得パラメータ値を決定する。以下、黄斑部の広範な視細胞欠損領域に対して複数画像を円板状に取得する基本パターンを操作者が選択し、各高倍率画像の取得位置、画角、画素サイズ、フレーム数、フレームレート、合焦位置を決定する場合を一例として説明する。
（全体構成）
図１（ａ）は、本実施形態に係る眼科装置１０を含むシステムの構成図である。図１（ａ）に示すように、眼科装置１０は、撮像装置としてのＳＬＯ像撮像装置２０やデータサーバ４０と、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等で構成されるローカル・エリア・ネットワーク（ＬＡＮ）３０を介して接続されている。なお、これらの機器の接続の形態は図１の例に限られない。例えば、これらの機器はインターネット等の外部ネットワークを介して接続されてもよいし、あるいは、眼科装置１０がＳＬＯ像撮像装置２０に直接接続されてもよい。
図１（ａ）は、本実施形態に係る眼科装置１０を含むシステムの構成図である。図１（ａ）に示すように、眼科装置１０は、撮像装置としてのＳＬＯ像撮像装置２０やデータサーバ４０と、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等で構成されるローカル・エリア・ネットワーク（ＬＡＮ）３０を介して接続されている。なお、これらの機器の接続の形態は図１の例に限られない。例えば、これらの機器はインターネット等の外部ネットワークを介して接続されてもよいし、あるいは、眼科装置１０がＳＬＯ像撮像装置２０に直接接続されてもよい。
ＳＬＯ像撮像装置２０は、眼底部の広画角画像ＤLや高倍率画像ＤHを撮像（撮影）する装置である。ＳＬＯ像撮像装置２０は、広画角画像ＤLや高倍率画像ＤH、及びその撮像時に用いた固視標位置ＦL、ＦHの情報を、眼科装置１０及びデータサーバ４０へ送信する。
なお、各倍率の画像を異なる撮像位置で取得する場合には、その取得された画像をＤLi，ＤHjのように表す。すなわち、ｉ，ｊは、撮像位置番号を示す変数であり、ｉ＝１，２，．．．，ｉｍａｘ、ｊ＝１，２，．．．，ｊｍａｘとする。また、高倍率画像を複数の異なる倍率で取得する場合には、倍率の高い画像から順にＤ1j，Ｄ2k，．．．のように表記し、最も倍率の高いＤ1jを高倍率画像、Ｄ2k，．．．を中間倍率画像と表記する。
データサーバ４０は、撮像条件データ、眼部の画像特徴、眼部の画像特徴の分布に関する正常値などを保持する。撮像条件データとして、ＳＬＯ像撮像装置２０が出力する、被検眼の広画角画像ＤL、高倍率画像ＤH、撮像時に用いた固視標位置ＦL、ＦH、眼科装置１０が出力する眼部の画像特徴が、データサーバ４０に保存される。眼部の画像特徴として、本実施形態では、視細胞Ｐや毛細血管Ｑ、血球Ｗ、網膜血管や網膜層境界に関する画像特徴を扱う。また、眼科装置１０からの要求に応じ、データサーバ４０は、広画角画像ＤL、高倍率画像ＤH、眼部の画像特徴及び画像特徴の正常値データを眼科装置１０へ送信する。
（眼科装置）
眼科装置１０は、組込みシステム、パーソナルコンピュータ（ＰＣ）、タブレット端末等の情報処理装置により実現される。図２を用いて眼科装置１０のハードウェア構成について説明する。図２において、ＣＰＵ３０１は中央演算処理装置であり、オペレーティングシステム（ＯＳ）やアプリケーションプログラム等のコンピュータプログラムに基づいて他の構成要素と協働し、眼科装置全体の動作を制御する。ＲＡＭ３０２は書込み可能メモリであり、ＣＰＵ３０１のワークエリア等として機能する。ＲＯＭ３０３は読出し専用メモリであり、基本Ｉ／Ｏプログラム等のプログラム、基本処理に使用するデータ等を記憶する。外部記憶装置３０４は大容量メモリとして機能する装置であり、ハードディスク装置、半導体メモリにより実現される。モニタ３０５は、キーボード３０６やポインティングデバイス３０７から入力されたコマンドや、それに対する眼科装置１０の応答出力等を表示する表示手段としての表示装置である。キーボード３０６、ポインティングデバイス３０７は、操作者からの指示やコマンドの入力を受け付ける装置である。インターフェース３０８は外部装置とのデータのやり取りを中継する装置である。
眼科装置１０は、組込みシステム、パーソナルコンピュータ（ＰＣ）、タブレット端末等の情報処理装置により実現される。図２を用いて眼科装置１０のハードウェア構成について説明する。図２において、ＣＰＵ３０１は中央演算処理装置であり、オペレーティングシステム（ＯＳ）やアプリケーションプログラム等のコンピュータプログラムに基づいて他の構成要素と協働し、眼科装置全体の動作を制御する。ＲＡＭ３０２は書込み可能メモリであり、ＣＰＵ３０１のワークエリア等として機能する。ＲＯＭ３０３は読出し専用メモリであり、基本Ｉ／Ｏプログラム等のプログラム、基本処理に使用するデータ等を記憶する。外部記憶装置３０４は大容量メモリとして機能する装置であり、ハードディスク装置、半導体メモリにより実現される。モニタ３０５は、キーボード３０６やポインティングデバイス３０７から入力されたコマンドや、それに対する眼科装置１０の応答出力等を表示する表示手段としての表示装置である。キーボード３０６、ポインティングデバイス３０７は、操作者からの指示やコマンドの入力を受け付ける装置である。インターフェース３０８は外部装置とのデータのやり取りを中継する装置である。
本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置３０４に記憶されている。これらの制御プログラムやデータは、ＣＰＵ３０１による制御のもと、バス３０９を通じて適宜ＲＡＭ３０２に取り込まれ、ＣＰＵ３０１によって実行され、以下に説明する各部として機能する。
次に、図３を参照して本実施形態に係る眼科装置１０の機能構成を説明する。図３は眼科装置１０の機能構成を示すブロック図である。図３のように、眼科装置１０は、データ取得部１１０、記憶部１２０、画像処理部１３０、指示取得部１４０を有する。
データ取得部１１０は、画像データ、撮像条件データ等のデータを取得する機能ブロックである。データ取得部１１０は、広画角画像を取得する広画角画像取得部１１１と、高倍率画像を取得する高倍率画像取得部１１２を備える。記憶部１２０は、データ取得部１１０が取得したデータや、画像取得パターンセット１２１を保持する機能ブロックである。画像取得パターンセット１２１とは、複数の高倍率画像を取得する際のパラメータに関する基本的な設定パターン（以下、「画像取得パターン」という）の集合である。
画像処理部１３０は、撮像条件の決定、当該撮像条件の設定、撮像した画像の表示等の処理を行う機能ブロックである。画像処理部１３０は、撮像画像の表示制御等を行う表示制御部１３１、撮像条件の決定を行う決定部１３２、及び、撮像条件に基づき撮像領域の位置合わせを行う位置合わせ部１３３を備える。表示制御部１３１は、画像取得パターンをモニタに表示して操作者に提示する画像取得パターン提示部１３１１を備える。決定部１３２は、撮像の倍率を決定する倍率決定部１３２１、撮像位置を決定する位置決定部１３２２、撮像のタイミング等を決定する時間決定部１３２３、撮像の順序を決定する順序決定部１３２４を有する。
（ＳＬＯ像撮像装置）
次に、図４を用いて補償光学系を備えたＳＬＯ像撮像装置２０の構成例を説明する。なお、以下に説明するＳＬＯ像撮像装置の構成は一例であり、高倍率の画像を取得可能であれば、どのような撮像装置を用いても構成することができる。
次に、図４を用いて補償光学系を備えたＳＬＯ像撮像装置２０の構成例を説明する。なお、以下に説明するＳＬＯ像撮像装置の構成は一例であり、高倍率の画像を取得可能であれば、どのような撮像装置を用いても構成することができる。
２０１は光源であり、図４では、ＳＬＤ光源（Super Luminescent Diode）により実現される例を示している。本実施形態では、眼底撮像のための光源と波面測定のための光源とのいずれも光源２０１により実現されるが、それぞれを別光源とし、光路の途中で合波する構成としてもよい。
光源２０１から照射された光は、単一モード光ファイバ２０２を通って、コリメータ２０３により、平行な測定光２０５として照射される。照射された測定光２０５は、ビームスプリッタからなる光分割部２０４を透過し、補償光学の光学系に導光される。
補償光学系は、光分割部２０６、波面センサ２１５、波面補正デバイス２０８および、それらに導光するための反射ミラー２０７−１〜２０７−４を備える。ここで、反射ミラー２０７−１〜２０７−４は、少なくとも眼の瞳と、波面センサ２１５及び波面補正デバイス２０８とが光学的に共役関係になるように設置されている。本実施形態では、光分割部２０６として、ビームスプリッタを用いる。本実施形態では、波面補正デバイス２０８として液晶素子を用いた空間位相変調器を用いる。なお、波面補正デバイスとして可変形状ミラーを用いる構成としてもよい。補償光学系を通過した光は、走査光学系２０９によって、１次元もしくは２次元に走査される。
走査光学系２０９として、本実施形態では主走査用（眼底水平方向）と副走査用（眼底垂直方向）に２つのガルバノスキャナを用いている。もっとも、より高速な撮像のために、走査光学系２０９の主走査側に共振スキャナを用いてもよい。
走査光学系２０９で走査された測定光２０５は、接眼レンズ２１０−１および２１０−２を通して眼球２１１に照射される。眼球２１１に照射された測定光２０５は眼底で反射もしくは散乱される。接眼レンズ２１０−１および２１０−２の位置を調整することによって、眼球２１１の視度にあわせて最適な照射を行うことが可能となる。なお、ここでは接眼部にレンズを用いたが、球面ミラー等で構成してもよい。
眼球２１１の網膜から反射もしくは散乱された反射散乱光（戻り光）は、入射光の経路と同一の経路を逆向きに進行し、光分割部２０６によって一部は波面センサ２１５に反射され、光線の波面を測定するために用いられる。波面センサ２１５は補償光学制御部２１６に接続され、受光した波面を補償光学制御部２１６に伝える。波面補正デバイス２０８も補償光学制御部２１６に接続されており、補償光学制御部２１６から指示された変調を行う。補償光学制御部２１６は、波面センサ２１５により測定された波面を基に、波面補正デバイス２０８に到達する波面を収差のない波面へと補正するような変調量（補正量）を計算し、波面補正デバイス２０８にそのように変調するように指令する。なお、波面の測定と波面補正デバイス２０８への指示は繰り返し処理され、常に最適な波面となるようにフィードバック制御が行われる。
光分割部２０６を透過した反射散乱光は光分割部２０４によって一部が反射され、コリメータ２１２、光ファイバ２１３を通して光強度センサ２１４に導光される。光強度センサ２１４で光は電気信号に変換され、制御部２１７によって眼部画像として画像に構成されて、ディスプレイ２１８に表示される。なお、図４の構成で走査光学系の振り角を大きくし、補償光学制御部２１６が収差補正を行わないよう指示することによって、ＳＬＯ像撮像装置２０は通常のＳＬＯ装置としても動作し、広画角なＳＬＯ画像（広画角画像ＤL）を撮像できる。
（処理手順）
眼科装置１０が実行する具体的な処理内容について、各機能ブロックの役割と関連付けて詳細に説明する。図５は、眼科装置１０が実行する処理手順を示すフローチャートである。以下の各工程は、ＣＰＵ３０１の制御に基づき実行される。
眼科装置１０が実行する具体的な処理内容について、各機能ブロックの役割と関連付けて詳細に説明する。図５は、眼科装置１０が実行する処理手順を示すフローチャートである。以下の各工程は、ＣＰＵ３０１の制御に基づき実行される。
＜ステップＳ５１０＞
広画角画像取得部１１１は、ＳＬＯ像撮像装置２０に対して、広画角画像ＤLおよび固視標位置ＦLの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置ＦLを設定して広画角画像ＤLを取得する場合の例を説明する。なお、撮像位置の設定手法はこれに限定されず、他の任意の位置に設定してよい。
広画角画像取得部１１１は、ＳＬＯ像撮像装置２０に対して、広画角画像ＤLおよび固視標位置ＦLの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置ＦLを設定して広画角画像ＤLを取得する場合の例を説明する。なお、撮像位置の設定手法はこれに限定されず、他の任意の位置に設定してよい。
ＳＬＯ像撮像装置２０は、広画角画像取得部１１１からの取得要求に応じて広画角画像ＤL、固視標位置ＦLを取得し、広画角画像取得部１１１へ送信する。広画角画像取得部１１１は、ＳＬＯ像撮像装置２０からＬＡＮ３０を介して当該広画角画像ＤL及び固視標位置ＦLを受信する。広画角画像取得部１１１は受信した広画角画像ＤL及び固視標位置ＦLを記憶部１２０に格納する。なお、本実施形態例では、広画角画像ＤLは、フレーム間位置合わせ済みの動画像である。
＜ステップＳ５２０＞
画像取得パターン提示部１３１１は、記憶部１２０から画像取得パターン（複数の高倍率画像を取得する際のパラメータに関する基本的な設定パターン）を少なくとも一種類取得し、モニタ３０５に選択可能に表示する。画像取得パターンとしては任意のパターンを提示可能であるが、本実施形態例では、図６（ａ）〜図６（ｆ）に示すような基本パターンを提示する場合を説明する。図６（ａ）は線状、図６（ｂ）は十字型、図６（ｃ）は放射状、図６（ｄ）は矩形型、図６（ｅ）は円板型、図６（ｆ）は環状のパターンの例を示している。
画像取得パターン提示部１３１１は、記憶部１２０から画像取得パターン（複数の高倍率画像を取得する際のパラメータに関する基本的な設定パターン）を少なくとも一種類取得し、モニタ３０５に選択可能に表示する。画像取得パターンとしては任意のパターンを提示可能であるが、本実施形態例では、図６（ａ）〜図６（ｆ）に示すような基本パターンを提示する場合を説明する。図６（ａ）は線状、図６（ｂ）は十字型、図６（ｃ）は放射状、図６（ｄ）は矩形型、図６（ｅ）は円板型、図６（ｆ）は環状のパターンの例を示している。
次に、指示取得部１４０は、操作者が所望とする画像取得パターンの選択に係る指示を外部から取得する。この指示は、例えばキーボード３０６やポインティングデバイス３０７を介して操作者により入力される。あるいは、モニタ３０５にタッチパネル液晶を備える場合にはタッチパネルを介して入力してもよい。本実施形態例では観察対象が図７（ｄ）に示すような円板状の視細胞欠損領域であるので、図６（ｅ）に示すような円板型の画像取得パターンを選択する。
なお、画像取得パターンは図６（ａ）〜図６（ｆ）に示したような、一種類の倍率の高倍率画像のみから構成されるものだけでなく、複数の倍率の画像を組み合わせたものを画像取得パターンとして提示することができる。例えば、図６（ｇ）に示すように、高倍率画像Ｄ1jだけでなく、中間倍率画像Ｄ2kも取得パターンに含めて定義してよい。以下、このような、高倍率画像だけでなく中間倍率画像も含む取得パターンを「多倍率型の画像取得パターン」という。このような画像取得パターンは、取得画像数を少なくしたい場合や、広画角画像ＤLとの位置合わせをより正確に行いたい場合に適している。なお、多倍率型の画像取得パターンにおいて各倍率の高倍率画像ないし中間倍率画像がそれぞれ形成する画像取得パターンの形状は、倍率毎に異なっていてもよいし、同一でもよい。例えば、より倍率の低い中間倍率画像Ｄ2kを矩形型で、高倍率画像Ｄ1jを円板型で取得してもよい。異なる倍率間で画像取得パターンが異なる場合には、本ステップにおいて各倍率における画像取得パターンの種類の情報も取得する。なお、図６（ｇ）は高倍率画像Ｄ1jが形成する画像取得パターンの形状と、中間倍率画像Ｄ2kが形成する画像取得パターンの形状とがいずれも十字型で同一の場合を示している。
また、図６（ｈ）に示すように基本パターンの位置を変えて複数配置したもの（以下、「多配置型の画像取得パターン」という）を提示してもよい。図６（ｈ）は、矩形型の画像取得パターンを複数配置したものを示している。病変が複数ある場合や、観察対象の形態や動態を部位ごとに比較する場合などに適している。なお、多配置型の画像取得パターンには、基本パターン同士の合焦位置を変えて画像取得する場合も含まれる。さらに、図６（ｉ）に示すように基本パターン同士の組み合わせによって定義される画像取得パターン（以下、「複合型の画像取得パターン」という）を提示してもよい。複合型の画像取得パターンは、異なる目的の画像を一度の検査で効率的に取得する場合に適している。例えば、図６（ｉ）は、同図の黒点で示される中心窩（無血管領域の重心位置）の無血管領域（図６（ｉ）の白線閉領域）の形状を計測する場合（矩形型）と、中心窩からの一定距離ごとに視細胞密度を計測する場合（十字型）の双方に適する。
＜ステップＳ５３０＞
決定部１３２において、Ｓ５２０において選択された画像取得パターンが持つ複数画像の取得パラメータを初期値とし、操作者が必要に応じて画像取得パラメータを調節することにより複数の高倍率画像の取得パラメータを決定して画像取得を行う。この本ステップの処理（以下、「高倍率画像取得処理」という）については、図８に示すフローチャートを用いて後に詳しく説明する。
決定部１３２において、Ｓ５２０において選択された画像取得パターンが持つ複数画像の取得パラメータを初期値とし、操作者が必要に応じて画像取得パラメータを調節することにより複数の高倍率画像の取得パラメータを決定して画像取得を行う。この本ステップの処理（以下、「高倍率画像取得処理」という）については、図８に示すフローチャートを用いて後に詳しく説明する。
＜ステップＳ５４０＞
位置合わせ部１３３は、広画角画像ＤLと高倍率画像ＤHとの位置合わせを行い、広画角画像ＤL上の高倍率画像ＤHの相対位置を求める。この位置合わせとは、広画角画像ＤL及び高倍率画像ＤHの位置関係を自動的に判定してＤLの対応する位置にＤHの位置を設定することをいう。なお、広画角画像ＤLは撮像領域の全体を示す高倍率画像よりも低倍率の画像であり、予め与えられた所与の画像である。高倍率画像ＤHj間で重なり領域がある場合には、まず、重なり領域に関して画像間類似度を算出し、最も画像間類似度が最大となる位置に高倍率画像ＤHj同士の位置を合わせる。次に、Ｓ５３０において異なる解像度の高倍率画像が取得されている場合には、より低倍率の画像から順に位置合わせを行う。例えば、高倍率画像ＤHとして高倍率画像Ｄ1jと中間倍率画像Ｄ2kが取得されている場合にはまず広画角画像ＤLと中間倍率画像Ｄ2kとの間で位置合わせを行い、次いで中間倍率画像Ｄ2kと高倍率画像Ｄ1jとの間で位置合わせを行う。高倍率画像の解像度が１種類の場合には、広画角画像ＤLと高倍率画像ＤHとの位置合わせのみ行うことはいうまでもない。
位置合わせ部１３３は、広画角画像ＤLと高倍率画像ＤHとの位置合わせを行い、広画角画像ＤL上の高倍率画像ＤHの相対位置を求める。この位置合わせとは、広画角画像ＤL及び高倍率画像ＤHの位置関係を自動的に判定してＤLの対応する位置にＤHの位置を設定することをいう。なお、広画角画像ＤLは撮像領域の全体を示す高倍率画像よりも低倍率の画像であり、予め与えられた所与の画像である。高倍率画像ＤHj間で重なり領域がある場合には、まず、重なり領域に関して画像間類似度を算出し、最も画像間類似度が最大となる位置に高倍率画像ＤHj同士の位置を合わせる。次に、Ｓ５３０において異なる解像度の高倍率画像が取得されている場合には、より低倍率の画像から順に位置合わせを行う。例えば、高倍率画像ＤHとして高倍率画像Ｄ1jと中間倍率画像Ｄ2kが取得されている場合にはまず広画角画像ＤLと中間倍率画像Ｄ2kとの間で位置合わせを行い、次いで中間倍率画像Ｄ2kと高倍率画像Ｄ1jとの間で位置合わせを行う。高倍率画像の解像度が１種類の場合には、広画角画像ＤLと高倍率画像ＤHとの位置合わせのみ行うことはいうまでもない。
なお、位置合わせ部１３３は、記憶部１２０から高倍率画像ＤHの撮像時に用いた固視標位置ＦHを取得し、広画角画像ＤLと高倍率画像ＤHとの位置合わせにおける位置合わせパラメータの探索初期点として設定する。また、画像間類似度や座標変換手法としては任意の公知の手法を用いることができ、本実施形態では画像間類似度として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いて位置合わせを行う。
＜ステップＳ５５０＞
表示制御部１３１は、Ｓ５４０において得られた位置合わせパラメータの値に基づき、広画角画像ＤL上に高倍率画像ＤHを表示する。本ステップの処理（以下、「画像表示処理」という）については、図９に示すフローチャートを用いて後に詳しく説明する。
表示制御部１３１は、Ｓ５４０において得られた位置合わせパラメータの値に基づき、広画角画像ＤL上に高倍率画像ＤHを表示する。本ステップの処理（以下、「画像表示処理」という）については、図９に示すフローチャートを用いて後に詳しく説明する。
＜ステップＳ５６０＞
指示取得部１４０は、広画角画像ＤL、高倍率画像ＤH、固視標位置ＦL、ＦH、Ｓ５４０において取得された位置合わせパラメータ値をデータサーバ４０へ保存するか否かの指示を外部から取得する。この指示は、例えばキーボード３０６やポインティングデバイス３０７を介して操作者により入力される。保存が指示された場合（Ｓ５６０でＹＥＳ）はＳ５７０へ、保存が指示されなかった場合はＳ５８０（Ｓ５６０でＮＯ）へと処理を進める。
指示取得部１４０は、広画角画像ＤL、高倍率画像ＤH、固視標位置ＦL、ＦH、Ｓ５４０において取得された位置合わせパラメータ値をデータサーバ４０へ保存するか否かの指示を外部から取得する。この指示は、例えばキーボード３０６やポインティングデバイス３０７を介して操作者により入力される。保存が指示された場合（Ｓ５６０でＹＥＳ）はＳ５７０へ、保存が指示されなかった場合はＳ５８０（Ｓ５６０でＮＯ）へと処理を進める。
＜ステップＳ５７０＞
画像処理部１３０は、検査日時、披検眼を同定する情報、広画角画像ＤL、高倍率画像ＤHと固視標位置ＦL、ＦH、位置合わせパラメータ値を関連付けて、データサーバ４０へ送信する。
画像処理部１３０は、検査日時、披検眼を同定する情報、広画角画像ＤL、高倍率画像ＤHと固視標位置ＦL、ＦH、位置合わせパラメータ値を関連付けて、データサーバ４０へ送信する。
＜ステップＳ５８０＞
指示取得部１４０は眼科装置１０による広画角画像ＤLと高倍率画像ＤHに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード３０６やポインティングデバイス３０７を介して操作者により入力される。処理終了の指示を取得した場合（Ｓ５８０でＹＥＳ）は処理を終了する。一方、処理継続の指示を取得した場合（Ｓ５８０でＮＯ）にはＳ５１０に処理を戻し、次の披検眼に対する処理または同一披検眼に対する再処理を行う。
指示取得部１４０は眼科装置１０による広画角画像ＤLと高倍率画像ＤHに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード３０６やポインティングデバイス３０７を介して操作者により入力される。処理終了の指示を取得した場合（Ｓ５８０でＹＥＳ）は処理を終了する。一方、処理継続の指示を取得した場合（Ｓ５８０でＮＯ）にはＳ５１０に処理を戻し、次の披検眼に対する処理または同一披検眼に対する再処理を行う。
（高倍率画像取得処理）
次に、図８に示すフローチャートを参照しながら、Ｓ５３０で実行される高倍率画像取得処理の詳細について説明する。
次に、図８に示すフローチャートを参照しながら、Ｓ５３０で実行される高倍率画像取得処理の詳細について説明する。
＜ステップＳ８１０＞
決定部１３２は、指示取得部１４０を通じて選択された画像取得パターンの種類と、このパターンが持つ各高倍率画像ＤHの取得パラメータ値を、記憶部１２０から取得する。具体的には、選択された画像取得パターンが保持する各高倍率画像の取得パラメータのうち、以下のパラメータ値を各々初期値として入力する。すなわち、倍率数及び各画角及び画素サイズの値を倍率決定部１３２１に、取得位置及び合焦位置を位置決定部１３２２に、フレーム数とフレームレート、繰返し取得回数を時間決定部１３２３に、取得順序を順序決定部１３２４に各々初期値として入力する。
決定部１３２は、指示取得部１４０を通じて選択された画像取得パターンの種類と、このパターンが持つ各高倍率画像ＤHの取得パラメータ値を、記憶部１２０から取得する。具体的には、選択された画像取得パターンが保持する各高倍率画像の取得パラメータのうち、以下のパラメータ値を各々初期値として入力する。すなわち、倍率数及び各画角及び画素サイズの値を倍率決定部１３２１に、取得位置及び合焦位置を位置決定部１３２２に、フレーム数とフレームレート、繰返し取得回数を時間決定部１３２３に、取得順序を順序決定部１３２４に各々初期値として入力する。
＜ステップＳ８２０＞
決定部１３２は、選択された画像取得パターンを構成する各高倍率画像ＤHjの取得パラメータの設定値に関する制約条件を指示取得部１４０を通じて取得する。制約条件とは撮像条件が取り得る範囲を定める条件である。制約条件は、任意の画像取得パラメータに関して操作者が指示・設定可能である。本実施形態例では、以下の４つの制約条件を設定可能な場合を説明する。
ａ）画像取得時間の総和
ｂ）倍率の種類（倍率数、画角及び画素サイズ）
ｃ）合焦位置
ｄ）隣接する高倍率画像間の重複領域
ここで、
ａ）は一検査あたりで被検眼が耐えうる許容時間、
ｂ）は撮像位置において得られると予想される画像特徴の大きさ、
ｃ）は観察対象が存在する深度（ｚ軸）方向の位置、
ｄ）は許容し得る被検眼の固視ずれ量
に関する制約条件である。本実施形態では各々
ａ）１５分
ｂ）１及び３００［μｍ］×３００［μｍ］及び
１［μｍ/ｐｉｘｅｌ］×１［μｍ/ｐｉｘｅｌ］
ｃ）視細胞層
ｄ）高倍率画像面積の２０％
とした場合の例を説明する。
決定部１３２は、選択された画像取得パターンを構成する各高倍率画像ＤHjの取得パラメータの設定値に関する制約条件を指示取得部１４０を通じて取得する。制約条件とは撮像条件が取り得る範囲を定める条件である。制約条件は、任意の画像取得パラメータに関して操作者が指示・設定可能である。本実施形態例では、以下の４つの制約条件を設定可能な場合を説明する。
ａ）画像取得時間の総和
ｂ）倍率の種類（倍率数、画角及び画素サイズ）
ｃ）合焦位置
ｄ）隣接する高倍率画像間の重複領域
ここで、
ａ）は一検査あたりで被検眼が耐えうる許容時間、
ｂ）は撮像位置において得られると予想される画像特徴の大きさ、
ｃ）は観察対象が存在する深度（ｚ軸）方向の位置、
ｄ）は許容し得る被検眼の固視ずれ量
に関する制約条件である。本実施形態では各々
ａ）１５分
ｂ）１及び３００［μｍ］×３００［μｍ］及び
１［μｍ/ｐｉｘｅｌ］×１［μｍ/ｐｉｘｅｌ］
ｃ）視細胞層
ｄ）高倍率画像面積の２０％
とした場合の例を説明する。
＜ステップＳ８３０＞
倍率決定部１３２１で高倍率画像ＤHの倍率の種類（倍率数、画角及び画素サイズ）を決定する。また、位置決定部１３２２にて各高倍率画像ＤHjの取得位置と合焦位置を決定する。
倍率決定部１３２１で高倍率画像ＤHの倍率の種類（倍率数、画角及び画素サイズ）を決定する。また、位置決定部１３２２にて各高倍率画像ＤHjの取得位置と合焦位置を決定する。
本実施形態ではＳ８２０で取得された制約条件のため画角及び画素サイズ、合焦位置は固定値であるが、各高倍率画像ＤHjの取得位置は可変パラメータである。そこで、操作者が、まず画像取得パターンをする点（代表点）の眼底における位置を指定する。本実施形態では代表点は、図６（ｅ）の中心点Ｃであり、被検眼の中心窩に設定される。次に、操作者が画像取得パターン全体のサイズを拡大または縮小させることで、隣接する高倍率画像間の重なり領域サイズを維持したまま高倍率画像の取得位置数が増加または減少し、各高倍率画像ＤHjの取得位置が決定される。本実施形態では、画像取得パターンの端部に位置する（ある一つの）高倍率画像の位置を操作者が円板の外側へ移動させることで画像取得パターン全体のサイズが拡大され、図７（ｇ）の白線矩形領域で示すような高倍率画像ＤHjの取得位置が決定される。
なお、代表点は画像取得パターンの中心点に限定されるものではない。例えば、画像取得パターンを構成する特定の高倍率画像の位置でもよい。また、図６（ｇ）に示すような多倍率型の画像取得パターンの場合には全ての倍率の画像取得パターンのサイズをまとめて拡大もしくは縮小させてもよいし、あるいは、倍率ごとに画像取得パターンのサイズを変更してもよい。
図６（ｈ）に示す多配置型の画像取得パターンの場合も、全ての配置の画像取得パターンサイズもしくは配置間隔をまとめて変更させてもよい。また、基本パターンの配置ごとに画像取得パターンのサイズもしくは配置間隔が異なっていてもよい。さらに、図６（ｉ）に示すような複合型の画像取得パターンの場合も、全ての種類のパターンのサイズをまとめて変更してもよいし、画像取得パターンの種類ごとに画像取得パターンのサイズを変更してもよい。
＜ステップＳ８４０＞
時間決定部１３２３は、各高倍率画像のフレーム数、フレームレート及び繰り返し取得回数を決定する。本実施形態の例では、フレームレート及び繰り返し取得回数は、それぞれ３２［ｆｒａｍｅ／ｓｅｃ］、１回の固定値であり、フレーム数を可変パラメータとする。可変パラメータ値の変更手法としては、任意の公知のユーザインターフェース（以下、「ＵＩ」と略記する）を用いて指定できる。本実施形態例では、図６（ｊ）に示すようなパラメータ値（重み）変更用ＵＩを操作者が操作することによって効率的に変更する。これは各高倍率画像ＤHjのフレーム数に関する半径方向の重みを調整するためのＵＩである。図６（ｊ）では、Ｗｃが配置された円板型の画像取得パターン（図７（ｇ））の中心側、Ｗｏが外側の重みを表している。外側の重みＷｏを下げることで、各高倍率画像ＤHjのフレーム数が、パターン中心から外側に向かって段階的に少なくなるように自動決定される。
時間決定部１３２３は、各高倍率画像のフレーム数、フレームレート及び繰り返し取得回数を決定する。本実施形態の例では、フレームレート及び繰り返し取得回数は、それぞれ３２［ｆｒａｍｅ／ｓｅｃ］、１回の固定値であり、フレーム数を可変パラメータとする。可変パラメータ値の変更手法としては、任意の公知のユーザインターフェース（以下、「ＵＩ」と略記する）を用いて指定できる。本実施形態例では、図６（ｊ）に示すようなパラメータ値（重み）変更用ＵＩを操作者が操作することによって効率的に変更する。これは各高倍率画像ＤHjのフレーム数に関する半径方向の重みを調整するためのＵＩである。図６（ｊ）では、Ｗｃが配置された円板型の画像取得パターン（図７（ｇ））の中心側、Ｗｏが外側の重みを表している。外側の重みＷｏを下げることで、各高倍率画像ＤHjのフレーム数が、パターン中心から外側に向かって段階的に少なくなるように自動決定される。
また、図６（ｇ）のような多倍率パターンの場合には、図６（ｋ）に示すようなパラメータ値（もしくは重み）調整用ＵＩを用いることができる。パラメータ値の調整は以下のｉ）〜ｉｖ）の手順で行われる。
ｉ）可変パラメータリストＶの中から調整対象の可変パラメータを選択する。
ｉｉ）パラメータ値の調整を行う対象倍率及び対象画像を調整用マップから選択する。
ｉｉｉ）選択した倍率における複数画像間のパラメータ値変更（重みづけ）法Ｒを選択する。
ｉｖ）選択した画像に対するパラメータ値（重み）をパラメータ値変更用ＵＩ（Ｂ）上で決定する。
なお、ｉ）では選択された可変パラメータの種類ごとに図６（ｋ）の調整用マップが表示される。ｉｉ）について、図６（ｋ）では、対象倍率をＤ1とし、中心部のＤ1画像Ｄ1cを調整対象画像として選択した場合を示している。
ｉｉｉ）について、図６（ｋ）では、画像間でのパラメータ値設定（重みづけ）法Ｒとして、
・同一倍率の複数の画像間で同一の値に設定する場合（ｕｎｉｆｏｒｍ）
・段階的に変化させる場合（ｇｒａｄｕａｌ）
・指定した個別の画像についてパラメータ値を変更する場合（ｉｎｄｉｖｉｄｕａｌ）
の中から選択する場合を例示している。図６（ｋ）の例では段階的に変化させる場合（ｇｒａｄｕａｌ）が選択されている。
ｉｖ）について、図６（ｋ）では、カラーバーＢ上で最大値（白）を指定することで、選択された対象画像Ｄ1cと同じ倍率の画像のパラメータ値が、選択された画像Ｄ1cに向かって段階的に増加するように自動変更される場合を示している。
ｉ）可変パラメータリストＶの中から調整対象の可変パラメータを選択する。
ｉｉ）パラメータ値の調整を行う対象倍率及び対象画像を調整用マップから選択する。
ｉｉｉ）選択した倍率における複数画像間のパラメータ値変更（重みづけ）法Ｒを選択する。
ｉｖ）選択した画像に対するパラメータ値（重み）をパラメータ値変更用ＵＩ（Ｂ）上で決定する。
なお、ｉ）では選択された可変パラメータの種類ごとに図６（ｋ）の調整用マップが表示される。ｉｉ）について、図６（ｋ）では、対象倍率をＤ1とし、中心部のＤ1画像Ｄ1cを調整対象画像として選択した場合を示している。
ｉｉｉ）について、図６（ｋ）では、画像間でのパラメータ値設定（重みづけ）法Ｒとして、
・同一倍率の複数の画像間で同一の値に設定する場合（ｕｎｉｆｏｒｍ）
・段階的に変化させる場合（ｇｒａｄｕａｌ）
・指定した個別の画像についてパラメータ値を変更する場合（ｉｎｄｉｖｉｄｕａｌ）
の中から選択する場合を例示している。図６（ｋ）の例では段階的に変化させる場合（ｇｒａｄｕａｌ）が選択されている。
ｉｖ）について、図６（ｋ）では、カラーバーＢ上で最大値（白）を指定することで、選択された対象画像Ｄ1cと同じ倍率の画像のパラメータ値が、選択された画像Ｄ1cに向かって段階的に増加するように自動変更される場合を示している。
なお、図６（ｋ）ではパラメータ値変更用ＵＩをカラーバーＢとし、パラメータ値をグレースケールで表現しているが、本発明はこれに限定されるものではない。例えば、パラメータ値変更用ＵＩはスライダーでもよいし、（数値の）リストボックスでもよい。また、パラメータ値は数値（パラメータ値そのもの、あるいは重み）で表示してもよいし、カラーで表示してもよい。あるいは、パラメータ値を数値及びグレースケール（色）の双方を用いて表示してもよい。
また、図６（ｈ）のような多配置パターンの場合には、図６（ｌ）に示すように各パターン内での重み（例えば図６（ｌ）のＷｍ１ｄｈｉ）と、パターン間での重み（Ｗｍ１及びＷｍ２）の双方を調整する。さらに、図６（ｍ）のような複合型の画像取得パターンの場合には、各々のパターンにおけるパラメータ値（ＷａｉやＷｃｉ）の設定と、両パターンで共通する画像におけるパラメータ値（Ｗｂｉ）とを行う。調整手順は図６（ｋ）の多倍率型の画像取得パターンの場合とほぼ同様である。すなわち、前述のｉｉｉ）の手順が、選択した倍率ではなく、選択したパターンもしくは共通領域における複数画像間でのパラメータ値変更（重みづけ）法Ｒを選択する、という手順に置きかわるだけである。
＜ステップＳ８５０＞
順序決定部１３２４は、高倍率画像ＤHjの取得順序を決定する。本実施形態では、以下のｉ）〜ｉｖ）のうち、ｉ）が最内側（最高優先度）、ｉｉ）が２番目に内側、ｉｉｉ）が３番目に内側、ｉｖ）が最外側（最低優先度）のループとなるようにして繰り返し処理を行う。具体的には、取得開始位置を最も観察上重要度の高い位置（本実施形態では中心窩）、取得倍率を最低倍率に設定したうえで以下の手順を実行する。
ｉ）同一配置パターンかつ同一取得倍率かつ同一画像取得位置における画像を繰り返し取得回数分だけ取得する。
ｉｉ）同一配置パターンかつ同一取得倍率における画像を、隣接する画像取得位置へ移動させた上で再びｉ）と同様にして取得する。
ｉｉｉ）ｉｉ）が終了したら、取得倍率の値をより大きくして再びｉｉ）の操作を実行し、倍率数分だけ同様の操作を繰り返す。
ｉｖ）ｉｉｉ）が終了したら、別配置でｉｉｉ）の操作を実行し、全ての配置で画像を取得するまで繰り返す。
順序決定部１３２４は、高倍率画像ＤHjの取得順序を決定する。本実施形態では、以下のｉ）〜ｉｖ）のうち、ｉ）が最内側（最高優先度）、ｉｉ）が２番目に内側、ｉｉｉ）が３番目に内側、ｉｖ）が最外側（最低優先度）のループとなるようにして繰り返し処理を行う。具体的には、取得開始位置を最も観察上重要度の高い位置（本実施形態では中心窩）、取得倍率を最低倍率に設定したうえで以下の手順を実行する。
ｉ）同一配置パターンかつ同一取得倍率かつ同一画像取得位置における画像を繰り返し取得回数分だけ取得する。
ｉｉ）同一配置パターンかつ同一取得倍率における画像を、隣接する画像取得位置へ移動させた上で再びｉ）と同様にして取得する。
ｉｉｉ）ｉｉ）が終了したら、取得倍率の値をより大きくして再びｉｉ）の操作を実行し、倍率数分だけ同様の操作を繰り返す。
ｉｖ）ｉｉｉ）が終了したら、別配置でｉｉｉ）の操作を実行し、全ての配置で画像を取得するまで繰り返す。
なお、本実施形態例では、ｉ）の繰り返し取得はなく（取得回数は１回のみ）であり、また、画像取得パターンが図６（ｈ）のような多配置型ではないので、ｉｖ）の処理は省略される。また、ｉｉ）の隣接画像への移動方向については任意の方向へ移動させてよいが、本実施形態では、中心窩に近いほど視機能への影響が強く観察上の重要度が高いため、中心窩から渦状に移動させる。
Ｓ８３０〜Ｓ８５０の処理により、操作者は、高倍率画像の撮像条件を示す画像取得パラメータを容易に変更することが可能である。
＜ステップＳ８６０＞
高倍率画像取得部１１２は、決定部１３２によって指示された画像取得パラメータを用いて複数の高倍率画像ＤHj及び固視標位置ＦHjを取得するよう、ＳＬＯ像撮像装置２０に対して要求する。ＳＬＯ像撮像装置２０は、この取得要求に応じて高倍率画像ＤHj、固視標位置ＦHjを取得し送信するので、高倍率画像取得部１１２はＳＬＯ像撮像装置２０からＬＡＮ３０を介して当該高倍率画像ＤHj及び固視標位置ＦHjを受信する。高倍率画像取得部１１２は受信した高倍率画像ＤHj及び固視標位置ＦHjを記憶部１２０に格納する。なお、本実施形態では、高倍率画像ＤHjは、フレーム間位置合わせ済みの動画像である。
高倍率画像取得部１１２は、決定部１３２によって指示された画像取得パラメータを用いて複数の高倍率画像ＤHj及び固視標位置ＦHjを取得するよう、ＳＬＯ像撮像装置２０に対して要求する。ＳＬＯ像撮像装置２０は、この取得要求に応じて高倍率画像ＤHj、固視標位置ＦHjを取得し送信するので、高倍率画像取得部１１２はＳＬＯ像撮像装置２０からＬＡＮ３０を介して当該高倍率画像ＤHj及び固視標位置ＦHjを受信する。高倍率画像取得部１１２は受信した高倍率画像ＤHj及び固視標位置ＦHjを記憶部１２０に格納する。なお、本実施形態では、高倍率画像ＤHjは、フレーム間位置合わせ済みの動画像である。
（画像表示処理）
次に、図９に示すフローチャートを参照しながら、Ｓ５５０で実行される画像表示処理の詳細について説明する。
次に、図９に示すフローチャートを参照しながら、Ｓ５５０で実行される画像表示処理の詳細について説明する。
＜ステップＳ９１０＞
広画角画像取得部１１１及び高倍率画像取得部１１２が取得した各動画像から、代表画像を生成する。本実施形態では、各動画像に関する重ね合わせ画像を生成し、この重ねあわせ画像を代表画像とする。また、代表画像の生成法はこれに限らず、例えば、動画像のフレーム間位置合わせの際に設定された基準フレームを代表画像に設定してもよい。基準フレームの設定法としては任意の公知の設定法を用いることができ、例えば、先頭番号のフレームを基準フレームに設定することができる。
広画角画像取得部１１１及び高倍率画像取得部１１２が取得した各動画像から、代表画像を生成する。本実施形態では、各動画像に関する重ね合わせ画像を生成し、この重ねあわせ画像を代表画像とする。また、代表画像の生成法はこれに限らず、例えば、動画像のフレーム間位置合わせの際に設定された基準フレームを代表画像に設定してもよい。基準フレームの設定法としては任意の公知の設定法を用いることができ、例えば、先頭番号のフレームを基準フレームに設定することができる。
＜ステップＳ９２０＞
表示制御部１３１は、複数の高倍率画像ＤHjが取得されている場合に高倍率画像間の濃度差を補正する。この濃度差の補正には任意の公知の輝度補正法を適用することができる。一例として、本実施形態では、各高倍率画像ＤHjにおいてヒストグラムＨｊを生成し、ヒストグラムＨｊの平均と分散が高倍率画像ＤHj間で共通した値になるように各高倍率画像ＤHjの輝度値を線形変換することにより濃度差を補正する。
表示制御部１３１は、複数の高倍率画像ＤHjが取得されている場合に高倍率画像間の濃度差を補正する。この濃度差の補正には任意の公知の輝度補正法を適用することができる。一例として、本実施形態では、各高倍率画像ＤHjにおいてヒストグラムＨｊを生成し、ヒストグラムＨｊの平均と分散が高倍率画像ＤHj間で共通した値になるように各高倍率画像ＤHjの輝度値を線形変換することにより濃度差を補正する。
＜ステップＳ９３０＞
表示制御部１３１は、高倍率画像ＤHを動画像として広画角画像ＤL上に表示させる場合に、高倍率画像ＤHの再生速度を設定する。再生速度は、画像表示エリア内に再生速度調整スライダや、コマ送りボタンを配置しておき、指示取得部１４０を通じて操作者が指定することにより調整する。
表示制御部１３１は、高倍率画像ＤHを動画像として広画角画像ＤL上に表示させる場合に、高倍率画像ＤHの再生速度を設定する。再生速度は、画像表示エリア内に再生速度調整スライダや、コマ送りボタンを配置しておき、指示取得部１４０を通じて操作者が指定することにより調整する。
なお、本実施形態例ではＳ９１０で生成された静止画像（重ね合わせ画像）を貼り合わせて表示するため、本処理は省略される。
＜ステップＳ９４０＞
表示制御部１３１は、各高倍率画像ＤHjの表示／非表示や表示倍率を制御する。画像の表示／非表示は、モニタ３０５に取得画像に関するリストを表示させておき、この取得画像リストの画像名付近にＵＩ（本実施形態ではチェックボックス）を配置し、指示取得部１４０を通じてＵＩのＯＮ／ＯＦＦを操作者が指定することにより設定する。全画像を一括指定するＵＩ（チェックボックス）や、取得倍率別の一括指定ＵＩ（チェックボックス）も用意し、多数の画像に関する表示／非表示の切り替えを容易にする。
表示制御部１３１は、各高倍率画像ＤHjの表示／非表示や表示倍率を制御する。画像の表示／非表示は、モニタ３０５に取得画像に関するリストを表示させておき、この取得画像リストの画像名付近にＵＩ（本実施形態ではチェックボックス）を配置し、指示取得部１４０を通じてＵＩのＯＮ／ＯＦＦを操作者が指定することにより設定する。全画像を一括指定するＵＩ（チェックボックス）や、取得倍率別の一括指定ＵＩ（チェックボックス）も用意し、多数の画像に関する表示／非表示の切り替えを容易にする。
本ステップでは、画像の表示／非表示だけでなく、隣接する高倍率画像ＤHj同士に重なり領域がある場合や、同じ固視標位置で複数回撮像している場合の重なり順の設定も行う。動画像の重なり順の設定法に関しては、手動設定も含め任意の設定法を用いることができる。本実施形態では、画像の画質指標や固視ずれ量を算出しておき、画質指標値と固視ずれ量の線形和を評価関数として最も評価値が高い画像を最前レイヤに設定して表示する。ここで、画質指標値は任意の公知の指標を用いることができ、本実施形態では画像ヒストグラムの平均輝度値を用いる。また、固視ずれ量としては隣接フレーム間の並進移動距離の絶対値を全フレームに渡って加算した値を用いる。なお、固視ずれを評価可能な指標であれば任意の指標を用いてよい。表示倍率については、指示取得部１４０を通じて操作者が指定した高倍率画像を拡大してモニタ３０５に表示する。
なお、前述の例では広画角画像ＤLが単一の広画角ＳＬＯ画像である場合を取り上げたが、本発明はこれに限定されない。例えば、異なる取得位置の広画角画像ＤLｉ同士を位置合わせして得られる合成画像を広画角画像ＤLとしてもよい。
以上のように、本実施形態に係る眼科装置１０は複数の高倍率画像取得パラメータ（撮像条件）に関する基本パターンの中から操作者が選択し、病変形状に合わせてこのパラメータ値を調節し、当該調節されたパラメータ値に基づき高倍率画像を取得する。すなわち、眼科装置１０は、高倍率画像を撮像する複数の位置の分布を示す複数の基本パターンを、操作者に対して選択可能に提示する。操作者の選択に応じて、複数の基本パターンの中から選択された基本パターンに予め関連付けられた、高倍率画像の撮像に関する撮像条件を、操作者の指示に従い調整する。さらに、当該調整された撮像条件に従い、撮像領域において複数の高倍率画像を撮像装置に撮像させる。このため、本実施形態によれば、所与の撮像領域において当該撮像領域の画角よりも小さい画角を有する複数の高倍率画像を取得するための適切な撮像条件を簡易に設定することができる。したがって、高倍率画像よりも広範囲で被検眼により分布の異なる組織、細胞群もしくは病変候補を効率的に撮像することが可能となる。
また、本実施形態では、選択された基本パターンの代表点の撮像領域における位置と、操作者により指示された制約条件と、撮像条件の変更量と、の少なくともいずれかに基づいて、撮像条件を調整する。このため、撮像対象に合わせて適切な撮像条件を容易に設定することが可能となる。例えば、細胞群や組織、病変の形状や濃度に個人差があり、詳細に観察ないし計測すべき領域は被験眼によって異なる。本実施形態の構成によれば、被験眼ごとに観察対象の細胞群、組織、病変の領域を特定した上で、この領域の形状や濃度に応じて複数の高倍率画像ＤHjの取得パラメータを自動設定することができる。
なお、本実施形態では、撮像条件として、広画角画像での高倍率画像を撮像する位置、撮像順序、同一の位置で撮像する画像数、高倍率画像の画角及び画素サイズ、撮像のフレーム数、フレームレート、及び合焦位置を例示したが、これに限られない。
＜＜実施形態２＞＞
本実施形態に係る眼科装置は、複数の高倍率の補償光学ＳＬＯ画像を取得する場合に、高倍率画像よりも画角の広い画像から抽出された画像特徴に基づいて複数の高倍率画像取得に関するパラメータ値を決定するよう構成したものである。具体的には、傍中心窩の毛細血管領域に対して複数の高倍率動画像Ｄ1jを円環状に取得する場合に、この画像特徴に基づいて各高倍率画像Ｄ1jの取得位置、画角、画素サイズ、フレーム数、フレームレート、繰り返し取得回数を決定する。さらに、取得された高倍率画像に固視ずれや瞬目のような例外フレームが含まれているか判定した上で、判定結果に基づき高倍率画像の再取得が必要と判定した場合には同じ画像取得パラメータ値で高倍率画像を再取得する。
本実施形態に係る眼科装置は、複数の高倍率の補償光学ＳＬＯ画像を取得する場合に、高倍率画像よりも画角の広い画像から抽出された画像特徴に基づいて複数の高倍率画像取得に関するパラメータ値を決定するよう構成したものである。具体的には、傍中心窩の毛細血管領域に対して複数の高倍率動画像Ｄ1jを円環状に取得する場合に、この画像特徴に基づいて各高倍率画像Ｄ1jの取得位置、画角、画素サイズ、フレーム数、フレームレート、繰り返し取得回数を決定する。さらに、取得された高倍率画像に固視ずれや瞬目のような例外フレームが含まれているか判定した上で、判定結果に基づき高倍率画像の再取得が必要と判定した場合には同じ画像取得パラメータ値で高倍率画像を再取得する。
（全体構成）
本実施形態に係る眼科装置１０と接続される機器の構成を図１（ｂ）に示す。本実施形態では眼科装置１０に対し、ＳＬＯ像撮像装置２０及びデータサーバ４０に加えて、時相データ取得装置５０が接続される点が実施形態１の構成と異なっている。時相データ取得装置５０は、自律的かつ周期的に変化する生体信号データ（「時相データ」という）を取得する装置であり、例えば、脈波計もしくは心電計からなる。時相データ取得装置５０は不図示の操作者による操作に応じ、高倍率画像ＤHjの取得と同時に時相データＳｊを取得する。得られた時相データＳｊは、眼科装置１０、データサーバ４０へ送信される。本実施形態では、被験者から計測される時相データが示す周期的タイミングに同期して、高倍率画像を取得し、モニタ３０５に表示させる。このため、生体の変化に合わせて適切なタイミングで高倍率画像を取得したり、再生することが可能となる。
本実施形態に係る眼科装置１０と接続される機器の構成を図１（ｂ）に示す。本実施形態では眼科装置１０に対し、ＳＬＯ像撮像装置２０及びデータサーバ４０に加えて、時相データ取得装置５０が接続される点が実施形態１の構成と異なっている。時相データ取得装置５０は、自律的かつ周期的に変化する生体信号データ（「時相データ」という）を取得する装置であり、例えば、脈波計もしくは心電計からなる。時相データ取得装置５０は不図示の操作者による操作に応じ、高倍率画像ＤHjの取得と同時に時相データＳｊを取得する。得られた時相データＳｊは、眼科装置１０、データサーバ４０へ送信される。本実施形態では、被験者から計測される時相データが示す周期的タイミングに同期して、高倍率画像を取得し、モニタ３０５に表示させる。このため、生体の変化に合わせて適切なタイミングで高倍率画像を取得したり、再生することが可能となる。
また、データサーバ４０は、被検眼の広画角画像ＤL、高倍率画像ＤH、及びその取得時に用いた固視標位置ＦL、ＦHのような取得条件データ以外に、時相データＳｊ、眼部の画像特徴や眼部の画像特徴の分布に関する正常値も保持する。眼部の画像特徴として、本実施形態では網膜血管、毛細血管Ｑ、血球Ｗを保持するが、これに限られない。時相データ取得装置５０が出力する時相データＳｊや眼科装置１０が出力する眼部の画像特徴はデータサーバ４０に保存される。また、眼科装置１０からの要求に応じて時相データＳｊ、眼部の画像特徴や眼部の画像特徴の分布に関する正常値データが眼科装置１０に送信される。
（眼科装置）
次に、本実施形態に係る眼科装置１０の機能ブロックを図１０に示す。本実施形態の眼科装置１０は、実施形態１の構成に加えて、データ取得部１１０に時相データ取得部１１３、画像処理部１３０に画像特徴取得部１３４、決定部１３２に再取得要否決定部１３２５、位置合わせ部１３３に例外フレーム判定部１３３１を備える。時相データ取得部１１３は、被験者の時相データを取得する機能ブロックである。画像特徴取得部１３４は、広画角画像を解析してその特徴を示す情報を取得する機能ブロックである。再取得要否決定部１３２５は、高倍率画像の取得を再度行うか否かを判定する機能ブロックである。例外フレーム判定部１３３１は、固視不良による位置ずれの大きいフレーム等の検眼に適さないフレームを「例外フレーム」として検出する機能ブロックである。「例外フレーム」が検出された場合、高倍率画像の再取得が行われる。
次に、本実施形態に係る眼科装置１０の機能ブロックを図１０に示す。本実施形態の眼科装置１０は、実施形態１の構成に加えて、データ取得部１１０に時相データ取得部１１３、画像処理部１３０に画像特徴取得部１３４、決定部１３２に再取得要否決定部１３２５、位置合わせ部１３３に例外フレーム判定部１３３１を備える。時相データ取得部１１３は、被験者の時相データを取得する機能ブロックである。画像特徴取得部１３４は、広画角画像を解析してその特徴を示す情報を取得する機能ブロックである。再取得要否決定部１３２５は、高倍率画像の取得を再度行うか否かを判定する機能ブロックである。例外フレーム判定部１３３１は、固視不良による位置ずれの大きいフレーム等の検眼に適さないフレームを「例外フレーム」として検出する機能ブロックである。「例外フレーム」が検出された場合、高倍率画像の再取得が行われる。
（処理手順）
また、本実施形態での画像処理フローは図５と同様であり、Ｓ５１０、Ｓ５６０、Ｓ５７０、Ｓ５８０の処理は実施形態１の場合と同様である。また、Ｓ５４０のステップは省略される。そこで、本実施形態では、Ｓ５２０、Ｓ５３０、Ｓ５５０の処理について説明する。
また、本実施形態での画像処理フローは図５と同様であり、Ｓ５１０、Ｓ５６０、Ｓ５７０、Ｓ５８０の処理は実施形態１の場合と同様である。また、Ｓ５４０のステップは省略される。そこで、本実施形態では、Ｓ５２０、Ｓ５３０、Ｓ５５０の処理について説明する。
＜ステップＳ５２０＞
画像取得パターン提示部１３１１は、記憶部１２０から複数の高倍率画像を取得する際の画像取得パターンを少なくとも一種類取得し、モニタ３０５に表示する。本実施形態では画像取得パターン提示部１３１１が線状、十字型、放射状、矩形型、円板型、環状、多倍率型、多配置型、複合型の基本パターンを提示する。
画像取得パターン提示部１３１１は、記憶部１２０から複数の高倍率画像を取得する際の画像取得パターンを少なくとも一種類取得し、モニタ３０５に表示する。本実施形態では画像取得パターン提示部１３１１が線状、十字型、放射状、矩形型、円板型、環状、多倍率型、多配置型、複合型の基本パターンを提示する。
次に、指示取得部１４０は、どの画像取得パターンを選択するかの指示を外部から取得する。本実施形態では観察対象が図７（ｃ）に示すような環状の傍中心窩毛細血管領域である場合を一例として説明する。この場合、この環状領域の内側境界を無血管領域に基づいて決定する必要があるため、操作者が多倍率型の画像取得パターンを選択する。ここで、多倍率型の画像取得パターンは、Ｄ1jが環状、Ｄ2kが矩形型である。
なお、本実施形態において画像取得パターン選択処理は必須の処理ではなく、はじめから高倍率画像取得対象領域を環状領域、中間倍率画像取得対象領域を矩形領域として、本ステップの処理を省略してもよい。
＜ステップＳ５３０＞
決定部１３２は、高倍率画像取得部１１２に対して中間倍率画像Ｄ2kの取得要求を行い、高倍率画像取得部１１２が中間倍率画像Ｄ2kを取得する。次に、画像特徴取得部１３４が広画角画像ＤL及び中間倍率画像Ｄ2k上の画像特徴を取得し、この画像特徴に基づいて複数の高倍率画像の取得パラメータを決定し、高倍率画像Ｄ1jを取得する。また、取得された高倍率画像Ｄ1jについてフレーム間位置合わせと例外フレーム判定を行い、例外フレームの判定結果に基づき再撮像が必要と判定された場合には同じ高倍率画像Ｄ1jを再度撮像する。さらに、中間倍率画像Ｄ2kと高倍率画像Ｄ1jを広画角画像ＤL上に位置合わせする。本ステップの処理（高倍率画像取得処理）については、図１１に示すフローチャートを用いて後に詳しく説明する。
決定部１３２は、高倍率画像取得部１１２に対して中間倍率画像Ｄ2kの取得要求を行い、高倍率画像取得部１１２が中間倍率画像Ｄ2kを取得する。次に、画像特徴取得部１３４が広画角画像ＤL及び中間倍率画像Ｄ2k上の画像特徴を取得し、この画像特徴に基づいて複数の高倍率画像の取得パラメータを決定し、高倍率画像Ｄ1jを取得する。また、取得された高倍率画像Ｄ1jについてフレーム間位置合わせと例外フレーム判定を行い、例外フレームの判定結果に基づき再撮像が必要と判定された場合には同じ高倍率画像Ｄ1jを再度撮像する。さらに、中間倍率画像Ｄ2kと高倍率画像Ｄ1jを広画角画像ＤL上に位置合わせする。本ステップの処理（高倍率画像取得処理）については、図１１に示すフローチャートを用いて後に詳しく説明する。
＜ステップＳ５５０＞
表示制御部１３１は、Ｓ１２７０（後述）において得られた位置合わせパラメータ値に基づき、図７（ｅ）に示すように広画角画像ＤL上に高倍率画像ＤHを重畳して表示する。また、本実施形態では上記重畳画像の隣に、傍中心窩の毛細血管の分布をより詳細に観察可能な画像として図７（ｆ）のような毛細血管画像の貼り合わせ表示も行う。このように、本実施形態では、撮像された複数の高倍率画像を、撮像領域の全体を示す画像に重畳してモニタ３０５に表示させる表示制御を行うため、広画角画像の必要な部分のみ精密な画像を観察することが可能となる。本ステップの処理（画像表示処理）については、図９に示すフローチャートを用いて後に詳しく説明する。
表示制御部１３１は、Ｓ１２７０（後述）において得られた位置合わせパラメータ値に基づき、図７（ｅ）に示すように広画角画像ＤL上に高倍率画像ＤHを重畳して表示する。また、本実施形態では上記重畳画像の隣に、傍中心窩の毛細血管の分布をより詳細に観察可能な画像として図７（ｆ）のような毛細血管画像の貼り合わせ表示も行う。このように、本実施形態では、撮像された複数の高倍率画像を、撮像領域の全体を示す画像に重畳してモニタ３０５に表示させる表示制御を行うため、広画角画像の必要な部分のみ精密な画像を観察することが可能となる。本ステップの処理（画像表示処理）については、図９に示すフローチャートを用いて後に詳しく説明する。
（高倍率画像取得処理）
次に、図１１に示すフローチャートを参照しながら、Ｓ５３０で実行される処理の詳細について説明する。
次に、図１１に示すフローチャートを参照しながら、Ｓ５３０で実行される処理の詳細について説明する。
＜ステップＳ１２１０＞
決定部１３２は、Ｓ５２０で選択されたＤ2kの画像取得パターンに基づいて中間倍率画像Ｄ2kを取得する。
決定部１３２は、Ｓ５２０で選択されたＤ2kの画像取得パターンに基づいて中間倍率画像Ｄ2kを取得する。
本実施形態では、図１２（ａ）のＤ2kのような矩形型の画像取得パターンが設定されており、当該画像取得パターンの中心点Ｃが中心窩付近となるように固視標を提示する。また、画角や画素サイズ、フレーム数、フレームレートの値として各々６００［μｍ］×６００［μｍ］、画素サイズが２［μｍ／ｐｉｘｅｌ］×２［μｍ／ｐｉｘｅｌ］、２５６枚、６４［ｆｒａｍｅ/ｓｅｃ］が設定されている。隣接する中間率画像間の重なり領域は中間倍率画像面積に対して１０％とする。高倍率画像の取得順序は、本実施形態例では、画像取得パターンの中心にある中間倍率画像Ｄ25を第一取得位置として右隣りへ移動後、反時計回りに隣接画像間を移動させる順序とする。位置合わせ部１３３は、取得された中間倍率画像Ｄ2kのフレーム間位置合わせを行い、中間倍率画像Ｄ2kの広画角画像ＤL上への位置合わせ（画像貼り合わせ）を行う。なお、位置合わせに用いる座標変換法及び類似度評価関数は実施形態１と同様であるので詳細な説明は省略する。
＜ステップＳ１２２０＞
画像特徴取得部１３４は、広画角画像ＤLもしくはＳ１２１０で取得された中間倍率画像Ｄ2kから毛細血管を検出し、検出された毛細血管領域から無血管領域の境界を検出する。さらに、無血管領域の近傍領域を高倍率画像の取得対象領域とするために無血管領域の境界位置から等距離にある環状（ドーナツ型）の領域を検出する。
画像特徴取得部１３４は、広画角画像ＤLもしくはＳ１２１０で取得された中間倍率画像Ｄ2kから毛細血管を検出し、検出された毛細血管領域から無血管領域の境界を検出する。さらに、無血管領域の近傍領域を高倍率画像の取得対象領域とするために無血管領域の境界位置から等距離にある環状（ドーナツ型）の領域を検出する。
本実施形態では、まず以下の手順で、中間倍率画像Ｄ2kから血球成分の移動範囲として毛細血管を特定する。
（ａ） フレーム間位置合わせ済みの中間倍率画像Ｄ2kの隣接フレーム間で差分処理を行う。すなわち、差分動画像を生成する。
（ｂ） （ａ）で生成した差分動画像の各ｘ−ｙ位置においてフレーム方向に関する輝度統計量（例えば、分散）を算出する。
（ｃ） 差分動画像の各ｘ−ｙ位置において輝度分散が所定の閾値Ｔｖ以上の領域を血球が移動した領域、すなわち毛細血管領域として特定する。
なお、毛細血管の検出処理はこの手法に限定されるものではなく、任意の公知の手法を用いてよい。例えば、広画角画像ＤLもしくは中間倍率画像Ｄ2kの特定のフレームに対し線状構造を強調するフィルタを適用して血管を検出してもよい。
（ａ） フレーム間位置合わせ済みの中間倍率画像Ｄ2kの隣接フレーム間で差分処理を行う。すなわち、差分動画像を生成する。
（ｂ） （ａ）で生成した差分動画像の各ｘ−ｙ位置においてフレーム方向に関する輝度統計量（例えば、分散）を算出する。
（ｃ） 差分動画像の各ｘ−ｙ位置において輝度分散が所定の閾値Ｔｖ以上の領域を血球が移動した領域、すなわち毛細血管領域として特定する。
なお、毛細血管の検出処理はこの手法に限定されるものではなく、任意の公知の手法を用いてよい。例えば、広画角画像ＤLもしくは中間倍率画像Ｄ2kの特定のフレームに対し線状構造を強調するフィルタを適用して血管を検出してもよい。
次に、画像特徴取得部１３４は得られた毛細血管領域から無血管領域の境界を検出する。網膜の中心窩付近には、図７（ｃ）の内側破線領域の内部のように、網膜血管の存在しない領域（「無血管領域」という）が存在する。無血管領域の境界の形状は個人差が大きく、網膜血管の初期病変は無血管領域境界周囲に生じやすい。したがって、無血管領域境界は観察及び解析の対象として重要である。
本実施形態では、画像取得パターンにおける高倍率画像Ｄ1jの画像中心を接続する円（図１２（ａ）破線部）より小さい半径Ｔｒを持つ可変形状モデル（同図実線部）をＳ１２１０で広画角画像上に位置合わせされた中間倍率画像Ｄ2kの貼り合わせ画像上に配置する。本実施形態では、このモデルの中心が図１２（ａ）の中間倍率画像Ｄ25の中心Ｃと一致するように配置する。中間倍率画像Ｄ2kの貼り合わせ画像上の画像特徴に合わせて変形が完了した可変形状モデルの位置（図１２（ｂ）のＢｉ）を無血管領域境界とし、この無血管領域境界の重心位置Ｃ'を決定する。さらに、無血管領域境界に対してユークリッド距離変換を行うことで得られる距離画像（境界からの距離値を画素値に持つ画像）を用いて無血管領域境界から外側に所定の閾値Ｔｏ及びＴｏ／２の距離にある位置（図１２（ｂ）のＢｏ及びＢｍ）を決定する。閾値Ｔｏとしては任意の値が設定できるが、一般的に健常者で１５０［μｍ］程度に設定されることが多いため、本実施形態でもこの値を用いる。特定された内側境界Ｂｉ及び外側境界Ｂｏの２つを用いて環状（ドーナツ型）の高倍率撮像対象領域が決定され、破線部Ｂｍは高倍率画像Ｄ1jの取得位置（画像中心）の候補となる。
なお、本実施形態では無血管領域境界からの距離（環状領域の太さ）を閾値Ｔｏで固定したが、本発明はこれに限定されるものではない。例えば、糖尿病網膜症のような傍中心窩の網膜毛細血管に病変が生じる疾患では、疾患が進行するに従って毛細血管が閉塞し、無血管領域が大きくなる。また、無血管領域が大きくなると、無血管領域周辺のより広範囲に血管病変が生じている可能性がある。そこで、閾値Ｔｏに対して無血管領域の面積に比例する値を乗じた値を無血管領域境界からの距離として設定してもよい。なお、この場合には、Ｓ１２３０において画角を可変パラメータとし、無血管領域境界からの距離、すなわち、環状領域の太さと比べて十分大きな値になるように決定する。
＜ステップＳ１２３０＞
倍率決定部１３２１で高倍率画像Ｄ1jの倍率数、画角及び画素サイズを決定する。また、位置決定部１３２２にて各高倍率画像Ｄ1jの取得位置と合焦位置を決定する。本実施形態では、倍率数と画角と画素サイズ、合焦位置を固定パラメータ（各々２、２００［μｍ］×２００［μｍ］、１［μｍ／ｐｉｘｅｌ］×１［μｍ／ｐｉｘｅｌ］、網膜血管）とし、高倍率画像Ｄ1j取得位置を可変パラメータとして次のように決定する。
倍率決定部１３２１で高倍率画像Ｄ1jの倍率数、画角及び画素サイズを決定する。また、位置決定部１３２２にて各高倍率画像Ｄ1jの取得位置と合焦位置を決定する。本実施形態では、倍率数と画角と画素サイズ、合焦位置を固定パラメータ（各々２、２００［μｍ］×２００［μｍ］、１［μｍ／ｐｉｘｅｌ］×１［μｍ／ｐｉｘｅｌ］、網膜血管）とし、高倍率画像Ｄ1j取得位置を可変パラメータとして次のように決定する。
まず、Ｓ１２２０で決定した境界Ｂｍ上を等間隔Ｔｄにサンプリングして得られる点（図１２（ｂ）のＢｍｓ）を高倍率画像Ｄ1jの取得位置の候補とし、特定の候補点Ｂｍ０から高倍率画像Ｄ1jの取得位置を順に決定する。
本実施形態では
間隔Ｔｄ＝高倍率画像Ｄ1jの画角×（１００−高倍率画像Ｄ1j間の重なり領域の割合の標準値）／１００・・・（１）
とし、無血管領域の重心位置の真上にある候補点をＢｍ０とする。高倍率画像Ｄ1jの詳細な取得位置は、次のａ）、ｂ）の条件をともに満たすように決定する。すなわち、
ａ）Ｓ１２２０で決定した環状領域の半径方向（無血管領域の重心位置Ｃ´と取得位置候補点Ｂｍｓを結ぶ線方向）に関して、環状領域に空白が生じない条件下で環状領域外にはみ出す高倍率画像Ｄ1jの画素の総和が最小となること。
ｂ）境界位置Ｂｍの接線方向に関して、以下に説明する高倍率画像間の重なり領域の割合に一致すること。
ここで、高倍率画像Ｄ1j間の重なり領域の割合［％］は、Ｓ１２２０で特定された無血管領域境界の円形度Ｃｒ
Ｃｒ＝４πＳ/（Ｌ＊Ｌ）・・・（２）
（Ｓは無血管領域の面積、Ｌは周囲長）
を用いて、標準の設定値（本実施形態では、一例として２０％とする）に対して円形度Ｃｒに反比例する値を乗じた値を高倍率画像Ｄ1j間の重なり領域の割合として設定する。したがって、円形度が低い、すなわち凹凸が大きいほど高倍率画像Ｄ1j間の重なり領域の割合が大きな値として設定される。
本実施形態では
間隔Ｔｄ＝高倍率画像Ｄ1jの画角×（１００−高倍率画像Ｄ1j間の重なり領域の割合の標準値）／１００・・・（１）
とし、無血管領域の重心位置の真上にある候補点をＢｍ０とする。高倍率画像Ｄ1jの詳細な取得位置は、次のａ）、ｂ）の条件をともに満たすように決定する。すなわち、
ａ）Ｓ１２２０で決定した環状領域の半径方向（無血管領域の重心位置Ｃ´と取得位置候補点Ｂｍｓを結ぶ線方向）に関して、環状領域に空白が生じない条件下で環状領域外にはみ出す高倍率画像Ｄ1jの画素の総和が最小となること。
ｂ）境界位置Ｂｍの接線方向に関して、以下に説明する高倍率画像間の重なり領域の割合に一致すること。
ここで、高倍率画像Ｄ1j間の重なり領域の割合［％］は、Ｓ１２２０で特定された無血管領域境界の円形度Ｃｒ
Ｃｒ＝４πＳ/（Ｌ＊Ｌ）・・・（２）
（Ｓは無血管領域の面積、Ｌは周囲長）
を用いて、標準の設定値（本実施形態では、一例として２０％とする）に対して円形度Ｃｒに反比例する値を乗じた値を高倍率画像Ｄ1j間の重なり領域の割合として設定する。したがって、円形度が低い、すなわち凹凸が大きいほど高倍率画像Ｄ1j間の重なり領域の割合が大きな値として設定される。
また、高倍率画像間の重なり領域の決定法はこれに限らず、任意の公知の手法を用いてよい。例えば、無血管領域境界の重心Ｃ'と取得位置候補点Ｂｍｓを結ぶ線と無血管領域との交点Ｂｉｓから無血管領域境界に沿って隣接する高倍率画像の方向に一定距離の範囲で曲率の絶対値を算出し、得られた曲率の絶対値の平均値Ｃｈを算出する。高倍率画像間の重なり領域の割合に関する標準の設定値に対して平均曲率値Ｃｈに比例する値を乗じて重みづけする。ただし、平均曲率値Ｃｈが０の場合は、重みづけせずに標準の設定値をそのまま用いる。このような設定法を用いると、無血管領域境界の曲率の絶対値が大きい位置の近傍について高倍率画像間の重なり領域の割合を大きく設定できる。
＜ステップＳ１２４０＞
時間決定部１３２３は、高倍率画像Ｄ1jのフレーム数とフレームレート、繰り返し取得回数を決定する。本実施形態の例では、フレーム数とフレームレート、同一の取得位置における繰り返し取得回数は、各々２５６枚、６４［ｆｒａｍｅ/ｓｅｃ］、２回とする。ただし、本発明はこれに限定されるものではなく、また、任意の設定法を用いてよい。例えば、Ｓ１２２０及びＳ１２３０の処理で決定された各高倍率画像Ｄ1j内の毛細血管領域に対して細線化処理を行い、得られた血管の中心軸に直交する方向で血管径を算出する。そして、この血管径が異常値を示す領域が存在する場合のみ、高倍率画像Ｄ1jのフレーム数や繰り返し取得回数を各々閾値Ｔｆ及びＴｃだけ増やすようにしてもよい。
時間決定部１３２３は、高倍率画像Ｄ1jのフレーム数とフレームレート、繰り返し取得回数を決定する。本実施形態の例では、フレーム数とフレームレート、同一の取得位置における繰り返し取得回数は、各々２５６枚、６４［ｆｒａｍｅ/ｓｅｃ］、２回とする。ただし、本発明はこれに限定されるものではなく、また、任意の設定法を用いてよい。例えば、Ｓ１２２０及びＳ１２３０の処理で決定された各高倍率画像Ｄ1j内の毛細血管領域に対して細線化処理を行い、得られた血管の中心軸に直交する方向で血管径を算出する。そして、この血管径が異常値を示す領域が存在する場合のみ、高倍率画像Ｄ1jのフレーム数や繰り返し取得回数を各々閾値Ｔｆ及びＴｃだけ増やすようにしてもよい。
＜ステップＳ１２５０＞
順序決定部１３２４は、高倍率画像ＤHjの取得順序を決定する。実施形態１におけるＳ８５０の場合と同様に、以下のｉ）〜ｉｉｉ）のうち、ｉ）が最内側（最高優先度）、ｉｉ）が２番目に内側、ｉｉｉ）が最外側（最低優先度）のループとなるようにして繰り返し処理を行う。すなわち、取得開始位置を耳側、取得倍率を最低倍率に設定したうえで、以下の手順を実行する。
ｉ） 同一取得倍率かつ同一画像取得位置における画像を繰り返し取得回数分だけ取得する。
ｉｉ） 同一取得倍率における画像を、隣接する画像取得位置（本実施形態では反時計周りとする）から、ｉ）と同様にして取得する。
ｉｉｉ）ｉｉ）が終了したら、取得倍率の値をより大きくして再びｉｉ）の操作を実行し、倍率数分だけ同様の操作を繰り返す。
なお、高倍率画像の順序決定法は上記の手順に限定されるものではなく、任意の順序設定法を用いてよい。
順序決定部１３２４は、高倍率画像ＤHjの取得順序を決定する。実施形態１におけるＳ８５０の場合と同様に、以下のｉ）〜ｉｉｉ）のうち、ｉ）が最内側（最高優先度）、ｉｉ）が２番目に内側、ｉｉｉ）が最外側（最低優先度）のループとなるようにして繰り返し処理を行う。すなわち、取得開始位置を耳側、取得倍率を最低倍率に設定したうえで、以下の手順を実行する。
ｉ） 同一取得倍率かつ同一画像取得位置における画像を繰り返し取得回数分だけ取得する。
ｉｉ） 同一取得倍率における画像を、隣接する画像取得位置（本実施形態では反時計周りとする）から、ｉ）と同様にして取得する。
ｉｉｉ）ｉｉ）が終了したら、取得倍率の値をより大きくして再びｉｉ）の操作を実行し、倍率数分だけ同様の操作を繰り返す。
なお、高倍率画像の順序決定法は上記の手順に限定されるものではなく、任意の順序設定法を用いてよい。
＜ステップＳ１２６０＞
高倍率画像取得部１１２は、Ｓ１２１０からＳ１２５０で決定された高倍率画像取得パラメータに従って、高倍率画像及び時相データを取得する。時相データ取得部１１３は時相データ取得装置５０に対し生体信号に関する時相データＳｊの取得を要求する。本実施形態では時相データ取得装置として脈波計を用い、被験者の耳垂（耳たぶ）から脈波データＳｊを取得する。ここで脈波データＳｊは一方の軸に取得時刻、他方の軸に脈波計が計測した脈波信号値を持つ周期的な点列として表現される。時相データ取得装置５０はこの取得要求に応じて対応する時相データＳｊを取得し送信するので、時相データ取得部１１３は時相データ取得装置５０からＬＡＮ３０を介して当該脈波データＳｊを受信する。時相データ取得部１１３は受信した時相データＳｊを記憶部１２０に格納する。
高倍率画像取得部１１２は、Ｓ１２１０からＳ１２５０で決定された高倍率画像取得パラメータに従って、高倍率画像及び時相データを取得する。時相データ取得部１１３は時相データ取得装置５０に対し生体信号に関する時相データＳｊの取得を要求する。本実施形態では時相データ取得装置として脈波計を用い、被験者の耳垂（耳たぶ）から脈波データＳｊを取得する。ここで脈波データＳｊは一方の軸に取得時刻、他方の軸に脈波計が計測した脈波信号値を持つ周期的な点列として表現される。時相データ取得装置５０はこの取得要求に応じて対応する時相データＳｊを取得し送信するので、時相データ取得部１１３は時相データ取得装置５０からＬＡＮ３０を介して当該脈波データＳｊを受信する。時相データ取得部１１３は受信した時相データＳｊを記憶部１２０に格納する。
データ取得部１１０はＳＬＯ像撮像装置２０に対して広画角画像ＤLと、異なる固視標位置Ｆｊで撮像された複数の高倍率画像ＤHj、固視標位置Ｆｊデータの取得を要求する。ここで、時相データ取得装置５０が取得する時相データＳｊのある位相に合わせてデータ取得部１１０が高倍率画像ＤHjを取得開始する場合と、高倍率画像ＤHjの取得要求後直ちに脈波データＳｊと高倍率画像ＤHjの取得を同時に開始する場合とが考えうる。本実施形態では高倍率画像ＤHjの取得要求後、直ちに時相データＳｊと高倍率画像ＤHjの取得を開始する。
＜ステップＳ１２７０＞
位置合わせ部１３３は、取得された高倍率画像Ｄ1jに関するフレーム間位置合わせを行い、高倍率画像Ｄ1jを広画角画像ＤL上に位置合わせしてモニタ３０５上に表示する。なお、本実施形態では各高倍率動画像Ｄ1jのフレーム間位置合わせの際に、以下に述べる例外フレームに該当するか否かを判定する例外フレーム判定を行う。各動画像におけるフレーム間位置合わせ手法や、異なる倍率の画像間の位置合わせ（画像貼り合わせ）手法としては任意の公知の位置合わせ手法を用いてよく、本実施形態では双方ともアフィン変換及び相関係数を用いて位置合わせを行う。
位置合わせ部１３３は、取得された高倍率画像Ｄ1jに関するフレーム間位置合わせを行い、高倍率画像Ｄ1jを広画角画像ＤL上に位置合わせしてモニタ３０５上に表示する。なお、本実施形態では各高倍率動画像Ｄ1jのフレーム間位置合わせの際に、以下に述べる例外フレームに該当するか否かを判定する例外フレーム判定を行う。各動画像におけるフレーム間位置合わせ手法や、異なる倍率の画像間の位置合わせ（画像貼り合わせ）手法としては任意の公知の位置合わせ手法を用いてよく、本実施形態では双方ともアフィン変換及び相関係数を用いて位置合わせを行う。
ここで、例外フレームとは、図１２（ｃ）のように高倍率動画像ＤHの各フレームにおいて固視不良による位置ずれの大きいフレームＥｓや瞬目による低輝度フレームＥｂ、収差補正不良による低画質フレーム（不図示）をいう。例外フレームは、輝度異常の程度、歪みの大きさ、信号に対する雑音の大きさ、基準フレームに対する変位量等が一定値以上か否かに基づき判定しうる。具体的には、
ａ）フレーム間の位置合わせパラメータ値のうち並進が閾値以上の場合
ｂ）各フレームの平均輝度値が閾値未満の場合
ｃ）各フレームのＳ／Ｎ比が閾値未満の場合
に例外フレームと判定する。例外フレーム判定の結果、各高倍率動画像Ｄ1jにおける例外フレームの発生間隔の最大値が閾値Ｔｅ以下の場合や、例外フレームの総数が閾値Ｔｓ以上の場合に、再取得要否決定部１３２５が当該高倍率画像Ｄ1jの再取得が必要と判定する。再取得要否決定部１３２５は、当該高倍率画像Ｄ1jの再取得が必要と判定した場合に高倍率画像取得部１１２に対して高倍率画像Ｄ1jの再取得を要求し、高倍率画像取得部１１２がこの要求に従って当該高倍率画像Ｄ1jを再取得する。
ａ）フレーム間の位置合わせパラメータ値のうち並進が閾値以上の場合
ｂ）各フレームの平均輝度値が閾値未満の場合
ｃ）各フレームのＳ／Ｎ比が閾値未満の場合
に例外フレームと判定する。例外フレーム判定の結果、各高倍率動画像Ｄ1jにおける例外フレームの発生間隔の最大値が閾値Ｔｅ以下の場合や、例外フレームの総数が閾値Ｔｓ以上の場合に、再取得要否決定部１３２５が当該高倍率画像Ｄ1jの再取得が必要と判定する。再取得要否決定部１３２５は、当該高倍率画像Ｄ1jの再取得が必要と判定した場合に高倍率画像取得部１１２に対して高倍率画像Ｄ1jの再取得を要求し、高倍率画像取得部１１２がこの要求に従って当該高倍率画像Ｄ1jを再取得する。
なお、フレーム間位置合わせ及び例外フレーム判定、再取得要否判定、再取得は、全ての高倍率画像を取得した後に実行する必要は必ずしもなく、例えば、各々の高倍率画像取得後直ちに実行して再取得が必要と判定され次第、直ちに再取得してもよい。あるいは、Ｓ１２１０の中間倍率画像Ｄ2kのフレーム間位置合わせの際に例外フレーム判定及び再取得要否判定を実行して再取得が必要と判定され次第、中間倍率画像Ｄ2kの再取得を行ってもよい。さらに、例外フレーム判定はＳＬＯ動画像のフレーム間位置合わせ処理時に限定されるものではなく、例えば前眼部カメラを眼科装置１０に接続しておき、前眼部カメラの画像処理、例えば、低輝度フレーム検出、瞳位置検出等を用いて判定してもよい。
（画像表示処理）
次に、図９に示すフローチャートを参照しながら、Ｓ５５０で実行される処理の詳細について説明する。なお、Ｓ９１０、Ｓ９３０以外は実施形態１の場合と同様であるので、本実施形態ではＳ９１０、Ｓ９３０おける処理について説明する。
次に、図９に示すフローチャートを参照しながら、Ｓ５５０で実行される処理の詳細について説明する。なお、Ｓ９１０、Ｓ９３０以外は実施形態１の場合と同様であるので、本実施形態ではＳ９１０、Ｓ９３０おける処理について説明する。
＜ステップＳ９１０＞
表示制御部１３１は、Ｓ１２７０において得られた位置合わせパラメータ値に基づき、図７（ｅ）に示すような広画角画像ＤLへの高倍率画像ＤHの重畳画像を生成するための処理を行う。本実施形態では、Ｓ９３０で説明するように高倍率画像ＤHを静止画像としてではなく動画像として貼り合わせ表示するので、代表画像の生成は行わない。ただし、フレーム間位置合わせ後の画像には画像端部に画素値が０の領域が生じて表示上邪魔になる場合があるので、貼り合わせ表示時の画像端部においては、例外フレーム以外の全てのフレームを通して画素値が０より大きい画素のみを表示する。
表示制御部１３１は、Ｓ１２７０において得られた位置合わせパラメータ値に基づき、図７（ｅ）に示すような広画角画像ＤLへの高倍率画像ＤHの重畳画像を生成するための処理を行う。本実施形態では、Ｓ９３０で説明するように高倍率画像ＤHを静止画像としてではなく動画像として貼り合わせ表示するので、代表画像の生成は行わない。ただし、フレーム間位置合わせ後の画像には画像端部に画素値が０の領域が生じて表示上邪魔になる場合があるので、貼り合わせ表示時の画像端部においては、例外フレーム以外の全てのフレームを通して画素値が０より大きい画素のみを表示する。
また、本実施形態では上記貼り合わせ動画像の隣に、傍中心窩の毛細血管の分布をより詳細に観察できるようにするための画像として、図７（ｆ）のような毛細血管画像の貼り合わせ表示も行う。毛細血管画像は、Ｓ１２２０で中間倍率画像Ｄ2kに対して実行した毛細血管領域の特定処理を中間倍率画像Ｄ2kだけでなく高倍率画像Ｄ1jに対しても同様に実行して２値画像を生成し、Ｓ１２７０で得た位置合わせパラメータに基づいて貼り合わせ表示する。また、毛細血管画像に対しても動画像の貼り合わせの場合と同様に、例外フレーム以外の全てのフレームを通して画素値が０より大きい画素のみを表示する。
＜ステップＳ９３０＞
複数の中間倍率画像Ｄ2kや高倍率画像Ｄ1jを広画角画像ＤL上に表示させる場合には時相データ（脈波のような生体信号に基づく周期データ）に基づいて各中間倍率画像Ｄ2k、高倍率画像Ｄ1jの再生タイミングを同期させる。具体的には、表示制御部１３１が時相データ取得部１１３から各動画像（すなわち、各高倍率画像Ｄ1j、中間倍率画像Ｄ2k）に対応する時相データＳｊ、Ｓｋを取得し、各々の時相データの極値を検出して拍動周期を算出する。次に、各高倍率画像Ｄ1j、中間倍率画像Ｄ2kにおける例外フレーム番号系列を取得し、例外フレームを含まない連続したフレーム系列を表示対象として選択する。さらに、選択したフレームにおける拍動周期が動画像（高倍率画像Ｄ1j、中間倍率画像Ｄ2k）間で異なる場合は、動画像間における表示フレーム間隔の調整処理（「フレーム補間処理」という）を行う。さらに、各動画像に対応する時相データの極値に対応するフレームの再生タイミングが一致するように各動画像の再生開始時刻を調整しつつ、拍動周期の整数回分のフレームを再生することで貼り合わせ動画表示を行う。
複数の中間倍率画像Ｄ2kや高倍率画像Ｄ1jを広画角画像ＤL上に表示させる場合には時相データ（脈波のような生体信号に基づく周期データ）に基づいて各中間倍率画像Ｄ2k、高倍率画像Ｄ1jの再生タイミングを同期させる。具体的には、表示制御部１３１が時相データ取得部１１３から各動画像（すなわち、各高倍率画像Ｄ1j、中間倍率画像Ｄ2k）に対応する時相データＳｊ、Ｓｋを取得し、各々の時相データの極値を検出して拍動周期を算出する。次に、各高倍率画像Ｄ1j、中間倍率画像Ｄ2kにおける例外フレーム番号系列を取得し、例外フレームを含まない連続したフレーム系列を表示対象として選択する。さらに、選択したフレームにおける拍動周期が動画像（高倍率画像Ｄ1j、中間倍率画像Ｄ2k）間で異なる場合は、動画像間における表示フレーム間隔の調整処理（「フレーム補間処理」という）を行う。さらに、各動画像に対応する時相データの極値に対応するフレームの再生タイミングが一致するように各動画像の再生開始時刻を調整しつつ、拍動周期の整数回分のフレームを再生することで貼り合わせ動画表示を行う。
なお、本発明の表示法はこれに限定されるものではなく、もし時相データが取得されていない場合には本ステップは省略し、再生時刻を調整せずに動画像として貼り合わせ表示してもよい。
以上のように、本実施形態に係る眼科装置１０は、複数の高倍率の補償光学ＳＬＯ画像を取得する場合に、高倍率画像よりも画角の広い画像から抽出された画像特徴に基づいて複数の高倍率画像取得に関するパラメータ値を決定する。このため、高倍率画像よりも広範囲で被検眼により分布の異なる組織、細胞群もしくは病変候補を効率的に撮像することが可能となる。
また、本実施形態では、血管もしくは血球が移動した領域に関する画像の特徴に基づき、撮像された高倍率画像から少なくとも１つの血管画像をモニタ３０５に表示させる。このため、広画角画像から、特に入念な観察が必要な部分のみを適切に抽出して、精密な撮像・表示を自動的に行うことが可能となる。
＜＜実施形態３＞＞
本実施形態に係る眼科装置は、複数の高倍率の補償光学ＯＣＴ断層画像を取得する場合に、この高倍率画像よりも画角の広いＯＣＴ断層画像から抽出された画像特徴に基づいて複数の高倍率画像取得に関するパラメータ値を決定するよう構成したものである。具体的には、漿液性網膜剥離ＲＤにより網膜外層が変形した中心窩付近の視細胞層に対して複数の高倍率画像を円板状に取得する基本パターンを操作者が選択して画像取得パラメータの初期値とする。次に、広画角ＯＣＴ断層画像から取得した層形状の画像特徴に基づいて複数の高倍率画像の取得パラメータ（取得位置、画角、画素サイズ、コヒーレンスゲート）を変更し、撮像する場合について説明する。
本実施形態に係る眼科装置は、複数の高倍率の補償光学ＯＣＴ断層画像を取得する場合に、この高倍率画像よりも画角の広いＯＣＴ断層画像から抽出された画像特徴に基づいて複数の高倍率画像取得に関するパラメータ値を決定するよう構成したものである。具体的には、漿液性網膜剥離ＲＤにより網膜外層が変形した中心窩付近の視細胞層に対して複数の高倍率画像を円板状に取得する基本パターンを操作者が選択して画像取得パラメータの初期値とする。次に、広画角ＯＣＴ断層画像から取得した層形状の画像特徴に基づいて複数の高倍率画像の取得パラメータ（取得位置、画角、画素サイズ、コヒーレンスゲート）を変更し、撮像する場合について説明する。
（全体構成）
本実施形態に係る眼科装置１０と接続される機器の構成を図１（ｃ）に示す。本実施形態では、眼科装置１０は、ＳＬＯ像撮像装置２０に代えて、補償光学系を備えた断層像撮像装置６０と接続される点が実施形態１と異なっている。断層像撮像装置６０は眼部の断層像を撮像する装置である。断層像撮像装置６０は、例えば、スペクトラルドメイン方式のＯＣＴ（ＳＤ−ＯＣＴ：Spectral Domain Optical Coherence Tomography）として構成される。眼部断層像撮像装置６０は不図示の操作者による操作に応じ、被検眼の断層像を３次元的に撮像する。撮像した断層像は眼科装置１０へと送信される。
本実施形態に係る眼科装置１０と接続される機器の構成を図１（ｃ）に示す。本実施形態では、眼科装置１０は、ＳＬＯ像撮像装置２０に代えて、補償光学系を備えた断層像撮像装置６０と接続される点が実施形態１と異なっている。断層像撮像装置６０は眼部の断層像を撮像する装置である。断層像撮像装置６０は、例えば、スペクトラルドメイン方式のＯＣＴ（ＳＤ−ＯＣＴ：Spectral Domain Optical Coherence Tomography）として構成される。眼部断層像撮像装置６０は不図示の操作者による操作に応じ、被検眼の断層像を３次元的に撮像する。撮像した断層像は眼科装置１０へと送信される。
（眼科装置）
次に、本実施形態に係る眼科装置１０の機能ブロックを図１３に示す。画像処理部１３０に広画角画像の特徴を取得する画像特徴取得部１３４を備える点が実施形態１の構成と異なっている。また、データサーバ４０は眼部の画像特徴や眼部の画像特徴の分布に関する正常値データを保持している。ここでは、これらのデータとして、網膜層境界やその形状、厚みに関する正常値データを保持している場合を説明する。
次に、本実施形態に係る眼科装置１０の機能ブロックを図１３に示す。画像処理部１３０に広画角画像の特徴を取得する画像特徴取得部１３４を備える点が実施形態１の構成と異なっている。また、データサーバ４０は眼部の画像特徴や眼部の画像特徴の分布に関する正常値データを保持している。ここでは、これらのデータとして、網膜層境界やその形状、厚みに関する正常値データを保持している場合を説明する。
（断層像撮像装置）
次に、図１４を用いて補償光学系を備えた断層像撮像装置６０の構成を説明する。図１４において、２０１は光源であり、本実施形態では波長８４０ｎｍのＳＬＤ光源を用いる。光源２０１は低干渉性のものであればよく、波長幅３０ｎｍ以上のＳＬＤ光源が好適に用いられる。また、チタンサファイアレーザなどの超短パルスレーザなどを光源に用いることもできる。光源２０１から照射された光は、単一モード光ファイバ２０２を通って、ファイバカプラ５２０まで導光される。ファイバカプラ５２０によって、測定光経路５２１と参照光経路５２２に分岐される。ここでは、ファイバカプラは１０：９０の分岐比のものが使用され、投入光量の１０％が測定光経路５２１に到達するように構成される。測定光経路５２１を通った光は、コリメータ２０３により、平行な測定光として照射される。
次に、図１４を用いて補償光学系を備えた断層像撮像装置６０の構成を説明する。図１４において、２０１は光源であり、本実施形態では波長８４０ｎｍのＳＬＤ光源を用いる。光源２０１は低干渉性のものであればよく、波長幅３０ｎｍ以上のＳＬＤ光源が好適に用いられる。また、チタンサファイアレーザなどの超短パルスレーザなどを光源に用いることもできる。光源２０１から照射された光は、単一モード光ファイバ２０２を通って、ファイバカプラ５２０まで導光される。ファイバカプラ５２０によって、測定光経路５２１と参照光経路５２２に分岐される。ここでは、ファイバカプラは１０：９０の分岐比のものが使用され、投入光量の１０％が測定光経路５２１に到達するように構成される。測定光経路５２１を通った光は、コリメータ２０３により、平行な測定光として照射される。
コリメータ２０３以降の構成は実施形態１で説明したＳＬＯ像撮像装置２０と同様である。すなわち、補償光学系や走査光学系を通して眼球２１１に照射し、眼球２１１からの反射散乱光は再度同様の経路をたどって光ファイバ５２１に導光されてファイバカプラ５２０に到達する。一方、参照光経路５２２を通った参照光はコリメータ５２３で出射され、光路長可変部５２４で反射して再度ファイバカプラ５２０に戻る。ファイバカプラ５２０に到達した測定光と参照光は合波され、光ファイバ５２５を通して分光器５２６に導光される。分光器５２６によって分光された干渉光情報をもとに、制御部２１７によって眼部の断層像が構成される。制御部２１７は光路長可変部５２４を制御し、所望の深さ位置の画像を取得できる。
なお、図１４の構成で走査光学系の振り角を大きくし、補償光学制御部２１６が収差補正を行わないよう指示することによって断層像撮像装置６０は通常の断層像撮像装置としても動作し、広画角な断層像（広画角画像ＤL）を撮像できる。また、本実施形態では、補償光学系を備えた断層像撮像装置６０をＳＤ−ＯＣＴとして構成しているが、ＳＤ−ＯＣＴであることが必須の要件ではない。例えば、タイムドメインＯＣＴもしくはＳＳ−ＯＣＴ（Swept Source Optical Coherence Tomography）として構成してもよい。ＳＳ−ＯＣＴの場合には異なる波長の光を異なる時間で発生させる光源を用い、スペクトル情報を取得するための分光素子は不要となる。また、ＳＳ−ＯＣＴでは、網膜だけでなく脈絡膜も画像に含まれる高深達な画像を取得できる。
（処理手順）
本実施形態に係る眼科装置１０の画像処理フローを図５に示す。Ｓ５１０、Ｓ５２０、Ｓ５３０、Ｓ５４０、Ｓ５５０以外の処理内容は、図５を参照して説明した実施形態１の処理と同様である。そこで、本実施形態では、Ｓ５１０、Ｓ５２０、Ｓ５３０、Ｓ５４０、Ｓ５５０の処理の説明を行う。
本実施形態に係る眼科装置１０の画像処理フローを図５に示す。Ｓ５１０、Ｓ５２０、Ｓ５３０、Ｓ５４０、Ｓ５５０以外の処理内容は、図５を参照して説明した実施形態１の処理と同様である。そこで、本実施形態では、Ｓ５１０、Ｓ５２０、Ｓ５３０、Ｓ５４０、Ｓ５５０の処理の説明を行う。
＜ステップ５１０＞
広画角画像取得部１１１は、断層像撮像装置６０に対して、広画角画像ＤLおよび固視標位置ＦLの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置ＦLを設定して広画角画像ＤLを取得する場合の例を説明する。なお、撮像位置の設定手法はこれに限定されず、他の任意の位置に設定してよい。
広画角画像取得部１１１は、断層像撮像装置６０に対して、広画角画像ＤLおよび固視標位置ＦLの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置ＦLを設定して広画角画像ＤLを取得する場合の例を説明する。なお、撮像位置の設定手法はこれに限定されず、他の任意の位置に設定してよい。
断層像撮像装置６０は、広画角画像取得部１１１からの取得要求に応じて広画角画像ＤL、固視標位置ＦLを取得し、広画角画像取得部１１１へ送信する。広画角画像取得部１１１は、断層像撮像装置６０からＬＡＮ３０を介して当該広画角画像ＤL及び固視標位置ＦLを受信する。広画角画像取得部１１１は受信した広画角画像ＤL及び固視標位置ＦLを記憶部１２０に格納する。
＜ステップＳ５２０＞
画像取得パターン提示部１３１１は、記憶部１２０から複数の高倍率画像を取得する際のパラメータに関する基本的な設定パターン（画像取得パターン）を少なくとも一種類取得し、モニタ３０５に表示する。画像取得パターンとしては任意のパターンが設定可能であるが、本実施形態では図１５の（ａ）〜（ｆ）に示すような基本パターンを提示する。すなわち、図１５（ａ）は線状、図１５（ｂ）は十字型、図１５（ｃ）は放射状、図１５（ｄ）は矩形型、図１５（ｅ）は円板型、図１５（ｆ）は環状である。
画像取得パターン提示部１３１１は、記憶部１２０から複数の高倍率画像を取得する際のパラメータに関する基本的な設定パターン（画像取得パターン）を少なくとも一種類取得し、モニタ３０５に表示する。画像取得パターンとしては任意のパターンが設定可能であるが、本実施形態では図１５の（ａ）〜（ｆ）に示すような基本パターンを提示する。すなわち、図１５（ａ）は線状、図１５（ｂ）は十字型、図１５（ｃ）は放射状、図１５（ｄ）は矩形型、図１５（ｅ）は円板型、図１５（ｆ）は環状である。
次に指示取得部１４０は、どの画像取得パターンを選択するかの指示を外部から取得する。本実施形態では観察対象が図１５（ｉ）に示すような漿液性網膜剥離ＲＤにより網膜外層が変形し視細胞が障害された領域である場合を説明するので、図１５（ｅ）に示すような円板型の画像取得パターンを選択する。
なお、実施形態１の場合と同様に、３次元の断層画像においても多倍率型や多配置型、複合型の画像取得パターンを提示してもよい。例えば、多倍率型で倍率数が３の場合には、図１５（ｈ）に示すような中間倍率画像Ｄ3mの取得パターンと、図１５（ｇ）のような中間倍率画像Ｄ2kの取得パターン、図１５（ｅ）のような高倍率画像Ｄ1jの取得パターンを選択できる。さらに、多配置型の画像取得パターンの場合、深度方向（図中のｚ軸方向）に画像取得パターンを複数配置して提示してもよい。
＜ステップＳ５３０＞
決定部１３２において、Ｓ５２０において選択された画像取得パターンが持つ複数画像の取得パラメータを初期値として、画像特徴取得部１３４が取得した画像特徴に基づいて画像取得パラメータを調節することにより複数の高倍率画像の取得パラメータを決定する。本ステップの処理（高倍率画像取得処理）については、図１６に示すフローチャートを用いて後に詳しく説明する。
決定部１３２において、Ｓ５２０において選択された画像取得パターンが持つ複数画像の取得パラメータを初期値として、画像特徴取得部１３４が取得した画像特徴に基づいて画像取得パラメータを調節することにより複数の高倍率画像の取得パラメータを決定する。本ステップの処理（高倍率画像取得処理）については、図１６に示すフローチャートを用いて後に詳しく説明する。
＜ステップＳ５４０＞
位置合わせ部１３３は、広画角画像ＤLと高倍率画像ＤHjとの位置合わせを行い、広画角画像ＤL上の高倍率画像ＤHjの位置を決定する。まず、位置合わせ部１３３は記憶部１２０から高倍率画像ＤHjの撮像の際に用いた固視標位置ＦHjを取得し、広画角画像ＤLと高倍率画像ＤHjとの位置合わせにおける位置合わせパラメータの探索初期点とする。高倍率画像ＤHj間で重なり領域がある場合には、まず、この重なり領域に関して画像間類似度を算出し、画像間類似度が最大となる位置に高倍率画像ＤHj同士の位置を合わせる。次に、Ｓ５３０において異なる解像度の高倍率画像が取得されている場合には、実施形態１の場合と同様に、より低倍率の画像から順に位置合わせを行う。本実施形態では高倍率画像の解像度が１種類であるので、広画角画像ＤLと高倍率画像ＤHとの位置合わせのみ行う。
位置合わせ部１３３は、広画角画像ＤLと高倍率画像ＤHjとの位置合わせを行い、広画角画像ＤL上の高倍率画像ＤHjの位置を決定する。まず、位置合わせ部１３３は記憶部１２０から高倍率画像ＤHjの撮像の際に用いた固視標位置ＦHjを取得し、広画角画像ＤLと高倍率画像ＤHjとの位置合わせにおける位置合わせパラメータの探索初期点とする。高倍率画像ＤHj間で重なり領域がある場合には、まず、この重なり領域に関して画像間類似度を算出し、画像間類似度が最大となる位置に高倍率画像ＤHj同士の位置を合わせる。次に、Ｓ５３０において異なる解像度の高倍率画像が取得されている場合には、実施形態１の場合と同様に、より低倍率の画像から順に位置合わせを行う。本実施形態では高倍率画像の解像度が１種類であるので、広画角画像ＤLと高倍率画像ＤHとの位置合わせのみ行う。
なお、画像間類似度や座標変換手法としては任意の公知の手法を用いることができ、本実施形態では画像間類似度として３次元の相関係数、座標変換手法として３次元のＡｆｆｉｎｅ変換を用いて位置合わせを行う。
＜ステップＳ５５０＞
表示制御部１３１は、Ｓ５４０において得られた位置合わせパラメータの値に基づき、広画角画像ＤL上に高倍率画像ＤHjを表示する。本実施形態において広画角画像ＤL及び高倍率画像ＤHjはともに３次元断層像であるため、以下の２種類の表示を行う。
ｉ）ｚ軸方向に関し広画角画像ＤLと高倍率画像ＤHjの投影画像を生成し、広画角画像ＤLの投影画像上に高倍率画像ＤHの投影画像を重畳表示する。
ｉｉ）広画角３次元断層像ＤLのみ取得された位置では広画角画像３次元断層像ＤLの画素値で、広画角３次元断層像ＤLと高倍率３次元断層像ＤHjともに取得された位置では高倍率３次元断層像ＤHjの画素値で表示した広画角３次元断層像ＤL"を生成する。さらに広画角３次元断層像ＤL"上の特定の走査位置をｉ）の重畳画像上に矢印で表示し、この矢印の位置で切り出した広画角３次元断層像ＤL"の２次元断層像を、ｉ）のような重畳画像と並べて表示させる。本表示では、広画角３次元断層像ＤLの２次元断層像だけでなく、高倍率３次元断層像ＤHjの２次元断層像も重畳表示される。
ｉｉ）の表示においては、操作者が、指示取得部１４０を通じて広画角断層像ＤL"の表示位置を示す矢印を（上下もしくは左右に）動かすことができる。この操作に連動して切り出されて表示される広画角画像ＤL及び高倍率画像ＤHjの表示スライスも変化する。
表示制御部１３１は、Ｓ５４０において得られた位置合わせパラメータの値に基づき、広画角画像ＤL上に高倍率画像ＤHjを表示する。本実施形態において広画角画像ＤL及び高倍率画像ＤHjはともに３次元断層像であるため、以下の２種類の表示を行う。
ｉ）ｚ軸方向に関し広画角画像ＤLと高倍率画像ＤHjの投影画像を生成し、広画角画像ＤLの投影画像上に高倍率画像ＤHの投影画像を重畳表示する。
ｉｉ）広画角３次元断層像ＤLのみ取得された位置では広画角画像３次元断層像ＤLの画素値で、広画角３次元断層像ＤLと高倍率３次元断層像ＤHjともに取得された位置では高倍率３次元断層像ＤHjの画素値で表示した広画角３次元断層像ＤL"を生成する。さらに広画角３次元断層像ＤL"上の特定の走査位置をｉ）の重畳画像上に矢印で表示し、この矢印の位置で切り出した広画角３次元断層像ＤL"の２次元断層像を、ｉ）のような重畳画像と並べて表示させる。本表示では、広画角３次元断層像ＤLの２次元断層像だけでなく、高倍率３次元断層像ＤHjの２次元断層像も重畳表示される。
ｉｉ）の表示においては、操作者が、指示取得部１４０を通じて広画角断層像ＤL"の表示位置を示す矢印を（上下もしくは左右に）動かすことができる。この操作に連動して切り出されて表示される広画角画像ＤL及び高倍率画像ＤHjの表示スライスも変化する。
また、本実施形態のように取得位置の異なる高倍率画像ＤHjが複数取得されている場合には、実施形態１の場合と同様の手法を用いて、高倍率画像ＤHj間で輝度特性が類似するような調整を行う。さらに、高倍率画像ＤHj同士の撮像位置が近く重なりがある場合（撮像位置が同一である場合も含む）には、重なっている領域の表示法を以下のいずれかに設定する。すなわち、画像の画質指標値を算出しておき、最も評価値が高い画像を表示させるか、各高倍率画像ＤHjの輝度を、前述の画質指標値に基づいて透明度を重みづけしてブレンディングする。ここで画質指標値は任意の公知の指標を用いることができ、本実施形態では画像ヒストグラムの平均輝度値を用いる。
なお、上記投影画像を生成する手法としては平均値投影に限らず、任意の投影法を用いてよい。また、高倍率画像ＤHjは静止画に限定されるものではなく、動画像でもよい。
なお、上記投影画像を生成する手法としては平均値投影に限らず、任意の投影法を用いてよい。また、高倍率画像ＤHjは静止画に限定されるものではなく、動画像でもよい。
（高倍率画像取得処理）
次に、図１６に示すフローチャートを参照しながら、Ｓ５３０で実行される処理（高倍率画像取得処理）の詳細について説明する。なお、Ｓ１５１０は実施形態１のＳ８１０の場合と同様であるので説明は省略する。
次に、図１６に示すフローチャートを参照しながら、Ｓ５３０で実行される処理（高倍率画像取得処理）の詳細について説明する。なお、Ｓ１５１０は実施形態１のＳ８１０の場合と同様であるので説明は省略する。
＜ステップＳ１５２０＞
画像特徴取得部１３４は、記憶部１２０に格納された広画角画像ＤL、すなわち眼部の３次元断層像から、画像特徴として、内境界膜Ｂ１、神経線維層境界Ｂ２、内網状層境界Ｂ４、視細胞内節外節境界Ｂ５、網膜色素上皮境界Ｂ６の各境界位置を抽出する。図７（ａ）、図１５（ｉ）、図１５（ｊ）は、境界位置Ｂ１〜Ｂ６を模式的に示している。そして、抽出した各々の画像特徴を記憶部１２０に格納する。
画像特徴取得部１３４は、記憶部１２０に格納された広画角画像ＤL、すなわち眼部の３次元断層像から、画像特徴として、内境界膜Ｂ１、神経線維層境界Ｂ２、内網状層境界Ｂ４、視細胞内節外節境界Ｂ５、網膜色素上皮境界Ｂ６の各境界位置を抽出する。図７（ａ）、図１５（ｉ）、図１５（ｊ）は、境界位置Ｂ１〜Ｂ６を模式的に示している。そして、抽出した各々の画像特徴を記憶部１２０に格納する。
ここで、広画角画像ＤLに対する特徴抽出手順を具体的に説明する。はじめに、層の境界を抽出するための抽出手順について説明する。なお、ここでは処理対象である３次元断層像を２次元断層像（Ｂスキャン像）の集合と考え、各２次元断層像に対して以下の処理を行う。まず、着目する２次元断層像に平滑化処理を行い、ノイズ成分を除去する。次に２次元断層像からエッジ成分を検出し、その連結性に基づいて何本かの線分を層境界の候補として抽出する。そして、抽出した候補から１番上の線分を内境界膜Ｂ１、上から２番目の線分を神経線維層境界Ｂ２、３番目の線分を内網状層境界Ｂ４として抽出する。また、内境界膜Ｂ１よりも外層側（図７（ａ）において、ｚ座標が大きい側）にあるコントラスト最大の線分を視細胞内節外節境界Ｂ５として抽出する。さらに、層境界候補群のうち一番下の線分を網膜色素上皮境界Ｂ６として抽出する。
なお、これらの線分を初期値としてＳｎａｋｅｓやレベルセット法等の可変形状モデルを適用し、更に精密抽出を行うように構成してもよい。また、グラフカット法により層の境界を抽出するように構成してもよい。なお、可変形状モデルやグラフカットを用いた境界抽出は、３次元断層像に対し３次元的に実行してもよいし、各々の２次元断層像に対し２次元的に実行してもよい。また、層の境界を抽出する手法は、眼部の断層像から層の境界を抽出可能な手法であれば、いずれの手法を用いてもよいことはいうまでもない。
＜ステップＳ１５３０＞
倍率決定部１３２１で高倍率画像ＤHjの倍率の種類（倍率数、画角及び画素サイズ）を決定する。本実施形態では倍率数と画素サイズについては、固定（各々１、１［μｍ］×１［μｍ］×１［μｍ］）されている場合を説明するので、詳細な説明は省略する。なお、画角や画素サイズについてはｚ軸方向のパラメータも含まれる点が実施形態１の場合と異なる。画角については可変パラメータとし、Ｓ１５２０で得られた視細胞内節外節境界Ｂ５と網膜色素上皮境界Ｂ６との距離が閾値Ｔｒｄ以上の位置にある高倍率画像のみ画角を閾値Ｔａ［％］大きくする。画角を大きくする理由は、観察上重要な領域であるため固視ずれによる撮像もれを防ぐため、及び、網膜剥離領域の上にある視細胞の外節部分がつらら状に網膜色素上皮境界Ｂ６方向に伸長する場合があり、視細胞全体を高倍率画像で取得可能にするためである。
倍率決定部１３２１で高倍率画像ＤHjの倍率の種類（倍率数、画角及び画素サイズ）を決定する。本実施形態では倍率数と画素サイズについては、固定（各々１、１［μｍ］×１［μｍ］×１［μｍ］）されている場合を説明するので、詳細な説明は省略する。なお、画角や画素サイズについてはｚ軸方向のパラメータも含まれる点が実施形態１の場合と異なる。画角については可変パラメータとし、Ｓ１５２０で得られた視細胞内節外節境界Ｂ５と網膜色素上皮境界Ｂ６との距離が閾値Ｔｒｄ以上の位置にある高倍率画像のみ画角を閾値Ｔａ［％］大きくする。画角を大きくする理由は、観察上重要な領域であるため固視ずれによる撮像もれを防ぐため、及び、網膜剥離領域の上にある視細胞の外節部分がつらら状に網膜色素上皮境界Ｂ６方向に伸長する場合があり、視細胞全体を高倍率画像で取得可能にするためである。
次に、位置決定部１３２２にて、各高倍率画像ＤHjの取得位置とコヒーレンスゲート位置を決定する。本実施形態ではいずれも可変パラメータとし、高倍率画像ＤHjの取得位置については以下の手順で決定する。
ａ）画像取得パターンの代表位置の配置決定。
ｂ）画像取得パターンのｘｙ平面方向の配置決定。
ｃ）画像取得パターンのｚ軸方向の配置決定。
ａ）画像取得パターンの代表位置の配置決定。
ｂ）画像取得パターンのｘｙ平面方向の配置決定。
ｃ）画像取得パターンのｚ軸方向の配置決定。
ここで、ａ）については、画像取得パターンの代表位置を画像取得パターンの中心とし、この中心が網膜剥離領域上の重心位置と一致するように配置する。なお、網膜剥離領域とは、視細胞内節外節境界Ｂ５と網膜色素上皮境界Ｂ６との距離が閾値Ｔｒｄ以上の領域をｘ−ｙ平面に投影した領域をいう。
ｂ）については、画像取得パターンの領域内に網膜剥離領域が包含されるようにするため、以下の手順で高倍率画像のｘｙ方向の配置を決定する。すなわち、最外周部にある高倍率画像の画像中心同士を結ぶ円を求め、この円が網膜剥離領域の外接円となる位置まで円を拡大し、円領域内を一定間隔で満たすように高倍率画像のｘｙ方向の位置を決定する。
ｃ）のｚ軸方向の取得位置に関しては、Ｓ１５２０で取得された視細胞内節外節境界Ｂ５が高倍率画像の画像中心と一致するように決定する。また、各高倍率画像ＤHjのコヒーレンスゲートは、設定可能な位置のうちでＳ１５２０で検出された視細胞内節外節境界Ｂ５に最も近い位置に設定する。
ｂ）については、画像取得パターンの領域内に網膜剥離領域が包含されるようにするため、以下の手順で高倍率画像のｘｙ方向の配置を決定する。すなわち、最外周部にある高倍率画像の画像中心同士を結ぶ円を求め、この円が網膜剥離領域の外接円となる位置まで円を拡大し、円領域内を一定間隔で満たすように高倍率画像のｘｙ方向の位置を決定する。
ｃ）のｚ軸方向の取得位置に関しては、Ｓ１５２０で取得された視細胞内節外節境界Ｂ５が高倍率画像の画像中心と一致するように決定する。また、各高倍率画像ＤHjのコヒーレンスゲートは、設定可能な位置のうちでＳ１５２０で検出された視細胞内節外節境界Ｂ５に最も近い位置に設定する。
図１５（ｉ）に本実施形態における画像取得パターンの初期取得位置、図１５（ｊ）に本ステップで決定された取得位置を示す。ただし、両図では取得パターンをわかりやすくするために画像取得パターンのうち中央の２列分の取得位置のみ、網膜剥離領域上で高倍率画像の画角が大きくなることや高倍率画像間の重なりは省略して表示している。なお、可変パラメータの種類は上記の限りではなく、任意の画像取得パラメータを可変パラメータとしてよい。
＜ステップＳ１５４０＞
順序決定部１３２４は、高倍率画像ＤHjの取得順序を決定する。本実施形態では、以下のｉ）〜ｉｖ）のうち、ｉ）が最内側（最高優先度）、ｉｉ）が２番目に内側、ｉｉｉ）が３番目に内側、ｉｖ）が最外側（最低優先度）のループとなるようにして繰り返し処理を行う。すなわち、取得開始位置（本実施形態では画像取得パターンの上端を設定し、取得倍率を最低倍率に設定したうえで、以下のｉ）〜ｉｖ）の手順を実行する。
ｉ） 同一配置パターンかつ同一取得倍率かつ同一画像取得位置における画像を繰り返し取得回数分だけ取得する。
ｉｉ） 同一配置パターンかつ同一取得倍率における画像を、隣接する画像取得位置へ移動させた上で再びｉ）と同様にして取得する。
ｉｉｉ）ｉｉ）が終了したら、取得倍率の値をより大きくして再びｉｉ）の操作を実行し、倍率数分だけ同様の操作を繰り返す。
ｉｖ） ｉｉｉ）が終了したら、別配置でｉｉｉ）の操作を実行し、全ての配置で画像を取得するまで繰り返す。
なお、上記の例ではｉ）の繰り返し取得はなし（取得回数は１回のみ）であり、画像取得パターンが多配置型ではないので、ｉｖ）の処理は省略される。またｉｉ）の隣接する画像取得位置については任意の方向へ移動でき、本実施形態では横方向（横にない場合は斜め下、斜め下にもない場合は真下）の隣接位置に取得位置を移動させる。すなわち、高倍率画像取得位置のうち１段目は右から左、２段目は左から右、３段目は右から左、というような順序で高倍率画像を順に取得していく。なお、本発明の順序決定法は上記の手順に限定されるものではなく、任意の公知の順序設定法を用いてよい。
順序決定部１３２４は、高倍率画像ＤHjの取得順序を決定する。本実施形態では、以下のｉ）〜ｉｖ）のうち、ｉ）が最内側（最高優先度）、ｉｉ）が２番目に内側、ｉｉｉ）が３番目に内側、ｉｖ）が最外側（最低優先度）のループとなるようにして繰り返し処理を行う。すなわち、取得開始位置（本実施形態では画像取得パターンの上端を設定し、取得倍率を最低倍率に設定したうえで、以下のｉ）〜ｉｖ）の手順を実行する。
ｉ） 同一配置パターンかつ同一取得倍率かつ同一画像取得位置における画像を繰り返し取得回数分だけ取得する。
ｉｉ） 同一配置パターンかつ同一取得倍率における画像を、隣接する画像取得位置へ移動させた上で再びｉ）と同様にして取得する。
ｉｉｉ）ｉｉ）が終了したら、取得倍率の値をより大きくして再びｉｉ）の操作を実行し、倍率数分だけ同様の操作を繰り返す。
ｉｖ） ｉｉｉ）が終了したら、別配置でｉｉｉ）の操作を実行し、全ての配置で画像を取得するまで繰り返す。
なお、上記の例ではｉ）の繰り返し取得はなし（取得回数は１回のみ）であり、画像取得パターンが多配置型ではないので、ｉｖ）の処理は省略される。またｉｉ）の隣接する画像取得位置については任意の方向へ移動でき、本実施形態では横方向（横にない場合は斜め下、斜め下にもない場合は真下）の隣接位置に取得位置を移動させる。すなわち、高倍率画像取得位置のうち１段目は右から左、２段目は左から右、３段目は右から左、というような順序で高倍率画像を順に取得していく。なお、本発明の順序決定法は上記の手順に限定されるものではなく、任意の公知の順序設定法を用いてよい。
＜ステップＳ１５５０＞
高倍率画像取得部１１２は、決定部１３２によって指示された画像取得パラメータを用いて複数の高倍率画像ＤHj及び固視標位置ＦHjを取得するよう断層像撮像装置６０に対して要求する。断層像撮像装置６０は、この取得要求に応じて高倍率画像ＤHj、固視標位置ＦHjを取得し送信するので、高倍率画像取得部１１２は断層像撮像装置６０からＬＡＮ３０を介して当該高倍率画像ＤHj及び固視標位置ＦHjを受信する。高倍率画像取得部１１２は、受信した高倍率画像ＤHj及び固視標位置ＦHjを記憶部１２０に格納する。
高倍率画像取得部１１２は、決定部１３２によって指示された画像取得パラメータを用いて複数の高倍率画像ＤHj及び固視標位置ＦHjを取得するよう断層像撮像装置６０に対して要求する。断層像撮像装置６０は、この取得要求に応じて高倍率画像ＤHj、固視標位置ＦHjを取得し送信するので、高倍率画像取得部１１２は断層像撮像装置６０からＬＡＮ３０を介して当該高倍率画像ＤHj及び固視標位置ＦHjを受信する。高倍率画像取得部１１２は、受信した高倍率画像ＤHj及び固視標位置ＦHjを記憶部１２０に格納する。
なお、本実施形態では、視細胞層境界に関する画像特徴を用いて高倍率画像ＤHjの取得位置を決定したが、本発明はこれに限定されない。例えば、実施形態１の場合と同様に、操作者が高倍率画像の画像取得パターンの位置を操作（移動、拡大、縮小）させ、取得位置をまとめて調整することにより決定してもよい。
以上のように、眼科装置１０は、複数の高倍率の補償光学ＯＣＴ断層画像を取得する場合に、高倍率画像よりも画角の広いＯＣＴ断層画像から抽出された層形状に関する画像特徴に基づいて複数の高倍率画像取得に関するパラメータ値を決定する。これにより、高倍率画像よりも広範囲で被検眼により分布の異なる組織、細胞群もしくは病変候補を効率的に撮像できる。
＜＜その他の実施形態＞＞
上述の実施形態では位置合わせ対象画像をＳＬＯ画像や眼部断層像として実現したが、本発明はこれに限られない。例えば、広画角画像ＤLを眼底カメラ画像、高倍率画像ＤHを補償光学眼底カメラ画像として実現してもよい。また、広画角画像ＤLを広画角ＳＬＯ画像、高倍率画像ＤHを補償光学断層像の投影像のようにモダリティの異なる画像として実現してもよい。さらに、補償光学ＳＬＯ像撮像装置２０と断層像撮像装置６０との複合機と、眼科装置１０が直接接続された構成として実現してもよい。
上述の実施形態では位置合わせ対象画像をＳＬＯ画像や眼部断層像として実現したが、本発明はこれに限られない。例えば、広画角画像ＤLを眼底カメラ画像、高倍率画像ＤHを補償光学眼底カメラ画像として実現してもよい。また、広画角画像ＤLを広画角ＳＬＯ画像、高倍率画像ＤHを補償光学断層像の投影像のようにモダリティの異なる画像として実現してもよい。さらに、補償光学ＳＬＯ像撮像装置２０と断層像撮像装置６０との複合機と、眼科装置１０が直接接続された構成として実現してもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
１０：眼科装置、２０：ＳＬＯ像撮像装置、６０：断層像撮像装置、
１３０：画像処理部、１３４：画像特徴取得部
１３０：画像処理部、１３４：画像特徴取得部
本発明は、眼科診療に用いられる情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラムに関する。
上記目的を達成するため、本発明による情報処理装置は以下の構成を備える。即ち、撮像する１の画像の領域よりも広い被検眼の領域における、複数の前記画像の撮像を制御する情報処理装置であって、
前記画像を撮像する複数の撮像位置の配置を示す複数の基本パターンを記憶する記憶手段と、
前記記憶手段に記憶された前記複数の基本パターンから１つの基本パターンを選択する選択手段と、
前記選択手段で選択された基本パターンに含まれる複数の撮像位置に従って、前記領域において前記複数の画像を撮像装置に撮像させる制御手段とを有する。
前記画像を撮像する複数の撮像位置の配置を示す複数の基本パターンを記憶する記憶手段と、
前記記憶手段に記憶された前記複数の基本パターンから１つの基本パターンを選択する選択手段と、
前記選択手段で選択された基本パターンに含まれる複数の撮像位置に従って、前記領域において前記複数の画像を撮像装置に撮像させる制御手段とを有する。
Claims (14)
- 被検眼の撮像領域における、当該撮像領域の画角よりも小さい画角を有する複数の高倍率画像の撮像を制御する情報処理装置であって、
前記高倍率画像を撮像する複数の位置の配置を示す複数の基本パターンを、操作者に対して選択可能に提示する提示手段と、
前記複数の基本パターンの中から選択された基本パターンに予め関連付けられた、複数の前記高倍率画像の撮像に関する撮像条件を、操作者の指示に従い調整する調整手段と、
調整された前記撮像条件に従い、前記撮像領域において前記複数の高倍率画像を撮像装置に撮像させる制御手段と
を備えることを特徴とする情報処理装置。 - 前記調整手段は、選択された前記基本パターンを代表する点の前記撮像領域における位置と、前記撮像条件が取り得る範囲を定める操作者により指示された制約条件と、操作者により指示された前記撮像条件の変更量と、の少なくともいずれかに基づいて、前記撮像条件を調整することを特徴とする請求項１に記載の情報処理装置。
- 前記高倍率画像よりも低倍率の前記撮像領域の全体が撮像された低倍率画像を解析して、当該低倍率画像の特徴を示す情報を取得する取得手段を更に備え、
前記調整手段は、更に、前記情報に基づき前記撮像条件を調整する
ことを特徴とする請求項１又は２に記載の情報処理装置。 - 被検眼の撮像領域において、当該撮像領域の画角よりも小さい画角を有する複数の高倍率画像の撮像を制御する情報処理装置であって、
前記高倍率画像よりも低倍率の前記撮像領域の全体が撮像された低倍率画像を解析して、当該低倍率画像の特徴を示す情報を取得する取得手段と、
前記高倍率画像を撮像する複数の位置の配置を示す複数の基本パターンの中から撮像に用いる基本パターンを選択する選択手段と、
前記情報に基づいて、前記選択された基本パターンに予め関連付けられた複数の前記高倍率画像の撮像に関する撮像条件を決定する決定手段と、
決定された前記撮像条件に従い、前記撮像領域における複数の位置のそれぞれにおいて前記高倍率画像を撮像装置に撮像させる制御手段と
を備えることを特徴とする情報処理装置。 - 前記取得手段は、前記低倍率画像における閉領域または環状領域に含まれる領域の特徴を取得することを特徴とする請求項３又は４に記載の情報処理装置。
- 撮像された前記複数の高倍率画像を、前記低倍率画像に重畳して表示手段に表示させる表示制御手段を更に備えることを特徴とする請求項３から５のいずれか１項に記載の情報処理装置。
- 前記表示制御手段は、前記取得手段が取得した血管もしくは血球が移動した領域に関する画像の特徴に基づき、前記撮像された高倍率画像から少なくとも１つの血管画像を前記表示手段に表示させることを特徴とする請求項６に記載の情報処理装置。
- 前記表示制御手段は、前記撮像された複数の高倍率画像を、被験者から計測される生体信号が示す周期的タイミングに同期して、前記表示手段に表示させることを特徴とする請求項６又は７に記載の情報処理装置。
- 前記撮像条件には、前記撮像領域における前記高倍率画像を撮像する位置と、撮像の順序と、同一の位置で撮像する画像数と、前記高倍率画像の画角と、前記高倍率画像の画素サイズと、撮像のフレーム数と、フレームレートと、合焦位置と、の少なくともいずれかが含まれることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
- 前記高倍率画像のフレームから、輝度異常の程度と、歪みの大きさと、信号に対する雑音の大きさと、基準フレームに対する変位量との少なくとも１つが一定値以上の値を示すフレームを例外フレームとして判定する判定手段をさらに備え、
前記判定手段の判定結果に基づき、前記複数の高倍率画像の再取得の要否が決定される
ことを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。 - 前記制御手段は、前記高倍率画像として、前記撮像領域における断層像を前記撮像装置に撮像させることを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
- 被検眼の撮像領域における、当該撮像領域の画角よりも小さい画角を有する複数の高倍率画像の撮像を制御する情報処理装置の各手段により実行される情報処理方法であって、
提示手段が、前記高倍率画像を撮像する複数の位置の配置を示す複数の基本パターンを、操作者に対して選択可能に提示する提示工程と、
調整手段が、前記複数の基本パターンの中から選択された基本パターンに予め関連付けられた、複数の前記高倍率画像の撮像に関する撮像条件を、操作者の指示に従い調整する調整工程と、
制御手段が、調整された前記撮像条件に従い、前記撮像領域において前記複数の高倍率画像を撮像装置に撮像させる制御工程と
を備えることを特徴とする情報処理方法。 - 被検眼の撮像領域において、当該撮像領域の画角よりも小さい画角を有する複数の高倍率画像の撮像を制御する情報処理装置の各手段により実行される情報処理方法であって、
取得手段が、前記高倍率画像よりも低倍率の前記撮像領域の全体が撮像された低倍率画像を解析して、当該低倍率画像の特徴を示す情報を取得する取得工程と、
選択手段が、前記高倍率画像を撮像する複数の位置の配置を示す複数の基本パターンの中から撮像に用いる基本パターンを選択する選択工程と、
決定手段が、前記情報に基づいて、前記選択された基本パターンに予め関連付けられた複数の前記高倍率画像の撮像に関する撮像条件を決定する決定工程と、
制御手段が、決定された前記撮像条件に従い、前記撮像領域における複数の位置のそれぞれにおいて前記高倍率画像を撮像装置に撮像させる制御工程と
を備えることを特徴とする情報処理方法。 - コンピュータを請求項１から１１のいずれか１項に記載の情報処理装置が備える各手段として機能させるためのコンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017134948A JP6465930B2 (ja) | 2017-07-10 | 2017-07-10 | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017134948A JP6465930B2 (ja) | 2017-07-10 | 2017-07-10 | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013111332A Division JP6174908B2 (ja) | 2013-05-27 | 2013-05-27 | 情報処理装置、情報処理方法、及び、コンピュータプログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019002136A Division JP6636188B2 (ja) | 2019-01-09 | 2019-01-09 | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017170266A true JP2017170266A (ja) | 2017-09-28 |
| JP6465930B2 JP6465930B2 (ja) | 2019-02-06 |
Family
ID=59969926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017134948A Active JP6465930B2 (ja) | 2017-07-10 | 2017-07-10 | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6465930B2 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010035607A (ja) * | 2008-07-31 | 2010-02-18 | Canon Inc | 診断支援装置およびその方法、プログラム、記録媒体 |
| JP2011092702A (ja) * | 2009-09-30 | 2011-05-12 | Nidek Co Ltd | 眼底観察装置 |
| US20120140172A1 (en) * | 2010-12-02 | 2012-06-07 | Nidek Co., Ltd. | Fundus photographing apparatus |
| JP2012213513A (ja) * | 2011-03-31 | 2012-11-08 | Nidek Co Ltd | 眼科撮影装置 |
| JP2013070941A (ja) * | 2011-09-29 | 2013-04-22 | Nidek Co Ltd | 眼科撮影装置 |
-
2017
- 2017-07-10 JP JP2017134948A patent/JP6465930B2/ja active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010035607A (ja) * | 2008-07-31 | 2010-02-18 | Canon Inc | 診断支援装置およびその方法、プログラム、記録媒体 |
| US20130057827A1 (en) * | 2008-07-31 | 2013-03-07 | Canon Kabushiki Kaisha | Eye portion diagnosis support apparatus, method therefor, program, and recording medium |
| JP2011092702A (ja) * | 2009-09-30 | 2011-05-12 | Nidek Co Ltd | 眼底観察装置 |
| US20110170062A1 (en) * | 2009-09-30 | 2011-07-14 | Nidek Co., Ltd. | Fundus observation apparatus |
| US20120140172A1 (en) * | 2010-12-02 | 2012-06-07 | Nidek Co., Ltd. | Fundus photographing apparatus |
| JP2012115578A (ja) * | 2010-12-02 | 2012-06-21 | Nidek Co Ltd | 眼科撮影装置 |
| JP2012213513A (ja) * | 2011-03-31 | 2012-11-08 | Nidek Co Ltd | 眼科撮影装置 |
| JP2013070941A (ja) * | 2011-09-29 | 2013-04-22 | Nidek Co Ltd | 眼科撮影装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6465930B2 (ja) | 2019-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6174908B2 (ja) | 情報処理装置、情報処理方法、及び、コンピュータプログラム | |
| JP6108827B2 (ja) | 眼科装置および位置合わせ方法 | |
| EP2845534B1 (en) | Ophthalmic apparatus | |
| JP6463048B2 (ja) | 画像処理装置及び画像処理装置の作動方法 | |
| JP6463047B2 (ja) | 眼科装置及び眼科装置の作動方法 | |
| US20200375453A1 (en) | Tomographic image acquisition apparatus and tomographic image acquisition method | |
| JP2019213740A (ja) | 眼科装置、その制御方法、プログラム、及び記録媒体 | |
| JP2018198967A (ja) | 眼科装置 | |
| JP6504903B2 (ja) | 眼科撮像装置、その作動方法、及びコンピュータプログラム | |
| JP6465930B2 (ja) | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム | |
| JP6732093B2 (ja) | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム | |
| JP6636188B2 (ja) | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム | |
| JP6882242B2 (ja) | 眼科装置およびその制御方法 | |
| WO2019239707A1 (ja) | 眼科装置、その制御方法、プログラム、及び記録媒体 | |
| JP2021079013A (ja) | 医用画像処理装置、医用画像処理装置の処理方法およびプログラム | |
| JP6594499B2 (ja) | 画像処理装置及び画像処理装置の作動方法 | |
| JP6419238B2 (ja) | 眼科装置および位置合わせ方法 | |
| WO2020209012A1 (ja) | 画像解析方法及び画像解析装置 | |
| JP2024007133A (ja) | 眼科画像処理装置および眼科画像処理プログラム | |
| JP2020171664A (ja) | 画像解析方法及び画像解析装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170804 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170804 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190108 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6465930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |