JP2021049206A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 複数の３次元画像から効率的に２次元パノラマ画像を生成する。【解決手段】 被検眼の部分領域の、３次元ＯＣＴ画像と、３次元モーションコントラスト画像とを、取得する取得手段と、前記部分領域ごとに、前記３次元モーションコントラスト画像から、第１の投影範囲で投影した第１のＯＣＴＡ画像と、前記第１の投影範囲とは異なる第２の投影範囲で投影した第２のＯＣＴＡ画像とを生成し、前記３次元ＯＣＴ画像から、第３の投影範囲で投影した輝度Ｅｎ−Ｆａｃｅ画像を生成する２次元Ｅｎ−Ｆａｃｅ画像生成手段と、前記部分領域ごとに生成した２次元Ｅｎ−Ｆａｃｅ画像からパノラマ合成画像を生成するパノラマ合成画像生成手段と、を有する画像処理装置。【選択図】 図５

Description

本明細書の開示は、画像処理装置および画像処理方法に関する。

測定対象の断層像を非侵襲で取得できる光干渉断層撮影法（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ、以下、ＯＣＴという。）を用いた装置（以下、ＯＣＴ装置という。）が知られている。特許文献１には、ＯＣＴ装置を用いて被検眼を広範囲に観察する場合、ＯＣＴにより取得された複数の３次元モーションコントラスト画像を位置合わせして、その位置合わせされた３次元モーションコントラスト画像から２次元ＯＣＴＡパノラマ画像を取得する方法が記載されている。

また、特許文献２には、複数の３次元ＯＣＴ画像を位置合わせすることで、輝度Ｅｎ−Ｆａｃｅ画像の２次元パノラマ画像を生成する方法が記載されている。

特開２０１７−４７１１３号公報 特開２００９−１８３３３２号公報

しかしながら、上記３次元画像の位置合わせは、互いの画像間で被検眼の構造が繋がるように行われるが、例えば、網膜層の表層など、観察対象の層によっては画像に特徴的な構造が高コントラストで写らず、画像同士が繋がりにくくなってしまうという問題があった。

そこで、本明細書の開示は、取得された画像同士が繋がりにくい場合であっても、パノラマ合成の実現が可能な画像処理装置を提供することを目的の一つとする。

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の１つとして位置付けることができる。

上記課題を解決するため、本発明の一態様による画像処理装置は、
被検眼の部分領域の、３次元ＯＣＴ画像と、３次元モーションコントラスト画像とを、取得する取得手段と、
前記部分領域ごとに、
前記３次元モーションコントラスト画像から、第１の投影範囲で投影した第１のＯＣＴＡ画像と、前記第１の投影範囲とは異なる第２の投影範囲で投影した第２のＯＣＴＡ画像とを生成し、
前記３次元ＯＣＴ画像から、第３の投影範囲で投影した輝度Ｅｎ−Ｆａｃｅ画像を生成する２次元Ｅｎ−Ｆａｃｅ画像生成手段と、
前記部分領域ごとに生成した２次元Ｅｎ−Ｆａｃｅ画像からパノラマ合成画像を生成するパノラマ合成画像生成手段と、
を有する画像処理装置であって、
前記パノラマ合成画像生成手段が、
前記部分領域ごとに生成した第２のＯＣＴＡ画像のパノラマ合成画像の生成には、少なくとも前記部分領域ごとに生成した第１のＯＣＴＡ画像の位置合わせ情報を利用し、前記部分領域ごとに生成した輝度Ｅｎ−Ｆａｃｅ画像のパノラマ合成画像の生成には、前記部分領域ごとに生成した輝度Ｅｎ−Ｆａｃｅ画像の位置合わせ情報を利用することを特徴とする画像処理装置である。

また、別の本発明の一態様による画像処理装置は、
被検体の部分領域の、３次元ＯＣＴ画像と、３次元モーションコントラスト画像とを、取得する取得手段と、
前記部分領域ごとに、
前記３次元モーションコントラスト画像から第１の投影範囲で投影した第１のＯＣＴＡ画像、および、前記３次元ＯＣＴ画像から第２の投影範囲で投影した輝度Ｅｎ−Ｆａｃｅ画像を生成する２次元Ｅｎ−Ｆａｃｅ画像生成手段と、
前記部分領域ごとに生成した前記２次元Ｅｎ−Ｆａｃｅ画像のパノラマ合成画像生成手段と、を有し、
前記パノラマ画像生成手段が、
前記部分領域ごとに生成した、前記第１のＯＣＴＡ画像および前記輝度Ｅｎ−Ｆａｃｅ画像のうちの、一方の２次元Ｅｎ−Ｆａｃｅ画像のパノラマ合成画像を生成する際に、少なくとも他方の２次元Ｅｎ−Ｆａｃｅ画像の位置合わせの情報を利用することを特徴とする画像処理装置である。

また、別の本発明の本発明の一態様による画像処理方法は、
被検体の部分領域の、３次元ＯＣＴ画像と、３次元モーションコントラスト画像とを、取得する工程と、
前記３次元モーションコントラスト画像から、第１の投影範囲で投影した第１のＯＣＴＡ画像と、前記第１の投影範囲とは異なる第２の投影範囲で投影した第２のＯＣＴＡ画像を生成し、前記３次元ＯＣＴ画像から、第３の投影範囲で投影した輝度Ｅｎ−Ｆａｃｅ画像を生成するＥｎ−Ｆａｃｅ画像生成工程と、
前記部分領域ごとに生成したＥｎ−Ｆａｃｅ画像からパノラマ合成画像を生成する工程と、を有する画像処理方法であって、
前記パノラマ合成画像を生成する工程が、
前記部分領域ごとに生成した第２のＯＣＴＡ画像のパノラマ合成画像の生成には、少なくとも、前記第１のＯＣＴＡ画像の位置合わせ情報を利用し、前記部分領域ごとに生成した輝度Ｅｎ−Ｆａｃｅ画像のパノラマ合成画像の生成には、前記輝度Ｅｎ−Ｆａｃｅ画像の位置合わせ情報を利用する工程であることを特徴とする画像処理方法である。

本明細書の開示によれば、取得された画像同士が繋がりにくい場合であっても、パノラマ合成の実現が可能な画像処理装置および画像処理方法を提供する。

３次元ＯＣＴ画像から得られた各層の輝度Ｅｎ−Ｆａｃｅ画像の一例を示す。 実施例１に係る画像処理装置の全体構成の一例を概略的に示す。 実施例１に係る撮影光学系及びベースの構成の一例を概略的に示す。 実施例１に係る制御部の構成の一例を概略的に示す。 実施例１に係る画像合成処理の動作のフローチャートの一例を示す。 実施例１に係る３次元ＯＣＴ画像と輝度Ｅｎ−Ｆａｃｅ画像の取得方法の一例を概略的に示す。 実施例１に係るパノラマ撮影の一例を示す。 各層から得られる輝度Ｅｎ−Ｆａｃｅ画像およびＯＣＴＡ画像の一例を示す。 実施例１に係る画像処理装置の表示画面の一例を示す。 実施例１に係る複合Ｅｎ−Ｆａｃｅ画像の生成及び分離処理の一例を示す。 実施例２に係る画像処理装置の表示画面の一例を示す。 実施例２に係る画像処理装置の操作のフローチャートの一例を示す。 実施例３に係る画像処理装置の操作のフローチャートの一例を示す。 実施例４に係る画像処理装置の操作のフローチャートの一例を示す。

以下、図面を参照して実施例を詳細に説明する。ただし、以下の実施例で説明する波長等の数値及び構成要素の相対的な位置等は任意であり、装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。また、各図面において説明上重要ではない構成要素、部材、処理の一部は省略して表示する場合がある。

（実施例１）
図２乃至図１０を参照して、実施例１による画像処理装置について説明する。以下において、被検査物として被検眼を例として説明する。

（本体構成）
図２は、本実施例による画像処理装置の概略的な全体構成を示す。画像処理装置には、撮影光学系１００、制御部１０１、入力部１０２、表示部１０３及び記憶部１０４が設けられている。

撮影光学系（撮影装置）１００は、被検眼の前眼部像やＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｏｔｈａｌｍｏｓｃｏｐｅ：走査型検眼鏡）眼底像、断層像に関するデータを取得する。具体的には撮影装置１００はＯＣＴ装置を含んでいる。撮影光学系１００は、電動ステージ等によってベース部分より上部がＸＹＺ方向に移動可能である。

制御部（情報処理装置）１０１は、撮影光学系１００、入力部１０２、表示部１０３及び記憶部１０４に接続される。制御部１０１は、撮影光学系１００の撮影制御、取得した前眼部像やＳＬＯ眼底像、断層像に関するデータの解析・再構成、並びに前眼部画像、ＳＬＯ画像、断層画像及びＯＣＴＡ（ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ）画像などの生成を行う。制御部１０１は、汎用のコンピュータを用いて構成されることができるが、ＯＣＴ装置の専用コンピュータとして構成されてもよい。入力部１０２は、制御部１０１への指示を行うための入力装置であり、例えば、キーボードやマウス等から構成される。表示部１０３は、制御部１０１から送られる各種情報や各種画像、入力部１０２の操作に従ったマウスカーソル等を表示する。表示部１０３は任意のモニタを用いて構成されることができる。記憶部１０４は、断層画像の撮像用のプログラム、画像処理方法に関するプログラム、患者情報、撮像データ、及び正常データベースの統計情報などを記憶する。記憶部１０４は、例えば、ハードディスクなどの任意の記憶装置やＲＡＭやＲＯＭ等によって構成されることができる。なお、本実施例においては、撮影光学系１００、制御部１０１、入力部１０２、表示部１０３及び記憶部１０４はそれぞれ別個に構成されているが、これらは一部又は全体が一体として構成されてもよい。

（撮影光学系及びベースの構成）
図３は、撮影光学系１００の概略的な構成を示す。被検眼２００に対向して対物レンズ２０１が設置されている。対物レンズ２０１の光軸上には、第１ダイクロイックミラー２０２及び第２ダイクロイックミラー２０３が設けられている。対物レンズ２０１からの光路は、第１及び第２ダイクロイックミラー２０２，２０３によって、ＯＣＴ光学系の光路２５０、ＳＬＯ光学系と固視灯用の光路２５１、及び前眼観察用の光路２５２が光路を通る光の波長帯域ごとに分岐される。なお、以下において、ダイクロイックミラーの透過方向の構成と反射方向の構成は逆になっていてもよい。

ＳＬＯ光学系と固視灯用の光路２５１は、ＳＬＯ眼底像の取得と被検眼２００の固視の用途に用いられる。光路２５１には、ＳＬＯ走査手段２０４、レンズ２０５，２０６、ミラー２０７、第３ダイクロイックミラー２０８、フォトダイオード２０９、ＳＬＯ光源２１０、及び固視灯２１１が設けられている。なお、光路２５１上の固視灯２１１以外の構成要素はＳＬＯ光学系を構成する。

ＳＬＯ走査手段２０４は、ＳＬＯ光源２１０と固視灯２１１から発せられた光を被検眼２００上で走査する。ＳＬＯ走査手段２０４は、Ｘ方向に走査するＸスキャナ、Ｙ方向に走査するＹスキャナから構成されている。本実施例では、一例としてＸスキャナはポリゴンミラーによって、Ｙスキャナはガルバノミラーによって構成されている。

レンズ２０５は合焦レンズであり、ＳＬＯ光学系及び固視灯の焦点合わせのため、制御部１０１によって制御される不図示のモータにより、図中矢印で示される光軸方向に沿って駆動される。

ミラー２０７は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、ＳＬＯ光源２１０による照明光及び固視灯２１１からの光と、被検眼２００からの戻り光とを分離する。具体的には、ミラー２０７は、ＳＬＯ光源２１０からの照明光及び固視灯からの光を通過させ、被検眼２００からの戻り光を反射してフォトダイオード２０９に導く。

第３ダイクロイックミラー２０８は、光路２５１をＳＬＯ光源２１０への光路と固視灯２１１への光路とに光路２５１を通る光の波長帯域ごとに分岐する。具体的には、第３ダイクロイックミラー２０８の透過方向に固視灯２１１が設けられ、反射方向にＳＬＯ光源２１０が設けられている。

フォトダイオード２０９は、被検眼２００からの戻り光を検出し、戻り光に対応する信号を生成する。制御部１０１は、フォトダイオード２０９によって生成された信号（ＳＬＯ信号）に基づいて被検眼２００の眼底の正面画像（ＳＬＯ画像）を得ることができる。

ＳＬＯ光源２１０は例えば７８０ｎｍ付近の波長の光を発生する。ＳＬＯ光源２１０から発せられた光は、第３ダイクロイックミラー２０８で反射され、ミラー２０７を通過し、レンズ２０６，２０５を通り、ＳＬＯ走査手段２０４によって、被検眼２００上で走査される。被検眼２００からの戻り光は、照明光と同じ経路を戻った後、ミラー２０７によって反射され、フォトダイオード２０９へと導かれる。フォトダイオード２０９の出力信号を制御部１０１によって処理することで、被検眼２００のＥｎ−Ｆａｃｅ画像を得ることができる。

なお、本明細書において、Ｅｎ−Ｆａｃｅ画像とは、ＯＣＴ装置で取得された３次元ＯＣＴデータに対して、膜厚方向に所望の投影範囲（深度範囲）を設定し、その範囲内のボクセルのデータ値から生成される２次元正面画像をいう。例えば、制御部１０１は、深さ方向におけるデータ値の最大値、最小値、平均値または中央値を求めることで２次元Ｅｎ−Ｆａｃｅ画像（２２次元正面画像）を生成する。ここで、データ値とは、３次元ＯＣＴデータから生成された３次元ＯＣＴ画像の画素値であってよく、例えば、輝度値や、偏光を用いて取得することができるリターデーション等の偏光パラメータの値であってよい。また、データ値は、干渉光の干渉スペクトルに含まれる被検体の断層に関する情報であってもよい。Ｅｎ−Ｆａｃｅの技術を用いて取得できる画像には、輝度値を画素値とした２次元輝度Ｅｎ−Ｆａｃｅ画像や、血管の３次元モーションコントラストデータから得られるＯＣＴＡ画像などが含まれる。

固視灯２１１は、可視光を発生して被検者の固視を促すことができる。固視灯２１１から発せられた光は、第３ダイクロイックミラー２０８を透過し、ミラー２０７、及びレンズ２０６，２０５を通り、ＳＬＯ走査手段２０４によって、被検眼２００上で走査される。この時、制御部１０１によって、ＳＬＯ走査手段２０４の動きに合わせて固視灯２１１を点滅させることで、被検眼２００上の任意の位置に任意の形状をつくり、被検者の固視を促すことができる。

なお、本実施例では、眼底を観察するための眼底観察系としてＳＬＯを用いているが、眼底観察系の構成はこれに限られない。例えば、眼底を撮影する眼底カメラ等の既知の観察系を用いて眼底観察系を構成してもよい。

次に、前眼部観察用の光路２５２には、レンズ２１２，２１３、スプリットプリズム２１４、及び赤外光を検知する前眼部観察用のＣＣＤ２１５が設けられている。なお、前眼部観察用の光路２５２に配置されるこれらの構成要素は、前眼部観察光学系を構成する。

光路２５２では、不図示の前眼部観察用光源から９７０ｎｍ付近の波長を有する光が被検眼２００の前眼部に対して照射される。被検眼２００の前眼部からの反射光は対物レンズ２０１、第１ダイクロイックミラー２０２、及びレンズ２１２を介してスプリットプリズム２１４に入射する。

スプリットプリズム２１４は、被検眼２００の瞳孔と共役な位置に配置されている。スプリットプリズム２１４から出射された光はレンズ２１３を介してＣＣＤ２１５に入射する。

ＣＣＤ２１５は、不図示の前眼部観察用光源からの照射光の波長、具体的には９７０ｎｍ付近に感度を持つ。ＣＣＤ２１５は、前眼部からの反射光を検出し、前眼部からの反射光に対応する信号を生成する。制御部３００は、ＣＣＤ２１５によって生成された信号に基づいて、被検眼２００の前眼部画像を生成することができる。この際、制御部１０１は、ＣＣＤ２１５によってスプリットプリズム２１４を通った反射光を検出することで、前眼部のスプリット像から被検眼２００に対する撮影光学系１００のＺ方向（深さ方向）の距離を検出することができる。生成される前眼部画像は、撮影光学系１００と被検眼２００とのアライメント時などに用いられることができる。

次に、ＯＣＴ光学系の光路２５０について説明する。光路２５０は、前述の通りＯＣＴ光学系用の光路を成しており、被検眼２００の断層画像を形成するための干渉信号の取得に用いられる。光路２５０には、ＸＹスキャナ２１６、及びレンズ２１７，２１８が設けられている。

ＸＹスキャナ２１６は、測定光を被検眼２００上で走査するためのＯＣＴ走査手段を構成する。ＸＹスキャナ２１６は１枚のミラーとして図示されているが、Ｘ軸及びＹ軸方向の走査をそれぞれ行う２枚のガルバノミラーで構成されている。なお、ＸＹスキャナ２１６の構成はこれに限られず、任意の偏向手段を用いて構成されることができる。また、ＸＹスキャナ２１６は、ＭＥＭＳミラー等の１枚で２次元方向に光を偏向させられる偏向ミラーによって構成されてもよい。

レンズ２１７は、光カプラー２１９に接続されている光ファイバー２２４から出射する測定光を被検眼２００に焦点合わせするために用いられる合焦レンズである。レンズ２１７は、制御部１０１によって制御される不図示のモータにより、図中矢印で示される測定光の光軸方向に駆動される。この焦点合わせによって、被検眼２００からの測定光の戻り光は同時に光ファイバー２２４の先端に、スポット状に結像されて入射される。なお、光ファイバー２２４、光路２５０に配置される各光学部材、第１及び第２ダイクロイックミラー２０２，２０３、並びに対物レンズ２０１等は、ＯＣＴ光学系において測定光が伝播するＯＣＴ測定光学系を構成する。

次に、ＯＣＴ光源２２０からの光路と参照光学系、分光器２３０の構成について説明する。光ファイバー２２４は、光カプラー２１９に接続されている。光カプラー２１９には、ＯＣＴ測定光学系の光ファイバー２２４、ＯＣＴ光源２２０に接続された光ファイバー２２５、ＯＣＴ参照光学系の光ファイバー２２６、及び分光器２３０に接続された光ファイバー２２７が接続されている。光カプラー２１９は、ＯＣＴ光源２２０からの光を測定光と参照光に分割する分割器、及び被検眼２００からの測定光の戻り光と参照光とを干渉させ、干渉光を発生させる干渉部として機能する。本実施例において、光ファイバー２２４〜２２７は、光カプラー２１９に接続されて一体化しているシングルモードの光ファイバーである。

ＯＣＴ光源２２０は、代表的な低コヒーレント光源であるＳＬＤ（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）である。本実施例では、ＯＣＴ光源２２０として、中心波長が８５５ｎｍ、波長バンド幅が約１００ｎｍのものを用いている。

ＯＣＴ光源２２０から出射された光は、光ファイバー２２５を通じ、光カプラー２１９を介して、光ファイバー２２４等のＯＣＴ測定光学系を伝播する測定光と、光ファイバー２２６等のＯＣＴ参照光学系を伝播する参照光とに分割される。測定光は、偏光調整部２２８、前述のＯＣＴ光学系の光路２５０を通じ、観察対象である被検眼２００に照射され、被検眼２００による反射や散乱により、戻り光として同じ光路を通じて光カプラー２１９に到達する。

一方、参照光は光ファイバー２２６、偏光調整部２２９、レンズ２２３、及び測定光と参照光の分散を合わせるために挿入された分散補償ガラス２２２を介して参照ミラー２２１に到達し反射される。そして、同じ光路を戻り、光カプラー２１９に到達する。ここで、光ファイバー２２６、偏光調整部２２９、レンズ２２３、分散補償ガラス２２２、及び参照ミラー２２１はＯＣＴ参照光学系を構成する。偏光調整部２２８は、光ファイバー２２４中に設けられた測定光側の偏光調整部である。偏光調整部２２９は、光ファイバー２２６中に設けられた参照光側の偏光調整部である。偏光調整部２２８，２２９は光ファイバーをループ状にひきまわした部分を幾つか有する。偏光調整部２２８，２２９では、このループ状の部分をファイバーの長手方向を中心として回動させることでファイバーに捩じりを加え、測定光と参照光の偏光状態を各々調整して合わせることができる。

被検眼２００からの測定光の戻り光と参照光は、光カプラー２１９によって合波され干渉光となる。ここで、測定光の光路長と参照光の光路長がほぼ等しい状態となったときに、測定光の戻り光と参照光は互いに干渉し、干渉光となる。参照ミラー２２１は、制御部３００によって制御される不図示のモータ及び駆動機構により、図中矢印で示される参照光の光軸方向に調整可能に保持され、被検眼２００の被測定部によって変わる測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は、光ファイバー２２７を介して分光器２３０に導かれる。

分光器２３０には、レンズ２３２，２３４、回折格子２３３、及びラインセンサ２３１が設けられている。光ファイバー２２７から出射された干渉光は、レンズ２３４を介して略平行光となった後、回折格子２３３で分光され、レンズ２３２によってラインセンサ２３１に結像される。なお、ラインセンサ２３１は、干渉光を受光して、干渉光に応じた出力信号を出力する受光素子の一例として示される。制御部３００は、ラインセンサ２３１によって生成された信号に基づいて、被検眼２００の断層に関する情報を取得し、断層画像を生成することができる。

本実施例では、上記構成のように、干渉系としてマイケルソン干渉系を用いたが、マッハツェンダー干渉系を用いてもよい。例えば、測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉系を、光量差が比較的小さい場合にはマイケルソン干渉系を用いることができる。また、本実施例はＳＤ（Ｓｐｅｃｔｒａｌ Ｄｏｍａｉｎ）−ＯＣＴ方式を用いたが、ＳＳ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ）−ＯＣＴ方式を用いてもよい。

また、撮像光学系１００の構成は、上記の構成に限られず、撮像光学系１００に含まれる構成の一部を撮像光学系１００と別体の構成としてもよい。

（制御部によるパノラマ合成画像生成フロー）
制御部１０１の構成を図４に概略的に示す。制御部１０１には、断層画像取得部３０１、３次元画像生成部３０２、合成内容選択部３０３、Ｅｎ−Ｆａｃｅ画像生成部３０４、パノラマ画像生成部３０５が設けられている。以下では、制御部１０１によるパノラマ合成画像生成フローを、図５を参照して説明する。

ステップＳ７００において、断層画像取得部３０１は、撮影光学系１００のラインセンサ２３１の出力信号から被検眼の断層画像を取得する。この断層画像は、被検眼２００の深さ方向（Ｚ方向）の断層データを輝度情報に変換したものである。また、断層画像取得部３０１は、各部位の断層画像からモーションコントラスト画像を生成する。モーションコントラスト画像の生成方法としては公知の種々の手法を用いることが可能である。例えば、複数画像間の脱相関をとる方法が知られている。

図６は、同一被検眼上の異なる部位の断層画像群４０−１〜４０−ｎから３次元ＯＣＴ画像４００を取得する概念図である。ステップＳ７１０において、３次元画像生成部３０２は、断層画像取得部３０１で取得した複数の断層画像を図６のように座標系に配置することで、３次元ＯＣＴ画像を生成する。また同様に、断層画像取得部３０１で生成したモーションコントラスト画像を座標系に配置することで、３次元モーションコントラスト画像を生成する。本明細書では３次元ＯＣＴ画像（３次元輝度画像）および３次元モーションコントラスト画像を、ボリュームデータもしくは３次元画像と総称する。

なお、断層画像取得部３０１と３次元画像生成部３０２で得られた３次元ＯＣＴ画像および３次元モーションコントラスト画像は、撮影光学系１００から取得したデータに基づいて生成されたものであるが、既に取得された不図示のデータベースから取得した断層画像や３次元ＯＣＴ画像および３次元モーションコントラスト画像でもよい。

図６に示すように、Ｅｎ−Ｆａｃｅ画像４１０は、３次元ＯＣＴ画像４００の網膜の膜厚方向（Ｚ方向）の任意の深度範囲を投影範囲として、ＸＹ平面に投影した画像である。ステップＳ７２０で、操作者は後述するユーザーインターフェースなどを介して、検査対象となる投影範囲（第２投影範囲）を検査領域として選択する。また、生成するパノラマ合成画像として輝度画像もしくはモーションコントラスト画像のいずれかを画像モード（第２の画像モード）を選択することにより選択する。ここでは一例として、生成するパノラマ合成画像が輝度画像である（第２の画像モードは輝度画像である）場合を説明する。

ステップＳ７３０で、合成内容選択部３０３は、２次元パノラマ合成画像を生成するためのＥｎ−Ｆａｃｅ画像を生成する、モードおよび検査対象となる領域を選択する。合成対象は、自動で選択してもよいし、操作者からの指示を受け付ける構成にしてもよい。例えばユーザーインターフェース上で、上記パノラマ撮影モードを使用して撮影された複数の３次元ＯＣＴ画像および３次元モーションコントラスト画像を、合成対象となるＥｎ−Ｆａｃｅ画像を生成するための画像として自動的に選択する。この際、操作者によってデータを追加したり外したりできるようにしてもよい。また、ユーザーインターフェースに合成対象となるＥｎ−Ｆａｃｅ画像を生成するためのデータ候補として、患者と左右眼と画像モードが同じものを挙げて、操作者がデータを選定してもよい。

ここで、図７を参照してパノラマ撮影による３次元ＯＣＴ画像の取得方法を例として説明する。ここでは輝度画像でパノラマ画像生成を行う場合を記すが、モーションコントラスト画像でパノラマ画像生成を行う場合も同様の処理を行うことができる。

撮影光学系１００は、制御部１０１が有する同一被検眼の異なる部位の断層画像を複数取得するためのモードである、パノラマ撮影モードに応じて動作する。本モードでは、例えば被検眼の部分領域５０１の撮影が終了すると、内部固視灯が移動して被検眼の視線を異なる方向へ誘導する。この状態で撮影することで、部分領域５０１とは異なる、部分領域５０２の断層画像を取得することができる。同様の処理を連続して行うことで、部分領域５０３、５０４などの断層画像を断層画像取得部３０１が取得し、３次元画像生成部３０２で異なる部分領域それぞれの３次元ＯＣＴ画像４００を生成する。パノラマ撮影モードで撮影された複数の３次元ＯＣＴ画像には、例えばパノラマ撮影モードで撮影されたことを示す情報が付加される。従って、合成内容選択部３０３は、この付加された情報に基づいてパノラマ撮影モードで撮影された複数の３次元ＯＣＴ画像を選択することが可能となる。

なお、パノラマ撮影モードで撮影した断層画像に基づく広角のパノラマ合成画像を生成する場合、部分領域５０１と部分領域５０２の少なくとも一部の領域が重なるように、すなわち、隣接する部分領域の一部が重なるように、内部固視灯を移動することが望ましい。例えば、部分領域５０１と部分領域５０２の面積の各２５％の領域が重なるように内部固視灯を移動する。なお、各部分領域の重なる領域の割合はこれに限定されない。また、部分領域同士が接するように内部固視灯が移動してもよい。また、本実施例では固視灯を移動することにより、４つの部分領域を取得したが、部分領域の数はこれに限定されない。このようにパノラマ撮影を行うための合成対象となるＥｎ−Ｆａｃｅ画像を生成するための３次元画像が、ステップＳ７３０で選択される。

ステップＳ７４０で、Ｅｎ−Ｆａｃｅ画像生成部３０４はステップＳ７３０における合成内容選択部３０３で選択した、パノラマ撮影を行うための合成対象となるＥｎ−Ｆａｃｅ画像を生成するための３次元ＯＣＴ画像もしくは３次元モーションコントラスト画像の第２の投影範囲のＥｎ−Ｆａｃｅ画像を生成する。以下では、特に３次元ＯＣＴ画像から生成したＥｎ−Ｆａｃｅ画像を輝度Ｅｎ−Ｆａｃｅ画像と記し、３次元モーションコントラスト画像から生成したＥｎ−Ｆａｃｅ画像をＯＣＴＡ画像と記す。本実施例の場合、ステップＳ７４０で、表層を第２の投影範囲とした輝度Ｅｎ−Ｆａｃｅ画像が生成される。

ステップＳ７５０で、Ｅｎ−Ｆａｃｅ画像生成部３０４は、予め制御部１０１により設定された合成の精度や成功率の高い画像モード（第１の画像モード）および投影範囲（第１投影範囲）の組み合わせで、第１部分領域の３次元画像に関するＥｎ−Ｆａｃｅ画像を生成する。

図８に、各層から得られる輝度Ｅｎ−Ｆａｃｅ画像およびＯＣＴＡ画像の例を示す。各層および画像モードによって、血管構造の写り方が異なる。例えば、表層においては、ＯＣＴＡ画像の方が輝度Ｅｎ−Ｆａｃｅ画像よりも情報量が多い傾向にある。ここで、表層とは、例えば、内境界膜から内顆粒層の上端までの層の少なくとも一部を含む層である。

一方で、深層や脈絡膜層（脈絡膜血管層）はＯＣＴＡ画像に写る情報量が表層に比べて乏しい。ここで、深層とは例えば内顆粒層を含む膜厚方向の範囲（被検眼の深さ方向で内顆粒層以降の深さの範囲のうちの一部の深さの層）であり、深層の例としては、脈絡膜血管層、網膜外層、IS/OSからRPEまでの深さ範囲が挙げられる。しかし、特にＳＳ−ＯＣＴの場合、長波長の光源を用いることで、深層においても輝度Ｅｎ−Ｆａｃｅ画像に写る情報量が多くなる。

本実施例では一例として、第１の画像モードはモーションコントラスト画像であり、ステップＳ７５０ではＯＣＴＡ画像を生成する。また、第１投影範囲として表層が選択される。

しかしながら、予めセットされた第１の画像モードと第１投影範囲はこれに限定されない。ステップＳ７４０とＳ７５０の実行順序は逆であってもよいし、同時に行うこととしてもよい。

ステップＳ７６０では、パノラマ画像生成部３０５（以降、パノラマ合成画像生成部とも記載する場合がある）は、ステップＳ７４０で生成された第１部分領域の３次元ＯＣＴ画像に関する表層の輝度Ｅｎ−Ｆａｃｅ画像と、ステップＳ７５０で生成された第１部分領域の３次元モーションコントラスト画像に関する表層のＯＣＴＡ画像と、を重畳し、表層の第１の複合Ｅｎ−Ｆａｃｅ画像を生成する。複合Ｅｎ−Ｆａｃｅ画像生成方法の一例を、図１０を参照して説明する。パノラマ画像生成部３０５は、予め記憶部１０４に記憶してある画像であって、第１部分領域の３次元ＯＣＴモーションコントラスト画像から生成した表層のグレースケールのＯＣＴＡ画像９０１を、第１の複合Ｅｎ−Ｆａｃｅ画像の青色チャンネルに割り当てる。同様に、第１部分領域の３次元ＯＣＴ画像から生成した表層のグレースケールの輝度Ｅｎ−Ｆａｃｅ画像９０２を、第１の複合Ｅｎ−Ｆａｃｅ画像の赤色チャンネルに割り当てる。

なお、パノラマ画像生成部３０５が付加する色は、ステップＳ７４０で生成された表層の輝度Ｅｎ−Ｆａｃｅ画像と、ステップＳ７５０で生成された表層のＯＣＴＡ画像との間で異なる色など識別可能に表示されていればよく、上記の例に限定されるものではない。

これにより、パノラマ画像生成部３０５は、複数の輝度Ｅｎ−Ｆａｃｅ画像とＯＣＴＡ画像とを、画像モード毎に識別可能に変換し複合する。

なお、図１０において輝度Ｅｎ−Ｆａｃｅ画像９０２に含まれる血管を点線で示しているが、ＯＣＴＡ画像９０１との識別のためであり、実際の画像において点線となっているわけではない。

第１投影範囲である表層に対して第１の複合Ｅｎ−Ｆａｃｅ画像９０３を生成した方法と同様の方法を、ステップＳ７３０で選択された複数の３次元画像（部分領域ごとのボリュームデータ）の各々に対して行うことで、部分領域ごとの複合Ｅｎ−Ｆａｃｅ画像が生成される。

ステップＳ７７０で、パノラマ画像生成部３０５は、ステップＳ７６０で生成した複数の３次元画像（領域ごとのボリュームデータ）の各々に対応する複合Ｅｎ−Ｆａｃｅ画像を合成し、複合Ｅｎ−Ｆａｃｅパノラマ合成画像を生成する。合成方法としては、合成対象の複合Ｅｎ−Ｆａｃｅ画像それぞれの特徴点を抽出し、各画像の特徴点の位置から、画像間の位置関係を解析し、その結果をもとに画像を合成する手段などがある。ここでは、複合Ｅｎ−Ｆａｃｅ画像に含まれる特徴、例えば、複合Ｅｎ−Ｆａｃｅ画像のうちのＯＣＴＡ画像９０１成分が有する特徴、に基づいて領域ごとの複合Ｅｎ−Ｆａｃｅ画像の位置合わせを行う。この結果、特徴が乏しい層の輝度Ｅｎ−Ｆａｃｅ画像同士による位置合わせよりも、位置合わせ精度を向上させることが可能となる。

最後に、ステップＳ７８０で、パノラマ画像生成部３０５は、生成された複合Ｅｎ−Ｆａｃｅパノラマ合成画像から、操作者が指定した画像モードでの投影範囲のパノラマＥｎ−Ｆａｃｅ画像を分離することで、所望のパノラマ画像を生成する。本実施例では、パノラマ画像生成部３０５は、複合Ｅｎ−Ｆａｃｅパノラマ画像から輝度画像モードによる第２投影範囲の画像を分離することで、輝度画像モードによる第２投影範囲のパノラマ画像を生成する。

具体的には、パノラマ画像生成部３０５は、図１０に示すように、複合Ｅｎ−Ｆａｃｅ画像パノラマ画像９１１を色成分で分離して画像を抽出してもよい。図１０において符号９１２は、青色が付加されたＯＣＴＡ画像であり、符号９１３は赤色が付加された輝度Ｅｎ−Ｆａｃｅ画像である。例えば、操作者が、第２投影範囲として第１投影範囲と同じ範囲を指定し、かつ輝度画像モードを指定した場合、複合Ｅｎ−Ｆａｃｅパノラマ画像から抽出するＥｎ−Ｆａｃｅパノラマ画像は、複合Ｅｎ−Ｆａｃｅパノラマ画像のうちの赤色チャンネルに割り当てられているため、パノラマ画像生成部３０５は、複合Ｅｎ−Ｆａｃｅパノラマ画像の赤色の部分のみを取り出す。そして、パノラマ画像生成部３０５は、複合Ｅｎ−Ｆａｃｅパノラマ画像から取り出した赤色の部分をグレースケール画像にすることで、所望のパノラマ画像であるＥｎ−Ｆａｃｅパノラマ画像を生成することができる。なお、パノラマ画像生成部３０５は、複合パノラマ画像の青色部分のみを別途取り出してグレースケール画像にすることで、ＯＣＴＡパノラマ画像も生成してもよい。なお、ここでは、第１投影範囲と第２投影範囲が同じとしているが、第１投影範囲と第２投影範囲は、異なっていてもよい。

これにより、パノラマ画像生成部３０５は、少なくとも輝度Ｅｎ−Ｆａｃｅ画像の位置合わせ情報を利用することにより、深層のＯＣＴＡ画像のみから位置合わせする（深層のＯＣＴＡ画像自体の位置合わせ情報を利用し、輝度Ｅｎ−Ｆａｃｅ画像の位置合わせ情報を利用しない）場合よりも効率よく、複数のＥｎ−Ｆａｃｅ画像の位置合わせを行うことができる。なお、「少なくとも輝度Ｅｎ−Ｆａｃｅ画像の位置合わせ情報を利用する」には、輝度Ｅｎ−Ｆａｃｅ画像の位置合わせ情報とＯＣＴＡ画像の位置合わせ情報の両方を利用することが含まれる。

なお、本実施例では、操作者がＯＣＴＡ画像と輝度Ｅｎ−Ｆａｃｅ画像を作成する際に、第１投影範囲と第２投影範囲とを同じ投影範囲として１つの投影範囲を指定して生成したが、複数の投影範囲を指定してＯＣＴＡ画像および輝度Ｅｎ−Ｆａｃｅ画像を生成することも可能である。例えば、操作者が２つの投影範囲を指定して、予め記憶部１０４に記憶してある投影範囲を青色、操作者が指定した２つの投影範囲をそれぞれ赤色と緑色に割り当てて複合Ｅｎ−Ｆａｃｅ画像を生成することで一度に２つの投影範囲での合成が可能となる。例えば、第２の画像モードとして輝度画像モードが選択された場合、検査対象となる層を操作者が選択して輝度Ｅｎ−Ｆａｃｅ画像を生成し、表層のＯＣＴＡ画像と検査対象となる層のＯＣＴＡ画像と併せて、３つのＥｎ−Ｆａｃｅ画像から複合Ｅｎ−Ｆａｃｅ画像を生成してもよい。また、複数の投影範囲を指定する場合、全ての投影範囲を予め記憶部１０４に記憶してある範囲に設定してもよい。

本実施例では画面上で操作者が投影範囲を合成直前に指定したが、操作者が指定する合成範囲を前もって指定しておき、画面上では合成対象の選択のみで合成を行ってもよい。さらに、本実施例では、操作者が合成対象を選択して合成を行ったが、制御部１０１がパノラマ撮影モードで撮影されたものを自動的に選択することで、合成対象の選択を省略してもよい。さらに、本実施例ではパノラマ撮影モードで撮影された撮影部位の異なる３次元画像からパノラマ画像を生成したが、略同一部位を撮影した３次元データを用いて合成を行ってもよい。

また、制御部１０１により設定された第１の画像モードおよび第１投影範囲、操作者により指定された第２の画像モードおよび第２投影範囲の組み合わせは、上記に限らず、第１の画像モードの投影範囲と第２の画像モードの投影範囲は異なっていても良い。例えば、第２の画像モードとしてモーションコントラスト画像モードを選択し、第２投影範囲として深層を操作者が指定して、さらにステップＳ７５０で第１の画像モードとして輝度画像モード、および、第１投影範囲として脈絡膜血管層が設定された輝度Ｅｎ−Ｆａｃｅ画像を生成して、複合Ｅｎ−Ｆａｃｅ画像を生成してもよい。

なお、この場合は、図１０において、Ｅｎ−Ｆａｃｅ画像９０１は輝度Ｅｎ−Ｆａｃｅ画像であり、Ｅｎ−Ｆａｃｅ画像９０２はＯＣＴＡ画像となる。また、第１の画像モードとして輝度画像モードが設定された場合、第１投影範囲として視細胞内節外節接合部（ＩＳ／ＯＳ）からＲＰＥまでの範囲を設定してもよい。

また、パノラマ画像生成部３０５は、第２投影範囲の輝度Ｅｎ−Ｆａｃｅ画像と第１投影範囲のＯＣＴＡ画像とから生成された複合Ｅｎ−Ｆａｃｅ画像によって算出された位置合わせ情報（位置合わせのパラメータ）を、記憶部１０４に保持しておいてもよい。そして、輝度画像モードで第２投影範囲と異なる投影範囲の位置合わせを行う際に、複合Ｅｎ−Ｆａｃｅ画像の生成を行うことなく、記憶部１０４が記憶した位置合わせ情報を用いて位置合わせを行ってもよい。

また、パノラマ画像の生成処理およびユーザーインターフェースへの表示は、画像取得を完了した後にレポート画面上で行ってもよいし、画像取得と並行して撮影画面上で行ってもよい。

なお、本実施例では、異なる画像モードのＥｎ−Ｆａｃｅ画像同士から複合Ｅｎ−Ｆａｃｅ画像を生成したが、投影範囲に応じて、同じ画像モードの異なる投影範囲のＥｎ−Ｆａｃｅ画像同士から複合Ｅｎ−Ｆａｃｅ画像を生成してもよい。

上述した本実施例によれば、操作者が指定した投影範囲の輝度Ｅｎ−Ｆａｃｅパノラマ画像もしくはＯＣＴＡパノラマ画像を、位置合わせの精度の低下を抑制しながら、効率的に得ることが可能となる。

（ユーザーインターフェースの構成）
図９を参照して、上記の処理を実施するために制御部１０１が表示部１０３に表示させるインターフェースの一例を説明する。表示部１０３には、検査選択領域６１０、眼底画像表示領域６２０、断層画像表示領域６３０、Ｅｎ−Ｆａｃｅ画像表示領域６４０、合成指示ボタン６５０、生成するＥｎ−Ｆａｃｅパノラマ画像の種類を選択する画像モード選択ボタン６５１、合成対象選択画面６６０、パノラマ画像表示領域６７０が設けられている。

画像モード選択ボタン６５１は画像モードを選択するための操作部である。すなわち、生成するＥｎ−Ｆａｃｅパノラマ画像の種類（パノラマ輝度Ｅｎ−Ｆａｃｅ画像もしくはパノラマＯＣＴＡ画像）を、プルダウン形式などにより、画像モード（第２の画像モード）を選択することで選択する。

検査選択領域６１０には、被検眼２００が撮影された３次元画像又は３次元画像を含む検査データのセットがリストとして表示される。本実施例では一例として３つの検査が候補として表示されている。検査選択領域６１０では、操作者がパノラマ合成を行うための３次元画像６１１を選択できる。本実施例の画像選択領域６１０では、候補を選択しやすいように、３つの検査データセットの各々が、眼底画像と断層画像とを表示している。また、リストで表示される画像は不図示のデータベースに保存されている被検眼２００のデータを表示してもよい。

眼底画像表示領域６２０には、現在選択されている３次元画像６１１に対応した眼底画像６２１が表示されている。眼底画像６２１は、例えば、選択されている３次元画像６１１と略同時に撮影された画像である。眼底画像６２１は撮影光学系１００で撮影されたＳＬＯ画像や別途撮影された眼底カメラの画像をインポートして３次元画像と紐づけたものでもよい。眼底画像６２１上には選択された３次元画像６１１を撮影した領域を示す撮影領域アノテーション６２２が表示され、撮影領域アノテーション６２２内には断層画像表示部６３０に表示する断層画像６３１の位置を示す断層画像位置アノテーション６２３が表示される。

断層画像表示領域６３０には、眼底画像表示領域６２０上の断層画像位置アノテーション６２３の位置にあたる断層画像６３１を表示する。断層画像位置アノテーション６２３は操作者によるマウスドラッグやキーボードの矢印キーによって動かすことができ、断層画像６３０は断層画像位置アノテーション６２３の位置変更に応じて、表示する断層画像６３１を変更する。

Ｅｎ−Ｆａｃｅ画像表示部６４０には、断層画像表示領域６３０上で設定した投影範囲の上端６３２および下端６３３を基にＥｎ−Ｆａｃｅ画像生成部３０４で生成したＥｎ−Ｆａｃｅ画像６４１を表示する。ここで、パノラマ画像生成部３５０は、マウスなどを介した、投影範囲の上端６３２および下端６３３の位置を変更する操作を受け付けることが可能である。なお、投影範囲の上端６３２および下端６３３の変更に応じて、Ｅｎ−Ｆａｃｅ画像表示部６４０に表示されるＥｎ−Ｆａｃｅ画像６４１はＥｎ−Ｆａｃｅ画像生成部３０４で再度生成し直され、新しいＥｎ−Ｆａｃｅ画像６４１として更新される。投影範囲の上端６３２と下端６３３は予め定義された位置をプルダウンで指定することにより設定されてもよい。例えば、プルダウンで「表層血管」という項目を指定した場合、神経線維層の上端（または内境界膜）と内網状層の下端（内顆粒層の上端）の位置に上端６３２と下端６３３がそれぞれ設定される。

なお、断層画像に重畳表示される投影範囲の上端６３２および下端６３３は、第２投影範囲のものに限定されるものではなく、制御部１０１は、第１投影範囲の上端および下端を第２投影範囲の上端および下端と同時または切り替え可能に表示部１０３に表示させてもよい。また、第１投影範囲の上端および下端を第２投影範囲の上端および下端と同時に表示部１０３に表示させる場合、制御部１０１は第１投影範囲の上端および下端の表示形態と第２投影範囲の上端および下端の表示形態とを異なる形態で表示部１０３に表示させることとしてもよい。

合成指示ボタン６５０は、パノラマ画像の生成プロセスを開始するボタンである。操作者が合成指示ボタンを選択すると、合成対象選択画面６６０が表示部１０３上に表示される。

合成対象選択画面６６０は、パノラマ画像を生成する基となる３次元画像の候補のリストを表示する。操作者は、入力部１０２を用いて合成対象となるＥｎ−Ｆａｃｅ画像を生成するための複数の３次元画像６６１を合成対象選択画面６６０上で選択する。この時、眼底画像を表示し、眼底画像上に選択した３次元画像の撮影位置を表示すると、合成対象となるＥｎ−Ｆａｃｅ画像を生成するための３次元画像が正しいかどうかを操作者が確認できるのでさらに良い。合成対象となるＥｎ−Ｆａｃｅ画像を生成するための３次元画像６６１を選択後、操作者は合成実施の判断を、合成指示ボタン６６２を使って行う。なお、選択されている３次元画像６１１は必ず合成対象となるものとして、合成対象選択画面６６０のリストには含まれなくてもよい。合成指示ボタン６６２が選択されるとパノラマ画像生成部３０５は選択された画像モードのＥｎ−Ｆａｃｅパノラマ画像を生成する。パノラマ画像表示領域６７０は、パノラマ画像生成部３０５によって生成されたＥｎ−Ｆａｃｅパノラマ画像６７１を表示する。

（実施例２）
実施例１では、合成対象となる２つのＥｎ−Ｆａｃｅ画像のうちの一方の生成条件（モードおよび投影範囲）が制御部により設定されている例を説明したが、本実施例では、操作者が合成対象となる２つのＥｎ−Ｆａｃｅ画像のいずれの生成条件も指定する場合の例について説明する。複数の３次元画像から２次元Ｅｎ−Ｆａｃｅ画像を生成する際、例えば病眼においては予めセットされた投影範囲の画像の情報量が乏しくなる場合がある。その場合、Ｅｎ−Ｆａｃｅ画像生成条件となる投影範囲を操作者が指定できることが望ましい。ここでは先述した実施例と同様に輝度画像でパノラマ画像生成を行う場合を記すが、モーションコントラスト画像でパノラマ画像生成を行う場合も同様の処理を行うことができる。

図１１は投影範囲を含む複数の生成条件を操作者が設定する場合の表示画面の一例である。表示部１０３は検査選択領域１１１０、眼底画像表示領域１１２０、１つ目の断層画像表示領域１１３０、２つ目の断層画像表示領域１１５０、１つ目のＥｎ−Ｆａｃｅ画像表示領域１１４０、２つ目のＥｎ−Ｆａｃｅ画像表示領域１１６０、合成指示ボタン１１７０、画像モード選択ボタン１１７１、合成対象選択画面１１８０、１つ目のパノラマ画像表示領域１１９０、２つ目のパノラマ画像領域１１９２を持つ。画面には２つのパノラマ画像の生成条件となる投影範囲を決定するための断層画像表示領域１１３０、１１５０およびＥｎ−Ｆａｃｅ画像表示領域１１４０、１１６０が操作でき、それぞれのパノラマ画像を表示するパノラマ画像表示領域１１９０、１１９２が表示される。なお、各表示領域の操作については、実施例１と同様のため、説明を省略する。なお、図９と図１１との機能の対応を示す。符号６１０，６１１と符号１１１０と１１１１とが対応し、符号６２０−６２３と符号１１２０−１２３とが対応している。さらに、符号６３０−６３３は符号１１５０−１１５３と対応し、符号６４０，６４１は符号１１６０，１１６１と対応している。また、符号６５０は符号１１７０に対応し、符号６５１は符号１１７１に対応し、符号６７０，６７１は符号１１９２，１１９３に対応している。すなわち、図９に示したインターフェースに、断層画像表示領域１１３０、断層画像１１３１、第１投影範囲の上端１１３２、下端１１３３、Ｅｎ−Ｆａｃｅ画像表示領域１１４０、Ｅｎ−Ｆａｃｅ画像１１４１、Ｅｎ−Ｆａｃｅパノラマ画像表示領域１１９０およびＥｎ−Ｆａｃｅパノラマ画像１１９１が追加されている。

ここで、断層画像１１３１は断層画像位置アノテーション１１２３の位置における断層画像である。また、Ｅｎ−Ｆａｃｅ画像１１４１は、上端１１３２と下端１１３３とにより規定される投影範囲のＥｎ−Ｆａｃｅ画像である。また、パノラマ画像１１９１は第１投影範囲におけるパノラマ画像である。断層画像１１５１は断層画像位置アノテーション１１２３の位置における断層画像である。また、Ｅｎ−Ｆａｃｅ画像１１６１は、上端１１５２と下端１１５３とにより規定される投影範囲のＥｎ−Ｆａｃｅ画像である。パノラマ画像１１９３は第２投影範囲におけるパノラマ画像である。

また、上端１１３２と下端１１３３とは第１投影範囲を示す線の一例であり、上端１１５２と下端１１５３とは第２投影範囲を示す線の一例である。すなわち、表示制御手段の一例に相当する制御部１０１は、複数の断層画像を表示手段に表示させるとともに、第１投影範囲を示す線と第２投影範囲を示す線とを異なる断層画像に重畳して表示手段に表示させる。上端１１３２、下端１１３３と上端１１５２、下端１１５３と識別可能なように異なる表示態様で表示されることとしてもよい。

図１２は本実施例において、Ｅｎ−Ｆａｃｅパノラマ画像生成処理の動作の一例を示すフローチャートである。

ステップＳ１０００およびＳ１０１０にて、実施例１と同様に３次元ＯＣＴ画像および３次元モーションコントラスト画像を生成する。また、ステップＳ１０２０およびＳ１０３０にて、実施例１と同様に、２次元パノラマ画像を生成するためのＥｎ−Ｆａｃｅ画像を生成する条件、すなわち、モード（３次元ＯＣＴ画像もしくは３次元モーションコントラスト画像）、検査領域（投影範囲）および合成対象となるＥｎ−Ｆａｃｅ画像を生成するための画像（３次元ＯＣＴ画像もしくは３次元モーションコントラスト画像）を選択する。

ステップＳ１０４０では、まず操作者の操作により、合成対象となるＥｎ−Ｆａｃｅ画像のうちの一つ目のＥｎ−Ｆａｃｅ画像を生成する生成条件を設定する。

操作者は、合成の精度や成功率の高くなるように、画像モード（第１の画像モード）ならびに１つ目の断層画像表示領域１１３０における投影範囲（第１投影範囲）を選択し、生成条件として指定する。その生成条件で、Ｅｎ−Ｆａｃｅ画像生成部３０４が合成対象となるＥｎ−Ｆａｃｅ画像を生成するための基データとなる部分領域ごとの３次元画像から複数のＥｎ−Ｆａｃｅ画像を生成する。例えば、第１の画像モードとしてモーションコントラスト画像を選択でき、第１投影範囲として表層を選択することができる。このとき、１つ目の断層画像から生成されるＥｎ−Ｆａｃｅ画像はＯＣＴＡ画像である。なお、表層のＯＣＴＡ画像においてコントラスト値が低いなどにより画像の情報量が乏しい場合は、深層など他の層を選択することができる。第１の画像モードおよび第１投影範囲を選択する際、パノラマ合成精度を評価関数として、第１の画像モードおよび第１投影範囲の選択を最適化する処理を加えてもよい。

ステップＳ１０５０では、操作者が、合成対象となるＥｎ−Ｆａｃｅ画像のうちの２つ目のＥｎ−Ｆａｃｅ画像を生成する条件を設定する。

操作者は、断層画像表示領域１１５０において検査対象となる投影範囲（第２投影範囲）を、生成条件として指定する。その生成条件で、Ｅｎ−Ｆａｃｅ画像生成部３０４が画像モード選択ボタン１１７１で選択された画像モード（第２の画像モード）にて合成対象となるＥｎ−Ｆａｃｅ画像を生成するための基データとなる部分領域ごとの３次元画像から部分領域ごとのＥｎ−Ｆａｃｅ画像を生成する。例えば、第２の画像モードとして輝度画像モードを選択でき、第２投影範囲として脈絡膜層などの検査対象の層を選択することができる。

なお、これらの組み合わせはこの限りではない。検査対象の層によって、操作者が第１の画像モード、第２の画像モード、第１投影範囲および第２投影範囲を選択することができる。

ステップＳ１０６０では、実施例１と同様の方法を用いて、ステップＳ１０４０とステップＳ１０５０で生成したＥｎ−Ｆａｃｅ画像を用いてパノラマ画像生成部３０５が複合Ｅｎ−Ｆａｃｅ画像を複数生成する。そしてステップＳ１０７０で、パノラマ画像生成部３０５は、生成された複数の複合Ｅｎ−Ｆａｃｅ画像をパノラマ合成して複合Ｅｎ−Ｆａｃｅパノラマ画像を実施例１と同様の方法を用いて生成する。

ステップＳ１０８０では、パノラマ画像生成部３０５は、生成された複合Ｅｎ−Ｆａｃｅパノラマ画像から、例えば断層画像表示領域１１３０で指定した第１投影範囲のＥｎ−Ｆａｃｅパノラマ画像と、断層画像表示領域１１５０で指定した第２投影範囲のＥｎ−Ｆａｃｅパノラマ画像と、を分離し、投影範囲毎にＥｎ−Ｆａｃｅパノラマ画像１１９１、１１９３を生成する。そして、制御部１０１は、それぞれを画面上のパノラマ画像表示領域１１９０、１１９２に表示させる。ここでは、投影範囲毎にパノラマ画像を生成し表示しているが、２つの投影範囲のうち一方のパノラマ画像のみを生成・表示することとしてもよい。なお、複合Ｅｎ−Ｆａｃｅパノラマ画像から複数のＥｎ−Ｆａｃｅパノラマ画像を分離する場合、操作者が投影範囲を指定しなくても、予め記憶部１０４に記憶してある投影範囲のパノラマ画像に自動で分離するようにしてもよい。

上述の実施例によれば、病眼のパノラマ画像を生成する場合などにおいて、操作者が複合Ｅｎ−Ｆａｃｅ画像に組み合わせる画像モードならびに投影範囲を指定することにより、合成に用いる画像の情報量が乏しくなるリスクを回避し、より確実に選択したモードでのＥｎ−Ｆａｃｅパノラマ画像を生成することができる。

上記方法により、事前に精度や成功率の高い生成範囲を指定しづらい場合においても、部分領域ごとの３次元画像から２次元のパノラマ画像を、より高い精度と成功率で正確に、かつ効率よく生成することができる。なお、断層画像上で指定できる投影範囲の数は２つに限定されるものではく、３以上であってもよく、指定可能とする投影範囲の数に応じた数の断層画像を表示することとすればよい。

（実施例３）
本実施例では、合成精度や成功率の高い画像モードおよび投影範囲のＥｎ−Ｆａｃｅ画像から算出された位置合わせ情報を、検査対象である画像モードおよび投影範囲のパノラマ画像を生成する際の位置合わせ情報として利用する例について説明する。ここでは一例として、ＯＣＴＡ画像の位置合わせ情報を用いて、輝度Ｅｎ−Ｆａｃｅ画像のパノラマ合成を行う場合を示す。

図１３は本実施例において、パノラマ画像生成処理の動作の一例を示すフローチャートである。

ステップＳ１２００およびＳ１２１０にて、実施例１と同様に３次元ＯＣＴ画像および３次元モーションコントラスト画像を生成する。また、ステップＳ１２２０およびＳ１２３０にて、実施例１と同様に、モード、検査領域および合成対象となるＥｎ−Ｆａｃｅ画像を生成するための３次元画像を選択する。

ステップＳ１２４０では、制御部１０１により設定された合成の精度や成功率の高い画像モード（第１の画像モード）および投影範囲（第１投影範囲）の組み合わせで、合成対象となるＥｎ−Ｆａｃｅ画像を生成する基データとなる部分領域ごとの３次元画像（３次元ＯＣＴ画像もしくは３次元モーションコントラスト画像）に対してＥｎ−Ｆａｃｅ画像を生成する。例えば、第１の画像モードはモーションコントラスト画像で、第１投影範囲は表層が選択される。この場合、ステップ１２４０で表層のＯＣＴＡ画像が生成される。

ステップＳ１２５０で、ステップ１２４０にて生成した各ＯＣＴＡ画像のＥｎ−Ｆａｃｅパノラマ合成を行い、その位置合わせ情報を算出する。そして、算出した位置合わせ情報を記憶部１０４に保持する。

ステップＳ１２６０で、操作者によって指定された検査対象の画像モード（第２の画像モード）および投影範囲（第２投影範囲）で、合成対象の各ボリュームデータに対してＥｎ−Ｆａｃｅ画像を生成する。例えば、第２の画像モードは輝度画像で、第２投影範囲は深層などが指定される。この場合、ステップ１２６０で輝度Ｅｎ−Ｆａｃｅ画像が生成される。

ステップＳ１２７０で、ステップＳ１２５０にて記憶部１０４に記憶されたＯＣＴＡパノラマ合成を行った際の位置合わせ情報を利用して、ステップＳ１２６０にて生成された輝度Ｅｎ−Ｆａｃｅ画像のパノラマ合成を行う。以上の処理フローによって、ＯＣＴＡ画像の位置合わせ情報を用いて、輝度画像モードでの検査対象範囲のパノラマ合成画像が得られる。本実施例では、実施例１と比較して、複合Ｅｎ−Ｆａｃｅ画像を生成する処理負荷や計算時間を短縮することができる。

なお、ＯＣＴＡ画像と輝度Ｅｎ−Ｆａｃｅ画像のうちの一方の位置合わせ情報を他方の位置合わせ情報に利用すればよく、第１の画像モード、第２の画像モード、第１投影範囲および第２投影範囲は上記の組み合わせに限らない。例えば、脈絡膜層の輝度Ｅｎ−Ｆａｃｅ画像の位置合わせ情報を利用して、深層のＯＣＴＡ画像のパノラマ画像を生成してもよい。

また、本実施例は実施例２と組み合わせることができる。すなわち、ステップＳ１２４０で生成する輝度Ｅｎ−Ｆａｃｅ画像の投影範囲は、ユーザーインターフェース上で操作者が指定してもよい。

（実施例４）
本実施例では、検査対象がパノラマ合成を行うための情報量を十分に持っているか否かによって処理フローを分岐して、パノラマ合成画像を生成する例であり、複合Ｅｎ−Ｆａｃｅ画像が、同一のモードで投影範囲ごとに生成されたＥｎ−Ｆａｃｅ画像の複合Ｅｎ−Ｆａｃｅ画像を用いてＥｎ−Ｆａｃｅパノラマ合成を行う例について説明する。

図１４は本実施例において、パノラマ画像生成処理の動作の一例を示すフローチャートである。

ステップＳ１３００およびＳ１３１０にて、実施例１と同様に３次元ＯＣＴ画像および３次元モーションコントラスト画像を生成する。

ステップＳ１３２０で、実施例１と同様に、モード、検査領域、および合成対象となるＥｎ−Ｆａｃｅ画像を生成するための３次元画像を指定する。さらに、後段の処理において複合Ｅｎ−Ｆａｃｅ画像を生成するか否かを選択する。指定された画像モードおよび投影範囲（第２投影範囲）のＥｎ−Ｆａｃｅ画像が合成のための情報に乏しい場合は、複合Ｅｎ−Ｆａｃｅ画像生成ありを選択して制御部１０１内に登録する。指定された画像モードおよび投影範囲のＥｎ−Ｆａｃｅ画像が合成のための情報を十分に持つ場合は、複合Ｅｎ−Ｆａｃｅ画像生成なしを選択して制御部１０１内に登録する。ここで、複合Ｅｎ−Ｆａｃｅ画像は、同一のモードで投影範囲ごとに生成されたＥｎ−Ｆａｃｅ画像の複合Ｅｎ−Ｆａｃｅ画像とすることもできる。

例えば、脈絡膜層のパノラマ画像を生成する場合、モーションコントラスト画像モードで画像生成する場合は、表層と対象層の複合Ｅｎ−Ｆａｃｅ画像生成ありを選択し、輝度画像モードで画像生成する場合は、複合Ｅｎ−Ｆａｃｅ画像生成なしを選択することができる。複合Ｅｎ−Ｆａｃｅ画像生成の有無は、例えば操作者がユーザーインターフェースで部分領域ごとのＥｎ−Ｆａｃｅ画像のうちの代表位置のＥｎ−Ｆａｃｅ画像を観察しながら選択することもできる。また、部分領域ごとに生成された第２投影範囲のＥｎ−Ｆａｃｅ画像の少なくとも一部の画像のコントラストが閾値以下である場合に、制御部が、複合Ｅｎ−Ｆａｃｅ画像生成ありを選択しても良いし、コントラス値に基づいて操作者が選択してもよい。

ステップＳ１３３０で、実施例１と同様に合成対象となる３次元画像（３次元ＯＣＴ画像もしくは３次元モーションコントラスト画像）を選択する。また、ステップＳ１３４０で、Ｓ１３２０で指定した画像モードおよび投影範囲を生成条件として、選択された各３次元画像のＥｎ−Ｆａｃｅ画像を実施例１と同様に生成する。

ステップＳ１３５０で、ステップＳ１３２０にて選択された複合Ｅｎ−Ｆａｃｅ画像生成有無に応じて次の処理が分岐される。

ステップＳ１３５０で複合Ｅｎ−Ｆａｃｅ画像生成ありと判定された場合、同一のモードで投影範囲ごとに生成されたＥｎ−Ｆａｃｅ画像の複合Ｅｎ−Ｆａｃｅ画像を、実施例１の複合Ｅｎ−Ｆａｃｅ画像生成方法と同様に生成し、パノラマ合成を行う。つまり、図１４のステップＳ１３６０、Ｓ１３７０、Ｓ１３８０、Ｓ１３９０を実施することで、パノラマ合成画像を生成する。一方、ステップＳ１３５０で複合Ｅｎ−Ｆａｃｅ画像生成なしと判定された場合は、ステップＳ１４００にて、ステップＳ１３４０で生成された部分領域ごとの複数のＥｎ−Ｆａｃｅ画像からパノラマ合成画像を生成する。

以上のようにして、ＯＣＴＡ画像からパノラマ合成画像を生成する場合、同一のモードで投影範囲ごとに生成されたＥｎ−Ｆａｃｅ画像の複合Ｅｎ−Ｆａｃｅ画像を生成し、輝度Ｅｎ−Ｆａｃｅ画像からパノラマ合成画像を生成する場合は複合Ｅｎ−Ｆａｃｅ画像を生成しない、という処理が行われる。同一のモードで投影範囲ごとに生成されたＥｎ−Ｆａｃｅ画像の複合Ｅｎ−Ｆａｃｅ画像を生成する場合、例えば、輝度画像モードで、第１投影範囲として、脈絡膜層、表層、ＩＳ／ＯＳラインからＲＰＥまでの範囲のうちのいずれかを設定してＥｎ−Ｆａｃｅ画像を生成し、さらに、対象となる層のＥｎ−Ｆａｃｅ画像との複合Ｅｎ−Ｆａｃｅ画像を生成してもよい。

このように、画像モードの組み合わせはこれに限らず、検査対象によって、輝度Ｅｎ−Ｆａｃｅ画像からパノラマ合成画像を生成する場合は複合Ｅｎ−Ｆａｃｅ画像を生成し、ＯＣＴＡ画像からパノラマ合成画像を生成する場合は複合Ｅｎ−Ｆａｃｅ画像を生成しない、という選択を行うこともできる。

なお、上記実施例では、Ｅｎ−Ｆａｃｅ画像がパノラマ合成を行うための情報量を十分に持っているか否かによって処理フローを分岐する構成としたが、画像モードおよび投影範囲の条件に応じて、予め複合Ｅｎ−Ｆａｃｅ画像生成有無を記憶部１０４に登録し、それに応じて処理フローを分岐する構成としてもよい。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、実施例を参照して本発明について説明したが、本発明は上記実施例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

１０１ 制御部
１０４ 記憶部
３０１ 断層画像取得部
３０２ ３次元画像生成部
３０３ 合成内容選択部
３０４ Ｅｎ−Ｆａｃｅ画像生成部
３０５ パノラマ画像生成部

Claims (10)

1. 被検眼の部分領域の、３次元ＯＣＴ画像と、３次元モーションコントラスト画像とを、取得する取得手段と、
   前記部分領域ごとに、
   前記３次元モーションコントラスト画像から、第１の投影範囲で投影した第１のＯＣＴＡ画像と、前記第１の投影範囲とは異なる第２の投影範囲で投影した第２のＯＣＴＡ画像とを生成し、前記３次元ＯＣＴ画像から、第３の投影範囲で投影した輝度Ｅｎ−Ｆａｃｅ画像を生成する２次元Ｅｎ−Ｆａｃｅ画像生成手段と、
   前記部分領域ごとに生成した２次元Ｅｎ−Ｆａｃｅ画像からパノラマ合成画像を生成するパノラマ合成画像生成手段と、
   を有する画像処理装置であって、
   前記パノラマ合成画像生成手段が、
   前記部分領域ごとに生成した第２のＯＣＴＡ画像のパノラマ合成画像の生成には、少なくとも前記部分領域ごとに生成した第１のＯＣＴＡ画像の位置合わせ情報を利用し、前記部分領域ごとに生成した輝度Ｅｎ−Ｆａｃｅ画像のパノラマ合成画像の生成には、前記部分領域ごとに生成した輝度Ｅｎ−Ｆａｃｅ画像の位置合わせ情報を利用することを特徴とする画像処理装置。
2. 前記第１の投影範囲が前記被検眼の網膜の表層に対応する深度範囲であり、前記第２の投影範囲が網膜の深層に対応する深度範囲であることを特徴とする請求項１に記載の画像処理装置。
3. 前記部分領域ごとに生成した第１のＯＣＴＡ画像の位置合わせ情報の利用が、前記部分領域ごとに、前記第１のＯＣＴＡ画像と前記第２のＯＣＴＡ画像の複合Ｅｎ−Ｆａｃｅ画像を生成して、位置合わせを行うことであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第３の投影範囲が、前記第２の投影範囲であることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 被検眼の部分領域の、３次元ＯＣＴ画像と、３次元モーションコントラスト画像とを、取得する取得手段と、
   前記部分領域ごとに、
   前記３次元モーションコントラスト画像から第１の投影範囲で投影した第１のＯＣＴＡ画像、および、前記３次元ＯＣＴ画像から第２の投影範囲で投影した輝度Ｅｎ−Ｆａｃｅ画像を生成する２次元Ｅｎ−Ｆａｃｅ画像生成手段と、
   前記部分領域ごとに生成した２次元Ｅｎ−Ｆａｃｅ画像のパノラマ合成画像生成手段と、を有し、
   前記パノラマ画像生成手段が、
   前記部分領域ごとに生成した、前記第１のＯＣＴＡ画像および前記輝度Ｅｎ−Ｆａｃｅ画像のうちの、一方の２次元Ｅｎ−Ｆａｃｅ画像のパノラマ合成画像を生成する際に、少なくとも、他方の２次元Ｅｎ−Ｆａｃｅ画像の位置合わせの情報を利用することを特徴とする画像処理装置。
6. 前記他方の２次元Ｅｎ−Ｆａｃｅ画像の位置合わせの情報の利用が、前記部分領域ごとに、前記第１のＯＣＴＡ画像と前記輝度Ｅｎ−Ｆａｃｅ画像との複合Ｅｎ−Ｆａｃｅ画像を生成して、位置合わせを行うことであることを特徴とする請求項５に記載の画像処理装置。
7. 前記画像処理装置が、さらに、
   前記パノラマ合成の対象とする、前記部分領域ごとに生成した、一方の２次元Ｅｎ−Ｆａｃｅ画像の少なくとも一部の画像のコントラスト値を解析する解析手段と、
   を有し、
   前記コントラスト値が閾値以下である場合に、
   前記パノラマ合成画像生成手段が、
   前記部分領域ごとに生成した、他方の２次元Ｅｎ−Ｆａｃｅ画像の位置合わせの情報を利用することを特徴とする請求項５または６に記載の画像処理装置。
8. 隣接する前記部分領域は、一部が重なっていることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像生成手段が、操作者による、前記第１の投影範囲もしくは前記第２の投影範囲を指定する操作を受け付けることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 被検眼の部分領域の、３次元ＯＣＴ画像と、３次元モーションコントラスト画像とを、取得する工程と、
    前記３次元モーションコントラスト画像から、第１の投影範囲で投影した第１のＯＣＴＡ画像と、前記第１の投影範囲とは異なる第２の投影範囲で投影した第２のＯＣＴＡ画像を生成し、前記３次元ＯＣＴ画像から、第３の投影範囲で投影した輝度Ｅｎ−Ｆａｃｅ画像を生成するＥｎ−Ｆａｃｅ画像生成工程と、
    前記部分領域ごとに生成したＥｎ−Ｆａｃｅ画像からパノラマ合成画像を生成する工程と、を有する画像処理方法であって、
    前記パノラマ合成画像を生成する工程が、
    前記部分領域ごとに生成した第２のＯＣＴＡ画像のパノラマ合成画像の生成には、少なくとも、前記第１のＯＣＴＡ画像の位置合わせ情報を利用し、前記部分領域ごとに生成した輝度Ｅｎ−Ｆａｃｅ画像のパノラマ合成画像の生成には、前記輝度Ｅｎ−Ｆａｃｅ画像の位置合わせ情報を利用する工程であることを特徴とする画像処理方法。

Images