JP2018075229A - 画像処理方法、画像処理装置およびプログラム - Google Patents

Abstract

【課題】被検体の三次元ＯＣＴ断層像に対して被検体の正面像を対応付けることを容易にし、読影が容易な画像を生成する【解決手段】測定光を照射した被検体の戻り光と測定光に対応する参照光とを干渉して得た干渉信号セットを用いて生成される被検体の三次元断層像を取得する断層像取得工程と、被検体の正面像を取得する正面像取得工程と、三次元断層像において正面像と対応する境界面の形状情報を取得する情報取得工程と、取得された形状情報を用いて正面像を立体像に変形する変形工程と、より画像処理を行う。【選択図】 図４

Description

本発明は、画像処理方法、画像処理装置およびプログラムに関する。

低コヒーレント光による干渉を利用した光干渉断層法（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を用いて被検体の断層像（以下ＯＣＴ断層像）を取得する断層画像撮影装置が知られている。このような断層画像撮影装置により眼底を撮影することによって、網膜層内部の状態を三次元的に観察することができる。断層画像撮影装置により得た画像は疾病の診断をより的確に行なう上で有用であるため、近年注目を集めている。また、ＯＣＴ断層像において、網膜の形態変化を計測できれば、緑内障や病的近視などの疾病の進行度や治療後の回復具合を定量的に診断することができる。

一方、被検眼の眼底の診断には眼底正面像も有用であり、該正面像取得のためには眼底カメラや走査型レーザー検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｚｅｒ Ｏｐｈｔａｌｍｏｓｃｏｐｅ）等が用いられる。また、眼底の正面像を用いた検査では、カラー眼底撮影のほか、フルオレセイン蛍光眼底撮影（ＦＡ）やインドシアニングリーン蛍光眼底撮影（ＩＣＧ）、眼底自発蛍光撮影（ＦＡＦ）等によっても行われる。これら撮影法は、網膜における特定の層の病変検査や機能検査が可能であるため、眼底検査では必要不可欠な検査となっている。

ここで、これら眼底正面像とＯＣＴ断層像において、各々の画像から得られる網膜各層に関する情報や疾患部位の情報を対応づけられると、両画像間での疾患の比較作業が容易になる。その結果、画像からの被検眼の状態の適切な読影が容易に実行できる。このような技術に関して、特許文献１では、眼底正面像とＯＣＴ断層像の両者を並べて表示する技術が開示されている。当該技術では、ＯＣＴ断層像より得た異常部位の配置を眼底正面像に投影し、ＯＣＴ断層像で得られる疾患部位や血管走行などについての情報との対応位置関係を眼底正面像上に表示している。

特開２００８−１５４７０４号公報

ここで、後部ぶどう腫等の立体的に把握すべき疾患を有する被検眼を読影する場合には、一般的には立体像を用いた方が読影し易い。ところで、三次元のＯＣＴ断層像には後部ぶどう腫の境界が分かり難く、一方、正面像にはその境界が明瞭である場合があることに、本願の発明者が初めて気がついた。このため、後部ぶどう腫等の立体的に把握すべき疾患を有する被検眼の正面像を、三次元のＯＣＴ断層像のように立体的に観察することが望まれる。しかし、特許文献１に開示される表示形態の場合、単に二次元のＯＣＴ断層像と二次元の眼底の正面像とが並べて表示されるだけであり、眼底の正面像だけで疾患を正確に読影することは容易ではない。

本発明の目的の一つは、被検体の三次元ＯＣＴ断層像に対して被検体の正面像を対応付けることを容易にし、読影が容易な画像を生成することである。

本発明の一態様に係る画像処理方法は、
測定光を照射した被検体からの戻り光と前記測定光と対応する参照光とを干渉して得た干渉信号セットを用いて生成される前記被検体の三次元断層像を取得する断層像取得工程と、
前記被検体の正面像を取得する正面像取得工程と、
前記三次元断層像において前記正面像と対応する境界面の形状情報を取得する情報取得工程と、
前記取得された形状情報を用いて前記正面像を立体像に変形する変形工程と、を含むことを特徴とする。

本発明の一つによれば、被検体の三次元ＯＣＴ断層像に対して被検体の正面像を対応付けることを容易にし、読影が容易な画像を生成できる。

本発明の実施例において、三次元断層像を取得するＯＣＴ装置の一例の構成を示す模式図である。 本発明の実施例において、眼底平面像の取得に用いる撮像装置の一例であるＳＬＯ装置の構成を示す模式図である。 本発明の実施例における画像処理の全体的な手順を表すフローチャートである。 本発明の実施例における画像処理方法の一例を表す説明図である。 本発明の実施例における表示画面の一例を表す図である。 本発明の実施例における形状情報の算出方法の一例を説明する図である。 本発明の実施例における形状情報の算出方法の他の例を説明する図である。 本発明の実施例における形状情報の算出方法のさらに他の例を説明する図である。 本発明の実施例における特定の疾患への適用の仕方の一例を表す図である。 本発明の実施例における他の特定の疾患への適用の仕方の一例を表す図である。

以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する形状、或いは構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。

［ＯＣＴ装置の構成］
本実施例において、ＯＣＴ断層像を生成する際に用いる三次元断層像を生成可能な三次元断層情報は、図１に示す画像形成装置を用いて取得する。図１は、本発明の一実施例における光干渉断層撮像法を用いた画像形成装置（ＯＣＴ装置）の構成例を示す図である。図１に示すＯＣＴ装置は、ＯＣＴ光学系２００およびＯＣＴ情報処理部３００より構成される。

＜ＯＣＴ光学系２００の説明＞
ＯＣＴ光学系２００は、光源部１０、ＯＣＴ干渉部２０、測定アーム５０、および参照アーム６０を有する。なお、測定アーム５０および参照アーム６０内では測定光および参照光等は空間光として伝播されるが、その他の領域では測定光は光ファイバによって伝播される。

光源部１０には、射出される光の周波数が掃引される波長掃引光源が用いられる。ＯＣＴ干渉部２０は、カプラ２１、２２を有する。カプラ２１は、光源部１０から射出された光を測定光と参照光とに分割する。測定光は、測定アーム５０を経由して被検眼１００の眼底に照射される。被検眼１００を経た測定光の戻り光は、測定アーム５０を逆に辿りカプラ２１に戻る。カプラ２１に至った戻り光は、さらにカプラ２２に導かれる。参照光は、参照アーム６０を経由してカプラ２２に至る。カプラ２２では戻り光と参照光とが合波され、干渉光が生成される。該干渉光は、後述するＯＣＴ情報処理部３００に導かれる。

測定アーム５０は、偏光コントローラ５１、コリメータレンズ５２、Ｘ軸スキャナー５３、Ｙ軸スキャナー５４およびフォーカスレンズ５５を有する。測定アーム５０に入射した測定光は、偏光コントローラ５１で偏光状態を整えられた後、コリメータレンズ５２から空間光として射出される。射出された測定光は、Ｘ軸スキャナー５３、Ｙ軸スキャナー５４、およびフォーカスレンズ５５を介して被検眼１００の眼底に照射される。なお、Ｘ軸スキャナー５３およびＹ軸スキャナー５４は眼底を測定光で走査する機能を有する走査部を構成する。該走査部によって、測定光の眼底への照射位置が変えられる。測定光の眼底からの後方散乱光（反射光）は、戻り光として再びフォーカスレンズ５５に至る。該フォーカスレンズ５５に至った戻り光は、Ｙ軸スキャナー５４およびＸ軸スキャナー５３を経てコリメータレンズ５２に入射する。該戻り光は、さらに偏光コントローラ５１を経由して測定アーム５０から射出され、カプラ２１を経由してカプラ２２に入射する。

参照アーム６０は、偏光コントローラ６１、コリメータレンズ６２、分散補償ガラス６３、光路長調整光学系６４、分散調整プリズムペア６５およびコリメータレンズ６６を有する。参照アーム６０に入射した参照光は、偏光コントローラ６１で偏光状態を整えられた後、コリメータレンズ６２から空間光として射出される。射出された参照光は分散補償ガラス６３、光路長調整光学系６４、分散調整プリズムペア６５を通り、コリメータレンズ６６に入射する。ここで、分散補償ガラス６３および分散調整プリズムペア６５は、測定光が経る被検眼１００等の分散に対して参照光の光路中での分散を合わせるために用いられる。

光路長調整光学系６４は不図示の駆動系によって図中矢印方向に移動し、参照光の光路長を調整するために用いられる。該光路長調整光学系６４によって参照光の光路長と測定光の光路長とが一致させられると、これら光を合波した際に干渉が得られる。コリメータレンズ６６に入射した参照光は、参照アーム６０から射出されてカプラ２２に入射する。カプラ２２では、測定アーム５０を経由した被検眼１００からの戻り光と参照アーム６０を経由した参照光とが合波され、干渉光が生成される。生成された干渉光は情報処理部３００に入力される。

なお、Ｘ軸スキャナー５３、Ｙ軸スキャナー５４、フォーカスレンズ５５、光路長調整光学系６４、および光源部１０は、不図示のＯＣＴ装置用制御部に接続される。該ＯＣＴ装置用制御部は、上述したように、被検眼１００の眼底上の所定位置に測定光を照射して干渉光を得るために、適宜これら構成を制御する。なお、これら構成はＯＣＴ情報処理部３００によって制御されてもよい。

＜ＯＣＴ情報処理部３００＞
ＯＣＴ情報処理部３００は、信号取得部３１、信号処理部３２、表示制御部３３、および表示部３４を有する。信号取得部３１にはカプラ２２より干渉光が入力されており、該干渉光より、等波数間隔でデジタル信号としての干渉信号を取得する機能を有する。信号処理部３２では、信号取得部３１が取得したデジタル信号に対してフーリエ変換などの周波数分析を行う。これにより、被検眼１００の眼底における深さ方向の各位置における断層情報が得られる。信号処理部３２では、さらに、得られた断層情報から画像の生成、生成された画像の解析、解析結果の可視情報の生成、および画像の変形等が行われる。

信号処理部３２で生成される画像や解析結果は表示制御部３３に送られ、表示制御部３３によって表示部３４の表示画面に表示される。また、これら干渉信号、画像、および解析結果は、被検眼１００に付随する患者情報、および検査条件等と共に、信号処理部３２に付随する記憶部に記憶される。ここで、表示部３４は、例えば液晶等のディスプレイにより構成される。なお、信号処理部３２で生成された画像データは表示制御部３３に送られた後、表示部３４に有線で送信されてもよいし、無線で送信されてもよい。

また、本実施例において表示部３４等はＯＣＴ情報処理部３００に含まれているが、表示部３４等の態様はこれに限られない。表示部３４はＯＣＴ情報処理部３００とは別に設けられてもよく、例えばユーザが持ち運び可能な装置の一例であるタブレットでもよい。この場合、表示部にタッチパネル機能を搭載させ、タッチパネル上で画像の表示位置の移動、拡大縮小、および表示される画像の変更等を操作可能に構成することが好ましい。また、ＯＣＴ情報処理部３００は、ＯＣＴ光学系２００と一体化した構成としてもよく、専用のコンピュータとして構成してもよい。また、該ＯＣＴ情報処理部３００は、上述したＯＣＴ装置用制御部と接続されていることが好ましい。

なお、本実施例ではＯＣＴ装置として、測定光の波長を変化させるＳＳ−ＯＣＴ（Ｓｗｅｐｔ−Ｓｏｕｒｃｅ ＯＣＴ）装置を用いた場合を例示した。しかし、用いるＯＣＴ装置はこれに限られず、広帯域波長の光を用いるＳＤ−ＯＣＴ（Ｓｐｅｃｔｒａｌ−Ｄｏｍａｉｎ ＯＣＴ）装置等、他の公知の構成からなるＯＣＴ装置を用いることが可能である。

以上に述べたＯＣＴ装置を用い、被検眼１００の眼底の任意の位置に測定光を照射して、当該位置での奥行き方向の断層に関する情報を取得する操作をＡ−ｓｃａｎと称する。また、この奥行き方向をＡ−ｓｃａｎ方向と称する。Ａ−ｓｃａｎ方向と直交する方向に測定光を走査して複数回のＡ−ｓｃａｎを実行し、被検眼１００における該方向に並ぶ複数の断層に関する情報を取得する操作をＢ−ｓｃａｎと称し、該方向をＢ−ｓｃａｎ方向と称する。この奥行き方向と当該方向とから得られる情報から、被検眼１００の眼底における深さ方向の二次元断層像が取得できる。さらにＡ−ｓｃａｎ方向およびＢ−ｓｃａｎ方向の何れとも直交する方向に測定光を走査することをＣ−ｓｃａｎと称し、当該方向をＣ−ｓｃａｎ方向と称する。三次元断層像を取得する際に眼底面内において測定光を二次元ラスター走査する場合、高速な走査方向がＢ−ｓｃａｎ方向に対応する。また、Ｂ−ｓｃａｎをその直交方向に並べるように測定光を低速で走査する走査方向がＣ−ｓｃａｎ方向に対応する。Ａ−ｓｃａｎおよびＢ−ｓｃａｎを行うことで二次元の断層像が得られ、Ａ−ｓｃａｎ、Ｂ−ｓｃａｎおよびＣ−ｓｃａｎを行うことで、三次元の断層像を得ることができる。

測定光のＢ−ｓｃａｎおよびＣ−ｓｃａｎは、上述したＸ軸スキャナー５３およびＹ軸スキャナー５４により眼底上での測定光の照射位置を変化させることで行われる。Ｘ軸スキャナー５３およびＹ軸スキャナー５４は、それぞれ回転軸が互いに直交するよう配置された偏向ミラーで構成されている。Ｘ軸スキャナー５３は測定光のＸ軸方向の走査を行い、Ｙ軸スキャナー５４は測定光のＹ軸方向の走査を行う。Ｘ軸方向およびＹ軸方向の各方向は、眼球の眼軸方向に対して垂直な方向で、互いに垂直な方向である。また、Ｂ−ｓｃａｎ方向およびＣ−ｓｃａｎ方向はＸ軸方向およびＹ軸方向と一致していることが多いが、一致していなくてもよい。このため、Ｂ−ｓｃａｎ方向およびＣ−ｓｃａｎ方向は、撮像したい二次元の断層像あるいは三次元の断層像に応じて、適宜決めることができる。

［眼底正面像撮影装置の構成］
本実施例において、眼底正面像を生成する際には、眼底正面像撮影装置として照明光走査型の眼底正面像撮影装置（ＳＬＯ装置）を用いている。図２は、本発明の一実施例における眼底正面像を取得するＳＬＯ装置の構成例を示す図である。なお、眼底正面像を取得する装置はここで例示する様式のＳＬＯ装置に限ったものではなく、ＡＯ（Ａｄａｐｔｉｖｅ Ｏｐｔｉｃｓ）−ＳＬＯ装置、および眼底カメラなど、眼底正面像を生成できる装置ならば用いることができる。また、眼底正面像を撮影する装置或いは構成は、前述したＯＣＴ装置内に実装されていてもよく、ＯＣＴ装置とは独立していてもよい。

以下、図２を参照して、本実施例において用いたＳＬＯ装置について説明する。該ＳＬＯ装置は、ＳＬＯ光学系５００とＳＬＯ情報処理部５３０とを有する。ＳＬＯ光学系５００は、前眼部観察用の光路ＬＰ１に配置される構成と、眼底撮影用の光路ＬＰ２に配置される構成とを有する。ダイクロイックミラー５０２は、被検眼１００からの光路を、前眼部観察用光路ＬＰ１と固視灯およびＳＬＯ光学系の眼底撮影用光路ＬＰ２とに波長帯域ごとに分岐する。被検眼１００の光軸上正面には対物レンズ５０１−１が配置され、被検眼１００に対する対物レンズ５０１−１の後ろにダイクロイックミラー５０２が配置される。前眼部観察用光路ＬＰ１は該ダイクロイックミラー５０２の透過方向に配置され、眼底撮影用光路ＬＰ２は該ダイクロイックミラー５０２の反射方向に配置される。

以下、被検眼に照射する照明光を発するＳＬＯ光源５１０からダイクロイックミラー５０２の間に配置される、眼底撮影用光路ＬＰ２上の構成について述べる。ＳＬＯ光源５１０は７８０ｎｍ付近に中心値を持つ眼底撮像用の光源であり、ＡＰＤ（Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏｄｉｏｄｅ）５１２は７８０ｎｍ付近に感度を持つ眼底撮像用のセンサである。なお、本明細書における波長の具体的な数値は例示であり、他の数値としてもよい。ＳＬＯ光源５１０より射出された照明光は、第二のダイクロイックミラー５０８により眼底撮影用光路ＬＰ２方向に反射される。

眼底撮影用光路ＬＰ２における第二のダイクロイックミラー５０８の透過方向には、固視灯５０９が配置される。該固視灯５０９は可視光を発生し、被検者にこの可視光の発光位置を注視させることによって被検眼の固視を促すものである。第二のダイクロイックミラー５０８の次には、孔あきミラー５０６が配置される。照明光および固視光は、該孔あきミラー５０６の孔部を通過し、眼底撮影用光路ＬＰ２に配置される後述する各光学要素を経て被検眼１００に至る。孔あきミラー５０６の反射方向には、上述したＡＰＤ５１２が配置される。

孔あきミラー５０６から被検眼１００方向には、レンズ５０５、ＳＬＯフォーカスレンズ５０７、ガルバノスキャナー５０４、共振スキャナー５０３、レンズ５０１−２、およびミラー５１１が配置される。ＳＬＯ光源５１０および固視灯５０９から射出された光束は何れも共振スキャナー５０３、ガルバノスキャナー５０４の付近で一度結像し、被検眼１００の眼底付近で再度結像する。不図示のモータによって、ＳＬＯフォーカスレンズ５０７が眼底撮影用光路ＬＰ２に沿った図中の矢印方向に移動することにより、照明光の二度目の結像位置を被検眼５４０の眼底面と一致させる。共振スキャナー５０３は、照明光を眼底上でＸ方向に主走査する。該共振スキャナー５０３に連動させて、ガルバノスキャナー５０４により照明光を眼底上でＹ方向に副走査することで、照明光による眼底面上の２次元走査を実行する。

前眼部観察用光路ＬＰ１上には、ダイクロイックミラー５０２から順に、レンズ５２２、５２３、および前眼部観察用のＣＣＤ５２４が配置される。ＣＣＤ５２４は不図示の前眼部観察用照明光の波長、具体的には９７０ｎｍ付近に感度を有する。前眼観察用照明光により照明された被検眼１００からの反射光は、ＣＣＤ５２４により前眼部像として撮影される。

補正ＰＤ（ＰｈｏｔｏＤｉｏｄｅ）５２５は、共振スキャナー５０３の走査状態を検知するためのセンサである。共振スキャナー５０３は、照明光を高速で往復走査できる半面、照明光の走査位置は走査タイミングより推定することを要する。補正ＰＤ５２５により走査タイミングに関する情報を取得することにより、照明光の走査位置を推定できる。

ＳＬＯ情報処理部５３０は、制御部５３１、記憶部５３２、および画像生成部５３３を有し、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）より構成される。制御部５３１は、ＳＬＯ光学系５００の全体、具体的には、ＳＬＯフォーカスレンズ５０７、固視灯５０９、ＳＬＯ光源５１０、共振スキャナー５０３、ガルバノスキャナー５０４の駆動あるいは点灯等を制御する。制御部５３１は、例えばＣＰＵ等の処理装置を備える。記憶部５３２は、制御部５３１を実行するためのプログラムやデータなどを記憶している。画像生成部５３３は、ＡＰＤ５１２により受光された眼底反射光の強度、および補正ＰＤ５２５より得られる共振スキャナー５０３の走査位置情報等を用いて、眼底正面像を生成する。記憶部５３２は、この生成された眼底正面像、撮影条件、および被検眼に関する情報等を関連付けて記憶する。

なお、以上に述べた実施例では、ＯＣＴ装置およびＳＬＯ装置を個別に配置されるように図示している。しかし、例えばダイクロイックミラー等を介して、測定アーム５０の光路と、眼底撮影用光路ＬＰ２とが共用する部分を設けて、これら装置を単一の複合装置としてもよい。また、この場合、ＯＣＴ情報処理部３００は、ＳＬＯ情報処理部５３０を兼ねてもよい。或いは記憶部等、任意の構成を部分的に共用する態様としてもよい。また、各装置における光学部材の配置も、例えばＳＬＯ装置におけるＳＬＯ光源５１０と固視灯５０９の配置等、交換可能な構成を交換してもよい。

［画像形成方法の説明］
次に図３を使い、本発明の一実施例である画像処理方法について説明する。本発明の画像処理方法は、第一の信号取得工程Ｓ１００、第二の信号取得工程Ｓ１０１、形状解析工程Ｓ１０２、サーフェスレンダリング工程Ｓ１０３、および表示工程Ｓ１０４を有する。なお、第一の信号取得工程Ｓ１００および形状解析工程Ｓ１０２はＯＣＴ装置における信号処理部３２により、第二の信号取得工程Ｓ１０１はＳＬＯ装置における画像生成部５３３により実行される。サーフェスレンダリング工程Ｓ１０３は上述した信号処理部３２により実行され、表示工程Ｓ１０４は表示制御部３３および表示部３４により実行される。各工程について、以下に説明する。

第一の信号取得工程Ｓ１００では、第一の信号取得手段としてのＯＣＴ装置により、眼底の三次元断層像を形成する干渉信号セットを取得する。ＯＣＴ装置により、測定光で眼底上の所定の範囲を二次元ラスタスキャンすることで、信号取得部３１は三次元断層像を形成するのに必要な干渉信号セットを取得する。なお、本実施例において、眼底の所定領域を測定光により二次元ラスタスキャンすることで取得した三次元断層像を生成するための複数の干渉信号群を干渉信号セットと称する。

ここで、第一の信号取得工程Ｓ１００において、眼底からの干渉信号セットの取得とあわせて、信号処理部３２がノイズ除去用のバックグラウンド信号を取得してもよい。バックグラウンド信号は、例えば、測定光の戻り光を遮断して参照光のみの光信号を取得すればよい。あるいは、Ｂ−ｓｃａｎにより取得した干渉信号セットを平均する等によりバックグラウンド信号を生成してもよい。

第二の信号取得工程Ｓ１０１では、第二の信号取得手段としてのＳＬＯ装置により、被検眼１００の眼底正面像を形成する第二の信号を取得する。第二の信号は、被検眼１００の眼底正面像を生成するためのものであり、本実施例ではＳＬＯ装置における画像生成部５３３により取得される。また、画像生成部５３３は、第二の信号の取得と共に当該信号を用いて眼底正面像も生成する（正面像生成工程）。なお、第二の信号取得に用いられる撮影装置は、前述したようにＳＬＯ装置（走査型レーザー検眼鏡）に限定されず、眼底カメラ等の眼底正面像を取得可能な種々の装置を用いることが可能である。従って、第二の信号も眼底正面像を生成可能な信号であれば、その種類、および態様等は限定されない。

本実施例では、第一の信号取得工程Ｓ１００と第二の信号取得工程Ｓ１０１とは順次実行されることとしている。しかし、ＯＣＴ装置内にＳＬＯ装置を実装する構成の場合、第一の信号取得工程Ｓ１００と、第二の信号取得工程Ｓ１０１とを同時に行なってもよい。別々の工程であれば、例えば、ＯＣＴ装置で眼底を広範囲に撮影し、ＳＬＯ装置では必要な箇所に撮影領域を絞るような撮影もできる。

形状解析工程Ｓ１０２において、信号処理部３２は第一の信号取得工程Ｓ１００で得た干渉信号セットに対してＦＦＴ（高速フーリエ変換）処理等を行い、三次元断層像を生成する。信号処理部３２は、生成された三次元断層像に対し、さらにセグメンテーションおよび層形状解析の処理を行い、眼底における網膜の各層境界（各層間の境界面）の形状情報を取得する。ここで、取得した干渉信号セットを用いて形状情報を生成するまでの流れについて説明する。なお、形状解析工程Ｓ１０２は、以下の三次元断層像生成工程Ｓ１０２ａ、セグメンテーション工程Ｓ１０２ｂ、および層形状解析工程Ｓ１０２ｃを含む。

三次元断層像生成工程Ｓ１０２ａにおいて、信号処理部３２は、三次元断層像生成手段として、干渉信号セットを用いて三次元断層像を生成する。具体的には、信号処理部３２は、まず、干渉信号から固定パターンノイズの除去を行う。固定パターンノイズの除去は、上述したバックグラウンド信号を干渉信号から減算することで行われる。次に、深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。その後、ＦＦＴ処理を行うことによって一Ａ−ｓｃａｎに基づく深さ方向の輝度画像を生成する。Ｂ−ｓｃａｎにより得た干渉信号セットに含まれる干渉信号の各々に対して、以上の処理を行うことで深さ方向の二次元断層像としての輝度画像を生成する。さらに、当該処理は、Ｃ−ｓｃａｎ方向に並ぶ連続した複数のＢ−ｓｃａｎにより得た複数の干渉信号セットに対しても行われる。これにより、被検眼眼底の三次元断層像が生成できる。

なお、信号処理部３２は、画像生成にあたって、既知の画質向上処理をおこなってもよい。例えば、同一箇所を複数回撮影したデータを重ね合わせして平均化することで、ランダムノイズを低減してもよい。またこの場合、さらに、重ね合わせの前に位置ずれ補正を行ってもよい。

次に、セグメンテーション工程Ｓ１０２ｂで、三次元断層像生成工程Ｓ１０２ａで生成した三次元断層像に対し、セグメンテーションを行う。ここで、網膜のセグメンテーションについて説明する。まず、信号処理部３２は、処理対象とする断層像に対して、メディアンフィルタとＳｏｂｅｌフィルタとをそれぞれ適用して画像を作成する（以下、それぞれメディアン画像、Ｓｏｂｅｌ画像と称する）。次に、信号処理部３２は、作成したメディアン画像とＳｏｂｅｌ画像から、Ａスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。そして、Ｓｏｂｅｌ画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を抽出する。

以上の処理により信号処理部３２が抽出する境界は、例えば次の６層の境界が挙げられる。即ち、
１） 神経線維層（ＮＦＬ）、
２） 神経節細胞層（ＧＣＬ）＋内網状層（ＩＰＬ）を合わせた層、
３） 内顆粒層（ＩＮＬ）＋外網状層（ＯＰＬ）を合わせた層、
４） 外顆粒層（ＯＮＬ）＋外境界膜（ＥＬＭ）を合わせた層、
５） Ｅｌｌｉｐｓｏｉｄ Ｚｏｎｅ（ＥＺ）＋Ｉｎｔｅｒｄｉｇｉｔａｔｉｏｎ Ｚｏｎｅ（ＩＺ）＋網膜色素上皮（ＲＰＥ）を合わせた層、および
６） 脈絡膜（Ｃｈｏｒｏｉｄ）、の境界が抽出される。
ここで、網膜の層構造は既知である。境界の抽出後、どの境界の間の層がどの網膜層に対応するかのレジストレーションが行なわれ、信号処理部３２により解剖学上の層境界の特定がなされる。層境界の特定がされたことにより、正面画像の変形を行うために形状情報の算出の対象となる層境界も容易に判別できる。

次に、層形状解析工程Ｓ１０２ｃにおいて、信号処理部３２は、セグメンテーション工程Ｓ１０２ｂで抽出した境界面を使って求めた層境界の形状解析を行う。形状解析で用いるパラメータは、網膜層の特異的な形状を特徴量として抽出できればよく、特に限定されない。例えば、境界面の曲率や曲率半径、境界面の傾きや傾きの変化率、境界面の局所的な凹凸、あるいは層の厚さや厚さの変化率、およびそれら何れかの組合せがパラメータとして使用可能である。なお、層の厚さは境界面間のｚ軸（深さ方向の）距離として得られる。また、実際の形状解析において、これら全てのパラメータについて計算してもよいし、パラメータの種類や計算する領域を選択してもよい。パラメータや領域の選択は、検者が指定してもよいし、検査目的に応じて自動的に選択することとしてもよい。計算したパラメータは形状情報として、信号処理部３２によって三次元断層像上での各層境界の位置と対応させて記憶される。なお、形状解析の詳細に関しては、具体的な疾患との関係を含めて後で詳述する。

次に、サーフェスレンダリング工程Ｓ１０３について説明する。サーフェスレンダリング工程Ｓ１０３において、信号処理部３２は、眼底正面像から特徴個所を抽出し、三次元断層像から生成した二次元正面像における対応する特徴箇所との位置合わせを行う。位置合わせ後、信号処理部３２は、さらに形状情報を元に眼底正面像を三次元化すなわち立体像に変化させ、該立体像となった眼底正面像を三次元断層像（ＯＣＴ像）上に重畳し、貼り合わせ画像を生成する。以下、サーフェスレンダリング工程Ｓ１０３の詳細について説明する。

まず、信号処理部３２は、位置合わせ工程Ｓ１０３ａを実行する。位置合わせ工程Ｓ１０３ａにおいて、信号処理部３２は、三次元断層像のデータを用いて図４（ｂ）に示す眼底の二次元正面像を生成する。三次元断層像は、深さ方向に並ぶ画素の強度を比較するといくつかのピークを示す。該二次元正面像としては、この深さ方向における浅い位置から順に数えて同じ順番のピークを示す画素をつなぎ合わせて生成される所謂Ｅｎｆａｃｅ（アンファス）画像を用いる。なお、本実施例では、予め取得されている干渉信号よりＥｎｆａｃｅ画像を生成することとしており、該画像の生成方法の詳細を以下に述べる。

Ａ−ｓｃａｎにより得られた情報を光軸方向手前側（網膜における浅い側）から配列し、全く信号のない位置から、最初に強い信号を得ることができる位置が眼底表層（網膜表面）の情報となる。即ち、測定光を走査した際の眼底上の各測定位置（撮影位置）でのＡスキャン信号についてそれぞれ最初にピークをしめす信号の反射強度をつなぎ合わせていく。これにより、眼底表層を二次元的に表現する眼底表層についてのＥｎｆａｃｅ画像を取得することができる。また、当該信号から特定の順位に位置するピークを示す信号の反射強度をつなぎ合わせることで、網膜における特定の層或いは深さでのＥｎｆａｃｅ画像が得られる。なお、二次元正面像の生成方法はここで述べたＥｎｆａｃｅ画像の生成方法に限られず、プロジェクション法等、三次元の断層情報を用いて二次元正面像を生成する二次元正面像生成工程として公知の種々の方法を用いることが可能である。

正面像生成手段として、信号処理部３２は、二次元正面像生成後に二次元正面像４０２（図４（ｂ））中より図中の矢印４０２ａにより示すような画像中の血管分岐等の特徴箇所を抽出する。続いて、信号処理部３２は、図４（ａ）に示す眼底正面像４０１から、画像中の血管分岐等の二次元正面像４０２より抽出した特徴箇所に対応する特徴個所を抽出する。図４（ａ）において対応する特徴箇所についても、図４（ｂ）と同様に矢印４０１ａにて示している。信号処理部３２は、さらに取得した両画像中の特徴箇所から、各々がどの程度位置ずれしているかを位置ずれ量（δＸ、δＹ）として算出する。位置ずれ量の算出方法は、例えば、片方の全画像領域を参照して、他方の特徴箇所を有する部分画像の位置、画像平面上で回転角度、および倍率を変えながら画像間の相関を算出し、相関が最大となる時の画素座標の差を位置ずれ量とすればよい。

なお、眼底正面像における特徴箇所の抽出、二次元平面像における特徴箇所の抽出、および相互相関による特徴箇所の対応付け等の信号処理部３２で行なわれる操作は、一般的な画像処理法により自動で行なわれる。しかし、両画像を並べて表示部３４に表示させ、特徴箇所を検者が指定する態様としてもよい。この場合、表示部３４に表示された画像にポインタを重畳表示させ、検者は該ポインタを用いて特徴箇所を指定することとなる。

なお、ＳＬＯ装置がＯＣＴ装置に実装され、照明光の照射位置と測定光の照射位置との関係が光学的に把握されている場合、撮影箇所の位置関係も予め把握しておくことが可能である。また、ＯＣＴ装置の測定光の光軸とＳＬＯ装置と照明光の光軸とが同一となるように調整されている場合、眼底平面像の情報の取得位置と三次元断層像の情報の取得位置は同一とみなせる。当該構成の場合、光学系で走査位置の対応付けができているため、画像間でも対応付けができている。従って、この様な特徴箇所の抽出による位置合わせ工程は省略することが可能である。しかし、眼底平面像を眼底カメラ等により取得する場合、二次元平面像と眼底平面像とは眼底に対して異なるゆがみ方をした画像となる。この場合、特徴点から相互相関をとり、画像の回転、および倍率変更等の変形を行なった後に位置ずれを求めることを要する。

位置ずれを求めた後、信号処理部３２は、変形手段として、正面像変形工程Ｓ１０３ｂにおいて、予め取得した形状情報を用いて眼底正面像の変形を行なう。具体的には、信号処理部３２は、位置合わせ工程Ｓ１０３ａにて取得した位置ずれを用いて、眼底正面像を二次元平面像に合わせるように、配置、および向き等を修正する。修正後、信号処理部３２は、図４（ｃ）に示すように、層形状解析工程Ｓ１０２ｃで取得した形状情報を元に、眼底正面像にポリゴン化の処理を施し、平面的な眼底正面像を三次元的な画像に変形する（立体像４０３）。なお、ここでは眼底正面像を三次元的な立体像とするために、該眼底正面像をポリゴン化することとしているが、立体像とするための手法は形状情報を用いたその他の公知の方法を用いてもよい。例えば、眼底正面像の画素ごとに割り当てられる形状情報に応じて、正面像の表示時に平面的に配置される各々の画素を、被検眼の深さ方向にずらすことにより行なってもよい。

ここで、三次元断層像において、図４（ｂ）の二次元正面像４０２を生成した元のデータによれば、図４（ｄ）に示す三次元断層像４０４が予め生成されている。重ね合わせ工程Ｓ１０３ｃにおいて、信号処理部３２は、位置合わせ工程Ｓ１０３ａで得た位置情報により図４（ｃ）に示す立体像４０３と図４（ｄ）に示す三次元断層像４０４の表面とを対応付ける。対応付け終了後、信号処理部３２は、三次元断層像４０４の表面上に、生成された三次元的な画像（立体像４０３）を重ね、貼り合わせることで生成立体像４０５を生成する。

以上の工程を経た画像を参照することにより、眼底正面像を立体的に把握することが可能となり、ＯＣＴ断層像と眼底正面像との対応付けができ、読影が容易な画像が生成できる。また、ここでは立体像とした三次元的な眼底平面像を三次元断層像に重ね合わせることとしているが、例えば図４（ｃ）に示す立体像４０３を生成し、これを表示するのみとしてもよい。また、検者の指示等に応じて、立体像４０３等を必要により適宜表示させることとしてもよい。

なお、以上の例では、眼底正面像は、立体像とされた後に三次元断層像の表面形状に合わせて変形することとしているが、合わせる対象は眼底表面に限定されない。例えばＩＣＧの場合、脈絡網上の血管が蛍光してこれら血管が強調された眼底正面像が撮影される。従って、この場合に得られた眼底正面像は、三次元断層像からセグメンテーションによって同定された脈絡網の境界に対して位置合わせと変形とが行われることが好ましい。即ち、立体像とする際に合わせる対象となる層境界は、カラー眼底撮影やＦＡ、ＩＣＧ、ＦＡＦ等、画像の取得方法に応じて変更されることが好ましい。

従って、セグメンテーション工程Ｓ１０２ｂは、三次元断層像において複数の境界面を特定する工程であって、形状情報を算出する境界面は、眼底正面像の生成に用いる第二の信号の取得方法に応じて指定されるとよい。具体的には、眼底正面像の取得方法および眼底正面層を取得した眼底における取得深さの少なくとも何れかに応じて形状情報を算出する境界が指定されるとよい。後述するように眼底正面像の取得方法に応じて平面画像として得られる境界が特定でき、取得方法とセグメンテーションの結果とのすりあわせから、眼底正面像の取得深さを推定することもできる。また、例えば、特定された複数の境界面を表示部３４に表示させ、表示画面を介して形状情報を算出する境界面を指定することもできる。

また、眼底正面像は眼底の表面のみの情報を示しているのではなく、実際には網膜層内の情報もある程度透けて見えるような状態にて提示している。従って、眼底正面像の撮影方法に依存せず、例えば疾患等の状態に鑑みて、任意の眼底正面像を用いることを可能とし、且つ変形させる対象となる境界面も任意に変更してもよい。また、眼底正面像は全面を重ね合わせなくてもよい。例えば、疾患部位の周辺領域のみや、眼底正面像から得られる特異的な分布点のみの眼底正面像を三次元断層像上に重ね合わせてもよい。これにより形状情報の算出に要する時間を短縮し、より短時間で生成立体像４０５を得ることができる。

続いて、表示工程Ｓ１０４について説明する。表示工程Ｓ１０４において、表示制御部３３は、表示条件を用いて表示情報を作成し、表示部３４に作成された表示情報を表示させる。具体的に、表示情報作成工程Ｓ１０４ａでは、予め指定された表示条件を用いて、表示制御部３３が表示情報を作成する。本実施例において、どの形状情報を用いて立体像とした眼底正面像を表示するかを表示条件として指定する。また、表示条件には、重ね合わせにより得た三次元の画像を表示する向きや倍率等も含まれる。

表示処理工程Ｓ１０４ｂにおいて、表示制御部３３は、表示条件に応じて生成された生成立体像４０５を表示部３４に表示させる。表示画面の例を図５に示す。図５に示す表示画面には、三次元断層像上に眼底正面像を重ね合わせて得た生成立体像４０５、眼底画像選択ボタン２０２ａ〜２０２ｄ、および視点移動ボタン２０３ａ〜２０３ｃを表示している。

眼底画像選択ボタン２０２ａ〜２０２ｄの何れかのボタンを介することにより、用いる眼底正面像の撮影方法を選択することができる。選択結果は、表示制御部３３を介して信号処理部３２に送られる。信号処理部３２は、記憶部において、眼底正面像の撮影方法に対応して網膜中の何れの層境界に合わせて眼底正面像を立体像とするかを予め記憶している。立体像とする際に、信号処理部３２は、この記憶された層境界に対応するようにセグメンテーションにより同定された層境界を用い、表示条件として指定された形状情報の取得を行なう。なお、通常はこのような層境界の指定を行なうこととし、検者の指示に応じて、適宜用いる層境界を変更することとしてもよい。また、眼底画像の撮影方法はこれら４つに限定されず、さらに他の撮影方法を含めることしてボタンを増加させてもよい。

また、視点移動ボタン２０３ａ〜２０３ｃを用いて、表示されている生成立体像４０５をさらに変形させることもできる。例えば、拡大縮小ボタン２０３ａを操作することで、生成立体像４０５の拡大縮小を行なうことができる。また、平行移動ボタン２０３ｂを操作することで、生成立体像４０５の表示位置、あるいは該生成立体像４０５を見る際の視点を移動させることができる。さらに、回転移動ボタン２０３ｃを操作することにより、生成立体像４０５を回転させることもできる。

表示処理工程Ｓ１０４ｂにより、診断に供せられる画像が表示部３４に表示される。検者は、表示された画像を観察し、表示されている画像が被検眼の診断に適したものであるかどうかを判定する。より適切な画像の表示が必要となった場合、例えば図５に示される各ボタンを選択することにより、変更判定工程Ｓ１０４ｃにおいて表示条件の変更の指示があったか否かの判定が行なわれる。変更がないと判定される、信号処理部３２によりフローが進められ、当該画像処理工程は終了する。表示条件変更の指示を受けた場合、信号処理部３２によってフローは表示情報作成工程Ｓ１０４ａに戻り、適切な画像の表示がされていると認められるまで、表示条件の変更が繰り返される。

以上に述べたように、図３を参照して説明した本実施例に係る画像処理方法は、第一の信号取得工程、断層像生成工程、第二の信号取得工程、正面像生成工程、算出工程および正面像変形工程を有する。第一の信号取得工程Ｓ１００において、信号処理部３２は被検眼１００の眼底の干渉信号セットを取得する。三次元断層像生成工程Ｓ１０２ａにおいて、信号処理部３２は取得された干渉信号セットを用いて被検眼１００の三次元断層像を生成する。なお、これら工程は、合わせて、測定光を照射した被検眼１００からの戻り光と該測定光と対応する参照光とを干渉して得た干渉信号セットを用いて生成される被検眼１００の三次元断層像を取得する断層像取得手段により実行される断層像取得工程と把握してもよい。第二の信号取得工程Ｓ１０１および正面像生成工程において、画像生成部５３３は、第二の信号の取得と、取得された第二の信号を用いて被検眼１００の眼底正面像４０１の生成を行なう。これら眼底正面像４０１の生成および取得に至る工程は、合わせて被検眼１００の眼底正面像４０１を取得する正面像取得手段により実行される正面像取得工程として把握してもよい。また、層形状解析工程Ｓ１０２ｃに対応する算出工程或いは情報取得工程において、信号処理部３２は、算出手段或いは情報取得手段として、三次元断層像において眼底正面像４０１と対応する境界面の形状情報を算出又は取得する。また、正面像変形工程Ｓ１０３ｂにおいて、信号処理部３２は、算出された形状情報を用いて眼底正面像４０１を変形する。

また、眼底正面像４０１の変形に際しては、位置合わせ工程Ｓ１０３ａにおいて、信号処理部３２により、三次元断層像からの被検眼１００の二次元正面像４０２の生成、および眼底正面像４０１と生成された二次元正面像４０２との位置合わせが行われる。この場合、正面像変形工程Ｓ１０３ｂは、位置合わせ工程Ｓ１０３ａを行なった後に実行される。また、信号処理部３２は、三次元断層像の深さ方向において、同じ順番となる強度のピークを示す画素をつなぎ合わせて二次元正面像４０２を生成する。そして、以上の工程の終了後、重ね合わせ工程Ｓ１０３ｃにおいて、信号処理部３２により、三次元断層像における対応する境界面に変形された正面像（立体像４０３）が貼り合わされる。なお、その際の眼底正面像４０１の変形により、該正面像は立体像に変形される。

なお、以上に述べた実施例では、眼底正面像４０１は撮影されたものをそのまま用いて立体像に変形することとしている。しかし、生成立体像４０５の読影を効率化するために、眼底正面像４０１を識別しやすいように該眼底正面像の色を変更したり、半透明にしたりしてもよい。さらにこの場合、不図示のポインタ等を表示画面に重畳表示させ、該ポインタを用いて特定の疾患部位、血管等を指定できることとし、当該指定された部位に着色することとしてもよい。また、形状情報を算出する対象として指定された境界面および算出された形状情報の少なくとも何れかに応じて立体像４０３に着色することとしてもよい。

また、本実施例では、図５に示すように生成立体像４０５のみを表示部３４に表示させることとしている。しかし、例えば眼底正面像４０１、二次元正面像４０２、および立体像４０３等、複数の画像が生成立体像４０５と同時、或いは独立して表示部３４に表示される態様としてもよい。この場合、例えば、眼底正面像４０１において疾患部位等の特定の位置をポインタ等により指定したときに、他の画像において対応する位置を把握できるように他の画像中にもポインタ等が重畳表示されることが好ましい。本実施例の場合、これら処理は信号処理部３２により実行される。

複数の画像を並べて表示する例として、画像処理方法における表示処理工程Ｓ１０４ｂにおいて、表示制御部３３が眼底正面像４０１と変形された眼底正面像（立体像４０３）とを並べて表示部３４に表示させる場合が考えられる。その際に、上述したように、表示制御部３３は、表示部３４に対して、眼底正面像と変形された眼底正面像とにおいて対応する点を示す表示の例であるポインタを各々の像に重畳させる。なお、ここで述べた該ポインタは特定の部位を指定する表示の一例であってその態様はこれに限られない。この場合、さらに眼底正面像４０１と変形された眼底正面像の一方において任意の部位を指定した場合、眼底正面像４０１と変形された眼底正面像の他方において該任意の部位に対応する部位を示すポインタを重畳表示することが好ましい。これにより、例えば眼底正面像４０１で見出した疾患部が、立体像とすることによって眼底上で実際にどのような形状となっているか、より具体的に把握可能となる。また、この場合、一方に表示されたポインタを移動等させた場合、他方に表示されたポインタも対応して移動されるとよい。

なお、以上に例示した画像処理方法は、その要旨の範囲内において、種々の変形・変更が可能である。例えば、形状解析工程Ｓ１０２やサーフェスレンダリング工程Ｓ１０３は、第一と第二の信号を取得した直後ではなく、時間をおいてポスト処理で行ってもよい。また、表示する形状情報を変更する毎に形状解析を実行してもよい。この場合、これら工程で用いる眼底正面像および三次元断層像に関する情報は、不図示の記憶部に記憶されているものを読み出すことによって取得される。

さらに、本実施例では、図３に示す画像処理はＯＣＴ装置に付随する信号処理部３２で行なうこととしている。しかし、画像処理を行う主体のみを画像処理装置として独立させ、ＯＣＴ装置、およびＳＬＯ装置として例示した平面像撮影装置と通信可能な態様としてもよい。或いは、ＯＣＴ装置或いは平面像撮影装置の何れかを制御する構成に当該画像処理装置を包含させてもよい。また、当該画像処理装置を、各々の装置から取得した信号を記憶した記憶装置と通信可能としてもよい。

また、上述した実施例では、取得した眼底正面像のほぼ全域を立体像とすることとしている。しかし立体像とする眼底上の領域はこれに限定されず、例えば、形状解析をする対象を眼底正面像中の疾患部位およびその近傍（例えば疾患部位の位置する網膜層）に領域を絞ってもよい。このようにすることで、計算する範囲やデータ量を減らすことができる。

また、上述した実施例では、立体像へ変形する眼底正面像４０１が一つの場合について述べているが、変形する眼底正面像４０１は複数であってもよい。例えば、カラー眼底撮影により得た眼底正面像４０１を三次元断層像における網膜表面の形状に合わせて立体像に変形し、同時にＩＣＧ撮影により得た眼底正面像をセグメンテーションにより特定した脈絡網における層境界の形状に合わせて立体像に変形することも可能である。この場合、生成される生成立体像４０５は、変形された網膜表面と同じく変形された脈絡網の層境界との２つの境界により挟まれた像となる。また、当該生成立体像４０５においては、２つの境界の間には特に画像を挟まなくてもよく、三次元断層像から対応する領域の画像を抽出して当該画像もあわせて示すこととしてもよい。この場合、疾病の状態に応じて、検者が２つの境界間の画像の表示、非表示を選択できるようにするとよい。

このような場合、画像処理方法としては、第二の信号取得工程Ｓ１０１が繰り返され、眼底正面像４０１を得るＳＬＯ装置からの信号の取得と、この眼底正面像４０１とは異なる第二の眼底正面像を得る例えばＩＣＧ撮影により信号の取得とを行なう。また、セグメンテーション工程Ｓ１０２ｂは、両信号に対応する層境界（第一の境界面および第二の境界面）を取得するために繰り返される。従って、形状情報を取得する層形状解析工程Ｓ１０２ｃも三次元断層像において第二の眼底正面像に対応する第二の境界面に対しても行なわれ、第二の形状情報が算出される。第二の眼底正面像（第二の正面像）は、正面像変形工程Ｓ１０３ｂにおいてこの第二の形状情報を用いて変形される。重ね合わせ工程Ｓ１０３ｃでは、変形させた眼底正面像を、各々第一の境界面と第二の境界面の位置関係に対応させて、これらを三次元断層像に各々貼り付けることとなる。上述したように、これら二つの境界面の間に存在する三次元断層像の一部分は、該境界面自体に着目したい場合にはこれを表示せず、境界面間に着目したい場合にはこれを表示するとよい。

なお、ＯＣＴ断層像は、通常表示時等において表示画面上の深さ方向と水平方向とが実寸法に対して異なる比率で表示されている。従って、形状解析を行うにあたり、ＯＣＴの三次元断層像において疾患部位等の大きさを評価するためには、表示画面上の画素数での評価ではなく、深さ方向と水平方向の実寸法で補正して評価することが好ましい。なお、画素数と実寸法との対応が既知で後から補正可能な場合や相対比較でもよい場合、画素数で評価してもよい。また、三次元断層像においては、網膜における中心部と周辺部とで断層上にゆがみが生じること、あるいは被検者の眼軸長等により深さ方向で得られる情報に差が出ることが知られている。従って、これらによる三次元断層画像に関する情報の違いを補正してもよい。

次に、上述した形状解析のパラメータについて説明する。形状解析のパラメータは、網膜層の特異的な形状を抽出する特徴量であればよい。上述したように、該特徴量は、境界面の曲率や曲率半径、境界面の傾きや傾きの変化率、境界面の局所的な凹凸、あるいは層の厚さ（層厚）や厚さの変化率の何れかの形状パラメータ、又はその組合せから表せる。なお、以下において、説明を簡略化するために二次元の断層像を使って形状解析の方法を説明し、その際、境界面＝境界線として説明する。

初めに形状情報におけるパラメータとして、境界線の曲率や曲率半径を算出してこれを用いる方法について説明する。ここで、曲率や曲率半径の算出には、既知の方法を用いることができる。算出方法の一例を、図６を使って説明する。図６は、セグメンテーションにより求めた三次元断層像中の境界線Ｌの一部と部分的な凹凸を特徴量として求める様式を説明する図である。なお、実際には境界面より特徴量を算出するが、ここでは説明を容易にするために、境界線から特徴量を算出する場合について述べる。

該境界線Ｌは画素毎に座標値（ｘ，ｚ）をもち、近似曲線ｚ（ｘ）で表される。該近似曲線ｚ（ｘ）は、様々な曲線近似手法を用いて求めることができる。例えば、境界線の座標値から２次以上の多項式近似でカーブフィッティングすることが考えられる。この場合、境界線の曲率半径ｒや曲率（＝１／ｒ）は、境界線の近似曲線ｚ（ｘ）から（式１）によって算出できる。
（式１）において、曲率半径ｒの符号で境界線Ｌがその部分において上に凸か、下に凸かが分かり、半径の大きさで形状の曲がり具合が分かる。また、曲率半径ｒの逆数（１／ｒ）から、その部分の曲率が算出できる。これら曲率半径や曲率を形状情報におけるパラメータとして用いることで、境界線Ｌの凹凸を抽出することができる。

次に、形状情報として、境界線の傾きや傾きの変化率を算出してこれを用いる方法について、図７を使って説明する。図７は、図６と同様に、三次元断層像中の境界線Ｌの一部とその形状変化を特徴量として求める他の様式を説明するための、眼底の断層像の境界線Ｌの模式図である。図７に示す例では、境界線Ｌは多項式ｚ（ｘ）で近似する。図７に示される直線Ｌ１１〜Ｌ１９は境界線Ｌにおける接線の例を表し、それぞれ傾き（ｄｚ（ｘ）／ｄｘ）をもつ。眼球は球状であるので、断層像の境界線は、網膜浅層を除くと全体的には下向きに凸となり、最深部を挟んで傾き（ｄｚ（ｘ）／ｄｘ）は、負および正の符号をもつ。例えば、Ｌ１１が負の傾き、Ｌ１５が傾き零、Ｌ１９が正の傾きにそれぞれ相当する。眼底の形状に特徴（凹凸）がある場合、傾きの符号が局所的に反転したり、傾きの変化率（ｄ^２ｚ（ｘ）／ｄｘ^２）が局所的に大きな値をとったりする。

図７の例では、Ｌ１２〜Ｌ１４が凹部Ｃ３０、Ｌ１６〜Ｌ１８が凸部Ｃ３１に相当する。図７に示すように、傾きや変化率を用いることで、曲率と同様に境界線Ｌの凹凸を抽出することができる。なお、曲率の替わりに傾きを使う場合、計算量が少なくなる利点がある。パラメータとして境界線Ｌの傾きを使う方法は、接線の数等が少なくてすむＲＰＥ（網膜色素上皮）といった比較的なだらかな形状をもつ部位を対象に適用することが好ましいと考えられる。

当該パラメータを用いることにより、境界線Ｌの傾きや傾きの変化率から局所的な凸部あるいは凹部の領域が抽出できる。例えば、局所的な凸部の領域を＋１、局所的な凹部の領域を−１、それ以外の領域を０として、形状情報とすればよい。以上の手法を用いることによって、形状情報として、傾きや傾きの変化率、あるいは局所的な凹凸の情報を得ることができる。

次に、図７に示した接線を用いる方法によって境界線の局所的な凹凸を取得する他の方法について説明する。当該方法において、境界線Ｌは近似曲線ｚ（ｘ）で近似する。近似曲線ｚ（ｘ）における凹凸の向きは（式１）の符号から判定できる。局所的に符号が異なる領域がある場合、当該領域を局所的な凹凸として抽出できる。あるいは、境界線Ｌに対し下向きに凸の基準曲線Ｌ２０を設けて、基準曲線Ｌ２０に対する近似曲線ｚ（ｘ）のｚ方向での上下関係で判定してもよい。基準曲線Ｌ２０は例えば、近似曲線ｚ（ｘ）よりも次数の低い２次の放物線等による曲線近似を行って導出すればよい。境界線の局所的な凹凸を求めることで、局所的な凸部あるいは凹部の領域が抽出でき、形状情報として局所的な凹凸の情報が得られる。

次に、形状情報として、層の厚さや厚さの変化率を算出してこれを用いる方法について、図８を使って説明する。なお、層の厚さは、２つの境界線間の間隔から算出できる。例えば、図８の境界線Ｌ２１と境界線Ｌ２２それぞれの同一ｘ座標上のｚ座標の差から、これら境界の間の層の厚さを算出することができる。層の厚さを利用することで、例えば特定の層において菲薄化している領域を抽出できる。また、厚さの変化率を利用すると、特定の層において急峻に厚さが変化する部分を抽出できる。

以上、異なるパラメータを用いた種々の形状情報の算出方法の例について説明したが、この方法以外で形状情報を算出してもよい。例えば、二次元断層像を元に算出する方法で説明したが、三次元的な解析手法から算出してもよい。その場合、曲線近似の替わりに曲面近似を行えばよい。

また、算出した形状情報に対し、平滑化や異常値の補正等の処理をしてもよい。形状解析のパラメータは、網膜層の特異的な形状を抽出する特徴量であればよく、他の形状パラメータを用いてもよい。また、複数のパラメータを組み合わせることで、抽出する領域をさらに絞ってもよい。あるいは被検眼の状態によっては、形状パラメータが算出できない領域が発生する場合もある。この場合、形状パラメータを算出できない領域についてはこれを異常値領域として、異常値領域の存在を形状情報としてもよい。例えば、緑内障でＮＦＬ（神経線維層）が菲薄化し一部が消失している場合がこのような場合の例として挙げられる。

また、形状情報を求めるに際して、例えば特定層の菲薄化等によってセグメンテーションがうまくできない、或いは明確な境界線が得られない等となる状況も考えられる。このような場合、例えば三次元断層像より抽出した深さ方向の二次元断層像を表示部３４に表示させ、該二次元断層像に重畳表示したポインタ等を用いて層境界、即ち境界面の形状を修正できるようにするとよい。この場合、該境界面を修正する修正工程は、形状情報を算出する算出工程の前に行われ、形状情報の算出は境界面の修正の終了に応じて開始される。

さらに、形状情報を取得する際に、例えば記憶部に記憶されている特定の層境界の形状との比較や、形状の急激な変化の検出等により、形状情報から特定の層境界の異常の有無が判別できる場合も考えられる。従って、層境界における異常領域、特異点等が想定された場合、当該領域等を検者に対して報知することが好ましい。この場合、例えば眼底正面像の立体像への変形に際して、これら領域に対して異常等を報知する特定の表示色を重畳することもできる。なお、ここでは形状情報として、部分的な凹凸部の曲率、境界の接線、境界間の変化率等の数値を例示した。しかし形状情報はこれらに限られず、例えば三次元の座標系に直接各境界をプロットしたもの等、境界の形状を再現可能な情報として取得できればその態様は上述した数値の様式に限定されない。

次に、特定の疾患を有する網膜に関して、眼底正面像を三次元化して三次元断層像上に表示する際に留意すべき網膜層の特異的な形状の例と形状パラメータについて説明する。図９は強度近視眼（所謂病的近視）と診断された被検眼の眼底正面像（図９（ａ））と想定される被検眼の形状変化（図９（ｂ））を模式的に示している。

強度近視において、通常被検眼１００（眼球）は眼軸長方向に伸張する。しかし、この場合、図９（ｂ）に示すように、強度近視の被検眼１００の伸長は全体的に伸張する（黒矢印）だけでなく、病的近視と称されるように局所的に伸張する（白矢印）ことがある。このような強膜の部分的な後方伸張に伴い、網膜形状に変化が発生する。このような強膜が部分的に伸張した領域は後部ぶどう腫９０２ｃと総称される。後部ぶどう腫９０２ｃでは、ＦＡＦで撮影したとき、図９（ａ）に示す眼底正面像９０１において、白矢印方向に極度に湾曲が開始する境界９０２ｂに対応して図９（ａ）中に点線９０１ａで示すリング状の輝線を生じることが知られている。三次元断層像ではこのような輝度変化点は見られないため、ＦＡＦ画像と三次元断層像を重ね合わせて表示することで三次元断層像の読影が容易になる。その結果、後部ぶどう腫の領域や進行度合いなどを定量的に形状解析することが可能になる。

なお、ここで述べた後部ぶどう腫９０２ａの境界９０２ｂは、眼底正面像において輝点として把握可能である。しかし、当該境界９０２ｂを、上述した生成立体像４０５等でさらに容易に認識できるように、強調することもできる。例えば、図９（ａ）に示す矢印９０１ｂのようなポインタを用いてリング状の輝線を指定することにより、該輝線に特定の色のリングを重畳させる等するとよい。この強調表示はポインタをドラッグすることで画像に書き加えてもよく、同程度の輝度を結ぶことにより信号処理部３２等において自動で認識し且つ強調する操作を行うこととしてもよい。

また、上述した実施例では、形状情報を用いて眼底正面像を立体像に変形することとしている。しかし、眼底正面像から後部ぶどう腫等の眼底の深さ方向の疾患を立体的に把握可能であり、且つ三次元断層像への重ね合わせ等を考慮しなければ、眼底正面像を立体像に変形しなくともよい。具体的には、得られている形状情報を用いて被検体の深さ方向の位置情報を得ておき、該位置情報を色、濃淡、ハッチング、等高線等により表現してもよい。例えば、該位置情報を色で表現する場合、深さ方向の位置が深くなるに応じて色を変える表示を該正面像に重畳表示する、即ち該正面像に着色することで立体的な情報を読影可能としてもよい。この場合、表示制御手段として、表示制御部３３がこれら深さ方向の位置情報を生成し、該位置情報を上述した表現方法により眼底正面像に与えることとすればよい。

次に、被検眼が加齢黄斑変性に罹っている場合の例について説明する。加齢黄斑変性では、図１０に示すように網膜色素上皮（ＲＰＥ）（図１０の境界線Ｌ４ａ）の形状に変化が発生する場合がある。加齢に伴いＲＰＥの働きが低下すると、未消化の老廃物Ｄ１（ドルーゼン）がブルッフ膜（図１０の境界線Ｌ５）とＲＰＥとの間にたまる。その結果ドルーゼンによってＲＰＥの境界線Ｌ４ａは部分的に押し上げられ、変形境界線Ｌ４となる。ＯＣＴ装置により得た二次元断層像では、ＲＰＥが網膜内側へ突出する形態が観察できる。

老廃物が蓄積すると、炎症反応が起き脈絡膜から新生血管（ＣＮＶ）が生えてくる。ＣＮＶがブルッフ膜を突き破ってＲＰＥの下や上まで侵入して増殖すると、ＣＮＶに由来する漏出が激しくなって黄斑の機能低下につながる。ここでＲＰＥの境界層の形状解析を行うことで、老廃物Ｄ１によりＲＰＥが網膜内側へ突出する形態（変形境界線Ｌ４）が抽出される。例えば、ＲＰＥの変形境界線Ｌ４に対応する境界線Ｌ４ａと局所的な凹凸を表す変形境界線Ｌ４とを比較することで老廃物の存在する可能性がある領域を抽出することができる。眼底正面像を例えばブルッフ膜或いはＲＰＥからの情報が反映される撮影方法により生成することで、このような疾患に関しても立体像に変形することが可能となる。ＲＰＥに相当する部位の形状情報を近傍の眼底正面像に付与することにより、老廃物Ｄ１周囲の形状を描出することができ、ＣＮＶを見つけやすくなる。また、この場合、通常のＲＰＥの形状に対して大きく変化している領域を上述した後部ぶどう腫の場合と同様に色を変える、或いは特定の表示色を用いて強調表示することにより、疾患部位の認識がより容易に行える。

上述した実施例によれば、ＯＣＴ装置で得られる三次元断層像と、ＳＬＯ装置等で得られる眼底正面像との対応を容易にできる。その結果、疾患部位や血管走行などの網膜形状を簡単に把握できるようになる。より詳細には、本実施例では、眼底正面像を網膜の形状情報に合わせて変形し、立体像としてＯＣＴ装置より得た三次元画像上に重ね合わせて表示する。その結果、特異的な網膜の形状に対応する眼底の疾患部位や血管走行が把握しやすい画像を提供することができる。

例えば、実際の診断時の読影において疾患部位や血管走行の形状を把握するために、検者が二次元のＯＣＴ断層像と二次元の眼底正面像とを交互に見比べる必要がある状態は、検者に煩雑さを感じさせる。また、例えば後部ぶどう腫等の立体的に把握すべき疾患を有する被検眼の読影の場合には、通常検者はこれら２つの二次元画像から立体的な被検眼を想定する。そして、診断に際しては、この想定された立体的な被検眼から疾患の状態等を推認することが必要となる。即ち、このような表示方法の場合、交互に見比べたとしても、立体的な被検眼の想定を行なえる充分な経験を有する検者でなければ被検眼に対する正確な読影を行なうことは容易ではない。上述した実施例によれば、眼底正面像から立体的な情報も合わせて得られるようになることから、不慣れな検者であっても疾患に関する情報を容易に読影することができる。

（第二の実施例）
上述した実施例では、眼底正面像を得た層境界の形状情報を三次元断層像より取得し、該形状情報を用いて眼底正面像を立体像に変形した。しかし、疾患等を診断する場合、被検眼或いは疾患部位の経過観察が不可欠である。本実施例では、このような要請に鑑み、経過観察を容易にする画像を提供する。

第二の実施例では、第一の信号および第二の信号の取得を複数回、それぞれ異なる日に行い、第一の実施例で述べた位置合わせ工程および形状解析工程を行う。さらに個々の形状解析結果に対し、形状情報の経時的な変化量あるいは変化率を算出する。変化量や変化率は初回の撮影を基準とすればよい。得られた経時的な変化量等は、取得された信号に対応して生成された立体像と共に表示される。このような解析結果を表示することで、経時的に形状が変化している部位を、網膜層の特異的な部位として抽出することができる。また得られた変化量等を眼底正面像の分類および疾患表示に反映することで、網膜形状に変化が生じた部位の疾患に着目しやすくなる。

また、形状情報の経時的な変化量や変化率を算出する代わりに、生成順に複数の立体像或いは生成立体像を順番に表示したり、複数枚を並べて表示したりしてもよい。異なる日に得られた立体像等および形状情報を表示することで、病気の進行度合いや回復度合いといった経時的な変化の仕方が、視覚的に把握しやすくなる。本実施例によれば、ＯＣＴ装置で得られるも眼底の構造情報と眼底正面像との対応を容易にして疾患部位の形状を簡単に把握できるようになると同時に、疾患部位の経時変化も把握することが容易となる。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、本発明の趣旨に反しない範囲内において、種々の変形・変更された発明、および本発明と均等な発明も本発明に含まれる。例えば、画像の表示の位置関係やＧＵＩの形状は変更可能である。また、３Ｄディスプレイによる立体視による表示でもよい。眼底正面像と形状解析を計算するプログラムであってもよい。

例えば、上述した実施例では、被検体が眼の場合について述べているが、例えば眼以外の皮膚や臓器等の被検体に本発明を適用することも可能である。この場合、本発明は眼科装置以外の、例えば内視鏡等の医療機器に対応した画像処理方法等としての態様を有する。従って、本発明は眼科装置に例示される検査装置に用いられる画像処理方法として把握され、被検眼は被検体の一態様として把握されることが好ましい。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 被検体
２００ ＯＣＴ光学系
１０ 光源部
２０ ＯＣＴ干渉部
５３ Ｘ軸スキャナー
５４ Ｙ軸スキャナー
３００ 情報処理部
３１ 信号取得部
３２ 信号処理部
３３ 表示制御部
３４ 表示部

Claims (19)

1. 測定光を照射した被検体からの戻り光と前記測定光と対応する参照光とを干渉して得た干渉信号セットを用いて生成される前記被検体の三次元断層像を取得する断層像取得工程と、
   前記被検体の正面像を取得する正面像取得工程と、
   前記三次元断層像において前記正面像と対応する境界面の形状情報を取得する情報取得工程と、
   前記取得された形状情報を用いて前記正面像を立体像に変形する変形工程と、を含むことを特徴とする画像処理方法。
2. 前記三次元断層像から前記被検体の二次元正面像を生成する二次元正面像生成工程と、
   前記正面像と前記生成された二次元正面像との位置あわせを行う位置合わせ工程と、をさらに含み、
   前記変形工程は、前記位置合わせ工程を行った後に実行されることを特徴とする請求項１に記載の画像処理方法。
3. 前記二次元正面像生成工程において、前記干渉信号セットにおける各々の干渉信号より前記三次元断層像の深さ方向において複数の強度のピークを抽出し、前記各々の干渉信号において前記深さ方向で同じ順番となる強度のピークを示す画素をつなぎ合わせて生成することを特徴とする請求項２に記載の画像処理方法。
4. 前記三次元断層像における前記対応する境界面に前記変形された正面像を貼り合わせる工程をさらに含むことを特徴とする請求項１乃至３の何れか一項に記載の画像処理方法。
5. 前記変形工程は、前記正面像の画素ごとに割り当てられる前記形状情報に応じて平面的に配置される各々の画素を前記被検体の深さ方向にずらすことにより行なわれることを特徴とする請求項１乃至４の何れか一項に記載の画像処理方法。
6. 前記正面像と前記変形された正面像とを並べて表示する表示工程をさらに含み、
   前記表示工程において、前記正面像と前記変形された正面像とにおいて対応する点を示す表示を各々に重畳することを特徴とする請求項１乃至５の何れか一項に記載の画像処理方法。
7. 前記正面像と前記変形された正面像とを並べて表示する工程をさらに含み、
   前記表示する工程において、前記正面像と前記変形された正面像の一方において任意の部位を指定した場合、前記正面像と前記変形された正面像の他方において前記任意の部位に対応する部位を示す表示を重畳することを特徴とする請求項１乃至５の何れか一項に記載の画像処理方法。
8. 前記三次元断層像において複数の前記境界面を特定するセグメンテーション工程をさらに含み、
   前記形状情報を取得する境界面は、前記正面像の取得方法および前記被検体における前記正面像の取得深さの少なくとも何れかに応じて指定されることを特徴とする請求項１乃至７の何れか一項に記載の画像処理方法。
9. 前記三次元断層像において複数の前記境界面を特定するセグメンテーション工程と、
   前記特定された複数の境界面から前記形状情報を取得する境界面を指定する工程と、をさらに含むことを特徴とする請求項１乃至７の何れか一項に記載の画像処理方法。
10. 前記セグメンテーション工程において前記複数の境界面の特定ができない場合に、前記形状情報を取得する工程の前に前記境界面を修正する工程をさらに有することを特徴とする請求項８又は９に記載の画像処理方法。
11. 前記指定された境界面および前記取得された形状情報の少なくとも何れかに応じて前記変形された正面像に着色する工程をさらに含むことを特徴とする請求項９又は１０に記載の画像処理方法。
12. 前記形状情報は、前記境界面の曲率および曲率半径、前記境界面の傾きおよび前記傾きの変化率、前記境界面の局所的な凹凸、並びに前記境界面により特定される層の層厚および前記層厚の変化率の何れかの形状パラメータ、又は前記何れかの形状パラメータの組合せからなることを特徴とする請求項１乃至１１の何れか一項に記載の画像処理方法。
13. 前記正面像とは異なる前記被検体の第二の正面像を、前記三次元断層像において前記第二の正面像に対応する第二の境界面の形状情報を用いて変形する工程と、
    前記境界面と前記第二の境界面の位置関係に対応させて、前記変形された正面像と前記変形された第二の正面像とを表示する工程と、を含むことを特徴とする請求項１乃至１２の何れか一項に記載の画像処理方法。
14. 前記変形された正面像と前記変形された第二の正面像とを表示する工程において、前記変形された正面像と前記変形された第二の正面像との間に存在する前記三次元断層像の部分を合わせて表示することを特徴とする請求項１３に記載の画像処理方法。
15. 前記被検体は被検眼であり、
    前記正面像は、眼底カメラおよび走査型レーザー検眼鏡の少なくとも何れかにより取得されたことを特徴とする請求項１乃至１４の何れか一項に記載の画像処理方法。
16. 測定光を照射した被検体からの戻り光と前記測定光と対応する参照光とを干渉して得た干渉信号セットを用いて生成される前記被検体の三次元断層像を取得する断層像取得工程と、
    前記被検体の正面像を取得する正面像取得工程と、
    前記三次元断層像において前記正面像と対応する境界面の形状情報を取得する情報取得工程と、
    前記取得された形状情報より生成した前記被検体の深さ方向の位置情報を、前記正面像に与えて前記正面像に重畳表示する工程と、を含むことを特徴とする画像処理方法。
17. 請求項１乃至１６の何れか一項に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
18. 測定光を照射した被検体からの戻り光と前記測定光と対応する参照光とを干渉して得た干渉信号セットを用いて生成され前記被検体の三次元断層像を取得する断層像取得手段と、
    前記被検体の正面像を取得する正面像取得手段と、
    前記三次元断層像において前記正面像と対応する境界面の形状情報を取得する情報取得手段と、
    前記取得された形状情報を用いて前記正面像を立体像に変形する変形手段と、を備えることを特徴とする画像処理装置。
19. 測定光を照射した被検体からの戻り光と前記測定光と対応する参照光とを干渉して得た干渉信号セットを用いて生成される前記被検体の三次元断層像を取得する断層像取得手段と、
    前記被検体の正面像を取得する正面像取得手段と、
    前記三次元断層像において前記正面像と対応する境界面の形状情報を取得する情報取得手段と、
    前記取得された形状情報より生成した前記被検体の深さ方向の位置情報を、前記正面像に与えて前記正面像に重畳表示する表示制御手段と、を含むことを特徴とする画像処理装置。