JP2014176566A - 画像処理システム、画像処理方法及びプログラム。 - Google Patents

Abstract

【課題】 網膜層が断層画像の端に接するように撮影された場合においても、網膜層の形状を容易に観察すること。
【解決手段】 被検眼の網膜の断層画像のうち少なくとも一部を反転した反転画像と断層画像とを用いて、断層画像に対する反転画像の位置が、断層画像における網膜層が断層画像の端に接している側になるように、新たな断層画像を作成する。
【選択図】 図４

Description

本発明は、画像処理システム、画像処理方法及びプログラムに関し、特に眼部の断層画像を用いた画像処理システム、画像処理方法及びプログラムに関する。

光干渉断層計（ＯＣＴ；Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）などの眼部の断層画像撮影装置は、網膜層内部の状態を三次元的に観察することが可能である。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。ＯＣＴの形態として、例えば、広帯域な光源とマイケルソン干渉計を組み合わせたＴＤ−ＯＣＴ（Ｔｉｍｅ ｄｏｍａｉｎ ＯＣＴ）がある。これは、参照アームの遅延を走査することで、信号アームの後方散乱光との干渉光を計測し、深さ分解の情報を得るように構成されている。しかし、このようなＴＤ−ＯＣＴでは高速な画像取得は難しい。そのため、より高速に画像を取得する方法として、広帯域光源を用い、分光器でインターフェログラムを取得するＯＣＴとして、ＳＤ−ＯＣＴ（Ｓｐｅｃｔｒａｌ ｄｏｍａｉｎ ＯＣＴ）が知られている。また、光源として、高速波長掃引光源を用いることで、単一チャネル光検出器でスペクトル干渉を計測する手法によるＳＳ−ＯＣＴ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）が知られている。

これら上記のＯＣＴで撮影された断層画像において、網膜の形態変化を計測できれば、緑内障などの疾病の進行度や治療後の回復具合を定量的に診断することが可能となる。これらの網膜の形態変化を定量的に計測するために、特許文献１では、コンピュータを用いて断層画像から網膜の各層の境界を検出し、層の厚みを計測する技術が開示されている。

特開２０１１−２１７８１１号公報

ここで、強度近視眼のように網膜の湾曲が大きい場合、断層画像の上部で折り返しが発生するため撮影や解析がうまくいかない場合がある。

例えば、コヒーレンスゲートの位置を硝子体側に指定して湾曲が大きい眼の撮影を行った場合について、図１４を用いて説明をする。図１４に示すように、網膜層の湾曲が大きい場合、網膜層が断層画像の上端部に接して撮影を行ってしまう場合があり、図１４の画像右側の個所においては、その部分が折り返した画像が生成される。したがって、このような個所においては、網膜層が折れ曲がって重なり合ってしまうために網膜層の形状を容易に把握する事が困難である。

本発明は上記課題に鑑みてなされたものであり、網膜層が断層画像の端に接するように撮影された場合においても、網膜層の形状を容易に観察することを目的としている。

本発明に係る画像処理装置は、
被検眼の網膜の断層画像を取得する取得手段と、
前記取得された断層画像のうち少なくとも一部を反転した反転画像と前記取得された断層画像とを用いて、前記取得された断層画像に対する前記反転画像の位置が、前記取得された断層画像における網膜層が前記取得された断層画像の端に接している側になるように、新たな断層画像を作成する作成手段と、を有する。

本発明によれば、網膜層が断層画像の端に接するように撮影された場合においても、網膜層の形状を容易に観察することができる。

第１の実施形態に係る画像処理システムの構成を示す図。 第１の実施形態に係る画像処理装置における処理の流れを示すフローチャート。 第１の実施形態に係る画像処理システムの表示部の表示画面における撮影表示例。 第１の実施形態に係る画像処理装置の反転画像作成の説明をするための図。 第１の実施形態に係る画像処理システムの表示部の表示画面における撮影結果表示例。 第２の実施形態に係る画像処理システムの構成を示す図。 第２の実施形態に係る画像処理装置の反転画像作成の説明をするための図。 第２の実施形態に係る画像処理装置の反転画像作成の説明をするための図。 第３の実施形態に係る画像処理システムの構成を示す図。 第３の実施形態に係る画像処理装置における処理の流れを示すフローチャート。 第３の実施形態に係る画像処理装置の画像解析の説明をするための図。 第３の実施形態に係る画像処理システムの表示部の表示画面における解析結果表示例。 第４の実施形態に係る画像処理システムの表示部の表示画面における解析結果表示例。 断層画像の上端部で網膜層の折り返しを説明するための図。

（第１の実施形態：断層画像の反転画像を用いて新たな断層画像を作成）
以下、図面を参照しながら、本発明の第１の実施形態について説明する。なお、本実施形態に係る画像処理装置を備える画像処理システムは、強度近視眼のような湾曲が大きい網膜層を撮影した場合においても、網膜層全体の形状を把握出来るように表示することを特徴としている。

以下、本実施形態に係る画像処理装置を備える画像処理システムについて、詳細を説明する。

図１は、本実施形態に係る画像処理装置１１０を備える画像処理システム１００の構成を示す図である。図１に示すように、画像処理システム１００は、画像処理装置１１０が、インタフェースを介して断層画像撮影装置２００（ＯＣＴ装置）、表示部３００、眼底画像撮影装置４００、外部記憶部５００、操作部６００と、有線あるいは無線で通信可能に接続されることにより構成されている。

断層画像撮影装置２００は、眼部の断層画像を撮影する装置である。断層画像撮影装置に用いる装置は、例えばＳＤ−ＯＣＴやＳＳ−ＯＣＴからなる。なお、断層画像撮影装置２００は既知の装置であるため、詳細な説明は省略し、ここでは、断層画像の撮影範囲、ならびに内部固視灯２０４について説明を行う。

図１において、ガルバノミラー２０１は、測定光の眼底における走査を行うためのものであり、ＯＣＴによる眼底の撮影範囲を規定する。また、駆動制御部２０２は、ガルバノミラー２０１の駆動範囲および速度を制御することで、眼底における平面方向の撮影範囲及び走査線数（平面方向の走査速度）を規定する。ここで、ガルバノミラーはＸスキャン用のミラーとＹスキャン用の２枚のミラーで構成され、眼底上で所望の範囲を測定光で走査できる。

内部固視灯２０４は、表示部２４１、レンズ２４２で構成される。表示部２４１として複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、駆動制御部２０２の制御により撮影したい部位に合わせて変更される。表示部２４１からの光は、レンズ２４２を介し、被検眼に導かれる。表示部２４１から出射される光は５２０ｎｍで、駆動制御部２０２により所望のパターンが表示される。

コヒーレンスゲートステージ２０３は、被検眼の眼軸長の相違等に対応するため、駆動制御部２０２により制御されている。コヒーレンスゲートとは、ＯＣＴにおける測定光と参照光の光学距離が等しい位置を表す。

眼底画像撮影装置４００は、眼部の眼底画像を撮影する装置であり、当該装置としては、例えば、眼底カメラやＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）等が挙げられる。

画像処理装置１１０は、画像取得部１１１、記憶部１１２、反転画像作成部１１３、制御部１１４、表示制御部１１５、指定部１１６を備える。画像取得部１１１は、断層画像撮影装置２００により撮影された断層画像、眼底画像撮影装置４００により撮影された眼底画像を取得し、記憶部１１２に格納する。反転画像作成部１１３は、断層画像のうち少なくとも一部を反転した反転画像を作成する。指定部１１６は、反転画像作成部１１３に対して、反転画像の作成を実行することを指定する。なお、反転画像作成部１１３は、反転画像と断層画像とを用いて、断層画像に対する反転画像の位置が、断層画像における網膜層が断層画像の端に接している側になるように、新たな断層画像を作成する作成手段としても機能する。また、制御部１１４は、断層画像撮影装置２００に対して、設定された撮影パラメータで装置を制御するための制御を行う。また、外部記憶部５００は、被検眼に関する情報（患者の氏名、年齢、性別など）と、撮影した画像データ、撮影パラメータ、画像解析パラメータ、操作者によって指定されたパラメータをそれぞれ関連付けて保持している。また、操作部６００は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、操作部６００を介して、画像処理装置１１０や断層画像撮影装置２００、眼底画像撮影装置４００へ指示、入力を行う。

次に、図２、図３を参照して本実施形態の画像処理装置１１０の処理手順を示す。図２は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。図３は、本実施形態における表示部３００に表示する撮影時の表示画面の一例を示している。図３において、３１０は断層画像撮影画面、３０１は断層画像、３０２は眼底画像、３０３は撮影モード選択のコンボボックス、３０４は撮影指示ボタン、３０５は撮影領域を示すマークであり眼底画像３０２上に重畳表示されている。そして、Ｍは黄斑部、Ｄは視神経乳頭部、Ｖは血管を示している。

＜ステップＳ２０１＞
ステップＳ２０１では、不図示の被検眼情報取得部は、被検眼を同定する情報として被検者識別番号を外部から取得する。そして、被検者識別番号に基づいて、外部記憶部５００が保持している当該被検眼に関する情報を取得して記憶部１１２に記憶する。

＜ステップＳ２０２＞
ステップＳ２０２では、撮影時の撮影位置確認用のプレスキャン画像として、画像取得部１１１は、眼底画像撮影装置４００から眼底画像を取得し、断層画像撮影装置２００から断層画像を取得する。

＜ステップＳ２０３＞
ステップＳ２０３では、撮影を行うための各種調整を行う。具体的には、内部固視灯の位置、スキャン範囲、スキャンパターン、コヒーレンスゲート位置を少なくとも設定する。駆動制御部２０２は、表示部２４１の発光ダイオードを制御して、黄斑部中心や視神経乳頭に撮影を行うように内部固視灯２０４の位置を制御する。

スキャン範囲は、例えば、装置の撮影範囲として９〜１５ｍｍの範囲を設定する。ただし、ここで示した数値は一例であり、装置のスペックに応じて変わるものである。スキャンパターンは、例えば、ラスタスキャンやクロススキャン、放射状スキャンなどの各種スキャンパターンであり、操作者に指定されたスキャンパターンで撮影を行う。コヒーレンスゲート位置は、硝子体側で撮影を行うものとして説明をする。

また撮影時の撮影モード選択を行う。ここで、撮影モードの選択は撮影モード選択のコンボボックス３０３で行うものとして説明をする。撮影モードのコンボボックス３０３では、強度近視眼用か非強度近視眼用かの撮影モードが選択出来るものとする。本実施形態では、強度近視眼解析用モードで撮影を行う場合について説明を行う。なお、撮影モードとは、スキャンパターンと撮影固視灯位置とがあらかじめ複数の組み合わせで設定されているものとし、緑内障用の撮影モード等、よく利用されるものが設定されているものとする。指定部１１６は、撮影時に強度近視眼用の撮影が選択された事により、反転画像作成部１１３に反転画像作成の指定を行う。

＜ステップＳ２０４＞
ステップＳ２０４では、被検眼の撮影を行う。例えば、操作者が断層画像撮影画面３１０の撮影指示ボタン３０４を選択すると、断層画像撮影装置２００は、駆動制御部２０２を制御し、ガルバノミラー２０１を動作させて断層画像の撮影を行う。ガルバノミラー２０１は、水平方向用のＸスキャナと垂直方向用のＹスキャナで構成される。そのため、これらのスキャナの向きをそれぞれ変更すると、装置座標系における水平方向（Ｘ）、垂直方向（Ｙ）それぞれの方向に走査することが出来る。そして、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することが出来るため、眼底平面上の任意の方向に走査することが可能となる。

＜ステップＳ２０５＞
ステップＳ２０５では、ステップＳ２０４で撮影した画像を表示する。この処理について図２（ｂ）と図４を参照して説明する。

＜ステップＳ２５１＞
ステップＳ２５１では、ステップＳ２０４での撮影時に反転画像作成が指定されていたか否かを判定する。本実施形態の場合、強度近視眼用の撮影モードが選択されていた事により、反転画像の作成が指定されているものとして、処理をステップＳ２５２に進める。なお、撮影時に強度近視眼用の撮影モードが選択されていない場合は、ステップＳ２５５に処理を進める。なお、ステップＳ２５５に関しては後ほど説明を行う。ここで、本実施形態では、撮影前において強度近視眼用の撮影モードが選択された場合に、撮影後に反転画像を作成しているが、撮影後に反転画像を作成するか否かを選択する構成でも良い。例えば、モニタ上に表示される反転画像の作成あるいは表示を示す表示形態が、操作者による操作部６００の操作による指示を受け付けた場合に、判定画像の作成あるいは表示を行っても良い。

＜ステップＳ２５２＞
ステップＳ２５２では、反転画像の作成を行う。これに関して、図４を用いて説明をする。図４（ａ）の４０１は、強度近視眼を撮影した断層画像の一例である。４０１に示すように網膜層の湾曲がきつく一部が折り返して撮影されている。ここでは、このような網膜層の折り返し部分を補正するように反転画像作成部１１３が、事前に決定されている一定範囲の反転画像を作成する。これについて、図４（ｂ）を用いて説明をする。図４（ｂ）は、断層画像４０１と反転画像４０２を示している。反転画像４０２は、断層画像４０１の上端部から、深度方向（Ｚ方向）に一定の範囲の断層画像をコピーして上下反転をしたものである。これにより、折り返し部分が補正されるような断層画像を作成する事が出来る。なお、断層画像のコピーをする領域の深度方向のサイズは、事前に入力されている数値に基づいて決定してもよいし、不図示の入力手段を表示して、操作者に数値を入力してもらって決定してもよい。また、深度方向における反転画像４０２の範囲は、深度方向における断層画像４０１の範囲が約１０００ピクセル（２．０ｍｍに相当）としたときに、例えば、２００ピクセル以上が好ましい。これにより、強度近視眼の網膜層が折り返したとしても、反転画像として表示することができる。図４（ｂ）では、断層画像４０１と反転画像４０２とが接して１枚の断層画像となる。ここで、センサ信号から画像再構成をして断層画像４０１を作成する時に、画像の上部の自己相関関数に対応するノイズ領域を削除して断層画像４０１が作成される場合がある。その場合、その削除したサイズ分を考慮して断層画像４０１と反転画像４０２とを作成する事が望ましい。その例を図４（ｃ）に示す。図４（ｃ）において、４０３は、断層画像４０１を作成する時に削除した自己相関関数に対応するノイズ部分に相当する領域となる。そして、この調整領域４０３のサイズは、横方向はＡスキャンの本数と等しく、深さ方向は断層画像の作成時に切り出したノイズのサイズをｄとすると、反転分を考慮して２ｄとなる。調整領域４０３の画素値は、背景領域の画素値に近い値にする事が望ましい。そのため、調整領域４０３の画素値は、網膜層以外の背景領域の画素値から平均値を求めて、その値を４０３の画素値とするか、あるいは事前に決められた値（例えば、０）としてもよい。このように、図４（ｃ）は、断層画像４０１、反転画像４０２、調整領域４０３とで１枚の断層画像となる。なお、深度方向における調整領域４０３の範囲２ｄは、網膜層の境界が滑らかにつながる連続的な形状であるという網膜層の連続性を考慮することにより、決定されても良く、例えば、１０ピクセル以上３０ピクセル以下の範囲が好ましい。

以上より、反転画像作成部１１３は、画像の上部において網膜層の折り返しが発生した個所があったとしても、断層画像４０１と反転画像４０２とを用いて新たな断層画像を作成することができる。なお、反転画像４０２は、断層画像４０１における網膜層が断層画像４０１の端に接している側に反転させた画像である。また、上記接している側とは、断層画像４０１におけるコヒーレンスゲート側である。例えば、コヒーレンスゲートを被検眼の脈絡膜側に移動させて断層画像を取得した場合、反転画像４０２は、断層画像４０１を断層画像４０１の下側に反転させた画像であることが好ましい。

＜ステップＳ２５３＞
ステップＳ２５３においては、ステップＳ２５２で作成した断層画像４０１と反転画像４０２とを図５（ａ）に示すような撮影結果確認画像として表示をする。ここで、図５（ａ）の撮影結果確認画面５１０は、断層画像４０１、反転画像４０２、眼底画像５０２、撮影時の撮影領域を示すマーク５０５、撮影結果を承認するボタン５２０、撮影結果をキャンセルするボタン５２１、近視用画像作成を指示するボタン５２２、近視用画像作成をキャンセルするボタン５２３で構成される。なお、図５（ａ）においては、近視用画像作成することを前提として撮影を行っている場合の画面であるため、近視用画像作成を指示するボタン５２２は選択不可状態になっている。そして、近視用画像作成をキャンセルするボタン５２３が選択可能状態になっている。

図５（ａ）の断層画像４０１と反転画像４０２の表示に関して、反転画像４０２を追加したサイズの大きさ分だけ下方向にシフトして表示をしている例を示している。しかし、断層画像を表示する領域に制限がある場合、断層画像４０１だけを表示する時の画像のアスペクト比と同じアスペクト比で、断層画像４０１を表示し、それに合わせて反転画像４０２とを表示する事が望ましい。これは、深さ方向の画像サイズが増加した場合に、決められた表示領域に断層画像を収めるように、深さ方向だけを縮小して表示をすると、網膜層形状が深さ方向に縮められるように見え、誤解を与えてしまうためである。

＜ステップＳ２５４＞
ステップＳ２５４では、通常画像を作成あるいは表示するか否かを判定する。具体的には、近視用画像として断層画像４０１と反転画像４０２とを作成する事が事前に指定されている場合に、近視用画像作成をキャンセルするボタン５２３が選択されると反転画像４０２を表示する事をやめ断層画像４０１だけを表示する。これについて、次のステップＳ２５５で説明を行う。なお、近視用画像作成をキャンセルするボタン５２３が選択されずに、ボタン５２０、５２１が選択されればステップＳ２０６に処理を進める。

＜ステップＳ２５５＞
ステップＳ２５５では、近視用の画像を作成する事が指定されていない場合の処理を行う。本実施形態の場合、強度近視眼用以外の撮影モードで撮影がされた場合に、こちらの処理に進むものとして説明をする。ステップＳ２５５では、ステップＳ２０４で撮影された断層画像の表示をする。これについて、図５（ｂ）を用いて説明をする。図５（ｂ）の撮影結果確認画面５１１は、断層画像４０１、眼底画像５０２、撮影時の撮影領域を示すマーク５０５、撮影結果を承認するボタン５２０、撮影結果をキャンセルするボタン５２１、近視用画像作成を指示するボタン５２２、近視用画像作成をキャンセルするボタン５２３で構成される。なお、図５（ｂ）においては、近視用画像作成をしない時の画面であるため、近視用画像作成をキャンセルするボタン５２３が選択不可状態になっている。そして、近視用画像作成を指示するボタン５２２が選択可能となっている。

＜ステップＳ２５６＞
ステップＳ２５６において、反転画像作成の指示がなされたか否かの判定をする。ここにおいて反転画像作成の指示をするのは、例えば、撮影結果確認画面において、撮影時には、強度近視眼用以外の撮影モードで撮影を行ったが、撮影画像を確認した際に、画像上端での網膜層の折り返しが発生していた場合である。それを補正するために、例えば、撮影結果確認画面５１１に反転画像４０２作成を指定するために、近視用画像作成を指示するボタン５２２を用意しておく。指定部１１６はそのボタン５２２が選択される事により、反転画像作成部１１３に反転画像作成の指定をする。すなわち、前述のステップＳ２５２に処理を進める。なお、近視用画像作成を指示するボタン５２２が選択されずに、ボタン５２０、５２１が選択されればステップＳ２０６に処理を進める。

＜ステップＳ２０６＞
ステップＳ２０６において、不図示の指示取得部は、画像処理システム１００による断層画像の撮影を終了するか否かの指示を外部から取得する。この指示は、操作部６００を用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理システム１００はその処理を終了する。一方、処理を終了せずに、撮影を続ける場合には、ステップＳ２０２に処理を戻して撮影を続行する。

以上によって、画像処理システム１００の処理が行われる。

以上で述べた構成によれば、強度近視眼のような湾曲が大きい網膜層を撮影した場合においても、網膜層全体の形状を把握出来るように断層画像を表示することが可能となる。

（第２の実施形態：網膜層が断層画像の端に接するか否かを判定）
上記第１の実施形態では、強度近視眼のような湾曲が大きい網膜層を撮影した場合においても、網膜層全体の形状を把握出来るように反転画像を全ての断層画像で作成して表示をする例について説明を行った。本実施形態においては、新たに判定手段を設け、網膜層が断層画像の端に接するか否かを判定することを特徴とする。これにより、反転画像を作成するか否かを自動的に判定することができる。また、反転画像を表示部に表示するか否かを自動的に判定することもできる。

以下、図６、図７を用いて説明を行う。なお、上記第１の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。図６は本実施形態における画像処理装置６１０を備える画像処理システム６０１の構成を示す図である。本実施形態においては、判定部６１６が第１の実施形態と異なる。処理フローにおいては、図２のステップＳ２５１において反転画像を作成する判定箇所における判定方法が異なる。実施形態１においては、強度近視眼用の撮影モードで撮影を行う事により、反転画像を作成する判定をしていた。そして、撮影された全ての断層画像において反転画像を作成する例を説明した。本実施形態においては、判定部６１６が撮影された断層画像毎に反転画像を作成する必要があるか否かを判定する。まず、反転画像を作成する好適な場合について、図７を用いて説明する。

図７（ａ）は、断層画像に網膜層の折り返しがある場合の断層画像７０１とその反転画像７０２の例を示している。図７（ｂ）は、断層画像に網膜層の折り返しがある場合の断層画像７０１と、折り返し部分が存在する個所だけを反転画像に反映させた反転画像７１２の例を示している。図７（ｂ）に示すように、折り返し個所に相当する部分だけを反転画像上に反映させ、残りの個所に関しては、図７（ｄ）で示す補間画像７０５のような画素値で作成した画像としてもよい。これにより、不要な情報を減らす事が出来る。図７（ｃ）は、断層画像に折り返し部分が無い場合の断層画像７０３とその反転画像７０４の例を示している。図７（ｃ）に示すように、反転画像を作成する必要のない断層画像において反転画像を作成しても無駄になる。３次元のラスタスキャンや放射状スキャン等、一度のスキャンで複数の断層画像を撮影する場合において、一部の断層画像では反転画像を作成する必要があり、残りの断層画像では反転画像を必ずしも作成する必要が無い場合について説明をする。その場合、必ずしも反転画像を作成する必要のない断層画像においては反転画像の領域における画素値は、網膜層以外の背景領域の画素値から平均値を求めてその値とするか、あるいは事前に決められた値（例えば、０）とする。この例を図７（ｄ）に示す。図７（ｄ）は、断層画像７０３と補間画像７０５とを示している。図７（ｄ）で示した補間画像７０５は、３次元のラスタスキャン等において、必ずしも反転画像を作成する必要のない断層画像において作成されるものである。そのため、一度のスキャンで撮影された複数の断層画像の全てにおいて反転画像を作成する必要がある場合、あるいは作成する必要のない場合においては作成されない。すなわち、補間画像７０５は、一度の撮影スキャンパターンにおいては、断層画像の横・深さ方向のサイズを揃えるために必要となるためのものである。補間画像７０５により、反転画像７０２を作成した他の断層画像とのアスペクト比を揃える事が出来る。また、反転画像作成部６１３において作成される反転画像、補間画像の深さ方向のサイズは、判定部６１６によって自動的に決定される。次に、判定部６１６による反転画像を作成するか否かの判定方法、そのサイズの決定方法、および反転画像作成部６１３による反転画像と補間画像の作成の例を説明する。

まず、判定部６１６は、断層画像に対してノイズ除去のためにメディアンフィルタを用いて平滑化を行う。次に判別分析法を用いて画像の２値化を行う。そして、２値化画像に対してラベリング処理を行う。ラベリング処理によって、２値化領域のまとまり毎のサイズが検出できるので、サイズの小さな領域は除去をして大きなまとまりの領域のみを残す。その領域に対してモルフォロジー変換でオープニング、クロージング処理を行い網膜層領域のみを残す。なお、上記で示した平滑化処理や２値化の閾値自動判別方法はこれに限らず、類似の結果を得る方法であれば、他の方法を用いてもよい。また、これらの処理は網膜層領域のみを検出する処理なので、画像を縮小化してから処理を行う事により高速に処理を行う事が可能となる。この網膜層領域が画像の左右上端に接しているか否かで折り返しを判定する。これについて、図８を用いて説明をする。

図８において、８０１は断層画像、８０２は断層画像から検出した網膜層領域を示している。図７（ａ）における反転画像作成の例を、図８（ａ）を用いて説明する。この網膜層領域８０２は、画像上端において網膜層が接している領域のサイズａと、画像の右端あるいは左端において、画像の上端から網膜層の下端が接している領域のサイズｈとが、一定以上のサイズであれば、上端において折り返しが発生していると判定する。ここで、サイズａ、ｈは、断層画像の縦と横のそれぞれのサイズの一定の割合の値であり、例えば、数％の割合に対応するサイズである。網膜層領域８０２の画像の上端、右端あるいは左端において接しているサイズａ、ｈが一定以下であれば、反転画像を作成しない。なお、サイズａは、図８（ａ）の場合における画像上端の右端において、網膜層の左端から右端で上述してきたが、これに限らず、網膜層の左端から画像の右端までの距離でも良い。また、サイズｈの程度により、反転画像を作成する際の深さ方向のサイズを決定しても良い。次に、図７（ｂ）における断層画像の一部だけを反転画像に反映させる例について、図８（ｂ）を用いて説明する。これは、図８（ｂ）に示すように、断層画像の上端、右端あるいは左端に接している領域を含む範囲を注目領域（ＲＯＩ）として設定する。その範囲をｂとする。ここのＲＯＩに含まれる画像だけを反転画像の部分に反映する事で、反転画像７１２を作成する。

反転画像のサイズに関しては、３次元のラスタスキャンのように複数の断層画像がある場合、全ての断層画像に対して同様の処理を行った後に、それらの中で最大のサイズｈに合わせて、反転画像作成部６１３は反転画像や補間画像を作成する事が望ましい。複数の断層画像において、一部の断層画像において反転画像を作成する必要がある事が判定された場合、残りの断層画像においては、反転画像と同じサイズの補間画像を作成する。なお、複数の断層画像において、一部の断層画像において反転画像を作成する必要がある場合に、残りの全てにおいて補間画像を作成する例を示したが、必ずしもそれに限らない。例えば、１２８枚の断層画像を撮影した内の１枚だけが折り返し画像を作成する必要があると判定された場合など、誤検出の可能性もあり得る。そのため、撮影した断層画像の内の閾値以上の断層画像の枚数（例えば、３割以上）において、反転画像を作成する必要があると判定された場合に、反転画像と補間画像を作成するという判定をするようにしてもよい。また、反転画像、補間画像の深さ方向のサイズを自動的に決定する方法について説明をしたが、必ずしも動的に変更出来る必要はない。反転画像、補間画像の深さ方向のサイズに関しては、撮影画像毎に画像サイズが異なる事が必ずしもよいとは限らない。そのため、固定値か、ｈのサイズを基に数パターンのサイズ（２００、３００、４００ピクセル等）からの自動選択としてもよい。もちろん、網膜の深度方向における反転画像の範囲を、上記のような複数の範囲から手動で選択する構成でも良い。

なお、本実施形態においては、画像上端、左右において接しているサイズａ、ｈを用いて自動判定する例を説明したが、網膜層が画像上端の左右両側（図８のサイズａに相当する個所）において、どの程度接しているかを折り返しの判定の指標としてもよい。

以上説明のように、本実施形態によれば判定手段により反転画像の作成の有無とそのサイズを自動的に判定する事が出来る。それにより、反転画像を作成する必要がある時だけに反転画像を作成する事が出来、強度近視眼のような湾曲が大きい網膜層を撮影した場合においても、網膜層全体の形状を把握出来るように断層画像を表示することが可能となる。

（第３の実施形態：反転画像における網膜層を解析）
上記第１、２の実施形態では、撮影結果を確認時に反転画像の作成を行う例の説明を行った。本実施形態においては、画像解析手段をさらに有し、画像解析時に反転画像の作成を行う例を説明する。これについて図９、図１０を用いて説明をする。なお、上記第１、２の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。図９は本実施形態における画像処理装置９１０を備える画像処理システム９００の構成を示す図である。本実施形態においては、画像解析部９１７、画像解析補正部９１８が第１、２の実施形態と異なる。画像解析部９１７は、網膜層から層境界を検出し、網膜層の厚みや形状の解析を行う。図１０の処理フローにおいては、ステップＳ１００５、ステップＳ１００６が異なる。

本実施形態においては、画像解析手段をさらに有し、撮影結果確認時に反転画像の作成を行うのではなく、画像解析時に反転画像の作成を行う例について説明を行う。

＜ステップＳ１００５＞
ステップＳ１００５では、撮影結果の確認画像表示を行う。これに関しては、実施形態１で示した図５を参照して説明を行う。実施形態１では撮影結果確認画面において反転画像の作成の可否を判断したが、本実施形態においてはそれを行わないものとして説明をする。そのため、図５（ｂ）の撮影結果確認画面５１１は、断層画像４０１、眼底画像５０２、撮影時の撮影領域を示すマーク５０５、撮影結果を承認するボタン５２０、撮影結果をキャンセルするボタン５２１とで構成する画面を表示すればよい。すなわち、本実施形態においては、近視用画像作成を指示するボタン５２２、近視用画像作成をキャンセルするボタン５２３を表示する必要はない。これにより、撮影だけをすばやく行い、解析は後ほど行うような場合においては、操作者は、撮影だけを集中して行う事が出来る。

＜ステップＳ１００６＞
ステップＳ１００６では、表示制御部１１５が断層画像の解析とその結果を表示部３００に表示する。この処理について図１０（ｂ）と図１１を参照して説明をする。

＜ステップＳ１０６１＞
ステップＳ１０６１では、画像解析部９１７は網膜層の検出を行う。これについて、図１１を用いて説明を行う。図１１（ａ）は判定部６１６によって検出された網膜層領域１１０２である。判定部６１６の処理は、第２の実施形態に示した方法である。判定部６１６により、画像上端と左右端に接している領域が存在する個所にはマスク領域１１０３（図の右側斜線領域）を設定し、その個所においては網膜層の検出を行わない。そして、画像解析部９１７は、マスク領域が設定されている箇所以外の断層画像から網膜層の検出を行う。画像解析部９１７は、ＩＬＭ（内境界膜）、ＮＦＬ（神経線維層）とＧＣＬ（神経節細胞層）との境界、ＩＳＯＳ（視細胞内節外節接合部）、ＲＰＥ（網膜色素上皮層）の各境界のいずれかを検出する。まず、断層画像１１０５に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用して画像を作成する（以下、メディアン画像、Ｓｏｂｅｌ画像とする）。次に、作成したメディアン画像とＳｏｂｅｌ画像から、Ａ−ｓｃａｎ毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。そして、Ｓｏｂｅｌ画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を検出する。ここで検出した層境界の例を図１１（ｂ）に示す。図１１（ｂ）において検出した境界線を太線で示している。図１１（ｂ）に示すように、断層画像の上端で網膜層の折れ曲がりがある領域１１０３に関しては、網膜層の検出が困難であるため処理を行わない。

＜ステップＳ１０６２＞
ステップＳ１０６２では、撮影時に反転画像作成が指定されていたか否かを判定する。本実施形態の場合、第２の実施形態と同様に判定部６１６の判定により、反転画像、補間画像を作成するか否かを判定する。１度のスキャンパターンで複数の断層画像の中に反転画像、補間画像を作成する必要があると判定される場合、処理をステップＳ１０６３に進める。なお、反転画像、補間画像を作成する必要がないと判定される場合は、ステップＳ１０６８に処理を進める。これに関しては後ほど説明を行う。

＜ステップＳ１０６３＞
ステップＳ１０６３では、反転画像作成部６１３が反転画像の作成を行う。反転画像の作成に関しては、第２の実施形態で示したように、判定部６１６の判定結果により、反転画像作成部６１３で作成する反転画像や、補間画像の画像サイズを決定する。

＜ステップＳ１０６４＞
ステップＳ１０６４では、画像解析部９１７における検出部が、反転画像領域において網膜層の検出を行う。画像解析部９１７は、ステップＳ１０６１で検出した網膜層境界を基準として、反転画像領域で網膜層の検出をする。図１１（ｂ）で示したマスク領域１１０３に隣接する境界線の位置を初期値として、マスク領域内と反転画像領域内のエッジを探索する。その際に、エッジを探索する方向としては、境界線が連続して存在している方向、図１１では右斜め上方向に連続するエッジを探索していく。エッジ検出のＳｏｂｅｌフィルタにおいて、この領域に関しては、層境界を検出しやすいように斜め方向のエッジを検出するようにフィルタを設定する。なお、左右両端に折り返し領域がある場合は、それぞれの方向のエッジを検出しやすいように、右端と左端とで別々のフィルタを適用することが望ましい。ここで検出した層境界の例を図１１（ｃ）に示す。図１１（ｃ）において検出した境界線を太線で示している。図１１（ｃ）に示すように、断層画像の上端で網膜層の折れ曲がりがある領域１１０３と、反転画像領域１１０６においても網膜層境界を検出している。以上より、網膜層の境界が滑らかにつながる連続的な形状であるという網膜層の連続性を考慮することにより、網膜層の境界を検出することができる。

＜ステップＳ１０６５＞
ステップＳ１０６５では、画像解析部９１７は形状解析を行う。形状解析としては、例えば、網膜層の厚みや曲率を計算する。網膜層の厚みに関しては、例えば、ＩＬＭ（内境界膜）とＲＰＥ（網膜色素上皮層）を検出したとする。この場合、網膜層全体の厚みを計算する事になる。図１１において層の厚みは、ｘｚ平面上の各ｘ座標において、ＩＬＭ（内境界膜）のｚ座標と、ＲＰＥ（網膜色素上皮層）のｚ座標との差を求めることで計算出来る。さらに、網膜層の厚みだけではなく、網膜層の面積や体積を求めてもよい。網膜層の面積は、１枚の断層画像においてｘ軸の各座標点での層厚を加算することによって計算出来る。体積は、求めた面積をｙ軸方向に加算することで計算出来る。これらの計算結果は記憶部１１２に記憶しておく。ここでは、網膜層全体の計算を例に説明したが、他の層（例えばＮＦＬ）の面積、体積も同様にして求めることが出来る。

また、曲率の場合は、形状解析の対象となる層（ＲＰＥ）の境界線の曲率を計算する。曲率κは境界線の各点において、数１を計算することで求めることが出来る。曲率κの符号で上に凸か下に凸かが分かり、数値の大きさで形状の曲がり具合が分かる。そのため、上に凸を＋、下に凸を−とした場合、各断層画像において、曲率の符号が−領域、＋領域、−領域となる場合はＷ形状となる。曲率においては、上に凸、下に凸で符号が変わるため、網膜層形状が画像上端で折り返している状態ではなく、本来の網膜層形状に近い形で解析することで所望の結果を得る事が出来る。

なお、ここでは、断層画像の境界線で曲率を計算する場合を示したが、曲率計算はこれに限らず、３次元データから３次元の曲率を計算するようにしてもよい。

なお、画像解析部９１７で検出した網膜層境界に誤検出がある場合、操作者の指示により、画像解析補正部９１８ではマニュアル修正をする事が出来る。

＜ステップＳ１０６６＞
ステップＳ１０６６では、解析結果の確認画像を表示する。この例を図１２に示す。図１２（ａ）において、１２１０は断層画像観察画面、１２０１は断層画像、１２０２は反転画像、１２１１は近視用解析実行ボタン、１２１２は近視用解析キャンセルボタンである。ステップＳ１０６６では、反転画像を作成するフローであるため、近視用解析実行ボタン１２１１が選択不可状態であり、近視用解析キャンセルボタン１２１２が選択可能状態となっている。そして、断層画像１２０１と反転画像１２０２の上に網膜層境界の検出結果を重畳表示している。なお、断層画像を表示する領域のサイズが決まっている場合、深さ方向だけを縮めるという処理をするのではなく、断層画像１２０１だけを表示する時の画像のアスペクト比と同じアスペクト比で、断層画像１２０１を表示し、それに合わせて反転画像１２０２とを表示する事が望ましい。

１２０３はＳＬＯ（眼底画像）、１２３２は撮影範囲をＳＬＯ上に重畳表示したもの、１２３１は眼底画像切り替えコンボボックスである。眼底画像切り替えコンボボックス１２３１を切り替える事により、眼底写真、眼底写真＋ＳＬＯ、ＳＬＯ＋解析マップなどを切り替えて表示する事が出来る。

１２０４は層厚マップ、１２４１はマップの種類切り替えコンボボックス、１２０５は層厚グラフを示している。マップの種類切り替えコンボボックス１２４１を切り替える事により、網膜層全体厚マップ、曲率マップなどマップの種類を切り替えて表示する事が出来る。そして、グラフ１２０５は、そのマップの種類に応じて表示するグラフの種類も切り替わるものとする。

図１２の例で示すように、画像上端で折れ曲がり領域が発生していても、画像全体の層領域が検出できているので、層厚マップ１２０４と層厚グラフ１２０５は欠損部分がなく、全体の解析を行った状態を表示する事が出来ている。

＜ステップＳ１０６７＞
ステップＳ１０６７においては、近視用解析キャンセルボタン１２１２を選択する事で、ステップＳ１０６９に処理が移動する。近視用解析キャンセルボタン１２１２が選択されなければ、画像解析／表示処理からフローが戻る。

＜ステップＳ１０６８＞
ステップＳ１０６８では、反転画像が作成されていない場合において画像解析部９１７が形状解析を行う。形状解析の方法としては、ステップＳ１０６５で示したものと同等の処理である。ただし、形状解析を行う領域が、図１１（ｂ）に示すマスク領域１１０３以外の断層画像１１０５に対して行う。

＜ステップＳ１０６９＞
ステップＳ１０６９では、解析結果の確認画像を表示する。これについて図１２（ｂ）を用いて説明を行う。図１２（ａ）と同様の画面構成になるが、図１２（ｂ）では断層画像１２０１を表示し、反転画像１２０２は表示されない。また、網膜層の境界を示す表示形態を断層画像に重畳表示しているが、検出できている範囲は、網膜層が画像上端に接していない領域までである。さらに、近視用解析実行ボタン１２１１が選択可能状態であり、近視用解析キャンセルボタン１２１２が選択不可状態となっている。

図１２（ｂ）で示すように断層画像１２０１において、折り返し領域が発生している場合、層厚マップ１２４４、層厚グラフ１２５５において、欠損領域が発生している。

＜ステップＳ１０７０＞
ステップＳ１０７０においては、近視用解析実行ボタン１２１１を選択する事で、ステップＳ１０６３に処理が移動する。近視用解析実行ボタン１２１１が選択されなければ、画像解析／表示処理からフローが戻る。

なお、本実施形態においては、画像解析手段を有し、撮影結果確認時に反転画像の作成を行うのではなく、画像解析時に反転画像の作成を行う例を示したが、必ずしもそれに限らない。例えば、撮影結果確認時に反転画像の作成を行う確認をしているのであれば、画像解析時に反転画像作成の切り替えを行う必要はない。その場合、図１０の処理フローにおいて、ステップＳ１０６２では撮影結果確認時に行われた判定に基づいて処理フローを分け、ステップＳ１０６７、ステップＳ１０７０で示した判断フローは不要になる。

以上説明のように、本実施形態によれば画像解析手段により網膜層の検出と層形状の解析を行う事が出来る。また、反転画像を作成する場合、作成しない場合においても解析をする事が出来、強度近視眼のような湾曲が大きい網膜層を撮影した場合においても、網膜層全体の形状を把握出来るように断層画像を表示すると共に、形状の解析結果を表示することが可能となる。

（第４の実施形態：作成された新たな断層画像の解析結果を表示）
上記第１〜３の実施形態では、強度近視眼のような湾曲が大きい網膜層を撮影した場合において反転画像の作成を行うことで、網膜層全体の形状を表示する例の説明を行った。本実施形態においては、網膜層全体の形状を表示する事はせずに、解析結果を示す表示形態を表示する例について説明を行う。なお、上記第１〜３の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。

実施例３で用いた図１０のフローと図１３を参照して説明を行う。図１０において、ステップＳ１０６６の確認画像表示について説明をする。図１３で示すように、本実施形態において、ステップＳ１０６６では、反転画像を表示せず、断層画像１２０１を表示するとともに、網膜層境界の検出結果を断層画像１２０１上に重畳表示している。このとき、表示をしない反転画像を用いて検出した網膜層境界の検出結果を、断層画像１２０１上に上下反転させて重畳表示をしている。これにより、反転画像を表示しない場合であっても、反転画像を用いて検出した網膜層境界の検出結果を用いることにより、精度の良い層厚グラフ１２０５を表示することもできる。

以上説明のように、本実施形態によれば画像解析手段により網膜層の検出と層形状の解析を行う事が出来る。また、反転画像を作成する場合、作成しない場合においても解析をする事が出来、強度近視眼のような湾曲が大きい網膜層を撮影した場合においても、網膜層全体の形状解析結果を表示することが可能となる。

（その他の実施形態）
上記のそれぞれの実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。画像処理装置のＣＰＵは、ＲＡＭやＲＯＭに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。また、ボタンなどのユーザーインターフェイスや表示のレイアウトは上記で示したものに限定されるものではない。

Claims (17)

1. 被検眼の網膜の断層画像を取得する取得手段と、
   前記取得された断層画像のうち少なくとも一部を反転した反転画像と前記取得された断層画像とを用いて、前記取得された断層画像に対する前記反転画像の位置が、前記取得された断層画像における網膜層が前記取得された断層画像の端に接している側になるように、新たな断層画像を作成する作成手段と、
   を有することを特徴とする画像処理装置。
2. 前記接している側は、前記取得された断層画像におけるコヒーレンスゲート側であることを特徴とする請求項１に記載の画像処理装置。
3. 前記作成された新たな断層画像を表示手段に表示させる表示制御手段を更に有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記取得された断層画像における網膜層の境界を検出し、且つ前記取得された断層画像における前記網膜層と前記反転画像における前記網膜層との連続性を考慮して前記反転画像における網膜層の境界を検出する検出手段を更に有し、
   前記表示制御手段が、前記検出された境界を示す表示形態を前記作成された新たな断層画像に重ねた状態で前記表示手段に表示させることを特徴とする請求項３に記載の画像処理装置。
5. 前記取得された断層画像における網膜層の境界を検出し、且つ前記取得された断層画像における前記網膜層と前記反転画像における前記網膜層との連続性を考慮して前記反転画像における網膜層の境界を検出する検出手段と、
   前記検出された境界を用いて前記作成された新たな断層画像を解析する画像解析手段と、
   前記画像解析手段の解析結果を示す表示形態を表示手段に表示させる表示制御手段と、
   を更に有することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記網膜層が前記取得された断層画像の端に接するか否かを判定する判定手段を更に有し、
   前記表示制御手段が、前記網膜層が前記断層画像の端に接している場合に、前記作成された新たな断層画像を前記表示手段に表示させることを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
7. 前記反転画像を作成することを指示する指示手段を更に有し、
   前記表示制御手段が、前記指示手段の指示に応じて、前記作成された新たな断層画像を前記表示手段に表示させることを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
8. 前記表示制御手段が、前記取得された断層画像が強度近視眼用の撮影モードで撮影されている場合に、前記作成された新たな断層画像を前記表示手段に表示させることを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
9. 前記作成された新たな断層画像と前記反転画像とのいずれか一方を前記表示手段に表示させる選択手段を更に有することを特徴とする請求項３乃至８のいずれか１項に記載の画像処理装置。
10. 前記網膜の深度方向における前記反転画像の範囲を、複数の範囲から選択する選択手段を更に有し、
    前記作成手段が、前記選択された範囲の反転画像を作成し、前記作成された反転画像と前記取得された断層画像とを用いて前記新たな断層画像を作成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 被検眼の網膜の断層画像を取得する取得手段と、
    前記取得された断層画像における網膜層と前記取得された断層画像の端に接している側における前記網膜層の折り返し箇所との重なり箇所の網膜層を解析する画像解析手段と、
    前記断層画像と画像解析手段の解析結果を示す表示形態とを表示手段に表示させる表示制御手段と、
    を有することを特徴とする画像処理装置。
12. 前記画像解析手段は、前記取得された断層画像の右端と左端とに応じて、前記折り返し箇所における前記網膜層を検出する方向が異なることを特徴する請求項１１に記載の画像処理装置。
13. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。
14. 請求項１乃至１２のいずれか１項に記載の画像処理装置と、前記取得された断層画像を撮るＯＣＴ装置とを通信可能に接続することを特徴とする画像処理システム。
15. 被検眼の網膜の断層画像を取得する工程と、
    前記取得された断層画像のうち少なくとも一部を反転した反転画像と前記取得された断層画像とを用いて、前記取得された断層画像に対する前記反転画像の位置が、前記取得された断層画像における網膜層が前記取得された断層画像の端に接している側になるように、新たな断層画像を作成する工程と、
    を有することを特徴とする画像処理方法。
16. 被検眼の網膜の断層画像を取得する工程と、
    前記取得された断層画像における網膜層と前記取得された断層画像の端に接している側における前記網膜層の折り返し箇所との重なり箇所の網膜層を解析する工程と、
    前記断層画像と前記解析する工程における解析結果を示す表示形態とを表示手段に表示させる工程と、
    を有することを特徴とする画像処理方法。
17. 請求項１５または１６に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。