JP2019047841A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 高画質な断層画像を生成する画像処理装置を提供する。【解決手段】 第一の２次元断層像の水平方向において互いに一部の領域が重複する第一の領域と第二の領域とを前記第一の２次元断層像に対して設定し、前記第一の領域と前記第二の領域とのそれぞれにおいて、前記第一の２次元断層像と第二の２次元断層像とのズレ量を取得し、前記第一の領域と前記第二の領域とが重複する領域における前記第一の２次元断層像に対する前記第二の２次元断層像の移動量を、前記第一の領域における前記ズレ量と前記第二の領域における前記ズレ量とに基づいて決定する。【選択図】 図１

Description

開示の技術は、画像処理装置、位置合わせ方法及びプログラムに関する。

光干渉断層計（ＯＣＴ；Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）で得られる複数の２次元の断層画像から加算平均画像またはＯＣＴＡ（ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ）画像を生成することが可能である。被検眼は動くため、加算平均画像またはＯＣＴＡ画像を生成するためには、複数の２次元の断層画像の位置合わせを行うことが求められる。

特許文献１は、精度良く位置合わせを行うために、断層画像を水平方向に複数の領域に分割し、領域毎に断層画像間のズレ量を求めて位置合わせを行うことを開示している。

特開２０１０−１１０３９２号公報

しかし、水平方向に分割された複数の領域のうち特徴的な部分が含まれない領域では、たとえ隣接する領域に特徴的な部分が含まれていたとしても位置合わせの精度が低下する場合があった。

開示の技術は上記課題に鑑みてなされたものであり、断層画像の位置合わせの精度を向上させることを目的とする。

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の１つとして位置付けることができる。

開示の画像処理装置は、眼の同一位置を走査するように制御された測定光に基づいて得られた第一の２次元断層像と第二の２次元断層像とを取得する第一取得手段と、前記第一の２次元断層像の水平方向において互いに一部の領域が重複する第一の領域と第二の領域とを前記第一の２次元断層像に対して設定する設定手段と、前記第一の領域と前記第二の領域とのそれぞれにおいて、前記第一の２次元断層像と前記第二の２次元断層像とのズレ量を取得する第二取得手段と、前記第一の領域と前記第二の領域とが重複する領域における前記第一の２次元断層像に対する前記第二の２次元断層像の移動量を、前記第一の領域における前記ズレ量と前記第二の領域における前記ズレ量とに基づいて決定する決定手段と、を備える。

開示の技術によれば、高速で正確な位置合わせを行い、高画質な断層画像を得る事ができる。

画像処理システムの構成の一例を示す図。 眼部の構造と断層画像と眼底画像を説明するための図。 画像処理システムにおける処理の流れの一例を示すフローチャート。 大局位置合わせ処理の流れの一例を示すフローチャート。 局所位置合わせ処理の流れの一例を示すフローチャート。 投影像の一例を説明するための図。 ライン投影像位置合わせの一例を説明するための図。 境界線位置合わせの一例を説明するための図。 基準画像選択の一例を説明するための図。 位置合わせと画像選択を説明するための図。 大局位置合わせによる画像変形の一例を説明するための図。 局所位置合わせの一例を説明するための図。 局所位置合わせの一例を説明するための図。 大局位置合わせの一例を説明するための図。

［実施例１］
以下、図面を参照しながら、本発明の第一の実施形態について説明する。なお、本実施形態に係る画像処理装置は、ノイズを低減した２次元断層画像を生成するにあたり、高速で正確に複数の断層画像の位置合わせをすると共に、加算平均を行うために位置合わせの基準となる断層画像を適切に選択することを特徴としている。なお、以降の実施例に示す数値は例示であり、開示の数値に限定されるものではない。

本実施形態によれば、固視微動などにより、２次元断層画像内の網膜層が変形している場合においても高画質な２次元断層画像を取得することが可能となる。ここで、高画質とは一度の撮影と比較してＳ／Ｎ比が向上している画像をいう。または、診断に必要な情報量が増えている画像のことをいう。

以下、本実施形態に係る画像処理装置を備える画像処理システムについて、詳細を説明する。

図１は、本実施形態に係る画像処理装置３００を備える画像処理システム１００の構成を示す図である。図１に示すように、画像処理システム１００は、画像処理装置３００が、インタフェースを介して断層画像撮影装置（ＯＣＴとも言う）２００、眼底画像撮影装置４００、外部記憶部５００、表示部６００、入力部７００と接続されることにより構成されている。

断層画像撮影装置２００は、眼部の断層画像を撮影する装置である。断層画像撮影装置に用いる装置は、例えばＳＤ−ＯＣＴやＳＳ−ＯＣＴからなる。なお、断層画像撮影装置２００は既知の装置であるため詳細な説明は省略し、ここでは、画像処理装置３００からの指示により行われる断層画像の撮影について説明を行う。

図１において、ガルバノミラー２０１は、測定光の眼底における走査を行うためのものであり、ＯＣＴによる眼底の撮影範囲を規定する。また、駆動制御部２０２は、ガルバノミラー２０１の駆動範囲及び速度を制御することで、眼底における平面方向の撮影範囲及び走査線数（平面方向の走査速度）を規定する。ここでは、簡単のためガルバノミラーは一つのユニットとして示したが、実際にはＸスキャン用のミラーとＹスキャン用の２枚のミラーで構成され、眼底上で所望の範囲を測定光で走査できる。

フォーカス２０３は被検体である眼の前眼部を介し、眼底の網膜層にフォーカスするためのものである。測定光は、非図示のフォーカスレンズにより、被検体である眼の前眼部を介し、眼底の網膜層にフォーカスされる。眼底を照射した測定光は各網膜層で反射・散乱して戻る。

内部固視灯２０４は、表示部２４１、レンズ２４２で構成される。表示部２４１として複数の発光ダイオード（ＬＥＤ）がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、駆動制御部２０２の制御により撮影したい部位に合わせて変更される。表示部２４１からの光は、レンズ２４２を介し、被検眼に導かれる。表示部２４１から出射される光は５２０ｎｍで、駆動制御部２０２により所望のパターンが表示される。

コヒーレンスゲートステージ２０５は、被検眼の眼軸長の相違等に対応するため、駆動制御部２０２により制御されている。コヒーレンスゲートとは、ＯＣＴにおける測定光と参照光の光学距離が等しい位置を表す。さらには、撮影方法としてコヒーレンスゲートの位置を制御することにより、網膜層側か、あるいは網膜層より深部側とする撮影を行うことを制御する。ここで、画像処理システムで取得する眼の構造と画像について図２を用いて説明する。

図２（ａ）に眼球の模式図を示す。図２（ａ）において、Ｃは角膜、ＣＬは水晶体、Ｖは硝子体、Ｍは黄斑部（黄斑の中心部は中心窩を表す）、Ｄは視神経乳頭部を表す。本実施形態にかかる断層画像撮影装置２００は、主に、硝子体、黄斑部、視神経乳頭部を含む網膜の後極部を撮影する場合について説明を行う。なお、本発明では説明をしないが、断層画像撮影装置２００は、角膜、水晶体の前眼部を撮影することも可能である。

図２（ｂ）に断層画像撮影装置２００が取得する網膜を撮影した場合の断層画像の例を示す。図２（ｂ）において、ＡＳはＡスキャンというＯＣＴ断層画像における画像取得の単位を表す。このＡスキャンが複数集まって一つのＢスキャンを構成する。そしてこのＢスキャンのことを断層画像（あるいは断層像）と呼ぶ。図２（ｂ）において、Ｖは硝子体、Ｍは黄斑部、Ｄは視神経乳頭部を表す。また、Ｌ１は内境界膜（ＩＬＭ）と神経線維層（ＮＦＬ）との境界、Ｌ２は神経線維層と神経節細胞層（ＧＣＬ）との境界、Ｌ３は視細胞内節外節接合部（ＩＳＯＳ）、Ｌ４は網膜色素上皮層（ＲＰＥ）、Ｌ５はブルッフ膜（ＢＭ）、Ｌ６は脈絡膜を表す。断層画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（深さ方向）をｚ軸とする。

図２（ｃ）に眼底画像撮影装置４００が取得する眼底画像の例を示す。眼底画像撮影装置４００は、眼部の眼底画像を撮影する装置であり、当該装置としては、例えば、眼底カメラやＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｏｔｈａｌｍｏｓｃｏｐｅ）等が挙げられる。図２（ｃ）において、Ｍは黄斑部、Ｄは視神経乳頭部を表し、太い曲線は網膜の血管を表す。眼底画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（ＯＣＴの副走査方向）をｙ軸とする。なお、断層画像撮影装置２００と眼底画像撮影装置４００の装置構成は、一体型でもよいし別体型でもよい。

画像処理装置３００は、画像取得部３０１、記憶部３０２、画像処理部３０３、指示部３０４、表示制御部３０５を備える。画像取得部３０１は、断層画像生成部３１１からなる。画像処理装置３００は、例えば、不図示の１以上のプロセッサと１以上のメモリを備え、１以上のプロセッサが１以上のメモリに記憶されたプログラムを実行することで、１以上のプロセッサは画像取得部３０１、画像処理部３０３、指示部３０４、表示制御部３０５として機能する。プロセッサは例えばＣＰＵまたはＧＰＵ等のハードウエアである。例えば、画像処理装置３００は、断層画像撮影装置２００により撮影された断層画像の信号データを取得し、信号処理を行うことで断層画像の生成を行う。例えば、画像取得部３０１は、断層画像の加算平均を行う対象である眼の同一位置を走査するように制御された測定光に基づいて得られた複数の２次元断層像を取得する。また、眼底画像撮影装置４００により撮影された眼底画像データを取得する。そして、生成した断層画像と眼底画像を記憶部３０２に格納する。画像処理部３０３は、検出部３３１、第一の位置合わせ部３３２、第二の位置合わせ部３３３、画像選択部３３４、第三の位置合わせ部３３５、画像合成部３３６からなる。

検出部３３１は、網膜から各層の境界線を検出する。第一の位置合わせ部３３２は、網膜の横方向（ｘ軸）の位置合わせを行う。第二の位置合わせ部３３３は、網膜の深さ方向（ｚ軸）の位置合わせを行う。画像選択部３３４は、複数の断層画像から位置合わせの基準となる断層画像を選択すると共に、加算平均をする断層画像を選択する。第三の位置合わせ部３３５は、断層画像内部の特徴がある部分に位置合わせのための領域を複数設定し、その領域単位で網膜の横方向（ｘ軸）と深さ方向（ｚ軸）の位置合わせを同時に行う。画像合成部３３６は、画像選択部３３４が選択した断層画像を加算平均する。

外部記憶部５００は、被検眼に関する情報（患者の氏名、年齢、性別など）と、撮影した画像データ、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータをそれぞれ関連付けて保持している。

入力部７００は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部７００を介して、画像処理装置３００や断層画像撮影装置２００、眼底画像撮影装置４００へ指示を行う。

次に、図３を参照して本実施形態の画像処理装置３００の処理手順を示す。図３（ａ）は、本実施形態における本システム全体の動作処理、図３（ｂ）は、本実施形態における高画質画像生成処理の流れを示すフローチャートである。

＜ステップＳ３０１＞
ステップＳ３０１では、不図示の被検眼情報取得部は、被検眼を同定する情報として被検者識別番号を外部から取得する。そして、被検者識別番号に基づいて、外部記憶部５００が保持している当該被検眼に関する情報を取得して記憶部３０２に記憶する。

＜ステップＳ３０２＞
ステップＳ３０２では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者が非図示のスキャン開始を選択すると、断層画像撮影装置２００は、駆動制御部２０２を制御し、ガルバノミラー２０１を動作させて断層画像のスキャンを行う。ガルバノミラー２０１は、水平方向用のＸスキャナと垂直方向用のＹスキャナで構成される。そのため、これらのスキャナの向きをそれぞれ変更すると、装置座標系における水平方向（Ｘ）、垂直方向（Ｙ）それぞれの方向に走査することが出来る。そして、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することが出来るため、眼底平面上の任意の方向に走査することが可能となる。

撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、内部固視灯の位置、スキャン範囲、スキャンパターン、コヒーレンスゲート位置、フォーカスを少なくとも設定する。駆動制御部２０２は、表示部２４１の発光ダイオードを制御して、黄斑部中心や視神経乳頭に撮影を行うように内部固視灯２０４の位置を制御する。スキャンパターンは、３次元ボリュームを撮影するラスタスキャンや放射状スキャン、クロススキャンなどのスキャンパターンを設定する。なお、どのスキャンパターンを選択したとしても、一つのライン上を繰り返し複数枚（繰り返し回数は２枚以上）撮影する。なお、本実施形態においては、スキャンパターンはクロススキャン、同一箇所を１５０枚繰り返し撮影した場合について説明をする。これら撮影パラメータの調整終了後、操作者が非図示の撮影開始を選択することで撮影を行う。なお、本発明においては説明を省略するが、断層画像撮影装置２００は、加算平均用に同じ場所（一つのライン）を撮影するために、被検眼のトラッキングを行うことで、固視微動の影響を少なくして被検眼のスキャンを行う。

＜ステップＳ３０３＞
ステップＳ３０３では、断層画像の生成を行う。断層画像生成部３１１は、それぞれの干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成する。

まず、断層画像生成部３１１は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は検出した複数のＡスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、断層画像生成部３１１は、有限区間でフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。次に、ＦＦＴ処理を行う事によって断層信号を生成する。

＜ステップＳ３０４＞
ステップＳ３０４では、画像処理部３０３が合成画像生成を行う。画像処理部３０３の処理について、図３（ｂ）、図４、図５のフローチャートと、図６〜図１３を用いて説明をする。

＜ステップＳ３４１＞
ステップＳ３４１では、検出部３３１は、断層画像撮影装置２００が撮影した複数の断層画像において網膜層の境界線を検出する。検出部３３１は、図２（ｂ）の断層画像においてＬ１〜Ｌ６の各境界のいずれかを検出する。処理の対象とする断層画像に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用して画像を作成する（以下、メディアン画像、Ｓｏｂｅｌ画像とする）。次に、作成したメディアン画像とＳｏｂｅｌ画像から、Ａスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。そして、Ｓｏｂｅｌ画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を検出する。

＜ステップＳ３４２＞
ステップＳ３４２では、複数の断層画像間において網膜の横方向（ｘ軸）の位置合わせと、網膜の深さ方向（ｚ軸）の位置合わせをそれぞれ行う。なお、ここでの位置合わせは大局位置合わせとして説明をする。大局位置合わせＳ３４２の方法について、図４のフローチャートを用いて説明をする。

＜ステップＳ３４２１＞
ステップＳ３４２１では、各断層画像をそれぞれ位置合わせした場合の位置合わせパラメータを保存するための２次元行列を初期化する。各行列の要素には、位置合わせ時の変形パラメータや画像類似度などの画像高画質化に必要な情報をまとめて保存する。

＜ステップＳ３４２２＞
ステップＳ３４２２では、第一の位置合わせ部３３２は、ライン投影像を作成する。ライン投影像は、投影画像の一例である。ライン投影像とその作成方法について図６を用いて説明をする。図６（ａ）は１枚の断層画像の模式図を表す。断層画像において、Ｌ１〜Ｌ４は境界線、ＡＳはＡスキャン、Ｖｅｓｓｅｌは血管を表す。なお、図６（ａ）において、血管は２本の縦線で囲まれた領域で示しており、浅層部の血管により、深層部の方は影が生じている様子を表している。ライン投影像とは、各Ａスキャン単位で断層画像をＺ軸方向に加算平均して作成した画像の事を意味する。図６（ｂ）に１枚の断層画像から作成したライン投影像の模式図を示す。本実施形態においては、同一箇所を複数枚撮影した断層画像を用いて高画質化処理を行うため、断層画像は複数枚撮影する。そのため、同一箇所を複数枚撮影した断層画像群から作成したライン投影像の一例を図６（ｃ）に示す。図６（ｃ）において、横軸は断層画像と同じＸ、縦軸はｔで時間軸を表す。断層画像において血管下部には影が出来るため周囲と比較して輝度値が低くなる。そのため、ライン投影像で見た場合に血管に相当する個所は輝度値が低くなる。

＜ステップＳ３４２３＞
ステップＳ３４２３では、位置合わせ対象を選択する。本実施形態においては、全ての断層画像を基準画像に設定して残りの断層画像と位置合わせを行う。そのため、ステップＳ３４２３においては、Ｉｎｄｅｘ０の断層画像を基準とする場合に、Ｉｎｄｅｘ１〜１４９とそれぞれ位置合わせを行う。次に、Ｉｎｄｅｘ１の断層画像を基準とする場合には、Ｉｎｄｅｘ２〜１４９とそれぞれ位置合わせを行う。次に、Ｉｎｄｅｘ２の断層画像を基準とする場合には、Ｉｎｄｅｘ３〜１４９とそれぞれ位置合わせを行う。これらの処理を繰り返す。繰り返しの判定は後述のステップＳ３４２８で行う。

なお、ここで示したように基準画像のＩｎｄｅｘを１つずつ繰り上げた場合に、位置合わせの対象とする画像のスタートＩｎｄｅｘも１つずつ大きくする。これについてＩｎｄｅｘ２の断層画像を基準とする場合について説明をする。Ｉｎｄｅｘ２を基準とする場合に、Ｉｎｄｅｘ０とＩｎｄｅｘ１、Ｉｎｄｅｘ０とＩｎｄｅｘ２、Ｉｎｄｅｘ１とＩｎｄｅｘ２の位置合わせは、それまでの処理により既に位置合わせ済みである。そのため、Ｉｎｄｅｘ２の断層画像を基準とする場合には、Ｉｎｄｅｘ３から位置合わせをすればよい。これにより、全部の断層画像同士の位置合わせとはいえ、半分の組み合わせを計算すればよいことになる。

＜ステップＳ３４２４＞
ステップＳ３４２４では、第一の位置合わせ部３３２は、複数の断層画像間において網膜の横方向（ｘ軸）の位置合わせを行う。ここで、横方向（水平方向）位置合わせには、ステップＳ３４２２で作成したライン投影像を用いる。ライン投影像を用いた位置合わせは第一の方法の位置合わせの一例に相当する。ライン投影像位置合わせについて図７を用いて説明をする。図７（ａ）は、同一箇所を複数枚撮影した断層画像群から作成したライン投影像の一例を示す。図７（ａ）において、血管部分に注目すると、撮影時に被検眼のトラッキングを行っていてもわずかにずれがあることが分かる。そのため、ここではその位置ずれを補正する。ここでは、画像データを用いているが、位置合わせ時の画像データは図７（ｂ）に示すように１次元データとなる。図７（ｂ）では、Ｉｎｄｅｘ０とＩｎｄｅｘ１のライン投影像であり、画像サイズは１０２４×１である。Ｉｎｄｅｘ０を基準としてＩｎｄｅｘ１のＲＯＩの範囲の画像を位置合わせする。ＲＯＩのサイズは、画像サイズよりも横方向を小さく、縦方向は同じサイズを設定する。例えば、ＲＯＩのサイズを１０００×１とする。画像同士の位置合わせ処理としては、例えば、２つのライン投影像の類似度を表す評価関数を事前に定義しておき、ライン投影像位置をずらしながら評価値を計算し、評価値が最もよくなる場所を位置合わせ結果とする。すなわち、評価値が最もよくなる場所までの移動量をライン投影像間のズレ量として、位置合わせが行われる評価関数としては、画素値で評価する方法が挙げられる（例えば、相関係数を用いて評価を行う方法が挙げられる）。

類似度を表す評価関数として相関係数を用いた場合の式を数１に示す。

数１において、１枚目のライン投影像の領域をｆ（ｘ，ｚ）、２枚目のライン投影像の領域をｇ（ｘ，ｚ）とする。

は、それぞれ領域ｆ（ｘ，ｚ）と領域ｇ（ｘ，ｚ）の平均を表す。なお、ここで領域とは位置合わせに用いるための画像領域であり、通常ライン投影像のサイズ以下の領域が設定され、上述したＲＯＩサイズが設定される。

また、評価関数としては、これに限らずＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）や、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）でもよく、画像の類似度あるいは相違度を評価出来ればよい。

あるいは、ＰＯＣ（Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）のような方法で、位置合わせを行っても良い。

ライン投影像で位置合わせを行うため、画像の位置合わせが１次元となり、高速かつ安定して横方向の位置合わせを行うことが出来る。また、画像特徴が似ているか否かという情報も計算しておくことが出来る。

＜ステップＳ３４２５＞
ステップＳ３４２５では、ステップＳ３４１で検出した境界線情報を取得する。なお、取得する境界線は、現在の位置合わせ対象の断層画像の境界線情報だけである。例えば、Ｉｎｄｅｘ０とＩｎｄｅｘ１の境界線情報を取得する。

＜ステップＳ３４２６＞
ステップＳ３４２６では、第二の位置合わせ部３３３は、網膜の深さ方向（ｚ軸）の位置合わせを行う。ここで、深さ方向の位置合わせにおいては境界線情報を用いる。境界情報を用いた位置合わせは第一の方法の位置合わせとは異なる時刻に実行される第二の方法の位置合わせの一例に相当する。境界線情報位置合わせについて、図８を用いて説明をする。図８（ａ）は、位置合わせに用いる境界線の例を示している。本実施形態においては、境界線Ｌ１（ＩＬＭ）と境界線Ｌ３（ＩＳＯＳ）を用いる場合について説明をする。

図８（ａ）において、基準画像をＩｎｄｅｘ０、対象画像をＩｎｄｅｘ１としている。基準画像と対象画像とは、ステップＳ３４２４で横方向の位置合わせがされている。そのため、基準となる境界線Ｌ１、Ｌ３と、横方向位置合わせパラメータで補正した位置合わせ対象の境界線Ｌ１’、Ｌ３’とを用いて深さ方向の位置合わせをする。なお、位置合わせに利用する層境界は上記の層境界に限定されるものではなく、利用する層境界の数も２つに限定されるものではない。

図８（ｂ）に、説明のために基準画像の境界線Ｌ１、Ｌ３と位置合わせ対象の境界線Ｌ１’、Ｌ３’とを同時に表示する。図８（ｂ）において、境界線を縦方向にＮ分割している。それぞれの領域はＡｒｅａ０〜ＡｒｅａＮ−１とする。なお、図８（ｂ）において、画像中心部に分割領域を描画していないが、実際には画像全体を領域分割している。そして、上下矢印Ｄｉｆｆｅｒｅｎｃｅ１は、Ｌ１とＬ１’との差（ズレ量）を表し、上下矢印Ｄｉｆｆｅｒｅｎｃｅ３は、Ｌ３とＬ３’との差を表す。これらの差は、それぞれの領域Ａｒｅａ０〜ＡｒｅａＮ−１それぞれにおいて求める。本実施例では簡単のため、横方向の境界線サイズを同じで表示しているが、実際には、網膜層が画像の上方向にずれ（Ｚ軸で０の方向）、網膜層の一部領域が画像から欠損する場合がある。その場合には、画像全体で境界線が検出出来ない。そのため、境界線同士の位置合わせにいては、基準画像の境界線Ｌ１、Ｌ３と位置合わせ対象の境界線Ｌ１’、Ｌ３’との境界線が検出出来ている範囲をＮ分割して位置合わせをすることが望ましい。以下では、分割数Ｎを１２として説明をする。なお、分割数Ｎは横方向の画像サイズに応じて変更しても良い。あるいは、分割数Ｎは、共通して検出した境界線の横幅のサイズに応じて変更しても良い。

図８（ｂ）において各領域のＤｉｆｆｅｒｅｎｃｅ１とＤｉｆｆｅｒｅｎｃｅ３との平均をそれぞれＤ０ｔ〜Ｄ１１ｔとする。すなわち、ＩＬＭとＩＳＯＳとの差の平均をその領域の差分の代表値とする。次に各領域で求めた代表値Ｄ０ｔ〜Ｄ１１ｔを小さい順にソートする。そして、ソートした代表値を小さい順からＭ個用いて、平均と分散を計算する。なお、本実施形態ではＭ個は８個とする。しかし、数はこれに限定されない。Ｍの数はＮよりも小さければよい（Ｍ＜Ｎ）。平均と分散の計算は、ソートした代表値を一つずつずらして計算する。すなわち、本実施形態では１２個に分割した領域のうち８個の代表値を用いて計算をするため、全部で５個の平均値と分散値が求まる。次に、求めた５個の分散値の中で最小となる分散値に対応する平均値を深さ方向のシフト値とする。例えば、５個の分散値の中で最小となる分散値がＶａｒ０とする場合、深さ方向のシフト値はＡｖｇ０となる。このように境界線位置合わせ時に領域を分割し、分割した領域の差分値の組み合わせにおいて最もバラつきが小さくなる値を用いることで、境界線検出に誤りがあったとしても、それらの領域の値は使用しない。そのため、安定して深さ方向のシフト値を計算することが出来る。なお、深さ方向のシフト値として平均値としたが中央値でも良く、代表的な値を用いることが出来ればよい。さらに、バラつきを示す値として分散値を用いたが標準偏差でもよく、値のバラつきを評価出来る指標であればよい。なお、代表値の小さい順にソートする例を述べたが代表値の大きい順にソートすることとしてもう良い。このように、第二の位置合わせ部３３３は、複数の領域のズレ量を、ズレ量の値に従った順序に並び替え、値の小さい方または大きい方から予め定められた個数のズレ量の組み合わせを順次選択し、各組み合わせにおけるバラつきを示す値を算出し、バラつきを示す値が最も小さくなるズレ量の組み合わせを選択する。

最後に、上記で求めた深さ方向のシフト値を用いて境界線全体をＺ方向にシフトさせる。この例を図８（ｃ）に示す。再度各領域Ａｒｅａ０〜ＡｒｅａＮ−１で差分値を計算する。そして、各領域で求めた差分値の代表値Ｄ０〜Ｄ１１を小さい順にソートする。そして、ソートした代表値を小さい方からＭ個だけ用いて平均値を計算する。この平均値をｇｌｏｂａｌＤｉｓｔａｎｃｅとする。それにより、基準画像と対象画像とをＸ方向とＺ方向とに位置合わせした後の境界線同士の最終的な位置ずれ量（ｇｌｏｂａｌＤｉｓｔａｎｃｅ）が求まる。

なお、深さ方向のシフト値を計算するための分割数Ｎと選択数Ｍと、最終的な位置ずれ量（ｇｌｏｂａｌＤｉｓｔａｎｃｅ）を計算する際の分割数ＮとＭを同じとして説明をしたが、これに限らない。これらの数は別々でもよいし同じでもよい。例えば、シフト値を計算するための分割数Ｎは１２、選択数Ｍは８として、位置ずれ量（ｇｌｏｂａｌＤｉｓｔａｎｃｅ）を計算するための分割数Ｎは１５、選択数Ｍは１０としても良い。

また、図８（ｃ）では、説明のため境界線自体をシフトさせているが、データを実際にシフトさせなくとも、差分値を計算する式において、深さ方向のシフト値を考慮して各領域の差分値を求めても良い。

＜ステップＳ３４２７＞
ステップＳ３４２７では、ステップＳ３４２１で初期化した位置合わせや画像類似度などの画像高画質化に必要なパラメータを保存するための２次元行列に対して値を保存する。例えば、基準画像をＩｎｄｅｘ０、対象画像をＩｎｄｅｘ１とする場合、２次元行列の要素（０、１）に横方向の位置合わせパラメータＸ、深さ方向の位置合わせパラメータＺ、各領域での差分値の代表値Ｄ０〜Ｄ１１、ｇｌｏｂａｌＤｉｓｔａｎｃｅ、画像類似度を保存する。これらの情報の他に、まばたき等により画像が暗く境界線があまり検出出来ていない画像には、境界線検出の結果としてｆａｌｓｅのフラグを保存しても良い。一方、層境界検出が成功した場合には、画像に対してｔｒｕｅのフラグを対応付けて保存しても良い。さらに、本実施形態では説明をしないが、境界線位置合わせにおいて、境界線自体を回転させて位置合わせする場合、回転角度、回転軸の中心座標を保存しても良い。さらに倍率補正を行う場合には、倍率を保存しても良い。

＜ステップＳ３４２８＞
ステップＳ３４２８では、全ての画像を基準画像として残りの対象画像と位置合わせを行ったか否かを判定する。全ての画像を基準として処理をしていない場合には、ステップＳ３４２３に戻る。そして、全ての画像を基準として処理をした場合には、ステップＳ３４２９に進む。

＜ステップＳ３４２９＞
ステップＳ３４２９では、２次元行列の残りの要素を更新する。上記処理は、ステップＳ３４２３で説明したように、半分の組み合わせしか計算をしていない。そのため、計算をしていない要素にこれらの値をコピーする。例えば、２次元行列の要素（０、１）のパラメータは（１、０）の要素にコピーされる。すなわち、要素（ｉ、ｊ）を要素（ｊ、ｉ）にコピーする。この際、位置合わせパラメータＸ、Ｚと回転角度は逆になるため、負の値を掛けてコピーをする。なお、画像類似度などは逆にならないため、同じ値をそのままコピーする。

これらの処理により大局位置合わせが行われる。上記フローにおいて、Ｘ方向位置合わせの後にＺ方向位置合わせを行ったが、Ｚ方向位置合わせの後にＸ方向位置合わせを行うようにしても良い。さらには、Ｘ方向位置合わせ後にＺ方向位置合わせ、再度Ｘ方向位置合わせ後にＺ方向位置合わせのように、何度か位置合わせを繰り返すようにしても良い。次に、図３（ｂ）の処理フローに戻って説明を行う。

＜ステップＳ３４３＞
ステップＳ３４３では、画像選択部３３４が基準画像の選択を行う。ステップＳ３４２で行った大局位置合わせの結果に基づいて基準画像選択を行う。ステップＳ３４２において、２次元行列を作成しており、行列の各要素に高画質化画像生成に必要な情報が保存されている。そのため、その情報を用いることで基準画像選択を行う。基準画像選択において、境界線検出フラグが保存してある場合はその情報を用いると共に、横方向位置合わせで求めた画像類似度（投影画像間の比較結果の一例）と、深さ方向位置合わせで求めた各領域で求めた差分値の代表値Ｄ０〜Ｄ１１の値とを用いる。具体的には、Ｉｎｄｅｘ０の場合において、２次元行列の要素（０、０）〜（０、１４９）の範囲で、境界線検出フラグがＴｒｕｅかつ、画像類似度が閾値以上、各領域で求めた差分値の代表値Ｄ０〜Ｄ１１が１２領域中８領域以上において閾値以内（所定閾値以下）となるものをカウントする。同様に、Ｉｎｄｅｘ１の場合において、２次元行列の要素（１、０）〜（１、１４９）の範囲で、境界線検出フラグがＴｒｕｅかつ、画像類似度が閾値以上、各領域で求めた差分値の代表値Ｄ０〜Ｄ１１が１２領域中８領域以上において閾値以内となるものをカウントする。これらの処理を全ての画像において同様に行う。なお、横方向位置合わせで求めた画像類似度と、深さ方向位置合わせで求めた各領域で求めた差分値の代表値Ｄ_０〜Ｄ_１１の値とのいずれか一方のみを用いることとしてもよい。

ここで、画像類似度と各領域で求めた差分値の代表値Ｄ０〜Ｄ１１の条件を満たす場合の例について図９を用いて説明を行う。図９（ａ）の図は、画像類似度と各領域で求めた差分値の代表値Ｄ０〜Ｄ１１が１２領域中８領域以上において閾値以内の条件を同時に満たす場合の例を示しており、図の斜線部分がそれにあたる。図９（ｂ）の図は、画像類似度の条件を満たす数と、各領域で求めた差分値の代表値Ｄ０〜Ｄ１１が１２領域中８領域以上において閾値以内の条件を満たす数の合計の例を示しており、図の斜線部分がそれにあたる。本実施形態では、図９（ａ）のように両方の条件を同時に満たす場合で説明をしているが、これに限らない。図９（ｂ）のように、それぞれの条件を独立して満たし、これらの数の合計をカウントするようにしても良い。なお、この基準画像選択においても１２領域中８領域という数値に限らず他の数値でもよい。

そして、上記の条件で最大の数となる断層画像を基準画像として選択する。すなわち、画像選択部３３４は、複数の２次元断層像のうち、１の２次元断層像と他の複数の２次元断層像とを比較した場合において、類似度が所定閾値以上であり且つ層境界のズレ量が所定閾値以下となる２次元断層像の数に基づいて基準画像を選択する。より具体的には、画像選択部３３４は、複数の２次元断層像のうち、１の２次元断層像と他の複数の２次元断層像とを比較した場合において、類似度が所定閾値以上であり且つ２次元断層像を水平方向に分割した複数の領域毎に得られる層境界のズレ量のうち所定閾値以下となる領域の数が所定個数以上となる２次元断層像の数に基づいて基準画像を選択する。

なお、カウント数が同じになるものがいくつか存在する場合には、画像類似度の合計値あるいは平均値が最大となるもの、各領域で求めた差分値の代表値Ｄ０〜Ｄ１１が閾値以内となる数の合計値が最大となるもの、ｇｌｏｂａｌＤｉｓｔａｎｃｅの合計値あるいは平均値が最小となるもの、検出している境界線の長さが最大のもの、境界線の深さ方向の位置が中心に近い位置に存在しているものなど、その他の評価値と合わせて基準画像を選択するようにしても良い。これらは一つではなく複数組み合わせて用いても良い。さらには、カウント数が同じになった場合の絞り込みの判定条件に用いるだけではなく、基準画像選択において条件を満たす画像をカウントする際に用いるようにしても良い。

＜ステップＳ３４４＞
ステップＳ３４４では、画像選択部３３４が加算画像の選択を行う。加算画像の選択では、ステップＳ３４３で求めた基準画像に対して、他の画像が条件を満たしているか否かで判定を行う。加算画像の選択においては、画像選択フラグを設定しておき、条件を満たす場合はＴｒｕｅ、満たさない場合はＦａｌｓｅに設定をする。加算画像選択の条件としては、例えば、ステップＳ３４３と同様に、境界線検出フラグがＴｒｕｅかつ、画像類似度が閾値以上で、各領域で求めた差分値の代表値Ｄ０〜Ｄ１１が１２領域中８領域以上において閾値以内となるものをカウントする。なお、加算画像選択と基準画像選択においては、それぞれの閾値を変更するようにしても良い。例えば、基準画像選択においては閾値の条件を厳しくし、加算画像選択では基準画像選択よりは条件を緩くするようにしても良い。あるいは、基準画像選択と加算画像選択の条件を同じにしてもよい。

図１０に第一の位置合わせ部３３２、第二の位置合わせ部３３３、画像選択部３３４によって位置合わせされた後に選択された断層画像を用いて作成したライン投影像の例を示す。図１０（ａ）は位置合わせ前の断層画像から作成したライン投影像、図１０（ｂ）は位置合わせ後の断層画像から作成したライン投影像、図１０（ｃ）は、位置合わせ後に選択された断層画像を用いて作成したライン投影像となる。血管の特徴に注目すると、図１０（ｂ）では、図１０（ａ）よりも血管の特徴が直線的に揃っている。さらに、図１０（ｃ）では、局所的に血管がずれている部分が除外され、ほぼ同じ位置を撮影した画像のみが選択されている。

＜ステップＳ３４５＞
ステップＳ３４５では、第三の位置合わせ部３３５は、基準画像と選択された複数の断層画像間において、断層画像内部の特徴がある部分に位置合わせのための領域を複数設定し、その領域単位で網膜の横方向（ｘ軸）と深さ方向（ｚ軸）の位置合わせを同時に行う。なお、ここでの位置合わせは局所位置合わせとして説明をする。第三の位置合わせ部３３５が行う局所位置合わせＳ３４５の方法について、図５のフローチャートを用いて説明をする。

＜ステップＳ３４５１＞
ステップＳ３４５１では、ステップＳ３４４において選択済みの画像か否かで処理を分ける。画像選択フラグがＴｒｕｅの場合は、ステップＳ３４５２に進み、画像選択フラグがＦａｌｓｅの場合は、ステップＳ３４５９に進む。

＜ステップＳ３４５２＞
ステップＳ３４５２では、後述する加算平均処理のためにマスク画像を生成する。マスク画像は、例えば、全てのピクセルの値が１．０の画像とする。本実施形態においては全ての値を同じとして説明をするが、マスク画像はこれに限らない。場所に応じて重みをつけても良い。例えば、画像の上下左右の周辺部（数ピクセル程度）の値は１．０よりも小さくするようにしても良い。その場合は、一律で小さくするよりは、画像の中心から端に行くにつれ徐々に値を小さくする方が望ましい。

＜ステップＳ３４５３＞
ステップＳ３４５３では、断層画像（Ｂスキャン）単位で画像変形を行う。これについて、図１１を用いて説明をする。図１１（ａ）は、基準画像と基準のマスク画像、図１１（ｂ）は、対象画像１と対象マスク画像１で右下方向にシフトした例を示している。図１１に示すように、ここでは、ステップＳ３４２の大局位置合わせで求めた位置合わせパラメータＸとＺに基づいて、基準画像以外の断層画像を変形させる。図１１（ｂ）に示す黒い領域は、位置合わせの結果、画像をＸＺ方向にシフトさせたために生じる無効領域を示している。ここには画像データが存在しないため値は０となる。なお、断層画像だけではなく、マスク画像も同じパラメータで変形させておく。

＜ステップＳ３４５４＞
ステップＳ３４５４では、ステップＳ３４１で検出した境界線情報を取得する。なお、取得する境界線は、現在の位置合わせ基準断層画像の境界線情報だけである。本実施形態においては取得する境界線はＬ１とＬ３とする。

＜ステップＳ３４５５＞
ステップＳ３４５５では、対象画像の特徴領域を含むように位置合わせ用の領域を設定する。これについて、図１２を用いて説明をする。

図１２には基準画像と対象画像１を示し、対象画像１には、基準断層画像の境界線情報Ｌ１とＬ３を基にして設定する複数の位置合わせ用の領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔｉｎｇ）の例を示す。ＲＯＩの深さ方向サイズは、Ｌ１とＬ３を基準として、それよりもそれぞれ数１０ピクセル程度、上方向と下方向に広く設定する。なお、上下方向に数１０ピクセル程度パラメータを設定する場合において、大局位置合わせの結果を用いてパラメータを補正することがある。これは、図１２の対象画像１に示すように大局位置合わせにおいて、画像全体を下方向にシフトさせている場合、画像の上端部に無効領域が存在する。この場合、ＲＯＩを設定する範囲とその探索領域が無効領域を含まないように初期のＲＯＩサイズを補正する必要がある。ＲＯＩの横方向サイズは、画像をＫ分割したサイズから設定する。分割数Ｋは、画像のサイズ（Ａスキャン本数）や画像の撮影サイズ（１０ｍｍ）など、撮影パラメータに合わせて設定をする。例えば、本実施形態において、Ａスキャン本数を１０２４、撮影サイズを１０ｍｍとした場合、分割数Ｋは１０とする。なお、横方向のサイズとＲＯＩの設定値においても大局位置合わせの結果を用いて補正を行う。上下方向のパラメータ同様に横方向においても無効領域が存在することがあるため、ＲＯＩを設定する範囲とその探索領域が無効領域を含まないように設定する必要がある。

そして、局所位置合わせ用のＲＯＩは、それぞれ重畳するように設定する。これは、ＲＯＩを重複させずに、ＲＯＩのサイズを小さくする場合、ＲＯＩの中に特徴的な部位を含まない場所が存在することがあるためである。例えば、網膜を狭画角（３ｍｍ程度）で撮影した場合、画像内に平坦な組織が広い範囲において写る場合がある。また一方、ＲＯＩを重複させずに、特徴を含むようにＲＯＩの範囲を広く設定すると、局所位置合わせのためのサンプリング数が少なくなり、粗い位置合わせとなってしまうためである。そのため、これらの問題を解決するために、ＲＯＩのＸ方向のサイズを広くして、かつそれぞれのＲＯＩ同士を重畳させて設定する。なお、図１２において、画像中心部にＲＯＩを描画していないが、実際には画像の左端から右端まで網膜上にＲＯＩを設定する。さらに、ＲＯＩを設定する間隔は、ＲＯＩ位置合わせ時の探索範囲を考慮するのが望ましい。具体的には、ＲＯＩ位置合わせ時の横方向探索範囲をＸＲとする場合、隣接するＲＯＩの中心座標の間隔が２ＸＲ以上となるように設定をする。これは、中心座標の間隔を２ＸＲ未満とする場合、隣接するＲＯＩ同士の中心位置が入れ替わる可能性があるためである。このように、複数のＲＯＩ（第一の領域と第二の領域）の水平方向における位置関係は、ＲＯＩ位置合わせ時の探索範囲に基づいて設定される。

＜ステップＳ３４５６＞
ステップＳ３４５６では、ＲＯＩを使って領域位置合わせを行う。領域位置合わせは画像で行う。そのため、ステップＳ３４２４で示したライン投影像位置合わせと同様に数１を用いて画像類似度に応じた位置合わせを行う。ただし、類似度の評価値はこれに限らず、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）や、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）などでも良い。あるいは、ＰＯＣ（Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）のような方法で、位置合わせを行っても良い。

画像位置合わせは、対象画像に設定したＲＯＩが基準画像ではどこにあるかを探索する。この際、ステップＳ３４２で行った大局位置合わせの結果を用いてステップＳ３４５３で断層画像の変形を行っているので、基準画像と対象画像とのおおよその位置は合っている。そのため、基準画像での位置合わせの探索範囲は、ＲＯＩの初期位置から上下左右数ピクセルを探索すればよく、最も類似する場所を位置合わせ結果とする。なお、局所位置合わせの類似度の評価値計算において、場所に応じて重み付けをしてもよい。その場合、探索範囲の中心が最も重みが高く（例えば、重み１．０）、探索範囲の外側に行くほど徐々に重みを下げる（例えば、重み０．９）ようにしても良い。重みを変える場合は、１ピクセル毎に滑らかに重みを下げていくのが望ましい。それにより、わずかな差の評価値であった場合、初期位置の方が選択される。

さらに、ＲＯＩの探索範囲は固定でも良いし、撮影画角、撮影部位、画像の場所（端や中心）に応じて変更しても良い。

＜ステップＳ３４５７＞
ステップＳ３４５７では、ステップＳ３４５６で求めた位置合わせパラメータを補間する。これについて、図１３を用いて説明をする。図１３（ａ）は、初期設定した領域のＲＯＩ１〜ＲＯＩ３を表している。Ｃ１〜Ｃ３の下三角はＲＯＩ１〜ＲＯＩ３の中心位置を表している。また、図１３（ｂ）は、ステップＳ３４５６での位置合わせ後のＲＯＩの移動例を示している。図１３（ｂ）においては、ＲＯＩ１とＲＯＩ３がそれぞれ右側に移動し、ＲＯＩ２が移動しない場合の例である。そのため、ＲＯＩの中心Ｃ１とＣ３がそれぞれＣ１’とＣ３’に移動している。各ＲＯＩの移動量からＡスキャンの移動量を算出するためには、隣接するＲＯＩとＲＯＩの中心位置の移動量に基づいて算出をする。例えば、ＲＯＩ１の中心位置はＣ１からＣ１’に移動しており、ＲＯＩ２の中心位置はＣ２のままである。ここで、変形前のＣ１からＣ２の間にある各ＡスキャンのＸ方向移動量を求める式を数３に示す。

数３において、Ｘ１、Ｘ２は各ＲＯＩの初期中心座標、ΔＸ１、ΔＸ２は各ＲＯＩの中心座標のＸ方向移動量、Ａ＿ｂｅｆｏｒｅは変形前のＡスキャンインデックスの値、Ａ＿ａｆｔｅｒはＡ＿ｂｅｆｏｒｅが参照する、変形前のＡスキャンインデックスの値となる。例えば、Ａ＿ｂｅｆｏｒｅが５５、計算の結果でＡ＿ａｆｔｅｒが５６とする場合、Ａスキャンインデックス５５には、Ａスキャンインデックス５６のＡスキャンデータが入る。数３は、複数のＲＯＩが重複する領域においては、複数のＲＯＩのどちらのＲＯＩに近いかに応じて移動量の重みが変化することを示している。具体的には、複数のＲＯＩが重複する領域においては、複数のＲＯＩのうち近いＲＯＩの中心座標の移動量に対する重みを複数のＲＯＩのうち遠いＲＯＩの中心座標の移動量に対する重みより大きくするようになっている。

なお、Ｚ方向の移動量も数２と同様の考え方に基づき、各ＲＯＩの中心位置の移動量から求めることが出来、上下方向に数ピクセルデータを移動する。なお、Ａ＿ａｆｔｅｒの値は実数でも整数でも良い。実数の場合は、複数のＡスキャンデータから既知の補間方法（ＢｉｌｉｎｅａｒやＢｉｃｕｂｉｃ等）により新しいＡスキャンデータを作成する。整数の場合は、対応するＡスキャンインデックスのデータをそのまま参照する。

このように、第三の位置合わせ部３３５は、第一の領域と第二の領域とが重複する領域における第一の２次元断層像に対する第二の２次元断層像の移動量を、第一の領域における前記ズレ量と第二の領域におけるズレ量とに基づいて決定する決定手段の一例に相当する。

＜ステップＳ３４５８＞
ステップＳ３４５８では、ステップＳ３４５７で求めたＡスキャン移動量を基に、Ａスキャン毎にＸ方向とＺ方向に移動させる。それにより、Ａスキャン単位で変形した断層画像を生成することが出来る。なお、断層画像だけではなく、マスク画像も同じパラメータで変形させておく。

＜ステップＳ３４５９＞
ステップＳ３４５９では、基準画像に対して全ての断層画像を局所位置合わせ行ったか否かを判定する。全ての画像を処理していない場合には、ステップＳ３４５１に戻る。そして、全ての画像を局所位置合わせした場合には、局所位置合わせの処理が終了する。

これらの処理により局所位置合わせが行われる。次に、図３（ｂ）の処理フローに戻って説明を行う。

＜ステップＳ３４６＞
ステップＳ３４６では、画像合成部３３６は、画像選択部３３４が選択した基準となる断層画像と、複数の断層画像同士を加算平均する。加算平均処理では、ピクセル毎に、複数の断層画像とマスク画像の値を掛け算した値の合計値ＳＵＭ＿Ａと、複数のマスク画像の値の合計値ＳＵＭ＿Ｂをそれぞれ保持しておく。マスク画像には位置合わせにより画像データが存在しない無効領域が０として保存されているため、マスク画像の合計値ＳＵＭ＿Ｂにはピクセル毎に異なる値が保持されている。通常、位置合わせにおいて上下左右に数１０ピクセルの移動が想定されるため、重ね合わせに用いた画像枚数がＮ枚である場合、画像中心付近のＳＵＭ＿Ｂのピクセル値はＮであり、画像端部のＳＵＭ＿Ｂのピクセル値は、Ｎよりも少ない値になる。

そして、加算平均処理では、ＳＵＭ＿ＡをＳＵＭ＿Ｂで割ることにより加算平均を計算した断層画像を求めることが出来る。

＜ステップＳ３０５＞
ステップＳ３０５では、ステップＳ３０４で作成した高画質な断層画像に対して、検出部３３１が境界線検出を行う。境界線検出は、例えば、ステップＳ３４１と同様の方法で行うことが出来る。

＜ステップＳ３０６＞
ステップＳ３０６では、加算平均して作成した高画質な断層画像の結果を表示部６００に表示する。

＜ステップＳ３０７＞
ステップＳ３０７において、不図示の指示取得部は、画像処理システム１００による断層画像の撮影を終了するか否かの指示を外部から取得する。この指示は、入力部７００を用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理システム１００はその処理を終了する。一方、処理を終了せずに、撮影を続ける場合には、ステップＳ３０２に処理を戻して撮影を続行する。以上によって、画像処理システム１００の処理が行われる。

以上で述べた構成によれば、本実施形態では、境界線と画像特徴量を用いて大局的な位置合わせを行うと同時に高画質画像生成のための基準画像と加算画像の選択を行った。さらに、位置合わせ済みの複数の２次元断層画像において、対応する局所的な領域を用いて領域間の類似度を計算し、各領域単位で位置合わせ処理を行った。それにより、高画質画像を生成するために必要な画像の選択が出来、固視微動などにより局所的に網膜層が変形している場合においても、部分領域単位で位置合わせを行うため、高画質な２次元断層画像を生成することができる。

（変形例１）
本実施形態において、第一の位置合わせ部３３２がライン投影像を作成し、ライン投影像の画像類似度を基にして網膜の横方向（ｘ軸）の位置合わせを行う例を示した。しかし、横方向（ｘ軸）位置合わせはこれに限らない。例えば、第一の位置合わせ部３３２は、ライン投影像からエッジを検出し、エッジ検出したラインエッジ画像を用いて位置合わせを行っても良い。あるいは、第一の位置合わせ部３３２は、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）や、ＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ ＫＡＺＥ）のような方法を用いてライン投影像から特徴点を検出し、検出した特徴点を基にして位置合わせを行っても良い。

（変形例２）
本実施形態において、第二の位置合わせ部３３３が境界線情報を用いて、網膜の深さ方向（ｚ軸）の位置合わせを行う例を示した。しかし、深さ方向（ｚ軸）位置合わせはこれに限らない。例えば、第二の位置合わせ部３３３は、複数のＡスキャンをＸ軸方向に加算平均した横方向ライン投影像を生成し、それを基に深さ方向の位置合わせを行っても良い。なお、この場合の位置合わせは実施例１で説明した方法や変形例１で説明した方法を用いることが出来る。なお、横方向投影像を生成する場合には、撮影したままの断層画像を用いても良いが、撮影時の状態に応じて網膜層に傾きが生じるため、画像を補正することが望ましい。その場合の補正方法は、例えば、境界線Ｌ１（ＩＬＭ）、あるいは境界線Ｌ３（ＩＳＯＳ）の形状をフラットにするように画像変形を行う。この場合の画像補正例を図１４に示す。図１４（ａ）の左側の図は変形前の断層画像で、右側の図は変形前の断層画像から生成した横方向ライン投影像を示している。図１４（ｂ）はＬ１をフラットにした場合の変形後の断層画像と横方向ライン投影像、図１４（ｃ）はＬ３をフラットにした場合の変形後の断層画像と横方向ライン投影像である。深さ方向の位置合わせを行うため、画像変形時には変形させる境界線の基準場所はそのままとし、他の場所を変形させる。なお、図１４では画像中心（図の破線部分）の位置は変えずに、他の部分を変形させた例を示している。なお、基準場所は画像中心に限らない。例えば、第一の位置合わせ部３３２によって横方向位置合わせを行った後の画像に対して画像中心を基準としても良いし、画像の端を基準としても良い。第二の位置合わせを行う複数の画像同士で基準を揃えてあればよい。図１４には、境界線を基準として網膜形状をフラットにする例を示したがこれに限らない。例えば、検出した網膜層に対して、２次曲線で近似を行い、その近似曲線を基準に網膜層をフラットに変形しても良い。

あるいは、網膜形状をフラットにせず、網膜層の回転成分のみを補正してもよい。回転を補正した例を図１４（ｄ）に示す。図１４（ｄ）は、画像中心を基準として画像両端部の網膜層の深さ方向の位置が合うように画像変形をする男装画像と横方向ライン投影像の例である。補正方法は、例えば、任意の境界線あるいは近似曲線を使用して、その線を画像に対して回転させ、回転させた線の画像両端（Ｘ＝０、Ｘ＝Ａスキャンの数）の深さ方向の位置が同じになるように断層画像を回転させる。あるいは、回転させた線と回転前の線の深さ方向の差分値に応じて、Ａスキャン単位で深さ方向を補正しても良い。

上述した方法を用いて網膜層の傾きを補正した後に、Ｘ軸方向に加算平均した横方向ライン投影像を生成する。横方向ライン投影像を用いることで、深さ方向での網膜層位置を把握することが出来る。

（変形例３）
本実施形態において、第三の位置合わせ部３３５は、領域単位で網膜の横方向（ｘ軸）と深さ方向（ｚ軸）の位置合わせを同時に行う。その際の局所位置合わせ用のＲＯＩは、それぞれ重畳するように設定する例を示した。しかし、局所位置合わせ用のＲＯＩは必ずしも重畳しなくても良い。例えば、設定するＲＯＩの領域内に十分な画像特徴量が含まれる場合には、ＲＯＩは重複しないように設定しても良い。さらには、重複する場合と重複しない場合を１つの画像の中に同時に設定しても良い。画像特徴とは断層画像に対する解析結果の一例であり、例えば、血管や疾病、あるいは、網膜の形状が横にフラットではなく、形に変化がみられる場合を含む。血管や疾病の特徴検出は、断層画像かライン投影像から検出できる。網膜形状は境界線Ｌ１（ＩＬＭ）や、境界線Ｌ３（ＩＳＯＳ）を用いることで、把握することが出来る。なお、複数の断層画像は同じ場所を撮影した画像であるため、複数の断層画像全部において特徴を検出する必要はなく、代表的な１枚（例えば、基準画像）で検出をすればよい。

あるいは、単純に撮影画角によってＲＯＩ重複をするかしないか変更しても良い。例えば、３ｍｍのような狭画角撮影をした場合には、画像の広い範囲において網膜形状がフラットに写る可能性が高いため重複をさせ、１０ｍｍのような広画角撮影をした場合には、画像の一部領域でのみ網膜形状がフラットに写る可能性が高いため重複領域を少しにするか、重複をしないなどとしても良い。

さらに、ＲＯＩの重複領域の変更だけではなく、ＲＯＩの探索範囲においても同様に、画像特徴や画角に応じて動的に変更するようにしても良い。

（変形例４）
本実施形態において、画像合成部３３６が加算平均処理において無効領域を除去するために、局所位置合わせ時にマスク画像を生成する例について説明を行ったが、これに限らない。マスク画像を生成せずに断層画像から無効領域を検出し、無効領域部分を加算平均の計算に含めないようにしても良い。

（変形例５）
本実施形態において、ＯＣＴ画像の高画質化のための位置合わせについて説明を行ったが、対象はこれに限らない。例えば、ＯＣＴＡ（ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ）のための位置合わせに用いても良い。ＯＣＴＡでは、血流部分を可視化するために、同一部分を複数回撮影して位置合わせを行った後に、断層画像間の変化部分を計算する。断層画像間の変化は、例えば脱相関などを計算することで算出することが出来る。脱相関を計算することで、動きのある部分（血液の流れ）だけが残り、それを可視化することでＯＣＴＡ画像を生成する。このように、ＯＣＴＡ画像を生成する時の断層画像位置合わせに適用しても良い。

（変形例６）
本実施形態において、撮影から表示までを一連の流れで示したがこれに限らない。例えば、既に撮影が済んでいるデータを用いて高画質画像生成処理を行ってもよい。その場合、撮影に関する処理をスキップし、その代わりに撮影済みの複数の断層画像を取得する。そして、ステップＳ３０４で高画質画像生成処理を行う。

（その他の実施形態）
上記のそれぞれの実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。画像処理装置のＣＰＵは、ＲＡＭやＲＯＭに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。また、ボタンなどのユーザーインターフェイスや表示のレイアウトは上記で示したものに限定されるものではない。

１００ 画像処理システム
２００ 断層画像撮影装置
３００ 画像処理装置
３０１ 画像取得部
３０３ 画像処理部
３０５ 表示制御部
３１１ 断層画像生成部
３３１ 検出部
３３２ 第一の位置合わせ部
３３３ 第二の位置合わせ部
３３４ 画像選択部
３３５ 第三の位置合わせ部
３３６ 画像合成部
４００ 眼底画像撮影装置
５００ 外部記憶部
６００ 表示部
７００ 入力部

Claims (10)

1. 眼の同一位置を走査するように制御された測定光に基づいて得られた第一の２次元断層像と第二の２次元断層像とを取得する第一取得手段と、
   前記第一の２次元断層像の水平方向において互いに一部の領域が重複する第一の領域と第二の領域とを前記第一の２次元断層像に対して設定する設定手段と、
   前記第一の領域と前記第二の領域とのそれぞれにおいて、前記第一の２次元断層像と前記第二の２次元断層像とのズレ量を取得する第二取得手段と、
   前記第一の領域と前記第二の領域とが重複する領域における前記第一の２次元断層像に対する前記第二の２次元断層像の移動量を、前記第一の領域における前記ズレ量と前記第二の領域における前記ズレ量とに基づいて決定する決定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記決定手段は、前記第一の領域と前記第二の領域とが重複する領域における前記第一の２次元断層像に対する前記第二の２次元断層像の移動量を、前記第一の領域における前記ズレ量と前記第二の領域における前記ズレ量との差および前記重複する領域内での位置に基づいて決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記第一の領域の中心と前記第二の領域の中心との間の領域における前記第一の２次元断層像に対する前記第二の２次元断層像の移動量を、前記第一の領域における前記ズレ量と前記第二の領域における前記ズレ量との差および前記第一の領域の中心と前記第二の領域の中心との間の領域内での位置に基づいて決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記決定手段は、前記第一の領域の中心における２次元断層像に対する前記第二の２次元断層像の移動量を、前記第一の領域における前記ズレ量と前記第二の領域における前記ズレ量とのうち前記第一の領域における前記ズレ量のみに基づいて決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第一の領域と前記第二の領域とは前記水平方向において同じサイズであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第一の領域と前記第二の領域との前記水平方向における位置関係は、前記第二取得手段によりズレ量を取得する際に、前記第一の２次元断層像と前記第二の２次元断層像とを比較する前記水平方向における範囲に基づいて設定されることを特徴とする請求項４に記載の画像処理装置。
7. 前記設定手段は、前記第一の２次元断層像に対する解析結果または前記第一の２次元断層画像の画角に基づいて前記第一の領域と前記第二の領域とに替えて、互いに重複しない第三の領域と第四の領域とを前記第一の２次元断層像に対して設定し、
   前記第二取得手段は、前記第三の領域と前記第四の領域とのそれぞれにおいて、前記第一の２次元断層像と前記第二の２次元断層像とのズレ量を取得し、
   前記決定手段は、前記第三の領域と前記第四の領域とにおける前記第一の２次元断層像に対する前記第二の２次元断層像の移動量を、それぞれ前記第三の領域における前記ズレ量と前記第四の領域における前記ズレ量とに基づいて決定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記設定手段は、前記第一の２次元断層画像の画角に基づいて前記第一の領域と前記第二の領域とが重複する領域の大きさを変更することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
9. 眼の同一位置を走査するように制御された測定光に基づいて得られた第一の２次元断層像と第二の２次元断層像とを取得する第一取得工程と、
   前記第一の２次元断層像の水平方向において互いに一部の領域が重複する第一の領域と第二の領域とを前記第一の２次元断層像に対して設定する設定工程と、
   前記第一の領域と前記第二の領域とのそれぞれにおいて、前記第一の２次元断層像と前記第二の２次元断層像とのズレ量を取得する第二取得工程と、
   前記第一の領域と前記第二の領域とが重複する領域における前記第一の２次元断層像に対する前記第二の２次元断層像の移動量を、前記第一の領域における前記ズレ量と前記第二の領域における前記ズレ量とに基づいて決定する決定工程と、
   前記移動量に基づいて、前記第一の領域と前記第二の領域とが重複する領域における前記第一の２次元断層像と前記第二の２次元断層像との位置合わせを行う位置合わせ工程と、
   を備えることを特徴とする位置合わせ方法。
10. 眼の同一位置を走査するように制御された測定光に基づいて得られた第一の２次元断層像と第二の２次元断層像とを取得する第一取得工程と、
    前記第一の２次元断層像の水平方向において互いに一部の領域が重複する第一の領域と第二の領域とを前記第一の２次元断層像に対して設定する設定工程と、
    前記第一の領域と前記第二の領域とのそれぞれにおいて、前記第一の２次元断層像と前記第二の２次元断層像とのズレ量を取得する第二取得工程と、
    前記第一の領域と前記第二の領域とが重複する領域における前記第一の２次元断層像に対する前記第二の２次元断層像の移動量を、前記第一の領域における前記ズレ量と前記第二の領域における前記ズレ量とに基づいて決定する決定工程と、
    前記移動量に基づいて、前記第一の領域と前記第二の領域とが重複する領域における前記第一の２次元断層像と前記第二の２次元断層像との位置合わせを行う位置合わせ工程と、
    をコンピュータに実行させることを特徴とするプログラム。