JP2020069115A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 ノイズ低減と合成画像が生成されるまでの位置合わせ処理に要する計算量の低減とを両立する。【解決手段】 画像処理装置は、第１の画像位置合わせ処理に基づいて被検眼の複数の画像の合成画像を生成する第１モードと、前記第１の画像位置合わせ処理よりも処理量の多い第２の画像位置合わせ処理に基づいて前記被検眼の複数の画像の合成画像を生成する第２モードとを有する。【選択図】 図１

Description

開示の技術は、画像処理装置、画像処理方法およびプログラムに関する。

近年、造影剤を用いない血管造影法としてＯＣＴ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を用いた血管造影法（ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ：ＯＣＴＡ）が提案されている。ＯＣＴＡでは、ＯＣＴにより取得した三次元のモーションコントラストデータを二次元平面に投影することで、血管画像（以下、ＯＣＴＡ画像という。）を生成する。ここで、モーションコントラストデータとは、測定対象の同一断面をＯＣＴで繰り返し撮影し、その撮影間における測定対象の時間的な変化を検出したデータである。モーションコントラストデータは、例えば、複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得られる。

ＯＣＴ装置で測定対象の三次元データを取得する場合、被検眼が動くことによりデータに動きのアーティファクトが発生する。そのため、Ｘ方向を主走査とするスキャンとＹ方向を主走査とするスキャンをした三次元ボリュームデータを位置合わせもしくはマージすることで動きのアーティファクトを補償する三次元データを生成することが知られている（特許文献１）。

特許５８３２５２３号公報

三次元データの位置合わせはノイズが低減された合成画像を作成するために有益な処理であるが二次元データの位置合わせに比べて計算量が多くなるため、位置合わせ後の画像が表示されるまで待ち時間が増加してしまう。

本発明の目的の一つは、ノイズ低減と合成画像が生成されるまでの位置合わせ処理に要する計算量の低減とを両立することである。

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の１つとして位置付けることができる。

開示の画像処理装置は、第１の画像位置合わせ処理に基づいて被検眼の複数の画像の合成画像を生成する第１モードと、前記第１の画像位置合わせ処理よりも処理量の多い第２の画像位置合わせ処理に基づいて前記被検眼の複数の画像の合成画像を生成する第２モードとを有する。

開示の技術によれば、ノイズ低減と合成画像が生成されるまでの位置合わせ処理に要する計算量の低減とを両立することができる。

画像処理システムの構成の一例を示す図。 眼部の構造と断層画像と眼底画像の一例を説明するための図。 画像処理システムにおける処理の流れの一例を示すフローチャート。 正面画像位置合わせ処理の流れの一例を示すフローチャート。 第一の高画質データ生成の流れの一例を示すフローチャート。 第二の高画質データ生成の流れの一例を示すフローチャート。 モーションコントラストデータ生成の一例を説明するための図。 アーティファクト除去の一例を説明するための図。 第一の位置合わせの一例を説明するための図。 第二の位置合わせの一例を説明するための図。 第三の位置合わせの一例を説明するための図。 第三の位置合わせ結果の一例を説明するための図。 三次元でのデータ変形結果の一例を説明するための図。 第四の位置合わせの一例を説明するための図。 第四の位置合わせの一例を説明するための図。 モーションコントラストデータの加算平均前後の一例を説明するための図。 モーションコントラストデータの加算平均前後の一例を説明するための図。 モーションコントラストデータの加算平均前後の一例を説明するための図。 画像を表示する画面の一例を説明するための図。 表示画像切り替え処理の流れの一例を示すフローチャート。 第二の実施形態における画像処理システムの構成の一例を示す図。 画像処理システムにおける処理の流れの一例を示すフローチャート。 画像更新の表示の一例を説明するための図。 画像処理システムにおける処理の流れの一例を示すフローチャート。 画像選択画面の一例を説明するための図。 画像処理システムにおける処理の流れの一例を示すフローチャート。 画像を表示する画面の一例を説明するための図。 画像を表示する画面の一例を説明するための図。

［実施例１］
以下、図面を参照しながら、本発明の第１の実施形態について説明する。なお、本実施形態に係る画像処理装置は、複数のモーションコントラストデータの位置合わせをすることで、アーティファクトを低減したモーションコントラストデータを生成する。操作者の要求により、アーティファクトを低減した三次元のモーションコントラストデータ、あるいはアーティファクトを低減した二次元のモーションコントラストデータを作成することを特徴とする。

本実施形態によれば、固視微動などにより、モーションコントラストデータにアーティファクトが存在する場合においても高画質な二次元あるいは三次元のモーションコントラストデータを取得することが可能となる。ここで、高画質とは一度の撮影と比較してＳ／Ｎ比が向上している画像をいう。または、診断に必要な情報量が増えている画像のことをいう。なお、本実施形態において、三次元データは、輝度値からなる三次元の断層像データと、脱相関値からなる三次元のモーションコントラストデータのことを指す。

以下、本実施形態に係る画像処理装置を備える画像処理システムについて、詳細を説明する。

図１は、本実施形態に係る画像処理装置３００を備える画像処理システム１００の構成を示す図である。図１に示すように、画像処理システム１００は、画像処理装置３００が、インタフェースを介して断層画像撮影装置（ＯＣＴとも言う）２００、眼底画像撮影装置４００、外部記憶部５００、表示部６００、入力部７００と接続されることにより構成されている。

断層画像撮影装置２００は、眼部の断層画像を撮影する装置である。断層画像撮影装置に用いる装置は、例えばＳＤ−ＯＣＴやＳＳ−ＯＣＴからなる。なお、断層画像撮影装置２００は既知の装置であるため詳細な説明は省略し、ここでは、画像処理装置３００からの指示により行われる断層画像の撮影について説明を行う。

図１において、ガルバノミラー２０１は、測定光の眼底における走査を行うためのものであり、ＯＣＴによる眼底の撮影範囲を規定する。また、駆動制御部２０２は、ガルバノミラー２０１の駆動範囲および速度を制御することで、眼底における平面方向の撮影範囲及び走査線数（平面方向の走査速度）を規定する。ここでは、簡単のためガルバノミラーは一つのユニットとして示したが、実際にはＸスキャン用のミラーとＹスキャン用の２枚のミラーで構成され、眼底上で所望の範囲を測定光で走査できる。

フォーカス２０３は被検体である眼の前眼部を介し、眼底の網膜層にフォーカスするためのものである。測定光は、不図示のフォーカスレンズにより、被検体である眼の前眼部を介し、眼底の網膜層にフォーカスされる。眼底を照射した測定光は各網膜層で反射・散乱して戻る。

内部固視灯２０４は、表示部２４１、レンズ２４２で構成される。表示部２４１として複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、駆動制御部２０２の制御により撮影したい部位に合わせて変更される。表示部２４１からの光は、レンズ２４２を介し、被検眼に導かれる。表示部２４１から出射される光は５２０ｎｍで、駆動制御部２０２により所望のパターンが表示される。

コヒーレンスゲートステージ２０５は、被検眼の眼軸長の相違等に対応するため、駆動制御部２０２により制御されている。コヒーレンスゲートとは、ＯＣＴにおける測定光と参照光の光学距離が等しい位置を表す。さらには、撮影方法としてコヒーレンスゲートの位置を制御することにより、網膜層側か、あるいは網膜層より深部側とする撮影を行うことを制御する。ここで、画像処理システムで取得する眼の構造と画像について図２を用いて説明する。

図２（ａ）に眼球の模式図を示す。図２（ａ）において、Ｃは角膜、ＣＬは水晶体、Ｖは硝子体、Ｍは黄斑部（黄斑の中心部は中心窩を表す）、Ｄは視神経乳頭部を表す。本実施形態にかかる断層画像撮影装置２００は、主に、硝子体、黄斑部、視神経乳頭部を含む網膜の後極部を撮影する場合について説明を行う。なお、本発明では説明をしないが、断層画像撮影装置２００は、角膜、水晶体の前眼部を撮影することも可能である。

図２（ｂ）に断層画像撮影装置２００が取得する網膜を撮影した場合の断層画像の例を示す。図２（ｂ）において、ＡＳはＡスキャンというＯＣＴ断層画像における画像取得の単位を表す。このＡスキャンが複数集まって一つのＢスキャンを構成する。そしてこのＢスキャンのことを断層画像（あるいは断層像）と呼ぶ。図２（ｂ）において、Ｖｅは血管、Ｖは硝子体、Ｍは黄斑部、Ｄは視神経乳頭部を表す。また、Ｌ１は内境界膜（ＩＬＭ）と神経線維層（ＮＦＬ）との境界、Ｌ２は神経線維層と神経節細胞層（ＧＣＬ）との境界、Ｌ３は視細胞内節外節接合部（ＩＳＯＳ）、Ｌ４は網膜色素上皮層（ＲＰＥ）、Ｌ５はブルッフ膜（ＢＭ）、Ｌ６は脈絡膜を表す。断層画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（深さ方向）をｚ軸とする。

図２（ｃ）に眼底画像撮影装置４００が取得する眼底画像の例を示す。眼底画像撮影装置４００は、眼部の眼底画像を撮影する装置であり、当該装置としては、例えば、眼底カメラやＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｏｔｈａｌｍｏｓｃｏｐｅ）等が挙げられる。図２（ｃ）において、Ｍは黄斑部、Ｄは視神経乳頭部を表し、太い曲線は網膜の血管を表す。眼底画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（ＯＣＴの副走査方向）をｙ軸とする。なお、断層画像撮影装置２００と眼底画像撮影装置４００の装置構成は、一体型でもよいし別体型でもよい。

画像処理装置３００は、画像取得部３０１、記憶部３０２、画像処理部３０３、指示部３０４、表示制御部３０５、決定部３０６を備える。画像取得部３０１は、断層画像生成部３１１、モーションコントラストデータ生成部３１２からなり、断層画像撮影装置２００により撮影された断層画像の信号データを取得し、信号処理を行うことで断層画像の生成、ならびにモーションコントラストデータの生成を行う。また、眼底画像撮影装置４００により撮影された眼底画像データを取得する。そして、生成した断層画像と眼底画像を記憶部３０２に格納する。画像処理部３０３は、前処理部３３１、画像生成部３３２、検出部３３３、第一の位置合わせ部３３４、選択部３３５、第二の位置合わせ部３３６、第三の位置合わせ部３３７、第四の位置合わせ部３３８、画像合成部３３９からなる。

前処理部３３１は、モーションコントラストデータからアーティファクトを除去する処理を行う。画像生成部３３２は、三次元のモーションコントラストデータから二次元のモーションコントラスト正面画像（ＯＣＴＡ画像とも言う）を生成する。検出部３３３は、網膜から各層の境界線を検出する。第一の位置合わせ部３３４は、二次元の正面画像の位置合わせを行う。選択部３３５は、第一の位置合わせ部３３４の結果から基準とするデータを選択する。第二の位置合わせ部３３６は、ＯＣＴＡ画像を用いて網膜の横方向（ｘ軸）の位置合わせを行う。第三の位置合わせ部３３７は、網膜の深さ方向（ｚ軸）の位置合わせを行う。第四の位置合わせ部３３８は、断層画像内部の特徴がある部分に位置合わせのための領域を複数設定し、その領域単位で網膜の深さ方向（ｚ軸）の位置合わせを行う。画像合成部３３９は、第一から第四の位置合わせ部によって位置合わせされた三次元データを加算平均する。

決定部３０６は、モーションコントラストデータの加算平均処理の方法を決定する。

外部記憶部５００は、被検眼に関する情報（患者の氏名、年齢、性別など）と、撮影した画像データ、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータをそれぞれ関連付けて保持している。

入力部７００は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部７００を介して、画像処理装置３００や断層画像撮影装置２００、眼底画像撮影装置４００へ指示を行う。

次に、図３を参照して本実施形態の画像処理装置３００の処理手順を示す。図３は、本実施形態における本システム全体の動作処理を示すフローチャートである。

＜ステップＳ３０１＞
ステップＳ３０１では、不図示の被検眼情報取得部は、被検眼を同定する情報として被検者識別番号を外部から取得する。そして、被検者識別番号に基づいて、外部記憶部５００が保持している当該被検眼に関する情報を取得して記憶部３０２に記憶する。

＜ステップＳ３０２＞
ステップＳ３０２では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者が非図示のスキャン開始を選択すると、断層画像撮影装置２００は、駆動制御部２０２を制御し、ガルバノミラー２０１を動作させて断層画像のスキャンを行う。ガルバノミラー２０１は、水平方向用のＸスキャナと垂直方向用のＹスキャナで構成される。そのため、これらのスキャナの向きをそれぞれ変更すると、装置座標系における水平方向（Ｘ）、垂直方向（Ｙ）それぞれの方向に走査することが出来る。そして、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することが出来るため、眼底平面上の任意の方向に走査することが可能となる。

撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、内部固視灯の位置、スキャン範囲、スキャンパターン、コヒーレンスゲート位置、フォーカスを少なくとも設定する。駆動制御部２０２は、表示部２４１の発光ダイオードを制御して、黄斑部中心や視神経乳頭に撮影を行うように内部固視灯２０４の位置を制御する。スキャンパターンは、三次元ボリュームを撮影するラスタスキャンや放射状スキャン、クロススキャンなどのスキャンパターンを設定する。これら撮影パラメータの調整終了後、操作者が非図示の撮影開始を選択することで撮影を行う。

本実施形態においては、スキャンパターンはラスタスキャンによる三次元ボリュームで、高画質データ生成のために三次元ボリュームをＮ回（Ｎは２以上）撮影する。Ｎ回繰り返し撮影するデータは、同じ撮影範囲を同じスキャンパターンで撮影する。例えば、３ｍｍ×３ｍｍの範囲を３００×３００（主走査×副走査）の間隔で繰り返し撮影を行う。三次元ボリュームにおいては、モーションコントラストを計算するために同一のライン箇所をＭ回（Ｍは２以上）繰り返し撮影する。すなわち、Ｍが２回だとする場合、実際には３００×６００のデータを撮影し、そこから３００×３００の三次元モーションコントラストデータを生成する。なお、本明細書において同一とは完全に同一であることのみならず、被検眼の移動をトラッキングする機能の不完全性により完全に同一ではなく略同一となる場合をも含む概念である。

本実施形態においては詳細な説明を省略するが、断層画像撮影装置２００は、加算平均用に同じ場所を撮影するために、被検眼のトラッキングを行うことで、固視微動の影響を少なくして被検眼のスキャンを行う。さらに、まばたきなどの画像を生成するにあたりアーティファクトとなる動きを検出した場合には、アーティファクトが発生した場所で再スキャンを自動的に行う。

＜ステップＳ３０３＞
ステップＳ３０３では、断層画像の生成を行う。断層画像生成部３１１は、それぞれの干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成する。

まず、断層画像生成部３１１は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は検出した複数のＡスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、断層画像生成部３１１は、有限区間でフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。次に、ＦＦＴ処理を行う事によって断層信号を生成する。

＜ステップＳ３０４＞
ステップＳ３０４では、モーションコントラストデータ生成部３１２がモーションコントラストデータの生成を行う。このデータ生成について図７を用いて説明を行う。ＭＣは三次元のモーションコントラストデータを示し、ＬＭＣは三次元のモーションコントラストデータを構成する二次元のモーションコントラストデータを示している。ここでは、このＬＭＣを生成する方法について説明をする。

モーションコントラストデータ生成部３１２は、まず被検眼の同一範囲で撮影された複数の断層像間の位置ずれを補正する。位置ずれの補正方法は任意の方法であってよい。例えば、モーションコントラスト生成部３１２は、同一範囲をＭ回撮影し、同一箇所に相当する断層像データ同士について、眼底形状等の特徴等を利用して位置合わせを行う。具体的には、Ｍ個の断層像データのうちの１つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の断層像データとの類似度を求め、テンプレートとの位置ずれ量を求める。その後、モーションコントラスト生成部３１２は、求めた位置ずれ量に基づいて、各断層像データを補正する。

次にモーションコントラスト生成部３１２は、各断層像データに関する撮影時間が互いに連続する、２つの断層像データ間で式１により脱相関値Ｍ（ｘ， ｚ）を求める。なお、脱相関値の算出方法は下記のものに限定されるものではなく、他の算出方法を用いることとしてもよい。

・・・式１

ここで、Ａ（ｘ， ｚ）は断層像データＡの位置（ｘ、ｚ）における輝度、Ｂ（ｘ， ｚ）は断層像データＢの同一位置（ｘ、ｚ）における輝度を示している。

脱相関値Ｍ（ｘ， ｚ）は０〜１の値となり、２つの輝度の差が大きいほどＭ（ｘ， ｚ）の値は大きくなる。モーションコントラスト生成部３１２は、同一位置で繰り返し取得したＭが３以上の場合には、同一位置（ｘ、ｚ）において複数の脱相関値Ｍ（ｘ， ｚ）を求めることができる。モーションコントラスト生成部３１２は、求めた複数の脱相関値Ｍ（ｘ， ｚ）の最大値演算や平均演算などの統計的な処理を行うことで、最終的なモーションコントラストデータを生成することができる。なお、繰り返し回数Ｍが２の場合、最大値演算や平均演算などの統計的な処理は行わず、時間的に隣接する二つの断層像ＡとＢの脱相関値Ｍ（ｘ， ｚ）が、位置（ｘ、ｚ）におけるモーションコントラストの値となる。

式１に示したモーションコントラストの計算式はノイズの影響を受けやすい傾向がある。例えば、複数の断層像データの無信号部分にノイズがあり、互いに値が異なる場合には、脱相関値が高くなり、モーションコントラスト画像にもノイズが重畳してしまう。これを避けるために、モーションコントラスト生成部３１２は、前処理として、所定の閾値を下回る断層データはノイズとみなして、ゼロに置き換えることができる。これにより、画像生成部３３２は、生成されたモーションコントラストデータに基づいて、ノイズの影響を低減したモーションコントラスト画像を生成することができる。

＜ステップＳ３０５＞
ステップＳ３０５では、繰り返し撮影を終了するか否かの判定を行う。繰り返し撮影終了の判定方法は、表示部６００に繰り返し撮影を終了するか否かを選択するための情報を表示して、操作者が撮影続行の可否を選択しても良い。あるいは、所望の繰り返し撮影回数分だけ自動的に撮影を繰り返すようにしても良い。本実施形態においては、高画質データ生成のために三次元ボリュームをＮ回（Ｎは２以上）撮影する。そのため、高画質データ生成のために繰り返し撮影を行う場合は、ステップＳ３０２の撮影に戻る。所望の回数を撮影した場合には、ステップＳ３０６に処理を進める。

＜ステップＳ３０６＞
ステップＳ３０６では、高画質データ生成に使用するデータの選択を行う。データ選択の方法は、表示部６００に高画質データ生成に使用するデータ候補を表示して、データ候補の中から操作者が選択する。データ候補の中から選択されたデータを用いて画像処理部３０３は高画質データ生成を行う。表示部６００における画面表示に関しては、ステップＳ３１１において詳細を説明する。

なお、本実施形態ではデータ候補を表示して操作者が選択する例について示したが、それに限らない。同じ撮影条件でＮ回繰り返し撮影したデータを全て高画質データ生成のデータ候補として自動的に選択するようにしても良い。その場合には、データ候補を表示部６００に表示する必要はない。ここで、同じ撮影条件とは、同じ撮影範囲を同じスキャンパターンで撮影することを示す。ＸＹＺの撮影位置は、トラッキングをしていてもずれてしまうため、それらは必ずしも同じであるとは限らない。

＜ステップＳ３０７＞
ステップＳ３０７では、画像処理部３０３が正面画像での位置合わせ処理を行う。すなわち、画像処理部３０３は、二次元空間における位置合わせ処理を行う。ステップＳ３０７の処理は、第１の画像位置合わせ処理の一例に相当する。画像処理部３０３の処理について、図４のフローチャートと、図８〜図１０を用いて説明をする。図４（ａ）は、本実施形態における正面画像位置合わせの流れを示すフローチャートである。図４（ｂ）は、第一の位置合わせの流れを示すフローチャートである。

＜ステップＳ３７１＞
ステップＳ３７１では、検出部３３３は、断層画像撮影装置２００が撮影した複数の断層画像において網膜層の境界線を検出する。検出部３３３は、図２（ｂ）の断層画像においてＬ１〜Ｌ６の各境界、あるいは非図示のＧＣＬ／ＩＰＬ、ＩＰＬ／ＩＮＬ、ＩＮＬ／ＯＰＬ、ＯＰＬ／ＯＮＬ境界のいずれかを検出する。処理の対象とする断層画像に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用して画像を作成する（以下、メディアン画像、Ｓｏｂｅｌ画像とする）。次に、作成したメディアン画像とＳｏｂｅｌ画像から、Ａスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。そして、Ｓｏｂｅｌ画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を検出する。

＜ステップＳ３７２＞
ステップＳ３７２では、画像生成部３３２が、三次元のモーションコントラストデータに対して指定された生成範囲上端と生成範囲下端との範囲に対応するモーションコントラストデータを二次元平面上に投影し、ＯＣＴＡ画像を生成する。具体的には、画像生成部３３２が、全体のモーションコントラストデータのうち生成範囲上端と生成範囲下端の間の範囲に対応するモーションコントラストデータに基づいて、その範囲内のモーションコントラストデータを平均値投影（ＡＩＰ）、あるいは最大値投影（ＭＩＰ）などの処理を行うことで、モーションコントラスト画像の正面画像であるＯＣＴＡ画像を生成する。なお、ＯＣＴＡ画像の生成方法は平均値や最大値に限らない。最小値、中央値、分散、標準偏差、総和などの値で生成しても良い。なお、境界線を検出した断層画像は、例えば三次元モーションコントラストデータを得るために使用された断層画像であるため断層画像から検出された境界線の位置は三次元モーションコントラストデータに対応付けることが可能である。

本実施形態においては、生成範囲上端をＩＬＭ／ＮＦＬ境界線とし、生成範囲下端をＧＣＬ／ＩＰＬから深度方向に５０μｍ下端の境界線とする。そして、平均値投影法でＯＣＴＡ画像を生成する。

なお、モーションコントラスト生成部３１２が、生成範囲上端と生成範囲下端との間の範囲の断層データを用いてモーションコントラストデータを生成する構成としてもよい。この場合、画像生成部３３２は、生成されたモーションコントラストデータに基づいてＯＣＴＡ画像を生成することで、指定された深度範囲の断層データに基づくＯＣＴＡ画像を生成することができる。

＜ステップＳ３７３＞
ステップＳ３７３では、Ｎ枚のＯＣＴＡ画像において、画像の横方向（ｘ軸）と縦方向（ｙ軸）、ｘｙ面内の回転位置合わせをそれぞれ行う。これについて、図４（ｂ）のフローチャートを用いて説明をする。

＜ステップＳ３７３１＞
ステップＳ３７３１では、前処理部３３１は、画像生成部３３２が生成したＯＣＴＡ画像から黒帯や白線のようなアーティファクトを検出し、除去する。これについて図８を用いて説明をする。図８において、ＯＣＴＡ画像の黒い領域は脱相関値が高い場所、すなわち血液の流れが検出された場所（血管に相当する）を表し、白い領域は、脱相関値が低い場所を表す。図８（ａ）のＢＢは黒帯の例で、図８（ｂ）のＷＬは白線の例を示している。黒帯は、撮影中の動きにより、網膜の位置が感度の高い位置から遠ざかることで網膜断層像の輝度値が低下し脱相関の値が低くなったり、まばたき等により画像全体が暗くなることで脱相関の値が低くなったりすることで発生する。白線は、脱相関の計算においてＭ個の断層像を位置合わせして計算をするが、位置合わせがうまくいかなかったり、位置合わせで位置を補正しきれなかったりする場合に、画像全体の脱相関値が高くなることで発生する。これらのアーティファクトは脱相関の計算において発生するため、主走査方向の１ライン単位で発生する。そのため、前処理部３３１は、１ライン単位でアーティファクトを検出する。

例えば、黒帯検出は、１ラインでの脱相関の平均値が閾値ＴＨ_{ＡＶＧ＿Ｂ}以下の場合、黒帯とする。白線検出は、１ラインでの脱相関値の平均値が閾値ＴＨ_{ＡＶＧ＿Ｗ}以上で、かつ、標準偏差（あるいは分散値）がＴＨ_ＳＤ＿Ｗ以下である場合、白線とする。白線の場合、平均値だけで判定を行うと大血管などで脱相関値が高く出る場合があり、これらのような脱相関値の高い血管が含まれる領域を白線と誤検出してしまう事がある。そのため、標準偏差や分散のような値のバラつきを評価する指標と組み合わせて判断する。すなわち、脱相関値の高い血管が含まれる１ラインは、平均値が高くて標準偏差も高くなる。一方、白線の１ラインは、平均値は高いが値のバラつきは小さいため標準偏差は低くなる。なお、ＯＣＴＡ画像は健常眼や患眼、患眼などでも病気の種類に応じて脱相関値の値が変動する。そのため、閾値は画像毎に設定することが望ましく、Ｐ−ｔｉｌｅや判別分析のような動的閾値法を用いて、ＯＣＴＡ画像の明るさに応じて設定することが望ましい。なお、動的閾値法を用いる場合、上限閾値と下限閾値は事前に設定しておき、その値を上回るか下回る場合には、それらの上限閾値、あるいは下限閾値を閾値として設定する。

前処理部３３１は、上記で求めたアーティファクト領域を、ＯＣＴＡ画像に対応するＭａｓｋ画像に記憶しておく。図のＭａｓｋ画像において、白い領域は１、黒い領域は０の値を設定した例を示す。

＜ステップＳ３７３２＞
ステップＳ３７３２では、第一の位置合わせ部３３４は、各ＯＣＴＡ画像をそれぞれ位置合わせした場合の位置合わせパラメータを保存するための２次元行列を初期化する。各行列の要素には、位置合わせ時の変形パラメータや画像類似度などの画像高画質化に必要な情報をまとめて保存する。

＜ステップＳ３７３３＞
ステップＳ３７３３では、第一の位置合わせ部３３４は、位置合わせ対象を選択する。本実施形態においては、全てのＯＣＴＡ画像を基準画像に設定して残りのＯＣＴＡ画像と位置合わせを行う。そのため、ステップＳ３７３３においては、Ｄａｔａ０のＯＣＴＡ画像を基準とする場合に、Ｄａｔａ１〜Ｄａｔａ（Ｎ−１）とそれぞれ位置合わせを行う。次に、Ｄａｔａ１のＯＣＴＡ画像を基準とする場合には、Ｄａｔａ２〜Ｄａｔａ（Ｎ−１）とそれぞれ位置合わせを行う。次に、Ｄａｔａ２のＯＣＴＡ画像を基準とする場合には、Ｄａｔａ３〜Ｄａｔａ（Ｎ−１）とそれぞれ位置合わせを行う。これらの処理を繰り返す。この例を図９（ａ）に示す。図９では簡単のため、Ｄａｔａ０〜Ｄａｔａ２を示しているが、三次元ボリュームをＮ回撮影している場合には、Ｎ個のＯＣＴＡ画像間での位置合わせを行う。

なお、ここで示したように基準画像のＤａｔａを１つずつ繰り上げた場合に、位置合わせの対象とする画像のスタートＤａｔａも１つずつ大きくする。これについてＤａｔａ２のＯＣＴＡ画像を基準とする場合について説明をする。Ｄａｔａ２を基準とする場合に、Ｄａｔａ０とＤａｔａ１、Ｄａｔａ０とＤａｔａ２、Ｄａｔａ１とＤａｔａ２の位置合わせは、それまでの処理により既に位置合わせ済みである。そのため、Ｄａｔａ２のＯＣＴＡ画像を基準とする場合には、Ｄａｔａ３から位置合わせをすればよい。これにより、全部のＯＣＴＡ画像同士の位置合わせとはいえ、半分の組み合わせを計算すればよいことになる。

＜ステップＳ３７３４＞
ステップＳ３７３４では、第一の位置合わせ部３３４は、複数のＯＣＴＡ画像間において画像の横方向（ｘ軸）と縦方向（ｙ軸）、ｘｙ面内の回転位置合わせを行う。すなわち、第一の位置合わせ部３３４は第１の画像と第２の画像との２次元位置合わせを行う。ＯＣＴＡ画像間の位置合わせでは、ｘｙ面内においてサブピクセル位置合わせを行うために、ＯＣＴＡ画像のサイズを拡大して位置合わせを行う。サブピクセル位置合わせとすることで、ピクセル位置合わせよりも位置合わせの精度が向上することが期待される。例えば、ＯＣＴＡ画像の撮影サイズを３００×３００とした場合、６００×６００に拡大をする。拡大する際にはＢｉｃｕｂｉｃやＬａｎｃｚｏｓ（ｎ）法のような補間方法を用いる。そして、画像同士の位置合わせ処理としては、例えば、２つのＯＣＴＡ画像の類似度を表す評価関数を事前に定義しておき、ＯＣＴＡ画像位置をずらしたり、回転させたりしながら評価値を計算し、評価値が最もよくなる場所を位置合わせ結果とする。評価関数としては、画素値で評価する方法が挙げられる（例えば、相関係数を用いて評価を行う方法が挙げられる）。

類似度を表す評価関数として相関係数を用いた場合の式を数２に示す。

・・・数２

数２において、Ｄａｔａ０のＯＣＴＡ画像の領域をｆ（ｘ， ｙ）、Ｄａｔａ１のＯＣＴＡ画像の領域をｇ（ｘ， ｙ）とする。

は、それぞれ領域ｆ（ｘ， ｙ）と領域ｇ（ｘ， ｙ）の平均を表す。なお、ここで領域とは位置合わせに用いるための画像領域であり、通常ＯＣＴＡ画像のサイズ以下の領域が設定され、上述したＲＯＩサイズが設定される。

また、評価関数としては、これに限らずＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）や、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）でもよく、画像の類似度あるいは相違度を評価出来ればよい。あるいは、ＰＯＣ（Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）のような方法で、位置合わせを行っても良い。この処理により、ＸＹ面内の大局的な位置合わせが行われる。

なお、ここではＯＣＴＡ画像のサイズを拡大して位置合わせを行う例について示したが、これに限らない。また、入力のＯＣＴＡ画像サイズが９００×９００のような高密度スキャンの場合には、必ずしも拡大をする必要はない。また、位置合わせを高速で行うため、ピラミッド構造データを生成して位置合わせをしてもよい。

＜ステップＳ３７３５＞
ステップＳ３７３５では、第一の位置合わせ部３３４は、ＯＣＴＡ画像の画像評価値を計算する。画像評価値は、ステップＳ３７３４での二次元位置合わせ済みのＯＣＴＡ画像において、位置合わせにより発生する無効領域を含まない画像の共通領域を用いて計算する。例えば、画像評価値Ｑは数４で求めることが出来る。

・・・数４

数４において、Ｄａｔａ０のＯＣＴＡ画像の領域をｆ（ｘ， ｙ）、Ｄａｔａ１のＯＣＴＡ画像の領域をｇ（ｘ， ｙ）とする。最初の項は相関係数を表し、数２で示した式と同様である。そのため、式の中のσ_ｆ、σ_ｇはそれぞれ、数２で示したものと対応する。２番目の項は明るさを評価する項であり、

は、それぞれ領域ｆ（ｘ， ｙ）と領域ｇ（ｘ， ｙ）の平均を表す。３番目の項はコントラストを評価する項である。それぞれの項は、最小値０で、最大値は１となる。例えば、Ｄａｔａ０とＤａｔａ１が同じ画像である場合には評価値は１となる。そのため、Ｎ個のＯＣＴＡ画像の中で平均的な画像を基準とした場合に評価値は高く、他のＯＣＴＡ画像と異なるようなＯＣＴＡ画像を基準とした場合には評価値は低くなる。ここで、他のＯＣＴＡ画像と異なるとは、撮影位置が異なる、画像が歪んでいる、全体的に暗い、あるいは明るすぎる、白線や黒帯などのアーティファクトが含まれているような場合である。なお、画像評価値は必ずしもここで示した式である必要はなく、それぞれの項を単独で評価しても良いし、組み合わせを変えても良い。

＜ステップＳ３７３６＞
ステップＳ３７３６では、第一の位置合わせ部３３４は、ステップＳ３７３２で初期化した位置合わせや画像類似度などの画像高画質化に必要なパラメータを保存するための２次元行列に対して値を保存する。例えば、基準画像をＤａｔａ０、対象画像をＤａｔａ１とする場合、２次元行列の要素（０、１）に横方向の位置合わせパラメータＸ、縦方向の位置合わせパラメータＹ、ＸＹ面内の回転パラメータα、画像評価値、画像類似度を保存する。これらの情報の他に、図８で示したＭａｓｋ画像をＯＣＴＡ画像と関連付けて保存しておく。さらに、本実施形態では説明をしないが、倍率補正を行う場合には、倍率を保存しても良い。

＜ステップＳ３７３７＞
ステップＳ３７３７では、第一の位置合わせ部３３４は、全ての画像を基準画像として残りの対象画像と位置合わせを行ったか否かを判定する。全ての画像を基準として処理をしていない場合には、ステップＳ３７３３に戻る。そして、全ての画像を基準として処理をした場合には、ステップＳ３７３８に進む。

＜ステップＳ３７３８＞
ステップＳ３７３８では、第一の位置合わせ部３３４は、２次元行列の残りの要素を更新する。上記処理は、ステップＳ３７３３で説明したように、半分の組み合わせしか計算をしていない。そのため、計算をしていない要素にこれらの値をコピーする。例えば、２次元行列の要素（０、１）のパラメータは（１、０）の要素にコピーされる。すなわち、要素（ｉ、ｊ）を要素（ｊ、ｉ）にコピーする。この際、位置合わせパラメータＸ、Ｙと回転パラメータαは逆になるため、負の値を掛けてコピーをする。なお、画像類似度などは逆にならないため、同じ値をそのままコピーする。これらの処理によりＯＣＴＡ画像位置合わせが行われる。次に、図４（ａ）の処理フローに戻って説明を行う。

＜ステップＳ３７４＞
ステップＳ３７４では、選択部３３５が基準画像の選択を行う。ステップＳ３７３で行った位置合わせの結果に基づいて基準画像選択を行う。ステップＳ３７３において、２次元行列を作成しており、行列の各要素に高画質化画像生成に必要な情報が保存されている。そのため、その情報を用いることで基準画像選択を行う。基準画像選択において、画像評価値、位置合わせパラメータ評価値、アーティファクト領域評価値を用いて選択を行う。画像評価値は、ステップＳ３７３５で求めた値を用いる。位置合わせパラメータは、ステップＳ３７３４で求めた位置合わせ結果のＸとＹを用いて、例えば、数６を用いて評価値とする。数６では、移動量が大きいほど大きな値となる。

・・・数６

アーティファクト領域評価値は、ステップＳ３７３１で求めたＭａｓｋ画像を用いて、例えば、数７を用いて評価値とする。数７では、Ｔ（ｘ，ｙ）はＭａｓｋ画像でのアーティファクトではない領域のピクセルを表し、Ａ（ｘ，ｙ）はＭａｓｋ画像の全ピクセルを表す。そのため、アーティファクトが存在しない場合、最大値は１となる。

・・・数７

画像評価値とアーティファクト領域評価値は数値が大きい方が良く、位置合わせパラメータ評価値は数値が小さい方が良い。また、画像評価値と位置合わせパラメータ評価値は、ある画像を基準とした時に、その他の画像との関係で求める値であるため、Ｎ−１個の合計値となる。これらの評価値は評価尺度が異なるため、それぞれの値でソートを行い、ソートしたインデックスの合計値により基準画像を選択する。例えば、画像評価値とアーティファクト領域評価値は数値が大きいほど、ソート後のインデックスが小さくなるようにソートを行い、位置合わせパラメータ評価値は数値が小さいほど、ソート後のインデックスが小さくなるようにソートを行う。これらのソート後のインデックス値が最も小さくなる画像を基準画像として選択する。

なお、基準画像選択の方法について、ソート値を合計することで基準画像を選択する例について述べたがこれに限らない。それぞれの評価値のソート後のインデックスに重みをつけて評価値を計算するようにしても良い。

あるいは、ソート値ではなく、それぞれの評価値が１になるように正規化をして計算するようにしても良い。例えば、画像評価値は１に正規化しているが、本実施形態においてはＮ−１個の合計値であるため、平均値を用いるようにすればよい。

位置合わせパラメータ評価値は、数８のように定義すれば１に正規化でき、この場合、評価値が１に近いほうが良い評価値となる。

・・・数８

数８において、ＳＶ_ｎは数６で求めた値のＮ−１個の合計値で、添え字のｎはＤａｔａ番号に対応する。そのため、Ｄａｔａ０の場合は、ＳＶ_０である。ＳＶ_ｍａｘは、Ｄａｔａ０〜Ｄａｔａ（Ｎ−１）の間で最大の位置合わせパラメータ評価値である。αは重みであり、ＳＶ_ｎとＳＶ_ｍａｘが同じ数値の時に、ＮＳＶ_ｎの値をいくつに設定するかを調整するパラメータである。なお、最大値ＳＶ_ｍａｘは上述したように実際のデータから決めても良いし、閾値として事前に定義しておいても良い。

アーティファクト領域評価値は０〜１に正規化してあるので、そのまま用いればよい。

このように、全ての評価値を１に正規化した場合には、評価値の合計値が最も大きくなるものを基準画像として選択する。

ここで説明したように、基準画像は、Ｎ個の画像の中で平均的な画像であり、他の画像を位置合わせする際に移動量が少なく、アーティファクトが少ないという条件を最も満たす画像が選択される。この例により選択される基準画像の例を図９（ｂ）に示す。この例では、基準画像にＤａｔａ１を選択している。そして、Ｄａｔａ０とＤａｔａ２は、第一の位置合わせ部３３４で求めた位置合わせパラメータに基づき、それぞれ移動している。

＜ステップＳ３７５＞
ステップＳ３７５では、第二の位置合わせ部３３６がＯＣＴＡ画像を用いて網膜の横方向（ｘ軸）の位置合わせを行う。これについて図１０を用いて説明をする。図１０（ａ）は、基準画像がＤａｔａ１で、位置合わせ対象がＤａｔａ２との横方向位置合わせを行う例を示している。また、Ｍａｓｋは、Ｄａｔａ２に含まれるアーティファクト（図では横方向の黒いライン）と、Ｄａｔａ１との位置合わせの結果Ｄａｔａ２が移動することにより生じる無効領域（図では縦方向の黒いライン）に０を設定してある。基準画像と位置合わせ対象画像は、それぞれのラインで横方向に位置合わせを行い、ライン単位での類似度を計算する。類似度の計算には、例えば数２を用いる。そして、類似度が最大となる位置にラインを移動させる。また、ライン単位で基準画像に対しての類似度を計算し、類似度に応じてＭａｓｋに重みを設定する。

第二の位置合わせ部３３６による位置合わせ結果の例を図１０（ｂ）に示す。図１０（ｂ）では、画像上端と画像中心付近では、基準画像と似ていないと判断し、重ね合わせに使用しないラインとしてＭａｓｋ画像に横方向の黒ラインを設定した例を示している。また、画像中心付近と画像下端では、ライン単位の位置合わせの結果として、中心付近では左側にずらし、画像下端では右側にずらした例を示している。画像をずらす事で無効領域が生じるため、Ｍａｓｋには無効領域に０を設定する。この処理により、ＸＹ面内の局所的な位置合わせが行われる。

なお、第一の位置合わせで求めた回転パラメータαに関して、第二の位置合わせを行う前にそれぞれの画像に対して適用しても良いし、第二の位置合わせを行った後に適用するようにしても良い。

＜ステップＳ３０８＞
ステップＳ３０８では、決定部３０６において決定する高画質データ生成方法により、画像処理部３０３における処理を変更する。処理の決定は、表示部６００にＲａｄｉｏボタン、プルダウンメニュー、チェックボックスなどの入力するための情報を表示して、操作者が入力を行う。なお、モード入力自体は、撮影を行う前に事前に行っても良いし、撮影終了後に行っても良い。なお、被検眼毎に変更する必要はなく、基準となる方法を入力しておくことで、基本はその処理方法で行い、被検眼の撮影状態に応じて処理方法を変更するようにしても良い。正面画像データで高画質データ生成を行う場合にはステップＳ３０９に処理を進め、三次元データで高画質データ生成を行う場合にはステップＳ３１０に処理を進める。

初めに、Ｓ３０９における第一の高画質データ生成について説明をする。

＜ステップＳ３０９＞
ステップＳ３０９では、第一の高画質データ生成として、正面画像データであるＯＣＴＡ画像の高画質データ生成を行う場合について、図５のフローチャートを用いて説明をする。なお、ステップＳ３０７およびステップＳ３０９により合成画像（高画質データ）を生成する処理は、第１モードの一例に相当する。

＜ステップＳ３９１＞
ステップＳ３９１では、検出部３３３が検出した網膜層の境界線情報を取得する。境界線情報は、ステップＳ３９２で２次元のＯＣＴＡ画像を生成するのに必要な情報であるため、生成範囲の上端に関する境界線と生成範囲の下端に関する境界線の情報をセットで取得する。さらに、それぞれの境界線情報と一緒にオフセットとなる数値、例えば、−１０μｍや＋５０μｍという数値を上端と下端となるそれぞれの境界線と一緒に取得する。

境界線情報は、１つのセットである必要はなく、複数のセットを同時に取得するようにしても良い。例えば、ＯＣＴＡ画像は、表層部、深層部、脈絡膜部、網膜全層など、ＯＣＴＡ画像として生成したい網膜範囲の種類は、ある程度決まっている。そのため、これらのＯＣＴＡ画像を生成するのに必要な境界線の生成範囲上端と下端、それに対するオフセット値を取得するようにしても良い。なお、本実施形態においては、ステップＳ３７２において、生成範囲上端をＩＬＭ／ＮＦＬ境界線とし、生成範囲下端をＧＣＬ／ＩＰＬから深度方向に５０μｍ下端の境界線とした位置合わせを行っている。そのため、ここでは、それ以外の範囲の境界線情報を取得するものとする。

＜ステップＳ３９２＞
ステップＳ３９２では、画像生成部３３２が、三次元のモーションコントラストデータに対して指定された生成範囲上端と生成範囲下端との範囲に対応するモーションコントラストデータを二次元平面上に投影し、ＯＣＴＡ画像を生成する。ＯＣＴＡ画像の生成はステップＳ３７２と同様に行う。

＜ステップＳ３９３＞
ステップＳ３９３では、ステップＳ３９２で作成したＯＣＴＡ画像に対して、ステップＳ３０７で行った正面画像位置合わせの位置合わせパラメータ結果を適用する。それにより、任意の複数のＯＣＴＡ画像に対して位置合わせを行うことが出来る。ここでは位置合わせ処理自体を行うわけではなく、パラメータを適用して画像を変形させるだけであるため、複数の平面画像を扱うとしても、処理負荷は軽くなる。

＜ステップＳ３９４＞
ステップＳ３９４では、画像合成部３３９は、選択部３３５が選択した基準となるＯＣＴＡ画像と、複数のＯＣＴＡ画像同士を加算平均する。加算平均処理では、ピクセル毎に、複数のＯＣＴＡ画像とＭａｓｋ画像の値を掛け算した値の合計値ＳＵＭ＿Ａと、複数のＭａｓｋ画像の値の合計値ＳＵＭ＿Ｂをそれぞれ保持しておく。Ｍａｓｋ画像にはアーティファクトとして除去した無効領域や、位置合わせによりデータが存在しない無効領域が０として保存されているため、Ｍａｓｋ画像の合計値ＳＵＭ＿Ｂにはピクセル毎に異なる値が保持されている。そして、加算平均処理では、ＳＵＭ＿ＡをＳＵＭ＿Ｂで割ることにより加算平均を計算したＯＣＴＡ画像を求めることが出来る。

これにより、第一の高画質データ生成として、モーションコントラスト画像の正面画像である高画質なＯＣＴＡ画像を生成する。本実施形態においては、ステップＳ３７２、ステップＳ３９２で作成したＯＣＴＡ画像に対して高画質なＯＣＴＡ画像を作成する。

これらの処理を行った後、図３のフローチャートに処理が戻る。

＜ステップＳ３１０＞
ステップＳ３１０では、三次元の断層像を用いた位置合わせが実施することで第二の高画質データを生成する。ステップＳ３０及びステップＳ３１０における一連の位置合わせは、前記第１の画像位置合わせ処理よりも処理量の多い第２の画像位置合わせ処理の一例に相当する。また、ステップＳ３０７及びステップＳ３１０により合成画像を生成する処理は、第２モードの一例に相当する。

次に、ステップＳ３１０における第二の高画質データ生成を行う場合について図６のフローチャート、図１１〜図１８を用いて説明をする。図６（ａ）は、第二の高画質データ生成に関するフローチャートで、図６（ｂ）は、第三の位置合わせの流れを示すフローチャート、図６（ｃ）は、第四の位置合わせの流れを示すフローチャートである。

＜ステップＳ３１０１＞
ステップＳ３１０１では、第三の位置合わせ部３３５は、基準の三次元データとその他の三次元データとの深さ方向（Ｚ方向）における位置合わせを行う。すなわち、第１の画像と前記第２の画像との３次元位置合わせを行う。この処理に関して、図６（ｂ）のフローチャートを用いて説明をする。

＜ステップＳ３１０１１＞
ステップＳ３１０１１では、第三の位置合わせ部３３５は、基準となる三次元モーションコントラストデータと基準となる三次元の断層像データをそれぞれ記憶しておく。例えば、本実施形態ではＤａｔａ１の三次元モーションコントラストデータと三次元の断層像データを記憶する。

＜ステップＳ３１０１２＞
ステップＳ３１０１２では、第三の位置合わせ部３３５は、ステップＳ３７１で検出した境界線情報を取得する。なお、本実施形態において深さ方向位置合わせに用いる境界線はＬ１とする。

＜ステップＳ３１０１３＞
ステップＳ３１０１３では、第三の位置合わせ部３３５は、それぞれの三次元データ毎に深さ方向の位置と傾きを合わせる。三次元の断層像を撮影する際に眼は動いている。ＸＹ面内の移動に関しては、リアルタイムにトラッキングを行いながら撮影を行うため、撮影時にほとんど位置合わせが出来ている。しかし、深さ方向に関してはリアルタイムトラッキングをしていないため、データ内部でも位置合わせを行う必要がある。すなわち、ここでの説明は一つの三次元データ内の位置合わせに関する。これについて、図１１を用いて説明をする。図１１（ａ）は、位置合わせに用いる断層画像の境界線の例を示している。本実施形態においては、境界線Ｌ１（ＩＬＭ）を用いる場合について説明をする。なお、本実施形態においては境界線Ｌ１を使用する例について説明を行うが、境界線の種類はこれに限らない。他の境界線でも良いし、複数の境界線を組み合わせても良い。

図１１（ａ）において、基準データをＩｎｄｅｘｃ、対象データをＩｎｄｅｘｃ−１としている。なお、最初の基準データは三次元データの中心の断層像、対象データは基準データに対して副走査方向において隣の断層像の境界線とする。

図１１（ｂ）に、説明のために基準データの境界線Ｌ１と位置合わせ対象の境界線Ｌ１’とを同時に表示する。図１１（ｂ）において、境界線を縦方向に１２分割している。本実施例では分割数を１２として説明をする。それぞれの領域はＡｒｅａ０〜Ａｒｅａ１１とする。なお、図１１（ｂ）において、画像中心部に分割領域を描画していないが、実際には画像全体を領域分割している。そして、上下矢印Ｄｉｆｆｅｒｅｎｃｅ１は、Ｌ１とＬ１’との差を表す。これらの差は、それぞれの領域Ａｒｅａ０〜Ａｒｅａ１１それぞれで求める。これらの分割数は横方向の画像サイズに応じて変更しても良い。あるいは、共通して検出した境界線の横幅のサイズに応じて変更しても良い。本実施例では簡単のため、横方向の境界線サイズを同じで表示しているが、実際には、網膜層が画像の上方向にずれ（Ｚ軸で０の方向）、網膜層の一部領域が画像から欠損する場合がある。その場合には、画像全体で境界線が検出出来ない。そのため、境界線同士の位置合わせにおいては、基準データの境界線Ｌ１と位置合わせ対象の境界線Ｌ１’との境界線が検出出来ている範囲を分割して位置合わせをすることが望ましい。

図１１（ｂ）において各領域のＤｉｆｆｅｒｅｎｃｅ１の平均をそれぞれＤ_０〜Ｄ_１１とする。すなわち、ＩＬＭの差の平均をその領域の差分の代表値とする。次に各領域で求めた代表値Ｄ_０〜Ｄ_１１を小さい順にソートする。そして、ソートした代表値を小さい順から８個用いて、平均と分散を計算する。なお、本実施形態では選択数は８個とする。しかし、数はこれに限定されない。選択する数は分割数よりも小さければよい。平均と分散の計算は、ソートした代表値を一つずつずらして計算する。すなわち、本実施形態では１２個に分割した領域のうち８個の代表値を用いて計算をするため、全部で５種類の平均値と分散値が求まる。次に、求めた５種類の分散値の中で最小となる分散値を算出した際の８個の差分の代表値を用いて深さ方向のシフト値と傾きを求める。これについて、図１１（ｃ）と数９を用いて説明をする。図１１（ｃ）は、横軸に分割領域の中心ｘ座標、縦軸に差分の代表値としたグラフである。図１１（ｃ）において、黒丸は分散値が最小となった組み合わせの差分の代表値の例であり、黒三角は選択されなかった差分の代表値の例を示している。数９は、分散値が最小となった組み合わせの差分の代表値（図１１（ｃ）における黒丸）を用いて計算をする。

・・・数９

・・・数１０

・・・数１１

数９においてＤが深さ方向のシフト値であり、ｘはｘ座標、すなわちＡスキャン位置である。数９におけるａとｂに関して、数１０と数１１に示す。数１０、数１１において、ｘ_ｉは選択された分割領域の中心ｘ座標、Ｄ_ｉは選択された差分の代表値であり、ｎは選択した代表値の数なので、本実施例においてｎは８となる。数９により、各Ａスキャンの深さ方向のシフト値が求まる。

ここで示すように境界線位置合わせ時に領域を分割し、分割した領域の差分値の組み合わせにおいて最もバラつきが小さくなる値を用いることで、境界線検出に誤りがあったとしても、それらの領域の値は使用しない。そのため、安定して深さ方向のシフト値を計算することが出来る。なお、各領域の深さ方向の代表値として平均値としたが中央値でも良く、代表的な値を用いることが出来ればよい。さらに、バラつきの値として分散値としたが標準偏差でもよく、値のバラつきを評価出来る指標であればよい。

この処理に関して、基準データと対象データを変えながら全てのデータに関して位置合わせを行う。すなわち、最初の基準データは三次元データの中心境界線、対象データは基準データの隣の境界線データとした。この位置合わせが終了したら、その次には、先ほど対象データとしたデータを基準データとして、さらにその隣のデータを対象データとして位置合わせを行う。この処理が画像の端まで完了したら、再度、基準データを中心境界線として、最初の位置合わせとは反対側の隣の境界線データを対象データとして位置合わせをする。反対側においてもこの処理を画像の端まで行う。万が一、層検出出来ていないデータがある場合には、一つ前の位置合わせパラメータを用いて補正を行い、次のデータに進む。

この処理を適用した例を図１２（ａ）に示す。図１２は、境界線Ｌ１のＺ座標を輝度値として表現したＤｅｐｔｈＭａｐである。すなわち、ＤｅｐｔｈＭａｐが明るい場合はＺ座標の値が大きく、ＤｅｐｔｈＭａｐが暗い場合はＺ座標の値が小さいことを表している。図１２（ａ）にはＤａｔａ０〜Ｄａｔａ２を示し、上側のＤｅｐｔｈＭａｐは位置合わせ前で、下側のＤｅｐｔｈＭａｐは位置合わせ後である。位置合わせ前のＤｅｐｔｈＭａｐには、全てのＤａｔａにおいて、横方向の色むらがある。これは、撮影時にＺ方向に網膜が動いていることを表している。一方、位置合わせ後のＤｅｐｔｈＭａｐには、横方向の色むらが無く、隣接するデータ間でＺ方向の位置が合っていることを表している。なお、深さ方向位置合わせにおいて、データの片側を位置合わせした後に、反対側の位置合わせをする例について示したが、それに限らない。最初の基準データを同じにして、両側の処理を並列に実行しても良い。

なお、第三の位置合わせ部３３５は、基準データ（本実施形態ではＤａｔａ１）の各Ａスキャンの深度方向への移動量を記憶しておく。

＜ステップＳ３１０１４＞
ステップＳ３１０１４では、第三の位置合わせ部３３５は、複数の三次元データ間での深さ方向の位置と傾きを合わせる。ここでは、ステップＳ３１０１３で三次元データ内での深さ方向の位置合わせをしたデータを用いて、三次元データ間での位置合わせを行う。ここでも、先ほどと同様に境界線Ｌ１を用いて位置合わせをする。計算方法は、ステップＳ３１０１３と同様であるが、計算する対象は、データ内ではなくデータ間となる。そのため、基準データと対象データとの位置合わせを行う。これについて、図１２（ｂ）を用いて説明をする。本実施形態において、基準データはＤａｔａ１で、位置合わせの対象データはＤａｔａ０とＤａｔａ２とする。そのため、ＤｅｐｔｈＭａｐに対して、第一の位置合わせ、第二の位置合わせで求めたパラメータを適用して、Ｄａｔａ０とＤａｔａ２のＤｅｐｔｈＭａｐをそれぞれ変形させる。そして、Ｄａｔａ０とＤａｔａ２共に、Ｄａｔａ１に対して、各Ｂスキャンに相当する境界線Ｌ１の深さ方向位置合わせを実行する。これらの計算式は数９と同様の方法で行う。

図１２（ｂ）では、Ｄａｔａ０〜Ｄａｔａ２を示し、上側のＤｅｐｔｈＭａｐはデータ内での位置合わせ後で、下側のＤｅｐｔｈＭａｐはデータ間での位置合わせ後である。データ内での位置合わせ後のＤｅｐｔｈＭａｐでは、Ｄａｔａ０〜Ｄａｔａ２において網膜のＺ位置が異なるため、ＤｅｐｔｈＭａｐの明るさが異なっている。一方、データ間での位置合わせ後のＤｅｐｔｈＭａｐでは、Ｄａｔａ０〜Ｄａｔａ２において網膜のＺ位置が揃っているため、ＤｅｐｔｈＭａｐの明るさも揃っていることを表している。

これらの処理により、Ｚ方向の大局的な位置合わせが行われる。

＜ステップＳ３１０１５＞
ステップＳ３１０１５では、第三の位置合わせ部３３５は、第一の位置合わせ、第二の位置合わせ、第三の位置合わせで求めたＸ、Ｙ、Ｒｏｔａｔｉｏｎ、Ｚに関する変形パラメータを適用して三次元データを変形する。三次元データは断層像データ、モーションコントラストデータの両方ともに変形をする。なお、ステップＳ３７３４においてｘｙ面内において画像を拡大して位置合わせを行っている場合、三次元データ変形時に元のサイズに相当する変形パラメータに戻す。すなわち、２倍に拡大した画像でのｘｙ面内位置合わせパラメータの数値が１であった場合、ここでは、０．５であるとする。そして、元のサイズで三次元データの形状変形を行う。

三次元データを変換する際に、Ｘ、Ｙ、Ｒｏｔａｔｉｏｎ、Ｚに関する変形パラメータがサブピクセルあるいはサブボクセルでの移動量である場合、三次元データを補間処理で変形させる。ここで、サブピクセルあるいはサブボクセルであるとは、移動量が０．５のような実数値の場合や、Ｒｏｔａｔｉｏｎパラメータが０ではなく、データを回転させる場合などの事である。形状データの補間には、ＢｉｃｕｂｉｃやＬａｎｃｚｏｓ（ｎ）法などを用いる。

図１３は、Ｄａｔａ０〜Ｄａｔａ２の三次元断層像を示しており、上側の三次元断層像は、位置合わせを行う前の三次元断層像であり、下側の三次元断層像は、第一の位置合わせ、第二の位置合わせ、第三の位置合わせを行った後に画像変形した三次元断層像である。ここで示すように、データ内かつデータ間での位置合わせ後の三次元断層像は、Ｄａｔａ０〜Ｄａｔａ２において網膜のＸＹＺに関する位置合わせが成されたことを表している。

＜ステップＳ３１０１６＞
ステップＳ３１０１６では、第三の位置合わせ部３３５は、データ間でのＺ位置合わせを行ったＤｅｐｔｈＭａｐにおいて、基準データと対象データとの差分検出を行う。そして、差分の絶対値が閾値以上の場所（ｘ、ｙ）においては、位置合わせの精度が低いと判断し重ね合わせに使用しない。そのため、対象データのＭａｓｋ画像に無効領域として０を設定する。

＜ステップＳ３１０２＞
ステップＳ３１０２では、第四の位置合わせ部３３８は、基準データと対象データ間において、断層画像内部の特徴がある部分に位置合わせのための領域を複数設定し、その領域単位で網膜の横方向（ｘ軸）と深さ方向（ｚ軸）の位置合わせを行う。なお、ここでの位置合わせはＺ方向の局所位置合わせとして説明をする。第四の位置合わせ部３３８が行う局所位置合わせについて、図６（ｃ）のフローチャートを用いて説明をする。

＜ステップＳ３１０２１＞
ステップＳ３１０２１では、第四の位置合わせ部３３８は、ステップＳ３７１で検出した境界線情報を取得する。なお、本実施形態において深さ方向位置合わせに用いる境界線はＬ１とＬ３とする。

＜ステップＳ３１０２２＞
ステップＳ３１０２２では、第四の位置合わせ部３３８は、対象画像の特徴領域を含むように位置合わせ用の領域を設定する。これについて、図１４を用いて説明をする。

図１４には基準データの三次元断層像の中の断層画像と、位置合わせ対象となる三次元断層像の中の断層画像を示している。位置合わせ対象となる対象画像１には、基準断層画像の境界線情報Ｌ１とＬ３を基にして設定する複数の位置合わせ用の領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔｉｎｇ）の例を示す。ＲＯＩの深さ方向サイズは、Ｌ１とＬ３を基準として、それよりもそれぞれ数１０ピクセル程度、上方向と下方向に広く設定する。なお、上下方向に数１０ピクセル程度パラメータを設定する場合において、大局位置合わせの結果を用いてパラメータを補正することがある。これは、図１４の対象画像１に示すように大局位置合わせにおいて、画像全体を下方向にシフトさせている場合、画像の上端部に無効領域が存在する。この場合、ＲＯＩを設定する範囲とその探索領域が無効領域を含まないように初期のＲＯＩサイズを補正する必要がある。ＲＯＩの横方向サイズは、画像を分割したサイズから設定する。分割数は、画像のサイズ（Ａスキャン本数）や画像の撮影サイズ（３ｍｍ）など、撮影パラメータに合わせて設定をする。例えば、本実施形態において、Ａスキャン本数を３００、撮影サイズを３ｍｍとした場合、分割数は１０とする。なお、横方向のサイズとＲＯＩの設定値においても大局位置合わせの結果を用いて補正を行う。上下方向のパラメータ同様に横方向においても無効領域が存在することがあるため、ＲＯＩを設定する範囲とその探索領域が無効領域を含まないように設定する必要がある。

そして、局所位置合わせ用のＲＯＩは、それぞれ重畳するように設定する。これは、ＲＯＩを重複させずに、ＲＯＩのサイズを小さくする場合、ＲＯＩの中に特徴的な部位を含まない場所が存在することがあるためである。例えば、網膜を狭画角で撮影した場合、画像内に平坦な組織が広い範囲において写る場合がある。また一方、ＲＯＩを重複させずに、特徴を含むようにＲＯＩの範囲を広く設定すると、局所位置合わせのためのサンプリング数が少なくなり、粗い位置合わせとなってしまうためである。そのため、これらの問題を解決するために、ＲＯＩのＸ方向のサイズを広くして、かつそれぞれのＲＯＩ同士を重畳させて設定する。なお、図１４において、画像中心部にＲＯＩを描画していないが、実際には画像の左端から右端まで網膜上にＲＯＩを設定する。さらに、ＲＯＩを設定する間隔は、ＲＯＩ位置合わせ時の探索範囲を考慮するのが望ましい。具体的には、ＲＯＩ位置合わせ時の横方向探索範囲をＸＲとする場合、隣接するＲＯＩの中心座標の間隔が２ＸＲ以上となるように設定をする。これは、中心座標の間隔を２ＸＲ未満とする場合、隣接するＲＯＩ同士の中心位置が入れ替わる可能性があるためである。

＜ステップＳ３１０２３＞
ステップＳ３１０２３では、第四の位置合わせ部３３８は、ＲＯＩを使って領域位置合わせを行う。領域位置合わせは断層画像で行う。そのため、ステップＳ３７３４で示したＯＣＴＡ画像位置合わせと同様に数１を用いて画像類似度に応じた位置合わせを行う。ただし、類似度の評価値はこれに限らず、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）や、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）などでも良い。あるいは、ＰＯＣ（Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）のような方法で、位置合わせを行っても良い。

画像位置合わせは、対象画像に設定したＲＯＩが基準となる断層画像ではどこにあるかを探索する。この際、第一〜第三の位置合わせにより、三次元の断層像データの変形を行っているので、基準画像と対象画像とのおおよその位置は合っている。そのため、基準画像での位置合わせの探索範囲は、ＲＯＩの初期位置から上下左右数〜数１０ピクセルを探索すればよく、最も類似する場所を位置合わせ結果とする。なお、探索領域は固定でも良いし、撮影画角、撮影部位、画像の場所（端や中心）に応じて変更しても良い。撮影画角が狭くスキャンスピードが速い場合には、１枚の画像を撮影している間の眼の移動量は小さいが、撮影画角が広くなると眼の移動量も大きくなる。そのため、撮影画角が大きい場合には探索範囲を広くしても良い。また、眼が回転する中心部分と周辺部とでは、移動量は周辺部の方が大きくなるため、周辺部の探索範囲を広くしてもよい。

＜ステップＳ３１０２４＞
ステップＳ３１０２４では、第四の位置合わせ部３３８は、ステップＳ３１０２３で求めた位置合わせパラメータを補間することで各Ａスキャンの移動量を算出する。これについて、図１５を用いて説明をする。図１５（ａ）は、初期設定した領域のＲＯＩ１〜ＲＯＩ３を表している。Ｃ１〜Ｃ３の下三角はＲＯＩ１〜ＲＯＩ３の中心位置を表している。また、図１５（ｂ）は、ステップＳ３１０２３での位置合わせ後のＲＯＩの移動例を示している。図１５（ｂ）においては、ＲＯＩ１とＲＯＩ３がそれぞれ右側に移動し、ＲＯＩ２が移動しない場合の例である。そのため、ＲＯＩの中心Ｃ１とＣ３がそれぞれＣ１’とＣ３’に移動している。各ＲＯＩの移動量からＡスキャンの移動量を算出するためには、隣接するＲＯＩとＲＯＩの中心位置の移動量に基づいて算出をする。例えば、ＲＯＩ１の中心位置はＣ１からＣ１’に移動しており、ＲＯＩ２の中心位置はＣ２のままである。ここで、変形前のＣ１からＣ２の間にある各ＡスキャンのＸ方向移動量を求める式を数１２〜１４に示す。

・・・数１２

・・・数１３

・・・数１４

数１２〜１４において、Ｘ１、Ｘ２は各ＲＯＩの初期中心座標、ΔＸ１、ΔＸ２は各ＲＯＩの中心座標のＸ方向移動量、Ａ＿ｂｅｆｏｒｅは変形前のＡスキャンインデックスの値、Ａ＿ａｆｔｅｒはＡ＿ｂｅｆｏｒｅが参照する、変形前のＡスキャンインデックスの値となる。例えば、Ａ＿ｂｅｆｏｒｅが５５、計算の結果でＡ＿ａｆｔｅｒが５６とする場合、Ａスキャンインデックス５５には、Ａスキャンインデックス５６のＡスキャンデータが入る。なお、Ｚ方向の移動量も数１２〜１４と同様の考え方に基づき、各ＲＯＩの中心位置の移動量から求めることが出来、上下方向に数ピクセルデータを移動する。なお、Ａ＿ａｆｔｅｒの値は実数でも整数でも良い。実数の場合は、複数のＡスキャンデータから補間方法（ＢｉｌｉｎｅａｒやＢｉｃｕｂｉｃ等）により新しいＡスキャンデータを作成する。整数の場合は、対応するＡスキャンインデックスのデータをそのまま参照する。なお、ここでは、Ｘ方向とＺ方向の両方を局所的に位置合わせする例を示したがこれに限らない。例えば、Ｘ方向だけ、Ｚ方向だけのどちらか一方のみを局所的に変形させるようにしても良い。なお、Ｘ方向はトラッキングで撮影時に位置合わせを行っているため、処理負荷を軽減するために、Ｚ方向のみ局所的な位置合わせをするようにしても良い。

＜ステップＳ３１０２５＞
ステップＳ３１０２５では、第四の位置合わせ部３３８は、ステップＳ３１０２４で求めたＡスキャン移動量を基に、Ａスキャン毎にＸ方向とＺ方向に移動させる。それにより、Ａスキャン単位で変形した断層画像を生成することが出来る。なお、変形させる三次元データは断層像データ、モーションコントラストデータの両方ともに変形をする。

＜ステップＳ３１０２６＞
ステップＳ３１０２６では、基準となる三次元データの全ての断層画像に対して、位置合わせの対象となるデータの全てを局所位置合わせしたか否かを判定する。全てのデータを処理していない場合には、ステップＳ３１０１１に戻る。そして、全てのデータを局所位置合わせした場合には、局所位置合わせの処理が終了する。

これらの処理により局所位置合わせが行われる。次に、図４（ａ）の処理フローに戻って説明を行う。

＜ステップＳ３１０３＞
ステップＳ３１０３では、画像合成部３３９は、選択部３３５が選択した基準となる三次元モーションコントラストデータと、複数の三次元モーションコントラストデータ同士を加算平均することで合成画像を生成する。加算平均処理では、ボクセル毎に、複数のモーションコントラストデータとＭａｓｋ画像の値を掛け算した値の合計値ＳＵＭ＿Ａと、複数のＭａｓｋ画像の値の合計値ＳＵＭ＿Ｂをそれぞれ保持しておく。Ｍａｓｋ画像にはアーティファクトとして除去した無効領域や、位置合わせによりデータが存在しない無効領域が０として保存されているため、Ｍａｓｋ画像の合計値ＳＵＭ＿Ｂにはボクセル毎に異なる値が保持されている。通常、位置合わせにおいてＸＹＺ毎、数１０ボクセルの移動が想定されるため、重ね合わせに用いたデータ数がＮ個である場合、画像中心付近のＳＵＭ＿Ｂのボクセル値はＮであり、画像端部のＳＵＭ＿Ｂのボクセル値はＮよりも少ない値になる。そして、加算平均処理では、ＳＵＭ＿ＡをＳＵＭ＿Ｂで割ることにより加算平均を計算したモーションコントラストデータを求めることが出来る。

これらの加算平均処理を行う前後のモーションコントラストデータを図１６〜図１８に示す。図１６はＸＺ面、図１７はＯＣＴＡ画像、図１８は三次元モーションコントラストデータをボリュームレンダリングして表示する例である。

図１６（ａ）は加算平均前の三次元モーションコントラストデータのＸＺ面を示し、図１６（ｂ）は加算平均後の三次元モーションコントラストデータのＸＺ面を示す。図１７（ａ）は加算平均前の三次元モーションコントラストデータから生成する網膜表層のＯＣＴＡ画像、図１７（ｂ）は加算平均後の三次元モーションコントラストデータから生成する網膜表層のＯＣＴＡ画像を示す。図１８（ａ）は加算平均前の三次元モーションコントラストデータのボリュームレンダリングデータ、図１７（ｂ）は加算平均後の三次元モーションコントラストデータのボリュームレンダリングデータの例である。図１６〜図１８に示すように加算平均処理により、コントラストが向上した三次元モーションコントラストデータを得ることが出来る。図１８のようにモーションコントラストデータのボリュームレンダリングを行うと、２次元のＯＣＴＡ画像では認識しにくい血管の深さ方向における上下関係なども把握しやすくなる。

三次元モーションコントラストデータと同様に、複数の三次元断層像データに関しても加算平均処理を行う。

＜ステップＳ３１０４＞
ステップＳ３１０４では、第三の位置合わせ部３３７は、ステップＳ３１０１１で記憶している入力の三次元モーションコントラストデータと三次元の断層像データと、ステップＳ３１０１３で記憶している各Ａスキャンの深度方向移動量に基づいて、基準データ（本実施形態ではＤａｔａ１）の網膜位置を入力時の深度位置の状態に戻す。具体的には、ステップＳ３１０３で加算平均後の三次元モーションコントラストデータと三次元の断層像データを、ステップＳ３１０１３で記憶している各Ａスキャンの深度方向移動量を用いて元の状態に戻す。例えば、あるＡスキャンにおいて下方向に５移動させている場合、ここでは上方向に５移動させる。さらに、上方向に５移動させることで、データ下部に無効領域が発生してしまう。そのため、その無効領域には、ステップＳ３１０１１で記憶している入力の三次元モーションコントラストデータと三次元の断層像データにおいて、同じ座標位置のデータをそれぞれコピーする。

なお、加算平均後データの無効領域に対して入力のデータをコピーする例を示したが、これに限らない。第三の位置合わせ部３３７で記憶した入力の三次元データに対して、加算平均後の三次元データから元々の座標位置に対応する範囲のデータを切り出してコピーするようにしても良い。それにより、上述ではデータ移動後に無効領域へのコピーという２ステップでの処理であったが、ここでは、コピーのみの１ステップとなるため、処理負荷を減らすことが出来る。なお、この場合、第三の位置合わせ部３３７で記憶している入力の三次元データに対してコピーをしているため、最終的な出力データは第三の位置合わせ部３３７で記憶しているデータとなる。

これらの処理を行った後、図３のフローチャートに処理が戻る。

＜ステップＳ３１１＞
ステップＳ３１１では、ステップＳ３９４で生成された加算平均後のＯＣＴＡ画像および加算平均後の三次元モーションコントラストデータから生成されたＯＣＴＡ画像の少なくとも一方が表示部６００に表示される。なお、加算平均して作成した高画質な三次元モーションコントラストデータ、あるいは高画質な三次元断層像の結果を表示部６００が表示されることとしてもよい。

ここで、表示部６００に表示する画面の例を図１９（ａ）、（ｂ）に示す。基本的な画面の説明は、図１９（ａ）を用いて行う。１９００は画面全体、１９０１は患者タブ、１９０２は撮影タブ、１９０３はレポートタブ、１９０４は設定タブを表し、１９０３のレポートタブにおける斜線は、レポート画面のアクティブ状態を表している。本実施形態においては、撮影処理終了後に画像確認のため、レポート画面を表示する例について説明をする。１９０５は患者情報表示部、１９０６は検査ソートタブ、１９０７は検査リスト、１９０８の黒枠は検査リストの選択を表し、選択されている検査データを画面に表示する。図１９（ａ）の検査リスト１９０７には、ＳＬＯと断層画像のサムネイルを表示している。しかし、ＯＣＴＡ撮影の場合には、ＯＣＴＡのサムネイルを表示しても良い。ＯＣＴＡのサムネイルを表示する例を図１９（ｂ）に示す。図１９（ｂ）では、検査リスト１９０７にＳＬＯとＯＣＴＡのサムネイルを表示する例を示したが、これに限らない。ＯＣＴＡのサムネイルだけとしても良いし、断層画像とＯＣＴＡのサムネイルとしても良い。本実施形態においては、撮影で取得した検査データと高画質化処理により生成した検査データとを検査リスト１９０７に一覧で表示している。

１９０９はＳＬＯ画像、１９１０は第一のＯＣＴＡ画像、１９１１は第一の断層画像、１９１２は正面画像、１９１３は第二のＯＣＴＡ画像、１９１４は第二の断層画像を表す。１９１５は１９０９のＳＬＯ画像に重畳している画像、１９１６は１９１５の画像の種類を切り替えるタブを表す。１９１７は第一のＯＣＴＡ画像として表示するＯＣＴＡ画像の種類を表す。ＯＣＴＡの種類としては、表層、深層、脈絡膜等や任意の範囲で作成したＯＣＴＡ画像がある。なお、第一のＯＣＴＡ画像１９１０の作成範囲である上端（１９１８、１９２５）と下端（１９１９、１９２６）で、１９１８は上端の境界線の種類とそのオフセット値、１９２５は上端の境界線を断層画像に重畳表示している。１９１９は下端の境界線の種類とそのオフセット値、１９２６は下端の境界線を第一の断層画像に重畳表示している。第二のＯＣＴＡ画像も第一のＯＣＴＡ画像と同様で、上端（１９２３、１９２７）と下端（１９２４、１９２８）を第二の断層画像に重畳表示している。

１９２９はモーションコントラストの高画質生成を実行するボタンを表す。なお、本実施形態においては、１９２９の高画質生成を実行するボタンを押下することで、ステップＳ３０６からステップＳ３１０に示した高画質データ生成処理を実行する。ステップＳ３０６におけるデータ選択のためのデータ候補を表示するためにはこのボタンを押下する。なお、検査リスト１９０７で選択しているデータと、同じ撮影条件で繰り返し撮影したデータを自動的に選択する場合には、データ候補を表示せずに高画質データ生成を実行するようにしてもよい。生成した高画質データは検査リスト１９０７に表示する。

１９３０、１９３１はビューモードのタブを表す。１９３０のタブでは、三次元のモーションコントラストデータから生成した二次元のＯＣＴＡ画像を表示し、１９３１のタブでは、図１８に示したような三次元モーションコントラストデータを表示する。

次に、表示画面１９００において、表示するＯＣＴＡ画像を切り替える例について説明をする。本実施形態では、第二のＯＣＴＡ画像の種類を切り替える例について説明をする。１９２１は第二のＯＣＴＡ画像として表示するＯＣＴＡ画像の種類を切り替えるためのリストを表し、１９２２はそのリストにおける画像の選択状態を表している。

この画像切り替えによるＯＣＴＡ画像の生成について、図２０のフローチャートを用いて説明をする。

＜ステップＳ２００１＞
ステップＳ２００１において、高画質データか否かの判定を行う。高画質データである場合には、ステップＳ２００２に処理を進め、高画質データでない場合には、ステップＳ２００４に処理を進める。

＜ステップＳ２００２＞
ステップＳ２００２において、高画質データ生成処理を二次元データで行ったか、三次元データで行ったかの判定を行う。二次元データでの高画質データ生成の場合、ステップＳ２００３に処理を進め、三次元データでの高画質データ生成の場合、ステップＳ２００４に処理を進める。

＜ステップＳ２００３＞
ステップＳ２００３において、二次元データで高画質データ生成をしている場合、図５のフローチャートで説明した第一の高画質データ生成処理を実行する。それにより、生成範囲上端の境界線と生成範囲下端の境界線で指定された範囲の高画質のＯＣＴＡ画像を生成することが出来る。

＜ステップＳ２００４＞
ステップＳ２００４において、境界線情報の取得を行う。これは、図５のステップＳ３９１と同様である。

＜ステップＳ２００５＞
ステップＳ２００５において、画像生成部３３２がＯＣＴＡ画像を生成する。生成方法は、図５のステップＳ３９２と同様である。三次元の高画質データを生成している場合、ステップＳ２００４で取得した境界線情報に基づいて高画質な三次元モーションコントラストデータ（加算平均された三次元モーションコントラストデータ）から高画質なＯＣＴＡ画像を作成する。なお、三次元の高画質データを生成していない場合、三次元モーションコントラストデータからＯＣＴＡ画像を作成することとしてもよい。

＜ステップＳ２００６＞
ステップＳ２００６において、生成したＯＣＴＡ画像を表示する。なお、本実施形態では、第二のＯＣＴＡ画像の種類を切り替えたため、新しく生成したＯＣＴＡ画像は１９１３に表示する。

なお、リストに表示した画像の種類を選択することでＯＣＴＡ画像を切り替える処理について説明をしたが、これに限らない。操作者が境界線の場所を指定することで表示するＯＣＴＡ画像を切り替えることも出来る。例えば、操作者が上端の境界線１９２３の種類を切り替えたり、オフセット値の数を変更したりすることでＯＣＴＡ画像の更新を行うようにしても良い。

また、画像の種類を切り替えるたびに、ＯＣＴＡ画像を生成する例を示したがこれに限らない。リストに表示しているあらかじめ設定されたＯＣＴＡ画像に関しては、事前に作成をして記憶しておき、その画像を読みだすようにしても良い。

ここで示すように、計算量の少ない二次元の高画質データ生成と、計算量の多い三次元の高画質データ生成処理のどちらを実行したとしても、高画質なＯＣＴＡ画像を表示することが出来る。しかし、二次元の高画質データ生成を行った場合、ＯＣＴＡ画像は高画質な画像を表示するが、１９３１のタブを押下した際に表示する三次元モーションコントラストデータは、図１８（ａ）に示すような加算平均をしていない三次元モーションコントラストデータをボリュームレンダリングして表示する。三次元の高画質データ生成を実行している場合には、ＯＣＴＡ画像と三次元モーションコントラストデータともに、高画質なデータを表示することが出来る。

＜ステップＳ３１２＞
ステップＳ３１２において、不図示の指示取得部は、画像処理システム１００による高画質データ生成処理を終了するか否かの指示を外部から取得する。この指示は、入力部７００を用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理システム１００はその処理を終了する。一方、処理を終了せずに、高画質データ生成処理を続ける、あるいはやり直す場合には、ステップＳ３０６から処理を続行する。以上によって、画像処理システム１００の処理が行われる。

以上で述べた構成によれば、本実施形態では、計算量の少ない高画質データ生成と、計算量の多い高画質データ生成をそれぞれ切り替えて行うことが出来る。それにより、待ち時間を低減したい場合においては、計算量の少ない高画質データ生成を選択することで、必要な個所の高画質データを生成することが出来ると共に、処理負荷を軽くすることが出来る。

［実施例２］
第一の実施形態においては、決定部３０６において決定する高画質データ生成方法により、画像処理部３０３における処理を変更する例について示した。本実施形態においては、処理の変更は行わずに、計算量の少ない二次元の高画質データ生成を行った後に、計算量の多い三次元高画質データ生成を行うことを特徴とする。

上記第一の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。本実施形態の処理について図２１から図２３を用いて説明を行う。図２１は、本実施形態に係る画像処理装置３０２１を備える画像処理システム１０２１の構成を示す図である。画像処理装置３０２１の画像処理部３３２１において、更新部３３２２が第一の実施形態と異なる。更新部３３２２は、二次元の高画質データ生成処理で作成したデータを三次元の高画質データ生成処理で作成したデータに更新をする。次に本実施形態の処理フローについて図２２を用いて説明をする。

図２２は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。なお、ここでは第一の実施形態と異なる処理であるステップＳ２２０８からステップＳ２２１２について説明を行う。その他のステップは第一の実施形態と同じである。

＜ステップＳ２２０８＞
ステップＳ２２０８では、第一の高画質データ生成を行う。第一の高画質データ生成処理として、モーションコントラスト画像の正面画像である高画質なＯＣＴＡ画像を生成する。この処理は、図５で示したフローチャート同様である。

＜ステップＳ２２０９＞
ステップＳ２２０９では、ステップＳ２２０８で作成した高画質なＯＣＴＡ画像を表示する。ここで表示する表示画面の一例は、図１９で示したものと同様である。なお、この時点では、実施形態１において計算量の少ない二次元の高画質データ生成処理を実行した場合と同様の画面表示となる。

＜ステップＳ２２１０＞
ステップＳ２２１０では、第二の高画質データ生成を行う。第二の高画質データ生成処理として、高画質な三次元のモーションコントラストデータを生成する。この処理は、図６で示したフローチャート同様である。第二の高画質データ生成処理は、ステップＳ２２０９において画像表示しているバックグラウンドで処理を実行する。なお、図６では、ステップＳ２２０９で表示をした後にデータ生成処理を行う例を示したがこれに限らない。高画質データ生成処理を先に実行し、バックグラウンドで処理をしている間に、画像表示を行うようにしても良い。すなわち、図６で示したフローチャートにおける位置合わせの完了前にステップＳ２２０９においてステップＳ２２０８で作成した高画質なＯＣＴＡ画像が表示される。

＜ステップＳ２２１１＞
ステップＳ２２１１では、ステップＳ２２１０において第二の高画質データ生成処理が終了した後に、二次元の高画質データ生成処理で作成したデータを三次元の高画質データ生成処理で作成したデータに更新部３３２２が更新をする。具体的には、更新部３３２２は、三次元のモーションコントラストデータを第二の高画質データ生成処理で生成した高画質な三次元のモーションコントラストデータに置き換える処理を実行する。三次元のモーションコントラストデータが更新されることで、ＯＣＴＡ画像も更新する。ＯＣＴＡ画像は、加算平均後の三次元モーションコントラストデータに対して指定された生成範囲上端と生成範囲下端との範囲に対応するモーションコントラストデータを二次元平面上に投影してＯＣＴＡ画像を生成し、そのＯＣＴＡ画像を表示する。

更新部３３２２がデータを更新することに伴い、表示制御部３０５は画面の更新制御を行う。次に、表示制御部３０５による画面表示について、図２３を用いて説明をする。図２３（ａ）は、データが更新されたことを通知するダイアログ２３０１を表示部６００に表示する例を示している。また、図２３（ｂ）は、高画質データ生成を二次元で生成したか三次元で生成したかを示す指標２３０２を画面１９００に表示する例を示している。図２３（ｂ）のような指標２３０２を表示する場合、二次元で生成したことが分かる指標から三次元で生成したことが分かる指標に表示を切り替える。図２３（ａ）、（ｂ）に示すように、操作者がＯＣＴＡ画像を表示している間に、表示しているデータの更新を行う場合には、操作者にデータ更新を示す情報を表示する。なお、データ更新を通知する例として、ダイアログによる表示や指標更新による表示の例を示したがこれに限らない。画面１９００内にメッセージを表示することで示しても良いし、ＯＣＴＡ画像１９１０、１９１３を自動的に切り替えることで更新を示しても良い。あるいは、色を変えることで知らせても良い。色の変更の例としては、ＯＣＴＡ画像１９１０、１９１３の枠の色を第一の高画質データ生成で生成したデータと、第二の高画質データ生成で生成したデータとで別々の色で表示するようにしても良い。あるいは、輝度値の断層像１９１１、１９１４に閾値処理を行ったモーションコントラストデータを重畳表示する際の色を変更しても良い。

データ更新を行うタイミングは第一の高画質データを表示部６００に表示している時とは限らない。そのため、第一の高画質データを表示しているタイミングでデータ更新を行うのではない場合には、データ更新したことを通知するダイアログを表示する必要はない。

＜ステップＳ２２１２＞
ステップＳ２２１２では、不図示の指示取得部は、画像処理システム１０２１による高画質データ生成処理を終了するか否かの指示を外部から取得する。この処理は第一の実施形態ステップＳ３１２と同様である。以上によって、画像処理システム１０２１の処理が行われる。

以上で述べた構成によれば、本実施形態では、計算量の少ない高画質データ生成を先に行いその結果を操作者に表示する。その結果を表示すると共に、計算量の多い高画質データ生成を行い、その結果を操作者に表示する。それにより、計算量の少ない高画質データ生成の結果を確認している間に、計算量の多い高画質データ生成を行うため、操作者の待ち時間を低減することが出来る。

［実施例３］
第一の実施形態、第二の実施形態においては、ステップＳ３０６でデータ選択を行って、高画質データ生成に用いるためのデータ候補を選択した後に、高画質データ生成を行う例を示した。本実施形態では、高画質データ生成に用いるためのデータ候補選択を高画質データ生成後に行う例について図２４と図２５を用いて説明をする。

図２４（ａ）は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。なお、ここでは第一の実施形態と異なる処理であるステップＳ２４１１からステップＳ２４１３について説明を行う。その他のステップは第一の実施形態と同じである。本実施形態では第一の実施形態を基に説明を行うが、これに限らず、第二の実施形態に対しても適用出来るものとする。第二の実施形態に対して適用する場合には、図２２のステップＳ２２０９の表示処理を本実施形態のステップＳ２４１１からＳ２４１３の処理に置き換える。

＜ステップＳ２４１１＞
ステップＳ２４１１では、第一の高画質データ生成、あるいは第二の高画質生成により生成されたデータを表示する。表示する画面の一例としては、例えば図１９に示すような画面を表示する。

＜ステップＳ２４１２＞
ステップＳ２４１２では、図２５に示すようなデータ選択画面２５００を表示して、そこから操作者がデータの選択を行う。データ選択画面２５００を表示するためには、操作者が不図示のユーザーインターフェイスを操作することで表示するようにしても良いし、表示制御部３０５が自動的に表示するようにしても良い。

図２５（ａ）は、ステップＳ３０７からステップＳ３０９、あるいはステップＳ３１０によって生成されたＯＣＴＡ画像と、ＯＣＴＡ画像生成のための選択画面の一例を示している。図２５（ａ）において、２５０１は生成された高画質ＯＣＴＡ画像、２５０２から２５０４は、撮影された複数のＯＣＴＡ画像、２５１０から２５１２の黒枠は、高画質なＯＣＴＡ画像を生成するために用いたＯＣＴＡ画像の選択状態を示す。２５２０と２５２１の黒線はＯＣＴＡ画像内に含まれるアーティファクトの一例を示す。

ステップＳ３０７からステップＳ３０９、あるいはステップＳ３１０において、画像処理部３０３はアーティファクトを特定して除去をしている。しかし、アーティファクトによっては、除去しきれずにわずかに残ってしまう場合がある。その場合に、操作者は高画質なＯＣＴＡ画像を確認しながら、合成処理を行うＯＣＴＡ画像の選択をする。画像選択した場合の例について、図２５（ｂ）に示す。図２５（ｂ）では、アーティファクト２５２１のあるＯＣＴＡ画像２５０２の選択を解除した場合の例を示している。ＯＣＴＡ画像の選択あるいは、非選択とすることで画像更新を行う。次に、ＯＣＴＡ画像選択によって実行する画像更新処理について図２４（ｂ）のフローチャートを用いて説明をする。

＜ステップＳ２４１３１＞
ステップＳ２４１３１において、高画質データ生成処理を二次元データで行ったか、三次元データで行ったかの判定を行う。二次元データでの高画質データ生成の場合、ステップＳ２４１３２に処理を進め、三次元データでの高画質データ生成の場合、ステップＳ２４１３４に処理を進める。

＜ステップＳ２４１３２＞
ステップＳ２４１３２において、二次元での位置合わせパラメータを適用したＯＣＴＡ画像を取得する。

＜ステップＳ２４１３３＞
ステップＳ２４１３３において、データ選択画面で選択されたＯＣＴＡ画像を用いて高画質データ生成を行う。高画質データ生成の方法としては、選択されたＯＣＴＡ画像を用いて加算平均を計算して高画質データ生成をしても良い。あるいは、事前に位置合わせパラメータを適用した全てのＯＣＴＡ画像を用いて加算ＯＣＴＡ画像を作成しておき、データ選択で非選択とされたＯＣＴＡ画像をその加算ＯＣＴＡ画像から減算した後に、平均計算をして高画質データ生成をしても良い。

次に、三次元データでの高画質データ生成の場合について説明を行う。

＜ステップＳ２４１３４＞
ステップＳ２４１３４の場合、三次元での位置合わせパラメータを適用したモーションコントラストデータを取得する。

＜ステップＳ２４１３５＞
ステップＳ２４１３５において、データ選択画面で選択されたＯＣＴＡ画像に対応する三次元モーションコントラストデータを用いて高画質データ生成を行う。高画質データ生成の方法としては、選択されたモーションコントラストデータを用いて加算平均を計算して高画質データ生成をしても良い。あるいは、事前に位置合わせパラメータを適用した全てのモーションコントラストデータを用いて加算モーションコントラストデータを作成しておき、データ選択で非選択とされたモーションコントラストデータをその加算モーションコントラストデータから減算した後に、平均計算をして高画質データ生成をしても良い。

高画質な三次元モーションコントラストデータを作成した後で、三次元モーションコントラストデータに対して生成範囲上端と生成範囲下端との範囲に対応するモーションコントラストデータを二次元平面上に投影し、ＯＣＴＡ画像を生成する。

＜ステップＳ２４１３６＞
ステップＳ２４１３６において、ステップＳ２４１３３、あるいはステップＳ２４１３５での高画質データ生成処理において生成されたＯＣＴＡ画像をデータ選択画面２５００に表示する。これらの処理を実行することにより、図２５（ｂ）において、高画質ＯＣＴＡ画像２５０６からアーティファクトが除去される。

以上で述べた構成によれば、本実施形態では、高画質なＯＣＴＡ画像を確認しながら操作者がデータ選択を行うことが出来る。そして、高画質なＯＣＴＡ画像生成にあたり、事前に計算してある位置合わせパラメータを用いて画像生成を行うため、データ選択、データ非選択の実行に対して、少ない計算量で画像を作成することが出来る。そのため、操作者の待ち時間を低減することが出来る。

［実施例４］
第一の実施形態から第三の実施形態においては、高画質データ生成処理の実行をＮ回の撮影処理終了後に行う例について説明をしたが、これに限らない。例えば、撮影処理と同時に重ね合わせ処理を実行しても良い。この例について、図２６と図２７を用いて説明をする。

図２６は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。なお、ここでは第一の実施形態と異なる処理であるステップＳ２６１１からステップＳ２６１４について説明を行う。その他のステップは第一の実施形態と同じである。本実施形態では第一の実施形態を基に説明を行うが、これに限らず、第二の実施形態、第三の実施形態に対しても適用出来るものとする。

＜ステップＳ２６１１＞
ステップＳ２６１１において、撮影後に確認画面表示を行う。この確認画面の表示の一例を図２７に示す。図２７において、２７０５は左右眼表示、２７０６は撮影モード、２７０７は患者情報を表す。２７０８はＳＬＯ画像、２７０９はＯＣＴＡ画像、２７１０〜２７１２は断層画像、２７１３は撮影範囲、２７１４は繰り返し撮影を実行する繰り返しボタン、２７１５はＯＫボタン、２７１６はＮＧボタンを表す。確認画面２７００において、高画質データ生成処理によって生成したＯＣＴＡ画像を２７０９に示している。なお、繰り返し回数Ｎが１の場合には、ＯＣＴＡ画像２７０９は高画質化処理を行っていない画像となる。

＜ステップＳ２６１２＞
ステップＳ２６１２においては、繰り返し撮影終了か否かの判定を行う。操作者によって繰り返しボタン２７１４が押下された場合には、ステップＳ３０２の撮影から処理を行う。ＯＫボタン２７１５あるいは、ＮＧボタン２７１６が押下された場合には、繰り返し撮影処理を終了する。そして、レポートタブ１９０３を押下してステップＳ２６１３に処理を進める。

＜ステップＳ２６１３＞
ステップＳ２６１３においては、ステップＳ３０７からステップＳ３０９、あるいはステップＳ３１０で作成した高画質なＯＣＴＡ画像を表示する。表示画面の一例について図２８に示す。図２８は、図１９で示したものと同様にレポート画面における表示である。図２８では、検査リスト２８０１の検査表示が異なる。図１９では、撮影した検査データと高画質化処理により生成した検査データとを検査リスト１９０７に一覧表示する例を示したが、本実施形態では、高画質化処理による検査データを主に表示する例について示す。図２８（ａ）では、検査リスト２８０１と、検査リストでの検査データの選択２８０２を示している。図２８（ａ）では、検査リスト２８０１には、高画質化処理により生成された検査データを表示しており、高画質化処理に用いた基の検査データは表示しない例を示している。これにより、リストに表示する検査データの数が少なくなるため、所望のデータが見つけやすくなる。

図２８（ｂ）の例では、サブ階層の検査リスト２８０３と高画質化処理に用いた複数の検査データ２８０４とを示している。操作者は、サブ階層の検査リストの表示と非表示を切り替えることが出来る。そのため、通常は非表示にしておくことで、図２８（ａ）のように、所望データのみを表示することが出来る。そして、必要に応じて表示させることで、高画質データの基となるデータの確認も個別に行うことが出来る。

なお、本実施形態で示した検査リストの表示は、実施形態１から実施形態３におけるレポート表示においても適用することが出来る。

＜ステップＳ２６１４＞
ステップＳ２６１４においては、不図示の指示取得部は、画像処理システム１００による断層画像の撮影を終了するか否かの指示を外部から取得する。この指示は、入力部７００を用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理システム１００はその処理を終了する。一方、処理を終了せずに、異なるスキャンパターンや、左右眼を切り替えて撮影を続ける場合には、撮影タブ１９０２を押下することでステップＳ３０２に処理を戻して撮影を続行する。以上によって、画像処理システム１００の処理が行われる。

以上で述べた構成によれば、本実施形態では、高画質なＯＣＴＡ画像を確認しながら操作者が撮影を続けるか否かを判断することが出来る。撮影が終わる度に画像の判断が出来るため、必要な画質の画像が得られた時点で繰り返し撮影を終了する判断が出来る。また、重ね合わせ処理においては、撮影の度に実行するため、１回あたりの重ね合わせ処理にかかる計算量は少なくなる。そのため、画像表示にかかる待ち時間を低減することが出来る。

（変形例１）
本実施形態では、繰り返しＮ回撮影するデータは、同じ撮影範囲を同じスキャンパターンで撮影する例を説明したが、これに限らない。例えば、３ｍｍ×３ｍｍの範囲を３００×３００（主走査×副走査）で撮影したデータと、３ｍｍ×３ｍｍの範囲を６００×６００で撮影したデータとを位置合わせするようにしても良い。この時の深度方向のサイズはどちらのデータにおいても共通で、例えば１０００とする。その場合には、１ボクセルあたりの物理サイズを揃えるデータ変換処理を行った後に、上述した位置合わせ処理を実行する。なお、この例では、３００×３００のデータを補間処理によって６００×６００に拡大してから処理をするようにしても良いし、６００×６００のデータを補間処理によって３００×３００に縮小してから処理をするようにしても良い。また、３ｍｍ×３ｍｍの範囲を３００×３００で撮影したデータと、６ｍｍ×６ｍｍの範囲を６００×６００で撮影したデータとを位置合わせする場合には、１ボクセルあたりの物理サイズは同じであるため、このままのサイズ同士で位置合わせを行う。これにより、異なる撮影範囲や異なるスキャン密度で撮影したデータ同士も加算平均することが出来る。

（変形例２）
本実施形態では、基準画像選択において、画像評価値、位置合わせパラメータ評価値、アーティファクト領域評価値を用いて選択を行う例を説明したが、これに限らない。例えば、さらに層検出の評価値を用いて基準画像選択をしても良い。

層検出の評価値は、検出部３３３が層検出する際に算出する。層検出時にＡスキャン毎に断層像の輝度値を参照するが、検出時の断層像の輝度値の情報を基に、Ａスキャン毎に検出精度の信頼度を設定して判定するようにしても良い。例えば、断層像の輝度値が低い場合などは、まばたき等があり、正しく網膜を検出できていない可能性があるため、検出の信頼度が低くなるように定義する。あるいは、輝度値だけではなく境界線の位置に基づいて定義しても良い。例えば、境界線の位置がＺ方向において上端や下端に接している場合には、正しく層を検出できない可能性があるため検出の信頼度が低くなる。

上記のような層検出の信頼度を用いて、閾値以上の層検出領域を評価する。層検出領域の評価値は、数７のアーティファクト領域評価値と同様の方法で評価することが出来る。例えば、数７において、Ｔ（ｘ，ｙ）のアーティファクトではない領域を、閾値以上の層検出領域と置き換えればよい。これにより、断層データの深さ情報も用いるため、基準画像として、より確からしいデータを選択することが出来る。

（変形例３）
本実施形態では、データ内でのＺ方向位置合わせにおいて、最初の基準データをデータの中心としたがこれに限らない。例えば、画像中心付近において境界線Ｌ１の層検出の信頼度が高い場所を基準として始めるようにしてもよい。層検出の信頼度は、変形例２で示したように、画像の明るさや検出した層境界のＺ方向位置によって定義される。これにより、信頼度の高い箇所を基にして位置合わせを開始するため、位置合わせのエラーを低減することが期待できる。

（変形例４）
本実施形態において、三次元のモーションコントラストデータと三次元の断層像の両方を三次元的に形状変形し、加算平均する例を示したが、これに限らない。モーションコントラストデータだけを変形させても良い。その場合、第四の位置合わせ部３３８は、本実施形態においては断層像を用いて位置合わせを行っているが、モーションコントラストデータを用いて位置合わせを行う。また、画像合成部３３９による加算平均処理も三次元のモーションコントラストデータのみ行う。モーションコントラストデータのみを高画質にすれば良い場合は、モーションコントラストデータのみを形状変形させるため、処理負荷を軽減することが出来る。

（変形例５）
本実施形態において、ステップＳ３７３４においてＯＣＴＡ画像をｘｙ面内で拡大して位置合わせを行い、ステップＳ３１０１５において、ｘｙ面内の移動パラメータを元のサイズに相当する移動パラメータに変換した。そして、元のサイズで３次元データの形状変形を行う例を示したが、これに限らない。例えば、３次元データそのものを拡大して位置合わせを行い、そのままの状態で出力をするようにしても良い。具体的には、三次元データのサイズが３００×３００×１０００（主走査×副走査×深度）のような数値だとする。これを６００×６００×１０００に拡大して位置合わせと加算平均を行い、そのままのサイズでデータ出力を行っても良い。あるいは、６００×６００×１０００に拡大して位置合わせと加算平均を行った後、最後に３００×３００×１０００のサイズに戻して出力するようにしても良い。これにより、出力される３次元の加算平均後のデータは、より高画質になることが期待される。

（変形例６）
本実施形態において、第三の位置合わせ部３３７は、Ｚ方向に移動させたデータをステップＳ３１０４において、入力時のＺ位置に戻す処理を行ったが、これに限らない。例えば、入力時のＺ位置に戻さずに第三の位置合わせ部３３７で行ったＺ位置合わせの結果のまま出力するようにしても良い。これにより、Ｚ方向に関する深さと傾きの位置合わせが済んだデータを表示することが出来る。なお、この場合には、ステップＳ３１０１１の基準データ記憶の処理を行う必要がない。その代わり、Ｚ方向にデータ全体を変形させているため、検出部３３３が検出した層境界のＺ方向位置をステップＳ３１０１３で記憶している移動量に基づいて補正する。

（変形例７）
本実施形態において、撮影から表示までを一連の流れで示したがこれに限らない。例えば、既に撮影が済んでいるデータを用いて高画質画像生成処理を行ってもよい。その場合、撮影に関する処理をスキップし、その代わりに撮影済みの複数の三次元のモーションコントラストデータと三次元の断層像を取得する。そして、高画質画像生成処理を行う。これにより、複数回撮影を行ったデータに関して、撮影時に処理をしなくても、必要な時に高画質化処理を実行することが出来る。そのため、撮影時には撮影だけに集中することが出来る。

（その他の実施形態）
上記のそれぞれの実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。画像処理装置のＣＰＵは、ＲＡＭやＲＯＭに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。また、ボタンなどのユーザーインターフェイスや表示のレイアウトは上記で示したものに限定されるものではない。

１００ 画像処理システム
２００ 断層画像撮影装置
３００ 画像処理装置
３０１ 画像取得部
３０３ 画像処理部
３０５ 表示制御部
３０６ 決定部
３１１ 断層画像生成部
３１２ モーションコントラストデータ生成部
３３１ 前処理部
３３２ 画像生成部
３３３ 検出部
３３４ 第一の位置合わせ部
３３５ 選択部
３３６ 第二の位置合わせ部
３３７ 第三の位置合わせ部
３３８ 第四の位置合わせ部
３３９ 画像合成部
３３２２ 更新部
４００ 眼底画像撮影装置
５００ 外部記憶部
６００ 表示部
７００ 入力部

Claims (10)

1. 第１の画像位置合わせ処理に基づいて被検眼の複数の画像の合成画像を生成する第１モードと、前記第１の画像位置合わせ処理よりも処理量の多い第２の画像位置合わせ処理に基づいて前記被検眼の複数の画像の合成画像を生成する第２モードとを有する画像処理装置。
2. 前記第１の画像位置合わせ処理は２次元における位置合わせであり、前記第２の画像位置合わせ処理は２次元における位置合わせおよび３次元における位置合わせを含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１モードで生成された合成画像を表示部に表示した後に、前記第２モードで生成された合成画像に基づく画像を前記表示部に表示させる表示制御手段を備える請求項１または請求項２に記載の画像処理装置。
4. 前記表示制御手段は、前記第１モードで生成された合成画像を前記第２モードで生成された合成画像に基づく画像に置き換えることを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の画像位置合わせ処理の２次元における位置合わせは、前記第２の画像位置合わせ処理の２次元における位置合わせであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第１モードおよび前記第２モードで生成された合成画像はモーションコントラスト画像であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第１モードで生成された合成画像は２次元のモーションコントラスト画像であり、前記第２モードで生成された合成画像は３次元のモーションコントラスト画像であることを特徴とする請求項６に記載の画像処理装置。
8. 前記第１モードで生成された合成画像および前記第２モードで生成された合成画像に基づく画像は２次元のモーションコントラスト画像であることを特徴とする請求項３または請求項４に記載の画像処理装置。
9. 第１の画像位置合わせ処理に基づいて被検眼の複数の画像の合成画像を生成する第１モードを実行する工程と、
   前記第１モードで生成された合成画像を表示する工程と、
   前記第１の画像位置合わせ処理よりも処理量の多い第２の画像位置合わせ処理に基づいて前記被検眼の複数の画像の合成画像を生成する第２モードを実行する工程と、
   前記第１モードで生成された合成画像を表示した後に、前記第２モードで生成された合成画像に基づく画像を前記表示部に表示する工程と、を備える画像処理方法。
10. 第１の画像位置合わせ処理に基づいて被検眼の複数の画像の合成画像を生成する第１モードと、前記第１の画像位置合わせ処理よりも処理量の多い第２の画像位置合わせ処理に基づいて前記被検眼の複数の画像の合成画像を生成する第２モードとをコンピュータに実行させることを特徴とするプログラム。