JP2019208845A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】血管等の深さ方向における位置関係等を観察可能な正面画像を提供する。【解決手段】被検体の三次元のモーションコントラストデータの少なくとも一部を用いてモーションコントラスト正面画像である第１の正面画像を生成し、三次元のモーションコントラストデータの少なくとも一部を用いて、第１の正面画像とは異なる第２の正面画像であって、被検体の深さ方向の位置を識別可能な第２の正面画像を生成する生成部と、第１の正面画像と第２の正面画像との少なくとも１つを表示部に表示させる表示制御部とを備える、画像処理装置。【選択図】図７Ｂ

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

光干渉断層撮像法（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を用いた装置（ＯＣＴ装置）などの眼部の断層画像撮影装置は、網膜層内部の状態を三次元的に観察することが可能である。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。

ＯＣＴの形態として、例えば、高速に画像を取得する方法としては、広帯域光源を用い、分光器でインターフェログラムを取得する手法によるＳＤ−ＯＣＴ（Ｓｐｅｃｔｒａｌ ｄｏｍａｉｎ ＯＣＴ）が知られている。また、光源として高速波長掃引光源を用い、単一チャネル光検出器でスペクトル干渉を計測する手法によるＳＳ−ＯＣＴ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）が知られている。

そして、近年では、造影剤を用いない血管造影法としてＯＣＴを用いた血管造影法（ＯＣＴＡ：ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ）が提案されている。ＯＣＴＡでは、ＯＣＴにより取得した三次元のモーションコントラストデータを二次元平面に投影又は積算することで、血管画像（以下、ＯＣＴＡ画像という。）を生成する。ここで、モーションコントラストデータとは、測定対象の同一断面をＯＣＴで繰り返し撮影し、その撮影間における測定対象の時間的な変化を検出したデータである。モーションコントラストデータは、例えば、複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得られる。

特開２０１６−２０９１９８号公報

特許文献１に開示される技術では、ＯＣＴにより取得した三次元のモーションコントラストデータを投影又は積算することにより、モーションコントラストの正面画像（ＯＣＴＡ画像）を生成する。ここで、正面画像とは、被検体の深さ方向に交差する方向の二次元平面の画像である。しかしながら、このような正面画像の生成方法では、各画素値は選択範囲内におけるモーションコントラストデータの値を投影又は積算することにより求められるため、モーションコントラストデータの深さ方向の位置関係は考慮されていない。そのため、それらの画像を観察すると、血管交差部における血管交差の深度方向における上下関係の状態が把握できないことがある。

そこで、本発明は、血管等の深さ方向における位置関係等を観察可能な正面画像を提供することができる画像処理装置、画像処理方法及びプログラムを提供する。

本発明の一実施態様による画像処理装置は、被検体の三次元のモーションコントラストデータの少なくとも一部を用いてモーションコントラスト正面画像である第１の正面画像を生成し、前記三次元のモーションコントラストデータの少なくとも一部を用いて、前記第１の正面画像とは異なる第２の正面画像であって、前記被検体の深さ方向の位置を識別可能な前記第２の正面画像を生成する生成部と、前記第１の正面画像と前記第２の正面画像との少なくとも１つを表示部に表示させる表示制御部とを備える。

本発明の他の実施態様による画像処理方法は、被検体の三次元のモーションコントラストデータの少なくとも一部を用いてモーションコントラスト正面画像である第１の正面画像を生成する工程と、前記三次元のモーションコントラストデータの少なくとも一部を用いて、前記第１の正面画像とは異なる第２の正面画像であって、前記被検体の深さ方向の位置を識別可能な前記第２の正面画像を生成する工程と、前記第１の正面画像と前記第２の正面画像との少なくとも１つを表示部に表示させる工程とを含む。

本発明によれば、血管等の深さ方向における位置関係等を観察可能な正面画像を提供することができる。

実施例１に係る画像処理システムの概略的な構成を示す。 眼部の構造と断層画像と眼底画像を説明するための図である。 実施例１に係る一連の画像処理のフローチャートである。 モーションコントラストデータを説明するための図である。 高画質化処理の効果を説明するための図である。 高画質化処理の効果を説明するための図である。 レンダリング画像について説明するための図である。 レンダリング画像について説明するための図である。 実施例１に係る表示画面の一例を示す。 実施例２に係るレンダリング画像を説明するための図である。 実施例２に係る表示画面の一例を示す。 実施例２に係る表示画面の一例を示す。 実施例３に係る表示画面の一例を示す。 実施例３に係る表示画面の一例を示す。 実施例３に係る表示画面の一例を示す。 実施例４に係る表示画面の一例を示す。 実施例５による画像処理システムの概略的な構成を示す。 実施例５に係る色相画像生成処理を説明するための図である。 変形例４に係る高画質データ生成処理のフローチャートである。

以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。

なお、以下、被検体として人眼である被検眼を例に説明するが、被検体は皮膚や臓器等でもあってもよい。この場合、内視鏡等の医療機器から取得した画像に本開示による画像処理方法を適用することができる。また、断層データとは、被検体の断層に関する情報を含むデータであり、ＯＣＴによる干渉信号に基づくデータ、及びこれに高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）や任意の信号処理を行ったデータを含むものをいう。

（実施例１）
以下、図１乃至図８を参照しながら、本発明の実施例１に係る画像処理装置を備える画像処理システム、特に眼部の断層画像を用いた画像処理システムについて説明する。

図１は、本実施例に係る画像処理装置２０を備える画像処理システム１の概略的な構成を示す。図１に示すように、画像処理システム１には、断層画像撮影装置の一例であるＯＣＴ装置１０、画像処理装置２０、眼底画像撮影装置３０、外部記憶装置４０、表示部５０、及び入力部６０が設けられている。

ＯＣＴ装置１０は、被検眼の断層画像を撮影するための装置である断層画像撮影装置の一例である。ＯＣＴ装置としては、任意の種類のＯＣＴ装置を用いることができ、例えばＳＤ−ＯＣＴやＳＳ−ＯＣＴを用いることができる。

画像処理装置２０は、インタフェースを介してＯＣＴ装置１０、眼底画像撮影装置３０、外部記憶装置４０、表示部５０、及び入力部６０と接続されており、これらを制御することができる。画像処理装置２０は、ＯＣＴ装置１０、眼底画像撮影装置３０、及び外部記憶装置４０から取得する各種信号に基づいて、被検眼の断層画像、ＯＣＴＡ画像、レンダリング画像、輝度情報に基づくＥｎ−Ｆａｃｅ画像、及び眼底画像等を生成することができる。また、画像処理装置２０は、これら画像について画像処理を施すことができる。なお、画像処理装置２０は、汎用のコンピュータによって構成されてもよいし、画像処理システム１専用のコンピュータによって構成されてもよい。

眼底画像撮影装置３０は、被検眼の眼底画像を撮影するための装置であり、当該装置としては、例えば、眼底カメラやＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｏｔｈａｌｍｏｓｃｏｐｅ）等を用いることができる。なお、ＯＣＴ装置１０と眼底画像撮影装置３０の装置構成は、一体型でもよいし別体型でもよい。

外部記憶装置４０は、被検眼に関する情報（患者の氏名、年齢、性別等）と、撮影した各種画像データ、撮影パラメータ、画像解析パラメータ、及び操作者によって設定されたパラメータをそれぞれ関連付けて保持している。外部記憶装置４０は、任意の記憶装置によって構成されてよく、例えば、光学ディスクやメモリ等の記憶媒体によって構成されてよい。

表示部５０は、任意のディスプレイによって構成され、画像処理装置２０による制御に従い、被検眼に関する情報や各種画像を表示することができる。

入力部６０は、例えば、マウス、キーボード、又はタッチ操作画面などであり、ユーザは、入力部６０を介して、画像処理装置２０やＯＣＴ装置１０、眼底画像撮影装置３０への指示を画像処理装置２０に入力することができる。なお、入力部６０をタッチ操作画面とする場合には、入力部６０を表示部５０と一体として構成することができる。

なお、これら構成要素は、図１では別体として示されているが、これら構成要素の一部又は全部を一体として構成してもよい。

次にＯＣＴ装置１０について説明する。ＯＣＴ装置１０には、光源１１、ガルバノミラー１２、フォーカスレンズステージ１３、コヒーレンスゲートステージ１４、ディテクタ１５、及び内部固視灯１６が設けられている。なお、ＯＣＴ装置１０は既知の装置であるため詳細な説明は省略し、ここでは、画像処理装置２０からの指示により行われる断層画像の撮影について説明を行う。

画像処理装置２０から撮影の指示が伝えられると、光源１１が光を出射する。光源１１からの光は不図示の分割部を用いて測定光と参照光に分割される。ＯＣＴ装置１０では、測定光を被検体（被検眼）に照射し、被検体からの戻り光と、参照光との干渉光を検出することで、被検体の断層情報を含む干渉信号を生成することができる。

ガルバノミラー１２は、測定光を被検眼の眼底において走査するために用いられ、ガルバノミラー１２による測定光の走査範囲により、ＯＣＴ撮影による眼底の撮影範囲を規定することができる。画像処理装置２０は、ガルバノミラー１２の駆動範囲及び速度を制御することで、眼底における平面方向の撮影範囲及び走査線数（平面方向の走査速度）を規定することができる。図１では、説明を簡略化するため、ガルバノミラー１２を１つのユニットとして示したが、ガルバノミラー１２は、実際にはＸスキャン用のミラーとＹスキャン用の２枚のミラーで構成され、眼底上における所望の範囲を測定光で走査できる。なお、測定光を走査するための走査部の構成はガルバノミラーに限られず、他の任意の偏向ミラーを用いることができる。また、走査部として、例えば、ＭＥＭＳミラーなどの１枚で二次元方向に測定光を走査することができる偏向ミラーを用いてもよい。

フォーカスレンズステージ１３には不図示のフォーカスレンズが設けられている。フォーカスレンズステージ１３を移動させることで、フォーカスレンズを測定光の光軸に沿って移動させることができる。このため、フォーカスレンズによって、被検眼の前眼部を介し、眼底の網膜層に測定光をフォーカスすることができる。眼底を照射した測定光は各網膜層で反射・散乱して戻り光として、光路を戻る。

コヒーレンスゲートステージ１４は、被検眼の眼軸長の相違等に対応するため、参照光又は測定光の光路の長さを調整するために用いられる。本実施例では、コヒーレンスゲートステージ１４は、ミラーが設けられたステージによって構成され、参照光の光路において光軸方向に移動することで参照光の光路長を測定光の光路長に対応させることができる。ここで、コヒーレンスゲートは、ＯＣＴにおける測定光と参照光の光学距離が等しい位置を表す。コヒーレンスゲートステージ１４は、画像処理装置２０により制御されることができる。画像処理装置２０は、コヒーレンスゲートステージ１４によりコヒーレンスゲートの位置を制御することによって、被検眼の深さ方向の撮影範囲を制御することができ、網膜層側の撮影、又は網膜層より深部側の撮影等を制御することができる。

ディテクタ１５は、不図示の干渉部において生じた、被検眼からの測定光の戻り光と参照光との干渉光を検出し、干渉信号を生成する。画像処理装置２０は、ディテクタ１５からの干渉信号を取得し、干渉信号に対してフーリエ変換等を行うことで被検眼の断層画像を生成することができる。

内部固視灯１６には、表示部１６１、レンズ１６２が設けられている。本実施例では、表示部１６１の一例として複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、画像処理装置２０の制御により撮影したい部位に応じて変更される。表示部１６１からの光は、レンズ１６２を介し、被検眼に導かれる。表示部１６１から出射される光は、例えば５２０ｎｍの波長を有し、画像処理装置２０による制御により所望のパターンで表示される。

なお、ＯＣＴ装置１０には、画像処理装置２０による制御に基づいて、各構成要素の駆動を制御するＯＣＴ装置１０用の駆動制御部が設けられてもよい。

次に、図２（ａ）乃至図２（ｃ）を参照して、画像処理システム１で取得する眼の構造と画像について説明する。図２（ａ）は眼球の模式図である。図２（ａ）には、角膜Ｃ、水晶体ＣＬ、硝子体Ｖ、黄斑部Ｍ（黄斑の中心部は中心窩を表す）、及び視神経乳頭部Ｄが表されている。本実施例では、主に、硝子体Ｖ、黄斑部Ｍ、視神経乳頭部Ｄを含む網膜の後極部を撮影する場合について説明を行う。なお、以下では説明をしないが、ＯＣＴ装置１０は、角膜や水晶体等の前眼部を撮影することも可能である。

図２（ｂ）は、ＯＣＴ装置１０を用いて網膜を撮影することで取得した断層画像の一例を示す。図２（ｂ）において、ＡＳは一回のＡスキャンにより取得される画像単位を示す。ここで、Ａスキャンとは、ＯＣＴ装置１０の上記一連の動作により、被検眼の一点における深さ方向の断層情報を取得することをいう。また、Ａスキャンを任意の横断方向（主走査方向）において複数回行うことで被検眼の当該横断方向と深さ方向の二次元の断層情報を取得することをＢスキャンという。Ａスキャンによって取得されたＡスキャン画像を複数集めることで、１つのＢスキャン画像を構成することができる。以下、このＢスキャン画像のことを、断層画像と呼ぶ。

図２（ｂ）には、血管Ｖｅ、硝子体Ｖ、黄斑部Ｍ、視神経乳頭部Ｄが表されている。また、境界線Ｌ１は内境界膜（ＩＬＭ）と神経線維層（ＮＦＬ）との境界、境界線Ｌ２は神経線維層と神経節細胞層（ＧＣＬ）との境界、境界線Ｌ３は視細胞内節外節接合部（ＩＳＯＳ）を表す。さらに、境界線Ｌ４は網膜色素上皮層（ＲＰＥ）、境界線Ｌ５はブルッフ膜（ＢＭ）、境界線Ｌ６は脈絡膜を表す。断層画像において、横軸（ＯＣＴの主走査方向）をｘ軸とし、縦軸（深さ方向）をｚ軸とする。

図２（ｃ）は、眼底画像撮影装置３０を用いて被検眼の眼底を撮影することで取得した眼底画像の一例を示す。図２（ｃ）には、黄斑部Ｍ、視神経乳頭部Ｄが表されており、網膜の血管が太い曲線で表されている。眼底画像において、横軸（ＯＣＴの主走査方向）をｘ軸とし、縦軸（ＯＣＴの副走査方向）をｙ軸とする。

次に、画像処理装置２０について説明する。画像処理装置２０には、取得部２１、画像処理部２２、駆動制御部２３、記憶部２４、及び表示制御部２５が設けられている。

取得部２１は、ＯＣＴ装置１０から被検眼の干渉信号のデータを取得することができる。なお、取得部２１が取得する干渉信号のデータは、アナログ信号でもデジタル信号でもよい。取得部２１がアナログ信号を取得する場合には、画像処理装置２０でアナログ信号をデジタル信号に変換することができる。また、取得部２１は、画像処理部２２で生成された断層データ、モーションコントラストデータ、断層画像、眼底画像、ＯＣＴＡ画像、レンダリング画像、及びＥｎ−Ｆａｃｅ画像を取得することができる。さらに、取得部２１は、眼底画像撮影装置３０で取得した眼底情報を含むデータ等を取得することができる。また、取得部２１は、被検者識別番号等の被検眼を同定するための情報を入力部６０等から取得することができる。取得部２１は、取得した各種データや画像を記憶部２４に記憶させることができる。

画像処理部２２は、取得部２１で取得されたデータや記憶部２４に記憶されたデータから、各種画像を生成し、生成した画像に画像処理を施すことができる。画像処理部２２には、断層画像生成部２２１、モーションコントラストデータ生成部２２２、正面画像生成部２２３、検出部２２４、高画質データ生成部２２５、及びレンダリング部２２６が設けられている。

断層画像生成部２２１は、取得部２１で取得された干渉信号に対してフーリエ変換等の処理を施して断層データを生成し、断層データに基づいて断層画像を生成することができる。なお、断層画像の生成方法としては既知の任意の方法を採用してよく、詳細な説明は省略する。

モーションコントラストデータ生成部２２２は、断層画像生成部２２１で生成した断層データに基づいて、モーションコントラストデータを生成する。なお、モーションコントラストデータの生成方法としては、既知の任意の方法を用いてよい。例えば、所定の時間間隔の間に取得された干渉信号に基づく２枚の断層画像の互いに対応する画素における画素値の脱相関値や分散値、最大値を最小値で割った値（最大値／最小値）をモーションコントラストデータとして求めることができる。本実施例では、モーションコントラストデータ生成部２２２は、２枚の断層画像に対応する断層データ同士の脱相関値に基づいてモーションコントラストデータを生成する。

正面画像生成部２２３は、モーションコントラストデータ生成部２２２で生成した三次元のモーションコントラストデータから二次元のモーションコントラスト正面画像（ＯＣＴＡ画像）を生成することができる。また、正面画像生成部２２３は、高画質化された三次元のモーションコントラストデータから二次元のモーションコントラスト正面画像を生成することもできる。さらに、正面画像生成部２２３は、取得部２１で取得された干渉信号に基づく三次元の断層データや高画質化された三次元の断層データから二次元の断層正面画像（輝度のＥｎ−Ｆａｃｅ画像）を生成することができる。

検出部２２４は、取得部２１で取得した断層データに基づいて被検眼の網膜の各層の境界線を検出することができる。高画質データ生成部２２５は、三次元のモーションコントラストデータ同士を位置合わせし、加算平均（合成）することで、高画質な三次元のモーションコントラストデータを生成することができる。また、高画質データ生成部２２５は、三次元の断層データ同士を位置合わせし、加算平均することで、高画質な三次元の断層データを生成することもできる。ここで、高画質なデータとは一度の撮影と比較してＳ／Ｎ比が向上しているデータ、又は検査・診断に必要な情報量が増えているデータをいう。

レンダリング部２２６は、高画質な三次元の断層データや、高画質な三次元のモーションコントラストデータに対してボリュームレンダリングを行い、レンダリング画像を生成することができる。レンダリング部２２６には、視点決定部２６１及び範囲選択部２６２が設けられている。レンダリング部２２６は、視点決定部２６１によって決定された視点位置と、範囲選択部２６２によって選択されたデータ範囲に基づいて三次元のデータをボリュームレンダリングする。なお、レンダリング部２２６は、取得部２１によって取得された三次元の断層データや三次元のモーションコントラストデータに対してボリュームレンダリングを行ってもよい。

視点決定部２６１は、予め記憶された所定の視点位置又はユーザによって指定された視点位置に基づいて、ボリュームレンダリングを行う際の視点位置を決定する。なお、以下において、視点位置を単に視点ともいう。

範囲選択部２６２は、所定のデータ範囲、又はユーザによって指定されたデータ範囲に基づいて、ボリュームレンダリングを行う際に用いるデータの範囲を選択する。また、範囲選択部２６２は、ＯＣＴＡ画像を生成する際に用いる深さ範囲（生成範囲）の上端及び下端に基づいて、ボリュームレンダリングを行う三次元モーションコントラストデータのデータ範囲を選択することもできる。例えば、ＯＣＴＡ画像の生成範囲の上端としてＩＬＭ／ＮＦＬ境界線、下端としてＧＣＬ／ＩＰＬ境界線が設定されている場合、範囲選択部２６２はこれらの境界線の間に含まれる三次元のデータ範囲を選択することができる。

駆動制御部２３は、画像処理装置２０に接続されている、ＯＣＴ装置１０や眼底画像撮影装置３０の各構成要素の駆動を制御することができる。記憶部２４は、取得部２１で取得された断層データ、及び画像処理部２２で生成・処理された各種画像やデータ等を記憶することができる。また、記憶部２４は、プロセッサーによって実行されることで画像処理装置２０の各構成要素の機能を果たすためのプログラム等を記憶することもできる。

表示制御部２５は、取得部２１で取得された各種情報や画像処理部２２で生成・処理された各種画像、及びユーザによって入力された情報等の表示部５０における表示を制御することができる。

画像処理装置２０の記憶部２４以外の各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。記憶部２４は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。

次に、本実施例に係る画像処理方法について説明する。本実施例に係る画像処理方法では、三次元のモーションコントラストデータをＸＹ面方向に対して正面視の視点に基づいてボリュームレンダリングしたレンダリング画像をＯＣＴＡ画像と比較しやすい状態で表示する。ここで、正面視の視点とは、厳密に正面から見た視点に限られず、正面から僅かに角度を有した視点を含むものをいう。このようなレンダリング画像を、ＯＣＴＡ画像と比較しやすい状態で表示することで、ＯＣＴＡ画像では把握できない血管の交差部等の深さ方向における位置関係等を観察することができる。なお、ＸＹ面方向は被検体の深さ方向に交差する方向に対応する。

以下、図３を参照して本実施例に係る一連の画像処理の手順を示す。図３は、本実施例に係る一連の画像処理のフローチャートである。本実施例に係る画像処理が開始されると、処理はステップＳ３０１に移行する。

ステップＳ３０１では、取得部２１が、被検眼を同定する情報の一例である被検者識別番号を入力部６０等の画像処理装置２０の外部から取得する。取得部２１は、被検者識別番号に基づいて、外部記憶装置４０が保持している当該被検眼に関する情報を取得して記憶部２４に記憶する。

ステップＳ３０２では、駆動制御部２３がＯＣＴ装置１０を制御して被検眼をスキャンすることで撮影を行い、取得部２１がＯＣＴ装置１０から被検眼の断層情報を含む干渉信号を取得する。被検眼のスキャンは、ユーザによるスキャン開始の指示に応じて、駆動制御部２３がＯＣＴ装置１０を制御し、光源１１やガルバノミラー１２等を動作させることで行われる。

ガルバノミラー１２は、水平方向用のＸスキャナと垂直方向用のＹスキャナを含む。そのため、駆動制御部２３は、これらのスキャナの向きをそれぞれ変更することで、装置座標系における水平方向（Ｘ）及び垂直方向（Ｙ）のそれぞれの方向に測定光を走査することができる。なお、駆動制御部２３は、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向にも測定光を走査することができる。そのため、駆動制御部２３は、眼底平面上の任意の方向に測定光を走査することができる。

駆動制御部２３は、撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、駆動制御部２３は、内部固視灯１６で表示するパターンの位置、ガルバノミラー１２によるスキャン範囲やスキャンパターン、コヒーレンスゲート位置、及びフォーカスを少なくとも設定する。

駆動制御部２３は、表示部１６１の発光ダイオードを制御して、被検眼の黄斑部中心や視神経乳頭の撮影を行うように内部固視灯１６で表示するパターンの位置を制御する。また、駆動制御部２３は、ガルバノミラー１２のスキャンパターンとして、三次元ボリュームを撮影するラスタスキャンや放射状スキャン、クロススキャンなどのスキャンパターンを設定する。これら撮影パラメータの調整終了後、ユーザによる撮影開始の指示に応じて、駆動制御部２３がＯＣＴ装置１０を制御して被検眼の撮影を行う。

本実施例においては、スキャンパターンはラスタスキャンによる三次元ボリュームスキャンであり、ＯＣＴ装置１０は、高画質なデータを生成するために、被検眼の三次元ボリュームをＮ回（Ｎは２以上）撮影する。ＯＣＴ装置１０は、Ｎ回繰り返して行う撮影について、同じ撮影範囲を同じスキャンパターンで撮影する。例えば、３ｍｍ×３ｍｍの範囲を３００×３００（主走査×副走査）の間隔で繰り返し撮影を行う。

また、三次元ボリュームスキャンを行う際にＯＣＴ装置１０は、モーションコントラストデータを生成するために略同一のライン箇所をｍ回（ｍは２以上）繰り返し撮影する。すなわち、取得部２１は、例えば、ｍが２回だとする場合、実際には２×３００×３００のデータを取得する。この場合には、モーションコントラストデータ生成部２２２は、後述する処理により、２×３００×３００のデータに基づいて３００×３００の三次元モーションコントラストデータを生成する。なお、略同一のライン箇所とは、同一のライン箇所だけでなく、モーションコントラストデータを生成する際に許容される程度にずれたライン箇所も含むものをいう。

本開示においては詳細な説明を省略するが、ＯＣＴ装置１０は、加算平均用に同じ箇所を撮影するために、被検眼のトラッキングを行うことができる。これにより、ＯＣＴ装置１０は、固視微動の影響を少なくして被検眼のスキャンを行うことができる。さらに、ＯＣＴ装置１０は、画像を生成するにあたりアーティファクトとなるまばたき等の動きを検出した場合には、アーティファクトが発生した場所で再スキャンを自動的に行うことができる。

ステップＳ３０３では、断層画像生成部２２１が、取得部２１によって取得された干渉信号に基づいて断層画像の生成を行う。断層画像生成部２２１は、それぞれの干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成することができる。

まず、断層画像生成部２２１は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は、取得した複数のＡスキャンの信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。その後、断層画像生成部２２１は、有限区間で干渉信号をフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。断層画像生成部２２１は、窓関数処理を行った干渉信号に対して高速フーリエ変換（ＦＦＴ）処理を行うことによって断層データを生成する。

断層画像生成部２２１は、生成した断層データに基づいて断層画像の各画素値を求め、断層画像を生成する。なお、断層画像の生成方法はこれに限られず、既知の任意の方法で行われてよい。

ステップＳ３０４では、モーションコントラストデータ生成部２２２が、断層画像生成部２２１によって生成された断層データに基づいて、モーションコントラストデータの生成を行う。ここで、図４を参照して、モーションコントラストデータの生成について説明を行う。図４には、三次元のモーションコントラストデータＭＣ、三次元のモーションコントラストデータＭＣを構成する二次元のモーションコントラストデータＬＭＣが示されている。ここでは、二次元のモーションコントラストデータＬＭＣを生成する方法について説明をする。

モーションコントラストデータ生成部２２２は、まず被検眼の略同一範囲で撮影された複数の断層画像間の位置ずれを補正する。ここで、断層画像間の位置ずれの補正方法は任意の方法であってよい。例えば、モーションコントラストデータ生成部２２２は、略同一範囲をｍ回撮影して取得した三次元の断層データのうち、略同一箇所に対応する断層データ同士について、眼底形状の特徴等を利用して位置合わせを行う。なお、以下において、１枚の断層画像に対応する断層データを１組の断層データといい、ｍ枚の断層画像に対応する断層データをｍ組の断層データという。

具体的には、略同一箇所のｍ回の撮影に対応するｍ組の断層データのうちの１つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の断層データとの類似度を求め、テンプレートとの位置ずれ量を求める。その後、モーションコントラストデータ生成部２２２は、求めた位置ずれ量に基づいて、ｍ組の断層データの各断層データを補正する。

次にモーションコントラストデータ生成部２２２は、各断層データに関する撮影時間が所定の時間間隔内である、２組の断層データ間で式１により脱相関値Ｍ（ｘ,ｚ）を求める。

ここで、Ａ（ｘ,ｚ）は断層データＡの位置（ｘ，ｚ）における輝度、Ｂ（ｘ，ｚ）は断層データＢの同一位置（ｘ、ｚ）における輝度を示している。

脱相関値Ｍ（ｘ，ｚ）は０〜１の値となり、２つの輝度の差が大きいほどＭ（ｘ，ｚ）の値は大きくなる。モーションコントラストデータ生成部２２２は、略同一位置で行った撮影の繰り返し回数ｍが３以上の場合には、同一位置（ｘ，ｚ）において複数の脱相関値Ｍ（ｘ，ｚ）を求めることができる。モーションコントラストデータ生成部２２２は、求めた複数の脱相関値Ｍ（ｘ，ｚ）の最大値演算や平均演算などの統計的な処理を行うことで、最終的なモーションコントラストデータを生成することができる。なお、繰り返し回数ｍが２の場合、最大値演算や平均演算などの統計的な処理は行わず、２組の断層データＡ，Ｂの脱相関値Ｍ（ｘ，ｚ）が、位置（ｘ，ｚ）におけるモーションコントラストデータの値となる。

式１に示したモーションコントラストデータの計算式はノイズの影響を受けやすい傾向がある。例えば、複数組の断層データの無信号部分にノイズがあり、互いに値が異なる場合には、脱相関値が高くなり、モーションコントラスト画像にもノイズが重畳してしまう。これを避けるために、モーションコントラストデータ生成部２２２は、前処理として、所定の閾値を下回る断層データはノイズとみなして、ゼロに置き換えることができる。これにより、後述する処理において、正面画像生成部２２３は、当該前処理を施して生成されたモーションコントラストデータに基づいて、ノイズの影響を低減したモーションコントラスト画像を生成することができる。

画像処理装置２０は、ステップＳ３０２〜ステップＳ３０４の処理を複数回のボリュームスキャンで取得した干渉信号に対して行うことで、複数の三次元断層データ（三次元断層画像）と複数の三次元モーションコントラストデータを取得することができる。なお、画像処理装置２０は、１回のボリュームスキャンで干渉信号を取得する毎にステップＳ３０２〜Ｓ３０４の処理を随時行ってもよい。この場合、１回目のボリュームスキャンでは１つの三次元断層データしか得られないため、モーションコントラストデータの生成処理を省略し、２回目以降の処理においてモーションコントラストデータを生成することができる。

ステップＳ３０５では、検出部２２４が、三次元断層データにおいて網膜層の境界線（層境界）を検出する。検出部２２４は、図２（ｂ）の断層画像においてＬ１〜Ｌ６の各境界、又は不図示のＧＣＬ／ＩＰＬ、ＩＰＬ／ＩＮＬ、ＩＮＬ／ＯＰＬ、及びＯＰＬ／ＯＮＬ境界のいずれかを検出する。

具体的には、検出部２２４は、処理の対象とする断層画像に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用してメディアン画像及びＳｏｂｅｌ画像を生成する。次に、検出部２２４は、生成したメディアン画像とＳｏｂｅｌ画像から、Ａスキャンに対応する断層データ毎にプロファイルを生成する。ここで、生成されるプロファイルは、メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。その後、検出部２２４は、Ｓｏｂｅｌ画像から生成したプロファイル内のピークを検出する。検出部２２４は、検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を検出する。

なお、層境界を検出する方法は当該方法に限られない。検出部２２４は、既知の任意の方法により層境界を検出することができる。

ステップＳ３０６では、高画質データ生成部２２５が、複数の三次元断層データ及び複数の三次元モーションコントラストデータを用いて高画質な三次元データを生成する。以下、三次元データとは、輝度値からなる三次元断層データと、脱相関値からなる三次元モーションコントラストデータのことを指す。

具体的には、高画質データ生成部２２５は、層境界の情報及び複数の三次元モーションコントラストデータに基づいて正面画像生成部２２３によって生成されたモーションコントラスト正面画像を位置合わせ用の画像として取得する。なお、正面画像生成部２２３によるモーションコントラスト正面画像の生成方法については後述する。高画質データ生成部２２５は、取得した位置合わせ用の画像に基づいて、複数の三次元モーションコントラストデータから基準となる三次元モーションコントラストデータを選択する。その後、高画質データ生成部２２５は、基準となる三次元モーションコントラストデータと他の三次元モーションコントラストデータとをＸ，Ｙ，Ｚ方向について位置合わせし、位置合わせした複数のモーションコントラストデータを加算平均する。これにより、高画質データ生成部２２５は、高画質な三次元モーションコントラストデータを生成することができる。

また、高画質データ生成部２２５は、基準とされた三次元モーションコントラストデータに対応する三次元断層データを基準とし、複数の三次元断層データの位置合わせを行い、位置合わせ後の複数の三次元断層データを加算平均する。これにより、高画質データ生成部２２５は、高画質な三次元断層データ（三次元断層画像）を生成することができる。なお、高画質データ生成部２２５は、モーションコントラストデータの位置合わせパラメータを用いて、複数の三次元断層データについて位置合わせを行ってもよい。

なお、モーションコントラストデータの位置合わせ方法及び三次元断層データの位置合わせ方法は、上記方法に限られず、既知の任意の方法を用いてよい。

ここで、高画質化処理を行う前後の三次元データに基づく画像の例を図５（ａ）乃至図６（ｂ）に示す。図５（ａ）は、高画質化処理前の三次元モーションコントラストデータから生成された一断面の画像５００、及び高画質化処理後の三次元モーションコントラストデータから生成された一断面の画像５０１を示す。

高画質化処理では、上述のように、三次元モーションコントラストデータと同様に、複数の三次元断層データに関しても高画質化処理を行う。ここで、図５（ｂ）は、高画質化処理前の三次元断層データから生成された一断面の画像５１０、及び高画質化処理後の三次元断層データから生成された一断面の画像５１１を示す。

図５（ａ）及び図５（ｂ）に示すように、高画質化処理前の画像ではノイズが多く血管とノイズの差や、層の境界が不明瞭である。これに対し、高画質化処理後の画像ではノイズが少なく血管や網膜層の構造を認識することができる。

図６（ａ）は、高画質化処理前の三次元モーションコントラストデータから生成された網膜表層のＯＣＴＡ画像６００、及び高画質化処理後の三次元モーションコントラストデータから生成された網膜表層のＯＣＴＡ画像６０１を示す。また、図６（ｂ）は、高画質化前の三次元断層データから生成される正面画像６１０、及び高画質化処理後の三次元断層データから生成される正面画像６１１を示す。図６（ａ）及び図６（ｂ）に示すように、高画質化処理を行うことで、ＯＣＴＡ画像や輝度値に基づく正面画像（Ｅｎ−Ｆａｃｅ画像）についても、ノイズやアーティファクトが低減された明瞭な画像を生成することができる。

高画質化処理が行われたら、処理はステップＳ３０７に移行する。ステップＳ３０７では、正面画像生成部２２３が、ユーザによって指定される正面画像の生成範囲に基づいて、高画質な三次元モーションコントラストデータから、モーションコントラストデータの正面画像であるＯＣＴＡ画像を生成する。なお、取得部２１が、正面画像の生成範囲について、ユーザからの指示を取得することができる。また、取得部２１は、ＯＣＴ装置１０や画像処理装置２０の撮影モード、又は撮影部位等に応じて予め定められたデフォルト値を生成範囲の情報として取得してもよい。

具体的には、正面画像生成部２２３は、指定された生成範囲上端と生成範囲下端との間の範囲に対応する三次元モーションコントラストデータを二次元平面上に投影し、ＯＣＴＡ画像を生成する。より具体的には、正面画像生成部２２３は、全体の三次元モーションコントラストデータのうち、生成範囲上端と生成範囲下端の間の範囲に対応するモーションコントラストデータを抽出する。その後、正面画像生成部２２３は、抽出したモーションコントラストデータを深さ方向に対して平均値投影（ＡＩＰ）、又は最大値投影（ＭＩＰ）などの処理を行うことで、ＯＣＴＡ画像の画素値を決定する。これにより、正面画像生成部２２３はＯＣＴＡ画像を生成することができる。

なお、ＯＣＴＡ画像の生成方法は平均値投影処理や最大値投影処理に限らない。例えば、抽出したモーションコントラストデータについて、深さ方向に対して最小値、中央値、分散、標準偏差、積算値、又は総和などの値を算出することで、ＯＣＴＡ画像の各画素値を生成してもよい。

次に、ステップＳ３０８では、レンダリング部２２６が、高画質な三次元モーションコントラストデータについてＸＹ面方向に対して正面視の視点でボリュームレンダリングを行い、レンダリング画像（第２の正面画像）を生成する。レンダリング部２２６は、視点決定部２６１が決定した視点情報及び範囲選択部２６２が選択したデータ範囲に基づいて三次元モーションコントラストデータに対してボリュームレンダリングを行う。

本実施例では、視点決定部２６１は、図６（ａ）に示されるＯＣＴＡ画像６００，６０１と同様に、三次元モーションコントラストデータをＸＹ正面方向から見た、正面視の視点情報を決定する。また、範囲選択部２６２は、三次元モーションコントラストデータの全てをデータ範囲として選択する。

本実施例では、レンダリング部２２６は、レイキャスティング法により三次元モーションコントラストデータをボリュームレンダリングする。レイキャスティング法では、視点と画素を通過する光線を仮定し、この光線上での輝度値を積分することで、最終的に視点に到達する光の輝度を決定する。具体的には、光線が入射した三次元データのボクセルに対して予め与えられた色と不透明度との合成演算により、ボクセルを通過した光の輝度を求めることができる。なお、透明度は０から１までの値であり、１から透明度を引いたものが不透明度である。

また、レンダリング手法としては、レイキャスティング法に限らず任意のレンダリング手法を用いてよく、例えば、レイトレーシング法を採用してもよい。レイトレーシング法では、平行光源や点光源で影だけではなく、反射や屈折なども計算することができる。レイトレーシング法では、視点からスクリーン上の各画素を通過する方向に光を逆にたどり、各画素の輝度値や色を決定する。

ここで、図７Ａは、レンダリング部２２６が高画質化処理後の三次元モーションコントラストデータについてボリュームレンダリングを行ったレンダリング画像７０１の一例を示す。なお、図７Ａには高画質化処理前の三次元モーションコントラストデータについてボリュームレンダリングを行ったレンダリング画像７００も示されており、高画質化処理により、レンダリング画像においてもノイズ低減等の効果が生じていることが分かる。

図７Ｂは、図７Ａで示したレンダリング部２２６が生成したレンダリング画像７０１における血管交差部の一部を拡大表示したレンダリング画像７０２を示している。また、図７Ｂは、レンダリング画像７０２と空間的に同じ箇所のＯＣＴＡ画像を拡大表示したＯＣＴＡ画像７０３も示している。さらに、図７Ｂには、レンダリング画像７０２の模式図７０４、及びＯＣＴＡ画像７０３の模式図７０５が示されている。

ここで、血管交差部の一部を拡大したレンダリング画像７０２及び模式図７０４を参照して、レンダリング画像７０１について説明する。レンダリング画像７０２には、水平方向に走行する血管Ｖｅ０１、垂直方向に走行する血管Ｖｅ０２，Ｖｅ０３が現れている。ここで、レンダリング画像７０２では、模式図７０４のように、血管Ｖｅ０１に対して、血管Ｖｅ０２は深い場所を走行し、血管Ｖｅ０３は浅い場所を走行していることが確認できる。

一方、ＯＣＴＡ画像の一部を拡大表示したＯＣＴＡ画像７０３では、平均値投影や最大値投影等に起因して、模式図７０５のように、血管の交差部は明るく表示される。このため、ＯＣＴＡ画像７０３では、血管Ｖｅ０１’，Ｖｅ０２’，Ｖｅ０３’の深度方向における上下関係を確認することは困難である。

このように、三次元のモーションコントラストデータについて生成したレンダリング画像では、被検体における血管等の深さ方向の位置を識別することができる。従って、ユーザは、三次元のモーションコントラストデータについて生成したレンダリング画像を観察することで、二次元のＯＣＴＡ画像では認識しにくい血管の深さ方向における上下関係等を把握しやすくなる。

レンダリング画像を生成したら、処理はステップＳ３０９に移行する。ステップＳ３０９では、表示制御部２５が、三次元のモーションコントラストデータから生成したＯＣＴＡ画像とレンダリング画像とを比較しやすい状態で表示部５０に表示させる。本実施例では、比較しやすい状態として、これらの画像を並べて表示する又は切り替え可能に表示する。ここで、図８は、表示部５０に表示させる画面の一例を示す。

図８には表示画面８００が示されており、表示画面８００には、ビューモードのタブ８２３，８２４が設けられている。タブ８２３では、ＯＣＴＡ画像や眼底画像等と共に三次元のモーションコントラストデータから生成したレンダリング画像が表示され、タブ８２４では、三次元データから生成されるレンダリング画像が表示される。

なお、表示部５０の表示画面８００には、これらに加えて患者タブ、撮影タブ、レポートタブ、及び設定タブ等を設けてもよい。この場合、ビューモードのタブ８２３，８２４は、レポートタブ内に表示されることとなる。また、表示画面８００には、患者情報表示部、検査ソートタブ、及び検査リスト等を表示することもできる。検査リストには、眼底画像や断層画像、ＯＣＴＡ画像のサムネイルを表示してもよい。なお、これらのサムネイルは高画質データから生成されることができる。

タブ８２３には、高画質なデータを生成するモード（高画質モード）のＯＮ／ＯＦＦを設定するボタン８２２が設けられている。本実施例では、以下、高画質なデータに基づいて生成された各種画像について説明を行う。

また、タブ８２３には、眼底画像８０１、第１のＯＣＴＡ画像８０２、第１の断層画像８０３、三次元モーションコントラストデータから生成したレンダリング画像８０４、第２のＯＣＴＡ画像８０５、及び第２の断層画像８０６が表示されている。さらに、タブ８２３には、眼底画像８０１に重畳している画像８０７、及び画像８０７の種類を切り替えるタブ８０８が表示されている。

また、タブ８２３には、第１のＯＣＴＡ画像８０２として表示するＯＣＴＡ画像の種類８０９、並びに第１のＯＣＴＡ画像８０２の生成範囲上端８１０及び生成範囲下端８１１が表示されている。ＯＣＴＡの種類としては、表層、深層、又は脈絡膜等や任意の範囲で作成したＯＣＴＡ画像がある。第１のＯＣＴＡ画像８０２の生成範囲上端８１０には上端に対応する層境界の種類と当該層境界からのオフセット値、生成範囲下端８１１には下端に対応する層境界の種類と当該層境界からのオフセット値が示されている。また、第１の断層画像８０３には、第１のＯＣＴＡ画像８０２の生成範囲上端８１０を示す境界線８１８、及び生成範囲下端８１１を示す境界線８１９が重畳表示されている。

ユーザは、入力部６０を介して、境界線８１８，８１９を移動させたり、生成範囲上端８１０や生成範囲下端８１１に対応する層境界の種類やオフセット値を変更したりすることで、第１のＯＣＴＡ画像８０２の生成範囲を変更することができる。

また、タブ８２３には、レンダリング画像８０４等の正面画像の種類を切り替えるタブ８１２が示されている。タブ８１２を用いることで、レンダリング画像８０４を、第１のＯＣＴＡ画像８０２や輝度情報に基づく正面画像（Ｅｎ−Ｆａｃｅ）等と切り替えて表示することができる。なお、正面画像の種類を切り替えるユーザインタフェース（ＵＩ）はタブに限られず、任意のＵＩを用いてよい。

さらに、タブ８２３には、第２のＯＣＴＡ画像８０５の種類８１３、種類８１３を選択するプルダウン８１４、選択の表示８１５、並びに第２のＯＣＴＡ画像８０５の生成範囲上端８１６及び生成範囲下端８１７が示されている。プルダウン８１４は、第２のＯＣＴＡ画像８０５の種類を選択するための選択肢の一例である。生成範囲上端８１６及び生成範囲下端８１７は、第１のＯＣＴＡ画像８０２の生成範囲上端８１０及び生成範囲下端８１１と同様のものである。第２の断層画像８０６には、第２のＯＣＴＡ画像８０５の生成範囲上端８１６を示す境界線８２０、及び生成範囲下端８１７を示す境界線８２１が重畳表示されている。

ユーザは、入力部６０を介して、境界線８２０，８２１を移動させたり、生成範囲上端８１６や生成範囲下端８１７に対応する層境界の種類やオフセット値を変更したりすることで、第２のＯＣＴＡ画像８０５の生成範囲を変更することができる。

また、タブ８２３には、第１の断層画像８０３のＸＹ面内における位置を示す矢印８４５、及び第２の断層画像８０６のＸＹ面内における位置を示す矢印８４６が表示されている。これら矢印の表示／非表示や矢印の位置の変更は、入力部６０を介したユーザの指示に基づき切り替えられることができる。

レンダリング画像８０４は、レンダリング部２２６が三次元のモーションコントラストデータについて、第１のＯＣＴＡ画像８０２及び第２のＯＣＴＡ画像８０５と同じ視点方向（正面視方向）からレンダリングした画像である。レンダリング画像８０４では、上述のように、二次元のＯＣＴＡ画像では認識しにくい血管等の深さ方向における上下関係等を把握しやすい。本実施例では、このようなレンダリング画像８０４を第１のＯＣＴＡ画像８０２や第２のＯＣＴＡ画像８０５と並べて表示することができる。また、タブ８２３によって、レンダリング画像８０４と第１のＯＣＴＡ画像８０２等を切り替え可能に表示することができる。これらの場合には、正面視のレンダリング画像とＯＣＴＡ画像が比較しやすい状態で表示されることで、ユーザはＯＣＴＡ画像に示される血管の交差部等の深さ方向における位置関係等を容易に把握することができる。

次に、ステップＳ３１０において、取得部２１は、入力部６０を介して、画像処理装置２０による画像処理を終了するか否かの指示をユーザから取得する。取得部２１が処理を終了しないという指示を取得した場合には、処理をステップＳ３０２に戻して処理を続行する。一方、取得部２１が、処理を終了するという指示を取得した場合には、画像処理装置２０は一連の画像処理を終了する。

上記のように、本実施例に係る画像処理装置２０は、取得部２１と、画像処理部２２と、表示制御部２５とを備える。取得部２１は、被検体の三次元のモーションコントラストデータを取得する。画像処理部２２の正面画像生成部２２３は、三次元のモーションコントラストデータの少なくとも一部を用いてＯＣＴＡ画像（第１の正面画像）を生成する。

画像処理部２２のレンダリング部２２６は、三次元のモーションコントラストデータの少なくとも一部を用いて、ＯＣＴＡ画像とは異なる、被検体の深さ方向の位置を識別可能なレンダリング画像（第２の正面画像）を生成する。より具体的には、レンダリング部２２６は、三次元のモーションコントラストデータの少なくとも一部を被検体の深さ方向に交差する方向に対する正面視の視点でボリュームレンダリングすることで、レンダリング画像を生成する。表示制御部２５は、ＯＣＴＡ画像とレンダリング画像との少なくとも１つを表示部５０に表示させる。より具体的には、表示制御部２５は、ＯＣＴＡ画像とレンダリング画像と表示部５０に並べて表示させる、又は切り換え可能に表示させる。

これにより、本実施例に係る画像処理装置２０は、ＯＣＴＡ画像とレンダリング画像を比較しやすい状態で表示することができ、血管交差部等の深度方向における位置関係等を観察可能な正面画像を提供することができる。このため、ユーザは、表示された画像により、被検体の深度方向における血管の上下関係などを容易に把握することができる。

なお、本実施例では、第２の正面画像生成処理（ステップＳ３０８）は、正面画像生成処理（ステップＳ３０７）の後に行われているが、レンダリング画像を生成するタイミングはこれに限られない。本実施例では、三次元モーションコントラストデータのすべてをボリュームレンダリングするため、第２の正面画像処理は、高画質化処理（ステップＳ３０７）の後から表示処理（ステップＳ３１０）までの間に行われればよい。そのため、第２の正面画像生成処理（ステップＳ３０８）は、正面画像生成処理（ステップＳ３０７）の前に行われてもよいし、正面画像生成処理（ステップＳ３０７）と並列に行われてもよい。

（実施例２）
実施例１においては、三次元のモーションコントラストデータを全て用いて作成したレンダリング画像と、ＯＣＴＡ画像とを比較しやすい状態で表示した。これに対し、実施例２においては、比較するＯＣＴＡ画像の生成に用いられるモーションコントラストデータの深さ方向の範囲（生成範囲）に対応する範囲のデータを用いたレンダリング画像を表示する。

以下、図９（ａ）乃至図１０Ｂを参照して、本実施例による画像処理システムについて述べる。以下、本実施例に係る画像処理システムによる画像処理について、実施例１に係る画像処理との違いを中心として説明する。なお、本実施例に係る画像処理システムの構成及び処理フローは、実施例１に係る画像処理システム１の構成及び処理と同様であるため、同一の参照符号を用いて示し、説明を省略する。本実施例に係る画像処理は、主に、第２の正面画像生成処理（ステップＳ３０８）と表示処理（ステップＳ３０９）において、実施例１に係る画像処理と異なるため、以下、これら処理について説明する。

本実施例に係る第２の正面画像生成処理（ステップＳ３０８）では、レンダリング部２２６の範囲選択部２６２が、ステップＳ３０７において生成したＯＣＴＡ画像の生成範囲と同じデータ範囲を選択する。具体的には、範囲選択部２６２は、ＯＣＴＡ画像の生成範囲の上端と下端、より具体的には生成範囲の上端と下端に対応する各層境界とオフセット値に基づいて、三次元モーションコントラストデータのデータ範囲を選択する。例えば、ＯＣＴＡ画像の生成範囲の上端としてＩＬＭ／ＮＦＬ境界線、下端としてＧＣＬ／ＩＰＬ境界線が設定されている場合、範囲選択部２６２はこれらの境界線の間の三次元モーションコントラストデータだけを選択する。

レンダリング部２２６は、視点決定部２６１が決定した正面視の視点と、範囲選択部２６２が選択したデータ範囲に基づいて、三次元モーションコントラストデータについてボリュームレンダリングを行う。なお、ボリュームレンダリングについては、実施例１と同様であるため説明を省略する。

図９（ａ）及び図９（ｂ）は、本実施例におけるＯＣＴＡ画像と、ＯＣＴＡ画像と同じ範囲の三次元モーションコントラストデータをボリュームレンダリングしたレンダリング画像の一例を示す。図９（ａ）は、網膜の表層に相当する部分のＯＣＴＡ画像９００、及び同じ範囲のデータをＸＹ正面方向の視点でレンダリングしたレンダリング画像９０１を示す。また、図９（ｂ）は、網膜の深層に相当する部分のＯＣＴＡ画像９１０、及び同じ範囲のデータをＸＹ正面方向の視点でレンダリングしたレンダリング画像９１１を示す。

レンダリング画像９０１，９１１では、実施例１に係るレンダリング画像７０１と同様に、血管の交差部の深さ方向における位置関係が把握できるようになっていることが分かる。

本実施例に係る表示処理（ステップＳ３０９）では、表示制御部２５が、図１０Ａ及び図１０Ｂに示すように、ステップＳ３０８で生成されたレンダリング画像８０４を表示部５０に表示させる。図１０Ａは、第１のＯＣＴＡ画像８０２に対応するレンダリング画像８０４を表示する例、図１０Ｂは、第２のＯＣＴＡ画像８０５に対応するレンダリング画像８０４を表示する例を示している。

なお、本実施例では、正面画像の種類を切り替えるタブ８１２を用いて、第１のＯＣＴＡ画像８０２の生成範囲に対応するレンダリング画像８０４や、第２のＯＣＴＡ画像８０５に対応するレンダリング画像８０４の表示を切り替えることができる。また、タブ８１２を用いて、表示される画像を、三次元モーションコントラストデータの全てを用いたレンダリング画像や、各種ＯＣＴＡ画像、Ｅｎ−Ｆａｃｅ画像に切り替えることもできる。

このような表示により、比較対象となるＯＣＴＡ画像の生成範囲に対応するデータ範囲の三次元モーションコントラストデータから生成されたレンダリング画像を比較しやすい状態で表示することができる。この場合、比較されるＯＣＴＡ画像及びレンダリング画像が対応する範囲のデータから生成されるため、画像同士を比較し易く、ＯＣＴＡ画像に表れている血管の交差部等の位置関係をより容易に把握することができる。

上記のように、本実施例に係る画像処理装置２０では、ＯＣＴＡ画像の生成範囲に対応する範囲のモーションコントラストデータに基づいて、レンダリング画像（第２の正面画像）を生成する。これにより、ＯＣＴＡ画像とレンダリング画像が互いにより比較し易くなる。

なお、本実施例においては、範囲選択部２６２は、ＯＣＴＡ画像の生成範囲に対応するデータ範囲として、ＯＣＴＡ画像の生成範囲と同じ深さ範囲を選択した。しかしながら、範囲選択部２６２が選択するデータ範囲はＯＣＴＡ画像の生成範囲と完全に一致する必要はない。範囲選択部２６２は、ＯＣＴＡ画像の生成範囲に対応するデータ範囲として、例えば、ＯＣＴＡ画像の生成範囲よりも数１０％程度広い又は狭い深さ範囲を選択してもよい。

（実施例３）
実施例１及び２においては、三次元モーションコントラストデータから生成したレンダリング画像とＯＣＴＡ画像とを比較しやすい状態で表示した。実施例３においては、これに加えて、三次元モーションコントラストデータに基づくレンダリング画像及び三次元断層データに基づくレンダリング画像を切り替え可能に表示する構成について説明する。本実施例に係る画像処理は、図８や図１０Ａ等に示される表示画面８００のタブ８２４での表示に関する画像処理に対応する。

以下、図１１Ａ乃至図１１Ｃを参照して、本実施例による画像処理システムについて述べる。以下、本実施例に係る画像処理システムによる画像処理について、実施例１に係る画像処理との違いを中心として説明する。なお、本実施例に係る画像処理システムの構成及び処理フローは、実施例１に係る画像処理システム１の構成及び処理と同様であるため、同一の参照符号を用いて示し、説明を省略する。本実施例に係る画像処理は、主に、第２の正面画像生成処理（ステップＳ３０８）と表示処理（ステップＳ３０９）において、実施例１に係る画像処理と異なるため、以下、これら処理について説明する。

本実施例に係る第２の正面画像生成処理（ステップＳ３０８）において、視点決定部２６１は、ボリュームレンダリングを行うデータの種類に応じて視点を決定する。具体的には、視点決定部２６１は、三次元モーションコントラストデータをレンダリングする場合にはＸＺ面方向よりもＸＹ面方向に対し視点を決定し、三次元断層データをレンダリングする場合にはＸＹ面方向よりもＸＺ又はＹＺ面方向に対し視点を決定する。これにより、生成されるレンダリング画像は、それぞれのデータにおいて情報量が多い面を表示することができる。ここで、ＸＺ面方向又はＸＹ面方向は被検体の深さ方向に平行な方向に対応する。

なお、視点決定部２６１は、視点をＸＹ面やＸＺ面の正面に決定する必要はなく、正面方向から斜め方向に角度を設定した点を視点としてもよい。このため、視点決定部２６１は、ユーザの指定や予め設定された視点の角度に応じて、視点を決定することもできる。

範囲選択部２６２は、実施例１と同様に、レンダリングに用いるデータ範囲を選択する。レンダリング部２２６は、視点決定部２６１によって決定された視点の情報及び範囲選択部２６２によって選択されたデータ範囲に基づいて、三次元データをボリュームレンダリングしてレンダリング画像を生成する。なお、ボリュームレンダリングについては、実施例１と同様であるため説明を省略する。

表示処理（ステップＳ３０９）では、表示制御部２５が、ステップＳ３０８において生成したレンダリング画像のみを表示部５０に表示させる。ここで、図１１Ａ乃至図１１Ｃは、本実施例における表示画面８００の一例を示す。図１１Ａは、ＸＹ方向に対して正面視のボリュームレンダリングにより生成された、三次元モーションコントラストデータに基づくレンダリング画像１１０１の一例を示す。図１１Ｂは、ＸＺ方向から見た視点で三次元断層データをボリュームレンダリングしたレンダリング画像１１０５の一例を示す。図１１Ｃは、ＸＹ方向に対する正面視の視点から斜め方向に角度をつけた視点で三次元モーションコントラストデータをボリュームレンダリングしたレンダリング画像１１０１’の一例を示す。

表示画面８００には、ビューモードのタブ８２３，８２４が設けられている。タブ８２３では、実施例１や実施例２に示した画面が表示される。タブ８２４では、図１１Ａ乃至図１１Ｃで示す画面を表示する。

タブ８２４には、レンダリング画像を表示する領域１１００、レンダリング画像１１０１、オリエンテーションキューブ（Ｏｒｉｅｎｔａｔｉｏｎ Ｃｕｂｅ）１１０２が示されている。ここで、オリエンテーションキューブ１１０２は、ボリュームレンダリングの視点に対応するレンダリングデータ（レンダリング画像）の姿勢を示している。オリエンテーションキューブ１１０２のそれぞれの面には、Ｔ，Ｓ，Ｎ，Ｉ，Ａ，Ｐを一文字ずつ表示している。これらはそれぞれ、Ｔｅｍｐｏｒａｌ、Ｓｕｐｅｒｉｏｒ、Ｎａｓａｌ、Ｉｎｆｅｒｉｏｒ、Ａｎｔｅｒｉｏｒ、Ｐｏｓｔｅｒｉｏｒを意味しており、それぞれの姿勢に対応する。ユーザはオリエンテーションキューブ１１０２を確認することにより、レンダリングデータの姿勢を把握することができる。

なお、ユーザが領域１１００においてマウスをドラッグしたり、マウスホイールを回転させたりすることで、ボリュームレンダリングの視点方向や画像の表示倍率を変更できるように、ＵＩが構成されることができる。また、視点方向や表示倍率の変更用のボタン等が設けられてもよい。

また、タブ８２４には、ラジオボタン１１１０，１１１８、スライダー１１１１，１１１２、リセットボタン１１１３、層の種類１１１４、チェックボックス１１１５，１１１６、及びチェックボックスの全選択のボタン１１１７が示されている。

ラジオボタン１１１０は、ボリュームレンダリングを行うモードを選択するために用いられる。図１１Ａに示すように、モーションコントラストデータのレンダリング画像１１０１を表示する際には、ラジオボタン１１１０において、表示モードとしてＡｎｇｉｏｇｒａｐｈｙを選択する。本実施例では、Ａｎｇｉｏｇｒａｐｈｙが選択された場合の初期画像として、視点決定部２６１がＸＹ面方向に対して正面視の視点を決定してボリュームレンダリングを行ったレンダリング画像１１０１を表示する。

スライダー１１１１，１１１２は、表示されるレンダリング画像の輝度とコントラストを調整するためのスライダーである。また、リセットボタン１１１３は調整した値をデフォルトの値にリセットするためのボタンを示している。

層の種類１１１４は、チェックボックス１１１５，１１１６で選択される層の種類を示している。チェックボックス１１１５，１１１６は、層の可視化の選択とＰｅｅｌｉｎｇ選択のチェックボックスを表している。また、ボタン１１１７は、チェックボックス１１１５，１１１６を全て選択するボタンである。なお、図示しないが、別途、チェックボックス１１１５，１１１６の選択を全て解除するボタンがあってもよい。また、ボタン１１１７にチェックボックス１１１５，１１１６の選択を全て解除する機能を追加してもよい。

範囲選択部２６２は、チェックボックス１１１５の選択に応じてボリュームレンダリングに用いるデータ範囲についてのユーザからの指定を取得してもよい。また、範囲選択部２６２がチェックボックス１１１５の選択とは独立してデータ範囲の指定を取得してもよい。この場合には、チェックボックス１１１５の選択に対応するデータを他の手法により、可視化したり、非表示したりしてもよい。なお、本実施例では、Ａｎｇｉｏｇｒａｐｈｙが選択された場合の初期画像として、範囲選択部２６２が三次元モーションコントラストデータの全てをデータ範囲として選択してボリュームレンダリングを行ったレンダリング画像１１０１を表示する。

ラジオボタン１１１８は、表示される画像についての投影方法を選択するために用いられる。ラジオボタン１１１８を用いることで、レイキャスティング法等のボリュームレンダリングによる投影や最大値投影（ＭＩＰ）法を選択することができる。ラジオボタン１１１８において、最大値投影法が選択された場合には、三次元データについて最大値投影を行った不図示の画像が領域１１００に表示される。

なお、本実施例においては、投影方法に関して２種類の選択肢を示しているが、投影方法の種類はこれに限らない。ここで、前述のように、最大値投影法により投影されたＯＣＴＡ画像では、血管の交差部の深さ方向の位置関係を把握しづらい。そのため、タブ８２４においてＡｎｇｉｏｇｒａｐｈｙの表示モードの場合の投影方法としては、最大値投影法以外の方法で表示することが好ましい。ただし、比較的大きなＯＣＴＡ画像を確認することが所望される場合等に応じて、Ａｎｇｉｏｇｒａｐｈｙの表示モードにおいて、最大値投影法が選択されてもよい。

図１１Ｂは、ラスタスキャンによって取得された三次元断層データをボリュームレンダリングしたレンダリング画像１１０５を表示する場合の一例を示す。図１１Ｂの例では、レンダリング画像１１０５を表示する際に、視点決定部２６１はＸＺ面から見た視点を決定し、レンダリング部２２６は当該視点に基づいてレンダリング画像１１０５を生成する。

三次元断層データをボリュームレンダリングしたレンダリング画像１１０５には、ピーリングコントロール（Ｐｅｅｌｉｎｇ Ｃｏｎｔｒｏｌ）１１０３が重畳されている。ユーザはピーリングコントロール１１０３を操作することで、チェックボックス１１１６で選択されている層だけをボリュームデータから剥きとる（Ｐｅｅｌｉｎｇ）することができる。

なお、図１１Ａ及び図１１Ｂでは、ＸＹ面とＸＺ面に対して正面視の視点を決定する例を示した。これに対し、上述のように、視点はそれぞれの面の正面に設定する必要はなく、正面方向から斜め方向に角度を設定してもよい。ここで、設定される斜め方向の角度とは、例えば±２０度程度とすることができる。

図１１Ｃは、図１１Ａに示すレンダリング画像１１０１の視点に対して斜め方向に角度を設定した場合のレンダリング画像１１０１’の例を示す。図１１Ｃでは、斜め方向に角度を設定した場合のオリエンテーションキューブ１１０２’も示されており、ユーザはオリエンテーションキューブ１１０２’を確認することで、視点の角度を確認することができる。

上記のように、本実施例に係る画像処理装置２０では、取得部２１が、被検体の断層の情報を含む三次元の断層データを更に取得する。また、レンダリング部２２６が、三次元の断層データの少なくとも一部をボリュームレンダリングすることで断層データに基づくレンダリング画像（第３の画像）を生成する。

ここで、レンダリング部２２６の視点決定部２６１は、モーションコントラストデータに基づくレンダリング画像の視点を、断層データに基づくレンダリング画像の視点よりも、被検体の深さ方向に交差する方向に対してより正面視に近い視点に決定する。特に、本実施例では、レンダリング部２２６は、三次元の断層データの少なくとも一部を被検体の深さ方向に平行な方向に対する正面視の視点でボリュームレンダリングすることで、断層データに基づくレンダリング画像を生成する。

そして、表示制御部２５は、モーションコントラストデータに基づくレンダリング画像と断層データに基づくレンダリング画像とを切り替え可能に表示部５０に表示させる。

これにより、ユーザは、観察する平面画像の種類に応じて、観察目的に適した視点方向からの平面画像を確認することができる。

（実施例４）
実施例１及び２においては、三次元モーションコントラストデータから生成したレンダリング画像とＯＣＴＡ画像とを並べて表示する又は切り替え可能に表示する例について示した。これに対し、実施例３では、ＯＣＴＡ画像に対してレンダリング画像の一部を表示する例について説明をする。

以下、図１２（ａ）乃至図１２（ｃ）を参照して、本実施例による画像処理システムについて述べる。以下、本実施例に係る画像処理システムによる画像処理について、実施例２に係る画像処理との違いを中心として説明する。なお、本実施例に係る画像処理システムの構成及び処理フローは、実施例２に係る画像処理システム１の構成及び処理と同様であるため、同一の参照符号を用いて示し、説明を省略する。本実施例に係る画像処理は、主に、表示処理（ステップＳ３０９）において、実施例２に係る画像処理と異なるため、以下、表示処理について説明する。

本実施例に係る表示処理（ステップＳ３０９）では、表示制御部２５が表示部５０に、ステップＳ３０８で生成されたレンダリング画像をＯＣＴＡ画像に対して部分的に表示させる。具体的には、表示制御部２５は表示部５０に、レンダリング画像の一部をＯＣＴＡ画像に重畳して表示させる、又はＯＣＴＡ画像の周辺に表示させる。

図１２（ａ）はレンダリング画像の一部をＯＣＴＡ画像に重畳して表示させる例を示し、図１２（ｂ）はレンダリング画像の一部をＯＣＴＡ画像の周辺に表示させる例を示す。図１２（ａ）及び図１２（ｂ）には、表示画面８００の一部である第１のＯＣＴＡ画像８０２と第１の断層画像８０３が示されている。また、図１２（ａ）及び図１２（ｂ）には、ＵＩ１２０１，１２０２が示されている。

ＵＩ１２０１は、本実施例によるＯＣＴＡ画像に対する部分的な表示のＯＮ／ＯＦＦを切り替えるために用いられる。また、ＵＩ１２０２は、ＯＣＴＡ画像に対する部分的な表示として、ＯＣＴＡ画像の一部を拡大するか、又はレンダリング画像の一部を表示するかを選択するために用いられる。なお、これらＵＩ１２０１，１２０２は一例であり、他の態様を有していてもよい。本実施例においては、レンダリング画像の一部を表示することが選択されている例について説明する。

まず、図１２（ａ）に示される例について説明をする。図１２（ａ）では、第１のＯＣＴＡ画像８０２に、ステップＳ３０８で生成されたレンダリング画像の一部であるレンダリング画像１２０３が重畳されている。表示制御部２５は、表示部５０において、レンダリング画像１２０３が重畳される第１のＯＣＴＡ画像８０２の箇所に対応するレンダリング画像の一部をレンダリング画像１２０３として、第１のＯＣＴＡ画像８０２に重畳表示させる。

図１２（ａ）に示す例では、例えば、ユーザがＵＩ１２０１を選択後、第１のＯＣＴＡ画像８０２上にマウスカーソルなどを移動させると、マウスカーソル周辺の一部の領域にレンダリング画像１２０３が表示される。これにより、第１のＯＣＴＡ画像８０２において、ユーザが注目したい部分のみにレンダリング画像を重畳表示させることができ、ＯＣＴＡ画像とレンダリング画像が対比しやすい状態で表示される。そのため、ユーザは、注目したい血管交差部等の深さ方向の位置関係等を容易に把握することができる。

次に、図１２（ｂ）に示す例について説明をする。図１２（ｂ）では、第１のＯＣＴＡ画像８０２にレンダリング画像に対応する箇所を示す領域１２０４が重畳され、レンダリング画像１２０５が第１のＯＣＴＡ画像８０２とは別の場所に、例えば第１のＯＣＴＡ画像８０２の周辺に表示されている。表示制御部２５は、第１のＯＣＴＡ画像８０２の領域１２０４が重畳されている箇所に対応するレンダリング画像の一部をレンダリング画像１２０５として、第１のＯＣＴＡ画像８０２の周辺に表示させる。なお、レンダリング画像１２０５が表示される箇所は、図１２（ｂ）に示すようにＯＣＴＡ画像の左側に限られず、ＯＣＴＡ画像と対比しやすい箇所であれば任意の箇所であってよい。

図１２（ｂ）に示す例では、例えば、ユーザがＵＩ１２０１を選択後、第１のＯＣＴＡ画像８０２上にマウスカーソルなどを移動させると、マウスカーソル周辺の一部の領域に領域１２０４が表示される。そして、第１のＯＣＴＡ画像８０２の周辺に、領域１２０４に対応するレンダリング画像１２０５が表示される。この場合では、ユーザが注目したい部分のＯＣＴＡ画像とレンダリング画像とを同時に観察できる状態で、レンダリング画像を表示することができる。このため、ＯＣＴＡ画像とレンダリング画像が対比しやすい状態で表示される。これにより、ユーザは、注目したい血管交差部等の深さ方向の位置関係等を容易に把握することができる。

上記のように、本実施例に係る画像処理装置２０では、表示制御部２５はＯＣＴＡ画像と、レンダリング画像の一部とを、表示部５０に並べて表示させる、又は重畳させて表示させる。このため、ＯＣＴＡ画像とレンダリング画像が対比しやすい状態で表示されるため、ユーザは血管等の深さ方向の位置関係を容易に把握することができる。

特に、表示制御部２５は、レンダリング画像におけるユーザの指示に応じた箇所の画像を、表示部５０にＯＣＴＡ画像と並べて表示させる、又は重畳させて表示させる。このため、ユーザが注目する領域のみが対比しやすい状態で表示されるため、ユーザは、注目したい血管交差部の深さ方向の位置関係を容易に把握することができる。

また、表示制御部２５は、表示部５０において、三次元断層データをボリュームレンダリングしたレンダリング画像を断層画像に重畳表示又は断層画像の周囲に表示させることもできる。図１２（ｃ）は第１の断層画像８０３に三次元断層データをボリュームレンダリングしたレンダリング画像の一部を重畳表示する例を示す。表示制御部２５は、レンダリング画像１２０６が重畳される第１の断層画像８０３の箇所に対応するレンダリング画像の一部をレンダリング画像１２０６として、第１の断層画像８０３に重畳表示させる。

図１２（ｃ）に示す例では、ユーザがＵＩ１２０１を選択後、第１の断層画像８０３上にマウスカーソルなどを移動させると、マウスカーソル周辺の一部の領域に当該領域に対応するレンダリング画像１２０６が表示される。これにより、ユーザは断層画像の注目したい部分について立体的な断層の構造を容易に把握することができる。また、断層画像の場合も図１２（ｂ）のように、断層画像とは別の領域にレンダリング画像を表示してもよい。

なお、ＯＣＴＡ画像に対してレンダリング画像１２０３を生成する際の視点は、実施例２と同様に、ＸＹ面方向の正面視の視点とされる。ここで、レンダリング画像１２０３を生成する際の視点は、正面視の視点だけに限られず、上述のようにある程度の角度を有してもよい。この場合の角度は、マウスホイールやキーボード、画面内のＵＩの操作、タッチパネル式の画面操作により、変更されることができる。

一方で、断層画像に対してレンダリング画像１２０６を生成する際の視点は、実施例３と同様に、ＸＺ面、又はＹＺ面方向に対する視点とされる。また、この場合の視点についても、ある程度の角度を有するように変更することができるものとする。

このような場合には、レンダリング画像が対応するＯＣＴＡ画像又は断層画像に応じて、適切な視点のレンダリング画像を表示することができる。このため、ユーザは、観察する画像の種類に応じて、観察目的に適した視点方向からの正面画像を確認することができる。

なお、本実施例においては詳細の説明を省略したが、図１２（ａ）乃至図１２（ｃ）において、ＵＩ１２０２において拡大表示が選択されている場合には、各レンダリング画像の代わりに、それぞれの画像の一部が拡大された画像が表示される。なお、各画像の拡大方法は既知の任意の方法で行われてよい。また、レンダリング画像を表示する際には、当該レンダリング画像を拡大表示してもよい。

また、本実施例では、表示制御部２５が表示部５０に、ステップＳ３０８で生成されたレンダリング画像をＯＣＴＡ画像に対して部分的に表示させた。これに対して、レンダリング部２２６が、ＯＣＴＡ画像に対して選択された領域のみについてレンダリング画像を生成してもよい。この場合には、表示制御部２５が、表示部５０において、生成されたレンダリング画像の全体をＯＣＴＡ画像の当該選択された領域に重畳して表示させたり、ＯＣＴＡ画像の周囲に表示させたりすることができる。なお、このような場合には、レンダリング部２２６が、ＯＣＴＡ画像に対して選択された領域に応じて、レンダリング画像を随時生成し、表示制御部２５が、表示されるレンダリング画像を生成されたレンダリング画像に随時更新することができる。

（実施例５）
実施例１乃至４においては、血管交差部等の深さ方向の位置関係等を観察可能な画像を提供するために、三次元データをボリュームレンダリングした画像を提供する例について説明をした。これに対し、実施例５では、色情報を用いて血管交差部等の深さ方向の位置関係等を観察可能な画像を生成する方法について説明する。

以下、図１３乃至図１４（ｂ）を参照して、本実施例による画像処理システムについて述べる。以下、本実施例に係る画像処理システムによる画像処理について、実施例１に係る画像処理との違いを中心として説明する。なお、実施例１に係る画像処理システム１の構成及び処理と同様である、本実施例に係る画像処理システムの構成及び処理については、同一の参照符号を用いて示し、説明を省略する。

図１３は、本実施例による画像処理システム２の概略的な構成を示す。本実施例による画像処理システム２では、画像処理装置１３０の画像処理部１３２において、レンダリング部２２６に代えて色相画像生成部１３２６が設けられている。

色相画像生成部１３２６は、三次元モーションコントラストデータに対して、深さ位置に応じた色付けを行ったＯＣＴＡ画像（色相画像）を生成する。具体的には、色相画像生成部１３２６は、所定のトーンカーブを用いて、ＯＣＴＡ画像を生成する生成範囲内における三次元モーションコントラストデータの深さ位置に応じた色情報を有する画素値を決定し、色相画像を生成する。

表示制御部２５は、眼底画像や断層画像、通常のＯＣＴＡ画像と同様に、色相画像生成部１３２６が生成した色相画像を表示部５０に表示させることができる。

次に、本実施例に係る一連の画像処理について説明する。本実施例に係る画像処理は、主に、第２の正面画像生成処理（ステップＳ３０８）及び表示処理（ステップＳ３０９）において、実施例１に係る画像処理と異なるため、以下、これらの処理について説明する。

本実施例に係る第２の正面画像生成処理（ステップＳ３０８）では、色相画像生成部１３２６が、ＯＣＴＡ画像を生成する生成範囲内における三次元モーションコントラストデータの深さ位置に応じた色情報を有する色相画像を生成する。具体的には、色相画像生成部１３２６は、所定のトーンカーブを用いて、ＯＣＴＡ画像を生成する生成範囲内における三次元モーションコントラストデータの深さ位置に応じた色情報を有する画素値を決定し、色相画像を生成する。

より具体的には、まず、色相画像生成部１３２６が色相画像を生成するための三次元モーションコントラストデータの深さ方向の範囲（生成範囲）を取得する。色相画像生成部１３２６は、正面画像生成部２２３がＯＣＴＡ画像を生成するための生成範囲を、色相画像を生成するための生成範囲として取得することができる。なお、色相画像を生成するための生成範囲は、正面画像生成部２２３がＯＣＴＡ画像を生成するための生成範囲と厳密に一致する必要はなく、互いに対応していれば、多少広く又は狭くてもよい。

色相画像生成部１３２６は、生成範囲内の三次元モーションコントラストデータに対して最大値投影法により各画素位置における代表値を決定する。最大値投影法では、各Ａスキャンで得られたデータにおける生成範囲内の最大値、又はある程度の厚みを持った範囲の最大値（ｓｌａｂ ＭＩＰ）を各画素の代表値とする。ここで、図１４（ａ）に、最大値投影法により、生成範囲の上端及び下端に対応する境界線８１８，８１９の範囲のモーションコントラストデータに基づいて生成された通常のＯＣＴＡ画像１４０２の一例を示す。色相画像生成部１３２６は、各画素位置における代表値である、生成範囲内の最大値を有するモーションコントラストデータの深さ位置に基づいて色付けを行う。これにより、ＯＣＴＡ画像１４０２に対応する、色情報を有する画素値からなる色相画像を生成する。

本実施例では、色相画像生成部１３２６は、図１４（ｂ）に示すようなトーンカーブ１４００を用いて、モーションコントラストデータの深さ位置に基づいて色付けを行う。本実施例では、生成範囲の上端に近いモーションコントラストデータは青系とし、上端からの距離が遠くなるほど赤系になるように色付けを行うことができる。トーンカーブ１４００の横軸は深さ方向の位置、縦軸はＲＧＢの各要素の出力である。縦軸の原点は０であり、最大値は２５５となる。

また、横軸の０に対応する基準位置は、生成範囲の上端に対応する境界線８１８の位置とし、最大値は境界線８１８の位置から所定の深さ（例えば、数１０μｍ）だけ深い方向にオフセットされた位置とする。なお、本実施例においては、基準位置を境界線８１８の位置としているが、色相画像の生成範囲が表層から深層へと変更された場合には、変更された生成範囲の上端に対応する境界線の位置に応じて、横軸の基準位置も変更される。なお、基準位置を生成範囲の下端に対応する境界線８１９の位置とし、境界線８１９の位置から所定の深さだけ浅い方向にオフセットされた位置を最大値（又はより深い方向を正とした場合には最小値）としてもよい。

さらに、横軸の基準位置は、必ずしも境界線の形状に合わせる必要はなく、境界線が接する水平線、又は所定の傾きを持った直線等を基準位置としてもよい。また、トーンカーブ１４００の横軸の基準位置から最大値までの範囲は、常に同じである必要はない。例えば、網膜表層を生成範囲とする場合と、網膜全層を生成範囲とする場合とでは、横軸の最大値を変更し、基準位置から最大値までの範囲を異ならせてもよい。表層の厚みは数１０μｍであるが、全層の厚みは数１００μｍある。そのため、表層だけを生成範囲とする場合に比べて、全層を生成範囲とする場合の最大値を大きくするようにしてもよい。

色相画像生成部１３２６は、このようにトーンカーブ１４００を用いて、各画素値を、深さ方向に位置に対応したＲＧＢの各要素の出力の加算値によって決定する。これにより、色相画像生成部１３２６は、血管の深さ方向の位置を色相で示した色情報を有するＯＣＴＡ画像である色相画像を生成することができる。なお、色相画像生成部１３２６は、各画素位置におけるモーションコントラストデータの最大値が所定の閾値以下の場合は、画素値を黒などとすることもできる。この場合には、モーションコントラストデータの値が小さい画素位置には色付けがされないため、動きのある部分と無い部分とを視覚的に分かりやすくすることができる。

なお、色相画像生成部１３２６は、最大値投影法ではなく、積算値を用いる方法で色相画像を生成してもよい。この場合、色相画像生成部１３２６は、生成範囲の上端から下端に向かってモーションコントラストデータの値を積算していき、積算値が所定の閾値を超えた場所の深度位置に応じて色付けすることができる。

積算方法としては、単純にモーションコントラストデータの値を積算してもよいが、連結性を考慮した積算方法を採用してもよい。連結性を考慮した積算方法では、生成範囲の上端から下端に向かって積算を行う際に、所定の閾値以上であるモーションコントラストデータの値のみを積算するようにする。

例えば、閾値以上のモーションコントラストデータの値が連続している場合のみ積算を行い、閾値以下のモーションコントラストデータの値が検出された時点で、それまでの積算値Ｉ０と深さ位置Ｚ０を一旦保存する。そして、続けて深さ方向にモーションコントラストデータの値と閾値の対比を行い、モーションコントラストデータの値が閾値以上となった時点で新しく積算を開始し、閾値以下の値が検出された時点で積算値Ｉ１と深度位置Ｚ１を保存する。当該処理を生成範囲の下端まで続けて、保存された積算値Ｉのうち最大となる積算値に対応する深さ位置に応じて、トーンカーブ１４００から当該画素位置の画素値を決定してもよい。又は、連続した積算値の平均値が閾値以上となった箇所全ての深さ位置に応じた色を合成して画素値を決定してもよい。

ステップＳ３０８において、色相画像生成部１３２６が色相画像を生成したら、処理はステップＳ３０９に移行する。ステップＳ３０９では、表示制御部２５が、図８等に示される表示画面８００のレンダリング画像８０４と同様に、色相画像を第１のＯＣＴＡ画像８０２等と並べて表示する。

上述のように、通常のＯＣＴＡ画像は色情報を持たない画像であるため、通常のＯＴＡ画像を観察するだけでは、被検体の深さ方向の位置関係を把握することは困難である。これに対し、色相画像は、被検体の深さ方向の位置に応じた色情報が付加されたＯＣＴＡ画像であるため、ユーザは色相画像の色情報に基づいて被検体における血管等の深さ方向の位置を識別することができる。このため、通常のＯＣＴＡ画像と色相画像が対比しやすい状態で表示されることで、ユーザは血管の交差部等の深さ方向の位置関係等を容易に把握することができる。

上記のように、本実施例に係る画像処理装置１３０では、色相画像生成部１３２６が、三次元のモーションコントラストデータの少なくとも一部及び被検体の深さ方向の位置に応じた色情報を用いて色相画像（第２の正面画像）を生成する。

表示制御部２５は、ＯＣＴＡ画像と、色相画像とを並べて表示部５０に表示する。このため、通常のＯＣＴＡ画像と色相画像が対比しやすい状態で表示されるため、ユーザは血管の交差部等の深さ方向の位置関係等を容易に把握することができる。

なお、トーンカーブ１４００の色相の配置は任意であってよい。また、本実施例では、トーンカーブ１４００におけるＲＧＢの各傾きは直線状の傾きとしたが、曲線状の傾きとしてもよい。

また、本実施例で生成した色相画像は、第１のＯＣＴＡ画像８０２と並べて表示される構成に限られない。実施例１のように、色相画像が第１のＯＣＴＡ画像８０２と切り替え可能に表示されてもよいし、実施例４のように、色相画像の一部が第１のＯＣＴＡ画像８０２に重畳して表示されたり、第１のＯＣＴＡ画像の周辺に表示されたりしてもよい。また、実施例４のように表示される場合には、拡大された色相画像が表示されてもよい。さらに、ＯＣＴＡ画像上の選択された領域についてのみ色相画像を生成し、生成された色相画像の全体をＯＣＴＡ画像上に重畳して表示させたり、ＯＣＴＡ画像の周辺に表示させたりしてもよい。

（変形例１）
実施例１乃至５では、主にＯＣＴＡ画像とレンダリング画像又は色相画像を並べて表示する例について示したが、上述のように、これらの画像は同じ領域において切り替えて表示されてもよい。例えば、第１、第２のＯＣＴＡ画像を表示している領域において、ＯＣＴＡ画像とボリュームレンダリングデータとを切り替えて表示するようにしてもよい。これにより、同じ領域で画像を切り替えて表示することができるので、部位の空間的な対応を把握しやすくなる。

（変形例２）
実施例１乃至５では、レンダリング部２２６は直接法であるレイキャスティング法を用いてボリュームレンダリングを行う方法について説明をしたが、ボリュームレンダリングを行う方法はこれに限らない。例えば、レンダリング部２２６は、間接法を用いて、等値面としてボリュームデータを表現し、それを表示するようにしてもよい。

（変形例３）
画像処理装置２０は、被検体を観察する際の観察モードとして、断層画像を観察するＯＣＴモードと、ＯＣＴＡ画像を観察するＯＣＴＡモードとを備えていてもよい。この場合、表示制御部２５は、ＯＣＴモードでは、レンダリング画像の初期画像として、ＸＹ面に対して角度を持った視点及び三次元断層データの全範囲に基づいて生成されたレンダリング画像を表示部５０に表示させる。これに対し、表示制御部２５は、ＯＣＴＡモードでは、ＯＣＴモードでの視点よりもＸＹ面に対して正面視に近い視点に基づいて生成されたレンダリング画像を、レンダリング画像の初期画像として表示部５０に表示させる。また、ＯＣＴＡモードでは、ＯＣＴＡ画像の生成範囲に対応するデータ範囲の三次元モーションコントラストデータに基づいてレンダリング画像を生成することもできる。

この場合には、ユーザは、ＯＣＴモードでは、レンダリング画像により被検体の断層の深さ方向を把握しやすく、ＯＣＴＡモードでは、レンダリング画像により血管等の深さ方向の位置関係を把握しやすい。そのため、ユーザは、観察モードに応じたレンダリング画像を観察することで、観察の目的に合った被検体の組織等を容易に観察することができる。

（変形例４）
変形例４では、図１５を参照して、ステップＳ３０６の高画質データ生成処理のより具体的な一例について説明する。図１５は、本変形例に係る高画質データ生成処理のフローチャートである。本変形例に係る高画質データ生成処理では、アーティファクトを低減して、より高画質な三次元のモーションコントラストデータを生成することができる。特に本変形例に係る高画質データ生成処理では、複数のモーションコントラストデータの位置合わせをすると共に、加算平均を行うために位置合わせの基準となるモーションコントラストデータを選択することを特徴としている。

本変形例に係る高画質データ生成処理が開始されると、処理はステップＳ１５０１に移行する。ステップＳ１５０１では、正面画像生成部２２３が所定の生成範囲内のモーションコントラストデータに基づいて、位置合わせ用のＯＣＴＡ画像を生成する。本変形例では、生成範囲上端をＩＬＭ／ＮＦＬ境界線とし、生成範囲下端をＧＣＬ／ＩＰＬから深度方向に５０μｍ下端の境界線とする。なお、位置合わせ用のＯＣＴＡ画像を生成するための生成範囲は、他の範囲に予め設定されてもよいし、ユーザによって指定されてもよい。

ステップＳ１５０２では、高画質データ生成部２２５が生成された位置合わせ用の全てのＯＣＴＡ画像を基準画像として、他のＯＣＴＡ画像との位置合わせ（第１の位置合わせ）を行う。高画質データ生成部２２５は、それぞれのＯＣＴＡ画像についてｘ軸方向及びｙ軸方向の位置合わせパラメータや回転パラメータ、画像評価値、画像類似度等を求め、記憶部２４に記憶させる。また、高画質データ生成部２２５は、各ＯＣＴＡ画像についてアーティファクト検出を行い、検出したアーティファクトに対するマスク画像を生成し、記憶部２４に記憶させることができる。

ステップＳ１５０３では、高画質データ生成部２２５が、ステップＳ１５０２で行った位置合わせの結果に基づいて基準画像を選択する。具体的には、高画質データ生成部２２５は、各位置合わせパラメータ、画像評価値、及びマスク画像から求めたアーティファクト領域評価値に基づいて基準画像の選択基準となる評価値を算出し、当該評価値に基づいて基準画像を選択する。

ステップＳ１５０４では、高画質データ生成部２２５が、選択した基準画像を用いてＯＣＴＡ画像のｘ軸方向の位置合わせ（第２の位置合わせ）を行う。高画質データ生成部２２５は、基準画像と他のＯＣＴＡ画像について、ｘ軸方向の各ラインに対して位置合わせを行う。また、高画質データ生成部２２５は、ステップＳ１５０２で求めた回転パラメータに基づいて各ＯＣＴＡ画像の回転方向の位置合わせを行う。

ステップＳ１５０５では、高画質データ生成部２２５が、基準画像に対応する三次元データを基準データとして用いて、三次元モーションコントラストデータ及び三次元断層データのそれぞれについて深さ方向の大局的な位置合わせ（第３の位置合わせ）を行う。より具体的には、高画質データ生成部２２５は、まず、三次元モーションコントラストデータ毎及び三次元断層データ毎にデータ内の深さ方向の位置及び傾きを合わせる。その後、高画質データ生成部２２５は、基準データを用いて、複数の三次元モーションコントラストデータ間及び複数の三次元断層データ間で深さ方向の位置及び傾きを合わせる。そして、高画質データ生成部２２５は、第１の位置合わせ、第２の位置合わせ、及び第３の位置合わせで求めた位置合わせパラメータに基づいて、各三次元データを変形する。

ステップＳ１５０６では、高画質データ生成部２２５が、基準データと対象データの間において、各断層画像内の特徴部に位置合わせ用の領域を複数設定し、設定した領域ごとにｘ軸方向と深さ方向の局所的な位置合わせ（第４の位置合わせ）を行う。高画質データ生成部２２５は、位置合わせ結果に基づいて、各三次元データを変形する。

ステップＳ１５０７では、高画質データ生成部２２５が、変形した複数の三次元モーションコントラストデータを加算平均する。また、高画質データ生成部２２５は、変形した複数の三次元断層データを加算平均する。

ステップＳ１５０８では、高画質データ生成部２２５が、加算平均した三次元データについて、ステップＳ１５０５で求めた、基準データ内における深さ方向の位置合わせパラメータに基づいて、三次元データの深さ方向の位置を位置合わせ前の状態に戻す。その後、処理はステップＳ３０７へ移行する。

本変形例による高画質データ生成処理によれば、固視微動などにより、モーションコントラストデータにアーティファクトが存在する場合においても、高画質な三次元のモーションコントラストデータを取得することができる。

なお、本変形例では、加算平均後の三次元データを深さ方向の位置合わせ前の状態に戻したが、当該処理を行わなくてもよい。この場合には、ステップＳ３０５で検出された層境界の情報と高画質化された三次元データとにおいて深さ方向にずれが生じる。そのため、検出部２２４は、高画質データ生成処理後に、ＯＣＴＡ画像生成用に改めて層境界の検出処理を行ってもよいし、ステップＳ３０５で検出された層境界を、基準データの深さ方向の位置合わせパラメータに応じて変形させてもよい。

なお、高画質データ生成部２２５は、第１乃至第４の位置合わせ処理やアーティファクト除去処理、加算平均処理等をそれぞれ行うための別々の構成要素を用いて構成されてもよい。

（変形例５）
実施例１乃至５では、複数の三次元データの加算平均を行うことで高画質化された三次元データに基づいて、詳細な正面画像を生成する場合について説明した。しかしながら、詳細な正面画像の生成処理を適用する対象はこれに限られない。詳細な正面画像の生成処理は、ある程度の精度を有する三次元データであれば、１つの三次元データに対して適用されてもよい。詳細な正面画像の生成処理、例えば、複数の三次元データを使用しない任意の処理によりノイズ除去や強調処理等が行われた１つの三次元データ等に適用されてもよい。

（変形例６）
実施例１乃至５では、取得部２１は、ＯＣＴ装置１０で取得された干渉信号や断層画像生成部２２１で生成された三次元断層データを取得した。しかしながら、取得部２１がこれらの信号を取得する構成はこれに限られない。例えば、取得部２１は、画像処理装置２０とＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。この場合、撮影に関する処理を省略し、撮影済みの三次元の断層データを取得することができる。そして、ステップＳ３０５で高画質データ生成処理を行う。なお、取得部２１は、三次元断層データだけでなく、当該データから生成された三次元モーションコントラストデータを取得してもよい。この場合には、モーションコントラストデータの生成処理も省略することができる。そのため、断層情報の取得から正面画像の表示までの一連の処理時間を短くすることができる。

なお、ＯＣＴ装置１０の構成は、上記の構成に限られず、ＯＣＴ装置１０に含まれる構成の一部をＯＣＴ装置１０と別体の構成としてもよい。また、ボタンなどのユーザーインターフェイスや表示のレイアウトは上記で示したものに限定されるものではない。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、実施例を参照して本発明について説明したが、本発明は上記実施例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

２０：画像処理装置、２１：取得部、２５：表示制御部、５０：表示部

Claims (15)

1. 被検体の三次元のモーションコントラストデータの少なくとも一部を用いてモーションコントラスト正面画像である第１の正面画像を生成し、前記三次元のモーションコントラストデータの少なくとも一部を用いて、前記第１の正面画像とは異なる第２の正面画像であって、前記被検体の深さ方向の位置を識別可能な前記第２の正面画像を生成する生成部と、
   前記第１の正面画像と前記第２の正面画像との少なくとも１つを表示部に表示させる表示制御部と、
   を備える、画像処理装置。
2. 前記表示制御部は、前記第１の正面画像と前記第２の正面画像とを前記表示部に、並べて表示させる、切り換え可能に表示させる、又は重畳させて表示させる、請求項１に記載の画像処理装置。
3. 前記生成部は前記モーションコントラスト正面画像を生成するための深さ範囲に対応する範囲の前記三次元のモーションコントラストデータを用いて前記第２の正面画像を生成する、請求項１又は２に記載の画像処理装置。
4. 前記第２の正面画像は、前記三次元のモーションコントラストデータの少なくとも一部をボリュームレンダリングすることで得られた画像である、請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記第２の正面画像は、前記三次元のモーションコントラストデータの少なくとも一部を前記被検体の深さ方向に交差する方向に対する正面視の視点でボリュームレンダリングすることで得られた画像である、請求項４に記載の画像処理装置。
6. 前記表示制御部は、前記被検体の三次元の断層データの少なくとも一部をボリュームレンダリングすることで得られた第３の画像を前記表示部に表示させる、請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記第２の正面画像の視点は、前記第３の画像の視点よりも前記被検体の深さ方向に交差する方向に対してより正面視に近い視点である、請求項６に記載の画像処理装置。
8. 前記第３の画像は、前記三次元の断層データの少なくとも一部を前記被検体の深さ方向に平行な方向に対する正面視の視点でボリュームレンダリングすることで得られた画像である、請求項６又は７に記載の画像処理装置。
9. 前記表示制御部は、前記第２の正面画像と前記第３の画像とを切り替え可能に前記表示部に表示させる、請求項６乃至８のいずれか一項に記載の画像処理装置。
10. 該画像処理装置は、前記三次元の断層データの少なくとも一部を用いて得た断層画像を観察するモードと、前記モーションコントラスト正面画像を観察するモードとを備え、
    前記表示制御部は、
    前記断層画像を観察するモードでは、前記第３の画像を初期画像として前記表示部に表示させ、
    前記モーションコントラスト正面画像を観察するモードでは、前記第２の正面画像を初期画像として前記表示部に表示させる、請求項６乃至９のいずれか一項に記載の画像処理装置。
11. 前記第２の正面画像は、前記三次元のモーションコントラストデータの少なくとも一部及び前記被検体の前記深さ方向の位置に応じた色情報を用いて得られた画像である、請求項１乃至３のいずれか一項に記載の画像処理装置。
12. 前記モーションコントラスト正面画像は、色情報を持たない画像である、請求項１１に記載の画像処理装置。
13. 前記表示制御部は、前記第２の正面画像におけるユーザの指示に応じた箇所の画像を、前記表示部に前記モーションコントラスト正面画像と並べて表示させる又は重畳させて表示させる、請求項１乃至１２のいずれか一項に記載の画像処理装置。
14. 被検体の三次元のモーションコントラストデータの少なくとも一部を用いてモーションコントラスト正面画像である第１の正面画像を生成する工程と、
    前記三次元のモーションコントラストデータの少なくとも一部を用いて、前記第１の正面画像とは異なる第２の正面画像であって、前記被検体の深さ方向の位置を識別可能な前記第２の正面画像を生成する工程と、
    前記第１の正面画像と前記第２の正面画像との少なくとも１つを表示部に表示させる工程と、
    を含む、画像処理方法。
15. プロセッサーによって実行されると、該プロセッサーに請求項１４に記載の画像処理方法の各工程を実行させるプログラム。

Images