JP2022121202A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2022121202A
JP2022121202A JP2021018421A JP2021018421A JP2022121202A JP 2022121202 A JP2022121202 A JP 2022121202A JP 2021018421 A JP2021018421 A JP 2021018421A JP 2021018421 A JP2021018421 A JP 2021018421A JP 2022121202 A JP2022121202 A JP 2022121202A
Authority
JP
Japan
Prior art keywords
image
data
display
quality
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021018421A
Other languages
English (en)
Inventor
晃弘 櫛田
Akihiro Kushida
好彦 岩瀬
Yoshihiko Iwase
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021018421A priority Critical patent/JP2022121202A/ja
Publication of JP2022121202A publication Critical patent/JP2022121202A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 解析処理等の対象となる関心領域を好適に設定可能に構成する。【解決手段】 画像処理装置は、被検体における互いに対応する領域のＳＬＯ画像及びＯＣＴＡ画像を用いて、操作者の指示に応じて変更可能な透過率によりブレンド処理して得たブレンド画像を、表示手段に表示させる表示制御手段と、表示されたブレンド画像に関心領域を設定する設定手段と、ＳＬＯ画像とＯＣＴＡ画像とのうち少なくとも一つの画像における該設定された関心領域に対して処理を実行する実行手段と、を備える。【選択図】 図３

Description

開示の技術は、画像処理装置および画像処理方法に関する。
ＯＣＴ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）などの医用断層画像撮影装置は網膜層内部の状態を三次元的に観察することが可能であり、例えばＡＭＤのような眼科網膜疾患の診断により有用である。近年、臨床現場で用いられているＯＣＴには、例えば、高速に画像を取得する方法として、広帯域光源を用い、分光器でインターフェログラムを取得するＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ ｄｏｍａｉｎ ＯＣＴ）、と光源として高速波長掃引光源を用いることで、単一チャネル光検出器でスペクトル干渉を計測する手法によるＳＳ－ＯＣＴ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）の２方式に大別されるが、最近は両方式のＯＣＴにおいて、造影剤を用いない血管を造影するＯＣＴ血管造影法（ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ：ＯＣＴＡ）が注目されてきた。ＯＣＴＡは、ＯＣＴにより取得したＯＣＴ画像からモーションコントラストデータを生成する。ここで、モーションコントラストデータとは、測定対象の同一断面をＯＣＴで繰り返し撮影し、その撮影間における測定対象の時間的な変化を検出したデータであり、例えば、複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算される。
またＯＣＴＡ画像の表示に際しては、取得された三次元ＯＣＴ画像から算出された三次元モーションコントラストデータを二次元平面に投影することにより二次元化したＯＣＴＡ正面画像として表示されることが通例となりつつあるが、この際、投影するモーションコントラストデータの深さ方向の範囲を指定することで二次元正面画像を生成する技術が特許文献１に開示されている。
特開２０１７－６１７９号公報
しかしながら、ＯＣＴデータまたはモーションコントラストデータの解析処理等については、種々の面で改善の余地があり得る。例えば、ＯＣＴデータまたはモーションコントラストデータの解析処理等の対象となる関心領域を設定する際に、各々の正面画像だけでは適切な設定が難しい場合があった。
なお、上記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の１つとして位置付けることができる。
開示の技術の目的の一つは、上記課題に鑑みてなされたものであり、解析処理等の対象となる関心領域を好適に設定可能に構成することである。
開示の画像処理装置の一つは、被検体における互いに対応する領域のＳＬＯ画像及びＯＣＴＡ画像を用いて、操作者の指示に応じて変更可能な透過率によりブレンド処理して得たブレンド画像を、表示手段に表示させる表示制御手段と、前記表示されたブレンド画像に関心領域を設定する設定手段と、前記ＳＬＯ画像と前記ＯＣＴＡ画像とのうち少なくとも一つの画像における前記設定された関心領域に対して解析または処理を実行する実行手段と、を備える。
開示の技術の一つによれば、解析処理等の対象となる関心領域を好適に設定可能に構成することができる。
第１の実施形態に係る画像処理装置の構成を示すブロック図である。 第１の実施形態に係る断層画像撮影装置を説明する図である。 視神経乳頭の正面画像を表示する表示画面と、ブレンド処理で得たブレンド画像を表示する表示画面を説明する図である。 第１の実施形態に係る画像処理装置の構成を示すブロック図である。 第１の実施形態に係る解析処理を示すフローチャートである。 第４の実施形態に係る高画質化処理に関するニューラルネットワークの構成の一例を示す。 第４の実施形態に係る画像処理の流れの一例を示すフロー図である。 第４の実施形態に係る高画質化処理に関するニューラルネットワークの構成の一例を示す。 変形例６に係る機械学習エンジンとして用いられるニューラルネットワークの構成の一例を示す。 変形例６に係る機械学習エンジンとして用いられるニューラルネットワークの構成の一例を示す。 第５の実施形態に係るユーザーインターフェースの一例を示す。 高画質化処理に関する教師画像の一例を示す。 高画質化処理に関する入力画像の一例を示す。 第５の実施形態に係るユーザーインターフェースの一例を示す。 第４の実施形態に係る高画質化処理に関するニューラルネットワークの構成の一例を示す。 ＯＣＴ正面画像の透過率とＯＣＴ断層像の透過率を個別に設定するユーザーインターフェースの一例を示す。 ブレンド処理に用いる第２の医用画像を選択可能にするユーザーインターフェースの一例を示す。 第３の医用画像のブレンド処理を追加するユーザーインターフェースの一例を示す。 ブレンド処理の対象画像と処理順を設定する一例を示す。 透過率設定の選択を切り替える一例を示す。 血管領域と非血管領域の透過率を個別に設定するユーザーインターフェースの一例を示す。 属性値を付与する画像を設定する一例を示す。 画素値ごとに透過率を設定する一例を示す。 画素ごとの透過率設定に使用する画像を設定する一例を示す。
［第１の実施形態］
本実施形態に係る画像処理装置は、ＯＣＴＡデータの解析に対してＯＣＴデータの正面画像を参照しながら、解析位置や解析領域を設定しながら解析処理を行う場合について説明する。以下、図面を参照しながら、本発明の第１の実施形態に係る画像処理装置を備える画像処理システムについて説明する。
（画像処理装置の構成）
本実施形態の画像処理装置１０１の構成と他機器との接続について図１を用いて説明する。画像処理装置１０１は断層画像撮影装置１００に接続されたパーソナルコンピュータ（ＰＣ）であり、各機能ブロックである、画像取得部１０１－０１、撮影制御部１０１－０３、画像処理部１０１－０４、表示制御部１０１－０５の有する各機能は、図示しない演算処理装置ＣＰＵが記憶部１０１－０２に記憶されたソフトウェアモジュールを実行することで実現される。もちろん本発明はこのようなＰＣの構成に限定されず、例えば画像処理部１０１－０４をＡＳＩＣ等の専用のハードウェアで実現してもよいし、表示制御部１０１－０５をＣＰＵとは異なるＧＰＵ等の専用プロセッサを用いて実現してもよい。さらに断層画像撮影装置１００と画像処理装置１０１との接続はネットワークを介した構成であってもよいし、外部記憶部１０２もネットワークワーク上に置き、データを複数の画像処理装置で共有できるように構成してもよい。
画像取得部１０１－０１は被検体を断層画像撮影装置１００により撮影したＳＬＯ眼底像や断層画像の信号データを取得し画像を生成する機能ブロックであり、断層画像生成部１０１―１１及びモーションコントラストデータ生成部１０１－１２を有する。断層画像生成部１０１―１１は断層画像撮影装置１００により撮影された断層画像の信号データ（干渉信号）を取得して信号処理により断層画像を生成し、生成した断層画像を記憶部１０１－０２に格納する。モーションコントラストデータ生成部１０１－１２は、断層画像生成部１０１―１１が生成した同一部位（被検体における互いに対応する領域）の複数の断層画像に基づいて、モーションコントラストデータを生成する。
まず断層画像生成部１０１－１１は画像取得部１０１－０１が取得した干渉信号に対して波数変換及び高速フーリエ変換（ＦＦＴ；Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）、絶対値変換（振幅の取得）を行うことで１クラスタ分の断層画像を生成する。
次に位置合わせ部１０１－４１は同一クラスタに属する断層画像同士を位置合わせし、重ねあわせ処理を行う。画像特徴取得部１０１－４４が該重ね合わせ断層画像から層境界データを取得する。本実施形態では層境界の取得法として可変形状モデルを用いるが、任意の公知の層境界取得手法を用いてもよい。なお層境界の取得処理は必須ではなく、例えばモーションコントラスト画像の生成を三次元のみで行い、深度方向に投影した二次元のモーションコントラスト画像を生成しない場合には層境界の取得処理は省略できる。モーションコントラストデータ生成部１０１－１２が同一クラスタ内の隣接する断層画像間でモーションコントラストを算出する。本実施形態では、モーションコントラストとして脱相関値Ｍｘｙを以下の式（１）に基づき求める。
Figure 2022121202000002
ここで、Ａｘｙは断層画像データＡの位置（ｘ，ｙ）における（ＦＦＴ処理後の複素数データの）振幅、Ｂｘｙは断層データＢの同一位置（ｘ，ｙ）における振幅を示している。０≦Ｍｘｙ≦１であり、両振幅値の差異が大きいほど１に近い値をとる。式（１）のような脱相関演算処理を（同一クラスタに属する）任意の隣接する断層画像間で行い、得られた（１クラスタあたりの断層画像数－１）個のモーションコントラスト値の平均を画素値として持つ画像を最終的なモーションコントラスト画像として生成する。
なお、ここではＦＦＴ処理後の複素数データの振幅に基づいてモーションコントラストを計算したが、モーションコントラストの計算法は上記に限定されない。例えば複素数データの位相情報に基づいてモーションコントラストを計算してもよいし、振幅と位相の両方の情報に基づいてモーションコントラストを計算してもよい。あるいは、複素数データの実部や虚部に基づいてモーションコントラストを計算してもよい。
また、本実施形態ではモーションコントラストとして脱相関値を計算したが、モーションコントラストの計算法はこれに限定されない。例えば二つの値の差分に基づいてモーションコントラストを計算してもよいし、二つの値の比に基づいてモーションコントラストを計算してもよい。
さらに、上記では取得された複数の脱相関値の平均値を求めることで最終的なモーションコントラスト画像を得ているが、本発明はこれに限定されない。例えば取得された複数の脱相関値の中央値、あるいは最大値を画素値として持つ画像を最終的なモーションコントラスト画像として生成してもよい。
撮影制御部１０１－０３は、断層画像撮影装置１００に対する撮影制御を行う機能ブロックであり、断層画像撮影装置１００に対して撮影パラメータの設定に関して指示することや、撮影の開始もしくは終了に関して指示することも含まれる。画像処理部１０１－０４は、位置合わせ部１０１－４１、合成部１０１－４２、補正部１０１－４３、画像特徴取得部１０１－４４、投影部１０１－４５、解析部１０１－４６を有する機能ブロックである。合成部１０１－４２は、例えば、合成法指定部１０１－４２１、同一モダリティ画像合成部１０１－４２２、異なる種類のモダリティ画像合成部１０１－４２３を有する。合成部１０１－４２は、複数の二次元画像からひとつの画像を合成する。具体的には、合成法指定部１０１－４２１は合成対象画像の種類（断層画像／モーションコントラスト画像／断層画像及びモーションコントラスト画像）と、合成処理法（重ね合わせ／貼り合わせ／並置表示）を指定する。同一モダリティ画像合成部１０１－４２２は、断層画像間、もしくはモーションコントラスト画像間の合成処理を行う。複数モダリティ画像合成部１０１－４２３は、断層画像―モーションコントラスト画像間の合成処理を行う。ここで、合成部１０１－４２は、モーションコントラストデータを高画質化する高画質化手段の一例である。なお、本実施形態においても、高画質化手段による処理として、合成部１０１－４２による処理の他に、例えば、後述する第４の実施形態における機械学習による高画質化処理を適用することが可能である。また、補正部１０１－４３は、モーションコントラスト画像内に生じるプロジェクションアーティファクトを抑制する処理を行う。ここで、プロジェクションアーティファクトは、網膜表層血管内のモーションコントラストが深層側（網膜深層や網膜外層・脈絡膜）に映り込み、実際には血管の存在しない深層側の領域に高い脱相関値が生じる現象を指す。例えば、補正部は、合成されたモーションコントラストデータにおけるプロジェクションアーティファクトを低減する処理を行う。すなわち、補正部１０１－４３は、合成されたモーションコントラストデータに対してプロジェクションアーティファクトを低減する処理を行う処理手段の一例に相当する。また、投影部１０１－４５は、画像特徴取得部１０１－４４が取得した境界位置に基づく深度範囲で断層画像もしくはモーションコントラスト画像を投影し、輝度正面画像（輝度断層画像）もしくはモーションコントラスト正面画像を生成する。このとき、任意の深度範囲で投影してよいが、本実施形態においては、網膜表層及び網膜外層の深度範囲で２種類の正面合成モーションコントラスト画像を生成する。また、投影法としては、最大値投影（ＭＩＰ；Ｍａｘｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ）・平均値投影（ＡＩＰ；Ａｖｅｒａｇｅ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ）のいずれかを選択することができる。ここで、モーションコントラスト正面画像を生成するための投影範囲は、不図示の選択リスト等に表示された既定の深度範囲セットから操作者が選択することにより変更することができる。また、投影範囲の指定に用いる層境界の種類とオフセット位置をユーザーインターフェースから変更したり、断層画像上に重畳された層境界データを入力部１０３から操作して移動させたりすることで、投影範囲を変更することができる。なお、表示部１０４に表示されるモーションコントラスト画像は、モーションコントラスト正面画像に限定されるものではなく、三次元的にレンダリングした三次元モーションコントラスト画像を表示してもよい。さらに、上述した投影法やプロジェクションアーティファクト抑制処理の有無を、例えばコンテキストメニューのようなユーザーインターフェースから選択することにより変更してもよい。例えば、プロジェクションアーティファクト抑制処理後のモーションコントラスト画像を三次元画像として表示部１０４に表示してもよい。また、解析部１０１－４６は、強調部１０１－４６１、抽出部１０１－４６２、計測部１０１－４６３、比較部１０１－４６４を有する機能ブロックである。ここで、抽出部１０１－４６２は、断層画像から網膜や脈絡膜の層境界、篩状板の前面や後面の境界、中心窩や視神経乳頭中心の位置を取得する。また、抽出部１０１－４６２は、モーションコントラスト正面画像から血管領域を抽出する。計測部１０１－４６３は、抽出された該血管領域や該血管領域を細線化することで取得した血管中心線データを用いて血管密度等の計測値を算出する。
画像処理装置１０１は、インターフェースを介して断層画像撮影装置１００、外部記憶部１０２、入力部１０３、表示部１０４と接続されることにより構成されている。画像処理装置１０１は、ステージ部１００－２の制御、アラインメント動作の制御を行う。外部記憶部１０２は、断層撮像用のプログラム、被検眼の情報（患者の氏名、年齢、性別など）と、撮影した画像（断層画像及びＳＬＯ画像・ＯＣＴＡ画像）や合成画像、撮影パラメータ、過去検査の画像データや計測データ、操作者が設定したパラメータなどを関連付けて保持している。
入力部１０３はコンピュータへの指示を行うための、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部１０３を介して、画像処理装置１０１や断層画像撮影装置１００へ指示を行う。表示部１０４は、例えばモニタであり、タッチＵＩがあってもよい。
（断層画像撮影装置の構成）
断層画像撮影装置１００は、眼部の断層画像を撮影する装置である。本実施形態の断層画像撮影装置１００における測定光学系及び分光器の構成について図２を用いて説明する。
本実施形態においては、断層画像撮影装置１００としてＳＤ－ＯＣＴを用いるものとする。これに限らず、例えばＳＳ－ＯＣＴを用いて構成してもよい。
測定光学系１００－１は前眼部像、被検眼のＳＬＯ眼底像、断層画像を取得するための光学系である。ステージ部１００－２は、測定光学系１００－１を前後左右に移動可能にする。ベース部１００－３は、後述の分光器を内蔵している。
まず、測定光学系１００－１の内部について説明する。被検眼２００に対向して対物レンズ２０１が設置され、その光軸上に第１ダイクロイックミラー２０２及び第２ダイクロイックミラー２０３が配置されている。これらのダイクロイックミラーによってＯＣＴ光学系の光路２５０、ＳＬＯ光学系と固視灯用の光路２５１、及び前眼観察用の光路２５２とに波長帯域ごとに分岐される。ＳＬＯ光学系と固視灯用の光路２５１は、ＳＬＯ走査手段２０４、レンズ２０５及び２０６、ミラー２０７、第３ダイクロイックミラー２０８、ＡＰＤ（Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏｄｉｏｄｅ）２０９、ＳＬＯ光源２１０、固視灯２１１を有している。ミラー２０７は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、ＳＬＯ光源２１０による照明光と、被検眼からの戻り光とを分離する。第３ダイクロイックミラー２０８はＳＬＯ光源２１０の光路と固視灯２１１の光路とに波長帯域ごとに分離する。ＳＬＯ走査手段２０４は、ＳＬＯ光源２１０から発せられた光を被検眼２００上で走査するものであり、Ｘ方向に走査するＸスキャナ、Ｙ方向に走査するＹスキャナから構成されている。本実施形態では、Ｘスキャナは高速走査を行う必要があるためポリゴンミラーで、Ｙスキャナはガルバノミラーによって構成されている。レンズ２０５はＳＬＯ光学系及び固視灯２１１の焦点合わせのため、不図示のモータによって駆動される。ＳＬＯ光源２１０は７８０ｎｍ付近の波長の光を発生する。ＡＰＤ２０９は、被検眼からの戻り光を検出する。固視灯２１１は可視光を発生して被検者の固視を促すものである。ＳＬＯ光源２１０から発せられた光は、第３ダイクロイックミラー２０８で反射され、ミラー２０７を通過し、レンズ２０６及び２０５を通ってＳＬＯ走査手段２０４によって被検眼２００上で走査される。被検眼２００からの戻り光は、照明光と同じ経路を戻った後、ミラー２０７によって反射され、ＡＰＤ２０９へと導かれ、ＳＬＯ眼底像が得られる。固視灯２１１から発せられた光は、第３ダイクロイックミラー２０８、ミラー２０７を透過し、レンズ２０６及び２０５を通り、ＳＬＯ走査手段２０４によって被検眼２００上の任意の位置に所定の形状を作り、被検者の固視を促す。前眼観察用の光路２５２には、レンズ２１２及び２１３、スプリットプリズム２１４、赤外光を検知する前眼部観察用のＣＣＤ２１５が配置されている。このＣＣＤ２１５は、不図示の前眼部観察用照射光の波長、具体的には９７０ｎｍ付近に感度を持つものである。スプリットプリズム２１４は、被検眼２００の瞳孔と共役な位置に配置されており、被検眼２００に対する測定光学系１００－１のＺ軸方向（光軸方向）の距離を、前眼部のスプリット像として検出できる。ＯＣＴ光学系の光路２５０は前述の通りＯＣＴ光学系を構成しており、被検眼２００の断層画像を撮影するためのものである。より具体的には、断層画像を形成するための干渉信号を得るものである。ＸＹスキャナ２１６は光を被検眼２００上で走査するためのものであり、図２（ｂ）では１枚のミラーとして図示されているが、実際はＸＹ２軸方向の走査を行うガルバノミラーである。レンズ２１７及び２１８のうち、レンズ２１７については光カプラー２１９に接続されているファイバー２２４から出射するＯＣＴ光源２２０からの光を、被検眼２００に焦点合わせするために不図示のモータによって駆動される。この焦点合わせによって、被検眼２００からの戻り光は同時にファイバー２２４の先端に、スポット状に結像されて入射されることとなる。次に、ＯＣＴ光源２２０からの光路と参照光学系、分光器の構成について説明する。２２０はＯＣＴ光源、２２１は参照ミラー、２２２は分散補償硝子、２２３はレンズ、２１９は光カプラー、２２４から２２７は光カプラーに接続されて一体化しているシングルモードの光ファイバー、２３０は分光器である。これらの構成によってマイケルソン干渉計を構成している。ＯＣＴ光源２２０から出射された光は、光ファイバー２２５を通じ、光カプラー２１９を介して光ファイバー２２４側の測定光と、光ファイバー２２６側の参照光とに分割される。測定光は前述のＯＣＴ光学系光路を通じ、観察対象である被検眼２００に照射され、被検眼２００による反射や散乱により同じ光路を通じて光カプラー２１９に到達する。一方、参照光は光ファイバー２２６、レンズ２２３、測定光と参照光の波長分散を合わせるために挿入された分散補償ガラス２２２を介して参照ミラー２２１に到達し反射される。そして同じ光路を戻り、光カプラー２１９に到達する。光カプラー２１９によって、測定光と参照光は合波され干渉光となる。ここで、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。参照ミラー２２１は、不図示のモータおよび駆動機構によって光軸方向に調整可能に保持され、測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は光ファイバー２２７を介して分光器２３０に導かれる。また、偏光調整部２２８、２２９は、各々光ファイバー２２４、２２６中に設けられ、偏光調整を行う。これらの偏光調整部は光ファイバーをループ状に引きまわした部分を幾つか持っている。このループ状の部分をファイバーの長手方向を中心として回転させることでファイバーに捩じりを加え、測定光と参照光の偏光状態を各々調整して合わせることができる。分光器２３０はレンズ２３２、２３４、回折格子２３３、ラインセンサ２３１から構成される。
光ファイバー２２７から出射された干渉光はレンズ２３４を介して平行光となった後、回折格子２３３で分光され、レンズ２３２によってラインセンサ２３１に結像される。次に、ＯＣＴ光源２２０の周辺について説明する。ＯＣＴ光源２２０は、代表的な低コヒーレント光源であるＳＬＤ（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）である。中心波長は８５５ｎｍ、波長バンド幅は約１００ｎｍである。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。光源の種類は、ここではＳＬＤを選択したが、低コヒーレント光が出射できればよく、ＡＳＥ（Ａｍｐｌｉｆｉｅｄ Ｓｐｏｎｔａｎｅｏｕｓ Ｅｍｉｓｓｉｏｎ）等を用いることができる。中心波長は眼を測定することを鑑みると近赤外光が適する。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長であることが望ましい。双方の理由から中心波長は８５５ｎｍとした。本実施形態では干渉計としてマイケルソン干渉計を用いたが、マッハツェンダー干渉計を用いてもよい。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いることが望ましい。
（ＯＣＴＡデータの解析処理）
以下、具体的にＯＣＴモーションコントラストデータを対象とする解析処理について説明するが、実施形態の説明の中で使用する用語について簡単に定義しておく。まず、三次元ボリュームデータの情報をＯＣＴデータまたはＯＣＴＡデータと表記する。次に、ボリュームデータから取り出せる二次元情報をＯＣＴ画像またはＯＣＴＡ画像とし、特に、指定した深さ方向の範囲でボリュームデータを投影して作成した画像をＯＣＴ正面画像またはＯＣＴＡ正面画像と表記する。また、深さ方向のデータを含む二次元情報を断層画像と表記する。
図３（ａ）は視神経乳頭（ＯＮＨ；Ｏｐｔｉｃ Ｎｅｒｖｅ Ｈｅａｄ）のＯＣＴＡ正面画像３０１を示している。スライドバー３０２は初期値として透過率０％を示しており、これは後述するＯＣＴ正面画像の透過率である。ここで、スライドバー３０２の透過率は前回設定された透過率を記憶してもよいし、別のＯＣＴＡ正面画像に切り替えるときに初期値０％に戻してもよい。
ＯＮＨの血管機能は緑内障の進行状況と密接な関係があることが知られており、その血管機能不全を定量的に解析することは臨床的な価値が大きいと言われている。ところが、神経管開口部（ＮＣＯ；Ｎｅｕｒａｌ Ｃａｎａｌ Ｏｐｅｎｉｎｇ）の境界を、ＯＣＴＡ正面画像上で設定することはやや難しい。ＯＣＴ正面画像であればＮＣＯの視認性があがるため解析領域を設定しやすくなる。緑内障においては、ＯＮＨ循環障害の役割を評価するためには、微小循環に関しても信頼できる情報が得られることが重要となる。
図３（ｂ）は一例として、操作者がスライドバー３０２を６０％に設定した場合を示している。ＯＣＴＡ正面画像と、それとは異なる第２のＯＣＴ正面画像から、設定された透過率に基づいて生成された画像３０３が表示される。すなわち、光干渉断層計（ＯＣＴ）によって取得した被検体の同一箇所のＯＣＴＡ画像及びＯＣＴ画像を用いて、変更可能な透過率に基づいてブレンド処理されたブレンド画像が生成される。そして、設定された解析領域３０４に対する解析処理が実行される。具体的には、図１および図４を参照しながら本実施形態の画像処理装置１０１の画像処理システムについて説明する。まず、操作者が対象画像として指定した深さ方向の範囲のＯＣＴＡ正面画像を指定すると、記憶部１０１－０２に記憶されているＯＣＴＡ正面画像および第２の医用画像となるＯＣＴ正面画像が取得される。ＯＣＴＡ正面画像とＯＣＴ正面画像と深さ方向の範囲は必ずしも一致する必要はない。操作者がそれぞれ異なる深さ方向の範囲を指定することも可能である。透過率設定部４０２において、操作者がスライドバー３０２で設定した位置に基づいて透過率を設定し、第２の医用画像（ここではＯＣＴ正面画像）の透過係数α（０≦α≦１）を決定する。ここで、ブレンド処理は一般的なアルファブレンド処理を用いて、画素ごとに２枚の画像の加重平均を行う。例えば、ブレンド処理は、ＯＣＴＡ画像とＯＣＴ画像との互いに対応する位置の画素値を加重平均処理することにより実行される。
（ブレンド画像）＝（第１の医用画像）×（１－α）＋（第２の医用画像）×α…（式２）
ブレンド処理部４０３は、上記の（式２）に基づくブレンド画像を生成し、表示制御部１０１－０５は、生成されたブレンド画像を表示部１０４に表示させる。ここでは、第２の医用画像の透過率を０％に設定した時に、透過係数αを０とし、第２の医用画像は完全に透過し、第１の医用画像のみが表示される。第２の医用画像の透過率を１００％に設定した時に、透過係数αを１とし、第２の医用画像は全く透過せず、第２の医用画像のみが表示される。操作者は、表示部１０４に表示されたブレンド画像を確認しながら、所望のブレンド画像となるまで透過率を変更してもよい。また、操作者は視認性を確認しながら、画像の深さ方向の範囲を変更してもよい。
次に、ＲＯＩ設定部４０４は、ブレンド画像上で解析を行う関心領域（ＲＯＩ；Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を設定する。ＲＯＩ情報は中心位置と大きさのようなパラメータとして設定されてもよいし、一般的な形状（例えば、円、楕円、矩形など）で設定されてもよい。また、ＲＯＩ情報は自由領域として複数の制御点によるスプライン曲線などを用いた領域として設定されてもよい。ＲＯＩ情報はブレンド画像上に重畳表示すればよい。さらに、設定されてＲＯＩが所望の領域であるかを確認するために、ＲＯＩ情報を重畳表示した状態で、操作者が透過率を変更してブレンド画像を更新することもできる。このように、ＯＣＴ正面画像の透過率を適宜変更することによって微小循環の状態またはＮＣＯ境界の視認性を調整することができる。
最後に、画像における関心領域に対して処理を実行する実行手段の一例である解析部１０１－４６は、種々の画像解析を実行する。解析の種別は、操作者が指定してもよいし、あらかじめ設定された解析でもよい。抽出部１０１－４６２が解析の種別に応じた画像の特徴量を抽出し、計測部１０１－４６３が種々の計測を行う。解析結果は表示部１０４に表示される。例えば、操作者は設定したＲＯＩ情報に基づいた血管抽出処理を指示する。抽出部１０１－４６２は、ＯＣＴＡ正面画像を用いて、血管領域と非血管領域との判別処理による血管抽出を実行する。判別処理としては、一例として、閾値処理を用いて所定の閾値を満たす画素を血管領域として抽出すればよい。閾値は、あらかじめ設定された固定値でもよいし、被検者が任意に設定してもよい。また、閾値はＯＣＴＡ正面画像に応じて所定のアルゴリズム（例えばヒストグラム解析）に基づいて適応的に設定されてもよい。血管抽出処理は血管／非血管の２値情報として表してもよいし、血管らしさの尺度（例えば、閾値からの距離）で連続値としてもよい。血管領域に関しては、特定の色情報を付加してもよいし、連続値とする場合には、所定のグラデーションで色情報を付加してもよい。血管情報を示す色やグラデーションは赤系統に限らず操作者が自由に選択できるようにしてもよい。
また、ＯＣＴＡデータに基づいて血管の深度に応じて色を付加してもよい。このように血管に色をつけることで、操作者がＲＯＩを設定する際の画像がより分かりやすいものとなる。もちろん、ＯＣＴＡデータから血管抽出を行ってもよい。三次元情報として血管を抽出すれば、血管の位置や太さなどから色情報を付加することも可能となる。
表示制御部１０１－０５は、抽出部１０１－４６２により抽出された血管情報に基づいて血管計測を行って、表示部１０４に表示させる。血管計測は、例えば、血管密度や血管面積などを用いればよい。血管領域の密度としては、例えば、ＲＯＩの領域全体における血管領域の比率を算出することによって、単位面積当たりの血管の面積が求められる。血管計測においては、これに限定されるわけではなく、血管総量、血管蛇行性等であってもよい。
さらに、ＲＯＩを複数の領域に分割して、それぞれの領域ごとの計測値の差分や比率を算出してもよい。こうすることで、例えば、血管の対称性などを評価することができる。血管密度は、所定の面積ごとの密度を色データに対応づけることでカラーマップ画像として解析結果として表示してもよい。カラーマップ画像とＯＣＴＡ正面画像を所定の透過率（例えば５０％）でブレンド表示してもよい。また、ＯＣＴＡ正面画像とＯＣＴ正面画像のブレンド画像とカラーマップ画像をブレンド表示してもよい。カラーマップ画像に対する透過率は固定でもよいし、操作者が指定できるようにしてもよい。
なお、被検者のフォローアップとして、定期的な検査を行い、それぞれの解析結果を時系列的に並べる経過観察の表示画面を表示してもよい。その場合、比較部１０１－４６４において、解析結果の比較が行われ、さらに、強調部１０１－４６１において変化したところを強調して表示してもよい。
（視神経乳頭の解析処理手順）
次に、図５を参照して本実施形態の画像処理装置１０１の処理手順を示す。Ｓ５０１において、視神経乳頭（ＯＮＨ）のＯＣＴＡ正面画像に対するＯＣＴ正面画像の透過率がＧＵＩで変更される。Ｓ５０２において、変更された透過率に基づいて、透過係数αが決定され、２枚の画像のブレンド処理が行われ、ブレンド画像が画面上に表示される。Ｓ５０３において、操作者がブレンド画像を確認しながら、ＲＯＩ設定が行いやすい透過率を決定する。続いて、Ｓ５０４において、解析位置または解析領域であるＲＯＩが設定される。Ｓ５０５において、設定されたＲＯＩ情報に基づいた血管抽出処理が指示される。最後に、Ｓ５０６において、視神経乳頭（ＯＮＨ）の血管計測が行われ、その結果が画面上に表示される。
以上、視神経乳頭（ＯＮＨ）の解析を例に説明を行ったが、被検眼の黄斑部の解析や中心窩無血管領域の検出などでもよい。例えば、黄斑部の深い層での新生血管を解析するとき、ＯＣＴＡ正面画像に対応する層ではなく表層のＯＣＴ正面画像に対してブレンド処理をすることで黄斑部のＲＯＩ設定が容易になる。つまり、ＯＣＴＡ正面画像とＯＣＴ正面画像の層は必ずしも一致している必要はなく、それぞれ異なる層の画像間でブレンド処理してもよい。
（中心窩無血管領域の解析）
以下で、中心窩無血管領域（ＦＡＺ；Ｆｏｖｅａｌ Ａｖａｓｃｕｌａｒ Ｚｏｎｅ）の検出に関して説明する。ＦＡＺは無血管領域で輝度が低いため、例えば、ＦＡＺ解析領域の中心点を基準として、周辺部での輝度の連結性を判定することによってＦＡＺを抽出する。抽出方法は既知の手法のいずれかで行えばよく、例えば、領域拡張法による抽出や、Ｓｎａｋｅのような動的輪郭モデルによる抽出などがある。なお、上記解析処理は、血管に限定されるものではなく、脈管解析領域としての脈管解析（例えば、リンパ管）にも適用できる。さらに、本実施形態においては、ＯＣＴＡ正面画像を例として説明したが、モーションコントラストデータの次数を限定するものではない。例えば、ＯＣＴＡデータとＯＣＴデータから加重平均した三次元情報を生成し、三次元のＲＯＩを設定してもよい。もちろん、モーションコントラストデータとしては、１次元モーションコントラストデータ、二次元モーションコントラストデータであってもよい。
さらに、断層画像に対してＲＯＩの設定を行うことも可能である。図３（ａ）のチェックボックス３０５をオンにすると、ＯＣＴＡ正面画像上にライン３０６を表示する。操作者は、このラインをマウスでドラックしながらライン３０６の位置を上下に移動できる。その操作に連動して、断層画像３０７が対応する断層画像に更新される。設定されたＲＯＩ３０４とライン３０６の交点を、断層画像３０７上に垂直方向のライン３０８として表示してもよい。操作者は、ライン３０８をマウスでドラッグしながら左右に移動することで、断層画像で確認しながらＲＯＩを調整してもよい。ライン３０８での調整に従って、ＲＯＩ３０４の形状が滑らかにつながるように変更する。また、断層画像でのＲＯＩ調整がＲＯＩ３０４の形状として破綻しない範囲にライン３０８の可動域を抑制してもよい。
また、図示は行わないが、断層画像３０７においてもＯＣＴＡ断層画像とＯＣＴ断層画像をブレンド表示してもよい。この場合、スライドバー３０２を共通に利用してもよいし、個別にスライドバーを表示してもよい。
スライドバー３０２を共通に利用する場合、スライドバー３０２で指定された同じ透過率を使用して、ＯＣＴＡ正面画像とＯＣＴ正面画像のブレンド表示、および、ＯＣＴＡ断層画像とＯＣＴ断層画像のブレンド表示が更新される。
個別にスライドバーを表示する場合、例えば、図１６（ａ）に示すように、ＯＣＴ正面画像の透過率を設定するスライドバー１６００と、ＯＣＴ断層画像の透過率を設定するスライドバー１６０１の２つのスライドバーを表示する。スライドバー１６００で指定された透過率を使用して、ＯＣＴＡ正面画像とＯＣＴ正面画像のブレンド表示が更新され、スライドバー１６０１で指定された透過率を使用して、ＯＣＴＡ断層画像とＯＣＴ断層画像のブレンド表示が更新される。
なお、個別にスライドバーを表示する場合であっても、図１６（ｂ）に示すように、同期設定のチェックボックス１６０２を表示し、同期設定のチェックボックス１６０２をチェックした時に、同じ透過率を使用して、ＯＣＴＡ正面画像とＯＣＴ正面画像のブレンド表示、および、ＯＣＴＡ断層画像とＯＣＴ断層画像のブレンド表示が更新されるようにしてもよい。
ＯＣＴ正面画像の透過率とＯＣＴ断層画像の透過率が異なる時に、同期設定のチェックボックス１６０２をチェックした場合、同期を開始する透過率は、ＯＣＴ正面画像の透過率としてもよいし、ＯＣＴ断層画像の透過率としてもよい。また、例えば、ＯＣＴ正面画像の透過率とＯＣＴ断層画像の透過率の中央値など、その他の値にしてもよい。
図１６（ｂ）では、同期設定のチェックボックス１６０２を表示したが、ＯＣＴＡ正面画像３０１上、または、断層画像３０７上で、マウスの右クリックでコンテキストメニューを表示し、コンテキストメニューから、同期設定のオン、オフを切り替えるようにしてもよい。コンテキストメニューから、同期設定のオン、オフを切り替えるようにした場合、コンテキストメニューから同期設定をオンにすると、同期設定のチェックボックス１６０２はチェックされ、コンテキストメニューから同期設定をオフにすると、同期設定のチェックボックス１６０２のチェックは解除される。なお、コンテキストメニューから、同期設定のオン、オフを切り替えるようにした場合、同期設定のチェックボックスは表示しないようにしてもよい。
マウスホイールの回転操作で、透過率を変更できるようにしてもよい。
スライドバー３０２を共通に利用する場合、ＯＣＴＡ正面画像３０１上、または、断層画像３０７上で、マウスホイールの回転操作を行うと、マウスホイールの回転操作に応じて、スライドバー３０２の透過率が変更され、変更された透過率で、ＯＣＴＡ正面画像とＯＣＴ正面画像のブレンド画像、および、ＯＣＴＡ断層画像とＯＣＴ断層画像のブレンド画像が更新される。
個別にスライドバーを表示する場合、ＯＣＴＡ正面画像３０１上で、マウスホイールの回転操作を行うと、マウスホイールの回転操作に応じて、スライドバー１６００の透過率が変更され、変更された透過率で、ＯＣＴＡ正面画像とＯＣＴ正面画像のブレンド画像が更新される。断層画像３０７上で、マウスホイールの回転操作を行うと、マウスホイールの回転操作に応じて、スライドバー１６０１の透過率が変更され、変更された透過率で、ＯＣＴＡ断層画像とＯＣＴ断層画像のブレンド画像が更新される。
なお、マウスホイールの回転操作で、透過率を変更できるようにした場合、スライドバーは表示しないようにし、透過率のみ表示してもよい。
特に、健常眼ではないデータにおいては、ＯＣＴ断層画像の透過率を高くすることで、ＯＣＴＡ断層画像上に抽出されている血管が適切であるかの確認がある程度まで可能な場合がある。すなわち、ＯＣＴＡデータとＯＣＴデータそれぞれの断層画像間でブレンド処理を行いながら、より詳細なＲＯＩが設定されてもよい。
また、ブレンド処理に用いる第２の医用画像としては、ＳＬＯや眼底カメラの画像であってもよい。あるいは、別の層のＯＣＴＡ正面画像であってもよい。この場合は、ブレンド処理を行う画像間で、位置的なレジストレーションが行われていることが望ましい。
また、ブレンド処理に用いる第２の医用画像を選択可能にしてもよい。
例えば、図１７（ａ）に示すように、ブレンド処理に用いる第２の医用画像を１７０１のコンボボックスを展開した時に表示される複数の医用画像から選択するように構成できる。選択した第２の医用画像は、図１７（ｂ）に示すように、表示される。
１７０１のコンボボックスで、ブレンド処理に用いる第２の医用画像を変更した時には、スライドバー１７００の透過率は、選択された医用画像で前回設定されていた透過率を記憶しておき、その値にしてもよいし、初期値の０％に戻してもよい。初期値は、０％に限らず、任意の値に設定してもよいし、医用画像ごとに、任意の値にしてもよい。
ブレンド処理に用いる第２の医用画像は、ＯＣＴＡ正面画像３０１上で、マウスの右クリックでコンテキストメニューを表示し、コンテキストメニューから選択してもよい。
コンテキストメニューから、ブレンド処理に用いる第２の医用画像の選択を切り替えるようにした場合、コンテキストメニューからブレンド処理に用いる第２の医用画像の選択を変更すると、コンボボックス１７０１の選択も更新され、スライドバー１７００の透過率も更新される。
なお、コンテキストメニューから、ブレンド処理に用いる第２の医用画像の選択を切り替えるようにした場合、図１７（ｃ）に示すように、ブレンド処理に用いる第２の医用画像を選択するコンボボックス１７０１は表示せず、１７０２のようにブレンド処理に用いる第２の医用画像のラベル表示にしてもよい。
図１７（ｄ）のように、第１の医用画像として選択した画像種別ごとに、ブレンド処理に用いる第２の医用画像として選択する画像種別をテーブルとして持つことで、選択した第１の医用画像に対して、第２の医用画像の画像種別を自動選択するようにしてもよい。
図１７（ｅ）のように、第１の医用画像として選択した画像種別ごとに、ブレンド処理に用いる第２の医用画像として選択する画像種別を優先度順にテーブルとして持つことで、選択した第１の医用画像に対して、第２の医用画像の画像種別を自動選択するようにしてもよい。例えば、第１の医用画像としてＯＣＴ正面画像を選択した時、ＯＣＴＡ正面画像がある場合、第２の医用画像としてＯＣＴＡ正面画像が自動選択され、ＯＣＴＡ正面画像がなく、ＦＡ画像がある場合、第２の医用画像としてＦＡ画像が自動選択される。
さらに、ブレンド処理に用いる画像としては２枚に限定されるわけではない。場合によっては、第３の医用画像をブレンド処理で加えることも考えられる。例えば、第１の透過率により第１の医用画像及び第２の医用画像をブレンド処理して得た第１のブレンド画像と第３の医用画像とが第２の透過率によりブレンド処理されることにより、第２のブレンド画像が取得されるように構成されてもよい。
図１８に、第３の医用画像をブレンド処理で加える場合の、ユーザーインターフェースの一例を示す。第２の医用画像としてコンボボックス１８０１でＳＬＯ画像が選択されており、第２の医用画像として選択されたＳＬＯ画像の透過率が、スライドバー１８００で指定されている。第３の医用画像をブレンド処理するか否かを設定するチェックボックス１８０２がチェックされており、第３の医用画像としてコンボボックス１８０４でカラーマップが選択されており、第３の医用画像として選択されたカラーマップの透過率が、スライドバー１８０３で指定されている。
第３の医用画像をブレンド処理するチェックボックス１８０２がチェックされている時のみ、スライドバー１８００で指定された透過率により第１の医用画像にコンボボックス１８０１で選択した第２の医用画像をブレンド処理して得た第１のブレンド画像と、コンボボックス１８０４で選択された第３の医用画像とが、スライドバー１８０３で指定された透過率でブレンド処理されることにより、第２のブレンド画像が表示される。
第３の医用画像をブレンド処理するチェックボックス１８０２がチェックされていない場合、第３の医用画像を選択するコンボボックス１８０４、第３の医用画像の透過率を指定するスライドバー１８０３、および、その透過率の値は、無効表示、または、非表示にしてもよい。
複数の医用画像をブレンド処理する場合、図１９（ａ）に示すように、ブレンド処理順に上からブレンドする医用画像、および、その透過率を設定するスライドバーを表示してもよい。ブレンド処理する順番、および、ブレンド処理する医用画像を変更する場合、編集ボタン１９０１を押下すると、図１９（ｂ）に示すような編集画面が表示される。
コンボボックス１９０２で医用画像を選択し、１９０３の追加ボタンを押下すると、１９０４のブレンド処理リストに追加される。ブレンド処理リスト１９０４で、１行選択し、１９０５、１９０６の順序変更ボタンを押下すると、選択した行の順序を変更することができる。
ブレンド処理リスト１９０４で、１行選択し、削除ボタン１９０７を押下すると、ブレンド処理リスト１９０４から削除される。ブレンド処理リストでの選択は１行に限らず、複数行選択できるようにしてもよく、その場合、複数行の順序変更、削除ができるようになる。
閉じるボタン１９０８を押下すると、編集画面を閉じ、その時の設定が反映される。
［第２の実施形態］
本実施形態に係る画像処理装置は、ＯＣＴデータに対してＯＣＴＡ正面画像を参照しながら、解析位置や解析領域を設定しながら解析処理を行う場合について説明する。
ＯＣＴデータからは、視神経繊維層の厚みや視神経乳頭の凹み具合、眼球形状の曲率などが解析できる。このように層厚情報や眼球の曲率情報から種々の疾患の状態を知ることができる。また、層厚情報や曲率情報は、厚みや曲率を色のグラデーションとして表したカラーマップ化して画像として表示してもよいし、ＲＯＩを複数の領域に分割してそれぞれの平均値を表示してもよい。
あるいは、篩状板の状態を解析することも緑内障などの診断に有益であると考えられている。具体的には、ＯＣＴデータの断層画像に適切なセグメンテーション処理を施すことで、篩状板の厚みを計測することもできる。
被検眼によっては、より厳密な血管情報と比較しながらＲＯＩを設定することで有効な解析を行うことができる場合がある。例えば、強度近視の場合には、眼球の形状にひずみを持っているので、ＯＣＴ正面画像に、指定された透過率でＯＣＴＡ正面画像をブレンド処理することで、血管情報を同時に確認しながらＲＯＩの設定が可能となる。その設定されたＲＯＩに基づいて、層厚や曲率などが解析可能となる。
あるいは、ＯＣＴ正面画像または解析結果の画像にＯＣＴＡ正面画像をブレンド処理すれば、ＲＯＩの設定以外でも、複合的な判断を行う場合にも本発明は利用可能である。
具体的には、層厚のカラーマップ画像に対して、ＯＣＴＡ正面画像をブレンド処理することで、操作者は、例えば層厚の低い領域での血管の状態を視認することができる。曲率などのカラーマップ画像でも同様である。あるいは、篩状板の解析結果を確認するときに、指定した透過率で血管情報を加えることで、篩状板の厚みと篩状板に入る血流の状態を同時に確認できる。
モーションコントラストデータの場合、血管の漏れや血流量の少ない場所は血管の視認は比較的困難である。そのため、より厳密に血流情報をブレンド処理したい場合には、第２の医用画像としてフルオレセインやインドシアニングリーンなどによる蛍光眼底造影検査による画像を用いてもよい。
以上、本実施形態ではＯＣＴデータの解析について説明を行ったが、解析方法に関しては、これに限定されないことは言うまでもない。また、第１の医用画像は、ＯＣＴ正面画像に限定されるものではなく、解析結果を可視化した画像であってもよい。第１の実施形態と同様に、ＳＬＯ画像、断層画像を利用してもよい。さらに、第２の医用画像もＯＣＴＡ正面画像に限定されるものでなく、第１の医用画像と異なる種類の画像であればよい。このとき、第１の医用画像と第２の医用画像とは、被検体における互いに対応する領域の画像であればよい。
本実施形態でも、第１の実施形態と同様に、透過率の指定方法、第２の医用画像の選択方法、第３の医用画像のブレンド処理を構成することができる。
［第３の実施形態］
本実施形態に係る画像処理装置は、上述した様々な実施形態におけるブレンド処理について、画素ごとに適応的に透過率を変更する場合について説明する。例えば、第１の医用画像としてＯＣＴＡ正面画像を使用し、第２の医用画像としてＯＣＴ正面画像をブレンド処理する場合に、重要となるのは血管の情報である。
そこで、ブレンド処理を行う際に、画素ごとに血管領域か非血管領域か分類を属性としてあらかじめ与えることで、ブレンド処理の方法を切り替える。血管領域の抽出については、第１の実施形態で説明した通りである。最も単純には、血管領域の画素には、ブレンド処理を行わない属性を与え、非血管領域の画素にはブレンド処理を行う属性を与える。血管属性を決定するための閾値は、画面上で操作者が指定できるようにしてもよい。変更された閾値によって属性情報が変更され、変更された属性に基づいてブレンド処理が更新される。なお、属性決定のための閾値は、複数指定できてもよく、例えば、指定された閾値間の範囲で血管か非血管を分離して属性が与えられてもよい。
こうすることで、血管領域はブレンド処理を行わず、非血管領域の画素にのみ、第２の医用画像をブレンド処理することが可能となる。具体的には、血管領域に対しては、第１の医用画像と第２の医用画像のブレンド処理を行わず、第１の医用画像のみを表示し、非血管領域に対しては、スライドバーの操作、または、マウスホイールの回転操作により指定した透過率でブレンド処理を行い、ブレンド画像を表示する。なお、血管領域に対して、第２の医用画像の透過率を０％（透過係数αを０）としてブレンド処理を行ってもよい。
あるいは、血管領域の属性をもつ画素に対しては、ブレンド処理の透過率（透過係数α）を抑制する形でブレンド処理を行ってもよい。例えば、操作者が第２の医用画像の透過率を変更し、透過係数をαとした場合には、非血管領域は透過係数αでブレンド処理を行い、血管領域は透過係数をα／２などに抑制してブレンド処理を行うなどが考えられる。すなわち、ブレンド処理は、第２の医用画像（例えば、ＯＣＴＡ画像）における血管領域の透過率が該血管領域以外の領域の透過率よりも小さくなるように設定された透過率により実行されてもよい。この抑制方法は、あらかじめ決めた所定の比でもよいし、透過係数αに基づく関数を用意しても構わない。
また、図２０（ａ）に示すように、操作者が第２の医用画像の透過率として指定した値から設定した透過係数αに対して、血管領域と非血管領域でブレンド処理する透過係数の設定をテーブルで保持し、選択できるようにしてもよい。選択方法としては、図２０（ｂ）に示すように、血管領域と非血管領域でブレンド処理する透過率設定を選択するコンボボックス２００２を表示し、図２０（ａ）の透過率設定の選択を切り替えることができる。
マウス右クリックのコンテキストメニューから、透過率設定を切り替えるようにしてもよい。マウス右クリックのコンテキストメニューから、透過率設定を切り替えた場合、透過率設定を選択するコンボボックス２００２の選択も更新される。なお、マウス右クリックのコンテキストメニューから、透過率設定を切り替えるようにした場合、透過率設定を選択するコンボボックス２００２は表示せず、図２０（ｃ）に示すように、選択された透過率設定をラベル２００３で表示してもよい。
また、図２１（ａ）に示すように、血管領域と非血管領域の透過率を、個別に設定可能なユーザーインターフェースとしてもよい。
図２１（ｂ）に示すように、血管領域と非血管領域の透過率の指定を連動するチェックボックス２１０３を表示し、チェックボックス２１０３をチェックした時には、血管領域と非血管領域のどちらのスライドバーを変更しても、血管領域と非血管領域の相対値を維持して、両方のスライドバーが連動して変更されるようにしてもよい。
図２１（ｃ）に示すように、血管領域と非血管領域の透過率の指定を連動する場合の連動方法を選択するラジオボタン２１０４を表示し、選択可能にしてもよい。
血管領域と非血管領域の透過率の指定を連動するチェックボックス２１０３がチェックされたときのみ、連動方法を選択するラジオボタン２１０４を有効表示し、チェックされていない時は、無効表示、または、非表示にしてもよい。
連動方法を選択するラジオボタン２１０４で、差を選択した場合、スライドバー２１０１で指定された透過率とスライドバー２１０２で指定された透過率の値の差を維持して、操作したスライドバーに連動して、もう一方のスライドバーの値が変更される。
例えば、スライドバー２１０１で指定された透過率が６０％、スライドバー２１０２で指定された透過率が３０％の状態で、差で連動する場合、スライドバー２１０１を８０％にすると、スライドバー２１０２は、３０％の差を維持して５０％に自動更新される。
連動方法を選択するラジオボタン２１０４で、比を選択した場合、スライドバー２１０１で指定された透過率とスライドバー２１０２で指定された透過率の値の比を維持して、操作したスライドバーに連動して、もう一方のスライドバーの値が変更される。
例えば、スライドバー２１０１で指定された透過率が６０％、スライドバー２１０２で指定された透過率が３０％の状態で、比で連動する場合、スライドバー２１０１を８０％にすると、スライドバー２１０２は、１／２の比を維持して４０％に自動更新される。
透過率の値を小さくした時に、一方が、０％になった場合、それ以上透過率を小さくできないように制限をかけてもよいし、その時点で、自動的に連動が解除されてもよい。
透過率の値を大きくした時に、一方が、１００％になった場合、それ以上透過率を大きくできないように制限をかけてもよいし、その時点で、自動的に連動が解除されてもよい。
血管領域と非血管領域の透過率の指定を連動するか否かの設定は、マウスの右クリックで表示されるコンテキストメニューから、選択してもよい。
マウスの右クリックで表示されるコンテキストメニューから、血管領域と非血管領域の透過率の指定を連動するか否かの設定を変更すると、チェックボックス２１０３のチェック状態が更新される。
血管領域と非血管領域の透過率の指定を連動する場合の、連動方法に関しても、マウスの右クリックで表示されるコンテキストメニューから、選択してもよい。
マウスの右クリックで表示されるコンテキストメニューから、連動方法を変更すると、ラジオボタン２１０４の選択状態も更新される。
第１の医用画像としてＯＣＴＡ正面画像を選択し、第２の医用画像としてＯＣＴ正面画像を選択した時に、血管領域のブレンド処理をしない、または、非血管領域の透過率に対して、血管領域の透過率（透過係数）を抑制する例を説明したが、非血管領域のブレンド処理をしない、または、血管領域の透過率に対して、非血管領域の透過率（透過係数）を抑制するようにしてもよい。
また、ブレンド処理をしない、または、ブレンド処理の透過率（透過係数）を抑制する対象を、血管領域とするか、非血管領域とするか選択できるようにしてもよいし、ブレンド処理をしないのか、ブレンド処理の透過率（透過係数）を抑制するのかを選択できるようにしてもよい。例えば、図２１（ｄ）に示すように、コンボボックス２１０５で、ブレンド処理の対象、および、ブレンド処理方法を選択するようにできる。
血管領域：処理しないを選択した場合、スライドバー２１０１の透過率は０％に変更され、スライドバー２１０１で、透過率の値を変更できないようにしてもよい。
血管領域：抑制するを選択した場合、スライドバー２１０１の操作による透過率の変更は、スライドバー２１０２の透過率の値より大きくならないようにスライドバーの操作を制御してもよい。
また、血管領域か非血管領域を、血管らしさの尺度に関して連続値として別に保持してもよい。この場合には、例えば、操作者が指定する最大の透過率に対する血管属性の最大透過率をあらかじめ設定し、操作者が指定した透過率に対して、血管らしさの数値に基づいて透過率を決定してもよい。また、血管領域に対して、血管の太さにより、透過率を変更するようにしてもよい。ブレンド処理方法は、これに限定されるものではなく画素ごとの属性情報に基づいたものであれば、種々の変形は可能である。
さらに、複数の属性を保持してもよい。ＯＣＴＡ正面画像の場合、ＯＣＴＡデータの深さ方向に対して、少なくとも２つの範囲、例えば、浅い部分と深い部分に分けて血管の属性を管理する。操作者は、ＧＵＩ上の指示で、瞬時にどちらの属性を利用するかを切り替えられるようにしてもよい。
ＯＣＴＡ正面画像は、ＯＣＴＡ正面画像を生成する深度範囲により、図１３（ａ）に示すように、表層（Ｉｍ２９１０）、深層（Ｉｍ２９２０）、外層（Ｉｍ２９３０）、脈絡膜血管網（Ｉｍ２９４０）などが得られる。そのため、第１の医用画像、または、第２の医用画像が、ＯＣＴＡ正面画像の場合、属性値の設定を行う画像、または、透過率を決定する画像を、深度範囲の異なるＯＣＴＡ正面画像としてもよい。例えば、第１の医用画像にＯＣＴ正面画像、第２の医用画像にＯＣＴＡ正面画像（深層）とした場合、ＯＣＴＡ正面画像（表層）で属性値を設定、または、透過率を決定し、ＯＣＴ正面画像とＯＣＴＡ正面画像（深層）のブレンド処理を行ってもよい。
なお、上記説明では、血管領域と非血管領域に基づいて画素に属性を与えることを示したが、これに限定されず、様々な属性を適用可能である。例えば、第２の医用画像で特定の信号値（例えば、０）となる画素についてはブレンド処理を行わない属性を与えてもよい。あるいは、属性をあらかじめ設定した部分領域に対して与えてもよい。例えば、出血が認められる領域をＧＵＩ上でマニュアル指定することで、出血領域と非出血領域に基づく属性を各画素に与えてもよい。
第１の医用画像、または、第２の医用画像のそれぞれで、複数のＲＯＩ情報を設定可能として、設定したＲＯＩごとに、異なるブレンド処理を行ってもよい。
例えば、ＲＯＩ１では、血管領域のブレンド処理を行わない、または、血管領域の透過率（透過係数）を抑制し、ＲＯＩ２では、非血管領域のブレンド処理を行わない、または、非血管領域の透過率（透過係数）を抑制してもよい。
複数のＲＯＩで、異なるブレンド処理を行う場合、選択したＲＯＩに対する透過率の値をスライドバーに表示するようにできる。
さらに、ＯＣＴＡデータには血管の深さ情報が得られるので、血管の深度情報に基づいて属性値を設定してもよい。モーションコントラスト正面画像になったときに血管が重なっている場合には、最大値または最小値を用いる、あるいは平均値を用いるなどあらかじめ決めておけばよい。また、ＯＣＴデータには、層厚情報があるため層厚に基づいた属性を設定してもよい。
なお、属性情報としては、第１の医用画像と第２の医用画像それぞれに付与してもよいし、いずれか一方だけに付与してもよい。
属性情報を、第１の医用画像と第２の医用画像のいずれか一方だけに付与する場合、例えば、図２２のテーブルのように、第１の医用画像と第２の医用画像の組み合わせにより、属性値を付与する画像を登録しておき、属性値を付与する画像を決定してもよい。
またブレンド処理に関しては、上述した方法に限定されるものではなく、少なくとも一方に設定された属性情報に基づく処理として、当業者であれば種々の変形が可能である。
さらに、属性情報を用いず、画素値のみで透過率を決定するようにしてもよい。
例えば、図２３（ａ）から（ｅ）に示すように、画素値ごとに透過率を設定する関数、または、テーブルを保持し、画素ごとにそれぞれの透過率でブレンド処理を行ってもよい。
画素値のみで透過率を決定する場合、第１の医用画像と第２の医用画像の一方の画素値により透過率を決定してもよいし、両方の画素値に応じて透過率を決定してもよい。
第１の医用画像と第２の医用画像の一方の画素値により透過率を決定する場合、図２４のテーブルのように、第１の医用画像と第２の医用画像の組み合わせにより、画素ごとに透過率設定に使用する画像を登録しておき、画素ごとに透過率設定に使用する画像を決定してもよい。
次に、第１の医用画像としてＳＬＯ画像を使用し、第２の医用画像としてＯＣＴＡ正面画像をブレンド処理する場合の例を説明する。ＯＣＴＡ正面画像では、レーザー瘢痕を確認できないが、ＳＬＯ画像では、レーザー瘢痕を確認することができる。そのため、ＳＬＯ画像にＯＣＴＡ正面画像をブレンド処理することが有用である。
前述のように、血管領域と非血管領域の属性情報を取得することにより、非血管領域に対しては、第１の医用画像と第２の医用画像のブレンド処理を行わず、第１の医用画像のみを表示し、血管領域に対しては、スライドバーの操作、または、マウスホイールの回転操作により指定した透過率でブレンド処理を行い、ブレンド画像を表示することが可能となる。
あるいは、非血管領域の属性をもつ画素に対しては、ブレンド処理の透過率（透過係数）を抑制する形でブレンド処理を行ってもよい。例えば、操作者が第２の医用画像の透過率を変更し、透過係数をαとした場合には、血管領域は透過係数αでブレンド処理を行い、非血管領域は透過係数をα／２などに抑制してブレンド処理を行うなどが考えられる。この抑制方法は、あらかじめ決めた所定の比でもよいし、透過係数αに基づく関数を用意しても構わない。
このように、非血管領域のブレンド処理をしない、または、血管領域の透過率に対して、非血管領域の透過率（透過係数）を抑制することで、ブレンド画像でレーザー瘢痕を確認しやすくなる。
以上、上記のそれぞれの実施形態においては、眼部の医用画像処理を例に説明をしたが、光干渉断層計によって取得される医用画像データ（例えば、皮膚組織のモーションコントラストデータ）に対しても適用可能である。
［第４の実施形態］
以下、図６、図７及び図８を参照して、第４の実施形態による医用画像処理装置について説明する。本実施形態に係る画像処理装置１０１は、モーションコントラストデータを高画質化する高画質化手段として、例えば、上述した合成部１０１－４２の代わりに、機械学習による高画質化処理を適用するための高画質化部（不図示）を備える。このとき、画像処理装置１０１（あるいは画像処理部１０１－０４）における高画質化部には高画質化エンジンが備えられている。本実施形態に係る高画質化エンジンの備える高画質化手法では、機械学習アルゴリズムを用いた処理を行う。
本実施形態では、機械学習アルゴリズムに係る機械学習モデルのトレーニングに、処理対象として想定される特定の撮影条件を持つ低画質画像である入力データと、入力データに対応する高画質画像である出力データのペア群で構成された教師データを用いる。なお、特定の撮影条件には、具体的には、予め決定された撮影部位、撮影方式、撮影画角、及び画像サイズ等が含まれる。
ここで、機械学習モデルとは、任意の機械学習アルゴリズムに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルである。教師データは、一つ以上の、入力データと出力データ（正解データ）とのペア群で構成される。なお、教師データを構成するペア群の入力データと出力データの形式や組み合わせは、一方が画像で他方が数値であったり、一方が複数の画像群で構成され他方が文字列であったり、双方が画像であったりする等、所望の構成に適したものであってよい。
具体的には、例えば、ＯＣＴによって取得された画像と、該画像に対応する撮影部位ラベルとのペア群によって構成された教師データ（以下、第１の教師データ）が挙げられる。なお、撮影部位ラベルは部位を表すユニークな数値や文字列である。また、その他の教師データの例として、ＯＣＴの通常撮影によって取得されたノイズの多い低画質画像と、ＯＣＴにより複数回撮影して高画質化処理した高画質画像とのペア群によって構成されている教師データ（以下、第２の教師データ）等が挙げられる。
このとき、機械学習モデルに入力データを入力すると、該機械学習モデルの設計に従った出力データが出力される。機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、入力データに対応する可能性の高い出力データを出力する。また、機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、出力データの種類のそれぞれについて、入力データに対応する可能性を数値として出力する等を行うことができる。具体的には、例えば、第１の教師データでトレーニングされた機械学習モデルにＯＣＴによって取得された画像を入力すると、機械学習モデルは、該画像に撮影されている撮影部位の撮影部位ラベルを出力したり、撮影部位ラベル毎の確率を出力したりする。また、例えば、第２の教師データでトレーニングされた機械学習モデルにＯＣＴの通常撮影によって取得されたノイズの多い低画質画像を入力すると、機械学習モデルは、ＯＣＴにより複数回撮影して高画質化処理された画像相当の高画質画像を出力する。なお、機械学習モデルについては、品質保持の観点から、自身が出力した出力データを教師データとして用いないように構成することができる。
また、機械学習アルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ）等のディープラーニングに関する手法を含む。ディープラーニングに関する手法においては、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データを用いてトレーニングされた傾向を出力データに再現可能な程度が異なる場合がある。例えば、第１の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、正しい撮影部位ラベルを出力する確率がより高くなる場合がある。また、例えば、第２の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、より高画質な画像を出力できる場合がある。
具体的には、ＣＮＮにおけるパラメータは、例えば、畳み込み層に対して設定される、フィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値、並びに全結合層の出力するノードの数等を含むことができる。なお、パラメータ群やトレーニングのエポック数は、教師データに基づいて、機械学習モデルの利用形態に好ましい値に設定することができる。例えば、教師データに基づいて、正しい撮影部位ラベルをより高い確率で出力したり、より高画質な画像を出力したりできるパラメータ群やエポック数を設定することができる。
このようなパラメータ群やエポック数の決定方法の一つを例示する。まず、教師データを構成するペア群の７割をトレーニング用とし、残りの３割を評価用としてランダムに設定する。次に、トレーニング用のペア群を用いて機械学習モデルのトレーニングを行い、トレーニングの各エポックの終了時に、評価用のペア群を用いてトレーニング評価値を算出する。トレーニング評価値とは、例えば、各ペアを構成する入力データをトレーニング中の機械学習モデルに入力したときの出力と、入力データに対応する出力データとを損失関数によって評価した値群の平均値である。最後に、最もトレーニング評価値が小さくなったときのパラメータ群及びエポック数を、当該機械学習モデルのパラメータ群やエポック数として決定する。なお、このように、教師データを構成するペア群をトレーニング用と評価用とに分けてエポック数の決定を行うことによって、機械学習モデルがトレーニング用のペア群に対して過学習してしまうことを防ぐことができる。
また、高画質化エンジン（高画質化用の学習済モデル）とは、入力された低画質画像を高画質化した高画質画像を出力するモジュールのことである。ここで、本明細書における高画質化とは、入力された画像を画像診断により適した画質の画像に変換することをいい、高画質画像とは、画像診断により適した画質の画像に変換された画像をいう。また、低画質画像とは、例えば、Ｘ線撮影、ＣＴ、ＭＲＩ、ＯＣＴ、ＰＥＴ、若しくはＳＰＥＣＴ等により取得された二次元画像や三次元画像、又は連続撮影したＣＴの三次元動画像等の特に高画質になるような設定をされずに撮影されたものである。具体的には、低画質画像は、例えば、Ｘ線撮影装置やＣＴによる低線量での撮影や、造影剤を使用しないＭＲＩによる撮影、ＯＣＴの短時間撮影等によって取得される画像、及び少ない撮影回数で取得されたＯＣＴＡ画像等を含む。
また、画像診断に適した画質の内容は、各種の画像診断で何を診断したいのかということに依存する。そのため一概には言えないが、例えば、画像診断に適した画質は、ノイズが少なかったり、高コントラストであったり、撮影対象を観察しやすい色や階調で示していたり、画像サイズが大きかったり、高解像度であったりする画質を含む。また、画像生成の過程で描画されてしまった実際には存在しないオブジェクトやグラデーションが画像から除去されているような画質を含むことができる。
また、ノイズが少なかったり、高コントラストであったりする高画質画像を、ＯＣＴＡ等の画像の血管解析処理や、ＣＴやＯＣＴ等の画像の領域セグメンテーション処理等の画像解析に利用すると、低画質画像を利用するよりも精度よく解析が行えることが多い。そのため、高画質化エンジンによって出力された高画質画像は、画像診断だけでなく、画像解析にも有用である場合がある。
本実施形態における高画質化手法を構成する画像処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画像処理手法では、機械学習アルゴリズムを用いた処理に加えて、各種画像フィルタ処理、類似画像に対応する高画質画像のデータベースを用いたマッチング処理、及び知識ベース画像処理等の既存の任意の処理を行ってもよい。
特に、二次元画像を高画質化するＣＮＮの構成例として、図６に示す構成がある。当該ＣＮＮの構成には、複数の畳み込み処理ブロック１００群が含まれる。畳み込み処理ブロック１００は、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層１０１と、バッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層１０２と、正規化線形関数（ＲｅｃｔｉｆｉｅｒＬｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層１０３とを含む。また、当該ＣＮＮの構成には、合成（Ｍｅｒｇｅｒ）層１０４と、最後の畳み込み層１０５が含まれる。合成層１０４は、畳み込み処理ブロック１００の出力値群と画像を構成する画素値群とを連結したり、加算したりして合成する。最後の畳み込み層１０５は、合成層１０４で合成された、高画質画像Ｉｍ１２０を構成する画素値群を出力する。このような構成では、入力された画像Ｉｍ１１０を構成する画素値群が畳み込み処理ブロック１００群を経て出力された値群と、入力された画像Ｉｍ１１０を構成する画素値群とが、合成層１０４で合成される。その後、合成された画素値群は最後の畳み込み層１０５で高画質画像Ｉｍ１２０に成形される。
なお、例えば、畳み込み処理ブロック１００の数を１６とし、畳み込み層１０１群のパラメータとして、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の高画質化の効果を得られる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。
また、本実施形態に係る高画質化部におけるＣＮＮの構成例の別の例として、図１５を用いて説明をする。図１５は、高画質化部における機械学習モデル構成の一例を示している。図１５で示す構成は、入力値群を加工して出力する処理を担う、複数の層群によって構成される。なお、前記構成に含まれる層の種類としては、図１５に示すように、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、合成（Ｍｅｒｇｅｒ）層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、前記フィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。このような構成では、入力された画像Ｉｍ２４１０を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力された画像Ｉｍ２４１０を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で高画質画像Ｉｍ２４２０に成形される。なお、図示はしないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等をしてもよい。
ここで、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本実施形態では、学習部（不図示）の一例である画像処理部１０１－０４による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵまたはＧＰＵのみにより演算が行われてもよい。また、高画質化部も、学習部と同様にＧＰＵを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
なお、ＣＮＮを用いた画像処理等、一部の画像処理手法を利用する場合には画像サイズについて注意する必要がある。具体的には、高画質画像の周辺部が十分に高画質化されない問題等の対策のため、入力する低画質画像と出力する高画質画像とで異なる画像サイズを要する場合があることに留意すべきである。
明瞭な説明のため、本実施形態において明記はしないが、高画質化エンジンに入力される画像と出力される画像とで異なる画像サイズを要する高画質化エンジンを採用した場合には、適宜画像サイズを調整しているものとする。具体的には、機械学習モデルをトレーニングするための教師データに用いる画像や、高画質化エンジンに入力される画像といった入力画像に対して、パディングを行ったり、該入力画像の周辺の撮影領域を結合したりして、画像サイズを調整する。なお、パディングを行う領域は、効果的に高画質化できるように高画質化手法の特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。
また、高画質化手法は、一つの画像処理手法だけで実施されることもあるし、二つ以上の画像処理手法を組み合わせて実施されることもある。また、複数の高画質化手法群を並列に実施し、複数の高画質画像群を生成した上で、最も高画質な高画質画像を最終的に高画質画像として選択することもある。なお、最も高画質な高画質画像の選択は、画質評価指数を用いて自動的に行われてもよいし、任意の表示部等に備えられたユーザーインターフェースに複数の高画質画像群を表示して、検者（ユーザー）の指示に応じて行われてもよい。
なお、高画質化していない入力画像の方が、画像診断に適している場合もあるので、最終的な画像の選択の対象には入力画像を加えてよい。また、高画質化エンジンに対して、低画質画像とともにパラメータを入力してもよい。高画質化エンジンに対して、入力画像とともに、例えば、高画質化を行う程度を指定するパラメータや、画像処理手法に用いられる画像フィルタサイズを指定するパラメータを入力してもよい。
ここで、本実施形態において、教師データの入力データは、断層画像撮影装置１００と同じ機種、断層画像撮影装置１００と同じ設定により取得された低画質画像である。また、教師データの出力データは、断層画像と同じ機種が備える設定や画像処理により取得された高画質画像である。具体的には、出力データは、例えば、複数回撮影することにより取得した画像（元画像）群に対して加算平均等の重ね合わせ処理を行うことにより得られる高画質画像（重ね合わせ画像）である。ここで、高画質画像と低画質画像についてＯＣＴＡのモーションコントラストデータを例として説明をする。ここで、モーションコントラストデータとは、ＯＣＴＡ等で用いられる、撮影対象の同一箇所を繰り返し撮影し、その撮影間における撮影対象の時間的な変化を検出したデータである。このとき、算出したモーションコントラストデータ（３次元の医用画像データの一例）のうち、撮影対象の深さ方向における所望の範囲のデータを用いて正面画像を生成することで、ＯＣＴＡのＥｎ－Ｆａｃｅ画像（モーションコントラスト正面画像）を生成することができる。なお、以下では同一箇所におけるＯＣＴデータを繰り返し撮影することをＮＯＲ（Ｎｕｍｂｅｒ Ｏｆ Ｒｅｐｅａｔ）と呼ぶ。
本実施形態において、重ね合わせ処理による高画質画像と低画質画像の生成例として異なる２種類の方法について図１２を用いて説明をする。
第一の方法は、高画質画像の例として、撮影対象の同一箇所を繰り返し撮影したＯＣＴデータから生成するモーションコントラストデータに関して、図１２（ａ）を用いて説明する。図１２（ａ）において、Ｉｍ２８１０は３次元のモーションコントラストデータ、Ｉｍ２８１１は３次元のモーションコントラストデータを構成する２次元のモーションコントラストデータを示す。そして、Ｉｍ２８１１－１～Ｉｍ２８１１－３は、Ｉｍ２８１１を生成するためのＯＣＴ断層画像（Ｂスキャン）を示している。ここで、ＮＯＲとは、図１２（ａ）においては、Ｉｍ２８１１－１～Ｉｍ２８１１－３におけるＯＣＴ断層画像の数の事を示し、図の例においてＮＯＲは３である。Ｉｍ２８１１－１～Ｉｍ２８１１－３は所定の時間間隔（Δｔ）で撮影される。なお、同一箇所とは被検眼の正面方向（Ｘ－Ｙ）において、１ラインの事を示し、図１２（ａ）においては、Ｉｍ２８１１の箇所に相当する。なお、正面方向は、深さ方向に対して交差する方向の一例である。モーションコントラストデータは時間的な変化を検出したデータであるため、このデータを生成するためには、少なくともＮＯＲは２回とする必要がある。例えば、ＮＯＲが２の場合には、１つのモーションコントラストデータが生成される。ＮＯＲが３の場合には、隣接する時間間隔（１回目と２回目、２回目と３回目）のＯＣＴのみでモーションコントラストデータを生成する場合には、２つのデータが生成される。離れた時間間隔（１回目と３回目）のＯＣＴデータも用いてモーションコントラストデータを生成する場合には、合計３つのデータが生成される。すなわち、ＮＯＲを３回、４回、・・・と増やしていくと、同一箇所におけるモーションコントラストのデータ数も増加する。同一箇所を繰り返し撮影して取得した複数のモーションコントラストデータを位置合わせして加算平均等の重ね合わせ処理をすることで、高画質なモーションコントラストデータを生成することが出来る。そのため、ＮＯＲを少なくとも３回以上とし、５回以上とするのが望ましい。一方、これに対応する低画質画像の例としては、加算平均等の重ね合わせ処理を行う前のモーションコントラストデータとする。この場合、低画質画像は加算平均等の重ね合わせ処理を行う際の基準画像とするのが望ましい。重ね合わせ処理をする際に、基準画像に対して対象画像の位置や形状を変形して位置合わせを行っておけば、基準画像と重ね合わせ処理後の画像とでは空間的な位置ずれがほとんどない。そのため、容易に低画質画像と高画質画像のペアとすることが出来る。なお、基準画像ではなく位置合わせの画像変形処理を行った対象画像を低画質画像としてもよい。元画像群（基準画像と対象画像）のそれぞれを入力データ、対応する重ね合わせ画像を出力データとすることで、複数のペア群を生成することができる。例えば、１５の元画像群から１の重ね合わせ画像を得る場合、元画像群のうちの一つ目の元画像と重ね合わせ画像とのペア、元画像群のうちの二つ目の元画像と重ね合わせ画像とのペアを生成することができる。このように、１５の元画像群から１の重ね合わせ画像を得る場合には、元画像群のうちの一つの画像と重ね合わせ画像による１５のペア群が生成可能である。なお、主走査（Ｘ）方向に同一箇所を繰り返し撮影し、それを副走査（Ｙ）方向にずらしながらスキャンをすることで３次元の高画質データを生成することが出来る。
また、第二の方法は、撮影対象の同一領域を複数回撮影したモーションコントラストデータを重ね合わせ処理することで高画質画像を生成する処理に関して、図１２（ｂ）を用いて説明する。なお、同一領域とは被検眼の正面方向（Ｘ－Ｙ）において、３×３ｍｍや１０×１０ｍｍのような領域の事を示し、断層画像の深さ方向を含めて３次元のモーションコントラストデータを取得することを意味する。同一領域を複数回撮影して重ね合わせ処理を行う際には、１回あたりの撮影を短くするため、ＮＯＲは２回か３回とすることが望ましい。また、高画質な３次元モーションコントラストデータを生成するために、同一領域の３次元データを少なくとも２データ以上取得する。図１２（ｂ）では、複数の３次元モーションコントラストデータの例を示している。Ｉｍ２８２０～Ｉｍ２８４０は、図１２（ａ）で説明したのと同様に３次元のモーションコントラストデータである。これら２データ以上の３次元モーションコントラストデータを用いて、正面方向（Ｘ－Ｙ）と深度方向（Ｚ）の位置合わせ処理を行い、それぞれのデータにおいてアーティファクトとなるデータを除外した後に、平均化処理を行う。それによりアーティファクトの除外された１つの高画質な３次元モーションコントラストデータを生成することが出来る。３次元モーションコントラストデータから任意の平面を生成することで高画質画像となる。一方、これに対応する低画質画像は加算平均等の重ね合わせ処理を行う際の基準データから生成する任意の平面とするのが望ましい。第一の方法で説明したように、基準画像と加算平均後の画像とでは空間的な位置ずれがほとんどないため、容易に低画質画像と高画質画像のペアとすることが出来る。なお、基準データではなく位置合わせの画像変形処理を行った対象データから生成した任意の平面を低画質画像としてもよい。
第一の方法は、撮影自体が１回で終了するため被験者の負担は少ない。しかし、ＮＯＲの回数を増やすほど１回の撮影時間が長くなってしまう。また、撮影途中に目の混濁や睫毛などのアーティファクトが入った場合には必ずしも良い画像が得られるとは限らない。第二の方法は、複数回撮影を行うため被験者の負担は少し増えてしまう。しかし、１回の撮影時間が短く済むのと、１回の撮影でアーティファクトが入ったとしても、別の撮影でアーティファクトが写らなければ最終的にはアーティファクトの少ないきれいな画像を得ることが出来る。これらの特徴を鑑みて、データを集める際には被験者の状況に合わせて任意の方法を選択する。
本実施形態では、モーションコントラストデータを例として説明をしたがこれに限らない。モーションコントラストデータを生成するためにＯＣＴデータを撮影しているため、ＯＣＴデータでも上記の方法で同じことが可能である。さらに、本実施形態においてトラッキング処理について説明を省略したが、被検眼の同一箇所や同一領域を撮影するため、被検眼のトラッキングを行いながら撮影を行うことが望ましい。
本実施形態において、３次元の高画質データと低画質データのペアが出来ているため、ここから任意の２次元画像のペアを生成することが出来る。これに関して、図１３を用いて説明をする。例えば、対象画像をＯＣＴＡのＥｎ－Ｆａｃｅ画像とする場合、３次元データから所望の深度範囲でＯＣＴＡのＥｎ－Ｆａｃｅ画像を生成する。所望の深度範囲とは、図１２においてＺ方向における範囲の事を示す。ここで生成するＯＣＴＡのＥｎ－Ｆａｃｅ画像の例を図１３（ａ）に示す。ＯＣＴＡのＥｎ－Ｆａｃｅ画像としては、表層（Ｉｍ２９１０）、深層（Ｉｍ２９２０）、外層（Ｉｍ２９３０）、脈絡膜血管網（Ｉｍ２９４０）など、異なる深度範囲で生成したＯＣＴＡのＥｎ－Ｆａｃｅ画像を用いて学習を行う。なお、ＯＣＴＡのＥｎ－Ｆａｃｅ画像の種類はこれに限らず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したＯＣＴＡのＥｎ－Ｆａｃｅ画像を生成して種類を増やしてもよい。学習を行う際には、異なる深さのＯＣＴＡのＥｎ－Ｆａｃｅ画像毎に別々に学習をしてもよいし、異なる深度範囲の画像を複数組み合わせて（例えば、表層側と深層側で分ける）学習してもよいし、全ての深度範囲のＯＣＴＡのＥｎ－Ｆａｃｅ画像を一緒に学習させるようにしてもよい。ＯＣＴデータから生成する輝度のＥｎ－Ｆａｃｅ画像の場合も、ＯＣＴＡのＥｎ－Ｆａｃｅと同様に、任意の深度範囲から生成した複数のＥｎ－Ｆａｃｅ画像を用いて学習を行う。例えば、高画質化エンジンが、被検眼の異なる深度範囲に対応する複数のモーションコントラスト正面画像を含む学習データを用いて得た機械学習エンジンを含む場合を考える。このとき、取得部は、異なる深度範囲を含む長い深度範囲のうち一部の深度範囲に対応するモーションコントラスト正面画像を第１の画像として取得することができる。すなわち、学習データに含まれる複数のモーションコントラスト正面画像に対応する複数の深度範囲とは異なる深度範囲に対応するモーションコントラスト正面画像を、高画質化時の入力画像とすることができる。もちろん、学習時と同じ深度範囲のモーションコントラスト正面画像を、高画質化時の入力画像としてもよい。また、一部の深度範囲は、検者がユーザーインターフェース上の任意のボタンを押す等に応じて設定されてもよいし、自動的に設定されてもよい。なお、上述した内容は、モーションコントラスト正面画像に限るものではなく、例えば、輝度のＥｎ－Ｆａｃｅ画像に対しても適用することができる。
なお、処理対象の画像が断層画像である場合、ＢスキャンであるＯＣＴ断層画像やモーションコントラストデータの断層画像を用いて学習を行う。これに関して、図１３（ｂ）を用いて説明をする。図１３（ｂ）において、Ｉｍ２９５１～Ｉｍ２９５３はＯＣＴの断層画像である。図１３（ｂ）において画像が異なるのは、副走査（Ｙ）方向の位置が異なる場所の断層画像を示しているからである。断層画像においては、副走査方向の位置の違いを気にせずに一緒に学習をするようにしてもよい。ただし、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）が異なる場所を撮影した画像の場合には、部位ごとに別々に学習をするようにしてもよいし、撮影部位を気にせずに一緒に学習をするようにしてもよい。なお、ＯＣＴ断層画像と、モーションコントラストデータの断層画像においては画像特徴量が大きく異なるので別々に学習を行う方がよい。
重ね合わせ処理を行った重ね合わせ画像は、元画像群で共通して描出された画素が強調されるため、画像診断に適した高画質画像になる。この場合には、生成される高画質画像は、共通して描出された画素が強調された結果、低輝度領域と高輝度領域との違いがはっきりした高コントラストな画像になる。また、例えば、重ね合わせ画像では、撮影毎に発生するランダムノイズが低減されたり、ある時点の元画像ではうまく描出されなかった領域が他の元画像群によって補間されたりすることができる。
また、機械学習モデルの入力データを複数の画像で構成する必要がある場合には、元画像群から必要な数の元画像群を選択し、入力データとすることができる。例えば、１５の元画像群から１の重ね合わせ画像を得る場合において、機械学習モデルの入力データとして２の画像が必要であれば、１０５（１５Ｃ２＝１０５）のペア群を生成可能である。
なお、教師データを構成するペア群のうち、高画質化に寄与しないペアは教師データから取り除くことができる。例えば、教師データのペアを構成する出力データである高画質画像が画像診断に適さない画質である場合には、当該教師データを用いて学習した高画質化エンジンが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、出力データが画像診断に適さない画質であるペアを教師データから取り除くことで、高画質化エンジンが画像診断に適さない画質の画像を生成する可能性を低減させることができる。
また、ペアである画像群の平均輝度や輝度分布が大きく異なる場合には、当該教師データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力する可能性がある。このため、平均輝度や輝度分布が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。
さらに、ペアである画像群に描画される撮影対象の構造や位置が大きく異なる場合には、当該教師データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力する可能性がある。このため、描画される撮影対象の構造や位置が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。また、高画質化エンジンについて、品質保持の観点から、自身が出力する高画質画像を教師データとして用いないように構成することができる。
このように機械学習を行った高画質化エンジンを用いることで、画像処理装置１０１（あるいは画像処理部１０１－０４）における高画質化部は、一回の撮影で取得された医用画像が入力された場合に、重ね合わせ処理によって高コントラスト化やノイズ低減等が行われたような高画質画像を出力することができる。このため、高画質化部は、入力画像である低画質画像に基づいて、画像診断に適した高画質画像を生成することができる。
次に、図７のフロー図を参照して、本実施形態に係る一連の画像処理について説明する。図７は本実施形態に係る一連の画像処理のフロー図である。まず、本実施形態に係る一連の画像処理が開始されると、処理はステップＳ５１０に移行する。
ステップＳ５１０では、画像取得部１０１－０１が、回路やネットワークを介して接続された断層画像撮影装置１００から、断層画像撮影装置１００が撮影した画像を入力画像として取得する。なお、画像取得部１０１－０１は、断層画像撮影装置１００からの要求に応じて、入力画像を取得してもよい。このような要求は、例えば、断層画像撮影装置１００が画像を生成した時、断層画像撮影装置１００が生成した画像を断層画像撮影装置１００が備える記憶装置に保存する前や保存した後、保存された画像を表示部１０４に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。
なお、画像取得部１０１－０１は、断層画像撮影装置１００から画像を生成するためのデータを取得し、画像処理装置１０１が当該データに基づいて生成した画像を入力画像として取得してもよい。この場合、画像処理装置１０１が各種画像を生成するための画像生成方法としては、既存の任意の画像生成方法を採用してよい。
ステップＳ５２０では、画像処理装置１０１における撮影条件取得部（不図示）が、入力画像の撮影条件群を取得する。具体的には、入力画像のデータ形式に応じて、入力画像を構成するデータ構造に保存された撮影条件群を取得する。なお、上述のように、入力画像に撮影条件が保存されていない場合には、撮影条件取得部は、断層画像撮影装置１００や不図示の画像管理システムから撮影条件群を含む撮影情報群を取得することができる。
ステップＳ５３０においては、画像処理装置１０１における高画質化可否判定部（不図示）が、取得された撮影条件群を用いて、画像処理装置１０１（あるいは画像処理部１０１－０４）における高画質化部に備える高画質化エンジンによって入力画像を高画質化可能であるか否かを判定する。具体的には、高画質化可否判定部は、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズが、高画質化エンジンによって対処可能な条件と一致するか否かを判定する。
高画質化可否判定部が、すべての撮影条件を判定し、対処可能と判定された場合には、処理はステップＳ５４０に移行する。一方、高画質化可否判定部が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップＳ５５０に移行する。
なお、画像処理装置１０１の設定や実装形態によっては、撮影部位、撮影方式、撮影画角、及び画像サイズのうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップＳ５４０における高画質化処理が実施されてもよい。例えば、高画質化エンジンが、被検者のいずれの撮影部位に対しても網羅的に対応可能であると想定され、入力データに未知の撮影部位が含まれていたとしても対処可能であるように実装されている場合等には、このような処理を行ってもよい。また、高画質化可否判定部は、所望の構成に応じて、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズのうちの少なくとも一つが高画質化エンジンによって対処可能な条件と一致するか否かを判定してもよい。
ステップＳ５４０においては、高画質化部が、高画質化エンジンを用いて、入力画像を高画質化し、入力画像よりも画像診断に適した高画質画像を生成する。具体的には、高画質化部は、入力画像を高画質化エンジンに入力し、高画質化された高画質画像を生成させる。高画質化エンジンは、教師データを用いて機械学習を行った機械学習モデルに基づいて、入力画像を用いて重ね合わせ処理を行ったような高画質画像を生成する。このため、高画質化エンジンは、入力画像よりも、ノイズ低減されたり、コントラスト強調されたりした高画質画像を生成することができる。
なお、画像処理装置１０１の設定や実装形態によっては、高画質化部が、撮影条件群に応じて、高画質化エンジンに入力画像とともにパラメータを入力して、高画質化の程度等を調節してもよい。また、高画質化部は、検者の入力に応じたパラメータを高画質化エンジンに入力画像とともに入力して高画質化の程度等を調整してもよい。
ステップＳ５５０では、表示制御部１０１－０５が、ステップＳ５４０において高画質画像が生成されていれば、高画質画像を出力して、表示部１０４に表示させる。一方、ステップＳ５３０において高画質化処理が不可能であるとされていた場合には、入力画像を出力し、表示部１０４に表示させる。なお、表示制御部１０１－０５は、表示部１０４に出力画像を表示させるのに代えて、断層画像撮影装置１００や他の装置に出力画像を表示させたり、記憶させたりしてもよい。また、表示制御部１０１－０５は、画像処理装置１０１の設定や実装形態によっては、出力画像を断層画像撮影装置１００や他の装置が利用可能なように加工したり、画像管理システム等に送信可能なようにデータ形式を変換したりしてもよい。
上記のように、本実施形態に係る画像処理装置１０１は、画像取得部１０１－０１と、高画質化部とを備える。画像取得部１０１－０１は、被検者の所定部位の画像である入力画像（第１の画像）を取得する。高画質化部は、機械学習エンジンを含む高画質化エンジンを用いて、入力画像から、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた高画質画像（第２の画像）を生成する。高画質化エンジンは、重ね合わせ処理により得られた画像を学習データとした機械学習エンジンを含む。
当該構成により、本実施形態に係る画像処理装置１０１は、入力画像から、ノイズが低減されていたり、コントラストが強調されていたりする高画質画像を出力することができる。このため、画像処理装置１０１は、より明瞭な画像や観察したい部位や病変が強調されている画像等の画像診断に適した画像を、従来と比べて、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく、より少ない代償で取得することができる。
また、画像処理装置１０１は、入力画像に対して、高画質化エンジンを用いて高画質画像を生成できる否かを判定する高画質化可否判定部を更に備える。高画質化可否判定部は、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズの少なくとも一つに基づいて当該判定を行う。
当該構成により、本実施形態に係る画像処理装置１０１は、高画質化部が処理できない入力画像を高画質化処理から省くことができ、画像処理装置１０１の処理負荷やエラーの発生を低減させることができる。
なお、本実施形態においては、表示制御部１０１－０５は、生成された高画質画像を表示部１０４に表示させる構成としたが、表示制御部１０１－０５の動作はこれに限られない。例えば、表示制御部１０１－０５は、高画質画像を断層画像撮影装置１００や画像処理装置１０１に接続される他の装置に出力することもできる。このため、高画質画像は、これらの装置のユーザーインターフェースに表示されたり、任意の記憶装置に保存されたり、任意の画像解析に利用されたり、画像管理システムに送信されたりすることができる。
本実施形態においては、高画質化可否判定部が、高画質化エンジンによって高画質化可能な入力画像であるか否かを判定して、高画質化可能な入力画像であれば高画質化部が高画質化を行った。これに対し、断層画像撮影装置１００によって、高画質化可能な撮影条件でのみ撮影が行なわれる等の場合には、断層画像撮影装置１００から取得した画像を無条件に高画質化してもよい。この場合には、図８に示すように、ステップＳ５２０とステップＳ５３０の処理を省き、ステップＳ５１０の次にステップＳ５４０を実施することができる。
なお、本実施形態においては、表示制御部１０１－０５が、表示部１０４に高画質画像を表示させる構成とした。しかしながら、表示制御部１０１－０５は、検者からの指示に応じて、高画質画像を表示部１０４に表示させてもよい。例えば、表示制御部１０１－０５は、検者が表示部１０４のユーザーインターフェース上の任意のボタンを押すことに応じて、高画質画像を表示部１０４に表示させてもよい。この場合、表示制御部１０１－０５は、入力画像と切り替えて高画質画像を表示させてもよいし、入力画像と並べて高画質画像を表示させてもよい。
さらに、表示制御部１０１－０５は、表示部１０４に高画質画像を表示させる際に、表示されている画像が機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示を高画質画像とともに表示させてもよい。この場合には、ユーザは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。
また、表示制御部１０１－０５は、機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示について、機械学習アルゴリズムがどのような教師データによって学習を行ったものであるかを示す表示を表示部１０４に表示させてもよい。当該表示としては、教師データの入力データと出力データの種類の説明や、入力データと出力データに含まれる撮影部位等の教師データに関する任意の表示を含んでよい。
本実施形態に係る高画質化エンジンでは、教師データの出力データとして、重ね合わせ画像を用いたが、教師データはこれに限られない。教師データの出力データとして、高画質画像を得る手段である、重ね合わせ処理や、後述する処理群、後述する撮影方法のうち、少なくとも一つを行うことで得られる高画質画像を用いてもよい。
例えば、教師データの出力データとして、元画像群に対して最大事後確率推定処理（ＭＡＰ推定処理）を行うことで得られる高画質画像を用いてもよい。ＭＡＰ推定処理では、複数の低画質画像における各画素値の確率密度から尤度関数を求め、求めた尤度関数を用いて真の信号値（画素値）を推定する。
ＭＡＰ推定処理により得られた高画質画像は、真の信号値に近い画素値に基づいて高コントラストな画像となる。また、推定される信号値は、確率密度に基づいて求められるため、ＭＡＰ推定処理により得られた高画質画像では、ランダムに発生するノイズが低減される。このため、ＭＡＰ推定処理により得られた高画質画像を教師データとして用いることで、高画質化エンジンは、入力画像から、ノイズが低減されたり、高コントラストとなったりした、画像診断に適した高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。
また、教師データの出力データとして、元画像に平滑化フィルタ処理を適用した高画質画像を用いてもよい。この場合には、高画質化エンジンは、入力画像から、ランダムノイズが低減された高画質画像を生成することができる。さらに、教師データの出力データとして、元画像に階調変換処理を適用した画像を用いてもよい。この場合には、高画質化エンジンは、入力画像から、コントラスト強調された高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。
なお、教師データの入力データは、断層画像撮影装置１００と同じ画質傾向を持つ撮影装置から取得された画像でもよい。また、教師データの出力データは、逐次近似法等の高コストな処理によって得られた高画質画像であってもよいし、入力データに対応する被検者を、断層画像撮影装置１００よりも高性能な撮影装置で撮影することで取得した高画質画像であってもよい。さらに、出力データは、ルールベースによるノイズ低減処理を行うことによって取得された高画質画像であってもよい。ここで、ノイズ低減処理は、例えば、低輝度領域内に現れた明らかにノイズである１画素のみの高輝度画素を、近傍の低輝度画素値の平均値に置き換える等の処理を含むことができる。このため、高画質化エンジンは、入力画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は入力画像の撮影工程よりも工数の多い撮影工程で取得された画像を学習データとしてもよい。例えば、高画質化エンジンは、モーションコントラスト正面画像を入力画像とする場合、入力画像のＯＣＴＡ撮影に用いられるＯＣＴ撮影装置よりも高性能なＯＣＴ撮影装置によってＯＣＴＡ撮影されて得た画像、又は入力画像のＯＣＴＡ撮影工程よりも工数の多いＯＣＴＡ撮影工程で取得されて得た画像を学習データとしてもよい。
なお、本実施形態の説明では省略したが、教師データの出力データとして用いられる、複数の画像から生成された高画質画像は、位置合わせ済みの複数の画像から生成されることができる。当該位置合わせ処理としては、例えば、複数の画像のうちの一つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の画像との類似度を求め、テンプレートとの位置ずれ量を求め、位置ずれ量に基づいて各画像を補正してよい。また、その他の既存の任意の位置合わせ処理を行ってもよい。
なお、三次元画像を位置合わせする場合には、三次元画像を複数の二次元画像に分解し、二次元画像毎に位置合わせしたものを統合することで、三次元画像の位置合わせを行ってもよい。また、二次元画像を一次元画像に分解し、一次元画像毎に位置合わせしたものを統合することで、二次元画像の位置合わせを行ってもよい。なお、画像ではなく、画像を生成するためのデータに対して、これら位置合わせを行ってもよい。
また、本実施形態では、高画質化可否判定部が高画質化部によって入力画像が対処可能であると判断したら、処理がステップＳ５４０に移行して、高画質化部による高画質化処理が開始された。これに対し、表示制御部１０１－０５が高画質化可否判定部による判定結果を表示部１０４に表示させ、高画質化部が検者からの指示に応じて高画質化処理を開始してもよい。この際、表示制御部１０１－０５は、判定結果とともに、入力画像や入力画像について取得した撮影部位等の撮影条件を表示部１０４に表示させることができる。この場合には、検者によって判定結果が正しいか否かが判断された上で、高画質化処理が行われるため、誤判定に基づく高画質化処理を低減させることができる。
また、高画質化可否判定部による判定を行わず、表示制御部１０１－０５が入力画像や入力画像について取得した撮影部位等の撮影条件を表示部１０４に表示させ、高画質化部が検者からの指示に応じて高画質化処理を開始してもよい。
［第５の実施形態］
次に、図１４を参照して、第５の実施形態に係る画像処理装置について説明する。本実施形態では、画像処理装置１０１（あるいは画像処理部１０１－０４）における高画質化部での処理結果を表示制御部１０１－０５が表示部１０４に表示を行う例について説明を行う。なお、本実施形態では、図１４を用いて説明を行うが表示画面はこれに限らない。経過観察のように、異なる日時で得た複数の画像を並べて表示する表示画面においても同様に高画質化処理は適用可能である。また、撮影確認画面のように、検者が撮影直後に撮影成否を確認する表示画面においても同様に高画質化処理は適用可能である。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態等に係る画像処理装置１０１と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態等に係る画像処理装置との違いを中心として説明する。
表示制御部１０１－０５は、高画質化部が生成した複数の高画質画像や高画質化を行っていない低画質画像を表示部１０４に表示させることができる。これにより、検者の指示に応じて低画質画像、高画質画像をそれぞれ出力することができる。
以下、図１４を参照して、当該インターフェース３４００の一例を示す。３４００は画面全体、３４０１は患者タブ、３４０２は撮影タブ、３４０３はレポートタブ、３４０４は設定タブを表し、３４０３のレポートタブにおける斜線は、レポート画面のアクティブ状態を表している。本実施形態においては、レポート画面を表示する例について説明をする。Ｉｍ３４０５はＳＬＯ画像、Ｉｍ３４０６は、Ｉｍ３４０７に示すＯＣＴＡのＥｎ－Ｆａｃｅ画像をＳＬＯ画像Ｉｍ３４０５に重畳表示している。ここでＳＬＯ画像とは、不図示のＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ：走査型検眼鏡）光学系によって取得した眼底の正面画像である。Ｉｍ３４０７とＩｍ３４０８はＯＣＴＡのＥｎ－Ｆａｃｅ画像、Ｉｍ３４０９は輝度のＥｎ－Ｆａｃｅ画像、Ｉｍ３４１１とＩｍ３４１２は断層画像を示している。３４１３と３４１４は、それぞれＩｍ３４０７とＩｍ３４０８に示したＯＣＴＡのＥｎ－Ｆａｃｅ画像の上下範囲の境界線を断層画像に重畳表示している。ボタン３４２０は、高画質化処理の実行を指定するためのボタンである。もちろん、後述するように、ボタン３４２０は、高画質画像の表示を指示するためのボタンであってもよい。
本実施形態において、高画質化処理の実行はボタン３４２０を指定して行うか、データベースに保存（記憶）されている情報に基づいて実行の有無を判断する。初めに、検者からの指示に応じてボタン３４２０を指定することで高画質画像の表示と低画質画像の表示を切り替える例について説明をする。なお、高画質化処理の対象画像はＯＣＴＡのＥｎ－Ｆａｃｅ画像として説明する。検者がレポートタブ３４０３を指定してレポート画面に遷移した際には、低画質なＯＣＴＡのＥｎ－Ｆａｃｅ画像Ｉｍ３４０７とＩｍ３４０８を表示する。その後、検者がボタン３４２０を指定することで、高画質化部は画面に表示している画像Ｉｍ３４０７とＩｍ３４０８に対して高画質化処理を実行する。高画質化処理が完了後、表示制御部１０１－０５は高画質化部が生成した高画質画像をレポート画面に表示する。なお、Ｉｍ３４０６は、Ｉｍ３４０７をＳＬＯ画像Ｉｍ３４０５に重畳表示しているものであるため、Ｉｍ３４０６も高画質化処理した画像を表示する。そして、ボタン３４２０の表示をアクティブ状態に変更し、高画質化処理を実行したことが分かるような表示をする。ここで、高画質化部における処理の実行は、検者がボタン３４２０を指定したタイミングに限る必要はない。レポート画面を開く際に表示するＯＣＴＡのＥｎ－Ｆａｃｅ画像Ｉｍ３４０７とＩｍ３４０８の種類は事前に分かっているため、レポート画面に遷移する際に高画質化処理を実行してもよい。そして、ボタン３４２０が押下されたタイミングで、表示制御部１０１－０５が高画質画像をレポート画面に表示するようにしてもよい。さらに、検者からの指示に応じて、又はレポート画面に遷移する際に高画質化処理を行う画像の種類は２種類である必要はない。表示する可能性の高い画像、例えば、図１３で示したような表層（Ｉｍ２９１０）、深層（Ｉｍ２９２０）、外層（Ｉｍ２９３０）、脈絡膜血管網（Ｉｍ２９４０）などの複数のＯＣＴＡのＥｎ－Ｆａｃｅ画像に対して処理を行うようにしてもよい。この場合、高画質化処理をして得た画像を一時的にメモリに記憶、あるいはデータベースに記憶しておくようにしてもよい。
次に、データベースに保存（記憶）されている情報に基づいて高画質化処理を実行する場合について説明をする。データベースに高画質化処理の実行を行う状態が保存されている場合、レポート画面に遷移した際に、高画質化処理を実行して得た高画質画像をデフォルトで表示する。そして、ボタン３４２０がアクティブ状態としてデフォルトで表示されることで、検者に対しては高画質化処理を実行して得た高画質画像が表示されていることが分かるように構成することができる。検者は、高画質化処理前の低画質画像を表示したい場合には、ボタン３４２０を指定してアクティブ状態を解除することで、低画質画像を表示することが出来る。高画質画像に戻したい場合、検者はボタン３４２０を指定する。データベースへの高画質化処理の実行有無は、データベースに保存されているデータ全体に対して共通、及び撮影データ毎（検査毎）など、階層別に指定するものとする。例えば、データベース全体に対して高画質化処理を実行する状態を保存してある場合において、個別の撮影データ（個別の検査）に対して、検者が高画質化処理を実行しない状態を保存した場合、その撮影データを次回表示する際には高画質化処理を実行しない状態で表示を行う。撮影データ毎（検査毎）に高画質化処理の実行状態を保存するために、不図示のユーザーインターフェース（例えば、保存ボタン）を用いてもよい。また、他の撮影データ（他の検査）や他の患者データに遷移（例えば、検者からの指示に応じてレポート画面以外の表示画面に変更）する際に、表示状態（例えば、ボタン３４２０の状態）に基づいて、高画質化処理の実行を行う状態が保存されるようにしてもよい。これにより、撮影データ単位（検査単位）で高画質化処理実行の有無が指定されていない場合、データベース全体に対して指定されている情報に基づいて処理を行い、撮影データ単位（検査単位）で指定されている場合には、その情報に基づいて個別に処理を実行することが出来る。
本実施形態におけるＯＣＴＡのＥｎ－Ｆａｃｅ画像として、Ｉｍ３４０７とＩｍ３４０８を表示する例を示しているが、表示するＯＣＴＡのＥｎ－Ｆａｃｅ画像は検者の指定により変更することが可能である。そのため、高画質化処理の実行が指定されている時（ボタン３４２０がアクティブ状態）における画像の変更について説明をする。
画像の変更は、不図示のユーザーインターフェース（例えば、コンボボックス）を用いて変更を行う。例えば、検者が画像の種類を表層から脈絡膜血管網に変更した時に、高画質化部は脈絡膜血管網画像に対して高画質化処理を実行し、表示制御部１０１－０５は高画質化部が生成した高画質な画像をレポート画面に表示する。すなわち、表示制御部１０１－０５は、検者からの指示に応じて、第１の深度範囲の高画質画像の表示を、第１の深度範囲とは少なくとも一部が異なる第２の深度範囲の高画質画像の表示に変更してもよい。このとき、表示制御部１０１－０５は、検者からの指示に応じて第１の深度範囲が第２の深度範囲に変更されることにより、第１の深度範囲の高画質画像の表示を、第２の深度範囲の高画質画像の表示に変更してもよい。なお、上述したようにレポート画面遷移時に表示する可能性の高い画像に対しては、既に高画質画像が生成済みである場合、表示制御部１０１－０５は生成済みの高画質な画像を表示すればよい。なお、画像の種類の変更方法は上記したものに限らず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したＯＣＴＡのＥｎ－Ｆａｃｅ画像を生成することも可能である。その場合、基準となる層、あるいはオフセット値が変更された時に、高画質化部は任意のＯＣＴＡのＥｎ－Ｆａｃｅ画像に対して高画質化処理を実行し、表示制御部１０１－０５は高画質な画像をレポート画面に表示する。基準となる層、オフセット値の変更は、不図示のユーザーインターフェース（例えば、コンボボックスやテキストボックス）を用いて行われることができる。また、断層画像Ｉｍ３４１１とＩｍ３４１２に重畳表示している境界線３４１３と３４１４のいずれかをドラッグ（層境界を移動）することで、ＯＣＴＡのＥｎ－Ｆａｃｅ画像の生成範囲を変更することが出来る。境界線をドラッグによって変更する場合、高画質化処理の実行命令が連続的に実施される。そのため、高画質化部は実行命令に対して常に処理を行ってもよいし、ドラッグによる層境界の変更後に実行するようにしてもよい。あるいは、高画質化処理の実行は連続的に命令されるが、次の命令が来た時点で前回の命令をキャンセルし、最新の命令を実行するようにしてもよい。なお、高画質化処理には比較的時間がかかる場合がある。このため、上述したどのようなタイミングで命令が実行されたとしても、高画質画像が表示されるまでに比較的時間がかかる場合がある。そこで、検者からの指示に応じてＯＣＴＡのＥｎ－Ｆａｃｅ画像を生成するための深度範囲が設定されてから、高画質画像が表示されるまでの間、該設定された深度範囲に対応するＯＣＴＡのＥｎ－Ｆａｃｅ画像（低画質画像）が表示されてもよい。すなわち、上記深度範囲が設定されると、該設定された深度範囲に対応するＯＣＴＡのＥｎ－Ｆａｃｅ画像（低画質画像）が表示され、高画質化処理が終了すると、該ＯＣＴＡのＥｎ－Ｆａｃｅ画像（該低画質画像）の表示が高画質画像の表示に変更されるように構成されてもよい。また、上記深度範囲が設定されてから、高画質画像が表示されるまでの間、高画質化処理が実行されていることを示す情報が表示されてもよい。なお、これらは、高画質化処理の実行が既に指定されている状態（ボタン３４２０がアクティブ状態）を前提とする場合だけでなく、例えば、検者からの指示に応じて高画質化処理の実行が指示された際に、高画質画像が表示されるまでの間においても、適用することが可能である。
本実施形態では、ＯＣＴＡのＥｎ－Ｆａｃｅ画像として、Ｉｍ３４０７とＩｍ３４０８に異なる層を表示し、低画質と高画質な画像は切り替えて表示する例を示したが、これに限らない。例えば、Ｉｍ３４０７には低画質なＯＣＴＡのＥｎ－Ｆａｃｅ画像、Ｉｍ３４０８には高画質なＯＣＴＡのＥｎ－Ｆａｃｅ画像を並べて表示するようにしてもよい。画像を切り替えて表示する場合には、同じ場所で画像を切り替えるので変化がある部分の比較を行いやすく、並べて表示する場合には、同時に画像を表示することが出来るので画像全体を比較しやすい。
ここで、解析部１０１－４６が、高画質化処理により生成された高画質画像を画像解析してもよい。高画質化したＯＣＴＡのＥｎ－Ｆａｃｅ画像における画像解析としては、任意の２値化処理を適用することで、画像から血管相当の箇所（血管領域）を検出することが出来る。検出した血管相当の箇所が画像に対して占める割合を求めることで面積密度を解析することが出来る。また、２値化処理した血管相当の箇所を細線化することで、線幅１画素の画像とし、太さに依存しない血管が占める割合（スケルトン密度ともいう）を求めることも出来る。これらの画像を用いて、無血管領域（ＦＡＺ）の面積や形状（円形度など）を解析するようにしてもよい。解析の方法として、画像全体から上述した数値を計算するようにしてもよいし、不図示のユーザーインターフェースを用いて、検者（ユーザー）の指示に基づいて、指定された関心領域（ＲＯＩ）に対して数値を計算するようにしてもよい。ＲＯＩの設定は必ずしも検者に指定されるだけではなく、自動的に所定の領域が指定されるものであってもよい。ここで、上述した各種パラメータは、血管に関する解析結果の一例であって、血管に関するパラメータであれば、何でもよい。なお、解析部１０１－４６は複数の画像解析処理を行ってもよい。すなわち、ここではＯＣＴＡのＥｎ－Ｆａｃｅ画像に関して解析する例を示したが、これだけではなく、同時にＯＣＴにより取得された画像に対する、網膜層のセグメンテーション、層厚計測、乳頭三次元形状解析、篩状板解析などを行ってもよい。これに関連して、解析部１０１－４６は、任意の入力装置を介した検者からの指示に応じて、複数の画像解析処理のうちの一部又は全部を行ってもよい。
このとき、表示制御部１０１－０５が、高画質化部によって生成された高画質画像及び解析部１０１－４６による解析結果を表示部１０４に表示させる。なお、表示制御部１０１－０５は高画質画像及び解析結果を別々の表示部や装置に出力してもよい。また、表示制御部１０１－０５は、解析結果のみを表示部１０４に表示させてもよい。さらに、解析部１０１－４６が複数の解析結果を出力する場合には、表示制御部１０１－０５は、複数の解析結果の一部又は全部を表示部１０４やその他の装置に出力してもよい。例えば、ＯＣＴＡのＥｎ－Ｆａｃｅ画像における血管に関する解析結果を２次元マップとして表示部１０４に表示させてもよい。また、ＯＣＴＡのＥｎ－Ｆａｃｅ画像における血管に関する解析結果を示す値をＯＣＴＡのＥｎ－Ｆａｃｅ画像に重畳して表示部１０４に表示させてもよい。このように、本実施形態に係る画像処理装置１０１では、画像解析に高画質画像を用いるため、解析の精度を向上させることができる。
次に、画面遷移における高画質化処理の実行について、図１４（ａ）と（ｂ）を用いて説明を行う。図１４（ａ）は、図１４（ｂ）におけるＯＣＴＡ画像を拡大表示した画面例である。図１４（ａ）においても、図１４（ｂ）と同様にボタン３４２０を表示する。図１４（ｂ）から図１４（ａ）への画面遷移は、例えば、ＯＣＴＡ画像をダブルクリックすることで遷移し、図１４（ａ）から図１４（ｂ）へは閉じるボタン３４３０で遷移する。なお、画面遷移に関しては、ここで示した方法に限らず、不図示のユーザーインターフェースを用いてもよい。
画面遷移の際に高画質化処理の実行が指定されている場合（ボタン３４２０がアクティブ）、画面遷移時においてもその状態を保つ。すなわち、図１４（ｂ）の画面で高画質画像を表示している状態で図１４（ａ）の画面に遷移する場合、図１４（ａ）の画面においても高画質画像を表示する。そして、ボタン３４２０はアクティブ状態にする。図１４（ａ）から図１４（ｂ）へ遷移する場合にも同様である。図１４（ａ）において、ボタン３４２０を指定して低画質画像に表示を切り替えることもできる。
画面遷移に関して、ここで示した画面に限らず、経過観察用の表示画面、又はパノラマ用の表示画面など同じ撮影データを表示する画面への遷移であれば、高画質画像の表示状態を保ったまま遷移を行う。すなわち、遷移後の表示画面において、遷移前の表示画面におけるボタン３４２０の状態に対応する画像が表示される。例えば、遷移前の表示画面におけるボタン３４２０がアクティブ状態であれば、遷移後の表示画面において高画質画像が表示される。また、例えば、遷移前の表示画面におけるボタン３４２０のアクティブ状態が解除されていれば、遷移後の表示画面において低画質画像が表示される。なお、経過観察用の表示画面におけるボタン３４２０がアクティブ状態になると、経過観察用の表示画面に並べて表示される異なる日時（異なる検査日）で得た複数の画像が高画質画像に切り換わるようにしてもよい。すなわち、経過観察用の表示画面におけるボタン３４２０がアクティブ状態になると、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。
ここで、経過観察用の表示画面の例を、図１１に示す。検者からの指示に応じてタブ３８０１が選択されると、図１１のように、経過観察用の表示画面が表示される。このとき、計測対象領域の深度範囲を、リストボックスに表示された既定の深度範囲セット（３８０２及び３８０３）から検者が選択することで変更できる。例えば、リストボックス３８０２では網膜表層が選択され、また、リストボックス３８０３では網膜深層が選択されている。上側の表示領域には網膜表層のモーションコントラスト画像の解析結果が表示され、また、下側の表示領域には網膜深層のモーションコントラスト画像の解析結果が表示されている。すなわち、深度範囲が選択されると、異なる日時の複数の画像について、選択された深度範囲の複数のモーションコントラスト画像の解析結果の並列表示に一括して変更される。
このとき、解析結果の表示を非選択状態にすると、異なる日時の複数のモーションコントラスト画像の並列表示に一括して変更されてもよい。そして、検者からの指示に応じてボタン３４２０が指定されると、複数のモーションコントラスト画像の表示が複数の高画質画像の表示に一括して変更される。
また、解析結果の表示が選択状態である場合には、検者からの指示に応じてボタン３４２０が指定されると、複数のモーションコントラスト画像の解析結果の表示が複数の高画質画像の解析結果の表示に一括して変更される。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、二次元マップ）の表示への変更であってもよい。
また、深度範囲の指定に用いる層境界の種類とオフセット位置をそれぞれ、３８０５，３８０６のようなユーザーインターフェースから一括して変更することができる。なお、断層画像も一緒に表示させ、断層画像上に重畳された層境界データを検者からの指示に応じて移動させることにより、異なる日時の複数のモーションコントラスト画像の深度範囲を一括して変更されてもよい。このとき、異なる日時の複数の断層画像を並べて表示し、１つの断層画像上で上記移動が行われると、他の断層画像上でも同様に層境界データが移動されてもよい。また、画像投影法やプロジェクションアーティファクト抑制処理の有無を、例えば、コンテキストメニューのようなユーザーインターフェースから選択することにより変更してもよい。また、選択ボタン３８０７を選択して選択画面を表示させ、該選択画面上に表示された画像リストから選択された画像が表示されてもよい。なお、図１１の上部に表示されている矢印３８０４は現在選択されている検査であることを示す印であり、基準検査（Ｂａｓｅｌｉｎｅ）はＦｏｌｌｏｗ－ｕｐ撮影の際に選択した検査（図１１の一番左側の画像）である。もちろん、基準検査を示すマークを表示部１０４に表示させてもよい。
また、「Ｓｈｏｗ Ｄｉｆｆｅｒｅｎｃｅ」チェックボックス３８０８が指定された場合には、基準画像上に基準画像に対する計測値分布（マップもしくはセクタマップ）を表示する。さらに、この場合には、それ以外の検査日に対応する領域に基準画像に対して算出した計測値分布と当該領域に表示される画像に対して算出した計測分布との差分計測値マップを表示する。計測結果としては、レポート画面上にトレンドグラフ（経時変化計測によって得られた各検査日の画像に対する計測値のグラフ）を表示させてもよい。すなわち、異なる日時の複数の画像に対応する複数の解析結果の時系列データ（例えば、時系列グラフ）が表示されてもよい。このとき、表示されている複数の画像に対応する複数の日時以外の日時に関する解析結果についても、表示されている複数の画像に対応する複数の解析結果と判別可能な状態で（例えば、時系列グラフ上の各点の色が画像の表示の有無で異なる）時系列データとして表示させてもよい。また、該トレンドグラフの回帰直線（曲線）や対応する数式をレポート画面に表示させてもよい。
本実施形態においては、モーションコントラスト画像に関して説明を行ったが、これに限らない。本実施形態に係る表示、高画質化、及び画像解析等の処理に関する画像は、断層画像でもよい。さらには、断層画像だけではなく、ＳＬＯ画像、眼底写真、又は蛍光眼底写真など、異なる画像であっても構わない。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。
このような構成により、本実施形態に係る高画質化部（不図示）が処理した画像を表示制御部１０１－０５が表示部１０４に表示することができる。このとき、上述したように、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも１つが選択された状態である場合には、表示画面が遷移されても、選択された状態が維持されてもよい。
また、上述したように、複数の条件のうち少なくとも１つが選択された状態である場合には、他の条件が選択された状態に変更されても、該少なくとも１つが選択された状態が維持されてもよい。例えば、表示制御部１０１－０５は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、ボタン３４２０が指定されると）、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部１０１－０５は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、ボタン３４２０の指定が解除されると）、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。
また、表示制御部１０１－０５は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部１０１－０５は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部１０１－０５は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部１０１－０５は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。
また、高画質画像の表示が非選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部１０１－０５は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、低画質画像の第１の種類の解析結果の表示を低画質画像の第２の種類の解析結果の表示に変更してもよい。また、高画質画像の表示が選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部１０１－０５は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、高画質画像の第１の種類の解析結果の表示を高画質画像の第２の種類の解析結果の表示に変更してもよい。
なお、経過観察用の表示画面においては、上述したように、これらの表示の変更が、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、二次元マップ）の表示への変更であってもよい。
（変形例１）
上述した実施形態において、表示制御部１０１－０５は、高画質化部によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部１０４に表示させることができる。また、表示制御部１０１－０５は、検者からの指示に応じて、表示部１０４上の表示を撮影画像（入力画像）から高画質画像に切り替えてもよい。すなわち、表示制御部１０１－０５は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、表示制御部１０１－０５は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。
さらに、画像処理装置１０１（あるいは画像処理部１０１－０４）における高画質化部が、高画質化エンジン（高画質化用の学習済モデル）による高画質化処理の開始（高画質化エンジンへの画像の入力）を検者からの指示に応じて実行し、表示制御部１０１－０５が、高画質化部によって生成された高画質画像を表示部１０４に表示させてもよい。これに対し、撮影装置（断層画像撮影装置１００）によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、表示制御部１０１－０５が、検者からの指示に応じて高画質画像を表示部１０４に表示させてもよい。ここで、高画質化エンジンとは、上述した画質向上処理（高画質化処理）を行う学習済モデルを含む。
なお、これらの処理は解析結果の出力についても同様に行うことができる。すなわち、表示制御部１０１－０５は、検者からの指示に応じて、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部１０１－０５は、検者からの指示に応じて、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。もちろん、表示制御部１０１－０５は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部１０１－０５は、検者からの指示に応じて、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部１０１－０５は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部１０１－０５は、検者からの指示に応じて、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。
また、表示制御部１０１－０５は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の他の種類の解析結果の表示に変更してもよい。また、表示制御部１０１－０５は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の他の種類の解析結果の表示に変更してもよい。
ここで、高画質画像の解析結果の表示は、高画質画像の解析結果を任意の透明度により高画質画像に重畳表示させたものであってもよい。また、低画質画像の解析結果の表示は、低画質画像の解析結果を任意の透明度により低画質画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、二次元マップ）の表示への変更であってもよい。
また、上述した様々な実施形態において、設定される関心領域に対して実行される処理は、解析処理に限らず、例えば、画像処理であってもよい。画像処理としては、例えば、コントラスト処理、階調変換処理、超解像度処理、平滑化処理等であれば、何でもよい。また、他の表示画面に遷移した後も、遷移前に設定された透過率によりブレンド処理して得たブレンド画像を表示してもよい。例えば、経過観察の表示画面に遷移した後、異なる日時に得た複数の画像として、遷移前に設定された透過率によりブレンド処理して得た複数のブレンド画像が並べて表示されてもよい。また、経過観察の表示画面にも同様のスライドバーが表示され、検者からの指示に応じて透過率が設定（変更）されると、設定された透過率が異なる日時に得た複数の画像に対して一括して反映されてもよい。すなわち、透過率が設定（変更）されると、設定された透過率によりブレンド処理して得た複数のブレンド画像が表示されてもよい。なお、ブレンド処理は、これらの表示画面に限らず、撮影確認画面、レポート画面、撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面において実行可能であればよい。
（変形例２）
上述した様々な実施形態及び変形例において、ブレンド処理に用いられる透過率（透過係数）は、検者からの指示だけによって設定されることに限らず、自動的に設定されてもよいし、半自動で設定されてもよい。例えば、互いに対応する領域のＯＣＴ画像及びＯＣＴＡ画像の少なくとも１つ等の医用画像を入力データとし、検者からの指示に応じて設定された透過率を正解データ（教師データ）とする学習データにより機械学習して得た学習済モデルが用いられてもよい。すなわち、透過率設定部が、互いに対応する領域のＯＣＴ画像及びＯＣＴＡ画像の少なくとも１つ等の医用画像から、上記学習済モデルを用いて、新たな透過率を生成するように構成されてもよい。このとき、上記学習済モデルは、例えば、検者からの指示に応じて決定（変更）された透過率を正解データとする学習データにより追加学習して得た学習済モデルであってもよい。また、上記学習済モデルは、例えば、検者からの指示に応じて該新たな透過率（学習済モデルを用いて得た透過率）から変更された透過率を正解データとする学習データにより追加学習して得た学習済モデルであってもよい。これにより、例えば、医用画像に対して検者が好む透過率の傾向が考慮された新たな透過率を取得することができる。すなわち、検者にカスタマイズされた透過率設定部を精度良く構成することができる。このため、検者の診断効率を向上することができる。なお、互いに対応する領域のＯＣＴ画像及びＯＣＴＡ画像は、例えば、共通する干渉信号の少なくとも一部を用いて得られた画像であってもよい。
血管領域と非血管領域の属性値を設定し、血管領域と非血管領域で個別に設定した、ブレンド処理に用いられる透過率（透過係数）を、正解データとして機械学習をおこなってもよいし、画素ごとに設定した透過比率を正解データとして機械学習をおこなってもよい。
ここで、上記学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を機械学習モデルとして用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。また、学習済モデルは、追加学習により更新されることで、例えば、操作者に適したモデルとしてカスタマイズされてもよい。もちろん、本変形例における学習済モデルは、追加学習して得た学習済モデルには限定されず、医用画像と透過率に関する情報とを含む学習データにより学習して得た学習済モデルであれば何でもよい。
また、上述した学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データは、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データや、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等が考えられる。また、異なる種類の複数の医療画像は、異なるもモダリティ、異なる光学系、異なる原理等により取得されたものであれば何でもよい。また、上述した学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データは、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データや、眼底の黄斑の三次元ＯＣＴ画像と眼底の視神経乳頭のサークルスキャン（またはラスタースキャン）断層画像とをセットとする入力データ等が考えられる。なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。
なお、上述した学習済モデルを用いて得た新たな透過率を初期設定として、検者からの指示に応じて、透過率を変更可能に構成してもよい。また、検者からの指示に応じて、変更された透過率を追加学習の学習データとして用いるか否かを選択可能に構成してもよい。また、ブレンド画像上でＲＯＩが設定されることにより、ＲＯＩが設定されたときに設定（変更）された透過率を追加学習の学習データとして用いることも連動して選択されるように構成されてもよい。
（変形例３）
上述した様々な実施形態及び変形例における表示制御部１０１－０５は、表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。このとき、例えば、各種のアーティファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーティファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーティファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーティファクト等であってもよい。また、アーティファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、上述したような様々なアーティファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、シュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。
また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクタ等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。また、学習済モデルは、輝度正面画像及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は断層画像のＥｎ－Ｆａｃｅ画像に対応し、モーションコントラスト正面画像はＯＣＴＡのＥｎ－Ｆａｃｅ画像に対応する。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。なお、高画質化用の学習済モデルは、第一の画像を入力データとし、第一の画像よりも高画質な第二の画像を正解データとする学習データを学習して得たものであってもよい。このとき、第二の画像は、例えば、複数の第一の画像の重ね合わせ処理（例えば、位置合わせして得た複数の第一の画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像であってもよい。
また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクタ等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、解析結果生成用の学習済モデルにより得た解析結果が表示されるように構成されてもよい。例えば、画像処理部１０１－０４は、（高画質化用の学習済モデルとは異なる）解析結果生成用の学習済モデルを用いて、ブレンド処理される複数の医用画像のうち少なくとも一つの医用画像から、該少なくとも一つの医用画像に関連する画像解析結果を生成することができる。また、例えば、表示制御部１０１－０５は、上記少なくとも一つの医用画像から解析結果生成用の学習済モデルを用いて得た画像解析結果を表示部１０４に表示させることができる。
また、上述した様々な実施形態及び変形例における表示制御部１０１－０５は、表示画面のレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーティファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果としては、特定された異常部位等の位置が画像上に表示されてもよいし、また、異常部位の状態等が文字等によって表示されてもよい。また、異常部位等の分類結果（例えば、Ｃｕｒｔｉｎ分類）が診断結果として表示されてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、ＯＣＴＡ画像における血管領域に異常部位が検出された場合には、ＯＣＴＡよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。
なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。例えば、画像処理部１０１－０４は、（高画質化用の学習済モデルとは異なる）診断結果生成用の学習済モデルを用いて、ブレンド処理される複数の医用画像のうち少なくとも一つの医用画像から、該少なくとも一つの医用画像に関連する診断結果を生成することができる。また、例えば、表示制御部１０１－０５は、上記少なくとも一つの医用画像から診断結果生成用の学習済モデルを用いて得た診断結果を表示部１０４に表示させることができる。
また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルにより得た診断結果が表示されるように構成されてもよい。
また、上述した様々な実施形態及び変形例における表示制御部１０１－０５は、表示画面のレポート画面において、上述したような注目部位、アーティファクト、異常部位等の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデル（物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル）を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。
また、異常部位を検出する場合には、画像処理部１０１－０４は、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｋｓ）や変分オートエンコーダ（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ－ｅｎｃｏｄｅｒ）を用いてもよい。例えば、断層画像の生成を学習して得た生成器と、生成器が生成した新たな断層画像と本物の眼底正面画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ）を機械学習モデルとして用いることができる。
ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された断層画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像との差分を異常部位として抽出することができる。また、ＶＡＥを用いる場合には、例えば、入力された断層画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像像との差分を異常部位として抽出することができる。なお、入力データの例として断層画像を例として説明したが、眼底画像や前眼の正面画像等を用いてもよい。
さらに、画像処理部１０１－０４は、畳み込みオートエンコーダ（ＣＡＥ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）を用いて、異常部位を検出してもよい。ＣＡＥを用いる場合には、学習時に入力データ及び出力データとして同じ画像を学習させる。これにより、推定時に異常部位がある画像をＣＡＥに入力すると、学習の傾向に従って異常部位がない画像が出力される。その後、ＣＡＥに入力された画像とＣＡＥから出力された画像の差分を異常部位として抽出することができる。なお、この場合にも、断層画像だけでなく、眼底画像や前眼の正面画像等を入力データとして用いてもよい。
これらの場合、画像処理部１０１－０４は、セグメンテーション処理等により特定した異なる領域それぞれについて敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、画像処理部１０１－０４は、高速に精度よく異常部位を検出することが期待できる。ここで、オートエンコーダには、ＶＡＥやＣＡＥ等が含まれる。例えば、画像処理部１０１－０４は、ブレンド処理される複数の医用画像のうち少なくとも一つの医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該少なくとも一つの医用画像との差に関する情報を、異常部位に関する情報として生成することができる。また、例えば、表示制御部１０１－０５は、上記少なくとも一つの医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該少なくとも一つの医用画像との差に関する情報を、異常部位に関する情報として表示部１０４に表示させることができる。
また、疾病眼では、疾病の種類に応じて画像特徴が異なる。そのため、上述した様々な実施形態や変形例において用いられる学習済モデルは、疾病の種類毎又は異常部位毎にそれぞれ生成・用意されてもよい。この場合には、例えば、画像処理装置１０１は、操作者からの被検眼の疾病の種類や異常部位等の入力（指示）に応じて、処理に用いる学習済モデルを選択することができる。なお、疾病の種類や異常部位毎に用意される学習済モデルは、網膜層の検出や領域ラベル画像等の生成に用いられる学習済モデルに限られず、例えば、画像の評価用のエンジンや解析用のエンジン等で用いられる学習済モデルであってもよい。このとき、画像処理装置１０１は、別に用意された学習済モデルを用いて、画像から被検眼の疾病の種類や異常部位を識別してもよい。この場合には、画像処理装置１０１は、当該別に用意された学習済モデルを用いて識別された疾病の種類や異常部位に基づいて、上記処理に用いる学習済モデルを自動的に選択することができる。なお、当該被検眼の疾病の種類や異常部位を識別するための学習済モデルは、断層画像や眼底画像等を入力データとし、疾病の種類やこれら画像における異常部位を出力データとした学習データのペアを用いて学習を行ってよい。ここで、学習データの入力データとしては、断層画像や眼底画像等を単独で入力データとしてもよいし、これらの組み合わせを入力データとしてもよい。
また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。
また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元ＯＣＴ画像（三次元断層画像）と眼底の視神経乳頭のサークルスキャン（又はラスタースキャン）断層画像とをセットとする入力データ等も考えられる。
なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、各処理の結果を向上することができる。例えば、推定時（予測時）において、広画角画像における複数の位置で異常部位が検出された場合に、各異常部位の拡大画像を順次表示可能に構成させる。これにより、複数の位置における異常部位を効率よく確認することができるため、例えば、検者の利便性を向上することができる。このとき、例えば、異常部位が検出された広画角画像上の各位置を検者が選択可能に構成され、選択された位置における異常部位の拡大画像が表示されるように構成されてもよい。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。
また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、検者は、撮影直後であっても精度の良い結果を確認することができる。また、上述した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。
ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を機械学習モデルとして用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。
なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本変形例では、学習部（不図示）の一例である画像処理部１０１－０４による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵまたはＧＰＵのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ－ｎｅｔ型の機械学習モデルが適用可能である。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（ＹｏｕＯｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。
また、機械学習モデルは、例えば、カプセルネットワーク（Ｃａｐｓｕｌｅ Ｎｅｔｗｏｒｋ；ＣａｐｓＮｅｔ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
また、高画質化エンジン（高画質化用の学習済モデル）は、高画質化エンジンにより生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。なお、これらの構成は、高画質化用の学習済モデルに限らず、上述した様々な学習済モデルに対しても適用可能である。また、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。
なお、上述した様々な実施形態及び変形例において、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて被検眼の領域を検出する場合には、検出した領域毎に所定の画像処理を施すこともできる。例えば、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも２つの領域を検出する場合を考える。この場合には、検出された少なくとも２つの領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は領域毎の疾病等をより適切に診断することができる。なお、検出された領域毎に異なる画像処理のパラメータを用いる構成については、例えば、学習済モデルを用いずに検出された被検眼の領域について同様に適用されてもよい。
（変形例４）
上述した様々な実施形態及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に上述した学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。
なお、複数のライブ動画像は、例えば、ＸＹＺ方向のアライメントのための前眼部の動画像、眼底観察光学系のフォーカス調整やＯＣＴフォーカス調整のための眼底の正面動画像であってもよい。また、複数のライブ動画像は、例えば、ＯＣＴのコヒーレンスゲート調整（測定光路長と参照光路長との光路長差の調整）のための眼底の断層動画像等であってもよい。このとき、上述した物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された領域が所定の条件を満たすように、上述した各種調整が行われるように構成されてもよい。例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層等に関する値（例えば、コントラスト値あるいは強度値）が閾値を超える（あるいはピーク値になる）ように、ＯＣＴフォーカス調整等の各種調整が行われるように構成されてもよい。また、例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層が深さ方向における所定の位置になるように、ＯＣＴのコヒーレンスゲート調整が行われるように構成されてもよい。
これらの場合には、画像処理装置１０１（あるいは画像処理部１０１－０４）における高画質化部（不図示）は、学習済モデルを用いて、動画像について高画質化処理を行って、高画質な動画像を生成することができる。また、撮影制御部１０１－０３は、高画質な動画像が表示された状態で、セグメンテーション処理等により特定した異なる領域のいずれかが表示領域における所定の位置になるように、参照ミラー２２１等の撮影範囲を変更する光学部材を駆動制御することができる。このような場合には、撮影制御部１０１－０３は、精度の高い情報に基づいて、所望される領域が表示領域の所定の位置になるように自動的にアライメント処理を行うことができる。なお、撮影範囲を変更する光学部材としては、例えばコヒーレンスゲート位置を調整する光学部材であってよく、具体的には参照ミラー２２１等であってよい。また、コヒーレンスゲート位置は、測定光路長及び参照光路長の光路長差を変更する光学部材によって調整されることができ、当該光学部材は、例えば、不図示の測定光の光路長を変更するためのミラー等であってもよい。なお、撮影範囲を変更する光学部材は、例えばステージ部１００－２であってもよい。
また、上述した学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部１０１－０２に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部１０１－０２に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体領域を好適に観察したい場合には、フレーム上に硝子体領域ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化用の学習済モデルにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成されてもよい。
なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、二次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。なお、高画質化ボタンは、高画質化処理の実行を指定するためのボタンである。もちろん、高画質化ボタンは、高画質画像の表示を指示するためのボタンであってもよい。
また、走査パターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化用の学習済モデルが用いられてもよい。
（変形例５）
上述した様々な実施形態及び変形例においては、学習済モデルが追加学習中である場合、追加学習中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。このため、追加学習中の学習済モデルに対する医用画像の入力を禁止することがよい。また、追加学習中の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習中には、予備の学習済モデルに対して医用画像の入力が実行できるようにすることがよい。そして、追加学習が完了した後に、追加学習後の学習済モデルを評価し、問題なければ、予備の学習済モデルから追加学習後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。なお、学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け（アノテーション）されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時（予測時）の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報（例えば、割合を示す数値）と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理（例えば、位置合わせして得た複数の低画質画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれてもよい。
また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（肺、被検眼等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する選択手段（不図示）を有してもよい。このとき、画像処理部１０１－０４は、選択された学習済モデルに対して追加学習として実行する制御手段（不図示）を有してもよい。制御手段は、操作者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
なお、選択手段及び制御手段は、画像処理部１０１－０４のＣＰＵやＭＰＵ等のプロセッサによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わない。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。
（変形例６）
上述した様々な実施形態及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識エンジン（音声認識モデル、音声認識用の学習済モデル）を含む機械学習エンジンが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力による指示であってもよい。このとき、例えば、機械学習により得た文字認識エンジン（文字認識モデル、文字認識用の学習済モデル）を含む機械学習エンジンが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識エンジン（ジェスチャー認識モデル、ジェスチャー認識用の学習済モデル）を含む機械学習エンジンが用いられてもよい。
また、検者からの指示は、表示部１０４における表示画面上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、表示部１０４における表示画面の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。
このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部１０４に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データ又は音声データ等を入力データとし、高画質画像の表示の実行命令及び高画質化ボタンをアクティブ状態に変更するための実行命令を正解データとする学習データであってもよい。もちろん、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス、タッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。
ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも１層には、例えば、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｒｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。ここで、本変形例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるＲＮＮに関して、図９（ａ）及び（ｂ）を参照して説明する。また、ＲＮＮの一種であるＬｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図１０（ａ）及び（ｂ）を参照して説明する。
図９（ａ）は、機械学習モデルであるＲＮＮの構造を示す。ＲＮＮ３５２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘｔ３５１０を入力し、データｈｔ３５３０を出力する。ＲＮＮ３５２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図９（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘｔ３５１０にはＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ３５２０より出力されるデータｈｔ３５３０には入力データに対応するＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。
しかし、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができないため、ＬＳＴＭが用いられることがある。ＬＳＴＭは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図１０（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ３５４０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃｔ－１と出力データｈｔ－１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。
次に、図１０（ｂ）にＬＳＴＭ３５４０の詳細を示す。図１０（ｂ）において、ＦＧは忘却ゲートネットワーク、ＩＧは入力ゲートネットワーク、ＯＧは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。ＣＵは、セル更新候補ネットワークであり、活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。
なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。例えば、ネットワーク間の結合を変更してもよい。また、ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。
（変形例７）
上述した様々な実施形態及び変形例において、高画質画像等は、検者からの指示に応じて記憶部１０１－０２に保存されてもよい。このとき、高画質画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。
また、レポート画面等の種々の表示画面において、表示部１０４に高画質画像を表示させる際に、表示されている画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、検者は、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。
このとき、レポート画面等の表示画面は、検者からの指示に応じて、画像データとして記憶部１０１－０２に保存されてもよい。例えば、高画質化画像等と、これらの画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部１０１－０２に保存されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部１０４に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部１０４に表示されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、高画質画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。
また、レポート画面の初期表示画面として、高画質化ボタンがアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像が外部記憶部１０２等のサーバに送信されるように構成されてもよい。また、高画質化ボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ－Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されてもよい。
（変形例８）
上述した様々な実施形態及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）が生成されるように構成されてもよい。
また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第２の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルにより処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。
また、上述したような種々の学習済モデルは、被検体の二次元の医用画像を含む学習データを学習して得た学習済モデルであってもよいし、また、被検体の三次元の医用画像を含む学習データを学習して得た学習済モデルであってもよい。
また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似症例画像検索エンジン（類似症例画像検索モデル、類似症例画像検索用の学習済モデル）が用いられてもよい。例えば、画像処理部１０１－０４は、（高画質化用の学習済モデルとは異なる）類似症例画像検索用の学習済モデルを用いて、ブレンド処理される複数の医用画像のうち少なくとも一つの医用画像から、該少なくとも一つの医用画像に関連する類似症例画像の検索を行うことができる。また、例えば、表示制御部１０１－０５は、上記少なくとも一つの医用画像から類似症例画像検索用の学習済モデルを用いて得た類似症例画像を表示部１０４に表示させることができる。
（変形例９）
上述した様々な実施形態及び変形例におけるモーションコントラストデータの生成処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、断層画像撮影装置１００で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。例えば、分割手段として光カプラーを使用したファイバー光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、断層画像撮影装置１００の構成は、上記の構成に限られず、断層画像撮影装置１００に含まれる構成の一部を断層画像撮影装置１００と別体の構成としてもよい。また、上記の構成では、断層画像撮影装置１００の干渉光学系としてマイケルソン型干渉計の構成が用いられているが、干渉光学系の構成はこれに限られない。例えば、断層画像撮影装置１００の干渉光学系は、マッハツェンダー干渉計の構成を有していてもよい。また、ＯＣＴ装置として、ＳＬＤを光源として用いたスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）装置について述べられているが、ＯＣＴ装置の構成はこれに限られない。例えば、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）装置等の他の任意の種類のＯＣＴ装置にも本発明を適用することができる。また、ライン光を用いたＬｉｎｅ－ＯＣＴ装置（あるいはＳＳ－Ｌｉｎｅ－ＯＣＴ装置）に対して本発明を適用することもできる。また、エリア光を用いたＦｕｌｌ Ｆｉｅｌｄ－ＯＣＴ装置（あるいはＳＳ－Ｆｕｌｌ Ｆｉｅｌｄ－ＯＣＴ装置）にも本発明を適用することもできる。また、画像処理部１０１－０４は、断層画像撮影装置１００で取得された干渉信号や画像処理部１０１－０４で生成された三次元断層画像等を取得しているが、画像処理部１０１－０４がこれらの信号や画像を取得する構成はこれに限られない。例えば、画像処理部１０１－０４は、ＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。
なお、学習済モデルは、画像処理部１０１－０４に設けられることができる。学習済モデルは、例えば、ＣＰＵ等のプロセッサによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、画像処理部１０１－０４と接続される別のサーバ等に設けられてもよい。この場合には、画像処理部１０１－０４は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、学習済モデルを用いて高画質化処理を行うことができる。
また、モーションコントラストデータを生成するプロセスの中で、適宜、高画質化エンジンを適用することができる。例えば、断層画像用に準備した高画質化エンジンを用い、脱相関値を求める前の断層画像をあらかじめ高画質化しておいてもよい。さらに、ＮＯＲが３以上の場合には、少なくとも２つのモーションコントラストデータが生成可能であり、複数のモーションコントラストデータを平均化するなどによって高画質化することも可能である。このとき、平均化処理前の夫々のモーションコントラストデータをあらかじめ高画質化エンジンによって高画質化しておいてもよい。あるいは、平均化した後のモーションコントラストデータに対して高画質化エンジンを適用してもよい。さらに、モーションコントラストデータをボリュームデータ（三次元モーションコントラストデータ）とすることで、周知の３Ｄ－ＵＮｅｔなどであらかじめ構成された３次元データ用の高画質化エンジンによって、ボリュームデータを高画質化してもよい。加えて、ＮＯＲが３以上の場合には、少なくとも２つの三次元モーションコントラストデータを生成することもでき、それらを平均化するなどで最終的なボリュームデータとしてもよい。このとき、平均化する前のボリュームデータと平均化処理後のボリュームデータとの少なくとも一つに高画質化エンジンを適用してもよい。さらに、複数のボリュームデータからそれぞれＯＣＴＡ正面画像を生成した後に、ＯＣＴＡ正面画像を平均化処理することも可能である。同様に、平均化する前のＯＣＴＡ正面画像と平均化処理後のＯＣＴＡ正面画像の少なくとも一つに対して、高画質化エンジンを適用可能である。このように、モーションコントラストデータからＯＣＴＡ正面画像を生成する際に、特にＮＯＲが３以上においては、種々の変形が可能であり、高画質化エンジンは２次元データ、３次元データを問わず、どのようなデータに対して適用されてもよい。
（変形例１０）
上述した様々な実施形態及び変形例による画像処理装置１０１又は画像処理方法によって処理される画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施形態及び変形例による画像処理装置１０１又は画像処理方法によって作成された画像を含むことができる。
さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（三次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ－Ｆａｃｅ画像を含む。Ｅｎ－Ｆａｃｅ画像は、三次元のＯＣＴＡデータ（三次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ－Ｆａｃｅ画像（モーションコントラスト正面画像）でもよい。また、三次元のＯＣＴデータや三次元のモーションコントラストデータは、三次元の医用画像データの一例である。
ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。
また、Ｅｎ－Ｆａｃｅ画像は、例えば、２つの層境界の間の範囲のデータをＸＹ方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ（三次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影又は積算して生成される。Ｅｎ－Ｆａｃｅ画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを二次元平面に投影して生成された正面画像である。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を二次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施形態及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。
なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ－ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ－ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ－ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ－ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ－ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ－ＯＣＴ）装置等を含んでよい。
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した様々な実施形態及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
また、本発明は、上述した様々な実施形態及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。
このとき、プロセッサ又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサ又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

Claims (22)

  1. 被検体における互いに対応する領域のＳＬＯ画像とＯＣＴＡ画像との少なくともいずれか一方に対して処理を行うための画像処理装置であって、前記ＳＬＯ画像及び前記ＯＣＴＡ画像を用いて所定の透過率によりブレンド処理して得たブレンド画像を生成するブレンド処理手段と、
    前記生成されたブレンド画像を表示手段に表示させる表示制御手段と、
    前記所定の透過率を設定する透過率設定手段と、
    前記処理を行う対象として前記ＳＬＯ画像と前記ＯＣＴＡ画像との少なくともいずれか一方を指定する指定手段と、
    前記指定された対象画像に対して行う解析または処理のいずれかを選択する選択手段と、
    前記表示されたブレンド画像に関心領域を設定する設定手段と、
    前記指定された対象画像における前記設定された関心領域に対して、前記選択された処理を実行する実行手段と、
    を備える画像処理装置。
  2. 前記ＳＬＯ画像とＯＣＴＡ画像との少なくともいずれか一方の画像は、画素ごとに２つ以上の分類を示す属性を有し、
    前記ブレンド処理手段は、前記属性と前記所定の透過率に基づいてブレンド画像を生成する請求項１に記載の画像処理装置。
  3. 前記属性を有する画像は、該画像の画素値に基づいて分類される属性を有する請求項２に記載の画像処理装置。
  4. 前記属性は、前記画素値が閾値を超えるか否かに基づいて設定される請求項３に記載の画像処理装置。
  5. 前記属性を有する画像は、該画像のあらかじめ設定された部分領域に対応して設定された属性を有する請求項２乃至４のいずれか１項に記載の画像処理装置。
  6. 前記設定手段は、前記部分領域を設定する請求項５に記載の画像処理装置。
  7. 前記属性を有する画像がＯＣＴＡ画像である場合、前記属性は、画素が血管であるという確からしさに基づく属性である請求項２乃至６のいずれか１項に記載の画像処理装置。
  8. 前記ブレンド処理手段は、前記属性が所定の分類を示す属性である場合、前記属性を有する画像の前記画素に対応する前記透過率を０または１に固定する請求項２乃至７のいずれか１項に記載の画像処理装置。
  9. 被検体における互いに対応する領域のＳＬＯ画像及びＯＣＴＡ画像を用いて、操作者の指示に応じて変更可能な透過率によりブレンド処理して得たブレンド画像を、表示手段に表示させる表示制御手段と、
    前記表示されたブレンド画像に関心領域を設定する設定手段と、
    前記ＳＬＯ画像と前記ＯＣＴＡ画像とのうち少なくとも一つの画像における前記設定された関心領域に対して処理を実行する実行手段と、
    を備える画像処理装置。
  10. 前記表示制御手段は、前記設定された関心領域に対する解析処理の結果を前記表示手段に表示させる請求項１乃至９のいずれか１項に記載の画像処理装置。
  11. 医用画像を入力データとし、前記ブレンド処理に用いられる透過率を正解データとする学習データにより学習して得た学習済モデルを用いて、前記ＳＬＯ画像と前記ＯＣＴＡ画像とのうち少なくとも一つの画像から、新たな透過率が設定されるように構成される請求項１乃至１０のいずれか１項に記載の画像処理装置。
  12. 前記学習済モデルは、検者からの指示に応じて設定された透過率を正解データとする学習データにより追加学習して得た学習済モデルである請求項１１に記載の画像処理装置。
  13. 前記学習済モデルは、検者からの指示に応じて前記新たな透過率から変更された透過率を正解データとする学習データにより追加学習して得た学習済モデルである請求項１１または１２に記載の画像処理装置。
  14. 前記ブレンド処理は、前記ＳＬＯ画像と前記ＯＣＴＡ画像との互いに対応する位置の画素値を加重平均処理することにより実行される請求項１乃至１３のいずれか１項に記載の画像処理装置。
  15. 前記ブレンド処理は、前記ＯＣＴＡ画像における血管領域の透過率が該血管領域以外の領域の透過率よりも小さくなるように設定された透過率により実行される請求項１乃至１４のいずれか１項に記載の画像処理装置。
  16. 前記表示制御手段は、被検体の医用画像を学習して得た高画質化用の学習済モデルを用いて、前記ブレンド処理される複数の医用画像のうち少なくとも一つの医用画像から得た該少なくとも一つの医用画像よりも高画質な医用画像を、前記表示手段に表示させる請求項１乃至１５のいずれか１項に記載の画像処理装置。
  17. 前記表示制御手段は、前記高画質化用の学習済モデルとは異なる学習済モデルを用いて、前記少なくとも一つの医用画像から得た画像解析結果を、前記表示手段に表示させる請求項１６に記載の画像処理装置。
  18. 前記表示制御手段は、前記高画質化用の学習済モデルとは異なる学習済モデルを用いて、前記少なくとも一つの医用画像から得た診断結果を、前記表示手段に表示させる請求項１６または１７に記載の画像処理装置。
  19. 前記表示制御手段は、敵対的生成ネットワーク又はオートエンコーダを用いて前記少なくとも一つの医用画像から得た医用画像と、前記少なくとも一つの医用画像との差に関する情報を、異常部位に関する情報として前記表示手段に表示させる請求項１６乃至１８のいずれか１項の記載の画像処理装置。
  20. 前記表示制御手段は、前記高画質化用の学習済モデルとは異なる学習済モデルを用いて、前記少なくとも一つの医用画像から得た類似症例画像を、前記表示手段に表示させる請求項１６乃至１９のいずれか１項に記載の画像処理装置。
  21. 被検体における互いに対応する領域のＳＬＯ画像及びＯＣＴＡ画像を用いて、操作者の指示に応じて変更可能な透過率によりブレンド処理して得たブレンド画像を、表示手段に表示させる工程と、
    前記表示されたブレンド画像に関心領域を設定する工程と、
    前記ＳＬＯ画像と前記ＯＣＴＡ画像とのうち少なくとも一つの画像における前記設定された関心領域に対して処理を実行する工程と、
    を含む画像処理方法。
  22. 請求項２１に記載の画像処理方法の各工程をコンピュータに実行させるプログラム。
JP2021018421A 2021-02-08 2021-02-08 画像処理装置および画像処理方法 Pending JP2022121202A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021018421A JP2022121202A (ja) 2021-02-08 2021-02-08 画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021018421A JP2022121202A (ja) 2021-02-08 2021-02-08 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
JP2022121202A true JP2022121202A (ja) 2022-08-19

Family

ID=82849712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021018421A Pending JP2022121202A (ja) 2021-02-08 2021-02-08 画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP2022121202A (ja)

Similar Documents

Publication Publication Date Title
JP7229881B2 (ja) 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
US12040079B2 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
JP7269413B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム
JP7341874B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11922601B2 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
JP7305401B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
JP7297628B2 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP7362403B2 (ja) 画像処理装置および画像処理方法
US11887288B2 (en) Image processing apparatus, image processing method, and storage medium
JP7478216B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2022155690A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7344847B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7194136B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP7332463B2 (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
WO2020138128A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021164535A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021069667A (ja) 画像処理装置、画像処理方法及びプログラム
JP2022121202A (ja) 画像処理装置および画像処理方法
JP2023010308A (ja) 画像処理装置および画像処理方法
JP7579372B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム
JP2023076615A (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213