JP2020166813A - 医用画像処理装置、医用画像処理方法及びプログラム - Google Patents

医用画像処理装置、医用画像処理方法及びプログラム Download PDF

Info

Publication number
JP2020166813A
JP2020166813A JP2019183346A JP2019183346A JP2020166813A JP 2020166813 A JP2020166813 A JP 2020166813A JP 2019183346 A JP2019183346 A JP 2019183346A JP 2019183346 A JP2019183346 A JP 2019183346A JP 2020166813 A JP2020166813 A JP 2020166813A
Authority
JP
Japan
Prior art keywords
image
quality
image quality
engine
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019183346A
Other languages
English (en)
Other versions
JP7297628B2 (ja
Inventor
好彦 岩瀬
Yoshihiko Iwase
好彦 岩瀬
山添　学
Manabu Yamazoe
学 山添
弘樹 内田
Hiroki Uchida
弘樹 内田
律也 富田
Ritsuya Tomita
律也 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to PCT/JP2019/045301 priority Critical patent/WO2020183799A1/ja
Priority to CN201980093906.3A priority patent/CN113557714A/zh
Publication of JP2020166813A publication Critical patent/JP2020166813A/ja
Priority to US17/460,832 priority patent/US20210390696A1/en
Application granted granted Critical
Publication of JP7297628B2 publication Critical patent/JP7297628B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】従来よりも画像診断に適した画像を生成することができる医用画像処理装置を提供する。【解決手段】医用画像処理装置は、被検者の所定部位の医用画像である第１の画像を取得する取得部と、医用画像の少なくとも一部の領域の状態に応じたノイズが該少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含む高画質化エンジンを用いて、第１の画像から、該第１の画像と比べて高画質化された第２の画像を生成する高画質化部と、を備える。【選択図】図４

Description

本発明は、医用画像処理装置、医用画像処理方法及びプログラムに関する。
医療分野においては、被検者の疾患を特定したり、疾患の程度を観察したりするために、様々な撮影装置によって画像が取得され、医療従事者による画像診断が行われている。撮影装置の種類には、例えば放射線科分野では、Ｘ線撮影装置、Ｘ線コンピュータ断層撮影（ＣＴ）装置、磁気共鳴イメージング（ＭＲＩ）装置、陽電子放出断層撮影（ＰＥＴ）装置、及び単一光子放射断層撮影（ＳＰＥＣＴ）装置等がある。また、例えば眼科分野では、眼底カメラ、走査型レーザ検眼鏡（ＳＬＯ）、光コヒーレンストモグラフィ（ＯＣＴ）装置、及びＯＣＴアンギオグラフィ（ＯＣＴＡ）装置がある。
画像診断を正確に行ったり、短時間で完了したりするためには、撮影装置によって取得される画像のノイズの少なさや解像度・空間分解能の高さ、適切な階調といった画質の高さが重要となる。また、観察したい部位や病変が強調されている画像も役に立つことがある。
しかしながら、多くの撮影装置においては、画質が高いなどの、画像診断に適した画像を取得するためになんらかの代償が必要である。例えば、画質が高い画像を取得するために高性能な撮影装置を購入する方法があるが、低性能なものよりも多くの投資が必要になる場合が多い。
また、例えばＣＴでは、ノイズが少ない画像を取得するために被検者の被曝線量を増やさなければならない場合がある。また、例えばＭＲＩでは、観察したい部位が強調された画像を取得するために副作用のリスクがある造影剤を使用する場合がある。また、例えばＯＣＴでは、撮影する領域が広かったり、高い空間分解能が必要であったりする場合には、撮影時間がより長くなる場合がある。また、例えば、一部の撮影装置では、画質が高い画像を取得するために複数回画像を取得する必要があり、その分撮影に時間がかかる。
特許文献１には、医用技術の急激な進歩や緊急時の簡易な撮影に対応するため、以前に取得した画像を、人工知能エンジンによって、より解像度の高い画像に変換する技術が開示されている。このような技術によれば、例えば、代償の少ない簡易な撮影によって取得された画像をより解像度の高い画像に変換することができる。
特開２０１８−５８４１号公報
しかしながら、解像度の高い画像であっても、画像診断に適した画像とは言えない場合もある。例えば、解像度が高い画像であっても、ノイズが多い場合やコントラストが低い場合等には観察すべき対象が適切に把握できないことがある。
これに対し、本発明の目的の一つは、従来よりも画像診断に適した画像を生成することができる医用画像処理装置、医用画像処理方法及びプログラムを提供することである。
本発明の一実施態様に係る医用画像処理装置は、被検者の所定部位の医用画像である第１の画像を取得する取得部と、医用画像の少なくとも一部の領域の状態に応じたノイズが該少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べて高画質化された第２の画像を生成する高画質化部と、を備える。
また、本発明の他の実施態様に係る医用画像処理方法は、被検者の所定部位の医用画像である第１の画像を取得することと、医用画像の少なくとも一部の領域の状態に応じたノイズが該少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べて高画質化された第２の画像を生成することと、を含む。
本発明の一つによれば、従来よりも画像診断に適した画像を生成することができる。
高画質化処理に関するニューラルネットワークの構成の一例を示す。 撮影箇所推定処理に関するニューラルネットワークの構成の一例を示す。 画像の真贋評価処理に関するニューラルネットワークの構成の一例を示す。 第１の実施形態に係る画像処理装置の概略的な構成の一例を示す。 第１の実施形態に係る画像処理の流れの一例を示すフロー図である。 第１の実施形態に係る画像処理の流れの別例を示すフロー図である。 第２の実施形態に係る画像処理の流れの一例を示すフロー図である。 第４の実施形態に係る画像処理を説明するための図である。 第４の実施形態に係る高画質化処理の流れの一例を示すフロー図である。 第５の実施形態に係る画像処理を説明するための図である。 第５の実施形態に係る高画質化処理の流れの一例を示すフロー図である。 第６の実施形態に係る画像処理を説明するための図である。 第６の実施形態に係る高画質化処理の流れの一例を示すフロー図である。 第６の実施形態に係る画像処理を説明するための図である。 第７の実施形態に係る画像処理装置の概略的な構成の一例を示す。 第７の実施形態に係る画像処理の流れの一例を示すフロー図である。 第７の実施形態に係るユーザーインターフェースの一例を示す。 第９の実施形態に係る画像処理装置の概略的な構成の一例を示す。 第９の実施形態に係る画像処理の流れの一例を示すフロー図である。 第１２の実施形態に係る画像処理装置の概略的な構成の一例を示す。 第１３の実施形態に係る高画質化処理の流れの一例を示すフロー図である。 第１３の実施形態に係る高画質化処理の流れの別例を示すフロー図である。 第１７の実施形態に係る画像処理装置の概略的な構成の一例を示す。 第１７の実施形態に係る画像処理の流れの一例を示すフロー図である。 高画質化処理に関するニューラルネットワークの構成の一例を示す。 第１９の実施形態に係る画像処理装置の概略的な構成の一例を示す。 第１９の実施形態に係る画像処理の流れの一例を示すフロー図である。 第２１の実施形態に係る画像処理の流れの一例を示すフロー図である。 高画質化処理に関する教師画像の一例を示す。 高画質化処理に関する入力画像の一例を示す。 第２２の実施形態に係る画像処理装置の概略的な構成の一例を示す。 第２２の実施形態に係る画像処理の流れの一例を示すフロー図である。 第２２の実施形態に係る広画角画像を説明するための図である。 第２３の実施形態に係る高画質化処理を説明するための図である。 第２４の実施形態に係るユーザーインターフェースの一例を示す。 第２５の実施形態に係る画像処理装置の概略的な構成の一例を示す。 変形例６に係る機械学習エンジンとして用いられるニューラルネットワークの構成の一例を示す。 変形例６に係る機械学習エンジンとして用いられるニューラルネットワークの構成の一例を示す。 第２４の実施形態に係るユーザーインターフェースの一例を示す。 第２６の実施形態に係る学習データの平均輝度の分布に関する一例を示す。 第２７の実施形態に係るヒストグラム平均化法によって、入力信号を補正するための補正曲線の一例を示す。 第２７の実施形態に係る高画質化処理の流れの一例を示すフロー図である。 第２８の実施形態に係るフィルタ係数の一例を示す。 第２７の実施形態に係る画像処理装置の概略的な構成の一例を示す。
以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。ただし、以下の実施形態で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
＜用語の説明＞
まず、本明細書において用いられる用語について説明する。
本明細書におけるネットワークでは、各装置は有線又は無線の回線で接続されてよい。ここで、ネットワークにおける各装置を接続する回線は、例えば、専用回線、ローカルエリアネットワーク（以下、ＬＡＮと表記）回線、無線ＬＡＮ回線、インターネット回線、Ｗｉ−Ｆｉ（登録商標）、及びＢｌｕｅｔｏｏｔｈ（登録商標）等を含む。
医用画像処理装置は、相互に通信が可能な２以上の装置によって構成されてもよいし、単一の装置によって構成されてもよい。また、医用画像処理装置の各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、他の任意のハードウェアと任意のソフトウェアとの組み合わせにより構成されてもよい。
また、下記実施形態による医用画像処理装置又は医用画像処理方法によって処理される医用画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や下記実施形態による医用画像処理装置又は医用画像処理方法によって作成された画像を含むことができる。
さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（３次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ−Ｆａｃｅ画像を含む。なお、Ｅｎ−Ｆａｃｅ画像は、３次元のＯＣＴＡデータ（３次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ−Ｆａｃｅ画像（モーションコントラスト正面画像）であってもよい。また、３次元のＯＣＴデータや３次元のモーションコントラストデータは、３次元の医用画像データの一例である。
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、以下の実施形態に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。
なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ−ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ−ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ−ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ−ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ−ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ−ＯＣＴ）装置等を含んでよい。
画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムである。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。特に、下記実施形態に係る画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。
撮影条件とは、撮影装置によって取得された画像の撮影時の様々な情報である。撮影条件は、例えば、撮影装置に関する情報、撮影が実施された施設に関する情報、撮影に係る検査の情報、撮影者に関する情報、及び被検者に関する情報等を含む。また、撮影条件は、例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像サイズ、適用された画像フィルタ、画像のデータ形式に関する情報、及び放射線量に関する情報等を含む。なお、撮影領域には、特定の撮影部位からずれた周辺の領域や複数の撮影部位を含んだ領域等が含まれることができる。
撮影条件は、画像を構成するデータ構造中に保存されていたり、画像とは別の撮影条件データとして保存されていたり、撮影装置に関連するデータベースや画像管理システムに保存されたりすることができる。そのため、撮影条件は、撮影装置の撮影条件の保存手段に対応した手順により取得することができる。具体的には、撮影条件は、例えば、撮影装置が出力した画像のデータ構造を解析したり、画像に対応する撮影条件データを取得したり、撮影装置に関連するデータベースから撮影条件を取得するためのインターフェースにアクセスする等により取得される。
なお、撮影装置によっては、保存されていない等の理由で取得できない撮影条件も存在する。例えば、撮影装置に特定の撮影条件を取得したり保存したりする機能が無い、又はそのような機能が無効にされている場合である。また、例えば、撮影装置や撮影に関係の無い撮影条件であるとして保存しないようになっている場合もある。さらに、例えば、撮影条件が隠蔽されていたり、暗号化されていたり、権利が無いと取得できないようになっていたりする場合等もある。ただし、保存されていない撮影条件であっても取得できる場合がある。例えば、画像解析を実施することによって、撮影部位名や撮影領域を特定することができる。
機械学習モデルとは、任意の機械学習アルゴリズムに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルである。教師データは、一つ以上の、入力データと出力データ（正解データ）とのペア群で構成される。なお、教師データを構成するペア群の入力データと出力データの形式や組み合わせは、一方が画像で他方が数値であったり、一方が複数の画像群で構成され他方が文字列であったり、双方が画像であったりする等、所望の構成に適したものであってよい。
具体的には、例えば、ＯＣＴによって取得された画像と、該画像に対応する撮影部位ラベルとのペア群によって構成された教師データ（以下、第１の教師データ）が挙げられる。なお、撮影部位ラベルは部位を表すユニークな数値や文字列である。また、その他の教師データの例として、ＯＣＴの通常撮影によって取得されたノイズの多い低画質画像と、ＯＣＴにより複数回撮影して高画質化処理した高画質画像とのペア群によって構成されている教師データ（以下、第２の教師データ）等が挙げられる。
機械学習モデルに入力データを入力すると、該機械学習モデルの設計に従った出力データが出力される。機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、入力データに対応する可能性の高い出力データを出力する。また、機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、出力データの種類のそれぞれについて、入力データに対応する可能性を数値として出力する等を行うことができる。具体的には、例えば、第１の教師データでトレーニングされた機械学習モデルにＯＣＴによって取得された画像を入力すると、機械学習モデルは、該画像に撮影されている撮影部位の撮影部位ラベルを出力したり、撮影部位ラベル毎の確率を出力したりする。また、例えば、第２の教師データでトレーニングされた機械学習モデルにＯＣＴの通常撮影によって取得されたノイズの多い低画質画像を入力すると、機械学習モデルは、ＯＣＴにより複数回撮影して高画質化処理された画像相当の高画質画像を出力する。なお、機械学習モデルについては、品質保持の観点から、自身が出力した出力データを教師データとして用いないように構成することができる。
また、機械学習アルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ）等のディープラーニングに関する手法を含む。ディープラーニングに関する手法においては、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データを用いてトレーニングされた傾向を出力データに再現可能な程度が異なる場合がある。例えば、第１の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、正しい撮影部位ラベルを出力する確率がより高くなる場合がある。また、例えば、第２の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、より高画質な画像を出力できる場合がある。
具体的には、ＣＮＮにおけるパラメータは、例えば、畳み込み層に対して設定される、フィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値、並びに全結合層の出力するノードの数等を含むことができる。なお、パラメータ群やトレーニングのエポック数は、教師データに基づいて、機械学習モデルの利用形態に好ましい値に設定することができる。例えば、教師データに基づいて、正しい撮影部位ラベルをより高い確率で出力したり、より高画質な画像を出力したりできるパラメータ群やエポック数を設定することができる。
このようなパラメータ群やエポック数の決定方法の一つを例示する。まず、教師データを構成するペア群の７割をトレーニング用とし、残りの３割を評価用としてランダムに設定する。次に、トレーニング用のペア群を用いて機械学習モデルのトレーニングを行い、トレーニングの各エポックの終了時に、評価用のペア群を用いてトレーニング評価値を算出する。トレーニング評価値とは、例えば、各ペアを構成する入力データをトレーニング中の機械学習モデルに入力したときの出力と、入力データに対応する出力データとを損失関数によって評価した値群の平均値である。最後に、最もトレーニング評価値が小さくなったときのパラメータ群及びエポック数を、当該機械学習モデルのパラメータ群やエポック数として決定する。なお、このように、教師データを構成するペア群をトレーニング用と評価用とに分けてエポック数の決定を行うことによって、機械学習モデルがトレーニング用のペア群に対して過学習してしまうことを防ぐことができる。
高画質化エンジン（高画質化用の学習済モデル）とは、入力された低画質画像を高画質化した高画質画像を出力するモジュールのことである。ここで、本明細書における高画質化とは、入力された画像を画像診断により適した画質の画像に変換することをいい、高画質画像とは、画像診断により適した画質の画像に変換された画像をいう。また、低画質画像とは、例えば、Ｘ線撮影、ＣＴ、ＭＲＩ、ＯＣＴ、ＰＥＴ、若しくはＳＰＥＣＴ等により取得された二次元画像や三次元画像、又は連続撮影したＣＴの三次元動画像等の特に高画質になるような設定をされずに撮影されたものである。具体的には、低画質画像は、例えば、Ｘ線撮影装置やＣＴによる低線量での撮影や、造影剤を使用しないＭＲＩによる撮影、ＯＣＴの短時間撮影等によって取得される画像、及び少ない撮影回数で取得されたＯＣＴＡ画像等を含む。
また、画像診断に適した画質の内容は、各種の画像診断で何を診断したいのかということに依存する。そのため一概には言えないが、例えば、画像診断に適した画質は、ノイズが少なかったり、高コントラストであったり、撮影対象を観察しやすい色や階調で示していたり、画像サイズが大きかったり、高解像度であったりする画質を含む。また、画像生成の過程で描画されてしまった実際には存在しないオブジェクトやグラデーションが画像から除去されているような画質を含むことができる。
また、ノイズが少なかったり、高コントラストであったりする高画質画像を、ＯＣＴＡ等の画像の血管解析処理や、ＣＴやＯＣＴ等の画像の領域セグメンテーション処理等の画像解析に利用すると、低画質画像を利用するよりも精度よく解析が行えることが多い。そのため、高画質化エンジンによって出力された高画質画像は、画像診断だけでなく、画像解析にも有用である場合がある。
下記の実施形態における高画質化手法を構成する画像処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画像処理手法では、機械学習アルゴリズムを用いた処理に加えて、各種画像フィルタ処理、類似画像に対応する高画質画像のデータベースを用いたマッチング処理、及び知識ベース画像処理等の既存の任意の処理を行ってもよい。
特に、二次元画像を高画質化するＣＮＮの構成例として、図１に示す構成がある。当該ＣＮＮの構成には、複数の畳み込み処理ブロック１００群が含まれる。畳み込み処理ブロック１００は、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層１０１と、バッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層１０２と、正規化線形関数（ＲｅｃｔｉｆｉｅｒＬｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層１０３とを含む。また、当該ＣＮＮの構成には、合成（Ｍｅｒｇｅｒ）層１０４と、最後の畳み込み層１０５が含まれる。合成層１０４は、畳み込み処理ブロック１００の出力値群と画像を構成する画素値群とを連結したり、加算したりして合成する。最後の畳み込み層１０５は、合成層１０４で合成された、高画質画像Ｉｍ１２０を構成する画素値群を出力する。このような構成では、入力された画像Ｉｍ１１０を構成する画素値群が畳み込み処理ブロック１００群を経て出力された値群と、入力された画像Ｉｍ１１０を構成する画素値群とが、合成層１０４で合成される。その後、合成された画素値群は最後の畳み込み層１０５で高画質画像Ｉｍ１２０に成形される。
なお、例えば、畳み込み処理ブロック１００の数を１６とし、畳み込み層１０１群のパラメータとして、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の高画質化の効果を得られる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。
なお、ＣＮＮを用いた画像処理等、一部の画像処理手法を利用する場合には画像サイズについて注意する必要がある。具体的には、高画質画像の周辺部が十分に高画質化されない問題等の対策のため、入力する低画質画像と出力する高画質画像とで異なる画像サイズを要する場合があることに留意すべきである。
明瞭な説明のため、後述の実施形態において明記はしないが、高画質化エンジンに入力される画像と出力される画像とで異なる画像サイズを要する高画質化エンジンを採用した場合には、適宜画像サイズを調整しているものとする。具体的には、機械学習モデルをトレーニングするための教師データに用いる画像や、高画質化エンジンに入力される画像といった入力画像に対して、パディングを行ったり、該入力画像の周辺の撮影領域を結合したりして、画像サイズを調整する。なお、パディングを行う領域は、効果的に高画質化できるように高画質化手法の特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。
また、高画質化手法は、一つの画像処理手法だけで実施されることもあるし、二つ以上の画像処理手法を組み合わせて実施されることもある。また、複数の高画質化手法群を並列に実施し、複数の高画質画像群を生成した上で、最も高画質な高画質画像を最終的に高画質画像として選択することもある。なお、最も高画質な高画質画像の選択は、画質評価指数を用いて自動的に行われてもよいし、任意の表示部等に備えられたユーザーインターフェースに複数の高画質画像群を表示して、検者（ユーザー）の指示に応じて行われてもよい。
なお、高画質化していない入力画像の方が、画像診断に適している場合もあるので、最終的な画像の選択の対象には入力画像を加えてよい。また、高画質化エンジンに対して、低画質画像とともにパラメータを入力してもよい。高画質化エンジンに対して、入力画像とともに、例えば、高画質化を行う程度を指定するパラメータや、画像処理手法に用いられる画像フィルタサイズを指定するパラメータを入力してもよい。
撮影箇所推定エンジンとは、入力された画像の撮影部位や撮影領域を推定するモジュールのことである。撮影箇所推定エンジンは、入力された画像に描画されている撮影部位や撮影領域がどこであるか、又は必要な詳細レベルの撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力することができる。
撮影部位や撮影領域は、撮影装置によっては撮影条件として保存していない、又は撮影装置が取得できず保存できていない場合がある。また、撮影部位や撮影領域が保存されていても、必要な詳細レベルの撮影部位や撮影領域が保存されていない場合もある。例えば、撮影部位として“後眼部”と保存されているだけで、詳細には“黄斑部”なのか、“視神経乳頭部”なのか、又は、“黄斑部及び視神経乳頭部”なのか、“その他”なのかが分からないことがある。また、別の例では、撮影部位として“乳房”と保存されているだけで、詳細には“右乳房”なのか、“左乳房”なのか、又は、“両方”なのかが分からないことがある。そのため、撮影箇所推定エンジンを用いることで、これらの場合に入力画像の撮影部位や撮影領域を推定することができる。
撮影箇所推定エンジンの推定手法を構成する画像及びデータ処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画像及びデータ処理手法では、機械学習アルゴリズムを用いた処理に加えて又は代えて、自然言語処理、類似画像及び類似データのデータベースを用いたマッチング処理、知識ベース処理等の既存の任意の推定処理を行ってもよい。なお、機械学習アルゴリズムを用いて構築した機械学習モデルをトレーニングする教師データは、撮影部位や撮影領域のラベルが付けられた画像とすることができる。この場合には、教師データの画像を入力データ、撮影部位や撮影領域のラベルを出力データとする。
特に、二次元画像の撮影箇所を推定するＣＮＮの構成例として、図２に示す構成がある。当該ＣＮＮの構成には、畳み込み層２０１とバッチ正規化層２０２と正規化線形関数を用いた活性化層２０３とで構成された複数の畳み込み処理ブロック２００群が含まれる。また、当該ＣＮＮの構成には、最後の畳み込み層２０４と、全結合（Ｆｕｌｌ Ｃｏｎｎｅｃｔｉｏｎ）層２０５と、出力層２０６が含まれる。全結合層２０５は畳み込み処理ブロック２００の出力値群を全結合する。また、出力層２０６は、Ｓｏｆｔｍａｘ関数を利用して、入力画像Ｉｍ２１０に対する、想定される撮影部位ラベル毎の確率を推定結果（Ｒｅｓｕｌｔ）２０７として出力する。このような構成では、例えば、入力画像Ｉｍ２１０が“黄斑部”を撮影した画像であれば、“黄斑部に対応する撮影部位ラベルについて最も高い確率が出力される。
なお、例えば、畳み込み処理ブロック２００の数を１６、畳み込み層２０１群のパラメータとして、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の精度で撮影部位を推定することができる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。なお、推定手法は、一つの画像及びデータ処理手法だけで実施されることもあるし、二つ以上の画像及びデータ処理手法を組み合わせて実施されることもある。
画質評価エンジンとは、入力された画像に対する画質評価指数を出力するモジュールのことである。画質評価指数を算出する画質評価処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画質評価処理手法では、画像ノイズ計測アルゴリズム、及び類似画像や基底画像に対応する画質評価指数のデータベースを用いたマッチング処理等の既存の任意の評価処理を行ってもよい。なお、これらの評価処理は、機械学習アルゴリズムを用いた処理に加えて又は代えて行われてよい。
例えば、画質評価指数は機械学習アルゴリズムを用いて構築した機械学習モデルより得ることができる。この場合、機械学習モデルをトレーニングする教師データを構成するペアの入力データは、事前に様々な撮影条件によって撮影された低画質画像群と高画質画像群とで構成される画像群である。また、機械学習モデルをトレーニングする教師データを構成するペアの出力データは、例えば、画像診断を行う検者が入力データの画像群のそれぞれについて設定した画質評価指数群である。
本発明の説明における真贋評価エンジンとは、入力された画像の描画を評価して、対象の撮影装置によって撮影され取得された画像か否かを、ある程度の精度で評価するモジュールである。真贋評価処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、真贋評価処理手法では、機械学習アルゴリズムを用いた処理に加えて又は代えて、知識ベース処理等の既存の任意の評価処理を行ってもよい。
例えば、真贋評価処理は機械学習アルゴリズムを用いて構築した機械学習モデルにより実施することができる。まず、機械学習モデルの教師データについて説明する。教師データには、事前に様々な撮影条件によって撮影された高画質画像群と対象の撮影装置によって撮影され取得されたことを表すラベル（以下、真作ラベル）とのペア群が含まれる。また、教師データには、高画質化エンジン（第１レベルの高画質化エンジン）に低画質画像を入力して生成した高画質画像群と対象の撮影装置によって撮影され取得されていないことを表すラベル（以下、贋作ラベル）とのペア群が含まれる。このような教師データを用いてトレーニングした機械学習モデルは、第１レベルの高画質化エンジンが生成する高画質画像が入力されると贋作ラベルを出力する。
特に、二次元画像の真贋評価処理を行うＣＮＮの構成例として、図３に示す構成がある。当該ＣＮＮの構成には、畳み込み層３０１と、バッチ正規化層３０２と、正規化線形関数を用いた活性化層３０３とで構成された複数の畳み込み処理ブロック３００群が含まれる。また、当該ＣＮＮの構成には、最後の畳み込み層３０４と、全結合層３０５と、出力層３０６が含まれる。全結合層３０５は、畳み込み処理ブロック３００の出力値群を全結合する。また、出力層３０６は、Ｓｉｇｍｏｉｄ関数を利用して、入力画像Ｉｍ３１０に対して、真作ラベルを表す１の値（真）又は贋作ラベルを表す０の値（偽）を、真贋評価処理の結果（Ｒｅｓｕｌｔ）３０７として出力する。
なお、畳み込み処理ブロック３００の数を１６、畳み込み層３０１群のパラメータとして、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の精度で正しい真贋評価処理の結果を得られる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。
真贋評価エンジンは、第１レベルの高画質化エンジンよりも高度に高画質化する高画質化エンジン（第２レベルの高画質化エンジン）が生成する高画質画像が入力されると真作ラベルを出力することがある。つまり、真贋評価エンジンは入力された画像に対し、確実に撮影装置によって撮影され取得された画像か否かを評価できるわけではないが、撮影装置によって撮影され取得された画像らしさを持つ画像か否かを評価できる。この特性を利用して、真贋評価エンジンに高画質化エンジンが生成した高画質画像を入力することで、高画質化エンジンが生成した高画質画像が十分に高画質化されているか否かを評価できる。
また、高画質化エンジンの機械学習モデルと真贋評価エンジンの機械学習モデルとを協調させてトレーニングすることによって、双方のエンジンの効率や精度を向上させてもよい。この場合には、まず、高画質化エンジンが生成する高画質画像を真贋評価エンジンに評価させると真作ラベルが出力されるように、該高画質化エンジンの機械学習モデルをトレーニングする。また、並行して、高画質化エンジンが生成する画像を真贋評価エンジンに評価させると贋作ラベルを出力するように、該真贋評価エンジンの機械学習モデルをトレーニングさせる。さらに、並行して、撮影装置によって取得された画像を真贋評価エンジンに評価させると真作ラベルを出力するように、該真贋評価エンジンの機械学習モデルをトレーニングさせる。これによって、高画質化エンジンと真贋評価エンジンの効率や精度が向上する。
＜第１の実施形態＞
以下、図４及び５を参照して、第１の実施形態による医用画像処理装置について説明する。図４は、本実施形態に係る画像処理装置の概略的な構成の一例を示す。
画像処理装置４００は、撮影装置１０及び表示部２０に、回路やネットワークを介して接続されている。また、撮影装置１０及び表示部２０が直接接続されていてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。
画像処理装置４００には、取得部４０１と、撮影条件取得部４０２と、高画質化可否判定部４０３と、高画質化部４０４と、出力部４０５（表示制御部）とが設けられている。なお、画像処理装置４００は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。取得部４０１は、撮影装置１０や他の装置から各種データや画像を取得したり、不図示の入力装置を介して検者からの入力を取得したりすることができる。なお、入力装置としては、マウス、キーボード、タッチパネル及びその他任意の入力装置を採用してよい。また、表示部２０をタッチパネルディスプレイとして構成してもよい。
撮影条件取得部４０２は、取得部４０１が取得した医用画像（入力画像）の撮影条件を取得する。具体的には、医用画像のデータ形式に応じて、医用画像を構成するデータ構造に保存された撮影条件群を取得する。なお、医用画像に撮影条件が保存されていない場合には、取得部４０１を介して、撮影装置１０や画像管理システムから撮影条件群を含む撮影情報群を取得することができる。
高画質化可否判定部４０３は、撮影条件取得部４０２によって取得された撮影条件群を用いて高画質化部４０４によって医用画像が対処可能であるか否かを判定する。高画質化部４０４は、対処可能である医用画像について高画質化を行い、画像診断に適した高画質画像を生成する。出力部４０５は、高画質化部４０４が生成した高画質画像や入力画像、各種情報等を表示部２０に表示させる。また、出力部４０５は、生成された高画質画像等を画像処理装置４００に接続される記憶装置（記憶部）に記憶させてもよい。
次に、高画質化部４０４について詳細に説明する。高画質化部４０４には高画質化エンジンが備えられている。本実施形態に係る高画質化エンジンの備える高画質化手法では、機械学習アルゴリズムを用いた処理を行う。
本実施形態では、機械学習アルゴリズムに係る機械学習モデルのトレーニングに、処理対象として想定される特定の撮影条件を持つ低画質画像である入力データと、入力データに対応する高画質画像である出力データのペア群で構成された教師データを用いる。なお、特定の撮影条件には、具体的には、予め決定された撮影部位、撮影方式、撮影画角、及び画像サイズ等が含まれる。
本実施形態において、教師データの入力データは、撮影装置１０と同じ機種、撮影装置１０と同じ設定により取得された低画質画像である。また、教師データの出力データは、撮影装置１０と同じ機種が備える設定や画像処理により取得された高画質画像である。具体的には、出力データは、例えば、複数回撮影することにより取得した画像（元画像）群に対して加算平均等の重ね合わせ処理を行うことにより得られる高画質画像（重ね合わせ画像）である。ここで、高画質画像と低画質画像についてＯＣＴＡのモーションコントラストデータを例として説明をする。ここで、モーションコントラストデータとは、ＯＣＴＡ等で用いられる、撮影対象の同一箇所を繰り返し撮影し、その撮影間における撮影対象の時間的な変化を検出したデータである。このとき、算出したモーションコントラストデータ（３次元の医用画像データの一例）のうち、撮影対象の深さ方向における所望の範囲のデータを用いて正面画像を生成することで、ＯＣＴＡのＥｎ−Ｆａｃｅ画像（モーションコントラスト正面画像）を生成することができる。なお、以下では同一箇所におけるＯＣＴデータを繰り返し撮影することをＮＯＲ（Ｎｕｍｂｅｒ Ｏｆ Ｒｅｐｅａｔ）と呼ぶ。
本実施形態において、重ね合わせ処理による高画質画像と低画質画像の生成例として異なる２種類の方法について図２８を用いて説明をする。
第一の方法は、高画質画像の例として、撮影対象の同一箇所を繰り返し撮影したＯＣＴデータから生成するモーションコントラストデータに関して、図２８（ａ）を用いて説明する。図２８（ａ）において、Ｉｍ２８１０は３次元のモーションコントラストデータ、Ｉｍ２８１１は３次元のモーションコントラストデータを構成する２次元のモーションコントラストデータを示す。そして、Ｉｍ２８１１−１〜Ｉｍ２８１１−３は、Ｉｍ２８１１を生成するためのＯＣＴ断層画像（Ｂスキャン）を示している。ここで、ＮＯＲとは、図２８（ａ）においては、Ｉｍ２８１１−１〜Ｉｍ２８１１−３におけるＯＣＴ断層画像の数の事を示し、図の例においてＮＯＲは３である。Ｉｍ２８１１−１〜Ｉｍ２８１１−３は所定の時間間隔（Δｔ）で撮影される。なお、同一箇所とは被検眼の正面方向（Ｘ−Ｙ）において、１ラインの事を示し、図２８（ａ）においては、Ｉｍ２８１１の箇所に相当する。なお、正面方向は、深さ方向に対して交差する方向の一例である。モーションコントラストデータは時間的な変化を検出したデータであるため、このデータを生成するためには、少なくともＮＯＲは２回とする必要がある。例えば、ＮＯＲが２の場合には、１つのモーションコントラストデータが生成される。ＮＯＲが３の場合には、隣接する時間間隔（１回目と２回目、２回目と３回目）のＯＣＴのみでモーションコントラストデータを生成する場合には、２つのデータが生成される。離れた時間間隔（１回目と３回目）のＯＣＴデータも用いてモーションコントラストデータを生成する場合には、合計３つのデータが生成される。すなわち、ＮＯＲを３回、４回、・・・と増やしていくと、同一箇所におけるモーションコントラストのデータ数も増加する。同一箇所を繰り返し撮影して取得した複数のモーションコントラストデータを位置合わせして加算平均等の重ね合わせ処理をすることで、高画質なモーションコントラストデータを生成することが出来る。そのため、ＮＯＲを少なくとも３回以上とし、５回以上とするのが望ましい。一方、これに対応する低画質画像の例としては、加算平均等の重ね合わせ処理を行う前のモーションコントラストデータとする。この場合、低画質画像は加算平均等の重ね合わせ処理を行う際の基準画像とするのが望ましい。重ね合わせ処理をする際に、基準画像に対して対象画像の位置や形状を変形して位置合わせを行っておけば、基準画像と重ね合わせ処理後の画像とでは空間的な位置ずれがほとんどない。そのため、容易に低画質画像と高画質画像のペアとすることが出来る。なお、基準画像ではなく位置合わせの画像変形処理を行った対象画像を低画質画像としてもよい。元画像群（基準画像と対象画像）のそれぞれを入力データ、対応する重ね合わせ画像を出力データとすることで、複数のペア群を生成することができる。例えば、１５の元画像群から１の重ね合わせ画像を得る場合、元画像群のうちの一つ目の元画像と重ね合わせ画像とのペア、元画像群のうちの二つ目の元画像と重ね合わせ画像とのペアを生成することができる。このように、１５の元画像群から１の重ね合わせ画像を得る場合には、元画像群のうちの一つの画像と重ね合わせ画像による１５のペア群が生成可能である。なお、主走査（Ｘ）方向に同一箇所を繰り返し撮影し、それを副走査（Ｙ）方向にずらしながらスキャンをすることで３次元の高画質データを生成することが出来る。
第二の方法は、撮影対象の同一領域を複数回撮影したモーションコントラストデータを重ね合わせ処理することで高画質画像を生成する処理に関して、図２８（ｂ）を用いて説明する。なお、同一領域とは被検眼の正面方向（Ｘ−Ｙ）において、３×３ｍｍや１０×１０ｍｍのような領域の事を示し、断層画像の深さ方向を含めて３次元のモーションコントラストデータを取得することを意味する。同一領域を複数回撮影して重ね合わせ処理を行う際には、１回あたりの撮影を短くするため、ＮＯＲは２回か３回とすることが望ましい。また、高画質な３次元モーションコントラストデータを生成するために、同一領域の３次元データを少なくとも２データ以上取得する。図２８（ｂ）では、複数の３次元モーションコントラストデータの例を示している。Ｉｍ２８２０〜Ｉｍ２８４０は、図２８（ａ）で説明したのと同様に３次元のモーションコントラストデータである。これら２データ以上の３次元モーションコントラストデータを用いて、正面方向（Ｘ−Ｙ）と深度方向（Ｚ）の位置合わせ処理を行い、それぞれのデータにおいてアーティファクトとなるデータを除外した後に、平均化処理を行う。それによりアーティファクトの除外された１つの高画質な３次元モーションコントラストデータを生成することが出来る。３次元モーションコントラストデータから任意の平面を生成することで高画質画像となる。一方、これに対応する低画質画像は加算平均等の重ね合わせ処理を行う際の基準データから生成する任意の平面とするのが望ましい。第一の方法で説明したように、基準画像と加算平均後の画像とでは空間的な位置ずれがほとんどないため、容易に低画質画像と高画質画像のペアとすることが出来る。なお、基準データではなく位置合わせの画像変形処理を行った対象データから生成した任意の平面を低画質画像としてもよい。
第一の方法は、撮影自体が１回で終了するため被験者の負担は少ない。しかし、ＮＯＲの回数を増やすほど１回の撮影時間が長くなってしまう。また、撮影途中に目の混濁や睫毛などのアーティファクトが入った場合には必ずしも良い画像が得られるとは限らない。第二の方法は、複数回撮影を行うため被験者の負担は少し増えてしまう。しかし、１回の撮影時間が短く済むのと、１回の撮影でアーティファクトが入ったとしても、別の撮影でアーティファクトが写らなければ最終的にはアーティファクトの少ないきれいな画像を得ることが出来る。これらの特徴を鑑みて、データを集める際には被験者の状況に合わせて任意の方法を選択する。
本実施形態では、モーションコントラストデータを例として説明をしたがこれに限らない。モーションコントラストデータを生成するためにＯＣＴデータを撮影しているため、ＯＣＴデータでも上記の方法で同じことが可能である。さらに、本実施形態においてトラッキング処理について説明を省略したが、被検眼の同一箇所や同一領域を撮影するため、被検眼のトラッキングを行いながら撮影を行うことが望ましい。
本実施形態において、３次元の高画質データと低画質データのペアが出来ているため、ここから任意の２次元画像のペアを生成することが出来る。これに関して、図２９を用いて説明をする。例えば、対象画像をＯＣＴＡのＥｎ−Ｆａｃｅ画像とする場合、３次元データから所望の深度範囲でＯＣＴＡのＥｎ−Ｆａｃｅ画像を生成する。所望の深度範囲とは、図２８においてＺ方向における範囲の事を示す。ここで生成するＯＣＴＡのＥｎ−Ｆａｃｅ画像の例を図２９（ａ）に示す。ＯＣＴＡのＥｎ−Ｆａｃｅ画像としては、表層（Ｉｍ２９１０）、深層（Ｉｍ２９２０）、外層（Ｉｍ２９３０）、脈絡膜血管網（Ｉｍ２９４０）など、異なる深度範囲で生成したＯＣＴＡのＥｎ−Ｆａｃｅ画像を用いて学習を行う。なお、ＯＣＴＡのＥｎ−Ｆａｃｅ画像の種類はこれに限らず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したＯＣＴＡのＥｎ−Ｆａｃｅ画像を生成して種類を増やしてもよい。学習を行う際には、異なる深さのＯＣＴＡのＥｎ−Ｆａｃｅ画像毎に別々に学習をしてもよいし、異なる深度範囲の画像を複数組み合わせて（例えば、表層側と深層側で分ける）学習してもよいし、全ての深度範囲のＯＣＴＡのＥｎ−Ｆａｃｅ画像を一緒に学習させるようにしてもよい。ＯＣＴデータから生成する輝度のＥｎ−Ｆａｃｅ画像の場合も、ＯＣＴＡのＥｎ−Ｆａｃｅと同様に、任意の深度範囲から生成した複数のＥｎ−Ｆａｃｅ画像を用いて学習を行う。例えば、高画質化エンジンが、被検眼の異なる深度範囲（複数の深度範囲）に対応する複数のモーションコントラスト正面画像を含む学習データを用いて得た機械学習エンジンを含む場合を考える。このとき、取得部は、異なる深度範囲（複数の深度範囲）を含む長い深度範囲のうち一部の深度範囲に対応するモーションコントラスト正面画像を第１の画像として取得することができる。すなわち、学習データに含まれる複数のモーションコントラスト正面画像に対応する複数の深度範囲とは異なる深度範囲に対応するモーションコントラスト正面画像を、高画質化時の入力画像とすることができる。もちろん、学習時と同じ深度範囲のモーションコントラスト正面画像を、高画質化時の入力画像としてもよい。また、一部の深度範囲は、検者がユーザーインターフェース上の任意のボタンを押す等に応じて設定されてもよいし、自動的に設定されてもよい。また、高画質化時において、複数の深度範囲に対応する複数のモーションコントラスト正面画像が共通の高画質化エンジンに対する入力画像であってもよく、このとき、入力画像に比べて高画質化された複数の画像が生成されるように構成することができる。なお、上述した内容は、モーションコントラスト正面画像に限るものではなく、例えば、輝度のＥｎ−Ｆａｃｅ画像に対しても適用することができる。
なお、処理対象の画像が断層画像である場合、ＢスキャンであるＯＣＴ断層画像やモーションコントラストデータの断層画像を用いて学習を行う。これに関して、図２９（ｂ）を用いて説明をする。図２９（ｂ）において、Ｉｍ２９５１〜Ｉｍ２９５３はＯＣＴの断層画像である。図２９（ｂ）において画像が異なるのは、副走査（Ｙ）方向の位置が異なる場所の断層画像を示しているからである。断層画像においては、副走査方向の位置の違いを気にせずに一緒に学習をするようにしてもよい。ただし、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）が異なる場所を撮影した画像の場合には、部位ごとに別々に学習をするようにしてもよいし、撮影部位を気にせずに一緒に学習をするようにしてもよい。なお、ＯＣＴ断層画像と、モーションコントラストデータの断層画像においては画像特徴量が大きく異なるので別々に学習を行う方がよい。
重ね合わせ処理を行った重ね合わせ画像は、元画像群で共通して描出された画素が強調されるため、画像診断に適した高画質画像になる。この場合には、生成される高画質画像は、共通して描出された画素が強調された結果、低輝度領域と高輝度領域との違いがはっきりした高コントラストな画像になる。また、例えば、重ね合わせ画像では、撮影毎に発生するランダムノイズが低減されたり、ある時点の元画像ではうまく描出されなかった領域が他の元画像群によって補間されたりすることができる。
また、機械学習モデルの入力データを複数の画像で構成する必要がある場合には、元画像群から必要な数の元画像群を選択し、入力データとすることができる。例えば、１５の元画像群から１の重ね合わせ画像を得る場合において、機械学習モデルの入力データとして２の画像が必要であれば、１０５（１５Ｃ２＝１０５）のペア群を生成可能である。
なお、教師データを構成するペア群のうち、高画質化に寄与しないペアは教師データから取り除くことができる。例えば、教師データのペアを構成する出力データである高画質画像が画像診断に適さない画質である場合には、当該教師データを用いて学習した高画質化エンジンが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、出力データが画像診断に適さない画質であるペアを教師データから取り除くことで、高画質化エンジンが画像診断に適さない画質の画像を生成する可能性を低減させることができる。
また、ペアである画像群の平均輝度や輝度分布が大きく異なる場合には、当該教師データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力する可能性がある。このため、平均輝度や輝度分布が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。
さらに、ペアである画像群に描画される撮影対象の構造や位置が大きく異なる場合には、当該教師データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力する可能性がある。このため、描画される撮影対象の構造や位置が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。また、高画質化エンジンについて、品質保持の観点から、自身が出力する高画質画像を教師データとして用いないように構成することができる。
このように機械学習を行った高画質化エンジンを用いることで、高画質化部４０４は、一回の撮影で取得された医用画像が入力された場合に、重ね合わせ処理によって高コントラスト化やノイズ低減等が行われたような高画質画像を出力することができる。このため、高画質化部４０４は、入力画像である低画質画像に基づいて、画像診断に適した高画質画像を生成することができる。
次に、図５のフロー図を参照して、本実施形態に係る一連の画像処理について説明する。図５は本実施形態に係る一連の画像処理のフロー図である。まず、本実施形態に係る一連の画像処理が開始されると、処理はステップＳ５１０に移行する。
ステップＳ５１０では、取得部４０１が、回路やネットワークを介して接続された撮影装置１０から、撮影装置１０が撮影した画像を入力画像として取得する。なお、取得部４０１は、撮影装置１０からの要求に応じて、入力画像を取得してもよい。このような要求は、例えば、撮影装置１０が画像を生成した時、撮影装置１０が生成した画像を撮影装置１０が備える記憶装置に保存する前や保存した後、保存された画像を表示部２０に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。
なお、取得部４０１は、撮影装置１０から画像を生成するためのデータを取得し、画像処理装置４００が当該データに基づいて生成した画像を入力画像として取得してもよい。この場合、画像処理装置４００が各種画像を生成するための画像生成方法としては、既存の任意の画像生成方法を採用してよい。
ステップＳ５２０では、撮影条件取得部４０２が、入力画像の撮影条件群を取得する。具体的には、入力画像のデータ形式に応じて、入力画像を構成するデータ構造に保存された撮影条件群を取得する。なお、上述のように、入力画像に撮影条件が保存されていない場合には、撮影条件取得部４０２は、撮影装置１０や不図示の画像管理システムから撮影条件群を含む撮影情報群を取得することができる。
ステップＳ５３０においては、高画質化可否判定部４０３が、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンによって入力画像を高画質化可能であるか否かを判定する。具体的には、高画質化可否判定部４０３は、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズが、高画質化エンジンによって対処可能な条件と一致するか否かを判定する。
高画質化可否判定部４０３が、すべての撮影条件を判定し、対処可能と判定された場合には、処理はステップＳ５４０に移行する。一方、高画質化可否判定部４０３が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップＳ５５０に移行する。
なお、画像処理装置４００の設定や実装形態によっては、撮影部位、撮影方式、撮影画角、及び画像サイズのうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップＳ５４０における高画質化処理が実施されてもよい。例えば、高画質化エンジンが、被検者のいずれの撮影部位に対しても網羅的に対応可能であると想定され、入力データに未知の撮影部位が含まれていたとしても対処可能であるように実装されている場合等には、このような処理を行ってもよい。また、高画質化可否判定部４０３は、所望の構成に応じて、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズのうちの少なくとも一つが高画質化エンジンによって対処可能な条件と一致するか否かを判定してもよい。
ステップＳ５４０においては、高画質化部４０４が、高画質化エンジンを用いて、入力画像を高画質化し、入力画像よりも画像診断に適した高画質画像を生成する。具体的には、高画質化部４０４は、入力画像を高画質化エンジンに入力し、高画質化された高画質画像を生成させる。高画質化エンジンは、教師データを用いて機械学習を行った機械学習モデルに基づいて、入力画像を用いて重ね合わせ処理を行ったような高画質画像を生成する。このため、高画質化エンジンは、入力画像よりも、ノイズ低減されたり、コントラスト強調されたりした高画質画像を生成することができる。
なお、画像処理装置４００の設定や実装形態によっては、高画質化部４０４が、撮影条件群に応じて、高画質化エンジンに入力画像とともにパラメータを入力して、高画質化の程度等を調節してもよい。また、高画質化部４０４は、検者の入力に応じたパラメータを高画質化エンジンに入力画像とともに入力して高画質化の程度等を調整してもよい。
ステップＳ５５０では、出力部４０５が、ステップＳ５４０において高画質画像が生成されていれば、高画質画像を出力して、表示部２０に表示させる。一方、ステップＳ５３０において高画質化処理が不可能であるとされていた場合には、入力画像を出力し、表示部２０に表示させる。なお、出力部４０５は、表示部２０に出力画像を表示させるのに代えて、撮影装置１０や他の装置に出力画像を表示させたり、記憶させたりしてもよい。また、出力部４０５は、画像処理装置４００の設定や実装形態によっては、出力画像を撮影装置１０や他の装置が利用可能なように加工したり、画像管理システム等に送信可能なようにデータ形式を変換したりしてもよい。
上記のように、本実施形態に係る画像処理装置４００は、取得部４０１と、高画質化部４０４とを備える。取得部４０１は、被検者の所定部位の画像である入力画像（第１の画像）を取得する。高画質化部４０４は、機械学習エンジンを含む高画質化エンジンを用いて、入力画像から、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた高画質画像（第２の画像）を生成する。高画質化エンジンは、重ね合わせ処理により得られた画像を学習データとした機械学習エンジンを含む。
当該構成により、本実施形態に係る画像処理装置４００は、入力画像から、ノイズが低減されていたり、コントラストが強調されていたりする高画質画像を出力することができる。このため、画像処理装置４００は、より明瞭な画像や観察したい部位や病変が強調されている画像等の画像診断に適した画像を、従来と比べて、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく、より少ない代償で取得することができる。
また、画像処理装置４００は、入力画像に対して、高画質化エンジンを用いて高画質画像を生成できる否かを判定する高画質化可否判定部４０３を更に備える。高画質化可否判定部４０３は、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズの少なくとも一つに基づいて当該判定を行う。
当該構成により、本実施形態に係る画像処理装置４００は、高画質化部４０４が処理できない入力画像を高画質化処理から省くことができ、画像処理装置４００の処理負荷やエラーの発生を低減させることができる。
なお、本実施形態においては、出力部４０５（表示制御部）は、生成された高画質画像を表示部２０に表示させる構成としたが、出力部４０５の動作はこれに限られない。例えば、出力部４０５は、高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力することもできる。このため、高画質画像は、これらの装置のユーザーインターフェースに表示されたり、任意の記憶装置に保存されたり、任意の画像解析に利用されたり、画像管理システムに送信されたりすることができる。
本実施形態においては、高画質化可否判定部４０３が、高画質化エンジンによって高画質化可能な入力画像であるか否かを判定して、高画質化可能な入力画像であれば高画質化部４０４が高画質化を行った。これに対し、撮影装置１０によって、高画質化可能な撮影条件でのみ撮影が行なわれる等の場合には、撮影装置１０から取得した画像を無条件に高画質化してもよい。この場合には、図６に示すように、ステップＳ５２０とステップＳ５３０の処理を省き、ステップＳ５１０の次にステップＳ５４０を実施することができる。
なお、本実施形態においては、出力部４０５が、表示部２０に高画質画像を表示させる構成とした。しかしながら、出力部４０５は、検者からの指示に応じて、高画質画像を表示部２０に表示させてもよい。例えば、出力部４０５は、検者が表示部２０のユーザーインターフェース上の任意のボタンを押すことに応じて、高画質画像を表示部２０に表示させてもよい。この場合、出力部４０５は、入力画像と切り替えて高画質画像を表示させてもよいし、入力画像と並べて高画質画像を表示させてもよい。
さらに、出力部４０５は、表示部２０に高画質画像を表示させる際に、表示されている画像が機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示を高画質画像とともに表示させてもよい。この場合には、ユーザーは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。
また、出力部４０５は、機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示について、機械学習アルゴリズムがどのような教師データによって学習を行ったものであるかを示す表示を表示部２０に表示させてもよい。当該表示としては、教師データの入力データと出力データの種類の説明や、入力データと出力データに含まれる撮影部位等の教師データに関する任意の表示を含んでよい。
本実施形態に係る高画質化エンジンでは、教師データの出力データとして、重ね合わせ画像を用いたが、教師データはこれに限られない。教師データの出力データとして、高画質画像を得る手段である、重ね合わせ処理や、後述する処理群、後述する撮影方法のうち、少なくとも一つを行うことで得られる高画質画像を用いてもよい。
例えば、教師データの出力データとして、元画像群に対して最大事後確率推定処理（ＭＡＰ推定処理）を行うことで得られる高画質画像を用いてもよい。ＭＡＰ推定処理では、複数の低画質画像における各画素値の確率密度から尤度関数を求め、求めた尤度関数を用いて真の信号値（画素値）を推定する。
ＭＡＰ推定処理により得られた高画質画像は、真の信号値に近い画素値に基づいて高コントラストな画像となる。また、推定される信号値は、確率密度に基づいて求められるため、ＭＡＰ推定処理により得られた高画質画像では、ランダムに発生するノイズが低減される。このため、ＭＡＰ推定処理により得られた高画質画像を教師データとして用いることで、高画質化エンジンは、入力画像から、ノイズが低減されたり、高コントラストとなったりした、画像診断に適した高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。
また、教師データの出力データとして、元画像に平滑化フィルタ処理を適用した高画質画像を用いてもよい。この場合には、高画質化エンジンは、入力画像から、ランダムノイズが低減された高画質画像を生成することができる。さらに、教師データの出力データとして、元画像に階調変換処理を適用した画像を用いてもよい。この場合には、高画質化エンジンは、入力画像から、コントラスト強調された高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。
なお、教師データの入力データは、撮影装置１０と同じ画質傾向を持つ撮影装置から取得された画像でもよい。また、教師データの出力データは、逐次近似法等の高コストな処理によって得られた高画質画像であってもよいし、入力データに対応する被検者を、撮影装置１０よりも高性能な撮影装置で撮影することで取得した高画質画像であってもよい。さらに、出力データは、ルールベースによるノイズ低減処理を行うことによって取得された高画質画像であってもよい。ここで、ノイズ低減処理は、例えば、低輝度領域内に現れた明らかにノイズである１画素のみの高輝度画素を、近傍の低輝度画素値の平均値に置き換える等の処理を含むことができる。このため、高画質化エンジンは、入力画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は入力画像の撮影工程よりも工数の多い撮影工程で取得された画像を学習データとしてもよい。例えば、高画質化エンジンは、モーションコントラスト正面画像を入力画像とする場合、入力画像のＯＣＴＡ撮影に用いられるＯＣＴ撮影装置よりも高性能なＯＣＴ撮影装置によってＯＣＴＡ撮影されて得た画像、又は入力画像のＯＣＴＡ撮影工程よりも工数の多いＯＣＴＡ撮影工程で取得されて得た画像を学習データとしてもよい。
なお、本実施形態の説明では省略したが、教師データの出力データとして用いられる、複数の画像から生成された高画質画像は、位置合わせ済みの複数の画像から生成されることができる。当該位置合わせ処理としては、例えば、複数の画像のうちの一つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の画像との類似度を求め、テンプレートとの位置ずれ量を求め、位置ずれ量に基づいて各画像を補正してよい。また、その他の既存の任意の位置合わせ処理を行ってもよい。
なお、三次元画像を位置合わせする場合には、三次元画像を複数の二次元画像に分解し、二次元画像毎に位置合わせしたものを統合することで、三次元画像の位置合わせを行ってもよい。また、二次元画像を一次元画像に分解し、一次元画像毎に位置合わせしたものを統合することで、二次元画像の位置合わせを行ってもよい。なお、画像ではなく、画像を生成するためのデータに対して、これら位置合わせを行ってもよい。
また、本実施形態では、高画質化可否判定部４０３が高画質化部４０４によって入力画像が対処可能であると判断したら、処理がステップＳ５４０に移行して、高画質化部４０４による高画質化処理が開始された。これに対し、出力部４０５が高画質化可否判定部４０３による判定結果を表示部２０に表示させ、高画質化部４０４が検者からの指示に応じて高画質化処理を開始してもよい。この際、出力部４０５は、判定結果とともに、入力画像や入力画像について取得した撮影部位等の撮影条件を表示部２０に表示させることができる。この場合には、検者によって判定結果が正しいか否かが判断された上で、高画質化処理が行われるため、誤判定に基づく高画質化処理を低減させることができる。
また、高画質化可否判定部４０３による判定を行わず、出力部４０５が入力画像や入力画像について取得した撮影部位等の撮影条件を表示部２０に表示させ、高画質化部４０４が検者からの指示に応じて高画質化処理を開始してもよい。
＜第２の実施形態＞
次に、図４及び７を参照して、第２の実施形態に係る画像処理装置について説明する。第１の実施形態では、高画質化部４０４は、一つの高画質化エンジンを備えていた。これに対して、本実施形態では、高画質化部が、異なる教師データを用いて機械学習を行った複数の高画質化エンジンを備え、入力画像に対して複数の高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る高画質化部４０４には、それぞれ異なる教師データを用いて機械学習が行われた二つ以上の高画質化エンジンが備えられている。ここで、本実施形態に係る教師データ群の作成方法について説明する。具体的には、まず、様々な撮影部位が撮影された、入力データとしての元画像と出力データとしての重ね合わせ画像のペア群を用意する。次に、撮影部位毎にペア群をグルーピングすることで、教師データ群を作成する。例えば、第１の撮影部位を撮影して取得されたペア群で構成される第１の教師データ、第２の撮影部位を撮影して取得されたペア群で構成される第２の教師データというように、教師データ群を作成する。
その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第１の教師データでトレーニングされた機械学習モデルに対応する第１の高画質化エンジン、第２の教師データでトレーニングされた機械学習モデルに対応する第２の高画質化エンジンというように高画質化エンジン群を用意する。
このような高画質化エンジンは、それぞれ対応する機械学習モデルのトレーニングに用いた教師データが異なるため、高画質化エンジンに入力される画像の撮影条件によって、入力画像を高画質化できる程度が異なる。具体的には、第１の高画質化エンジンは、第１の撮影部位を撮影して取得された入力画像に対しては高画質化の程度が高く、第２の撮影部位を撮影して取得された画像に対しては高画質化の程度が低い。同様に、第２の高画質化エンジンは、第２の撮影部位を撮影して取得された入力画像に対しては高画質化の程度が高く、第１の撮影部位を撮影して取得された画像に対しては高画質化の程度が低い。
教師データのそれぞれが撮影部位によってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影部位であれば、第１の実施形態に係る高画像化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件は、撮影部位に限られず、撮影画角であったり、画像の解像度であったり、これらのうちの二つ以上の組み合わせであったりしてもよい。
以下、図７を参照して、本実施形態に係る一連の画像処理について説明する。図７は、本実施形態に係る一連の画像処理のフロー図である。なお、ステップＳ７１０及びステップＳ７２０の処理は、第１の実施形態に係るステップＳ５１０及びステップＳ５２０と同様であるため、説明を省略する。なお、入力画像に対して、無条件で高画質化する場合には、ステップＳ７２０の処理の後に、ステップＳ７３０の処理を省き、処理をステップＳ７４０に移行してよい。
ステップＳ７２０において入力画像の撮影条件が取得されると、処理はステップＳ７３０に移行する。ステップＳ７３０においては、高画質化可否判定部４０３が、ステップＳ７２０において取得した撮影条件群を用いて、高画質化部４０４が備える高画質化エンジン群のいずれかが、入力画像を対処可能であるか否かを判定する。
高画質化可否判定部４０３が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップＳ７６０に移行する。一方で、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ７４０に移行する。なお、画像処理装置４００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ７４０を実施してもよい。
ステップＳ７４０においては、高画質化部４０４が、ステップＳ７２０で取得した入力画像の撮影条件及び高画質化エンジン群の教師データの情報に基づいて、高画質化エンジン群から高画質化処理を行う高画質化エンジンを選択する。具体的には、例えば、ステップＳ７２０において取得した撮影条件群のうちの撮影部位に対して、同撮影部位又は周囲の撮影部位に関する教師データの情報を有し、高画質化の程度が高い高画質化エンジンを選択する。上述の例では、撮影部位が第１の撮影部位である場合には、高画質化部４０４は第１の高画質化エンジンを選択する。
ステップＳ７５０では、高画質化部４０４が、ステップＳ７４０において選択した高画質化エンジンを用いて、入力画像を高画質化した高画質画像を生成する。その後、ステップＳ７６０において、出力部４０５は、ステップＳ７５０において高画質画像が生成されていれば、高画質画像を出力して、表示部２０に表示させる。一方、ステップＳ７３０において高画質化処理が不可能であるとされていた場合には、入力画像を出力し、表示部２０に表示させる。なお、出力部４０５は、高画質画像を表示部２０に表示させる際、高画質化部４０４によって選択された高画質化エンジンを用いて生成された高画質画像であることを表示させてもよい。
上記のように、本実施形態に係る高画質化部４０４は、それぞれ異なる学習データを用いて学習を行った複数の高画質化エンジンを備える。ここで、複数の高画質化エンジンの各々は、それぞれ撮影部位、撮影画角、異なる深度の正面画像、及び画像の解像度のうちの少なくとも一つについての異なる学習データを用いて学習を行ったものである。高画質化部４０４は、入力画像の撮影部位、撮影画角、異なる深度の正面画像、及び画像の解像度のうちの少なくとも一つに応じた高画質化エンジンを用いて、高画質画像を生成する。
このような構成により、本実施形態に係る画像処理装置４００は、より効果的な高画質画像を生成することができる。
本実施形態では、高画質化部４０４が、入力画像の撮影条件に基づいて高画質化処理に用いる高画質化エンジンを選択したが、高画質化エンジンの選択処理はこれに限られない。例えば、出力部４０５が、取得した入力画像の撮影条件と高画質化エンジン群を表示部２０のユーザーインターフェースに表示させ、検者からの指示に応じて、高画質化部４０４が高画質化処理に用いる高画質化エンジンを選択してもよい。なお、出力部４０５は、高画質化エンジン群とともに各高画質化エンジンの学習に用いた教師データの情報を表示部２０に表示させてもよい。なお、高画質化エンジンの学習に用いた教師データの情報の表示態様は任意であってよく、例えば、学習に用いた教師データに関連する名称を用いて高画質化エンジン群を表示してもよい。
また、出力部４０５が、高画質化部４０４によって選択された高画質化エンジンを表示部２０のユーザーインターフェースに表示させ、検者からの指示を受け付けてもよい。この場合、高画質化部４０４は、検者からの指示に応じて、当該高画質化エンジンを高画質化処理に用いる高画質化エンジンとして最終的に選択するか否かを判断してもよい。
なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
＜第３の実施形態＞
次に、図４及び７を参照して、第３の実施形態に係る画像処理装置について説明する。第１及び２の実施形態では、撮影条件取得部４０２は、入力画像のデータ構造等から撮影条件群を取得する。これに対して、本実施形態では、撮影条件取得部は、撮影箇所推定エンジンを用いて、入力画像の撮影部位又は撮影領域を入力画像に基づいて推定する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第２の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第２の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１及び２の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る撮影条件取得部４０２には、取得部４０１が取得した入力画像に描画されている撮影部位又は撮影領域を推定する撮影箇所推定エンジンが備えられている。本実施形態に係る撮影箇所推定エンジンの備える撮影箇所の推定手法では、機械学習アルゴリズムを用いた推定処理を行う。
本実施形態では、機械学習アルゴリズムを用いた撮影箇所推定手法に係る機械学習モデルのトレーニングには、画像である入力データと、入力データに対応する撮影部位ラベルや撮影領域ラベルである出力データとのペア群で構成された教師データを用いる。ここで、入力データとは、処理対象（入力画像）として想定される特定の撮影条件を持つ画像のことである。入力データとしては、撮影装置１０と同じ画質傾向を持つ撮影装置から取得された画像であることが好ましく、撮影装置１０と同じ設定をされた同じ機種であるとよりよい。出力データである撮影部位ラベルや撮影領域ラベルの種類は、入力データに少なくとも一部が含まれている撮影部位や撮影領域であってよい。出力データである撮影部位ラベルの種類は、例えば、ＯＣＴであれば、“黄斑部”、“視神経乳頭部”、“黄斑部及び視神経乳頭部”、並びに“その他”等であってよい。
本実施形態に係る撮影箇所推定エンジンは、このような教師データを用いた学習を行ったことにより、入力された画像に描画されている撮影部位や撮影領域がどこであるかを出力することができる。また、撮影箇所推定エンジンは、必要な詳細レベルの撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力することもできる。撮影箇所推定エンジンを用いることで、撮影条件取得部４０２は、入力画像に基づいて、入力画像の撮影部位や撮影領域を推定し、入力画像についての撮影条件として取得することができる。なお、撮影箇所推定エンジンが撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力する場合には、撮影条件取得部４０２は、最も確率の高い撮影部位や撮影領域を入力画像の撮影条件として取得する。
次に、第２の実施形態と同様に、図７のフロー図を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ７１０、及びステップＳ７３０〜ステップＳ７６０の処理は、第２の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、無条件で高画質化する場合には、ステップＳ７２０の処理の後に、ステップＳ７３０の処理を省き、処理をステップＳ７４０に移行してよい。
ステップＳ７１０において入力画像が取得されると、処理はステップＳ７２０に移行する。ステップＳ７２０では、撮影条件取得部４０２が、ステップＳ７１０において取得した入力画像の撮影条件群を取得する。
具体的には、入力画像のデータ形式に応じて、入力画像を構成するデータ構造に保存された撮影条件群を取得する。また、撮影条件群に撮影部位や撮影領域に関する情報が含まれていない場合、撮影条件取得部４０２は撮影箇所推定エンジンに入力画像を入力し、入力画像がどの撮影部位を撮影して取得されたものなのかを推定する。具体的には、撮影条件取得部４０２は、撮影箇所推定エンジンに入力画像を入力し、撮影部位ラベル群のそれぞれに対して出力された確率を評価し、最も確率の高い撮影部位を入力画像の撮影条件として設定・取得する。
なお、入力画像に撮影部位や撮影領域以外の撮影条件が保存されていない場合には、撮影条件取得部４０２は、撮影装置１０や不図示の画像管理システムから撮影条件群を含む撮影情報群を取得することができる。
以降の処理は、第２実施形態に係る一連の画像処理と同様であるため説明を省略する。
上記のように、本実施形態に係る撮影条件取得部４０２は、入力画像の撮影部位及び撮影領域のうちの少なくとも一方を推定する推定部として機能する。撮影条件取得部４０２は、撮影部位や撮影領域のラベルが付けられた画像を学習データとした撮影箇所推定エンジンを含み、撮影箇所推定エンジンに入力画像を入力することで、入力画像の撮影部位や撮影領域を推定する。
これにより、本実施形態に係る画像処理装置４００は、入力画像の撮影部位や撮影領域についての撮影条件を入力画像に基づいて取得することができる。
なお、本実施形態では、撮影条件取得部４０２は、撮影条件群に撮影部位や撮影領域に関する情報が含まれていない場合に撮影箇所推定エンジンを用いて入力画像の撮影部位や撮影領域について推定を行った。しかしながら、撮影箇所推定エンジンを用いて撮影部位や撮影領域について推定を行う状況はこれに限られない。撮影条件取得部４０２は、入力画像のデータ構造に含まれる撮影部位や撮影領域についての情報が、必要な詳細レベルの情報として不足している場合にも、撮影箇所推定エンジンを用いて撮影部位や撮影領域について推定を行ってもよい。
また、入力画像のデータ構造に撮影部位や撮影領域についての情報が含まれているか否かとは無関係に、撮影条件取得部４０２が撮影箇所推定エンジンを用いて入力画像の撮影部位や撮影領域を推定してもよい。この場合、出力部４０５が、撮影箇所推定エンジンから出力された推定結果と入力画像のデータ構造に含まれる撮影部位や撮影領域についての情報を表示部２０に表示させ、撮影条件取得部４０２が検者の指示に応じて、これらの撮影条件を決定してもよい。
なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
＜第４の実施形態＞
次に、図４、５、８及び９を参照して、第４の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、入力画像を高画質化エンジンが対処可能な画像サイズになるように、入力画像を拡大又は縮小する。また、高画質化部は、高画質化エンジンからの出力画像を、出力画像の画像サイズが入力画像の画像サイズになるように縮小又は拡大して高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る高画質化部４０４には、第１の実施形態に係る高画質化エンジンと同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データとして、入力データの画像及び出力データの画像を一定の画像サイズになるように拡大又は縮小した画像群により構成した、入力データと出力データのペア群を用いている。
ここで、図８を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図８に示すように、例えば、教師データについて設定された一定の画像サイズより小さな低画質画像Ｉｍ８１０と高画質画像Ｉｍ８２０とがある場合を考える。この場合、教師データについて設定された一定の画像サイズとなるように、低画質画像Ｉｍ８１０及び高画質画像Ｉｍ８２０のそれぞれを拡大する。そして、拡大した低画質画像Ｉｍ８１１と拡大した高画質画像Ｉｍ８２１とをペアとして、当該ペアを教師データの一つとして用いる。
なお、第１の実施形態と同様に、教師データの入力データには、処理対象（入力画像）として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、及び撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第１の実施形態と異なり、画像サイズは含まれない。
本実施形態に係る高画質化部４０４は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部４０４は、入力画像を教師データについて設定された一定の画像サイズになるように拡大又は縮小した変形画像を生成し、変形画像を高画質化エンジン入力する。また、高画質化部４０４は、高画質化エンジンからの出力画像を入力画像の画像サイズになるように縮小又は拡大し、高画質画像を生成する。このため、本実施形態に係る高画質化部４０４は、第１の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。
次に、図５及び９を参照して、本実施形態に係る一連の画像処理について説明する。図９は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップＳ５１０、ステップＳ５２０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。
ステップＳ５２０において、第１の実施形態と同様に、撮影条件取得部４０２が入力画像の撮影条件群を取得したら処理はステップＳ５３０に移行する。ステップＳ５３０では、高画質化可否判定部４０３が、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。具体的には、高画質化可否判定部４０３は、入力画像の撮影条件について、高画質化エンジンが対処可能な、撮影部位、撮影方式、及び撮影画角であるか否かを判定する。高画質化可否判定部４０３は、第１の実施形態と異なり、画像サイズは判定しない。
高画質化可否判定部４０３が、撮影部位、撮影方式、及び撮影画角について判定し、入力画像が対処可能と判定された場合には、処理はステップＳ５４０に移行する。一方、高画質化可否判定部４０３が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップＳ５５０に移行する。なお、画像処理装置４００の設定や実装形態によっては、撮影部位、撮影方式、及び撮影画角のうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップＳ５４０における高画質化処理が実施されてもよい。
処理がステップＳ５４０に移行すると、図９に示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップＳ９１０において、高画質化部４０４が、入力画像を教師データについて設定された一定の画像サイズに拡大又は縮小し、変形画像を生成する。
次に、ステップＳ９２０において、高画質化部４０４は、生成した変形画像を高画質化エンジンに入力し高画質化された高画質な変形画像を取得する。
その後、ステップＳ９３０において、高画質化部４０４は、高画質な変形画像を入力画像の画像サイズに縮小又は拡大し、高画質画像を生成する。高画質化部４０４がステップＳ９３０において高画質画像を生成したら、本実施形態に係る高画質化処理は終了し、処理はステップＳ５５０に移行する。ステップＳ５５０の処理は、第１の実施形態のステップＳ５５０と同様であるため説明を省略する。
上記のように、本実施形態に係る高画質化部４０４は、入力画像の画像サイズを、高画質化エンジンが対処可能な画像サイズに調整して高画質化エンジンに入力する。また、高画質化部４０４は、高画質化エンジンからの出力画像を入力画像の元の画像サイズに調整することで高画質画像を生成する。これにより、本実施形態の画像処理装置４００は、高画質化エンジンを用いて、第１の実施形態では対処できなかった画像サイズの入力画像についても高画質化して、画像診断に適切な高画質画像を生成することができる。
なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
＜第５の実施形態＞
次に、図４、５、１０及び１１を参照して、第５の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、高画質化エンジンによる一定の解像度を基準とした高画質化処理により高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る高画質化部４０４には、第１の実施形態と同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データが第１の実施形態における教師データと異なる。具体的には、教師データの入力データと出力データとのペア群を構成する画像群の解像度が一定の解像度となるような画像サイズに当該画像群を拡大又は縮小した後、十分に大きい一定の画像サイズとなるようにパディングしている。ここで、画像群の解像度とは、例えば、撮影装置の空間分解能や撮影領域に対する解像度をいう。
ここで、図１０を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図１０に示すように、例えば、教師データについて設定された一定の解像度より低い解像度を持つ低画質画像Ｉｍ１０１０と高画質画像Ｉｍ１０２０とがある場合を考える。この場合、教師データについて設定された一定の解像度となるように、低画質画像Ｉｍ１０１０と高画質画像Ｉｍ１０２０のそれぞれを拡大する。さらに、拡大された低画質画像Ｉｍ１０１０と高画質画像Ｉｍ１０２０のそれぞれについて、教師データについて設定された一定の画像サイズとなるようにパディングする。そして、拡大及びパディングが行われた低画質画像Ｉｍ１０１１と高画質画像Ｉｍ１０２１とをペアとし、当該ペアを教師データの一つとして用いる。
なお、教師データについて設定された一定の画像サイズとは、処理対象（入力画像）として想定される画像を一定の解像度となるように拡大又は縮小したときの最大となりうる画像サイズである。当該一定の画像サイズが十分に大きくない場合には、高画質化エンジンに入力された画像を拡大したときに、機械学習モデルが対処不可能な画像サイズとなる可能性がある。
また、パディングが行われる領域は、効果的に高画質化できるように機械学習モデルの特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。なお、第１の実施形態と同様に、入力データには、処理対象として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第１の実施形態と異なり、画像サイズは含まれない。
本実施形態に係る高画質化部４０４は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部４０４は、入力画像を教師データについて設定された一定の解像度になるように拡大又は縮小した変形画像を生成する。また、高画質化部４０４は、変形画像について、教師データについて設定された一定の画像サイズとなるようにパディングを行ってパディング画像を生成し、パディング画像を高画質化エンジン入力する。
また、高画質化部４０４は、高画質化エンジンから出力された高画質なパディング画像について、パディングを行った領域分だけトリミングし、高画質な変形画像を生成する。その後、高画質化部４０４は、生成した高画質な変形画像を入力画像の画像サイズになるように縮小又は拡大し、高画質画像を生成する。
このため、本実施形態に係る高画質化部４０４は、第１の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。
次に、図５及び１１を参照して、本実施形態に係る一連の画像処理について説明する。図１１は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップＳ５１０、ステップＳ５２０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。
ステップＳ５２０において、第１の実施形態と同様に、撮影条件取得部４０２が入力画像の撮影条件群を取得したら、処理はステップＳ５３０に移行する。ステップＳ５３０では、高画質化可否判定部４０３が、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。具体的には、高画質化可否判定部４０３は、入力画像の撮影条件について、高画質化エンジンが対処可能な、撮影部位、撮影方式、及び撮影画角であるか否かを判定する。高画質化可否判定部４０３は、第１の実施形態と異なり、画像サイズは判定しない。
高画質化可否判定部４０３が、撮影部位、撮影方式、及び撮影画角について判定し、入力画像が対処可能と判定された場合には、処理はステップＳ５４０に移行する。一方、高画質化可否判定部４０３が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップＳ５５０に移行する。なお、画像処理装置４００の設定や実装形態によっては、撮影部位、撮影方式、及び撮影画角のうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップＳ５４０における高画質化処理が実施されてもよい。
処理がステップＳ５４０に移行すると、図１１に示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップＳ１１１０において、高画質化部４０４が、入力画像を教師データについて設定された一定の解像度となるように拡大又は縮小し、変形画像を生成する。
次に、ステップＳ１１２０において、高画質化部４０４は、生成した変形画像について、教師データについて設定された画像サイズとなるように、パディングを行ってパディング画像を生成する。この際、高画質化部４０４は、パディングを行う領域について、効果的に高画質化できるように機械学習モデルの特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。
ステップＳ１１３０では、高画質化部４０４がパディング画像を高画質化エンジンに入力し高画質化された高画質なパディング画像を取得する。
次に、ステップＳ１１４０において、高画質化部４０４は、高画質なパディング画像について、ステップＳ１１２０でパディングを行った領域分だけトリミングを行い、高画質な変形画像を生成する。
その後、ステップＳ１１５０において、高画質化部４０４は、高画質な変形画像を入力画像の画像サイズに縮小又は拡大し、高画質画像を生成する。高画質化部４０４がステップＳ１１３０において高画質画像を生成したら、本実施形態に係る高画質化処理は終了し、処理はステップＳ５５０に移行する。ステップＳ５５０の処理は、第１の実施形態のステップＳ５５０と同様であるため説明を省略する。
上記のように、本実施形態による高画質化部４０４は、入力画像の解像度が所定の解像度となるように、入力画像の画像サイズを調整する。また、高画質化部４０４は、画像サイズが調整された入力画像について、調整された画像サイズが高画質化エンジンによって対処可能な画像サイズとなるように、パディングを行ったパディング画像を生成し、パディング画像を高画質化エンジンに入力する。その後、高画質化部４０４は、高画質化エンジンからの出力画像について、パディングを行った領域分だけトリミングを行う。そして、高画質化部４０４は、トリミングが行われた画像の画像サイズを、入力画像の元の画像サイズに調整することで高画質画像を生成する。
これにより、本実施形態の高画質化部４０４は、第１の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。また、解像度を基準とした教師データで学習した高画質化エンジンを用いることで、単純に同一な画像サイズの画像を処理する第４の実施形態に係る高画質化エンジンよりも、効率よく入力画像を高画質化できる場合がある。
なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
＜第６の実施形態＞
次に、図４、５、１２及び１３を参照して、第６の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、入力画像を一定の画像サイズの領域毎に高画質化することにより高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る高画質化部４０４には、第１の実施形態と同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データが第１の実施形態における教師データと異なる。具体的には、教師データを構成する、低画質画像である入力データと高画質画像である出力データとのペア群を、低画質画像及び高画質画像における、位置関係が対応する一定の画像サイズの矩形領域画像によって構成している。なお、矩形領域は、部分領域の一例であり、矩形である必要はなく、どのような形状であってもよい。
ここで、図１２を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図１２に示すように、教師データを構成するペア群の一つに、例えば、低画質画像である元画像Ｉｍ１２１０と、高画質画像である重ね合わせ画像Ｉｍ１２２０があるとした場合を考える。この場合、第１の実施形態においては、教師データの入力データをＩｍ１２１０、出力データをＩｍ１２２０とした。
これに対し、本実施形態においては、元画像Ｉｍ１２１０のうちの矩形領域画像Ｒ１２１１を入力データとし、重ね合わせ画像Ｉｍ１２２０において矩形領域画像Ｒ１２１１と同じ撮影領域である矩形領域画像Ｒ１２２１を出力データとする。そして、入力データである矩形領域画像Ｒ１２１１と出力データである矩形領域画像Ｒ１２２１によって教師データのペア（以下、第１の矩形領域画像ペア）を構成する。ここで、矩形領域画像Ｒ１２１１と矩形領域画像Ｒ１２２１は、一定の画像サイズの画像とされる。なお、元画像Ｉｍ１２１０と重ね合わせ画像Ｉｍ１２２０は任意の方法により位置合わせされてよい。また、矩形領域画像Ｒ１２１１と矩形領域画像Ｒ１２２１の対応する位置関係はテンプレートマッチングなどの任意の方法によって特定されてよい。なお、高画質化エンジンの設計によっては、入力データと出力データの、それぞれの画像サイズや次元数は異なっていてもよい。例えば、処理対象がＯＣＴの画像である場合に、入力データがＢスキャン画像（二次元画像）の一部であるとき、出力データがＡスキャン画像（一次元画像）の一部であってもよい。
矩形領域画像Ｒ１２１１，Ｒ１２２１に関する一定の画像サイズは、例えば、処理対象（入力画像）として想定される画像の画像サイズ群について、対応する各次元の画素数群の公約数から決定することができる。この場合には、高画質化エンジンが出力する矩形領域画像群の位置関係が重なることを防ぐことができる。具体的に、例えば、処理対象として想定される画像が二次元画像であり、画像サイズ群のうちの第１の画像サイズが幅５００画素、高さ５００画素であり、第２の画像サイズが幅１００画素、高さ１００画素である場合を考える。ここで、各辺の公約数から、矩形領域画像Ｒ１２１１，Ｒ１２２１に関する一定の画像サイズを選択する。この場合には、例えば、一定の画像サイズを、幅１００画素、高さ１００画素や、幅５０画素、高さ５０画素や、幅２５画素、高さ２５画素等から選択する。
処理対象として想定される画像が三次元である場合には、幅、高さ、奥行きに関して画素数を決定する。なお、矩形領域は、入力データに対応する低画質画像と出力データに対応する高画質画像のペアの一つに対して、複数設定可能である。このため、例えば、元画像Ｉｍ１２１０のうちの矩形領域画像Ｒ１２１２を入力データ、重ね合わせ画像Ｉｍ１２２０において矩形領域画像Ｒ１２１２と同じ撮影領域である矩形領域画像Ｒ１２２２を出力データとする。そして、入力データである矩形領域画像Ｒ１２１２と出力データである矩形領域画像Ｒ１２２２によって教師データのペアを構成する。これにより、第１の矩形領域画像ペアとは別の矩形領域画像ペアを作成できる。
なお、矩形領域の画像を異なる座標の画像に変えながら多数の矩形領域画像のペアを作成することで教師データを構成するペア群を充実させることができ、当該教師ペアを用いて学習を行った高画質化エンジンによって効率的な高画質化が期待できる。ただし、機械学習モデルの高画質化に寄与しないペアは教師データに加えないようにすることができる。例えば、ペアを構成する出力データである高画質画像から作成した矩形領域画像が診断に適さない画質である場合には、そのような教師データを用いて学習を行った高画質化エンジンが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、そのような高画質画像を含むペアを教師データから取り除くことができる。
また、例えば、ペアである、低画質画像から作成した矩形領域画像と高画質画像から作成した矩形領域画像の平均輝度や輝度分布が大きく異なる場合も、そのようなペアを教師データから取り除くことができる。そのような教師データを用いて学習を行うと、高画質化エンジンが入力画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力してしまう可能性がある。
さらに、例えば、ペアである、低画質画像から作成した矩形領域画像と高画質画像から作成した矩形領域画像とに描画される撮影対象の構造や位置が大きく異なる場合を考える。この場合には、そのような教師データを用いて学習を行った高画質化エンジンが入力画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力してしまう可能性がある。そのため、このようなペアを教師データから取り除くこともできる。
なお、第１の実施形態と同様に、教師データの入力データには、処理対象として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、及び撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第１の実施形態と異なり、画像サイズは含まれない。
本実施形態に係る高画質化部４０４は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部４０４は、入力された画像を、隙間なく連続する、教師データについて設定された一定の画像サイズの矩形領域画像群に分割する。高画質化部４０４は、分割した矩形領域画像群のそれぞれを高画質化エンジンにより高画質化し、高画質な矩形領域画像群を生成する。その後、高画質化部４０４は、生成した高画質な矩形領域画像群を、入力画像の位置関係に応じて配置して結合し、高画質画像を生成する。ここで、学習時には、ペア画像である入力データと出力データとの互いの位置関係が対応していれば、それぞれの矩形領域を低画質画像及び高画質画像における任意の場所から切り出して（抽出して）もよい。一方、高画質化時には、入力画像を隙間なく連続する矩形領域画像群に分割してもよい。また、学習時の各ペア画像の画像サイズと、高画質化時の各矩形領域画像の画像サイズとが互いが対応する（例えば、同一となる）ように設定されてもよい。これらにより、学習効率を上げつつ、無駄な計算や足りない所が出てくると画像にならないという問題が生じないようにすることができる。
このように、本実施形態の高画質化部４０４は、入力された画像を矩形領域単位で高画質化し、高画質化した画像を結合することで、第１の実施形態では対処できなかった画像サイズの画像をも高画質化して高画質画像を生成することができる。
次に、図５、１３及び１４を参照して、本実施形態に係る一連の画像処理について説明する。図１３は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップＳ５１０、ステップＳ５２０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。
ステップＳ５２０において、第１の実施形態と同様に、撮影条件取得部４０２が入力画像の撮影条件群を取得したら、処理はステップＳ５３０に移行する。ステップＳ５３０では、高画質化可否判定部４０３が、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。具体的には、高画質化可否判定部４０３は、入力画像の撮影条件について、高画質化エンジンが対処可能な、撮影部位、撮影方式、及び撮影画角であるか否かを判定する。高画質化可否判定部４０３は、第１の実施形態と異なり、画像サイズは判定しない。
高画質化可否判定部４０３が、撮影部位、撮影方式、及び撮影画角について判定し、入力画像が対処可能と判定された場合には、処理はステップＳ５４０に移行する。一方、高画質化可否判定部４０３が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップＳ５５０に移行する。なお、画像処理装置４００の設定や実装形態によっては、撮影部位、撮影方式、及び撮影画角のうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップＳ５４０における高画質化処理が実施されてもよい。
処理がステップＳ５４０に移行すると、図１３に示される本実施形態に係る高画質化処理が開始される。これについて図１４を用いて説明をする。本実施形態に係る高画質化処理では、まず、ステップＳ１３１０において、図１４（ａ）に示すように、入力画像を隙間なく連続する、教師データについて設定された一定の画像サイズ（Ｒ１４１１に示すサイズ）の矩形領域画像群に分割する。ここで、図１４（ａ）は、入力画像Ｉｍ１４１０を一定の画像サイズの矩形領域画像Ｒ１４１１〜Ｒ１４２６群に分割した一例を示す。なお、上述のように、高画質化エンジンの設計によっては、高画質化エンジンの入力画像と出力画像の、それぞれの画像サイズや次元数が異なってもよい。この場合には、ステップＳ１３２０において生成される結合された高画質画像に欠損が無いように、入力画像の分割位置を重複させたり、分離させたりして、調整することができる。図１４（ｂ）には分割位置を重複させる例を示す。図１４（ｂ）において、Ｒ１４１１’、Ｒ１４１２’が重複した領域を示している。煩雑になるため図示はしないが、Ｒ１４１３〜Ｒ１４２６においても同様な重複領域Ｒ１４１３’〜Ｒ１４２６’を持つものとする。なお、図１４（ｂ）の場合の教師データについて設定される矩形領域サイズは、Ｒ１４１１’に示すサイズである。入力画像Ｉｍ１４１０の画像外部の周辺（上下左右端）においてはデータが存在しないため、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。また、高画質化エンジンによっては、フィルタ処理により画像内部の周辺（上下左右端）では、高画質化の精度が低下する場合がある。そのため、図１４（ｂ）のように分割位置を重複して矩形領域画像を設定し、最終的な画像としては矩形領域画像の一部をトリミングして合成するようにしてもよい。高画質化エンジンの特性に応じて、矩形領域のサイズを設定する。なお、図１４（ａ）、（ｂ）にはＯＣＴの断層画像を例示したが、図１４（ｃ）、（ｄ）に示すように入力画像（Ｉｍ１４５０）はＯＣＴＡのＥｎ−Ｆａｃｅ画像のような正面画像でもよく、同様の処理が可能である。なお、矩形領域画像のサイズは、対象とする画像や高画質化エンジンの種類に応じて適切に設定を行う。
次に、ステップＳ１３２０において、高画質化部４０４は、矩形領域画像Ｒ１４１１〜Ｒ１４２６群、あるいは重複領域を設定している場合は矩形領域画像Ｒ１４１１’〜Ｒ１４２６’群のそれぞれを高画質化エンジンにより高画質化し、高画質な矩形領域画像群を生成する。
そして、ステップＳ１３３０において、高画質化部４０４は、生成した高画質な矩形領域画像群のそれぞれを、入力画像について分割した矩形領域画像Ｒ１４１１〜Ｒ１４２６群のそれぞれと同様の位置関係に配置して結合し、高画質画像を生成する。重複領域を設定している場合には、矩形領域画像Ｒ１４１１’〜Ｒ１４２６’それぞれと同様の位置関係に配置した後に矩形領域画像Ｒ１４１１〜Ｒ１４２６を切り出して結合し、高画質画像を生成する。なお、重複領域を利用して矩形領域画像Ｒ１４１１’〜Ｒ１４２６’の輝度値を補正するようにしてもよい。例えば、基準とする矩形領域画像を任意に設定する。そして、基準矩形画像と重複する領域のある隣接矩形画像において、同じ座標点の輝度値を計測することで、隣接画像間における輝度値の差（比率）が分かる。同様に、全ての画像においても重複領域における輝度値の差（比率）を求めることで、全体として輝度値のムラを無くすように補正を行うことが可能となる。なお、輝度値補正に重複領域を全て利用する必要はなく、重複領域の一部（周辺部数ピクセル）は使用しなくてもよい。
上記のように、本実施形態に係る高画質化部４０４は、入力画像を所定の画像サイズの複数の矩形領域画像（第３の画像）Ｒ１４１１〜Ｒ１４２６に分割する。その後、高画質化部４０４は、分割した複数の矩形領域画像Ｒ１４１１〜Ｒ１４２６を高画質化エンジンに入力して複数の第４の画像を生成し、複数の第４の画像を統合することで、高画質画像を生成する。なお、統合時に矩形領域群間で位置関係が重なる場合には、該矩形領域群の画素値群を統合したり、上書きしたりすることができる。
これにより、本実施形態の高画質化部４０４は、第１の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。また、教師データを、低画質画像及び高画質画像を所定の画像サイズに分割した複数の画像から作成すると、少ない画像から多くの教師データを作成することができる。そのため、この場合には、教師データを作成するための低画質画像及び高画質画像の数を少なくすることができる。
なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
＜第７の実施形態＞
次に、図１５〜１７を参照して、第７の実施形態に係る画像処理装置について説明する。本実施形態では、画質評価部が、検者の指示に応じて、複数の高画質化エンジンから出力された複数の高画質画像のうち最も高画質な画像を選択する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。
図１５は、本実施形態に係る画像処理装置１５００の概略的な構成を示す。本実施形態に係る画像処理装置１５００には、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５に加えて、画質評価部１５０６が設けられている。なお、画像処理装置１５００は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。ここで、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
また、画像処理装置１５００は、第１の実施形態に係る画像処理装置４００と同様に撮影装置１０、表示部２０及び不図示の他の装置と、任意の回路やネットワークを介して接続されてよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。
本実施形態に係る高画質化部４０４には、それぞれ異なる教師データを用いて機械学習が行われた二つ以上の高画質化エンジンが備えられている。ここで、本実施形態に係る教師データ群の作成方法について説明する。具体的には、まず、様々な撮影条件によって撮影された、低画質画像である入力データと高画質画像である出力データのペア群を用意する。次に、任意の撮影条件の組み合わせによってペア群をグルーピングすることで、教師データ群を作成する。例えば、第１の撮影条件の組み合わせによって取得されたペア群で構成される第１の教師データ、第２の撮影条件の組み合わせによって取得されたペア群で構成される第２の教師データというように、教師データ群として作成する。
その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第１の教師データでトレーニングされた機械学習モデルに対応する第１の高画質化エンジン、第１の教師データでトレーニングされた機械学習モデルに対応する第１の高画質化エンジンというように高画質化エンジン群を用意する。
このような高画質化エンジンは、それぞれ対応する機械学習モデルのトレーニングに用いた教師データが異なるため、高画質化エンジンに入力される画像の撮影条件によって、入力画像を高画質化できる程度が異なる。具体的には、第１の高画質化エンジンは、第１の撮影条件の組み合わせで撮影して取得された入力画像に対しては高画質化の程度が高く、第２の撮影条件の組み合わせで撮影して取得された画像に対しては高画質化の程度が低い。同様に、第２の高画質化エンジンは、第２の撮影条件で撮影して取得された入力画像に対しては高画質化の程度が高く、第１の撮影条件で撮影して取得された画像に対しては高画質化の程度が低い。
教師データのそれぞれが撮影条件の組み合わせによってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影条件の組み合わせであれば、第１の実施形態に係る高画像化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件の組み合わせは、任意であってよく、例えば、撮影部位、撮影画角、及び画像の解像度のうちの二つ以上の組み合わせであってよい。また、教師データのグルーピングを、第２の実施形態と同様に、一つの撮影条件に基づいて行ってもよい。
画質評価部１５０６は、高画質化部４０４が、複数の高画質化エンジンを用いて生成した複数の高画質画像について、検者の指示に応じて、最も画質の高い高画質画像を選択する。
出力部４０５は、画質評価部１５０６が選択した高画質画像を表示部２０に表示させたり、他の装置に出力したりすることができる。なお、出力部４０５は、高画質化部４０４が生成した複数の高画質画像を表示部２０に表示させることができ、画質評価部１５０６は、表示部２０を確認した検者からの指示に応じて最も画質の高い高画質画像を選択することができる。
これにより、画像処理装置１５００は、複数の高画質化エンジンを用いて生成された複数の高画質画像のうち、検者の指示に応じた最も画質の高い高画質画像を出力することができる。
以下、図１６及び１７を参照して、本実施形態に係る一連の画像処理について説明する。図１６は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップＳ１６１０及びステップＳ１６２０の処理は、第１の実施形態におけるステップＳ５１０及びステップＳ５２０での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ１６２０の処理の後に、ステップＳ１６３０の処理を省き、処理をステップＳ１６４０に移行してよい。
ステップＳ１６２０において、第１の実施形態と同様に、撮影条件取得部４０２が入力画像の撮影条件群を取得したら、処理はステップＳ１６３０に移行する。ステップＳ１６３０では、高画質化可否判定部４０３が、第２の実施形態と同様に、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンのいずれかが入力画像を対処可能であるか否かを判定する。
高画質化可否判定部４０３が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップＳ１６６０に移行する。一方で、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ１６４０に移行する。なお、画像処理装置４００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ１６４０を実施してもよい。
ステップＳ１６４０においては、高画質化部４０４が、高画質化エンジン群のそれぞれにステップＳ１６１０において取得した入力画像を入力し、高画質画像群を生成する。
ステップＳ１６５０では、画質評価部１５０６が、ステップＳ１６４０において生成された高画質画像群のうち最も高画質な画像を選択する。具体的には、まず、出力部４０５が、ステップＳ１６４０で生成された高画質画像群を、表示部２０のユーザーインターフェースに表示させる。
ここで、図１７に当該インターフェースの一例を示す。当該インターフェースには、入力画像Ｉｍ１７１０、及び高画質化エンジン群のそれぞれが出力した高画質画像Ｉｍ１７２０，Ｉｍ１７３０，Ｉｍ１７４０，Ｉｍ１７５０のそれぞれが表示される。検者は不図示の任意の入力装置を操作して、画像群（高画質画像Ｉｍ１７２０〜Ｉｍ１７５０）のうち、最も高画質、つまり、最も画像診断に適した画像を指示する。なお、高画質化エンジンによって高画質化していない入力画像の方が、画像診断に適している可能性もあるので、検者による指示の対象となる画像群に入力画像を加えてもよい。
その後、画質評価部１５０６は、検者によって指示された高画質画像を最も高画質な画像として選択する。
ステップＳ１６６０においては、出力部４０５が、ステップＳ１６５０において選択された画像を表示部２０に表示させたり、他の装置に出力したりする。ただし、ステップＳ１６３０において、入力画像が処理不可能であると判定されている場合には、出力部４０５は、入力画像を出力画像として出力する。なお、出力部４０５は、検者によって入力画像が指示された場合や、入力画像が処理不可能であった場合には、表示部２０に出力画像が入力画像と同じであることを表示させてもよい。
上記のように、本実施形態に係る高画質化部４０４は、複数の高画質化エンジンを用いて、入力画像から複数の高画質画像を生成し、画像処理装置１５００の出力部４０５は、検者の指示に応じて、複数の高画質画像のうち少なくとも一つの画像を出力する。特に、本実施形態では、出力部４０５は、検者の指示に応じて、最も高画質な画像を出力する。これにより、画像処理装置１５００は、複数の高画質化エンジンを用いて生成された複数の高画質画像のうち、検者の指示に応じた画質の高い高画質画像を出力することができる。
なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置１５００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
＜第８の実施形態＞
次に、図１５及び１６を参照して、第８の実施形態に係る画像処理装置について説明する。本実施形態では、画質評価部が、画質評価エンジンを用いて、複数の高画質化エンジンから出力された複数の高画質画像のうち最も高画質な画像を選択する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第７の実施形態に係る画像処理装置１５００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第７の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第７の実施形態に係る画像処理装置の構成と同様であるため、図１５に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る画質評価部１５０６には、入力された画像の画質を評価する画質評価エンジンが備えられている。画質評価エンジンは入力された画像に対する画質評価指数を出力する。本実施形態に係る画質評価エンジンにおいて画質評価指数を算出する画質評価処理手法は、機械学習アルゴリズムを用いて構築した機械学習モデルを用いる。機械学習モデルをトレーニングする教師データを構成するペアの入力データは、事前に様々な撮影条件によって撮影された低画質画像群と高画質画像群とで構成される画像群である。また、機械学習モデルをトレーニングする教師データを構成するペアの出力データは、例えば、画像診断を行う検者が入力データの画像群のそれぞれについて設定した画質評価指数群である。
次に図１６を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ１６１０、ステップＳ１６２０、ステップＳ１６３０、及びステップＳ１６６０の処理は、第７の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ１６２０の処理の後に、ステップＳ１６３０の処理を省き、処理をステップＳ１６４０に移行してよい。
ステップＳ１６３０において、第７の実施形態と同様に、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ１６４０に移行する。なお、画像処理装置４００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ１６４０を実施してもよい。
ステップＳ１６４０においては、高画質化部４０４が、高画質化エンジン群のそれぞれにステップＳ１６１０において取得した入力画像を入力し、高画質画像群を生成する。
ステップＳ１６５０では、画質評価部１５０６が、ステップＳ１６４０において生成された高画質画像群のうち最も高画質な画像を選択する。具体的には、まず、画質評価部１５０６が、ステップＳ１６４０で生成された高画質画像群を、画質評価エンジンに入力する。画質評価エンジンは、入力された各高画質画像について、学習に基づいて、画質評価指数を算出する。画質評価部１５０６は、算出された画質評価指数のうち最も高い画質評価指数が算出された高画質画像を選択する。なお、高画質化エンジンによって高画質化していない入力画像の方が、画像診断に適している可能性もあるので、画質評価部１５０６は、画質評価エンジンに入力画像も入力し、入力画像に対する画質評価指数も選択に加えてもよい。ステップＳ１６６０は、第７の実施形態のステップＳ１６６０と同様であるため説明を省略する。
上記のように、本実施形態に係る画像処理装置１５００は、高画質画像の画質を評価する画質評価部１５０６を更に備える。高画質化部４０４は、複数の高画質化エンジンを用いて、入力画像から複数の高画質画像を生成し、画像処理装置１５００の出力部４０５は、画質評価部１５０６による評価結果に応じて、複数の高画質画像のうち少なくとも一つの画像を出力する。特に、本実施形態に係る画質評価部１５０６は、所定の評価手法による評価値を学習データとした画質評価エンジンを含む。画質評価部１５０６は、複数の高画質画像のうち、画質評価部１５０６による画質評価エンジンを用いた評価の結果が最も高い高画質画像を選択する。出力部４０５は、画質評価部１５０６によって選択された最も評価値が高い高画質画像を出力する。
これにより、本実施形態に係る画像処理装置１５００では、画質評価エンジンの出力に基づいて、複数の高画質画像から最も画像診断に適した高画質画像を容易に出力することができる。
なお、本実施形態では、画質評価部１５０６が画質評価エンジンによって出力される画質評価指数のうち最も高い画質評価指数の高画質画像を選択し、出力部４０５が選択された高画質画像を表示部２０に表示させた。しかしながら、画質評価部１５０６の構成はこれに限られない。例えば、画質評価部１５０６は画質評価エンジンによって出力される画質評価指数のうち上位いくつかの画質評価指数の高画質画像を選択し、出力部４０５が選択された高画質画像を表示部２０に表示させてもよい。また、出力部４０５が、画質評価エンジンによって出力された画質評価指数を対応する高画質画像とともに表示部２０に表示させ、画質評価部１５０６が検者の指示に応じて、最も高画質な画像を選択してもよい。
なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置１５００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
＜第９の実施形態＞
次に、図１８及び１９を参照して、第９の実施形態に係る画像処理装置について説明する。本実施形態では、真贋評価部が、真贋評価エンジンを用いて、高画質化部４０４によって生成された高画質画像が十分に高画質化されたものであるか否かを評価する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。
図１８は、本実施形態に係る画像処理装置１８００の概略的な構成を示す。本実施形態に係る画像処理装置１８００には、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５に加えて、真贋評価部１８０７が設けられている。なお、画像処理装置１８００は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。ここで、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
また、画像処理装置１８００は、第１の実施形態に係る画像処理装置４００と同様に撮影装置１０、表示部２０及び不図示の他の装置と、任意の回路やネットワークを介して接続されてよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。
真贋評価部１８０７には、真贋評価エンジンが備えられている。真贋評価部１８０７は、真贋評価エンジンを用いて、高画質化エンジンが生成した高画質画像が十分に高画質化されているか否かを評価する。本実施形態に係る真贋評価エンジンにおける真贋評価処理手法は、機械学習アルゴリズムを用いて構築した機械学習モデルを用いる。
機械学習モデルをトレーニングする教師データには、事前に様々な撮影条件によって撮影された高画質画像群と対象の撮影装置によって撮影され取得されたことを表すラベル（以下、真作ラベル）とのペア群が含まれる。また、教師データには、高画質化の精度の悪い高画質化エンジンに低画質画像を入力して生成した高画質画像群と対象の撮影装置によって撮影され取得されていないことを表すラベル（以下、贋作ラベル）とのペア群が含まれる。
このような教師データを用いて学習が行われた真贋評価エンジンは、入力された画像に対し、確実に撮影装置によって撮影され取得された画像か否かを評価できるわけではないが、撮影装置によって撮影され取得された画像らしさを持つ画像か否かを評価できる。この特性を利用して、真贋評価部１８０７は、真贋評価エンジンに高画質化部４０４が生成した高画質画像を入力することで、高画質化部４０４が生成した高画質画像が十分に高画質化されているか否かを評価できる。
出力部４０５は、真贋評価部１８０７によって高画質化部４０４が生成した高画質画像が十分に高画質化されていると判断されたら、当該高画質画像を表示部２０に表示させる。一方、出力部４０５は、真贋評価部１８０７によって、高画質化部４０４が生成した高画質画像が十分に高画質化されていないと判断されたら、入力画像を表示部２０に表示させる。なお、出力部４０５は、入力画像を表示させる際に、高画質化部４０４によって生成された高画質画像が十分に高画質化されなかったことや表示されている画像が入力画像であることを表示部２０に表示させることができる。
以下、図１９を参照して、本実施形態に係る一連の画像処理について説明する。図１９は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップＳ１９１０〜ステップＳ１９４０の処理は、第１の実施形態におけるステップＳ５１０〜ステップＳ５４０での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ１９２０の処理の後に、ステップＳ１９３０の処理を省き、処理をステップＳ１９４０に移行してよい。
ステップＳ１９４０において、高画質化部４０４が高画質画像群を生成したら、処理はステップＳ１９５０に移行する。ステップＳ１９５０では、真贋評価部１８０７が、ステップＳ１９４０において生成された高画質画像を真贋評価エンジンに入力し、真贋評価エンジンの出力に基づいて真贋評価を行う。具体的には、真贋評価部１８０７は、真贋評価エンジンから真作ラベル（真）が出力された場合には、生成された高画質画像が十分に高画質化されていると評価する。一方、真贋評価エンジンから贋作ラベル（偽）が出力された場合には、真贋評価部１８０７は、生成された高画質画像が十分に高画質化されていないと評価する。
ステップＳ１９６０においては、出力部４０５が、真贋評価部１８０７によって高画質化部４０４が生成した高画質画像が十分に高画質化されていると判断されたら、当該高画質画像を表示部２０に表示させる。一方、出力部４０５は、真贋評価部１８０７によって、高画質化部４０４が生成した高画質画像が十分に高画質化されていないと判断されたら、入力画像を表示部２０に表示させる。
上記のように、本実施形態に係る画像処理装置１８００は、高画質画像の画質を評価する真贋評価部１８０７を更に備え、真贋評価部１８０７は画像の真贋を評価する真贋評価エンジンを含む。真贋評価エンジンは、高画質化部４０４の高画質化エンジンよりも高画質化処理の精度が低い（悪い）高画質化エンジンによって生成された画像を学習データとした機械学習エンジンを含む。画像処理装置１８００の出力部４０５は、真贋評価部の真贋評価エンジンからの出力が真である場合に、高画質画像を出力する。
これにより、本実施形態に係る画像処理装置１８００では、検者は十分に高画質化された高画質画像を効率よく確認することができる。
また、高画質化エンジンの機械学習モデルと真贋評価エンジンの機械学習モデルとを協調させてトレーニングすることによって、双方のエンジンの効率や精度を向上させてもよい。
なお、本実施形態では、高画質化部４０４が一つの高画質画像を生成し、真贋評価部１８０７が生成された一つの高画質画像について評価を行う構成としたが、真贋評価部１８０７の評価はこれに限られない。例えば、第２の実施形態のように、高画質化部４０４が複数の高画質化エンジンを用いて複数の高画質画像を生成する場合には、真贋評価部１８０７が生成された複数の高画質画像の少なくとも一つについて評価を行う構成としてもよい。この場合、例えば真贋評価部１８０７は、生成された複数の高画質画像の全てについて評価を行ってもよいし、複数の高画質画像のうち検者によって指示された画像のみについて評価を行ってもよい。
さらに、出力部４０５は、真贋評価部１８０７による高画質画像が十分に高画質化されているか否かの判断結果を表示部２０に表示させ、検者の指示に応じて、高画質画像を出力してもよい。
なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置１８００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
＜第１０の実施形態＞
次に、図４及び５を参照して、第１０の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が三次元の入力画像を複数の二次元画像に分割して高画質化エンジンに入力し、高画質化エンジンからの出力画像を結合することで三次元の高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部４０１は、構造的に連続する二次元画像群で構成された、三次元画像を取得する。具体的には、三次元画像は、例えば、ＯＣＴのＢスキャン像（断層画像）群で構成された三次元ＯＣＴボリューム画像である。また、例えば、アキシャル断層画像群で構成された三次元ＣＴボリューム画像である。
高画質化部４０４には、第１の実施形態と同様に、高画質化エンジンが備えられている。なお、高画質化エンジンの教師データである入力データと出力データのペア群は二次元画像の画像群により構成されている。高画質化部４０４は、取得された三次元画像を複数の二次元画像に分割し、二次元画像毎に高画質化エンジンに入力する。これにより、高画質化部４０４は、複数の二次元の高画質画像を生成することができる。
出力部４０５は、高画質化部４０４によって、三次元画像の各二次元画像について生成された複数の二次元の高画質画像を結合し、三次元の高画質画像を出力する。
次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５１０〜ステップＳ５３０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。ただし、ステップＳ５１０では、取得部４０１は三次元画像を取得する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。
ステップＳ５３０において、高画質化可否判定部４０３が、高画質化エンジンによって入力画像を対処可能と判定した場合には、処理はステップＳ５４０に移行する。なお、高画質化可否判定部４０３は、三次元画像の撮影条件に基づいて当該判定を行ってもよいし、三次元画像を構成する複数の二次元画像に関する撮影条件に基づいて当該判定を行ってもよい。ステップＳ５４０では、高画質化部４０４が、取得された三次元画像を複数の二次元画像に分割する。高画質化部４０４は、分割した複数の二次元画像のそれぞれを高画質化エンジンに入力し、複数の二次元の高画質画像を生成する。高画質化部４０４は、取得した三次元画像に基づいて、生成した複数の二次元の高画質画像を結合し、三次元の高画質画像を生成する。
ステップＳ５５０では、出力部４０５は、生成された三次元の高画質画像を表示部２０に表示させる。なお、三次元の高画質画像の表示態様は任意であってよい。
上記のように、本実施形態に係る高画質化部４０４は、三次元の入力画像を複数の二次元の画像に分割して高画質化エンジンに入力する。高画質化部４０４は、高画質化エンジンから出力された複数の二次元の高画質画像を結合し、三次元の高画質画像を生成する。
これにより、本実施形態に係る高画質化部４０４は、二次元画像の教師データを用いて学習が行われた高画質化エンジンを用いて、三次元画像を高画質化することができる。
なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
＜第１１の実施形態＞
次に、図４及び５を参照して、第１１の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が三次元の入力画像を複数の二次元画像に分割し、複数の二次元画像を複数の高画質化エンジンによって並列に高画質化し、高画質化エンジンからの出力画像を結合することで三次元の高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１０の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１０の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１及び１０の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る高画質化部４０４には、第１０の実施形態と同様の高画質化エンジンが、複数備えられている。なお、高画質化部４０４に備えられた複数の高画質化エンジン群は、回路やネットワークを介して、二つ以上の装置群に分散処理可能なように実装されていてもよいし、単一の装置に実装されていてもよい。
高画質化部４０４は、第１０の実施形態と同様に、取得された三次元画像を複数の二次元画像に分割する。高画質化部４０４は、複数の二次元画像を複数の高画質化エンジンを用いて、分担して（並列的に）高画質化を行い、複数の二次元の高画質画像を生成する。高画質化部４０４は、複数の高画質化エンジンから出力された複数の二次元の高画質画像を、処理対象である三次元画像に基づいて結合し、三次元の高画質画像を生成する。
次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５１０〜ステップＳ５３０、及びステップＳ５５０の処理は、第１０の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。
ステップＳ５３０において、高画質化可否判定部４０３が、高画質化エンジンによって入力画像を対処可能と判定した場合には、処理はステップＳ５４０に移行する。なお、高画質化可否判定部４０３は、三次元画像の撮影条件に基づいて当該判定を行ってもよいし、三次元画像を構成する複数の二次元画像に関する撮影条件に基づいて当該判定を行ってもよい。
ステップＳ５４０では、高画質化部４０４が、取得された三次元画像を複数の二次元画像に分割する。高画質化部４０４は、分割した複数の二次元画像のそれぞれを複数の高画質化エンジンに入力し、並列的に高画質化処理して、複数の二次元の高画質画像を生成する。高画質化部４０４は、取得した三次元画像に基づいて、生成した複数の二次元の高画質画像を結合し、三次元の高画質画像を生成する。
ステップＳ５５０では、出力部４０５は、生成された三次元の高画質画像を表示部２０に表示させる。なお、三次元の高画質画像の表示態様は任意であってよい。
上記のように、本実施形態に係る高画質化部４０４は、複数の高画質化エンジンを含む。高画質化部４０４は、三次元の入力画像を複数の二次元の画像に分割し、複数の高画質化エンジンを並列的に用いて、複数の二次元の高画質画像を生成する。高画質化部４０４は複数の二次元の高画質画像を統合することで、三次元の高画質画像を生成する。
これにより、本実施形態に係る高画質化部４０４は、二次元画像の教師データを用いて学習が行われた高画質化エンジンを用いて、三次元画像を高画質化することができる。また、第１０の実施形態と比べて、より効率的に三次元画像を高画質化することができる。
なお、複数の高画質化エンジンの教師データは、各高画質化エンジンで処理を行う処理対象に応じて異なる教師データであってもよい。例えば、第１の高画質化エンジンは第１の撮影領域についての教師データで学習を行い、第２の高画質化エンジンは第２の撮影領域についての教師データで学習を行ってもよい。この場合には、それぞれの高画質化エンジンが、より精度良く二次元画像の高画質化を行うことができる。
また、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
＜第１２の実施形態＞
次に、図５及び２０を参照して、第１２の実施形態に係る画像処理装置について説明する。本実施形態では、取得部４０１が撮影装置ではなく画像管理システム２０００から入力画像を取得する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は第１の実施形態に係る画像処理装置４００の構成と同様であるため、図４に示す構成について同じ参照符号を用いて説明を省略する。
図２０は、本実施形態に係る画像処理装置４００の概略的な構成を示す。本実施形態に係る画像処理装置４００は画像管理システム２０００、及び表示部２０と任意の回路やネットワークを介して接続されている。画像管理システム２０００は、任意の撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムである。また、画像管理システム２０００は、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。
本実施形態に係る取得部４０１は、画像処理装置４００に接続される画像管理システム２０００から入力画像を取得することができる。また、出力部４０５は、高画質化部４０４によって生成された高画質画像を、画像管理システム２０００に出力することができる。
次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５２０〜ステップＳ５４０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。
ステップＳ５１０において、取得部４０１は、回路やネットワークを介して接続された画像管理システム２０００から、画像管理システム２０００が保存している画像を入力画像として取得する。なお、取得部４０１は、画像管理システム２０００からの要求に応じて、入力画像を取得してもよい。このような要求は、例えば、画像管理システム２０００が画像を保存した時や、保存した画像を他の装置に送信する前、保存された画像を表示部２０に表示する時に発行されてよい。また、当該要求は、例えば、画像管理システム２０００を利用者が操作して高画質化処理の要求を行った時や、画像管理システム２０００が備える画像解析機能に高画質画像を利用する時等に発行されてよい。
ステップＳ５２０〜ステップＳ５４０の処理は、第１の実施形態における処理と同様である。ステップＳ５４０において高画質化部４０４が高画質画像を生成したら、処理はステップＳ５５０に移行する。ステップＳ５５０において、出力部４０５は、ステップＳ５４０において高画質画像が生成されていれば、該高画質画像を画像管理システム２０００に出力画像として出力する。ステップＳ５４０において高画質画像が生成されていなければ、上記入力画像を画像管理システム２０００に出力画像として出力する。なお、出力部４０５は、画像処理装置４００の設定や実装によっては、出力画像を画像管理システム２０００が利用可能なように加工したり、出力画像のデータ形式を変換したりしてもよい。
上記のように、本実施形態に係る取得部４０１は、画像管理システム２０００から入力画像を取得する。このため、本実施形態の画像処理装置４００は、画像管理システム２０００が保存している画像を元に、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。また、出力された高画質画像は画像管理システム２０００に保存されたり、画像管理システム２０００が備えるユーザーインターフェースに表示されたりすることができる。また、出力された高画質画像は、画像管理システム２０００が備える画像解析機能に利用されたり、画像管理システム２０００に接続された他の装置に画像管理システム２０００を介して送信されたりすることができる。
なお、画像処理装置４００や画像管理システム２０００、表示部２０は、不図示の他の装置と回路やネットワークを介して接続されていてもよい。また、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。
また、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を画像管理システム２０００や画像処理装置４００に接続される他の装置に出力してもよい。
＜第１３の実施形態＞
次に、図４、５、２１Ａ、及び２１Ｂを参照して、第１３の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が複数の画像を入力画像とし、一枚の高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして、複数の画像を取得する。
本実施形態に係る高画質化部４０４には、第１の実施形態と同様の、高画質化エンジンが備えられている。また、教師データも第１の実施形態と同様であってよい。高画質化部４０４は、取得部４０１で取得された複数の画像のそれぞれを高画質化エンジンに入力し、出力された複数の高画質画像を重ね合わせ処理して、最終的な高画質画像を生成する。なお、高画質化部４０４は、複数の高画質画像を重ね合わせ処理する前に、任意の手法により複数の高画質画像を位置合わせしてよい。
出力部４０５は、高画質化部４０４が生成した最終的な高画質画像を表示部２０に表示させる。なお、出力部４０５は、最終的な高画質画像とともに、複数の入力画像を表示部２０に表示させてもよい。また、出力部４０５は、生成された複数の高画質画像を最終的な高画質画像や入力画像とともに表示部２０に表示してもよい。
次に、図５及び図２１Ａを参照して、本実施形態に係る一連の画像処理について説明する。図２１Ａは本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップＳ５１０〜ステップＳ５３０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。
ただし、ステップＳ５１０では、取得部４０１は複数の画像を取得し、ステップＳ５２０及びＳ５３０では、複数の画像のそれぞれについて、撮影条件が取得されるとともに、高画質化エンジンによって対処可能か否かが判断される。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。また、複数の画像の一部の画像が、高画質化エンジンによって対処不可能であると判断された場合には、当該画像を以降の処理から除外することができる。
ステップＳ５３０において、高画質化可否判定部４０３が、複数の入力画像について高画質化エンジンによって対処可能と判定した場合には、処理はステップＳ５４０に移行する。処理がステップＳ５４０に移行すると、図２１Ａに示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップＳ２１１０において、高画質化部４０４が、複数の入力画像のそれぞれを高画質化エンジンに入力し、高画質画像群を生成する。
次に、ステップＳ２１２０では、高画質化部４０４は、生成した高画質画像群を重ね合わせ処理して最終的な一枚の高画質画像を生成する。なお、重ね合わせ処理は加算平均等平均化の処理やその他の既存の任意の処理によって行われてよい。また、重ね合わせに際しては、高画質化部４０４は複数の高画質画像を任意の手法により位置合わせした上で重ね合わせしてよい。高画質化部４０４が最終的な高画質画像を生成したら、処理はステップＳ５５０に移行する。
ステップＳ５５０では、出力部４０５が生成された最終的な高画質画像を表示部２０に表示させる。
上記のように、本実施形態に係る高画質化部４０４は、複数の入力画像から一つの最終的な高画質画像を生成する。高画質化エンジンによる高画質化は入力画像に基づくため、例えば、病変部等が、ある入力画像において適切に表示されていない場合、当該入力画像を高画質化した高画質画像では低い画素値となってしまう。一方で、同一箇所を撮影した他の入力画像では病変部等が適切に表示されており、当該他の入力画像を高画質化した高画質画像では高い画素値となっている場合もある。そこで、これらの高画質画像を重ね合わせることで、当該低い又は高い画素値となっている箇所を適切に表示できるようになり、高コントラストな高画質画像を生成することができる。なお、入力画像の数は、従来の重ね合わせに必要な枚数よりも少ない数とすることで、従来のような撮影時間の長期化等の代償をより少なくすることができる。
なお、当該作用については、例えば、ＯＣＴＡ等のモーションコントラストデータを用いた入力画像を用いる場合に顕著となる。
モーションコントラストデータは、撮影対象の同一箇所を繰り返し撮影した時間間隔における、撮影対象の時間的な変化を検出したものであるため、例えば、ある時間間隔では撮影対象の動きについて僅かな動きしか検出できない場合がある。これに対して、別の時間間隔撮影を行った場合には、撮影対象の動きをより大きな動きとして検出できる場合もある。そのため、それぞれの場合のモーションコントラスト画像を高画質化した画像を重ね合わせることで、特定のタイミングでは生じていなかった又は僅かにしか検出されていなかったモーションコントラストを補間することができる。そのため、このような処理によれば、撮影対象のより多くの動きについてコントラスト強調が行われたモーションコントラスト画像を生成することができ、検者は、撮影対象のより正確な状態を把握することができる。
従って、ＯＣＴＡ画像のように時間的に変化している箇所を描出する画像を入力画像として用いる場合には、異なる時間で取得した高画質画像を重ね合わせることによって、被検者の所定部位をより詳細に画像化することができる。
なお、本実施形態では、複数の入力画像からそれぞれ高画質画像を生成し、高画質画像を重ね合わせることで、最終的な一枚の高画質画像を生成したが、複数の入力画像から一枚の高画質画像を生成する方法はこれに限られない。例えば、図２１Ｂに示す本実施形態の高画質化処理の別例では、ステップＳ５４０において高画質化処理が開始されると、ステップＳ２１３０において、高画質化部４０４が入力画像群を重ね合わせし、一枚の重ね合わせされた入力画像を生成する。
その後、ステップＳ２１４０において、高画質化部４０４が、一枚の重ね合わされた入力画像を高画質化エンジンに入力し、一枚の高画質画像を生成する。このような、高画質化処理であっても、上述の高画質化処理と同様に、複数の入力画像について低い又は高い画素値となっている箇所を適切に表示できるようになり、高コントラストな高画質画像を生成することができる。当該処理も、上記ＯＣＴＡ画像等のモーションコントラスト画像を入力画像とした場合に、顕著な作用を奏することができる。
なお、当該高画質処理を行う場合には、高画質化エンジンの教師データの入力データとして、処理対象とされる複数の入力画像と同数の入力画像の重ね合わせ画像を用いる。これにより、高画質化エンジンにより適切な高画質化処理を行うことができる。
また、本実施形態による高画質化処理及び上述の別の高画質化処理について、高画質画像群又は入力画像群を組み合わせる処理は、重ね合わせに限られない。例えば、これらの画像群にＭＡＰ推定処理を適用することで一枚の画像を生成してもよい。また、高画質画像群又は入力画像群を合成して一枚の画像を生成してもよい。
高画質画像群又は入力画像群を合成して一枚の画像を生成する場合としては、例えば、入力画像として高輝度領域について広い階調を有する画像と低輝度領域に広い階調を有する画像を用いる場合がある。この場合には、例えば、高輝度領域について広い階調を有する画像を高画質化した画像と、低輝度領域について広い階調を有する画像を高画質化した画像とを合成する。これにより、より広い明るさの幅（ダイナミックレンジ）を表現できる画像を生成することができる。なお、この場合には、高画質化エンジンの教師データの入力データは、処理対象とされる、高輝度領域について広い階調を有する画像や低輝度領域について広い階調を有する低画質画像とすることができる。また、高画質化エンジンの教師データの出力データは、入力データに対応する高画質画像とすることができる。
また、高輝度領域について広い階調を有する画像と、低輝度領域について広い階調を有する画像とを合成し、合成した画像を高画質化エンジンによって高画質化してもよい。この場合にも、より広い明るさの幅を表現できる画像を生成することができる。なお、この場合には、高画質化エンジンの教師データの入力データは、処理対象とされる、高輝度領域について広い階調を有する低画質画像と低輝度領域について広い階調を有する低画質画像を合成した画像とすることができる。また、高画質化エンジンの教師データの出力データは、入力データに対応する高画質画像とすることができる。
これらの場合には、高画質化エンジンを用いて、より広い明るさの幅を表現できる画像を高画質化することができ、従来と比べてより少ない枚数の画像等で処理を行うことができ、より少ない代償で、画像解析に適した画像を提供することができる。
なお、高輝度領域について広い階調を有する画像と、低輝度領域について広い階調を有する画像の撮影方法としては、撮影装置の露光時間をより短く又はより長くする等の、任意の方法を採用してよい。また、階調の幅の分け方は、低輝度領域及び高輝度領域に限られず、任意であってよい。
また、本実施形態に係る高画質化処理において、複数の高画質化エンジンを用いて、複数の入力画像を並列的に処理してもよい。なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
＜第１４の実施形態＞
次に、図４及び５を参照して、第１４の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が複数の低画質画像から生成された中画質画像を入力画像とし、高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして、複数の低画質画像を重ね合わせ処理した中画質画像を取得する。なお、低画質画像の重ね合わせに際しては、任意の位置合わせ処理が行われてよい。
本実施形態に係る高画質化部４０４には、第１の実施形態と同様の、高画質化エンジンが備えられている。ただし、本実施形態の高画質化エンジンは、中程度の画質である中画質画像を入力し、高画質画像を出力するように設計されている。中画質画像とは複数の低画質画像群を重ね合わせして生成された重ね合わせ画像である。また、高画質画像は中画質画像よりも高画質な画像である。また、高画質化エンジンのトレーニングに用いられた教師データを構成するペア群についても、各ペアを構成する入力データは中画質画像と同様にして生成された中画質画像であり、出力データは高画質画像である。
出力部４０５は、高画質化部４０４が生成した高画質画像を表示部２０に表示させる。なお、出力部４０５は、高画質画像とともに、入力画像を表示部２０に表示させてもよく、この場合に、出力部４０５は、入力画像が複数の低画質画像から生成された画像であることを表示部２０に表示してもよい。
次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５２０〜ステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。
ステップＳ５１０においては、取得部４０１は、撮影装置１０や他の装置から、入力画像として中画質画像を取得する。なお、取得部４０１は撮影装置１０からの要求に応じて、撮影装置１０が生成した中画質画像を入力画像として取得してもよい。このような要求は、例えば、撮影装置１０が画像を生成した時、撮影装置１０が生成した画像を撮影装置１０が備える記憶装置に保存する前や保存した後、保存された画像を表示部２０に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。
以降の処理は、第１の実施形態における処理と同様であるため、説明を省略する。
上記のように、本実施形態に係る取得部４０１は、被検者の所定部位の複数の画像を用いて生成された画像である中画質画像を入力画像として取得する。この場合、入力画像がより明瞭な画像となるため、高画質化エンジンは高画質画像をより精度良く生成することができる。なお、中画質画像を生成するために用いる低画質画像の枚数は、従来の重ね合わせ画像を生成するために用いられる画像の枚数より少なくてよい。
なお、中画質画像は、複数の低画質画像を重ね合わせた画像に限られず、例えば、複数の低画質画像にＭＡＰ推定処理を適用した画像でもよいし、複数の低画質画像を合成した画像であってもよい。複数の低画質画像を合成する場合には、それぞれの画像の階調が異なっている画像同士を合成してもよい。
また、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
＜第１５の実施形態＞
次に、図４及び５を参照して、第１５の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が第１の実施形態等に係る高画質化とともに入力画像の高画像サイズ化（高サイズ化）を行う。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部４０１は、入力画像として低画像サイズの画像（低サイズ画像）を取得する。なお、低サイズ画像とは、後述する高画質化エンジンによって出力される高画像サイズの画像（高サイズ画像）よりも、画像を構成する画素数が少ない画像である。具体的には、例えば、高サイズ画像の画像サイズが幅１０２４画素、高さ１０２４画素、奥行き１０２４画素の場合に、低サイズ画像の画像サイズが５１２画素、高さ５１２画素、奥行き５１２画素である場合等である。これに関連して、本明細書における、高画像サイズ化とは、一画像あたりの画素数を増加させ、画像サイズを拡大する処理をいう。
本実施形態に係る高画質化部４０４には、第１の実施形態と同様に、高画質化エンジンが備えられている。ただし、本実施形態の高画質化エンジンは、入力画像についてノイズ低減やコントラスト強調するとともに、入力画像の画像サイズを高画像サイズ化するように構成されている。そのため、本実施形態の高画質化エンジンは、低サイズ画像を入力し、高サイズ画像を出力するように構成されている。
これに関連して、高画質化エンジンの教師データを構成するペア群について、各ペアを構成する入力データは低サイズ画像であり、出力データは高サイズ画像である。なお、出力データ用として用いる高サイズ画像は、低サイズ画像を取得した撮影装置よりも高性能な装置から取得したり、撮影装置の設定を変更することによって取得したりすることができる。また、高サイズ画像群が既にある場合には、当該高サイズ画像群を撮影装置１０からの取得が想定される画像の画像サイズに縮小することで、入力データとして用いる低サイズ画像群を取得してもよい。また、高サイズ画像については、第１の実施形態等と同様に低サイズ画像を重ね合わせたものが用いられる。
なお、本実施形態に係る高画質化部４０４による入力画像の画像サイズの拡大については、教師データとして撮影装置１０よりも高性能な装置から取得したり、撮影装置１０の設定を変更したりすることで取得しているため、単純な画像の拡大とは異なる。具体的には、本実施形態に係る高画質化部４０４による入力画像の画像サイズの拡大処理は、単純に画像を拡大した場合と比べ、解像度の劣化を低減することができる。
このような構成により、本実施形態に係る高画質化部４０４は、入力画像に対して、ノイズ低減やコントラスト強調がなされるとともに高画像サイズ化された高画質画像を生成することができる。
次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５２０、ステップＳ５３０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。
ステップＳ５１０において、取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして、低サイズ画像を取得する。なお、取得部４０１は撮影装置１０からの要求に応じて、撮影装置１０が生成した低サイズ画像を入力画像として取得してもよい。このような要求は、例えば、撮影装置１０が画像を生成した時、撮影装置１０が生成した画像を撮影装置１０が備える記憶装置に保存する前や保存した後、保存された画像を表示部２０に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。
ステップＳ５２０及びステップＳ５３０の処理は第１の実施形態での処理と同様であるため説明を省略する。ステップＳ５４０では、高画質化部４０４が、入力画像を高画質化エンジンに入力し、高画質画像としてノイズ低減やコントラスト強調がなされるとともに高画像サイズ化された画像を生成する。以降の処理は、第１の実施形態と同様であるため説明を省略する。
上記のように、本実施形態に係る高画質化部４０４は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、画像サイズの拡大がなされた高画質画像を生成する。これにより、本実施形態に係る画像処理装置４００は、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。
なお、本実施形態では、一つの高画質化エンジンにより、第１の実施形態等による高画質化処理と高分解能化の処理を行った高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、高画質化部は、第１の実施形態等による高画質化処理を行う高画質化エンジン及び高画像サイズ化処理を行う別の高画質化エンジンを備えてもよい。
この場合には、第１の実施形態等に係る高画質化処理を行う高画質化エンジンは第１の実施形態等に係る高画質化エンジンと同様に学習を行った機械学習モデルを用いることができる。また、高画像サイズ化処理を行う高画質化エンジンの教師データの入力データとしては、第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。また、当該高画質化エンジンの教師データの出力データとしては、高性能な撮影装置で取得された画像について第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。これにより、高画像サイズ化処理を行う高画質化エンジンは、第１の実施形態等に係る高画質化処理を行った高画質画像について高画像サイズ化した最終的な高画質画像を生成することができる。
また、当該高画質化エンジンによる高画像サイズ化処理を、第１の実施形態等に係る高画化処理エンジンによる高画質化処理の前に行ってもよい。この場合には、高画像サイズ化処理を行う高画質化エンジンについての教師データは、撮影装置で取得した低サイズ画像である入力データと高サイズ画像である出力データのペア群により構成する。また、第１の実施形態等に係る高画質化処理を行う高画質化エンジンの教師データとしては、高サイズ画像を入力データと、高サイズ画像を重ね合わせした画像を出力データのペア群により構成する。
このような構成によっても、画像処理装置４００は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、画像サイズの拡大がなされた画像を高画質画像として生成することができる。
なお、本実施形態では、第１の実施形態等に係る高画質化処理について、重ね合わせ画像を教師データの出力データとして用いる構成について述べたが、第１の実施形態と同様に当該出力データはこれに限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。
＜第１６の実施形態＞
次に、図４及び５を参照して、第１６の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が第１の実施形態等に係る高画質化とともに高空間分解能化を行う。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部４０１は、入力画像として低空間分解能画像を取得する。なお、低空間分解能画像とは、高画質化部４０４が出力する高空間分解能画像よりも、空間分解能が低い画像である。
高画質化部４０４には、第１の実施形態と同様に、高画質化エンジンが備えられている。ただし、本実施形態の高画質化エンジンは、入力画像についてノイズ低減やコントラスト強調するとともに、入力画像の空間分解能を高空間分解能化するように構成されている。そのため、本実施形態に係る高画質化エンジンは、低空間分解能画像を入力し、高空間分解能画像を出力するように構成されている。
これに関連して、高画質化エンジンの教師データを構成するペア群についても、各ペアを構成する入力データは低空間分解能画像であり、出力データは高空間分解能画像である。なお、高空間分解能画像は、低空間分解能画像を取得した撮影装置よりも高性能な装置から取得したり、撮影装置の設定を変更することによって取得したりすることができる。また、高空間分解能画像については、第１の実施形態等と同様に低空間分解能画像を重ね合わせたものが用いられる。
このような構成により、本実施形態に係る高画質化部４０４は、入力画像に対して、ノイズ低減やコントラスト強調がなされるとともに高空間分解能化された高画質画像を生成することができる。
次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５２０、ステップＳ５３０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。
ステップＳ５１０において、取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして、低空間分解能画像を取得する。なお、取得部４０１は撮影装置１０からの要求に応じて、撮影装置１０が生成した低空間分解能画像を入力画像として取得してもよい。このような要求は、例えば、撮影装置１０が画像を生成した時、撮影装置１０が生成した画像を撮影装置１０が備える記憶装置に保存する前や保存した後、保存された画像を表示部２０に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。
ステップＳ５２０及びステップＳ５３０の処理は第１の実施形態での処理と同様であるため説明を省略する。ステップＳ５４０では、高画質化部４０４が、入力画像を高画質化エンジンに入力し、高画質画像としてノイズ低減やコントラスト強調がなされるとともに高空間分解能化された画像を生成する。以降の処理は、第１の実施形態と同様であるため説明を省略する。
上記のように、本実施形態に係る高画質化部４０４は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、空間分解能が向上された画像を高画質画像として生成する。これにより、本実施形態に係る画像処理装置４００は、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。
なお、本実施形態では、一つの高画質化エンジンにより、第１の実施形態等による高画質化処理と高分解能化の処理を行った高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、高画質化部は、第１の実施形態等による高画質化処理を行う高画質化エンジン及び高分解能化処理を行う別の高画質化エンジンを備えてもよい。
この場合には、第１の実施形態等に係る高画質化処理を行う高画質化エンジンは第１の実施形態等に係る高画質化エンジンと同様に学習を行った機械学習モデルを用いることができる。また、高分解能化処理を行う高画質化エンジンの教師データの入力データとしては、第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。また、当該高画質化エンジンの教師データの出力データとしては、高性能な撮影装置で取得された画像について第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。これにより、高空間分解能化処理を行う高画質化エンジンは、第１の実施形態等に係る高画質化処理を行った高画質画像について高空間分解能化した最終的な高画質画像を生成することができる。
また、当該高画質化エンジンによる高空間分解能化処理を、第１の実施形態等に係る高画化処理エンジンによる高画質化処理の前に行ってもよい。この場合には、高空間分解能化処理を行う高画質化エンジンについての教師データは、撮影装置で取得した低空間分解能画像である入力データと高空間分解能画像である出力データのペア群により構成する。また、第１の実施形態等に係る高画質化処理を行う高画質化エンジンの教師データとしては、高空間分解能画像を入力データと、高空間分解能画像を重ね合わせした画像を出力データのペア群により構成する。
このような構成によっても、画像処理装置４００は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、空間分解能が向上された画像を高画質画像として生成することができる。
なお、本実施形態では、第１の実施形態等に係る高画質化処理について、重ね合わせ画像を教師データの出力データとして用いる構成について述べたが、第１の実施形態と同様に当該出力データはこれに限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
また、高画質化部４０４は、高画質化エンジンを用いて、高空間分解能化処理に加えて第１５の実施形態に係る高画質化処理を行ってもよい。この場合には、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、入力画像と比べて高画像サイズ化及び高空間分解能化された画像を高画質画像として生成することができる。これにより、本実施形態に係る画像処理装置４００は、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。
なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。
＜第１７の実施形態＞
次に、図２２及び２３を参照して、第１７の実施形態に係る画像処理装置について説明する。本実施形態では、解析部が高画質化部によって生成された高画質画像を画像解析する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。
図２２は、本実施形態に係る画像処理装置２２００の概略的な構成を示す。本実施形態に係る画像処理装置２２００には、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５に加えて、解析部２２０８が設けられている。なお、画像処理装置２２００は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。ここで、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
解析部２２０８は、高画質化部４０４が生成した高画質画像に対して所定の画像解析処理を適用する。画像解析処理は、例えば、眼科分野では、ＯＣＴにより取得された画像に対する、網膜層のセグメンテーション、層厚計測、乳頭三次元形状解析、篩状板解析、ＯＣＴＡ画像の血管密度計測、及び角膜形状解析等の既存の任意の画像解析処理を含む。また、画像解析処理は眼科分野の解析処理に限られず、例えば、拡散テンソル解析やＶＢＬ（Ｖｏｘｅｌ−ｂａｓｅｄ Ｍｏｒｐｈｏｍｅｔｒｙ）解析等の放射線分野における既存の任意の解析処理も含む。
出力部４０５は、高画質化部４０４によって生成された高画質画像を表示部２０に表示させるとともに、解析部２２０８による画像解析処理の解析結果を表示させることができる。なお、出力部４０５は解析部２２０８による画像解析結果のみを表示部２０に表示させてもよいし、当該画像解析結果を撮影装置１０や画像管理システム、その他の装置等に出力してもよい。なお、解析結果の表示形態は、解析部２２０８で行った画像解析処理に応じて任意であってよく、例えば、画像、数値又は文字として表示されてもよい。また、解析結果の表示形態は、高画質画像を解析処理して得た解析結果を、任意の透明度により高画質画像に重畳表示させたものであってもよい。すなわち、解析結果の表示形態は、高画質画像を解析処理して得た解析結果と高画質画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）であってもよい。
以下、図２３を参照して、本実施形態に係る一連の画像処理について、ＯＣＴＡのＥｎ−Ｆａｃｅ画像を例として説明する。図２３は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップＳ２３１０〜ステップＳ２３４０の処理は、第１の実施形態におけるステップＳ５１０〜ステップＳ５４０での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ２３２０の処理の後に、ステップＳ２３３０の処理を省き、処理をステップＳ２３４０に移行してよい。
ステップＳ２３４０において、高画質化部４０４はＯＣＴＡのＥｎ−Ｆａｃｅ画像の高画質化を行い、処理はステップＳ２３５０に移行する。ステップＳ２３５０で、解析部２２０８が、ステップＳ２３４０において生成された高画質画像を画像解析する。高画質化したＯＣＴＡのＥｎ−Ｆａｃｅ画像における画像解析としては、任意の２値化処理を適用することで、画像から血管相当の箇所（血管領域）を検出することが出来る。検出した血管相当の箇所が画像に対して占める割合を求めることで面積密度を解析することが出来る。また、２値化処理した血管相当の箇所を細線化することで、線幅１画素の画像とし、太さに依存しない血管が占める割合（スケルトン密度ともいう）を求めることも出来る。これらの画像を用いて、無血管領域（ＦＡＺ）の面積や形状（円形度など）を解析するようにしてもよい。解析の方法として、画像全体から上述した数値を計算するようにしてもよいし、不図示のユーザーインターフェースを用いて、検者（ユーザー）の指示に基づいて、指定された関心領域（ＲＯＩ）に対して数値を計算するようにしてもよい。ＲＯＩの設定は必ずしも検者に指定されるだけではなく、自動的に所定の領域が指定されるものであってもよい。ここで、上述した各種パラメータは、血管に関する解析結果の一例であって、血管に関するパラメータであれば、何でもよい。なお、解析部２２０８は複数の画像解析処理を行ってもよい。すなわち、ここではＯＣＴＡのＥｎ−Ｆａｃｅ画像に関して解析する例を示したが、これだけではなく、同時にＯＣＴにより取得された画像に対する、網膜層のセグメンテーション、層厚計測、乳頭三次元形状解析、篩状板解析などを行ってもよい。これに関連して、解析部２２０８は、任意の入力装置を介した検者からの指示に応じて、複数の画像解析処理のうちの一部又は全部を行ってもよい。
ステップＳ２３６０では、出力部４０５が、高画質化部４０４によって生成された高画質画像及び解析部２２０８による解析結果を表示部２０に表示させる。なお、出力部４０５は高画質画像及び解析結果を別々の表示部や装置に出力してもよい。また、出力部４０５は、解析結果のみを表示部２０に表示させてもよい。さらに、解析部２２０８が複数の解析結果を出力する場合には、出力部４０５は、複数の解析結果の一部又は全部を表示部２０やその他の装置に出力してもよい。例えば、ＯＣＴＡのＥｎ−Ｆａｃｅ画像における血管に関する解析結果を２次元マップとして表示部２０に表示させてもよい。また、ＯＣＴＡのＥｎ−Ｆａｃｅ画像における血管に関する解析結果を示す値をＯＣＴＡのＥｎ−Ｆａｃｅ画像に重畳して表示部２０に表示させてもよい。
上記のように、本実施形態に係る画像処理装置２２００は、高画質画像を画像解析する解析部２２０８を更に備え、出力部４０５は解析部２２０８による解析結果を表示部２０に表示させる。このように、本実施形態に係る画像処理装置２２００では、画像解析に高画質画像を用いるため、解析の精度を向上させることができる。
また、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置２２００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
＜第１８の実施形態＞
次に、図４を参照して、第１８の実施形態に係る画像処理装置について説明する。本実施形態では、学習時の画像にノイズを付加しノイズ成分を学習することで高画質化部が高画質画像を生成する例について説明をする。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして画像を取得する。本実施形態に係る高画質化部におけるＣＮＮの構成例として、図２４を用いて説明をする。図２４は、高画質化部４０４における機械学習モデル構成の一例を示している。図２４で示す構成は、入力値群を加工して出力する処理を担う、複数の層群によって構成される。なお、前記構成に含まれる層の種類としては、図２４に示すように、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、合成（Ｍｅｒｇｅｒ）層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、前記フィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。このような構成では、入力された画像Ｉｍ２４１０を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力された画像Ｉｍ２４１０を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で高画質画像Ｉｍ２４２０に成形される。なお、図示はしないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等をしてもよい。
本実施形態の高画質化エンジンは、撮影装置１０や他の装置から得た画像に第一のノイズ成分を付加した低画質画像を入力し、出力データとしては、撮影装置１０や他の装置から得た画像に第二のノイズ成分を付加した画像を高画質画像としてトレーニングしている。すなわち、本実施形態の学習時の教師画像は、低画質画像と高画質画像とが共通の画像を用いており、それぞれの画像におけるノイズ成分が異なるものとなる。画像としては同じものを用いているため、ペア画像とする際の位置合わせは不要である。
ノイズ成分としては、ガウシアンノイズ、対象画像特有のノイズをモデル化したもの等をノイズとして付加する。ただし、第一と第二のノイズはそれぞれ異なるノイズとする。異なるノイズとは、ノイズを付加する空間的な場所（画素の位置）が異なる、あるいはノイズの値が異なるなどを意味する。対象画像特有のノイズとしては、例えばＯＣＴの場合、模型眼や被検眼を置かない状態で撮影したデータを基にノイズを推定し、それらをノイズモデルとして使用することが出来る。ＯＣＴＡの場合では、無血管領域（ＦＡＺ）の範囲に現れるノイズや、血液の流れを模式的に再現した模型眼を撮影した画像に現れるノイズを基に、ノイズモデルとして使用することが出来る。
ガウシアンノイズの場合は、ノイズの大きさとして標準偏差、あるいは分散値を定義し、それらの数値に基づいて画像にランダムにノイズを与える。ランダムノイズを与えた結果として、全体としての平均値は変わらないようにしてもよい。すなわち、１画像の各画素に付加されるノイズの平均値は０となるようにする。ここで、平均値は０となるようにする必要はなく、入力データと出力データとに対して互いに異なるパターンのノイズが付加できればよい。また、入力データと出力データとの両方にノイズを付加する必要はなく、いずれか一方にノイズを付加してもよい。ここで、ノイズを付加しない場合、例えば、高画質化後の画像では血管の偽像が生じる場合があったが、これは、高画質化前後の画像の差異が比較的大きい場合に生じると考えることも可能である。このため、高画質化前後の画像の差異が低減されるようにしてもよい。このとき、学習時において、低画質画像と高画質画像とに対して異なるパターンのノイズを付加して得た２つの画像をペア画像としてもよいし、また、高画質画像に対して異なるパターンのノイズを付加して得た２つの画像をペア画像としてもよい。
出力部４０５は、高画質化部４０４が生成した高画質画像を表示部２０に表示させる。なお、出力部４０５は、高画質画像とともに、入力画像を表示部２０に表示させてもよい。
以降の処理は、第１の実施形態における処理と同様であるため、説明を省略する。
なお、本実施形態では、撮影装置１０や他の装置から入手した低画質画像に第一のノイズ成分と第一のノイズ成分とは異なる第二のノイズ成分を付加した画像を用いて高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、ノイズを付加する画像は、第一の実施形態で示した重ね合わせ処理をした高画質画像に対して第一および第二のノイズ成分を付加するようにしてもよい。すなわち、重ね合わせ処理画像に第一のノイズ成分を付加した画像を低画質画像、重ね合わせ処理画像に第二のノイズ成分を付加した画像を高画質画像として学習する構成としてもよい。
さらには、本実施形態では、第一と第二のノイズ成分を用いて学習する例について説明したがこれに限らない。例えば、低画質画像とする方にのみ第一のノイズ成分を付加し、高画質画像とする方にはノイズ成分を付加せずに学習を行う構成としてもよい。その際の画像としては、撮影装置１０や他の装置から入手した画像でもよいし、その画像を重ね合わせ処理した画像を対象とするようにしてもよい。
さらには、ノイズ成分の大きさを入力画像の種類、あるいは、学習する矩形領域画像毎に動的に変更するようにしてもよい。具体的には、値の大きなノイズを付加するとノイズ除去の効果が大きくなり、値の小さなノイズを付加するとノイズ除去の効果は小さい。そのため、例えば、暗い画像の時には付加するノイズ成分の値を小さくして、明るい画像の時には付加するノイズ成分の値を大きくするなど、画像全体あるいは矩形領域画像の条件や種類に応じて付加するノイズを調整して学習をするようにしてもよい。
なお、本実施形態において、画像の撮影条件については明記しなかったが、様々な撮影範囲とスキャン数の異なる画像、異なる撮影部位や異なる深度の正面画像などを用いて学習をしておく。
上記では、撮影装置１０や他の装置から入手した画像、その画像にノイズを付加したノイズ画像、重ね合わせ処理画像、重ね合わせ処理画像にノイズを付加した画像について説明をした。しかし、これらの組み合わせは上述したものに限らず、どのように低画質画像と高画質画像とを組み合わせてもよい。
＜第１９の実施形態＞
次に、図２５、２６を参照して、第１９の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が複数の高画質化エンジンを備え、入力画像に対して複数の高画質画像を生成する。そして、合成部２５０５が複数の高画質化エンジンから出力される複数の高画質画像を合成する例について説明をする。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして画像を取得する。
本実施形態に係る高画質化部４０４には、第２の実施形態と同様に複数の高画質化エンジンが備えられている。ここで、複数の高画質化エンジンの各々は、それぞれ撮影部位、撮影画角、異なる深度の正面画像、ノイズ成分、及び画像の解像度のうちの少なくとも一つについての異なる学習データを用いて学習を行ったものである。高画質化部４０４は、入力画像の撮影部位、撮影画角、異なる深度の正面画像、ノイズ成分、及び画像の解像度のうちの少なくとも一つに応じた高画質化エンジンを複数用いて、高画質画像を生成する。
図２６は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップＳ２６１０及びステップＳ２６２０の処理は、第１の実施形態におけるステップＳ５１０及びステップＳ５２０での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ２６２０の処理の後に、ステップＳ２６３０の処理を省き、処理をステップＳ２６４０に移行してよい。
ステップＳ２６２０において、第１の実施形態と同様に、撮影条件取得部４０２が入力画像の撮影条件群を取得したら、処理はステップＳ２６３０に移行する。ステップＳ２６３０では、高画質化可否判定部４０３が、第２の実施形態と同様に、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンのいずれかが入力画像を対処可能であるか否かを判定する。
高画質化可否判定部４０３が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップＳ２６６０に移行する。一方で、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ２６４０に移行する。なお、画像処理装置４００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ２６４０を実施してもよい。
ステップＳ２６４０においては、高画質化部４０４が、高画質化エンジン群のそれぞれにステップＳ２６１０において取得した入力画像を入力し、高画質画像群を生成する。
ステップＳ２６５０では、合成部２４０５が、ステップＳ２６４０において生成された高画質画像群のうちいくつかの高画質な画像を合成する。具体的には、例えば、第１の実施形態で示したように撮影装置１０から取得した低画質画像と、低画質画像を複数回撮影することにより取得した画像群に対して加算平均等の重ね合わせ処理をして得た高画質画像とのペア画像を用いて学習した第一の高画質化エンジンと、第１８の実施形態で示したような画像にノイズを付加したペア画像を用いて学習した第二の高画質化エンジンとの２つの高画質画像の結果を合成する。合成方法としては、加算平均や重み付き加算平均などを用いて合成することが出来る。
ステップＳ２６６０においては、出力部４０５が、ステップＳ２６５０において合成された画像を表示部２０に表示させたり、他の装置に出力したりする。ただし、ステップＳ２６３０において、入力画像が処理不可能であると判定されている場合には、出力部４０５は、入力画像を出力画像として出力する。なお、出力部４０５は、検者によって入力画像が指示された場合や、入力画像が処理不可能であった場合には、表示部２０に出力画像が入力画像と同じであることを表示させてもよい。
＜第２０の実施形態＞
次に、図４を参照して、第２０の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が第一の高画質化エンジンの出力結果を用いて第二の高画質化エンジンが高画質画像を生成する例について説明をする。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして画像を取得する。
本実施形態に係る高画質化部４０４には、第１の実施形態と同様の、高画質化エンジンが複数備えられている。本実施形態の高画質化部は、撮影装置１０や他の装置から入力データとして取得した低画質画像と、複数の低画質画像から生成された中画質画像を出力データとして学習した第一の高画質化エンジンを備える。さらに、第一の高画質化エンジンから出力された画像と、中画質画像よりも高画質な画像を出力データとして学習した第二の高画質化エンジンを備える。なお、中画質画像に関しては、第１４の実施形態と同様であるため、説明を省略する。
出力部４０５は、高画質化部４０４が生成した高画質画像を表示部２０に表示させる。なお、出力部４０５は、高画質画像とともに、入力画像を表示部２０に表示させてもよく、この場合に、出力部４０５は、入力画像が複数の低画質画像から生成された画像であることを表示部２０に表示してもよい。
次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５１０〜ステップＳ５３０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。
ステップＳ５４０においては、高画質化部４０４が、高画質化エンジンを用いて、入力画像を高画質化し、入力画像よりも画像診断に適した高画質画像を生成する。具体的には、高画質化部４０４は、入力画像を第一の高画質化エンジンに入力し、高画質化された第一の高画質画像を生成させる。さらに、第一の高画質画像を第二の高画質化エンジンに入力し、第二の高画質画像を得る。高画質化エンジンは、教師データを用いて機械学習を行った機械学習モデルに基づいて、入力画像を用いて重ね合わせ処理を行ったような高画質画像を生成する。このため、高画質化エンジンは、入力画像よりも、ノイズ低減されたり、コントラスト強調されたりした高画質画像を生成することができる。
以降の処理は、第１の実施形態における処理と同様であるため、説明を省略する。
なお、本実施形態では、撮影装置１０や他の装置から入手した低画質画像と中画質画像とをペアで学習した第一の高画質化エンジンと第一の高画質画像と高画質画像とをペアで学習した第二の高画質エンジンを用いて高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、第一の高画質化エンジンで学習する画像のペアは、第１８の実施形態で説明をしたノイズを学習するエンジンとし、第二の高画質化エンジンは第一の高画質画像と高画質画像とをペアで学習するようにしてもよい。逆の構成として、低画質画像と中画質画像とをペアで学習した第一の高画質化エンジンと、第二の高画質化エンジンは第一の高画質画像に対してノイズを付加した画像を学習したエンジンとしてもよい。
さらに、第一の高画質化エンジンと第二の高画質化エンジン共に、第１８の実施形態で説明をしたノイズを学習するエンジンとしてもよい。この場合、例えば、第一の高画質化エンジンは、重ね合わせ処理画像により生成した高画質画像に第一および第二のノイズを付加した画像をペアで学習し、第二の高画質化エンジンは、第一の高画質化エンジンにより生成された第一の高画質画像に対して第一および第二のノイズを付加した画像をペアで学習する。なお、本実施形態では、二つの高画質化エンジンについて説明を行ったが、これに限らず、第三、第四と、さらに連結して処理をする構成としてもよい。学習に用いる画像をきれいにしていくことで、より滑らかでシャープな画像を生成しやすいネットワークが構成される。
＜第２１の実施形態＞
次に、図４及び２７を参照して、第２１の実施形態に係る画像処理装置について説明する。第１の実施形態では、高画質化部４０４は、一つの高画質化エンジンを備えていた。これに対して、本実施形態では、高画質化部が、異なる教師データを用いて機械学習を行った複数の高画質化エンジンを備え、入力画像に対して複数の高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第２の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１、第２の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１、第２の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る高画質化部４０４には、それぞれ異なる教師データを用いて機械学習が行われた二つ以上の高画質化エンジンが備えられている。ここで、本実施形態に係る教師データ群の作成方法について説明する。まず、様々な撮影範囲とスキャン数の異なる画像で撮影された、入力データとしての元画像と出力データとしての重ね合わせ画像のペア群を用意する。ＯＣＴやＯＣＴＡを例に説明すると、例えば、３×３ｍｍの範囲を３００本のＡスキャンと３００枚のＢスキャンで撮影した第一の画像群のペアと、１０×１０ｍｍの範囲を５００本のＡスキャンと５００枚のＢスキャンで撮影した第二の画像群のペアとする。この時、第一の画像群のペアと第二の画像群のペアとでは、スキャン密度が２倍異なる。そのため、これらの画像群は別としてグルーピングしておく。そして、６×６ｍｍの範囲を６００本のＡスキャンと６００枚のＢスキャンで撮影した画像群がある場合には、第一の画像群と同一のグループとする。すなわち、ここではスキャン密度が同じか、ほぼ同じ（１割程度の誤差）の画像群を同一のグループでグルーピングをする。
次に、スキャン密度毎にペア群をグルーピングすることで、教師データ群を作成する。例えば、第一のスキャン密度で撮影して取得されたペア群で構成される第一の教師データ、第二のスキャン密度で撮影して取得されたペア群で構成される第二の教師データというように、教師データ群を作成する。
その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第一の教師データでトレーニングされた機械学習モデルに対応する第一の高画質化エンジン、第二の教師データでトレーニングされた機械学習モデルに対応する第二の高画質化エンジンというように高画質化エンジン群を用意する。
このような高画質化エンジンは、それぞれ対応する機械学習モデルのトレーニングに用いた教師データが異なるため、高画質化エンジンに入力される画像の撮影条件によって、入力画像を高画質化できる程度が異なる。具体的には、第一の高画質化エンジンは、第一のスキャン密度で取得された入力画像に対しては高画質化の程度が高く、第二のスキャン密度で取得された画像に対しては高画質化の程度が低い。同様に、第二の高画質化エンジンは、第二のスキャン密度で取得された入力画像に対しては高画質化の程度が高く、第一のスキャン密度で取得された画像に対しては高画質化の程度が低い。
一方、学習時に様々な撮影範囲とスキャン密度の異なる画像を教師データとして十分の数を集められない場合がある。その場合、それらの画像群に対しては、第１８の実施形態で示したように、ノイズ成分を学習した高画質化エンジンを用意する。
ノイズ成分を学習した高画質化エンジンは、撮影時のスキャン密度の影響を受けにくいため、学習していないスキャン密度の画像が入力された際には、こちらを適用する。
教師データのそれぞれがスキャン密度によってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応するスキャン密度であれば、第一の実施形態に係る高画像化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件は、スキャン密度に限られず、撮影部位であったり、正面画像においては異なる深度の画像であったり、これらのうちの二つ以上の組み合わせであったりしてもよい。
以下、図２７を参照して、本実施形態に係る一連の画像処理について説明する。図２７は、本実施形態に係る一連の画像処理のフロー図である。なお、ステップＳ２７１０及びステップＳ２７２０の処理は、第１の実施形態に係るステップＳ５１０及びステップＳ５２０と同様であるため、説明を省略する。
ステップＳ２７２０において入力画像の撮影条件が取得されると、処理はステップＳ２７３０に移行する。ステップＳ２７３０においては、高画質化可否判定部４０３が、ステップＳ２７２０において取得した撮影条件群を用いて、高画質化部４０４が備える高画質化エンジン群のいずれかが、入力画像を対処可能であるか否かを判定する。
高画質化可否判定部４０３が、撮影条件外であると判定した場合には、処理はステップＳ２７７０に移行する。一方で、高画質化可否判定部４０３が、撮影条件内であると判定した場合には、処理はステップＳ２７４０に移行する。
ステップＳ２７４０においては、高画質化部４０４が、ステップＳ２７２０で取得した入力画像の撮影条件及び高画質化エンジン群の教師データの情報に基づいて、高画質化エンジン群から高画質化処理を行う高画質化エンジンを選択する。具体的には、例えば、ステップＳ２７２０において取得した撮影条件群のうちのスキャン密度に対して、スキャン密度に関する教師データの情報を有し、高画質化の程度が高い高画質化エンジンを選択する。上述の例では、スキャン密度が第一のスキャン密度である場合には、高画質化部４０４は第一の高画質化エンジンを選択する。
一方、ステップＳ２７７０においては、高画質化部４０４は、ノイズ成分を学習した高画質化エンジンを選択する。
ステップＳ２７５０では、高画質化部４０４が、ステップＳ２７４０、ステップＳ２７７０において選択した高画質化エンジンを用いて、入力画像を高画質化した高画質画像を生成する。その後、ステップＳ２７６０において、出力部４０５は、ステップＳ２７５０において高画質画像を出力して、表示部２０に表示させる。なお、出力部４０５は、高画質画像を表示部２０に表示させる際、高画質化部４０４によって選択された高画質化エンジンを用いて生成された高画質画像であることを表示させてもよい。
上記のように、本実施形態に係る高画質化部４０４は、それぞれ異なる学習データを用いて学習を行った複数の高画質化エンジンを備える。ここで、複数の高画質化エンジンの各々は、それぞれ撮影部位、撮影画角、異なる深度の正面画像、及び画像の解像度のうちの少なくとも一つについての異なる学習データを用いて学習を行ったものである。さらに、正解データ（出力データ）を十分に集められなかったデータについては、ノイズ成分を用いて学習を行ったものである。高画質化部４０４は、これらのうちの少なくとも一つに応じた高画質化エンジンを用いて、高画質画像を生成する。
このような構成により、本実施形態に係る画像処理装置４００は、より効果的な高画質画像を生成することができる。
＜第２２の実施形態＞
次に、図３０から３２を参照して、第２２の実施形態に係る画像処理装置について説明する。本実施形態では、広画角画像生成部が高画質化部によって生成された複数の高画質画像を用いて広画角画像（パノラマ画像）を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
図３１（ａ）は、本実施形態に係る一連の画像処理のフロー図である。ステップＳ３１１０において、取得部４０１は撮影装置１０や他の装置から入力データとして複数の画像（少なくとも２枚）を取得する。複数の画像は、同一の被写体（被検眼など）の異なる位置を撮影した画像であり、被写体に対して完全には重複せずに、画像の一部が重複する場所を撮影した画像とする。被検眼を撮影する場合を例に説明すると、撮影時に固視灯の位置を変更し、被検眼がその固視灯に注視することで、同一の被検眼において異なる場所を撮影した画像を取得することが出来る。なお、画像撮影時には、隣接する画像同士の重複領域が少なくとも２割程度が同じ場所となるように固視灯の位置を変更して撮影しておくことが望ましい。図３２（ａ）に、隣接する画像の一部が重複するように固視灯の位置を変更して撮影したＯＣＴＡのＥｎ−Ｆａｃｅ画像の例を示す。図３２（ａ）では、固視灯の位置を変更して異なる場所を５回撮影する場合の例を示している。なお、図３２には例として５枚の画像を示しているが、５枚に限らず２枚以上であればよい。
なお、本実施形態に係るステップＳ３１２０の処理は、第１の実施形態におけるステップＳ５２０での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ３１２０の処理の後に、ステップＳ３１３０の処理を省き、処理をステップＳ３１４０に移行してよい。
ステップＳ３１２０において、第１の実施形態と同様に、撮影条件取得部４０２が入力画像の撮影条件群を取得したら、処理はステップＳ３１３０に移行する。ステップＳ３１３０では、高画質化可否判定部４０３が、第１の実施形態と同様に、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。
高画質化可否判定部４０３が、高画質化エンジンが複数の入力画像を対処不可能であると判定した場合には、処理はステップＳ３１６０に移行する。一方で、高画質化可否判定部４０３が、高画質化エンジンが複数の入力画像を対処可能であると判定した場合には、処理はステップＳ３１４０に移行する。なお、画像処理装置４００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ３１４０を実施してもよい。
ステップＳ３１４０においては、高画質化部４０４が、ステップＳ３１１０において取得した複数の入力画像に対して処理を実行し複数の高画質画像を生成する。
ステップＳ３１５０では、広画角画像生成部３００５が、ステップＳ３１４０において生成された高画質画像群のうちいくつかの高画質な画像を合成する。具体的には、ＯＣＴＡのＥｎ−Ｆａｃｅ画像を例に説明をする。複数の画像は完全には重複しないが、隣接する画像同士は一部の領域が互いに重複するように撮影されたＯＣＴＡのＥｎ−Ｆａｃｅ画像である。そのため、広画角画像生成部３００５は複数のＯＣＴＡのＥｎ−Ｆａｃｅ画像から重複した領域を検出し、重複領域を用いて位置合わせを実施する。位置合わせパラメータに基づいてＯＣＴＡのＥｎ−Ｆａｃｅ画像を変形して画像を合成することで、１枚のＯＣＴＡのＥｎ−Ｆａｃｅ画像よりも広範囲なＯＣＴＡのＥｎ−Ｆａｃｅ画像を生成することが出来る。この時、入力となる複数のＯＣＴＡのＥｎ−Ｆａｃｅ画像はステップＳ３１４０において高画質化されているため、ステップＳ３１５０において出力される広画角なＯＣＴＡのＥｎ−Ｆａｃｅ画像は既に高画質化されている。図３２（ｂ）に広画角画像生成部３００５によって生成される広画角なＯＣＴＡのＥｎ−Ｆａｃｅ画像の例を示す。図３２（ｂ）は図３２（ａ）で示した５枚の画像を位置合わせして生成した例である。図３２（ｃ）には、図３２（ａ）と図３２（ｂ）との位置の対応関係を示す。図３２（ｃ）に示すように、Ｉｍ３２１０を中心に、その周辺にＩｍ３２２０〜３２５０が配置される。なお、ＯＣＴＡのＥｎ−Ｆａｃｅ画像は、３次元のモーションコントラストデータから異なる深度範囲を設定することで、複数のＯＣＴＡのＥｎ−Ｆａｃｅ画像を生成することが出来る。そのため、図３２には広画角の表層画像の例を示したが、これに限らない。例えば、図２９で示した表層のＯＣＴＡのＥｎ−Ｆａｃｅ画像（Ｉｍ２９１０）を用いて位置合わせをして、その他の深度範囲のＯＣＴＡのＥｎ−Ｆａｃｅ画像は、そこで求めたパラメータを用いて変形させるようにしてもよい。あるいは、位置合わせの入力画像をカラー画像とし、ＲＧＢ成分のＲＧ成分に表層のＯＣＴＡのＥｎ−Ｆａｃｅ、Ｂ成分に位置合わせの対象となるＯＣＴＡのＥｎ−Ｆａｃｅ画像とした合成カラー画像を生成する。そして、複数の深度範囲の層を１枚に合成した合成カラーＯＣＴＡのＥｎ−Ｆａｃｅ画像の位置合わせを実施してもよい。それにより、位置合わせ済みのカラーＯＣＴＡのＥｎ−Ｆａｃｅ画像からＢ成分のみを抽出すれば、対象となるＯＣＴＡのＥｎ−Ｆａｃｅ画像の位置合わせが済んだ広画角のＯＣＴＡのＥｎ−Ｆａｃｅ画像を得ることが出来る。なお、高画質化を行う対象として、２次元のＯＣＴＡのＥｎ−Ｆａｃｅ画像に限らず、３次元のＯＣＴ、３次元のモーションコントラストデータそのものでもよい。その場合、３次元データで位置合わせを行い、広範囲の３次元データを生成するようにしてもよい。広範囲の３次元データから任意の断面（ＸＹＺのどの面でも可能）や任意の深度範囲（Ｚ方向での範囲）を切り出すことで、高画質な広画角画像を生成することが出来る。
ステップＳ３１６０においては、出力部４０５が、ステップＳ３１５０において複数の画像から合成された画像を表示部２０に表示させたり、他の装置に出力したりする。ただし、ステップＳ３１３０において、入力画像が処理不可能であると判定されている場合には、出力部４０５は、入力画像を出力画像として出力する。なお、出力部４０５は、検者によって入力画像が指示された場合や、入力画像が処理不可能であった場合には、表示部２０に出力画像が入力画像と同じであることを表示させてもよい。
なお、本実施形態では、複数の入力画像からそれぞれ高画質画像を生成し、高画質画像を位置合わせすることで、最終的な一枚の高画質な広画角画像を生成したが、複数の入力画像から一枚の高画質画像を生成する方法はこれに限られない。例えば、図３１（ｂ）に示す本実施形態の高画質化処理の別例では、先に一枚の広画角画像を生成し、広画角画像に対して高画質化処理を実行して最終的に一枚の高画質な広画角画像を生成するようにしてもよい。
この処理に関して、図３１（ｂ）を用いて説明を行うが、図３１（ａ）と同様な処理の部分に関しては説明を省略する。
ステップＳ３１２１では、広画角画像生成部３００５が、ステップＳ３１１０において取得した複数の画像を合成する。広画角画像生成に関しては、ステップＳ３１５０での説明と同様であるが、入力画像が撮影装置１０や他の装置から取得した画像であり、高画質化される前の画像である点が異なる。
ステップＳ３１５１では、高画質化部４０４が、広画角画像生成部３００５が生成した高画質画像に対して処理を実行し一枚の高画質な広画角画像を生成する。
このような構成により、本実施形態に係る画像処理装置４００は、広画角な高画質画像を生成することができる。
上記第１〜２２の実施形態に関しては、出力部４０５による表示部２０への高画質画像の表示は基本的に高画質化部４０４による高画質画像の生成や解析部２２０８による解析結果の出力に応じて自動で行われる。しかしながら、高画質画像の表示は、検者からの指示に応じてなされてもよい。例えば、出力部４０５は、高画質化部４０４によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部２０に表示させてもよい。また、出力部４０５は、検者からの指示に応じて、表示部２０上の表示を撮影画像（入力画像）から高画質画像に切り替えてもよい。すなわち、出力部４０５は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、出力部４０５は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。さらに、高画質化部４０４が、高画質化エンジンによる高画質化処理の開始（高画質化エンジンへの画像の入力）を検者からの指示に応じて実行し、出力部４０５が、高画質化部４０４によって生成された高画質画像を表示部２０に表示させてもよい。これに対し、撮影装置１０によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、出力部４０５が、検者からの指示に応じて高画質画像を表示部２０に表示させてもよい。なお、これらの処理は解析結果の出力についても同様に行うことができる。すなわち、出力部４０５は、検者からの指示に応じて、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、出力部４０５は、検者からの指示に応じて、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。もちろん、出力部４０５は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、出力部４０５は、検者からの指示に応じて、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、出力部４０５は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、出力部４０５は、検者からの指示に応じて、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。また、出力部４０５は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の他の種類の解析結果の表示に変更してもよい。また、出力部４０５は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の他の種類の解析結果の表示に変更してもよい。ここで、高画質画像の解析結果の表示は、高画質画像の解析結果を任意の透明度により高画質画像に重畳表示させたものであってもよい。また、低画質画像の解析結果の表示は、低画質画像の解析結果を任意の透明度により低画質画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。さらに、撮影箇所推定エンジンや画質評価エンジン、真贋評価エンジン、評価部による処理を検者からの指示に応じて開始するように、画像処理装置が構成されてもよい。なお、上記第１〜２２の実施形態に関し、出力部４０５が高画質画像を表示部２０に表示させる表示態様は任意であってよい。例えば、出力部４０５は、入力画像と高画質画像を並べて表示させてもよいし、切り替えて表示させてもよい。また、出力部４０５は、入力画像や高画質画像を、撮影部位や撮影日時、撮影が行われた施設等に応じて順番に表示させてもよい。同様に、出力部４０５は高画質画像を用いた画像解析結果等を、高画質画像や高画質画像に対応する入力画像の任意の撮影条件に応じて順番に表示させてもよい。さらに、出力部４０５は高画質画像を用いた画像解析結果を、解析項目ごとに順番に表示させてもよい。
＜第２３の実施形態＞
次に、図４、図２９と図３３を参照して、第２３の実施形態に係る画像処理装置について説明する。本実施形態では、入力データに対応する高画質画像である出力データのペア群で構成される教師データを用いて学習を行う。その際、複数の高画質化エンジンによって生成する複数の高画質な出力データを用いて、１つの高画質化エンジンを生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして画像を取得する。本実施形態に係る高画質化部４０４における高画質化エンジンの生成に関して、図２９と図３３を用いて説明をする。まず、図３３（ａ）を用いて本実施形態における第１の学習について説明をする。図３３（ａ）は、複数の入力データと出力データのペア群と複数の高画質化エンジンの一例を示している。Ｉｍ３３１１とＩｍ３３１２は、入力データと出力データのペア群を示している。例えば、このペアは図２９で示した表層（Ｉｍ２９１０）のペア群とする。そして、３３１３はＩｍ３３１１とＩｍ３３１２のペア群を用いて学習を行った高画質化エンジンを示している。なお、図３３（ａ）での学習には、第１の実施形態で説明したような重ね合わせ処理により生成する高画質画像を用いる方法でもよいし、第１８の実施形態で説明したようなノイズ成分を学習する方法でもよい。あるいはそれらの組み合わせでもよい。Ｉｍ３３２１とＩｍ３３２２は、入力データと出力データのペア群で、例えば、図２９で示した深層（Ｉｍ２９２０）のペア群とする。そして、３３２３はＩｍ３３２１とＩｍ３３２２のペア群で学習を行った高画質化エンジンを示している。同様に、Ｉｍ３３３１とＩｍ３３３２は、入力データと出力データのペア群で、例えば、図２９で示した外層（Ｉｍ２９３０）のペア群とする。そして、３３３３はＩｍ３３３１とＩｍ３３３２のペア群で学習を行った高画質化エンジンを示している。すなわち、図３３（ａ）ではそれぞれの画像毎に学習を行う。そのため、例えば、第１８の実施形態で説明したノイズ成分の場合は、それぞれの画像に適したノイズパラメータで学習を行うことが出来る。このとき、高画質化エンジンは、医用画像の少なくとも一部の領域の状態に応じたノイズが該少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含むことができる。ここで、上記状態に応じたノイズとは、例えば、少なくとも一部の領域の画素値に応じた大きさのノイズであってもよい。また、上記状態に応じたノイズとは、例えば、少なくとも一部の領域における特徴が少ない（例えば、画素値が小さい、コントラストが低い等）場合には、小さいノイズであってもよい。また、上記状態に応じたノイズとは、例えば、少なくとも一部の領域における特徴が多い（例えば、画素値が大きい、コントラストが高い等）場合には、大きなノイズであってもよい。また、高画質化エンジンは、複数の深度範囲のうち少なくとも２つの深度範囲それぞれに対して異なる大きさのノイズが付加された複数の正面画像を含む学習データを用いて得た機械学習エンジンを含むことができる。このとき、例えば、特徴が少ない（例えば、画素値が小さい）正面画像に対応する深度範囲においては、小さいノイズが付加された正面画像を学習データとしてもよい。また、例えば、特徴が多い（例えば、画素値が大きい）正面画像に対応する深度範囲においては、大きいノイズが付加された正面画像を学習データとしてもよい。なお、特徴が中程度である正面画像に対応する深度範囲においては、中程度の大きさのノイズが付加された正面画像を学習データとしてもよい。ここで、複数の深度範囲は、深さ方向において隣り合う２つの深度範囲の一部が互いに重複していてもよい。
次に、図３３（ｂ）を用いて本実施形態における画像の推論について説明をする。図３３（ｂ）は、図３３（ａ）で学習をした高画質化エンジン３３１３〜３３３３を用いて画像を生成する。例えば、複数の表層画像を用いて学習を行った高画質化エンジン３３１３に対して、低画質な表層画像Ｉｍ３３１０を入力すると高画質な表層画像Ｉｍ３３１５を出力する。また、複数の深層画像を用いて学習を行った高画質化エンジン３３２３に対して、低画質な深層画像Ｉｍ３３２０を入力すると高画質な深層画像Ｉｍ３３２５を出力する。複数の外層画像を用いて学習を行った高画質化エンジン３３３３も同様に、低画質な外層画像Ｉｍ３３３０を入力すると高画質な外層画像Ｉｍ３３３５を出力する。
次に、図３３（ｃ）を用いて本実施形態における第２の学習について説明をする。図３３（ｃ）は、異なる種類の複数の画像ペア群を用いて、１つの高画質化エンジン３３００を学習する様子を示している。Ｉｍ３３１０は低画質な表層画像、Ｉｍ３３１５は高画質な表層画像のペア群、Ｉｍ３３２０は低画質な深層画像、Ｉｍ３３２５は高画質な深層画像のペア群、Ｉｍ３３３０は低画質な外層画像、Ｉｍ３３３５は高画質な外層画像のペア群を示す。すなわち、第１の学習で学習した高画質化エンジンを用いて生成した高画質画像である出力データと低画質な入力データとのペア群で構成された教師データを用いて高画質化エンジン３３００を生成する。以上により、高画質化エンジン３３００は、様々な種類の入力画像から、ノイズが低減されたり、高コントラストとなったりした、画像診断に適した高画質画像を生成することができる。
出力部４０５は高画質化部４０４が生成した高画質画像を表示部２０に表示させる。なお、出力部４０５は高画質画像とともに、入力画像を表示部２０に表示させてもよい。
以降の処理は、第１の実施形態における処理と同様であるため、説明を省略する。
なお、本実施形態では、ＯＣＴＡのＥｎ−Ｆａｃｅ画像は異なる深さの３層を用いて説明をしたが、画像の種類はこれに限らず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したＯＣＴＡのＥｎ−Ｆａｃｅ画像を生成して種類を増やしてもよい。画像の種類は深さ方向の違いに限らず、部位毎の違いでもよい。例えば、前眼部と後眼部など、異なる撮影場所であってもよい。さらに画像は、ＯＣＴＡのＥｎ−Ｆａｃｅ画像に限らず、ＯＣＴデータから生成する輝度のＥｎ−Ｆａｃｅ画像であってもよい。そして、第１の学習では別々に学習を行っておき、第２の学習において、これらＯＣＴＡのＥｎ−Ｆａｃｅ画像と輝度のＥｎ−Ｆａｃｅ画像とをまとめて学習してもよい。さらには、Ｅｎ−Ｆａｃｅ画像だけではなく、断層画像やＳＬＯ画像、眼底写真、蛍光眼底写真など、異なる撮影装置であっても構わない。
なお、第２の学習によって高画質化エンジンは１つとなる例を説明したが、必ずしも１つである必要はない。第１の学習で生成する高画質化エンジンの出力データと低画質な入力データとのペア群で学習をする高画質化エンジンの構成であればよい。さらに、第２の学習において、図３３（ｃ）では、異なる種類の複数の画像ペア群を用いて同時に学習をする例を示したが、これに限らず転移学習でもよい。例えば、Ｉｍ３３１０とＩｍ３３１５の表層画像のペア群で学習した後に、そのネットワークを使ってＩｍ３３２０とＩｍ３３２５の深層画像のペア群を学習するというようにして、最終的に高画質化エンジン３３００を生成するようにしてもよい。
このような構成により、本実施形態に係る高画質化部４０４は様々な種類の画像に対して、より効果的な高画質画像を生成することができる。
＜第２４の実施形態＞
次に、図３４を参照して、第２４の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部４０４での処理結果を出力部４０５が表示部２０に表示を行う例について説明を行う。なお、本実施形態では、図３４を用いて説明を行うが表示画面はこれに限らない。経過観察のように、異なる日時で得た複数の画像を並べて表示する表示画面においても同様に高画質化処理は適用可能である。また、撮影確認画面のように、検者が撮影直後に撮影成否を確認する表示画面においても同様に高画質化処理は適用可能である。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。
出力部４０５は、高画質化部４０４が生成した複数の高画質画像や高画質化を行っていない低画質画像を表示部２０に表示させることができる。これにより、検者の指示に応じて低画質画像、高画質画像をそれぞれ出力することができる。
以下、図３４（ａ）及び（ｂ）を参照して、当該インターフェース３４００の一例を示す。３４００は画面全体、３４０１は患者タブ、３４０２は撮影タブ、３４０３はレポートタブ、３４０４は設定タブを表し、３４０３のレポートタブにおける斜線は、レポート画面のアクティブ状態を表している。本実施形態においては、レポート画面を表示する例について説明をする。Ｉｍ３４０５はＳＬＯ画像、Ｉｍ３４０６は、Ｉｍ３４０７に示すＯＣＴＡのＥｎ−Ｆａｃｅ画像をＳＬＯ画像Ｉｍ３４０５に重畳表示している。ここでＳＬＯ画像とは、不図示のＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ：走査型検眼鏡）光学系によって取得した眼底の正面画像である。Ｉｍ３４０７とＩｍ３４０８はＯＣＴＡのＥｎ−Ｆａｃｅ画像、Ｉｍ３４０９は輝度のＥｎ−Ｆａｃｅ画像、Ｉｍ３４１１とＩｍ３４１２は断層画像を示している。３４１３と３４１４は、それぞれＩｍ３４０７とＩｍ３４０８に示したＯＣＴＡのＥｎ−Ｆａｃｅ画像の上下範囲の境界線を断層画像に重畳表示している。ボタン３４２０は、高画質化処理の実行を指定するためのボタンである。もちろん、後述するように、ボタン３４２０は、高画質画像の表示を指示するためのボタンであってもよい。
本実施形態において、高画質化処理の実行はボタン３４２０を指定して行うか、データベースに保存（記憶）されている情報に基づいて実行の有無を判断する。初めに、検者からの指示に応じてボタン３４２０を指定することで高画質画像の表示と低画質画像の表示を切り替える例について説明をする。なお、高画質化処理の対象画像はＯＣＴＡのＥｎ−Ｆａｃｅ画像として説明する。検者がレポートタブ３４０３を指定してレポート画面に遷移した際には、低画質なＯＣＴＡのＥｎ−Ｆａｃｅ画像Ｉｍ３４０７とＩｍ３４０８を表示する。その後、検者がボタン３４２０を指定することで、高画質化部４０４は画面に表示している画像Ｉｍ３４０７とＩｍ３４０８に対して高画質化処理を実行する。高画質化処理が完了後、出力部４０５は高画質化部４０４が生成した高画質画像をレポート画面に表示する。なお、Ｉｍ３４０６は、Ｉｍ３４０７をＳＬＯ画像Ｉｍ３４０５に重畳表示しているものであるため、Ｉｍ３４０６も高画質化処理した画像を表示する。そして、ボタン３４２０の表示をアクティブ状態に変更し、高画質化処理を実行したことが分かるような表示をする。ここで、高画質化部４０４における処理の実行は、検者がボタン３４２０を指定したタイミングに限る必要はない。レポート画面を開く際に表示するＯＣＴＡのＥｎ−Ｆａｃｅ画像Ｉｍ３４０７とＩｍ３４０８の種類は事前に分かっているため、レポート画面に遷移する際に高画質化処理を実行してもよい。そして、ボタン３４２０が押下されたタイミングで、出力部４０５が高画質画像をレポート画面に表示するようにしてもよい。さらに、検者からの指示に応じて、又はレポート画面に遷移する際に高画質化処理を行う画像の種類は２種類である必要はない。表示する可能性の高い画像、例えば、図２９（ａ）で示したような表層（Ｉｍ２９１０）、深層（Ｉｍ２９２０）、外層（Ｉｍ２９３０）、脈絡膜血管網（Ｉｍ２９４０）などの複数のＯＣＴＡのＥｎ−Ｆａｃｅ画像に対して処理を行うようにしてもよい。この場合、高画質化処理をして得た画像を一時的にメモリに記憶、あるいはデータベースに記憶しておくようにしてもよい。
このとき、高画質化処理の対象画像は、（複数の深度範囲に対応する）複数のＯＣＴＡのＥｎ−Ｆａｃｅ画像（Ｉｍ３４０７とＩｍ３４０８）ではなく、例えば、１つの深度範囲に対応する１つのＯＣＴＡのＥｎ−Ｆａｃｅ画像であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡのＥｎ−Ｆａｃｅ画像の代わりに、例えば、輝度のＥｎ−Ｆａｃｅ画像（Ｉｍ３４０９）、あるいはＢスキャンであるＯＣＴ断層画像やモーションコントラストデータの断層画像（Ｉｍ３４１１とＩｍ３４１２）であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡのＥｎ−Ｆａｃｅ画像だけでなく、例えば、輝度のＥｎ−Ｆａｃｅ画像（Ｉｍ３４０９）及びＢスキャンであるＯＣＴ断層画像やモーションコントラストデータの断層画像（Ｉｍ３４１１とＩｍ３４１２）等の種々の医用画像であってもよい。すなわち、高画質化処理の対象画像は、例えば、表示部２０の表示画面上に表示されている種々の医用画像の少なくとも一つであればよい。このとき、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化エンジンが用いられてもよい。例えば、ボタン３４２０が押下されると、ＯＣＴＡのＥｎ−Ｆａｃｅ画像に対応する高画質化エンジンを用いてＯＣＴＡのＥｎ−Ｆａｃｅ画像を高画質化処理するだけでなく、断層画像に対応する高画質化エンジンを用いて断層画像も高画質化処理するように構成されてもよい。また、例えば、ボタン３４２０が押下されると、ＯＣＴＡのＥｎ−Ｆａｃｅ画像に対応する高画質化エンジンを用いて生成された高画質なＯＣＴＡのＥｎ−Ｆａｃｅ画像の表示に変更されるだけでなく、断層画像に対応する高画質化エンジンを用いて生成された高画質な断層画像の表示に変更されるように構成されてもよい。このとき、断層画像の位置を示すラインがＯＣＴＡのＥｎ−Ｆａｃｅ画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じてＯＣＴＡのＥｎ−Ｆａｃｅ画像上で移動可能に構成されてもよい。また、ボタン３４２０の表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応する断層画像を高画質化処理して得た高画質な断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎にボタン３４２０に相当する高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。
次に、データベースに保存（記憶）されている情報に基づいて高画質化処理を実行する場合について説明をする。データベースに高画質化処理の実行を行う状態が保存されている場合、レポート画面に遷移した際に、高画質化処理を実行して得た高画質画像をデフォルトで表示する。そして、ボタン３４２０がアクティブ状態としてデフォルトで表示されることで、検者に対しては高画質化処理を実行して得た高画質画像が表示されていることが分かるように構成することができる。検者は、高画質化処理前の低画質画像を表示したい場合には、ボタン３４２０を指定してアクティブ状態を解除することで、低画質画像を表示することが出来る。高画質画像に戻したい場合、検者はボタン３４２０を指定する。データベースへの高画質化処理の実行有無は、データベースに保存されているデータ全体に対して共通、及び撮影データ毎（検査毎）など、階層別に指定するものとする。例えば、データベース全体に対して高画質化処理を実行する状態を保存してある場合において、個別の撮影データ（個別の検査）に対して、検者が高画質化処理を実行しない状態を保存した場合、その撮影データを次回表示する際には高画質化処理を実行しない状態で表示を行う。撮影データ毎（検査毎）に高画質化処理の実行状態を保存するために、不図示のユーザーインターフェース（例えば、保存ボタン）を用いてもよい。また、他の撮影データ（他の検査）や他の患者データに遷移（例えば、検者からの指示に応じてレポート画面以外の表示画面に変更）する際に、表示状態（例えば、ボタン３４２０の状態）に基づいて、高画質化処理の実行を行う状態が保存されるようにしてもよい。これにより、撮影データ単位（検査単位）で高画質化処理実行の有無が指定されていない場合、データベース全体に対して指定されている情報に基づいて処理を行い、撮影データ単位（検査単位）で指定されている場合には、その情報に基づいて個別に処理を実行することが出来る。
本実施形態におけるＯＣＴＡのＥｎ−Ｆａｃｅ画像として、Ｉｍ３４０７とＩｍ３４０８を表示する例を示しているが、表示するＯＣＴＡのＥｎ−Ｆａｃｅ画像は検者の指定により変更することが可能である。そのため、高画質化処理の実行が指定されている時（ボタン３４２０がアクティブ状態）における画像の変更について説明をする。
画像の変更は、不図示のユーザーインターフェース（例えば、コンボボックス）を用いて変更を行う。例えば、検者が画像の種類を表層から脈絡膜血管網に変更した時に、高画質化部４０４は脈絡膜血管網画像に対して高画質化処理を実行し、出力部４０５は高画質化部４０４が生成した高画質な画像をレポート画面に表示する。すなわち、出力部４０５は、検者からの指示に応じて、第１の深度範囲の高画質画像の表示を、第１の深度範囲とは少なくとも一部が異なる第２の深度範囲の高画質画像の表示に変更してもよい。このとき、出力部４０５は、検者からの指示に応じて第１の深度範囲が第２の深度範囲に変更されることにより、第１の深度範囲の高画質画像の表示を、第２の深度範囲の高画質画像の表示に変更してもよい。なお、上述したようにレポート画面遷移時に表示する可能性の高い画像に対しては、既に高画質画像が生成済みである場合、出力部４０５は生成済みの高画質な画像を表示すればよい。なお、画像の種類の変更方法は上記したものに限らず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したＯＣＴＡのＥｎ−Ｆａｃｅ画像を生成することも可能である。その場合、基準となる層、あるいはオフセット値が変更された時に、高画質化部４０４は任意のＯＣＴＡのＥｎ−Ｆａｃｅ画像に対して高画質化処理を実行し、出力部４０５は高画質な画像をレポート画面に表示する。基準となる層、オフセット値の変更は、不図示のユーザーインターフェース（例えば、コンボボックスやテキストボックス）を用いて行われることができる。また、断層画像Ｉｍ３４１１とＩｍ３４１２に重畳表示している境界線３４１３と３４１４のいずれかをドラッグ（層境界を移動）することで、ＯＣＴＡのＥｎ−Ｆａｃｅ画像の生成範囲を変更することが出来る。境界線をドラッグによって変更する場合、高画質化処理の実行命令が連続的に実施される。そのため、高画質化部４０４は実行命令に対して常に処理を行ってもよいし、ドラッグによる層境界の変更後に実行するようにしてもよい。あるいは、高画質化処理の実行は連続的に命令されるが、次の命令が来た時点で前回の命令をキャンセルし、最新の命令を実行するようにしてもよい。なお、高画質化処理には比較的時間がかかる場合がある。このため、上述したどのようなタイミングで命令が実行されたとしても、高画質画像が表示されるまでに比較的時間がかかる場合がある。そこで、検者からの指示に応じてＯＣＴＡのＥｎ−Ｆａｃｅ画像を生成するための深度範囲が設定されてから、高画質画像が表示されるまでの間、該設定された深度範囲に対応するＯＣＴＡのＥｎ−Ｆａｃｅ画像（低画質画像）が表示されてもよい。すなわち、上記深度範囲が設定されると、該設定された深度範囲に対応するＯＣＴＡのＥｎ−Ｆａｃｅ画像（低画質画像）が表示され、高画質化処理が終了すると、該ＯＣＴＡのＥｎ−Ｆａｃｅ画像（該低画質画像）の表示が高画質画像の表示に変更されるように構成されてもよい。また、上記深度範囲が設定されてから、高画質画像が表示されるまでの間、高画質化処理が実行されていることを示す情報が表示されてもよい。なお、これらは、高画質化処理の実行が既に指定されている状態（ボタン３４２０がアクティブ状態）を前提とする場合だけでなく、例えば、検者からの指示に応じて高画質化処理の実行が指示された際に、高画質画像が表示されるまでの間においても、適用することが可能である。
本実施形態では、ＯＣＴＡのＥｎ−Ｆａｃｅ画像として、Ｉｍ３４０７とＩｍ３４０８に異なる層を表示し、低画質と高画質な画像は切り替えて表示する例を示したが、これに限らない。例えば、Ｉｍ３４０７には低画質なＯＣＴＡのＥｎ−Ｆａｃｅ画像、Ｉｍ３４０８には高画質なＯＣＴＡのＥｎ−Ｆａｃｅ画像を並べて表示するようにしてもよい。画像を切り替えて表示する場合には、同じ場所で画像を切り替えるので変化がある部分の比較を行いやすく、並べて表示する場合には、同時に画像を表示することが出来るので画像全体を比較しやすい。
次に、図３４（ａ）と（ｂ）を用いて、画面遷移における高画質化処理の実行について説明を行う。図３４（ｂ）は、図３４（ａ）におけるＯＣＴＡのＥｎ−Ｆａｃｅ画像Ｉｍ３４０７を拡大表示した画面例である。図３４（ｂ）においても、図３４（ａ）と同様にボタン３４２０を表示する。図３４（ａ）から図３４（ｂ）への画面遷移は、例えば、ＯＣＴＡのＥｎ−Ｆａｃｅ画像Ｉｍ３４０７をダブルクリックすることで遷移し、図３４（ｂ）から図３４（ａ）へは閉じるボタン３４３０で遷移する。なお、画面遷移に関しては、ここで示した方法に限らず、不図示のユーザーインターフェースを用いてもよい。画面遷移の際に高画質化処理の実行が指定されている場合（ボタン３４２０がアクティブ）、画面遷移時においてもその状態を保つ。すなわち、図３４（ａ）の画面で高画質画像を表示している状態で図３４（ｂ）の画面に遷移する場合、図３４（ｂ）の画面においても高画質画像を表示する。そして、ボタン３４２０はアクティブ状態にする。図３４（ｂ）から図３４（ａ）へ遷移する場合にも同様である。図３４（ｂ）において、ボタン３４２０を指定して低画質画像に表示を切り替えることも出来る。画面遷移に関して、ここで示した画面に限らず、経過観察用の表示画面、又はパノラマ画像用の表示画面など同じ撮影データを表示する画面への遷移であれば、高画質画像の表示状態を保ったまま遷移を行う。すなわち、遷移後の表示画面において、遷移前の表示画面におけるボタン３４２０の状態に対応する画像が表示される。例えば、遷移前の表示画面におけるボタン３４２０がアクティブ状態であれば、遷移後の表示画面において高画質画像が表示される。また、例えば、遷移前の表示画面におけるボタン３４２０のアクティブ状態が解除されていれば、遷移後の表示画面において低画質画像が表示される。なお、経過観察用の表示画面におけるボタン３４２０がアクティブ状態になると、経過観察用の表示画面に並べて表示される異なる日時（異なる検査日）で得た複数の画像が高画質画像に切り換わるようにしてもよい。すなわち、経過観察用の表示画面におけるボタン３４２０がアクティブ状態になると、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。なお、経過観察用の表示画面の例を、図３８に示す。検者からの指示に応じてタブ３８０１が選択されると、図３８のように、経過観察用の表示画面が表示される。このとき、Ｅｎ−Ｆａｃｅ画像の深度範囲を、リストボックスに表示された既定の深度範囲セット（３８０２及び３８０３）から検者が選択することで変更できる。例えば、リストボックス３８０２では網膜表層が選択され、また、リストボックス３８０３では網膜深層が選択されている。上側の表示領域には網膜表層のＥｎ−Ｆａｃｅ画像の解析結果が表示され、また、下側の表示領域には網膜深層のＥｎ−Ｆａｃｅ画像の解析結果が表示されている。すなわち、深度範囲が選択されると、異なる日時の複数の画像について、選択された深度範囲の複数のＥｎ−Ｆａｃｅ画像の解析結果の並列表示に一括して変更される。このとき、解析結果の表示を非選択状態にすると、異なる日時の複数のＥｎ−Ｆａｃｅ画像の並列表示に一括して変更されてもよい。そして、検者からの指示に応じてボタン３４２０が指定されると、複数のＥｎ−Ｆａｃｅ画像の表示が複数の高画質画像の表示に一括して変更される。また、解析結果の表示が選択状態である場合には、検者からの指示に応じてボタン３４２０が指定されると、複数のＥｎ−Ｆａｃｅ画像の解析結果の表示が複数の高画質画像の解析結果の表示に一括して変更される。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。また、深度範囲の指定に用いる層境界の種類とオフセット位置をそれぞれ、３８０５、３８０６のようなユーザーインターフェースから一括して変更することができる。なお、断層画像も一緒に表示させ、断層画像上に重畳された層境界データを検者からの指示に応じて移動させることにより、異なる日時の複数のＥｎ−Ｆａｃｅ画像の深度範囲を一括して変更されてもよい。このとき、異なる日時の複数の断層画像を並べて表示し、１つの断層画像上で上記移動が行われると、他の断層画像上でも同様に層境界データが移動されてもよい。また、画像投影法やプロジェクションアーティファクト抑制処理の有無を例えばコンテキストメニューのようなユーザーインターフェースから選択することにより変更してもよい。また、選択ボタン３８０７を選択して選択画面を表示させ、該選択画面上に表示された画像リストから選択された画像が表示されてもよい。なお、図３８の上部に表示されている矢印３８０４は現在選択されている検査であることを示す印であり、基準検査（Ｂａｓｅｌｉｎｅ）はＦｏｌｌｏｗ−ｕｐ撮影の際に選択した検査（図３８の一番左側の画像）である。もちろん、基準検査を示すマークを表示部に表示させてもよい。また、「Ｓｈｏｗ Ｄｉｆｆｅｒｅｎｃｅ」チェックボックス３８０８が指定された場合には、基準画像上に基準画像に対する計測値分布（マップもしくはセクタマップ）を表示する。さらに、この場合には、それ以外の検査日に対応する領域に基準画像に対して算出した計測値分布と当該領域に表示される画像に対して算出した計測分布との差分計測値マップを表示する。計測結果としてはレポート画面上にトレンドグラフ（経時変化計測によって得られた各検査日の画像に対する計測値のグラフ）を表示させてもよい。すなわち、異なる日時の複数の画像に対応する複数の解析結果の時系列データ（例えば、時系列グラフ）が表示されてもよい。このとき、表示されている複数の画像に対応する複数の日時以外の日時に関する解析結果についても、表示されている複数の画像に対応する複数の解析結果と判別可能な状態で（例えば、時系列グラフ上の各点の色が画像の表示の有無で異なる）時系列データとして表示させてもよい。また、該トレンドグラフの回帰直線（曲線）や対応する数式をレポート画面に表示させてもよい。
本実施形態においては、ＯＣＴＡのＥｎ−Ｆａｃｅ画像に関して説明を行ったが、これに限らない。本実施形態に係る表示、高画質化、及び画像解析等の処理に関する画像は、輝度のＥｎ−Ｆａｃｅ画像でもよい。さらには、Ｅｎ−Ｆａｃｅ画像だけではなく、断層画像やＳＬＯ画像、眼底写真、又は蛍光眼底写真など、異なる画像であっても構わない。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。
このような構成により、本実施形態に係る高画質化部４０４が処理した画像を出力部４０５が表示部２０に表示することができる。このとき、上述したように、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも１つが選択された状態である場合には、表示画面が遷移されても、選択された状態が維持されてもよい。また、上述したように、複数の条件のうち少なくとも１つが選択された状態である場合には、他の条件が選択された状態に変更されても、該少なくとも１つが選択された状態が維持されてもよい。例えば、出力部４０５は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、ボタン３４２０が指定されると）、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、出力部４０５は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、ボタン３４２０の指定が解除されると）、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。また、出力部４０５は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、出力部４０５は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、出力部４０５は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、出力部４０５は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。また、高画質画像の表示が非選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、出力部４０５は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、低画質画像の第１の種類の解析結果の表示を低画質画像の第２の種類の解析結果の表示に変更してもよい。また、高画質画像の表示が選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、出力部４０５は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、高画質画像の第１の種類の解析結果の表示を高画質画像の第２の種類の解析結果の表示に変更してもよい。なお、経過観察用の表示画面においては、上述したように、これらの表示の変更が、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。
＜第２５の実施形態＞
次に、図３５を参照して、第２５の実施形態に係る画像処理装置について説明する。本実施形態では、処理判定部３５０６ついて説明を行う。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る処理判定部３５０６について説明する。
処理判定部３５０６は、高画質化部４０４における高画質化処理をＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で処理をするか、ＣＰＵで処理をするか判定を行う。
処理判定部３５０６は高画質化部４０４の処理を実行する装置に搭載されているＧＰＵのＧＰＵ名、ＧＰＵドライバ、ＧＰＵ搭載のメモリサイズなど、機械学習を用いる高画質化処理を実行するのに十分な環境であるか否かを判定する。処理判定部３５０６により、ＧＰＵを使用可能であると判定された場合、高画質化部４０４はＧＰＵを用いて処理を行う。処理判定部３５０６により、ＧＰＵを使用不可能であると判定された場合、高画質化部４０４はＣＰＵを用いて処理を行う。処理判定部３５０６によりＧＰＵを使用不可能であると判定された場合、ＧＰＵと比較してＣＰＵの方が処理に時間がかかるため、出力部４０５はＧＰＵではなくＣＰＵで処理を行うことを表示部２０に表示する。なお、ＧＰＵを使用可能な場合にＧＰＵを用いて処理する表示をしてもよい。表示部２０への表示の仕方として、メッセージを表示してもよいし、ＧＰＵ、ＣＰＵなど単語だけを表示するようにしてもよい。なお、高画質化部４０４の処理をＣＰＵとすることで処理に時間がかかる場合（例えば、数１０秒〜数分以上）、高画質化処理の実行を不可として、例えば、図３４で示したボタン３４２０を非表示としてもよい。高画質化処理を実行するためのユーザーインターフェースを非表示とすることで、その機能を使用することが出来ない。使用を不可とする場合は、使用不可であることを表示部２０へ表示してもよい。
処理判定部３５０６はＧＰＵとＣＰＵの判定を行うだけに限らず、高画質化処理自体の実行判定も行うことが出来る。例えば、高画質化処理を実行するためにライセンス登録が必要である場合について説明をする。処理判定部３５０６はライセンス登録がされているか否かの判定を行い、ライセンス登録がされている場合には高画質化処理の実行可として、例えば、図３４で示したボタン３４２０を表示する。ライセンス登録がされていない場合には、図３４で示したボタン３４２０を非表示とすることで使用が出来ないものとする。なお、高画質化処理を実行するためにライセンス登録が必要である場合は、上述したＧＰＵ処理とＣＰＵ処理判定の前に実行をする。
処理判定部３５０６は処理の実行判定を自動的に行うだけではなく、検者の指示に基づいて行うようにしてもよい。例えば、不図示のユーザーインターフェースを用いて、検者からＣＰＵ実行を指定されている場合、ＧＰＵではなくＣＰＵで処理をするように判定する。その場合、処理判定部３５０６は装置に搭載されているＧＰＵを調べる必要はなく、高画質化部４０４はＣＰＵを用いて処理を行う。
上述した処理判定部３５０６の処理は、高画質化部４０４の処理を行う度に毎回実施する必要はなく、画像処理装置を起動時に行えばよい。あるいは、定期的（例えば、１日に１度）に判定を行うようにしてもよい。
さらに、ＧＰＵ処理を行う判定になっている場合でも、他のＧＰＵプロセスが走っている場合には、ＧＰＵデバイスメモリなどを確認することで、ＣＰＵ処理に切り替えてもよい。このとき本実施形態に係る画像処理装置が行う画像処理として他のＧＰＵプロセスとの競合を考慮してもよいし、他のプログラムによるＧＰＵプロセスを考慮してもよい。
なお、本実施形態に係る画像処理装置が行う他のＧＰＵプロセスである場合には、他のＧＰＵプロセスがＣＰＵ処理可能であるならば、互いに優先度をあらかじめ設定するなどして、ＧＰＵ処理かＣＰＵ処理を切り替えてもよい。
このような構成により、本実施形態に係る処理判定部３５０６が高画質化処理を実行可能か否か判定する。そして、適切な環境を選択して機械学習の処理を実行することが可能となる。
＜第２６の実施形態＞
次に、図４を参照して、第２６の実施形態に係る画像処理装置について説明する。本実施形態では、まず、学習時の画像にノイズが付加され、高画質化エンジンがノイズ成分を学習することにより、高画質化部が高画質画像を生成する場合を考える。この場合において、適応的なノイズ成分の付加方法について説明をする。特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
第１８の実施形態で、付加するノイズ成分の大きさによって、高画質化エンジンのノイズ除去効果が異なることを記載している。撮影装置１０や他の装置から取得する入力画像は、種々の要因（例えば、電気的なノイズ）によるノイズが含まれている。特に、ＯＣＴＡ画像の場合、ノイズを含んだ複数のＯＣＴ間の変化量を利用した血管抽出を行うため、ＯＣＴの明るさに基づく画質劣化要因を持つ。これは画像全体の場合もあれば、まつ毛などが写りこむことで一部分に影響する場合もある。
図３９（ａ）は、本実施形態における学習データの平均輝度の分布に関する一例を示したものである。図３９（ｂ）は、本実施形態における学習データの平均輝度の分布に関する別の例を示したものである。ここで、平均輝度とは、１つの画像における複数の画素値の平均値等の統計値のことである。また、平均輝度の分布とは、複数の画像に対応する複数の統計値の分布のことである、なお、平均輝度は、画像全体から算出してもよいし、一部領域から算出してもよい。例えば、周辺部などの領域は省いてもよいし、不適切な領域（まつ毛などが写りこんだ部分）はあらかじめ省いてもよい。いずれにしても学習時の教師画像の明るさは、ばらつきがあることが分かる。そこで、図３９（ａ）あるいは図３９（ｂ）のようにノイズパラメータ制御曲線（図中の点線）を設定し、教師画像ごとに付加するノイズの大きさを決定する。すなわち、学習データの入力画像（入力データ）として用いられる複数の医用画像に対応する複数の統計値の分布に応じた大きさのノイズが該複数の医用画像に付加されることで、教師画像（正解データ）を得ることができる。このとき、ノイズの大きさは、該分布を用いて、該複数の医用画像それぞれにおいて得られるものである。なお、このノイズパラメータ制御曲線は、直線であってもよいし、付加するノイズ成分の大きさに上限または下限（または両方）を設定してもよい。また、学習データセットごとにノイズパラメータ制御曲線を変更してもよい。図３９（ｂ）のように全体的に暗い教師画像に対しては、付加するノイズ成分の大きさがより小さくなるように設定してもよい。ここで、ＯＣＴＡ正面画像は、表層、深層、外層等の深度範囲に応じて、画像の見え方や明るさが異なる。このため、ノイズパラメータ制御曲線は、深度範囲毎に設定されてもよい。例えば、第１の深度範囲に対応する第１の分布を用いて得られる大きさのノイズが該第１の深度範囲に対応する複数のＯＣＴＡ正面画像に付加される。さらに、第２の深度範囲に対応する第２の分布を用いて得られる大きさのノイズが該第２の深度範囲に対応する複数のＯＣＴＡ正面画像に付加される。このように、深度範囲毎に得られる上記分布を用いて得た大きさのノイズを付加して得た複数の医用画像が教師画像として得られるように構成されてもよい。
ノイズパラメータ制御曲線は関数として定義してもよいし、ＬＵＴ（Ｌｏｏｋ−Ｕｐ Ｔａｂｌｅ）として定義してもよい。すなわち、本実施形態において、学習時に適応的に付加されたノイズ成分で教師画像が構成されるため本実施形態に係る高画質化部４０４は、取得部４０１で取得する様々な明るさの入力画像に対して、よりロバスト性の高い高画質画像を生成することができる。
また、教師画像として、画像の一部領域を利用する場合には、元の画像全体の明るさから付加するノイズ成分の大きさを決定してもよいし、教師画像ごとに付加するノイズ成分の大きさを決定してもよい。さらに、眼科画像のように、黄斑部や乳頭部など特定の領域の明るさに基づいて付加するノイズ成分の大きさを決定してもよい。
以上、付加するノイズ成分の大きさに関して、教師画像の明るさに基づいて制御する方法を説明したが、本発明はこれに限定されるものではない。すなわち、画像のフラクタル次元を算出するなどすることによって、画像の形状に基づいて、ノイズ量を適応的に付加しても構わない。具体的には、教師画像全体でフラクタル次元を算出してもよいし、部分領域ごとにフラクタル次元を算出して、領域ごとにノイズ成分の大きさを調整してもよい。
さらに、入力画像の画質劣化の要因としてノイズについて説明したが、本発明は、これに限定されるものでもない。例えば、撮影装置のレンズ収差による劣化やレンズ特性（ＭＴＦなど）によるボケなど、劣化要因は他にもあり、それぞれの劣化要因に基づいた教師画像で学習を行った高画質化エンジンを構成してもよい。
＜第２７の実施形態＞
次に、図４０、図４１および図４３を参照して、第２７の実施形態に係る画像処理装置について説明する。第２６の実施形態では、教師画像の明るさに基づいて付加するノイズ成分の大きさを制御し学習を行う方法を説明したが、本実施形態では、適応的に明るさ補正を行った教師画像で学習を行うことで高画質化エンジンを構成する。特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
図４０は入力画像の輝度ヒストグラムを作成し、既知のヒストグラム平均化（平坦化）法によって、入力画像の入力信号を補正して出力信号に変換するための補正曲線の例を示したものである。図４０（ａ）は入力画像の輝度に関する累積ヒストグラムに基づき、入力信号と出力信号と対応付ける補正曲線３７１の一例を示している。また、図４０（ｂ）は後述する補正曲線３７１の逆補正曲線３７２である。すなわち、高画質化処理において、高画質化エンジンに対する入力画像が、医用画像における少なくとも一部の領域の画素値を上げるように又は下げるように補正されたものである場合を考える。このとき、例えば、入力画像が画素値を上げるように補正して得た医用画像である場合には、高画質画像の画素値を下げるように補正が行われる。また、例えば、入力画像が画素値を下げるように補正して得た医用画像である場合には、高画質画像の画素値を上げるように補正が行われる。それぞれの補正曲線は、一般的にはＬＵＴとして定義されトーンカーブとも呼ばれており、トーンカーブによる入力画像の補正はトーンカーブ補正と呼ばれている。ヒストグラム平均化法は、入力画像の輝度に関する累積ヒストグラムに基づいて明るさ補正を行うものである。具体的には、累積ヒストグラムの形状に基づいてトーンカーブを設定する。ここで、明るさ補正は、例えば、図４３の明るさ補正部４００６により実行される。ここで、図４３は、本実施形態に係る画像処理装置の概略的な構成の一例を示す。
本実施形態では、教師画像とする学習データセットを上記ヒストグラム平均化法で補正して、所定のノイズ成分の大きさで学習を行った高画質化エンジンを構成する。ここで、ヒストグラム平滑化法によるトーンカーブを適用しても、すべての明るさが統一されるわけではない。すなわち、教師画像に付加するノイズ成分の大きさは、必ずしもひとつに固定する必要はないことは言うまでもない。
図４１は、本実施形態における高画質化部４０４の一連の画像処理のフロー図である。ステップＳ３８１０で取得した入力画像に対して、明るさの補正を行うトーンカーブを設定し補正する（Ｓ３８２０）。次に、上記学習で得られた高画質化エンジンで高画質化処理を実行する（Ｓ３８３０）。次に、高画質画像に対して、Ｓ３８２０のトーンカーブの逆トーンカーブを適用する（Ｓ３８４０）。最後に、ステップＳ３８５０で、高画質画像を出力する。
このように画像処理エンジンを構成することによって、本実施形態に係る高画質化部４０４は、様々な明るさの入力画像に対して、よりロバスト性の高い高画質画像を生成することができる。
なお、血管画像などの場合、画像の特性上、黒（輝度値０）、白（８ビットの場合、輝度値２５５）が多くなるため、所定の範囲（例えば輝度が１０〜２４５）における累積ヒストグラムからトーンカーブを設定してもよい。また、累積ヒストグラムは、画像全体で構成してもよいし、一部領域のヒストグラムから構成してもよい。さらに、不適切領域（例えばまつ毛の影など）を省いたヒストグラムから構成してもよい。
トーンカーブの入出力は必ずしも８ビットである必要はなく、例えば、入力信号５．８などは、ＬＵＴ［５］とＬＵＴ［６］の出力信号値を用いて重みづけ加算をしてもよい。また、８ビットの範囲で画像を表示する場合でも、信号処理の内部は浮動小数点数で保持してもよい。この場合、負値および２５５を超える信号に対するトーンカーブを設定してもよい。
さらに、明るさを補正する方法として、ヒストグラム平均化法を例に説明したが、これに限定されるわけではない。例えば、入力画像のハイライト、シャドー、中間値、平均値など画像固有の特性値を利用して、トーンカーブ補正を定義してもよい。ここで、ハイライトとは、画像の輝度ヒストグラムにおいて、明るい方からの累積画素数が所定の画素数（例えば、全画素数の１％）となる輝度値である。また、シャドーとは画像の輝度ヒストグラムにおいて、暗い方からの累積画素数が所定の画素数（例えば、全画素数の１％）となる輝度値である。また、上記ハイライトおよびシャドーおよび中間値などが所定の値になるようにトーンカーブを設定してもよい。
＜第２８の実施形態＞
次に、図４、図４２を参照して、第２８の実施形態に係る画像処理装置について説明する。本実施形態では、既存の教師画像から解像度を変調した画像を生成し、それらを学習に加えることで高画質化エンジンを構成する。特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。
撮影装置１０によって取得可能な画像解像度が複数ある場合に、それぞれの解像度の画像を混在させて学習データセットを構成して学習させることで、高画質化エンジンを構成してもよい。しかしながら、高画質化エンジンを構成するための教師画像を数多く取得するためには、相応の手間がかかる。一般的に、低解像度画像から高解像度画像に変換する場合には、いわゆる超解像度処理といわれる画像処理が必要となり偽像を生成するなどの課題もある。一方で、高解像度画像から低解像度画像に変換する場合には、実測に基づくデータからの補間処理が可能となる。すなわち、取得部４０１で取得される高解像度画像に加えて、高解像度画像から所定の低解像度に変換した画像を教師画像として学習に加える。画像の解像度変換は、既知のニアレストネーバー法、バイリニア法、バイキュービック法を利用してもよい。
このとき、撮像装置１０により実際に低解像度でサンプリングする場合、周辺部の影響を受けた信号値が得られるため、周辺の画素値を所定の割合で畳み込んだ上で、ニアレストネーバーにより低解像度化処理を行ってもよい。周辺画素の畳み込み処理は、既知のフィルタ処理を適用すればよい。図４２（ａ）にフィルタ係数の一例を示す。図中のグレー領域が注目画素であり、それ以外が周辺画素である。注目画素の係数に対して、周辺画素の係数は小さく設定されている。また、係数の総和は１とすればよい。
また、図４２（ｂ）に示すように注目画素からの半径ｒに応じて、例えばガウス分布となるような係数をＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）として設定してもよい。ＰＳＦは、注目画素に対して等方性である必要はなく、楕円形状のようなＰＳＦを設定してもよい。なお、入力画像およびＰＳＦをＦＦＴによって周波数空間に変換し、Ｃｏｎｖｏｌｕｔｉｏｎ処理によって畳み込み処理を実行してもよい。これらのフィルタ係数やＰＳＦは、撮影装置１０により低解像度モード（例えば、単位長さ辺りのＡスキャン本数が相対的に少ない撮像方法）で入力画像を取得する際のデバイス固有の特性を考慮して設定すればよい。これは、撮影装置１０により、低解像度モードで取得した低解像度画像と、高解像度モード（例えば、単位長さ辺りのＡスキャン本数が相対的に多い撮像方法）で取得した高解像度画像とを用いて、最適なフィルタ係数またはＰＳＦを求めればよい。このとき、低解像度モードで取得した低解像度画像と、高解像度画像に対して低解像度化処理を施して得た低解像度画像とが類似するようなフィルタ係数またはＰＳＦを求めればよい。さらに、ディープラーニングを用いた低解像度化エンジンを構成してもよい。また、上記いずれかの方法によって、周辺画素情報を加えた画像から、ニアレストネーバー法などで低解像度画像を生成し学習に加えればよい。このように、高解像度画像から低解像度画像を生成し、学習に加えることですべての解像度で入力画像を取得しなくても、低解像度画像に対しても学習することが可能となる。また、低解像度画像を用いて学習することで、種々の学習済モデルの出力においてロバストを向上させることができる。なお、学習データとして用いられる画像のサイズは互いに対応させる（例えば、同じにする）ように構成されればよい。さらに、３次元ＯＣＴ画像やＯＣＴＡ画像で、３次元の畳み込み処理を行い、３次元データで低解像度化処理をした上でＯＣＴ画像またはＯＣＴＡ画像を生成してもよい。一方で、本実施形態では、高解像度画像から低解像度画像を生成する方法を示したが、低解像度画像から高解像度画像を生成して学習に加えてもよい。従来の高解像度化処理の方法としてバイキュービック補間などで高解像度画像を生成してもよいし、ディープラーニングを利用した超解像度処理を適用して高解像度画像を生成してもよい。
（変形例１）
上述した様々な実施形態において、高画質化エンジンの機械学習モデルと真贋評価エンジンの機械学習モデルとが競合するようにトレーニングすることで、高画質化エンジンと真贋評価エンジンとの効率や精度を向上させるようにしてもよい。ここで、複数のモデルが競合するようにトレーニングするネットワークとは、例えば、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）である。このとき、高画質化エンジンの機械学習モデルは、画像を生成する生成モデル（Ｇｅｎｅｒａｔｏｒ）に相当する。また、真贋評価エンジンの機械学習モデルは、生成された画像が本物か否かを識別する識別モデル（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）に相当する。例えば、高画質化の正解となる画像を真贋評価エンジンに評価させると真作ラベルが出力されるように、該高画質化エンジンの機械学習モデルをトレーニングする。そして、高画質化エンジンが生成する画像を真贋評価エンジンに評価させると贋作ラベルを出力するように、該真贋評価エンジンの機械学習モデルをトレーニングさせる。結果的に、高画質化エンジンが生成する画像と高画質化の正解となる画像との区別がつかなくなるように、繰り返しトレーニングをする。これによって、高画質化エンジンと真贋評価エンジンの効率や精度が向上する。
なお、高画質化エンジンは、敵対的生成ネットワークにより生成された少なくとも１つの画像を含む学習データを学習して得た学習済モデルであってもよい。このとき、敵対的生成ネットワークにより生成された少なくとも１つの画像を学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。
（変形例２）
上述した様々な実施形態及び変形例において、高画質化エンジンが生成した高画質画像と入力画像とを合成して出力してもよい。例えば、入力画像の画素値が低い（画像として暗い）場合など、高画質化エンジンがノイズ成分として画素値を低減してしまうことが考えられる。そのため、入力画像の明るさに基づいて、高画質化エンジンが生成した画像と入力画像との合成の割合を変更して出力するようにしてもよい。すなわち、出力部４０５（表示制御部）は、入力画像（第１の画像）の少なくとも一部の領域に関する情報を用いて得た割合により入力画像と高画質画像（第２の画像）とを合成することにより得た合成画像を出力してもよい。このとき、２つの画像の合成の割合は、入力画像の少なくとも一部の領域における画素値（少なくとも一部の領域の明るさ）を上記情報として用いることにより決定されてもよい。このとき、例えば、入力画像における画素値が低い（暗い）ほど、高画質画像に対する入力画像を合成する割合を高くする。また、例えば、入力画像における画素値が高い（明るい）ほど、高画質画像に対する入力画像を合成する割合を低くする。具体的には、画像全体の画素値の統計値（平均値、中央値、最頻値、最小値、最大値、分散、標準偏差など）に基づいて、合成する割合を変える。例えば、入力画像の画素値の統計値が第一の閾値よりも低い場合、高画質化エンジンが生成した画像と入力画像とを０．５：０．５の割合で合成（２つの画像の平均）して得た合成画像を出力する。あるいは、入力画像の画素値の統計値が第二の閾値よりも高い場合、高画質化エンジンが生成した画像と入力画像とを０．９：０．１の割合で合成（２つの画像の重み付き平均）して得た合成画像を出力する。なお、第一の閾値と第二の閾値の間の合成する割合は滑らかに変化するものとする。入力画像から計算する統計値は、画像全体で求めてもよいし、いくつかの領域に分割して局所的な統計値を求めるようにしてもよい。画像をいくつかの領域に分割する場合、隣接領域においては合成する割合が急激に変化しないように、滑らかな値になるように割合値を補正するようにしてもよい。さらに、領域分割をするのではなく、ガウシアンフィルタのような平滑化フィルタを用いて画像をぼかすことにより、ピクセル単位での値を第一、第二の閾値と比較することで、ピクセル毎に合成する割合を求めてもよい。なお、画素値の統計値を計算するための画像として、入力画像に限らない。例えば、入力画像がＯＣＴＡの場合、輝度のＥｎｆａｃｅやＰｒｏｊｅｃｔｉｏｎ画像を用いて画素値の統計値を計算するようにしてもよい。なお、入力画像の明るさ（画素値）は、当然、入力画像から生成される高画質画像の明るさ（画素値）にも影響する。このため、合成する際の割合は、入力画像の明るさ（画素値）だけでなく、当然、高画質画像の明るさ（画素値）を用いて得られたものであってもよい。すなわち、出力部４０５（表示制御部）は、入力画像（第１の画像）と高画質画像（第２の画像）とのうち少なくとも一つの画像における少なくとも一部の領域に関する情報を用いて得た割合によって、上記合成画像を出力してもよい。
さらには、入力画像の画素値の統計値ではなく、入力画像と高画質化エンジンが生成した高画質画像との差分により、２つの画像の合成の割合を変更するようにしてもよい。すなわち、２つの画像の合成の割合は、２つの画像の互いに対応する少なくとも一部の領域における画素値の差分値を上記情報として用いることにより決定されてもよい。具体的には、入力画像と高画質画像との間に差が大きい場合に入力画像の割合を大きくするようにしてもよい。すなわち、高画質画像がノイズ除去をしすぎている場合に、入力画像の比率を大きくして合成することで、自然な高画質画像を生成する。なお、差分値を求める際には、単純な差分情報だけではなく、構造的な差分情報により判断するようにしてもよい。例えば、Ｈｅｓｓｉａｎフィルタのようなフィルタを用いて線状構造のみを抽出するようにしてもよい。それによりランダムなノイズは差分として検出されず、血管のようなある程度連続性のあるノイズだけを抽出することが出来る。さらには、単純にノイズ成分をラベリング処理して、ある程度の大きさを持つノイズだけを抽出するようにしてもよい。差分によって合成の割合を変更する場合においても同様に、画像全体で求めてもよいし、いくつかの領域に分割して局所的な差分値を求めるようにしてもよい。
さらに、部位や画像を認識して合成する割合を求めてもよい。これに関して、例えば表層のＯＣＴＡ画像で説明をする。表層のＯＣＴＡ画像において、ＦＡＺ（中心窩の無血管領域）には、血管が存在しないため、ＯＣＴＡ画像においてＦＡＺは暗くなってよい。このため、ＦＡＺに関しては、入力画像に対する高画質画像の割合を高くすることが考えられる。すなわち、ノイズがより低減されている画像の方の割合を高くする。一方、ＦＡＺ以外の位置に暗い領域がある場合、その領域が無血管領域（ＮＰＡ：Ｎｏｎｐｅｒｆｕｓｉｏｎ Ａｒｅａ）であるのか、本当は血管が存在するのに、影等によって輝度が低下した領域であるのか等の判断が難しい。そこで、入力画像に対する高画質画像の割合を低くすることが考えられる。すなわち、本来存在する低輝度の領域が画像から消えてしまっている可能性がある方の画像の割合を低くする。このように、画像の明るさや差分変化だけではなく、部位を認識して合成する割合を変化させてもよい。次に画像を認識する場合について説明をする。ＯＣＴＡ画像は、表層、深層、外層では、深さに応じて画像の見え方や明るさが変わる。そのため、対象画像の種類がどの層かを認識し、層の種類に応じて割合を変化させてもよい。画像の認識は、層を生成する際の境界線の位置情報を用いて行ってもよいし、画像から自動的に認識するようにしてもよい。すなわち、画像の明るさだけで判断するのではなく、どの深度から生成されたＯＣＴＡ画像かによって合成する割合を変更してもよい。例えば、表層のＯＣＴＡ画像は全体的に明るく、外層のＯＣＴＡ画像では全体的に暗くなる。そのため、表層のＯＣＴＡ画像と外層のＯＣＴＡ画像とにおいて、画素値の統計値によって合成する割合の第一、第二の閾値と、それに対応する割合はそれぞれ違う値としてもよい。例えば、表層において第一の閾値よりも低い場合、高画質化エンジンが生成した画像と入力画像とを０．５：０．５の割合で合成するが、外層においては第一の閾値よりも低い場合、高画質化エンジンが生成した画像と入力画像とを０．７：０．３の割合で合成するというようにしてもよい。
なお、上述した画像合成は、画素値自体を合成する処理について説明をしているが、画像の不透明度を変更するようにしてもよい。すなわち、合成の割合をアルファブレンドの値としてもよい。そのため、例えば、入力画像の割合が０．３とする場合、高画質化エンジンが生成した画像のアルファ値は１、入力画像のアルファ値は０．３とした画像を表示するようにしてもよい。この場合、高画質化エンジンが生成した画像は必ず表示するようにし、入力画像のアルファ値を変更して半透明で表示する方が望ましい。
また、高画質化エンジンが生成した画像と入力画像とを合成する画像を出力する場合、上述したように高画質化エンジンが自動的に割合を決めた画像を出力するようにしてもよい。また、２つの画像の合成の割合は、不図示のユーザーインターフェースを用いて、検者からの指示に応じて変更可能に構成されてもよい。このとき、ユーザーインターフェースとしては、スライダーバーやテキストボックスへの数値入力などで割合を変更できるようにしてもよいし、割合を変えた画像を複数提示して選択出来るようにしてもよい。
また、入力画像と高画質画像とを合成する割合は、医用画像を入力データとし、該医用画像と該医用画像を高画質化して得た高画質医用画像とを合成する割合に関する情報を正解データ（出力データ）とする学習データにより学習して得た学習済モデルを用いて、入力画像の少なくとも一部の領域に関する情報から決定されてもよい。このとき、割合に関する情報は、例えば、検者からの指示に応じて設定（変更）された割合の値であってもよい。また、学習済モデルは、例えば、医用画像と、該医用画像を高画質化して得た高画質医用画像とをセットとする入力データを含む学習データにより学習して得たものであってもよい。このとき、学習済モデルは、上記学習データを用いた機械学習により得ることができる。
ここで、種々の学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。また、機械学習は、このようなモデルにも限らず、学習前に予め医用画像を用いて得た特徴量を学習データとして学習するものであってもよい。例えば、機械学習は、サポートベクターマシン、アダブースト、ランダムフォレスト、ベイジアンネットワーク等であってもよい。
また、上述した学習済モデルは、検者からの指示に応じて設定（変更）された割合の値を学習データとする追加学習により更新されてもよい。例えば、入力画像が比較的暗いときに、高画質画像に対する入力画像の割合を検者が高く設定する傾向にあれば、学習済モデルはそのような傾向となるように追加学習することになる。これにより、例えば、検者の好みに合った合成の割合を得ることができる学習済モデルとしてカスタマイズすることができる。このとき、設定（変更）された割合の値を追加学習の学習データとして用いるか否かを、検者からの指示に応じて決定するためのボタンが表示画面に表示されていてもよい。また、学習済モデルを用いて決定された割合をデフォルトの値とし、その後、検者からの指示に応じて割合の値をデフォルトの値から変更可能となるように構成されてもよい。また、高画質化エンジンは、高画質化エンジンにより生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。
なお、本変形例に示した高画質化エンジンが生成した画像と入力画像とを合成して出力する合成画像は、上述した様々な実施形態で説明をした高画質画像の代わりとして出力することが可能であり、例えば、経過観察やパノラマ画像などの表示画面においても同様である。すなわち、本変形例における合成画像を複数の位置で取得し、複数の合成画像を用いて広画角画像を生成してもよい。また、複数の合成画像を用いて生成して得た広画角画像をパノラマ画像用の表示画面に表示させてもよい。また、本変形例における合成画像を異なる日時で取得し、複数の合成画像を経過観察用の表示画面に並べて表示させてもよい。また、本変形例における合成画像に対して血管解析処理等のような解析処理をすることも可能である。
また、高画質化エンジンによる高画質化画像と入力画像との種々の合成処理を施した合成画像を用いて、高画質化エンジンを構成してもよい。すなわち、入力画像と合成画像とのペアであらかじめ学習を行った高画質化エンジンを用いれば、高画質化処理後に合成処理を行う演算コストを削減することができる。学習方法としては、新規に学習を行ってもよいし、既存の高画質化エンジンを転移学習によって更新してもよい。すなわち、更新された高画質化エンジンによる高画質化画像と入力画像の合成画像を用いて、さらに高画質化エンジンを構成または更新することも可能である。例えば、異なる深さのＯＣＴＡのＥｎ−Ｆａｃｅ画像毎に最適な合成画像によって、高画質化エンジンを構成または更新することで、深さによる合成処理の分岐処理をひとつの高画質化エンジンに集約することができる。また、Ｅｎ−Ｆａｃｅ画像の明るさに対しても同様に、明るさに応じて最適な合成処理によって、高画質化エンジンを構成または更新してもよい。このとき、合成処理は特性ごとに分けて、高画質化エンジンを更新してもよいし、すべての特性をまとめたペアで高画質化エンジンを構成または更新してもよい。さらに、高画質化エンジンの構成または更新は、繰り返し行ってもよい。なお、上述した合成画像は、高画質化用の学習済モデルの学習データに用いられるだけでなく、例えば、後述する種々の学習済モデルの学習データに用いられてもよい。
（変形例３）
上述した様々な実施形態及び変形例における出力部４０５は、表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。このとき、例えば、各種のアーティファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーティファクトは、例えば、血管領域等による光吸収により生じる偽像領域、プロジェクションアーティファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーティファクト等であってもよい。また、アーティファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、上述したような様々なアーティファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、シュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。
また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。また、学習済モデルは、輝度正面画像及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は輝度のＥｎ−Ｆａｃｅ画像に対応し、モーションコントラスト正面画像はＯＣＴＡのＥｎ−Ｆａｃｅ画像に対応する。また、高画質化エンジンにより生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。なお、高画質化用の学習済モデルは、第一の画像を入力データとし、第一の画像よりも高画質な第二の画像を正解データとする学習データを学習して得たものであってもよい。このとき、第二の画像は、例えば、複数の第一の画像の重ね合わせ処理（例えば、位置合わせして得た複数の第一の画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像であってもよい。
また、学習データに含まれる入力データとしては、高画質化エンジンにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、解析結果生成用の学習済モデルにより得た解析結果が表示されるように構成されてもよい。例えば、画像処理装置４００は、（高画質化用の学習済モデルとは異なる）解析結果生成用の学習済モデルを用いて、種々の医用画像から該医用画像に関連する画像解析結果を生成することができる。また、例えば、出力部４０５は、種々の医用画像から解析結果生成用の学習済モデルを用いて得た画像解析結果を表示部２０に表示させることができる。
また、上述した様々な実施形態及び変形例における出力部４０５は、表示画面のレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーティファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位の位置を画像上に表示されてもよいし、また、異常部位の状態等を文字等によって表示されてもよい。また、異常部位等の分類結果（例えば、カーティン分類）を診断結果として表示させてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、ＯＣＴＡ画像における血管領域に異常部位が検出された場合には、ＯＣＴＡよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。
なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。また、高画質化エンジンにより生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。例えば、画像処理装置４００は、（高画質化用の学習済モデルとは異なる）診断結果生成用の学習済モデルを用いて、種々の医用画像から該医用画像に関連する診断結果を生成することができる。また、例えば、出力部４０５は、種々の医用画像から診断結果生成用の学習済モデルを用いて得た診断結果を表示部２０に表示させることができる。
また、学習データに含まれる入力データとしては、高画質化エンジンにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルにより得た診断結果が表示されるように構成されてもよい。
また、上述した様々な実施形態及び変形例における出力部４０５は、表示画面のレポート画面において、上述したような注目部位、アーティファクト、異常部位等の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデル（物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル）を用いて生成されたものであってもよい。例えば、画像処理装置４００は、（高画質化用の学習済モデルとは異なる）セグメンテーション用または物体認識用の学習済モデルを用いて、種々の医用画像から該医用画像に関連するセグメンテーション結果または物体認識結果を生成することができる。また、例えば、出力部４０５は、種々の医用画像からセグメンテーション用または物体認識用の学習済モデルを用いて得たセグメンテーション結果または物体認識結果を表示部２０に表示させることができる。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。
また、異常部位を検出する場合には、画像処理装置４００は、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｋｓ）や変分オートエンコーダ（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ−ｅｎｃｏｄｅｒ）を用いてもよい。例えば、断層画像の生成を学習して得た生成器と、生成器が生成した新たな断層画像と本物の眼底正面画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ）を機械学習モデルとして用いることができる。
ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された断層画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像との差分を異常部位として抽出することができる。また、ＶＡＥを用いる場合には、例えば、入力された断層画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像像との差分を異常部位として抽出することができる。なお、入力データの例として断層画像を例として説明したが、眼底画像や前眼の正面画像等を用いてもよい。
さらに、画像処理装置４００は、畳み込みオートエンコーダ（ＣＡＥ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏ−Ｅｎｃｏｄｅｒ）を用いて、異常部位を検出してもよい。ＣＡＥを用いる場合には、学習時に入力データ及び出力データとして同じ画像を学習させる。これにより、推定時に異常部位がある画像をＣＡＥに入力すると、学習の傾向に従って異常部位がない画像が出力される。その後、ＣＡＥに入力された画像とＣＡＥから出力された画像の差分を異常部位として抽出することができる。なお、この場合にも、断層画像だけでなく、眼底画像や前眼の正面画像等を入力データとして用いてもよい。
これらの場合、画像処理装置４００は、セグメンテーション処理等により特定した異なる領域それぞれについて敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、画像処理装置４００は、高速に精度よく異常部位を検出することが期待できる。ここで、オートエンコーダには、ＶＡＥやＣＡＥ等が含まれる。例えば、画像処理装置４００は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として生成することができる。また、例えば、出力部４０５は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として表示部２０に表示させることができる。
また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとするデータ等が考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとするデータ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。
また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとするデータ等が考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の３次元ＯＣＴ画像（３次元断層画像）と眼底の視神経乳頭のサークルスキャン（またはラスタスキャン）断層画像とをセットとするデータ等も考えられる。
なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、各処理の結果を向上することができる。例えば、推定時（予測時）において、広画角画像における複数の位置で異常部位が検出された場合に、各異常部位の拡大画像を順次表示可能に構成させる。これにより、複数の位置における異常部位を効率よく確認することができるため、例えば、検者の利便性を向上することができる。このとき、例えば、異常部位が検出された広画角画像上の各位置を検者が選択可能に構成され、選択された位置における異常部位の拡大画像が表示されるように構成されてもよい。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。
また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、検者は、撮影直後であっても精度の良い結果を確認することができる。また、上述した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。
ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を機械学習モデルとして用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。
なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本変形例では、学習部（不図示）の一例である画像処理部１０１−０４による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵまたはＧＰＵのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ−ｎｅｔ型の機械学習モデルが適用可能である。Ｕ−ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。
また、機械学習モデルは、例えば、カプセルネットワーク（Ｃａｐｓｕｌｅ Ｎｅｔｗｏｒｋ；ＣａｐｓＮｅｔ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
また、高画質化エンジン（高画質化用の学習済モデル）は、高画質化エンジンにより生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。なお、これらの構成は、高画質化用の学習済モデルに限らず、上述した様々な学習済モデルに対しても適用可能である。また、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。
なお、上述した様々な実施形態及び変形例において、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて被検眼の領域を検出する場合には、検出した領域毎に所定の画像処理を施すこともできる。例えば、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも２つの領域を検出する場合を考える。この場合には、検出された少なくとも２つの領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は領域毎の疾病等をより適切に診断することができる。なお、検出された領域毎に異なる画像処理のパラメータを用いる構成については、例えば、学習済モデルを用いずに検出された被検眼の領域について同様に適用されてもよい。
（変形例４）
上述した様々な実施形態及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に上述した学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。
なお、複数のライブ動画像は、例えば、ＸＹＺ方向のアライメントのための前眼部の動画像、眼底観察光学系のフォーカス調整やＯＣＴフォーカス調整のための眼底の正面動画像であってもよい。また、複数のライブ動画像は、例えば、ＯＣＴのコヒーレンスゲート調整（測定光路長と参照光路長との光路長差の調整）のための眼底の断層動画像等の少なくとも１つの動画像であってもよい。このとき、上述した物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された領域が所定の条件を満たすように、上述した各種調整が行われるように構成されてもよい。例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層等に関する値（例えば、コントラスト値あるいは強度値）が閾値を超える（あるいはピーク値になる）ように、ＯＣＴフォーカス調整等の各種調整が行われるように構成されてもよい。また、例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層が深さ方向における所定の位置になるように、ＯＣＴのコヒーレンスゲート調整が行われるように構成されてもよい。
これらの場合には、画像処理装置４００における高画質化部４０４は、学習済モデルを用いて、動画像について高画質化処理を行って、高画質な動画像を生成することができる。また、撮影制御部（不図示）は、高画質な動画像が表示された状態で、セグメンテーション処理等により特定した異なる領域のいずれかが表示領域における所定の位置になるように、参照ミラー（不図示）等の撮影範囲を変更する光学部材を駆動制御することができる。このような場合には、撮影制御部は、精度の高い情報に基づいて、所望される領域が表示領域の所定の位置になるように自動的にアライメント処理を行うことができる。なお、撮影範囲を変更する光学部材としては、例えばコヒーレンスゲート位置を調整する光学部材であってよく、具体的には参照ミラー等であってよい。また、コヒーレンスゲート位置は、測定光路長及び参照光路長の光路長差を変更する光学部材によって調整されることができ、当該光学部材は、例えば、不図示の測定光の光路長を変更するためのミラー等であってもよい。なお、撮影範囲を変更する光学部材は、例えばステージ部（不図示）であってもよい。
また、上述した学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化エンジンにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成させてもよい。
ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。
また、走査パターン等が異なる撮影モード毎に異なる高画質化エンジンを用意して、選択された撮影モードに対応する高画質化エンジンが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化エンジンが用いられてもよい。
なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われても良く、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
（変形例５）
上述した様々な実施形態及び変形例においては、学習済モデルが追加学習中である場合、追加学習中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。このため、追加学習中の学習済モデルに対する医用画像の入力を禁止することがよい。また、追加学習中の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習中には、予備の学習済モデルに対して医用画像の入力が実行できるようにすることがよい。そして、追加学習が完了した後に、追加学習後の学習済モデルを評価し、問題なければ、予備の学習済モデルから追加学習後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。なお、学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け（アノテーション）されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時（予測時）の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報（例えば、割合を示す数値）と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理（例えば、位置合わせして得た複数の低画質画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれてもよい。
また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（肺、被検眼等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、これら複数の学習済モデルのいずれかを（不図示の選択手段を用いて）選択するように構成されてもよい。このとき、画像処理装置４００は、選択された学習済モデルに対して追加学習として実行する制御手段（不図示）を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
なお、選択手段及び制御手段は、画像処理装置４００のＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わない。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。
（変形例６）
上述した様々な実施形態及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識エンジン（音声認識モデル、音声認識用の学習済モデル）を含む機械学習エンジンが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識エンジン（文字認識モデル、文字認識用の学習済モデル）を含む機械学習エンジンが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識エンジン（ジェスチャー認識モデル、ジェスチャー認識用の学習済モデル）を含む機械学習エンジンが用いられてもよい。
また、検者からの指示は、表示部２０における表示画面上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、表示部２０における表示画面の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。
このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データまたは音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部２０に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データまたは音声データ等を入力データとし、高画質画像の表示の実行命令及びボタン３４２０をアクティブ状態に変更するための実行命令を正解データとする学習データであってもよい。もちろん、学習データとしては、例えば、文字データまたは音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字または音声等による指示と、マウス、タッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字または音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。
ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｒｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。ここで、本変形例に係る機械学習エンジンの一例として、時系列情報を扱うニューラルネットワークであるＲＮＮに関して、図３６（ａ）及び（ｂ）を参照して説明する。また、ＲＮＮの一種であるＬｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図３７（ａ）及び（ｂ）を参照して説明する。
図３６（ａ）は、機械学習エンジンであるＲＮＮの構造を示す。ＲＮＮ３５２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘｔ３５１０を入力し、データｈｔ３５３０を出力する。ＲＮＮ３５２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図３６（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘｔ３５１０にはＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ３５２０より出力されるデータｈｔ３５３０には入力データに対応するＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）のデータが含まれる。
しかし、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができないため、ＬＳＴＭが用いられることがある。ＬＳＴＭは、忘却ゲート、入力ゲート、出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図３７（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ３５４０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃｔ−１と出力データｈｔ−１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。
次に、図３７（ｂ）にＬＳＴＭ３５４０の詳細を示す。図３７（ｂ）において、ＦＧは忘却ゲートネットワーク、ＩＧは入力ゲートネットワーク、ＯＧは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。ＣＵは、セル更新候補ネットワークであり、活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。
なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習エンジンは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字または音声等による入力の場合には、自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。また、検者に対して文字または音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。
（変形例７）
上述した様々な実施形態及び変形例は、以下の各々については少なくとも含むものであり、また、以下の各々の様々な組み合わせを技術的に矛盾のない範囲で少なくとも含むものである。なお、以下における機械学習は、例えば、上述したような様々な学習が適用可能である。また、以下における少なくとも一部の領域は、例えば、上述した部分領域であり、矩形領域等である。
まず、高画質化エンジンは、被検者の所定部位の２次元の医用画像を用いて２次元の高画質画像を生成するために機械学習を行う機械学習エンジンを含むものであってもよい。このとき、高画質化エンジンは、２次元の医用画像の少なくとも一部の領域を含む学習データを学習して得た学習済モデルであってもよい。例えば、高画質化エンジンは、被検眼の第１の深度範囲の第１の正面画像の少なくとも一部の領域を含む学習データを学習して得た学習済モデルであってもよい。また、他の高画質化エンジンとして、被検眼の第２の深度範囲であって、第１の深度範囲とは少なくとも一部の範囲が異なる第２の深度範囲の第２の正面画像の少なくとも一部の領域を含む学習データを学習して得た他の学習済モデルが生成されてもよい。すなわち、第２の正面画像の特徴量と第１の正面画像の特徴量とが比較的異なる場合には、第１の学習済モデルが生成されるだけでなく、第２の学習済モデルも生成されてもよい。これにより、例えば、複数の学習済モデルが複数の医用画像に応じて選択的に用いることができる。このため、特徴量が互いに比較的異なる複数の医用画像を精度良く高画質化することができる。なお、これらの特徴量が比較的類似する場合には、第２の学習済モデルが生成されなくてもよく、第１の正面画像と第２の正面画像とを学習データとして学習して得た共通の学習済モデルが生成されればよい。
また、高画質化エンジンは、被検者の所定部位の３次元の医用画像を用いて３次元の高画質画像を生成するために機械学習を行う機械学習エンジンを含むものであってもよい。このとき、高画質化エンジンは、３次元の医用画像の少なくとも一部の領域を含む学習データを学習して得た学習済モデルであってもよい。ここで、３次元の医用画像が、異なる位置の複数の２次元の医用画像により構成される場合を考える。このとき、例えば、Ｂスキャン画像は、ＸＺ平面の断層画像であり、異なる位置はＹ方向になる。この場合、学習データや学習済モデルに入力されるデータは、ＸＺ方向における位置ずれが補正（位置合わせ）された複数の２次元の医用画像により構成された３次元の医用画像であってもよい。また、学習済モデルを用いて３次元の医用画像から３次元の高画質画像を生成する場合、２次元の医用画像よりも処理時間がかかるため、例えば、高速処理が可能なサーバで処理するように構成されてもよい。この場合には、撮影装置で得た医用画像データをクライアントからサーバに送信し、サーバで学習済モデルを用いた処理後に、処理後のデータをサーバからクライアントに送信するように構成されてもよい。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。また、上述した複数の２次元の医用画像の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
また、高画質化エンジンは、被検者の所定部位の３次元の医用画像データにおける少なくとも一部の範囲が異なる複数の範囲の２次元の医用画像を含む学習済データを学習して得た学習済モデルであってもよい。例えば、高画質化エンジンは、被検眼の第１の深度範囲の第１の正面画像の少なくとも一部の領域と、第１の深度範囲とは少なくとも一部の範囲が異なる第２の深度範囲の第２の正面画像の少なくとも一部の領域とを含む学習データを学習して得た学習済モデルであってもよい。すなわち、高画質化エンジンは、被検者の所定部位の３次元の医用画像データを用いて得た複数の医用画像であって、特徴量が互いに異なる複数の医用画像を含む学習データを学習して得た学習済モデルであってもよい。これにより、高画質化エンジンは、例えば、互いに異なる複数の特徴量に対して抽象度の高い特徴量を学習結果として得ることができる。このため、例えば、複数の特徴量とは異なる特徴量の医用画像であっても、抽出された抽象度の高い特徴量が適用可能な範囲内であれば、比較的精度良く高画質化することができる。例えば、第１の深度範囲の第１の正面画像の少なくとも一部の領域と、第２の深度範囲の第２の正面画像の少なくとも一部の領域とを含む学習データを学習して得た学習済モデルを用いて、第１の深度範囲及び第２の深度範囲とは少なくとも一部の範囲が異なる第３の深度範囲の第３の正面画像の少なくとも一部の領域から、高画質画像を精度良く生成することができる。このとき、例えば、第１の深度範囲は、比較的太い血管が分布している表層であり、また、第２の深度範囲は、比較的細い血管が分布している（あるいは血管が分布していない）深層である。このため、第１の正面画像の特徴量と第２の正面画像の特徴量とは、互いに異なる。
また、学習データに含まれる入力データと正解データ（出力データ）とのセットとしては、低画質画像と高画質画像とのセットであってもよい。例えば、高画質画像は、複数の低画質画像を重ね合わせることにより得たものであってもよい。このとき、重ね合わせることで、高画質画像には、複数の低画質画像において共通しては撮像されなかったが、いずれかには撮像されるような部位が可視化される場合がある。すなわち、低画質画像には存在しない部位が高画質画像には登場する場合がある。このような場合には、高画質化エンジンが、高画質化の特徴量を学習結果として得るだけでなく、存在しない部位を新たに生成するような特徴量も合わせて得てしまう可能性があり、例えば、高画質画像において血管が本当は存在しない領域に偽血管を生成してしまう可能性がある。
そこで、学習データに含まれる入力データと正解データとのセットとしては、画像上に存在する部位の差が互いに比較的小さい複数の医用画像であってもよい。例えば、ノイズが付加された高画質画像と高画質画像とのセットであってもよいし、互いに異なるノイズが付加された複数の高画質画像のセットであってもよい。このとき、ノイズは、画像上に存在する部位等の特徴量が失われない程度のノイズであってもよい。また、画素毎にノイズを付加するか否かをランダムに決定されたノイズパターンが、画像毎に異なっていてもよい。なお、付加されるノイズの大きさが画像毎に異なっていてもよい。また、重ね合わせの枚数が互いに異なる複数の医用画像のセットであってもよい。これにより、高画質化エンジンは、例えば、高画質化の特徴量を学習結果として精度良く得ることができる。このため、高画質化エンジンを用いることにより、入力された低画質画像から高画質画像を精度よく生成することができる。このとき、入力された低画質画像は、上述したような各種のアーティファクトの低減処理が適用された医用画像であってもよい。なお、高画質画像に対して該低減処理が適用されてもよい。また、該低減処理が、検者からの指示に応じて選択可能に構成されてもよい。
ここで、特徴量が互いに異なる複数の医用画像の少なくとも一部の領域に対しては、互いに異なるノイズが付加されてもよい。例えば、比較的明るい医用画像に対して適度なノイズが比較的暗い医用画像に付加されると、比較的暗い医用画像上に存在する部位が失われてしまう可能性がある。そこで、例えば、比較的暗い医用画像の少なくとも一部の領域に付加されるノイズの大きさは、比較的明るい画像の少なくとも一部の領域に付加されるノイズの大きさよりも小さくしてもよい。また、学習データとして用いられる高画質画像は、他の高画質化エンジンにより生成された高画質画像であってもよい。なお、例えば、画像に付加するノイズの大きさを学習して得たノイズ付加用の学習済モデル（ノイズ付加エンジン）が用いられてもよい。このとき、ノイズ付加用の学習済モデルは、例えば、ノイズを付加する前の画像を入力データとし、ノイズを付加した後の画像を正解データとして含む学習データを学習して得ることができる。これにより、例えば、精度の高い高画質化エンジンを生成するために、明るさ等の異なる画像毎に適切な大きさのノイズを容易に付加することができる。
また、上述したような様々な手法を用いても、低画質画像が比較的暗い医用画像である場合等には、高画質化エンジンがノイズ等とみなしてしまうためか、低画質画像に存在していた部位が高画質画像において一部失われてしまっている可能性がある。そこで、例えば、低画質画像と高画質画像とを画像の明るさ等に応じた割合で合成することにより、合成画像が得られるようにしてもよい。これにより、例えば、高画質画像において失われてしまった部位であっても、低画質画像には存在するため、このような部位を高画質画像上に復活させることができる。
（変形例８）
また、上述した様々な実施形態及び変形例において、高画質画像または合成画像等は、検者からの指示に応じて記憶部に保存されてもよい。このとき、高画質画像または合成画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。
また、レポート画面等の種々の表示画面において、上述したように、表示部２０に高画質画像を表示させる際に、表示されている画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、ユーザーは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。
このとき、レポート画面等の表示画面は、検者からの指示に応じて、画像データとして記憶部に保存されてもよい。例えば、高画質画像または合成画像等と、これらの画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部に保存されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部２０に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明の表示、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示等を含んでよい。なお、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部２０に表示されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、高画質画像または合成画像等に重畳した状態で表示または保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。
また、レポート画面の初期表示画面として、ボタン３４２０がアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像または合成画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、ボタン３４２０がアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像または合成画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ−Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されもよい。
（変形例９）
また、上述した様々な実施形態及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）が生成されるように構成されてもよい。
また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第２の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルにより処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。
また、上述したような種々の学習済モデルは、被検体の二次元の医用画像を含む学習データを学習して得た学習済モデルであってもよいし、また、被検体の三次元の医用画像を含む学習データを学習して得た学習済モデルであってもよい。
また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似症例画像検索エンジン（類似症例画像検索モデル、類似症例画像検索用の学習済モデル）が用いられてもよい。例えば、画像処理装置４００は、（高画質化用の学習済モデルとは異なる）類似症例画像検索用の学習済モデルを用いて、種々の医用画像から該医用画像に関連する類似症例画像の検索を行うことができる。また、例えば、出力部４０５は、種々の医用画像から類似症例画像検索用の学習済モデルを用いて得た類似症例画像を表示部２０に表示させることができる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。以上、実施形態を参照して本発明について説明したが、本発明は上記実施形態に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

Claims (22)

  1. 被検者の所定部位の医用画像である第１の画像を取得する取得部と、
    医用画像の少なくとも一部の領域の状態に応じたノイズが該少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べて高画質化された第２の画像を生成する高画質化部と、
    を備える、医用画像処理装置。
  2. 前記高画質化エンジンは、医用画像の少なくとも一部の領域の画素値に応じた大きさのノイズが該少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含む、請求項１に記載の医用画像処理装置。
  3. 前記高画質化エンジンは、互いに異なるパターンのノイズが付加された複数の医用画像をペア画像として含む学習データを用いて得た機械学習エンジンを含む、請求項１又は２に記載の医用画像処理装置。
  4. 前記高画質化エンジンは、重ね合わせ処理により得られた医用画像に対して、互いに異なるパターンのノイズを付加して得た複数の医用画像をペア画像として含む学習データを用いて得た機械学習エンジンを含む、請求項１乃至３のいずれか一項に記載の医用画像処理装置。
  5. 前記高画質化エンジンは、複数の医用画像に対応する複数の統計値の分布に応じた大きさのノイズが該複数の医用画像に付加された複数の医用画像を含む学習データを用いて得た機械学習エンジンを含む、請求項１乃至４のいずれか一項に記載の医用画像処理装置。
  6. 前記高画質化エンジンは、被検者の所定部位の複数の深度範囲に対応する複数の前記分布に応じた大きさのノイズを付加して得た該複数の深度範囲に対応する複数の医用画像を含む学習データを用いて得た機械学習エンジンを含む、請求項５に記載の医用画像処理装置。
  7. 前記第１の画像は、医用画像における少なくとも一部の領域の画素値を上げるように又は下げるように補正して得た医用画像であり、
    前記第１の画像が画素値を上げるように補正して得た医用画像である場合には、前記第２の画像の画素値を下げるように補正が行われ、前記第１の画像が画素値を下げるように補正して得た医用画像である場合には、前記第２の画像の画素値を上げるように補正が行われる、請求項１乃至６のいずれか一項に記載の医用画像処理装置。
  8. 前記高画質化エンジンは、高解像度化処理又は低解像度化処理によって生成された医用画像を含む学習データを用いて得た機械学習エンジンを含む、請求項１乃至７のいずれか一項に記載の医用画像処理装置。
  9. 検者からの指示に応じて、被検者の所定部位の３次元の医用画像データにおける該所定部位の深度範囲のうち一部の深度範囲を指定する指定手段を更に備え、
    前記取得部は、前記指定された一部の深度範囲に対応する正面画像を前記第１の画像として取得し、
    前記高画質化エンジンは、被検者の所定部位の複数の深度範囲に対応する複数の正面画像を含む学習データを用いて得た機械学習エンジンを含み、請求項１乃至８のいずれか一項に記載の医用画像処理装置。
  10. 前記指定された一部の深度範囲に対応する互いに隣接する複数の正面画像の一部の領域が重複するように前記所定部位の深さ方向に交差する方向における前記所定部位の異なる位置を撮影して得た複数の前記第１の画像であって、該複数の第１の画像から得た複数の前記第２の画像を用いて広画角画像を生成する広画角画像生成部を更に備える、請求項９に記載の医用画像処理装置。
  11. 前記高画質化エンジンは、被検者の所定部位の複数の深度範囲に対応する複数の正面画像を学習データとして学習して得た機械学習エンジンを含み、
    前記取得部は、被検者の所定部位の３次元データの少なくとも一部を用いて得た正面画像であって、複数の深度範囲に対応する複数の正面画像を前記第１の画像として取得し、
    前記高画質化部は、前記高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べて高画質化された複数の画像を前記第２の画像として生成する、請求項１乃至８のいずれか一項に記載の医用画像処理装置。
  12. 前記高画質化エンジンは、前記複数の深度範囲のうち少なくとも２つの深度範囲それぞれに対して異なる大きさのノイズが付加された前記複数の正面画像を含む学習データを用いて得た機械学習エンジンを含む、請求項９乃至１１のいずれか一項に記載の医用画像処理装置。
  13. 被検者の所定部位の医用画像である第１の画像を取得する取得部と、
    機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べて高画質化された第２の画像を生成する高画質化部と、
    前記第１の画像と前記第２の画像とのうち少なくとも一つの画像における少なくとも一部の領域に関する情報を用いて得た割合により前記第１の画像と前記第２の画像とを合成して得た合成画像を表示部に表示させる表示制御部と、
    を備える、医用画像処理装置。
  14. 前記第１の画像と前記第２の画像とを合成する割合は、前記少なくとも一部の領域における画素値を前記情報として用いることにより得られる、請求項１３に記載の医用画像処理装置。
  15. 前記高画質化エンジンは、前記第１の画像のＯＣＴＡ撮影に用いられるＯＣＴ撮影装置よりも高性能なＯＣＴ撮影装置によってＯＣＴＡ撮影されて得た画像、又は前記第１の画像のＯＣＴＡ撮影工程よりも工数の多いＯＣＴＡ撮影工程で取得されて得た画像を含む学習データを用いて得た機械学習エンジンを含む、請求項１乃至１４のいずれか一項に記載の医用画像処理装置。
  16. 前記高画質化部は、前記第１の画像を複数の二次元の画像に分割して前記高画質化エンジンに入力し、前記高画質化エンジンからの複数の出力画像を統合することで、前記第２の画像を生成する、請求項１乃至１５のいずれか一項に記載の医用画像処理装置。
  17. 前記高画質化エンジンは、互いの位置関係が対応する複数の医用画像をペア画像として含む学習データを用いて得た機械学習エンジンを含み、
    前記高画質化部は、前記ペア画像の画像サイズに対応する画像サイズで、前記第１の画像を前記複数の二次元の画像に分割して前記高画質化エンジンに入力する、請求項１６に記載の医用画像処理装置。
  18. 前記高画質化エンジンは、医用画像と該医用画像の外部の周辺とを含む領域に対して、隣接する部分領域の一部が互いに重複するように設定された複数の部分領域の画像を含む学習データを用いて得た機械学習エンジンを含む、請求項１６又は１７に記載の医用画像処理装置。
  19. 前記高画質化エンジンは、重ね合わせ処理により得られた医用画像を含む学習データを用いて得た機械学習エンジンを含む、請求項１乃至１８のいずれか一項に記載の医用画像処理装置。
  20. 被検者の所定部位の医用画像である第１の画像を取得することと、
    医用画像の少なくとも一部の領域の状態に応じたノイズが該少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べて高画質化された第２の画像を生成することと、
    を含む、医用画像処理方法。
  21. 被検者の所定部位の医用画像である第１の画像を取得することと、
    機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べて高画質化された第２の画像を生成することと、
    前記第１の画像と前記第２の画像とのうち少なくとも一つの画像における少なくとも一部の領域に関する情報を用いて得た割合により前記第１の画像と前記第２の画像とを合成して得た合成画像を表示部に表示させることと、
    を含む、医用画像処理方法。
  22. プロセッサーによって実行されると、該プロセッサーに請求項２０又は２１に記載の医用画像処理方法の各工程を実行させる、プログラム。
JP2019183346A 2019-03-11 2019-10-03 医用画像処理装置、医用画像処理方法及びプログラム Active JP7297628B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/045301 WO2020183799A1 (ja) 2019-03-11 2019-11-19 医用画像処理装置、医用画像処理方法及びプログラム
CN201980093906.3A CN113557714A (zh) 2019-03-11 2019-11-19 医学图像处理装置、医学图像处理方法和程序
US17/460,832 US20210390696A1 (en) 2019-03-11 2021-08-30 Medical image processing apparatus, medical image processing method and computer-readable storage medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019044265 2019-03-11
JP2019044265 2019-03-11
JP2019068895 2019-03-29
JP2019068895 2019-03-29

Publications (2)

Publication Number Publication Date
JP2020166813A true JP2020166813A (ja) 2020-10-08
JP7297628B2 JP7297628B2 (ja) 2023-06-26

Family

ID=72714950

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019183346A Active JP7297628B2 (ja) 2019-03-11 2019-10-03 医用画像処理装置、医用画像処理方法及びプログラム
JP2019183348A Active JP7406892B2 (ja) 2019-03-11 2019-10-03 医用画像処理装置、医用画像処理方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019183348A Active JP7406892B2 (ja) 2019-03-11 2019-10-03 医用画像処理装置、医用画像処理方法及びプログラム

Country Status (2)

Country Link
JP (2) JP7297628B2 (ja)
CN (1) CN113557714A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220147756A (ko) * 2021-04-27 2022-11-04 (주)에프에이솔루션 영상을 분석하는 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7200193B2 (ja) * 2020-11-09 2023-01-06 日本電子株式会社 Ｘ線測定装置、ｘ線測定方法及び機械学習方法
WO2022113409A1 (ja) * 2020-11-26 2022-06-02 株式会社ニコン 画像処理方法、画像処理装置、及びプログラム
KR102601695B1 (ko) * 2021-04-07 2023-11-14 아주대학교산학협력단 뼈스캔 영상을 이용한 인공지능 기반의 영상 생성 장치 및 그 방법
JP2023077988A (ja) * 2021-11-25 2023-06-06 キヤノン株式会社 放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラム
JP2023077989A (ja) * 2021-11-25 2023-06-06 キヤノン株式会社 放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラム
CN114119558B (zh) * 2021-11-29 2024-05-03 桂林电子科技大学 一种自动生成鼻咽癌影像诊断结构化报告方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080100612A1 (en) * 2006-10-27 2008-05-01 Dastmalchi Shahram S User interface for efficiently displaying relevant oct imaging data
WO2012092132A2 (en) * 2010-12-29 2012-07-05 Cognex Corporation Determining the uniqueness of a model for machine vision
JP2014229115A (ja) * 2013-05-23 2014-12-08 キヤノン株式会社 情報処理装置および方法、プログラム、記憶媒体
JP2015009126A (ja) * 2013-07-02 2015-01-19 キヤノン株式会社 画像処理装置、画像処理方法、撮影制御装置、放射線撮影システムおよびプログラム
JP2015129987A (ja) * 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4413316B2 (ja) * 1999-06-29 2010-02-10 株式会社トプコン 医用画像合成処理装置及び記録媒体
JP5371949B2 (ja) * 2008-02-29 2013-12-18 株式会社日立メディコ 医用画像表示装置、医用画像撮影装置、及び、医用画像表示方法
JP5335713B2 (ja) * 2010-02-16 2013-11-06 富士フイルム株式会社 画像処理方法及び装置並びにプログラム
JP5889727B2 (ja) * 2012-06-18 2016-03-22 新電元工業株式会社 電子機器の捺印シンボル検査装置、及びその方法
JP5464244B2 (ja) * 2012-08-24 2014-04-09 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP6020950B1 (ja) 2014-11-25 2016-11-02 ソニー株式会社 内視鏡システム、および内視鏡システムの作動方法、並びにプログラム
WO2017030276A1 (ko) * 2015-08-17 2017-02-23 삼성전자(주) 의료영상 표시장치 및 의료영상 처리방법
JP6916415B2 (ja) * 2016-07-04 2021-08-11 株式会社ニコン 画像処理装置、撮像装置
JP6843602B2 (ja) * 2016-12-05 2021-03-17 キヤノン株式会社 画像表示装置、画像表示方法、及びプログラム
JP6772112B2 (ja) * 2017-07-31 2020-10-21 株式会社日立製作所 医用撮像装置及び医用画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080100612A1 (en) * 2006-10-27 2008-05-01 Dastmalchi Shahram S User interface for efficiently displaying relevant oct imaging data
WO2012092132A2 (en) * 2010-12-29 2012-07-05 Cognex Corporation Determining the uniqueness of a model for machine vision
JP2014229115A (ja) * 2013-05-23 2014-12-08 キヤノン株式会社 情報処理装置および方法、プログラム、記憶媒体
JP2015009126A (ja) * 2013-07-02 2015-01-19 キヤノン株式会社 画像処理装置、画像処理方法、撮影制御装置、放射線撮影システムおよびプログラム
JP2015129987A (ja) * 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220147756A (ko) * 2021-04-27 2022-11-04 (주)에프에이솔루션 영상을 분석하는 방법
KR102568310B1 (ko) * 2021-04-27 2023-08-21 (주)에프에이솔루션 영상을 분석하는 방법

Also Published As

Publication number Publication date
JP7297628B2 (ja) 2023-06-26
JP2020166814A (ja) 2020-10-08
JP7406892B2 (ja) 2023-12-28
CN113557714A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
KR102507711B1 (ko) 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 컴퓨터 판독가능 매체
WO2020183799A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP7229881B2 (ja) 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7341874B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7297628B2 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP7269413B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム
JP7434447B2 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
US11922601B2 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
WO2020183791A1 (ja) 画像処理装置および画像処理方法
JP2021037239A (ja) 領域分類方法
JP7362403B2 (ja) 画像処理装置および画像処理方法
WO2020138128A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7229715B2 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2021086560A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP7344847B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021069667A (ja) 画像処理装置、画像処理方法及びプログラム
JP7490741B2 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2024025807A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2023010308A (ja) 画像処理装置および画像処理方法
JP2022121202A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230614

R151 Written notification of patent or utility model registration

Ref document number: 7297628

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151