JP2019216848A

JP2019216848A - 医用画像処理装置、医用画像処理方法及びプログラム

Info

Publication number: JP2019216848A
Application number: JP2018114760A
Authority: JP
Inventors: 秀謙溝部; Hidekane Mizobe
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-06-15
Filing date: 2018-06-15
Publication date: 2019-12-26
Anticipated expiration: 2038-06-15
Also published as: JP2022145732A; JP7114358B2; JP7434447B2; JP2024045479A

Abstract

【課題】従来よりも画像診断に適した画像を生成することができる医用画像処理装置を提供する。【解決手段】被検者の所定部位の画像である第１の画像を取得する取得部と、機械学習エンジンを含む高画質化エンジンを用いて、第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の画像を生成する高画質化部とを備える、医用画像処理装置。【選択図】図５

Description

本発明は、医用画像処理装置、医用画像処理方法及びプログラムに関する。

医療分野においては、被検者の疾患を特定したり、疾患の程度を観察したりするために、様々な撮影装置によって画像が取得され、医療従事者による画像診断が行われている。撮影装置の種類には、例えば放射線科分野では、Ｘ線撮影装置、Ｘ線コンピュータ断層撮影（ＣＴ）装置、磁気共鳴イメージング（ＭＲＩ）装置、陽電子放出断層撮影（ＰＥＴ）装置、及び単一光子放射断層撮影（ＳＰＥＣＴ）装置等がある。また、例えば眼科分野では、眼底カメラ、走査型レーザ検眼鏡（ＳＬＯ）、光コヒーレンストモグラフィ（ＯＣＴ）装置、及びＯＣＴアンギオグラフィ（ＯＣＴＡ）装置がある。

画像診断を正確に行ったり、短時間で完了したりするためには、撮影装置によって取得される画像のノイズの少なさや解像度・空間分解能の高さ、適切な階調といった画質の高さが重要となる。また、観察したい部位や病変が強調されている画像も役に立つことがある。

しかしながら、多くの撮影装置においては、画質が高いなどの、画像診断に適した画像を取得するためになんらかの代償が必要である。例えば、画質が高い画像を取得するために高性能な撮影装置を購入する方法があるが、低性能なものよりも多くの投資が必要になる場合が多い。

また、例えばＣＴでは、ノイズが少ない画像を取得するために被検者の被曝線量を増やさなければならない場合がある。また、例えばＭＲＩでは、観察したい部位が強調された画像を取得するために副作用のリスクがある造影剤を使用する場合がある。また、例えばＯＣＴでは、撮影する領域が広かったり、高い空間分解能が必要であったりする場合には、撮影時間がより長くなる場合がある。また、例えば、一部の撮影装置では、画質が高い画像を取得するために複数回画像を取得する必要があり、その分撮影に時間がかかる。

特許文献１には、医用技術の急激な進歩や緊急時の簡易な撮影に対応するため、以前に取得した画像を、人工知能エンジンによって、より解像度の高い画像に変換する技術が開示されている。このような技術によれば、例えば、代償の少ない簡易な撮影によって取得された画像をより解像度の高い画像に変換することができる。

特開２０１８−５８４１号公報

しかしながら、解像度の高い画像であっても、画像診断に適した画像とは言えない場合もある。例えば、解像度が高い画像であっても、ノイズが多い場合やコントラストが低い場合等には観察すべき対象が適切に把握できないことがある。

これに対し、本発明の目的の一つは、従来よりも画像診断に適した画像を生成することができる医用画像処理装置、医用画像処理方法及びプログラムを提供することである。

本発明の一実施態様に係る医用画像処理装置は、被検者の所定部位の画像である第１の画像を取得する取得部と、機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の画像を生成する高画質化部とを備える。

また、本発明の他の実施態様に係る医用画像処理方法は、被検者の所定部位の画像である第１の画像を取得することと、機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の画像を生成することとを含む。

本発明の一つによれば、従来よりも画像診断に適した画像を生成することができる。

高画質化処理に関するニューラルネットワークの構成の一例を示す。撮影箇所推定処理に関するニューラルネットワークの構成の一例を示す。画像の真贋評価処理に関するニューラルネットワークの構成の一例を示す。第１の実施形態に係る画像処理装置の概略的な構成の一例を示す。第１の実施形態に係る画像処理の流れの一例を示すフロー図である。第１の実施形態に係る画像処理の流れの別例を示すフロー図である。第２の実施形態に係る画像処理の流れの一例を示すフロー図である。第４の実施形態に係る画像処理を説明するための図である。第４の実施形態に係る高画質化処理の流れの一例を示すフロー図である。第５の実施形態に係る画像処理を説明するための図である。第５の実施形態に係る高画質化処理の流れの一例を示すフロー図である。第６の実施形態に係る画像処理を説明するための図である。第６の実施形態に係る高画質化処理の流れの一例を示すフロー図である。第６の実施形態に係る画像処理を説明するための図である。第７の実施形態に係る画像処理装置の概略的な構成の一例を示す。第７の実施形態に係る画像処理の流れの一例を示すフロー図である。第７の実施形態に係るユーザーインターフェースの一例を示す。第９の実施形態に係る画像処理装置の概略的な構成の一例を示す。第９の実施形態に係る画像処理の流れの一例を示すフロー図である。第１２の実施形態に係る画像処理装置の概略的な構成の一例を示す。第１３の実施形態に係る高画質化処理の流れの一例を示すフロー図である。第１３の実施形態に係る高画質化処理の流れの別例を示すフロー図である。第１７の実施形態に係る画像処理装置の概略的な構成の一例を示す。第１７の実施形態に係る画像処理の流れの一例を示すフロー図である。

以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。ただし、以下の実施形態で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。

＜用語の説明＞
まず、本明細書において用いられる用語について説明する。

本明細書におけるネットワークでは、各装置は有線又は無線の回線で接続されてよい。ここで、ネットワークにおける各装置を接続する回線は、例えば、専用回線、ローカルエリアネットワーク（以下、ＬＡＮと表記）回線、無線ＬＡＮ回線、インターネット回線、Ｗｉ−Ｆｉ（登録商標）、及びＢｌｕｅｔｏｏｔｈ（登録商標）等を含む。

医用画像処理装置は、相互に通信が可能な２以上の装置によって構成されてもよいし、単一の装置によって構成されてもよい。また、医用画像処理装置の各構成要素は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、他の任意のハードウェアと任意のソフトウェアとの組み合わせにより構成されてもよい。

また、下記実施形態による医用画像処理装置又は医用画像処理方法によって処理される医用画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や下記実施形態による医用画像処理装置又は医用画像処理方法によって作成された画像を含むことができる。

さらに、処理される医用画像は、被検者の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。

また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータについて撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ−Ｆａｃｅ画像を含む。

また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、以下の実施形態に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。

なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ−ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ−ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ−ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ−ＯＣＴ）装置等を含んでよい。

画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムである。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。特に、下記実施形態に係る画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。

撮影条件とは、撮影装置によって取得された画像の撮影時の様々な情報である。撮影条件は、例えば、撮影装置に関する情報、撮影が実施された施設に関する情報、撮影に係る検査の情報、撮影者に関する情報、及び被検者に関する情報等を含む。また、撮影条件は、例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像サイズ、適用された画像フィルタ、画像のデータ形式に関する情報、及び放射線量に関する情報等を含む。なお、撮影領域には、特定の撮影部位からずれた周辺の領域や複数の撮影部位を含んだ領域等が含まれることができる。

撮影条件は、画像を構成するデータ構造中に保存されていたり、画像とは別の撮影条件データとして保存されていたり、撮影装置に関連するデータベースや画像管理システムに保存されたりすることができる。そのため、撮影条件は、撮影装置の撮影条件の保存手段に対応した手順により取得することができる。具体的には、撮影条件は、例えば、撮影装置が出力した画像のデータ構造を解析したり、画像に対応する撮影条件データを取得したり、撮影装置に関連するデータベースから撮影条件を取得するためのインターフェースにアクセスする等により取得される。

なお、撮影装置によっては、保存されていない等の理由で取得できない撮影条件も存在する。例えば、撮影装置に特定の撮影条件を取得したり保存したりする機能が無い、又はそのような機能が無効にされている場合である。また、例えば、撮影装置や撮影に関係の無い撮影条件であるとして保存しないようになっている場合もある。さらに、例えば、撮影条件が隠蔽されていたり、暗号化されていたり、権利が無いと取得できないようになっていたりする場合等もある。ただし、保存されていない撮影条件であっても取得できる場合がある。例えば、画像解析を実施することによって、撮影部位名や撮影領域を特定することができる。

機械学習モデルとは、任意の機械学習アルゴリズムに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルである。教師データは、一つ以上の、入力データと出力データとのペア群で構成される。なお、教師データを構成するペア群の入力データと出力データの形式や組み合わせは、一方が画像で他方が数値であったり、一方が複数の画像群で構成され他方が文字列であったり、双方が画像であったりする等、所望の構成に適したものであってよい。

具体的には、例えば、ＯＣＴによって取得された画像と、該画像に対応する撮影部位ラベルとのペア群によって構成された教師データ（以下、第１の教師データ）が挙げられる。なお、撮影部位ラベルは部位を表すユニークな数値や文字列である。また、その他の教師データの例として、ＯＣＴの通常撮影によって取得されたノイズの多い低画質画像と、ＯＣＴにより複数回撮影して高画質化処理した高画質画像とのペア群によって構成されている教師データ（以下、第２の教師データ）等が挙げられる。

機械学習モデルに入力データを入力すると、該機械学習モデルの設計に従った出力データが出力される。機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、入力データに対応する可能性の高い出力データを出力する。また、機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、出力データの種類のそれぞれについて、入力データに対応する可能性を数値として出力する等を行うことができる。具体的には、例えば、第１の教師データでトレーニングされた機械学習モデルにＯＣＴによって取得された画像を入力すると、機械学習モデルは、該画像に撮影されている撮影部位の撮影部位ラベルを出力したり、撮影部位ラベル毎の確率を出力したりする。また、例えば、第２の教師データでトレーニングされた機械学習モデルにＯＣＴの通常撮影によって取得されたノイズの多い低画質画像を入力すると、機械学習モデルは、ＯＣＴにより複数回撮影して高画質化処理された画像相当の高画質画像を出力する。なお、機械学習モデルについては、品質保持の観点から、自身が出力した出力データを教師データとして用いないように構成することができる。

また、機械学習アルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ）等のディープラーニングに関する手法を含む。ディープラーニングに関する手法においては、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データを用いてトレーニングされた傾向を出力データに再現可能な程度が異なる場合がある。例えば、第１の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、正しい撮影部位ラベルを出力する確率がより高くなる場合がある。また、例えば、第２の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、より高画質な画像を出力できる場合がある。

具体的には、ＣＮＮにおけるパラメータは、例えば、畳み込み層に対して設定される、フィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値、並びに全結合層の出力するノードの数等を含むことができる。なお、パラメータ群やトレーニングのエポック数は、教師データに基づいて、機械学習モデルの利用形態に好ましい値に設定することができる。例えば、教師データに基づいて、正しい撮影部位ラベルをより高い確率で出力したり、より高画質な画像を出力したりできるパラメータ群やエポック数を設定することができる。

このようなパラメータ群やエポック数の決定方法の一つを例示する。まず、教師データを構成するペア群の７割をトレーニング用とし、残りの３割を評価用としてランダムに設定する。次に、トレーニング用のペア群を用いて機械学習モデルのトレーニングを行い、トレーニングの各エポックの終了時に、評価用のペア群を用いてトレーニング評価値を算出する。トレーニング評価値とは、例えば、各ペアを構成する入力データをトレーニング中の機械学習モデルに入力したときの出力と、入力データに対応する出力データとを損失関数によって評価した値群の平均値である。最後に、最もトレーニング評価値が小さくなったときのパラメータ群及びエポック数を、当該機械学習モデルのパラメータ群やエポック数として決定する。なお、このように、教師データを構成するペア群をトレーニング用と評価用とに分けてエポック数の決定を行うことによって、機械学習モデルがトレーニング用のペア群に対して過学習してしまうことを防ぐことができる。

高画質化エンジンとは、入力された低画質画像を高画質化した高画質画像を出力するモジュールのことである。ここで、本明細書における高画質化とは、入力された画像を画像診断により適した画質の画像に変換することをいい、高画質画像とは、画像診断により適した画質の画像に変換された画像をいう。また、低画質画像とは、例えば、Ｘ線撮影、ＣＴ、ＭＲＩ、ＯＣＴ、ＰＥＴ、若しくはＳＰＥＣＴ等により取得された二次元画像や三次元画像、又は連続撮影したＣＴの三次元動画像等の特に高画質になるような設定をされずに撮影されたものである。具体的には、低画質画像は、例えば、Ｘ線撮影装置やＣＴによる低線量での撮影や、造影剤を使用しないＭＲＩによる撮影、ＯＣＴの短時間撮影等によって取得される画像、及び少ない撮影回数で取得されたＯＣＴＡ画像等を含む。

また、画像診断に適した画質の内容は、各種の画像診断で何を診断したいのかということに依存する。そのため一概には言えないが、例えば、画像診断に適した画質は、ノイズが少なかったり、高コントラストであったり、撮影対象を観察しやすい色や階調で示していたり、画像サイズが大きかったり、高解像度であったりする画質を含む。また、画像生成の過程で描画されてしまった実際には存在しないオブジェクトやグラデーションが画像から除去されているような画質を含むことができる。

また、ノイズが少なかったり、高コントラストであったりする高画質画像を、ＯＣＴＡ等の画像の血管解析処理や、ＣＴやＯＣＴ等の画像の領域セグメンテーション処理等の画像解析に利用すると、低画質画像を利用するよりも精度よく解析が行えることが多い。そのため、高画質化エンジンによって出力された高画質画像は、画像診断だけでなく、画像解析にも有用である場合がある。

下記の実施形態における高画質化手法を構成する画像処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画像処理手法では、機械学習アルゴリズムを用いた処理に加えて、各種画像フィルタ処理、類似画像に対応する高画質画像のデータベースを用いたマッチング処理、及び知識ベース画像処理等の既存の任意の処理を行ってもよい。

特に、二次元画像を高画質化するＣＮＮの構成例として、図１に示す構成がある。当該ＣＮＮの構成には、複数の畳み込み処理ブロック１００群が含まれる。畳み込み処理ブロック１００は、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層１０１と、バッチ正規化（ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ）層１０２と、正規化線形関数（ＲｅｃｔｉｆｉｅｒＬｉｎｅａｒＵｎｉｔ）を用いた活性化層１０３とを含む。また、当該ＣＮＮの構成には、合成（Ｍｅｒｇｅｒ）層１０４と、最後の畳み込み層１０５が含まれる。合成層１０４は、畳み込み処理ブロック１００の出力値群と画像を構成する画素値群とを連結したり、加算したりして合成する。最後の畳み込み層１０５は、合成層１０４で合成された、高画質画像Ｉｍ１２０を構成する画素値群を出力する。このような構成では、入力された画像Ｉｍ１１０を構成する画素値群が畳み込み処理ブロック１００群を経て出力された値群と、入力された画像Ｉｍ１１０を構成する画素値群とが、合成層１０４で合成される。その後、合成された画素値群は最後の畳み込み層１０５で高画質画像Ｉｍ１２０に成形される。

なお、例えば、畳み込み処理ブロック１００の数を１６とし、畳み込み層１０１群のパラメータとして、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の高画質化の効果を得られる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。

なお、ＣＮＮを用いた画像処理等、一部の画像処理手法を利用する場合には画像サイズについて注意する必要がある。具体的には、高画質画像の周辺部が十分に高画質化されない問題等の対策のため、入力する低画質画像と出力する高画質画像とで異なる画像サイズを要する場合があることに留意すべきである。

明瞭な説明のため、後述の実施形態において明記はしないが、高画質化エンジンに入力される画像と出力される画像とで異なる画像サイズを要する高画質化エンジンを採用した場合には、適宜画像サイズを調整しているものとする。具体的には、機械学習モデルをトレーニングするための教師データに用いる画像や、高画質化エンジンに入力される画像といった入力画像に対して、パディングを行ったり、該入力画像の周辺の撮影領域を結合したりして、画像サイズを調整する。なお、パディングを行う領域は、効果的に高画質化できるように高画質化手法の特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。

また、高画質化手法は、一つの画像処理手法だけで実施されることもあるし、二つ以上の画像処理手法を組み合わせて実施されることもある。また、複数の高画質化手法群を並列に実施し、複数の高画質画像群を生成した上で、最も高画質な高画質画像を最終的に高画質画像として選択することもある。なお、最も高画質な高画質画像の選択は、画質評価指数を用いて自動的行われてもよいし、任意の表示部等に備えられたユーザーインターフェースに複数の高画質画像群を表示して、検者（ユーザー）の指示に応じて行われてもよい。

なお、高画質化していない入力画像の方が、画像診断に適している場合もあるので、最終的な画像の選択の対象には入力画像を加えてよい。また、高画質化エンジンに対して、低画質画像とともにパラメータを入力してもよい。高画質化エンジンに対して、入力画像とともに、例えば、高画質化を行う程度を指定するパラメータや、画像処理手法に用いられる画像フィルタサイズを指定するパラメータを入力してもよい。

撮影箇所推定エンジンとは、入力された画像の撮影部位や撮影領域を推定するモジュールのことである。撮影箇所推定エンジンは、入力された画像に描画されている撮影部位や撮影領域がどこであるか、又は必要な詳細レベルの撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力することができる。

撮影部位や撮影領域は、撮影装置によっては撮影条件として保存していない、又は撮影装置が取得できず保存できていない場合がある。また、撮影部位や撮影領域が保存されていても、必要な詳細レベルの撮影部位や撮影領域が保存されていない場合もある。例えば、撮影部位として“後眼部”と保存されているだけで、詳細には“黄斑部”なのか、“視神経乳頭部”なのか、又は、“黄斑部及び視神経乳頭部”なのか、“その他”なのかが分からないことがある。また、別の例では、撮影部位として“乳房”と保存されているだけで、詳細には“右乳房”なのか、“左乳房”なのか、又は、“両方”なのかが分からないことがある。そのため、撮影箇所推定エンジンを用いることで、これらの場合に入力画像の撮影部位や撮影領域を推定することができる。

撮影箇所推定エンジンの推定手法を構成する画像及びデータ処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画像及びデータ処理手法では、機械学習アルゴリズムを用いた処理に加えて又は代えて、自然言語処理、類似画像及び類似データのデータベースを用いたマッチング処理、知識ベース処理等の既存の任意の推定処理を行ってもよい。なお、機械学習アルゴリズムを用いて構築した機械学習モデルをトレーニングする教師データは、撮影部位や撮影領域のラベルが付けられた画像とすることができる。この場合には、教師データの画像を入力データ、撮影部位や撮影領域のラベルを出力データとする。

特に、二次元画像の撮影箇所を推定するＣＮＮの構成例として、図２に示す構成がある。当該ＣＮＮの構成には、畳み込み層２０１とバッチ正規化層２０２と正規化線形関数を用いた活性化層２０３とで構成された複数の畳み込み処理ブロック２００群が含まれる。また、当該ＣＮＮの構成には、最後の畳み込み層２０４と、全結合（ＦｕｌｌＣｏｎｎｅｃｔｉｏｎ）層２０５と、出力層２０６が含まれる。全結合層２０５は畳み込み処理ブロック２００の出力値群を全結合する。また、出力層２０６は、Ｓｏｆｔｍａｘ関数を利用して、入力画像Ｉｍ２１０に対する、想定される撮影部位ラベル毎の確率を推定結果（Ｒｅｓｕｌｔ）２０７として出力する。このような構成では、例えば、入力画像Ｉｍ２１０が“黄斑部”を撮影した画像であれば、“黄斑部に対応する撮影部位ラベルについて最も高い確率が出力される。

なお、例えば、畳み込み処理ブロック２００の数を１６、畳み込み層２０１群のパラメータとして、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の精度で撮影部位を推定することができる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。なお、推定手法は、一つの画像及びデータ処理手法だけで実施されることもあるし、二つ以上の画像及びデータ処理手法を組み合わせて実施されることもある。

画質評価エンジンとは、入力された画像に対する画質評価指数を出力するモジュールのことである。画質評価指数を算出する画質評価処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画質評価処理手法では、画像ノイズ計測アルゴリズム、及び類似画像や基底画像に対応する画質評価指数のデータベースを用いたマッチング処理等の既存の任意の評価処理を行ってもよい。なお、これらの評価処理は、機械学習アルゴリズムを用いた処理に加えて又は代えて行われてよい。

例えば、画質評価指数は機械学習アルゴリズムを用いて構築した機械学習モデルより得ることができる。この場合、機械学習モデルをトレーニングする教師データを構成するペアの入力データは、事前に様々な撮影条件によって撮影された低画質画像群と高画質画像群とで構成される画像群である。また、機械学習モデルをトレーニングする教師データを構成するペアの出力データは、例えば、画像診断を行う検者が入力データの画像群のそれぞれについて設定した画質評価指数群である。

本発明の説明における真贋評価エンジンとは、入力された画像の描画を評価して、対象の撮影装置によって撮影され取得された画像か否かを、ある程度の精度で評価するモジュールである。真贋評価処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、真贋評価処理手法では、機械学習アルゴリズムを用いた処理に加えて又は代えて、知識ベース処理等の既存の任意の評価処理を行ってもよい。

例えば、真贋評価処理は機械学習アルゴリズムを用いて構築した機械学習モデルにより実施することができる。まず、機械学習モデルの教師データについて説明する。教師データには、事前に様々な撮影条件によって撮影された高画質画像群と対象の撮影装置によって撮影され取得されたことを表すラベル（以下、真作ラベル）とのペア群が含まれる。また、教師データには、高画質化エンジン（第１レベルの高画質化エンジン）に低画質画像を入力して生成した高画質画像群と対象の撮影装置によって撮影され取得されていないことを表すラベル（以下、贋作ラベル）とのペア群が含まれる。このような教師データを用いてトレーニングした機械学習モデルは、第１レベルの高画質化エンジンが生成する高画質画像が入力されると贋作ラベルを出力する。

特に、二次元画像の真贋評価処理を行うＣＮＮの構成例として、図３に示す構成がある。当該ＣＮＮの構成には、畳み込み層３０１と、バッチ正規化層３０２と、正規化線形関数を用いた活性化層３０３とで構成された複数の畳み込み処理ブロック３００群が含まれる。また、当該ＣＮＮの構成には、最後の畳み込み層３０４と、全結合層３０５と、出力層３０６が含まれる。全結合層３０５は、畳み込み処理ブロック３００の出力値群を全結合する。また、出力層３０６は、Ｓｉｇｍｏｉｄ関数を利用して、入力画像Ｉｍ３１０に対して、真作ラベルを表す１の値（真）又は贋作ラベルを表す０の値（偽）を、真贋評価処理の結果（Ｒｅｓｕｌｔ）３０７として出力する。

なお、畳み込み処理ブロック３００の数を１６、畳み込み層３０１群のパラメータとして、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の精度で正しい真贋評価処理の結果を得られる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。

真贋評価エンジンは、第１レベルの高画質化エンジンよりも高度に高画質化する高画質化エンジン（第２レベルの高画質化エンジン）が生成する高画質画像が入力されると真作ラベルを出力することがある。つまり、真贋評価エンジンは入力された画像に対し、確実に撮影装置によって撮影され取得された画像か否かを評価できるわけではないが、撮影装置によって撮影され取得された画像らしさを持つ画像か否かを評価できる。この特性を利用して、真贋評価エンジンに高画質化エンジンが生成した高画質画像を入力することで、高画質化エンジンが生成した高画質画像が十分に高画質化されているか否かを評価できる。

また、高画質化エンジンの機械学習モデルと真贋評価エンジンの機械学習モデルとを協調させてトレーニングすることによって、双方のエンジンの効率や精度を向上させてもよい。この場合には、まず、高画質化エンジンが生成する高画質画像を真贋評価エンジンに評価させると真作ラベルが出力されるように、該高画質化エンジンの機械学習モデルをトレーニングする。また、並行して、高画質化エンジンが生成する画像を真贋評価エンジンに評価させると贋作ラベルを出力するように、該真贋評価エンジンの機械学習モデルをトレーニングさせる。さらに、並行して、撮影装置によって取得された画像を真贋評価エンジンに評価させると真作ラベルを出力するように、該真贋評価エンジンの機械学習モデルをトレーニングさせる。これによって、高画質化エンジンと真贋評価エンジンの効率や精度が向上する。

＜第１の実施形態＞
以下、図４及び５を参照して、第１の実施形態による医用画像処理装置について説明する。図４は、本実施形態に係る画像処理装置の概略的な構成の一例を示す。

画像処理装置４００は、撮影装置１０及び表示部２０に、回路やネットワークを介して接続されている。また、撮影装置１０及び表示部２０が直接接続されていてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。

画像処理装置４００には、取得部４０１と、撮影条件取得部４０２と、高画質化可否判定部４０３と、高画質化部４０４と、出力部４０５（表示制御部）とが設けられている。なお、画像処理装置４００は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。取得部４０１は、撮影装置１０や他の装置から各種データや画像を取得したり、不図示の入力装置を介して検者からの入力を取得したりすることができる。なお、入力装置としては、マウス、キーボード、タッチパネル及びその他任意の入力装置を採用してよい。また、表示部２０をタッチパネルディスプレイとして構成してもよい。

撮影条件取得部４０２は、取得部４０１が取得した医用画像（入力画像）の撮影条件を取得する。具体的には、医用画像のデータ形式に応じて、医用画像を構成するデータ構造に保存された撮影条件群を取得する。なお、医用画像に撮影条件が保存されていない場合には、取得部４０１を介して、撮影装置１０や画像管理システムから撮影条件群を含む撮影情報群を取得することができる。

高画質化可否判定部４０３は、撮影条件取得部４０２によって取得された撮影条件群を用いて高画質化部４０４によって医用画像が対処可能であるか否かを判定する。高画質化部４０４は、対処可能である医用画像について高画質化を行い、画像診断に適した高画質画像を生成する。出力部４０５は、高画質化部４０４が生成した高画質画像や入力画像、各種情報等を表示部２０に表示させる。また、出力部４０５は、生成された高画質画像等を画像処理装置４００に接続される記憶装置に記憶させてもよい。

次に、高画質化部４０４について詳細に説明する。高画質化部４０４には高画質化エンジンが備えられている。本実施形態に係る高画質化エンジンの備える高画質化手法では、機械学習アルゴリズムを用いた処理を行う。

本実施形態では、機械学習アルゴリズムに係る機械学習モデルのトレーニングに、処理対象として想定される特定の撮影条件を持つ低画質画像である入力データと、入力データに対応する高画質画像である出力データのペア群で構成された教師データを用いる。なお、特定の撮影条件には、具体的には、予め決定された撮影部位、撮影方式、撮影画角、及び画像サイズ等が含まれる。

本実施形態において、教師データの入力データは、撮影装置１０と同じ機種、撮影装置１０と同じ設定により取得された低画質画像である。また、教師データの出力データは、撮影装置１０と同じ機種が備える設定や画像処理により取得された高画質画像である。具体的には、出力データは、例えば、複数回撮影することにより取得した画像（元画像）群に対して加算平均等の重ね合わせ処理を行うことにより得られる高画質画像（重ね合わせ画像）である。

重ね合わせ処理を行った重ね合わせ画像は、元画像群で共通して描出された画素が強調されるため、画像診断に適した高画質画像になる。この場合には、生成される高画質画像は、共通して描出された画素が強調された結果、低輝度領域と高輝度領域との違いがはっきりした高コントラストな画像になる。また、例えば、重ね合わせ画像では、撮影毎に発生するランダムノイズが低減されたり、ある時点の元画像ではうまく描出されなかった領域が他の元画像群によって補間されたりすることができる。

なお、元画像群のそれぞれを入力データ、対応する重ね合わせ画像を出力データとすることで、複数のペア群を生成することができる。例えば、１５の元画像群から１の重ね合わせ画像を得る場合、元画像群のうちの一つ目の元画像と重ね合わせ画像とのペア、元画像群のうちの二つ目の元画像と重ね合わせ画像とのペアを生成することができる。このように、１５の元画像群から１の重ね合わせ画像を得る場合には、元画像群のうちの一つの画像と重ね合わせ画像による１５のペア群が生成可能である。

また、機械学習モデルの入力データを複数の画像で構成する必要がある場合には、元画像群から必要な数の元画像群を選択し、入力データとすることができる。例えば、１５の元画像群から１の重ね合わせ画像を得る場合において、機械学習モデルの入力データとして２の画像が必要であれば、１０５（１５Ｃ２＝１０５）のペア群を生成可能である。

なお、教師データを構成するペア群のうち、高画質化に寄与しないペアは教師データから取り除くことができる。例えば、教師データのペアを構成する出力データである高画質画像が画像診断に適さない画質である場合には、当該教師データを用いて学習した高画質化エンジンが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、出力データが画像診断に適さない画質であるペアを教師データから取り除くことで、高画質化エンジンが画像診断に適さない画質の画像を生成する可能性を低減させることができる。

また、ペアである画像群の平均輝度や輝度分布が大きく異なる場合には、当該教師データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力する可能性がある。このため、平均輝度や輝度分布が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。

さらに、ペアである画像群に描画される撮影対象の構造や位置が大きく異なる場合には、当該教師データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力する可能性がある。このため、描画される撮影対象の構造や位置が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。また、高画質化エンジンについて、品質保持の観点から、自身が出力する高画質画像を教師データとして用いないように構成することができる。

このように機械学習を行った高画質化エンジンを用いることで、高画質化部４０４は、一回の撮影で取得された医用画像が入力された場合に、重ね合わせ処理によって高コントラスト化やノイズ低減等が行われたような高画質画像を出力することができる。このため、高画質化部４０４は、入力画像である低画質画像に基づいて、画像診断に適した高画質画像を生成することができる。

次に、図５のフロー図を参照して、本実施形態に係る一連の画像処理について説明する。図５は本実施形態に係る一連の画像処理のフロー図である。まず、本実施形態に係る一連の画像処理が開始されると、処理はステップＳ５１０に移行する。

ステップＳ５１０では、取得部４０１が、回路やネットワークを介して接続された撮影装置１０から、撮影装置１０が撮影した画像を入力画像として取得する。なお、取得部４０１は、撮影装置１０からの要求に応じて、入力画像を取得してもよい。このような要求は、例えば、撮影装置１０が画像を生成した時、撮影装置１０が生成した画像を撮影装置１０が備える記録装置に保存する前や保存した後、保存された画像を表示部２０に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。

なお、取得部４０１は、撮影装置１０から画像を生成するためのデータを取得し、画像処理装置４００が当該データに基づいて生成した画像を入力画像として取得してもよい。この場合、画像処理装置４００が各種画像を生成するための画像生成方法としては、既存の任意の画像生成方法を採用してよい。

ステップＳ５２０では、撮影条件取得部４０２が、入力画像の撮影条件群を取得する。具体的には、入力画像のデータ形式に応じて、入力画像を構成するデータ構造に保存された撮影条件群を取得する。なお、上述のように、入力画像に撮影条件が保存されていない場合には、撮影条件取得部４０２は、撮影装置１０や不図示の画像管理システムから撮影条件群を含む撮影情報群を取得することができる。

ステップＳ５３０においては、高画質化可否判定部４０３が、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンによって入力画像を高画質化可能であるか否かを判定する。具体的には、高画質化可否判定部４０３は、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズが、高画質化エンジンによって対処可能な条件と一致するか否かを判定する。

高画質化可否判定部４０３が、すべての撮影条件を判定し、対処可能と判定された場合には、処理はステップＳ５４０に移行する。一方、高画質化可否判定部４０３が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップＳ５５０に移行する。

なお、画像処理装置４００の設定や実装形態によっては、撮影部位、撮影方式、撮影画角、及び画像サイズのうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップＳ５４０における高画質化処理が実施されてもよい。例えば、高画質化エンジンが、被検者のいずれの撮影部位に対しても網羅的に対応可能であると想定され、入力データに未知の撮影部位が含まれていたとしても対処可能であるように実装されている場合等には、このような処理を行ってもよい。また、高画質化可否判定部４０３は、所望の構成に応じて、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズのうちの少なくとも一つが高画質化エンジンによって対処可能な条件と一致するか否かを判定してもよい。

ステップＳ５４０においては、高画質化部４０４が、高画質化エンジンを用いて、入力画像を高画質化し、入力画像よりも画像診断に適した高画質画像を生成する。具体的には、高画質化部４０４は、入力画像を高画質化エンジンに入力し、高画質化された高画質画像を生成させる。高画質化エンジンは、教師データを用いて機械学習を行った機械学習モデルに基づいて、入力画像を用いて重ね合わせ処理を行ったような高画質画像を生成する。このため、高画質化エンジンは、入力画像よりも、ノイズ低減されたり、コントラスト強調されたりした高画質画像を生成することができる。

なお、画像処理装置４００の設定や実装形態によっては、高画質化部４０４が、撮影条件群に応じて、高画質化エンジンに入力画像とともにパラメータを入力して、高画質化の程度等を調節してもよい。また、高画質化部４０４は、検者の入力に応じたパラメータを高画質化エンジンに入力画像とともに入力して高画質化の程度等を調整してもよい。

ステップＳ５５０では、出力部４０５が、ステップＳ５４０において高画質画像が生成されていれば、高画質画像を出力して、表示部２０に表示させる。一方、ステップＳ５３０において高画質化処理が不可能であるとされていた場合には、入力画像を出力し、表示部２０に表示させる。なお、出力部４０５は、表示部２０に出力画像を表示させるのに代えて、撮影装置１０や他の装置に出力画像を表示させたり、記憶させたりしてもよい。また、出力部４０５は、画像処理装置４００の設定や実装形態によっては、出力画像を撮影装置１０や他の装置が利用可能なように加工したり、画像管理システム等に送信可能なようにデータ形式を変換したりしてもよい。

上記のように、本実施形態に係る画像処理装置４００は、取得部４０１と、高画質化部４０４とを備える。取得部４０１は、被検者の所定部位の画像である入力画像（第１の画像）を取得する。高画質化部４０４は、機械学習エンジンを含む高画質化エンジンを用いて、入力画像から、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた高画質画像（第２の画像）を生成する。高画質化エンジンは、重ね合わせ処理により得られた画像を学習データとした機械学習エンジンを含む。

当該構成により、本実施形態に係る画像処理装置４００は、入力画像から、ノイズが低減されていたり、コントラストが強調されていたりする高画質画像を出力することができる。このため、画像処理装置４００は、より明瞭な画像や観察したい部位や病変が強調されている画像等の画像診断に適した画像を、従来と比べて、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく、より少ない代償で取得することができる。

また、画像処理装置４００は、入力画像に対して、高画質化エンジンを用いて高画質画像を生成できる否かを判定する高画質化可否判定部４０３を更に備える。高画質化可否判定部４０３は、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズの少なくとも一つに基づいて当該判定を行う。

当該構成により、本実施形態に係る画像処理装置４００は、高画質化部４０４が処理できない入力画像を高画質化処理から省くことができ、画像処理装置４００の処理負荷やエラーの発生を低減させることができる。

なお、本実施形態においては、出力部４０５（表示制御部）は、生成された高画質画像を表示部２０に表示させる構成としたが、出力部４０５の動作はこれに限られない。例えば、出力部４０５は、高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力することもできる。このため、高画質画像は、これらの装置のユーザーインターフェースに表示されたり、任意の記録装置に保存されたり、任意の画像解析に利用されたり、画像管理システムに送信されたりすることができる。

本実施形態においては、高画質化可否判定部４０３が、高画質化エンジンによって高画質化可能な入力画像であるか否かを判定して、高画質化可能な入力画像であれば高画質化部４０４が高画質化を行った。これに対し、撮影装置１０によって、高画質化可能な撮影条件でのみ撮影が行なわれる等の場合には、撮影装置１０から取得した画像を無条件に高画質化してもよい。この場合には、図６に示すように、ステップＳ５２０とステップＳ５３０の処理を省き、ステップＳ５１０の次にステップＳ５４０を実施することができる。

なお、本実施形態においては、出力部４０５が、表示部２０に高画質画像を表示させる構成とした。しかしながら、出力部４０５は、検者からの指示に応じて、高画質画像を表示部２０に表示させてもよい。例えば、出力部４０５は、検者が表示部２０のユーザーインターフェース上の任意のボタンを押すことに応じて、高画質画像を表示部２０に表示させてもよい。この場合、出力部４０５は、入力画像と切り替えて高画質画像を表示させてもよいし、入力画像と並べて高画質画像を表示させてもよい。

さらに、出力部４０５は、表示部２０に高画質画像を表示させる際に、表示されている画像が機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示を高画質画像とともに表示させてもよい。この場合には、ユーザーは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。

また、出力部４０５は、機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示について、機械学習アルゴリズムがどのような教師データによって学習を行ったものであるかを示す表示を表示部２０に表示させてもよい。当該表示としては、教師データの入力データと出力データの種類の説明や、入力データと出力データに含まれる撮影部位等の教師データに関する任意の表示を含んでよい。

本実施形態に係る高画質化エンジンでは、教師データの出力データとして、重ね合わせ画像を用いたが、教師データはこれに限られない。教師データの出力データとして、高画質画像を得る手段である、重ね合わせ処理や、後述する処理群、後述する撮影方法のうち、少なくとも一つを行うことで得られる高画質画像を用いてもよい。

例えば、教師データの出力データとして、元画像群に対して最大事後確率推定処理（ＭＡＰ推定処理）を行うことで得られる高画質画像を用いてもよい。ＭＡＰ推定処理では、複数の低画質画像における各画素値の確率密度から尤度関数を求め、求めた尤度関数を用いて真の信号値（画素値）を推定する。

ＭＡＰ推定処理により得られた高画質画像は、真の信号値に近い画素値に基づいて高コントラストな画像となる。また、推定される信号値は、確率密度に基づいて求められるため、ＭＡＰ推定処理により得られた高画質画像では、ランダムに発生するノイズが低減される。このため、ＭＡＰ推定処理により得られた高画質画像を教師データとして用いることで、高画質化エンジンは、入力画像から、ノイズが低減されたり、高コントラストとなったりした、画像診断に適した高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。

また、教師データの出力データとして、元画像に平滑化フィルタ処理を適用した高画質画像を用いてもよい。この場合には、高画質化エンジンは、入力画像から、ランダムノイズが低減された高画質画像を生成することができる。さらに、教師データの出力データとして、元画像に階調変換処理を適用した画像を用いてもよい。この場合には、高画質化エンジンは、入力画像から、コントラスト強調された高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。

なお、教師データの入力データは、撮影装置１０と同じ画質傾向を持つ撮影装置から取得された画像でもよい。また、教師データの出力データは、逐次近似法等の高コストな処理によって得られた高画質画像であってもよいし、入力データに対応する被検者を、撮影装置１０よりも高性能な撮影装置で撮影することで取得した高画質画像であってもよい。さらに、出力データは、ルールベースによるノイズ低減処理を行うことによって取得された高画質画像であってもよい。ここで、ノイズ低減処理は、例えば、低輝度領域内に現れた明らかにノイズである１画素のみの高輝度画素を、近傍の低輝度画素値の平均値に置き換える等の処理を含むことができる。このため、高画質化エンジンは、入力画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は入力画像の撮影工程よりも工数の多い撮影工程で取得された画像を学習データとしてもよい。

なお、本実施形態の説明では省略したが、教師データの出力データとして用いられる、複数の画像から生成された高画質画像は、位置合わせ済みの複数の画像から生成されることができる。当該位置合わせ処理としては、例えば、複数の画像のうちの一つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の画像との類似度を求め、テンプレートとの位置ずれ量を求め、位置ずれ量に基づいて各画像を補正してよい。また、その他の既存の任意の位置合わせ処理を行ってもよい。

なお、三次元画像を位置合わせする場合には、三次元画像を複数の二次元画像に分解し、二次元画像毎に位置合わせしたものを統合することで、三次元画像の位置合わせを行ってもよい。また、二次元画像を一次元画像に分解し、一次元画像毎に位置合わせしたものを統合することで、二次元画像の位置合わせを行ってもよい。なお、画像ではなく、画像を生成するためのデータに対して、これら位置合わせを行ってもよい。

また、本実施形態では、高画質化可否判定部４０３が高画質化部４０４によって入力画像が対処可能であると判断したら、処理がステップＳ５４０に移行して、高画質化部４０４による高画質化処理が開始された。これに対し、出力部４０５が高画質化可否判定部４０３による判定結果を表示部２０に表示させ、高画質化部４０４が検者からの指示に応じて高画質化処理を開始してもよい。この際、出力部４０５は、判定結果とともに、入力画像や入力画像について取得した撮影部位等の撮影条件を表示部２０に表示させることができる。この場合には、検者によって判定結果が正しいか否かが判断された上で、高画質化処理が行われるため、誤判定に基づく高画質化処理を低減させることができる。

また、高画質化可否判定部４０３による判定を行わず、出力部４０５が入力画像や入力画像について取得した撮影部位等の撮影条件を表示部２０に表示させ、高画質化部４０４が検者からの指示に応じて高画質化処理を開始してもよい。

＜第２の実施形態＞
次に、図４及び７を参照して、第２の実施形態に係る画像処理装置について説明する。第１の実施形態では、高画質化部４０４は、一つの高画質化エンジンを備えていた。これに対して、本実施形態では、高画質化部が、異なる教師データを用いて機械学習を行った複数の高画質化エンジンを備え、入力画像に対して複数の高画質画像を生成する。

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。

本実施形態に係る高画質化部４０４には、それぞれ異なる教師データを用いて機械学習が行われた二つ以上の高画質化エンジンが備えられている。ここで、本実施形態に係る教師データ群の作成方法について説明する。具体的には、まず、様々な撮影部位が撮影された、入力データとしての元画像と出力データとしての重ね合わせ画像のペア群を用意する。次に、撮影部位毎にペア群をグルーピングすることで、教師データ群を作成する。例えば、第１の撮影部位を撮影して取得されたペア群で構成される第１の教師データ、第２の撮影部位を撮影して取得されたペア群で構成される第２の教師データというように、教師データ群を作成する。

その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第１の教師データでトレーニングされた機械学習モデルに対応する第１の高画質化エンジン、第２の教師データでトレーニングされた機械学習モデルに対応する第２の高画質化エンジンというように高画質化エンジン群を用意する。

このような高画質化エンジンは、それぞれ対応する機械学習モデルのトレーニングに用いた教師データが異なるため、高画質化エンジンに入力される画像の撮影条件によって、入力画像を高画質化できる程度が異なる。具体的には、第１の高画質化エンジンは、第１の撮影部位を撮影して取得された入力画像に対しては高画質化の程度が高く、第２の撮影部位を撮影して取得された画像に対しては高画質化の程度が低い。同様に、第２の高画質化エンジンは、第２の撮影部位を撮影して取得された入力画像に対しては高画質化の程度が高く、第１の撮影部位を撮影して取得された画像に対しては高画質化の程度が低い。

教師データのそれぞれが撮影部位によってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影部位であれば、第１の実施形態に係る高画像化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件は、撮影部位に限られず、撮影画角であったり、画像の解像度であったり、これらのうちの二つ以上の組み合わせであったりしてもよい。

以下、図７を参照して、本実施形態に係る一連の画像処理について説明する。図７は、本実施形態に係る一連の画像処理のフロー図である。なお、ステップＳ７１０及びステップＳ７２０の処理は、第１の実施形態に係るステップＳ５１０及びステップＳ５２０と同様であるため、説明を省略する。なお、入力画像に対して、無条件で高画質化する場合には、ステップＳ７２０の処理の後に、ステップＳ７３０の処理を省き、処理をステップＳ７４０に移行してよい。

ステップＳ７２０において入力画像の撮影条件が取得されると、処理はステップＳ７３０に移行する。ステップＳ７３０においては、高画質化可否判定部４０３が、ステップＳ７２０において取得した撮影条件群を用いて、高画質化部４０４が備える高画質化エンジン群のいずれかが、入力画像を対処可能であるか否かを判定する。

高画質化可否判定部４０３が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップＳ７６０に移行する。一方で、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ７４０に移行する。なお、画像処理装置４００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ７４０を実施してもよい。

ステップＳ７４０においては、高画質化部４０４が、ステップＳ７２０で取得した入力画像の撮影条件及び高画質化エンジン群の教師データの情報に基づいて、高画質化エンジン群から高画質化処理を行う高画質化エンジンを選択する。具体的には、例えば、ステップＳ７２０において取得した撮影条件群のうちの撮影部位に対して、同撮影部位又は周囲の撮影部位に関する教師データの情報を有し、高画質化の程度が高い高画質化エンジンを選択する。上述の例では、撮影部位が第１の撮影部位である場合には、高画質化部４０４は第１の高画質化エンジンを選択する。

ステップＳ７５０では、高画質化部４０４が、ステップＳ７４０において選択した高画質化エンジンを用いて、入力画像を高画質化した高画質画像を生成する。その後、ステップＳ７６０において、出力部４０５は、ステップＳ７５０において高画質画像が生成されていれば、高画質画像を出力して、表示部２０に表示させる。一方、ステップＳ７３０において高画質化処理が不可能であるとされていた場合には、入力画像を出力し、表示部２０に表示させる。なお、出力部４０５は、高画質画像を表示部２０に表示させる際、高画質化部４０４によって選択された高画質化エンジンを用いて生成された高画質画像であることを表示させてもよい。

上記のように、本実施形態に係る高画質化部４０４は、それぞれ異なる学習データを用いて学習を行った複数の高画質化エンジンを備える。ここで、複数の高画質化エンジンの各々は、それぞれ撮影部位、撮影画角、及び画像の解像度のうちの少なくとも一つについての異なる学習データを用いて学習を行ったものである。高画質化部４０４は、入力画像の撮影部位、撮影画角、及び画像の解像度のうちの少なくとも一つに応じた高画質化エンジンを用いて、高画質画像を生成する。

このような構成により、本実施形態に係る画像処理装置４００は、より効果的な高画質画像を生成することができる。

本実施形態では、高画質化部４０４が、入力画像の撮影条件に基づいて高画質化処理に用いる高画質化エンジンを選択したが、高画質化エンジンの選択処理はこれに限られない。例えば、出力部４０５が、取得した入力画像の撮影条件と高画質化エンジン群を表示部２０のユーザーインターフェースに表示させ、検者からの指示に応じて、高画質化部４０４が高画質化処理に用いる高画質化エンジンを選択してもよい。なお、出力部４０５は、高画質化エンジン群とともに各高画質化エンジンの学習に用いた教師データの情報を表示部２０に表示させてもよい。なお、高画質化エンジンの学習に用いた教師データの情報の表示態様は任意であってよく、例えば、学習に用いた教師データに関連する名称を用いて高画質化エンジン群を表示してもよい。

また、出力部４０５が、高画質化部４０４によって選択された高画質化エンジンを表示部２０のユーザーインターフェースに表示させ、検者からの指示を受け付けてもよい。この場合、高画質化部４０４は、検者からの指示に応じて、当該高画質化エンジンを高画質化処理に用いる高画質化エンジンとして最終的に選択するか否かを判断してもよい。

なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

＜第３の実施形態＞
次に、図４及び７を参照して、第３の実施形態に係る画像処理装置について説明する。第１及び２の実施形態では、撮影条件取得部４０２は、入力画像のデータ構造等から撮影条件群を取得する。これに対して、本実施形態では、撮影条件取得部は、撮影箇所推定エンジンを用いて、入力画像の撮影部位又は撮影領域を入力画像に基づいて推定する。

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第２の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第２の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１及び２の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。

本実施形態に係る撮影条件取得部４０２には、取得部４０１が取得した入力画像に描画されている撮影部位又は撮影領域を推定する撮影箇所推定エンジンが備えられている。本実施形態に係る撮影箇所推定エンジンの備える撮影箇所の推定手法では、機械学習アルゴリズムを用いた推定処理を行う。

本実施形態では、機械学習アルゴリズムを用いた撮影箇所推定手法に係る機械学習モデルのトレーニングには、画像である入力データと、入力データに対応する撮影部位ラベルや撮影領域ラベルである出力データとのペア群で構成された教師データを用いる。ここで、入力データとは、処理対象（入力画像）として想定される特定の撮影条件を持つ画像のことである。入力データとしては、撮影装置１０と同じ画質傾向を持つ撮影装置から取得された画像であることが好ましく、撮影装置１０と同じ設定をされた同じ機種であるとより良い。出力データである撮影部位ラベルや撮影領域ラベルの種類は、入力データに少なくとも一部が含まれている撮影部位や撮影領域であってよい。出力データである撮影部位ラベルの種類は、例えば、ＯＣＴであれば、“黄斑部”、“視神経乳頭部”、“黄斑部及び視神経乳頭部”、並びに“その他”等であってよい。

本実施形態に係る撮影箇所推定エンジンは、このような教師データを用いた学習を行ったことにより、入力された画像に描画されている撮影部位や撮影領域がどこであるかを出力することができる。また、撮影箇所推定エンジンは、必要な詳細レベルの撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力することもできる。撮影箇所推定エンジンを用いることで、撮影条件取得部４０２は、入力画像に基づいて、入力画像の撮影部位や撮影領域を推定し、入力画像についての撮影条件として取得することができる。なお、撮影箇所推定エンジンが撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力する場合には、撮影条件取得部４０２は、最も確率の高い撮影部位や撮影領域を入力画像の撮影条件として取得する。

次に、第２の実施形態と同様に、図７のフロー図を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ７１０、及びステップＳ７３０〜ステップＳ７６０の処理は、第２の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、無条件で高画質化する場合には、ステップＳ７２０の処理の後に、ステップＳ７３０の処理を省き、処理をステップＳ７４０に移行してよい。

ステップＳ７１０において入力画像が取得されると、処理はステップＳ７２０に移行する。ステップＳ７２０では、撮影条件取得部４０２が、ステップＳ７１０において取得した入力画像の撮影条件群を取得する。

具体的には、入力画像のデータ形式に応じて、入力画像を構成するデータ構造に保存された撮影条件群を取得する。また、撮影条件群に撮影部位や撮影領域に関する情報が含まれていない場合、撮影条件取得部４０２は撮影箇所推定エンジンに入力画像を入力し、入力画像がどの撮影部位を撮影して取得されたものなのかを推定する。具体的には、撮影条件取得部４０２は、撮影箇所推定エンジンに入力画像を入力し、撮影部位ラベル群のそれぞれに対して出力された確率を評価し、最も確率の高い撮影部位を入力画像の撮影条件として設定・取得する。

なお、入力画像に撮影部位や撮影領域以外の撮影条件が保存されていない場合には、撮影条件取得部４０２は、撮影装置１０や不図示の画像管理システムから撮影条件群を含む撮影情報群を取得することができる。

以降の処理は、第２実施形態に係る一連の画像処理と同様であるため説明を省略する。

上記のように、本実施形態に係る撮影条件取得部４０２は、入力画像の撮影部位及び撮影領域のうちの少なくとも一方を推定する推定部として機能する。撮影条件取得部４０２は、撮影部位や撮影領域のラベルが付けられた画像を学習データとした撮影箇所推定エンジンを含み、撮影箇所推定エンジンに入力画像を入力することで、入力画像の撮影部位や撮影領域を推定する。

これにより、本実施形態に係る画像処理装置４００は、入力画像の撮影部位や撮影領域についての撮影条件を入力画像に基づいて取得することができる。

なお、本実施形態では、撮影条件取得部４０２は、撮影条件群に撮影部位や撮影領域に関する情報が含まれていない場合に撮影箇所推定エンジンを用いて入力画像の撮影部位や撮影領域について推定を行った。しかしながら、撮影箇所推定エンジンを用いて撮影部位や撮影領域について推定を行う状況はこれに限られない。撮影条件取得部４０２は、入力画像のデータ構造に含まれる撮影部位や撮影領域についての情報が、必要な詳細レベルの情報として不足している場合にも、撮影箇所推定エンジンを用いて撮影部位や撮影領域について推定を行ってもよい。

また、入力画像のデータ構造に撮影部位や撮影領域についての情報が含まれているか否かとは無関係に、撮影条件取得部４０２が撮影箇所推定エンジンを用いて入力画像の撮影部位や撮影領域を推定してもよい。この場合、出力部４０５が、撮影箇所推定エンジンから出力された推定結果と入力画像のデータ構造に含まれる撮影部位や撮影領域についての情報を表示部２０に表示させ、撮影条件取得部４０２が検者の指示に応じて、これらの撮影条件を決定してもよい。

＜第４の実施形態＞
次に、図４、５、８及び９を参照して、第４の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、入力画像を高画質化エンジンが対処可能な画像サイズになるように、入力画像を拡大又は縮小する。また、高画質化部は、高画質化エンジンからの出力画像を、出力画像の画像サイズが入力画像の画像サイズになるように縮小又は拡大して高画質画像を生成する。

本実施形態に係る高画質化部４０４には、第１の実施形態に係る高画質化エンジンと同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データとして、入力データの画像及び出力データの画像を一定の画像サイズになるように拡大又は縮小した画像群により構成した、入力データと出力データのペア群を用いている。

ここで、図８を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図８に示すように、例えば、教師データについて設定された一定の画像サイズより小さな低画質画像Ｉｍ８１０と高画質画像Ｉｍ８２０とがある場合を考える。この場合、教師データについて設定された一定の画像サイズとなるように、低画質画像Ｉｍ８１０及び高画質画像Ｉｍ８２０のそれぞれを拡大する。そして、拡大した低画質画像Ｉｍ８１１と拡大した高画質画像Ｉｍ８２１とをペアとして、当該ペアを教師データの一つとして用いる。

なお、第１の実施形態と同様に、教師データの入力データには、処理対象（入力画像）として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、及び撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第１の実施形態と異なり、画像サイズは含まれない。

本実施形態に係る高画質化部４０４は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部４０４は、入力画像を教師データについて設定された一定の画像サイズになるように拡大又は縮小した変形画像を生成し、変形画像を高画質化エンジン入力する。また、高画質化部４０４は、高画質化エンジンからの出力画像を入力画像の画像サイズになるように縮小又は拡大し、高画質画像を生成する。このため、本実施形態に係る高画質化部４０４は、第１の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。

次に、図５及び９を参照して、本実施形態に係る一連の画像処理について説明する。図９は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップＳ５１０、ステップＳ５２０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。

ステップＳ５２０において、第１の実施形態と同様に、撮影条件取得部４０２が入力画像の撮影条件群を取得したら処理はステップＳ５３０に移行する。ステップＳ５３０では、高画質化可否判定部４０３が、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。具体的には、高画質化可否判定部４０３は、入力画像の撮影条件について、高画質化エンジンが対処可能な、撮影部位、撮影方式、及び撮影画角であるか否かを判定する。高画質化可否判定部４０３は、第１の実施形態と異なり、画像サイズは判定しない。

高画質化可否判定部４０３が、撮影部位、撮影方式、及び撮影画角について判定し、入力画像が対処可能と判定された場合には、処理はステップＳ５４０に移行する。一方、高画質化可否判定部４０３が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップＳ５５０に移行する。なお、画像処理装置４００の設定や実装形態によっては、撮影部位、撮影方式、及び撮影画角のうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップＳ５４０における高画質化処理が実施されてもよい。

処理がステップＳ５４０に移行すると、図９に示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップＳ９１０において、高画質化部４０４が、入力画像を教師データについて設定された一定の画像サイズに拡大又は縮小し、変形画像を生成する。

次に、ステップＳ９２０において、高画質化部４０４は、生成した変形画像を高画質化エンジンに入力し高画質化された高画質な変形画像を取得する。

その後、ステップＳ９３０において、高画質化部４０４は、高画質な変形画像を入力画像の画像サイズに縮小又は拡大し、高画質画像を生成する。高画質化部４０４がステップＳ９３０において高画質画像を生成したら、本実施形態に係る高画質化処理は終了し、処理はステップＳ５５０に移行する。ステップＳ５５０の処理は、第１の実施形態のステップＳ５５０と同様であるため説明を省略する。

上記のように、本実施形態に係る高画質化部４０４は、入力画像の画像サイズを、高画質化エンジンが対処可能な画像サイズに調整して高画質化エンジンに入力する。また、高画質化部４０４は、高画質化エンジンからの出力画像を入力画像の元の画像サイズに調整することで高画質画像を生成する。これにより、本実施形態の画像処理装置４００は、高画質化エンジンを用いて、第１の実施形態では対処できなかった画像サイズの入力画像についても高画質化して、画像診断に適切な高画質画像を生成することができる。

＜第５の実施形態＞
次に、図４、５、１０及び１１を参照して、第５の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、高画質化エンジンによる一定の解像度を基準とした高画質化処理により高画質画像を生成する。

本実施形態に係る高画質化部４０４には、第１の実施形態と同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データが第１の実施形態における教師データと異なる。具体的には、教師データの入力データと出力データとのペア群を構成する画像群の解像度が一定の解像度となるような画像サイズに当該画像群を拡大又は縮小した後、十分に大きい一定の画像サイズとなるようにパディングしている。ここで、画像群の解像度とは、例えば、撮影装置の空間分解能や撮影領域に対する解像度をいう。

ここで、図１０を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図１０に示すように、例えば、教師データについて設定された一定の解像度より低い解像度を持つ低画質画像Ｉｍ１０１０と高画質画像Ｉｍ１０２０とがある場合を考える。この場合、教師データについて設定された一定の解像度となるように、低画質画像Ｉｍ１０１０と高画質画像Ｉｍ１０２０のそれぞれを拡大する。さらに、拡大された低画質画像Ｉｍ１０１０と高画質画像Ｉｍ１０２０のそれぞれについて、教師データについて設定された一定の画像サイズとなるようにパディングする。そして、拡大及びパディングが行われた低画質画像Ｉｍ１０１１と高画質画像Ｉｍ１０２１とをペアとし、当該ペアを教師データの一つとして用いる。

なお、教師データについて設定された一定の画像サイズとは、処理対象（入力画像）として想定される画像を一定の解像度となるように拡大又は縮小したときの最大となりうる画像サイズである。当該一定の画像サイズが十分に大きくない場合には、高画質化エンジンに入力された画像を拡大したときに、機械学習モデルが対処不可能な画像サイズとなる可能性がある。

また、パディングが行われる領域は、効果的に高画質化できるように機械学習モデルの特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。なお、第１の実施形態と同様に、入力データには、処理対象として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第１の実施形態と異なり、画像サイズは含まれない。

本実施形態に係る高画質化部４０４は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部４０４は、入力画像を教師データについて設定された一定の解像度になるように拡大又は縮小した変形画像を生成する。また、高画質化部４０４は、変形画像について、教師データについて設定された一定の画像サイズとなるようにパディングを行ってパディング画像を生成し、パディング画像を高画質化エンジン入力する。

また、高画質化部４０４は、高画質化エンジンから出力された高画質なパディング画像について、パディングを行った領域分だけトリミングし、高画質な変形画像を生成する。その後、高画質化部４０４は、生成した高画質な変形画像を入力画像の画像サイズになるように縮小又は拡大し、高画質画像を生成する。

このため、本実施形態に係る高画質化部４０４は、第１の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。

次に、図５及び１１を参照して、本実施形態に係る一連の画像処理について説明する。図１１は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップＳ５１０、ステップＳ５２０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。

ステップＳ５２０において、第１の実施形態と同様に、撮影条件取得部４０２が入力画像の撮影条件群を取得したら、処理はステップＳ５３０に移行する。ステップＳ５３０では、高画質化可否判定部４０３が、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。具体的には、高画質化可否判定部４０３は、入力画像の撮影条件について、高画質化エンジンが対処可能な、撮影部位、撮影方式、及び撮影画角であるか否かを判定する。高画質化可否判定部４０３は、第１の実施形態と異なり、画像サイズは判定しない。

処理がステップＳ５４０に移行すると、図１１に示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップＳ１１１０において、高画質化部４０４が、入力画像を教師データについて設定された一定の解像度となるように拡大又は縮小し、変形画像を生成する。

次に、ステップＳ１１２０において、高画質化部４０４は、生成した変形画像について、教師データについて設定された画像サイズとなるように、パディングを行ってパディング画像を生成する。この際、高画質化部４０４は、パディングを行う領域について、効果的に高画質化できるように機械学習モデルの特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。

ステップＳ１１３０では、高画質化部４０４がパディング画像を高画質化エンジンに入力し高画質化された高画質なパディング画像を取得する。

次に、ステップＳ１１４０において、高画質化部４０４は、高画質なパディング画像について、ステップＳ１１２０でパディングを行った領域分だけトリミングを行い、高画質な変形画像を生成する。

その後、ステップＳ１１５０において、高画質化部４０４は、高画質な変形画像を入力画像の画像サイズに縮小又は拡大し、高画質画像を生成する。高画質化部４０４がステップＳ１１３０において高画質画像を生成したら、本実施形態に係る高画質化処理は終了し、処理はステップＳ５５０に移行する。ステップＳ５５０の処理は、第１の実施形態のステップＳ５５０と同様であるため説明を省略する。

上記のように、本実施形態による高画質化部４０４は、入力画像の解像度が所定の解像度となるように、入力画像の画像サイズを調整する。また、高画質化部４０４は、画像サイズが調整された入力画像について、調整された画像サイズが高画質化エンジンによって対処可能な画像サイズとなるように、パディングを行ったパディング画像を生成し、パディング画像を高画質化エンジンに入力する。その後、高画質化部４０４は、高画質化エンジンからの出力画像について、パディングを行った領域分だけトリミングを行う。そして、高画質化部４０４は、トリミングが行われた画像の画像サイズを、入力画像の元の画像サイズに調整することで高画質画像を生成する。

これにより、本実施形態の高画質化部４０４は、第１の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。また、解像度を基準とした教師データで学習した高画質化エンジンを用いることで、単純に同一な画像サイズの画像を処理する第４の実施形態に係る高画質化エンジンよりも、効率よく入力画像を高画質化できる場合がある。

＜第６の実施形態＞
次に、図４、５、１２及び１３を参照して、第６の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、入力画像を一定の画像サイズの領域毎に高画質化することにより高画質画像を生成する。

本実施形態に係る高画質化部４０４には、第１の実施形態と同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データが第１の実施形態における教師データと異なる。具体的には、教師データを構成する、低画質画像である入力データと高画質画像である出力データとのペア群を、低画質画像及び高画質画像における、位置関係が対応する一定の画像サイズの矩形領域画像によって構成している。

ここで、図１２を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図１２に示すように、教師データを構成するペア群の一つに、例えば、低画質画像である元画像Ｉｍ１２１０と、高画質画像である重ね合わせ画像Ｉｍ１２２０があるとした場合を考える。この場合、第１の実施形態においては、教師データの入力データをＩｍ１２１０、出力データをＩｍ１２２０とした。

これに対し、本実施形態においては、元画像Ｉｍ１２１０のうちの矩形領域画像Ｒ１２１１を入力データとし、重ね合わせ画像Ｉｍ１２２０において矩形領域画像Ｒ１２１１と同じ撮影領域である矩形領域画像Ｒ１２２１を出力データとする。そして、入力データである矩形領域画像Ｒ１２１１と出力データである矩形領域画像Ｒ１２２１によって教師データのペア（以下、第１の矩形領域画像ペア）を構成する。ここで、矩形領域画像Ｒ１２１１と矩形領域画像Ｒ１２２１は、一定の画像サイズの画像とされる。なお、元画像Ｉｍ１２１０と重ね合わせ画像Ｉｍ１２２０は任意の方法により位置合わせされてよい。また、矩形領域画像Ｒ１２１１と矩形領域画像Ｒ１２２１の対応する位置関係はテンプレートマッチングなどの任意の方法によって特定されてよい。なお、高画質化エンジンの設計によっては、入力データと出力データの、それぞれの画像サイズや次元数は異なっていてもよい。例えば、処理対象がＯＣＴの画像である場合に、入力データがＢスキャン画像（二次元画像）の一部であるとき、出力データがＡスキャン画像（一次元画像）の一部であってもよい。

矩形領域画像Ｒ１２１１，Ｒ１２２１に関する一定の画像サイズは、例えば、処理対象（入力画像）として想定される画像の画像サイズ群について、対応する各次元の画素数群の公約数から決定することができる。この場合には、高画質化エンジンが出力する矩形領域画像群の位置関係が重なることを防ぐことができる。具体的に、例えば、処理対象として想定される画像が二次元画像であり、画像サイズ群のうちの第１の画像サイズが幅５００画素、高さ５００画素であり、第２の画像サイズが幅１００画素、高さ１００画素である場合を考える。ここで、各辺の公約数から、矩形領域画像Ｒ１２１１，Ｒ１２２１に関する一定の画像サイズを選択する。この場合には、例えば、一定の画像サイズを、幅１００画素、高さ１００画素や、幅５０画素、高さ５０画素や、幅２５画素、高さ２５画素等から選択する。

処理対象として想定される画像が三次元である場合には、幅、高さ、奥行きに関して画素数を決定する。なお、矩形領域は、入力データに対応する低画質画像と出力データに対応する高画質画像のペアの一つに対して、複数設定可能である。このため、例えば、元画像Ｉｍ１２１０のうちの矩形領域画像Ｒ１２１２を入力データ、重ね合わせ画像Ｉｍ１２２０において矩形領域画像Ｒ１２１２と同じ撮影領域である矩形領域画像Ｒ１２２２を出力データとする。そして、入力データである矩形領域画像Ｒ１２１２と出力データである矩形領域画像Ｒ１２２２によって教師データのペアを構成する。これにより、第１の矩形領域画像ペアとは別の矩形領域画像ペアを作成できる。

なお、矩形領域の画像を異なる座標の画像に変えながら多数の矩形領域画像のペアを作成することで教師データを構成するペア群を充実させることができ、当該教師ペアを用いて学習を行った高画質化エンジンによって効率的な高画質化が期待できる。ただし、機械学習モデルの高画質化に寄与しないペアは教師データに加えないようにすることができる。例えば、ペアを構成する出力データである高画質画像から作成した矩形領域画像が診断に適さない画質である場合には、そのような教師データを用いて学習を行った高画質化エンジンが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、そのような高画質画像を含むペアを教師データから取り除くことができる。

また、例えば、ペアである、低画質画像から作成した矩形領域画像と高画質画像から作成した矩形領域画像の平均輝度や輝度分布が大きく異なる場合も、そのようなペアを教師データから取り除くことができる。そのような教師データを用いて学習を行うと、高画質化エンジンが入力画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力してしまう可能性がある。

さらに、例えば、ペアである、低画質画像から作成した矩形領域画像と高画質画像から作成した矩形領域画像とに描画される撮影対象の構造や位置が大きく異なる場合を考える。この場合には、そのような教師データを用いて学習を行った高画質化エンジンが入力画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力してしまう可能性がある。そのため、このようなペアを教師データから取り除くこともできる。

なお、第１の実施形態と同様に、教師データの入力データには、処理対象として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、及び撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第１の実施形態と異なり、画像サイズは含まれない。

本実施形態に係る高画質化部４０４は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部４０４は、入力された画像を、隙間なく連続する、教師データについて設定された一定の画像サイズの矩形領域画像群に分割する。高画質化部４０４は、分割した矩形領域画像群のそれぞれを高画質化エンジンにより高画質化し、高画質な矩形領域画像群を生成する。その後、高画質化部４０４は、生成した高画質な矩形領域画像群を、入力画像の位置関係に応じて配置して結合し、高画質画像を生成する。

このように、本実施形態の高画質化部４０４は、入力された画像を矩形領域単位で高画質化し、高画質化した画像を結合することで、第１の実施形態では対処できなかった画像サイズの画像をも高画質化して高画質画像を生成することができる。

次に、図５、１３及び１４を参照して、本実施形態に係る一連の画像処理について説明する。図１３は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップＳ５１０、ステップＳ５２０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。

処理がステップＳ５４０に移行すると、図１３に示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップＳ１３１０において、図１４に示すように、入力画像を隙間なく連続する、教師データについて設定された一定の画像サイズの矩形領域画像群に分割する。ここで、図１４は、入力画像Ｉｍ１４１０を一定の画像サイズの矩形領域画像Ｒ１４１１〜Ｒ１４２６群に分割した一例を示す。なお、上述のよぅに、高画質化エンジンの設計によっては、高画質化エンジンの入力画像と出力画像の、それぞれの画像サイズや次元数が異なってもよい。この場合には、ステップＳ１３２０において生成される結合された高画質画像に欠損が無いように、入力画像の分割位置を重複させたり、分離させたりして、調整することができる。

次に、ステップＳ１３２０において、高画質化部４０４は、矩形領域画像Ｒ１４１１〜Ｒ１４２６群のそれぞれを高画質化エンジンにより高画質化し、高画質な矩形領域画像群を生成する。

そして、ステップＳ１３３０において、高画質化部４０４は、生成した高画質な矩形領域画像群のそれぞれを、入力画像について分割した矩形領域画像Ｒ１４１１〜Ｒ１４２６群のそれぞれと同様の位置関係に配置して結合し、高画質画像を生成する。

上記のように、本実施形態に係る高画質化部４０４は、入力画像を所定の画像サイズの複数の矩形領域画像（第３の画像）Ｒ１４１１〜Ｒ１４２６に分割する。その後、高画質化部４０４は、分割した複数の矩形領域画像Ｒ１４１１〜Ｒ１４２６を高画質化エンジンに入力して複数の第４の画像を生成し、複数の第４の画像を統合することで、高画質画像を生成する。なお、統合時に矩形領域群間で位置関係が重なる場合には、該矩形領域群の画素値群を統合したり、上書きしたりすることができる。

これにより、本実施形態の高画質化部４０４は、第１の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。また、教師データを、低画質画像及び高画質画像を所定の画像サイズに分割した複数の画像から作成すると、少ない画像から多くの教師データを作成することができる。そのため、この場合には、教師データを作成するための低画質画像及び高画質画像の数を少なくすることができる。

＜第７の実施形態＞
次に、図１５〜１７を参照して、第７の実施形態に係る画像処理装置について説明する。本実施形態では、画質評価部が、検者の指示に応じて、複数の高画質化エンジンから出力された複数の高画質画像のうち最も高画質な画像を選択する。

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。

図１５は、本実施形態に係る画像処理装置１５００の概略的な構成を示す。本実施形態に係る画像処理装置１５００には、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５に加えて、画質評価部１５０６が設けられている。なお、画像処理装置１５００は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。ここで、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。

また、画像処理装置１５００は、第１の実施形態に係る画像処理装置４００と同様に撮影装置１０、表示部２０及び不図示の他の装置と、任意の回路やネットワークを介して接続されてよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。

本実施形態に係る高画質化部４０４には、それぞれ異なる教師データを用いて機械学習が行われた二つ以上の高画質化エンジンが備えられている。ここで、本実施形態に係る教師データ群の作成方法について説明する。具体的には、まず、様々な撮影条件によって撮影された、低画質画像である入力データと高画質画像である出力データのペア群を用意する。次に、任意の撮影条件の組み合わせによってペア群をグルーピングすることで、教師データ群を作成する。例えば、第１の撮影条件の組み合わせによって取得されたペア群で構成される第１の教師データ、第２の撮影条件の組み合わせによって取得されたペア群で構成される第２の教師データというように、教師データ群として作成する。

その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第１の教師データでトレーニングされた機械学習モデルに対応する第１の高画質化エンジン、第１の教師データでトレーニングされた機械学習モデルに対応する第１の高画質化エンジンというように高画質化エンジン群を用意する。

このような高画質化エンジンは、それぞれ対応する機械学習モデルのトレーニングに用いた教師データが異なるため、高画質化エンジンに入力される画像の撮影条件によって、入力画像を高画質化できる程度が異なる。具体的には、第１の高画質化エンジンは、第１の撮影条件の組み合わせで撮影して取得された入力画像に対しては高画質化の程度が高く、第２の撮影条件の組み合わせで撮影して取得された画像に対しては高画質化の程度が低い。同様に、第２の高画質化エンジンは、第２の撮影条件で撮影して取得された入力画像に対しては高画質化の程度が高く、第１の撮影条件で撮影して取得された画像に対しては高画質化の程度が低い。

教師データのそれぞれが撮影条件の組み合わせによってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影条件の組み合わせであれば、第１の実施形態に係る高画像化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件の組み合わせは、任意であってよく、例えば、撮影部位、撮影画角、及び画像の解像度のうちの二つ以上の組み合わせであってよい。また、教師データのグルーピングを、第２の実施形態と同様に、一つの撮影条件に基づいて行ってもよい。

画質評価部１５０６は、高画質化部４０４が、複数の高画質化エンジンを用いて生成した複数の高画質画像について、検者の指示に応じて、最も画質の高い高画質画像を選択する。

出力部４０５は、画質評価部１５０６が選択した高画質画像を表示部２０に表示させたり、他の装置に出力したりすることができる。なお、出力部４０５は、高画質化部４０４が生成した複数の高画質画像を表示部２０に表示させることができ、画質評価部１５０６は、表示部２０を確認した検者からの指示に応じて最も画質の高い高画質画像を選択することができる。

これにより、画像処理装置１５００は、複数の高画質化エンジンを用いて生成された複数の高画質画像のうち、検者の指示に応じた最も画質の高い高画質画像を出力することができる。

以下、図１６及び１７を参照して、本実施形態に係る一連の画像処理について説明する。図１６は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップＳ１６１０及びステップＳ１６２０の処理は、第１の実施形態におけるステップＳ５１０及びステップＳ５２０での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ１６２０の処理の後に、ステップＳ１６３０の処理を省き、処理をステップＳ１６４０に移行してよい。

ステップＳ１６２０において、第１の実施形態と同様に、撮影条件取得部４０２が入力画像の撮影条件群を取得したら、処理はステップＳ１６３０に移行する。ステップＳ１６３０では、高画質化可否判定部４０３が、第２の実施形態と同様に、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンのいずれかが入力画像を対処可能であるか否かを判定する。

高画質化可否判定部４０３が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップＳ１６６０に移行する。一方で、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ１６４０に移行する。なお、画像処理装置４００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ１６４０を実施してもよい。

ステップＳ１６４０においては、高画質化部４０４が、高画質化エンジン群のそれぞれにステップＳ１６１０において取得した入力画像を入力し、高画質画像群を生成する。

ステップＳ１６５０では、画質評価部１５０６が、ステップＳ１６４０において生成された高画質画像群のうち最も高画質な画像を選択する。具体的には、まず、出力部４０５が、ステップＳ１６４０で生成された高画質画像群を、表示部２０のユーザーインターフェースに表示させる。

ここで、図１７に当該インターフェースの一例を示す。当該インターフェースには、入力画像Ｉｍ１７１０、及び高画質化エンジン群のそれぞれが出力した高画質画像Ｉｍ１７２０，Ｉｍ１７３０，Ｉｍ１７４０，Ｉｍ１７５０のそれぞれが表示される。検者は不図示の任意の入力装置を操作して、画像群（高画質画像Ｉｍ１７２０〜Ｉｍ１７５０）のうち、最も高画質、つまり、最も画像診断に適した画像を指示する。なお、高画質化エンジンによって高画質化していない入力画像の方が、画像診断に適している可能性もあるので、検者による指示の対象となる画像群に入力画像を加えてもよい。

その後、画質評価部１５０６は、検者によって指示された高画質画像を最も高画質な画像として選択する。

ステップＳ１６６０においては、出力部４０５が、ステップＳ１６５０において選択された画像を表示部２０に表示させたり、他の装置に出力したりする。ただし、ステップＳ１６３０において、入力画像が処理不可能であると判定されている場合には、出力部４０５は、入力画像を出力画像として出力する。なお、出力部４０５は、検者によって入力画像が指示された場合や、入力画像が処理不可能であった場合には、表示部２０に出力画像が入力画像と同じであることを表示させてもよい。

上記のように、本実施形態に係る高画質化部４０４は、複数の高画質化エンジンを用いて、入力画像から複数の高画質画像を生成し、画像処理装置１５００の出力部４０５は、検者の指示に応じて、複数の高画質画像のうち少なくとも一つの画像を出力する。特に、本実施形態では、出力部４０５は、検者の指示に応じて、最も高画質な画像を出力する。これにより、画像処理装置１５００は、複数の高画質化エンジンを用いて生成された複数の高画質画像のうち、検者の指示に応じた画質の高い高画質画像を出力することができる。

なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置１５００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

＜第８の実施形態＞
次に、図１５及び１６を参照して、第８の実施形態に係る画像処理装置について説明する。本実施形態では、画質評価部が、画質評価エンジンを用いて、複数の高画質化エンジンから出力された複数の高画質画像のうち最も高画質な画像を選択する。

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第７の実施形態に係る画像処理装置１５００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第７の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第７の実施形態に係る画像処理装置の構成と同様であるため、図１５に示す構成について同一の参照符号を用いて示し、説明を省略する。

本実施形態に係る画質評価部１５０６には、入力された画像の画質を評価する画質評価エンジンが備えられている。画質評価エンジンは入力された画像に対する画質評価指数を出力する。本実施形態に係る画質評価エンジンにおいて画質評価指数を算出する画質評価処理手法は、機械学習アルゴリズムを用いて構築した機械学習モデルを用いる。機械学習モデルをトレーニングする教師データを構成するペアの入力データは、事前に様々な撮影条件によって撮影された低画質画像群と高画質画像群とで構成される画像群である。また、機械学習モデルをトレーニングする教師データを構成するペアの出力データは、例えば、画像診断を行う検者が入力データの画像群のそれぞれについて設定した画質評価指数群である。

次に図１６を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ１６１０、ステップＳ１６２０、ステップＳ１６３０、及びステップＳ１６６０の処理は、第７の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ１６２０の処理の後に、ステップＳ１６３０の処理を省き、処理をステップＳ１６４０に移行してよい。

ステップＳ１６３０において、第７の実施形態と同様に、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ１６４０に移行する。なお、画像処理装置４００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ１６４０を実施してもよい。

ステップＳ１６５０では、画質評価部１５０６が、ステップＳ１６４０において生成された高画質画像群のうち最も高画質な画像を選択する。具体的には、まず、画質評価部１５０６が、ステップＳ１６４０で生成された高画質画像群を、画質評価エンジンに入力する。画質評価エンジンは、入力された各高画質画像について、学習に基づいて、画質評価指数を算出する。画質評価部１５０６は、算出された画質評価指数のうち最も高い画質評価指数が算出された高画質画像を選択する。なお、高画質化エンジンによって高画質化していない入力画像の方が、画像診断に適している可能性もあるので、画質評価部１５０６は、画質評価エンジンに入力画像も入力し、入力画像に対する画質評価指数も選択に加えてもよい。ステップＳ１６６０は、第７の実施形態のステップＳ１６６０と同様であるため説明を省略する。

上記のように、本実施形態に係る画像処理装置１５００は、高画質画像の画質を評価する画質評価部１５０６を更に備える。高画質化部４０４は、複数の高画質化エンジンを用いて、入力画像から複数の高画質画像を生成し、画像処理装置１５００の出力部４０５は、画質評価部１５０６による評価結果に応じて、複数の高画質画像のうち少なくとも一つの画像を出力する。特に、本実施形態に係る画質評価部１５０６は、所定の評価手法による評価値を学習データとした画質評価エンジンを含む。画質評価部１５０６は、複数の高画質画像のうち、画質評価部１５０６による画質評価エンジンを用いた評価の結果が最も高い高画質画像を選択する。出力部４０５は、画質評価部１５０６によって選択された最も評価値が高い高画質画像を出力する。

これにより、本実施形態に係る画像処理装置１５００では、画質評価エンジンの出力に基づいて、複数の高画質画像から最も画像診断に適した高画質画像を容易に出力することができる。

なお、本実施形態では、画質評価部１５０６が画質評価エンジンによって出力される画質評価指数のうち最も高い画質評価指数の高画質画像を選択し、出力部４０５が選択された高画質画像を表示部２０に表示させた。しかしながら、画質評価部１５０６の構成はこれに限られない。例えば、画質評価部１５０６は画質評価エンジンによって出力される画質評価指数のうち上位いくつかの画質評価指数の高画質画像を選択し、出力部４０５が選択された高画質画像を表示部２０に表示させてもよい。また、出力部４０５が、画質評価エンジンによって出力された画質評価指数を対応する高画質画像とともに表示部２０に表示させ、画質評価部１５０６が検者の指示に応じて、最も高画質な画像を選択してもよい。

＜第９の実施形態＞
次に、図１８及び１９を参照して、第９の実施形態に係る画像処理装置について説明する。本実施形態では、真贋評価部が、真贋評価エンジンを用いて、高画質化部４０４によって生成された高画質画像が十分に高画質化されたものであるか否かを評価する。

図１８は、本実施形態に係る画像処理装置１８００の概略的な構成を示す。本実施形態に係る画像処理装置１８００には、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５に加えて、真贋評価部１８０７が設けられている。なお、画像処理装置１８００は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。ここで、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。

また、画像処理装置１８００は、第１の実施形態に係る画像処理装置４００と同様に撮影装置１０、表示部２０及び不図示の他の装置と、任意の回路やネットワークを介して接続されてよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。

真贋評価部１８０７には、真贋評価エンジンが備えられている。真贋評価部１８０７は、真贋評価エンジンを用いて、高画質化エンジンが生成した高画質画像が十分に高画質化されているか否かを評価する。本実施形態に係る真贋評価エンジンにおける真贋評価処理手法は、機械学習アルゴリズムを用いて構築した機械学習モデルを用いる。

機械学習モデルをトレーニングする教師データには、事前に様々な撮影条件によって撮影された高画質画像群と対象の撮影装置によって撮影され取得されたことを表すラベル（以下、真作ラベル）とのペア群が含まれる。また、教師データには、高画質化の精度の悪い高画質化エンジンに低画質画像を入力して生成した高画質画像群と対象の撮影装置によって撮影され取得されていないことを表すラベル（以下、贋作ラベル）とのペア群が含まれる。

このような教師データを用いて学習が行われた真贋評価エンジンは、入力された画像に対し、確実に撮影装置によって撮影され取得された画像か否かを評価できるわけではないが、撮影装置によって撮影され取得された画像らしさを持つ画像か否かを評価できる。この特性を利用して、真贋評価部１８０７は、真贋評価エンジンに高画質化部４０４が生成した高画質画像を入力することで、高画質化部４０４が生成した高画質画像が十分に高画質化されているか否かを評価できる。

出力部４０５は、真贋評価部１８０７によって高画質化部４０４が生成した高画質画像が十分に高画質化されていると判断されたら、当該高画質画像を表示部２０に表示させる。一方、出力部４０５は、真贋評価部１８０７によって、高画質化部４０４が生成した高画質画像が十分に高画質化されていないと判断されたら、入力画像を表示部２０に表示させる。なお、出力部４０５は、入力画像を表示させる際に、高画質化部４０４によって生成された高画質画像が十分に高画質化されなかったことや表示されている画像が入力画像であることを表示部２０に表示させることができる。

以下、図１９を参照して、本実施形態に係る一連の画像処理について説明する。図１９は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップＳ１９１０〜ステップＳ１９４０の処理は、第１の実施形態におけるステップＳ５１０〜ステップＳ５４０での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ１９２０の処理の後に、ステップＳ１９３０の処理を省き、処理をステップＳ１９４０に移行してよい。

ステップＳ１９４０において、高画質化部４０４が高画質画像群を生成したら、処理はステップＳ１９５０に移行する。ステップＳ１９５０では、真贋評価部１８０７が、ステップＳ１９４０において生成された高画質画像を真贋評価エンジンに入力し、真贋評価エンジンの出力に基づいて真贋評価を行う。具体的には、真贋評価部１８０７は、真贋評価エンジンから真作ラベル（真）が出力された場合には、生成された高画質画像が十分に高画質化されていると評価する。一方、真贋評価エンジンから贋作ラベル（偽）が出力された場合には、真贋評価部１８０７は、生成された高画質画像が十分に高画質化されていないと評価する。

ステップＳ１９６０においては、出力部４０５が、真贋評価部１８０７によって高画質化部４０４が生成した高画質画像が十分に高画質化されていると判断されたら、当該高画質画像を表示部２０に表示させる。一方、出力部４０５は、真贋評価部１８０７によって、高画質化部４０４が生成した高画質画像が十分に高画質化されていないと判断されたら、入力画像を表示部２０に表示させる。

上記のように、本実施形態に係る画像処理装置１８００は、高画質画像の画質を評価する真贋評価部１８０７を更に備え、真贋評価部１８０７は画像の真贋を評価する真贋評価エンジンを含む。真贋評価エンジンは、高画質化部４０４の高画質化エンジンよりも高画質化処理の精度が低い（悪い）高画質化エンジンによって生成された画像を学習データとした機械学習エンジンを含む。画像処理装置１８００の出力部４０５は、真贋評価部の真贋評価エンジンからの出力が真である場合に、高画質画像を出力する。

これにより、本実施形態に係る画像処理装置１８００では、検者は十分に高画質化された高画質画像を効率よく確認することができる。

また、高画質化エンジンの機械学習モデルと真贋評価エンジンの機械学習モデルとを協調させてトレーニングすることによって、双方のエンジンの効率や精度を向上させてもよい。

なお、本実施形態では、高画質化部４０４が一つの高画質画像を生成し、真贋評価部１８０７が生成された一つの高画質画像について評価を行う構成としたが、真贋評価部１８０７の評価はこれに限られない。例えば、第２の実施形態のように、高画質化部４０４が複数の高画質化エンジンを用いて複数の高画質画像を生成する場合には、真贋評価部１８０７が生成された複数の高画質画像の少なくとも一つについて評価を行う構成としてもよい。この場合、例えば真贋評価部１８０７は、生成された複数の高画質画像の全てについて評価を行ってもよいし、複数の高画質画像のうち検者によって指示された画像のみについて評価を行ってもよい。

さらに、出力部４０５は、真贋評価部１８０７による高画質画像が十分に高画質化されているか否かの判断結果を表示部２０に表示させ、検者の指示に応じて、高画質画像を出力してもよい。

なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置１８００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

＜第１０の実施形態＞
次に、図４及び５を参照して、第１０の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が三次元の入力画像を複数の二次元画像に分割して高画質化エンジンに入力し、高画質化エンジンからの出力画像を結合することで三次元の高画質画像を生成する。

本実施形態に係る取得部４０１は、構造的に連続する二次元画像群で構成された、三次元画像を取得する。具体的には、三次元画像は、例えば、ＯＣＴのＢスキャン像（断層画像）群で構成された三次元ＯＣＴボリューム画像である。また、例えば、アキシャル断層像群で構成された三次元ＣＴボリューム画像である。

高画質化部４０４には、第１の実施形態と同様に、高画質化エンジンが備えられている。なお、高画質化エンジンの教師データである入力データと出力データのペア群は二次元画像の画像群により構成されている。高画質化部４０４は、取得された三次元画像を複数の二次元画像に分割し、二次元画像毎に高画質化エンジンに入力する。これにより、高画質化部４０４は、複数の二次元の高画質画像を生成することができる。

出力部４０５は、高画質化部４０４によって、三次元画像の各二次元画像について生成された複数の二次元の高画質画像を結合し、三次元の高画質画像を出力する。

次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５１０〜ステップＳ５３０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。ただし、ステップＳ５１０では、取得部４０１は三次元画像を取得する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。

ステップＳ５３０において、高画質化可否判定部４０３が、高画質化エンジンによって入力画像を対処可能と判定した場合には、処理はステップＳ５４０に移行する。なお、高画質化可否判定部４０３は、三次元画像の撮影条件に基づいて当該判定を行ってもよいし、三次元画像を構成する複数の二次元画像に関する撮影条件に基づいて当該判定を行ってもよい。ステップＳ５４０では、高画質化部４０４が、取得された三次元画像を複数の二次元画像に分割する。高画質化部４０４は、分割した複数の二次元画像のそれぞれを高画質化エンジンに入力し、複数の二次元の高画質画像を生成する。高画質化部４０４は、取得した三次元画像に基づいて、生成した複数の二次元の高画質画像を結合し、三次元の高画質画像を生成する。

ステップＳ５５０では、出力部４０５は、生成された三次元の高画質画像を表示部２０に表示させる。なお、三次元の高画質画像の表示態様は任意であってよい。

上記のように、本実施形態に係る高画質化部４０４は、三次元の入力画像を複数の二次元の画像に分割して高画質化エンジンに入力する。高画質化部４０４は、高画質化エンジンから出力された複数の二次元の高画質画像を結合し、三次元の高画質画像を生成する。

これにより、本実施形態に係る高画質化部４０４は、二次元画像の教師データを用いて学習が行われた高画質化エンジンを用いて、三次元画像を高画質化することができる。

＜第１１の実施形態＞
次に、図４及び５を参照して、第１１の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が三次元の入力画像を複数の二次元画像に分割し、複数の二次元画像を複数の高画質化エンジンによって並列に高画質化し、高画質化エンジンからの出力画像を結合することで三次元の高画質画像を生成する。

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１０の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１０の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１及び１０の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。

本実施形態に係る高画質化部４０４には、第１０の実施形態と同様の高画質化エンジンが、複数備えられている。なお、高画質化部４０４に備えられた複数の高画質化エンジン群は、回路やネットワークを介して、二つ以上の装置群に分散処理可能なように実装されていてもよいし、単一の装置に実装されていてもよい。

高画質化部４０４は、第１０の実施形態と同様に、取得された三次元画像を複数の二次元画像に分割する。高画質化部４０４は、複数の二次元画像を複数の高画質化エンジンを用いて、分担して（並列的に）高画質化を行い、複数の二次元の高画質画像を生成する。高画質化部４０４は、複数の高画質化エンジンから出力された複数の二次元の高画質画像を、処理対象である三次元画像に基づいて結合し、三次元の高画質画像を生成する。

次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５１０〜ステップＳ５３０、及びステップＳ５５０の処理は、第１０の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。

ステップＳ５３０において、高画質化可否判定部４０３が、高画質化エンジンによって入力画像を対処可能と判定した場合には、処理はステップＳ５４０に移行する。なお、高画質化可否判定部４０３は、三次元画像の撮影条件に基づいて当該判定を行ってもよいし、三次元画像を構成する複数の二次元画像に関する撮影条件に基づいて当該判定を行ってもよい。

ステップＳ５４０では、高画質化部４０４が、取得された三次元画像を複数の二次元画像に分割する。高画質化部４０４は、分割した複数の二次元画像のそれぞれを複数の高画質化エンジンに入力し、並列的に高画質化処理して、複数の二次元の高画質画像を生成する。高画質化部４０４は、取得した三次元画像に基づいて、生成した複数の二次元の高画質画像を結合し、三次元の高画質画像を生成する。

上記のように、本実施形態に係る高画質化部４０４は、複数の高画質化エンジンを含む。高画質化部４０４は、三次元の入力画像を複数の二次元の画像に分割し、複数の高画質化エンジンを並列的に用いて、複数の二次元の高画質画像を生成する。高画質化部４０４は複数の二次元の高画質画像を統合することで、三次元の高画質画像を生成する。

これにより、本実施形態に係る高画質化部４０４は、二次元画像の教師データを用いて学習が行われた高画質化エンジンを用いて、三次元画像を高画質化することができる。また、第１０の実施形態と比べて、より効率的に三次元画像を高画質化することができる。

なお、複数の高画質化エンジンの教師データは、各高画質化エンジンで処理を行う処理対象に応じて異なる教師データであってもよい。例えば、第１の高画質化エンジンは第１の撮影領域についての教師データで学習を行い、第２の高画質化エンジンは第２の撮影領域についての教師データで学習を行ってもよい。この場合には、それぞれの高画質化エンジンが、より精度良く二次元画像の高画質化を行うことができる。

また、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

＜第１２の実施形態＞
次に、図５及び２０を参照して、第１２の実施形態に係る画像処理装置について説明する。本実施形態では、取得部４０１が撮影装置ではなく画像管理システム２０００から入力画像を取得する。

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は第１の実施形態に係る画像処理装置４００の構成と同様であるため、図４に示す構成について同じ参照符号を用いて説明を省略する。

図２０は、本実施形態に係る画像処理装置４００の概略的な構成を示す。本実施形態に係る画像処理装置４００は画像管理システム２０００、及び表示部２０と任意の回路やネットワークを介して接続されている。画像管理システム２０００は、任意の撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムである。また、画像管理システム２０００は、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。

本実施形態に係る取得部４０１は、画像処理装置４００に接続される画像管理システム２０００から入力画像を取得することができる。また、出力部４０５は、高画質化部４０４によって生成された高画質画像を、画像管理システム２０００に出力することができる。

次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５２０〜ステップＳ５４０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。

ステップＳ５１０において、取得部４０１は、回路やネットワークを介して接続された画像管理システム２０００から、画像管理システム２０００が保存している画像を入力画像として取得する。なお、取得部４０１は、画像管理システム２０００からの要求に応じて、入力画像を取得してもよい。このような要求は、例えば、画像管理システム２０００が画像を保存した時や、保存した画像を他の装置に送信する前、保存された画像を表示部２０に表示する時に発行されてよい。また、当該要求は、例えば、画像管理システム２０００を利用者が操作して高画質化処理の要求を行った時や、画像管理システム２０００が備える画像解析機能に高画質画像を利用する時等に発行されてよい。

ステップＳ５２０〜ステップＳ５４０の処理は、第１の実施形態における処理と同様である。ステップＳ５４０において高画質化部４０４が高画質画像を生成したら、処理はステップＳ５５０に移行する。ステップＳ５５０において、出力部４０５は、ステップＳ５４０において高画質画像が生成されていれば、該高画質画像を画像管理システム２０００に出力画像として出力する。ステップＳ５４０において高画質画像が生成されていなければ、上記入力画像を画像管理システム２０００に出力画像として出力する。なお、出力部４０５は、画像処理装置４００の設定や実装によっては、出力画像を画像管理システム２０００が利用可能なように加工したり、出力画像のデータ形式を変換したりしてもよい。

上記のように、本実施形態に係る取得部４０１は、画像管理システム２０００から入力画像を取得する。このため、本実施形態の画像処理装置４００は、画像管理システム２０００が保存している画像を元に、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。また、出力された高画質画像は画像管理システム２０００に保存されたり、画像管理システム２０００が備えるユーザーインターフェースに表示されたりすることができる。また、出力された高画質画像は、画像管理システム２０００が備える画像解析機能に利用されたり、画像管理システム２０００に接続された他の装置に画像管理システム２０００を介して送信されたりすることができる。

なお、画像処理装置４００や画像管理システム２０００、表示部２０は、不図示の他の装置と回路やネットワーク介して接続されていてもよい。また、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。

また、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を画像管理システム２０００や画像処理装置４００に接続される他の装置に出力してもよい。

＜第１３の実施形態＞
次に、図４、５、２１Ａ、及び２１Ｂを参照して、第１３の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が複数の画像を入力画像とし、一枚の高画質画像を生成する。

本実施形態に係る取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして、複数の画像を取得する。

本実施形態に係る高画質化部４０４には、第１の実施形態と同様の、高画質化エンジンが備えられている。また、教師データも第１の実施形態と同様であってよい。高画質化部４０４は、取得部４０１で取得された複数の画像のそれぞれを高画質化エンジンに入力し、出力された複数の高画質画像を重ね合わせ処理して、最終的な高画質画像を生成する。なお、高画質化部４０４は、複数の高画質画像を重ね合わせ処理する前に、任意の手法により複数の高画質画像を位置合わせしてよい。

出力部４０５は、高画質化部４０４が生成した最終的な高画質画像を表示部２０に表示させる。なお、出力部４０５は、最終的な高画質画像とともに、複数の入力画像を表示部２０に表示させてもよい。また、出力部４０５は、生成された複数の高画質画像を最終的な高画質画像や入力画像とともに表示部２０に表示してもよい。

次に、図５及び図２１Ａを参照して、本実施形態に係る一連の画像処理について説明する。図２１Ａは本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップＳ５１０〜ステップＳ５３０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。

ただし、ステップＳ５１０では、取得部４０１は複数の画像を取得し、ステップＳ５２０及びＳ５３０では、複数の画像のそれぞれについて、撮影条件が取得されるとともに、高画質化エンジンによって対処可能か否かが判断される。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。また、複数の画像の一部の画像が、高画質化エンジンによって対処不可能であると判断された場合には、当該画像を以降の処理から除外することができる。

ステップＳ５３０において、高画質化可否判定部４０３が、複数の入力画像について高画質化エンジンによって対処可能と判定した場合には、処理はステップＳ５４０に移行する。処理がステップＳ５４０に移行すると、図２１Ａに示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップＳ２１１０において、高画質化部４０４が、複数の入力画像のそれぞれを高画質化エンジンに入力し、高画質画像群を生成する。

次に、ステップＳ２１２０では、高画質化部４０４は、生成した高画質画像群を重ね合わせ処理して最終的な一枚の高画質画像を生成する。なお、重ね合わせ処理は加算平均等平均化の処理やその他の既存の任意の処理によって行われてよい。また、重ね合わせに際しては、高画質化部４０４は複数の高画質画像を任意の手法により位置合わせした上で重ね合わせしてよい。高画質化部４０４が最終的な高画質画像を生成したら、処理はステップＳ５５０に移行する。

ステップＳ５５０では、出力部４０５が生成された最終的な高画質画像を表示部２０に表示させる。

上記のように、本実施形態に係る高画質化部４０４は、複数の入力画像から一つの最終的な高画質画像を生成する。高画質化エンジンによる高画質化は入力画像に基づくため、例えば、病変部等が、ある入力画像において適切に表示されていない場合、当該入力画像を高画質化した高画質画像では低い画素値となってしまう。一方で、同一箇所を撮影した他の入力画像では病変部等が適切に表示されており、当該他の入力画像を高画質化した高画質画像では高い画素値となっている場合もある。そこで、これらの高画質画像を重ね合わせることで、当該低い又は高い画素値となっている箇所を適切に表示できるようになり、高コントラストな高画質画像を生成することができる。なお、入力画像の数は、従来の重ね合わせに必要な枚数よりも少ない数とすることで、従来のような撮影時間の長期化等の代償をより少なくすることができる。

なお、当該作用については、例えば、ＯＣＴＡ画像等のモーションコントラストデータを用いた入力画像を用いる場合に顕著となる。ここで、モーションコントラストデータとは、ＯＣＴＡ等で用いられる、撮影対象の同一箇所を繰り返し撮影し、その撮影間における撮影対象の時間的な変化を検出したデータである。ＯＣＴＡでは、算出したモーションコントラストデータのうち、撮影対象の深さ方向における所望の範囲のデータを用いて正面画像を生成することで、ＯＣＴＡ画像を生成する。

モーションコントラストデータは、撮影対象の同一箇所を繰り返し撮影した時間間隔における、撮影対象の時間的な変化を検出したものであるため、例えば、ある時間間隔では撮影対象の動きについて僅かな動きしか検出できない場合がある。これに対して、別の時間間隔撮影を行った場合には、撮影対象の動きをより大きな動きとして検出できる場合もある。そのため、それぞれの場合のモーションコントラスト画像を高画質化した画像を重ね合わせることで、特定のタイミングでは生じていなかった又は僅かにしか検出されていなかったモーションコントラストを補間することができる。そのため、このような処理によれば、撮影対象のより多くの動きについてコントラスト強調が行われたモーションコントラスト画像を生成することができ、検者は、撮影対象のより正確な状態を把握することができる。

従って、ＯＣＴＡ画像のように時間的に変化している箇所を描出する画像を入力画像として用いる場合には、異なる時間で取得した高画質画像を重ね合わせることによって、被検者の所定部位をより詳細に画像化することができる。

なお、本実施形態では、複数の入力画像からそれぞれ高画質画像を生成し、高画質画像を重ね合わせることで、最終的な一枚の高画質画像を生成したが、複数の入力画像から一枚の高画質画像を生成する方法はこれに限られない。例えば、図２１Ｂに示す本実施形態の高画質化処理の別例では、ステップＳ５４０において高画質化処理が開始されると、ステップＳ２１３０において、高画質化部４０４が入力画像群を重ね合わせし、一枚の重ね合わせされた入力画像を生成する。

その後、ステップＳ２１４０において、高画質化部４０４が、一枚の重ね合わされた入力画像を高画質化エンジンに入力し、一枚の高画質画像を生成する。このような、高画質化処理であっても、上述の高画質化処理と同様に、複数の入力画像について低い又は高い画素値となっている箇所を適切に表示できるようになり、高コントラストな高画質画像を生成することができる。当該処理も、上記ＯＣＴＡ画像等のモーションコントラスト画像を入力画像とした場合に、顕著な作用を奏することができる。

なお、当該高画質処理を行う場合には、高画質化エンジンの教師データの入力データとして、処理対象とされる複数の入力画像と同数の入力画像の重ね合わせ画像を用いる。これにより、高画質化エンジンにより適切な高画質化処理を行うことができる。

また、本実施形態による高画質化処理及び上述の別の高画質化処理について、高画質画像群又は入力画像群を組み合わせる処理は、重ね合わせに限られない。例えば、これらの画像群にＭＡＰ推定処理を適用することで一枚の画像を生成してもよい。また、高画質画像群又は入力画像群を合成して一枚の画像を生成してもよい。

高画質画像群又は入力画像群を合成して一枚の画像を生成する場合としては、例えば、入力画像として高輝度領域について広い階調を有する画像と低輝度領域に広い階調を有する画像を用いる場合がある。この場合には、例えば、高輝度領域について広い階調を有する画像を高画質化した画像と、低輝度領域について広い階調を有する画像を高画質化した画像とを合成する。これにより、より広い明るさの幅（ダイナミックレンジ）を表現できる画像を生成することができる。なお、この場合には、高画質化エンジンの教師データの入力データは、処理対象とされる、高輝度領域について広い階調を有する画像や低輝度領域について広い階調を有する低画質画像とすることができる。また、高画質化エンジンの教師データの出力データは、入力データに対応する高画質画像とすることができる。

また、高輝度領域について広い階調を有する画像と、低輝度領域について広い階調を有する画像とを合成し、合成した画像を高画質化エンジンによって高画質化してもよい。この場合にも、より広い明るさの幅を表現できる画像を生成することができる。なお、この場合には、高画質化エンジンの教師データの入力データは、処理対象とされる、高輝度領域について広い階調を有する低画質画像と低輝度領域について広い階調を有する低画質画像を合成した画像とすることができる。また、高画質化エンジンの教師データの出力データは、入力データに対応する高画質画像とすることができる。

これらの場合には、高画質化エンジンを用いて、より広い明るさの幅を表現できる画像を高画質化することができ、従来と比べてより少ない枚数の画像等で処理を行うことができ、より少ない代償で、画像解析に適した画像を提供することができる。

なお、高輝度領域について広い階調を有する画像と、低輝度領域について広い階調を有する画像の撮影方法としては、撮影装置の露光時間をより短く又はより長くする等の、任意の方法を採用してよい。また、階調の幅の分け方は、低輝度領域及び高輝度領域に限られず、任意であってよい。

また、本実施形態に係る高画質化処理において、複数の高画質化エンジンを用いて、複数の入力画像を並列的に処理してもよい。なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

＜第１４の実施形態＞
次に、図４及び５を参照して、第１４の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が複数の低画質画像から生成された中画質画像を入力画像とし、高画質画像を生成する。

本実施形態に係る取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして、複数の低画質画像を重ね合わせ処理した中画質画像を取得する。なお、低画質画像の重ね合わせに際しては、任意の位置合わせ処理が行われてよい。

本実施形態に係る高画質化部４０４には、第１の実施形態と同様の、高画質化エンジンが備えられている。ただし、本実施形態の高画質化エンジンは、中程度の画質である中画質画像を入力し、高画質画像を出力するように設計されている。中画質画像とは複数の低画質画像群を重ね合わせして生成された重ね合わせ画像である。また、高画質画像は中画質画像よりも高画質な画像である。また、高画質化エンジンのトレーニングに用いられた教師データを構成するペア群についても、各ペアを構成する入力データは中画質画像と同様にして生成された中画質画像であり、出力データは高画質画像である。

出力部４０５は、高画質化部４０４が生成した高画質画像を表示部２０に表示させる。なお、出力部４０５は、高画質画像とともに、入力画像を表示部２０に表示させてもよく、この場合に、出力部４０５は、入力画像が複数の低画質画像から生成された画像であることを表示部２０に表示してもよい。

次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５２０〜ステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。

ステップＳ５１０においては、取得部４０１は、撮影装置１０や他の装置から、入力画像として中画質画像を取得する。なお、取得部４０１は撮影装置１０からの要求に応じて、撮影装置１０が生成した中画質画像を入力画像として取得してもよい。このような要求は、例えば、撮影装置１０が画像を生成した時、撮影装置１０が生成した画像を撮影装置１０が備える記録装置に保存する前や保存した後、保存された画像を表示部２０に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。

以降の処理は、第１の実施形態における処理と同様であるため、説明を省略する。

上記のように、本実施形態に係る取得部４０１は、被検者の所定部位の複数の画像を用いて生成された画像である中画質画像を入力画像として取得する。この場合、入力画像がより明瞭な画像となるため、高画質化エンジンは高画質画像をより精度良く生成することができる。なお、中画質画像を生成するために用いる低画質画像の枚数は、従来の重ね合わせ画像を生成するために用いられる画像の枚数より少なくてよい。

なお、中画質画像は、複数の低画質画像を重ね合わせた画像に限られず、例えば、複数の低画質画像にＭＡＰ推定処理を適用した画像でもよいし、複数の低画質画像を合成した画像であってもよい。複数の低画質画像を合成する場合には、それぞれの画像の階調が異なっている画像同士を合成してもよい。

＜第１５の実施形態＞
次に、図４及び５を参照して、第１５の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が第１の実施形態等に係る高画質化とともに入力画像の高画像サイズ化（高サイズ化）を行う。

本実施形態に係る取得部４０１は、入力画像として低画像サイズの画像（低サイズ画像）を取得する。なお、低サイズ画像とは、後述する高画質化エンジンによって出力される高画像サイズの画像（高サイズ画像）よりも、画像を構成する画素数が少ない画像である。具体的には、例えば、高サイズ画像の画像サイズが幅１０２４画素、高さ１０２４画素、奥行き１０２４画素の場合に、低サイズ画像の画像サイズが５１２画素、高さ５１２画素、奥行き５１２画素である場合等である。これに関連して、本明細書における、高画像サイズ化とは、一画像あたりの画素数を増加させ、画像サイズを拡大する処理をいう。

本実施形態に係る高画質化部４０４には、第１の実施形態と同様に、高画質化エンジンが備えられている。ただし、本実施形態の高画質化エンジンは、入力画像についてノイズ低減やコントラスト強調するとともに、入力画像の画像サイズを高画像サイズ化するように構成されている。そのため、本実施形態の高画質化エンジンは、低サイズ画像を入力し、高サイズ画像を出力するように構成されている。

これに関連して、高画質化エンジンの教師データを構成するペア群について、各ペアを構成する入力データは低サイズ画像であり、出力データは高サイズ画像である。なお、出力データ用として用いる高サイズ画像は、低サイズ画像を取得した撮影装置よりも高性能な装置から取得したり、撮影装置の設定を変更することによって取得したりすることができる。また、高サイズ画像群が既にある場合には、当該高サイズ画像群を撮影装置１０からの取得が想定される画像の画像サイズに縮小することで、入力データとして用いる低サイズ画像群を取得してもよい。また、高サイズ画像については、第１の実施形態等と同様に低サイズ画像を重ね合わせたものが用いられる。

なお、本実施形態に係る高画質化部４０４による入力画像の画像サイズの拡大については、教師データとして撮影装置１０よりも高性能な装置から取得したり、撮影装置１０の設定を変更したりすることで取得しているため、単純な画像の拡大とは異なる。具体的には、本実施形態に係る高画質化部４０４による入力画像の画像サイズの拡大処理は、単純に画像を拡大した場合と比べ、解像度の劣化を低減することができる。

このような構成により、本実施形態に係る高画質化部４０４は、入力画像に対して、ノイズ低減やコントラスト強調がなされるとともに高画像サイズ化された高画質画像を生成することができる。

次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５２０、ステップＳ５３０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。

ステップＳ５１０において、取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして、低サイズ画像を取得する。なお、取得部４０１は撮影装置１０からの要求に応じて、撮影装置１０が生成した低サイズ画像を入力画像として取得してもよい。このような要求は、例えば、撮影装置１０が画像を生成した時、撮影装置１０が生成した画像を撮影装置１０が備える記録装置に保存する前や保存した後、保存された画像を表示部２０に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。

ステップＳ５２０及びステップＳ５３０の処理は第１の実施形態での処理と同様であるため説明を省略する。ステップＳ５４０では、高画質化部４０４が、入力画像を高画質化エンジンに入力し、高画質画像としてノイズ低減やコントラスト強調がなされるとともに高画像サイズ化された画像を生成する。以降の処理は、第１の実施形態と同様であるため説明を省略する。

上記のように、本実施形態に係る高画質化部４０４は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、画像サイズの拡大がなされた高画質画像を生成する。これにより、本実施形態に係る画像処理装置４００は、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。

なお、本実施形態では、一つの高画質化エンジンにより、第１の実施形態等による高画質化処理と高分解能化の処理を行った高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、高画質化部は、第１の実施形態等による高画質化処理を行う高画質化エンジン及び高画像サイズ化処理を行う別の高画質化エンジンを備えてもよい。

この場合には、第１の実施形態等に係る高画質化処理を行う高画質化エンジンは第１の実施形態等に係る高画質化エンジンと同様に学習を行った機械学習モデルを用いることができる。また、高画像サイズ化処理を行う高画質化エンジンの教師データの入力データとしては、第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。また、当該高画質化エンジンの教師データの出力データとしては、高性能な撮影装置で取得された画像について第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。これにより、高画像サイズ化処理を行う高画質化エンジンは、第１の実施形態等に係る高画質化処理を行った高画質画像について高画像サイズ化した最終的な高画質画像を生成することができる。

また、当該高画質化エンジンによる高画像サイズ化処理を、第１の実施形態等に係る高画化処理エンジンによる高画質化処理の前に行ってもよい。この場合には、高画像サイズ化処理を行う高画質化エンジンについての教師データは、撮影装置で取得した低サイズ画像である入力データと高サイズ画像である出力データのペア群により構成する。また、第１の実施形態等に係る高画質化処理を行う高画質化エンジンの教師データとしては、高サイズ画像を入力データと、高サイズ画像を重ね合わせした画像を出力データのペア群により構成する。

このような構成によっても、画像処理装置４００は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、画像サイズの拡大がなされた画像を高画質画像として生成することができる。

なお、本実施形態では、第１の実施形態等に係る高画質化処理について、重ね合わせ画像を教師データの出力データとして用いる構成について述べたが、第１の実施形態と同様に当該出力データはこれに限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。

＜第１６の実施形態＞
次に、図４及び５を参照して、第１６の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が第１の実施形態等に係る高画質化とともに高空間分解能化を行う。

本実施形態に係る取得部４０１は、入力画像として低空間分解能画像を取得する。なお、低空間分解能画像とは、高画質化部４０４が出力する高空間分解能画像よりも、空間分解能が低い画像である。

高画質化部４０４には、第１の実施形態と同様に、高画質化エンジンが備えられている。ただし、本実施形態の高画質化エンジンは、入力画像についてノイズ低減やコントラスト強調するとともに、入力画像の空間分解能を高空間分解能化するように構成されている。そのため、本実施形態に係る高画質化エンジンは、低空間分解能画像を入力し、高空間分解能画像を出力するように構成されている。

これに関連して、高画質化エンジンの教師データを構成するペア群についても、各ペアを構成する入力データは低空間分解能画像であり、出力データは高空間分解能画像である。なお、高空間分解能画像は、低空間分解能画像を取得した撮影装置よりも高性能な装置から取得したり、撮影装置の設定を変更することによって取得したりすることができる。また、高空間分解能画像については、第１の実施形態等と同様に低空間分解能画像を重ね合わせたものが用いられる。

このような構成により、本実施形態に係る高画質化部４０４は、入力画像に対して、ノイズ低減やコントラスト強調がなされるとともに高空間分解能化された高画質画像を生成することができる。

ステップＳ５１０において、取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして、低空間分解能画像を取得する。なお、取得部４０１は撮影装置１０からの要求に応じて、撮影装置１０が生成した低空間分解能画像を入力画像として取得してもよい。このような要求は、例えば、撮影装置１０が画像を生成した時、撮影装置１０が生成した画像を撮影装置１０が備える記録装置に保存する前や保存した後、保存された画像を表示部２０に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。

ステップＳ５２０及びステップＳ５３０の処理は第１の実施形態での処理と同様であるため説明を省略する。ステップＳ５４０では、高画質化部４０４が、入力画像を高画質化エンジンに入力し、高画質画像としてノイズ低減やコントラスト強調がなされるとともに高空間分解能化された画像を生成する。以降の処理は、第１の実施形態と同様であるため説明を省略する。

上記のように、本実施形態に係る高画質化部４０４は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、空間分解能が向上された画像を高画質画像として生成する。これにより、本実施形態に係る画像処理装置４００は、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。

なお、本実施形態では、一つの高画質化エンジンにより、第１の実施形態等による高画質化処理と高分解能化の処理を行った高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、高画質化部は、第１の実施形態等による高画質化処理を行う高画質化エンジン及び高分解能化処理を行う別の高画質化エンジンを備えてもよい。

この場合には、第１の実施形態等に係る高画質化処理を行う高画質化エンジンは第１の実施形態等に係る高画質化エンジンと同様に学習を行った機械学習モデルを用いることができる。また、高分解能化処理を行う高画質化エンジンの教師データの入力データとしては、第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。また、当該高画質化エンジンの教師データの出力データとしては、高性能な撮影装置で取得された画像について第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。これにより、高空間分解能化処理を行う高画質化エンジンは、第１の実施形態等に係る高画質化処理を行った高画質画像について高空間分解能化した最終的な高画質画像を生成することができる。

また、当該高画質化エンジンによる高空間分解能化処理を、第１の実施形態等に係る高画化処理エンジンによる高画質化処理の前に行ってもよい。この場合には、高空間分解能化処理を行う高画質化エンジンについての教師データは、撮影装置で取得した低空間分解能画像である入力データと高空間分解能画像である出力データのペア群により構成する。また、第１の実施形態等に係る高画質化処理を行う高画質化エンジンの教師データとしては、高空間分解能画像を入力データと、高空間分解能画像を重ね合わせした画像を出力データのペア群により構成する。

このような構成によっても、画像処理装置４００は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、空間分解能が向上された画像を高画質画像として生成することができる。

また、高画質化部４０４は、高画質化エンジンを用いて、高空間分解能化処理に加えて第１５の実施形態に係る高画質化処理を行ってもよい。この場合には、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、入力画像と比べて高画像サイズ化及び高空間分解能化された画像を高画質画像として生成することができる。これにより、本実施形態に係る画像処理装置４００は、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。

＜第１７の実施形態＞
次に、図２２及び２３を参照して、第１７の実施形態に係る画像処理装置について説明する。本実施形態では、解析部が高画質化部によって生成された高画質画像を画像解析する。

図２２は、本実施形態に係る画像処理装置２２００の概略的な構成を示す。本実施形態に係る画像処理装置２２００には、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５に加えて、解析部２２０８が設けられている。なお、画像処理装置２２００は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。ここで、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。

解析部２２０８は、高画質化部４０４が生成した高画質画像に対して所定の画像解析処理を適用する。画像解析処理は、例えば、眼科分野では、ＯＣＴにより取得された画像に対する、網膜層のセグメンテーション、層厚計測、乳頭三次元形状解析、篩状板解析、ＯＣＴＡ画像の血管密度計測、及び角膜形状解析等の既存の任意の画像解析処理を含む。また、画像解析処理は眼科分野の解析処理に限られず、例えば、拡散テンソル解析やＶＢＬ（Ｖｏｘｅｌ−ｂａｓｅｄＭｏｒｐｈｏｍｅｔｒｙ）解析等の放射線分野における既存の任意の解析処理も含む。

出力部４０５は、高画質化部４０４によって生成された高画質画像を表示部２０に表示させるとともに、解析部２２０８による画像解析処理の解析結果を表示させることができる。なお、出力部４０５は解析部２２０８による画像解析結果のみを表示部２０に表示させてもよいし、当該画像解析結果を撮影装置１０や画像管理システム、その他の装置等に出力してもよい。なお、解析結果の表示形態は、解析部２２０８で行った画像解析処理に応じて任意であってよく、例えば、画像、数値又は文字として表示されてもよい。

以下、図２３を参照して、本実施形態に係る一連の画像処理について説明する。図２３は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップＳ２３１０〜ステップＳ２３４０の処理は、第１の実施形態におけるステップＳ５１０〜ステップＳ５４０での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ２３２０の処理の後に、ステップＳ２３３０の処理を省き、処理をステップＳ２３４０に移行してよい。

ステップＳ２３４０において、高画質化部４０４が、高画質画像群を生成したら、処理はステップＳ２３５０に移行する。ステップＳ２３５０で、解析部２２０８が、ステップＳ２３４０において生成された高画質画像を画像解析し、解析結果を出力する。画像解析の処理内容及び処理手法については、既存の任意の画像解析処理及び処理手法を用いてよい。なお、解析部２２０８は複数の画像解析処理を行ってもよい。これに関連して、解析部２２０８は、任意の入力装置を介した検者からの指示に応じて、複数の画像解析処理のうちの一部又は全部を行ってもよい。

ステップＳ２３６０では、出力部４０５が、高画質化部４０４によって生成された高画質画像及び解析部２２０８による解析結果を表示部２０に表示させる。なお、出力部４０５は高画質画像及び解析結果を別々の表示部や装置に出力してもよい。また、出力部４０５は、解析結果のみを表示部２０に表示させてもよい。さらに、解析部２２０８が複数の解析結果を出力する場合には、出力部４０５は、複数の解析結果の一部又は全部を表示部２０やその他の装置に出力してもよい。

上記のように、本実施形態に係る画像処理装置２２００は、高画質画像を画像解析する解析部２２０８を更に備え、出力部４０５は解析部２２０８による解析結果を表示部２０に表示させる。このように、本実施形態に係る画像処理装置２２００では、画像解析に高画質画像を用いるため、解析の精度を向上させることができる。

また、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置２２００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

上記第１〜１７の実施形態に関しては、出力部４０５による表示部２０への高画質画像の表示は基本的に高画質化部４０４による高画質画像の生成や解析部２２０８による解析結果の出力に応じて自動で行われる。しかしながら、高画質画像の表示は、検者からの指示に応じてなされてもよい。例えば、出力部４０５は、高画質化部４０４によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部２０に表示させてもよい。また、出力部４０５は、検者からの指示に応じて、表示部２０上の表示を撮影画像（入力画像）から高画質画像に切り替えてもよい。

さらに、高画質化部４０４が、高画質化エンジンによる高画質化処理の開始（高画質化エンジンへの画像の入力）を検者からの指示に応じて実行し、出力部４０５が、高画質化部４０４によって生成された高画質画像を表示部２０に表示させてもよい。これに対し、撮影装置１０によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、出力部４０５が、検者からの指示に応じて高画質画像を表示部２０に表示させてもよい。なお、これらの処理は解析結果の出力についても同様に行うことができる。さらに、撮影箇所推定エンジンや画質評価エンジン、真贋評価エンジン、評価部による処理を検者からの指示に応じて開始するように、画像処理装置が構成されてもよい。

なお、上記第１〜１７の実施形態に関し、出力部４０５が高画質画像を表示部２０に表示させる表示態様は任意であってよい。例えば、出力部４０５は、入力画像と高画質画像を並べて表示させてもよいし、切り替えて表示させてもよい。また、出力部４０５は、入力画像や高画質画像を、撮影部位や撮影日時、撮影が行われた施設等に応じて順番に表示させてもよい。同様に、出力部４０５は高画質画像を用いた画像解析結果等を、高画質画像や高画質画像に対応する入力画像の任意の撮影条件に応じて順番に表示させてもよい。さらに、出力部４０５は高画質画像を用いた画像解析結果を、解析項目ごとに順番に表示させてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、実施形態を参照して本発明について説明したが、本発明は上記実施形態に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

１００：画像処理装置（医用画像処理装置）、１０４：高画質化部、１０５：出力部

Claims

被検者の所定部位の画像である第１の画像を取得する取得部と、
機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の画像を生成する高画質化部と、
を備える、医用画像処理装置。
前記高画質化エンジンは、重ね合わせ処理、最大事後確率推定処理、平滑化フィルタ処理、階調変換処理及びノイズ低減処理のうちの少なくとも一つの処理により得られた画像を学習データとした機械学習エンジンを含む、請求項１に記載の医用画像処理装置。
前記高画質化エンジンは、前記第１の画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は前記第１の画像の撮影工程よりも工数の多い撮影工程で取得された画像を学習データとした機械学習エンジンを含む、請求項１に記載の医用画像処理装置。
前記第１の画像に対して、前記高画質化エンジンを用いて前記第２の画像を生成できる否かを判定する判定部を更に備える、請求項１乃至３のいずれか一項に記載の医用画像処理装置。
前記判定部は、前記第１の画像の撮影部位、撮影方式、撮影画角、及び画像サイズの少なくとも一つに基づいて前記判定を行う、請求項４に記載の医用画像処理装置。
前記高画質化部は、前記判定部による判定結果に対する検者からの入力に応じて、前記第２の画像を生成する、請求項４又は５に記載の医用画像処理装置。
前記高画質化部は、それぞれ異なる学習データを用いて学習を行った複数の高画質化エンジンを備える、請求項１乃至６のいずれか一項に記載の医用画像処理装置。
前記複数の高画質化エンジンの各々は、それぞれ撮影部位、撮影画角、及び画像の解像度のうちの少なくとも一つについての異なる学習データを用いて学習を行っており、
前記高画質化部は、前記第１の画像の撮影部位、撮影画角、及び画像の解像度のうちの少なくとも一つに応じた前記高画質化エンジンを用いて、前記第２の画像を生成する、請求項７に記載の医用画像処理装置。
前記高画質化部は、前記複数の高画質化エンジンのうち検者の指示に応じた前記高画質化エンジンを用いて、前記第２の画像を生成する、請求項７に記載の医用画像処理装置。
前記高画質化部は、前記複数の高画質化エンジンを用いて、前記第１の画像から複数の前記第２の画像を生成し、
該医用画像処理装置は、検者の指示に応じて、前記複数の第２の画像のうち少なくとも一つの画像を出力する、請求項７に記載の医用画像処理装置。
前記第２の画像の画質を評価する評価部を更に備え、
前記高画質化部は、前記複数の高画質化エンジンを用いて、前記第１の画像から複数の前記第２の画像を生成し、
該医用画像処理装置は、前記評価部による評価結果に応じて、前記複数の第２の画像のうち少なくとも一つの画像を出力する、請求項７に記載の医用画像処理装置。
前記評価部は、所定の評価手法による評価値を学習データとした機械学習エンジンを含み、
該医用画像処理装置は、前記複数の第２の画像のうち、前記評価部による評価値が最も高い前記第２の画像を出力する、請求項１１に記載の医用画像処理装置。
前記第２の画像の画質を評価する評価部を更に備え、
前記評価部は画像の真贋を評価する真贋評価エンジンを含み、
該医用画像処理装置は、前記評価部の真贋評価エンジンからの出力が真である場合に、前記第２の画像を出力する、請求項１乃至１０のいずれか一項に記載の医用画像処理装置。
前記真贋評価エンジンは、前記高画質化エンジンよりも高画質化処理の精度が低い高画質化エンジンによって生成された画像を学習データとした機械学習エンジンを含む、請求項１３に記載の医用画像処理装置。
前記第１の画像の撮影部位及び撮影領域のうちの少なくとも一方を推定する推定部を更に備える、請求項１乃至１４のいずれか一項に記載の医用画像処理装置。
前記推定部は、撮影部位及び撮影領域のうちの少なくとも一方のラベルが付けられた画像を学習データとした機械学習エンジンを含む、請求項１５に記載の医用画像処理装置。
前記高画質化部は、
前記第１の画像の画像サイズを、前記高画質化エンジンが対処可能な画像サイズに調整して高画質化エンジンに入力し、
前記高画質化エンジンからの出力画像を前記第１の画像の元の画像サイズに調整することで前記第２の画像を生成する、請求項１乃至１６のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、
前記第１の画像の解像度が所定の解像度となるように、前記第１の画像の画像サイズを調整し、
前記画像サイズが調整された前記第１の画像について、調整された前記画像サイズが前記高画質化エンジンによって対処可能な画像サイズとなるように、パディングを行った画像を高画質化エンジンに入力し、
前記高画質化エンジンからの出力画像について、前記パディングを行った領域分だけトリミングを行い、
前記トリミングが行われた画像の画像サイズを、前記第１の画像の元の画像サイズに調整することで前記第２の画像を生成する、請求項１乃至１７のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、
前記第１の画像を所定の画像サイズの複数の第３の画像に分割し、
前記複数の第３の画像を前記高画質化エンジンに入力して複数の第４の画像を生成し、
前記複数の第４の画像を統合することで、前記第２の画像を生成する、請求項１乃至１８のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、
三次元の前記第１の画像を複数の二次元の画像又は複数の一次元の画像に分割して前記高画質化エンジンに入力し、
前記高画質化エンジンからの複数の出力画像を統合することで、前記第２の画像を生成する、請求項１乃至１９のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、
複数の前記高画質化エンジンを含み、
三次元の前記第１の画像を複数の二次元の画像又は複数の一次元の画像に分割し、
前記複数の高画質化エンジンの並列的に用いて、前記複数の二次元の画像又は前記複数の一次元の画像から複数の第２の画像を生成し、
前記複数の第２の画像を統合することで、三次元の前記第２の画像を生成する、請求項１乃至２０のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、前記第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、画像サイズの拡大及び空間分解能の向上のうちの少なくとも一つがなされた画像を前記第２の画像として生成する、請求項１乃至２１のいずれか一項に記載の医用画像処理装置。
前記第２の画像を表示部に表示する表示制御部を更に備える、請求項１乃至２２のいずれか一項に記載の医用画像処理装置。
前記表示制御部は、検者の指示に応じて前記第２の画像を前記表示部に表示させる、請求項２３に記載の医用画像処理装置。
前記表示制御部は、前記第２の画像とともに、前記第２の画像が前記高画質化エンジンにより生成された画像であることを示す表示を前記表示部に表示させる、請求項２３又は２４に記載の医用画像処理装置。
前記表示制御部は、前記第２の画像を前記表示部に表示させ、
該医用画像処理装置は、表示された前記第２の画像に対する検者からの入力に応じて前記第２の画像を出力する、請求項２３乃至２５のいずれか一項に記載の医用画像処理装置。
前記第２の画像を画像解析する解析部を更に備え、
前記表示制御部は前記解析部による解析結果を前記表示部に表示させる、請求項２３乃至２６のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、複数の前記第１の画像から一つの前記第２の画像を生成する、請求項１乃至２７のいずれか一項に記載の医用画像処理装置。
前記第１の画像は、前記被検者の所定部位の複数の画像を用いて生成された画像である、請求項１乃至２８のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、複数の前記第２の画像を生成し、該複数の第２の画像を平均化する、請求項１乃至２９のいずれか一項に記載の医用画像処理装置。
前記所定部位は被検眼である、請求項１乃至３０のいずれか一項に記載の医用画像処理装置。
前記取得部は、撮影装置から前記第１の画像を取得する、請求項１乃至３１のいずれか一項に記載の医用画像処理装置。
前記取得部は、撮影装置から前記被検者の前記所定部位のデータを取得し、前記データに基づく前記第１の画像を取得する、請求項１乃至３１のいずれか一項に記載の医用画像処理装置。
前記取得部は、画像管理システムから前記第１の画像を取得する、請求項１乃至３１のいずれか一項に記載の医用画像処理装置。
前記高画質化エンジンは、前記第２の画像を学習データとして用いない、請求項１乃至３４のいずれか一項に記載の医用画像処理装置。
被検者の所定部位の画像である第１の画像を取得することと、
機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の画像を生成することと、
を含む、医用画像処理方法。
プロセッサーによって実行されると、該プロセッサーに請求項３６に記載の医用画像処理方法の各工程を実行させる、プログラム。