JP2023055322A - 機械学習モデル評価装置、機械学習モデル評価方法、及びプログラム - Google Patents

Abstract

【課題】解析診療ＡＩアプリを十分に活用できるようにすることである。
【解決手段】実施形態の機械学習モデル評価装置は、取得部と、処理部と、算出部と、を持つ。取得部は、医用データの入力に対する出力データを生成する機械学習モデルを取得する。処理部は、準医用データが生成された第１条件とは異なる第２条件に基づいて生成された対象医用データを前記機械学習モデルに入力することで対象出力データを生成する。算出部は、前記基準医用データを前記機械学習モデルに入力することで生成される基準出力データと、前記対象出力データとの比較結果に基づいて、前記第２条件の前記機械学習モデルに対する適合度を算出する。
【選択図】図１

Description

本明細書及び図面に開示の実施形態は、機械学習モデル評価装置、機械学習モデル評価方法、及びプログラムに関する。

近年、診療にあたり、様々な解析診療用の人工知能（Artificial Intelligence、以下、ＡＩ）アプリケーションソフト（以下、解析診療ＡＩアプリ）がベンダーから供給されている。解析診療ＡＩアプリは、種々の解析や演算を技師等に代わって実行する。このため、医療機関では、解析診療ＡＩアプリを導入することにより、医療診療の効率化を図ることができる。この種の解析診療ＡＩアプリにおいて利用される条件、例えば、画像解析に用いられる解析診療ＡＩアプリに入力される画像の撮像条件などは、医療機関ごとに異なる。

近年発表される解析診療ＡＩアプリの種類は増加する傾向にあるが、最適な利用条件は解析診療ＡＩアプリごとに異なる。しかしながら、解析診療ＡＩアプリ内の処理はブラックボックス化されている場合が多く、医療機関では、導入した解析診療ＡＩアプリに適した条件を把握することができなかった。このため、医療機関では、せっかく導入した解析診療ＡＩアプリを十分に活用できないことがあった。

特表２０１９－５０７６５７号公報 特表２０１９－５３２３９０号公報 特表２０２０－５１５９２４号公報

本明細書及び図面に開示の実施形態が解決しようとする課題は、解析診療ＡＩアプリを十分に活用できるようにすることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態の機械学習モデル評価装置は、取得部と、処理部と、算出部と、を持つ。取得部は、医用データの入力に対する出力データを生成する機械学習モデルを取得する。処理部は、基準医用データが生成された第１条件とは異なる第２条件に基づいて生成された対象医用データを前記機械学習モデルに入力することで対象出力データを生成する。算出部は、前記基準医用データを前記機械学習モデルに入力することで生成される基準出力データと、前記対象出力データとの比較結果に基づいて、前記第２条件の前記機械学習モデルに対する適合度を算出する。

第１の実施形態における機械学習モデル評価システム１の構成例を表す図。 第１の実施形態におけるＸ線ＣＴ装置１００の構成例を表す図。 第１の実施形態における診療装置２００の構成例を表す図。 第１の実施形態における機械学習モデル評価装置３００の構成例を表す図。 第１の実施形態における機械学習モデル評価システム１の処理の流れの一例の概要を示す図。 第１の実施形態における機械学習モデル評価システム１の処理の流れを示すシーケンス図。 第１の実施形態におけるディスプレイ３０６に表示された撮像条件の許容範囲をマップで示す画像の一例を示す図。 第１の実施形態におけるディスプレイ３０６に表示された撮像条件の許容範囲の許容度マージンを示す画像の一例を示す図。 第１の実施形態におけるディスプレイ３０６に表示された撮像条件の増減可能範囲を示す画像の一例を示す図。 第２の実施形態における機械学習モデル評価装置３００の構成例を表す図。 第３の実施形態における機械学習モデル評価システム１の処理の流れの一例の概要を示す図。 第３の実施形態における機械学習モデル評価装置３００の構成例を示す図。 第３の実施形態における第１データ分布と対象データ分布の関係の一例を示す図。 第３の実施形態における第１データ分布と対象データ分布の関係の一例を示す図。 第３の実施形態における第１データ分布と対象データ分布の関係の一例を示す図。 第３の実施形態における第１データ分布と対象データ分布の関係の一例を示す図。 第３の実施形態における第１データ分布と対象データ分布の関係の一例を示す図。 第４の実施形態におけるディスプレイ３０６に表示された撮像条件の許容範囲を表す画像の一例を示す図。 第５の実施形態におけるディスプレイ３０６に表示された撮像条件の許容範囲をマップで示す画像の一例を示す図。

以下、図面を参照しながら、実施形態の機械学習モデル評価装置、機械学習モデル評価方法、及びプログラムについて説明する。

（第１の実施形態）
図１は、第１の実施形態における機械学習モデル評価システム１の構成例を表す図である。機械学習モデル評価システム１は、例えば、医用画像撮像装置１００と、診療装置２００と、機械学習モデル評価装置３００とを備える。医用画像撮像装置１００、診療装置２００、及び機械学習モデル評価装置３００は、通信ネットワークＮＷを介して通信可能に接続される。

医用画像撮像装置１００は、被検体Ｐをスキャンすることで医用画像を生成する装置である。被検体Ｐは、例えば、人間の患者であるがこれに限られず、その他動物や無機物であってもよい。医用画像撮像装置１００は、例えば、Ｘ線ＣＴ装置であってよく、そのほかに、ＭＲＩ装置や、超音波画像診断装置、核医学診断装置などであってもよい。医用画像撮像装置１００は、いわゆるモダリティである。以下、一例として、医用画像撮像装置１００がＸ線ＣＴ装置であるものとして説明する。

診療装置２００は、例えば、ベンダーにより提供される解析診療ＡＩアプリがインストールされたパーソナルコンピュータやスマートフォンなどに含まれて構成される。診療装置２００は、例えば、Ｘ線ＣＴ装置１００により提供される画像データを取得する。診療装置２００は、解析診療ＡＩアプリにより画像データを解析することにより解析結果を算出する。解析診療ＡＩアプリは、機械学習モデル（学習済モデル）を含む。

解析診療ＡＩアプリには、種々のものがあり、例えば、Visualization系、Workflow系、計測系、診断系のアプリがある。Visualization系のアプリには、例えば、画像に対してTracking（追跡）、Stabilizer（安定化）、Needle（針刺し）、補間（時空間）、超解像、拡大、強調などを実行して解析結果を得るアプリがある。Workflow系のアプリには、例えば、時短を図るためのスケジュールを生成して解析結果を得るアプリがある。

計測系のアプリには、例えば、Segmentation（区分）、Measurement（計測）、Quantification（定量化）などを実行して解析結果を得るアプリがある。診断系のアプリには、たとえば、Detection（検出）、Triage（重症度診断）、所見、予後予測などを実行して解析結果を得るアプリがある。診療装置２００は、モダリティであるＸ線ＣＴ装置１００に組み込まれていたり、Ｘ線ＣＴ装置１００に接続されたワークステーションやクラウドサーバであったりしてもよい。

機械学習モデル評価装置３００は、Ｘ線ＣＴ装置（医用画像撮像装置）１００から医用画像を収集し、その収集した医用画像を用いて、診療装置２００に導入された機械学習モデルを評価する。機械学習モデルの詳細については後述する。機械学習モデル評価装置３００は、Ｘ線ＣＴ装置１００や診療装置２００に組み込まれてもよいし、Ｘ線ＣＴ装置１００や診療装置２００に接続されたワークステーションやクラウドサーバであってもよい。

図２は、第１の実施形態におけるＸ線ＣＴ装置１００の構成例を表す図である。Ｘ線ＣＴ装置１００は、例えば、架台装置１１０と、寝台装置１３０と、コンソール装置１４０とを備える。図２では、説明の都合上、架台装置１１０をＺ軸方向から見た図とＸ軸方向から見た図の双方を掲載しているが、実際には、架台装置１１０は一つである。実施形態では、非チルト状態での回転フレーム１１７の回転軸または寝台装置１３０の天板１３３の長手方向をＺ軸方向とし、Ｚ軸方向に直交し、かつ床面に対して水平である軸をＸ軸方向とし、Ｚ軸方向に直交し、かつ床面に対して垂直である方向をＹ軸方向とそれぞれ定義する。

架台装置１１０は、例えば、Ｘ線管１１１と、ウェッジ１１２と、コリメータ１１３と、Ｘ線高電圧装置１１４と、Ｘ線検出器１１５と、データ収集システム（以下、ＤＡＳ：Data Acquisition System）１１６と、回転フレーム１１７と、制御装置１１８とを有する。

Ｘ線管１１１は、Ｘ線高電圧装置１１４からの高電圧の印加により、陰極（フィラメント）から陽極（ターゲット）に向けて熱電子を照射することでＸ線を発生させる。Ｘ線管１１１は、真空管を含む。例えば、Ｘ線管１１１は、回転する陽極に熱電子を照射することでＸ線を発生させる回転陽極型のＸ線管である。

ウェッジ１１２は、Ｘ線管１１１から被検体Ｐに照射されるＸ線量を調節するためのフィルタである。ウェッジ１１２は、Ｘ線管１１１から被検体Ｐに照射されるＸ線量の分布が予め定められた分布になるように、自身を透過するＸ線を減衰させる。ウェッジ１１２は、ウェッジフィルタ（wedge filter）、ボウタイフィルタ（bow-tie filter）とも呼ばれる。ウェッジ１１２は、例えば、所定のターゲット角度や所定の厚みとなるようにアルミニウムを加工したものである。

コリメータ１１３は、ウェッジ１１２を透過したＸ線の照射範囲を絞り込むための機構である。コリメータ１１３は、例えば、複数の鉛板の組み合わせによってスリットを形成することで、Ｘ線の照射範囲を絞り込む。コリメータ１１３は、Ｘ線絞りと呼ばれる場合もある。

Ｘ線高電圧装置１１４は、例えば、高電圧発生装置と、Ｘ線制御装置とを有する。高電圧発生装置は、変圧器（トランス）および整流器などを含む電気回路を有し、Ｘ線管１１１に印加する高電圧を発生させる。Ｘ線制御装置は、Ｘ線管１１１に発生させるべきＸ線量に応じて高電圧発生装置の出力電圧を制御する。高電圧発生装置は、上述した変圧器によって昇圧を行うものであってもよいし、インバータによって昇圧を行うものであってもよい。Ｘ線高電圧装置１１４は、回転フレーム１１７に設けられてもよいし、架台装置１１０の固定フレーム（不図示）の側に設けられてもよい。

Ｘ線検出器１１５は、Ｘ線管１１１が発生させ、被検体Ｐを通過して入射したＸ線の強度を検出する。Ｘ線検出器１１５は、検出したＸ線の強度に応じた電気信号（光信号などでもよい）をＤＡＳ１１６に出力する。Ｘ線検出器１１５は、例えば、複数のＸ線検出素子列を有する。複数のＸ線検出素子列のそれぞれは、Ｘ線管１１１の焦点を中心とした円弧に沿ってチャネル方向に複数のＸ線検出素子が配列されたものである。複数のＸ線検出素子列は、スライス方向（列方向、ｒｏｗ方向）に配列される。

Ｘ線検出器１１５は、例えば、グリッドと、シンチレータアレイと、光センサアレイとを有する間接型の検出器である。シンチレータアレイは、複数のシンチレータを有する。それぞれのシンチレータは、シンチレータ結晶を有する。シンチレータ結晶は、入射するＸ線の強度に応じた光量の光を発する。グリッドは、シンチレータアレイのＸ線が入射する面に配置され、散乱Ｘ線を吸収する機能を有するＸ線遮蔽板を有する。なお、グリッドは、コリメータ（一次元コリメータまたは二次元コリメータ）と呼ばれる場合もある。光センサアレイは、例えば、光電子増倍管（フォトマルチプライヤー：ＰＭＴ）等の光センサを有する。光センサアレイは、シンチレータにより発せられる光の光量に応じた電気信号を出力する。Ｘ線検出器１１５は、入射したＸ線を電気信号に変換する半導体素子を有する直接変換型の検出器であってもかまわない。

ＤＡＳ１１６は、例えば、増幅器と、積分器と、Ａ／Ｄ変換器とを有する。増幅器は、Ｘ線検出器１１５の各Ｘ線検出素子により出力される電気信号に対して増幅処理を行う。積分器は、増幅処理が行われた電気信号をビュー期間に亘って積分する。Ａ／Ｄ変換器は、積分結果を示す電気信号をデジタル信号に変換する。ＤＡＳ１１６は、デジタル信号に基づく検出データをコンソール装置１４０に出力する。

回転フレーム１１７は、Ｘ線管１１１、ウェッジ１１２、およびコリメータ１１３と、Ｘ線検出器１１５とを対向保持した状態で回転させる円環状の回転部材である。回転フレーム１１７は、固定フレームによって、内部に導入された被検体Ｐを中心として回転自在に支持される。回転フレーム１１７は、更にＤＡＳ１１６を支持する。ＤＡＳ１１６が出力する検出データは、回転フレーム１１７に設けられた発光ダイオード（ＬＥＤ）を有する送信機から、光通信によって、架台装置１１０の非回転部分（例えば固定フレーム）に設けられたフォトダイオードを有する受信機に送信され、受信機によってコンソール装置１４０に転送される。なお、回転フレーム１１７から非回転部分への検出データの送信方法として、前述の光通信を用いた方法に限らず、非接触型の任意の送信方法を採用してよい。回転フレーム１１７は、Ｘ線管１１１などを支持して回転させることができるものであれば、円環状の部材に限らず、アームのような部材であってもよい。

Ｘ線ＣＴ装置１００は、例えば、Ｘ線管１１１とＸ線検出器１１５の双方が回転フレーム１１７によって支持されて被検体Ｐの周囲を回転するＲｏｔａｔｅ／Ｒｏｔａｔｅ－ＴｙｐｅのＸ線ＣＴ装置（第３世代ＣＴ）であるが、これに限らず、円環状に配列された複数のＸ線検出素子が固定フレームに固定され、Ｘ線管１１１が被検体Ｐの周囲を回転するＳｔａｔｉｏｎａｒｙ／Ｒｏｔａｔｅ－ＴｙｐeのＸ線ＣＴ装置（第４世代ＣＴ）であってもよい。

制御装置１１８は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサを有する処理回路と、モータやアクチュエータなどを含む駆動機構とを有する。制御装置１１８は、コンソール装置１４０または架台装置１１０に取り付けられた入力インタフェース１４３からの入力信号を受け付けて、架台装置１１０および寝台装置１３０の動作を制御する。

制御装置１１８は、例えば、回転フレーム１１７を回転させたり、架台装置１１０をチルトさせたり、寝台装置１３０の天板１３３を移動させたりする。架台装置１１０をチルトさせる場合、制御装置１１８は、入力インタフェース１４３に入力された傾斜角度（チルト角度）に基づいて、Ｚ軸方向に平行な軸を中心に回転フレーム１１７を回転させる。制御装置１１８は、図示しないセンサの出力等によって回転フレーム１１７の回転角度を把握している。また、制御装置１１８は、回転フレーム１１７の回転角度を随時、処理回路１５０に提供する。制御装置１１８は、架台装置１１０に設けられてもよいし、コンソール装置１４０に設けられてもよい。

制御装置１１８は、架台装置１１０を移動レールに沿って自走させ、本スキャン撮影を行ったり、本スキャン撮影の実行前に行う位置決め撮影であるスキャノ撮影を行ったりする。

寝台装置１３０は、スキャン対象の被検体Ｐを載置して、架台装置１１０の回転フレーム１１７の内部に導入する装置である。寝台装置１３０は、例えば、基台１３１と、寝台駆動装置１３２と、天板１３３と、支持フレーム１３４とを有する。基台１３１は、支持フレーム１３４を鉛直方向（Ｙ軸方向）に移動可能に支持する筐体を含む。寝台駆動装置１３２は、モータやアクチュエータを含む。寝台駆動装置１３２は、被検体Ｐが載置された天板１３３を、支持フレーム１３４に沿って、天板１３３の長手方向（Ｚ軸方向）に移動させる。天板１３３は、被検体Ｐが載置される板状の部材である。

コンソール装置１４０は、例えば、メモリ１４１と、ディスプレイ１４２と、入力インタフェース１４３と、通信インタフェース１４４と、処理回路１５０とを有する。本実施形態では、コンソール装置１４０は架台装置１１０とは別体として説明するが、架台装置１１０にコンソール装置１４０の各構成要素の一部または全部が含まれてもよい。

メモリ１４１は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。また、メモリ１４１には、ＲＯＭ（Read Only Memory）やレジスタ等の記憶媒体が含まれてもよい。また、メモリ１４１には、ＲＯＭ（Read Only Memory）やレジスタ等の記憶媒体が含まれてもよい。

メモリ１４１は、例えば、検出データや投影データ、再構成画像等を記憶する。これらのデータは、メモリ１４１ではなく（或いはメモリ１４１に加えて）、Ｘ線ＣＴ装置１００が通信可能な外部メモリ（例えばＮＡＳ（Network Attached Storage）等）に記憶されてもよい。

ディスプレイ１４２は、各種の情報を表示する。例えば、ディスプレイ１４２は、処理回路１５０によって生成されたＣＴ画像や、操作者（例えば医者等）による各種操作を受け付けるＧＵＩ（Graphical User Interface）等を表示する。ディスプレイ１４２は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等である。ディスプレイ１４２は、架台装置１１０に設けられてもよい。ディスプレイ１４２は、デスクトップ型でもよいし、コンソール装置１４０の本体部と無線通信可能な表示装置（例えばタブレット端末）であってもよい。

入力インタフェース１４３は、操作者（例えば医者等）による各種の入力操作を受け付け、受け付けた入力操作の内容を示す電気信号を処理回路１５０に出力する。例えば、入力インタフェース１４３は、検出データまたは投影データ（後述）を収集する際の収集条件、ＣＴ画像を再構成する際の再構成条件、ＣＴ画像から後処理画像を生成する際の画像処理条件などの入力操作を受け付ける。

入力インタフェース１４３は、例えば、マウスやキーボード、タッチパネル、ドラッグボール、スイッチ、ボタン、ジョイスティック、フットペダル、カメラ、赤外線センサ、マイク等により実現される。入力インタフェース１４３は、架台装置１１０に設けられてもよい。また、入力インタフェース１４３は、コンソール装置１４０の本体部と無線通信可能な表示装置（例えばタブレット端末）により実現されてもよい。

なお、本明細書において入力インタフェース１４３はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インタフェース１４３の例に含まれる。

通信インタフェース１４４は、例えば、ＮＩＣ（Network Interface Card）や無線通信モジュールなどを含む。通信インタフェース１４４は、通信ネットワークＮＷを介して、診療装置２００や機械学習モデル評価装置３００を含むその他の外部装置と通信する。

処理回路１５０は、Ｘ線ＣＴ装置１００の全体の動作を制御する。処理回路１５０は、例えば、システム制御機能１５１、前処理機能１５２、再構成処理機能１５３、画像処理機能１５４、出力制御機能１５５などを実行する。処理回路１５０は、例えば、ハードウェアプロセッサがメモリ１４１に記憶されたプログラムを実行することにより、これらの機能を実現するものである。

ハードウェアプロセッサとは、例えば、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific Integrated Circuit; ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device; ＳＰＬＤ）または複合プログラマブル論理デバイス（Complex Programmable Logic Device; ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array; ＦＰＧＡ））等の回路（circuitry）を意味する。

メモリ１４１にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。上記のプログラムは、予めメモリ１４１に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の非一時的記憶媒体に格納されており、非一時的記憶媒体がコンソール装置１４０のドライブ装置（不図示）に装着されることで非一時的記憶媒体からメモリ１４１にインストールされてもよい。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて１つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を１つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。

コンソール装置１４０または処理回路１５０が有する各構成要素は、分散化されて複数のハードウェアにより実現されてもよい。処理回路１５０は、コンソール装置１４０が有する構成ではなく、コンソール装置１４０と通信可能な別体の処理装置によって実現されてもよい。処理装置は、例えば、Ｘ線ＣＴ装置１００と接続されたワークステーションや、処理回路１５０と同等の処理を一括して実行可能なクラウドサーバであってよい。

システム制御機能１５１は、入力インタフェース１４３が受け付けた入力操作に基づいて、処理回路１５０の各種機能を制御する。システム制御機能１５１は、入力インタフェース１４３が受け付けた入力操作に基づいて被検体Ｐを撮像した際の撮像条件（以下、第１条件）を取得する。第１条件は、画像データを得るための撮像をする際の条件である。第１条件は、被検体の計測により取得された条件である。第１条件には、例えば、線質、体重、被曝（被曝量）、画質、造影剤量、造影タイミング、再構成パラメータの各条件が含まれる。システム制御機能１５１は、取得した第１条件を、通信インタフェース１４４を介して機械学習モデル評価装置３００に送信する。第１条件は、例えば、後に説明する診療装置２００による処理結果が、適正である場合の条件である。

前処理機能１５２は、ＤＡＳ１１６により出力された検出データに対して対数変換処理やオフセット補正処理、チャネル間の感度補正処理、ビームハードニング補正等の前処理を行って、投影データを生成し、生成した投影データをメモリ１４１に記憶させる。

再構成処理機能１５３は、前処理機能１５２によって生成された投影データに対して、フィルタ補正逆投影法や逐次近似再構成法等による再構成処理を行って、医用画像の一つであるＣＴ画像を生成し、生成したＣＴ画像をメモリ１４１に記憶させる。

画像処理機能１５４は、入力インタフェース１４３が受け付けた入力操作に基づいて、ＣＴ画像を公知の方法により、三次元画像や任意断面の断面像データに変換する。三次元画像への変換は、前処理機能１５２によって行われてもよい。

出力制御機能１５５は、再構成処理機能１５３によって再構成処理を通じて生成されたＣＴ画像や、画像処理機能１５４によって生成された画像（例えば、三次元画像、断面画像、高解像画像）のデータ（以下、画像データ）をディスプレイ１４２に表示させる。また、出力制御機能１５５は、画像データとして、通信インタフェース１４４を介して診療装置２００に送信する。出力制御機能１５５は、画像データを、機械学習モデル評価装置３００を含むその他外部装置に送信してもよい。画像データは、医用画像データの一例である。

図３は、第１の実施形態における診療装置２００の構成例を表す図である。診療装置２００は、例えば、通信インタフェース２０２と、入力インタフェース２０４と、ディスプレイ２０６と、メモリ２０８と、処理回路２１０とを備える。

通信インタフェース２０２は、例えば、ＮＩＣや無線通信モジュールなどを含む。通信インタフェース２０２は、通信ネットワークＮＷを介して、Ｘ線ＣＴ装置１００や機械学習モデル評価装置３００を含むその他の外部装置と通信する。入力インタフェース２０４は、Ｘ線ＣＴ装置１００で説明した入力インタフェース１４３として例示したものいずれかと同様の構成を有し、操作者による各種の入力操作を受け付け、受け付けた入力操作の内容を示す電気信号を処理回路２１０に出力する。

ディスプレイ２０６は、各種の情報を表示する。例えば、ディスプレイ２０６は、処理回路２１０の処理結果や、操作者による各種操作を受け付けるＧＵＩ等を表示する。ディスプレイ２０６は、例えば、ＬＣＤや有機ＥＬディスプレイ等である。メモリ２０８は、Ｘ線ＣＴ装置１００で説明したメモリ１４１として例示したもののいずれか同様の構成を有する。メモリ２０８には、ベンダーより供給される機械学習モデル１０が記憶されている。メモリ２０８には、複数種類の機械学習モデル１０が記憶されていてもよい。

処理回路２１０は、例えば、データ取得機能２１２と、データ処理機能２１４と、処理結果出力制御機能２１６と、を備える。処理回路２１０は、例えば、ハードウェアプロセッサ（コンピュータ）がメモリ２０８に記憶されたプログラムを実行することにより、これらの機能を実現するものである。ハードウェアプロセッサは、Ｘ線ＣＴ装置１００において説明したハードウェアプロセッサとして例示したもののいずれかと同様の構成を有する。

データ取得機能２１２は、Ｘ線ＣＴ装置１００により送信される画像データを、通信インタフェース２０２を介して取得する。データ処理機能２１４は、データ取得機能２１２が取得した画像データを、メモリ２０８に格納された機械学習モデル１０を用いて処理する。

機械学習モデル１０は、医用データの入力に対する出力データを生成する。医用データは、例えば、Ｘ線ＣＴ装置１００により送信された画像データである。機械学習モデル１０は、画像データを入力データとして入力することにより、出力データとして診療データを出力する。

データ処理機能２１４は、さらに、入力データである第１条件に基づく画像データ（以下、基準画像データ）を機械学習モデル１０に入力することで生成される診療データ（以下、基準診療データ）を生成する。基準診療データは、基準画像データを機械学習モデル１０に入力した場合の基準画像データと対応付けられる機械学習モデルの正解データである。データ処理機能２１４は、生成した基準画像データを、通信インタフェース２０２を介して機械学習モデル評価装置３００に送信する。基準画像データは、基準医用データの一例である。基準診療データは、基準出力データの一例である。

処理結果出力制御機能２１６は、データ処理機能２１４により生成された診療データをディスプレイ２０６に表示させたり、図示しないスピーカを用いて音声出力させたりする。処理結果出力制御機能２１６は、さらに、処理結果を、通信インタフェース２０２を介して、外部装置、例えば機械学習モデル評価装置３００に送信してもよい。

解析診療ＡＩアプリがVisualization系のアプリである場合の診療データは、例えば、表示態様が調整された画像のデータである。解析診療ＡＩアプリがWorkflow系のアプリである場合の診療データは、例えば、技師等の作業手順のデータである。解析診療ＡＩアプリが計測系のアプリである場合の診療データは、例えば、計測結果のデータである。解析診療ＡＩアプリが診断系のアプリである場合の診療データは、例えば、診断結果を示すデータである。

図４は、第１の実施形態における機械学習モデル評価装置３００の構成例を表す図である。機械学習モデル評価装置３００は、例えば、通信インタフェース３０２と、入力インタフェース３０４と、ディスプレイ３０６と、メモリ３０８と、処理回路３１０とを備える。実施形態においては、機械学習モデル評価装置３００は、診療装置２００とは独立して設けられるが、機械学習モデル評価装置３００は、診療装置２００に含まれるパーソナルコンピュータやスマートフォンに含まれてもよい。この場合、機械学習モデル評価装置３００は、例えば機械学習モデル評価装置３００の機能を果たすアプリがインストールされたパーソナルコンピュータやスマートフォンに含まれてよく、診療装置２００と機械学習モデル評価装置３００が共用できる通信インタフェース等は共用してよい。

通信インタフェース３０２は、例えば、ＮＩＣや無線通信モジュールなどを含む。通信インタフェース３０２は、通信ネットワークＮＷを介して、Ｘ線ＣＴ装置１００やその他の外部装置と通信する。入力インタフェース３０４は、Ｘ線ＣＴ装置１００で説明した入力インタフェース１４３のいずれかと同様の構成を有し、操作者による各種の入力操作を受け付け、受け付けた入力操作の内容を示す電気信号を処理回路３１０に出力する。

ディスプレイ３０６は、各種の情報を表示する。例えば、ディスプレイ３０６は、処理回路３１０の処理結果や、操作者による各種操作を受け付けるＧＵＩ等を表示する。メモリ３０８は、Ｘ線ＣＴ装置１００で説明したメモリ１４１として例示したもののいずれかと同様の構成を有する。ディスプレイ３０６は、出力部の一例である。ディスプレイ３０６は、表示部の一例である。出力部は、画像を表示するディスプレイ３０６以外でもよい。出力部は、例えば、スピーカや送信インタフェースでもよい。

処理回路３１０は、例えば、取得機能３１２と、処理機能３１４と、算出機能３１６と、出力制御機能３１８を備える。処理回路３１０は、例えば、ハードウェアプロセッサ（コンピュータ）がメモリ３０８に記憶されたプログラムを実行することにより、これらの機能を実現するものである。取得機能３１２は取得部の一例である。処理機能３１４は処理部の一例である。算出機能３１６は算出部の一例である。出力制御機能３１８は、出力制御部の一例である。

取得機能３１２は、例えば、第１条件取得機能３２２と、画像データ取得機能３２４と、機械学習モデル取得機能３２６と、を備える。第１条件取得機能３２２は、Ｘ線ＣＴ装置１００により送信される第１条件を、通信インタフェース３０２を介して取得する。画像データ取得機能３２４は、Ｘ線ＣＴ装置１００により送信される画像データを、通信インタフェース３０２を介して取得する。

機械学習モデル取得機能３２６は、ベンダーより供給される機械学習モデル１０のうち、診療装置２００のメモリ３０８に格納された機械学習モデル１０と同一の機械学習モデル１０を取得する。機械学習モデル取得機能３２６は、診療装置２００により送信された診療装置２００のメモリ２０８に格納された機械学習モデル１０と同一の機械学習モデル１０を、通信インタフェース３０２を介して取得してもよい。

処理機能３１４は、例えば、シミュレーション処理機能３３２と、対象データ生成機能３３４と、を備える。シミュレーション処理機能３３２は、第１条件取得機能３２２により取得された第１条件の一部を調整した第２条件を生成する。シミュレーション処理機能３３２は、例えば、第１条件のうち、体重を１ｋｇ減じ、その他の条件を第１条件と一致させた第２条件を生成する。同様に、第１条件のうちの１つまたは複数のパラメータに僅かな変更を加えた第２条件を大量に生成する。シミュレーション処理機能３３２は、機械学習モデル１０に対して、第１条件とは異なる第２条件で撮像された画像のシミュレーションデータ（以下、対象画像データ）を大量に生成する。シミュレーション処理機能３３２は、シミュレーション処理部の一例である。対象画像データは、対象医用データの一例である。

シミュレーション処理機能３３２は、どのような条件でパラメータに変更を加えてもよい。シミュレーション処理機能３３２は、複数種類のパラメータに対して順次変更を加えてもよい。シミュレーション処理機能３３２は、例えば、患者の属性、検査の目的、病変の種類や状態に応じて変更を加えるパラメータを決定してもよい。

対象データ生成機能３３４は、シミュレーション処理機能３３２により生成された対象画像データをそれぞれ機械学習モデル取得機能３２６が取得した機械学習モデル１０の入力データとして入力する。対象データ生成機能３３４は、大量の対象画像データのそれぞれに対する対象診療データを生成する。対象診療データは、対象出力データの一例である。

算出機能３１６は、診療装置２００により送信された基準診療データと、対象データ生成機能３３４により生成された対象診療データとを比較する。算出機能３１６は、基準診療データと対象診療データとを比較した比較結果に基づいて、第２条件の機械学習モデル１０に対する適合度を算出する。適合度は、例えば、条件（例えば第２条件）をデータとして機械学習モデルに入力した場合に、正解となるデータを出力する度合いを示す。

適合度は、撮像条件の下で撮像した画像の画像データ（医用データ）を機械学習モデル１０に入力した場合の診療データ（出力データ）が正解データとなる度合いに応じて算出される。例えば、第１条件の機械学習モデル１０に対する適合度は「１」である。第２条件の機械学習モデル１０に対する適合度は、例えば、第１条件の機械学習モデル１０に対する適合度を基準として算出される。

診療装置２００により送信された基準診療データは正解データであるので、機械学習モデル１０は、基準画像データを入力データとした場合の出力データを正しく求めたモデルであるといえる。このため、基準画像データを生成する条件である第１条件の機械学習モデル１０に対する適合度は、例えば「１」である。これに対して、対象画像データを生成する条件である第２条件の機械学習モデル１０に対する適合度は、例えば「１」または「０」として算出され、適合度が「１」である場合には、適合度が「０」である場合よりも適合度が高い。第２条件の機械学習モデル１０に対する適合度は、「０」を超えた「１」未満の値として算出されてもよい。

算出機能３１６は、基準診療データと対象診療データとを比較したときの基準診療データと対象診療データの相違が規定範囲に収まる場合に、第２条件の機械学習モデル１０に対する適合度を「１」と算出する。算出機能３１６は、比較した基準診療データと対象診療データの相違が規定範囲を超える場合に、第２条件の機械学習モデル１０に対する適合度を０と算出する。

基準診療データと対象診療データの相違が規定範囲に収まるか否かは、機械学習モデル１０が含まれる解析診療ＡＩアプリの種類によって異なる。算出機能３１６は、例えば、解析診療ＡＩアプリがVisualization系のアプリである場合には、生成された比較対象の画像が、技師などが視認した際に同一と判定し得る範囲にある場合には、基準診療データと対象診療データの相違が規定範囲に収まるとして、第２条件の機械学習モデル１０に対する適合度を「１」と算出する。

算出機能３１６は、解析診療ＡＩアプリがWorkflow系のアプリである場合には、比較対象の時短の差が所定時間以内であるときに、基準診療データと対象診療データの相違が規定範囲に収まるとして、第２条件の機械学習モデル１０に対する適合度を「１」と算出する。算出機能３１６は、解析診療ＡＩアプリが計測系のアプリである場合には、比較対象の計測結果の差が所定数値以内であるときに、基準診療データと対象診療データの相違が規定範囲に収まるとして、第２条件の機械学習モデル１０に対する適合度を「１」と算出する。算出機能３１６は、解析診療ＡＩアプリが診断系のアプリである場合には、比較対象の診断結果が一致するときに、基準診療データと対象診療データの相違が規定範囲に収まるとして、第２条件の機械学習モデル１０に対する適合度を「１」と算出する。

算出機能３１６は、第２条件の機械学習モデル１０に対する適合度を「１」とした場合には、第２条件に許容範囲を決定する。算出機能３１６は、例えば、基準診療データと対象診療データの相違が規定範囲に収まるとして、第２条件の機械学習モデル１０に対する適合度を「１」と算出した場合に、対象画像データを生成した第２条件の最大値と最小値の間の範囲を許容範囲として規定する。

出力制御機能３１８は、データ処理機能２１４により生成された第２条件や対象診療データをディスプレイ２０６に表示させたり、図示しないスピーカを用いて音声出力させたりする。処理結果出力制御機能２１６は、さらに、第２条件や対象診療データを、通信インタフェース２０２を介して外部装置、例えば機械学習モデル評価装置３００に送信したりする。出力制御機能３１８は、算出機能３１６により機械学習モデル１０に対する適合度が「１」と算出された場合の第２条件の許容範囲をディスプレイ３０６に表示させる。出力制御機能３１８は、第２条件の許容範囲の表示に代えてまたは加えて第２条件の機械学習モデル１０に対する適合度をディスプレイ３０６に表示させてもよい。

次に、機械学習モデル評価システム１における処理について説明する。機械学習モデル評価システム１においては、Ｘ線ＣＴ装置１００において撮像した被検体Ｐの画像に基づいて、診療装置２００を用いた診断が行われる。その一方で、Ｘ線ＣＴ装置１００において撮像した画像を用いて、診療装置２００で用いられる機械学習モデルの適性を、機械学習モデル評価装置３００を用いて評価する。

図５は、第１の実施形態における機械学習モデル評価システム１の処理の流れの一例の概要を示す図である。機械学習モデル評価システム１において、Ｘ線ＣＴ装置１００には、まず、撮像条件（第１条件）が設定され、Ｘ線ＣＴ装置１００により被検体Ｐの撮像が終了した後、画像データの生成処理が施された画像が生成される。生成された画像は、診療装置２００に送信され、第１条件は機械学習モデル評価装置３００に送信される。

診療装置２００では、Ｘ線ＣＴ装置１００により送信された画像データに対して機械学習モデル１０を用いた処理が行われ、診療データが生成される。生成された診療データは、医師等の診療者による診療に用いられるほか、基準診療データとして機械学習モデル評価装置３００に送信される。Ｘ線ＣＴ装置１００により診療装置２００に送信された画像データは、基準画像データとして機械学習モデル評価装置３００に送信される。

機械学習モデル評価装置３００では、Ｘ線ＣＴ装置１００により送信された第１条件に基づいて生成された第２条件を用いたシミュレーションが実行され、対象画像データが生成される。この対象画像データに対して機械学習モデル１０を用いた処理が行われ、対象診療データが生成される。機械学習モデル評価装置３００は、対象診療データを生成し、診療装置２００により送信された基準診療データと比較する。機械学習モデル評価装置３００は、第２条件の設定条件を少しずつ変えながら順次対象画像データ及び対象診療データを生成し、機械学習モデル１０に対する第２条件の適合度を算出して、第２条件の許容範囲を決定する。以下、機械学習モデル評価システム１における、より具体的な処理の手順について説明する。

図６は、第１の実施形態における機械学習モデル評価システム１の処理の流れを示すシーケンス図である。機械学習モデル評価システム１では、被検体Ｐを撮像するにあたり、Ｘ線ＣＴ装置１００では、まず、被検体Ｐを撮像する際の第１条件が設定される（ステップＳ１０１）。第１条件が設定されたら、Ｘ線ＣＴ装置１００は、被検体Ｐを撮像する（ステップＳ１０３）。

続いて、Ｘ線ＣＴ装置１００は、処理回路１５０において、撮像した得られた検出データや投影データなどを画像処理して、画像データを生成する（ステップＳ１０５）。Ｘ線ＣＴ装置１００は、生成した画像データを診療装置２００に送信するとともに、ステップＳ１０１で設定された第１条件を機械学習モデル評価装置３００に送信する（ステップＳ１０７）。

Ｘ線ＣＴ装置１００により画像データを送信された診療装置２００は、データ取得機能２１２において、送信された画像データを受信して取得する。続いて、診療装置２００は、データ処理機能２１４において、Ｘ線ＣＴ装置１００により送信された画像データを、メモリ２０８に格納された機械学習モデル１０の入力データとして処理し（ステップＳ２０１）、診療データを生成する（ステップＳ２０３）。

続いて、診療装置２００は、処理結果出力制御機能２１６において、生成した診療データを、ディスプレイ２０６に表示させるなどして出力し（ステップＳ２０５）、診療装置２００を操作する医師等の診療者に診療データを提供する。診療装置２００を操作する診療者は、診療装置２００に出力された診療データを視認等しながら、例えば被検体Ｐを診療する。

診療装置２００は、データ処理機能２１４において、Ｘ線ＣＴ装置１００により送信された画像データ及びステップＳ２０５で生成した診療データをそれぞれ基準画像データ及び基準診療データとする。データ処理機能２１４は、基準画像データ及び基準診療データを機械学習モデル評価装置３００に送信する（ステップＳ２０７）。

一方、機械学習モデル評価装置３００は、第１条件取得機能３２２において、Ｘ線ＣＴ装置１００により送信された第１条件を受信して取得する。続いて、機械学習モデル評価装置３００は、処理機能３１４のシミュレーション処理機能３３２において、取得した第１条件に基づいて、第２条件を生成する（ステップＳ３０１）。

続いて、機械学習モデル評価装置３００は、処理機能３１４のシミュレーション処理機能３３２において、第２条件に基づく対象画像データを生成する（ステップＳ３０３）。処理機能３１４では、第２条件を大量に生成するとともに、大量の第２条件に基づく大量の対象画像データを生成する。

続いて、シミュレーション処理機能３３２は、対象画像データを機械学習モデル取得機能３２６が取得した機械学習モデル１０の入力データとして処理し（ステップＳ３０５）、第２条件のそれぞれに対する対象診療データを生成する（ステップＳ３０７）。

続いて、機械学習モデル評価装置３００は、算出機能３１６において、基準診療データと、対象診療データを比較することにより（ステップＳ３１１）、対象画像データを生成した第２条件の適合度を算出する。算出機能３１６は、基準診療データと対象診療データとを比較した結果、基準診療データと対象診療データを相違が規定範囲内にあるか否かを判定する（ステップＳ３１３）。

基準診療データと対象診療データを相違が規定範囲内にあると判定した場合、算出機能３１６は、第２条件の機械学習モデル１０に対する適合度を「１」と算出して、比較した対象データセットにおける対象画像データを生成した際の第２条件を許容範囲に含める（ステップＳ３１５）。基準診療データと対象診療データを相違が規定範囲内にないと判定した場合、算出機能３１６は、第２条件の機械学習モデル１０に対する適合度を「０」と算出して、ステップＳ３１５をスキップして処理をステップＳ３１７に進める。

続いて、算出機能３１６は、適合度の算出が完了したか否かを判定する（ステップＳ３１７）。算出機能３１６は、例えば、第２条件の許容範囲の上限値と下限値が設定された場合や、すべての第２条件の適合度が算出された場合に、適合度の算出が完了したと判定する。

第２条件の許容範囲の設定が完了していないと判定した場合、算出機能３１６は、処理をステップＳ３１１に戻す。第２条件の許容範囲の設定が完了したと算出機能３１６が判定した場合、出力制御機能３１８は、算出機能３１６により算出された第２条件の機械学習モデル１０に対する適合度や第２条件の許容範囲をディスプレイ３０６に表示させたりするなどして（ステップＳ３１９）、所定の情報を出力する。こうして、機械学習モデル評価システム１における処理を終了する。

図７は、第１の実施形態におけるディスプレイ３０６に表示された撮像条件の許容範囲をマップで示す画像の一例を示す図である。撮像条件としては、「線質」「被曝」「画質」「造影剤量」「造影タイミング」「再構成パラメータ」「体重」が含まれる。機械学習モデル評価装置３００における出力制御機能３１８は、これらの撮像条件のそれぞれに対しての許容範囲を示す許容範囲マップ画像ＧＡ１０をディスプレイ３０６に表示させる。

出力制御機能３１８が各撮像条件についての許容範囲を許容範囲マップ画像ＧＡ１０としてディスプレイ３０６に表示させることにより、診療者等の操作者は、各条件の許容範囲を容易に把握することができる。この例において、出力制御機能３１８は、７個の撮像条件に対する許容範囲マップ画像ＧＡ１０を示しているが、７個より少ないまたは多い数の撮像条件に対する許容範囲マップ画像を示してもよい。許容範囲は、図７に示す許容範囲マップ画像ＧＡ１０の態様以外の態様で示してもよい。

第１の実施形態の機械学習モデル評価システム１は、基準画像データに対する基準診療データと、対象画像データに対する対象診療データを比較することにより、第２条件の機械学習モデル１０に対する適合度を算出する。基準画像データは正解データであるので、第１条件の機械学習モデル１０に対する適合度は「１」である。このため、第２条件の機械学習モデル１０に対する適合度を正確に評価できるので、ベンダーより供給される複数種類の解析診療ＡＩアプリを十分に活用できる。

第１の実施形態の機械学習モデル評価システム１は、第２条件の機械学習モデル１０に対する適合度を「１」と算出した場合に、第２条件に対する許容範囲を決定し、許容範囲をディスプレイ３０６に表示させる。このため、機械学習モデル１０を含む解析診療ＡＩアプリを精度良く活用できる撮像条件の範囲を操作者に知らせることができる。

上記の第１の実施形態では、出力制御機能３１８は、機械学習モデル１０に対する適合度に基づく撮像条件（第２条件）の許容範囲を示しているが、撮像条件の許容範囲に対する許容度マージンを表示してもよい。図８は、第１の実施形態におけるディスプレイ３０６に表示された撮像条件の許容範囲の許容度マージンを示す画像の一例を示す図である。

この例では、出力制御機能３１８は、許容範囲マップ画像ＧＡ１０とともに、基準画像データを生成した際の第１条件を示す基準条件マップ画像ＧＡ２０をディスプレイ３０６に表示させる。許容範囲マップ画像ＧＡ１０と基準条件マップ画像ＧＡ２０が表示されることにより、例えば、「被曝」の撮像条件について、許容範囲マップ画像ＧＡ１０と基準条件マップ画像ＧＡ２０の間の矢印画像ＹＡ１０で示す範囲を許容度マージンとして操作者に認識させることができる。

さらには、許容範囲マップ画像ＧＡ１０や基準条件マップ画像ＧＡ２０をＧＵＩで表示し、入力インタフェース３０４の操作により、撮像条件を許容範囲マップ画像ＧＡ１０の内側などに指定できるようにしてもよい。許容範囲マップ画像ＧＡ１０や基準条件マップ画像ＧＡ２０は、機械学習モデル評価装置３００のディスプレイ３０６以外のディスプレイ、例えば、Ｘ線ＣＴ装置１００のコンソール装置に設けられたディスプレイ１４２や診療装置２００に設けられたディスプレイ２０６に表示されてもよい。

上記の第１の実施形態では、出力制御機能３１８は、機械学習モデル１０に対する第２条件の適合度に基づく撮像条件の許容範囲を示しているが、撮像条件の増減可能範囲を表示してもよい。図９は、第１の実施形態におけるディスプレイ３０６に表示された撮像条件の増減可能範囲を示す画像の一例を示す図である。

この例では、出力制御機能３１８は、撮像条件としての被曝の許容範囲を第１矢印ＧＡ２１～第５矢印ＧＡ２５でディスプレイ３０６に表示させている。出力制御機能３１８は、現在の設定値として第２矢印ＧＡ２２を示しており、第２矢印ＧＡ２２を第１矢印ＧＡ２１～第５矢印ＧＡ２５の他の矢印より太い設定矢印として表示することで第２矢印ＧＡ２２が現在の設定値を示すことを強調して表示している。出力制御機能３１８は、第１矢印ＧＡ２１の上方及び第５矢印ＧＡ２５の下方に、許容範囲外矢印ＧＡ４０を破線で示している。

出力制御機能３１８は、第１矢印ＧＡ２１～第５矢印ＧＡ２５の右側に設定値アイコンＧＡ３０を表示している。設定値アイコンＧＡ３０は、ＧＵＩである。設定値アイコンＧＡ３０が上下動方向に操作されることにより、設定値を示す設定矢印が上下動する。設定値アイコンＧＡ３０は、第１矢印ＧＡ２１～第５矢印ＧＡ２５の右側の間を移動可能であり、許容範囲外矢印ＧＡ４０の側方までは移動できなくなっている。

出力制御機能３１８は、第１矢印ＧＡ２１～第５矢印ＧＡ２５の右側中央部に第１メッセージ画像ＭＡ１１を表示している。第１メッセージ画像ＭＡ１１は、「許容範囲」の文字と、第１矢印ＧＡ２１～第５矢印ＧＡ２５を囲むカッコを含んでおり、第１矢印ＧＡ２１～第５矢印ＧＡ２５が指し示す範囲が被曝の許容範囲であることを操作者に知らせている。

出力制御機能３１８は、第１矢印ＧＡ２１～第５矢印ＧＡ２５の左側上部に第２メッセージ画像ＭＡ１２を表示している。第２メッセージ画像ＭＡ１２は、太い矢印が現在の設定値であることを操作者に知らせている。出力制御機能３１８は、第１矢印ＧＡ２１～第５矢印ＧＡ２５の左側下部に第３メッセージ画像ＭＡ１３を表示している。第３メッセージ画像ＭＡ１３は、「もっと下げることができます」という文字を含み、被曝量を下げることができる旨を操作者に知らせている。

このように、機械学習モデル評価装置３００は、出力制御機能３１８により第１矢印ＧＡ２１～第５矢印ＧＡ２５及び第１メッセージ画像ＭＡ１１～第３メッセージ画像ＭＡ１３をディスプレイ３０６に表示させることにより、撮像条件、ここでは被曝についての設定できる範囲を操作者に対して容易に認識させることができる。また、第１矢印ＧＡ２１～第５矢印ＧＡ２５に応じた範囲を設定値アイコンＧＡ３０が移動可能であることにより、撮像条件、ここでは被曝について設定を操作者が容易に行うことができる。

また、撮像条件の許容範囲を決定することにより、例えば複数の画像を連続して撮像するときなどには、どの程度まで撮像条件が変わっても（ぶれても）よいかを調べておいてもよい。この場合、例えば、連続して画像を撮像する初期の段階では、ある程度被検体Ｐに負担がかかるが、撮像しやすい撮像条件で撮影し、撮像条件の許容範囲を決定した後、撮像可能な範囲で被検体Ｐにかかる負担が小さくなる撮像条件として画像を撮像するようにしてもよい。また、連続して画像を撮像する場合には、連続した撮像の途中で撮像条件を変更してもよいし、一定間隔を置いて画像を撮像する場合には、数回の撮像を終えた後に撮像条件を変更してもよい。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態の機械学習モデル評価システム１は、第１の実施形態と比較して、主に機械学習モデル評価装置３００の構成の一部が異なる。以下、第１の実施形態との相違点を中心として、第２の実施形態の機械学習モデル評価システム１について説明する。図１０は、第２の実施形態における機械学習モデル評価装置３００の構成例を表す図である。

第２の実施形態の機械学習モデル評価装置３００のメモリ３０８は、撮像条件データ付き画像データ３５０を格納する。撮像条件データ付き画像データ３５０は、画像データと、その画像データを撮像した際の撮像条件を含む。撮像条件データ付き画像データは、例えば、Ｘ線ＣＴ装置１００が設置された医療施設における過去の診療行為において被検体を計測する際に得られた画像データと、その画像データを撮像した際の撮像条件を蓄積したデータである。

第２の実施形態の機械学習モデル評価装置３００は、例えば大規模の医療施設や、複数の医療施設などから複数の撮像条件データ付き画像データ３５０を収集可能な施設に設置される。第２の実施形態の機械学習モデル評価装置３００は、例えば大量の撮像条件データ付き画像データ３５０をメモリ３０８に格納する。

第２の実施形態の機械学習モデル評価装置３００における処理機能３１４は、Ｘ線ＣＴ装置１００により送信される撮像条件データ付き画像データ３５０の中から、第１条件に近似する撮像条件を付随データに含むデータを抽出する。算出機能３１６は、処理機能３１４が抽出した撮像条件データ付き画像データ３５０に含まれる画像データを基準画像データとし、診療データを基準診療データとして生成する。その他の構成は、上記の第１の実施形態と共通である。第１の実施形態の診療データは、特定の被検体Ｐに対するデータであるのに対して、撮像条件データ付き画像データ３５０は、複数の被検体に対するデータである。このため、生成される許容範囲は、特定の被検体に対する値ではなく、代表値として一般的に使用される値である。

第２の実施形態の機械学習モデル評価システム１は、上記の第１の実施形態の機械学習モデル評価システム１と同様の作用効果を奏する。さらに、第２の実施形態の機械学習モデル評価システム１は、シミュレーション処理機能などを備える必要がないので、その分簡素な構成とすることができる。

（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態の機械学習モデル評価システム１は、第１の実施形態と比較して、主に機械学習モデル評価装置３００の構成の一部が異なる。図１１は、第３の実施形態における機械学習モデル評価システム１の処理の流れの一例の概要を示す図である。

第１の実施形態の機械学習モデル評価システム１では、診療装置２００の機械学習モデル１０により出力される診療データ（基準診療データ）と、機械学習モデル評価装置３００の機械学習モデル１０により出力される診療データ（対象診療データ）を比較した結果に基づいて、第２条件の機械学習モデル１０に対する適合度を算出する。

これに対して、第３の実施形態の機械学習モデル評価システム１では、診療装置２００の機械学習モデル１０に入力される画像データ（基準画像データ）と、機械学習モデル評価装置３００の機械学習モデル１０に入力される画像データ（対象画像データ）を比較した結果に基づいて、第２条件の機械学習モデル１０に対する適合度を算出する。第３の実施形態の機械学習モデル評価装置３００では、第２条件の機械学習モデル１０に対する適合度を算出するために、機械学習モデル１０の学習に用いられた学習データの入力データの分布を利用する。

図１２は、第３の実施形態における機械学習モデル評価装置３００の構成例を示す図である。第３の実施形における機械学習モデル評価装置３００は、第１の実施形態の機械学習モデル評価装置３００と比較して、推定機能３１９を備える点と、取得機能３１２が第１条件取得機能３２２及び画像データ取得機能３２４に代えて、第１取得機能３２７及び第２取得機能３２８を備える点で主に異なる。また、処理機能３１４によりシミュレートされる内容が異なる。取得機能３１２における機械学習モデル取得機能３２６は、機械学習モデル取得部の一例である。

推定機能３１９は、機械学習モデル１０の学習に用いられた学習データの分布、例えば学習データに含まれる入力データ（画像データ）のデータ分布（以下、第１データ分布）を推定する。データ分布の推定には、機械学習モデル１０やその学習に用いられる各データをエンコードすること含む。取得機能３１２の第１取得機能３２７は、推定機能３１９により推定された第１データ分布を取得する。第１取得機能３２７は、第１取得部の一例である。

処理機能３１４におけるシミュレーション処理機能３３２は、例えば、コホートにおける画像データを撮像した際の撮像条件及びその画像データを取得する。コホートは、どのようなコホートでもよく、例えば、Ｘ線ＣＴ装置１００が設置された医療施設のコホートでもよいし、通信ネットワークＮＷを介して接続された複数の医療施設のコホートでもよい。

シミュレーション処理機能３３２は、取得した撮像条件をそのまま第２条件として生成する。シミュレーション処理機能３３２は、取得したコホートにおける画像データを、機械学習モデル１０に入力する対象画像データとしてそのまま生成する。シミュレーション処理機能３３２は、生成した対象画像データのデータ分布（以下、第２データ分布）を生成する。取得機能３１２の第２取得機能３２８は、シミュレーション処理機能３３２により生成された第２データ分布を取得する。第２取得機能３２８は、第２取得部の一例である。

第２データ分布は、コホートにおけるデータセットに含まれる画像データの分布に関するデータ分布であり、例えば、Ｘ線ＣＴ装置１００が設置される医療施設（以下、設置医療施設）の被検体における画像データの一部または全部のデータ分布である。第２データ分布は、シミュレーション処理機能３３２により取得された画像データ以外の画像データのデータ分布でもよい。例えば、Ｘ線ＣＴ装置１００のメモリ１４１に格納された設置医療施設の患者（被検体）の画像データの画像分布でもよい。

算出機能３１６は、第１データ分布と第２データ分布の比較結果に基づいて、機械学習モデル１０に対する第２データ分布の適合度を算出する。第１データ分布は、機械学習モデル１０に対する適合度が高いデータ分布であるので、第２データ分布は、第１データ分布に近いほど、機械学習モデル１０に対する適合度が高い傾向にある。算出機能３１６は、第２データ分布の適合度に基づいて、撮像条件の許容範囲を規定する。

第２データ分布は、例えば、第１データ分布により推定されたデータ分布でもよい。例えば、データ分布が画像データの画質に関する撮像条件の分布である場合には、この場合、例えば、第２データ分布を構成する画像データを撮像した撮像条件の許容範囲が、機械学習モデル１０を利用する際の画像データを撮像した撮像条件の許容範囲として適切な範囲となる。したがって、算出した許容範囲を出力することにより、医師等による適切な撮像条件の設定を補助することができる。

算出機能３１６は、被検体を撮像したときの画像のデータ分布（以下、対象データ分布）が第１データ分布とずれている場合、例えば、対象データ分布が第１データ分布と近似または一致するように対象データ分布が求められた画像を補正する画像処理してもよい。図１３は、第３の実施形態における第１データ分布と対象データ分布の関係の一例を示す図である。

図１３に示すヒストグラムの横軸は、例えば画像データの画質である。画像データの画質は、画像を撮像する際に被検体Ｐに照射するＸ線の線量と同等の関係にあり、Ｘ線の線量が多いほど画質は高くなる。対象データ分布ＤＢ２１が、第１データ分布ＤＢ１１に対して画像データの画質が低くなる側にシフトしている場合には、各画像データに画質を向上させる画像処理を施した補正データ分布ＤＢ２２を生成することにより、対象データ分布ＤＢ２１が第１データ分布ＤＢ１１に重なるようにすることができる。

対象データ分布ＤＢ２１に含まれる画像データに画像処理を施すとともにまたはその代わりに、撮像条件を調整することにより対象データ分布を調整してもよい。以下に、対象データ分布の調整の具体的態様について説明する。図１４～図１７は、第３の実施形態における第１データ分布と対象データ分布の関係の一例を示す図である。

図１４に示すように、第１データ分布ＤＢ１１に対して、対象データ分布ＤＢ２１に含まれる画像データの画質（＝線量）が低くなる側にシフトしている場合がある。この場合には、画像データを得るために被検体Ｐを撮像する際のＸ線の線量は多くなるが、画質を高めることができる。

図１５に示すように、第１データ分布ＤＢ１１に対して、対象データ分布ＤＢ２１に含まれる画像データの画質（＝線量）が高くなる側にシフトしている場合がある。この場合には、画像データを得るために被検体Ｐを撮像する際のＸ線の線量を少なくして、被検体Ｐの被曝量を少なくしながら、満足な画質の画像を得ることができる。

図１６に示すように、第１データ分布ＤＢ１１に対して、対象データ分布ＤＢ２１がほとんど重なる場合がある。この場合には、画像データを得るために被検体Ｐを撮像する際のＸ線の線量（＝線量）などの撮像条件を変えることなく画像データを得ることができる。図１７に示すように、第１データ分布ＤＢ１１に対して、線量が高い側の範囲で対象データ分布ＤＢ２１が含まれる場合がある。この場合には、撮像条件を変えなくてもよいし、画像データを得るために被検体Ｐを撮像する際のＸ線の線量を減らしてもよい。

上記の各実施形態では、第１データ分布及び第２データ分布は、それぞれ画像データのデータ分布であるが、それ以外のデータのデータ分布でもよい。例えば、第１データ分布が、基準画像データと基準診療データのデータセットのデータ分布であり、第２データセットが、シミュレーション処理機能３３２に入力される対象画像データとこの対象画像データに対応する対象診療データのデータセットのデータ分布であってもよい。

（第４の実施形態）
次に、第４の実施形態について説明する。第４の実施形態の機械学習モデル評価システムは、第１の実施形態の機械学習モデル評価システム１と比較して、主に、算出機能３１６及び出力制御機能３１８における撮像条件（第２条件）の許容範囲の算出及び出力に関する処理が異なっている。

第４の実施形態の機械学習モデル評価システムにおいて、算出機能３１６は、診療データを利用する利用主体に応じた第２条件の許容範囲を決定する。具体的には、算出機能３１６は、利用主体が医師（ヒト）などの利用者（以下、医師等）である場合と、ＡＩなどのコンピュータである場合と、医師等またはコンピュータの双方である場合に対して、それぞれ第２条件の許容範囲を決定する。

出力制御機能３１８は、算出機能３１６により算出された利用主体ごとに決定された許容範囲をディスプレイ３０６に表示させる。以下、ディスプレイ３０６の表示例について説明する。図１８は、第４の実施形態におけるディスプレイ３０６に表示された撮像条件の許容範囲を表す画像の一例を示す図である。

出力制御機能３１８は、線量の許容範囲を示す画像として、第１許容範囲画像ＧＡ５０と、第２許容範囲画像ＧＡ５２と、第３許容範囲画像ＧＡ５４とをディスプレイ３０６に表示させる。第１許容範囲画像ＧＡ５０は、利用主体が医師等である場合の許容範囲を示す画像である。第２許容範囲画像ＧＡ５２は、利用主体が解析診療ＡＩアプリである場合の許容範囲を示す画像である。第３許容範囲画像ＧＡ５４は、利用主体が医師等または解析診療ＡＩアプリの双方である場合の許容範囲を示す画像である。

例えば、利用主体（医師等または解析診療ＡＩアプリ）が画像データを用いて診断を実行するにあたり、医師等が利用主体となって診断する際には、例えば画像データに基づく画像を見ながら診断を行う。一方、解析診療ＡＩアプリが利用主体となって診断する際には、画像を見ることなく、画像データに含まれる数値等に基づいて診断を行う。このように、利用主体によって、画像データを利用する領域などが異なることから、算出機能３１６は、利用主体によって第２条件の許容範囲を決定する。

第４の実施形態の機械学習モデル評価システム１は、上記の第１の実施形態の機械学習モデル評価システム１と同様の作用効果を奏する。さらに、第４の実施形態の機械学習モデル評価装置３００は、利用主体が複数ある場合、例えば、利用主体が医師等と解析診療ＡＩアプリの双方である場合には、算出機能３１６は、はそれらの複数の利用主体に対する第２条件の許容範囲が重なる範囲を許容範囲として決定する。このため、複数の利用主体のそれぞれに適した許容範囲を決定することができる。

（第５の実施形態）
次に、第５の実施形態について説明する。第５の実施形態の機械学習モデル評価システム１は、機械学習モデル評価装置３００において、複数、例えば２つの解析診療ＡＩアプリのそれぞれに含まれる機械学習モデル１０における撮像条件の許容範囲を重畳してディスプレイ３０６に表示させる。図１９は、第５の実施形態におけるディスプレイ３０６に表示された撮像条件の許容範囲をマップで示す画像の一例を示す図である。

ディスプレイ３０６には、第１許容範囲マップ画像ＧＡ１１及び第２許容範囲マップ画像ＧＡ１２が表示される。第１許容範囲マップ画像ＧＡ１１は、第１解析診療ＡＩアプリに含まれる機械学習モデル１０に対する撮像条件の許容範囲を示す画像である。第２許容範囲マップ画像ＧＡ１２は、第２解析診療ＡＩアプリに含まれる機械学習モデル１０に対する撮像条件の許容範囲を示す画像である。

第１解析診療ＡＩアプリは、線量の許容範囲が広く、造影剤量の許容範囲が狭いアプリである。第２解析診療ＡＩアプリは、線量の許容範囲が狭く、造影剤量の許容範囲が広いアプリである。第５の実施形態の機械学習モデル評価システム１では、２つの解析診療ＡＩアプリについて、撮像条件の許容範囲を解析診療アプリごとにディスプレイ３０６に表示させることができる。

第５の実施形態の機械学習モデル評価システム１は、上記の第１の実施形態の機械学習モデル評価システム１と同様の作用効果を奏する。さらに、第５の実施形態の機械学習モデル評価システム１は、複数の解析診療ＡＩアプリについての撮像条件の許容範囲を表示する。このため、被検体Ｐの属性や状態に応じた解析診療ＡＩアプリを利用することができる。第５の実施形態の機械学習モデル評価システム１は、複数の解析診療ＡＩアプリについての撮像条件の許容範囲を重畳して表示させる。このため、複数の解析診療ＡＩアプリの撮像条件を容易に比較することができる。

例えば、被検体Ｐが若い患者である場合には、造影剤の量が増えたとしても線量を増やさないようにするために、第１解析診療ＡＩアプリを利用することができる。被検体Ｐが腎臓を患う患者である場合には、造影剤の量を抑制するために第２解析診療ＡＩアプリを利用することができる。

上記の各実施形態では、機械学習モデル評価装置３００は、第２条件の機械学習モデル１０に対する適合度を算出するが、第２条件以外の機械学習モデル１０に対する適合度を算出してもよい。例えば、機械学習モデル評価装置３００は、機械学習モデル１０に入力される入力データの適合度を算出してもよいし、機械学習モデル１０に入力される入力データ及び機械学習モデル１０から出力される出力データのセットであるデータセットの適合度を算出してもよい。

上記の各実施形態では、第１条件を撮像条件としているが、第１条件は他の条件でもよい。例えば、第１条件は、画像データを画像処理する際の画像処理条件でもよい。画像処理条件としては、例えば、ノイズの低減、解像度変更、画像サイズ、明度、コントラスト、ＷＷ(Window Level）、ＷＬ(Window width)、エッジ協調、物体認識、物体強調、動き認識、動き協調、Segmentation、Registration、バイオマーカ画像などの条件が挙げられる。ノイズの低減は、例えば、平滑化を行ったりフィルタを用いたりすることにより行われる。ノイズには、例えば、加算数、ぼけ、平滑度、リサンプリング、Band Pass Filterによるものがある。解像度には、例えば、空間解像度、濃度解像度、時間解像度が含まれる。

また、撮像条件としては、各実施形態に示したもののほか、画質ＳＮ（Ｓ／Ｎ比）、フレームレート、視野（ＦＯＶ:Field of view）、絞り、ハレーション、撮像時の解像度、撮像方向、ＳＮ（ノイズ、コントラスト）、シェーディング、心拍数等であってもよい。線量には、例えば、管電圧、管電流、パルス幅、フィルタ、線質が含まれる。

上記の各実施形態では、Ｘ線ＣＴ装置１００により生成された画像データを医用データとして用いているが、医用データとして用いる画像データは、他の画像データでもよい。例えば、Ｘ線ＣＴ装置１００により生成された画像データをディスプレイ２０６に表示する際には、画像データに対して、患部を見やすくするために骨などの障害物を透過させたり、臓器を立体表示させたりするなどの画像処理を施すことがある。医用データとして用いる画像データは、このように患部を見やすくするなどのために画像処理を施した後の画像データであってもよい。

以上説明した少なくとも１つの実施形態によれば、医用データの入力に対する出力データを生成する機械学習モデルを取得する取得部と、準医用データが生成された第１条件とは異なる第２条件に基づいて生成された対象医用データを前記機械学習モデルに入力することで対象出力データを生成する処理部と、記基準医用データを前記機械学習モデルに入力することで生成される基準出力データと、前記対象出力データとの比較結果に基づいて、前記第２条件の前記機械学習モデルに対する適合度を算出する算出部と、を持つことにより、解析診療ＡＩアプリを十分に活用できるようにすることができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 機械学習モデル評価システム
１０ 機械学習モデル
１００ Ｘ線ＣＴ装置（医用画像撮像装置）
１１０ 架台装置
１１１ Ｘ線管
１１２ ウェッジ
１１３ コリメータ
１１４ Ｘ線高電圧装置
１１５ Ｘ線検出器
１１６ ＤＡＳ
１１７ 回転フレーム
１１８ 制御装置
１３０ 寝台装置
１３１ 基台
１３２ 寝台駆動装置
１３３ 天板
１３４ 支持フレーム
１４０ コンソール装置
１４１，２０８，３０８ メモリ
１４２，２０６．３０６ ディスプレイ
１４３，２０４，３０４ 入力インタフェース
１４４，２０２，３０２ 通信インタフェース
１５０，２１０，３１０ 処理回路
１５１ システム制御機能
１５２ 前処理機能
１５３ 再構成処理機能
１５４ 画像処理機能
１５５，３１８ 出力制御機能
２００ 診療装置
２０２ 通信インタフェース
２１２ データ取得機能
２１４ データ処理機能
２１６ 処理結果出力制御機能
３００ 機械学習モデル評価装置
３１２ 取得機能
３１４ 処理機能
３１６ 算出機能
３１８ 出力制御機能
３１９ 推定機能
３２２ 第１条件取得機能
３２４ 画像データ取得機能
３２６ 機械学習モデル取得機能
３２７ 第１取得機能
３２８ 第２取得機能
３３２ シミュレーション処理機能
３３４ 対象データ生成機能
３５０ 撮像条件データ付き画像データ
ＤＢ１１ 第１データ分布
ＤＢ２１ 対象データ分布
ＤＢ２２ 補正データ分布
ＧＡ１０ 許容範囲マップ画像
ＧＡ１１ 第１許容範囲マップ画像
ＧＡ１２ 第２許容範囲マップ画像
ＧＡ２０ 基準条件マップ画像
ＮＷ 通信ネットワーク
Ｐ 被検体

Claims (16)

1. 医用データの入力に対する出力データを生成する機械学習モデルを取得する取得部と、
   基準医用データが生成された第１条件とは異なる第２条件に基づいて生成された対象医用データを前記機械学習モデルに入力することで対象出力データを生成する処理部と、
   前記基準医用データを前記機械学習モデルに入力することで生成される基準出力データと、前記対象出力データとの比較結果に基づいて、前記第２条件の前記機械学習モデルに対する適合度を算出する算出部と、を備える、
   機械学習モデル評価装置。
2. 前記基準出力データは、前記基準医用データと対応付けられる前記機械学習モデルの正解データである、
   請求項１に記載の機械学習モデル評価装置。
3. 前記医用データは、医用画像データである、
   請求項１または２に記載の機械学習モデル評価装置。
4. 前記第１条件は、前記医用画像データを得るための撮像をする際の撮像条件または前記医用画像データを画像処理する際の画像処理条件のうち少なくともいずれか一方である、
   請求項３に記載の機械学習モデル評価装置。
5. 前記第１条件は、被検体の計測により取得された条件である、
   請求項１から４のうちいずれか１項に記載の機械学習モデル評価装置。
6. 前記処理部は、前記第１条件に基づいて前記第２条件を決定し、前記対象医用データとして、前記第２条件に基づくシミュレーションデータを生成するシミュレーション処理部、
   を更に備える、
   請求項１から５のうちいずれか１項に記載の機械学習モデル評価装置。
7. 前記対象医用データは、過去に被検体を計測することにより得られたデータを蓄積したデータを含む、
   請求項１から５のうちいずれか１項に記載の機械学習モデル評価装置。
8. 前記算出部は、前記適合度に基づいて、前記第２条件の許容範囲を決定する、
   請求項１から７のうちいずれか１項に記載の機械学習モデル評価装置。
9. 前記算出部は、前記出力データを利用する利用主体に応じた前記第２条件の許容範囲を決定する、
   請求項８に記載の機械学習モデル評価装置。
10. 前記適合度を示す情報を、表示部に表示させる出力制御部を更に備える、
    請求項１から９のうちいずれか１項に記載の機械学習モデル評価装置。
11. 前記算出部は、複数の前記機械学習モデルに対する前記第２条件の許容範囲を決定し、
    前記出力制御部は、複数の前記第２条件を重畳して表示部に表示させる、
    請求項１０に記載の機械学習モデル評価装置。
12. 前記算出部は、前記基準出力データと、前記対象出力データとの相違が規定範囲に収まる場合に、前記第２条件を許容範囲内と決定する、
    請求項８から１１のうちいずれか１項に記載の機械学習モデル評価装置。
13. 前記規定範囲は、前記機械学習モデルの種類によって異なる、
    請求項１２に記載の機械学習モデル評価装置。
14. 医用データの入力に対する出力データを生成する機械学習モデルを取得する機械学習モデル取得部と、
    前記機械学習モデルに入力する基準医用データの分布に関する第１データ分布を取得する第１取得部と、
    コホートにおける前記機械学習モデルに入力する対象医用データの分布に関する第２データ分布を取得する第２取得部と、
    前記第１データ分布及び前記第２データ分布との比較結果に基づいて、前記対象医用データの分布の前記機械学習モデルに対する適合度を算出する算出部と、を備える、
    機械学習モデル評価装置。
15. 機械学習モデル評価装置のコンピュータが、
    医用データの入力に対する出力データを生成する機械学習モデルを取得し、
    基準医用データが生成された第１条件とは異なる第２条件に基づいて生成された対象医用データを前記機械学習モデルに入力することで対象出力データを生成し、
    前記基準医用データを前記機械学習モデルに入力することで生成される基準出力データと、前記対象出力データとの比較結果に基づいて、前記第２条件の前記機械学習モデルに対する適合度を算出する、
    機械学習モデル評価方法。
16. 機械学習モデル評価装置のコンピュータに、
    医用データの入力に対する出力データを生成する機械学習モデルを取得させ、
    基準医用データが生成された第１条件とは異なる第２条件に基づいて生成された対象医用データを前記機械学習モデルに入力することで対象出力データを生成させ、
    前記基準医用データを前記機械学習モデルに入力することで生成される基準出力データと、前記対象出力データとの比較結果に基づいて、前記第２条件の前記機械学習モデルに対する適合度を算出させる、
    プログラム。

Images