JP2020027507A - 医用情報処理装置及び医用情報処理方法、プログラム - Google Patents

Abstract

【課題】医用情報処理装置において、学習の妥当性の検証結果に基づいてユーザーが学習結果の適用の可否を適切に判断できるようにする。【解決手段】医用情報処理装置であって、医用情報を取得する取得部と、医用情報を用いて医用情報処理装置内の機能に対し学習を行う学習部と、学習部による学習結果を評価するための、機能の実行による正解が既知の評価用データを保持する評価用データ保持部と、評価用データに基づいて、学習により取得された学習結果を評価する評価部と、学習部の学習結果を機能に適用するための指示を受け付ける受け付け部と、を備える。【選択図】図１

Description

本発明は、医用情報処理装置及びその医用情報処理方法、プログラムに関する。

医用情報処理装置において、機械学習を用いてユーザーの傾向や嗜好に沿った情報を提供する機能や、画像解析精度を向上させる機能等が提案されている。特許文献１には機械学習により画像認識精度を向上させ、対象物を検出する方法が記載されている。また、特許文献２にはニューラルネットワークを用いて、放射線画像の分割パターン、照射野、撮影体位、撮影部位を認識する方法が記載されている。

特開２０１７−１８５００７号公報 特開平０４−２６１６４９号公報

Conventional Neural Networkを用いた一般物体認識手法の解析 情報処理学会研究報告 Vol.2014-CVIM-192 No.14 （実施形態で参照される）

上記の様な機械学習を用いて性能が変更された場合に、ユーザーの臨床的要求である使用目的の達成に必要な性能を満たすか否かを検証する妥当性検証を行うこと、また、ユーザーがその妥当性について容易に判断するための構成については提案されていない。

本発明は、医用情報処理装置において、学習の妥当性の検証結果に基づいてユーザーが学習結果の適用の可否を適切に判断できるようにすることを目的とする。

本発明の一態様による医用情報処理装置は以下の構成を備える。すなわち、
医用情報処理装置であって、
医用情報を取得する取得手段と、
前記医用情報を用いて医用情報処理装置内の機能に対し学習を行う学習手段と、
前記学習手段による学習結果を評価するための、前記機能の実行による正解が既知の評価用データを保持する評価用データ保持手段と、
前記評価用データに基づいて、学習により取得された学習結果を評価する評価手段と、
前記学習手段の学習結果を前記機能に適用するための指示を受け付ける受け付け手段と、を備える。

本発明によれば、医用情報処理装置における学習の妥当性の検証結果に基づいてユーザーが学習結果の適用の可否を適切に判断できるようになる。

第１実施形態の医用情報処理装置の機能構成例を示す図。 第１実施形態の医用情報処理装置の処理手順を示すフローチャート。 第１実施形態による評価結果の表示例を示す図。 （ａ）は第１実施形態の評価部の機能構成例を示す図、（ｂ）は第１実施形態の評価部の処理手順を示すフローチャート。 照射野の正解と学習によって得られた結果の差異例を示す図。 （ａ）は第１実施形態の表示部における表示形態の一例を示す図、（ｂ）は第２実施形態の表示部における表示形態の一例を示す図。 （ａ）、（ｂ）は、表示形態の変形例を示す図。 （ａ）、（ｂ）は、表示形態の変形例を示す図。 （ａ）、（ｂ）は、表示形態の変形例を示す図。 表示形態の変形例を示す図。 第３実施形態の医用情報処理装置の機能構成例を示す図。 第３実施形態の表示部における表示形態の一例を示す図。 実施形態による医用情報システムのハードウエア構成例を示すブロック図。

以下、添付の図面を参照しながら本発明の実施形態を説明する。尚、実施形態では放射線画像に対する医用情報処理装置を説明するが、本発明はＣＴ装置、ＭＲＩ装置、超音波装置、眼底カメラ、ＯＣＴ、内視鏡等、他のモダリティを用いた医用情報処理装置にも適用可能である。また、複数種類のモダリティを用いた医用情報処理装置にも適用可能である。なお、以下の実施形態において、放射線という用語は、Ｘ線の他、例えば、α線、β線、γ線、粒子線、宇宙線などを含み得る。

＜第１実施形態＞
図１は、第１実施形態による医用情報処理装置の機能構成例を示すブロック図である。図１に示すように、第１実施形態における、医用情報処理装置１００は、医用情報を取得する医用情報取得部１１０と、取得された医用情報を用いて医用情報処理装置内の機能に対し学習を行う学習部１０３とを有する。また、医用情報処理装置１００は、学習部１０３による学習結果を評価するための、機能の実行による正解が既知の評価用データを保持する評価用データ保持部１０５を有する。また、医用情報処理装置は、評価用データに基づいて、学習部１０３が行った機械学習により取得された学習結果（学習状態）を評価する評価部１０４を有する。また、医用情報処理装置１００は、評価部１０４による評価の結果を表示器に表示させる表示制御部としての表示部１０６を有する。

また、医用情報処理装置１００は、評価部１０４による評価に基づいて、医用情報処理装置内の上記機能によって用いられるパラメータを更新するパラメータ更新部１０７を有する。さらに、医用情報処理装置１００は、学習結果の評価に基づいて、医用情報処理装置１００内の機能におけるパラメータ（機械学習による学習結果）を更新するか否かを判定する判定部１０８を有する。後述するように、表示部１０６は評価結果の表示とともに学習結果を適用するか否かを受け付けるユーザインターフェースを提供し、その操作に基づいて判定部１０８が学習結果を適用するか否かを判定する。すなわち、表示部１０６と判定部１０８は、学習部１０３の学習結果を機能に適用するための指示を受け付ける受け付け部として機能する。

医用情報取得部１１０において、撮影部１０１は、医用情報として用いられる医用画像を取得する。医用画像としては、例えば、放射線画像、ＣＴ画像、ＭＲＩ画像、超音波画像、眼底画像、ＯＣＴ画像、内視鏡画像などがあげられる。また、医用情報は、医用画像に付帯する情報（管電圧、撮影部位など）を含んでいてもよい。医用情報取得部１１０は、医用画像とその医用画像に付帯する情報（以下、付帯情報）を含む医用情報を取得し、データ保持部１０２に保持する。

医用情報処理装置１００は、医用画像を用いた画像認識、画像処理、診断支援などのいずれか１つの機能を含む。学習部１０３により医用情報処理装置１００が有する機能の学習が行われると、医用情報処理装置１００の機能（機能の質）が変化する。例えば、学習部１０３によって医用画像を用いた画像認識の学習をすれば画像認識の精度が変化し、学習部１０３によって画像処理の学習をすれば画像処理の精度が変化し、学習部１０３によって診断支援の学習をすれば診断支援の精度が変化する。

評価用データ保持部１０５は、医用情報処理装置１００の機能に応じた評価用データを保持する。評価用データは、例えば、対象データとしての医用画像と、それぞれの学習（画像認識、画像処理、診断支援など）に応じた正解データとを含む。すなわち、評価用データは、医用画像と、当該医用画像について既知となっている正解のデータで定義されている。例えば、医用画像を用いた画像認識の学習に関する評価用データは、対象データとしての医用画像と、正解データとしての領域情報（照射野、解剖学的領域、病変領域など）とを含む。また、例えば画像処理の学習に関する評価用データは、対象データとしての医用画像と正解データとしての画像処理条件（階調処理条件、ノイズ処理条件など）とを含む。また、例えば、診断支援の学習に関する評価用データは、対象データとしての医用画像と正解データとしての病変位置情報とを含む。

また、評価用データ保持部１０５は、撮影部位、撮影手技などの撮影形態に応じて、評価用データを保持してもよい。例えば、処理対象のデータとしての評価用データ保持部１０５は、胸部、腹部、頭部、四肢などの撮影部位ごとに区別して、評価用データを保持することができる。例えば、評価用データ保持部１０５は、撮影部位に応じて、評価用データである医用画像と画像処理条件（階調処理条件、ノイズ処理条件など）を保持することができる。また、例えば、評価用データ保持部１０５は、動画撮影、静止画撮影などの撮影手技ごとに区別して、評価用データを保持することができる。例えば、評価用データ保持部１０５は、撮影手技に応じて、評価用データである医用画像と画像処理条件（階調処理条件、ノイズ処理条件など）を保持することができる。

評価部１０４は、学習部１０３において学習した内容（医用情報処理装置内の機能）を解析し、学習した内容に関連する評価用データを評価用データ保持部１０５から読み込み、学習結果を評価する。評価部１０４は、学習部１０３による学習結果を用いて、システム内の機能により評価用データに含まれている処理対象のデータを処理し、その結果を当該評価用データに含まれている正解データと比較することにより、学習結果を評価する。例えば、医用画像を用いた画像認識の学習について評価する場合、評価部１０４は、医用画像を用いた画像認識の学習に関連する評価用データを評価用データ保持部１０５から読み込み、画像認識に関する学習結果を評価する。また、例えば、医用画像を用いた画像処理の学習について評価する場合、評価部１０４は、医用画像を用いた画像処理の学習に関連する評価用データを評価用データ保持部１０５から読み込み、画像処理に関する学習結果を評価する。また、例えば、医用画像を用いた診断支援の学習について評価する場合、評価部１０４は、診断支援の学習に関連する評価用データを評価用データ保持部１０５から読み込み、診断支援に関する学習結果を評価する。

なお、上記では、機能の種別（画像認識、画像処理、診断支援などの学習の種別）に応じて使用する評価用データを選択したがこれに限られるものではない。例えば、評価部１０４は、学習部１０３において学習した医用情報に基づく撮影形態に応じて、医用画像を取得した際の撮影形態に関連する評価用データを読み込み、学習結果を評価してもよい。撮影形態としては、例えば、上述したように胸部、腹部、頭部、四肢などの撮影部位があげられる。より、具体的には、胸部撮影した医用画像を用いた画像認識の学習について評価する場合、評価部１０４は、胸部撮影した医用画像から評価用データを読み込み、画像認識に関する学習結果を評価する。

表示部１０６は、学習結果に対する評価結果を表示器（例えば、図１３のディスプレイ１８）に表示させる表示制御を実行する。表示部１０６は、医用画像を表示することもできる。表示部１０６は、機械学習による学習結果（画像認識の精度、画像処理の制度、診断支援の精度など）が向上したのか、低下したのかを表示することができる。すなわち、評価部１０４による評価の結果を、学習部１０３の学習によって生じた変化をユーザーが把握できるように、表示器に表示させる。判定部１０８は、表示部１０６が評価結果を表示した後のユーザーからの指示に応じて、あるいは、学習結果に基づいて自動的に、医用情報処理装置内の機能におけるパラメータを更新すると判定する。つまり、判定部１０８は、学習部１０３における機械学習による学習結果をユーザー指示に応じてあるいは自動的に承認する。パラメータ更新部１０７は、判定部１０８によりパラメータを更新すると判定された場合に、医用情報処理装置内の機能によって用いられるパラメータを、学習結果を用いて更新する。こうして、パラメータ更新部１０７は、学習部１０３が行った機械学習の学習結果（画像認識の精度、画像処理の制度、診断支援の精度など）が向上した場合に、医用情報処理装置内の機能におけるパラメータを更新する。

ユーザーの指示に応じてパラメータを更新するか否かを判定する判定部１０８は、パラメータを更新することを承認するユーザー指示を受け付ける承認部と、パラメータを更新することを否認するユーザー指示を受け付ける否認部とから構成され得る。例えば、ユーザーは、表示部１０６に表示されている機械学習による学習結果と医用画像を見て、判定部１０８における承認部と否認部を操作することができる。これにより、ユーザーは、医用情報処理装置内の機能におけるパラメータを更新することを承認したり、否認したりすることができる。また、機械学習による学習結果が過去に比べて向上した場合、判定部１０８を用いて、医用情報処理装置内の機能におけるパラメータを更新すると自動で判定することもできる。判定部１０８で医用情報処理装置内の機能におけるパラメータを更新する判定された場合、パラメータ更新部１０７は、医用情報処理装置内の機能におけるパラメータを更新する。

図１３は、上述した各機能部を実現する医用情報処理装置１００のハードウエア構成例を示すブロック図である。

放射線撮影装置４１は、不図示の放射線発生部から照射された放射線を検出し、医用画像としての放射線画像を取得する。処理装置４２は、放射線撮影装置４１により取得された放射線画像に基づいて、画像認識、画像処理、診断支援などを行う。処理装置４２は、上述した医用情報処理装置内の機能を実行する。格納装置４３は、放射線撮影装置４１が取得した放射線画像とその付帯情報、及び、処理装置４２により処理された放射線画像を格納する。処理装置４２と格納装置４３はネットワーク３０に接続されている。なお、処理装置４２は独立した装置である必要はなく、例えば、処理装置４２は情報処理装置１０に含まれてもよいし、放射線撮影装置４１に含まれてもよい。

また、ネットワーク３０には情報処理装置１０が接続されている。情報処理装置１０において、ＣＰＵ１１は、ＲＯＭ１２またはＲＡＭ１３に格納されたプログラムを実行することにより、情報処理装置１０を制御する。ＲＯＭ１２は読み取り専用の不揮発性メモリであり、ＲＡＭ１３は随時読み書きが可能な揮発性メモリである。ネットワークＩ／Ｆ１４は、情報処理装置１０とネットワーク３０とを接続する。入出力Ｉ／Ｆ１５は、ディスプレイ１８と、キーボード、ポインティングデバイスなどの操作装置１９とを情報処理装置１０に接続する。二次記憶装置１６は、ハードディスクなどで構成され、各種データ、プログラムを記憶する。バス１７は、上述した各部を、通信可能に接続する。

以上の構成において、例えば、撮影部１０１は、放射線撮影装置４１と処理装置４２により実現され得る。また、学習部１０３、評価部１０４、表示部１０６、パラメータ更新部１０７は、情報処理装置１０においてＣＰＵ１１がＲＯＭ１２またはＲＡＭ１３に格納された所定のプログラムを実行することにより実現され得る。また、処理装置４２が格納装置４３を用いてデータ保持部１０２を実現してもよいし、情報処理装置１０が格納装置４３を用いて評価用データ保持部１０５を実現してもよい。

以下では、以上の様な構成を備える第１実施形態の医用情報処理装置１００に、放射線画像における照射野認識の機能の精度向上を行うための機械学習を適用した例を説明する。撮影部１０１は、被写体を透過した放射線を検出し、放射線画像を生成する機能（放射線撮影装置４１）と、撮影した放射線画像から照射野領域を特定する照射野認識の機能（処理装置４２）を有している。

医用情報処理装置１００による処理について図２を参照して説明する。図２は、第１実施形態による医用情報処理装置１００の処理を説明するフローチャートである。ステップＳ２０１において、撮影部１０１は、放射線を用いた撮影により放射線画像を取得し、また、その放射線画像における照射野を示す照射野情報を取得する。照射野情報とは、放射線画像中の放射線が照射された領域に関する情報である。照射野情報は、例えば、放射線画像の各座標に対して、照射野を０、照射野外を１としたデータである。照射野は、放射線が撮影部１０１に到達した領域であり、照射野外は、放射線が撮影部１０１に到達しなかった、照射野を除く領域である。図５（ａ）に照射野情報の例を示す。照射野情報はユーザーが領域を指定する、もしくは医用情報処理装置１００の照射野認識機能（処理装置４２）で得られた照射野情報をユーザーが確認し、必要に応じて照射野領域を修正することで得られる。照射野認識機能には、機械学習アルゴリズムの学習結果を用いたアルゴリズムが用いられる。

ステップＳ２０２において、データ保持部１０２は、ステップＳ２０１で取得された放射線画像および照射野情報を医用情報として保持する。言い換えれば、データ保持部１０２は、撮影部１０１で撮影された放射線画像と、当該放射線画像において放射線が照射された領域に関する情報（照射野情報）を保持する。

ステップＳ２０３において、学習部１０３はデータ保持部１０２内の放射線画像および照射野情報を用いて照射野領域認識機能に関する機械学習を行い、学習結果を得る。本実施形態の機械学習には、例えば非特許文献１に記載されたConvolution Neural Network（以下、ＣＮＮ）を用いることができる。なお、ＣＮＮは一例であり、これに限られるものではない。例えば、学習部１０３は、Recurrent Neural Network、Long Short-Term Memory等の深層学習、Support vector Machine、AdaBoost等の機械学習を用いることができる。また、本実施形態での学習結果はＣＮＮの各層における重み等のパラメータとするが学習結果はこれに限られるものではない。例えば、レイヤ構成などが学習結果として得られるようにしてもよい。

ステップＳ２０４にて、評価部１０４は評価用データ保持部１０５に保持されている評価用データを用いて、学習部１０３により出力された学習結果を評価し、評価結果を取得する。本実施形態においては、評価用データは予め用意された放射線画像とその照射野情報（正解データ）である。なお、評価部１０４における評価方法の詳細は後述する。ステップＳ２０５にて、表示部１０６は、評価部１０４により取得された評価結果を表示器に表示する。図３に、表示部１０６による評価結果の表示例を示す。図３では、照射野領域機能による照射野の認識精度が８０％から９０％に向上したことを示している。つまり、表示部１０６は、機械学習による学習結果（照射野領域の認識精度）が向上したのか、低下したのかを表示することができる。

ステップＳ２０６にて、判定部１０８は、ユーザーが評価結果を確認して妥当性があると判断したことを検出した場合、パラメータ更新部１０７にて撮影部１０１内の照射野認識機能におけるパラメータ（機械学習による学習結果）を更新すると判定する。その場合、処理はステップＳ２０７に移行する。他方、ユーザーが評価結果を確認して妥当性がないと判断したことを検出した場合、判定部１０８は、パラメータ更新部１０７にて撮影部１０１内の照射野認識機能におけるパラメータを更新しないと判定する。その場合、処理はステップＳ２０８に移行する。なお、評価部１０４による評価結果に基づいて判定部１０８が自動的にパラメータの更新の可否を判定してもよい。例えば、学習により認識精度が向上した場合に、判定部１０８が自動的に更新を可とするようにしてもよい。また、認識精度が所定の閾値に達しない場合、認識精度の向上率が所定の率に達しない場合、または認識精度が低下した場合などで、判定部１０８はユーザーの判断を受け付けるようにし、他の場合に自動的にパラメータの更新を許可するようにしてもよい。

ステップＳ２０７において、パラメータ更新部１０７は、医用情報処理装置内の機能（撮影部１０１内の照射野認識機能）におけるパラメータを更新する。このように、パラメータ更新部１０７は、機械学習による学習結果（照射野領域の認識精度）が向上した場合、医用情報処理装置内の機能（撮影部１０１内の照射野認識機能）におけるパラメータが更新されることになる。他方、ステップＳ２０８では、パラメータ更新部１０７は、医用情報処理装置内の機能（撮影部１０１内の照射野認識機能）におけるパラメータを更新しない。このように、パラメータ更新部１０７は、機械学習による学習結果（照射野領域の認識精度）が低下した場合、医用情報処理装置内の機能（撮影部１０１内の照射野認識機能）におけるパラメータが更新されないことになる。

以上のようにステップＳ２０１からＳ２０８の処理を行うことによって機械学習の妥当性検証と医用情報処理装置内の機能におけるパラメータの更新要否の判定が可能となる。また、機械学習によって医用情報処理装置内の機能が変化し得る状況において、変化後の評価結果をユーザーに提示することにより、妥当性があるか否かをユーザーが判断する際の指標として用いることができる。臨床的要求である使用目的の達成に必要な性能を満たすか否かを検証することが可能となる。

次に、第１実施形態の評価部１０４における評価処理について図４を用いて詳細に説明する。第１実施形態では、学習結果の妥当性の評価を、複数組の画像データ（放射線画像）とその照射野情報を含む評価用データを用いて行う。

図４（ａ）は、第１実施形態による評価部１０４の機能構成例を示すブロック図である。評価部１０４において、評価用データ入力部４０１は、評価用データ保持部１０５から評価用データを入力する。学習結果入力部４０２は、学習部１０３から学習結果である学習済みパラメータを入力する。比較部４０３は、評価用データにおける正解データと、学習済みパラメータを用いて評価用データにおける医用画像を処理した結果を比較する。算出部４０４は、評価用データにおける正解データと学習結果における学習データの一致率を算出する。出力部４０５は、算出部４０４における算出結果を出力する。

次に図４（ｂ）を参照して、上記構成を有する評価部１０４が実行する処理の流れを詳細に説明する。ステップＳ４２１において、評価用データ入力部４０１は、評価用データ保持部１０５から評価用データを入力する。上述の通り本実施形態では評価用データは、対象データとしての画像データ（医用画像）および正解データとしての照射野情報（以下、正解照射野）を含む。ステップＳ４２２において、学習結果入力部４０２は学習部１０３の学習結果である学習済みパラメータを入力する。上述の通り本実施形態ではパラメータはＣＮＮにおける各層の重み係数である。ステップＳ４２３において、処理装置４２は学習済みパラメータに基づいて、評価用データに含まれる画像データに対して画像認識を行う。本実施形態では処理結果は照射野情報（以下、学習照射野）である。ステップＳ４２４において、比較部４０３は正解照射野と学習照射野を比較し一致率を算出する。

比較部４０３における照射野の比較例を図５に示す。図５（ａ）は正解照射野５０１の例を、図５（ｂ）は学習照射野５０２の例を、図５（ｃ）は比較照射野５０３の例をそれぞれ示している。正解照射野５０１と学習照射野５０２において"１"となっている画素は照射野外であり、"０"となっている画素は照射野内である。また、比較照射野５０３において、"０"は正解照射野と学習照射野が一致した画素、"１"は正解照射野と学習照射野が不一致であった画素である。図５の例では全８０画素中７６画素が一致しており、この場合の一致率は７６／８０×１００＝９５％となる。

ステップＳ４２５において、算出部４０４は比較した全ての比較結果から結果を算出する。本実施形態では一致率に閾値を設け、一致率が９５％以上を正解、９５％未満を不正解として全比較結果の認識精度を算出する。例えば、１００例中９０例が９５％以上の一致率であった場合、認識精度は９０／１００×１００＝９０％となる。ステップＳ４２６において、出力部４０５は、算出部４０４で算出した結果を表示部１０６に出力する。以上、ステップＳ４２１からＳ４２６の処理を行うことによって機械学習によって更新された学習結果の妥当性確認をユーザーが容易に行うことが可能となる。

次に、図６（ａ）に従い表示部１０６およびパラメータ更新部１０７における評価表示方法、妥当性確認方法、パラメータ更新方法の詳細を述べる。表示部１０６は、評価部１０４により得られた、学習部１０３による学習の前後の評価結果を表示することにより、ユーザーに学習結果を反映するか否かの判断を行うための参考を提供する。

図６（ａ）は表示部１０６による評価結果の表示例を示した図である。６０１は機械学習前の評価結果、６０２は機械学習後の評価結果を示す。６０３は医用情報処理装置内の機能におけるパラメータ（機械学習の学習結果）を更新することを承認する承認部（承認アイコン）である。６０４は医用情報処理装置内の機能におけるパラメータを更新することを否認する否認部（否認アイコン）である。表示部１０６に判定部１０８における承認部６０３と否認部６０４が組み込まれている形態である。承認部６０３と否認部６０４は、学習部１０３の学習結果を医用情報処理装置内の対応する機能に適用するためのユーザー指示を受け付けるための構成の一例である。なお、第１実施形態では評価結果６０１，６０２において、正解と判定された評価データの割合を示すようにしたが、不正解と判定された評価データの割合を示してもよい。

表示部１０６は機械学習前の評価結果６０１および機械学習後の評価結果６０２を表示する。本例では機械学習前の結果が８０％、機械学習後の結果が９０％である。ユーザーは機械学習前後の評価結果を確認し、承認部６０３もしくは否認部６０４を押下して、承認もしくは否認を選択する。承認部６０３が押下された場合、判定部１０８はユーザーが学習結果を承認したと判断し、パラメータ更新部１０７に学習結果を撮影部１０１に反映させる。他方、否認部６０４が押下された場合、判定部１０８はユーザーが学習結果を否認したと判断し、パラメータ更新部１０７による撮影部１０１への学習結果の反映を実行させない。

上記のように、評価結果を表示し、ユーザーが評価結果を確認して判定を行うことにより、機械学習の性能を保障することが可能となる。

なお、本実施形態では学習後の評価結果が学習後の評価結果よりも高い例を示したが、実際には低くなるケースも考えられる。例えば、施設内で取得されたデータを用いて機械学習を進めた場合は、施設内で最適化された状態となることが想定されるため、予め用意された評価用データでの評価では低くなることが考えられる。一方、過学習や誤った学習データを用いたことによって性能が低下した場合が考えられる。このような場合においても、例えばユーザー側が評価用データの評価はある基準よりも低くなければ妥当性があると判断することが可能である。このように、評価用データを表維持し、それを承認するか否認するかの機能を持たせることによって、ユーザーが妥当性検証を容易に行うことが可能となる。

尚、第１実施形態では照射野認識機能を例として説明したが、本発明は関心領域または撮影部位を認識する機能、腫瘤の位置および／または悪性度等の診断支援情報を提供する機能等、機械学習システムを用いたあらゆる医用情報処理装置に適用可能である。また、本実施形態では、画像データと照射野情報の組み合わせを学習用データ、評価用データとしたがこれに限られるものではない。例えば、画像データ、診断情報、遺伝子情報、複数のモダリティの検査情報、性別、年齢、身長などのいずれかをデータとして用いる、いかなる機械学習システムにも適用可能である。

また、本実施形態では医用情報処理装置で得られたデータを用いて機械学習を行うことを説明したが、本発明は機械学習を行うデータがいかなるシステムで得られたデータであっても適用可能である。例えば、パブリックデータセットと呼ばれるインターネットで公開されている機械学習用データセットを用いた医用情報処理装置にも適用可能である。また、本実施形態では医用情報処理装置１００のすべての構成が同一の施設内になくてもよい。例えば、撮影部１０１および妥当性評価結果を表示する表示部１０６は病院内、それ以外の構成はクラウド上にあるというような医用情報処理装置であってもよい。

［変形例１−１］
第１実施形態では機械学習による機能として照射野認識機能等の領域判別や診断支援情報の提供等、画像解析に関する機能について説明したが、本変形例では画質の嗜好についての適用例について説明する。

放射線画像等の診断用画像においても読影を行う医師、診療科、施設毎に画質の嗜好が異なり、例えばコントラスト、輝度、鮮鋭度、ノイズ量に対する嗜好は様々である。本変形例では機械学習において、画質向上用のパラメータを自動的に設定する方法を想定している。撮影した画像とユーザーが最適画質に調整した画像を学習用データとして入力することによって学習結果を得て、画質向上用のパラメータを自動設定する。このようにすることで様々な撮影条件、被写体においても、嗜好に応じた画像を作成することを想定する。この場合において、評価は学習データとは別に評価用データとして撮影された画像とそれを最適画質に調整した画像を用いる。

この場合、学習結果で得られた画像調整用パラメータを適用した画像と、評価用データで撮影された画像の比較を行うことによって評価を行う。画像比較は、差の二乗やヒストグラムの最大値／最小値/最頻値の差分、指定領域の標準偏差の差分等を用いることによって比較することが可能である。評価結果６０１，６０２には、例えば、上記評価で算出された差分値を表示する。このように変形例１−１によれば、画像解析を用いた機能だけでなく、画質の嗜好に合わせるといった機能においても妥当性検証を行うことが可能となる。

以上のように、第１実施形態とその変形例１−１によれば、対象データと正解データを含む評価データを用いて評価が行われる。すなわち、学習前後の機能による対象データの処理結果と正解データとの比較により正解と判定された評価用データの割合、または不正解と判定された評価用データの割合が、学習前後の評価結果として表示される。ユーザーは、この評価結果を見て、承認部６０３または否認部６０４を操作することにより、学習結果の繁栄の可否を指示することができる。

＜第２実施形態＞
第２実施形態では、ユーザーが妥当性検証を効率的に行うための失敗例の表示について述べる。なお、機能構成、処理フロー、ハードウエア構成は第１実施形態（図１、図２、図１３）と同様である。第２実施形態と第１実施形態とでは、主として表示部１０６による評価結果の表示形態が異なっている。第１実施形態と同様に、評価部１０４は、評価用データに含まれる対象データを学習後の機能により処理して得られた処理結果と、評価用データに含まれる正解データとの誤差を取得し、該誤差に基づいて処理結果が不正解か否かを判定する。第２実施形態の表示部１０６は、評価部１０４により不正解と判定された処理結果を、対応する評価用データの対象データと正解データとともに表示器（ディスプレイ１８に表示する。以下、対象データが医用画像、正解データが照射野情報、学習対象の機能が照射野認識である場合の具体例により説明する。

図６（ｂ）は第２実施形態における評価結果の表示例を示した図である。表示部１０６は、第１実施形態（図６（ａ））と同様に、機械学習前の評価結果６０１、機械学習後の評価結果６０２、承認部６０３、否認部６０４を表示する。図示の例では、機械学習前の評価結果６０１（正解率）が８０％、機械学習後の評価結果６０２（正解率）が９０％である。ユーザーは機械学習前後の評価結果を確認し、承認部６０３もしくは否認部６０４を押下して、承認もしくは否認を選択する。ここでは、機械学習後における正解率は９０％であるため、残りの１０％は不正解となっている。

第２実施形態では、表示部１０６は、さらに評価部１０４における学習結果の評価において不正解となった対象の医用画像とその原因を表示する。具体的には、表示部１０６は、不正解となった評価用データの対象データである医用画像６０５、６０６と、当該評価用データの正解データ（６０７）と、学習部１０３による学習後の機能による処理結果（６０８）を表示する。また、表示部１０６は、不正解と判定された処理結果に関する誤差を示す誤差情報６０９を表示する
ユーザーは、表示部１０６に表示された誤差情報６０９を確認することにより、学習部１０３の学習結果と正解データとの誤差を認識することができる。上述した照射野認識の例では、評価部１０４は、正解照射野と学習照射野を比較し、一致率を算出する。評価部１０４は、算出された一致率から誤差（数値）を算出する。例えば、一致率が８０％であれば、誤差が２０％となり、一致率が７０％であれば、誤差が３０％となる。表示部１０６は、当該誤差を示す情報を誤差情報６０９として表示する。ユーザーは、誤差情報６０９から学習部１０３の学習結果と正解データとの誤差を認識することができる。誤差情報６０９に示される誤差が大きければ、不正解となった医用画像６０６を確認して、誤差状態を認識することができる。

さらに、医用画像６０６において、正解照射野の境界６０７、学習後の機能を用いた処理結果である照射野の境界６０８を示している。医用画像６０６に表示されている正解照射野の境界６０７と処理結果による照射野の境界６０８から、ユーザーは評価用データの正解データと学習後の機能を用いた処理結果との誤差の状態を認識することができる。つまり、ユーザーは、医用画像６０６における正解照射野の境界６０７と学習後の機能を用いた処理結果による照射野の境界６０８とから、どの境界がどのくらいずれているのかを医用画像６０６から認識することができる。

なお、ユーザーによる誤差の範囲の設定を受け付ける設定部（不図示）を設けてもよい。設定された誤差は、表示部１０６に表示される医用画像の表示対象を絞り込むために用いられる。すなわち、表示部１０６は、評価部１０４により取得された誤差が、ユーザーにより設定された範囲となる処理結果を表示の対象とする。例えば、医用画像の表示対象を絞り込むための誤差を所定の範囲（例えば、３０％〜１０％以上）で設定することができる。医用画像の表示対象を絞り込むための誤差の範囲を２０％に設定すると、処理結果について算出された誤差が２０％以上の医用画像が表示部１０６に表示される。同様に、医用画像の表示対象を絞り込むための誤差が３０％に設定されると、誤差が３０％以上の医用画像が表示部１０６に表示される。図６（ｂ）に示す例では、医用画像の表示対象を絞り込むための誤差を２０％以上としており、誤差が２０％の医用画像６０６と誤差が３０％の医用画像６０５が表示部１０６に表示されている。

また、表示部１０６は、不正解となった複数の医用画像に対して誤差が大きい順に処理結果を表示するようにしてもよい。図６（ｂ）に示すように、誤差が３０％の処理結果（医用画像６０６）と誤差が２０％の処理結果（医用画像６０５）が左上から順に表示されることになる。このような表示形態によれば、ユーザーは、誤差が大きい医用画像とその原因を早急に認識することができる。また、表示部１０６は、評価部１０４により不正解と判定された処理結果の数（不正解数）を表示するようにしてもよい。このような表示形態によれば、不正解となった医用画像の数が多い場合に、ユーザーは表示部１０６に表示されていない不正解となった医用画像の数を認識することもできる。

また、上述のように、表示部１０６は、機械学習前の評価結果６０１、機械学習後の評価結果６０２とともに、誤差情報６０９を表示する。よって、誤差情報６０９に示される誤差がわずかであれば、機械学習後の評価結果６０２（正解率）が低くても、ユーザーは、学習部１０３における機械学習による学習結果を承認し、医用情報処理装置内の機能におけるパラメータを更新することができる。

このように、失敗例を表示することにより、ユーザーはどのようなケースで失敗が起きたのかを確認することができ、妥当性検証のための判断材料となる。例えば、学習後の評価結果は基準を超えているが、臨床上許容できない失敗例が存在していた場合に、ユーザーは妥当性がないとして否認することが可能である。一方、学習後の評価結果は基準を超えていないが、臨床上許容できない失敗例は存在していなかった場合は、ユーザーは妥当性があるとして承認することが可能である。このように、臨床上必要な性能のあるなしを評価値のみでは判断できないケースに対しても、失敗例を表示することによってユーザーは妥当性検証が可能となる。

また、本実施形態では失敗例のみを表示することによって、全例を確認しなくても妥当性を確認可能な例を示したが、本発明は失敗例のみではなく、正解例も表示することが可能なシステムにも適用可能である。このように正解例を表示することにより、評価値上正解と判断されたが、臨床上は失敗と判断しなくてはならないケースが存在した場合、ユーザーは妥当性がないとして否認することが可能である。また、評価データが非常に多く、失敗例を全て表示することが困難な場合、表示部１０６がそれら失敗例のうちの代表例をピックアップして表示するようにしてもよい。代表例のピックアップの方法としては、例えば、誤差の大きい順に所定数の失敗例をピックアップすることがあげられる。

なお、第２実施形態では、評価データの医用画像に、正解データと処理結果を重畳したが、失敗例の表示形態はこれに限られるものではない。例えば、変形例１−１で説明したような画質の嗜好に関する機能について学習を行った場合、正解データは画像処理条件となる。この場合は、学習された画像処理条件により医用画像を処理してえられた画像を処理結果とし、正解データの画像処理条件により医用画像を処理して得られた結果を正解データの画像として表示すればよい。このことは、以下の変形例においても適用される。

［変形例２−１］
第２実施形態では失敗例を表示する例を示したが、変形例２−１では部位毎に失敗例を表示する表示例を示す。すなわち、変形例２−１において、表示部１０６は、評価部１０４により不正解と判定された処理結果を部位ごとに表示する。以下、詳細に説明する。変形例１における表示部１０６の表示例を図７（ａ）に示す。表示部１０６は、評価部１０４における学習結果の評価において不正解となった対象の医用画像とその原因を部位毎に表示する。具体的には、表示部１０６は、不正解となった医用画像と、評価用データ保持部１０５に保持された評価用データの正解データと学習部１０３の学習結果との誤差を示す誤差情報を部位毎に表示する。

表示部１０６には、部位を選択する部位選択部（部位選択タグ）７００が表示されている。本例では、部位選択部７００によって、「四肢」、「胸部」、「腹部」、「全て」のいずれかを選択することができる。部位選択部７００をユーザーが操作して、部位を指示することによって部位毎の失敗例が表示される。例えば、部位選択部７００を用いて、ユーザーが「四肢」を選択した場合、学習結果の評価において不正解となった四肢の医用画像とその原因が表示される。部位選択部７００を用いて、ユーザーが「胸部」を選択した場合は、学習結果の評価において不正解となった胸部の医用画像とその原因が表示される。

このように対象部位毎に失敗例を表示することによって、ユーザーが特に重要であると考える部位毎に確認が可能であるため、効率的に妥当性検証が可能である。例えば、撮影する部位が胸部のみであるような施設においては、変形例２−１を用いることにより胸部のみの結果を確認することが可能である。

尚、変形例２−１では、機械学習前の評価結果６０１、機械学習後の評価結果６０２、承認部６０３、否認部６０４は第２実施形態と同様の動作をするものとしているが、それぞれが部位選択部７００と連動しても良い。例えば、部位選択部７００を用いて胸部が選択された場合は、胸部の評価データを用いた評価結果が表示され、承認部６０３が選択された場合には、胸部撮影時における対象機能の学習結果が反映されるようにしても良い。このように連動することによって、例えば胸部撮影に対する性能は向上しユーザーは妥当性があると判断したが、その他の撮影に対しては妥当性が無いと判断した場合等に胸部のみに対して性能を向上させることが可能となる。また、第２実施形態で述べた失敗例のピックアップにおいても、部位毎に失敗例をピックアップすることで、ユーザーは、部位に偏りなく失敗例を確認することが可能となる。

［変形例２−２］
変形例２−２では、表示部１０６は、評価部１０４により不正解と判定された処理結果を、学習した機能の種類ごとに表示する。以下、詳細に説明する。

図７（ｂ）に示すように、複数の学習機能に対する評価結果を表示するため、学習機能を選択する機能選択を設けることも可能である。この場合、表示部１０６は、評価部１０４における学習結果の評価において不正解となった対象の医用画像とその原因を学習機能毎に表示する。具体的には、表示部１０６は、不正解となった医用画像と、評価用データ保持部１０５に保持された評価用データの正解データと学習部１０３の学習結果との誤差を示す誤差情報と、を学習機能毎に表示する。

評価用データは、照射野認識、部位解析、腫瘤検出などの学習機能ごとに評価用データ保持部１０５に保持されている。評価部１０４は、学習部１０３で学習された学習結果と評価用データ保持部１０５に保持された評価用データの対応付けを行う。学習結果には、学習部１０３で学習された学習機能の情報が含まれる。例えば、照射野認識の学習結果の場合、評価用データ保持部１０５から照射野認識の評価用データが抽出され、照射野認識の学習結果に対応付けられる。部位解析の学習結果の場合、評価用データ保持部１０５から部位解析の評価用データが抽出され、部位解析の学習結果に対応付けられる。腫瘤抽出の学習結果の場合、評価用データ保持部１０５から腫瘤抽出の評価用データが抽出され、腫瘤抽出の学習結果に対応付けられる。

評価部１０４は、学習内容に応じて対応付けられた評価用データを用いて学習結果を評価して、不正解となった対象の医用画像とその原因を抽出する。表示部１０６は、評価部１０４における学習結果の評価において不正解となった対象の医用画像とその原因を、照射野認識、部位解析、腫瘤抽出毎に表示することができる。

表示部１０６には、機能を選択する機能選択部（機能選択タグ）７０１が表示されている。図示の例では、機能選択部７０１によって、「照射野認識」、「部位解析」、「腫瘤検出」、「全て」のいずれかを選択することができる。機能選択部７０１をユーザーが操作して、学習機能を指示することによって学習機能毎の失敗例が表示される。例えば、機能選択部７０１を用いて、ユーザーが照射野認識を選択した場合、学習結果の評価において不正解となった照射野認識の医用画像とその原因が表示される。このようにすることによって、複数の学習機能に対するそれぞれの評価結果をユーザーが効率よく確認し、妥当性検証を行うことが可能となる。

［変形例２−３］
変形例２−３において、表示部１０６は、評価部１０４により不正解と判定された処理結果を、撮影装置の種類（モダリティ）ごとに表示する。

図８（ａ）は、複数の撮影装置の種類毎（モダリティ毎）に評価結果を表示することが可能な、表示部１０６の表示例を示す。表示部１０６は、評価部１０４における学習結果の評価において不正解となった対象の医用画像とその原因を撮影装置の種類毎に表示する。具体的には、表示部１０６は、不正解となった医用画像と、評価用データ保持部１０５に保持された評価用データの正解データと学習部１０３の学習結果との誤差を示す誤差情報を撮影装置の種類毎に表示する。

表示部１０６には、撮影装置の種類を選択する撮影装置選択部（撮影装置選択タグ）８０２が表示されている。ここでは、撮影装置選択部８０２によって、「ＤＲ（Ｘ線デジタル撮影）」、「ＣＲ（コンピュータＸ線撮影）」、「ＣＴ（コンピュータ断層撮影）」、「ＭＲＩ（磁気共鳴コンピュータ断層撮影）」を選択することができる。撮影装置選択部８０２をユーザーが操作して、撮影装置を指示することによって撮影装置毎の失敗例が表示される。例えば、撮影装置選択部８０２を用いて、ユーザーがＤＲを選択した場合、学習結果の評価において不正解となったＤＲの医用画像とその原因が表示される。ここでは、表示部には、放射線画像８０３、８０６が表示される。例えば、放射線画像８０３には、画像認識における誤検知（正常部位を異常と判定したもの）による誤差を示す情報８０４が表示されている。一方、放射線画像８０６においては、画像認識における見落とし部分（異常として検知されるべき部位（正解））を示す情報８０５を表示している。

このように複数の撮影装置の種類に対するそれぞれの評価結果をユーザーが効率よく確認し、妥当性検証を行うことが可能となる。

［変形例２−４］
変形例２−４の表示部１０６は、評価部１０４により不正解と判定された処理結果を不正解のカテゴリーごとに表示する。図８（ｂ）は、変形例２−４による表示部１０６による表示の一例を示す図であり、不正解のカテゴリーごとの照射野解析の評価結果の表示例を示す。

表示部１０６は、評価部１０４における学習結果の評価において不正解となった対象の医用画像とその原因をカテゴリー毎に表示する。具体的には、表示部１０６は、不正解となった医用画像と、評価用データ保持部１０５に保持された評価用データの正解データと学習部１０３の学習結果との誤差を示す誤差情報を、失敗のカテゴリー毎に表示する。表示部１０６には、失敗のカテゴリーを選択するカテゴリー選択部（カテゴリー選択タグ）８１１が表示されている。

本例では、ユーザーは、照射野領域の検出機能の学習結果について、「内側失敗」、「外側失敗」、「両方失敗」、「全て」のうちのいずれかをカテゴリー選択部８１１によって選択することができる。カテゴリー選択部８１１をユーザーが操作して、カテゴリーを指示することによってカテゴリー毎の失敗例が表示される。「内側失敗」とは、正解の照射野領域よりも内側に照射野領域の境界を検出してしまった場合である。「外側領域」とは、正解の照射野領域よりも外側に照射野領域の境界を検出してしまった場合である。「両方失敗」とは、正解の照射領域よりも外側に境界を検出した部分と、内側に検出した部分が存在する場合である。「全て」は、内側失敗、外側失敗、両方失敗の全てのケースである。

図８（ｂ）では、ユーザーが、カテゴリー選択部８１１から「内側失敗」を選択した場合の表示例が示されている。照射野領域の検出に関して、外側に失敗することよりも内側に失敗することの方がより臨床的性能に関わる影響度が高いとユーザーが考えている場合に、内側のみの失敗例を先に確認する等を行って妥当性検証を行うことが可能となる。

また、変形例２−４の表示部１０６は、評価部１０４により不正解と判定された処理結果のうち、選択された処理結果の判定を正解に変更する変更部（不図示）を有する。図８（ｂ）では、変更部の例として、失敗画像の下の欄に評価変更設定部８１２が設けられている。評価変更設定部８１２は評価結果をユーザーが変更することが可能である。例えば数値上は失敗とみなされたケースにおいても、臨床的な性能には影響がない場合に、ユーザーはその評価を変更することが可能となる。

以上のように、失敗カテゴリー毎に失敗例を表示することによって、効率的に妥当性検証を行うことが可能となる。また、第２実施形態で述べた失敗例のピックアップにおいても、本失敗カテゴリー毎にピックアップすることで失敗カテゴリーに偏りなく確認することが可能となる。

なお、変形例２−４では照射野認識についての評価結果表示例について述べたが、他の機能の評価結果表示にも適用可能であることは言うまでもない。例えば、腫瘤の検出においては偽陽性であるのか、偽陰性であるのか等のカテゴリー分類が考えられる。また、画質嗜好に対する機能であれば、コントラストの差が大きいのか、ノイズの差が大きいのか等のカテゴリー分類が考えられる。

［変形例２−５］
変形例２−５において、評価部１０４は、評価用データに含まれる対象データを学習後の機能により処理して得られた処理結果と、評価用データに含まれる正解データとの誤差を取得し、該誤差に基づいて処理結果が正解か不正解かを判定する。表示部１０６は、評価部１０４による、学習前後における評価（判定）の変化の態様ごとに処理結果を対応する評価用データの正解データとともに表示器に表示する。

図９（ａ）に示すように、学習前と学習後で変化のあったケースを表示することが可能である。表示部１０６は、学習前と学習後で変化があったケースを医用画像とともに表示する。具体的には、表示部１０６は、学習後が悪化したケース、学習後が良化したケース、学習前と学習後が両方失敗したケース、他の変化例を医用画像とともに表示する。表示部１０６には、学習前と学習後で変化があったケースを選択する変化形態選択部（変化形態選択タグ）９００が表示されている。変化形態選択部９００により、「悪化例」、「良化例」、「両方失敗例」、「変化例」のいずれかをユーザーは選択することができる。「悪化例」は、学習前では正解となっていたものが学習後に不正解になったケースである。「良化例」は、学習前では不正解となっていたものが学習後に正解になったケースである。「両方失敗例」は、学習前で不正解となっていたものが学習後も不正解になったケースである。「悪化／良化例」は、悪化例と良化例を合わせたもの（学習により正解から不正解に変化したものと不正解から正解に変化したもの）である。

図９（ａ）では、悪化例が選択されている様子を示している。表示部１０６は、学習前の医用画像９０１と誤差情報９０２を表示する。誤差情報９０２は、評価用データ保持部１０５に保持された評価用データの正解データと学習部１０３で学習する前の学習結果との誤差である。また、表示部１０６は、学習後の医用画像９０５と誤差情報９０６を表示する。誤差情報９０６は、評価用データ保持部１０５に保持された評価用データの正解データと学習部１０３で学習した後の学習結果との誤差である。このように、ユーザーは、表示部１０６に表示されている誤差の変化から、学習前の誤差情報９０２よりも学習後の誤差情報９０６の方が悪くなっていることを認識することができる。

このように、変形例２−５によれば、学習による性能の変化が数値だけでなく個別のケースごとに確認可能であるため、ユーザーが容易に妥当性検証を行うことが可能となる。

［変形例２−６］
変形例２−６では、評価部１０４により不正解と判定された処理結果を学習データが異なる学習の種類ごとに表示する表示部１０６について説明する。

図９（ｂ）に示すように、表示部１０６は、同一機能に対して異なる学習データを用いて複数の学習結果を表示することが可能である。図９（ｂ）の例では、学習結果選択部９２１により、ユーザーは、「学習結果Ａ」、「学習結果Ｂ」、「両方失敗例」、「変化例」のいずれかを選択することが可能である。「学習結果Ａ」、「学習結果Ｂ」のいずれかの選択に応じて、２つの学習結果Ａ、学習結果Ｂのそれぞれの失敗例が表示される。「両方失敗」の選択に応じて、学習結果Ａ，Ｂの両方とも失敗した例が示される。また、「変化例」の選択に応じて、学習結果Ａと学習結果Ｂがそれぞれ異なる結果を示した例（一方の学習で処理結果が正解になり、他方の学習で処理結果が不正解となったデータ）が表示される。

以上のように、変形例２−６では、２つの学習結果があった場合に、ユーザーはそれぞれの評価結果と失敗画像例を確認して、妥当性検証を行いどちらの学習結果を承認するかを選択することが可能である。本変形例を用いることによって、ユーザーは臨床で求められる性能がより高い方を効率的に選択することが可能となる。

［変形例２−７］
第２実施形態および上記変形例では学習前と学習後の結果を表示するのに対し、変形例２−７の表示部１０６は、図１０に示すように評価結果（正解率）の時間的な推移を表示する。このように、変形例２−７の表示部１０６は、評価部１０４で評価された機械学習の評価結果の推移を時間情報とともに表示す。例えば、表示部１０６は、評価結果の推移を、評価結果の値を第１の軸とし、時間を第２の軸とするグラフにより表示する。

図１０の表示例では、表示部１０６は、評価部１０４で評価された機械学習の評価結果の推移１００２を時間情報（日時）とともに表示する。図１０に示す例では、ユーザーは、機械学習の評価結果の推移１００２を参照すると、過去に比べて機械学習の評価が高くなっていることを認識することができる。ユーザーは、機械学習の評価結果を確認し、承認部６０３もしくは否認部６０４を押下して、承認もしくは否認を選択する。

最新の学習結果が最も評価が良いとは限らない。そのため、ユーザーは、所望の時間（日時）に対応する機械学習の評価結果を確認して、学習結果を承認する。具体的には、ユーザーは、機械学習の評価結果の推移１００２に時間指定カーソル１００１を設定することができる。表示部１０６は、時間指定カーソル１００１において指定された時間（日時）に対応する機械学習の評価結果１０００を表示することができる。ユーザーは、時間指定カーソル１００１において指定された時間（日時）に対応する機械学習の評価結果１０００を確認し、承認部６０３もしくは否認部６０４を押下して、承認もしくは否認を選択することができる。ユーザーは、機械学習の評価結果の推移１００２を参照して、評価が最も高い時間（日時）に時間指定カーソル１００１を指定することにより、最も高い評価結果の機械学習の学習状態にすることができる。

また、解析部（図示しない。）は、機械学習の評価結果の推移１００２を解析し、評価が最も高い時間（日時）を検出し、その時間（日時）を指定することにより、最も高い評価結果の機械学習の学習状態にすることもできる。

表示部１０６は、学習結果を承認する際の目安となる評価指標値（評価閾値）１００３を表示することもできる。時間指定カーソル１００１において指定された時間（日時）に対応する機械学習の評価結果１０００が評価指標値（評価閾値）１００３を超えている場合、ユーザーは、承認部６０３で学習結果を承認することができる。時間指定カーソル１００１において指定された時間（日時）に対応する機械学習の評価結果１０００が評価指標値（評価閾値）１００３を超えていない場合、否認部６０４しか押下できないようになっていてもよい。この場合、承認部６０３で学習結果を承認することができないように制限をかけることができる。

以上のように、評価結果の推移を表示することによって、ユーザーは学習によって得られた性能向上の速度や性能向上の限界を確認することができるため、妥当性検証を行うための指標となる。

＜第３実施形態＞
第３実施形態では、評価部１０４による評価の開始タイミングを指示する指示部を備える医用情報処理装置について説明する。図１１は、第３実施形態による医用情報処理装置の機能構成例を示すブロック図である。第１実施形態（図１）と同様の機能部には同一の参照符号を付してある。第３実施形態では、評価タイミング指示部１２０が設けられている。評価タイミング指示部１２０は、性能評価（図２のＳ２０４）の実行タイミングを指示する。

次に評価タイミング指示部１２０による指示方法について説明する。第３実施形態では、評価タイミング指示部１２０は複数の異なる評価タイミングを指示することが可能である。図１２に評価タイミング指示部１２０の例を示す。図１２の例ではユーザーが評価タイミング指示部１２０を操作して評価タイミングを指示することが可能である。図１２の曜日選択ボタン１２０１のいずれかをユーザーが選択した場合、選択した曜日に評価を実施することが指示される。曜日選択を行うことで、例えば診療が無く、撮影システムを使用しないタイミングで評価を実施することが可能となる。また、日時指定ボタン１２０２をユーザーが選択した場合、任意の評価タイミングを指示することが可能である。日時指定を行うことで、ユーザーは状況に合わせて評価を実施することが可能となる。

また、シャットダウン時選択ボタン１２０３をユーザーが選択した場合、撮影システムのシャットダウン時に評価を行うことが可能となる。シャットダウン後にしばらくの間撮影システムを使わないことが分かっている場合等に評価を実施することが可能となる。また、現在選択ボタン１２０４をユーザーが選択した場合、即時に評価が実施される。妥当性評価を今すぐに行いたい場合に、評価をすぐに実施することが可能となる。また、１時間後選択ボタン１２０５をユーザーが選択した場合、選択後１時間後に評価が実施される。撮影システムによる撮影が１時間後に終了することがあらかじめ分かっている場合等に評価をそのタイミングで行うことが可能となる。

また、評価用データ更新時選択ボタン１２０６をユーザーが選択した場合、評価用データが更新されたタイミングで評価が実施される。例えば、評価用データを本医療情報システム内の撮影システムで取得したデータに更新する場合や、評価用データを新しいものに更新した場合等に新しいデータにて迅速に評価を行うことが可能である。また、学習後選択ボタン１２０７をユーザーが選択した場合、機械学習後のタイミングで評価が実施される。このようにすることで、ユーザーは機械学習後速やかに妥当性検証を行うことが可能となる。

尚、第３実施形態では各種選択を単一で使用する場合を説明したが、各タイミングを君併せて用いることも可能である。例えば、曜日選択ボタン１２０１と学習後選択ボタン１２０７を組み合わせることによって、学習後の最初の選択された曜日に評価が実施されるようにすることが可能である。これは、評価の開始条件のＡＮＤである。また、本組み合わせとして、学習後迅速に行うことと毎週指定曜日に行うことの両方が有効になっている場合にも用いられる。これは、評価の開始条件のＯＲである。このように各タイミングを組み合わせることによって、より適切に医用情報システムの運用に合わせた妥当性検証のスケジューリングが可能となる。

また、図１２の中止ボタン１２０８をユーザーが選択した場合、現在行われている評価を中止することが可能となる。評価を行っている最中に医用情報システムを使用したい場合等に中止をすることによって、医用情報システムへの負荷を軽減することが可能となる。

以上のように、第３実施形態によれば、評価タイミング指示部１２０を設けた医療情報システムを用いることによって、評価のための負荷調整が行えると共に、妥当性検証を行うための適切なタイミングにて評価を行うことが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：撮影部、１０２：データ保持部、１０３：学習部、１０４：評価部、１０５：評価用データ保持部、１０６：表示部、１０７：パラメータ更新部、１０８：判定部、１１０：データ取得部

Claims (25)

1. 医用情報処理装置であって、
   医用情報を取得する取得手段と、
   前記医用情報を用いて医用情報処理装置内の機能に対し学習を行う学習手段と、
   前記学習手段による学習結果を評価するための、前記機能の実行による正解が既知の評価用データを保持する評価用データ保持手段と、
   前記評価用データに基づいて、学習により取得された学習結果を評価する評価手段と、
   前記学習手段の学習結果を前記機能に適用するための指示を受け付ける受け付け手段と、を備えることを特徴とする医用情報処理装置。
2. 医用情報処理装置であって、
   医用情報を取得する取得手段と、
   前記医用情報を用いて医用情報処理装置内の機能に対し学習を行う学習手段と、
   前記学習手段による学習結果を評価するための、前記機能の実行による正解が既知の評価用データを保持する評価用データ保持手段と、
   前記評価用データに基づいて、学習により取得された学習結果を評価する評価手段と、
   前記評価手段による評価の結果を、前記学習手段の学習による前記機能の変化とともに表示器に表示させる表示制御手段と、を備えることを特徴とする医用情報処理装置。
3. 前記学習手段の学習結果を前記機能に適用するためのユーザー指示を受け付ける受け付け手段をさらに備えることを特徴とする請求項２に記載の医用情報処理装置。
4. 前記表示制御手段は、前記評価手段により得られた、前記学習手段による学習の前後の評価結果を表示することを特徴とする請求項２または３に記載の医用情報処理装置。
5. 前記評価用データは、対象データと正解データとを含み、
   前記評価結果は、前記機能による前記対象データの処理結果と前記正解データとの比較により正解と判定された評価用データの割合、または不正解と判定された評価用データの割合であることを特徴とする請求項４に記載の医用情報処理装置。
6. 前記評価手段は、前記評価用データに含まれる対象データを学習後の前記機能により処理して得られた処理結果と、前記評価用データに含まれる正解データとの誤差を取得し、該誤差に基づいて前記処理結果が不正解か否かを判定し、
   前記表示制御手段は、前記評価手段により不正解と判定された処理結果と、対応する評価用データの正解データとを前記表示器に表示することを特徴とする請求項２または３に記載の医用情報処理装置。
7. 評価用データの対象データは医用画像であり、
   前記表示制御手段は、評価用データの正解データと処理結果とを、当該評価用データの対象データである医用画像に重畳して表示することを特徴とする請求項６に記載の医用情報処理装置。
8. 前記表示制御手段は、不正解と判定された処理結果に関する前記誤差を示す誤差情報を表示することを特徴とする請求項６または７に記載の医用情報処理装置。
9. 誤差の範囲を設定する設定手段をさらに備え、
   前記表示制御手段は、前記評価手段により取得された誤差が前記範囲となる処理結果を表示の対象とすることを特徴とする請求項６乃至８のいずれか１項に記載の医用情報処理装置。
10. 前記表示制御手段は、誤差が大きい順に処理結果を表示することを特徴とする請求項６乃至９のいずれか１項に記載の医用情報処理装置。
11. 前記表示制御手段は、前記評価手段により不正解と判定された処理結果の数を表示することを特徴とする請求項６乃至１０のいずれか１項に記載の医用情報処理装置。
12. 前記表示制御手段は、前記評価手段により不正解と判定された処理結果を、部位ごとに表示することを特徴とする請求項６乃至１１のいずれか１項に記載の医用情報処理装置。
13. 前記表示制御手段は、前記評価手段により不正解と判定された処理結果を、学習した機能の種類ごとに表示することを特徴とする請求項６乃至１１のいずれか１項に記載の医用情報処理装置。
14. 前記表示制御手段は、前記評価手段により不正解と判定された処理結果を、撮影装置の種類ごとに表示することを特徴とする請求項６乃至１１のいずれか１項に記載の医用情報処理装置。
15. 前記表示制御手段は、前記評価手段により不正解と判定された処理結果を、誤差の形態ごとに表示することを特徴とする請求項６乃至１１のいずれか１項に記載の医用情報処理装置。
16. 前記表示制御手段は、前記評価手段により不正解と判定された処理結果を、学習データが異なる学習の種類ごとに表示することを特徴とする請求項６乃至１１のいずれか１項に記載の医用情報処理装置。
17. 前記評価手段により不正解と判定された処理結果のうち、選択された処理結果の判定を正解に変更する変更手段をさらに備えることを特徴とする請求項１乃至１６のいずれか１項に記載の医用情報処理装置。
18. 前記評価手段は、前記評価用データに含まれる対象データを学習後の前記機能により処理して得られた処理結果と、前記評価用データに含まれる正解データとの誤差を取得し、該誤差に基づいて前記処理結果が正解か不正解かを判定し、
    前記表示制御手段は、前記評価手段による、学習前後における判定の変化の態様ごとに処理結果と対応する評価用データの正解データとを前記表示器に表示することを特徴とする請求項２乃至４のいずれか１項に記載の医用情報処理装置。
19. 前記表示制御手段は、前記評価手段で評価された学習の評価結果の時間的な推移を表示することを特徴とする請求項２または３に記載の医用情報処理装置。
20. 前記表示制御手段は、前記評価結果の推移を、評価結果の値を第１の軸とし、時間を第２の軸とするグラフにより表示することを特徴とする請求項１９に記載の医用情報処理装置。
21. 前記表示制御手段は、学習結果の承認の目安となる評価閾値を前記グラフにさらに表示することを特徴とする請求項２０に記載の医用情報処理装置。
22. 前記評価手段による評価の開始タイミングを指示する指示手段をさらに備えることを特徴とする請求項１乃至２１のいずれか１項に記載の医用情報処理装置。
23. 医用情報を取得する取得工程と、
    前記医用情報を用いて医用情報処理装置内の機能に対し学習を行う学習工程と、
    前記学習工程による学習結果を評価するための、前記機能の実行による正解が既知の評価用データを記憶手段に保持する評価用データ保持工程と、
    前記評価用データに基づいて、学習により取得された学習結果を評価する評価工程と、
    前記学習工程の学習結果を前記機能に適用するための指示を受け付ける受け付け工程と、を備えることを特徴とする医用情報処理方法。
24. 医用情報を取得する取得工程と、
    前記医用情報を用いて医用情報処理装置内の機能に対し学習を行う学習工程と、
    前記学習工程による学習結果を評価するための、前記機能の実行による正解が既知の評価用データを記憶手段に保持する評価用データ保持工程と、
    前記評価用データに基づいて、学習により取得された学習結果を評価する評価工程と、
    前記評価工程による評価の結果を、前記学習工程の学習によって生じた変化をユーザーが把握できるように、表示器に表示させる表示制御工程と、を備えることを特徴とする医用情報処理方法。
25. コンピュータを、請求項１乃至２２のいずれか１項に記載された医用情報処理装置の各手段として機能させるためのプログラム。

Images