JP2019074868A - 診断支援装置、情報処理方法、診断支援システム及びプログラム - Google Patents

Abstract

【課題】推論の根拠となる情報を、医師が容易に内容を把握することができる所見の情報として提示することができる装置を提供する。【解決手段】医用画像から診断名を推論する第１の推論器１００１を機械学習により取得する。この第１の推論器と構成の一部が共通し、医用画像から画像の特徴を表す画像所見を推論する第２の推論器と、画像所見から診断名を推論する第３の推論器とで、医用画像から診断名を推論する第４の推論器１００２を構成する。【選択図】図１０

Description

本明細書の開示は、診断支援装置、情報処理方法、診断支援システム及びプログラムに関する。

昨今、多様な医用情報が診断に活用されており、コンピュータで医用画像をはじめとする医用情報を解析して得られた結果を診断の補助として利用するためのシステムに関する技術への期待が高まっている。特許文献１には、医用画像を解析して得られる画像特徴量と過去の症例における読影項目とに基づいて類似する症例を検索するシステムにおいて、検索に用いる読影項目によってどのような検索結果が得られるかをユーザに提示することが開示されている。

特開２０１４−２９６４４号公報 特開２０１７−８４３２０号公報

コンピュータが医用情報を解析して得られた結果を医師が診断の補助として利用するうえで、解析の結果のみを提示されても、医師はその結果が有用であるか否かを判断しかねる場合がある。特許文献１に開示の技術においては、検索に用いた読影項目と関係が深い過去の症例を提示するのみであり、対象としている診断にとって有用な情報であるか否かを把握できないおそれがある。

本発明の実施形態に係る診断支援装置は、医用画像から診断名を推論する複数の推論器と、前記複数の推論器のうち少なくとも一つの推論器を用いて、医用画像を前記少なくとも一つの推論器への入力として診断名を推論する推論手段と、前記推論手段により推論される診断名を提示する提示手段と、を有することを特徴とする。

本発明の実施形態の一つによれば、推論の根拠となる情報を、医師が容易に内容を把握することができる所見の情報で提示することができるので、医師は推論の結果が診断に有用であるか否かを容易に判断することができる。

本発明の実施形態に係る診断支援装置の機能構成の一例を示す図である。 本発明の実施形態に係る診断支援装置ハードウェア構成の一例を示す図である。 本発明の実施形態に係る診断支援装置による処理の一例を示すフローチャートである。 本発明の実施形態に係る診断支援装置により取得される情報の一例を示す図である。 本発明の実施形態に係る診断支援装置により取得される情報の一例を示す図である。 本発明の実施形態に係る診断支援装置により取得される情報の一例を示す図である。 本発明の実施形態に係る診断支援装置により表示される画面の一例を示す図である。 本発明の第四の実施形態に係る診断支援装置の機能構成の一例を示す図である。 本発明の第四の実施形態に係る診断支援装置による処理の一例を示すフローチャートである。 本発明の第四の実施形態に係る診断支援装置による導出器の生成方法の一例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。

［第一の実施形態］
医療の分野では、Ｘ線ＣＴ装置（Ｃｏｍｐｕｔｅｒ Ｔｏｍｏｇｒａｐｈｙ）やＭＲＩ装置（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）等の撮影装置により得られた医用画像に基づいて診断を行う、画像診断が行われている。ここで、医用画像を観察して診断を導きだすことを読影という。画像診断では、たとえば主治医からの読影の依頼に応じて、画像診断を専門とする読影医が読影を行う。読影医は画像から得られる所見（以下、画像所見と称する。）や各種の測定値から総合的に判断して、医用画像に描出される病変や被検体である患者の症状を特定する。そして読影医は、画像所見や測定値を利用してその診断に至った経緯を、依頼元の主治医への読影レポートとして記載する。

このような読影を支援するために、コンピュータが医用情報を解析して得られた結果を提示するシステムが提案されている。医師が当該解析の結果を利用する上で、当該結果の根拠となった情報を提示できるようにすることが好ましい。しかしながら、当該解析に入力された情報（以下、入力情報と称する。）が、たとえば画像に描出された特徴を数値化した画像特徴量のような情報の場合には、当該結果に影響を及ぼした情報を同定して提示しても、ユーザにとってわかりづらい情報である場合がある。本発明の第一の実施形態にかかる診断支援装置は、入力情報に画像特徴量のようなユーザにとってわかりづらい情報が含まれる場合であっても、推論結果を導出した手掛かりとなる情報（以下、参考情報と称する）を、ユーザが直感的に理解できる参考情報を提示することを目的とする。ユーザが直感的に理解できる参考情報とは、たとえば病変領域の特徴を言語で表現した所見の情報である。

以下、詳述する。第一の実施形態にかかる診断支援装置１００は、読影の対象となる医用画像や、電子カルテ等に記載された情報等を取得し、診断の手掛かりとなる情報（参考情報）を提示することにより診断支援を行う。

なお以下では、診断支援装置１００は、肺の異常陰影の読影に係る医用画像と、当該医用画像に付帯する情報と、過去の病歴や腫瘍マーカー等の血液検査値といった情報（以下、臨床情報と称する。）を取得するものとする。そして、取得した情報を基に入力情報を生成し、入力情報から診断の手掛かりとなる情報（参考情報）をユーザ（医師）に理解可能な形式で生成し、提示する場合を例として説明する。もちろん対象はこれに限定されるものではなく、以下に示す診断名や画像特徴量、画像所見、臨床情報等は、何れも診断支援装置の処理の工程を説明するための一例に過ぎない。

図１は、診断支援装置１００の機能構成の一例を示す図である。診断支援装置１００は、症例情報端末２００と通信可能に接続されている。診断支援装置１００は、入力情報生成部１０２と、画像特徴量取得部１０４と、推論部１０６と、影響度取得部１０８と、提示度取得部１１０と、選択部１１２と、表示制御部１１４とを有する。診断支援装置１００の各機能構成は内部バス等で接続されている。

症例情報端末２００は、診断対象である症例に関する情報をサーバ（不図示）から取得する。症例に関する情報とは、たとえば医用画像や電子カルテに記載された臨床情報といった医用情報である。症例情報端末２００は、たとえばＦＤＤ、ＨＤＤ、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ、ＺＩＰドライブといった外部記憶装置（不図示）と接続し、それらの外部記憶装置から医用情報を取得するようにしてもよい。

また、症例情報端末２００は、表示制御部１１４を介して、ユーザが読影可能な形で医用情報をモニタ２０５に表示させてもよい。すなわち症例情報端末２００は、表示制御部１１４を介して、モニタ２０５に表示される医用画像上に異常陰影が存在するとユーザが考える領域の座標情報をユーザに入力させるＧＵＩを提供する。あるいは、症例情報端末２００は、表示制御部１１４を介して、モニタ２０５に表示される医用画像上の領域について、ユーザに画像所見を入力させるＧＵＩを提供してもよい。症例情報端末２００は、当該ＧＵＩを介してユーザが入力した情報を、当該医用画像に付帯する情報（以下、付帯情報と称する。）として取得する。

そして、症例情報端末２００は、医用画像や臨床情報といった医用情報と付帯情報とを、ネットワーク等を介して診断支援装置１００へと送信する。

入力情報生成部１０２は、症例情報端末２００から診断支援装置１００へ送信された情報、たとえば医用画像、臨床情報、付帯情報に基づいて、入力情報を生成する。ここで入力情報とは、推論部１０６による推論の入力とするそれぞれの情報を要素とする集合である。第一の実施形態においては、入力情報生成部１０２は医用画像と付帯情報を画像特徴量取得部１０４へと出力し、当該出力に応じて画像特徴量取得部１０４から出力された画像特徴量を取得する。そして入力情報生成部１０２は、取得した画像特徴量と臨床情報とを入力情報とし、当該入力情報を推論部１０６と影響度取得部１０８へと出力する。

画像特徴量取得部１０４は、入力情報生成部１０２から出力された医用画像と付帯情報とに基づいて、画像特徴量を取得する。画像特徴量取得部１０４は、読影の対象となる医用画像に対して画像処理を行い、当該医用画像の画像特徴量を取得する。たとえば異常領域を示す座標情報といった付帯情報が入力情報生成部１０２より出力された場合には、画像特徴量取得部１０４は当該座標情報により示される異常領域についての画像特徴量を取得できる。画像特徴量取得部１０４は、取得した画像特徴量を入力情報生成部１０２へと出力する。

推論部１０６は、入力情報生成部１０２が生成した入力情報を入力として、対象とする症例の診断名を推論する。第一の実施形態においては、肺の異常陰影に関する診断名の推論を例に説明する。推論部１０６は、異常陰影の位置を入力情報生成部１０２から出力された付帯情報に基づいて取得してもよいし、画像処理により特定してもよい。推論部１０６は、医用画像上の異常陰影が特定の診断名に該当する確率を推論結果として取得する。そして、取得した推論結果を影響度取得部１０８と、表示制御部１１４へと出力する。推論部１０６は、推論手段の一例である。

影響度取得部１０８は、入力情報生成部１０２が生成した入力情報と、推論部１０６が出力した推論結果とを用いて、入力情報に含まれる各要素が推論結果に与える影響度を取得する。影響度取得部１０８は、取得した各要素の影響度を提示度取得部１１０へと出力する。影響度取得部１０８は、影響度取得手段の一例である。

提示度取得部１１０は、影響度取得部１０８が取得した影響度を利用して参考情報の候補である情報の提示度を取得する。参考情報は、推論部１０６による推論の根拠として表示制御部１１４によりユーザに提示される情報である。提示度は、参考情報の候補のうち、参考情報として提示するのに好適な度合いを示す指標である。提示度取得部１１０は、画像特徴量に基づいて画像所見を取得する。入力情報のうち画像特徴量と臨床情報と画像所見が、参考情報の候補となる。提示度取得部１１０は、取得した参考情報の候補の提示度を、選択部１１２へと出力する。提示度取得部１１０は、所見取得手段の一例である。

選択部１１２は、提示度取得部１１０が取得した参考情報の候補の影響度に基づいて、参考情報すなわち推論の根拠として提示する情報を選択する。選択部１１２は、選択した情報を表示制御部１１４へと出力する。選択部１１２は、選択手段の一例である。

表示制御部１１４は、推論部１０６が出力した推論結果と、選択部１１２が選択した参考情報をユーザに提示する。表示制御部１１４は、推論結果と参考情報とに基づいて、モニタ２０５に表示する内容を制御する。

なお、図１に示した診断支援装置１００の各構成の少なくとも一部を独立した装置として実現してもよい。また、それぞれの機能を実現するソフトウェアとして実現してもよい。第一の実施形態では、各部はそれぞれソフトウェアにより実現されているものとする。

図２は、診断支援装置１００のハードウェア構成の一例を示す図である。ＣＰＵ２０１は、主として各構成要素の動作を制御する。主メモリ２０２は、ＣＰＵ２０１が実行する制御プログラムを格納したり、ＣＰＵ２０１によるプログラム実行時の作業領域を提供したりする。磁気ディスク２０３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。ＣＰＵ２０１が主メモリ２０２、磁気ディスク２０３に格納されているプログラムを実行することにより、図１に示した診断支援装置１００の機能（ソフトウェア）及び後述するフローチャートにおける処理が実現される。

表示メモリ２０４は、たとえばモニタ２０５に表示させるための表示用データを一時記憶する。モニタ２０５は、たとえばＣＲＴモニタや液晶モニタ等であり、表示メモリ２０４からのデータに基づいて画像やテキスト等の表示を行う。マウス２０６及びキーボード２０７は、ユーザによるポインティング入力及び文字等の入力をそれぞれ行う。

上記各構成要素は、共通バス２０８により互いに通信可能に接続されている。ＣＰＵ２０１はプロセッサの一例である。診断支援装置１００は複数のプロセッサを有していてもよい。たとえば診断支援装置１００は、推論部２０６の処理を専用に行うＧＰＵを有していてもよいし、推論部２０６の機能をプログラムしたＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を有していてもよい。また、主メモリ２０２や磁気ディスク２０３や表示メモリ２０４はメモリの一例である。

図３は診断支援装置１００により行われる処理の一例を示すフローチャートである。第一の実施形態では、ＣＰＵ２０１が主メモリ２０２に格納されている各部の機能を実現するプログラムを実行することにより図３に示す処理が実現される。

以下の説明では、画像特徴量をＩ_ｍ（ｍ＝１〜Ｍ）、画像所見をＦ_ｎ（ｎ＝１〜Ｎ）、臨床情報をＣ_ｊ（ｊ＝１〜Ｊ）で表すこととする。ここで、Ｉ_ｍの各要素は連続値、Ｆ_ｎの各要素は離散値（カテゴリ値）、Ｃ_ｊは要素により連続値または離散値を取るものとする。離散値を取る場合、各離散値をｆ_ｎｋ、ｃ_ｊｋで表すこととする。なお、ｋは各Ｆ_ｎ、Ｃ_ｊにより様々な値を取るものとする。また、画像特徴量Ｉ_ｍ、および、臨床情報Ｃ_ｊが連続値を取る場合、その値をｉ_ｍ、ｃ_ｊで表す。

第一の実施形態では、画像所見と臨床情報は図４に例示したような項目と値を扱うものとする。たとえば画像所見の場合、項目Ｆ_１の「形状」であれば、要素はｆ_１１「球形」、ｆ_１２「分葉状」、ｆ_１３「多角形」、ｆ_１４「不整形」の４値のいずれかである。項目Ｆ_２の「切れ込み」であれば、要素はｆ_２１「強い」、ｆ_２２「弱い」、ｆ_２３「なし」の３値のいずれかである。臨床情報である項目Ｃ_１の「発熱」であれば、要素はｃ_１１「あり」、ｃ_１２「なし」の２値のいずれかである。項目Ｃ_Ｊの「ＣＥＡ」（腫瘍マーカーの一種）であれば、要素は連続値ｃ_Ｊである。

また、以下の説明ではＩ_ｍ、Ｆ_ｎ、Ｃ_ｊの値を要素とする集合をＥと表記し、入力情報をＥ_ｆで表す。さらに、以下の説明では、診断名をＤで表す。第一の実施形態では、推論部１０６が肺の異常陰影に関する診断名の推論を行い、診断名として、原発性肺癌、癌の肺転移、その他の３値のいずれであるかを推論するものとする。以下では、原発性肺癌、癌の肺転移、その他、をそれぞれｄ_１、ｄ_２、ｄ_３と表記する。また、推論部１０６への入力として入力情報Ｅ_ｆが与えられた場合の診断名ｄ_ｕ（ｕ＝１，２，３）の推論確率を、Ｐ（ｄ_ｕ｜Ｅ_ｆ）と表記する。

ステップＳ３０００において、入力情報生成部１０２は、症例情報入力端末２００から診断支援装置１００へ送信された情報（医用画像、臨床情報、付帯情報）を取得する。第一の実施形態では、付帯情報として異常陰影の座標情報のみが送信された場合を例に説明する。

ステップＳ３０１０において、画像特徴量取得部１０４は、ステップＳ３０００で出力された医用画像と付帯情報とに基づいて画像処理を行い、画像特徴量を取得する。ここで取得する画像特徴量は、画像の処理対象領域内における濃度（輝度）の平均値や分散などの一般的な画像特徴量であってもよいし、フィルタ出力に基づく画像特徴量であってもよい。

第一の実施形態において画像特徴量取得部１０４は、ステップＳ３０００で取得した付帯情報（異常陰影の座標情報）を参照し、医用画像から異常陰影領域をセグメンテーションした後、画像処理により画像特徴量を取得するものとする。

ステップＳ３０２０において、入力情報生成部１０２は、ステップＳ３０００で取得した臨床情報と、ステップＳ３０１０で取得した画像特徴量とに基づいて入力情報を生成する。たとえば、ステップＳ３０００で取得した臨床情報が｛ｃ_１２，ｃ_２２，…，ｃ_Ｊ｝、ステップＳ３０１０で取得した画像特徴量が｛ｉ_１，ｉ_２，…，ｉ_Ｍ｝であったとする。この場合、入力情報Ｅ_ｆはＥ_ｆ＝｛ｃ_１２，ｃ_２２，…，ｃ_Ｊ，ｉ_１，ｉ_２，…，ｉ_Ｍ｝となる。

ステップＳ３０３０において、推論部１０６は、ステップＳ３０２０で生成された入力情報を基に、診断対象である肺の異常陰影に関する推論を実行する。すなわち推論部１０６は、医用画像に含まれる領域の特徴を示す値である画像特徴量に基づいて、当該医用画像から導かれる診断名を推論する。具体的には、Ｐ（ｄ_ｓ｜Ｅ_ｆ）を取得する。このとき推論を行う方法としては、ベイジアンネットワーク、サポートベクターマシン、ニューラルネットワークなどを用いた手法が挙げられる。第一の実施形態では、ベイジアンネットワークを利用するものとする。

ステップＳ３０４０において、影響度取得部１０８は、ステップＳ３０２０で生成した入力情報と、ステップＳ３０３０で実行した推論結果を用いて、入力情報の各要素が推論結果に与える影響度を取得する。すなわち、影響度取得部１０８は推論部１０６により推論の入力として用いられる情報のそれぞれに対して、診断名の推論に与えた影響の度合いである影響度を取得する。第一の実施形態では、各診断名のうち最も推論確率が高かった診断名ｄ_ｆに対する影響度を取得するものとする。具体的には、ある要素ｅ_ｖ（ｅ_ｖ∈Ｅ_ｆ）の影響度を、入力情報Ｅ_ｆを用いて推論した場合のｄ_ｆの推論確率から、Ｅ_ｆからｅ_ｖのみを除去して推論した場合のｄ_ｆの推論確率を引いたものとする。要素の影響度をＩ（ｅ_ｖ）で表し、影響度を式１のように定義する。

Ｉ（ｅ_ｖ）が正の場合は、ｅ_ｖを入力情報に含まないことによりｄ_ｆの推論確率が減少したことを示す。したがって、ｅ_ｖはｄ_ｆを肯定する情報と考えられる。一方、Ｉ（ｅ_ｖ）が負の場合は、ｅ_ｖを入力情報に含まないことによりｄ_ｆの推論確率が増加したことを示す。したがって、ｅ_ｖはｄ_ｆを否定する情報と考えられる。

ステップＳ３０５０において、提示度取得部１１０は、ステップＳ３０４０で取得した影響度を利用して、参考情報すなわち推論の根拠として提示する情報の候補についての提示度をそれぞれ取得する。画像所見及び臨床情報の各要素の提示度は、ステップＳ３０４０で取得した影響度の絶対値とする。また提示度取得部１１０は、画像特徴量の各要素の提示度を画像特徴量と画像所見の関係に基づいて取得する。これにより、画像特徴量は提示度付きの画像所見へと変換される。

第一の実施形態では、提示度取得部１１０は、画像特徴量に基づいて類似症例を検索し、類似症例に関連付けられている所見の情報を利用して、画像特徴量を提示度付き画像所見へと変換する。類似症例は、症例情報端末２００に格納されている症例のデータベースから検索してもよいし、診断支援装置１００の外部のサーバ（不図示）に格納されている症例のデータベースから検索してもよい。症例情報端末２００や外部のサーバ（不図示）に格納されている各症例には、予め画像所見が付与されているものとする。すなわち、提示度取得部１１０は画像特徴量に基づいて画像所見を取得する。より詳しくは、提示度取得部１１０は、推論部１０６に対する入力情報に含まれる画像特徴量と関連する所見の情報を取得する。

具体的には、提示度取得部１１０は、各画像特徴量の影響度の絶対値を重みとし、重み付け類似症例検索を行うことで類似度付きで複数の症例を抽出する。そして、抽出された症例（対象症例）に付与された画像所見と、診断支援装置により診断支援を行う対象の症例（以下、現症例と称する。）の画像特徴量との類似度を基に提示度を取得する。すなわち対象症例は、推論部１０６に対する入力情報に含まれる画像特徴量と類似した画像特徴量を有する類似症例の一例である。

まず、提示度取得部１１０は、類似度を以下のように取得する。対象症例（Ｔ_ｘ：ｘ＝１〜Ｘ）の各画像特徴量Ｉ_ｍの値をｉ_Ｔｘｍとし、現症例とＴ_ｘの間の類似度Ｓｉｍ（Ｔ_ｘ）を式２で表す。なお、各画像特徴量は［０，１］に正規化されているものとする。式２で表される類似度Ｓｉｍ（Ｔ_ｘ）は、現症例とＴ_ｘの画像特徴量の値が近いほど１に近い値を取る。

なお、提示度取得部１１０は、類似度を他の方法を用いて取得してもよい。提示度取得部１１０は、たとえば影響度を重みとして用いず、ＳとＴ_ｘのマハラノビス距離を類似度として用いてもよい。その場合はマハラノビス距離が０である場合に類似度が１となるように変換を行うのが望ましい。

さらに提示度取得部１１０は、類似度と対象症例に付与されている画像所見を基に、式３に表すような画像所見の値の提示度（Ｐｒｅ（ｆ_ｎｋ））を取得する。

式３において、δ_ｘ（ｆ_ｎｋ）はＴ_ｘに画像所見の値ｆ_ｎｋが付与されている場合に１をとり、付与されていない場合には０をとる関数を示す。式３は、類似度が高い対象症例群において共通している画像所見の値が多いほど、その画像所見の値の提示度が大きくなることを示す。すなわち提示度取得部１１０は、類似度と、対象症例群においてある画像所見が関連付けられている頻度を示す統計情報に基づいて、提示度を取得する。

上述の例では、提示度取得部１１０は類似症例を格納するデータベースに含まれている全データ（Ｘ症例）を用いて提示度を取得した。しかしこれに限らず、提示度取得部１１０は類似度の上位Ｘ’症例のみを用いて取得してもよいし、閾値を設定しておき、類似度がその閾値を超えるＸ”症例のみを用いて取得しても良い。

ステップＳ３０６０において、選択部１１２はステップＳ３０５０で取得した提示度に基づき、推論の根拠として提示する情報を選択する。選択部１１２は、推論部１０６に対する入力情報のうち、画像特徴量を除く要素と、Ｓ３０５０で取得した画像所見から、推論の根拠として提示する情報を選択する。選択部１１２により選択された情報が参考情報すなわち推論の根拠として提示される情報となる。すなわち選択部１１２は、推論部１０６に対する入力情報に含まれる画像特徴量と類似症例の画像特徴量との類似度と、当該類似症例に画像所見が関連付けられている頻度を示す統計情報に基づく値である提示度に基づいて、推論の根拠として提示する情報を選択する。

第一の実施形態では提示度の大きい順に３つ情報を選択するものとする。ただし、一つの画像所見の項目（たとえばＦ_ｎ）として、複数の値を取り得る場合（たとえばｆ_ｎ１、ｆ_ｎ２）には、提示度が最も高い値のみを選択し、他の値は無視するものとする。もちろん選択数や選択方法はこれに限定されない。たとえば、選択数は３以外でもよい。選択方法は、所定の閾値を満たすものを選択することとしてもよい。

ステップＳ３０７０において、表示制御部１１４はステップＳ３０３０で取得した推論結果と、ステップＳ３０６０で選択した情報を基に、表示する内容を制御する。すなわち、表示制御部１１４は、推論の根拠として、診断支援の対象である症例の医用画像に含まれる領域の特徴を表現する所見の情報であって、選択部１１２に選択された情報を提示する。

以下、図５から図７を用いてステップＳ３０４０からステップＳ３０７０の流れを説明する。たとえば、ステップＳ３０４０において推論部１０６に入力された入力情報の各要素に対して、図５に示すような影響度が影響度取得部１０８により取得されたとする。ステップＳ３０５０において提示度取得部１１０は、入力情報のうち図６（ａ）に示す画像特徴量ｉ_１〜ｉ_ｍに関して、式２により対象症例との類似度を取得する。そして提示度取得部１１０は、図６（ｂ）に示すように各対象症例との類似度と各対象症例に関連付けられた画像所見を用いて、式３により提示度を取得する。これにより、入力情報に含まれる画像特徴量が、提示度付きの画像所見の値に変換される。すなわち提示度取得部１１０は、Ｍ個の画像特徴量を、Ｙ個の、提示度付きの画像所見の値に変換する。その結果、提示度取得部１１０は、図６（ｃ）に示すような提示度付きの画像所見を取得する。また、提示度取得部１１０は、入力情報のうち臨床情報の影響度の絶対値を提示度として取得する。その結果、提示度取得部１１０は、図６（ｄ）に示すような、提示度付きの臨床情報を取得する。なお、この例では不図示のデータベースに格納された全症例を用いているため現症例の画像特徴量の値によらず、Ｙは常に同一の個数となる。一方、前述したように上位Ｘ’症例に限った場合や閾値を超えるＸ”症例に限った場合にはＹの値が変化してもよい。

そして、ステップＳ３０６０において、画像所見、臨床情報の各要素の提示度を基に情報を選択する。図６の例では、各要素の値を提示度の大きい順に並べるとｆ_１４、ｆ_Ｎ１、ｆ_Ｎ２、ｃ_Ｊ、…の順番となる。しかし、ｆ_Ｎ１とｆ_Ｎ２はいずれもＦ_Ｎの値であるため、提示度の高いｆ_Ｎ１のみを考慮し、ｆ_Ｎ２は対象から除外する。従って、最終的には図６（ｅ）に示すようにｆ_１４、ｆ_Ｎ１、ｃ_Ｊが参考情報すなわち推論の根拠として提示される情報として選択される。すなわち選択部１１２は、参考情報の候補の中に、同じ特徴を表現する所見に異なる表現の所見が複数含まれる場合には、提示度の高い所見の情報を参考情報すなわち推論の根拠として選択する。

図７は、ステップＳ３０７０において、表示制御部１１４によりモニタ２０５に表示される画面の一例である。表示内容７００は、ステップＳ３０００で取得した医用画像７０００、ステップＳ３０３０で取得した推論結果７０１０、ステップＳ３０６０で選択した参考情報７０２０を含む。ユーザは表示された推論結果７０１０や、参考情報７０２０を、画像診断時の支援情報として利用できる。

第一の実施形態によれば、診断支援装置１００は、医用画像に関する入力情報を基に推論を行い、入力情報の各要素の推論結果への影響度を取得する。さらに、各要素の影響度を用いて提示度を取得する。特に入力情報に画像特徴量が含まれる場合には、画像特徴量から提示度付きで画像所見への変換を行い、提示度を基に参考情報となる画像所見や臨床情報を提示する。これにより、ユーザである医師は、人間にとって理解しやすい画像所見や臨床情報といった形で推論の根拠となった情報を把握することができる。

（第一の実施形態の変形例１）
第一の実施形態では、ステップＳ３０５０において類似症例を検索して画像特徴量を画像所見へと変換する例について説明した。これに限らず、たとえば画像特徴量から各画像所見の値の尤度を推論することにより、提示度付きの画像所見へと変換してもよい。この時、ある閾値以上の影響度を持つ画像特徴量のみを用い、あとは欠損値としてもよい。また、上位Ｎ個の影響度を持つ画像特徴量のみを用いるようにしてもよい。提示度は画像所見の尤度を用いてもよいし、画像特徴量の影響度の平均値や最大値、最小値などを積算してもよい。

（第一の実施形態の変形例２）
第一の実施形態ではステップＳ３０５０において類似症例検索を用いて画像特徴量を画像所見へと変換する例について説明した。これに限らず、画像特徴量と画像所見の間の相関比を用いて提示度付きの画像所見に変換してもよい。たとえば提示度取得部１１０は、データベースに格納された症例における、画像特徴量ｉ_ｍと画像所見Ｆ_ｎの相関比η_ｍｎを取得し、各画像特徴量の影響度と相関比の積の平均を取る。たとえば提示度取得部１１０は、式４に示すような、画像所見Ｆ_ｎの提示度Ｐｒｅ（Ｆ_ｎ）を取得する。

また別の例では、Ｆ_ｎを分解し、ｆ_ｎｋがある場合に１、ない場合に０を取るようなＫ個の画像所見の値のカテゴリ値を生成して相関比を取得し、画像所見の値ｆ_ｎｋの提示度を取得しても良い。画像特徴量ｉ_ｍと画像所見ｆ_ｎｋの相関比をη_ｍｎｋとすると画像所見の値ｆ_ｎｋの提示度は式５で表せる。

すなわち、提示度を取得する際に、画像特徴量をある画像所見で表現することについての統計情報として、予め定められた相関比を用いても良い。

［第二の実施形態］
第二の実施形態に係る診断支援装置１００は、画像特徴量から画像所見に変換したものを推論の入力情報とし、推論、及び推論の根拠の提示を行う。

第二の実施形態における診断支援装置１００の機能構成は、第一の実施形態における図１と同様の機能構成から成る。ただし、一部の機能が第一の実施形態と異なり、以下では第一の実施形態との相違部分についてのみ説明する。

入力情報生成部１０２は、症例情報端末２００から診断支援装置１００へ送信された情報（医用画像、臨床情報、付帯情報）に基づいて入力情報を生成する。第二の実施形態では、入力情報生成部１０２は医用画像と付帯情報を画像特徴量取得部１０４へと出力する。そして入力情報生成部１０２は、画像特徴量取得部１０４から出力された画像特徴量を取得する。さらに入力情報生成部１０２は、取得した画像特徴量に基づいて推論を行い、尤度付きで画像所見へと変換する。そして、変換した画像所見と臨床情報を入力情報とし、推論部１０６と影響度取得部１０８、提示度取得部１１０へと出力する。入力情報生成部１０２は、画像特徴量に基づいて所見の情報を取得する所見取得手段の一例である。入力情報生成部１０２は、画像特徴量に基づいて画像所見を推論する機能を提供する外部のサーバ（不図示）から、当該画像所見の情報を取得してもよく、入力情報生成部１０２とは異なるモジュール（たとえば、推論部１０６や第二の推論部）に推論を行わせてもよい。

推論部１０６は、入力情報生成部１０２により生成された入力情報に基づいて推論を行う。入力情報には、画像特徴量から変換された画像所見が含まれる。すなわち推論部１０６は、画像特徴量に基づいて、医用画像から導かれる診断名を推論する推論手段の一例である。

提示度取得部１１０は、入力情報生成部１０２により生成された尤度付き画像所見と、影響度取得部１０８により取得された影響度とに基づいて、参考情報の候補の提示度を取得する。提示度取得部１１０は、取得した参考情報の候補の提示度を選択部１１２へと出力する。

診断支援装置１００のハードウェア構成は第一の実施形態における図２と同様である。即ち、ＣＰＵ２０１が主メモリ２０２、磁気ディスク２０３に格納されているプログラムを実行することにより、診断支援装置１００の機能（ソフトウェア）及び図３のフローチャートに例示される処理が実現される。診断支援装置１００は複数のプロセッサを有していてもよい。たとえば診断支援装置１００は、画像特徴量に基づいて画像所見を推論する入力情報生成部１０２と、医用画像から導かれる診断名を推論する推論部１０６の機能をプログラムしたＦＰＧＡをそれぞれ有していてもよい。

図３は、第二の実施形態にかかる診断支援装置１００により行われる処理の一例を示すフローチャートである。第一の実施形態と同様の処理については上述した説明を援用することにより詳しい説明を省略し、以下では第一の実施形態との相違部分について説明する。

ステップＳ３０００、ステップＳ３０１０の処理は、第一の実施形態における処理と同様である。

ステップＳ３０２０において、入力情報生成部１０２は、ステップＳ３０００で取得した臨床情報と、ステップＳ３０１０で取得した画像特徴量を画像所見に変換し、入力情報を生成する。すなわち、入力情報生成部１０２は、ステップＳ３０１０で取得した画像特徴量のそれぞれに対して推論を行うことにより所見の情報を取得する。第二の実施形態では、入力情報生成部１０２は画像特徴量に基づいて推論を行い、当該画像所見を尤度付きの画像所見へと変換する例を説明する。

たとえば、画像特徴量｛ｉ_１，ｉ_２，…，ｉ_Ｍ｝から変換したい画像所見が形状（Ｆ_１：ｆ_１１、ｆ_１２、ｆ_１３、ｆ_１４）の場合を考える。入力情報生成部１０２は、画像特徴量を入力として、ｆ_１１、ｆ_１２、ｆ_１３、ｆ_１４の尤度を出力する。ｆ_１１の尤度をＬ（ｆ_１１）とすると、Ｌ（ｆ_１１）＋Ｌ（ｆ_１２）＋Ｌ（ｆ_１３）＋Ｌ（ｆ_１４）＝１．０となる。画像所見についての推論の手法は、尤度付きで値を出力できる様々な手法を利用できる。第二の実施形態では多値ニューラルネットワークを用いるものとする。また、以下では変換された尤度付き画像所見をＦ_１（）で表す。すなわち、入力情報生成部１０２は、画像特徴量と対応する所見の情報を取得し、当該画像特徴量を当該所見で表すことについての尤度すなわち統計情報を取得する。

そして、入力情報生成部１０２は、変換した画像所見と臨床情報の集合を入力情報として生成する。画像所見は尤度を保持したまま入力情報とする。たとえば、臨床情報が｛ｃ_１２，ｃ_２２，…，ｃ_Ｊ｝、変換した画像所見が｛Ｆ_１（），Ｆ_２（），…｝の場合は、入力情報Ｅ_ｆはＥ_ｆ＝｛ｃ_１２，ｃ_２２，…，ｃ_Ｊ，Ｆ_１（），Ｆ_２（），…｝となる。

ステップＳ３０３０において、推論部１０６は、ステップＳ３０２０で生成した入力情報を基に、診断対象である肺の異常陰影に関する推論を実行する。推論手法は第一の実施形態と同様にベイジアンネットワークを利用するものとする。すなわち推論部１０６は、画像特徴量に基づいて取得された所見の情報を入力情報として推論を行う。

第二の実施形態では画像所見の値が尤度で示されているため、全ての画像所見の組み合わせについて推論を実行し、尤度を用いて推論結果を統合するものとする。ここでは、画像所見がＦ_ａ｛ｆ_ａ１，ｆ_ａ２｝、Ｆ_ｂ｛ｆ_ｂ１，ｆ_ｂ２｝、臨床情報が｛ｃ_Ｊ｝である場合を例に説明する。まず、推論部１０６は入力情報に含まれる要素の全ての組み合わせを考慮した仮入力情報（Ｅ_ｚ）を生成する。この例の場合、推論部１０６はＥ_１＝｛ｆ_ａ１，ｆ_ｂ１，ｃ_Ｊ｝、Ｅ_２＝｛ｆ_ａ１，ｆ_ｂ２，ｃ_Ｊ｝、Ｅ_３＝｛ｆ_ａ２，ｆ_ｂ１，ｃ_Ｊ｝、Ｅ_４＝｛ｆ_ａ２，ｆ_ｂ２，ｃ_Ｊ｝の４つの仮入力情報を生成する。そして推論部１０６は、夫々の仮入力情報を用いてＰ（ｄ_ｓ｜Ｅ_ｚ）を取得する。さらに推論部１０６は、各Ｐ（ｄ_ｓ｜Ｅ_ｚ）に画像所見の尤度を積算し、その結果を加算したものを最終的な推論結果として取得する。上記の例では、推論部１０６は、Ｌ（ｆ_ａ１）×Ｌ（ｆ_ｂ１）×Ｐ（ｄ_ｓ｜Ｅ_１）＋…＋Ｌ（ｆ_ａ２）×Ｌ（ｆ_ｂ２）×Ｐ（ｄ_ｓ｜Ｅ_４）を最終的な推論結果Ｐ（ｄ_ｓ｜Ｅ_ｆ）とする。上述の例では、推論結果を式６で表すことができる。

すなわち推論部１０６は、入力された情報に含まれる所見の情報のうち少なくとも一部の情報からなる仮入力情報を複数生成し、複数の仮入力情報に基づいてそれぞれ推論される結果と、尤度すなわち統計情報とに基づいて診断名を推論する。なお、取得量を減らすために、推論部１０６は閾値以下の尤度をもつ画像所見の値は考慮しないようにしてもよい。

ステップＳ３０４０の処理は第一の実施形態における処理と同様である。

ステップＳ３０５０において、提示度取得部１１０はステップＳ３０２０で取得した画像所見の尤度と、ステップＳ３０４０で取得した影響度を利用して提示度を取得する。提示度取得部１１０は、臨床情報の各要素の影響度の絶対値を提示度として取得する。また提示度取得部１１０は、入力情報生成部１０２により変換された画像所見の尤度と影響度の絶対値の積を提示度として取得する。すなわち提示度取得部１１０は画像所見について、影響度と、統計情報の一例である尤度とに基づいて提示度Ｌ（ｆ_ｎｋ）×Ｉ（ｆ_ｎｋ）を取得する。

ステップＳ３０６０、ステップＳ３０７０の処理は、第一の実施形態における処理と同様である。すなわち選択部１１２は、入力情報に含まれる所見の情報の、推論に対する影響度と、画像特徴量に示される領域を当該所見の情報で表すことについての統計情報に基づく値である提示度に基づいて、推論の根拠として提示する情報を選択する。そして、表示制御部１１４は選択部１１２により選択された情報を、推論の根拠として提示する。

第二の実施形態によれば、診断支援装置１００は、医用画像を画像処理した結果から画像所見へと変換するとともに、変換した画像所見と臨床情報を入力情報とする。そして、入力情報の各要素の提示度を取得し、提示度をもとに参考情報となる画像所見や臨床情報を提示する。これにより、ユーザである医師は、人間にとって理解しやすい画像所見や臨床情報といった形で参考情報を確認することができ、それゆえ自身の診断の一助とすることができる。

（第二の実施形態の変形例１）
ステップＳ３０２０では、入力情報生成部１０２が画像特徴量に基づく推論により尤度付きで各画像所見を取得する例について説明した。これに限らず、たとえば第一の実施形態のように類似症例を検索して所見の情報を取得してもよく、相関比を用いて所見の情報を取得してもよい。

類似症例を検索して所見の情報を取得する場合は、たとえばマハラノビス距離を用いて類似度Ｓｉｍ（Ｔ_ｘ）を取得し、式３の提示度取得の式を所見の尤度としてもよい。

相関比を用いて所見の情報を取得する場合は、たとえば式７により尤度を取得できる。

（第二の実施形態の変形例２）
ステップＳ３０３０では全ての画像所見の組み合わせについて仮入力情報を生成し、仮入力情報による推論結果を統合して最終的な推論結果としていた。しかし、全ての画像所見の組み合わせについて行わなくてもよい。たとえば、それぞれの画像所見について最も尤度が高い画像所見の値のみを推論に用いることにしてもよい。

［第三の実施形態］
第三の実施形態では、推論部１０６に対する入力情報の中に、画像特徴量に基づいて取得された所見の情報と、付帯情報としてたとえば医師が入力した所見の情報とが含まれている場合を例に説明する。

第三の実施形態にかかる診断支援装置１００の機能構成は第一の実施形態における図１と同様である。また、診断支援装置１００のハードウェア構成は第一の実施形態における図２と同様である。即ち、ＣＰＵ２０１が主メモリ２０２、磁気ディスク２０３に格納されているプログラムを実行することにより、第三の実施形態の診断支援装置１００の機能（ソフトウェア）及び図３のフローチャートに例示される処理が実現される。

図３は、第三の実施形態にかかる診断支援装置１００により行われる処理の一例を示すフローチャートである。第一の実施形態と同様の処理については上述した説明を援用することにより詳しい説明を省略し、以下では第一の実施形態との相違部分について説明する。

ステップＳ３０００、ステップＳ３０１０の処理は、第一の実施形態における処理と同様である。

ステップＳ３０２０において、入力情報生成部１０２は、ステップＳ３０００で取得した臨床情報と、付帯情報に含まれる画像所見と、ステップＳ３０１０で取得した画像特徴量を基に入力情報を生成する。たとえば、ステップＳ３０００で取得した臨床情報が｛ｃ_１２，ｃ_２２，…，ｃ_Ｊ｝、付帯情報に含まれる画像所見が｛ｆ_１１，ｆ_３１｝、ステップＳ３０１０で取得した画像特徴量が｛ｉ_１，ｉ_２，…，ｉ_Ｍ｝だった場合を考える。この場合、入力情報Ｅ_ｆはＥ_ｆ＝｛ｃ_１２，ｃ_２２，…，ｃ_Ｊ，ｆ_１１，ｆ_３１，ｉ_１，ｉ_２，…，ｉ_Ｍ｝となる。

ステップＳ３０３０、ステップＳ３０４０の処理は、第一の実施形態における処理と同様である。

ステップＳ３０５０において、提示度取得部１１０はステップＳ３０４０で計算した影響度を利用して、参考情報の候補の提示度をそれぞれ計算する。提示度取得部１１０は、画像所見、臨床情報の各要素の影響度の絶対値をそれぞれの提示度として取得する。また提示度取得部１１０は、画像特徴量を提示度付きの画像所見へと変換する。

第三の実施形態では第一の実施形態と同様に類似症例を検索して、画像特徴量に基づく画像所見を取得することとする。類似症例の検索により取得された画像所見と、医師により入力された画像所見とが重複している場合が考えられる。このように画像所見が重複している場合には、たとえば提示度取得部１１０は類似症例検索で得られた画像所見を参考情報の候補としないこととする。たとえば、入力情報に含まれる画像所見がｆ_１１で、提示度付きの画像所見は図６（ｃ）に示すものが得られた場合を考える。この場合、医師によりＦ_１の値であるｆ_１１が入力されているため、提示度付きの画像所見のうち、Ｆ_１の値であるｆ_１１、ｆ_１４は参考情報の候補とせず、たとえば提示度をゼロとする。したがって、参考情報の候補には、Ｆ_１に関してはｆ_１１のみが含まれる。付帯情報であるｆ_１１の提示度は、影響度の絶対値である。

ステップＳ３０６０、ステップＳ３０７０の処理は第一の実施形態と同様である。

第三の実施形態によれば、診断支援装置１００は、付帯情報として画像所見が含まれている場合には、入力情報を画像特徴量、画像所見、臨床情報とする。そして、入力情報を基に推論を行い、入力情報の各要素の推論結果への影響度を取得する。さらに、各要素の影響度を用いて提示度を取得する。ただし、画像特徴量から変換した画像所見と入力情報に含まれる画像所見が重複した場合には、後者の画像所見を優先する。これにより、ユーザである医師が自ら入力した画像所見も含めて推論を実施するのに加え、人間にとって理解しやすい画像所見や臨床情報といった形で参考情報を提示することができる。さらに、ユーザは自身の考えも考慮した推論の根拠を確認することができる。

［第四の実施形態］
第四の実施形態に係る診断支援装置は、推論部への入力情報を、機械学習により構築した導出器を用いて生成する。診断支援装置が診断名を推論するための推論器の構築には、必要な情報を含む豊富なデータセットが必要である。医用画像と診断名との情報を含むデータセットからは、新しい医用画像を入力として診断名を推論する推論器を構築することが可能である。一方、医用画像と医師が医用画像から読み取った特徴を文言で表現した画像所見との情報を含むデータセットからは、新しい医用画像を入力として画像所見を推論する推論器を構築することが可能である。しかしながら、医用画像と画像所見との情報を含むデータセットは、必ずしも豊富に得られないおそれがある。第四の実施形態は、推論器の構築に用いることができるデータセットにおいて、必要な情報が少量しか得られない場合にも精度の高い推論器を構築し、当該推論器による診断支援装置を提供することを目的とする。

図８は、第四の実施形態における診断支援装置８００の機能構成の一例を示す図である。第二の実施形態における診断支援装置１００と同様の機能構成には同一の符号を付し、上述した説明を援用することにより、ここでの詳しい説明を省略する。第四の実施形態における入力情報生成部８０２は、第二の実施形態における入力情報生成部１０２の機能に加えて画像特徴量取得部１０４の機能を含む。すなわち、第四の実施形態における入力情報生成部８０２は、症例情報入力端末２００から取得した情報（医用画像、臨床情報、付帯情報）に基づいて、画像所見を導出する。

図９は、第四の実施形態にかかる診断支援装置８００により行われる処理の一例を示すフローチャートである。第二の実施形態と同様の処理については上述した説明を援用することにより詳しい説明を省略し、以下では第二の実施形態との相違部分について説明する。

ステップＳ９０００の処理は、第二の実施形態におけるステップＳ３０００の処理と同様である。

ステップＳ９０２０において、入力情報生成部８０２は、ステップＳ９０００で取得した情報を基に、尤度付きの画像所見を導出する。そして、入力情報生成部８０２は、導出した画像所見と臨床情報の集合を入力情報として生成する。

ここで、入力情報生成部８０２が尤度付きの画像所見を導出する処理は、医用画像を所見項目のいずれかの値に分類する導出器（分類器）を用いて行う。導出器は所見の項目の数だけ作成される。すなわち、形状（Ｆ_１：ｆ_１１、ｆ_１２、ｆ_１３、ｆ_１４）を分類する導出器と、切れ込み（Ｆ_２：ｆ_２１、ｆ_２２、ｆ_２３）を分類する導出器は別である。導出器は、医用画像に所見項目毎の分類の正解ラベルが付与されたデータ群を用いて、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）により構築する。ＣＮＮは機械学習の一例である。入力情報生成部８０２は、分類モデルの出力をソフトマックス関数で処理することにより、分類の尤度を合わせて取得することができる。

なお、導出器には、前処理を施した医用画像を入力するようにしてもよい。例えば、異常陰影の位置をもとに、医用画像からＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）やＶＯＩ（Ｖｏｌｕｍｅ Ｏｆ Ｉｎｔｅｒｅｓｔ）を切り出した部分画像を入力してもよい。また、特定の領域のみをマスク処理した画像や、コントラスト強調などの画像処理を施した画像を入力してもよい。

ステップＳ９０３０からＳ９０７０の処理は、第二の実施形態におけるステップＳ３０３０からＳ３０７０の処理と同様である。

以上のように、第四の実施形態にかかる推論部１０６は、医用画像に基づいて画像所見の情報を出力する導出器（入力情報生成部８０２）を介して、診断名を推論し、当該推論の根拠となる画像所見の情報を出力する。第四の実施形態にかかる診断支援装置は、医用画像に基づいて画像所見の情報を出力する導出器を介して、推論される診断名と、当該推論の根拠となる画像所見の情報をユーザに提示する。

第四の実施形態によれば、尤度付き所見を導出する処理をＣＮＮによって構築することにより、所見に影響する画像特徴量が未知である場合にも、精度よく所見を導出することができるようになる。そして、第二の実施形態と同様に、ユーザである医師は、人間にとって理解しやすい画像所見や臨床情報といった形で診断名の推論の根拠となった情報を把握することができる。

（第四の実施形態の変形例１）
医用画像を所見項目のいずれかの値に分類する導出器は、他の目的で作成された導出器のモデルを流用して作成してもよい。例えば図１０に示すように、医用画像を診断名のいずれかに分類する導出器である診断推論器１００１をＣＮＮにより構築し、そのモデルを流用して、医用画像を所見項目のいずれかの値に分類する導出器である診断推論器１００２を構築する。モデルの流用は、例えば特許文献２に開示されている方法で行う。即ち、元となるモデルと最終レイヤ以外の構造及びパラメータが同一である流用モデルを用意し、目的のデータセットで学習し直すことで、モデルのパラメータを更新する。また、流用元のモデルと畳み込み層のみを同一にするなど、他の方法でモデルを流用してもよい。

なお、流用元のモデルは診断の導出器に限らない。例えば、オートエンコーダ等の公知の教師なし学習手法により作成されたモデルを流用してもよい。

この場合、図１０に示すように、医用画像を基に診断名を推論する診断推論器が二つ存在することになる。一つは医用画像から直接診断名を推論する診断推論器１００１であり、もう一つは医用画像から所見を介して診断名を推論する診断推論器１００２である。診断推論器１００２は提示度算出部１１０及び選択部１１２により、推論根拠となる情報を併せて取得することができる。

すなわち、診断推論器１００２は、予め収集されたデータセット群を用いて以下のようにして取得される。当該データセット群は少なくとも診断名の情報を含む。第1の工程において、医用画像から診断名を推論する第１の推論器が機械学習により取得される。診断推論器１００１は第１の推論器の一例である。第２の工程において、第１の推論器と構成の一部が共通し、医用画像から画像の特徴を表す画像所見を推論する第２の推論器が機械学習により取得される。図１０に示す診断推論器に含まれるＣＮＮにより構成される推論器は第２の推論器の一例である。第３の工程において、画像所見から診断名を推論し、当該推論の根拠となる画像所見の情報を出力する第３の推論器が取得される。図１０に示す診断推論器１００２に含まれる診断・根拠推論器は第３の推論器の一例である。第４の工程において、第２の推論器と第３の推論器とに基づいて、医用画像から診断名を推論する第４の推論器を取得する。診断推論器１００２は、第４の推論器の一例である。なお、診断推論器１００２の取得にかかる第３の工程は、第１の工程および第２の工程に先だって行われてもよく、並行して行われてもよい。

第四の実施形態における診断支援装置８００は、入力情報生成部８０２及び推論部１０６に換えて、診断推論器１００１と診断推論器１００２のいずれかを使用するように構成してもよい。または、診断推論器１００１と診断推論器１００２の両方を使用するように構成してもよい。

ここで、推論した診断名をユーザに提示する際に、使用した診断推論器の精度の情報を併せて提示してもよい。診断推論器の精度は、予め収集されたデータセット群のうち、診断推論器の取得（学習時）において使用されていないデータセット群を評価用データセット群とし、正解ラベルと推論結果とが一致する数の割合により求まる。推論部１０６は、使用した診断推論器の精度を評価する評価部（不図示）を含んでいてもよいし、診断支援装置８００は評価部（不図示）を有していてもよい。評価部（不図示）は、評価手段の一例である。

なお、評価部（不図示）は診断推論の精度を、画像の分類毎に算出するようにしてもよい。すなわち評価部（不図示）は、画像の特徴により分類されたカテゴリ毎に精度を評価してもよい。カテゴリとは例えば、医用画像に描画されている被検体の構造である。評価部（不図示）は例えば、胸壁が映っている画像と映っていない画像の各々について、精度を算出してもよい。そして、推論部１０６は推論の対象として新たに、胸壁が映っている画像が入力された場合には、胸壁が映っている画像のカテゴリで精度の高い診断推論器を用いてもよい。これにより推論部１０６は、入力される画像に応じて適切な診断推論器を選択することができる。

また、ユーザに提示する診断名は、精度の高い診断推論器による推論結果を選択的に用いてもよいし、二つの診断推論器による結果を同時に提示してもよい。

また、使用する診断推論器は、推論根拠を出せるか否か等の付帯機能により選択してもよい。これにより、ユーザが明示的に所見を入力している場合は推論根拠を出せる診断推論器１００２を用い、ユーザが画像を閲覧している場合は精度の高い診断推論器を用いるなど、ユーザの状況に応じて適切な推論器を選択することができる。すなわち、推論部はユーザの操作入力に基づいて推論器を選択してもよい。

また、診断推論器１００１により診断名を推論すると同時に、診断推論器１００２により診断名と推論根拠を推論し、各々の診断推論器の推論結果が同一である場合は診断推論器１００２の推論結果と推論根拠をユーザに提示し、異なる場合は精度の高い推論器による推論結果をユーザに提示してもよい。これにより、入力される画像に応じて適切な診断推論器を選択することができる。

本変形例によれば、医用画像の特徴を取得するように事前に学習されたモデルを流用することにより、医用画像に所見の正解ラベルが付与されたデータ群の数が少ない場合でも、ＣＮＮにより精度よく所見を導出することができるようになる。

（第四の実施形態の変形例２）
第四の実施形態の変形例１において、流用元のモデルの中間レイヤの出力を画像特徴として抽出し、画像特徴量抽出器として用いてもよい。画像特徴量抽出器は、第四の実施形態における入力情報生成部８０２の一部として使用する。すなわち、入力情報生成部８０２は、画像特徴量抽出器で抽出された画像特徴に基づいて、サポートベクターマシンやランダムフォレスト等の手法により、所見を導出する。

本変形例によれば、医用画像の特徴を取得するように事前に学習されたモデルを流用することにより、医用画像に所見の正解ラベルが付与されたデータ群の数が少ない場合でも、精度よく所見を導出することができるようになる。

［変形例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（たとえば、ＡＳＩＣ）によっても実現可能である。

上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

Claims (14)

1. 医用画像から診断名を推論する第１の推論器を機械学習により取得する工程と、
   前記第１の推論器と構成の一部が共通し、医用画像から画像の特徴を表す画像所見を推論する第２の推論器を機械学習により取得する工程と、
   画像所見から診断名を推論する第３の推論器を取得する工程と、
   前記第２の推論器と前記第３の推論器とに基づいて、医用画像から診断名を推論する第４の推論器を取得する工程と、
   を有することを特徴とする情報処理方法。
2. 前記第３の推論器は、推論される診断名の根拠となる画像所見を出力する推論器であることを特徴とする請求項１に記載の情報処理方法。
3. 診断名の情報を含むデータセット群を収集する工程と、
   前記データセット群のうち、前記第１の推論器の取得において使用されていないデータセットを含む評価用データセット群を取得する工程と、
   前記評価用データセットを用いて前記第１の推論器の精度と前記第４の推論器の精度とを評価する工程と、
   を有することを特徴とする請求項１に記載の情報処理方法。
4. 医用画像から診断名を推論する複数の推論器と、
   前記複数の推論器のうち少なくとも一つの推論器を用いて、医用画像を前記少なくとも一つの推論器への入力として診断名を推論する推論手段と、
   前記推論手段により推論される診断名を提示する提示手段と、を有することを特徴とする診断支援装置。
5. 前記複数の推論器の精度を評価する評価手段をさらに有することを特徴とする請求項４に記載の診断支援装置。
6. 前記提示手段は、診断推論器の精度の情報を、診断名と合わせて提示することを特徴とする、請求項５に記載の診断支援装置。
7. 前記推論手段は、前記複数の推論器のうち、前記評価手段によって評価される精度の高い推論器を選択して推論することを特徴とする、請求項５又は請求項６のいずれか１項に記載の診断支援装置。
8. 前記評価手段は、画像の特徴により分類されたカテゴリ毎に精度を評価し、
   前記推論手段は、前記複数の推論器のうち、画像の前記カテゴリ毎に精度の高い推論器を選択して推論することを特徴とする、請求項７に記載の診断支援装置。
9. 前記複数の推論器に含まれる第１の推論器は医用画像を入力として診断名を推論し、前記複数の推論器に含まれる第２の推論器は医用情報を入力として画像の特徴を表す画像所見を推論し、前記第１の推論器と前記第２の推論器とは構成の一部が共通し、
   前記推論手段は、前記第２の推論器により推論される画像所見を入力として診断名を推論し、
   前記評価手段は、前記第１の推論器の精度と、前記第２の推論器により推論される画像所見を入力とする診断名の推論の精度とを比較することを特徴とする請求項５乃至請求項８のいずれか１項に記載の診断支援装置。
10. 前記推論手段は、前記複数の推論器のうち、ユーザの操作入力に基づいて推論器を選択して推論することを特徴とする、請求項４乃至請求項請求項９のいずれか１項に記載の診断支援装置。
11. 前記複数の推論器のうち少なくとも一部の推論器は、機械学習により生成されることを特徴とする請求項４乃至請求項１０のいずれか１項に記載の診断支援装置。
12. 前記複数の推論器に含まれる第１の推論器は医用画像を入力として診断名を推論し、前記複数の推論器に含まれる第２の推論器は医用情報を入力として画像の特徴を表す画像所見を推論し、前記第１の推論器と前記第２の推論器とは構成の一部が共通し、
    前記推論手段は、前記第２の推論器を用いて診断名を推論することを特徴とする請求項４乃至請求項１１のいずれか１項に記載の診断支援装置。
13. 前記複数の推論器に含まれる第３の推論器は前記第２の推論器が推論する画像所見を入力として診断名を推論し、前記推論の根拠となる画像所見を出力し、
    前記推論手段は前記第３の推論器を用いて診断名を推論することを特徴とする請求項１２に記載の診断支援装置。
14. 前記推論手段は、前記複数の推論器のうち、推論器が出力することができる情報に応じて推論器を選択して診断名を推論することを特徴とする請求項４乃至請求項１２のいずれか１項に記載の診断支援装置。

Images