JP2017191469A - 診断支援装置、情報処理方法、診断支援システム及びプログラム - Google Patents

Abstract

【課題】 推論の根拠となる情報を、医師が容易に内容を把握することができる所見の情報として提示することができる装置を提供する。
【解決手段】 診断支援装置は、医用画像に含まれる領域の特徴を示す値である画像特徴量に基づいて、医用画像から導かれる診断名を推論し、画像特徴量に基づいて医用画像に含まれる領域の特徴を表現する所見の情報を取得し、推論の根拠として所見の情報を提示する。
【選択図】 図３

Description

本発明は、診断支援装置、情報処理方法、診断支援システム及びプログラムに関する。

昨今、多様な医用情報が診断に活用されており、コンピュータで医用画像をはじめとする医用情報を解析して得られた結果を診断の補助として利用するためのシステムに関する技術への期待が高まっている。特許文献１には、医用画像を解析して得られる画像特徴量と過去の症例における読影項目とに基づいて類似する症例を検索するシステムにおいて、検索に用いる読影項目によってどのような検索結果が得られるかをユーザに提示することが開示されている。

特開２０１４−２９６４４号公報

コンピュータが医用情報を解析して得られた結果を医師が診断の補助として利用するうえで、解析の結果のみを提示されても、医師はその結果が有用であるか否かを判断しかねる場合がある。特許文献１に開示の技術においては、検索に用いた読影項目と関係が深い過去の症例を提示するのみであり、対象としている診断にとって有用な情報であるか否かを把握できないおそれがある。

本発明の実施形態の一つにかかる診断支援装置は、医用画像に含まれる領域の特徴を示す値である画像特徴量に基づいて、前記医用画像から導かれる診断名を推論する推論手段と、前記画像特徴量に基づいて、前記医用画像に含まれる前記領域の特徴を表現する所見の情報を取得する取得手段と、前記推論手段による推論の根拠として、前記取得手段により取得された所見の情報を提示する提示手段と、を有することを特徴とする。

本発明の実施形態の一つによれば、推論の根拠となる情報を、医師が容易に内容を把握することができる所見の情報で提示することができるので、医師は推論の結果が診断に有用であるか否かを容易に判断することができる。

本発明の実施形態に係る診断支援装置の機能構成の一例を示す図である。 本発明の実施形態に係る診断支援装置ハードウェア構成の一例を示す図である。 本発明の実施形態に係る診断支援装置による処理の一例を示すフローチャートである。 本発明の実施形態に係る診断支援装置により取得される情報の一例を示す図である。 本発明の実施形態に係る診断支援装置により取得される情報の一例を示す図である。 本発明の実施形態に係る診断支援装置により取得される情報の一例を示す図である。 本発明の実施形態に係る診断支援装置により表示される画面の一例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。

［第一の実施形態］
医療の分野では、Ｘ線ＣＴ装置（Ｃｏｍｐｕｔｅｒ Ｔｏｍｏｇｒａｐｈｙ）やＭＲＩ装置（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）等の撮影装置により得られた医用画像に基づいて診断を行う、画像診断が行われている。ここで、医用画像を観察して診断を導きだすことを読影という。画像診断では、たとえば主治医からの読影の依頼に応じて、画像診断を専門とする読影医が読影を行う。読影医は画像から得られる所見（以下、画像所見と称する。）や各種の測定値から総合的に判断して、医用画像に描出される病変や被検体である患者の症状を特定する。そして読影医は、画像所見や測定値を利用してその診断に至った経緯を、依頼元の主治医への読影レポートとして記載する。

このような読影を支援するために、コンピュータが医用情報を解析して得られた結果を提示するシステムが提案されている。医師が当該解析の結果を利用する上で、当該結果の根拠となった情報を提示できるようにすることが好ましい。しかしながら、当該解析に入力された情報（以下、入力情報と称する。）が、たとえば画像に描出された特徴を数値化した画像特徴量のような情報の場合には、当該結果に影響を及ぼした情報を同定して提示しても、ユーザにとってわかりづらい情報である場合がある。本発明の第一の実施形態にかかる診断支援装置は、入力情報に画像特徴量のようなユーザにとってわかりづらい情報が含まれる場合であっても、推論結果を導出した手掛かりとなる情報（以下、参考情報と称する）を、ユーザが直感的に理解できる参考情報を提示することを目的とする。ユーザが直感的に理解できる参考情報とは、たとえば病変領域の特徴を言語で表現した所見の情報である。

以下、詳述する。第一の実施形態にかかる診断支援装置１００は、読影の対象となる医用画像や、電子カルテ等に記載された情報等を取得し、診断の手掛かりとなる情報（参考情報）を提示することにより診断支援を行う。

なお以下では、診断支援装置１００は、肺の異常陰影の読影に係る医用画像と、当該医用画像に付帯する情報と、過去の病歴や腫瘍マーカー等の血液検査値といった、診療の過程で得られた情報（以下、臨床情報と称する。）を取得するものとする。そして、取得した情報を基に入力情報を生成し、入力情報から診断の手掛かりとなる情報（参考情報）をユーザ（医師）に理解可能な形式で生成し、提示する場合を例として説明する。もちろん対象はこれに限定されるものではなく、以下に示す診断名や画像特徴量、画像所見、臨床情報等は、何れも診断支援装置の処理の工程を説明するための一例に過ぎない。

図１は、診断支援装置１００の機能構成の一例を示す図である。診断支援装置１００は、症例情報端末２００と通信可能に接続されている。診断支援装置１００は、入力情報生成部１０２と、画像特徴量取得部１０４と、推論部１０６と、影響度取得部１０８と、提示度取得部１１０と、選択部１１２と、表示制御部１１４とを有する。診断支援装置１００の各機能構成は内部バス等で接続されている。

症例情報端末２００は、診断対象である症例に関する情報をサーバ（不図示）から取得する。症例に関する情報とは、たとえば医用画像や電子カルテに記載された臨床情報といった医用情報である。症例情報端末２００は、たとえばＦＤＤ、ＨＤＤ、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ、ＺＩＰドライブといった外部記憶装置（不図示）と接続し、それらの外部記憶装置から医用情報を取得するようにしてもよい。

また、症例情報端末２００は、表示制御部１１４を介して、ユーザが読影可能な形で医用情報をモニタ１００５に表示させてもよい。すなわち症例情報端末２００は、表示制御部１１４を介して、モニタ１００５に表示される医用画像上に異常陰影が存在するとユーザが考える領域の座標情報をユーザに入力させるＧＵＩを提供する。あるいは、症例情報端末２００は、表示制御部１１４を介して、モニタ１００５に表示される医用画像上の領域について、ユーザに画像所見を入力させるＧＵＩを提供してもよい。症例情報端末２００は、当該ＧＵＩを介してユーザが入力した情報を、当該医用画像に付帯する情報（以下、付帯情報と称する。）として取得する。

そして、症例情報端末２００は、医用画像や臨床情報といった医用情報と付帯情報とを、ネットワーク等を介して診断支援装置１００へと送信する。

入力情報生成部１０２は、症例情報端末２００から診断支援装置１００へ送信された情報、たとえば医用画像、臨床情報、付帯情報に基づいて、入力情報を生成する。ここで入力情報とは、推論部１０６による推論の入力とするそれぞれの情報を要素とする集合である。第一の実施形態においては、入力情報生成部１０２は医用画像と付帯情報を画像特徴量取得部１０４へと出力し、当該出力に応じて画像特徴量取得部１０４から出力された画像特徴量を取得する。そして入力情報生成部１０２は、取得した画像特徴量と臨床情報とを入力情報とし、当該入力情報を推論部１０６と影響度取得部１０８へと出力する。

画像特徴量取得部１０４は、入力情報生成部１０２から出力された医用画像と付帯情報とに基づいて、画像特徴量を取得する。画像特徴量取得部１０４は、読影の対象となる医用画像に対して画像処理を行い、当該医用画像の画像特徴量を取得する。たとえば異常領域を示す座標情報といった付帯情報が入力情報生成部１０２より出力された場合には、画像特徴量取得部１０４は当該座標情報により示される異常領域についての画像特徴量を取得できる。画像特徴量取得部１０４は、取得した画像特徴量を入力情報生成部１０２へと出力する。

推論部１０６は、入力情報生成部１０２が生成した入力情報を入力として、対象とする症例の診断名を推論する。第一の実施形態においては、肺の異常陰影に関する診断名の推論を例に説明する。推論部１０６は、異常陰影の位置を入力情報生成部１０２から出力された付帯情報に基づいて取得してもよいし、画像処理により特定してもよい。推論部１０６は、医用画像上の異常陰影が特定の診断名に該当する確率を推論結果として取得する。そして、取得した推論結果を影響度取得部１０８と、表示制御部１１４へと出力する。推論部１０６は、推論手段の一例である。

影響度取得部１０８は、入力情報生成部１０２が生成した入力情報と、推論部１０６が出力した推論結果とを用いて、入力情報に含まれる各要素が推論結果に与える影響度を取得する。影響度取得部１０８は、取得した各要素の影響度を提示度取得部１１０へと出力する。

提示度取得部１１０は、影響度取得部１０８が取得した影響度を利用して参考情報の候補である情報の提示度を取得する。参考情報は、推論部１０６による推論の根拠として表示制御部１１４によりユーザに提示される情報である。提示度は、参考情報の候補のうち、参考情報として提示するのに好適な度合いを示す指標である。提示度取得部１１０は、画像特徴量に基づいて画像所見を取得する。入力情報のうち画像所見と臨床情報が、参考情報の候補となる。提示度取得部１１０は、取得した参考情報の候補の提示度を、選択部１１２へと出力する。提示度取得部１１０は、取得手段の一例である。

選択部１１２は、提示度取得部１１０が取得した参考情報の候補の提示度に基づいて、参考情報すなわち推論の根拠として提示する情報を選択する。選択部１１２は、選択した情報を表示制御部１１４へと出力する。選択部１１２は、選択手段の一例である。

表示制御部１１４は、推論部１０６が出力した推論結果と、選択部１１２が選択した参考情報をユーザに提示する。表示制御部１１４は、推論結果と参考情報とに基づいて、モニタ１００５に表示する内容を制御する。

なお、図１に示した診断支援装置１００の各構成の少なくとも一部を独立した装置として実現してもよい。また、それぞれの機能を実現するソフトウェアとして実現してもよい。第一の実施形態では、各部はそれぞれソフトウェアにより実現されているものとする。

図２は、診断支援装置１００のハードウェア構成の一例を示す図である。ＣＰＵ１００１は、主として各構成要素の動作を制御する。主メモリ１００２は、ＣＰＵ１００１が実行する制御プログラムを格納したり、ＣＰＵ１００１によるプログラム実行時の作業領域を提供したりする。磁気ディスク１００３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。ＣＰＵ１００１が主メモリ１００２、磁気ディスク１００３に格納されているプログラムを実行することにより、図１に示した診断支援装置１００の機能（ソフトウェア）及び後述するフローチャートにおける処理が実現される。

表示メモリ１００４は、たとえばモニタ１００５に表示させるための表示用データを一時記憶する。モニタ１００５は、たとえばＣＲＴモニタや液晶モニタ等であり、表示メモリ１００４からのデータに基づいて画像やテキスト等の表示を行う。マウス１００６及びキーボード１００７は、ユーザによるポインティング入力及び文字等の入力をそれぞれ行う。

上記各構成要素は、共通バス１００８により互いに通信可能に接続されている。ＣＰＵ１００１はプロセッサの一例である。診断支援装置１００は複数のプロセッサを有していてもよい。たとえば診断支援装置１００は、推論部１０６の処理を専用に行うＧＰＵを有していてもよいし、推論部１０６の機能をプログラムしたＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を有していてもよい。また、主メモリ１００２や磁気ディスク１００３や表示メモリ１００４はメモリの一例である。

図３は診断支援装置１００により行われる処理の一例を示すフローチャートである。以下の説明では、画像特徴量をＩ_ｍ（ｍ＝１〜Ｍ）、画像所見をＦ_ｎ（ｎ＝１〜Ｎ）、臨床情報をＣ_ｊ（ｊ＝１〜Ｊ）で表すこととする。ここで、Ｉ_ｍの各要素は連続値、Ｆ_ｎの各要素は離散値（カテゴリ値）、Ｃ_ｊは要素により連続値または離散値を取るものとする。離散値を取る場合、各離散値をｆ_ｎｋ、ｃ_ｊｋで表すこととする。なお、ｋは各Ｆ_ｎ、Ｃ_ｊにより様々な値を取るものとする。また、画像特徴量Ｉ_ｍ、および、臨床情報Ｃ_ｊが連続値を取る場合、その値をｉ_ｍ、ｃ_ｊで表す。

第一の実施形態では、画像所見と臨床情報は図４に例示したような項目と値を扱うものとする。たとえば画像所見の場合、項目Ｆ_１の「形状」であれば、要素はｆ_１１「球形」、ｆ_１２「分葉状」、ｆ_１３「多角形」、ｆ_１４「不整形」の４値のいずれかである。項目Ｆ_２の「切れ込み」であれば、要素はｆ_２１「強い」、ｆ_２２「弱い」、ｆ_２３「なし」の３値のいずれかである。臨床情報である項目Ｃ_１の「発熱」であれば、要素はｃ_１１「あり」、ｃ_１２「なし」の２値のいずれかである。項目Ｃ_Ｊの「ＣＥＡ」（腫瘍マーカーの一種）であれば、要素は連続値ｃ_Ｊである。

また、以下の説明ではＩ_ｍ、Ｆ_ｎ、Ｃ_ｊの値を要素とする集合をＥと表記し、入力情報をＥ_ｆで表す。さらに、以下の説明では、診断名をＤで表す。第一の実施形態では、推論部１０６が肺の異常陰影に関する診断名の推論を行い、診断名として、原発性肺癌、癌の肺転移、その他の３値のいずれであるかを推論するものとする。以下では、原発性肺癌、癌の肺転移、その他、をそれぞれｄ_１、ｄ_２、ｄ_３と表記する。また、推論部１０６への入力として入力情報Ｅ_ｆが与えられた場合の診断名ｄ_ｓ（ｓ＝１，２，３）の推論確率を、Ｐ（ｄ_ｓ｜Ｅ_ｆ）と表記する。

ステップＳ３０００において、入力情報生成部１０２は、症例情報端末２００から診断支援装置１００へ送信された情報（医用画像、臨床情報、付帯情報）を取得する。第一の実施形態では、付帯情報として異常陰影の座標情報のみが送信された場合を例に説明する。

ステップＳ３０１０において、画像特徴量取得部１０４は、ステップＳ３０００で出力された医用画像と付帯情報とに基づいて画像処理を行い、画像特徴量を取得する。ここで取得する画像特徴量は、画像の処理対象領域内における濃度（輝度）の平均値や分散などの一般的な画像特徴量であってもよいし、フィルタ出力に基づく画像特徴量であってもよい。

第一の実施形態において画像特徴量取得部１０４は、ステップＳ３０００で取得した付帯情報（異常陰影の座標情報）を参照し、医用画像から異常陰影領域をセグメンテーションした後、画像処理により画像特徴量を取得するものとする。

ステップＳ３０２０において、入力情報生成部１０２は、ステップＳ３０００で取得した臨床情報と、ステップＳ３０１０で取得した画像特徴量とに基づいて入力情報を生成する。たとえば、ステップＳ３０００で取得した臨床情報が｛ｃ_１２，ｃ_２２，…，ｃ_Ｊ｝、ステップＳ３０１０で取得した画像特徴量が｛ｉ_１，ｉ_２，…，ｉ_Ｍ｝であったとする。この場合、入力情報Ｅ_ｆはＥ_ｆ＝｛ｃ_１２，ｃ_２２，…，ｃ_Ｊ，ｉ_１，ｉ_２，…，ｉ_Ｍ｝となる。

ステップＳ３０３０において、推論部１０６は、ステップＳ３０２０で姿勢された入力情報を基に、診断対象である肺の異常陰影に関する推論を実行する。すなわち推論部１０６は、医用画像に含まれる領域の特徴を示す値である画像特徴量に基づいて、当該医用画像から導かれる診断名を推論する。具体的には、Ｐ（ｄ_ｓ｜Ｅ_ｆ）を取得する。このとき推論を行う方法としては、ベイジアンネットワーク、サポートベクターマシン、ニューラルネットワークなどを用いた手法が挙げられる。第一の実施形態では、ベイジアンネットワークを利用するものとする。

ステップＳ３０４０において、影響度取得部１０８は、ステップＳ３０２０で生成した入力情報と、ステップＳ３０３０で実行した推論結果を用いて、入力情報の各要素が推論結果に与える影響度を取得する。すなわち、影響度取得部１０８は推論部１０６により推論の入力として用いられる情報のそれぞれに対して、診断名の推論に与えた影響の度合いである影響度を取得する。第一の実施形態では、各診断名のうち最も推論確率が高かった診断名ｄ_ｆに対する影響度を取得するものとする。具体的には、ある要素ｅ_ｖ（ｅ_ｖ∈Ｅ_ｆ）の影響度を、入力情報Ｅ_ｆを用いて推論した場合のｄ_ｆの推論確率から、Ｅ_ｆからｅ_ｖのみを除去して推論した場合のｄ_ｆの推論確率を引いたものとする。要素の影響度をＩ（ｅ_ｖ）で表し、影響度を式１のように定義する。

Ｉ（ｅ_ｖ）が正の場合は、ｅ_ｖを入力情報に含まないことによりｄ_ｆの推論確率が減少したことを示す。したがって、ｅ_ｖはｄ_ｆを肯定する情報と考えられる。一方、Ｉ（ｅ_ｖ）が負の場合は、ｅ_ｖを入力情報に含まないことによりｄ_ｆの推論確率が増加したことを示す。したがって、ｅ_ｖはｄ_ｆを否定する情報と考えられる。

ステップＳ３０５０において、提示度取得部１１０は、ステップＳ３０４０で取得した影響度を利用して、参考情報すなわち推論の根拠として提示する情報の候補についての提示度をそれぞれ取得する。画像所見及び臨床情報の各要素の提示度は、ステップＳ３０４０で取得した影響度の絶対値とする。また提示度取得部１１０は、画像特徴量の各要素の提示度を画像特徴量と画像所見の関係に基づいて取得する。

第一の実施形態では、提示度取得部１１０は、画像特徴量に基づいて類似症例を検索し、類似症例に関連付けられている所見の情報を利用して、画像特徴量を提示度付き画像所見へと変換する。類似症例は、症例情報端末２００に格納されている症例のデータベースから検索してもよいし、診断支援装置１００の外部のサーバ（不図示）に格納されている症例のデータベースから検索してもよい。症例情報端末２００や外部のサーバ（不図示）に格納されている各症例には、予め画像所見が付与されているものとする。すなわち、提示度取得部１１０は画像特徴量に基づいて画像所見を取得する。より詳しくは、提示度取得部１１０は、推論部１０６に対する入力情報に含まれる画像特徴量と関連する所見の情報を取得する
具体的には、提示度取得部１１０は、各画像特徴量の影響度の絶対値を重みとし、重み付け類似症例検索を行うことで類似度付きで複数の症例を抽出する。そして、抽出された症例（対象症例）に付与された画像所見と、診断支援装置により診断支援を行う対象の症例（以下、現症例と称する。）の画像特徴量との類似度を基に提示度を取得する。すなわち対象症例は、推論部１０６に対する入力情報に含まれる画像特徴量と類似した画像特徴量を有する類似症例の一例である。

まず、提示度取得部１１０は、類似度を以下のように取得する。対象症例（Ｔ_ｘ：ｘ＝１〜Ｘ）の各画像特徴量Ｉ_ｍの値をｉ_Ｔｘｍとし、現症例とＴ_ｘの間の類似度Ｓｉｍ（Ｔ_ｘ）を式２で表す。なお、各画像特徴量は［０，１］に正規化されているものとする。式２で表される類似度Ｓｉｍ（Ｔ_ｘ）は、現症例とＴ_ｘの画像特徴量の値が近いほど１に近い値を取る。

なお、提示度取得部１１０は、類似度を他の方法を用いて取得してもよい。提示度取得部１１０は、たとえば影響度を重みとして用いず、ＳとＴ_ｘのマハラノビス距離を類似度として用いてもよい。その場合はマハラノビス距離が０である場合に類似度が１となるように変換を行うのが望ましい。

さらに提示度取得部１１０は、類似度と対象症例に付与されている画像所見を基に、式３に表すような画像所見の値の提示度（Ｐｒｅ（ｆ_ｎｋ））を取得する。

式３において、δ_ｘ（ｆ_ｎｋ）はＴ_ｘに画像所見の値ｆ_ｎｋが付与されている場合に１をとり、付与されていない場合には０をとる関数を示す。式３は、類似度が高い対象症例群において共通している画像所見の値が多いほど、その画像所見の値の提示度が大きくなることを示す。すなわち提示度取得部１１０は、類似度と、対象症例群においてある画像所見が関連付けられている頻度を示す統計情報に基づいて、提示度を取得する。また、画像特徴量は提示度付きの画像所見へと変換される。

上述の例では、提示度取得部１１０は類似症例を格納するデータベースに含まれている全データ（Ｘ症例）を用いて提示度を取得した。しかしこれに限らず、提示度取得部１１０は類似度の上位Ｘ’症例のみを用いて取得してもよいし、閾値を設定しておき、類似度がその閾値を超えるＸ”症例のみを用いて取得しても良い。

ステップＳ３０６０において、選択部１１２はステップＳ３０５０で取得した提示度に基づき、推論の根拠として提示する情報を選択する。選択部１１２は、推論部１０６に対する入力情報のうち、画像特徴量を除く要素と、Ｓ３０５０で取得した画像所見から、推論の根拠として提示する情報を選択する。選択部１１２により選択された情報が参考情報すなわち推論の根拠として提示される情報となる。すなわち選択部１１２は、推論部１０６に対する入力情報に含まれる画像特徴量と類似症例の画像特徴量との類似度と、当該類似症例に画像所見が関連付けられている頻度を示す統計情報に基づく値である提示度に基づいて、推論の根拠として提示する情報を選択する。

第一の実施形態では提示度の大きい順に３つ情報を選択するものとする。ただし、一つの画像所見の項目（たとえばＦ_ｎ）として、複数の値を取り得る場合（たとえばｆ_ｎ１、ｆ_ｎ２）には、提示度が最も高い値のみを選択し、他の値は無視するものとする。もちろん選択数や選択方法はこれに限定されない。たとえば、選択数は３以外でもよい。選択方法は、所定の閾値を満たすものを選択することとしてもよい。

ステップＳ３０７０において、表示制御部１１４はステップＳ３０３０で取得した推論結果と、ステップＳ３０６０で選択した情報を基に、表示する内容を制御する。すなわち、表示制御部１１４は、推論の根拠として、診断支援の対象である症例の医用画像に含まれる領域の特徴を表現する所見の情報であって、選択部１１２に選択された情報を提示する。

以下、図５から図７を用いてステップＳ３０４０からステップＳ３０７０の流れを説明する。たとえば、ステップＳ３０４０において推論部１０６に入力された入力情報の各要素に対して、図５に示すような影響度が影響度取得部１０８により取得されたとする。ステップＳ３０５０において提示度取得部１１０は、入力情報のうち図６（ａ）に示す画像特徴量ｉ_１〜ｉ_ｍに関して、式２により対象症例との類似度を取得する。そして提示度取得部１１０は、図６（ｂ）に示すように各対象症例との類似度と各対象症例に関連付けられた画像所見を用いて、式３により提示度を取得する。これにより、入力情報に含まれる画像特徴量が、提示度付きの画像所見の値に変換される。すなわち提示度取得部１１０は、Ｍ個の画像特徴量を、Ｙ個の、提示度付きの画像所見の値に変換する。その結果、提示度取得部１１０は、図６（ｃ）に示すような提示度付きの画像所見を取得する。また、提示度取得部１１０は、入力情報のうち臨床情報の影響度の絶対値を提示度として取得する。その結果、提示度取得部１１０は、図６（ｄ）に示すような、提示度付きの臨床情報を取得する。なお、この例では不図示のデータベースに格納された全症例を用いているため現症例の画像特徴量の値によらず、Ｙは常に同一の個数となる。一方、前述したように上位Ｘ’症例に限った場合や閾値を超えるＸ”症例に限った場合にはＹの値が変化してもよい。

そして、ステップＳ３０６０において、画像所見、臨床情報の各要素の提示度を基に情報を選択する。図６の例では、各要素の値を提示度の大きい順に並べるとｆ_１４、ｆ_Ｎ１、ｆ_Ｎ２、ｃ_Ｊ、…の順番となる。しかし、ｆ_Ｎ１とｆ_Ｎ２はいずれもＦ_Ｎの値であるため、提示度の高いｆ_Ｎ１のみを考慮し、ｆ_Ｎ２は対象から除外する。従って、最終的には図６（ｅ）に示すようにｆ_１４、ｆ_Ｎ１、ｃ_Ｊが参考情報すなわち推論の根拠として提示される情報として選択される。すなわち選択部１１２は、参考情報の候補の中に、同じ特徴を表現する所見に異なる値が複数含まれる場合には、提示度の高い所見の値に関する情報を参考情報すなわち推論の根拠として選択する。

図７は、ステップＳ３０７０において、表示制御部１１４によりモニタ１００５に表示される画面の一例である。表示内容７００は、ステップＳ３０００で取得した医用画像７０００、ステップＳ３０３０で取得した推論結果７０１０、ステップＳ３０６０で選択した参考情報７０２０を含む。ユーザは表示された推論結果７０１０や、参考情報７０２０を、画像診断時の支援情報として利用できる。

第一の実施形態によれば、診断支援装置１００は、医用画像に関する入力情報を基に推論を行い、入力情報の各要素の推論結果への影響度を取得する。さらに、各要素の影響度を用いて提示度を取得する。特に入力情報に画像特徴量が含まれる場合には、画像特徴量から提示度付きで画像所見への変換を行い、提示度を基に参考情報となる画像所見や臨床情報を提示する。これにより、ユーザである医師は、人間にとって理解しやすい画像所見や臨床情報といった形で推論の根拠となった情報を把握することができる。

（第一の実施形態の変形例１）
第一の実施形態では、ステップＳ３０５０において類似症例を検索して画像特徴量を画像所見へと変換する例について説明した。これに限らず、たとえば画像特徴量から各画像所見の値の尤度を推論することにより、提示度付きの画像所見へと変換してもよい。この時、ある閾値以上の影響度を持つ画像特徴量のみを用い、あとは欠損値としてもよい。また、上位Ｎ個の影響度を持つ画像特徴量のみを用いるようにしてもよい。提示度は画像所見の尤度を用いてもよいし、画像特徴量の影響度の平均値や最大値、最小値などを積算してもよい。

（第一の実施形態の変形例２）
第一の実施形態ではステップＳ３０５０において類似症例検索を用いて画像特徴量を画像所見へと変換する例について説明した。これに限らず、画像特徴量と画像所見の間の相関比を用いて提示度付きの画像所見に変換してもよい。たとえば提示度取得部１１０は、データベースに格納された症例における、画像特徴量ｉ_ｍと画像所見Ｆ_ｎの相関比η_ｍｎを取得し、各画像特徴量の影響度と相関比の積の平均を取る。たとえば提示度取得部１１０は、式４に示すような、画像所見Ｆ_ｎの提示度Ｐｒｅ（Ｆ_ｎ）を取得する。

また別の例では、Ｆ_ｎを分解し、ｆ_ｎｋがある場合に１、ない場合に０を取るようなＫ個の画像所見の値のカテゴリ値を生成して相関比を取得し、画像所見の値ｆ_ｎｋの提示度を取得しても良い。画像特徴量ｉ_ｍと画像所見ｆ_ｎｋの相関比をη_ｍｎｋとすると画像所見の値ｆ_ｎｋの提示度は式５で表せる。

すなわち、提示度を取得する際に、画像特徴量をある画像所見で表現することについての統計情報として、予め定められた相関比を用いても良い。

［第二の実施形態］
第二の実施形態に係る診断支援装置１００は、画像特徴量から画像所見に変換したものを推論の入力情報とし、推論、及び推論の根拠の提示を行う。

第二の実施形態における診断支援装置１００の機能構成は、第一の実施形態における図１と同様の機能構成から成る。ただし、一部の機能が第一の実施形態と異なり、以下では第一の実施形態との相違部分についてのみ説明する。

入力情報生成部１０２は、症例情報端末２００から診断支援装置１００へ送信された情報（医用画像、臨床情報、付帯情報）に基づいて入力情報を生成する。第二の実施形態では、入力情報生成部１０２は医用画像と付帯情報を画像特徴量取得部１０４へと出力する。そして入力情報生成部１０２は、画像特徴量取得部１０４から出力された画像特徴量を取得する。さらに入力情報生成部１０２は、取得した画像特徴量に基づいて推論を行い、尤度付きで画像所見へと変換する。そして、変換した画像所見と臨床情報を入力情報とし、推論部１０６と影響度取得部１０８、提示度取得部１１０へと出力する。入力情報生成部１０２は、画像特徴量に基づいて所見の情報を取得する取得手段の一例である。入力情報生成部１０２は、画像特徴量に基づいて画像所見を推論する機能を提供する外部のサーバ（不図示）から、当該画像所見の情報を取得してもよく、入力情報生成部１０２とは異なるモジュール（たとえば、推論部１０６や第二の推論部）に推論を行わせてもよい。

推論部１０６は、入力情報生成部１０２により生成された入力情報に基づいて推論を行う。入力情報には、画像特徴量から変換された画像所見が含まれる。すなわち推論部１０６は、画像特徴量に基づいて、医用画像から導かれる診断名を推論する推論手段の一例である。

提示度取得部１１０は、入力情報生成部１０２により生成された尤度付き画像所見と、影響度取得部１０８により取得された影響度とに基づいて、参考情報の候補の提示度を取得する。提示度取得部１１０は、取得した参考情報の候補の提示度を選択部１１２へと出力する。

診断支援装置１００のハードウェア構成は第一の実施形態における図２と同様である。即ち、ＣＰＵ１００１が主メモリ１００２、磁気ディスク１００３に格納されているプログラムを実行することにより、診断支援装置１００の機能（ソフトウェア）及び図３のフローチャートに例示される処理が実現される。診断支援装置１００は複数のプロセッサを有していてもよい。たとえば診断支援装置１００は、画像特徴量に基づいて画像所見を推論する入力情報生成部１０２と、医用画像から導かれる診断名を推論する推論部１０６の機能をプログラムしたＦＰＧＡをそれぞれ有していてもよい。

図３は、第二の実施形態にかかる診断支援装置１００により行われる処理の一例を示すフローチャートである。第一の実施形態と同様の処理については上述した説明を援用することにより詳しい説明を省略し、以下では第一の実施形態との相違部分について説明する。

ステップＳ３０００、ステップＳ３０１０の処理は、第一の実施形態における処理と同様である。

ステップＳ３０２０において、入力情報生成部１０２は、ステップＳ３０００で取得した臨床情報と、ステップＳ３０１０で取得した画像特徴量を画像所見に変換し、入力情報を生成する。すなわち、入力情報生成部１０２は、ステップＳ３０１０で取得した画像特徴量のそれぞれに対して推論を行うことにより所見の情報を取得する。第二の実施形態では、入力情報生成部１０２は画像特徴量に基づいて推論を行い、当該画像所見を尤度付きの画像所見へと変換する例を説明する。

たとえば、画像特徴量｛ｉ_１，ｉ_２，…，ｉ_Ｍ｝から変換結果として得たい画像所見が形状（Ｆ_１：ｆ_１１、ｆ_１２、ｆ_１３、ｆ_１４）の場合を考える。入力情報生成部１０２は、画像特徴量を入力として、ｆ_１１、ｆ_１２、ｆ_１３、ｆ_１４の尤度を出力する。ｆ_１１の尤度をＬ（ｆ_１１）とすると、Ｌ（ｆ_１１）＋Ｌ（ｆ_１２）＋Ｌ（ｆ_１３）＋Ｌ（ｆ_１４）＝１．０となる。画像所見についての推論の手法は、尤度付きで値を出力できる様々な手法を利用できる。第二の実施形態では多値ニューラルネットワークを用いるものとする。また、以下では変換された尤度付き画像所見をＦ_１（）で表す。すなわち、入力情報生成部１０２は、画像特徴量と対応する所見の情報を取得し、当該画像特徴量を当該所見で表すことについての尤度すなわち統計情報を取得する。

そして、入力情報生成部１０２は、変換した画像所見と臨床情報の集合を入力情報として生成する。画像所見は尤度を保持したまま入力情報とする。たとえば、臨床情報が｛ｃ_１２，ｃ_２２，…，ｃ_Ｊ｝、変換した画像所見が｛Ｆ_１（），Ｆ_２（），…｝の場合は、入力情報Ｅ_ｆはＥ_ｆ＝｛ｃ_１２，ｃ_２２，…，ｃ_Ｊ，Ｆ_１（），Ｆ_２（），…｝となる。

ステップＳ３０３０において、推論部１０６は、ステップＳ３０２０で生成した入力情報を基に、診断対象である肺の異常陰影に関する推論を実行する。推論手法は第一の実施形態と同様にベイジアンネットワークを利用するものとする。すなわち推論部１０６は、画像特徴量に基づいて取得された所見の情報を入力情報として推論を行う。

第二の実施形態では画像所見の値が尤度で示されているため、全ての画像所見の組み合わせについて推論を実行し、尤度を用いて推論結果を統合するものとする。ここでは、画像所見がＦ_ａ｛ｆ_ａ１，ｆ_ａ２｝、Ｆ_ｂ｛ｆ_ｂ１，ｆ_ｂ２｝、臨床情報が｛ｃ_Ｊ｝である場合を例に説明する。まず、推論部１０６は入力情報に含まれる要素の全ての組み合わせを考慮した仮入力情報（Ｅ_ｚ）を生成する。この例の場合、推論部１０６はＥ_１＝｛ｆ_ａ１，ｆ_ｂ１，ｃ_Ｊ｝、Ｅ_２＝｛ｆ_ａ１，ｆ_ｂ２，ｃ_Ｊ｝、Ｅ_３＝｛ｆ_ａ２，ｆ_ｂ１，ｃ_Ｊ｝、Ｅ_４＝｛ｆ_ａ２，ｆ_ｂ２，ｃ_Ｊ｝の４つの仮入力情報を生成する。そして推論部１０６は、夫々の仮入力情報を用いてＰ（ｄ_ｓ｜Ｅ_ｚ）を取得する。さらに推論部１０６は、各Ｐ（ｄ_ｓ｜Ｅ_ｚ）に画像所見の尤度を積算し、その結果を加算したものを最終的な推論結果として取得する。上記の例では、推論部１０６は、Ｌ（ｆ_ａ１）×Ｌ（ｆ_ｂ１）×Ｐ（ｄ_ｓ｜Ｅ_１）＋…＋Ｌ（ｆ_ａ２）×Ｌ（ｆ_ｂ２）×Ｐ（ｄ_ｓ｜Ｅ_４）を最終的な推論結果Ｐ（ｄ_ｓ｜Ｅ_ｆ）とする。上述の例では、推論結果を式６で表すことができる。

すなわち推論部１０６は、入力された情報に含まれる所見の情報のうち少なくとも一部の情報からなる仮入力情報を複数生成し、複数の仮入力情報に基づいてそれぞれ推論される結果と、尤度すなわち統計情報とに基づいて診断名を推論する。なお、取得量を減らすために、推論部１０６は閾値以下の尤度をもつ画像所見の値は考慮しないようにしてもよい。

ステップＳ３０４０の処理は第一の実施形態における処理と同様である。

ステップＳ３０５０において、提示度取得部１１０はステップＳ３０２０で取得した画像所見の尤度と、ステップＳ３０４０で取得した影響度を利用して提示度を取得する。提示度取得部１１０は、臨床情報の各要素の影響度の絶対値を提示度として取得する。また提示度取得部１１０は、入力情報生成部１０２により変換された画像所見の尤度と影響度の絶対値の積を提示度として取得する。すなわち提示度取得部１１０は画像所見について、影響度と、統計情報の一例である尤度とに基づいて提示度Ｌ（ｆ_ｎｋ）×Ｉ（ｆ_ｎｋ）を取得する。

ステップＳ３０６０、ステップＳ３０７０の処理は、第一の実施形態における処理と同様である。すなわち選択部１１２は、入力情報に含まれる所見の情報の、推論に対する影響度と、画像特徴量に示される領域を当該所見の情報で表すことについての統計情報に基づく値である提示度に基づいて、推論の根拠として提示する情報を選択する。そして、表示制御部１１４は選択部１１２により選択された情報を、推論の根拠として提示する。

第二の実施形態によれば、診断支援装置１００は、医用画像を画像処理した結果から画像所見へと変換するとともに、変換した画像所見と臨床情報を入力情報とする。そして、入力情報の各要素の提示度を取得し、提示度をもとに参考情報となる画像所見や臨床情報を提示する。これにより、ユーザである医師は、人間にとって理解しやすい画像所見や臨床情報といった形で参考情報を確認することができ、それゆえ自身の診断の一助とすることができる。

（第二の実施形態の変形例１）
ステップＳ３０２０では、入力情報生成部１０２が画像特徴量に基づく推論により尤度付きで各画像所見を取得する例について説明した。これに限らず、たとえば第一の実施形態のように類似症例を検索して所見の情報を取得してもよく、相関比を用いて所見の情報を取得してもよい。

類似症例を検索して所見の情報を取得する場合は、たとえばマハラノビス距離を用いて類似度Ｓｉｍ（Ｔ_ｘ）を取得し、式３の提示度取得の式を所見の尤度としてもよい。

相関比を用いて所見の情報を取得する場合は、たとえば式７により尤度を取得できる。

（第二の実施形態の変形例２）
ステップＳ３０３０では全ての画像所見の組み合わせについて仮入力情報を生成し、仮入力情報による推論結果を統合して最終的な推論結果としていた。しかし、全ての画像所見の組み合わせについて行わなくてもよい。たとえば、それぞれの画像所見について最も尤度が高い画像所見の値のみを推論に用いることにしてもよい。

［第三の実施形態］
第三の実施形態では、推論部１０６に対する入力情報の中に、画像特徴量に基づいて取得された所見の情報と、付帯情報としてたとえば医師が入力した所見の情報とが含まれている場合を例に説明する。

第三の実施形態にかかる診断支援装置１００の機能構成は第一の実施形態における図１と同様である。また、診断支援装置１００のハードウェア構成は第一の実施形態における図２と同様である。即ち、ＣＰＵ１００１が主メモリ１００２、磁気ディスク１００３に格納されているプログラムを実行することにより、第三の実施形態の診断支援装置１００の機能（ソフトウェア）及び図３のフローチャートに例示される処理が実現される。

図３は、第三の実施形態にかかる診断支援装置１００により行われる処理の一例を示すフローチャートである。第一の実施形態と同様の処理については上述した説明を援用することにより詳しい説明を省略し、以下では第一の実施形態との相違部分について説明する。

ステップＳ３０００、ステップＳ３０１０の処理は、第一の実施形態における処理と同様である。

ステップＳ３０２０において、入力情報生成部１０２は、ステップＳ３０００で取得した臨床情報と、付帯情報に含まれる画像所見と、ステップＳ３０１０で取得した画像特徴量を基に入力情報を作成する。たとえば、ステップＳ３０００で取得した臨床情報が｛ｃ_１２，ｃ_２２，…，ｃ_Ｊ｝、付帯情報に含まれる画像所見が｛ｆ_１１，ｆ_３１｝、ステップＳ３０１０で取得した画像特徴量が｛ｉ_１，ｉ_２，…，ｉ_Ｍ｝だった場合を考える。この場合、入力情報Ｅ_ｆはＥ_ｆ＝｛ｃ_１２，ｃ_２２，…，ｃ_Ｊ，ｆ_１１，ｆ_３１，ｉ_１，ｉ_２，…，ｉ_Ｍ｝となる。

ステップＳ３０３０、ステップＳ３０４０の処理は、第一の実施形態における処理と同様である。

ステップＳ３０５０において、提示度取得部１１０はステップＳ３０４０で計算した影響度を利用して、参考情報の候補の提示度をそれぞれ計算する。提示度取得部１１０は、画像所見、臨床情報の各要素の影響度の絶対値をそれぞれの提示度として取得する。また提示度取得部１１０は、画像特徴量を提示度付きの画像所見へと変換する。

第三の実施形態では第一の実施形態と同様に類似症例を検索して、画像特徴量に基づく画像所見を取得することとする。類似症例の検索により取得された画像所見と、医師により入力された画像所見とが重複している場合が考えられる。このように画像所見が重複している場合には、たとえば提示度取得部１１０は類似症例検索で得られた画像所見を参考情報の候補としないこととする。たとえば、入力情報に含まれる画像所見がｆ_１１で、提示度付きの画像所見は図６（ｃ）に示すものが得られた場合を考える。この場合、医師によりＦ_１の値であるｆ_１１が入力されているため、提示度付きの画像所見のうち、Ｆ_１の値であるｆ_１４は参考情報の候補とせず、たとえば提示度をゼロとする。したがって、参考情報の候補には、Ｆ_１に関してはｆ_１１のみが含まれる。付帯情報であるｆ_１１の提示度は、影響度の絶対値である。

ステップＳ３０６０、ステップＳ３０７０の処理は第一の実施形態と同様である。

第三の実施形態によれば、診断支援装置１００は、付帯情報として画像所見が含まれている場合には、入力情報を画像特徴量、画像所見、臨床情報とする。そして、入力情報を基に推論を行い、入力情報の各要素の推論結果への影響度を取得する。さらに、各要素の影響度を用いて提示度を取得する。ただし、画像特徴量から変換した画像所見と入力情報に含まれる画像所見が重複した場合には、後者の画像所見を優先する。これにより、ユーザである医師が自ら入力した画像所見も含めて推論を実施するのに加え、人間にとって理解しやすい画像所見や臨床情報といった形で参考情報を提示することができる。さらに、ユーザは自身の考えも考慮した推論の根拠を確認することができる。

［変形例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（たとえば、ＡＳＩＣ）によっても実現可能である。

上述の各実施形態における診断支援装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。診断支援装置および診断支援システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

Claims (15)

1. 医用画像に含まれる領域の特徴を示す値である画像特徴量に基づいて、前記医用画像から導かれる診断名を推論する推論手段と、
   前記画像特徴量に基づいて、前記医用画像に含まれる前記領域の特徴を表現する所見の情報を取得する取得手段と、
   前記推論手段による推論の根拠として、前記取得手段により取得された所見の情報を提示する提示手段と、
   を有することを特徴とする診断支援装置。
2. 前記推論手段により前記推論の入力として用いられる情報のそれぞれに対して、前記診断名の推論に与えた影響の度合いである影響度に基づいて、前記提示手段により前記推論の根拠として提示させる情報を選択する選択手段をさらに有することを特徴とする請求項１に記載の診断支援装置。
3. 前記選択手段は、前記影響度と、前記画像特徴量に示される領域の特徴を前記所見で表現することについての統計情報とに基づいて、前記提示手段により前記推論の根拠として提示させる情報を選択し、
   前記提示手段は前記選択手段により選択された前記推論の根拠を提示することを特徴とする請求項２に記載の診断支援装置。
4. 前記取得手段は、前記推論の入力として用いられる情報の集合である入力情報に含まれる情報であって、前記画像特徴量と関連する前記所見の情報を取得することを特徴とする請求項３に記載の診断支援装置。
5. 前記取得手段は、前記入力情報に含まれる前記画像特徴量と類似した画像特徴量を有する類似症例において用いられる所見の情報に基づいて、前記入力情報に含まれる前記画像特徴量と関連する前記所見の情報を取得し、
   前記選択手段は、前記影響度と、前記入力情報に含まれる前記画像特徴量と前記類似症例の画像特徴量との類似度と、前記類似症例に前記所見が関連付けられている頻度を示す前記統計情報とに基づいて、前記推論の根拠として提示させる情報を選択することを特徴とする請求項４に記載の診断支援装置。
6. 前記推論手段は、前記画像特徴量に基づいて前記取得手段により取得された前記所見の情報を入力として推論することを特徴とする請求項３に記載の診断支援装置。
7. 前記取得手段は、前記画像特徴量のそれぞれに対して推論を行うことにより前記所見の情報を取得しさらに、前記画像特徴量に示される領域を前記所見の情報で表すことについての統計情報を取得し、
   前記選択手段は、前記影響度と、前記取得手段により取得された統計情報とに基づいて、前記推論の根拠として提示させる情報を選択することを特徴とする請求項６に記載の診断支援装置。
8. 前記推論手段は、前記推論の入力となる情報に含まれる前記所見の情報のうち少なくとも一部の所見の情報からなる仮入力情報を複数生成し、複数の前記仮入力情報に基づいてそれぞれ推論される結果と、前記取得手段により取得された統計情報とに基づいて、診断名を推論することを特徴とする請求項７に記載の診断支援装置。
9. 前記選択手段は、前記画像特徴量に示される領域の特徴を前記所見で表現することについての統計情報として、予め定められた相関比を用いることを特徴とする請求項３乃至請求項８のいずれか一項に記載の診断支援装置。
10. 前記選択手段は、前記取得手段により前記画像特徴量に基づいて取得された前記所見の情報の中に、同じ特徴に対して互いに異なる表現の所見が複数含まれる場合には、提示度の高い所見の情報を選択することを特徴とする請求項３乃至請求項９のいずれか一項に記載の診断支援装置。
11. 前記選択手段は、前記推論手段による推論の入力として、ユーザにより入力された所見の情報が含まれる場合には、前記ユーザにより入力された所見の情報が表現する特徴について、前記取得手段により取得された所見の情報を選択しないことを特徴とする請求項３乃至請求項１０のいずれか一項に記載の診断支援装置。
12. 前記推論手段は、患者に対する診療において得られた医用情報と、ユーザが入力した所見の情報と、前記医用画像に含まれる領域の特徴を示す値である画像特徴量とに基づいて、前記医用画像から導かれる診断名を推論することを特徴とする請求項１乃至請求項１１のいずれか一項に記載の診断支援装置。
13. 推論手段が、医用画像に含まれる領域の特徴を示す値である画像特徴量に基づいて、前記医用画像から導かれる診断名を推論するステップと、
    取得手段が、前記画像特徴量に基づいて前記医用画像に含まれる前記領域の特徴を表現する所見の情報を取得するステップと、
    提示手段が、前記推論手段による推論の根拠として、前記取得手段により取得された所見の情報を提示するステップと、
    を有することを特徴とする情報処理方法。
14. 取得手段が、医用画像に含まれる領域の特徴を示す値である画像特徴量に基づいて、前記領域の特徴を表現する所見の情報を取得するステップと、
    推論手段が、前記取得手段により前記画像特徴量に基づいて取得された前記所見の情報を入力として、前記医用画像から導かれる診断名を推論するステップと、
    提示手段が、前記推論手段による推論の根拠として、前記所見の情報を提示するステップと、
    を有することを特徴とする情報処理方法。
15. 医用画像に含まれる領域の特徴を示す値である画像特徴量に基づいて、前記医用画像から導かれる診断名を推論する推論手段と、
    前記推論手段による推論の根拠として、前記医用画像に含まれる前記領域の特徴を表現する所見の情報を提示する提示手段と、
    前記画像特徴量に基づいて前記所見の情報を取得する取得手段と、
    を有することを特徴とする診断支援システム。

Images