JP2019212296A - 医用情報処理装置、方法及びプログラム - Google Patents

Abstract

【課題】類似症例検索の精度を向上させる医用情報処理装置、医用情報処理方法及び医用情報処理プログラムを提供する。【解決手段】医用情報処理装置１０は、記憶部と処理部とを有する。記憶部は、複数の医用データセット各々の特徴ベクトルを記憶する。特徴ベクトルは各医用データセットと各医用データセットに関する複数の属性とに基づき学習された機械学習モデルを適用することで生成され、特徴ベクトルは複数のスカラー値から構成され、複数のスカラー値各々は各属性に対応する可変の重み値を有する。処理部は、検索対象医用データセットに機械学習モデルを適用して特徴ベクトルを取得し、検索対象医用データセットと複数の医用データセット各々との類似度を、指定された属性及び重み値に従い選択的に重み付けされた、検索対象医用データセット及び複数の医用データセット各々の特徴ベクトルに基づいて決定する。【選択図】図１

Description

本発明の実施形態は、医用情報処理装置、方法及びプログラムに関する。

患者又はその他の被検体に関する医用画像が取得され格納されている。例えば、コンピュータ断層撮影（computed tomography：ＣＴ）スキャナ、Ｘ線モダリティ、超音波スキャナ、又は陽電子放出断層撮影（positron emission tomography：ＰＥＴ）スキャナ等の幅広い撮像モダリティを使用して医用画像が生成される。

画像は、様々な形式で生成することができ、その上二次元ディスプレイに表示用の二次元又は三次元での表示画像を含むことができる。医用画像は、様々な目的のために生成されるが、診断目的又は観察目的で開業医により使用されたり、特定の症状が存在しているか否かを評価するために使用されたりする。

医用画像に関するメタデータが格納されてもよい。医用画像に関連付けられたメタデータは、例えば撮像される患者についての情報（例えば、年齢、性別、身長又は体重）、及び／又は、撮像される生体構造についての情報（例えば、身体部分、方位、病変）を有する。医用画像に関連付けられたメタデータは、画像収集に関するデータ（例えば、ＤＩＣＯＭデータ）を有してもよい。例えば、画像収集に関するデータとは、画像を収集するために使用したスキャナ、モダリティ及び／又はプロトコル、画像がどこで収集されたかについての施設や地理的な位置、及び／又は画像がいつ収集されたかについての日付等の詳細を含む。

医用画像は、患者と当該患者の医療歴についての付加的な情報を有する患者記録と共に、格納されてもよい。

特定の特徴を有する医用画像を見つけ出すように構成された医用画像検索システムも知られている。例えば、医用画像検索システムは、関心のある患者の病変に似たような病変を有する別の患者を見つけ出す。関心の患者の病変と同様の病変がある別の患者を見つけることにより、似たような患者にとっての画像又はその他の情報と関心の患者にとって対応する画像又はその他の情報との比較を、臨床医に提供することができる。例えば、臨床医は、病変に対する治療計画又は病変の進行度を比較することができる。

特開2018-175226号公報 特開2015-191287号公報

本発明が解決しようとする課題は、類似症例検索の精度を向上させることである。

実施形態に係る医用情報処理装置は、記憶部と処理部とを有する。記憶部は、複数の医用データセット各々の特徴ベクトルを記憶し、前記特徴ベクトルは各医用データセットと各医用データセットに関する複数の属性とに基づき学習された機械学習モデルを適用することで生成され、前記特徴ベクトルは複数のスカラー値から構成され、前記複数のスカラー値各々は各属性に対応する可変の重み値を有する。処理部は、検索対象医用データセットに前記機械学習モデルを適用して特徴ベクトルを取得し、前記検索対象医用データセットと前記複数の医用データセット各々との類似度を、指定された属性及び重み値に従い選択的に重み付けされた、前記検索対象医用データセット及び前記複数の医用データセット各々の特徴ベクトルに基づいて決定する。

本実施形態に係る医用情報処理装置の構成図である。 医用データセットの類似度決定法の概略を描くフローチャートである。 実施形態に従う機械学習処理の概要を描くフローチャートである。 分類タスクを実行する埋込モデル学習の図示である。 埋込ベクトルに関して属性に対するベクトル重み付けの図示である。 類似度を決定するために、埋込モデルを使用するための方法の概要を描くフローチャートである。 ユーザインタフェースの概略図である。 実施形態に従う特徴重要度を特定するためのユーザインタフェース例の概略図である。 スライダバーが重要度値を選択するために使用される、実施形態に従うユーザインタフェースの概略図である。 図９Ａの重要度値に対応する類似度空間の概略図である。 スライダバーが重要度値を選択するために使用される、実施形態に従うユーザインタフェースの概略図である。 図１０Ａの重要度値に対応する類似度空間の概略図である。 スライダバーが重要度値を選択するために使用される、実施形態に従うユーザインタフェースの概略図である。 図１１Ａの重要度値に対応する類似度空間の概略図である。 埋込モデルを使用する直接的な出力重み付けの概略図である。 図６の方法を使用して解消することができる、紹介例を描く。 トイ・プロブレム（Toy Problem）として説明することができる例の概略図である。 実施形態に従う学習法の概略図である。

図１は、本実施形態に係る医用情報処理装置１０の構成を示す図である。医用情報処理装置１０は、異なる類似度で関連付けられた特徴を識別するための分類器を学習し、且つ類似する画像を検索するための係る学習済み分類器を使用するように構成される。その他の実施形態において、第一の装置が分類器を学習するために使用することができ、且つ、異なる第二の装置が類似する画像を検索するために係る学習済み分類器を使用してもよい。また更なる実施形態において、任意装置又は複数の装置の任意の組み合わせを使用することができる。

医用情報処理装置１０は、この場合パーソナルコンピュータ（ＰＣ）又はワークステーションである計算装置１２を有する。計算装置１２は、スキャナ１４と、一つ又は複数のディスプレイスクリーン１６と、コンピュータキーボード、マウス、又はトラックボール等の入力デバイス又は複数の入力デバイス１８とに接続される。

スキャナ１４は、医用撮像を実行するよう構成された任意の医用撮像装置である。スキャナ１４は、患者又はその他の被検体の少なくとも一つの解剖学的領域を表す、画像データを生成するよう構成される。スキャナは、二次元の又は三次元の画像データを収集するよう構成される。スキャナ１４は、磁気共鳴（ＭＲ又はＭＲＩ）スキャナ、コンピュータ断層（ＣＴ）スキャナ、コーンビームＣＴスキャナ、Ｘ線スキャナ、超音波スキャナ、陽電子放出断層撮影（ＰＥＴ）スキャナ又は単光子放出コンピュータ断層撮影（Single Photon Emission Tomography：ＳＰＥＣＴ）スキャナである。スキャナ１４は、医用画像データではない画像データを生成してもよい。計算装置１２は、スキャナ又は複数のスキャナ１４に接続されていなくてもよい。

本実施形態においてスキャナ１４によって取得される画像データセットは、データ格納装置２０に格納され、後に計算装置１２に供給される。画像データセットは、データ格納装置２０に格納される医用データセットの一部を形成する。各医用データセットは、少なくとも一つの画像データセットを有することができ、また画像データセットを生成したスキャンについての、及び／又は画像データセットの患者又はその他の被検体についての付加情報を更に有することがある。

画像データセット及び／又は医用データセットは、画像管理システム（Picture Archiving and Communication System：ＰＡＣＳ）その他の情報システムの一部を形成し得る遠隔メモリ（図示せず）から提供されてもよい。データ格納装置２０又は遠隔データ格納は、メモリストレージの任意の適切な形式を備えることができる。

計算装置１２は、画像データを含む、データ処理用の処理装置２２を備える。係る処理装置は、中央処理装置（Central Processing Unit：ＣＰＵ）とグラフィカル処理装置（Graphical Processing Unit：ＧＰＵ）とを備える。

処理装置２２は、データセットを自動的に又は半自動的に処理するための処理資源を提供する。本実施形態においてデータセットは、医用画像データを有する。分かりやすくするため、下記では医用画像の処理及び検索について言及するものとする。しかし、医用画像について実行されているように説明される以下の操作は、医用画像を表す画像データの任意の適切なセットに実際には実行する場合がある。画像データは、任意の対応する画像が表示されていることなく、処理装置２２により内部的に処理する場合もある。

処理装置２２は、類似度で関連付けられた特徴を識別するよう分類器を学習するよう構成された学習回路２４と、データセット間の類似度を決定するよう構成された類似度回路２６と、類似画像を検索するよう構成された検索回路２８とを含む。

本実施形態において回路２４、２６、２８は、実施形態の方法を実行することが実行可能なコンピュータ読み取り可能命令を有するコンピュータプログラムの方法で、ＣＰＵ及び／又はＧＰＵにおいてそれぞれ実行される。しかし、その他の実施形態において、様々な回路は、一つ以上のＡＳＩＣ（Application Specific Integrated Circuits：特定用途向け集積回路）又はＦＰＧＡ（Field Programmable Gate Arrays：フィールドプログラマブルゲートアレイ）として、実装することもできる。

計算装置１２は、ハードドライブや、ＲＡＭ、ＲＯＭを含むＰＣのその他構成要素、データバス、様々なデバイスドライバを含むオペレーティングシステム、グラフィックス・カードを含むハードウェアデバイスも包括する。このような構成要素は、明確にするために図１には図示されていない。

図２は、医用データセットの類似度決定法の概要を示すフローチャートである。図２の方法は、医用画像検索に対する標準的な設定を提供する。

医用情報処理装置２０は、患者撮像から取得された複数の医用画像３０と、撮像が実行された患者に関連付けられた医用記録３２とを受け取る。

医用画像３０と医用記録３２とは、複数の医用データセットを形成する。各データセットは、少なくとも一つの医用画像と関連付けられた医用記録データとを備える。各データセットは、患者、生体構造及び／又は収集に関するメタデータを備える。

医用データセットは、埋込モデル３４を使用して処理される。埋込モデル３４は、圧縮された提示データベース３６を出力する。提示データベース３６は、各医用データセットに対して、医用データセットの圧縮された提示であると考えられるような、個別の固定長の一次元ベクトル３８を備える。一次元ベクトル３８は、医用データセットに比して圧縮される。また一次元ベクトル３８は、医用データセットと比較して次元が低減されたものである。

医用データセットのそれぞれに対する一次元ベクトル３８は、類似度空間に投影される。各一次元ベクトル３８は、類似度空間において点で表される。各ベクトル３８は、ｎ次元を有するデータ点の表現である。ｎの選択は、当該表現が母集団の分布についての類似度次元についての情報を如何に豊かに捉える必要があるか、に基づいてなされるデザイン選択である。

図２の例の類似度空間は、デフォルトの類似度空間と考えることができる。患者コーホートがデフォルトの類似度空間に投影された場合、患者コーホートでの各医用データセットを表す点は、デフォルトの類似度空間において固定された位置を有する。点の位置は、紹介が発注されたシステムに依存して変化することはない。

図２において類似度空間は、当該類似度空間の二次元投影により表現されている。視覚化するため、多重ベクトルを有する場合に、高次元空間におけるデータ点間の距離を保つ、多次元スケーリング（Multidimensional Scaling：ＭＤＳ）等の次元低減法を使用して、より低い次元空間へと多重のベクトルを投影することが可能である。

空間５０には複数の地点５２が置かれる。各地点は、個別の医用データセットに対して取得されている一次元ベクトル３８を表す。二つの点５２ａ及び５２ｂが空間５０で互いに近ければ、それらの点により表される医用データセットは似ていると考えられる。反対に二つの点５２が空間５０で互いに離れていると、それらの点で表される医用データセットは、あまり似ていないと考えられる。

図２の方法で、類似に対する基準の単一のセットが使用される。図２の方法は、類似の一つの固定されたタイプを決定するのにのみ、使用することが可能である。

使用時に、医用画像検索装置は、レビュー中の現在の患者に対する類似検索対象の医用データセットを受け取る。類似検索対象の医用データセットは、少なくとも一つの類似検索対象の医用画像４０を有する。類似検索対象の医用データセットは、患者についての追加的な情報及び／又は画像（複数の画像）に関する記録４２を有する。

医用画像検索装置は、類似検索対象の医用データセットの圧縮された表現４８を取得するために、埋込モデル３４を類似検索対象の医用データセットに適用する。圧縮された表現４８は、固定長の一次元ベクトルを備える。圧縮された表現４８は、デフォルトで圧縮された表現であると考えることができる。圧縮された表現は、任意の画像検索要求及び任意の現在の患者に対するのと同じ方法で取得されている。

空間５０へと再び戻り、点５２ａは、観察中の現在の患者についての更なる医用データセットを表す。点５２ａからの距離は、更なる医用データセットに対する類似度を表す。点５２ａ周りに引かれた円５４は、一定の類似度の範囲を表すと考えることができる。円５４における、唯一のその他の点が点５２ｂである。よって、点５２ｂにより表される医用データセットは、類似検索対象の医用データセットに対して最も類似する医用データセットであると考えることができる。点５２ｂにより表される医用データセットは、「最も類似する医用データセット」又は「デフォルトの最も類似する患者事例」と呼ぶ場合がある。

一度最も類似する医用データセットが決定された場合、医用情報処理装置１０は、当該最も類似する医用データセットの少なくとも一部を検索する。例えば、医用情報処理装置１０は、医用データセットの少なくとも一つの画像を検索することがある。当該少なくとも一つの画像は、例えば臨床医等のユーザに表示される。

図２に示される例で、類似度が定義される方法が確定される。医用データセット間の類似度は、埋込モデルにより生成された固定長の１次元ベクトル間の差分に基づいて決定される。

図２の方法は、類似度の異なるタイプについては考慮しない。例えば、図２の方法は、病変において類似する画像のみを出力することはできるが、患者の年齢や性別等、類似のその他の観点までを考慮に入れていない。

状況により、患者類似のどの程度（又は観点）が、所定の臨床状況に対するユーザにとって関心を持つのかを予見することが難しいこともある。

しばしば、医用画像検索においては、似たような病変を表す患者を見つけ出すことにのみ焦点が当てられる。そのようなシステムは、例えば、年齢、性別、生体構造、民族性、合併症、治療経路（発病経過時間、適用された治療、治療経過時間等）における点等、その他の性質からの類似度を無視することがある。

病院データベースが患者についてのメタ情報を有する場合に、メタデータを使用することで、患者を明確にフィルタ掛けすることが可能になる場合がある。例えば、医用データセットは、類似度決定の際に同じ性別を有する患者についての医用データセットのみを考慮するよう、フィルタ掛けすることができる。

しかし、メタデータによるフィルタリングは、二つのスキャンの視覚的な類似度を組み込むことは一般的にない。メタデータによるフィルタリングは、フィルタが二値の場合（例えば、患者が男性か又は女性かについての二値フィルタ）に、ランク付けられたリストを提供しないことがある。メタ情報の中には、運用によっては、全ての場合にも利用可能でないこともある。

実施形態において、複数の医用データセットのそれぞれの個別の表示画像を取得するために、機械学習処理が使用される。機械学習処理により取得される表示画像は、類似度の異なるタイプを考慮に入れるために、適当な重み付けを用いて使用することができる。臨床医は、類似度のどの次元（一次元又は複数次元）が、観察中の現在の患者にとって重要であるかを選択することができる。

図３は、分類器が複数の医用データセットを使用して学習される機械学習処理の概要を描いているフローチャートを示す。本実施形態において機械学習処理は、畳み込みニューラルネットワークが学習される畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）処理を含む。その他の実施形態において機械学習処理は、任意の適切な分類器学習処理を含んでもよい。

ステージ６０において学習回路２４は、複数の医用データセットを受け取る。各医用データセットは、類似症例の検索対象のデータセットに関する患者又はその他の被検体の少なくとも一つの特性を表すデータを有する。各医用データセットは、少なくとも一つの医用画像と、それに関連した医用記録データとを有する。各データセットは、患者、生体構造及び／又は収集に関するメタデータを有してもよい。医用画像は、ＣＴ画像、ＭＲ画像、Ｘ線画像、透視画像、ＰＥＴ画像又はその他の任意の医用画像でもよい。

ステージ６１において学習回路２４は、ｍ個の属性ａを選択する。属性ａは、例えば所定のリストに基づいて又はユーザ入力に基づいて選択することができる。

属性ａは、類似度（「類似の観点」とも呼ばれる）を規定する複数次元の一要素である。ステージ６０で選択される属性とは、属性の重要度に従って重みをユーザが選択することを許可されるような属性ａである。

本実施形態において選択される属性ａは、性別、年齢及び病変である。選択される属性ａは、撮像視野、生体構造、そして少なくとも一つのその他の属性を更に含んでもよい。更に、選択された属性ａは、年齢、性別、病変の有無又はその性質、解剖学的特徴の有無、民族性、合併症、治療経路における点、発病経過時間、適用された治療、治療経過時間又は任意のその他の適切な属性を含んでもよい。属性は、少なくとも一つの画像属性と少なくとも一つの画像でない属性（非画像属性）とを含んでもよい。

学習前に、各属性に対する値を０から１の間の数で表すために、各属性は規格化される。例えば、年齢についての値は、０の規格化年齢は、０の実年齢を、また１の規格化年齢は、実年齢が９０以上を表すように、規格化することができる。

ステージ６２において学習回路２４は、機械学習処理において使用される予定の、複数ｐの特徴ｘを選択する。特徴ｘは、医用データセットから取得予定だと予期することができるパラメータである。特徴ｘは、例えば所定のリストに又はユーザ入力に基づいて選択することができる。

特徴は、次のうちの少なくとも一つを含むことができる。即ち、年齢、性別、病変の存在の有無又はその性質、解剖学的特徴の有無、民族性、合併症、治療パスウェイにおける点、発病経過時間、適用された治療、治療経過時間又は任意のその他の適切な特徴である。

特徴は、例えば最大輝度、輝度範囲、輝度勾配、テクスチャ特徴等の医用画像の画像パラメータを含むことができる。特徴は、例えば、スキャナ、モダリティ、プロトコル、施設や地理的な位置、日付を含むことができる。また特徴は、例えば、実験結果、測定、スコア又は診断等の医用記録からの情報を含むこともできる。特徴は、更に例えば放射線記録、紹介状又は退院サマリからの、自由形式のテキスト情報を含むことができる。特徴は、例えば年齢又は性別等の人口統計情報を含むことができる。特徴は、少なくとも一つの画像特徴と少なくとも一つの画像でない特徴とを含むこともできる。

本実施形態において医用データセットは、選択された特徴のそれぞれに対する値を既に備える。幾つかの実施形態において学習回路２４は、選択された特徴のうちの少なくとも幾つかに対する値を取得するために、医用データセットのうちの少なくとも幾つかを処理することができる。

システムに依存して、特徴又は属性を、幾つかの変数とすることもできる。例えば、年齢を、幾つかの実施形態では特徴として使用する場合もあるし、また別のシステムでは属性として使用する場合もある。例えば、患者の年齢（属性）を予測するための入力として、患者スキャンを使用する場合がある。その場合に、モデルの重みを調べ、且つオリジナル入力（今回の場合、患者スキャン）から抽出されたどの特徴が、当該属性を予測するタスクにとって重要であるかを識別することが可能になる場合がある。

各特徴ｘに対する値を０と１との間の数字として表すために、各特徴ｘは規格化される。

ステージ６６において畳み込みニューラルネットワークが、特徴ｘに少なくとも部分的に基づいた属性ａのうちのそれぞれに対する類似を如何にして決定するかを学ぶ機械学習処理を実行する。学習回路２４は、複数の医用データセットについて学習される。これら複数の医用データセットを「学習セット」又は「学習コーホート」と呼ぶことがある。

学習セットは、グラウンドトゥルース値が各患者の多重の属性に対して利用可能な、豊富な学習データセットとすることができる。例えば、学習に対して使用される医用データセットは、患者スキャン及び／又は退院状を備えることもできる。グラウンドトゥルース値は、例えば、性別、年齢、国際疾病分類（International Classification of Diseases：ＩＣＤ）コード、推奨治療法等を含む、医用データセットの属性に対して提供することができる。医用データセットが画像を備える場合、その他の可能性のある属性は、生体構造セグメンテーション又は病変マーキングを含む場合もある。

ニューラルネットワークは、多重の分類タスクについて学習される。例えば、ニューラルネットワークは、年齢による医用データセット分類を備える第一の分類タスクを実行するよう学習することができる。ニューラルネットワークは、性別による医用データセット分類を備える第二の分類タスクを実行するよう学習することができる。ニューラルネットワークは、病変による医用データセット分類を備える第三の分類タスクを実行するよう学習することができる。実施形態において機械学習処理は、任意の適切な分類及び／又は回帰タスクを備える場合がある。

分類学習処理においてニューラルネットワークは、特徴ｘのどれが各分類タスクに関連するかについて学習する。分類学習処理は、複数の特徴ｘに関して、類似度決定タスクの実行を備える。異なる特徴ｘは、異なる分類タスクに関連するということを、予期することができる。

本実施形態においてニューラルネットワークは、「創発的特徴」とも呼ばれる、少なくとも一つの更なる特徴ｙについても学習する。創発的特徴ｙは、少なくとも一つの分類（又は回帰）タスクに関連するような学習において発見される特徴であるが、ステージ６２で初期的に選択された特徴ｘには含まれない。

多重分類タスクについて分類器を学習した場合、その場合に学習された各次元（又はタスク）における類似度についての情報を非明示的に含むことになろう。

本実施形態において機械学習処理は、ニューラルネットワークに含まれる一連の層を生成する。各層は複数のスカラー値のセットを有する。各層は、先行する一つの層又は複数の層に基づく。

ステージ６６において機械学習処理は、「埋込モデル」とも呼ばれる、モデル７０を出力する。

埋込モデルは、医用データを受け取り、且つ各データセットに対して、一次元ベクトルｓを出力するよう構成される。ｓは、「埋込ベクトル」と呼ばれる。ｓは、サイズｎの一次元ベクトルである。

埋込ベクトルｓは、機械学習処理により生成された、連続の層のうちの最終層に対応する。最終層は、元々選択された複数ｐの特徴ｘに明白に含まれない、特徴ｘと任意の創発的特徴ｙとに関する類似度を決定するために使用することができる。

埋込ベクトルｓは、ｎ個のスカラー値を有する。本実施形態において埋込ベクトルのｎ個のスカラー値は、初期的に選択された特徴と創発的特徴ｙとを含む、複数ｐの特徴ｘを有する。スカラー値は、任意数の特徴及び／又は創発的特徴を有すればよい。

図４は、複数の分類タスク７６、７７、７８を使用する、埋込モデル７０の生成の処理を表す。分類タスク７６の特定の例が、図４でタスク１として示される。機械学習処理において、スカラー値のセット７２のうちの三つのスカラー値７２ａ、７２ｂ、７２ｃが、第一の分類タスク７６に関連があることが分かっている。第一の分類タスク７６とスカラー値７２ａ、７２ｂ、７２ｃとの間の関係性は、矢印７４ａ、７４ｂ、７４ｃにより示されている。図４には示されていないが、スカラー値７２のうちの異なるスカラー値は、第二の分類タスク７７（タスク２）と第三の分類タスク７８（タスク３）とに関連する。

機械学習処理は、属性ａのそれぞれに対して、個別の重み付けベクトルｗ_ａを更に出力する。重み付けベクトルｗ_ａは、サイズｎの一次元ベクトルである。重み付けベクトルｗ_ａは、属性ａに対する学習された重みのセットを備える。

図５は、複数のスカラー値８０を有する埋込ベクトルｓを示す。第一の属性８４に関連付けられた重み付けベクトルｗ_１は、複数の矢印８２により表されており、それぞれは重み付けベクトルｗ_１における学習された重みのうちの個別の一つを表している。異なる重み付けベクトルｗ_ａは、第二の属性８６からｍ番目の属性８８までの更なる属性に関連付けられるようになる。

図６は、類似度を決定するための埋込モデルを使用する方法の概要を示すフローチャートである。図６の実施形態において、埋込モデル及び属性に対する関連付けられた埋込ベクトルは、例えば図３を参照に上記で説明されたような機械学習処理等を使用して取得されている。

図６のステージ９０で、類似度回路２６は、複数の格納されたデータセットの各々に対する、個別の埋込ベクトルｓを取得するために、埋込モデルを使用する。幾つかの実施形態において、医用データセットのうちの少なくとも幾つかは、機械学習処理が実行された医用データセットである。

その他の実施形態において、格納された医用データセットは、モデルが学習されたデータセットとは異なる。幾つかの実施形態において、システムの開発用に、学習データセット、検証データセット及び／又はテストデータセットを使用することができる。例えば、学習データセットは埋込モデルの学習用に、検証データセットは埋込モデルの検証用に、テストデータセットは埋込モデルのテスト用に、使用することができる。

多くの実施形態において、異なるデータセットを選択するために運用時に使われる、ステージ９０で使用される格納された医用データセットは、モデルの学習に用いられたデータセットとは異なる。運用時に使用される格納された医用データセットは、システムが開発される施設から供給される場合があり、それにより関心の所定の事例に対する任意の類似患者の完全なヒストリに、医者がシステムを使用しアクセスするためにすることを許可する。

本実施形態において医用データセットは、スキャナ１４によって取得され、且つデータ格納装置２０に格納された医用画像を有する。その他の実施形態において医用データセットは、任意の適切なデータタイプを有してもよいが、画像を含む場合もあるし、含まない場合もある。医用データセットは、任意の適切なデータフォーマットで、任意の適切なデータ格納に格納することができる。

各医用データセットの埋込ベクトルｓは、当該医用データセットの圧縮された表現を提供する。埋込ベクトルｓは、医用データセットに比して次元が低減された表現である。埋込ベクトルｓは、データ格納装置２０に格納される。その他の実施形態において、埋込ベクトルｓは、任意の適切なデータ格納装置２０に格納することができる。

ステージ９２において類似度回路２６は、更なる医用データセットを受け取る。更なる医用データセットは、例えば臨床医等のユーザにより選択される。状況次第で、更なる医用データセットは、スキャナ１４により最近収集された少なくとも一つの医用画像を備える場合がある。更なる医用データセットは、患者又は関心あるその他の被検体に関連する。

類似度回路２６は、更なる医用データセットに対する埋込ベクトルｓを取得するために埋込モデルを使用する。

ステージ９４において類似度回路２６は、複数の属性ａの各々に対する重要度重み値を選択する。複数の属性ａは、埋込モデルを取得するために機械学習処理が実行された、属性のうちの少なくとも幾つかを含む。

類似度回路２６は、ユーザ入力に基づいた複数の属性ａの各々に対する重要度重み値を選択する。

ユーザ（例えば、臨床医）は、属性ａの各々に対する個別の重要度値ｆ_ａを選択する。重要度値は、「重要度重み付け」とも呼ぶことがある。各属性ａに対する重要度値ｆ_ａは、０から１の間の値である。０の値は、その属性を考慮しないということを意味している。

その他の実施形態において、各属性ａに対する重要度値ｆ_ａは、−１から１の間である。そのため、正と負の両方の重み値を適用することができる。負の属性は、一つ以上の特徴が考えられる場合に関係することがあり、また複数の特徴間の負の相関関係を反映することもある。システムは、全ての特徴重みの取り消しに対して不変の場合がある。

所定の属性に対するユーザによる重要度ｆ_ａの高い値を選択することは、ユーザが当該属性の観点で類似する医用データセットを見つけたいということを示す。例えば、ユーザが年齢に対して高い重要度ｆ_ａを設定した場合に、当該ユーザは、関心の患者と同じ年齢を有する医用データセットを見つけたい、ということである。

ユーザは、属性の少なくとも一つを選択することができる。ユーザは、重要度値を明確に提供することなく、属性のうちの少なくとも一つを選択することができる。例えば、各選択された属性に対する重要度値ｆ_ａを、自動的に１に設定することができる。

ユーザは、更なるデータセット、更なるデータセットに含まれる画像データのタイプ、撮像モダリティ、患者に又は更なるデータセットのその他の被検体に実行される少なくとも一つの検査又は手術の結果に関連する臨床シナリオに基づいて、少なくとも一つの属性に対して又は任意の適切な理由に対して、少なくとも一つの属性又は重要度重み値を選択することができる。

ユーザは、ユーザインタフェースを用いて重要度値を選択する。ユーザは、任意の適切な方法で重要度重み値を選択することができる。ユーザは、入力装置１８を使用して、重要度重み値を入力することができる。ユーザは、スライダ、ボタン、値のリスト、属性のリスト又は任意の少なくとも一つの選択可能な要素を使用して重要度値を入力することができる。

その他の実施形態において類似度回路２６は、ユーザ入力に基づいて、少なくとも一つの属性又は属性重み値を選択する。

本実施形態においてｆ_０は、創発的な振る舞いから生じる創発的属性に対する重要度重み値である。本実施形態においてｆ_０はユーザにより設定されない。ｆ_０は、例えば０．２等小さなデフォルト値に設定される。

｛１：ｍ｝におけるａについて、ｆ_ａは、ユーザから取得された属性ａの重要度である。

ステージ９６において類似度回路２６は、ステージ９４において提供された重要度重み値に従って、埋込ベクトルの各々の要素を重み付けする。

ｓ′は、ユーザにより示される重要度に基づいて重み付けされた埋込ベクトルｓである。重み付け後の埋込ベクトルｓ′は、次に示すように計算される。

ここで＊はスカラー値ごとの積、ｆ_０は創発的属性（ユーザにより提供されない）に対する重要度重み値、ｆ_１からｆ_ｍはｍ属性に対するユーザ提供の重要度重み値、ｗ_ａは規格化された属性に対する重み付けベクトルであり、下記に示すような絶対値を取る。

重要度重み値ｆの規格化ｚは下記のように計算される。

ｆ_０を小さなデフォルト値に設定することにより、ｚ＝０で発生する事例を阻むことができる。

ステージ９６において重要度重み値ｆ_０、ｆ_ａと重み付けベクトルｗ_ａとは、図３の方法を使用して実行された機械学習処理を変えることなく適用される。重要度重み値ｆ_０、ｆ_ａと重み付けベクトルｗ_ａとは、図３の機械学習処理への任意の入力を変えることなく適用される。図３の処理において生成された埋込モデルと埋込ベクトルｗ_ａは、埋込モデル又は埋込ベクトルを変更することなく、随意に変える予定の異なる属性の関連する重要度を許可する。

ステージ９８において類似度回路２６は、類似度決定処理を実行する。類似度決定処理において類似度回路２６は、類似検索対象の医用データセットの重み付け後の埋込ベクトルｓ′から、医用データセットの重み付け後の埋込ベクトルｓ′各々までの距離を計算することにより、類似検索対象の医用データセットに対する他の医用データセットの類似度を決定する。

本実施形態において、重み付け後の埋込ベクトル間の距離は、コサイン類似度を使用して計算される。重み付け後の埋込ベクトル間の距離は、如何なる方法により計算されてもよい。

ステージ１００において検索回路２８は、重み付け後の埋込モデルｓ′に基づいて決定された通り、類似検索対象の医用データセットに最も類似する医用データセットを選択する。

検索回路２８は、複数の最も類似する医用データセットを選択してもよい。例えば、検索回路２８は、重み付け後の埋込ベクトルｓ′に基づいた類似検索対象の医用データセットに最も類似すると考えられる医用データセットを、例えば、５、１０、又は２０セット選択する。検索回路２８は、類似度順に選択された医用データセットを順位付けすることができる。

ステージ１０２において検索回路２８は、選択された医用データセット又は複数のセットの少なくとも一部を出力する。本実施形態において当該出力は、ディスプレイスクリーン１６上の、選択された最も類似する医用データセットから少なくとも一つの医用画像の表示を備える。その他の実施形態において少なくとも一つの医用画像は、任意の適切なディスプレイに表示する場合がある。更なる実施形態において医用データセットからの任意の適切なデータは、ディスプレイスクリーン１６上に、又は更なる或いは代わりのディスプレイに、ユーザに対して表示することもある。

更なる実施形態において検索回路２８は、選択された医用画像セット又は複数のセットを識別する識別子を出力する。

ステージ１０４においてユーザは、選択された医用データセット又は複数の医用データセットにアクセスする。本実施形態においてユーザは、表示された医用画像を観察し、そして同じ医用データセットの又は関連した医用データセットの、部分である更なる医用画像を観察する場合もある。ユーザは、医用データセットの患者に又はその他の被検体に関連する医用記録を見ることもある。

幾つかの実施形態において、最も類似する複数の医用データセットが選択され、各選択された医用データセットのうちの一部が観察者へと表示される。一実施形態において、各選択された医用データセットに対して、医用画像は、患者の年齢及び性別と共に表示される。その他の実施形態において、その他の属性の詳細を提供することができる。患者は、例えば、医用画像のうちの一つをクリックすることで、又は任意のその他の適切な入力法で、ビューに対する選択された医用データセットを一つ以上選ぶことが可能である。

図６の方法を使用し、且つ図３の方法を使用して生成されたモデルと重み付けベクトルを使用することにより、ユーザ（例えば、臨床医）は、当該ユーザにとって又は観察中の患者にとって重要な類似度次元を選択することができる。関連する特徴は、その後類似マッチングにおいて高い重み値が与えられる。

各類似度次元の重要度を０から１までの連続値として特定することにより、ユーザは、微調整することが可能となる。特定された値は、特徴の重み付けに反映される。ユーザが特定した重要度を伴う重み付けベクトルは、学習時に、ニューラルネットワークの最終層から決定される。

重要な類似度次元は臨床シナリオに応じて異なる。同じ属性でも所定の臨床シナリオでは重要度が低下する場合もある。その他の属性が、観察中の患者事例にとって、より重要なこともある。例えば、年齢はその他の病変にとってあまり重要でない一方で、ある病変に対する類似度にとって重要な場合がある。また、性別はその他の病変に対しあまり重要でない一方で、ある病変に対する類似度にとって重要な場合もある。

各類似度次元に関連付けられる特徴は、埋込ベクトルにおいて識別され、臨床医により特定された重要度に応じて重み付けされる。最も類似する患者事例が特定され、ここで、最も類似する患者事例は各類似度次元に関する重要度に影響を及ぼす。

医用データセットの圧縮された表現の使用により、使用している間において、類似する医用データセットへの素早いアクセスが可能となる。

各類似度の次元の重要度を重み付ける能力は、現在の患者事例に対して、より有益な類似患者の提案という結果になる場合がある。類似度次元の制御は、ユーザに提供することができる。類似度のどの次元が、どんな臨床シナリオにおいてユーザに対し重要となりそうかを前もって予測することは不可能な場合があるので、類似度の制御をユーザへと提供することは、役に立つ場合もある。

機械学習処理は、類似度の任意の要求された次元を表す、埋込を生成することができる。機械学習処理は、入力として機械学習処理に提供されなかった創発的特徴を識別することができる。

医用画像の視覚的な類似度は、例えば画像間の視覚的な類似度を表す、属性及び／又は特徴を使用することにより、考慮に入れることができる。

図６の方法は、類似度の複数の次元を考慮に入れる、順位付けられたリストを出力することができる。例えば、性別により格納された医用データセットをフィルタリングする代わりに、性別が類似度における唯一の要因ということもある。状況次第で、病変に対して相性が良く且つ要求された性別でもある医用データセットは、病変に対して相性は良いがもう一方の性別であるデータセットよりも上に順位付けすることができる。しかし、病変に対して相性が良く且つ要求された性別以外の医用データセットは、所望の性別であるが病変に対する相性の悪い医用データよりも、上に順位付けすることができる。ユーザは、予期した結果を得なければ、重要度設定を調整することができる。

幾つかの実施形態において類似度回路２６は、特定の臨床シナリオに関連付けられたプリセット重要度値を格納することができる。当該ユーザは、臨床シナリオを選択することにより、どのプリセット重要度値を使用するのかを選択することができる。

図７は、実施形態に係るユーザインタフェースの概略図である。

現在の患者の画像１１０は、ユーザインタフェースに表示され、ディスプレイスクリーン１６上に、又は代わりの或いは他のディスプレイ上に、表示することができる。患者ＩＤ１１２も、幾つかの患者情報１１４と共に、ユーザインタフェースに表示される。本実施形態において、患者情報は、患者の年齢、性別、視野位置及び所見を有する。

ユーザインタフェースは、類似患者の画像１２０、１２２、１２４、１２６を更に表示する。類似は、例えば図２の方法又は図６の方法を使用する等、任意の適切な方法で決定することができる。

ボタン１３０、１３２、１３４、１３６もユーザインタフェースに表示される。各ボタン１３０、１３２、１３４、１３６はアイコンを有する。ボタン１３０のアイコンは性別を、ボタン１３２は撮像視野を、ボタン１３４は年齢を、ボタン１３６は画像における関心の特定の解剖学的領域の選択を表す。ボタン１３６のアイコンにおける破線の長方形の四角は、関心の領域を選択するために使用された長方形の選択ツールの表示から導出される。

ボタン１３０、１３２、１３４、１３６を一つ以上クリックすることにより、ユーザは、関心の性別、撮像視野、年齢又は領域により、類似患者でフィルタ掛けすることができる。

図８は、実施形態に係る各属性の重要度を特定するための、ユーザインタフェース例の概略図である。

ユーザインタフェースは、六つのスライダバー、１４０ａ、１４２ａ、１４４ａ、１４６ａ、１４８ａ、１５０ａを有する。各スライダバー１４０ａ、１４２ａ、１４４ａ、１４６ａ、１４８ａ、１５０ａは、スライダバー上の位置を選択し、それにより−１から１までの間の重要度に対する値を選択するために、ユーザによる制御が可能なスライダコントロール１４０ｂ、１４２ｂ、１４４ｂ、１４６ｂ、１４８ｂ、１５０ｂを有する。

各スライダバー１４０ａ、１４２ａ、１４４ａ、１４６ａ、１４８ａ、１５０ａは、対応するラベル１４０ｃ、１４２ｃ、１４４ｃ、１４６ｃ、１４８ｃ、１５０ｃと、アイコン１４０ｄ、１４２ｄ、１４４ｄ、１４６ｄ、１４８ｄ、１５０ｄと共に表示される。

図８に示される実施形態で、ラベル及びアイコンは、各々性別、撮像視野、生体構造、年齢、病変及びその他を表す。スライダバー１５０ａは、例えば学習において特定された創発的属性の重要度を制御するために使用することができる「その他」としてラベル付けられる。

ユーザインタフェースには、類似検索対象の患者に対する医用画像１５２が表示される。ユーザインタフェース１５４には、類似度空間を表すプロット１５４が更に表示される。プロット１５４上の点は、医用データセットを表す。プロット１５４のスケールは、若年から老年までの年代に関する年齢を表す。プロット１５４がユーザインタフェースに表示されなくてもよい。

図９Ａは、実施形態に係るユーザインタフェース１６０の概略図である。ユーザインタフェース１６０は、「スライダユーザインタフェース」又は「スライダＵＩ」と呼ぶことがある。

スライダＵＩ１６０は、ユーザにより動かすことが可能な、個別のスライダコントロール１６２ｂ、１６４ｂ、１６６ｂをそれぞれ有する、三つのスライダバー１６２ａ、１６４ａ、１６６ａを有する。

第一のスライダバー１６２ａは性別に関連する。第一のテキスト記述１６２ｃ及び第一のアイコン１６２ｄは、第一のスライダバー１６２ａが性別を表すことを示すために使用される。

第二のスライダバー１６４ａは年齢に関連する。第二のテキスト記述１６４ｃ及び第二のアイコン１６４ｄは、第二のスライダバー１６４ａが年齢を表すのを示すために使用される。

第三のスライダバー１６６ａは病変に関連する。第三のテキスト記述１６６ｃ及び第三のアイコン１６６ｄは、第三のスライダバー１６６ａが病変を表すのを示すために使用される。

その他の実施形態において、テキスト記述のみ又はアイコンのみが、スライダバーを識別するために使用されることもある。

使用において、各類似度次元（「各属性ａ」と呼ばれることもある）の重要度を示すために、ユーザは、第一、第二、第三のスライダバー１６２ａ、１６４ａ、１６６ａを使用する。ここでは、性別、年齢及び病変の三つの類似度次元が存在する。その他の実施形態において、付加的な又は代わりの類似度次元を使用することができる。ユーザインタフェースは、類似度の決定において様々な属性の好みの重要度を特定するためのツールをユーザに提供する。

スライダ値は、各属性ａに対する重要度値ｆ_ａを、０から１の間の値で表す。

図９Ａに示される実施形態において、ユーザは、性別と病変とについてのマッチの取得を希望している。ユーザは、第一のスライダコントロール１６２ｂを第一のスライダバー１６２ａに沿って動かすことにより、性別の重要度を高い正値「０．８」へと設定している。ユーザは、第二のスライダコントロール１６４ｂを第二のスライダバー１６４ａに沿って動かすことにより、年齢の重要度を低い値「０．２」へと設定している。更に、ユーザは、第三のスライダコントロール１６６ｂを第三のスライダバー１６６ａに沿って動かすことにより、病変の重要度を最大値「１」へと設定している。

スライダバー１６２ａ、１６４ａ、１６６ａは、異なる類似度次元（属性）の重要度をユーザにより示すことができるフィルタを提供する。各類似度次元のユーザ特定された重要度は、特徴重み付けにおいて反映される。

図９Ｂは、「埋込空間」とも呼ばれる、多次元類似度空間１７０の二次元投影を表す。本実施形態において、埋込空間１７０の投影は、ユーザインタフェースの部分として表示されなくてもよい。しかし、当該実施形態における類似の決定を支援するために、埋込空間１７０又はその二次元投影が表示されるとする。

埋込空間の投影における点１７２、１７４は、個別の医用データセットを各々表す。丸いマーカーによって表される点１７２は、第一の病変「病変Ａ」の症状がある、医用データセットを表す。四角いマーカーによって表される点１７４は、第二の病変「病変Ｂ」の症状がある、医用データセットを表す。点のグレースケール値は、患者年齢を表す。

図９Ｂにおいて、類似空間における埋込は、図９Ａのユーザインタフェース１６０において、ユーザにより示された重要度を使用して実行されている。

点の位置は、埋込空間における患者事例の二次元投影である。埋込空間における点の位置は、ユーザインタフェースを使用しユーザにより特定された、重要度値に依存する。

図９Ｂの実施形態において、女性患者を表す点は、矢印１７６で示され、反対に男性患者を表す点は、第二の矢印１７８で示される。

図９Ｂにおいて、点は性別（女性がプロット図の上で、男性が下）や病変（病変Ａがプロット図の左で、病変Ｂが右）により纏まるように見えるものの、年齢では纏まらないように見える。図９Ｂにおいて、所定の性別（又は病変）を有する医用データセットを表す点は、点とは異なる領域が異なる性別（又は病変）を伴う医用データセットを表すように見える一方で、同じ性別（又は病変）を伴う医用データセットを表すその他の点として、埋込空間の同じ領域にあるように見える。

点１７２、１７４の位置は、スライダバー１６２ａ、１６４ａ、１６６ａを使用しユーザにより示された、重要度に従っている。

図１０Ａは、図９Ａのものと同じユーザインタフェースを表し、各々が性別、年齢、そして病変の重要度を選択するために使用される、同じ三つのスライダ１６２ａ、１６４ａ、１６６ａがある。図１０Ａの実施形態において、ユーザは病変についてのマッチの取得を希望している。性別は、図９Ａの場合と比べて、より低い重要度「０．３」が与えられている。性別の重要度は、図１０Ａにおける第一のスライダバー１６２ａ上の第一のスライダコントロール１６２ｂの位置により、示される。年齢も、図１０Ａにおける第二のスライダバー１６４ａ上の第二のスライダコントロール１６４ｂの位置により示される通り、低い重要度「０．１」が与えられている。病変は、図１０Ａにおける第三のスライダバー１６６ａ上の第三のスライダコントロール１６６ｂの位置により示される通り、重要度が最大「１」で与えられる。

同じ属性でも、一つの所定の臨床シナリオでは、別の臨床シナリオに比べて、重要度が低くなる場合があり、それによりユーザが異なる重要度値を入力する動機付けとなる。

図１０Ｂは、図１０Ａの重要度値に対応する、埋込空間の二次元投影１８０を示す。埋込空間は、図９Ｂのものと同じ埋込空間であると考えることができる。重要度値（重み値）が変更された場合、類似性空間の特徴軸が変更後の重要度値に応じてスケールされるように埋込空間が変換される。スケーリングは、特徴軸の二次元投影を変化させる。点は、新たに選ばれた属性重要度値に関して、点の類似に依存して、一緒により近くなるか又はより遠くなるように移動させることができる。

埋込空間における患者事例の二次元投影は、スライダ１６２ａ、１６４ａ、１６６ａを使用するユーザによる入力として、フィルタ重要度により変化する。

丸いマーカーによって表される点１７２は、第一の病変「病変Ａ」での医用データセットを表す。四角いマーカーによって表される点１７４は、第二の病変「病変Ｂ」での医用データセットを表す。点のグレースケール値は、患者年齢を表す。

図１０Ｂにおいて、点は病変により支配的に纏まるように見えるものの、年齢又は性別によって纏まらないようには見えない。病変Ｂを有する医用データセットを表す点は、プロット図の左側に見える。反対に病変Ａを有する医用データセットを表す点は、プロット図の右側に見える。

図１１Ａは、図９Ａ及び１０Ａのものと同じユーザインタフェースを表し、性別、年齢、病変の各々の重要度を選択するために使用される、同じく三つのスライダ１６２ａ、１６４ａ、１６６ａがある。図１１Ａの実施形態において、ユーザは、年齢と病変とについてのマッチの取得を希望している。性別は、図１１Ａと同じ重要度「０．３」が与えられている。性別の重要度は、図１１Ａにおける第一のスライダバー１６２ａ上の第一のスライダコントロール１６２ｂの位置により示される。図１１Ａにおいて、第二のスライダバー１６４ａ上の第二のスライダコントロール１６４ｂの位置により示される通り、年齢には高い重要度値「０．８」が与えられている。病変は、図１１Ａにおける第三のスライダバー１６６ａ上の第三のスライダコントロール１６６ｂにより示される通り、重要度が最大「０．１」で与えられる。

図１１Ｂは、図１１Ａの重要度値に対応する、埋込空間の二次元投影１８２を示す。

丸いマーカーによって表される点１７２は、第一の病変「病変Ａ」の症状がある、医用データセットを表す。四角いマーカーによって表される点１７４は、第二の病変「病変Ｂ」の症状がある、医用データセットを表す。点のグレースケール値は、患者年齢を表す。

図１１Ｂは、若年がプロット図の下に、そして老年がその上に存在している状態で、年齢により纏まっているように見える。また点は、病変により纏まっているようにも見える。図１１Ｂの事例において、点は、各々が図１１Ｂの横軸に沿って異なる位置をとるとして、四つのメインのグループを形成すると考えることができる。左側から右側に掛けて、次の四グループを含む。即ち、病変Ａを有する第一の点のグループ、病変Ｂを有する第二の点のグループ、病変Ａを有する第三の点のグループ、病変Ｂを有する第四の点のグループである。

図１１Ｂに示される例において、病変Ａ及びＢは、図１１Ａで病変に対するユーザにより選択される高い重要度により要求される通り、分けられる。この場合、病変Ａ及びＢは、単一モードではないので、図１１Ｂにおいて異なる集団がはっきりと目に見えて存在する。システムは、画像における各病変のサブタイプを識別する学習がされている。画像から豊かな表示画像を学習するために、弱い画像レベルと病変レベルとのラベル（weak image-level pathology level label）を使用する場合もあることが見てとれる。

図１２は、「直接出力重み付け」と呼ぶことができる、代わりの実施形態の概略図である。埋込モデル１９０は、図３に関連して上記で述べられた通りの方法を使用して生成され、ここで当該埋込モデルは、三つの分類タスクｏ_ａについて学習される。埋込モデル１９０は、複数の特徴１９２を出力する。埋込モデル１９０は、分類タスク各々に対する予測値１９４を更に出力する。

図６に関して上記で説明された方法において重み値ｗ_ａは、特徴を分類タスクに関連付ける。重み値ｗ_ａは、類似度を取得するために、属性に対する重要度値ｆ_ａと組み合わせられる。

直接出力重み付けにおいて、各タスクｏ_ａに対する予測１９４は、個別の特徴１９２がユーザの好みに従って重み付けられている代わりに、ユーザの好みｆ_ａに従って重み付けられる。

図示される直接出力重み付けにおいて、埋込は三つの特徴のみを有すると考えられる。医用データセットは、分類され、その後分類が重み付けられる。各属性に対する予測値は、ユーザの選択した重要度重み値により、直接的に重み付けされる。患者についての関心のある情報の幾つか（変化の程度）は、この非常に低次元な空間においては全く捉えることができなかったものである可能性が高い場合がある。

図６の実施形態において、全結合層からの特徴を重み付けることにより、特定された関心次元と、如何なるタスクによっても明白に対象とはされない創発的属性との両方を捉えることができる。

図１３は、図６の方法を使用して行われる紹介例を示す。画像２００は、紹介患者を示す。紹介患者は、男性４５歳であり、撮像視野は後前方向（ＰＡ方向）である。図１３は、紹介患者に対して画像を比較することができる、画像２０２、２０４、２０６の例を示す。画像２０２は、女性４５歳の患者で、撮像視野は前後方向（ＡＰ方向）である。画像２０４は、男性１７歳の患者で、撮像視野はＡＰ方向である。画像２０６は、女性８８歳の患者、撮像視野はＰＡ方向である。どの患者が紹介患者に最も類似するか。それに対する答えは、類似度のどの次元が最も重要であると考えられるか、に依るであろう。

図１４は、シミュレートされた病変が挿入された、医用画像のセット２１０、２１２、２１４、２１６、１２８、２２０を示す。シミュレートされた病変は、様々な重症度をシミュレートするために、グレーの様々な陰影を有する、四角及び円である。図１４は、二つのプロット２３０、２３２も示す。プロット２３０は、病変重症度（グレーの陰影）を検討するための埋込空間の投影を示す。プロット２３２は、病変タイプの観点（四角及び円）の類似を検討するための埋込空間の投影を示す。

実施形態の例示的な実行例は、第一の実験における実際のデータを用いて実行されている。使用されたデータセットは、ＮＩＨ＿胸部Ｘ線の１４のデータから取得されたものである（Wang X, Peng Y, Lu L, Lu Z, Bagheri M, Summers RM. ChestX-ray8: Hospital-scale Chest X-ray Database and Benchmarks on Weakly-Supervised Classification and Localization of Common Thorax Diseases. IEEE CVPR 2017）。当該データセットは、撮像データと共に、患者の年齢や性別、スキャンの視野位置についての情報を含む。データに、例えば年齢が４０４歳等、明らかに無効なラベルがあれば、データは除去される。患者ごとに一つ以上の画像がある場合に、第一のスキャンが学習に対して選択され、その他のスキャンは、更なる実験（検証）用に保留される。データセット全体として３０，８０２人の患者があり、うち３０，０００人の患者の各々から一つの画像が、ニューラルネットワークの学習用に使用される。

スキャンは、ニューラルネットワークの効果的な学習のために、２２４×２２４ピクセルにダウンサイズされている。属性の各々（患者の年齢、性別、視野位置を含む）は、学習の前に０から１の間にスケールされる。

機械学習処理を有する学習手順が実行される。学習手順は、教師無し学習と多重タスク学習とが交互に行われる。

図１５は、再構成と多重タスク学習との入れ替えを示す。再構成は、外観のみに基づく類似度についての代理属性として使用される。外観に基づく類似度は、各ピクセルのグレースケール値の合致度により測定される。外観に基づく類似度以外にその他の属性が選択されない場合、類似度空間がこれらの再構成特徴から生成されるから、システムは、外観に関する合致度測定に退行するはずである。

図１５の左側に再構成が示される。埋込モデル２４２は、埋込ベクトル２４４を取得するため、画像２４０に適用される。再構成モデル２４６は、再構成された画像２４８を取得するために、埋込ベクトル２４４に適用される。

多重タスク学習は、図１５の右側に示される。埋込モデル２５２は、埋込ベクトル２５４を取得するために、画像２５０に適用される。性別２５６、視野位置２５８、年齢２６０に対する値を取得するために、埋込ベクトル２５４が使用される。

第一の実験において、効率的な理由のため、埋込ベクトルは、第一に、ミニバッチサイズ１００を有するミニバッチＫ平均を用いて、１００のクラスタにクラスタされる。各紹介画像について、当該紹介画像に対する最も近いクラスタが発見されている。その後、コサイン類似度は、最も近いクラスタにおける紹介画像と各画像との埋込ベクトル間で計算される。

各テスト画像に対して、学習セットから最も似た１０の画像が、関連したラベル付きで導出される。

特定の実施形態は、類似度の事例の医用データ検索を提供し、方法は、次を備える。

−多重属性の分類（又は回帰）について、ニューラルネットワークを学習することで、臨床例の低次元の表現（類似度空間）を発見
−当該低次元類似空間における距離測定に従って、現在の事例に対して最も近い事例をユーザへと表示
−類似度の決定において、様々な属性の好みの重要度を特定するために、ユーザにツールを提供
−ネットワークの最終層から、各属性の重要度、学習時で決定されている属性の重みに関して、類似度空間の次元に対して重みを適用することにより、好みの重要度が実装される

特定の実施形態は、複数の患者又はその他の被検体についての医用データセット間の類似を決定するための装置を提供する。前記装置は、少なくとも一つのデータストアと、処理資源と、を具備する。前記少なくとも一つのデータストアは、複数の医用データセットに対し、前記複数の医用データセットの各々の個別の表現を格納し、各データセットの前記表示画像は、複数の特徴に関するデータセットを表すためのモデルの分類及び／又は回帰に基づいて取得するために、機械学習処理を複数のデータセットに適用することで取得されており、前記処理資源は、更なる医用データセットの表示画像を取得するために前記機械学習処理により取得された前記モデルを使用し、更なる医用データセットの前記表現と前記複数のデータセットの前記表現のうちの少なくとも幾つかとの間の類似度を決定するために、類似度決定処理を実行する、前記表現の各々は、スカラー値のセットを具備し、且つ各表現に対して、前記スカラー値のうちの少なくとも幾つかは、幾つかの属性に関する類似度の決定に対してより大きな重要度を有し、また幾つかのその他の属性に関する類似度の決定に対してより小さい重要度を有する、よう構成され、前記処理資源は、前記更なるデータセットに対する前記類似度決定処理における使用のために、少なくとも一つの属性を選択する、又は前記属性のうちの少なくとも一つに対する属性重み値を選択し、前記医用データセット表示画像のうちの少なくとも幾つかに対して、選択された属性又は選択された属性重み値、且つ前記選択された属性又は前記属性重み値に対する異なるスカラー値の相対的な重要度に依存して、異なる重み値を前記類似度決定処理での使用のために前記表現のスカラー値のうちの少なくとも幾つかへと選択的に適用するよう更に構成されている。

上記の通り、本実施形態に係る医用情報処理装置１０は、データ格納装置２０と処理装置２２とを有する。データ格納装置２０は、複数の医用データセット各々の特徴ベクトルを記憶する。特徴ベクトルは各医用データセットと各医用データセットに関する複数の属性とに基づき学習された機械学習モデルを適用することで生成される。特徴ベクトルは複数のスカラー値から構成される。複数のスカラー値各々は各属性に対応する可変の属性重み値を有する。特徴ベクトルは、上記実施形態において埋込ベクトルと称される。処理装置２２は、検索対象医用データセットに機械学習モデルを適用して特徴ベクトルを取得する。次に処理装置２２は、検索対象医用データセットと、データ格納装置２０に格納された複数の医用データセット各々との類似度を、指定された属性及び属性重み値に従い選択的に重み付けされた、検索対象医用データセット及び当該複数の医用データセット各々の特徴ベクトルに基づいて決定する。

機械学習モデルの学習時に使用される学習サンプルは、入力として医用データセットのうちの医用画像データが用いられ、出力として当該医用画像データに対応する複数の属性が用いられる。複数の学習サンプルに基づいて機械学習モデルのパラメータが学習されることにより、学習済の機械学習モデルは、医用画像データを入力して当該医用画像データに対応する複数の属性を出力することができる。特徴ベクトルは、機械学習モデルの中間生成物ともいえる。特徴ベクトルは、複数の属性にそれぞれ対応する複数のスカラー値をベクトル要素とするベクトルである。スカラー値は、上記の数１に示すように、各属性に対応する値（特徴量＝ｓ*ｗ）と属性重み値（重要度重み値）ｆａとの積により規定される。特徴ベクトルは、出力層からの出力ではなく、出力層よりも前段の中間層からの出力に対応する。例えば、特徴ベクトルは、出力層よりも一層入力側に位置する全結合層からの出力に対応する。すなわち、特徴ベクトルは、機械学習モデルの出力である属性の情報だけでなく、入力である医用画像データの情報をも含んでいる。機械学習モデルが畳み込みニューラルネットワークであるので、医用画像データの情報として、例えば最大輝度、輝度範囲、輝度勾配、テクスチャ特徴等の医用画像の特徴が含まれることとなる。

医用情報処理装置１０は、検索対象医用データセットに関する属性及び属性重み値を任意に指定するためのグラフィカル・ユーザ・インタフェースのＧＵＩツールを表示するディスプレイスクリーン１６を更に備えている。ＧＵＩツールは、図８、図９Ａ、図１０Ａ及び図１１Ａに例示されているユーザインタフェースである。処理装置２２は、当該ＧＵＩツールを介して指定された属性及び重み値に従い特徴ベクトルを選択的に重み付けする。

ディスプレイスクリーン１６は、複数の属性のうちの二以上の属性により規定される類似度空間に、検索対象医用データセットと複数の医用データセットとの重み付けされた特徴ベクトルがプロットされた類似度マップを表示する。類似度マップは、図９Ｂ、図１０Ｂ及び図１１Ｂに例示されている類似度空間又は埋込空間の二次元投影である。ディスプレイスクリーン１６は、類似度マップにおいて、検索対象医用データセットの重み付けされた特徴ベクトルを表す第１のマークと複数の医用データセットの重み付けされた特徴ベクトルを表す第２のマークとを異なる視覚表現で表示する。例えば、図９Ｂ、図１０Ｂ及び図１１Ｂに示すように、第１のマーク２００は枠で囲われ、第２のマーク１７２及び１７４に対して視覚的に区別されている。例えば、当該マップにおいて第１のマーク２００に距離が最も近い第２のマーク１７２及び１７４に対応する医用データセットが、検索対象医用データセットに最も類似する医用データセットである。よってユーザは、当該マップを観察することにより、検索対象医用データセットに最も類似する医用データセットを見つけ出す。

上記の通り、特徴ベクトルは、属性の情報だけでなく、医用画像データの情報をも含んでいる。従って検索対象医用データセットに特徴ベクトルが近い医用データセットは、検索対象医用データに属性及び医用画像データの双方の観点から類似しているといえる。このように特徴ベクトルを基準に類似症例検索を行うことにより、類似症例検索の精度を向上させることが可能になる。また、特徴ベクトルのデータ量は医用画像データ及び属性のデータ量よりも遙かに少ないので、特徴ベクトルを利用した類似症例検索は計算効率及び計算速度の観点についても優れている。更に本実施形態によれば、一又は二以上の属性に属性重み値を設定し、設定された属性重み値に従い、検索対象医用データセットと他の医用データセットとの特徴ベクトルを修正することが可能である。すなわち、様々な属性のうちのユーザの着目している属性を重要視した類似検索を行うことができ、類似検索の柔軟性が向上し、ひいては、類似検索の精度が向上する。

上記の通り処理装置２２は、検索対象医用データセットの重み付け後の特徴ベクトルと、他の医用データセットの重み付け後の特徴ベクトルとの間の距離を類似度として類似度を計算することが可能である。ディスプレイスクリーン１６は、第２のマークのうちの、閾値以上の類似度を有する医用データセットに対応するマークと、他の医用データセットに対応するマークとを、区別して表示してもよい。これによりユーザは、簡便に類似症例の医用データセットを見つけることが可能になる。

本明細書では特定の回路が説明されたが、代替的な実施形態においては、これらの回路の一つ以上の機能性が単一の処理資源またはその他構成要素によって提供されることも可能であり、あるいは単一の回路によって提供される機能性が二つ以上の処理資源またはその他の構成要素の組み合わせで提供されることも可能である。単一回路への言及は、多数の構成要素が互いに離れているか否かにかかわらず、単一の回路の機能性を提供する多数の構成要素を包含し、複数回路への言及は、複数の回路の機能性を提供する単一の構成要素を包含する。

特定の実施形態が説明されたが、これらの実施形態は単に一例として提示されているだけであり、本発明の範囲を限定することを意図としていない。実際、本明細書に説明された新規の方法およびシステムは、他の様々な形態で実施されてもよい。さらに、本明細書に記載される方法およびシステムの形態において、様々な省略、置換、および変さらが本発明の趣旨から逸脱することなく行われてもよい。添付の特許請求の範囲およびその均等物は、本発明の範囲内に入るそのような形態および修正形態を含むように意図されている。

以上説明した少なくとも１つの実施形態によれば、類似症例検索の精度を向上させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０ 医用情報処理装置
１２ 計算装置
１４ スキャナ
１６ ディスプレイスクリーン
１８ 入力装置
２０ データ格納装置
２２ 処理装置
２４ 学習回路
２６ 類似度回路
２８ 検索回路

Claims (26)

1. 複数の医用データセット各々の特徴ベクトルを記憶し、前記特徴ベクトルは各医用データセットと各医用データセットに関する複数の属性とに基づき学習された機械学習モデルを適用することで生成され、前記特徴ベクトルは複数のスカラー値から構成され、前記複数のスカラー値各々は各属性に対応する可変の重み値を有する、記憶部と、
   検索対象医用データセットに前記機械学習モデルを適用して特徴ベクトルを取得し、前記検索対象医用データセットと前記複数の医用データセット各々との類似度を、指定された属性及び重み値に従い選択的に重み付けされた、前記検索対象医用データセット及び前記複数の医用データセット各々の特徴ベクトルに基づいて決定する処理部と、
   を具備する医用情報処理装置。
2. 前記検索対象医用データセット及び／又は前記複数の医用データセットは、画像データを有する、請求項１記載の医用情報処理装置。
3. 前記機械学習モデルは、各層がスカラー値のセットを有する一連の層を有し、
   前記一連の層各々は、先行する層に基づき、
   前記特徴ベクトルは、前記一連の層のうちの最終層に対応する、
   請求項１記載の医用情報処理装置。
4. 前記機械学習モデルは、各層がスカラー値のセットを有し、且つ各層が先行する層に基づいている、一連の層を有し、
   前記特徴ベクトルは、前記複数の属性及び創発的属性の双方に関する類似度を決定するための層に対応する、
   請求項１記載の医用情報処理装置。
5. 前記処理部は、前記機械学習モデル及び／又は前記機械学習モデルへの入力を切り替えることなく、前記特徴ベクトルに対する前記指定された属性及び重み値に従う選択的な重み付けを実行する、請求項１記載の医用情報処理装置。
6. 前記重み値は、負及び正の何れかの値に設定される、請求項１記載の医用情報処理装置。
7. 前記機械学習モデルは、畳み込みニューラルネットワーク、分類器学習、前記複数の属性に関する類似度決定タスクのうちの少なくとも一つにより学習される、請求項１記載の医用情報処理装置。
8. 前記処理部は、前記類似度に基づいて前記検索対象医用データセットに類似する前記医用データセットのうちの少なくとも一部を選択し、前記選択された医用データセットを出力する又は前記選択された医用データセットの識別子を出力する、請求項１記載の医用情報処理装置。
9. 表示部を更に備え、
   前記選択された医用データセットは、医用撮像データを有し、
   前記表示部は、前記選択された医用データセットに基づく画像を表示する、
   請求項８記載の医用情報処理装置。
10. ユーザ指示を受け付ける入力部を更に備え、
    前記処理部は、前記入力部を介したユーザ指示に従い、前記指定された属性及び重み値を設定する、
    請求項１記載の医用情報処理装置。
11. 前記入力部は、スライダ、ボタン、値のリスト及び属性のリストの少なくとも一つの選択可能な要素を有するグラフィカル・ユーザ・インタフェースを有する、請求項１記載の医用情報処理装置。
12. 前記処理部は、前記検索対象医用データセットに関する臨床的シナリオと、前記検索対象医用データセットに含まれる画像データのタイプと、撮像モダリティと、前記検索対象医用データセットの被検体について実行される更なるテスト又は処置の結果と、のうちの少なくとも一つに基づいて属性及び重み値を指定する、請求項１記載の医用情報処理装置。
13. 前記属性は、画像属性及び非画像属性の少なくとも一方である、請求項１記載の医用情報処理装置。
14. 前記特徴ベクトルは、前記医用データセットに比して低次元である、請求項１記載の医用情報処理装置。
15. 前記属性は、年齢、性別、病変の有無、病変の性質、解剖学的特徴の有無、解剖学的特徴のパラメータ、民族性、合併症、治療経路における点、発病経過時間、適用された治療及び治療経過時間のうちの少なくとも一つである、請求項１記載の医用情報処理装置。
16. 前記検索対象医用データセット及び/又は前記複数の医用データセットのうちの少なくとも一部の医用データセットとは、検索対象の被検体の少なくとも一つの特性を表すデータを有する、請求項１記載の医用情報処理装置。
17. 前記検索対象医用データセット及び/又は前記複数の医用データセットのうちの少なくとも一部の医用データセットとは、検索対象の被検体について実行されたスキャンにより取得された画像データを有する、請求項１記載の医用情報処理装置。
18. 前記画像データは、ＣＴデータ、ＭＲＩデータ、Ｘ線データ、透視データ、ＰＥＴデータ、超音波データのうちの少なくとも一つである、請求項１７記載の医用情報処理装置。
19. 前記検索対象医用データセットに関する属性及び重み値を任意に指定するためのグラフィカル・ユーザ・インタフェースのツールを表示する表示部を更に備え、
    前記処理部は、前記ツールを介して指定された属性及び重み値に従い特徴ベクトルを選択的に重み付けする、
    請求項１記載の医用情報処理装置。
20. 前記表示部は、前記複数の属性のうちの二以上の属性により規定される類似度空間に、前記検索対象医用データセットと前記複数の医用データセットとの前記重み付けされた特徴ベクトルがプロットされたマップを表示する、請求項１９記載の医用情報処理装置。
21. 前記表示部は、前記マップにおいて、前記検索対象医用データセットの前記重み付けされた特徴ベクトルを表す第１のマークと前記複数の医用データセットの前記重み付けされた特徴ベクトルを表す第２のマークとを異なる視覚表現で表示する、請求項２０記載の医用情報処理装置。
22. 前記表示部は、前記第２のマークのうちの、閾値以上の類似度を有する医用データセットに対応するマークと、他の医用データセットに対応するマークとを、区別して表示する、請求項２０記載の医用情報処理装置。
23. 複数の医用データセット各々の特徴ベクトルを取得し、前記特徴ベクトルは各医用データセットと各医用データセットに関する複数の属性とに基づき学習された機械学習モデルを適用することで生成され、前記特徴ベクトルは複数のスカラー値から構成され、前記複数のスカラー値各々は各属性に対応する可変の重み値を有する、取得工程と、
    検索対象医用データセットに前記機械学習モデルを適用して特徴ベクトルを取得する取得工程と、
    前記検索対象医用データセットと前記複数の医用データセット各々との類似度を、指定された属性及び重み値に従い選択的に重み付けされた、前記検索対象医用データセット及び前記複数の医用データセット各々の特徴ベクトルに基づいて決定する決定工程と、
    を具備する医用情報処理方法。
24. コンピュータに、
    複数の医用データセット各々の特徴ベクトルを取得させ、前記特徴ベクトルは各医用データセットと各医用データセットに関する複数の属性とに基づき学習された機械学習モデルを適用することで生成され、前記特徴ベクトルは複数のスカラー値から構成され、前記複数のスカラー値各々は各属性に対応する可変の重み値を有する、取得機能と、
    検索対象医用データセットに前記機械学習モデルを適用して特徴ベクトルを取得させる取得機能と、
    前記検索対象医用データセットと前記複数の医用データセット各々との類似度を、指定された属性及び重み値に従い選択的に重み付けされた、前記検索対象医用データセット及び前記複数の医用データセット各々の特徴ベクトルに基づいて決定させる決定機能と、
    を実現させる医用情報処理プログラム。
25. 検索対象医用データセット及び複数の医用データセット各々の特徴ベクトルを、前記複数の医用データセットと前記複数の医用データセットに関する複数の属性とに基づき学習された機械学習モデルを適用することで取得する取得工程と、
    前記取得された検索対象医用データセット及び複数の医用データセット各々の特徴ベクトルが、前記複数の属性のうちの少なくとも二属性により規定される類似度空間にプロットされたマップを表示するマップ表示工程と、
    を具備する医用情報処理方法。
26. 前記検索対象医用データセットに関する複数の属性の重み値を任意に指定するためのグラフィカル・ユーザ・インタフェースのツールを表示する工程と、
    前記ツールを介して指定された属性及び重み値に従い前記特徴ベクトルを重み付けする工程と、を更に備え、
    前記マップ表示工程は、前記検索対象医用データセット及び前記複数の医用データセット各々に関する前記重み付けされた特徴ベクトルを、前記マップに表示する、
    請求項２５記載の医用情報処理方法。