JP2020507149A - 包含基準又は除外基準の検出自動化のための方法及びシステム - Google Patents

Abstract

スコアリング・システム（６００）を訓練するための方法（１００）であって、本方法は、(ｉ）スコアリング・モジュールを含むスコアリング・システムを提供するステップ（１１０）と、（ｉｉ）複数の患者データ及び治療結果を含む訓練データ・セットを受信するステップ（１２０）と、（ｉｉｉ）臨床意思決定支援アルゴリズムを使用して、複数の臨床意思決定支援リコメンデーションを生成するために、前記訓練データ・セットを分析するステップ（１３０）と、（ｉｖ）前記スコアリング・モジュールを使用して、前記複数の臨床意思決定支援リコメンデーションを複数のクラスタにクラスタリングするステップ（１４０）と、（ｖ）前記スコアリング・モジュールを使用して、前記複数のクラスタの少なくとも１つの１つ以上の特徴を識別するステップと、前記識別した１つ以上の特徴に基づいて、前記複数のクラスタの前記少なくとも１つの１つ以上の包含基準を生成するステップ（１６０）とを含む。

Description

本開示は、一般に、クラスタリング（ｃｌｕｓｔｅｒｉｎｇ）に基づく信頼スコア（ｃｏｎｆｉｄｅｎｃｅ ｓｃｏｒｅ）を追加することによって、臨床意思決定支援アルゴリズムを改善するための方法及びシステムに関する。

臨床意思決定支援（ＣＤＳ：ｃｌｉｎｉｃａｌ ｄｅｃｉｓｉｏｎ ｓｕｐｐｏｒｔ）システムは、健康管理（ｈｅａｌｔｈ ｃａｒｅ：ヘルスケア）の改善を目的として医療専門家に情報を提供するために、健康知識の観点から患者に関するデータを分析する健康情報アルゴリズムである。この情報は、例えば、診断（ｄｉａｇｎｏｓｉｓ）、リコメンデーションされる行動方針（ｃｏｕｒｓｅ ｏｆ ａｃｔｉｏｎ）、又はその両方であり得る。ほとんどの医療専門家は、単にＣＤＳの結果に同意し、ＣＤＳの結果を適用するのではなく、ＣＤＳの過去の経験に基づいて、ＣＤＳの結果を彼らの分析と意思決定のプロセスに加えている。実際、実験的経験から、偽陽性（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）と偽陰性（ｆａｌｓｅ ｎｅｇａｔｉｖｅ）の両方のリコメンデーション（ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ：推奨）を含む、より高い誤分類を引き起こす可能性のある患者の特徴がいくつか存在することが示唆されている。例えば、ある種の薬剤（ｍｅｄｉｃａｔｉｏｎｓ）、治療介入（ｉｎｔｅｒｖｅｎｔｉｏｎｓ）、及び／又は慢性疾患（ｃｈｒｏｎｉｃ ｃｏｎｄｉｔｉｏｎｓ）は、ＣＤＳアルゴリズムの誤ったリコメンデーションにつながる可能性がある。

偽陽性及び偽陰性を含む単純なＣＤＳアルゴリズムの出力は、医療専門家によって容易に解釈され、医療専門家は、ＣＤＳアルゴリズムからの出力がいつ無視されるべきか、又はアルゴリズムに対する応答がいつ修正されるべきかについて理解を深める。しかし、より複雑で洗練されたＣＤＳサービスが提供されるにつれて、医療専門家がＣＤＳ出力を単純なアルゴリズムで可能な限り自信を持って解釈することがますます困難になっている。その結果、医療専門家は、ＣＤＳアルゴリズムの出力がいつ使用され、信頼され、又は無視されるべきかを完全には理解できないかもしれない。さらに、複雑なＣＤＳサービスの出力を解釈する時間を医療専門家に依存することは、ほとんどの医療環境において既に重いワークロードを増加させるだけでなく、ＣＤＳアルゴリズムの出力に対する信頼性の低下にもつながる。

上記に鑑みて、臨床意思決定支援アルゴリズムを改善する方法及びシステムを提供し、医療専門家に信頼できる実施可能な情報を提供することは有益であろう。

従って、本開示は、臨床意思決定支援アルゴリズムの出力に信頼スコアを追加するための方法及びシステムに関する。本明細書における様々な実施形態及び実装は、訓練データを分析するＣＤＳアルゴリズムの出力を、精度に基づいて多次元パラメータ空間にクラスタリングし、各クラスタに対する信頼スコアを計算するシステムに向けられる。所定のクラスタに対する信頼スコアは、所定のクラスタに対応する多次元パラメータ空間の領域内に入るＣＤＳアルゴリズムからの予測の信頼性を示す。システムが訓練されると、それはＣＤＳアルゴリズムから出力を受け取り、生成されたクラスタと出力を比較し、出力が入るクラスタに対応する信頼スコアと出力を関連付け、そして医療専門家に信頼スコアを提供する。

一般的に、１つの態様において、スコア・システムを訓練する方法が提供される。本方法は、(ｉ）スコアリング・モジュールを含むスコアリング・システムを提供するステップと、（ｉｉ）複数の患者データ及び治療結果を含む訓練データ・セットを受信するステップと、（ｉｉｉ）臨床意思決定支援アルゴリズムを使用して、複数の臨床意思決定支援リコメンデーションを生成するために、前記訓練データ・セットを分析するステップと、（ｉｖ）前記スコアリング・モジュールを使用して、前記複数の臨床意思決定支援リコメンデーションを複数のクラスタにクラスタリングするステップと、（ｖ）前記スコアリング・モジュールを使用して、前記複数のクラスタの少なくとも１つの１つ以上の特徴を識別するステップと、前記識別した１つ以上の特徴に基づいて、前記複数のクラスタの前記少なくとも１つの１つ以上の包含基準を生成するステップとを含む。

一実施形態によれば、クラスタリングは、少なくとも部分的には、臨床意思決定支援リコメンデーションの各々を、訓練データの治療成績（ｔｒｅａｔｍｅｎｔ ｏｕｔｃｏｍｅｓ）と比較することに基づいている。

一実施形態によると、識別するステップは、識別された１つ以上の特徴に基づいて、複数のクラスタの少なくとも１つに対する１つ以上の除外基準を生成することをさらに含む。

一実施形態によれば、本方法は、患者に関する健康データを取得するステップと、臨床意思決定支援アルゴリズムを使用して、前記患者に対する臨床意思決定支援リコメンデーションを作成するために、前記健康データを分析するステップと、前記スコアリング・モジュールを使用して、前記生成された包含基準に基づいて、前記臨床意思決定支援リコメンデーションを前記複数のクラスタの１つに割り当てるステップと、前記スコアリング・モジュールを使用して、前記複数のクラスタの前記１つへの前記リコメンデーションの割り当てに少なくとも部分的に基づいて、信頼スコアを前記臨床意思決定支援リコメンデーションに割り当てるステップとをさらに含む。

一実施形態によれば、本方法は、信頼スコアをユーザに伝達するステップをさらに含む。

一実施形態によれば、信頼スコアは、定量スコアである。

第２の態様によれば、スコアリング・システムを訓練する方法が提供される。本方法は、スコアリング・モジュールを含むスコアリング・システムを提供するステップと、複数の患者データ及び治療結果を含む訓練データ・セットを受信するステップと、前記スコアリング・モジュールを使用して、前記訓練データ・セットを複数のクラスタにクラスタリングするステップと、臨床意思決定支援アルゴリズムを使用して、複数の臨床意思決定支援リコメンデーションを生成するために、前記訓練データ・セットを分析するステップであって、前記クラスタリングするステップと前記分析するステップは、別々に実行される、分析するステップと、前記スコアリング・モジュールを使用して、前記複数のクラスタの少なくとも１つの１つ以上の特徴を識別するステップと、前記識別された１つ以上の特徴に基づいて、前記複数のクラスタの前記少なくとも１つの１つ以上の包含基準を生成するステップとを含む。

一実施形態によると、識別するステップは、複数の臨床意思決定支援リコメンデーションと比較した複数のクラスタに基づいて、複数のクラスタの少なくとも１つを、複数の誤ったリコメンデーションを有するクラスタとして識別するステップをさらに含む。

一実施形態によると、本方法は、スコアリング・モジュールを使用して、複数のクラスタの少なくとも１つをノイズ性のクラスタとして識別するステップをさらに含み、ここで、識別されたノイズ性のクラスタは、１つ以上の除外基準が生成されるクラスタである。

一実施形態によると、前記分析するステップは、臨床意思決定支援アルゴリズムを使用して、前記複数のクラスタのそれぞれに対する複数の臨床意思決定支援リコメンデーションを生成するために前記複数のクラスタのそれぞれを分析するステップを含み、さらに、前記方法が、前記スコアリング・モジュールを使用して、前記複数のクラスタ及び前記複数の臨床意思決定支援リコメンデーションの少なくとも一部に基づいて、スコア曲線下の低い面積を有する前記複数のクラスタの少なくとも１つを識別するステップを含む。

一実施形態によると、本方法は、（ｉ）患者に関する健康データを取得するステップと、
（ｉｉ）臨床意思決定支援アルゴリズムを使用して、前記患者に対する臨床意思決定支援リコメンデーションを生成するために、前記健康データを分析するステップと、（ｉｉｉ）スコアリング・モジュールを使用して、抽出された包含基準に基づいて前記臨床意思決定支援リコメンデーションを複数のクラスタの１つに割り当てるステップと、（ｉｖ）前記スコアリング・アルゴリズムを使用して、前記複数のクラスタの前記１つへの前記リコメンデーションの前記割り当てに少なくとも部分的に基づいて、前記臨床意思決定支援リコメンデーションに信頼スコアを割り当てるステップとを含む。

別の態様によれば、信頼スコアを提供する方法が提供される。本方法は、（ｉ）患者に関する健康データを取得するステップと、（ｉｉ）臨床意思決定支援アルゴリズムを使用して、前記患者に対する臨床意思決定支援リコメンデーションを生成するために、前記健康データを分析するステップと、（ｉｉｉ）スコアリング・モジュールを使用して、包含基準に基づいて前記臨床意思決定支援リコメンデーションを複数のクラスタの１つに割り当てるステップであって、前記包含基準は、（１）前記スコアリング・モジュールを使用して、訓練データ・セット又は臨床意思決定支援リコメンデーションを複数のクラスタにクラスタリングすること、及び（２）前記スコアリング・モジュールを使用して、前記複数のクラスタの少なくとも１つの特徴を識別し、前記識別された１つ以上の特徴に基づいて、前記複数のクラスタの前記少なくとも１つに対する１つ以上の包含基準を生成することによって生成される、割り当てるステップと、（ｉｖ）前記スコアリング・アルゴリズムを使用して、前記複数のクラスタの前記１つへの前記リコメンデーションの前記割り当てに少なくとも部分的に基づいて、前記臨床意思決定支援リコメンデーションに信頼スコアを割り当てるステップと、（ｖ）前記信頼スコアをユーザに伝達するステップとを含む。

一実施形態によれば、信頼スコアは、臨床意思決定支援リコメンデーションを利用するか否かの指示を含む定量スコアである。

本開示の目的のために本明細書で使用されるように、用語「プロセッサ（ｐｒｏｃｅｓｓｏｒ）」は、一般的に、リコメンデーション装置、システム、又は方法の動作に関連する様々な装置構成要素を説明するために使用される。プロセッサは、本明細書で説明される様々な機能を実行するために、多数の方法（例えば、専用ハードウェアによる）で実装することができる。「プロセッサ」は、ソフトウェア（例えば、マイクロコード）を使用してプログラムされ、本明細書で説明される種々の機能を実行することができる１つ以上のマイクロプロセッサを利用することができる。プロセッサはまた、いくつかの機能を実行するための専用ハードウェアの組み合わせとして実装されてもよい。本開示の種々の実施形態で利用され得るプロセッサ構成要素の例として、従来のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、及びフィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）が挙げられるが、これらに限定されない。

種々の実装において、プロセッサは、１つ以上の記憶媒体（一般に、「メモリ」と本明細書で呼ばれ、例えば、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭなどの揮発性及び不揮発性のコンピュータ・メモリ、フロッピー・ディスク、コンパクト・ディスク、光ディスク、磁気テープなど）と関連付けられてもよい。幾つかの実装では、記憶媒体は、１つ以上のプロセッサ及び／又はコントローラ上で実行されるとき、本明細書で検討される機能の少なくとも一部を実行する１つ以上のプログラムで符号化されてもよい。種々の記憶媒体は、プロセッサ又はコントローラ内に固定されてもよく、又は搬送可能であってもよく、その結果、そこに記憶された１つ以上のプログラムは、本明細書で説明した種々の態様を実施するために、プロセッサ又はコントローラ内にロードされてもよい。

用語「プログラム（ｐｒｏｇｒａｍ）」又は「コンピュータ・プログラム（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ）」は、本明細書において、１つ以上のプロセッサ又はコントローラをプログラムするために利用することができる任意のタイプのコンピュータ・コード（例えば、ソフトウェア又はマイクロコード）を指す総称的な意味で使用される。本明細書中で使用する場合、用語「非一時的機械読取可能媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｍａｃｈｉｎｅ−ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）」は、揮発性メモリ及び不揮発性メモリの両方を包含するが、一時的な信号を除外すると理解されるであろう。本明細書で使用される「ユーザ・インターフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）」という用語は、人間のユーザ又はオペレータと、ユーザと装置との間の通信を可能にする１つ以上の装置との間のインターフェースを指す。本開示の種々の実施に用いることができるユーザ・インターフェースの例には、スイッチ、ポテンショメータ、ボタン、ダイヤル、スライダ、トラックボール、ディスプレイ・スクリーン、種々のタイプのグラフィカル・ユーザ・インターフェース、タッチ・スクリーン、マイクロホン、及び何らかの形式の人為的刺激を受け、それに応答して信号を発生し得る他のタイプのセンサが含まれるが、これらに限定されない。

様々な実施形態は、さらに、プロセッサによって実行可能なファイアウォール・プログラムをその上に具体化して、本明細書に説明される方法を実行する、非一時的コンピュータ読取可能記憶媒体を含んでもよい。

上述の概念と以下でより詳細に検討される追加の概念のすべての組み合わせは（このような概念が相互に矛盾しないことを条件として）、本明細書に開示される主題事項の一部であると考えられることを理解されたい。特に、本開示の末尾に現れる請求された主題事項のすべての組み合わせは、本明細書に開示された主題事項の一部であると考えられる。

これらの及び他の態様は、以下に説明される実施形態から明らかであり、それらを参照して明らかになる。

図面において、同様の参照符号は、一般に異なる図面を通じて同一の部分を指す。また、図面は必ずしも一定の縮尺ではなく、代わりに、本明細書に示された原理を説明することに重点を置く。

一実施形態による、クラスタリング及びスコアリング・アルゴリズムを訓練する方法のフローチャートである。

一実施形態による、クラスタリング及びスコアリング・アルゴリズムを訓練する方法のフローチャートである。

一実施形態による、クラスタリング及びスコアリング・アルゴリズムを訓練する方法のフローチャートである。

一実施形態による、クラスタリング及びスコアリング・アルゴリズムを実施するための方法のフローチャートである。

一実施形態による、クラスタリング及びスコアリング・アルゴリズムを実施するための方法のフローチャートである。

一実施形態による、クラスタリング及びスコアリング・アルゴリズムを訓練し、実施するためのシステムの概略図である。

本開示は、医療専門家に信頼できる実施可能な情報を提供するための方法及びシステムの様々な実施形態を説明する。より一般的には、臨床意思決定支援アルゴリズムの出力を信頼スコアで増大させる方法又はシステムを提供することが有益であることを出願人は認識し、理解した。本開示の特定の実施形態の利用の特定の目標は、ＣＤＳアルゴリズムの出力及び信頼スコアを医療専門家に提供する報告システムを提供することである。

上述のことを考慮すると、様々な実施形態及び実装は、精度に基づいて多次元パラメータ空間で訓練データを分析するＣＤＳアルゴリズムからの出力をクラスタリングし、各クラスタに対して信頼スコアを計算する方法及びシステムに向けられる。所定のクラスタに対する信頼スコアは、所定のクラスタに対応する多次元パラメータ空間の領域内に入るＣＤＳアルゴリズムからの予測の信頼性を示す。訓練されたアルゴリズムは、次いで、ＣＤＳアルゴリズムから出力を受信し、出力を生成されたクラスタと比較し、出力が入るクラスタに対応する信頼スコアと出力を関連付けることができる。その後、信頼スコアは医療専門家に報告され、医療専門家はそのスコアを考慮してＣＤＳを解釈することができる。

図１を参照すると、一実施形態では、クラスタリング・アルゴリズムを訓練するための方法１００である。この方法は、訓練データを分析するＣＤＳアルゴリズムの出力を精度に基づいて多次元パラメータ空間にクラスタリングし、各クラスタの信頼スコアを計算する。所定のクラスタに対する信頼スコアは、所定のクラスタに対応する多次元パラメータ空間の領域内に入るＣＤＳアルゴリズムからの予測の信頼性を示す。一旦システムが訓練されると、それはＣＤＳアルゴリズムの出力を信頼スコアと関連付け、ケアの連続にわたって患者中心のパーソナライズされたＣＤＳ医療の出力を導くことができる。

方法のステップ１１０において、スコアリング・サービス、システム、又は装置が提供される。スコアリング・サービス、システム、又は装置は、本明細書に記載されるか又は他の方法で想定される任意のシステムであってもよい。例えば、スコアリング・サービスは、サービス・オプションとしてのソフトウェアのような医療専門家に提供されるクラウドベースのサービスであってもよく、従って、１つ以上の専門化されたリモート・サーバ上でホストされてもよい。あるいは、スコアリング・サービスは、病院又は他の医療施設の特殊なコンピュータ又はサーバ上などで、医療専門家に対してローカルにホストされてもよい。

方法のステップ１２０で、訓練データが得られる。訓練データは、実際の診断及び／又は治療決定（ｔｒｅａｔｍｅｎｔ ｄｅｃｉｓｉｏｎｓ）に診断及び／又はリコメンデーションを提供するＣＤＳアルゴリズムの出力の比較に基づいて、クラスタリング・アルゴリズムを訓練するために使用される。従って、訓練データは、臨床的測定値及び／又は非臨床的測定値、又は患者からのその他のデータ、並びに治療法の決定及び結果を含み得る。訓練データは、１つ以上のソースから得ることができ、すべての場所、設定、又は１つ以上の他の変数について一般化することができる。あるいは、訓練データは、クラスタリング・アルゴリズムが実装される場所に最も適用可能な特定の場所から得ることができる。例えば、訓練データは、病院又は他の医療施設、及び／又は医師又は他の医療専門家に特異的であり得る。訓練データは、例えば、複数の患者についての健康データ、背景情報、人口統計学データ、及び臨床測定を含むことができる。訓練データにおけるこれらの患者の各々は、なされた１つ以上の治療決定、及びこれらの治療決定の１つ以上の結果と関連させることができる。

方法のステップ１３０において、ＣＤＳアルゴリズムは、１つ以上の診断及び／又は１つ以上の治療リコメンデーションを生成するために、訓練データを分析する。一実施形態によれば、訓練データを分析するＣＤＳアルゴリズムは、スコアリング・アルゴリズムと協働して医療専門家によって利用される同じＣＤＳアルゴリズムである。あるいは、ＣＤＳアルゴリズムは、スコアリング・アルゴリズムと協働して医療専門家によって利用されるＣＤＳアルゴリズムとは異なる。ＣＤＳは、通常ＣＤＳに提供される訓練データ内の情報、例えば、健康データ、背景情報、人口統計学データ、及び臨床的測定及び／又は非臨床的測定、又は患者に関する他のデータ等を分析する。

本方法のステップ１４０において、クラスタリング・アルゴリズムは、ＣＤＳアルゴリズムの出力をクラスタリングする。一実施形態によれば、クラスタリング・アルゴリズムは、Ｋ平均（Ｋ−ｍｅａｎｓ）、スペクトル・クラスタリング（ｓｐｅｃｔｒａｌ ｃｌｕｓｔｅｒｉｎｇ）、及び他のクラスタリング・アプローチ（ｃｌｕｓｔｅｒｉｎｇ ａｐｐｒｏａｃｈｅｓ）を含むが、これらに限定されない、既知のクラスタリング・システム、アプローチ、又はアルゴリズムである。クラスタリング・アルゴリズムは、ＣＤＳに基づく診断及び／又はリコメンデーションされる治療の既知の診断及び治療決定との比較に基づいて、ＣＤＳアルゴリズムの出力をクラスタリングすることができる。従って、クラスタリング・アルゴリズムは、ＣＤＳアルゴリズムの出力を、真陽性（ＴＰ：Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ）、真陰性（ＴＮ：Ｔｒｕｅ Ｎｅｇａｔｉｖｅ）、偽陽性（ＦＰ：Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ ）、及び偽陰性（ＦＮ：Ｆａｌｓｅ Ｎｅｇａｔｉｖｅｓ）のような既知の診断及び治療決定と比較して精度に関連するグループにクラスタリングすることができる。一実施形態によれば、クラスタは、次いで、任意選択で固定することができ、その結果、クラスタリングは、展開前に独立した患者セット上で検証することができる。

ステップ１６０において、クラスタリング・アルゴリズムは、特徴がクラスタと強く相関している１つ以上のクラスタの１つ以上の特徴を識別又は抽出する。識別又は抽出された特徴は、将来のデータの分析のためにスコアリング・アルゴリズム及び／又はＣＤＳアルゴリズムによって利用できる包含基準及び除外基準（ｉｎｃｌｕｓｉｏｎ ａｎｄ ｅｘｃｌｕｓｉｏｎ ｃｒｉｔｅｒｉａ）を提供する。例えば、識別又は抽出された特徴は、偽陽性（ＦＰ）及び／又は偽陰性（ＦＮ）クラスタと関連し得る。一実施形態によれば、クラスタリング・アルゴリズムの出力は、クラスタであり、１つ以上のこれらのクラスタに関連する１つ以上の識別又は抽出された特徴である。各クラスタは、生成された特徴、識別された特徴、又は抽出された特徴に関連付けられてもよく、あるいは、クラスタの１つ又は数個のみが、生成された特徴、識別された特徴、又は抽出された特徴に関連付けられてもよい。

クラスタリング、特徴の識別、及び信頼スコアの計算には、複数の方法がある。上述の方法に加えて、クラスタリング・アルゴリズムを最初に訓練データに適用することができる。従って、本方法のステップ１３２において、クラスタリング・アルゴリズムは、所定のデータに適用され、１つ以上のクラスタを生成する。

ステップ１４２では、ＣＤＳアルゴリズムを使用して、各クラスタ内のデータを分析する。各クラスタは別々に分析される。その結果、各クラスタの曲線下面積（ＡＵＣ：ａｒｅａ ｕｎｄｅｒ ｔｈｅ ｃｕｒｖｅ）スコアが得られる。

ステップ１５０で、ＡＵＣスコアが低いクラスタを識別する。これは、学習されたしきい値又は所定のしきい値に基づいてもよい。例えば、医療専門家又は医療施設は、１つ以上の因子、内的因子又は外的因子に基づいて特定のしきい値を決定し得る。一例として、病院又は医療専門家は、可能な限り多くの偽陽性及び／又は偽陰性を除去するための非常に高いしきい値を意図的に設定することができる。代わりに、病院又は医療専門家は、医療専門家への出力にはより多くの偽陽性及び／又は偽陰性があるかもしれないという理解のもとに、意図的にしきい値を低く設定してもよい。しきい値は学習されたしきい値であってもよく、可能な限りクラスタを識別及び／又は信頼できるようにすることを目標とする。従って、しきい値は、経時的に、又は１つ以上の内部及び／又は外部の要因に応答して変化してもよい。

ステップ１６０において、スコアリング・アルゴリズムは、特徴がクラスタと強く相関している１つ以上のクラスタの１つ以上の特徴を識別又は抽出する。識別又は抽出された特徴は、将来のデータの分析のためにスコアリング・アルゴリズム及び／又はＣＤＳアルゴリズムによって利用できる包含基準及び除外基準を提供する。

図２を参照すると、一実施形態では、ステップ１３２〜１６０によって説明される方法の概略表現である。データベース１０に記憶することができる訓練データは、ステップ１３２において、Ｋ−平均、スペクトル・クラスタリング、及び他のクラスタリング・アプローチのような既知のクラスタリング・アルゴリズムであってもよいクラスタリング・アルゴリズムによってクラスタリングされる。これは、複数のクラスタ２０を生じる。ステップ１４２では、ＣＤＳアルゴリズムを利用して、各クラスタ内のデータを分析し、その結果、各クラスタのＡＵＣスコアが得られる。図２において、例えば、３つのクラスタの各々は、ＡＵＣスコアを受け取り、これらの特定のクラスタは、０．５、０．８、及び０．９のスコアを受ける。次に、ＡＵＣスコアが低いクラスタをステップ１５０で識別し、ステップ１６０で、後続のデータを分析及び分類するために利用可能な除外基準及び包含基準のセットを生成するために、クラスタから１つ以上の特徴を識別又は抽出する。

上述のように、クラスタリング、特徴の識別、及び信頼スコアの計算には、複数の方法がある。上述の方法に加えて、ＣＤＳアルゴリズムとクラスタリング・アルゴリズムを同時に訓練データに別々に適用することができる。従って、ステップ１３０及び１３２は、同じ訓練データに対して別々に実行される。方法のステップ１３０において、訓練データは、ＣＤＳアルゴリズムを使用して分析され、各データ点が４つのセットの１つ、すなわち真陽性（ＴＰ）、真陰性（ＴＮ）、偽陽性（ＦＰ）、又は偽陰性（ＦＮ）に属する既知のラベルに対する予測を評価する。本方法のステップ１３２で、訓練データはクラスタリング・アルゴリズムを使用してクラスタリングされ、データを意味のあるクラスタに分割する。ステップ１３０及び１３２は、同じ訓練データ上で同時に別々に、又は異なる時間に実行される。

この実施形態によれば、ステップ１５２において、システムは、ステップ１３０におけるＣＤＳアルゴリズム及びステップ１３２でのクラスタリング・アルゴリズムからの出力を利用し、高い偽予測密度（ｆａｌｓｅ ｐｒｅｄｉｃｔｉｏｎ ｄｅｎｓｉｔｉｅｓ）を有する１つ以上のクラスタを識別し、これらのクラスタは、除外の候補であり、一方、残りは、包含の候補である。次いで、後続のデータを分析及び分類するために利用することができる除外基準及び包含基準のセットを生成するために、この方法は、ステップ１６０に進み、１つ以上のクラスタから１つ以上の特徴を識別又は抽出する。

図３を参照すると、一実施形態では、ＣＤＳアルゴリズム及びクラスタリング・アルゴリズムが訓練データに別々に適用されるステップ１３０、１３２、１５２、及び１６０によって記載される方法の概略表現である。データベース１０に記憶され得る訓練データは、ステップ１３０においてＣＤＳアルゴリズムで分析されて出力３０を生成し、別々に、訓練データは、複数のクラスタ２０を生成するためにクラスタリング・アルゴリズムで分析される。ステップ１５２で、システムは、ステップ１３０でのＣＤＳアルゴリズムからの出力及びステップ１３２でのクラスタリング・アルゴリズムを利用し、高い偽予測密度を有する１つ以上のクラスタを識別し、これらのクラスタは、除外の候補であり、一方、他のクラスタの１つ以上のクラスタは、包含の候補である。ステップ１６０において、後続のデータを分析及び分類するために利用可能な除外基準及び包含基準のセットを生成するために、１つ以上の特徴が、１つ以上のクラスタから識別又は抽出される。

一旦、クラスタリング・アルゴリズムがクラスタを作成し、これらのクラスタの１つ以上の特徴を生成、識別、又は抽出して、除外基準及び包含基準のセットを生成すると、得られた出力は、その後のデータを分析及び分類するために利用することができる。さらに、その後のデータがクラスタ内にどの程度適合するか、従って、ＣＤＳによる決定が訓練データに基づいてどの程度正確であるかは、医療専門家に提供される信頼スコアに基づいて決定することができる。

図４を参照すると、一実施形態では、ＣＤＳアルゴリズムの出力に信頼スコアを提供するための方法４００である。本方法のステップ４１０において、スコアリング・サービス、システム、又は装置が提供される。スコアリング・サービス、システム、又は装置は、本明細書に記載されるか又は他の方法で想定される任意のシステムであってもよい。例えば、スコアリング・サービスは、サービス・オプションとしてのソフトウェアのような医療専門家に提供されるクラウドベースのサービスであってもよく、従って、１つ以上の専門化されたリモート・サーバ上でホストされてもよい。あるいは、スコアリング・サービスは、病院又は他の医療施設の特殊なコンピュータ又はサーバなど、医療専門家にローカルにホストされてもよい。

本方法のステップ４２０において、ＣＤＳアルゴリズムへの入力が得られるか、又は提供される。例えば、入力は、健康データ、背景情報、人口統計学データ、臨床的測定及び／又は非臨床的測定、及び／又は患者又は被験者からの又は患者又は被験者に関するその他のデータを含み得る。方法のステップ４３０において、ＣＤＳアルゴリズムが入力に適用され、出力が生成される。出力は、例えば、ＣＤＳの他の出力の中でも、診断及び／又は治療のリコメンデーションとすることができる。

本方法のステップ４４０において、スコアリング・アルゴリズムは、ＣＤＳの出力及び／又は患者データが、訓練データを使用してクラスタリング・アルゴリズムによって生成されたクラスタのどれに属するか、を決定する。ＣＤＳアルゴリズムのいくつかの出力は、いずれのクラスタにも適合せず、この情報は医療専門家に報告される可能性がある。

本方法のステップ４５０において、少なくとも部分的に所定の患者データのクラスタ・メンバシップ及び／又はＣＤＳアルゴリズムの出力に基づいて、信頼スコアがＣＤＳアルゴリズムの出力に割り当てられる。一実施形態によれば、信頼スコアは、定量的及び／又は定性的である。例えば、信頼スコアは、０から１の間の正の数であり得る。あるいは、信頼スコアは「はい（ｙｅｓ）」又は「いいえ（ｎｏ）」であってもよい。「１」又は「はい」は、ＣＤＳアルゴリズムの出力が信頼性をもって利用可能であることを示すことができ、一方、「０」又は「いいえ」は、ＣＤＳアルゴリズムの出力が信頼性をもって利用できないことを示すことができる。「０」又は「いいえ」の場合は、さらなるＣＤＳ評価から除外され、医師に警告するためのフラグを立てることができる。

従って、スコアリング・アルゴリズム及び方法４００の出力は、例えば、特定の患者に対してＣＤＳアルゴリズムを利用するか否か、又は特定の患者データ上で使用するか否かの決定であってもよい。あるいは、スコアリング・アルゴリズム及び方法４００の出力は、例えば、ＣＤＳアルゴリズムを利用するか否かの決定に関連する信頼スコアであってもよい。あるいは、スコアリング・アルゴリズム及び方法４００の出力は、例えば、ＣＤＳアルゴリズムの出力に関連する信頼スコアであってもよく、これにより、医療専門家は、ＣＤＳアルゴリズムの出力が信頼できるかどうかを判断することができる。

図５を参照すると、一実施形態では、方法４００の単純化されたフローチャートである。新しい患者記録５０を受信し、クラスタ内のその割り当てを本方法のステップ４４０で行う。信頼スコアは、ステップ４５０においてスコアリング・アルゴリズムによって適用され、本方法のステップ４６０において、信頼スコア（ここでは、「はい」又は「いいえ」）は、医療専門家に伝えられる。従って、一実施形態によれば、システムの出力は、その判定における信頼スコアと関連して、ＣＤＳアルゴリズムで患者記録を分析するか否かの決定である。別の実施形態によれば、システムの出力は、ＣＤＳアルゴリズムの出力と、その出力の信頼スコアである。

一実施形態によれば、本明細書に記載されるか又は他の方法で想定されるシステム及び方法は、任意のＣＤＳアルゴリズムの排除基準及び／又は包含基準を検出することができる一般的なプラットフォームを生成する。従って、システム及び方法は、既存のＣＤＳアルゴリズムに限定されない。

図６を参照すると、一実施形態では、スコアリング・システム６００である。スコアリング・サービス、システム、又は装置は、本明細書に記載されるか又は他の方法で想定される任意のシステムであってもよい。例えば、スコアリング・サービスは、サービス・オプションとしてのソフトウェアのような医療専門家に提供されるクラウドベースのサービスであってもよく、従って、１つ以上の専門化されたリモート・サーバ上でホストされてもよい。あるいは、スコアリング・サービスは、病院又は他の医療施設の特殊なコンピュータ又はサーバなど、医療専門家にローカルにホストされてもよい。

一実施形態によれば、スコアリング・システム６００は、訓練データを含む訓練データベース６０２を含む。訓練データは、例えば、複数の患者についての健康データ、背景情報、人口統計学データ、及び臨床測定を含むことができる。訓練データにおけるこれらの患者の各々は、なされた１つ以上の治療決定、並びにこれらの治療決定の１つ以上の結果と関連させることができる。訓練データベース６０２は、ローカル又はリモートであってもよく、従って、システムは、スコアリング・システムと有線及び／又は無線通信によって通信するように構成されたネットワーク６０４を含んでもよい。

一実施形態によれば、スコアリング・システム６００は、訓練データベース６０２からの訓練データを使用してクラスタリング・アルゴリズムを訓練するように構成され、患者６０８からの新しい患者データを分析するようにさらに構成されるスコアリング・モジュール６０６を含む。

一実施形態によれば、スコアリング・モジュール６０６は、スコアリング・モジュールの又はスコアリング・モジュールのために１つ以上のプロセスを実行するように構成され、又はプログラムされるプロセッサ６１０を含むことができる。例えば、プロセッサは、訓練データベース６０２からの訓練データを受信及び分析し、患者６０８からの患者データを受信及び分析するように構成又はプログラムされてもよい。プロセッサ６１０は、本明細書で説明される様々な機能を実行するためにソフトウェアを使用してプログラムされてもよく、メモリ６１２及び／又はデータベース６１４と組み合わせて利用されてもよい。メモリ６１２及び／又はデータベース６１４は、プロセッサ６１０による実行のための１つ以上のコマンド又はソフトウェアプログラム、並びに種々のタイプのデータを含むデータを記憶することができる。例えば、メモリ６１２は、プロセッサ６１０によって実行可能な一組の命令を含み、システムに本明細書に記載される方法の１つ以上のステップを実行させる非一時的なコンピュータ読取可能記憶媒体を含んでもよい。一実施形態によれば、スコアリング・モジュール６０６は、通信モジュール６１６を備え、レポート生成器と、ネットワーク６０４などの他の装置及び／又はネットワークとの間の有線及び／又は無線通信を容易にすることができる。通信モジュール６１６は、例えば、１つ以上のアンテナの使用によって容易にすることができる。通信モジュール６１６は、特に、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、３Ｇ、４Ｇ、ＬＴＥ、及び／又はＺｉｇＢｅｅ（登録商標）を含むがこれらに限定されない、公知の無線方法を使用することによって、１つ以上のネットワーク又は他の装置との通信を容易にすることができる。

スコアリング・モジュール６０６は、医療提供者６２０から入力を受け取るため、及び／又は出力又は他の情報を医療提供者６２０に提供するために、ユーザ・インターフェース及びディスプレイ６１８を含んでもよい。ユーザ・インターフェースは、ボタン又は複数のボタン、マイクロホン、キー・ストローク入力、スライダ、タッチ・スクリーン、又は種々の他の入力のいずれであってもよい。ディスプレイは、例えば、ＬＥＤベース、ＬＣＤベース、又は電子ペーパー・タイプのディスプレイであってもよい。他の実施形態では、ディスプレイは、ユーザが物理的接触及び／又はジェスチャを介してウェアラブル装置と直接相互作用することを可能にするタッチ・スクリーン・ディスプレイであってもよい。

一実施形態によれば、システム６００は、任意選択で、ユーザ入力装置としても機能し得る表示装置６２２を含むことができる。装置６２２は、例えば、スマートフォン又は他の携帯装置であってもよい。さらに別の実施形態によれば、装置６２２は、デスクトップ、ラップトップ、タブレット、又は他の永久又は半永久計算装置などのコンピュータであってもよい。装置６２２は、医療提供者６２０から入力を受け取ってもよい。装置６２２はまた、医療提供者６２０又は他の意図されたもしくは認可された実体に情報を表示することもできる。

すべての定義は、本明細書中で定義されかつ用いられるように、辞書的定義、引用により援用された書類中の定義、及び／又は定義された用語の通常の意味を支配すると理解されるべきである。

不定冠詞「１つの（ａ）」及び「１つの（ａｎ）」は、明細書及び特許請求の範囲において、ここに用いられるように、明らかに反対のことが示されるのでなければ、「少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ）」を意味すると理解されるべきである。

表現「及び／又は（ａｎｄ／ｏｒ）」は、明細書及び特許請求の範囲において、ここに用いるように、そのように連結された要素、すなわち、いくつかの場合には連結して存在し、及び他の場合には連結してではなく存在する要素の「いずれか又は双方（ｅｉｔｈｅｒ ｏｒ ｂｏｔｈ）」を意味すると理解されるべきである。「及び／又は」でリストされた多数の要素は同じように、すなわち、そのように連結された要素の「１つ以上」と解釈されるべきである。他の要素は、任意選択で、具体的に特定されたそれらの要素に関連するか関連しないかにかかわらず「及び／又は」節によって具体的に特定された要素以外で存在してもよい。

明細書及び特許請求の範囲において、ここに用いるように「又は（ｏｒ）」は先に定義された「及び／又は（ａｎｄ／ｏｒ）」と同一の意味を有すると理解されるべきである。例えば、リスト中で項目を分離する場合、「又は（ｏｒ）」又は「及び／又は（ａｎｄ／ｏｒ）」は、包括的であり、すなわち、要素の数又はリスト及び、任意選択で、さらなるリストされていない項目の、少なくとも１つ、または１を超えたものを含むと解釈されるべきである。反対に明確に示された用語のみ、例えば「１つのみ（ｏｎｌｙ ｏｎｅ ｏｆ）」又は「正確に１つ（ｅｘａｃｔｌｙ ｏｎｅ ｏｆ）」、又は、請求項において使用されている場合、「から成る（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」は、要素の数又はリストの正確に１個の要素を含めることを指す。一般に、用語「又は（ｏｒ）」は、本明細書中で用いるように、「いずれか（ｅｉｔｈｅｒ）」、「の１つ（ｏｎｅ ｏｆ）」、「の１つのみ（ｏｎｌｙ ｏｎｅ ｏｆ）」又は「の正確に１つ（ｅｘａｃｔｌｙ ｏｎｅ ｏｆ）」のような排他性の用語が先行する場合、排他的代替物（すなわち、「１つ又はもう一方、しかし双方ではない」）を示すように単に解釈されるべきである。

明細書及び特許請求の範囲においてここに用いられるように、表現「少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ）」は、１つ以上の要素のリストへの参照において、要素のリスト中のいずれかの１つ以上の要素から選択される少なくとも１つを意味し、要素のリスト内に具体的にリストされた各及びあらゆる要素の少なくとも１つを必ずしも含まず、かつ要素のリスト中の要素のいずれかの組合せを排除しないことを意味すると理解すべきである。この定義は、具体的に確認された要素に関連するか又は関連しないかを問わず、表現「少なくとも１つ」が言及する要素のリスト内で具体的に確認される要素以外で、要素が任意選択で存在してもよいことを許容する。

また、明瞭に反対のことが示されているのでなければ、１を超えるステップ又は動作を含む本明細書中において請求されたいずれの方法においても、該方法のステップ又は動作の順番は、該方法のステップ又は動作が引用される順番に必ずしも限定されるものではないと理解されるべきである。

特許請求の範囲、及び上述の明細書中において「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「運ぶ（ｃａｒｒｙｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含有する（ｃｏｎｔａｉｎｉｎｇ）」、「関係する（ｉｎｖｏｌｖｉｎｇ）」、「維持する（ｈｏｌｄｉｎｇ）」、「から構成された（ｃｏｍｐｏｓｅｄ ｏｆ）」等のようなすべての移行フレーズは、オープン・エンデッドであり、すなわち、限定されるものではなく、含めることを意味すると理解されるべきである。「からなる（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」及び「から本質的になる（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」の移行句のみ、それぞれクローズド又はセミクローズドな移行句とする。

いくつかの実施形態が本明細書に記載され図示されているが、当業者は、本明細書に記載された機能を実行し及び／又は結果及び／又は１つ以上の利点を得るための、種々の他の手段及び／又は構造を容易に想像し、そのような変形及び／又は修正のそれぞれは、本明細書に記載される実施形態の範囲内にあるとみなされる。より一般的には、当業者は、本明細書に記載されるすべてのパラメータ、寸法、材料、及び構成が例示的であることを意味し、実際のパラメータ、寸法、材料、及び／又は構成が、教示が使用される特定の用途に依存することを容易に理解するであろう。当業者は、本明細書に記載された特定の実施形態に対する多くの等価物を認識するか、又は日常的な実験のみを使用して確かめることができる。従って、上述の実施形態は一例によってのみ提供され、添付の請求項及びそれらの均等物の範囲内で、実施形態は、具体的に記載及び請求された以外で実施され得ることを理解されたい。本開示の様々な実施形態は、本明細書に記載される個々の特徴、システム、物品、材料、キット、及び／又は方法を対象とする。さらに、２つ以上のこのような特徴、システム、物品、材料、キット、及び／又は方法の任意の組み合わせは、もしそのような特徴、システム、物品、材料、キット、及び／又は方法が相互に矛盾しないならば、本開示の範囲内に含まれる。

Claims (17)

1. スコアリング・システムを訓練するための方法であって、
   スコアリング・モジュールを含むスコアリング・システムを提供するステップと、
   複数の患者データ及び治療結果を含む訓練データ・セットを受信するステップと、
   臨床意思決定支援アルゴリズムを使用して、複数の臨床意思決定支援リコメンデーションを生成するために、前記訓練データ・セットを分析するステップと、
   前記スコアリング・モジュールを使用して、前記複数の臨床意思決定支援リコメンデーションを複数のクラスタにクラスタリングするステップと、
   前記スコアリング・モジュールを使用して、前記複数のクラスタの少なくとも１つの１つ以上の特徴を識別するステップと、
   前記識別した１つ以上の特徴に基づいて、前記複数のクラスタの前記少なくとも１つの１つ以上の包含基準を生成するステップと、
   を含む、方法。
2. 前記クラスタリングするステップが、前記臨床意思決定支援リコメンデーションのそれぞれと、前記訓練データ中の前記治療結果との比較に少なくとも部分的に基づいている、請求項１に記載の方法。
3. 前記識別するステップは、前記識別された１つ以上の特徴に基づいて、前記複数のクラスタの前記少なくとも１つに対する１つ以上の除外基準を生成するステップをさらに含む、請求項１に記載の方法。
4. 患者に関する健康データを取得するステップと、
   臨床意思決定支援アルゴリズムを使用して、前記患者に対する臨床意思決定支援リコメンデーションを作成するために、前記健康データを分析するステップと、
   前記スコアリング・モジュールを使用して、前記生成された包含基準に基づいて、前記臨床意思決定支援リコメンデーションを前記複数のクラスタの１つに割り当てるステップと、
   前記スコアリング・モジュールを使用して、前記複数のクラスタの前記１つへの前記リコメンデーションの割り当てに少なくとも部分的に基づいて、信頼スコアを前記臨床意思決定支援リコメンデーションに割り当てるステップと、
   をさらに含む、請求項１に記載の方法。
5. 前記信頼スコアをユーザに伝達するステップをさらに含む、請求項４に記載の方法。
6. 前記信頼スコアが定量スコアである、請求項５に記載の方法。
7. スコアリング・システムを訓練するための方法であって、
   スコアリング・モジュールを含むスコアリング・システムを提供するステップと、
   複数の患者データ及び治療結果を含む訓練データ・セットを受信するステップと、
   前記スコアリング・モジュールを使用して、前記訓練データ・セットを複数のクラスタにクラスタリングするステップと、
   臨床意思決定支援アルゴリズムを使用して、複数の臨床意思決定支援リコメンデーションを生成するために、前記訓練データ・セットを分析するステップであって、前記クラスタリングするステップと前記分析するステップは、別々に実行される、分析するステップと、
   前記スコアリング・モジュールを使用して、前記複数のクラスタの少なくとも１つの１つ以上の特徴を識別するステップと、
   前記識別された１つ以上の特徴に基づいて、前記複数のクラスタの前記少なくとも１つの１つ以上の包含基準を生成するステップと、
   を含む、方法。
8. 前記識別するステップは、前記複数の臨床意思決定支援リコメンデーションと比較した前記複数のクラスタに基づいて、前記複数のクラスタの前記少なくとも１つを複数の誤ったリコメンデーションを有するクラスタとして識別するステップ、をさらに含む、請求項７に記載の方法。
9. 前記スコアリング・モジュールを使用して、前記複数のクラスタの少なくとも１つをノイズ性のクラスタとして識別するステップであって、前記識別されたノイズ性のクラスタは、前記１つ以上の除外基準が生成されるクラスタである、識別するステップ、をさらに含む請求項７に記載の方法。
10. 前記分析するステップは、臨床意思決定支援アルゴリズムを使用して、前記複数のクラスタのそれぞれに対する複数の臨床意思決定支援リコメンデーションを生成するために前記複数のクラスタのそれぞれを分析するステップを含み、さらに、前記方法が、前記スコアリング・モジュールを使用して、前記複数のクラスタ及び前記複数の臨床意思決定支援リコメンデーションの少なくとも一部に基づいて、スコア曲線下の低い面積を有する前記複数のクラスタの少なくとも１つを識別するステップを含む、請求項７に記載の方法。
11. 患者に関する健康データを取得するステップと、
    臨床意思決定支援アルゴリズムを使用して、前記患者に対する臨床意思決定支援リコメンデーションを生成するために、前記健康データを分析するステップと、
    前記スコアリング・モジュールを使用して、前記生成した包含基準に基づいて、前記複数のクラスタの１つに前記臨床意思決定支援リコメンデーションを割り当てるステップと、
    前記スコアリング・モジュールを使用して、前記複数のクラスタの前記１つへの前記リコメンデーションの前記割り当てに少なくとも部分的に基づいて、信頼スコアを決定支援リコメンデーションに割り当てるステップと、
    をさらに含む、請求項７に記載の方法。
12. 前記信頼スコアをユーザに伝達するステップをさらに含む、請求項１１に記載の方法。
13. 臨床意思決定支援リコメンデーションに信頼スコアを提供するための方法であって、
    患者に関する健康データを取得するステップと、
    臨床意思決定支援アルゴリズムを使用して、前記患者に対する臨床意思決定支援リコメンデーションを生成するために、前記健康データを分析するステップと、
    スコアリング・モジュールを使用して、包含基準に基づいて前記臨床意思決定支援リコメンデーションを複数のクラスタの１つに割り当てるステップであって、前記包含基準は、（ｉ）前記スコアリング・モジュールを使用して、訓練データ・セット又は臨床意思決定支援リコメンデーションを複数のクラスタにクラスタリングすること、及び（ｉｉ）前記スコアリング・モジュールを使用して、前記複数のクラスタの少なくとも１つの特徴を識別し、前記識別された１つ以上の特徴に基づいて、前記複数のクラスタの前記少なくとも１つに対する１つ以上の包含基準を生成することによって生成される、割り当てるステップと、
    前記スコアリング・アルゴリズムを使用して、前記複数のクラスタの前記１つへの前記リコメンデーションの前記割り当てに少なくとも部分的に基づいて、前記臨床意思決定支援リコメンデーションに信頼スコアを割り当てるステップと、
    前記信頼スコアをユーザに伝達するステップと、
    を含む、方法。
14. 前記信頼スコアが定量スコアである、請求項１３に記載の方法。
15. 前記信頼スコアは、前記臨床意思決定支援リコメンデーションを利用するか否かの指示を含む定量スコアである、請求項１３に記載の方法。
16. スコアリング・システムを訓練するための装置であって、前記装置は、メモリと、請求項１乃至１５のいずれか１項記載の方法のステップを実行するように構成されたプロセッサとを備える、装置。
17. スコアリング・システムを訓練するためのプロセッサによる実行のための命令で符号化された非一時的機械読取可能記憶媒体であって、請求項１乃至１５のいずれか１項記載の方法のステップを実行するための命令を含む、非一時的機械読取可能記憶媒体。

Images