JP2021522581A - 生物医学的予測の視覚化 - Google Patents

Abstract

本発明は、電池式ハンドヘルドモバイル通信デバイス（９７０）のマトリックスディスプレイ上で、生物医学的モデルベースの予測の確実性を視覚化する方法（１００）に関する。モバイルデバイスは、デジタルセルラーモバイル通信ネットワークを介して予測結果（９６０）を受け取る。予測結果は、プログラムロジック（９５６）によって、生物医学的モデル（９５８）を使用して生成された。予測結果は、予測スコア、所定のＦＮパーセンテージの閾値を下回る偽陰性予測パーセンテージを含むことが知られている予測スコアの第１の信頼区間、および、所定のＦＰパーセンテージの閾値を下回る偽陽性予測パーセンテージを含むことが知られているスコア値の第２の信頼区間を含む。モバイルデバイスは、予測スコア（２１６）を含むバックグラウンドエリア（２２０）を含むアナログスケールアイコン（２００、２６０）、スコア範囲を表すアナログスケール（２０８）、ポインタ、第１の信頼区間の大きさおよび位置を示す第１の副範囲指標（２０２）、ならびに、スコア範囲内の第２の信頼区間の大きさおよび位置を示す第２の副範囲指標（２０４）を表示する。
【選択図】図２Ｃ

Description

本発明は、モデルベースの生物医学的予測の分野に関し、より詳細には、モバイルデバイスのマトリックスディスプレイによって視覚化されたモデルベースの生物医学的予測に関する。

生物医学領域における予測モデル化は、科学者およびヘルスケアマネージャが、全ての種類の生物医学的予測タスクのために、ますます多くのモデルベースの予測器を使用しなければならないという複数の差し迫った問題に直面している。例えば、ニューラルネットワークまたはサポートベクトルマシンは、患者に最も適したがん治療法を予測するため、たんぱく質配列内の適切なエピトープを識別するため、ＤＮＡ配列における特定のパターンを識別するため、分子ライブラリ中の薬物標的候補を識別するため、または、たんぱく質の３Ｄ構造を予測するために使用することができる。患者コホートから得た統計モデルおよびデータは、標準治療法において使用される薬物に比べて、特定の薬物が、改善された効果を示したかどうか、または、薬物がそもそも効果を示すかどうかを予測するために使用される。非常に多様な予測モデルには、対応する多様なユーザインターフェースが伴う。しばしば、もともと予測モデルによって生成されたほんのわずかの情報だけがユーザに実際に表示される。それでも、ユーザが「はい、または、いいえ」という２項の結果しか提示されない場合、この予測の確実性（すなわち、信頼性）、および／または、予測が基づくモデルの正確さについての価値ある情報が失われることもある。生物医学的予測の背景における背景情報の喪失は、生物医学領域における差し迫った問題であり、データ、モデル、および患者が、しばしば、特徴と条件の一意の組合せによって、また、「灰色値状態（ｇｒｅｙ ｖａｌｕｅ ｓｔａｔｅ）」、すなわち、患者／セル／組織が特定の特徴を有しているか否かを明確に判定できない状態によって特徴づけられる。

その一方で、利用できる可能性のある背景情報全てを、予測モデルのユーザインターフェースが出力する場合、このインターフェースは、ハンドヘルドモバイルデバイスで使用するのに適しておらず、なぜなら、表示できるデータの複雑さに、小さい画面が制約を課すからである。さらに、複数のモデルベースの予測の結果を、重要な背景情報を失うことなく単一の画面に表示することはできない。それでも、異なる作業場所、顧客、病院、大学、および会議場の間の頻繁な移動は、同時に、自分の作業を実行するために自分の携帯電話を使用する多くの科学者およびヘルスケアプロバイダの日々の作業ルーチンの不可欠な構成要素になってきている。

さらなる問題は、生物医学領域における情報獲得の急激な速さであり、これにより、予測モデルは、すぐに旧式になる。

Ｋｕｎｄａｊｅ Ａ、Ｍｉｄｄｅｎｄｏｒｆ Ｍ、Ｓｈａｈ Ｍ、Ｗｉｇｇｉｎｓ ＣＨ、Ｆｒｅｕｎｄ Ｙ、Ｌｅｓｌｉｅ Ｃ．は、「Ａ ｃｌａｓｓｉｆｉｃａｔｉｏｎ−ｂａｓｅｄ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｐｒｅｄｉｃｔｉｎｇ ａｎｄ ａｎａｌｙｚｉｎｇ ｇｅｎｅ ｒｅｇｕｌａｔｏｒｙ ｒｅｓｐｏｎｓｅ」、ＢＭＣ Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ．２００６年；７（Ｓｕｐｐｌ １）：Ｓ５．ｄｏｉ：１０．１１８６／１４７１−２１０５−７−Ｓ１−Ｓ５の中で、散布図と混同行列の組合せの形で予測結果を視覚化するという、生物医学領域における予測フレームワークについて述べている。散布図は、結果を視覚化する特定のモデル固有の形であり、混同行列は、モデルの品質についていくらかの情報を提供する。それでも、専門家でさえ、混同行列が伝えた情報を理解していないことが多い。さらに、散布図または混同行列に含まれる情報を携帯電話の小さい画面に表示することは、非常に困難であるか、不可能なことさえあり、出力は、同じまたは他のモデルの他の予測と簡単に比較することができない。

米国特許出願第ＵＳ２００６／１２９３２６Ａ１号は、臨床試験の改善された制御のための方法を説明している。臨床試験が始まった後、データは、データを統計的に分析するために、必ずきれいにされ、処理される。結論はタイミングおよびレベルの予測尺度を含み、この尺度により、研究は、１つまたは複数の統計的に重要なレベルを達成することになり、研究を中間軌道に修正することができる。Ｇａｙｖｅｒｔ Ｋａｉｔｌｙｎ Ｍ．らは、「Ａ Ｄａｔａ−Ｄｒｉｖｅｎ Ａｐｐｒｏａｃｈ ｔｏ Ｐｒｅｄｉｃｔｉｎｇ Ｓｕｃｃｅｓｓｅｓ ａｎｄ Ｆａｉｌｕｒｅｓ ｏｆ Ｃｌｉｎｉｃａｌ Ｔｒｉａｌｓ」、ＣＥＬＬ ＣＨＥＭＩＣＡＬ ＢＩＯＬＯＧＹ、ＥＬＳＥＶＩＥＲ、ＡＭＳＴＥＲＤＡＭ、ＮＬ、ｖｏｌ． ２３、ｎｏ． １０、２０１６年９月１５日、１２９４〜１３０１頁、ＸＰ０２９７７４２５８の中で、昨年、臨床試験の失敗の数がかなり増加したという問題について述べている。臨床試験を行う前に、好ましくない毒性の性質を有する化合物を識別するのは困難である。著者は、見落とした特徴を分析して、臨床毒性を予測するという「マネーボール」手法を提案している。新しいデータ駆動型手法（ＰｒＯＣＴＯＲ）は、臨床試験における毒性の可能性を直接予測する。

独立請求項で指定したように、電池式ハンドヘルドモバイルデバイスおよび対応するモバイルデバイスのマトリックスディスプレイ上で、モデルベースの予測の確実性を視覚化する改善された方法を提供することが本発明の目的である。本発明の実施形態は、従属請求項で示す。本発明の実施形態は、実施形態が相互に排他的でない場合、互いに自由に組み合わせることができる。

１つの態様では、本発明は、電池式ハンドヘルドモバイル通信デバイスのマトリックスディスプレイ上で、生物医学的モデルベースの予測の確実性を視覚化する方法に関する。方法は、モバイルデバイスによって、デジタルセルラーモバイル通信ネットワークを介して予測結果を受け取ることを含む。予測結果は、プログラムロジックによって、生物医学的モデルを使用して生物医学的予測タスクのために生成されている。予測結果は、少なくとも予測スコア、第１の信頼区間、および第２の信頼区間を含む。

予測スコアは、予測の確実性を示すものであり、スコア範囲内の数値である。スコア範囲は、可能性のあるスコア値の所定の範囲である。好ましくは、予測スコアは、正規化した予測スコアであり、所定のスコア範囲は、例えば、−１と＋１との間の、または、０と１との間のスコア範囲といった、数値のスコア範囲である。

予測の目標は、例えば、２つのクラスのうちの１つにおける特定のオブジェクトのメンバシップを評価すること（すなわち、クラス「Ｃ０」に、またはクラス「Ｃ１」に、オブジェクトを２項分類すること）であってもよい。２つのクラスのそれぞれは、例えば、スコア値の範囲［０，１］については「０」および「１」、または、スコア値の範囲［−１，＋１］については「−１」および「＋１」といった、可能性のあるスコア値の範囲の２つの境界のうちの１つによって表される。予測スコアは、この評価したメンバシップがどれだけ安全であるか（信頼できるか）を示す。「理想的な」（絶対的に信頼できる）スコア値は、スコア値の範囲内の最大または最小の可能性のあるスコア値に、常になるはずである。例えば、「理想的な」スコアは、（可能性のあるスコア値の範囲が［０〜１］である場合）０もしくは１になるはずであり、または、（可能性のあるスコア値の範囲が［−１から＋１］である場合）−１もしくは１になるはずである。計算した予測スコア値が、２つのスコア範囲境界のうちの最も近い１つから遠く離れれば離れるほど（すなわち、スコアが、範囲［０〜１］の背景では０．５に近づけば近づくほど、または、範囲−１から＋１の背景では０に近づけば近づくほど）、前記最も近いスコア範囲境界によって表された予測したメンバシップが安全ではなくなる。例えば、クラスＣ０は、「この薬は、特定の疾患の治療のためにＦＤＡによって承認されるだろう」という予測結果を表すことができ、クラスＣ１は、「この薬は、この特定の疾患の治療のためにＦＤＡによって承認されないだろう」という予測結果を表すことができる。

第１の信頼区間は、スコア範囲の第１の副区間である。第１の信頼区間は、所定のＦＮパーセンテージの閾値を下回る偽陰性（ＦＮ：ｆａｌｓｅ ｎｅｇａｔｉｖｅ）予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである。

第２の信頼区間は、スコア範囲の第２の副区間である。第２の信頼区間は、所定のＦＰパーセンテージの閾値を下回る偽陽性（ＦＰ：ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである。

方法は、モバイルデバイスによって、モバイルデバイスのマトリックスディスプレイにアナログスケールアイコンを表示することをさらに含む。アナログスケールアイコンは、予測スコアを含んだバックグラウンドエリアを含む。アナログスケールアイコンは、アナログスケール、ポインタ、第１の副範囲指標、および第２の副範囲指標をさらに含む。

アナログスケールは、スコア範囲を表す。スケールの終端は、スコア範囲の最大および最小スコア値を表す。

ポインタは、予測スコアを表すスケール内の位置を指す。

第１の副範囲指標は、スケールに対する第１の副範囲指標の大きさおよび位置が、スコア範囲内の第１の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされる。

第２の副範囲指標は、スケールに対する第２の副範囲指標の大きさおよび位置が、スコア範囲内の第２の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされる。

前記特徴は、スコア値が、人間の生理機能の限界により、直感的に解釈できない数値である任意の数値または値の範囲を意識的に読み取り、理解し、解釈する必要もなく、予測の結論、ならびに、予測の、および予測が基づくモデルの正確さの、品質および確実性を、どんなユーザでも、アナログスケールアイコンによって、すぐにかつ直感的に理解できるので、有利な可能性がある。さらに、スコア値の理解は、機械学習の技術分野の経験および専門知識の不足により、妨げられる。人間の数値の知覚の生理的限界を克服するために、また、スコア値の意味、および、スコア値をどれほど信頼できるかを完全に理解するために、ユーザは、数値スコア値を意識的に読み取ること、可能性のあるスコア値のスケールを意識的に記憶すること、この範囲とスコア値を比較すること、および、特定の仮定の確認または拒否として予測結果が解釈されるべきかどうかを判定することを、以前は強いられていた。さらに、予測を実行するために使用されたモデルの正確さを評価するために、ユーザは、モデルの品質を示したさらなる数値を含んだ他のページまたは表示領域を閲覧し、数値を読み取り、数値を理解し、このさらなる情報を考慮して予測結果を解釈することを、以前は行わなければならなかった。

逆に、アナログスケール、および、このスケール内の予測スコア値を指すポインタを提供することによって、数値または値の範囲を意識的に読み取り、理解し、解釈する必要もなく、素早くかつ直感的に理解できる予測結果の視覚化をもたらす。したがって、アナログスケールアイコンで伝えられた情報の理解は、心理的または他の主観的要因にではなく、ポインタ、スケール、およびスケールと位置合わせされた２つの副範囲指標の相対的な位置に依存する。動くオブジェクトを素早く解釈することがしばしば生存の鍵であった動くオブジェクトに満ちた世界で、何百万年にもわたって進化した人間の脳の生理機能を考慮すると、オブジェクトの相対的な位置付けは、素早く処理できるデータ表現の形を表している。

さらなる有益な態様では、モデル予測結果に表現された情報は、小さい画面に提示された場合でも、同様に認識し、直感的に理解できるように、提示される。画面が小さすぎて、スケールに表現された数値、および予測スコアを、ユーザが読み取って認識することができない場合でも、また、スケールがスケール値を全く含まない場合でも、ユーザは、アナログスケールに対するポインタの方向に基づいて、依然として直感的に、予測結果を単純に評価することができる。人間が読めるほど十分に大きい数値をディスプレイが提示できる場合でも、スケールの最大値（例えば１）に近い大きい数値ではなく、スケールの平均値（例えば０）に近い小さい数値をポインタが指すことから、一見して「０．７」であると間違って知覚された数値が、実際には「０．１」であることをユーザがすぐに認識することを可能にできる直感的に認識可能な情報をポインタが示すので、アナログスケールの形での視覚化は数値の可読性をなお改善する。

さらなる有益な態様では、アナログスケールアイコンは、第１および第２の副範囲指標を含み、第１および第２の副範囲指標は、これらの副範囲内で、非常にごくわずかの偽陽性および偽陰性の予測結果だけが予想されることから特に信頼できると考えられる予測スコア値を表すスケール領域を示すものである。これらの副範囲は、モデル固有のものであり、副範囲の幅は、偽陽性の結果と偽陰性の結果で異なっていてもよい。したがって、第１および第２の副範囲の幅は、（一般に、また、現在の予測結果の品質および確実性に関わらず）モデルの品質をユーザに知らせる。

例えば、特定のモデルに基づいて計算された予測では、スコア値「０」は、イベント（分類結果）「陰性」を表し、スコア値１は、イベント（分類結果）「陽性」を表し、「陽性」は通常のことである。スコア値「０」は、第１のクラス「Ｃ０」を表し、第１の信頼区間の下の方の境界を定義することができる。スコア値「１」は、第２のクラス「Ｃ１」を表し、第２の信頼区間の上の方の境界を定義することができる。

スコア値が、０と１の間ではなく、−１と＋１の間で正規化された場合、スコア値「−１」は、第１のクラス「Ｃ０」を表し、第１の信頼区間の下の方の境界を定義することができる。スコア値「＋１」は、第２のクラス「Ｃ１」を表し、第２の信頼区間の上の方の境界を定義することができる。

さらなる例によれば、ユーザは、モデルＭ１に基づく０．７という予測スコアを受け取ることができる。このスコアは、モデルＭ１の第２の副範囲が、０．６から１．０までの範囲を含み、スコア値が０．６以上の場合に、偽陽性の予測結果のリスクが１０％未満であることを意味するので、非常に信頼できる予測結果である。偽陽性の結果に対するモデルＭ１の品質の高さは、第２の副範囲がかなり大きいので、ユーザによって素早くかつ直感的に理解することができる。予測の品質の高さは、第２の副範囲指標に対して位置合わせされ、第２の副範囲指標に含まれたスケール内の位置をポインタが指すので、直感的に評価することができる。次に、ユーザは、異なるモデルＭ２に基づく０．７という予測スコアを受け取ることができる。このスコアは、０．９から１．０までの範囲をモデルＭ２の第２の副範囲が含み、スコア値が０．９以上の場合に、偽陽性の予測結果のリスクが１０％未満であることを意味するので、信頼できる予測結果ではない。偽陽性の結果に対するモデルＭ２の品質の低さは、第２の副範囲がかなり小さいので、ユーザによって、素早くかつ直感的に理解することができる。予測の品質の低さは、第２の副範囲指標に対して位置合わせされていない、かつ、第２の副範囲指標に含まれていないスケール内の位置をポインタが指すので、直感的に評価することができる。

さらに有益な態様では、アナログスケールアイコンは、ハンドヘルドの携帯型モバイルデバイスの小さいマトリックスディスプレイに表示できるように、受け取った特定の予測結果の品質と、さらに、予測のために使用されるモデルの品質との両方をユーザが評価できるようにするのに十分な背景情報を提供することができる。したがって、ユーザは、混同行列、モデルの統計学的品質パラメータ、または同様のものなどの、さらなるモデル関連情報を含んだ、さらなるＧＵＩペインもしくはページのスクロール、またはそうでなければ、閲覧を行う必要がない。むしろ、アナログスケールアイコンは、個々の予測の、ならびに、一般にモデルの品質および正確さの、品質および確実性を熟練ユーザが直感的に評価できる予測結果および背景情報を、単一の凝縮させた（詰め込んだ）ビューに表示することができる。視覚化は、予測スコアを生成し、また、偽陽性または偽陰性予測の占有率が、例えば１０％未満または５％未満など、所定の閾値の範囲を下回るスコア範囲が知られている任意の生物医学的モデルの出力に適用することができる。このように、多くの異なる生物医学的モデルの予測、または、同じモデルの多くの異なる版の予測は、容易かつ直感的に互いに視覚化して比較することができる。

いくつかの例によれば、方法は、特定の疾患の治療のために薬物が当局によって後で承認されることになるという可能性にやはり依存した、特定の薬物についてのリサーチを続けるか否かを判定する半自動処理内のサブルーチンとして実行される。代替として、アナログスケールアイコンは、特定のたんぱく質配列が、有望なエピトープ候補であるか、別の分子への結合領域であるか、または同様のものであるかを予測し、予測結果に応じて、さらなる計算の、またはウェットラボの工程を実行して、薬物、たんぱく質、または他の任意の生物医学的オブジェクトを分析するために使用することができる。このように、アナログスケールアイコンの形で予測結果を表現すると、人間と機械の誘導型対話プロセス（ｇｕｉｄｅｄ ｈｕｍａｎ−ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｏｎ ｐｒｏｃｅｓｓ）を促進することができる。

いくつかの実施形態によれば、アナログスケールアイコンは、速度計アイコンである。

いくつかの実施形態によれば、バックグラウンドエリアは、タコディスクエリアである。

いくつかの実施形態によれば、スケールは、バックグラウンドエリアの輪郭の一部である。

いくつかの実施形態によれば、ポインタは、バックグラウンドエリアの中心で始まる。

いくつかの実施形態によれば、バックグラウンドエリアは、半円形である。

いくつかの実施形態によれば、第１および第２の副範囲指標はそれぞれ、円弧、具体的には弓形の弧である。

いくつかの実施形態によれば、予測スコアは、バックグラウンドエリアの中心に表示される。

いくつかの実施形態によれば、アナログスケールアイコンは、バックグラウンドエリアと同一中心に位置合わせされた中心エリアをさらに含む。中心エリアは、スコア値を表示する。

実施形態によれば、予測結果は、予測分散区間（ｐｒｅｄｉｃｔｉｏｎ−ｖａｒｉａｎｃｅ−ｉｎｔｅｒｖａｌ）をさらに含む。予測分散区間は、スコア範囲の副範囲を示すものである。予測分散区間の幅は、前記予測の計算のために使用される入力データのわずかな変化に対する、モデル、および、モデルベースの予測の堅牢性と逆相関する。

したがって、予測分散区間は、予測の計算のために使用される入力データのわずかな変化に対する、モデルによって生成された予測の堅牢性についての一種の推定である。理想的には、入力データのわずかな変化は、スコア値によって示された予測結果のわずかな変化しか生じない方がよい。

アナログスケールアイコンは、ポインタに垂直に配置された分散バーをさらに含む。分散バーの幅は、予測分散区間の幅と相関し、予測分散区間の幅を示すものである。分散バーは、その中心がポインタの軸の中心を含むように、配置されるのが好ましい。

一般に、分散バーは、予測スコアの分散（例えば標準偏差）を表す。分散バーは、特定の予測のために使用される入力データのわずかな変化の、スコア値への影響を示す。理想的な／非常に確実な予測は、予測のスコア値を示すポインタが、信頼区間のうちの１つの範囲内にあり、信頼区間の範囲内に完全に位置する分散バーに関連付けられていることを判定することによって、ユーザによって素早く識別することができる。このように、ユーザは、モデルベースの予測の確実性に関する複雑な情報を素早くかつ直感的に知ることができる。

前記特徴は、スケールに対するポインタの方向が予測の結果を示す一方で、分散バーの幅は、この特定の予測の「確実性」についての追加情報をもたらすので、有利な可能性がある。分散バーが広く／大きくなればなるほど、分散バーによって含まれる、可能なポインタ方向の角度が広くなる。広い／大きい分散バーは、訓練済のモデルが、モデルの訓練データのわずかな変化に非常に影響を受けやすいこと、およびしたがって、現在の予測スコア（ポインタの方向）も、入力データの小さな変化に対してあまり堅牢ではないことを示す。言い換えれば、広い／大きい分散バーは、現在の予測があまり信頼できず、あまり堅牢ではないことを示す。

例えば、ユーザの第１の予測リクエストに応答して、予測スコアが０．７である第１の予測結果、および、（例えば、０．６９から０．７１までの範囲の）スケールのエリアに沿った、小さい範囲のスコアの変動性を示した短い予測分散バーが生成され、表示される。スコア値、および、ポインタの方向は、「薬物Ｘが、疾患Ｄの治療のためにＦＤＡによって承認されるだろう」のような仮定が、０．７というスコア値で真であると予測されたことを示すことができる。範囲０．６９から０．７１は、例えば９５％といった、ユーザ定義の、またはそうでなければ定義済の、予測信頼度レベルに基づいて計算することができる。ポインタは、０．０２スコアユニットの幅を表し、示した短い分散バーで覆われてもよい。ユーザは、分散バーが短いので、この特定の結果の確実性が非常に高いことをすぐにかつ直感的に理解する。

対照的に、ユーザの第２の予測リクエストに応答して、予測スコアが０．７である第２の予測結果、および、（例えば、０．５から０．９までの範囲の）スケールのエリアに沿った、大きい範囲のスコアの変動性を示した長い分散バーが生成され、表示される。第１の例のように、スコア値、および、ポインタの方向は、「薬物Ｘが、疾患Ｄの治療のためにＦＤＡによって承認されるだろう」のような仮定が、０．７というスコア値で真であると予測されたことを示すことができる。範囲０．５から０．９は、例えば９５％といった、上述の予測信頼度レベルに基づいて同様に計算することができる。ポインタは、０．４スコアユニットの幅を表し、示した広範な分散バーに覆われてもよい。この場合、ユーザは、第２の予測の分散バーが、第１の予測の分散バーより大きいので、この特定のスコアの確実性がかなり低くなることを容易に理解することができる。大きい分散バーは、入力パラメータ値のわずかな変更が、計算した予測スコアに大きい影響を与える可能性があることを示し、および／または、わずかに異なる訓練データセットに基づくモデルベースの予測器の再訓練が、現在使用されている入力データに関する計算した予測スコアに大きい影響を与える可能性があることを示すことができる。

本明細書で使用されるような「予測分散区間」は、モデルベースの予測ロジックで計算した予測スコアのセットの変化またはばらつきの量を数量化するために使用される尺度である。小さい予測分散区間は小量のばらつきを示し、大きい予測分散区間は大量のばらつきを示す。

例えば、モデルベースの予測器の生成および訓練のために使用される訓練データは、訓練データの上位セットからのデータサンプリングによって取得した訓練データセットであってもよい。データサンプリングは、各エポックにおける訓練セットのサブセットを選択するための技法である。これは、エポックユニットを小さくするため、または、各エポックにおける関連した訓練シーケンスを選択するための方式であってもよい。また、これは、非常に大きいデータセットに対して作業するときに実行されることが多く、この場合、各エポックのために完全なデータをメモリにロードする必要はない。したがって、本発明の実施形態による「予測分散区間」は、上位セットの訓練データのサンプリング分散の推定を示し、言い換えれば、予測分散区間は、特定のモデルベースの機械学習ロジックが、新しい訓練セットのサンプルについて訓練された場合に、特定のモデルベースの機械学習ロジックで計算した予測スコアがどれだけ変化する可能性があるかを示す。

典型的には、モデルベースの予測ロジックを訓練するためにもともと使用した訓練データが、大きい高品質の訓練データであった、すなわち、十分な量の真陽性および真陰性を含み、バイアスが大きくならず、「現実世界」の構成物に正確に相当する場合、モデルベースの予測器で計算した予測スコアは、おそらく、訓練データセットのわずかな変化に対して堅牢になる。例えば、モデルベースの予測ロジックを訓練するために使用される訓練セットは、サンプリングした訓練セットであってもよく、本発明の実施形態による予測分散区間は、ランダムフォレストのサンプリング分散の推定を示し、言い換えれば、新しい訓練セットについてモデルベースの予測ロジックを訓練した場合、予測分散区間は、例えば、ニューラルネットワークまたはランダムフォレストの予測ロジックといった、モデルベースの予測ロジックの予測がどれほど変化する可能性があるかを示す。典型的には、バグドラーナー（ｂａｇｇｅｄ ｌｅａｒｎｅｒ）であるＭＬＬ（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｌｏｇｉｃ）によって生成された予測の予測分散区間の幅は、ベース学習器の分散に依存し、ベース学習器の分散を示すものである。

実施形態によれば、分散バーの幅は、可視または不可視の弓形（ｃｉｒｃｌｅ ｓｅｇｍｅｎｔ）の弦長と同一である。前記弓形は、バックグラウンドエリアの中心で始まる。分散バーの両端は、弓形の区間と交わる。弓形の弧は、予測分散区間に対応するスケールの一部である。

実施形態によれば、方法は、プログラムロジックによって、生物医学的モデルを使用して予測結果を自動的に生成することをさらに含む。

実施形態によれば、プログラムロジックは、サーバコンピュータシステムにインストールされる。方法は、生物医学的モデルを使用しプログラムロジックによって、予測結果を自動的に生成すること、および、ネットワークを介してモバイルデバイスに予測ロジックを送ることをさらに含む。代替として、方法は、ネットワークを介してモバイルデバイスにメッセージを送ることであって、メッセージが、予測結果が生成されたことをモバイルデバイスに通知する、送ること、および、モバイルデバイスによってサーバコンピュータから予測結果をダウンロードすることを含む。

実施形態によれば、プログラムロジックは、訓練済の機械学習ロジックである。

実施形態によれば、方法は、訓練データを繰り返し受け取ることをさらに含む。各受け取った訓練データの最新版は、以前に受け取った訓練データに収められていない少なくともいくつかのデータを含む。訓練データを受け取る際に、方法は、現在受け取った訓練データについて機械学習ロジックを自動的に再訓練し、これにより、生物医学的モデルの更新版を自動的に生成することを含む。

これは、生物学および医学の多くの分野で利用できるデータおよび知識の量が急激に増加するので、有利な可能性がある。したがって、予測結果は、急速に旧式になる可能性がある。新たに利用可能な情報について機械学習ロジックを自動的に再訓練すること、および、生物医学的モデルの更新版に基づいて予測結果の再計算を自動的にトリガすることによって、生物医学領域における科学者および管理要員が、最新の生物医学的モデルによってもたらされた予測に基づいて判定できることを保証することができる。

実施形態によれば、機械学習ロジックによって使用される生物医学的モデルは、第１の訓練データに基づいて生成された第１の生物医学的モデルである。モバイルデバイスは、複数のユーザのうちの１人にそれぞれ割り当てられた複数のモバイルデバイスのうちの１つである。方法は、複数のユーザおよび複数の生物医学的予測タスクをバックエンドプログラムに登録することをさらに含む。例えば、バックエンドプログラムは、ユーザレジストリおよび予測タスクレジストリを維持し、管理することができる。各登録ユーザは、予測タスクの１つまたは複数を割り当てている。機械学習ロジックは、予測タスクのそれぞれを実行し、これにより、第１の生物医学的モデルをそれぞれ使用して、第１の予測結果を生成する。方法は、第１の予測結果が生成された予測タスクを割り当てたユーザのモバイルデバイスに第１の予測結果を選択的に送ることを含む。機械学習ロジックの各再訓練に応答して、機械学習ロジックは、さらなる期間、予測タスクのそれぞれを自動的に実行し、これにより、生物医学的モデルの更新版をそれぞれ使用して、第２の予測結果を生成する。次に、方法は、第１の予測結果が生成された予測タスクを割り当てたユーザのモバイルデバイスに、第２の予測結果、または、これらの計算の通知を選択的に送ることを含む。

いくつかの実施形態によれば、予測タスクは、例えば、文献ベースのモデル、マイクロアレイデータに基づくモデル、など、多くの異なるタイプのモデルに基づいて実行される。ユーザレジストリおよびタスクレジストリは、予測タスクおよびモデルＩＤの割当てをさらに含み、バックグラウンドプログラムは、各予測タスクが実行または再実行されるように、レジストリ内のモデルＩＤおよびタスク割当てに基づいて適切なモデルを選択するように構成される。

これは、一方では、任意の数の異なる予測タスクのための最新の利用可能な予測結果を複数のユーザに常にもたらすことを保証するので、有利な可能性がある。同時に、モデル更新が実行された予測タスクに対して登録したこれらのユーザだけが予測結果を通知されるので、ネットワークトラフィックが避けられる。

いくつかの実施形態によれば、バックエンドプログラムは、各予測タスクのために計算された第１の予測結果と第２の予測結果を比較する。第２の予測結果の送付、または、これらの計算の通知の送付は、以下の条件の１つまたは複数を満たした第１の予測結果および第２の予測結果を計算したこれらの予測タスクについて選択的に実行される。
− 第１の予測結果のスコア値ではなく、第２の予測結果のスコア値が第１の信頼区間内にあることであり、例えば、これは、低い部分のＦＮ（例えば、１０％未満のパーセンテージのＦＮ）により、特に確実であると思われるスコア範囲に、新しい予測結果が入ったことが観察されたことを意味することができる、または
− 第２の予測結果のスコア値ではなく、第１の予測結果のスコア値が第１の信頼区間内にあることであり、例えば、これは、多くのＦＮ（例えば、１０％より大きいパーセンテージのＦＮ）により、信頼できないと思われるスコアエリアに、新しい予測結果が突然入ったことが観察されたことを意味することができる、または
− 第２の予測結果のスコア値ではなく、第１の予測結果のスコア値が第２の信頼区間内にあることであり、例えば、これは、低い部分のＦＰ（例えば、１０％未満のパーセンテージのＦＰ）により、特に信頼できると思われるスコアエリアを、新しい予測結果が突然出たことが観察されたことを意味することができる、または
− 第１の予測結果のスコア値ではなく、第２の予測結果のスコア値が第２の信頼区間内にあることであり、例えば、これは、低いパーセンテージのＦＰ（例えば、１０％未満のパーセンテージのＦＰ）により、特に信頼できると思われるスコアエリアに、新しい予測結果が突然入ったことが観察されたことを意味することができる、または
− 第１および第２の予測結果のスコア値が、所定のスコアの差の閾値より大きく異なることであり、例えば、これは、モデルベースの予測が、突然著しく改善した、もしくは悪化したことを意味することができる、または
− 第１および第２の予測結果の予測分散区間の大きさが、所定の区間の長さの差の閾値より大きく異なること。例えば、これは、例えば、訓練データの変化した変動性により、モデルベースの予測の品質が、突然著しく改善した、または悪化したことを意味することができる。

これは、更新後のモデルに基づいて生成された予測結果が、以前のモデルの版に基づいて生成された予測結果と著しく異なる場合のみ、および／または、モデルの確実性、もしくは、更新後のモデルに基づいて生成された予測結果の確実性が、モデルの確実性、もしくは、以前のモデルの版に基づいて生成された予測結果の確実性と著しく異なる場合のみ、予測結果だけをユーザに通知するので、ネットワークトラフィックを避けること、および、登録ユーザを必要以上に不安にさせることを避けることに役立てることができる。

実施形態によれば、機械学習ロジックは、生物医学的文献について訓練されている。機械学習ロジックは、生物医学的文献から自動的に抽出された特徴を使用して、特定の薬物による特定の疾患の治療能力を検査する臨床前試験または臨床試験の失敗の可能性を予測するように適合される。

実施形態によれば、モバイルデバイスは、予測結果を含む複数の予測結果を受け取る。受け取った予測結果のそれぞれは、生物医学的モデルを使用しプログラムロジックによって、異なる入力データについて生成されている。例えば、予測ロジックは、標的分子Ｔ１を含んだ特定の薬物Ｄ１が、疾患Ｄの治療のためにＦＤＡによって承認されることになるかどうかを予測するために使用することができ、標的分子Ｔ２を含んだ特定の薬物Ｄ２が、疾患Ｄの治療のためにＦＤＡによって承認されることになるかどうかを予測するためにさらに使用することができる。したがって、２つの予測のための入力データは、薬物標的Ｔ１、Ｔ２の名前が異なるので、異なっていてもよい。モバイルデバイスは、モバイルデバイスのディスプレイに予測リストを表示する。各リスト項目は、受け取った予測結果のうちの１つを表し、前記予測結果をグラフィカルに表す少なくともサムネイルアナログスケールアイコンを含む。各サムネイルアナログスケールアイコンは、少なくともサイズ縮小版のスケール、予測スコアを含んだサイズ縮小版のバックグラウンドエリア、および、サイズを縮小したバックグラウンドエリアの中心で始まり、予測スコアを表すサイズを縮小したスケール内の位置を指すサイズ縮小版のポインタを含む。リスト項目のうちの１つをユーザが選択したとき、アナログスケールアイコンの生成および表示が行われ、表示されたアナログスケールアイコンは、選択したリスト項目によって表された予測結果を表す。表示は、アナログスケールアイコンが、モバイルデバイスのマトリックスディスプレイ上の予測リストを置き替えるように実行される。

これは、既にサムネイルアナログスケールアイコンが、予測結果の直観的な印象、および、予測のために使用されたモデルの品質をユーザに提供することができるので、有利な可能性がある。ユーザは、より効率的かつ正確な手法で、１つまたは多くのモデルまたはモデルの版によって生成された複数の生物医学的予測結果の比較および解釈などの技術タスクを管理できるようになる。

本発明の実施形態は、最も適切な標的の識別を可能にすることができ、一般に、異なるユースケースとデータ入力シナリオを比較して評価し、例えば、薬物および／または薬物標的を識別するタスクといった、特定の生物医学的タスクの最善の解決策の発見を可能にすることができる。この場合、同じモデルが予測を行うために使用される。

さらなる有益な態様では、本発明の実施形態は、異なるモデルの予測の比較を可能にすることができる。

サムネイルアナログスケール画像を含むリスト内の予測結果は、他のモデル、もしくは、同じモデルの他の版によって提供された予測結果とは著しく異なるモデル予測をユーザが素早く識別できるようにし、および／または、特定の高いもしくは低い品質もしくは正確さのモデルもしくはモデルの版に基づく予測をユーザが素早く識別できるようにする。したがって、大きくなる大きさの訓練データセットについて繰り返し訓練された場合、同じモデルの異なる版の正確さをユーザが素早くかつ直感的に理解すること、ならびに、このモデルの開発およびこのモデルの正確さの傾向をユーザが識別することも可能にできるインターフェースが提供される。これは、データの量が急激に増加し、したがって、更新版の訓練データについてモデルを繰り返し訓練することによって、多くの予測モデルの品質を向上させることができる生物医学的リサーチの背景で特に有利な可能性がある。これは、異なる入力シナリオおよびモデルの版を比較して評価することを可能にすることができ、予測タスクを実行するための最善のモデルおよびモデルの版の識別を可能にすることができる。サムネイルアナログスケール画像を比較することによる予測結果の大きいリスト内での前記予測結果の識別は、個人ユーザの主観的な心理的特質に依存しない。むしろ、アナログ情報の解釈は、人間の脳の生理的性質により、全ての人間における数値または値の範囲の解釈より速くなる。

実施形態によれば、アナログスケールアイコンは、スクロールバーがない、および／または、スクロールをサポートしないグラフィカルユーザインターフェースの要素として表示される。

これは、スクロール動作が、大量のエネルギーおよび処理能力を消費し、科学者によって予測の結果を解釈するための全ての関係情報が、アナログスケールアイコンの中で視覚化されることから、スクロールがもはや不要になる可能性があるので、有利な可能性がある。

実施形態によれば、アナログスケールアイコンの生成は、サーバコンピュータによって提供されたウェブページのスクリプト要素を実行するブラウザによって行われる。

他の実施形態によれば、アナログスケールアイコンの生成は、サーバコンピュータによって提供されたウェブページを表示するブラウザのブラウザプラグインによって行われる。

他の実施形態によれば、アナログスケールアイコンの生成は、アプリケーションプログラム（「アプリ」）によって行われる。アプリケーションプログラムは、サーバコンピュータによってホストされたバックエンドプログラムと相互動作可能である。バックエンドプログラムは、ネットワークを介してモバイルデバイスに予測結果を提供するように適合される。

実施形態によれば、方法は、プログラムロジックによって生成された本来の予測スコアを正規化すること、および、プログラムロジックによって生成された予測スコアとして、正規化した予測スコアを使用することをさらに含む。正規化したスコアは、所定のスコア範囲に基づいて正規化される。

実施形態によれば、方法は、プログラムロジックによって、生物医学的予測タスクのための予測結果の生成を繰り返し実行し、これにより、繰り返し更新された版の生物医学的モデルを使用することをさらに含む。方法は、アナログスケールアイコンの動画の形で、繰り返し更新された生物医学的モデルの正確さの変化を視覚化することをさらに含み、第１および第２の副範囲指標の大きさ、ポインタの方向、ならびに／または、分散バーの大きさが、もしあれば、経時的に動画の中で変化する。

一連のアナログスケールアイコンからの動画の生成は、５つの数値（スコア値、および、各副範囲区間の両端）の発現を経時的に人間が直感的に理解するのは生理学的に不可能なので、特に有益な可能性がある。これは、特に、経時的に５つの数値が動的に変化した場合、人間の脳が５つの数値を同時に読み取ること、解釈すること、および分析することができないことが原因である。逆に、人間の脳の生理機能は、変化のないスケールに沿ったポインタの動き、および、２つの範囲指標の増加または減少を、経時的に直感的に理解および解釈することができる。したがって、アナログスケールアイコンを使用すると、予測の品質、および、モデル自体の品質に関する傾向を経時的に視覚化でき、これにより、ユーザは、結果およびモデル品質が、数値および値の範囲に基づいて提示される場合に可能なものより多くの情報を一度に処理し、理解することができる。

さらなる態様では、本発明は、モバイルデバイスに電力を供給するための電池、デジタルセルラーネットワークインターフェース、マトリックスディスプレイ、およびプログラムロジック（「クライアントサイドプログラムロジック」とも呼ばれる）を備えたモバイルハンドヘルド通信デバイスに関する。例えば、プログラムロジックは、例えば、スタンドアロンアプリケーションプログラムもしくはブラウザプラグインといった、クライアントアプリケーションプログラム、または、例えば、ウェブページに埋め込まれたＪａｖａＳｃｒｉｐｔ（登録商標）コードといった、スクリプトであってもよい。プログラムロジックは、モバイルデバイスの１つまたは複数のプロセッサによって実行可能であり、デジタルセルラーネットワークインターフェースを介して予測結果を受け取るように構成される。予測結果は、生物医学的モデルを使用し予測プログラムロジックによって、生物医学的予測タスクのために生成されている。予測結果は、少なくとも予測スコア、第１の信頼区間、および第２の信頼区間を含む。

予測スコアは、予測の確実性を示すものであり、スコア範囲内の数値であり、スコア範囲は、可能性のあるスコア値の所定の範囲である。好ましくは、スコア値は、正規化したスコア値であり、スコア値の範囲は、正規化したスコア値の範囲である。

スコアを計算する特定の方式は、使用した数学モデルに依存してもよい。例えば、モデルがランダムフォレストモデルの場合、予測スコアは、サンプルがクラスＣ１に属するという結論に至ったランダムフォレストにおける決定木のパーセンテージを計算することによって、ランダムフォレストモデルの確実性を数量化する。これは、次のように計算される：スコア＝ｓｕｍ（ＤＴ、ここでＯ（ＤＴ）＝Ｃ１）／ｓｕｍ（ＤＴ）、ＤＴ＝決定木であり、Ｏは、決定木の出力を記述する関数であり、Ｃ１は、陽性クラスである。

第１の信頼区間は、スコア範囲の第１の副区間である。第１の信頼区間は、所定のＦＮパーセンテージの閾値を下回る偽陰性予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである。

第２の信頼区間は、スコア範囲の第２の副区間である。第２の信頼区間は、所定のＦＰパーセンテージの閾値を下回る偽陽性予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである。

クライアントサイドプログラムロジックは、マトリックスディスプレイにアナログスケールアイコンを表示するようにさらに構成される。アナログスケールアイコンは、予測スコア、アナログスケール、ポインタ、第１の副範囲指標、および第２の副範囲指標を含んだバックグラウンドエリアを含む。アナログスケールは、スコア範囲を表し、スケールの終端は、スコア範囲の最大および最小スコア値を表す。ポインタは、予測スコアを表すスケール内の位置を指す。第１の副範囲指標は、スケールに対する第１の副範囲指標の大きさおよび位置が、スコア範囲内の第１の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされる。第２の副範囲指標は、スケールに対する第２の副範囲指標の大きさおよび位置が、スコア範囲内の第２の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされる。

さらなる態様では、本発明は、モバイルデバイスおよびサーバコンピュータを備えるシステムに関する。サーバコンピュータは、セルラーネットワークインターフェースを介して確立されたネットワーク接続を介して、モバイルデバイスに接続することができる。サーバコンピュータは、生物医学的モデル、生物医学的モデルを使用して予測結果を生成するように構成された予測的プログラムロジック、および、ネットワークを介してモバイルデバイスに予測結果を提供するように適合されたバックエンドプログラムを含む。

システムは、任意選択として、サーバコンピュータ上でホストされたリモートプログラムロジックによって管理されたユーザレジストリおよびタスクレジストリに登録されている可能性のあるさらなるユーザの複数のさらなるモバイルデバイスを備えることができる。

本明細書で使用されるような「訓練データセット」または「訓練データ」は、例えば、組織画像、電子文書、マイクロアレイデータ、タンパク質発現プロフィール、等といった、データレコードのセットであり、訓練データに収められた生物医学的知識を組み込み、生物医学的疑問に関する予測を実行するために使用できる予測モデルを、ＭＬＬが訓練データに基づいて学習できるようにした、手動でまたは自動的に注釈をつけたメタデータを含む。訓練データは、特定の予測タスクを実行するように適合された訓練済のＭＬＬを生成するために、未訓練版のＭＬＬを訓練するために使用される。例えば、訓練データセットは電子文書を含むことができ、疾患の名前、および、この疾患の治療に役立つと思われる特定の薬物標的分子の名前が両方言及されており、例えば、著者名、刊行日、ジャーナルインパクトファクタ、などの、前記文書から抽出した、いくつかの特徴を含むことができる。訓練データセット内の電子文書は、薬物が、疾患の治療のためにＦＤＡによって承認されたか、ＦＤＡによって拒否されたか、臨床前試験および臨床試験期間中に他の理由で失敗したかを示すフラグで注釈をつけられる。このように、ＭＬＬは、訓練データセットに収められた特徴（記事数、著者ネットワークなど）から学習して、利用可能な生物医学的文献、および、この文献から抽出した特徴に基づいて、有望な薬物の候補と、あまり有望でない薬物の候補を区別することができる。

本明細書で使用されるような「機械学習ロジック（ＭＬＬ）」は、訓練プロセスの中で訓練した、または、訓練することができる、例えば、１つのソフトウェアといった、プログラムロジックであり、訓練プロセス中、ＭＬＬは、訓練データセットから特定の予測タスクを解決するための予測をどのように行うかを学習する。例えば、ＭＬＬは、ニューロンネットワーク、またはサポートベクトルマシン、または同様のものであってもよい。したがって、ＭＬＬのプログラムコードは、プログラマによって明示的に指定されないが、データ駆動型学習プロセスで訓練データから暗黙的に学習される命令およびプログラムルーチンを含むことができる。学習は、将来の入力データに基づいて予測を行うために、訓練済のＭＬＬによって使用される１つまたは複数の暗黙的または明示的な予測モデルを生成することを含むことができる。機械学習は、教師ありまたは教師なし学習を用いることができる。

本明細書で使用されるような「生物学モデル」は、生物医学的システムを含み、電子形式で表現された、静的または動的な生物学システムの一種である。例えば、生物学モデルは、特定の実体の一種、および、この実体が他の実体または生物医学的メカニズムと対話する方式の一種であってもよい。モデルは、例えば、また限定ではなく、生物学システムの数学的、統計学的、発見的、またはルールに基づく仕様であってもよい。モデルは、例えば、ルールに基づく生物学モデルについてのケースとして明示的に指定することができ、または、例えば、モデルベースの機械学習アルゴリズムの訓練フェーズ中に暗黙的に指定することができる。モデルは、機械学習に基づく予測ロジックの統合部分であってもよい。好ましい実施形態では、生物学モデルは、予測モデル、すなわち、（システム生物学モデルのケースによくあるような）シミュレーションを行うためではなく、予測を計算するためのモデルである。

本明細書で使用されるような「副範囲指標」は、例えば、線、弧、バー、矢印、または同様のものといった、可視のＧＵＩ要素であり、超範囲（ｓｕｐｅｒ−ｒａｎｇｅ）内の副範囲の大きさおよび位置を表す。例えば、副範囲指標は、所定の色および厚さがあり、アナログスケールアイコンのバックグラウンド領域２２０の外側にある弧２０２であってもよい。例えば、副範囲指標は、副範囲指標の位置および大きさが、副範囲内に収められたスケール内の予測スコア値に対応するように、例えば予測スコア範囲といった、超範囲に相当するアナログスケール２０８に対して位置合わせすることができる。

本明細書で使用されるような「ポインタ」は、例えば、バー、矢印、三角形、手、または同様のものといった、可視のＧＵＩ要素である。好ましくは、ポインタには長軸および短軸があり、長軸は短軸より少なくとも３０％、好ましくは少なくとも５０％長い。

本明細書で使用されるような「予測スコア」は、予測結果を示した数値である。例えば、予測スコアは、正規化した数値であってもよい。いくつかの例において、正規化した予測スコアが、可能性のある全ての正規化したスコア値の中央値より大きい場合、予測結果は、所与の仮定が真と予測されたというものである。正規化した予測スコアが、可能性のある全ての正規化したスコア値の中央値より小さい場合、予測結果は、所与の仮定が偽と予測されたというものである。したがって、本発明の実施形態によれば、予測スコアは、可能性のある２つの値またはクラスのうちのどの１つが、正しい可能性があるかを示す数値である。これらの可能性のある２つの値は、例えば、「特定のクラス内のメンバシップ：はい、または、いいえ」、「特定の疾患に対する特定の薬物に関するＦＤＡによる薬物承認：はい、または、いいえ」、等であってもよい。

本明細書で使用されるような「信頼区間」は、前記副範囲内のスコアを有する予測が、ＦＰまたはＦＮ予測の所定のパーセンテージより大きくならないということを示す、可能性のあるスコア値の範囲内の副範囲である。例えば、第１の信頼区間は、スコア範囲の第１の副区間であってもよく、例えば１０％未満といった、所定のＦＮパーセンテージの閾値を下回る偽陰性予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものであってもよい。第２の信頼区間は、スコア範囲の第２の副区間であってもよく、例えば１０％未満といった、所定のＦＰパーセンテージの閾値を下回る偽陽性予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものであってもよい。

本明細書で使用されるような「予測分散区間」は、モデルベースの予測ロジックで計算した予測スコアのセットの変化またはばらつきの量を数量化するために使用される尺度である。小さい予測分散区間は、小量の変化を示し、大きい予測分散区間は、大量の変化を示す。したがって、（スコア範囲の約７％以下しか含まない）小さい予測分散区間は、現在使用されている入力データ値、および、類似の入力データ値について計算したスコア値が、予想されるスコア値に近くなるということを示すことができる。大きい予測分散区間は、現在使用されている入力データ値、および、類似の入力データ値について計算したスコア値が、より広い範囲の値に広がることになるということを示す。「予測分散区間」は、スコア値の副範囲として実現することができ、スコア値の副範囲の幅は、スコア値の変化またはばらつきの量の尺度である。

いくつかの実施形態によれば、予測分散区間は、スコア値の標準偏差を表す。これは、標準偏差が平均絶対偏差などの分散についての他の尺度より代数的に単純なので、有利な可能性がある。それでも、平均絶対偏差を含む、予想値からの予測スコアの偏差についての他の尺度もあり、他の尺度は、標準偏差とは異なる数学的性質をもたらす。

本明細書で使用されるような「信頼度レベル」または「変動信頼度レベル」は、パーセンテージ値である。これは、特定の予測の予測スコア区間を計算するための基礎として使用される。これは、予測手順の信頼性を表し、例えば、モデルベースの予測器を訓練した訓練データの大きさおよび／または品質を示すなど、モデルベースの予測器の特殊性を示す。

実施形態によれば、予測分散区間の幅は、例えば、９０％の信頼度レベルといった、所定の（例えば、ユーザ定義の、または事前構成された）信頼度レベルに基づいて、モデルベースの予測ロジックによって各予測のために計算される。例えば、９０％の信頼度レベルに基づく特定の予測のために生成され、訓練データの特定のサンプルについて訓練したモデルベースの予測器によって計算された予測分散区間は、「訓練データの別のサンプルについてそれぞれ訓練したモデルベースの予測器の非常に多くの他の版によってこの予測が繰り返されることになる場合、（各サンプルによって異なるはずの）真の母集団パラメータ（真の予測／分類結果）を包含する予測分散区間として表された計算した信頼区間の小部分は９０％になるはずである」という条件を満たすスコア区間である。

信頼度レベルが高くなればなるほど、予測分散区間および分散バーは広くなり、９５％の信頼度レベルに基づいて計算した予測分散区間は、９９％の信頼度レベルに基づいて計算した予測分散区間より小さくなる。

いくつかの実施形態によれば、予測ロジックは、予測分散区間を計算するための信頼度レベルをユーザが指定できるようにするユーザインターフェースを表現し、これにより、自分が受入れ可能であると思う予測の最低限の確実性をユーザが指定できるようにする。例えば、信頼度レベルは、９５％、または９９％、または他の任意のパーセンテージ値であってもよく、９０％より大きいのが好ましい。

例えば、バグドラーナーおよびランダムフォレストといった、モデルベースの予測ロジックによって行われる予測の変動性は、Ｓｔｅｆａｎ Ｗａｇｅｒ、Ｔｒｅｖｏｒ Ｈａｓｔｉｅ、およびＢｒａｄｌｅｙ Ｅｆｒｏｎ「Ｃｏｎｆｉｄｅｎｃｅ Ｉｎｔｅｒｖａｌｓ ｆｏｒ Ｒａｎｄｏｍ Ｆｏｒｅｓｔｓ：Ｔｈｅ Ｊａｃｋｋｎｉｆｅ ａｎｄ ｔｈｅ Ｉｎｆｉｎｉｔｅｓｉｍａｌ Ｊａｃｋｋｎｉｆｅ」、Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ １５（２０１４年）１６２５〜１６５１頁の中で説明されたように判定することができる。予測の変動性は、例えば標準誤差の形で、表現することができ、予測分散区間の幅は、標準誤差で表し、標準誤差と相関させることができる。

本明細書で使用されるような「アイコン」は、例えばマトリックスディスプレイといった画面に表示され、モデルベースの予測の結果を、また好ましくは、予測を生成するために使用される予測の確実性および／またはモデルの正確さも視覚化した画像である。アイコンは、ピクセルマトリックス、もしくはベクターグラフィックスの形で、または、例えば、Ｊａｖａ（登録商標） ＳｗｉｎｇもしくはＪａｖａ（登録商標） ａｗｔライブラリといった、プログラム言語固有のライブラリに基づいて実現することができる。好ましくは、アイコンの何らかのリサイズ動作は、それに比例して収められた視覚要素をリサイズすることになる。アイコンは、素早く理解できる記号であることが好ましく、アイコンが表す実際のエンティティの詳細なイラストよりむしろ道路標識に近い。アイコンは、特定のモデルベースの予測に関する追加情報にアクセスするための、選択可能な電子ハイパーリンクまたはファイルショートカットとして機能させることができ、予測結果は、アイコンによってグラフィカルに視覚化される。この場合、ユーザは、マウス、ポインタ、指、または音声コマンドを使用してアイコンを選択し、追加情報にアクセスすることができる。好ましい実施形態によれば、モバイルデバイスは、スマートフォンまたはタブロイドコンピュータであり、アイコンは、ユーザの指で選択する。

本明細書で使用されるような「アナログスケール」は、数字または文字の形で情報を表現するデジタルスケールとは対照的に、情報、具体的には数値のような、例えば、予測スコアが、非量子化変数で表現されたスケールである。例えば、古い車の多くの速度計は、オブジェクトの速度を表現したアナログスケールを有するデバイスである、多くの「従来の」温度計は、オブジェクトの温度を表現したアナログスケールを有するデバイスである、などである。このように、「アナログスケールアイコン」は、予測によって生成される可能性のある、例えば、可能性のある全ての正規化した予測スコア値といった、数値を表現したスケールとして機能する視覚要素を備えるアイコンである。

本明細書で使用されるような「モバイルデバイス」は、手に持って操作するのに十分小さいコンピューティングデバイスである。モバイルデバイスは、ディスプレイ、典型的には、ＬＣＤフラットスクリーンインターフェースを備え、デジタルボタンおよびキーボードを伴うタッチスクリーンインターフェース、または、物理的なキーボードと共に物理的なボタンを提供する。モバイルデバイスは、ネットワーク、具体的には、セルラーネットワーク、および任意選択として、ＷＬＡＮを媒介したインターネット接続も介して、インターネットに接続すること、ならびに、他のモバイルデバイスおよび／またはサーバコンピュータと相互に接続することができる。統合型カメラ、デジタルメディアプレーヤ、電話をかける能力および受ける能力、ビデオゲーム、ならびに全地球測位システム（ＧＰＳ）能力も、モバイルデバイスの一部であってもよい。電力は、典型的には、リチウム電池によって提供される。モバイルデバイスは、前記能力に特化したサードパーティのアプリをインストールして動かすことができるモバイルオペレーティングシステムを動かすことができる。例えば、モバイルデバイスは、携帯電話、具体的には、スマートフォン、タブレット型コンピュータ、またはパーソナルデジタルアシスタント（ＰＤＡ）であってもよい。

本明細書で使用されるような「マトリックスディスプレイ」は、例えば、機械、コンピュータ、通信デバイス、時計、鉄道発車表示器、および他の多くのデバイスといったデバイスに、情報を表示するために使用される表示デバイスである。ディスプレイは、選択した光をオンまたはオフに切り替えることによって、テキストまたはグラフィックスを表示できるように、長方形構造（他の形状も可能であるが、一般的ではない）に配置した光または機械的なインジケータのマトリックスからなる。マトリックスコントローラは、プロセッサからの命令を変換して、マトリックス内の光をオンまたはオフにする信号にし、その結果、必要な表示を生み出す。マトリックスディスプレイは、例えば、ＬＣＤディスプレイ、具体的には、ＬＣＤタッチスクリーンディスプレイであってもよい。

本明細書で使用されるような「レンダリング」は、画像、具体的にはベクトル画像の、色、陰影、およびテクスチャを追加する処理である。

以下では、図面を参照して、ほんの一例として、本発明の実施形態をより詳細に説明する。

モデルベースの予測および予測品質を視覚化する方法の流れ図である。 予測型生物医学的モデルの生成および使用を描いた図である。 予測結果を表すアナログスケールアイコンを描いた図である。 別の予測結果を表す別のアナログスケールアイコンを描いた図である。 サムネイルアイコンによってそれぞれ視覚化された予測結果のリストを描いた図である。 特定の薬物のＦＤＡ承認を、例えば記事数といった、特定の特徴のプロフィールとそれぞれ相関させた４つのプロットを描いた図である。 特定の薬物のＦＤＡ承認を記事数と相関させたプロットを描いた図である。 同じ予測タスクのための異なるモデルによって生成された２つの予測スコアを描いた図である。 特定のモデルに関連付けられた混同行列を描いた図である。 別のモデルに関連付けられた混同行列を描いた図である。 統合型モデルによって生成された統合型予測を表すアナログスケールアイコンを描いた図である。 サーバコンピュータ、および少なくとも１つのモバイルデバイスを備えたシステムのブロック図である。

図１は、モデルベースの予測および予測品質を視覚化する方法１００の流れ図を描く。予測結果およびモデル品質は、エリアに表現された情報をユーザが直感的に認識できるように、高密度の「圧縮された」手法で視覚化される、すなわち、大量の情報が小さいエリアに提示される。方法は、他の図、具体的には図２および図１０の要素も参照することによって以下で説明される。

方法は、例えば、移動式の電池式デバイス９７０のクライアントアプリケーション９８０によって実現することができ、クライアントアプリケーション９８０は、サーバシステムのバックエンドプログラム９６２と相互動作可能であり、デジタルセルラーモバイル通信ネットワークを介してバックエンドプログラムから予測を受け取るように適合される。代替として、方法は、モバイルデバイス上でインスタンス生成されたスタンドアロンアプリケーションで実現することができ、スタンドアロンアプリケーションは、ネットワークを介して受け取ったメッセージから予測結果を抽出するように適合される。例えば、メッセージは、電子メールまたはＳＭＳまたは他の任意のメッセージフォーマットの形式で、サーバコンピュータから受け取ることができる。さらなる代替として、方法は、ウェブページに収められたデータを視覚化するように構成されたブラウザプラグインによって実現することができ、または、サーバコンピュータによってネットワークを介してモバイルデバイスに提供されたウェブページに埋め込まれたスクリプトコードとして実現することができる。他の実施形態では、方法は、モバイルデバイスに収められ、予測結果を受け取って表示し、予測結果から生成したアナログスケールアイコンを表示するように適合されたハードウェアロジック、ファームウェアロジック、ソフトウェアロジック、またはこれらの任意の組合せによって実現される。

方法１００は、電池式ハンドヘルドモバイルデバイス９７０のマトリックスディスプレイに、モデルベースの予測の結果、および、前記予測の確実性を高密度に視覚化できるようにする。本明細書で使用されるような表現「高密度に表示すること」は、例えば、携帯電話のディスプレイといった、非常に限定的な表示空間に多くの情報を表示することを意味する。

最初に、ステップ１０２において、モバイルデバイス９７０は、予測結果９６０を受け取る。予測結果は、デジタルセルラーモバイル通信ネットワーク９９０を介してサーバシステム９５０から受け取ることができる。予測結果は、特定の生物医学的予測タスクを解決するために生成されている。予測結果は、プログラムロジック９５６によって、生物医学的モデル９５８を使用して生成されている。例えば、予測を生成したプログラムロジックは、例えば、訓練済の人工ニューラルネットワーク、訓練済のサポートベクトルマシン、または、予測スコア値の形で予測を生成するように適合された他の任意のタイプのプログラムロジックといった、訓練済の機械学習ロジックであってもよい。例えば、予測ロジックは、ルールおよび発見的方法の手動で指定したセットとして実現することもできる。

生物医学的モデルは、例えば、手動で、半自動的に、または自動的に指定されたモデルといった、明示的に指定されたモデルであってもよい。代替として、モデルは、機械学習ロジックの訓練フェーズ中に生成された暗黙的に指定されたモデルであってもよい。例えば、ネットワークアーキテクチャと組み合わせて訓練フェーズで修正された人工ニューラルネットワークのネットワークアーキテクチャ要素（例えば、レイヤの「ニューロン」の重み）は、生物医学的疑問についての予測を提供するように適合された暗黙的な予測モデル（「ブラックボックス」モデル）の構成要素となってもよい。

図２Ａにさらに詳細に示したように、予測結果は、複数のデータ値を含むことができる。予測結果は、予測スコア２１６、第１の信頼区間２５６．１、および第２の信頼区間２５６．２を含む。

予測スコアは、予測の確実性を示すものであり、スコア範囲内の数値である。この範囲は、「可能性のあるスコア値の区間」と呼ぶこともできる。例えば、スコア範囲は、−１と＋１の間の所定の範囲であってもよく、モデルベースの予測ロジックによって出力された任意の本来のスコア値は、−１と＋１の間の数値に正規化される。予測のタイプに応じて、例えば、０と１の間の範囲といった他のスコア範囲を、正規化のために使用することができる。以下の例では、−１から＋１までのスコア範囲を使用することになるが、この範囲は単なる例であり、もともと提供したスコア値を正規化するために、他の任意の所定のスコア範囲を同様に使用することができる。

第１の信頼区間２５６．１は、スコア範囲の第１の副区間であり、所定のＦＮパーセンテージの閾値を下回る偽陰性（ＦＮ）予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである。例えば、第１の信頼区間２５６．１は、スコア範囲の副区間内の任意の予測スコアが、例えば、１０％未満、または５％未満、または１％未満といった、所定のＦＮパーセンテージの閾値より小さい偽陰性スコア値である可能性があることが、例えば、複数のモデル予測の統計解析に基づいて知られているスコア範囲の副区間であってもよい。ＦＮパーセンテージの閾値の適切な大きさは、計算された予測のタイプに依存するのが好ましく、つまり、偽陰性の結果が、かなりの金融または健康関連コストを患者または社会に課す場合、所定のＦＮパーセンテージの閾値は、結果として生じる第１の副範囲が比較的狭くなるように選ばれる。例えば、第１の副範囲は、５％未満の偽陰性（ＦＮ）パーセンテージを含むことが知られているスコア値だけを含むように選ばれる。逆に、偽陰性の結果が、かなりの金融または健康関連コストを患者または社会に課さない場合、所定のＦＮパーセンテージの閾値は、結果として生じる第１の副範囲が比較的広くなるように選ばれる。例えば、第１の副範囲は、２５％未満の偽陰性パーセンテージを含むことが知られているスコア値だけを含むように選ばれる。いくつかの実施形態では、第１の副範囲は、１０％未満の偽陰性パーセンテージを含むことが知られているスコア値を選択的に含む。

第２の信頼区間２５６．２は、スコア範囲の第２の副区間であり、所定のＦＰパーセンテージの閾値を下回る偽陽性（ＦＰ）予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである。例えば、第２の信頼区間２５６．２は、スコア範囲の副区間内の任意の予測スコアが、例えば、１０％未満、または５％未満、または１％未満といった、所定のＦＰパーセンテージの閾値より小さい偽陽性スコア値である可能性があることが、例えば、複数のモデル予測の統計解析に基づいて知られているスコア範囲の副区間であってもよい。ＦＰパーセンテージの閾値の適切な大きさは、計算された予測のタイプに依存するのが好ましく、つまり、偽陽性の結果が、かなりの金融または健康関連コストを患者または社会に課す場合、所定のＦＰパーセンテージの閾値は、結果として生じる第２の副範囲が比較的狭くなるように選ばれる。例えば、第２の副範囲は、５％未満の偽陽性パーセンテージを含むことが知られているスコア値だけを含むように選ばれる。逆に、偽陽性の結果が、かなりの金融または健康関連コストを患者または社会に課さない場合、所定のＦＰパーセンテージの閾値は、結果として生じる第２の副範囲が比較的広くなるように選ばれる。例えば、第２の副範囲は、１０％未満のＦＰパーセンテージを含むことが知られているスコア値だけを含むように選ばれる。

ステップ１０６において、いくつかの実施形態によれば、モバイルデバイスは、予測結果から、例えば、図２Ｂ、図２Ｃ、および図９に描かれたような、アナログスケールアイコン２００、２６０を生成する。他の実施形態では、このステップは、例えば、モバイルデバイスに予測結果を提供したサーバコンピュータによって、リモートに実行される。この場合、予測結果は、数値および値の範囲の形式で、または、例えば、アナログスケールアイコンの一部である特定の副範囲指標もしくはテキスト文字列の形式といった、これらの値をグラフィカルに示す既に生成されたアナログスケールアイコンの形式で、モバイルデバイスによって受け取ることができる。

いくつかの実施形態では、アナログスケールアイコンは、ビットマップ画像の形式で生成される。他の実施形態では、アナログスケールアイコンは、ベクトル画像の形式で生成される。マトリックスディスプレイにアナログスケール画像を表示するとき、モバイルデバイスは、ディスプレイの少なくとも５０％、好ましくは少なくとも７０％、好ましくは少なくとも９０％を覆うように、アナログスケールアイコンの大きさを合わせるように適合されるのが好ましい。例えば、アナログスケールアイコンは、「フルスクリーンモード」で画面に表示することができる。

アナログスケールアイコンは、予測スコア２１６およびアナログスケール２０８を含むバックグラウンドエリア２２０を備える。予測スコアは、バックグラウンドエリアの中心にあるのが好ましい。

アナログスケールは、スコア範囲を表す。スケールには、スコア範囲の最大および最小スコア値を表す２つの終端２１０、２１２がある。例えば、スケールは、半円形もしくはその一部の弧の形をしていてもよく、または、水平線もしくは垂直線もしくはバーであってもよく、または、好ましくは２つの容易に認識できる終端を含んだ他の任意の形状をしていてもよい。いくつかの実施形態では、アナログスケールアイコンは、アナログ測定デバイスのスケールエリアのデザインであってもよい。例えば、アナログスケールアイコンは、速度計、はかりのスケール、温度計、または同様のものを表すようにデザインすることができる。このように、例えば、スケールは、例えば半円形の弧といった弓の形、または、直線の形であってもよい。スケールおよびバックグラウンドエリアは、仮想の測定デバイスのアナログスケールを表すように、デザインすることができる。

いくつかの実施形態では、スケールは、スケール値を備える。他の実施形態では、スケールには、スケール値がない。場合によっては、スケール値は、アナログスケールアイコンがフルスクリーンモードでマトリックスディスプレイに表示された場合でも、小さすぎて人間の目では読めない可能性がある。それでも、ユーザは、ポインタの位置、ならびに、副範囲指標の大きさおよび位置に基づいて、予測結果およびその品質を解釈することができるだろう。

アナログスケールアイコンは、予測スコアを表すスケール内の位置を指すポインタ２１８をさらに備える。例えば、バックグラウンドエリアは、速度計に相当する半円形であってもよい。スケールは、バックグラウンドエリアの輪郭の一部に対応する弧であってもよい。ポインタは、バックグラウンドエリアの中心で始まることができる。

アナログスケールアイコンは、第１の副範囲指標２０２および第２の副範囲指標２０４をさらに備える。第１の副範囲指標は、スケールに対する第１の副範囲指標の大きさおよび位置が、スコア範囲内の第１の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされたアナログスケールアイコンのグラフィカル要素である。第２の副範囲指標は、スケールに対する第２の副範囲指標の大きさおよび位置が、スコア範囲内の第２の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされたアナログスケールアイコンのグラフィカル要素である。

次に、ステップ１０８において、モバイルデバイスは、そのマトリックスディスプレイ９７８にアナログスケールアイコンを表示する。アナログスケールアイコンがベクターグラフィックスである場合、表示するステップは、アイコンのベクトルベースのデザイン要素に、色、陰影、および他の特徴を動的に割り当てるためにレンダリングするステップを含むことができる。表示は、例えば、ディスプレイの少なくとも５０％、またはディスプレイの少なくとも８０％、またはディスプレイの１００％といった、マトリックスディスプレイの所定の部分に広がるように、アナログスケールアイコンの大きさを合わせることを含む。

図２Ａは、本発明の１つの実施形態による予測型生物医学的モデルの生成および使用を描く。例えば、モデル９５８は、訓練フェーズにおいて、ネットワーク９５６で暗黙的に学習した人工ニューラルネットワークの暗黙的なモデルであってもよい。機械学習ロジック９５６は、特定の疾患の治療としてＦＤＡが特定の薬物を受け入れることになるか否かを、生物医学的文献の分析に基づいて予測するように訓練された予測ロジックであってもよい。例えば、ネットワーク９５６は、訓練データ９６６として使用されるＭＥＤＬＩＮＥ文献データベースなど、大きい文献コーパスについて最初に訓練することができる。訓練データ９６６について機械学習ロジックを訓練している間、モデル９５８は、明示的または暗黙的に学習する。訓練データ９６６からモデル９５８を学習する機能は、モデル生成ユニット９５７として示したが、モデル生成処理は、人間のプログラマによって明示的に指定されたことがない機械学習ロジック９５６の暗黙的な一部であってもよい。ＭＬＬは、多種多様なプログラミング技法、ならびに／または、簡単に利用できる機械学習ツール、ライブラリ、およびモジュールを使用して実現することができる。いくつかの実施形態では、いくつかの新しい入力データについてモデルを訓練するため、および、訓練済のモデルを適用するためのロジックは、異なるプログラムモジュールで実現することができる。他のいくつかの実施形態では、生物学モデルは、訓練された、および／または、予測を実行するプログラムロジックの統合部分なので、生物学モデルを生成するか使用するプログラムロジックから生物学モデルを分離することができない可能性がある。例えば、モデルは、特定のタイプの入力データおよび特徴を受け取るように構成され、入力データおよび特徴の重みが、異なるネットワークレイヤにおいて、訓練フェーズ中に適合され、したがって、訓練フェーズにおいて使用されるデータの構造およびタイプに対応する新しい入力データに基づいて訓練済のニューラルネットワークアーキテクチャが予測を行うことができるニューラルネットワークアーキテクチャに基づくことができる。

モデル９５８が生成されると、機械学習ロジック９５６は、モデル９５８を使用して、特定の予測問題を解決することができる。例えば、モデルベースの予測ユニット９５５は、例えば、関心のある薬物の１つまたは複数の標的分子の名前の明細といった、いくつかの入力データ９６９を受け取ることができる。予測ユニット９５５は、次に、現在利用可能な文献を分析して、１つまたは複数の標的分子の名前、および、治療されることになる疾患の名前に言及している文書または文書の要約を識別し、識別した文書に関連付けられたメタデータを分析することができる。例えば、予測器は、文書の中で言及された著者名、刊行日、他の文書への相互参照、疾患名、代謝産物、遺伝子、または薬物を分析して、入力として提供された１つまたは複数の標的分子についての複数の文献に基づく特徴を抽出することができる。特徴抽出は、予測ロジック９５６のコードの中で明示的または暗黙的に指定されたデータ分析ステップであってもよい。抽出した特徴は、次に、モデル９５８への入力として使用され、モデル９５８は、入力９６９として標的が提供された薬物が、特定の疾患の治療法として、将来、ＦＤＡによって承認されることになるか否かについての予測を生成する。特徴抽出は、訓練フェーズでも実行して、訓練されることになるモデルに実際に供給される訓練データから特徴を抽出することができる。

予測結果は、正規化した予測スコア２１６、偽陽性または偽陰性の結果のパーセンテージが特に低いスコア値の副範囲を示す第１の信頼区間２５６．１および第２の信頼区間２５６．２を含む。任意選択として、予測結果は、予測分散区間２５４をさらに含む。

予測結果が、１００％の可能性でＦＤＡが薬物を承認するだろうというものである場合、予測スコア（任意選択として正規化されてもよい）は、例えば１である。予測結果が、１００％の可能性でＦＤＡが薬物の承認を拒否するというものである場合、予測スコア（任意選択として正規化されてもよい）は、例えば−１である。典型的には、予測スコアは、スケールの最小値より大きく（−１より大きく）、スケールの最大値より小さい（＋１より小さい）数値を含むことになる。

例えば、０．７という予測スコアは、それぞれの標的分子名が予測ロジック９５６への入力として提供された特定の薬物が、ＦＤＡによって承認される可能性が非常に高いと予測されたことを示す。−０．８という予測スコアは、それぞれの標的分子名が予測ロジック９５６への入力として提供された特定の薬物が、ＦＤＡによって拒否される（承認されない）可能性が非常に高いと予測されたことを示す。０に近い予測スコアは、拒否の可能性と受諾の可能性が、モデルによって、同一または非常に近似していると考えられるので、現在提供されている入力データ９６９についてＦＤＡが薬物を承認することになるか否かをモデルが明確に予測できないことを示す。ユーザは、単にポインタの位置をざっと見ることによって、予測結果を容易かつ直感的に理解することができ、つまり、最小スケール値を表すスケールの終端に近いスケール領域を指すポインタは、仮定の棄却／非常に低い予測スコアを示し、最大スケール値を表すスケールの終端に近いスケール領域を指すポインタは、仮定の受諾／非常に高い予測スコアを示し、スケールの中心領域を指すポインタは、予測結果が、曖昧かつ漠然としたものであることを示す。

好ましくは、訓練データに基づくモデル生成は、例えば、コンピュータで実現されたモデル生成および更新フレームワークの中で、完全に自動的に行われる。例えば、訓練データ９６６は、例えば、週１回、または月１回など、定期的に追加データで更新し、補足することができる。これは、利用可能なデータの量が急激に増加している生物医学領域で非常に有利な可能性がある。これは、例えば、生物医学的文献データのケースである。モデル生成および更新フレームワークは、訓練データ９６６が、追加の訓練データで補足される際、または、訓練データのいくつかの部分を除去または置換することによって修正される際に、機械学習ロジック９５６が、訓練データ９６６の更新版について自動的に再訓練されるように、構成されるのが好ましい。これにより、さらに、生物医学的モデル９５８の更新版が自動的に生成される。さらなる期間、同じ入力データ９６９に対して同じ予測を計算するためにモデルの更新版が使用される場合、予測結果は、予測の結論に影響を与える可能性がある追加の新しい知識をモデルが統合したので、以前に生成された予測結果とは異なることになる。

いくつかの実施形態によれば、文献に基づく訓練およびモデルベースの予測は、例えば、開示が全体として参照により本明細書に組み込まれるＰＣＴ／ＥＰ２０１７／０６０８４４で説明されたように行われる。

図２Ｂは、予測結果を表すアナログスケールアイコン２００を描く。アナログスケールアイコンは、本実施形態では、速度計に似ている。

アイコンは、半円形または半長円形の形のバックグラウンドエリア２２０を備える。アイコンは、バックグラウンドエリアとは異なる色を有する半円形または半長円形でもある中央エリア２１４を備える。予測スコア２１６は、中央エリアに収められる。

スケール２０８は、半円の弧である。スケールの第１の終端２１２は、可能な限り最小の正規化した予測スコア値「−１」を表し、スケールの第２の終端２１０は、可能な限り最大の正規化した予測スコア値「＋１」を表し、スケールの中心点は、スケール値「０」を表す。スケールは、スケール値「−１」、「０」、および「＋１」も示す。他の実施形態では、スケール値がないか、他のスケール値または追加のスケール値を表示することができる。

アイコン２００は、矢印の形のポインタ２１８をさらに備える。ポインタは、バックグラウンドエリアの中心で始まり、中央領域２１４にも示された予測スコア「０．５」に相当するスケール内の位置を指す。したがって、ユーザが、エリア２１４に示された数値を「読み取る」時間がない場合でも、また、２１４に示された数字が、小さすぎて人間の目で読めない場合でも、ユーザは、それでも、予測スコアが「０」と「＋１」の間のどこかにあり、したがって、例えば、特定の疾患の治療のためにＦＤＡが特定の薬物を「許可する」といった、仮定が「真」であるという「肯定的」予測を示すものであることを容易に認識することができる。

アイコン２００は、スケールに対する第１の副範囲指標の大きさおよび位置が、スコア範囲内の第１の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされた第１の副範囲指標２０２をさらに備える。描かれた例では、第１の副範囲指標は、バックグラウンド領域の中心で始まり、第１の信頼区間を表すスケール領域を正確に覆う（見えない）弓形の弧である。

アイコン２００は、スケールに対する第２の副範囲指標の大きさおよび位置が、スコア範囲内の第２の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされた第２の副範囲指標２０４をさらに備える。描かれた例では、第２の副範囲指標は、バックグラウンド領域の中心で始まり、第２の信頼区間を表すスケール領域を正確に覆う（見えない）弓形の弧である。

第１および第２の副範囲指標は、それぞれ、円弧、具体的には弓形の弧であってもよい。

したがって、ユーザは、第２の副範囲指標と位置合わせされたスケールの領域をポインタ２１８が指すか否かをチェックしなければならないだけである。描かれた例では、矢印２１８は、第２の副範囲指標２０４に対して位置合わせされたスケール領域を指す。これは、予測スコア０．５が第２の信頼区間内にあり、例えば１０％未満といった、所定のＦＰの閾値より低い偽陽性の予測結果の可能性が高いことを意味する。ポインタが弧２０４の内部の領域を指すか否かについてのチェックは、素早くかつ直感的に、また、数値のスコア値とモデルの信頼区間とを意識的に比較することなく、行うことができる。

分散バー２５８は任意選択の要素であり、予測分散区間を視覚化する、すなわち、予測のために使用される入力データがわずかに修正された場合に、予測の結論が現在の予測出力と非常に異なるかどうかを視覚化する。予測が、入力パラメータ値のわずかな変化に対して堅牢である場合、予測分散バーは短く、予測があまり変化しないことを示す。予測が、入力パラメータ値のわずかな変化の影響を受ける場合、予測分散バーは広く、予測が著しく変化することを示す。描かれた例では、スケールは、バックグラウンドエリア２２０の輪郭の一部に沿った太い線として表される。

図２Ｃは、別の予測結果を表す別のアナログスケールアイコン２６０を描く。アナログスケールアイコンは、本実施形態では、別の速度計に似ている。

アイコンは、図２Ｂについて既に説明した視覚要素を備える。さらに、アイコンは、スケールに対するさらなる副範囲指標の大きさおよび位置が、スコア範囲内のさらなる信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされたさらなる副範囲指標２０６を備える。描かれた例では、さらなる副範囲指標は、バックグラウンド領域の中心で始まり、さらなる信頼区間を表すスケール領域を正確に覆う（見えない）弓形の弧である。例えば、第１の副範囲指標２０２は、例えば１０％未満といった、閾値を下回るＦＮ結果のパーセンテージを生成することでモデルが知られているスコア値の範囲を示すことができる。さらなる副範囲指標２０６は、例えば２５％未満といった、別の閾値を下回るＦＮ結果のパーセンテージを生成することでモデルが知られているスコア値の範囲を示すことができる。

描かれた例では、スケール２０８は、バックグラウンドエリア２２０の輪郭の一部を表す太い弓として表される。スケールは、表示されるスケール値を何も備えていないが、副範囲指標は、指標２０２、２０４および２０６によってそれぞれ示された、スコア範囲におけるＦＰまたはＦＮ予測の可能な限り最大の断片を示すラベルを備える。アイコン２６０は、矢印の代わりに針または三角形の形状のポインタを有する。

任意選択の凡例２２２は、例えば、スケールに備わった色のグラデーションでの色の色コードの説明といった、アイコン２６０の解釈を補助する、さらなる情報をもたらすことができる。

図３は、サムネイルアイコンによってそれぞれ視覚化された予測結果のリスト３０２を描く。モバイル通信デバイスは、ネットワークを介して複数の予測結果を受け取ることができる。

複数の予測結果は、異なる予測タスクのための、同じモデルによってもたらされた２つ以上の予測結果を含むことができ、異なる予測タスクは、異なる入力データを予測ロジックに提供することに関連付けられる。例えば、第１のタスクは、標的がＰＤＣＤ１である特定の薬物Ｘが、メラノーマの治療法としてＦＤＡによって承認されることになるかどうかについての予測であってもよく、第２のタスクは、標的が同じＰＤＣＤ１である同じ薬物Ｘが、乳がんの治療法としてＦＤＡによって承認されることになるかどうかについての予測であってもよい。予測結果がリスト３０２に収められた２つの異なる予測タスクについて、同じ文献ベースの生物医学的予測モデルを使用することができる。

さらに、または代替として、複数の予測結果は、同じまたは異なる予測タスクのために、異なるモデルによってもたらされた２つ以上の予測結果を含むことができる。例えば、第１の予測結果は、標的がＰＤＣＤ１である特定の薬物Ｘが、メラノーマの治療法としてＦＤＡによって承認されることになるかどうかについての予測タスクのために、文献ベースのモデル９５８（「Ｍ１」）で生成することができる。第２の予測結果は、同じ予測タスクのために、別のモデルＭ２で生成することができる。他のモデルは、文献ベースのモデルではなく、むしろ、代謝流量分析、分子相互作用シミュレーションロジック、または毒性シミュレーションロジックを使用して、標的がＰＤＣＤ１である特定の薬物Ｘが、メラノーマの治療法としてＦＤＡによって承認されることになるかどうかを予測するモデルであってもよい。代替として、他のモデルも、文献ベースのモデルであってもよいが、予測は、文献の意味論的分析に基づくことができ、一方で、モデルＭ１は、同時発生に基づくモデルであってもよい。

さらに、または代替として、複数の予測結果は、同じまたは異なる予測タスクのために、同じモデルの異なる版によってもたらされた２つ以上の予測結果を含むことができる。例えば、第１の予測結果は、標的がＰＤＣＤ１である特定の薬物Ｘが、メラノーマの治療法としてＦＤＡによって承認されることになるかどうかを示すことができ、文献ベースの生物医学的予測モデルの特定の版ｖ１が、予測を生成するために使用された。モデルの版ｖ１は、２０１６年１月１日時点の文献データベースについて訓練されていてもよい。第２の予測結果は、標的がＰＤＣＤ１である特定の薬物Ｘが、メラノーマの治療法としてＦＤＡによって承認されることになるかどうかをさらに示すことができ、文献ベースの生物医学的予測モデルの版ｖ２が、予測を生成するために使用された。モデルの版ｖ２は、２０１６年２月１日時点の文献データベースについて訓練されていてもよい。複数のさらなる予測結果を同じ予測タスクに対して受け取っていてもよく、さらなる予測結果のそれぞれは、例えば、２０１６年３月１日、２０１６年４月１日、などについての文献ベースの生物医学的予測モデルのさらなる版に対応する。

各リスト項目３０４、３０６は、少なくともサムネイルアナログスケールアイコン、および任意選択として、１つまたは複数のデータ値を含む。データ値は、例えば、予測スコアのような数値、予測タスク（プロジェクトタイプ、標的、適応、等）、および、予測、または、予測のために使用されたモデルの他のメタデータを含むことができる。各項目は、リスト３０２を置き替える新しいビュー内のアナログスケールアイコンの表示をトリガするために特定のリスト項目をユーザが選択できるようにした、リンク「詳細」または他の選択可能なＧＵＩ要素をさらに含むことができる。例えば、新しいビューは、アナログスケールアイコンのフルスクリーン版を含むことができる。

このように、予測結果のリスト内のサムネイルアナログスケールアイコンを使用すると、ユーザは、異なるモデル、異なるモデルの版、および／または異なる予測タスクによってもたらされた予測スコア、および複数の予測の品質を簡単に比較することができる。このように、非常に雑多な複数の予測モデルおよびソフトウェアプログラムが高密度に視覚化されることにより、ユーザは、多くの異なるモデルによってもたらされた予測結果および予測品質を比較することができる。これは、訓練および入力データのタイプ（文献、シーケンスデータ、表現プロフィール、３Ｄ構造、アレイデータ、画像分析）に関し、生物医学的疑問のタイプ（標的予測、毒性予測、薬物識別、副作用予測）に関し、使用された予測アルゴリズムのタイプ（ニューロンネットワーク、サポートベクトルマシン、ランダムフォレスト、ルール、等）に関する、非常に雑多なＩＴフレームワーク、急増する量の構造化および非構造化データ、ならびに、非常に多くの異なる予測的手法によって、これらの技術分野が特徴づけられるので、生命科学研究および薬の開発の背景において特に有利である。

本発明の実施形態は、複数の異なるモデルへの直観的な高密度の全体像を提供し、モデルの品質に影響する傾向をユーザが監視することも可能にする。例えば、特定の予測タスクについて、モデルの異なる版によって生成された複数の予測結果が利用できる場合、いくつかの実施形態では、予測結果について生成されたアナログスケールアイコンは、例えば、アニメーションＧＩＦまたはビデオクリップといった、単一の動画に組み合わされ、例えば、矢印２１８、副範囲指標２０２、２０４、２０６、および／または分散バー２５８といった、アイコンの要素は、これらのそれぞれの位置および大きさを変化させることができる。ユーザが動画をクリックすると、アナログスケールアイコンの要素は、これらの大きさおよびまたは位置を変化させる。例えば、モデルの異なる版が、継続的に増加する訓練データセットに一致する場合、利用可能なデータの量が大きくなると、特定のモデルの正確さおよび予測力を向上させることができるということが、起こる可能性がある。したがって、最初の予測の予測スコアは曖昧で、ゼロに近い可能性があり、副範囲指標２０２、２０４が非常に狭くなる可能性もあるが、モデルの後の版によって生成された予測スコアは、陽性（または陰性）回答を明確に示す可能性があり、副範囲指標２０２、２０４が非常に広くなる可能性もある。いくつかのケースでは、訓練データセットの旧版によって今のところサポートされた仮定と対象をなす情報を、追加の利用可能なデータが含む場合、モデル品質はさらに悪化する可能性がある。このように、ユーザは、同じ予測タスクのための同じモデルの多くの異なる版の予測結果を表す複数のアナログスケールアイコンから生成された動画を見ることによって、モデルの品質が経時的に変化したかどうか、および、変化が、予測品質の改善または悪化を生じたかどうかを容易に認識することができる。

図４は、特定の薬物のＦＤＡ承認を、例えば記事数といった別の特徴のプロフィールとそれぞれ相関させた４つのプロットを描く。

プロット４０２は、成功薬物および不成功薬物に関する発表についてのトピックの変化を経時的に描き、トピック「薬物治療」に焦点を当てる。表示された時間範囲は、薬物開発の特定の重要な時点、この場合、最も早い第２相試験の始めを基準にした時点「０」の前の２０年である。各発表は、Ｍｅｓｈ用語とも呼ばれるトピックの限定的なセットで注釈をつけられる。プロット４０２は、発表の２つのクラスに対するトピック「薬物治療」で注釈をつけられた発表のパーセンテージを示し、「ＦＤＡ承認」の発表（プロットの右の境界における２つの曲線のうちの上の方の１つ）は、ＦＤＡによって承認された薬物の標的および適応に言及する発表であり、「失敗」の発表は、第２相または第３相で終了した薬物の標的および適応に言及する。太線は、中央値を示し、陰影がついたエリアは、分布の信頼区間（および暗黙的な分散）である。ウィルコクソン試験によって評価されるような分布の統計的に著しい差は、プロットの最上部にアスタリスクでマークされる。ここで証明された主な仮定は、成功薬物の開発につながった発表が、第２相試験が始まる前にかなり多いトピック「薬物治療」で注釈をつけられるというものである。

プロット４０４は、第１および第２の曲線を描く。第１の曲線「ＦＤＡ承認」（プロットの右の境界にある２つの曲線のうちの上の方の１つ）は、特定の薬物標的の名前に言及したＭｅｄｌｉｎｅデータベース内の記事の数を示し、薬物は、前記疾患の治療法としてＦＤＡによって後で承認された。第２の曲線「失敗」は、特定の薬物標的の名前に言及したＭｅｄｌｉｎｅデータベース内の記事の数を示し、前記薬物は、ＦＤＡによって後で拒否され、前記疾患の治療に使用するのを許可されなかった。新しいリサーチエリアの早い時期には、２つの曲線は非常に似ており、特定の薬物がＦＤＡによって承認される可能性が高いか否かについて、文献ベースのモデルは、明らかな予測を行うことができない可能性がある。それでも、数年後、薬物標的と組み合わせて疾患に言及した発表記事の数が、失敗した標的についての記事より、ＦＤＡによって後で承認された標的についての記事が多くなるということに気づくことができる。これは、おそらく、特定の薬物標的と疾患との間の関係をサポートする肯定的な結果が、この分野で作業することになるさらなるリサーチグループを招くからであり、これにより、標的だけに言及した発表の数を増加させる。このプロットは、特に、後年、十分な数の文書が利用可能になると、ＦＤＡが特定の薬物を承認することになるか否かを文献ベースのモデルが確実に予測できることを示す。このように、文献ベースの予測モデルを頻繁に更新することは、高品質予測をもたらすための鍵である。

プロット４０６は、第１および第２の曲線を描く。第１の曲線「ＦＤＡ承認」（プロットの右の境界にある２つの曲線のうちの上の方の１つ）は、特定の薬物の標的である特定の遺伝子／たんぱく質の名前に言及したＭｅｄｌｉｎｅデータベース中の記事の数を示し、薬物は、バイオマーカの発生に関連付けられた疾患の治療法としてＦＤＡによって後で承認された。第２の曲線「失敗」は、特定の薬物の標的である特定の遺伝子／たんぱく質の名前に言及したＭｅｄｌｉｎｅデータベース中の記事の数を示し、前記薬物は、ＦＤＡによって後で拒否され、前記遺伝子／たんぱく質の発生に関連付けられた疾患の治療に使用するのを許可されなかった。

プロット４０８は、第１および第２の曲線を描く。第１の曲線「ＦＤＡ承認」（プロットの右の境界にある２つの曲線のうちの上の方の１つ）は、特定の薬物標的のトピックの遺伝的変異および名前、ならびにその適応に言及したＭｅｄｌｉｎｅデータベース中の記事の数を示し、薬物は、ＦＤＡによって後で承認された。第２の曲線「失敗」は、薬物標的のトピックの遺伝的変異および名前、ならびにその適応に言及したＭｅｄｌｉｎｅデータベース中の記事の数を示し、前記薬物は、ＦＤＡによって後で拒否された。したがって、遺伝的変異データに基づいて、特定の薬物がＦＤＡによって承認されることになるか否かを予測するように適合されたさらなる予測モデルを生成するための訓練データとして、どれだけの発表がトピックの遺伝的変異に言及しているかについての情報を使用することができる。

図５は、特定の薬物のＦＤＡ承認と記事数とを相関させたプロット５０２を描く。特定の薬物の最も早い第２相試験が始まる時間は時間「０」であり、したがって、プロット５０２は、第２相のこの始まりの２０年前、および、薬物の承認または拒否時のＦＤＡの最終判定のさらにもっと前の記事数を示す。記事数は、判定時の２０年前から第２相に入る約７年前までの期間において、非常に似ているということがわかる。その後、特定の薬物標的と組み合わせて疾患に言及した文書の発表数は、ＦＤＡによって後で承認されることになる薬物の薬物標的について、著しく高くなる。薬物の第２相に入る前の５年間、差は、プロットの最上部にあるアスタリスクによって示されたように、統計的に重要である。したがって、図４に示されたものなどの、他の区別的な特徴とともに記事数を使用する文献ベースのモデルは、特定の薬物が、依然として、ＦＤＡ承認の有望な候補と思われる場合、ならびに、さらなる資金と労力が、この薬物に関する臨床前リサーチおよび臨床リサーチに投資されなければならない場合でも、ＦＤＡの実際の判定の数年前、第２相試験に入る際に予測できる可能性がある。

これは、科学者が大量の臨床前試験を管理することができ、将来のリサーチ作業のために関心のある可能性のあるさらにいっそう仮定的な薬物と疾患の組合せに関心がある可能性があるので、重要な発見である。例えば、複数の異なる疾患、薬物、薬物の候補、およびその組合せに関連した複数の予測タスクのための文献に基づく予測を自動的に生成することによって、また、文献ベースのモデル、および、前記モデルに基づいて生成された予測を繰り返しかつ完全に自動的に更新することによって、自動化された予測およびアラートシステムを提供することができ、複数の異なる予測タスクに対して登録しているこの科学者または複数の科学者が、成功の見込みが少ないときに、費用のかかるリサーチを続けること、および止めることができるようにする。

図６は、同じ予測タスクのために異なる文献ベースのモデルＭ１、Ｍ２によって生成された２つの予測スコアを描く。例えば、生物医学的文献について訓練された第１のモデルベースの予測ロジックＭＬＬ１は、特定の薬物Ｘが疾患Ｄの治療のためにＦＤＡによって承認されることになるかどうかについての疑問に対する予測結果を、０．７５の予測スコアで生成することができる。同じ生物医学的文献について訓練された第２のモデルベースの予測ロジックＭＬＬ２は、同じ疑問に対してニューラルネットワークを使用して、予測結果を、０．６５の予測スコアで生成することができる。したがって、ユーザは、予測のうちのどちらを信頼するべきかを判定するという問題に直面する可能性がある。予測モデルの品質を評価するために、図７および図８に描かれたような混同行列を一般に使用して、モデルＭ１、Ｍ２、および／または、それぞれの予測ロジックＭＬＬのうちのどちらが、より正確かつ信頼する価値があると考えるべきかを判定する。例えば、モデルＭ１、Ｍ２は、ニューラルネットワークまたはランダムフォレストモデルであってもよい。

図７は、例えば、予測結果が図７に描かれた、予測スコア０．７５を出力したモデルＭ１といった、特定のモデルＭ１に関連付けられた混同行列を描く。

図８は、予測スコア０．６５を出力したモデルＭ２に関連付けられた混同行列を描く。混同行列は、真陰性予測７０２、８０２、偽陽性予測７０４、８０４、偽陰性予測７０６、８０６、および真陽性予測７０８、８０８について色分けされた頻度を含む。それでも、ユーザは、２つのモデルの予測結果、またさらに、これらのそれぞれの品質が似ているか否かを評価するために、図７および図８に描かれたような２つの混同行列と組み合わせて、図６に示したような予測結果を伴うプロットを検査しなければならない。それでも、モバイルハンドヘルドデバイスの小さいディスプレイに、図６、図７、および図８に描かれたプロットを、これらに含まれる情報をユーザが素早く取得し、理解できるように十分な大きさで表示することはできない。さらに、ユーザのスクロール動作は、典型的には、大量のエネルギーを消費する。これは、電池を放電させる可能性があり、したがって非常に望ましくない。逆に、本発明の実施形態は、２つ以上の異なるモデルの予測結果および品質を高密度に視覚化し、これにより、同じ予測タスクを行うために使用される２つ以上のモデルの比較を容易にする。

図９は、ＧＵＩ９０２に表示されたアナログスケールアイコンのさらなる例を描く。この図に描かれたアイコンは、統合型モデルによって生成された統合型予測を表す。統合型モデルは、多くの異なる予測モデルによって生成された出力を入力として使用して、図２Ａを参照しながら既に説明した要素２１６、２５４、２５６をさらに含むことができる全体的な予測結果を生成する。ＧＵＩは、例えば、予測タスク、疾患および薬物標的に言及した識別された発表の数、陽性および陰性の結論についての特異性など、追加のメタデータを含むことができる。

図１０は、ネットワーク９９０を介して互いに接続されたサーバコンピュータ９５０と複数のモバイルデバイス９７０、９９２、９９４とを備えるシステムのブロック図を描く。ネットワークは、具体的には、デジタルセルラーモバイル通信ネットワークであってもよい。

サーバシステム９５０は、１つまたは複数のプロセッサ９５２、ならびに、モデルベースの予測ロジック９５６、およびデータベース９６４を含んだ、不揮発性ストレージ媒体９５４を備える。サーバシステムは、モノリシックシステムであってもよく、または、例えば、クラウドコンピュータシステムといった、分散型コンピュータシステムであってもよい。同様に、ストレージ媒体９５４は、単一の物理デバイスであってもよく、または、相互接続された分散型ストレージデバイスのセットであってもよい。

モデルベースの予測ロジック９５６は、例えば、ニューラルネットワーク、サポートベクトルマシン、または同様のものといった、機械学習ロジックであってもよい。機能上、モデルベースの予測ロジックは、真陽性および真陰性の結果であったと典型的に注釈をつけられた訓練データ９６６のセットを分析し、これにより、いわゆる「訓練フェーズ」でモデル９５８を生成するモデル生成機能９５７を備える。モデルベースの予測ロジックは、生成したモデル９５８を使用して、特定の予測タスクに対応する特定の入力データ９６９のための予測を生成する予測機能９５５をさらに備える。モデル生成およびモデルベースの予測機能は、モデルベースの予測フレームワークに統合された別個のモジュールとして、または、別個のアプリケーションプログラムとしてさえも、実現することができる。代替として、モデル生成およびモデルベースの予測機能は、単一のソフトウェアの統合部分であってもよい。モデルベースの予測ロジック９５６は、例えば、Ｊａｖａ（登録商標）、Ｃ＃、Ｐｅｒｌ、Ｃ＋＋、または同様のものなどの、任意のプログラミング言語で実現することができる。

いくつかの実施形態によれば、サーバシステムは、サーバと、モバイルデバイス９７０、９９２、９９４のそれぞれとの間のリクエストおよび応答メッセージの交換を調和させるように構成されたバックエンドプログラム９６２を備える。例えば、バックエンドプログラムは、例えば、疾患Ｄの治療法として薬物Ｘの使用をＦＤＡが承認する可能性が高いかどうかを文献ベースのモデル９５８に基づいて予測するためといった、予測タスクを実行するために、モバイルデバイス９７０からリクエストを受け取るように構成することができる。例えば、バックエンドプログラム９６２０は、モバイルデバイス上で動くクライアントアプリケーション９８０と相互動作可能であってもよく、または、モバイルデバイスのブラウザ９８２の特別に設計されたプラグインと相互動作可能であってもよく、プラグインは、一種のクライアントアプリケーションとして機能する。例えば、それぞれの薬物Ｘの１つまたは複数の薬物標的の名前の明細、関心のある疾患Ｄの名前、および、予測のために使用されることになるモデルの版のような任意選択のさらなるパラメータといった、リクエストした予測を実行するために使用されることになる入力データ９６９は、モバイルデバイス９７０を介してユーザによって入力することができ、または、モバイルデバイス９７０からリクエストを受け取った瞬間にバックエンドプログラム９６２が既に利用できてもよい。例えば、サーバシステムは、登録ユーザおよび予測タスク９６３のリストを含むデータベース９６４を備えることができ、各登録ユーザは、１つまたは複数の予測タスクを割り当てたことがあり、ユーザのために特定の予測タスクを実行するときに使用されることになる入力データ９６９は、それぞれの予測タスクおよびユーザに関連のあるデータベース９６４に既に記憶されていてもよい。

バックエンドプログラム９６２は、ネットワーク９９０を介してモバイルデバイス９７００から、特定のユーザのための予測タスクを実行するためのリクエストを受け取ることができ、予測タスクの実行を開始するための他の任意のトリガを受け取ることができる。リクエストまたは他のトリガを受け取ることに応答して、バックエンドプログラムは、予測タスクに関連付けられた入力データをモデルベースの予測ロジック９５６に転送し、モデルベースの予測ロジックをトリガして、予測タスクのための予測結果９６０を生成する。例えば、予測結果は、例えば、図２Ａの説明で、また、説明の他のセクションで説明したような、正規化した予測スコア２１６、第１および第２の信頼区間２５．１、２５６．２、ならびに、任意選択としてさらに、予測分散区間２５４を含むことができる。バックエンドプログラム９６２は、予測を実行するというリクエストを受け取ったモバイルデバイス９９２、９９４、９７０のうちの１つに、または、データベース９６４のユーザおよびタスクレジストリ９６３内の、予測タスクを割り当てたユーザに割り当てられたモバイルデバイスのうちの１つに、予測結果９６０を転送する。さらに、予測結果は、データベース９６４内の予測履歴９６１に記憶することができる。優先的に、履歴９６１に記憶した各予測結果は、例えば、予測が実行された予測タスク、予測タスクを割り当てた１人または複数のユーザ、予測の日付、ならびに、予測のために使用されたモデルのＩＤ、タイプ、および／または版、など、いくつかのメタデータを割り当てている。履歴は、予測スコアの進展のプロフィール、ならびに、同じ予測タスクのために同じモデルの更新版に対して特定の予測が何度も繰り返された、経時的に提供されたモデルベースの予測品質および確実性を取得できるようにする。これらのプロフィールは、繰り返しの予測で取得された予測結果を視覚化した複数のアナログスケールアイコンから動画を生成するために使用することができる。例えば、動画は、アニメーションＧＩＦもしくは短いビデオクリップであってもよく、または、「映画のような」グラフィカルユーザインターフェース要素をサーバ側もしくはクライアント側で生成できるようにした他の任意の適切なデータフォーマットであってもよい。

バックエンドプログラム９６２は、多くの異なる方式およびプロトコルで、ネットワーク９９０を介してモバイルデバイス９７０に予測結果９６０を返すことができる。例えば、バックエンドプログラムは、例えばＥＪＢ ＪａｖａＢｅａｎｓフレームワーク、または、例えばＳＯＡＰプロトコルといったウェブサービスプロトコルを使用して、クライアントアプリケーション９８０に予測結果９６０を直接送ることができる。代替として、第２のプログラム９６２は、クライアントアプリケーション９８０、または、クライアントアプリケーションとして機能するブラウザプラグインによってメッセージを抽出するために、アクセスして分析し、使用することができる、モバイルデバイス上で動くクライアントアプリケーション９８６に、または、他の任意のアプリケーションに、電子メール、ＳＭＳメッセージ、または、他の任意のメッセージフォーマットの形式で予測結果を送ることができる。さらなる代替として、バックエンドプログラム９６２は、予測結果９６０を含んだ、例えばＨＴＭＬページといった、ウェブページを生成するように構成されたウェブサーバアプリケーションプログラムであってもよい。ウェブページは、例えばＨＴＭＬテキスト要素といったテキストの形式の、および／または、バックエンドプログラム９６２によってサーバ側で生成されたアナログスケールアイコン２００、２６０の形式の、予測結果を含むことができる。アナログスケールアイコンがサーバによって生成される場合、受け取るモバイルデバイスは、ウェブページに収められたアイコン内のページが、モバイルデバイスのマトリックスディスプレイ９７８の寸法にフィットするように、ウェブページに収められたアイコンの大きさを合わせなければならないだけである。ベクターグラフィックスの形式でアナログスケールアイコンが提供される場合、モバイルデバイスによるアイコンの表示は、ベクターグラフィックスアイコンをレンダリングすることを含む。代替として、数値および値の範囲の形式で予測結果が返される場合、クライアントアプリケーション９８０は、本発明の様々な実施形態について本明細書で説明したように、予測結果からアナログスケールアイコン２００、２６０を生成するように構成される。アイコンのクライアント側での生成は、クライアントアプリケーションとして機能するブラウザプラグインによって、あるいは、例えば、ＰＨＰコードもしくはＪａｖａＳｃｒｉｐｔ（登録商標）コード、フラッシュプログラムコード、または同様のものといった、スクリプトによってさらに実現することができ、これは、バックエンドプログラム９６２として使用されるウェブサーバソフトウェアによって提供されたウェブページの一部である。

図１０に描かれた例では、モバイルデバイス９７０は、電池９７２で電力を供給され、１つまたは複数のプロセッサ９７４、ならびに、ブラウザ９８２およびクライアントアプリケーション９８０が記憶され、インストールされた不揮発性ストレージ媒体９７６を備える。

１つの実施形態では、クライアントアプリケーションは、バックエンドプログラム９６２と相互動作可能なブラウザ−プラグインである。クライアントアプリケーションは、数値および値の範囲の形式で予測結果９６０を受け取り、前記数値および値の範囲からアナログスケールアイコン２００、２６０を生成する。クライアントアプリケーション９８０は、ウェブページをさらに作り出し、生成したアイコンをウェブページに統合し、マトリックスディスプレイ９７８上のブラウザ９８２によるアイコンを含んだウェブページの表示をトリガする。

別の実施形態では、クライアントアプリケーションは、バックエンドプログラム９６２と相互動作可能なスタンドアロンアプリケーションである。クライアントアプリケーションは、数値および値の範囲の形式で予測結果９６０を受け取り、前記数値および値の範囲からアナログスケールアイコン２００、２６０を生成する。クライアントアプリケーションは、アイコンを含んだグラフィカルユーザインターフェース（ＧＵＩ）を生成し、アイコンを含んだＧＵＩをマトリックスディスプレイに表示する。例えば、ＧＵＩは、Ｊａｖａ（登録商標） ｓｗｉｎｇまたはａｗｔライブラリを使用して生成することができる。代替として、ＧＵＩは、ＨＴＭＬページであってもよく、クライアントアプリケーション９８０は、ＨＴＭＬベースのＧＵＩを表示するように適合された一種の「ブラウザ」として機能することができる。

さらに別の実施形態では、モバイルデバイスは、クライアントアプリケーションもしくはクロックインを何も備えておらず、または、予測結果９６０を受け取って視覚化するためにこれらを少なくとも必要としない。例えば、バックエンドプログラム９６２は、数値および値の範囲の形式の予測結果９６０を含み、例えばＪａｖａＳｃｒｉｐｔ（登録商標）のセクションといったスクリプトを含んだウェブページを生成することができ、クライアントデバイス９７０のプロセッサ９７４によって実行されると、アナログスケールアイコン２００、２６０のそれぞれの要素の形式で予測結果９６０の個々の要素を生成してグラフィカルに表すように適合される。

単一の予測結果の代わりに、モバイルデバイス９７０は、１つまたは複数の予測タスクのための複数の予測結果をさらにリクエストし、単一の結果の代わりに予測結果のリストを受け取ることができる。例えば、予測結果のリストは、図３に描かれたようなリストの形式で表示することができる。

バックエンドプログラム９６２および／またはクライアントアプリケーション９８０も、例えば、Ｊａｖａ（登録商標）、Ｃ＃、Ｐｅｒｌ、Ｃ＋＋または同様のものなどの、任意のプログラミング言語で実現することができる。

モバイルデバイスによって予測をリクエストし、リクエストに応答してサーバから予測結果を受け取る上記で説明した方式は、ユーザがどのように特定の予測をリクエストして視覚化することができるかについてのただ１つの方式ではない可能性がある。好ましい実施形態では、モバイルデバイス９９２、９９４、９７０のうちの１つを割り当てた各ユーザは、さらに、または代替として、サーバシステムが、モデル９５８の新しい版を生成したこと、ユーザレジストリおよびタスクレジストリ９６３内でモバイルデバイスのユーザに関連付けられた１つまたは複数の予測タスクを繰り返したこと、ならびに、新しい更新後のモデルの版を使用して取得した予測結果のうちの少なくとも１つが、同じ予測タスクのために以前に取得した予測結果とは著しく異なると判定したことに応答して、自動的に、かつ、明確なリクエストがなくても、予測結果を受け取ることができる。これにより、「著しく異なる」は、予測スコアが著しく異なること、ならびに／または、信頼区間（例えば、第１の信頼区間２５６．１、第２の信頼区間２５６．２、および／もしくは予測分散区間２５４）のいずれかが、同じ予測タスクのために以前の予測で取得したそれぞれの間隔とは著しく異なることを意味することができる。好ましい実施形態では、ネックおよびプログラム９６２は、予測スコアに対して、および／または、信頼区間２５４、２５６．１、２５６．２のそれぞれに対して個別に、ユーザが「著しく異なる」と思っていることを指定する閾値を、ユーザが構成できるようにする。この構成の実行を用いるのは、モバイルデバイス９９２、９９４、９７０のうちの１つを割り当てたユーザのうちの１人であってもよく、または、サーバシステム９５０のオペレータであってもよい。例えば、ユーザは、正規化したスコア値が互いに１５％より大きく異なる場合、現在の予測スコアが、以前に取得した予測スコアとは著しく異なると述べることができる。

さらに、または代替として、ユーザは、２つの第１の信頼区間の交差区間が、以前の予測のために取得した第１の信頼区間より１５％を超えて小さくなる場合、および／または、新しい予測のために取得した第１の信頼区間の大きさが、以前の予測のために取得した第１の信頼度の大きさより少なくとも１５％大きい場合、現在の予測の第１の信頼区間２５６．１が、同じ予測タスクのための以前の予測のために取得した第１の信頼区間とは著しく異なると述べることができる。

さらに、または代替として、ユーザは、２つの第２の信頼区間の交差区間が、以前の予測のために取得した第２の信頼区間より１５％を超えて小さくなる場合、および／または、新しい予測のために取得した第２の信頼区間の大きさが、以前の予測のために取得した第２の信頼度の大きさより少なくとも１５％大きい場合、現在の予測の第２の信頼区間２５６．２が、同じ予測タスクのための以前の予測のために取得した第２の信頼区間とは著しく異なると述べることができる。

さらに、または代替として、ユーザは、２つの予測分散区間の交差区間が、以前の予測のために取得した予測分散区間より１５％を超えて小さくなる場合、および／または、新しい予測のために取得した予測分散区間２５４の大きさが、以前の予測のために取得した予測分散区間２５４の大きさより少なくとも１５％大きい場合、現在の予測の予測分散区間２５４が、同じ予測タスクのための以前の予測のために取得した予測分散区間２５４とは著しく異なると述べることができる。

ユーザは、第１および第２の信頼区間、予測分散区間、ならびに、スコア値の差の閾値に、異なる値をセットすることができる。

好ましい実施形態によれば、プログラムロジック９６２は、定期的に、および／または、新しいもしくは追加の訓練データ９６８が利用可能になる際に、機械学習に基づく予測ロジック９５６を自動的に再訓練するように構成される。機械学習ロジック９５６の再訓練は、モデル９５６の新しい版が生成されることを意味し、新しい版は、以前のモデルとは異なる同じ予測タスクのための予測結果を生成することができる。バックエンドプログラム９６２は、ユーザレジストリおよびタスクレジストリ９６１に収められた全ての予測タスクのために、または、「自動更新」タグで印を付けられた少なくとも予測タスクのために、新しいモデルの版に基づいて、予測結果の再計算を自動的にトリガするように構成することができる。次に、バックエンドプログラム９６２は、新しいモデルを使用して取得された予測結果と、予測履歴９６１に格納されたモデルの以前の版を使用して取得してあったそれぞれの予測結果とを比較する。特定の予測結果が、モデルの以前の版を使用して同じ予測タスクのために取得した予測結果とは「著しく異なる」場合、前記特定の予測タスクを割り当てた全てのユーザは、前記ユーザに割り当てられた予測タスクのために、より新しい予測結果が利用できるようになったことを、バックエンドプログラム９６２によってアラートメッセージを介して自動的に通知される。例えば、第２のプログラム６０２は、例えば、電子メール、ＳＭＳ、または、他の任意のメッセージ形式といった、アラートメッセージを、モデル更新によって予測結果が著しく影響を受ける予測タスクに対して登録したユーザのモバイルデバイスに送るように構成することができる。いくつかの実施形態では、アラートは、例えばＵＲＬといった、選択可能な要素を含み、要素を選択したユーザは、更新後の予測結果を受け取ること、および／または、更新後の予測結果を表すアナログスケールアイコンを受け取ることをトリガすることができる。ユーザが複数の予測タスクに対して登録していた場合、および、複数の予測タスクの予測結果が、モデル更新によって著しく影響を受ける（変更される、修正される）と、バックエンドプログラムによって判定されていた場合、バックエンドプログラムは、更新後の予測結果のリスト、および／または、更新後の予測結果を表すアナログスケールアイコンのリストを含むアラートメッセージを送ることができる。代替として、アラームメッセージは、予測モデルの新しい版が利用可能であること、ならびに、複数の予測タスクが、新しいモデル、および、例えばＵＲＬといった選択可能な要素によって影響を受けることという通知だけを含むことができ、ユーザによるＵＲＬの選択は、更新後の予測結果のリストを受け取ること、および／または、更新後の予測結果を表すアナログスケールアイコンのリストを受け取ることをトリガする。

これは、大量の予測タスクに対して登録していたユーザが、モデルが更新される際に、大量のメッセージで「あふれ（ｆｌｏｏｄｅｄ）」ないので、非常に有利である可能性がある。しばしば、モデル更新は、予測の結論に著しく影響を及ぼすことはなく、ユーザの通知は、ネットワークトラフィックを増加させ、ユーザを不安にさせるだけである。それでも、モデル更新が、予測結果に対して重大なインパクトを与えることに気づいた場合、それぞれの予測タスクに対して登録していた任意のユーザは、予測結果の新しい更新版を、または、予測結果の更新版をユーザが検索できる少なくともリンクを、自動的に提供される。したがって、ユーザは、最新の利用可能なデータおよびモデルの版に予測結果が常に基づくことを確実にするために、特定の予測を繰り返し実行するという負担が和らぐ。

実施形態によれば、クライアントアプリケーション９８０は、自動化されたＩＴフレームワークの一部であり、バックエンドプログラム９６２と機械学習ロジック９５６を組み合わせて、訓練データの現在のセットを自動的かつ繰り返し検索すること、予測型生物医学的モデルの更新版を生成するために最新の利用可能な訓練データについて機械学習ロジック９５６を再訓練すること、現在の予測結果を取得するために更新後のモデルについて、ユーザおよびタスクライブラリ９６３内の予測タスクで指定された全ての予測を繰り返すこと、現在の予測結果と、モデルの以前の版に基づいて生成された以前に取得した予測結果を比較すること、ならびに、予測結果が、モデルの以前の版に基づいて取得した予測結果とは著しく異なると比較動作で気づいた予測タスクをレジストリ９６３内で割り当てた、関連のあるモデル更新、および、新しい関連のある予測結果について、これらの登録ユーザだけに選択的に通知すること、を行うように構成される。したがって、ネットワークトラフィックは避けられ、非常にユーザフレンドリなシステムが提供され、科学者および科学マネージャが、最新のモデルの予測に基づいて常に判定することを保証する。アナログスケールアイコンおよびそれぞれのサムネイルアイコンを使用すると、スクロール動作を何も実行せず、数値または値の範囲を読み取る必要さえなく、モバイルデバイスの小さい画面上でも、予測結果、ならびに、予測結果の品質、ならびに、基礎となるモデルおよびモデルの版の品質をユーザが素早くかつ直感的に評価し、比較できることを保証する。

Claims (18)

1. 電池式ハンドヘルドモバイル通信デバイス（９７０）のマトリックスディスプレイ上で、生物医学的モデルベースの予測の確実性を視覚化する方法（１００）であって、
   − モバイルデバイス（９７０）によって、デジタルセルラーモバイル通信ネットワークを介して予測結果（９６０）を受け取ること（１０４）であって、予測結果が、生物医学的モデル（９５８）を使用しプログラムロジック（９５６）によって、生物医学的予測タスクのために生成され、予測結果が、少なくとも、
   ・ 予測スコア（２１６）であって、予測スコアが、予測の確実性を示すものであり、スコア範囲内の数値であり、スコア範囲が、可能性のあるスコア値の所定の範囲である、予測スコア（２１６）、
   ・ 第１の信頼区間（２５６．１）であって、第１の信頼区間が、スコア範囲の第１の副区間であり、第１の信頼区間が、所定のＦＮパーセンテージの閾値を下回る偽陰性予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである、第１の信頼区間（２５６．１）、
   ・ 第２の信頼区間（２５６．２）であって、第２の信頼区間が、スコア範囲の第２の副区間であり、第２の信頼区間が、所定のＦＰパーセンテージの閾値を下回る偽陽性予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである、第２の信頼区間（２５６．２）、
   を含む、予測結果（９６０）を受け取ること（１０４）と、
   − モバイルデバイスによって、モバイルデバイスのマトリックスディスプレイ（９７８）にアナログスケールアイコン（２００、２６０）を表示すること（１０８）であって、アナログスケールアイコンが、
   ・ 予測スコア（２１６）を含むバックグラウンドエリア（２２０）、
   ・ スコア範囲を表すアナログスケール（２０８）であって、スケールの終端（２１０、２１２）が、スコア範囲の最大および最小スコア値を表す、アナログスケール（２０８）、
   ・ 予測スコアを表すスケール内の位置を指すポインタ（２１８）、
   ・ スケールに対する第１の副範囲指標の大きさおよび位置が、スコア範囲内の第１の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされた第１の副範囲指標（２０２）、ならびに
   ・ スケールに対する第２の副範囲指標の大きさおよび位置が、スコア範囲内の第２の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされた第２の副範囲指標（２０４）
   を含む、アナログスケールアイコン（２００、２６０）を表示すること（１０８）と
   を含む、方法。
2. − アナログスケールアイコンが、速度計アイコンである、ならびに／または
   − バックグラウンドエリアが、タコディスクエリアである、ならびに／または
   − スケールが、バックグラウンドエリアの輪郭の一部である、ならびに／または
   − ポインタが、バックグラウンドエリアの中心で始まる、ならびに／または
   − バックグラウンドエリアが、半円形である、ならびに／または
   − 第１および第２の副範囲指標がそれぞれ、円弧、具体的には弓形の弧である、ならびに／または
   − 予測スコアが、バックグラウンドエリアの中心に表示される、ならびに／または
   − アナログスケールアイコンが、バックグラウンドエリア（２２０）と同一中心に位置合わせされた中心エリア（２１４）をさらに含み、中心エリアが、スコア値を表示する
   請求項１に記載の方法。
3. − 予測結果が、予測分散区間（２５４）をさらに含み、予測分散区間が、スコア範囲の副範囲を示し、予測分散区間の幅が、生物学モデルを使用しプログラムロジックによって計算された予測スコアの変化またはばらつきの量を数量化し、
   − アナログスケールアイコンが、ポインタ（２１８）に垂直に配置された分散バー（２５８）をさらに含み、分散バーの幅が、予測分散区間の幅と相関し、予測分散区間の幅を示すものである
   請求項１から２のいずれか一項に記載の方法。
4. 分散バーの幅が、可視または不可視の弓形の弦長と同一であり、前記弓形が、バックグラウンドエリアの中心で始まり、分散バーの両端が、弓形の区間と交わり、弓形の弧が、予測分散区間（２５４）に対応するスケールの一部である、請求項３に記載の方法。
5. − 生物医学的モデル（９５８）を使用しプログラムロジック（９５６）によって、予測結果（９６０）を自動的に生成すること
   をさらに含む、請求項１から４のいずれか一項に記載の方法。
6. プログラムロジック（９５６）が、サーバコンピュータシステムにインストールされ、方法が、
   − 生物医学的モデル（９５８）を使用しプログラムロジック（９５６）によって、予測結果（９６０）を自動的に生成すること、
   − ネットワークを介してモバイルデバイスに予測ロジックを送ること、または
   − ネットワークを介してモバイルデバイスにメッセージを送ることであって、メッセージが、予測結果が生成されたことをモバイルデバイスに通知する、送ること、および、モバイルデバイスによってサーバコンピュータから予測結果をダウンロードすること
   をさらに含む、請求項１から５のいずれか一項に記載の方法。
7. プログラムロジック（９５６）が、訓練済の機械学習ロジックである、請求項１から６のいずれか一項に記載の方法。
8. − 訓練データを繰り返し受け取ることであって、各受け取った訓練データが、以前に受け取った訓練データに収められていない少なくともいくつかのデータを含む、訓練データを繰り返し受け取ることと、
   − 訓練データを受け取る際に、現在受け取った訓練データについて機械学習ロジックを自動的に再訓練し、これにより、生物医学的モデル（９５８）の更新版を自動的に生成すること
   をさらに含む、請求項７に記載の方法。
9. 機械学習ロジックによって使用される生物医学的モデルが、第１の訓練データに基づいて生成された第１の生物医学的モデルであり、モバイルデバイスが、それぞれのユーザに割り当てられた複数のモバイルデバイス（９７０、９７２、９７４）のうちの１つであり、方法が、
   − 複数のユーザおよび複数の生物医学的予測タスクをバックエンドプログラム（９６２）に登録することであって、各ユーザが、予測タスクの１つまたは複数を割り当てた、登録することと、
   − 機械学習ロジック（９５６）によって、予測タスクのそれぞれを実行し、これにより、第１の生物医学的モデルをそれぞれ使用して、第１の予測結果を生成することと、
   − 第１の予測結果が生成された予測タスクを割り当てたユーザのモバイルデバイスに第１の予測結果を選択的に送ることと、
   − 機械学習ロジックの各再訓練に応答して、機械学習ロジック（９５６）によって、さらなる期間、予測タスクのそれぞれを自動的に実行し、これにより、生物医学的モデルの更新版をそれぞれ使用して、第２の予測結果を生成することと、
   − 第１の予測結果が生成された予測タスクを割り当てたユーザのモバイルデバイスに、第２の予測結果、または、これらの計算の通知を選択的に送ることと、
   をさらに含む、請求項８に記載の方法。
10. − バックエンドプログラムによって、各予測タスクのために計算された第１の予測結果と第２の予測結果を比較することと、
    − 第１の予測結果および第２の予測結果を計算したこれらの予測タスクについて、第２の予測結果、または、これらの計算の通知の選択的な送付を実行することであって、
    ・ 第２の予測結果のスコア値ではなく、第１の予測結果のスコア値が第１の信頼区間内にある、または、
    ・ 第１の予測結果のスコア値ではなく、第２の予測結果のスコア値が第１の信頼区間内にある、または、
    ・ 第２の予測結果のスコア値ではなく、第１の予測結果のスコア値が第２の信頼区間内にある、または、
    ・ 第１の予測結果のスコア値ではなく、第２の予測結果のスコア値が第２の信頼区間内にある、または、
    ・ 第１および第２の予測結果のスコア値が、所定のスコアの差の閾値を上回ることによって異なる、または、
    ・ 第１および第２の予測結果の予測分散区間（２５４）の大きさが、所定の区間の長さの差の閾値を上回ることによって異なる、
    送付を実行することと
    をさらに含む、請求項９に記載の方法。
11. 機械学習ロジックが、生物医学的文献について訓練され、機械学習ロジックが、生物医学的文献から自動的に抽出された特徴を使用して、特定の薬物による特定の疾患の治療能力を検査する臨床前試験または臨床試験の失敗の可能性を予測するように適合された、請求項７から１０のいずれか一項に記載の方法。
12. − モバイルデバイス（９７０）によって、予測結果（９６０）を含む複数の予測結果を受け取ること（１０４）であって、受け取った予測結果のそれぞれが、生物医学的モデル（９５８）を使用しプログラムロジック（９５６）によって、異なる入力データについて生成された、複数の予測結果を受け取ること（１０４）と、
    − モバイルデバイスのディスプレイ（９７８）に予測リスト（３０２）を表示することであって、各リスト項目（３０４、３０６）が、受け取った予測結果のうちの１つを表し、前記予測結果をグラフィカルに表す少なくともサムネイルアナログスケールアイコンを含み、各サムネイルアナログスケールアイコンが、少なくとも
    ・ サイズ縮小版のスケール、
    ・ 予測スコアを含んだサイズ縮小版のバックグラウンドエリア、および
    ・ サイズを縮小したバックグラウンドエリアの中心で始まり、予測スコアを表すサイズを縮小したスケール内の位置を指すサイズ縮小版のポインタ
    を含む、予測リスト（３０２）を表示することと、
    − リスト項目のうちの１つをユーザが選択したとき、アナログスケールアイコン（２００、２６０）の生成および表示を行うことであって、アナログスケールアイコン（２００、２６０）が、選択したリスト項目によって表された予測結果を表し、アナログスケールアイコンが、モバイルデバイスのマトリックスディスプレイ上の予測リストを置き替える、アナログスケールアイコン（２００、２６０）の生成および表示を行うことと
    をさらに含む、請求項１から１１のいずれか一項に記載の方法。
13. アナログスケールアイコンが、スクロールバーがない、および／または、スクロールをサポートしないグラフィカルユーザインターフェースの要素として表示される、請求項１から１２のいずれか一項に記載の方法。
14. アナログスケールアイコンの生成が、
    − サーバコンピュータによって提供されたウェブページのスクリプト要素を実行するブラウザ、または、
    − サーバコンピュータによって提供されたウェブページを表示するブラウザのブラウザプラグインによって、または、
    − アプリケーションプログラムが、サーバコンピュータによってホストされたバックエンドプログラムと相互動作可能であり、バックエンドプログラムが、ネットワークを介してモバイルデバイスに予測結果を提供するように適合された、アプリケーションプログラムによって
    のうちの１つによって実行される、請求項１から１３のいずれか一項に記載の方法。
15. プログラムロジック（９５６）によって生成された本来の予測スコアを正規化すること、および、プログラムロジック（９５６）によって生成された予測スコアとして、正規化した予測スコアを使用することをさらに含み、正規化したスコアが、所定のスコア範囲に基づいて正規化される、請求項１から１４のいずれか一項に記載の方法。
16. − プログラムロジック（９５６）によって、生物医学的予測タスクのための予測結果の生成を繰り返し実行し、これにより、繰り返し更新された版の生物医学的モデル（９５８）を使用することと、
    − アナログスケールアイコンの動画の形で、繰り返し更新された生物医学的モデルの確実性の変化を視覚化することであって、第１および第２の副範囲指標の大きさ、ポインタの方向、および／または、分散バー（２５８）の大きさが、もしあれば、経時的に動画の中で変化する、繰り返し更新された生物医学的モデルの確実性の変化を視覚化することと
    をさらに含む、請求項１から１５のいずれか一項に記載の方法。
17. モバイルハンドヘルド通信デバイス（９７０）であって、
    − モバイルデバイスに電力を供給するための電池（９７２）と、
    − デジタルセルラーネットワークインターフェースと、
    − マトリックスディスプレイ（９７８）と、
    − プログラムロジック（９８０、９８２）であって、１つまたは複数のプロセッサによって実行可能であり、
    ・ デジタルセルラーネットワークインターフェースを介して予測結果（９６０）を受け取ること（１０４）であって、予測結果が、生物医学的モデル（９５８）を使用し予測プログラムロジック（９５６）によって、生物医学的予測タスクのために生成され、予測結果が、少なくとも
    ○ 予測スコア（２１６）であって、予測スコアが、予測の確実性を示すものであり、スコア範囲内の数値であり、スコア範囲が、可能性のあるスコア値の所定の範囲である、予測スコア（２１６）、
    ○ 第１の信頼区間（２５６．１）であって、第１の信頼区間が、スコア範囲の第１の副区間であり、第１の信頼区間が、所定のＦＮパーセンテージの閾値を下回る偽陰性予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである、第１の信頼区間（２５６．１）、
    ○ 第２の信頼区間（２５６．２）であって、第２の信頼区間が、スコア範囲の第２の副区間であり、第２の信頼区間が、所定のＦＰパーセンテージの閾値を下回る偽陽性予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである、第２の信頼区間（２５６．２）
    を含む、予測結果（９６０）を受け取ること（１０４）、
    ・ マトリックスディスプレイにアナログスケールアイコン（２００、２６０）を表示すること（１０８）であって、アナログスケールアイコンが、
    ○ 予測スコア（２１６）を含むバックグラウンドエリア（２２０）、
    ○ スコア範囲を表すアナログスケール（２０８）であって、スケールの終端（２１０、２１２）が、スコア範囲の最大および最小スコア値を表す、アナログスケール（２０８）
    ○ 予測スコアを表すスケール内の位置を指すポインタ（２１８）、
    ○ スケールに対する第１の副範囲指標の大きさおよび位置が、スコア範囲内の第１の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされた第１の副範囲指標（２０２）、ならびに
    ○ スケールに対する第２の副範囲指標の大きさおよび位置が、スコア範囲内の第２の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされた第２の副範囲指標（２０４）
    を含む、アナログスケールアイコン（２００、２６０）を表示すること（１０８）
    を行うように構成された、プログラムロジック（９８０、９８２）と
    を備える、モバイルハンドヘルド通信デバイス（９７０）。
18. 請求項１７に記載のモバイルデバイス（９７０）、およびサーバコンピュータ（９５０）を備えるシステムであって、サーバコンピュータが、
    − 生物医学的モデル（９５８）と、
    − 生物医学的モデル（９５８）を使用して予測結果を生成するように構成されたプログラムロジック（９５６）と、
    − ネットワーク（９９０）を介してモバイルデバイスに予測結果を提供するように適合されたバックエンドプログラム（９６２）と
    を備える、システム。
    

Images