JP2020520024A - 臨床試験施設の実績を視覚化するためのシステム及び方法 - Google Patents

Abstract

臨床試験施設の実績又は他の多次元（若しくは多重パラメータ）データセットを視覚化するためのシステム及び方法。【選択図】図６

Description

背景
多くの臨床試験は、公知の有効な薬物（例えば、鎮痛剤）の効能とプラセボの効能とを区別することができない。そのような失敗の要因は、異なる試験施設間における研究結果のばらつきである。研究中に試験施設を個別に監視することはできるが、監視努力は、典型的には、アッセイ感度と関連付けられる要因よりもむしろデータの完全性及び規制順守に注がれる。その結果、施設障害（例えば、施設が、特に同じ試験において他の施設と比べて、プラセボを上回る提案薬物の利点を示すことができないこと）は、試験が完了して試験データベースがロックされた後にのみ見つけることができる。その時点では、介入は、もはや不可能である。

図面の簡単な説明
いくつかの実施形態による例示的な臨床試験監視システム１００を示す。 いくつかの実施形態による、不十分なアッセイ感度を予測する１つ又は複数の変数を決定するための例示的なプロセス２００を示す。 いくつかの実施形態による、表２に要約される例示的な研究Ａ〜Ｃに関する投与し忘れた薬の量の平均パーセンテージを示す。 いくつかの実施形態による、表２に要約される例示的な研究Ａ〜Ｃに関する記入し忘れたＥダイアリエントリの平均パーセンテージを示す。 いくつかの実施形態による、時間をかけて収集された複数の測定値を監視して分析するために実行することができる例示的なプロセス４００を示す。 いくつかの実施形態による、統計的工程管理（ＳＰＣ）技法を臨床試験データに適用することによって生成された例示的な管理図を示す。 いくつかの実施形態による、統計的工程管理（ＳＰＣ）技法を臨床試験データに適用することによって生成された例示的な管理図を示す。 いくつかの実施形態による、臨床試験データの例示的な視覚表現６００を示す。 いくつかの実施形態による、４つの異なる試験施設にそれぞれ対応する例示的な領域１〜４を伴う例示的な視覚表現６００を示す。 いくつかの実施形態による、試験施設の３つの異なる品質メトリクスにそれぞれ対応する例示的な領域を有する例示的な視覚表現８００Ａを示す。 いくつかの実施形態による、試験施設の３つの異なる品質メトリクスにそれぞれ対応する例示的な領域を有する例示的な視覚表現８００Ｂを示す。 いくつかの実施形態による、試験施設の３つの異なる品質メトリクスにそれぞれ対応する例示的な領域を有する例示的な視覚表現８００Ｃを示す。 いくつかの実施形態による、試験施設の３つの異なる品質メトリクスにそれぞれ対応する例示的な領域を有する例示的な視覚表現８００Ｄを示す。 いくつかの実施形態による、異なる特性を有する試験施設間における比較を容易にするための例示的な視覚表現９００Ａを示す。 いくつかの実施形態による、異なる特性を有する試験施設間における比較を容易にするための例示的な視覚表現９００Ｂを示す。 本開示のいかなる態様も実装することができる例示的なコンピュータ１０００を概略的に示す。

概要
本明細書では、とりわけ、多重パラメータデータセット（本明細書では多次元データセットとも呼ばれる）を表現するためのシステム及び方法が提供される。そのような表現は、それら自体、二次元であり得るが、３つ、４つ、５つ又はそれを超えるパラメータについての情報を含み且つ従って中継することができる（従って、そのような表現は、多次元データセットの二次元レンダリングであり得る）。データセットは、臨床試験と関連付けることができるが、そのように限定されない。当業者であれば、本開示に基づき、本明細書で説明されるように他のデータセットを操作及び従って表現できることを理解するであろう。従って、便宜上及び簡潔にするため、本開示は、臨床試験データに焦点を置くが、本明細書で説明されるように他のデータセットも同様に使用できることを理解されたい。そのようなデータセットは、事実上、いかなる定量化可能パラメータも含み得、これらに限定されないが、事象のサイズ、時間（例えば、特定の日、特定の期間、特定の曜日、特定の月若しくは特定の年など）、期間、継続時間、場所（例えば、都市、州、国、大陸）、頻度、大きさ又は深刻度などを含む。

一態様では、本開示は、臨床試験データに基づく視覚表現であって、複数の領域を含み、複数の領域の各領域は、臨床試験に参加している複数の試験施設のそれぞれの試験施設に対応し、複数の領域の少なくとも１つの領域について、
複数の領域の少なくとも１つの領域は、複数のサブ領域を含み、複数のサブ領域の各サブ領域は、複数の時間間隔のそれぞれの時間間隔に対応し、
複数のサブ領域の各サブ領域について、サブ領域のサイズは、サブ領域に対応する時間間隔中、少なくとも１つの領域に対応する試験施設で参加していた人間の被験者の数を示し、及び
複数のサブ領域の各サブ領域について、視覚表示は、少なくとも１つの領域に対応する試験施設及びサブ領域に対応する時間間隔に関する品質スコアに基づいて提供され、品質スコアは、少なくとも１つの試験施設品質メトリクス及びその時間間隔中にその試験施設で参加していた人間の被験者から収集されたデータに基づく、視覚表現を提供する。

別の態様では、本開示は、視覚表現であって、複数の領域を含み、複数の領域の各領域は、第１のパラメータに対する複数の第１の値のそれぞれの第１の値に対応し、複数の領域の少なくとも１つの領域について、
複数の領域の少なくとも１つの領域は、複数のサブ領域を含み、複数のサブ領域の各サブ領域は、第１のパラメータと異なる第２のパラメータに対する複数の第２の値のそれぞれの第２の値に対応し、
複数のサブ領域の各サブ領域について、サブ領域のサイズは、少なくとも１つの領域に対応する第１の値及びサブ領域に対応する第２の値と関連付けられたデータセットに基づく第３の値を示し、及び
複数のサブ領域の各サブ領域について、視覚表示は、少なくとも１つの領域に対応する第１の値及びサブ領域に対応する第２の値に対する第４の値に基づいて提供され、第４の値は、第３の値と関連付けられる、視覚表現を提供する。

別の態様では、臨床試験施設の実績を視覚化するための方法であって、
臨床試験に参加している複数の試験施設に関連するデータを得る動作であって、データは、複数の試験施設の各試験施設について、
複数の時間間隔の各時間間隔について、その時間間隔中に試験施設で参加していた人間の被験者の数を示す試験施設活動データと、
複数の時間間隔の各時間間隔について、少なくとも１つの試験施設品質メトリクスによる品質スコアを示す試験施設品質データであって、品質スコアは、その時間間隔中に試験施設で参加していた人間の被験者から収集されたデータに基づく、試験施設品質データと
を含む、動作と、
少なくとも１つの視覚表現を提供する動作であって、視覚表現は、複数の領域を含み、複数の領域の各領域は、複数の試験施設のそれぞれの試験施設に対応し、複数の領域の少なくとも１つの領域について、
複数の領域の少なくとも１つの領域は、複数のサブ領域を含み、複数のサブ領域の各サブ領域は、複数の時間間隔のそれぞれの時間間隔に対応し、
複数のサブ領域の各サブ領域について、サブ領域のサイズは、サブ領域に対応する時間間隔中、少なくとも１つの領域に対応する試験施設で参加していた人間の被験者の数を示し、及び複数のサブ領域の各サブ領域について、視覚表示は、少なくとも１つの領域に対応する試験施設及びサブ領域に対応する時間間隔に関する品質スコアに基づいて提供される、動作と
を含む方法である。

いくつかの実施形態では、方法は、試験施設における品質問題に対処するために介入を推奨する動作をさらに含む。

いくつかの実施形態では、方法は、臨床試験が進行中の臨床試験であることをさらに含み、方法は、品質問題のために進行中の臨床試験又は将来の臨床試験から試験施設を除去することを推奨する動作をさらに含む。

別の態様では、本開示は、臨床試験施設の実績を視覚化するためのシステムであって、
実行可能命令を格納する少なくとも１つの非一時的コンピュータ可読媒体と、
少なくとも１つのプロセッサと
を含み、少なくとも１つのプロセッサは、
臨床試験に参加している複数の試験施設に関連するデータにアクセスすることであって、データは、複数の試験施設の各試験施設について、
複数の時間間隔の各時間間隔について、その時間間隔中に試験施設で参加していた人間の被験者の数を示す試験施設活動データと、
複数の時間間隔の各時間間隔について、少なくとも１つの試験施設品質メトリクスによる品質スコアを示す試験施設品質データであって、品質スコアは、その時間間隔中にその試験施設で参加していた人間の被験者から収集されたデータに基づく、試験施設品質データと
を含む、アクセスすることと、
データの少なくとも１つの視覚表現を少なくとも１つのディスプレイ上にレンダリングさせることであって、少なくとも１つの視覚表現は、複数の領域を含み、複数の領域の各領域は、複数の試験施設のそれぞれの試験施設に対応し、複数の領域の少なくとも１つの領域について、
複数の領域の少なくとも１つの領域は、複数のサブ領域を含み、複数のサブ領域の各サブ領域は、複数の時間間隔のそれぞれの時間間隔に対応し、
複数のサブ領域の各サブ領域について、サブ領域のサイズは、サブ領域に対応する時間間隔中、少なくとも１つの領域に対応する試験施設で参加していた人間の被験者の数を示し、及び
複数のサブ領域の各サブ領域について、視覚表示は、少なくとも１つの領域に対応する試験施設及びサブ領域に対応する時間間隔に関する品質スコアに基づいて提供される、レンダリングさせることと
を行うように実行可能命令によってプログラムされる、システムを提供する。

いくつかの実施形態では、複数のサブ領域の少なくとも１つのサブ領域について、視覚表示は、品質スコアに基づいて選択された色を含む。いくつかの実施形態では、少なくとも１つのプロセッサは、少なくとも部分的に、品質スコアを少なくとも１つの閾値と比較することにより、色を選択するようにプログラムされる。

いくつかの実施形態では、視覚表示は、品質スコアに基づいて選択された色強度をさらに含む。

いくつかの実施形態では、複数のサブ領域の少なくとも１つのサブ領域について、視覚表示は、品質スコアに基づいて選択された塗りつぶしパターンを含む。いくつかの実施形態では、少なくとも１つのプロセッサは、少なくとも部分的に、品質スコアを少なくとも１つの閾値と比較することにより、塗りつぶしパターンを選択するようにプログラムされる。

いくつかの実施形態では、視覚表示は、品質スコアに基づいて選択された塗りつぶしパターン濃度をさらに含む。

いくつかの実施形態では、少なくとも１つのプロセッサは、対応する試験施設の地理的場所に基づいて複数の領域を配列させるようにプログラムされる。

いくつかの実施形態では、少なくとも１つのプロセッサは、対応する時間間隔に基づいて少なくとも１つの領域の複数のサブ領域を時系列に配列させるようにプログラムされる。

いくつかの実施形態では、複数の試験施設の各試験施設及び複数の時間間隔の各時間間隔について、その試験施設及びその時間間隔に関する品質スコアは、その時間間隔中に試験施設において観察された異常な事象の数に基づく。

別の態様では、本開示は、臨床試験施設の実績を視覚化するためのシステムであって、
実行可能命令を格納する少なくとも１つの非一時的コンピュータ可読媒体と、
少なくとも１つのプロセッサと
を含み、少なくとも１つのプロセッサは、
臨床試験に参加している試験施設に関連するデータにアクセスすることであって、データは、
複数の時間間隔の各時間間隔について、その時間間隔中に試験施設で参加していた人間の被験者の数を示す試験施設活動データと、
複数の時間間隔の各時間間隔について、複数の試験施設品質メトリクスとそれぞれ関連付けられた複数の品質スコアを示す試験施設品質データであって、複数の品質スコアの少なくとも１つの品質スコアは、その時間間隔中にその試験施設で参加していた人間の被験者から収集されたデータに基づく、試験施設品質データと
を含む、アクセスすることと、
データの少なくとも１つの視覚表現を少なくとも１つのディスプレイ上にレンダリングさせることであって、少なくとも１つの視覚表現は、複数の領域を含み、複数の領域の各領域は、複数の試験施設品質メトリクスのそれぞれの試験施設品質メトリクスに対応し、複数の領域の少なくとも１つの領域について、
複数の領域の少なくとも１つの領域は、複数のサブ領域を含み、複数のサブ領域の各サブ領域は、複数の時間間隔のそれぞれの時間間隔に対応し、及び
複数のサブ領域の各サブ領域について、視覚表示は、少なくとも１つの領域に対応する試験施設品質メトリクス及びサブ領域に対応する時間間隔に関するそれぞれの品質スコアに基づいて提供される、レンダリングさせることと
を行うように実行可能命令によってプログラムされる、システムを提供する。

いくつかの実施形態では、複数のサブ領域の少なくとも１つのサブ領域について、視覚表示は、それぞれの品質スコアに基づいて選択された色を含む。いくつかの実施形態では、少なくとも１つのプロセッサは、少なくとも部分的に、品質スコアを少なくとも１つの閾値と比較することにより、色を選択するようにプログラムされる。

いくつかの実施形態では、視覚表示は、品質スコアに基づいて選択された色強度をさらに含む。

いくつかの実施形態では、複数のサブ領域の少なくとも１つのサブ領域について、視覚表示は、それぞれの品質スコアに基づいて選択された塗りつぶしパターンを含む。いくつかの実施形態では、少なくとも１つのプロセッサは、少なくとも部分的に、品質スコアを少なくとも１つの閾値と比較することにより、塗りつぶしパターンを選択するようにプログラムされる。

いくつかの実施形態では、視覚表示は、品質スコアに基づいて選択された塗りつぶしパターン濃度をさらに含む。

いくつかの実施形態では、複数の試験施設品質メトリクスの少なくとも１つの試験施設品質メトリクスは、多変量メトリクスを含む。

いくつかの実施形態では、複数の時間間隔の各時間間隔について、その時間間隔に関する品質スコアは、その時間間隔中に試験施設において観察された異常な事象の数に基づく。

いくつかの実施形態では、少なくとも１つのプロセッサは、試験施設における品質問題に対処するために介入を推奨するようにさらにプログラムされる。

いくつかの実施形態では、臨床試験は、進行中の臨床試験であり、少なくとも１つのプロセッサは、品質問題のために進行中の臨床試験又は将来の臨床試験から試験施設を除去することを推奨するようにさらにプログラムされる。

別の態様では、本開示は、臨床試験施設の実績を視覚化するためのシステムであって、
実行可能命令を格納する少なくとも１つの非一時的コンピュータ可読媒体と、
少なくとも１つのプロセッサと
を含み、少なくとも１つのプロセッサは、
臨床試験に参加している複数の試験施設に関連するデータにアクセスすることであって、データは、複数の試験施設の各試験施設について、
試験施設と関連付けられた複数の被験者の各被験者について、臨床試験中の被験者のステータスを示す被験者ステータスデータ
を含む、アクセスすることと、
データの少なくとも１つの視覚表現を少なくとも１つのディスプレイ上にレンダリングさせることであって、少なくとも１つの視覚表現は、複数の領域を含み、複数の領域の各領域は、複数の試験施設のそれぞれの試験施設に対応し、複数の領域の少なくとも１つの領域について、
複数の領域の少なくとも１つの領域は、複数の印を含み、複数の印の各印は、複数の被験者のそれぞれの被験者に対応し、及び
複数の印の各印について、視覚表示は、臨床試験中の被験者のステータスに基づいて提供される、レンダリングさせることと
を行うように実行可能命令によってプログラムされる、システムを提供する。

いくつかの実施形態では、複数の印の少なくとも１つの印について、視覚表示は、被験者のステータスに基づいて選択された色を含む。

いくつかの実施形態では、視覚表示は、被験者のステータスに基づいて選択された色強度をさらに含む。

いくつかの実施形態では、複数の印の少なくとも１つの印について、視覚表示は、被験者のステータスに基づいて選択された塗りつぶしパターンを含む。

いくつかの実施形態では、視覚表示は、被験者のステータスに基づいて選択された塗りつぶしパターン濃度をさらに含む。

いくつかの実施形態では、少なくとも１つのプロセッサは、対応する試験施設の地理的場所に基づいて複数の領域を配列させるようにプログラムされる。

本明細書では、前述のシステムのいずれかによって実行される方法がさらに提供され、例えば、方法は、臨床試験の完了前に実行される。すなわち、本明細書で提供される方法及びシステムは、少なくとも臨床試験に関連して、試験の完了前に使用及び／又は実装することができ、従って、データは、そのような試験からの最終データではなく、むしろ中間データであり得る。分析（臨床試験など）が進行中にデータセットを監視して視覚化する能力により、エンドユーザは、分析の１つ又は複数の側面（臨床試験の臨床施設など）を修正若しくは操作するか又はそのままにしておくことができる。

本明細書では、これらの及び他の態様及び実施形態をさらに詳細に説明する。

詳細な説明
本発明者らは、多施設臨床試験（例えば、第３相臨床試験）の失敗がアッセイ感度の低減（すなわち、試験が、有効な薬物の効果をプラセボの効果と統計的に区別できないこと）に起因する場合が多いことを認識及び理解している。様々な要因がアッセイ感度に影響を及ぼし得るが、重要な要因は、多施設研究において施設間で実施される研究におけるばらつきであり得、ばらつきにより、データ全体に「雑音」が導入される。例えば、多施設試験で収集されたデータを分析する際、計算された効果サイズにおいて施設間の差が見つかることは珍しくない。そのような差は、いくつかの施設が研究プロトコルに厳密に従う一方、他の施設が無秩序に従う場合があることが原因で生じ得、それにより効果サイズが低下する。

本発明者らは、現在の臨床試験監視方法では、施設間で実施される研究におけるばらつきから生じる常軌を逸したデータパターンがめったに検出されないか又は検出されても遅すぎる（例えば、試験データベースがロックされている）ことを認識及び理解している。例えば、人間の監視者は、研究中、数ヶ月ごとに臨床試験施設を訪問し、データ品質の総体的な違反（例えば、欠損データ、原文書と症例報告書との不整合、プロトコル又は薬品の臨床試験の実施基準違反など）を探す。これらの人間の監視者は、治療に関する専門知識がなく、データパターンを実質的に分析できない場合がある。

それに従って、いくつかの実施形態では、例えば、臨床試験の早期において問題を検出して改善するために、準リアルタイムで臨床試験データを監視するための臨床試験監視システムを提供することができる。例えば、臨床試験監視システムは、虚偽、偽装及び他の非ランダム分布などのデータ異常を検出するために集中監視技法を使用することができる。

いくつかの実施形態では、臨床監視システムは、追加の訓練及び／又は監視が適切な臨床施設を適時に識別するために統計的評価を実行するようにプログラムすることができる。例えば、臨床試験監視システムは、実績不振又は不順守に対応する特性を有する試験施設を識別するようにプログラムすることができる。そのような特性の例は、これらに限定されないが、データ収集及び／又は報告におけるエラー（例えば、欠損データ、一貫性のないデータ、外れデータなど）及び／又はあるメトリクスに関する実績不振（例えば、高いスクリーニング失敗率及び／又は撤退率、高頻度の適格性違反、データ報告の遅延など）を含む。いくつかの実施形態では、臨床試験監視システムは、施設内及び／又は施設間のデータの範囲、一貫性及び／又は異常分布を検査することによってデータ傾向を識別するようにプログラムすることができる。そのようなデータ傾向は、現在の現場監視技法では容易に検出することができない。

本発明者らは、施設障害を予測する常軌を逸したデータパターンの早期検出により、問題が検出され次第、障害のある施設を改善できることを認識及び理解している。是正措置の例は、これらに限定されないが、観察された常軌を逸したデータパターンに関連するある側面に関して施設スタッフを再訓練すること、症状（例えば、疼痛）を正確に報告するように患者を再訓練すること、研究手順を変更すること及び障害のある施設を閉鎖することを含む。いくつかの実施形態では、既に収集されているデータが無効にならないように、既存のプロトコルと一致している変更を実施することができる。

本発明者らは、大量の臨床試験データを収集することができ、その収集には、大多数の人間の被験者が長期間にわたって多くの異なる試験施設を通じて参加することを伴い得ることをさらに認識及び理解している。それに従って、いくつかの実施形態では、臨床試験データを簡潔且つ直観的な方法で視覚化するための技法が提供される。そのような視覚化技法は、進行中の臨床試験に対して介入が適切であるかどうかに関する適時の判断を容易にすることができる。加えて又は代替として、そのような視覚化技法は、複数の臨床試験にわたって持続的な品質問題を有する試験施設（追加のスタッフ訓練などのある是正措置を講じることが推奨される）の識別を容易にすることができる。

図１は、いくつかの実施形態による例示的な臨床試験監視システム１００を示す。この例では、臨床試験監視システム１００は、臨床試験データ供給源１０５などの１つ又は複数の供給源から臨床試験データを受信することができる。例えば、いくつかの実施形態では、臨床試験データ供給源１０５は、スポンサ（例えば、医薬品、バイオテクノロジ又は医療機器会社）の代わりに臨床試験を実施する開発業務受託機関によって提供することができる。臨床試験データ供給源１０５は、異なる試験施設からのデータを集計し、臨床試験監視システム１００にデータを送信することができる。

いくつかの実施形態では、臨床試験監視システム１００によって受信された臨床試験データは、臨床試験データストア１１０に格納することができる。臨床試験監視システム１００は、臨床試験データ処理システム１１５を含み得、臨床試験データ処理システム１１５は、臨床試験データストア１１０からのデータにアクセスし、１つ又は複数の信号を生成するようにプログラムされる。いくつかの実施形態では、臨床試験データ処理システム１１５は、１つ又は複数の統計的工程管理（ＳＰＣ）テストをデータに適用することによって１つ又は複数の信号を生成するようにプログラムすることができる。

非限定的な例として、臨床試験データストア１１０は、各被験者が試験施設を訪れたか又は連絡し合った日時を示すデータ及び研究プロトコルに従って指示されるように被験者によって提出されたダイアリエントリを格納することができる。臨床試験データ処理システム１１５は、このデータを使用して、各被験者に対し、対象（例えば、特定のタイプの疼痛）の１つ又は複数のエンドポイントを追跡するために、被験者による記入が予測されるすべてのダイアリエントリのうち、実際に記入されたダイアリエントリのパーセンテージを計算することができる。そのようなパーセンテージは、被験者レベル信号として出力することができる。

加えて又は代替として、臨床試験データ処理システム１１５は、例えば、ある期間（例えば、１週間、２週間、３週間、１ヶ月など）中に試験施設を訪れたか又は連絡し合った各被験者に関するダイアリ順守パーセンテージを計算し、次いでそのようなすべての被験者の平均を求めることにより、施設レベル信号を生成することができる。

図１に示される例では、臨床試験データ処理システム１１５によって生成された１つ又は複数の信号は、臨床試験分析システム１２０によって消費することができる。いくつかの実施形態では、臨床試験分析システム１２０は、臨床試験データ処理システム１１５によって生成された１つ又は複数の信号に１つ又は複数の規則を適用するようにプログラムされた規則エンジンを含み得る。非限定的な例として、臨床試験分析システム１２０は、ダイアリ順守規則をダイアリ順守信号に適用することができる。例えば、ダイアリ順守規則は、試験施設のダイアリ順守平均が選択された閾値（例えば、８５％）を下回る場合にトリガすることができる。加えて又は代替として、ダイアリ順守規則は、ある期間中（例えば、特定の数の連続週）、試験施設のダイアリ順守平均がすべての試験施設にわたるダイアリ順守平均を下回ったままである場合にトリガすることができる。

いくつかの実施形態では、臨床試験分析システム１２０によってもたらされた１つ又は複数の結果は、臨床試験監視ユーザインタフェース１２５を介してユーザに提示することができる。いくつかの実施形態では、臨床試験監視ユーザインタフェース１２５は、ウェブインタフェースであり得、分析結果の１つ又は複数の視覚表現は、ユーザのコンピュータ上で実行しているウェブブラウザによってレンダリングすることができる。しかし、それは、必須ではなく、その理由は、いくつかの実施形態では、ユーザのコンピュータ上にアプリケーション（ウェブブラウザ以外）をインストールし、臨床試験分析システム１２０によってもたらされた結果の１つ又は複数の視覚表現を提示するようにプログラムすることができるためである。

実装形態の様々な詳細が図１に示され、上記で論じられているが、本開示の態様は、特定のコンポーネント若しくはコンポーネントの組合せの使用又はコンポーネントの特定の配置に限定されないことを理解すべきである。その上、各コンポーネントは、同じ場所又は異なる場所で動作している１つ又は複数の並列プロセッサを使用するなど、適切ないかなる方法でも実装することができる。

図２は、いくつかの実施形態による、不十分なアッセイ感度を予測する１つ又は複数の変数を決定するための例示的なプロセス２００を示す。例えば、プロセス２００は、図１に示される例示的な臨床試験監視システム１００によって監視される１つ又は複数の変数を決定するために使用することができる。

動作２０５では、臨床試験における施設障害を潜在的に予測する１つ又は複数の候補変数を識別することができる。例として、候補変数は、ある被験者（例えば、その被験者に関するダイアリ順守）に関連し得る。別の例として、候補変数は、ある試験施設（例えば、その試験施設に登録されたすべての被験者にわたる平均ダイアリ順守）に関連し得る。さらなる別の例として、候補変数は、複数の試験施設（例えば、ある地理的領域におけるすべての試験施設に登録されたすべての被験者にわたる平均ダイアリ順守）に関連し得る。本開示の態様は、特定のタイプの変数の使用に限定されないため、１つ又は複数のいかなる被験者レベル、施設レベル、複数施設及び／又は他のタイプの変数も識別することができる。

いくつかの実施形態では、１つ又は複数の候補変数は、特定分野の専門家からの入力に基づいて識別することができる。例えば、いくつかの実施形態では、あるタイプの臨床試験（例えば、鎮痛剤試験）における１人又は複数の専門家は、施設実績と関連付けられる様々な要因に関する専門家の知識に基づいて候補変数を提案することができる。適切な専門家の例は、これらに限定されないが、臨床医、統計学者、データ管理者及びプロジェクト管理者を含む。

いくつかの実施形態では、１つ又は複数の候補変数は、研究プロトコルに基づいて自動的に識別することができる。例えば、いくつかの実施形態では、研究プロトコルは、施設実績に影響を及ぼすことが知られている１つ又は複数の変数を識別するために検索することができ、識別された変数は、変数の評価に関連する臨床試験データストア１１０のデータに自動的にマッピングすることができる。

非限定的な例として、以下の表１は、鎮痛剤試験における施設障害を潜在的に予測する候補変数の例示的なリストを示す。他の候補変数が適切な場合もあるため、本開示の態様は、これらの候補変数の使用に限定されないことを理解すべきである。その上、本明細書で開示される技法の１つ又は複数を使用して鎮痛剤試験以外の臨床試験を監視することができる。

図２を参照すると、動作２１０では、臨床試験中に監視される１つ又は複数の変数を識別することができる。例えば、いくつかの実施形態では、動作２０５で識別された候補変数（例えば、表１にリストされる例示的な候補変数）を評価し、１つ又は複数の基準に基づいて候補変数から１つ又は複数の変数を選択することができる。しかし、本開示の態様は、候補変数から変数を選択することに限定されないことを理解すべきである。いくつかの実施形態では、変数は、適切な方法で１つ又は複数の候補変数から導出することができる。

いくつかの実施形態では、候補変数は、候補変数が静的な（例えば、試験の開始前又は開始時に確立され、試験全体を通じてあまり変わらない）ものであるかどうかを判断するために評価することができる。静的変数の例は、これらに限定されないが、施設場所、研究室の責任者（ＰＩ）層、ＰＩの得意分野などを含む。本発明者らは、静的変数が、試験中の施設監視よりも試験開始時の施設選択の方に関わりがあることを認識及び理解している。

いくつかの実施形態では、候補変数は、候補変数が監視目的で容易に利用可能であるかどうかを判断するために評価することができる。例として、データ供給源（例えば、図１に示される例示的な臨床試験データ供給源１０５）は、ある候補変数の追跡を可能にするための十分な情報を提供できない場合がある。別の例として、ある候補変数に関する関連情報は、様々な文書及び／又はデータセットに分散している場合がある。その場合、候補変数を追跡するための準リアルタイムでの関連情報の収集及び分析は、実用的でも費用効果が高いものでもない。

いくつかの実施形態では、動的且つ容易に利用可能な候補変数は、予測力に基づいて格付けすることができる。例えば、表１に示される例では、動的且つ容易に利用可能な各候補変数は、不十分なアッセイ感度に対して高予測値、中央予測値又は低予測値を有するものとして格付けすることができる。

いくつかの実施形態では、高予測値を有する候補変数は、臨床試験中に監視される変数として選択することができる。例えば、表１に示される例では、３つの候補変数：
− 疼痛の異なる尺度間の不一致、
− ダイアリ順守、及び
− 治験薬投与順守
が選択されている。

図２を参照すると、動作２１５では、動作２１０で識別された変数の１つ又は複数の有効性確認を自動的に行うことができる。例えば、いくつかの実施形態では、１つ又は複数の完了した多施設臨床試験（例えば、第３相臨床試験）からのデータを使用して、レトロスペクティブ解析を実行し、変数が不十分なアッセイ感度を予測するものであるかどうかを評価することができる。回帰分析など、適切ないかなるレトロスペクティブ解析技法も使用することができる。

いくつかの実施形態では、同じ薬物に関する複数の完了した多施設臨床試験からのデータを使用して、変数の予測値を評価することができる。非限定的な例として、以下の表２は、定期的（例えば、毎週、２週間ごと、４週間ごとなど）に投与される鎮痛薬の３つの複数の週にまたがるランダム化二重盲検プラセボ対照試験からのデータセットを要約する。２つの試験は、病気Ｘに対して実施され、そのうちの一方が成功し、他方が失敗した。３つ目の試験は、病気Ｙに対して実施された失敗した試験であるが、その失敗は、ボーダーラインであった。

表２に示される例では、疼痛強度（ＰＩ）スコアは、３つのすべての試験においてＥダイアリを使用して１２週間毎日収集され、それによりＰＩスコアにおけるベースラインからエンドポイントまでの変化の計算が可能であった。一例では、ベースラインは、０週目の試験を表し、エンドポイントは、１２週目の試験を表し得る。いくつかの実施形態では、ＰＩスコアは、最後の７日間、３日間又は他の任意の日数のＰＩスコアの平均を求めることによって計算することができる。病気Ｘに関連する２つの試験では、被験者によって定期的（例えば、毎週、２週間ごと、４週間ごとなど）に、西オンタリオ・マクマスター大学変形性関節症指数（ＷＯＭＡＣ）アンケート（０〜１０の数値的評価スケール（ＮＲＳ）における疼痛を測定するサブスケールを含む）も完了した。

いくつかの実施形態では、監視される変数（例えば、図２の動作２１０で識別されるようなもの）は、異なるレベル（例えば、被験者、施設、地理的領域など）における評価に対して操作可能にすることができる。例えば、治験薬投与順守変数は、「少なくとも１回分の薬を投与し忘れた被験者の割合」、「一施設におけるすべての被験者にわたる投与し忘れた薬の量の割合」及び／又は「一地理的領域におけるすべての施設におけるすべての被験者にわたる投与し忘れた薬の量の割合」として操作可能にすることができる。非限定的な例として、被験者レベル及び施設レベルでの３つの変数（疼痛の異なる尺度間の不一致、ダイアリ順守及び治験薬投与順守）の操作上の定義は、以下の表３に提供される。

いくつかの実施形態では、表３に示される例示的な操作変数は、表２に示される３つの試験からのデータセットに対して評価することができる。例えば、１つ又は複数の統計データ（平均値、標準偏差（ＳＤ）、中央値及び／又はパーセンタイルなど）を計算することができる。いくつかの実施形態では、例えば、あるサブカテゴリの頻度を分析することにより、カテゴリ変数を評価することができる。

いくつかの実施形態では、ベースライン（例えば、０週目）からエンドポイント（例えば、１２週目）までのＰＩスコアの変化に対して回帰分析を実行することができ、プラセボと有効な薬物との治療差を評価し、ベースラインＰＩスコア、有効な治療（有効なもの対プラセボ）、ベースラインオピオイド使用（使用対不使用）、ベースライン体重（＜８５ｋｇ対≧８５ｋｇ）（主要モデル）を制御することができる。１つ又は複数の変数（例えば、表３に示される例示的な操作変数）は、１つ又は複数の変数が予測因子であるかどうかを判断するために、主効果及び相互作用項（有効な治療対プラセボ）として導入することができる。相互作用項の係数（対象の治療ｘ変数）及び対応するｐ値は、アッセイ感度との変数の潜在的な関連性の指標として使用することができる。

いくつかの実施形態では、０．２のｐ値が適切であると見なすことができる。他の値（例えば、雑音が少ないデータの場合にはより高いｐ値）の使用も可能であるため、本開示の態様は、特定のｐ値の使用に限定されないことを理解すべきである。

総体的には、上記の回帰分析は、以下の変数がアッセイ感度の減少（Ｐ＜０．２）と関連付けられることを示しており、それらは、（ｉ）投与し忘れた薬の量がより多い施設からのもの、（ｉｉ）記入し忘れたＥダイアリエントリがあるもの（特に０週目及び１２週目）、（ｉｉｉ）記入し忘れたＥダイアリエントリがより多い施設からのもの（特に０週目及び１２週目）（すべてのｐ値≦０．０５）、（ｉｖ）ベースラインにおけるＰＩ ＮＲＳとＷＯＭＡＣ疼痛との間の疼痛の格付けの不一致を有するものである。回帰分析の結果は、表４に示される。

要約すると、回帰分析結果は、施設レベルで測定された３つの選択された変数（Ｅダイアリ順守、治験薬順守及び疼痛スコア間の不一致）が、いずれの施設が薬物とプラセボとの区別に失敗するかを予測したことを確認した。

図３Ａは、いくつかの実施形態による、表２に要約される例示的な研究Ａ〜Ｃに関する投与し忘れた薬の量の平均パーセンテージ（施設レベル）を示し、図３Ｂは、いくつかの実施形態による、表２に要約される例示的な研究Ａ〜Ｃに関する記入し忘れたＥダイアリエントリの平均パーセンテージ（施設レベル）を示す。図３Ａ〜３Ｂに示されるように、成功した研究（研究Ａ）は、ボーダーライン（研究Ｂ）及び失敗した研究（研究Ｃ）と比べて、施設レベルでの投与し忘れた薬の量（１３％対２０％及び３４％）及び施設レベルでの記入し忘れたダイアリエントリ（１６％対１８％及び２９％）が最も少なかった。

図２、３Ａ、３Ｂと関係して上記で説明される候補変数及び選択プロセスは例示の目的のためにのみ提供されることを理解すべきである。様々な実施形態では、本明細書で論じられる変数に加えて又はその変数の代わりに、他の１つ又は複数の変数の提案及び／又は選択が可能である。例えば、選択及び監視プロセスは、高い予測値を有する候補変数のみに限定されない。いくつかの実施形態では、最初に、高い予測力を有する候補変数のすべて又はサブセットの選択及び監視を行い、それに続いて、中間の予測力を有する候補変数のすべて又はサブセットの選択及び監視を行うことができるなどである。その上、例えば、関連情報の利用可能性、治験薬の本質などに応じて、異なる研究において異なる変数を監視することができる。

本発明者らは、臨床試験中に準リアルタイムで１つ又は複数の変数（例えば、表３に示される例示的な操作変数の１つ又は複数）を監視するために統計的工程管理（ＳＰＣ）技法を使用できることを認識及び理解している。従来、ＳＰＣ技法は、製造プロセスの変動を監視して低減する（例えば、生産ラインからの欠陥製品の比率を低減する）ために使用されてきた。例えば、製造プロセスの１つ又は複数の測定可能な側面を監視することができ、統計的技法を使用して、時間をかけて収集された測定値を分析することができる。

本発明者らは、被験者、試験施設、地理的領域及び／又は臨床試験の他の任意の適切な構成要素（試験全体自体を含む）の実績を監視するためにＳＰＣ技法を使用できることを認識及び理解している。例えば、アッセイ感度を予測する測定可能な側面（例えば、Ｅダイアリ順守、治験薬順守、疼痛スコア間の不一致など）を監視することができ、統計的技法を使用して、時間をかけて収集された測定値を分析し、常軌を逸したデータパターンを検出することができる。常軌を逸したデータパターンは、補正される問題を示すことができる。

図４は、いくつかの実施形態による、時間をかけて収集された複数の測定値を監視して分析するために実行することができる例示的なプロセス４００を示す。例えば、プロセス４００は、図１に示される例示的な臨床試験データ処理システム１１５により、臨床試験データを処理し、１つ又は複数の信号を生成するために実行することができる。

動作４０５では、臨床データストア（例えば、図１に示される例示的な臨床データストア１１０）から１つ又は複数の新しい測定値を受信することができる。いくつかの実施形態では、臨床試験データは、複数の試験施設に対して、研究プロトコルに示されるように定期的（例えば、毎日、毎週、毎月など）に収集することができる。例えば、データは、図１に示される例示的な臨床試験データ供給源１０５によって収集することができる。適切ないかなるデータも収集することができ、これらに限定されないが、試験施設運用／実績情報（例えば、施設がクエリの応答にどの程度の時間を要するか、従業員の入れ替わり率、研究プロトコル違反の数など）、被験者による報告情報（例えば、ダイアリエントリ、０〜１１のスケールの疼痛）、臨床医による報告情報（例えば、被験者の運動能力が改善したかどうか）、身体計測（例えば、血圧）などを含む。

いくつかの実施形態では、様々な時間間隔で試験施設活動データ及び品質データを収集することができる。試験施設活動データは、各時間間隔中に試験施設で参加していた複数の人間の被験者に関するデータを含み得る。試験施設品質データは、複数の試験施設品質メトリクス（例えば、表３に示される例示的な操作変数）に関するデータを含み得る。いくつかの実施形態では、試験施設品質データは、各時間間隔について、多くの試験施設品質メトリクスとそれぞれ関連付けられた複数の品質スコアを示し得る。いくつかの実施形態では、被験者ステータスデータは、様々な時間間隔で収集することができる。被験者ステータスデータは、臨床試験に参加している複数の試験施設における複数の人間の被験者のそれぞれのステータス（例えば、スクリーニングテストに引っ掛かった被験者、有害事象を有する被験者、別の理由で試験を去った被験者、試験に依然として参加している被験者など）に関するデータを含み得る。

動作４１０では、動作４０５で受信された１つ又は複数の新しい測定値に基づいて１つ又は複数のデータポイントを生成することができる。いくつかの実施形態では、データポイントは、単一の変数に関する測定値に基づいて生成することができる。代替として又は加えて、データポイントは、複数の変数にそれぞれ対応する測定値に基づいて生成することができる。

いくつかの実施形態では、新しく生成されたデータポイントは、以前の測定値に基づいて同様の方法で以前に生成されたデータポイントシーケンスに追加することができる。従って、臨床試験が進展するにつれて、時系列データポイントシーケンスを生成し、変動の検出及び分析を行うことができる。

動作４１５では、動作４１０で更新された時系列データポイントシーケンスに基づいて１つ又は複数の管理図特徴を更新することができる。例えば、いくつかの実施形態では、適切な管理図定義に従って平均値、標準偏差、上方管理限界及び／又は下方管理限界を更新することができる。管理図の非限定的な例は、個別値及び移動範囲（ＩｍＲ）又はシューハート管理図、指数型重み付き移動平均（ＥＷＭＡ）管理図及びｐ管理図を含む。しかし、本開示の態様は、特定の管理図の使用に限定されないことを理解すべきである。

動作４２０では、動作４１０で更新された時系列データポイントシーケンスにおいて非ランダムパターンをランダムパターンと区別するためにＳＰＣテストを適用することができる。いくつかの例では、非ランダムパターンは、補正される問題を示すのに対し、ランダムパターンは、臨床試験に固有の正常変動を表し得る。ＳＰＣテストが当てはまると、信号を生成し、臨床試験分析システム（例えば、図１に示される例示的な臨床試験分析システム１２０）に提供することができ、臨床試験分析システムは、信号を処理し、１つ又は複数の推奨を出力することができる。

信号を生成するためのＳＰＣテストの非限定的な例は、以下の表５に示される。しかし、本開示の態様は、特定のテストの使用に限定されないことを理解すべきである

いくつかの実施形態では、複数の時系列データポイントシーケンスを参照するＳＰＣテストを使用することができる。例として、ＳＰＣテストは、第１の時系列データポイントシーケンスにおいて第１の条件が満たされ、且つ第２の時系列データポイントシーケンスにおいて第２の条件が満たされる場合に当てはまる。別の例として、ＳＰＣテストは、第１の時系列データポイントシーケンスにおいて第１の条件が満たされるか、又は第２の時系列データポイントシーケンスにおいて第２の条件が満たされる場合に当てはまる。

従って、いくつかの実施形態では、ＳＰＣテストは、（ｉ）特定の事象（例えば、重篤な有害事象の発生、プロトコル違反など）、（ｉｉ）閾値（例えば、＞５％の創感染率、＜８０％のＥダイアリ順守など）に達した特定の変数、及び／又は（ｉｉｉ）特定の変数の変化（例えば、値の分布の変化、正常に予期される値に対する外れ値の検出など）に基づいて信号を生成するために使用することができる。そのようなＳＰＣテストは、感度（真陽性を正しく識別する）と特異度（真陰性を正しく識別する）との間の適切な均衡を維持するために定義することができる。

図５Ａ〜５Ｂは、いくつかの実施形態による、ＳＰＣ技法を臨床試験データに適用することによって生成された例示的な管理図を示す。この例では、臨床試験データは、外れ値を識別してそれらの外れ値の臨床的有意性を評価するためにリアルタイムで分析された。

図５Ａは、被験者のダイアリ不順守に関する例示的なシューハート管理図５１０を示し、図５Ｂは、疼痛の異なる尺度間の不一致に関する例示的なシューハート管理図５２０を示し、両方とも同じ試験施設に対して生成されている。シューハート管理図５１０及び５２０では、各ドットは、それぞれの時間間隔に対応し得る。例えば、各ドットは、２週間間隔又は他の何らかの適切な時間間隔に対応し得る。図５Ａ〜５Ｂにおいて灰色バンドとして示される管理限界は、移動平均から計算することができる。

図５Ａの例では、例示的なシューハート管理図５１０は、表５の例示的なＳＰＣテストからの１つ又は複数のＳＰＣテストが適用されているデータポイントシーケンスを描写する。データポイントに対していずれのＳＰＣテストも当てはまらない場合、そのデータポイントは、緑色に着色される（例えば、データポイント５１２）。例えば、特定の管理限界範囲（例えば、０〜１．５）内のデータポイントは、緑色で示される。データポイントに対してＳＰＣテストのいずれかが当てはまる場合、そのデータポイントは、赤色に着色される（例えば、データポイント５１４）。例えば、管理限界範囲外のデータポイントは、赤色で示される。ＳＰＣテスト＃１及び＃５の一方又は両方は、これらのデータポイントに対して当てはまる。

図５Ｂの例では、例示的なシューハート管理図５２０は、表５の例示的なＳＰＣテストからの１つ又は複数のＳＰＣテストが適用されているデータポイントシーケンスを描写する。この例では、すべてのデータポイントが特定の管理限界範囲内にあるが、９つ以上のポイントが連続的に平均線に対して同じ側にあるため、ＳＰＣテスト＃４が当てはまる。従って、平均線に対して同じ側の９番目のデータポイントの前のすべてのデータポイント５２２（いずれのＳＰＣテストも当てはまらない）は、緑色又は黄色に着色することができ、９番目以降のデータポイント５２４（ＳＰＣテスト＃４が当てはまる）は、ＳＰＣテスト＃４が当てはまらなくなるデータポイントに遭遇するまで赤色に着色することができる。

いくつかの実施形態では、信号は、シューハート管理図５Ａ及び５Ｂに示される赤色に着色されたデータポイントに対して、臨床試験データ処理システム（例えば、図１の例における例示的な臨床試験データ処理システム１１５）によって生成することができる。

加えて又は代替として、他のＳＰＣテスト及び管理図を使用することができるため、本開示は、特定のタイプのＳＰＣテスト又は特定のタイプの管理図の使用に限定されないことを理解すべきである。

従って、本発明者らは、変数を分類する（例えば、変数間の相関関係を識別することによって）ためにＳＰＣ技法をレトロスペクティブに使用できることを認識及び理解している。加えて又は代替として、ＳＰＣ技法を使用して、臨床試験が進行中に特定の変数を監視し、傾向及び／又は異常を識別することができる。これにより、施設の実績問題の早期検出が可能になり、その結果、適切な是正措置を実装することができる。

管理図の例が図５Ａ〜５Ｂに示されているが、本開示の態様は、管理図の視覚的なレンダリングに限定されないことを理解すべきである。様々な管理図特徴（例えば、平均値、標準偏差、上方管理限界、下方管理限界など）を計算し、それを使用して、視覚的にレンダリングすることなく信号を生成することができる。

いくつかの実施形態では、ＳＰＣテストの管理図特徴及び／又は結果は、試験施設品質メトリクス（例えば、被験者レベル、施設レベル及び／又は複数施設品質メトリクス）と関連付けられる品質スコアを生成するために使用することができる。例えば、０〜５の範囲の品質スコアを生成することができ、０は、最低の品質を示し、５は、最高の品質を示し得る。例えば、ＳＰＣテストの様々な管理図特徴及び／又は結果は、ある試験施設が他の試験施設と比べて低いダイアリ順守平均を経験していることを示し得、その試験施設に対して「ｌ」の品質スコアが生成され得、これは、低い品質を示す。他方では、ある試験施設が他の試験施設と比べて非常に高いダイアリ順守平均を有することにより、その試験施設に対して「５」の品質スコアが生成され得、これは、高い品質を示す。本開示の態様は、そのように限定されないため、適切ないかなるスコアリングメカニズムも使用することができる。いくつかの実施形態では、複合品質メトリクスと関連付けられる品質スコアは、２つ以上の構成品質メトリクスとそれぞれ関連付けられる２つ以上の品質スコアの加重和を含み得る。

いくつかの実施形態では、試験施設品質メトリクスと関連付けられる品質スコアは、臨床試験分析システムによって生成することができる。図１に示される例を参照すると、例示的な臨床試験分析システム１２０は、例示的な臨床試験データ処理システム１１５から信号を受信し、受信した信号に基づいて品質スコアを生成することができる。例えば、臨床試験データ処理システム１１５によって実行されるＳＰＣテストは、特定の閾値（例えば、＜８０％Ｅダイアリ順守）に達した試験施設のダイアリ順守に基づいて信号を生成することができる。この信号は、臨床試験分析システム１２０に伝達することができ、臨床試験分析システム１２０は、適切な規則（例えば、ダイアリ順守規則）を信号に適用することにより、品質スコアを生成することができる。加えて又は代替として、臨床試験分析システム１２０は、試験施設に関する推奨を生成することができる（例えば、試験施設の品質問題に対処するための介入、品質問題による進行中の臨床試験又は将来の臨床試験からの試験施設の除去など）。

いくつかの実施形態では、臨床試験分析システム１２０は、大多数の品質メトリクスに関する品質スコアを生成することができるが、臨床試験分析システム１２０は、品質スコアが品質メトリクスの選択されたサブセットからの品質メトリクスに関する閾値を下回る場合にのみ推奨を生成することができる。そのような品質メトリクスは、本明細書では、「トリガ」品質メトリクスと呼ぶことができる。例えば、アッセイ感度を極めて予測し易いトリガ品質メトリクスを選択することができる。トリガ品質メトリクスの例は、これらに限定されないが、日々の疼痛スコアのばらつき、疼痛の異なる尺度間の不一致、最悪疼痛スコアと平均疼痛スコアとの逆転（最悪疼痛が平均疼痛より低い）、Ｅダイアリ不順守及び治験薬投与不順守を含む。

いくつかの実施形態では、推奨は、非トリガ品質メトリクス（本明細書では「サポート」品質メトリクスとも呼ばれる）の品質スコアによって伝えることができる。サポート品質メトリクスの例は、これらに限定されないが、プロトコル逸脱数、クエリ応答にかかる時間、クエリ解決にかかる時間、クエリ数及びデータエントリ時間を含む。

図６は、いくつかの実施形態による例示的な視覚表現６００を示す。例えば、視覚表現６００は、図１に示される例示的な臨床試験分析システム１２０によってもたらされた結果を表し得る。

本発明者らは、図６に示されるように、アッセイ感度又は特異度（例えば、有効な薬物をプラセボと区別する臨床試験の能力）に影響を及ぼす潜在的な運用上の及び／又は他の問題を有する施設を識別するため、臨床試験全体を通じて試験施設の実績を視覚化できることを認識及び理解している。この例では、視覚表現６００は、領域６０５などの複数の領域を含む。各領域は、それぞれの試験施設に対応し得る。

いくつかの実施形態では、領域は、サブ領域６１０などの複数のサブ領域を含み得る。各サブ領域は、それぞれの時間間隔に対応し得る。例えば、各サブ領域は、２週間間隔に対応し得、その結果、２６週間の試験に参加した試験施設に対応する領域は、１３個のサブ領域を有し得る。いくつかの例では、その試験施設に参加被験者がいない間に１つ又は複数の２週間間隔が存在し得るため、１３個より少ないサブ領域が存在し得る。

図６に示される例では、領域及びサブ領域は、長方形ボックスとして描かれている。しかし、長方形に加えて又は長方形の代わりに１つ又は複数の他の形状（例えば、三角形、円形、六角形など）を使用することができるため、本開示の態様は、特定の形状の使用に限定されないことを理解すべきである。

いくつかの実施形態では、サブ領域のサイズは、対応する時間間隔中の対応する試験施設における参加被験者の数（例えば、その時間間隔中に試験施設を訪れたか若しくは連絡し合った被験者）及び／又は分析で利用可能なデータ量を示す他の何らかのメトリクス（例えば、別の定量化可能パラメータ）に基づいて決定することができる。この方法では、より多くの患者を登録している試験施設に対応する領域のサイズは、より少ない患者を登録している試験施設に対応する領域より大きい。これは、ユーザが視覚表現６００を見た際、検出された品質問題の程度を理解する上で役立てることができる。例えば、いくつかの実施形態では、品質問題の表示は、特定の塗りつぶしパターン又は色でサブ領域を示すことによって提供することができる（例えば、０などの低い品質スコアに対して赤色、５などの高い品質スコアに対して緑色など）。従って、品質問題と関連付けられる塗りつぶしパターン又は色を示すより大きいサブ領域は、より多くの被験者及び／又はより多くのデータが品質問題による影響を受けていることを示し得る。塗りつぶしパターンの例は、これらに限定されないが、ハッチング、クロスハッチング、スティップリングなどを含む。

図６に示される例では、異なる試験施設に対応する領域は、サイズ（例えば、各領域でのすべてのサブ領域の和）に応じて空間的に配置することができる。例えば、左上の領域は、登録患者数（及び／又は利用可能なデータ量を示す他の何らかのメトリクス）の観点から最大の試験施設に対応し得、右下の領域は、最小の試験施設に対応し得る。しかし、それは、必須ではなく、その理由は、いくつかの実施形態では、試験施設場所に応じて領域を配置することができるためであり、それにより地理的傾向の識別を容易にすることができる。加えて又は代替として、領域は、治療グループ、ベンダグループなどに応じて配置し、試験全体を通じてそのようなグループがどのように治験を進めたかに関する追加の詳細を提供することができる。

いくつかの実施形態では、塗りつぶしパターン濃度又は色強度は、検出された品質問題の深刻度に応じて変化させることができる。非限定的な例として、あるサブ領域における第１の種類のより濃い塗りつぶしパターン（又はより強烈な赤色）は、深刻な品質問題（例えば、他の試験施設と比べて、ある試験施設の非常に低いダイアリ順守平均）を示し得、あるサブ領域における第２の種類のより濃い塗りつぶしパターン（又はより強烈な緑色）は、高い品質（例えば、他の試験施設と比べて、ある試験施設の非常に高いダイアリ順守平均）を示し得る。

本開示の態様は、特定の品質メトリクスの使用に限定されないことを理解すべきである。例えば、いくつかの実施形態では、複数の視覚表現をユーザにレンダリングすることができ、各視覚表現は、対象の異なる品質メトリクスを使用する。その上、品質メトリクスは、単一の変数又は複数の変数に基づき得る。変数の例は、これらに限定されないが、参加被験者の数、あるタイプの事象の数、同じタイプではあるが、異なる時点で取られた測定値間の差、同じ時点で取られた異なるタイプの測定値間の差などを含む。

また、本開示の態様は時間間隔に対応するサブ領域の使用又は一切のサブ領域の使用に限定されないことも理解すべきである。いくつかの実施形態では、サブ領域又は他の印（例えば、ドット、ピン、フラグなど）は、個々の被験者に対して提供することができ、視覚表示（例えば、塗りつぶしパターン又は色）は、臨床試験における被験者のステータス（例えば、スクリーニングテストに引っ掛かった被験者、有害事象を有する被験者、別の理由で試験を去った被験者、試験に依然として参加している被験者など）を示すために提供することができる。いくつかの実施形態では、被験者のステータスに基づいて介入を推奨することができる。一例では、介入は、研究プロトコルを順守するように被験者を再訓練することを含み得る。別の例では、介入は、臨床試験から被験者を除外することを含み得る。

本発明者らは、ユーザが臨床試験全体を通じて正常に治験を進めた試験施設を、一貫して異常であった試験施設と迅速に区別する上で、図６に示される例示的な視覚表現６００などの視覚表現を役立てることができることを認識及び理解している。これにより、ユーザの時間の節約のみならず、様々な試験施設の実績に関する長文の報告書の生成、表示及び／又は印刷と関連付けられるコンピューティング資源などの資源の使用の低減も可能になる。

加えて、例示的な視覚表現６００などの視覚表現は、ユーザが、試験施設のいずれかが異常な挙動を示した時間パーセンテージを識別する上で、及び／又はその異常な挙動が時間でグループ分けされたか若しくは臨床試験の継続時間全体にわたって分布したかを識別する上で役立てることができる。例えば、試験施設が、主に緑色であるが、ひとかたまりになっているいくつかの強い赤色のサブ領域を有する場合、ユーザは、数週間連続してその試験施設に問題があったが、その試験施設が試験の大部分において正常に挙動したと推論することができる。対照的には、大部分のサブ領域が赤色である試験施設は、その試験施設が試験全体を通じて一貫した品質問題を有したことを示し得る。

本開示の態様は、図６に示され且つ上記で論じられる詳細に限定されないことを理解すべきである。例えば、いくつかの実施形態では、色に加えて又は色の代わりに、塗りつぶしパターンを使用して、サブ領域に関する情報を伝えることができる。例えば、異なる塗りつぶしパターンを使用して異なるタイプの品質問題を示すこと及び／又は異なる塗りつぶしパターンの濃度を使用して異なる深刻度レベルの品質問題を示すことができる。

図１と関係して上記で論じられるように、被験者レベル信号は、対象（例えば、特定のタイプの疼痛）の１つ又は複数のエンドポイントを追跡するために、被験者による記入が予期されるすべてのダイアリエントリのうち、実際に記入されたダイアリエントリのパーセンテージに基づいて生成することができ、施設レベル信号は、ある期間（例えば、１週間、２週間、３週間、１ヶ月など）におけるすべての参加被験者にわたって被験者レベルダイアリ順守信号の平均を求めることによって生成することができる。この方法では、低い施設レベル信号は、平均的には、試験施設の参加被験者が研究プロトコルによって定められているようにダイアリを記入しなかったことを示し得る。

例として、ダイアリ順守信号は、各被験者に対して２週間に１回計算することができ、その結果、被験者レベルパーセンテージは、１４日間のうちの何日間、被験者のダイアリにエントリがあったかを示し得る。エントリは、被験者が感じた平均疼痛レベル（例えば、０〜１０のスケールで）などの対象の１つ又は複数のエンドポイントを記録することができる。次いで、１４日間の期間に対応する各サブ領域に対し、施設レベル平均信号を生成し、それを使用して、塗りつぶしパターン及び／又は濃度或いは色及び／又は強度を決定することができる。例えば、低いダイアリ順守（例えば、選択された閾値を下回る）は、赤色で示すことができ、高いダイアリ順守（例えば、選択された閾値を上回る）は、緑色で示すことができる。サブ領域のサイズは、関連する１４日間の期間中の関連施設における参加被験者の数に基づいて決定することができる。

図７は、いくつかの実施形態による、４つの異なる試験施設にそれぞれ対応する例示的な領域１〜４を伴う例示的な視覚表現６００を示す。この例では、施設１は、大きい施設であり（例えば、試験全体を通じて多くの参加被験者を有する）、多くの隔週期間中に被験者ダイアリ順守問題があった（例えば、赤色又は薄赤色に着色されたサブ領域）。施設２は、別の大きい施設であるが、被験者ダイアリ順守問題があったのは、ごくわずかな隔週期間のみであり、それらの問題は、ささいなものであったように思われる（例えば、薄赤色に着色されたサブ領域）。施設３は、重大なダイアリ順守問題があった期間（例えば、深赤色に着色されたサブ領域）を経た小さい施設であるが、それらの問題は、研究タイムラインの一部にのみ限定されるように思われる。施設４は、別の小さい施設であり、被験者ダイアリ順守問題が全くなかった（例えば、緑色に着色されたサブ領域）。

本発明者らは、施設の実績を評価すると、一貫した高い実績のため、施設２及び４などの施設が他の施設より望ましいことを認識及び理解している。施設３は、依然として他の臨床試験に関する適切な候補であり得るが、そこで問題が観察された原因に関する慎重な分析による。施設１は、一貫した問題があった大きい施設であり、施設１が近日中に行われる試験に適しているかどうかを判断するためにより慎重な監視が推奨される。それに従って、表現を使用して、今回の若しくは将来の試験から除去される施設又は現在の若しくは将来の試験において是正措置（これに限定されないが、スタッフ／人材の訓練など）が必要な施設を識別することができる。いくつかの実施形態では、品質スコアを使用して、既存の又は将来の試験において、疑わしい施設（例えば、準最適な及び潜在的に非ランダムな実績を示す施設）によって寄与されたデータを重み付けすることもできる。

図８Ａ〜８Ｄは、いくつかの実施形態による例示的な視覚表現８００Ａ〜８００Ｄを示す。例えば、視覚表現８００Ａ〜８００Ｄは、例示的な臨床試験分析システム１２０によって生成することができ、図１に示されるような例示的な臨床試験監視ユーザインタフェース１２５を介してユーザに表示することができる。

本発明者らは、図８Ａ〜８Ｄに示されるように、アッセイ感度又は特異度に影響を及ぼす潜在的な問題を施設が有するかどうかを判断するために、臨床試験全体を通じた試験施設の実績を視覚化できることを認識及び理解している。この例では、図８Ａ〜８Ｄの各々は、異なる試験施設の実績を示す。例えば、視覚表現８００Ａは、試験施設Ａの実績を表し、視覚表現８００Ｂは、試験施設Ｂの実績を表し、視覚表現８００Ｃは、試験施設Ｃの実績を表し、視覚表現８００Ｄは、試験施設Ｄの実績を表し得る。

図８Ａ〜８Ｄの例では、視覚表現８００Ａ〜８００Ｄの各々は、領域８０５、８１０、８１５などの複数の領域を含む。各領域は、それぞれの品質メトリクスに対応し得る。非限定的な例として、品質メトリクス（例えば、メトリクス１として示される）は、表３に示される例示的な操作変数の１つ又は複数と関連付けられた被験者レベル又は施設レベル品質メトリクスであり得る。別の例として、品質メトリクス（例えば、メトリクス２として示される）は、クエリ応答にかかる平均時間、補充率などの施設実績メトリクスであり得る。別の例として、品質メトリクス（例えば、メトリクス３として示される）は、サポートメトリクスであり得る。

いくつかの実施形態では、品質メトリクスは、単一の変数と関連付けられる測定値に基づき得る。そのようなメトリクスは、本明細書では、「単変量」メトリクスと呼ぶことができる。加えて又は代替として、複数の変数とそれぞれ関連付けられる測定値に基づく品質メトリクスを使用することができる。そのようなメトリクスは、本明細書では、「多変量」メトリクスと呼ぶことができる。

いくつかの実施形態では、領域は、サブ領域８３０などの複数のサブ領域を含み得る。各サブ領域は、それぞれの時間間隔に対応し得る。例えば、各サブ領域は、２週間間隔に対応し得、その結果、２６週間の試験に参加した試験施設に対応する領域は、１３個のサブ領域を有し得る。いくつかの例では、その試験施設に参加被験者がいない間に１つ又は複数の２週間間隔が存在し得るため、１３個より少ないサブ領域が存在し得る。

図８Ａ〜８Ｄに示される例では、領域及びサブ領域は、長方形ボックスとして描かれている。しかし、長方形に加えて又は長方形の代わりに１つ又は複数の他の形状（例えば、三角形、円形、六角形など）を使用することができるため、本開示の態様は、特定の形状の使用に限定されないことを理解すべきである。

いくつかの実施形態では、サブ領域のサイズは、対応する時間間隔中の対応する試験施設における参加被験者の数（例えば、その時間間隔中に試験施設を訪れたか若しくは連絡し合った被験者）及び／又は分析で利用可能なデータ量を示す他の何らかの値に基づいて決定することができる。

いくつかの実施形態では、品質問題の表示は、特定の塗りつぶしパターン又は色でサブ領域を示すことによって提供することができる（例えば、０などの低い品質スコアに対して赤色、３などの中間の品質スコアに対して黄色、５などの高い品質スコアに対して緑色など）。いくつかの実施形態では、塗りつぶしパターン濃度又は色強度は、検出された品質問題の深刻度に応じて変化させることができる。非限定的な例として、第１の種類のより濃い塗りつぶしパターン（又はより強烈な赤色）は、深刻な品質問題（例えば、非常に低いダイアリ順守平均或いは高いスクリーニング失敗率及び／又は撤退率）を示し得、第２の種類のより濃い塗りつぶしパターン（又はより強烈な緑色）は、高い品質（例えば、非常に高いダイアリ順守平均或いは非常に低いスクリーニング失敗率及び／又は撤退率）を示し得る。

いくつかの実施形態では、各領域と関連付けられるサブ領域は、時系列に順序付けることができる。例えば、左から右に、次いで上から下に行くほど時間が経過し、その結果、最左上のサブ領域は、最古の時間間隔に対応し、最右下のサブ領域は、最新の時間間隔に対応し得る。

いくつかの実施形態では、各領域と関連付けられるサブ領域は、品質スコアに基づいて整理することができる。一例として、赤色に着色されたすべてのサブ領域を１つのグループにまとめ、緑色に着色されたすべてのサブ領域を１つのグループにまとめることができる。各グループ内では、サブ領域は、強度が増加する順又は減少する順に配列することができる。別の例として、サブ領域は、塗りつぶしパターンに基づいて１つのグループにまとめることができる。各グループ内では、サブ領域は、濃度が増加する順又は減少する順に配列することができる。この方法でサブ領域を整理することにより、被験者レベル、施設レベル及び／又は他の品質メトリクスと関連付けられる品質問題の迅速な識別を容易にすることができる。

本発明者らは、特定の施設が臨床試験中に複数の品質メトリクスにわたってどのように治験を進めているかをユーザが迅速に判断する上で、例示的な視覚表現８００Ａ〜８００Ｄなどの視覚表現を役立てることができることを認識及び理解している。これを受けて、治験が順調である試験施設と治験が順調でない試験施設との区別を容易にすることができる。一例として、図８Ａの視覚表現８００Ａは、試験施設Ａが正常に挙動しており、研究タイムライン全体にわたって異なる品質メトリクス（メトリクス１、メトリクス２、メトリクス３）にわたって品質問題がほとんどなかったことを示し得る。視覚表現８００Ａに基づいて、ユーザは、試験施設Ａが異なる品質メトリクスにわたって優れた実績（例えば、主に緑色又は黄色に着色されたサブ領域）を有しており、介入が必要ないと推論することができる。

別の例として、図８Ｂの視覚表現８００Ｂは、試験施設Ｂには各メトリクスに対して品質問題を有する少数の隔週期間（例えば、赤色に着色されたサブ領域）があったことを示し得る。視覚表現８００Ｂに基づいて、ユーザは、試験施設Ｂにはいくつかの品質問題があったが、全体的には試験施設Ｂが依然として順調に治験を実施しており、介入が必要ないと推論することができる。

別の例として、図８Ｃの視覚表現８００Ｃは、メトリクス２及び３について、試験施設Ｃが、品質問題を有する隔週期間（例えば、赤色に着色されたサブ領域）が少数であったが、メトリクス１について、試験施設Ｃが、品質問題を有する隔週期間が多かったことを示し得る。視覚表現８００Ｃに基づいて、ユーザは、試験施設Ｃにはメトリクス１に対して重大な品質問題があり、介入が適切であるかどうかを判断するためにさらなる評価が必要であると推論することができる。

別の例として、図８Ｄの視覚表現８００Ｄは、試験施設Ｄにはメトリクス１及び２に対して品質問題を有する多くの隔週期間（例えば、赤色又は薄赤色に着色されたサブ領域）があったことを示し得る。視覚表現８００Ｄに基づいて、ユーザは、試験施設Ｄにはメトリクス１及び２に対して重大な品質問題があり、介入が適切である可能性が最も高いと推論することができる。

いくつかの実施形態では、試験施設は、それらの実績に基づいてランク付けすることができる。ランキングは、例えば、品質メトリクスに対応する各領域の赤色に着色されたサブ領域のパーセンテージに基づいて生成することができる。試験施設（例えば、試験施設Ｄ）は、すべてのメトリクスにわたる赤色に着色されたサブ領域の最高パーセンテージにより、最下位にランク付けすることができる。同様に、試験施設（例えば、試験施設Ａ）は、すべてのメトリクスにわたる赤色に着色されたサブ領域の最低パーセンテージにより、最上位にランク付けすることができる。この方法では、品質ランキングは、視覚表現８００Ａ〜８００Ｄを生成するために使用される基礎データ（例えば、品質スコア）の分析に加えて又はその分析の代わりに、図８Ａ〜８Ｄの例示的な視覚表現８００Ａ〜８００Ｄなどの視覚表現の画像分析を実行することによって決定することができる。いくつかの実施形態では、基礎データは、視覚表現が生成されない場合でも、品質ランキングを決定するために使用することができる。

いくつかの実施形態では、領域８０５、８１０、８１５の境界は、視覚表現８００Ａ〜８００Ｄにわたって同じであるため、画像分析技法を使用して視覚表現８００Ａ〜８００Ｄを比較することができる。いくつかの実施形態では、多変量メトリクスに関する追加の次元、試験施設で及び／又は時間間隔中に参加していた人間の被験者に関する情報などの追加の情報は、視覚表現を介して伝えることができる。いくつかの実施形態では、そのような情報は、各サブ領域の選択された場所の画素として符号化することができる。

図９Ａ〜９Ｂは、いくつかの実施形態による例示的な視覚表現９００Ａ〜９００Ｂを示す。例えば、視覚表現９００Ａ〜９００Ｂは、図１に示されるように、例示的な臨床試験分析システム１２０によって生成することができ、例示的な臨床試験監視ユーザインタフェース１２５を介してユーザに表示することができる。いくつかの実施形態では、視覚表現９００Ａは、試験施設Ａの実績に基づいて生成することができ、視覚表現９００Ｂは、異なる試験施設である試験施設Ｂの実績に基づいて生成することができる。

図９Ａ〜９Ｂの例では、各視覚表現９００Ａ〜９００Ｂは、領域９０５、９１０、９１５などの複数の領域を含む。各領域は、それぞれの品質メトリクスに対応し、複数のサブ領域を含み得る。図８Ａ〜８Ｄの例と異なり、図９Ａ〜９Ｂの領域９０５、９１０、９１５は、異なるサイズのサブ領域を有する。例えば、図９Ａの領域９０５のサブ領域は、図９Ｂの領域９０５のサブ領域より小さいものであり得る。領域９０５は、両方の視覚表現において同じサイズを有するため、図９Ａの領域９０５は、図９Ｂの領域９０５より多くのサブ領域を有する。

本発明者らは、ユーザが、臨床試験における参加期間、参加被験者の数などの異なる特性を有する異なる試験施設を迅速に比較する上で、例示的な視覚表現９００Ａ〜９００Ｂなどの視覚表現を役立てることができることを認識及び理解している。例えば、領域９０５の各サブ領域は、隔週期間を表し得、試験施設Ａは、試験施設Ｂより長い期間にわたって参加していた可能性がある。従って、図９Ａの領域９０５は、図９Ｂの領域９０５より多くのサブ領域を有し得る。図９Ａと図９Ｂとの間で領域９０５の全面積を同じサイズに維持することにより、２つの施設からのデータを同じスケールに正規化することができる。これにより、異なる参加期間が原因で２つの施設からのデータを直接比較できないとしても、試験施設Ａと試験施設Ｂとの間の視覚比較（又は画像分析に基づく比較）を容易にすることができる。

いくつかの実施形態では、図９Ａ〜９Ｂと関係して上記で説明される比較技法の１つ又は複数は、同じ試験施設又は異なる試験施設における異なる長さを有する異なる試験に対応する視覚表現を比較するために使用することができる。いくつかの実施形態では、２つの試験施設の比較は、試験施設に関する視覚表現が異なる品質メトリクスに基づいて生成される場合でも可能であり得る。例えば、２つの異なる試験施設は、それぞれ異なる病気を治療するための薬物試験を実施するために使用されていた可能性がある。これらの試験で監視された品質メトリクスは、異なり得、従って、２つの施設に関する品質スコアは直接比較することができない。一例として、図９Ａのメトリクス１は、ＮＲＳ疼痛スコアであるのに対し、図９Ｂのメトリクス１は、ＷＯＭＡＣ疼痛スコアであり得る。別の例として、メトリクス１及び２は、それぞれ同様の症状（例えば、睡眠障害）を測定するように設計された２つの異なる機器からのスコアに対応し得る。それにもかかわらず、視覚表現９００Ａ及び９００Ｂ間の視覚比較が可能であり得る。

本開示の態様は、情報を伝えるための色、色強度、塗りつぶしパターン又は塗りつぶしパターン濃度の使用に限定されないことを理解すべきである。いくつかの実施形態では、境界スタイルなどの１つ又は複数の他の視覚表示を使用することができる。例として、サブ領域に適用される特定の色は、第１の品質メトリクスを描写し得（例えば、色強度を用いて、そのメトリクスに関する品質スコアが高いか又は低いかを示す）、サブ領域に適用される特定の塗りつぶしパターンは、第２の品質メトリクスを描写し得（例えば、塗りつぶしパターン濃度を用いて、そのメトリクスに関する品質スコアが高いか又は低いかを示す）、サブ領域に適用される特定の境界パターンは、第３の品質メトリクスを描写し得る。別の例では、サブ領域の第１の部分に適用される第１の色は、第１の品質メトリクスを描写し得、サブ領域の第２の部分に適用される第２の色は、第２の品質メトリクスを描写し得る。

また、本開示の態様は、二次元視覚表現の使用に限定されないことも理解すべきである。いくつかの実施形態では、例えば、多変量メトリクスを表示するために、より高い次元の視覚表現を使用することができる。加えて又は代替として、より高い次元の視覚表現は、試験施設で参加していた人間の被験者に関する情報などの追加の情報を提供するために使用することができる。

図１０は、本開示のいかなる態様も実装することができる例示的なコンピュータ１０００を概略的に示す。図１０に示される実施形態では、コンピュータ１０００は、１つ又は複数のプロセッサを有する処理装置１００１と、非一時的コンピュータ可読記憶媒体１００２（例えば、揮発性及び／又は不揮発性メモリを含み得る）とを含む。メモリ１００２は、本明細書で説明される機能を実行するように処理装置１００１をプログラムするための１つ又は複数の命令を格納することができる。また、コンピュータ１０００は、システムメモリ１００２に加えて、記憶装置１００５（例えば、１つ又は複数のディスクドライブ）などの他のタイプの非一時的コンピュータ可読媒体も含み得る。また、記憶装置１００５は、１つ又は複数のアプリケーションプログラム及び／又はアプリケーションプログラムによって使用される外部のコンポーネント（例えば、ソフトウェアライブラリ）を格納することもでき、それらは、メモリ１００２にロードすることができる。

コンピュータ１０００は、図１０に示されるデバイス１００６及び１００７などの１つ又は複数の入力デバイス及び／又は出力デバイスを有し得る。これらのデバイスは、数ある中でも特に、ユーザインタフェースを提示するために使用することができる。ユーザインタフェースを提供するために使用することができる出力デバイスの例は、出力の視覚提示のためのプリンタ若しくは表示画面、又は出力の可聴提示のためのスピーカ若しくは他の音生成デバイスを含む。ユーザインタフェースのために使用することができる入力デバイスの例は、キーボード及びポインティングデバイス（マウス、タッチパッド及びデジタルタブレットなど）を含む。別の例として、入力デバイス１００７は、オーディオ信号を捕捉するためのマイクロフォンを含み得、出力デバイス１００６は、認識テキストを視覚的にレンダリングするための表示画面及び／又は音声レンダリングするためのスピーカを含み得る。

図１０に示されるように、コンピュータ１０００は、様々なネットワーク（例えば、ネットワーク１０２０）を介して通信を可能にするための１つ又は複数のネットワークインタフェース（例えば、ネットワークインタフェース１０１０）も含み得る。ネットワークの例は、ローカルエリアネットワーク又は広域ネットワーク（企業ネットワーク若しくはインターネットなど）を含む。そのようなネットワークは、適切な技術に基づくこと、適切なプロトコルに従って動作すること、及び無線ネットワーク、有線ネットワーク又は光ファイバネットワークを含むことが可能である。

少なくとも１つの実施形態のいくつかの態様をこのように説明してきたが、様々な改変形態、変更形態及び改良形態が当業者に容易に想到されることを理解されたい。そのような改変形態、変更形態及び改良形態は、本開示の趣旨及び範囲内にあることが意図される。それに従って、前述の説明及び図面は、単なる例示である。

本開示の上記で説明される実施形態は、多くの方法のいずれにおいても実装することができる。例えば、実施形態は、ハードウェア、ソフトウェア又はそれらの組合せを使用して実装することができる。ソフトウェアにおいて実装される際、ソフトウェアコードは、単一のコンピュータで提供されるか又は複数のコンピュータ間で分散されるかにかかわらず、適切ないかなるプロセッサ又はプロセッサの集合体上でも実行することができる。

また、本明細書で概説される様々な方法又はプロセスは、様々なオペレーティングシステム又はプラットフォームのいずれか１つを採用する１つ又は複数のプロセッサ上で実行可能なソフトウェアとしてコード化することができる。加えて、そのようなソフトウェアは、多くの適切なプログラミング言語及び／又はプログラミング若しくはスクリプト作成ツールのいずれかを使用して記載することができ、またフレームワーク又は仮想マシン上で実行される実行可能機械語コード又は中間コードとしてコンパイルすることができる。

この点において、本明細書で開示される概念は、１つ又は複数のコンピュータ又は他のプロセッサ上で実行されると上記で論じられる本開示の様々な実施形態を実装する方法を実行する１つ又は複数のプログラムで符号化された１つの非一時的コンピュータ可読媒体（又は複数のコンピュータ可読媒体）（例えば、コンピュータメモリ、１つ若しくは複数のフロッピーディスク、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイ若しくは他の半導体デバイスの回路構成又は他の非一時的な有形コンピュータ記憶媒体）として具体化することができる。１つ又は複数のコンピュータ可読媒体は、上記で論じられるような本開示の様々な態様を実装するために、その上に格納された１つ又は複数のプログラムを１つ又は複数の異なるコンピュータ又は他のプロセッサにロードできるように、輸送可能なものであり得る。

「プログラム」又は「ソフトウェア」という用語は、本明細書では、上記で論じられる本開示の様々な態様を実装するようにコンピュータ又は他のプロセッサをプログラムするために採用することができる任意のタイプのコンピュータコード又はコンピュータ実行可能命令セットを指すために使用される。加えて、この実施形態の一態様によれば、実行されると本開示の方法を実行する１つ又は複数のコンピュータプログラムは、単一のコンピュータ又はプロセッサに存在する必要がなく、本開示の様々な態様を実装するために多くの異なるコンピュータ又はプロセッサ間でモジュール式に分散させることができることを理解すべきである。

コンピュータ実行可能命令は、１つ又は複数のコンピュータ又は他のデバイスによって実行されるプログラムモジュールなどの多くの形態であり得る。一般に、プログラムモジュールは、特定のタスクを実行するか又は特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。典型的には、プログラムモジュールの機能性は、様々な実施形態において必要に応じて組み合わせるか又は分散させることができる。

また、データ構造は、任意の適切な形態でコンピュータ可読媒体に格納することができる。説明を簡単にするため、データ構造は、データ構造の位置を通じて関連付けられるフィールドを有するように示すことができる。そのような関係は、フィールド間の関係を伝えるコンピュータ可読媒体の位置をフィールドのためのストレージに割り当てることによって同様に達成することができる。しかし、データ構造のフィールド内の情報間の関係を確立するため、データ要素間の関係を確立するポインタ、タグ又は他のメカニズムの使用を含めて、任意の適切なメカニズムを使用することができる。

本開示の様々な特徴及び態様は、単独で使用することも、２つ以上の任意の組合せで使用することも、前述で説明される実施形態で具体的に論じられていない様々な構成で使用することもでき、従って、その用途において、前述の説明に記載されるか又は図面に示されるコンポーネントの詳細及び構成に限定されない。例えば、一実施形態で説明される態様は、いかなる方法でも、他の実施形態で説明される態様と組み合わせることができる。

また、本明細書で開示される概念は、方法として具体化することができ、その例を提供してきた。方法の一部として実行される行為は、任意の適切な方法で順序付けることができる。それに従って、示されるものと異なる順序で行為が実行される実施形態を構築することができ、示される実施形態において順次の行為として示される場合でも、いくつかの行為を同時に実行することを含み得る。

請求項要素を修飾するための請求項における「第１の」、「第２の」、「第３の」などの序数用語の使用は、それ自体、ある請求項要素の別の請求項要素に対する優先、先行若しくは順序又は方法の行為が実行される時間的順序を含意することはなく、請求項要素を区別するために、特定の名称を有するある請求項要素を、（序数用語の使用がなければ）同じ名称を有する別の要素と区別するための単なるラベルとして使用される。

また、本明細書で使用される表現及び用語は、説明を目的とするものであり、限定するものと見なすべきではない。本明細書における「包含する」、「含む」、「含有する」、「有する」又は「伴う」及びそれらの変形例の使用は、その後にリストされるアイテム及びそれらの均等物並びに追加のアイテムを包含することを意味する。

Claims (35)

1. 臨床試験施設の実績を視覚化するためのシステムであって、
   実行可能命令を格納する少なくとも１つの非一時的コンピュータ可読媒体と、
   少なくとも１つのプロセッサと
   を含み、前記少なくとも１つのプロセッサは、
   臨床試験に参加している複数の試験施設に関連するデータにアクセスすることであって、前記データは、前記複数の試験施設の各試験施設について、
   複数の時間間隔の各時間間隔について、前記時間間隔中に前記試験施設で参加していた人間の被験者の数を示す試験施設活動データと、
   前記複数の時間間隔の各時間間隔について、少なくとも１つの試験施設品質メトリクスによる品質スコアを示す試験施設品質データであって、前記品質スコアは、前記時間間隔中に前記試験施設で参加していた前記人間の被験者から収集されたデータに基づく、試験施設品質データと
   を含む、アクセスすることと、
   前記データの少なくとも１つの視覚表現を少なくとも１つのディスプレイ上にレンダリングさせることであって、前記少なくとも１つの視覚表現は、複数の領域を含み、前記複数の領域の各領域は、前記複数の試験施設のそれぞれの試験施設に対応し、前記複数の領域の少なくとも１つの領域について、
   前記複数の領域の前記少なくとも１つの領域は、複数のサブ領域を含み、前記複数のサブ領域の各サブ領域は、前記複数の時間間隔のそれぞれの時間間隔に対応し、
   前記複数のサブ領域の各サブ領域について、前記サブ領域のサイズは、前記サブ領域に対応する前記時間間隔中、前記少なくとも１つの領域に対応する前記試験施設で参加していた前記人間の被験者の数を示し、及び
   前記複数のサブ領域の各サブ領域について、視覚表示は、前記少なくとも１つの領域に対応する前記試験施設及び前記サブ領域に対応する前記時間間隔に関する前記品質スコアに基づいて提供される、レンダリングさせることと
   を行うように前記実行可能命令によってプログラムされる、システム。
2. 前記複数のサブ領域の少なくとも１つのサブ領域について、前記視覚表示は、前記品質スコアに基づいて選択された色を含む、請求項１に記載のシステム。
3. 前記少なくとも１つのプロセッサは、少なくとも部分的に、前記品質スコアを少なくとも１つの閾値と比較することにより、前記色を選択するようにプログラムされる、請求項２に記載のシステム。
4. 前記視覚表示は、前記品質スコアに基づいて選択された色強度をさらに含む、請求項２に記載のシステム。
5. 前記複数のサブ領域の少なくとも１つのサブ領域について、前記視覚表示は、前記品質スコアに基づいて選択された塗りつぶしパターンを含む、請求項１に記載のシステム。
6. 前記少なくとも１つのプロセッサは、少なくとも部分的に、前記品質スコアを少なくとも１つの閾値と比較することにより、前記塗りつぶしパターンを選択するようにプログラムされる、請求項５に記載のシステム。
7. 前記視覚表示は、前記品質スコアに基づいて選択された塗りつぶしパターン濃度をさらに含む、請求項５に記載のシステム。
8. 前記少なくとも１つのプロセッサは、前記対応する試験施設の地理的場所に基づいて前記複数の領域を配列させるようにプログラムされる、請求項１に記載のシステム。
9. 前記少なくとも１つのプロセッサは、前記対応する時間間隔に基づいて前記少なくとも１つの領域の前記複数のサブ領域を時系列に配列させるようにプログラムされる、請求項１に記載のシステム。
10. 前記複数の試験施設の各試験施設及び前記複数の時間間隔の各時間間隔について、前記試験施設及び前記時間間隔に関する前記品質スコアは、前記時間間隔中に前記試験施設において観察された異常な事象の数に基づく、請求項１に記載のシステム。
11. 臨床試験施設の実績を視覚化するための方法であって、
    臨床試験に参加している複数の試験施設に関連するデータを得る動作であって、前記データは、前記複数の試験施設の各試験施設について、
    複数の時間間隔の各時間間隔について、前記時間間隔中に前記試験施設で参加していた人間の被験者の数を示す試験施設活動データと、
    前記複数の時間間隔の各時間間隔について、少なくとも１つの試験施設品質メトリクスによる品質スコアを示す試験施設品質データであって、前記品質スコアは、前記時間間隔中に前記試験施設で参加していた前記人間の被験者から収集されたデータに基づく、試験施設品質データと
    を含む、動作と、
    少なくとも１つの視覚表現を提供する動作であって、前記視覚表現は、複数の領域を含み、前記複数の領域の各領域は、前記複数の試験施設のそれぞれの試験施設に対応し、前記複数の領域の少なくとも１つの領域について、
    前記複数の領域の前記少なくとも１つの領域は、複数のサブ領域を含み、前記複数のサブ領域の各サブ領域は、前記複数の時間間隔のそれぞれの時間間隔に対応し、
    前記複数のサブ領域の各サブ領域について、前記サブ領域のサイズは、前記サブ領域に対応する前記時間間隔中、前記少なくとも１つの領域に対応する前記試験施設で参加していた前記人間の被験者の数を示し、及び前記複数のサブ領域の各サブ領域について、視覚表示は、前記少なくとも１つの領域に対応する前記試験施設及び前記サブ領域に対応する前記時間間隔に関する前記品質スコアに基づいて提供される、動作と
    を含む方法。
12. 試験施設における品質問題に対処するために介入を推奨する動作をさらに含む、請求項１１に記載の方法。
13. 前記臨床試験は、進行中の臨床試験であり、前記方法は、品質問題のために前記進行中の臨床試験又は将来の臨床試験から試験施設を除去することを推奨する動作をさらに含む、請求項１１に記載の方法。
14. 臨床試験データに基づく視覚表現であって、複数の領域を含み、前記複数の領域の各領域は、臨床試験に参加している複数の試験施設のそれぞれの試験施設に対応し、前記複数の領域の少なくとも１つの領域について、
    前記複数の領域の前記少なくとも１つの領域は、複数のサブ領域を含み、前記複数のサブ領域の各サブ領域は、複数の時間間隔のそれぞれの時間間隔に対応し、
    前記複数のサブ領域の各サブ領域について、前記サブ領域のサイズは、前記サブ領域に対応する前記時間間隔中、前記少なくとも１つの領域に対応する前記試験施設で参加していた人間の被験者の数を示し、及び
    前記複数のサブ領域の各サブ領域について、視覚表示は、前記少なくとも１つの領域に対応する前記試験施設及び前記サブ領域に対応する前記時間間隔に関する品質スコアに基づいて提供され、前記品質スコアは、少なくとも１つの試験施設品質メトリクス及び前記時間間隔中に前記試験施設で参加していた前記人間の被験者から収集されたデータに基づく、視覚表現。
15. 臨床試験施設の実績を視覚化するためのシステムであって、
    実行可能命令を格納する少なくとも１つの非一時的コンピュータ可読媒体と、
    少なくとも１つのプロセッサと
    を含み、前記少なくとも１つのプロセッサは、
    臨床試験に参加している試験施設に関連するデータにアクセスすることであって、前記データは、
    複数の時間間隔の各時間間隔について、前記時間間隔中に前記試験施設で参加していた人間の被験者の数を示す試験施設活動データと、
    前記複数の時間間隔の各時間間隔について、複数の試験施設品質メトリクスとそれぞれ関連付けられた複数の品質スコアを示す試験施設品質データであって、前記複数の品質スコアの少なくとも１つの品質スコアは、前記時間間隔中に前記試験施設で参加していた前記人間の被験者から収集されたデータに基づく、試験施設品質データと
    を含む、アクセスすることと、
    前記データの少なくとも１つの視覚表現を少なくとも１つのディスプレイ上にレンダリングさせることであって、前記少なくとも１つの視覚表現は、複数の領域を含み、前記複数の領域の各領域は、前記複数の試験施設品質メトリクスのそれぞれの試験施設品質メトリクスに対応し、前記複数の領域の少なくとも１つの領域について、
    前記複数の領域の前記少なくとも１つの領域は、複数のサブ領域を含み、前記複数のサブ領域の各サブ領域は、前記複数の時間間隔のそれぞれの時間間隔に対応し、及び
    前記複数のサブ領域の各サブ領域について、視覚表示は、前記少なくとも１つの領域に対応する前記試験施設品質メトリクス及び前記サブ領域に対応する前記時間間隔に関する前記それぞれの品質スコアに基づいて提供される、レンダリングさせることと
    を行うように前記実行可能命令によってプログラムされる、システム。
16. 前記複数のサブ領域の少なくとも１つのサブ領域について、前記視覚表示は、前記それぞれの品質スコアに基づいて選択された色を含む、請求項１５に記載のシステム。
17. 前記少なくとも１つのプロセッサは、少なくとも部分的に、前記品質スコアを少なくとも１つの閾値と比較することにより、前記色を選択するようにプログラムされる、請求項１６に記載のシステム。
18. 前記視覚表示は、前記品質スコアに基づいて選択された色強度をさらに含む、請求項１６に記載のシステム。
19. 前記複数のサブ領域の少なくとも１つのサブ領域について、前記視覚表示は、前記それぞれの品質スコアに基づいて選択された塗りつぶしパターンを含む、請求項１５に記載のシステム。
20. 前記少なくとも１つのプロセッサは、少なくとも部分的に、前記品質スコアを少なくとも１つの閾値と比較することにより、前記塗りつぶしパターンを選択するようにプログラムされる、請求項１９に記載のシステム。
21. 前記視覚表示は、前記品質スコアに基づいて選択された塗りつぶしパターン濃度をさらに含む、請求項１９に記載のシステム。
22. 前記複数の試験施設品質メトリクスの少なくとも１つの試験施設品質メトリクスは、多変量メトリクスを含む、請求項１５に記載のシステム。
23. 前記複数の時間間隔の各時間間隔について、前記時間間隔に関する前記品質スコアは、前記時間間隔中に前記試験施設において観察された異常な事象の数に基づく、請求項１５に記載のシステム。
24. 前記少なくとも１つのプロセッサは、前記試験施設における品質問題に対処するために介入を推奨するようにさらにプログラムされる、請求項１５に記載のシステム。
25. 前記臨床試験は、進行中の臨床試験であり、前記少なくとも１つのプロセッサは、品質問題のために前記進行中の臨床試験又は将来の臨床試験から前記試験施設を除去することを推奨するようにさらにプログラムされる、請求項１５に記載のシステム。
26. 請求項１５〜２５のいずれか一項に記載のシステムによって実行される方法であって、前記臨床試験の完了前に実行される方法。
27. 臨床試験施設の実績を視覚化するためのシステムであって、
    実行可能命令を格納する少なくとも１つの非一時的コンピュータ可読媒体と、
    少なくとも１つのプロセッサと
    を含み、前記少なくとも１つのプロセッサは、
    臨床試験に参加している複数の試験施設に関連するデータにアクセスすることであって、前記データは、前記複数の試験施設の各試験施設について、
    前記試験施設と関連付けられた複数の被験者の各被験者について、前記臨床試験中の前記被験者のステータスを示す被験者ステータスデータ
    を含む、アクセスすることと、
    前記データの少なくとも１つの視覚表現を少なくとも１つのディスプレイ上にレンダリングさせることであって、前記少なくとも１つの視覚表現は、複数の領域を含み、前記複数の領域の各領域は、前記複数の試験施設のそれぞれの試験施設に対応し、前記複数の領域の少なくとも１つの領域について、
    前記複数の領域の前記少なくとも１つの領域は、複数の印を含み、前記複数の印の各印は、前記複数の被験者のそれぞれの被験者に対応し、及び
    前記複数の印の各印について、視覚表示は、前記臨床試験中の前記被験者の前記ステータスに基づいて提供される、レンダリングさせることと
    を行うように前記実行可能命令によってプログラムされる、システム。
28. 前記複数の印の少なくとも１つの印について、前記視覚表示は、前記被験者の前記ステータスに基づいて選択された色を含む、請求項２７に記載のシステム。
29. 前記視覚表示は、前記被験者の前記ステータスに基づいて選択された色強度をさらに含む、請求項２８に記載のシステム。
30. 前記複数の印の少なくとも１つの印について、前記視覚表示は、前記被験者の前記ステータスに基づいて選択された塗りつぶしパターンを含む、請求項２７に記載のシステム。
31. 前記視覚表示は、前記被験者の前記ステータスに基づいて選択された塗りつぶしパターン濃度をさらに含む、請求項３０に記載のシステム。
32. 前記少なくとも１つのプロセッサは、前記対応する試験施設の地理的場所に基づいて前記複数の領域を配列させるようにプログラムされる、請求項２７に記載のシステム。
33. 前記少なくとも１つのプロセッサは、前記被験者の前記ステータスに基づいて介入を推奨するようにプログラムされる、請求項２７に記載のシステム。
34. 前記介入は、前記被験者を再訓練することを含む、請求項３３に記載のシステム。
35. 請求項２７〜３４のいずれか一項に記載のシステムによって実行される方法であって、前記臨床試験の完了前に実行される方法。