CN110799100A - 用于可视化临床试验场所性能的系统和方法 - Google Patents

用于可视化临床试验场所性能的系统和方法 Download PDF

Info

Publication number
CN110799100A
CN110799100A CN201880038078.9A CN201880038078A CN110799100A CN 110799100 A CN110799100 A CN 110799100A CN 201880038078 A CN201880038078 A CN 201880038078A CN 110799100 A CN110799100 A CN 110799100A
Authority
CN
China
Prior art keywords
regions
sub
region
test site
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880038078.9A
Other languages
English (en)
Inventor
阿图罗·J·莫拉莱斯
纳撒尼尔·P·卡茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anajesk Solutions
Original Assignee
Anajesk Solutions
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anajesk Solutions filed Critical Anajesk Solutions
Publication of CN110799100A publication Critical patent/CN110799100A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Abstract

用于可视化临床试验场所性能或其他多维(或多参数)数据集的系统和方法。

Description

用于可视化临床试验场所性能的系统和方法
背景技术
许多临床试验未能区分已知活性药物(例如，止痛剂)和安慰剂的疗效。不同试验场所之间研究结果的可变性是这种失效的一个因素。虽然在研究过程中可以单独监控试验场所，但监控工作通常侧重于数据完整性和法规依从性，而不是与化验灵敏度相关的因素。因此，只有在完成试验且锁定试验数据库后，才能发现场地失效(例如，场地不能显示出所推荐药物相对于安慰剂的益处，特别是与同一试验中的其他场地相比)。在这一点上，不再可能干预。
附图说明
图1示出了根据一些实施例的说明性临床试验监控系统100；
图2示出了根据一些实施例的用于确定预测较差化验灵敏度的一个或多个变量的说明性过程200；
图3A-3B分别示出了根据一些实施例的表2中总结的说明性研究的错过剂量的平均百分比和错过电子日志条目的平均百分比；
图4示出了根据一些实施例的可以执行以监控和分析随着时间收集的多个测量值的说明性过程400；
图5A-5B示出了根据一些实施例的通过将统计过程控制(SPC)技术应用于临床试验数据而生成的说明性控制图；
图6示出了根据一些实施例的临床试验数据的说明性视觉表示600；
图7示出了根据一些实施例的具有分别对应于四个不同的试验场所的说明性区域1-4的说明性视觉表示600；
图8A-8D示出了根据一些实施例的说明性视觉表示800A-800D，每个视觉表示具有分别对应于试验场所的三种不同质量度量的说明性区域；
图9A-9B示出了根据一些实施例的说明性视觉表示900A-900B，以便于具有不同特征的试验场所之间的比较；
图10示意性地示出了在其上可以实现本公开的任何方面的说明性计算机1000。
发明内容
本文特别提供了用于表示多参数数据集(本文也称为多维数据集)的系统和方法。这种表示本身可以是二维的，但是可以包括并且因此中继关于三个、四个、五个或更多个参数的信息(并且因此可以是多维数据集的二维呈现)。数据集可能与临床试验相关，但不限于此。基于本公开，普通技术人员将理解，可以操纵其他数据集，并因此如本文所述来表示。因此，尽管为了方便和简洁，本公开强调了临床试验数据，但是应当理解，可以类似地使用本文所述的其他数据集。这种数据集实际上可以包括任何可量化的参数，例如但不限于大小、时间(例如，在特定日期、特定时间段、或一周中的特定日子、或特定月份、或特定年份)、时间段或持续时间、位置(例如，城市、州、国家、大陆)、事件的频率或幅度或严重性等。
一方面，本公开提供了一种基于临床试验数据的视觉表示，该视觉表示包括：
多个区域，所述多个区域中的每个区域对应于参与临床试验的多个试验场所中的相应试验场所，
其中，对于多个区域中的至少一个区域：
所述多个区域中的至少一个区域包括多个子区域，所述多个子区域中的每个子区域对应于多个时间间隔中的相应时间间隔；
对于所述多个子区域中的每个子区域，所述子区域的大小指示在对应于该子区域的时间间隔期间在对应于所述至少一个区域的试验场所活动的人类受试者的数量；并且
对于多个子区域中的每个子区域，基于对应于所述至少一个区域的试验场所的质量分数和对应于所述子区域的时间间隔来提供视觉指示，其中，所述质量分数基于至少一个试验场所质量度量，并且基于从在所述时间间隔期间在所述试验场所活动的人类受试者收集的数据。
另一方面，本公开提供了一种视觉表示，包括：
多个区域，多个区域中的每个区域对应于第一参数的多个第一值中的相应第一值，
其中，对于多个区域中的至少一个区域：
所述多个区域中的至少一个区域包括多个子区域，所述多个子区域中的每个子区域对应于不同于第一参数的第二参数的多个第二值中的相应第二值；
对于多个子区域中的每个子区域，基于与对应于至少一个区域的第一值和对应于子区域的第二值相关联的数据集，子区域的大小指示第三值；并且
对于多个子区域中的每个子区域，基于对应于至少一个区域的第一值和对应于子区域的第二值的第四值提供视觉指示，其中，第四值与第三值相关。
另一方面，一种用于可视化临床试验场所性能的方法，包括以下步骤：
获得与参与临床试验的多个试验场所相关的数据，对于多个试验场所中的每个试验场所，所述数据包括：
试验场所活动数据，其针对多个时间间隔中的每个时间间隔，指示在该时间间隔期间在试验场所活动的人类受试者的数量；以及
试验场所质量数据，其针对所述多个时间间隔中的每个时间间隔，指示根据至少一个试验场所质量度量的质量分数，其中，所述质量分数基于从在该时间间隔期间在该试验场所活动的人类受试者收集的数据；并且
提供至少一个视觉表示，其中，所述至少一个视觉表示包括多个区域，所述多个区域中的每个区域对应于所述多个试验场所中的相应试验场所，并且其中，对于所述多个区域中的至少一个区域：
所述多个区域中的至少一个区域包括多个子区域，所述多个子区域中的每个子区域对应于所述多个时间间隔中的相应时间间隔；
对于所述多个子区域中的每个子区域，所述子区域的大小指示在对应于该子区域的时间间隔期间在对应于所述至少一个区域的试验场所活动的人类受试者的数量；并且
对于多个子区域中的每个子区域，基于对应于所述至少一个区域的试验场所的质量分数和对应于所述子区域的时间间隔来提供视觉指示。
在一些实施例中，该方法还包括推荐干预措施以解决试验场所的质量问题的步骤。
在一些实施例中，该方法还包括，所述临床试验是正在进行的临床试验，并且其中，所述方法还包括由于质量问题而推荐从正在进行的临床试验或未来的临床试验中移除试验场所的步骤。
另一方面，本公开提供了一种用于可视化临床试验场所性能的系统，包括：
至少一个非暂时性计算机可读介质，其存储可执行指令；以及
至少一个处理器，其被可执行指令编程为：
访问与参与临床试验的多个试验场所相关的数据，对于多个试验场所中的每个试验场所，所述数据包括：
试验场所活动数据，其针对多个时间间隔中的每个时间间隔，指示在该时间间隔期间在试验场所活动的多个人类受试者；以及
试验场所质量数据，其针对所述多个时间间隔中的每个时间间隔，指示根据至少一个试验场所质量度量的质量分数，其中，所述质量分数基于从在该时间间隔期间在该试验场所活动的人类受试者收集的数据；并且
促使在至少一个显示器上呈现数据的至少一个视觉表示，其中，所述至少一个视觉表示包括多个区域，所述多个区域中的每个区域对应于所述多个试验场所中的相应试验场所，并且其中，对于所述多个区域中的至少一个区域：
所述多个区域中的至少一个区域包括多个子区域，所述多个子区域中的每个子区域对应于所述多个时间间隔中的相应时间间隔；
对于所述多个子区域中的每个子区域，所述子区域的大小指示在对应于该子区域的时间间隔期间在对应于所述至少一个区域的试验场所活动的人类受试者的数量；并且
对于多个子区域中的每个子区域，基于对应于所述至少一个区域的试验场所的质量分数和对应于所述子区域的时间间隔来提供视觉指示。
在一些实施例中，对于所述多个子区域中的至少一个子区域，所述视觉指示包括基于所述质量分数选择的颜色。在一些实施例中，所述至少一个处理器被编程为：通过将质量分数与至少一个阈值进行比较，至少部分地选择颜色。
在一些实施例中，所述视觉指示还包括基于所述质量分数选择的颜色强度。
在一些实施例中，对于所述多个子区域中的至少一个子区域，所述视觉指示包括基于所述质量分数选择的填充图案。在一些实施例中，所述至少一个处理器被编程为：通过将质量分数与至少一个阈值进行比较，至少部分地选择填充图案。
在一些实施例中，所述视觉指示还包括基于所述质量分数选择的填充图案密度。
在一些实施例中，所述至少一个处理器被编程为：使得基于相应试验场所的地理位置来布置多个区域。
在一些实施例中，所述至少一个处理器被编程为：使得基于相应的时间间隔按时间顺序布置所述至少一个区域的多个子区域。
在一些实施例中，对于所述多个试验场所的每个试验场所和所述多个时间间隔中的每个时间间隔，所述试验场所和所述时间间隔的质量分数基于在所述时间间隔期间在所述试验场所观察到的异常事件的数量。
另一方面，本公开提供了一种用于可视化临床试验场所性能的系统，包括：
至少一个非暂时性计算机可读介质，其存储可执行指令；以及
至少一个处理器，其被可执行指令编程为：
访问与参与临床试验的多个试验场所相关的数据，所述数据包括：
试验场所活动数据，其针对多个时间间隔中的每个时间间隔，指示在该时间间隔期间在试验场所活动的人类受试者的数量；以及
试验场所质量数据，其针对所述多个时间间隔中的每个时间间隔，指示分别与多个试验场所质量度量相关联的多个质量分数，其中，所述多个质量分数中的至少一个质量分数基于从在该时间间隔期间在该试验场所活动的人类受试者收集的数据；并且
使得在至少一个显示器上呈现数据的至少一个视觉表示，其中，所述至少一个视觉表示包括多个区域，所述多个区域中的每个区域对应于所述多个试验场所质量度量中的相应试验场所质量度量，并且其中，对于所述多个区域中的至少一个区域：
所述多个区域中的至少一个区域包括多个子区域，所述多个子区域中的每个子区域对应于所述多个时间间隔中的相应时间间隔；并且
对于多个子区域中的每个子区域，基于对应于所述至少一个区域的试验场所质量度量的相应质量分数和对应于所述子区域的时间间隔来提供视觉指示。
在一些实施例中，对于所述多个子区域中的至少一个子区域，所述视觉指示包括基于相应质量分数选择的颜色。在一些实施例中，所述至少一个处理器被编程为：通过将质量分数与至少一个阈值进行比较，来至少部分地选择颜色。
在一些实施例中，所述视觉指示还包括基于所述质量分数选择的颜色强度。
在一些实施例中，对于所述多个子区域中的至少一个子区域，所述视觉指示包括基于相应质量分数选择的填充图案。在一些实施例中，所述至少一个处理器被编程为：通过将质量分数与至少一个阈值进行比较，来至少部分地选择填充图案。
在一些实施例中，所述视觉指示还包括基于所述质量分数选择的填充图案密度。
在一些实施例中，所述多个试验场所质量度量中的至少一个试验场所质量度量包括多元度量。
在一些实施例中，对于所述多个时间间隔中的每个时间间隔，所述时间间隔的质量分数基于在该时间间隔期间在试验场所观察到的异常事件的数量。
在一些实施例中，所述至少一个处理器还被编程为：推荐干预措施，以解决试验场所的质量问题。
在一些实施例中，所述临床试验是正在进行的临床试验，并且其中，所述至少一个处理器被进一步编程为：由于质量问题，推荐从正在进行的临床试验或未来的临床试验中移除试验场所。
另一方面，本公开提供了一种用于可视化临床试验场所性能的系统，包括：
至少一个非暂时性计算机可读介质，其存储可执行指令；以及
至少一个处理器，其被可执行指令编程为：
访问与参与临床试验的多个试验场所相关的数据，对于所述多个试验场所中的每个试验场所，所述数据包括：
受试者状态数据，其针对与试验场所相关联的多个受试者中的每个受试者，指示受试者在临床试验中的状态；
促使在至少一个显示器上呈现数据的至少一个视觉表示，其中，所述至少一个视觉表示包括多个区域，所述多个区域中的每个区域对应于所述多个试验场所中的相应试验场所，并且其中，对于所述多个区域中的至少一个区域：
所述多个区域中的至少一个区域包括多个标记，所述多个标记中的每个标记对应于多个受试者中的相应受试者；并且
对于所述多个标记中的每个标记，基于受试者在临床试验中的状态提供视觉指示。
在一些实施例中，对于所述多个标记中的至少一个标记，所述视觉指示包括基于受试者的状态选择的颜色。
在一些实施例中，所述视觉指示还包括基于受试者的状态选择的颜色强度。
在一些实施例中，对于所述多个标记中的至少一个标记，所述视觉指示包括基于受试者的状态选择的填充图案。
在一些实施例中，所述视觉指示还包括基于受试者的状态选择的填充图案密度。
在一些实施例中，所述至少一个处理器被编程为：促使基于相应试验场所的地理位置来设置多个区域。
本文还提供了一种由任何前述系统执行的方法，例如，其中，在临床试验完成之前执行该方法。即，本文提供的方法和系统至少在临床试验的上下文中可以在完成试验之前使用和/或实施，因此数据可以不是来自这种试验的最终数据，而是中间数据。在诸如临床试验等分析正在进行时监视和可视化数据集的能力允许最终用户修改或操纵或离开分析的一个或多个方面，例如，临床试验中的临床点。
本文将更详细地描述这些和其他方面和实施例。
具体实施方式
发明人已经认识到并意识到，多中心临床试验(例如，3期临床试验)的失败通常是由于化验灵敏度降低(即，试验不能从统计学上区分活性药物和安慰剂的效果)。尽管多种因素可能会影响化验灵敏度，但一个重要因素可能是多中心研究中不同场所之间的研究行为的可变性，这会在总体数据中引入“噪声”。例如，当分析在多中心试验中收集的数据时，发现计算效果大小的场所间差异并不少见。这种差异可能会出现，因为一些场所可能严格遵循研究方案，而其他场所可能会更随意地这样做，从而降低效果大小。
发明人已经认识到并意识到，使用当前的临床试验监控方法很少检测到由场所之间的研究行为的可变性导致的异常数据模式，或者检测得太晚(例如，在锁定试验数据库之后)。例如，在研究过程中，人类监测员可能每隔几个月访问临床试验场所，并寻找严重违反数据质量的情况(例如，丢失数据、源文件和病例报告表之间的不匹配、协议或良好临床实践违规等)。这些人类监测员可能没有治疗专业知识，也可能无法对数据模式进行实质性分析。
因此，在一些实施例中，可以提供临床试验监控系统来近乎实时地监控临床试验数据，例如，在临床试验早期检测和补救问题。例如，临床试验监控系统可以使用集中监控技术来检测数据异常，例如，欺诈、伪造和其他非随机分布。
在一些实施例中，临床监测系统可以被编程为执行统计评估，以及时识别额外训练和/或监测可能合适的临床部位。例如，临床试验监控系统可以被编程为识别具有与不良性能或非依从性相关的特征的试验场所。这种特征的示例包括但不限于数据收集和/或报告中的错误(例如，缺失数据、不一致数据、数据异常值等)和/或在某些度量方面性能不佳(例如，高筛选失败率和/或退出率、高资格违规频率、数据报告延迟等)。在一些实施例中，临床试验监控系统可以被编程为通过检查场所内和/或场所之间数据的范围、一致性和/或异常分布来识别数据趋势。这种数据趋势可能不容易被当前的现场监控技术检测到。
发明人已经认识到并意识到，预测场所故障的异常数据模式的早期检测可以允许一旦检测到问题就修复故障场所。纠正步骤的示例包括但不限于，在与观察到的异常数据模式相关的某些方面对现场工作人员进行再培训，对患者进行再培训，以准确报告症状(例如，疼痛)，改变研究程序，并且关闭故障场所。在一些实施例中，可以实现与现有协议一致的改变，使得已经收集的数据不会无效。
发明人还认识到并意识到，可以收集大量临床试验数据，这可能涉及大量人类受试者在长时间内通过许多不同的试验场所参与。因此，在一些实施例中，提供了用于以简洁和直观的方式可视化临床试验数据的技术。这种可视化技术可以有助于及时确定干预是否适合正在进行的临床试验。另外或者可替换地，这种可视化技术可以有助于识别在多个临床试验中具有持续质量问题的试验场所，这可以导致推荐采取某些纠正步骤，例如，额外的工作人员培训。
图1示出了根据一些实施例的说明性临床试验监控系统100。在该示例中，临床试验监控系统100可以从一个或多个源接收临床试验数据，例如，临床试验数据源105。例如，在一些实施例中，临床试验数据源105可以由代表赞助商(例如，制药、生物技术或医疗设备公司)进行临床试验的合同研究组织提供。临床试验数据源105可以聚集来自不同试验场所的数据，并将数据传输到临床试验监控系统100。
在一些实施例中，由临床试验监控系统100接收的临床试验数据可以存储在临床试验数据存储器110中。临床试验监控系统100可以包括临床试验数据处理系统115，其被编程为从临床试验数据存储器110访问数据并生成一个或多个信号。在一些实施例中，临床试验数据处理系统115可以被编程为通过对数据应用一个或多个统计过程控制(SPC)测试来生成一个或多个信号。
作为非限制性示例，临床试验数据存储器110可以存储指示每个受试者何时访问试验场所或以其他方式与试验场所交互的数据以及受试者根据研究协议的指示来提交的日志条目。临床试验数据处理系统115可以使用该数据为每个受试者计算该受试者期望填写的所有日志条目中实际填写的日志条目的百分比，以跟踪一个或多个感兴趣的端点(例如，某种类型的疼痛)。可以输出这样的百分比，作为受试者级信号。
另外或者可替换地，临床试验数据处理系统115可以例如通过计算在特定时间段(例如，一周、两周、三周、一个月等)内访问或以其他方式与试验场所交互的每个受试者的日志依从性百分比来生成场所级信号，然后对所有这些受试者取平均值。
在图1所示的示例中，临床试验数据处理系统115生成的一个或多个信号可以被临床试验分析系统120消耗。在一些实施例中，临床试验分析系统120可以包括被编程为将一个或多个规则应用于由临床试验数据处理系统115生成的一个或多个信号的规则引擎。作为非限制性示例，临床试验分析系统120可以将日志依从性规则应用于日志依从性信号。例如，如果试验场所的日志依从性平均值低于选定阈值(例如，85％)，则可以触发日志依从性规则。另外或者可替换地，如果，在一段时间内(例如，连续几周)，试验场所的日志依从性平均值低于所有试验场所的日志依从性平均值，则可以触发日志依从性规则。
在一些实施例中，临床试验分析系统120产生的一个或多个结果可以经由临床试验监控用户界面125呈现给用户。在一些实施例中，临床试验监控用户界面125可以是网络界面，并且分析结果的一个或多个可视表示可以由在用户计算机上运行的网络浏览器呈现。然而，这不是必需的，因为在一些实施例中，应用(除了网络浏览器)可以安装在用户的计算机上，并且可以被编程为呈现由临床试验分析系统120产生的结果的一个或多个视觉表示。
尽管实施方式的各种细节在图1中示出并在上面讨论过，但是应当理解，本公开的各方面不限于任何特定组件、或者组件的组合、或者组件的任何特定设置的使用。此外，每个组件可以以任何合适的方式实现，例如，使用在相同位置或不同位置运行的一个或多个并行处理器。
图2示出了根据一些实施例的用于确定预测不良化验灵敏度的一个或多个变量的说明性处理200。例如，处理200可用于确定要由图1所示的说明性临床试验监控系统100监控的一个或多个变量。
在步骤205，可以识别一个或多个候选变量，这些候选变量可能预测临床试验中的场所失败。例如，候选变量可以与某个受试者相关(例如，该受试者的日志依从性)。作为另一示例，候选变量可以与某个试验场所相关(例如，在该试验场所登记的所有受试者的平均日志依从性)。作为又一示例，候选变量可以与多个试验场所相关(例如，在地理区域中的所有试验场所登记的所有受试者的平均日志依从性)。可以识别任何一个或多个受试者级、场所级、多场所和/或其他类型的变量，因为本公开的各方面不限于使用任何特定类型的变量。
在一些实施例中，可以基于来自领域专家的输入来识别一个或多个候选变量。例如，在一些实施例中，特定类型的临床试验(例如，止痛试验)中的一个或多个专家可以基于专家对与场所性能相关联的各种因素的知识提出候选变量。合适的专家的示例包括但不限于临床医生、统计学家、数据管理员和项目经理。
在一些实施例中，可以基于研究协议自动识别一个或多个候选变量。例如，在一些实施例中，可以搜索研究协议，以识别已知影响场所性能的一个或多个变量，并且所识别的变量可以自动映射到临床试验数据存储器110中与评估变量相关的数据。
作为一个非限制性的示例，下面的表1显示了候选变量的说明性列表，这些候选变量有可能预测止痛试验中的场所失效。应当理解，本公开的方面不限于使用这些候选变量中的任何一个，因为其他候选变量也可能是合适的。此外，本文公开的一种或多种技术可用于监测除止痛试验之外的临床试验。
表1.不良化验灵敏度的潜在预测因素的示例
Figure BDA0002308461840000111
参考图2，在步骤210，可以识别临床试验期间要监控的一个或多个变量。例如，在一些实施例中，可以评估在步骤205识别的候选变量(例如，表1中列出的说明性候选变量)，并且可以基于一个或多个标准从候选变量中选择一个或多个变量。然而，应当理解，本公开的方面不限于从候选变量中选择变量。在一些实施例中，变量可以以合适的方式从一个或多个候选变量中导出。
在一些实施例中，可以评估候选变量，以确定候选变量是否是静态的(例如，在试验之前或开始时建立，并且在整个试验期间没有显著变化)。静态变量的示例包括但不限于场所位置、主要研究者(PI)人口统计、PI特异性等。发明人已经认识到并意识到，静态变量可能与试验开始时的场所选择比试验期间的场所监测更相关。
在一些实施例中，可以评估候选变量，以确定候选变量是否易于用于监控目的。例如，数据源(例如，图1所示的说明性临床试验数据源105)可能不提供足够的信息来允许跟踪某个候选变量。作为另一示例，特定候选变量的相关信息可以分散在各种文档和/或数据集中。为了跟踪候选变量而近乎实时地收集和分析相关信息可能既不实际也不经济。
在一些实施例中，动态且容易获得的候选变量可以基于预测能力来评级。例如，在表1所示的示例中，每个动态且容易获得的候选变量可以被评定为对不良化验灵敏度具有高、中或低预测值。
在一些实施例中，可以选择具有高预测值的候选变量，作为在临床试验期间要监控的变量。例如，在表1所示的示例中，选择了三个候选变量：
-不同疼痛测量值之间的不一致，
-日志依从性，以及
-研究给药依从性。
参考图2，在步骤215，可以自动验证在步骤210识别的一个或多个变量。例如，在一些实施例中，来自一个或多个已完成的多中心临床试验(例如，阶段3临床试验)的数据可用于执行回顾性分析，以评估变量是否预测不良化验灵敏度。可以使用任何合适的回顾性分析技术，例如，回归分析。
在一些实施例中，来自同一药物的多个完成的多中心临床试验的数据可用于评估变量的预测值。作为一个非限制性示例，下面的表2总结了周期性剂量(例如，每周、每2周、每4周等)的镇痛药物的三个多周随机、双盲、安慰剂对照试验的数据集。其中两项试验是针对条件X进行的，一项成功，另一项失败。第三项试验是针对Y条件进行的一次失败的试验，但这次失败是不确定的。
表2回顾性分析中用于评估选定变量的数据集示例
研究A 研究B 研究C
指示 条件X 条件Y 条件X
试验结果 成功 失败(边界线) 失败
在表2所示的示例中，在所有三个试验中，使用电子日志每天收集疼痛强度(PI)分数，持续12周，这允许计算PI分数从基线到端点的变化。在一个示例中，基线可以表示试验的第0周，端点可以表示试验的第12周。在一些实施例中，可以通过对过去7天、3天或任何其他天数的PI分数取平均值来计算PI分数。在与条件X有关的两项试验中，Western Ontarioand McMaster University Osteoarthritis Index(WOMAC)问卷，包括在0-10数值等级量表(NRS)上测量疼痛的子量表，也由受试者定期完成(例如，每周、每2周、每4周等)。
在一些实施例中，要监控的变量(例如，如图2的步骤210所标识的)可以在不同级别(例如，受试者、场所、地理区域等)操作，用于评估。例如，研究给药依从性变量可以操作为“错过至少一个剂量的受试者的比例”、“某一场所的所有受试者的错过剂量的比例”和/或“某一地理区域所有场所的所有受试者的错过剂量的比例”。作为一个非限制性的示例，在下面的表3中提供在受试者级别和场所级别上的三个变量的操作定义(疼痛、日志依从性和研究给药依从性的不同测量值之间的不一致。
表3选定变量的操作定义的示例
Figure BDA0002308461840000131
在一些实施例中，表3中所示的说明性操作变量可以对照表2中所示的三个试验的数据集进行评估。例如，可以计算一个或多个统计数据，例如，平均值、标准差(SD)、中位数和/或百分位数。在一些实施例中，可以例如通过分析某些子类别的频率来评估类别变量。
在一些实施例中，可以对从基线(例如，第0周)到端点(例如，第12周)的PI分数的变化进行回归分析，评估安慰剂和活性药物之间的治疗差异，控制基线PI分数、主动治疗(主动治疗对安慰剂)、基线阿片类药物使用(使用对不使用)、基线体重(<85千克对≥85千克)(主模型)。一个或多个变量(例如，表3所示的说明性操作变量)可以作为主要效应和相互作用项(主动治疗对安慰剂)引入，以确定一个或多个变量是否是预测因数。相互作用项(感兴趣的治疗x变量)的系数和相应的p值可以用作变量与化验灵敏度的潜在相关性的指标。
在一些实施例中，0.2的p值可以被认为是合适的。应当理解，本公开的各方面不限于特定p值的使用，因为也可以使用其他值(例如，噪声较小的数据的p值较高)。
总体而言，上述回归分析表明，以下变量与分析灵敏度的降低相关(P<0.2)：(i)来自错过更多剂量的部位；(ii)缺少电子日志条目，特别是在第0周和第12周；(iii)来自错过电子日志条目较多的场所，尤其是在第0周和第12周(所有p值≤0.05)；(iv)在基线处，PINRS和WOMAC疼痛分数不一致。回归分析的结果如表4所示。
表4变量和治疗效果之间相互作用的P值的示例(P值<0.2，表示治疗效果，以粗体显示)
Figure BDA0002308461840000142
Figure BDA0002308461840000151
总之，回归分析结果证实了三个选定的变量，即，电子日志依从性、研究药物依从性和疼痛分数之间的不一致性，在场所水平上测量，预测了哪些场所不能区分药物和安慰剂。
图3A-3B分别示出了根据一些实施例的表2中总结的说明性研究A-C的错过剂量(场所级)的平均百分比和错过电子日志条目(场所级)的平均百分比。如图3A-3B所示，与边界线和失败的研究(分别为研究B和研究C)相比，成功的研究(研究A)在场所水平具有最低的错过剂量(13％对20％和34％)和场所水平的错过日志条目(16％对18％和29％)。
应当理解，上面结合图2、3A-3B描述的候选变量和选择过程仅仅是为了说明的目的而提供的。在各种实施例中，除了或代替本文讨论的变量，可以提出和/或选择一个或多个其他变量。例如，选择和监控过程不仅限于具有高预测值的候选变量。在一些实施例中，可以首先选择和监控具有高预测能力的候选变量的全部或子集，然后选择和监控具有中等预测能力的候选变量的全部或子集等。此外，在不同的研究中可以监控不同的变量，例如，取决于相关信息的可用性、研究药物的性质等。
发明人已经认识到并意识到，统计过程控制(SPC)技术可以用于在临床试验期间近乎实时地监控一个或多个变量(例如，表3所示的一个或多个说明性操作变量)。传统上，SPC技术用来监控和减少制造过程中的变化(例如，减少生产线上的缺陷产品的比率)。例如，可以监控制造过程的一个或多个可测量方面，并且可以使用统计技术分析随着时间收集的测量值。
发明人已经认识到并意识到，SPC技术可用于监测受试者、试验场所、地理区域和/或临床试验的任何其他合适组成部分的性能，包括整个试验本身。例如，可以监控预测化验灵敏度的可测量方面(例如，电子日志依从性、研究药物依从性、疼痛分数之间的不一致性等)，并且可以使用统计技术来分析随时间收集的测量结果，以检测异常的数据模式。异常数据模式可能表示要纠正的问题。
图4示出了根据一些实施例的可以执行以监控和分析随着时间收集的多个测量值的说明性过程400。例如，过程400可以由图1所示的说明性临床试验数据处理系统115来执行，以处理临床试验数据并生成一个或多个信号。
在步骤405，可以从临床数据存储器(例如，图1所示的说明性临床数据存储器110)接收一个或多个新的测量值。在一些实施例中，临床试验数据可以如研究方案中所指示的那样定期收集(例如，每天、每周、每月等)，用于多个试验场所。例如，数据可以由图1所示的说明性临床试验数据源105收集。可以收集任何合适的数据，包括但不限于试验场所操作/性能信息(例如，场所响应查询需要多长时间、工作人员更替、违反研究协议的次数等)、受试者报告的信息(例如，日志条目、0-11级疼痛)、临床医生报告的信息(例如，受试者的运动能力是否提高)、物理测量(例如，血压)等。
在一些实施例中，试验场所活动数据和质量数据可以以不同的时间间隔收集。试验场所活动数据可以包括关于在每个时间间隔内在试验场所活动的多个人类受试者的数据。试验场所质量数据可以包括关于多个试验场所质量度量的数据(例如，表3所示的说明性操作变量)。在一些实施例中，试验场所质量数据可以针对每个时间间隔指示分别与试验场所质量度量的数量相关联的多个质量分数。在一些实施例中，可以在不同的时间间隔收集受试者状态数据。受试者状态数据可以包括在参与临床试验的多个试验场所处关于多个人类受试者的相应状态的数据(例如，受试者未通过筛查测试、有不良事件、因另一原因离开试验、仍在试验中活动等)。
在步骤410，可以基于在步骤405接收的一个或多个新测量值来生成一个或多个数据点。在一些实施例中，可以基于对单个变量的测量来生成数据点。替代地或另外，可以基于分别对应于多个变量的测量值来生成数据点。
在一些实施例中，新生成的数据点可以基于先前的测量值以类似的方式附加到先前生成的数据点序列。因此，随着临床试验的进行，可以生成数据点的时间序列，并且可以检测和分析变化。
在步骤415，可以基于在步骤410更新的数据点的时间序列来更新一个或多个控制图特征。例如，在一些实施例中，平均值、标准偏差、控制上限和/或控制下限可以根据合适的控制图定义来更新。控制图的非限制性示例包括个人和移动范围(ImR)或休哈特图、指数加权移动平均(EWMA)图和p图。然而，应当理解，本公开的各方面不限于使用任何特定的控制图。
在步骤420，可以应用SPC测试来区分在步骤410更新的数据点的时间序列中的非随机模式和随机模式。在一些情况下，非随机模式可以指示应该纠正的问题，而随机模式可以表示临床试验中固有的正常变化。当满足SPC测试时，可以生成信号并将其提供给临床试验分析系统(例如，图1所示的说明性临床试验分析系统120)，该系统可以处理该信号并输出一个或多个推荐。
用于生成信号的SPC的非限制性示例如下表5所示。然而，应当理解，本公开的方面不限于任何特定试验的使用。
表5用于信号生成的SPC测试的示例
# SPC测试的描述
0a* 点低于平均线；忽略所有其他SPC信号
0b* 点高于平均线；忽略所有其他SPC信号
1 点超过控制限制范围或阈值
2 前3个点中的2个点超过控制限制的2/3标记
3 一行中的4个更多个点超过控制限制的1/3标记
4 一行中的9个更多个点位于平均线的同一侧
5 4个连续点向上或者4个连续点向下
6 前5个点中的4个点向上或者前5个点中的4个点向下
7 3个点在一个方向，然后，3个点在另一方向(斜坡标志改变)
*测试0a(或0b)可应用于低于(或高于)平均线的性能表示优于平均结果的某些变量，因此应忽略其他SPC信号。
在一些实施例中，可以使用引用多个数据点时间序列的SPC测试。作为一个示例，如果：在数据点的第一时间序列中满足第一条件，并且在数据点的第二时间序列中满足第二条件，则可以满足SPC测试。作为另一示例，如果在数据点的第一时间序列中满足第一条件，或者在数据点的第二时间序列中满足第二条件，则可以满足SPC测试。
因此，在一些实施例中，SPC测试可用于基于：(i)特定事件(例如，严重不良事件的发生、违反协议等)，(ii)特定变量达到阈值(例如，伤口感染率>5％，电子日志依从性<80％等)，和/或(iii)特定变量的变化(例如，值分布的变化、异常值对正常期望值的检测等)，生成信号。这种SPC测试可以被定义为在灵敏度(正确识别真阳性)和特异性(正确识别真阴性)之间保持适当的平衡。
图5A-5B示出了根据一些实施例的通过将SPC技术应用于临床试验数据而生成的说明性控制图。在本示例中，实时分析临床试验数据，以识别异常值并评估这些异常值的临床意义。
图5A-5B分别示出了针对受试者日志非依从性的说明性休哈特图表510和针对不同疼痛测量值的不一致的说明性休哈特图表520，这两个图表都是针对同一试验场所生成的。在休哈特图表510和520中，每个点可以对应于相应的时间间隔，例如，每个点可以对应于两周间隔或一些其他合适的时间间隔。可以从移动平均值中计算在图5A-5B中显示为灰色带的控制限制。
在图5A的示例中，说明性休哈特图表510描绘了数据点序列，表5中的说明性SPC测试中的一个或多个SPC测试应用到该数据点序列。当一个数据点没有满足所有SPC测试时，该数据点可以被着色为绿色(例如，数据点512)。例如，特定控制限制范围内(例如，在0-1.5之间)的数据点显示为绿色。当数据点满足任何SPC测试时，该数据点可以被着色为红色(例如，数据点514)。例如，超出控制限制范围的数据点显示为红色。对于这些数据点，可以满足SPC测试#1和#5中的一个或两个。
在图5B的示例中，说明性休哈特图表520描绘了一系列数据点，表5中的说明性SPC测试中的一个或多个SPC测试应用到这些数据点。在这个示例中，尽管所有数据点都在特定的控制限制范围内，但是由于一行中的九个或更多个点在平均线的同一侧，所以可以满足SPC测试#4。因此，在平均线的同一侧上的第九数据点之前的所有数据点522(其所有SPC测试都不满足)可以被着色为绿色或黄色，并且第九和连续数据点524(其SPC测试#4满足)可以被着色为红色，直到遇到不满足SPC测试#4的数据点。
在一些实施例中，可以由临床试验数据处理系统(例如，图1的示例中的说明性临床试验数据处理系统115)为在休哈特图表5A和5B中示出的红色数据点生成信号。
应当理解，本公开不限于使用特定类型的SPC测试或特定类型的控制图，因为其他SPC测试和控制图可以另外或替代地使用。
因此，发明人已经认识到并意识到，SPC技术可以回顾性地用于对变量进行分类(例如，通过识别变量之间的相关性)。另外或者可替换地，当临床试验正在进行时，SPC技术可以用于监控某些变量，以识别趋势和/或异常。这可以允许及早检测场所性能问题，以便实施适当的纠正措施。
尽管图5A-5B中示出了控制图的示例，但是应当理解，本公开的各方面不限于可视化地呈现控制图。各种控制图特征(例如，平均值、标准偏差、控制上限、控制下限等)可以计算并用于生成信号，而不需要视觉呈现。
在一些实施例中，控制图特征和/或SPC测试的结果可用于生成与试验场所质量度量(例如，受试者级、场所级和/或多场所质量度量)相关联的质量分数。例如，可以生成范围在0-5之间的质量分数，其中，0可以表示最低质量，5可以表示最高质量。例如，SPC测试的各种控制图特征和/或结果可以指示试验场所相对于其他试验场所正经历较低的日志依从性平均值，并且可以生成该试验场所的质量分数“1”，指示较低的质量。另一方面，相对于其他试验场所，某个试验场所的日志依从性平均值非常高，这可能导致试验场所的质量分数为“5”，表明质量很高。可以使用任何合适的评分机制，因为本公开的方面不限于此。在一些实施例中，与复合质量度量相关联的质量分数可以包括分别与两个或多个组成质量度量相关联的两个或多个质量分数的加权总和。
在一些实施例中，与试验场所质量度量相关联的质量分数可以由临床试验分析系统生成。参考图1所示的示例，说明性临床试验分析系统120可以从说明性临床试验数据处理系统115接收信号，并且可以基于接收的信号生成质量分数。例如，由临床试验数据处理系统115执行的SPC测试可以基于达到特定阈值(例如，小于80％的电子日志依从性)的试验场所的日志依从性生成信号。该信号可以传送到临床试验分析系统120，临床试验分析系统120可以通过对该信号应用适当的规则(例如，日志依从性规则)来生成质量分数。另外或替代地，临床试验分析系统120可以生成关于试验场所的推荐(例如，解决试验场所的质量问题的干预、由于质量问题而将试验场所从正在进行的临床试验或未来的临床试验中移除等)。
在一些实施例中，虽然临床试验分析系统120可以生成大量质量度量的质量分数，但是临床试验分析系统120可以仅在质量分数低于来自质量度量的选定子集的质量度量的阈值时生成推荐。这种质量度量在本文可以称为“触发”质量度量。例如，可以选择对化验灵敏度具有高度预测性的触发质量度量。触发质量度量的示例包括但不限于每日疼痛分数可变性、不同疼痛测量值之间的不一致性、最严重疼痛分数和平均疼痛分数的倒置(其中，最严重疼痛低于平均疼痛)、电子日志非依从性和研究给药非依从性。
在一些实施例中，可以由非触发质量度量(在本文也称为“支持”质量度量)的质量分数来通知推荐。支持质量度量的示例包括但不限于协议偏差的数量、查询响应时间、查询解决时间、查询数量和数据输入时间。
图6示出了根据一些实施例的说明性视觉表示600。例如，视觉表示600可以表示由图1所示的说明性临床试验分析系统120产生的结果。
发明人已经认识到并意识到，整个临床试验中试验场所的性能可以如图6所示可视化，以识别具有潜在操作和/或其他影响化验灵敏度或特异性(例如，临床试验区分活性药物和安慰剂的能力)的问题的场所。在该示例中，视觉表示600包括多个区域，例如，区域605。每个区域可以对应于相应的试验场所。
在一些实施例中，一个区域可以包括多个子区域，例如，子区域610。每个子区域可以对应于相应的时间间隔。例如，每个子区域可以对应于两周的间隔，使得对应于已经参与试验26周的试验场所的区域可以具有13个子区域。在某些情况下，可能有少于13个子区域，因为可能有一个或多个两周的时间间隔，在此间隔期间，在该试验场所没有活动的受试者。
在图6所示的示例中，区域和子区域被绘制为矩形框。然而，应当理解，本公开的各方面不限于使用任何特定形状，因为除了或代替矩形，可以使用一个或多个其他形状(例如，三角形、圆形、六边形等)。
在一些实施例中，子区域的大小可以基于在相应时间间隔期间在相应试验场所的活动受试者的数量(例如，在该时间间隔期间访问试验场所或以其他方式与试验场所交互的受试者)和/或指示可用于分析的数据量的一些其他度量(例如，另一可量化参数)来确定。以这种方式，对应于登记更多患者的试验场所的区域可以在尺寸上大于对应于登记更少患者的试验场所的区域。这可以帮助用户在观看视觉表示600时理解检测到的质量问题的程度。例如，在一些实施例中，可以通过以特定填充图案或颜色显示子区域来提供质量问题的指示(例如，红色用于低质量分数，例如，0，绿色用于高质量分数，例如，5等)。因此，显示与质量问题相关联的填充图案或颜色的较大子区域可以指示更多的受试者和/或更多的数据受到质量问题的影响。填充图案的示例包括但不限于阴影、交叉阴影、点画等。
在图6所示的示例中，根据大小(例如，所有子区域与每个区域的总和)在空间上设置对应于不同试验场所的区域。例如，就登记的患者数量而言，左上区域可以对应于最大的试验场所(和/或指示可用数据量的某个其他度量)，而右下区域可以对应最小的试验场所。然而，这并不是必需的，因为在一些实施例中，可以根据试验场所的位置来设置区域，这有助于识别地理趋势。另外或替代地，可以根据治疗组、供应商组等设置区域，以提供关于在整个试验中如何执行这些组的额外细节。
在一些实施例中，填充图案密度或颜色强度可以根据检测到的质量问题的严重性而变化。作为非限制性示例，在某些子区域中的第一种更密集的填充图案(或更强烈的红色)可以指示严重的质量问题(例如，相对于其他试验场所，在某个试验场所的日志依从性平均值非常低)，而在某些子区域中的第二种更密集的填充图案(或强烈的绿色)可以指示高质量(例如，相对于其他试验场所，在某个试验场所的日志依从性平均值非常高)。
应当理解，本公开的各方面不限于任何特定质量度量的使用。例如，在一些实施例中，可以向用户呈现多个视觉表示，每个表示使用不同的感兴趣的质量度量。此外，质量度量可以基于单个变量或多个变量。变量的示例包括但不限于活动受试者的数量、特定类型的事件的数量、相同类型的但在不同时间点进行的测量之间的差异、在同一时间点进行的不同类型的测量之间的差异等。
还应当理解，本公开的方面不限于使用对应于时间间隔的子区域，或者根本不限于使用任何子区域。在一些实施例中，可以向每个单独的受试者提供子区域或其他标记(例如，点、针、标志等)，并且可以提供视觉指示(例如，填充图案或颜色)来指示受试者在临床试验中的状态(例如，受试者未通过筛选试验、有不良事件、因另一原因离开试验、仍在试验中活动等)。在一些实施例中，可以基于受试者的状态推荐干预。在一个示例中，干预可以包括重新训练受试者以遵守研究方案。在另一示例中，干预可以包括将受试者排除在临床试验之外。
发明人已经认识到并意识到，视觉表示(例如，图6所示的说明性视觉表示600)可以帮助用户快速区分在整个临床试验中正常执行的试验场所和一贯异常的试验场所。这不仅可以节省用户时间，还可以减少资源的使用，例如，与生成、显示和/或打印关于各种试验场所性能的冗长报告相关联的计算资源。
此外，视觉表示(例如，说明性视觉表示600)可以帮助用户识别任何试验场所显示异常行为的时间百分比，和/或该异常行为是否在时间上分组或分布在临床试验的整个持续时间内。例如，如果试验场所大部分是绿色的，但有一些聚集在一起的强红色子区域，则用户可能推断在连续几周内在该试验场所有问题，但是试验场所在整个试验过程中正常执行。相比之下，大多数子区域为红色的试验场所可能表明试验场所在整个试验过程中存在一致的质量问题。
应当理解，本公开的各方面不限于图6所示的和上面讨论的细节。例如，在一些实施例中，除了或者代替颜色，填充图案可以用于传达关于子区域的信息。例如，不同的填充图案可用于指示不同类型的质量问题，和/或不同密度的填充图案可用于指示质量问题的不同严重程度。
如以上结合图1所讨论的，可以基于受试者预期填充的所有日志条目中实际填充的日志条目的百分比来生成受试者级信号，以跟踪感兴趣的一个或多个端点(例如，特定类型的疼痛)，并且可以通过对在特定时间段(例如，一周、两周、三周、一个月等)内活动的所有受试者的受试者级日志依从性信号进行平均来生成场所级信号。以这种方式，低场所级信号可以表明，平均而言，试验场所的活动受试者没有按照研究方案的要求填写其日志。
作为一个示例，可以每两周为每个受试者计算日志依从性信号，使得受试者级百分比可以指示在14天中有多少天在受试者的日志中有条目。该条目可以记录感兴趣的任何一个或多个端点，例如，受试者感觉到的平均疼痛水平(例如，在0-10的规模上)。然后，可以生成站点级平均信号，并用于确定对应于14天周期的每个子区域的填充图案和/或密度或者颜色和/或强度。例如，低日志依从性(例如，低于选定阈值)可以用红色显示，高日志依从性(例如，高于选定阈值)可以用绿色显示。可以基于在相关14天期间在相关地点的活动受试者的数量来确定子区域的大小。
图7示出了根据一些实施例的具有分别对应于四个不同的试验场所的说明性区域1-4的说明性视觉表示600。在该示例中，场所1是一个大场所(例如，在整个试验中有许多活动的受试者)，并且在许多两周一次的时间段(例如，红色或浅红色的子区域)，可以具有受试者日志依从性问题。场所2可能是另一大型场所，但受试者日志依从性问题可能只有几个两周一次的时间段，并且这些问题可能看起来很小(例如，浅红色的子区域)。场所3可能是一个小场所，该场所经历了一段时间的重大日志依从性问题(例如，深红色的子区域)，但这些问题可能只限于研究时间表的一部分。场所4可以是另一小场所，并且可能根本没有受试者日志依从性问题(例如，绿色的子区域)。
发明人已经认识到并意识到，当评估场所性能时，由于一致的高性能，场所(例如，场所2和4)可能比其他场所更可取。根据对导致观察到的问题的仔细分析，场所3可能仍然是其他临床试验的合适候选。场所1可能是存在一致问题的大型场所，推荐进行更仔细的监控，以确定场所1是否适合即将进行的试验。因此，该表示可用于识别将从该试验或未来试验中移除的站点，或者在当前试验或未来试验中需要纠正措施的站点，例如但不限于工作人员/人员培训。在一些实施例中，质量分数也可以用于对来源于现有或未来试验中的可疑场所(例如，显示次优和潜在的非随机性能的场所)的数据加权。
图8A-8D示出了根据一些实施例的说明性视觉表示800A-800D。例如，可视表示800A-800D可以由说明性临床试验分析系统120生成，并且可以经由说明性临床试验监控用户界面125向用户显示，如图1所示。
发明人已经认识到并意识到，试验场所在整个临床试验中的性能可以如图8A-8D所示可视化，以确定该场所是否具有影响化验灵敏度或特异性的潜在问题。在该示例中，图8A-8D中的每一个示出了不同试验场所的性能。例如，视觉表示800A可以表示试验场所A的性能，视觉表示800B可以表示试验场所B的性能，视觉表示800C可以表示试验场所C的性能，视觉表示800D可以表示试验场所D的性能。
在图8A-8D的示例中，视觉表示800A-800D中的每一个包括多个区域，例如，区域805、810和815。每个区域可以对应于相应的质量度量。作为非限制性示例，质量度量(例如，显示为度量1)可以是与表3所示的一个或多个说明性操作变量相关联的受试者级或场所级质量度量。作为另一示例，质量度量(例如，显示为度量2)可以是场所性能度量，例如，查询响应的中位时间、补充率等。作为另一示例，质量度量(例如，显示为度量3)可以是支持度量。
在一些实施例中，质量度量可以基于与单个变量相关联的测量。这种度量在本文可以称为“单变量”度量。另外或者可替代地，可以使用基于分别与多个变量相关联的测量的质量度量。这种度量在本文可以称为“多元”度量。
在一些实施例中，一个区域可以包括多个子区域，例如，子区域830。每个子区域可以对应于相应的时间间隔。例如，每个子区域可以对应于两周的间隔，使得对应于已经参与试验26周的试验场所的区域可以具有13个子区域。在某些情况下，可能有少于13个子区域，因为可能有一个或多个两周的时间间隔，在此间隔期间，在该试验场所没有活动的受试者。
在图8A-8D所示的示例中，区域和子区域被绘制为矩形框。然而，应当理解，本公开的各方面不限于使用任何特定形状，因为除了或代替矩形，可以使用一个或多个其他形状(例如，三角形、圆形、六边形等)。
在一些实施例中，子区域的大小可以基于在相应时间间隔期间在相应试验场所的活动受试者的数量(例如，在该时间间隔期间访问试验场所或以其他方式与试验场所交互的受试者)和/或指示可用于分析的数据量的某个其他值来确定。
在一些实施例中，可以通过以特定填充图案或颜色显示子区域来提供质量问题的指示(例如，红色用于低质量分数，例如，0，黄色用于中等质量分数，例如，3，绿色用于高质量分数，例如，5等)。在一些实施例中，填充图案密度或颜色强度可以根据检测到的质量问题的严重性而变化。作为非限制性示例，第一种更密集的填充图案或者更强烈的红色可以指示严重的质量问题(例如，非常低的日志依从性平均值或者高的筛选故障和/或退出率)，而第二种更密集的填充图案或者强烈的绿色可以指示高质量(例如，非常高的日志依从性平均值或者非常低的筛选故障和/或退出率)。
在一些实施例中，与每个区域相关联的子区域可以按时间顺序排序。例如，时间可以从左到右，然后从上到下运行，使得最左上的子区域可以对应于最早的时间间隔，而最右下的子区域可以对应于最晚的时间间隔。
在一些实施例中，可以基于质量分数来组织与每个区域相关联的子区域。作为一个示例，所有红色的子区域可以分组在一起，并且所有绿色的子区域可以分组在一起。在每组中，子区域可以以增加或减少的强度设置。作为另一示例，可以基于填充图案将子区域分组在一起。在每组中，子区域可以以增加或减少的密度设置。以这种方式组织子区域可以有助于快速识别与受试者级、场所级和/或其他质量度量相关联的质量问题。
发明人已经认识到并意识到，视觉表示(例如，说明性视觉表示800A-800D)可以帮助用户在临床试验期间快速确定如何在多个质量度量上执行特定场所。这反过来又有助于区分表现良好的试验场所和表现不佳的试验场所。作为一个示例，图8A的视觉表示800A可以指示试验场所A表现正常，并且在整个研究时间线内，在不同的质量度量(度量1、度量2和度量3)上几乎没有质量问题。基于视觉表示800A，用户可以推断试验场所A在不同的质量度量上具有良好的性能(例如，主要为绿色或黄色的子区域)，并且不需要干预。
作为另一示例，图8B的视觉表示800B可以指示试验场所B具有几个两周一次的时间段(例如，红色的子区域)，每个度量都有质量问题。基于视觉表示800B，用户可以推断，尽管试验场所B存在一些质量问题，但是总体试验场所B仍然表现良好，并且不需要干预。
作为另一示例，图8C的视觉表示800C可以指示，尽管指示试验场所C具有几个两周一次的时间段(例如，红色的子区域)，度量2和3具有质量问题，但是试验场所C具有许多两周一次的时间段，度量1具有质量问题。基于视觉表示800C，用户可以推断，试验场所C对于度量1具有显著的质量问题，并且可能需要进一步评估来确定干预是否合适。
作为另一示例，图8D的视觉表示800D可以指示试验场所D具有许多两周一次的周期(例如，红色或浅红色的子区域)，度量1和2具有质量问题。基于视觉表示800D，用户可以推断，试验场所D对于度量1和2具有显著的质量问题，并且干预很可能是合适的。
在一些实施例中，试验场所可以基于其性能进行排名。可以基于例如每个区域中对应于质量度量的红色子区域的百分比来生成排名。由于所有度量中红色子区域的最高百分比，试验场所(例如，试验场所D)可以排名最低。类似地，由于所有度量中红色子区域的最低百分比，试验场所(例如，试验场所A)可以排名最高。以这种方式，除了或代替分析用于生成视觉表示800A-800D的基础数据(例如，质量分数)，可以通过对视觉表示(例如，图8A-8D的说明性视觉表示800A-800D)执行图像分析来确定质量排名。在一些实施例中，即使没有生成视觉表示，底层数据也可以用于确定质量排名。
在一些实施例中，因为区域805、810和815的边界在视觉表示800A-800D上保持相同，所以可以使用图像分析技术来比较视觉表示800A-800D。在一些实施例中，额外信息可以经由视觉表示来传达，例如，多元度量的额外维度、关于在试验场所和/或在时间间隔期间活动的人类受试者的信息等。在一些实施例中，这种信息可以被编码为每个子区域中选定位置的像素。
图9A-9B示出了根据一些实施例的说明性视觉表示900A-900B。例如，可视表示900A-900B可以由说明性临床试验分析系统120生成，并且可以经由说明性临床试验监控用户界面125向用户显示，如图1所示。在一些实施例中，可视表示900A可以基于试验场所A的性能来生成，而可视表示900B可以基于不同试验场所(试验场所B)的性能来生成。
在图9A-9B的示例中，每个视觉表示900A-900B包括多个区域，例如，区域905、910和915。每个区域可以对应于相应的质量度量，并且可以包括多个子区域。与图8A-8D的示例不同，图9A-9B中的区域905、910和915具有不同大小的子区域。例如，图9A中的区域905的子区域可以小于图9B中的区域905的子区域。由于区域905在两种视觉表示中具有相同的尺寸，所以区域905在图9A中比在图9B中具有更多的子区域。
发明人已经认识到并意识到，视觉表示(例如，说明性视觉表示900A-900B)可以帮助用户快速比较具有不同特征的不同试验场所，例如，参与临床试验的持续时间、活动受试者的数量等。例如，区域905中的每个子区域可以表示两周一次的时间段，并且试验场所A可能已经参与了比试验场所B更长的时间段。因此，区域905在图9A中可以比在图9B中具有更多的子区域。通过在图9A和图9B之间保持区域905的总面积相同，来自两个场所的数据可以标准化到相同的比例。这可能有助于试验场所A和试验场所B之间的视觉比较(或基于图像分析的比较)，尽管由于参与的持续时间不同，来自这两个场所的数据可能不可直接比较。
在一些实施例中，上面结合图9A-9B描述的一种或多种比较技术可以用于比较对应于在相同试验场所或不同试验场所具有不同长度的不同试验的视觉表示。在一些实施例中，即使基于不同的质量度量生成试验场所的视觉表示，两个试验场所的比较也是可能的。例如，两个不同的试验场所可能分别用于对治疗不同疾病的药物进行试验。在这些试验中监控的质量度量可能不同，因此这两个场所的质量分数可能不具有直接可比性。作为一个示例，图9A中的度量1可以是NRS疼痛分数，而图9B中的度量1可以是WOMAC疼痛分数。作为另一示例，度量1和2可以分别对应于来自两个不同仪器的分数，这两个仪器被设计成测量相似的症状(例如，睡眠中断)。然而，视觉表示900A-900B之间的视觉比较是可能的。
应当理解，本公开的各方面不限于使用颜色、颜色强度、填充图案或填充图案密度来传达信息。在一些实施例中，可以使用一个或多个其他视觉指示，例如，边框样式。作为示例，应用于子区域的特定颜色可以描绘第一质量度量(例如，颜色强度指示该度量的质量分数是高还是低)，应用于子区域的特定填充图案可以描绘第二质量度量(例如，填充图案密度指示该度量的质量分数是高还是低)，应用于子区域的特定边界图案可以描绘第三质量度量。在另一示例中，应用于子区域的第一部分的第一颜色可以描绘第一质量度量，而应用于子区域的第二部分的第二颜色可以描绘第二质量度量。
还应当理解，本公开的各方面不限于二维视觉表示的使用。在一些实施例中，更高维度的视觉表示可以用于例如显示多元度量。另外或者可替换地，更高维度的视觉表示可以用于提供额外信息，例如，关于在试验场所活动的人类受试者的信息。
图10示意性地示出了在其上可以实现本公开的任何方面的说明性计算机1000。在图10所示的实施例中，计算机1000包括具有一个或多个处理器的处理单元1001和可以包括例如易失性和/或非易失性存储器的非暂时性计算机可读存储介质1002。存储器1002可以存储一个或多个指令，以将处理单元1001编程为执行本文描述的任何功能。除了系统存储器1002之外，计算机1000还可以包括其他类型的非暂时性计算机可读介质，例如，存储器1005(例如，一个或多个磁盘驱动器)。存储器1005还可以存储一个或多个应用程序和/或应用程序使用的外部组件(例如，软件库)，这些可以加载到存储器1002中。
计算机1000可以具有一个或多个输入装置和/或输出装置，例如，图10所示的装置1006和1007。这些装置可以用于呈现用户界面等。可用于提供用户界面的输出装置的示例包括用于输出的视觉呈现的打印机或显示屏以及用于输出的听觉呈现的扬声器或其他声音生成装置。可用于用户界面的输入装置的示例包括键盘和定点装置，例如，鼠标、触摸板和数字化平板电脑。作为另一示例，输入装置1007可以包括用于捕捉音频信号的麦克风，并且输出装置1006可以包括用于视觉呈现识别的文本的显示屏和/或用于听觉呈现识别的文本的扬声器。
如图10所示，计算机1000还可以包括一个或多个网络接口(例如，网络接口1010)，以使得能够经由各种网络(例如，网络1020)进行通信。网络的示例包括局域网或广域网，例如，企业网络或因特网。这种网络可以基于任何合适的技术，并且可以根据任何合适的协议操作，并且可以包括无线网络、有线网络或光纤网络。
已经这样描述了至少一个实施例的几个方面，应当理解，本领域技术人员将容易想到各种变更、修改和改进。这些变更、修改和改进旨在落入本公开的精神和范围内。因此，前面的描述和附图仅仅是示例性的。
本公开的上述实施例可以以多种方式中的任何一种来实现。例如，实施例可以使用硬件、软件或其组合来实现。当以软件实现时，软件代码可以在任何合适的处理器或处理器集合上执行，无论是在单个计算机中提供还是分布在多个计算机中。
此外，本文概述的各种方法或过程可以被编码为可在采用各种操作系统或平台中的任何一种的一个或多个处理器上执行的软件。此外，这种软件可以使用多种合适的编程语言和/或编程或脚本工具中的任何一种来编写，并且也可以被编译为在框架或虚拟机上执行的可执行机器语言代码或中间代码。
在这方面，本文公开的概念可以被实现为用一个或多个程序编码的非暂时性计算机可读介质(或多个计算机可读介质)(例如，计算机存储器、一个或多个软盘、光盘、磁带、闪存、现场可编程门阵列或其他半导体器件中的电路配置、或其他非暂时性有形计算机存储介质)，当在一个或多个计算机或其他处理器上执行时，这些程序执行实现上述本公开的各种实施例的方法。一个或多个计算机可读介质可以是可运输的，使得存储在其上的一个或多个程序可以加载到一个或多个不同的计算机或其他处理器上，以实现本公开的各个方面，如上所述。
术语“程序”或“软件”在本文中用来指任何类型的计算机代码或计算机可执行指令集，其可用于将计算机或其他处理器编程为实现本公开的各个方面，如上所述。此外，应当理解，根据该实施例的一个方面，当被执行时执行本公开的方法的一个或多个计算机程序不需要驻留在单个计算机或处理器上，而是可以以模块化方式分布在多个不同的计算机或处理器中，以实现本公开的各个方面。
计算机可执行指令可以是由一个或多个计算机或其他装置执行的多种形式，例如，程序模块。通常，程序模块包括例程、程序、对象、组件、数据结构等，其执行特定任务或实现特定抽象数据类型。通常，在各种实施例中，程序模块的功能可以根据需要组合或分布。
同样，数据结构可以以任何合适的形式存储在计算机可读介质中。为了简化说明，数据结构可以被示为具有通过数据结构中的位置相关的字段。这种关系同样可以通过在计算机可读介质中为字段的存储分配位置来实现，该计算机可读介质传达字段之间的关系。然而，可以使用任何合适的机制来建立数据结构字段中的信息之间的关系，包括通过使用指针、标签或建立数据元素之间的关系的其他机制。
本公开的各种特征和方面可以单独使用，以两种或多种的任意组合使用，或者以前述实施例中未具体讨论的各种设置使用，因此其应用不限于前述描述中阐述的或附图中示出的组件的细节和设置。例如，一个实施例中描述的方面可以以任何方式与其他实施例中描述的方面相结合。
此外，本文公开的概念可以体现为方法，其中，已经提供了其示例。作为该方法的一部分执行的步骤可以以任何合适的方式排序。因此，可以构建这样的实施例，其中，步骤以与图示的顺序不同的顺序执行，这可以包括同时执行一些步骤，即使在图示的实施例中显示为顺序步骤。
序数词(例如，“第一”、“第二”、“第三”等)在权利要求中用于修改权利要求元素，本身并不意味着一个权利要求元素优于另一权利要求元素的任何优先级、优先或顺序或者执行方法的步骤的时间顺序，而是仅仅用作标签来将具有特定名称的一个权利要求元素与具有相同名称的另一元素区分开来(但是用于序数术语)，以区分权利要求元素。
同样，本文使用的措辞和术语是出于描述的目的，不应被视为限制。本文使用“包括”、“包含”、“具有”、“含有”、“涉及”及其变体意味着包含其后列出的项目及其等同物以及额外项目。

Claims (35)

1.一种用于可视化临床试验场所性能的系统，其特征在于，包括：
存储可执行指令的至少一个非暂时性计算机可读介质；以及
至少一个处理器，所述至少一个处理器被所述可执行指令编程为：
访问与参与临床试验的多个试验场所相关的数据，对于所述多个试验场所中的每个试验场所，所述数据包括：
试验场所活动数据，所述试验场所活动数据针对多个时间间隔中的每个时间间隔，指示在时间间隔期间在所述试验场所处活动的人类受试者的数量；以及
试验场所质量数据，所述试验场所质量数据针对所述多个时间间隔中的每个时间间隔，指示根据至少一个试验场所质量度量的质量分数，其中，所述质量分数基于从在时间间隔期间在所述试验场所处活动的所述人类受试者收集的数据；并且
使得在至少一个显示器上呈现所述数据的至少一个视觉表示，其中，所述至少一个视觉表示包括多个区域，所述多个区域中的每个区域对应于所述多个试验场所中的相应试验场所，并且其中，对于所述多个区域中的至少一个区域：
所述多个区域中的所述至少一个区域包括多个子区域，所述多个子区域中的每个子区域对应于所述多个时间间隔中的相应时间间隔；
对于所述多个子区域中的每个子区域，所述子区域的大小指示在对应于所述子区域的所述时间间隔期间在对应于所述至少一个区域的所述试验场所处活动的所述人类受试者的数量；并且
对于所述多个子区域中的每个子区域，基于对应于所述至少一个区域的所述试验场所的质量分数和对应于所述子区域的所述时间间隔来提供视觉指示。
2.根据权利要求1所述的系统，其特征在于，对于所述多个子区域中的至少一个子区域，所述视觉指示包括基于所述质量分数选择的颜色。
3.根据权利要求2所述的系统，其特征在于，所述至少一个处理器被编程为：
通过将质量分数与至少一个阈值进行比较，来至少部分地选择所述颜色。
4.根据权利要求2所述的系统，其特征在于，所述视觉指示还包括基于所述质量分数选择的颜色强度。
5.根据权利要求1所述的系统，其特征在于，对于所述多个子区域中的至少一个子区域，所述视觉指示包括基于所述质量分数选择的填充图案。
6.根据权利要求5所述的系统，其特征在于，所述至少一个处理器被编程为：
通过将所述质量分数与至少一个阈值进行比较，来至少部分地选择所述填充图案。
7.根据权利要求5所述的系统，其特征在于，所述视觉指示还包括基于所述质量分数选择的填充图案密度。
8.根据权利要求1所述的系统，其特征在于，所述至少一个处理器被编程为：
使得基于相应试验场所的地理位置来设置所述多个区域。
9.根据权利要求1所述的系统，其特征在于，所述至少一个处理器被编程为：
使得基于相应的时间间隔按时间顺序布置所述至少一个区域的所述多个子区域。
10.根据权利要求1所述的系统，其特征在于，对于所述多个试验场所中的每个试验场所和所述多个时间间隔中的每个时间间隔，所述试验场所和所述时间间隔的所述质量分数基于在所述时间间隔期间在所述试验场所处观察到的异常事件的数量。
11.一种用于可视化临床试验场所性能的方法，其特征在于，包括以下步骤：
获得与参与临床试验的多个试验场所相关的数据，对于所述多个试验场所中的每个试验场所，所述数据包括：
试验场所活动数据，所述试验场所活动数据针对多个时间间隔中的每个时间间隔，指示在时间间隔期间在所述试验场所处活动的人类受试者的数量；以及
试验场所质量数据，所述试验场所质量数据针对所述多个时间间隔中的每个时间间隔，指示根据至少一个试验场所质量度量的质量分数，其中，所述质量分数基于从在时间间隔期间在所述试验场所处活动的所述人类受试者收集的数据；并且
提供至少一个视觉表示，其中，所述至少一个视觉表示包括多个区域，所述多个区域中的每个区域对应于所述多个试验场所中的相应试验场所，并且其中，对于所述多个区域中的至少一个区域：
所述多个区域中的所述至少一个区域包括多个子区域，所述多个子区域中的每个子区域对应于所述多个时间间隔中的相应时间间隔；
对于所述多个子区域中的每个子区域，所述子区域的大小指示在对应于所述子区域的所述时间间隔期间在对应于所述至少一个区域的所述试验场所处活动的所述人类受试者的数量；并且
对于所述多个子区域中的每个子区域，基于对应于所述至少一个区域的所述试验场所的质量分数和对应于所述子区域的所述时间间隔来提供视觉指示。
12.根据权利要求11所述的方法，其特征在于，还包括推荐干预措施以解决试验场所的质量问题的步骤。
13.根据权利要求11所述的方法，其特征在于，所述临床试验是正在进行的临床试验，并且其中，所述方法还包括由于质量问题而推荐从正在进行的临床试验或未来的临床试验中移除试验场所的步骤。
14.一种基于临床试验数据的视觉表示，其特征在于，所述视觉表示包括：
多个区域，所述多个区域中的每个区域对应于参与临床试验的多个试验场所中的相应试验场所，
其中，对于所述多个区域中的至少一个区域：
所述多个区域中的所述至少一个区域包括多个子区域，所述多个子区域中的每个子区域对应于多个时间间隔中的相应时间间隔；
对于所述多个子区域中的每个子区域，所述子区域的大小指示在对应于所述子区域的所述时间间隔期间在对应于所述至少一个区域的所述试验场所处活动的所述人类受试者的数量；并且
对于所述多个子区域中的每个子区域，基于对应于所述至少一个区域的所述试验场所的质量分数和对应于所述子区域的所述时间间隔来提供视觉指示，其中，所述质量分数基于至少一个试验场所质量度量，并且基于从在所述时间间隔期间在所述试验场所处活动的所述人类受试者收集的数据。
15.一种用于可视化临床试验场所性能的系统，其特征在于，包括：
存储可执行指令的至少一个非暂时性计算机可读介质；以及
至少一个处理器，所述至少一个处理器被所述可执行指令编程为：
访问与参与临床试验的多个试验场所相关的数据，所述数据包括：
试验场所活动数据，所述试验场所活动数据针对多个时间间隔中的每个时间间隔，指示在所述时间间隔期间在所述试验场所处活动的人类受试者的数量；以及
试验场所质量数据，所述试验场所质量数据针对所述多个时间间隔中的每个时间间隔，指示分别与多个试验场所质量度量相关联的多个质量分数，其中，所述多个质量分数中的至少一个质量分数基于从在所述时间间隔期间在所述试验场所处活动的所述人类受试者收集的数据；并且
使得在至少一个显示器上呈现所述数据的至少一个视觉表示，其中，所述至少一个视觉表示包括多个区域，所述多个区域中的每个区域对应于所述多个试验场所质量度量中的相应试验场所质量度量，并且其中，对于所述多个区域中的至少一个区域：
所述多个区域中的至所述少一个区域包括多个子区域，所述多个子区域中的每个子区域对应于所述多个时间间隔中的相应时间间隔；并且
对于多个子区域中的每个子区域，基于对应于所述至少一个区域的所述试验场所质量度量的相应质量分数和对应于所述子区域的所述时间间隔来提供视觉指示。
16.根据权利要求15所述的系统，其特征在于，对于所述多个子区域中的至少一个子区域，所述视觉指示包括基于相应质量分数选择的颜色。
17.根据权利要求16所述的系统，其特征在于，所述至少一个处理器被编程为：
通过将所述质量分数与至少一个阈值进行比较，来至少部分地选择所述颜色。
18.根据权利要求16所述的系统，其特征在于，所述视觉指示还包括基于所述质量分数选择的颜色强度。
19.根据权利要求15所述的系统，其特征在于，对于所述多个子区域中的至少一个子区域，所述视觉指示包括基于相应质量分数选择的填充图案。
20.根据权利要求19所述的系统，其特征在于，所述至少一个处理器被编程为：
通过将所述质量分数与至少一个阈值进行比较，来至少部分地选择所述填充图案。
21.根据权利要求19所述的系统，其特征在于，所述视觉指示还包括基于所述质量分数选择的填充图案密度。
22.根据权利要求15所述的系统，其特征在于，所述多个试验场所质量度量中的至少一个试验场所质量度量包括多元度量。
23.根据权利要求15所述的系统，其特征在于，对于所述多个时间间隔中的每个时间间隔，所述时间间隔的所述质量分数基于在所述时间间隔期间在所述试验场所处观察到的异常事件的数量。
24.根据权利要求15所述的系统，其特征在于，所述至少一个处理器还被编程为：
推荐干预措施，以解决所述试验场所的质量问题。
25.根据权利要求15所述的系统，其特征在于，所述临床试验是正在进行的临床试验，并且其中，所述至少一个处理器被进一步编程为：
由于质量问题，推荐从正在进行的临床试验或未来的临床试验中移除试验场所。
26.一种由根据权利要求15-25中任一项所述的系统执行的方法，其特征在于，在所述临床试验完成之前执行所述方法。
27.一种用于可视化临床试验场所性能的系统，其特征在于，包括：
存储可执行指令的至少一个非暂时性计算机可读介质；以及
至少一个处理器，所述至少一个处理器被所述可执行指令编程为：
访问与参与临床试验的多个试验场所相关的数据，对于所述多个试验场所中的每个试验场所，所述数据包括：
受试者状态数据，所述试验场所活动数据针对与试验场所相关联的多个受试者中的每个受试者，指示所述受试者在所述临床试验中的状态；
使得在至少一个显示器上呈现数据的至少一个视觉表示，其中，所述至少一个视觉表示包括多个区域，所述多个区域中的每个区域对应于所述多个试验场所中的相应试验场所，并且其中，对于所述多个区域中的至少一个区域：
所述多个区域中的所述至少一个区域包括多个标记，所述多个标记中的每个标记对应于所述多个受试者中的相应受试者；并且
对于所述多个标记中的每个标记，基于所述受试者在所述临床试验中的所述状态来提供视觉指示。
28.根据权利要求27所述的系统，其特征在于，对于所述多个标记中的至少一个标记，所述视觉指示包括基于所述受试者的所述状态选择的颜色。
29.根据权利要求28所述的系统，其特征在于，所述视觉指示还包括基于所述受试者的所述状态选择的颜色强度。
30.根据权利要求27所述的系统，其特征在于，对于所述多个标记中的至少一个标记，所述视觉指示包括基于所述受试者的所述状态选择的填充图案。
31.根据权利要求30所述的系统，其特征在于，所述视觉指示还包括基于所述受试者的所述状态选择的填充图案密度。
32.根据权利要求27所述的系统，其特征在于，所述至少一个处理器被编程为：
使得基于相应试验场所的地理位置来布置多个区域。
33.根据权利要求27所述的系统，其特征在于，所述至少一个处理器被编程为：
基于所述受试者的所述状态来推荐干预措施。
34.根据权利要求33所述的系统，其特征在于，所述干预包括重新训练所述受试者。
35.一种由根据权利要求27-34中任一项所述的系统执行的方法，其特征在于，在所述临床试验完成之前执行所述方法。
CN201880038078.9A 2017-05-09 2018-05-09 用于可视化临床试验场所性能的系统和方法 Pending CN110799100A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762503537P 2017-05-09 2017-05-09
US62/503,537 2017-05-09
PCT/US2018/031829 WO2018208936A1 (en) 2017-05-09 2018-05-09 Systems and methods for visualizing clinical trial site performance

Publications (1)

Publication Number Publication Date
CN110799100A true CN110799100A (zh) 2020-02-14

Family

ID=64105486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880038078.9A Pending CN110799100A (zh) 2017-05-09 2018-05-09 用于可视化临床试验场所性能的系统和方法

Country Status (9)

Country Link
US (1) US10854319B2 (zh)
EP (1) EP3634228A4 (zh)
JP (1) JP2020520024A (zh)
KR (1) KR20200005587A (zh)
CN (1) CN110799100A (zh)
AU (1) AU2018266817B2 (zh)
CA (1) CA3062837A1 (zh)
MX (1) MX2019013229A (zh)
WO (1) WO2018208936A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10978179B2 (en) 2018-03-28 2021-04-13 International Business Machines Corporation Monitoring clinical research performance
JP7403884B2 (ja) * 2020-02-26 2023-12-25 ブライト クリニカル リサーチ リミテッド オン・ゴーイング・クリニカル・トライアルを動的にモニタリングおよびガイドするためのレーダーシステム
US20220359048A1 (en) * 2021-05-05 2022-11-10 Iqvia Inc. Ai and ml assisted system for determining site compliance using site visit report
CN114443695A (zh) * 2022-01-27 2022-05-06 青岛震游软件科技有限公司 一种大数据的分析方法及系统
KR102619062B1 (ko) * 2022-10-18 2023-12-28 (주)메디아이플러스 임상시험 데이터 시각화 장치 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873589B2 (en) * 2001-04-02 2011-01-18 Invivodata, Inc. Operation and method for prediction and management of the validity of subject reported data
US20050038692A1 (en) * 2003-08-14 2005-02-17 Kane John Michael System and method for facilitating centralized candidate selection and monitoring subject participation in clinical trial studies
US8034002B2 (en) * 2005-03-17 2011-10-11 Coifman Robert E Apparatus and method for intelligent electronic peak flow meters
US20130232263A1 (en) * 2009-12-18 2013-09-05 Morningside Analytics System and method for classifying a contagious phenomenon propagating on a network
US20120053995A1 (en) * 2010-08-31 2012-03-01 D Albis John Analyzing performance and setting strategic targets
US20130060599A1 (en) * 2011-09-01 2013-03-07 Aon Consulting, Inc. People Risk Portal
US20130311196A1 (en) * 2012-05-18 2013-11-21 Medtronic, Inc. Establishing Risk-Based Study Conduct
US9449794B2 (en) 2012-07-20 2016-09-20 Applied Materials, Inc. Symmetrical inductively coupled plasma source with side RF feeds and spiral coil antenna
EP2906108A4 (en) * 2012-10-12 2016-06-22 Analgesic Solutions TRAINING METHODS FOR IMPROVING PAIN ASSESSMENT IN CLINICAL TRIAL SUBJECTS
US8706537B1 (en) * 2012-11-16 2014-04-22 Medidata Solutions, Inc. Remote clinical study site monitoring and data quality scoring
US20140375650A1 (en) * 2013-06-24 2014-12-25 Quintiles Transnational Corporation Systems and methods for data visualization

Also Published As

Publication number Publication date
AU2018266817B2 (en) 2022-05-19
US10854319B2 (en) 2020-12-01
MX2019013229A (es) 2020-09-18
KR20200005587A (ko) 2020-01-15
EP3634228A4 (en) 2021-01-27
US20200082920A1 (en) 2020-03-12
EP3634228A1 (en) 2020-04-15
WO2018208936A1 (en) 2018-11-15
CA3062837A1 (en) 2018-11-15
JP2020520024A (ja) 2020-07-02
AU2018266817A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
Ewusie et al. Methods, applications and challenges in the analysis of interrupted time series data: a scoping review
CN110799100A (zh) 用于可视化临床试验场所性能的系统和方法
CA2890822C (en) Method and apparatus for remote site monitoring
Stol et al. Technology diffusion of anesthesia information management systems into academic anesthesia departments in the United States
Lachmann et al. Strategic management accounting practices in hospitals: Empirical evidence on their dissemination under competitive market environments
Hamar et al. Well-being improvement in a midsize employer: changes in well-being, productivity, health risk, and perceived employer support after implementation of a well-being improvement strategy
US20230335249A1 (en) Systems and methods for a comprehensive online health care platform
US20140324553A1 (en) Computer-Assisted Method for Adaptive, Risk-Based Monitoring of Clinical Studies
US20160275269A1 (en) Methods for central monitoring of research trials
Nau Measuring pharmacy quality
Giardina et al. Inviting patients to identify diagnostic concerns through structured evaluation of their online visit notes
US20130117037A1 (en) Goal Tracking and Segmented Marketing Systems and Methods with Network Analysis and Visualization
Bayman et al. AAAPT: Assessment of the acute pain trajectory
Bose et al. Trial analytics-a tool for clinical trial management
Hunsen et al. On the fulfillment of coordination requirements in open-source software projects: An exploratory study
Bruckel et al. The denominator problem: national hospital quality measures for acute myocardial infarction
Mansfield et al. Using a quantitative risk register to promote learning from a patient safety reporting system
Luzi et al. Economic evaluation of health IT
Ebbers et al. Quantifying the electronic health record burden in head and neck cancer care
Benneyan et al. Illustration of a statistical process control approach to regional prescription opioid abuse surveillance
Senthilkumaran et al. Role of data mining on pharmaceutical industry-a survey
US20140330615A1 (en) Risk estimation of inspection sites
US20230186224A1 (en) Systems and methods for analyzing and optimizing worker performance
Tian Reliability measurement, analysis, and improvement for large software systems
Beinlich Data Management and Analytics to Drive COVID Response

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40025033

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200214

WD01 Invention patent application deemed withdrawn after publication