CN112133388A - 计算机实现的方法和系统 - Google Patents

Abstract

本发明涉及计算机实现的方法和系统。本说明书中所描述的主题的方面体现在如下的系统和方法中，该系统和方法利用机器学习技术以使用被训练为识别表示与临床试验调查相关联的不良事件的异常的一个或多个学习模型来评价临床试验数据。在一些实现中，获得在临床试验场所收集到的调查数据。选择与临床试验场所相对应的模型集。模型集中所包括的各模型被训练为基于在临床试验场所收集到的历史调查数据来识别用于指示与调查数据相关联的依从性风险的一个或多个指标的不同的集合。基于调查数据相对于历史调查数据来确定临床试验场所的评分。评分表示调查数据与表示依从性风险的至少一个指标相关联的可能性。

Description

计算机实现的方法和系统

技术领域

本说明书涉及用于进行数据分析、更具体地涉及用于进行预测分析的技术。

背景技术

数据聚合可以包括编译来自多个不同源的数据。根据正编译的数据所来自的源的特性，可能存在处理数据以识别数据模式的挑战。例如，从异构数据源获得的数据可以是不同的不兼容格式，这需要显著的处理能力来生成用于产生纵向映射(longitudinalmapping)的索引。此外，可能存在限制对来自某些提供方的数据的访问的约束或其它因素。一旦从多个不同的异构源获得数据，就可能很难在用户界面中有效地呈现该数据，特别是在所获得的数据将基于各用户而不同的情况下。

发明内容

一般来说，本说明书中所描述的主题的创新方面可以体现在如下的系统和方法中，该系统和方法利用机器学习技术，通过应用被训练为识别表示与临床试验调查相关联的不良事件的异常的一个或多个学习模型来处理和评价临床试验数据。例如，在一些实例中，系统应用学习模型以检测参加临床试验的患者的医疗记录中所存在的数据异常。在其它实例中，系统应用学习模型以确定由于对与疾病状况的处置相关联的不良事件的低估(underreporting)、延迟报告或缺少报告而导致的、与临床试验相关联的依从性风险的可能性。

在一个一般方面中，本说明书中所描述的主题可以体现在如下的方法中，该方法包括以下的操作：获得在临床试验场所收集到的调查数据；选择与所述临床试验场所相对应的模型集，其中，所述模型集中所包括的各模型被训练为基于在所述临床试验场所收集到的历史调查数据来识别用于指示与所述调查数据相关联的依从性风险的一个或多个指标的不同的集合；使用所述模型集，基于所述调查数据相对于所述历史调查数据来确定所述临床试验场所的评分，其中，所述评分表示所述调查数据与表示所述依从性风险的至少一个指标相关联的可能性；以及基于所述临床试验场所的评分来向所述临床试验场所提供所述依从性风险的指示。

这些和其它版本可以各自可选地包括以下特征中的一个或多个。例如，在一些实现中，所述依从性风险与由所述模型集识别为表示与所述调查数据相关联的监管机构所指定的不良事件的数据记录的子集相关联。

在一些实现中，所述依从性风险指示所述数据记录的子集中所包括的所有数据记录尚未被报告给所述监管机构。

在一些实现中，所述依从性风险指示所述数据记录的子集中所包括的一个或多个数据记录尚未被报告给所述监管机构。

在一些实现中，所述依从性风险指示所述数据记录的子集可能在超过用于报告所述不良事件的阈值时间段的时间段内被报告给所述监管机构。

在一些实现中，用于报告所述不良事件的阈值时间段由(i)发现所述不良事件的第一时间点、以及(ii)所述不良事件被报告给所述监管机构的第二时间点来定义。

在一些实现中，所述模型集包括：第一模型，其被训练为识别表示所述依从性风险的一个或多个指标的第一集合；以及第二模型，其被训练为识别表示所述依从性风险的一个或多个指标的第二集合。在这样的实现中，确定所述临床试验场所的评分包括以下的操作：基于相对于所述一个或多个指标的第一集合处理所述调查数据，来确定所述调查数据的第一子评分；基于相对于所述一个或多个指标的第二集合处理所述调查数据，来确定所述调查数据的第二子评分；以及组合所述第一子评分和所述第二子评分以确定所述临床试验场所的评分。

在一些实现中，所述方法还包括以下的操作：判断为所述第一模型所提供的输出与所述第二模型所提供的输出相比可能具有更高的准确率。另外，基于判断为所述第一模型所提供的输出与所述第二模型所提供的输出相比可能具有更高的准确率，所述方法还包括：向所述第一子评分分配第一权重；以及向所述第二子评分分配第二权重，其中，所述第一权重的值超过所述第二权重的值。在这样的实现中，组合所述第一子评分和所述第二子评分以确定所述临床试验场所的评分包括：基于被分配给所述第一子评分的第一权重和被分配给所述第二子评分的第二权重来组合所述第一子评分和所述第二子评分。

在一些实现中，所述方法还包括以下的操作：判断为所述评分满足阈值；以及基于判断为所述评分满足阈值而判断为所述临床试验场所是风险相关临床场所。

在一些实现中，阈值的值由访问调查数据的用户指定。

在一些实现中，选择与所述临床试验场所相对应的模型集包括以下的操作：确定与所述临床试验场所相关联的一个或多个属性；识别模型集，所述模型集中的各模型被训练为处理表示所述一个或多个属性的数据；针对所述模型集中所包括的各模型，计算反映通过模型所生成的预测与所述调查数据相关的可能性的相关度评分；以及从所述模型集中选择被确定为具有满足阈值的相关度评分的模型子集。

在另一一般方面中，本说明书中所描述的主体可以体现在如下的方法中，该方法包括以下的操作：从一个或多个数据库获得临床试验的医疗记录；识别与所述医疗记录相关联的一个或多个查找参数；基于所述一个或多个查找参数来选择用于评价所述医疗记录的指标集，其中，所述指标集中所包括的各指标指定表示所述临床试验的医疗记录中所包括的医疗记录的可能异常的不同条件；从所述医疗记录中确定医疗记录的子集，其中，所述医疗记录的子集由如下的模型辨识，该模型被训练为识别满足所述指标集所指定的条件中至少之一的医疗记录；使用所述模型来确定所述医疗记录的子集中所包括的各医疗记录的评分；以及提供指示所述评分的数据以供输出。

这些和其它版本可以各自可选地包括以下特征中的一个或多个。例如，在一些实现中，针对所述医疗记录的子集确定的评分体现的是，所述医疗记录的子集中所包括的医疗记录表示与所述临床试验相关联的不良事件的相应可能性。

在一些实现中，所述一个或多个查找参数包括指示与所述临床试验相关联的药物的查找参数。

在一些实现中，所述指标集包括指定所述药物的预期剂量的指标。

在一些实现中，所述医疗记录的子集包括与由所述模型识别为正被开具超过所述药物的预期剂量的药物剂量的患者相关联的医疗记录。

在一些实现中，所述一个或多个查找参数包括指示与所述临床试验相关联的疾病状况的查找参数。

在一些实现中，所述指标集包括指定针对所述疾病状况的预期处置计划的指标。

在一些实现中，所述医疗记录的子集包括与由所述模型识别为正偏离针对所述疾病状况的预期处置计划的处置事件相关联的医疗记录。

其它版本包括被配置为进行编码在计算机存储装置上的方法的动作的相应系统、设备和计算机程序。

本说明书中所描述的主题的一个或多个实现的细节在以下的附图部分和具体实施方式部分中阐述。根据具体实施方式部分、附图部分和权利要求书部分可以明显看出本主题的其它潜在特征、方面和优点。

附图说明

图1示出针对从多个异构数据源获得的数据计算优化数据预测的系统的示例。

图2示出图1中所描绘的系统可以应用的数据处理技术的示例。

图3A～C示出用于检测与临床试验相关联的电子医疗记录中的异常的技术的示例。

图4A～D示出用于预测由于与不良事件相关联的可能性而导致的与临床试验相关联的依从性风险的技术的示例。

图5是可以实现本文所述的处理或其部分的计算装置的框图。

在附图中，相同的附图标记始终表示相应的部件。

具体实施方式

图1示出可以使用一个或多个经训练的模型来处理和/或评价临床试验数据以识别表示不良事件的异常的系统100的示例。系统100包括服务器110、数据库120以及通过网络105来交换通信的客户端装置130。服务器110还包括数据处理模块112、数据聚合模块114、数据分析模块116、模型选择器118和预测模块119。数据库120存储与数据库系统集相关联的调查数据122、医疗记录数据124和学习模型126。

如贯穿全文所述，“不良事件”是指对于进行中的临床试验调查表现出科学或医学关注的任何事件。例如，根据联邦药品管理局(FDA)对临床试验的指导，不良事件可以表示对于在药品开发中使用医药产品处置疾病状况的进行中的监视期间所识别出的事件，并且对寻求医疗处置的患者构成威胁。在临床试验调查期间识别和报告不良事件已经是临床试验和上市后药物警戒期间的常见实践。

在一些实例中，管理临床试验的赞助组织或监管实体可能对调查者(或调查组织)提出要求，要求监视和/或报告在进行中的临床试验期间识别出的任何不良事件。如果不满足这样的要求，则赞助组织或监管实体可以判断为调查者在临床试验期间对不良事件进行了不令人满意的报告或监视。作为示例，不令人满意的不良事件报告通常涉及不报告(例如，未能报告所识别出的不良事件)、低估(例如，提供与所识别出的不良事件相关联的不充分或部分的信息)或延迟报告(例如，未能以及时的方式报告所识别出的不良事件，这对参与临床试验的患者施加健康风险)。

一般来说，系统100获得、处理和聚合从多个异构数据库系统获得的加密临床试验数据流，并且使用该数据(例如，在人为干预最小或没有人为干预的情况下)进行各种类型的自动预测。例如，系统100可以应用学习模型126来识别可能存在于医疗记录数据124中的任何数据异常。作为另一示例，系统100可以应用学习模型126来确定在调查数据122中识别出的模式可以为相关临床试验创建依从性风险的可能性。与调查数据122相关联的预测使得临床试验调查者(或管理临床试验的实体)能够识别具有低估不良事件的高风险的临床试验场所。评价医疗记录数据124以识别数据异常可用于在临床试验场所之间以及在涉及多个临床试验场所的研究之间产生准确且一致的结果。

现在参考系统100的组件，服务器110可以是服务提供方(例如，数据服务提供方)的装置，其使得能够访问和聚合临床试验数据(诸如贯穿本说明书所述的临床试验数据等)。服务器110可以包括一个或多个处理器、用于存储使这些处理器进行如以下所讨论的某些数据处理操作的指令的一个或多个存储装置(例如，数据库120)。

服务器110与数据库120通信以进行贯穿全文所述的各种操作。例如，服务器110可以通过网络105从多个异构数据库系统140获得调查数据122和/或医疗记录数据124。服务器110可以获得作为更新流的数据，其中数据包通过网络105从数据库系统140被周期性地发送至服务器110。在一些实现中，基于服务器110在某些时间段内执行的数据库查询(例如，结构化查询语言(SQL)查询)来获得事务数据，其中该数据库查询使得提取多个数据库系统140中的每个内所存储的事物数据以存储在数据库120内。

服务器110处理从数据库系统140获得的数据，并将处理后的数据存储在数据库120内作为调查数据122和医疗记录数据124。从数据库系统140获得的数据可以包括多种不兼容格式的加密数据流。例如，可以从使用不同加密技术对所存储的个人可识别的患者信息进行去识别的两个数据库系统获得医疗记录数据。在其它示例中，可以以使用不同数据导入技术(例如，导入“.Zcsv”或“.txt”文件)处理的不同文件格式来获得不同临床试验的调查数据。在一些其它示例中，从多个数据库系统140获得的数据可以具有对数据字段如何被导入数据库120施加约束的不同数据库模式和/或逻辑组织。

服务器110可以处理数据流内所包括的数据字段(或数据包)，以例如对用于计算各种度量的事务信息进行解密。其它操作可以包括生成纵向映射，该纵向映射使得能够实现不同数据库系统之间的数据预测映射。例如，在多个数据库系统140内被不同地标记和/或索引的相应数据字段可以在识别相应数据字段的纵向映射中彼此关联。然后，服务器110可以使用纵向映射来识别相应数据字段，以进行涉及来自多个事务源的事务信息的预测。例如，服务器110可以使用如下的纵向映射，该纵向映射使患者访视字段和临床试验标识符相关联以确定与例如地理区域内的进行中的临床试验相关联的患者访视的总数。

服务器110还可以生成聚合数据结构，该聚合数据结构以更易访问的格式高效地存储所获得的信息。例如，服务器110可以提取从多个数据库系统140获得的原始医疗记录数据的部分，并将所提取的部分存储在数据库120的单个行和/或列中。在该示例中，作为按事务源排列所获得的事务数据的替代，服务器110而是按数据字段(与事务源无关地)排列所获得的事务数据，这可以用于减少进行涉及从多个事务源累积信息的预测所需的数据库查询的数量。

例如，服务器110可以调用单个数据库查询来访问存储在聚合数据结构的行和/或列内的相关医疗记录数据，而不是需要多个数据库查询来从多个数据结构访问相同类型的数据。这可以通过生成索引数据库记录来实现，该索引数据库记录使得服务器110能够过滤、搜索和/或并行处理从多个异构数据源获得并存储在聚合数据结构内的处理后数据。这种配置可以通过触发标准以使得仅针对与所触发的标准相关联的范围的子集生成数据结构来组织。另外，该数据结构可被配置为在排除被判断为在该范围上缺少影响的值的同时，添加并索引有影响的值。对于各上下文、即在系统100上调用一个或多个触发条件的配置，可以针对不同的学习模型应用不同的功能。本文内设想了其它类型的数据处理操作，并且以下将详细描述这些操作。

服务器110所进行的数据处理技术可以用于使用从多个数据库系统140获得的数据来改进服务器110和系统100的其它计算装置所进行的各种操作。例如，如上所述，服务器110可以处理所获得的数据，使得从不同数据库系统(例如，健康提供方系统、医疗设施系统、电子医疗记录系统等)获得的多个加密事务信息(例如，临床试验调查数据、患者健康数据、开处方者处方数据、医药分销数据等)被处理为使得存储事务信息的数据字段被重新组织并聚合到对与特定数据索引(例如，调查者标识符、患者标识符等)相关联的信息进行编译的数据库结构中。

如以上所讨论的，新生成的数据库结构使得服务器110或系统100的其它装置能够更高效地存储相关临床试验数据(例如，用于识别被反映为度量的趋势和/或模式的数据)。例如，使用上述的数据处理技术，服务器110可以仅存储所获得事务数据的可能反映例如不良事件和/或处置模式的子集，并丢弃其它类型的信息(例如，不可能与其它数据库系统相关的源特定数据)，从而减少数据库120上所需的、用以充分地将所获得的数据存储为纵向数据的总存储空间。这可以使用服务器110用来自动地(例如，在没有人为干预的情况下)从存储与要计算的特定度量相关的数据的多个事务源中识别数据字段的已知数据字段标识符和/或术语的集合来实现。

例如，在评价与特定临床试验相关联的一组临床试验调查者的处置模式以识别可能的数据异常时，服务器110可以使用相关数据字段标识符(例如，“处置”、“评价”等)来识别可能包括调查数据的数据字段以及不太可能表示异常的非相关数据字段标识(例如，“性别”、“年龄”、“民族”等)。所识别出的数据字段可以用于滤除包括不可能与识别数据异常相关的患者人口统计信息的数据字段。在其它实现中，服务器110可以基于使用各数据字段内所存储的数据的数据类型(例如，文本数据、数值数据等)、与各数据字段相关联的数据类型限制(例如，小数、整数、字母数字)等来识别相关字段。

作为另一示例，使用上述的技术，服务器110生成数据指标集，该数据指标集然后可用于在某些时间段内进行诸如聚合调查数据等的数据预测操作以计算度量时更快地访问调查数据122和/或医疗记录数据124内所存储的事务数据。通过对数据库120内的、从多个数据源获得的数据(其通常以如上所讨论的不兼容格式存储)进行重新组织和标准化，可以减少进行这些数据操作所需的计算资源。例如，在对数据库120中所存储的数据进行预测时，相对于从自多个数据库系统140以解聚格式获得的各数据文件中获得相关事务信息可能需要的数据库查询的数量，需要执行以获得相同信息的数据库查询的数量可以减少。

在另一示例中，通过使用逻辑地排列从多个事务源获得的相应数据字段的聚合数据结构(与根据各事务源排列数据相对照)，服务器110可以减少访问事务数据所需的查询序列。例如，在实时进行数据预测时，缺少聚合数据结构可能需要执行用以访问从多个事务源获得的数据的第一查询、用以对所获得的数据进行过滤以识别相关数据字段的第二查询、用以从数据库的不同位置获得所识别出的数据的第三查询、以及用以将所获得的数据移动到存储器中以进行指定数据操作的第四查询。与此相对，通过使用上述的聚合数据结构，服务器110可以运行单个查询来访问聚合数据结构内所存储的数据，该数据被预定为包括与多个事务源相关联的相应数据字段、并且被排列为使得仅相关数据被存储在聚合数据结构内。

服务器110可以与服务提供方相关联，该服务提供方使得能够管理对健康护理提供方网络内的实体(例如，开处方者、患者、健康护理设施、健康管理组织、医药制造商、医药分销商等)的事务数据的访问。例如，服务器110可以允许独立于与数据库系统140相关联的组织的第三方数据提供方根据适用的监管要求(例如，按照健康保险携带和责任法案(HIPAA)所施加的数据隐私要求)来管理、托管和控制对事务数据的访问。在该示例中，事务数据由第三方数据提供方维护，该第三方数据提供方基于与雇主的协议向雇员提供服务。因此，服务器110可以作为能够从不同的独立组织访问临床试验数据的中间装置而工作。所访问的事务数据可以被聚合并呈现在通过客户端装置130呈现的用户界面上。

数据库120存储各种类型的临床试验数据，诸如从包括数据库系统140a、140b和140c的多个数据库系统140获得的调查数据122等。数据库120还存储与例如参加与数据库系统140相关联的临床试验的患者相关联的医疗记录数据124。

数据库120还存储学习模型126，该学习模型126用于评价所存储的数据以进行数据预测，诸如检测医疗记录数据124中的数据异常或确定在调查数据122内存在依从性风险的可能性。参考图2来描述由服务器110的组件进行的、与数据库120中所存储的数据相关的操作。学习模型126可以指定服务器110可以应用以计算数据度量的不同统计技术。例如，学习模型126可以指定对用于预测所跟踪的数据参数在随后的时间的进展的不同分类器的使用。学习模型126可以包括针对表征基础数据分布的一个或多个数据参数进行特定假设的参数模型、进行较少数据假设的非参数模型、以及组合参数模型和非参数模型的方面的半参数模型。这些模型的示例可以包括在预测分析中经常使用的贝叶斯理论模型、梯度提升机器模型、深度学习模型等。

学习模型126可以用于计算贯穿全文所述的度量。各学习模型指定利用电子数据内的数据模式和/或趋势来预测某种状况(例如，过度的开处方活动、不良事件的风险等)的发生的一个或多个预测分析技术的集合。在一些实例中，各学习模型被训练为应用替代预测分析技术来计算相应度量。在这方面，在计算度量时，系统100从多个学习模型中选择特定学习模型。如以下详细所述，系统100可以使用各种类型的数据属性来确定在计算度量时要选择哪个学习模型。这些技术可以用于改进例如计算度量所需的计算资源。

学习模型126可以是嵌套的或集中的。例如，可以在数据库中出现的第一值范围内使用第一模型。然而，可以使用特定上下文(例如，输入值)以针对判断为第二学习模型与预测值对齐的情况开发和调用更准确的学习模型。也就是说，在较宽范围内具有弱相关性的替代模型实际上可以与触发条件的子集内的较强相关性相关联。触发条件可以动态地被识别为表示较强相关性以及因此不同学习模型的使用的基础。然后，系统100可被配置为调用这些触发条件以使用不同的学习模型处理新接收的值。这种配置可以实现计算效率，因为新引入的学习模型仅基于选择被调用。这种调用还可以限制所需的大小存储，因为无需针对所有上下文和输入存储与不同学习模型相关联的结果。

客户端装置130可以是任何类型的支持网络的计算装置，其提供最终用户感知被提供以供例如服务器110输出的数据所经由的界面。例如，客户端装置130可以是智能电话、膝上型计算装置、台式计算装置、平板计算装置、智能可穿戴装置等中的一个或多个。在客户端装置130上提供以用于输出的界面可以通过在客户端装置130上运行的本机应用(例如，从内容存储获得的移动应用)或者通过网页(例如，通过与数据库120内所存储的客户账户相关联的基于web的用户门户)来呈现。

图2是描绘了图1中描绘的系统100所使用的示例性数据处理技术的示意图。在描绘的示例中，操作由服务器110的组件(例如，数据处理模块112、数据聚合模块114、数据分析模块116、模型选择器118和/或预测模块119)进行。在其它合适的实现中，在图2中描绘并在以下详细描述的一个或多个操作可以由系统100的其它组件(例如，客户端装置130)、或者在外部由与系统100通信的其它装置(例如，通过网络105与服务器110通信的外部服务器)进行。

一般来说，数据处理模块112从多个数据库系统(例如，数据库系统140a、140b和140c)获得加密临床试验数据流。例如，所获得的数据可以包括调查数据122。调查数据122可以是被处理和/或评价以判断正在临床试验场所进行的临床试验是否呈现一个或多个依从性风险的信息。调查数据122的示例包括但不限于由参与进行中的临床试验的调查者收集到的处置模式、正在进行的临床试验的类型(例如，药品功效试验)、调查者在患者访视期间收集到的处置数据、与处置相关联的处方数据、调查者在临床试验场所进行临床试验时要遵循的方案、或者患者风险或其它不良事件的识别。调查数据122还包括医疗记录数据124(例如，参加进行中的临床试验的患者的医疗病史)。

在一些实现中，所获得的数据可以包括其它类型的数据，诸如开处方者数据(例如，由个人开处方者在指定时间段内提供的处方的数量、由个人开处方者提供的处方的类型)、市场人口统计数据(例如，获得开处方者数据的地理区域内的开处方者的数量、该地理区域内的医药分销数据、独立于获得开处方者数据的个人开处方者的数据)、以及开处方者特定数据(例如，实践年数、健康护理设施附属机构、可能影响开处方行为和/或模式的其它类型的开处方者属性)等。

在处理所获得的事务数据时，数据处理模块112可以针对被判断为与基于进行数据预测而计算出的统计度量相关的指定事务信息，对所获得的数据进行过滤和/或挖掘。例如，数据处理模块112可以通过进行一个或多个数据库访问查询来获得原始数据(例如，以未处理格式存储在数据库系统140处的数据)。数据处理模块112可以针对跟踪一个或多个数据参数(例如，在临床试验场所识别出的不良事件的数量、正在临床试验中调查的医药产品的平均给药剂量等)具体所需的数据，对原始数据进行过滤。未被判断为与跟踪数据参数相关的数据可被丢弃(例如，不被存储在数据库120中)，使得与进行贯穿全文所述的技术相关联的存储要求降低。

如上所述，数据处理模块112还对所获得的数据内的数据字段进行索引，以使得能够跟踪数据参数。例如，数据处理模块112可以生成标识符并将其分配给数据字段，该数据字段然后被数据聚合模块114用于生成纵向映射，其中该纵向映射使从不同数据库系统获得的数据的数据字段相关联，但是包括如上所述的相关和/或关联的信息。例如，数据处理模块112可以针对各临床试验调查者(或临床试验场所)生成标识符，使得从多个数据库系统140获得的个体调查者(或个体临床试验场所)的事务数据被索引到特定标识符，其中该特定标识符可以用于使得个体调查者或个体临床试验场所能够对所获得的临床试验数据进行分割。数据处理模块112生成调查数据122和医疗记录数据124，其表示被发送至数据聚合模块114的索引数据。

数据聚合模块114处理调查数据122和/或医疗记录数据124内所包括的数据字段，以生成聚合数据104。例如，数据聚合模块114可以使用在调查数据122和医疗记录数据124内识别出的索引来生成数据库120内的纵向映射，该纵向映射使从不同数据库系统获得的临床试验数据的数据字段相关联。在该示例中，数据聚合模块114可以生成仅包括与纵向映射相关联的数据字段的新数据库结构(例如，新数据库表)。以这种方式，聚合数据104表示从多个异构数据源获得的临床试验数据，该临床试验数据已经相对于各种类型的层次级别(例如，个体调查者、个体临床试验场所、在多个临床试验场所进行的个体药品试验等)被过滤、分类和分割。

在一些实现中，聚合数据104可以利用表示不同的临床试验数据级别的层次数据模式。例如，系统可以获得个体调查者、以及由相同的赞助组织管理或在相同的临床试验场所进行临床试验的一组调查者的临床试验数据。在这些示例中，数据聚合模块114将个体调查者的临床试验数据存储在临床试验场所的临床试验数据之下的层次级别内的聚合数据104中，使得数据冗余减少。

数据分析模块116处理聚合数据104的内容，以识别在一段时间内周期性地监视的数据趋势和/或数据参数模式。例如，数据分析模块116可以周期性地(例如，每周、每月等)计算数据参数的值。每次进行这样的计算时，数据分析模块116对聚合数据104的内容进行过滤以确定数据参数的当前值。由于从数据库系统140周期性地获得事务数据流，因此可以使用数据参数的周期性计算来识别指示数据趋势的进展。数据分析模块116生成评价标准106，该评价标准106包括指标的集合以及随时间推移的指标的进展。

作为示例，指标可以是用于确定调查数据122指示依从性风险的可能性的数据属性。例如，指标可以用于关于正在临床试验场所进行的临床试验确定已经发生或者将发生不良事件的可能性。在其它实例中，指标可以用于确定与不良事件的报告相关联的其它类型的可能性，诸如不良事件没有正被报告的可能性、不良报告被漏报的可能性、或者不良事件在不合理的延迟之后被报告的可能性等。

作为另一示例，指标可以表示满足一个或多个条件的数据属性，该一个或多个条件表示临床试验的医疗记录中所包括的医疗记录的可能异常(例如，医疗记录中引用的受试者的可能异常)。例如，指标可以识别并非参与临床试验的预期副作用的疾病状况，该疾病状况可以用于判断为对于表现出该疾病状况的症状的患者，医疗记录数据表示可能的异常。在其它实例中，指标可以指定在药品试验期间允许给予的药品的剂量范围。在这些实例中，指标可以用于识别指示已经接收了超出指定剂量范围的剂量的患者的医疗记录数据，该医疗记录数据可以用于判断为与患者相关联的处置模式可能表示药品试验的异常。

模型选择器118从学习模型126中选择学习模型108以应用于评价临床试验数据。学习模型108可以基于在评价标准106内识别出的、被识别为与临床试验或临床试验场所相关的指标、特征和/或属性来选择。例如，如果临床试验涉及药品功效的调查，则可以训练学习模型108以识别与药品安全、剂量限制、或者非预期疾病状况或副作用相关联的医疗记录数据124内的异常。

在一些实现中，模型选择器118可以附加地或替代地使用评分方案来从学习模型集126中选择学习模型。评分可以表示给定学习模型将生成与评价标准106中所指定的指标或特征相关的输出的可能性。在该示例中，可以应用评分阈值以仅选择被判断为具有满足阈值的评分的模型，或者替代地选择具有最高评分的模型。在其它示例中，评分可以是表示关于使用学习模型集126中所包括的各模型生成的预测的准确率的初步评估的置信度评分。例如，相对于期望生成较不准确的预测的学习模型，预期生成更准确的预测的学习模型可被分配较高的评分值。

在一些实现中，模型选择器118可以使用动态分类规则，该动态分类规则基于例如被识别为针对特定临床试验或临床试验场所相关的指标来指定学习模型126内的学习模型的选择。例如，如果评价标准106包括医疗记录数据124的评价中所要使用的指标集，则动态分类规则可以指定用于识别与临床试验相关联的可能异常的第一学习模型的选择。如果评价标准106指示用于识别不良事件并报告对于不良事件的要求的不同指标集，则动态分类规则可以指定用于确定与临床试验相关联的依从性风险的第二学习模型的选择。在一些实例中，模型选择器118可以选择多个学习模型来同时进行不同类型的预测分析。例如，模型选择器118可以选择第一模型和第二模型这两者来并行地评价医疗记录数据124以及调查数据122，并提供临床试验的综合评估。以这种方式，学习模型的选择可以用于定制和/或自定义应用于评价临床试验数据并基于评价来生成预测的预测分析。

在其它示例中，动态分类规则可以基于在评价标准106内识别出的临床试验数据的类型来指定学习模型的选择。例如，相比于与医疗记录数据124相关的临床试验数据，表示调查数据122的临床试验数据可以使用不同的学习模型来建模。在这些示例中，各学习模型可以使用应用于特定类型的临床试验数据的交叉验证技术来开发。例如，临床试验模型可以通过应用于具有已知度量的分离数据集以测量使用学习模型生成的预测的准确率来交叉验证。另外，可以针对竞争场景来评价实时度量。

作为示例，可以使用包括在四年时间段内收集到的临床试验数据的训练数据集来验证使用一年时间段所用的学习模型预测的度量。在该示例中，系统可以使用在前三年收集到的数据作为用于开发和/或训练学习模型的开发数据，并且在第四年收集到的临床试验数据可以用作验证数据，该验证数据用于对使用例如第五年所用的学习模型进行的任何预测进行交叉验证。另外，整个数据集(例如，在四年时间段内收集到的数据)可以用作测试数据集，该测试数据集用于在一旦开发并验证了学习模型，就在部署环境中测试该模型。在此阶段期间，系统针对先前未被用于开发、验证或训练学习模型的临床试验数据(例如，不同数据集)评估使用该学习模型进行的预测的准确率。

在一些实现中，可以将一个或多个新的学习模型添加到学习模型集126，以促进系统100所要应用的更详细或精细的学习模型的逐步开发。也就是说，如果先前由现有学习模型计算出的度量被判断为不准确的，则可以将用于实现更精确的预测分析技术的类似学习模型引入到学习模型集126中，以改进随后对临床试验数据进行评价时的整体预测性能。

预测模块119对聚合数据104生成一个或多个预测，并基于应用所选择的学习模型108来计算度量。例如，预测模块119可以应用由所选择的学习模型108指定的回归和/或预测技术来计算表示一个或多个预测的度量。预测的示例包括判断调查数据122和/或医疗记录数据124是否可能包括不良事件、判断调查数据122是否呈现与不良事件相关的某种类型的依从性风险、识别医疗记录数据124内的数据异常等。

由预测模块119计算出的度量可以表示不同类型的数据预测或评价。例如，在一些实例中，度量表示数值(例如，在医疗记录数据124中针对患者识别出的处置模式相对于针对其他患者识别出的处置模式表示异常的可能性)。在该示例中，预测模块119基于对于在指定时间段内针对相同疾病状况跟踪的药品剂量的数量应用学习模型，来计算度量的值。在其它实例中，度量表示判断(例如，在临床试验场所收集到的调查数据是否包括不良事件)。在一些其它实例中，度量表示来自多个分类中的分类类型(例如，临床试验场所的调查数据的收集是否可能导致不良事件的不报告、漏报或延迟报告)。

上述的度量可以使得调查者(或与临床试验相关联的实体)能够感知通过客户端装置130上的用户界面呈现的预测或将来结果。例如，度量可以包括在被提供以输出到客户端装置130的数据报告中。数据报告可以例如识别被预测为具有发生不良事件的最高机率的临床试验场所、可能由于不良事件而发生的依从性风险的类型、或处置可能引起不良事件的被监视患者。在其它示例中，数据报告可以识别与度量相关联的其它类型的数据(例如，最频繁开处方的医药产品、最频繁活动的调查者等)。在一些实现中，计算并提供度量以供周期性地(例如，在被提供以输出到客户端装置130的每月数据报告内)输出。替代地，在其它实现中，计算并提供度量以供临时地(例如，响应于用户通过客户端装置130提交的手动请求而)输出。

图3A～C示出用于检测与临床试验相关联的电子医疗记录中的异常的技术的示例。首先参考图3A，描绘了用于使用学习模型来评价电子医疗记录的处理300A。在步骤302处，处理从多个临床试验系统获得的医疗记录数据。例如，服务器110从数据库系统集140获得医疗记录数据124。医疗记录数据124可以指示参加了进行中的临床试验的患者的电子医疗信息(例如，医疗病史信息、在最近的患者访视期间收集到的健康信息、处方药物、处置模式等)。

在步骤304处，访问医疗编码存储库。例如，服务器110访问医疗编码存储库，该医疗编码存储库识别医疗记录数据124中可能引用的特定医疗代码的指标。例如，医疗编码存储库可以识别与疾病代码相关联的疾病状况、结合疾病代码频繁开处方的药物、或者经常利用疾病代码应用的处置计划。

在步骤308处，访问规则存储库。例如，服务器110访问包括可用于评价医疗记录数据124的规则的规则存储库。各规则可以指定与在医疗编码存储库中参考给定代码引用的指标相关联的条件。例如，规则可以指定针对所检测到的超出药物的允许剂量范围的剂量的条件。在一些实现中，规则存储库包括指定与处置计划的遵守方案相对应的条件的规则。

在步骤312处，判断规则存储库内的任何规则是否适用于所识别(306)出的查找参数。例如，如果服务器110判断为规则存储库内的一个或多个规则适用于查找参数，则服务器11进入步骤318，以使用适用规则来评价医疗记录数据124。替代地，如果服务器110判断为没有规则适用于查找参数，则服务器110进入步骤314以识别用于异常检测的学习模型。

在步骤314处，在一些实例中，如果没有规则被判断为适用于所识别出的查找参数，则选择一个或多个学习模型用于异常识别。在这种情况下，服务器110判断为不存在可能在评价医疗记录数据124以进行异常检测方面有用的统计定义规则。因此，服务器110选择并应用被训练为识别表示临床试验的可能异常的某些数据趋势和/或模式的学习模型。例如，如贯穿全文所述，学习模型可被训练为识别表示医疗记录数据124内的异常的存在的指标(例如，参与临床试验的患者的处置模式不依从临床试验的处置方案的指示)。

在步骤318处，使用所选择的学习模型来评价从临床试验系统获得的医疗记录数据。例如，服务器110基于从学习模型集126中选择以供应用的学习模型来评价医疗记录数据124。如上所述，学习模型可以基于在医疗记录数据124内指定的属性(例如，用于处置的药物、正在临床试验中评价的疾病状况、调查者所开具的处置模式等)来选择。在一些实例中，学习模型是基于其与查找参数(诸如向患者给予的药物的名称、针对患者正识别的疾病状况、或由监管机构指定的临床试验的评价标准)的相关性来选择的。

在步骤324处，判断医疗记录数据是否包括检测到的异常。例如，服务器110可以计算表示医疗记录数据124包括可能的异常的相应可能性的评分。可以通过应用所选择的学习模型以识别医疗记录数据124内的某些数据模式的发生来计算评分。评分可被计算为具有高值以表示医疗记录数据124包括由一个或多个选择的学习模型所评价的指标表示的异常的高可能性。

替代地，在其它情况下，如果一个或多个规则被判断为适用于所识别出的查找参数，则评价适用规则所指定的条件。如贯穿全文所述，各规则可以指定用于判断医疗记录数据124是否包括表示可能的异常的医疗记录的一个或多个条件。规则所指定的条件可以与用于识别数据异常的指标相对应。例如，指标可以表示为患者开具的药物的允许剂量范围，并且规则可以指定指示所检测到的剂量超出允许剂量范围的条件。在其它示例中，指标可以与正在进行中的临床试验期间调查实验处置的疾病病况相关联。在一些其它示例中，指标可以与参与临床试验的患者由于正在临床试验中评价的药物而可能已经感染的疾病状况相关联。

在步骤322处，判断是否满足适用规则所指定的条件。例如，如果服务器110可以基于判断为已经满足规则所指定的一个或多个条件而判断为医疗记录数据124满足适用规则。该判断可用于判断为医疗记录数据124内存在可能的异常。例如，如果患者的医疗记录指示并非参与临床试验的其它患者的特性的症状学，则服务器110可以应用与症状学相关联的一个或多个规则，并基于该应用而判断为医疗记录可能表示临床试验的异常。在该示例中，所应用的规则可以指定表示预期症状学的条件。

在步骤326处，评价在医疗记录数据中存在不良事件的可能性。服务器110可以评价医疗记录数据124中的不良事件的存在，而不管用于识别医疗记录数据内的异常的发生的技术如何。例如，如果服务器110在步骤322处(即，基于应用静态规则)或在步骤324处(即，基于应用学习规则)识别出医疗记录数据124内的可能异常，则服务器110可以判断该异常是否表示不良事件。如贯穿全文所讨论的，不良事件可以表示对于进行中的临床试验调查表现出科学或医学关注的任何事件。因此，如果所识别出的异常表示与临床试验相关的科学或医学关注，则服务器110可以判断为发生了不良事件。例如，如果所识别出的异常与参加临床试验的患者所经历的非预期疾病状况相关、并且该疾病状况产生超出临床试验所指定的容限的健康风险，则服务器110可以判断为该异常表示不良事件。与此相对，如果所识别出的异常偏离临床试验的处置方案、但对患者没有产生显著的健康风险，则服务器110可以判断为该异常不表示不良事件。然后，服务器110生成报告以包括步骤326的结果，并提供该报告以供输出。

现在参考图3B，描绘了用于使用学习技术来评价电子医疗记录的数据处理架构300B。架构300B使服务器110能够与各种数据服务交换通信，以评价如贯穿全文所述的医疗记录数据。架构300B包括医疗记录数据服务310、实验室结果数据服务320、调查规则存储库330、监管机构标准数据服务340、医疗编码数据服务350和提供方系统360。

服务器110利用架构300B来进行用以获得、处理和评价如贯穿全文所述的医疗记录数据的步骤集。在步骤(1)处，服务器110获得存储在医疗记录数据服务310处的医疗记录数据310A。医疗记录数据310A是在每次患者访视之后在医疗记录数据服务310处收集到的，并且对提供方在患者访视期间通过电子病历形式提交的信息进行累积。例如，医疗记录数据310A包括与患者医疗记录相关联的去识别的信息，诸如患者标识符、性别、年龄和性别等。医疗记录数据310A还可以包括医疗病史(例如，高葡萄糖水平等)以及与处置计划相关联的活性药物(例如，对乙酰氨基酚、抗组胺剂等)。

在步骤(2)处，服务器110从实验室结果数据服务320获得实验室测试数据320A以获得医疗记录数据310A中所包括的患者标识符。例如，实验室测试数据320A包括患者标识符，该患者标识符用于将与同一患者相关联的医疗记录数据和实验室结果数据相关联。实验室测试数据320A还包括针对患者样品测量到的生物标记物水平(例如，葡萄糖水平、肌酸酐水平、血红蛋白水平、甘油三酯水平等)。

在步骤(3)处，服务器110访问调查规则存储库330并识别要用于评价在每次患者访视期间收集到的医疗记录数据的规则。存储库330A内的规则可以由诸如健康护理提供方等的医疗专家配置，以指定当满足时指示应当生成警告的条件。例如，与患者处置相对应的规则指定了规定甘油三酯范围在200～500mg/dl之间的条件。在该示例中，如果测量到的甘油三酯水平高于或低于该范围，则可以满足规则条件，从而使得系统生成警告。

在步骤(4)处，服务器110访问医疗编码数据服务340，并使用查找参数来识别指标340A以评价医疗记录数据310A。查找参数可以用作索引，以例如识别相关指标并滤除不可能与医疗记录数据310A相关的指标。例如，术语“高血糖”可以用作查找参数以识别与该术语相关联的疾病状况(例如，不受控制的高血糖、轻度高血糖)。查找参数的另一示例是表示药物的名称的术语，其用于识别使用药物处置的疾病状况以及患者在服用药物后通常经历的症状。在一些其它示例中，查找参数可以包括用于在数据库存储库中进行查找的术语，诸如药品字典、监管机构标准等。

在步骤(5)处，服务器110访问监管机构标准数据服务350，以识别在评价医疗记录数据的异常时要用作参考的指标350A。可以基于所应用的查找参数来识别指标350A。例如，药物的名称可以用作查找参数以识别表示与药物相关联的监管标准(例如，剂量范围、所建立的处置模式、涉及药物的处置的风险容限等)的指标350A。在一些实例中，与查找参数相关联的分类可以用于识别在评价期间可能关注的其它相关指标。例如，表示特定药物(例如，阿托伐他汀、普伐他汀等)的查找参数可以用于识别适用于符合药品分类(例如，他汀类)的所有药品的附加指标。

在步骤(6)处，服务器110生成用于向提供方系统360指示医疗记录数据评价的结果的报告360A。为了进行评价，服务器110最初识别指定与指标350A相关联的条件的规则集。例如，如果指标识别出临床试验期间的药物的允许剂量范围，则相应规则指定所检测到的剂量低于允许剂量范围的一个条件、以及所检测到的剂量高于允许剂量的另一条件。服务器110对医疗记录数据310A应用规则，以判断是否满足规则的一个或多个条件。例如，如果在医疗记录数据310A中检测到的剂量低于允许剂量范围，则服务器110判断为满足规则所指定的条件。响应于该判断，服务器110生成报告以包括警告，该警告指示医疗记录数据310A内的剂量可能不依从监管要求。

在一些实现中，报告360A可以包括可能与提供方相关的各种类型的信息。例如，实验室测试数据320A不在处方范围内，报告360A可以包括警告通知。作为另一示例，如果服务器110判断为尚未向监管机构标准数据服务350报告不良事件，则报告360A可以包括医疗专家所要检查的高优先级警告。在一些其它示例中，报告360A可以基于服务器110对指标350A的评价来识别可能表示异常的医疗记录。

现在参考图3C，描绘了用于检测与临床试验相关联的电子医疗记录中的异常的处理300C的示例。简单地说，处理300C可以包括以下的操作：获得(352)临床试验的医疗记录，识别(354)与医疗记录相关联的一个或多个查找参数，选择(356)用于评价医疗记录的指标集，从医疗记录中确定(358)医疗记录的子集，确定(360)医疗记录的子集中所包括的各医疗记录的评分，以及提供(362)指示评分的数据以供输出。

更详细地，处理300C可以包括获得(352)临床试验的医疗记录的操作。例如，服务器110可以从数据库系统集140中获得医疗记录数据124。如贯穿全文所述，医疗记录数据124可以包括在与进行中的临床试验相关联的医疗记录中指定的电子信息。例如，医疗记录数据124可以包括参与临床试验的患者的医疗病史、临床试验的患者访视数据、临床试验的调查标准以及其它类型的信息。

处理300C可以包括识别(354)与医疗记录相关联的一个或多个查找参数的操作。例如，服务器110可以识别与医疗记录数据124相关联的一个或多个查找参数。查找参数的示例包括与临床试验相关联的药物(例如，正在药品试验中评价的药品)、正在临床试验中评价处置的疾病状况等。

处理300C可以包括选择(356)用于评价医疗记录的指标集的操作。例如，服务器110可以选择要用于评价医疗记录数据124中所包括的医疗记录的指标集。指标集中所包括的各指标可以指定表示临床试验的医疗记录中所包括的医疗记录的可能异常的不同条件。该指标集可以用作评价标准，以识别医疗记录数据124内的可能异常。例如，药物查找参数可以用于选择表示如由监督临床试验的监管机构指定的、用于在临床试验期间给予的药物的允许剂量范围的指标。在该示例中，服务器110评价在医疗记录数据124中相对于允许剂量范围集所记录的剂量，并将识别出超出范围的给予剂量的医疗记录判断为可能异常。

处理300C可以包括从医疗记录中确定(358)医疗记录子集的操作。例如，服务器110可以基于所选择的指标集从医疗记录数据124中确定表示可能异常的医疗记录的子集。如贯穿全文所述，在给定所选择的指标集的情况下，可以基于由学习模型辨识为异常的电子信息来识别医疗记录的子集。学习模型可被训练为识别满足指标集所指定的条件中至少之一的医疗记录、并由此识别可能表示数据异常的医疗记录(即，医疗记录的子集)。例如，指示患者的异常处置模式的医疗记录可被识别为异常，并且被用于判断调查者是否正确地遵循临床试验方案来给予调节药物。

处理300C可以包括确定(360)医疗记录的子集中所包括的各医疗记录的评分的操作。例如，服务器110可以基于使用学习模型来确定医疗记录的子集中所包括的各医疗记录的评分。如贯穿全文所述，各评分可以表示医疗记录的子集中所包括的某个医疗记录与不良事件相关联的相应可能性。例如，值为0.32的评分可以表示在最近访视期间收集到的患者的医疗记录信息指示该患者可能已经经历中风的32％的概率。在该示例中，所计算出的评分用于指示：患者可能已经经历了临床试验的非预期的副作用，并且由临床试验对非预期的副作用造成的风险超过预定阈值(例如，10％)，这可能指示已经发生了不良事件。

处理300C可以包括提供(362)指示评分的数据以供输出的操作。例如，服务器110可以生成包括评分的报告，并提供该报告以输出至客户端装置130。如贯穿全文所讨论的，在一些实现中，报告以指定时间间隔(例如，每天、每周、每月等)周期性地生成。在其它实现中，报告在表示正在临床试验场所在进行临床试验的特定里程碑的指定时间点生成。例如，报告可以在临床试验阶段已经结束之后、在临床实验数据收集完成时等生成。在一些其它实现中，报告基于用户(诸如临床试验中的参与调查者)或与管理临床试验的赞助组织相关联的个体所作出的请求临时地生成。

图4A～D示出用于预测由于与不良事件相关联的可能性而导致的与临床试验相关联的依从性风险的技术的示例。首先参考图4A，描绘了用于训练和开发用于生成与临床试验数据内的不良事件相关联的预测的建模技术的处理400A的示例。如图所示，处理400A一般包括两个阶段：(1)开发阶段，和(2)生产阶段。在开发阶段期间，基于历史数据来训练学习模型，并对其进行验证，直到实现用于使用学习模型开发的预测的期望准确率和/或精确度水平来训练数据为止。一旦开发阶段完成，就在生产环境中将经训练的学习模型部署给要使用系统100评价的临床试验数据(例如，从数据库系统集140获得的数据)。

在402处，基于历史调查数据401来提取学习模型所要应用的预测器特征。预测器特征可以用于识别直到给定临床截止日期为止对于临床试验场所的不良事件的不令人满意的报告的二进制结果。如贯穿全文所述，不令人满意的报告可被表示为不报告不良事件、漏报不良事件或者相对于临床截止日期延迟报告不良事件。该二进制结果识别报告是令人满意的还是不令人满意的(即，“是”或“否”)。

预测器特征可以用于识别被预测为最有可能提供不令人满意的不良事件报告(例如，未能报告、漏报或延迟报告不良事件)的临床试验场所。预测器特征可以反映基于与各临床试验场所相关联的历史数据而确定的场所信息和某些性能度量。例如，预测器特征可以基于历史度量(诸如先前在临床试验场所识别出的不良事件的数量、不令人满意地报告的不良事件的百分比、先前在指定时间段内识别出的不良事件的频率等)而生成。在一些实例中，可以生成预测器特征，以指示由于正在临床试验场所处进行的临床试验的类型(例如，涉及更有可能不令人满意地报告不良事件的数据的收集的临床试验)而更有可能展现出不令人满意的不良事件报告的临床试验场所。

在404处，使用预测器特征来开发学习模型。在404A处，使用历史调查数据401来训练学习模型。学习模型可以采用不同类型的机器学习技术(例如，逻辑模型、随机森林、梯度提升树和神经网络等)。在一些实例中，历史调查数据401包括80％的随机采样数据。在训练期间，调整每种类型的学习模型的参数，以例如在20％的测试数据中优化接收器操作特性曲线下的面积(AUC)。在404B处，然后测试学习模型以识别针对各机器学习技术的最佳模型(例如，在测试中被判断为具有最高AUC的模型)。在一些实例中，还可以修改外部算法，使得它们可以被组合或堆叠以进行更准确且可靠的预测。如以下所讨论的，一旦经训练，最佳学习模型的参数被应用于在生产阶段中开发预测。

在406处，识别用于不良事件检测的列表关键字风险指标(KRI)。KRI表示可能影响临床试验的给予的因素，诸如正被评价的疾病状况、在临床试验期间给予的药物、患者访视的次数、调查者的数量、与同一临床试验调查相关联的相关临床试验场所的数量、指定时间段内的患者访视量等。KRI可被应用于监视临床试验场所的性能，因为它涉及报告不良事件。在一些实例中，系统应用技术来提高与监视相关联的计算效率。例如，代替在各临床试验场所监视多个KRI度量，系统可以集中检查KRI。从而以最小的准确率损失获得效率。可以识别目标度量的KPI以测量预测器特征的重要性或贡献。在各优化预测模型中，最重要的预测器特征(例如，最重要的前十个预测器特征)可被确定为KRI。预测器特征的数量可以根据例如数据中可用的预测器特征的总数以及特征重要性的分布来调整。

在408处，部署经训练的模型以评价调查数据403。可以部署经训练的模型以在至少三种配置中进行：(1)基于使用所有历史数据的模型的预测、(2)基于针对特定治疗区域开发的模型的预测、以及(3)基于在给定地域(例如，国家)内开发的模型的预测。如果从混合数据集(例如，混合治疗区域、不同国家)获得调查数据403，则可以使用配置(1)进行预测。替代地，如果从单个治疗区域或单个地域获得调查数据403、并且基于历史调查数据401的训练对于该治疗区域或该地域是足够的(例如，临床试验场所的数量超过一百)，则使用配置(2)或(3)进行预测可以是足够的。

在412处，基于部署经训练的模型来提取与调查数据403相关联的预测器特征。与调查数据403相关联的预测器特征可以以与先前参考步骤402所述相同的方式提取。

在414处，基于经训练的模型的应用来针对新调查数据403生成不良事件的预测。例如，在步骤408处，可以基于在步骤408中将经训练的学习模型部署给调查数据403来针对各临床试验场所计算与不同类型的不令人满意的不良事件报告相关联的概率。在一些实例中，概率被表示成范围为“0”至“1”的值。在这样的实例中，可以应用阈值(例如，0.65)来区分被识别为可能展现出不令人满意的不良事件报告(例如，概率值超过0.65)的临床试验场所和不可能展现出不令人满意的不良事件报告(例如，概率值低于0.65)的其它临床试验场所。在一些实现中，用户可以自定义阈值，以平衡识别可能展现出不令人满意的不良事件报告的临床试验场所的精确率和召回率。在其它实现中，基于指定等式来计算阈值的默认值(F1)，其中F1＝2*[(精确率)*(召回率)]/(精确率+召回率)。在这种实现中，较高的阈值一般趋于提高精确率水平并降低召回率水平。

在一些实现中，为了优化资源分配，可以根据风险严重度(诸如不令人满意的不良事件报告的预测概率)将临床试验场所聚类成多个(例如，六个)组。例如，被分类为属于第六组的临床试验场所是被确定为具有低于阈值的预测概率的临床试验场所。与此相对，组1至5中的临床试验场所是被确定为具有与不良事件的漏报相关的问题的临床试验场所。在该示例中，组1至5分别占据以信号形式通知的场所的10％、10％、20％、30％和30％。

现在参考图4B和4C，描绘了可用于预测具有不令人满意的不良事件报告的临床试验场所的界面400B和400C的示例。图4B描绘了可用于访问多个临床试验场所的针对不良事件报告不充分的预测概率的分布的界面400B。界面400B可以通过客户端装置130上运行的应用(例如，基于web的应用、本机应用)来显示，并且被配置为访问数据库120中所存储的数据(诸如调查数据122和医疗记录数据124等)。

如图4B所示，界面400B包括允许用户(例如，临床试验调查者、与临床试验的监管机构或赞助组织相关联的个体)访问和/或操纵系统100所生成的预测的各种界面元素。例如，界面元素422显示表示针对多个临床试验场计算出的概率评分的分布的图。如贯穿全文所述，各概率评分表示临床试验场所将展现出不令人满意的不良事件报告(例如，不良事件的不报告、漏报或延迟报告)的可能性。为各临床试验场所分配唯一场所标识符，以允许将概率评分与相应的唯一场所标识符相关联。界面元素422中所显示的图使得用户能够感知很有可能展现出不令人满意的不良事件报告的临床试验场所(例如，概率评分超过0.65的值的临床试验场所)、以及不太可能展现出不令人满意的不良事件报告的临床试验场所(例如，概率评分超过0.35的值的临床试验场所)的数量的可视表示。

界面元素424显示表示对于临床试验场所所在的不同地理区域的不令人满意的不良事件报告的聚合风险的图。为了生成图，系统聚合位于某个地理区域(例如，国家)内的临床试验场所的概率评分，以计算该地理区域的平均概率评分。然后可以使用阈值来表示不同风险水平。例如，平均概率评分超过0.76的地理区域可被指定为“最大风险”，并且地图中的相应地理区域可被着色以表示该指定。尽管界面元素424描绘了按国家的平均风险，但在一些实例中，可以使用其它类型的地理区域来表示总平均风险(例如，大陆、国内地区等)。

界面元素426显示包括将观察数据与预测数据进行比较的数据的表。如贯穿全文所述，与临床试验场所相关联的预测数据指示由系统基于应用一个或多个学习模型而作出的如下预测：临床试验场所可能展现出不良人满意的不良事件报告。由于预测数据是基于调查数据的评价，因此它表示对于可能需要使用观察数据来验证或确认的风险的评估。与临床试验场所相关联的观测数据提供了对于临床试验场所实际是否展现出不令人满意的不良事件报告的确认。以这种方式，如果观察数据与预测数据相匹配，则用户可以判断为系统作出的预测得到一定程度的验证。

界面428指示由一个或多个学习模型用来计算临床试验场所的概率评分的关键风险指标列表。在一些实现中，可以为关键风险指标列表中所包括的各指标分配表示正与该指标相关联的临床试验场所是否提供不令人满意的不良事件报告的较高或较低风险的权重。例如，如果临床试验场所位于被指定为高风险国家的国家中，则系统可以使评分计算正偏向于表示基于临床试验场所的位置展现出不令人满意的不良事件报告的增加的风险。作为示例，如果临床试验场所涉及调查在调查期间很少产生不良事件的某种药物，则该方面可以用于使评分计算负偏向于表示展现出不令人满意的不良事件报告的降低的风险。关键风险指标的其它示例包括与临床试验相关联的疾病状况、在临床试验期间给予的药物、患者访视的次数、调查者的数量、与同一临床试验调查相关联的相关临床试验场所的数量、指定时间段内的患者访视量、以及可能影响临床试验的给予的其它因素。

现在参考图4C，图4C描绘了可用于基于与不良事件相关联的预测数据将个体临床试验场所分组为不同风险聚类的界面400C。用户可以访问界面400C来自定义系统所使用的设置，以识别可能展现出不令人满意的不良事件报告的临床试验场所。例如，界面元素432包括滑块，该滑块使得用户能够调整要用于将临床试验场所指定为高风险临床试验场所的阈值。界面元素432还显示基于用户指定阈值评分被指定为高风险临床试验场所的所有临床试验场所的百分比、以及对精确率和召回率的影响。用户可以使用界面元素432来评价精确率和召回率之间的折衷，因为它涉及选择概率评分的阈值评分。

界面元素434、436、438和442包括在界面元素432中所显示的滑块中基于针对概率评分指定的阈值评分来调整的可视化。例如，界面元素434显示指示基于针对概率评分的用户指定阈值而生成的风险组的分布的图。界面元素436显示指示针对与一个或多个临床试验相关联的各指示(例如，疾病状况、药物)预测的高风险临床试验场所的数量的图。界面438显示允许用户基于临床试验场所的观察数据来验证界面元素434中所识别出的风险组的准确率的图。例如，基于在临床试验场所实际观察到的不令人满意的不良事件报告来识别可能的误分类。界面元素442显示呈现不同颜色以表示各个地域中所包括的高风险临床试验场所的数量的图。

现在参考图4D，描绘了用于预测由于与不良事件相关联的可能性而导致的与临床试验相关联的依从性风险的处理400D的示例。简单地说，处理400D可以包括以下操作：获得(452)在临床试验场所收集到的调查数据，选择(454)与临床试验场所相对应的模型集，确定(456)临床试验场所的评分，以及向临床试验场所提供(458)依从性风险的指示。

更详细地，处理400D可以包括获得(452)在临床试验场所收集到的调查数据的操作。例如，服务器110可以从数据库系统集140中所包括的数据库系统获得调查数据。数据库系统可以与收集调查数据的临床试验场所相关联。如贯穿全文所讨论的，调查数据可以例如指定正在进行的临床试验的类型(例如，药物功效试验)、调查者在患者访视期间收集到的处置数据、与处置相关的处方数据、患者风险或其它不良事件的识别等。在一些实例中，调查数据还可以指定调查者在临床试验场所进行临床试验时要遵循的方案。

处理400D可以包括选择(454)与临床试验场所相对应的模型集的操作。例如，服务器110可以从学习模型126中选择对应于与调查数据相关联的临床试验场所的一个或多个学习模型。可以训练所选择的模型集中所包括的各学习模型，以识别表示与相对于在临床试验场所收集到的历史调查数据的调查数据相关联的依从性风险的指标的不同的集合。例如，可以训练所选择的一个学习模型以基于指示患者在先前的患者访视期间报告的不良症状的医疗注释来识别对患者施加的健康风险。作为另一示例，可以训练所选择的另一学习模型，以将患者所经历的医疗状况的发生识别为表示不良事件。在这两个实例中，第一模型所使用的指标可以例如是发病率统计，而第二模型所使用的指标可以是用于报告由管理临床试验的赞助组织指定的不良状况的条件。

处理400可以包括确定(456)临床试验场所的评分的操作。例如，服务器110可以使用所选择的学习模型、相对于历史调查数据并基于调查数据来确定临床试验场所的评分。如贯穿全文所述，评分可以表示调查数据与表示依从性风险的至少一个指标相关联的可能性。例如，评分的数值可以指示不良事件将在临床试验场所被识别出、但不报告给指定监视要求内的赞助组织或监管机构的可能性。在该示例中，如果例如历史调查数据指示上一年在临床试验场所识别出大量不良事件(其中的大部分未根据报告标准正确地报告)，则评分可以表示不良报告未被报告的高概率。在其它示例中，依从性风险可以表示其它类型的概率，诸如在临床试验期间识别出不良事件的概率、将正确报告不良事件(例如，将报告与不良事件相关联的充分信息)的概率、将及时(例如，在识别出不良事件时的指定时间段内)报告不良事件的概率等。

可以基于组合一个或多个指标的集合的子评分来计算评分。例如，可以针对表示不良事件将在临床试验场所被识别出的概率的指标计算第一子评分，并且可以针对表示任何检测到的不良事件将不被报告给指定监视要求内的赞助组织或监管机构的概率的另一指标计算第二子评分。这两个子评分可以使用特定权重来组合，以生成反映调查数据表示依从性风险的整体可能性的总评分。以这种方式，系统使用多个指标来平衡可能与调查数据有关的依从性风险的各个不同方面。例如，可以使用降低依从性风险的可能性的指标的子评分来使总评分相对于增加依从性风险的可能性的其它指标的子评分发生偏向。在其它示例中，可以使用指标来表示不同类型的依从性风险，并且总评分反映了不同类型的依从性风险中的至少一个与调查数据相关联的整体可能性。

处理400可以包括向临床试验场所提供(458)依从性风险的指示的操作。例如，服务器110可以生成包括评分的报告，并提供该报告以输出至客户端装置130和/或与临床试验场所相关联的计算装置。如贯穿全文所讨论的，在一些实现中，报告以指定时间间隔(例如，每天、每周、每月等)周期性地生成。在其它实现中，报告在表示正在临床试验场所进行临床试验的特定里程碑的指定时间点生成。例如，报告可以在临床试验阶段已经结束之后、在临床实验数据收集完成时等生成。在一些其它实现中，报告基于用户(诸如临床试验中的参与调查者)或与管理临床试验的赞助组织相关联的个体所作出的请求临时地生成。

图5是计算机系统500的示意图。根据一些实现，系统500可以用于执行结合先前描述的任何计算机实现方法所描述的操作。在一些实现中，本说明书中所述的计算系统和装置以及功能操作可以在数字电子电路中、在有形地体现的计算机软件或固件中、在包括本说明书中所公开的结构(例如，系统500)及其结构等同物的计算机硬件中、或者在它们中的一个或多个的组合中实现。系统500旨在包括各种形式的数字计算机，诸如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其它适当的计算机(包括安装在模块化运载工具的基座单元或吊舱单元上的运载工具)等。系统500还可以包括移动装置，诸如个人数字助理、蜂窝电话、智能电话和其它类似的计算装置等。另外，系统可以包括便携式存储介质，诸如通用串行总线(USB)闪存驱动器等。例如，USB闪存驱动器可以存储操作系统和其它应用。USB闪存驱动器可以包括输入/输出组件，诸如可插入到另一计算装置的USB端口中的无线发送器或USB连接器等。

系统500包括处理器510存储器520、存储装置530和输入/输出装置540。组件510、520、530和540中的每一个使用系统总线540互连。处理器510能够处理指令以在系统500内执行。处理器可以使用多种架构中的任意架构来设计。例如，处理器510可以是CISC(复杂指令集计算机)处理器、RISC(精简指令集计算机)处理器或MISC(最小指令集计算机)处理器。

在一个实现中，处理器510是单线程处理器。在另一实现中，处理器510是多线程处理器。处理器510能够处理在存储器520中或在存储装置530上存储的指令，以在输入/输出装置540上显示用户界面的图形数据。

存储器520将数据存储在系统500内。在一个实现中，存储器520是计算机可读介质。在一个实现中，存储器520是易失性存储器单元。在另一实现中，存储器520是非易失性存储器单元。

存储装置530能够为系统500提供海量存储。在一个实现中，存储装置530是计算机可读介质。在各种不同实现中，存储装置530可以是软盘装置、硬盘装置、光盘装置或磁带装置。

输入/输出装置540为系统500提供输入/输出操作。在一个实现中，输入/输出装置540包括键盘和/或指示装置。在另一实现中，输入/输出装置540包括用于显示图形用户界面的显示单元。

这里所描述的系统和技术的各种实现可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或这些实现的组合中实现。这些各种实现可以包括在包括至少一个可编程处理器的可编程系统上可执行和/或可解释的一个或多个计算机程序中的实现，该至少一个可编程处理器可以是专用或通用的，被耦接以相对于存储系统、至少一个输入装置和至少一个输出装置进行数据和指令的接收和发送。

这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以在高级过程和/或面向对象编程语言、以及/或者汇编/机器语言中实现。如本文所使用的，术语“机器可读介质”、“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的计算机程序产品、设备和/或装置(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD)等)，其包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。

为了提供与用户的交互，这里所描述的系统和技术可以在计算机上实现，该计算机具有用于向用户显示信息的例如CRT(阴极射线管)或LCD(液晶显示器)监视器等的显示装置、以及用户可以向计算机提供输入所利用的键盘和指示装置(例如，鼠标或追踪球)。其它种类的装置也可以用于提供与用户的交互；例如，被提供至用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可以以任何形式(包括声音、语音或触觉输入)接收。

这里所述的系统和技术可以在计算系统中实现，该计算系统包括例如作为数据服务器的后端组件，或者包括例如应用服务器等的中间件组件，或者包括前端组件(例如，具有图形用户界面的客户端计算机、或者用户可以与这里所描述的系统和技术的实现进行交互所经由的Web浏览器等)，或者这样的后端组件、中间件组件或前端组件的任何组合。系统的组件可以通过例如通信网络等的任何形式或介质的数字数据通信互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。

计算系统可以包括客户端和服务器。客户端和服务器一般彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系借助于运行在各个计算机上并且彼此具有客户端-服务器关系的计算机程序而产生。

已经描绘了许多实施例。然而，应当理解，可以在不偏离本发明的精神和范围的情况下作出各种修改。另外，图中所描绘的逻辑流不需要所示的特定顺序或序列顺序来实现期望的结果。另外，可以提供其它步骤，或者可以从所描述的流程消除步骤，并且可以向所描述的系统添加或者从所描述的系统移除其它组件。因此，其它实施例在所附权利要求书的范围内。

Claims (20)

1.一种计算机实现的方法，包括：

获得在临床试验场所收集到的调查数据；

选择与所述临床试验场所相对应的模型集，

其中，所述模型集中所包括的各模型被训练为基于在所述临床试验场所收集到的历史调查数据来识别用于指示与所述调查数据相关联的依从性风险的一个或多个指标的不同的集合；

使用所述模型集，基于针对所述一个或多个指标的集合的子评分来确定所述临床试验场所的评分，其中，所述子评分是基于所述调查数据相对于所述历史调查数据而确定的，

其中，所述评分表示所述调查数据与表示所述依从性风险的至少一个指标相关联的可能性；以及

基于所述临床试验场所的评分来向所述临床试验场所提供所述依从性风险的指示。

2.根据权利要求1所述的方法，其中，所述依从性风险与由所述模型集识别为表示与所述调查数据相关联的监管机构所指定的不良事件的数据记录的子集相关联。

3.根据权利要求2所述的方法，其中，所述依从性风险指示所述数据记录的子集中所包括的所有数据记录尚未被报告给所述监管机构。

4.根据权利要求2所述的方法，其中，所述依从性风险指示所述数据记录的子集中所包括的一个或多个数据记录尚未被报告给所述监管机构。

5.根据权利要求2所述的方法，其中，

所述依从性风险指示所述数据记录的子集可能在超过用于报告所述不良事件的阈值时间段的时间段内被报告给所述监管机构。

6.根据权利要求5所述的方法，其中，用于报告所述不良事件的阈值时间段由(i)发现所述不良事件的第一时间点、以及(ii)所述不良事件被报告给所述监管机构的第二时间点来定义。

7.根据权利要求1所述的方法，其中，

所述模型集包括：

第一模型，其被训练为识别表示所述依从性风险的一个或多个指标的第一集合；以及

第二模型，其被训练为识别表示所述依从性风险的一个或多个指标的第二集合；以及

确定所述临床试验场所的评分包括：

基于相对于所述一个或多个指标的第一集合处理所述调查数据，来确定所述调查数据的第一子评分；

基于相对于所述一个或多个指标的第二集合处理所述调查数据，来确定所述调查数据的第二子评分；以及

组合所述第一子评分和所述第二子评分以确定所述临床试验场所的评分。

8.根据权利要求7所述的方法，还包括：

判断为所述第一模型所提供的输出与所述第二模型所提供的输出相比可能具有更高的准确率；以及

基于判断为所述第一模型所提供的输出与所述第二模型所提供的输出相比可能具有更高的准确率：

向所述第一子评分分配第一权重，以及

向所述第二子评分分配第二权重，其中，所述第一权重的值超过所述第二权重的值；以及

其中，组合所述第一子评分和所述第二子评分以确定所述临床试验场所的评分包括：基于被分配给所述第一子评分的第一权重和被分配给所述第二子评分的第二权重来组合所述第一子评分和所述第二子评分。

9.根据权利要求2所述的方法，还包括：

判断为所述评分满足阈值；以及

基于判断为所述评分满足阈值而判断为所述临床试验场所是风险相关临床场所。

10.根据权利要求1所述的方法，其中，选择与所述临床试验场所相对应的模型集包括：

确定与所述临床试验场所相关联的一个或多个属性；

识别模型集，所述模型集中的各模型被训练为处理表示所述一个或多个属性的数据；

针对所述模型集中所包括的各模型，计算反映通过模型所生成的预测与所述调查数据相关的可能性的相关度评分；以及

从所述模型集中选择被确定为具有满足阈值的相关度评分的模型的子集。

11.一种计算机实现的方法，包括：

从一个或多个数据库获得临床试验的医疗记录；

识别与所述医疗记录相关联的一个或多个查找参数；

基于所述一个或多个查找参数来选择用于评价所述医疗记录的指标集，其中，所述指标集中所包括的各指标指定表示所述临床试验的医疗记录中所包括的医疗记录的可能异常的不同条件；

从所述医疗记录中确定医疗记录的子集，其中，所述医疗记录的子集由如下的模型辨识，该模型被训练为识别满足所述指标集所指定的条件中至少之一的医疗记录；

使用所述模型来确定所述医疗记录的子集中所包括的各医疗记录的评分；以及

提供指示所述评分的数据以供输出。

12.根据权利要求11所述的方法，其中，针对所述医疗记录的子集确定的评分体现所述医疗记录的子集中所包括的医疗记录表示与所述临床试验相关联的不良事件的相应可能性。

13.根据权利要求12所述的方法，其中，所述一个或多个查找参数包括指示与所述临床试验相关联的药物的查找参数。

14.根据权利要求13所述的方法，其中，所述指标集包括指定所述药物的预期剂量的指标。

15.根据权利要求14所述的方法，其中，所述医疗记录的子集包括与由所述模型识别为正被开具超过所述药物的预期剂量的药物剂量的患者相关联的医疗记录。

16.根据权利要求12所述的方法，其中，所述一个或多个查找参数包括指示与所述临床试验相关联的疾病状况的查找参数。

17.根据权利要求16所述的方法，其中，所述指标集包括指定针对所述疾病状况的预期处置计划的指标。

18.根据权利要求17所述的方法，其中，所述医疗记录的子集包括与由所述模型识别为正偏离针对所述疾病状况的预期处置计划的处置事件相关联的医疗记录。

19.一种系统，包括：

一个或多个计算机；以及

非暂时性计算机可读存储介质，其上存储了在由所述一个或多个计算机执行时使所述一个或多个计算机进行操作的指令，所述操作包括：

获得在临床试验场所收集到的调查数据；

选择与所述临床试验场所相对应的模型集，其中，所述模型集中所包括的各模型被训练为基于在所述临床试验场所收集到的历史调查数据来识别用于指示与所述调查数据相关联的依从性风险的一个或多个指标的不同的集合；

使用所述模型集，基于所述调查数据相对于所述历史调查数据来确定所述临床试验场所的评分，其中，所述评分表示所述调查数据与表示所述依从性风险的至少一个指标相关联的可能性；以及

提供所述评分以供输出。

20.根据权利要求19所述的系统，其中，所述依从性风险与由所述模型集识别为表示与所述调查数据相关联的监管机构所指定的不良事件的数据记录的子集相关联。

Images