CN117121017A

CN117121017A - 神经信号检测

Info

Publication number: CN117121017A
Application number: CN202280025959.3A
Authority: CN
Inventors: R·哈佩茨; W·杜蒙切尔; S·T·布莱特
Original assignee: Oracle International Corp
Current assignee: Oracle International Corp
Priority date: 2021-04-12
Filing date: 2022-02-01
Publication date: 2023-11-24
Also published as: US20220327377A1; WO2022220909A1; JP2024514593A

Abstract

描述了与神经信号检测相关联的系统、方法和其它实施例。在一个实施例中，对于多个报告：通过神经信号检测网络的嵌入层为包括在报告中的信息对象的集合中的每个信息对象创建向量嵌入。该信息对象的集合包括目标对象。通过表示层以描述目标事件的发生与信息对象之间的相关性并考虑构成报告的信息对象之间的依赖性的方式来表示报告。logit层基于报告的表示对包括目标事件的事件的集合建模。给定被建模的事件的集合，确定目标事件的发生概率。通过将多个报告中的目标事件的汇总发生概率与比较器概率进行比较来识别信号的存在。

Description

神经信号检测

技术领域

本文描述的系统和方法涉及人工智能计算机和数字数据处理系统、用于模拟智能的方法和产品，包括机器学习系统和人工神经网络。更具体地，本文描述的系统和方法涉及使用深度神经网络的机器学习，该深度神经网络具有将事实和关系添加到其集成集合以用于数据信号检测的能力。

背景技术

信号检测是区分信息承载模式(或“信号”)与分散或掩蔽信息的随机模式(或“噪声”)的能力。

不良反应是患者对药物或其它医疗治疗产生的有害且非预期的反应。对药物、生物制品、疫苗、设备或其它医疗产品的不良反应的病因是复杂的并且要求先进的分析方法来研究观察到的干预措施与不良事件之间的因果关系。计算，也称为定量信号检测，是用于筛选所观察/报告的产品与不良事件之间的潜在因果关系的工具。

发明内容

在一个实施例中，一种非暂态计算机可读介质，该非暂态计算机可读介质包括存储在其上的计算机可执行指令，指令在至少由计算机的处理器执行时，使得计算机：对于报告数据库中的多个报告：至少由处理器通过神经信号检测网络的嵌入层为包括在报告中的一个或多个信息对象的集合中的每个信息对象创建向量嵌入，其中一个或多个信息对象的集合包括目标对象；至少由处理器通过神经信号检测网络的表示层以描述目标事件的发生与信息对象之间的相关性并考虑构成报告的信息对象之间的依赖性的方式来表示报告；至少由处理器通过神经信号检测网络的logit层基于报告的表示对包括目标事件的事件的集合建模；至少由处理器在给定被建模的事件的集合的情况下确定目标事件的发生概率；以及至少由处理器通过将报告数据库中的多个报告中的目标事件的汇总发生概率与比较器概率进行比较来识别信号的存在。

在一个实施例中，非暂态计算机可读介质还包括在至少由处理器执行时使处理器执行以下操作的指令：根据汇总发生概率和从用于创建汇总发生概率的同一报告集合中导出的比较器概率来计算信号分数；以及通过重新计算另外的汇总发生概率来计算比较器概率，其中(i)从用于计算汇总发生概率的每个报告中去除目标对象，或者(ii)从用于计算汇总发生概率的每个报告中，对于每个报告，指派给目标对象的注意力权重被设置为零。

在一个实施例中，非暂态计算机可读介质还包括指令，指令在至少由处理器执行时，使得处理器通过使用数据对数似然作为要最小化的损失函数通过随机梯度下降法估计神经信号检测网络的参数来训练神经信号检测网络。

在一个实施例中，非暂态计算机可读介质还包括指令，指令在至少由处理器执行时，使得处理器将注意力权重附加到信息对象中的每个信息对象，其中附加到每个信息对象的注意力权重基于信息对象中的至少另一个信息对象。

在一个实施例中，非暂态计算机可读介质，其中目标对象是目标药物，并且包括在报告中的一个或多个对象的集合还包括关于目标药物具有混淆或掩蔽效果的第二药物。

在一个实施例中，一种计算机实现的方法，包括：对于报告数据库中的多个报告：通过神经信号检测网络的嵌入层为包括在报告中的一个或多个信息对象的集合中的每个信息对象创建向量嵌入，其中一个或多个信息对象的集合包括目标对象；通过神经信号检测网络的表示层以描述目标事件的发生与信息对象之间的相关性并考虑构成报告的信息对象之间的依赖性的方式来表示报告；通过神经信号检测网络的logit层基于报告的表示对包括目标事件的事件的集合建模；在给定被建模的事件的集合的情况下确定目标事件的发生概率；以及通过将报告数据库中的多个报告中的目标事件的汇总发生概率与比较器概率进行比较来识别信号的存在。

在一个实施例中，计算机实现的方法还包括根据汇总发生概率和通过在从用于计算汇总发生概率的每个报告中去除目标对象来重新计算另外的汇总发生概率而从用于创建信号分数的同一报告集合中导出的比较器概率来计算信号分数。

在一个实施例中，计算机实现的方法还包括根据汇总发生概率和通过对于每个报告将指派给目标对象的注意力权重设置为零从用于计算汇总发生概率的每个报告重新计算另外的汇总发生概率而从用于创建信号分数的同一报告集合中导出的比较器概率来计算信号分数。

在一个实施例中，计算机实现的方法还包括通过使用数据对数似然作为要最小化的损失函数通过随机梯度下降法估计神经信号检测网络的参数来对神经信号检测网络进行训练。

在一个实施例中，计算机实现的方法还包括将注意力权重附加到每个信息对象，其中(i)附加到已知造成目标事件的第一信息对象的第一注意力权重大于指派给没有已知造成目标事件的其它信息对象的其它注意力权重；或者(ii)附加到已知降低目标事件的可能性的第一信息对象的第一注意力权重大于指派给没有已知降低目标事件的可能性的其它信息对象的其它注意力权重。

在一个实施例中，计算机实现的方法，其中目标对象是目标药物，并且目标事件的集合包括(i)不良健康事件或(ii)积极健康事件。

在一个实施例中，一种计算系统，包括：处理器；存储器，可操作地连接到处理器；非暂态计算机可读介质，可操作地连接到处理器和存储器并存储计算机可执行指令，指令在至少由计算机的处理器执行时，使得计算系统：对于报告数据库中的多个报告：通过神经信号检测网络的嵌入层为包括在报告中的一个或多个信息对象的集合中的每个信息对象创建向量嵌入，其中一个或多个信息对象的集合包括目标对象；通过神经信号检测网络的表示层以描述目标事件的发生与信息对象之间的相关性并考虑构成报告的信息对象之间的依赖性的方式来表示报告；通过神经信号检测网络的logit层基于报告的表示对包括目标事件的事件的集合建模；在给定被建模的事件的集合的情况下确定目标事件的发生概率；以及通过将报告数据库中的多个报告中的目标事件的汇总发生概率与比较器概率进行比较来识别信号的存在。

在一个实施例中，计算机系统，其中指令在被执行时还使得计算系统将注意力权重附加到信息对象中的每个信息对象，其中附加到每个信息对象的注意力权重基于信息对象中的至少另一个信息对象。

在一个实施例中，计算机系统，其中目标对象是目标药物，其中目标事件的集合包括不良健康事件，其中指令在被执行时还使得计算系统根据事件概率和比较器概率来计算信号分数；响应于信号分数超过指示信号存在的阈值来确定信号的存在；以及呈现指示已检测到信号的警报以供远程系统显示。

在一个实施例中，计算机系统，其中指令在被执行时还使得计算系统通过在忽略报告中的目标药物的同时从用于计算汇总发生概率的每个报告重新计算另外的汇总发生概率而从用于创建信号分数的同一报告集合中导出比较器概率。

附图说明

结合在本说明书中并构成其一部分的附图图示了本公开的各种系统、方法和其它实施例。将认识到的是，图中所图示的元件边界(例如，框、框的组或者其它形状)表示边界的一个实施例。在一些实施例中，一个元件可以被实现为多个元件，或者多个元件可以被实现为一个元件。在一些实施例中，示为另一个元件的内部组件的元件可以被实现为外部组件，并且反之亦然。此外，元件可能不是按比例绘制的。

图1图示了与神经信号检测相关联的计算系统的一个实施例。

图2图示了与神经信号检测相关联的神经网络拓扑的一个实施例。

图3图示了与神经信号检测相关联的方法的一个实施例。

图4图示了配置有所公开的示例系统和/或方法的计算系统的实施例。

具体实施方式

本文描述了提供神经信号检测(NSD)或使用神经网络的信号检测的系统和方法。本文描述的神经信号检测系统和方法使得能够对不良事件、药品和其它输入因素之间的复杂依赖性进行建模，并且解决混淆和掩蔽效果，从而提高信号检测系统和方法的准确性。与使用其它统计或机器学习方法实现的信号检测相比，本文描述的神经信号检测系统和方法减少了误报警和错过的信号。这些对准确性的提高导致信号检测更加快速或更及时。本文描述的神经信号检测系统和方法使得能够同时对多个事件进行建模。本文描述的神经信号检测系统和方法还使得能够在事件或产品层次结构的上下文中对依赖性进行建模。本文描述的神经信号检测系统和方法容易支持在输入中包括外部信息(诸如药物的生化特性)。

本文描述的神经信号检测系统和方法容易应用于安全性和监管合规上下文，诸如患者安全性。在一个实施例中，本文描述的神经信号检测系统和方法被应用于检测药物的不利健康影响，从而提高患者安全性。例如，信号检测的目标对象是目标药物，并且目标事件的集合包括不良健康事件。在相反的情况下，本文描述的神经信号检测系统和方法可以被用于检测药物的偶然积极效果，从而加速医疗研究并改善患者健康状况。例如，信号检测的目标对象是目标药物，并且目标事件的集合包括积极健康事件。另外，本文描述的神经信号检测系统和方法可以被应用于隔离预期药理作用失败的原因，从而使得能够识别替代治疗过程并改善患者健康状况。虽然本文可以在神经信号检测在健康领域提供的优点的上下文中讨论神经信号检测，但是神经信号检测可以有利地应用于输入和输出事件之间存在复杂依赖性或者需要在输出事件或输入的层次结构的上下文中对多个事件同时进行建模的任何领域。

信号检测算法的目标是产生统计信号分数，也称为比例失调比率，该分数被用于强调与特定输入相关联的潜在新事件(或至少以前未检测到的事件)。信号检测算法建立在对输入和事件之间的关系进行建模的技术之上。本文所示和描述的神经信号检测(NSD)使用深度学习(DL)技术来对这些关系进行建模。信号检测算法的有效性主要根据它们产生的信号的准确性来判断。信令错误导致误报警和未被检测到的真实事件。本文所示和描述的新神经信号检测算法可以生成比现有算法更准确的信号。

在一个实施例中，当应用于药物警戒数据集时，统计显著性分数(比例失调比率)被用于检测与药理学产品的使用相关联的不良事件。由本文描述的神经信号检测系统和方法提供的信号检测的改进的灵敏度和准确性减少了对于制药公司来说成本高昂的误报警。而且，由本文描述的神经信号检测系统和方法提供的信号检测的改进的准确性减少了未检测到的真实事件，从而防止对患者造成伤害。另外，由本文描述的神经信号检测系统和方法提供的信号检测的改进的灵敏度使得能够更早地或从更小的数据集检测到真实事件，同样防止对患者造成伤害。

本文描述或要求保护的任何动作或功能都不是由人类思维执行的。本文描述或要求保护的任何动作或功能都不能由人类思维执行。任何动作或功能可以在人类思维中执行的解释与本公开不一致且相反。

信号管理软件系统，诸如Empirica Signal，是诸如制药公司之类的用户用来管理、跟踪和识别与其产品(诸如上市前和上市后的药物、生物制剂、疫苗、设备、和组合产品)相关联的新不良(或积极偶然)事件的软件应用。信号管理软件可以实现若干信号检测算法以完成可用数据中信号的识别。在一个实施例中，信号检测系统和方法对其进行操作的数据是由其客户收集和管理的不良事件的自发报告(诸如个案安全性报告)。每个报告都以结构化格式可用并且包含所报告的不良事件、与事件相关联的可疑药品、日期、有限的患者人口统计信息(例如，年龄和性别)、报告者信息，以及与所报告的不良事件相关的潜在其它信息事件。在一个实施例中，信号检测对其操作的数据是遵循相同的结构化格式的动态生成的事件报告，不过是从记录信息的患者数据生成的，但不作为所报告的不良事件提交。例如，这个患者数据可以从一家医院或一组医院的患者记录中提取。这个数据可以是匿名的。在另一个示例中，信号检测对其操作的数据可以包括医疗文献，或包括可以从其编译报告的信息的其它数据源。

信号管理软件可以使复杂性和易用性不同的一种或多种信号检测方法可用。诸如比例报告比(PRR)、多项伽玛泊松缩减法(MGPS)和信息成分(IC)之类的规范方法基于目标产品和目标不良事件的2×2列联表(或交叉表格)。仅从这些2×2列联表中包含的信息得出的模型和信号分数将可以说是复杂问题的问题简化为简单得多的问题。与不良事件关系的研究相关联的复杂性源于多种因素，包括但不限于：剂量、持续时间和途径的差异、人口统计数据、适应症、合并症、遗传学、与用于捕获产品和不良事件的术语和/或语言可变性相关联的问题，以及表现为产品相互作用、混淆和掩蔽效果、产品类别效果、综合症事件和二阶效果的因素间依赖性。因此，将信号检测减少到2×2列联表可能导致用于研究观察到的/所报告的产品与不良事件之间的复杂关系所必需的关键信息的丢失。这进而会导致误报警和/或错过的信号。

为了试图克服误报警和错过的信号的这些问题，已经开发了更先进的信令方法，这些方法超越了2×2列联表并利用更先进的建模技术和更多信息(诸如数据变量)。这些高级方法中的大多数，诸如扩展逻辑回归(ELR)和回归调整伽马泊松缩减法(RGPS)(两者都在Empirica Signal中可用)以及世界卫生组织的二元逻辑回归(BLR)基于逻辑回归。在逻辑回归中，目标不良事件的发生是在目标产品和表示为附加回归预测变量的附加信息的上下文中建模的。这些附加的预测变量可以表示剂量、人口统计数据、伴随产品以及一般情况下可用的任何其它相关信息。在这方面，基于2×2列联表的方法可以被视为只有一个预测变量(目标产品)的逻辑回归。

—深度学习和神经信号检测—

一般而言，人工智能(AI)是一门使用诸如数据统计分析、依赖于if-then(如果-那么)语句的专家系统和机器学习之类的技术来模仿认知过程(诸如学习和问题解决)的智能计算机系统的科学。AI包括多个子领域，包括机器学习(ML)、神经网络、深度学习自然语言处理(NLP)和生成(NLG)以及图像处理。这些子领域可以有相当大的重叠。

机器学习是一种AI技术，用于训练软件算法从数据中学习，而不使用明确的指令并且代替地依赖模式和推理。机器学习的形式包括监督式学习、无监督式学习和半监督式学习。一般而言，监督式学习的目的是近似输入与输出之间的映射函数，以便该函数可以用来准确预测针对新输入的输出。在监督式学习中，向机器学习算法呈现示例输入和“正确”输出的训练数据集，并且作为响应，算法产生将输入映射到输出的推断的(一个或多个)函数或(一个或多个)模型，并且可以被用于预测针对新输入的输出。监督式学习算法或者用于分类，其中输出是诸如“奶酪”或“红色”之类的类别；或者用于回归，其中输出是诸如金钱、重量或维度之类的数值(或其它)值。一般而言，无监督式学习的目的是发现和建模未标记的数据的底层结构或分布。在无监督式学习中，向机器学习算法呈现未标记的数据，并且作为响应，算法产生表示未标记的数据的推断的(一个或多个)函数或(一个或多个)模型。半监督式学习介于监督式学习和无监督式学习之间，其中只有训练数据集的一部分被标记为输出。在半监督式学习中，无监督式学习技术可以被用于发现和学习输入变量中的结构，而监督式学习技术可以被用于对未标记的数据进行“最佳猜测”预测并使用该“最佳猜测”数据进一步训练模型。

神经网络是一种受人脑启发的AI技术，其中复杂的系统由人工神经元组成，这些神经元在有向加权图中连接并组织成多个层(输入层、隐藏层和输出层)。神经元(图的节点)和连接(图的边，有时也称为“突触”)通常具有随着学习的进行而调整的权重，该权重增加或减小输出信号的强度。在学习期间，神经元和连接的权重由处理器调整(从初始值(例如，随机值)相继生成)，直到神经网络准确且一致地识别出模式。每个神经元接受一个或多个输入并产生单个输出，该输出可以被发送到后续层中的多个其它神经元。一层的神经元仅连接到紧接着前一层和紧接着后一层的神经元。输入层的神经元可以是输入数据的特征值。输出层的神经元是输出的特征值。输入层和输出层之间是零个或更多个隐藏层。神经元的输出是通过以下方式找到的：将神经元的所有输入的总和按照到神经元的传入连接的权重进行加权，将这个加权和传递给神经元的激活函数以产生神经元的未加权输出，然后将指派给神经元的权重应用于输出以生成神经元的加权输出，该加权输出将传递给后续层中的神经元。神经网络可以用在监督式、半监督式和无监督式机器学习中。

神经网络可以在称为深度学习的AI技术中得到进一步扩展，其中具有多个隐藏层的神经网络被用于逐步从输入中提取更高级别的特征。深度学习中的术语“深度”是指在神经网络中使用多个隐藏层。深度学习可以用在监督式、半监督式和无监督式机器学习中。与其它机器学习算法不同，用于深度学习的神经网络或深度神经网络(DNN)可以被用于对复杂的非线性关系进行建模。此外，深度学习并不局限于特定的参数化模型(诸如逻辑回归)或在决策树背后使用的特定逻辑。更确切地说，它是可以针对特定问题进行定制的灵活的框架。从理论和经验的角度(例如，在诸如计算机视觉、语音识别和自然语言处理之类的应用中)已经证明，与传统机器学习算法相比，深度学习可以提供卓越的建模能力。

在一个实施例中，如本文所示和描述的神经信号检测是一种采取了超越RGPS的重要步骤的方法。在神经信号检测中，深度神经网络取代了其它统计或机器学习方法，诸如被RGPS使用的逻辑回归。因此，神经信号检测使用深度学习技术来对产品与不良事件之间的关系进行建模。神经信号检测充分利用深度学习神经网络的卓越建模能力来生成准确性更高的信号。

因此，神经信号检测证明比现有方法具有显著优势。在信号检测的上下文中，更大的建模能力使得能够以更高的准确性对不良事件、产品和其它因素之间的更复杂的依赖性进行建模。更大的建模灵活性使神经网络的设计能够(1)支持多个事件的同时建模，(2)启用迁移学习，(3)启用在事件或产品层次结构的上下文中的建模，以及(4)使得能够轻松包括外部信息。这增加了可用于建模的数据量，使不同事件能够在建模期间相互通知，使得能够包括更多信息，并解决与建模罕见事件相关联的问题。综合而言(或单独而言)，更大的建模能力和灵活性转化为更高的信令准确性，即，减少误报警和错过的信号，并提高检测的及时性(早期性)。在药物警戒领域，减少误报警节省大量成本和精力；同时减少错过的信号和及早检测信号挽救生命。

—示例信号管理环境—

图1图示了与神经信号检测相关联的计算系统100的一个实施例。在一个实施例中，计算系统100包括通过互联网110(或另一个合适的通信网络或网络的组合)连接到企业网络115的信号管理系统105。在一个实施例中，信号管理系统105可以是EmpiricaSignal或进一步被配置为执行本文描述的用于神经信号检测的系统和方法的其它信号管理系统。在一个实施例中，云信号管理系统105包括各种系统和组件，诸如神经信号检测组件120、其它信号管理系统组件125、(一个或多个)数据存储库130和web接口服务器135。

在一个实施例中，信号管理系统105的组件在通过数据网络互连的一个或多个硬件计算设备或主机上实现。例如，信号管理系统105的组件可以由一种或多种计算硬件形状的网络连接的计算设备来执行，计算硬件形状诸如标准(CPU或通用)形状、密集输入/输出(I/O)形状、图形处理单元(GPU)形状和高性能计算(HPC)形状。特别注意的是，虽然可以使用通用计算形状来训练深度神经网络(诸如用于如本文所述的神经信号检测的那些深度神经网络)，但在一个实施例中，期望使用GPU计算形状来训练深度神经网络。主存储器中的带宽优化、线程并行性以及GPU形状的聚合寄存器尺寸与处理单元的较高比率(与时延优化、并行性降低以及CPU形状的聚合寄存器尺寸与处理单元的较低比率相比)可以使GPU形状在诸如神经信号检测之类的深度学习应用中优于CPU形状。在一个实施例中，信号管理系统105或至少神经信号检测组件120可以由GPU3或GPU4形状来执行。在一个实施例中，信号管理系统105的组件各自由一个或多个专用计算设备来实现。在一个实施例中，信号管理系统105的几个或所有组件由共用(或共享)计算设备来实现，即使在图1中被表示为离散单元。在一个实施例中，信号管理系统105的组件可以跨多个计算设备来实现。

在一个实施例中，信号管理系统105的组件通过电子消息或信号相互通信。这些电子消息或信号可以被配置为对访问组件的特征或数据的功能或过程的调用，诸如例如应用编程接口(API)调用。在一个实施例中，这些电子消息或信号以与传输控制协议/互联网协议(TCP/IP)或其它计算机联网协议兼容的格式在主机之间发送。信号管理系统105的每个组件可以解析接收到的电子消息或信号的内容以识别该组件可以执行的命令或请求，并且响应于识别命令，该组件将自动执行该命令或请求。

在一个实施例中，信号管理系统105可以被实现为云基础设施上的服务。在一个实施例中，信号管理系统105可以由专用的第三方托管，例如在基础设施即服务(IAAS)、平台即服务(PAAS)或软件即服务(SAAS)体系架构中托管。在一个实施例中，信号管理系统105可以在本地部署基础设施上实现，诸如在一个或多个专用服务器的集合上实现。

在一个实施例中，其它信号管理系统组件125包括用于操作信号管理系统105的组件。例如，其它信号管理系统组件125可以包括其它信号检测方法模块，诸如用于PRR、MGPS、IC、ELR、RGPS和/或BLR信号检测的模块；检测到的事件管理模块，用于管理与检测到的事件或信号相关的动作；检测到的事件跟踪模块，用于监视检测到的事件或信号；不良事件报告摄入模块，用于接受不良事件报告的提交；其它数据收集模块，用于摄入未结构化为不良事件报告的数据；动态事件报告生成模块，用于从未作为不良事件报告正式提交的患者数据生成事件报告；数据分析和可视化模块，用于除信号检测之外的数据分析；用户界面模块，用于生成到信号管理系统105的其它组件/模块的用户界面；监管报告模块，用于准备和监视向监管机构提交安全性信号信息；和/或管理模块，用于管理租户和用户对系统105的访问。

企业网络115可以与业务(诸如制药或医疗设备制造商)或者有兴趣监视产品的下游行为的其它实体相关联。为了解释的简单和清楚起见，企业网络115由一个或多个个人计算机145或服务器150可操作地连接到的现场局域网140以及通过互联网110连接到企业网络115的一个或多个远程用户计算机155或移动设备160表示。每个个人计算机145、远程用户计算机155或移动设备160一般专用于特定的最终用户，诸如与业务相关联的员工或承包商，但是这样的专用不是必需的。个人计算机145和远程用户计算机155可以是例如台式计算机、膝上型计算机、平板计算机或具有连接到局域网140或互联网110的能力的其它设备。移动设备160可以是例如智能电话、平板计算机、移动电话或具有通过诸如蜂窝电话网络或Wi-Fi之类的无线网络连接到局域网140或互联网110的能力的其它设备。

企业网络115的用户可以跨互联网110与信号管理系统105交互。在一个实施例中，信号管理系统105外部的计算系统(诸如企业网络115的那些计算系统)可以通过web接口服务器130访问由信号管理系统105提供的信息或应用。在一个实施例中，外部计算系统可以向web接口服务器130发送请求并从web接口服务器130接收响应。在一个示例中，对信息或应用的访问可以通过使用个人计算机145、远程用户计算机155或移动设备160上的web浏览器来实现。例如，企业网络115的这些计算设备145、155、160可以请求并接收基于网页的图形用户界面(GUI)，用于使用信号管理系统105中的神经信号检测来检测信号。在一个示例中，web接口服务器130可以将HTML代码呈现给个人计算机145、服务器150、远程用户计算机155或移动设备160，以供这些计算设备渲染成用于信号管理系统105的GUI(包括用于访问神经信号检测组件120的功能的GUI)。在另一个示例中，在web接口服务器130与个人计算机145、服务器150、远程用户计算机155或移动设备160之间交换的通信可以采用例如使用JavaScript对象表示法(JSON)作为数据交换格式的远程表征状态转移(REST)请求的形式，或者去往和来自XML服务器的简单对象访问协议(SOAP)请求的形式。

在一个实施例中，数据存储库130包括被配置为存储和提供与信号管理系统105中操作的应用相关的广泛信息的一个或多个数据库。在一个实施例中，数据存储库130包括数据库，诸如数据库。在一些示例配置中，(一个或多个)数据存储库130可以使用一个或多个/>Exadata计算形状、网络附加存储(NAS)设备和/或其它专用服务器设备来实现。

在一个实施例中，神经信号检测组件120包括神经信号检测网络165、神经网络训练器170、深度学习框架175、报告数据库180和注意力机制185。在一个实施例中，神经信号检测网络165是被配置、构造和操作以在给定报告中的输入信息的情况下生成一种或多种不良事件的发生概率的神经网络，如本文所示和描述的。在一个实施例中，神经网络训练器170被配置为训练神经信号检测网络165，例如通过如本文所示和描述的随机梯度下降来估计神经信号检测模型的可训练参数来进行训练。在一个实施例中，深度学习框架175包括用于训练深度学习网络的工具和库的集合(诸如TensorFlow和PyTorch)，如本文所示和描述的。报告数据库180是将针对信息输入(诸如药物)与事件(诸如不良健康事件)之间的信号被检查的报告的储存库——描述事件和该事件周围的信息的数据结构，如本文所示和描述的。在一个实施例中，报告数据库180占据数据存储库130的一部分。注意力机制185被配置为向神经信号检测网络165的信息输入提供上下文敏感的权重，如本文所示和描述的。

信号管理系统105的每个组件(包括子组件)由逻辑配置以执行该组件被描述为执行的功能。在一个实施例中，信号管理系统105的组件可以各自被实现为由专门配置用于这种执行的一个或多个计算设备(诸如云网络计算系统的主机)执行的一个或多个软件模块的集合。在一个实施例中，这些模块包括用于实现本文所示和描述的特征的一个或多个模块。

—示例神经信号检测网络—

在一个实施例中，对于给定的目标不良事件，神经信号检测将报告中包含的信息(例如，产品和患者信息)映射到目标不良事件的概率。然后聚合这些概率，以产生目标事件与特定目标产品之间的关联的统计信号分数(比例失调比率)。

通过将模型拟合(训练)到数据来计算概率。该模型旨在捕获报告中的信息(例如，报告中提到的药物)与目标不良事件的发生概率之间的关系。神经信号检测使用深度神经网络来拟合模型，而不是例如使用逻辑回归。

在许多深度学习应用中，对于对象(诸如自然语言处理中的单词和句子以及计算机视觉中的图像)建模被表示为实数的密集向量，而不是回归中使用的标量指示符、分类变量、序数变量或连续变量。在信号检测中，被建模的对象是产品、不良事件以及报告中包含的其它信息，诸如患者人口统计数据或其它患者信息。在一个实施例中，本文描述的神经信号检测系统和方法也将这些对象表示为密集向量。这些密集向量是作为训练/模型拟合过程的一部分来学习的。

深度学习是一种通用框架，人们可以用它来设计或定制特定的神经网络拓扑以完成特定任务或对特定关系建模。为此，深度学习应用通常借助于神经网络拓扑或用于表示模型的层来描述。

图2图示了与神经信号检测相关联的神经网络200拓扑的一个实施例。在一个实施例中，用于神经信号检测的神经网络200包括三个主要层：对象嵌入(或对象表示)层205、报告表示层210和logit层215。对象嵌入层205用于学习报告中的对象的向量表示，诸如产品和其它信息。报告表示层210学习整个报告的向量表示——总结报告中所包括的所有信息的向量表示，考虑到构成报告的对象之间的依赖性。logit层215将报告的向量表示变换成被建模的不良事件的发生概率。在一个实施例中，这些层205、210、215中的一个或多个还可以包括更小的子层，诸如深度学习基元、变换层或用于生成针对主要层205、210、215描述的结果的其它层。在一个实施例中，如果需要，那么可以复制这些层205、210、215中的一个或多个以增加模型复杂性。在一个实施例中，每个层205、210、215可以使用不同维度的向量。

在一个实施例中，神经网络200可以被用于独立于其它事件对一个目标不良事件建模，诸如在给定报告的向量表示(诸如报告向量表示225)的情况下不良事件1的发生概率220所示。在一个实施例中，神经网络200可以容易地扩展以同时对多个目标不良事件建模，诸如在给定报告225的向量表示的情况下不良事件2的发生概率230和不良事件3的发生概率235所示。可以有一个或多个(最多Q个)目标事件。这Q个目标事件中的每一个的发生概率可以给出为p_q(x²)。

神经网络200的各层的输入和输出的关键在附图标记240处示出。在一个实施例中，用于神经信号检测的神经网络200将最初表示为索引的报告对象245(诸如药物)作为输入。这些被馈送到对象嵌入层205中，对象嵌入层205学习(并作为输出对象生成)这些对象的向量表示/>250。然后，对象向量表示250被馈送到报告表示层210中，报告表示层210总结报告中的所有信息，包括对象依赖性，并输出整个报告的向量表示(x²)225。报告向量表示225然后被馈送到logit层215，该层使用针对每个被建模的不良事件的特定logit层将报告的向量表示x² 225映射到被建模的不良事件的发生概率p_q(x²)。每层可以使用不同维度的向量(d1，d2)。这些维度可以通过相对于训练模型所需的时间和计算资源平衡模型的性能来确定。例如，维度可以基于指导尺寸，诸如最初将嵌入维度设置为等于类别数的四次方根，然后调整嵌入维度，直到模型在可接受的时间尺度内获得足够准确的结果。在一个实施例中，用于神经信号检测的神经网络200可以被用于对一次一个不良事件或同时对共享在较低级别学习到的向量表示的多个不良事件建模。

在一个实施例中，在logit层215中，针对Q个目标事件中的每一个实现单独的logit层(诸如logit 1 261、logit 2 262、logit Q 263等)。每个目标事件的单独logit层共享在网络较低级别生成的学习内容。logit函数或几率函数的对数是用于将概率值(范围在0和1之间，包括端点)变换成实数值(范围在-∞和+∞之间)的几个函数之一。逆logit函数或逻辑函数是用于将范围在-∞和+∞之间的实数值变换成范围在0和1之间(含端点)的概率值的几个sigmoid函数之一。在一个实施例中，logit层执行逆logit或其它sigmoid函数，并且215将报告向量表示225的实数值的向量变换成发生概率值(诸如发生概率p₁(x²)220、p₂(x²)230和p_Q(x²)235)。

—神经信号检测模型—

本节描述基线神经信号检测模型的一个实施例。可以以几种方式构造超过基线模型的扩展，例如通过(i)使用不同版本的注意力机制，(ii)复制层(计算)，(iii)添加其他中间层(例如，变换、归一化、正则化)，以及(iv)同时对多个不良事件建模(而不是如图所示独立建模)。注意的是，本文描述的基线神经信号检测模型只是神经信号检测的一个简单实施例，并且特别地，是可以被扩展的基本结构。基于这个基线神经信号检测模型，应用神经信号检测的各个实施例的复杂性可以有所不同。

符号表示—示例基线神经信号检测模型的参数定义如下：

e_m：报告数据库中第m个对象的向量嵌入，(作为参数被估计)

j：报告中对象的索引

x_ij：报告i中对象j的向量嵌入，x_ij∈{e_m}

n_i：报告中的对象数量

h_i：报告i的向量表示

α_ij：报告i中对象j的注意力权重，x_ij

w，b：logit层的参数向量和偏差(待估计)

v：注意力参数向量(待估计)

y_i：报告i中是否存在目标不良事件的指示符变量，y_i∈{0，1}

粗体变量表示该变量是向量。

模型—示例基线神经信号检测模型由以下等式1-4描述。等式按照计算从后到先的次序排列(即，最后执行的计算首先示出)。

p_i＝σ(z_i) (等式1)

等式1将报告i中被建模的不良事件的发生概率(p_i)定义为由用于神经信号检测的神经网络中的logit层执行的中间线性计算(z_i)的sigmoid(σ)函数。在一个实施例中，当存在单个目标建模的不良事件时，该建模的不良事件的发生概率(p_i)是用于神经信号检测的神经网络200中的logit层215的输出。在存在多个(Q个)目标建模的不良事件的一个实施例中，每个目标事件的发生概率，该不良事件的发生概率(p_iq)是用于神经信号检测的神经网络200中与该不良事件对应的logit层(例如logit 1、261、logit 2、262、logit I 263等)的输出。

z_i＝w^Th_i+b (等式2)

等式2将报告i中的中间线性计算(z_i)定义为参数向量(w)的转置(T)与报告i的向量表示(h_i)的向量点积，加上logit层的偏差标量。在一个实施例中，中间线性计算(z_i)由用于神经信号检测的神经网络200中的logit层215执行。注意的是，参数向量(w)属于所有维度中的实数的集合

h_i＝∑_jα_ijx_ij (等式3)

等式3将报告i的向量表示(h_i)定义为由注意力权重(α_ij)加权的报告i中出现的通过j索引的所有对象(x_ij)之和。在一个实施例中，向量表示(h_i)表示由用于信号检测200的神经网络200中的报告表示和依赖性建模层210生成。

等式4将报告i中的对象j的注意力权重(α_ij)定义为注意力参数向量(v)的转置(T)与对象的向量嵌入(x_ij)的向量点积的指数函数除以针对所有嵌入式对象(j)的注意力参数向量(v)的转置(T)与对象的向量嵌入(x_ij)的向量点积的指数函数的商。在一个实施例中，报告i中的对象j的注意力权重(α_ij)由用于信号检测200的神经网络200中的报告表示和依赖性建模层210应用。

—训练神经信号检测模型—

在一个实施例中，神经网络训练器(诸如信号管理系统105的神经网络训练器170)训练神经信号检测模型(诸如上述基线神经信号检测模型)。在一个实施例中，神经网络训练器170包括用于执行本文描述的训练功能的一个或多个模块。神经网络训练器170使用报告的集合(诸如报告数据库280)来训练神经信号检测模型，报告的集合将被检查以由经过训练的神经信号检测模型检测目标信息(诸如药物或其它医疗产品)与目标事件(诸如不良健康事件)之间的信号关系。

在一个实施例中，训练过程以多个报告的批次进行。批次的尺寸可以是被设置为处理器(CPU或GPU)可用的存储器可以处置的最大值的超参数。

参数估计—在一个实施例中，使用数据对数似然作为要最小化的损失函数，通过随机梯度下降来估计神经信号检测模型的参数。数据对数似然函数由下式给出：

在一个实施例中，随机梯度下降的参数导数是由深度学习框架(诸如深度学习框架175)自动计算的。这些参数导数的通用形式由下式给出：

其中θ是要估计的参数，诸如参数向量w、注意力参数向量v、报告中对象的注意力权重α_ij以及报告数据库中对象的向量嵌入e_m。在一个实施例中，示例基线神经信号检测模型的参数导数由等式7-10给出。

参数向量w的参数导数因此是：

注意力参数向量v的参数导数因此是：

报告中对象的注意力权重α_ij的参数导数因此是：

报告数据库中对象的向量嵌入e_m的参数导数因此是：

假设存在报告中可以出现的总共M个不同的对象(例如，药物、患者人口统计数据或其它输入)，那么对于示例基线神经信号检测模型需要估计的参数数量由等式11给出：

M×d+d+d+1 (等式11)

分别对于报告对象的M个d维向量嵌入，v d维注意力参数，以及w d维概率变换权重参数和b一维偏差参数。在一些示例中，由于需要建模的对象(例如，药物)的数量，M可以非常大(例如，在10⁴或10⁵的数量级)。容纳大量参数的能力有助于神经信号检测网络的灵敏度，从而使神经信号检测网络能够找到目标输入与目标事件之间非常复杂的关系(信号)，但是这样做的代价是潜在的过度拟合(模型泛化)。

在一个实施例中，用于实现神经信号检测的深度学习框架通过随机梯度下降自动估计神经信号检测网络的参数—特别是参数向量w、注意力参数向量v、logit层的偏差b以及报告数据库中对象的向量嵌入e_m。随机梯度下降是一种优化算法，其中计算机处理器通过更新估计的参数值来重复降低损失函数的梯度(或斜率)，直到估计的参数值描述梯度近似为0的最小值。

—示例方法—

在一个实施例中，本文描述的计算机实现的方法的每个步骤可以由一个或多个计算设备的处理器(诸如参考图4示出和描述的处理器410)来执行，该处理器(i)访问存储器(诸如存储器415和/或参考图4示出和描述的其它计算设备组件)并且(ii)配置有使系统执行方法的步骤的逻辑(诸如参考图4示出和描述的神经信号检测逻辑430)。例如，处理器访问存储器并从存储器读取或写入存储器以执行本文描述的计算机实现的方法的步骤。这些步骤可以包括(i)检索任何必要的信息，(ii)计算、确定、生成、分类或以其它方式创建任何数据，以及(iii)存储计算、确定、生成、分类或以其它方式创建的任何数据以供后续使用。对存储(storage或storing)的引用指示作为计算设备的存储器或存储装置/盘中的数据结构的存储(诸如参考图4中示出和描述的计算设备405或远程计算机465的存储器415、或存储装置/盘435，或在参考图1示出和描述的数据存储库130中)。

在一个实施例中，方法的每个后续步骤响应于解析接收到的信号或检索到的存储的数据而自动开始，该信号或数据指示前一步骤已经至少执行到后续步骤开始所需的程度。一般而言，接收到的信号或检索到的存储的数据指示前一步骤的完成。

图3图示了与神经信号检测相关联的方法300的一个实施例。在一个实施例中，方法300的步骤由信号管理系统105的神经信号检测组件120执行(如参考图1示出和描述的)。在一个实施例中，神经信号检测组件120是配置有神经信号检测逻辑430的专用计算设备(诸如计算设备405)。在一个实施例中，神经信号检测组件120是配置有逻辑430的专用计算设备的模块。在一个实施例中，通过方法300的步骤启用数据中的快速或早期信号检测，其中这样的早期信号检测以前不可能由计算设备执行。

方法300可以基于各种触发被自动发起，触发诸如响应于通过网络接收信号或解析存储的数据，该信号或数据指示(i)信号管理系统105的用户(或管理员)已经发起方法300，(ii)方法300被安排在既定的时间或时间间隔发起，(iii)信号管理系统105已接收到一个或多个报告的新的集合(诸如报告数据库)。响应于解析接收到的信号或检索到的存储的数据并确定该信号或存储的数据指示方法300应当开始，方法300在“开始”框305处发起。处理继续到处理框310。

在处理框310处，处理器通过神经信号检测网络的嵌入层为包括在报告中的一个或多个信息对象的集合中的每个信息对象创建向量嵌入。这一个或多个信息对象的集合包括目标对象。

在一个实施例中，被存储为报告数据结构的一个或多个报告的报告数据库(诸如报告数据库180)例如被维护在数据存储库130中。例如，报告数据结构可以是报告的表中的行。在一个实施例中，报告数据结构包括一个或多个输入信息对象，诸如：一个或多个观察到的事件(包括正被检查与另一个输入对象的信号关系的目标事件)；事件发生时患者正在使用的一种或多种药物、生物制品、疫苗、设备或其它医疗产品；描述患者特征的有限的患者人口统计信息；识别生成报告的实体的报告者信息；或其它潜在的相关信息，诸如患者吃的食物。报告具有用于报告中的每个信息(或数据)对象的一个或多个索引。用于事件的数据对象可以包括发生时间和日期的索引；使用来自医疗编码词典(诸如MedDRA)中的标准化术语编码的事件的描述；以及严重性确定，例如，如果事件被归类为导致死亡或危及生命、需要住院治疗或延长现有住院时间、导致持久或严重残疾或丧失能力、导致先天性异常或具有其它医疗意义，那么确定该事件是严重的，否则确定事件不严重。用于药物的数据对象可以包括名称、化学式(可以响应于单独提交报告中的名称而自动填充)、批次号和剂量的索引。用于患者的数据对象可以包括患者的年龄、体重和性别的索引。在一个实施例中，包括在报告中的将被嵌入为向量表示的M个信息(或数据)对象的集合是报告中的所有信息对象。在一个实施例中，M个对象的集合不需要是报告中的所有对象，而是报告中的所有信息对象的子集。

在一个实施例中，处理器通过神经信号检测网络的嵌入层为包括在报告中的一个或多个信息对象的集合中的每个信息对象创建、生成或嵌入向量嵌入。向量嵌入是离散的分类变量到实数向量的映射。在一个实施例中，对象基元的向量嵌入可以被用于在神经信号检测网络中使用这些对象。在一个实施例中，神经信号检测网络(诸如神经信号检测网络165)中的对象嵌入层(诸如对象嵌入层205)根据报告中的M个对象创建基元。在训练阶段期间对象嵌入层(使用报告数据库的报告)被训练，以将报告中的信息(或数据)对象翻译成表示对象的向量。在一个实施例中，处理器从报告数据库中检索报告。这个报告是报告的初始对象表示，并且包括描述报告中的M个对象的索引。处理器依次访问报告中的M个对象中的每个对象，评估对象的索引，并生成对象的向量嵌入——索引的离散值到连续维度值的向量的映射。这些向量具有d1个维度。对象嵌入层包括M个向量，每个向量表示正被建模的不同对象之一。这M个向量是用于报告数据库中的信息对象的向量表示(诸如对象向量表示250)。

一旦处理器由此完成由神经信号检测网络的嵌入层为包括在报告中的一个或多个信息对象的集合中的每个信息对象创建向量嵌入，处理框310处的处理就完成，并且处理继续到处理框315。

在处理框315处，处理器通过神经信号检测网络的表示层按以下方式表示报告：(i)描述目标事件的发生与信息对象之间的相关性，并且(ii)考虑构成报告的信息对象之间的依赖性。

在一个实施例中，处理器计算n_i个注意力权重的集合，对于嵌入层中的信息对象的n_i个向量表示中的每个向量表示有一个注意力权重，例如如本文关于等式4所示和描述的。处理器然后计算报告的向量表示，例如如本文关于等式3所示和描述的。

在一个实施例中，为了计算注意力权重(诸如注意力权重α)的集合，处理器从存储器或存储装置(例如，在数据存储库130中)检索注意力参数向量(例如，注意力参数向量v)。注意力参数向量具有d₁个维度。注意力参数向量的维度的值是在训练阶段期间学习的。处理器针对注意力参数向量的每个元素转置注意力参数向量。因此，转置后的注意力参数向量是列向量，其中注意力参数向量是行向量。然后，处理器确定转置后的注意力参数向量与每个对象的向量嵌入的向量点积，从而将每个对象的向量嵌入的每个维度乘以注意力参数向量中其对应的维度，以生成中间乘积向量的集合，其中集合中的每个中间乘积向量与信息对象的向量嵌入以一对一的关系对应。然后，处理器确定这些中间乘积向量中的每一个的指数函数以生成中间指数向量的集合，其中该集合中的每个中间指数向量与信息对象的向量嵌入以一对一关系对应。然后处理器确定所有这些中间指数向量的总和以生成中间和。然后，对于每个中间指数向量，处理器将中间向量除以中间和以创建报告的n_i个信息对象的向量嵌入的n_i个注意力权重(例如，注意力权重α_ij)的集合，其中集合中的每个注意力权重与信息对象的向量嵌入以一对一的关系对应。因为集合中的这些注意力权重中的每个注意力权重将应用于单个嵌入信息对象的注意力向量与应用于报告的所有嵌入信息对象的注意力向量相关，所以注意力权重是上下文敏感的，并且反映了报告中的每个信息对象相对于报告的其它对象的相对重要性。

然后处理器计算整个报告的向量表示(诸如报告i的向量表示h_i)。在一个实施例中，为了计算整个报告的向量表示，处理器将报告中的信息对象的每个向量嵌入乘以与该向量表示对应的标量注意力权重，以生成中间加权向量的集合。因此，处理器通过将对象的向量嵌入(即，向量嵌入的维度)乘以权重来将n_i个注意力权重的集合中的每个注意力权重应用于报告中对象的对应向量嵌入。然后，处理器找到所有中间加权向量的总和，以生成整个报告的向量表示。所应用的权重的上下文敏感性使得整个报告的单个向量表示能够考虑报告中的信息对象之间的依赖性。

一旦处理器因此完成通过神经信号检测网络的表示层以描述目标事件的发生与信息对象之间的相关性并考虑构成报告的信息对象之间的依赖性的方式来表示报告，处理框315处的处理就完成，并且处理继续到处理框320。

在处理框320处，处理器通过神经信号检测网络的logit层基于报告的表示对包括目标事件的事件的集合建模。

在一个实施例中，处理器计算由logit层(诸如logit层215)执行的中间线性计算的输出值(诸如中间线性计算的值z_i)，例如如本文参考等式2所示和描述的。

在一个实施例中，处理器检索在框315中创建的整个报告的向量表示(诸如报告i的向量表示h_i)。处理器检索参数向量(例如，参数向量w)。参数向量包括用于整个报告的向量表示的每个维度的参数值。参数向量可以已在先前的训练阶段中被估计并存储。处理器计算参数向量的转置。处理器检索logit层的偏差(诸如偏差b)。然后处理器计算参数向量的转置以产生转置后的参数向量。然后，处理器确定转置后的参数向量与整个报告的向量表示的向量点积。然后，处理器将偏差添加到那个向量点积中。添加偏差是为了减少方差，以避免过度拟合，从而为神经信号检测网络引入灵活性和更好的一般化。处理器因此生成中间线性计算的输出值。因此，处理器计算报告的模型(例如，报告的向量表示x² 225)。

一旦处理器因此完成了通过神经信号检测网络的logit层基于报告的表示对包括目标事件的事件的集合的建模，处理框320处的处理完成，并且处理继续到处理框325。

在处理框325处，处理器在给定被建模的事件的集合的情况下确定目标事件的发生概率。

在一个实施例中，处理器通过例如在logit层215中计算诸如表示给定事件的模型的情况下事件的发生的逆logit(或逻辑)函数之类的sigmoid函数将表示被建模的事件(在事件的模型中)的实数值转换成事件的发生概率。在一个实施例中，sigmoid函数(诸如逆logit(或逻辑)函数、双曲正切函数、反正切函数、误差函数或展示sigmoid函数的S形曲线特点的其它函数。处理器检索中间线性计算的输出值——从整个报告的向量表示生成的事件的模型。在logit层中，处理器计算中间线性计算的输出值的sigmoid函数。在给定报告的初始对象表示的情况下，从计算sigmoid函数得出的值是事件的发生概率。

在一个实施例中，处理器确定属于事件的集合的单个目标事件的发生概率，例如，如附图标记220所示。在一个实施例中，处理器确定属于事件的集合的多个不同目标事件的发生概率，例如，如附图标记230和235所示。

处理器将目标事件的发生概率存储在报告数据库(或报告的其它集合)中包括的所有报告的发生概率的集合中。例如，处理器可以将目标事件的发生概率存储在发生概率数据结构中指定用于特定报告的位置处(并且在可能发生多个目标事件的情况下，进一步指定用于特定目标事件的位置处)。

一旦处理器因此完成了在给定被建模的事件的集合的情况下确定目标事件的发生概率，处理框325处的处理完成，并且处理继续到判定框330。

在一个实施例中，对报告的集合中的多个报告(诸如报告数据库中的所有报告或报告数据库中报告的子集)重复在处理框310-330处描述的用于在给定报告的事件的情况下确定目标事件的发生概率的处理。在一个实施例中，可以选择报告的任何集合，并且可以包括所有、一些或单个可用报告。在判定框330处，处理器确定在报告的集合中是否剩余报告。在报告的集合中剩余报告的情况下(判定框330：是)，判定框330处的处理完成，并且处理进行到处理框310，其中针对报告的集合中的下一个报告重复处理。在一个实施例中，处理器可以递增报告索引(例如，报告索引i)并且返回到处理框310以针对由报告索引指示的报告来重复框310-325。在报告的集合中没有剩余报告的情况下(判定框330：否)，判定框330处的处理完成，并且处理继续到处理框335。

在处理框335处，处理器通过将报告数据库中的所有报告的目标事件的汇总发生概率与比较器概率进行比较来识别信号的存在。

在一个实施例中，处理器确定信号分数，诸如关于下面的等式12-14所示和描述的。处理器例如通过从发生概率数据结构中检索目标事件的所有报告的发生概率的集合来检索它们。然后，处理器计算目标事件的所有检索到的发生概率的总和，以生成跨报告数据库中的所有报告的目标事件的汇总发生概率。然后，处理器将汇总发生概率除以比较器概率以生成信号分数。比较器概率表示目标事件的概率，其中报告不包括正被检查与目标事件的关系的目标信息(诸如药物或其它医疗产品)。然后，处理器将信号分数与指示信号存在的阈值进行比较。在一个实施例中，当信号分数达到或超过阈值时，处理器识别出信号的存在，而当信号分数低于阈值时，处理器识别出信号的不存在。处理器将检测到的这个信号的存在或不存在的指示写入输出数据结构中以供后续使用。

阈值的值可以是预先确定的，例如通过选择已知为信号与噪声之间相当好的区分器的阈值。例如，近似为2的信号分数阈值——其中当报告包括目标信息(诸如药物)时目标事件的可能性是报告不包括目标信息时的两倍——足以指示明确的信号关系。1和2之间的信号分数阈值也可以被用于提高灵敏度。在信号检测中，灵敏度的提高伴随着产生繁琐的假阳性信号检测的风险。与使用其它信号检测算法相比，本文描述的用于神经信号检测的系统和方法提供更高的灵敏度和更低的假阳性信号检测风险。因而，由于神经信号检测提供的更精细的相关性建模和依赖性建模，本文描述的用于神经信号检测的系统和方法可以使用1和2之间的较低信号分数阈值来检测信号。超过2的信号分数也可以被用于降低灵敏度，但存在丢失实际信号检测的风险。

此外，低于1，尤其是低于0.5的信号分数可以指示目标信息与目标事件之间的逆信号关系—例如，低于1的目标药物与目标不良事件的信号分数可以指示药物对目标不良事件的预防作用。因此附加的逆信号阈值——例如0.5，指示有目标信息(药物)时目标事件的可能性是没有目标信息(药物)时的一半—可以被设置并且可以与信号分数进行比较。

在一个实施例中，信号管理系统105可以使得信号存在的指示在信号管理系统105的图形用户界面中显示为警报。在一个实施例中，信号存在的指示还可以是使得信号管理系统105发起其它处理(包括发送警报消息，或者生成并呈现示出信号数据的图以供显示)的触发。这对于关于检测药物或其它医疗产品的不良反应的早期警报特别有用，其中响应的快速性可以挽救生命。因此，在一个实施例中，当目标对象是目标药物并且目标事件的集合包括不良健康事件时，系统可以继续根据事件概率和比较器概率来计算信号分数；响应于信号分数超过指示信号存在的阈值来确定信号的存在；以及立即呈现指示已检测到信号的警报以供远程系统显示。

一旦处理器通过将报告数据库中的所有报告的目标事件的汇总发生概率与比较器概率进行比较而完成了识别信号的存在，处理框335处的处理就完成，并且处理继续到“结束”框340，其中处理300结束。

—推理和信号分数计算—

在一个实施例中，神经信号检测信号分数被计算为目标药物相对于比较器的事件概率(或计数)的比率，如上面参考处理框335所讨论的。这与药物警戒领域中使用的其它信号检测方法一致。例如，对于目标药物和目标不良事件，神经信号检测率被定义为给定包含目标药物的报告中所包括的信息的情况下目标事件的平均概率除以被操纵以创建比较器的同一报告集合的事件的平均概率。以这种方式，每个报告可以用作其自己的对照—本文描述的用于神经信号检测的系统和方法提供的另一个优点，其在其它信号检测系统和方法中并非广泛可用的。在将模型拟合到数据并已估计出模型参数之后，计算比率(信号分数)。该模型不会重新拟合到数据以计算比较器概率(比率分母)。代替地，为了得出比较器概率，以不同的方式使用报告或模型参数。因此，在一个实施例中，信号管理系统105可以根据汇总发生概率和从用于创建汇总发生概率的同一报告集合中导出的比较器概率来计算信号分数。

可以通过操纵报告或模型参数以创建不同的比较器概率(或计数)来计算不同的信号分数。形式上，由等式12-14给出给定目标药物和目标事件的信号分数计算的一个示例：

其中e是目标药物的向量嵌入，其中e是所有维度中的实数并且报告i的向量表示h_i以不同的方式计算以生成不同的比较器概率以将报告用作其自己的对照。在一个实施例中，信号管理系统105可以通过在忽略或忽视报告中的目标药物的同时从用于计算汇总发生概率的每个报告重新计算另外的汇总发生概率而从用于创建信号分数的同一报告集合导出比较器概率。下面描述两个这样的计算。

1.比较器概率(P₂)可以通过从原始计算(P₁)中使用的每个报告中去除目标药物并重新计算事件概率来计算，如下所示：

其中目标药物的向量嵌入e不包括在报告中对象的向量嵌入中x_ij≠e。在这第一种方法中，信号管理系统105通过从用于计算汇总发生概率的每个报告中去除目标对象来重新计算另外的汇总发生概率，从而计算比较器概率。

2.比较器概率(P₂)可以通过将原始计算(P₁)中使用的每个报告中目标药物的注意力权重设置为零并重新计算事件概率来计算，如下所示：

h_i＝∑_jα_ijt_jj (等式17)

在这第二种方法中，信号管理系统105通过从用于计算汇总发生概率的每个报告重新计算另外的汇总发生概率来计算比较器概率，其中指派给目标对象的注意力权重对于每个报告被设置为零。

—注意力机制—

在一个实施例中，报告表示层210包括依赖性建模功能，该功能在学习整个报告255的向量表示时考虑构成报告的对象之间的依赖性。例如，假设目标药物与目标不良事件之间的关系因第二药物的存在而混淆，报告表示层210学习这种依赖性并以与包括目标药物和不同药物的报告不同的方式并以反映混淆的方式表示包括目标药物和混淆药物的报告。或者，在类似的示例中，当第二药物与目标药物相互作用而不是混淆目标药物时，报告表示层210学习这种依赖性并以与包括目标药物和不同药物的报告不同的方式并以反映该相互作用的方式表示包括目标药物和相互作用药物的报告。

在一个实施例中，本文描述的神经信号检测系统和方法使用深度学习注意力机制来实现报告表示层210并学习整个报告的向量表示。注意力机制广泛用在自然语言处理应用中，并被设计为模仿认知注意力。注意力机制被设计为识别、增强输入数据的重要部分并为输入数据的重要部分投入更多计算能力，同时淡出、减弱或忽略其余部分。决定数据的哪一部分比其它部分更重要取决于上下文，即，输入数据的其它部分(例如，报告中的对象)。决定数据的各个部分的相对重要性是通过深度学习训练处理来学习的。注意力机制将上下文敏感的权重附加到输入的每个部分，这反映了每个部分相对于其它部分以及因此相对于整体的相对重要性。因为这些权重是上下文敏感的，所以同一个对象可以根据与它一起出现的其它对象而获得不同的权重。给定这些权重，注意力机制可以通过计算各部分的加权平均值来计算整体的上下文敏感汇总。

在一个实施例中，输入与由对象的集合表示的报告对应，诸如报告中提到的药物。例如，报告是诸如行对象之类的数据结构，其包括用于药物和用于患者人口统计信息的其它数据结构或对象。这个报告行对象可以是关系数据库中此类报告对象的表的行。

在一个实施例中，注意力机制确定报告中的每个对象(药物、患者人口统计数据、患者状况)相对于报告中的其它对象对不良事件的可能性的预测能力。例如，当同一个报告中提到两种药物时，注意力机制学习向已知会造成目标不良事件的药物指派比不会造成不良事件的另一种药物更大的权重。以这种方式，用于神经信号检测的神经网络就会更加“关注”已知会造成不良事件的药物。当目标药物被报告有另一种药物混淆其与不良事件的关系时，或者当报告有一种药物与其相互作用以改变不良事件的可能性时，注意力机制还学习修改目标药物的权重。以这种方式，用于神经信号检测的神经网络将在已知报告中其它对象已知降低目标事件的可能性的情况下更加“关注”目标药物。

在一个实施例中，给定报告中的所有对象的不良事件的总体可能性是这些对象的注意力加权平均值的函数(在一个实施例中由logit层执行)。因此，整个报告的向量表示是报告对象的向量表示的加权平均值，其中权重由注意力机制确定。上面更正式地描述了整个报告的向量表示。

因此，在一个实施例中，神经信号检测组件120包括注意力机制180。在一个实施例中，注意力机制180的参数由神经网络训练器170学习，神经网络训练器170负责在训练阶段期间在神经信号检测网络中指派权重。输入与事件之间的关系的强度和类型(正或负)是在训练期间从数据中学习的。因此，注意力机制可以基于(一个或多个)输入信息与所选择的目标效果或其它输入信息的关系的强度来调整应用于(一个或多个)输入信息的权重。例如，权重可以随着信息与效果之间的关系的强度增加而增加。

在一个实施例中，注意力权重是上下文相关的，并且取决于除目标对象以外的输入信息。因此，注意力机制180将注意力权重附加到每个信息对象，并且附加到每个信息对象的注意力权重基于信息对象中的至少另一个信息对象。例如，当目标对象是目标药物时，关系数据库可以指示包括在报告中的一个或多个信息对象的集合还包括对目标药物具有混淆或掩蔽效果的第二药物。在一个实施例中，关系数据库可以指示已知第一信息对象造成目标事件。在这种情况下，注意力机制180将注意力权重附加到每个信息对象，其中附加到已知造成目标事件的第一信息对象的第一注意力权重大于指派给没有已知会造成目标事件的其它信息对象的其它注意力权重。在一个实施例中，关系数据库可以指示已知第一信息对象降低目标事件的可能性。在这种情况下，注意力机制180将注意力权重附加到每个信息对象，其中附加到已知降低目标事件的可能性的第一信息对象的第一注意力权重大于指派给没有已知降低目标事件的可能性的其它信息对象的其它注意力权重。

—软件模块实施例—

一般而言，软件指令被设计为由一个或多个适当编程的处理器访问存储器来执行，诸如通过访问CPU或GPU资源执行。这些软件指令可以包括例如计算机可执行代码和可以被编译成计算机可执行代码的源代码。这些软件指令还可以包括以诸如脚本语言之类的解释性编程语言编写的指令。

在复杂系统中，此类指令可以被布置为程序模块，其中每个这样的模块执行特定任务、过程、功能或操作。模块的整个集合可以在其操作中由用于系统的主程序、操作系统(OS)或其它形式的组织平台控制或协调。

在一个实施例中，本文描述的组件中的一个或多个被配置为存储在非暂态计算机可读介质中的模块。模块配置有存储的软件指令，软件指令在由访问存储器或存储装置的至少一个处理器执行时使计算设备执行如本文所述的(一个或多个)对应功能。

—云或企业实施例—

在一个实施例中，本系统(诸如信号管理系统105)是计算/数据处理系统，该系统包括计算应用或分布式计算应用的集合，以供通过网络(诸如网络110)与本系统通信的与企业相关联的其它客户端计算设备(诸如企业网络115的客户端计算机144、150、155和160)访问和使用。应用和计算系统可以被配置为与基于云的网络计算系统、基础设施即服务(IAAS)、平台即服务(PAAS)或软件即服务(SAAS)体系架构或其它类型的联网计算解决方案一起操作或实现为基于云的网络计算系统、基础设施即服务(IAAS)、平台即服务(PAAS)或软件即服务(SAAS)体系架构或其它类型的联网计算解决方案。在一个实施例中，本系统提供本文公开的功能中的至少一个或多个以及访问和操作这些功能的图形用户界面。

—计算设备实施例—

图4图示了示例计算系统400，该系统被配置和/或编程为具有本文描述的示例系统和方法中的一个或多个的专用计算设备，和/或等同形式。示例计算设备可以是计算机405，其包括通过总线425可操作地连接的处理器410、存储器415和输入/输出端口420。在一个示例中，计算机405可以包括神经信号检测逻辑430，该逻辑被配置为促进神经信号检测，类似于参考图1-图3示出和描述的逻辑、系统和方法。在不同的示例中，神经信号检测逻辑430可以以硬件、具有存储的指令的非暂态计算机可读介质、固件和/或其组合来实现。虽然神经信号检测逻辑430被示为附接到总线425的硬件组件，但是应该认识到的是，在其它实施例中，神经信号检测逻辑430可以在处理器410中实现、存储在存储器415中或存储在计算机可读介质437上的盘435中。

在一个实施例中，神经信号检测逻辑430或计算系统400是用于执行所描述的动作的手段(诸如，结构：硬件、非暂态计算机可读介质、固件)。在一些实施例中，计算设备可以是在云计算系统中操作的服务器、在软件即服务(SaaS)体系架构中配置的服务器、智能电话、膝上型计算机、平板计算设备等。

手段可以被实现为例如被编程为执行神经信号检测的ASIC。手段还可以被实现为存储的计算机可执行指令，该指令作为数据440呈现给计算机405，数据440临时存储在存储器415中并且然后由处理器410执行。

神经信号检测逻辑430还可以提供用于执行神经信号检测的手段(例如，硬件、存储可执行指令的非暂态计算机可读介质、固件)。

一般地描述计算机405的示例配置，处理器410可以是各种不同的处理器，包括双微处理器和其它多处理器体系架构。存储器415可以包括易失性存储器和/或非易失性存储器。非易失性存储器可以包括例如ROM、PROM、EPROM、EEPROM等。易失性存储器可以包括例如RAM、SRAM、DRAM等。

存储盘435可以通过例如输入/输出(I/O)接口(例如，卡或设备)445和输入/输出端口420可操作地连接到计算机405，输入/输出接口445和输入/输出端口420至少由输入/输出(I/O)控制器447控制。盘435可以是例如磁盘驱动器、固态盘驱动器、软盘驱动器、带驱动器、Zip驱动器、闪存卡、记忆棒等。此外，盘435可以是CD-ROM驱动器、CD-R驱动器、CD-RW驱动器、DVD ROM等。例如，存储器415可以存储被格式化为一个或多个数据结构的过程450和/或数据440。盘435和/或存储器415可以存储控制和分配计算机405的资源的操作系统。

计算机405可以经由输入/输出(I/O)控制器447、I/O接口445和输入/输出端口420与输入/输出(I/O)设备交互、控制输入/输出(I/O)设备和/或被输入/输出(I/O)设备控制。输入/输出设备包括一个或多个显示器470、打印机472(诸如喷墨、激光或3D打印机)，以及音频输出设备474(诸如扬声器或耳机)、文本输入设备480(诸如键盘)、定点和选择设备482(诸如鼠标、轨迹球、触摸板、触摸屏、操纵杆、指点杆、手写笔鼠标)、音频输入设备484(诸如麦克风)、视频输入设备486(诸如摄像机和静态相机)、视频卡(未示出)、盘435、网络设备455等等。输入/输出端口420可以包括例如串行端口、并行端口和USB端口。

计算机405可以在网络环境中操作并且因此可以经由I/O接口445和/或I/O端口420连接到网络设备455。通过网络设备455，计算机405可以与网络460交互。通过网络460，计算机405可以逻辑地连接到远程计算机465。在一个实施例中，计算机405和其它计算机465可以被配置为协同充当向其它客户端计算机提供计算服务的云网络。计算机405可以与之交互的网络包括但不限于LAN、WAN、云和其它网络。

—定义和其它实施例—

在另一个实施例中，所描述的方法和/或它们的等同物可以用计算机可执行指令来实现。因此，在一个实施例中，非瞬态计算机可读/存储介质被配置为具有算法/可执行应用的存储的计算机可执行指令，当该指令由(一个或多个)机器执行时使该(一个或多个)机器(和/或相关联的组件)执行所述方法。示例机器包括但不限于处理器、计算机、在云计算系统中操作的服务器、用软件即服务(SaaS)体系架构配置的服务器、智能电话等等。在一个实施例中，计算设备用被配置为执行任何所公开的方法的一个或多个可执行算法来实现。

在一个或多个实施例中，所公开的方法或它们的等同物由以下任一项执行：被配置为执行所述方法的计算机硬件；或者，存储在非瞬态计算机可读介质中的模块中体现的计算机指令，其中指令被配置为可执行算法，可执行算法被配置为在由计算设备的至少一个处理器执行时执行所述方法。

虽然为了简化说明的目的，图中图示的方法被示出和描述为算法的一系列框，但是应该认识到的是，这些方法不受框的顺序的限制。一些框可以以与所示出和描述的不同的顺序出现和/或与其它框同时出现。而且，可以使用比全部图示的框少的框来实现示例方法。框可以被组合或分成多个动作/组件。此外，附加的和/或替代的方法可以采用未在框中图示的附加动作。

以下包括本文所采用的所选择术语的定义。定义包括属于术语的范围并且可以用于实现的组件的各种示例和/或形式。示例并不旨在是限制性的。术语的单数和复数形式都可以在定义之内。

对“一个实施例”、“实施例”、“一个示例”、“示例”等的引用指示如此描述的(一个或多个)实施例或(一个或多个)示例可以包括特定的特征、结构、特性、性质、元素或限制，但并非每个实施例或示例都必须包括该特定的特征、结构、特性、性质、元素或限制。此外，短语“在一个实施例中”的重复使用不一定指代相同的实施例，但是它可以指代相同的实施例。

AI：人工智能。

API：应用编程接口。

ASIC：专用集成电路。

BLR：二元逻辑回归。

CD：光盘。

CD-R：可刻录CD。

CD-RW：可重写CD。

CPU：中央处理单元。

DNN：深度神经网络。

DVD：数字多功能盘和/或数字视频盘。

ELR：扩展逻辑回归。

GPU：图形处理单元。

GUI：图形用户界面。

HPC：高性能计算。

HTTP：超文本传输协议。

IAAS：基础设施即服务。

IC：信息组件。

I/O：输入/输出。

JSON：JavaScript对象表示法。

LAN：局域网。

MGPS：多项伽玛泊松缩减法。

ML：机器学习。

NAS：网络附加存储。

NLG：自然语言生成。

NLP：自然语言处理。

PAAS：平台即服务。

PCI：外围组件互连。

PRR：比例报告比率。

RAM：随机存取存储器。

DRAM：动态RAM。

SRAM：同步RAM。

ReLU：整流线性单元。

REST：代表性状态转移。

RGPS：回归调整的伽玛泊松缩减法。

ROM：只读存储器。

PROM：可编程ROM。

EPROM：可擦除PROM。

EEPROM：电可擦除PROM。

SAAS：软件即服务。

SOAP：简单对象访问协议。

SQL：结构化查询语言。

TCP/IP：传输控制协议/互联网协议。

USB：通用串行总线。

XML：可扩展标记语言。

WAN：广域网。

如本文所使用的，“数据结构”是计算系统中存储在存储器、存储设备或其它计算机化系统中的数据的组织。数据结构可以是例如数据字段、数据文件、数据阵列、数据记录、数据库、数据表、图、树、链表等中的任何一个。数据结构可以由许多其它数据结构形成以及包含许多其它数据结构(例如，数据库包括许多数据记录)。根据其它实施例，数据结构的其它示例也是可能的。

如本文所使用的，“计算机可读介质”或“计算机存储介质”是指存储被配置为当被执行时执行所公开的功能中的一个或多个功能的指令和/或数据的非瞬态介质。在一些实施例中，数据可以用作指令。计算机可读介质可以采取包括但不限于非易失性介质和易失性介质的形式。非易失性介质可以包括例如光盘、磁盘等。易失性介质可以包括例如半导体存储器、动态存储器等。计算机可读介质的常见形式可以包括但不限于软盘、柔性盘、硬盘、磁带、其它磁性介质、专用集成电路(ASIC)、可编程逻辑器件、紧凑型盘(CD)、其它光学介质、随机存取存储器(RAM)、只读存储器(ROM)、存储器芯片或卡、记忆棒、固态存储设备(SSD)、闪存驱动器、以及计算机、处理器或其它电子设备可以利用其工作的其它介质。如果每种类型的介质在一个实施例中被选择用于实现，则其可以包括被配置为执行所公开的和/或所要求保护的功能中的一个或多个功能的算法的存储指令。

如本文所使用的，“逻辑”表示利用计算机或电气硬件、具有可执行应用或程序模块的存储的指令的非瞬态介质和/或这些的组合实现的组件，以执行如本文公开的任何功能或动作，和/或使得来自另一逻辑、方法和/或系统的功能或动作如本文所公开的那样被执行。等效逻辑可以包括固件、利用算法编程的微处理器、离散逻辑(例如，ASIC)、至少一个电路、模拟电路、数字电路、编程的逻辑器件、包含算法的指令的存储器设备等，其中任何一个可以被配置为执行所公开的功能中的一个或多个功能。在一个实施例中，逻辑可以包括一个或多个门、门的组合、或者被配置为执行所公开的功能中的一个或多个功能的其它电路组件。在描述多个逻辑的情况下，有可能将多个逻辑合并到一个逻辑中。类似地，在描述单个逻辑的情况下，有可能在多个逻辑之间分配该单个逻辑。在一个实施例中，这些逻辑中的一个或多个逻辑是与执行所公开的和/或所要求保护的功能相关联的对应结构。选择实现哪种类型的逻辑可以基于期望的系统条件或规范。例如，如果考虑更高的速度，则将选择硬件来实现功能。如果考虑更低的成本，则将选择存储的指令/可执行应用来实现功能。

“可操作的连接”或实体通过其“可操作地连接”的连接是可以发送和/或接收信号、物理通信和/或逻辑通信的连接。可操作的连接可以包括物理接口、电接口和/或数据接口。可操作的连接可以包括足以允许可操作的控制的接口和/或连接的不同组合。例如，两个实体可以可操作地连接，以直接或者通过一个或多个中间实体(例如，处理器、操作系统、逻辑、非瞬态计算机可读介质)彼此传送信号。逻辑和/或物理通信信道可以被用于创建可操作的连接。

如本文所使用的，“用户”包括但不限于一个或多个人、计算机或其它设备、或者这些的组合。

虽然已经相当详细地图示和描述了所公开的实施例，但并不旨在将所附权利要求的范围限制或以任何方式限定到这样的细节。当然，不可能为了描述主题的各个方面而描述组件或方法的每种预期的组合。因此，本公开不限于所示出和描述的特定细节或说明性示例。因此，本公开旨在涵盖落入所附权利要求范围内的变更、修改和变化。

就术语“包括”或“包含”在具体实施方式或权利要求中被采用的程度而言，它旨在以类似于当术语“包括”作为过渡词在权利要求中被采用时所解释的方式是包含性的。

就术语“或”在具体实施方式或权利要求中被采用的程度而言(例如，A或B)，其旨在意味着“A或B或两者”。当申请人旨在指示“仅A或B但不是两者”时，那么将使用短语“仅A或B但不是两者”。因此，术语“或”在本文的使用是包含性的，而不是排他性使用。

Claims

1.一种非暂态计算机可读介质，包括存储在其上的计算机可执行指令，所述计算机可执行指令在至少由计算机的处理器执行时，使得计算机：

对于报告数据库中的多个报告：

至少由处理器通过神经信号检测网络的嵌入层为包括在报告中的一个或多个信息对象的集合中的每个信息对象创建向量嵌入，其中一个或多个信息对象的集合包括目标对象；

至少由处理器通过神经信号检测网络的表示层以描述目标事件的发生与信息对象之间的相关性并考虑构成报告的信息对象之间的依赖性的方式来表示报告；

至少由处理器通过神经信号检测网络的logit层基于报告的表示对包括目标事件的事件的集合建模；

至少由处理器在给定被建模的事件的集合的情况下确定目标事件的发生概率；以及

至少由处理器通过将报告数据库中的所述多个报告中的目标事件的汇总发生概率与比较器概率进行比较来识别信号的存在。

2.如权利要求1所述的非暂态计算机可读介质，还包括指令，指令在至少由处理器执行时，使处理器执行以下操作：

根据汇总发生概率和从用于创建汇总发生概率的同一报告集合中导出的比较器概率来计算信号分数；以及

通过重新计算另外的汇总发生概率来计算比较器概率，其中(i)从用于计算汇总发生概率的每个报告中去除目标对象，或者(ii)从用于计算汇总发生概率的每个报告中，对于每个报告，指派给目标对象的注意力权重设置为零。

3.如权利要求1或权利要求2所述的非暂态计算机可读介质，还包括指令，指令在至少由处理器执行时，使得处理器通过使用数据对数似然作为要被最小化的损失函数通过随机梯度下降法估计神经信号检测网络的参数来训练神经信号检测网络。

4.如权利要求1、权利要求2或权利要求3所述的非暂态计算机可读介质，还包括指令，指令在至少由处理器执行时，使得处理器将注意力权重附加到所述信息对象中的每个信息对象，其中附加到每个信息对象的注意力权重基于所述信息对象中的至少另一个信息对象。

5.如权利要求1、权利要求2、权利要求3或权利要求4所述的非暂态计算机可读介质，其中目标对象是目标药物，并且包括在报告中的一个或多个对象的集合还包括关于目标药物具有混淆或掩蔽效果的第二药物。

6.一种计算机实现的方法，包括：

对于报告数据库中的多个报告：

通过神经信号检测网络的嵌入层为包括在报告中的一个或多个信息对象的集合中的每个信息对象创建向量嵌入，其中一个或多个信息对象的集合包括目标对象；

通过神经信号检测网络的表示层以描述目标事件的发生与信息对象之间的相关性并考虑构成报告的信息对象之间的依赖性的方式来表示报告；

通过神经信号检测网络的logit层基于报告的表示对包括目标事件的事件的集合建模；

在给定被建模的事件的集合的情况下确定目标事件的发生概率；以及

通过将报告数据库中的所述多个报告中的目标事件的汇总发生概率与比较器概率进行比较来识别信号的存在。

7.如权利要求6所述的计算机实现的方法，还包括根据汇总发生概率和通过在从用于计算汇总发生概率的每个报告中去除目标对象来重新计算另外的汇总发生概率而从用于创建信号分数的同一报告集合中导出的比较器概率来计算信号分数。

8.如权利要求6所述的计算机实现的方法，还包括根据汇总发生概率和通过对于每个报告将指派给目标对象的注意力权重设置为零从用于计算汇总发生概率的每个报告重新计算另外的汇总发生概率而从用于创建信号分数的同一报告集合中导出的比较器概率来计算信号分数。

9.如权利要求6、权利要求7或权利要求8所述的计算机实现的方法，还包括通过使用数据对数似然作为要最小化的损失函数通过随机梯度下降法估计神经信号检测网络的参数来对神经信号检测网络进行训练。

10.如权利要求6、权利要求7、权利要求8或权利要求9所述的计算机实现的方法，还包括将注意力权重附加到所述信息对象中的每个信息对象，其中(i)附加到已知造成目标事件的第一信息对象的第一注意力权重大于指派给没有已知造成目标事件的其它信息对象的其它注意力权重；或者(ii)附加到已知降低目标事件的可能性的第一信息对象的第一注意力权重大于指派给没有已知降低目标事件的可能性的其它信息对象的其它注意力权重。

11.如权利要求6、权利要求7、权利要求8、权利要求9或权利要求10所述的计算机实现的方法，其中目标对象是目标药物，并且目标事件的集合包括(i)不良健康事件或(ii)积极健康事件。

12.一种计算系统，包括：

处理器；

存储器，可操作地连接到处理器；

非暂态计算机可读介质，可操作地连接到处理器和存储器并存储计算机可执行指令，所述计算机可执行指令在至少由计算机的处理器执行时，使得计算系统：

对于报告数据库中的多个报告：

13.如权利要求12所述的计算机系统，其中指令在被执行时还使得计算系统将注意力权重附加到所述信息对象中的每个信息对象，其中附加到每个信息对象的注意力权重基于所述信息对象中的至少另一个信息对象。

14.如权利要求12或权利要求13所述的计算机系统，其中目标对象是目标药物，其中目标事件的集合包括不良健康事件，其中指令在被执行时还使得计算系统

根据事件概率和比较器概率来计算信号分数；

响应于信号分数超过指示信号存在的阈值来确定信号的存在；以及

呈现指示已检测到信号的警报以供远程系统显示。

15.如权利要求12、权利要求13或权利要求14所述的计算机系统，其中指令在被执行时还使得计算系统通过在忽略报告中的目标药物的同时根据用于计算汇总发生概率的每个报告重新计算另外的汇总发生概率而从用于创建信号分数的同一报告集合中导出比较器概率。