CN107743630A - 使用循环神经网络预测满足条件的可能性 - Google Patents

使用循环神经网络预测满足条件的可能性 Download PDF

Info

Publication number
CN107743630A
CN107743630A CN201680034775.8A CN201680034775A CN107743630A CN 107743630 A CN107743630 A CN 107743630A CN 201680034775 A CN201680034775 A CN 201680034775A CN 107743630 A CN107743630 A CN 107743630A
Authority
CN
China
Prior art keywords
recognition
neural network
recurrent neural
time step
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680034775.8A
Other languages
English (en)
Other versions
CN107743630B (zh
Inventor
格雷戈里·肖恩·科拉多
伊利亚·苏特思科韦尔
杰弗里·阿德盖特·迪恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107743630A publication Critical patent/CN107743630A/zh
Application granted granted Critical
Publication of CN107743630B publication Critical patent/CN107743630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

用于使用循环神经网络来预测满足条件的可能性的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。一种系统被配置为处理包括多个时间步中的每一个的各自的输入的时间序列，并且包括：一个或多个循环神经网络层；一个或多个逻辑回归节点，其中逻辑回归节点中的每一个对应于来自预定条件集中的各自的条件，并且其中逻辑回归节点中的每一个被配置为对多个时间步中的每一个：接收用于时间步的网络内部状态；以及根据逻辑回归节点的参数集的当前值，处理用于时间步的网络内部状态，以生成用于时间步的相应条件的未来条件得分。

Description

使用循环神经网络预测满足条件的可能性
背景技术
本说明书涉及使用循环神经网络来处理时间序列。
神经网络是采用非线性单元的一层或多层来对所接收的输入预测输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层的输入，即下一个隐藏层或输出层。网络的每一层根据各自的参数集的当前值从接收到的输入生成输出。
一些神经网络是循环神经网络。循环神经网络是接收输入序列并且由输入序列生成输出序列的神经网络。具体而言，循环神经网络可以将来自先前时间步的网络的一些或全部内部状态用在计算当前时间步的输出中。
发明内容
通常，本说明书中所述的主题的一个创新方面能用下述方法体现，所述方法使用循环神经网络系统处理包括多个时间步中的每一个的各自的输入的时间序列，所述循环神经网络系统包括一个或多个循环神经网络层和一个或多个逻辑回归节点，所述方法包括动作：对多个时间步中的每一个：接收时间步的输入；通过一个或多个循环神经网络层，处理时间步的输入以生成用于时间步的网络内部状态；以及使用一个或多个逻辑回归节点中的每一个来处理网络内部状态，其中逻辑回归节点中的每一个对应于来自预定条件集中的各自的条件，并且其中使用一个或多个逻辑回归节点中的每一个处理网络内部状态包括：根据逻辑回归节点的参数集的当前值，使用逻辑回归节点处理用于时间步的网络内部状态，以生成用于时间步的相应条件的未来条件得分，其中用于相应条件的未来条件得分表示在时间步的输入的指定时间段内将满足相应条件的可能性。
该方面的其他实施例包括相应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个被配置为执行方法的动作。
一个或多个计算机的系统可以被配置借助于使在操作中使系统执行动作的软件、固件、硬件或它们的组合安装在系统上，来执行特定的操作或动作。一个或多个计算机程序可以被配置为借助于包括当由数据处理装置执行时、使该装置执行动作的指令来执行特定的操作或动作。
上述和其他实施例可以每个可选地包括单独或组合的一个或多个下述特征。
循环神经网络可以进一步包括输出层。对多个时间步中的每一个：根据输出层的参数集的当前值，使用输出层可以来处理用于时间步的网络内部状态，以生成用于多个可能的下一输入中的每一个的各自的下一输入得分。用于多个可能的下一输入中的每一个的各自的下一输入得分可以表示可能的下一输入将是在时间序列中的下一时间步的输入的可能性。一个或多个循环神经网络层中的每一个可以被配置为对多个时间步中的每一个：接收用于时间步的层输入；以及根据用于循环神经网络层的参数集的当前值，处理用于时间步的层输入和用于前一时间步的循环神经网络层的层内部状态，以生成用于时间步的循环神经网络层的层内部状态。循环神经网络系统可以仅包括一个循环神经网络层。用于时间步的循环神经网络层的层内部状态可以是用于时间步的网络内部状态。循环神经网络系统可以包括排列在序列中的多个循环神经网络层。用于时间步的网络内部状态可以是用于时间步的、所述序列中最高循环神经网络层的层内部状态。循环神经网络系统可以包括多个循环神经网络层。用于时间步的网络内部状态可以是用于时间步的循环神经网络层的层内部状态的组合。可以从循环神经网络系统的可能输入集中选择时间序列中的每一输入。预定条件集可以包括当不是循环神经网络系统的可能输入集中的事件在时间步的输入的指定时间段内发生时满足的条件。多个时间步的输入中的每一输入可以是与患者相关联的健康相关数据。预定条件集中的一个或多个条件可以是当健康相关事件与患者相关联发生时满足的条件。
可以实现本说明书中所述的主题的特定实施例以便实现下述优点的一个或多个。循环神经网络可以有效地被用来分析诸如健康事件的事件的序列，例如从当前患者的电子病历得出的健康事件的序列。循环神经网络可以有效地被用于预测时间序列中最近事件的指定时间段内发生的事件的可能性，即使这些事件未被包括在循环神经网络的可能输入集中。循环神经网络内部状态可以有效地被用于识别对应于其他患者的其他时间序列，所述其他时间序列可以包括预测会变得与当前患者相关的未来健康事件的健康事件。因此，本主题的实施例提供了用于处理时间序列的改进的系统和方法。
诸如医生或其他健康护理专业人员的终端用户可以被提供表征循环神经网络的输出或从由循环神经网络生成的输出得出的输出的信息，从而改善了健康护理专业人员的能力以向专业的患者提供优质健康护理。例如，可以向健康护理专业人员提供与会变得与当前患者相关联的未来健康事件、例如很可能是与患者相关联的下一健康事件的健康事件相关的有用信息，或者通过序列中的最近事件的指定时间段内发生的事件将满足某些条件的可能性。此外，可向健康护理专业人员提供识别所提出的治疗对发生的事件的可能性的潜在作用的信息，例如，所提出的治疗是否可以减少或增加未来该患者满足的不期望的健康有关的条件的可能性。此外，健康护理专业人员可被提供患者的健康护理记录，其健康护理记录的历史记录中的某一点类似于当前患者，或者被提供这些患者的健康护理成果的总结。此外，在一些情况下，可以为健康护理专业人员生成警报，如果健康护理专业人员打算采取的动作导致该患者的未来预测成果的风险显著增加则该警报被触发。此外，包括循环神经网络的健康护理分析系统可以被用于编纂标准的医疗实践，以发现治疗模式和成果、分析现有的医疗技术或健康护理系统，或提出新的建议或促进科学发现。
本说明书中描述的主题的一个或多个实施例的细节在附图和下面的描述中阐述。从说明书、附图和权利要求，主题的其它特征、方面和优点将变得显而易见。
附图说明
图1示出了示例性健康护理分析系统。
图2是用于生成时间序列的健康事件数据的示例性过程的流程图。
图3是用于从下一输入得分生成时间序列的健康分析数据的示例性过程的流程图。
图4是用于从网络内部状态生成时间序列的健康事件数据的示例性过程的流程图。
图5是用于从未来条件得分生成时间序列的健康事件数据的示例性过程的流程图。
图6是用于基于未来条件得分，确定将事件添加到时间序列的作用的示例性过程的流程图。
图7示出了被配置成生成未来条件得分的示例性循环神经网络。
图8是用于对给定时间步，生成未来条件得分的示例性过程的流程图。
图9是用于训练循环神经网络以生成未来条件得分的示例性过程的流程图。
各附图中的相同附图标记和标号表示相同的元件。
具体实施方式
本说明书通常描述使用循环神经网络，由包括识别多个事件，诸如健康事件的数据时间序列，生成诸如健康分析数据的分析数据的一种系统。
图1示出了示例性健康护理分析系统100。健康护理分析系统100是实现为一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例，其中，可以实现下文所述的系统、组件和技术。
健康分析系统100接收时间序列并且通过使用循环神经网络110处理时间序列，从所接收的时间序列生成健康分析数据。例如，健康护理分析系统100可以接收时间序列102并且由时间序列102生成健康分析数据122。
时间序列是包括多个时间步中的每一时间步的健康相关数据，例如，识别健康事件的数据的序列。每个时间序列包括与给定患者相关联的健康相关数据，其中，健康事件由按时间排序的时间序列中的健康相关数据识别，使得最近发生的健康事件是序列中最后一个时间步的健康事件。
在一些实施方式中，时间序列生成系统104从相应患者的电子病历生成时间序列102。电子病历是相应患者的健康信息的电子集合。例如，时间序列生成系统可以从电子病历储存库106获得患者的电子病历，并且通过识别电子病历中的健康事件以及按时间排序健康事件，由电子病历生成时间序列102。具体而言，时间序列102可以包括多个时间步中的每个时间步的令牌(token)的序列，每个令牌表示在电子病历中识别的健康事件。在一些实施方式中，时间序列生成系统可以将识别健康事件发生的时间的数据附添到识别时间序列102中的健康事件的数据。
通常，由健康护理分析系统100接收的时间序列中所识别的健康事件可以包括症状、测试、测试结果、诊断、药物、成果等中的一个或多个，每一个由来自预定的令牌词汇表的令牌表示。可选地，每个令牌与识别时间序列中，健康事件发生的时间的数据结合。另外，在一些情况下，时间序列可以识别除了由词汇表中的令牌识别的健康事件以外的健康事件。例如，在一些实施方式中，时间序列中的健康事件还可以包括与健康有关的图像，例如X射线或其他诊断图像、健康相关的电子文档，例如在预约期间由医生生成的自由格式的笔记，或两者兼而有之。
进一步可选地，健康相关数据可以包括可以被分类为影响患者健康的其他健康相关数据。例如，其他数据可以包括表征患者的活动的数据或由患者的设备，例如在移动设备上执行的活动追踪设备或活动追踪应用程序收集的其他健康相关数据。例如，活动数据可以包括识别患者在特定日子行进的距离的数据、患者参与的锻炼或其他健身活动、患者所吃的食物等。其他健康相关数据还可以包括被认为影响患者健康的其他数据，例如患者的处方履行数据或者识别由患者进行的购买的数据。
健康护理分析系统100使用循环神经网络110来处理时间序列102以生成时间序列102的网络输出。健康护理分析系统100还包括健康护理分析引擎120，其接收对时间序列102的网络输出并且由网络输出生成时间序列102的分析数据122。
通常，时间序列102的网络输出包括下述中的一个或多个：循环神经网络110的下一输入得分集112、未来条件得分集114或网络内部状态116。
循环神经网络110包括对给定输入时间序列的每个时间步，生成网络内部状态的一个或多个循环神经网络层。在一些实施方式中，循环神经网络110还包括接收网络内部状态并且处理网络内部状态以生成时间步的网络输出的输出层、逻辑回归节点集或两者。另外，在一些实施方式中，循环神经网络还可以包括一个或多个其他类型的神经网络层，例如前馈层，例如全连接层、卷积层、池化层、正则化层等。
具体而言，循环神经网络层中的每一个被配置为接收用于时间步的层输入并且对该时间步，计算该层的层内部状态。循环神经网络层根据层的参数集的当前值，从前一时间步的层的层内部状态和用于当前时间步的层输入，计算用于当前时间步的层内部状态。在一些实施方式中，一个或多个循环神经网络层被配置为也将其他内部状态，例如，来自其他先前时间步的层的内部状态、用于当前时间步或用于其他循环层的先前时间步的内部状态。如果当前时间步是序列中的第一时间步，则前一时间步的层内部状态是初始层内部状态，例如由系统管理员指定的或者如由健康护理分析系统100生成的。
如果在循环神经网络110中仅存在一个循环神经网络层，则给定时间步的网络内部状态是用于该时间步的循环神经网络层的层内部状态。
如果在循环神经网络110中存在多个循环神经网络层，则按从序列中的最低层到序列中的最高层将这些层排列在序列中，并且这些层共同处理在该时间步的健康事件以计算用于该时间步的网络内部状态。如果在循环神经网络100中存在其他类型的神经网络层，则其他神经网络层可以布置在序列中的不同位置处，例如在第一循环层之前、在两个循环层之间、在所有循环层之后，或这些的一些组合。对于给定的时间步，循环神经网络110可以将来自每个循环神经网络层的层内部状态提供为该序列中，该层上的循环神经网络层的层输入。在一些实施方式中，循环神经网络层中的一个或多个被配置为还从除循环层下面的层以外的序列中的一个或多个其他层接收输入。
在一些实施方式中，序列中的一个或多个层可以被配置为在时间步的子集处，例如在第一时间步或者在每个时间步接收作为层的层输入的一部分的全局输入、每个记录输入或两者。全局输入是不依赖于正由循环神经网络110处理的当前时间序列的输入。全局输入的示例是表征年的当前时间的数据，例如当前日期。每个记录输入是对不同的时间序列可以不同的输入。每个记录输入的示例可以包括与当前时间序列相关联的患者的基因序列或表征患者的其他信息，例如患者的人口统计信息。
在一些实施方式中，如果存在多个循环神经网络层，则时间步的网络内部状态是时间步的序列中的最高层的层内部状态。在一些其它实施方式中，健康护理分析系统100结合时间步的层内部状态以生成时间步的网络内部状态。例如，健康护理分析系统100可以计算层内部状态的总和、乘积或者平均值，或者可以并置(concatenate)层内部状态以生成网络内部状态。
在一些实施方式中，循环神经网络层是长短期记忆(LSTM)层。每个LSTM层包括一个或多个LSTM记忆块。每个LSTM记忆块可以包括一个或多个单元，每个单元包括允许该单元存储用于该单元的先前状态的输入门、忘记门和输出门，例如用在生成电流激活或被提供到LSTM神经网络的其他组件。
在循环神经网络110包括输出层的实施方式中，输出层被配置为对每个时间步，接收时间步的网络内部状态并且生成用于该时间步的下一输入得分集。时间步的下一组输入得分集包括用于由令牌词汇表中的令牌表示的每个健康事件的各自的得分。只要已经训练循环神经网络110，给定健康事件的下一输入得分表示健康事件将成为时间序列中的下一健康事件的可能性。因此，当循环神经网络110包括输出层时，循环神经网络110是已经被训练以对给定输入时间序列的每个时间步，预测未来健康事件，即，时间序列中的下一时间步的健康事件的网络。可以使用常规机器学习训练技术，例如通过时间训练技术的反向传播，在训练序列上训练循环神经网络110。
在这些实施方式中，时间序列102的下一输入得分112是对时间序列102中的最后一个时间步，由输出层生成下一输入得分。
在循环神经网络110包括逻辑回归节点集的实施方式中，该逻辑回归节点集被配置为在每个时间步，接收用于该时间步的网络内部状态并且生成用于该时间步的未来条件得分集。未来条件得分集包括预定条件集中的每个条件的各自的得分。给定条件的得分表示在当前时间步的健康事件的指定时间段内，条件将被满足的可能性。
条件可以包括事件发生，例如，由词汇表中的令牌表示的健康事件发生所满足的条件。在一些情况下，除了或代替包括由词汇表中的令牌表示的事件的发生而满足的条件，预定条件集中的条件还可以包括在不是由词汇表中的令牌表示的事件，即，不包括在由循环神经网络110处理的时间序列中的可能健康事件在当前时间步的健康事件的指定时间段内时发生时所满足的条件。因此，虽然能够满足预定条件集中的条件的事件可以与由令牌表示的事件重叠，但是条件集还可以包括由不在该集合中的其他事件的发生而满足的条件。
参考图7和8，更详细地描述包括逻辑回归节点集的循环神经网络。在下文中，参考图9，更详细地描述训练循环神经网络以预测条件被满足的可能性。
在这些实施方式中，时间序列102的条件得分114是逻辑回归节点对时间序列102中的最后一个时间步所生成的未来条件得分。
在网络内部状态116被包括在用于时间序列102的网络输出中的实施方式中，用于时间序列102的网络内部状态116是由循环神经网络110对序列中的最后一个时间步生成的网络内部状态，或由循环神经网络110，对序列中的多个时间步生成的网络内部状态的组合，例如网络内部状态的加权和、乘积或并置。
健康护理分析引擎120接收时间序列122的网络输出，并且生成时间序列102的健康分析数据122，以及提供健康分析数据122以呈现给用户，例如治疗对应于时间序列102的患者的医生。通常，健康分析数据122是表征与时间序列102相关联的未来事件，即，在时间序列102中的当前最一个健康事件之后发生的健康事件或其他事件的数据。
在用于时间序列102的神经网络输出包括下一输入得分112的实施方式中，健康护理分析引擎120生成健康分析数据122，健康分析数据122识别在时间序列102中可能接下来发生的健康事件。在下文中，参考图3，更详细地描述由下一输入得分生成用于时间序列的健康分析数据。
在用于时间序列102的神经网络输出包括网络内部状态116的实施方式，健康分析引擎120生成健康分析数据122，健康分析数据122从其他时间序列识别很可能预测时间序列102中的未来事件的健康事件。具体而言，健康护理分析引擎120从存储在内部状态储存库130中的内部状态识别与网络内部状态116类似的内部状态，并且使用类似的内部状态来从其他时间序列中确定很可能预测时间序列102中的未来事件的健康事件。内部状态储存库130存储多个时间序列中的多个时间步生成的网络内部状态，并且将每个网络内部状态与识别生成网络内部状态的时间序列和时间步的数据相关联。在下文中，参考图4，更详细地描述从网络内部状态生成时间序列的健康分析数据。
在用于时间序列102的神经网络输出包括未来条件得分114的实施方式中，健康分析引擎120生成表征条件得分的健康分析数据122。在下文中，参考图5，更详细地描述由未来健康条件得分生成时间序列的健康分析数据。
图2是用于生成时间序列的健康事件数据的示例性过程200的流程图。为了方便，过程200将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，适当编程的神经网络训练系统，例如，图1的健康护理分析系统100可以执行过程200。
系统接收输入时间序列(步骤202)。时间序列包括识别多个时间步中的每个时间步的各自的健康事件的数据。在一些实施方式中，时间序列从电子病历导出并且包括从多个时间步中的每个时间步的电子病历识别各自的健康事件的数据。序列中的健康事件按时间排序，以便最近发生的健康事件是序列中的最后一个时间步的健康事件。
系统使用循环神经网络，例如图1的循环神经网络110来处理输入时间序列，以生成输入时间序列的神经网络输出(步骤204)。
取决于循环神经网络的实施方式和架构，由循环神经网络通过处理输入时间序列而生成的神经网络输出可以包括下一输入得分、未来条件得分或网络内部状态。
系统由神经网络输出生成用于时间序列的健康分析数据(步骤206)。如上所述，健康分析数据取决于由循环神经网络生成的神经网络输出的类型。
图3是用于由下一输入得分生成时间序列的健康分析数据的示例性过程300的流程图。为了方便，过程300将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，适当编程的神经网络训练系统，例如图1的健康护理分析系统100可以执行过程300。
系统接收输入时间序列(步骤302)。
系统使用循环神经网络来处理输入时间序列以生成用于输入时间序列的下一输入得分(步骤304)。循环神经网络包括一个或多个循环神经网络层和输出层，输出层对时间序列中的每个时间步，被配置为接收由循环神经网络层对该时间步生成的网络内部状态并且生成用于该时间步的下一输入得分集。时间步的下一输入得分集包括由令牌的词汇表中的令牌表示的每个健康事件的各自的得分，给定健康事件的下一输入得分表示该健康事件将是时间序列中的下一健康事件，即，时间序列中的下一时间步的健康事件的可能性。
输入时间序列的下一输入得分是由输出层对时间序列中的最后一个时间步生成的下一输入得分。
系统使用下一输入得分来识别一个或多个最高得分的健康事件(步骤306)。例如，系统可以选择具有最高的下一输入得分的预定数目的健康事件或具有高于阈值的下一输入得分的每个健康事件。
系统提供识别最高得分健康事件的数据，并且可选地，提供表征用于每个最高得分健康事件的下一输入得分的数据以呈现给用户(步骤308)。因此，医生或其他用户能够查看关于很可能是将与输入时间序列相对应的患者相关联的下一个健康事件的健康事件的信息。
图4是用于由网络内部状态生成时间序列的健康事件数据的示例性过程400的流程图。为了方便，过程400将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，适当编程的神经网络训练系统，例如，图1的神经网络训练系统100可以执行过程400。
系统使用循环神经网络，例如循环神经网络110来处理时间序列集中的每一个以便对每个时间序列的每个时间步生成网络内部状态(步骤402)。集合中的每个时间序列对应于不同的患者，例如，由不同的电子病历生成。循环神经网络包括一个或多个循环神经网络层和输出层、逻辑回归节点集或两者。具体而言，已经训练循环神经网络以对给定的输入时间序列中的每个时间步，由神经网络对当前时间步生成的内部状态，预测未来事件，即当前时间步的事件之后发生的事件。例如，如果循环神经网络包括输出层，则已经训练循环神经网络以预测时间序列中的下一事件，即时间序列中的当前时间步之后的下一时间步的事件。作为另一示例，如果循环神经网络包括逻辑回归节点集，则可以已经训练循环神经网络以预测事件集中的每一事件是否发生在时间序列中的当前时间步的事件的指定时间段内。
系统将网络内部状态存储在内部状态储存库中，并将每个网络内部状态与识别生成网络内部状态的时间序列和时间步的数据相关联(步骤404)。在一些实施方式中，对于每个时间序列，系统将对时间序列中的每个时间步，由系统生成的网络内部状态存储在储存库中。在一些其它实施方式中，系统仅在存储库中存储网络内部状态的子集，例如仅至少在时间序列中的阈值数目的其他健康事件之前的健康事件的网络内部状态。
系统接收健康事件的输入时间序列(步骤406)。
系统使用循环神经网络来处理输入时间序列以确定输入时间序列的序列内部状态(步骤408)。输入时间序列的序列内部状态是序列中最后一个时间步的健康事件的网络内部状态。
系统从内部状态储存库中选择与序列内部状态类似的一个或多个网络内部状态(步骤410)。系统通过计算存储库中的序列内部状态与网络内部状态之间的相似性度量，例如，余弦相似性度量来选择网络内部状态。例如，系统可以选择具有与序列内部状态最大余弦相似度的预定数目的网络内部状态，或者具有超出阈值相似度的、与序列内部状态的余弦相似度的每个网络内部状态。在一些实施方式中，系统使用不同的距离度量来确定内部状态之间的相似性，例如，欧几里得距离、汉明距离等等。同样地，系统还可以正则化内部状态，然后计算正则化内部状态之间的距离。
系统提供识别生成类似网络内部状态的时间序列的数据以呈现给用户(步骤412)。具体而言，系统对给定的类似的网络内部状态提供识别在生成网络内部状态的时间步之后发生的、在生成类似的网络内部状态的时间序列中的健康事件的数据。因为生成序列内部状态和类似的网络内部状态的循环神经网络被训练以由网络内部状态预测未来事件，并且类似的网络内部状态与序列内部状态相似，所以在生成给定网络内部状态的时间步之后发生的事件很可能预测输入时间序列中的未来事件，即，在输入时间序列中的当前最后一个事件之后发生的事件。也就是说，从生成给定的类似网络内部状态的时间步开始，循环神经网络期望相应的患者具有与循环神经网络对相应于输入时间序列的当前患者期望的未来类似的未来。因此，通过由网络内部状态观察后续事件，可以给用户，例如医生提供在输入时间序列中的当前最后一个事件之后的事件，即对当前患者可能发生的未来健康事件的想法。
在一些其它实施方式中，系统还提供识别时间序列中的其他健康事件的数据以呈现给用户，作为识别生成给定网络内部状态的时间序列的数据的一部分。
在一些实施方式中，系统不是提供识别时间序列的数据以呈现给用户，而是由时间序列中的后续事件计算统计量，并且提供所计算的统计量以呈现给用户。例如，系统可以确定包括在生成类似网络内部状态的时间步之后的特定健康事件(例如，心脏病发作或中风)的时间序列的部分。然后，系统可以提供识别比例的数据以呈现给用户，例如以“X％的患者预期具有与当前患者经历特定健康事件相似的未来”的形式。
在一些实施方式中，不是将内部状态存储在内部状态储存库中，而是每当接收到将与其他时间序列比较的输入时间序列时，系统就可以重新计算用于每个其他时间序列的内部状态。
图5是用于由未来条件得分生成时间序列的健康事件数据的示例性过程500的流程图。为了方便，过程500将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，适当编程的神经网络训练系统，例如，图1的神经网络训练系统100可以执行过程500。
系统接收输入时间序列(步骤502)。
系统使用循环神经网络，例如循环神经网络110来处理输入时间序列以生成输入时间序列的未来条件得分(步骤504)。未来条件得分包括用于预定条件集中的每一个的各自的未来条件得分。给定条件的未来条件得分表示在输入时间序列中的最后一个时间步的事件的指定时间段内条件将被满足的可能性。
在一些实施方式中，循环神经网络包括一个或多个循环神经网络层和逻辑回归节点集。每个逻辑回归节点在输入时间序列中的每个时间步处，由所述预定条件集生成用于相应条件的未来条件得分。在下文中，参考图7-9，更详细地描述包括生成未来条件得分的逻辑回归节点的循环神经网络。在这些实施方式中，对输入时间序列中的最后时间步，由循环神经网络生成的未来条件得分集合是输入时间序列的未来条件得分的集合。
在一些其他实施方式中，循环神经网络包括输出层，该输出层对输入时间序列中的每个时间步生成下一输入得分的集合，并且不包括逻辑回归节点。在这些实施方式中，系统生成多个可能时间序列，每个可能时间序列包括在时间序列中的当前最后时间步之后的指定数目的附加时间步以及在每个附加时间步处的各自的可能健康事件。系统通过执行具有对每个附加时间步的指定宽度的波束搜索来生成多个可能时间序列。波束搜索的宽度限定了系统在每个未来时间步中考虑的最高得分事件的数目。然后，系统对将要生成未来条件得分的事件之一的发生所满足的条件中的每一个，确定包括满足序列中的附加时间步中的一个的条件的事件的可能时间序列的比例。然后，系统可以使用该比例作为相应条件的未来条件得分。可选地，系统可以使用发生事件的可能时间序列的发生的可能性加权事件的每一发生。可能时间序列发生的可能性可以是例如序列中的附加时间步中的每一个处的健康事件的下一输入得分的乘积。
系统提供识别未来条件得分的数据以呈现给用户(步骤506)。例如，系统可以提供识别每个条件和每个条件的未来条件得分的数据，或者仅提供识别一个或多个最高得分条件的数据，以呈现给用户。
在一些实施方式中，除了或代替提供识别未来条件得分的数据以呈现给用户，系统可以确定治疗对未来条件得分的作用，并且提供识别该作用的数据，以呈现给用户。
图6是用于确定将事件添加到时间序列对未来条件得分的作用的示例性过程600的流程图。为了方便，过程600将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，适当编程的神经网络训练系统例如，图1的神经网络训练系统100可以执行过程600。
系统接收初始输入时间序列(步骤602)。
系统确定初始输入时间序列的未来条件得分(步骤604)。例如，系统可以如上参考图5所述，确定初始输入时间序列的未来条件得分。
系统从用户接收识别附加健康事件的数据(步骤606)。例如，附加健康事件可以是医生对患者开处方的潜在治疗。
系统通过将识别附加健康事件的数据，例如，表示健康事件的令牌附添到初始输入时间序列的末尾来生成修改的输入时间序列(步骤608)。
系统确定修改的输入时间序列的未来条件得分(步骤610)。例如，系统可以如上参考图5所述，确定初始输入时间序列的未来条件得分。
系统确定通过将附加健康事件添加到输入时间序列而引起的未来条件得分的变化(步骤612)，并且提供识别该变化的数据以呈现给用户(步骤614)。也就是说，系统计算修改的输入时间序列的未来条件得分与初始输入时间序列的相应未来条件得分之间的差，并且提供识别该差的数据以呈现给用户。因此，医生能够看到潜在治疗对将来某些条件将被满足的可能性的作用。
在一些实施方式中，系统可以响应于被添加到时间序列的新事件，自动地执行过程600。如果新事件导致条件的未来条件得分增加超过阈值或超过阈值，则系统可以生成警报以自动地通知用户该变化。例如，系统管理员或其他用户将被满足的一个或多个特定条件指定为不期望的。然后，系统可以响应于被添加到时间序列的新事件，自动地执行过程600，并且生成警报以通知用户用于不期望条件中的一个的未来条件得分跨越阈值得分还是增加超阈值增量。
另外，在一些实施方式中，系统可以响应于接收到时间序列而由时间序列自动地生成多个修改的时间序列，每个修改的时间序列将不同的可能输入健康事件添加到时间序列。可能输入健康事件可以是由词汇表中的令牌表示的健康事件的子集，例如，由词汇表中的令牌表示的一些或全部可能的治疗。然后，系统可以对每个修改的时间序列执行过程600，并且确定对于任一修改的序列，一个或多个不期望条件的未来条件得分是否减少了大于阈值减少量。响应确定对给定的修改的时间序列，不期望条件的未来条件得分减少了大于阈值减少量，系统可以向用户提供识别被添加到时间序列以生成修改的时间序列的健康事件的信息。因此，给予医生机会来考虑减少未来被满足的不期望条件的可能性的另外的治疗方法。
图7示出被配置为生成未来条件得分的示例性循环神经网络700。循环神经网络700是被实现为一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例，其中，能实现下文所述的系统、组件和技术。
循环神经网络700接收输入序列，该输入序列包括在多个时间步中的每个时间步的各自的输入，并且对每个时间步，生成用于预定事件集中的每一个条件的各自的未来条件得分。给定时间步的给定条件的未来条件得分表示在时间步的输入的时间的指定时间段内，条件将被满足的可能性。
循环神经网络700包括一个或多个循环神经网络层710、多个逻辑回归节点720A-N以及可选地输出层740。
如上参考图1所述，对于每个时间步，一个或多个循环神经网络层710接收该时间步的输入，并且共同处理输入以生成该时间步的网络内部状态。
逻辑回归节点720A-720N中的每一个对应于来自预定条件集的各自的条件，并且被配置为在每个时间步，接收用于该时间步的网络内部状态，并且根据各自的参数集的当前值，处理网络内部状态以生成相应事件的未来条件得分。因此，在每个时间步，逻辑回归节点720A-720N中的每一个对预定条件集中的各自的一个条件生成未来条件得分。
如果循环神经网络700包括输出层740，则输出层740被配置为接收用于该时间步的网络内部状态，并且处理内部状态以对可能输入集中的每一可能输入，生成各自的下一输入得分。给定可能输入的下一输入得分表示可能输入是输入序列中的下一输入，即，紧跟在输入序列中的当前时间步的输入之后的可能性。
时间序列中的输入包括从表示可能输入事件集的预定词汇中的令牌中选择的输入。循环神经网络700生成未来条件得分的预定条件集中的条件可以包括不是由预定词汇表中的令牌表示的事件，即不是可以包括在由循环神经网络700处理的时间序列中的可能输入事件、由令牌表示的事件或两者的发生所满足的条件。因此，虽然满足循环神经网络700生成未来条件得分的预定条件集中的任何条件中的事件集中的事件可以与由令牌表示的事件重叠，但事件集还可以包括不在该集合中的其他事件。
图8是用于生成用于给定时间步的未来条件得分的示例性过程800的流程图。为了方便，过程800将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，适当地编程的循环神经网络，例如图7的循环神经网络700可以执行过程300。
系统接收时间步的输入，例如，表示健康事件的令牌(步骤802)。
系统使用一个或多个循环神经网络层，例如图7的循环神经网络层710来处理输入以对该时间步，生成循环神经网络的网络内部状态(步骤804)。一个或多个神经网络层生成网络内部状态，例如，如上参考图1所述。
系统使用逻辑回归节点集，例如图7的逻辑回归节点720A-720N中的每一个来处理网络内部状态，以生成未来条件得分集(步骤806)。每个逻辑回归节点对应于来自预定条件集合的各自的条件，并且通过根据逻辑回归节点的参数集的当前值处理内部状态来生成用于相应条件的未来条件得分。
可选地，系统还使用输出层，例如，图7的输出层740来处理网络内部状态，以生成用于可能输入集中的每一个的各自的下一输入得分(步骤808)。输出层通过根据输出层参数集的当前值处理网络内部状态来生成各自的下一输入得分。
可以对所期望的输出，即，应当由系统对该输入生成的神经网络输出是未知的神经网络输入，执行过程800。系统还可以对在训练序列集中的输入，即，应该由系统预测的输出为已知的输入集执行过程800，以便训练系统，即，确定用于循环神经网络层、逻辑回归节点以及在一些实施方式中，输出层的参数的训练值。具体而言，可以对来自训练序列集的输入重复地执行过程800，作为训练神经网络的机器学习训练技术的一部分，例如通过时间训练技术的反向传播。在下文中，参考图9，更详细地描述示例性训练过程。
图9是用于训练循环神经网络以生成未来条件得分的示例性过程900的流程图。为了方便，过程900将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，适当编码的循环神经网络，例如图7的循环神经网络700可以执行过程700。
系统获得标记的训练序列(步骤502)。每个获得的训练序列是多个时间步中的每一个的输入的序列。每个训练序列还可以包括在每个时间步，用于循环神经网络生成未来条件得分的预定条件集中的每个条件的各自的指示变量。给定时间步的给定条件的指示变量指示在该时间步的输入之后的特定时间段内是否满足条件。例如，如果条件满足，指示变量可以具有值1，如果条件不满足，则具有值0。因此，在每个时间步，标记的训练序列包括用于预定条件集中的每个条件的各自的指示变量和输入。
在一些实施方式中，系统接收已经用指示变量标记的训练序列。在一些其他实施方式中，系统通过在每个时间步处计算每个条件的指示变量来生成标记的训练序列。例如，系统可以对训练序列的给定时间步的给定输入，确定输入何时发生并且访问识别满足预定条件集合中的条件的事件的发生的数据。然后，系统可以对每个条件，确定条件是否在该时间步的输入发生时的指定时间段内得到满足，并相应地设置事件的指示变量的值。
系统对标记的训练序列训练一个或多个循环神经网络层、逻辑回归节点以及可选地输出层(步骤504)。具体而言，系统通过执行机器学习训练技术的多次迭代，从参数的初始值确定循环神经网络层、逻辑回归节点和输出层的参数的训练值。作为训练技术的部分，系统最小化或最大化目标函数。如果系统仅包括逻辑回归节点而不包括输出层，则目标函数取决于对在给定训练序列中的给定时间步，由逻辑回归节点对该时间步生成的未来条件得分与用于该时间步的相应条件的指示变量之间的误差。如果系统还包括输出层，则目标函数还取决于对该时间步，由输出层对该时间步生成的下一输入得分与训练序列中的下一时间步的输入之间的误差。
如上所述，循环神经网络700可以处理包括识别与患者相关联的健康事件的数据的时间序列以生成未来条件得分。然而，循环神经网络700可以被训练以生成用于时间序列的未来条件得分，所述时间序列包括识别任何类型的时间事件的数据，即，包括识别随时间按那些事件何时发生排序的事件的数据的任何时间序列。
例如，可以训练循环神经网络700以生成用于时间序列的未来条件得分，所述时间序列包括识别在用户的财务报表中发现的交易的数据，例如可能出现在银行账单上的银行交易、可能出现在信用卡账单上的信用卡交易等等。在该场境下的未来条件得分可以包括由所做的各种类型的金融交易所满足的条件得分、由所发生的不是出现在财务报表中的金融交易类，例如，税务审计的事件所满足的条件的得分，或两者兼而有之。
作为另一个示例，可以训练循环神经网络700以生成包括识别股票市场交易的数据的时间序列的未来条件得分。在该场境下，时间序列可以包括参与股票市场的单个实体或所有实体的股票购买和销售。
作为另一个示例，可以训练循环神经网络700以生成时间序列的未来条件得分，所述时间序列包括识别机械或电子设备，例如飞机、车辆、数据中心组件等的维修记录的数据。在该场境下的未来条件得分可以包括由各种类型的维修相关事件满足的条件的得分以及由发生通常不出现在维修记录中的事件，例如飞机的飞行中故障所满足的条件的得分。
在本说明书中描述的主题和功能操作的实施例可以在数字电子电路中、在有形体现的计算机软件或固件、在计算机硬件中实现，包括在本说明书中公开的结构及其结构等同物，或者在它们的一个或多个的组合中实现。在本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序，即，计算机程序指令的一个或多个模块，其编码在有形非瞬时程序载体上以用于由数据处理装置执行或控制数据处理装置的操作。替选地或另外地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，其被生成以编码用于传输到合适的接收机设备以由数据处理装置执行的信息。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器或它们中的一个或多个的组合。
术语“数据处理装置”涵盖用于处理数据的各种装置、设备、和机器，包括例如可编程处理器、计算机，或多个处理器或计算机。装置可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统，或它们中的一个或多个的组合的代码。
计算机程序(也被称为或描述为程序、软件、软件应用、模块、软件模块、脚本、或代码)可以以任何形式的编程语言编写，包括编译或解释语言或者声明性或过程语言，并且它可以以任何形式部署，包括作为独立程序或作为适于在计算环境中使用的模块、组件、子例程或其它单元。计算机程序可以但不需要对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件(例如，存储在标记语言文档中的一个或多个脚本)的一部分中、专用于所讨论的程序的单个文件中、或者在多个协同文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一个计算机上或在位于一个地点或分布在多个地点并通过通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路(例如FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行，并且装置也可以被实现为专用逻辑电路。
适合于执行计算机程序的计算机包括例如基于通用和专用微处理器或两者，以及任何种类的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于实现或执行指令的中央处理单元和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，或者可操作地耦合以从其接收数据或向其传送数据，或两者。然而，计算机不需要具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、比赛控制台、全球定位系统(GPS)接收器、或便携式存储设备(例如，通用串行总线(USB)闪存驱动器)，这里仅举几个例子。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动盘；磁光盘；和CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
为了提供与用户的交互，本说明书中描述的主题的实施例可以在具有显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以用于向用户显示信息，以及键盘和例如鼠标或轨迹球的指示设备(用户可以通过它们向计算机提供输入)的计算机上实现。其他类型的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈、或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。此外，计算机可以通过向用户使用的设备发送文档并从其接收文档来与用户进行交互：例如，通过响应于从web浏览器接收的请求，将网页发送到用户的客户端设备上的web浏览器。
在本说明书中描述的主题的实施例可以实现在计算系统中，该计算系统包括例如作为数据服务器的后端组件，或者包括例如应用服务器的中间件组件，或者包括例如具有图形用户界面或Web浏览器的客户端计算机的前端组件，用户可以通过其与本说明书中描述的主题的实施方式交互，或者包括一个或多个这样的后端、中间件或前端组件的任何组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如因特网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端和服务器的关系借助于在各自的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而生成。
尽管本说明书包含许多具体实施细节，但是这些不应被解释为对任何发明或可以要求保护的范围的限制，而是被解释为特定于对特定发明的特定实施例的特征的描述。在单独实施例的场境中在本说明书中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的场境中描述的各种特征也可以在多个实施例中单独地或以任何合适的子组合来实现。此外，虽然特征可以在上面描述为在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从组合中去除，并且所要求保护的组合可以针对子组合或子组合的变体。
类似地，虽然在附图中以特定顺序描绘操作，但是这不应被理解为要求这些操作以所示的特定顺序或以依序执行或者所有所图示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中需要这种分离，并且应当理解，所描述的程序组件和系统通常可以集成在单个软件产品中或封装到多个软件产品中。
已经描述了主题的特定实施例。其他实施例在所附权利要求的范围内。例如，权利要求中所记载的动作可以以不同的顺序执行并且仍然实现期望的结果。作为一个示例，附图中描绘的过程不一定需要所示的特定顺序或依序以实现期望的结果。在某些实施方式中，多任务和并行处理可能是有利的。

Claims (19)

1.一种循环神经网络系统，所述循环神经网络系统被配置为处理包括多个时间步中的每一个的各自的输入的时间序列，所述循环神经网络系统包括：
一个或多个循环神经网络层，其中所述一个或多个循环神经网络层被配置为对所述多个时间步中的每一个：
接收所述时间步的输入；以及
共同地处理所述时间步的输入以生成用于所述时间步的网络内部状态；
一个或多个逻辑回归节点，其中所述逻辑回归节点中的每一个对应于来自预定条件集中的各自的条件，并且其中所述逻辑回归节点中的每一个被配置为对所述多个时间步中的每一个：
接收用于所述时间步的网络内部状态；以及
根据所述逻辑回归节点的参数集的当前值，处理用于所述时间步的网络内部状态，以生成用于所述时间步的相应条件的未来条件得分，其中用于所述相应条件的未来条件得分表示在所述时间步的输入的指定时间段内将满足所述相应条件的可能性。
2.根据权利要求1所述的循环神经网络系统，进一步包括：
输出层，其中所述输出层被配置为对所述多个时间步中的每一个：
接收用于所述时间步的网络内部状态；以及
根据所述输出层的参数集的当前值来处理用于所述时间步的网络内部状态，以生成用于多个可能的下一输入中的每一个的各自的下一输入得分，其中所述用于所述多个可能的下一输入中的每一个的各自的下一输入得分表示所述可能的下一输入将是在所述时间序列中的下一时间步的输入的可能性。
3.根据权利要求1或2所述的循环神经网络系统，其中，所述一个或多个循环神经网络层中的每一个被配置为对所述多个时间步中的每一个：
接收用于所述时间步的层输入；以及
根据用于所述循环神经网络层的参数集的当前值，处理用于所述时间步的层输入和用于前一时间步的循环神经网络层的层内部状态，以生成用于所述时间步的循环神经网络层的层内部状态。
4.根据权利要求3所述的循环神经网络系统，其中所述循环神经网络系统仅包括一个循环神经网络层，并且其中用于所述时间步的循环神经网络层的层内部状态是用于所述时间步的网络内部状态。
5.根据权利要求3所述的循环神经网络系统，其中，所述循环神经网络系统包括排列在序列中的多个循环神经网络层，并且其中，用于所述时间步的网络内部状态是用于所述时间步的、所述序列中最高循环神经网络层的层内部状态。
6.根据权利要求3所述的循环神经网络系统，其中，所述循环神经网络系统包括多个循环神经网络层，并且其中，用于所述时间步的网络内部状态是用于所述时间步的循环神经网络层的层内部状态的组合。
7.根据任一前述权利要求所述的循环神经网络系统，其中，从所述循环神经网络系统的可能输入集中选择所述时间序列中的每一输入。
8.根据权利要求7所述的循环神经网络系统，其中，所述预定条件集包括当不是所述循环神经网络系统的可能输入集中的事件在所述时间步的输入的指定时间段内发生时满足的条件。
9.根据任一前述权利要求所述的循环神经网络系统，其中，所述多个时间步的输入中的每一输入是与患者相关联的健康相关数据，并且其中，所述预定条件集中的条件是当健康相关事件与所述患者相关联发生时满足的条件。
10.一种使用循环神经网络系统处理包括多个时间步中的每一个的各自的输入的时间序列的方法，所述循环神经网络系统包括一个或多个循环神经网络层和一个或多个逻辑回归节点，所述方法包括对所述多个时间步中的每一个：
接收所述时间步的输入；
通过所述一个或多个循环神经网络层处理所述时间步的输入以生成用于所述时间步的网络内部状态；以及
使用所述一个或多个逻辑回归节点中的每一个来处理所述网络内部状态，其中所述逻辑回归节点中的每一个对应于来自预定条件集中的各自的条件，并且其中使用所述一个或多个逻辑回归节点中的每一个处理所述网络内部状态包括：
根据所述逻辑回归节点的参数集的当前值，使用所述逻辑回归节点处理用于所述时间步的网络内部状态，以生成用于所述时间步的相应条件的未来条件得分，其中所述相应条件的未来条件得分表示在所述时间步的输入的指定时间段内将满足所述相应条件的可能性。
11.根据权利要求10所述的方法，其中，所述循环神经网络系统进一步包括输出层，并且其中，所述方法进一步包括对所述多个时间步中的每一个：
根据所述输出层的参数集的当前值，使用所述输出层处理用于所述时间步的网络内部状态，以生成用于多个可能的下一输入中的每一个的各自的下一输入得分，其中所述用于多个可能的下一输入中的每一个的各自的下一输入得分表示所述可能的下一输入将是在所述时间序列中的下一时间步的输入的可能性。
12.根据权利要求10或11所述的方法，其中，所述一个或多个循环神经网络层中的每一个被配置为对所述多个时间步中的每一个：
接收用于所述时间步的层输入；以及
根据用于所述循环神经网络层的参数集的当前值，处理用于所述时间步的层输入和用于前一时间步的循环神经网络层的层内部状态，以生成用于所述时间步的循环神经网络层的层内部状态。
13.根据权利要求12所述的方法，其中，所述循环神经网络系统仅包括一个循环神经网络层，并且其中，用于所述时间步的循环神经网络层的层内部状态是用于所述时间步的网络内部状态。
14.根据权利要求12所述的方法，其中，所述循环神经网络系统包括排列在序列中的多个循环神经网络层，并且其中，用于所述时间步的网络内部状态是用于所述时间步的、所述序列中最高循环神经网络层的层内部状态。
15.根据权利要求12所述的方法，其中，所述循环神经网络系统包括多个循环神经网络层，并且其中，用于所述时间步的网络内部状态是用于所述时间步的循环神经网络层的层内部状态的组合。
16.根据权利要求10至15中的任一项所述的方法，其中，从所述循环神经网络系统的可能输入集中选择所述时间序列中的每一输入。
17.根据权利要求16所述的方法，其中，所述预定条件集包括当不是所述循环神经网络系统的所述可能输入集中的事件在所述时间步的输入的指定时间段内发生时满足的条件。
18.根据权利要求10至17中的任一项所述的方法，其中，所述多个时间步的输入中的每一输入是与患者相关联的健康相关数据，并且其中，所述预定条件集中的一个或多个条件是当健康相关事件与所述患者相关联发生时满足的条件。
19.一种计算机程序产品，所述计算机程序产品被编码在一个或多个非瞬时计算机可读介质上，所述计算机程序产品包括指令，所述指令在由一个或多个计算机执行时使所述一个或多个计算机执行用于使用循环神经网络系统处理时间序列的操作，所述时间序列包括多个时间步中的每一个的各自的输入，所述循环神经网络系统包括一个或多个循环神经网络层和一个或多个逻辑回归节点，所述操作包括根据权利要求10至18中的任一项所述的方法。
CN201680034775.8A 2015-07-27 2016-07-26 使用循环神经网络预测满足条件的可能性 Active CN107743630B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/810,381 US9336482B1 (en) 2015-07-27 2015-07-27 Predicting likelihoods of conditions being satisfied using recurrent neural networks
US14/810,381 2015-07-27
PCT/US2016/044101 WO2017019703A1 (en) 2015-07-27 2016-07-26 Predicting likelihoods of conditions being satisfied using recurrent neural networks

Publications (2)

Publication Number Publication Date
CN107743630A true CN107743630A (zh) 2018-02-27
CN107743630B CN107743630B (zh) 2021-12-17

Family

ID=55860023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680034775.8A Active CN107743630B (zh) 2015-07-27 2016-07-26 使用循环神经网络预测满足条件的可能性

Country Status (6)

Country Link
US (5) US9336482B1 (zh)
EP (2) EP3989127A1 (zh)
JP (1) JP6541868B2 (zh)
KR (1) KR102011453B1 (zh)
CN (1) CN107743630B (zh)
WO (1) WO2017019703A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9652712B2 (en) 2015-07-27 2017-05-16 Google Inc. Analyzing health events using recurrent neural networks
US9336482B1 (en) * 2015-07-27 2016-05-10 Google Inc. Predicting likelihoods of conditions being satisfied using recurrent neural networks
US10212876B2 (en) * 2015-10-12 2019-02-26 Droneseed Co. Aerial deployment planting methods and systems
US20200320377A1 (en) * 2016-05-20 2020-10-08 Deepmind Technologies Limited Interaction networks
US10417788B2 (en) * 2016-09-21 2019-09-17 Realize, Inc. Anomaly detection in volumetric medical images using sequential convolutional and recurrent neural networks
SG10201610116PA (en) * 2016-11-03 2018-06-28 Avanseus Holdings Pte Ltd Method and system for machine failure prediction
US11494654B2 (en) * 2016-11-03 2022-11-08 Avanseus Holdings Pte. Ltd. Method for machine failure prediction using memory depth values
US10671908B2 (en) 2016-11-23 2020-06-02 Microsoft Technology Licensing, Llc Differential recurrent neural network
US10241684B2 (en) * 2017-01-12 2019-03-26 Samsung Electronics Co., Ltd System and method for higher order long short-term memory (LSTM) network
DE102017205093A1 (de) 2017-03-27 2018-09-27 Conti Temic Microelectronic Gmbh Verfahren und System zur Vorhersage von Sensorsignalen eines Fahrzeugs
US11276495B2 (en) * 2017-07-11 2022-03-15 Cambia Health Solutions, Inc. Systems and methods for predicting multiple health care outcomes
US11990242B2 (en) * 2017-08-24 2024-05-21 Cerner Innovation, Inc. Reducing the risk of potentially preventable events
JP7190496B2 (ja) 2018-02-19 2022-12-15 ブラウン ゲーエムベーハー 可動式処置デバイスの運動を分類するための装置及び方法
KR102225894B1 (ko) * 2018-04-24 2021-03-11 네이버 주식회사 딥 어텐션 네트워크를 이용하여 환자 의료 기록으로부터 질병 예후를 예측하는 방법 및 시스템
JP7198474B2 (ja) * 2018-06-07 2023-01-04 国立大学法人静岡大学 モデリングシステム
WO2020081582A1 (en) * 2018-10-16 2020-04-23 Anixa Diagnostics Corporation Methods of diagnosing cancer using multiple artificial neural networks to analyze flow cytometry data
US11416733B2 (en) * 2018-11-19 2022-08-16 Google Llc Multi-task recurrent neural networks
KR102230239B1 (ko) * 2018-11-20 2021-03-22 동국대학교 산학협력단 환자의 생체 데이터를 측정하는 이동 단말기 및 클라우드 서버를 이용한 예후 관리 시스템
CN113039561A (zh) * 2018-11-21 2021-06-25 渊慧科技有限公司 通过生成数据项的编码表示来对齐序列
KR102206905B1 (ko) * 2018-12-28 2021-01-25 (주)아이쿱 혈액검사 결과 기반 생활패턴 및 변화인자 추정방법
US20210082575A1 (en) * 2019-09-18 2021-03-18 Cerner Innovation, Inc. Computerized decision support tool for post-acute care patients
CN111210017B (zh) * 2019-12-24 2023-09-26 北京迈格威科技有限公司 确定布局顺序及数据处理的方法、装置、设备及存储介质
US11488256B1 (en) * 2020-02-17 2022-11-01 Infiniteintel, Inc. Machine learning systems, methods, components, and software for recommending and ordering independent medical examinations
CN111767987B (zh) * 2020-06-28 2024-02-20 北京百度网讯科技有限公司 基于循环神经网络的数据处理方法、装置和设备
US11641665B2 (en) * 2020-09-09 2023-05-02 Self Financial, Inc. Resource utilization retrieval and modification
US20220075877A1 (en) 2020-09-09 2022-03-10 Self Financial, Inc. Interface and system for updating isolated repositories
EP3985681A1 (en) * 2020-10-13 2022-04-20 Diabeloop Computerized system for the repeated determination of a set of at least one control parameters of a medical device

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272480B1 (en) * 1997-10-17 2001-08-07 Siemens Aktiengesellschaft Method and arrangement for the neural modelling of a dynamic system with non-linear stochastic behavior
CN101014938A (zh) * 2003-09-22 2007-08-08 金炯胤 用于监视结构健康状态的方法
US20100128975A1 (en) * 2008-11-24 2010-05-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for object recognition based on a trainable dynamic system
CN102013040A (zh) * 2009-09-07 2011-04-13 索尼公司 信息处理设备、信息处理方法以及程序
US20120036097A1 (en) * 2010-08-05 2012-02-09 Toyota Motor Engineering & Manufacturing North America, Inc. Systems And Methods For Recognizing Events
CN103038772A (zh) * 2010-03-15 2013-04-10 新加坡保健服务集团有限公司 预测患者的存活性的方法
CN103336908A (zh) * 2013-07-23 2013-10-02 哈尔滨工业大学 单调回声状态网络的剩余寿命预测方法
CN103733210A (zh) * 2011-08-18 2014-04-16 西门子公司 用于对技术系统进行计算机辅助的建模的方法
CN104615983A (zh) * 2015-01-28 2015-05-13 中国科学院自动化研究所 基于递归神经网络和人体骨架运动序列的行为识别方法
CN104636751A (zh) * 2014-12-11 2015-05-20 广东工业大学 基于时间递归神经网络的人群异常检测和定位系统及方法
CN105159890A (zh) * 2014-06-06 2015-12-16 谷歌公司 使用神经网络产生输入序列的表示
CN105550323A (zh) * 2015-12-15 2016-05-04 北京国电通网络技术有限公司 一种分布式数据库负载均衡预测方法和预测分析器
CN105787561A (zh) * 2016-03-22 2016-07-20 新疆金风科技股份有限公司 循环神经网络模型构建方法、齿轮箱故障检测方法和装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5109475A (en) 1988-09-19 1992-04-28 Hitachi, Ltd. Method and a system for selection of time series data
US5446829A (en) 1993-06-24 1995-08-29 The United States Of America As Represented By The Department Of Health And Human Services Artificial network for temporal sequence processing
JP3538906B2 (ja) * 1994-09-02 2004-06-14 松下電器産業株式会社 監視装置
WO1996012187A1 (en) 1994-10-13 1996-04-25 Horus Therapeutics, Inc. Computer assisted methods for diagnosing diseases
JPH0973440A (ja) * 1995-09-06 1997-03-18 Fujitsu Ltd コラム構造の再帰型ニューラルネットワークによる時系列トレンド推定システムおよび方法
US5839438A (en) 1996-09-10 1998-11-24 Neuralmed, Inc. Computer-based neural network system and method for medical diagnosis and interpretation
US6090044A (en) 1997-12-10 2000-07-18 Bishop; Jeffrey B. System for diagnosing medical conditions using a neural network
US20040010481A1 (en) 2001-12-07 2004-01-15 Whitehead Institute For Biomedical Research Time-dependent outcome prediction using neural networks
JP3661686B2 (ja) * 2002-12-19 2005-06-15 松下電器産業株式会社 監視装置
JP2007536645A (ja) 2004-05-07 2007-12-13 インターメッド アドバイザー，インコーポレイティド 慢性疾患患者のためのリアルタイム予測モデル化方法及び装置
JP2006120136A (ja) 2004-09-27 2006-05-11 Kyoto Univ 言語処理装置、言語処理方法、言語処理プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP4885463B2 (ja) * 2005-03-03 2012-02-29 株式会社日立製作所 センサネットワークシステム、センサデータの処理方法及びプログラム
JP2007200108A (ja) * 2006-01-27 2007-08-09 Nippon Telegr & Teleph Corp <Ntt> 特異イベント検出装置、及び特異イベント検出方法
JP2007243342A (ja) * 2006-03-06 2007-09-20 Yokogawa Electric Corp 画像監視装置及び画像監視システム
JP2009015493A (ja) * 2007-07-03 2009-01-22 Toshiba Corp アクション実行装置、及び方法
US8244656B2 (en) 2008-09-25 2012-08-14 Air Products And Chemicals, Inc. System and method for predicting rare events
JP2014178800A (ja) 2013-03-14 2014-09-25 Gifu Univ 医療情報処理装置、及び、プログラム
US9652712B2 (en) 2015-07-27 2017-05-16 Google Inc. Analyzing health events using recurrent neural networks
US20170032241A1 (en) 2015-07-27 2017-02-02 Google Inc. Analyzing health events using recurrent neural networks
US9336482B1 (en) * 2015-07-27 2016-05-10 Google Inc. Predicting likelihoods of conditions being satisfied using recurrent neural networks

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272480B1 (en) * 1997-10-17 2001-08-07 Siemens Aktiengesellschaft Method and arrangement for the neural modelling of a dynamic system with non-linear stochastic behavior
CN101014938A (zh) * 2003-09-22 2007-08-08 金炯胤 用于监视结构健康状态的方法
US20100128975A1 (en) * 2008-11-24 2010-05-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for object recognition based on a trainable dynamic system
CN102013040A (zh) * 2009-09-07 2011-04-13 索尼公司 信息处理设备、信息处理方法以及程序
CN103038772A (zh) * 2010-03-15 2013-04-10 新加坡保健服务集团有限公司 预测患者的存活性的方法
US20120036097A1 (en) * 2010-08-05 2012-02-09 Toyota Motor Engineering & Manufacturing North America, Inc. Systems And Methods For Recognizing Events
CN103733210A (zh) * 2011-08-18 2014-04-16 西门子公司 用于对技术系统进行计算机辅助的建模的方法
CN103336908A (zh) * 2013-07-23 2013-10-02 哈尔滨工业大学 单调回声状态网络的剩余寿命预测方法
CN105159890A (zh) * 2014-06-06 2015-12-16 谷歌公司 使用神经网络产生输入序列的表示
CN104636751A (zh) * 2014-12-11 2015-05-20 广东工业大学 基于时间递归神经网络的人群异常检测和定位系统及方法
CN104615983A (zh) * 2015-01-28 2015-05-13 中国科学院自动化研究所 基于递归神经网络和人体骨架运动序列的行为识别方法
CN105550323A (zh) * 2015-12-15 2016-05-04 北京国电通网络技术有限公司 一种分布式数据库负载均衡预测方法和预测分析器
CN105787561A (zh) * 2016-03-22 2016-07-20 新疆金风科技股份有限公司 循环神经网络模型构建方法、齿轮箱故障检测方法和装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JAEWON YANG 等: "Finding Progression Stages in Time-evolving Event Sequences", 《WWW’14》 *
RAZVAN PASCANU 等: "MA LWARE CL ASSIFICATION WITH RECURRENT NETWORKS", 《2015 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS，SPEECH AND SIGNAL PROCESSING》 *
ZACHARY C. LIPTON 等: "Learning to Diagnose with LSTM Recurrent Neural Networks", 《ARXIV：1511.03877V1》 *
尹汉钊: "基于递归神经网络与集成算法的时间序列预测应用研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
李海洲 等: "循环神经网络的语音识别算法", 《通信学报》 *
马千里 等: "基于动态递归神经网络模型的混沌时间序列预测", 《计算机应用》 *

Also Published As

Publication number Publication date
CN107743630B (zh) 2021-12-17
JP6541868B2 (ja) 2019-07-10
WO2017019703A1 (en) 2017-02-02
EP3292492B1 (en) 2022-01-19
JP2018528518A (ja) 2018-09-27
US10726327B2 (en) 2020-07-28
US20170308787A1 (en) 2017-10-26
KR20180014063A (ko) 2018-02-07
US9646244B2 (en) 2017-05-09
US20240176995A1 (en) 2024-05-30
US9336482B1 (en) 2016-05-10
US20170032242A1 (en) 2017-02-02
US20210019604A1 (en) 2021-01-21
EP3989127A1 (en) 2022-04-27
EP3292492A1 (en) 2018-03-14
US11790216B2 (en) 2023-10-17
KR102011453B1 (ko) 2019-08-19

Similar Documents

Publication Publication Date Title
CN107743630A (zh) 使用循环神经网络预测满足条件的可能性
CN107851462A (zh) 使用循环神经网络分析健康事件
JP6530084B2 (ja) 再帰型ニューラルネットワークを使用する健康イベントの分析
CN109785928A (zh) 诊疗方案推荐方法、装置及存储介质
Marinescu et al. The alzheimer's disease prediction of longitudinal evolution (TADPOLE) challenge: Results after 1 year follow-up
Chopra et al. Recurrent neural networks with non-sequential data to predict hospital readmission of diabetic patients
Liu et al. Hybrid design for sports data visualization using AI and big data analytics
Koti et al. An efficient healthcare framework for kidney disease using hybrid harmony search algorithm
Srilakshmi et al. Forecasting Congestive Heart Failure using Deep Learning
Martins Predicting the risk of injury of professional football players with machine learning
Kwon et al. Visually exploring contrastive explanation for diagnostic risk prediction on electronic health records
Harini et al. Heart Disease Prediction and Medicine Prescription using SVM
Santhanagopalan et al. Towards Machine Learning approach for Digital-Health intervention program.
Cicognini et al. Making the Cut: Forecasting Non-Impact Injury in Professional Soccer
Pramesti et al. Implementation of Deep Learning Using Convolutional Neural Network for Skin Disease Classification with DenseNet-201 Architecture
Stamate et al. King’s Research Portal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant