CN113924579A - 用于确定协议配置的集成神经网络 - Google Patents

用于确定协议配置的集成神经网络 Download PDF

Info

Publication number
CN113924579A
CN113924579A CN202080040205.6A CN202080040205A CN113924579A CN 113924579 A CN113924579 A CN 113924579A CN 202080040205 A CN202080040205 A CN 202080040205A CN 113924579 A CN113924579 A CN 113924579A
Authority
CN
China
Prior art keywords
data
output
rnn
subset
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080040205.6A
Other languages
English (en)
Inventor
K·M·布兰森
K·A·艾洛
R·马格那
A·佩蒂特
S·雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F Hoffmann La Roche AG
Original Assignee
F Hoffmann La Roche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F Hoffmann La Roche AG filed Critical F Hoffmann La Roche AG
Publication of CN113924579A publication Critical patent/CN113924579A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Neurology (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本文公开的方法和系统大体上涉及用于集成神经网络的系统和方法，其具有不同的类型并处理不同类型的数据。所述不同类型的数据可包括静态数据和动态数据，并且所述集成神经网络可包括前馈神经网络和递归神经网络。所述集成神经网络的结果可用于配置或修改协议配置。

Description

用于确定协议配置的集成神经网络
相关申请的交叉引用
本申请要求于2019年5月29日提交的美国临时专利申请62/854,089的权益和优先权，该美国临时专利申请出于所有目的通过引用将其整体被并入本文。
技术领域
本文公开的方法和系统大体上涉及用于集成神经网络的系统和方法，其具有不同的类型并处理不同类型的数据。不同类型的数据可包括静态数据和动态数据，并且集成神经网络可包括前馈神经网络和递归神经网络。集成神经网络的结果可用于配置或修改协议配置。
背景技术
生成和存储数据的速率持续地成倍增长。然而，纯粹存在此类数据是没有价值的。相反，当对数据做恰当解释并将其用于得出可为后续行动或决策提供信息的结果时就会发现其价值。有时，做出适当的解释可能需要集体解释一组数据。随着给定数据元素内的信息变得越来越多和/或越来越复杂以及随着该组数据变得越来越大和/或越来越复杂(例如，当该组数据包括越来越多的数据元素和/或越来越多不同数据类型的数据元素时)，这种集体数据分析可能会面临挑战。
计算技术的使用可促进处理较大和较复杂的数据集。然而，许多计算技术被配置为接收和处理单个类型的数据。可集体处理不同类型的数据的技术具有获得协同信息的潜力，在于与多个数据点(例如，不同数据类型)的组合相关联的可用信息超过了与该多个数据点中的每个数据点相关联的信息的总和。
在特定背景下，许多类型的数据都可能与临床试验背景相关。对尚未获得批准的药物治疗成功进行临床试验可支持确定该药物治疗的应答性患者群体、安全性、功效、恰当的给药方案以及使该药物治疗对患者安全可用所必需的其他特性。然而，要成功进行临床试验，首先需要定义临床试验中所包括的适当的患者组。临床试验标准必须定义包括和/或排除标准，其包括与多种类型数据中的每种数据相对应的约束条件。如果约束条件过窄和/或涵盖过多类型的数据，则研究人员可能无法及时为试验招募足够数量的参与者。此外，狭窄的约束条件可能会限制关于给定治疗如何不同地影响不同的患者组的信息。同时，如果约束条件过宽，则试验结果可能不是最佳的，在于该结果可能不足以表示治疗的功效和/或过度地表示不良事件的发生。
类似地，对临床试验终点的定义将影响功效结果。如果给定类型的结果取决于一个或多个与治疗无关的因素，则存在结果可能有误导性和/或偏向性的风险。此外，如果终点包括范围不足，则可能未检测到治疗的功效。
发明内容
一个或多个计算机的系统可被配置为通过在该系统上安装软件、固件、硬件或它们的组合来执行特定的操作或动作，该软件、固件、硬件或它们的组合在操作中引起该系统执行动作。一个或多个计算机程序可被配置为通过包括指令来执行特定的操作或动作，该指令在由数据处理装置执行时引起该装置执行动作。一个总体方面包括一种计算机实现的方法，其包括：存取与实体(例如，具有医学病状(诸如特定疾病)的患者)相对应的多结构数据集，该多结构数据集包括：按时间顺序的数据子集(例如，表示来自一组时间上分开的血液检查、临床评价、放射学图像(CT)、组织学图像、超声的结果)；以及静态数据子集(例如，表示一个或多个RNA表达水平、一个或多个基因表达水平、人口统计信息、诊断信息、对是否检测到一个或多个特定突变中的每个特定突变的指示、病理图像)。按时间顺序的数据子集具有按时间顺序的结构在于按时间顺序的数据子集包括与多个时间点相对应的多个数据元素。静态数据子集具有静态结构(例如，对其推断数据值随时间推移保持恒定，对其只有时间点可用，或对其存在重要的锚定时间点，诸如预训练筛选)。该计算机实现的方法还包括：执行递归神经网络(RNN)以将按时间顺序的数据子集转换为RNN输出。该计算机实现的方法还包括：执行前馈神经网络(FFNN)以将静态数据子集转换为FFNN输出，其中不使用RNN并且不使用具有按时间顺序的结构的训练数据来训练FFNN。该计算机实现的方法还包括：基于RNN输出确定集成的输出，其中RNN输出和集成的输出中的至少一者取决于FFNN输出，并且其中集成的输出对应于对实体(例如，接受特定类型的干预、特定类型的治疗或特定药品的实体)的结果(例如，对应于功效大小、二元功效指示符、功效时间-过程度量、疾病状态的变化、不良事件发生率、临床轨迹)的预测。该计算机实现的方法还包括输出集成的输出。该方面的其他实施例包括对应的计算机系统、装置以及记录在一个或多个计算机存储装置上的计算机程序，其中的每一者都被配置为执行方法的动作。
在一些情况下，静态数据子集包括图像数据和非图像数据。用于转换图像数据所执行的FFNN可包括卷积神经网络。用于转换非图像数据所执行的FFNN可包括多层感知机神经网络。
在一些情况下，按时间顺序的数据子集包括图像数据，并且用于转换图像数据所执行的递归神经网络包括LSTM卷积神经网络。多结构数据集可包括另一个按时间顺序的数据子集，该另一个按时间顺序的数据子集包括非图像数据。该方法可进一步包括：执行LSTM神经网络以将非图像数据转换为另一个RNN输出。集成的输出可进一步基于其他RNN输出。
在一些情况下，RNN输出包括在RNN中的中间递归层(例如，最终softmax层之前的最后一层)的至少一个隐藏状态。多结构数据集可包括另一个静态数据子集，该另一个静态数据子集包括非图像数据。该方法可进一步包括：执行另一个FFNN以将其他静态数据子集转换为另一个FFNN输出。其他FFNN输出可包括在该其他FFNN中的中间隐藏层(例如，最终softmax层之前的最后一层)处生成的一组中间值。
在一些情况下，确定集成的输出包括执行集成FFNN以将FFNN输出和RNN输出转换为集成的输出。已经不使用集成的FFNN来训练FFNN和RNN中的每一者。
在一些情况下，该方法进一步包括：将FFNN输出与来自按时间顺序的数据子集的多个数据元素中的数据元素连接以产生连接的数据，该数据元素与多个时间点中的最早时间点相对应。执行RNN以将按时间顺序的数据子集转换为RNN输出可包括使用RNN以处理输入，该输入包括：连接的数据；以及对于与该多个时间点中在最早时间点之后的时间点相对应的该多个数据元素中每个其他数据元素，该多个数据元素。集成的输出可包括RNN输出。
在一些情况下，该方法进一步包括：生成输入，对于来自按时间顺序的数据子集的该多个数据元素中的每个数据元素，该输入包括数据元素和FFNN输出的连接。执行RNN以将按时间顺序的数据子集转换为RNN输出可包括使用RNN来处理输入。集成的输出可包括RNN输出。
在一些情况下，多结构数据集包括：另一个按时间顺序的数据子集，该另一个按时间顺序的数据子集包括与该多个时间点相对应的其他多个数据元素；以及另一个静态数据子集，该另一个静态数据子集具有与静态数据子集不同的数据类型或数据结构。该方法可进一步包括：执行另一个FFNN以将该其他静态数据子集转换为另一个FFNN输出；执行第一集成神经网络以将FFNN输出和该其他FFNN输出转换为静态数据集成的输出；以及生成输入，对于该多个时间点中的每个时间点，该输入包括连接的数据元素，该连接的数据元素包括：该多个数据元素中与时间点相对应的数据元素；以及该其他多个数据元素中与时间点相对应的该其他数据元素。执行RNN以将按时间顺序的数据子集转换为RNN输出可包括使用RNN来处理输入。RNN输出可对应于在RNN中的中间递归层的单个隐藏状态。该单个隐藏状态可对应于该多个时间点中的单个时间点。确定集成的输出可包括使用第二集成神经网络处理静态数据集成输出和RNN输出。
在一些情况下，多结构数据集包括：另一个按时间顺序的数据子集，该另一个按时间顺序的数据子集包括与该多个时间点相对应的其他多个数据元素；另一个静态数据子集，该另一个静态数据子集具有与静态数据子集不同的数据类型或数据结构。该方法可进一步包括：执行另一个FFNN以将该其他静态数据子集转换为另一个FFNN输出；执行第一集成神经网络以将FFNN输出和该其他FFNN输出转换为静态数据集成的输出；以及生成输入，对于该多个时间点中的每个时间点，该输入包括连接的数据元素，该连接的数据元素包括：该多个数据元素中与时间点相对应的数据元素；以及该其他多个数据元素中与时间点相对应的该其他数据元素。执行RNN以将按时间顺序的数据子集转换为RNN输出可包括使用RNN来处理输入。RNN输出可对应于RNN中的多个隐藏状态，该多个时间点中的每个时间点对应于该多个隐藏状态中的隐藏状态。确定集成的输出可包括使用第二集成神经网络处理静态数据集成输出和RNN输出。
在一些情况下，多结构数据集包括：另一个按时间顺序的数据子集，该另一个按时间顺序的数据子集具有另一种按时间顺序的结构在于其他按时间顺序的数据子集包括与其他多个时间点相对应的其他多个数据元素。该其他多个时间点可不同于该多个时间点。多结构数据集可进一步包括：另一个静态数据子集，该另一个静态数据子集具有与静态数据子集不同的数据类型或数据结构。该方法可进一步包括：执行另一个FFNN以将该其他静态数据子集转换为另一个FFNN输出；执行第一集成神经网络以将FFNN输出和该其他FFNN输出转换为静态数据集成的输出；以及执行另一个RNN以将该其他按时间顺序的数据子集转换为另一个RNN输出。可独立于其他RNN来训练和执行RNN，并且RNN输出可包括在RNN中的中间递归层的单个隐藏状态。该单个隐藏状态可对应于该多个时间点中的单个时间点。该其他RNN输出包括在该其他RNN中的另一个中间递归层的另一个单个隐藏状态。其他单个隐藏状态可对应于该其他多个时间点中的另一个单个时间点。该方法还可包括：连接RNN输出和该其他RNN输出。确定集成的输出可包括使用第二集成神经网络处理静态数据集成的输出和连接的输出。
在一些情况下，多结构数据集包括另一个按时间顺序的数据子集，该另一个按时间顺序的数据子集具有另一种按时间顺序的结构在于该其他按时间顺序的数据子集包括与其他多个时间点相对应的其他多个数据元素，该其他多个时间点不同于该多个时间点，并且多结构数据集还包括另一个静态数据子集，该另一个静态数据子集具有与静态数据子集不同的数据类型或数据结构。该方法可进一步包括：执行另一个FFNN以将该其他静态数据子集转换为另一个FFNN输出；执行第一集成神经网络以将FFNN输出和该其他FFNN输出转换为静态数据集成的输出；以及执行另一个RNN以将该其他按时间顺序的数据子集转换为另一个RNN输出。可独立于该其他RNN来训练和执行RNN，RNN输出包括在RNN中的中间递归层的多个隐藏状态。该多个隐藏状态可对应于该多个时间点。该其他RNN输出可包括该其他RNN中的另一个中间递归层的其他多个隐藏状态。该其他多个隐藏状态可对应于该其他多个时间点。该方法还可包括：连接RNN输出和该其他RNN输出。确定集成的输出可包括使用第二集成神经网络处理静态数据集成的输出和连接的输出。
在一些情况下，该方法进一步包括：执行另一个FFNN以将该其他静态数据子集转换为另一个FFNN输出；执行第一集成神经网络以将FFNN输出和该其他FFNN输出转换为静态数据集成的输出；以及连接RNN输出和静态数据集成的输出。确定集成的输出可包括执行第二集成神经网络以将连接的输出转换为集成的输出。
在一些情况下，该方法进一步包括：使用优化技术同时训练第一集成神经网络、第二集成神经网络和RNN。执行RNN可包括执行经训练的RNN。执行第一集成神经网络可包括执行经训练的第一集成神经网络，并且执行第二集成神经网络可包括执行经训练的第二集成神经网络。
在一些情况下，该方法进一步包括存取域特定数据，该域特定数据包括训练数据元素的集合和标签的集合。该训练数据元素的集合中的每个训练数据元素可对应于该标签的集合中的标签。该方法可进一步包括使用域特定数据训练FFNN。
在一些实施例中，提供了一种系统，其包括：一个或多个数据处理器；以及包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部。
在一些实施例中，提供了一种计算机程序产品，其有形地体现在非暂时性机器可读存储介质中，并且其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部。
本公开的一些实施例包括一种包括一个或多个数据处理器的系统。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。
已使用的术语和表述被用作描述性而非限制性的术语，并且在使用此类术语和表述时无意排除示出和描述的特征或其部分的任何等效物，但应认识到在要求保护的本发明的范围内可以进行各种修改。因此，应当理解，虽然通过实施例和任选特征具体公开了本发明，但是本领域技术人员可以对本文公开的概念进行修改和变化，并且此类修改和变化被认为是在所附权利要求书所限定的本发明范围内。
附图说明
结合以下附图描述本公开：
图1示出了根据本发明一些实施例的用于使用多级人工智能模型处理静态和动态实体数据的交互系统；
图2A至图2B示出了对多种类型的神经网络上的处理进行集成的示例性人工智能配置；
图3示出了根据本发明一些实施例的用于使用多级人工智能模型处理静态和动态实体数据的交互系统；
图4A至图4D示出了包括集成神经网络的示例性人工智能配置；
图5示出了根据本发明一些实施例的用于对多种类型的神经网络的执行进行集成的过程；
图6示出了根据本发明一些实施例的用于对多种类型的神经网络的执行进行集成的过程；
图7示出了表征各种实验室特征在使用LSTM模型预测应答中的重要性的示例性数据；以及
图8示出了示例性数据，其表明低血小板计数与较高生存率相关联。
在附图中，相似部位和/或特征可具有相同的参考标号。此外，可通过在参考标号后面加上破折号和区分相似部位的第二标号来区分相同类型的各种部位。如果说明书中仅使用第一参考标号，则该描述适用于任何一个具有相同的第一参考标号的相似部位，而与第二参考标号无关。
具体实施方式
鉴于临床试验的功效结果可能取决于如何定义临床试验终点，检测不同的终点如何取决于不同的患者特性(例如，人口统计数据、医学测试数据、医疗记录数据)的技术可以为策略设计提供临床试验信息，这可以促进治疗的研究和开发。在相关的背景下，在为给定的人确定特定的治疗策略时，许多不同类型的数据可能具有潜在的相关性。这种决策可能涉及：确定是否为特定的人推荐(或开具或使用)特定方案(例如，治疗)；确定对特定的人使用特定治疗的细节(例如，配方、给药方案和/或持续时间)；以及/或者从多种治疗之中选择一种特定的治疗向特定的受试者进行推荐(或开具处方或使用)。许多类型的数据可以为这些决策提供信息，包括实验室结果、医学成像数据、受试者报告的症状和先前的治疗应答性。此外，可在多个时间点收集这些类型的数据点。提取这种多样化和动态的数据集以准确预测针对特定受试者的各种治疗和/或方案的功效，可促进以个人化的受试者特定方式智能地选择和使用疗法。
在一些实施例中，公开了用于对不同类型的输入数据的处理进行集成以提供对受试者和患者的治疗或方案的个人化预测的技术。更具体地，可使用不同类型的人工智能技术来处理不同类型的数据以生成中间结果。其中一些输入数据可包括在给定时间段内基本不变的静态数据，即在每个给定时间段仅被收集一次以及/或者基于对应的变量为静态的假设对其生成统计值的静态数据。其中一些输入数据可包括在给定时间段内改变或正在改变(和/或有可能发生生理变化)的动态数据，对该动态数据在给定时间段内收集多个数据值以及/或者对该动态数据生成多个统计值。不同类型的输入数据可在其维数、数值范围、准确度和/或精确度方面进一步变化。例如，一些(动态或静态)输入数据可包括图像数据，而其他(动态或静态)输入数据可包括非图像数据。
集成神经网络系统可包括神经网络的集合，可选择这些神经网络来对不同类型的输入数据进行初始处理。由该一组神经网络中的每个神经网络处理的数据的类型可不同于由该一组神经网络中的每个其他神经网络处理的数据类型。要输入到给定神经网络并由该给定神经网络处理的数据的类型可以(但不必)与要输入到该一组神经网络中的每个其他神经网络并由该一组神经网络中的每个其他神经网络(或由集成神经网络系统的层级中的每个其他神经网络)处理的数据的类型无重叠。
在一些情况下，该一组神经网络的第一子集中的每个神经网络被配置为接收(作为输入)和处理静态数据，并且该一组神经网络的第二子集中的每个神经网络被配置为接收(作为输入)和处理动态数据。在一些情况下，静态数据是原始静态数据(例如，一个或多个病理图像、基因序列和/或人口统计信息)。在一些情况下，静态数据包括基于原始静态数据得出的特征(例如，经由一个或多个神经网络或其他处理)。第一子集中的每个神经网络可包括前馈神经网络，并且/或者第二子集中的每个神经网络可包括递归神经网络。递归神经网络可包括(例如)一个或多个长短期记忆(LSTM)单元、一个或多个门控递归单元(GRU)或该两者都不包括。
在一些情况下，神经网络(例如，在第一子集中和/或在第二子集中)被配置为接收和处理图像和/或空间数据。神经网络可包括卷积神经网络，使得可生成图像内各种区块的卷积。
在一些情况下，可独立于和/或利用域特定数据来训练该一组较低级别神经网络中的一个较低层级神经网络、多个较低层级神经网络或全部较低层级神经网络中的每一者(例如，其中每个较低层级神经网络比可接收经处理版本的输入数据的一个或多个上一层级神经网络在计算上更靠近输入数据)。该训练可基于训练数据集，该训练数据集的数据类型对应于神经网络被配置为接收和处理的数据类型。在监督学习方法中，训练数据集中的每个数据元素可与“正确的”输出相关联，该输出可与要从集成神经网络系统输出的输出的相同类型和/或特定于域的输出类型(例如，并且不是来自集成神经网络系统的输出)相对应。
输出可用于选择临床试验协议配置，诸如要施用的特定治疗(例如，特定药物、手术或放射治疗)；药物剂量；药物和/或程序的施用时间表等等。在一些情况下，如果施用特定治疗(例如，具有一种或多种特定方案配置)，则输出可标识受试者和/或受试者的预后。用户然后可确定是否向受试者推荐和/或施用特定治疗。
例如，集成神经网络系统可被配置为输出特定的人如果接受特定的治疗则将存活5年的预测概率。域特定神经网络可包括卷积前馈神经网络，该卷积前馈神经网络被配置为接收和处理空间病理数据(例如，来自活检或手术的组织块的染色或未染色切片的图像)。可将该域特定卷积前馈神经网络训练为类似地输出5年生存概率(使用将每个病理数据元素与关于这个人是否存活五年的二元指示符相关联的训练数据)。替代性地或附加地，可将域特定神经网络训练为输出图像处理结果，该图像处理结果可包括(例如)：图像的分割(例如，以标识各个细胞)，在图像内检测到的受试者的空间表征(例如，表征形状和/或大小)，在图像内检测到的一个或多个受试者的分类(例如，指示细胞类型)和/或图像的分类(例如，指示生物级别)。
另一个域特定神经网络可包括被配置为接收和处理放射学数据的卷积递归神经网络。可将域特定递归前馈神经网络训练为输出5年生存概率和/或另一种类型的输出。例如，该输出可包括关于五年内肿瘤的相对或绝对大小和/或肿瘤的当前(例如，绝对)大小的预测。
神经网络之间的集成可通过集成神经网络系统中所包括的一个或多个分开的集成子网而发生，并且/或者可作为集成神经网络系统中神经网络之间的数据流的结果而发生。例如，数据流可将来自被配置为接收和处理静态数据以包括在用于迭代的输入数据集(其也可包括动态数据)中的一个或多个神经网络(“静态数据神经网络”)的为给定迭代生成的每个输出路由到被配置为接收和处理动态数据的一个或多个神经网络(“动态数据神经网络”)。动态数据可包括与时间点的集合相对应的动态数据元素的集合。在一些情况下，将该动态数据元素的集合中的单个动态数据元素与来自静态数据神经网络的输出连接(使得来自静态数据神经网络的输出在输入数据集中仅被表示一次)。在一些情况下，将该动态数据元素的集合中的动态数据元素与来自静态数据神经网络的输出连接(使得来自静态数据神经网络的输出在输入数据集中被多次表示)。
作为另一个示例，对于集成神经网络系统中的一个动态数据神经网络、多个动态数据神经网络或所有动态数据神经网络中的每一者，输入数据集不必包括来自任何静态数据神经网络的任何结果。相反，每个动态数据神经网络的结果可独立于集成神经网络系统中的任何静态数据神经网络的任何结果和/或独立于任何静态数据神经网络中的任何静态数据输入。然后可聚合(例如，连接)来自每个静态数据神经网络和每个动态数据神经网络的输出并将其输入到集成子网中。集成子网本身可以是神经网络，诸如前馈神经网络。
在评估多种类型的静态数据的情况下，集成神经网络系统可包括多个域特定神经网络以分开地处理每种类型的静态数据。集成神经网络系统还可包括静态数据集成子网，该静态数据集成子网被配置为接收来自每个域特定神经网络的输出以促进基于静态数据的集合生成输出。然后，该输出可由较高层级集成子网接收，该较高层级集成子网还可接收动态数据元素(例如，从该一个或多个动态数据神经网络中的每个动态数据神经网络接收)以促进基于完整的数据集生成输出。
分开地训练域特定神经网络(例如，未集成不同的数据类型的每个静态数据神经网络)，并且然后固定习得的参数(例如，权重)。在这些情况下，集成子网的输出可由激活函数处理(例如，以生成关于是否会发生给定事件的二元预测)，而较低层级神经网络不必包括激活函数层并且/或者不必路由输出以供激活函数立即处理。
在一些情况下，跨集成神经网络系统的层级执行至少一些训练，并且/或者一个或多个较低层级网络可包括激活函数层(并且/或者将输出路由到激活函数，该激活函数然后可将其输出发送到集成层)。例如，可使用反向传播技术来同时训练每个集成神经网络和每个动态数据神经网络。虽然最初可独立地和/或以域特定方式训练低层级域特定神经网络，但在一些情况下，随后可能会将错误反向传播到这些低层级网络以进行进一步训练。每个集成神经网络系统都可使用深度学习技术来学习各个神经网络上的参数。
图1示出了根据本发明的一些实施例的用于使用多级人工智能模型处理静态和动态实体数据以预测治疗应答的交互系统100。交互系统100可包括用于训练和执行集成神经网络的集成神经网络系统105。更具体地，集成神经网络系统105可包括用于训练一个或多个前馈神经网络中的每个前馈神经网络的前馈神经网训练控制器110。在一些情况下，与集成神经网络系统105分开地训练每个前馈神经网络(例如，通过不同的前馈神经网训练控制器110)。在一些情况下，在训练后移除前馈神经网络的softmax层。应当理解，对于本文的任何公开内容，softmax层可被使用不同的激活函数来预测标签的激活函数层(例如，当存在k个分类时生成分类输出的具有k个节点的最终层，在单个节点处使用sigmoid激活函数来生成二元分类的最终层，或者对于回归问题在单个节点处使用线性激活函数的最终层)替换。例如，预测的标签可包括：与关于给定治疗在治疗给定患者时是否有效的预测相对应的二元指示符，或与治疗将有效的概率相对应的数字指示符。
每个前馈网络可包括：输入层；一个或多个中间隐藏层；以及输出层。从输入层和每个输出层中的每个神经元或感知机开始，连接可以发散到下一层中的神经元或感知机的(例如，所有)集合。所有连接都可正向(例如，朝向输出层)而不是反向延伸。
前馈神经网络可包括(例如)一个或多个卷积前馈神经网络和/或一个或多个多层感知机神经网络。例如，前馈神经网络可包括具有dropout和潜在归一化(例如，批量归一化和/或处理静态、非空间输入)的四层多层感知机神经网络。(可在训练期间作为网络正则化的一种形式选择性地执行dropout，但不在推理阶段执行。)作为另一个示例，前馈神经网络可包括深度卷积神经网络(例如，InceptionV3、AlexNet、ResNet、U-Net)。在一些情况下，前馈神经网络可包括用于精调的顶层，该顶层包括全局池化平均层和/或一个或多个密集前馈层。对于每个神经网络，训练可以引致学习参数的集合，可将该参数的集合存储在参数数据存储器中(例如，多层感知机(MLP)参数数据存储器110和/或卷积神经网络(CNN)参数数据存储器115和/或120)。
集成神经网络系统105可进一步包括用于训练一个或多个递归神经网络中的每个递归神经网络的递归神经网训练控制器125。在一些情况下，分开地训练每个递归神经网络(例如，通过不同的递归神经网训练控制器125)。在一些情况下，在训练后移除递归神经网络的softmax层(或其他激活函数层)。
递归神经网络可包括：输入层；一个或多个中间隐藏层；以及输出层。连接可再次从输入层或隐藏层中的神经元或感知机延伸到后续层中的神经元。与前馈网络不同，每个递归神经网络都可包括这样的结构，该结构有助于将信息从给定时间步长的处理传递到下一个时间步长。因此，递归神经网络包括一个或多个反向延伸的连接(例如，远离输出层)。例如，递归神经网络可包括：一个或多个LSTM单元和/或一个或多个GRU，其基于当前输入确定单元的当前隐藏状态和当前记忆状态、先前隐藏状态、先前记忆状态；以及门的集合。递归神经网络可包括具有softmax(例如，注意机制)和/或长期递归卷积网络的LSTM网络(例如，1层LSTM网络)。对于每个神经网络，训练可引致学习参数的集合，可将该参数的集合存储在参数数据存储器中(例如，LSTM参数数据存储器130和/或CNN+LSTM参数数据存储器135)。
集成神经网络系统105可包括一个或多个前馈神经网络运行控制器140以及一个或多个递归神经网运行控制器145以运行对应的神经网络。每个控制器都可被配置为接收、存取和/或收集要由神经网络处理的输入，运行经训练的神经网络(使用习得的参数)，以及利用输出进行后续处理。应当理解，集成神经网络系统105中每个神经网络的训练和执行可进一步取决于并非习得而是被静态定义的一个或多个超参数。
在所描绘的实例中，前馈神经网运行控制器140利用从前馈神经网络到递归神经网络运行控制器145的输出，使得可包括前馈神经网络输出作为由递归神经网络处理的输入数据集的一部分。递归神经网运行控制器145可将输出与(例如)动态数据聚合。来自前馈神经网络的输出可包括(例如)来自中间隐藏层的输出向量，诸如softmax层之前的最后一层。
在一些情况下，输入到前馈神经网络的数据是静态数据并且/或者包括静态数据(例如，其可包括从原始静态数据检测到的特征)，并且/或者输入到递归神经网络的数据包括动态数据。每次迭代可对应于对与特定的人相对应的数据的评估。可通过一个或多个网络150(例如，因特网、广域网、局域网和/或短程连接)从一个或多个远程装置接收和/或检索静态数据和/或动态数据。在一些情况下，远程装置可将数据推送到集成神经网络系统105。在一些情况下，集成神经网络系统105可从远程装置拉取数据(例如，通过发送数据请求)。
要由一个或多个前馈神经网络处理的输入数据的至少一部分和/或要由一个或多个递归神经网络处理的输入数据的至少一部分可包括或可源自从提供者系统155接收的数据，该提供者系统可关联于(例如)与特定的人相关联的医生、护士、医院、药剂师等。接收到的数据可包括(例如)对应于特定的人的一个或多个医疗记录，该一个或多个医疗记录指示或包括：人口统计数据(例如，年龄、生日、民族、职业、受教育水平、当前居住地和/或过去居住地、就医地点)；一种或多种生命体征(例如，身高；体重；体重指数；体表面积；呼吸频率；心率；原始ECG记录；收缩期血压和/或舒张期血压；氧合水平；体温；氧饱和度；头围)；当前或过去开具处方的和/或服用的药品或治疗(例如，连同对应的时间段、任何检测到的不良作用和/或任何中止原因)和/或当前或过去的诊断；当前或过去报告或观察到的症状；检查结果(例如，生命体征和/或功能评分或评估)；家族病史；环境风险暴露(例如，个人和/或家庭吸烟史、环境污染、辐射暴露)。应当理解，可直接或间接地从患者监测装置接收附加数据，诸如包括用于监测健康相关度量的一个或多个传感器的装置(例如，血糖监测器、具有ECG电极的智能手表、跟踪活动的可穿戴装置等等)。
要由一个或多个前馈神经网络处理的输入数据的至少一部分和/或要由一个或多个递归神经网络处理的输入数据的至少一部分可包括或可源自从样品处理系统160接收的数据。样品处理系统160可包括已对从特定的人获得的生物样品执行测试和/或分析的实验室。样品可包括(例如)血液、尿液、唾液、粪便物、毛发、活体组织切片和/或提取的组织块。样品处理可包括使样品经受一种或多种化学品处理以确定样品是否包括给定的生物元素(例如，病毒、病原体、细胞类型)。样品处理可包括(例如)血液分析、尿液分析和/或组织分析。在一些情况下，样品处理包括执行全基因测序、全外显子组测序和/或基因分型以标识基因序列和/或检测一种或多种基因突变。作为另一个示例，该处理可包括对人的微生物群系的一个或多个性质进行测序或表征。处理的结果可包括(例如)二元结果(例如，指示其存在或不存在)；数字结果(例如，表示浓度或细胞计数)；和/或分类结果(例如，标识一种或多种细胞类型)。
要由一个或多个前馈神经网络处理的输入数据的至少一部分和/或要由一个或多个递归神经网络处理的输入数据的至少一部分可包括或可源自从成像系统165接收的数据。成像系统165可包括用于收集(例如)放射学图像、CT图像、X射线、PET、超声和/或MRI的系统。在一些情况下，成像系统165进一步分析图像。该分析可包括检测和/或表征病灶、肿瘤、裂伤、感染和/或血块(例如，以标识量、位置、大小和/或形状)。
应当理解，在一些情况下，样品处理系统160和成像系统165被包括在单个系统中。例如，组织样品可被处理和准备用于成像，并且然后可收集图像。例如，该处理可包括从组织块获得组织切片以及对切片进行染色(例如，使用H&E染色或IHC染色，诸如HER2或PDL1)。然后可收集染色的切片的图像。进一步或附加地，可确定(基于对染色的样品的手动分析和/或基于对图像的手动或自动审查)在切片中是否可观察到任何染色的元素(例如，具有定义的视觉性质)。
可在相应系统处或在集成神经网络系统105处对在提供者系统155、样品处理系统160或成像系统165中的一者或多者处接收或收集到的数据进行处理以(例如)生成对神经网络的输入。例如，可使用独热编码、特征嵌入和/或归一化为标准临床范围来转换临床数据，和/或可基于转录本计数来计算管理基因归一化计数的z评分。作为其他(附加的或替代的)示例，处理可包括执行特征化、降维、主成分分析或相关性解释(CorEx)。作为又一个(附加的或替代的)，可将图像数据划分为区块的集合，可选择区块的不完整子集，并且可将该子集中的每个区块表示为张量(例如，具有与区块的宽度和长度相对应的二维中每个维度的长度以及与颜色或波长维数相对应的第三维的长度)。作为另一个(附加的或替代的)示例，处理可包括检测具有与肿瘤相对应的图像性质的形状并确定该形状的一个或多个大小属性。因此，对神经网络的输入可包括(例如)特征化数据、管理基因归一化计数的z评分、张量和/或大小属性。
交互系统100可进一步包括用户装置170，该用户装置可与请求和/或协调集成神经网络系统的一次或多次迭代的执行(例如，其中每次迭代与模型的一次运行和/或模型的输出的一次产生相对应)的用户相关联。用户可与临床试验的研究人员或研究人员的团队相对应。每次迭代可与特定的人相关联，该特定的人可以不是用户。对迭代的请求可包括和/或伴随有关于特定的人的信息(例如，这个人的标识符，从其收集数据的一个或多个其他系统的标识符和/或与这个人相对应的信息或数据)。在一些情况下，来自用户装置170的通信包括特定人的集合中的每个人的标识符，该标识符与对该集合中所表示的每个人执行迭代的请求相对应。
在接收到请求时，集成神经网络系统105可发送对有关数据的请求(例如，对于对应的成像系统165、提供者系统155和/或样品处理系统160中的一者或多者)以及执行集成神经网络。每个被标识的人的结果可包括或可基于来自一个或多个递归网络(和/或一个或多个前馈神经网络)的一个或多个输出。例如，结果可包括或可基于递归神经网络中一个或多个中间递归层中的每个中间递归层的最终隐藏状态(例如，来自softmax之前的最后一层)。在一些情况下，可使用(例如)softmax函数进一步处理此类输出。该结果可标识(例如)给定治疗的预测的功效(例如，作为关于其是否会有效、有效的概率、功效的预测的大小和/或功效的预测的时间过程的二元指示)和/或关于给定治疗是否会引起一种或多种不良事件的预测(例如，作为二元指示、概率或预测的大小)。该结果可被传输到用户装置170和/或可供该用户装置利用。
在一些情况下，集成神经网络系统105和用户装置170之间的一些或全部通信经由网站发生。应当理解，集成神经网络系统105可基于授权分析来选通对结果、数据和/或处理资源的存取。
尽管未明确示出，但应理解，交互系统100可进一步包括与开发者相关联的开发者装置。来自开发者装置的通信可指示(例如)：要使用什么类型的前馈和/或递归神经网络，要使用的神经网络的数量，每个神经网络的配置，用于每个神经网络的一个或多个超参数，如何将来自一个或多个前馈神经网络的输出与动态数据输入集成以形成用于递归神经网络的输入数据集，对于每个神经网络要接收和使用什么类型的输入，要如何格式化数据请求以及/或者要使用哪些训练数据(例如，以及如何能够存取训练数据)。
图2A至图2B示出了对在多种类型的治疗预测神经网络上的处理进行集成的示例性人工智能配置。所描绘的网络示出了可通过其将动态数据和静态数据集成为可被馈送到神经网络的单个输入数据集的特定技术。然后，神经网络可生成输出，该输出(例如)预测特定受试者的预后，特定治疗将有效治疗特定受试者的医学病状的程度；特定治疗会对特定受试者引起一种或多种不良事件的程度；和/或如果向受试者提供特定治疗，则特定受试者将存活(例如，大体上没有或完全没有医学病状进展)预定时间段的概率。与使用依赖于分开处理不同输入数据集的其他技术相比，使用单个网络可引致较少的计算密集和/或时间密集的训练和/或处理。此外，单个神经网络可促进解释习得的参数以了解哪些类型的数据对生成输出最有影响(例如，与依赖于使用多种类型的数据处理和/或多种类型的模型的处理相比)。
在图2A中，块205、210和215中的每一者表示来自使用相应的经训练的前馈神经网络处理对应的输入数据集的输出数据集(包括一个或多个输出值)。例如，块205可包括来自基于静态RNA序列输入数据生成的第一多层感知机前馈神经网络的输出；块210可包括来自基于静态临床输入数据(例如，包括出生日期、居住地点和/或职业)生成的第二多层感知机前馈神经网络的输出；并且块215可包括来自基于静态病理学输入数据(例如，包括染色的样品切片的图像)生成的卷积神经网络(例如，深度卷积神经网络)的输出。
递归神经网运行控制器可被配置为将这些输出与动态数据输入聚合，以生成用于一个或多个递归神经网络的输入。在图2A所描绘的实例中，动态数据输入包括与五个时间点相对应的第一组动态数据220a至220e以及与相同的五个时间点相对应的第二组动态数据225a至225e。例如，第一组动态数据220a至220e可包括临床数据(例如，表示症状报告、生命体征、反应时间等)和/或来自放射学评价的结果(例如，标识肿瘤的大小、病灶的大小、肿瘤的数量、病灶的数量等等)。
以图2A的示例继续，控制器将来自数据块205、210和215中的每一者的数据(表示来自三个前馈网络的输出)与来自第一组动态数据220a和第二组动态数据225a中的每一者的单个(例如，第一)时间点的动态数据输入聚合(例如，连接)。对于其余四个时间点，仅聚合动态数据(例如220b和225b)。因此，递归网络(例如LSTM模型)的输入数据集包括大小随时间点变化的数据元素。
递归神经网络可生成包括一个或多个预测的标签的输出230。标签可对应于这样的分类，该分类指示(例如)输入所对应的人的病状是否会对给定的治疗作出应答，是否会在目标时间段内作出应答，是否会在目标幅度范围内作出应答以及/或者是否会经历任何实质性的(例如，预先标识的)不良事件。标签可替代性地或附加地对应于沿连续体的输出，诸如预测的生存时间缓解程度(例如，肿瘤大小的缩小)、功能性能测量等。
替代性地，在图2B中，将来自数据块205、210和215中的每一者的数据(表示来自三个前馈网络的输出)在每个时间点与动态数据输入聚合。例如，数据块205至215不仅与第一组动态数据220a和第二组动态数据225a中的每一者的第一时间点的动态数据输入聚合，而且它们还与对应于第二时间点220b和220c的动态数据输入聚合，等等。值得注意的是，数据块205至215中的每一者中的数据保持相同，即使它与不同的动态数据聚合。在这种情况下，用于并行网络的输入数据集可包括跨时间点具有相同大小的数据元素(聚合的数据)。
应当理解，虽然图2A至2B仅描绘了单个递归神经网络，但可替代地使用多个递归网络。例如，可将来自前馈神经网络的输出与一个或多个第一动态数据集(例如，包括非图像数据)聚合(例如，根据如图2A或图2B所示的技术)以生成要由第一递归神经网络处理的第一输入集，并且可将来自前馈神经网络的输出与一个或多个第二动态数据集(例如，包括图像数据)聚合以生成要由第二递归神经网络(例如，卷积递归神经网络)处理的第二输入集。
对于图2A和2B中的每个图，可通过对每个前馈神经网络执行域特定训练来训练所描绘的配置。然后可固定权重。在一些情况下，错误可通过递归模型反向传播以训练递归网络。在一些情况下，前馈神经网络的权重在域特定训练后不是固定的，并且反向传播可通过前馈网络延伸。
将输出从前馈网络馈送到递归网络可促进处理不同的数据类型(例如，静态的和动态的)，同时避免从前馈网络和递归网络接收输入的附加的较高层级网络或处理元素。避免这些附加的网络或处理元素可加速学习，避免过度拟合并促进对习得参数的解释。因此，图2A至图2B的网络可用于生成与特定受试者的预后有关的准确预测(例如，在接受特定治疗的同时)。准确的预测可有助于为特定受试者选择个人化治疗。
图3示出了根据本发明一些实施例的用于使用多级人工智能模型来处理静态和动态实体数据以预测治疗应答的交互系统300。
图3中描绘的交互系统300包括许多与图1中描绘的交互系统100中所包括的部件和连接相同的部件和连接。除了用于前馈和递归网络的控制器之外，交互系统300中的集成神经网络系统305还可包括用于一个或多个集成网络的控制器。具体地，集成神经网络系统305包括集成器训练控制器375，该集成器训练控制器训练一个或多个集成子网中的每个集成子网以便学习存储在集成参数数据存储器380中的一个或多个集成层参数。
集成子网可包括前馈网络，该前馈网络可包括一个或多个多层感知机网络(例如，具有批量归一化和dropout)。多层感知机网络可以包括(例如)五层、更少层或更多层。集成子网可包括一个或多个密集层和/或一个或多个嵌入层。
在一些情况下，独立于其他模型预训练一个或多个第一级域特定(例如，前馈)神经网络。不必预训练集成子网。相反，可在所有神经网络被集成时进行训练(例如，使用或不使用反向传播并且/或者使用或不使用前向传播)。也可使用或替代性地使用另一种类型的优化训练方法，诸如遗传算法、进化策略、MCMC、网格搜索或启发式方法。
集成器运行控制器385可运行经训练的集成子网(使用来自集成参数数据存储器的习得参数，或者如果尚未习得任何参数则使用初始参数值)。在一些情况下，第一集成子网接收并集成来自多个域特定(例如，前馈)神经网络中的每个域特定神经网络的输出，并且第二集成子网接收并集成来自第一集成子网和一个或多个递归神经网络中的每个递归神经网络的输出。值得注意的是，在图3所描绘的实例中，来自较低层级前馈网络的输出不必被利用或被发送到递归神经网运行控制器145。相反，输出的集成发生在集成子网处。
集成子网的输出可包括(例如)中间层的最终隐藏状态(例如，在softmax层或最终隐藏层之前的最后一层)或softmax层的输出。由集成神经网络系统305生成和/或利用的结果可包括输出和/或其经处理的版本。该结果可标识(例如)给定治疗的预测的功效(例如，作为关于其是否会有效、有效的概率、功效的预测的大小和/或功效的预测的时间过程的二元指示)和/或关于给定治疗是否会引起一种或多种不良事件的预测(例如，作为二元指示、概率或预测的大小)。
图4A至图4D示出了包括治疗预测神经网络的集成的示例性人工智能配置。在每种情况下，集成人工智能系统包括：一个或多个低层级前馈神经网络；一个或多个低层级递归神经网络；以及一个或多个高层级前馈神经网络。在每个所描绘的实例中，人工智能系统使用多个神经网络，该多个神经网络包括：用于处理动态数据以生成动态数据过渡期输出的一个或多个模型，用于处理静态特征以生成静态数据过渡期输出的一个或多个模型，以及用于处理动态数据过渡期输出和静态数据过渡期输出的一个或多个模型。将静态数据和动态数据集成为要由单个模型处理的单个输入数据集的一个复杂问题在于，这种数据集成可能会带来使一种输入数据类型的权重超过另一种输入数据类型的风险，并且/或者可能带来单个模型由于大量模型参数和/或由于大的输入数据大小而无法学习和/或无法检测数据预测器的风险。使用多个不同的模型来初始处理不同类型的输入数据可引致习得的参数的集合较小，这可提高模型预测的准确性以及/或者允许利用较小的训练数据集来训练模型。
对于图4A中所描绘的表示，第一组域特定模块可各自包括神经网络(例如，前馈神经网络)，该神经网络被训练和配置为接收和处理静态数据并输出域特定度量和/或特征。每个模块的输出由数据块405(表示RNA序列数据)、410(例如，表示病理染色样品数据)和415(例如，表示人口统计和生物标志物)表示，并且可对应于(例如)模块的神经网络中的最后一个隐藏层。第一组域特定模块中的一个域特定模块、多个域特定模块或所有域特定模块中的每一者都可包括前馈神经网络。可将这些输出连接并馈送到低层级前馈神经网络430，该低层级前馈神经网络可包括多层感知机神经网络。
递归神经网络435(例如，LSTM网络)可接收第一组动态数据420(例如，表示临床数据)和第二组动态数据425(例如，表示放射学数据)。第一组动态数据420可具有与第二组动态数据425相同数量的数据元素。虽然最初获得的与第一组相对应的数据元素可能在量和/或时序对应关系方面不同于最初获得的与第二组相对应的数据元素，但可执行内插、外插、下采样和/或插补以引致具有相同长度的两个数据集。在一些情况下，每组动态数据都是基于来自对应的时间序列数据集的原始输入而生成的。例如，第一组动态数据420可标识在不同时间测量的心率集合，并且第二组动态数据425可标识在不同时间测量的血压。所描绘的配置可提供操作简单性，因为可集体处理不同的动态数据集。然而，这种集体处理可能要求不同的动态数据集具有相同的数据大小(例如，对应于相同的时间点)。
应当理解，虽然某些描述和附图可能涉及“第一”数据集(例如，第一组动态数据420)和“第二”数据集(例如，第二组动态数据425)，但使用形容词“第一”和“第二”是为了区分方便。第一数据集和第二数据集中的任一者可包括多个数据子集(例如，从不同来源收集、在不同时间收集和/或表示不同类型的变量)。在一些情况下，第一数据集和第二数据集可以各自是单个数据集的子集(例如，使得数据源和/或收集时间在集之间是相同的)。在一些情况下，收集和处理多于两个的数据集(例如，多于两个的动态数据集)。
在一些情况下，每组动态数据中的每个元素是基于被配置为检测一个或多个特征的前馈神经网络而生成的。例如，原始数据初始集可包括在不同时间收集的多个MRI扫描。可通过前馈神经网络馈送每次的扫描以检测和表征(例如)任何病灶和/或萎缩。在一些情况下，对于每个时间点，可由前馈卷积神经网络处理图像，然后卷积神经网络的最终隐藏层的输出可作为输入(对应于时间点)向前传递到递归神经网络(例如，LSTM网络)。然后，第一组动态数据420可包括每个不同时间的病灶和萎缩度量。
低层级前馈神经网络430和低层级递归神经网络435中的每一者的输出可被馈送到高层级前馈神经网络440。在一些情况下，将输出连接在一起以形成单个向量。在一些情况下，来自低层级前馈神经网络430的输出的大小与来自低层级递归神经网络435的输出的大小相同。来自低层级前馈神经网络430的输出可包括来自每个网络中的最终隐藏层的值。来自低层级递归神经网络435的输出可包括最终隐藏状态。
高层级前馈神经网络440可包括另一个多层感知机网络。高层级前馈神经网络440可从网络的softmax层(或其他激活函数层)输出一个或多个预测的标签445(或可从其得出预测的标签的数据)。每个预测的标签都可包括与输入数据405至425相关联的人(例如，在接受特定治疗之后)的估计的当前或未来特性(例如，应答性、不良事件经历等等)。
反向传播可用于在所描绘的系统中集体训练两个或更多个网络。例如，反向传播可到达高层级前馈神经网络440、低层级前馈神经网络430和低层级递归神经网络435中的每一者。在一些情况下，反向传播可进一步延伸到每个域特定模块中的每个网络，使得域特定模块的参数可由于集成网络的训练而被更新。(替代性地，例如，每个域特定模块中的每个网络都可被预训练，并且然后可以固定习得的参数。)
图4A中所表示的配置允许在其原生状态(例如，静态与动态)下表示和集成数据。此外，可同时训练静态部件和动态部件。此外，在以下情况下可减少朝向静态部件或动态部件的偏置：其中来自低层级前馈神经网络430的被馈送到高层级前馈神经网络440的输出与来自低层级递归神经网络435的被馈送到高层级前馈神经网络440的输出具有相同的大小。
图4B中所示的配置包括与图4A所示的配置的许多相似之处。然而，在这种情况下，低层级递归神经网络435输出针对第一组动态数据420中所表示的每个时间步长(其与第二组动态数据425中所表示的相同的时间步长相对应)的数据。因此，输入到高层级前馈神经网络440的数据可包括(例如)来自低层级前馈神经网络430的最终隐藏层的输出和来自低层级前馈神经网络435的每个时间点的隐藏状态输出。
在这种模型配置中，可以传播与时间序列在多个(例如，所有)时间点上的演变的信息，而不仅仅是在最终隐藏状态中所捕获的主要与后续时间点的预测有关的信息。传播时间点特定数据可允许较高层级网络检测时间序列模式(例如，周期性趋势、出现异常值等等)，这可能提供比时间序列的未来值更多的信息用于预测正确的标签。然而，这种配置可能会固定(例如，硬编码)由递归神经网络评估的多个时间点，这可使模型的推理灵活性降低。
用相同的低层级递归神经网络同时处理第一组动态数据420和第二组动态数据425可引起要求数据集具有相同的长度。另一种方法是使用不同的神经网络(例如，第一低层级递归神经网络435a和第二低层级递归神经网络435b)分开处理数据集，如图4C所示。
在一些情况下，为了减少高层级前馈神经网络440的输出朝向动态数据的偏置，如在图4B中所示的架构的实现中可能发生的那样，来自每个低层级递归神经网络435的输出的大小(相对于低层级前馈神经网络430的输出的大小)以与低层级递归神经网络的数量相等的因子减少。因此，在所描绘的实例中，假设有两个低层级递归神经网络，每个低层级递归神经网络的输出被配置为具有低层级前馈神经网络430的输出长度的一半的长度。
这种配置可具有优势，包括提供高效的构建和实现过程以及差异化表示静态数据和动态数据，以便允许神经网络类型的定制选择。其他优势包括使得能够同时训练多个网络(跨越静态网络和动态网络)。由于对高层级前馈神经网络的按比例输入，朝向静态数据和/或动态数据的偏置受到限制。该配置可支持处理具有不同的数据收集时间的动态数据，并且该配置可以延伸用于附加的动态数据集。
图4D示出了又一种配置，其包括多个低层级递归神经网络，但来自每个低层级递归神经网络的输出与多个时间点(例如，在对应的输入数据集中所表示的每个时间点)相对应。在各种情况下，来自每个网络的输出的向量长度(例如，作为来自低层级递归神经网络的输出所传递的元素或特征值的数量)可以(但不必)基于正在使用的多个低层级递归神经网络和/或数据集中的多个时间点被缩放。例如，如果第一动态数据集包括100个时间点中每个时间点的数据值，同时第二动态数据集包括50个时间点中每个时间点的数据值，则处理第一动态数据集的第一神经网络可被配置为生成时间点特定输出，其长度是由处理第二动态数据集的第二神经网络生成的时间点特定输出的长度的一半。
应当理解，图4A至图4D中的每个图包括多个集成子网。具体地，低层级前馈神经网络430和高层级前馈神经网络440中的每一者都集合来自多个其他神经网络的结果。许多神经网络都被配置为学习输入值的特定组合如何与输出值相关。例如，独立评估图像中每个像素值的模型的预测准确度可能远低于集体评估像素值的模型的预测准确度。然而，随着输入数据集大小的增加，学习这些交互术语可能需要成倍增加的更大量的训练数据、训练时间和计算资源。此外，虽然这种数据关系可能跨某些类型的输入数据发生(例如，跨图像中的像素)，但它们不必发生在其他类型的输入数据中(例如，CT扫描的像素值和血压结果可能未能表现出数据协同性)。使用分开的模型可促进跨输入数据的数据交互可能存在和/或最强的部分捕获数据交互，同时保留计算资源和处理时间。因此，具有如图4A至图4D中任何一个图所描绘的依赖于多级处理的配置的模型可通过捕获相关数据交互术语以及通过基于可达到的大小的训练数据集产生准确的结果来生成准确性提高的结果。这些结果可包括特定受试者的预后(例如，如果提供特定治疗)。因此，准确的结果可促进以个人化的方式选择有效和安全的治疗。
图5示出了根据本发明一些实施例的用于对多种类型的治疗预测神经网络的执行进行集成的过程500。过程500可说明可如何训练和使用神经-网络模型，诸如具有图2A或图2B中所描绘的架构的那些神经网络模型。
过程500开始于块505，在该块处，一个或多个前馈神经网络被配置为接收静态数据输入。例如，可以为该一个或多个前馈神经网络中的每个前馈神经网络定义一个或多个超参数和/或结构；可以定义或配置数据馈送以自动地将特定类型的静态数据路由到前馈神经网络的控制器；以及/或者可以至少部分定义数据拉取(例如，以便标识数据源，标识要请求的数据类型，等等)。
在块510处，使用训练静态数据和训练实体应答数据(例如，指示功效、不良作用发生、应答时序等等)来训练该一个或多个前馈神经网络。训练数据可对应于(例如)特定治疗或治疗类型。可通过训练习得并随后固定一个或多个参数(例如，权重)。
在块515处，配置一个或多个递归神经网络。该配置可包括定义一个或多个超参数和/或网络结构、数据馈送和/或数据拉取。可执行该配置，使得该一个或多个递归神经网络中的每个递归神经网络被配置为接收作为输入的动态数据(例如，按时间顺序的数据)以及来自该一个或多个前馈神经网络中的每个前馈神经网络的输出。来自前馈神经网络的输出可包括(例如)来自前馈神经网络中最后一个隐藏层的输出。
在块520处，使用按时间顺序的数据、来自该一个或多个前馈神经网络的输出、实体应答数据和反向传播技术来训练该一个或多个递归神经网络。按时间顺序的数据可包括动态数据。按时间顺序的数据(和/或动态数据)可包括与(例如，离散)时间点或(例如，离散)时间段相对应的有序数据集。实体应答数据可对应于与一个或多个实体相关联的经验数据和/或观察数据。实体应答数据可包括(例如)二元、数字或分类数据。实体应答数据可对应于与(例如)以下有关的预测：实体(例如，人)是否将对治疗作出应答，对治疗作出应答的时间过程因子，对治疗作出应答的大小因子，所经历的任何不良事件的大小因子，和/或对治疗作出应答的时间过程因子。反向传播技术可用于基于预测的应答(例如，基于当前参数生成)与观察到的应答的比较如何来调整递归神经网络的一个或多个参数。
在块525处，执行经训练的前馈神经网络以将实体相关的静态数据转换为前馈神经网络输出。实体相关的静态数据可与尚未对其施用治疗和/或尚未经过观察期的实体相对应。可能已从(例如)一个或多个提供者系统、样品处理系统、成像系统和/或用户装置接收到实体相关的静态数据。每个前馈神经网络输出都可包括值向量。在一些情况下，使用不同的(和/或不同类型和/或不同配置的)前馈神经网络处理不同类型的实体相关静态数据，并且生成不同的输出(例如，其可以但不必具有不同的大小)。
在块530处，对于至少一个时间点，将前馈神经网络输出与关联于该时间点的实体相关的按时间顺序的数据连接。前馈神经网络输出可包括来自前馈神经网络的最后一个隐藏层的输出。在一些情况下，实体相关的按时间顺序的数据可包括与单个时间点相关联的一条或多条动态数据。所连接的数据可包括数据向量。在一些情况下，实体相关的按时间顺序的数据可包括与多个时间点相关联的一条或多条动态数据。所连接的数据可包括多个数据向量。
在块535处，执行经训练的递归神经网络以将连接的数据转换为一个或多个递归神经网络输出。更具体地，在一些情况下，可将输入数据集定义为仅包括(例如)所连接的数据(例如，在这样的情况下，其中前馈神经网络输出与来自按时间顺序的数据中所表示的每个时间点的按时间顺序的数据被连接)。在一些情况下，可将输入数据集定义为包括(例如)所连接的数据和其他(非连接的)按时间顺序的数据(例如，在这样的情况下，其中前馈神经网络输出与来自按时间顺序的数据中所表示的不完整时间点子集的按时间顺序的数据被连接)。
在块540处，集成的输出被确定为递归神经网络输出的至少一部分和/或被确定为基于递归神经网络输出的至少一部分。例如，递归神经网络输出可包括预测的分类或预测的值(例如，数值)。作为另一个示例，递归神经输出可包括数字，并且集成的输出可包括基于一个或多个数字阈值确定的分类标签预测。
在块545处，输出集成的输出。例如，可在用户装置处呈现集成输出，或者将该集成的输出传输到该用户装置。
应当理解，可设想对过程500的各种修改。例如，可从过程500中省略块510和520。尽管过程500可使用经训练的神经网络，但该网络可能先前已受过训练(例如，使用不同的计算系统)。
图6示出了根据本发明一些实施例的用于对多种类型的治疗预测神经网络的执行进行集成的过程600。过程600可说明可如何训练和使用神经-网络模型，诸如具有图4A至图4D中的任一个图中所描绘的架构的那些神经网络模型。
过程600在块605处，在该处多个域特定神经网络被配置和训练为接收和处理静态数据输入。该配置可包括设置超参数和标识每个神经网络的结构。域特定神经网络可包括一个或多个非卷积前馈网络和/或一个或多个卷积前馈网络。在一些情况下，每个域特定神经网络都与其他域特定神经网络分开训练。训练数据可包括训练输入数据和训练输出数据(例如，其标识特定特征)。例如，训练数据可包括基于过去的自动选择的人工注释和/或人工审查而检测到的图像集合和特征集合(例如，肿瘤、血管、病灶)。
静态输入可包括遗传数据(例如，标识一个或多个序列)、病理图像数据、人口统计数据和/或生物标志物数据。第一(例如，非卷积前馈)神经网络可被配置为处理遗传数据以检测诸如一个或多个突变、一个或多个基因和/或一种或多种蛋白质之类的特征。第二(例如，卷积前馈)神经网络可被配置为处理病理图像数据以检测诸如一个或多个肿瘤中的每个肿瘤的存在、大小和/或位置以及/或者标识一个或多个细胞类型之类的特征。第三(例如，非卷积前馈)神经网络可被配置为处理人口统计数据和/或生物标志物数据以检测诸如人的基线疾病倾向之类的特征。在一些情况下，该多个域特定神经网络中的每个域特定神经网络都被配置为生成与来自该多个域特定神经网络中的其他每个域特定神经网络的结果具有相同大小的结果(例如，值向量)。
在块610处，第一集成神经网络被配置为从域特定神经网络接收结果。可聚合和/或连接来自域特定神经网络的结果(例如，形成向量)。在一些情况下，协调代码可用于聚合、重新配置(例如，连接)和/或预处理要作为输入提供给一个或多个神经网络的数据。第一集成神经网络可包括前馈神经网络和/或多层感知机网络。
在块615处，一个或多个递归神经网络被配置为接收按时间顺序的数据。在一些情况下，多个递归神经网络中的每个递归神经网络都被配置为接收不同的按时间顺序的数据集(例如，与不同的时间点和/或数据采样相关联)。该一个或多个递归神经网络可包括(例如)包括一个或多个LSTM单元和/或一个或多个GRU单元的网络。在一些情况下，该一个或多个递归神经网络被配置为接收按时间顺序的数据，其包括成像数据(例如，MRI数据、CT数据、血管造影数据和/或X射线数据)、临床评价数据和/或血液测试数据。
在一些情况下，单个递归神经网络被配置为接收一个或多个按时间顺序的数据集(例如，与相似或相同的时间点和/或数据采样相关联)。在一些情况下，协调码可用于转换一个或多个按时间顺序的数据集中的每个按时间顺序的数据集以包括与标准化时间点和/或一个或多个其他按时间顺序的数据集的时间点相对应的数据元素(例如，使用内插、外插和/或插补)。
在块620处，第二集成神经网络被配置为从第一集成神经网络以及从该一个或多个递归神经网络接收所连接的结果。第二集成神经网络可包括前馈神经网络和/或多层感知机网络。
在一些情况下，来自第一集成神经网络的结果与来自该一个或多个递归神经网络的结果具有相同的大小(例如，相同的长度和/或相同的维度)。例如，如果来自第一集成神经网络的结果是1x250，并且如果该一个或多个递归神经网络是两个递归神经网络，则来自该两个递归神经网络中的每个递归神经网络的结果可具有1x125的大小，使得与按时间顺序的数据相对应的组合的输入大小与对应于静态数据的输入的大小相同。在一些情况下，来自第一集成的结果与来自该一个或多个递归神经网络的结果大小不同。例如，关于前面的示例，来自该两个递归神经网络中的每个递归神经网络的结果可具有1x250或1x500的大小，或者来自该两个递归神经网络的结果的大小可以不同。
在块625处，使用反向传播同时训练多个神经网络。在一些情况下，使用反向传播同时和集体训练第一集成神经网络和第二集成神经网络以及递归神经网络。在一些情况下，也使用反向传播将该多个域特定神经网络与其他网络一起训练。在一些情况下，分开训练该多个域特定神经网络(例如，在反向传播训练之前)。分开训练可包括独立地训练每个域特定神经网络。
在块630处，执行经训练的域特定神经网络以将实体相关的静态数据转换为特征化输出。实体相关的静态数据可包括多种类型的静态数据，并且可使用对应的域特定神经网络独立地处理每种类型的实体相关的静态数据。
在块635处，执行经训练的第一集成神经网络以将特征化输出转换为第一输出。在执行之前，可组合和/或连接来自该多个域特定神经网络中的每个域特定神经网络的特征化输出(例如，以形成输入向量)。第一输出可包括向量。该向量可对应于第一集成神经网络的隐藏层(例如，最终隐藏层)。
在块640处，执行经训练的递归神经网络以将实体特定的按时间顺序的数据转换为第二输出。在一些情况下，实体特定的按时间顺序的数据包括多种类型的数据。可在每个时间点聚合(例如，连接)多种类型。该多种类型可由不同的递归神经网络分开处理。
第二输出可包括向量。该向量可以对应于递归神经网络的隐藏状态(例如，最终隐藏状态)。
在块645处，执行经训练的第二集成神经网络以将第一输出和第二输出转换为一个或多个预测的标签。在执行之前，协调代码可聚合和/或连接第一输出和第二输出(例如，以形成输入向量)。第二集成神经网络的执行可生成对应于一个或多个预测的标签的输出。
在块650处，可输出该一个或多个预测的标签。例如，可在用户装置处呈现该一个或多个预测的标签，或者可将该一个或多个预测的标签传输到该用户装置。
应当理解，可设想对过程600的各种修改。例如，可从过程600中省略块625。尽管过程600可使用经训练的神经网络，但该网络可能先前已受过训练(例如，使用不同的计算系统)。
实例
为了研究使用神经网络预测应答特性的性能，将LSTM模型(其可用于图4A-4D中所描绘的任何模型中)训练为预测曲妥珠单抗治疗引致无进展生存的程度。在本实施例中，无进展生存定义为治疗期间和治疗后受试者在没有疾病(癌症)进展的情况下存活的时间长度。值得注意的是，正输出值或结果表明治疗引起肿瘤缩小或消失。对LSTM模型的输入包括实验室特征的集合，其沿图7中的x轴示出。
LIME用于评估每个输入变量对LSTM模型的输出的影响。LIME是一种用于解释机器学习模型的技术，并且在Riberiro等人，“’Why should I trust you？’Explaining thepredictions of any classifier”97-101.10.18653/v1/N16-3020(2016)中有描述，该文献出于所有目的通过引用其整体被并入本文。大的绝对值表明对应的变量对输出表现出相对较大的影响。正值表明输出与变量正相关，而负值表明输出与变量负相关。
如图7所示，血小板计数与最高的绝对重要性度量相关联。因此，LIME分析表明高血小板计数与阳性应答度量相关联。同时，高乳酸脱氢酶水平与阴性应答度量相关联。
为了测试是否观察到这种关系，数据评估了与曲妥珠单抗治疗相关联的生存统计数据。取决于受试者是否表现出持续的低血小板计数(LPC)，将受试者分为两个群组。持续LPC定义为血小板计数下降至低于150,000个血小板/微升的绝对阈值，或者从受试者特定的基线测量值下降25％或更多，并且连续测量值低于阈值至少90天。在研究中代表的1,095名受试者中，416名(38％)被分配到持续性LPC群组。进行了三个研究组。在每个研究组中，曲妥珠单抗和一种其他药物(紫杉烷、安慰剂或帕妥珠单抗)用于治疗。
对于每个受试者和时间点集合中的每个时间点，确定受试者是否存活并且无进展。图8示出了三个研究组和两个群组的无进展生存曲线。在所有三个组中，与非LPC群组相比，LPC群组显示出统计学上显著更高的无进展生存统计数据。因此，似乎LSTM模型成功地学习到血小板计数是治疗应答的指标。
随后的描述仅提供优选的示例性实施例，并不旨在限制本公开的范围、适用性或配置。相反，优选示例性实施例的随后描述将为本领域技术人员提供用于实现各种实施例的可行描述。应当理解，在不脱离所附权利要求中阐述的精神和范围的情况下，可以对元件的功能和布置进行各种改变。
在以下描述中给出具体细节以便透彻理解实施例。然而，应当理解，可以在没有这些具体细节的情况下实践实施例。例如，电路、系统、网络、过程和其他组件可以以框图形式显示为部件，以免在不必要的细节中混淆实施例。在其他情况下，可以在没有不必要的细节的情况下示出众所周知的电路、过程、算法、结构和技术以避免混淆实施例。
此外，值得注意的是，可以将各个实施例描述为被描绘为流程图、流程示意图、数据流程示意图、结构示意图或框图的过程。尽管流程图或示意图可将操作描述为顺序过程，但是许多操作可以并行或同时执行。此外，可以重新安排操作的顺序。流程在其操作完成时终止，但可能具有图中未包括的附加步骤。一个过程可对应于一种方法、一个函数、一个程序、一个子例程、一个子程序等等。当一个过程对应一个函数时，其终止可以对应于该函数返回到调用函数或主函数。
在以上描述中给出具体细节以便透彻理解实施例。然而，应当理解，可以在没有这些具体细节的情况下实践实施例。例如，可以在框图中示出电路，以免在不必要的细节中混淆实施例。在其他情况下，可以在没有不必要的细节的情况下示出众所周知的电路、过程、算法、结构和技术以免混淆实施例。
上述技术、块、步骤和手段的实现可以以各种方式完成。例如，这些技术、块、步骤和手段可以在硬件、软件或其组合中实现。对于硬件实现，处理单元可以在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于执行上述功能的其他电子单元和/或它们的组合内实现。
此外，值得注意的是，可以将实施例描述为被描绘为流程图、流程示意图、数据流程示意图、结构示意图或框图的过程。尽管流程图可以将操作描述为顺序过程，但许多操作可以并行或同时执行。此外，可以重新安排操作的顺序。过程在其操作完成时终止，但可能具有图中未包括的附加步骤。一个过程可以对应于一种方法、一个函数、一个程序、一个子例程、一个子程序等等。当一个进程对应于一个函数时，其终止对应该函数返回到调用函数或主函数。
此外，可通过硬件、软件、脚本语言、固件、中间件、微代码、硬件描述语言和/或它们的任何组合来实现实施例。当以软件、固件、中间件、脚本语言和/或微代码实现时，执行必要任务的程序代码或代码段可以存储在机器可读介质诸如存储介质中。代码段或机器可执行指令可以表示程序、函数、子程序、程序、例程、子例程、模块、软件包、脚本、类或指令、数据结构、和/或程序语句的任何组合。通过传递和/或接收信息、数据、自变量、参数和/或存储器内容，代码段可以耦合到另一个代码段或硬件电路。信息、变元、参数、数据等可以经由任何合适的手段传递、转发或传输，包括存储器共享、消息传递、票证传递、网络传输等等。
对于固件和/或软件实现，可以用执行本文描述的功能的模块(例如，程序、功能等等)来实现这些方法。任何有形地体现指令的机器可读介质都可以用于实现本文描述的方法。例如，软件代码可以存储在存储器中。存储器可以在处理器内部或处理器外部实现。如本文所用，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其他存储介质，并且不限于任何特定类型的存储器或任何数量的存储器，或在其上存储记忆的介质的类型。
此外，如本文所公开的，术语“存储介质”、“存储装置”或“存储器”可以表示用于存储数据的一个或多个存储器，包括只读存储器(ROM)、随机存取存储器(RAM)、磁RAM、核心存储器、磁盘存储介质、光存储介质、闪存装置和/或用于存储信息的其他机器可读介质。术语“机器可读介质”包括但不限于便携式或固定式存储装置、光存储装置、无线信道和/或能够存储包含或携带指令和/或数据的各种其他存储介质。
虽然以上已经结合具体的装置和方法描述了本公开的原理，但是应当清楚地理解，该描述仅作为示例而不是对本公开范围的限制。

Claims (48)

1.一种方法，其包括：
存取与实体相对应的多结构数据集，所述多结构数据集包括按时间顺序的数据子集和静态数据子集，所述按时间顺序的数据子集具有按时间顺序的结构在于所述按时间顺序的数据子集包括与多个时间点相对应的多个数据元素，并且所述静态数据子集具有静态结构；
执行递归神经网络(RNN)以将所述按时间顺序的数据子集转换为RNN输出；
执行前馈神经网络(FFNN)以将所述静态数据子集转换为FFNN输出，其中不使用所述RNN并且不使用具有所述按时间顺序的结构的训练数据来训练所述FFNN；
基于所述RNN输出确定集成的输出，其中所述RNN输出和所述集成的输出中的至少一者取决于所述FFNN输出，并且其中所述集成的输出对应于对用特定治疗来治疗所述实体的功效的预测；以及
输出所述集成的输出。
2.根据权利要求1所述的方法，其进一步包括：
由用户输入所述实体的多结构数据或标识符；以及
由所述用户接收所述集成的输出。
3.根据权利要求1或权利要求2所述的方法，其进一步包括：
基于所述集成的输出确定以所述特定治疗来治疗受试者；以及
为所述受试者开具所述特定治疗的处方。
4.根据权利要求1至3中任一项所述的方法，其中：
所述静态数据子集包括图像数据和非图像数据；
用于转换所述图像数据所执行的所述FFNN包括卷积神经网络；并且
用于转换所述非图像数据所执行的所述FFNN包括多层感知机神经网络。
5.根据权利要求1至4中任一项所述的方法，其中：
所述按时间顺序的数据子集包括图像数据；
用于转换所述图像数据所执行的所述递归神经网络包括LSTM卷积神经网络；
所述多结构数据集包括另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集包括非图像数据；
所述方法进一步包括执行LSTM神经网络以将所述非图像数据转换为另一个RNN输出；并且
所述集成的输出进一步基于其他RNN输出。
6.根据权利要求1至5中任一项所述的方法，其中：
所述RNN输出包括在所述RNN中的中间递归层的至少一个隐藏状态；
所述多结构数据集包括另一个静态数据子集，所述另一个静态数据子集包括非图像数据；
所述方法进一步包括执行另一个FFNN以将其他静态数据子集转换为另一个FFNN输出；并且
其他FFNN输出包括在其他FFNN中的中间隐藏层处生成的一组中间值。
7.根据权利要求1至5中任一项所述的方法，其中确定所述集成的输出包括执行集成FFNN以将所述FFNN输出和所述RNN输出转换为所述集成的输出，其中不使用集成的FFNN来训练所述FFNN和所述RNN中的每一者。
8.根据权利要求1至5中任一项所述的方法，其进一步包括：
将所述FFNN输出与来自所述按时间顺序的数据子集的所述多个数据元素中的数据元素连接，所述数据元素对应于所述多个时间点中的最早时间点以产生连接的数据；
其中执行所述RNN以将所述按时间顺序的数据子集转换为所述RNN输出包括使用所述RNN处理输入，所述输入包括：
所述连接的数据；以及
对于与所述多个时间点中在所述最早时间点之后的时间点相对应的所述多个数据元素中每个其他数据元素，所述其他数据元素；并且
其中所述集成的输出包括所述RNN输出。
9.根据权利要求1至5中任一项所述的方法，其进一步包括：
生成输入，对于来自所述按时间顺序的数据子集的所述多个数据元素中的每个数据元素，所述输入包括所述数据元素和所述FFNN输出的连接；
其中执行所述RNN以将所述按时间顺序的数据子集转换为所述RNN输出包括使用所述RNN来处理所述输入；并且
其中所述集成的输出包括所述RNN输出。
10.根据权利要求1至5中任一项所述的方法，其中：
所述多结构数据集包括：
另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集包括与所述多个时间点相对应的其他多个数据元素；以及
另一个静态数据子集，所述另一个静态数据子集具有与所述静态数据子集不同的数据类型或数据结构；
所述方法进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；以及
生成输入，对于所述多个时间点中的每个时间点，所述输入包括连接的数据元素，所述连接的数据元素包括：所述多个数据元素中与所述时间点相对应的数据元素，以及所述其他多个数据元素中与所述时间点相对应的其他数据元素；
执行所述RNN以将所述按时间顺序的数据子集转换为所述RNN输出包括使用所述RNN来处理所述输入；
所述RNN输出对应于所述RNN中的中间递归层的单个隐藏状态，所述单个隐藏状态对应于所述多个时间点中的单个时间点；以及
确定所述集成的输出包括使用第二集成神经网络处理所述静态数据集成的输出和所述RNN输出。
11.根据权利要求1至5中任一项所述的方法，其中：
所述多结构数据集包括：
另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集包括与所述多个时间点相对应的其他多个数据元素；以及
另一个静态数据子集，所述另一个静态数据子集具有与所述静态数据子集不同的数据类型或数据结构；
所述方法进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；
生成输入，对于所述多个时间点中的每个时间点，所述输入包括连接的数据元素，所述连接的数据元素包括：所述多个数据元素中与所述时间点相对应的数据元素，以及所述其他多个数据元素中与所述时间点相对应的其他数据元素；
执行所述RNN以将所述按时间顺序的数据子集转换为所述RNN输出包括使用所述RNN来处理所述输入；
所述RNN输出对应于所述RNN中的多个隐藏状态，所述多个时间点中的每个时间点对应于所述多个隐藏状态中的隐藏状态；以及
确定所述集成的输出包括使用第二集成神经网络处理静态数据集成输出和所述RNN输出。
12.根据权利要求1至5中任一项所述的方法，其中：
所述多结构数据集包括：
另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集具有另一种按时间顺序的结构在于其他按时间顺序的数据子集包括与其他多个时间点相对应的其他多个数据元素，所述其他多个时间点不同于所述多个时间点；以及
另一个静态数据子集，所述另一个静态数据子集具有与所述静态数据子集不同的数据类型或数据结构；
所述方法进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；
执行另一个RNN以将所述其他按时间顺序的数据子集转换为另一个RNN输出，所述RNN独立于其他RNN来训练和独立地执行，所述RNN输出包括所述RNN中的中间递归层的单个隐藏状态，所述单个隐藏状态对应于所述多个时间点中的单个时间点，其他RNN输出包括在所述其他RNN中的另一个中间递归层的另一个单个隐藏状态，其他单个隐藏状态对应于所述其他多个时间点中的另一个单个时间点；以及
连接所述RNN输出和所述其他RNN输出；
其中确定所述集成的输出包括使用第二集成神经网络处理所述静态数据集成的输出和连接的输出。
13.根据权利要求1至5中任一项所述的方法，其中：
所述多结构数据集包括：
另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集具有另一种按时间顺序的结构在于其他按时间顺序的数据子集包括与其他多个时间点相对应的其他多个数据元素，所述其他多个时间点不同于所述多个时间点；以及
另一个静态数据子集，所述另一个静态数据子集具有与所述静态数据子集不同的数据类型或数据结构；
所述方法进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；
执行另一个RNN以将所述其他按时间顺序的数据子集转换为另一个RNN输出，所述RNN独立于其他RNN来训练和独立地执行，所述RNN输出包括所述RNN中的中间递归层的多个隐藏状态，所述多个隐藏状态对应于所述多个时间点，所述其他RNN输出包括所述其他RNN中的另一个中间递归层的其他多个隐藏状态，所述其他多个隐藏状态对应于所述其他多个时间点；以及
连接所述RNN输出和所述其他RNN输出；
其中确定所述集成的输出包括使用第二集成神经网络处理所述静态数据集成的输出和连接的输出。
14.根据权利要求1至5中任一项所述的方法，其进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；以及
连接所述RNN输出和所述静态数据集成的输出；
其中确定所述集成的输出包括执行第二集成神经网络以将连接的输出转换为所述集成的输出。
15.根据权利要求14所述的方法，其进一步包括：
使用优化技术同时训练所述第一集成神经网络、所述第二集成神经网络和所述RNN，其中执行所述RNN包括执行经训练的RNN，其中执行所述第一集成神经网络包括执行经训练的第一集成神经网络，并且其中执行所述第二集成神经网络包括执行经训练的第二集成神经网络。
16.根据权利要求1至15中任一项所述的方法，其进一步包括：
存取域特定数据，所述域特定数据包括训练数据元素的集合和标签的集合，其中所述训练数据元素的集合中的每个训练数据元素对应于所述标签的集合中的标签；以及
使用所述域特定数据训练所述FFNN。
17.一种方法，其包括：
在用户装置处以及向远程计算系统传输对应于实体的标识符，其中，在接收到所述标识符时，所述远程计算系统被配置为在接收到所述标识符时：
存取与实体相对应的多结构数据集，所述多结构数据集包括按时间顺序的数据子集和静态数据子集，所述按时间顺序的数据子集具有按时间顺序的结构在于所述按时间顺序的数据子集包括与多个时间点相对应的多个数据元素，并且所述静态数据子集具有静态结构；
执行递归神经网络(RNN)以将所述按时间顺序的数据子集转换为RNN输出；
执行前馈神经网络(FFNN)以将所述静态数据子集转换为FFNN输出，其中不使用所述RNN并且不使用具有所述按时间顺序的结构的训练数据来训练所述FFNN；
基于所述RNN输出确定集成的输出，其中所述RNN输出和所述集成的输出中的至少一者取决于所述FFNN输出，并且其中所述集成的输出对应于对用特定治疗来治疗所述实体的功效的预测；以及
传输所述集成的输出；以及
在所述用户装置处以及从所述远程计算系统接收所述集成的输出。
18.根据权利要求17所述的方法，其进一步包括：
使用医学成像装置或实验室设备收集至少部分的多结构数据。
19.集成的输出在受试者的治疗中的用途，其中所述集成的输出由计算装置提供，所述计算装置基于与所述受试者相对应的多结构数据集来执行计算模型以提供所述集成的输出，其中：
所述多结构数据集包括按时间顺序的数据子集和静态数据子集，所述按时间顺序的数据子集具有按时间顺序的结构在于所述按时间顺序的数据子集包括与多个时间点相对应的多个数据元素，并且所述静态数据子集具有静态结构；并且
执行所述计算模型包括：
执行递归神经网络(RNN)以将所述按时间顺序的数据子集转换为RNN输出；以及
执行前馈神经网络(FFNN)以将所述静态数据子集转换为FFNN输出，其中不使用所述RNN并且不使用具有所述按时间顺序的结构的训练数据来训练所述FFNN；并且
其中所述集成的输出对应于对用特定治疗来治疗所述受试者的功效的预测。
20.一种系统，其包括：
一个或多个数据处理器；以及
非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包含指令，所述指令在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行包括以下的动作：
存取与实体相对应的多结构数据集，所述多结构数据集包括按时间顺序的数据子集和静态数据子集，所述按时间顺序的数据子集具有按时间顺序的结构在于所述按时间顺序的数据子集包括与多个时间点相对应的多个数据元素，并且所述静态数据子集具有静态结构；
执行RNN以将所述按时间顺序的数据子集转换为RNN输出；
执行FFNN以将所述静态数据子集转换为FFNN输出，
其中不使用所述RNN并且不使用具有所述按时间顺序的结构的训练数据来训练所述FFNN；
基于所述RNN输出确定集成的输出，其中所述RNN输出和所述集成的输出中的至少一者取决于所述FFNN输出，并且其中所述集成的输出对应于对用特定治疗来治疗所述实体的功效的预测；以及
输出所述集成的输出。
21.根据权利要求20所述的系统，其中：
所述静态数据子集包括图像数据和非图像数据；
用于转换所述图像数据所执行的所述FFNN包括卷积神经网络；并且
用于转换所述非图像数据所执行的所述FFNN包括多层感知机神经网络。
22.根据权利要求20或权利要求21所述的系统，其中：
所述按时间顺序的数据子集包括图像数据；
用于转换所述图像数据所执行的所述RNN包括LSTM卷积神经网络；
所述多结构数据集包括另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集包括非图像数据；
所述动作进一步包括执行LSTM神经网络以将所述非图像数据转换为另一个RNN输出；以及
所述集成的输出进一步基于其他RNN输出。
23.根据权利要求20至22中任一项所述的方法，其中：
所述RNN输出包括在所述RNN中的中间递归层的至少一个隐藏状态；
所述多结构数据集包括另一个静态数据子集，所述另一个静态数据子集包括非图像数据；
所述动作进一步包括执行另一个FFNN以将其他静态数据子集转换为另一个FFNN输出；以及
其他FFNN输出包括在其他FFNN中的中间隐藏层处生成的一组中间值。
24.根据权利要求20至23中任一项所述的系统，其中确定所述集成的输出包括执行集成FFNN以将所述FFNN输出和所述RNN输出转换为所述集成的输出，其中不使用集成的FFNN来训练所述FFNN和所述RNN中的每一者。
25.根据权利要求20至23中任一项所述的系统，其中所述动作进一步包括：
将所述FFNN输出与来自所述按时间顺序的数据子集的所述多个数据元素中的数据元素连接，所述数据元素对应于所述多个时间点中的最早时间点以产生连接的数据；
其中执行所述RNN以将所述按时间顺序的数据子集转换为所述RNN输出包括使用所述RNN处理输入，所述输入包括：
所述连接的数据；以及
对于与所述多个时间点中在所述最早时间点之后的时间点相对应的所述多个数据元素中每个其他数据元素，所述其他数据元素；并且
其中所述集成的输出包括所述RNN输出。
26.根据权利要求20至23中任一项所述的系统，其中所述动作进一步包括：
生成输入，对于来自所述按时间顺序的数据子集的所述多个数据元素中的每个数据元素，所述输入包括所述数据元素和所述FFNN输出的连接；
其中执行所述RNN以将所述按时间顺序的数据子集转换为所述RNN输出包括使用所述RNN来处理所述输入；并且
其中所述集成的输出包括所述RNN输出。
27.根据权利要求20至23中任一项所述的方法，其中：
所述多结构数据集包括：
另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集包括与所述多个时间点相对应的其他多个数据元素；以及
另一个静态数据子集，所述另一个静态数据子集具有与所述静态数据子集不同的数据类型或数据结构；
所述动作进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；以及
生成输入，对于所述多个时间点中的每个时间点，所述输入包括连接的数据元素，所述连接的数据元素包括：所述多个数据元素中与所述时间点相对应的数据元素，以及所述其他多个数据元素中与所述时间点相对应的其他数据元素；
执行所述RNN以将所述按时间顺序的数据子集转换为所述RNN输出包括使用所述RNN来处理所述输入；
所述RNN输出对应于所述RNN中的中间递归层的单个隐藏状态，
所述单个隐藏状态对应于所述多个时间点中的单个时间点；以及
确定所述集成的输出包括使用第二集成神经网络处理所述静态数据集成的输出和所述RNN输出。
28.根据权利要求20至23中任一项所述的方法，其中：
所述多结构数据集包括：
另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集包括与所述多个时间点相对应的其他多个数据元素；以及
另一个静态数据子集，所述另一个静态数据子集具有与所述静态数据子集不同的数据类型或数据结构；
所述动作进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；
生成输入，对于所述多个时间点中的每个时间点，所述输入包括连接的数据元素，所述连接的数据元素包括：所述多个数据元素中与所述时间点相对应的数据元素，以及所述其他多个数据元素中与所述时间点相对应的其他数据元素；
执行所述RNN以将所述按时间顺序的数据子集转换为所述RNN输出包括使用所述RNN来处理所述输入；
所述RNN输出对应于所述RNN中的多个隐藏状态，所述多个时间点中的每个时间点对应于所述多个隐藏状态中的隐藏状态；以及
确定所述集成的输出包括使用第二集成神经网络处理静态数据集成输出和所述RNN输出。
29.根据权利要求20至23中任一项所述的方法，其中：
所述多结构数据集包括：
另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集具有另一种按时间顺序的结构在于其他按时间顺序的数据子集包括与其他多个时间点相对应的其他多个数据元素，所述其他多个时间点不同于所述多个时间点；以及
另一个静态数据子集，所述另一个静态数据子集具有与所述静态数据子集不同的数据类型或数据结构；
所述动作进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；
执行另一个RNN以将所述其他按时间顺序的数据子集转换为另一个RNN输出，所述RNN独立于其他RNN来训练和独立地执行，所述RNN输出包括所述RNN中的中间递归层的单个隐藏状态，所述单个隐藏状态对应于所述多个时间点中的单个时间点，其他RNN输出包括在所述其他RNN中的另一个中间递归层的另一个单个隐藏状态，其他单个隐藏状态对应于所述其他多个时间点中的另一个单个时间点；以及
连接所述RNN输出和所述其他RNN输出；
其中确定所述集成的输出包括使用第二集成神经网络处理所述静态数据集成的输出和连接的输出。
30.根据权利要求20至23中任一项所述的方法，其中：
所述多结构数据集包括：
另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集具有另一种按时间顺序的结构在于其他按时间顺序的数据子集包括与其他多个时间点相对应的其他多个数据元素，所述其他多个时间点不同于所述多个时间点；以及
另一个静态数据子集，所述另一个静态数据子集具有与所述静态数据子集不同的数据类型或数据结构；
所述动作进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；
执行另一个RNN以将所述其他按时间顺序的数据子集转换为另一个RNN输出，所述RNN独立于其他RNN来训练和独立地执行，所述RNN输出包括所述RNN中的中间递归层的多个隐藏状态，所述多个隐藏状态对应于所述多个时间点，所述其他RNN输出包括所述其他RNN中的另一个中间递归层的其他多个隐藏状态，所述其他多个隐藏状态对应于所述其他多个时间点；以及
连接所述RNN输出和所述其他RNN输出；
其中确定所述集成的输出包括使用第二集成神经网络处理所述静态数据集成的输出和连接的输出。
31.根据权利要求20至23中任一项所述的系统，其中所述动作进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；以及
连接所述RNN输出和所述静态数据集成的输出；
其中确定所述集成的输出包括执行第二集成神经网络以将连接的输出转换为所述集成的输出。
32.根据权利要求31所述的系统，其中所述动作进一步包括：
使用优化技术同时训练所述第一集成神经网络、所述第二集成神经网络和所述RNN，其中执行所述RNN包括执行经训练的RNN，其中执行所述第一集成神经网络包括执行经训练的第一集成神经网络，并且其中执行所述第二集成神经网络包括执行经训练的第二集成神经网络。
33.根据权利要求20至32中任一项所述的系统，其中所述动作进一步包括：
存取域特定数据，所述域特定数据包括训练数据元素的集合和标签的集合，其中所述训练数据元素的集合中的每个训练数据元素对应于所述标签的集合中的标签；以及
使用所述域特定数据训练所述FFNN。
34.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行包括以下的动作：
存取与实体相对应的多结构数据集，所述多结构数据集包括按时间顺序的数据子集和静态数据子集，所述按时间顺序的数据子集具有按时间顺序的结构在于所述按时间顺序的数据子集包括与多个时间点相对应的多个数据元素，并且所述静态数据子集具有静态结构；
执行RNN以将所述按时间顺序的数据子集转换为RNN输出；
执行FFNN以将所述静态数据子集转换为FFNN输出，其中不使用所述RNN并且不使用具有所述按时间顺序的结构的训练数据来训练所述FFNN；
基于所述RNN输出确定集成的输出，其中所述RNN输出和所述集成的输出中的至少一者取决于所述FFNN输出，并且其中所述集成的输出对应于对用特定治疗来治疗所述实体的功效的预测；以及
输出所述集成的输出。
35.根据权利要求34所述的计算机程序产品，其中：
所述静态数据子集包括图像数据和非图像数据；
用于转换所述图像数据所执行的所述FFNN包括卷积神经网络；并且
用于转换所述非图像数据所执行的所述FFNN包括多层感知机神经网络。
36.根据权利要求34或权利要求35所述的计算机程序产品，其中：
所述按时间顺序的数据子集包括图像数据；
用于转换所述图像数据所执行的所述RNN包括LSTM卷积神经网络；
所述多结构数据集包括另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集包括非图像数据；
所述动作进一步包括执行LSTM神经网络以将所述非图像数据转换为另一个RNN输出；以及
所述集成的输出进一步基于其他RNN输出。
37.根据权利要求34至36中任一项所述的计算机程序产品，其中：
所述RNN输出包括在所述RNN中的中间递归层的至少一个隐藏状态；
所述多结构数据集包括另一个静态数据子集，所述另一个静态数据子集包括非图像数据；
所述动作进一步包括执行另一个FFNN以将其他静态数据子集转换为另一个FFNN输出；以及
其他FFNN输出包括在其他FFNN中的中间隐藏层处生成的一组中间值。
38.根据权利要求34至37中任一项所述的计算机程序产品，其中确定所述集成的输出包括执行集成FFNN以将所述FFNN输出和所述RNN输出转换为所述集成的输出，其中不使用集成的FFNN来训练所述FFNN和所述RNN中的每一者。
39.根据权利要求34至36中任一项所述的计算机程序产品，其中所述动作进一步包括：
将所述FFNN输出与来自所述按时间顺序的数据子集的所述多个数据元素中的数据元素连接，所述数据元素对应于所述多个时间点中的最早时间点以产生连接的数据；
其中执行所述RNN以将所述按时间顺序的数据子集转换为所述RNN输出包括使用所述RNN处理输入，所述输入包括：
所述连接的数据；以及
对于与所述多个时间点中在所述最早时间点之后的时间点相对应的所述多个数据元素中每个其他数据元素，所述其他数据元素；并且
其中所述集成的输出包括所述RNN输出。
40.根据权利要求34至36中任一项所述的计算机程序产品，其中所述动作进一步包括：
生成输入，对于来自所述按时间顺序的数据子集的所述多个数据元素中的每个数据元素，所述输入包括所述数据元素和所述FFNN输出的连接；
其中执行所述RNN以将所述按时间顺序的数据子集转换为所述RNN输出包括使用所述RNN来处理所述输入；并且
其中所述集成输出的包括所述RNN输出。
41.根据权利要求34至36中任一项所述的计算机程序产品，其中：
所述多结构数据集包括：
另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集包括与所述多个时间点相对应的其他多个数据元素；以及
另一个静态数据子集，所述另一个静态数据子集具有与所述静态数据子集不同的数据类型或数据结构；
所述动作进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；以及
生成输入，对于所述多个时间点中的每个时间点，所述输入包括连接的数据元素，所述连接的数据元素包括：所述多个数据元素中与所述时间点相对应的数据元素，以及所述其他多个数据元素中与所述时间点相对应的其他数据元素；
执行所述RNN以将所述按时间顺序的数据子集转换为所述RNN输出包括使用所述RNN来处理所述输入；
所述RNN输出对应于所述RNN中的中间递归层的单个隐藏状态，所述单个隐藏状态对应于所述多个时间点中的单个时间点；以及
确定所述集成的输出包括使用第二集成神经网络处理所述静态数据集成的输出和所述RNN输出。
42.根据权利要求34至36中任一项所述的计算机程序产品，其中：
所述多结构数据集包括：
另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集包括与所述多个时间点相对应的其他多个数据元素；以及
另一个静态数据子集，所述另一个静态数据子集具有与所述静态数据子集不同的数据类型或数据结构；
所述动作进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；
生成输入，对于所述多个时间点中的每个时间点，所述输入包括连接的数据元素，所述连接的数据元素包括：所述多个数据元素中与所述时间点相对应的数据元素，以及所述其他多个数据元素中与所述时间点相对应的其他数据元素；
执行所述RNN以将所述按时间顺序的数据子集转换为所述RNN输出包括使用所述RNN来处理所述输入；
所述RNN输出对应于所述RNN中的多个隐藏状态，所述多个时间点中的每个时间点对应于所述多个隐藏状态中的隐藏状态；以及
确定所述集成的输出包括使用第二集成神经网络处理静态数据集成输出和所述RNN输出。
43.根据权利要求34至36中任一项所述的计算机程序产品，其中：
所述多结构数据集包括：
另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集具有另一种按时间顺序的结构在于其他按时间顺序的数据子集包括与其他多个时间点相对应的其他多个数据元素，所述其他多个时间点不同于所述多个时间点；以及
另一个静态数据子集，所述另一个静态数据子集具有与所述静态数据子集不同的数据类型或数据结构；
所述动作进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；
执行另一个RNN以将所述其他按时间顺序的数据子集转换为另一个RNN输出，所述RNN独立于其他RNN来训练和独立地执行，所述RNN输出包括所述RNN中的中间递归层的单个隐藏状态，所述单个隐藏状态对应于所述多个时间点中的单个时间点，其他RNN输出包括在所述其他RNN中的另一个中间递归层的另一个单个隐藏状态，其他单个隐藏状态对应于所述其他多个时间点中的另一个单个时间点；以及
连接所述RNN输出和所述其他RNN输出；
其中确定所述集成的输出包括使用第二集成神经网络处理所述静态数据集成的输出和连接的输出。
44.根据权利要求34至36中任一项所述的计算机程序产品，其中：
所述多结构数据集包括：
另一个按时间顺序的数据子集，所述另一个按时间顺序的数据子集具有另一种按时间顺序的结构在于其他按时间顺序的数据子集包括与其他多个时间点相对应的其他多个数据元素，所述其他多个时间点不同于所述多个时间点；以及
另一个静态数据子集，所述另一个静态数据子集具有与所述静态数据子集不同的数据类型或数据结构；
所述动作进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；
执行另一个RNN以将所述其他按时间顺序的数据子集转换为另一个RNN输出，所述RNN独立于其他RNN来训练和独立地执行，所述RNN输出包括所述RNN中的中间递归层的多个隐藏状态，所述多个隐藏状态对应于所述多个时间点，所述其他RNN输出包括所述其他RNN中的另一个中间递归层的其他多个隐藏状态，所述其他多个隐藏状态对应于所述其他多个时间点；以及
连接所述RNN输出和所述其他RNN输出；
其中确定所述集成的输出包括使用第二集成神经网络处理所述静态数据集成的输出和连接的输出。
45.根据权利要求34至36中任一项所述的计算机程序产品，其中所述动作进一步包括：
执行另一个FFNN以将所述其他静态数据子集转换为另一个FFNN输出；
执行第一集成神经网络以将所述FFNN输出和所述其他FFNN输出转换为静态数据集成的输出；以及
连接所述RNN输出和所述静态数据集成的输出；
其中确定所述集成的输出包括执行第二集成神经网络以将连接的输出转换为所述集成的输出。
46.根据权利要求45所述的计算机程序产品，其中所述动作进一步包括：
使用优化技术同时训练所述第一集成神经网络、所述第二集成神经网络和所述RNN，其中执行所述RNN包括执行经训练的RNN，其中执行所述第一集成神经网络包括执行经训练的第一集成神经网络，并且其中执行所述第二集成神经网络包括执行经训练的第二集成神经网络。
47.根据权利要求34至46中任一项所述的计算机程序产品，其中所述动作进一步包括：
存取域特定数据，所述域特定数据包括训练数据元素的集合和标签的集合，其中所述训练数据元素的集合中的每个训练数据元素对应于所述标签的集合中的标签；以及
使用所述域特定数据训练所述FFNN。
48.一种方法，其包括：
接收对应于实体的多结构数据集，所述多结构数据集包括按时间顺序的数据子集和静态数据子集，所述按时间顺序的数据子集具有按时间顺序的结构在于所述按时间顺序的数据子集包括与多个时间点相对应的多个数据元素，并且所述静态数据子集具有静态结构；
执行递归神经网络(RNN)以将所述按时间顺序的数据子集转换为RNN输出；
执行前馈神经网络(FFNN)以将所述静态数据子集转换为FFNN输出，其中不使用所述RNN并且不使用具有所述按时间顺序的结构的训练数据来训练所述FFNN；
基于所述RNN输出确定集成的输出，其中所述RNN输出和所述集成的输出中的至少一者取决于所述FFNN输出，并且其中所述集成的输出对应于对用特定治疗来治疗所述实体的功效的预测；以及
输出所述集成的输出；
基于所述集成的输出确定以所述特定治疗来治疗受试者；以及
为所述受试者开具所述特定治疗的处方。
CN202080040205.6A 2019-05-29 2020-05-27 用于确定协议配置的集成神经网络 Pending CN113924579A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962854089P 2019-05-29 2019-05-29
US62/854,089 2019-05-29
PCT/US2020/034684 WO2020243163A1 (en) 2019-05-29 2020-05-27 Integrated neural networks for determining protocol configurations

Publications (1)

Publication Number Publication Date
CN113924579A true CN113924579A (zh) 2022-01-11

Family

ID=71094843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080040205.6A Pending CN113924579A (zh) 2019-05-29 2020-05-27 用于确定协议配置的集成神经网络

Country Status (5)

Country Link
US (1) US20200380339A1 (zh)
EP (1) EP3977360A1 (zh)
JP (1) JP2022534567A (zh)
CN (1) CN113924579A (zh)
WO (1) WO2020243163A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358157A (zh) * 2022-10-20 2022-11-18 正大农业科学研究有限公司 个体窝产活仔数的预测分析方法、装置及电子设备
CN118068820A (zh) * 2024-04-19 2024-05-24 四川航天电液控制有限公司 一种液压支架控制器智能故障诊断方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11657271B2 (en) 2019-10-20 2023-05-23 International Business Machines Corporation Game-theoretic frameworks for deep neural network rationalization
US11551000B2 (en) * 2019-10-20 2023-01-10 International Business Machines Corporation Introspective extraction and complement control
JP2021186313A (ja) * 2020-06-01 2021-12-13 キヤノン株式会社 超音波診断装置の故障判定装置、故障判定方法及びプログラム
US20220059221A1 (en) * 2020-08-24 2022-02-24 Nvidia Corporation Machine-learning techniques for oxygen therapy prediction using medical imaging data and clinical metadata
US11830586B2 (en) * 2020-12-08 2023-11-28 Kyndryl, Inc. Enhancement of patient outcome forecasting
CN115222746A (zh) * 2022-08-16 2022-10-21 浙江柏视医疗科技有限公司 一种基于时空融合的多任务心脏亚结构分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202017104953U1 (de) * 2016-08-18 2017-12-04 Google Inc. Verarbeiten von Fundusbildern unter Verwendung von Maschinenlernmodellen
US11144825B2 (en) * 2016-12-01 2021-10-12 University Of Southern California Interpretable deep learning framework for mining and predictive modeling of health care data
US20180253637A1 (en) * 2017-03-01 2018-09-06 Microsoft Technology Licensing, Llc Churn prediction using static and dynamic features

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358157A (zh) * 2022-10-20 2022-11-18 正大农业科学研究有限公司 个体窝产活仔数的预测分析方法、装置及电子设备
CN115358157B (zh) * 2022-10-20 2023-02-28 正大农业科学研究有限公司 个体窝产活仔数的预测分析方法、装置及电子设备
CN118068820A (zh) * 2024-04-19 2024-05-24 四川航天电液控制有限公司 一种液压支架控制器智能故障诊断方法

Also Published As

Publication number Publication date
US20200380339A1 (en) 2020-12-03
WO2020243163A1 (en) 2020-12-03
EP3977360A1 (en) 2022-04-06
JP2022534567A (ja) 2022-08-02

Similar Documents

Publication Publication Date Title
Pan et al. Enhanced deep learning assisted convolutional neural network for heart disease prediction on the internet of medical things platform
CN113924579A (zh) 用于确定协议配置的集成神经网络
Chen Design of accurate classification of COVID-19 disease in X-ray images using deep learning approach
Jerlin Rubini et al. Efficient classification of chronic kidney disease by using multi‐kernel support vector machine and fruit fly optimization algorithm
Tang et al. A novel machine learning technique for computer-aided diagnosis
Sandhiya et al. An effective disease prediction system using incremental feature selection and temporal convolutional neural network
Mohammed et al. Novel Crow Swarm Optimization Algorithm and Selection Approach for Optimal Deep Learning COVID‐19 Diagnostic Model
CN111612278A (zh) 生命状态预测方法、装置、电子设备及存储介质
Wu et al. Combining attention-based multiple instance learning and gaussian processes for CT hemorrhage detection
Pradhan et al. Optimizing CNN‐LSTM hybrid classifier using HCA for biomedical image classification
Gombolay et al. Review of machine learning and artificial intelligence (ML/AI) for the pediatric neurologist
Chitra et al. Prediction of heart disease and chronic kidney disease based on internet of things using RNN algorithm
Soundrapandiyan et al. AI-based wavelet and stacked deep learning architecture for detecting coronavirus (COVID-19) from chest X-ray images
CN114611879A (zh) 一种基于多任务学习的临床风险预测系统
Henry Deep learning algorithms for predicting the onset of lung cancer
JP2024513618A (ja) 感染症及び敗血症の個別化された予測のための方法及びシステム
Sharma et al. Classification of heart disease from MRI images using convolutional neural network
Rajeshwari et al. Skin cancer severity prediction model based on modified deep neural network with horse herd optimization
Chaki Deep learning in healthcare: applications, challenges, and opportunities
Çiğ et al. Enhanced Disease Detection Using Contrast Limited Adaptive Histogram Equalization and Multi-Objective Cuckoo Search in Deep Learning
Rajaraman et al. Uncovering the effects of model initialization on deep model generalization: A study with adult and pediatric chest X-ray images
Sharma et al. AI and GNN model for predictive analytics on patient data and its usefulness in digital healthcare technologies
Rayan et al. Deep learning for health and medicine
Shekhar et al. Deep Learning Framework for Forecasting Diabetic Retinopathy: An Innovative Approach
Sharma et al. Metaheuristics Algorithms for Complex Disease Prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination