CN114175052A - 残差半循环神经网络 - Google Patents
残差半循环神经网络 Download PDFInfo
- Publication number
- CN114175052A CN114175052A CN202080036830.3A CN202080036830A CN114175052A CN 114175052 A CN114175052 A CN 114175052A CN 202080036830 A CN202080036830 A CN 202080036830A CN 114175052 A CN114175052 A CN 114175052A
- Authority
- CN
- China
- Prior art keywords
- rnn
- output
- mlp
- neural network
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000008569 process Effects 0.000 claims abstract description 33
- 230000000306 recurrent effect Effects 0.000 claims abstract description 14
- 239000003814 drug Substances 0.000 claims description 25
- 229940079593 drug Drugs 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 8
- 230000006403 short-term memory Effects 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 description 24
- 238000012549 training Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 210000004205 output neuron Anatomy 0.000 description 8
- 210000002364 input neuron Anatomy 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000029142 excretion Effects 0.000 description 2
- 230000004060 metabolic process Effects 0.000 description 2
- 241000288105 Grus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
- G01N33/5008—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Immunology (AREA)
- Urology & Nephrology (AREA)
- Hematology (AREA)
- Chemical & Material Sciences (AREA)
- Cell Biology (AREA)
- Food Science & Technology (AREA)
- Toxicology (AREA)
- Tropical Medicine & Parasitology (AREA)
- Microbiology (AREA)
- Neurology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biotechnology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
残差半循环神经网络(RSNN)可以被配置成接收时不变输入和时变输入数据以生成一个或多个时间序列预测。所述时不变输入可以由所述RSNN的多层感知器处理。所述多层感知器的输出可以用作所述RSNN的循环神经网络单元的初始状态。循环神经网络单元还可以接收时不变输入，并且利用所述时不变输入处理所述时不变输入以生成输出。所述多层感知器和所述循环神经网络单元的输出可以被组合以生成所述一个或多个时间序列预测。
Description
相关申请的交叉引用
本申请要求2019年3月27日提交的美国临时专利申请第62/824,895号和2019年5月13日提交的欧洲专利申请第19305611.6号的优先权，其全部内容通过引用结合于此。
技术领域
本公开涉及人工神经网络。
背景技术
人工神经网络(ANN)是一定程度上受到生物神经网络启发的计算系统。ANN是一个或多个机器学习算法协同工作并处理复杂数据输入的框架。ANN可以学习执行任务，例如图像识别，其中ANN可以学习分辨图像中的某些特征(例如，动物、车辆、路标等)。ANN通常包括一些被称为人工神经元的连接节点。每一个连接都可以将信号从一个人工神经元传输到另一个。接收到信号的人工神经元可以对信号进行处理，然后将结果输出给与其相连的其他人工神经元。
在典型的实施方式中，人工神经元之间的连接处的信号(该连接有时被称为边缘)是实数，并且每个人工神经元的输出是根据其输入之和的非线性函数来计算的。人工神经元和边缘通常具有权重，该权重在训练ANN时可以调整。ANN已被用于各种任务，如计算机视觉、语音识别、机器翻译和医学诊断。最近，ANN已被用作预测模型，用于基于某些输入来预测结果。例如，ANN可用于药物代谢动力学建模，预测药物将如何与人体相互作用(例如，药物吸收、分布、代谢和排泄的时间过程)。
发明内容
本公开的至少一个方面提供了一种神经网络。所述神经网络包括多层感知器(MLP)，该多层感知器被配置成接收第一类型的外部数据并处理该第一类型的外部数据以生成MLP输出。所述神经网络包括循环神经网络(RNN)单元。RNN单元被配置成接收MLP输出的至少一部分的和第二类型的外部数据。RNN单元被配置成处理MLP输出的至少一部分和至少第二类型的外部数据，以生成RNN输出。MLP和RNN单元被共同配置成至少部分地基于RNN输出和MLP输出生成一个或多个时间序列预测。
MLP可以包括输入层、至少一个隐藏层、和输出层。RNN单元可以包括至少一个RNN隐藏层。RNN单元可以包括长短期记忆RNN单元。RNN单元可以包括常规RNN单元。RNN单元可以包括门控循环单元。
第一类型的外部数据可以包括时不变数据。第二类型的外部数据可以包括时变数据。
神经网络可以被配置成将MLP输出与RNN输出组合以生成残差输出。一个或多个时间序列预测可以至少部分地基于残差输出生成。一个或多个时间序列预测可以包括在施用一剂量的药物后作为时间的函数的血浆中药物的浓度值。
本公开的至少一个其他方面提供了一种方法。所述方法包括由MLP接收第一类型的外部数据。所述方法包括由MLP处理第一类型的外部数据以生成MLP输出。所述方法包括由RNN单元接收MLP输出的至少一部分和第二类型的外部数据。所述方法包括由RNN单元处理MLP输出的至少一部分和第二类型的外部数据以生成RNN输出。所述方法包括至少部分地基于RNN输出和MLP输出生成一个或多个时间序列预测。
第一类型的外部数据可以包括时不变数据。第二类型的外部数据可以包括时变数据。
该方法可以进一步包括将MLP输出与RNN输出组合以生成残差输出。一个或多个时间序列预测可以至少部分地基于残差输出生成。一个或多个时间序列预测可以包括在施用一剂量的药物后作为时间的函数的血浆中药物的浓度值。
RNN单元可以包括长短期记忆RNN单元。RNN单元可以包括常规RNN单元。RNN单元可以包括门控循环单元。
本公开的实施方式可以包括一个或多个以下优点。与传统神经网络(例如循环神经网络和卷积神经网络)相比，所描述的神经网络可以以计算高效的方式处理时变数据和时不变数据，以生成精确的时间序列预测。与传统神经网络相比，特定神经网络层的输出可以与连续神经网络层的输出组合以提高预测精度。与传统神经网络相比，所描述的神经网络可以更好地捕捉时变数据和时不变数据之间的关系，以及这种关系如何影响最终的时间序列预测。
这些和其他方面、特征和实施方式可以被表达为用于执行功能的方法、装置、系统、部件、程序产品、手段或步骤，以及其他方式。
从包括权利要求在内的以下描述中，这些和其他方面、特征和实施方式将变得显而易见。
附图说明
图1示出了根据本公开的一个或多个实施方式的描绘残差半循环神经网络的图表。
图2A示出了根据本公开的一个或多个实施方式的描绘循环神经网络单元的图表。
图2B示出了根据本公开的一个或多个实施方式的描绘展开的循环神经网络单元的图表。
图3是描绘根据本公开的一个或多个实施方式的残差半循环神经网络的架构的图示。
图4是描绘根据本公开的一个或多个实施方式使用时变数据和时不变数据生成一个或多个时间序列预测的方法的流程图。
具体实施方式
使用人工神经网络(ANN)作为预测模型来基于一些外部数据预测未来结果正在变得越来越流行。例如，药物代谢动力学(PK)建模是药物开发的关键步骤，它模拟药物如何与人体相互作用(例如，药物吸收、分布、代谢和排泄的时间过程)。在一些药物代谢动力学建模方法中，使用时不变数据(例如患者的基线特征(例如，年龄、性别等))和时变数据(例如患者体内药物的剂量水平)生成PK曲线，该曲线显示了药物在一段时间间隔内在血浆中的浓度。传统地，从流体动力学领域借用的微分方程被用来模拟药物和人体之间的相互作用。微分方程可能有助于描述接受药物剂量后人体内发生的潜在物理过程，但是，微分方程可能没有考虑到患者之间的所有异质性。因此，通过使用这些微分方程获得的单个患者的预测可能是不精确的，而在群体层面的预测可能是精确的。
提高药物代谢动力学建模预测精度的一般方法通常包括使用前馈神经网络(例如，卷积神经网络)。然而，尽管与传统的微分方程方法相比提高了预测精度，但前馈神经网络可能无法解释同一个人在多个时间点的药物代谢动力学测量之间的相关性。这是因为传统的前馈网络通常只在一个方向上处理信息(例如，从输入层，通过隐藏层，到输出层)，并且因此前馈网络只考虑当前输入，没有任何时间顺序的概念。
循环神经网络(RNN)已被证明可以更好地处理时变数据，因为这些神经网络包括具有连接的节点，这些连接沿着时间序列形成有向图，允许RNN使用内部存储器处理输入序列。然而，当使用传统的RNN来处理时不变数据时，该RNN可能以类似于处理时变数据的方式来处理时不变数据。这可能会产生大量不必要的重复数据并且导致较差的预测性能，尤其是在使用小样本量时。因此，期望一种人工神经网络，与传统方法相比，其被适配成有效地处理时不变数据和时变数据来以更高的精度生成基于时间的预测。
本公开提供了残差半循环神经网络，其被配置成以有效的方式处理时不变数据和时变数据，与传统的RNN和前馈网络相比，该残差半循环神经网络提高了预测精度。残差半循环神经网络包括用于接收和处理时不变数据的多层感知器(MLP)。残差半循环神经网络还包括用于处理时变数据的RNN单元。来自MLP和RNN单元的输出被神经网络使用以生成一个或多个时间序列预测。例如，如果用于PK建模，与患者基线特征相关的数据被提供给MLP，与在序列时间点给予患者的药物剂量水平相关的数据被提供给RNN。MLP的输出可以用作RNN的初始状态。RNN和MLP的输出还可以被组合以生成PK曲线，该曲线显示了患者血浆中药物浓度与单剂药物施用给患者后的时间之间的关系。
在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本公开的透彻理解。然而，显而易见的是，本公开可以在没有这些具体细节的情况下实施。在其他实例中，众所周知的结构和装置以框图形式示出，以避免不必要地模糊本公开。
在附图中，为了便于描述，示出了示意性元素的特定排列或排序，例如表示装置、模块、指令块和数据元素的排列或排序。然而，本领域的技术人员应该理解，附图中示意性元素的特定顺序或排列并不意味着需要特定的处理顺序或过程分离。进一步，在附图中包括示意性元素并不意味着在所有实施方式中都需要这样的元素，或者由这样的元素表示的特征在一些实施方式中不可以包括在其他元素中或者不可以与其他元素组合。
进一步，在附图中，连接元素，例如实线或虚线或箭头，用于说明两个或多个其他示意性元素之间的连接、关系或关联，缺少任何这样的连接元素并不意味着不存在连接、关系或关联。换句话说，元素之间的一些连接、关系或关联没有在附图中示出，以免混淆本公开。此外，为了便于图示，单个连接元素用于表示元素之间的多个连接、关系或关联。例如，在连接元素代表信号、数据或指令的通信的情况下，本领域技术人员应该理解，这种元素代表一个或多个信号路径(例如，总线)，如可能需要的，以影响通信。
现在将详细参考实施方式，其示例在附图中示出。在以下详细描述中，阐述了许多具体细节，以便提供对各种描述的实施方式的透彻理解。然而，对于本领域普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实施所描述的各种实施方式。在其他实例中，没有详细描述众所周知的方法、步骤、部件、电路和网络，以免不必要地模糊实施方式的各个方面。
下文描述了几个特征，每个特征可以彼此独立使用或者与其他特征的任意组合一起使用。然而，任何单个的特征可能不能解决上文讨论的任何问题，或者可能只解决上文讨论的问题之一。上文讨论的一些问题可能无法通过本文描述的任何特征完全解决。尽管提供了标题，与特定标题相关但未在具有该标题的部分中找到的数据也可以在本说明书的其他地方找到。
如本文所用，结合给定神经网络层/单元使用的术语处理指的是将对应每个神经元的学习权重/激活函数应用于输入数据以在每个神经元产生输出的已知神经网络过程，所述每个神经元包括在定神经网络层/单元内。如本领域中已知的，可以通过使用训练数据集来教导神经网络将数据集的某些特征与某些结果相关联，来调整/调节学习权重/激活函数。
系统概述：
图1示出了描绘根据本公开的一个或多个实施方式的残差半循环神经网络100的图表。残差半循环神经网络(RSNN 100)包括MLP 110和RNN单元120。MLP 110包括输入层111、隐藏层112、和输出层113。RNN单元120包括RNN隐藏层122和RNN输出层123。MLP 110通信耦合到RNN单元120。
MLP 110的输入层111包括第一输入神经元111a和第二输入神经元111b。MLP 110的隐藏层112包括第一隐藏神经元112a、第二隐藏神经元112b和第三隐藏神经元112c。MLP110的输出层113包括第一输出神经元113a和第二输出神经元113b。MLP 110的层111、112、113是全连接的，意味着给定层的每个神经元连接到连续层中的每个神经元。例如，第一输出神经元113a连接到第一隐藏神经元112a、第二隐藏神经元112b和第三隐藏神经元112c。
虽然MLP 110包括一个隐藏层112，但是在一些实施方式中，MLP 110包括更多的隐藏层(例如，两个隐藏层、三个隐藏层等)。层111、112和113中的每一个可以包括示出的实施方式中所示的神经元数量更多或更少的神经元。
输入层111被配置成接收时不变数据并将时不变数据发送到隐藏层112。时不变数据的例子可以包括与一个或多个患者的基线特征相关的值，例如患者的年龄和/或性别。隐藏层112的隐藏节点112a、112b、112c中的每一个接收时不变数据并处理时不变数据以生成输出。隐藏层112的隐藏节点112a、112b、112c中的每一个的输出被发送到输出节点113a、113b中的每一个。输出节点113a、113b使用它们的激活函数来处理接收到的输出，以生成MLP输出。
MLP 110将MLP输出发送到RNN单元120。RNN隐藏层122接收MLP输出。这样，MLP输出被用作RNN单元120的初始状态。RNN隐藏层122还被配置成接收时变输入数据。如之后将参考图3更详细解释的，RNN单元120被配置成循序处理接收的时变数据，同时使用来自MLP110的MLP输出作为初始状态来产生一个或多个时间序列预测。例如，MLP输出可以由处理与患者基线特征相关联的输入数据产生，并且时不变数据可以是注射到患者体内的药物的累积量的序列。在这种实例中，RNN单元的输出(时间序列预测)可以是PK曲线。在一些实施方式中，RSNN 100被配置成将MLP 110的输出加到RNN单元120的输出上，以生成时间序列预测。
尽管示出为具有一个隐藏层122，但是在一些实施方式中，RNN单元120具有额外的RNN隐藏层。在这种实例中，MLP 110可以被配置成将其输出提供给一个或多个额外的RNN隐藏层。在一些实施方式中，RSNN 100包括在MLP单元110和RNN单元120之间的额外的全连接层。在这些实例中，MLP 110可以被配置成将其输出提供给一个或多个额外的全连接层。额外的RNN隐藏层和全连接层的数量可以基于处理需求、效率因素和实际考虑，例如正在处理的数据的类型和数量。
图2A示出了描绘根据本公开的一个或多个实施方式的RNN单元200的图表。RNN单元200包括RNN输入层210、RNN隐藏层211和RNN输出层212。RNN输入层210包括第一RNN输入神经元210a、第二RNN输入神经元210b和第三RNN输入神经元210c。在一些实施方式中，RNN输入层210是前面MLP的输出层。
RNN隐藏层211被配置成接收来自RNN输入层210的输出。如先前参考图1所示，来自RNN输入层的输出可以用作RNN隐藏层211的初始状态。RNN隐藏层211包括第一循环神经元211a和第二循环神经元211b。RNN输入神经元210a、210b、210c中的每一个连接到循环神经元211a、211b中的每一个。循环神经元211a、211b中的每一个被配置成接收第一顺序数据点，处理第一顺序数据点以生成第一输出，并且使用第一输出来处理连续的顺序数据点。例如，假设顺序数据点是注射到患者体内的药物的累积量。第一顺序数据点可以是在第一时间的累积量，第二顺序数据点可以是在第一时间之后发生的第二时间的累积量。循环神经元211a、211b将接收第一顺序数据点，处理第一顺序数据点以生成第一输出，并且使用来自第一输出的信息来处理第二顺序数据点。
RNN输出层212被配置成接收来自隐藏层211的输出。RNN输出层212包括第一RNN输出神经元212a、第二RNN输出神经元212b、第三RNN输出神经元212c和第四RNN输出神经元212d。RNN输出神经元212a、212b、212c、212d中的每一个连接到循环神经元211a、211b中的每一个。
图2B示出了描绘根据本公开的一个或多个实施方式的展开的循环神经网络单元300的图表。如图所示，RNN隐藏层321被配置成接收和处理第一序列输入310a以生成第一输出(S1)。RNN隐藏层321还被配置成接收跟随第一序列输入310a的第二序列输入310b。RNN隐藏层321使用与第一序列输入310a相关联的输出(S1)来处理第二序列输入310b，以生成第二输出(S2)。类似地，RNN隐藏层321被配置成使用第二输出(S2)来处理跟随第二序列输入310b的第三序列输入310c，以生成第三输出(S3)。
图3是描绘根据本公开的一个或多个实施方式的RSNN 400的架构的图示。RSNN400包括MLP层410和RNN隐藏层422。MLP 410被配置成接收时不变输入410。例如，时不变输入410可以对应于患者的基线特征，例如年龄、性别等。MLP410处理不变输入410以生成MLP输出(S0)，其被用作RNN隐藏层422的初始状态。RNN隐藏层422接收第一序列输入420a，并使用MLP输出(S0)来处理第一序列输入420a，以生成第一RNN输出(S1)。RNN隐藏层422然后接收第二序列输入420b，并使用第一RNN输出(S1)来处理第二序列输入420b并生成第二RNN输出(S2)。RNN隐藏层422然后接收第三序列输入420c，并使用第二RNN输出(S2)来处理第三序列输入420c，以生成第三RNN输出(S3)。MLP输出(S0)然后与第三RNN输出(S3)相加430，以生成时间序列预测440。在一些实施方式中，序列输入对应于在给定时间注射的药物的累积量。在一些实施方式中，时间序列预测440是PK曲线。
虽然上文示出和描述的RNN单元是常规的RNN单元，但是也可以使用其他类型的RNN单元。在一些实施方式中，使用长短期记忆(LSTM)RNN单元。LSTM RNN单元指的是包括单元、输入门、输出门和遗忘门的RNN单元。单元在任意时间间隔内记忆数值，并且三个门控制信息流。已知在训练传统RNN时的某些实例中会遇到梯度消失问题，LSTM RNN单元可以最小化梯度消失问题的影响。在一些实施方式中，门控循环单元(GRU)被用作RNN单元。GRU是一个有遗忘门的LSTM，但是其参数比LSTM少，因为它没有输出门。与LSTM相比，GRU在处理相对较小的数据集时表现出更好的预测性能。
图4是描绘根据本公开的一个或多个实施方式的用于使用时变数据和时不变数据生成一个或多个时间序列预测的方法500的流程图。方法500包括由MLP接收第一类型的外部数据(框502)；由MLP处理第一类型的外部数据以生成MLP输出(框504)；由RNN单元接收MLP输出的至少一部分和第二类型的外部数据(框506)；由RNN单元处理MLP输出的至少一部分和第二类型外部数据，以生成RNN输出(框508)；以及至少部分地基于RNN输出和MLP输出生成一个或多个时间序列预测。
在框502处，RSNN的MLP接收第一类型的外部数据。在一些实施方式中，第一种类型的外部数据是时不变数据。例如，时不变数据可以是患者基线特征。
在框504处，MLP处理第一类型的外部数据以生成MLP输出，如先前参考图1所述。
在框506处，MLP的RNN单元从MLP接收MLP输出的至少一部分。RNN单元还接收第二类型的外部数据。在一些实施方式中，第二类型的外部数据是时变数据。例如，时变数据可以是注射到患者体内的药物累积量的序列。
在框508处，RNN单元处理接收的MLP输出的部分以及第二类型的外部数据，以生成RNN输出，如先前参考图3所述。
在框510处，RSNN至少部分地基于RNN输出和MLP输出生成一个或多个时间序列预测。在一些实施方式中，RSNN将RNN输出与MLP输出组合，以生成一个或多个时间序列预测。时间序列预测可以是例如PK曲线。
训练RSNN的示例方法：
现在将描述用于训练用于药物代谢动力学建模的RSNN的示例方法。使用输出和输入对
训练和验证RSNN作为药物代谢动力学模型
其中
是模型的输入。变量xi是代表第i个患者的p个基线特征的p维向量，并且di是分配给第i个患者的实际剂量水平的时间序列。变量yi代表来自模型的输出，即，观察到的第i个患者药物代谢动力学浓度的时间序列。使用来自训练集的患者迭代训练模型。在训练过程中，模型将其生成的预测ci与真值数据ci进行比较，并相应地更新其权重。
当训练模型时
对于给定的实例i，输入序列分别包括
和，
其中
不随时间变化，因为它们是时不变的基线特征。
基线特征被提供给RSNN的多层感知器(MLP)。然后，MLP的输出被用作RSNN的传统RNN单元的初始状态。时变数据(例如，分配给患者的剂量水平和给定时间)被提供给传统RNN单元。因为时不变输入可能比时变输入对PK模型的影响更大，所以实施了在用于处理时不变输入的MLP和堆叠在循环层顶部的全连接层之间的快捷连接。这种快捷连接提供了一种将包含在时不变输入中的信息直接传播到RNN单元的最终输出的方法。
数学上，RSNN的定义如下。对于给定的实例i，即时不变输入xi和时变输入序列
输出序列
通过下列各式获得
si0＝σ(Txi+c)， (1)
sit＝σ(Uzit+Wsi，t-1+b)，t＝1，...，Ti， (2)
其中第一等式(1)定义了MLP的全连接层。参数
和
是要训练的参数。
为了药物代谢动力学建模，使用关系zit＝dit。类似地，MLP可能包含多于一个全连接层。此外，当RNN单元中有一个以上的循环层时，仅第一个循环层、仅最后一个循环层或所有循环层的初始状态可能是MLP的输出。另外地，当有一个以上的全连接层堆叠在循环层的顶部时，MLP的输出可以提供给仅第一个全连接层、仅最后一个全连接层或所有全连接层。这些不同的设计决策可以被认为是超参数。
实验结果：
由65名患者组成的数据集被提供给使用门控循环神经网络(GRU)作为RNN单元的示例RSNN。对于每个患者，使用观察到的PK值序列(yi)，两个基线特征(xi)即年龄和性别，以及注射药物的累积量序列(di)。使用GRU连接数据集的RSNN的每个时间点的输入和输出，并且拟合训练集和验证集的结果(例如，PK曲线)。
RSNN模型精确地拟合了验证集中的所有PK曲线，包括在训练集中看到的两条峰值非常高的PK曲线。这表明，RSNN能够捕捉PK值和注射药物累积量之间的复杂非线性关系，以及基线特征。
在前面的描述中，已经参考许多具体细节描述了本公开的实施方式，这些细节可能因实施方式而异。因此，说明书和附图被认为是说明性的，而不是限制性的。本公开范围的唯一和排他的指标、以及申请人打算作为本公开范围的是本申请中以具体形式给出的权利要求的字面和等同范围，包括任何后续的更正。本文中对包含在权利要求中的术语的任何明确定义将决定权利要求中使用的术语的含义。此外，当我们在前面的描述或后面的权利要求中使用术语“进一步包括”时，这个短语后面的可以是附加的步骤或实体，或者前述步骤或实体的子步骤/子实体。
Claims (18)
1.一种神经网络，其包括：
多层感知器(MLP)，其被配置成接收第一类型的外部数据并处理所述第一类型的外部数据以生成MLP输出；和
循环神经网络(RNN)单元，其被配置成：
接收所述MLP输出的至少一部分和第二类型的外部数据；并且
处理所述MLP输出的至少一部分和所述至少第二类型的外部数据以生成RNN输出；
其中所述MLP和RNN单元被共同配置成至少部分地基于所述RNN输出和所述MLP输出生成一个或多个时间序列预测。
2.根据权利要求1所述的神经网络，其中所述MLP包括输入层、至少一个隐藏层和、输出层。
3.根据权利要求1至2中任一项所述的神经网络，其中所述RNN单元包括至少一个RNN隐藏层。
4.根据权利要求1-3中任一项所述的神经网络，其中所述第一类型的外部数据包括时不变数据。
5.根据权利要求1-4中任一项所述的神经网络，其中所述第二类型的外部数据包括时变数据。
6.根据权利要求1-5中任一项所述的神经网络，其中所述神经网络被配置成将所述MLP输出与所述RNN输出组合以生成残差输出，并且至少部分地基于所述残差输出生成所述一个或多个时间序列预测。
7.根据权利要求1-6中任一项所述的神经网络，其中所述RNN单元包括长短期记忆RNN单元。
8.根据权利要求1-7中任一项所述的神经网络，其中所述RNN单元包括常规RNN单元。
9.根据权利要求1-8中任一项所述的神经网络，其中所述RNN单元包括门控循环单元。
10.根据权利要求1-9中任一项所述的神经网络，其中所述一个或多个时间序列预测包括在施用一剂量的药物后作为时间的函数的血浆中所述药物的浓度值。
11.一种方法，其包括：
由多层感知器(MLP)接收第一类型的外部数据；
由所述MLP处理所述第一类型的外部数据以生成MLP输出；
由循环神经网络(RNN)单元接收所述MLP输出的至少一部分和第二类型的外部数据；
由所述RNN单元处理所述MLP输出的至少一部分和第二类型的外部数据以生成RNN输出；以及
至少部分地基于所述RNN输出和所述MLP输出生成一个或多个时间序列预测。
12.根据权利要求11所述的方法，其中所述第一类型的外部数据包括时不变数据。
13.根据权利要求11-12中任一项所述的方法，其中所述第二类型的外部数据包括时变数据。
14.根据权利要求11-13中任一项所述的方法，其进一步包括将所述MLP输出与所述RNN输出组合以生成残差输出，并且其中所述一个或多个时间序列预测至少部分地基于所述残差输出生成。
15.根据权利要求11-14中任一项所述的方法，其中所述RNN单元包括长短期记忆RNN单元。
16.根据权利要求11-15中任一项所述的方法，其中所述RNN单元包括常规RNN单元。
17.根据权利要求11-16中任一项所述的方法，其中所述RNN单元包括门控循环单元。
18.根据权利要求11-17中任一项所述的方法，其中所述一个或多个时间序列预测包括在施用一剂量的药物后作为时间的函数的血浆中所述药物的浓度值。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962824895P | 2019-03-27 | 2019-03-27 | |
| US62/824,895 | 2019-03-27 | ||
| EP19305611 | 2019-05-13 | ||
| EP19305611.6 | 2019-05-13 | ||
| PCT/US2020/024196 WO2020198132A1 (en) | 2019-03-27 | 2020-03-23 | Residual semi-recurrent neural networks |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114175052A true CN114175052A (zh) | 2022-03-11 |
Family
ID=70108189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080036830.3A Pending CN114175052A (zh) | 2019-03-27 | 2020-03-23 | 残差半循环神经网络 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11625589B2 (zh) |
| EP (1) | EP3948677A1 (zh) |
| JP (1) | JP7513631B2 (zh) |
| CN (1) | CN114175052A (zh) |
| WO (1) | WO2020198132A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114175052A (zh) * | 2019-03-27 | 2022-03-11 | 赛诺菲 | 残差半循环神经网络 |
| KR102497003B1 (ko) * | 2020-11-30 | 2023-02-06 | 재단법인대구경북과학기술원 | 약물 평가 방법 및 장치 |
| CN112561174B (zh) * | 2020-12-18 | 2023-05-02 | 西南交通大学 | 基于lstm和mlp的叠加神经网络预测地热产能方法 |
| WO2023285622A1 (en) * | 2021-07-15 | 2023-01-19 | F. Hoffmann-La Roche Ag | Prediction of pharmacokinetic curves |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5987444A (en) * | 1997-09-23 | 1999-11-16 | Lo; James Ting-Ho | Robust neutral systems |
| ATE258028T1 (de) * | 1998-05-13 | 2004-02-15 | Cygnus Therapeutic Systems | Signalverarbeitung zur messung von physiologischen analyten |
| US6658396B1 (en) * | 1999-11-29 | 2003-12-02 | Tang Sharon S | Neural network drug dosage estimation |
| JP4803212B2 (ja) | 2008-05-28 | 2011-10-26 | ソニー株式会社 | データ処理装置、データ処理方法、及びプログラム |
| WO2010019919A1 (en) * | 2008-08-14 | 2010-02-18 | University Of Toledo | Multifunctional neural network system and uses thereof for glycemic forecasting |
| EP3273373A1 (en) * | 2016-07-18 | 2018-01-24 | Fresenius Medical Care Deutschland GmbH | Drug dosing recommendation |
| JP6713903B2 (ja) | 2016-10-17 | 2020-06-24 | 日本電信電話株式会社 | 学習装置、学習方法および学習プログラム |
| CN110651310B (zh) | 2017-04-05 | 2023-09-08 | 卡内基梅隆大学 | 估计对象密度和/或流量的深度学习方法及相关方法和软件 |
| US20190354836A1 (en) * | 2018-05-17 | 2019-11-21 | International Business Machines Corporation | Dynamic discovery of dependencies among time series data using neural networks |
| US10930395B2 (en) * | 2018-11-23 | 2021-02-23 | Asheleigh Adeline Mowery | System for surgical decisions using deep learning |
| CN114175052A (zh) | 2019-03-27 | 2022-03-11 | 赛诺菲 | 残差半循环神经网络 |
-
2020
- 2020-03-23 CN CN202080036830.3A patent/CN114175052A/zh active Pending
- 2020-03-23 US US16/827,094 patent/US11625589B2/en active Active
- 2020-03-23 JP JP2021557323A patent/JP7513631B2/ja active Active
- 2020-03-23 EP EP20716154.8A patent/EP3948677A1/en active Pending
- 2020-03-23 WO PCT/US2020/024196 patent/WO2020198132A1/en unknown
-
2023
- 2023-03-07 US US18/179,890 patent/US11977972B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11977972B2 (en) | 2024-05-07 |
| JP2022526937A (ja) | 2022-05-27 |
| EP3948677A1 (en) | 2022-02-09 |
| US11625589B2 (en) | 2023-04-11 |
| JP7513631B2 (ja) | 2024-07-09 |
| WO2020198132A1 (en) | 2020-10-01 |
| US20200311527A1 (en) | 2020-10-01 |
| US20230222330A1 (en) | 2023-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114175052A (zh) | 残差半循环神经网络 | |
| Okut | Bayesian regularized neural networks for small n big p data | |
| CN107544904B (zh) | 一种基于深度cg-lstm神经网络的软件可靠性预测方法 | |
| CA3149229A1 (en) | Systems and methods for supplementing data with generative models | |
| CN108168577A (zh) | 基于bp神经网络的mems陀螺随机误差补偿方法 | |
| CN112381316A (zh) | 一种基于混合神经网络模型的机电设备健康状态预测方法 | |
| CN111445010A (zh) | 一种基于证据理论融合量子网络的配网电压趋势预警方法 | |
| Liu et al. | A theory for dynamic weighting in Monte Carlo computation | |
| Chernodub | Training Neural Networks for classification using the Extended Kalman Filter: A comparative study | |
| Chakroborty et al. | Calibrating the membership functions of the fuzzy inference system: instantiated by car-following data | |
| CN116171445A (zh) | 神经网络的在线训练 | |
| Musakulova et al. | Synthesis of the backpropagation error algorithm for a multilayer neural network with nonlinear synaptic inputs | |
| CN113298231A (zh) | 用于脉冲神经网络的图表示时空反向传播算法 | |
| Yangzhen et al. | A software reliability prediction model: Using improved long short term memory network | |
| Chen et al. | Approximate Bayesian neural network trained with ensemble Kalman filter | |
| CN115496947A (zh) | 一种基于脉冲神经网络的图像分类方法和装置 | |
| CN111582470B (zh) | 基于stdp的自适应非监督学习图像识别方法及系统 | |
| CN113569999A (zh) | 药品推荐模型的训练方法、装置、存储介质及计算机设备 | |
| CN114492758A (zh) | 使用逐层损失来训练神经网络 | |
| JPH02231670A (ja) | ニューラル・ネットワークの学習装置 | |
| CN112906291A (zh) | 一种基于神经网络的建模方法及装置 | |
| Gireesh et al. | Blood glucose prediction algorithms for hypoglycemic and/or hyperglycemic alerts | |
| KR20190125694A (ko) | 학습 및 추론 장치 및 그 방법 | |
| Chandra | A Survey on deep learning its architecture and various applications | |
| Selma et al. | Trajectory estimation and control of vehicle using neuro-fuzzy technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |