CN111489803A - 基于自回归模型的报告单编码模型生成方法、系统和设备 - Google Patents

基于自回归模型的报告单编码模型生成方法、系统和设备 Download PDF

Info

Publication number
CN111489803A
CN111489803A CN202010242597.6A CN202010242597A CN111489803A CN 111489803 A CN111489803 A CN 111489803A CN 202010242597 A CN202010242597 A CN 202010242597A CN 111489803 A CN111489803 A CN 111489803A
Authority
CN
China
Prior art keywords
model
initial training
training model
detection result
autoregressive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010242597.6A
Other languages
English (en)
Other versions
CN111489803B (zh
Inventor
陶然
罗秀萍
廖倩
田德伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Kingmed Diagnostics Co ltd
Original Assignee
Chongqing Kingmed Diagnostics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Kingmed Diagnostics Co ltd filed Critical Chongqing Kingmed Diagnostics Co ltd
Priority to CN202010242597.6A priority Critical patent/CN111489803B/zh
Publication of CN111489803A publication Critical patent/CN111489803A/zh
Application granted granted Critical
Publication of CN111489803B publication Critical patent/CN111489803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自回归模型的报告单编码模型生成方法，包括：初始化预先构建的初始训练模型中的网络参数；根据第一预设循环次数使得初始训练模型进入一次循坏迭代；在初始训练模型中输入训练数据，以对初始训练模型进行训练；计算预设的损失函数的损失值；通过反向传播算法将损失值用于修正网络参数；根据第二预设循环次数使得初始训练模型进入二次循坏迭代；对初始训练模型进行拆分，以在初始训练模型中拆分出编码器作为编码模型。本发明还公开了一种基于自回归模型的报告单编码模型生成系统和设备。采用本发明实施例生成的编码模型能够学习到非线性的特征表示，有利于后续任务算法的效果的提升，采用无监督算法，可以节省人力标注的成本。

Description

基于自回归模型的报告单编码模型生成方法、系统和设备
技术领域
本发明涉及数据编码领域，尤其涉及一种基于自回归模型的报告单编码模型生成方法、系统和设备。
背景技术
目前对应医疗检测报告单的结果分析主要针对某类报告单中的检测项目进行结果值的分析，检测的结果值跟统计的参考值进行对比，得到最终的报告单结果。报告单的大部分结果值经过大量试验和病人治疗期间的临床表现得到佐证，但检测报告单的结果值仍然还有很大的研究和挖掘的空间。在某特定的时间点上，同时通过多种检测方法对受检者进行检测，不仅可以提供检测结果的准确性，而且可以更加全面的了解生物体目前的状态，为临床治疗提供更加详细的病人身体数据。但随着检测项目和累计的报告单的数量的增多，带来的挑战也越来越大。主要原因是人的生物状态信息通过检测结果被投射到了一个高维的数据空间中，通过传统的统计学方法分析检测项目之间和临床表现之间的相关性变的越来越难，对于检测项目的特征工程效率低下，导致整个检测项目数据分析的过程漫长且昂贵，因此，亟待一个编码模型能够对检测项目数据进行编码，以提取检测报告的数据特征。
发明内容
本发明实施例的目的是提供一种基于自回归模型的报告单编码模型生成方法、系统和设备，生成的编码模型能够学习到非线性的特征表示，有利于后续任务算法的效果的提升，采用无监督算法，操作方便，可以节省大量人力标注的成本。
为实现上述目的，本发明实施例提供了一种基于自回归模型的报告单编码模型生成方法，包括：
初始化预先构建的初始训练模型中的网络参数；其中，所述初始训练模型为自回归模型，所述初始训练模型包括编码器，所述网络参数为编码器参数；
根据第一预设循环次数使得所述初始训练模型进入一次循坏迭代；
在所述初始训练模型中输入训练数据，以对所述初始训练模型进行训练；其中，所述训练数据包括与报告单中的检测项目对应的检测结果值，所述检测结果值按照预设顺序排列；
计算预设的损失函数的损失值；
通过反向传播算法将所述损失值用于修正所述网络参数；
根据第二预设循环次数使得所述初始训练模型进入二次循坏迭代；
对所述初始训练模型进行拆分，以在所述初始训练模型中拆分出所述编码器作为编码模型。
与现有技术相比，本发明实施例公开的基于自回归模型的报告单编码模型生成方法，首先，初始化预先构建的初始训练模型中的网络参数；然后，根据第一预设循环次数使得初始训练模型进入一次循坏迭代，在初始训练模型中输入训练数据，以对所述初始训练模型进行训练，利用初始训练模型计算预设损失函数的损失值，通过反向传播算法将损失值用于修正所述网络参数，根据第二预设循环次数使得所述初始训练模型进入二次循坏迭代；最后，对所述初始训练模型进行拆分，在所述初始训练模型拆分出所述编码器作为数据编码模型。本发明实施例所述的基于自回归模型的报告单编码模型生成方法生成的编码模型能够学习到非线性的特征表示，有利于后续任务算法的效果的提升，采用无监督算法，操作方便，可以节省大量人力标注的成本。
作为上述方案的改进，所述在所述初始训练模型中输入训练数据，以对所述初始训练模型进行训练，具体包括：
选取所述检测结果值中的一个数值作为锚点；
将排列位置位于所述锚点前的若干个检测结果值组成所述锚点的上下文信息；
将排列位置位于所述锚点后的检测结果值与所述上下文信息组成正例对，并将其他检测结果值与所述上下文信息组成负例对；
将所述正例对和所述负例对输入所述编码器，以对所述编码器进行训练。
作为上述方案的改进，所述训练数据还包括检测结果信息，所述检测结果信息通过concat的拼接方式和卷积网络融合到所述上下文信息中；其中，所述接测结果信息包括用户信息、检测项目信息和量纲信息中的至少一种。
作为上述方案的改进，所述方法还包括：
使用随机梯度下降算法对所述初始训练模型进行网络参数调整。
作为上述方案的改进，所述初始化预先构建的初始训练模型中的网络参数，具体包括：
利用截断随机高斯初始化预先构建的初始训练模型中的网络参数。
为实现上述目的，本发明实施例还提供了一种基于自回归模型的报告单编码模型生成系统，包括：
网络参数初始化模块，用于初始化预先构建的初始训练模型中的网络参数；其中，所述初始训练模型为自回归模型，所述初始训练模型包括编码器，所述网络参数为编码器参数；
一次循坏迭代模块，用于根据第一预设循环次数使得所述初始训练模型进入一次循坏迭代；
训练模块，用于在所述初始训练模型中输入训练数据，以对所述初始训练模型进行训练；其中，所述训练数据包括与报告单中的检测项目对应的检测结果值，所述检测结果值按照预设顺序排列；
损失值计算模块，用于计算预设的损失函数的损失值；
网络参数修正模块，用于通过反向传播算法将所述损失值用于修正所述网络参数；
二次循坏迭代模块，用于根据第二预设循环次数使得所述初始训练模型进入二次循坏迭代；
编码模型生成模块，用于对所述初始训练模型进行拆分，以在所述初始训练模型中拆分出所述编码器作为编码模型。
与现有技术相比，本发明实施例公开的基于自回归模型的报告单编码模型生成系统，首先，网络参数初始化模块初始化预先构建的初始训练模型中的网络参数；然后，一次循坏迭代模块根据第一预设循环次数使得初始训练模型进入一次循坏迭代，训练模块在初始训练模型中输入训练数据，以对所述初始训练模型进行训练，损失值计算模块利用初始训练模型计算预设损失函数的损失值，网络参数修正模块通过反向传播算法将损失值用于修正所述网络参数，二次循坏迭代模块根据第二预设循环次数使得所述初始训练模型进入二次循坏迭代；最后，编码模型生成模块对所述初始训练模型进行拆分，在所述初始训练模型拆分出所述编码器作为数据编码模型。本发明实施例所述的基于自回归模型的报告单编码模型生成系统生成的编码模型能够学习到非线性的特征表示，有利于后续任务算法的效果的提升，采用无监督算法，操作方便，可以节省大量人力标注的成本。
作为上述方案的改进，所述训练模块具体用于：
选取所述检测结果值中的一个数值作为锚点；
将排列位置位于所述锚点前的若干个检测结果值组成所述锚点的上下文信息；
将排列位置位于所述锚点后的检测结果值与所述上下文信息组成正例对，并将其他检测结果值与所述上下文信息组成负例对；
将所述正例对和所述负例对输入所述编码器，以对所述编码器进行训练。
作为上述方案的改进，所述训练数据还包括检测结果信息，所述检测结果信息通过concat的拼接方式和卷积网络融合到所述上下文信息中；其中，所述接测结果信息包括用户信息、检测项目信息和量纲信息中的至少一种。
作为上述方案的改进，所述系统还包括：
网络参数调整模块，用于使用随机梯度下降算法对所述初始训练模型进行网络参数调整。
为实现上述目的，本发明实施例还提供一种基于自回归模型的报告单编码模型生成设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的基于自回归模型的报告单编码模型生成方法。
附图说明
图1是本发明实施例提供的一种基于自回归模型的报告单编码模型生成方法的流程图；
图2是本发明实施例提供的初始训练模型的网络结构；
图3是本发明实施例提供的一种基于自回归模型的报告单编码模型生成系统的结构框图；
图4是本发明实施例提供的一种基于自回归模型的报告单编码模型生成设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的一种基于自回归模型的报告单编码模型生成方法的流程图；所述基于自回归模型的报告单编码模型生成方法包括：
S1、初始化预先构建的初始训练模型中的网络参数；其中，所述初始训练模型为自回归模型，所述初始训练模型包括编码器，所述网络参数为编码器参数；
S2、根据第一预设循环次数使得所述初始训练模型进入一次循坏迭代；
S3、在所述初始训练模型中输入训练数据，以对所述初始训练模型进行训练；其中，所述训练数据包括与报告单中的检测项目对应的检测结果值，所述检测结果值按照预设顺序排列；
S4、计算预设的损失函数的损失值；
S5、通过反向传播算法将所述损失值用于修正所述网络参数；
S6、根据第二预设循环次数使得所述初始训练模型进入二次循坏迭代；
S7、对所述初始训练模型进行拆分，以在所述初始训练模型中拆分出所述编码器作为编码模型。
值得说明的是，本发明实施例所述的基于自回归模型的报告单编码模型生成方法用于生成编码模型，该编码模型能够对报告单中的数据进行编码，以完对所述报告单中的特征信息的分析。示例性的，所述报告单为患者的检测报告，所述报告单可以是电子版的报告单，或者由纸质版(医生/患者手写)的报告单经过机器自动识别后生成的电子版报告单，从而能够自动对报告单中的信息进行提取，进一步确定所述报告单中的就详细数据。值得说明的是，对所述报告单进行信息识别/提取的过程可参考现有技术中的数据处理过程，本发明对此不做具体限定。
本发明实施例中主要使用自回归模型络和一致性预测编码技术解决检测结果的高层的特征学习问题，从而提升深度学习模型在报告单值异常检测等任务上表现。解决人工构建特征变量覆盖不全，效率低下，后续模型泛化能力不强等问题。该方法属于无监督算法，因此不需要对报告单数据进行提前分类或者其他标注，可以节省大量的人力数据加工成本，也更有利于该方法的落地和后续任务的建模。
所述初始训练模型为自回归模型(Autoregressive model)，所述自回归模型是统计学上一种处理时间序列的方法，用同一变数例如x的之前各期，亦即x1至xt-1来预测本期xt的表现，并假设它们为一线性关系。因为从回归分析中的线性回归发展而来，只是不用x预测y，而是用x预测x(自己)，所以叫做自回归。自回归模型被广泛运用在经济学、信息学、自然现象的预测上。
自回归的建模的核心问题是使用参数化函数逼近时间序列数据真实分布。为了让建模更加灵活，自回归模型中将理想模型表示为：
Figure BDA0002433056480000071
其中，xt代表时间需要t时点的数据，p*(xt)代表xt出现的边缘概率，
Figure BDA0002433056480000072
代表模型预测条件概率，自回归模式通过训练模型参数θ，让模型输出的条件概率求积的结果和真实的结果尽可能的保持一致。包括语音，视频，自然语言处理等领域的众多问题都可以等价地表述为自回归问题，多个行业都显著地从一个强大的预训练自回归语言模型中受益。在本发明实施例中，医疗检测结果同样可以看是一个时序数据来对待，通过将一个检测条码中的检测结果值排列或者将一个受检对象的不同时期的检测条码中的检测结果值按照检测时间维度排列，然后再通过自回归模型来分析报告单中检测结果值内部的关系。
一致性是指数据经过局部变换或者增广后数据内部的特征仍然可以保持稳定不变性，利用这一特点从无标签中深度学习数据的内在特征的表示。一致性预测编码方法(Contrastive Predictive Coding CPC)可以应用到绝大多数的有序数据上，比如文本，语音，图片，视频等。通过控制预测数据在时间方向上的步长，一致性预测编码方法能够捕捉到时间序列中的共用高层的特征信息，丢弃底层特征信息和噪声。传统的直接预测高维信息的方法，例如自编码器或者生成器等，它们主要利用MSE或交叉熵训练模型，模型容易捕捉到底层的特征信息，忽视了时间序列中的数据和上下文这样高层信息之间关联关系，不利于后期的分类任务。一致性预测编码方法提出了最大化未来某个时间点的target x和当前时间点的context c的表征的交互信息的方法来抽取输入共享的潜在特征，可以用以下式子表明：
Figure BDA0002433056480000081
其中，I(x；c)代表交互信息，p(x,c)代表target x和context c一起出现的联合概率，p(x|c)代表出现了context c时，出现target x的条件概率，p(x)代表target x边缘概率。优化了他们之间的互信息，即最大化
Figure BDA0002433056480000082
也就是说p(x|c)的概率值要远大于p(x)值，即在给定context c的情况下，要找到专属于c的那个x，而不是随机采样的x。一致性预测编码方法使用神经网络模拟fk函数对density ratio进行建模，这样可以保留他们之间的互信息，参考公式(3)。
Figure BDA0002433056480000083
对于公式(3)中的density ratio(密度比)，可以构建左边的函数f去表示它，只要基于函数f构造下面的损失函数，优化这个损失函数就等价于优化这个density ratio，公式(3)中的fk使用一个简单的指数函数来实现：
Figure BDA0002433056480000084
其中，公式(4)中的
Figure BDA0002433056480000085
代表正样本的潜变量的转置，Wk为需要学习出来的参数矩阵，ct代表负样本的上下文信息，通过Wk乘法完成信息的融合。
具体的，在步骤S1中，利用截断随机高斯初始化预先构建的初始训练模型中的网络参数θ；其中，所述初始训练模型包括编码器，所述网络参数为编码器参数。
具体的，在步骤S2中，进入迭代循环，所述第一预设循环次数为n个epoch，n的具体取值为经验参数。在进行完一次循环迭代后，读取训练集中的一个batch的结果清单数据到内存。
具体的，在步骤S3中，所述初始训练模型的网络结构可以参考图2，所述初始训练模型包括两种编码器，一种为编码器genc，另一种为编码器gar。其中，编码器genc采用单层或者多层的mlp来完成数据的编码转换，将医疗检测结果清单里的检测结果值(如图中的xt-2～xt+4)转变到潜变量空间得到数值Z(如图中的Zt～Zt+4)；编码器gar采用了GRU、LSTM模型或者attention机制来时间维度的信息汇总。Bilinear表示进行线性变化，图中数据经过白色框的部分形成正例对，条纹框形成负例对。输入到判别器Discrimination中，使用公式来计算正例对和负例对的可区分程度。
输入所述初始训练模型的训练数据可以是单个条码的检测结果值(比如所述检测结果值为血液中的葡萄糖含量等)，也可以是一个受检对象的多次的检测结果值，所述检测结果值按照预设顺序排列(比如检测时间维度、项目编号维度)。
具体的，步骤S3具体包括S31～S34：
S31、选取所述检测结果值中的一个数值作为锚点；
S32、将排列位置位于所述锚点前的若干个检测结果值组成所述锚点的上下文信息；
S33、将排列位置位于所述锚点后的检测结果值与所述上下文信息组成正例对，并将其他检测结果值与所述上下文信息组成负例对；
S34、将所述正例对和所述负例对输入所述编码器，以对所述编码器进行训练。
值得说明的是，神经网络训练都需要完成某个特定的任务，例如分出猫和狗，预算具体数值。本发明实施例中的深度学习没有任何数据标签，所以只能去区分出是不是一对真实的数据和非一对真实的数据，通过区分正例对和负例对的任务可以让神经网络学到数据的内在规律。
示例性的，挑选一个固定的检测结果值作为锚点，例如9个检测项目，可以选第5个检测项目对应的检测结果值为锚点，锚点的检测结果值记作Xt。将锚点前面的Xt-2到Xt检测结果值汇总成上下文信息Ct。选取锚点后K位的检测结果值作为正样本对，例如K设置为4时，即锚点后四位的检测结果值为正样本，将所述正样本与所述上下文信息组成正例对。选择同一个批次里其他条码的检测结果值作为负样本，将所述负样本和所述上下文信息形成负例对。公示(3)中的fk采用简单的线性层来实现，输入正例对(Ct和Zt+4)和负例对(Ct和Zt*)，使用InfoNCE损失函数训练整个网络，其等价于使用一个二分类器(Discriminator)训练区分出正例对和负例对。
进一步的，所述训练数据还包括检测结果信息，所述检测结果信息通过concat的拼接方式和卷积网络融合到所述上下文信息Ct中；其中，所述接测结果信息包括用户信息、检测项目信息和量纲信息中的至少一种。
具体的，在步骤S4中，计算预设的损失函数(InfoNCE损失函数)的损失值。公式(2)中的I(x；c)交互信息的下界是InfoNCE，优化
Figure BDA0002433056480000101
这个损失函数就等价于优化公式(3)中的density ratio，通过优化模型，最小化InfoNCE loss(损失函数损失值)可以提高I(x；c)交互信息下界，从而间接的提高交互信息。公式(5)中的N代表负例的个数，N越大，下界越紧致，优化效果越明显。
Figure BDA0002433056480000102
Figure BDA0002433056480000103
其中，公式(6)中的xt+k代表正例对，xj代表同一个批次里的数据形成的负例对。ct代表锚点的上下文信息。有了这个InfoNCE，我们只需要采集正负样本计算InfoNCE Loss就可以了。
具体的，在步骤S5～S7中，通过反向传播算法将所述损失值用于修正所述编码器参数。完成反向传播算法后，重新回到步骤S3中进行循环，直到迭代的次数达到第二预设循环次数。在步骤S7中，当二次循环迭代达到第二预设循环次数时，将训练好的所述初始训练模型冻结减枝，拆分出来的编码器即为最好的可用数据编码器模型，模型输入结果清单数据，输出编码后特征向量。
值得说明的是，训练完成的模型尾巴部分会有损失函数部分，损失函数在训练模型时有用，使用时可以移出，步骤S7中的拆分主要是指拿出编码器部分，其他的部分丢弃掉。
进一步的，使用随机梯度下降算法对所述初始训练模型进行网络参数优化调整。示例性的，所述随机梯度下降算法为SGD，学习率为0.0001。
与现有技术相比，本发明实施例公开的基于自回归模型的报告单编码模型生成方法，首先，初始化预先构建的初始训练模型中的网络参数；然后，根据第一预设循环次数使得初始训练模型进入一次循坏迭代，在初始训练模型中输入训练数据，以对所述初始训练模型进行训练，利用初始训练模型计算预设损失函数的损失值，通过反向传播算法将损失值用于修正所述网络参数，根据第二预设循环次数使得所述初始训练模型进入二次循坏迭代；最后，对所述初始训练模型进行拆分，在所述初始训练模型拆分出所述编码器作为数据编码模型。
本发明实施例所述的基于自回归模型的报告单编码模型生成方法生成的编码模型能够学习到非线性的特征表示，有利于后续任务算法的效果的提升，采用无监督算法，操作方便，可以节省大量人力标注的成本。相对于自编码的特征学习的方法和生成模型，该方法能够学习到更多的高层的特征而非底层特征信息，适合使用在后续的异常值检测任务上。
参见图3，图3是本发明实施例提供的一种基于自回归模型的报告单编码模型生成系统的结构框图；所述基于自回归模型的报告单编码模型生成系统10包括：
网络参数初始化模块11，用于初始化预先构建的初始训练模型中的网络参数；其中，所述初始训练模型为自回归模型，所述初始训练模型包括编码器，所述网络参数为编码器参数；
一次循坏迭代模块12，用于根据第一预设循环次数使得所述初始训练模型进入一次循坏迭代；
训练模块13，用于在所述初始训练模型中输入训练数据，以对所述初始训练模型进行训练；其中，所述训练数据包括与报告单中的检测项目对应的检测结果值，所述检测结果值按照预设顺序排列；
损失值计算模块14，用于计算预设的损失函数的损失值；
网络参数修正模块15，用于通过反向传播算法将所述损失值用于修正所述网络参数；
二次循坏迭代模块16，用于根据第二预设循环次数使得所述初始训练模型进入二次循坏迭代；
编码模型生成模块17，用于对所述初始训练模型进行拆分，以在所述初始训练模型中拆分出所述编码器作为编码模型。
值得说明的是，本发明实施例所述的基于自回归模型的报告单编码模型生成系统10用于生成编码模型，该编码模型能够对报告单中的数据进行编码，以完对所述报告单中的特征信息的分析。示例性的，所述报告单为患者的检测报告，所述报告单可以是电子版的报告单，或者由纸质版(医生/患者手写)的报告单经过机器自动识别后生成的电子版报告单，从而能够自动对报告单中的信息进行提取，进一步确定所述报告单中的就详细数据。值得说明的是，对所述报告单进行信息识别/提取的过程可参考现有技术中的数据处理过程，本发明对此不做具体限定。
本发明实施例中主要使用自回归模型络和一致性预测编码技术解决检测结果的高层的特征学习问题，从而提升深度学习模型在报告单值异常检测等任务上表现。解决人工构建特征变量覆盖不全，效率低下，后续模型泛化能力不强等问题。该方法属于无监督算法，因此不需要对报告单数据进行提前分类或者其他标注，可以节省大量的人力数据加工成本，也更有利于该方法的落地和后续任务的建模。
所述初始训练模型为自回归模型(Autoregressive model)，所述自回归模型是统计学上一种处理时间序列的方法，用同一变数例如x的之前各期，亦即x1至xt-1来预测本期xt的表现，并假设它们为一线性关系。因为从回归分析中的线性回归发展而来，只是不用x预测y，而是用x预测x(自己)，所以叫做自回归。自回归模型被广泛运用在经济学、信息学、自然现象的预测上。
自回归的建模的核心问题是使用参数化函数逼近时间序列数据真实分布。为了让建模更加灵活，自回归模型中将理想模型表示为：
Figure BDA0002433056480000131
其中，xt代表时间需要t时点的数据，p*(xt)代表xt出现的边缘概率，
Figure BDA0002433056480000132
代表模型预测条件概率，自回归模式通过训练模型参数θ，让模型输出的条件概率求积的结果和真实的结果尽可能的保持一致。包括语音，视频，自然语言处理等领域的众多问题都可以等价地表述为自回归问题，多个行业都显著地从一个强大的预训练自回归语言模型中受益。在本发明实施例中，医疗检测结果同样可以看是一个时序数据来对待，通过将一个检测条码中的检测结果值排列或者将一个受检对象的不同时期的检测条码中的检测结果值按照检测时间维度排列，然后再通过自回归模型来分析报告单中检测结果值内部的关系。
一致性是指数据经过局部变换或者增广后数据内部的特征仍然可以保持稳定不变性，利用这一特点从无标签中深度学习数据的内在特征的表示。一致性预测编码方法(Contrastive Predictive Coding CPC)可以应用到绝大多数的有序数据上，比如文本，语音，图片，视频等。通过控制预测数据在时间方向上的步长，一致性预测编码方法能够捕捉到时间序列中的共用高层的特征信息，丢弃底层特征信息和噪声。传统的直接预测高维信息的方法，例如自编码器或者生成器等，它们主要利用MSE或交叉熵训练模型，模型容易捕捉到底层的特征信息，忽视了时间序列中的数据和上下文这样高层信息之间关联关系，不利于后期的分类任务。一致性预测编码方法提出了最大化未来某个时间点的target x和当前时间点的context c的表征的交互信息的方法来抽取输入共享的潜在特征，可以用以下式子表明：
Figure BDA0002433056480000141
其中，I(x；c)代表交互信息，p(x,c)代表target x和context c一起出现的联合概率，p(x|c)代表出现了context c时，出现target x的条件概率，p(x)代表target x边缘概率。优化了他们之间的互信息，即最大化
Figure BDA0002433056480000142
也就是说p(x|c)的概率值要远大于p(x)值，即在给定context c的情况下，要找到专属于c的那个x，而不是随机采样的x。一致性预测编码方法使用神经网络模拟fk函数对density ratio进行建模，这样可以保留他们之间的互信息，参考公式(3)。
Figure BDA0002433056480000143
对于公式(3)中的density ratio(密度比)，可以构建左边的函数f去表示它，只要基于函数f构造下面的损失函数，优化这个损失函数就等价于优化这个density ratio，公式(3)中的fk使用一个简单的指数函数来实现：
Figure BDA0002433056480000144
其中，公式(4)中的
Figure BDA0002433056480000145
代表正样本的潜变量的转置，Wk为需要学习出来的参数矩阵，ct代表负样本的上下文信息，通过Wk乘法完成信息的融合。
具体的，所述网络参数初始化模块11利用截断随机高斯初始化预先构建的初始训练模型中的网络参数θ；其中，所述初始训练模型包括编码器，所述网络参数为编码器参数。
具体的，所述一次循坏迭代模块12将所述初始训练模型进行迭代循环，所述第一预设循环次数为n个epoch，n的具体取值为经验参数。在进行完一次循环迭代后，读取训练集中的一个batch的结果清单数据到内存。
具体的，所述初始训练模型的网络结构可以参考图2，所述初始训练模型包括两种编码器，一种为编码器genc，另一种为编码器gar。其中，编码器genc采用单层或者多层的mlp来完成数据的编码转换，将医疗检测结果清单里的检测结果值转变到潜变量空间得到数值Z；编码器gar采用了GRU、LSTM模型或者attention机制来时间维度的信息汇总。输入所述初始训练模型的训练数据可以是单个条码的检测结果值，也可以是一个受检对象的多次的检测结果值，所述检测结果值按照预设顺序排列(比如检测时间维度、项目编号维度)。
具体的，所述训练模块13具体用于：选取所述检测结果值中的一个数值作为锚点；将排列位置位于所述锚点前的若干个检测结果值组成所述锚点的上下文信息；将排列位置位于所述锚点后的检测结果值与所述上下文信息组成正例对，并将其他检测结果值与所述上下文信息组成负例对；将所述正例对和所述负例对输入所述编码器，以对所述编码器进行训练。
值得说明的是，神经网络训练都需要完成某个特定的任务，例如分出猫和狗，预算具体数值。本发明实施例中的深度学习没有任何数据标签，所以只能去区分出是不是一对真实的数据和非一对真实的数据，通过区分正例对和负例对的任务让神经网络学到数据的内在规律。
示例性的，挑选一个固定的检测结果值作为锚点，例如9个检测项目，可以选第5个检测项目对应的检测结果值为锚点，锚点的检测结果值记作Xt。将锚点前面的Xt-2到Xt检测结果值汇总成上下文信息Ct。选取锚点后K位的检测结果值作为正样本对，例如K设置为4时，即锚点后四位的检测结果值为正样本，将所述正样本与所述上下文信息组成正例对。选择同一个批次里其他条码的检测结果值作为负样本，将所述负样本和所述上下文信息形成负例对。公示(3)中的fk采用简单的线性层来实现，输入正例对(Ct和Zt+4)和负例对(Ct和Zt*)，使用InfoNCE损失函数训练整个网络，其等价于使用一个二分类器(Discriminator)训练区分出正例对和负例对。
进一步的，所述训练数据还包括检测结果信息，所述检测结果信息通过concat的拼接方式和卷积网络融合到所述上下文信息Ct中；其中，所述接测结果信息包括用户信息、检测项目信息和量纲信息中的至少一种。
具体的，所述损失值计算模块14计算预设的损失函数(InfoNCE损失函数)的损失值。公式(2)中的I(x；c)交互信息的下界是InfoNCE，优化
Figure BDA0002433056480000163
这个损失函数就等价于优化公式(3)中的density ratio，通过优化模型，最小化InfoNCE loss(损失函数损失值)可以提高I(x；c)交互信息下界，从而间接的提高交互信息。公式(5)中的N代表负例的个数，N越大，下界越紧致，优化效果越明显。
Figure BDA0002433056480000161
Figure BDA0002433056480000162
其中，公式(6)中的xt+k代表正例对，xj代表同一个批次里的数据形成的负例对。ct代表锚点的上下文信息。有了这个InfoNCE，我们只需要采集正负样本计算InfoNCE Loss就可以了。
具体的，所述网络参数修正模块15通过反向传播算法将所述损失值用于修正所述编码器参数。完成反向传播算法后，所述二次循坏迭代模块16根据第二预设循环次数使得所述初始训练模型进入二次循坏迭代。当二次循环迭代达到第二预设循环次数时，所述编码模型生成模块17将训练好的所述初始训练模型冻结减枝，拆分出来的编码器即为最好的可用数据编码器模型，模型输入结果清单数据，输出编码后特征向量。当二次循环迭代未达到第二预设循环次数时，所述训练模块13重新对所述初始训练模型进行训练。
进一步的，所述系统还包括：网络参数调整模块18，用于使用随机梯度下降算法对所述初始训练模型进行网络参数优化调整。示例性的，所述随机梯度下降算法为SGD，学习率为0.0001。
与现有技术相比，本发明实施例公开的基于自回归模型的报告单编码模型生成系统10，首先，网络参数初始化模块11初始化预先构建的初始训练模型中的网络参数；然后，一次循坏迭代模块12根据第一预设循环次数使得初始训练模型进入一次循坏迭代，训练模块13在初始训练模型中输入训练数据，以对所述初始训练模型进行训练，损失值计算模块14利用初始训练模型计算预设损失函数的损失值，网络参数修正模块15通过反向传播算法将损失值用于修正所述网络参数，二次循坏迭代模块16根据第二预设循环次数使得所述初始训练模型进入二次循坏迭代；最后，编码模型生成模块17对所述初始训练模型进行拆分，在所述初始训练模型拆分出所述编码器作为数据编码模型。
本发明实施例所述的基于自回归模型的报告单编码模型生成系统10生成的编码模型能够学习到非线性的特征表示，有利于后续任务算法的效果的提升，采用无监督算法，操作方便，可以节省大量人力标注的成本。
参见图4，图4是本发明实施例提供的一种基于自回归模型的报告单编码模型生成设备20的结构框图；该实施例的基于自回归模型的报告单编码模型生成设备20包括：处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述基于自回归模型的报告单编码模型生成方法实施例中的步骤，例如图1所示的步骤S1～S7。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如网络参数初始化模块11。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于自回归模型的报告单编码模型生成设备20中的执行过程。例如，所述计算机程序可以被分割成网络参数初始化模块11、一次循坏迭代模块12、训练模块13、损失值计算模块14、络参数修正模块15、二次循坏迭代模块16、编码模型生成模块17和网络参数调整模块18，各模块具体功能请参考上述实施例所述的基于自回归模型的报告单编码模型生成系统10的具体工作过程，在此不再赘述。
所述基于自回归模型的报告单编码模型生成设备20可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于自回归模型的报告单编码模型生成设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是基于自回归模型的报告单编码模型生成设备20的示例，并不构成对基于自回归模型的报告单编码模型生成设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于自回归模型的报告单编码模型生成设备20还可以包括输入输出设备、网络接入设备、总线等。
所述处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器21也可以是任何常规的处理器等，所述处理器21是所述基于自回归模型的报告单编码模型生成设备20的控制中心，利用各种接口和线路连接整个基于自回归模型的报告单编码模型生成设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述基于自回归模型的报告单编码模型生成设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述基于自回归模型的报告单编码模型生成设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于自回归模型的报告单编码模型生成方法，其特征在于，包括：
初始化预先构建的初始训练模型中的网络参数；其中，所述初始训练模型为自回归模型，所述初始训练模型包括编码器，所述网络参数为编码器参数；
根据第一预设循环次数使得所述初始训练模型进入一次循坏迭代；
在所述初始训练模型中输入训练数据，以对所述初始训练模型进行训练；其中，所述训练数据包括与报告单中的检测项目对应的检测结果值，所述检测结果值按照预设顺序排列；
计算预设的损失函数的损失值；
通过反向传播算法将所述损失值用于修正所述网络参数；
根据第二预设循环次数使得所述初始训练模型进入二次循坏迭代；
对所述初始训练模型进行拆分，以在所述初始训练模型中拆分出所述编码器作为编码模型。
2.如权利要求1所述的基于自回归模型的报告单编码模型生成方法，其特征在于，所述在所述初始训练模型中输入训练数据，以对所述初始训练模型进行训练，具体包括：
选取所述检测结果值中的一个数值作为锚点；
将排列位置位于所述锚点前的若干个检测结果值组成所述锚点的上下文信息；
将排列位置位于所述锚点后的检测结果值与所述上下文信息组成正例对，并将其他检测结果值与所述上下文信息组成负例对；
将所述正例对和所述负例对输入所述编码器，以对所述编码器进行训练。
3.如权利要求2所述的基于自回归模型的报告单编码模型生成方法，其特征在于，所述训练数据还包括检测结果信息，所述检测结果信息通过concat的拼接方式和卷积网络融合到所述上下文信息中；其中，所述接测结果信息包括用户信息、检测项目信息和量纲信息中的至少一种。
4.如权利要求1所述的基于自回归模型的报告单编码模型生成方法，其特征在于，所述方法还包括：
使用随机梯度下降算法对所述初始训练模型进行网络参数调整。
5.如权利要求1所述的基于自回归模型的报告单编码模型生成方法，其特征在于，所述初始化预先构建的初始训练模型中的网络参数，具体包括：
利用截断随机高斯初始化预先构建的初始训练模型中的网络参数。
6.一种基于自回归模型的报告单编码模型生成系统，其特征在于，包括：
网络参数初始化模块，用于初始化预先构建的初始训练模型中的网络参数；其中，所述初始训练模型为自回归模型，所述初始训练模型包括编码器，所述网络参数为编码器参数；
一次循坏迭代模块，用于根据第一预设循环次数使得所述初始训练模型进入一次循坏迭代；
训练模块，用于在所述初始训练模型中输入训练数据，以对所述初始训练模型进行训练；其中，所述训练数据包括与报告单中的检测项目对应的检测结果值，所述检测结果值按照预设顺序排列；
损失值计算模块，用于计算预设的损失函数的损失值；
网络参数修正模块，用于通过反向传播算法将所述损失值用于修正所述网络参数；
二次循坏迭代模块，用于根据第二预设循环次数使得所述初始训练模型进入二次循坏迭代；
编码模型生成模块，用于对所述初始训练模型进行拆分，以在所述初始训练模型中拆分出所述编码器作为编码模型。
7.如权利要求6所述的基于自回归模型的报告单编码模型生成系统，其特征在于，所述训练模块具体用于：
选取所述检测结果值中的一个数值作为锚点；
将排列位置位于所述锚点前的若干个检测结果值组成所述锚点的上下文信息；
将排列位置位于所述锚点后的检测结果值与所述上下文信息组成正例对，并将其他检测结果值与所述上下文信息组成负例对；
将所述正例对和所述负例对输入所述编码器，以对所述编码器进行训练。
8.如权利要求7所述的基于自回归模型的报告单编码模型生成系统，其特征在于，所述训练数据还包括检测结果信息，所述检测结果信息通过concat的拼接方式和卷积网络融合到所述上下文信息中；其中，所述接测结果信息包括用户信息、检测项目信息和量纲信息中的至少一种。
9.如权利要求6所述的基于自回归模型的报告单编码模型生成系统，其特征在于，所述系统还包括：
网络参数调整模块，用于使用随机梯度下降算法对所述初始训练模型进行网络参数调整。
10.一种基于自回归模型的报告单编码模型生成设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的基于自回归模型的报告单编码模型生成方法。
CN202010242597.6A 2020-03-31 2020-03-31 基于自回归模型的报告单编码模型生成方法、系统和设备 Active CN111489803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010242597.6A CN111489803B (zh) 2020-03-31 2020-03-31 基于自回归模型的报告单编码模型生成方法、系统和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010242597.6A CN111489803B (zh) 2020-03-31 2020-03-31 基于自回归模型的报告单编码模型生成方法、系统和设备

Publications (2)

Publication Number Publication Date
CN111489803A true CN111489803A (zh) 2020-08-04
CN111489803B CN111489803B (zh) 2023-07-21

Family

ID=71812509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010242597.6A Active CN111489803B (zh) 2020-03-31 2020-03-31 基于自回归模型的报告单编码模型生成方法、系统和设备

Country Status (1)

Country Link
CN (1) CN111489803B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112382291A (zh) * 2020-11-23 2021-02-19 北京百度网讯科技有限公司 语音交互的处理方法、装置、电子设备及存储介质
CN113554077A (zh) * 2021-07-13 2021-10-26 南京铉盈网络科技有限公司 基于多模态神经网络模型的工况评估及业务量预测方法
CN115099240A (zh) * 2022-06-17 2022-09-23 北京百度网讯科技有限公司 文本生成模型训练方法和装置、文本生成方法和装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503615A (zh) * 2016-09-20 2017-03-15 北京工业大学 基于多传感器的室内人体检测跟踪和身份识别系统
CN108170755A (zh) * 2017-12-22 2018-06-15 西安电子科技大学 基于三元组深度网络的跨模态哈希检索方法
CN109379240A (zh) * 2018-12-25 2019-02-22 湖北亿咖通科技有限公司 车联网流量预测模型构建方法、装置和电子设备
CN109614471A (zh) * 2018-12-07 2019-04-12 北京大学 一种基于生成式对抗网络的开放式问题自动生成方法
US20190122651A1 (en) * 2017-10-19 2019-04-25 Baidu Usa Llc Systems and methods for neural text-to-speech using convolutional sequence learning
US20190130249A1 (en) * 2017-10-27 2019-05-02 Salesforce.Com, Inc. Sequence-to-sequence prediction using a neural network model
CN109784249A (zh) * 2019-01-04 2019-05-21 华南理工大学 一种基于变分级联信息瓶颈的置乱人脸识别方法
CN109902665A (zh) * 2019-03-28 2019-06-18 北京达佳互联信息技术有限公司 相似人脸检索方法、装置及存储介质
CN109902678A (zh) * 2019-02-12 2019-06-18 北京奇艺世纪科技有限公司 模型训练方法、文字识别方法、装置、电子设备及计算机可读介质
CN110009013A (zh) * 2019-03-21 2019-07-12 腾讯科技（深圳）有限公司 编码器训练及表征信息提取方法和装置
CN110245359A (zh) * 2018-05-18 2019-09-17 谷歌有限责任公司 使用自回归机器学习模型进行并行解码
US20200004616A1 (en) * 2018-07-02 2020-01-02 Nec Laboratories America, Inc. Failure prediction
CN110674714A (zh) * 2019-09-13 2020-01-10 东南大学 基于迁移学习的人脸和人脸关键点联合检测方法
CN110689937A (zh) * 2019-09-05 2020-01-14 郑州金域临床检验中心有限公司 编码模型训练方法、系统、设备及检测项目编码方法
CN110717327A (zh) * 2019-09-29 2020-01-21 北京百度网讯科技有限公司 标题生成方法、装置、电子设备和存储介质
CN110910982A (zh) * 2019-11-04 2020-03-24 广州金域医学检验中心有限公司 自编码模型训练方法、装置、设备及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503615A (zh) * 2016-09-20 2017-03-15 北京工业大学 基于多传感器的室内人体检测跟踪和身份识别系统
US20190122651A1 (en) * 2017-10-19 2019-04-25 Baidu Usa Llc Systems and methods for neural text-to-speech using convolutional sequence learning
US20190130249A1 (en) * 2017-10-27 2019-05-02 Salesforce.Com, Inc. Sequence-to-sequence prediction using a neural network model
CN108170755A (zh) * 2017-12-22 2018-06-15 西安电子科技大学 基于三元组深度网络的跨模态哈希检索方法
CN110245359A (zh) * 2018-05-18 2019-09-17 谷歌有限责任公司 使用自回归机器学习模型进行并行解码
US20200004616A1 (en) * 2018-07-02 2020-01-02 Nec Laboratories America, Inc. Failure prediction
CN109614471A (zh) * 2018-12-07 2019-04-12 北京大学 一种基于生成式对抗网络的开放式问题自动生成方法
CN109379240A (zh) * 2018-12-25 2019-02-22 湖北亿咖通科技有限公司 车联网流量预测模型构建方法、装置和电子设备
CN109784249A (zh) * 2019-01-04 2019-05-21 华南理工大学 一种基于变分级联信息瓶颈的置乱人脸识别方法
CN109902678A (zh) * 2019-02-12 2019-06-18 北京奇艺世纪科技有限公司 模型训练方法、文字识别方法、装置、电子设备及计算机可读介质
CN110009013A (zh) * 2019-03-21 2019-07-12 腾讯科技（深圳）有限公司 编码器训练及表征信息提取方法和装置
CN109902665A (zh) * 2019-03-28 2019-06-18 北京达佳互联信息技术有限公司 相似人脸检索方法、装置及存储介质
CN110689937A (zh) * 2019-09-05 2020-01-14 郑州金域临床检验中心有限公司 编码模型训练方法、系统、设备及检测项目编码方法
CN110674714A (zh) * 2019-09-13 2020-01-10 东南大学 基于迁移学习的人脸和人脸关键点联合检测方法
CN110717327A (zh) * 2019-09-29 2020-01-21 北京百度网讯科技有限公司 标题生成方法、装置、电子设备和存储介质
CN110910982A (zh) * 2019-11-04 2020-03-24 广州金域医学检验中心有限公司 自编码模型训练方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUNSI MA ET AL.,: "Hybrid BP-EP Based Iterative Receiver for Faster-Than-Nyquist With Index Modulation", 《2019 IEEE 90TH VEHICULAR TECHNOLOGY CONFERENCE (VTC2019-FALL)》, vol. 6, pages 1 - 5, XP033648388, DOI: 10.1109/VTCFall.2019.8891399 *
曹仰杰等: "生成式对抗网络及其计算机视觉应用研究综述", 《中国图象形学报》, vol. 23, no. 10, pages 1433 - 1449 *
梁星星等: "基于自回归预测模型的深度注意力强化学习方法", 《软件学报》, vol. 31, no. 4, pages 948 - 966 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112382291A (zh) * 2020-11-23 2021-02-19 北京百度网讯科技有限公司 语音交互的处理方法、装置、电子设备及存储介质
CN112382291B (zh) * 2020-11-23 2021-10-22 北京百度网讯科技有限公司 语音交互的处理方法、装置、电子设备及存储介质
CN113554077A (zh) * 2021-07-13 2021-10-26 南京铉盈网络科技有限公司 基于多模态神经网络模型的工况评估及业务量预测方法
CN115099240A (zh) * 2022-06-17 2022-09-23 北京百度网讯科技有限公司 文本生成模型训练方法和装置、文本生成方法和装置
CN115099240B (zh) * 2022-06-17 2023-12-26 北京百度网讯科技有限公司 文本生成模型训练方法和装置、文本生成方法和装置

Also Published As

Publication number Publication date
CN111489803B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
Yang et al. Voice2series: Reprogramming acoustic models for time series classification
Yan Computational methods for deep learning
CN106960219B (zh) 图片识别方法及装置、计算机设备及计算机可读介质
Cui et al. Efficient human motion prediction using temporal convolutional generative adversarial network
CN111489803A (zh) 基于自回归模型的报告单编码模型生成方法、系统和设备
CN107945210B (zh) 基于深度学习和环境自适应的目标跟踪方法
Brakel et al. Training energy-based models for time-series imputation
Lin et al. Es-imagenet: A million event-stream classification dataset for spiking neural networks
CN110957012A (zh) 化合物的性质分析方法、装置、设备及存储介质
CN113033276B (zh) 一种基于转换模块的行为识别方法
CN111599431A (zh) 基于报告单的数据编码模型生成方法、系统和设备
WO2024060684A1 (zh) 模型训练方法、图像处理方法、设备及存储介质
CN113283336A (zh) 一种文本识别方法与系统
CN113065451A (zh) 一种多模态融合的动作识别装置、方法和存储介质
CN111695335A (zh) 一种智能面试方法、装置及终端设备
Letizia et al. Segmented generative networks: Data generation in the uniform probability space
CN114358249A (zh) 目标识别模型训练、目标识别方法及装置
CN117197891A (zh) 一种多模态骨骼动作识别方法及装置
CN117095460A (zh) 基于长短时关系预测编码的自监督群体行为识别方法及其识别系统
CN112052663A (zh) 客服语句质检方法及相关设备
JP2022521174A (ja) センサ入力信号からのコグニティブ・クエリへの応答
CN116091763A (zh) 苹果叶部病害图像语义分割系统及分割方法、设备和介质
CN114332469A (zh) 模型训练方法、装置、设备及存储介质
CN111613287A (zh) 基于Glow网络的报告单编码模型生成方法、系统和设备
Chang et al. Fast Online Upper Body Pose Estimation from Video.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant