CN112016702A - 基于迁移学习的医疗数据处理方法、装置、设备及介质 - Google Patents
基于迁移学习的医疗数据处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112016702A CN112016702A CN202010941857.9A CN202010941857A CN112016702A CN 112016702 A CN112016702 A CN 112016702A CN 202010941857 A CN202010941857 A CN 202010941857A CN 112016702 A CN112016702 A CN 112016702A
- Authority
- CN
- China
- Prior art keywords
- medical data
- data processing
- processing model
- linear
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及人工智能中的机器学习领域，公开了一种基于迁移学习的医疗数据处理方法、装置、设备及介质，其方法包括：在第一阶段，在第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；并使用本地医疗数据对第二医疗数据处理模型进行训练；计算两个模型的预测准确率，当第二预测准确率大于第一预测准确率，进入第二阶段的训练；当本地医疗数据足够多且第二预测准确率较高时，解冻网络层；完成第三阶段的训练，获得第三医疗数据处理模型。本发明可以降低本地医疗数据处理模型的训练成本，减少模型生成时间。本发明还可应用于智慧城市的建设。
Description
技术领域
本发明涉及机器学习领域，尤其涉及一种基于迁移学习的医疗数据处理方法、装置、设备及介质。
背景技术
随着人工智能技术的快速发展，在医疗领域，人工智能技术也得到广泛的应用。然而，医疗数据获取困难且具有明显的地域差异性，在其他地区已训练好的医疗数据处理模型，用来处理本地医疗数据时，其生成的处理结果往往并不理想，准确率偏低。
当然，也可以单独在本地累积一定量的医疗数据，再重新构建新的医疗数据处理模型。但是这样的训练成本高，获得医疗数据处理模型的时间周期长，难以满足实际的使用需求。
发明内容
基于此，有必要针对上述技术问题，提供一种基于迁移学习的医疗数据处理方法、装置、设备及介质，以降低本地医疗数据处理模型的训练成本，减少模型生成时间。
一种基于迁移学习的医疗数据处理方法，包括：
获取已训练好的第一医疗数据处理模型；
接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
一种基于迁移学习的医疗数据处理装置，包括：
获取第一模型模块，用于获取已训练好的第一医疗数据处理模型；
第一设置模块，用于接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
第一阶段处理模块，用于获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
训练第二模型模块，用于使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
第二阶段处理模块，用于当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
第二设置模块，用于当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
确定第三模型模块，用于使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述基于迁移学习的医疗数据处理方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述基于迁移学习的医疗数据处理方法。
上述基于迁移学习的医疗数据处理方法、装置、计算机设备及存储介质，通过获取已训练好的第一医疗数据处理模型，在此处，第一医疗数据处理模型即为待迁移的模型。接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型，在此处，增加线性层可以提高模型的学习能力，设置冻结层可以保持原有模型的稳定性。获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果，在此处，第一阶段为起始的过渡阶段。使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率，在此处，开始对第二医疗数据处理模型进行训练，随着本地医疗数据的增多，逐步提高第二预测准确率。当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果，在此处，进入第二阶段，相较于第一阶段，本地医疗数据处理结果的预测准确率有一定程度的改善。当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作，在此处，当满足的条件时，需要对冻结的网络层进行解冻。使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型，在此处，获得了迁移学习后的学习成果，即第三医疗数据处理模型。本发明可以降低本地医疗数据处理模型的训练成本，减少模型生成时间。本发明还可应用于智慧城市的智能医疗领域中，从而推动智慧城市的建设。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于迁移学习的医疗数据处理方法的一应用环境示意图；
图2是本发明一实施例中基于迁移学习的医疗数据处理方法的一流程示意图；
图3是本发明一实施例中基于迁移学习的医疗数据处理方法的一流程示意图；
图4是本发明一实施例中基于迁移学习的医疗数据处理方法的一流程示意图；
图5是本发明一实施例中基于迁移学习的医疗数据处理方法的一流程示意图；
图6是本发明一实施例中基于迁移学习的医疗数据处理装置的一结构示意图；
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供的基于迁移学习的医疗数据处理方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种基于迁移学习的医疗数据处理方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
S10、获取已训练好的第一医疗数据处理模型。
本实施例中，已训练好的第一医疗数据处理模型(可用模型A表示)可以指其他地区已经训练好的医疗数据处理模型。在一示例中，第一医疗数据处理模型包括但不限分诊模型(如指引患者到正确科室进行就诊)，病历筛查模型。第一医疗数据处理模型的训练算法包括但不限于LSTM(Long Short Term Memory Network，长短时记忆网络)算法、TextCNN(TextConvolutional Neural Networks，文本卷积神经网络)算法、BERT(BidirectionalEncoder Representation from Transformers，双向转换编码)算法。第一医疗数据处理模型中包括多个已训练好的网络层。每个网络层都包含多个神经元节点。
S20、接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型。
在此处，第一设置指令用于在第一医疗数据处理模型增加线性层，同时将第一医疗数据处理模型中已训练好的网络层进行冻结。增加线性层并冻结已训练好的网络层后，得到初始的第二医疗数据处理模型(即为本地医疗数据处理模型，可用模型B表示)。本实施例的目的在于获得可以用于处理本地医疗数据的模型(即第三医疗数据处理模型，等同于已训练好的第二医疗数据处理模型)，因而可以借用其他地区类似的医疗数据处理模型(在此处为第一医疗数据处理模型)。但由于在起始阶段，本地医疗数据较少(甚至接近于零)，直接用少量的本地医疗数据更新第一医疗数据处理模型的网络层参数，是没有效果的。而增加的线性层可以更好地使第二医疗数据处理模型适应本地医疗数据。设置冻结层的目的在于保持原来第一医疗数据处理模型的处理能力。
在设置完毕后，可以进入对第二医疗数据处理模型进行训练的三个阶段，分别为第一阶段、第二阶段和第三阶段。
S30、获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果。
本步骤主要目的在于获取第一预测准确率。第一预测准确率可与第二预测准确率比较，以确定第二医疗数据处理模型的训练阶段。在第一阶段，第二预测准确率不大于第一预测准确率。因而，可以使用第一医疗数据处理模型处理本地医疗数据，获得第一处理结果，并将第一处理结果设置为当前需要使用的处理结果。本地医疗数据的来源地区与第二医疗数据处理模型所在地区相同，与第一医疗数据处理模型所在地区不同。
S40、使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率。
本步骤同样属于第一阶段。在此阶段，可以通过逐渐累积的本地医疗数据对第二医疗数据处理模型中的线性层进行更新(即改变线性层的参数)。而由于网络层已被冻结，网络层的参数维持不变。线性层一方面可以学习本地医疗数据的特征，另一方面也可基于网络层的特点学习到第一医疗数据处理模型的特征。
S50、当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果。
当第一阶段进行一段时间后，第二预测准确率逐渐提升。当第二预测准确率大于第一预测准确率时(指的是第二预测准确率持续保持大于第一预测准确率的状态，并不是指仅仅某个时间点大于第一预测准确率，然后又小于第一预测准确率)，可以使用第二医疗数据处理模型生成的第二处理结果作为本地医疗数据在第二阶段的处理结果。经过第一阶段的训练，第二医疗数据处理模型中的线性层能够较好的拟合本地医疗数据的特征。
S60、当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作。
当第二阶段进行一段时间后，本地医疗数据的数量已经达到一定规模，并超出预设数量阈值，同时模型的第二预测准确率的提升幅度大于预设准确率提升阈值，此时，需要对第二医疗数据处理模型中网络层的参数进行更新。因而，可以执行解冻操作，使第二医疗数据处理模型中被冻结的网络层解冻。第二预测准确率的提升幅度指的是第二预测准确率与第一预测准确率的差值与第一预测准确率的比值。预设准确率提升阈值是一个经验参数，可以根据实际情况进行设置。当第二预测准确率的提升幅度对预设准确率提升阈值，同时本地医疗数据的数量足够(即达到预设数量阈值，指的是不少于预设数量阈值)，则可以进入第三阶段对第二医疗数据处理模型训练。在进入第三阶段前，需要对第二医疗数据处理模型执行解冻操作，解冻所有被解冻的网络层。
S70、使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
在执行解冻操作后，需要进行对第二医疗数据处理模型进行训练，直至满足完成训练的条件。在此处，可以基于第二医疗数据处理模型的模型类型选择适当的完成训练的条件。可以将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。获得的第三医疗数据处理模型可以用于处理本地医疗数据，生成处理结果，并且处理结果具有较高的预测准确率。
步骤S10-S70中，获取已训练好的第一医疗数据处理模型，在此处，第一医疗数据处理模型即为待迁移的模型。接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型，在此处，增加线性层可以提高模型的学习能力，设置冻结层可以保持原有模型的稳定性。获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果，在此处，第一阶段为起始的过渡阶段。使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率，在此处，开始对第二医疗数据处理模型进行训练，随着本地医疗数据的增多，逐步提高第二预测准确率。当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果，在此处，进入第二阶段，相较于第一阶段，本地医疗数据处理结果的预测准确率有一定程度的改善。当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作，在此处，当满足进入第三阶段的条件时，需要对冻结的网络层进行解冻。使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型，在此处，获得了迁移学习后的学习成果，即第三医疗数据处理模型。
可选的，如图3所示，步骤S20，即所述接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型，包括：
S201、接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层，所述若干线性层中的第一线性层与所述第一医疗数据处理模型已训练好的网络层连接，该第一线性层用于接收所述已训练好的网络层的输出数据；所述若干线性层中的最后一个线性层用于输出所述第二处理结果；
S202、接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结；
S203、将已增加若干线性层，且已冻结所述已训练好的网络层的第一医疗数据处理模型确定为所述第二医疗数据处理模型。
在本实施例中，主要对第一医疗数据处理模型进行两方面的改造，即新增若干线性层和冻结已训练好的网络层。线性层的数量可以根据实际需要进行设置。训练的数据先输入被冻结的网络层，经网络层处理得到输出数据，然后输入第一线性层。经过多个第一线性层的计算，在线性层的最后一个线性层输出第二处理结果。
可选的，如图4所示，步骤S201，即所述接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层之后，还包括：
S2011、接收线性层调节指令，根据所述线性层调整指令在所述若干线性层设置dropout机制；
S2012、接收神经元激活指令，根据所述神经元激活指令在所述若干线性层设置线性整流函数，通过所述线性整流函数激活所述若干线性层中的神经元；
S2013、接收归一化指令，根据所述归一化指令在所述若干线性层中的最后一个线性层设置归一化指数函数，以通过所述归一化指数函数计算出所述第二处理结果。
本实施例中，主要涉及三个方面的设置，分别为：在线性层间加入dropout机制，用线性整流函数(Relu函数)激活线性层，以及使用归一化指数函数(softmax函数)计算第二处理结果。dropout机制可以防止线性层过拟合，同时提高训练效率。线性整流函数可以在神经元经线性变换后非线性输出结果。归一化指数函数可以确保第二处理结果为非负数，且所有处理结果的和为1。
可选的，如图5所示，步骤S202，即所述接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结之后，还包括：
S2021、接收池化设置指令，根据所述池化设置指令将所有所述已训练好的网络层的隐层输出数据进行均值池化处理，获得池化数据；
S2022、接收输入设置指令，根据所述输入设置指令将所述池化数据输入所述若干线性层中的第一线性层。
本实施例中，增加的线性层输入不仅考虑第一医疗数据处理模型的最后一层输入，也将第一医疗数据处理模型中的各网络层的隐层输出数据作为第一线性层的输入。在此处，池化数据可表示为：
input＝mean-pooling(w1L1,w2L2,...wnLn)
其中，input指的是池化数据，L1，L2，…，Ln为各网络层的隐层输出数据，w1，w2，…，wn是各隐层输出数据的权重，mean-pooling指的是加权平均。
生成的池化数据将输入第一线性层。
可选的，步骤S40中，所述使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，包括：
在第一阶段的训练中，采用warm-up机制调整所述线性层的参数更新的学习率。
在此处，warm-up机制指的是在开始训练时以很小的学习率进行训练，使得线性层熟悉数据，随着训练的进行学习率慢慢变大。在此处，warm-up机制可以是常量warm-up(constant warmup)，也可以是梯度warm-up(gradual warmup)。
可选的，所述预设数量阈值通过以下公式进行计算：
θ＝δ*NummodelA
其中，θ为所述预设数量阈值，δ为超参数，NummodelA为训练所述第一医疗数据处理模型时的数据量。
在此处，δ可以根据实际需要进行设置。NummodelA为训练第一医疗数据处理模型时的数据量，可以指样本数量。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于迁移学习的医疗数据处理装置，该基于迁移学习的医疗数据处理装置与上述实施例中基于迁移学习的医疗数据处理方法一一对应。如图6所示，该基于迁移学习的医疗数据处理装置包括获取第一模型模块10、第一设置模块20、第一阶段处理模块30、训练第二模型模块40、第二阶段处理模块50、第二设置模块60和确定第三模型模块70。各功能模块详细说明如下：
获取第一模型模块10，用于获取已训练好的第一医疗数据处理模型；
第一设置模块20，用于接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
第一阶段处理模块30，用于获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
训练第二模型模块40，用于使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
第二阶段处理模块50，用于当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
第二设置模块60，用于当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
确定第三模型模块70，用于使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
可选的，第一设置模块20还包括：
增加线性层单元，用于接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层，所述若干线性层中的第一线性层与所述第一医疗数据处理模型已训练好的网络层连接，该第一线性层用于接收所述已训练好的网络层的输出数据；所述若干线性层中的最后一个线性层用于输出所述第二处理结果；
冻结网络层单元，用于接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结；
确定第二模型单元，用于将已增加若干线性层，且已冻结所述已训练好的网络层的第一医疗数据处理模型确定为所述第二医疗数据处理模型。
可选的，第一设置模块20包括：
线性层调节单元，用于接收线性层调节指令，根据所述线性层调整指令在所述若干线性层设置dropout机制；
神经元激活单元，用于接收神经元激活指令，根据所述神经元激活指令在所述若干线性层设置线性整流函数，通过所述线性整流函数激活所述若干线性层中的神经元；
归一化单元，用于接收归一化指令，根据所述归一化指令在所述若干线性层中的最后一个线性层设置归一化指数函数，以通过所述归一化指数函数计算出所述第二处理结果。
可选的，第一设置模块20还包括：
池化设置单元，用于接收池化设置指令，根据所述池化设置指令将所有所述已训练好的网络层的隐层输出数据进行均值池化处理，获得池化数据；
输入设置单元，用于接收输入设置指令，根据所述输入设置指令将所述池化数据输入所述若干线性层中的第一线性层。
可选的，训练第二模型模块40包括：
参数更新单元，用于在第一阶段的训练中，采用warm-up机制调整所述线性层的参数更新的学习率。
可选的，所述预设数量阈值通过以下公式进行计算：
θ＝δ*NummodelA
其中，θ为所述预设数量阈值，δ为超参数，NummodelA为训练所述第一医疗数据处理模型时的数据量。
关于基于迁移学习的医疗数据处理装置的具体限定可以参见上文中对于基于迁移学习的医疗数据处理方法的限定，在此不再赘述。上述基于迁移学习的医疗数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储上述基于迁移学习的医疗数据处理方法所涉及的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种基于迁移学习的医疗数据处理方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现以下步骤：
获取已训练好的第一医疗数据处理模型；
接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
在一个实施例中，提供了一个或多个存储有计算机可读指令的计算机可读存储介质，本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。可读存储介质上存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时实现以下步骤：
获取已训练好的第一医疗数据处理模型；
接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于迁移学习的医疗数据处理方法，其特征在于，包括：
获取已训练好的第一医疗数据处理模型；
接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
2.如权利要求1所述的基于迁移学习的医疗数据处理方法，其特征在于，所述接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型，包括：
接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层，所述若干线性层中的第一线性层与所述第一医疗数据处理模型已训练好的网络层连接，该第一线性层用于接收所述已训练好的网络层的输出数据；所述若干线性层中的最后一个线性层用于输出所述第二处理结果；
接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结；
将已增加若干线性层，且已冻结所述已训练好的网络层的第一医疗数据处理模型确定为所述第二医疗数据处理模型。
3.如权利要求2所述的基于迁移学习的医疗数据处理方法，其特征在于，所述接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层之后，还包括：
接收线性层调节指令，根据所述线性层调整指令在所述若干线性层设置dropout机制；
接收神经元激活指令，根据所述神经元激活指令在所述若干线性层设置线性整流函数，通过所述线性整流函数激活所述若干线性层中的神经元；
接收归一化指令，根据所述归一化指令在所述若干线性层中的最后一个线性层设置归一化指数函数，以通过所述归一化指数函数计算出所述第二处理结果。
4.如权利要求2所述的基于迁移学习的医疗数据处理方法，其特征在于，所述接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结之后，还包括：
接收池化设置指令，根据所述池化设置指令将所有所述已训练好的网络层的隐层输出数据进行均值池化处理，获得池化数据；
接收输入设置指令，根据所述输入设置指令将所述池化数据输入所述若干线性层中的第一线性层。
5.如权利要求2所述的基于迁移学习的医疗数据处理方法，其特征在于，所述使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，包括：
在第一阶段的训练中，采用warm-up机制调整所述线性层的参数更新的学习率。
6.如权利要求1所述的基于迁移学习的医疗数据处理方法，其特征在于，所述预设数量阈值通过以下公式进行计算：
θ＝δ*NummodelA
其中，θ为所述预设数量阈值，δ为超参数，NummodelA为训练所述第一医疗数据处理模型时的数据量。
7.一种基于迁移学习的医疗数据处理装置，其特征在于，包括：
获取第一模型模块，用于获取已训练好的第一医疗数据处理模型；
第一设置模块，用于接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
第一阶段处理模块，用于获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
训练第二模型模块，用于使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
第二阶段处理模块，用于当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
第二设置模块，用于当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
确定第三模型模块，用于使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
8.如权利要求7所述的基于迁移学习的医疗数据处理装置，其特征在于，所述第一设置模块包括：
增加线性层单元，用于接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层，所述若干线性层中的第一线性层与所述第一医疗数据处理模型已训练好的网络层连接，该第一线性层用于接收所述已训练好的网络层的输出数据；所述若干线性层中的最后一个线性层用于输出所述第二处理结果；
冻结网络层单元，用于接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结；
确定第二模型单元，用于将已增加若干线性层，且已冻结所述已训练好的网络层的第一医疗数据处理模型确定为所述第二医疗数据处理模型。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至6中任一项所述基于迁移学习的医疗数据处理方法。
10.一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至6中任一项所述基于迁移学习的医疗数据处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010941857.9A CN112016702B (zh) | 2020-09-09 | 2020-09-09 | 基于迁移学习的医疗数据处理方法、装置、设备及介质 |
| PCT/CN2020/124217 WO2021151324A1 (zh) | 2020-09-09 | 2020-10-28 | 基于迁移学习的医疗数据处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010941857.9A CN112016702B (zh) | 2020-09-09 | 2020-09-09 | 基于迁移学习的医疗数据处理方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112016702A true CN112016702A (zh) | 2020-12-01 |
| CN112016702B CN112016702B (zh) | 2023-07-28 |
Family
ID=73521469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010941857.9A Active CN112016702B (zh) | 2020-09-09 | 2020-09-09 | 基于迁移学习的医疗数据处理方法、装置、设备及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112016702B (zh) |
| WO (1) | WO2021151324A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113747450A (zh) * | 2021-07-27 | 2021-12-03 | 清华大学 | 一种移动网络中业务部署方法、装置及电子设备 |
| CN114386454A (zh) * | 2021-12-09 | 2022-04-22 | 首都医科大学附属北京友谊医院 | 基于信号混合策略的医疗时序信号数据处理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409198A (zh) * | 2018-08-31 | 2019-03-01 | 平安科技（深圳）有限公司 | Au检测模型训练方法、au检测方法、装置、设备及介质 |
| US20190139643A1 (en) * | 2017-11-08 | 2019-05-09 | International Business Machines Corporation | Facilitating medical diagnostics with a prediction model |
| WO2019136806A1 (zh) * | 2018-01-12 | 2019-07-18 | 平安科技（深圳）有限公司 | 医疗模型训练方法、医疗识别方法、装置、设备及介质 |
| CN110660478A (zh) * | 2019-09-18 | 2020-01-07 | 西安交通大学 | 一种基于迁移学习的癌症图像预测判别方法和系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10135948B2 (en) * | 2016-10-31 | 2018-11-20 | Cisco Technology, Inc. | System and method for process migration in a content centric network |
| CN108874754A (zh) * | 2018-05-30 | 2018-11-23 | 苏州思必驰信息科技有限公司 | 语言模型压缩方法和系统 |
| CN109977848B (zh) * | 2019-03-22 | 2024-01-05 | 广州新视展投资咨询有限公司 | 色情检测模型的训练方法及装置、计算机设备及可读介质 |
| CN110378252A (zh) * | 2019-06-28 | 2019-10-25 | 浙江大学 | 一种基于深度迁移学习的混凝土裂缝识别方法 |
| CN110543815B (zh) * | 2019-07-22 | 2024-03-08 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质 |
-
2020
- 2020-09-09 CN CN202010941857.9A patent/CN112016702B/zh active Active
- 2020-10-28 WO PCT/CN2020/124217 patent/WO2021151324A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190139643A1 (en) * | 2017-11-08 | 2019-05-09 | International Business Machines Corporation | Facilitating medical diagnostics with a prediction model |
| WO2019136806A1 (zh) * | 2018-01-12 | 2019-07-18 | 平安科技（深圳）有限公司 | 医疗模型训练方法、医疗识别方法、装置、设备及介质 |
| CN109409198A (zh) * | 2018-08-31 | 2019-03-01 | 平安科技（深圳）有限公司 | Au检测模型训练方法、au检测方法、装置、设备及介质 |
| CN110660478A (zh) * | 2019-09-18 | 2020-01-07 | 西安交通大学 | 一种基于迁移学习的癌症图像预测判别方法和系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113747450A (zh) * | 2021-07-27 | 2021-12-03 | 清华大学 | 一种移动网络中业务部署方法、装置及电子设备 |
| CN114386454A (zh) * | 2021-12-09 | 2022-04-22 | 首都医科大学附属北京友谊医院 | 基于信号混合策略的医疗时序信号数据处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112016702B (zh) | 2023-07-28 |
| WO2021151324A1 (zh) | 2021-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109102126B (zh) | 一种基于深度迁移学习的理论线损率预测模型 | |
| CN111970163B (zh) | 一种基于注意力机制的lstm模型的网络流量预测方法 | |
| Li et al. | A ship motion forecasting approach based on empirical mode decomposition method hybrid deep learning network and quantum butterfly optimization algorithm | |
| CN106022521B (zh) | 基于Hadoop架构的分布式BP神经网络的短期负荷预测方法 | |
| CN112529283A (zh) | 基于注意力机制的综合能源系统短期负荷预测方法 | |
| CN112016702B (zh) | 基于迁移学习的医疗数据处理方法、装置、设备及介质 | |
| CN111126668A (zh) | 基于图卷积网络的Spark作业时间预测方法和装置 | |
| CN111461463A (zh) | 一种基于tcn-bp的短期负荷预测方法、系统及设备 | |
| CN109638883B (zh) | 电网电压控制方法、装置、计算机设备和存储介质 | |
| CN114065653A (zh) | 电力负荷预测模型的构建方法与电力负荷预测方法 | |
| CN116629461B (zh) | 一种主动配电网分布式优化方法、系统、设备及存储介质 | |
| CN110378470A (zh) | 神经网络模型的优化方法、装置以及计算机存储介质 | |
| KR20190141581A (ko) | 데이터 예측을 위한 인공신경망을 학습하는 방법 및 장치 | |
| CN113537591A (zh) | 长期天气预测方法、装置、计算机设备及存储介质 | |
| Dai et al. | Incremental learning paradigm with privileged information for random vector functional-link networks: IRVFL+ | |
| CN116822722A (zh) | 水位预测方法、系统、装置、电子设备及介质 | |
| CN114741952A (zh) | 一种基于长短期记忆网络的短期负荷预测方法 | |
| CN113449863A (zh) | 一种基于查表的神经网络量化方法 | |
| CN113610709A (zh) | 模型量化方法、装置、电子设备和计算机可读存储介质 | |
| CN112488224A (zh) | 模型训练方法、装置、计算机设备及存储介质 | |
| CN113705929A (zh) | 一种基于负荷特征曲线及典型特征值融合的春节假期负荷预测方法 | |
| CN111784535A (zh) | 一种基于反馈神经网络的风能直接区间预测方法和装置 | |
| CN115238873B (zh) | 神经网络模型部署方法、装置、计算机设备 | |
| CN111651904A (zh) | 基于机器学习的流场数据计算方法和装置 | |
| CN116384469B (zh) | 一种智能体策略生成方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40040150 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |