CN115861255A - 用于图像处理的模型训练方法、装置、设备、介质及产品 - Google Patents

Abstract

本发明公开了一种用于图像处理的模型训练方法、装置、设备、介质及产品。获取第一样本集；基于第一样本集对第一神经网络进行训练，得到第一目标网络；将第一目标网络中的编码器和预先确定的待训练解码器进行拼接，得到第二神经网络；基于第二样本集对第二神经网络进行训练，得到目标神经网络，以基于目标神经网络对图像进行处理，解决了基于影像数据对就诊用户的病症信息进行评估时，由于缺乏大量标注数据，导致效率低、准确性低的技术问题，使得神经网络模型能够在小样本上也取得很好的训练效果，从而提高病症评估的效率以及准确率。

Description

用于图像处理的模型训练方法、装置、设备、介质及产品

技术领域

本发明涉及数据处理技术领域，尤其涉及用于图像处理的模型训练方法、装置、设备、介质及产品。

背景技术

在医学大数据中，影像包含了丰富的语义信息，对就诊用户病症评估具有重要作用，通过影像数据协助医生临床决策是至关重要的。

目前，可以采用机器学习的算法实现病症的评估，这种方法需要基于大量的已标注的医学影像数据训练机器学习模型算法的参数，才可以得到理想的机器学习模型算法。其中，影像数据的标注是由具有专业知识的接诊用户完成的。

但是，人工标注影像数据不仅费时费力，而且效率相对较低。另外，目前无法有效获取大量标注的医学影像数据，而利用小样本影像数据训练机器学习模型算法，得到的模型对就诊用户的病症评估具有局限性，存在预测效率低，准确率低的技术问题。

发明内容

本发明提供了用于图像处理的模型训练方法、装置、设备、介质及产品，可以通过少量标注或不标注的训练样本训练自监督任务，作为训练模型的预训练参数，使得模型能够在小样本上也取得很好的训练效果，从而提高病症评估的效率以及准确率。

第一方面，本发明提供了一种用于图像处理的模型训练方法，该方法包括：

获取第一样本集，其中，第一样本集中包括多个训练样本，训练样本中包括至少一个掩膜子三维图像，至少一个掩膜子三维图像未进行图标标注；

基于第一样本集对第一神经网络进行训练，得到第一目标网络；

将第一目标网络中的编码器和预先确定的待训练解码器进行拼接，得到第二神经网络；

基于第二样本集对第二神经网络进行训练，得到目标神经网络，以基于目标神经网络对图像进行处理；其中，第二样本集中包括至少一个三维图像以及相应的标注标签，第一样本集和第二样本集中的训练样本均为包括同一病灶部位的三维图像。

第二方面，本发明提供了一种用于图像处理的模型训练装置，该装置包括：

第一样本获取模块，用于获取第一样本集，其中，所述第一样本集中包括多个训练样本，所述训练样本中包括至少一个掩膜子三维图像，所述至少一个掩膜子三维图像未进行图标标注；

第一网络确定模块，用于基于所述第一样本集对第一神经网络进行训练，得到第一目标网络；

第二网络确定模块，用于将所述第一目标网络中的编码器和预先确定的待训练解码器进行拼接，得到第二神经网络；

图像处理模块，用于基于第二样本集对所述第二神经网络进行训练，得到目标神经网络，以基于所述目标神经网络对图像进行处理；其中，所述第二样本集中包括至少一个三维图像以及相应的标注标签，所述第一样本集和所述第二样本集中的训练样本均为包括同一病灶部位的三维图像。

第三方面，本发明提供了一种数据处理电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的用于图像处理的模型训练方法。

第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的用于图像处理的模型训练方法。

第五方面，本发明提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现本发明任一实施例的用于图像处理的模型训练方法。

本发明实施例提供的技术方案，首先获取第一样本集，其中，第一样本集中包括多个训练样本，训练样本中包括至少一个掩膜子三维图像，至少一个掩膜子三维图像未进行图标标注。进而基于第一样本集对第一神经网络进行训练，得到第一目标网络，随后将第一目标网络中的编码器和预先确定的待训练解码器进行拼接，得到第二神经网络，进一步的，基于第二样本集对第二神经网络进行训练，得到目标神经网络，以基于目标神经网络对图像进行处理，其中，第二样本集中包括至少一个三维图像以及相应的标注标签，第一样本集和第二样本集中的训练样本均为包括同一病灶部位的三维图像。本发明实施例解决了基于影像数据对就诊用户的病症信息进行评估时，由于缺乏大量标注数据，导致效率低、准确性低的技术问题，可以通过少量标注或不标注的训练样本训练自监督任务，作为神经网络模型的预训练参数，以使神经网络模型能够在小样本上也取得很好的训练效果，从而提高病症评估的效率以及准确率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种用于图像处理的模型训练方法的流程图；

图2为本发明实施例二提供的一种用于图像处理的模型训练方法的流程图；

图3为本发明实施例四提供的一种用于图像处理的模型训练装置结构示意图；

图4为本发明实施例五提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一预设条件”、“第二预设条件”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种用于图像处理的模型训练方法的流程图，本实施例可适用于基于影像数据对就诊用户的病症信息进行评估时的情形。该方法可以由用于图像处理的模型训练装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可以配置在计算机设备上，该计算机设备可以是笔记本、台式计算机以及智能平板等。如图1所示，该方法包括：

S110、获取第一样本集。

在本实施例中，就诊用户在检查病症时，可以产生检查结果文件，这些文件中的数据记载内容为三维影像数据。三维影像数据包含了就诊用户病灶的大小以及形状。例如，三维影像数据可以是核磁共振图像(Magnetic Resonance Imaging，MRI)对应的三维影像数据。第一样本集为对多个三维影像数据进行掩膜处理确定的多个训练样本。

其中，第一样本集中包括多个训练样本，训练样本中包括至少一个掩膜子三维图像，至少一个掩膜子三维图像未进行图标标注。

其中，可以将一个三维图像划分为多个子三维图像，对子三维图像中的部分像素进行遮挡，得到掩膜子三维图像，掩膜子三维图像的数量可以是一个或者多个。训练样本中包含的掩膜子三维图像为未进行人工标注的三维图像。

具体的，第一样本集可以通过移动终端设备上传到数据处理平台上，当需要对就诊用户的影像数据症状进行评估时，可以直接调取用户上传的数据。

在上述实施例的基础上，获取第一样本集，包括：获取包括待处理病灶部位的多个三维图像；对多个三维图像预处理，得到多个目标三维图像；按照预先设置的分割规则将多个目标三维图像分割为至少一个子三维图像；分别对至少一个子三维图像掩膜处理，得到与每个子三维图像相对应的掩膜子三维图像，并记录各掩膜子三维图像所对应的图像编码。

其中，待处理病灶部位为三维影像数据中包括的病灶部位。预处理可以理解为将原始的三维图像进行去噪、校正等处理，以得到信噪比高的三维图像。目标三维图像为对原始获取到的三维影像数据进行预处理后得到的三维图像。分割规则为预先设定好的将一个目标三维图像分割为几个子三维图像，例如，可以预先设定将一个目标三维图像分割为9个子三维图像。对于各子三维图像的部分内容进行擦除，以达到子三维图像中的部分内容被遮挡效果，基于此得到的图像为掩膜子三维图像。图像编码可以理解为每一个掩膜子三维图像进行数字编号，图像编码可以作为对应掩膜子三维图像的标识信息。例如，至少一个掩膜子三维图像包括：掩膜子三维图像1、掩膜子三维图像2和掩膜子三维图像3，掩膜子三维图像1对应的图像编码为“1”，掩膜子三维图像2对应的图像编码为“2”，掩膜子三维图像3对应的图像编码为“3”。

在本实施例中，为了得到分类准确率相对理想的分类模型，需要基于大量的样本数据对模型进行训练。在就诊用户就诊的过程中，可以基于图像拍摄设备采集就诊用户病灶部位的三维图像，在拍摄完成三维图像后，可以在就诊用户知情的前提下将就诊用户对应的三维图像作为模型训练的样本。具体的，可以将与就诊用户相对应的三维影像数据存储在预先配置的数据库中，可以从数据库中调取包括就诊用户的待处理病灶部位的多个三维图像。由于获取到的多个三维图像为原始图像，可能存在大量的噪声以及干扰信息，因此可以先对多个三维图像进行预处理，例如，预处理步骤可以包括调整图像的Spacing、方向等参数，还可以包括对图像进行归一化、背景去除等。对多个三维图像进行预处理后可以得到多个目标三维图像，随后可以按预设分割规则将每个目标三维图像分割成预设个数的子三维图像，进一步的，对每个子三维图像进行掩膜处理以得到每个子三维图像对应的子三维图像掩膜处理，对于每个目标三维图像的每个子三维图像掩膜处理为其确定图像编码。

示例性的，若获取到包括待处理病灶部位的3个三维图像，3个三维图像分别是三维图像A、三维图像B和三维图像C，首先对这3个三维图像进行预处理去噪得到3个目标三维图像，随后可以将这3个目标三维图像分别分割成4个子三维图像，此时可以得到12个子三维图像，对于每一个子三维图像对其进行掩膜处理，得到12个与每个子三维图像相对应的掩膜子三维图像。三维图像A对应的4个掩膜子三维图像包括：掩膜子三维图像A1、掩膜子三维图像A2、掩膜子三维图像A3和掩膜子三维图像A4，掩膜子三维图像A1对应的图像编码为“1”、掩膜子三维图像A2对应的图像编码为“2”、掩膜子三维图像A3对应的图像编码为“3”、掩膜子三维图像A4对应的图像编码为“4”。三维图像B和三维图像C每个掩膜子三维图像的图像编码方式与三维图像A的图像编码方式是相同的，在此不再赘述。

S120、基于第一样本集对第一神经网络进行训练，得到第一目标网络。

其中，第一神经网络为预先确定其网络结构的神经网络，此时网络中的网络参数为初始值，例如，第一神经网络可以是SegResNet神经网络结构，在此网络结构的基础上，基于训练样本对网络中参数进行修正，以得到第一目标网络。第一目标网络为对第一神经网络的网络参数进行修正得到的神经网络模型。

具体的，对于预先确定的第一神经网络，网络中的一些参数值是人为设定的初始值。在实际应用的过程中，为了使神经网络预测的结果与实际情况更加贴合，可以基于第一样本集数据对第一神经网络的网络参数进行优化，以得到第一目标网络。

在上述实施例的基础上，基于第一样本集对第一神经网络进行训练，得到第一目标网络，可以包括如下步骤：

S121、对于各掩膜子三维图像，将当前掩膜子三维图像输入至第一神经网络中，得到与当前掩膜子三维图像相对应的实际三维向量。

其中，实际三维向量为将掩膜子三维图像输入至第一神经网络，第一神经网络输出的三维向量。其中，实际三维向量与掩膜子三维图像的维度是相对应的，即若掩膜子三维图像为由a×b×c像素点构成的三维图像，则实际三维向量可以表示为：a×b×c的三维向量。

在实际应用过程中，可以将上述示例每个掩膜子三维图像分别输入至第一神经网络中，第一神经网络对掩膜子三维图像处理后得到与掩膜子三维图像对应的实际三维向量。

示例性的，若按照预先设置的分割规则将目标三维图像分割为4个掩膜子三维图像，掩膜子三维图像A1对应的图像编码为“1”、掩膜子三维图像A2对应的图像编码为“2”、掩膜子三维图像A3对应的图像编码为“3”、掩膜子三维图像A4对应的图像编码为“4”，可以依据图像编码依次将各掩膜子三维图像输入至第一神经网络，以得到与各图像编码对应的掩膜子三维图像的实际三维向量。

S122、基于目标激活函数对实际三维向量进行处理，得到与当前掩膜子三维图像相对应的实际分类结果。

其中，目标激活函数为预先设定的激活函数，例如，目标激活函数可以是ReLU激活函数。实际分类结果为将实际三维向量输入至目标激活函数，目标激活函数确定的数值，实际分类结果为具体数值，或者是具体数值对应的概率分布向量。

具体的，可以在第一神经网络的末端拼接一个目标激活函数，第一神经网络基于掩膜子三维图像输出实际三维向量后，目标激活函数可以对实际三维向量进行处理得到实际分类结果。

在上述示例的基础上，若将实际三维向量输入至目标激活函数，目标激活函数可以输出“1”、“2”、“3”或“4”中的任一数值。或者，输出结果可以是：{90，5，5，0}，其中第一个标识位的数值表示“1”的概率分布值、第二个标识位的数值表示“2”的概率分布值、第三个标识位的数值表示“3”的概率分布值、第四个标识位的数值表示“4”的概率分布值。

S123、基于当前掩膜子三维图像和相应的实际三维向量，确定第一损失值，以及基于当前掩膜子三维图像的图像编码和实际分类结果，确定第二损失值。

其中，第一损失值为基于当前掩膜子三维图像对应的三维向量以及将当前掩膜子三维图像输入至第一神经网络得到的实际三维向量确定的损失值。第二损失值为基于当前掩膜子三维图像的图像编码和实际分类结果确定的损失值。例如，当前掩膜子三维图像的图像编码为1，而实际分类结果输出的数值为3，则可以基于1与3确定第二损失值，也可以基于概率分布值确定第二损失值。

S124、基于第一损失值和第二损失值，对第一神经网络中的网络参数进行修正。

在上述示例的基础上，对于第一损失值可以采用CrossEntropyLoss作为损失函数，对于第二损失值可以采用L1Loss与ContrastiveLoss结合作为损失函数，进而可以将两个损失函数的结果相加作为总损失值对第一神经网络中的网络参数进行修正。

S125、将第一神经网络中的损失函数收敛作为训练目标，得到第一目标网络。

在本实施例中，可以将损失函数的训练误差，即损失参数作为检测损失函数当前是否达到收敛的条件，比如训练误差是否小于预设误差或误差变化趋势是否趋于稳定，或者当前的迭代次数是否等于预设次数。若检测达到收敛条件，比如损失函数的训练误差达到小于预设误差或误差变化趋于稳定，表明业务信息预测模型训练完成，此时可以停止迭代训练。若检测到当前未达到收敛条件，可以进一步获取训练样本对第一神经网络进行训练，直至损失函数的训练误差在预设范围之内。当损失函数的训练误差达到收敛时，确定此时的第一神经网络为最终的第一目标网络。

S130、将第一目标网络中的编码器和预先确定的待训练解码器进行拼接，得到第二神经网络。

其中，编码器为第一目标网络中的配置的程序内容。待训练解码器为预先确定的解码器。待训练解码器可以是对于任意的神经网络模型，将这一神经网络模型的编码器舍弃仅保留解码器部分得到的程序内容。

其中，拼接可以理解为将第一目标网络中的编码器的程序内容与待训练解码器的程序内容进行拼接处理，得到一个包含编码器和解码器的神经网络模型。

具体的，可以将第一目标网络的解码器舍弃，仅保留第一目标网络的编码器，对于任意的神经网络模型将其编码器舍弃，仅保留解码器，作为待训练解码器，进而将第一目标网络的编码器对应的程序内容与待训练解码器对应的程序内容进行拼接，得到第二神经网络。

S140、基于第二样本集对第二神经网络进行训练，得到目标神经网络，以基于目标神经网络对图像进行处理。

在本实施例中，可以对多个三维影像数据进行标注得到标注标签，进而将多个三维影像数据以及对应的标注标签作为第二训练样本集。第二样本集中包括至少一个三维图像以及相应的标注标签，第一样本集和第二样本集中的训练样本均为包括同一病灶部位的三维图像。需要特别说明的是，第二样本集的数量是少量的。

具体的，可以将第二样本集的三维图像数据输入至第二神经网络，第二神经网络可以输出与第二样本的三维图像数据相对应的实际标注标签，由于第二样本集中包括对应三维图像数据的标注标签，可以基于实际标注标签以及第二样本集中包括对应三维图像数据的标注标签，确定损失值，以基于损失值对第二神经网络进行网络参数的修正，将进行模型修正后的第二神经网络作为目标神经网络。在确定的目标神经网络模型后可以对三维影像数据进行处理，以得到用户需要的到的结果。

在本实施例中，在基于目标神经网络模型对三维图像数据进行处理时，可以基于目标应用场景，选择与目标场景相对应的目标神经网络。

在上述实施例的基础上，目标应用场景为对待处理病灶部位进行分类的场景，目标神经网络为分类神经网络，上述还包括：将包括待处理病灶部位的待处理图像输入至分类神经网络中，得到与待处理图像相对应的目标分类结果。

在本实施例中，目标应用场景可以包括三种具体的场景，分别是分割目标应用场景、判定目标应用场景和预测目标应用场景。分割目标应用场景是对待处理病灶部位的三维图像数据进行分割，即可以通过对三维图像数据的分类处理确定当前三维图像数据对应的分割图像，以确定病灶部位的具体信息，例如，病灶的大小、病灶的形状等；判定目标应用场景是对待处理病灶部位的三维图像数据进行判定，即可以通过对三维图像数据的分类处理确定当前三维图像数据是否可以表征目标用户的病灶部位对应的病症已经治愈；预测目标应用场景是对待处理病灶部位的三维图像数据进行预测，即可以通过对三维图像数据的分类处理确定当前三维图像数据是否可以通过一定的治疗手段达到病灶部位对应的病症可以得到治愈的效果。

需要特别说明的是，病灶部位对应于目标用户的任意病变部位。

其中，病灶部位为存在病变部位的病灶区域。目标用户为需要进行病症进行评估的就诊用户。病变部位为存在病变的身体部位，例如，病变部位可以是位于乳腺、肝脏、头部等。

其中，目标分类结果与目标应用场景是相对应的。例如，分割目标应用场景对应的目标分类结果为三维图像的图像分割结果，可以是掩膜图像等；判定目标应用场景对应的目标分类结果为“是”或者“否”；预测目标应用场景对应的目标分类结果为“是”或者“否”。

在本实施例中，可以预先训练多个与病变部位相对应的分类神经网络，分类神经网络可以是适用于至少一个目标应用场景的。在实际应用过程中，可以根据具体的目标应用场景选定与目标应用场景相对应的分类神经网络，进而将包括待处理病灶部位的待处理图像输入至分类神经网络中，分类神经网络通过对待处理图像的处理，输出与所选目标场景相对应的目标分类结果。

在上述实施例的基础上，需要说明的是，目标神经网络处理三维图像之后，得到的目标分类结果与训练阶段所采用的目标应用场景是相关的，可以基于目标应用场景对训练样本进行相应的标注，从而基于训练得到的神经网络处理三维图像，以得到与目标应用场景相对应的目标分类结果。

本发明实施例提供的技术方案，首先获取第一样本集，其中，第一样本集中包括多个训练样本，训练样本中包括至少一个掩膜子三维图像，至少一个掩膜子三维图像未进行图标标注。进而基于第一样本集对第一神经网络进行训练，得到第一目标网络，随后将第一目标网络中的编码器和预先确定的待训练解码器进行拼接，得到第二神经网络，进一步的，基于第二样本集对第二神经网络进行训练，得到目标神经网络，以基于目标神经网络对图像进行处理，其中，第二样本集中包括至少一个三维图像以及相应的标注标签，第一样本集和第二样本集中的训练样本均为包括同一病灶部位的三维图像。本发明实施例解决了基于影像数据对就诊用户的病症信息进行评估时，由于缺乏大量标注数据，导致效率低、准确性低的技术问题，可以通过少量标注或不标注的训练样本训练自监督任务，作为神经网络模型的预训练参数，以使神经网络模型能够在小样本上也取得很好的训练效果，从而提高病症评估的效率以及准确率。

实施例二

图2为本发明实施例二提供的一种用于图像处理的模型训练方法的流程图，本发明实施例在上述实施例的基础上对前述实施例S140对应的内容进行进一步细化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图2所示，该方法包括：

S210、获取第一样本集。

S220、基于第一样本集对第一神经网络进行训练，得到第一目标网络。

S230、根据目标应用场景调取待训练解码器。

在本实施例中，可以预先确定多个与各目标应用场景相对应的待训练解码器，将这些预先确定的待训练解码器存储于数据库中。在具体应用时，目标应用场景是确定的，进行根据选定的目标应用场景从数据库中调取与当前目标应用场景相对应的待训练解码器。

S240、将待训练解码器与第一目标网络中的编码器进行拼接，得到第二神经网络。

在本实施例中，可以将第一目标网络中的编码器的程序内容与上述步骤确定与当前目标应用场景相对应的待训练解码器的程序内容进行拼接处理，得到一个包含编码器和解码器的第二网络模型。

S250、获取待处理病灶部位的三维图像，并基于目标应用场景对三维图像进行标注，得到与三维图像相对应的标注标签。

在本实施例中，目标应用场景是可以根据用户的需求进行选定的，在获取待处理病灶部位的三维图像后，根据选定的目标应用场景对三维图像经标注，从而得到与三维图像相对应的标注标签。

示例性的，若选定的目标应用场景为判定目标应用场景，一种确定标注标签的方式是：具有专业医疗知识的用户可以根据已有的专业知识以及自身经验，对待处理病灶部位的三维图像进行分析，从而得到与三维图像相对应的标注标签。还有一种情况是：三维图像中有一部分三维图像对应的最终结果是已知的，例如，有一部分目标用户的三维图像对应的判定结果为“是”。表征通过治疗目标用户的症状已经治愈，此时与三维图像相对应的标注标签是可以直接得知的。

S260、对于第二样本集中的各三维图像，将当前三维图像输入至第二神经网络中，得到与当前三维图像相对应的实际标注标签。

在本实施例中，对于第二样本集中的各三维图像，可以将其中的一个三维图像作为当前三维图像，将当前三维图像输入至第二神经网络中，第二神经网络通过对当前三维图像的计算，可以得到与当前三维图像对应的实际标注标签。

S270、基于实际标注标签和相应的标注标签，确定损失值。

在本实施中，将第二样本集中的每一个三维图像都分别输入至第二神经网络，可以得到每个三维图像对应的实际标注标签。对于每一个三维图像而言，实际标注标签和对应的标注标签均是已知的，此时可以根据每一个三维图像对应的实际标注标签以及标注标签确定损失值，基于此，可以确定第二样本集中每一个三维图像对应的损失值。

S280、基于损失值对第二神经网络中的模型参数进行修正，并将第二神经网络中的损失函数收敛作为训练目标，得到目标神经网络。

在实际应用过程中，在对第二神经网络进行训练之前可以将训练参数设置为默认值。在对第二神经网络进行训练时，可以基于第二样本集中每一个三维图像对应的损失值对第二神经网络中的模型参数进行修正。具体的，可以将损失函数的训练误差，即损失参数作为检测损失函数当前是否达到收敛的条件，比如训练误差是否小于预设误差或误差变化趋势是否趋于稳定，或者当前的迭代次数是否等于预设次数。若检测到当前未达到收敛条件，可以进一步对第二神经网络进行训练，直至损失函数的训练误差在预设范围之内；若检测达到收敛条件，比如损失函数的训练误差达到小于预设误差或误差变化趋于稳定，表明第二神经网络训练完成，此时可以停止迭代训练，将此时的第二神经网络作为目标神经网络。

S290、基于目标神经网络对三维图像进行处理。

上述技术方案，通过获取第一样本集，以基于第一样本集对第一神经网络进行训练，得到第一目标网络，随后根据目标应用场景调取待训练解码器，并将待训练解码器与第一目标网络中的编码器进行拼接，得到第二神经网络。进一步的，获取待处理病灶部位的三维图像，并基于目标应用场景对三维图像进行标注，得到与三维图像相对应的标注标签。对于第二样本集中的各三维图像，将当前三维图像输入至第二神经网络中，得到与当前三维图像相对应的实际标注标签，并基于实际标注标签和相应的标注标签，确定损失值，随后基于损失值对第二神经网络中的模型参数进行修正，并将第二神经网络中的损失函数收敛作为训练目标，得到目标神经网络，以基于目标神经网络对图像进行处理。本发明实施例可以根据不同的目标应用场景，调取与目标应用场景相对应的待训练解码器，确定出与不同应用场景相对应的第二神经网络，并基于少量标注的样本集对第二神经网络进行训练，从而得到目标神经网络，使得目标神经网络的应用范围更广，还可以进一步提高病症评估的效率以及准确率。

实施例三

在本发明实施例中，以一个具体的实施方式介绍一种用于图像处理的模型训练方法，方法包括下列步骤：

(1)收集大量未标注的乳腺相关核磁三维图像，对图像进行预处理，预处理过程具体可以包括调整图像的Spacing、方向等参数，并对图像进行归一化、背景去除等；

(2)按照预先设置的分割规则将三维图像分割为至少一个子三维图像；分别对至少一个子三维图像掩膜处理，得到与每个子三维图像相对应的掩膜子三维图像，并记录各掩膜子三维图像所对应的图像编码。

(3)构建第一神经网络，可以采用SegResNet作为例子，在SegResNet最后一层Conv-Norm-ReLU输出后连接，其中，ReLU作为激活函数。

(4)对于各掩膜子三维图像，将当前掩膜子三维图像输入至第一神经网络中，得到与当前掩膜子三维图像相对应的实际三维向量；基于目标激活函数对实际三维向量进行处理，得到与当前掩膜子三维图像相对应的实际分类结果。基于当前掩膜子三维图像和相应的实际三维向量，确定第一损失值，以及基于当前掩膜子三维图像的图像编码和实际分类结果，确定第二损失值。

(5)对于第一损失值可以采用CrossEntropyLoss作为损失函数，对于第二损失值可以采用L1Loss与ContrastiveLoss结合作为损失函数，进而可以将两个损失函数的结果相加作为总损失值对第一神经网络中的网络参数进行修正，得到第一目标网络。

(6)将第一目标网络中的编码器和预先确定的待训练解码器进行拼接，得到第二神经网络。

(7)若选择分割目标应用场景，将乳腺癌病灶分割任务为下游任务，收集少量标注标签的乳腺癌核磁三位图像，对图像进行预处理，将预处理后的核磁三维图像以及对应的标注标签作为第二样本集；

(8)基于第二样本集对第二神经网络进行训练，得到目标神经网络，以基于目标神经网络对图像进行处理。

本发明实施例提供的技术方案，解决了基于影像数据对就诊用户的病症信息进行评估时，由于缺乏大量标注数据，导致效率低、准确性低的技术问题，可以通过少量标注或不标注的训练样本训练自监督任务，作为神经网络模型的预训练参数，以使神经网络模型能够在小样本上也取得很好的训练效果，从而提高病症评估的效率以及准确率。

实施例四

图3为本发明实施例四提供的一种用于图像处理的模型训练装置的结构示意图，该装置可以执行本发明实施例所提供的用于图像处理的模型训练方法。该装置包括：第一样本获取模块410、第一网络确定模块420、第二网络确定模块430、图像处理模块440。

第一样本获取模块410，用于获取第一样本集，其中，所述第一样本集中包括多个训练样本，所述训练样本中包括至少一个掩膜子三维图像，所述至少一个掩膜子三维图像未进行图标标注；

第一网络确定模块420，用于基于所述第一样本集对第一神经网络进行训练，得到第一目标网络；

第二网络确定模块430，用于将所述第一目标网络中的编码器和预先确定的待训练解码器进行拼接，得到第二神经网络；

图像处理模块440，用于基于第二样本集对所述第二神经网络进行训练，得到目标神经网络，以基于所述目标神经网络对图像进行处理；其中，所述第二样本集中包括至少一个三维图像以及相应的标注标签，所述第一样本集和所述第二样本集中的训练样本均为包括同一病灶部位的三维图像。

在上述各技术方案的基础上，第一样本获取模块410还包括：三维图像获取单元、预处理单元、图像分割单元和图像编码确定单元。

三维图像获取单元，用于获取包括待处理病灶部位的多个三维图像；

预处理单元，用于对所述多个三维图像预处理，得到多个目标三维图像；

图像分割单元，用于按照预先设置的分割规则将所述多个目标三维图像分割为至少一个子三维图像；

图像编码确定单元，用于分别对所述至少一个子三维图像掩膜处理，得到与每个子三维图像相对应的掩膜子三维图像，并记录各掩膜子三维图像所对应的图像编码。

在上述各技术方案的基础上，第一网络确定模块420还包括：实际向量确定单元、实际结果确定单元、损失值确定单元、网络参数修正单元和目标网络确定单元。

实际向量确定单元，用于对于各掩膜子三维图像，将当前掩膜子三维图像输入至第一神经网络中，得到与所述当前掩膜子三维图像相对应的实际三维向量；

实际结果确定单元，用于基于目标激活函数对所述实际三维向量进行处理，得到与所述当前掩膜子三维图像相对应的实际分类结果；

损失值确定单元，用于基于所述当前掩膜子三维图像和相应的实际三维向量，确定第一损失值，以及基于所述当前掩膜子三维图像的图像编码和所述实际分类结果，确定第二损失值；

网络参数修正单元，用于基于所述第一损失值和所述第二损失值，对所述第一神经网络中的网络参数进行修正；

目标网络确定单元，用于将所述第一神经网络中的损失函数收敛作为训练目标，得到所述第一目标网络。

在上述各技术方案的基础上，第二网络确定模块430还包括：解码器调取单元和第二神经网络确定单元。

解码器调取单元，用于根据目标应用场景调取待训练解码器；

第二神经网络确定单元，用于将所述待训练解码器与所述第一目标网络中的编码器进行拼接，得到所述第二神经网络。

在上述各技术方案的基础上，图像处理模块430还包括：标注标签确定单元、实际标注标签确定单元、损失值确定单元和目标神经网络确定单元。

标注标签确定单元，用于获取待处理病灶部位的三维图像，并基于目标应用场景对所述三维图像进行标注，得到与所述三维图像相对应的标注标签；

实际标注标签确定单元，用于对于所述第二样本集中的各三维图像，将当前三维图像输入至所述第二神经网络中，得到与所述当前三维图像相对应的实际标注标签；

损失值确定单元，用于基于所述实际标注标签和相应的标注标签，确定损失值；

目标神经网络确定单元，用于基于所述损失值对所述第二神经网络中的模型参数进行修正，并将所述第二神经网络中的损失函数收敛作为训练目标，得到所述目标神经网络。

在上述各技术方案的基础上，图像处理的模型训练装置还包括所述目标应用场景为对待处理病灶部位进行分类的场景，所述目标神经网络为分类神经网络，所述方法还包括：将包括所述待处理病灶部位的待处理图像输入至所述分类神经网络中，得到与所述待处理图像相对应的目标分类结果。

本发明实施例提供的技术方案，首先获取第一样本集，其中，第一样本集中包括多个训练样本，训练样本中包括至少一个掩膜子三维图像，至少一个掩膜子三维图像未进行图标标注。进而基于第一样本集对第一神经网络进行训练，得到第一目标网络，随后将第一目标网络中的编码器和预先确定的待训练解码器进行拼接，得到第二神经网络，进一步的，基于第二样本集对第二神经网络进行训练，得到目标神经网络，以基于目标神经网络对图像进行处理，其中，第二样本集中包括至少一个三维图像以及相应的标注标签，第一样本集和第二样本集中的训练样本均为包括同一病灶部位的三维图像。本发明实施例解决了基于影像数据对就诊用户的病症信息进行评估时，由于缺乏大量标注数据，导致效率低、准确性低的技术问题，可以通过少量标注或不标注的训练样本训练自监督任务，作为神经网络模型的预训练参数，以使神经网络模型能够在小样本上也取得很好的训练效果，从而提高病症评估的效率以及准确率。

本公开实施例所提供的用于图像处理的模型训练装置可执行本公开任意实施例所提供的用于图像处理的模型训练方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。

实施例五

图4为本发明实施例五提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如用于图像处理的模型训练方法。

在一些实施例中，用于图像处理的模型训练方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的用于图像处理的模型训练方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行用于图像处理的模型训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程用于图像处理的模型训练装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种用于图像处理的模型训练方法，其特征在于，包括：

获取第一样本集，其中，所述第一样本集中包括多个训练样本，所述训练样本中包括至少一个掩膜子三维图像，所述至少一个掩膜子三维图像未进行图标标注；

基于所述第一样本集对第一神经网络进行训练，得到第一目标网络；

将所述第一目标网络中的编码器和预先确定的待训练解码器进行拼接，得到第二神经网络；

基于第二样本集对所述第二神经网络进行训练，得到目标神经网络，以基于所述目标神经网络对图像进行处理；其中，所述第二样本集中包括至少一个三维图像以及相应的标注标签，所述第一样本集和所述第二样本集中的训练样本均为包括同一病灶部位的三维图像。

2.根据权利要求1所述的方法，其特征在于，所述获取第一样本集，包括：

获取包括待处理病灶部位的多个三维图像；

对所述多个三维图像预处理，得到多个目标三维图像；

按照预先设置的分割规则将所述多个目标三维图像分割为至少一个子三维图像；

分别对所述至少一个子三维图像掩膜处理，得到与每个子三维图像相对应的掩膜子三维图像，并记录各掩膜子三维图像所对应的图像编码。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一样本集对第一神经网络进行训练，得到第一目标网络，包括：

对于各掩膜子三维图像，将当前掩膜子三维图像输入至第一神经网络中，得到与所述当前掩膜子三维图像相对应的实际三维向量；

基于目标激活函数对所述实际三维向量进行处理，得到与所述当前掩膜子三维图像相对应的实际分类结果；

基于所述当前掩膜子三维图像和相应的实际三维向量，确定第一损失值，以及基于所述当前掩膜子三维图像的图像编码和所述实际分类结果，确定第二损失值；

基于所述第一损失值和所述第二损失值，对所述第一神经网络中的网络参数进行修正；

将所述第一神经网络中的损失函数收敛作为训练目标，得到所述第一目标网络。

4.根据权利要求1所述的方法，其特征在于，所述将所述第一目标网络中的编码器和预先确定的待训练解码器进行拼接，得到第二神经网络，包括：

根据目标应用场景调取待训练解码器；

将所述待训练解码器与所述第一目标网络中的编码器进行拼接，得到所述第二神经网络。

5.根据权利要求1所述的方法，其特征在于，所述基于第二样本集对所述第二神经网络进行训练，得到目标神经网络，以基于所述目标神经网络对图像进行处理，包括：

获取待处理病灶部位的三维图像，并基于目标应用场景对所述三维图像进行标注，得到与所述三维图像相对应的标注标签；

对于所述第二样本集中的各三维图像，将当前三维图像输入至所述第二神经网络中，得到与所述当前三维图像相对应的实际标注标签；

基于所述实际标注标签和相应的标注标签，确定损失值；

基于所述损失值对所述第二神经网络中的模型参数进行修正，并将所述第二神经网络中的损失函数收敛作为训练目标，得到所述目标神经网络。

6.根据权利要求1所述的方法，其特征在于，所述目标应用场景为对待处理病灶部位进行分类的场景，所述目标神经网络为分类神经网络，所述方法还包括：

将包括所述待处理病灶部位的待处理图像输入至所述分类神经网络中，得到与所述待处理图像相对应的目标分类结果。

7.一种用于图像处理的模型训练装置，其特征在于，包括：

第一样本获取模块，用于获取第一样本集，其中，所述第一样本集中包括多个训练样本，所述训练样本中包括至少一个掩膜子三维图像，所述至少一个掩膜子三维图像未进行图标标注；

第一网络确定模块，用于基于所述第一样本集对第一神经网络进行训练，得到第一目标网络；

第二网络确定模块，用于将所述第一目标网络中的编码器和预先确定的待训练解码器进行拼接，得到第二神经网络；

图像处理模块，用于基于第二样本集对所述第二神经网络进行训练，得到目标神经网络，以基于所述目标神经网络对图像进行处理；其中，所述第二样本集中包括至少一个三维图像以及相应的标注标签，所述第一样本集和所述第二样本集中的训练样本均为包括同一病灶部位的三维图像。

8.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一项所述的用于图像处理的模型训练方法。

9.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6任一项所述的用于图像处理的模型训练方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6任一项所述的用于图像处理的模型训练方法。

Images