CN114627306A - 一种图像处理模型的生成方法、装置、处理方法及终端设备 - Google Patents

Abstract

本申请公开了一种图像处理模型的生成方法、装置、处理方法及终端设备，所述方法包括基于初始数据集及迁移数据集训练得到第一网络模型；基于第一网络模型确定第二网络模型，基于第二数据集对第二网络模型进行训练以得到目标网络模型，并将目标网络模型的特征提取模块作为图像处理模型。本申请利用图像视觉特征可迁移性，对初始数据集和迁移数据集学习得到第一网络模型，并采用迁移数据集对继承第一网络模型的特征提取模块的第二网络模型进行训练，将训练得到目标网络模型的特征提取模块作为图像处理模型，这样对于不同的图像处理任务，可以直接采用该图像处理模型作为特征提取模块，无需对特征提取模块进行训练，降低了图像处理模型的训练成本。

Description

一种图像处理模型的生成方法、装置、处理方法及终端设备

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理模型的生成方法、装置、处理方法及终端设备。

背景技术

随着深度学习的技术逐步成熟，基于卷积神经网络模型被广泛应用在图像处理任务(例如，图像分类任务、图像检测任务以及图像分割任务等)，并且在应用于各图像处理任务的过程中均需要学习图像特征。而目前在将卷积神经网络模型应用于图像处理任务时，将图像处理任务作为独立任务，重新对应用图像处理任务的神经网络模型进行训练，这样增加了神经网络模型的训练成本。

发明内容

本申请要解决的技术问题在于，针对现有技术的不足，提供一种图像处理模型的生成方法、装置、处理方法及终端设备。

为了解决上述技术问题，本申请实施例第一方面提供了一种图像处理模型的生成方法，所述方法包括：

获取初始数据集以及迁移数据集，并基于所述初始数据集以及迁移数据集对预设网络模型进行训练，以得到第一网络模型，其中，所述预设网络模型包括特征提取模块；

基于所述特征提取模块确定第二网络模型，其中，所述第二网络模型包括所述特征提取模块；

基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型，并将所述目标网络模型的特征提取模块作为图像处理模型。

所述图像处理模型的生成方法，其中，所述获取初始数据集以及迁移数据集，并基于所述初始数据集以及迁移数据集对预设网络模型进行训练，以得到第一网络模型具体包括：

获取初始数据集以及迁移数据集；

根据所述初始数据集以及迁移数据集，确定训练数据集；

基于所述训练数据集对预设网络模型进行训练，以得到第一网络模型。

所述图像处理模型的生成方法，其中，所述根据所述初始数据集以及迁移数据集，确定训练数据集具体包括：

获取若干预设角度；

对于每个预设角度，分别将初始数据集中的初始图像以及迁移数据集中的迁移图像按照该预设角度进行旋转，以得到初始数据集对应的目标初始数据集，以及迁移数据集对应的目标迁移数据集；

根据初始数据集、各目标初始数据集、所述迁移数据集以及各目标迁移数据集，生成所述训练数据集。

所述图像处理模型的生成方法，其中，所述第二网络模型中的特征提取模块的模型参数与所述第一网络模型中的模型参数相同。

所述图像处理模型的生成方法，其中，所述第一网络模型包括第一全连接模块，所述基于所述特征提取模块确定第二网络模型具体包括：

获取所述第一网络模型中的特征提取模块，并确定第二全连接模块，其中，第二全连接模块的输出维度小于所述第一全连接模块的输出维度；

将所述特征提取模块与所述第二全连接模块级联，以得到第二网络模型。

所述图像处理模型的生成方法，其中，所述基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型之前，所述方法还包括：

将所述迁移数据集中的迁移图像按照各自对应的类别标签划分为若干子数据集，其中，若干子数据集中的各迁移图像对应的类别标签相同；

对于若干子数据集中的每两个子数据集，根据两个子数据集中第一子数据集和两个子数据集中的第二子数据集生成候选数据集；

将生成的所有候选数据集作为迁移数据集。

所述图像处理模型的生成方法，其中，所述根据两个子数据集中第一子数据集和两个子数据集中的第二子数据集生成候选数据集具体包括：

对于第一子数据集以及第二子数据集中的每个迁移图像，获取该迁移图像的边缘像素点，并在获取到边缘像素点中选取若干目标边缘像素点；在该迁移图像中选取各目标边缘像素点各自对应的第一图像，其中，每一个目标边缘像素点均为其对应的第一图像中的一个像素点；根据该迁移图像，确定各第一图像各自对应的第二图像，其中，所述第二图像为迁移图像去除第一图像外的图像区域；

根据基于各迁移图像选取到的所有第一图像和所有第二图像，生成候选数据集。

所述图像处理模型的生成方法，其中，所述基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型包括：

在所述迁移数据集中选取一候选数据集，基于该候选数据集对所述第二网络模型进行训练，以得到候选网络模型；

获取候选网络模型中的特征提取模块的网络参数，并将该网络参数配置于第二网络模型，以更新所述第二网络模型；

继续在所述迁移数据集中选取一候选数据集的步骤，直至所述迁移数据集中的所有候选数据集均被选取到，其中，每次选取到的候选数据集互不相同。

所述图像处理模型的生成方法，其中，所述基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型，并将所述目标网络模型的特征提取模块作为图像处理模型之后，所述方法还包括：

获取目标迁移数据集，并确定所述目标迁移数据集对应的第三全连接模块；

获取所述图像处理模型，将所述图像处理模型作为所述目标迁移数据集对应的目标特征提取模块；

将该目标特征提取模块与所述第三全连接模块级联，以得到所述目标迁移数据集对应的第三网络模型；

基于所述目标迁移数据集对所述第三网络模型进行训练，以得到所述目标迁移数据集对应的目标图像处理模型。

所述图像处理模型的生成方法，其中，所述目标图像处理模型中的目标特征提取模块的网络参数与第三网络模型中的目标特征提取模块的网络参数相同。

本申请实施例第二方面提供了一种处理方法，所述方法应用于如上所述的图像处理模型，所述方法包括：

获取待处理图像；

将所述待处理图像输入所述图像处理模型，通过所述图像处理模型输出所述待处理图像对应的输出图像。

本申请实施例第三方面提供了一种生成装置，所述生成装置包括：

获取模块，用于获取初始数据集以及迁移数据集，并基于所述初始数据集以及迁移数据集对预设网络模型进行训练，以得到第一网络模型，其中，所述预设网络模型包括特征提取模块；

确定模块，用于基于所述特征提取模块确定第二网络模型，其中，所述第二网络模型包括所述特征提取模块；

训练模块，用于基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型，并将所述目标网络模型的特征提取模块作为图像处理模型。

本申请实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像处理模型的生成方法中的步骤，或者以实现如上所述的处理方法中的步骤。

本申请实施例第五方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如上任一所述的图像处理模型的生成方法中的步骤，或者实现如上所述的处理方法中的步骤。

有益效果：与现有技术相比，本申请提供了一种图像处理模型的生成方法、装置、处理方法及终端设备，所述方法包括获取初始数据集以及迁移数据集，并基于所述初始数据集以及迁移数据集对预设网络模型进行训练，以得到第一网络模型；基于所述特征提取模块确定第二网络模型，并基于所述迁移数据集生成第二数据集；基于所述第二数据集对所述第二网络模型进行训练以得到目标网络模型，并将所述目标网络模型的特征提取模块作为图像处理模型。本申请利用图像视觉特征可迁移性，对初始数据集和迁移数据集学习得到第一网络模型，并采用迁移数据集对继承第一网络模型的特征提取模块的第二网络模型进行训练，将训练得到目标网络模型的特征提取模块作为图像处理模型，使得图像处理模型可以学习图像特征，这样对于不同需要学习图像特征的图像处理任务，可以直接采用该图像处理模型作为特征提取模块，无需对特征提取模块进行训练，降低了图像处理模型的训练成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的图像处理模型的生成方法的流程图。

图2为本申请提供的图像处理模型的生成方法的流程示例图。

图3为本申请提供的图像处理模型的生成方法中训练数据集确定过程的原理图。

图4为本申请提供的图像处理模型的生成方法中候选数据集确定过程的原理图。

图5为本申请提供的处理方法的流程图。

图6为本申请提供的生成装置的结构原理图。

图7为本申请提供的终端设备的结构原理图。

具体实施方式

本申请提供一种图像处理模型的生成方法、装置、处理方法及终端设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

发明人经过研究发现，深度学习的技术逐步成熟，基于卷积神经网络模型CNN被广泛应用在图像处理任务(例如，图像分类任务、图像检测任务以及图像分割任务等)。虽然通过CNN模型提取图像特征来解决图像任务已经被证明其有效性，但是,CNN模型的训练过程对训练数据的依赖程度非常大，例如，当训练数据集不足，CNN模型的模型精度会受到影响。另外，目前在将CNN模型应用图像视觉任务时，针对不同的图像视觉任务，均需要重新训练CNN模型，甚至，对于同一图像视觉任务，当图像视觉任务出现新的类别或者新数据出现时，也需要重新训练模型，这样不但增加了CNN模型的训练练成本，还降低了CNN模型的训练效率。

然而，对不同的图像视觉任务，人类的视觉针对不同的视觉任务是具有很好的迁移学习能力的，比如，在识别图像中的苹果(分类)的同时可以确定图像中苹果的位置。换句话说，在仔细图像携带物品分类任务确定的图像特征，可以用于图像携带物品的检测任务中。由此，基于图像视觉具有迁移学习的特性，本申请实施例在获取初始数据集以及迁移数据集后，基于初始数据集及迁移数据集训练得到第一网络模型；基于第一网络模型确定第二网络模型，基于第二数据集对第二网络模型进行训练以得到目标网络模型，并将目标网络模型的特征提取模块作为图像处理模型。本申请利用图像视觉特征可迁移性，对初始数据集和迁移数据集学习得到第一网络模型，并采用迁移数据集对继承第一网络模型的特征提取模块的第二网络模型进行训练，将训练得到目标网络模型的特征提取模块作为图像处理模型，这样对于不同的图像处理任务，可以直接采用该图像处理模型作为特征提取模块，无需对特征提取模块进行训练，降低了图像处理模型的训练成本。

下面结合附图，通过对实施例的描述，对申请内容作进一步说明。

图1是本实施例提供的一种图像处理模型的生成方法的流程示意图。该方法可以由系统升级装置来执行，所述装置可以由软件实现，应用于诸如PC机、服务器或个人数字助理等之类的电子终端上。参见图1和图2，本实施例提供的图像处理模型的生成方法具体包括：

S10、获取初始数据集以及迁移数据集，并基于所述初始数据集以及迁移数据集对预设网络模型进行训练，以得到第一网络模型，其中，所述预设网络模型包括特征提取模块。

具体地，所述初始数据集和所述迁移数据集均用于基于图像视觉的图像处理任务，其中，所述初始数据集对应的图像处理任务与所述迁移数据集对应的图像处理任务不同。例如，所述初始数据集对应的图像处理任务为分类图像中的对象的分类任务(例如，图像为携带有苹果的图像，通过该图像处理任务得到的处理结果为图像中的对象为苹果)，迁移数据集对应的图像处理任务为检测图像中的对象位置的检测任务，(例如，图像为携带有苹果的图像，通过该图像处理任务得到的处理结果为苹果在图像中的位置信息)。

在本实施例的一个实现方式中，初始图像集包括若干初始图像组，初始图像组对应的类别不同，所述初始图像组对应的类别不同为初始图像组对应的图像处理任务对应的类别。所述迁移图像集包括若干迁移图像组，迁移图像组对应的类别不同，所述初始图像组对应的类别不同为初始图像组对应的图像处理任务对应的类别。例如，初始图像组对应的图像处理任务为面板缺陷形态检测，那么类别为面板缺陷形态类别；迁移数据集对应的图像处理任务为面板缺陷成因检测，那么类别为面板缺陷成因类别。在一个具体实现方式中，所述初始图像对应的类别数量与迁移数据对应的类别数量不相同，这样可以使得后续训练得到图像处理模型可以适用于具有不同类别数量的图像处任务。当然，在实际应用中，所述初始图像集的图像数量大于所述迁移数据集的图像数量。

在本实施例的一个实现方式中，所述初始图像集中的各初始图像以及迁移数据集中的各迁移图像均可以是通过成像系统(如，照相机、摄像机等)拍摄的得到，也可以均是其他外部设备(例如，数码相机等)拍摄并存储于终端设备的图像，还可以均是通过云端发送至终端设备的图像，其中，每个初始图像均包括该初始图像对应的类别标注，每个迁移图像均包括该迁移图像对应的类别标注。

在本实施例的一个实现方式中，所述获取初始数据集以及迁移数据集，并基于所述初始数据集以及迁移数据集对预设网络模型进行训练，以得到第一网络模型具体包括：

获取初始数据集以及迁移数据集；

根据所述初始数据集以及迁移数据集，确定训练数据集；

基于所述训练数据集对预设网络模型进行训练，以得到第一网络模型。

具体地，所述预设网络模型为未经过训练的网络模型，所述训练数据集为所述预设网络模型对应的训练样本数据集，所述第一网络模型为预设网络模型进行训练得到的网络模型，其中，第一网络模型的模型结构与预设网络模型的模型结构相同，第一网络模型的模型参数与预设网络模型的模型参数不同。所述预设网络模型的模型参数为初始模型参数，所述第一网络模型的模型参数为采用训练数据对预设网络模型进行训练后，得到的模型参数。本实施例通过采用初始数据集以及迁移数据集共同训练第一网络模型，第一网络模型可以学习初始数据集和迁移数据集的通用特征，从而可以提高第一网络模型的通用性。

所述预设网络模型包括特征图提取模块、第一全连接模块以及分类模块，所述特征图提取模块、第一全连接模块以及分类模块依次级联。由于所述第一网络模型与预设网络模型的模型结构相同，从而第一网络模型包括特征图提取模块、第一全连接模块以及分类模块。在所述第一网络模型中，所述特征提取模块的输入项为训练图像集中的训练图像，特征提取模块的输出项为第一全连接模型的输入项，第一全连接模块的输出项为训练图像对应的类别。在本实施例的一个实现方式中，所述特征提取模块为卷积网络模型，所述第一全连接层的输出项为8维向量，其中，所述特征提取模块为第一网络模型的主干网络，所述第一全连接层为第一网络模型的头部网络，所述分类模块采用softmax函数。

所述训练数据集用于训练所述预设网络模型，所述训练数据集包括初始图像集中的各初始图像以及迁移图像集中的各迁移图像。此外，为了提高训练图像集的多样性，在基于初始数据集和迁移数据集确定训练数据集时，可以初始数据集以及迁移数据集进行增强。相应的，在本实施例的一个实现方式中，所述根据所述初始数据集以及迁移数据集，确定训练数据集具体包括：

获取若干预设角度；

对于每个预设角度，分别将初始数据集中的初始图像以及迁移数据集中的迁移图像按照该预设角度进行旋转，以得到初始数据集对应的目标初始数据集，以及迁移数据集对应的目标迁移数据集；

根据初始数据集、各目标初始数据集、所述迁移数据集以及各目标迁移数据集，生成所述训练数据集。

具体地，所述若干预设角度均为预先设置，用于对初始图像以及迁移图像进行旋转，并若干预设角度中的各预设角度互不相同。例如，若干预设角度包括预设角度A和预设角度B，预设角度A为90°，预设角度B为270°等。所述若干预设角度的各预设角度由小到达排序后，任意相邻两个预设角度的角度差相同，例如，所述预设角度包括预设角度A、预设角度B以及预设角度C，预设角度A、预设角度B以及预设角度C由小到大排列为：预设角度A、预设角度C、预设角度B；那么预设角度C-预设角度A＝预设角度B-预设角度C。在本实施例的一个具体实现方式中，如图3所示，若干预设角度包括三个预设角度，三个预设角度分别为90°，180°以及270°，根据所述三个预设角度得到训练数据集包括初始数据集I、初始数据集中各初始图像旋转90°得到的目标初始图像集I-90、初始数据集中各初始图像旋转180°得到的目标初始图像集I-180、初始数据集中各初始图像旋转270°得到的目标初始图像集I-270、迁移图像集L、迁移图像集中各迁移图像旋转90°得到的目标迁移图像集L-90、迁移图像集中各迁移图像旋转180°得到的目标迁移图像集L-180,以及迁移图像集中各迁移图像旋转270°得到的目标迁移图像集L-270。

进一步，对于每个预设角度，将初始数据集中的每个初始图像旋转预设角度，使得初始图像集的每个初始图像对应的一个旋转后的初始图像，将迁移数据集中的每个迁移图像旋转预设角度，使得迁移图像集的每个迁移图像对应的一个旋转后的迁移图像。由此，对于每个预设角度，初始数据集会基于该预设角度生成一个目标初始数据集，迁移数据集会基于该预设角度生成一个目标迁移数据集。换句话说，初始数据集对应的目标初始数据集的数量与预设角度的数量相等，迁移数据集对应的目标迁移数据集的数量与预设角度的数量相等。例如，预设角度的数量为3，那么目标初始数据集的数量为3，目标迁移数据集的数量为3。

S20、基于所述特征提取模块确定第二网络模型。

具体地，所述第二网络模型包括特征提取模块，并且该特征提取模块的模型结构与第一网络模型中的特征提取模块的模型结构相同，并且所述第二网络模型中的特征提取模块的模型参数与所述第一网络模型中的模型参数相同。可以理解的是，所述第二网络模型继承了所述第一网络模型的特征图提取模块以及模型参数，使得第二网络模型中的特征提取模块的模型参数为经过训练的，第二网络模型除特征提取模块外的其他网络结构的网络参数为未经过训练的网络参数。

在本实施例的一个实现方式中，所述基于所述特征提取模块确定第二网络模型具体包括：

获取所述第一网络模型中的特征提取模块，并确定第二全连接模块；

将所述特征提取模块与所述第二全连接模块级联，以得到第二网络模型。

具体地，所述第二全连接模块为第二网络模型的网络头部，所述获取到的特征提取模块为第二网络模型的主干网络，所述特征提取模块的输入项为第二网络模型的输入项，所述特征提取模块的输出项为第二全连接模块的输入项。其中，所述特征提取模块的网络参数为继承第一网络模型中的特征提取模块的网络参数，第二全连接模块的网络参数为初始参数。由此可知，第二网络模型中的特征提取模块的网络参数为经过训练的网络参数，第二全连接模型的网络参数为初始参数，这样当训练图像输入第二网络模型时，可以第二网络模型中的特征提取模块可以迁移学习第一网络模型中的特征提取模型学习的图像特征，从而可以提高提取到的图像特征的准确性，从而可以提高第二网络模型的训练速度。在实际应用中，所述第二网络模型包括第二分类模型，所述第二分类模块可以基于第二全连接模块的输出项，确定所述训练图像对应的类别，其中，所述第二分类模块可以配置有softmax函数。

在本实施例的一个实现方式中，为了简化后续基于第二网络模型确定得到图像处理模型的参数量，所述第二全连接模块的输出项的维数可以小于第一全连接模块的输出项的维数。由此，在确定第二全连接模块时，可以获取第一全连接模块的输出项的第一维数，基于该第一维数确定第二全连接模块的输出项的第二维数，以使得第二维数小于第一维数。例如，第一维数为8，那么第二维数可以为小于8的正整数，例如，第二维数为4，第二全连接模块属性的特征向量可以为(1，1，4)。

S30、基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型，并将所述目标网络模型的特征提取模块作为图像处理模型。

具体地，所述目标网络模型为对第二网络模型进行训练得到的，经过训练的网络模型，所述目标网络模型包括特征提取模块，目标网络模型中的特征提取模块的模型结构与第二网络模型中的特征提取模块的模型结构相同，目标网络模型中的特征提取模块的网络参数与第二网络模型中的特征提取模块的网络参数不同，其中，目标网络模型中的特征提取模块的网络参数为经过训练的，第二网络模型中的特征提取模块的网络参数为继承第一网络模型中的特征提取模块的。这样将第一网络模型的特征提取模块迁移给第二网络模型，可以提升第二网络模型中的特征提取模块的特征泛化能力，提供第二网络模型的训练收敛效率和预测精度。

所述图像处理模型为目标网络模型中的特征提取模块，所述图像处理模块用于提取待检测图像的特征图，并且图像处理模型的网络参数为经过训练的，在后续建立用于执行基于图像视觉的图像处理任务的网络模型时，可以直接将该图像处理模型作为该网络模型的特征提取模块，并且在对该网络模型进行训练时，可以保持特征提取模块的网络参数不便，这样可以提高该网络模型的训练效率，从而降低该网络模型的训练成本。

在本实施例的一个实现方式，如图4所示，所述基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型之前，所述方法还包括：

将所述迁移数据集中的迁移图像按照各自对应的类别标签划分为若干子数据集；

对于若干子数据集中的每两个子数据集，根据两个子数据集中第一子数据集和两个子数据集中的第二子数据集生成候选数据集；

将生成的所有候选数据集作为迁移数据集。

具体地，若干子数据集中每个子数据集中的各迁移图像均包括于所述迁移数据集中，若干子数据集中的各迁移图像对应的类别标签相同，由此，可以将各子数据集中的迁移图像对应的类别标签作为该子数据集对应的类别标签，那么各子数据集对应的类别标签互不相同。例如，若干子数据集包括子数据集A和子数据集B，子数据集A包括迁移图像a和迁移图像b，值数据集B包括迁移数据c和迁移数据d，那么迁移数据a对应的类别标签与迁移图像b对应的类别标签相同，迁移数据c对应的类别标签与迁移图像d对应的类别标签相同，迁移数据a对应的类别标签与迁移数据c对应的迁移标签不相同，即子数据集A对应的类别标签与子数据集B对应的类别标签不相同。

在本实施例的一个实现方式中，所述若干子数据集包括至少两个子数据集，所述第一子数据集和第二子数据集均包括若干子数据集，并且第一子数据集与第二子数据集不同，并基于第一子数据集和第二子数据集可以确定一个候选数据集。可以理解的是，候选数据集的数量可以根据若干子数据集对应的子数据集对的数量确定，其中，子数据集对包括两个子不相同的数据集，并且各子数据集对互不相同。例如，所述若干子数据集包括子数据集A、子数据集B以及子数据集C，那么若干子数据集对应的子数据集对包括子数据集A和子数据集B构成的子数据集对、子数据集A和子数据集C构成的子数据集对，以及子数据集B和子数据集C构成的子数据集对。

在本实施例的一个实现方式中，所述若干子数据集可以一个子数据集，记为对照子数据集，第一子数据集由对照子数据集中的每个迁移图像的部分图像区域构成，第二子数据集由对照子数据集中的每个迁移图像的部分图像区域构成。可以理解的是，第一子数据集中的各第一迁移图像均为对照子数据集中各迁移图像一一对应，并且各第一迁移图像均为其对应的迁移图像的部分图像区域；第二子数据集中的各第二迁移图像均为对照子数据集中各迁移图像一一对应，并且各第二迁移图像均为其对应的迁移图像的部分图像区域。对于对照子数据中的每个迁移图像，该迁移图像对应的第一迁移图像和该迁移图像对应的第二迁移图像不重合且构成该迁移图像。在一个具体实现方式中，所述第一子数据集和第二子数据集确定过程可以为：对于对照子数据集中的每个迁移图像，获取该迁移图像的前景图像和背景图像，以得到各迁移图像各自对应的前景图像和背景图像；将各迁移图像各自对应的前景图像作为第一子数据集，将各迁移图像各自对应的背景图像作为第二子数据集，以得到第一子数据集和第二子数据集。当然，在实际应用中，还可以采用其他方式确定第一子数据集和第二子数据集，例如，对于每个迁移图像，在该迁移图像中随机选取部分图像区域作为第一迁移图像，将该迁移图像中去除第一迁移的部分作为第二迁移等。

在本实施例的一个实现方式中，所述根据两个子数据集中第一子数据集和两个子数据集中的第二子数据集生成候选数据集具体包括：

对于第一子数据集中的每个迁移图像以及第二子数据集中的每个迁移图像，获取该迁移图像的边缘像素点，并在获取到所有边缘像素点中选取若干目标边缘像素点；

在该迁移图像中选取各目标边缘像素点各自对应的第一图像；

根据该迁移图像，确定各第一图像各自对应的第二图像；

根据基于各迁移图像选取到的所有第一图像和所有第二图像，生成候选数据集。

具体地，所述边缘像素点为迁移图像携带的对象区域的区域边界像素点，例如，所述待去噪图像为携带红色苹果的图像，所述边缘像素点可以为所述待去噪图像中的苹果区域与非苹果区域之间的边界像素点。在本实施例的一个实现方式中，所述边缘像素点可以通过对所述迁移图像进行边缘识别获取到，其中，所述边缘识别方法可以为sobel边缘提取方法。

进一步，所述目标像素点包含于获取到边缘像素点内，各目标边缘像素点包含于各自对应的第一图像内，并且每个目标像素点对应一张第一图像，每个第一图像对应一第二图像。由此，第一图像的图像数量与目标像素点的数量相同，第二图像的图像数量与第一图像的图像数量相同。此外，所述目标像素点为边缘像素点中的任意一个边缘像素点，所述第一图像可以基于在边缘图像中随机选取的部分图像区域，第二图像为迁移图像去除第一图像外的图像区域。

在本实施例的一个实现方式中，如图4所示，所述第一图像的确定过程具体可以为：以目标边缘像素点为中心，在迁移图像中选取第一预设尺寸的图像区域，将选取到图像区域作为第一图像。例如，迁移图像的图像尺寸为[w*h]，第一预设尺寸为[w/16,h/16]。此外，在选取到第一图像后，可以直接将未选取到的图像区域作为第二图像，或者是，在迁移图像选取一个参考像素点，以参考像素点为中心，在迁移图像中选取第二预设尺寸的图像区域，将选取到图像区域作为第二图像，其中，参考像素点不包含于获取到的边缘像素点内。例如，迁移图像的图像尺寸为[w*h]，第一预设尺寸为[w/16,h/16]等。

在本实施例的一个实现方式中，所述基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型包括：

在所述迁移数据集中选取一候选数据集，基于该候选数据集对所述第二网络模型进行训练，以得到候选网络模型；

获取候选网络模型中的特征提取模块的网络参数，并将该网络参数配置于第二网络模型，以更新所述第二网络模型；

继续在所述迁移数据集中选取一候选数据集的步骤，直至所述迁移数据集中的所有候选数据集均被选取到，其中，每次选取到的候选数据集互不相同。

具体地，所述迁移数据集包括若干候选数据集，将每个候选数据集作为第二网络模型的一个训练数据集，并且在基于候选数据集对第二网络模型进行训练之前，可以是否存在基于候选训练集对第二网络模型进行训练得到候选网络模型；当存在候选网络模型时，获取候选网络模型的模型参数已经被候选数据集进行训练过程，若已经被候选数据集训练过，则候选网络模型中的特征提取模块的网络参数，以继承候选网络模型中的特征提取模块的网络参数，实现了网络参数的迁移学习。本申请通过将迁移数据集划分为若干候选数据集，通过若干候选数据集对特征提取模块的网络参数进行训练，可以使得特征提取模块可以适用于不同任务特征，使得后续在确定目标图像处理模型时，即使训练样本数据量少，也可以保证目标图像处理模型的模型精度。

在本实施例的一个实现方式中，所述基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型，并将所述目标网络模型的特征提取模块作为图像处理模型之后，如图2所示，所述方法还包括：

获取目标迁移数据集，并确定所述目标迁移数据集对应的第三全连接模块；

获取所述图像处理模型，将所述图像处理模型作为所述目标迁移数据集对应的目标特征提取模块；

将该目标特征提取模块与所述第三全连接模块级联，以得到所述目标迁移数据集对应的第三网络模型；

基于所述目标迁移数据集对所述第三网络模型进行训练，以得到所述目标迁移数据集对应的目标图像处理模型。

具体地，所述目标迁移数据集用于训练所述目标图像处理模型，所述目标迁移数据集包括若干目标图像，若干目标图像中的每个目标图像均作为训练图像输入第三网络模型，第三网络模型通过学习各目标图像中的图像特征来对第三网络模型中除特征提取模块外的其他网络结构的模型参数进行训练。

所述第三网络模型的模型结构与所述目标图像处理模型的模型结构相同，均包括特征提取模块以及第三全连接模块。其中，所述特征提取模块为获取到的图像处理模型并且继承该图像处理模型的网络参数。可以理解的是，所述第三网络模型终端特征提取模型的网络参数为经过训练的网络参数，在将目标迁移数据集中的目标图像输入第三网络模型的特征提取模块后，特征提取模块可以准确的提取到该目标图像的图像特征。

基于此，在基于目标迁移数据集对第三网络模型进行训练时，可以保持第三网络模型中的特征提取模块的网络参数不变，仅对第三网络模型中的其他网络结构的模型参数进行训练，这样可以提高第三网络模型的训练速度，从而提高目标图像处理模型的训练效率。由此，当基于目标迁移数据集对第三网络模型进行训练得到目标图像处理模型后，目标图像处理模型中的特征提取模块的网络参数与所述第三网络模型中的特征提取模块的网络参数相同，目标图像处理模型的第三全连接模块的模型参数与第三网络模型中的第三全连接模块的模型参数不同，其中，第三网络模型中的第三全连接模块的模型参数为预先配置的初始模型参数，目标图像处理模型的第三全连接模块的模型参数为基于目标迁移数据集训练后的模型参数。

综上所述，本实施例提供了一种图像处理模型的生成方法、装置、处理方法及终端设备，所述方法包括获取初始数据集以及迁移数据集，并基于所述初始数据集以及迁移数据集对预设网络模型进行训练，以得到第一网络模型；基于所述特征提取模块确定第二网络模型，并基于所述迁移数据集生成第二数据集；基于所述第二数据集对所述第二网络模型进行训练以得到目标网络模型，并将所述目标网络模型的特征提取模块作为图像处理模型。本申请利用图像视觉特征可迁移性，对初始数据集和迁移数据集学习得到第一网络模型，并采用迁移数据集对继承第一网络模型的特征提取模块的第二网络模型进行训练，将训练得到目标网络模型的特征提取模块作为图像处理模型，这样对于不同的图像处理任务，可以直接采用该图像处理模型作为特征提取模块，无需对特征提取模块进行训练，降低了图像处理模型的训练成本。

基于上述图像处理模型的生成方法，本实施例还提供了一种处理方法，所述方法应用于如上所述的图像处理模型，如图5所示，所述方法包括：

获取待处理图像；

将所述待处理图像输入所述图像处理模型，通过所述图像处理模型输出所述待处理图像对应的输出图像。

基于上述图像处理模型的生成方法，本实施例还提供了一种生成装置，如图6所示，所述生成装置包括：

获取模块100，用于获取初始数据集以及迁移数据集，并基于所述初始数据集以及迁移数据集对预设网络模型进行训练，以得到第一网络模型，其中，所述预设网络模型包括特征提取模块；

确定模块200，用于基于所述特征提取模块确定第二网络模型，其中，所述第二网络模型包括所述特征提取模块；

训练模块300，用于基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型，并将所述目标网络模型的特征提取模块作为图像处理模型。

在一个实现方式中，所述初始数据集包括若干初始图像，所述迁移图像包括若干迁移图像，并且所述初始数据集对应的图像处理任务与所述迁移数据集对应的图像处理任务不同。

在一个实现方式中，所述获取模块具体包括：

第一获取单元，用于获取初始数据集以及迁移数据集；

确定单元，用于根据所述初始数据集以及迁移数据集，确定训练数据集；

训练单元，用于基于所述训练数据集对预设网络模型进行训练，以得到第一网络模型。

在一个实现方式中，所述确定单元具体包括：

获取子单元，用于获取若干预设角度；

调整子单元，用于对于每个预设角度，分别将初始数据集中的初始图像以及迁移数据集中的迁移图像按照该预设角度进行旋转，以得到初始数据集对应的目标初始数据集，以及迁移数据集对应的目标迁移数据集；

确定子单元，用于根据初始数据集、各目标初始数据集、所述迁移数据集以及各目标迁移数据集，生成所述训练数据集。

在一个实现方式中，所述第二网络模型中的特征提取模块的模型参数与所述第一网络模型中的模型参数相同。

在一个实现方式中，所述第一网络模型包括第一全连接模块，所述确定模块具体包括：

第二获取单元，用于获取所述第一网络模型中的特征提取模块，并确定第二全连接模块，其中，第二全连接模块的输出维度小于所述第一全连接模块的输出维度；

级联单元，用于将所述特征提取模块与所述第二全连接模块级联，以得到第二网络模型。

在一个实现方式中，所述生成装置还包括：

划分模块，用于将所述迁移数据集中的迁移图像按照各自对应的类别标签划分为若干子数据集，其中，若干子数据集中的各迁移图像对应的类别标签相同；

生成模块，用于对于若干子数据集中的每两个子数据集，根据两个子数据集中第一子数据集和两个子数据集中的第二子数据集生成候选数据集；

设定模块，用于将生成的所有候选数据集作为迁移数据集。

在一个实现方式中，所述生成模块具体包括：

第一选取单元，用于对于第一子数据集以及第二子数据集中的每个迁移图像，获取该迁移图像的边缘像素点，并在获取到边缘像素点中选取若干目标边缘像素点；在该迁移图像中选取各目标边缘像素点各自对应的第一图像，其中，每一个目标边缘像素点均为其对应的第一图像中的一个像素点；根据该迁移图像，确定各第一图像各自对应的第二图像，其中，所述第二图像为迁移图像去除第一图像外的图像区域；

生成单元，用于根据基于各迁移图像选取到的所有第一图像和所有第二图像，生成候选数据集。

在一个实现方式中，所述训练模块具体包括：

第二选取单元，用于在所述迁移数据集中选取一候选数据集，基于该候选数据集对所述第二网络模型进行训练，以得到候选网络模型；

获取候选网络模型中的特征提取模块的网络参数，并将该网络参数配置于第二网络模型，以更新所述第二网络模型；

循环单元，用于继续在所述迁移数据集中选取一候选数据集的步骤，直至所述迁移数据集中的所有候选数据集均被选取到，其中，每次选取到的候选数据集互不相同。

在一个实现方式中，所述生成装置还包括：

第三获取模块，用于获取目标迁移数据集，并确定所述目标迁移数据集对应的第三全连接模块；

配置模块，用于获取所述图像处理模型，将所述图像处理模型作为所述目标迁移数据集对应的目标特征提取模块；

连接模块，用于将该目标特征提取模块与所述第三全连接模块级联，以得到所述目标迁移数据集对应的第三网络模型；

学习模块，用于基于所述目标迁移数据集对所述第三网络模型进行训练，以得到所述目标迁移数据集对应的目标图像处理模型。

在一个实现方式中，所述目标图像处理模型中的目标特征提取模块的网络参数与第三网络模型中的目标特征提取模块的网络参数相同。

基于上述图像处理模型的生成方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像处理模型的生成方法中的步骤。

基于上述图像处理模型的生成方法，本申请还提供了一种终端设备，如图7所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种图像处理模型的生成方法，其特征在于，所述方法包括：

获取初始数据集以及迁移数据集，并基于所述初始数据集以及迁移数据集对预设网络模型进行训练，以得到第一网络模型，其中，所述预设网络模型包括特征提取模块；

基于所述特征提取模块确定第二网络模型，其中，所述第二网络模型包括所述特征提取模块；

基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型，并将所述目标网络模型的特征提取模块作为图像处理模型。

2.根据权利要求1所述图像处理模型的生成方法，其特征在于，所述初始数据集包括若干初始图像，所述迁移图像包括若干迁移图像，并且所述初始数据集对应的图像处理任务与所述迁移数据集对应的图像处理任务不同。

3.根据权利要求1所述图像处理模型的生成方法，其特征在于，所述获取初始数据集以及迁移数据集，并基于所述初始数据集以及迁移数据集对预设网络模型进行训练，以得到第一网络模型具体包括：

获取初始数据集以及迁移数据集；

根据所述初始数据集以及迁移数据集，确定训练数据集；

基于所述训练数据集对预设网络模型进行训练，以得到第一网络模型。

4.根据权利要求3所述图像处理模型的生成方法，其特征在于，所述根据所述初始数据集以及迁移数据集，确定训练数据集具体包括：

获取若干预设角度；

对于每个预设角度，分别将初始数据集中的初始图像以及迁移数据集中的迁移图像按照该预设角度进行旋转，以得到初始数据集对应的目标初始数据集，以及迁移数据集对应的目标迁移数据集；

根据初始数据集、各目标初始数据集、所述迁移数据集以及各目标迁移数据集，生成所述训练数据集。

5.根据权利要求1所述图像处理模型的生成方法，其特征在于，所述第二网络模型中的特征提取模块的模型参数与所述第一网络模型中的模型参数相同。

6.根据权利要求5所述图像处理模型的生成方法，其特征在于，所述第一网络模型包括第一全连接模块，所述基于所述特征提取模块确定第二网络模型具体包括：

获取所述第一网络模型中的特征提取模块，并确定第二全连接模块，其中，第二全连接模块的输出维度小于所述第一全连接模块的输出维度；

将所述特征提取模块与所述第二全连接模块级联，以得到第二网络模型。

7.根据权利要求1所述图像处理模型的生成方法，其特征在于，所述基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型之前，所述方法还包括：

将所述迁移数据集中的迁移图像按照各自对应的类别标签划分为若干子数据集，其中，若干子数据集中的各迁移图像对应的类别标签相同；

对于若干子数据集中的每两个子数据集，根据两个子数据集中第一子数据集和两个子数据集中的第二子数据集生成候选数据集；

将生成的所有候选数据集作为迁移数据集。

8.根据权利要求7所述图像处理模型的生成方法，其特征在于，所述根据两个子数据集中第一子数据集和两个子数据集中的第二子数据集生成候选数据集具体包括：

对于第一子数据集以及第二子数据集中的每个迁移图像，获取该迁移图像的边缘像素点，并在获取到边缘像素点中选取若干目标边缘像素点；在该迁移图像中选取各目标边缘像素点各自对应的第一图像，其中，每一个目标边缘像素点均为其对应的第一图像中的一个像素点；根据该迁移图像，确定各第一图像各自对应的第二图像，其中，所述第二图像为迁移图像去除第一图像外的图像区域；

根据基于各迁移图像选取到的所有第一图像和所有第二图像，生成候选数据集。

9.根据权利要求7所述图像处理模型的生成方法，其特征在于，所述基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型包括：

在所述迁移数据集中选取一候选数据集，基于该候选数据集对所述第二网络模型进行训练，以得到候选网络模型；

获取候选网络模型中的特征提取模块的网络参数，并将该网络参数配置于第二网络模型，以更新所述第二网络模型；

继续在所述迁移数据集中选取一候选数据集的步骤，直至所述迁移数据集中的所有候选数据集均被选取到，其中，每次选取到的候选数据集互不相同。

10.根据权利要求1-9中任意一项所述图像处理模型的生成方法，其特征在于，所述基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型，并将所述目标网络模型的特征提取模块作为图像处理模型之后，所述方法还包括：

获取目标迁移数据集，并确定所述目标迁移数据集对应的第三全连接模块；

获取所述图像处理模型，将所述图像处理模型作为所述目标迁移数据集对应的目标特征提取模块；

将该目标特征提取模块与所述第三全连接模块级联，以得到所述目标迁移数据集对应的第三网络模型；

基于所述目标迁移数据集对所述第三网络模型进行训练，以得到所述目标迁移数据集对应的目标图像处理模型。

11.根据权利要求10所述图像处理模型的生成方法，其特征在于，所述目标图像处理模型中的目标特征提取模块的网络参数与第三网络模型中的目标特征提取模块的网络参数相同。

12.一种处理方法，其特征在于，所述方法应用于如上所述的图像处理模型，所述方法包括：

获取待处理图像；

将所述待处理图像输入所述图像处理模型，通过所述图像处理模型输出所述待处理图像对应的输出图像。

13.一种生成装置，其特征在于，所述生成装置包括：

获取模块，用于获取初始数据集以及迁移数据集，并基于所述初始数据集以及迁移数据集对预设网络模型进行训练，以得到第一网络模型，其中，所述预设网络模型包括特征提取模块；

确定模块，用于基于所述特征提取模块确定第二网络模型，其中，所述第二网络模型包括所述特征提取模块；

训练模块，用于基于所述迁移数据集对所述第二网络模型进行训练以得到目标网络模型，并将所述目标网络模型的特征提取模块作为图像处理模型。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～11中任意一项所述的图像处理模型的生成方法中的步骤，或者以实现如权利要求12中所述的处理方法中的步骤。

15.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1-11任意一项所述的图像处理模型的生成方法中的步骤，或者实现如权利要求12中所述的处理方法中的步骤。

Images