CN111199256B - 图像优化网络的训练方法、图像处理方法及装置 - Google Patents
图像优化网络的训练方法、图像处理方法及装置 Download PDFInfo
- Publication number
- CN111199256B CN111199256B CN202010003012.5A CN202010003012A CN111199256B CN 111199256 B CN111199256 B CN 111199256B CN 202010003012 A CN202010003012 A CN 202010003012A CN 111199256 B CN111199256 B CN 111199256B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- source domain
- data set
- quality images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 114
- 238000012549 training Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000013170 computed tomography imaging Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Abstract
本申请提供一种图像优化网络的训练方法、图像处理方法、装置、存储介质及电子设备，用以实现对源域低质量图像和目标域低质量图像同样精准且鲁棒的图像质量优化。该训练方法包括：获取源域数据集和目标域数据集；基于所述源域数据集，对预先构建的包含特征提取器和优化器的图像优化网络进行训练，得到所述特征提取器的第一网络参数；基于所述源域数据集和所述目标域数据集，以及具有所述第一网络参数的所述特征提取器，对与所述特征提取器连接的预先构建的判别网络进行训练，得到所述判别网络的第二网络参数；基于所述源域数据集，对训练后的所述图像优化网络和具有所述第二网络参数的所述判别网络进行联合训练，得到所述图像优化网络。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像优化网络的训练方法、图像处理方法、装置、存储介质及电子设备。
背景技术
在医学影像领域，高分辨率、高信噪比的医学图像有助于医生对患者病情进行准确评估和诊断，然而，在各种医学影像数据采集条件下生成的医学图像质量却有着较大的差异，可能会出现高噪声、低分辨率以及伪影等问题。因此，需要对低质量图像进行优化。
目前，比较常用的一种图像优化方法是采用机器学习模型进行优化，对于源域低质量图像，由于源域低质量图像可以获取到与其图像特征相同的训练数据集来训练机器学习模型，因此可以实现对源域低质量图像精准且鲁棒的图像质量优化，而对于目标域低质量图像，由于目标域低质量图像很难获取到与其图像特征相同的训练数据集来训练机器学习模型，因此相关技术中不能实现对目标域低质量图像精准且鲁棒的图像质量优化。
发明内容
有鉴于此，本申请提供一种图像优化网络的训练方法、图像处理方法、装置、存储介质及电子设备，用以实现对源域低质量图像和目标域低质量图像同样精准且鲁棒的图像质量优化。
第一方面，本申请实施例提供了一种图像优化网络的训练方法，所述方法包括：
获取源域数据集和目标域数据集；其中，所述源域数据集包含多个带标签的源域低质量图像，所述源域低质量图像的标签为与其图像内容一致的源域高质量图像，所述目标域数据集包含多个缺少标签的目标域低质量图像；
基于所述源域数据集，对预先构建的包含特征提取器和优化器的图像优化网络进行训练，得到所述特征提取器的第一网络参数；
基于所述源域数据集和所述目标域数据集，以及具有所述第一网络参数的所述特征提取器，对与所述特征提取器连接的预先构建的判别网络进行训练，得到所述判别网络的第二网络参数；
基于所述源域数据集，对训练后的所述图像优化网络和具有所述第二网络参数的所述判别网络进行联合训练，得到所述图像优化网络。
在一可能的实现方式中，所述基于所述源域数据集，对预先构建的图像优化网络进行训练，包括：
从所述源域数据集中选取第一批带标签的源域低质量图像，利用所述第一批带标签的源域低质量图像，对预先构建的图像优化网络进行有监督训练。
在一可能的实现方式中，所述基于所述源域数据集和所述目标域数据集，以及具有所述第一网络参数的所述特征提取器，对与所述特征提取器连接的预先构建的判别网络进行训练，包括：
从所述源域数据集中选取一批源域低质量图像，以及从所述目标域数据集中选取一批目标域低质量图像，并对选取的源域低质量图像和目标域低质量图像的类别进行标记，得到混合数据集；
通过具有所述第一网络参数的所述特征提取器，提取所述混合数据集中源域低质量图像或目标域低质量图像的图像特征，并输出给所述判别网络；
根据所述图像特征，对所述判别网络进行有监督训练。
在一可能的实现方式中，所述基于所述源域数据集，对训练后的所述图像优化网络和具有所述第二网络参数的所述判别网络进行联合训练，包括：
从所述源域数据集中选取第二批带标签的源域低质量图像，利用所述第二批带标签的源域低质量图像，对训练后的所述图像优化网络和具有所述第二网络参数的所述判别网络进行联合训练。
在一可能的实现方式中，对所述图像优化网络和所述判别网络进行联合训练时，所述联合训练的损失函数为所述图像优化网络的损失函数和所述判别网络的损失函数的加权和；
其中，所述图像优化网络的损失函数和所述判别网络的损失函数的权重均为0.5。
第二方面，本申请实施例还提供了一种图像处理方法，所述方法包括：
获取待处理的目标域低质量图像；
将所述目标域低质量图像输入到预先训练的图像优化网络，所述图像优化网络是根据第一方面或第一方面的任意可能的实现方式中的图像优化网络的训练方法训练生成的；
获得通过所述图像优化网络生成的目标域高质量图像。
第三方面，本申请实施例还提供了一种图像优化网络的训练装置，包括用于执行第一方面或第一方面的任意可能的实现方式中的图像优化网络的训练方法的模块。
第四方面，本申请实施例还提供了一种图像处理装置，包括用于执行第二方面或第二方面的任意可能的实现方式中的图像处理方法的模块。
第五方面，本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第二方面或第二方面的任意可能的实现方式中的图像处理方法的步骤。
第六方面，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第二方面或第二方面的任意可能的实现方式中的图像处理方法的步骤。
本申请的实施例提供的技术方案至少带来以下有益效果：
在没有目标域图像训练数据集的情况下，先基于所述源域数据集，对预先构建的包含特征提取器和优化器的图像优化网络进行训练，得到所述特征提取器的第一网络参数，再基于所述源域数据集和所述目标域数据集，以及具有所述第一网络参数的所述特征提取器，对与所述特征提取器连接的预先构建的判别网络进行训练，得到所述判别网络的第二网络参数，然后基于所述源域数据集，对训练后的所述图像优化网络和具有所述第二网络参数的所述判别网络进行联合训练，就可以得到所述图像优化网络，利用该图像优化网络对目标域低质量图像进行图像质量优化，可以获得与源域低质量图像相同的优化精度，并且，训练完成后的图像优化网络即适用于源域低质量图像的优化，也适用于目标域低质量图像的优化，因此，训练完成后的图像优化网络的鲁棒性较好。
附图说明
图1为本申请实施例提供的一种图像优化网络的训练方法的流程示意图；
图2为本申请实施例提供的训练模型的结构示意图；
图3为本申请实施例提供的特征提取器的结构示意图；
图4为本申请实施例提供的优化器的结构示意图；
图5为本申请实施例提供的判别网络的结构示意图；
图6为本申请实施例提供的一种图像处理方法的流程示意图；
图7、图8分别为源域优化前后的图像；
图9、图10分别为目标域优化前后的图像；
图11为本申请实施例提供的一种图像优化网络的训练装置的结构示意图；
图12为本申请实施例提供的一种图像处理装置的结构示意图；
图13为本申请实施例提供的一种电子设备的结构示意图；
图14为本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先介绍下本申请所使用的技术术语。
源域图像：定义为可以找到与其图像特征相同的训练数据集来训练机器学习模型的图像。
目标域图像：定义为不能找到与其图像特征相同的训练数据集来训练机器学习模型的图像。
接下来将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
参见图1，本申请实施例提供了一种图像优化网络的训练方法，该方法可以用于电子设备中，该电子设备例如可以为PC，医疗设备等，该方法可以包括如下步骤：
S101、获取源域数据集和目标域数据集；
其中，所述源域数据集包含多个带标签的源域低质量图像，所述源域低质量图像的标签为与其图像内容一致的源域高质量图像，所述目标域数据集包含多个缺少标签的目标域低质量图像。
也就是说，源域数据集中包含的是源域低质量图像和源域高质量图像的图像对，而目标域数据集包含的只是目标域低质量图像，没有相对应的目标域高质量图像，因此源域数据集可以用于进行有监督训练，而目标域数据集不能用于进行有监督训练。
本实施例中，图像的质量指标包括噪声、分辨率、信噪比指标中的至少一个。低质量图像指高噪声图像、低分辨率图像、低信噪比图像等，高质量图像指低噪声图像、高分辨率图像、高信噪比图像等。
S102、基于所述源域数据集，对预先构建的包含特征提取器和优化器的图像优化网络进行训练，得到所述特征提取器的第一网络参数；
本实施例中，参见图2，预先构建的图像优化网10包括特征提取器101和优化器102。
其中，特征提取器101例如可以为卷积神经网络，该特征提取器101包括多个(例如10个)卷积层，每个卷积层后连接一个Relu层(或称激活层)，特征提取器的结构如图3所示。该特征提取器中，可以设置每个卷积层包含64个特征图，卷积核大小为3，卷积步长为1，边缘填充大小为1。
优化器102例如也可以为卷积神经网络，该优化器102包括多层(例如10个)卷积层，前9层卷积层的每个卷积层后连接一个Relu层(或称激活层)，优化器的结构如图4所示。该优化器中，可以设置前9层每个卷积层包含64个特征图，卷积核大小为3，卷积步长为1，边缘填充大小为1，第10层卷积层包含1个特征图，卷积核大小为1，卷积步长为1，边缘填充大小为0，优化器第10层的输出即为优化后的图像。
本实施例中，单独训练图像优化网络时，训练参数例如可以设置为：网络训练的初始学习率为10-4，随着迭代次数的增加，学习率逐渐调整至10-7，优化函数为Adam，并使用L1范数作为图像优化网络的损失函数。
在一些实施例中，步骤S102中基于所述源域数据集，对预先构建的图像优化网络进行训练，包括：
从所述源域数据集中选取第一批带标签的源域低质量图像，利用所述第一批带标签的源域低质量图像，对预先构建的图像优化网络进行有监督训练。
该步骤S102中，图像优化网络时，根据图像优化网络生成的对应源域低质量图像的优化图像与标签的误差，调整图像优化网络的网络参数，使得图像优化网络能够较好的对源域低质量图像进行优化。
S103、基于所述源域数据集和所述目标域数据集，以及具有所述第一网络参数的所述特征提取器，对与所述特征提取器连接的预先构建的判别网络进行训练，得到所述判别网络的第二网络参数；
本实施例中，参见图2，特征提取器101与判别网络20连接，预先构建的判别网络20用于判别输入该判别网络的图像特征是来自源域还是目标域。该判别器网络20，与常规生成对抗网络的判别网络类似，例如可以包括多个(例如6个)卷积层、一个全连接层、一个softmax函数分类器，前5层卷积层的每个卷积层后连接一个Relu层(或称激活层)，判别网络的结构如图5所示。该判别网络中，可以设置6个卷积层的前5层，每个卷积层包含64个特征图，卷积核大小为3，卷积步长为1，边缘填充大小为1，第6个卷积层包含1个特征图，卷积核大小为1，卷积步长为1，边缘填充大小为0，全连接层包含256个节点，由softmax函数分类器输出的图像来源信息包括第一识别信息和第二识别信息，第一识别信息(例如0)表示输入该判别网络的图像特征是来自源域，第二识别信息(例如1)表示输入该判别网络的图像特征是来自目标域。
本实施例中，单独训练判别网络时，训练参数例如可以设置为：网络训练的初始学习率为10-4，随着迭代次数的增加，学习率逐渐调整至10-7，优化函数为Adam。
在一些实施例中，步骤S103中基于所述源域数据集和所述目标域数据集，以及具有所述第一网络参数的所述特征提取器，对与所述特征提取器连接的预先构建的判别网络进行训练，包括：
从所述源域数据集中选取一批源域低质量图像，以及从所述目标域数据集中选取一批目标域低质量图像，并对选取的源域低质量图像和目标域低质量图像的类别进行标记(例如源域低质量图像标记为0，目标域低质量图像标记为1)，得到混合数据集；
通过具有所述第一网络参数的所述特征提取器，提取所述混合数据集中源域低质量图像或目标域低质量图像的图像特征，并输出给所述判别网络；
根据所述图像特征，对所述判别网络进行有监督训练。
也就是说，在训练判别网络时，将混合数据集中带标记的图像输入步骤S102训练的具有第一网络参数的特征提取器，该特征提取器提取输入图像的图像特征并输出给判断网络，以进行判别网络的训练。
该步骤S103中，判别网络训练时，特征提取器的网络参数保持不变，根据判别网络输出的预测值与标签之间的误差调整判别网络的网络参数，使得判别网络在接收到某一图像的图像特征时能够输出接近0或接近1的数值，即能够较好的判别输入该判别网络的图像特征是来自源域还是目标域。
S104、基于所述源域数据集，对训练后的所述图像优化网络和具有所述第二网络参数的所述判别网络进行联合训练，得到所述图像优化网络。
在一些实施例中，步骤S104中基于所述源域数据集，对训练后的所述图像优化网络和具有所述第二网络参数的所述判别网络进行联合训练，包括：
从所述源域数据集中选取第二批带标签的源域低质量图像，利用所述第二批带标签的源域低质量图像，对训练后的所述图像优化网络和具有所述第二网络参数的所述判别网络进行联合训练。
该步骤S104中，联合训练时，判别网络的网络参数保持不变，特征提取器提取输入的源域低质量图像的图像特征并输出给优化器和判别网络，根据优化器输出的优化图像与标签的误差，以及判别网络输出的预测值与标签之间的误差，调整图像优化网络的网络参数(或者说特征提取器和优化器的网络参数)，使得图像优化网络能够很好的进行源域图像优化，并且特征提取器只去提取源域图像和目标域图像中的共同特征。当特征提取器能够提取出足够接近的共同特征后，判别网络就难以辨别输入到该判别网络的图像特征是来自源域还是目标域。
步骤S104中对所述图像优化网络和所述判别网络进行联合训练时，所述联合训练的损失函数为所述图像优化网络的损失函数和所述判别网络的损失函数的加权和。
在一些实施例中，所述图像优化网络的损失函数和所述判别网络的损失函数的权重均为0.5。
在一些实施例中，为了保证特征提取器提取的特征尽可能为源域和目标域的共同特征，可以重复步骤S102-S104中的训练步骤，特征提取器与判别网络相互促进，经过几轮迭代后，特征提取器能够准确提取源域图像特征的同时，也能够保证提取的特征尽可能为源域和目标域的共同特征，这样训练后得到的图像优化网络就能很好的对目标域低质量图像进行优化。
基于同一发明构思，参见图6，本申请实施例还提供了一种图像处理方法，该方法可以用于电子设备中，该电子设备例如可以为PC，医疗设备等，该方法可以包括如下步骤：
S201、获取待处理的目标域低质量图像；
S202、将所述目标域低质量图像输入到预先训练的图像优化网络；
其中，图像优化网络是根据本申请任意可能的实现方式中的图像优化网络的训练方法训练生成的。
S203、获得通过所述图像优化网络生成的目标域高质量图像。
本申请实施例中，训练后得到的图像优化网络中的特征提取器提取的是源域和目标域的共同特征，因此利用该图像优化网络对目标域低质量图像进行图像质量优化，可以获得与源域低质量图像相同的优化精度。
如图7-图10所示，其中图7一种型号的CT成像系统采集的源域低质量图像，图8为图7所示的图像经过本申请实施例提供的图像优化网络处理后的源域高质量图像，图9为其他型号的CT成像系统采集的目标域低质量图像，图10为图9所示的图像经过本申请实施例提供的图像优化网络处理后的目标域高质量图像，对比源域优化前后的图像(即图7和图8)，以及目标域优化前后的图像(即图9和图10)可知，本申请实施例提供的图像优化网络可以很好的优化源域和目标域图像，且目标域低质量图像可以获得与源域低质量图像相同的优化精度。
基于同一发明构思，参见图11，本申请实施例还提供了一种图像优化网络的训练装置，该装置包括：训练数据获取模块11、图像优化网络训练模块12、判别网络训练模块13和联合训练模块14。
训练数据获取模块11，被配置为获取源域数据集和目标域数据集；其中，所述源域数据集包含多个带标签的源域低质量图像，所述源域低质量图像的标签为与其图像内容一致的源域高质量图像，所述目标域数据集包含多个缺少标签的目标域低质量图像；
图像优化网络训练模块12，被配置为基于所述源域数据集，对预先构建的包含特征提取器和优化器的图像优化网络进行训练，得到所述特征提取器的第一网络参数；
判别网络训练模块13，被配置为基于所述源域数据集和所述目标域数据集，以及具有所述第一网络参数的所述特征提取器，对与所述特征提取器连接的预先构建的判别网络进行训练，得到所述判别网络的第二网络参数；
联合训练模块14，被配置为基于所述源域数据集，对训练后的所述图像优化网络和具有所述第二网络参数的所述判别网络进行联合训练，得到所述图像优化网络。
在一可能的实现方式中，图像优化网络训练模块12被配置为：
从所述源域数据集中选取第一批带标签的源域低质量图像，利用所述第一批带标签的源域低质量图像，对预先构建的图像优化网络进行有监督训练。
在一可能的实现方式中，判别网络训练模块13被配置为：
从所述源域数据集中选取一批源域低质量图像，以及从所述目标域数据集中选取一批目标域低质量图像，并对选取的源域低质量图像和目标域低质量图像的类别进行标记，得到混合数据集；
通过具有所述第一网络参数的所述特征提取器，提取所述混合数据集中源域低质量图像或目标域低质量图像的图像特征，并输出给所述判别网络；
根据所述图像特征，对所述判别网络进行有监督训练。
在一可能的实现方式中，联合训练模块14被配置为：
从所述源域数据集中选取第二批带标签的源域低质量图像，利用所述第二批带标签的源域低质量图像，对训练后的所述图像优化网络和具有所述第二网络参数的所述判别网络进行联合训练。
在一可能的实现方式中，对所述图像优化网络和所述判别网络进行联合训练时，所述联合训练的损失函数为所述图像优化网络的损失函数和所述判别网络的损失函数的加权和；
其中，所述图像优化网络的损失函数和所述判别网络的损失函数的权重均为0.5。
基于同一发明构思，参见图12，本申请实施例还提供了一种图像处理装置，该图像处理装置包括：
图像获取模块21，被配置为获取待处理的目标域低质量图像；
图像处理模块22，被配置为将所述目标域低质量图像输入到预先训练的图像优化网络，获得通过所述图像优化网络生成的目标域高质量图像。
其中，图像优化网络是根据本申请任意可能的实现方式中的图像优化网络的训练方法训练生成的。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
基于同一发明构思，本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任意可能的实现方式中的图像优化网络的训练方法的步骤。
可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
基于同一发明构思，参见图13，本申请实施例还提供了一种电子设备，包括存储器61(例如非易失性存储器)、处理器62及存储在存储器61上并可在处理器62上运行的计算机程序，处理器62执行所述程序时实现上述任意可能的实现方式中的图像优化网络的训练方法的步骤。该电子设备例如可以为PC，医疗设备等。
如图13所示，该电子设备一般还可以包括：内存63、网络接口64、以及内部总线65。除了这些部件外，还可以包括其他硬件，对此不再赘述。
需要指出的是，上述图像优化网络的训练装置可以通过软件实现，其作为一个逻辑意义上的装置，是通过其所在的电子设备的处理器62将非易失性存储器中存储的计算机程序指令读取到内存63中运行形成的。
基于同一发明构思，本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任意可能的实现方式中的图像处理方法的步骤。
基于同一发明构思，参见图14，本申请实施例还提供了一种电子设备，包括存储器61(例如非易失性存储器)、处理器62及存储在存储器61上并可在处理器62上运行的计算机程序，处理器62执行所述程序时实现上述任意可能的实现方式中的图像处理方法的步骤。该电子设备例如可以为PC，医疗设备等。
如图14所示，该电子设备一般还可以包括：内存63、网络接口64、以及内部总线65。除了这些部件外，还可以包括其他硬件，对此不再赘述。
需要指出的是，上述图像处理装置可以通过软件实现，其作为一个逻辑意义上的装置，是通过其所在的电子设备的处理器62将非易失性存储器中存储的计算机程序指令读取到内存63中运行形成的。
需要说明的是，上述的图像优化网络的训练方法与图像处理方法可以在同一个电子设备中执行，例如图像优化网络的训练和图像处理都可在医疗设备中执行，当然两者也可以在不同的电子设备中执行，比方说在一个电子设备中训练图像优化网络，而在另一个电子设备中进行图像处理时可以利用该已训练的图像优化网络。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (8)
1.一种图像优化网络的训练方法，其特征在于，所述方法包括：
获取源域数据集和目标域数据集；其中，所述源域数据集包含多个带标签的源域低质量图像，所述源域低质量图像的标签为与其图像内容一致的源域高质量图像，所述目标域数据集包含多个缺少标签的目标域低质量图像；
从所述源域数据集中选取第一批带标签的源域低质量图像，利用所述第一批带标签的源域低质量图像，对预先构建的图像优化网络进行有监督训练，得到所述特征提取器的第一网络参数；
从所述源域数据集中选取一批源域低质量图像，以及从所述目标域数据集中选取一批目标域低质量图像，并对选取的源域低质量图像和目标域低质量图像的类别进行标记，得到混合数据集；通过具有所述第一网络参数的所述特征提取器，提取所述混合数据集中源域低质量图像或目标域低质量图像的图像特征，并输出给判别网络，对所述判别网络进行有监督训练，得到所述判别网络的第二网络参数；
从所述源域数据集中选取第二批带标签的源域低质量图像，利用所述第二批带标签的源域低质量图像，对训练后的所述图像优化网络和具有所述第二网络参数的所述判别网络进行联合训练，得到所述图像优化网络。
2.根据权利要求1所述的方法，其特征在于，对所述图像优化网络和所述判别网络进行联合训练时，所述联合训练的损失函数为所述图像优化网络的损失函数和所述判别网络的损失函数的加权和；
其中，所述图像优化网络的损失函数和所述判别网络的损失函数的权重均为0.5。
3.一种图像处理方法，其特征在于，所述方法包括：
获取待处理的目标域低质量图像；
将所述目标域低质量图像输入到预先训练的图像优化网络，所述图像优化网络是根据权利要求1-2任一项所述的方法训练生成的；
获得通过所述图像优化网络生成的目标域高质量图像。
4.一种图像优化网络的训练装置，其特征在于，所述装置包括：
训练数据获取模块，被配置为获取源域数据集和目标域数据集；其中，所述源域数据集包含多个带标签的源域低质量图像，所述源域低质量图像的标签为与其图像内容一致的源域高质量图像，所述目标域数据集包含多个缺少标签的目标域低质量图像；
图像优化网络训练模块，被配置为从所述源域数据集中选取第一批带标签的源域低质量图像，利用所述第一批带标签的源域低质量图像，对预先构建的图像优化网络进行有监督训练，得到所述特征提取器的第一网络参数；
判别网络训练模块，被配置为从所述源域数据集中选取一批源域低质量图像，以及从所述目标域数据集中选取一批目标域低质量图像，并对选取的源域低质量图像和目标域低质量图像的类别进行标记，得到混合数据集；通过具有所述第一网络参数的所述特征提取器，提取所述混合数据集中源域低质量图像或目标域低质量图像的图像特征，并输出给所述判别网络，对所述判别网络进行有监督训练，得到所述判别网络的第二网络参数；
联合训练模块，被配置为从所述源域数据集中选取第二批带标签的源域低质量图像，利用所述第二批带标签的源域低质量图像，对训练后的所述图像优化网络和具有所述第二网络参数的所述判别网络进行联合训练，得到所述图像优化网络。
5.根据权利要求4所述的装置，其特征在于，对所述图像优化网络和所述判别网络进行联合训练时，所述联合训练的损失函数为所述图像优化网络的损失函数和所述判别网络的损失函数的加权和；
其中，所述图像优化网络的损失函数和所述判别网络的损失函数的权重均为0.5。
6.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，被配置为获取待处理的目标域低质量图像；
图像处理模块，被配置为将所述目标域低质量图像输入到预先训练的图像优化网络，所述图像优化网络是根据权利要求1-2任一项所述的方法训练生成的；获得通过所述图像优化网络生成的目标域高质量图像。
7.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求3所述方法的步骤。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求3所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010003012.5A CN111199256B (zh) | 2020-01-02 | 2020-01-02 | 图像优化网络的训练方法、图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010003012.5A CN111199256B (zh) | 2020-01-02 | 2020-01-02 | 图像优化网络的训练方法、图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111199256A CN111199256A (zh) | 2020-05-26 |
| CN111199256B true CN111199256B (zh) | 2024-03-22 |
Family
ID=70747201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010003012.5A Active CN111199256B (zh) | 2020-01-02 | 2020-01-02 | 图像优化网络的训练方法、图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111199256B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862081B (zh) * | 2020-07-31 | 2023-11-24 | 抖音视界有限公司 | 图像评分方法、分数预测网络的训练方法、装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018109505A1 (en) * | 2016-12-15 | 2018-06-21 | Google Llc | Transforming source domain images into target domain images |
| CN110148142A (zh) * | 2019-05-27 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法、装置、设备和存储介质 |
| CN110399856A (zh) * | 2019-07-31 | 2019-11-01 | 上海商汤临港智能科技有限公司 | 特征提取网络训练方法、图像处理方法、装置及其设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10474929B2 (en) * | 2017-04-25 | 2019-11-12 | Nec Corporation | Cyclic generative adversarial network for unsupervised cross-domain image generation |
-
2020
- 2020-01-02 CN CN202010003012.5A patent/CN111199256B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018109505A1 (en) * | 2016-12-15 | 2018-06-21 | Google Llc | Transforming source domain images into target domain images |
| CN110148142A (zh) * | 2019-05-27 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法、装置、设备和存储介质 |
| CN110399856A (zh) * | 2019-07-31 | 2019-11-01 | 上海商汤临港智能科技有限公司 | 特征提取网络训练方法、图像处理方法、装置及其设备 |
Non-Patent Citations (1)
| Title |
|---|
| 曲长文 ; 刘晨 ; 周强 ; 李智 ; 李健伟 ; .基于分块CNN的多尺度SAR图像目标分类算法.雷达科学与技术.2018,(02),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111199256A (zh) | 2020-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110148142B (zh) | 图像分割模型的训练方法、装置、设备和存储介质 | |
| CN110210513B (zh) | 数据分类方法、装置及终端设备 | |
| KR102177568B1 (ko) | 레이블 있는 데이터 및 레이블 없는 데이터를 병용하는 준지도 강화 학습 방법 및 이를 이용한 장치 | |
| JP5772442B2 (ja) | 画像処理装置及び画像処理プログラム | |
| CN108229522B (zh) | 神经网络的训练方法、属性检测方法、装置及电子设备 | |
| US20200134455A1 (en) | Apparatus and method for training deep learning model | |
| CN111291827B (zh) | 图像聚类方法、装置、设备及存储介质 | |
| CN110929772A (zh) | 模型训练方法、样本生成方法、装置、电子设备及存储介质 | |
| US20220180512A1 (en) | Method for predicting disease based on medical image | |
| Douillard et al. | Tackling catastrophic forgetting and background shift in continual semantic segmentation | |
| CN113706558A (zh) | 图像分割方法、装置及计算机设备 | |
| CN111199256B (zh) | 图像优化网络的训练方法、图像处理方法及装置 | |
| CN115699024A (zh) | 疾病严重程度判断用神经网络学习方法及系统 | |
| CN110135428B (zh) | 图像分割处理方法和装置 | |
| KR102562377B1 (ko) | 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템 | |
| CN112819050B (zh) | 知识蒸馏和图像处理方法、装置、电子设备和存储介质 | |
| CN114359592A (zh) | 模型训练及图像处理方法、装置、设备、存储介质 | |
| CN115994558A (zh) | 医学影像编码网络的预训练方法、装置、设备及存储介质 | |
| CN112989312A (zh) | 验证码的识别方法、装置、电子设备和存储介质 | |
| CN116204786B (zh) | 生成指定故障趋势数据的方法和装置 | |
| CN111582449A (zh) | 一种目标域检测网络的训练方法、装置、设备及存储介质 | |
| CN114299567B (zh) | 模型训练、活体检测方法、电子设备及存储介质 | |
| CN113469202A (zh) | 数据处理的方法、电子设备和计算机可读存储介质 | |
| CN117274971B (zh) | 一种应用于水表数据提取的图像处理方法以及电子设备 | |
| Sumbul et al. | Label noise robust image representation learning based on supervised variational autoencoders in remote sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240219 Address after: 110167 No. 177-1 Innovation Road, Hunnan District, Shenyang City, Liaoning Province Applicant after: Shenyang Neusoft Medical Systems Co.,Ltd. Country or region after: China Address before: Room 336, 177-1, Chuangxin Road, Hunnan New District, Shenyang City, Liaoning Province Applicant before: Shenyang advanced medical equipment Technology Incubation Center Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |