CN112861977B - 迁移学习数据处理方法、系统、介质、设备、终端及应用 - Google Patents
迁移学习数据处理方法、系统、介质、设备、终端及应用 Download PDFInfo
- Publication number
- CN112861977B CN112861977B CN202110189262.7A CN202110189262A CN112861977B CN 112861977 B CN112861977 B CN 112861977B CN 202110189262 A CN202110189262 A CN 202110189262A CN 112861977 B CN112861977 B CN 112861977B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- skeleton
- layer
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000013508 migration Methods 0.000 title description 18
- 230000005012 migration Effects 0.000 title description 18
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000010586 diagram Methods 0.000 claims abstract description 37
- 238000013526 transfer learning Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims description 22
- 230000008485 antagonism Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000007670 refining Methods 0.000 claims description 3
- 230000008685 targeting Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 abstract description 3
- 238000004088 simulation Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010380 label transfer Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明属于图像分类技术领域，公开了一种迁移学习数据处理方法、系统、介质、设备、终端及应用，目标域图像骨架化，得到目标域图像骨架图；构造骨架拟合器网络；训练骨架拟合器网络；构造图像骨架约束的生成对抗网络；通过对抗损失，生成图像的损失，分类器损失对生成器网络和判别器网络依次进行交替训练；输入目标域图像，得到目标域图像标签信息；本发明通过图像骨架对生成的图像进行约束，将源域图像的分布翻译成目标域图像的分布并保持结构信息不变，从而进行标签的传递，实现跨域分类。本发明通过约束源域和目标域间的结构信息，利用生成对抗网络，使源域图像的分布翻译成目标域图像的分布并保持结构信息不变，从而进行标签的传递。
Description
技术领域
本发明属于图像分类技术领域，尤其涉及一种迁移学习数据处理方法、系统、介质、设备、终端及应用。
背景技术
近年来，深度学习相关技术已经被广泛应用于各个领域，尤其在图像分类问题上取得了显著成果，传统的深度学习方法都默认训练数据和测试数据属于相同的数据分布，而现实情况往往更为复杂，随着时间的推移，数据的分布也在发生变化，这就使得花费高额成本得到的训练模型的不能够满足实际问题的需要。深度迁移学习打破了传统的深度学习框架，利用现实中存在的已有标注信息的数据域，通过寻找两个域间的相似性，进行知识的迁移，从而完成标签的传递。
目前主流的深度迁移学习方法主要分为基于微调(fine-tuning)和领域自适应(domain adaption)两种。基于微调的深度迁移学习利用已经训练好的成熟网络，针对实际任务，将网络模型前几层的参数固定，对输出层或后几层参数进行调整以满足任务需要。预训练模型由于其往往在规模较大的数据集上训练得到的，而深度学习模型的性能很大程度上都依赖于数据量的多寡，因此采用该种方式得到的模型鲁棒性更好，且泛化能力更强，但该方法无法解决迁移学习问题中的数据分布不同问题。领域自适应方法主要通过提取源域和目标域数据的域不变特征来调整来进行知识的迁移，该方法假设数据在特征空间的分布是一致的，但该类方法存在的问题是，由于特征空间的抽象性，其实无法判断提取的特征是否为域不变特征。
通过上述分析，现有技术存在的问题及缺陷为：
(1)基于微调的深度迁移学习方法使用的预训练模型，其训练数据和目标任务所使用的数据匹配度并不高，即使该模型有较强的泛化能力，在目标数据上的性能也有所限制，同时更无法解决训练数据与测试数据分布不相同的问题。
(2)领域自适应方法由于特征空间的抽象性，无法判断提取的特征是否为域不变特征，并且提取到的域不变特征是否可区分以满足任务需要，其标准难以衡量。
解决以上问题及缺陷的难度为：迁移学习方法成立的前提条件是源域数据和目标域数据拥有相似的，可共用的知识，由于深度神经网络拥有极强的特征表征能力，因而深度迁移学习方法大都利用该网络进行特征提取并假设源域数据和目标域数据在特征空间分布一致，为了解释深度神经网络，科研工作者进行了大量的对比实验。本发明利用生成对抗网络在图像翻译领域的优越性，并辅以图像骨架约束以控制图像表达的含义不变进行知识迁移，可以通过中间结果检验生成器网络的性能，直观的感受迁移学习的过程，通过实验证明，取得了较好的结果。
解决以上问题及缺陷的意义为：为解决上述问题，亟需找到一种可解释性的迁移学习方法，即能够直观的展现出源域数据和目标域数据之间的联系，并且可以利用源域数据及其标注信息完成迁移学习任务。
发明内容
针对现有技术存在的问题，本发明提供了一种迁移学习数据处理方法、系统、介质、设备、终端及应用。
本发明是这样实现的，一种迁移学习数据处理方法，所述迁移学习数据处理方法、系统、介质、设备包括：
获取目标域图像Xt及其对应骨架图It，构造形式为“目标域图像-目标域图像骨架图”的成对数据集，用于网络模型训练；
构造骨架拟合器网络T，用于拟合输入图像的骨架信息；
将成对数据集输入进骨架拟合器网络T进行训练，用于提取输入图像的骨架信息；
构造基于图像骨架约束的生成对抗网络，其中，该网络中包括生成器网络、判别器网络、骨架拟合器网络和分类器网络，用于迁移学习模型训练；
将源域图像Xs及对应的标签Y和目标域图像Xt输入构造的对抗网络中进行训练；
将所有目标域图像Xt输入到对抗网络的分类器得到目标域图像的标签信息，实现迁移学习任务。
进一步，利用zhang细化算法获取图像对应的骨架图；
骨架拟合器网络包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层，第四卷积层、第一反卷积层、第二反卷积层、第五卷积层、第六卷积层和输出层；其中，骨架拟合器网络的输入为目标域图像Xt和对应骨架图It，输出为拟合的骨架图I't；
构造骨架拟合损失函数LT，损失函数LT表示为：
其中，θT表示骨架拟合器T的参数，为第k张图像，It (k)为第k张目标域图像对应骨架图标签，K为每批次大小，当骨架拟合器网络T训练完成后，保持其参数不变。
进一步，生成器网络包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层，第四卷积层、第一反卷积层、第二反卷积层、第五卷积层、第六卷积层和输出层；其中生成器网络的输入为源域图像Xs及对应标签Y，输出为生成的图像
判别器网络包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层，第四卷积层、第五卷积层、第一全连接层和分类器；其中，判别器网络的输入为目标域图像Xt和生成的源域图像输出为单个节点，表示生成的图像符合目标域图像分布的概率；
分类器网络包括依次相连接的输入层、第一卷积层、第一最大池化层、第二卷积层、第三卷积层、第二最大池化层、第一全连接层和第二全连接层；其中，分类器网络的输入为生成的图像及对应标签Y,输出为图像被判别为对应标签的概率。
进一步，对构造的生成对抗网络进行训练的具体方法是：
首先，构造针对源域数据Xs和生成图像的损失LS、分类器损失LC、对抗损失函数LGAN和生成器损失函数L；
其次，通过针对源域数据Xs和生成图像的损失LS、分类器损失LC、对抗损失函数LGAN、生成器损失函数L、源域数据Xs和目标域数据XT,结合小批次随机梯度下降方法，对生成器网络、判别器网络和分类器网络依次进行交替训练，最终得到训练后的生成器网络、判别器网络和分类器网络的权值。
进一步，生成器损失L由针对源域数据Xs和生成图像的损失LS、分类器损失LC和对抗损失函数LGAN加权求和得到：
其中，θG表示生成器G的参数，θD表示判别器D的参数，θC表示分类器C的参数，λ1、λ2和λ3均为参数；具体地：
对抗损失LGAN函数表示为：
其中，θG表示生成器G的参数，θD表示判别器D的参数；
训练生成器时，针对源域数据Xs和生成图像的损失LS表示为：
其中，为骨架拟合器网络的输出图像，ω为权重参数，/>为生成器输出图像，/>为生成器网络输出图像对应的骨架图，θG为生成器G的参数，K为每批次的大小；
训练生成器时，分类器损失LC的表达式为：
其中，θC为深度分类器网络C的参数，表示第k张源域图像经过深度生成器网络G得到的输出图像，/>表示该输出图像经过深度分类器网络的结果，Y(k)为该输出图像的期望输出结果，K为每批次的大小。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
步骤一，获取目标域图像及其对应骨架图，构造形式为“目标域图像-目标域图像骨架图”的成对数据集；
步骤二，构造骨架拟合器网络；
步骤三，将步骤一中的成对数据集输入进步骤二中的网络进行训练；
步骤四，构造基于图像骨架约束的生成对抗网络，其中，该网络中包括生成器网络、判别器网络、骨架拟合器网络和分类器网络；
步骤五，将源域图像及对应的标签和目标域图像输入步骤四中构造的网络中进行训练；
步骤六，将所有目标域图像输入到步骤四中网络的分类器得到目标域图像的标签信息。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
步骤一，获取目标域图像及其对应骨架图，构造形式为“目标域图像-目标域图像骨架图”的成对数据集；
步骤二，构造骨架拟合器网络；
步骤三，将步骤一中的成对数据集输入进步骤二中的网络进行训练；
步骤四，构造基于图像骨架约束的生成对抗网络，其中，该网络中包括生成器网络、判别器网络、骨架拟合器网络和分类器网络；
步骤五，将源域图像及对应的标签和目标域图像输入步骤四中构造的网络中进行训练；
步骤六，将所有目标域图像输入到步骤四中网络的分类器得到目标域图像的标签信息。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的迁移学习数据处理方法。
本发明的另一目的在于提供一种实施所述迁移学习数据处理方法的迁移学习数据处理系统，所述迁移学习数据处理系统包括：
骨架图获取模块，用于图像骨架化，得到骨架图；
骨架拟合器网络构造模块，用于构造骨架拟合器网络；
骨架拟合器网络训练模块，用于训练骨架拟合器网络；
对抗网络生成模块，用于构造图像骨架约束的生成对抗网络；
交替训练模块，用于通过对抗损失，生成图像的损失，分类器损失对生成器网络和判别器网络依次进行交替训练；
目标域图像标签信息获取模块，用于输入目标域图像，得到目标域图像标签信息。
本发明的另一目的在于提供一种图像分类处理系统，所述图像分类处理系统用于实现所述的迁移学习数据处理方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明通过约束源域和目标域间的结构信息，利用生成对抗网络，使源域图像的分布翻译成目标域图像的分布并保持表达含义不变，从而进行标签的传递。
本发明得到基于图像约束的生成对抗网络，通过寻找到源域与目标域结构的相似性，该网络将源域图像翻译成同目标域分布一致但保持源域结构不变的图像，由于源域图像带有标签信息，生成的图像作为训练集，目标域图像作为测试集，此时训练数据与测试数据满足深度网络所要求的分布一致性，训练好的分类器可以对目标域进行良好的分类，完成标签的传递。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的迁移学习数据处理方法流程图。
图2是本发明实施例提供的迁移学习数据处理系统的结构示意图；
图2中：1、骨架图获取模块；2、骨架拟合器网络构造模块；3、骨架拟合器网络训练模块；4、对抗网络生成模块；5、交替训练模块；6、目标域图像标签信息获取模块。
图3是本发明实施例提供的图像骨架约束及生成对抗网络的迁移学习网络流程图。
图4是本发明实施例提供的骨架拟合器网络流程图。
图5是本发明实施例提供的网络架构示意图，其中，(a)骨架拟合器网络架构；(b)是生成模型的网络架构；(c)是判别模型的网络架构；(d)是分类器网络架构。
图6是本发明实施例提供的部分仿真结果图，其中，(a)是骨架拟合器仿真结果图，从左往右第一列是目标域图像，第二列是目标域图像骨架拟合结果图；(b)是生成器生成图像结果，按列查看，从左往右第一列为源域图像，第二列为源域图像经过生成器网络后的输出图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种迁移学习数据处理方法、系统、介质、设备、终端及应用，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的迁移学习数据处理方法包括以下步骤：
S101：获取目标域图像及其对应骨架图，构造形式为“目标域图像-目标域图像骨架图”的成对数据集；
S102：构造骨架拟合器网络；
S103：将S101中的成对数据集输入进S102中的网络进行训练；
S104：构造基于图像骨架约束的生成对抗网络，其中，该网络中包括生成器网络、判别器网络、骨架拟合器网络和分类器网络；
S105：将源域图像及对应的标签和目标域图像输入S104中构造的网络中进行训练；
S106：将所有目标域图像输入到S104中网络的分类器得到目标域图像的标签信息。
本发明提供的迁移学习数据处理方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的迁移学习数据处理方法仅仅是一个具体实施例而已。
如图2所示，本发明提供的迁移学习数据处理系统包括：
骨架图获取模块1，用于图像骨架化，得到骨架图；
骨架拟合器网络构造模块2，用于构造骨架拟合器网络；
骨架拟合器网络训练模块3，用于训练骨架拟合器网络；
对抗网络生成模块4，用于构造图像骨架约束的生成对抗网络；
交替训练模块5，用于通过对抗损失，生成图像的损失，分类器损失对生成器网络和判别器网络依次进行交替训练；
目标域图像标签信息获取模块6，用于输入目标域图像，得到目标域图像标签信息。
下面结合附图对本发明的技术方案作进一步的描述。
如图3所示，本发明提供的迁移学习数据处理包括以下步骤：
步骤一，获取目标域图像Xt及其对应骨架图It，构造形式为“目标域图像-目标域图像骨架图”的成对数据集，具体地，利用zhang细化算法获取图像对应的骨架图，输入目标域图像Xt得到对应骨架图It，骨架图为二值化图像，骨架部分值为1，其余部分值为0。
本发明使用的zhang细化算法是T.Y.Zhang等人于1984年发表在COMMUN ACM杂志上的文章《A fast parallel algorithm for thinning digital patterns》中提出的模型。
步骤二，构造骨架拟合器网络T。
如图4所示，构造一个深度卷积神经网络，输入为目标域图像Xt和对应骨架图It，输出为拟合的骨架图T(Xt)，随机初始化该网络中各个卷积核的参数，得到初始化后的骨架拟合器网络。
如图5的(a)所示，骨架拟合器网络包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层，第四卷积层、第一反卷积层、第二反卷积层、第五卷积层、第六卷积层和输出层。输入层为28×28×1大小的原图及骨架图，输入层和输出层间的8层的滤波器尺寸分别为3，3，3，3，3，3，3，3，步长分别为1，2，1，2，2，2，1，1，特征映射图数目分别为64，128，256，256，256，128，64，2，1，输出层大小为28×28×1的二值图。
步骤三，训练骨架拟合器。
如图4，通过骨架拟合损失LT，利用步骤一的成对数据集，采用小批次随机梯度下降方法，对骨架拟合器网络进行训练，得到训练后的网络权值。
训练批次大小n＝64和迭代次数k＝30。
步骤四，构造基于图像骨架约束的生成对抗网络。
构造一个深度卷积网络，输入为源域图像Xs和目标域图像Xt，输出为源域图像生成图像对应的标签随机初始化该网络中各个卷积核的参数，得到初始化后的网络。
图5是生成模型、判别模型和分类器的网络架构示意图。
如图5的(b)，所述生成器网络依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层，第四卷积层、第一反卷积层、第二反卷积层、第五卷积层、第六卷积层和输出层。输入层为28×28×1大小的源域图像，输入层和输出层间的8层的滤波器尺寸分别为3，3，3，3，3，3，3，3，步长分别为1，2，1，2，2，2，1，1，特征映射图数目分别为64，128，256，256，256，128，64，1，1，输出层大小为28×28×1的灰度图像。
构造一个深度卷积网络，输入为目标域图像Xt和生成器生成图像输出为单个节点，表示翻译后的图像符合目标域图像分布的概率，随机初始化该网络中各个卷积核的参数，得到初始化后的网络。
如图5的(b)所述判别器网络包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层，第四卷积层、第五卷积层、第一全连接层和而分类器，输入层的输入为28×28×1大小的图像，输入层和输出层间的5层的滤波器尺寸分别为5，5，5，5，2，步长分别为2，2，2，2，2，特征映射图数目分别为64，128，256，512，1024，全连接层的节点为100，1，输出一个标量。
构造一个深度卷积网络，输入为生成器生成图像及对应标签Y，输出为对应类别的概率，随机初始化该网络中各个卷积核的参数，得到初始化后的网络。
如图5的(c)所述分类器网络包括依次相连接的输入层、第一卷积层、第一最大池化曾、第二卷积层、第三卷积层、第二最大池化层、第一全连接层和第二全连接层，输入层的输入为28×28×1大小的图像，输入层和输出层间的5层的滤波器尺寸分别为5，2，3，3，2，步长分别为1，2，1，1，2，特征映射图数目分别为32，32，64，64，64，全连接层的节点为256，10。
步骤六，生成器网络、判别器网络和分类器网络的训练及学习。
图3是图像骨架约束及生成对抗网络的流程图。
如图3，通过针对源域数据Xs和生成图像的损失LS、分类器损失LC和对抗损失函数LGAN构造的生成器损失函数L及源域数据Xs及其对应标签Y，目标域数据Xt，借助小批次随机梯度下降方法，对生成器网络、判别器网络和分类器网络依次进行交替训练，得到训练后的生成器网络、判别器网络和分类器网络的权值。
所述生成器损失L由针对源域数据Xs和生成图像的损失LS、分类器损失LC和对抗损失函数LGAN加权求和得到：
其中，θG表示生成器G的参数，θD表示判别器D的参数，θC表示分类器C的参数，λ1、λ2和λ3均为参数，用来平衡四种损失函数。
对抗损失LGAN的设计方法如下：
判别器的输入为生成的图像和目标域图像，输出为生成图像符合目标域图像分布的概率，根据GAN的定义，将对抗损失函数LGAN表示为如下零和博弈形式：
其中，θG表示生成器G的参数，θD表示判别器D的参数。
针对源域数据Xs和生成图像的损失LS设计如下：
其中，为骨架拟合器网络的输出图像，ω为权重参数，/>为生成器输出图像，/>为生成器网络输出图像对应的骨架图，θG为生成器G的参数。
分类器损失LC的设计依照交叉熵定义，表达式为：
其中，θC为深度分类器网络C的参数，表示第k张源域图像经过深度生成器网络G得到的输出图像，/>表示该输出图像经过深度分类器网络的结果，Y(k)为该输出图像的期望输出结果，K为每批次的大小。
所述借助小批次随机梯度下降方法，对判别器网络、和生成器网络依次进行交替训练的具体步骤为：
第一步，设置训练批次大小n＝64和迭代次数m＝1000，以及损失函数中包含的四种权重参数λ1＝0.25，λ2＝0.4，λ3＝0.35，ω＝5；
第二步，从源域数据中随机采样一个批次n个样本
第三步，从目标域数据中随机采样一个小批次n个样本
第四步，通过小批次随机梯度下降的方法更新判别器网络D：
第五步，通过小批次随机梯度下降的方法更新生成器网络G：
第六步，重复第二步至第六步，直到达到迭代次数m；
第七步，输出训练完成的生成器网络G的权值θG、判别器网络D的权值θD和分类器网络C的权值θC。
步骤七，利用训练好的分类器对目标域图像进行分类。
将所有目标域图像Xt输入到分类器网络，得到其对应的类标。
下面结合仿真对本发明的技术效果作详细的描述。
1.仿真条件：
本发明仿真的硬件平台为：HP Z840；软件平台为：Tensorflow；本发明使用的源域图像为MNIST手写体数据集，包含训练集样本60000张，目标域图像为USPS，包含训练集样本7291张。
2.仿真内容与结果：
用本发明方法在上述仿真条件下进行实验，首先从“目标域图像-目标域图像骨架图”的成对数据集选取70％的成对样本对骨架拟合器网络进行训练。得到如图6的(a)的结果，从左往右第一列目标域图像，第二列是目标域图像骨架拟合结果图，再通过源域图像、源域图像对应标签和目标域图像对基于图像骨架约束的生成对抗网络进行训练，如图6的(b)为对应的生成器结果，按列查看，从左往右第一列为源域图像，第二列为翻译后的图像。
从图6可以看出生成器生成的图像和目标域的分布具有很大的相似性，同时，在图像翻译前后的结果也保持了一致性。最终的分类结果为90.1％，也取得了较好的分类结果。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种迁移学习数据处理方法，其特征在于，所述迁移学习数据处理方法、系统、介质、设备包括：
获取目标域图像Xt及其对应骨架图It，构造形式为“目标域图像-目标域图像骨架图”的成对数据集；
构造骨架拟合器网络T；
将成对数据集输入进骨架拟合器网络T进行训练；
构造基于图像骨架约束的生成对抗网络，其中，该网络中包括生成器网络、判别器网络、骨架拟合器网络和分类器网络；
将源域图像Xs及对应的标签Y和目标域图像Xt输入构造的对抗网络中进行训练；
将所有目标域图像Xt输入到对抗网络的分类器得到目标域图像的标签信息；
利用zhang细化算法获取图像对应的骨架图；
骨架拟合器网络包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层，第四卷积层、第一反卷积层、第二反卷积层、第五卷积层、第六卷积层和输出层；其中，骨架拟合器网络的输入为目标域图像Xt和对应骨架图It，输出为拟合的骨架图I’t；
构造骨架拟合损失函数LT，损失函数LT表示为：
其中，θT表示骨架拟合器T的参数，为第k张图像，It (k)为第k张目标域图像对应骨架图标签，K为每批次大小，当骨架拟合器网络T训练完成后，保持其参数不变。
2.如权利要求1所述的迁移学习数据处理方法，其特征在于，生成器网络包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层，第四卷积层、第一反卷积层、第二反卷积层、第五卷积层、第六卷积层和输出层；其中生成器网络的输入为源域图像Xs及对应标签Y，输出为生成的图像
判别器网络包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层，第四卷积层、第五卷积层、第一全连接层和分类器；其中，判别器网络的输入为目标域图像Xt和生成的源域图像输出为单个节点，表示生成的图像符合目标域图像分布的概率；
分类器网络包括依次相连接的输入层、第一卷积层、第一最大池化层、第二卷积层、第三卷积层、第二最大池化层、第一全连接层和第二全连接层；其中，分类器网络的输入为生成的图像及对应标签Y,输出为图像被判别为对应标签的概率。
3.如权利要求1所述的迁移学习数据处理方法，其特征在于，对构造的生成对抗网络进行训练的具体方法是：
首先，构造针对源域数据Xs和生成图像的损失LS、分类器损失LC、对抗损失函数LGAN和生成器损失函数L；
其次，通过针对源域数据Xs和生成图像的损失LS、分类器损失LC、对抗损失函数LGAN、生成器损失函数L、源域数据Xs和目标域数据Xt,结合小批次随机梯度下降方法，对生成器网络、判别器网络和分类器网络依次进行交替训练，最终得到训练后的生成器网络、判别器网络和分类器网络的权值。
4.如权利要求3所述的迁移学习数据处理方法，其特征在于，生成器损失L由针对源域数据Xs和生成图像的损失LS、分类器损失LC和对抗损失函数LGAN加权求和得到：
其中，θG表示生成器G的参数，θD表示判别器D的参数，θC表示分类器C的参数，λ1、λ2和λ3均为参数；具体地：
对抗损失LGAN函数表示为：
其中，θG表示生成器G的参数，θD表示判别器D的参数，K为每批次的大小；
训练生成器时，针对源域数据Xs和生成图像的损失LS表示为：
其中，为骨架拟合器网络的输出图像，ω为权重参数，/>为生成器输出图像，/>为生成器网络输出图像对应的骨架图，θG为生成器G的参数，K为每批次的大小；
训练生成器时，分类器损失LC的表达式为：
其中，θC为深度分类器网络C的参数，表示第k张源域图像经过深度生成器网络G得到的输出图像，/>表示该输出图像经过深度分类器网络的结果，Y(k)为该输出图像的期望输出结果，K为每批次的大小。
5.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1～4任意一项所述的迁移学习数据处理方法的步骤。
6.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1～4任意一项所述的迁移学习数据处理方法的步骤。
7.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1～4任意一项所述的迁移学习数据处理方法。
8.一种实施权利要求1～4任意一项所述迁移学习数据处理方法的迁移学习数据处理系统，其特征在于，所述迁移学习数据处理系统包括：
骨架图获取模块，用于图像骨架化，得到骨架图；
骨架拟合器网络构造模块，用于构造骨架拟合器网络；
骨架拟合器网络训练模块，用于训练骨架拟合器网络；
对抗网络构造模块，用于构造图像骨架约束的生成对抗网络；
交替训练模块，用于通过对抗损失LGAN，源域数据Xs和生成图像的损失LS，分类器损失LC对生成器网络G、判别器网络D和分类器网络C依次进行交替训练；
目标域图像标签信息获取模块，用于输入目标域图像，得到目标域图像标签信息。
9.一种图像分类处理系统，其特征在于，所述图像分类处理系统用于实现权利要求1～4任意一项所述的迁移学习数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110189262.7A CN112861977B (zh) | 2021-02-19 | 2021-02-19 | 迁移学习数据处理方法、系统、介质、设备、终端及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110189262.7A CN112861977B (zh) | 2021-02-19 | 2021-02-19 | 迁移学习数据处理方法、系统、介质、设备、终端及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112861977A CN112861977A (zh) | 2021-05-28 |
| CN112861977B true CN112861977B (zh) | 2024-01-26 |
Family
ID=75988178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110189262.7A Active CN112861977B (zh) | 2021-02-19 | 2021-02-19 | 迁移学习数据处理方法、系统、介质、设备、终端及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861977B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569917B (zh) * | 2021-07-01 | 2023-12-12 | 浙江大学 | 一种自监督的图像翻译方法和系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201809604D0 (en) * | 2018-06-12 | 2018-07-25 | Tom Tom Global Content B V | Generative adversarial networks for image segmentation |
| CN109583342A (zh) * | 2018-11-21 | 2019-04-05 | 重庆邮电大学 | 基于迁移学习的人脸活体检测方法 |
| CN109753992A (zh) * | 2018-12-10 | 2019-05-14 | 南京师范大学 | 基于条件生成对抗网络的无监督域适应图像分类方法 |
| WO2019148898A1 (zh) * | 2018-02-01 | 2019-08-08 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
| CN110210486A (zh) * | 2019-05-15 | 2019-09-06 | 西安电子科技大学 | 一种基于素描标注信息的生成对抗迁移学习方法 |
| WO2019228358A1 (zh) * | 2018-05-31 | 2019-12-05 | 华为技术有限公司 | 深度神经网络的训练方法和装置 |
| KR20200115001A (ko) * | 2019-03-25 | 2020-10-07 | 한국과학기술원 | 뉴럴 네트워크를 이용한 결측 영상 데이터 대체 방법 및 그 장치 |
| CN111798369A (zh) * | 2020-06-29 | 2020-10-20 | 电子科技大学 | 一种基于循环条件生成对抗网络的人脸衰老图像合成方法 |
| CN112131967A (zh) * | 2020-09-01 | 2020-12-25 | 河海大学 | 基于多分类器对抗迁移学习的遥感场景分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3767536A1 (en) * | 2019-07-17 | 2021-01-20 | Naver Corporation | Latent code for unsupervised domain adaptation |
-
2021
- 2021-02-19 CN CN202110189262.7A patent/CN112861977B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019148898A1 (zh) * | 2018-02-01 | 2019-08-08 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
| WO2019228358A1 (zh) * | 2018-05-31 | 2019-12-05 | 华为技术有限公司 | 深度神经网络的训练方法和装置 |
| GB201809604D0 (en) * | 2018-06-12 | 2018-07-25 | Tom Tom Global Content B V | Generative adversarial networks for image segmentation |
| CN109583342A (zh) * | 2018-11-21 | 2019-04-05 | 重庆邮电大学 | 基于迁移学习的人脸活体检测方法 |
| CN109753992A (zh) * | 2018-12-10 | 2019-05-14 | 南京师范大学 | 基于条件生成对抗网络的无监督域适应图像分类方法 |
| KR20200115001A (ko) * | 2019-03-25 | 2020-10-07 | 한국과학기술원 | 뉴럴 네트워크를 이용한 결측 영상 데이터 대체 방법 및 그 장치 |
| CN110210486A (zh) * | 2019-05-15 | 2019-09-06 | 西安电子科技大学 | 一种基于素描标注信息的生成对抗迁移学习方法 |
| CN111798369A (zh) * | 2020-06-29 | 2020-10-20 | 电子科技大学 | 一种基于循环条件生成对抗网络的人脸衰老图像合成方法 |
| CN112131967A (zh) * | 2020-09-01 | 2020-12-25 | 河海大学 | 基于多分类器对抗迁移学习的遥感场景分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于生成对抗网络的无监督域适应分类模型;王格格;郭涛;余游;苏菡;;电子学报(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112861977A (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Maeda et al. | Generative adversarial network for road damage detection | |
| CN110135366B (zh) | 基于多尺度生成对抗网络的遮挡行人重识别方法 | |
| CN109816032B (zh) | 基于生成式对抗网络的无偏映射零样本分类方法和装置 | |
| Wu et al. | AdaHGNN: Adaptive hypergraph neural networks for multi-label image classification | |
| CN107168992A (zh) | 基于人工智能的文章分类方法及装置、设备与可读介质 | |
| CN113628294A (zh) | 一种面向跨模态通信系统的图像重建方法及装置 | |
| CN114998220B (zh) | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 | |
| CN108229287A (zh) | 图像识别方法和装置、电子设备和计算机存储介质 | |
| CN104038792B (zh) | 用于iptv监管的视频内容分析方法及设备 | |
| CN106991355A (zh) | 基于拓扑保持的解析型字典学习模型的人脸识别方法 | |
| CN114610900A (zh) | 知识图谱补全方法及系统 | |
| CN111339935A (zh) | 一种基于可解释cnn图像分类模型的光学遥感图片分类方法 | |
| CN110222780A (zh) | 物体检测方法、装置、设备和存储介质 | |
| CN111611925A (zh) | 一种建筑物检测与识别方法及装置 | |
| CN112667071A (zh) | 基于随机变分信息的手势识别方法、装置、设备及介质 | |
| CN112907614A (zh) | 基于深度特征融合的yolov5-segnet绝缘子串轮廓提取方法 | |
| CN115761366A (zh) | 补充缺失特征的零样本图片分类方法、系统、设备及介质 | |
| CN112861977B (zh) | 迁移学习数据处理方法、系统、介质、设备、终端及应用 | |
| CN108805280A (zh) | 一种图像检索的方法和装置 | |
| CN117994570A (zh) | 基于模型无关适配器提高复杂多样数据分布的识别方法 | |
| Wang et al. | Self-attention deep saliency network for fabric defect detection | |
| CN109559345B (zh) | 一种服装关键点定位系统及其训练、定位方法 | |
| Guo et al. | Accurate and fast single shot multibox detector | |
| CN114419372A (zh) | 一种多尺度点云分类方法及系统 | |
| Francisco et al. | A deep transfer learning design rule checker with synthetic training |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |