CN111739115B - 基于循环一致性的无监督人体姿态迁移方法、系统及装置 - Google Patents

基于循环一致性的无监督人体姿态迁移方法、系统及装置 Download PDF

Info

Publication number
CN111739115B
CN111739115B CN202010583710.7A CN202010583710A CN111739115B CN 111739115 B CN111739115 B CN 111739115B CN 202010583710 A CN202010583710 A CN 202010583710A CN 111739115 B CN111739115 B CN 111739115B
Authority
CN
China
Prior art keywords
image
training
migration
human body
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010583710.7A
Other languages
English (en)
Other versions
CN111739115A (zh
Inventor
郭海云
王金桥
唐明
刘松岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010583710.7A priority Critical patent/CN111739115B/zh
Publication of CN111739115A publication Critical patent/CN111739115A/zh
Application granted granted Critical
Publication of CN111739115B publication Critical patent/CN111739115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于领域，具体涉及了一种基于循环一致性的无监督人体姿态迁移方法，旨在解决现有的姿态迁移方法在跨身份人体姿态迁移任务中适应性差、生成图像质量较低的问题。本发明包括：获取一个人体图像和另一目标姿态并根据人体图象和目标姿态通过基于循环一致性的无监督对抗网络生成姿态迁移图像，所述基于循环一致性的无监督对抗网络通过无身份标签的训练图像以及设定的全局损失函数进行迭代训练。本发明提高了跨身份人体姿态迁移任务的适应性，提高了生成图像的质量。

Description

基于循环一致性的无监督人体姿态迁移方法、系统及装置
技术领域
本发明属于模式识别领域，具体涉及了一种基于循环一致性的无监督人体姿态迁移方法、系统及装置。
背景技术
人体姿态迁移属于图像生成领域的子问题。给定一个人体图像和一个目标姿态，人体姿态迁移旨在生成该人体在目标姿态下的图像，如图4所示。目前的人体姿态迁移技术主要集中于有监督的方法，这类技术在训练过程中需要一个输入的人体图像在目标姿态下的真实图像作为图像生成的学习目标。这种方法主要存在三个缺陷：首先，它需要训练数据具备身份标注信息，也就是需要同一个人在不同姿态下的图像对来监督网络训练，这种对训练数据的高要求大大限制了方法的适用性；其次，不同姿态的行人图像往往背景也并不完全相同，而现有方法一般以最小化生成图像与目标图像之间的重构误差为优化目标，即不仅约束生成图像中行人姿态与目标姿态一致，还要求生成图像的背景也与目标图像的背景一样，这种训练方式会导致背景过拟合，从而影响进一步的应用；最后，真实应用场景中往往需要的是跨身份人体姿态迁移，即目标姿态由与输入行人身份不同的另一幅行人图像的姿态估计结果指定。姿态估计结果不仅包含了姿态信息，还耦合了行人高矮胖瘦等体态信息。现有方法训练时仅仅使用了同一身份的行人图像对，因此在跨身份人体姿态迁移任务中适应性较差，导致生成图像质量较低。
发明内容
为了解决现有技术中的上述问题，即现有的姿态迁移方法在跨身份人体姿态迁移任务中适应性差、生成图像质量较低的问题，本发明提供了一种基于循环一致性的无监督人体姿态迁移方法，所述方法包括：
步骤S10，获取第一人体图像和第一目标姿态；
步骤S20，基于所述第一人体图像和第一目标姿态，通过训练好的图像迁移网络的生成器G生成第一姿态迁移图像；
其中，所述图像迁移网络为基于无监督对抗网络构建，并通过无身份标签的训练图像以及设定的全局损失函数进行迭代训练获得的用于生成目标姿态下输入图像对应的姿态迁移图像的网络；所述图像迁移网络包括生成器G和判别器D；所述设定的全局损失函数包括姿态一致性损失函数
Figure BDA0002553374040000021
对抗损失函数
Figure BDA0002553374040000022
循环一致性损失函数
Figure BDA0002553374040000023
和自身一致性损失函数
Figure BDA0002553374040000024
在一些优选的实施方式中，所述方法还包括图像迁移网络更新的步骤：
步骤S30，基于所述第一人体图像，通过预设的人体姿态估计方法获取第二目标姿态；
步骤S40，基于所述第一姿态迁移图像和第二目标姿态，通过所述图像迁移网络的生成器G生成第一重构图像；
步骤S50，基于所述第一人体图像和第一重构图像，计算所述图像迁移网络的循环一致性损失，当所述循环一致性损失高于预设的阈值时，再次进行所述图像迁移网络的迭代训练，获得更新后的图像迁移网络。
在一些优选的实施方式中，所述基于循环一致性的无监督对抗网络，其训练方法为：
步骤B10，获取第一人体训练图像和第二人体训练图像，并分别通过预设的人体姿态估计方法获取所述第一人体训练图像对应的第一训练姿态以及所述第二人体训练图像对应的第二训练姿态；
步骤B20，基于所述第一人体训练图像和第二训练姿态，通过所述图像迁移网络的生成器G生成第一迁移训练图像；基于所述第二人体训练图像和第一训练姿态，通过所述图像迁移网络的生成器G生成第二迁移训练图像；
步骤B30，基于所述第一人体训练图像、第一迁移训练图像和第二人体训练图像、第二迁移训练图像计算姿态一致性损失函数
Figure BDA0002553374040000031
基于所述第一人体训练图像、第一迁移训练图像、第一训练姿态和第二人体训练图像、第二迁移训练图像、第二训练姿态，通过所述图像迁移网络的判别器D计算对抗损失函数
Figure BDA0002553374040000032
步骤B40，通过所述图像迁移网络的生成器G，基于所述第一迁移训练图像和第一训练姿态生成第一重构训练图像，基于所述第二迁移训练图像和第二训练姿态生成第二重构训练图像；
步骤B50，基于所述第一人体训练图像、第一重构训练图像和所述第二人体训练图像、第二重构训练图像计算循环一致性损失函数
Figure BDA0002553374040000033
步骤B60，基于所述第一人体训练图像、第一训练姿态和所述第二人体训练图像、第二训练姿态，通过所述图像迁移网络的生成器G生成第一自身迁移图像和第二自身迁移图像，并根据所述第一自身迁移图像、第一人体训练图像和第二自身迁移图像、第二人体训练图像计算自身一致性损失函数
Figure BDA0002553374040000034
步骤B70，通过随机梯度下降法调整生成器G和判别器D的参数，多次迭代直至达到预设的迭代次数或满足：
Figure BDA0002553374040000035
其中
Figure BDA0002553374040000036
为全局损失函数；
得到训练好的用于生成目标姿态下输入图像对应的姿态迁移图像的网络
进一步地，所述全局损失函数为：
Figure BDA0002553374040000041
其中，
Figure BDA0002553374040000042
为对抗损失函数，λadv为对抗损失函数的权重系数，
Figure BDA0002553374040000043
为循环一致性损失函数，λcyc为循环一致性损失函数的权重系数，
Figure BDA0002553374040000044
为自身一致性损失函数，λide为自身一致性损失函数的权重系数，
Figure BDA0002553374040000045
为姿态一致性损失函数，λpose为姿态一致性损失函数的权重系数。
进一步地，姿态一致性损失函数
Figure BDA0002553374040000046
为：
Figure BDA0002553374040000047
其中，n表示预设的人体姿态估计模型中在n个不同的特征层有n个不同的关键点特征图，x′1为第一迁移训练图像，x2为第二人体训练图像，x′2为第二迁移训练图像，x1为第一人体训练图像，Ri为一个预训练的深度卷积网络。
进一步地，所述对抗损失函数
Figure BDA0002553374040000048
为：
Figure BDA0002553374040000049
其中，(x1,p1)为第一人体训练图像-第一训练姿态对，(x2,p2)为第二人体训练图像-第二训练姿态对，(x′1,p2)为第一迁移训练图像-第二训练姿态对，(x′2,p1)为第二迁移训练图像-第一训练姿态对。
进一步地，所述循环一致性损失函数
Figure BDA00025533740400000410
为：
Figure BDA00025533740400000411
其中，
Figure BDA00025533740400000412
为联合L1损失函数，其由像素级别的L1损失和感知L1损失组成，(x1,p1)为第一人体训练图像-第一训练姿态对，(x2,p2)为第二人体训练图像-第二训练姿态对，(x″1,x1)为第一重构训练图像-第一人体训练图像对，(x″2,x2)为第二重构训练图像-第二人体训练图像对；
所述感知L1损失使用一个预训练好的深度卷积网络分别提取输入图像及其重构的特征，然后对这个特征进行约束：
Figure BDA0002553374040000051
其中，R为一个预训练的深度卷积网络，x为人体训练图像，x″为重构训练图像。
进一步地，所述自身一致性损失函数
Figure BDA0002553374040000052
为：
Figure BDA0002553374040000053
其中，
Figure BDA0002553374040000054
为联合L1损失函数，其由像素级别的L1损失和感知L1损失组成；x1为第一人体训练图像，G(x1,p1)为第一自身迁移图像，x2为第二人体训练图像，G(x2,p2)为第二自身迁移图像。
本发明的另一方面，提出了一种基于循环一致性的无监督人体姿态迁移系统，包括资料获取模块100和姿态迁移模块200；
所述资料获取模块100，用于获获取第一人体图像和第一目标姿态；
所述姿态迁移模块200，用于基于所述第一人体图像和第一目标姿态，通过训练好的图像迁移网络的生成器G生成第一姿态迁移图像；
其中，所述图像迁移网络为基于无监督对抗网络构建，并通过无身份标签的训练图像以及设定的全局损失函数进行迭代训练获得的用于生成目标姿态下输入图像对应的姿态迁移图像的网络；所述图像迁移网络包括生成器G和判别器D；所述设定的全局损失函数包括姿态一致性损失函数
Figure BDA0002553374040000061
对抗损失函数
Figure BDA0002553374040000062
循环一致性损失函数
Figure BDA0002553374040000063
和自身一致性损失函数
Figure BDA0002553374040000064
进一步地，所述系统还包括图像迁移网络更新子系统；所述图像迁移网络更新子系统包括自身姿态生成模块300、重构图像生成模块400和损失计算模块500；
自身姿态生成模块300，用于基于所述第一人体图像，通过预设的人体姿态估计方法获取第二目标姿态；
重构图像生成模块400，用于基于所述第一姿态迁移图像和第二目标姿态，通过所述生成器G生成第一重构图像；
重构损失计算模块500，用于基于所述第一人体图像和第一重构图像，计算所述图像迁移网络的循环一致性损失，当所述循环一致性损失高于预设的阈值时，再次进行所述图像迁移网络的迭代训练，获得更新后的图像迁移网络。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于循环一致性的无监督人体姿态迁移方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于循环一致性的无监督人体姿态迁移方法。
本发明的有益效果：
(1)本发明基于循环一致性的无监督人体姿态迁移方法，采用无监督的对抗网络提高了跨身份人体姿态迁移生成图像的质量，有效地避免了背景过拟合的问题；
(2)本发明基于循环一致性的无监督人体姿态迁移方法，通过基于对抗损失函数、循环一致性损失函数、自身一致性损失函数和姿态一致性损失函数对图像迁移网络进行训练，提高了姿态迁移任务中生成图像的质量；
(3)本发明基于循环一致性的无监督人体姿态迁移方法，采用无监督对抗网络的方式，摆脱了现有技术中训练图像对身份标签的依赖，提高了姿态迁移方法的适应性。
(4)本发明基于循环一致性的无监督人体姿态迁移方法，由于图像迁移网络的训练过程中跨身份行人图像数据的大量引入，其生成器在训练过程中已经对耦合在人体姿态信息中的行人体态信息进行隐式建模，能够更好地适应跨身份人体姿态迁移任务。
(5)本发明基于循环一致性的无监督人体姿态迁移方法，支持双样本的输入，提高了网络的训练效率，本发明可以利用更易获取的不包含身份信息的跨身份图像对，也就是大量来自不同人的各种姿态图像，因此对训练数据的要求更低，更易训练，并且可以针对行人识别的相关任务进行针对性的数据增强。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于循环一致性的无监督人体姿态迁移方法的流程示意图；
图2是本发明基于循环一致性地无监督人体姿态迁移方法损失计算流程示意图；
图3是本发明基于循环一致性的无监督人体姿态迁移方法中用于生成目标姿态下输入图像对应的姿态迁移图像的网络训练流程示意图；
图4是现有技术中的有监督人体姿态迁移方法的原理示意图；
图5是本发明基于循环一致性的无监督人体姿态迁移方法及损失计算原理示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于循环一致性的无监督人体姿态迁移方法，本方法包括：
步骤S10，获取第一人体图像和第一目标姿态；
步骤S20，基于第一人体图像和第一目标姿态通过训练好的用于生成目标姿态下输入图像对应的姿态迁移图像的网络中的生成器G生成第一姿态迁移图像；
其中，用于生成目标姿态下输入图像对应的姿态迁移图像的网络为基于无监督对抗网络构建，并通过无身份标签的训练图像以及设定的全局损失函数进行迭代训练获得的用于生成目标姿态下输入图像对应的姿态迁移图像的网络；无监督对抗网络包括生成器G和判别器D。
为了更清晰地对本发明基于循环一致性的无监督人体姿态迁移方法进行说明，下面结合图1本发明基于循环一致性的无监督人体姿态迁移方法的流程示意图对本发明实施例中个步骤展开详述。
本发明一种实施例的基于循环一致性的无监督人体姿态迁移方法，包括步骤S10-步骤S20，各步骤详细描述如下：
步骤S10，获取第一人体图像和第一目标姿态；
其中第一目标姿态可以来自于另一个身份的人体图像；
步骤S20，基于所述第一人体图像和第一目标姿态，通过训练好的图像迁移网络的生成器G生成第一姿态迁移图像；
同时输入一个人体图像和一个目标姿态，使用生成器即可生成该人在目标姿态下的图像，并且可以保持背景信息不发生变化。而生成的图像可以用来进行行人识别相关任务的数据增强，例如行人重识别和行人检测。
其中，所述图像迁移网络为基于无监督对抗网络构建，并通过无身份标签的训练图像以及设定的全局损失函数进行迭代训练获得的用于生成目标姿态下输入图像对应的姿态迁移图像的网络；所述图像迁移网络包括生成器G和判别器D；所述设定的全局损失函数包括姿态一致性损失函数
Figure BDA0002553374040000091
对抗损失函数
Figure BDA0002553374040000092
循环一致性损失函数
Figure BDA0002553374040000093
和自身一致性损失函数
Figure BDA0002553374040000094
生成器将人体图像xs与目标姿态pt作为输入，输出对应姿态的图像x′s。为了使生成图像和目标姿态更加匹配，判别器除了判别输入图像的真假外，还判别生成图像x′s是否与目标姿态pt对应。因此本发明将生成图像与目标姿态并联输入到判别器中。
如图3本发明基于循环一致性的无监督人体姿态迁移方法中用于生成目标姿态下输入图像对应的迁移图像的网络训练流程示意图所示；
本发明的目标是学习到一个从输入人体图像xs到目标姿态下pt的人体图像x′s的映射。然而，由于没有真实图像作为监督，本发明构建了一个循环一致性约束，也就是再将x′s使用相同的方法映射到输入图像的姿态ps上，得到重构的输入图像x″s，其应与xs相似。
为了提升训练效率，本发明同时输入两幅图像，然后通过两次交换它们的姿态以得到输入人体图像的重构，首先输入两个人体图像-姿态对(x1,p1)、(x2,p2)，然后使用生成器G交换它们的姿态：
x′1＝G(x1,p2)；x′2＝G(x2,p1)
然后再次交换姿态得到重构的输入图像：
x″1＝G(x′1,p1)；x″2＝G(x′2,p2)
本发明中用于生成目标姿态下输入图像对应的姿态迁移图像的网络训练方法包括步骤B10-步骤B50，各步骤详细描述如下：
步骤B10，获取第一人体训练图像和第二人体训练图像，并分别通过预设的人体姿态估计方法获取所述第一人体训练图像对应的第一训练姿态以及所述第二人体训练图像对应的第二训练姿态；
本实施例中，预设的人体姿态估计方法采用OpenPose模型(来自论文OpenPose:Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields)实现。
步骤B20，基于所述第一人体训练图像和第二训练姿态，通过所述图像迁移网络的生成器G生成第一迁移训练图像；基于所述第二人体训练图像和第一训练姿态，通过所述图像迁移网络的生成器G生成第二迁移训练图像；
步骤B30基于所述第一人体训练图像、第一迁移训练图像和第二人体训练图像、第二迁移训练图像计算姿态一致性损失函数
Figure BDA0002553374040000101
基于所述第一人体训练图像、第一迁移训练图像、第一训练姿态和第二人体训练图像、第二迁移训练图像、第二训练姿态，通过所述图像迁移网络的判别器D计算对抗损失函数
Figure BDA0002553374040000102
步骤B40，通过所述图像迁移网络的生成器G，基于所述第一迁移训练图像和第一训练姿态生成第一重构训练图像，基于所述第二迁移训练图像和第二训练姿态生成第二重构训练图像；
步骤B50，基于所述第一人体训练图像、第一重构训练图像和所述第二人体训练图像、第二重构训练图像计算循环一致性损失函数
Figure BDA0002553374040000111
步骤B60，基于所述第一人体训练图像、第一训练姿态和所述第二人体训练图像、第二训练姿态，通过所述图像迁移网络的生成器G生成第一自身迁移图像和第二自身迁移图像，并根据所述第一自身迁移图像、第一人体训练图像和第二自身迁移图像、第二人体训练图像计算自身一致性损失函数
Figure BDA0002553374040000112
步骤B70，通过随机梯度下降法调整生成器G和判别器D的参数，多次迭代直至达到预设的迭代次数或满足公式(1)：
Figure BDA0002553374040000113
其中
Figure BDA0002553374040000114
为全局损失函数；
得到训练好的用于生成目标姿态下输入图像对应的姿态迁移图像的网络。
求解公式(1)为本网络训练的目标，相较于现有技术的最小化重构图像与原图的损失，有效地避免了背景拟合问题。
在本实施例中，全局损失函数如公式(2)：
Figure BDA0002553374040000115
其中，
Figure BDA0002553374040000116
为对抗损失函数，λadv为对抗损失函数的权重系数，
Figure BDA0002553374040000117
为循环一致性损失函数，λcyc为循环一致性损失函数的权重系数，
Figure BDA0002553374040000118
为自身一致性损失函数，λide为自身一致性损失函数的权重系数，
Figure BDA0002553374040000119
为姿态一致性损失函数，λpose为姿态一致性损失函数的权重系数。
本实施例中{(xi,pi)}i＝1...N表示数据集中人体图片与其对应的姿态的集合，其中i为图像序号，xi为人体图像，pi为其对应的姿态。pi由一个18通道的热力图组成，这个热力图编码了人体上18个关键点的位置。同已有的方法相同，本实施例使用在MSCOCO数据集上预训练的OpenPose模型来估计这18个关键点的位置。
在本实施例中，姿态一致性损失函数
Figure BDA0002553374040000121
如公式(3)所示：
Figure BDA0002553374040000122
其中，n表示预设的人体姿态估计模型中在n个不同的特征层有n个不同的关键点特征图，x′1为第一迁移训练图像，x2为第二人体训练图像，x′2为第二迁移训练图像，x1为第一人体训练图像，Ri为一个预训练的深度卷积网络。
若自身一致性损失、循环一致性损失、对抗损失对生成地图像姿态缺乏强有力的约束，那么生成器可能丢弃掉输入的目标姿态而彻底退化为一个恒等函数。因此，本发明提出姿态一致性损失，使用在MSCOCO数据集上训练好的OpenPose姿态识别网络提取输入图像和生成图像的姿态特征并使用均方误差损失对其进行约束。OpenPose模型中在6个不同的特征层有6个不同的关键点特征图，本发明将这6个特征图的均方误差取和作为姿态一致性损失，即公式(3)中的n取值为6。
在本实施例中，为了使得生成的图像更加接近真实图像并且更加符合目标姿态，本发明使用对抗训练，将姿态和图像并联，一同输入到判别器D中，对抗损失函数
Figure BDA0002553374040000123
如公式(4)所示：
Figure BDA0002553374040000124
Figure BDA0002553374040000131
其中，(x1,p1)为第一人体训练图像-第一训练姿态对，(x2,p2)为第二人体训练图像-第二训练姿态对，(x′1,p2)为第一迁移训练图像-第二训练姿态对，(x′2,p1)为第二迁移训练图像-第一训练姿态对。
在本实施例中，循环一致性损失函数
Figure BDA0002553374040000132
如公式(5)所示；
Figure BDA0002553374040000133
其中，
Figure BDA0002553374040000134
为联合L1损失函数，与论文ProgressivePose Attention Transfer for Person Image Generation相似其由像素级别的L1损失(combined-L1 loss)和感知L1损失(perceptual-L1 loss)组成，(x1,p1)为第一人体训练图像-第一训练姿态对，(x2,p2)为第二人体训练图像-第二训练姿态对，(x″1,x1)为第一重构训练图像-第一人体训练图像对，(x″2,x2)为第二重构训练图像-第二人体训练图像对；
感知L1损失使用一个预训练好的深度卷积网络分别提取输入图像及其重构的特征，然后对这个特征进行约束如公式(6)所示：
Figure BDA0002553374040000135
其中，R为一个预训练的深度卷积网络，x为人体训练图像，x″为重构训练图像。
本实施例中可使用在MSCOCO数据集上训练的OpenPose姿态估计网络提取特征，计算感知损失，这样可以与姿态一致性损失共享网络以节省计算资源。可以使用其它的卷积网络达到类似效果，此处不做具体限定。
在本实施例中，自身一致性损失函数
Figure BDA0002553374040000136
如公式(7)所示：
Figure BDA0002553374040000141
其中，
Figure BDA0002553374040000142
为联合L1损失函数，其由像素级别的L1损失和感知L1损失组成；x1为第一人体训练图像，G(x1,p1)为第一自身迁移图像，x2为第二人体训练图像，G(x2,p2)为第二自身迁移图像。
在本实施例中，基于循环一致性的无监督人体姿态迁移方法还设置了检验网络是否需要继续训练的方法，如图2本发明基于循环一致性地无监督人体姿态迁移方法损失计算流程示意图和图5本发明基于循环一致性的无监督人体姿态迁移方法及损失计算原理示意图所示，包括步骤S30-S50,详细描述如下：
步骤S30，基于所述第一人体图像，通过预设的人体姿态估计方法获取第二目标姿态；
步骤S40，基于所述第一迁移图像和第二目标姿态，通过所述图像迁移网络的生成器G生成第一重构图像；
步骤S50，基于所述第一人体图像和第一重构图像，计算所述图像迁移网络的循环一致性损失，当所述循环一致性损失高于预设的阈值时，再次进行所述图像迁移网络的迭代训练，获得更新后的图像迁移网络。
如图4现有技术中的有监督人体姿态迁移方法的原理示意图所示，现有的人体姿态迁移方法都是通过有监督的对抗网络完成的，有监督的对抗网络在训练时需要有对应于输入图像同身份的目标姿态下的图像作为监督目标，并且无法进行跨身份的训练，适应性较差，而且以最小化生成图像与目标图像之间的重构误差为优化目标，不仅约束生成图像中行人姿态与目标姿态一直，还要求生成图像的背景也与目标图像的背景一样，容易导致背景过拟合。
本发明提供了一种基于循环一致性的无监督人体姿态迁移方法，采用无监督的对抗网络提高了跨身份人体姿态迁移生成图像的质量有效地避免了背景过拟合的问题，对抗损失函数、循环一致性损失函数、自身一致性损失函数和姿态一致性损失函数对循环一致性无监督对抗网络进行训练，提高了姿态迁移任务中生成图像的质量，摆脱了现有技术中训练图像对身份标签的依赖，提高了姿态迁移方法的适应性，训练过程中跨身份行人图像数据的大量引入，生成网络在训练过程中已经对耦合在人体姿态信息中的行人体态信息进行隐式建模，能够更好地适应跨身份人体姿态迁移任务。
本发明第二实施例的一种基于循环一致性的无监督人体姿态迁移系统，包括资料获取模块100和姿态迁移模块200；
所述资料获取模块100，用于获获取第一人体图像和第一目标姿态；
所述姿态迁移模块200，用于基于所述第一人体图像和第一目标姿态，通过训练好的图像迁移网络的生成器G生成第一迁移图像；
其中，所述图像迁移网络为基于无监督对抗网络构建，并通过无身份标签的训练图像以及设定的全局损失函数进行迭代训练获得的用于生成目标姿态下输入图像对应的迁移图像的网络；所述图像迁移网络包括生成器G和判别器D；所述设定的全局损失函数包括姿态一致性损失函数
Figure BDA0002553374040000151
对抗损失函数
Figure BDA0002553374040000152
循环一致性损失函数
Figure BDA0002553374040000153
和自身一致性损失函数
Figure BDA0002553374040000154
在本实施例中，所述系统还包括图像迁移网络更新子系统；所述图像迁移网络更新子系统包括自身姿态生成模块300、重构图像生成模块400和损失计算模块500；
所述自身姿态生成模块300，用于基于所述第一人体图像，通过预设的人体姿态估计方法获取第二目标姿态；
所述重构图像生成模块400，用于基于所述第一迁移图像和第二目标姿态，通过所述图像迁移网络的生成器G生成第一重构图像；
所述损失计算模块500，用于基于所述第一人体图像和第一重构图像，计算所述图像迁移网络的循环一致性损失，当所述循环一致性损失高于预设的阈值时，再次进行所述图像迁移网络的迭代训练，获得更新后的图像迁移网络。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于循环一致性的无监督人体姿态迁移，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于循环一致性的无监督人体姿态迁移方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于循环一致性的无监督人体姿态迁移方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于循环一致性的无监督人体姿态迁移方法，其特征在于，所述方法包括：
步骤S10，获取第一人体图像和第一目标姿态；
步骤S20，基于所述第一人体图像和第一目标姿态，通过训练好的图像迁移网络的生成器G生成第一姿态迁移图像；
步骤S30，基于所述第一人体图像，通过预设的人体姿态估计方法获取第二目标姿态；
步骤S40，基于所述第一姿态迁移图像和第二目标姿态，通过所述图像迁移网络的生成器G生成第一重构图像；
步骤S50，基于所述第一人体图像和第一重构图像，计算所述图像迁移网络的循环一致性损失，当所述循环一致性损失高于预设的阈值时，再次进行所述图像迁移网络的迭代训练，获得更新后的图像迁移网络；
其中，所述图像迁移网络为基于无监督对抗网络构建，并通过无身份标签的训练图像以及设定的全局损失函数进行迭代训练获得的用于生成目标姿态下输入图像对应的姿态迁移图像的网络；所述图像迁移网络包括生成器G和判别器D；所述设定的全局损失函数包括姿态一致性损失函数
Figure FDA0002911523440000011
对抗损失函数
Figure FDA0002911523440000012
循环一致性损失函数
Figure FDA0002911523440000013
和自身一致性损失函数
Figure FDA0002911523440000014
所述图像迁移网络，其训练方法为：
步骤B10，获取第一人体训练图像和第二人体训练图像，并分别通过预设的人体姿态估计方法获取所述第一人体训练图像对应的第一训练姿态以及所述第二人体训练图像对应的第二训练姿态；
步骤B20，基于所述第一人体训练图像和第二训练姿态，通过所述图像迁移网络的生成器G生成第一迁移训练图像；基于所述第二人体训练图像和第一训练姿态，通过所述图像迁移网络的生成器G生成第二迁移训练图像；
步骤B30，基于所述第一人体训练图像、第一迁移训练图像和第二人体训练图像、第二迁移训练图像计算姿态一致性损失函数
Figure FDA0002911523440000021
基于所述第一人体训练图像、第一迁移训练图像、第一训练姿态和第二人体训练图像、第二迁移训练图像、第二训练姿态，通过所述图像迁移网络的判别器D计算对抗损失函数
Figure FDA0002911523440000022
步骤B40，通过所述图像迁移网络的生成器G，基于所述第一迁移训练图像和第一训练姿态生成第一重构训练图像，基于所述第二迁移训练图像和第二训练姿态生成第二重构训练图像；
步骤B50，基于所述第一人体训练图像、第一重构训练图像和所述第二人体训练图像、第二重构训练图像计算循环一致性损失函数
Figure FDA0002911523440000023
步骤B60，基于所述第一人体训练图像、第一训练姿态和所述第二人体训练图像、第二训练姿态，通过所述图像迁移网络的生成器G生成第一自身迁移图像和第二自身迁移图像，并根据所述第一自身迁移图像、第一人体训练图像和第二自身迁移图像、第二人体训练图像计算自身一致性损失函数
Figure FDA0002911523440000024
步骤B70，通过随机梯度下降法调整生成器G和判别器D的参数，多次迭代直至达到预设的迭代次数或满足：
Figure FDA0002911523440000025
其中，
Figure FDA0002911523440000026
为全局损失函数；
得到训练好的用于生成目标姿态下输入图像对应的姿态迁移图像的网络。
2.根据权利要求1所述的基于循环一致性的无监督人体姿态迁移方法，其特征在于，所述全局损失函数为：
Figure FDA0002911523440000031
其中，
Figure FDA0002911523440000032
为对抗损失函数，λadv为对抗损失函数的权重系数，
Figure FDA0002911523440000033
为循环一致性损失函数，λcyc为循环一致性损失函数的权重系数，
Figure FDA0002911523440000034
为自身一致性损失函数，λide为自身一致性损失函数的权重系数，
Figure FDA0002911523440000035
为姿态一致性损失函数，λpose为姿态一致性损失函数的权重系数。
3.根据权利要求1或2所述的基于循环一致性的无监督人体姿态迁移方法，其特征在于，所述姿态一致性损失函数
Figure FDA0002911523440000036
为：
Figure FDA0002911523440000037
其中，n表示预设的人体姿态估计模型中在n个不同的特征层有n个不同的关键点特征图，x′1为第一迁移训练图像，x2为第二人体训练图像，x′2为第二迁移训练图像，x1为第一人体训练图像，Ri为一个预训练的深度卷积网络。
4.根据权利要求1或2所述的基于循环一致性的无监督人体姿态迁移方法，其特征在于，所述对抗损失函数
Figure FDA0002911523440000038
为：
Figure FDA0002911523440000039
其中，(x1，p1)为第一人体训练图像-第一训练姿态对，(x2，p2)为第二人体训练图像-第二训练姿态对，(x′1，p2)为第一迁移训练图像-第二训练姿态对，(x′2，p1)为第二迁移训练图像-第一训练姿态对。
5.根据权利要求1或2所述的基于循环一致性的无监督人体姿态迁移方法，其特征在于，所述循环一致性损失函数
Figure FDA0002911523440000041
为：
Figure FDA0002911523440000042
其中，
Figure FDA0002911523440000043
为联合L1损失函数，其由像素级别的L1损失和感知L1损失组成，(x1，p1)为第一人体训练图像-第一训练姿态对，(x2，p2)为第二人体训练图像-第二训练姿态对，(x″1，x1)为第一重构训练图像-第一人体训练图像对，(x″2，x2)为第二重构训练图像-第二人体训练图像对；
所述感知L1损失使用一个预训练好的深度卷积网络分别提取输入图像及其重构的特征，然后对这个特征进行约束：
Figure FDA0002911523440000044
其中，R为一个预训练的深度卷积网络，x为人体训练图像，x″为重构训练图像。
6.根据权利要求1或2所述的基于循环一致性的无监督人体姿态迁移方法，其特征在于，所述自身一致性损失函数
Figure FDA0002911523440000045
为：
Figure FDA0002911523440000046
其中，
Figure FDA0002911523440000047
为联合L1损失函数，其由像素级别的L1损失和感知L1损失组成；x1为第一人体训练图像，G(x1，p1)为第一自身迁移图像，x2为第二人体训练图像，G(x2，p2)为第二自身迁移图像。
7.一种基于循环一致性的无监督人体姿态迁移系统，其特征在于，包括资料获取模块100和姿态迁移模块200；
所述资料获取模块100，用于获获取第一人体图像和第一目标姿态；
所述姿态迁移模块200，用于基于所述第一人体图像和第一目标姿态，通过训练好的图像迁移网络的生成器G生成第一姿态迁移图像；
自身姿态生成模块300，用于基于所述第一人体图像，通过预设的人体姿态估计方法获取第二目标姿态；
重构图像生成模块400，用于基于所述第一姿态迁移图像和第二目标姿态，通过所述图像迁移网络的生成器G生成第一重构图像；
损失计算模块500，用于基于所述第一人体图像和第一重构图像，计算所述图像迁移网络的循环一致性损失，当所述循环一致性损失高于预设的阈值时，再次进行所述图像迁移网络的迭代训练，获得更新后的图像迁移网络其中，所述图像迁移网络为基于无监督对抗网络构建，并通过无身份标签的训练图像以及设定的全局损失函数进行迭代训练获得的用于生成目标姿态下输入图像对应的姿态迁移图像的网络；所述图像迁移网络包括生成器G和判别器D；所述设定的全局损失函数包括姿态一致性损失函数
Figure FDA0002911523440000051
对抗损失函数
Figure FDA0002911523440000052
循环一致性损失函数
Figure FDA0002911523440000053
和自身一致性损失函数
Figure FDA0002911523440000054
所述图像迁移网络，其训练方法为：
步骤B10，获取第一人体训练图像和第二人体训练图像，并分别通过预设的人体姿态估计方法获取所述第一人体训练图像对应的第一训练姿态以及所述第二人体训练图像对应的第二训练姿态；
步骤B20，基于所述第一人体训练图像和第二训练姿态，通过所述图像迁移网络的生成器G生成第一迁移训练图像；基于所述第二人体训练图像和第一训练姿态，通过所述图像迁移网络的生成器G生成第二迁移训练图像；
步骤B30，基于所述第一人体训练图像、第一迁移训练图像和第二人体训练图像、第二迁移训练图像计算姿态一致性损失函数
Figure FDA0002911523440000055
基于所述第一人体训练图像、第一迁移训练图像、第一训练姿态和第二人体训练图像、第二迁移训练图像、第二训练姿态，通过所述图像迁移网络的判别器D计算对抗损失函数
Figure FDA0002911523440000056
步骤B40，通过所述图像迁移网络的生成器G，基于所述第一迁移训练图像和第一训练姿态生成第一重构训练图像，基于所述第二迁移训练图像和第二训练姿态生成第二重构训练图像；
步骤B50，基于所述第一人体训练图像、第一重构训练图像和所述第二人体训练图像、第二重构训练图像计算循环一致性损失函数
Figure FDA0002911523440000061
步骤B60，基于所述第一人体训练图像、第一训练姿态和所述第二人体训练图像、第二训练姿态，通过所述图像迁移网络的生成器G生成第一自身迁移图像和第二自身迁移图像，并根据所述第一自身迁移图像、第一人体训练图像和第二自身迁移图像、第二人体训练图像计算自身一致性损失函数
Figure FDA0002911523440000062
步骤B70，通过随机梯度下降法调整生成器G和判别器D的参数，多次迭代直至达到预设的迭代次数或满足：
Figure FDA0002911523440000063
其中，
Figure FDA0002911523440000064
为全局损失函数；
得到训练好的用于生成目标姿态下输入图像对应的姿态迁移图像的网络。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的基于循环一致性的无监督人体姿态迁移方法。
9.一种处理装置，包括处理器，适于执行各条程序；以及存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现：权利要求1-6任一项所述的基于循环一致性的无监督人体姿态迁移方法。
CN202010583710.7A 2020-06-23 2020-06-23 基于循环一致性的无监督人体姿态迁移方法、系统及装置 Active CN111739115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010583710.7A CN111739115B (zh) 2020-06-23 2020-06-23 基于循环一致性的无监督人体姿态迁移方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010583710.7A CN111739115B (zh) 2020-06-23 2020-06-23 基于循环一致性的无监督人体姿态迁移方法、系统及装置

Publications (2)

Publication Number Publication Date
CN111739115A CN111739115A (zh) 2020-10-02
CN111739115B true CN111739115B (zh) 2021-03-16

Family

ID=72650839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010583710.7A Active CN111739115B (zh) 2020-06-23 2020-06-23 基于循环一致性的无监督人体姿态迁移方法、系统及装置

Country Status (1)

Country Link
CN (1) CN111739115B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528788B (zh) * 2020-12-01 2023-11-21 重庆兆光科技股份有限公司 一种基于域不变特征和时空特征的重识别方法
CN112836746B (zh) * 2021-02-02 2022-09-09 中国科学技术大学 基于一致性图建模的语义对应方法
CN113297988B (zh) * 2021-05-28 2024-03-22 东南大学 一种基于域迁移和深度补全的物体姿态估计方法
CN113870315B (zh) * 2021-10-18 2023-08-25 南京硅基智能科技有限公司 基于多算法集成的动作迁移模型训练方法及动作迁移方法
CN114399829B (zh) * 2022-03-25 2022-07-05 浙江壹体科技有限公司 基于生成式对抗网络的姿态迁移方法、电子设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018204826A1 (de) * 2018-03-29 2019-10-02 Ford Global Technologies, Llc Verfahren zum Betrieb von personenspezifisch einstellbaren Komponenten mit elektrischer Verstellmöglichkeit eines Kraftfahrzeugs
CN110458750A (zh) * 2019-05-31 2019-11-15 北京理工大学 一种基于对偶学习的无监督图像风格迁移方法
CN110503598A (zh) * 2019-07-30 2019-11-26 西安理工大学 基于条件循环一致性生成对抗网络的字体风格迁移方法
CN110570346A (zh) * 2019-08-19 2019-12-13 西安理工大学 一种基于循环生成对抗网络对书法进行风格迁移的方法
CN111027438A (zh) * 2019-12-03 2020-04-17 Oppo广东移动通信有限公司 一种人体姿态的迁移方法、移动终端以及计算机存储介质
CN111161200A (zh) * 2019-12-22 2020-05-15 天津大学 基于注意力机制的人体姿态迁移方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473266A (zh) * 2019-07-08 2019-11-19 南京邮电大学盐城大数据研究院有限公司 一种基于姿态指导的保留源场景人物动作视频生成方法
CN110599395B (zh) * 2019-09-17 2023-05-12 腾讯科技（深圳）有限公司 目标图像生成方法、装置、服务器及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018204826A1 (de) * 2018-03-29 2019-10-02 Ford Global Technologies, Llc Verfahren zum Betrieb von personenspezifisch einstellbaren Komponenten mit elektrischer Verstellmöglichkeit eines Kraftfahrzeugs
CN110458750A (zh) * 2019-05-31 2019-11-15 北京理工大学 一种基于对偶学习的无监督图像风格迁移方法
CN110503598A (zh) * 2019-07-30 2019-11-26 西安理工大学 基于条件循环一致性生成对抗网络的字体风格迁移方法
CN110570346A (zh) * 2019-08-19 2019-12-13 西安理工大学 一种基于循环生成对抗网络对书法进行风格迁移的方法
CN111027438A (zh) * 2019-12-03 2020-04-17 Oppo广东移动通信有限公司 一种人体姿态的迁移方法、移动终端以及计算机存储介质
CN111161200A (zh) * 2019-12-22 2020-05-15 天津大学 基于注意力机制的人体姿态迁移方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于无监督学习的图像风格迁移方法;简丽琼 等;《信息与电脑》;20190910(第17期);29-35 *

Also Published As

Publication number Publication date
CN111739115A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111739115B (zh) 基于循环一致性的无监督人体姿态迁移方法、系统及装置
CN111291841B (zh) 图像识别模型训练方法、装置、计算机设备和存储介质
CN110675475B (zh) 一种人脸模型生成方法、装置、设备及存储介质
CN110245721A (zh) 神经网络模型的训练方法、装置和电子设备
CN109902798A (zh) 深度神经网络的训练方法和装置
CN110427799B (zh) 基于生成对抗网络的人手深度图像数据增强方法
CN111795704A (zh) 一种视觉点云地图的构建方法、装置
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN111414946B (zh) 基于人工智能的医疗影像的噪声数据识别方法和相关装置
CN109214366A (zh) 局部目标重识别方法、装置及系统
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN115147891A (zh) 用于生成合成深度数据的系统、方法和存储介质
CN112801215A (zh) 图像处理模型搜索、图像处理方法、装置和存储介质
JP2020503923A5 (zh)
CN109583594A (zh) 深度学习训练方法、装置、设备及可读存储介质
CN110147806A (zh) 图像描述模型的训练方法、装置及存储介质
CN111507184B (zh) 基于并联空洞卷积和身体结构约束的人体姿态检测方法
CN106407932B (zh) 基于分数阶微积分与广义逆神经网络的手写数字识别方法
CN117635418B (zh) 生成对抗网络的训练方法、双向图像风格转换方法和装置
CN117115595B (zh) 姿态估计模型的训练方法、装置、电子设备及存储介质
CN113313625B (zh) 水墨画艺术风格转换方法、系统、计算机设备及存储介质
CN111915676B (zh) 图像生成方法、装置、计算机设备和存储介质
CN116758212A (zh) 基于自适应去噪算法的3d重建方法、装置、设备及介质
CN116959109A (zh) 人体姿态图像的生成方法、装置、设备和存储介质
CN114841887A (zh) 一种基于多层次差异学习的图像恢复质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant