CN111161200A - 基于注意力机制的人体姿态迁移方法 - Google Patents
基于注意力机制的人体姿态迁移方法 Download PDFInfo
- Publication number
- CN111161200A CN111161200A CN201911332748.0A CN201911332748A CN111161200A CN 111161200 A CN111161200 A CN 111161200A CN 201911332748 A CN201911332748 A CN 201911332748A CN 111161200 A CN111161200 A CN 111161200A
- Authority
- CN
- China
- Prior art keywords
- image
- discriminator
- posture
- attention
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 27
- 230000005012 migration Effects 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000007246 mechanism Effects 0.000 title claims abstract description 24
- 230000036544 posture Effects 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 8
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 239000013256 coordination polymer Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 abstract description 10
- 238000003786 synthesis reaction Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像合成领域，为实现姿态引导的图像合成，同时增强生成图像的清晰度以及图像与目标姿态的符合程度。本发明采取的技术方案是，基于注意力机制的人体姿态迁移方法，步骤如下：图像预处理步骤：形成训练数据；姿态指导下的注意力编码；网络搭建与训练：采用生成对抗网络模型，网络模型分为生成器及判别器；将生成图像放入判别器，判别器通过区分真实图像与生成图像来迫使生成器生成更加接近真实的图片；最终利用训练完毕的生成对抗网络完成人体姿态迁移。本发明主要应用于图像处理场合。
Description
技术领域
本发明属于图像合成领域，尤其是基于注意力机制，针对人体姿态迁移的图像合成技术。具体涉及基于注意力机制的人体姿态迁移方法。
背景技术
人体姿态迁移是生成做出指定姿势的特定人物的图像，该任务可以用于生成行人重识别等任务的数据集，从而将这些任务通过数据驱动的形式进行解决。鉴于其重要性，越来越多的研究者开始关注人体姿态迁移任务。区别于图像合成任务，人体姿态迁移是一种条件式的图像合成任务。通过给定包含人物的图像以及固定的姿态，该任务希望生成该人物做出指定姿态的图像。
现有的人体姿态迁移方法大多采用编解码器结构，在输入图像和目标二维姿态的指导下，利用人体关节的某些关节点进行编码，学习从输入图像到目标二维姿态的转换。主流的人体姿态迁移技术主要包含两种：条件变分自编码器和条件生成对抗网络。条件变分自编码器能够很好地表示出姿态间的变换关系，但这类方法产生的图片往往不够清晰。条件生成对抗网络能够产生较为清晰的图片，但是由于姿态变换导致的像素不对齐问题不能得到很好的解决，导致对较复杂姿态的图像表现较差。
发明内容
为克服现有技术的不足，本发明旨在：
1)针对以往方法难以处理的在姿态迁移时导致的像素不对齐的问题，本发明利用注意力机制对图像生成器的内部进行改造，实现姿态引导的图像合成。
2)为了充分利用图像信息并生成清晰的图片，本发明采用生成对抗网络的架构，同时增强生成图像的清晰度以及图像与目标姿态的符合程度。
本发明采取的技术方案是，基于注意力机制的人体姿态迁移方法，步骤如下：
图像预处理步骤：形成训练数据；
姿态指导下的注意力编码：对于图像特征CI以及姿态特征CP,利用自注意力机制，使姿态特征对图像特征进行变换的指导，得到姿态指导下的注意力编码；
网络搭建与训练：采用生成对抗网络模型，网络模型分为生成器及判别器，生成器部分首先进行下采样卷积模块，将图片编码成为高维的图像特征，再进行姿态指导下的注意力编码，通过多次编码完成对图像特征的转换，最后通过上采样卷积模块将图像特征转换为图片；将生成图像放入判别器，判别器通过区分真实图像与生成图像来迫使生成器生成更加接近真实的图片；最终利用训练完毕的生成对抗网络完成人体姿态迁移。
图像预处理具体步骤是：首先使用训练好的关节点检测器HPE提取人物姿态，再将固定人物及对应姿态分为一组，对每组中的图片进行排列组合形成训练数据，对于基准数据集Market-1501，收集263632组训练数据以及12000组测试数据；对于DeepFashion数据集，收集101966组训练数据以及8570组测试数据。
姿态指导下的注意力编码具体步骤如下：首先通过1×1的卷积将姿态特征分别映射成Key和Value，其中Key和Value都代表姿态特征的信息并且一一对应；之后将Key转置后与Value相乘得到注意力图；最后将图像特征与注意力图想成，得到姿态指导下的注意力编码；
得到注意力编码之后，为了更好的整合图像特征和姿态特征，将两者进行拼接，在得到图像特征的反馈之后，姿态特征可以更进一步指导图像特征进行之后的变换。
生成器的输入为条件图像Ic，条件图像对应姿态Pc和目标姿态Pt，输出为生成图像Ig,生成图像后，将生成图像放入判别器；判别器采用双判别器的形式：纹理判别器DA和形状判别器DS；纹理判别器DA输入生成图像Ig和条件图像Ic，用于判别两张图像之间的纹理是否一致，输入为(Ic,It)，(Ic,Ig)，分别是条件图像与目标图像或生成图像的二元组；形状判别器DS输入生成图像和目标姿态，用于判断生成图像是否符合目标姿态，输入为(Pt,It)，(Pt,Ig)分别为目标姿态和目标图像或生成图像的二元组。
生成对抗网络模型的损失函数包含三部分：
1)生成对抗网络的损失函数LCGAN，该损失函数用来约束生成器和判别器之间的关系，使两者更加平衡，对应于两个判别器，该损失函数包含两部分的对抗损失，总的损失函数定义如下：
其中
分别代表人体姿态的分布，真实图像的分布以及生成图像的分布；
2)距离损失LL1，该损失为生成图像和目标图像像素点之间的距离，通过减小该损失函数，使生成的图像与目标图像更加接近，该损失函数定义如下：
LL1＝‖Ig-It‖1, (2)
3)感知损失Lpercep，感知损失用于减小生成图像与目标图像之间的结构性的差异，并使生成图像更加自然，感知损失定义如下：
其中
表示在ImageNet数据集上预训练的VGG-19网络模型的第
层的输出，
表示
层输出中的第i个特征图。
最终整体的损失函数如公式(4)所示：
Lfull＝αLCGAN+βLL1+γLpercep, (4)
其中α，β，γ分别代表LCGAN，LL1，Lpercep三部分的权重。
本发明的特点及有益效果是：
本发明提出了一个基于注意力机制的针对人体姿态迁移的图像合成系统。给定包含人物的图片以及任意的姿态，该系统可以生成该人物做出指定姿态的图片。该系统引入注意力机制，并将注意力机制改造成更适合该任务的姿态指导的注意力机制，解决了姿态迁移过程中导致的图片像素不对齐的问题。同时在Market-1501以及DeepFashion数据集上都取得了最优的结果。
附图说明：
图1基于注意力机制的人体姿态迁移技术的系统框架图。
图2在Market-1501数据集上给定任意姿态生成的结果图。
图3在DeepFashion数据集上给定任意姿态生成的结果图。
图4本系统与目前该任务下其他四种最好算法的定性比较。
具体实施方式
为解决现有技术中的问题，本发明提出了一种更加接近人类思考方式的图像生成方法，基于注意力机制完成姿态对于图像像素的引导合成。以前的方法大多采用人体分割的形式，将人体分成多个部分，对每个部分进行刚体变换，再进一步拼接合成最终结果。这些方法能够较好的处理条件姿态和目标姿态差距较小的情况，但对于差距较大的情况，姿态转换导致的像素不对齐问题便凸显出来。为了解决姿态转换导致的像素不对齐问题，本发明基于注意力机制使姿态特征对图像特征进行指导，将图像特征从初始姿态逐渐变换到指定姿态，逐步解决像素不对齐的问题。同时，通过使用生成对抗网络的框架，使本发明能够生成足够清晰的图片。
本发明提出一种基于注意力机制的人体姿态迁移技术。技术方案使用Market-1501数据集和DeepFashion数据集作为处理对象，整个系统包含三个部分：数据预处理，姿态指导下的注意力编码，网络搭建与训练。为了更好地完成人体姿态迁移的任务，生成符合要求的图片，网络设计和网络训练是两个主要需要解决的问题。具体的技术方案如下：
步骤一，图像数据预处理：
对于两个数据集中的图片，首先使用HPE(Human Pose Estimation，一种训练好的关节点检测器)关节点检测器提取人物姿态，再将固定人物及对应姿态分为一组，对每组中的图片进行排列组合形成训练数据。对于Market-1501数据集数据集(用于行人重识别工作的基准数据集，同时也是人体姿态迁移工作的基准数据集)，我们收集到263632组训练数据以及12000组测试数据；对于DeepFashion数据集(包含80万张图片，包含不同角度，不同场景，买家秀，买家秀等图片)，我们收集到101966组训练数据以及8570组测试数据。
步骤二，姿态指导下的注意力编码：
对于图像特征CI以及姿态特征CP,本发明通过改造自注意力机制，使姿态特征对图像特征进行变换的指导。首先通过1×1的卷积将姿态特征分别映射成Key和Value，其中Key和Value都代表姿态特征的信息并且一一对应；之后将Key转置后与Value相乘得到注意力图；最后将图像特征与注意力图想成，得到姿态指导下的注意力编码。
得到注意力编码之后，为了更好的整合图像特征和姿态特征，将两者进行拼接。在得到图像特征的反馈之后，姿态特征可以更进一步指导图像特征进行之后的变换。
步骤三，网络搭建与训练：
本发明采用生成对抗网络的架构，分为生成器及判别器。生成器部分首先进行下采样卷积模块，将图片编码成为高维的图像特征，再使用姿态指导下的注意编码模块，通过多次编码完成对图像特征的转换，最后通过上采样卷积模块将图像特征转换为图片。生成器的输入为条件图像Ic，条件图像对应姿态Pc和目标姿态Pt，输出为生成图像Ig。生成图像后，将生成图像放入判别器，判别器通过区分真实图像It,与生成图像Ig来迫使生成器生成更加接近真实的图片。本发明采用双判别器的形式：纹理判别器DA和形状判别器DS。纹理判别器DA输入生成图像Ig和条件图像Ic，用于判别两张图像之间的纹理是否一致，输入为(Ic,It)，(Ic,Ig)，分别是条件图像与目标图像或生成图像的二元组；形状判别器DS输入生成图像和目标姿态，用于判断生成图像是否符合目标姿态，输入为(Pt,It)，(Pt,Ig)分别为目标姿态和目标图像或生成图像的二元组。网络模型的损失函数包含三部分：
1.生成对抗网络的损失函数LCGAN。该损失函数用来约束生成器和判别器之间的关系，使两者更加平衡。对应于两个判别器，该损失函数包含两部分的对抗损失，总的损失函数定义如下：
其中
分别代表人体姿态的分布，真实图像的分布以及生成图像的分布。
2.距离损失LL1。该损失为生成图像和目标图像像素点之间的距离，通过减小该损失函数，可以是生成的图像与目标图像更加接近。该损失函数定义如下：
LL1＝‖Ig-It‖1, (2)
3.感知损失Lpercep。感知损失用于减小生成图像与目标图像之间的结构性的差异，并使生成图像更加自然。感知损失定义如下：
其中
表示在ImageNet数据集上预训练的VGG-19网络模型的第
层的输出，
表示
层输出中的第i个特征图。
最终整体的损失函数如公式(4)所示：
Lfull＝αLCGAN+βLL1+γLpercep, (4)
其中α，β，γ分别代表LCGAN，LL1，Lpercep三部分的权重。
下面结合附图及具体实验对本发明做进一步详细地描述。
图1是本发明所涉及的基于注意力机制的人体姿态迁移技术的系统框架图，主要包含以下步骤：
步骤一，图像数据预处理：
从Market-1501数据集与DeepFashion数据集中的每组图片，通过关节点检测器提取中其中的姿态，通过同一人物不同姿态的两两组合，形成如图1所示的输入输出成对的图像。对于Market-1501数据集，我们收集到263632组训练数据以及12000组测试数据；对于DeepFashion数据集，我们收集到101966组训练数据以及8570组测试数据。
步骤二，姿态指导下的注意力编码：
本系统生成器的结构如图1所示，每个姿态指导下的注意力编码模块如图1中右下角的小图所示。生成器包含两个编码器与一个解码器，两个编码器分别将条件图像Ic，条件图像对应姿态Pc和目标姿态Pt拼接作为输入。两个编码器具有相同的的结构，即下采样的卷积层，解码器为上采样的卷积层。中间通过本发明提出的姿态指导下的注意力编码模块进行图像特征的迁移。每个模块的输入为图像特征和姿态特征。例如，第t个模块的输入为图像特征
和姿态特征
通过模块后输出变换后的图像特征
和姿态特征
在经过最后一个模块后，只需将变换后的图像特征
输入的解码器中，产生最终图像。本发明中所有的实验结果都在T＝6时，即有6个姿态指导的注意力编码模块时测试完成。
步骤三，网络搭建与训练：
搭建的网络包含一个生成器和两个判别器。判别器的结构为普通的卷积神经网络(CNN)。对于纹理判别器，每次的输入为条件图像和目标图像(Ic,It)以及条件图像和生成图像(Ic,Ig)，输出为一个分数，作为判断纹理一致性的得分。对于形状判别器，每次的输入为目标图像和目标姿态(It,Pt)以及生成图像和目标姿态(Ig,Pt)，输出为一个分数，作为判断姿态一致性的分数。
在训练的过程中，采用Adam优化器进行了大约9万次迭代。学习率最初设为2×10-4，在6万次迭代后线性衰减指导学习率为0。对于两个数据集，我们都使用了6个姿态指导的注意力编码模块。其中的超参数α，β，γ设置略有不同。Market-1501分别设置为5，10，10；DeepFashion数据集上分别设置为5，1，1。在注意力编码模块采用了超参数为0.5的Dropout用于防止过拟合。
图4列出了本系统与目前该任务上表现最优的四种方法的结果定性的对比。其中PG2，VUnet，Deform，PATN分别为2017年顶级会议NIPS、2018年顶级会议CVPR，2018年顶级会议CVPR以及2019年顶级会议CVPR中的方法。可以看出，本系统可以产生更加清晰的图片，并且对于姿态变换较大的样例，也可以得到很好的处理。同时，本系统生成的图片能够很好的保证条件图像中的纹理信息，并保证了较好的面部信息。
表1列出了本系统与目前该任务上表现最优的四种方法的结果定量的对比。
表1本系统和目前该任务下最好的四种算法的定量比较
表1中SSIM为structural similarity index即结构损失，用于衡量两张图片之间的结构相似度。由于Market-1501数据集中包含各种复杂的背景，我们有采用了蒙版的SSIM即mask-SSIM作为衡量指标；IS为Inception Score即通过预训练的InceptionNet神经网络得出的分数，用于衡量生成网络合成图片的性能。可以看出，我们的结果在针对人体姿态迁移任务的性能表现上为目前最好的系统。
Claims (6)
1.一种基于注意力机制的人体姿态迁移方法，其特征是，步骤如下：
图像预处理步骤：形成训练数据；
姿态指导下的注意力编码：对于图像特征CI以及姿态特征CP,利用自注意力机制，使姿态特征对图像特征进行变换的指导，得到姿态指导下的注意力编码；
网络搭建与训练：采用生成对抗网络模型，网络模型分为生成器及判别器，生成器部分首先进行下采样卷积模块，将图片编码成为高维的图像特征，再进行姿态指导下的注意力编码，通过多次编码完成对图像特征的转换，最后通过上采样卷积模块将图像特征转换为图片；将生成图像放入判别器，判别器通过区分真实图像与生成图像来迫使生成器生成更加接近真实的图片；最终利用训练完毕的生成对抗网络完成人体姿态迁移。
2.如权利要求1所述的基于注意力机制的人体姿态迁移方法，其特征是，图像预处理具体步骤是：首先使用训练好的关节点检测器HPE提取人物姿态，再将固定人物及对应姿态分为一组，对每组中的图片进行排列组合形成训练数据，对于基准数据集Market-1501，收集263632组训练数据以及12000组测试数据；对于DeepFashion数据集，收集101966组训练数据以及8570组测试数据。
3.如权利要求1所述的基于注意力机制的人体姿态迁移方法，其特征是，姿态指导下的注意力编码具体步骤如下：首先通过1×1的卷积将姿态特征分别映射成Key和Value，其中Key和Value都代表姿态特征的信息并且一一对应；之后将Key转置后与Value相乘得到注意力图；最后将图像特征与注意力图想成，得到姿态指导下的注意力编码；得到注意力编码之后，为了更好的整合图像特征和姿态特征，将两者进行拼接，在得到图像特征的反馈之后，姿态特征可以更进一步指导图像特征进行之后的变换。
4.如权利要求1所述的基于注意力机制的人体姿态迁移方法，其特征是，生成器的输入为条件图像Ic，条件图像对应姿态Pc和目标姿态Pt，输出为生成图像Ig,生成图像后，将生成图像放入判别器；判别器采用双判别器的形式：纹理判别器DA和形状判别器DS；纹理判别器DA输入生成图像Ig和条件图像Ic，用于判别两张图像之间的纹理是否一致，输入为(Ic,It)，(Ic,Ig)，分别是条件图像与目标图像或生成图像的二元组；形状判别器DS输入生成图像和目标姿态，用于判断生成图像是否符合目标姿态，输入为(Pt,It)，(Pt,Ig)分别为目标姿态和目标图像或生成图像的二元组。
5.如权利要求4所述的基于注意力机制的人体姿态迁移方法，其特征是，生成对抗网络模型的损失函数包含三部分：
1)生成对抗网络的损失函数LCGAN，该损失函数用来约束生成器和判别器之间的关系，使两者更加平衡，对应于两个判别器，该损失函数包含两部分的对抗损失，总的损失函数定义如下：
其中
分别代表人体姿态的分布，真实图像的分布以及生成图像的分布；
2)距离损失LL1，该损失为生成图像和目标图像像素点之间的距离，通过减小该损失函数，使生成的图像与目标图像更加接近，该损失函数定义如下：
LL1＝‖Ig-It‖1, (2)
3)感知损失Lpercep，感知损失用于减小生成图像与目标图像之间的结构性的差异，并使生成图像更加自然，感知损失定义如下：
其中
表示在ImageNet数据集上预训练的VGG-19网络模型的第
层的输出，
表示
层输出中的第i个特征图。
6.如权利要求4所述的基于注意力机制的人体姿态迁移方法，其特征是，最终整体的损失函数如公式(4)所示：
Lfull＝αLCGAN+βLL1+γLpercep, (4)
其中α，β，γ分别代表LCGAN，LL1，Lpercep三部分的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911332748.0A CN111161200A (zh) | 2019-12-22 | 2019-12-22 | 基于注意力机制的人体姿态迁移方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911332748.0A CN111161200A (zh) | 2019-12-22 | 2019-12-22 | 基于注意力机制的人体姿态迁移方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111161200A true CN111161200A (zh) | 2020-05-15 |
Family
ID=70557725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911332748.0A Pending CN111161200A (zh) | 2019-12-22 | 2019-12-22 | 基于注意力机制的人体姿态迁移方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111161200A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111681182A (zh) * | 2020-06-04 | 2020-09-18 | Oppo广东移动通信有限公司 | 图片修复方法、装置、终端设备以及存储介质 |
| CN111696027A (zh) * | 2020-05-20 | 2020-09-22 | 电子科技大学 | 一种基于适应性注意力机制的多模态的图像风格迁移方法 |
| CN111739115A (zh) * | 2020-06-23 | 2020-10-02 | 中国科学院自动化研究所 | 基于循环一致性的无监督人体姿态迁移方法、系统及装置 |
| CN112116673A (zh) * | 2020-07-29 | 2020-12-22 | 西安交通大学 | 一种姿态引导下的基于结构相似性的虚拟人体图像生成方法、系统及电子设备 |
| CN112149645A (zh) * | 2020-11-10 | 2020-12-29 | 西北工业大学 | 基于生成对抗学习和图神经网络的人体姿势关键点识别方法 |
| CN113408351A (zh) * | 2021-05-18 | 2021-09-17 | 河南大学 | 一种基于姿态引导生成对抗网络的行人重识别方法 |
| CN113538608A (zh) * | 2021-01-25 | 2021-10-22 | 哈尔滨工业大学（深圳） | 基于生成对抗网络的可控人物图像生成方法 |
| CN113706650A (zh) * | 2021-08-27 | 2021-11-26 | 深圳龙岗智能视听研究院 | 一种基于注意力机制和流模型的图像生成方法 |
| CN113936073A (zh) * | 2021-11-02 | 2022-01-14 | 哈尔滨理工大学 | 一种基于注意力机制的AttISTANet压缩感知磁共振重建方法 |
| CN114401446A (zh) * | 2021-12-16 | 2022-04-26 | 广州方硅信息技术有限公司 | 人体姿态迁移方法、装置、系统、电子设备以及存储介质 |
| CN114399829A (zh) * | 2022-03-25 | 2022-04-26 | 浙江壹体科技有限公司 | 基于生成式对抗网络的姿态迁移方法、电子设备及介质 |
| CN114783039A (zh) * | 2022-06-22 | 2022-07-22 | 南京信息工程大学 | 一种3d人体模型驱动的运动迁移方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564119A (zh) * | 2018-04-04 | 2018-09-21 | 华中科技大学 | 一种任意姿态行人图片生成方法 |
| WO2019015466A1 (zh) * | 2017-07-17 | 2019-01-24 | 广州广电运通金融电子股份有限公司 | 人证核实的方法及装置 |
-
2019
- 2019-12-22 CN CN201911332748.0A patent/CN111161200A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019015466A1 (zh) * | 2017-07-17 | 2019-01-24 | 广州广电运通金融电子股份有限公司 | 人证核实的方法及装置 |
| CN108564119A (zh) * | 2018-04-04 | 2018-09-21 | 华中科技大学 | 一种任意姿态行人图片生成方法 |
Non-Patent Citations (1)
| Title |
|---|
| JINSONG ZHANG等: ""Attention-guided GANs for human pose transfer"" * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111696027A (zh) * | 2020-05-20 | 2020-09-22 | 电子科技大学 | 一种基于适应性注意力机制的多模态的图像风格迁移方法 |
| CN111696027B (zh) * | 2020-05-20 | 2023-04-07 | 电子科技大学 | 一种基于适应性注意力机制的多模态的图像风格迁移方法 |
| CN111681182A (zh) * | 2020-06-04 | 2020-09-18 | Oppo广东移动通信有限公司 | 图片修复方法、装置、终端设备以及存储介质 |
| CN111739115A (zh) * | 2020-06-23 | 2020-10-02 | 中国科学院自动化研究所 | 基于循环一致性的无监督人体姿态迁移方法、系统及装置 |
| CN111739115B (zh) * | 2020-06-23 | 2021-03-16 | 中国科学院自动化研究所 | 基于循环一致性的无监督人体姿态迁移方法、系统及装置 |
| CN112116673B (zh) * | 2020-07-29 | 2022-12-09 | 西安交通大学 | 一种姿态引导下的基于结构相似性的虚拟人体图像生成方法、系统及电子设备 |
| CN112116673A (zh) * | 2020-07-29 | 2020-12-22 | 西安交通大学 | 一种姿态引导下的基于结构相似性的虚拟人体图像生成方法、系统及电子设备 |
| CN112149645A (zh) * | 2020-11-10 | 2020-12-29 | 西北工业大学 | 基于生成对抗学习和图神经网络的人体姿势关键点识别方法 |
| CN113538608A (zh) * | 2021-01-25 | 2021-10-22 | 哈尔滨工业大学（深圳） | 基于生成对抗网络的可控人物图像生成方法 |
| CN113538608B (zh) * | 2021-01-25 | 2023-08-01 | 哈尔滨工业大学（深圳） | 基于生成对抗网络的可控人物图像生成方法 |
| CN113408351A (zh) * | 2021-05-18 | 2021-09-17 | 河南大学 | 一种基于姿态引导生成对抗网络的行人重识别方法 |
| CN113706650A (zh) * | 2021-08-27 | 2021-11-26 | 深圳龙岗智能视听研究院 | 一种基于注意力机制和流模型的图像生成方法 |
| CN113936073A (zh) * | 2021-11-02 | 2022-01-14 | 哈尔滨理工大学 | 一种基于注意力机制的AttISTANet压缩感知磁共振重建方法 |
| CN113936073B (zh) * | 2021-11-02 | 2024-05-14 | 哈尔滨理工大学 | 一种基于注意力机制的AttISTANet压缩感知磁共振重建方法 |
| CN114401446A (zh) * | 2021-12-16 | 2022-04-26 | 广州方硅信息技术有限公司 | 人体姿态迁移方法、装置、系统、电子设备以及存储介质 |
| CN114399829B (zh) * | 2022-03-25 | 2022-07-05 | 浙江壹体科技有限公司 | 基于生成式对抗网络的姿态迁移方法、电子设备及介质 |
| CN114399829A (zh) * | 2022-03-25 | 2022-04-26 | 浙江壹体科技有限公司 | 基于生成式对抗网络的姿态迁移方法、电子设备及介质 |
| CN114783039A (zh) * | 2022-06-22 | 2022-07-22 | 南京信息工程大学 | 一种3d人体模型驱动的运动迁移方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111161200A (zh) | 基于注意力机制的人体姿态迁移方法 | |
| CN110263912B (zh) | 一种基于多目标关联深度推理的图像问答方法 | |
| CN110490946B (zh) | 基于跨模态相似度和生成对抗网络的文本生成图像方法 | |
| CN110706302B (zh) | 一种文本合成图像的系统及方法 | |
| CN109035251B (zh) | 一种基于多尺度特征解码的图像轮廓检测方法 | |
| CN111275518A (zh) | 一种基于混合光流的视频虚拟试穿方法及装置 | |
| CN110059741A (zh) | 基于语义胶囊融合网络的图像识别方法 | |
| CN113255457A (zh) | 基于人脸表情识别的动画角色面部表情生成方法及系统 | |
| CN111401156B (zh) | 基于Gabor卷积神经网络的图像识别方法 | |
| CN115797495B (zh) | 一种句子-字符语义空间融合感知的文本生成图像的方法 | |
| CN115237255B (zh) | 一种基于眼动和语音的自然图像共指目标定位系统及方法 | |
| CN112818764A (zh) | 一种基于特征重建模型的低分辨率图像人脸表情识别方法 | |
| CN112037239B (zh) | 基于多层次显式关系选择的文本指导图像分割方法 | |
| CN113255602A (zh) | 基于多模态数据的动态手势识别方法 | |
| CN113140020A (zh) | 一种基于伴随监督生成对抗网络的文本生成图像的方法 | |
| CN111724458A (zh) | 一种语音驱动的三维人脸动画生成方法及网络结构 | |
| CN113780059A (zh) | 一种基于多特征点的连续手语识别方法 | |
| CN115908639A (zh) | 基于transformer的场景图像文字修改方法、装置、电子设备及存储介质 | |
| CN113888399B (zh) | 一种基于风格融合与域选结构的人脸年龄合成方法 | |
| CN113436224B (zh) | 一种基于显式构图规则建模的智能图像裁剪方法及装置 | |
| CN117033609B (zh) | 文本视觉问答方法、装置、计算机设备和存储介质 | |
| CN111767842B (zh) | 基于迁移学习和自编码器数据增强的微表情种类判别方法 | |
| CN116958700A (zh) | 一种基于提示工程和对比学习的图像分类方法 | |
| CN116957921A (zh) | 图像渲染方法、装置、设备及存储介质 | |
| CN114944002B (zh) | 文本描述辅助的姿势感知的人脸表情识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200515 |
|
| RJ01 | Rejection of invention patent application after publication |