CN113838166B - 图像特征迁移方法、装置、存储介质及终端设备 - Google Patents

图像特征迁移方法、装置、存储介质及终端设备 Download PDF

Info

Publication number
CN113838166B
CN113838166B CN202111107780.6A CN202111107780A CN113838166B CN 113838166 B CN113838166 B CN 113838166B CN 202111107780 A CN202111107780 A CN 202111107780A CN 113838166 B CN113838166 B CN 113838166B
Authority
CN
China
Prior art keywords
human body
image
map
target
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111107780.6A
Other languages
English (en)
Other versions
CN113838166A (zh
Inventor
唐吉霖
袁燚
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202111107780.6A priority Critical patent/CN113838166B/zh
Publication of CN113838166A publication Critical patent/CN113838166A/zh
Application granted granted Critical
Publication of CN113838166B publication Critical patent/CN113838166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种图像特征迁移方法、装置、存储介质及终端设备，该方法包括：通过获取源人体图像和目标人体姿态图；构建与目标人体姿态图的目标人体语义分割图及目标人体姿态特征图；从源人体图像中提取出源人体纹理特征；获取源所述人体图像的各个关键区域的纹理特征编码；将各个关键区域的纹理特征编码分别转化成对应的权重参数；通过分区域卷积操作将源人体图像的源人体纹理特征迁移至目标人体姿态特征图得到目标特征图；对目标特征图进行解码操作得到目标人体图像。本申请实施例提高了外观特征提取的有效性和针对性，减少无关因素的干扰，使得完成动作迁移的目标人体图像能够清晰有效还原源人体图像的外观特征。

Description

图像特征迁移方法、装置、存储介质及终端设备
技术领域
本申请涉及电子通信技术领域，尤其涉及一种图像特征迁移技术领域，特别涉及一种图像特征迁移方法、装置、存储介质及终端设备。
背景技术
动作迁移技术是一种将源输入图片中的人体图像变换为目标动作姿态的技术。给定源人体图像和目标人体姿态便能够将源人体图像的外观特征迁移到包含目标人体姿态的图像上。该技术旨在生成目标姿态下的真实、自然的人物图像，同时保持源人物图像原有的外观特征。
目前的动作迁移技术大多基于动作迁移模型实现，动作迁移模型主要分为语义分割图生成器和人体图像生成器两个部分。但是，目前利用动作迁移模型在进行提取人体图像外观特征的过程中，没有充分地考虑图像纹理内在、固有的视觉属性，难以获得有效的外观特征，容易受到形状等无关因素的干扰，导致最终完成动作迁移的目标人体图像不能有效还原源人体图像的外观特征，或者出现目标人体图像的关键区域显示不清晰等情况。
发明内容
本申请实施例提供一种图像特征迁移方法、装置、存储介质及终端设备，能够提高外观特征提取的有效性和针对性，减少了其他无关因素的干扰，使得完成动作迁移的目标人体图像能够清晰有效还原源人体图像的外观特征。
本申请实施例一方面提供了一种图像特征迁移方法，包括：
获取源人体图像和目标人体姿态图；
基于所述源人体图像和目标人体姿态图，构建与所述目标人体姿态图对应的目标人体语义分割图及目标人体姿态特征图；
从所述源人体图像中提取出源人体纹理特征；
从所述源人体纹理特征中获取源所述人体图像的各个关键区域的纹理特征编码；
将所述各个关键区域的纹理特征编码分别转化成对应的权重参数；
利用所述各个关键区域对应的权重参数，通过分区域卷积操作，将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图的相应位置，得到目标特征图；
对所述目标特征图进行解码操作，得到结合所述源人体纹理特征和目标人体姿态图的目标人体图像。
在本申请实施例所述的图像特征迁移方法中，所述利用所述各个关键区域对应的权重参数，通过分区域卷积操作，将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图的相应位置，得到目标特征图，包括：
从所述源人体图像中提取出源人体语义分割图；
基于所述目标人体语义分割图，利用所述源人体图像的各个关键区域的纹理特征编码和对应的权重参数，分别在所述目标人体姿态特征图上与各个关键区域对应的区域进行分区域卷积操作，以得到将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图相应位置的目标特征图。
在本申请实施例所述的图像特征迁移方法中，所述从所述源人体纹理特征中获取所述源人体图像的各个关键区域的纹理特征编码，包括：
使用空间逐点相乘法对所述源人体纹理特征中各关键区域的人体纹理特征进行处理，得到所述各个关键区域的原始纹理特征；
对所述各个关键区域的原始纹理特征分别进行平均池化操作，得到各个关键区域的向量形式的纹理特征编码。
在本申请实施例所述的图像特征迁移方法中，所述基于所述源人体图像和目标人体姿态图，构建与所述目标人体姿态图对应的目标人体语义分割图，包括：
从所述源人体图像中提取出源人体语义分割图和源人体姿态图；
基于所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图进行语义分割图构建操作，构建与所述目标人体姿态图对应的目标人体语义分割图。
在本申请实施例所述的图像特征迁移方法中，所述从所述源人体图像中提取出源人体语义分割图和源人体姿态图，包括：
识别所述源人体图像中人体的各个关键区域；
采用语义分割算法对所述源人体图像中人体的各个关键区域进行语义分割得到所述源人体语义分割图；及
识别所述源人体图像中人体的各个关键点；
采用姿势估计提取算法对所述源人体图像中人体的各个关键点进行提取得到所述源人体姿态图。
在本申请实施例所述的图像特征迁移方法中，所述基于所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图进行语义分割图构建操作，构建与所述目标人体姿态图对应的目标人体语义分割图，包括：
将所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图作为同一图像的不同图像通道中的图像进行拼接，得到输入图像；
将所述输入图像输入至编码器进行编码操作，得到语义特征图；
将所述语义特征图输入至解码器进行解码操作，得到所述目标人体语义分割图。
在本申请实施例所述的图像特征迁移方法中，从所述源人体图像中提取出源人体纹理特征，包括：
从所述源人体图像中提取出滤除不包含特定干扰特征的源人体纹理特征；
所述特定干扰特征包括从预设类型的目标纹理中提取出的特征，所述目标纹理对应的频率范围为目标频率范围，所述从所述源人体图像中提取出滤除干扰特征的源人体纹理特征，包括：
通过纹理编码器的滤波层对所述源人体图像进行过滤和编码处理，得到人体纹理特征，所述滤波层的滤波范围包括所述目标频率范围；
通过所述纹理编码器的若干卷积层对所述人体纹理特征进行卷积处理，得到所述源人体纹理特征。
在本申请实施例所述的图像特征迁移方法中，所述基于所述源人体图像和目标人体姿态图，构建与所述目标人体姿态图对应的目标人体姿态特征图，包括：
基于所述目标人体语义分割图和所述目标人体姿态图进行姿态特征编码操作，得到所述目标人体姿态特征图。
相应的，本申请实施例另一方面还提供了一种图像特征迁移装置，包括：
第一获取模块，用于获取源人体图像和目标人体姿态图；
第一构建模块，用于基于所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图进行语义分割图构建操作，构建与所述目标人体姿态图对应的目标人体语义分割图；
特征提取模块，用于从所述源人体图像中提取出源人体纹理特征；
第二获取模块，用于基于所述源人体语义分割图，从所述源人体纹理特征中获取源所述人体图像的各个关键区域的纹理特征编码；
转化模块，用于将所述各个关键区域的纹理特征编码分别转化成对应的权重参数；
迁移模块，用于利用所述各个关键区域对应的权重参数，通过分区域卷积操作，将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图的相应位置，得到目标特征图；
第二构建模块，用于对所述目标特征图进行解码操作，得到结合所述源人体纹理特征和目标人体姿态图的目标人体图像。
相应的，本申请实施例另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行如上所述的图像特征迁移方法。
相应的，本申请实施例另一方面还提供了一种终端设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令以执行如上所述的图像特征迁移方法。
本申请实施例提供了一种图像特征迁移方法、装置、存储介质及终端设备，该方法通过获取源人体图像和目标人体姿态图；基于所述源人体图像和目标人体姿态图，构建与所述目标人体姿态图对应的目标人体语义分割图及目标人体姿态特征图；从所述源人体图像中提取出源人体纹理特征；从所述源人体纹理特征中获取源所述人体图像的各个关键区域的纹理特征编码；将所述各个关键区域的纹理特征编码分别转化成对应的权重参数；利用所述各个关键区域对应的权重参数，通过分区域卷积操作，将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图的相应位置，得到目标特征图；对所述目标特征图进行解码操作，得到结合所述源人体纹理特征和目标人体姿态图的目标人体图像。本申请实施例基于图像纹理内在、固有的视觉属性和模式特点，提高了外观特征提取的有效性和针对性，减少了其他无关因素的干扰，使得完成动作迁移的目标人体图像能够清晰有效还原源人体图像的外观特征。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像特征迁移方法的流程示意图。
图2为本申请实施例提供的图像特征迁移方法的另一流程示意图。
图3为本申请实施例提供的图像特征迁移方法的效果示意图。
图4为本申请实施例提供的图像特征迁移装置的结构示意图。
图5为本申请实施例提供的图像特征迁移装置的另一种结构示意图。
图6为本申请实施例提供的终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。
本申请实施例提供一种图像特征迁移方法，所述图像特征迁移方法可以应用于终端设备中。所述终端设备可以是智能手机、平板电脑等设备。
在现有的提取、编码人体图像纹理信息的过程中，大多没有充分考虑图像纹理内在固有的视觉属性，难以获得有效的纹理特征，容易受到形状等无关因素的干扰，导致最终完成动作迁移的目标人体图像不能有效还原源人体图像的外观特征，或者出现目标人体图像的关键区域显示不清晰等情况。
为了解决上述技术问题，本申请实施例提供一种图像特征迁移方法。利用本申请实施例提供的图像特征迁移方法，基于图像纹理内在、固有的视觉属性和模式特点，提高了纹理特征提取的有效性和针对性，减少了其他无关因素的干扰。
请参阅图1-图3，图1为本申请实施例提供的图像特征迁移方法的流程示意图。图2为本申请实施例提供的图像特征迁移方法的另一流程示意图。图3为本申请实施例提供的图像特征迁移方法的效果示意图。图3中a处区域表示源人体图像，图3中b处区域表示a处区域中源人体图像经过本方案的图像特征迁移方法处理得到的不同目标人体图像。所述图像特征迁移方法，应用于终端设备中，所述方法可以包括以下步骤：
步骤101，获取源人体图像和目标人体姿态图。
在本实施例中，源人体图像和目标人体姿态图可来源于专用的图片网站，这里不做具体限定。源人体图像指的是待进行动作迁移的对象，需要保留源人体的外观特征，例如相貌、肤色、服装等。目标人体姿态图用于指示需要更改的动作类型。
例如，源人体图像选用一张站姿状态的女性图像，该女性图像需要具备上述外观特征，各外观特征在图像上需要显示清晰完整。目标人体姿态图选用坐姿状态的人体模型轮廓图。利用本申请实施例提供的图像特征迁移方法能够原本呈站姿状态的女性图像转化成坐姿状态的女性图像，同时保持源人体图像的外观特征。
步骤102，基于所述源人体图像和目标人体姿态图，构建与所述目标人体姿态图对应的目标人体语义分割图及目标人体姿态特征图。
在本实施例中，目标人体语义分割图的具体构建过程如下：
从所述源人体图像中提取出源人体语义分割图和源人体姿态图；
基于所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图进行语义分割图构建操作，构建与所述目标人体姿态图对应的目标人体语义分割图。
需要解释的是，语义分割图是把图片上属于不同类别的区域用不同的标签标记出来，例如给出一个人骑摩托车的照片，该照片对应的语义分割图将不同类别的区域采用不同的标签进行表示，例如采用不同的颜色对应不同的标签，红色区域表示为人，绿色区域表示为车。
在本实施例中，从源人体图像中提取出源人体语义分割图的具体过程包括：识别源人体图像中人体的关键区域，采用语义分割算法对源人体图像中人体的各关键区域进行语义分割得到源人体语义分割图。
从源人体图像中提取出源人体姿态图的具体过程包括：识别源人体图像中人体的关键点，采用姿势估计提取算法对源人体图像中人体的关键点进行提取得到源人体姿态图。
其中，姿势估计提取算法和语义分割算法均可以根据实际需求进行选定，这里不做具体限定。
如在一实施例中，使用Open Pose(姿势估计器)对源人体图像进行姿势估计，得到具有18个关键点(包括头发、左眼、右眼、左眉、右眉、鼻子、左肩、右肩、左手、右手等)的源人体姿态图。
使用LIP(Self supervised Structure-sensitive Learning and A NewBenchmark for Human Parsing，人体解析器)对源人体图像进行语义分割，得到包含8个关键区域(包括头发、脸部、上衣、裤子、裙子、皮肤、鞋子、背景)标签的源人体语义分割图。
进一步地，基于所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图进行语义分割图构建操作，构建与所述目标人体姿态图对应的目标人体语义分割图。
为了获取目标人体姿态图的特征，以便后续进行目标人体图像的构建，首先需要构建目标人体图像的目标人体语义分割图。在本实施例中，人体语义分割图的构建方式是通过将源人体语义分割图、源人体姿态图及目标人体姿态图作为同一图像的不同图像通道中的图像进行拼接，得到输入图像，即将大小尺寸相同的源人体语义分割图、源人体姿态图及目标人体姿态图重叠拼接得到一张输入图像，再将输入图像输入至编码器进行编码操作，得到语义特征图，将语义特征图输入至解码器进行解码操作，得到目标人体语义分割图。
需要解释的是，编码器是一个沿用VGG16的网络模型，主要对图像信息进行解析。解码器将解析后的图像信息对应成最终的图像形式，即每个像素都用对应其物体信息的颜色来表示。编码器对图像的低级局域像素值进行归类与分析，从而获得包含高阶语义信息的语义特征图。解码器对缩小后的语义特征图进行上采样，得到目标人体语义分割图。语义分割图简单而言就是给定一张图片，对图片上的每一个像素点分类。
在本实施例中，目标人体姿态特征图的具体构建过程如下：基于所述目标人体语义分割图和所述目标人体姿态图进行姿态特征编码操作，得到所述目标人体姿态特征图。
步骤103，从所述源人体图像中提取出源人体纹理特征。
需要解释的是，纹理特征是用于描述图像或其中小块区域的空间颜色分布和光强分布，即本方案所提的有效外观特征。由于在现有的提取、编码人体图像纹理(texture)信息的过程中，大多没有充分考虑图像纹理内在固有的视觉属性，难以获得有效的纹理特征，容易受到形状等无关因素的干扰，导致最终完成动作迁移的目标人体图像不能有效还原源人体图像的外观特征，或者出现目标人体图像的关键区域显示不清晰等情况。因此，在本实施例中，在利用源人体纹理特征构建目标人体图像之前，从源人体图像中提取出不包含特定干扰特征的源人体纹理特征，即将形状等无关因素的干扰特征滤除。
所述特定干扰特征包括从预设类型的目标纹理中提取出的特征，目标纹理对应的频率范围为目标频率范围，从源人体图像中提取出滤除干扰特征的源人体纹理特征的过程包括：通过纹理编码器的滤波层对源人体图像进行卷积，得到人体纹理特征，滤波层的滤波范围包括目标频率范围，通过纹理编码器的若干卷积层对人体纹理特征进行卷积处理，得到源人体纹理特征。
其中，纹理编码器是基于神经网络模型构建的，纹理编码器的第一层网络由40个对应不同尺度和方向参数的Gabor滤波器组成，其卷积核大小均为7x7。Gabor滤波器的具体公式定义如下：
x`＝xcosθ+ysinθ
y`＝-xsinθ+ycosθ
其中，x,y为空间域中像素的位置；ω为所述Gabor滤波器的中心频率，用于控制所述Gabor滤波器的频域尺度；θ表示所述Gabor滤波器的方向；σ标识高斯核标准差；exp表示以e为底的指数函数；x`表示x按照θ旋转后得到的空间位置；y`表示y按照θ旋转后得到的空间位置；j表示复数的虚部。
需要解释的是，Gabor滤波器与人类视觉皮层简单细胞二维感受野剖面非常相似，具备良好的带通特性。同时，图像纹理可以视为一种具有准周期性的信号，其能量相对集中在一定的频率范围内，如果这一频率范围与Gabor滤波器的通频带吻合，滤波器输出的值将会很大，反之则其输出将受到抑制。基于该观察，本方案引入了可训练的Gabor滤波器，通过端到端的网络训练来自动学习、搜索Gabor滤波器的参数以使它的输出能够使特定纹理的能量顺利通过，同时过滤掉其他无关信息。
步骤104，基于所述源人体语义分割图，从所述源人体纹理特征中获取源所述人体图像的各个关键区域的纹理特征编码。
在本实施例中，不同关键区域的纹理特征编码可以通过池化层对源人体纹理特征进行纹理特征编码操作得到。
在一些实施例中，上述纹理特征编码操作的具体过程包括如下：
使用空间逐点相乘法对源人体纹理特征中各个关键区域的人体纹理特征进行处理，得到各个关键区域的原始纹理特征；
对各个关键区域的原始纹理特征分别进行平均池化操作，进一步排除形状因素的干扰，得到各个关键区域的向量形式的纹理特征编码。
上述过程的公式定义如下：
其中，Aυgpool(·)表示空间区域方向的平均池化操作；i表示特定关键区域的语义标签索引，则是该关键区域的源人体语义分割图；/>表示向量形式的关键区域的纹理特征编码。
步骤105，将所述各个关键区域的纹理特征编码分别转化成对应的权重参数。
在本实施例中，权重参数主要用于进行卷积操作。纹理特征编码与权重参数之间的转化方式可以通过若干全连接层进行转化操作得到权重参数。
步骤106，利用所述各个关键区域对应的权重参数，通过分区域卷积操作，将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图的相应位置，得到目标特征图。
在本实施例中，基于所述目标人体语义分割图，利用所述源人体图像的各个关键区域的纹理特征编码和对应的权重参数，分别在所述目标人体姿态特征图上与各个关键区域对应的区域进行分区域卷积操作，以得到将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图相应位置的目标特征图。
需要说明的是，本方案通过给定不同关键区域的纹理特征编码，使用若干全连接层分别将其映射、转化为对应的权重参数。在生成的目标人体语义分割图的引导下，在目标人体姿态特征图的不同关键区域上使用对应的卷积核进行分区域卷积操作，从而将不同关键区域的纹理信息迁移到目标人体姿态特征图的相应的空间区域上，更好地保持和重建外观纹理。
上述分区域卷积过程的公式定义如下：
其中，i表示关键区域的语义标签索引，表示该关键区域经纹理迁移后的目标特征图，/>表示该关键区域经纹理迁移前的目标人体姿态特征图，/>表示该关键区域对应的权重参数，/>表示分区域卷积操作。
最后，将上述纹理迁移后的目标特征图输入至解码器中进行解码，从而得到跟源人体图片外观纹理一致、同时跟目标人体分割图和目标人体姿态对齐的生成人体图片。
由于在现有的纹理特征迁移过程中，大多是将提取得到的纹理特征映射、转化为自适应实例归一化层(AdaIN)的简单的仿射变换参数(γ和β)，并以此来调制输入特征的尺度(scale)和偏差(bias)，以实现纹理特征迁移。但是，该类方法对纹理信息的表征能力有限，难以实现高效、低损的纹理迁移，容易导致纹理外观的扭曲和细节的丢失。研究表明，纹理特征可视为某种局部模式在特定空间区域上的准周期性重复，而图像卷积操作则是具有局部感受野的卷积核在空间上的权重共享的滑动，两者具备一定程度的内在相似性。受此启发，在本实施例中，本方案通过将不同人体部分的纹理信息编码为不同的局部卷积核的权值，并通过分区域卷积的操作将不同人体部分的纹理信息迁移到其对应的空间区域中去，更好地保持和重建外观纹理。提高了对纹理信息的表征、编码能力，减少了纹理迁移过程中的信息损失，增强了对纹理外观细节的保持、恢复能力，实现了更有效的纹理迁移。
通过上述方式可以得到保留源人体纹理特征和目标人体姿态图的目标人体图像，即保留源人体图像的外观特征的前提下，将源人体图像的原始姿态替换成目标姿态。
步骤107，对所述目标特征图进行解码操作，得到结合所述源人体纹理特征和目标人体姿态图的目标人体图像。
在本实施例中，对目标特征图进行解码操作，得到目标人体图像，例如通过解码器实现解码操作。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。
由上可知，本申请实施例提供的图像特征迁移方法通过获取源人体图像和目标人体姿态图；基于所述源人体图像和目标人体姿态图，构建与所述目标人体姿态图对应的目标人体语义分割图及目标人体姿态特征图；从所述源人体图像中提取出源人体纹理特征；基于所述源人体语义分割图，从所述源人体纹理特征中获取源所述人体图像的各个关键区域的纹理特征编码；将所述各个关键区域的纹理特征编码分别转化成对应的权重参数；利用所述各个关键区域对应的权重参数，通过分区域卷积操作，将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图的相应位置，得到目标特征图；对所述目标特征图进行解码操作，得到结合所述源人体纹理特征和目标人体姿态图的目标人体图像。本申请实施例能够提高外观特征提取的有效性和针对性，减少了其他无关因素的干扰，使得完成动作迁移的目标人体图像能够清晰有效还原源人体图像的外观特征。
本申请实施例还提供一种图像特征迁移装置，所述图像特征迁移装置可以集成在终端设备中。所述终端设备可以是智能手机、平板电脑等设备。
请参阅图4，图4为本申请实施例提供的图像特征迁移装置的结构示意图。图像特征迁移装置30可以包括：
第一获取模块31，用于获取源人体图像和目标人体姿态图；
第一构建模块32，用于基于所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图进行语义分割图构建操作，构建与所述目标人体姿态图对应的目标人体语义分割图；
特征提取模块33，用于从所述源人体图像中提取出源人体纹理特征；
第二获取模块34，用于基于所述源人体语义分割图，从所述源人体纹理特征中获取源所述人体图像的各个关键区域的纹理特征编码；
转化模块35，用于将所述各个关键区域的纹理特征编码分别转化成对应的权重参数；
迁移模块36，用于利用所述各个关键区域对应的权重参数，通过分区域卷积操作，将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图的相应位置，得到目标特征图；
第二构建模块37，用于对所述目标特征图进行解码操作，得到结合所述源人体纹理特征和目标人体姿态图的目标人体图像。
在一些实施例中，所述迁移模块36，用于基于所述目标人体语义分割图，利用所述源人体图像的各个关键区域的纹理特征编码和对应的权重参数，分别在所述目标人体姿态特征图上与各个关键区域对应的区域进行分区域卷积操作，以得到将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图相应位置的目标特征图。
在一些实施例中，所述迁移模块36，用于使用空间逐点相乘法对所述源人体纹理特征中各关键区域的人体纹理特征进行处理，得到所述各个关键区域的原始纹理特征；对所述各个关键区域的原始纹理特征分别进行平均池化操作，得到各个关键区域的向量形式的纹理特征编码。
在一些实施例中，所述第一构建模块32，用于从所述源人体图像中提取出源人体语义分割图和源人体姿态图；基于所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图进行语义分割图构建操作，构建与所述目标人体姿态图对应的目标人体语义分割图。
在一些实施例中，所述第一构建模块32，用于识别所述源人体图像中人体的各个关键区域；采用语义分割算法对所述源人体图像中人体的各个关键区域进行语义分割得到所述源人体语义分割图；及识别所述源人体图像中人体的各个关键点；采用姿势估计提取算法对所述源人体图像中人体的各个关键点进行提取得到所述源人体姿态图。
在一些实施例中，所述第一构建模块32，用于将所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图作为同一图像的不同图像通道中的图像进行拼接，得到输入图像；将所述输入图像输入至编码器进行编码操作，得到语义特征图；将所述语义特征图输入至解码器进行解码操作，得到所述目标人体语义分割图。
在一些实施例中，所述特征提取模块33，用于从所述源人体图像中提取出滤除不包含特定干扰特征的源人体纹理特征；所述特定干扰特征包括从预设类型的目标纹理中提取出的特征，所述目标纹理对应的频率范围为目标频率范围，所述从所述源人体图像中提取出滤除干扰特征的源人体纹理特征，包括：通过纹理编码器的滤波层对所述源人体图像进行过滤和编码处理，得到人体纹理特征，所述滤波层的滤波范围包括所述目标频率范围；通过所述纹理编码器的若干卷积层对所述人体纹理特征进行卷积处理，得到所述源人体纹理特征。
在一些实施例中，所述第一构建模块32，用于基于所述目标人体语义分割图和所述目标人体姿态图进行姿态特征编码操作，得到所述目标人体姿态特征图。
由上可知，本申请实施例提供的图像特征迁移装置30，通过第一获取模块31获取源人体图像和目标人体姿态图；第一构建模块32基于所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图进行语义分割图构建操作，构建与所述目标人体姿态图对应的目标人体语义分割图；特征提取模块33从所述源人体图像中提取出源人体纹理特征；第二获取模块34基于所述源人体语义分割图，从所述源人体纹理特征中获取源所述人体图像的各个关键区域的纹理特征编码；转化模块35将所述各个关键区域的纹理特征编码分别转化成对应的权重参数；迁移模块36利用所述各个关键区域对应的权重参数，通过分区域卷积操作，将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图的相应位置，得到目标特征图；第二构建模块37对所述目标特征图进行解码操作，得到结合所述源人体纹理特征和目标人体姿态图的目标人体图像。
请参阅图5，图5为本申请实施例提供的图像特征迁移装置的另一结构示意图，图像特征迁移装置30包括存储器120、一个或多个处理器180、以及一个或多个应用程序，其中该一个或多个应用程序被存储于该存储器120中，并配置为由该处理器180执行；该处理器180可以包括第一获取模块31，第一构建模块32，特征提取模块33，第二获取模块34，转化模块35，迁移模块36以及第二构建模块37。例如，以上各个部件的结构和连接关系可以如下：
存储器120可用于存储应用程序和数据。存储器120存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器180通过运行存储在存储器120的应用程序，从而执行各种功能应用以及数据处理。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器120还可以包括存储器控制器，以提供处理器180对存储器120的访问。
处理器180是装置的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器120内的应用程序，以及调用存储在存储器120内的数据，执行装置的各种功能和处理数据，从而对装置进行整体监控。可选的，处理器180可包括一个或多个处理核心；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等。
具体在本实施例中，处理器180会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器120中，并由处理器180来运行存储在存储器120中的应用程序，从而实现各种功能：
第一获取模块31，用于获取源人体图像和目标人体姿态图；
第一构建模块32，用于基于所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图进行语义分割图构建操作，构建与所述目标人体姿态图对应的目标人体语义分割图；
特征提取模块33，用于从所述源人体图像中提取出源人体纹理特征；
第二获取模块34，用于基于所述源人体语义分割图，从所述源人体纹理特征中获取源所述人体图像的各个关键区域的纹理特征编码；
转化模块35，用于将所述各个关键区域的纹理特征编码分别转化成对应的权重参数；
迁移模块36，用于利用所述各个关键区域对应的权重参数，通过分区域卷积操作，将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图的相应位置，得到目标特征图；
第二构建模块37，用于对所述目标特征图进行解码操作，得到结合所述源人体纹理特征和目标人体姿态图的目标人体图像。
在一些实施例中，所述迁移模块36，用于基于所述目标人体语义分割图，利用所述源人体图像的各个关键区域的纹理特征编码和对应的权重参数，分别在所述目标人体姿态特征图上与各个关键区域对应的区域进行分区域卷积操作，以得到将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图相应位置的目标特征图。
在一些实施例中，所述迁移模块36，用于使用空间逐点相乘法对所述源人体纹理特征中各关键区域的人体纹理特征进行处理，得到所述各个关键区域的原始纹理特征；对所述各个关键区域的原始纹理特征分别进行平均池化操作，得到各个关键区域的向量形式的纹理特征编码。
在一些实施例中，所述第一构建模块32，用于从所述源人体图像中提取出源人体语义分割图和源人体姿态图；基于所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图进行语义分割图构建操作，构建与所述目标人体姿态图对应的目标人体语义分割图。
在一些实施例中，所述第一构建模块32，用于识别所述源人体图像中人体的各个关键区域；采用语义分割算法对所述源人体图像中人体的各个关键区域进行语义分割得到所述源人体语义分割图；及识别所述源人体图像中人体的各个关键点；采用姿势估计提取算法对所述源人体图像中人体的各个关键点进行提取得到所述源人体姿态图。
在一些实施例中，所述第一构建模块32，用于将所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图作为同一图像的不同图像通道中的图像进行拼接，得到输入图像；将所述输入图像输入至编码器进行编码操作，得到语义特征图；将所述语义特征图输入至解码器进行解码操作，得到所述目标人体语义分割图。
在一些实施例中，所述特征提取模块33，用于从所述源人体图像中提取出滤除不包含特定干扰特征的源人体纹理特征；所述特定干扰特征包括从预设类型的目标纹理中提取出的特征，所述目标纹理对应的频率范围为目标频率范围，所述从所述源人体图像中提取出滤除干扰特征的源人体纹理特征，包括：通过纹理编码器的滤波层对所述源人体图像进行过滤和编码处理，得到人体纹理特征，所述滤波层的滤波范围包括所述目标频率范围；通过所述纹理编码器的若干卷积层对所述人体纹理特征进行卷积处理，得到所述源人体纹理特征。
在一些实施例中，所述第一构建模块32，用于基于所述目标人体语义分割图和所述目标人体姿态图进行姿态特征编码操作，得到所述目标人体姿态特征图。
本申请实施例还提供一种终端设备。所述终端设备可以是智能手机、电脑、平板电脑等设备。
请参阅图6，图6示出了本申请实施例提供的终端设备的结构示意图，该终端设备可以用于实施上述实施例中提供的图像特征迁移方法。该终端设备1200可以为智能手机或平板电脑。
如图6所示，终端设备1200可以包括RF(Radio Frequency，射频)电路110、包括有一个或一个以上(图中仅示出一个)计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、传输模块170、包括有一个或者一个以上(图中仅示出一个)处理核心的处理器180以及电源190等部件。本领域技术人员可以理解，图6中示出的终端设备1200结构并不构成对终端设备1200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路110用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。RF电路110可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路110可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。
存储器120可用于存储软件程序以及模块，如上述实施例中图像特征迁移方法对应的程序指令/模块，处理器180通过运行存储在存储器120内的软件程序以及模块，从而执行各种功能应用以及数据处理，可以根据终端设备所处的当前场景来自动选择振动提醒模式来进行图像特征迁移，既能够保证会议等场景不被打扰，又能保证用户可以感知来电，提升了终端设备的智能性。存储器120可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器120可进一步包括相对于处理器180远程设置的存储器，这些远程存储器可以通过网络连接至终端设备1200。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入单元130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端设备1200的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141，可选的，可以采用LCD(Liquid CrystalDisplay，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的，触敏表面131可覆盖显示面板141，当触敏表面131检测到在其上或附近的触摸操作后，传送给处理器180以确定触摸事件的类型，随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图4中，触敏表面131与显示面板141是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面131与显示面板141集成而实现输入和输出功能。
终端设备1200还可包括至少一种传感器150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在终端设备1200移动到耳边时，关闭显示面板141和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端设备1200还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路160、扬声器161，传声器162可提供用户与终端设备1200之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，传声器162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器180处理后，经RF电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔，以提供外设耳机与终端设备1200的通信。
终端设备1200通过传输模块170(例如Wi-Fi模块)可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图4示出了传输模块170，但是可以理解的是，其并不属于终端设备1200的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是终端设备1200的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行终端设备1200的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器180可包括一个或多个处理核心；在一些实施例中，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。
终端设备1200还包括给各个部件供电的电源190，在一些实施例中，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端设备1200还可以包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等，在此不再赘述。具体在本实施例中，终端设备1200的显示单元140是触摸屏显示器，终端设备1200还包括有存储器120，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器120中，且经配置以由一个或者一个以上处理器180执行一个或者一个以上程序包含用于进行以下操作的指令：
第一获取模块指令，用于获取源人体图像和目标人体姿态图；
第一构建模块指令，用于基于所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图进行语义分割图构建操作，构建与所述目标人体姿态图对应的目标人体语义分割图；
特征提取模块指令，用于从所述源人体图像中提取出源人体纹理特征；
第二获取模块指令，用于基于所述源人体语义分割图，从所述源人体纹理特征中获取源所述人体图像的各个关键区域的纹理特征编码；
转化模块指令，用于将所述各个关键区域的纹理特征编码分别转化成对应的权重参数；
迁移模块指令，用于利用所述各个关键区域对应的权重参数，通过分区域卷积操作，将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图的相应位置，得到目标特征图；
第二构建模块指令，用于对所述目标特征图进行解码操作，得到结合所述源人体纹理特征和目标人体姿态图的目标人体图像。
在一些实施例中，所述迁移模块指令，用于基于所述目标人体语义分割图，利用所述源人体图像的各个关键区域的纹理特征编码和对应的权重参数，分别在所述目标人体姿态特征图上与各个关键区域对应的区域进行分区域卷积操作，以得到将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图相应位置的目标特征图。
在一些实施例中，所述迁移模块指令，用于使用空间逐点相乘法对所述源人体纹理特征中各关键区域的人体纹理特征进行处理，得到所述各个关键区域的原始纹理特征；对所述各个关键区域的原始纹理特征分别进行平均池化操作，得到各个关键区域的向量形式的纹理特征编码。
在一些实施例中，所述第一构建模块指令，用于从所述源人体图像中提取出源人体语义分割图和源人体姿态图；基于所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图进行语义分割图构建操作，构建与所述目标人体姿态图对应的目标人体语义分割图。
在一些实施例中，所述第一构建模块指令，用于识别所述源人体图像中人体的各个关键区域；采用语义分割算法对所述源人体图像中人体的各个关键区域进行语义分割得到所述源人体语义分割图；及识别所述源人体图像中人体的各个关键点；采用姿势估计提取算法对所述源人体图像中人体的各个关键点进行提取得到所述源人体姿态图。
在一些实施例中，所述第一构建模块指令，用于将所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图作为同一图像的不同图像通道中的图像进行拼接，得到输入图像；将所述输入图像输入至编码器进行编码操作，得到语义特征图；将所述语义特征图输入至解码器进行解码操作，得到所述目标人体语义分割图。
在一些实施例中，所述特征提取模块指令，用于从所述源人体图像中提取出滤除不包含特定干扰特征的源人体纹理特征；所述特定干扰特征包括从预设类型的目标纹理中提取出的特征，所述目标纹理对应的频率范围为目标频率范围，所述从所述源人体图像中提取出滤除干扰特征的源人体纹理特征，包括：通过纹理编码器的滤波层对所述源人体图像进行过滤和编码处理，得到人体纹理特征，所述滤波层的滤波范围包括所述目标频率范围；通过所述纹理编码器的若干卷积层对所述人体纹理特征进行卷积处理，得到所述源人体纹理特征。
在一些实施例中，所述第一构建模块指令，用于基于所述目标人体语义分割图和所述目标人体姿态图进行姿态特征编码操作，得到所述目标人体姿态特征图。
本申请实施例还提供一种终端设备。所述终端设备可以是智能手机、平板电脑等设备。
由上可知，本申请实施例提供了一种终端设备1200，所述终端设备1200执行以下步骤：获取源人体图像和目标人体姿态图；基于所述源人体图像和目标人体姿态图，构建与所述目标人体姿态图对应的目标人体语义分割图及目标人体姿态特征图；从所述源人体图像中提取出源人体纹理特征；从所述源人体纹理特征中获取源所述人体图像的各个关键区域的纹理特征编码；将所述各个关键区域的纹理特征编码分别转化成对应的权重参数；利用所述各个关键区域对应的权重参数，通过分区域卷积操作，将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图的相应位置，得到目标特征图；对所述目标特征图进行解码操作，得到结合所述源人体纹理特征和目标人体姿态图的目标人体图像。本申请实施例基于图像纹理内在、固有的视觉属性和模式特点，提高了外观特征提取的有效性和针对性，减少了其他无关因素的干扰，使得完成动作迁移的目标人体图像能够清晰有效还原源人体图像的外观特征。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机执行上述任一实施例所述的图像特征迁移方法。
需要说明的是，对本申请所述图像特征迁移方法而言，本领域普通测试人员可以理解实现本申请实施例所述图像特征迁移方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读存储介质中，如存储在终端设备的存储器中，并被该终端设备内的至少一个处理器执行，在执行过程中可包括如所述图像特征迁移方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。
对本申请实施例的所述图像特征迁移装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。
以上对本申请实施例所提供的图像特征迁移方法、装置、计算机可读存储介质及终端设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像特征迁移方法，其特征在于，包括：
获取源人体图像和目标人体姿态图；
基于所述源人体图像和目标人体姿态图，构建与所述目标人体姿态图对应的目标人体语义分割图及目标人体姿态特征图；
从所述源人体图像中提取出源人体纹理特征；
从所述源人体纹理特征中获取所述源人体图像的各个关键区域的纹理特征编码；
将所述各个关键区域的纹理特征编码分别转化成对应的权重参数；
利用所述各个关键区域对应的权重参数，通过分区域卷积操作，将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图的相应位置，得到目标特征图；
对所述目标特征图进行解码操作，得到结合所述源人体纹理特征和目标人体姿态图的目标人体图像。
2.如权利要求1所述的图像特征迁移方法，其特征在于，所述利用所述各个关键区域对应的权重参数，通过分区域卷积操作，将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图的相应位置，得到目标特征图，包括：
从所述源人体图像中提取出源人体语义分割图；
基于所述目标人体语义分割图，利用所述源人体图像的各个关键区域的纹理特征编码和对应的权重参数，分别在所述目标人体姿态特征图上与各个关键区域对应的区域进行分区域卷积操作，以得到将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图相应位置的目标特征图。
3.如权利要求2所述的图像特征迁移方法，其特征在于，所述从所述源人体纹理特征中获取所述源人体图像的各个关键区域的纹理特征编码，包括：
使用空间逐点相乘法对所述源人体纹理特征中各关键区域的人体纹理特征进行处理，得到所述各个关键区域的原始纹理特征；
对所述各个关键区域的原始纹理特征分别进行平均池化操作，得到各个关键区域的向量形式的纹理特征编码。
4.如权利要求1所述的图像特征迁移方法，其特征在于，所述基于所述源人体图像和目标人体姿态图，构建与所述目标人体姿态图对应的目标人体语义分割图，包括：
从所述源人体图像中提取出源人体语义分割图和源人体姿态图；
基于所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图进行语义分割图构建操作，构建与所述目标人体姿态图对应的目标人体语义分割图。
5.如权利要求4所述的图像特征迁移方法，其特征在于，所述从所述源人体图像中提取出源人体语义分割图和源人体姿态图，包括：
识别所述源人体图像中人体的各个关键区域；
采用语义分割算法对所述源人体图像中人体的各个关键区域进行语义分割得到所述源人体语义分割图；及
识别所述源人体图像中人体的各个关键点；
采用姿势估计提取算法对所述源人体图像中人体的各个关键点进行提取得到所述源人体姿态图。
6.如权利要求4所述的图像特征迁移方法，其特征在于，所述基于所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图进行语义分割图构建操作，构建与所述目标人体姿态图对应的目标人体语义分割图，包括：
将所述源人体语义分割图、所述源人体姿态图及所述目标人体姿态图作为同一图像的不同图像通道中的图像进行拼接，得到输入图像；
将所述输入图像输入至编码器进行编码操作，得到语义特征图；
将所述语义特征图输入至解码器进行解码操作，得到所述目标人体语义分割图。
7.如权利要求1所述的图像特征迁移方法，其特征在于，从所述源人体图像中提取出源人体纹理特征，包括：
从所述源人体图像中提取出滤除不包含特定干扰特征的源人体纹理特征；
所述特定干扰特征包括从预设类型的目标纹理中提取出的特征，所述目标纹理对应的频率范围为目标频率范围，所述从所述源人体图像中提取出滤除不包含特定特征的源人体纹理特征，包括：
通过纹理编码器的滤波层对所述源人体图像进行过滤和编码处理，得到人体纹理特征，所述滤波层的滤波范围包括所述目标频率范围；
通过所述纹理编码器的若干卷积层对所述人体纹理特征进行卷积处理，得到所述源人体纹理特征。
8.如权利要求1所述的图像特征迁移方法，其特征在于，所述基于所述源人体图像和目标人体姿态图，构建与所述目标人体姿态图对应的目标人体姿态特征图，包括：
基于所述目标人体语义分割图和所述目标人体姿态图进行姿态特征编码操作，得到所述目标人体姿态特征图。
9.一种图像特征迁移装置，其特征在于，包括：
第一获取模块，用于获取源人体图像和目标人体姿态图；
第一构建模块，用于基于所述源人体图像和目标人体姿态图，构建与所述目标人体姿态图对应的目标人体语义分割图及目标人体姿态特征图；
特征提取模块，用于从所述源人体图像中提取出源人体纹理特征；
第二获取模块，用于从所述源人体纹理特征中获取所述源人体图像的各个关键区域的纹理特征编码；
转化模块，用于将所述各个关键区域的纹理特征编码分别转化成对应的权重参数；
迁移模块，用于利用所述各个关键区域对应的权重参数，通过分区域卷积操作，将所述源人体图像的源人体纹理特征迁移至所述目标人体姿态特征图的相应位置，得到目标特征图；
第二构建模块，用于对所述目标特征图进行解码操作，得到结合所述源人体纹理特征和目标人体姿态图的目标人体图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的图像特征迁移方法。
11.一种终端设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令以执行权利要求1至8任一项所述的图像特征迁移方法。
CN202111107780.6A 2021-09-22 2021-09-22 图像特征迁移方法、装置、存储介质及终端设备 Active CN113838166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111107780.6A CN113838166B (zh) 2021-09-22 2021-09-22 图像特征迁移方法、装置、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111107780.6A CN113838166B (zh) 2021-09-22 2021-09-22 图像特征迁移方法、装置、存储介质及终端设备

Publications (2)

Publication Number Publication Date
CN113838166A CN113838166A (zh) 2021-12-24
CN113838166B true CN113838166B (zh) 2023-08-29

Family

ID=78960270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111107780.6A Active CN113838166B (zh) 2021-09-22 2021-09-22 图像特征迁移方法、装置、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN113838166B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581288A (zh) * 2022-02-28 2022-06-03 北京大甜绵白糖科技有限公司 一种图像生成方法、装置、电子设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564119A (zh) * 2018-04-04 2018-09-21 华中科技大学 一种任意姿态行人图片生成方法
CN110473266A (zh) * 2019-07-08 2019-11-19 南京邮电大学盐城大数据研究院有限公司 一种基于姿态指导的保留源场景人物动作视频生成方法
CN113393550A (zh) * 2021-06-15 2021-09-14 杭州电子科技大学 一种姿态和纹理引导的时尚服装设计合成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018217828A1 (en) * 2017-05-23 2018-11-29 Intel Corporation Methods and apparatus for discriminative semantic transfer and physics-inspired optimization of features in deep learning
CN113569789B (zh) * 2019-07-30 2024-04-16 北京市商汤科技开发有限公司 图像处理方法及装置、处理器、电子设备及存储介质
CN110785753A (zh) * 2019-09-27 2020-02-11 京东方科技集团股份有限公司 用于搜索图像的方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564119A (zh) * 2018-04-04 2018-09-21 华中科技大学 一种任意姿态行人图片生成方法
CN110473266A (zh) * 2019-07-08 2019-11-19 南京邮电大学盐城大数据研究院有限公司 一种基于姿态指导的保留源场景人物动作视频生成方法
CN113393550A (zh) * 2021-06-15 2021-09-14 杭州电子科技大学 一种姿态和纹理引导的时尚服装设计合成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于姿态引导的场景保留人物视频生成";李桂等;《图学学报》;539-547 *

Also Published As

Publication number Publication date
CN113838166A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN110070056B (zh) 图像处理方法、装置、存储介质及设备
CN110163048B (zh) 手部关键点的识别模型训练方法、识别方法及设备
CN108594997B (zh) 手势骨架构建方法、装置、设备及存储介质
CN110163806B (zh) 一种图像处理方法、装置以及存储介质
CN111738122B (zh) 图像处理的方法及相关装置
CN110555839A (zh) 缺陷检测识别方法、装置、计算机设备及存储介质
US10970523B2 (en) Terminal and server for providing video call service
CN108875594B (zh) 一种人脸图像的处理方法、装置以及存储介质
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN112184548A (zh) 图像超分辨率方法、装置、设备及存储介质
CN110765924A (zh) 一种活体检测方法、装置以及计算机可读存储介质
CN113723185B (zh) 动作行为识别方法、装置、存储介质及终端设备
CN113706440A (zh) 图像处理方法、装置、计算机设备及存储介质
CN113838166B (zh) 图像特征迁移方法、装置、存储介质及终端设备
CN110991325A (zh) 一种模型训练的方法、图像识别的方法以及相关装置
CN116229188B (zh) 图像处理显示方法、分类模型的生成方法及其设备
CN111753813A (zh) 图像处理方法、装置、设备及存储介质
CN113743186B (zh) 医学图像的处理方法、装置、设备及存储介质
CN114882226A (zh) 图像处理方法、智能终端及存储介质
CN112837222A (zh) 指纹图像拼接方法、装置、存储介质及电子设备
CN111402273A (zh) 一种图像处理方法和电子设备
CN114140864B (zh) 轨迹跟踪方法、装置、存储介质及电子设备
CN113806533B (zh) 比喻句式特征词语提取方法、装置、介质及设备
CN114972009A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN118025014A (zh) 行车辅助方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant