CN113516762A - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN113516762A
CN113516762A CN202110915053.6A CN202110915053A CN113516762A CN 113516762 A CN113516762 A CN 113516762A CN 202110915053 A CN202110915053 A CN 202110915053A CN 113516762 A CN113516762 A CN 113516762A
Authority
CN
China
Prior art keywords
image
target
target image
image object
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110915053.6A
Other languages
English (en)
Inventor
杨跃
董治
雷兆恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Music Entertainment Technology Shenzhen Co Ltd
Original Assignee
Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Music Entertainment Technology Shenzhen Co Ltd filed Critical Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority to CN202110915053.6A priority Critical patent/CN113516762A/zh
Publication of CN113516762A publication Critical patent/CN113516762A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种图像处理方法及装置。该方法包括：获取目标图像以及确定动作参考视频。当检测到目标图像中包括目标图像对象，且确定目标图像对象的姿势满足预设条件时，获取目标图像对象对应的第一3D模型图。获取动作参考视频的目标参考图像中参考图像对象对应的第二3D模型图。根据目标图像对象、第一3D模型图、第二3D模型图，生成目标图像对象模拟目标参考图像中参考图像对象动作的合成图像，以便于得到目标动作视频，即对多张合成图像进行视频合成处理，以得到目标动作视频。目标参考图像为多帧参考图像中的一帧参考图像。采用本申请实施例，可提高图像处理效率，增强用户体验感，适用性高。

Description

图像处理方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法及装置。
背景技术
随着网络应用的不断发展，各种舞蹈类游戏逐渐丰富起来。通常而言，当用户想要模仿舞蹈视频中人物的舞蹈动作，以生成用户跳这段舞蹈的视频时，通常需要用户先上传一段自己跳舞的原始视频，根据这一段原始视频训练出一个生成器，然后用户将自身图像和想要模仿的舞蹈视频输入这个生成器以生成用户模仿该舞蹈视频进行跳舞的视频。但是这种方式需要用户上传一段自己跳舞的原始视频以训练生成器，导致用户体验较差，另外针对不同的用户都需要学习对应的生成器，学习成本高且图像处理效率低。
发明内容
本申请实施例提供一种图像处理方法及装置，可提高图像处理效率，增强用户体验感，适用性高。
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
获取目标图像以及确定动作参考视频，上述动作参考视频包括多帧参考图像，上述多帧参考图像中每帧参考图像包括参考图像对象；
当检测到上述目标图像中包括目标图像对象，且确定上述目标图像对象的姿势满足预设条件时，获取上述目标图像对象对应的第一3D模型图；
获取上述动作参考视频的目标参考图像中参考图像对象对应的第二3D模型图，上述目标参考图像为上述多帧参考图像中的一帧参考图像；
根据上述目标图像对象、上述第一3D模型图、上述第二3D模型图，生成上述目标图像对象模拟上述目标参考图像中参考图像对象动作的合成图像；
对多张所述合成图像进行视频合成处理，以得到目标动作视频。
结合第一方面，在一种可能的实施方式中，上述方法还包括：
对上述目标图像进行姿态识别处理，得到上述目标图像中包括的多个人体关键点的关键点信息，其中，关键点信息中包括人体关键点的位置坐标信息和置信度信息；
根据上述多个人体关键点信息确定上述目标图像中是否包括目标图像对象，以及根据上述多个人体关键点信息确定上述目标图像对象的姿势是否满足预设条件。
结合第一方面，在一种可能的实施方式中，上述根据上述多个人体关键点信息确定上述目标图像中是否包括目标图像对象，包括：
确定上述多个人体关键点信息中置信度信息大于或者等于第一预设阈值的人体关键点数量；
若上述人体关键点数量大于或者等于第二预设阈值，则确定上述目标图像中包括目标图像对象。
结合第一方面，在一种可能的实施方式中，位置坐标信息包括横坐标值和纵坐标值；上述多个人体关键点包括左肩、左手、右肩和右手；
上述根据上述多个人体关键点信息确定上述目标图像对象的姿势是否满足预设条件，包括：
若上述左手的横坐标值小于上述左肩的横坐标值，上述右手的横坐标值大于上述右肩的横坐标值，且上述左手的横坐标值与上述右手的横坐标值的差值绝对值大于第三预设阈值，则确定上述目标图像对象的姿势满足预设条件；
其中，上述第三预设阈值由上述左肩的横坐标值与上述右肩的横坐标值的差值绝对值确定。
结合第一方面，在一种可能的实施方式中，位置坐标信息包括横坐标值和纵坐标值；上述多个人体关键点包括左脚和右脚；
上述根据上述多个人体关键点信息确定上述目标图像对象的姿势是否满足预设条件，包括：
若上述左脚的横坐标值小于上述右脚的横坐标值，则确定上述目标图像对象的姿势满足预设条件。
结合第一方面，在一种可能的实施方式中，位置坐标信息包括横坐标值和纵坐标值；上述多个人体关键点包括左眼和右眼；
上述根据上述多个人体关键点信息确定上述目标图像对象的姿势是否满足预设条件，包括：
根据上述左眼的位置坐标信息和上述右眼的位置坐标信息确定上述左眼与上述右眼之间的连线与水平方向的夹角；
若上述夹角小于第四预设阈值，则确定上述目标图像对象的姿势满足预设条件。
结合第一方面，在一种可能的实施方式中，上述根据上述目标图像对象、上述第一3D模型图、上述第二3D模型图，生成上述目标图像对象模拟上述目标参考图像中参考图像对象动作的合成图像，包括：
根据上述第一3D模型图和上述第二3D模型图确定转换矩阵；
通过人物还原对抗神经网络对上述目标图像对象和上述第一3D模型图进行特征提取处理，并获取上述人物还原对抗神经网络包括的n层第一采样卷积网络中每层第一采样卷积网络输出的第一图像特征参数，n为大于1的整数；
通过图片合成对抗神经网络对上述转换矩阵、上述第二3D模型图、上述每层第一采样卷积网络输出的第一图像特征参数进行处理，得到上述合成图像。
结合第一方面，在一种可能的实施方式中，上述图片合成对抗神经网络包括n层第二采样卷积网络，上述n层第二采样卷积网络与上述n层第一采样卷积网络一一对应；
上述通过图片合成对抗神经网络对上述转换矩阵、上述第二3D模型图、上述每层第一采样卷积网络输出的第一图像特征参数进行处理，得到上述合成图像，包括：
将上述转换矩阵、上述第二3D模型图输入上述n层第二采样卷积网络中的第一层第二采样卷积网络，得到上述第一层第二采样卷积网络输出的第二图像特征参数；
将第i层第二采样卷积网络输出的第二图像特征参数，以及第i+1层第一采样卷积网络输出的第一图像特征参数输入第i+1层第二采样卷积网络进行处理，得到所述第i+1层第二采样卷积网络输出的第二图像特征参数，直到获取到第n 层第二采样卷积网络输出的第二图像特征参数作为所述合成图像，1≤i≤n-1，i 为整数。
结合第一方面，在一种可能的实施方式中，上述对多张所述合成图像进行视频合成处理，以得到目标动作视频，包括：
获取上述动作参考视频的帧率和音频信息；
获取背景图片，将上述多张合成图像与上述背景图片进行融合，以生成多张融合图像；
根据上述帧率将上述多张融合图像合成为视频，并添加上述音频信息，以得到目标动作视频。
第二方面，本申请实施例提供了一种图像处理装置，该装置包括：
收发单元，用于获取目标图像以及确定动作参考视频，上述动作参考视频包括多帧参考图像，上述多帧参考图像中每帧参考图像包括参考图像对象；
处理单元，用于当检测到上述目标图像中包括目标图像对象，且确定上述目标图像对象的姿势满足预设条件时，获取上述目标图像对象对应的第一3D模型图；
上述处理单元，还用于获取上述动作参考视频的目标参考图像中参考图像对象对应的第二3D模型图，上述目标参考图像为上述多帧参考图像中的一帧参考图像；
上述处理单元，还用于根据上述目标图像对象、上述第一3D模型图、上述第二3D模型图，生成上述目标图像对象模拟上述目标参考图像中参考图像对象动作的合成图像；
对多张所述合成图像进行视频合成处理，以得到目标动作视频。
结合第二方面，在一种可能的实施方式中，上述处理单元具体用于：
对上述目标图像进行姿态识别处理，得到上述目标图像中包括的多个人体关键点的关键点信息，其中，关键点信息中包括人体关键点的位置坐标信息和置信度信息；
根据上述多个人体关键点信息确定上述目标图像中是否包括目标图像对象，以及根据上述多个人体关键点信息确定上述目标图像对象的姿势是否满足预设条件。
结合第二方面，在一种可能的实施方式中，上述处理单元具体用于：
确定上述多个人体关键点信息中置信度信息大于或者等于第一预设阈值的人体关键点数量；
若上述人体关键点数量大于或者等于第二预设阈值，则确定上述目标图像中包括目标图像对象。
结合第二方面，在一种可能的实施方式中，位置坐标信息包括横坐标值和纵坐标值；上述多个人体关键点包括左肩、左手、右肩和右手；
上述处理单元具体用于：
若上述左手的横坐标值小于上述左肩的横坐标值，上述右手的横坐标值大于上述右肩的横坐标值，且上述左手的横坐标值与上述右手的横坐标值的差值绝对值大于第三预设阈值，则确定上述目标图像对象的姿势满足预设条件；
其中，上述第三预设阈值由上述左肩的横坐标值与上述右肩的横坐标值的差值绝对值确定。
结合第二方面，在一种可能的实施方式中，位置坐标信息包括横坐标值和纵坐标值；上述多个人体关键点包括左脚和右脚；
上述处理单元具体用于：
若上述左脚的横坐标值小于上述右脚的横坐标值，则确定上述目标图像对象的姿势满足预设条件。
结合第二方面，在一种可能的实施方式中，位置坐标信息包括横坐标值和纵坐标值；上述多个人体关键点包括左眼和右眼；
上述处理单元具体用于：
根据上述左眼的位置坐标信息和上述右眼的位置坐标信息确定上述左眼与上述右眼之间的连线与水平方向的夹角；
若上述夹角小于第四预设阈值，则确定上述目标图像对象的姿势满足预设条件。
结合第二方面，在一种可能的实施方式中，上述处理单元具体用于：
根据上述第一3D模型图和上述第二3D模型图确定转换矩阵；
通过人物还原对抗神经网络对上述目标图像对象和上述第一3D模型图进行特征提取处理，并获取上述人物还原对抗神经网络包括的n层第一采样卷积网络中每层第一采样卷积网络输出的第一图像特征参数，n为大于1的整数；
通过图片合成对抗神经网络对上述转换矩阵、上述第二3D模型图、上述每层第一采样卷积网络输出的第一图像特征参数进行处理，得到上述合成图像。
结合第二方面，在一种可能的实施方式中，上述图片合成对抗神经网络包括n层第二采样卷积网络，上述n层第二采样卷积网络与上述n层第一采样卷积网络一一对应；
上述处理单元具体用于：
将上述转换矩阵、上述第二3D模型图输入上述n层第二采样卷积网络中的第一层第二采样卷积网络，得到上述第一层第二采样卷积网络输出的第二图像特征参数；
将第i层第二采样卷积网络输出的第二图像特征参数，以及第i+1层第一采样卷积网络输出的第一图像特征参数输入第i+1层第二采样卷积网络进行处理，得到所述第i+1层第二采样卷积网络输出的第二图像特征参数，直到获取到第n 层第二采样卷积网络输出的第二图像特征参数作为所述合成图像，1≤i≤n-1，i 为整数。
结合第二方面，在一种可能的实施方式中，上述处理单元还用于：
获取上述动作参考视频的帧率和音频信息；
获取背景图片，将上述多张合成图像与上述背景图片进行融合，以生成多张融合图像；
根据上述帧率将上述多张融合图像合成为视频，并添加上述音频信息，以得到目标动作视频。
第三方面，本申请实施例提供了一种终端设备，该终端设备包括处理器、存储器和收发器，该处理器、存储器和收发器相互连接。该存储器用于存储支持该终端设备执行上述第一方面和/或第一方面任一种可能的实现方式提供的方法的计算机程序，该计算机程序包括程序指令，该处理器和收发器被配置用于调用上述程序指令，执行上述第一方面和/或第一方面任一种可能的实施方式所提供的方法。
第四方面，本申请实施例提供了一种服务器，该服务器包括处理器、存储器和收发器，该处理器、存储器和收发器相互连接。该存储器用于存储支持该服务器执行上述第一方面和/或第一方面任一种可能的实现方式提供的方法的计算机程序，该计算机程序包括程序指令，该处理器和收发器被配置用于调用上述程序指令，执行上述第一方面和/或第一方面任一种可能的实施方式所提供的方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令当被处理器执行时使该处理器执行上述第一方面和/或第一方面任一种可能的实施方式所提供的方法。
在本申请实施例中，服务器获取目标图像以及确定动作参考视频，动作参考视频包括多帧参考图像，多帧参考图像中每帧参考图像包括参考图像对象。当检测到目标图像中包括目标图像对象，且确定目标图像对象的姿势满足预设条件时，获取目标图像对象对应的第一3D模型图。获取动作参考视频的目标参考图像中参考图像对象对应的第二3D模型图，多帧参考图像包括目标参考图像。根据目标图像对象、第一3D模型图、第二3D模型图，生成目标图像对象模拟目标参考图像中参考图像对象动作的合成图像。对多张所述合成图像进行视频合成处理，以得到目标动作视频。采用本申请实施例，用户无需再上传自己跳舞的视频以用于训练对应的生成器，而只需要上传一张图片即可实现舞蹈视频的生成，提高了图像处理效率，增强用户体验感，适用性高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理的一场景示意图；
图2是本申请实施例提供的图像处理方法的一流程示意图；
图3是本申请实施例提供的目标图像的前景和背景图像的示意图；
图4是本申请实施例提供的对目标图像中人物图像进行裁剪的流程示意图；
图5是本申请实施例提供的包括各类不合格姿势的目标图像的示意图；
图6是本申请实施例提供的确定合成图像的示意图；
图7是本申请实施例提供的对目标图像中背景图像补全的效果示意图；
图8是本申请实施例提供的驱动目标图像中人物跳舞的场景示意图；
图9是本申请实施例提供的图像处理装置的结构示意图；
图10是本申请实施例提供的网络设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例涉及人工智能(Artificial Intelligence，AI)及机器学习(Machine Learning，ML)。其中，AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，其主要通过了解智能的实质，生产出一种新的能以人类智能相似的方式做出反应的智能机器，使得智能机器具有感知、推理与决策等多种功能。
AI技术是一门综合学科，其主要包括计算机视觉技术(Computer Vision， CV)、语音处理技术、自然语言处理技术以及机器学习(Machine Learning，ML) /深度学习等几大方向。其中，计算机视觉技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统；其通常包括图像处理、视频处理、视频语义理解、视频内容/行为识别等技术。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是AI的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习或深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
基于AI技术中的计算机视觉技术和机器学习技术，本申请实施例提供了一种图像处理方法，该方法包括：获取目标图像以及确定动作参考视频，动作参考视频包括多帧参考图像，多帧参考图像中每帧参考图像包括参考图像对象。当检测到目标图像中包括目标图像对象，且确定目标图像对象的姿势满足预设条件时，获取目标图像对象对应的第一3D模型图。获取动作参考视频的目标参考图像中参考图像对象对应的第二3D模型图，多帧参考图像包括目标参考图像。根据目标图像对象、第一3D模型图、第二3D模型图，生成目标图像对象模拟目标参考图像中参考图像对象动作的合成图像，以便于得到目标动作视频，即对多张所述合成图像进行视频合成处理，以得到目标动作视频。
请参见图1，图1是本申请实施例提供的图像处理的一场景示意图。如图1 所示，图像处理场景中包括终端设备101和服务器102。其中，终端设备101为用户所使用的设备，终端设备101可以包括但不限于：智能手机(如Android 手机、iOS手机等)、平板电脑、便携式个人计算机、移动互联网设备(Mobile Internet Devices，MID)等设备；终端设备配置有显示装置，显示装置也可为显示器、显示屏、触摸屏等等，触摸屏也可为触控屏、触控面板等等，本申请实施例不做限定。
服务器102是指能够对根据终端设备101提供的目标图像和选定的动作参考视频进行处理的后台设备，在根据目标图像和动作参考视频得到目标动作视频后，服务器102可以向终端设备101返回该目标动作视频。服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。此外，还可以将多个服务器组成为一个区块链网络，每个服务器为区块链网络中的一个节点。终端设备101和服务器102 之间可以通过有线通信或者无线通信方式进行直接或间接地连接，本申请在此不做限制。
需要说明的是，图1所示的图像处理场景中终端设备和服务器的数量仅为举例，例如，终端设备和服务器的数量可以为多个，本申请并不对终端设备和服务器的数量进行限定。其中，本申请实施例提供的方法可适用于服务器，也可以适用于终端设备等，在此不做限制，为方便描述，本申请实施例可将终端设备和服务器统称为网络设备，以下皆以网络设备为例进行说明。
下面将结合图2至图10分别对本申请实施例提供的方法及相关装置进行详细说明。
请参见图2，图2为本申请实施例提供的图像处理方法的一流程示意图。本申请实施例提供的方法可以包括如下步骤S201至S204：
S201、获取目标图像以及确定动作参考视频。
在一些可行的实施方式中，网络设备获取目标图像以及确定动作参考视频。其中，该动作参考视频包括多帧参考图像，多帧参考图像中每帧参考图像包括参考图像对象。动作参考视频是参考图像对象实施某种类型动作的视频，通常而言，动作参考视频可以是一段舞蹈视频，或者也可以是一段武术视频，或者也可以是一段体操视频，或者，也可以是一段瑜伽视频等，在此不做限制。其中，本申请实施例可以以动作参考视频为一段舞蹈视频为例进行说明。也就是说，当用户想要模仿待模仿舞蹈视频中人物的舞蹈动作，以生成该用户跳这段舞蹈的视频时，用户可上传一张包括用户自身的人物图片，该人物图片即目标图像，进而服务器可对用户上传的目标图像和动作参考视频进行处理。可理解的，若用户想要生成一段其他用户(例如该用户的朋友、该用户喜欢的明星) 跳这段舞蹈的视频，则目标图像也可以为包括其他用户的人物图片，在此不做限制。
通常而言，动作参考视频可以是预先存储在终端设备或者服务器中的视频，因此用户可从备选的动作参考视频如动作参考视频列表或者从动作参考视频库中选择想要模仿的视频作为动作参考视频。可选的，若备选的动作参考视频中没有用户想要模仿的动作参考视频，也可以由用户自己上传一段想要模仿的视频作为动作参考视频。
S202、当检测到目标图像中包括目标图像对象，且确定目标图像对象的姿势满足预设条件时，获取目标图像对象对应的第一3D模型图。
在一些可行的实施方式中，当检测到目标图像中包括目标图像对象，且确定目标图像对象的姿势满足预设条件时，获取目标图像对象对应的第一3D模型图。通常而言，目标图像可由目标图像对象(即前景)和背景图像(也可称为背景)组成。例如，请参见图3，图3是本申请实施例提供的目标图像的前景和背景图像的示意图。如图3所示，可利用图像抠图技术对符合预设条件的目标图像进行处理，首先预测出目标图像的人物掩模图，根据人物掩模图可对目标图像进行人物和背景图像的分离，接着可以利用OpenMMlab的图像补全功能将分离出人物的背景图像空白部分补全，以作为最终生成视频的背景图像。
其中，目标图像对象可以是目标图像中包括的人物图像等，在此不做限制。目标图像对象对应的第一3D模型图可以是目标图像对象的3D mesh图等，在此不做限制。也就是说，当服务器获取到用户上传的目标图像后，还需要先判定用户上传的目标图像是否符合要求，只有符合要求的目标图像才可以用于进行后续处理，以生成目标动作视频。为了方便描述，以下本申请实施例皆以目标图像对象为人物图像为例进行说明。
具体地，服务器可对所述目标图像进行姿态识别处理，得到所述目标图像中包括的多个人体关键点的关键点信息，其中，关键点信息中包括人体关键点的位置坐标信息和置信度信息。因此，可根据所述多个人体关键点信息确定所述目标图像中是否包括目标图像对象，以及根据所述多个人体关键点信息确定所述目标图像对象的姿势是否满足预设条件。其中，上述根据所述多个人体关键点信息确定所述目标图像中是否包括目标图像对象，可理解为：确定所述多个人体关键点信息中置信度信息大于或者等于第一预设阈值的人体关键点数量。若所述人体关键点数量大于或者等于第二预设阈值，则确定所述目标图像中包括目标图像对象。例如，服务器可通过OpenPose人体姿态识别模型对目标图像进行处理，以检测用户上传的用户图像中是否包括人物(或称为人物图像，目标人物等)，通常而言，若目标图像中没有出现人物，则说明该目标图像不满足要求，流程终止。可选的，针对动作参考视频中的每一帧图像(也可称为参考图像)，同样可对动作参考视频中每帧参考图像进行检测，若某一帧参考图像中没有出现人物，则舍弃这一帧，并进行下一帧的检测，以筛选出动作参考视频中包括多帧参考图像，该所述多帧参考图像中每帧参考图像包括参考图像对象 (即参考人物，或描述为参照人物，待模仿人物等)。
其中，若目标图像中包括目标人物，则进一步确定目标图像中包括的目标人物的姿势是否满足要求。其中，每个人体关键点的位置坐标信息可包括横坐标值和纵坐标值。所述多个人体关键点可包括分别对应左肩、左手、右肩和右手的关键点。其中，上述所述根据所述多个人体关键点信息确定所述目标图像对象的姿势是否满足预设条件可理解为：若所述左手的横坐标值小于所述左肩的横坐标值，所述右手的横坐标值大于所述右肩的横坐标值，且所述左手的横坐标值与所述右手的横坐标值的差值绝对值大于第三预设阈值，则确定所述目标图像对象的姿势满足预设条件。其中，所述第三预设阈值由所述左肩的横坐标值与所述右肩的横坐标值的差值绝对值确定。例如，第三预设阈值可以等于左肩的横坐标值与所述右肩的横坐标值的差值绝对值与预设值的乘积，例如，该预设值可以为1.2等，在此不做限制。
可选的，所述多个人体关键点可包括分别对应左脚和右脚的关键点，因此，所述根据所述多个人体关键点信息确定所述目标图像对象的姿势是否满足预设条件还可以理解为：若所述左脚的横坐标值小于所述右脚的横坐标值，则确定所述目标图像对象的姿势满足预设条件。
可选的，所述多个人体关键点可包括分别对应左眼和右眼的关键点，因此，所述根据所述多个人体关键点信息确定所述目标图像对象的姿势是否满足预设条件还可以理解为：根据所述左眼的位置坐标信息和所述右眼的位置坐标信息确定所述左眼与所述右眼之间的连线与水平方向的夹角。若所述夹角小于第四预设阈值，则确定所述目标图像对象的姿势满足预设条件。其中，所述夹角可满足：
Figure BDA0003205214370000121
所述θ为夹角，所述d2表示左眼的横坐标与右眼的横坐标值的差值绝对值，所述d1表示左眼的纵坐标值与右眼的纵坐标值的差值绝对值。
可理解的，根据所述多个人体关键点信息确定所述目标图像对象的姿势是否满足预设条件，还可以理解为：当左手的横坐标值小于所述左肩的横坐标值，所述右手的横坐标值大于所述右肩的横坐标值，且所述左手的横坐标值与所述右手的横坐标值的差值绝对值大于第三预设阈值，以及左脚的横坐标值小于所述右脚的横坐标值，所述左眼与所述右眼之间的连线与水平方向的夹角小于第四预设阈值时，确定目标图像对象的姿势满足预设条件。
可选的，在一些可行的实施方式中，当确定目标图像中包括人物图像后，还可以先对目标图像中包括人物图像进行裁剪，进而再对裁剪后的人物图像的姿势进行检测。例如，请参见图4，图4是本申请实施例提供的对目标图像中人物图像进行裁剪的流程示意图。如图4所示，假设基于OpenPose人体姿态识别模型对目标图像进行检测后，可得到25个人体关键点中每个人体关键点对应的位置坐标信息和置信度信息，则取位置坐标信息中x轴、y轴坐标点的最大值和最小值：min_x，max_x，min_y，max_y。可根据这四个点构成一个人物框，以该人物框为中心，向横轴和纵轴方向同时延伸直至某一边碰到图像边缘为止，经过裁剪从而得到新的人物框，若是新的人物框为正方形，则进行图像放大或缩小的操作，保证最终图片分辨率为512*512或1024*1024；若新的人物框不为正方形，则利用短边的边缘像素进行图像填充操作，确保人物框为正方形，再进行图像放大或缩小的操作。其中，经过上述对目标图像的裁剪操作和图像填充操作后，可确保该人物图像处于新生成的目标图像的正中间，进一步地，为了最终生成视频的效果，需要对人物图像的姿势从以下五个方面作出评估，以判定人物图像的姿势是否满足预设条件。
例如，①可设定人体关键点信息中置信度信息的置信度阈值为0.25，若25 个人体关键点中存在着某一个关键点的置信度小于该阈值，则认定该关键点被遮挡，此张图片判定为不合格，如图5(a)所示；若全部25个关键点均大于阈值，则说明该张图片所有关键点清晰可见。
②从25个人体关键点中提取出双肩和双手的坐标，判断左手的横坐标是否小于左肩的横坐标，右手的横坐标是否大于右肩的横坐标，若有一项不满足，则说明图片中人物的至少一只手在双肩范围内，该张图片不合格，如图5(b) 所示；若两项都满足，则说明图片中的人物双手不在肩膀范围内。
③从25个人体关键点提取出双肩和双手的坐标，判断双手之间的横向距离 (双手坐标的横坐标相减取绝对值)是否大于1.2倍双肩之间的横向距离，若不满足，则说明图片中的人物双手张开得不够大，该张图片不合格,如图5(c) 所示；若满足，则说明图片中的人物双手张开了足够的距离，与身体没有接触。
④从25个人体关键点中提取双脚的坐标，比较左脚的横坐标与右脚横坐标的数值大小，若大于，则说明双脚之间存在着交叉现象，该张图片不合格,如图 5(d)所示；若小于等于，则说明双脚之间没有交叉。
⑤从25个人体关键点中提取双眼的坐标，计算双眼之间的横向距离设为d1，双眼之间纵向距离设为d2，通过
Figure BDA0003205214370000131
计算出双眼之间的连线与横轴的角度，若该角度大于15°，则说明图片中人物头部的歪斜程度比较大，判定该张图片不合格,如图5(e)所示；若小于等于15°，则说明图片中人物的歪斜程度在可处理的要求范围内。
可以理解的是，本申请各实施例中关键点位置坐标为一预设坐标系内的坐标值，该坐标系是以各图像的左下角为原点，或者，该坐标系也可以是以各图像的左上角为原点等，具体根据应用场景确定，在此不做限制。
可理解的，若用户上传的目标图像符合以上五个方面的评估要求，则可进入下一步的处理。若有一点不满足，则需用户对上传的图片做针对性的修改。该环节的评估仅面向目标图像，对动作参考视频的每一帧图像不做此类评估，因为一般视频是经过严格筛选的，已经预先做好了评估。可选的，若动作参考视频为用户自行上传的视频，则针对动作参考视频中的每一帧图像，同样需要执行上述对目标图像的处理过程，以对动作参考视频进行评估。
S203、获取动作参考视频的目标参考图像中参考图像对象对应的第二3D模型图。
在一些可行的实施方式中，获取动作参考视频的目标参考图像中参考图像对象对应的第二3D模型图，多帧参考图像包括目标参考图像，即目标参考图像为多帧参考图像中的一帧参考图像。也就是说，针对动作参考视频中的目标参考图像，可获取目标参考图像中参考图像对象对应的第二3D模型图，其中，参考图像对象对应的第二3D模型图可以是参考图像对象的3D mesh图等，在此不做限制。
其中，本申请实施例可根据iPERCore提供的Human Mesh Recovery(HMR) 模型分别对目标图像和动作参考视频每一帧参考图像进行处理，以得到表征目标图像和动作参考视频每一帧参考图像中人物姿势和形状的各项参数，进而再根据iPERCore提供的SMPL模型对每帧图像(即目标图像和动作参考视频中每一帧参考图像)的人物姿势和形状等的各项参数进行建模处理，以分别建模得到目标图像对应的第一初始3D mesh图和动作参考视频中每一帧参考图像对应的第二初始3D mesh图，最后再根据NMR(Neural Mesh Renderer)模型对SMPL 模型输出的每帧图像对应的初始3D mesh图进行深度渲染，以得到目标图像对应的第一3D mesh图(即第一3D模型图)，以及动作参考视频每一帧参考图像对应的第二3Dmesh图(即第二3D模型图)。可理解的，HMR模型是一个端到端的从二维图像恢复出三维人体模型的模型，它是基于HumanEva,Huam3.6M 这两个数据集训练的，已经开源。SMPL模型是一种参数化人体模型，它由人体形状参数和姿势参数建模而成。也就是说，将图片输入到HMR模型处理后，可以输出表征图片中人物姿势和形状的各项参数，再通过SMPL模型对HMR模型输出的各项参数进行建模，即可以得到初始3D mesh图。NMR模型是一种利用深度学习对图片进行渲染的技术，其也是一个开源的模型。该NMR模型的输入可以是SMPL模型输出的初始3D mesh，该NMR模型的输出则是渲染后的3D mesh图。
S204、根据目标图像对象、第一3D模型图、第二3D模型图，生成目标图像对象模拟目标参考图像中参考图像对象动作的合成图像，并基于合成图像得到目标动作视频。
在一些可行的实施方式中，根据目标图像对象、第一3D模型图、第二3D 模型图，可以生成目标图像对象模拟目标参考图像中参考图像对象动作的合成图像，进而利用合成图像得到目标动作视频。具体地，所述根据所述目标图像对象、所述第一3D模型图、所述第二3D模型图，生成所述目标图像对象模拟所述目标参考图像中参考图像对象动作的合成图像可以理解为：根据所述第一 3D模型图和所述第二3D模型图确定转换矩阵。通过人物还原对抗神经网络对所述目标图像对象和所述第一3D模型图进行特征提取处理，并获取所述人物还原对抗神经网络包括的n层第一采样卷积网络中每层第一采样卷积网络输出的第一图像特征参数，n为大于1的整数。通过图片合成对抗神经网络对所述转换矩阵、所述第二3D模型图、所述每层第一采样卷积网络输出的第一图像特征参数进行处理，得到所述合成图像。
其中，所述图片合成对抗神经网络包括n层第二采样卷积网络，所述n层第二采样卷积网络与所述n层第一采样卷积网络一一对应。因此，上述所述通过图片合成对抗神经网络对所述转换矩阵、所述第二3D模型图、所述每层第一采样卷积网络输出的第一图像特征参数进行处理，得到所述合成图像可理解为：将所述转换矩阵、所述第二3D模型图和n层第一采样卷积网络中第一层第一采样卷积网络输出的第一图像特征参数输入n层第二采样卷积网络中的第一层第二采样卷积网络，得到第一层第二采样卷积网络输出的第二图像特征参数，将第一层第二采样卷积网络输出的第二图像特征参数，以及第二层第一采样卷积网络输出的第一图像特征参数输入第二层第二采样卷积网络进行处理，得到第二层第二采样卷积网络输出的第二图像特征参数；将第二层第二采样卷积网络输出的第二图像特征参数，以及第三层第一采样卷积网络输出的第一图像特征参数输入第三层第二采样卷积网络进行处理，得到第三层第二采样卷积网络输出的第二图像特征参数，以此类推，将第i层第二采样卷积网络输出的第二图像特征参数，以及第i+1层第一采样卷积网络输出的第一图像特征参数输入第i+1 层第二采样卷积网络进行处理，得到第i+1层第二采样卷积网络输出的第二图像特征参数，直到获取到第n层第二采样卷积网络输出的第二图像特征参数作为合成图像，其中，1≤i≤n-1，i为整数。
为方便理解，请参见图6，图6是本申请实施例提供的确定合成图像的示意图。如图6所示，以n＝5为例进行示意性说明，即人物还原对抗神经网络和图片合成对抗神经网络皆包括5层采样卷积网络。其中，人物还原对抗神经网络包括的5层采样卷积网络分别为第一层第一采样卷积网络，第二层第一采样卷积网络，第三层第一采样卷积网络，第四层第一采样卷积网络和第五层第一采样卷积网络；图片合成对抗神经网络包括的5层第二采样卷积网络分别为第一层第二采样卷积网络，第二层第二采样卷积网络，第三层第二采样卷积网络，第四层第二采样卷积网络和第五层第二采样卷积网络。
其中，如图5所示，针对人物还原对抗神经网络，将目标图像对象和第一 3D模型图输入至人物还原对抗神经网络的第一层第一采样卷积网络，可得到第一层第一采样卷积网络输出的第一图像特征参数(即如图5所示的F11)，F11 经第二层第一采样卷积网络处理后，可得到第二层第一采样卷积网络输出的第一图像特征参数(即如图5所示的F12)，以此类推，经过逐层处理后，可得到后续每层第一采样卷积网络输出的第一图像特征参数，即如图5所示F13，F14 和F15。
针对图片合成对抗神经网络，将转换矩阵、第二3D模型图和F11输入至图片合成对抗神经网络的第一层第二采样卷积网络，可得到第一层第二采样卷积网络输出的第二图像特征参数(即如图5所示的F21’)，F21’和F12经第二层第二采样卷积网络处理后，可得到第二层第二采样卷积网络输出的第二图像特征参数(即如图5所示的F22’)，以此类推，将第i层第二采样卷积网络输出的第二图像特征参数，以及第i+1层第一采样卷积网络输出的第一图像特征参数作为第i+1层第二采样卷积网络的输入进行处理后，可得到后续每层第二采样卷积网络输出的第二图像特征参数，即如图5所示F23’，F24’和F25’，最后可将F25’确定为合成图像数据。
需要说明的是，当获取到目标图像中目标图像对象对应的第一3D mesh图和动作参考视频中每帧参考图像包括的参考图像对象对应第二3D mesh图后，可进一步根据第一3D mesh图和每帧参考图像中参考图像对象对应第二3D mesh图，计算出目标图像对象与每帧参考图像中参考图像对象之间的转换矩阵。可理解的，由于针对动作参考视频中每帧参考图像的处理是一样的，因此，为方便理解，以下本申请实施例将以动作参考视频中的一帧参考图像的处理为例进行说明，其中，该一帧参考图像可描述为目标参考图像。
其中，当计算得到出目标图像对象与目标参考图像中参考图像对象之间的转换矩阵后，可将利用图像抠图技术分离出来的目标图像对象和目标图像对象对应的第一3Dmesh图输入到iPERCore提供的人物还原生成对抗神经网络中，该人物还原生成对抗神经网络可以恢复出目标图像中的人物(即目标图像对象) 的各种细节(例如衣服的纹理、颜色等)，而这些细节可以保留在该网络的中间层特征中。因此，可进一步将目标图像对象与目标参考图像中参考图像对象之间的转换矩阵以及目标参考图像对应的第二3D mesh图输入到iPERCore提供的图片合成生成对抗神经网络中，并在该网络中逐层添加上述保留的中间层特征，以得到合成图像。可理解的，合成图像中即目标图像中的人物去模拟参考图像中人物的舞蹈动作的图像。最后，可将生成的舞蹈动作模仿的人物(即合成图像)添加到背景图像中，以生成融合图像。由于对动作参考视频中的每一帧参考图像都做了以上的处理，如此便可得到一系列目标图像中人物模仿动作参考视频内人物舞蹈动作的图像，进一步地，将这些融合图片利用ffmpeg根据动作参考视频的帧率合成成视频，并添加动作参考视频的音频文件，即可生成最终展示给用户的目标动作视频(即目标图像中的人物跳这段舞蹈的视频)。
也就是说，当针对动作参考视频中每帧参考图像进行上述步骤中的处理，以生成多帧合成图像后，可进一步获取所述动作参考视频的帧率和音频信息，以及获取背景图片，进而将所述多张合成图像与所述背景图片进行融合，以生成多张融合图像，最后根据所述帧率将所述多张融合图像合成为视频，并添加所述音频信息，以得到目标动作视频。可理解的，本申请实施例中用于生成融合图像的背景图像可以为目标图像包括的背景图像(如图3所示填充后的背景)，这样可实现目标图像内的人物在目标图像原本的背景图像上做舞蹈动作的融合图像。可选的，请参见图7，图7是本申请实施例提供的对目标图像中背景图像补全的效果示意图。如图7所示，如果目标图像中的背景图像太过复杂，图像补全的效果就不会很好。因此用于生成融合图像的背景图像也可以是用户选取的其他背景，例如舞台、草地等，进而可以实现目标图像内的人物在全新的场地上做舞蹈动作的融合图像，增加了趣味性。
示例性地，请参见图8，图8是本申请实施例提供的驱动目标图像中人物跳舞的场景示意图。如图8所示，当基于人体关键点检测确定目标图像中的人物 (即目标图像对象)满足预设条件时，对目标图像进行裁剪，可得到新的人物框图像。通过HMR模型+NMR模型对新的人物框图像进行处理，可得到目标图像对象对应的第一mesh图，以及通过对新的人物框图像进行抠图处理，并对抠图得到的背景图像进行补全，可得到补全后的背景。获取动作参考视频中目标参考图像对应的第二mesh图，根据所述第一mesh图和所述第二mesh图可确定转换矩阵，通过人物还原对抗神经网络对所述目标图像对象和所述第一3D模型图进行特征提取处理，可获取所述人物还原对抗神经网络包括的n层第一采样卷积网络中每层第一采样卷积网络输出的第一图像特征参数(即中间层特征)。通过图片合成对抗神经网络对所述转换矩阵、所述第二3D模型图、中间层特征进行处理，可得到目标图像中的人物模拟所述目标参考图像中人物动作的合成图像。最后，将合成图像与上述补全后的背景进行融合处理，或者，将合成图像与新的背景进行融合处理，可以得到融合图像。因此，根据多张融合图像可生成目标动作视频，以实现目标图像中的人物的舞蹈动作产生。
在本申请实施例中，服务器获取目标图像以及确定动作参考视频。动作参考视频包括多帧参考图像，多帧参考图像中每帧参考图像包括参考图像对象。当服务器检测到目标图像中包括目标图像对象，且确定目标图像对象的姿势满足预设条件时，获取目标图像对象对应的第一3D模型图。获取动作参考视频的目标参考图像中参考图像对象对应的第二3D模型图，多帧参考图像包括目标参考图像。根据目标图像对象、第一3D模型图、第二3D模型图，生成目标图像对象模拟目标参考图像中参考图像对象动作的合成图像，以便于得到目标动作视频，即对多张所述合成图像进行视频合成处理，以得到目标动作视频。采用本申请实施例，可提高图像处理效率，增强用户体验感，适用性高。
请参见图9，图9是本申请实施例提供的图像处理装置的结构示意图。本申请实施例提供的图像处理装置包括：
收发单元91，用于获取目标图像以及确定动作参考视频，上述动作参考视频包括多帧参考图像，上述多帧参考图像中每帧参考图像包括参考图像对象；
处理单元92，用于当检测到上述目标图像中包括目标图像对象，且确定上述目标图像对象的姿势满足预设条件时，获取上述目标图像对象对应的第一3D 模型图；
上述处理单元92，还用于获取上述动作参考视频的目标参考图像中参考图像对象对应的第二3D模型图，上述目标参考图像为上述多帧参考图像中的一帧参考图像；
上述处理单元92，还用于根据上述目标图像对象、上述第一3D模型图、上述第二3D模型图，生成上述目标图像对象模拟上述目标参考图像中参考图像对象动作的合成图像；
对多张所述合成图像进行视频合成处理，以得到目标动作视频。
在一种可能的实施方式中，上述处理单元92具体用于：
对上述目标图像进行姿态识别处理，得到上述目标图像中包括的多个人体关键点的关键点信息，其中，关键点信息中包括人体关键点的位置坐标信息和置信度信息；
根据上述多个人体关键点信息确定上述目标图像中是否包括目标图像对象，以及根据上述多个人体关键点信息确定上述目标图像对象的姿势是否满足预设条件。
在一种可能的实施方式中，上述处理单元92具体用于：
确定上述多个人体关键点信息中置信度信息大于或者等于第一预设阈值的人体关键点数量；
若上述人体关键点数量大于或者等于第二预设阈值，则确定上述目标图像中包括目标图像对象。
在一种可能的实施方式中，位置坐标信息包括横坐标值和纵坐标值；上述多个人体关键点包括左肩、左手、右肩和右手；
上述处理单元92具体用于：
若上述左手的横坐标值小于上述左肩的横坐标值，上述右手的横坐标值大于上述右肩的横坐标值，且上述左手的横坐标值与上述右手的横坐标值的差值绝对值大于第三预设阈值，则确定上述目标图像对象的姿势满足预设条件；
其中，上述第三预设阈值由上述左肩的横坐标值与上述右肩的横坐标值的差值绝对值确定。
在一种可能的实施方式中，位置坐标信息包括横坐标值和纵坐标值；上述多个人体关键点包括左脚和右脚；
上述处理单元92具体用于：
若上述左脚的横坐标值小于上述右脚的横坐标值，则确定上述目标图像对象的姿势满足预设条件。
在一种可能的实施方式中，位置坐标信息包括横坐标值和纵坐标值；上述多个人体关键点包括左眼和右眼；
上述处理单元92具体用于：
根据上述左眼的位置坐标信息和上述右眼的位置坐标信息确定上述左眼与上述右眼之间的连线与水平方向的夹角；
若上述夹角小于第四预设阈值，则确定上述目标图像对象的姿势满足预设条件。
在一种可能的实施方式中，上述处理单元92具体用于：
根据上述第一3D模型图和上述第二3D模型图确定转换矩阵；
通过人物还原对抗神经网络对上述目标图像对象和上述第一3D模型图进行特征提取处理，并获取上述人物还原对抗神经网络包括的n层第一采样卷积网络中每层第一采样卷积网络输出的第一图像特征参数，n为大于1的整数；
通过图片合成对抗神经网络对上述转换矩阵、上述第二3D模型图、上述每层第一采样卷积网络输出的第一图像特征参数进行处理，得到上述合成图像。
在一种可能的实施方式中，上述图片合成对抗神经网络包括n层第二采样卷积网络，上述n层第二采样卷积网络与上述n层第一采样卷积网络一一对应；
上述处理单元92具体用于：
将上述转换矩阵、上述第二3D模型图输入上述n层第二采样卷积网络中的第一层第二采样卷积网络，得到上述第一层第二采样卷积网络输出的第二图像特征参数；
将第i层第二采样卷积网络输出的第二图像特征参数，以及第i+1层第一采样卷积网络输出的第一图像特征参数输入第i+1层第二采样卷积网络进行处理，得到所述第i+1层第二采样卷积网络输出的第二图像特征参数，直到获取到第n 层第二采样卷积网络输出的第二图像特征参数作为所述合成图像，1≤i≤n-1，i 为整数。
在一种可能的实施方式中，上述处理单元92还用于：
获取上述动作参考视频的帧率和音频信息；
获取背景图片，将上述多张合成图像与上述背景图片进行融合，以生成多张融合图像；
根据上述帧率将上述多张融合图像合成为视频，并添加上述音频信息，以得到目标动作视频。
在本申请实施例中，图像处理装置可获取目标图像以及确定动作参考视频，动作参考视频包括多帧参考图像，多帧参考图像中每帧参考图像包括参考图像对象。当检测到目标图像中包括目标图像对象，且确定目标图像对象的姿势满足预设条件时，获取目标图像对象对应的第一3D模型图。获取动作参考视频的目标参考图像中参考图像对象对应的第二3D模型图，多帧参考图像包括目标参考图像。根据目标图像对象、第一3D模型图、第二3D模型图，生成目标图像对象模拟目标参考图像中参考图像对象动作的合成图像，以便于得到目标动作视频，即对多张所述合成图像进行视频合成处理，以得到目标动作视频。采用本申请实施例，可提高图像处理效率，增强用户体验感，适用性高。
请参见图10，图10是本申请实施例提供的网络设备的结构示意图。如图 10所示，本实施例中的网络设备可以包括：一个或多个处理器1001、存储器1002 和收发器1003。上述处理器1001、存储器1002和收发器1003通过总线1004 连接。存储器1002用于存储计算机程序，该计算机程序包括程序指令，处理器 1001和收发器1003用于执行存储器1002存储的程序指令，执行如下操作：
收发器1003，用于获取目标图像以及确定动作参考视频，上述动作参考视频包括多帧参考图像，上述多帧参考图像中每帧参考图像包括参考图像对象；
处理器1001，用于当检测到上述目标图像中包括目标图像对象，且确定上述目标图像对象的姿势满足预设条件时，获取上述目标图像对象对应的第一3D 模型图；
处理器1001，用于获取上述动作参考视频的目标参考图像中参考图像对象对应的第二3D模型图，上述目标参考图像为上述多帧参考图像中的一帧参考图像；
处理器1001，用于根据上述目标图像对象、上述第一3D模型图、上述第二3D模型图，生成上述目标图像对象模拟上述目标参考图像中参考图像对象动作的合成图像；
处理器1001，用于对多张所述合成图像进行视频合成处理，以得到目标动作视频。
在一种可能的实施方式中，上述处理器1001还用于：
对上述目标图像进行姿态识别处理，得到上述目标图像中包括的多个人体关键点的关键点信息，其中，关键点信息中包括人体关键点的位置坐标信息和置信度信息；
根据上述多个人体关键点信息确定上述目标图像中是否包括目标图像对象，以及根据上述多个人体关键点信息确定上述目标图像对象的姿势是否满足预设条件。
在一种可能的实施方式中，上述处理器1001还用于：
确定上述多个人体关键点信息中置信度信息大于或者等于第一预设阈值的人体关键点数量；
若上述人体关键点数量大于或者等于第二预设阈值，则确定上述目标图像中包括目标图像对象。
在一种可能的实施方式中，位置坐标信息包括横坐标值和纵坐标值；上述多个人体关键点包括左肩、左手、右肩和右手；
上述处理器1001还用于：
若上述左手的横坐标值小于上述左肩的横坐标值，上述右手的横坐标值大于上述右肩的横坐标值，且上述左手的横坐标值与上述右手的横坐标值的差值绝对值大于第三预设阈值，则确定上述目标图像对象的姿势满足预设条件；
其中，上述第三预设阈值由上述左肩的横坐标值与上述右肩的横坐标值的差值绝对值确定。
在一种可能的实施方式中，位置坐标信息包括横坐标值和纵坐标值；上述多个人体关键点包括左脚和右脚；
上述处理器1001还用于：
若上述左脚的横坐标值小于上述右脚的横坐标值，则确定上述目标图像对象的姿势满足预设条件。
在一种可能的实施方式中，位置坐标信息包括横坐标值和纵坐标值；上述多个人体关键点包括左眼和右眼；
上述处理器1001还用于：
根据上述左眼的位置坐标信息和上述右眼的位置坐标信息确定上述左眼与上述右眼之间的连线与水平方向的夹角；
若上述夹角小于第四预设阈值，则确定上述目标图像对象的姿势满足预设条件。
在一种可能的实施方式中，上述处理器1001还用于：
根据上述第一3D模型图和上述第二3D模型图确定转换矩阵；
通过人物还原对抗神经网络对上述目标图像对象和上述第一3D模型图进行特征提取处理，并获取上述人物还原对抗神经网络包括的n层第一采样卷积网络中每层第一采样卷积网络输出的第一图像特征参数，n为大于1的整数；
通过图片合成对抗神经网络对上述转换矩阵、上述第二3D模型图、上述每层第一采样卷积网络输出的第一图像特征参数进行处理，得到上述合成图像。
在一种可能的实施方式中，上述图片合成对抗神经网络包括n层第二采样卷积网络，上述n层第二采样卷积网络与上述n层第一采样卷积网络一一对应；
上述处理器1001还用于：
将上述转换矩阵、上述第二3D模型图输入上述n层第二采样卷积网络中的第一层第二采样卷积网络，得到上述第一层第二采样卷积网络输出的第二图像特征参数；
将第i层第二采样卷积网络输出的第二图像特征参数，以及第i+1层第一采样卷积网络输出的第一图像特征参数输入第i+1层第二采样卷积网络进行处理，得到所述第i+1层第二采样卷积网络输出的第二图像特征参数，直到获取到第n 层第二采样卷积网络输出的第二图像特征参数作为所述合成图像，1≤i≤n-1，i 为整数。
在一种可能的实施方式中，上述处理器1001还用于：
获取上述动作参考视频的帧率和音频信息；
获取背景图片，将上述多张合成图像与上述背景图片进行融合，以生成多张融合图像；
根据上述帧率将上述多张融合图像合成为视频，并添加上述音频信息，以得到目标动作视频。
应当理解，在一些可行的实施方式中，上述处理器1001可以是中央处理单元(central processing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现成可编程门阵列(field programmable gate array， FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。该存储器1002可以包括只读存储器和随机存取存储器，并向处理器1001提供指令和数据。存储器1002的一部分还可以包括非易失性随机存取存储器。例如，存储器1002还可以存储设备类型的信息。
具体实现中，上述网络设备可通过其内置的各个功能模块执行如上述图2 至图8中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
在本申请实施例中，网络设备可可获取目标图像以及确定动作参考视频，动作参考视频包括多帧参考图像，多帧参考图像中每帧参考图像包括参考图像对象。当检测到目标图像中包括目标图像对象，且确定目标图像对象的姿势满足预设条件时，获取目标图像对象对应的第一3D模型图。获取动作参考视频的目标参考图像中参考图像对象对应的第二3D模型图，多帧参考图像包括目标参考图像。根据目标图像对象、第一3D模型图、第二3D模型图，生成目标图像对象模拟目标参考图像中参考图像对象动作的合成图像，以便于得到目标动作视频，即对多张所述合成图像进行视频合成处理，以得到目标动作视频。采用本申请实施例，可提高图像处理效率，增强用户体验感，适用性高。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现图2至图8中各个步骤所提供的图像处理方法，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
上述计算机可读存储介质可以是前述任一实施例提供的图像处理装置或者上述终端设备的内部存储单元，例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(smartmedia card,SMC)，安全数字(secure digital,SD)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请的权利要求书和说明书及附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：
获取目标图像以及确定动作参考视频，所述动作参考视频包括多帧参考图像，所述多帧参考图像中每帧参考图像包括参考图像对象；
当检测到所述目标图像中包括目标图像对象，且确定所述目标图像对象的姿势满足预设条件时，获取所述目标图像对象对应的第一3D模型图；
获取所述动作参考视频的目标参考图像中参考图像对象对应的第二3D模型图，所述目标参考图像为所述多帧参考图像中的一帧参考图像；
根据所述目标图像对象、所述第一3D模型图、所述第二3D模型图，生成所述目标图像对象模拟所述目标参考图像中参考图像对象动作的合成图像；
对多张所述合成图像进行视频合成处理，以得到目标动作视频。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述目标图像进行姿态识别处理，得到所述目标图像中包括的多个人体关键点的关键点信息，其中，关键点信息中包括人体关键点的位置坐标信息和置信度信息；
根据所述多个人体关键点信息确定所述目标图像中是否包括目标图像对象，以及根据所述多个人体关键点信息确定所述目标图像对象的姿势是否满足预设条件。
3.根据权利要求2所述的方法，其特征在于，所述根据所述多个人体关键点信息确定所述目标图像中是否包括目标图像对象，包括：
确定所述多个人体关键点信息中置信度信息大于或者等于第一预设阈值的人体关键点数量；
若所述人体关键点数量大于或者等于第二预设阈值，则确定所述目标图像中包括目标图像对象。
4.根据权利要求2或3所述的方法，其特征在于，位置坐标信息包括横坐标值和纵坐标值；所述多个人体关键点包括左肩、左手、右肩和右手；
所述根据所述多个人体关键点信息确定所述目标图像对象的姿势是否满足预设条件，包括：
若所述左手的横坐标值小于所述左肩的横坐标值，所述右手的横坐标值大于所述右肩的横坐标值，且所述左手的横坐标值与所述右手的横坐标值的差值绝对值大于第三预设阈值，则确定所述目标图像对象的姿势满足预设条件；
其中，所述第三预设阈值由所述左肩的横坐标值与所述右肩的横坐标值的差值绝对值确定。
5.根据权利要求2或3所述的方法，其特征在于，位置坐标信息包括横坐标值和纵坐标值；所述多个人体关键点包括左脚和右脚；
所述根据所述多个人体关键点信息确定所述目标图像对象的姿势是否满足预设条件，包括：
若所述左脚的横坐标值小于所述右脚的横坐标值，则确定所述目标图像对象的姿势满足预设条件。
6.根据权利要求2或3所述的方法，其特征在于，位置坐标信息包括横坐标值和纵坐标值；所述多个人体关键点包括左眼和右眼；
所述根据所述多个人体关键点信息确定所述目标图像对象的姿势是否满足预设条件，包括：
根据所述左眼的位置坐标信息和所述右眼的位置坐标信息确定所述左眼与所述右眼之间的连线与水平方向的夹角；
若所述夹角小于第四预设阈值，则确定所述目标图像对象的姿势满足预设条件。
7.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述目标图像对象、所述第一3D模型图、所述第二3D模型图，生成所述目标图像对象模拟所述目标参考图像中参考图像对象动作的合成图像，包括：
根据所述第一3D模型图和所述第二3D模型图确定转换矩阵；
通过人物还原对抗神经网络对所述目标图像对象和所述第一3D模型图进行特征提取处理，并获取所述人物还原对抗神经网络包括的n层第一采样卷积网络中每层第一采样卷积网络输出的第一图像特征参数，n为大于1的整数；
通过图片合成对抗神经网络对所述转换矩阵、所述第二3D模型图、所述每层第一采样卷积网络输出的第一图像特征参数进行处理，得到所述合成图像。
8.根据权利要求7所述的方法，其特征在于，所述图片合成对抗神经网络包括n层第二采样卷积网络，所述n层第二采样卷积网络与所述n层第一采样卷积网络一一对应；
所述通过图片合成对抗神经网络对所述转换矩阵、所述第二3D模型图、所述每层第一采样卷积网络输出的第一图像特征参数进行处理，得到所述合成图像，包括：
将所述转换矩阵、所述第二3D模型图和所述n层第一采样卷积网络中第一层第一采样卷积网络输出的第一图像特征参数输入所述n层第二采样卷积网络中的第一层第二采样卷积网络，得到所述第一层第二采样卷积网络输出的第二图像特征参数；
将第i层第二采样卷积网络输出的第二图像特征参数，以及第i+1层第一采样卷积网络输出的第一图像特征参数输入第i+1层第二采样卷积网络进行处理，得到所述第i+1层第二采样卷积网络输出的第二图像特征参数，直到获取到第n层第二采样卷积网络输出的第二图像特征参数作为所述合成图像，1≤i≤n-1，i为整数。
9.根据权利要求1-3任一项所述的方法，其特征在于，所述对多张所述合成图像进行视频合成处理，以得到目标动作视频，包括：
获取所述动作参考视频的帧率和音频信息；
获取背景图片，将所述多张合成图像与所述背景图片进行融合，以生成多张融合图像；
根据所述帧率将所述多张融合图像合成为视频，并添加所述音频信息，以得到目标动作视频。
10.一种终端设备，其特征在于，包括处理器、存储器和收发器，所述处理器、所述存储器和所述收发器相互连接；
所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器和所述收发器被配置用于调用所述程序指令，执行如权利要求1-9任一项所述的方法。
11.一种服务器，其特征在于，包括处理器、存储器和收发器，所述处理器、所述存储器和所述收发器相互连接；
所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器和所述收发器被配置用于调用所述程序指令，执行如权利要求1-9任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-9任一项所述的方法。
CN202110915053.6A 2021-08-10 2021-08-10 图像处理方法及装置 Pending CN113516762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110915053.6A CN113516762A (zh) 2021-08-10 2021-08-10 图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110915053.6A CN113516762A (zh) 2021-08-10 2021-08-10 图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN113516762A true CN113516762A (zh) 2021-10-19

Family

ID=78068954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110915053.6A Pending CN113516762A (zh) 2021-08-10 2021-08-10 图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN113516762A (zh)

Similar Documents

Publication Publication Date Title
CN109377544B (zh) 一种人脸三维图像生成方法、装置和可读介质
KR102106135B1 (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
CN110246209B (zh) 图像处理方法及装置
CN111191599A (zh) 姿态识别方法、装置、设备及存储介质
CN114331829A (zh) 一种对抗样本生成方法、装置、设备以及可读存储介质
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN112040311B (zh) 视频图像补帧方法、装置、设备及可存储介质
CN108900788B (zh) 视频生成方法、视频生成装置、电子装置及存储介质
KR101642200B1 (ko) 객체의 움직임 분석을 이용한 모션 효과 생성 장치 및 방법
CN116757923B (zh) 一种图像生成方法、装置、电子设备及存储介质
CN114092670A (zh) 一种虚拟现实显示方法、设备以及存储介质
CN117789306A (zh) 图像处理方法、装置及存储介质
CN110719415B (zh) 一种视频图像处理方法、装置、电子设备及计算机可读介质
CN114120436A (zh) 动作识别模型的训练方法、动作识别方法及相关装置
CN113516762A (zh) 图像处理方法及装置
CN115035219A (zh) 表情生成方法、装置和表情生成模型的训练方法、装置
CN113628349B (zh) 基于场景内容自适应的ar导航方法、设备及可读存储介质
CN115115754A (zh) 图像处理方法、装置、设备、可读存储介质及程序产品
CN115862054A (zh) 图像数据处理方法、装置、设备以及介质
CN114202606A (zh) 图像处理方法、电子设置、存储介质及计算机程序产品
CN115760888A (zh) 图像处理方法、装置、计算机及可读存储介质
CN113573009A (zh) 视频处理方法、装置、计算机设备以及存储介质
CN112309181A (zh) 一种舞蹈教学辅助方法及装置
CN113963397A (zh) 图像处理方法、服务器以及存储介质
KR102401800B1 (ko) 오브젝트 실감 기술을 구현하기 위한 학습 방법과 체험 방법 및 이를 이용한 학습 장치와 체험 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination