CN114638754A - 一种虚拟试衣视频生成方法、装置、设备及介质 - Google Patents

一种虚拟试衣视频生成方法、装置、设备及介质 Download PDF

Info

Publication number
CN114638754A
CN114638754A CN202210236556.5A CN202210236556A CN114638754A CN 114638754 A CN114638754 A CN 114638754A CN 202210236556 A CN202210236556 A CN 202210236556A CN 114638754 A CN114638754 A CN 114638754A
Authority
CN
China
Prior art keywords
video
video frame
vector
fitting
pixel coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210236556.5A
Other languages
English (en)
Inventor
蒋剑斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202210236556.5A priority Critical patent/CN114638754A/zh
Publication of CN114638754A publication Critical patent/CN114638754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供了一种虚拟试衣视频生成方法、装置、设备及介质，涉及人工智能技术领域，该方案包括：获取待试衣视频和第一像素坐标图序列，针对待试衣视频中的每一视频帧，获取该视频帧的上一视频帧与该视频帧之间的光流信息；针对待试衣视频中的每一视频帧，基于该视频帧对应的光流信息对该视频帧对应的第一像素坐标图进行矫正，得到该视频帧对应的第二像素坐标图；基于待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图像，得到变形衣服图像序列；基于变形衣服图像序列和待试衣视频生成虚拟试衣视频。提高了虚拟试衣视频中衣服区域的画面的稳定性。

Description

一种虚拟试衣视频生成方法、装置、设备及介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种虚拟试衣视频生成方法、装置、设备及介质。
背景技术
随着网络电商平台的发展，将用户选择的衣服模拟穿到人身上的虚拟试衣技术可以增强用户的购物体验。在将用户选择的衣服模拟穿到原始视频中的人物身上之前，需要对用户选的衣服进行变形，使得变形后的衣服与原始视频中的人物姿态和形状一致。
然而，目前生成的每一张变形衣服图像都是根据原始视频中的单个视频帧得到的，分别将每一张变形衣服图像叠加到原始视频中的一个视频帧上之后，生成的虚拟试衣视频中衣服区域存在时序不稳定的问题，虚拟试衣视频中的衣服区域会发生抖动。
发明内容
本申请实施例的目的在于提一种虚拟试衣视频生成方法、装置、设备及介质，以实现虚拟试衣视频中的衣服区域画面稳定，不会抖动。具体技术方案如下：
第一方面，本申请实施例提供了一种虚拟试衣视频生成方法，所述方法包括：
获取待试衣视频和第一像素坐标图序列，所述第一像素坐标图序列中的每个第一像素坐标图用于表示：所述待试衣视频中一个视频帧的待试衣区域与待试穿衣服图像的像素点之间的映射关系；
针对所述待试衣视频中的每一视频帧，获取该视频帧的上一视频帧与该视频帧之间的光流信息；
针对所述待试衣视频中的每一视频帧，基于该视频帧对应的光流信息对该视频帧对应的第一像素坐标图进行矫正，得到该视频帧对应的第二像素坐标图；
基于所述待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图像，得到变形衣服图像序列；
基于所述变形衣服图像序列和所述待试衣视频生成虚拟试衣视频。
在一种可能的实现方式中，所述针对所述待试衣视频中的每一视频帧，基于该视频帧对应的光流信息对该视频帧对应的第一像素坐标图进行矫正，得到该视频帧对应的第二像素坐标图，包括：
将该视频帧对应的第一像素坐标图转换为第一向量；
基于该视频帧对应的光流信息对所述第一向量进行矫正计算，得到第二向量；
将所述第二向量转换为第二像素坐标图。
在一种可能的实现方式中，所述基于该视频帧对应的光流信息对所述第一向量进行矫正计算，得到第二向量，包括:
将该视频帧的上一视频帧对应的第一像素坐标图转换为第三向量；
根据所述第三向量和该视频帧与上一视频帧之间的光流信息，计算该视频帧对应的预测向量；
基于所述预测向量对所述第一向量进行矫正计算，得到所述第二向量。
在一种可能的实现方式中，所述根据所述第三向量和该视频帧与上一视频帧之间的光流信息，计算该视频帧对应的预测向量，包括：
根据以下公式计算预测向量：
f′t＝ωt-1(ft-1)
其中，ωt-1()为根据待试衣视频中t-1帧到t帧的光流信息得到的光流预测函数，ft-1表示第t-1帧视频帧对应的第一像素坐标图转换得到的向量。
在一种可能的实现方式中，所述基于所述预测向量对所述第一向量进行矫正计算，得到所述第二向量，包括：
计算所述第一向量与所述预测向量之间的差值；
当所述差值小于或等于预设阈值时，使用所述预测向量对所述第一向量进行矫正计算，得到所述第二向量；
当所述差值大于所述预设阈值时，将所述第一向量作为所述第二向量。
在一种可能的实现方式中，所述第一像素坐标图序列通过以下步骤获得：
针对所述待试衣视频中每一视频帧，获取该视频帧的第一关键点图像、第二关键点图像和背景区域图像；所述第一关键点图像和所述第二关键点图像均用于表示待试衣视频中的人物姿态，所述背景区域图像包括所述待试衣视频中除待试衣区域之外的背景区域，以及所述待试衣区域上的遮挡物图像；
针对所述待试衣视频中每一视频帧，将该视频帧的第一关键点图像，第二关键点图像、背景区域图像和待试穿衣服图像输入变形warp模块得到该视频帧的第一像素坐标图。
在一种可能的实现方式中，所述基于所述变形衣服图像序列和所述待试衣视频生成虚拟试衣视频，包括：
将所述变形衣服图像序列、所述待试衣视频的第一关键点图像序列、第二关键点图像序列和背景区域图像序列输入到试穿Try-on模块，得到所述虚拟试衣视频。
第二方面，本申请实施例提供了一种虚拟试衣视频生成装置，所述装置包括：
第一获取模块，用于获取待试衣视频和第一像素坐标图序列，所述第一像素坐标图序列中的每个第一像素坐标图用于表示：所述待试衣视频中一个视频帧的待试衣区域与待试穿衣服图像的像素点之间的映射关系；
第二获取模块，用于针对所述待试衣视频中的每一视频帧，获取该视频帧的上一视频帧与该视频帧之间的光流信息；
矫正模块，用于针对所述待试衣视频中的每一视频帧，基于该视频帧对应的光流信息对该视频帧对应的第一像素坐标图进行矫正，得到该视频帧对应的第二像素坐标图；
第一生成模块，用于基于所述待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图像，得到变形衣服图像序列；
第二生成模块，用于基于所述变形衣服图像序列和所述待试衣视频生成虚拟试衣视频。
第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的方法步骤。
第四方面，在本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的虚拟试衣视频生成方法。
第五方面，在本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的虚拟试衣视频生成方法。
采用上述技术方案，可以获取待试衣视频中相邻帧之间的光流信息，利用光流信息对待试衣视频每一视频帧对应的第一像素坐标图进行矫正，因为光流信息为待试衣视频中相邻帧之间像素点的运动关系，所以利用相邻帧之间像素点的运动关系对每个视频帧的第一像素坐标图进行矫正后，可以使得第一像素坐标图序列中相邻第一像素坐标图之间的像素点的运动关系符合待试衣视频中相邻视频帧之间的像素点的运动关系，也就使得根据第一像素坐标图序列生成的变形衣服图像序列时序稳定，进而，最终生成的虚拟试衣视频中衣服区域的画面稳定不抖动。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种虚拟试衣装置的结构示意图；
图2为本申请实施例提供的一种虚拟试衣视频生成方法的流程图；
图3a为本申请实施例提供的一种第一关键点图像的示例性示意图；
图3b为本申请实施例提供的一种第二关键点图像的示例性示意图；
图4为本申请实施例提供的另一种虚拟试衣视频生成方法的流程图；
图5为本申请实施例提供的一种虚拟试衣视频生成装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
本申请实施例提供了一种虚拟试衣视频生成方法，该方法应用于虚拟试衣装置，如图1所示，该系统中包含变形(Warp)模块101、矫正模块102和试穿(Try-on)模块103。
其中，Warp模块101用于基于待试穿衣服图像和待试衣视频生成待试衣视频包括的每一视频帧对应的像素坐标图。Warp模块101具体可以通过基于外观流变形(appearance-flow-based warp)方法可以学习待试穿衣服图像中的像素点与每一视频帧的人体待试衣区域之间的点对点的映射关系，进而针对每一视频帧生成一个用于表示上述映射关系的像素坐标图。
矫正模块102，用于对Warp模块101生成的每一视频帧对应像素坐标图进行矫正，进而Warp模块101还用于基于矫正后的每一视频帧对应的像素坐标图对于待试穿衣服图像进行变形，得到变形衣服图像序列。
Try-on模块103，用于根据Warp模块101生成的变形衣服图像序列和待试衣视频生成虚拟试衣视频。
基于图1所示的装置，以下对本申请实施例提供的虚拟试衣视频生成方法进行详细介绍。
本申请实施例提供了一种虚拟试衣视频生成方法，该方法可以应用于电子设备，电子设备可以为智能手机、平板电脑、台式电脑、服务器等设备，如图2所示，该方法包括：
S201、获取待试衣视频和第一像素坐标图序列。
其中，第一像素坐标图序列中的每个第一像素坐标图用于表示：待试衣视频中一个视频帧的待试衣区域与待试穿衣服图像的像素点之间的映射关系。
S202、针对待试衣视频中的每一视频帧，获取该视频帧的上一视频帧与该视频帧之间的光流信息。
S203、针对待试衣视频中的每一视频帧，基于该视频帧对应的光流信息对该视频帧对应的第一像素坐标图进行矫正，得到该视频帧对应的第二像素坐标图。
S204、基于待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图像，得到变形衣服图像序列。
S205、基于变形衣服图像序列和待试衣视频生成虚拟试衣视频。
采用本申请实施例，可以获取待试衣视频中相邻帧之间的光流信息，利用光流信息对待试衣视频每一视频帧对应的第一像素坐标图进行矫正，因光流信息为待试衣视频中相邻帧之间像素点的运动关系，所以利用相邻帧之间像素点的运动关系对每个视频帧的第一像素坐标图进行矫正后，可以使得第一像素坐标图序列中相邻第一像素坐标图之间的像素点的运动关系符合待试衣视频中相邻视频帧之间的像素点的运动关系，也就使得根据第一像素坐标图序列生成的变形衣服图像序列时序稳定，进而，最终生成的虚拟试衣视频中衣服区域的画面稳定不抖动。
针对上述S201，待试衣视频为用户上传的包含要进行试衣的人的视频，待试穿衣服图像为用户选择的要进行虚拟试穿的衣服在平铺状态下的图像。
例如，在各类具有虚拟试衣功能的软件中，用户可以上传包含人像的视频，并选择需要进行试穿的衣服，其中，待试衣视频为用户上传的视频，待试穿衣服图像为用户选择的需要进行试穿的衣服图像。
第一像素坐标图为尺寸为H*W的二维图，即高和宽分别为H和W的二维图，该二维图中共有H*W个点，每一点都有一个二维坐标，每一二维坐标表示待试穿衣服上的一个像素点的位置。
第一像素坐标图序列通过以下步骤获得：
步骤一、针对待试衣视频中每一视频帧，获取该视频帧的第一关键点图像、第二关键点图像和背景区域图像。
其中，第一关键点图像和第二关键点图像均用于表示待试衣视频中该视频帧中的人物姿态，背景区域图像包括待试衣视频中除待试衣区域之外的背景区域，以及待试衣区域上的遮挡物图像。
一种实现方式中，可以通过人体姿态识别算法对待试衣视频中每一视频帧中的人像进行人体姿态识别，得到每一视频帧对应的第一关键点图和第二关键点图像，第一关键点图像为包含人体关键点的pose图像，第二关键点图像为包含人体各部位形状的densepose图像，第一关键点图像可以通过Openpose算法得到，如图3a所示，图3a为第一关键点图像的示例性示意图，第二关键点图像可以通过Densepose算法得到，如图3b所示，图3b为第二关键点图像的示例性示意图；其中，Openpose算法是一种用来识别图像中人体各关节的关键点的人体姿态识别算法，Densepose算法是一种2D人体图像转换为3D人体图像的人体姿态识别算法。
背景区域图像为通过将待试衣视频中每一视频帧的人像的待试衣区域处理为同一像素值得到的。可以理解的是，在待试衣视频的视频帧中不存在遮挡物的情况下，背景区域图像中也不包括遮挡物图像。
步骤二、针对待试衣视频中每一视频帧，将该视频帧的第一关键点图像，第二关键点图像、背景区域图像和待试穿衣服图像输入变形(warp)模块得到第一像素坐标图。
本申请实施例中，可以得到待试衣视频中的每一视频帧对应的第一像素坐标图，这些第一像素坐标图可组成第一像素坐标图序列。
其中，变形模块可以为基于薄板样条变换(Thin Plate Spline，TPS)模型或基于外观流变形模块(Appearance Flow Warping Module，AFWM)模型的warp模块。
针对上述S202，其中，光流信息表示待试衣视频中像素点在帧与帧之间的运动关系。
一种实现方式，可以将待试衣视频输入到光流预测网络中，得到待试衣视频中相邻视频帧之间的光流信息，例如，光流预测网络可以为光流网络2.0(FlowNet2.0)。
针对上述S203，本申请实施例得到的光流信息用于矫正第一像素坐标图序列中第二帧至最后一帧的中每一帧像素坐标图中像素坐标，对于第一像素坐标图序列中的第一帧第一像素坐标图中的像素坐标不进行矫正。
针对上述S204，一种实现方式中，可以根据第二像素坐标图中每一点的像素坐标，从待试穿衣服图像上找到相应坐标位置的像素点填充到第二像素坐标图中，得到变形衣服图像。
例如，该二维图高和宽分别为6和3，则该二维图上一共有6*3＝18个点，假设其中一个点为a点，a点上的二维坐标为(m，n)，则在生成抗遮挡的变形衣服时，需要将抗遮挡的待试穿衣服图像上坐标位置为(m，n)的像素点填充到二维图中的a点。
针对上述S205，一种实施方式中，可以将变形衣服图像序列、待试衣视频的第一关键点图像序列、第二关键点图像序列和背景区域图像序列输入到试穿(Try-on)模块，得到虚拟试衣视频。
其中，第一关键点图像序列为待试衣视频的每一视频帧对应的第一关键点图像组成的序列。
第二关键点图像序列为待试衣视频的每一视频帧对应的第二关键点图像组成的序列。
背景区域图像序列为待试衣视频的每一视频帧对应的背景区域图像组成的序列。
其中，试穿模块可以为CP-VTON、无解析器外观流网络(Parser Free AppearenceFlow Network，PF-AFN)、自适应内容生成与保持网络(Adaptive Content Generation andPreserving Network，ACGPN)或VITON-HD等试穿方案中的Try-on模块，CP-VTON为在欧洲计算机视觉国际会议上被提出的一种特征保留虚拟试穿网络(CP-VTON)，VITON-HD是一种基于图像的虚拟试衣网络。
在本申请另一实施例中，可以将第一像素坐标图转换为向量，对转换后的向量进行矫正，将矫正得到的向量转换成第二像素坐标图，如图4所示，上述S203可以实现为：
S2031、将该视频帧对应的第一像素坐标图转换为第一向量。
其中，第一向量为一维向量。
一种实现方式中，可以通过重塑(reshape)函数将第一像素坐标图转换为一维向量。
S2032、基于该视频帧对应的光流信息对第一向量进行矫正计算，得到第二向量。
S2032具体可以实现为：
步骤一、将该视频帧的上一视频帧对应的第一像素坐标图转换为第三向量。
步骤二、根据第三向量和该视频帧与上一视频帧之间的光流信息，计算该视频帧对应的预测向量。
本申请实施例中，可以根据以下公式计算预测向量：
f′t＝ωt-1(ft-1)
其中，ωt-1()为根据待试衣视频中t-1帧到t帧的光流信息得到的光流预测函数，ft-1表示第t-1帧视频帧对应的第一像素坐标图转换得到的向量。
步骤三、基于预测向量对第一向量进行矫正计算，得到第二向量。
本申请实施例中，可以计算第一向量与预测向量之间的差值；当差值小于或等于预设阈值时，使用预测向量对第一向量进行矫正计算，得到第二向量；当差值大于预设阈值时，将第一向量作为第二向量。
具体可以根据以下光流矫正公式计算得到第二向量
Figure BDA0003542455300000091
Figure BDA0003542455300000092
δt＝‖ft-ωt-1(ft-1)‖
其中，ft表示第t帧视频帧对应的第一像素坐标图的第一向量，ωt-1()为根据待试衣视频中t-1帧到t帧的光流信息得到的光流预测函数，δt表示第t帧视频帧对应的第一像素坐标图的第一向量与第t帧视频帧对应的预测向量之间的差值，ε表示差值δt的预设阈值，Ω表示待试衣视频中第t帧视频帧中衣服区域和第一像素坐标图的变形衣服图像的重合区域。
需要说明的是，通过该公式进行矫正时，可以通过t-1帧视频帧与t帧视频帧之间的光流预测函数ωt-1()和t-1帧视频帧对应的第一向量ft-1进行预测计算，得到第t帧视频帧对应的预测向量ωt-1(ft-1)。
通过公式δt＝‖ft-ωt-1(ft-1)‖计算第t帧视频帧对应的第一像素坐标图的第一向量与第t帧视频帧对应的预测向量之间的差值。
当差值δt小于或等于预设阈值ε时，使用预测向量对第一像素坐标图的第一向量进行矫正。
当差值δt大于预设阈值ε时，不对第一像素坐标图的第一向量进行矫正。
其中，预设阈值ε可以根据实际需要进行设置，例如，可以被设置为0.05。
使用该公式时，只对第一像素坐标图中属于重合区域Ω的点的像素坐标进行矫正，对于第一像素坐标图中不属于重合区域以外的点的像素坐标不进行矫正。
一种实施方式中，可以通过第一像素坐标图生成的变形衣服图像与该第一像素坐标图对应的待试衣视频的视频帧中人的衣服区域重合的区域，得到重合区域Ω。
S2033、将第二向量转换为第二像素坐标图。
一种实现方式中，可以通过reshape函数将第二向量转换为第二像素坐标图。
采用本申请实施例，通过将第一像素坐标图像转化为第一向量，然后利用光流矫正公式对第一向量进行矫正计算，得到第二向量，进而，可以将第二向量转换为第二像素坐标图，实现了根据光流信息对第一像素坐标图的矫正，同时通过光流矫正公式能够精确针对重合区域进行像素坐标调整，使得最终生成的虚拟试衣视频中衣服区域的画面稳定不抖动。
对应于上述方法实施例，本申请实施例还提供了一种虚拟试衣视频生成装置，如图5所示，该装置包括：
第一获取模块501，用于获取待试衣视频和第一像素坐标图序列，第一像素坐标图序列中的每个第一像素坐标图用于表示：待试衣视频中一个视频帧的待试衣区域与待试穿衣服图像的像素点之间的映射关系；
第二获取模块502，用于针对待试衣视频中的每一视频帧，获取该视频帧的上一视频帧与该视频帧之间的光流信息；
矫正模块503，用于针对待试衣视频中的每一视频帧，基于该视频帧对应的光流信息对该视频帧对应的第一像素坐标图进行矫正，得到该视频帧对应的第二像素坐标图；
第一生成模块504，用于基于待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图像，得到变形衣服图像序列；
第二生成模块505，用于基于变形衣服图像序列和待试衣视频生成虚拟试衣视频。
在本申请另一实施例中，矫正模块503，具体用于：
将该视频帧对应的第一像素坐标图转换为第一向量；
基于该视频帧对应的光流信息对第一向量进行矫正计算，得到第二向量；
将第二向量转换为第二像素坐标图。
在本申请另一实施例中，矫正模块503，具体用于:
将该视频帧的上一视频帧对应的第一像素坐标图转换为第三向量；
根据第三向量和该视频帧与上一视频帧之间的光流信息，计算该视频帧对应的预测向量；
基于预测向量对第一向量进行矫正计算，得到第二向量。
在本申请另一实施例中，矫正模块503，具体用于：
根据以下公式计算预测向量：
f′t＝ωt-1(ft-1)
其中，ωt-1()为根据待试衣视频中t-1帧到t帧的光流信息得到的光流预测函数，ft-1表示第t-1帧视频帧对应的第一像素坐标图转换得到的向量。
在本申请另一实施例中，矫正模块503，具体用于：
计算第一向量与预测向量之间的差值；
当差值小于或等于预设阈值时，使用预测向量对第一向量进行矫正计算，得到第二向量；
当差值大于预设阈值时，将第一向量作为第二向量。
在本申请另一实施例中，第一获取模块501，还用于：
针对待试衣视频中每一视频帧，获取该视频帧的第一关键点图像、第二关键点图像和背景区域图像；第一关键点图像和第二关键点图像均用于表示待试衣视频中的人物姿态，背景区域图像包括待试衣视频中除待试衣区域之外的背景区域，以及待试衣区域上的遮挡物图像。
针对待试衣视频中每一视频帧，将该视频帧的第一关键点图像，第二关键点图像、背景区域图像和待试穿衣服图像输入变形warp模块得到该视频帧的第一像素坐标图。
在本申请另一实施例中，第二生成模块505，具体用于：
将变形衣服图像序列、待试衣视频的第一关键点图像序列、第二关键点图像序列和背景区域图像序列输入到试穿Try-on模块，得到虚拟试衣视频。
本申请实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现上述实施例中虚拟试衣视频生成方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一所述的虚拟试衣视频生成方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的虚拟试衣视频生成方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种虚拟试衣视频生成方法，其特征在于，所述方法包括：
获取待试衣视频和第一像素坐标图序列，所述第一像素坐标图序列中的每个第一像素坐标图用于表示：所述待试衣视频中一个视频帧的待试衣区域与待试穿衣服图像的像素点之间的映射关系；
针对所述待试衣视频中的每一视频帧，获取该视频帧的上一视频帧与该视频帧之间的光流信息；
针对所述待试衣视频中的每一视频帧，基于该视频帧对应的光流信息对该视频帧对应的第一像素坐标图进行矫正，得到该视频帧对应的第二像素坐标图；
基于所述待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图像，得到变形衣服图像序列；
基于所述变形衣服图像序列和所述待试衣视频生成虚拟试衣视频。
2.根据权利要求1所述的方法，其特征在于，所述针对所述待试衣视频中的每一视频帧，基于该视频帧对应的光流信息对该视频帧对应的第一像素坐标图进行矫正，得到该视频帧对应的第二像素坐标图，包括：
将该视频帧对应的第一像素坐标图转换为第一向量；
基于该视频帧对应的光流信息对所述第一向量进行矫正计算，得到第二向量；
将所述第二向量转换为第二像素坐标图。
3.根据权利要求2所述的方法，其特征在于，所述基于该视频帧对应的光流信息对所述第一向量进行矫正计算，得到第二向量，包括:
将该视频帧的上一视频帧对应的第一像素坐标图转换为第三向量；
根据所述第三向量和该视频帧与上一视频帧之间的光流信息，计算该视频帧对应的预测向量；
基于所述预测向量对所述第一向量进行矫正计算，得到所述第二向量。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第三向量和该视频帧与上一视频帧之间的光流信息，计算该视频帧对应的预测向量，包括：
根据以下公式计算预测向量：
f′t＝ωt-1(ft-1)
其中，ωt-1()为根据待试衣视频中t-1帧到t帧的光流信息得到的光流预测函数，ft-1表示第t-1帧视频帧对应的第一像素坐标图转换得到的向量。
5.根据权利要求4所述的方法，其特征在于，所述基于所述预测向量对所述第一向量进行矫正计算，得到所述第二向量，包括：
计算所述第一向量与所述预测向量之间的差值；
当所述差值小于或等于预设阈值时，使用所述预测向量对所述第一向量进行矫正计算，得到所述第二向量；
当所述差值大于所述预设阈值时，将所述第一向量作为所述第二向量。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述第一像素坐标图序列通过以下步骤获得：
针对所述待试衣视频中每一视频帧，获取该视频帧的第一关键点图像、第二关键点图像和背景区域图像；所述第一关键点图像和所述第二关键点图像均用于表示待试衣视频中的人物姿态，所述背景区域图像包括所述待试衣视频中除待试衣区域之外的背景区域，以及所述待试衣区域上的遮挡物图像；
针对所述待试衣视频中每一视频帧，将该视频帧的第一关键点图像，第二关键点图像、背景区域图像和待试穿衣服图像输入变形warp模块得到该视频帧的第一像素坐标图。
7.根据权利要求6所述的方法，其特征在于，所述基于所述变形衣服图像序列和所述待试衣视频生成虚拟试衣视频，包括：
将所述变形衣服图像序列、所述待试衣视频的第一关键点图像序列、第二关键点图像序列和背景区域图像序列输入到试穿Try-on模块，得到所述虚拟试衣视频。
8.一种虚拟试衣视频生成装置，其特征在于，所述装置包括：
第一获取模块，用于获取待试衣视频和第一像素坐标图序列，所述第一像素坐标图序列中的每个第一像素坐标图用于表示：所述待试衣视频中一个视频帧的待试衣区域与待试穿衣服图像的像素点之间的映射关系；
第二获取模块，用于针对所述待试衣视频中的每一视频帧，获取该视频帧的上一视频帧与该视频帧之间的光流信息；
矫正模块，用于针对所述待试衣视频中的每一视频帧，基于该视频帧对应的光流信息对该视频帧对应的第一像素坐标图进行矫正，得到该视频帧对应的第二像素坐标图；
第一生成模块，用于基于所述待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图像，得到变形衣服图像序列；
第二生成模块，用于基于所述变形衣服图像序列和所述待试衣视频生成虚拟试衣视频。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202210236556.5A 2022-03-11 2022-03-11 一种虚拟试衣视频生成方法、装置、设备及介质 Pending CN114638754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210236556.5A CN114638754A (zh) 2022-03-11 2022-03-11 一种虚拟试衣视频生成方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210236556.5A CN114638754A (zh) 2022-03-11 2022-03-11 一种虚拟试衣视频生成方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114638754A true CN114638754A (zh) 2022-06-17

Family

ID=81948860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210236556.5A Pending CN114638754A (zh) 2022-03-11 2022-03-11 一种虚拟试衣视频生成方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114638754A (zh)

Similar Documents

Publication Publication Date Title
CN109448090B (zh) 图像处理方法、装置、电子设备及存储介质
AU2020220153B2 (en) Robust warping via multi-scale patch adversarial loss for virtual try-on
WO2020103647A1 (zh) 物体关键点的定位方法、图像处理方法、装置及存储介质
CN107967693B (zh) 视频关键点处理方法、装置、计算设备及计算机存储介质
CN109376631B (zh) 一种基于神经网络的回环检测方法及装置
CN110443205B (zh) 一种手部图像分割方法及装置
WO2019024808A1 (zh) 语义分割模型的训练方法和装置、电子设备、存储介质
JP5895703B2 (ja) 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
CN110517214B (zh) 用于生成图像的方法和装置
CN107920257B (zh) 视频关键点实时处理方法、装置及计算设备
US11335025B2 (en) Method and device for joint point detection
CN110992243B (zh) 椎间盘截面图像构建方法、装置、计算机设备及存储介质
CN110991293A (zh) 姿态识别方法、装置、计算机设备和存储介质
CN111008935A (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN111815768B (zh) 三维人脸重建方法和装置
US20230196667A1 (en) 3d data system and 3d data generating method
CN112837213A (zh) 脸型调整图像生成方法、模型训练方法、装置和设备
Ariz et al. Robust and accurate 2D-tracking-based 3D positioning method: Application to head pose estimation
CN114638375A (zh) 视频生成模型训练方法、视频生成方法及装置
CN116766213B (zh) 一种基于图像处理的仿生手控制方法、系统和设备
CN112949576B (zh) 姿态估计方法、装置、设备及存储介质
CN114742722A (zh) 文档矫正方法、装置、电子设备及存储介质
CN111353325A (zh) 关键点检测模型训练方法及装置
CN114638754A (zh) 一种虚拟试衣视频生成方法、装置、设备及介质
CN114630012B (zh) 一种虚拟试衣视频生成方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination