CN114630012B - 一种虚拟试衣视频生成方法、装置、电子设备及介质 - Google Patents

一种虚拟试衣视频生成方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN114630012B
CN114630012B CN202210236375.2A CN202210236375A CN114630012B CN 114630012 B CN114630012 B CN 114630012B CN 202210236375 A CN202210236375 A CN 202210236375A CN 114630012 B CN114630012 B CN 114630012B
Authority
CN
China
Prior art keywords
video
pixel coordinate
video frame
coordinate graph
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210236375.2A
Other languages
English (en)
Other versions
CN114630012A (zh
Inventor
蒋剑斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202210236375.2A priority Critical patent/CN114630012B/zh
Publication of CN114630012A publication Critical patent/CN114630012A/zh
Application granted granted Critical
Publication of CN114630012B publication Critical patent/CN114630012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Abstract

本申请实施例提供了一种虚拟试衣视频生成方法、装置、电子设备及介质，涉及人工智能技术领域，该方法包括：获取待试衣视频和第一像素坐标图序列，第一像素坐标图序列中的每个第一像素坐标图用于表示：待试衣视频中一个视频帧的待试衣区域与待试穿衣服图像的像素点之间的映射关系；针对待试衣视频中的每一视频帧，基于该视频帧的前预设数量的视频帧的第一像素坐标图，调整该视频帧的第一像素坐标图，得到该视频帧的第二像素坐标图；基于待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图像，得到变形衣服图像序列；基于变形衣服图像序列和待试衣视频生成虚拟试衣视频。可以避免生成的虚拟试衣视频中的衣服区域抖动。

Description

一种虚拟试衣视频生成方法、装置、电子设备及介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种虚拟试衣视频生成方法、装置、电子设备及介质。
背景技术
随着网络电商平台的发展，将用户选择的衣服模拟穿到人身上的虚拟试衣技术可以增强用户的购物体验。在将用户选择的衣服模拟穿到原始视频中的人物身上之前，需要对用户选的衣服进行变形，使得变形后的衣服与原始视频中的人物姿态和形状一致。
然而，目前生成的每一张变形衣服图像都是根据原始视频中的单个视频帧得到的，分别将每一张变形衣服图像叠加到原始视频中的一个视频帧上之后，生成的虚拟试衣视频中衣服区域存在时序不稳定的问题，虚拟试衣视频中的衣服区域会发生抖动。
发明内容
本申请实施例的目的在于提供一种虚拟试衣视频生成方法、装置、电子设备及介质，以实现虚拟试衣视频中的衣服区域画面稳定，不会抖动。具体技术方案如下：
第一方面，本申请实施例提供了一种虚拟试衣视频生成方法，所述方法包括：
获取待试衣视频和第一像素坐标图序列，所述第一像素坐标图序列中的每个第一像素坐标图用于表示：所述待试衣视频中一个视频帧的待试衣区域与待试穿衣服图像的像素点之间的映射关系；
针对所述待试衣视频中的每一视频帧，基于该视频帧的前预设数量的视频帧的第一像素坐标图，调整该视频帧的第一像素坐标图，得到该视频帧的第二像素坐标图；
基于所述待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图像，得到变形衣服图像序列；
基于所述变形衣服图像序列和所述待试衣视频生成虚拟试衣视频。
在一种可能的实现方式中，所述针对所述待试衣视频中的每一视频帧，基于该视频帧的前预设数量的视频帧的第一像素坐标图，调整该视频帧的第一像素坐标图，得到该视频帧的第二像素坐标图，包括：
针对所述待试衣视频中的每一视频帧，将该视频帧的第一像素坐标图转换为第一向量，并将该视频帧的前预设数量的视频帧的第一像素坐标图转换为特征矩阵；
基于所述特征矩阵对该视频帧对应的第一向量进行矫正计算，得到第二向量；
将所述第二向量转换为像素坐标图，得到该视频帧对应的第二像素坐标图。
在一种可能的实现方式中，所述基于所述特征矩阵对该视频帧对应的第一向量进行矫正计算，得到第二向量，包括：
通过所述特征矩阵、该视频帧对应的第一向量和矫正公式计算所述第二向量，所述矫正公式为：
其中，为第t帧视频帧对应的第二向量，ftt为第t帧视频帧对应的第一向量，X为所述特征矩阵，μ为岭回归系数，I为单位矩阵。
在一种可能的实现方式中，所述将该视频帧的前预设数量的视频帧的第一像素坐标图转换为特征矩阵，包括：
获取该视频帧的前预设数量的视频帧的第一像素坐标图；
分别将获取到的每个第一像素坐标图转换为一列元素，得到所述特征矩阵，其中，一列元素从上到下依次包括：一个第一像素坐标图中的每个像素坐标的横坐标和纵坐标。
在一种可能的实现方式中，所述第一像素坐标图序列通过以下步骤获得：
针对所述待试衣视频中每一视频帧，获取该视频帧的第一关键点图像、第二关键点图像和背景区域图像；所述第一关键点图像和所述第二关键点图像均用于表示待试衣视频中的人物姿态，所述背景区域图像包括所述待试衣视频中除待试衣区域之外的背景区域，以及所述待试衣区域上的遮挡物图像；
针对所述待试衣视频中每一视频帧，将该视频帧的第一关键点图像，第二关键点图像、背景区域图像和待试穿衣服图像输入变形warp模块得到该视频帧的第一像素坐标图。
在一种可能的实现方式中，基于所述变形衣服图像序列和所述待试衣视频生成虚拟试衣视频，包括：
将所述变形衣服图像序列、所述待试衣视频的第一关键点图像序列、第二关键点图像序列和背景区域图像序列输入到试穿Try-on模块，得到所述虚拟试衣视频。
第二方面，本申请实施例提供了一种虚拟试衣视频生成装置，所述装置包括：
获取模块，用于获取待试衣视频和第一像素坐标图序列，所述第一像素坐标图序列中的每个第一像素坐标图用于表示：所述待试衣视频中一个视频帧的待试衣区域与待试穿衣服图像的像素点之间的映射关系；
调整模块，用于针对所述待试衣视频中的每一视频帧，基于该视频帧的前预设数量的视频帧的第一像素坐标图，调整该视频帧的第一像素坐标图，得到该视频帧的第二像素坐标图；
第一生成模块，用于基于所述待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图像，得到变形衣服图像序列；
第二生成模块，用于基于所述变形衣服图像序列和所述待试衣视频生成虚拟试衣视频。
在一种可能的实现方式中，所述调整模块，具体用于：
针对所述待试衣视频中的每一视频帧，将该视频帧的第一像素坐标图转换为第一向量，并将该视频帧的前预设数量的视频帧的第一像素坐标图转换为特征矩阵；
基于所述特征矩阵对该视频帧对应的第一向量进行矫正计算，得到第二向量；
将所述第二向量转换为像素坐标图，得到该视频帧对应的第二像素坐标图。
第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的方法步骤。
第四方面，在本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的虚拟试衣视频生成方法。
第五方面，在本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的虚拟试衣视频生成方法。
采用上述技术方案，通过针对待试衣视频的每一视频帧，基于该视频帧的前预设数量视频帧对应的第一像素坐标图，对该视频帧的第一像素坐标图进行调整，得到第二像素坐标图，使得第二像素坐标图中的像素坐标位置符合前预设数量帧视频帧对应的第一像素坐标图中像素点的运动关系，进而，使得待试衣视频每一视频帧对应的第二像素坐标图中相邻第二像素坐标图之间的像素坐标位置时序关系平滑，使得根据每一第二像素坐标图，生成的变形衣服图序列中相邻变形衣服图像中时序稳定，也就使得根据变形衣服图像序列生成的虚拟试衣视频中衣服区域的画面稳定，不会发生抖动。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本申请实施例中提供的一种虚拟试衣装置的结构示意图；
图2为本申请实施例中提供的一种虚拟试衣视频生成方法的流程图；
图3a为本申请实施例提供的一种第一关键点图像的示例性示意图；
图3b为本申请实施例提供的一种第二关键点图像的示例性示意图；
图4为本申请实施例中提供的另一种虚拟试衣视频生成方法的流程图；
图5为本申请实施例提供的一种虚拟试衣视频生成装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
本申请实施例提供了一种虚拟试衣视频生成方法，该方法应用于虚拟试衣装置，如图1所示，该系统中包含变形(Warp)模块101、矫正模块102和试穿(Try-on)模块103。
其中，Warp模块101用于基于待试穿衣服图像和待试衣视频生成待试衣视频包括的每一视频帧对应的像素坐标图。Warp模块101具体可以通过基于外观流变形(appearance-flow-based warp)方法可以学习待试穿衣服图像中的像素点与每一视频帧的人体待试衣区域之间的点对点的映射关系，进而针对每一视频帧生成一个用于表示上述映射关系的像素坐标图。
矫正模块102，用于对Warp模块101生成的每一视频帧对应像素坐标图进行矫正，进而Warp模块101还用于基于矫正后的每一视频帧对应的像素坐标图对于待试穿衣服图像进行变形，得到变形衣服图像序列。
Try-on模块103，用于根据Warp模块101生成的变形衣服图像序列和待试衣视频生成虚拟试衣视频。
基于图1所示的装置，以下对本申请实施例提供的虚拟试衣视频生成方法进行详细介绍。
本申请实施例提供了一种虚拟试衣视频生成方法，该方法可以应用于电子设备，电子设备可以为智能手机、平板电脑、台式电脑、服务器等设备，如图2所示，该方法包括：
S201、获取待试衣视频和第一像素坐标图序列。
其中，第一像素坐标图序列中的每个第一像素坐标图用于表示：待试衣视频中一个视频帧的待试衣区域与待试穿衣服图像的像素点之间的映射关系。
S202、针对待试衣视频中的每一视频帧，基于该视频帧的前预设数量的视频帧的第一像素坐标图，调整该视频帧的第一像素坐标图，得到该视频帧的第二像素坐标图。
S203、基于待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图像，得到变形衣服图像序列。
S204、基于变形衣服图像序列和待试衣视频生成虚拟试衣视频。
采用本申请实施例，通过针对待试衣视频的每一视频帧，基于该视频帧的前预设数量视频帧对应的第一像素坐标图，对该视频帧的第一像素坐标图进行调整，得到第二像素坐标图，使得第二像素坐标图中的像素坐标位置符合前预设数量帧视频帧对应的第一像素坐标图中像素点的运动关系，进而，使得待试衣视频每一视频帧对应的第二像素坐标图中相邻第二像素坐标图之间的像素坐标位置时序关系平滑，使得根据每一第二像素坐标图，生成的变形衣服图序列中相邻变形衣服图像中时序稳定，也就使得根据变形衣服图像序列生成的虚拟试衣视频中衣服区域的画面稳定，不会发生抖动。
针对上述S201，待试衣视频为用户上传的包含要进行试衣的人的视频，待试穿衣服图像为用户选择的要进行虚拟试穿的衣服在平铺状态下的图像。
例如，在各类具有虚拟试衣功能的软件中，用户可以上传包含人像的视频，并选择需要进行试穿的衣服，其中，待试衣视频为用户上传的视频，待试穿衣服图像为用户选择的需要进行试穿的衣服图像。
第一像素坐标图为尺寸为H*W的二维图，即高和宽分别为H和W的二维图，该二维图中共有H*W个点，每一点都有一个二维坐标，每一二维坐标表示待试穿衣服上的一个像素点的位置。
第一像素坐标图序列通过以下步骤获得：
步骤一、针对待试衣视频中每一视频帧，获取该视频帧的第一关键点图像、第二关键点图像和背景区域图像。
其中，第一关键点图像和第二关键点图像均用于表示待试衣视频中该视频帧中的人物姿态，背景区域图像包括待试衣视频中除待试衣区域之外的背景区域，以及待试衣区域上的遮挡物图像。
一种实现方式中，可以通过人体姿态识别算法对待试衣视频中每一视频帧中的人像进行人体姿态识别，得到每一视频帧对应的第一关键点图像和第二关键点图像，第一关键点图像为包含人体关键点的pose图像，第二关键点图像为包含人体各部位形状的densepose图像，第一关键点图像可以通过Openpose算法得到，如图3a所示，图3a为第一关键点图像的示例性示意图，第二关键点图像可以通过Densepose算法得到，如图3b所示，图3b为第二关键点图像的示例性示意图；其中，Openpose算法是一种用来识别图像中人体各关节的关键点的人体姿态识别算法，Densepose算法是一种2D人体图像转换为3D人体图像的人体姿态识别算法。
背景区域图像为通过将待试衣视频中每一视频帧的人像的待试衣区域处理为同一像素值得到的。可以理解的是，在待试衣视频的视频帧中不存在遮挡物的情况下，背景区域图像中也不包括遮挡物图像。
步骤二、针对待试衣视频中每一视频帧，将该视频帧的第一关键点图像，第二关键点图像、背景区域图像和待试穿衣服图像输入变形(warp)模块得到第一像素坐标图。
本申请实施例中，可以得到待试衣视频中的每一视频帧对应的第一像素坐标图，这些第一像素坐标图可组成第一像素坐标图序列。
其中，变形模块可以为基于薄板样条变换(Thin Plate Spline，TPS)模型或基于外观流变形模块(Appearance Flow Warping Module，AFWM)模型的warp模块。
针对上述S203，一种实现方式中，可以根据第二像素坐标图中每一点的像素坐标，从待试穿衣服图像上找到相应坐标位置的像素点填充到第二像素坐标图中，得到变形衣服图像。
例如，该二维图高和宽分别为6和3，则该二维图上一共有6*3＝18个点，假设其中一个点为a点，a点上的二维坐标为(m，n)，则在生成抗遮挡的变形衣服时，需要将抗遮挡的待试穿衣服图像上坐标位置为(m，n)的像素点填充到二维图中的a点。
针对上述S204，一种实施方式中，可以将变形衣服图像序列、待试衣视频的第一关键点图像序列、第二关键点图像序列和背景区域图像序列输入到试穿(Try-on)模块，得到虚拟试衣视频。
其中，第一关键点图像序列为待试衣视频的每一视频帧对应的第一关键点图像组成的序列。
第二关键点图像序列为待试衣视频的每一视频帧对应的第二关键点图像组成的序列。
背景区域图像序列为待试衣视频的每一视频帧对应的背景区域图像组成的序列。
其中，试穿模块可以为CP-VTON、无解析器外观流网络(Parser Free AppearenceFlow Network，PF-AFN)、自适应内容生成与保持网络(Adaptive Content Generation andPreserving Network，ACGPN)或VITON-HD等试穿方案中的Try-on模块，CP-VTON为在欧洲计算机视觉国际会议上被提出的一种特征保留虚拟试穿网络(CP-VTON)，VITON-HD是一种基于图像的虚拟试衣网络。
在本申请另一实施例中，对调整第一像素坐标图的方法进行介绍，如图4所示，上述S202，具体可以实现为以下步骤：
S2021、针对待试衣视频中的每一视频帧，将该视频帧的第一像素坐标图转换为第一向量，并将该视频帧的前预设数量的视频帧的第一像素坐标图转换为特征矩阵。
其中，第一向量为一维向量。
一种实现方式中，可以通过重塑(reshape)函数将第一像素坐标图转换为一维向量。
本申请实施例中，可以通过获取该视频帧的前预设数量的视频帧的第一像素坐标图；分别将获取到的每个第一像素坐标图转换为一列元素，得到特征矩阵，其中，一列元素从上到下依次包括：一个第一像素坐标图中的每个像素坐标的横坐标和纵坐标。
该特征矩阵为：
其中，W和H表示第一像素坐标图的尺寸，W*H表示第一像素坐标图上坐标点的个数，N表示预设数量，t为视频帧的编号，特征矩阵X中第一列元素表示第t-N帧视频帧对应的第一像素坐标图上的像素坐标，特征矩阵X中第二列元素表示第t-N+1帧视频帧对应的第一像素坐标图上的像素坐标，特征矩阵X中第最后一列元素表示第t-1帧视频帧对应的第一像素坐标图上的像素坐标，表示第t-N帧视频帧对应的第一像素坐标图上第W*H个点的像素坐标。
可以理解的是，因为待试衣视频中在第1帧视频帧之前没有视频帧，所以在本申请实施例的上述矩阵中t不等于1，即不对待试衣视频中第1帧视频帧对应的第一像素坐标图进行矫正，对第2帧视频帧对应的第一像素坐标图矫正时，可以将第1帧视频帧对应的第一像素坐标图复制预设数量份，即复制N份，转换为特征矩，从而实现对第2帧视频帧对应的第一像素坐标图进行矫正。
例如，前预设数量帧可以被设置为前3帧，即N＝3，此时对第2帧视频帧对应的第一像素坐标图进行矫正时，将第1帧视频帧对应的第一像素坐标图复制3份转换为特征矩阵X。
对第3帧视频帧对应的第一像素坐标图进行矫正时，可以将第2帧视频帧对应的第一像素坐标图复制2份，与第1帧视频帧对应的第一像素坐标图转换为特征矩阵X；也可以将第1帧视频帧应的第一像素坐标图复制2份，与第2帧视频帧对应的第一像素坐标图转换为特征矩阵X。
S2022、基于特征矩阵对该视频帧对应的第一向量进行矫正计算，得到第二向量。
S2022具体可以实现为：通过特征矩阵、该视频帧对应的第一向量和矫正公式计算第二向量。
其中，矫正公式为：
其中，为第t帧视频帧对应的第二向量，ft为第t帧视频帧对应的第一向量，X为特征矩阵，μ为岭回归系数，I为单位矩阵。
S2023、将第二向量转换为像素坐标图，得到该视频帧对应的第二像素坐标图。
一种实现方式中，可以通过reshape函数将第二向量转换为第二像素坐标图。
采用本申请实施例，通过将第t帧视频帧对应的第一像素坐标图转换为第一向量，再通过将第t-N帧至t-1帧视频帧对应的第一像素坐标图转换为特征矩阵，通过特征矩阵对第一向量进行矫正计算，得到第二特征向量，也就使得根据第二特征向量转化得到第二像素坐标图中的像素坐标符合第t-N帧至t-1帧视频帧对应的第一像素坐标图中的像素点的运动关系，进而，使得根据每一第二向量转换得到第二像素坐标图序列中相邻帧之间的像素坐标位置的时序关系平滑，也就使得根据该第二像素坐标图序列生成的变形衣服序列时序稳定，最终生成的虚拟试衣视频中衣服区域画面稳定，不发生抖动。
对应于上述方法实施例，本申请实施例还提供了一种虚拟试衣视频生成装置，如图5所示，该装置包括：
获取模块501，用于获取待试衣视频和第一像素坐标图序列，第一像素坐标图序列中的每个第一像素坐标图用于表示：待试衣视频中一个视频帧的待试衣区域与待试穿衣服图像的像素点之间的映射关系；
调整模块502，用于针对待试衣视频中的每一视频帧，基于该视频帧的前预设数量的视频帧的第一像素坐标图，调整该视频帧的第一像素坐标图，得到该视频帧的第二像素坐标图；
第一生成模块503，用于基于待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图像，得到变形衣服图像序列；
第二生成模块504，用于基于变形衣服图像序列和待试衣视频生成虚拟试衣视频。
在本申请另一实施例中，调整模块502，具体用于：
针对待试衣视频中的每一视频帧，将该视频帧的第一像素坐标图转换为第一向量，并将该视频帧的前预设数量的视频帧的第一像素坐标图转换为特征矩阵；
基于特征矩阵对该视频帧对应的第一向量进行矫正计算，得到第二向量；
将第二向量转换为像素坐标图，得到该视频帧对应的第二像素坐标图。
在本申请另一实施例中，调整模块502，具体用于：
通过特征矩阵、该视频帧对应的第一向量和矫正公式计算第二向量，矫正公式为：
其中，为第t帧视频帧对应的第二向量，ft为第t帧视频帧对应的第一向量，X为特征矩阵，μ为岭回归系数，I为单位矩阵。
在本申请另一实施例中，调整模块502，具体用于：
获取该视频帧的前预设数量的视频帧的第一像素坐标图；
分别将获取到的每个第一像素坐标图转换为一列元素，得到特征矩阵，其中，一列元素从上到下依次包括：一个第一像素坐标图中的每个像素坐标的横坐标和纵坐标。
在本申请另一实施例中，获取模块501，具体用于：
针对待试衣视频中每一视频帧，获取该视频帧的第一关键点图像、第二关键点图像和背景区域图像；第一关键点图像和第二关键点图像均用于表示待试衣视频中的人物姿态，背景区域图像包括待试衣视频中除待试衣区域之外的背景区域，以及待试衣区域上的遮挡物图像；
针对待试衣视频中每一视频帧，将该视频帧的第一关键点图像，第二关键点图像、背景区域图像和待试穿衣服图像输入变形warp模块得到该视频帧的第一像素坐标图。
在本申请另一实施例中，第二生成模块504，具体用于：
将变形衣服图像序列、待试衣视频的第一关键点图像序列、第二关键点图像序列和背景区域图像序列输入到试穿Try-on模块，得到虚拟试衣视频。
本申请实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现上述虚拟试衣视频生成方法中的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一所述的虚拟试衣视频生成方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的虚拟试衣视频生成方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种虚拟试衣视频生成方法，其特征在于，所述方法包括：
获取待试衣视频和第一像素坐标图序列，所述第一像素坐标图序列中的每个第一像素坐标图用于表示：所述待试衣视频中一个视频帧的待试衣区域与待试穿衣服图像的像素点之间的映射关系；每一第一像素坐标图中的每一点包含一个二维坐标；每一二维坐标表示所述待试穿衣服图像的一个像素点的位置；
针对所述待试衣视频中的每一视频帧，基于该视频帧的前预设数量的视频帧的第一像素坐标图，调整该视频帧的第一像素坐标图，得到该视频帧的第二像素坐标图；
基于所述待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图像，得到变形衣服图像序列；
基于所述变形衣服图像序列和所述待试衣视频生成虚拟试衣视频。
2.根据权利要求1所述的方法，其特征在于，所述针对所述待试衣视频中的每一视频帧，基于该视频帧的前预设数量的视频帧的第一像素坐标图，调整该视频帧的第一像素坐标图，得到该视频帧的第二像素坐标图，包括：
针对所述待试衣视频中的每一视频帧，将该视频帧的第一像素坐标图转换为第一向量，并将该视频帧的前预设数量的视频帧的第一像素坐标图转换为特征矩阵；
基于所述特征矩阵对该视频帧对应的第一向量进行矫正计算，得到第二向量；
将所述第二向量转换为像素坐标图，得到该视频帧对应的第二像素坐标图。
3.根据权利要求2所述的方法，其特征在于，所述基于所述特征矩阵对该视频帧对应的第一向量进行矫正计算，得到第二向量，包括：
通过所述特征矩阵、该视频帧对应的第一向量和矫正公式计算所述第二向量，所述矫正公式为：
其中，为第t帧视频帧对应的第二向量，ft为第t帧视频帧对应的第一向量，X为所述特征矩阵，μ为岭回归系数，I为单位矩阵。
4.根据权利要求2所述的方法，其特征在于，所述将该视频帧的前预设数量的视频帧的第一像素坐标图转换为特征矩阵，包括：
获取该视频帧的前预设数量的视频帧的第一像素坐标图；
分别将获取到的每个第一像素坐标图转换为一列元素，得到所述特征矩阵，其中，一列元素从上到下依次包括：一个第一像素坐标图中的每个像素坐标的横坐标和纵坐标。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述第一像素坐标图序列通过以下步骤获得：
针对所述待试衣视频中每一视频帧，获取该视频帧的第一关键点图像、第二关键点图像和背景区域图像；所述第一关键点图像和所述第二关键点图像均用于表示待试衣视频中的人物姿态，所述背景区域图像包括所述待试衣视频中除待试衣区域之外的背景区域，以及所述待试衣区域上的遮挡物图像；
针对所述待试衣视频中每一视频帧，将该视频帧的第一关键点图像，第二关键点图像、背景区域图像和待试穿衣服图像输入变形warp模块得到该视频帧的第一像素坐标图。
6.根据权利要求5所述的方法，其特征在于，基于所述变形衣服图像序列和所述待试衣视频生成虚拟试衣视频，包括：
将所述变形衣服图像序列、所述待试衣视频的第一关键点图像序列、第二关键点图像序列和背景区域图像序列输入到试穿Try-on模块，得到所述虚拟试衣视频。
7.一种虚拟试衣视频生成装置，其特征在于，所述装置包括：
获取模块，用于获取待试衣视频和第一像素坐标图序列，所述第一像素坐标图序列中的每个第一像素坐标图用于表示：所述待试衣视频中一个视频帧的待试衣区域与待试穿衣服图像的像素点之间的映射关系；每一第一像素坐标图中的每一点包含一个二维坐标；每一二维坐标表示所述待试穿衣服图像的一个像素点的位置；
调整模块，用于针对所述待试衣视频中的每一视频帧，基于该视频帧的前预设数量的视频帧的第一像素坐标图，调整该视频帧的第一像素坐标图，得到该视频帧的第二像素坐标图；
第一生成模块，用于基于所述待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图像，得到变形衣服图像序列；
第二生成模块，用于基于所述变形衣服图像序列和所述待试衣视频生成虚拟试衣视频。
8.根据权利要求7所述的装置，其特征在于，所述调整模块，具体用于：
针对所述待试衣视频中的每一视频帧，将该视频帧的第一像素坐标图转换为第一向量，并将该视频帧的前预设数量的视频帧的第一像素坐标图转换为特征矩阵；
基于所述特征矩阵对该视频帧对应的第一向量进行矫正计算，得到第二向量；
将所述第二向量转换为像素坐标图，得到该视频帧对应的第二像素坐标图。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN202210236375.2A 2022-03-11 2022-03-11 一种虚拟试衣视频生成方法、装置、电子设备及介质 Active CN114630012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210236375.2A CN114630012B (zh) 2022-03-11 2022-03-11 一种虚拟试衣视频生成方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210236375.2A CN114630012B (zh) 2022-03-11 2022-03-11 一种虚拟试衣视频生成方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN114630012A CN114630012A (zh) 2022-06-14
CN114630012B true CN114630012B (zh) 2024-03-12

Family

ID=81901717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210236375.2A Active CN114630012B (zh) 2022-03-11 2022-03-11 一种虚拟试衣视频生成方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN114630012B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140042119A (ko) * 2012-09-28 2014-04-07 주식회사 비에쓰엠커뮤니케이션즈 가상 착용 장치
CN103810607A (zh) * 2014-03-03 2014-05-21 郑超 虚拟试衣方法
KR20170068741A (ko) * 2015-12-10 2017-06-20 주식회사 매니아마인드 가상현실에서의 의류 피팅방법 및 피팅프로그램
WO2018202089A1 (zh) * 2017-05-05 2018-11-08 商汤集团有限公司 关键点检测方法、装置、存储介质及电子设备
US10127714B1 (en) * 2015-01-27 2018-11-13 Google Llc Spherical three-dimensional video rendering for virtual reality
US10282915B1 (en) * 2017-12-27 2019-05-07 Industrial Technology Research Institute Superimposition device of virtual guiding indication and reality image and the superimposition method thereof
CN109803093A (zh) * 2019-01-28 2019-05-24 深圳市云之梦科技有限公司 虚拟试衣的成像方法和虚拟试衣设备
CN110189202A (zh) * 2019-05-30 2019-08-30 广东元一科技实业有限公司 一种三维虚拟试衣方法及系统
CN111882380A (zh) * 2020-06-30 2020-11-03 飞诺门阵(北京)科技有限公司 一种虚拟试衣的方法、装置、系统及电子设备
CN112070575A (zh) * 2020-07-31 2020-12-11 飞诺门阵(北京)科技有限公司 一种虚拟试衣的方法、装置、系统及电子设备
CN113781164A (zh) * 2021-08-31 2021-12-10 深圳市富高康电子有限公司 虚拟试衣模型训练方法、虚拟试衣方法和相关装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11055888B2 (en) * 2019-08-27 2021-07-06 Shenzhen Malong Technologies Co., Ltd. Appearance-flow-based image generation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140042119A (ko) * 2012-09-28 2014-04-07 주식회사 비에쓰엠커뮤니케이션즈 가상 착용 장치
CN103810607A (zh) * 2014-03-03 2014-05-21 郑超 虚拟试衣方法
US10127714B1 (en) * 2015-01-27 2018-11-13 Google Llc Spherical three-dimensional video rendering for virtual reality
KR20170068741A (ko) * 2015-12-10 2017-06-20 주식회사 매니아마인드 가상현실에서의 의류 피팅방법 및 피팅프로그램
WO2018202089A1 (zh) * 2017-05-05 2018-11-08 商汤集团有限公司 关键点检测方法、装置、存储介质及电子设备
US10282915B1 (en) * 2017-12-27 2019-05-07 Industrial Technology Research Institute Superimposition device of virtual guiding indication and reality image and the superimposition method thereof
CN109803093A (zh) * 2019-01-28 2019-05-24 深圳市云之梦科技有限公司 虚拟试衣的成像方法和虚拟试衣设备
CN110189202A (zh) * 2019-05-30 2019-08-30 广东元一科技实业有限公司 一种三维虚拟试衣方法及系统
CN111882380A (zh) * 2020-06-30 2020-11-03 飞诺门阵(北京)科技有限公司 一种虚拟试衣的方法、装置、系统及电子设备
CN112070575A (zh) * 2020-07-31 2020-12-11 飞诺门阵(北京)科技有限公司 一种虚拟试衣的方法、装置、系统及电子设备
CN113781164A (zh) * 2021-08-31 2021-12-10 深圳市富高康电子有限公司 虚拟试衣模型训练方法、虚拟试衣方法和相关装置

Also Published As

Publication number Publication date
CN114630012A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
WO2020103647A1 (zh) 物体关键点的定位方法、图像处理方法、装置及存储介质
JP6902122B2 (ja) ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器
CN111428579A (zh) 人脸图像的获取方法与系统
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN110992243B (zh) 椎间盘截面图像构建方法、装置、计算机设备及存储介质
CN111383232A (zh) 抠图方法、装置、终端设备及计算机可读存储介质
CN112686824A (zh) 图像校正方法、装置、电子设备和计算机可读介质
CN112699791A (zh) 虚拟对象的脸部生成方法、装置、设备和可读存储介质
CN110909663A (zh) 一种人体关键点识别方法、装置及电子设备
WO2021244161A1 (zh) 基于多目全景图像的模型生成方法及装置
US20200394516A1 (en) Filter processing device and method of performing convolution operation at filter processing device
CN114638375A (zh) 视频生成模型训练方法、视频生成方法及装置
CN112837213A (zh) 脸型调整图像生成方法、模型训练方法、装置和设备
CN114742722A (zh) 文档矫正方法、装置、电子设备及存储介质
CN113838138A (zh) 一种优化特征提取的系统标定方法、系统、装置和介质
CN113766117B (zh) 一种视频去抖动方法和装置
CN114630012B (zh) 一种虚拟试衣视频生成方法、装置、电子设备及介质
CN112801134A (zh) 基于区块链和图像的手势识别模型训练与分发方法与装置
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN107977628B (zh) 神经网络训练方法、人脸检测方法及人脸检测装置
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
CN110830848B (zh) 图像插值方法、装置、计算机设备和存储介质
CN112348069B (zh) 数据增强方法、装置、计算机可读存储介质及终端设备
CN114638754A (zh) 一种虚拟试衣视频生成方法、装置、设备及介质
US9582882B2 (en) Method and apparatus for image registration in the gradient domain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant