CN116228990A - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116228990A
CN116228990A CN202310351145.5A CN202310351145A CN116228990A CN 116228990 A CN116228990 A CN 116228990A CN 202310351145 A CN202310351145 A CN 202310351145A CN 116228990 A CN116228990 A CN 116228990A
Authority
CN
China
Prior art keywords
texture
map
object image
image
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310351145.5A
Other languages
English (en)
Inventor
肖塞
曲晓超
李江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN202310351145.5A priority Critical patent/CN116228990A/zh
Publication of CN116228990A publication Critical patent/CN116228990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Accounting & Taxation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Finance (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Generation (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：确定第一对象图像的初始纹理图；第一对象图像中各第一对象像素点分别有纹理坐标，初始纹理图中，第一对象像素点的纹理坐标处存储有第一对象像素点的像素坐标；初始纹理图中存在空白纹理坐标；对初始纹理图进行纹理补全得到目标纹理图；目标纹理图是将初始纹理图中的空白纹理坐标处存储对应的像素坐标后得到的；基于第二对象图像中各第二对象像素点的纹理坐标和目标纹理图，对第一特征图进行姿态特征变换得到第三特征图；基于第二特征图以及第三特征图进行服饰变换，生成第二对象图像对应的变换后的对象图像。采用本方法能够提高服饰变换的效果。

Description

图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
网购已成为一种不可或缺的购物形式，而服饰是电商销售的主要品类。消费者可以根据电商平台上展示的服饰图像进行选择，却无法知道实际试穿效果。随着计算机视觉的发展，为了解决这一问题，出现了虚拟试穿。通过虚拟试穿技术，可以将用户选择的目标服饰变换到用户图像中的对应位置，以得到服饰变换后的图像，即试穿效果图像。
传统技术中，通常是将模特图像中的目标服饰区域覆盖到用户图像中的目标服饰区域，得到服饰变换后的图像。
然而，由于模特图像中模特的姿态和用户图像中用户的姿态存在不同，传统技术中将模特图像中的目标服饰区域覆盖到用户图像中的目标服饰区域的方法，所得到的服饰变换后的图像存在不真实的问题，导致服饰变换的效果较差。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高服饰变换的效果的图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种图像处理方法。所述方法包括：确定第一对象图像的初始纹理图；所述第一对象图像中各第一对象像素点分别有纹理坐标，所述初始纹理图中，所述第一对象像素点的纹理坐标处存储有所述第一对象像素点的像素坐标；所述初始纹理图中存在空白纹理坐标；对所述初始纹理图进行纹理补全得到目标纹理图；所述目标纹理图是将所述初始纹理图中的空白纹理坐标处存储对应的像素坐标后得到的；基于第二对象图像中各第二对象像素点的纹理坐标和所述目标纹理图，对第一特征图进行姿态特征变换得到第三特征图；所述第一特征图是对所述第一对象图像进行特征提取得到的；基于第二特征图以及所述第三特征图进行服饰变换，生成所述第二对象图像对应的变换后的对象图像；所述第二特征图是对所述第二对象图像进行特征提取得到的。
第二方面，本申请还提供了一种图像处理装置。所述装置包括：纹理确定模块，用于确定第一对象图像的初始纹理图；所述第一对象图像中各第一对象像素点分别有纹理坐标，所述初始纹理图中，所述第一对象像素点的纹理坐标处存储有所述第一对象像素点的像素坐标；所述初始纹理图中存在空白纹理坐标；纹理补全模块，用于对所述初始纹理图进行纹理补全得到目标纹理图；所述目标纹理图是将所述初始纹理图中的空白纹理坐标处存储对应的像素坐标后得到的；姿态变换模块，用于基于第二对象图像中各第二对象像素点的纹理坐标和所述目标纹理图，对第一特征图进行姿态特征变换得到第三特征图；所述第一特征图是对所述第一对象图像进行特征提取得到的；图像生成模块，用于基于第二特征图以及所述第三特征图进行服饰变换，生成所述第二对象图像对应的变换后的对象图像；所述第二特征图是对所述第二对象图像进行特征提取得到的。
在一些实施例中，所述纹理确定模块用于：确定所述第一对象图像中各第一对象像素点各自的纹理坐标；针对每个所述第一对象像素点，将所述第一对象像素点的像素坐标，存储至空白纹理图中所述第一对象像素点的纹理坐标处，生成所述第一对象图像对应的初始纹理图。
在一些实施例中，所述目标纹理图是基于已训练的纹理补全网络得到的，所述图像处理装置还包括网络训练模块，所述网络训练模块用于得到所述已训练的纹理补全网络的步骤包括：将第三对象图像的初始纹理图输入到待训练的纹理补全网络中进行纹理补全，得到当前纹理图；利用当前纹理图和第四对象图像的对象姿态信息对所述第三对象图像进行姿态变换，得到当前姿态变换图像；所述第三对象图像和所述第四对象图像中包括姿态不同的同一对象；基于当前姿态变换图像和所述第四对象图像之间的差异，生成第一损失值；基于第一损失值调整待训练的纹理补全网络的网络参数，得到已训练的纹理补全网络。
在一些实施例中，在基于第一损失值调整待训练的纹理补全网络的网络参数，得到已训练的纹理补全网络的方面，所述网络训练模块还用于：利用当前纹理图和所述第三对象图像的对象姿态信息对所述第三对象图像进行还原，得到当前还原图像；基于当前还原图像与所述第三对象图像之间的差异，生成第二损失值；基于所述第一损失值以及所述第二损失值，调整待训练的纹理补全网络的网络参数，得到已训练的纹理补全网络。
在一些实施例中，所述图像生成模块还用于：将所述第三特征图中表示目标服饰的特征，融合到所述第二特征图中表示所述目标服饰的特征中，得到融合特征图；基于所述第二对象图像对应的对象姿态信息和所述融合特征图，生成所述第二对象图像对应的变换后的对象图像。
在一些实施例中，所述姿态变换模块还用于：针对第一特征图中的每个第一像素坐标，从所述第二对象图像中确定所述第一像素坐标处的第二对象像素点的纹理坐标，得到第一像素坐标对应的目标纹理坐标；从所述目标纹理图中确定所述目标纹理坐标对应的像素坐标，得到第二像素坐标；将第一特征图中所述第一像素坐标处的特征值，更新为所述第一特征图中所述第二像素坐标处的特征值，得到第三特征图。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像处理方法中的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法中的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述图像处理方法中的步骤。
上述图像处理方法、装置、计算机设备、存储介质和计算机程序产品，确定第一对象图像的初始纹理图，由于初始纹理图中存在空白纹理坐标，通过对初始纹理图进行纹理补全得到目标纹理图，在基于第二对象图像中各第二对象像素点的纹理坐标和目标纹理图，对第一特征图进行姿态特征变换得到第三特征图的过程中，减少了由于第一对象图像和第二对象图像中的对象姿态不一致导致的像素坐标缺失的问题，使得基于第二特征图以及第三特征图进行服饰变换，生成的第二对象图像对应的变换后的对象图像的效果更真实，从而提高了服饰变换的效果。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3A为一个实施例中纹理特征提取步骤的流程示意图；
图3B为一个实施例中目标对象图像生成步骤的流程示意图；
图4A为一个实施例中第一对象图像的相关示意图；
图4B为一个实施例中第二对象图像的相关示意图；
图5A为一个实施例中目标纹理图的相关示意图；
图5B为一个实施例中第二纹理图的相关示意图；
图5C为一个实施例中变换后的对象图像的示意图；
图6为一个实施例中图像处理装置的结构框图；
图7为一个实施例中计算机设备的内部结构图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像处理方法，可以应用于如图1所示的应用环境中。该应用环境包括终端102和服务器104，其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。
具体地，终端102或服务器104上可以存储有第一对象图像和第二对象图像。终端102响应于虚拟试穿操作，向服务器104发送虚拟试穿请求，虚拟试穿请求中携带有第一对象图像和第二对象图像。服务器104响应于虚拟试穿请求，确定第一对象图像的初始纹理图；第一对象图像中各第一对象像素点分别有纹理坐标，初始纹理图中，第一对象像素点的纹理坐标处存储有第一对象像素点的像素坐标；初始纹理图中存在空白纹理坐标。服务器104对初始纹理图进行纹理补全得到目标纹理图；目标纹理图是将初始纹理图中的空白纹理坐标处存储对应的像素坐标后得到的；然后服务器104基于第二对象图像中各第二对象像素点的纹理坐标和目标纹理图，对第一特征图进行姿态特征变换得到第三特征图；第一特征图是对第一对象图像进行特征提取得到的。服务器104基于第二特征图以及第三特征图进行服饰变换，生成第二对象图像对应的变换后的对象图像；第二特征图是对第二对象图像进行特征提取得到的。服务器104可以将变换后的对象图像发送至终端102。终端102接收服务器104发送的变换后的对象图像，展示并存储变换后的对象图像。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案相关的部分场景，并不构成对本申请方案应用环境的限定。
在一些实施例中，如图2所示，提供了一种图像处理方法，该方法可以由终端或服务器执行，还可以由终端和服务器共同执行，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤202，确定第一对象图像的初始纹理图；第一对象图像中各第一对象像素点分别有纹理坐标，初始纹理图中，第一对象像素点的纹理坐标处存储有第一对象像素点的像素坐标；初始纹理图中存在空白纹理坐标。
其中，对象可以是人，对象图像是包括对象的图像，对象图像也称为模特图像。第一对象图像中包括第一对象，可以是对第一对象进行拍摄得到的，也可以是从其他设备中获取的。第一对象图像中第一对象具有目标服饰，服饰包括上衣、裤子、帽子、围巾、手套等，目标服饰是待进行服饰变换的的服饰，第一对象图像是在服饰变换的过程中提供目标服饰的图像，故第一对象图像也称为源模特图像。
第一对象像素点是第一对象图像中组成第一对象区域的像素点，第一对象图像中每个第一对象像素点分别对应有纹理坐标，纹理坐标用于表示在UV空间中的位置，也可以称为UV坐标，可以用(u，v)表示。像素坐标表示像素点在图像中的位置，可以用(x，y)表示。纹理图可以将图像上每一个点精确对应到三维模型的表面，也可以称为UV图。第一对象图像的初始纹理图中，第一对象像素点的纹理坐标处存储有第一对象像素点的像素坐标。初始纹理图中存在空白纹理坐标，空白纹理坐标处的值为空，例如，如图4A所示，图4A中的(a)为第一对象图像，图4A中的(b)为第一姿态信息IUVA，图5A中的(b)为第一对象图像的初始纹理图UVA，第一对象图像为对第一对象的正面进行拍摄得到的，故第一对象图像的初始纹理图中只包括第一对象的正面的第一对象像素点的纹理坐标。
具体地，服务器可以确定第一对象图像中各第一对象像素点各自的纹理坐标，然后针对每个第一对象像素点，将第一对象像素点的像素坐标，存储至空白纹理图中第一对象像素点的纹理坐标处，生成第一对象图像对应的初始纹理图。其中，空白纹理图中的所有纹理坐标为空白纹理坐标，得到初始纹理图的过程也可以称为纹理映射或UV映射。
在一些实施例中，服务器可以对第一对象图像进行姿态估计，得到第一姿态信息，利用第一姿态信息确定第一对象图像中各第一对象像素点各自的纹理坐标。其中，第一姿态信息用于表示第一对象图像中的第一对象的姿态。例如，第一对象图像为A，服务器可以对第一对象图像进行密集姿态估计(DensePose)，得到第一姿态信息IUVA，IUVA包括各第一对象像素点(x，y)对应的IUV坐标(i，u，v)，其中，i表示该对象像素点所属的人体部位的编号，人体部位包括头部、颈部、胳膊、腿部等，u和v表示纹理坐标的坐标值，假设第一对象像素点(x1，y1)对应的IUV坐标为(i1，u1，v1)，则第一对象像素点(x1，y1)的纹理坐标为(u1，v1)。生成的第一对象图像初始纹理图UVA中，纹理坐标(u1，v1)处存储有像素坐标(x1，y1)。
步骤204，对初始纹理图进行纹理补全得到目标纹理图；目标纹理图是将初始纹理图中的空白纹理坐标处存储对应的像素坐标后得到的。
其中，纹理补全是确定空白纹理坐标对应的像素坐标，并在空白纹理坐标处存储对应的像素坐标。目标纹理图是对第一对象图像的初始纹理图进行纹理补全得到的，目标纹理图中不存在空白纹理坐标。
具体地，服务器可以将第一对象图像的初始纹理图，输入到已训练的纹理补全网络中进行纹理补全，得到目标纹理图，例如，图5A中的(d)为第一对象图像的目标纹理图UVA I。其中，已训练的纹理补全网络具有补全初始纹理图中的空白纹理坐标对应的像素坐标的功能，空白纹理坐标对应的像素坐标来自于初始纹理图中存储的第一对象像素点的像素坐标。例如，假设第一对象图像的初始纹理图UVA中(u2，v2)为空白纹理坐标，纹理补全后得到的目标纹理图UVA I中纹理坐标(u2，v2)存储有像素坐标(x1，y1)。
在一些实施例中，服务器可以先利用人体对称性对第一对象图像的初始纹理图中进行补全，得到候选纹理图，然后将候选纹理图输入到已训练的纹理补全网络中进行纹理补全，得到目标纹理图。针对第一对象图像的初始纹理图中的每个空白纹理坐标，服务器可以从第一对象图像的初始纹理图中确定对称纹理坐标，若对称纹理坐标不为空白纹理坐标，将对称纹理坐标处存储的像素坐标存储至空白纹理坐标处，得到候选纹理图。其中，对称纹理坐标是指与空白纹理坐标具有对称关系的纹理坐标，例如，可以根据人体对称性确定对称纹理坐标。
在一些实施例中，服务器还可以确定第一对象图像的对象掩码图像，得到第一对象掩码图像，例如，如图4A中的(d)所示的第一对象掩码图像MA，并利用各第一对象像素点的纹理坐标，确定第一对象掩码图像的掩码纹理图，例如，如图5A的(c)所示的掩码纹理图UVA M，然后将第一对象图像的初始纹理图以及第一对象掩码图像的掩码纹理图，输入到已训练的纹理补全网络中进行纹理补全，得到目标纹理图。纹理补全的过程中，可以利用掩码纹理图降低初始纹理图中存储有像素坐标的纹理像素的权重，减少对初始纹理图中存储的像素坐标的改变，提高了目标纹理图的准确度。
在一些实施例中，服务器还可以确定第二对象图像中各第二对象像素点的纹理坐标，具体过程参照上述确定第一对象图像中各第一对象像素点的纹理坐标的步骤，在此不再赘述。
步骤206，基于第二对象图像中各第二对象像素点的纹理坐标和目标纹理图，对第一特征图进行姿态特征变换得到第三特征图；第一特征图是对第一对象图像进行特征提取得到的。
其中，第二对象图像中包括第二对象，第二对象和第一对象可以为同一对象，也可以为不同对象，第二对象图像中第二对象的姿态和第一对象图像中第一对象的姿态不同。第二对象图像是在服饰变换的过程中从第一对象图像中获取目标服饰的图像，例如，第一对象图像可以为从电商平台获取的模特图像，第二对象图像可以为用户自拍图。第二对象像素点是第二对象图像中组成第二对象区域的像素点。第一特征图是对第一对象图像进行特征提取得到的，第三特征图是对第一特征图进行姿态特征变换得到的。第一特征图的尺寸可以与第一对象图像的尺寸相同。
具体地，服务器对第一对象图像进行特征提取，得到第一特征图，并对第二对象图像进行特征提取，得到第二特征图。针对第一特征图中的每个第一像素坐标，服务器根据第二对象图像中各第二对象像素点的纹理坐标，从第二对象图像中确定第一像素坐标处的第二对象像素点的纹理坐标，得到第一像素坐标对应的目标纹理坐标。服务器从目标纹理图中确定目标纹理坐标对应的像素坐标，得到第二像素坐标，然后将第一特征图中第一像素坐标处的特征值，更新为第一特征图中第二像素坐标处的特征值，得到第三特征图。其中，第一像素坐标为第一特征图中的任意一个像素坐标。目标纹理坐标是根据第二对象图像的第二对象像素点的纹理坐标确定的，第一像素坐标对应的纹理坐标。第二像素坐标是从目标纹理图中确定的目标纹理坐标对应的像素坐标。得到第三特征图的过程也可以称为纹理逆映射或UV逆映射。
例如，假设第一像素坐标为(x2，y2)，第一特征图FA 1中(x2，y2)处的特征值为0，第二姿态信息IUVB中存在第二对象像素点(x2，y2)对应的IUV坐标为(i1，u2，v2)，即第一像素坐标为(x2，y2)的目标纹理坐标为(u2，v2)，而在目标纹理图UVA I中，纹理坐标(u2，v2)处存储的像素坐标为(x3，y3)，即第二像素坐标为(x3，y3)，而在第一特征图FA 1中(x3，y3)处的特征值为10，从而可以将第一特征图中第一像素坐标(x2，y2)处的特征值，更新为第一特征图中(x3，y3)处的特征值10，直到遍历第一特征图的每个第一像素坐标，得到第三特征图FA 2。
在一些实施例中，服务器可以对第一对象图像以及第一对象掩码图像进行图像拼接，对拼接后的对象图像进行特征提取，得到第一特征图。例如，假设第一对象图像的尺度为(3，1024，768)，即第一对象图像为3通道的1024×768的图像，第一对象掩码图像的尺度为(1，1024，768)，对第一对象图像与第一对象掩码图像进行concat操作，拼接后的对象图像的尺度为(4，1024，768)。
步骤208，基于第二特征图以及第三特征图进行服饰变换，生成第二对象图像对应的变换后的对象图像；第二特征图是对第二对象图像进行特征提取得到的。
其中，第二特征图是对第二对象图像进行特征提取得到的。服饰变换是指将第一对象图像中的目标服饰，变换至第二对象图像中。变换后的对象图像包括第二对象，第二对象在变换后的对象图像中的姿态与第二对象在第二对象图像中的姿态一致，且第二对象的目标部位在目标对象图像中所具有的目标服饰、与第一对象的目标部位在第一对象图像具有的目标服饰一致。例如，目标服饰为上衣，如图4A中的(a)和图4B中的(a)所示，分别展示了第一对象图像和第二对象图像，第一对象图像中的第一对象的上衣为背心，第二对象图像中的第二对象的上衣为长袖T恤，如图5C所示，展示了第二对象图像对应的变换后的对象图像，第二对象的上衣变换为了背心。
具体地，服务器将第三特征图中表示目标服饰的特征，融合到第二特征图中表示目标服饰的特征中，得到融合特征图，然后基于第二对象图像对应的对象姿态信息和融合特征图，生成第二对象图像对应的变换后的对象图像。
在一些实施例中，第一对象图像的目标纹理图为第一纹理图，服务器还可以基于第二对象图像中各第二对象像素点的纹理坐标和第二对象图像的第二纹理图，对第二特征图进行纹理逆映射得到第四特征图，然后基于第四特征图和第三特征图进行服饰变换，生成第二对象图像对应的变换后的对象图像。其中，对第二特征图进行纹理逆映射得到第四特征图的过程，可以参照上述得到第三特征图的步骤，在此不再赘述。例如，图5B中的(b)为第二对象图像的初始纹理图UVB，图5B中的(d)为第二对象图像的目标纹理图UVA。
在一些实施例中，图像处理方法可以分为两个流程：确定纹理特征和进行图像生成。如图3A所示，展示了确定纹理特征的流程示意图，第一对象图像和第二对象图像均为对象图像，利用密集姿态估计模块可以得到对象图像即模特图像的对象姿态信息，并确定对象图像中各对象像素点的纹理坐标；然后利用纹理UV补全模块，基于对象图像中各对象像素点的纹理坐标对模特图像进行纹理映射，得到模特图像的初始纹理图，然后对初始纹理图进行纹理补全，得到模特图像的目标纹理图；利用人体语义分割模块可以得到模特图像的人体语义分割的结果以及对象掩码图像；利用纹理特征编码器可以对模特图像和对象掩码图像进行特征提取，并基于对象图像中各对象像素点的纹理坐标和模特图像的目标纹理图对特征提取所得到的特征图进行纹理逆映射，最后，得到第三特征图和第四特征图，第三特征图即源模特纹理，第四特征图即目标模特纹理。如图3B所示，展示了进行图像生成的流程示意图，通过利用纹理交换模型对源模特纹理和目标模特纹理进行目标服饰的纹理交换，得到融合特征图，然后利用图像生成模块，基于融合特征图和第二姿态信息进行图像生成，得到变换后的对象图像。
上述图像处理方法中，确定第一对象图像的初始纹理图，由于初始纹理图中存在空白纹理坐标，通过对初始纹理图进行纹理补全得到目标纹理图，在基于第二对象图像中各第二对象像素点的纹理坐标和目标纹理图，对第一特征图进行姿态特征变换得到第三特征图的过程中，减少了由于第一对象图像和第二对象图像中的对象姿态不一致导致的像素坐标缺失的问题，使得基于第二特征图以及第三特征图进行服饰变换，生成的第二对象图像对应的变换后的对象图像的效果更真实，从而提高了服饰变换的效果。
在一些实施例中，步骤202包括：确定第一对象图像中各第一对象像素点各自的纹理坐标；针对每个第一对象像素点，将第一对象像素点的像素坐标，存储至空白纹理图中第一对象像素点的纹理坐标处，生成第一对象图像对应的初始纹理图。
具体地，服务器可以对第一对象图像进行姿态估计，得到第一姿态信息，从第一姿态信息中确定各第一对象像素点各自的纹理坐标，然后针对每个第一对象像素点，将第一对象像素点的像素坐标，存储至空白纹理图中该第一对象像素点的纹理坐标处，生成第一对象图像对应的初始纹理图。服务器生成第二对象图像对应的初始纹理图的过程也可以参照上述步骤。
本实施例中，通过确定第一对象图像中各第一对象像素点各自的纹理坐标，并将各第一对象像素点的像素坐标，存储至空白纹理图中的第一对象像素点的纹理坐标处，快速的得到第一对象图像对应的初始纹理图，提高了服饰变换的效率。
在一些实施例中，目标纹理图是基于已训练的纹理补全网络得到的，得到已训练的纹理补全网络的步骤包括：将第三对象图像的初始纹理图输入到待训练的纹理补全网络中进行纹理补全，得到当前纹理图；利用当前纹理图和第四对象图像的对象姿态信息对第三对象图像进行姿态变换，得到当前姿态变换图像；第三对象图像和第四对象图像中包括姿态不同的同一对象；基于当前姿态变换图像和第四对象图像之间的差异，生成第一损失值；基于第一损失值调整待训练的纹理补全网络的网络参数，得到已训练的纹理补全网络。
其中，已训练的纹理补全网络用于对初始纹理图中的空白纹理坐标进行补全，纹理补全网络可以是U-Net网络。第三对象图像和第四对象图像中包括姿态不同的同一对象，可以是在不同的拍摄角度对同一对象进行拍摄得到的，第三对象图像和第四对象图像可以作为一对训练数据对，第三对象图像可以称为source，第四对象图像可以称为target。
第三对象图像的初始纹理图中存在空白纹理坐标。当前纹理图是对第三对象图像的初始纹理图进行纹理补全得到的。第四对象图像的对象姿态信息是对第四对象图像进行姿态估计得到的，包括第四对象图像中的每个对象像素点的纹理坐标。当前姿态变换图像是对第三对象图像进行姿态变换得到的，第一损失值是基于当前姿态变换图像和第四对象图像之间的差异确定的，用于调整待训练的纹理补全网络的网络参数。
具体地，服务器可以获取第三对象图像和第四对象图像，并确定第三对象图像的初始纹理图以及第四对象图像的对象姿态信息。服务器将第三对象图像的初始纹理图输入到待训练的纹理补全网络中进行纹理补全，得到当前纹理图，并利用当前纹理图和第四对象图像的对象姿态信息，对第三对象图像进行姿态变换，得到当前姿态变换图像。服务器计算当前姿态变换图像和第四对象图像之间的差异，得到第一损失值，基于第一损失值调整待训练的纹理补全网络的网络参数，直到网络收敛，得到已训练的纹理补全网络。其中，确定第三对象图像的初始纹理图的过程可以参照上述确定第一对象图像的处理纹理图的步骤，对底单对象图像进行姿态变换的过程可以参照上述得到第三特征图的步骤，在此不再赘述。
本实施例中，由于第三对象图像和第四对象图像中包括姿态不同的同一对象，当前姿态变换图像是利用当前纹理图和第四对象图像的对象姿态信息对第三对象图像进行姿态变换得到的，为了通过计算当前姿态变换图像和第四对象图像之间的差异，生成第一损失值，并利用第一损失值调整待训练的纹理补全网络的网络参数，使得已训练的纹理补全网络具有补全初始纹理图中的空白纹理坐标对应的像素坐标的功能，提高了进行纹理补全的准确度。
在一些实施例中，基于第一损失值调整待训练的纹理补全网络的网络参数，得到已训练的纹理补全网络包括：利用当前纹理图和第三对象图像的对象姿态信息对第三对象图像进行还原，得到当前还原图像；基于当前还原图像与第三对象图像之间的差异，生成第二损失值；基于第一损失值以及第二损失值，调整待训练的纹理补全网络的网络参数，得到已训练的纹理补全网络。
其中，第三对象图像的对象姿态信息是对第三对象图像进行姿态估计得到的，包括第三对象图像中的各对象像素点的纹理坐标。当前还原图像是利用当前纹理图和第三对象图像的对象姿态信息得到的图像。第二损失值是基于当前还原图像与第三对象图像之间的差异得到的。
具体地，服务器还可以确定第三对象图像的对象姿态信息，利用当前纹理图和第三对象图像的对象姿态信息对第三对象图像进行还原，得到当前还原图像，然后计算当前还原图像和第三对象图像之间的差异，得到第二损失值，并利用第一损失值和第二损失值调整待训练的纹理补全网络的网络参数。然后服务器可以更新第三对象图像和第四对象图像，返回执行上述步骤，直到网络收敛，得到已训练的纹理补全网络。
本实施例中，第一损失值是基于当前姿态变换图像和第四对象图像之间的差异确定的，第二损失值是基于当前还原图像与第三对象图像之间的差异确定的，通过利用第一损失值和第二损失值共同调整待训练的纹理补全网络的网络参数，进一步提高了进行纹理补全的准确度，从而利用准确的目标纹理图对第一特征图进行姿态特征变换，所得到的第三特征图也更加准确。
在一些实施例中，步骤208还包括：将第三特征图中表示目标服饰的特征，融合到第二特征图中表示目标服饰的特征中，得到融合特征图；基于第二对象图像对应的对象姿态信息和融合特征图，生成第二对象图像对应的变换后的对象图像。
具体地，服务器将第三特征图中表示目标服饰的特征，替换到第二特征图中表示目标服饰的特征处，得到融合特征图。然后服务器可以对第二对象图像对应的对象姿态信息进行编码处理，得到目标姿态特征；然后对融合特征图进行编码处理，得到目标纹理特征。然后服务器将目标纹理特征和目标姿态特征输入到已训练的图像生成网络中进行图像生成，生成第二对象图像对应的变换后的对象图像。其中，目标纹理特征和目标姿态特征用于生成目标对象图像，在图像生成的过程中，目标纹理特征控制目标对象图像中的对象的纹理表示，目标姿态特征控制目标对象图像中的对象的姿态表示。已训练的图像生成网络的输入为目标纹理特征和目标姿态特征，具有生成真实的对象图像的功能。
例如，已训练的图像生成网络可以是条件StyleGAN2生成网络，利用姿态编码器对第二姿态信息IUVA进行编码处理，得到目标姿态特征，也可以称为隐向量ω；利用纹理编码器对融合纹理图Fin进行编码处理，得到目标纹理特征，随后将目标姿态特征和目标纹理特征输入条件StyleGAN2生成网络进行图像生成，生成逼真的变换后的对象图像I′B。
在一些实施例中，服务器可以确定第二对象图像中的目标服饰的掩码图像，得到目标服饰掩码图像，目标服饰掩码图像的尺寸与第三特征图的尺寸、第二特征图的尺寸一致，利用目标服饰掩码图像从第三特征图中确定表示目标服饰的特征，然后将第三特征图中表示目标服饰的特征替换第二特征图中表示目标服饰的特征，得到融合特征图。例如，服务器可以对第二对象图像进行人体语义分割，确定目标服饰掩码图像，例如，假设目标服饰为上衣，如图4B中的(c)所示，展示了对第二对象图像进行人体语义分割的结果PB，可以根据PB中的上衣区域确定目标服饰掩码图像Mup。则得到融合特征图的过程可以用如下公式表示：
Figure BDA0004161576410000141
其中，Fin表示融合特征图，Mup为目标服饰掩码图像，⊙表示矩阵运算中对应位置的元素相乘，
Figure BDA0004161576410000142
为第三特征图，/>
Figure BDA0004161576410000143
为第二特征图。
本实施例中，由于第三特征图是对第一特征图进行姿态特征变换得到的，第三特征图表示的姿态与第二特征图中表示的姿态一致，将第三特征图中表示目标服饰的特征，融合到第二特征图中表示目标服饰的特征中，得到的融合特征图更准确，因此，基于第二对象图像对应的对象姿态信息和融合特征图，生成第二对象图像对应的变换后的对象图像，提高了变换后的对象图像的生成效果，并且对象姿态不变。
在一些实施例中，步骤206还包括：针对第一特征图中的每个第一像素坐标，从第二对象图像中确定第一像素坐标处的第二对象像素点的纹理坐标，得到第一像素坐标对应的目标纹理坐标；从目标纹理图中确定目标纹理坐标对应的像素坐标，得到第二像素坐标；将第一特征图中第一像素坐标处的特征值，更新为第一特征图中第二像素坐标处的特征值，得到第三特征图。
具体地，服务器根据第二对象图像的第二姿态信息，确定各第二对象像素点的纹理坐标。然后针对第一特征图中的每个第一像素坐标，服务器可以利用各第二对象像素点的纹理坐标，从第二对象图像中确定第一像素坐标处的第二对象像素点的纹理坐标，得到第一像素坐标对应的目标纹理坐标。服务器可以从目标纹理图中确定目标纹理坐标对应的像素坐标，得到第二像素坐标，然后将第一特征图中第一像素坐标处的特征值，更新为第一特征图中第二像素坐标处的特征值，得到第三特征图。
本实施例中，通过利用第二对象图像中各第二对象像素点的纹理坐标，确定第一特征图中各第一像素坐标对应的目标纹理坐标，并利用第一对象图像的目标纹理图和目标纹理坐标，确定第二像素坐标，然后将第一特征图中第一像素坐标处的特征值，更新为第一特征图中第二像素坐标处的特征值，得到第三特征图，实现了对第一特征图的姿态特征变换，使得第三特征图中表示对象姿态的特征与第二对象图像的第二特征图中表示对象姿态的特征一致，减少了由于姿态不一致导致的服饰变换的不真实的问题，从而提高了服饰变换的效果。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。
在一些实施例中，如图6所示，提供了一种图像处理装置，包括：纹理确定模块602、纹理补全模块604、姿态变换模块606和图像生成模块608，其中：
纹理确定模块602，用于确定第一对象图像的初始纹理图；第一对象图像中各第一对象像素点分别有纹理坐标，初始纹理图中，第一对象像素点的纹理坐标处存储有第一对象像素点的像素坐标；初始纹理图中存在空白纹理坐标。
纹理补全模块604，用于对初始纹理图进行纹理补全得到目标纹理图；目标纹理图是将初始纹理图中的空白纹理坐标处存储对应的像素坐标后得到的。
姿态变换模块606，用于基于第二对象图像中各第二对象像素点的纹理坐标和目标纹理图，对第一特征图进行姿态特征变换得到第三特征图；第一特征图是对第一对象图像进行特征提取得到的。
图像生成模块608，用于基于第二特征图以及第三特征图进行服饰变换，生成第二对象图像对应的变换后的对象图像；第二特征图是对第二对象图像进行特征提取得到的。
在一些实施例中，纹理确定模块602用于：确定第一对象图像中各第一对象像素点各自的纹理坐标；针对每个第一对象像素点，将第一对象像素点的像素坐标，存储至空白纹理图中第一对象像素点的纹理坐标处，生成第一对象图像对应的初始纹理图。
在一些实施例中，目标纹理图是基于已训练的纹理补全网络得到的，图像处理装置还包括网络训练模块，网络训练模块用于得到已训练的纹理补全网络的步骤包括：将第三对象图像的初始纹理图输入到待训练的纹理补全网络中进行纹理补全，得到当前纹理图；利用当前纹理图和第四对象图像的对象姿态信息对第三对象图像进行姿态变换，得到当前姿态变换图像；第三对象图像和第四对象图像中包括姿态不同的同一对象；基于当前姿态变换图像和第四对象图像之间的差异，生成第一损失值；基于第一损失值调整待训练的纹理补全网络的网络参数，得到已训练的纹理补全网络。
在一些实施例中，在基于第一损失值调整待训练的纹理补全网络的网络参数，得到已训练的纹理补全网络的方面，网络训练模块还用于：利用当前纹理图和第三对象图像的对象姿态信息对第三对象图像进行还原，得到当前还原图像；基于当前还原图像与第三对象图像之间的差异，生成第二损失值；基于第一损失值以及第二损失值，调整待训练的纹理补全网络的网络参数，得到已训练的纹理补全网络。
在一些实施例中，图像生成模块608还用于：将第三特征图中表示目标服饰的特征，融合到第二特征图中表示目标服饰的特征中，得到融合特征图；基于第二对象图像对应的对象姿态信息和融合特征图，生成第二对象图像对应的变换后的对象图像。
在一些实施例中，姿态变换模块606还用于：针对第一特征图中的每个第一像素坐标，从第二对象图像中确定第一像素坐标处的第二对象像素点的纹理坐标，得到像素坐标对应的目标纹理坐标；从目标纹理图中确定目标纹理坐标对应的像素坐标，得到第二像素坐标；将第一特征图中第一像素坐标处的特征值，更新为第一特征图中第二像素坐标处的特征值，得到第三特征图。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理方法所涉及的相关数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7和图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述图像处理方法中的步骤。
在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述图像处理方法中的步骤。
在一些实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述图像处理方法中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
确定第一对象图像的初始纹理图；所述第一对象图像中各第一对象像素点分别有纹理坐标，所述初始纹理图中，所述第一对象像素点的纹理坐标处存储有所述第一对象像素点的像素坐标；所述初始纹理图中存在空白纹理坐标；
对所述初始纹理图进行纹理补全得到目标纹理图；所述目标纹理图是将所述初始纹理图中的空白纹理坐标处存储对应的像素坐标后得到的；
基于第二对象图像中各第二对象像素点的纹理坐标和所述目标纹理图，对第一特征图进行姿态特征变换得到第三特征图；所述第一特征图是对所述第一对象图像进行特征提取得到的；
基于第二特征图以及所述第三特征图进行服饰变换，生成所述第二对象图像对应的变换后的对象图像；所述第二特征图是对所述第二对象图像进行特征提取得到的。
2.根据权利要求1所述的方法，其特征在于，所述确定第一对象图像的初始纹理图包括：
确定所述第一对象图像中各第一对象像素点各自的纹理坐标；
针对每个所述第一对象像素点，将所述第一对象像素点的像素坐标，存储至空白纹理图中所述第一对象像素点的纹理坐标处，生成所述第一对象图像对应的初始纹理图。
3.根据权利要求1所述的方法，其特征在于，所述目标纹理图是基于已训练的纹理补全网络得到的，得到所述已训练的纹理补全网络的步骤包括：
将第三对象图像的初始纹理图输入到待训练的纹理补全网络中进行纹理补全，得到当前纹理图；
利用当前纹理图和第四对象图像的对象姿态信息对所述第三对象图像进行姿态变换，得到当前姿态变换图像；所述第三对象图像和所述第四对象图像中包括姿态不同的同一对象；
基于当前姿态变换图像和所述第四对象图像之间的差异，生成第一损失值；
基于第一损失值调整待训练的纹理补全网络的网络参数，得到已训练的纹理补全网络。
4.根据权利要求3所述的方法，其特征在于，所述基于第一损失值调整待训练的纹理补全网络的网络参数，得到已训练的纹理补全网络包括：
利用当前纹理图和所述第三对象图像的对象姿态信息对所述第三对象图像进行还原，得到当前还原图像；
基于当前还原图像与所述第三对象图像之间的差异，生成第二损失值；
基于所述第一损失值以及所述第二损失值，调整待训练的纹理补全网络的网络参数，得到已训练的纹理补全网络。
5.根据权利要求1所述的方法，其特征在于，所述基于第二特征图以及所述第三特征图进行服饰变换，生成所述第二对象图像对应的变换后的对象图像包括：
将所述第三特征图中表示目标服饰的特征，融合到所述第二特征图中表示所述目标服饰的特征中，得到融合特征图；
基于所述第二对象图像对应的对象姿态信息和所述融合特征图，生成所述第二对象图像对应的变换后的对象图像。
6.根据权利要求1所述的方法，其特征在于，所述基于第二对象图像中各第二对象像素点的纹理坐标和所述目标纹理图，对第一特征图进行姿态特征变换得到第三特征图包括：
针对第一特征图中的每个第一像素坐标，从所述第二对象图像中确定所述第一像素坐标处的第二对象像素点的纹理坐标，得到第一像素坐标对应的目标纹理坐标；
从所述目标纹理图中确定所述目标纹理坐标对应的像素坐标，得到第二像素坐标；
将第一特征图中所述第一像素坐标处的特征值，更新为所述第一特征图中所述第二像素坐标处的特征值，得到第三特征图。
7.一种图像处理装置，其特征在于，所述装置包括：
纹理确定模块，用于确定第一对象图像的初始纹理图；所述第一对象图像中各第一对象像素点分别有纹理坐标，所述初始纹理图中，所述第一对象像素点的纹理坐标处存储有所述第一对象像素点的像素坐标；所述初始纹理图中存在空白纹理坐标；
纹理补全模块，用于对所述初始纹理图进行纹理补全得到目标纹理图；所述目标纹理图是将所述初始纹理图中的空白纹理坐标处存储对应的像素坐标后得到的；
姿态变换模块，用于基于第二对象图像中各第二对象像素点的纹理坐标和所述目标纹理图，对第一特征图进行姿态特征变换得到第三特征图；所述第一特征图是对所述第一对象图像进行特征提取得到的；
图像生成模块，用于基于第二特征图以及所述第三特征图进行服饰变换，生成所述第二对象图像对应的变换后的对象图像；所述第二特征图是对所述第二对象图像进行特征提取得到的。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202310351145.5A 2023-04-04 2023-04-04 图像处理方法、装置、计算机设备和存储介质 Pending CN116228990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310351145.5A CN116228990A (zh) 2023-04-04 2023-04-04 图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310351145.5A CN116228990A (zh) 2023-04-04 2023-04-04 图像处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116228990A true CN116228990A (zh) 2023-06-06

Family

ID=86573290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310351145.5A Pending CN116228990A (zh) 2023-04-04 2023-04-04 图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116228990A (zh)

Similar Documents

Publication Publication Date Title
US10922898B2 (en) Resolving virtual apparel simulation errors
CN107111833B (zh) 快速3d模型适配和人体测量
US11321769B2 (en) System and method for automatically generating three-dimensional virtual garment model using product description
CN111787242B (zh) 用于虚拟试衣的方法和装置
CN111968165B (zh) 动态人体三维模型补全方法、装置、设备和介质
CN111459269B (zh) 一种增强现实显示方法、系统及计算机可读存储介质
CN113129450A (zh) 虚拟试衣方法、装置、电子设备和介质
CN111815768B (zh) 三维人脸重建方法和装置
WO2023226454A1 (zh) 商品信息处理方法、装置、终端设备及存储介质
CN115587952B (zh) 扩展现实设备的畸变系数标定方法、装置和存储介质
CN111767817A (zh) 一种服饰搭配方法、装置、电子设备及存储介质
Liang et al. Machine learning for digital try-on: Challenges and progress
CN116524088B (zh) 珠宝虚拟试戴方法、装置、计算机设备和存储介质
CN116228990A (zh) 图像处理方法、装置、计算机设备和存储介质
CN116977539A (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN112686733B (zh) 基于大数据的电商产品模拟系统
CN114926324A (zh) 基于真实人物图像的虚拟试衣模型训练方法、虚拟试衣方法、装置及设备
KR20210130420A (ko) 스마트 삼차원 의류 피팅 시스템 및 이를 이용한 의류 피팅 서비스 제공 방법
CN116543093B (zh) 柔体对象渲染方法、装置、计算机设备和存储介质
WO2023226578A1 (zh) 手掌轮廓提取方法、控制指令生成方法和装置
CN116229216A (zh) 虚拟换衣方法、装置、计算机设备和存储介质
CN117557699B (zh) 动画数据生成方法、装置、计算机设备和存储介质
CN115147681B (zh) 服饰生成模型的训练、生成服饰图像的方法和装置
US20230306673A1 (en) System, apparatus, and method for cloning clothings from real-world images to 3d characters
Pu et al. Feature Representation for High‐resolution Clothed Human Reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination