CN111768507B - 图像融合方法、装置、计算机设备及存储介质 - Google Patents

图像融合方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111768507B
CN111768507B CN202010790051.4A CN202010790051A CN111768507B CN 111768507 B CN111768507 B CN 111768507B CN 202010790051 A CN202010790051 A CN 202010790051A CN 111768507 B CN111768507 B CN 111768507B
Authority
CN
China
Prior art keywords
image
clothing
human body
original
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010790051.4A
Other languages
English (en)
Other versions
CN111768507A (zh
Inventor
宋奕兵
葛崇剑
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010790051.4A priority Critical patent/CN111768507B/zh
Publication of CN111768507A publication Critical patent/CN111768507A/zh
Application granted granted Critical
Publication of CN111768507B publication Critical patent/CN111768507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像融合方法、装置、计算机设备及存储介质，属于计算机技术领域。该方法包括：获取原始人体图像和原始衣物图像；根据原始衣物图像，对原始人体图像进行人体区域检测，得到第一裸露区域图像；对原始人体图像、原始衣物图像和第一裸露区域图像进行融合，得到目标人体图像，以使在目标人体图像中，原始人体图像中的人体穿戴原始衣物图像中的衣物，目标人体图像的裸露人体区域与第一裸露人体区域匹配。本申请采用人工智能技术，获取自适应保留未被衣物遮挡的人体区域的目标人体图像，并去除被衣物遮挡的人体区域，使得人体与衣物更加贴合，试穿图像更加逼真，有利于提高图像显示效果，准确地呈现出用户试穿衣物的效果。

Description

图像融合方法、装置、计算机设备及存储介质
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种图像融合方法、装置、计算机设备及存储介质。
背景技术
虚拟换装技术是指通过技术手段将人体图像和衣物图像进行融合，得到用户穿上衣物后的图像，便于了解用户穿上衣物后的效果，而无需用户穿上真实的衣物。目前，虚拟换装技术广泛应用于网络购物、服装展示、服装设计或者线下购物的虚拟试穿等场景中。
相关技术中，根据样本人体图像、样本衣物图像以及样本融合图像训练虚拟换装模型，其中样本融合图像中的人体与样本人体图像中的人体相同，且样本融合图像中的衣物与样本衣物图像中的衣物相同。训练虚拟换装模型之后，调用虚拟换装模型对任一人体图像和任一衣物图像进行融合，得到包括相同人体和相同衣物的融合图像。
但是，由于人体图像中包括大量干扰信息，对人体图像和衣物图像进行融合时易受到干扰信息的影响，而导致图像融合的效果不佳。例如人体图像中包括原有的衣物，将该人体图像与另一衣物的图像进行融合，得到的融合图像中还残留着原有的衣物。
发明内容
本申请实施例提供了一种图像融合方法、装置、计算机设备及存储介质，能够提高图像融合的效果。所述技术方案如下：
一方面，提供了一种图像融合方法，所述方法包括：
获取原始人体图像和原始衣物图像；
根据所述原始衣物图像，对所述原始人体图像进行人体区域检测，得到第一裸露区域图像，所述第一裸露区域图像用于指示第一裸露人体区域，所述第一裸露人体区域为所述原始人体图像中的人体在穿戴所述原始衣物图像中的衣物时，未被所述衣物遮挡的人体区域；
对所述原始人体图像、所述原始衣物图像和所述第一裸露区域图像进行融合，得到目标人体图像，以使在所述目标人体图像中，所述原始人体图像中的人体穿戴所述原始衣物图像中的衣物，且所述目标人体图像的裸露人体区域与所述第一裸露人体区域匹配。
可选地，所述根据所述原始衣物图像，对所述原始人体图像进行人体区域检测，得到第一裸露区域图像，包括：
获取所述原始人体图像对应的人体姿态图像，所述人体姿态图像用于指示所述原始人体图像中的人体姿态；
根据所述原始衣物图像和所述人体姿态图像，对所述原始人体图像进行人体区域检测，得到所述第一裸露区域图像，所述第一裸露区域图像用于指示所述原始人体图像中的人体在所述人体姿态下穿戴所述原始衣物图像中的衣物时，未被所述衣物遮挡的人体区域。
可选地，所述获取所述原始人体图像对应的人体姿态图像，包括：
对所述原始人体图像进行姿态检测，确定所述原始人体图像中用于表示人体姿态的多个姿态点；
生成由所述多个姿态点构成的人体姿态图像。
可选地，所述调用虚拟换装模型中的人体区域检测子模型，根据所述原始衣物图像，对所述原始人体图像进行人体区域检测，得到所述第一裸露区域图像，包括：
调用所述人体区域检测子模型，根据所述原始衣物图像和所述人体姿态图像，对所述原始人体图像进行人体区域检测，得到所述第一裸露区域图像，所述第一裸露区域图像用于指示所述原始人体图像中的人体在所述人体姿态下穿戴所述原始衣物图像中的衣物时，未被所述衣物遮挡的人体区域。
可选地，所述人体区域检测子模型包括人体区域检测网络和人体区域映射网络，所述调用虚拟换装模型中的人体区域检测子模型，根据所述原始衣物图像，对所述原始人体图像进行人体区域检测，得到所述第一裸露区域图像，包括：
调用所述人体区域检测网络，对所述原始人体图像进行人体区域检测，得到第二裸露区域图像，所述第二裸露人体区域为所述原始人体图像中未被衣物遮挡的人体区域；
调用所述人体区域映射网络，根据所述原始衣物图像中的衣物区域，对所述第二裸露区域图像进行映射，得到所述第一裸露区域图像。
可选地，所述调用所述衣物区域变换层，根据所述第一裸露区域图像和所述人体姿态图像，对所述原始衣物图像中的衣物区域进行变换，得到第一衣物区域图像，包括：
调用所述衣物区域变换层，对所述原始衣物图像进行衣物区域检测，得到第二衣物区域图像，根据所述第一裸露区域图像和所述人体姿态图像，对所述第二衣物区域图像进行映射，得到所述第一衣物区域图像，所述第二衣物区域图像用于指示所述原始衣物图像中的衣物区域。
可选地，所述调用所述融合网络，对所述原始人体图像、所述第一裸露区域图像和所述目标衣物图像进行融合，得到所述目标人体图像，包括：
调用所述融合网络，对所述原始人体图像、所述第一裸露区域图像、所述第一衣物区域图像和所述目标衣物图像进行融合，得到所述目标人体图像，所述目标人体图像中的人体区域与所述第一衣物区域图像中的衣物区域不重叠。
可选地，所述调用虚拟换装模型中的人体区域检测子模型，根据所述原始衣物图像，对所述原始人体图像进行人体区域检测，得到所述第一裸露区域图像之前，所述方法还包括：
获取样本原始衣物图像、样本原始人体图像和样本裸露区域图像，所述样本裸露区域图像用于指示样本裸露人体区域，所述样本裸露人体区域为所述样本原始人体图像中的人体在穿戴所述样本原始衣物图像中的样本衣物时，未被所述样本衣物遮挡的人体区域；
调用所述人体区域检测子模型，根据所述样本原始衣物图像，对所述样本原始人体图像进行人体区域检测，得到预测人体区域图像；
根据所述预测裸露区域图像与所述样本裸露区域图像之间的差异，训练所述人体区域检测子模型。
可选地，所述调用所述虚拟换装模型中的融合子模型，对所述原始人体图像、所述原始衣物图像和所述第一裸露区域图像进行融合，得到目标人体图像之前，所述方法还包括：
获取样本原始人体图像、样本原始衣物图像、样本裸露区域图像和样本目标人体图像；
调用所述融合子模型，对所述样本原始人体图像、所述样本原始衣物图像和所述样本裸露区域图像进行融合，得到预测目标人体图像；
根据所述预测目标人体图像与所述样本目标人体图像之间的差异，训练所述融合子模型。
另一方面，提供了一种图像融合装置，所述装置包括：
图像获取模块，用于获取原始人体图像和原始衣物图像；
人体区域检测模块，用于根据所述原始衣物图像，对所述原始人体图像进行人体区域检测，得到第一裸露区域图像，所述第一裸露区域图像用于指示第一裸露人体区域，所述第一裸露人体区域为所述原始人体图像中的人体在穿戴所述原始衣物图像中的衣物时，未被所述衣物遮挡的人体区域；
图像融合模块，用于对所述原始人体图像、所述原始衣物图像和所述第一裸露区域图像进行融合，得到目标人体图像，以使在所述目标人体图像中，所述原始人体图像中的人体穿戴所述原始衣物图像中的衣物，且所述目标人体图像的裸露人体区域与所述第一裸露人体区域匹配。
可选地，所述人体区域检测模块，包括：
姿态图像获取单元，用于获取所述原始人体图像对应的人体姿态图像，所述人体姿态图像用于指示所述原始人体图像中的人体姿态；
第一人体检测单元，用于根据所述原始衣物图像和所述人体姿态图像，对所述原始人体图像进行人体区域检测，得到所述第一裸露区域图像，所述第一裸露区域图像用于指示所述原始人体图像中的人体在所述人体姿态下穿戴所述原始衣物图像中的衣物时，未被所述衣物遮挡的人体区域。
可选地，所述姿态图像获取单元，用于：
对所述原始人体图像进行姿态检测，确定所述原始人体图像中用于表示人体姿态的多个姿态点；
生成由所述多个姿态点构成的人体姿态图像。
可选地，所述人体区域检测模块，包括：
第二人体检测单元，用于对所述原始人体图像进行人体区域检测，得到第二裸露区域图像，所述第二裸露区域图像用于指示第二裸露人体区域，所述第二裸露人体区域为所述原始人体图像中未被衣物遮挡的人体区域；
图像映射单元，用于根据所述原始衣物图像中的衣物区域，对所述第二裸露区域图像进行映射，得到所述第一裸露区域图像。
可选地，所述图像融合模块，包括：
第一图像变换单元，用于根据所述第一裸露区域图像和所述原始人体图像对应的人体姿态图像，对所述原始衣物图像进行变换，得到目标衣物图像，以使所述目标衣物图像包含与所述原始衣物图像相同的衣物，衣物区域与所述第一裸露人体区域不重叠，且衣物姿态与所述人体姿态图像中的人体姿态匹配；
第一图像融合单元，用于对所述原始人体图像、所述第一裸露区域图像和所述目标衣物图像进行融合，得到所述目标人体图像。
可选地，所述第一图像变换单元，用于：
根据所述第一裸露区域图像和所述人体姿态图像，对所述原始衣物图像中的衣物区域进行变换，得到第一衣物区域图像，所述第一衣物区域图像中的衣物区域与所述第一裸露人体区域不重叠，且所述第一衣物区域图像中的衣物区域与所述人体姿态匹配；
根据所述第一衣物区域图像中的衣物区域，对所述原始衣物图像进行变换，得到所述目标衣物图像。
可选地，所述第一图像变换单元，用于：
对所述原始衣物图像进行衣物区域检测，得到第二衣物区域图像，所述第二衣物区域图像用于指示所述原始衣物图像中的衣物区域；
根据所述第一裸露区域图像和所述人体姿态图像，对所述第二衣物区域图像进行映射，得到所述第一衣物区域图像。
可选地，所述第一图像融合单元，用于：
对所述原始人体图像、所述第一裸露区域图像、所述第一衣物区域图像和所述目标衣物图像进行融合，得到所述目标人体图像，所述目标人体图像中的人体区域与所述第一衣物区域图像中的衣物区域不重叠。
可选地，所述人体区域检测模块，包括：
第三人体检测单元，用于调用虚拟换装模型中的人体区域检测子模型，根据所述原始衣物图像，对所述原始人体图像进行人体区域检测，得到所述第一裸露区域图像；
所述图像融合模块，包括：
第二图像融合单元，用于调用所述虚拟换装模型中的融合子模型，对所述原始人体图像、所述原始衣物图像和所述第一裸露区域图像进行融合，得到目标人体图像。
可选地，所述第三人体检测单元，用于：
调用所述人体区域检测子模型，根据所述原始衣物图像和所述人体姿态图像，对所述原始人体图像进行人体区域检测，得到所述第一裸露区域图像，所述第一裸露区域图像用于指示所述原始人体图像中的人体在所述人体姿态下穿戴所述原始衣物图像中的衣物时，未被所述衣物遮挡的人体区域。
可选地，所述人体区域检测子模型包括人体区域检测网络和人体区域映射网络，所述第三人体检测单元，用于：
调用所述人体区域检测网络，对所述原始人体图像进行人体区域检测，得到第二裸露区域图像，所述第二裸露人体区域为所述原始人体图像中未被衣物遮挡的人体区域；
调用所述人体区域映射网络，根据所述原始衣物图像中的衣物区域，对所述第二裸露区域图像进行映射，得到所述第一裸露区域图像。
可选地，所述融合子模型包括衣物变换网络和融合网络，所述第二图像融合单元，用于：
调用所述衣物变换网络，根据所述第一裸露区域图像和所述原始人体图像对应的人体姿态图像，对所述原始衣物图像进行变换，得到目标衣物图像，以使所述目标衣物图像包含与所述原始衣物图像相同的衣物，衣物区域与所述第一裸露人体区域不重叠，且衣物姿态与所述人体姿态图像中的人体姿态匹配；
调用所述融合网络，对所述原始人体图像、所述第一裸露区域图像和所述目标衣物图像进行融合，得到所述目标人体图像。
可选地，所述衣物变换网络包括衣物区域变换层和衣物变换层，所述第二图像融合单元，用于：
调用所述衣物区域变换层，根据所述第一裸露区域图像和所述人体姿态图像，对所述原始衣物图像中的衣物区域进行变换，得到第一衣物区域图像，所述第一衣物区域图像中的衣物区域与所述第一裸露人体区域不重叠，且所述第一衣物区域图像中的衣物区域与所述人体姿态匹配；
调用所述衣物变换层，根据所述第一衣物区域图像中的衣物区域，对所述原始衣物图像进行变换，得到所述目标衣物图像。
可选地，所述第二图像融合单元，用于：
调用所述衣物区域变换层，对所述原始衣物图像进行衣物区域检测，得到第二衣物区域图像，根据所述第一裸露区域图像和所述人体姿态图像，对所述第二衣物区域图像进行映射，得到所述第一衣物区域图像，所述第二衣物区域图像用于指示所述原始衣物图像中的衣物区域。
可选地，所述第二图像融合单元，用于：
调用所述融合网络，对所述原始人体图像、所述第一裸露区域图像、所述第一衣物区域图像和所述目标衣物图像进行融合，得到所述目标人体图像，所述目标人体图像中的人体区域与所述第一衣物区域图像中的衣物区域不重叠。
可选地，所述装置还包括：
所述图像获取模块，还用于获取样本原始衣物图像、样本原始人体图像和样本裸露区域图像，所述样本裸露区域图像用于指示样本裸露人体区域，所述样本裸露人体区域为所述样本原始人体图像中的人体在穿戴所述样本原始衣物图像中的样本衣物时，未被所述样本衣物遮挡的人体区域；
所述人体区域检测模块，还用于调用所述人体区域检测子模型，根据所述样本原始衣物图像，对所述样本原始人体图像进行人体区域检测，得到预测人体区域图像；
第一训练模块，用于根据所述预测裸露区域图像与所述样本裸露区域图像之间的差异，训练所述人体区域检测子模型。
可选地，所述装置还包括：
所述图像获取模块，还用于获取样本原始人体图像、样本原始衣物图像、样本裸露区域图像和样本目标人体图像；
所述图像融合模块，还用于调用所述融合子模型，对所述样本原始人体图像、所述样本原始衣物图像和所述样本裸露区域图像进行融合，得到预测目标人体图像；
第二训练模块，用于根据所述预测目标人体图像与所述样本目标人体图像之间的差异，训练所述融合子模型。
可选地，所述装置还包括：
所述图像获取模块，还用于获取样本原始衣物图像、样本衣物区域图像和样本目标衣物图像；
所述图像融合模块，还用于调用所述衣物变换层，根据所述样本衣物区域图像中的衣物区域，对所述样本原始衣物图像进行变换，得到预测目标衣物图像；
第三训练模块，用于根据所述预测目标衣物图像与所述样本目标衣物图像之间的差异，训练所述衣物变换层。
可选地，所述装置还包括：
轮廓点检测模块，用于调用所述衣物变换网络中的轮廓点检测层，对所述样本原始衣物图像进行轮廓点检测，在所述样本原始衣物图像中标记第一轮廓点集合，所述第一轮廓点集合中包括所述样本原始衣物图像中的衣物区域的多个轮廓点；
所述轮廓点检测模块，还用于调用所述轮廓点检测层，对所述样本衣物区域图像进行轮廓点检测，在所述样本衣物区域图像中标记第二轮廓点集合，所述第二轮廓点集合中包括所述样本衣物区域图像中的衣物区域的多个轮廓点；
所述图像融合模块，包括：
第二图像变换单元，用于调用所述衣物变换层，确定所述第一轮廓点集合变换到所述第二轮廓点集合的变换参数，根据所述变换参数，对所述样本原始衣物图像进行变换，得到所述预测目标衣物图像。
可选地，所述装置还包括：
所述轮廓点检测模块，还用于调用所述轮廓点检测层，对参考原始衣物图像进行轮廓点检测，在所述参考原始衣物图像中标记第三轮廓点集合，所述第三轮廓点集合中包括所述参考原始衣物图像中的衣物区域的多个轮廓点；
损失值确定模块，用于根据所述第三轮廓点集合中，每两个相邻轮廓点之间的距离或者每两个相邻轮廓点之间的斜率中的至少一项，确定损失值；
第四训练模块，用于根据所述损失值，训练所述轮廓点检测层。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现如上述方面所述的图像融合方法中所执行的操作。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如上述方面所述的图像融合方法中所执行的操作。
另一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机程序代码，所述计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取所述计算机程序代码，处理器执行所述计算机程序代码，使得所述计算机设备实现如上述方面所述的图像融合方法中所执行的操作。
本申请实施例提供的方法中，由于原始衣物图像中能够呈现待试穿的衣物形状，根据原始衣物图像，对原始人体图像进行人体区域检测，即可确定原始人体图像中的人体在穿戴该衣物时，未被衣物遮挡的裸露人体区域，从而生成裸露区域图像，而且裸露区域图像中不会包括其他干扰信息。这样在之后对该原始人体图像、原始衣物图像和裸露区域图像进行融合时，所得到的目标人体图像中的人体不仅穿戴着原始衣物图像中的衣物，而且能保证目标人体图像中的裸露人体区域与裸露区域图像中的裸露人体区域是匹配的，目标人体图像能够自适应保留未被衣物遮挡的人体区域，并去除被衣物遮挡的人体区域，使得人体与衣物更加贴合，试穿图像更加逼真，有利于提高图像显示效果，进而更加准确地呈现出用户试穿衣物的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种虚拟换装模型的示意图。
图2是本申请实施例提供的另一种虚拟换装模型的示意图。
图3是本申请实施例提供的另一种虚拟换装模型的示意图。
图4是本申请实施例提供的一种图像融合方法的流程图。
图5是本申请实施例提供的另一种图像融合方法的流程图。
图6是本申请实施例提供的一种图像的示意图。
图7是本申请实施例提供的另一种图像的示意图。
图8是本申请实施例提供的另一种图像的示意图。
图9是本申请实施例提供的另一种图像的示意图。
图10是本申请实施例提供的另一种图像的示意图。
图11是本申请实施例提供的一种调用虚拟换装模型进行图像融合的流程图。
图12是本申请实施例提供的另一种调用虚拟换装模型进行图像融合的流程图。
图13是本申请实施例提供的一种多级残差生成器的示意图。
图14是本申请实施例提供的另一种图像融合方法的流程图。
图15是本申请实施例提供的训练虚拟换装模型的流程图。
图16是本申请实施例提供的一种轮廓点的示意图。
图17是本申请实施例提供的一种图像融合装置的结构示意图。
图18是本申请实施例提供的另一种图像融合装置的结构示意图。
图19是本申请实施例提供的一种终端的结构示意图。
图20是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一裸露区域图像称为第二裸露区域图像，且类似地，可将第二裸露区域图像称为第一裸露区域图像。其中，多个是指两个或者两个以上，例如，多个姿态点可以是两个姿态点、三个姿态点等任一大于等于二的整数个姿态点。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术包括自然语言处理技术和机器学习。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
以下将基于人工智能技术和计算机视觉技术，对本申请实施例提供的图像融合方法进行说明。
本申请实施例提供了一种图像融合方法，执行主体为计算机设备，可以将人体图像和衣物图像进行融合。在一种可能实现方式中，该计算机设备为终端，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等。在另一种可能实现方式中，该计算机设备为服务器，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例提供的方法，可以应用于将人体图像和衣物图像进行融合的任一场景下。
例如，在网络购物时进行虚拟换装的场景下，若用户想要了解穿上某一衣物的效果，仅需提供该用户的人体图像，和该衣物的衣物图像，采用本申请实施例提供的方法，对人体图像和衣物图像进行融合，即可得到该用户穿上该衣物的人体图像，实现了线上虚拟换装，无需用户穿上真实的衣物。
除此之外，本申请实施例提供的图像融合方法，还可以应用于服装设计、服装展示或者线下购物的虚拟试穿等场景中。
在一种可能实现方式中，如图1所示，本申请实施例提供的虚拟换装模型11可以包括人体区域检测子模型1101和融合子模型1102。其中，人体区域检测子模型1101和融合子模型1102连接，人体区域检测子模型1101用于对人体图像进行检测得到裸露区域图像，融合子模型1102用于对人体图像、衣物图像和裸露区域图像进行融合。
可选地，如图2所示，人体区域检测子模型1101包括人体区域检测网络1111和人体区域映射网络1121，人体区域检测网络1111和人体区域映射网络1121连接，人体区域检测网络1111用于对人体图像进行检测得到裸露区域图像，人体区域映射网络1121用于对裸露区域图像进行映射。
可选地，如图2所示，融合子模型1102包括衣物变换网络1112和融合网络1122，衣物变换网络1112和融合网络1122连接，衣物变换网络1112用于对衣物图像进行变换，融合网络1122用于对人体图像、衣物图像和裸露区域图像进行融合。
可选地，如图2所示，衣物变换网络1112包括衣物区域变换层11121和衣物变换层11122，衣物区域变换层11121和衣物变换层11122连接，衣物区域变换层11121用于对衣物图像中的衣物区域进行变换得到衣物区域图像，衣物变换层11122用于对衣物图像进行变换。
可选地，如图3所示，衣物变换网络1112还包括轮廓点检测层11123，衣物区域变换层11121与轮廓点检测层11123连接，轮廓点检测层11123与衣物变换层11122连接，轮廓点检测层11123用于检测衣物图像或者衣物区域图像中的轮廓点。
图4是本申请实施例提供的一种图像融合方法的流程图。本申请实施例的执行主体为计算机设备，参见图4，该方法包括：
401、获取原始人体图像和原始衣物图像。
计算机设备获取原始人体图像和原始衣物图像，原始人体图像中包括人体，原始衣物图像中包括衣物。
可选地，原始衣物图像中的衣物与原始人体图像中的人体穿戴的衣物不同，该原始人体图像和原始衣物图像由用户上传至计算机设备中，或者由其他设备上传至计算机设备中，或者由计算机设备从其他设备中下载得到。
可选地，原始衣物图像为计算机设备中预先存储的图像，原始人体图像为计算机设备从其他设备中获取的图像。例如，计算机设备中存储有原始衣物图像，并将该原始衣物图像展示给用户，若用户想要了解自己穿上该原始衣物图像中的衣物的效果，则将自己的原始人体图像上传至该计算机设备中。
402、根据原始衣物图像，对原始人体图像进行人体区域检测，得到第一裸露区域图像。
计算机设备获取到原始人体图像和原始衣物图像之后，根据原始衣物图像，对原始人体图像进行人体区域检测，确定在原始人体图像中的人体穿戴原始衣物图像中的衣物时，未被该衣物遮挡的第一裸露人体区域，并根据该第一裸露人体区域得到第一裸露区域图像，使得该第一裸露区域图像用于指示第一裸露人体区域。
403、对原始人体图像、原始衣物图像和第一裸露区域图像进行融合，得到目标人体图像，以使在目标人体图像中，原始人体图像中的人体穿戴原始衣物图像中的衣物，且目标人体图像的裸露人体区域与第一裸露人体区域匹配。
计算机设备得到第一裸露区域图像后，对原始人体图像、原始衣物图像和该第一裸露区域图像进行融合，得到目标人体图像。
其中，计算机设备根据第一裸露区域图像，能够确定原始人体图像中的人体在穿戴原始衣物图像中的衣物时，未被衣物遮挡的人体区域，从而对原始人体图像进行调整，得到目标人体图像，以使目标人体图像的裸露人体区域与第一裸露区域图像中的第一裸露人体区域匹配，该目标人体图像中的人体与原始人体图像中的人体相同。计算机设备将该目标人体图像和原始衣物图像进行融合，以使目标人体图像中的人体穿戴原始衣物图像中的衣物。
本申请实施例提供的方法，由于原始衣物图像中能够呈现待试穿的衣物形状，根据原始衣物图像，对原始人体图像进行人体区域检测，即可确定原始人体图像中的人体在穿戴该衣物时，未被衣物遮挡的裸露人体区域，从而生成裸露区域图像，而且裸露区域图像中不会包括其他干扰信息。这样在之后对该原始人体图像、原始衣物图像和裸露区域图像进行融合时，所得到的目标人体图像中的人体不仅穿戴着原始衣物图像中的衣物，而且能保证目标人体图像中的裸露人体区域与裸露区域图像中的裸露人体区域是匹配的，目标人体图像能够自适应保留未被衣物遮挡的人体区域，并去除被衣物遮挡的人体区域，使得人体与衣物更加贴合，试穿图像更加逼真，有利于提高图像显示效果，进而更加准确地呈现出用户试穿衣物的效果。
图5是本申请实施例提供的另一种图像融合方法的流程图。本申请实施例的执行主体为计算机设备，参见图5，该方法包括：
501、计算机设备获取原始人体图像和原始衣物图像，以及原始人体图像对应的人体姿态图像。
其中，原始人体图像中包括人体，原始衣物图像中包括衣物。可选地，原始衣物图像中的衣物与原始人体图像中的人体穿戴的衣物不同。
其中，人体姿态图像用于指示原始人体图像中的人体姿态。可选地，该人体姿态图像为二维人体姿态图像或者三维人体姿态图像。可选地，该人体姿态图像为根据多个姿态点构成的图像。例如，参见图6，图6中包括原始人体图像601和该原始人体图像601对应的人体姿态图像602，人体姿态图像602由多个姿态点构成，该多个姿态点用于指示原始人体图像601中的人体姿态，例如，该多个姿态点为原始人体图像601中的人体的轮廓点。
在一种可能实现方式中，计算机设备获取到原始人体图像之后，对原始人体图像进行姿态检测，确定原始人体图像中用于表示人体姿态的多个姿态点，生成由多个姿态点构成的人体姿态图像。或者，计算机设备采用其他方式获得原始人体图像对应的人体姿态图像，本申请实施例对此不做限定。
在一种可能实现方式中，计算机设备调用Dense Pose(姿势识别)模型提取原始人体图像的三维人体姿态图像。
502、计算机设备根据原始衣物图像和人体姿态图像，对原始人体图像进行人体区域检测，得到第一裸露区域图像。
原始衣物图像中包括衣物，人体姿态图像用于表示人体姿态，因此，计算机设备根据原始衣物图像和人体姿态图像，对原始人体图像进行人体区域检测，能够确定原始人体图像中的人体在该人体姿态下，穿戴该原始衣物图像中的衣物时，未被该衣物遮挡的第一裸露人体区域，并根据该第一裸露人体区域得到第一裸露区域图像，该第一裸露区域图像用于指示该第一裸露人体区域。
可选地，第一裸露区域图像中包括脸部区域、头发区域、颈部区域、上身区域、下身区域、胳膊区域或者腿部区域等未被该衣物遮挡的人体区域。可选地，第一裸露区域图像中，根据人体区域是否裸露来设置不同的像素值，从而区分不同的人体区域。
如图7所示，图7中包括原始人体图像701、原始衣物图像702、人体姿态图像703和裸露区域图像704。裸露区域图像704与人体姿态图像703是匹配的，因此裸露区域图像704中的人体姿态与原始人体图像701中的人体姿态相同。衣物为原始衣物图像702中的衣物，且裸露区域图像704中的人体区域人体穿戴该衣物时未被遮挡的区域。其中，第一裸露人体区域图像704中包括裸露出来的脸部区域、头发区域、胳膊区域和腿部区域。
在一种可能实现方式中，计算机设备对原始人体图像进行人体区域检测，得到第二裸露区域图像，其中，第二裸露区域图像用于指示第二裸露人体区域，第二裸露人体区域为原始人体图像中未被衣物遮挡的人体区域，该衣物是指原始人体图像中的人体穿戴的衣物。则计算机设备根据原始衣物图像中的衣物区域和人体姿态图像，对第二裸露区域图像进行映射，得到第一裸露区域图像。或者，计算机设备得到第二裸露人体区域，仅根据原始衣物图像中的衣物区域对第二裸露区域图像进行映射，得到第一裸露区域图像。
可选地，计算机设备确定第二裸露区域图像中的第二裸露人体区域，根据原始衣物图像中的衣物区域和人体姿态图像，对该第二裸露人体区域进行映射，得到第一裸露人体区域，以使第一裸露人体区域为原始人体图像中的人体在该人体姿态下，穿戴该原始衣物图像中的衣物时，未被该衣物遮挡的人体区域。计算机设备根据该第一裸露人体区域，生成第一裸露区域图像。上述映射是指将第二裸露人体区域进行变形，得到变形后的第一裸露人体区域，以使第一裸露人体区域为人体在该人体姿态下穿戴该衣物时未被遮挡的人体区域。
503、计算机设备根据第一裸露区域图像和人体姿态图像，对原始衣物图像中的衣物区域进行变换，得到第一衣物区域图像。
计算机设备获取到第一裸露区域图像，则确定原始衣物图像中的衣物区域，根据第一裸露区域图像和人体姿态图像，对原始衣物图像中的衣物区域进行变换，得到第一衣物区域图像，以使该第一衣物区域图像中的衣物区域与第一裸露区域图像中的第一裸露人体区域不重叠，且第一衣物区域图像中的衣物区域与人体姿态匹配。
其中，第一衣物区域图像中的衣物区域与第一裸露人体区域进行组合，刚好使得衣物区域与第一裸露人体区域吻合，没有重叠部分，也没有残缺部分。
其中，衣物区域能够表示衣物形状，衣物区域与人体姿态匹配是指，衣物形状与人体姿态匹配，也即是，原始人体图像中的人体在该人体姿态下，穿戴该衣物时，该衣物的形状与衣物区域表示的形状是相同的。
如图8所示，图8中包括裸露区域图像801、人体姿态图像802、原始衣物图像803和衣物区域图像804。根据裸露区域图像801和人体姿态图像802，对原始衣物图像803中的衣物区域进行变换，得到衣物区域图像804，该衣物区域图像804的衣物区域，与裸露区域图像801中的人体区域不重叠，且衣物区域与人体姿态匹配。从图8中的裸露区域图像801和人体姿态图像802能够看出人体的腰部偏左方，肩部偏右后方，因此得到的衣物区域图像804中的衣物，也呈现出腰部偏左方，肩部偏右后方的姿态。
在一种可能实现方式中，该第一衣物区域图像为原始衣物图像对应的第一衣物掩模图像。则计算机设备根据第一裸露区域图像和人体姿态图像，对该原始衣物图像进行图像掩模处理，得到用于表示衣物区域的第一衣物掩模图像。可选地，在第一衣物掩模图像中，衣物区域的颜色与衣物区域以外的区域的颜色不同，以此来表示衣物区域。例如，第一衣物掩模图像中，衣物区域的颜色为白色，除衣物区域以外的区域的颜色为黑色。
在一种可能实现方式中，计算机设备对原始衣物图像进行衣物区域检测，得到第二衣物区域图像，计算机设备根据第一裸露区域图像和人体姿态图像，对第二衣物区域图像进行映射，得到第一衣物区域图像。
其中，第二衣物区域图像用于指示原始衣物图像中的衣物区域，因此该第二衣物区域图像用于表示原始衣物图像中的衣物形状，则计算机设备根据第一裸露区域图像和人体姿态图像，对第二衣物区域图像进行映射，得到映射后的第一衣物区域图像，该第一衣物区域图像中的衣物区域与第二衣物区域图像中的衣物区域不同，也即是第一衣物区域图像用于表示原始衣物图像中的衣物变形后的衣物形状，并且，变形后的衣物形状，与原始人体图像中的人体在该人体姿态下，穿戴该衣物时的衣物形状是相同的。
可选地，第二衣物区域图像用于指示第二衣物区域，第二衣物区域为原始衣物图像中的衣物区域。计算机设备确定第二衣物区域图像中的第二衣物区域，根据第一裸露区域图像和人体姿态图像，对第二衣物区域进行映射，得到第一衣物区域，以使第一衣物区域与第一裸露人体区域不重叠，且第一衣物区域与人体姿态匹配。计算机设备根据该第一衣物区域，生成用于指示第一衣物区域的第一衣物区域图像。
504、计算机设备根据第一衣物区域图像中的衣物区域，对原始衣物图像进行变换，得到目标衣物图像。
计算机设备获取到第一衣物区域图像之后，根据第一衣物区域图像中的衣物区域，对原始衣物图像进行变换，得到目标衣物图像，以使目标衣物图像中包含与原始衣物图像相同的衣物，且目标衣物图像中的衣物区域与第一衣物区域图像中的衣物区域匹配，也即是目标衣物图像中的衣物姿态与第一衣物区域图像中的衣物区域所表示的衣物姿态相同。且由于第一衣物区域图像中的衣物区域与第一裸露人体区域不重叠，因此目标衣物图像中的衣物区域与第一裸露人体区域不重叠。且由于第一衣物区域图像中的衣物区域与人体姿态图像中的人体姿态匹配，因此目标衣物图像中的衣物姿态与人体姿态图像中的人体姿态匹配。
其中，目标衣物图像中的衣物与原始衣物图像中的衣物相同，只是目标衣物图像中的衣物姿态与原始衣物图像中的衣物姿态不同，也即是将原始衣物图像中的衣物进行了变形，得到目标衣物图像。对衣物进行变形，包括对衣物进行放缩、旋转或者拉伸等操作。
如图9所示，图9中包括第一衣物区域图像901、原始衣物图像902和目标衣物图像903，根据第一衣物区域图像901中的衣物区域，对原始衣物图像902进行变换，得到目标衣物图像903，目标衣物图像903的衣物区域与第一衣物区域图像901中的衣物区域匹配，目标衣物图像903中的衣物与原始衣物图像902中的衣物相同。
在一种可能实现方式中，计算机设备对第一衣物区域图像进行轮廓点检测，得到第四轮廓点集合，第四轮廓点集合中包括第一衣物区域图像中的衣物区域的多个轮廓点。计算机设备对原始衣物图像进行轮廓点检测，得到第五轮廓点集合，第五轮廓点集合中包括原始衣物图像中的衣物区域的多个轮廓点。计算机设备对第四轮廓点集合和第五轮廓点集合进行处理，确定第五轮廓点集合变换到第四轮廓点集合的变换关系，根据该变换关系，对原始衣物图像进行变换，得到目标衣物图像。
需要说明的是，上述步骤503-504中，说明了先获取第一衣物区域图像，再根据第一衣物区域图像对原始衣物图像进行变换，得到目标衣物图像的过程。而在另一实施例中，计算机设备采用其他方法，来根据第一裸露区域图像和原始人体图像对应的人体姿态图像，对原始衣物图像进行变换，得到目标衣物图像。
505、计算机设备对原始人体图像、第一裸露区域图像和目标衣物图像进行融合，得到目标人体图像。
计算机设备得到第一裸露区域图像后，对原始人体图像、原始衣物图像和该第一裸露区域图像进行融合，得到目标人体图像，以使目标人体图像中，原始人体图像中的人体穿戴目标衣物图像中的衣物，且目标人体图像的裸露人体区域与第一裸露人体区域匹配。
其中，计算机设备根据第一裸露区域图像，能够确定原始人体图像中的人体在穿戴原始衣物图像中的衣物时，未被衣物遮挡的人体区域，因此计算机根据该第一裸露区域图像，对原始人体图像进行调整，以使原始人体图像的裸露人体区域与第一裸露区域图像中的第一裸露人体区域匹配。计算机设备将调整后的原始人体图像和目标衣物图像进行融合，得到目标人体图像，以使目标人体图像中的人体穿戴目标衣物图像中的衣物，从而完成对原始人体图像、第一裸露区域图像和目标衣物图像的融合。
可选地，计算机设备根据第一裸露区域图像，对原始人体图像进行调整时，若第一裸露区域图像中的第一裸露人体区域，在原始人体图像中被衣物覆盖，则将原始人体图像中被衣物覆盖的人体区域补全，以此得到与第一裸露区域图像匹配的人体图像。
如图10所示，图10中包括原始人体图像1001、第一裸露区域图像1002、目标衣物图像1003和目标人体图像1004，对原始人体图像1001、第一裸露区域图像1002和目标衣物图像1003进行融合，得到目标人体图像1004。目标人体图像1004中，原始人体图像1001中的人体穿戴目标衣物图像1003中的衣物，且目标人体图像1004的裸露人体区域与第一裸露区域图像1002中的第一裸露人体区域匹配。
在一种可能实现方式中，计算机设备获取步骤503中得到的第一衣物区域图像，对原始人体图像、第一裸露区域图像、第一衣物区域图像和目标衣物图像进行融合，得到目标人体图像，以使目标人体图像中的人体穿戴原始衣物图像中的衣物，且目标人体图像的裸露人体区域与第一裸露人体区域匹配，且目标人体图像中的人体区域与第一衣物区域图像中的衣物区域不重叠。
其中，计算机设备根据第一裸露区域图像，对原始人体图像进行调整，以使原始人体图像中的裸露人体区域与第一裸露区域图像中的第一裸露人体区域匹配。计算机设备根据第一衣物区域图像，能够确定原始人体图像中的人体在穿戴目标衣物图像中的衣物时的衣物区域，因此计算机设备根据第一衣物区域图像，对该原始人体图像进行调整，以使原始人体图像中的人体区域与第一衣物区域图像中的衣物区域不重叠。计算机设备将调整后的原始人体图像和原始衣物图像进行融合，以使目标人体图像中的人体穿戴原始衣物图像中的衣物，从而完成对原始人体图像、第一裸露区域图像、第一衣物区域图像和目标衣物图像的融合。
可选地，计算机设备根据第一衣物区域图像，对原始人体图像进行调整时，根据第一衣物区域图像中的衣物区域，确定原始人体图像中的人体在穿戴目标衣物图像中的衣物时该衣物对应的第三衣物区域，确定原始人体图像中的人体穿戴衣物时的第四衣物区域，若第三衣物区域与第四衣物区域，存在不重叠区域，例如第四衣物区域大于第三衣物区域，则将原始人体图像中该不重叠区域对应的衣物删除。
本申请实施例提供的方法，由于原始衣物图像中能够呈现待试穿的衣物形状，根据原始衣物图像，对原始人体图像进行人体区域检测，即可确定原始人体图像中的人体在穿戴该衣物时，未被衣物遮挡的裸露人体区域，从而生成裸露区域图像，而且裸露区域图像中不会包括其他干扰信息。这样在之后对该原始人体图像、原始衣物图像和裸露区域图像进行融合时，所得到的目标人体图像中的人体不仅穿戴着原始衣物图像中的衣物，而且能保证目标人体图像中的裸露人体区域与裸露区域图像中的裸露人体区域是匹配的，目标人体图像能够自适应保留未被衣物遮挡的人体区域，并去除被衣物遮挡的人体区域，使得人体与衣物更加贴合，试穿图像更加逼真，有利于提高图像显示效果，进而更加准确地呈现出用户试穿衣物的效果。
并且，由于人体姿态图像能够呈现原始人体图像中的人体姿态，根据人体姿态图像和原始衣物图像，对原始人体图像进行人体区域检测，即可确定原始人体图像中的人体在该人体姿态下穿戴该衣物时，未被衣物遮挡的裸露人体区域，从而生成裸露区域图像。这样在之后根据人体姿态图像和裸露区域图像对原始衣物图像进行变换，得到目标衣物图像，能够使目标衣物图像中的衣物区域与裸露人体区域不重叠，而且能保证目标衣物图像中的衣物姿态与人体姿态图像中的人体姿态匹配，因此将原始人体图像、裸露区域图像和目标衣物图像进行融合，得到目标人体图像，使得衣物姿态与人体姿态贴合，试穿图像更加逼真，进一步提高了图像显示效果，更加准确地呈现出用户试穿衣物的效果。
本申请实施例提供了一种调用虚拟换装模型进行图像融合的方法，本申请实施例的执行主体为计算机设备，参见图11，该方法包括：
1101、计算机设备获取原始人体图像和原始衣物图像。
该步骤1101与上述步骤401类似，在此不再赘述。
1102、计算机设备调用虚拟换装模型中的人体区域检测子模型，根据原始衣物图像，对原始人体图像进行人体区域检测，得到第一裸露区域图像。
其中，虚拟换装模型用于根据人体图像和衣物图像进行虚拟换装，虚拟换装模型中包括人体区域检测子模型和融合子模型，该虚拟换装模型与上述图1中的虚拟换装模型类似，在此不再赘述。
计算机设备将原始人体图像和原始衣物图像输入人体区域检测子模型，由人体区域检测子模型根据原始衣物图像，对原始人体图像进行人体区域检测，输出第一裸露区域图像，该第一裸露区域图像与上述步骤402中的第一裸露区域图像类似，在此不再赘述。
在一种可能实现方式中，人体区域检测子模型包括人体区域检测网络和人体区域映射网络，人体区域检测网络和人体区域映射网络连接。计算机设备调用人体区域检测网络，对原始人体图像进行人体区域检测，得到第二裸露区域图像，第二裸露人体区域为原始人体图像中未被衣物遮挡的人体区域，调用人体区域映射网络，根据原始衣物图像中的衣物区域，对第二裸露区域图像进行映射，得到第一裸露区域图像。
1103、计算机设备调用虚拟换装模型中的融合子模型，对原始人体图像、原始衣物图像和第一裸露区域图像进行融合，得到目标人体图像。
计算机设备将原始人体图像、原始衣物图像和第一裸露区域图像输入至融合子模型中，由融合子模型对原始人体图像、原始衣物图像和第一裸露区域图像进行融合，输出目标人体图像。该目标人体图像与上述步骤403中的目标人体图像类似，在此不再赘述。
需要说明的是，该虚拟换装模型为计算机设备中存储的预先训练好的模型，该虚拟换装模型为计算机设备训练的模型或者为其他设备训练的模型。
在一种可能实现方式中，训练人体区域检测子模型的过程包括：获取样本原始衣物图像、样本原始人体图像和样本裸露区域图像，调用人体区域检测子模型，根据样本原始衣物图像，对样本原始人体图像进行人体区域检测，得到预测人体区域图像，根据预测裸露区域图像与样本裸露区域图像之间的差异，训练人体区域检测子模型，以使人体区域检测子模型输出的预测裸露区域图像与样本裸露区域图像之间的差异越来越小，也即是使人体区域检测子模型输出的预测裸露区域图像越来越准确。
其中，样本裸露区域图像用于指示样本裸露人体区域，样本裸露人体区域为样本原始人体图像中的人体在穿戴样本原始衣物图像中的样本衣物时，未被样本衣物遮挡的人体区域。
在一种可能实现方式中，训练融合子模型的过程包括：获取样本原始人体图像、样本原始衣物图像、样本裸露区域图像和样本目标人体图像，调用融合子模型，对样本原始人体图像、样本原始衣物图像和样本裸露区域图像进行融合，得到预测目标人体图像，根据预测目标人体图像与样本目标人体图像之间的差异，训练融合子模型，以使融合子模型输出的预测目标人体图像与样本目标人体图像之间的差异越来越小，也即是使融合子模型输出的预测目标人体图像越来越准确。
其中，样本目标人体图像中包含样本原始人体图像中的人体，且样本目标人体图像中的人体穿戴样本原始衣物图像中的衣物，且样本目标人体图像的裸露人体区域与样本裸露人体区域匹配。
在一种可能实现方式中，训练虚拟换装模型时，分别训练人体区域检测子模型和融合子模型，将训练好的人体区域检测子模型和训练好的融合子模型进行连接，得到训练好的虚拟换装模型。或者，将人体区域检测子模型和融合子模型连接得到虚拟换装模型，同时对人体区域检测子模型和融合子模型进行训练，得到训练好的虚拟换装模型。
本申请实施例提供的方法，由于原始衣物图像中能够呈现待试穿的衣物形状，因此调用虚拟换装模型，根据原始衣物图像，对原始人体图像进行人体区域检测，即可确定原始人体图像中的人体在穿戴该衣物时，未被衣物遮挡的裸露人体区域，从而生成裸露区域图像，而且裸露区域图像中不会包括其他干扰信息。这样在之后调用虚拟换装模型，对该原始人体图像、原始衣物图像和裸露区域图像进行融合时，所得到的目标人体图像中的人体不仅穿戴着原始衣物图像中的衣物，而且能保证目标人体图像中的裸露人体区域与裸露区域图像中的裸露人体区域是匹配的，目标人体图像能够自适应保留未被衣物遮挡的人体区域，并去除被衣物遮挡的人体区域，使得人体与衣物更加贴合，试穿图像更加逼真，有利于提高图像显示效果，进而更加准确地呈现出用户试穿衣物的效果。
本申请实施例提供了另一种调用虚拟换装模型进行图像融合的方法，本申请实施例的执行主体为计算机设备，参见图12，该方法包括：
1201、计算机设备获取原始人体图像和原始衣物图像，以及原始人体图像对应的人体姿态图像。
该步骤1201与上述步骤501类似，在此不再赘述。
1202、计算机设备调用虚拟换装模型中的人体区域检测子模型，根据原始衣物图像和人体姿态图像，对原始人体图像进行人体区域检测，得到第一裸露区域图像。
本申请实施例中的虚拟换装模型与上述图2中的虚拟换装模型类似，在此不再赘述。
计算机设备将原始衣物图像、人体姿态图像和原始人体图像输入至人体区域检测子模型中，由人体区域检测子模型根据原始衣物图像和人体姿态图像，对原始人体图像进行人体区域检测，输出第一裸露区域图像。该第一裸露区域图像与上述步骤502中的第一裸露区域图像类似，在此不再赘述。
本申请实施例中，虚拟换装模型中的融合子模型中包括衣物变换网络和融合网络，衣物变换网络包括衣物区域变换层和衣物变换层。则计算机设备获取到第一裸露区域图像，执行下述步骤1203-1205。
1203、计算机设备调用衣物区域变换层，根据第一裸露区域图像和人体姿态图像，对原始衣物图像中的衣物区域进行变换，得到第一衣物区域图像。
计算机设备将第一裸露区域图像、人体姿态图像和原始衣物图像输入至衣物区域变换层，由衣物区域变换层根据第一裸露区域图像和人体姿态图像，对原始衣物图像中的衣物区域进行变换，输出第一衣物区域图像。该第一衣物区域图像与上述步骤503中的第一衣物区域图像类似，在此不再赘述。
在一种可能实现方式中，计算机设备将第一裸露区域图像、人体姿态图像和原始衣物图像输入至衣物区域变换层，由衣物区域变换层对原始衣物图像进行衣物区域检测，得到第二衣物区域图像，根据第一裸露区域图像和人体姿态图像，对第二衣物区域图像进行映射，输出第一衣物区域图像。其中，第二衣物区域图像用于指示原始衣物图像中的衣物区域。
1204、计算机设备调用衣物变换层，根据第一衣物区域图像中的衣物区域，对原始衣物图像进行变换，得到目标衣物图像。
计算机设备将第一衣物区域图像和原始衣物图像输入至衣物变换层，由衣物变换层根据第一衣物区域图像中的衣物区域，对原始衣物图像进行变换，输出目标衣物图像。该目标衣物图像与上述步骤504中的目标衣物图像类似，在此不再赘述。
需要说明的是，上述步骤1203-1204中，通过调用衣物变换网络中的衣物区域变换层和衣物变换层，得到目标衣物图像。在另一实施例中，该衣物变换网络为其他结构的网络，计算机设备调用衣物变换网络，根据第一裸露区域图像和原始人体图像对应的人体姿态图像，对原始衣物图像进行变换，得到目标衣物图像。
在一种可能实现方式中，该衣物变换层为基于薄板样条算法(TPS，Thin platespline)构架的空间转换网络。其中，薄板样条算法是一种插值算法，用于图像变形等，通过控制点驱动图像进行变化。其中，空间转化网络是对数据进行空间变换的操作网络。
1205、计算机设备调用融合网络，对原始人体图像、第一裸露区域图像和目标衣物图像进行融合，得到目标人体图像。
计算机设备将原始人体图像、第一裸露区域图像和目标衣物图像输入至融合网络，由融合网络对原始人体图像、第一裸露区域图像和目标衣物图像进行融合，输出目标人体图像。该目标人体图像中的人体穿戴目标衣物图像中的衣物，且目标人体图像的裸露人体区域与第一裸露人体区域匹配。
在一种可能实现方式中，计算机设备调用融合网络，对原始人体图像、第一裸露区域图像、第一衣物区域图像和目标衣物图像进行融合，得到目标人体图像，目标人体图像中的人体区域与第一衣物区域图像中的衣物区域不重叠。
在一种可能实现方式中，本申请实施例中的虚拟换装模型采用多级残差生成器来生成图像。如图13所示，多级残差生成器1301包括下采样网络1311、多级残差网络1321和上采样网络1331。其中，下采样网络1311输出低分辨率的图像，多级残差网络1321对低分辨率的图像进行处理，输出高分辨率的图像，再由上采样网络1331对高分辨率的图像进行处理，能够避免丢失图像中的信息，从而实现生成高清图像。
图14是本申请实施例提供的另一种图像融合方法的流程图，参见图14，计算机设备将原始人体图像1405、原始人体图像1405对应的人体姿态图像1406以及原始衣物图像1407输入至人体区域检测子模型1401，人体区域检测子模型1401输出裸露区域图像1408，计算机设备将裸露区域图像1408、人体姿态图像1406、原始人体图像1405和原始衣物图像1407输入至衣物区域变换层1402，衣物区域变换层1402输出衣物区域图像1409。
计算机设备将衣物区域图像1409和原始衣物图像1407输入至衣物变换层1403，衣物变换层1403输出目标衣物图像1410。
计算机设备将目标衣物图像1410、原始人体图像1405、裸露区域图像1408和衣物区域图像1409输入至融合网络1404，融合网络1404输出目标人体图像1411。
其中，上述衣物区域变换层1402和衣物变换层1403连接构成衣物变换网络，上述融合网络1404与衣物变换网络连接构成融合子模型，上述人体区域检测子模型1401与融合子模型连接构成虚拟换装模型。
本申请实施例提供的方法，由于原始衣物图像中能够呈现待试穿的衣物形状，因此调用虚拟换装模型，根据原始衣物图像，对原始人体图像进行人体区域检测，即可确定原始人体图像中的人体在穿戴该衣物时，未被衣物遮挡的裸露人体区域，从而生成裸露区域图像，而且裸露区域图像中不会包括其他干扰信息。这样在之后调用虚拟换装模型，对该原始人体图像、原始衣物图像和裸露区域图像进行融合时，所得到的目标人体图像中的人体不仅穿戴着原始衣物图像中的衣物，而且能保证目标人体图像中的裸露人体区域与裸露区域图像中的裸露人体区域是匹配的，目标人体图像能够自适应保留未被衣物遮挡的人体区域，并去除被衣物遮挡的人体区域，使得人体与衣物更加贴合，试穿图像更加逼真，有利于提高图像显示效果，进而更加准确地呈现出用户试穿衣物的效果。
并且，由于人体姿态图像能够呈现原始人体图像中的人体姿态，因此调用虚拟换装模型，根据人体姿态图像和原始衣物图像，对原始人体图像进行人体区域检测，即可确定原始人体图像中的人体在该人体姿态下穿戴该衣物时，未被衣物遮挡的裸露人体区域，从而生成裸露区域图像。这样在之后根据人体姿态图像和裸露区域图像对原始衣物图像进行变换，得到目标衣物图像，能够使目标衣物图像中的衣物区域与裸露人体区域不重叠，而且能保证目标衣物图像中的衣物姿态与人体姿态图像中的人体姿态匹配，因此调用虚拟换装模型，将原始人体图像、裸露区域图像和目标衣物图像进行融合，得到目标人体图像，使得衣物姿态与人体姿态贴合，试穿图像更加逼真，进一步提高了图像显示效果，更加准确地呈现出用户试穿衣物的效果。
需要说明的是，上述实施例中的虚拟换装模型为计算机设备中存储的预先训练好的模型，该虚拟换装模型为计算机设备训练的模型或者为其他设备训练的模型。虚拟换装模型包括人体区域检测子模型和融合子模型，融合子模型包括衣物变换网络和融合网络，衣物变换网络包括衣物区域变换层和衣物变换层。则参见图15，训练该虚拟换装模型的过程包括：
1501、根据样本原始衣物图像、样本人体姿态图像、样本原始人体图像和样本裸露区域图像，训练人体区域检测子模型。
计算机设备调用人体区域检测子模型，根据样本原始衣物图像和样本人体姿态图像，对样本原始人体图像进行人体区域检测，得到预测裸露区域图像。根据预测裸露区域图像与样本裸露区域图像之间的差异，训练人体区域检测子模型。
其中，样本人体姿态图像用于指示样本原始人体图像中的人体姿态，样本裸露区域图像中的裸露人体区域为，样本原始人体图像中的人体在该人体姿态下，穿戴该样本原始衣物图像中的衣物时，未被该衣物遮挡的人体区域。
1502、根据样本裸露区域图像、样本人体姿态图像、样本原始衣物图像和样本衣物区域图像，训练衣物区域变换层。
计算机设备调用衣物区域变换层，根据样本裸露区域图像和样本人体姿态图像，对样本原始衣物图像中的衣物区域进行变换，得到预测衣物区域图像。根据预测衣物区域图像与样本衣物区域图像之间的差异，训练衣物区域变换层。
其中，样本衣物区域图像中的衣物区域与样本裸露区域图像中的裸露人体区域不重叠，且样本衣物区域图像中的衣物区域与样本人体姿态图像中的人体姿态匹配。
1503、根据样本衣物区域图像、样本原始衣物图像和样本目标衣物图像，训练衣物变换层。
计算机设备调用衣物变换层，根据样本衣物区域图像中的衣物区域，对样本原始衣物图像进行变换，得到预测目标衣物图像。根据预测目标衣物图像与样本目标衣物图像之间的差异，训练衣物变换层。
其中，样本目标衣物图像包含与样本原始衣物图像相同的衣物，样本目标衣物图像中的衣物区域与样本衣物区域图像中的衣物区域匹配。
在一种可能实现方式中，计算机设备调用衣物变换网络中的轮廓点检测层，对样本原始衣物图像进行轮廓点检测，在样本原始衣物图像中标记第一轮廓点集合，第一轮廓点集合中包括样本原始衣物图像中的衣物区域的多个轮廓点；调用轮廓点检测层，对样本衣物区域图像进行轮廓点检测，在样本衣物区域图像中标记第二轮廓点集合，第二轮廓点集合中包括样本衣物区域图像中的衣物区域的多个轮廓点；调用衣物变换层，确定第一轮廓点集合变换到第二轮廓点集合的变换参数，根据变换参数，对样本原始衣物图像进行变换，得到预测目标衣物图像。
在训练过程中，衣物变换网络中的轮廓点检测层，轮廓点检测层用于检测衣物图像或者衣物区域图像中的轮廓点，轮廓点是指衣物区域的轮廓位置处的点。本申请实施例中，采用薄板样条算法实现衣物变换，因此，将轮廓点作为控制衣物变换的控制点。
可选地，第一轮廓点集合中的轮廓点的个数，与第二轮廓点集合中的轮廓点的个数相同，则第一轮廓点集合中的轮廓点与第二轮廓点集合中的轮廓点一一对应，因此，调用衣物变换层，确定第一轮廓点集合变换到第二轮廓点集合的变换参数，根据变换参数，对样本原始衣物图像中的其他控制点进行变换，有其他控制点驱动样本原始衣物图像进行变换，得到变换后的样本目标衣物图像。
需要说明的是，在使用轮廓点检测层获取图像对应的轮廓点集合之前，需要训练轮廓点检测层，则训练轮廓点检测层的过程包括：计算机设备调用轮廓点检测层，对参考原始衣物图像进行轮廓点检测，在参考原始衣物图像中标记第三轮廓点集合，第三轮廓点集合中包括参考原始衣物图像中的衣物区域的多个轮廓点；根据第三轮廓点集合中，每两个相邻轮廓点之间的距离或者每两个相邻轮廓点之间的斜率中的至少一项，确定损失值；根据损失值，训练轮廓点检测层。
可选地，计算机设备采用以下算法，确定损失值：
L1表示损失值，λr和λs是权重超参数。如图16所示，p、p0、p1、p2和p3为第三轮廓点集合P中的轮廓点，p0为p上方的轮廓点，p1为p下方的轮廓点，p2为p左方的轮廓点，p3为p右方的轮廓点。||pp0||1表示p0和p之间的距离，||pp1||1表示p1和p之间的距离，||pp2||1表示p2和p之间的距离，||pp3||1表示p3和p之间的距离，S(p,p0)表示p0和p之间的斜率，S(p,p1)表示p1和p之间的斜率，S(p,p2)表示p2和p之间的斜率，S(p,p3)表示p3和p之间的斜率。
由于损失值与相邻轮廓点之间的距离有关，因此根据该损失值，来训练轮廓点检测层，使得轮廓点检测层得到的轮廓点之间的距离不会相差过大，由于损失值与相邻轮廓点之间的斜率有关，因此根据该损失值，来训练轮廓点检测层，使得轮廓点检测层得到的轮廓点之间的斜率不会相差过大，因此后续根据轮廓点对衣物图像进行变换时，能够避免由于轮廓点之间的距离或者斜率过大，导致衣物变形过度的情况。
1504、将训练好的衣物区域变换层和衣物变换层连接，得到训练好的衣物变换网络。
1505、根据样本原始人体图像、样本裸露区域图像、样本目标衣物图像和样本目标人体图像，训练融合网络。
计算机设备调用融合网络，对样本原始人体图像、样本裸露区域图像和样本目标衣物图像进行融合，得到预测目标人体图像。根据预测目标人体图像与样本目标人体图像之间的差异，训练融合网络。
其中，样本目标人体图像中，样本原始人体图像的人体穿戴样本目标衣物图像中的衣物，且样本目标人体图像的裸露人体区域与样本区域图像中的裸露人体区域匹配。
1506、将训练好的衣物变换网络和融合网络连接，得到训练好的融合子模型。
1507、将训练好的人体区域检测子模型和融合子模型连接，得到训练好的虚拟换装模型。
在一种可能实现方式中，计算机设备获取两套样本图像集，两套样本图像集中的图像尺寸分别为512*384以及1024*768，根据两套样本图像集，分别训练两个虚拟换装模型，由于训练两个虚拟换装模型所用到的样本图像的尺寸不同，因此两个虚拟换装模型所处理的图像尺寸也不同。根据尺寸为1024*768的样本图像集训练的虚拟换装模型，能够处理更加清晰的图像。因此，通过提供清晰的样本图像集，来训练能够处理清晰图像的虚拟换装模型，满足了虚拟换装模型处理清晰图像的数据驱动需求。
本申请实施例中，仅以先训练人体区域检测子模型，再训练衣物变换网络，然后训练融合网络为例进行说明，在另一实施例中，可以采用其他顺序分别训练人体区域检测子模型、衣物变换网络和融合网络。其中，训练人体区域检测子模型、衣物变换网络和融合网络的样本图像可以相同也可以不同。或者，计算机设备先将人体区域检测子模型、衣物变换网络和融合网络进行连接得到虚拟换装模型之后，再训练虚拟换装模型。
本申请实施例提供的方法，在训练衣物变换层时，调用衣物变换层，确定原始衣物图像的轮廓点变换到衣物区域图像中的轮廓点的变换关系，根据变换关系对原始衣物图像进行变换，得到目标衣物图像，从而对目标衣物图像进行轮廓上的约束，避免目标衣物图像变形过度的情况，提高了衣物变换层生成的目标衣物图像的真实性。后续根据该目标衣物图像生成目标人体图像，进一步保证了目标人体图像的真实性，提高图像融合的效果。
图17是本申请实施例提供的一种图像融合装置的结构示意图。参见图17，该装置包括：
图像获取模块1701，用于获取原始人体图像和原始衣物图像；
人体区域检测模块1702，用于根据原始衣物图像，对原始人体图像进行人体区域检测，得到第一裸露区域图像，第一裸露区域图像用于指示第一裸露人体区域，第一裸露人体区域为原始人体图像中的人体在穿戴原始衣物图像中的衣物时，未被衣物遮挡的人体区域；
图像融合模块1703，用于对原始人体图像、原始衣物图像和第一裸露区域图像进行融合，得到目标人体图像，以使在目标人体图像中，原始人体图像中的人体穿戴原始衣物图像中的衣物，且目标人体图像的裸露人体区域与第一裸露人体区域匹配。
本申请实施例提供的图像融合装置，于原始衣物图像中能够呈现待试穿的衣物形状，根据原始衣物图像，对原始人体图像进行人体区域检测，即可确定原始人体图像中的人体在穿戴该衣物时，未被衣物遮挡的裸露人体区域，从而生成裸露区域图像，而且裸露区域图像中不会包括其他干扰信息。这样在之后对该原始人体图像、原始衣物图像和裸露区域图像进行融合时，所得到的目标人体图像中的人体不仅穿戴着原始衣物图像中的衣物，而且能保证目标人体图像中的裸露人体区域与裸露区域图像中的裸露人体区域是匹配的，目标人体图像能够自适应保留未被衣物遮挡的人体区域，并去除被衣物遮挡的人体区域，使得人体与衣物更加贴合，试穿图像更加逼真，有利于提高图像显示效果，进而更加准确地呈现出用户试穿衣物的效果。
可选地，参见图18，人体区域检测模块1702，包括：
姿态图像获取单元1712，用于获取原始人体图像对应的人体姿态图像，人体姿态图像用于指示原始人体图像中的人体姿态；
第一人体检测单元1722，用于根据原始衣物图像和人体姿态图像，对原始人体图像进行人体区域检测，得到第一裸露区域图像，第一裸露区域图像用于指示原始人体图像中的人体在人体姿态下穿戴原始衣物图像中的衣物时，未被衣物遮挡的人体区域。
可选地，参见图18，姿态图像获取单元1712，用于：
对原始人体图像进行姿态检测，确定原始人体图像中用于表示人体姿态的多个姿态点；
生成由多个姿态点构成的人体姿态图像。
可选地，参见图18，人体区域检测模块1702，包括：
第二人体检测单元1732，用于对原始人体图像进行人体区域检测，得到第二裸露区域图像，第二裸露区域图像用于指示第二裸露人体区域，第二裸露人体区域为原始人体图像中未被衣物遮挡的人体区域；
图像映射单元1742，用于根据原始衣物图像中的衣物区域，对第二裸露区域图像进行映射，得到第一裸露区域图像。
可选地，参见图18，图像融合模块1703，包括：
第一图像变换单元1713，用于根据第一裸露区域图像和原始人体图像对应的人体姿态图像，对原始衣物图像进行变换，得到目标衣物图像，以使目标衣物图像包含与原始衣物图像相同的衣物，衣物区域与第一裸露人体区域不重叠，且衣物姿态与人体姿态图像中的人体姿态匹配；
第一图像融合单元1723，用于对原始人体图像、第一裸露区域图像和目标衣物图像进行融合，得到目标人体图像。
可选地，参见图18，第一图像变换单元1713，用于：
根据第一裸露区域图像和人体姿态图像，对原始衣物图像中的衣物区域进行变换，得到第一衣物区域图像，第一衣物区域图像中的衣物区域与第一裸露人体区域不重叠，且第一衣物区域图像中的衣物区域与人体姿态匹配；
根据第一衣物区域图像中的衣物区域，对原始衣物图像进行变换，得到目标衣物图像。
可选地，参见图18，第一图像变换单元1713，用于：
对原始衣物图像进行衣物区域检测，得到第二衣物区域图像，第二衣物区域图像用于指示原始衣物图像中的衣物区域；
根据第一裸露区域图像和人体姿态图像，对第二衣物区域图像进行映射，得到第一衣物区域图像。
可选地，参见图18，第一图像融合单元1723，用于：
对原始人体图像、第一裸露区域图像、第一衣物区域图像和目标衣物图像进行融合，得到目标人体图像，目标人体图像中的人体区域与第一衣物区域图像中的衣物区域不重叠。
可选地，参见图18，人体区域检测模块1702，包括：
第三人体检测单元1752，用于调用虚拟换装模型中的人体区域检测子模型，根据原始衣物图像，对原始人体图像进行人体区域检测，得到第一裸露区域图像；
图像融合模块1703，包括：
第二图像融合单元1733，用于调用虚拟换装模型中的融合子模型，对原始人体图像、原始衣物图像和第一裸露区域图像进行融合，得到目标人体图像。
可选地，参见图18，第三人体检测单元1752，用于：
调用人体区域检测子模型，根据原始衣物图像和人体姿态图像，对原始人体图像进行人体区域检测，得到第一裸露区域图像，第一裸露区域图像用于指示原始人体图像中的人体在人体姿态下穿戴原始衣物图像中的衣物时，未被衣物遮挡的人体区域。
可选地，参见图18，人体区域检测子模型包括人体区域检测网络和人体区域映射网络，第三人体检测单元1752，用于：
调用人体区域检测网络，对原始人体图像进行人体区域检测，得到第二裸露区域图像，第二裸露人体区域为原始人体图像中未被衣物遮挡的人体区域；
调用人体区域映射网络，根据原始衣物图像中的衣物区域，对第二裸露区域图像进行映射，得到第一裸露区域图像。
可选地，参见图18，融合子模型包括衣物变换网络和融合网络，第二图像融合单元1733，用于：
调用衣物变换网络，根据第一裸露区域图像和原始人体图像对应的人体姿态图像，对原始衣物图像进行变换，得到目标衣物图像，以使目标衣物图像包含与原始衣物图像相同的衣物，衣物区域与第一裸露人体区域不重叠，且衣物姿态与人体姿态图像中的人体姿态匹配；
调用融合网络，对原始人体图像、第一裸露区域图像和目标衣物图像进行融合，得到目标人体图像。
可选地，参见图18，衣物变换网络包括衣物区域变换层和衣物变换层，第二图像融合单元1733，用于：
调用衣物区域变换层，根据第一裸露区域图像和人体姿态图像，对原始衣物图像中的衣物区域进行变换，得到第一衣物区域图像，第一衣物区域图像中的衣物区域与第一裸露人体区域不重叠，且第一衣物区域图像中的衣物区域与人体姿态匹配；
调用衣物变换层，根据第一衣物区域图像中的衣物区域，对原始衣物图像进行变换，得到目标衣物图像。
可选地，参见图18，第二图像融合单元1733，用于：
调用衣物区域变换层，对原始衣物图像进行衣物区域检测，得到第二衣物区域图像，根据第一裸露区域图像和人体姿态图像，对第二衣物区域图像进行映射，得到第一衣物区域图像，第二衣物区域图像用于指示原始衣物图像中的衣物区域。
可选地，参见图18，第二图像融合单元1733，用于：
调用融合网络，对原始人体图像、第一裸露区域图像、第一衣物区域图像和目标衣物图像进行融合，得到目标人体图像，目标人体图像中的人体区域与第一衣物区域图像中的衣物区域不重叠。
可选地，参见图18，装置还包括：
图像获取模块1701，还用于获取样本原始衣物图像、样本原始人体图像和样本裸露区域图像，样本裸露区域图像用于指示样本裸露人体区域，样本裸露人体区域为样本原始人体图像中的人体在穿戴样本原始衣物图像中的样本衣物时，未被样本衣物遮挡的人体区域；
人体区域检测模块1702，还用于调用人体区域检测子模型，根据样本原始衣物图像，对样本原始人体图像进行人体区域检测，得到预测人体区域图像；
第一训练模块1704，用于根据预测裸露区域图像与样本裸露区域图像之间的差异，训练人体区域检测子模型。
可选地，参见图18，装置还包括：
图像获取模块1701，还用于获取样本原始人体图像、样本原始衣物图像、样本裸露区域图像和样本目标人体图像；
图像融合模块1703，还用于调用融合子模型，对样本原始人体图像、样本原始衣物图像和样本裸露区域图像进行融合，得到预测目标人体图像；
第二训练模块1705，用于根据预测目标人体图像与样本目标人体图像之间的差异，训练融合子模型。
可选地，参见图18，装置还包括：
图像获取模块1701，还用于获取样本原始衣物图像、样本衣物区域图像和样本目标衣物图像；
图像融合模块1703，还用于调用衣物变换层，根据样本衣物区域图像中的衣物区域，对样本原始衣物图像进行变换，得到预测目标衣物图像；
第三训练模块1706，用于根据预测目标衣物图像与样本目标衣物图像之间的差异，训练衣物变换层。
可选地，参见图18，装置还包括：
轮廓点检测模块1707，用于调用衣物变换网络中的轮廓点检测层，对样本原始衣物图像进行轮廓点检测，在样本原始衣物图像中标记第一轮廓点集合，第一轮廓点集合中包括样本原始衣物图像中的衣物区域的多个轮廓点；
轮廓点检测模块1707，还用于调用轮廓点检测层，对样本衣物区域图像进行轮廓点检测，在样本衣物区域图像中标记第二轮廓点集合，第二轮廓点集合中包括样本衣物区域图像中的衣物区域的多个轮廓点；
图像融合模块1703，包括：
第二图像变换单元1743，用于调用衣物变换层，确定第一轮廓点集合变换到第二轮廓点集合的变换参数，根据变换参数，对样本原始衣物图像进行变换，得到预测目标衣物图像。
可选地，参见图18，装置还包括：
轮廓点检测模块1707，还用于调用轮廓点检测层，对参考原始衣物图像进行轮廓点检测，在参考原始衣物图像中标记第三轮廓点集合，第三轮廓点集合中包括参考原始衣物图像中的衣物区域的多个轮廓点；
损失值确定模块1708，用于根据第三轮廓点集合中，每两个相邻轮廓点之间的距离或者每两个相邻轮廓点之间的斜率中的至少一项，确定损失值；
第四训练模块1709，用于根据损失值，训练轮廓点检测层。
需要说明的是：上述实施例提供的图像融合装置在进行图像融合时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像融合装置与图像融合方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图19示出了本申请一个示例性实施例提供的终端1900的结构示意图。终端1900可以用于执行上述图像融合方法中计算机设备所执行的步骤。
通常，终端1900包括有：处理器1901和存储器1902。
处理器1901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1901可以集成有GPU(Graphics Processing Unit，图像处理的交互器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1902中的非暂态的计算机可读存储介质用于存储至少一条程序代码，该至少一条程序代码用于被处理器1901所具有以实现本申请中方法实施例提供的图像融合方法。
在一些实施例中，终端1900还可选包括有：外围设备接口1903和至少一个外围设备。处理器1901、存储器1902和外围设备接口1903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1903相连。可选地，外围设备包括：射频电路1904、显示屏1905、摄像头组件1906、音频电路1907和电源1909中的至少一种。
外围设备接口1903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1901和存储器1902。在一些实施例中，处理器1901、存储器1902和外围设备接口1903被集成在同一芯片或电路板上；在一些其他实施例中，处理器1901、存储器1902和外围设备接口1903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1904可以通过至少一种无线通信协议来与其它设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1905是触摸显示屏时，显示屏1905还具有采集在显示屏1905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1901进行处理。此时，显示屏1905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1905可以为一个，设置在终端1900的前面板；在另一些实施例中，显示屏1905可以为至少两个，分别设置在终端1900的不同表面或呈折叠设计；在另一些实施例中，显示屏1905可以是柔性显示屏，设置在终端1900的弯曲表面上或折叠面上。甚至，显示屏1905还可以设置成非矩形的不规则图形，也即异形屏。显示屏1905可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件1906用于采集图像或视频。可选地，摄像头组件1906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端1900的前面板，后置摄像头设置在终端1900的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1901进行处理，或者输入至射频电路1904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1901或射频电路1904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1907还可以包括耳机插孔。
电源1909用于为终端1900中的各个组件进行供电。电源1909可以是交流电、直流电、一次性电池或可充电电池。当电源1909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1900还包括有一个或多个传感器1910。该一个或多个传感器1910包括但不限于：加速度传感器1911、陀螺仪传感器1912、压力传感器1913、光学传感器1915以及接近传感器1916。
加速度传感器1911可以检测以终端1900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1911可以用于检测重力加速度在三个坐标轴上的分量。处理器1901可以根据加速度传感器1911采集的重力加速度信号，控制显示屏1905以横向视图或纵向视图进行用户界面的显示。加速度传感器1911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1912可以检测终端1900的机体方向及转动角度，陀螺仪传感器1912可以与加速度传感器1911协同采集用户对终端1900的3D动作。处理器1901根据陀螺仪传感器1912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1913设置在终端1900的侧边框和/或显示屏1905的下层。当压力传感器1913设置在终端1900的侧边框时，可以检测用户对终端1900的握持信号，由处理器1901根据压力传感器1913采集的握持信号进行左右手识别或快捷操作。当压力传感器1913设置在显示屏1905的下层时，由处理器1901根据用户对显示屏1905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1915用于采集环境光强度。在一个实施例中，处理器1901可以根据光学传感器1915采集的环境光强度，控制显示屏1905的显示亮度。具体地，当环境光强度较高时，调高显示屏1905的显示亮度；当环境光强度较低时，调低显示屏1905的显示亮度。在另一个实施例中，处理器1901还可以根据光学传感器1915采集的环境光强度，动态调整摄像头组件1906的拍摄参数。
接近传感器1916，也称距离传感器，通常设置在终端1900的前面板。接近传感器1916用于采集用户与终端1900的正面之间的距离。在一个实施例中，当接近传感器1916检测到用户与终端1900的正面之间的距离逐渐变小时，由处理器1901控制显示屏1905从亮屏状态切换为息屏状态；当接近传感器1916检测到用户与终端1900的正面之间的距离逐渐变大时，由处理器1901控制显示屏1905从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图19中示出的结构并不构成对终端1900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图20是本申请实施例提供的一种服务器的结构示意图，该服务器2000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central ProcessingUnits，CPU)2001和一个或一个以上的存储器2002，其中，所述存储器2002中存储有至少一条程序代码，所述至少一条程序代码由所述处理器2001加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
服务器2000可以用于执行上述图像融合方法中计算机设备所执行的步骤。
本申请实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例的图像融合方法。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例的图像融合方法。
本申请实施例还提供了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括计算机程序代码，计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取计算机程序代码，处理器执行计算机程序代码，使得计算机设备实现如上述实施例的图像融合方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (18)

1.一种图像融合方法，其特征在于，所述方法包括：
获取原始人体图像和原始衣物图像；
调用虚拟换装模型中的人体区域检测子模型，根据所述原始衣物图像，对所述原始人体图像进行人体区域检测，得到第一裸露区域图像，所述第一裸露区域图像用于指示第一裸露人体区域，所述第一裸露人体区域为所述原始人体图像中的人体在穿戴所述原始衣物图像中的衣物时，未被所述衣物遮挡的人体区域；
调用所述虚拟换装模型中的融合子模型，对所述原始人体图像、所述原始衣物图像和所述第一裸露区域图像进行融合，得到目标人体图像，以使在所述目标人体图像中，所述原始人体图像中的人体穿戴所述原始衣物图像中的衣物，且所述目标人体图像的裸露人体区域与所述第一裸露人体区域匹配；
其中，所述虚拟换装模型中的融合子模型包括衣物变换网络，所述衣物变换网络包括轮廓点检测层以及衣物变换层，所述虚拟换装模型的训练过程包括：
获取样本原始衣物图像、样本衣物区域图像和样本目标衣物图像；调用所述虚拟换装模型中的轮廓点检测层，对参考原始衣物图像进行轮廓点检测，在所述参考原始衣物图像中标记第三轮廓点集合，所述第三轮廓点集合中包括所述参考原始衣物图像中的衣物区域的多个轮廓点；根据所述第三轮廓点集合中，每两个相邻轮廓点之间的距离或者每两个相邻轮廓点之间的斜率中的至少一项，确定损失值；根据所述损失值，训练所述轮廓点检测层；
调用所述轮廓点检测层，对所述样本原始衣物图像进行轮廓点检测，在所述样本原始衣物图像中标记第一轮廓点集合，所述第一轮廓点集合中包括所述样本原始衣物图像中的衣物区域的多个轮廓点；调用所述轮廓点检测层，对所述样本衣物区域图像进行轮廓点检测，在所述样本衣物区域图像中标记第二轮廓点集合，所述第二轮廓点集合中包括所述样本衣物区域图像中的衣物区域的多个轮廓点；
调用所述虚拟换装模型中的衣物变换层，确定所述第一轮廓点集合变换到所述第二轮廓点集合的变换参数，根据所述变换参数，对所述样本原始衣物图像进行变换，得到预测目标衣物图像；
根据所述预测目标衣物图像与所述样本目标衣物图像之间的差异，训练所述衣物变换层。
2.根据权利要求1所述的方法，其特征在于，所述根据所述原始衣物图像，对所述原始人体图像进行人体区域检测，得到第一裸露区域图像，包括：
对所述原始人体图像进行人体区域检测，得到第二裸露区域图像，所述第二裸露区域图像用于指示第二裸露人体区域，所述第二裸露人体区域为所述原始人体图像中未被衣物遮挡的人体区域；
根据所述原始衣物图像中的衣物区域，对所述第二裸露区域图像进行映射，得到所述第一裸露区域图像。
3.根据权利要求1-2任一所述的方法，其特征在于，所述对所述原始人体图像、所述原始衣物图像和所述第一裸露区域图像进行融合，得到目标人体图像，包括：
根据所述第一裸露区域图像和所述原始人体图像对应的人体姿态图像，对所述原始衣物图像进行变换，得到目标衣物图像，以使所述目标衣物图像包含与所述原始衣物图像相同的衣物，衣物区域与所述第一裸露人体区域不重叠，且衣物姿态与所述人体姿态图像中的人体姿态匹配；
对所述原始人体图像、所述第一裸露区域图像和所述目标衣物图像进行融合，得到所述目标人体图像。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一裸露区域图像和所述原始人体图像对应的人体姿态图像，对所述原始衣物图像进行变换，得到目标衣物图像，包括：
根据所述第一裸露区域图像和所述人体姿态图像，对所述原始衣物图像中的衣物区域进行变换，得到第一衣物区域图像，所述第一衣物区域图像中的衣物区域与所述第一裸露人体区域不重叠，且所述第一衣物区域图像中的衣物区域与所述人体姿态匹配；
根据所述第一衣物区域图像中的衣物区域，对所述原始衣物图像进行变换，得到所述目标衣物图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一裸露区域图像和所述人体姿态图像，对所述原始衣物图像中的衣物区域进行变换，得到第一衣物区域图像，包括：
对所述原始衣物图像进行衣物区域检测，得到第二衣物区域图像，所述第二衣物区域图像用于指示所述原始衣物图像中的衣物区域；
根据所述第一裸露区域图像和所述人体姿态图像，对所述第二衣物区域图像进行映射，得到所述第一衣物区域图像。
6.根据权利要求4所述的方法，其特征在于，所述对所述原始人体图像、所述第一裸露区域图像和所述目标衣物图像进行融合，得到目标人体图像，包括：
对所述原始人体图像、所述第一裸露区域图像、所述第一衣物区域图像和所述目标衣物图像进行融合，得到所述目标人体图像，所述目标人体图像中的人体区域与所述第一衣物区域图像中的衣物区域不重叠。
7.根据权利要求1所述的方法，其特征在于，所述融合子模型包括衣物变换网络和融合网络，所述调用所述虚拟换装模型中的融合子模型，对所述原始人体图像、所述原始衣物图像和所述第一裸露区域图像进行融合，得到目标人体图像，包括：
调用所述衣物变换网络，根据所述第一裸露区域图像和所述原始人体图像对应的人体姿态图像，对所述原始衣物图像进行变换，得到目标衣物图像，以使所述目标衣物图像包含与所述原始衣物图像相同的衣物，衣物区域与所述第一裸露人体区域不重叠，且衣物姿态与所述人体姿态图像中的人体姿态匹配；
调用所述融合网络，对所述原始人体图像、所述第一裸露区域图像和所述目标衣物图像进行融合，得到所述目标人体图像。
8.根据权利要求7所述的方法，其特征在于，所述衣物变换网络包括衣物区域变换层和衣物变换层，所述调用所述衣物变换网络，根据所述第一裸露区域图像和所述原始人体图像对应的人体姿态图像，对所述原始衣物图像进行变换，得到目标衣物图像，包括：
调用所述衣物区域变换层，根据所述第一裸露区域图像和所述人体姿态图像，对所述原始衣物图像中的衣物区域进行变换，得到第一衣物区域图像，所述第一衣物区域图像中的衣物区域与所述第一裸露人体区域不重叠，且所述第一衣物区域图像中的衣物区域与所述人体姿态匹配；
调用所述衣物变换层，根据所述第一衣物区域图像中的衣物区域，对所述原始衣物图像进行变换，得到所述目标衣物图像。
9.一种图像融合装置，其特征在于，所述装置包括：
图像获取模块，用于获取原始人体图像和原始衣物图像；
人体区域检测模块，包括第三人体检测单元；
所述第三人体检测单元，用于调用虚拟换装模型中的人体区域检测子模型，根据所述原始衣物图像，对所述原始人体图像进行人体区域检测，得到第一裸露区域图像，所述第一裸露区域图像用于指示第一裸露人体区域，所述第一裸露人体区域为所述原始人体图像中的人体在穿戴所述原始衣物图像中的衣物时，未被所述衣物遮挡的人体区域；
图像融合模块，包括第二图像融合单元；
所述第二图像融合单元，用于调用所述虚拟换装模型中的融合子模型，对所述原始人体图像、所述原始衣物图像和所述第一裸露区域图像进行融合，得到目标人体图像，以使在所述目标人体图像中，所述原始人体图像中的人体穿戴所述原始衣物图像中的衣物，且所述目标人体图像的裸露人体区域与所述第一裸露人体区域匹配；
其中，所述虚拟换装模型中的融合子模型包括衣物变换网络，所述衣物变换网络包括轮廓点检测层以及衣物变换层，所述虚拟换装模型的训练过程包括：
获取样本原始衣物图像、样本衣物区域图像和样本目标衣物图像；调用所述虚拟换装模型中的轮廓点检测层，对参考原始衣物图像进行轮廓点检测，在所述参考原始衣物图像中标记第三轮廓点集合，所述第三轮廓点集合中包括所述参考原始衣物图像中的衣物区域的多个轮廓点；根据所述第三轮廓点集合中，每两个相邻轮廓点之间的距离或者每两个相邻轮廓点之间的斜率中的至少一项，确定损失值；根据所述损失值，训练所述轮廓点检测层；
调用所述轮廓点检测层，对所述样本原始衣物图像进行轮廓点检测，在所述样本原始衣物图像中标记第一轮廓点集合，所述第一轮廓点集合中包括所述样本原始衣物图像中的衣物区域的多个轮廓点；调用所述轮廓点检测层，对所述样本衣物区域图像进行轮廓点检测，在所述样本衣物区域图像中标记第二轮廓点集合，所述第二轮廓点集合中包括所述样本衣物区域图像中的衣物区域的多个轮廓点；
调用所述虚拟换装模型中的衣物变换层，确定所述第一轮廓点集合变换到所述第二轮廓点集合的变换参数，根据所述变换参数，对所述样本原始衣物图像进行变换，得到预测目标衣物图像；
根据所述预测目标衣物图像与所述样本目标衣物图像之间的差异，训练所述衣物变换层。
10.根据权利要求9所述的装置，其特征在于，所述人体区域检测模块包括：
第二人体检测单元，用于对所述原始人体图像进行人体区域检测，得到第二裸露区域图像，所述第二裸露区域图像用于指示第二裸露人体区域，所述第二裸露人体区域为所述原始人体图像中未被衣物遮挡的人体区域；
图像映射单元，用于根据所述原始衣物图像中的衣物区域，对所述第二裸露区域图像进行映射，得到所述第一裸露区域图像。
11.根据权利要求9-10任一所述的装置，其特征在于，所述图像融合模块还包括：
第一图像变换单元，用于根据所述第一裸露区域图像和所述原始人体图像对应的人体姿态图像，对所述原始衣物图像进行变换，得到目标衣物图像，以使所述目标衣物图像包含与所述原始衣物图像相同的衣物，衣物区域与所述第一裸露人体区域不重叠，且衣物姿态与所述人体姿态图像中的人体姿态匹配；
第一图像融合单元，用于对所述原始人体图像、所述第一裸露区域图像和所述目标衣物图像进行融合，得到所述目标人体图像。
12.根据权利要求11所述的装置，其特征在于，所述第一图像融合单元，用于：
根据所述第一裸露区域图像和所述人体姿态图像，对所述原始衣物图像中的衣物区域进行变换，得到第一衣物区域图像，所述第一衣物区域图像中的衣物区域与所述第一裸露人体区域不重叠，且所述第一衣物区域图像中的衣物区域与所述人体姿态匹配；
根据所述第一衣物区域图像中的衣物区域，对所述原始衣物图像进行变换，得到所述目标衣物图像。
13.根据权利要求12所述的装置，其特征在于，所述第一图像变换单元，用于：
对所述原始衣物图像进行衣物区域检测，得到第二衣物区域图像，所述第二衣物区域图像用于指示所述原始衣物图像中的衣物区域；
根据所述第一裸露区域图像和所述人体姿态图像，对所述第二衣物区域图像进行映射，得到所述第一衣物区域图像。
14.根据权利要求12所述的装置，其特征在于，所述第一图像融合单元，用于：
对所述原始人体图像、所述第一裸露区域图像、所述第一衣物区域图像和所述目标衣物图像进行融合，得到所述目标人体图像，所述目标人体图像中的人体区域与所述第一衣物区域图像中的衣物区域不重叠。
15.根据权利要求9所述的装置，其特征在于，所述融合子模型包括衣物变换网络和融合网络，所述第二图像融合单元，用于：
调用所述衣物变换网络，根据所述第一裸露区域图像和所述原始人体图像对应的人体姿态图像，对所述原始衣物图像进行变换，得到目标衣物图像，以使所述目标衣物图像包含与所述原始衣物图像相同的衣物，衣物区域与所述第一裸露人体区域不重叠，且衣物姿态与所述人体姿态图像中的人体姿态匹配；
调用所述融合网络，对所述原始人体图像、所述第一裸露区域图像和所述目标衣物图像进行融合，得到所述目标人体图像。
16.根据权利要求15所述的装置，其特征在于，所述衣物变换网络包括衣物区域变换层和衣物变换层，所述第二图像融合单元，用于：
调用所述衣物区域变换层，根据所述第一裸露区域图像和所述人体姿态图像，对所述原始衣物图像中的衣物区域进行变换，得到第一衣物区域图像，所述第一衣物区域图像中的衣物区域与所述第一裸露人体区域不重叠，且所述第一衣物区域图像中的衣物区域与所述人体姿态匹配；
调用所述衣物变换层，根据所述第一衣物区域图像中的衣物区域，对所述原始衣物图像进行变换，得到所述目标衣物图像。
17.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如权利要求1至8任一所述的图像融合方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1至8任一所述的图像融合方法。
CN202010790051.4A 2020-08-07 2020-08-07 图像融合方法、装置、计算机设备及存储介质 Active CN111768507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010790051.4A CN111768507B (zh) 2020-08-07 2020-08-07 图像融合方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010790051.4A CN111768507B (zh) 2020-08-07 2020-08-07 图像融合方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111768507A CN111768507A (zh) 2020-10-13
CN111768507B true CN111768507B (zh) 2023-11-28

Family

ID=72729485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010790051.4A Active CN111768507B (zh) 2020-08-07 2020-08-07 图像融合方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111768507B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991494B (zh) * 2021-01-28 2023-09-15 腾讯科技（深圳）有限公司 图像生成方法、装置、计算机设备及计算机可读存储介质
CN113869435A (zh) * 2021-09-30 2021-12-31 北京爱奇艺科技有限公司 图像处理、服饰识别方法、装置、设备及存储介质
CN114004772A (zh) * 2021-09-30 2022-02-01 阿里巴巴（中国）有限公司 图像处理方法、图像合成模型的确定方法、系统及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971251A (zh) * 2014-05-25 2014-08-06 吴正畦 一种基于模特真实试衣效果影像库的试衣系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9147207B2 (en) * 2012-07-09 2015-09-29 Stylewhile Oy System and method for generating image data for on-line shopping
CN103456032B (zh) * 2013-08-19 2015-10-07 北京京东尚科信息技术有限公司 一种处理虚拟试衣模特图像的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971251A (zh) * 2014-05-25 2014-08-06 吴正畦 一种基于模特真实试衣效果影像库的试衣系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Toward Characteristic-Preserving Image-based Virtual Try-On Network;Bochao Wang等;arxiv:1807.07688;第1-16页 *
Towards Photo-Realistic Virtual Try-On by Adaptively Generating Preserving Image Content;Han Yang等;arxiv:2003.05863;第1-13页第1-7节 *

Also Published As

Publication number Publication date
CN111768507A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN110136136B (zh) 场景分割方法、装置、计算机设备及存储介质
CN110163048B (zh) 手部关键点的识别模型训练方法、识别方法及设备
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN111768507B (zh) 图像融合方法、装置、计算机设备及存储介质
CN112991494B (zh) 图像生成方法、装置、计算机设备及计算机可读存储介质
KR20210111833A (ko) 타겟의 위치들을 취득하기 위한 방법 및 장치와, 컴퓨터 디바이스 및 저장 매체
CN110135336B (zh) 行人生成模型的训练方法、装置及存储介质
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN110675412B (zh) 图像分割方法、图像分割模型的训练方法、装置及设备
CN112287852B (zh) 人脸图像的处理方法、显示方法、装置及设备
CN109977775B (zh) 关键点检测方法、装置、设备及可读存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN111738914B (zh) 图像处理方法、装置、计算机设备及存储介质
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN114283050A (zh) 图像处理方法、装置、设备及存储介质
CN111680758B (zh) 图像训练样本生成方法和装置
CN113706678A (zh) 获取虚拟形象的方法、装置、设备及计算机可读存储介质
CN113705302A (zh) 图像生成模型的训练方法、装置、计算机设备及存储介质
CN110705614A (zh) 模型训练方法、装置、电子设备及存储介质
CN112528760A (zh) 图像处理方法、装置、计算机设备及介质
CN110135329B (zh) 从视频中提取姿势的方法、装置、设备及存储介质
CN113743186B (zh) 医学图像的处理方法、装置、设备及存储介质
CN113569822B (zh) 图像分割方法、装置、计算机设备及存储介质
CN114511082A (zh) 特征提取模型的训练方法、图像处理方法、装置及设备
CN113298040A (zh) 关键点检测方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030054

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant