CN116152427A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116152427A
CN116152427A CN202111396951.1A CN202111396951A CN116152427A CN 116152427 A CN116152427 A CN 116152427A CN 202111396951 A CN202111396951 A CN 202111396951A CN 116152427 A CN116152427 A CN 116152427A
Authority
CN
China
Prior art keywords
worn
processed
target object
article
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111396951.1A
Other languages
English (en)
Inventor
卢智雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202111396951.1A priority Critical patent/CN116152427A/zh
Priority to PCT/CN2022/133253 priority patent/WO2023093679A1/zh
Publication of CN116152427A publication Critical patent/CN116152427A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开实施例公开了一种图像处理方法、装置、电子设备及存储介质，包括：确定待处理图像中的目标对象，并确定与目标对象相对应的三维身体模型；确定待穿戴物品所对应的待处理穿戴效果，并根据待穿戴物品的材质信息、待处理穿戴效果以及三维身体模型，得到穿戴待穿戴物品的目标待显示对象；如果目标待显示对象的显示信息满足预设条件，则基于目标待显示对象更新待处理图像中的目标对象，解决了目前未考虑待穿戴物品所对应的各种因素对渲染效果的影响，从而使渲染出的效果与实际效果存在较大的偏差，进而引起用户使用体验较差的问题，实现了可以结合待穿戴物品的穿戴效果和材质参数进行渲染，从而提高了渲染真实性和与用户适配性的技术效果。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的发展，渲染试衣已成为发展趋势。目前，采用的渲染试衣主要是简单对各种待穿戴物品进行渲染，并将渲染结果展示在显示界面上。
上述方式存在的问题是：在具体渲染过程中，未考虑待穿戴物品所对应的各种因素对渲染效果的影响，或者是在渲染过程中的渲染算力因素对渲染效果的影响，从而使渲染出的效果与实际效果存在较大的偏差，进而引起用户使用体验较差的问题。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，以实现可以结合待穿戴物品的穿戴效果和材质参数进行渲染，从而提高了渲染真实性和与用户适配性的技术效果。
第一方面，本公开实施例提供了一种图像处理方法，包括：
确定待处理图像中的目标对象，并确定与所述目标对象相对应的三维身体模型；
确定待穿戴物品所对应的待处理穿戴效果，并根据所述待穿戴物品的材质信息、所述待处理穿戴效果以及所述三维身体模型，得到穿戴所述待穿戴物品的目标待显示对象；
如果所述目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新所述待处理图像中的目标对象。
第二方面，本公开实施例还提供了一种图像处理装置，包括：
三维模型确定模块，用于确定待处理图像中的目标对象，并确定与所述目标对象相对应的三维身体模型；
待显示对象确定模块，用于确定待穿戴物品所对应的待处理穿戴效果，并根据所述待穿戴物品的材质信息、所述待处理穿戴效果以及所述三维身体模型，得到穿戴所述待穿戴物品的目标待显示对象；
目标对象显示模块，用于如果所述目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新所述待处理图像中的目标对象。
第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的图像处理方法。
第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的图像处理方法。
本公开实施例的技术方案，确定待处理图像中的目标对象，并确定与目标对象相对应的三维身体模型，同时，确定待穿戴物品所对应的待穿戴效果，进而基于待穿戴物品的材质参数、相应的穿戴效果和对应的三维身体模型，将待穿戴物品穿戴在目标对象身上，得到目标待显示对象，如果目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新待处理图像中的目标对象，得到穿戴待穿戴物品的目标对象，解决了现有技术中未考虑待穿戴物品所对应的各种因素对渲染效果的影响，或者是在渲染过程中的渲染算力因素对渲染效果的影响，从而使渲染出的效果与实际效果存在较大的偏差，进而引起用户使用体验较差的问题，实现了可以结合待穿戴物品的穿戴效果和材质参数进行渲染，从而提高了渲染真实性和与用户适配性的技术效果。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例一所提供的一种图像处理方法流程示意图；
图2为本公开实施例二所提供的一种图像处理方法流程示意图；
图3为本公开实施例二所提供的一种图像处理方法流程示意图；
图4为本公开实施例二所提供的一种渲染过程示意图；
图5为本公开实施例二所提供的一种渲染效果示意图；
图6为本公开实施例三所提供的一种图像处理装置结构示意图；
图7为本公开实施例四所提供的一种电子设备结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
在介绍本技术方案之前，可以先对应用场景进行示例性说明。可以将本公开技术方案应用在任意需要特效展示的画面中，例如，直播场景中，可以将待穿戴物品，即特效穿戴在主播用户身上，当然，为了进一步起到节省人力的技术效果，主播用户可以是虚拟用户，可以将待穿戴物品穿戴在虚拟用户身上。还可以是，在用户观看直播时，直播场景中包括多个待穿戴物品，当用户对某个待穿戴物品比较感兴趣时，可以基于本技术方案将待穿戴物品虚拟穿戴在用户身上，并看到相应的穿戴效果，即虚拟试衣。还可以是，在短视频拍摄中，将待穿戴物品作为特效添加到用户身上时，可以执行本技术方案来实现，即待穿戴物品为渲染试衣特效，可以根据用户的触发操作确定待穿戴物品，从而使服务端对其进行渲染，得到相应的渲染效果。
还需要说明的是，为了提高待穿戴物品的添加到用户身上的普适性，在用户拍摄视频的过程中，或者视频拍摄完成后，基于服务端来实现。如，每拍摄一个视频帧，就可以将其视频帧上传至服务端，服务端就可以对其进行处理。还可以是，在视频拍摄完成后，将整个视频上传至服务端，服务端可以对每个视频帧进行处理，以将待穿戴物品穿戴在视频帧中的用户身上，将最终处理后是视频帧反馈至客户端进行显示。进一步的，用户试衣可能并不需要看到所有视频帧的处理效果，可能只想看到特定视角下的穿戴效果，同时，也为了提高服务端的处理效率，用户可以从视频帧中选择特定的视频帧上传至服务端，以使服务端将待穿戴物品渲染至目标对象身上。当然，在具体应用中，还可以基于客户端对每个视频帧进行处理，以得到相应的处理效果。也就是说，只要在客户端算力允许的情况下，可以是由客户端实现，或者是由服务端实现，亦或是由客户端和服务端共同实现。
进一步的，在云渲染试衣中，对待穿戴物品的渲染需要结合多种因素来处理，例如，待穿戴物品的材质、颜色与用户之间的匹配度等，还需要考虑将待穿戴物品穿戴在用户身上时，所对应的穿戴效果，从而才能渲染出较好的效果。其具体的实施方式，可以参见本技术方案的详细阐述。
需要说明的是，若基于服务端对待穿戴物品渲染处理，对终端设备性能要求较低，普适性较高的问题，进一步的，在基于服务端处理时，实时渲染效果较好，并且可以结合待穿戴物品的穿戴效果和材质参数进行渲染，从而提高了渲染真实性和与用户适配性的技术效果。
实施例一
图1为本公开实施例一所提供的一种图像处理方法流程示意图，本公开实施例适用于在互联网所支持的任意图像展示场景中，用于将待穿戴物品穿戴在目标对象的身上，并展示的情形，该方法可以由图像处理装置来执行，该装置可以通过软件和/或硬件的形式实现，可选的，通过电子设备来实现，该电子设备可以是移动终端、PC端或服务器等。任意图像展示的场景通常是由客户端和服务器来配合实现的，本实施例所提供的方法可以由服务端来执行，或者是客户端和服务端的配合来执行。
如图1所示，所述方法包括：
S110、确定待处理图像中的目标对象，并确定与目标对象相对应的三维身体模型。
其中，用户可以拍摄相应的视频，并将视频上传至服务端。服务端接收到视频后，可以将待穿戴物品穿戴在各视频帧的目标对象身上。将视频中的每个视频帧作为待处理图像。目标对象可以是视频帧中的用户。例如，若为直播场景，拍摄的为主播的视频图像，那么，目标对象可以是主播用户。如果要为宠物穿衣，拍摄的为宠物的视频，那么目标对象可以是宠物。三维身体模型可以理解为与目标对象相匹配的三维模型。如，三维身体模型可以是根据视频帧中用户的身高、体型构建出的三维模型。
具体的，在接收到目标视频后，可以确定目标视频中每个视频帧中的目标对象，在确定目标对象后，服务端可以根据目标对象的身高、体重、体态等信息，构建出与目标对象相对应的三维身体模型。
还需要说明的，在将目标视频上传至服务端之前或者上传服务端时，可以预先标注视频帧中的目标对象。
在本实施例中，在所述确定待处理图像中的目标对象之前，还包括：接收客户端发送的至少一个待处理图像，以及所述至少一个待处理图像所属的目标视频，以根据所述目标视频确定所述待穿戴物品的待处理穿戴效果。
具体的，用户可以通过客户端拍摄包括目标对象的目标视频，同时，可以从目标视频中选定特定的视频帧上传至服务端。选定的视频帧可以是任意视频帧，还可以是用户想要看到待穿戴物品穿戴效果的视频帧。可以将选定的视频帧作为待处理图像上传至服务端。还可以是，将目标视频发送至服务端，并在目标视频中标注相应的视频帧，以使服务端仅对标注的视频帧进行处理，将服务端仅处理的视频帧作为待处理图像。
在本实施例中，所述确定待处理图像中的目标对象，包括：根据所述待处理图像中的标记信息，确定所述目标对象；或，将所述待处理图像中显示比例大于预设显示比例的待处理对象作为目标对象；或，将所述待处理图像中的所有待处理对象作为所述目标对象。
具体的，用户可以预先从目标视频中选择出目标视频帧，并将此目标视频帧作为待处理图像，用户还可以在待处理图像中标记出需要穿戴衣服的对象，将标记的对象作为目标对象。还可以是：服务器自动确定待处理图像中的目标对象，可选的，可以预先设置图像中目标对象的显示比例，即预设显示比例，在接收到待处理图像后，可以确定待处理图像中各目标对象的显示比例是否大于预设显示比例，将大于预设显示比例的对象作为目标对象。需要说明的是，如果待处理图像中只包括一个对象，那么可以将此对象作为目标对象。如果各对象的显示比例均小于预设显示比例，则确定待处理图像中不包括目标对象，或者是，将显示比例最大的对象作为目标对象。还可以是，将待处理图像中的所有待处理对象均作为目标对象。
上述确定目标对象的好处在于：可以自动确定待处理图像中的目标对象；进一步的，如果待处理图像中的目标对象数量包括多个，可以为多个目标对象穿戴相应的待穿戴物品，从而实现待穿戴物品同时穿戴在不同用户身上，提高了使用趣味性的效果。
S120、确定待穿戴物品所对应的待处理穿戴效果，并根据待穿戴物品的材质信息、待处理穿戴效果以及三维身体模型，得到穿戴待穿戴物品的目标待显示对象。
其中，待穿戴物品可以是将要穿戴在用户身上的物品，例如，待穿戴物品可以是各种各样的衣服、头饰、首饰等。待处理穿戴效果可以是待穿戴物品的穿戴在用身上之后的效果是什么，例如，是待穿戴物品是裙子，那么待处理穿戴效果是裙子飘起的效果，还是下垂的效果等。材质信息可以是待穿戴物品所采用的材质信息，例如，材质信息可以是衣服的材质，如，百分之多少的羊毛等。将待穿戴物品穿戴在目标对象身上之后，得到的为目标待显示对象。
具体的，在具体处理过程中，用户可以从很多待穿戴物品中点击想要穿戴的物品，将点击的物品作为待穿戴物品。可以先确定待穿戴物品穿戴在目标对象上的待处理穿戴效果。根据待穿戴物品的材质信息、待处理穿戴效果以及与目标对象相对应的三维身体模型，可以将待穿戴物品穿戴在三维身体模型，得到穿戴该待穿戴物品的目标显示对象。
S130、如果目标待显示对象的显示信息满足预设条件，则基于目标待显示对象更新待处理图像中的目标对象。
其中，预设条件可以是待穿戴物品是否与目标对象贴合；或者是，目标对象身上原有的已穿戴物品是否被完全遮盖等。显示信息可以是与目标对象相对应的像素点信息，该像素点信息中包括待穿戴物品所对应的像素点。
具体的，如果根据目标待显示对象的显示信息，确定已完全覆盖已穿戴物品时，则说明可以将目标待显示对象显示更新在待处理图像中，即基于目标待显示对象更新待处理图像中的目标对象。
本公开实施例的技术方案，确定待处理图像中的目标对象，并确定与目标对象相对应的三维身体模型，同时，确定待穿戴物品所对应的待穿戴效果，进而基于待穿戴物品的材质参数、相应的穿戴效果和对应的三维身体模型，将待穿戴物品穿戴在目标对象身上，得到目标待显示对象，如果目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新待处理图像中的目标对象，得到穿戴待穿戴物品的目标对象，解决了现有技术中未考虑待穿戴物品所对应的各种因素对渲染效果的影响，或者是在渲染过程中的渲染算力因素对渲染效果的影响，从而使渲染出的效果与实际效果存在较大的偏差，进而引起用户使用体验较差的问题，实现了可以结合待穿戴物品的穿戴效果和材质参数进行渲染，从而提高了渲染真实性和与用户适配性的技术效果。
实施例二
图2为本公开实施例二所提供的一种图像处理方法流程示意图，在前述实施例的基础上，可以对“确定与所述目标对象相对应的三维身体模型”以及“确定待穿戴物品的待处理穿戴效果”进行进一步细化，其具体的实施方式可以参见本技术方案的详细阐述。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图2所示，所述方法包括：
S210、确定待处理图像中的目标对象。
具体的，用户可以实时拍摄包括目标对象的目标视频。在将目标视频上传至服务端之前，可以选取特定的视频帧将其上传。或者是，将目标视频上传至服务端之后，服务端可以智能的选取静止时间较长的视频帧，作为待处理图像。进一步的，可以依据上述方式确定出待处理图像中的目标对象。
示例性的，参见图3，用户可以基于客户端上的拍摄装置拍摄包括目标对象的视频。可以在拍摄完毕之后，用户可以从拍摄的视频中选定几个特定的视频帧，作为待处理图像，将待处理图像和目标视频发送至服务端。或者是在拍摄的过程中，建立终端设备与服务端之间的通信，以将拍摄的视频发送至服务端，服务端中可以设置相应的视频帧选取算法，例如，获取目标对象在不同角度下的视频帧，作为待处理图像；或者是，智能选取静止时长较长的视频帧，作为待处理图像。
S220、识别所述目标对象的肢体关键点，基于所述肢体关键点生成所述三维身体模型。
其中，可以采用关键点识别算法，确定与目标对象相对应的肢体关键点。该肢体关键点包括肩膀、胳膊、胯部、腿部以及脚踝关键点。可以基于上述关键点构建出人体骨架模型。进一步的，识别目标对象的身体3Dmesh，从而得到目标对象的三维身体模型，此时的三维身体模型与目标对象的身高、体重相适配。
具体的，在服务端接收到待处理图像，并确定待处理图像中的目标对象后，可以采用肢体关键点识别算法，识别出目标对象的各个肢体关键点。然后，识别用户的3Dmesh，即适用于目标对象的高矮胖瘦，构建出与目标用户相对应的三维身体模型。
示例性的，参见图4和继续参见图3，服务端可以识别待处理图像中的目标对象，得到图4(a)。在识别目标对象后，可以识别用户的肢体关键点，即进行3D肢体关键点估计，得到各肢体关键点，如图4(b)。接下来，识别用户身体3Dmesh，以与用户的高矮胖瘦相适配，得到与目标对象相对应的三维身体模型，如图4(c)。
S230、根据所述待处理图像所属目标视频，确定所述待穿戴物品的待处理穿戴效果。
其中，将待处理图像所属的视频作为目标视频。
具体的，在服务端接收到目标视频，并确定出目标视频中各待处理图像后，可以根据待处理图像所属视频的视频帧，确定待穿戴物品所对应的待处理穿戴效果。
可选的，所述根据所述待处理图像所属目标视频，确定所述待穿戴物品的待处理穿戴效果，包括：确定所述目标视频中与所述待处理图像所关联的至少两个视频帧；根据所述至少两个视频帧，确定所述待穿戴物品的待处理穿戴效果。
其中，至少两个视频帧的数量可以是两个视频帧，也可以是多个视频帧，其具体的视频帧数量与具体的需求相匹配。例如，待处理图像中目标对象为旋转姿态，这种情况下，如果待穿戴物品为裙子，那么裙子会飘起来，此时待处理穿戴效果即为飘起来的效果。其飘起来的高度和角度需要结合前几个视频帧共同来确定的。此时，可以获取待处理图像前后多个视频帧，并采用运动学算法，确定目标对象的运动信息，可选的，运动信息中包括旋转速度和力度，基于此可以确定出待穿戴物品所对应的待处理穿戴效果。
具体的，获取待处理图像所属目标视频的前后几个视频帧，并对该视频帧进行结算，确定出视频帧中目标对象的运动参数，该运动参数中包括旋转速度等信息，基于上述参数，可以确定出待处理穿戴效果。
示例性的，参见图3，服务端可以存储相应的计算衣服物理效果的算法，例如待处理图像中目标对象的姿态为旋转姿态，此时，若待穿戴物品的效果为裙子飘起来的效果，要做到这一点可以获取待处理图像所属视频的前后几个视频帧，根据这几个视频帧，可以确定目标对象的身体运动信息，从而得到裙子飘起来的高度和相应得效果。进一步的，本技术方案中确定与目标对象相对应的3Dmesh的原因在，可以使待穿戴物品与目标对象的三维身体模型相贴合，即待穿戴物品与目标对象相贴合，得到穿戴效果真是的图像。
S240、根据所述待穿戴物品的材质信息、所述待处理穿戴效果以及所述三维身体模型，得到穿戴所述待穿戴物品的目标待显示对象。
在本实施例中，在根据待穿戴物品的材质信息进行渲染之前，可以先确定出待穿戴物品所对应的材质参数。可选的，从存储库中调取与所述待穿戴物品所对应的材质信息；其中，所述存储库中预先存储各待穿戴物品的材质信息；或，基于预先训练的材质参数确定模型对所述待穿戴物品进行处理，确定与所述待穿戴物品相对应的材质信息。
其中，可以预先确定各待穿戴物品所对应的材质参数，并建立待穿戴物品和材质参数之间的对应关系进行存储，以在将待穿戴物品穿戴在目标对象身上时，可以从存储库中存储的对应关系中调取与待穿戴物品相对应的材质信息。材质信息可以是待穿戴物品所采用的原材料成分等。材质参数确定模型为预先训练的，可以将待穿戴物品所对应的图像输入至该神经网络模型中，该神经网络模型可以输出该待穿戴物品的材质参数，将此材质参数作为材质信息。训练得到材质参数确定模型的训练样本为多个待穿戴物品的图像，输出为相应待穿戴物品的材质参数，基于训练样本可以训练得到材质参数确定模型。
具体的，可以从存储库中调取与待穿戴物品相对应的材质信息，或者将待穿戴物品所对应的图像输入至预先训练好的材质参数确定模型中，该材质参数确定模型可以对待穿戴物品所对应的材质信息。
确定材质信息的好处在于，可以尽可能绘制出与待穿戴物品与实际待穿戴物品最为逼近，从而提高渲染真实度的技术效果。
示例性的，继续参见图3，基于光追确定待穿戴物品的材质信息，即光追渲染衣服材质。
在本实施例中，所述根据所述待穿戴物品的材质信息、所述待处理穿戴效果以及所述三维身体模型，得到穿戴所述待穿戴物品的目标待显示对象，包括：以所述材质信息为绘制参数，在所述三维身体模型上绘制出与所述待处理穿戴效果相一致的所述待穿戴物品，得到穿戴所述待穿戴物品的目标待显示对象。
具体的，在确定出材质信息后，可以以材质信息为绘制参数，在三维身体模型上绘制出与所述待处理穿戴效果相一致的待穿戴物品，即将待穿戴物品穿戴在目标对象身上，得到目标待显示对象，参见图4(d)。
S250、如果所述目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新所述待处理图像中的目标对象。
在本实施例中，如果所述待穿戴物品所对应的像素点，包覆原始穿戴物品的像素点，则满足预设条件，并基于所述目标待显示对象更新所述待处理图像中的目标对象。
其中，在拍摄目标视频时，目标对象身上穿戴有一定的饰品，如，饰品可以是衣服首饰等，将穿戴的衣服作为原始穿戴物品。
具体的，确定待穿戴物品的像素点是否将原始穿戴物品的像素点覆盖着，若是，则用户仅可以看到穿上待穿戴物品后的图像，此时的效果与实际所需要的效果是最为匹配的，则说明是满足预设条件的，可以将此时渲染上待穿戴物品的目标独享作为目标待显示对象，以基于目标待显示对象更新待处理图像中的目标对象。
在实际应用中还存在，若待处理图像中目标对象的原始穿戴物品为羽绒服，待穿戴物品为裙子，那么此时渲染出来的可能是：用户不仅可以看到穿上待穿戴物品的图像，还可以看到部分原始穿戴物品，从而影响用户试穿效果的情形。
为了提高渲染结果的真实性，可以采取下述两种措施中的至少一种。第一种实施方式可以是：如果所述待穿戴物品所对应的像素点未包覆所述原始穿戴物品的像素点，则将裸露的原始穿戴物品的像素点擦除，以得到满足所述预设条件的目标待显示对象。
可以理解为，参见图3，待穿戴物品为裙子，原始戴传物品为羽绒服，此种情况下，将待穿戴物品穿戴在目标对象上之后，将裙子未覆盖住的羽绒服的像素点擦除，得到满足预设条件的目标待显示对象，即将多出来的肢体部分通过像素点擦除的方式擦除，即inpainting掉。
第二中实施方式可以是，如果所述待穿戴物品的物品类型为第一预设类型，确定与所述目标对象相对应的肢体模型；基于所述肢体模型调整所述目标待显示对象中的各个肢体部位，以基于调整后的肢体部位更新所述目标对象。
其中，第一预设类型可以是漏胳膊或者退的衣服，例如，第一预设类型可以是夏季衣服类型。如果待穿戴物品的物品类型为夏季衣服类型，则可以根据待穿戴物品是上衣还是下衣，调取相应的肢体模型。肢体模型可以是胳膊模型、腿部模型，肢体模型的作用主要是将目标对象的相应肢体上的衣服处理掉，得到不包括衣服的肢体。基于肢体模型可以调整目标待显示对象中的各个肢体部位，以基于调整后的肢体部位更新目标对象。也就是说，未漏出来的部分可以通过GAN模型(预先训练的肢体模型)来处理。
示例性的，参见图5，图5(a)中的原始穿戴物品为皮草，是包括袖子的。待穿戴物品为裙子。在将待穿戴物品穿戴的目标对象身上之前，可以确定待穿戴物品为第一预设类型，即夏季衣服类型。在将待穿戴物品裙子穿戴到用户身上之后，胳膊上显示的主要是原始穿戴物品中的皮草，此种情况下为了提高云渲染试衣的效果，可以调取与胳膊相对应的肢体模型，基于肢体模型可以将胳膊上的衣服退掉，得到胳膊漏出来的最终的渲染试衣效果，如图5(b)。
还需要说明的是，肢体模型还可以是全身模型，即如果待穿戴物品为第一预设类型，则可以先基于全身的肢体模型，将目标对象穿点的原始穿戴物品全部处理掉，得到未穿戴衣物的对象，再将待穿戴物品穿戴的目标对象身上，得到满足预设条件的目标对象。
还需要说明的是，如果用户的体型远大于待穿戴物品的尺寸，此种情况下，也可以将应该被待穿戴物品覆盖而没有被覆盖到的像素点，擦除掉，以使待穿戴物品与目标对象相适配的技术效果。
本公开实施例的技术方案，确定待处理图像中的目标对象，并确定与目标对象相对应的三维身体模型，同时，确定待穿戴物品所对应的待穿戴效果，进而基于待穿戴物品的材质参数、相应的穿戴效果和对应的三维身体模型，将待穿戴物品穿戴在目标对象身上，得到目标待显示对象，如果目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新待处理图像中的目标对象，得到穿戴待穿戴物品的目标对象，解决了现有技术中未考虑待穿戴物品所对应的各种因素对渲染效果的影响，或者是在渲染过程中的渲染算力因素对渲染效果的影响，从而使渲染出的效果与实际效果存在较大的偏差，进而引起用户使用体验较差的问题，实现了可以结合待穿戴物品的穿戴效果和材质参数进行渲染，从而提高了渲染真实性和与用户适配性的技术效果。
实施例三
图6为本公开实施例四所提供的一种图像处理装置结构示意图，如图6所示，所述装置包括：三维模型确定模块310、待显示对象确定模块320以及目标对象显示模块330。
其中，三维模型确定模块310，用于确定待处理图像中的目标对象，并确定与所述目标对象相对应的三维身体模型；待显示对象确定模块320，用于确定待穿戴物品所对应的待处理穿戴效果，并根据所述待穿戴物品的材质信息、所述待处理穿戴效果以及所述三维身体模型，得到穿戴所述待穿戴物品的目标待显示对象；目标对象显示模块330，用于如果所述目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新所述待处理图像中的目标对象。
在上述技术方案的基础上，三维模型确定模块，还用于接收客户端发送的至少一个待处理图像，以及所述至少一个待处理图像所属的目标视频，以根据所述目标视频确定所述待穿戴物品的待处理穿戴效果。
在上述技术方案的基础上，三维模型确定模块，还用于根据所述待处理图像中的标记信息，确定所述目标对象；或将所述待处理图像中显示比例大于预设显示比例的待处理对象作为目标对象；或，将所述待处理图像中的所有待处理对象作为所述目标对象。
在上述技术方案的基础上，三维模型确定模块，还用于识别所述目标对象的肢体关键点；基于所述肢体关键点生成所述三维身体模型。
在上述技术方案的基础上，待显示对象确定模块，还用于根据所述待处理图像所属目标视频，确定所述待穿戴物品的待处理穿戴效果。
在上述技术方案的基础上，待显示对象确定模块，还用于确定所述目标视频中与所述待处理图像所关联的至少两个视频帧；根据所述至少两个视频帧，确定所述待穿戴物品的待处理穿戴效果。
在上述技术方案的基础上，所述装置还包括材质信息确定模块，用于：从存储库中调取与所述待穿戴物品所对应的材质信息；其中，所述存储库中预先存储各待穿戴物品的材质信息；或，基于预先训练的材质参数确定模型对所述待穿戴物品所对应的图像进行处理，确定与所述待穿戴物品相对应的材质信息。
在上述技术方案的基础上，待显示对象确定模块，还用于以所述材质信息为绘制参数，在所述三维身体模型上绘制出与所述待处理穿戴效果相一致的所述待穿戴物品，得到穿戴所述待穿戴物品的目标待显示对象。
在上述技术方案的基础上，目标对象显示模块，还用于如果所述待穿戴物品所对应的像素点，包覆所述目标对象原始穿戴物品的像素点，则满足预设条件，并基于所述目标待显示对象更新所述待处理图像中的目标对象。
在上述技术方案的基础上，目标对象显示模块，还用于如果所述待穿戴物品所对应的像素点未包覆所述原始穿戴物品的像素点，则将裸露的原始穿戴物品的像素点擦除，以得到满足所述预设条件的目标待显示对象。
在上述技术方案的基础上，所装置还包括：目标对象更新模块，包括：肢体模型确定单元，用于如果所述待穿戴物品的物品类型为第一预设类型，确定与所述目标对象相对应的肢体模型；目标对象显示单元，用于基于所述肢体模型调整所述目标待显示对象中的各个肢体部位，以基于调整后的肢体部位更新所述目标对象。
本公开实施例的技术方案，确定待处理图像中的目标对象，并确定与目标对象相对应的三维身体模型，同时，确定待穿戴物品所对应的待穿戴效果，进而基于待穿戴物品的材质参数、相应的穿戴效果和对应的三维身体模型，将待穿戴物品穿戴在目标对象身上，得到目标待显示对象，如果目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新待处理图像中的目标对象，得到穿戴待穿戴物品的目标对象，解决了现有技术中未考虑待穿戴物品所对应的各种因素对渲染效果的影响，或者是在渲染过程中的渲染算力因素对渲染效果的影响，从而使渲染出的效果与实际效果存在较大的偏差，进而引起用户使用体验较差的问题，实现了可以结合待穿戴物品的穿戴效果和材质参数进行渲染，从而提高了渲染真实性和与用户适配性的技术效果。
本公开实施例所提供的图像处理装置可执行本公开任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
实施例四
图7为本公开实施例四所提供的一种电子设备的结构示意图。下面参考图7，其示出了适于用来实现本公开实施例的电子设备(例如图7中的终端设备或服务器)400的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备400可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置406加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相连。编辑/输出(I/O)接口405也连接至总线404。
通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的编辑装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置406；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置406被安装，或者从ROM 402被安装。在该计算机程序被处理装置401执行时，执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的图像处理方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
实施例五
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的图像处理方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
确定待处理图像中的目标对象，并确定与所述目标对象相对应的三维身体模型；
确定待穿戴物品所对应的待处理穿戴效果，并根据所述待穿戴物品的材质信息、所述待处理穿戴效果以及所述三维身体模型，得到穿戴所述待穿戴物品的目标待显示对象；
如果所述目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新所述待处理图像中的目标对象。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，【示例一】提供了一种图像处理方法，包括：
确定待处理图像中的目标对象，并确定与所述目标对象相对应的三维身体模型；
确定待穿戴物品所对应的待处理穿戴效果，并根据所述待穿戴物品的材质信息、所述待处理穿戴效果以及所述三维身体模型，得到穿戴所述待穿戴物品的目标待显示对象；
如果所述目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新所述待处理图像中的目标对象。
根据本公开的一个或多个实施例，【示例二】提供了一种图像处理方法，该方法，还包括：
可选的，在所述确定待处理图像中的目标对象之前，还包括：
接收客户端发送的至少一个待处理图像，以及所述至少一个待处理图像所属的目标视频，以根据所述目标视频确定所述待穿戴物品的待处理穿戴效果。
根据本公开的一个或多个实施例，【示例三】提供了一种图像处理方法，该方法，还包括：
可选的，所述确定待处理图像中的目标对象，包括：
根据所述待处理图像中的标记信息，确定所述目标对象；或，
将所述待处理图像中显示比例大于预设显示比例的待处理对象作为目标对象；或，
将所述待处理图像中的所有待处理对象作为所述目标对象。
根据本公开的一个或多个实施例，【示例四】提供了一种图像处理方法，该方法，还包括：
可选的，所述确定与所述目标对象相对应的三维身体模型，包括：
识别所述目标对象的肢体关键点；
基于所述肢体关键点生成所述三维身体模型。
根据本公开的一个或多个实施例，【示例五】提供了一种图像处理方法，该方法，还包括：
可选的，所述确定待穿戴物品的待处理穿戴效果，包括：
根据所述待处理图像所属目标视频，确定所述待穿戴物品的待处理穿戴效果。
根据本公开的一个或多个实施例，【示例六】提供了一种图像处理方法，该方法，还包括：
可选的，所述根据所述待处理图像所属目标视频，确定所述待穿戴物品的待处理穿戴效果，包括：
确定所述目标视频中与所述待处理图像所关联的至少两个视频帧；
根据所述至少两个视频帧，确定所述待穿戴物品的待处理穿戴效果。
根据本公开的一个或多个实施例，【示例七】提供了一种图像处理方法，该方法，还包括：
可选的，从存储库中调取与所述待穿戴物品所对应的材质信息；其中，所述存储库中预先存储各待穿戴物品的材质信息；或，
基于预先训练的材质参数确定模型对所述待穿戴物品所对应的图像进行处理，确定与所述待穿戴物品相对应的材质信息。
根据本公开的一个或多个实施例，【示例八】提供了一种图像处理方法，该方法，还包括：
可选的，所述根据所述待穿戴物品的材质信息、所述待处理穿戴效果以及所述三维身体模型，得到穿戴所述待穿戴物品的目标待显示对象，包括：
以所述材质信息为绘制参数，在所述三维身体模型上绘制出与所述待处理穿戴效果相一致的所述待穿戴物品，得到穿戴所述待穿戴物品的目标待显示对象。
根据本公开的一个或多个实施例，【示例九】提供了一种图像处理方法，该方法，还包括：
可选的，所述如果所述目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新所述待处理图像中的目标对象，包括：
如果所述待穿戴物品所对应的像素点，包覆所述目标对象原始穿戴物品的像素点，则满足预设条件，并基于所述目标待显示对象更新所述待处理图像中的目标对象。
根据本公开的一个或多个实施例，【示例十】提供了一种图像处理方法，该方法，还包括：
可选的，如果所述待穿戴物品所对应的像素点未包覆所述原始穿戴物品的像素点，则将裸露的原始穿戴物品的像素点擦除，以得到满足所述预设条件的目标待显示对象。
根据本公开的一个或多个实施例，【示例十一】提供了一种图像处理方法，该方法，还包括：
可选的，如果所述待穿戴物品的物品类型为第一预设类型，确定与所述目标对象相对应的肢体模型；
基于所述肢体模型调整所述目标待显示对象中的各个肢体部位，以基于调整后的肢体部位更新所述目标对象。
根据本公开的一个或多个实施例，【示例十二】提供了一种图像处理装置，该装置，包括：
三维模型确定模块，用于确定待处理图像中的目标对象，并确定与所述目标对象相对应的三维身体模型；
待显示对象确定模块，用于确定待穿戴物品所对应的待处理穿戴效果，并根据所述待穿戴物品的材质信息、所述待处理穿戴效果以及所述三维身体模型，得到穿戴所述待穿戴物品的目标待显示对象；
目标对象显示模块，用于如果所述目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新所述待处理图像中的目标对象。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
确定待处理图像中的目标对象，并确定与所述目标对象相对应的三维身体模型；
确定待穿戴物品所对应的待处理穿戴效果，并根据所述待穿戴物品的材质信息、所述待处理穿戴效果以及所述三维身体模型，得到穿戴所述待穿戴物品的目标待显示对象；
如果所述目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新所述待处理图像中的目标对象。
2.根据权利要求1所述的方法，其特征在于，在所述确定待处理图像中的目标对象之前，还包括：
接收客户端发送的至少一个待处理图像，以及所述至少一个待处理图像所属的目标视频，以根据所述目标视频确定所述待穿戴物品的待处理穿戴效果。
3.根据权利要求1所述的方法，其特征在于，所述确定待处理图像中的目标对象，包括：
根据所述待处理图像中的标记信息，确定所述目标对象；或，
将所述待处理图像中显示比例大于预设显示比例的待处理对象作为目标对象；或，
将所述待处理图像中的所有待处理对象作为所述目标对象。
4.根据权利要求1所述的方法，其特征在于，所述确定与所述目标对象相对应的三维身体模型，包括：
识别所述目标对象的肢体关键点；
基于所述肢体关键点生成所述三维身体模型。
5.根据权利要求1所述的方法，其特征在于，所述确定待穿戴物品的待处理穿戴效果，包括：
根据所述待处理图像所属目标视频，确定所述待穿戴物品的待处理穿戴效果。
6.根据权利要求5所述的方法，其特征在于，所述根据所述待处理图像所属目标视频，确定所述待穿戴物品的待处理穿戴效果，包括：
确定所述目标视频中与所述待处理图像所关联的至少两个视频帧；
根据所述至少两个视频帧，确定所述待穿戴物品的待处理穿戴效果。
7.根据权利要求1所述的方法，其特征在于，还包括：
从存储库中调取与所述待穿戴物品所对应的材质信息；其中，所述存储库中预先存储各待穿戴物品的材质信息；或，
基于预先训练的材质参数确定模型对所述待穿戴物品所对应的图像进行处理，确定与所述待穿戴物品相对应的材质信息。
8.根据权利要求1所述的方法，其特征在于，所述根据所述待穿戴物品的材质信息、所述待处理穿戴效果以及所述三维身体模型，得到穿戴所述待穿戴物品的目标待显示对象，包括：
以所述材质信息为绘制参数，在所述三维身体模型上绘制出与所述待处理穿戴效果相一致的所述待穿戴物品，得到穿戴所述待穿戴物品的目标待显示对象。
9.根据权利要求8所述的方法，其特征在于，所述如果所述目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新所述待处理图像中的目标对象，包括：
如果所述待穿戴物品所对应的像素点，包覆所述目标对象原始穿戴物品的像素点，则满足预设条件，并基于所述目标待显示对象更新所述待处理图像中的目标对象。
10.根据权利要求9所述的方法，其特征在于，还包括：
如果所述待穿戴物品所对应的像素点未包覆所述原始穿戴物品的像素点，则将裸露的原始穿戴物品的像素点擦除，以得到满足所述预设条件的目标待显示对象。
11.根据权利要求1所述的方法，其特征在于，还包括：
如果所述待穿戴物品的物品类型为第一预设类型，确定与所述目标对象相对应的肢体模型；
基于所述肢体模型调整所述目标待显示对象中的各个肢体部位，以基于调整后的肢体部位更新所述目标对象。
12.一种图像处理装置，其特征在于，包括：
三维模型确定模块，用于确定待处理图像中的目标对象，并确定与所述目标对象相对应的三维身体模型；
待显示对象确定模块，用于确定待穿戴物品所对应的待处理穿戴效果，并根据所述待穿戴物品的材质信息、所述待处理穿戴效果以及所述三维身体模型，得到穿戴所述待穿戴物品的目标待显示对象；
目标对象显示模块，用于如果所述目标待显示对象的显示信息满足预设条件，则基于所述目标待显示对象更新所述待处理图像中的目标对象。
13.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的图像处理方法。
14.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-11中任一所述的图像处理方法。
CN202111396951.1A 2021-11-23 2021-11-23 图像处理方法、装置、电子设备及存储介质 Pending CN116152427A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111396951.1A CN116152427A (zh) 2021-11-23 2021-11-23 图像处理方法、装置、电子设备及存储介质
PCT/CN2022/133253 WO2023093679A1 (zh) 2021-11-23 2022-11-21 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111396951.1A CN116152427A (zh) 2021-11-23 2021-11-23 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116152427A true CN116152427A (zh) 2023-05-23

Family

ID=86353124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111396951.1A Pending CN116152427A (zh) 2021-11-23 2021-11-23 图像处理方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN116152427A (zh)
WO (1) WO2023093679A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200828043A (en) * 2006-12-29 2008-07-01 Cheng-Hsien Yang Terminal try-on simulation system and operating and applying method thereof
CN106651498A (zh) * 2016-09-29 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种信息处理方法及装置
CN109409977A (zh) * 2018-08-28 2019-03-01 广州多维魔镜高新科技有限公司 基于vr的虚拟场景试衣系统、方法、电子设备及存储介质
CN109472859A (zh) * 2018-10-31 2019-03-15 上海与德通讯技术有限公司 穿戴效果的显示方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
WO2023093679A1 (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
CN110766777B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
CN112199016B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112073748B (zh) 全景视频的处理方法、装置及存储介质
CN110163066B (zh) 多媒体数据推荐方法、装置及存储介质
WO2019114328A1 (zh) 一种基于增强现实的视频处理方法及其装置
CN110210501B (zh) 虚拟对象生成方法、电子设备及计算机可读存储介质
US20230386001A1 (en) Image display method and apparatus, and device and medium
WO2023185671A1 (zh) 风格图像生成方法、装置、设备及介质
CN114694136A (zh) 一种物品展示方法、装置、设备及介质
CN114598823A (zh) 特效视频生成方法、装置、电子设备及存储介质
CN111833459B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111818265B (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
WO2024055837A1 (zh) 一种图像处理方法、装置、设备及介质
CN110189364B (zh) 用于生成信息的方法和装置，以及目标跟踪方法和装置
US20230237625A1 (en) Video processing method, electronic device, and storage medium
CN114697568B (zh) 特效视频确定方法、装置、电子设备及存储介质
CN114429506B (zh) 图像处理方法、装置、设备、存储介质和程序产品
CN115760553A (zh) 特效处理方法、装置、设备及存储介质
CN113223012B (zh) 视频处理方法、设备及电子设备
CN116152427A (zh) 图像处理方法、装置、电子设备及存储介质
CN110381374B (zh) 图像处理方法和装置
CN112070903A (zh) 虚拟对象的展示方法、装置、电子设备及计算机存储介质
CN111314627A (zh) 用于处理视频帧的方法和装置
CN113837918A (zh) 多进程实现渲染隔离的方法及装置
CN115272564B (zh) 动作视频发送方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination