CN113240692A - 一种图像处理方法、装置、设备以及存储介质 - Google Patents

Abstract

本申请提出一种图像处理方法、装置、设备以及存储介质。其中，所述方法可以包括：获取现实图像中的目标区域及渲染素材。所述目标区域包括与所述渲染素材在同一空间产生遮挡关系的实物对象。将所述渲染素材投影至所述现实图像，并确定处于所述目标区域内的投影部分，将所述投影部分中位置处于预设遮挡平面之后的部分，确定为所述渲染素材中被所述实物对象遮挡的部分。对所述渲染素材中被所述实物对象遮挡的部分进行遮挡剔除处理，并利用遮挡剔除处理后的渲染素材对所述现实图像进行渲染处理，得到渲染图像。

Description

一种图像处理方法、装置、设备以及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种图像处理方法、装置、设备以及存储介质。

背景技术

在增强现实领域中，需要将渲染素材与现实图像进行融合完成渲染。为了提升渲染效果，在渲染过程中，需要将渲染素材中，被现实图像中的实物对象遮挡的部分进行剔除，以尽量模拟真实的现实场景。

目前在相关技术中通常采用以下两种方式进行被遮挡部分剔除。

方式一：通过遮挡平面进行剔除。方式一中可以预先设置遮挡平面，将渲染素材中处于遮挡平面之后的部分全部作为被遮挡部分进行剔除。如此“一刀切”式的剔除方法，不能很好的模拟真实的遮挡场景，渲染效果欠佳。

方式二：通过深度测试的方式进行剔除。方式二中需要利用可以预测深度的专用硬件进行深度测试，然后利用渲染素材与所述实物物体的深度关系进行渲染素材被遮挡的部分的判断，并对确定的被遮挡的部分进行剔除。如此需要利用专用硬件，对于不含该专用硬件的设备则无法实现剔除，普适性较差。

发明内容

有鉴于此，本申请公开一种图像处理方法。所述方法可以包括：获取现实图像中的目标区域及渲染素材；所述目标区域包括与所述渲染素材在同一空间产生遮挡关系的实物对象；将所述渲染素材投影至所述现实图像，并确定处于所述目标区域内的投影部分，将所述投影部分中位置处于预设遮挡平面之后的部分，确定为所述渲染素材中被所述实物对象遮挡的部分；对所述渲染素材中被所述实物对象遮挡的部分进行遮挡剔除处理，并利用遮挡剔除处理后的渲染素材对所述现实图像进行渲染处理，得到渲染图像。

在一些实施例中，所述渲染素材标识有多个第一关键点；所述现实图像内包括待渲染的目标渲染对象；所述目标渲染对象中标识有与所述多个第一关键点一一对应的多个第二关键点；所述将所述渲染素材投影至所述现实图像，包括：获取所述多个第一关键点与所述多个第二关键点之间的位置映射关系；根据位置映射关系，将所述渲染素材映射至与所述目标渲染对象关联的第一空间；所述第一空间包括基于所述现实图像进行三维建模得到的空间；将映射至所述第一空间的所述渲染素材投影至所述现实图像。

在一些实施例中，所述方法还包括：接收针对遮挡平面的配置信息；所述配置信息至少包括所述遮挡平面在与所述渲染素材关联的第二空间中的深度信息和朝向信息；基于所述配置信息，确定预设遮挡平面。

在一些实施例中，所述第一空间与所述第二空间为不同的空间，所述将所述投影部分中，位置处于预设遮挡平面之后的部分确定为所述渲染素材中，被所述实物对象遮挡的部分，包括：将所述预设遮挡平面映射至所述第一空间；将所述投影部分中，位置处于映射至所述第一空间的预设遮挡平面之后的部分确定为渲染素材的被遮挡部分。

在一些实施例中，所述将所述投影部分中，位置处于预设遮挡平面之后的部分确定为所述渲染素材中，被所述实物对象遮挡的部分，包括：将所述投影部分包括的各顶点分别作为当前顶点；根据第一空间对应坐标系的原点与所述当前顶点，确定穿过所述预设遮挡平面的直线，并确定所述直线与所述预设遮挡平面相交的交点；响应于所述原点至所述交点的第一距离小于所述原点至所述当前顶点的第二距离，确定所述当前顶点的位置处于所述预设遮挡平面之后；响应于所述第一距离大于所述第二距离，确定所述当前顶点的位置处于所述预设遮挡平面之前。

在一些实施例中，所述对所述渲染素材中被所述实物对象遮挡的部分进行遮挡剔除处理包括以下至少一项方式：删除所述渲染素材中被所述实物对象遮挡的部分；调整所述渲染素材中被所述实物对象遮挡的部分的透明度；修改所述渲染素材中被所述实物对象遮挡的部分与所述现实图像中背景部分的像素混合模式。

在一些实施例中，所述获取现实图像中的目标区域，包括：利用基于神经网络生成的分割网络，对所述现实图像中进行分割处理，得到所述目标区域；所述方法还包括：获取包括多个训练样本的训练样本集；所述训练样本包括目标区域的标注信息；所述目标区域包括根据业务需求预先设定的区域；基于所述训练样本集，对所述分割网络进行训练。

在一些实施例中，所述渲染素材包括三维虚拟人头；所述目标区域包括所述现实图像中的前景区域；所述实物对象包括人物身体；所述现实图像包括的目标渲染对象为真实人头。

本申请还提出一种图像处理装置，所述装置可以包括：获取模块，用于获取现实图像中的目标区域及渲染素材；所述目标区域包括与所述渲染素材在同一空间产生遮挡关系的实物对象；确定模块，用于将所述渲染素材投影至所述现实图像，并确定处于所述目标区域内的投影部分，将所述投影部分中位置处于预设遮挡平面之后的部分，确定为所述渲染素材中被所述实物对象遮挡的部分；渲染模块，用于对所述渲染素材中被所述实物对象遮挡的部分进行遮挡剔除处理，并利用遮挡剔除处理后的渲染素材对所述现实图像进行渲染处理，得到渲染图像。

在一些实施例中，所述渲染素材标识有多个第一关键点；所述现实图像内包括待渲染的目标渲染对象；所述目标渲染对象中标识有与所述多个第一关键点一一对应的多个第二关键点；所述确定模块，具体用于：获取所述多个第一关键点与所述多个第二关键点之间的位置映射关系；根据位置映射关系，将所述渲染素材映射至与所述目标渲染对象关联的第一空间；所述第一空间包括基于所述现实图像进行三维建模得到的空间；将映射至所述第一空间的所述渲染素材投影至所述现实图像。

在一些实施例中，所述装置还包括：配置模块，用于接收针对遮挡平面的配置信息；所述配置信息至少包括所述遮挡平面在与所述渲染素材关联的第二空间中的深度信息和朝向信息；基于所述配置信息，确定预设遮挡平面。

在一些实施例中，所述第一空间与所述第二空间为不同的空间，所述确定模块，具体用于：将所述预设遮挡平面映射至所述第一空间；将所述投影部分中，位置处于映射至所述第一空间的预设遮挡平面之后的部分确定为渲染素材的被遮挡部分。

在一些实施例中，所述确定模块，具体用于：将所述投影部分包括的各顶点分别作为当前顶点；根据第一空间对应坐标系的原点与所述当前顶点，确定穿过所述预设遮挡平面的直线，并确定所述直线与所述预设遮挡平面相交的交点；响应于所述原点至所述交点的第一距离小于所述原点至所述当前顶点的第二距离，确定所述当前顶点的位置处于所述预设遮挡平面之后；响应于所述第一距离大于所述第二距离，确定所述当前顶点的位置处于所述预设遮挡平面之前。

在一些实施例中，所述对所述渲染素材中对被所述实物对象遮挡的部分进行遮挡剔除处理包括以下至少一项方式：删除所述渲染素材中被所述实物对象遮挡的部分；调整所述渲染素材中被所述实物对象遮挡的部分的透明度；修改所述渲染素材中被所述实物对象遮挡的部分与所述现实图像中背景部分的像素混合模式。

在一些实施例中，所述获取模块，具体用于：利用基于神经网络生成的分割网络，对所述现实图像中进行分割处理，得到所述目标区域；所述装置还包括：训练模块，用于获取包括多个训练样本的训练样本集；所述训练样本包括目标区域的标注信息；所述目标区域包括根据业务需求预先设定的区域；基于所述训练样本集，对所述分割网络进行训练。

在一些实施例中，所述渲染素材包括三维虚拟人头；所述目标区域包括所述现实图像中的前景区域；所述实物对象包括人物身体；所述现实图像包括的目标渲染对象为真实人头。

本申请还提出一种电子设备，所述设备包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现如前述任一实施例示出的图像处理方法。

本申请还提出一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于使处理器执行如前述任一实施例示出的图像处理方法。

在前述公开的技术方案中，可以获取现实图像中包括与渲染素材在同一空间产生遮挡关系的实物对象的目标区域；然后将所述渲染素材投影至所述现实图像，并确定处于所述目标区域内的投影部分；之后将所述投影部分中，位置处于预设遮挡平面之后的部分确定为所述渲染素材中，被所述实物对象遮挡的部分，并进行后续遮挡剔除处理与图像渲染处理。

一方面，在确定渲染素材被遮挡部分的过程中，可以无需利用专用硬件设备进行深度测试，从而可以在普通的设备中进行遮挡渲染，提升渲染普适性；

另一方面，在确定被遮挡部分的过程中，可以将包含可能与渲染素材发生遮挡关系的实物对象的目标区域内，并且处于预设遮挡平面之后的部分确定为被实物对象遮挡的部分，从而可以通过目标区域框定渲染素材可能被遮挡的部分，使渲染素材中不可能与实物对象发生遮挡关系的部分不会被确定为被遮挡部分，与“一刀切”式的提出方式相比，可以准确地确定渲染素材中的被遮挡部分，进而提升遮挡渲染效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请示出的一种图像处理方法的方法流程图；

图2为本申请示出的一种分割网络训练方法的流程图；

图3为本申请示出的一种渲染素材空间映射方法的流程示意图；

图4为本申请示出的一种预设遮挡平面配置方法的流程示意图；

图5为本申请示出的一种被遮挡部分确定方法的流程示意图；

图6a为本申请示出的一种虚拟人头的示意图；

图6b为本申请示出的一种直播图像的示意图；

图6c为本申请示出的一种人物前景区域的示意图；

图6d为本申请示出的一种渲染图像的示意图；

图7为本申请示出的一种图像渲染方法流程图；

图8为本申请示出的一种图像处理装置的结构示意图；

图9为本申请示出的一种电子设备的硬件结构示意图。

具体实施方式

下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的设备和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解，本文中所使用的词语“如果”，取决于语境，可以被解释成为“在……时”或“当……时”或“响应于确定”。

有鉴于此，本申请提出一种图像处理方法。该方法可以获取现实图像中包括与渲染素材在同一空间产生遮挡关系的实物对象的目标区域；然后将所述渲染素材投影至所述现实图像，并确定处于所述目标区域内的投影部分；之后将所述投影部分中，位置处于预设遮挡平面之后的部分确定为所述渲染素材中，被所述实物对象遮挡的部分，并进行后续遮挡剔除处理与图像渲染处理。

一方面，在确定渲染素材被遮挡部分的过程中，可以无需利用专用硬件设备进行深度测试，从而可以在普通的设备中进行遮挡渲染，提升渲染普适性；

另一方面，在确定被遮挡部分的过程中，可以将包含可能与渲染素材发生遮挡关系的实物对象的目标区域内，并且处于预设遮挡平面之后的部分确定为被实物对象遮挡的部分，从而可以通过目标区域框定渲染素材可能被遮挡的部分，使渲染素材中不可能与实物对象发生遮挡关系的部分不会被确定为被遮挡部分，与“一刀切”式的提出方式相比，可以准确地确定渲染素材中的被遮挡部分，进而提升遮挡渲染效果。

请参见图1，图1为本申请示出的一种图像处理方法的方法流程图。

如图1所示，所述方法可以包括：

S102，获取现实图像中的目标区域渲染素材。所述目标区域包括与所述渲染素材在同一空间产生遮挡关系的实物对象。

S104，将所述渲染素材投影至所述现实图像，并确定处于所述目标区域内的投影部分，将所述投影部分中位置处于预设遮挡平面之后的部分，确定为所述渲染素材中被所述实物对象遮挡的部分。

S106，对所述渲染素材中被所述实物对象遮挡的部分进行遮挡剔除处理，并利用遮挡剔除处理后的渲染素材对所述现实图像进行渲染处理，得到渲染图像。

该方法可以应用于电子设备中。其中，所述电子设备可以通过搭载与图像处理方法对应的软件装置执行所述方法。所述电子设备的类型可以是笔记本电脑，计算机，服务器，手机，PAD终端等。本申请不对所述电子设备的具体类型进行特别限定。所述电子设备可以是客户端或服务端一侧的设备。所述服务端可以是由服务器、服务器集群或分布式服务器集群提供的服务端或云端。以下以执行主体为电子设备(以下简称设备)为例进行说明。

在一些实施例中，用户可以通过所述设备提供的客户端程序，将现实图像传输至所述设备。所述现实图像可以包括针对现实世界采集的现实图像。例如，所述现实图像可以包括针对人物、车辆、房屋等目标采集的图像。

在一些实施例中，所述现实图像也可以是用户通过所述设备搭载的图像采集硬件采集的图像。例如，所述设备可以是手机终端，所述图像采集硬件可以是手机终端搭载的摄像头。用户通过摄像头可以采集现实图像。

接收到所述现实图像后，所述设备可以执行S102。

本申请记载的渲染素材，具体是指对现实图像进行渲染的素材。所述渲染素材可以是二维或三维素材。以下以三维素材为例进行说明。

根据不同的渲染场景，可以设置不同的渲染素材。在一些实施例中，所述渲染素材可以是一些虚拟道具。例如，在利用虚拟人头进行人脸图像渲染的场景中，渲染素材可以是虚拟人头。再例如，在利用虚拟动物头进行人脸图像渲染的场景中，渲染素材可以是虚拟动物头。在一些实施例中，渲染素材可以对现实图像中的目标渲染对象进行渲染。所述目标渲染对象可以是指现实图像中待渲染的对象。在渲染过程中，渲染素材会替换该目标渲染对象，呈现在渲染之后的渲染图像中。例如，在利用虚拟人头或虚拟动物头进行人脸图像渲染的场景中，目标渲染对象可以是真实人头。虚拟人头或虚拟动物头可以替换真实人头呈现在渲染图像中。本申请中记载的目标区域，可以是指现实图像中包括实物对象的区域。所述实物对象是指与渲染素材在同一空间产生遮挡关系的对象。

举例来说，在利用虚拟人头进行现实图像渲染的场景中，虚拟人头的头发可能会被现实图像中的人物身体遮挡。此时，可以将包含人物身体(实物对象)的前景区域确定为所述目标区域。然后可以确定虚拟人头的头发部分中，投影至所述目标区域内的部分，并将该部分中处于预设遮挡平面之后的部分确定被人物身体遮挡的部分。

如此将包含实物对象的目标区域内，并且处于预设遮挡平面之后的部分确定为被实物对象遮挡的部分，可以通过目标区域框定渲染素材可能被遮挡的部分，使渲染素材中不可能与实物对象发生遮挡关系的部分不会被确定为被遮挡部分，从而一方面提升被遮挡部分确认效率，另一方面，与“一刀切”式的提出方式相比，可以准确地确定渲染素材中的被遮挡部分，进而提升遮挡渲染效果。

在一些实施例中，在执行S102时，可以利用基于神经网络生成的分割网络，对所述现实图像中进行分割处理，得到所述目标区域。

所述分割网络，可以是基于神经网络或深度学习生成的像素级分割网络。所述像素级分割网络的输出结果可以包括对输入图像包括的每一个像素点进行二分类，以区分该像素点是否处于目标区域内。本申请不对分割网络的网络结构进行特别限定。

在一些实施例中，可以先利用多个包括目标区域的标注信息的训练样本，对所述分割网络进行训练。

请参见图2，图2为本申请示出的一种分割网络训练方法的流程图。

在一些实施例中，如图2所示，可以先执行S202，获取包括多个训练样本的训练样本集。

其中，所述训练样本集包括的训练样本可以包括目标区域的标注信息。所述目标区域包括根据业务需求预先设定的区域。在一些实施例中，可以根据业务需求确定图像中的目标区域。然后对获取的一些图像进行目标区域的标注，以得到训练样本。

例如，在利用虚拟人头进行人脸图像渲染的场景中，可以将人脸图像中包括身体对象的区域确定为目标区域。比如，所述目标区域可以人脸图像的前景区域。前景区域通常可以涵盖完整的人像，也即涵盖身体对象。然后可以对获取的人脸图像中的每个像素点进行标注，确定各像素点是否处于目标区域内，完成人脸图像的标注得到训练样本。

之后可以执行S204，基于所述训练样本集，对所述分割网络进行训练。完成训练后，可以利用分割网络，对所述现实图像进行分割处理，得到所述目标区域。

由此可以在构建训练样本时，根据业务需求灵活确定目标区域，使得利用这些训练样本训练得到的分割网络可以从现实图像中获取符合业务需求的目标区域，进而提升渲染灵活性。

通常本申请记载的渲染素材维护在第二空间中。所述第二空间可以包括生成素材的三维空间。该第二空间包括自身对应的第二坐标系。在设备中可以存储渲染素材包括的各顶点在所述第二坐标系的位置信息，以存储该素材。

在一些实施例中，对所述现实图像进行三维建模可以得到第一空间。该第一空间可以理解为现实图像的成像三维空间。在一些实施例中，可以采用单目相机或双目相机法，基于图像采集硬件的设备参数，对现实图像进行三维建模，得到三维立体的该第一空间。该第一空间包括与自身对应的第一坐标系。

其中，所述第一空间与所述第二空间可以是同一空间，也可以是不同的空间。如果第一空间与第二空间是相同的空间，则可以直接执行S104。如果第一空间与第二空间是不同的空间，在执行S104时，可以将渲染素材映射至第一空间内。

在一些实施例中，所述渲染素材可以标识有多个第一关键点。在一些实施例中，所述渲染素材为虚拟道具时，所述多个第一关键点可以是虚拟道具轮廓上的多个关键点。例如，所述渲染素材为虚拟人头时，所述多个第一关键点可以是头顶，耳朵，鼻尖，面部等预设位置的关键顶点。其中，所述第一关键点在第二空间对应的位置为第一位置。

在一些实施例中，所述现实图像内包括待渲染的目标渲染对象。在渲染过程中，渲染素材会替换该目标渲染对象，呈现在渲染之后的渲染图像中。

所述目标渲染对象标识有与所述多个第一关键点一一对应的多个第二关键点。在一些实施例中，所述多个第一关键点与多个第二关键点可以是在轮廓上位置相同的点。例如，多个第一关键点是虚拟人头的头顶，耳朵，鼻尖，面部等预设位置的关键顶点时，所述多个第二关键点可以是现实图像中真实人头的头顶，耳朵，鼻尖，面部等预设位置的关键顶点。其中，所述第二关键点在现实图像中对应的位置为第二位置。

请参见图3，图3为本申请示出的一种渲染素材空间映射方法的流程示意图。

在执行S104时，如图3所示，可以执行S302，获取所述多个第一关键点与所述多个第二关键点之间的位置映射关系。

在一些实施例中，可以采用映射关系求解算法，利用多个第一关键点在第二空间的第一位置，多个第二关键点在第一空间的第二位置，以及采集现实图像的图像采集硬件参数等信息，得到将第二空间中的顶点映射到第一空间中的映射关系。

在一些实施例中，所述映射关系求解算法可以包括PNP(Perspective-N-Point，多点透视成像)算法。所述位置映射关系可以包括，同一像素点在从第二空间映射至第一空间时的平移量和旋转量。本申请不对映射关系求解算法进行特别限定。

之后可以执行S304，根据位置映射关系，将所述渲染素材映射至与所述目标渲染对象关联的第一空间。

本步骤中，在获取位置映射关系后，可以利用该关系，将渲染素材包括的各顶点映射至第一空间。由此一方面可以使该素材与现实图像中的实物对象处于同一三维空间，进而便于进行遮挡判断，图像渲染等处理，另一方面，可以使渲染素材更贴近目标渲染对象真实的位置、朝向等细节状态，提升渲染效果。

在将渲染素材映射至第一空间内后，可以执行S306，将映射至所述第一空间的所述渲染素材投影至所述现实图像。

本步骤中，可以利用渲染素材在第一空间的三维坐标位置，转变为二维坐标位置，实现投影至所述现实图像。

之后执行S308，确定处于所述目标区域内的投影部分。

本步骤中，可以确定投影至现实图像的渲染素材包括的各顶点中，处在目标区域内的顶点，然后可以将这些顶点在第一空间中对应的三维部分确定为所述投影部分。所述投影部分可以理解为渲染素材中，可能与目标区域内的实物对象产生遮挡关系的部分。

在得到投影部分后，可以继续执行S104，将所述投影部分中位置处于预设遮挡平面之后的部分，确定为所述渲染素材中被所述实物对象遮挡的部分。

所述预设遮挡平面，可以是根据业务需求预先设定的平面。渲染素材在预设遮挡平面之后的部分在现实中可能会实物对象被遮挡。其中，在不同的场景中，可以设置不同的遮挡平面。例如，在利用虚拟人头进行人脸图像渲染的场景中，可以着重考虑虚拟人头的头发部分可能被身体部分遮挡。因此可以身体平面所处的位置作为所述预设遮挡平面。在一些实施例中，所述身体平面可以指身体的前表面。

在一些实施例中，可以对预设遮挡平面进行配置。

请参见图4，图4为本申请示出的一种预设遮挡平面配置方法的流程示意图。

如图4所示，可以先执行S402，接收针对遮挡平面的配置信息。在本步骤中，用户(例如，技术人员)可以通过设备提供的接口，输入所述配置信息，所述设备可以接收该配置信息。

所述配置信息可以至少包括所述遮挡平面在与所述渲染素材关联的第二空间中的深度和朝向信息。在三维空间中，通常可以利用深度和朝向信息指示平面的位置信息。所述深度可以指示第二空间对应的第二坐标系的原点到所述预设遮挡平面的距离。所述朝向可以指示所述预设遮挡平面的法向量的角度。通过这两个参数可以唯一指定预设遮挡平面在第二空间的位置。

例如，在利用虚拟人头进行人脸图像渲染的场景中，可以将身体前表面设置为所述预设遮挡平面，用户可以根据经验将身体前表面在第二空间中的深度和朝向信息打包至配置信息中，并通过设备提供的接口将配置信息传递至设备。

设备在接收到配置信息后，可以执行S404，基于所述配置信息，确定预设遮挡平面。本步骤中，设备可以利用搭载的图像处理软件，完成遮挡平面的配置。

在一些实施例中，所述第一空间与所述第二空间为不同的空间，在执行S104时，可以将第二空间中的预设遮挡平面映射至所述第一空间，以将遮挡平面与渲染素材置于同一三维空间中进行遮挡判断。

请参见图5，图5为本申请示出的一种被遮挡部分确定方法的流程示意图。

在执行S104时，如图5所示，可以执行S502，将所述投影部分包括的各顶点分别作为当前顶点。本步骤中，可以按照预设顺序将各顶点作为当前顶点。

然后可以执行S504，根据第一空间对应坐标系的原点与所述当前顶点，确定穿过所述预设遮挡平面的直线，并确定所述直线与所述预设遮挡平面相交的交点。本步骤中可以利用所述原点与所述当前顶点确定一条直线，并将该直线与遮挡平面的交点确定为所述交点。

之后可比较所述原点到所述交点的第一距离，和所述原点到所述当前顶点的第二距离的大小，并执行S506与S508，响应于所述原点至所述交点的第一距离小于所述原点至所述当前顶点的第二距离，确定所述当前顶点的位置处于所述预设遮挡平面之后。响应于所述第一距离大于所述第二距离，确定所述当前顶点的位置处于所述预设遮挡平面之前。

由此可以通过判断渲染素材投影部分中的顶点，与预设遮挡平面之间的位置关系，来准确地确定投影部分中确实被该遮挡平面遮挡的部分。

在确定渲染素材确实被遮挡的部分后，可以执行S106。

在一些实施例中，可以采用以下至少一项方式进行遮挡剔除处理：

删除所述渲染素材中被所述实物对象遮挡的部分。

调整所述渲染素材中被所述实物对象遮挡的部分的透明度。

修改所述渲染素材中被所述实物对象遮挡的部分与所述现实图像中背景部分的像素混合模式。

其中，所述删除所述渲染素材中被所述实物对象遮挡的部分，可以包括通过运行预先编写的遮挡剔除程序，删除渲染素材被遮挡的部分的顶点以及顶点对应的像素，从而不会在渲染图像中展现该部分，实现对该部分的剔除效果。

所述调整所述渲染素材中被所述实物对象遮挡的部分的透明度，可以包括通过运行预先编写的遮挡剔除程序，调整渲染素材被遮挡的部分的顶点的像素值，使被遮挡的部分的透明度足够大，以至于不会在渲染图像中展现该部分，实现对该部分的剔除效果。

所述修改所述渲染素材中被所述实物对象遮挡的部分与所述现实图像中背景部分的像素混合模式，可以包括通过运行预先编写的遮挡剔除程序，修改所述像素混合模式。通过修改所述像素混合模式，可以调整被遮挡的部分与背景部分的展现效果，在视觉上使被遮挡的部分融合至背景部分，从而在渲染图像中不会展现该部分，实现对该部分的剔除效果。

在一些实施例中，在执行S106时，可以通过光栅化渲染的方式利用渲染素材对现实图像进行渲染。在渲染过程中，可以采用前述任一遮挡剔除处理方法，对渲染素材中被所述实物对象遮挡的部分进行剔除处理，以使得渲染图像可以展现出与真实场景中遮挡关系匹配的渲染效果。

在前述实施例公开的方案中，可以获取现实图像中包括与渲染素材在同一空间产生遮挡关系的实物对象的目标区域；然后将所述渲染素材投影至所述现实图像，并确定处于所述目标区域内的投影部分；之后将所述投影部分中，位置处于预设遮挡平面之后的部分确定为所述渲染素材中，被所述实物对象遮挡的部分，并进行后续遮挡剔除处理与图像渲染处理。

一方面，在确定渲染素材被遮挡部分的过程中，可以无需利用专用硬件设备进行深度测试，从而可以在普通的设备中进行遮挡渲染，提升渲染普适性；

另一方面，在确定被遮挡部分的过程中，可以将包含可能与渲染素材发生遮挡关系的实物对象的目标区域内，并且处于预设遮挡平面之后的部分确定为被实物对象遮挡的部分，从而可以通过目标区域框定渲染素材可能被遮挡的部分，使渲染素材中不可能与实物对象发生遮挡关系的部分不会被确定为被遮挡部分，与“一刀切”式的提出方式相比，可以准确地确定渲染素材中的被遮挡部分，进而提升遮挡渲染效果。

以下结合直播场景进行实施例说明。

在直播场景中可以利用虚拟道具库中提供的虚拟人头实时对采集的直播图像进行渲染。

直播过程使用的直播客户端可以搭载于移动终端中。该移动终端可以搭载普通的摄像头(不要求该摄像头具有深度测试功能)，用于实时采集直播图像。

所述虚拟道具库可以安装在移动终端(以下简称终端)本地，或与直播客户端(以下简称客户端)对应的服务端中。开发人员预先在所述虚拟道具库中，为虚拟人头配置遮挡平面，以及将虚拟人头可被遮挡的部分配置为头发。

用户可以通过客户端选择心仪的虚拟人头。请参见图6a，图6a为本申请示出的一种虚拟人头的示意图。假设用户选择的虚拟人头如图6a所示。

请参见图7，图7为本申请示出的一种图像渲染方法流程图。

如图7所示，在直播过程中，终端可以执行S71，实时接收摄像头采集的直播图像。请参见图6b，图6b为本申请示出的一种直播图像的示意图。假设采集的直播图像如图6b所示。

然后可以执行S72，利用预先训练的人物前景区域分割网络，得到直播图像的人物前景区域(即前述实施例中的目标区域)。该区域中可能包括人物的身体部分，该身体部分可能对虚拟人头的头发造成遮挡，通过获取人物前景区域，一方面可以缩小遮挡判断的范围，提升被遮挡部分确认效率，另一方面，可以通过人物前景区域框定虚拟人头可能被遮挡的部分，使虚拟人头处于该人物前景区域之外的部分不会被确定为被遮挡的部分，与“一刀切”式的提出方式相比，可以准确地确定渲染素材中的被遮挡部分，进而提升遮挡渲染效果。

请参见图6c，图6c为本申请示出的一种人物前景区域的示意图。假设经过S62后得到的人物前景区域如图6c所示

然后可以执行S73，采集直播图像中真实人头上的多个第二关键点的二维坐标，并利用摄像头的参数，以及虚拟人头上的多个对应第一关键点的三维坐标，将用户选择的虚拟人头以及该虚拟人头对应的遮挡平面，映射在摄像头形成的成像空间(即前述第一空间)中。由此一方面可以使该素材与现实图像中的人物身体对象(实物对象)处于同一三维空间，进而便于进行遮挡判断，图像渲染等处理，另一方面，可以使渲染素材更贴近真实人头(目标渲染对象)真实的位置、朝向等细节状态，提升渲染效果。

之后可以执行S74，将虚拟人头投影到所述直播图像，并确定处于所述人物前景区域内的，可能被身体遮挡的投影部分。

之后可以执行S75，根据该投影部分与遮挡平面的位置关系，确定虚拟人头中被身体遮挡的头发部分。由此可以将虚拟人头中，处于人物前景区域内，并且处于遮挡平面之后的部分确定为被身体遮挡的头发部分，从而可以确定出准确的，符合真实场景的被遮挡部分，进而使渲染效果更真实。

之后可以执行S76，在对直播图像进行光栅化渲染的过程中，将被身体遮挡的头发部分进行剔除处理，得到更真实的渲染图像。请参见图6d，图6d为本申请示出的一种渲染图像的示意图。通过S71-S76的步骤后可以得到如图6d所示的渲染图像。由此可以头发与身体真实遮挡关系匹配的渲染效果。

与前述实施例相应的，本申请提出一种图像处理装置80。

请参见图8，图8为本申请示出的一种图像处理装置的结构示意图。

如图8所示，所述装置80可以包括：

获取模块81，用于获取现实图像中的目标区域及渲染素材；所述目标区域包括与所述渲染素材在同一空间产生遮挡关系的实物对象；

确定模块82，用于将所述渲染素材投影至所述现实图像，并确定处于所述目标区域内的投影部分，将所述投影部分中位置处于预设遮挡平面之后的部分，确定为所述渲染素材中被所述实物对象遮挡的部分；

渲染模块83，用于对所述渲染素材中被所述实物对象遮挡的部分进行遮挡剔除处理，并利用遮挡剔除处理后的渲染素材对所述现实图像进行渲染处理，得到渲染图像。

在一些实施例中，所述渲染素材标识有多个第一关键点；所述现实图像内包括待渲染的目标渲染对象；所述目标渲染对象中标识有与所述多个第一关键点一一对应的多个第二关键点；

所述确定模块82，具体用于：

获取所述多个第一关键点与所述多个第二关键点之间的位置映射关系；

根据位置映射关系，将所述渲染素材映射至与所述目标渲染对象关联的第一空间；所述第一空间包括基于所述现实图像进行三维建模得到的空间；

将映射至所述第一空间的所述渲染素材投影至所述现实图像。

在一些实施例中，所述装置80还包括：

配置模块，用于接收针对遮挡平面的配置信息；所述配置信息至少包括所述遮挡平面在与所述渲染素材关联的第二空间中的深度信息和朝向信息；

基于所述配置信息，确定预设遮挡平面。

在一些实施例中，所述第一空间与所述第二空间为不同的空间，所述确定模块82，具体用于：

将所述预设遮挡平面映射至所述第一空间；

将所述投影部分中，位置处于映射至所述第一空间的预设遮挡平面之后的部分确定为渲染素材的被遮挡部分。

在一些实施例中，所述确定模块82，具体用于：

将所述投影部分包括的各顶点分别作为当前顶点；

根据第一空间对应坐标系的原点与所述当前顶点，确定穿过所述预设遮挡平面的直线，并确定所述直线与所述预设遮挡平面相交的交点；

响应于所述原点至所述交点的第一距离小于所述原点至所述当前顶点的第二距离，确定所述当前顶点的位置处于所述预设遮挡平面之后；

响应于所述第一距离大于所述第二距离，确定所述当前顶点的位置处于所述预设遮挡平面之前。

在一些实施例中，所述对所述渲染素材中对被所述实物对象遮挡的部分进行遮挡剔除处理包括以下至少一项方式：

删除所述渲染素材中被所述实物对象遮挡的部分；

调整所述渲染素材中被所述实物对象遮挡的部分的透明度；

修改所述渲染素材中被所述实物对象遮挡的部分与所述现实图像中背景部分的像素混合模式。

在一些实施例中，所述获取模块81，具体用于：

利用基于神经网络生成的分割网络，对所述现实图像中进行分割处理，得到所述目标区域；

所述装置80还包括：

训练模块，用于获取包括多个训练样本的训练样本集；所述训练样本包括目标区域的标注信息；所述目标区域包括根据业务需求预先设定的区域；

基于所述训练样本集，对所述分割网络进行训练。

在一些实施例中，所述渲染素材包括三维虚拟人头；所述目标区域包括所述现实图像中的前景区域；所述实物对象包括人物身体；所述现实图像包括的目标渲染对象为真实人头。

本申请示出的图像处理装置的实施例可以应用于电子设备上。相应地，本申请公开了一种电子设备，该设备可以包括：处理器。

用于存储处理器可执行指令的存储器。

其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现前述任一实施例示出的图像处理方法。

请参见图9，图9为本申请示出的一种电子设备的硬件结构示意图。

如图9所示，该电子设备可以包括用于执行指令的处理器，用于进行网络连接的网络接口，用于为处理器存储运行数据的内存，以及用于存储状态切换装置对应指令的非易失性存储器。

其中，所述装置的实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了图9所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

可以理解的是，为了提升处理速度，所述图像处理装置对应指令也可以直接存储于内存中，在此不作限定。

本申请提出一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可以用于使处理器执行前述任一实施例示出的图像处理方法。

本领域技术人员应明白，本申请一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本申请一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、光学存储器等)上实施的计算机程序产品的形式。

本申请中记载的“和/或”表示至少具有两者中的其中一个，例如，“A和/或B”包括三种方案：A、B、以及“A和B”。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

所述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本申请中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本申请中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本申请中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理系统。通常，中央处理系统将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理系统以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及0xCD_00ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本申请包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本申请内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，所述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本申请一个或多个实施例的较佳实施例而已，并不用以限制本申请一个或多个实施例，凡在本申请一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请一个或多个实施例保护的范围之内。

Claims (18)

1.一种图像处理方法，其特征在于，所述方法包括：

获取现实图像中的目标区域及渲染素材；所述目标区域包括与所述渲染素材在同一空间产生遮挡关系的实物对象；

将所述渲染素材投影至所述现实图像，并确定处于所述目标区域内的投影部分，将所述投影部分中位置处于预设遮挡平面之后的部分，确定为所述渲染素材中被所述实物对象遮挡的部分；

对所述渲染素材中被所述实物对象遮挡的部分进行遮挡剔除处理，并利用遮挡剔除处理后的渲染素材对所述现实图像进行渲染处理，得到渲染图像。

2.根据权利要求1所述的方法，其特征在于，所述渲染素材标识有多个第一关键点；所述现实图像内包括待渲染的目标渲染对象；所述目标渲染对象中标识有与所述多个第一关键点一一对应的多个第二关键点；

所述将所述渲染素材投影至所述现实图像，包括：

获取所述多个第一关键点与所述多个第二关键点之间的位置映射关系；

根据位置映射关系，将所述渲染素材映射至与所述目标渲染对象关联的第一空间；所述第一空间包括基于所述现实图像进行三维建模得到的空间；

将映射至所述第一空间的所述渲染素材投影至所述现实图像。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

接收针对遮挡平面的配置信息；所述配置信息至少包括所述遮挡平面在与所述渲染素材关联的第二空间中的深度信息和朝向信息；

基于所述配置信息，确定预设遮挡平面。

4.根据权利要求3所述的方法，其特征在于，所述第一空间与所述第二空间为不同的空间，所述将所述投影部分中，位置处于预设遮挡平面之后的部分确定为所述渲染素材中，被所述实物对象遮挡的部分，包括：

将所述预设遮挡平面映射至所述第一空间；

将所述投影部分中，位置处于映射至所述第一空间的预设遮挡平面之后的部分确定为渲染素材的被遮挡部分。

5.根据权利要求1-4任一所述的方法，其特征在于，所述将所述投影部分中，位置处于预设遮挡平面之后的部分确定为所述渲染素材中，被所述实物对象遮挡的部分，包括：

将所述投影部分包括的各顶点分别作为当前顶点；

根据第一空间对应坐标系的原点与所述当前顶点，确定穿过所述预设遮挡平面的直线，并确定所述直线与所述预设遮挡平面相交的交点；

响应于所述原点至所述交点的第一距离小于所述原点至所述当前顶点的第二距离，确定所述当前顶点的位置处于所述预设遮挡平面之后；

响应于所述第一距离大于所述第二距离，确定所述当前顶点的位置处于所述预设遮挡平面之前。

6.根据权利要求1-5任一所述的方法，其特征在于，所述对所述渲染素材中被所述实物对象遮挡的部分进行遮挡剔除处理包括以下至少一项方式：

删除所述渲染素材中被所述实物对象遮挡的部分；

调整所述渲染素材中被所述实物对象遮挡的部分的透明度；

修改所述渲染素材中被所述实物对象遮挡的部分与所述现实图像中背景部分的像素混合模式。

7.根据权利要求1-6任一所述的方法，其特征在于，所述获取现实图像中的目标区域，包括：

利用基于神经网络生成的分割网络，对所述现实图像中进行分割处理，得到所述目标区域；

所述方法还包括：

获取包括多个训练样本的训练样本集；所述训练样本包括目标区域的标注信息；所述目标区域包括根据业务需求预先设定的区域；

基于所述训练样本集，对所述分割网络进行训练。

8.根据权利要求1-7任一所述的方法，其特征在于，所述渲染素材包括三维虚拟人头；所述目标区域包括所述现实图像中的前景区域；所述实物对象包括人物身体；所述现实图像包括的目标渲染对象为真实人头。

9.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取现实图像中的目标区域及渲染素材；所述目标区域包括与所述渲染素材在同一空间产生遮挡关系的实物对象；

确定模块，用于将所述渲染素材投影至所述现实图像，并确定处于所述目标区域内的投影部分，将所述投影部分中位置处于预设遮挡平面之后的部分，确定为所述渲染素材中被所述实物对象遮挡的部分；

渲染模块，用于对所述渲染素材中被所述实物对象遮挡的部分进行遮挡剔除处理，并利用遮挡剔除处理后的渲染素材对所述现实图像进行渲染处理，得到渲染图像。

10.根据权利要求9所述的装置，其特征在于，所述渲染素材标识有多个第一关键点；所述现实图像内包括待渲染的目标渲染对象；所述目标渲染对象中标识有与所述多个第一关键点一一对应的多个第二关键点；

所述确定模块，具体用于：

获取所述多个第一关键点与所述多个第二关键点之间的位置映射关系；

根据位置映射关系，将所述渲染素材映射至与所述目标渲染对象关联的第一空间；所述第一空间包括基于所述现实图像进行三维建模得到的空间；

将映射至所述第一空间的所述渲染素材投影至所述现实图像。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：

配置模块，用于接收针对遮挡平面的配置信息；所述配置信息至少包括所述遮挡平面在与所述渲染素材关联的第二空间中的深度信息和朝向信息；

基于所述配置信息，确定预设遮挡平面。

12.根据权利要求11所述的装置，其特征在于，所述第一空间与所述第二空间为不同的空间，所述确定模块，具体用于：

将所述预设遮挡平面映射至所述第一空间；

将所述投影部分中，位置处于映射至所述第一空间的预设遮挡平面之后的部分确定为渲染素材的被遮挡部分。

13.根据权利要求9-12任一所述的装置，其特征在于，所述确定模块，具体用于：

将所述投影部分包括的各顶点分别作为当前顶点；

根据第一空间对应坐标系的原点与所述当前顶点，确定穿过所述预设遮挡平面的直线，并确定所述直线与所述预设遮挡平面相交的交点；

响应于所述原点至所述交点的第一距离小于所述原点至所述当前顶点的第二距离，确定所述当前顶点的位置处于所述预设遮挡平面之后；

响应于所述第一距离大于所述第二距离，确定所述当前顶点的位置处于所述预设遮挡平面之前。

14.根据权利要求9-13任一所述的装置，其特征在于，所述对所述渲染素材中对被所述实物对象遮挡的部分进行遮挡剔除处理包括以下至少一项方式：

删除所述渲染素材中被所述实物对象遮挡的部分；

调整所述渲染素材中被所述实物对象遮挡的部分的透明度；

修改所述渲染素材中被所述实物对象遮挡的部分与所述现实图像中背景部分的像素混合模式。

15.根据权利要求9-14任一所述的装置，其特征在于，所述获取模块，具体用于：

利用基于神经网络生成的分割网络，对所述现实图像中进行分割处理，得到所述目标区域；

所述装置还包括：

训练模块，用于获取包括多个训练样本的训练样本集；所述训练样本包括目标区域的标注信息；所述目标区域包括根据业务需求预先设定的区域；

基于所述训练样本集，对所述分割网络进行训练。

16.根据权利要求9-15任一所述的装置，其特征在于，所述渲染素材包括三维虚拟人头；所述目标区域包括所述现实图像中的前景区域；所述实物对象包括人物身体；所述现实图像包括的目标渲染对象为真实人头。

17.一种电子设备，其特征在于，所述设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如权利要求1-8任一所述的图像处理方法。

18.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于使处理器执行如权利要求1-8任一所述的图像处理方法。

Images