CN117237514A - 图像处理方法和图像处理装置 - Google Patents

Abstract

本申请公开了一种图像处理方法和图像处理装置，属于虚拟引擎技术领域。所述图像处理方法，包括：获取场景相机采集的数据；将数据输入至渲染流程模块；渲染流程模块包括设置于后效流程模块之前的目标流程模块，目标流程模块为融合用于生成色彩图的第一子流程、生成深度图的第二子流程和生成分割图的第三子流程中至少两个子流程所得到的模块；获取渲染流程模块分别输出的数据对应的目标色彩图、目标深度图和目标分割图中的至少两种。本申请的图像处理方法，能够通过一个场景相机同时输出目标色彩图、目标深度图和目标分割图等多种不同类型的图像，实现场景中的单场景相机获取多种图像，显著提高渲染效率，减少资源浪费。

Description

图像处理方法和图像处理装置

技术领域

本申请属于虚拟引擎技术领域，尤其涉及一种图像处理方法和图像处理装置。

背景技术

虚拟引擎(Unreal Engine，UE)为游戏工程师和图形工作者提供了便利的开发工具链和一系列功能模块，可用于游戏开发、三维重建、训练模拟及多媒体展示等。在使用过程中，相关技术中，主要通过在场景中放置场景相机(SceneCapure)以获取想要的相关数据。然而，各Capture之间独立渲染，每一个Capture仅能输出一种类型的图像，当需要多种类型的信息图时，需在场景中设置多个用于输出不同类型的图像的SceneCapure以获取全部所需的类型的图像，渲染效率较低，造成资源浪费。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种图像处理方法和图像处理装置，能够通过一个场景相机同时输出目标色彩图、目标深度图和目标分割图等多种不同类型的图像，实现场景中的单场景相机获取多种图像，显著提高渲染效率，减少资源浪费，且输出的图像分辨率较高。

第一方面，本申请提供了一种图像处理方法，应用于虚拟引擎，所述虚拟引擎包括场景相机，所述场景相机对应有独立的渲染流程模块，该方法包括：

获取所述场景相机采集的数据；

将所述数据输入至所述渲染流程模块；所述渲染流程模块包括设置于后效流程模块之前的目标流程模块，所述目标流程模块为融合用于生成色彩图的第一子流程、生成深度图的第二子流程和生成分割图的第三子流程中至少两个子流程所得到的模块；

获取所述渲染流程模块分别输出的所述数据对应的目标色彩图、目标深度图和目标分割图中的至少两种。

根据本申请的图像处理方法，通过融合色彩图、深度图和分割图对应的Pass得到目标流程模块，并将该目标流程模块添加至场景相机的渲染管线内且在后效之前，使得能够通过一个场景相机同时输出目标色彩图、目标深度图和目标分割图等多种不同类型的图像，实现场景中的单场景相机获取多种图像，显著提高渲染效率，减少资源浪费，且输出的图像分辨率较高。

根据本申请的一个实施例，所述渲染流程模块的渲染流程依次为PrePass、BasePass、Lighting、Translucency、GetImage以及后效流程；所述虚拟引擎采集的数据包括单场景相机采集的数据、多场景相机中的一个相机采集的数据以及所述多场景相机中的单一场景信道数据中的至少一种。

根据本申请的一个实施例，在所述目标流程模块为融合所述第一子流程、所述第二子流程和所述第三子流程所得到的模块的情况下，所述获取所述渲染流程模块分别输出的所述数据对应的目标色彩图、目标深度图和目标分割图中的至少两种，包括：

获取所述渲染流程模块分别输出的所述目标色彩图、所述目标深度图和所述目标分割图。

根据本申请的一个实施例，所述目标分割图包括目标场景中目标对象的真实图像和所述目标对象在镜子中的镜中虚像中的至少一种。

根据本申请的图像处理方法，通过目标流程模块进行图像分割，在对三维场景下的真实图像进行分割的同时，还可以对镜子中的虚像进行图像分割，以得到目标对象在镜子中的镜中虚像，基于现有的接口即可获取场景镜子中虚拟物体的分割图像，扩展了虚拟引擎的功能，且操作简单方便，成本低。

根据本申请的一个实施例，所述镜中虚像通过如下步骤确定：

对所述数据进行初始图像分割，获取所述目标场景中的多个对象；所述多个对象包括所述镜子；

采用光线跟踪算法处理所述多个对象，获取所述镜中虚像。

根据本申请的一个实施例，所述采用光线跟踪算法处理所述多个对象，获取所述镜中虚像，包括：

从所述场景相机发射目标光线；

在所述目标光线击中所述镜子对应的多个像素中目标像素的情况下，获取沿所述镜子的法线反射的反射光线；

基于所述多个对象中第一个被所述反射光线击中的对象，确定所述镜中虚像。

根据本申请的一个实施例，所述基于所述多个对象中第一个被所述反射光线击中的对象，确定所述镜中虚像，包括：

获取所述多个对象对应的多个颜色值；

基于所述多个对象中第一个被所述反射光线击中的对象对应的标识，从所述多个颜色值中确定与所述标识匹配的目标颜色值；

将所述目标像素的颜色值设置为所述目标颜色值，确定所述镜中虚像。

根据本申请的图像处理方法，通过光线追踪算法对镜子中的虚像进行分割，可以得到一个或多个对象对应的镜中虚像而非简单的镜子对象，能够根据现有的接口获取场景镜子中虚拟物体的分割图像，除此之外，也突破了256数量的限制，可以标注高达千万的对象，适用范围较广。

第二方面，本申请提供了一种图像处理装置，应用于虚拟引擎，所述虚拟引擎包括场景相机，所述场景相机对应有独立的渲染流程模块，该装置包括：

第一处理模块，用于获取所述场景相机采集的数据；

第二处理模块，用于将所述数据输入至所述渲染流程模块；所述渲染流程模块包括设置于后效流程模块之前的目标流程模块，所述目标流程模块为融合用于生成色彩图的第一子流程、生成深度图的第二子流程和生成分割图的第三子流程中至少两个子流程所得到的模块；

第三处理模块，用于获取所述渲染流程模块分别输出的所述数据对应的目标色彩图、目标深度图和目标分割图中的至少两种。

根据本申请的图像处理装置，通过融合色彩图、深度图和分割图对应的Pass得到目标流程模块，并将该目标流程模块添加至场景相机的渲染管线内且在后效之前，使得能够通过一个场景相机同时输出目标色彩图、目标深度图和目标分割图等多种不同类型的图像，实现场景中的单场景相机获取多种图像，显著提高渲染效率，减少资源浪费，且输出的图像分辨率较高。

第三方面，本申请提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的图像处理方法。

第四方面，本申请提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的图像处理方法。

第五方面，本申请提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的图像处理方法。

本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：

通过融合色彩图、深度图和分割图对应的Pass得到目标流程模块，并将该目标流程模块添加至场景相机的渲染管线内且在后效之前，使得能够通过一个场景相机同时输出目标色彩图、目标深度图和目标分割图等多种不同类型的图像，实现场景中的单场景相机获取多种图像，显著提高渲染效率，减少资源浪费，且输出的图像分辨率较高。

进一步地，通过目标流程模块进行图像分割，在对三维场景下的真实图像进行分割的同时，还可以对镜子中的虚像进行图像分割，以得到目标对象在镜子中的镜中虚像，基于现有的接口即可获取场景镜子中虚拟物体的分割图像，扩展了虚拟引擎的功能，且操作简单方便，成本低；除此之外，能够使得虚拟场景中生成的景象更贴近于现实生活中的景象，使得用户在体验虚拟场景时，具有更高的沉浸感与代入感。

更进一步地，通过光线追踪算法对镜子中的虚像进行分割，可以得到一个或多个对象对应的镜中虚像而非简单的镜子对象，能够根据现有的接口获取场景镜子中虚拟物体的分割图像，除此之外，也突破了256数量的限制，可以标注高达千万的对象，适用范围较广。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请实施例提供的图像处理方法的流程示意图之一；

图2是本申请实施例提供的图像处理方法的流程示意图之二；

图3是本申请实施例提供的图像处理方法的结果示意图之一；

图4是本申请实施例提供的图像处理方法的结果示意图之二；

图5是本申请实施例提供的图像处理方法的结果示意图之三；

图6是本申请实施例提供的图像处理方法的结果示意图之四；

图7是本申请实施例提供的图像处理装置的结构示意图；

图8是本申请实施例提供的电子设备的结构示意图；

图9是本申请实施例提供的图像处理方法的流程示意图之三。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、图像处理装置、电子设备和可读存储介质进行详细地说明。

其中，图像处理方法可应用于终端，具体可由，终端中的硬件或软件执行。

本申请实施例提供的图像处理方法，该图像处理方法的执行主体可以为电子设备或者电子设备中能够实现该图像处理方法的功能模块或功能实体，本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、相机和可穿戴设备等，下面以电子设备作为执行主体为例对本申请实施例提供的图像处理方法进行说明。

如图1所示，该图像处理方法包括：步骤110、步骤120和步骤130。

需要说明的是，该图像处理方法应用于虚拟引擎，虚拟引擎包括场景相机，场景相机对应有独立的渲染流程模块。

可以理解的是，在使用虚拟引擎(Unreal Engine，UE)的过程中，可以在场景中放置场景相机(SceneCapure)以采集图像，并对采集的图像进行处理，得到所需的信息。

在一些实施例中，该图像处理方法可应用于虚拟现实场景。

步骤110、获取场景相机采集的数据；

在该步骤中，场景相机可以放置于目标场景中的任意位置进行图像采集，以得到数据。

需要说明的是，本申请的图像处理方法可用于单场景相机情景，也可以应用于多场景相机情景。

对于多场景相机情景下的任意场景相机，均可执行本申请所提出的图像处理方法。

步骤120、将数据输入至渲染流程模块；渲染流程模块包括设置于后效流程模块之前的目标流程模块，目标流程模块为融合用于生成色彩图的第一子流程、生成深度图的第二子流程和生成分割图的第三子流程中至少两个子流程所得到的模块；

在该步骤中，第一子流程为用于生成色彩图的Pass，第二子流程为用于生成深度图的Pass，第三子流程为用于生成分割图的Pass。

在实际执行过程中，可以在场景相机的渲染管线中添加一个独立Pass，该Pass放置在后效之前，用于负责将场景相机渲染场景的色彩图、深度图和分割图中的至少两个同时输出出来；即该独立Pass融合了色彩图、深度图和分割图对应的Pass中的至少两个，以使得能够通过一个独立Pass同时输出色彩图、深度图和分割图中的至少两个，从而实现通过一个场景相机即可同时输出色彩图、深度图和分割图等多种不同类型的图像。

如图2所示，在一些实施例中，渲染流程模块的渲染流程依次为PrePass、BasePass、Lighting、Translucency、GetImage以及后效流程。

在该实施例中，PrePass用于以低消耗版本的fragment shader得到场景深度图。

BasePass即几何通道，用于将场景里的各个几何体经过BasePassPixelShader处理，输出到GBuff上。

Lighting用于模拟光在三维场景中的传播和作用，将场景中的物体表面表现出光的效果，以获取GBuff数据进行光照着色。

Translucency用于进行透明材质处理。

GetImage用于获取本地图片。

后效流程(Post-Processing)为全屏图像处理效果，发生在场景相机绘制场景之后，且场景在屏幕上呈现之前。

虚拟引擎采集的数据可以包括：单场景相机采集的数据、多场景相机中的一个相机采集的数据以及多场景相机中的单一场景信道数据中的至少一种。

其中，单场景相机即场景中仅有一个场景相机；多场景相机即场景中放置有至少两个场景相机，不同的场景相机用于输出不同类型的图像。

在实际执行过程中，每一个场景相机对应于一个信道，用于传输该场景相机所采集的数据。

在该实施例中，利用该融合了色彩图、深度图和分割图对应的Pass中的至少两个所得到的一个场景相机对应的渲染流程模块对数据进行处理，仅需一个场景相机即可一次性输出色彩图、深度图和分割图等多种不同类型的图像。

步骤130、获取渲染流程模块分别输出的数据对应的目标色彩图、目标深度图和目标分割图中的至少两种。

在该步骤中，目标色彩图即用于表征数据中各特征对应的色彩的图像，如图3所示。

目标深度图用于表征数据中各特征与场景相机之间的距离情况的图像，如图4所示。

目标分割图即对数据进行特征分割所得到的用于表征不同几何形状特征的图像，如图5所示。

目标分割图可以包括目标场景中的至少部分或全部对象对应的图像。

可以理解的是，在本申请中，渲染流程模块所输出的图像类型基于其所融合的pass的类型确定。

例如，渲染流程模块融合了色彩图和分割图对应的Pass，则该渲染流程模块可以同时输出目标色彩图和目标分割图。

在一些实施例中，在目标流程模块为融合第一子流程、第二子流程和第三子流程所得到的模块的情况下，步骤130可以包括：获取渲染流程模块分别输出的目标色彩图、目标深度图和目标分割图。

在该实施例中，在目标流程模块融合了色彩图、深度图和分割图对应的Pass的情况下，渲染流程模块可以同时输出目标色彩图、目标深度图和目标分割图等三类图像，而不需要设置多个场景相机。

例如，以构建虚拟现实情境中“虚拟角色照镜子”这一场景为例，在场景中设置一个场景相机，将其采集的数据输入至融合了色彩图、深度图和分割图对应的Pass的独立Pass进行渲染，可以同时输出用于表征床、衣柜、玩具、镜子以及虚拟角色本身等对象的多个分割图；床、衣柜、玩具、镜子以及虚拟角色本身等对象对应的色彩图以及深度图。

发明人在研发过程中发现，相关技术中，主要通过在场景中放置SceneCapure以获取想要的相关数据，然而单个SceneCapture都有自己独立的渲染流程，该流程与主相机和其他相机的渲染相互独立，单个Scene Capture最终的Render Target渲染目标仅支持一种图像类型，若要获取多个图像种类，需要在场景中放置多个SceneCapture，大大降低了渲染效率，造成资源浪费；为了整体的渲染效率，输出的图像分辨率较低。

而在本申请中，通过在SceneCapture的渲染管线中添加一个放置在后效之前的独立Pass，该独立Pass融合了色彩图、深度图和分割图对应的Pass，使得能够通过一个SceneCapture同时输出目标色彩图、目标深度图和目标分割图等多种不同类型的图像，实现场景中的单SceneCapture获取多种图像，显著提高渲染效率，减少资源浪费，且输出的图像分辨率较高。

根据本申请实施例提供的图像处理方法，通过融合色彩图、深度图和分割图对应的Pass得到目标流程模块，并将该目标流程模块添加至场景相机的渲染管线内且在后效之前，使得能够通过一个场景相机同时输出目标色彩图、目标深度图和目标分割图等多种不同类型的图像，实现场景中的单场景相机获取多种图像，显著提高渲染效率，减少资源浪费，且输出的图像分辨率较高。

在一些实施例中，目标分割图可以包括目标场景中目标对象的真实图像和目标对象在镜子中的镜中虚像中的至少一种。

在该实施例中，目标对象可以为目标场景中全部对象中的任意对象。

真实图像即为目标对象在三维场景下的图像。

可以理解的是，在一些实施例中，目标场景所包括的全部对象中可能存在镜子，如图5中的对象510对应的分割图。

在存在镜子的情况下，目标分割图还可以包括目标对象在镜子中的镜中虚像，如图6所示。

其中，镜中虚像为目标对象在镜子中的图像，如图6所示，分割图520对应的对象在镜中的虚像为分割图521；分割图530对应的对象在镜中的虚像为分割图531；分割图540对应的对象在镜中的虚像为分割图541；分割图550对应的对象在镜中的虚像为分割图551。

根据本申请实施例提供的图像处理方法，通过目标流程模块进行图像分割，在对三维场景下的真实图像进行分割的同时，还可以对镜子中的虚像进行图像分割，以得到目标对象在镜子中的镜中虚像，基于现有的接口即可获取场景镜子中虚拟物体的分割图像，扩展了虚拟引擎的功能，且操作简单方便，成本低；除此之外，能够使得虚拟场景中生成的景象更贴近于现实生活中的景象，使得用户在体验虚拟场景时，具有更高的沉浸感与代入感。

下面结合图9对虚像分割的具体实现方式进行说明。

在一些实施例中，镜中虚像可以通过如下步骤确定：

对数据进行初始图像分割，获取目标场景中的多个对象；多个对象包括镜子；

采用光线跟踪算法处理多个对象，获取镜中虚像。

在该实施例中，图5所示的图像中包括多个对象，其中，对象510对应的分割图即为镜子对应的分割图。

在实际执行过程中，分割场景中的静态物体和动态物体可使用Custom StencilDepth Pass对每个Actor进行id标注，然后获取各对象对应分割图，如图5所示，包括其他对象对应的分割图以及完整的镜子对应的分割图510。

可以理解的是，镜子本身是一个真实的物体，镜中的虚拟物体没有真实的物理网格，则无法基于Custom Stencil Depth Pass对其进行标注。

在本申请中，可以在分割图对应的Pass中添加一个用于执行光线跟踪算法的Pass，使得在实际执行过程中，在得到真实的对象后，可以进一步采用光线跟踪算法对真实的对象对应的分割图进行处理，以对镜子中的内容进行分割，得到镜中虚像。

其中，光线跟踪(RayTracing)算法为模拟光线从场景相机射向场景中物体的过程以进行渲染的算法。

在一些实施例中，光线跟踪可以通过raytrace函数、Lingo或其它编程语言等方式实现，本申请在此不作赘述。

继续参考图9，在一些实施例中，采用光线跟踪算法处理多个对象，获取镜中虚像，可以包括：

从场景相机发射目标光线；

在目标光线击中镜子对应的多个像素中目标像素的情况下，获取沿镜子的法线反射的反射光线；

基于多个对象中第一个被反射光线击中的对象，确定镜中虚像。

在该实施例中，目标像素为镜子对应的分割图510所包括的全部点中的任意像素点。

在实际执行过程中，根据反射光照思路，从场景相机发射一条目标光线，击中镜子中目标像素后，沿着镜子的法线反射出去，然后基于反射光线所击中的第一个对象，确定镜中虚像。

对于镜子中的每一个像素点，均可以采用同样的方式进行处理。

继续参考图9，在一些实施例中，基于多个对象中第一个被反射光线击中的对象，确定镜中虚像，可以包括：

获取多个对象对应的多个颜色值；

基于多个对象中第一个被反射光线击中的对象对应的标识，从多个颜色值中确定与标识匹配的目标颜色值；

将目标像素的颜色值设置为目标颜色值，确定镜中虚像。

在该实施例中，基于目标色彩图，可以获取各个对象对应的颜色值。

对于每个像素，可以产生一条从场景相机出发的光线，同时设置深度为0；对于场景中的每个对象，计算光线与对象的交点以及此时光线的方向向量；选择离光线起点最近的交点，并计算光线的颜色；将RGB值归一化到[0,1]区间，最终得到该像素的颜色值。

例如，继续参考图5，立方体520的颜色值为绿色，圆锥540的颜色值为橙色，圆柱550的颜色值为蓝色。

从场景相机发射一条光线，击中每个镜子中每个像素后，沿着镜子的法线反射出去，寻找到目标场景中第一个打中的对象的id，然后将该像素的颜色置为该id对应的颜色值，则可完整的得到出镜中虚拟物体的分割图，如图6所示，即可以得到绿色的立方体虚像521，橙色的圆锥虚像541以及蓝色的圆柱虚像551等。

继续以构建虚拟现实情境中“虚拟角色照镜子”这一场景为例，通过在场景中设置一个场景相机，将其采集的数据输入至融合了色彩图、深度图和分割图对应的Pass的独立Pass进行渲染，可以同时输出用于表征床、衣柜、玩具、镜子以及虚拟角色本身等对象的多个分割图；床、衣柜、玩具、镜子以及虚拟角色本身等对象对应的色彩图以及深度图。

需要说明的是，多个分割图中镜子对应的分割图，还可以进一步包括镜中虚像对应的至少一个分割图。

例如，在虚拟角色照镜子这一情境下，除了镜子本申请的分割图外，还需要存在用于显示于镜子中的虚拟角色的镜中虚像对应的分割图，以及显示于镜子中的房间内其他物体的镜中虚像对应的分割图。

在实际处理过程中，在得到床、衣柜、玩具、虚拟角色本身以及镜子本身等对象的多个分割图后，可进一步基于光线追踪算法，从场景相机发射目标光线，击中镜子中某一像素后，沿着镜子的法线反射出去，然后基于反射光线所击中的第一个对象，将该像素的颜色置该对象对应的颜色值，重复多次，直至击中镜子中的每一个像素，从而得到镜中虚拟对象的分割图。

通过对镜中虚像进行分割以得到虚像分割图，可以使得虚拟情景中的场景显示与现实场景更为贴近，有助于提高玩家的沉浸感和体验感。

发明人在研发过程中还发现，相关技术中，对于常规的Custom Stencil DepthPass仅能用于目标场景中对象少于256个的情景，而当目标场景里的对象多于256个，则无法采用遮罩给目标场景中的对象进行赋值，具有一定的局限性，

而在本申请中，采用光线追踪算法，在对镜子中的虚像进行分割，得到一个或多个镜中虚像的同时，也突破了256数量的限制，可以标注高达千万的对象，显著提高了适用范围。

根据本申请实施例提供的图像处理方法，通过光线追踪算法对镜子中的虚像进行分割，可以得到一个或多个对象对应的镜中虚像而非简单的镜子对象，能够根据现有的接口获取场景镜子中虚拟物体的分割图像，除此之外，也突破了256数量的限制，可以标注高达千万的对象，适用范围较广。

本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。

本申请实施例还提供一种图像处理装置。

需要说明的是，该图像处理装置应用于虚拟引擎，虚拟引擎包括场景相机，场景相机对应有独立的渲染流程模块。

如图7所示，该图像处理装置包括：第一处理模块710、第二处理模块720和第三处理模块730。

第一处理模块710，用于获取场景相机采集的数据；

第二处理模块720，用于将数据输入至渲染流程模块；渲染流程模块包括设置于后效流程模块之前的目标流程模块，目标流程模块为融合用于生成色彩图的第一子流程、生成深度图的第二子流程和生成分割图的第三子流程中至少两个子流程所得到的模块；

第三处理模块730，用于获取渲染流程模块分别输出的数据对应的目标色彩图、目标深度图和目标分割图中的至少两种。

根据本申请实施例提供的图像处理装置，通过融合色彩图、深度图和分割图对应的Pass得到目标流程模块，并将该目标流程模块添加至场景相机的渲染管线内且在后效之前，使得能够通过一个场景相机同时输出目标色彩图、目标深度图和目标分割图等多种不同类型的图像，实现场景中的单场景相机获取多种图像，显著提高渲染效率，减少资源浪费，且输出的图像分辨率较高。

在一些实施例中，在目标流程模块为融合第一子流程、第二子流程和第三子流程所得到的模块的情况下，第三处理模块730，还可以用于：

获取渲染流程模块分别输出的目标色彩图、目标深度图和目标分割图。

在一些实施例中，该装置还可以包括第四处理模块，用于：

对数据进行初始图像分割，获取目标场景中的多个对象；多个对象包括镜子；

采用光线跟踪算法处理多个对象，获取镜中虚像。

根据本申请实施例提供的图像处理装置，在对三维场景下的真实图像进行分割的同时，还可以对镜子中的虚像进行图像分割，以得到目标对象在镜子中的镜中虚像，基于现有的接口即可获取场景镜子中虚拟物体的分割图像，扩展了虚拟引擎的功能，且操作简单方便，成本低。

在一些实施例中，第四处理模块，还可以用于：

从场景相机发射目标光线；

在目标光线击中镜子对应的多个像素中目标像素的情况下，获取沿镜子的法线反射的反射光线；

基于多个对象中第一个被反射光线击中的对象，确定镜中虚像。

在一些实施例中，第四处理模块，还可以用于：

获取多个对象对应的多个颜色值；

基于多个对象中第一个被反射光线击中的对象对应的标识，从多个颜色值中确定与标识匹配的目标颜色值；

将目标像素的颜色值设置为目标颜色值，确定镜中虚像。

根据本申请实施例提供的图像处理装置，通过光线追踪算法对镜子中的虚像进行分割，可以得到一个或多个对象对应的镜中虚像而非简单的镜子对象，能够根据现有的接口获取场景镜子中虚拟物体的分割图像，除此之外，也突破了256数量的限制，可以标注高达千万的对象，适用范围较广。

本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为IOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现图1至图6的方法实施例实现的各个过程，为避免重复，这里不再赘述。

在一些实施例中，如图8所示，本申请实施例还提供一种电子设备800，包括处理器801、存储器802及存储在存储器802上并可在处理器801上运行的计算机程序，该程序被处理器801执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

本申请实施例还提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述图像处理方法。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (11)

1.一种图像处理方法，其特征在于，应用于虚拟引擎，所述虚拟引擎包括场景相机，所述场景相机对应有独立的渲染流程模块，所述方法包括：

获取所述场景相机采集的数据；

将所述数据输入至所述渲染流程模块；所述渲染流程模块包括设置于后效流程模块之前的目标流程模块，所述目标流程模块为融合用于生成色彩图的第一子流程、生成深度图的第二子流程和生成分割图的第三子流程中至少两个子流程所得到的模块；

获取所述渲染流程模块分别输出的所述数据对应的目标色彩图、目标深度图和目标分割图中的至少两种。

2.根据权利要求1所述的图像处理方法，其特征在于，所述渲染流程模块的渲染流程依次为PrePass、BasePass、Lighting、Translucency、GetImage以及后效流程；所述虚拟引擎采集的数据包括单场景相机采集的数据、多场景相机中的一个相机采集的数据以及所述多场景相机中的单一场景信道数据中的至少一种。

3.根据权利要求1所述的图像处理方法，其特征在于，在所述目标流程模块为融合所述第一子流程、所述第二子流程和所述第三子流程所得到的模块的情况下，所述获取所述渲染流程模块分别输出的所述数据对应的目标色彩图、目标深度图和目标分割图中的至少两种，包括：

获取所述渲染流程模块分别输出的所述目标色彩图、所述目标深度图和所述目标分割图。

4.根据权利要求1-3任一项所述的图像处理方法，其特征在于，所述目标分割图包括目标场景中目标对象的真实图像和所述目标对象在镜子中的镜中虚像中的至少一种。

5.根据权利要求4所述的图像处理方法，其特征在于，所述镜中虚像通过如下步骤确定：

对所述数据进行初始图像分割，获取所述目标场景中的多个对象；所述多个对象包括所述镜子；

采用光线跟踪算法处理所述多个对象，获取所述镜中虚像。

6.根据权利要求5所述的图像处理方法，其特征在于，所述采用光线跟踪算法处理所述多个对象，获取所述镜中虚像，包括：

从所述场景相机发射目标光线；

在所述目标光线击中所述镜子对应的多个像素中目标像素的情况下，获取沿所述镜子的法线反射的反射光线；

基于所述多个对象中第一个被所述反射光线击中的对象，确定所述镜中虚像。

7.根据权利要求6所述的图像处理方法，其特征在于，所述基于所述多个对象中第一个被所述反射光线击中的对象，确定所述镜中虚像，包括：

获取所述多个对象对应的多个颜色值；

基于所述多个对象中第一个被所述反射光线击中的对象对应的标识，从所述多个颜色值中确定与所述标识匹配的目标颜色值；

将所述目标像素的颜色值设置为所述目标颜色值，确定所述镜中虚像。

8.一种图像处理装置，其特征在于，应用于虚拟引擎，所述虚拟引擎包括场景相机，所述场景相机对应有独立的渲染流程模块，所述装置包括：

第一处理模块，用于获取所述场景相机采集的数据；

第二处理模块，用于将所述数据输入至所述渲染流程模块；所述渲染流程模块包括设置于后效流程模块之前的目标流程模块，所述目标流程模块为融合用于生成色彩图的第一子流程、生成深度图的第二子流程和生成分割图的第三子流程中至少两个子流程所得到的模块；

第三处理模块，用于获取所述渲染流程模块分别输出的所述数据对应的目标色彩图、目标深度图和目标分割图中的至少两种。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述图像处理方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一项所述的图像处理方法。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述图像处理方法。