CN113327316A - 一种图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、设备及存储介质，其中，所述方法包括：获取图像画面包括待渲染对象的二维图像和三维图像；确定所述三维图像中的三维几何数据；基于所述三维几何数据和虚拟环境的光影参数，对所述二维图像画面中的所述待渲染对象进行调整，得到图像画面与所述虚拟环境相匹配的目标图像。

Description

一种图像处理方法、装置、设备及存储介质

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术

相关技术中，对图像进行效果合成时，通常是将两个不同图像中部分画面直接进行拼接拟合，以得到效果图；如此，因两个不同图像中背景和场景光源通常存在差异，会出现效果图的显示画面不协调的现象。

发明内容

有鉴于此，本申请实施例提供一种图像处理方法、装置、设备及存储介质。

本申请的技术方案是这样实现的：

本申请实施例提供一种图像处理方法，所述方法包括：

获取图像画面包括待渲染对象的二维图像和三维图像；

确定所述三维图像中的三维几何数据；

基于所述三维几何数据和虚拟环境的光影参数，对所述二维图像画面中的所述待渲染对象进行调整，得到图像画面与所述虚拟环境相匹配的目标图像。

本申请实施例提供一种图像处理装置，所述装置包括：

获取模块，用于获取图像画面包括待渲染对象的二维图像和三维图像；

确定模块，用于确定所述三维图像中的三维几何数据；

调整模块，用于基于所述三维几何数据和虚拟环境的光影参数，对所述二维图像画面中的所述待渲染对象进行调整，得到画面与所述虚拟环境相匹配的目标图像。

本申请实施例还提供一种电子设备，包括：处理器、存储器和通信总线；

所述通信总线用于实现所述处理器和所述存储器之间的通信连接；

所述处理器用于执行所述存储器中的程序，以实现上述所述的图像处理方法。

相应地，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述所述的图像处理方法。

本申请实施例提供的图像处理方法、装置、设备及存储介质，首先，获取图像画面包括待渲染对象的二维图像和三维图像；其次，确定三维图像中的三维几何数据；最后，基于三维几何数据和虚拟环境的光影参数，对二维图像画面中的待渲染对象进行调整，得到图像画面与虚拟环境相匹配的目标图像；如此，通过三维几何数据和虚拟环境的光影参数，对图像画面中的待渲染对象进行调整，得到图像画面与虚拟环境相匹配的目标图像，能够提高图像渲染的质量和效率。

附图说明

图1为本申请实施例提供的第一种图像处理方法的流程示意图；

图2为本申请实施例提供的第二种图像处理方法的流程示意图；

图3为本申请实施例提供的第三种图像处理方法的流程示意图；

图4为本申请实施例提供的一种图像处理装置的结构示意图；

图5为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

应理解，说明书通篇中提到的“本申请实施例”或“前述实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“本申请实施例中”或“在前述实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中应。在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在未做特殊说明的情况下，电子设备执行本申请实施例中的任一步骤，可以是电子设备的处理器执行该步骤。还值得注意的是，本申请实施例并不限定电子设备执行下述步骤的先后顺序。另外，不同实施例中对数据进行处理所采用的方式可以是相同的方法或不同的方法。还需说明的是，本申请实施例中的任一步骤是电子设备可以独立执行的，即电子设备执行下述实施例中的任一步骤时，可以不依赖于其它步骤的执行。

相关技术中，通常采用以下两种方式来实现不同的多人远程呈现系统：

1、将视频画面包括用户的多个视频缩小排列至同一个二维画面进行传输；或是藉由机器视觉算法进行背景去除，再将分离出的每一用户轮廓图像迭加于一个二维虚拟空间，同时对该二维画面基于二维虚拟空间进行渲染，并传输至相关屏幕。

2、基于系统彩色图像和深度图像数据，结合机器视觉技术进行用户的动态三维纹理模型重建，并将每个用户的重建模型输入至渲染引擎，根据不同虚拟场景设定环境参数，渲染引擎即可进行不同的光影渲染，再将渲染画面传输至用户屏幕。

同时，在方式1中：因每位用户所处的真实场景空间不同，因此照射于每个用户的场景光源及其方向也不同，进而易导致通过方式一呈现多用户于同一个二维虚拟空间进行视频会议的体验存在视觉上不一致的问题；在方式2中：其易受限于三维传感器采样分辨率太低和传输数据量太大等问题，进而导致渲染后的人像质量不佳的问题。

基于以上问题，本申请实施例提供一种图像处理方法，应用于图像处理装置，参照图1所示，该方法包括以下步骤：

步骤101、获取图像画面包括待渲染对象的二维图像和三维图像。

在本申请实施例中，图像处理装置可以是任一具有数据处理能力的电子设备。

其中，图像处理装置可以通过内部图像采集模块获取图像画面包括待渲染对象的二维图像和三维图像，也可以是图像处理装置接收其他电子设备发送的图像画面包括待渲染对象的二维图像和三维图像。

在一种可行的实现方式中，图像处理装置可以在同一时刻对待渲染对象进行图像采集，以获取图像画面包括待渲染对象的二维图像和三维图像；其中，该待渲染对象在二维图像和三维图像中所呈现的信息，比如：颜色、形态等完全相同。

在另一种可行的实现方式中，图像处理装置可以在前后两个时刻分别对待渲染对象进行图像采集，以分别获取图像画面包括待渲染对象的二维图像和三维图像；其中，该待渲染对象在二维图像和三维图像中所呈现的信息可能相同，也可能不同。

需要说明的是，待渲染对象可以是人物、植物或动物等，在本申请以下其他实施例中，以待渲染对象为人物为例进行说明；其中，二维图像和三维图像中各自包括的待渲染对象的数量可以是一个，两个及以上。

在本申请实施例中，二维图像和三维图像各自对应的图像画面中包括但不限于待渲染对象。同时，二维图像和三维图像各自图像尺寸、呈现的颜色等在本申请实施例中不作任何限定。且二维图像可以是一张图像，也可以是两张及以上图像；相应地，三维图像可以是一张图像，也可以是两张及以上图像。

需要说明的是，二维图像即为图像画面不包括深度信息的平面图像；三维图像为图像画面具有高度、宽度以及纵深的立体图像。

其中，图像画面包括待渲染对象的二维图像和三维图像可以是二维彩色图像和三维彩色图像。同时待渲染对象可以分别位于二维图像和三维图像中的前景区域、中景区域或背景区域；在本申请以下其他实施例中，均以待渲染对象位于二维图像和三维图像的前景区域为例进行说明。

步骤102、确定三维图像中的三维几何数据。

在本申请实施例中，图像处理装置对三维图像进行处理，以得到三维图像中的三维几何数据；其中，该三维几何数据可以是待渲染对象在三维图像中的三维几何特征。

在一种可行的实现方式中，三维几何数据可以是三维图像中与待渲染对象相关联的三维几何三角片数据。

在另一种可行的实现方式中，三维几何数据可以是针对三维图像中的待渲染对象进行几何处理，得到的三维几何四边形数据。

其中，三维几何数据的表现形式可以是数据、文字以及代码等，本申请实施例对此不作任何限定。

需要说明的是，图像处理装置确定三维图像中的三维几何数据之前，可以先对三维图像进行纹理特征过滤，进而基于过滤掉纹理特征的三维图像，得到对应的三维几何数据。

其中，图像处理装置可以基于机器视觉算法对三维图像进行处理，以得到待渲染对象的三维几何数据；其中，该机器视觉算法在本申请实施例中不作任何限定。

步骤103、基于三维几何数据和虚拟环境的光影参数，对二维图像画面中的待渲染对象进行调整，得到图像画面与虚拟环境相匹配的目标图像。

在本申请实施例中，图像处理装置基于三维几何数据和虚拟环境的光影参数，对二维图像画面中的待渲染对象所在的图像区域进行调整，得到图像画面与虚拟环境相匹配的目标图像。

其中，虚拟环境可以是事先设定好的，也可以是基于待渲染对象的属性信息确定的。同时虚拟环境可以是公园场所对应的环境信息，也可以是办公室对应的环境信息，还可以是教室对应的环境信息。

需要说明的是，虚拟环境的光影参数，可以指代虚拟环境中的光照强度、光入射方向以及阴影信息等。

在一种可行的实现方式中，图像处理装置基于确定的三维几何数据和虚拟环境的光影参数，对二维图像画面中待渲染对象所在的图像区域中的每一像素点的光影参数进行调整，得到中间图像；并将中间图像和虚拟环境对应的虚拟图像按照预设规则进行整合处理，以得到目标图像；其中，目标图像的图像画面至少包括光影参数调整后的待渲染对象。

需要说明的是，在二维图像和三维图像均为至少两张及以上图像时，基于每一三维图像对应的三维几何数据和虚拟环境的光影参数，对每一二维图像画面中的待渲染对象进行调整，以得到至少两张图像画面与虚拟环境相匹配的目标图像；其中，虚拟环境的光影参数可以随着三维图像的图像画面内容变化而变化。

本申请实施例提供的图像处理方法，首先，获取图像画面包括待渲染对象的二维图像和三维图像；其次，确定三维图像中的三维几何数据；最后，基于三维几何数据和虚拟环境的光影参数，对二维图像画面中的待渲染对象进行调整，得到图像画面与虚拟环境相匹配的目标图像；如此，通过三维几何数据和虚拟环境的光影参数，对图像画面中的待渲染对象进行调整，得到图像画面与虚拟环境相匹配的目标图像，能够提高图像渲染的质量和效率。

基于前述实施例，本申请实施例还提供一种图像处理方法，应用于图像处理装置，参照图1和图2所示，该方法包括以下步骤：

步骤201、对三维图像进行区域分割，确定待渲染对象在三维图像中占据的空间区域。

在本申请实施例中，图像处理装置对三维图像进行区域分割，确定待渲染对象在三维图像中占据的空间区域。

其中，在待渲染对象为人的情况下，该空间区域即为待渲染对象在三维图像中人体范围所占的图像区域。

在一种可行的实现方式中，图像处理装置确定出来的空间区域包括待渲染对象的头部区域和肢体区域。

在另一种可行的实现方式中，图像处理装置确定出来的空间区域包括待渲染对象的头部区域和手部区域。

在又一种可行的实现方式中，图像处理装置确定出来的空间区域包括待渲染对象的全部身体区域。

需要说明的是，在本申请实施例中，图像处理装置首先对三维图像进行纹理特征过滤，得到中间三维图像，然后对中间三维图像进行区域分割，确定待渲染对象在三维图像中占据的空间区域。

步骤202、对空间区域进行几何处理，得到三维几何数据。

在本申请实施例中，图像处理装置对待渲染对象对应的空间区域进行几何处理，得到三维几何数据；其中，三维几何数据即为待渲染对象的三维几何特征。

需要说明的是，三维几何数据可以是：三维几何三角片数据、三维几何四边形数据以及三维几何多边形数据等任意数据。

其中，几何处理即为对空间区域按照预设几何形状进行划分。

需要说明的是，在本申请实施例中，通过在三维图像中确定待渲染对象的空间区域，进而基于该空间区域确定三维几何数据；如此，能够高效且精准地确定待渲染对象的三维几何特征，同时只需三维几何特征来执行后期有关的图像渲染操作，能够使得后期执行图像渲染的处理数据量减少，即能够进一步提高图像渲染的效率。

相应地，本申请实施例中的图像处理装置基于三维几何数据和虚拟环境的光影参数，对二维图像画面中的待渲染对象进行调整，得到图像画面与虚拟环境相匹配的目标图像，即图像处理装置执行步骤103，还可以通过以下步骤203和步骤204来实现：

步骤203、基于三维几何数据，对虚拟环境的光影参数进行修正，确定光影调整参数。

在本申请实施例中，图像处理装置基于确定的三维几何数据，对虚拟环境的光影参数进行修正，进而确定光影调整参数；其中，该光影调整参数可以与虚拟环境的光影参数相同，也可不同。

其中，图像处理装置可以基于待渲染对象的三维几何数据，即三维几何特征，对虚拟环境的光影参数中的光照强度、光入射方向、光的阴影位置以及长度等进行调整，以得到对应的光影调整参数。

需要说明的是，光影调整参数包括但不限于：光照强度调整参数、光入射方向调整参数、光的阴影调整参数以及阴影长度的调整参数等。

步骤204、基于光影调整参数，对二维图像画面中的待渲染对象进行调整，得到目标图像。

在本申请实施例中，图像处理装置基于光影调整参数，对二维图像画面中的待渲染对象进行调整，得到目标图像；其中，目标图像至少包括调整后的待渲染对象。

在一种可行的实现方式中，图像处理装置可以基于光影调整参数，对二维图像画面中的待渲染对象所在区域中每一像素点的光影参数进行调整，以得到目标图像。

需要说明的是，在本申请实施例中，基于待渲染对象的三维几何数据，对虚拟环境的光影参数进行调整，得到光影调整参数，进而基于该光影调整参数对二维图像画面中的待渲染对象进行调整，得到与虚拟环境相匹配的且包括待渲染对象的目标图像。如此，基于与待渲染对象的三维几何数据相匹配的光影调整参数，调整二维图像中的待渲染对象以得到目标图像，换言之，在实现基于三维图像中的三维几何特征调整二维图像中的画面光影参数的基础上，能够提高图像渲染中图像画面的光影协调性，同时能够减少图像渲染过程中的数据处理量，即能够提高图像渲染的质量和效率。

在一种可行的实现方式中，步骤204可以通过以下步骤204a至步骤204c的方式来实现(图中未示出)：

步骤204a、对二维图像进行区域分割，确定待渲染对象在二维图像中的待渲染区域。

在本申请实施例中，图像处理装置对二维图像进行区域分割，确定待渲染对象在二维图像中的待渲染区域；其中，在待渲染对象为人的情况下，可以采用人像分割技术对二维图像进行区域分割，确定待渲染对象在二维图像中的待渲染区域。

其中，待渲染区域可以是待渲染对象在二维图像中所占据的图像区域。同时待渲染区域可以是待渲染对象的头部区域、肢体区域或全部身体区域等。

需要说明的是，在本申请实施例中，均以待渲染对象在二维图像和三维图像中呈现的信息一样为例进行说明。

步骤204b、基于光影调整参数，对待渲染区域中的每一像素点的光影参数进行调整，得到中间图像。

在本申请实施例中，图像处理装置基于光影调整参数，对待渲染区域中的每一像素点的光影参数进行调整，得到中间图像；其中，中间图像即为二维图像中待渲染对象所对应的待渲染区域进行调整后的图像。

其中，图像处理装置基于光影调整参数，对待渲染区域中的每一像素点的光影参数，比如：光照强度、光入射方向、光的阴影位置以及长度等进行调整，得到与待渲染区域对应的中间图像。

在一种可行的实现方式中，待渲染对象为人的情况下，图像处理装置基于光影调整参数，对待渲染区域中的待渲染对象的头部区域的光照强度进行减弱，并将头部区域的光阴影位置进行左偏移等；同时对待渲染区域中的待渲染对象的肢体区域的光照强度进行增强，并将肢体区域的光入射方向的角度进行调整，以得到与待渲染区域对应的中间图像。

在一种可行的实现方式中，图像处理装置执行步骤204b之前，还可以执行以下步骤A1(图中未示出)：

步骤A1、获取待渲染对象的属性信息。

在本申请实施例中，图像处理装置获取待渲染对象的属性信息；其中，属性信息即为待渲染对象自身所呈现的特征信息。

在一种可行的实现方式中，图像处理装置可以从图像画面包括待渲染对象的二维图像和三维图像中进行信息提取，以获取待渲染对象的属性信息。

在一种可行的实现方式中，待渲染对象为人的情况下，待渲染对象的属性信息包括但不限于：待渲染对象的性别、待渲染对象的年龄、待渲染对象的肤色以及待渲染对象在二维图像和/或三维图像中的姿态信息等。

在另一种可行的实现方式中，待渲染对象为电脑的情况下，待渲染对象的属性信息包括但不限于：待渲染对象的型号、待渲染对象的颜色等。

对应地，图像处理装置基于光影调整参数，对待渲染区域中的每一像素点的光影参数进行调整，得到中间图像，即图像处理装置执行步骤204b，可以通过以下步骤A2的方式来实现：

步骤A2、基于光影调整参数和属性信息，对待渲染区域中的每一像素点的光影参数进行调整，得到中间图像。

在本申请实施例中，图像处理装置基于光影调整参数和属性信息，对待渲染区域中的每一像素点的光影参数进行调整，得到中间图像。

其中，图像处理装置，首先可以基于待渲染对象的属性信息对光影调整参数进行修正，以得到修正后的光影调整参数，然后基于该修正后的光影调整参数对待渲染区域中的每一像素点的光影参数进行调整，得到中间图像。

需要说明的是，在本申请实施例中，基于待渲染对象的三维几何数据、属性信息以及虚拟环境的光影参数，对二维图像中的待渲染对象所对应的每一像素点的光影参数进行调整，以得到目标图像。如此，基于与待渲染对象的三维几何数据、属性信息均相匹配的光影调整参数，调整二维图像中的待渲染对象以得到目标图像，能够进一步提高图像渲染中包括待渲染对象的图像画面的光影协调性。

步骤204c、将虚拟环境对应的虚拟图像和中间图像进行整合，得到目标图像。

在本申请实施例中，图像处理装置将虚拟环境对应的虚拟图像和中间图像进行整合，得到目标图像；其中，虚拟图像可以是图像处理装置对虚拟环境进行图像采集得到的至少一张虚拟图像。同时该虚拟图像可以是三维图像，也可以是二维图像，在本申请实施例中，均以虚拟图像为二维图像为例进行说明。

其中，图像处理装置将虚拟环境对应的虚拟图像和中间图像按照预设尺寸进行整合拼接，以得到目标图像；该目标图像为能够呈现处于虚拟环境中的待渲染对象的图像。

需要说明的是，在本申请实施例中，基于待渲染对象的三维几何数据以及虚拟环境的光影参数，对二维图像中待渲染对象所对应的待渲染区域中每一像素点的光影参数进行调整，得到中间图像，进而基于中间图像和虚拟环境对应的虚拟图像得到目标图像。如此，能够在提高图像渲染中图像画面的光影协调性的基础上，进一步提高图像渲染的质量和效率。

在一种可行的实现方式中，步骤204c可以通过以下步骤c1至步骤c3的方式来实现(图中未示出)：

步骤c1、在虚拟图像中，确定用于融合待渲染对象的预设区域。

在本申请实施例中，图像处理装置在虚拟场景对应的虚拟图像中，确定用于融合待渲染对象的预设区域；其中，该预设区域可以是基于待渲染对象的属性信息确定的，也可以是基于虚拟图像的环境信息确定的。

在一种可行的实现方式中，虚拟图像中确定用于融合待渲染对象的预设区域，可以是与待渲染对象在二维图像中所对应的待渲染区域的尺寸以及形状相同的区域。

在另一种可行的实现方式中，虚拟图像中确定用于融合待渲染对象的预设区域，可以与待渲染对象在二维图像中所对应的待渲染区域的形状相似，尺寸不同。

步骤c2、对中间图像进行尺寸调整，得到与预设区域的尺寸相匹配的待替换图像。

在本申请实施例中，图像处理装置对中间图像的尺寸进行调整，得到与预设区域的尺寸相匹配的待替换图像；其中，待替换图像与中间图像所呈现的图像画面内容相同，但两者的尺寸可能相同，也可能不同。

在一种可行的实现方式中，图像处理装置可以是基于预设区域的尺寸对中间图像进行等比例放大或缩小，进而得到与预设区域的尺寸相匹配的待替换图像。

步骤c3、在虚拟图像中，采用待替换图像替换预设区域，得到目标图像。

在本申请实施例中，图像处理装置将虚拟图像中的预设区域，替换为待替换图像，即将图像画面包括光影参数调整后的待渲染对象的待替换图像整合至虚拟图像中，以得到图像画面中包括光影参数调整后的待渲染对象，以及与虚拟环境相关联的环境信息的目标图像。

在一种可行的实现方式中，图像画面包括待渲染对象的二维图像和三维图像，分别为呈现处于办公室的工作人员的二维图像和三维图像；图像处理装置首先基于能够呈现处于办公室的工作人员且呈现立体效果的三维图像中工作人员的三维几何特征，以及虚拟环境(比如，中午12：00的公园场景)的光影参数，对该二维图像中的工作人员的人像区域中每一像素点的光影参数进行调整，得到中间图像；其次，获取与虚拟环境对应的虚拟图像，即对中午12：00的公园场景进行图像采集，得到虚拟图像；再次，在虚拟图像中确定用于融合待渲染对象的预设区域；最后，将中间图像按照预设尺寸进行调整，以替换虚拟图像中的预设区域，即将虚拟图像和中间图像进行拼接整合，得到能够呈现处于中午12：00的公园场景中的工作人员的目标图像。

需要说明的是，在本申请实施例中，在虚拟环境对应的虚拟图像中，确定用于融合待渲染对象的预设区域，进而基于预设区域的尺寸对图像画面包括光影参数调整后的待渲染对象的中间图像进行尺寸调整，最后基于该虚拟图像和尺寸调整后的中间图像得到目标图像。如此，能够在提高图像渲染中图像画面的光影协调性的基础上，进一步提高图像渲染的精准度。

本申请实施例提供的图像处理方法，基于与待渲染对象的三维几何数据相匹配的光影调整参数，调整二维图像中的待渲染对象以得到目标图像，如此，在实现基于三维图像中的三维几何特征调整二维图像中的画面光影参数的基础上，能够提高图像渲染中图像画面的光影协调性，同时能够减少数据处理量，即能够提高图像渲染的质量和效率。

基于前述实施例，本申请实施例还提供一种图像处理方法，参照图3所示，该方法包括以下步骤：

在获取的图像画面包括待渲染对象的二维图像和三维图像为待处理视频的情况下，即图像处理装置可执行以下步骤：

步骤301、获取图像画面包括待渲染对象的待处理视频。

在本申请实施例中，图像处理装置获取图像画面包括待渲染对象的待处理视频；其中，该图像画面可以指代待处理视频中每一帧视频画面。

其中，待渲染对象等相关描述可参考上述实施例所描述的，此处不再赘述。

在本申请实施例中，待处理视频中的每一帧视频画面中均包括待渲染对象；其中，每一帧视频画面中的待渲染对象在该视频画面中呈现的姿态信息、颜色信息等可以相同，也可以不同。

对应地，图像处理装置执行前述实施例提供的步骤102，即确定三维图像中的三维几何数据，可以通过以下步骤302的方式来实现：

步骤302、确定待处理视频中的至少一组三维几何数据。

在本申请实施例中，图像处理装置确定待处理视频中的至少一组三维几何数据；其中，可以是确定待处理视频中每一帧视频画面对应的三维图像中的三维几何数据。

需要说明的是，三维几何数据的相关描述，以及得到三维几何数据等实施方式可参考上述实施例所描述的，此处不再赘述。

相应地，图像处理装置基于三维几何数据和虚拟环境的光影参数，对二维图像画面中的待渲染对象进行调整，得到图像画面与虚拟环境相匹配的目标图像，可以通过以下步骤303的方式来实现：

步骤303、基于至少一组三维几何数据，以及虚拟环境的光影参数，对待处理视频的每一帧视频画面中的待渲染对象进行调整，得到视频画面与虚拟环境相匹配的目标视频。

在本申请实施例中，图像处理装置基于至少一组三维几何数据，以及虚拟环境的光影参数，对待处理视频中的每一帧视频画面中的待渲染对象的光影参数进行调整，以得到视频画面与虚拟环境相匹配的目标视频；其中，虚拟环境的光影参数可以基于待处理视频的每一帧视频画面不同发生变化。

需要说明的是，在本申请实施例中，虚拟环境的光影参数、对待处理视频的每一帧视频画面中的待渲染对象进行调整的实施方式可参考上述实施例所描述的，此处不再赘述。

本申请实施例提供的图像处理方法，首先，获取画面包括待渲染对象的待处理视频；其次，确定待处理视频的三维几何数据；最后，基于三维几何数据和虚拟环境的光影参数，对待处理视频的每一帧视频画面中的待渲染对象进行调整，得到视频画面与虚拟环境相匹配的目标视频；如此，通过三维几何数据和虚拟环境的光影参数，对视频画面中的待渲染对象进行调整，得到视频画面与虚拟环境相匹配的目标视频，能够提高视频画面渲染的质量和效率。

基于此，本申请实施例提供的图像处理方法应用于实际图像渲染过程中，可以通过以下步骤来实现：

步骤一、通过深度(Red Green Blue-Depth，RGB-D)相机采集包括待渲染对象的二维图像和三维图像。

步骤二、分别对二维图像和三维图像进行背景去除(此处默认待渲染对象是处于二维图像和三维图像的前景区域)，即得到仅包括待渲染对象的待渲染区域和空间区域；其中，待渲染区域与二维图像对应，空间区域与三维图像对应；同时空间区域包括三维图像中待渲染对象去除纹理特征之后对应的三维几何特征。

步骤三、将待渲染区域和空间区域所对应的数据输入至渲染引擎进行画面渲染；其中，该渲染引擎可以包括但不限于：开放图像库(OpenGL)、多媒体编程接口(DirectX)等。

步骤四、在渲染引擎中，可以是在虚拟相机前方放置一二维画布用于渲染该待渲染区域所对应的图像，同时在二维画布和虚拟相机中间放置该空间区域中的三维几何特征，进而由渲染引擎结合预先设置的虚拟环境参数(即虚拟环境的光影参数)对待渲染区域所对应的图像、三维几何特征进行处理，得到将待渲染区域所对应的画面进行渲染之后的目标图像。

步骤五、将该目标图像输出至相关显示装置进行显示。

需要说明的是，本申请实施例中，基于二维图像和三维几何数据叠加在渲染引擎的虚拟相机前方，同时结合虚拟场景的光影参数进行画面渲染。其中，二维图像(可以是二维彩色图像)主要提供包括待渲染对象的图像数据，三维图像主要提供用于修正虚拟场景的光影参数的三维几何数据，进而基于渲染引擎中渲染技术产生不同光源下的光影效果并迭加于二维图像的图像画面中的待渲染对象。如此，可解决仅基于二维图像画面进行渲染时出现的环境光影参数不协调的问题，以及仅基于三维图像中进行渲染出现的因三维图像携带纹理特征数据而导致数据传输过大的问题，进而能够提高图像渲染的质量和效率。

同时，在包括待渲染对象的二维图像和三维图像为待处理视频的情况下，同样可以基于上述步骤一至步骤五来实现针对视频画面的画面渲染，即对待处理视频中每一帧视频画面进行画面渲染。

基于前述实施例，本申请实施例还提供一种图像处理装置4，该图像处理装置4可以应用于图1至图3对应的实施例提供的一种图像处理方法中，参照图4所示，该图像处理装置4包括：

获取模块41，用于获取图像画面包括待渲染对象的二维图像和三维图像；

确定模块42，用于确定所述三维图像中的三维几何数据；

调整模块43，用于基于所述三维几何数据和虚拟环境的光影参数，对所述二维图像画面中的所述待渲染对象进行调整，得到画面与所述虚拟环境相匹配的目标图像。

在本申请其他实施例中，确定模块42，还用于对所述三维图像进行区域分割，确定所述待渲染对象在所述三维图像中占据的空间区域；对所述空间区域进行几何处理，得到所述三维几何数据。

在本申请其他实施例中，调整模块43，还用于基于所述三维几何数据，对所述虚拟环境的光影参数进行修正，确定光影调整参数；基于所述光影调整参数，对所述二维图像画面中的所述待渲染对象进行调整，得到所述目标图像。

在本申请其他实施例中，调整模块43，还用于对所述二维图像进行区域分割，确定所述待渲染对象在所述二维图像中的待渲染区域；基于所述光影调整参数，对所述待渲染区域中的每一像素点的光影参数进行调整，得到中间图像；将所述虚拟环境对应的虚拟图像和所述中间图像进行整合，得到所述目标图像。

在本申请其他实施例中，获取模块41，还用于获取所述待渲染对象的属性信息；调整模块43，还用于基于所述光影调整参数和所述属性信息，对所述待渲染区域中的每一像素点的光影参数进行调整，得到所述中间图像。

在本申请其他实施例中，调整模块43，还用于在所述虚拟图像中，确定用于融合所述待渲染对象的预设区域；对所述中间图像进行尺寸调整，得到与所述预设区域的尺寸相匹配的待替换图像；在所述虚拟图像中，采用所述待替换图像替换所述预设区域，得到所述目标图像。

在本申请其他实施例中，在待渲染对象的二维图像和三维图像为待处理视频的情况下，确定模块42，还用于确定所述待处理视频中的至少一组三维几何数据；调整模块43，还用于基于所述至少一组三维几何数据，以及所述虚拟环境的光影参数，对所述待处理视频的每一帧视频画面中的所述待渲染对象进行调整，得到视频画面与所述虚拟环境相匹配的目标视频。

需要说明的是，本实施例中各个模块所执行的步骤的具体实现过程，可以参照图1至图3对应的实施例提供的图像处理方法中的实现过程，此处不再赘述。

本申请实施例所提供的图像处理装置，基于与待渲染对象的三维几何数据相匹配的光影调整参数，调整二维图像中的待渲染对象以得到目标图像，如此，在实现基于三维图像中的三维几何特征调整二维图像中的画面光影参数的基础上，能够提高图像渲染中图像画面的光影协调性，同时能够减少数据处理量，即能够提高图像渲染的质量和效率。

基于前述实施例，本申请的实施例还提供一种电子设备5，该电子设备5可以应用于图1至图3对应的实施例提供的一种图像处理方法中，参照图5所示，该电子设备5可以包括：处理器51、存储器52和通信总线53，其中：

通信总线53用于实现处理器51和存储器52之间的通信连接。

处理器51用于执行存储器52中存储的图像处理方法的程序，以实现参照图1至图3对应的实施例提供的图像处理方法。

本申请实施例所提供的电子设备，基于与待渲染对象的三维几何数据相匹配的光影调整参数，调整二维图像中的待渲染对象以得到目标图像，如此，在实现基于三维图像中的三维几何特征调整二维图像中的画面光影参数的基础上，能够提高图像渲染中图像画面的光影协调性，同时能够减少数据处理量，即能够提高图像渲染的质量和效率。

基于前述实施例，本申请的实施例提供一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如图1至图3对应的实施例提供的图像处理方法。

需要说明的是，上述计算机可读存储介质可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所描述的方法。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像处理方法，所述方法包括：

获取图像画面包括待渲染对象的二维图像和三维图像；

确定所述三维图像中的三维几何数据；

基于所述三维几何数据和虚拟环境的光影参数，对所述二维图像画面中的所述待渲染对象进行调整，得到图像画面与所述虚拟环境相匹配的目标图像。

2.根据权利要求1所述的方法，所述确定所述三维图像中的三维几何数据，包括：

对所述三维图像进行区域分割，确定所述待渲染对象在所述三维图像中占据的空间区域；

对所述空间区域进行几何处理，得到所述三维几何数据。

3.根据权利要求1所述的方法，所述基于所述三维几何数据和虚拟环境的光影参数，对所述二维图像画面中的所述待渲染对象进行调整，得到图像画面与所述虚拟环境相匹配的目标图像，包括：

基于所述三维几何数据，对所述虚拟环境的光影参数进行修正，确定光影调整参数；

基于所述光影调整参数，对所述二维图像画面中的所述待渲染对象进行调整，得到所述目标图像。

4.根据权利要求3所述的方法，所述基于所述光影调整参数，对所述二维图像画面中的所述待渲染对象进行调整，得到所述目标图像，包括：

对所述二维图像进行区域分割，确定所述待渲染对象在所述二维图像中的待渲染区域；

基于所述光影调整参数，对所述待渲染区域中的每一像素点的光影参数进行调整，得到中间图像；

将所述虚拟环境对应的虚拟图像和所述中间图像进行整合，得到所述目标图像。

5.根据权利要求4所述的方法，所述基于所述光影调整参数，对所述待渲染区域中的每一像素点的光影参数进行调整，得到中间图像之前，所述方法还包括：

获取所述待渲染对象的属性信息；

所述基于所述光影调整参数，对所述待渲染区域中的每一像素点的光影参数进行调整，得到中间图像，包括：

基于所述光影调整参数和所述属性信息，对所述待渲染区域中的每一像素点的光影参数进行调整，得到所述中间图像。

6.根据权利要求4所述的方法，所述将所述虚拟环境对应的虚拟图像和所述中间图像进行整合，得到所述目标图像，包括：

在所述虚拟图像中，确定用于融合所述待渲染对象的预设区域；

对所述中间图像进行尺寸调整，得到与所述预设区域的尺寸相匹配的待替换图像；

在所述虚拟图像中，采用所述待替换图像替换所述预设区域，得到所述目标图像。

7.根据权利要求1所述的方法，在所述待渲染对象的二维图像和三维图像为待处理视频的情况下，所述确定所述三维图像中的三维几何数据，包括：

确定所述待处理视频中的至少一组三维几何数据；

所述基于所述三维几何数据和虚拟环境的光影参数，对所述二维图像画面中的所述待渲染对象进行调整，得到图像画面与所述虚拟环境相匹配的目标图像，包括：

基于所述至少一组三维几何数据，以及所述虚拟环境的光影参数，对所述待处理视频的每一帧视频画面中的所述待渲染对象进行调整，得到视频画面与所述虚拟环境相匹配的目标视频。

8.一种图像处理装置，所述装置包括：

获取模块，用于获取图像画面包括待渲染对象的二维图像和三维图像；

确定模块，用于确定所述三维图像中的三维几何数据；

调整模块，用于基于所述三维几何数据和虚拟环境的光影参数，对所述二维图像画面中的所述待渲染对象进行调整，得到画面与所述虚拟环境相匹配的目标图像。

9.一种电子设备，包括：处理器、存储器和通信总线；

所述通信总线用于实现所述处理器和所述存储器之间的通信连接；

所述处理器用于执行所述存储器中的程序，以实现如权利要求1至7中任一所述的图像处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的图像处理方法。

Images