CN110335224B - 图像处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置、计算机设备及存储介质，属于计算机技术领域。本发明实施例中，通过获取第一图像的深度信息和第一区域，从而得到第一图像中各个对象在三维空间对应的位置，通过根据第一图像的深度信息和第一区域，获取第一区域的透视变化关系，通过该透视变化关系获知三维空间中区域投影到二维平面时的形状变化趋势，从而可以基于该透视变化关系，将第二图像融入到第一区域中，使得第一图像中所融入的第二图像符合透视变化规律，提高了第一图像的真实性。

Description

图像处理方法、装置、计算机设备及存储介质

技术领域

本发明涉及计算机技术领域，特别涉及一种图像处理方法、装置、计算机设备及存储介质。

背景技术

随着网络技术的迅速发展，图像处理技术的应用场景越来越广泛。在一些场景需求中，可以将广告牌插入到视频或者图像中，广告牌是一个包括产品的产品标识、广告语等信息的卡片，从而在用户浏览视频或者图像时，达到产品宣传效果。

相关技术中，图像处理过程可以包括：计算机设备获取广告牌和目标图像，将该广告牌插入到该目标图像中，例如，将包括手机图标和广告语的长方形广告牌插入到目标图像中车辆的车窗区域，生成广告图像，在该广告图像的车窗区域显示长方形广告牌。

上述方法实际上是将广告牌直接贴到目标图像，然而，目标图像内包括三维空间中对象，且对象的形状近大远小，例如，直接将长方形广告牌贴到车窗区域上，使得车窗区域中广告牌在视觉上很突兀，导致上述图像处理后所显示的图像的真实度较低。

发明内容

本发明实施例提供了一种图像处理方法、装置、计算机设备及存储介质，能够解决图像的真实度较低的问题。所述技术方案如下：

一方面，提供了一种图像处理方法，所述方法包括：

确定第一图像和第二图像，所述第一图像包括多个对象；

获取所述第一图像的深度信息和所述第一图像内第一区域，所述深度信息用于指示所述第一图像内所述多个对象在三维空间的相对距离，所述第一区域为所述多个对象中平面对象所在区域，所述平面对象的各个关键点位于同一平面上；

根据所述第一图像的深度信息和所述第一区域，确定所述第一区域的透视变化关系，所述透视变化关系用于指示区域从三维空间投影到所述第一图像所在平面时的形状变化趋势；

根据所述透视变化关系，将所述第二图像融入所述第一图像的第一区域内进行显示。

另一方面，提供了一种图像显示装置，所述装置包括：

确定模块，用于确定第一图像和第二图像，所述第一图像包括多个对象；

获取模块，用于获取所述第一图像的深度信息和所述第一图像内第一区域，所述深度信息用于指示所述第一图像内所述多个对象在三维空间的相对距离，所述第一区域为所述多个对象中平面对象所在区域，所述平面对象的各个关键点位于同一平面上；

所述确定模块，还用于根据所述第一图像的深度信息和所述第一区域，确定所述第一区域的透视变化关系，所述透视变化关系用于指示区域从三维空间投影到所述第一图像所在平面时的形状变化趋势；

显示模块，用于根据所述透视变化关系，将所述第二图像融入所述第一图像的第一区域内进行显示。

在一种可能实现方式中，所述第二确定单元，还用于从所述多个第一像素点中筛选出位于所述第一区域的边缘位置的多个第一目标像素点，从所述多个第二像素点中筛选出位于所述第二区域的边缘位置的多个第二目标像素点；确定所述多个第二目标像素点在所述第一图像的相机坐标系的第三坐标；根据所述多个第二目标像素点的第三坐标和所述多个第一目标像素点在所述第一图像的图像坐标系的第四坐标，确定所述第一区域与所述第二区域之间的透视变化关系。

在一种可能实现方式中，所述显示模块，还用于根据所述第二区域和所述第二图像，确定所述第二图像在第二区域的目标插入位置，所述第二区域用于指示所述第一区域在真实物理世界的实际形状；根据所述目标插入位置，将所述第二图像插入第二区域；根据所述透视变化关系，对插入所述第二图像的第二区域进行透视变化处理，得到第三区域，所述透视变化处理包括缩放处理、剪切处理、旋转处理、平移处理中的一项或多项；根据所述第三区域，将所述第二图像融入所述第一区域进行显示。

在一种可能实现方式中，所述获取模块，还用于将所述第一图像输入目标神经网络模型，输出所述第一图像的深度信息，所述目标神经网络模型用于基于输入图像输出所述输入图像的深度信息；根据所述第一图像包括的像素点，对所述第一图像进行边缘检测，得到所述第一图像中对象的轮廓，将属于同一轮廓的区域作为平面对象所在的第一区域。

另一方面，提供了一种计算机设备，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现如上述的图像处理方法所执行的操作。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上述的图像处理方法所执行的操作。

本发明实施例提供的技术方案带来的有益效果至少可以包括：

通过获取第一图像的深度信息和第一区域，从而得到第一图像中各个对象在三维空间对应的位置；根据第一图像的深度信息和第一区域，获取第一区域的透视变化关系，通过该透视变化关系获知三维空间中区域投影到二维平面时的形状变化趋势，从而可以基于该透视变化关系，将第二图像融入到第一区域中，使得第一图像中所融入的第二图像符合透视变化规律，提高了第一图像的真实性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像处理方法的实施环境的示意图；

图2是本发明实施例提供的一种图像处理方法的流程图；

图3是本发明实施例提供的一种第一图像和深度信息的示意图；

图4是本发明实施例提供的一种第一图像和深度信息的显示示意图；

图5是本发明实施例提供的一种目标神经网络模型的示意图；

图6是本发明实施例提供的一种目标神经网络模型的示意图；

图7是本发明实施例提供的一种第一区域的示意图；

图8是本发明实施例提供的一种第一区域的示意图；

图9是本发明实施例提供的一种第一区域的显示示意图；

图10是本发明实施例提供的一种图像处理流程的示意图；

图11是本发明实施例提供的一种将第二图像融入第一图像的流程示意图；

图12是本发明实施例提供的一种图像处理装置的结构示意图；

图13是本发明实施例提供的一种终端的结构示意图；

图14是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例提供的一种图像处理方法的实施环境的示意图，参见图1，该实施环境包括：计算机设备101，该计算机设备101提供有图像处理功能，该计算机设备101可以基于该图像处理功能，将一个图像融入到另一个图像中进行显示。

在一种可能场景中，计算机设备101上可以将第二图像融入到第一图像中，该第一图像可以包括真实物理世界中的多个对象，第一图像中多个对象的形状符合透视变化规律，例如，近大远小的规律。该计算机设备101可以基于第一图像的深度信息和该第一区域，获取该第一区域的透视变化关系，该透视变化关系用于指示区域从三维空间投影到该第一图像所在平面时的形状变化趋势。该第一区域可以为该多个对象中平面对象所在区域，平面对象是指各个关键点位于同一平面上的对象。该计算机设备基于透视变化关系，对第二图像先进行透视变化处理，将透视变化处理后的第二图像融入到第一图像中，使得第二图像在第一图像中所显示的形状也符合透视变化规律，从而提高第一图像的真实性。

需要说明的是，该计算机设备101可以为终端，也可以为服务器，在一种可能场景中，当该计算机设备101为服务器时，该计算机设备101可以与终端建立通信连接，从终端中获取第一图像和第二图像，例如，服务器实时从终端获取视频流，从视频流中获取第一图像，将第二图像实时融入第一图像中进行显示。

图2是本发明实施例提供的一种图像处理方法的流程图。该发明实施例的执行主体为计算机设备，参见图2，该方法包括：

201、计算机设备获取第一图像和第二图像。

该第一图像包括多个对象，该第一图像可以为被融入的图像，第二图像可以为融入图像。本发明实施例中，该计算机设备可以将第二图像融入到第一图像中。该第一图像的尺寸可以大于第二图像的尺寸。在一种可能场景中，该第一图像包括多个对象，例如，房屋、车辆、数目、道路、人等等。该一个或多个对象在第一图像中所显示的形状、位置关系符合真实物理世界的透视关系；例如，真实物理世界中长方形墙体在第一图像中对应显示为梯形墙体，第一图像中道路上的一排树木由近及远逐渐变小、越来越密集等。该第二图像可以为一个广告牌，该广告牌包括所宣传产品的文字、图标等信息，例如，手机的图标以及广告标语等。

在一种可能的实施方式中，该计算机设备可以预先存储有第一图像和第二图像，当该计算机设备接收到图像处理指令时，该计算机设备获取该第一图像和第二图像。在一种可能场景中，该第一图像可以为独立的图像或者视频所包括的图像帧，则该计算机设备获取第一图像的过程可以包括：该计算机设备可以获取视频包括的多个图像帧，从该多个图像帧中筛选出满足目标条件的第一图像，该目标条件可以为图像帧的时间戳为目标时刻，或者图像帧中包括目标对象等，该目标对象可以为：车辆、行走的人等。该视频可以为该计算机设备预先获取并存储的视频，也可以为从其他设备中实时获取的视频，例如，短视频应用中主播用户的视频。

202、计算机设备获取第一图像的深度信息。

该深度信息用于指示该第一图像内多个对象在三维空间的相对距离，在一种可能示例中，该计算机设备可以采用对象与图像采集设备之间的距离，表示该多个对象之间的相对距离。例如，深度信息可以为该第一图像的深度图像的形式，该深度图像中像素点的像素值用于指示该像素点与该第一图像的图像采集设备之间的距离，也即是，每个像素点的深度值，例如，像素点与摄像头之间的距离。如图3所示，左图为第一图像，右图为第一图像的深度图像，深度图像中每个像素点的像素值为每个像素点的像素值，像素值越大的区域，也即是深度值越大，距离图像采集设备越远，在深度图像中所显示的亮度也越高，颜色较浅；相反，距离图像采集设备越近，深度值越小，在深度图像中所显示的颜色也较深，亮度较低。如图4所示，图4为图3中线条图像所对应的显示示意图，从图4中可以更为清晰的获知该第一图像中图像内容的实际形态和深度图像的实际形态。

在一种可能的实施方式中，该计算机设备可以获取目标神经网络模型，基于该目标神经网络模型获取该深度信息，则本步骤可以包括：该计算机设备可以将该第一图像输入目标神经网络模型，输出该第一图像的深度信息，该目标神经网络模型用于基于所输入图像输出该输入图像的深度信息。

在一种可能示例中，该计算机设备可以通过目标神经网络模型对第一图像进行深度预测，例如，该计算机设备将该第一图像输入目标神经网络模型后，如图5所示，该目标神经网络模型包括大量网络层，在该目标神经网络中，计算机设备可以基于该大量网络层，对该第一图像进行卷积操作，例如，步长为5的卷积操作，还可以对第一图像进行特征提取操作、上池化操作、批量归一化操作以及线性修正等操作，以得到该第一图像中每个像素点的深度值，基于该多个像素点的深度值，输出该第一图像的深度图像。例如，如图6所示，该计算机设备可以在进行上卷积和上投影操作时，该计算机设备还可以利用该目标神经网络模型中卷积层，进行快速上卷积操作和快速上投影操作，以使得目标神经网络中信息传递更有效地向前传，同时增加了传递过程中图像的大小。

203、计算机设备确定出该第一图像中第一区域。

本步骤中，该第一区域为该多个对象中平面对象所在区域，在一种可能实施方式中，该计算机设备可以通过边缘检测的方式，确定该第一区域，则本步骤可以包括：该计算机设备可以根据该第一图像包括的像素点，对该第一图像进行边缘检测，得到该第一图像中对象的轮廓，将属于同一轮廓的区域作为平面对象所在的第一区域。在一个可能示例中，该第一区域的数目可以为多个，该计算机设备可以采用边缘检测算法，对第一图像进行边缘检测，得到第一图像中多个对象的轮廓，该边缘检测算法可以为MCG(MultiscaleCombinatorial Grouping，多尺度组合分组)算法。

在一种可能的实施方式中，该计算机设备还可以将轮廓满足目标条件的对象所在区域作为第一区域，该目标条件可以包括但不限于：轮廓形状为目标形状、轮廓所围成区域的面积大于目标阈值、轮廓长度大于目标长度等。

在一种可能的实施方式中，该计算机设备还可以将第一区域从第一图像中分割出来，例如，以第一区域的数目为多个为例，该计算机设备可以获取每个第一区域后，该计算机设备还可以获取每个第一区域对应的掩膜图像。该过程可以包括：该计算机设备获取第一图像的空白图像，根据每个第一区域在第一图像的位置，在该空白图像中该第一区域对应位置上的像素点的像素值设置为第一数值，将空白图像中其他像素点的像素值设置为第二数值。该第一数值可以为1，该第二数字可以为0，从而得到该第一区域的掩膜图像。

在一种可能的实施方式中，该计算机设备可以分别对多个不同尺寸的图像，进行边缘检测，将不同图像的边缘检测结果进行错尺度融合。则该过程可以包括：该计算机设备可以根据该第一图像包括的多个像素点，获取该第一图像的图像集合，该计算机设备对该图像集合所包括的每个图像进行边缘检测，确定出每个图像内对象的轮廓，该计算机设备对该多个图像内对象的轮廓进行多尺度融合，将多个图像的融合结果，确定出该第一图像中对象的轮廓。在一个可能示例中，该计算机设备对该多个图像进行多尺度融合的过程可以包括：该计算机设备可以先将多个不同尺寸的图像调整为目标尺寸的图像，将目标尺寸的多个图像其中，该图像集合内包括尺寸不同的多个图像可以为对该第一图像进行缩放后得到的图像。该过程可以包括：该计算机设备可以根据该第一图像包括的多个像素点，按照多个缩放系数，对第一图像进行缩放，得到多个尺寸不同的图像。

需要说明的是，本发明实施例对步骤202和步骤203的执行顺序并不做具体限定，或者，也可以先执行步骤202，再执行步骤203，也可以调换顺序，先执行步骤203，再执行步骤202，或者，也可以同步执行。

如图7所示，该计算机设备先根据第一图像，获取尺寸不同的多个图像，对该多个图像进行边缘检测，再基于每个图像中对象的轮廓，融合得到第一图像中的对象轮廓，最终确定出第一图像中的第一区域。如图8所示，左图为第一图像，该第一图像中包括车辆、人、道路等对象，图8中右图阴影部分为标记的第一区域，如图8所示，该第一区域可以为车辆的车盖、车门或者车辆的前窗等所在区域。如图9所示，图9为图8中线条图像所对应的显示示意图，从图9中可以更为清晰的获知该第一图像中图像内容的实际形态和第一图像中第一区域的实际形态。

204、计算机设备根据该第一图像和该深度信息，确定该第一区域在三维空间对应的第二区域。

本发明实施例中，该计算机设备可以基于该第一区域所包括的第一像素点来确定该第二区域，该过程可以包括：该计算机设备根据该第一图像中像素点在该第一图像的位置和该深度信息中像素点的像素值，确定该第一区域包括的多个第一像素点在该三维空间对应的多个第二像素点；该计算机设备对该多个第二像素点进行平面拟合，得到该第一区域在该三维空间对应的第二区域。在一个可能示例中，该深度信息中像素点的像素值用于指示该像素点与该第一图像的图像采集设备之间的距离。

在一种可能的实施方式中，该计算机设备可以结合第一像素点的深度值和第一像素点在图像坐标系的坐标，来确定第一像素点在三维空间对应的第二像素点。则该计算机设备根据该第一图像和该深度信息，确定多个第二像素点的过程可以包括：对于每个第一像素点，该计算机设备根据该第一像素点在该第一图像的位置，获取该深度信息中对应位置的第三像素点的像素值；该计算机设备根据该第一像素点在该第一图像的图像坐标系的第一坐标和该第三像素点的像素值，获取第一像素点在该第一图像的相机坐标系对应的第二坐标；该计算机设备将该相机坐标系中第二坐标对应的像素点，确定为该第一像素点在该三维空间对应的第二像素点。

在一种可能示例中，该图像坐标系是二维坐标系，该图像坐标系的x轴方向可以为图像所在平面上水平向右的方向，y轴方向可以为图像所在平面上竖直向上的方向，该图像坐标系的坐标原点可以为图像上的点，例如，图像中心位置的点，或者图像左上顶点。该相机坐标系是三维空间的坐标系，图像的相机坐标系是以该图像的采集设备所在位置，也即是，相机所在位置为坐标原点，x轴方向可以为水平向右的方向，y轴方向可以为竖直向上的方向，z轴方向可以为相机的光轴方向。对于每个第一像素点，该计算机设备可以根据该第一图像素点在图像坐标系中的第一坐标、该第一像素点的深度值和该第一像素点对应的相机内参矩阵，确定该第一像素点在相机坐标系的第二坐标。该第二坐标也即是第一像素点在三维空间中对应的第二像素点的位置坐标。例如，第二像素点的第二坐标可以为相机坐标系中的点(x，y，z)，其中，第二像素点在z轴的坐标值z，为该第二像素点在第一图像内所对应的第一像素点的深度值。

在一种可能的实施方式中，该计算机设备获取到多个第二像素点后，可以通过目标拟合算法，对三维空间中的多个第二像素点进行平面拟合，以使该多个第二像素点中尽量多的像素点拟合到三维空间中的一个平面上。该目标拟合算法可以为RANSC(RandomSample Consensus，随机抽样一致算法)算法。该拟合得到的区域，即为该第一区域在三维空间中对应的第二区域，是该第一区域在真实物理世界中的实际形状。例如，该第一图像中第一区域为梯形，该第一区域在三维空间中对应的第二区域可以为长方形，也即是，该梯形在真实物理世界的实际形状为长方形。

205、计算机设备根据该第一区域的第一形状和该第二区域的第二形状，确定该第一区域与该第二区域之间的透视变化关系。

本发明实施例中，该透视变化关系用于指示区域从三维空间投影到该第一图像所在平面时的形状变化趋势。该计算机设备可以基于第一像素点和第二像素点，来确定该透视变化关系，在一种可能的实施方式中，该计算机设备可以根据该第二区域包括的多个第二像素点，将该第二区域移动至该第一图像的视平面上；该计算机设备可以根据该多个第二像素点在该视平面的位置和多个第一像素点在该第一图像的位置，确定该第一区域与该第二区域之间的透视变化关系。其中，该视平面为垂直于该第一图像的图像采集设备的光轴的平面。例如，该视平面可以为相机坐标系中平面：z＝1。

在一种可能的实施方式中，该计算机设备可以选取该第一区域和第二区域中位于边缘位置的像素点，来表示该第一区域和第二区域的形状，以确定该透视变化矩阵。则该计算机设备可以从该多个第一像素点中筛选出位于该第一区域的边缘位置的多个第一目标像素点，从该多个第二像素点中筛选出位于该第二区域的边缘位置的多个第二目标像素点；该计算机设备可以确定该多个第二目标像素点在该第一图像的相机坐标系的第三坐标；该计算机设备可以根据该多个第二目标像素点的第三坐标和该多个第一目标像素点在该第一图像的图像坐标系的第四坐标，确定该第一区域与该第二区域之间的透视变化关系。在一种可能示例中，该计算机设备可以根据该第一区域的边缘位置，从该第一区域的边缘上筛选出位置满足目标位置条件的目标数目个第一目标像素点，该目标位置条件可以为：位于第一区域的顶点上。例如，该计算机设备可以从第一区域中选取位于第一区域的顶点上的目标数目个第一目标像素点，根据该目标数目个第一目标像素点在第一图像的位置，从第二区域中选取该目标数目个第一目标像素点所对应的目标数目个第二目标像素点，从而选取了第一区域和第二区域中相同位置上的点对进行计算。该顶点可以为区域中x轴坐标值最小或最大、或y轴坐标最小或最大的点。例如，该计算机设备沿图像坐标系的x轴方向上，x轴的坐标差值最大的两个第一目标像素点，以及，沿图像坐标系的y轴方向上，y轴的坐标差值最大的两个第一目标像素点。另外，该目标数目可以基于需要进行设置，该目标数目可以为4、10、20等。本发明实施例对此不做具体限定。

在一个可能示例中，该透视变化关系可以为透视变化矩阵的形式，则该计算机设备可以根据该多个第一目标像素点在该第一图像的图像坐标系的第四坐标、多个第二目标像素点在相机坐标系的第三坐标，通过以下公式一，确定该透视变化矩阵：

公式一：

其中，该视平面可以为相机坐标系中视平角(0，0，-1)对应的平面z＝1，(x′，y′)用于代表第一目标像素点的第四坐标，(x，y，z)用于代表第一目标像素点在相机坐标系中对应的三维坐标，(u，v，1)用于代表第二目标像素点的第三坐标，由于第二目标像素点为位于视平面上第二区域内的像素点，因此，第二目标像素点的z轴坐标为1。

用于代表透视变化矩阵，其中，

用于表示第一区域和第二区域之间的线性变化矩阵，[a₃₁ a₃₂]用于表示第一区域和第二区域之间的平移变化矩阵，该平移变换矩阵包括从第二区域到第一区域缩放处理、剪切处理、旋转处理等过程的变化参数。[a₁₃ a₂₃]用于表示第一区域和第二区域之间的旋转变化矩阵，通常a₃₃＝1。在一种可能示例中，a₁₁和a₂₂分别表示第一区域和第二区域之间在x轴方向和y轴方向的缩放系数，a₁₁、a₂₂同时也和a₁₂和a₂₁共同指示沿着x轴和z轴法向量旋转的过程。a₁₂和a₂₁分别表示从第二区域到第一区域时沿x轴方向和y轴方向上的投影，a₁₃和a₂₃分别表示从第二区域到第一区域时沿x轴方向和y轴方向的移动距离，a₃₁和a₃₂分别表示从第二区域到第一区域时沿x轴方向和y轴方向的切变参数，在一种可能示例中，该切变参数可以为从第二区域到第一区域时在x轴方向和y轴方向上的形变比率。例如，第二区域可以为长方形，第一区域可以梯形，如果该长方形和梯形的上下边的方向均为x轴方向，则该a₃₁表示梯形上边和下边的边长的变化率，a₃₂表示梯形的左边和右边的边长的变化率。

在一个可能示例中，该计算机设备可以选取至少四个第一目标像素点和该至少四个第一目标像素点对应的至少四个第二目标像素点，也即是，至少四个像素点对，利用上述公式一，求解得到透视变换矩阵中每个参数的数值。

需要说明的是，上述步骤204-205实际上是步骤“计算机设备根据该第一图像的深度信息和该第一区域，确定该第一区域的透视变化关系”的一种具体实现方式，上述步骤204-205中，计算机设备先确定第一区域在三维空间对应的第二区域，在基于两个区域的形状变化，确定透视变化矩阵。在另一种可能的实施方式中，该计算机设备还可以直接基于第一区域所包括的第一目标像素点，确定出在第一目标像素点在相机坐标系中对应的第二目标像素点，将对应的像素点对的坐标，代入上述公式一中，得到第一区域和第二区域之间的透视变化矩阵。

206、计算机设备根据该透视变化关系，将该第二图像融入该第一图像的第一区域内进行显示。

本发明实施例中，该计算机设备可以基于透视变化关系，对第二图像进行透视变化处理，将透视变化处理后的第二图像融入到第一区域中，在该第一图像中显示透视变化处理后的第二图像。

在一种可能的实施方式中，该计算机设备可以先确定该第一区域的插入位置，再基于该插入位置，融入该第二图像，则该过程可以包括：该计算机设备可以根据该第二区域和该第二图像，确定该第二图像在第二区域的目标插入位置。该计算机设备可以根据该目标插入位置，将该第二图像插入第二区域。该计算机设备可以根据该透视变化关系，对插入该第二图像的第二区域进行透视变化处理，得到第三区域。该计算机设备可以根据该第三区域，将该第二图像融入该第一区域进行显示。其中，该透视变化处理包括缩放处理、剪切处理、旋转处理、平移处理中的一项或多项，该计算机设备可以基于透视变化矩阵所包括的透视变化参数，对该插入该第二图像的第二区域进行缩放处理、剪切处理、旋转处理、平移处理等处理，得到第三区域。

在一种可能的实施方式中，该计算机设备还可以基于第二区域的掩膜图像，确定目标插入位置，该过程可以包括：该计算机设备将第二区域的掩膜图像和第二图像进行卷积操作，根据该卷积操作得到的卷积结果，确定出掩膜图像中第二区域所在位置，将第二图像插入到该掩膜图像中第二区域所在位置上。例如，第二区域的掩膜图像中，第二区域所在位置的像素点的像素值为1，其他位置的像素点的像素值为0，该计算机设备可以获取该第二图像的掩膜图像，该第二图像的掩膜图像中，所有像素点的像素值为1，则该计算机设备可以将第二区域的掩膜图像和第二图像的掩膜图像进行卷积操作，将卷积结果中像素值为0的位置，确定为第二区域所在位置。该计算机设备可以将第二区域的掩膜图像和第二图像的掩膜图像进行与或操作，以将第二图像插入第二区域，得到第三区域。该计算机设备还可以基于第三区域的掩模图像和该第一图像之间的与或操作，将第三区域中的第二图像插入第一图像中，例如，该计算机设备可以将第三区域的掩膜图像取反操作，得到第一结果，再将第一结果与第一图像进行取与操作，得到第二结果，然后，该计算机设备再将第二结果与第三区域的掩模图像进行取或操作，从而将透视变化处理后的第二图像插入到第一图像中。

需要说明的是，本发明实施例中，该第一区域的数目可以为多个，第二区域的数目对应也有多个，则可以通过上述步骤201-206的过程，确定每个第一区域的透视变化关系，例如，每个第二区域与该第二区域对应的第一区域之间的透视变化矩阵。对于每个第一区域，该计算机设备根据每个第一区域的透视变化关系，将第二图像插入到第一图像的该第一区域内。

为了更加清晰的对本发明实施例的过程进行介绍，下面以图10所示的流程为例，对上述步骤201-206的过程进行描述，如图10所示，以深度信息为深度图像举例说明，本步骤中，该计算机设备获取第一图像的深度图像，以及第一图像的分割图像，分割图像包括有第一区域，分割图像可以为第一区域的掩膜图像。该计算机设备基于深度图像和分割图像，确定出第一区域的透视变化矩阵，并基于该透视变化矩阵，将插入广告牌的第二区域进行透视变化处理，得到第三区域，再基于该第三区域，将透视变化处理后的广告牌插入到第一图像中，从而使得所插入的广告牌的形状符合透视变化关系，保证了第一图像的真实性。其中，如图11所示，该计算机设备通过对第一图像进行边缘检测，经过①的过程，确定出第一图像中的第一区域，获取第一区域的掩膜图像，再经过②的过程，获取第一区域在三维空间对应的第二区域，并获取第二区域的掩膜图像，经过③的过程，将广告牌插入到第二区域中，经过④的过程，将插入广告牌的第二区域进行透视变化处理，经过⑤的过程，将透视变化处理后的广告牌插入到第一图像中。

本发明实施例中，该计算机设备可以获取第一图像的深度信息和第一区域，从而得到第一图像中各个对象在三维空间对应的位置，该计算机设备根据第一图像的深度信息和第一区域，获取第一区域的透视变化关系，通过该透视变化关系获知三维空间中区域投影到二维平面时的形状变化趋势，从而可以基于该透视变化关系，将第二图像融入到第一区域中，使得第一图像中所融入的第二图像符合透视变化规律，提高了第一图像的真实性。

图12是本发明实施例提供的一种图像显示装置的结构示意图。参见图10，该装置包括：

确定模块1201，用于确定第一图像和第二图像，该第一图像包括多个对象；

获取模块1202，用于获取该第一图像的深度信息和该第一图像内第一区域，该深度信息用于指示该第一图像内该多个对象在三维空间的相对距离，该第一区域为该多个对象中平面对象所在区域，该平面对象的各个关键点位于同一平面上；

该确定模块1201，还用于根据该第一图像的深度信息和该第一区域，确定该第一区域的透视变化关系，该透视变化关系用于指示区域从三维空间投影到该第一图像所在平面时的形状变化趋势；

显示模块1203，用于根据该透视变化关系，将该第二图像融入该第一图像的第一区域内进行显示。

在一种可能实现方式中，该确定模块1201，包括：

第一确定单元，用于根据该第一图像和该深度信息，确定该第一区域在三维空间对应的第二区域，该第二区域用于指示该第一区域在真实物理世界的实际形状；

第二确定单元，用于根据该第一区域的第一形状和该第二区域的第二形状，确定该第一区域与该第二区域之间的透视变化关系。

在一种可能实现方式中，该第一确定单元，还用于根据该第一图像中像素点在该第一图像的位置和该深度信息中像素点的像素值，确定该第一区域包括的多个第一像素点在该三维空间对应的多个第二像素点，该深度信息中像素点的像素值用于指示该像素点与该第一图像的图像采集设备之间的距离；对该多个第二像素点进行平面拟合，得到该第一区域在该三维空间对应的第二区域。

在一种可能实现方式中，该第一确定单元，还用于对于每个第一像素点，根据该第一像素点在该第一图像的位置，获取该深度信息中对应位置的第三像素点的像素值；根据该第一像素点在该第一图像的图像坐标系的第一坐标和该第三像素点的像素值，获取第一像素点在该第一图像的相机坐标系对应的第二坐标；将该相机坐标系中该第二坐标对应的像素点，确定为该第一像素点在该三维空间对应的第二像素点。

在一种可能实现方式中，该第二确定单元，还用于根据该第二区域包括的多个第二像素点，将该第二区域移动至该第一图像的视平面上，该视平面为垂直于该第一图像的图像采集设备的光轴的平面；根据该多个第二像素点在该视平面的位置和多个第一像素点在该第一图像的位置，确定该第一区域与该第二区域之间的透视变化关系，该多个第一像素点位于该第一区域。

在一种可能实现方式中，该第二确定单元，还用于从该多个第一像素点中筛选出位于该第一区域的边缘位置的多个第一目标像素点，从该多个第二像素点中筛选出位于该第二区域的边缘位置的多个第二目标像素点；确定该多个第二目标像素点在该第一图像的相机坐标系的第三坐标；根据该多个第二目标像素点的第三坐标和该多个第一目标像素点在该第一图像的图像坐标系的第四坐标，确定该第一区域与该第二区域之间的透视变化关系。

在一种可能实现方式中，该显示模块1203，还用于根据该第二区域和该第二图像，确定该第二图像在第二区域的目标插入位置，该第二区域用于指示该第一区域在真实物理世界的实际形状；根据该目标插入位置，将该第二图像插入第二区域；根据该透视变化关系，对插入该第二图像的第二区域进行透视变化处理，得到第三区域，该透视变化处理包括缩放处理、剪切处理、旋转处理、平移处理中的一项或多项；根据该第三区域，将该第二图像融入该第一区域进行显示。

在一种可能实现方式中，该获取模块1202，还用于将该第一图像输入目标神经网络模型，输出该第一图像的深度信息，该目标神经网络模型用于基于输入图像输出该输入图像的深度信息；根据该第一图像包括的像素点，对该第一图像进行边缘检测，得到该第一图像中对象的轮廓，将属于同一轮廓的区域作为平面对象所在的第一区域。

本发明实施例中，该计算机设备可以获取第一图像的深度信息和第一区域，从而得到第一图像中各个对象在三维空间对应的位置，该计算机设备根据第一图像的深度信息和第一区域，获取第一区域的透视变化关系，通过该透视变化关系获知三维空间中区域投影到二维平面时的形状变化趋势，从而可以基于该透视变化关系，将第二图像融入到第一区域中，使得第一图像中所融入的第二图像符合透视变化规律，提高了第一图像的真实性。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的图像显示装置在显示图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像显示装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图13是本发明实施例提供的一种终端的结构示意图。该终端1300可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1300还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1300包括有：处理器1301和存储器1302。

处理器1301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1301所执行以实现本申请中方法实施例提供的图像处理方法。

在一些实施例中，终端1300还可选包括有：外围设备接口1303和至少一个外围设备。处理器1301、存储器1302和外围设备接口1303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1303相连。具体地，外围设备包括：射频电路1304、触摸显示屏1305、摄像头1306、音频电路1307、定位组件1308和电源1309中的至少一种。

外围设备接口1303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1301和存储器1302。在一些实施例中，处理器1301、存储器1302和外围设备接口1303被集成在同一芯片或电路板上；在一些其他实施例中，处理器1301、存储器1302和外围设备接口1303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1305是触摸显示屏时，显示屏1305还具有采集在显示屏1305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1301进行处理。此时，显示屏1305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1305可以为一个，设置终端1300的前面板；在另一些实施例中，显示屏1305可以为至少两个，分别设置在终端1300的不同表面或呈折叠设计；在再一些实施例中，显示屏1305可以是柔性显示屏，设置在终端1300的弯曲表面上或折叠面上。甚至，显示屏1305还可以设置成非矩形的不规则图形，也即异形屏。显示屏1305可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件1306用于采集图像或视频。可选地，摄像头组件1306包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1301进行处理，或者输入至射频电路1304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1301或射频电路1304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1307还可以包括耳机插孔。

定位组件1308用于定位终端1300的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。

电源1309用于为终端1300中的各个组件进行供电。电源1309可以是交流电、直流电、一次性电池或可充电电池。当电源1309包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1300还包括有一个或多个传感器1310。该一个或多个传感器1310包括但不限于：加速度传感器1311、陀螺仪传感器1312、压力传感器1313、光学传感器1315以及接近传感器1316。

加速度传感器1311可以检测以终端1300建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1311可以用于检测重力加速度在三个坐标轴上的分量。处理器1301可以根据加速度传感器1311采集的重力加速度信号，控制触摸显示屏1305以横向视图或纵向视图进行用户界面的显示。加速度传感器1311还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1312可以检测终端1300的机体方向及转动角度，陀螺仪传感器1312可以与加速度传感器1311协同采集用户对终端1300的3D动作。处理器1301根据陀螺仪传感器1312采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1313可以设置在终端1300的侧边框和/或触摸显示屏1305的下层。当压力传感器1313设置在终端1300的侧边框时，可以检测用户对终端1300的握持信号，由处理器1301根据压力传感器1313采集的握持信号进行左右手识别或快捷操作。当压力传感器1313设置在触摸显示屏1305的下层时，由处理器1301根据用户对触摸显示屏1305的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

光学传感器1315用于采集环境光强度。在一个实施例中，处理器1301可以根据光学传感器1315采集的环境光强度，控制触摸显示屏1305的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1305的显示亮度；当环境光强度较低时，调低触摸显示屏1305的显示亮度。在另一个实施例中，处理器1301还可以根据光学传感器1315采集的环境光强度，动态调整摄像头组件1306的拍摄参数。

接近传感器1316，也称距离传感器，通常设置在终端1300的前面板。接近传感器1316用于采集用户与终端1300的正面之间的距离。在一个实施例中，当接近传感器1316检测到用户与终端1300的正面之间的距离逐渐变小时，由处理器1301控制触摸显示屏1305从亮屏状态切换为息屏状态；当接近传感器1316检测到用户与终端1300的正面之间的距离逐渐变大时，由处理器1301控制触摸显示屏1305从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图13中示出的结构并不构成对终端1300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图14是本发明实施例提供的一种服务器的结构示意图，该服务器1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)1401和一个或一个以上的存储器1402，其中，该存储器1402中存储有至少一条指令，该至少一条指令由该处理器1401加载并执行以实现上述各个方法实施例提供的图像处理方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由计算机设备中的处理器执行以完成上述实施例中的图像处理方法。例如，该计算机可读存储介质可以是ROM(Read-Only Memory，只读存储器)、RAM(random accessmemory，随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory，只读光盘)、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种图像处理方法，其特征在于，所述方法包括：

确定第一图像和第二图像，所述第一图像包括多个对象；

获取所述第一图像的深度信息和所述第一图像内第一区域，所述深度信息用于指示所述第一图像内所述多个对象在三维空间的相对距离，所述第一区域为所述第一图像中属于同一轮廓的区域，所述轮廓为所述多个对象中任一对象的轮廓；

根据所述第一图像的深度信息和所述第一区域，确定所述第一区域的透视变化关系，所述透视变化关系用于指示将区域从所述第一图像在三维空间的视平面投影到所述第一图像所在平面时的形状变化趋势，所述视平面为垂直于所述第一图像的图像采集设备的光轴的平面；

根据所述第二图像在所述第一区域对应的三维空间的视平面上的目标插入位置和所述透视变化关系，对所述第二图像进行透视变化处理，将透视变化处理后的第二图像融入所述第一图像的第一区域内进行显示，所述第二图像在所述第一图像中所显示的形状符合透视变化规律。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像的深度信息和所述第一区域，确定所述第一区域的透视变化关系包括：

根据所述第一图像和所述深度信息，确定所述第一区域在三维空间对应的第二区域，所述第二区域用于指示所述第一区域在真实物理世界的实际形状；

根据所述第一区域的第一形状和所述第二区域的第二形状，确定所述第一区域与所述第二区域之间的透视变化关系。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像和所述深度信息，确定所述第一区域在三维空间对应的第二区域包括：

根据所述第一图像中像素点在所述第一图像的位置和所述深度信息中像素点的像素值，确定所述第一区域包括的多个第一像素点在所述三维空间对应的多个第二像素点，所述深度信息中像素点的像素值用于指示所述像素点与所述第一图像的图像采集设备之间的距离；

对所述多个第二像素点进行平面拟合，得到所述第一区域在所述三维空间对应的第二区域。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像中像素点在所述第一图像的位置和所述深度信息中像素点的像素值，确定所述第一区域包括的多个第一像素点在所述三维空间对应的多个第二像素点包括：

对于每个第一像素点，根据所述第一像素点在所述第一图像的位置，获取所述深度信息中对应位置的第三像素点的像素值；

根据所述第一像素点在所述第一图像的图像坐标系的第一坐标和所述第三像素点的像素值，获取第一像素点在所述第一图像的相机坐标系对应的第二坐标；

将所述相机坐标系中所述第二坐标对应的像素点，确定为所述第一像素点在所述三维空间对应的第二像素点。

5.根据权利要求2所述的方法，其特征在于，所述根据所述第一区域的第一形状和所述第二区域的第二形状，确定所述第一区域与所述第二区域之间的透视变化关系包括：

根据所述第二区域包括的多个第二像素点，将所述第二区域移动至所述第一图像的视平面上，所述视平面为垂直于所述第一图像的图像采集设备的光轴的平面；

根据所述多个第二像素点在所述视平面的位置和多个第一像素点在所述第一图像的位置，确定所述第一区域与所述第二区域之间的透视变化关系，所述多个第一像素点位于所述第一区域。

6.根据权利要求5所述的方法，其特征在于，所述根据所述多个第二像素点在所述视平面的位置和多个第一像素点在所述第一图像的位置，确定所述第一区域与所述第二区域之间的透视变化关系包括：

从所述多个第一像素点中筛选出位于所述第一区域的边缘位置的多个第一目标像素点，从所述多个第二像素点中筛选出位于所述第二区域的边缘位置的多个第二目标像素点；

确定所述多个第二目标像素点在所述第一图像对应的相机坐标系的视平面上的第三坐标；

根据所述多个第二目标像素点的第三坐标和所述多个第一目标像素点在所述第一图像的图像坐标系的第四坐标，确定所述第一区域与所述第二区域之间的透视变化关系。

7.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像在所述第一区域对应的三维空间的视平面上的目标插入位置和所述透视变化关系，将所述第二图像融入所述第一图像的第一区域内进行显示包括：

根据所述第二图像和将所述第一区域在三维空间中对应的第二区域移动至所述视平面上得到的区域，确定所述第二图像在所述移动至所述视平面上的第二区域的目标插入位置，所述第一区域在三维空间中对应的第二区域用于指示所述第一区域在真实物理世界的实际形状；

根据所述目标插入位置，将所述第二图像插入所述移动至所述视平面上的第二区域；

根据所述透视变化关系，对移动至所述视平面上插入所述第二图像的第二区域进行透视变化处理，得到第三区域，所述透视变化处理包括缩放处理、剪切处理、旋转处理、平移处理中的一项或多项；

根据所述第三区域，将所述第二图像融入所述第一区域进行显示。

8.根据权利要求1所述的方法，其特征在于，所述获取所述第一图像的深度信息和所述第一图像内第一区域包括：

将所述第一图像输入目标神经网络模型，输出所述第一图像的深度信息，所述目标神经网络模型用于基于输入图像输出所述输入图像的深度信息；

根据所述第一图像包括的像素点，对所述第一图像进行边缘检测，得到所述第一图像中对象的轮廓，将属于同一轮廓的区域作为平面对象所在的第一区域。

9.一种图像显示装置，其特征在于，所述装置包括：

确定模块，用于确定第一图像和第二图像，所述第一图像包括多个对象；

获取模块，用于获取所述第一图像的深度信息和所述第一图像内第一区域，所述深度信息用于指示所述第一图像内所述多个对象在三维空间的相对距离，所述第一区域为所述第一图像中属于同一轮廓的区域，所述轮廓为所述多个对象中任一对象的轮廓；

所述确定模块，还用于根据所述第一图像的深度信息和所述第一区域，确定所述第一区域的透视变化关系，所述透视变化关系用于指示将区域从所述第一图像在三维空间的视平面投影到所述第一图像所在平面时的形状变化趋势，所述视平面为垂直于所述第一图像的图像采集设备的光轴的平面；

显示模块，用于根据所述第二图像在所述第一区域对应的三维空间的视平面上的目标插入位置和所述透视变化关系，对所述第二图像进行透视变化处理，将透视变化处理后的第二图像融入所述第一图像的第一区域内进行显示，所述第二图像在所述第一图像中所显示的形状符合透视变化规律。

10.根据权利要求9所述的装置，其特征在于，所述确定模块，包括：

第一确定单元，用于根据所述第一图像和所述深度信息，确定所述第一区域在三维空间对应的第二区域，所述第二区域用于指示所述第一区域在真实物理世界的实际形状；

第二确定单元，用于根据所述第一区域的第一形状和所述第二区域的第二形状，确定所述第一区域与所述第二区域之间的透视变化关系。

11.根据权利要求10所述的装置，其特征在于，

所述第一确定单元，还用于根据所述第一图像中像素点在所述第一图像的位置和所述深度信息中像素点的像素值，确定所述第一区域包括的多个第一像素点在所述三维空间对应的多个第二像素点，所述深度信息中像素点的像素值用于指示所述像素点与所述第一图像的图像采集设备之间的距离；对所述多个第二像素点进行平面拟合，得到所述第一区域在所述三维空间对应的第二区域。

12.根据权利要求11所述的装置，其特征在于，

所述第一确定单元，还用于对于每个第一像素点，根据所述第一像素点在所述第一图像的位置，获取所述深度信息中对应位置的第三像素点的像素值；根据所述第一像素点在所述第一图像的图像坐标系的第一坐标和所述第三像素点的像素值，获取第一像素点在所述第一图像的相机坐标系对应的第二坐标；将所述相机坐标系中所述第二坐标对应的像素点，确定为所述第一像素点在所述三维空间对应的第二像素点。

13.根据权利要求10所述的装置，其特征在于，

所述第二确定单元，还用于根据所述第二区域包括的多个第二像素点，将所述第二区域移动至所述第一图像的视平面上，所述视平面为垂直于所述第一图像的图像采集设备的光轴的平面；根据所述多个第二像素点在所述视平面的位置和多个第一像素点在所述第一图像的位置，确定所述第一区域与所述第二区域之间的透视变化关系，所述多个第一像素点位于所述第一区域。

14.根据权利要求13所述的装置，其特征在于，所述第二确定单元用于：

从所述多个第一像素点中筛选出位于所述第一区域的边缘位置的多个第一目标像素点，从所述多个第二像素点中筛选出位于所述第二区域的边缘位置的多个第二目标像素点；确定所述多个第二目标像素点在所述第一图像对应的相机坐标系的视平面上的第三坐标；根据所述多个第二目标像素点的第三坐标和所述多个第一目标像素点在所述第一图像的图像坐标系的第四坐标，确定所述第一区域与所述第二区域之间的透视变化关系。

15.根据权利要求9所述的装置，其特征在于，所述显示模块用于：

根据所述第二图像和将所述第一区域在三维空间中对应的第二区域移动至所述视平面上得到的区域，确定所述第二图像在所述移动至所述视平面上的第二区域的目标插入位置，所述第一区域在三维空间中对应的第二区域用于指示所述第一区域在真实物理世界的实际形状；根据所述目标插入位置，将所述第二图像插入所述移动至所述视平面上的第二区域；根据所述透视变化关系，对移动至所述视平面上插入所述第二图像的第二区域进行透视变化处理，得到第三区域，所述透视变化处理包括缩放处理、剪切处理、旋转处理、平移处理中的一项或多项；根据所述第三区域，将所述第二图像融入所述第一区域进行显示。

16.根据权利要求9所述的装置，其特征在于，所述获取模块用于：

将所述第一图像输入目标神经网络模型，输出所述第一图像的深度信息，所述目标神经网络模型用于基于输入图像输出所述输入图像的深度信息；根据所述第一图像包括的像素点，对所述第一图像进行边缘检测，得到所述第一图像中对象的轮廓，将属于同一轮廓的区域作为平面对象所在的第一区域。

17.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求8任一项所述的图像处理方法所执行的操作。

18.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求8任一项所述的图像处理方法所执行的操作。

Images