CN111402152A - 视差图的处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种视差图的处理方法、装置、计算机设备和存储介质。所述方法包括：通过对初始视差图进行降采样，得到至少一个掩膜图像，再对掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像，并根据处理后的掩膜图像确定初始视差图上的异常视差值，最后对初始视差图上的异常视差值进行插值处理和滤波处理，得到目标视差图。在上述视差图的处理方法中，由于对掩膜图像进行斑块处理和像素替换处理，这样的处理方法可以修正初始视差图中因原始拍摄图像中重复纹理或弱纹理，以及边缘信息复杂等因素导致初始视差图中计算错误的视差值，因此，本申请提供的视差图的处理方法可以提高视差图的质量。

Description

视差图的处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种视差图的处理方法、装置、计算机设备和存储介质。

背景技术

随着计算机视觉技术的发展，立体匹配技术成为了计算机视觉领域的研究热点，且其在双目测距、手机双摄拍照虚化、视觉机器人等方向得到了广泛应用。但是，在实际应用中，利用立体匹配技术获取到的视差图通常会因为重复纹理或弱纹理、边缘信息复杂等因素的影响，导致匹配过程计算不准确的问题。

目前，针对上述问题对视差图进行优化的方法主要是通过对获取到的视差图进行滤波、去燥声、平滑等后处理工作，以提高视差图的质量。

然而，经过上述后处理方法得到的视差图依然存在质量较差的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高视差图的质量的视差图的处理方法、装置、计算机设备和存储介质。

一种视差图的处理方法，所述方法包括：

通过初始视差图进行降采样，得到至少一个掩膜图像；

对掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像；像素替换处理包括使用掩膜图像上各像素点对应的相似像素点的视差值替换各像素点的视差值；

根据处理后的掩膜图像确定初始视差图上的异常视差值；

对初始视差图上的异常视差值进行插值处理和滤波处理，得到目标视差图。

在其中一个实施例中，对掩膜图像进行斑块处理，包括：

对掩膜图像进行斑块检测，得到掩膜图像上斑块区域中包含的异常视差值；

将掩膜图像上斑块区域中包含的异常视差值设置为第一值。

在其中一个实施例中，对掩膜图像进行斑块检测，得到掩膜图像上斑块区域中包含的异常视差值，包括：

对掩膜图像进行斑块检测，得到斑块区域；

判断斑块区域是否满足预设条件；

若满足，则将斑块区域中的各像素点的视差值确定为第二掩膜图像上斑块区域中包含的异常视差值。

在其中一个实施例中，预设条件包括预设个数阈值和预设均值阈值，判断斑块区域是否满足预设条件，包括：

判断斑块区域中的像素点的个数是否小于预设个数阈值，且斑块区域中的视差均值与预设均值阈值的差值是否在预设范围内；

若斑块区域中的像素点的个数小于预设个数阈值，且斑块区域中的视差均值与预设均值阈值的差值在预设范围内，则确定斑块区域满足预设条件；

若斑块区域中的像素点的个数大于或等于预设个数阈值，和/或，斑块区域中的视差均值与预设均值阈值的差值未在预设范围内，则确定斑块区域未满足预设条件。

在其中一个实施例中，对掩膜图像进行像素替换处理，包括：

根据原始图像确定掩膜图像上各像素点对应的相似像素点；相似像素点的像素值与对应的像素点的像素值的差值之间的差值为最小值；

使用各相似像素点的视差值对应替换各像素点的视差值。

在其中一个实施例中，根据原始图像确定掩膜图像上各像素点对应的相似像素点，包括：

根据掩膜图像上各像素点所在位置，在原始图像上找到对应位置的各原像素点；

确定原始图像上各原像素点对应的相似原像素点；相似原像素点的像素值与对应的原像素点的像素值之间的差值为最小值；

根据各相似原像素点的位置，在掩膜图像上找到对应位置的各像素点，并将找到的各像素点确定为掩膜图像上各像素点对应的相似像素点。

在其中一个实施例中，确定原始图像上各原像素点对应的相似原像素点，包括：

以各原像素点为中心，确定各原像素点在原始图像上的搜索范围；

计算原像素点与搜索范围内其余原像素点之间的像素差值；

将最小的像素差值对应的原像素点确定为原始图像上原像素点对应的相似原像素点。

在其中一个实施例中，根据处理后的掩膜图像确定初始视差图上的异常视差值，包括：

对处理后的掩膜图像的分辨率进行调整，得到目标掩膜图像；目标掩膜图像的分辨率与初始视差图的分辨率相同；

将目标掩膜图像上被设置为第一值的像素点映射到初始视差图上，以及将目标掩膜图像上经过视差值替换的像素点映射到初始视差图上，得到初始视差图上的异常视差值。

在其中一个实施例中，异常视差值为第一值时，对初始视差图上的异常视差值进行插值处理，包括：

根据异常视差值对应像素点所在位置，确定异常视差值对应像素点的邻近区域；

在邻近区域内搜索最小的视差值；

使用最小的视差值替换异常视差值。

在其中一个实施例中，掩膜图像包括第一掩膜图像和第二掩膜图像，第一掩膜图像的分辨率大于第二掩膜图像，对掩膜图像进行斑块处理和替换处理，得到处理后的掩膜图像，包括：

对第一掩膜图像进行像素替换处理，得到第一处理掩膜图像；

对第二掩膜图像进行斑块处理，得到第二处理掩膜图像；

将第一处理掩膜图像和所述第二处理掩膜图像确定为所述处理后的掩膜图像。

在其中一个实施例中，根据初始视差图确定掩膜图像，包括：

对初始视差图进行降采样处理，得到第一掩膜图像；

对第一掩没图像进行降采样处理，得到第二掩膜图像。

在其中一个实施例中，对初始视差图进行降采样处理，得到第一掩膜图像，包括：

对初始视差图进行高斯模糊处理，得到处理视差图；

对处理视差图进行降采样处理，得到第一掩膜图像。

一种视差图的处理装置，所述装置包括：

第一确定模块，用于通过对初始视差图进行降采样，得到至少一个掩膜图像；

第一处理模块，用于对掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像；像素替换处理包括使用掩膜图像上各像素点对应的相似像素点的视差值替换各像素点的视差值；

第二确定模块，用于根据处理后的掩膜图像确定初始视差图上的异常视差值；

第二处理模块，用于对初始视差图上的异常视差值进行插值处理和滤波处理，得到目标视差图。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

通过对初始视差图进行降采样，得到至少一个掩膜图像；

对掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像；像素替换处理包括使用掩膜图像上各像素点对应的相似像素点的视差值替换各像素点的视差值；

根据处理后的掩膜图像确定初始视差图上的异常视差值；

对初始视差图上的异常视差值进行插值处理和滤波处理，得到目标视差图。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

通过对初始视差图进行降采样，得到至少一个掩膜图像；

对掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像；像素替换处理包括使用掩膜图像上各像素点对应的相似像素点的视差值替换各像素点的视差值；

根据处理后的掩膜图像确定初始视差图上的异常视差值；

对初始视差图上的异常视差值进行插值处理和滤波处理，得到目标视差图。

上述视差图的处理方法、装置、计算机设备和存储介质，包括：通过对初始视差图进行降采样，得到至少一个掩膜图像，再对掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像，并根据处理后的掩膜图像确定初始视差图上的异常视差值，最后对初始视差图上的异常视差值进行插值处理和滤波处理，得到目标视差图。在上述视差图的处理方法中，由于对掩膜图像进行斑块处理和像素替换处理，这样的处理方法可以修正初始视差图中因原始拍摄图像中重复纹理或弱纹理，以及边缘信息复杂等因素导致初始视差图中计算错误的视差值，因此，本申请提供的视差图的处理方法可以提高视差图的质量。另外，由于通过对初始视差图进行降采样后得到的掩膜图像的分辨率低于初始视差图的分辨率，且后期对低分辨率的掩膜图像进行斑块处理和像素替换处理，大幅度的降低了视差图的处理时间，从而提高了视差图的处理速度。

附图说明

图1为一个实施例中计算机设备的内部结构图；

图2为一个实施例中视差图的处理方法的流程示意图；

图3为图2实施例中S102步骤的流程示意图；

图4为图3实施例中S201步骤的流程示意图；

图5为图4实施例中S302步骤的流程示意图；

图6为图2实施例中S102步骤的流程示意图；

图7为图6实施例中S501步骤的流程示意图；

图8为图7实施例中S602步骤的流程示意图；

图9为图2实施例中S103步骤的流程示意图；

图10为图2实施例中S104步骤的流程示意图；

图11为图2实施例中S102步骤的流程示意图；

图12为图2实施例中S101步骤的流程示意图；

图13为图12实施例中S2001步骤的流程示意图；

图14为一个实施例中视差图的处理方法的流程示意图；

图15为一个实施例中视差图的处理装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的视差图的处理方法，可以应用于如图1所示的计算机设备中，该计算机设备可以是服务器，该计算机设备也可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视差图的处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，如图2所示，提供了一种视差图的处理方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：

S101，通过对初始视差图进行降采样，得到至少一个掩膜图像。

其中，初始视差图为待处理的图像，其可以由计算机设备预先通过立体匹配算法对双摄拍摄得到的图像进行计算得到的视差图，可选的，初始视差图也可以由计算机设备通过其它方式得到，例如，从网络上直接下载得到视差图或从相应的视差图数据库中获取得到，对此本实施例不做限定。掩膜图像为初始视差图经过预设采样频率降采样后的图像，也可以包括初始视差图经过不同采样频率降采样后的若干图像。

本实施例中，计算机设备可以先获取到初始视差图，再对初始视差图进行预设采样频率的降采样，得到对应分辨率的视差图，即掩膜图像；可选的，计算机设备也可以对初始视差图进行不同采样频率的降采样，得到不同分辨率的视差图，即为不同分辨率的掩膜图像。需要说明的是，当得到不同分辨率的掩膜图像时，各掩膜图像的分辨率均小于初始视差图的分辨率，且各掩膜图像的分辨率可以相同，也可以不相同，例如，若初始视差图的分辨率为120*120，对该初始视差图进行不同采样频率的降采样后，可以得到分辨率为60*60的掩膜图像，也可以得到分辨率为30*30的掩膜图像。

S102，对掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像；像素替换处理包括使用掩膜图像上各像素点对应的相似像素点的视差值替换各像素点的视差值。

其中，斑块处理为一种对掩膜图像上异常视差值的处理方法，且该异常视差值在实际应用中通常因原始拍摄图像上存在的重复纹理或弱纹理造成的。像素替换处理也为一种对掩膜图像上异常视差值的处理方法，且该异常视差值在实际应用中通常因原始拍摄图像上存在的重复纹理或弱纹理、以及边缘信息复杂造成的。本实施例中，当计算机设备获取到一个掩膜图像时，可以进一步的对掩膜图像进行斑块处理，得到待处理的图像，再对待处理的图像进行像素替换处理，得到处理后的掩膜图像。可选地，计算机设备也可以先对掩膜图像进行像素替换处理，得到待处理的图像，再对待处理的图像进行斑块处理，得到处理后的掩膜图像。可选地，当计算机设备获取到多个掩膜图像时，可以对其中分辨率较低的掩膜图像进行斑块处理，以及对分辨率较高的掩膜图像进行像素替换处理，得到处理后的掩膜图像。

S103，根据处理后的掩膜图像确定初始视差图上的异常视差值。

其中，异常视差值可以是计算机设备在利用立体匹配算法计算得到初始视差图时由于计算错误导致的错误视差值。本实施例中，当计算机设备基于上述S102的步骤获取到处理后的掩膜图像时，可以进一步的根据处理后的掩膜图像上的异常视差值确定初始视差图上的异常视差值。

S104，对初始视差图上的异常视差值进行插值处理和滤波处理，得到目标视差图。

本实施例中，当计算机设备得到初始视差图上的异常视差值时，可以进一步的先对该异常视差值进行插值处理，得到处理后的图像，再进一步的对处理后的图像进行滤波处理，得到目标视差图。可选地，计算机设备也可以先对该异常视差值进行滤波处理，得到处理后的图像，再进一步的对处理后的图像进行插值处理，得到目标视差图。需要说明的是，在实际应用中，上述插值处理可以修复初始视差图上属于黑洞的异常视差值。上述滤波处理可以具体采用各种类型的滤波方法，例如，中值滤波处理。且上述滤波处理可以滤除初始视差图上的离群点和/或噪声点。

上述实施例提供了一种视差图的处理方法，包括：通过对初始视差图进行降采样，得到至少一个掩膜图像，再对掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像，并根据处理后的掩膜图像确定初始视差图上的异常视差值，最后对初始视差图上的异常视差值进行插值处理和滤波处理，得到目标视差图。在上述视差图的处理方法中，由于对掩膜图像进行斑块处理和像素替换处理，这样的处理方法可以修正初始视差图中因原始拍摄图像中重复纹理或弱纹理，以及边缘信息复杂等因素导致初始视差图中计算错误的视差值，因此，本申请提供的视差图的处理方法可以提高视差图的质量。另外，由于通过对初始视差图进行降采样后得到的掩膜图像的分辨率低于初始视差图的分辨率，且后期对低分辨率的掩膜图像进行斑块处理和像素替换处理，大幅度的降低了视差图的处理时间，从而提高了视差图的处理速度。

具体地，本申请还提供了上述斑块处理的具体实施方式，如图3所示，上述S102中的“对掩膜图像进行斑块处理”，包括：

S201，对掩膜图像进行斑块检测，得到掩膜图像上斑块区域中包含的异常视差值。

其中，斑块即指视差图上出现的斑块区域，该斑块区域表示原图像中的重复纹理或弱纹理导致的视差出错，而在对应的视差图上形成的局部视差值与周围视差值分布异常的成块状聚集区域。故，斑块区域中包含异常视差值。

本实施例涉及对掩膜图像进行斑块检测的方法，从而得到掩膜图像上斑块区域中包含的异常视差值。上述斑块检测的方法可以是现有技术中的斑块检测方法，例如，采用预设的斑块检测算法对掩膜图像进行斑块检测，直接得到掩膜图像上斑块区域中包含的异常视差值。或者，采用预设的斑块检测网络对掩膜图像进行斑块检测，得到掩膜图像上斑块区域中包含的异常视差值，而其中的斑块检测网络可以是预先由计算机设备根据相应的算法训练得到，其中算法可以采用神经网络类的算法。可选地，上述斑块检测的方法也可以由计算机设备根据实际应用需求进行设计，只要能够得到掩膜图像上斑块区域中包含的异常视差值即可。

S202，将掩膜图像上斑块区域中包含的异常视差值设置为第一值。

其中，第一值可以为任一数值，例如，0、1、2…….等，该第一值可以预先由计算机设备根据实际应用需求进行设置，在实际应用中，通常第一值被设置为0。当计算机设备获取到掩膜图像上斑块区域中包含的异常视差值时，可以进一步的将其上的所有异常视差值均设置为第一值。

上述实施例提供的斑块处理方法，可以解决初始视差图中的成块错误，以及修正不和其他物体边缘合并的错误视差值。对应的，在实际应用中，上述成块错误，以及不和其他物体边缘合并的错误视差值通常是由于拍摄图像中存在的重复纹理或弱纹理造成的计算错误的视差值，因此，通过上述实施例所述的方法可以解决因拍摄图像中重复纹理或弱纹理造成的视差图质量低下的问题，进而提高了最终得到目标视差图的质量。

在一个实施例中，本申请还提供了上述S201的一种具体实施方式，如图4所示，上述S201“对掩膜图像进行斑块检测，得到掩膜图像上斑块区域中包含的异常视差值”，包括：

S301，对掩膜图像进行斑块检测，得到斑块区域。

本实施例涉及对掩膜图像进行斑块检测的方法，从而得到斑块区域。上述斑块检测的方法可以是现有技术中的斑块检测方法，例如，采用预设的斑块检测算法对掩膜图像进行斑块检测，得到掩膜图像上的所有斑块区域。或者，采用预设的斑块检测网络对掩膜图像上的斑块区域进行分割，得到掩膜图像上的所有斑块区域。在实际应用中，上述斑块区域可以是一个也可以是多个。

S302，判断斑块区域是否满足预设条件。

其中，预设条件为计算机设备预先根据实际应用需求确定的条件，其用于衡量斑块区域中是否存在异常视差值。当计算机设备检测得到掩膜图像上的所有斑块区域时，可以进一步的判断各斑块区域是否满足预设条件，以便之后在斑块区域满足预设条件时，计算机设备可以进一步的对斑块区域进行处理。

S303，若满足，则将斑块区域中的各像素点的视差值确定为掩膜图像上斑块区域中包含的异常视差值。

本实施例涉及斑块区域满足预设条件的应用场景，在此种应用场景下，计算机设备可以将满足预设条件的斑块区域确定为异常的斑块区域，并将该异常的斑块区域内的各像素点的视差值确定为掩膜图像上斑块区域中包含的异常视差值。

具体地，本申请提供了一种预设条件，该预设条件包括预设个数阈值和预设均值阈值，则对应的，上述S302中的“判断斑块区域是否满足预设条件”，如图5所示，包括：

S401，判断斑块区域中的像素点的个数是否小于预设个数阈值，且斑块区域中的视差均值与预设均值阈值的差值是否在预设范围内。

其中，预设个数阈值、预设均值阈值、以及预设范围可以由计算机设备预先根据实际应用需求确定。本实施例中，当计算机设备判断斑块区域是否满足预设条件时，可以先统计斑块区域中所有像素点的个数，再判断该个数是否小于预设个数阈值，若该个数小于预设个数阈值时，可以进一步的计算斑块区域中所有像素点的视差值的视差均值，再将计算得到的视差均值与预设均值阈值进行差值运算，得到斑块区域中的视差均值与预设均值阈值的差值，进一步的判断该差值是否在预设范围内。可选地，计算机设备也可以先计算斑块区域中所有像素点的视差值的视差均值，再将计算得到的视差均值与预设均值阈值进行差值运算，得到斑块区域中的视差均值与预设均值阈值的差值，判断该差值是否在预设范围内。若上述差值在预设范围内时，可以进一步的统计斑块区域中所有像素点的个数，并判断该个数是否小于预设个数阈值。通过上述两次判断即可得到判断结果。特别说明的是，上述斑块区域中的视差均值与预设均值阈值的差值为正值。

S402，若斑块区域中的像素点的个数小于预设个数阈值，且斑块区域中的视差均值与预设均值阈值的差值在预设范围内，则确定斑块区域满足预设条件。

本实施例涉及如何判断斑块区域满足预设条件，在此种应用环境下，若斑块区域中的像素点的个数小于预设个数阈值，且斑块区域中的视差均值与预设均值阈值的差值在预设范围内，即可确定斑块区域满足预设条件。

S403，若斑块区域中的像素点的个数大于或等于预设个数阈值，和/或，斑块区域中的视差均值与预设均值阈值的差值未在预设范围内，则确定斑块区域未满足预设条件。

本实施例涉及如何判断斑块区域未满足预设条件，在此种应用环境下，若斑块区域中的像素点的个数大于或等于预设个数阈值，和/或，斑块区域中的视差均值与预设均值阈值的差值未落在预设范围内，即可确定斑块区域未满足预设条件。

在一个实施例中，本申请还提供了上述像素替换处理的具体实施方式，如图6所示，上述S102中的“对掩膜图像进行像素替换处理”，包括：

S501，根据原始图像确定掩膜图像上各像素点对应的相似像素点；相似像素点的像素值与对应的像素点的像素值之间的差值为最小值。

其中，原始图像为初始视差图对应的灰度图像。本实施例涉及计算机设备对掩膜图像进行像素替换处理的方法，具体地，计算机设备可以利用原始图像上的像素点所在位置信息计算得到掩膜图像上各像素点对应的相似像素点，以便之后使用掩膜图像上各像素点对应的相似像素点修正掩膜图像上各像素点的视差值。

S502，使用各相似像素点的视差值对应替换各像素点的视差值。

当计算机设备获取到掩膜图像上各像素点对应的相似像素点时，可以进一步的使用各相似像素点的视差值替换对应的各像素点的视差值，以达到修正各像素点视差值的目的。需要说明的是，在具体操作时，计算机设备可以遍历掩膜图像上的所有像素点，进而对各像素点执行如上过程的替换处理。

可选地，上述S501“根据原始图像确定掩膜图像上各像素点对应的相似像素点”的具体实施方式，如图7所示，包括：

S601，根据掩膜图像上各像素点所在位置，在原始图像上找到对应位置的各原像素点。

计算机设备在根据原始图像确定掩膜图像上各像素点对应的相似像素点时，可以根据掩膜图像上各像素点所在位置，在对应位置处找到原始图像上的各原像素点，以便之后利用这些原像素点确定掩膜图像上各像素点对应的相似像素点。

S602，确定原始图像上各原像素点对应的相似原像素点；相似原像素点的像素值与对应的原像素点的像素值之间的差值为最小值。

本实施例涉及计算机设备确定原始图像上各原像素点对应的相似原像素点的方法，具体的，计算机设备可以在原始图像上搜索与原像素点的像素值相差最小的原像素点，然后将相差最小的原像素点确定为与上述原像素点对应的相似原像素点。

S603，根据各相似原像素点的位置，在掩膜图像上找到对应位置的各像素点，并将找到的各像素点确定为掩膜图像上各像素点对应的相似像素点。

本实施例中，当计算机设备基于上述步骤得到原像素点对应的相似原像素点时，可以进一步根据相似原像素点在原始图像上的位置，在掩膜图像上找到对于位置处的像素点，并将该像素点确定为掩膜图像上在像素点对应的相似像素点。

可选地，上述S602“确定原始图像上各原像素点对应的相似原像素点”的具体实施方式，如图8所示，包括：

S701，以各原像素点为中心，确定各原像素点在原始图像上的搜索范围。

计算机设备在所述原始图像上找到对应位置的各原像素点时，可以在原始图像上先以各原像素点为中心，确定各原像素点的搜索范围。例如，以原像素点p为中心，r为半径(r可以由计算机设备根据实际应用需求确定)的矩形区域或圆形区域即可为搜索范围。

S702，计算原像素点与搜索范围内其余原像素点之间的像素差值。

以一个原像素点为例进行说明，当该原像素点的搜索范围确定时，计算机设备可以在该搜索范围内，在原始图像上对该原像素点的像素值与其余原像素点的像素值进行差值运算，得到该原像素点与其余原像素点之间的像素差值。

S703，将最小的像素差值对应的原像素点确定为原始图像上原像素点对应的相似原像素点。

本实施例中，当计算机设备基于上述步骤得到原像素点与搜索范围内其余原像素点之间的像素差值时，可以进一步从得到的若干像素差值中确定最小的像素差值，并直接将最小的像素差值对应的原像素点确定为原始图像上原像素点对应的相似原像素点。

上述图6-图8实施例提供的像素替换处理方法中，由于原始图像上与原像素点对应的相似原像素点的视差值相对于掩膜图像上各像素点的视差值是准确的，因此，之后利用掩膜图像上各像素点对应的相似像素点的视差值替换对应像素点的视差值，可以达到对掩膜图像上各像素点的视差值进行修正的目的，从而可以提高进行像素替换处理后的掩膜图像上各像素点的视差值的准确性。

另外，上述图6-图8实施例提供的像素替换处理方法，可以解决初始视差图中的成块错误，以及与其它物体边缘合并且视差值高度相似的区域造成的错误视差值。对应的，在实际应用中，上述成块错误，以及与其它物体边缘合并且视差值高度相似的区域造成的错误视差值通常是由于拍摄图像中存在的重复纹理或弱纹理，以及边缘信息复杂等因素造成的计算错误的视差值，因此，通过上述实施例所述的方法可以解决因拍摄图像中重复纹理或弱纹理，以及边缘信息复杂造成的视差图质量低下的问题，进而提高了最终得到目标视差图的质量。

在一个实施例中，上述S103“根据处理后的掩膜图像确定初始视差图上的异常视差值”的具体实施方式，如图9所示，包括：

S801，对处理后的掩膜图像的分辨率进行调整，得到目标掩膜图像；目标掩膜图像的分辨率与初始视差图的分辨率相同。

当计算机设备对掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像时，可以进一步的对处理后的掩膜图像的分辨率进行调整，得到目标掩膜图像，使目标掩膜图像的分辨率与初始视差图的分辨率相同。例如，若初始视差图的分辨率为120*120，处理后的掩膜图像的分辨率为60*60，则对处理后的掩膜图像的分辨率经过调整后得到的目标掩膜图像的分辨率为120*120。至于具体的调整方法可以采用现有的任何分辨率提高方法，例如，插值处理方法等，对此本实施例不做限定。

S802，将目标掩膜图像上被设置为第一值的像素点映射到初始视差图上，以及将目标掩膜图像上经过视差值替换的像素点映射到初始视差图上，得到初始视差图上的异常视差值。

当计算机设备得到目标掩膜图像时，可以先在目标掩膜图像上找到被设置为第一值的像素点，然后根据被设置为第一值的像素点所在位置，将被设置为第一值的像素点映射到初始视差图上，再在目标掩膜图像上找到经过视差值替换的像素点，然后根据经过视差值替换的像素点所在位置，将经过视差值替换的像素点映射到初始视差图上。可选地，计算机设备也可以先在目标掩膜图像上找到经过视差值替换的像素点，然后根据经过视差值替换的像素点所在位置，将经过视差值替换的像素点映射到初始视差图上，再在目标掩膜图像上找到被设置为第一值的像素点，然后根据被设置为第一值的像素点所在位置，将被设置为第一值的像素点映射到初始视差图上。将被映射到初始视差图上的被设置为第一值的像素点和经过视差值替换的像素点确定为初始视差图上的异常视差值。

上述实施例提供的确定初始视差图上的异常视差值的方法，是通过目标掩膜图像上被设置为第一值的像素点以及经过视差值替换的像素点确定的，由于掩膜图像的分辨率小于初始视差图的分辨率，因此，前期在根据处理后的掩膜图像计算得到掩膜图像上被设置为第一值的像素点以及经过视差值替换的像素点时，可以缩减一定的计算时间，而后期将目标掩膜图像上被设置为第一值的像素点以及经过视差值替换的像素点映射到初始视差图上，以确定初始视差图上的异常视差值的过程并不需要耗费大量的时间，因此，整个确定初始视差图上的异常视差值的过程，相比于传统的直接对初始视差图进行处理得到异常视差值的方法，本实施例提出的方法极大的缩减了计算时间，从而提高了计算速度。

在实际应用中，当上述异常视差值为第一值时，上述实施中的步骤S104中的“对初始视差图上的异常视差值进行插值处理”的具体实施方式，如图10所示，包括：

S901，根据异常视差值对应像素点所在位置，确定异常视差值对应像素点的邻近区域。

当计算机设备确定初始视差图上的异常视差值时，可以进一步的采用线性扫描的方式进行领域插值，即以一个异常视差值为例进行说明，且该异常视差值为第一值，计算机设备先根据该异常视差值对应像素点所在位置，确定该异常插值对应像素点的邻近区域，之后再根据邻近区域找寻可以用来插值的像素点，以完成插值的操作。因为是线性扫描的方式，因此邻近区域所在位置为异常视差值对应像素点所在位置的同一行上。例如，根据处于初始视差图第一行的一个异常视差值对应像素点确定其邻近区域，则该邻近区域即为在与该像素点同一行上的左边区域和/或右边区域。

S902，在邻近区域内搜索最小的视差值。

当计算机设备确定了一个异常视差值对应像素点的邻近区域时，可以进一步的在该邻近区域内进行搜索，具体搜索最小的视差值。

S903，使用最小的视差值替换异常视差值。

当计算机设备在异常视差值对应像素点的邻近区域内搜索最小的视差值时，可以将该最小的视差值替换掉异常视差值。例如，异常视差值为第一值，则在该第一值的邻近区域内搜索到的最小的视差值为第二值，则对应的将为第一值的异常视差值重新设置为第二值，即完成视差值的替换过程。需要说明的是，上述仅是一个异常视差值为例进行说明，在具体操作时，计算机设备可以对初始视差图进行线性扫描，实现对各行上的异常视差值执行如上过程的替换处理。

上述实施例提供的对初始视差图上的异常视差值进行插值处理的方法，特别是当异常视差值为第一值时，说明初始视差图上可能会产生较多的空洞，那么上述实施例提供的方法以使用最小的视差值插值的方式填补了空洞，从而提高了经过处理后的视差图的质量。

在一个实施例中，通过图2实施例的步骤S101得到的掩膜图像为两个掩膜图像时，即第一掩膜图像和第二掩膜图像，且第一掩膜图像的分辨率高于第二掩膜图像，此时，上述图2实施例的步骤S102“对掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像”，如图11所示，包括：

S1001，对第一掩膜图像进行像素替换处理，得到第一处理掩膜图像。

本实施例涉及计算机设备对分辨率较高的第一掩膜图像进行像素替换处理，得到第一处理掩膜图像，以便之后使用该第一处理掩膜图像确定初始视差图上的异常是差值。具体像素替换处理的方法可以参见前述实施例的说明，在此不重复累赘说明。

S1002，对第二掩膜图像进行斑块处理，得到第二处理掩膜图像。

本实施例涉及计算机设备对分辨率较低的第二掩膜图像进行斑块处理，从而得到第二处理掩膜图像，以便之后使用该第二处理掩膜图像确定初始视差图上的异常是差值。具体斑块处理的方法可以参见前述实施例的说明，在此不重复累赘说明。

S1003，将第一处理掩膜图像和第二处理掩膜图像确定为处理后的掩膜图像。

当计算机设备基于前述步骤得到第一处理掩膜图像和第二处理掩膜图像时，即可得到处理后的掩膜图像。

上述实施例提供的方法是对不同分辨率的掩膜图像进行不同的处理，即对分辨率相对较高的第一掩膜图像进行像素替换处理，对分辨率相对较低的第一掩膜图像进行斑块处理。上述处理方法使各处理过程相互不受影响，进一步的提高处理图像的准确度，从而提高处理后的视差图的质量。

可选的，本申请还提供了上述S101的具体实施方式，如图12所示，上述S101“根据初始视差图确定掩膜图像”，包括：

S2001，对初始视差图进行降采样处理，得到第一掩膜图像。

当计算机设备在根据初始视差图确定掩膜图像时，特别的确定第一掩膜图像时，具体的，可以对初始视差图进行降采样处理，得到第一掩膜图像，使第一掩膜图像的分辨率低于初始视差图的分辨率。需要说明的是，降采样处理时的降采样频率可以由计算机设备预先根据实际应用情况确定，只要降采样后的第一掩膜图像的分辨率低于初始视差图的分辨率即可。例如，计算机设备可以对初始视差图进行0.5比例的长宽缩放采样。

S2002，对第一掩没图像进行降采样处理，得到第二掩膜图像。

当计算机设备在根据初始视差图确定掩膜图像时，特别的确定第二掩膜图像时，具体的，可以对初始视差图进行降采样处理，得到第一掩膜图像，使第一掩膜图像的分辨率低于初始视差图的分辨率，然后再对第一掩膜图像进行同样的降采样处理，得到第二掩膜图像，使第二掩膜图像的分辨率低于第一掩膜图像的分辨率。需要说明的是，上述过程的降采样处理时的降采样频率与上述S2001中降采样处理时的降采样频率可以相同，也可以不相同。例如，若上述S2001中降采样处理时，长宽缩放采样的比例为0.5时，对应的本实施例涉及的降采样处理时的长宽缩放采样的比例也为0.5。可选的，计算机设备也可以对初始视差图进行降采样处理，直接得到第二掩膜图像，使第二掩膜图像的分辨率低于初始视差图的分辨率，同时，使第二掩膜图像的分辨率低于上述第一掩膜图像的分辨率。

具体地，上述S2001“对初始视差图进行降采样处理，得到第一掩膜图像”的具体实施方式，如图13所示，包括：

S3001，对初始视差图进行高斯模糊处理，得到处理视差图。

在实际应用中，还存在一种应用场景，在计算机设备根据初始视差图确定掩膜图像之前，可以先对初始视差图进行高斯模糊处理，以平滑初始视差图，具体的，计算机设备可以对初始视差图进行预设半径的高斯模糊处理，且预设半径可以由计算机设备预先根据实际应用需求确定，例如，计算机设备可以对初始视差图进行半径为3*3的高斯模糊处理。

S3002，对处理视差图进行降采样处理，得到第一掩膜图像。

当计算机设备对初始视差图进行高斯模糊处理后，得到处理视差图，然后，计算机设备即可根据前述S1001所述的降采样处理的方法，对处理视差图进行降采样处理，从而得到第一掩没图像，使第一掩没图像的分辨率低于处理视差图的分辨率。

基于上述所有实施例，本申请还提供了一种具体的视差图的处理方法，如图14所示，该方法包括：

S4001，获取初始视差图。

S4002，对初始视差图进行高斯模糊处理，得到处理视差图。

S4003，对处理视差图进行降采样处理，得到第一掩膜图像，第一掩膜图像的分辨率低于初始视差图的分辨率。

S4004，对第一掩膜图像进行降采样处理，得到第二掩膜图像，第二掩膜图像的分辨率低于第一掩膜图像的分辨率。

S4005，对第一掩膜图像进行像素替换处理，得到第一处理掩膜图像。

S4006，对第二掩膜图像进行斑块处理，得到第二处理掩膜图像。

S4007，根据第一处理掩膜图像和第二处理掩膜图像确定初始视差图上的异常视差值。

S4008，对初始视差图上的异常视差值进行插值处理和滤波处理，得到目标视差图。

上述实施例中的各步骤所述的内容与前述实施例所述的内容基本相同，详细步骤内容请对应参见前述说明，在此不重复累赘说明。本申请提供的视差图的处理方法，在处理过程中根据初始视差图确定了不同分辨率的第一掩膜图像和第二掩膜图像，且第一掩膜图像和第二掩膜图像的分辨率均低于初始视差图的分辨率，以及第二掩膜图像的分辨率低于第一掩膜图像的分辨率，这样的方法相当于根据初始视差图构建了一个三层的多尺度金字塔类的图像结构，之后对该多尺度金字塔的第一层(即第二掩膜图像)和第二层(即第一掩膜图像)分别进行不同的图像处理，在节省了处理时间以外，使各层的处理过程相互不受影响，从而提高了处理视差图的质量。

应该理解的是，虽然图2-14的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-14中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图15所示，提供了一种视差图的处理装置，包括：

第一确定模块11，用于通过对初始视差图进行降采样，得到至少一个掩膜图像；

第一处理模块12，用于对掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像；像素替换处理包括使用掩膜图像上各像素点对应的相似像素点的视差值替换各像素点的视差值；

第二确定模块13，用于根据处理后的掩膜图像确定初始视差图上的异常视差值；

第二处理模块14，用于对初始视差图上的异常视差值进行插值处理和滤波处理，得到目标视差图。

关于视差图的处理装置的具体限定可以参见上文中对于视差图的处理方法的限定，在此不再赘述。上述视差图的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

通过对初始视差图进行降采样，得到至少一个掩膜图像；

对掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像；像素替换处理包括使用掩膜图像上各像素点对应的相似像素点的视差值替换各像素点的视差值；

根据处理后的掩膜图像确定初始视差图上的异常视差值；

对初始视差图上的异常视差值进行插值处理和滤波处理，得到目标视差图。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

通过对初始视差图进行降采样，得到至少一个掩膜图像；

对掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像；像素替换处理包括使用掩膜图像上各像素点对应的相似像素点的视差值替换各像素点的视差值；

根据处理后的掩膜图像确定初始视差图上的异常视差值；

对初始视差图上的异常视差值进行插值处理和滤波处理，得到目标视差图。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种视差图的处理方法，所述方法包括：

通过对初始视差图进行降采样，得到至少一个掩膜图像；

对所述掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像；所述像素替换处理包括使用所述掩膜图像上各像素点对应的相似像素点的视差值替换各所述像素点的视差值；

根据所述处理后的掩膜图像确定所述初始视差图上的异常视差值；

对所述初始视差图上的异常视差值进行插值处理和滤波处理，得到目标视差图。

2.根据权利要求1所述的方法，其特征在于，所述对所述掩膜图像进行斑块处理，包括：

对所述掩膜图像进行斑块检测，得到所述掩膜图像上斑块区域中包含的异常视差值；

将所述掩膜图像上斑块区域中包含的异常视差值设置为第一值。

3.根据权利要求2所述的方法，其特征在于，所述对所述掩膜图像进行斑块检测，得到所述掩膜图像上斑块区域中包含的异常视差值，包括：

对所述掩膜图像进行斑块检测，得到所述斑块区域；

判断所述斑块区域是否满足预设条件；

若满足，则将所述斑块区域中的各像素点的视差值确定为所述掩膜图像上斑块区域中包含的异常视差值。

4.根据权利要求3所述的方法，其特征在于，所述预设条件包括预设个数阈值和预设均值阈值，所述判断所述斑块区域是否满足预设条件，包括：

判断所述斑块区域中的像素点的个数是否小于所述预设个数阈值，且所述斑块区域中的视差均值与所述预设均值阈值的差值是否在预设范围内；

若所述斑块区域中的像素点的个数小于所述预设个数阈值，且所述斑块区域中的视差均值与所述预设均值阈值的差值在预设范围内，则确定所述斑块区域满足预设条件；

若所述斑块区域中的像素点的个数大于或等于所述预设个数阈值，和/或，所述斑块区域中的视差均值与所述预设均值阈值的差值未在预设范围内，则确定所述斑块区域未满足预设条件。

5.根据权利要求1所述的方法，其特征在于，所述对所述掩膜图像进行像素替换处理，包括：

根据原始图像确定所述掩膜图像上各像素点对应的相似像素点；所述相似像素点的像素值与对应的所述像素点的像素值之间的差值为最小值；所述原始图像为所述初始视差图对应的灰度图像；

使用各所述相似像素点的视差值对应替换各所述像素点的视差值。

6.根据权利要求5所述的方法，其特征在于，所述根据原始图像确定所述掩膜图像上各像素点对应的相似像素点，包括：

根据所述掩膜图像上各像素点所在位置，在所述原始图像上找到对应位置的各原像素点；

确定所述原始图像上各所述原像素点对应的相似原像素点；所述相似原像素点的像素值与对应的所述原像素点的像素值之间的差值为最小值；

根据各所述相似原像素点的位置，在所述掩膜图像上找到对应位置的各像素点，并将找到的各像素点确定为所述掩膜图像上各像素点对应的相似像素点。

7.根据权利要求6所述的方法，其特征在于，所述确定所述原始图像上各所述原像素点对应的相似原像素点，包括：

以各所述原像素点为中心，确定各所述原像素点在所述原始图像上的搜索范围；

计算所述原像素点与所述搜索范围内其余原像素点之间的像素差值；

将最小的所述像素差值对应的原像素点确定为所述原始图像上所述原像素点对应的相似原像素点。

8.根据权利要求1所述的方法，其特征在于，所述根据所述处理后的掩膜图像确定所述初始视差图上的异常视差值，包括：

对所述处理后的掩膜图像的分辨率进行调整，得到目标掩膜图像；所述目标掩膜图像的分辨率与所述初始视差图的分辨率相同；

将所述目标掩膜图像上被设置为第一值的像素点映射到所述初始视差图上，以及将所述目标掩膜图像上经过视差值替换的像素点映射到所述初始视差图上，得到所述初始视差图上的异常视差值。

9.根据权利要求1所述的方法，其特征在于，所述异常视差值为第一值时，所述对所述初始视差图上的异常视差值进行插值处理，包括：

根据所述异常视差值对应像素点所在位置，确定所述异常视差值对应像素点的邻近区域；

在所述邻近区域内搜索最小的视差值；

使用所述最小的视差值替换所述异常视差值。

10.根据权利要求1所述的方法，其特征在于，所述掩膜图像包括第一掩膜图像和第二掩膜图像，所述第一掩膜图像的分辨率高于所述第二掩膜图像，所述对所述掩膜图像进行斑块处理和替换处理，得到处理后的掩膜图像，包括：

对所述第一掩膜图像进行像素替换处理，得到第一处理掩膜图像；

对所述第二掩膜图像进行斑块处理，得到第二处理掩膜图像；

将所述第一处理掩膜图像和所述第二处理掩膜图像确定为所述处理后的掩膜图像。

11.根据权利要求10所述的方法，其特征在于，所述根据初始视差图确定掩膜图像，包括：

对所述初始视差图进行降采样处理，得到所述第一掩膜图像；

对所述第一掩膜图像进行所述降采样处理，得到所述第二掩膜图像。

12.根据权利要求11所述的方法，其特征在于，所述对所述初始视差图进行降采样处理，得到所述第一掩膜图像，包括：

对所述初始视差图进行高斯模糊处理，得到处理视差图；

对所述处理视差图进行降采样处理，得到所述第一掩膜图像。

13.一种视差图的处理装置，其特征在于，所述装置包括：

第一确定模块，用于通过对初始视差图进行降采样，得到至少一个掩膜图像；

第一处理模块，用于对所述掩膜图像进行斑块处理和像素替换处理，得到处理后的掩膜图像；所述像素替换处理包括使用所述掩膜图像上各像素点对应的相似像素点的视差值替换各所述像素点的视差值；

第二确定模块，用于根据所述处理后的掩膜图像确定所述初始视差图上的异常视差值；

第二处理模块，用于对所述初始视差图上的异常视差值进行插值处理和滤波处理，得到目标视差图。

14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。

Images