CN114693546A - 图像去噪方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请实施例涉及图像处理技术领域，公开了一种图像去噪方法、装置、电子设备和计算机可读存储介质，该方法包括：根据视差图中的像素点在视差匹配计算中对应的最优匹配相似度、次优匹配相似度和第三优匹配相似度，计算像素点对应的匹配置信度；剔除最优匹配相似度小于第一预设阈值和匹配置信度小于第二预设阈值的像素点，得到初步去噪后的视差图；基于两遍扫描法对初步去噪后的视差图进行连通域检测，确定出若干连通域及面积；剔除面积小于第三预设阈值的连通域中的各像素点，得到去噪后的视差图以生成深度图，本申请的实施例提供的图像去噪方法，去噪过程鲁棒稳定，能避免有效深度区域的缺失。

Description

图像去噪方法、装置、电子设备和计算机可读存储介质

技术领域

本申请实施例涉及图像处理技术领域，特别涉及一种图像去噪方法、装置、电子设备和计算机可读存储介质。

背景技术

3D相机可以实时获取物体的深度信息、三维尺寸以及空间信息，深度信息为下游任务提供了基础技术支持，具有广泛的消费级、工业级应用需求，如动作捕捉识别、人脸识别、自动驾驶领域的三维建模、巡航和避障、工业领域的零件扫描检测分拣，安防领域的监控和人数统计等，3D相机的深度成像方案包括单目结构光深度成像系统和双目结构光深度成像系统等，单双目结构光深度成像系统都需要根据拍摄出的图像生成视差图，基于视差图进行深度恢复，从而得到深度图。

为了提高深度图的质量，技术人员需要对得到的深度图进行去噪处理，如采用连通域检测方法对深度图进行去噪，技术人员选择适当的深度值阈值去除深度图中大部分的噪声，但这容易将深度图中某些孤立的小物体错误地认成噪声而剔除掉，造成某些有效深度区域的缺失，即无法实现在去除深度图大面积的噪声区域的同时保留小面积的有效区域，同时，用于去除噪声的深度值阈值并不是稳定、鲁棒的，技术人员在需要动态设置不同的深度值阈值以适应成像距离差异等因素的变化，这增加了深度图去噪过程的时间和成本。

发明内容

本申请实施例的目的在于提供一种图像去噪方法、装置、电子设备和计算机可读存储介质，对深度成像系统生成的视差图进行去噪，其不受成像距离影响，去噪过程鲁棒稳定，并实现在去除大面积的噪声区域的同时保留小面积的有效区域，避免有效深度区域的缺失。

为解决上述技术问题，本申请的实施例提供了一种图像去噪方法，包括以下步骤：根据视差图中的像素点在视差匹配计算中对应的最优匹配相似度、次优匹配相似度和第三优匹配相似度，计算所述像素点对应的匹配置信度；剔除所述最优匹配相似度小于第一预设阈值的像素点和所述匹配置信度小于第二预设阈值的像素点，得到初步去噪后的视差图；基于两遍扫描法对所述初步去噪后的视差图进行连通域检测，确定若干连通域，以及各所述连通域的面积；剔除所述面积小于第三预设阈值的连通域中的各像素点，得到去噪后的视差图，并根据所述去噪后的视差图生成深度图。

本申请的实施例还提供了一种图像去噪装置，包括：计算模块、第一去噪模块、连通域检测模块、第二去噪模块和深度图生成模块；所述计算模块用于根据视差图中的像素点在视差匹配计算中对应的最优匹配相似度、次优匹配相似度和第三优匹配相似度，计算所述像素点对应的匹配置信度；所述第一去噪模块用于剔除所述最优匹配相似度小于第一预设阈值的像素点和所述匹配置信度小于第二预设阈值的像素点，得到初步去噪后的视差图；所述连通域检测模块用于基于两遍扫描法对所述初步去噪后的视差图进行连通域检测，确定若干连通域，以及各所述连通域的面积；所述第二去噪模块用于剔除所述面积小于第三预设阈值的连通域中的各像素点，得到去噪后的视差图；所述深度图生成模块用于根据所述去噪后的视差图生成深度图。

本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的图像去噪方法。

本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像去噪方法。

本申请实施例的图像去噪方法、装置、电子设备和计算机可读存储介质，根据视差图中的像素点在视差匹配计算过程中对应的最优匹配相似度、次优匹配相似度和第三优匹配相似度，计算出该像素点对应的匹配置信度，剔除最优匹配相似度小于第一预设阈值的像素点和匹配置信度小于第二预设阈值的像素点，得到初步去噪后的视差图，随后基于两遍扫描法对初步去噪后的视差图进行连通域检测，确定出若干连通域和各连通域的面积，最后剔除面积小于第三预设阈值的连通域中的各像素点，得到去噪后的视差图，以生成深度图，本申请的实施例，服务器通过对视差图进行去噪的方式来实现对深度图的去噪，由于视差图不受成像距离等因素的影响，去噪时使用的各种阈值不会发生动态变化，整个去噪过程鲁棒、稳定，此外，本申请的视差图去噪方法为两个阶段的去噪，在第二阶段的去噪中采用两遍扫描法进行连通域检测，能够准确地将图像中孤立的小物体和噪声点区分开，实现去除大面积的噪声区域的同时保留小面积的有效区域，避免生成的深度图中有效深度区域的缺失。

另外，所述基于两遍扫描法对所述初步去噪后的视差图进行连通域检测，确定若干连通域，以及各所述连通域的面积，包括：依次将所述初步去噪后的视差图的各像素点作为待划分点，将视差值小于预设的最小视差值和视差值大于预设的最大视差值的待划分点剔除；遍历各所述待划分点，计算当前待划分点的视差值与所述当前待划分点邻域内的各待划分点的视差值之间的差值；根据第四预设阈值和各所述差值，确定所述当前待划分点的像素类别、连通域类别和最终指向的连通域类别；若所述待划分点的连通域类别和最终指向的连通域类别不同，则用所述最终指向的连通域类别替代所述待划分点的连通域类别；再次遍历各所述待划分点，若所述待划分点的像素类别与替代后的连通域类别不同，则用所述替代后的连通域类别替代所述待划分点的像素类别；根据各所述待划分点的替代后的像素类别确定所述初步去噪后的视差图的各连通域，并确定各所述连通域的面积，考虑到在实际情况中，一个连通域内可能会包含若干个小的连通域，只进行一次扫描，使用一种标签的话，很可能会将大的连通域错误的分开，也就不能很好地对噪声点和孤立的小物体区分开，而本申请使用像素类别、连通域类别和最终指向的连通域类别三种标签，对初步去噪后的视差图进行两遍扫描，可以准确、可靠地将视差值相差不大的像素点划分到一个连通域中，做到应分尽分，将噪声点和孤立的小物体区分开，便于后续去除噪声。

另外，所述根据第四预设阈值和各所述当差值，确定所述当前待划分点的像素类别、连通域类别和最终指向的连通域类别，包括：判断各所述差值是否均小于第四预设阈值；若各所述差值均小于第四预设阈值，则分别为所述当前待划分点新建像素类别和连通域类别；其中，新建的像素类别的序号于新建的连通域类别的序号相同；将所述当前待划分点的最终指向的连通域类别确定为所述新建的连通域类别，若当前待划分点与邻域内各待划分点的视差值差异较大，说明该像素点很有可能是噪声点或孤立的小物体，服务器为其新建连通域，将其划分至新建的连通域中去。

另外，在所述判断所述各差值是否均小于第四预设阈值之后，还包括：若至少有一个所述差值大于或等于第四预设阈值，则确定大于或等于第四预设阈值的差值对应的待划分点为所述当前待划分点的连通点，并确定各所述连通点的像素类别序号和连通域类别序号；将各所述连通点中序号最小的像素类别作为所述当前待划分点的像素类别；将各所述连通点中序号最小的连通域类别作为所述当前待划分点的连通域类别，并将各所述连通点的最终指向的连通域类别更新为所述序号最小的连通域类别，若当前待划分点与邻域内某些待划分点的视差值差距不大，说明当前待划分点与这些待划分点实际属于一个连通域，并且这些邻域内的待划分点很可能通过当前待划分点而相互连通，因此本申请还将各连通点的最终指向的连通域类别更新为序号最小的连通域类别，使得相差不大的待划分点尽可能地划分到一个连通域中，使得噪声点和孤立的小物体很好地显现出来。

另外，所述视差图通过以下步骤获得：遍历拍摄的散斑图的像素点，确定所述像素点在预设的参考散斑图中的同名点；计算所述像素点与以所述同名点为中心的预设搜索范围内的各待匹配点的匹配相似度，并确定最优匹配相似度；将所述最优匹配相似度对应的待匹配点的列坐标与所述同名点的列坐标之间的差值，作为所述像素点的整像素视差值；根据所述最优匹配相似度对应的待匹配点和所述最优匹配相似度对应的待匹配点左右两个待匹配点，对所述整像素视差值进行亚像素插值，得到所述像素点的亚像素视差值；根据所述拍摄的散斑图的各像素点的亚像素视差值，生成视差图，本申请选择使用匹配相似度计算和亚像素插值的方式生成视差图，这样的视差图各像素点的视差值是亚像素级别的，更加准确、可靠，符合目标对象、目标场景的真实情况，使得视差图中的噪声天然减少，有助于后续进一步噪声去除任务的进行，进一步提升去噪过程的鲁棒性、稳定性。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是根据本申请的一个实施例的图像去噪方法的流程图；

图2是根据本申请的一个实施例中，基于两遍扫描法对初步去噪后的视差图进行连通域检测，确定若干连通域，以及各连通域的面积的流程图；

图3是根据本申请的一个实施例中，根据第四预设阈值和各差值，确定当前待划分点的像素类别、连通域类别和最终指向的连通域类别的流程图；

图4是根据本申请的一个实施例中提供的一种初步去噪后的视差图；

图5是根据本申请的一个实施例中提供的另一种初步去噪后的视差图；

图6是根据本申请的一个实施例中，获取视差图的流程图；

图7是根据本申请的一个实施例的图像去噪装置的结构示意图；

图8是根据本申请的另一个实施例的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本申请的一个实施例涉及一种图像去噪方法，应用于电子设备，其中，电子设备可以为终端或服务器，本实施例以及以下个各个实施例中电子设备以服务器为例进行说明，下面对本实施例的图像去噪方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本实施例的图像去噪方法的具体流程可以如图1所示，包括：

步骤101，根据视差图中的像素点在视差匹配计算中对应的最优匹配相似度、次优匹配相似度和第三优匹配相似度，计算像素点对应的匹配置信度。

具体而言，服务器可以遍历视差图中的每一个像素点，获取当前像素点在视差匹配计算中对应的最优匹配相似度、次优匹配相似度和第三优匹配相似度，并根据当前像素点在视差匹配计算中对应的最优匹配相似度、次优匹配相似度和第三优匹配相似度，计算该像素点对应的匹配置信度。

在一个例子中，服务器可以获取结构光相机拍摄的散斑图，基于Patch Match(块匹配)算法等视差匹配算法，对拍摄的散斑图和预设的参考散斑图进行视差匹配计算，以确定拍摄的散斑图中每一个像素点的视差值，从而生成视差图。

在一个例子中，服务器根据视差图中的像素点在视差匹配计算中对应的最优匹配相似度、次优匹配相似度和第三优匹配相似度，计算该像素点对应的匹配置信度，可以通过以下公式实现：

式中，S₁为像素点在视差匹配计算中对应的最优匹配相似度，S₂为像素点在视差匹配计算中对应的次优匹配相似度，S₄为像素点在视差匹配计算中对应的第三优匹配相似度，w₁为预设的第一权重，w₂为预设的第二权重，Conf为像素点对应的匹配置信度。

可以理解的是，拍摄的散斑图的噪声点在预设的参考散斑图上其实不存在匹配的点，因此在对噪声点进行视差匹配计算时，计算过程中的最优匹配相似度、次优匹配相似度和第三优匹配相似度相差并不大，依据以上公式计算得到的噪声点的匹配置信度趋近于0，因此匹配置信度可以区分出部分噪声点，同时本申请的实施例在计算匹配置信度时使用第三优匹配相似度，可以排除匹配置信度对有效点中视差过渡点的影响，视差过渡点的最优匹配相似度与次优匹配相似度之间相差不大，但视差过渡点的最优匹配相似度和次优匹配相似度与第三优匹配相似度之间的差距较大，因此计算出的视差过渡点的匹配置信度是大于噪声点的匹配置信度的，这样的匹配置信度可以很好地区分出有效点(包括视差连续点和视差过渡点)和噪声点。

步骤102，剔除最优匹配相似度小于第一预设阈值的像素点和匹配置信度小于第二预设阈值的像素点，得到初步去噪后的视差图。

具体而言，服务器获取到视差图中各像素点对应的最优匹配相似度，并计算出视差图中各像素点对应的匹配置信度后，可以进行初步去噪，剔除最优匹配相似度小于第一预设阈值的像素点和匹配置信度小于第二预设阈值的像素点，得到初步去噪后的视差图，其中，第一预设阈值和第二预设阈值均可以由本领域的技术人员根据实际需要进行设置，本申请的实施例对此不作具体限定，初步去噪后的视差图中会产生大量零星的空洞点，即视差零值点，也就实现了将大面积的噪声区域拆分成零散的微小区域，且微小区域内部也可能存在空洞点，保证了有效区域的完整性，为下一步去噪打下基础。

在一个例子中，服务器可以将最优匹配相似度小于第一预设阈值的像素点的视差值和匹配置信度小于第二预设阈值的像素点的视差值赋值为全局无效值，从而达到剔除最优匹配相似度小于第一预设阈值的像素点和匹配置信度小于第二预设阈值的像素点的目的，其中，全局无效值可以由本领域的技术人员根据实际需要进行设置。

可以理解的是，像素点的最优匹配相似度过小，说明该像素点在预设的参考散斑图中没有特别匹配的点，极有可能是噪声点，同时，有效点(包括视差连续点和视差过渡点)对应的匹配置信度大于噪声点对应的匹配置信度，因此如果像素点对应的匹配置信度过小，说明该像素点为噪声点，服务器剔除最优匹配相似度小于第一预设阈值的像素点和匹配置信度小于第二预设阈值的像素点，从而实现初步去噪。

值得注意的是，视差连续点对应的匹配置信度大于视差过渡点对应的匹配置信度，为了防止误将视差过渡点剔除，第二预设阈值不宜设置过高。

步骤103，基于两遍扫描法对初步去噪后的视差图进行连通域检测，确定若干连通域，以及各连通域的面积。

具体而言，服务器在对视差图进行初步去噪，得到初步去噪后的视差图之后，可以基于两遍扫描法对初步去噪后的视差图进行连通域检测，确定出初步去噪后的视差图中的若干连通域，并确定各连通域的面积(即每个连通域中包含的像素点的个数)。

在具体实现中，常用的连通域检测去噪方法大多采用种子点生长法，即通过判断当前堆栈内种子点的与该种子点的邻域点是否连通，从而进行类别标记并不断刷新种子点，采用这种方法时，堆栈空间的大小是不确定的，所以不适合移植到专用芯片上使用，而本申请的实施例借鉴了二值图像连通域检测中的两遍扫描法，将其修改后移植应用到视差图去噪上，两遍扫描法是要遍历视差图的，因此各种存储空间可以预先开辟好，方便移植到专用芯片上进行使用。

步骤104，剔除面积小于第三预设阈值的连通域中的各像素点，得到去噪后的视差图，并根据去噪后的视差图生成深度图。

在具体实现中，服务器确定出各连通域的面积后，可以判断各连通域的面积是否小于第三预设阈值，服务器剔除面积小于第三预设阈值的连通域中的各像素点，得到去噪后的视差图，并根据去噪后的视差图生成深度图，其中，第三预设阈值可以由本领域的技术人员根据实际需要进行设置，本申请的实施例对此不作具体限定。

在一个例子中，服务器可以将面积小于第三预设阈值的连通域中的各像素点的视差值均赋值为全局无效值，从而实现剔除面积小于第三预设阈值的连通域中的各像素点的目的。

本实施例，相较于使用简单的连通域检测和设置深度值阈值的方式，直接对深度图进行去噪的技术方案而言，服务器先根据视差图中的像素点在视差匹配计算过程中对应的最优匹配相似度、次优匹配相似度和第三优匹配相似度，计算出该像素点对应的匹配置信度，剔除最优匹配相似度小于第一预设阈值的像素点和匹配置信度小于第二预设阈值的像素点，得到初步去噪后的视差图，随后基于两遍扫描法对初步去噪后的视差图进行连通域检测，确定出若干连通域和各连通域的面积，最后剔除面积小于第三预设阈值的连通域中的各像素点，得到去噪后的视差图，以生成深度图，本申请的实施例，服务器通过对视差图进行去噪的方式来实现对深度图的去噪，由于视差图不受成像距离等因素的影响，去噪时使用的各种阈值不会发生动态变化，整个去噪过程鲁棒、稳定，此外，本申请的视差图去噪方法为两个阶段的去噪，在第二阶段的去噪中采用两遍扫描法进行连通域检测，能够准确地将图像中孤立的小物体和噪声点区分开，实现去除大面积的噪声区域的同时保留小面积的有效区域，避免生成的深度图中有效深度区域的缺失。

在一个实施例中，服务器基于两遍扫描法对初步去噪后的视差图进行连通域检测，确定若干连通域，以及各连通域的面积，可以通过如图2所示的各步骤实现，具体包括：

步骤201，依次将初步去噪后的视差图的各像素点作为待划分点，将视差值小于预设的最小视差值和视差值大于预设的最大视差值的待划分点剔除。

具体而言，服务器得到初步去噪后的视差图后，基于两遍扫描法对初步去噪后的视差图进行连通域检测，先开始第一遍扫描，依次将初步去噪后的视差图的各像素点作为待划分点，先将视差值小于预设的最小视差值和视差值大于预设的最大视差值的待划分点剔除在外，以避免其影响正常去噪流程，其中，预设的最小视差值和预设的最大视差值均可以由本领域的工作人员根据实际需要进行设置，本申请的实施例对此不作具体限定。

在一个例子中，服务器可以将视差值小于预设的最小视差值和视差值大于预设的最大视差值的待划分点的视差值设置为全局无效值，以达到剔除该待划分点的目的。

步骤202，遍历各待划分点，计算当前待划分点的视差值与当前待划分点邻域内的各待划分点的视差值之间的差值。

具体而言，在第一遍扫描时，服务器需要遍历各待划分点，计算出当前待划分点的视差值与当前待划分点邻域内的各待划分点的视差值之间的差值。

在一个例子中，当前待划分点邻域内的各待划分点，包括当前待划分点左边的待划分点、当前待划分点左上的待划分点、当前待划分点上边的待划分点、以及当前待划分点右上的待划分点，相较于二值图连通域检测的两遍扫描法，本申请的两遍扫描法选取左边、左上、上边和右上四个点作为连通域检测的基础，可以尽可能地将同一类的像素点划分到一个连通域中，将孤立的噪声点显现出来。

步骤203，根据第四预设阈值和各差值，确定当前待划分点的像素类别、连通域类别和最终指向的连通域类别。

具体而言，服务器计算出当前待划分点的视差值与当前待划分点邻域内的各待划分点的视差值之间的差值后，可以根据第四预设阈值和各差值，确定当前待划分点的像素类别、连通域类别和最终指向的连通域类别，第四预设阈值是一种视差差值阈值，可以由本领域的技术人员根据目标场景中物体表面的起伏程度进行设定，本申请的实施例对此不作具体限定。

在具体实现中，一个连通域内可能会包含若干个小的连通域，只进行一遍扫描，使用一种标签的话，很可能会将大的连通域错误的分开，也就不能很好地对噪声点和孤立的小物体区分开，本申请的实施例在第一遍扫描时，确定出待划分点的像素类别、连通域类别和最终指向的连通域类别三种标签，后续依次对三种标签进行消除替代，从而准确、可靠地将视差值相差不大的像素点划分到一个连通域中，做到应分尽分，将噪声点和孤立的小物体区分开，便于后续去除噪声。

步骤204，若待划分点的连通域类别和最终指向的连通域类别不同，则用最终指向的连通域类别替代待划分点的连通域类别。

具体而言，服务器对初步去噪后的视差图进行第一遍扫描后，可以判断待划分点的连通域类别和最终指向的连通域类别是否相同，若待划分点的连通域类别和最终指向的连通域类别不同，则服务器用最终指向的连通域类别替代待划分点的连通域类别，保证待划分点的连通域类别和最终指向的连通域类别相同，即消除了“最终指向的连通域类别”这个标签。

步骤205，再次遍历各待划分点，若待划分点的像素类别与替代后的连通域类别不同，则用替代后的连通域类别替代待划分点的像素类别。

具体而言，服务器消除了“最终指向的连通域类别”这个标签后，可以对初步去噪后的视差图进行第二遍扫描，再次遍历各待划分点，判断待划分点的像素类别与替代后的连通域类别是否相同，若待划分点的像素类别与替代后的连通域类别不同，服务器则用替代后的连通域类别替代待划分点的像素类别，保证待划分点的像素类别与替代后的连通域类别相同，即消除了“最终指向的连通域类别”这个标签，只剩下“像素类别”这个标签作为连通域划分的依据。

步骤206，根据各待划分点的替代后的像素类别确定初步去噪后的视差图的各连通域，并确定各连通域的面积。

在具体实现中，服务器消除“最终指向的连通域类别”这个标签后，可以根据各待划分点的替代后的像素类别确定初步去噪后的视差图的各连通域，即将像素类别相同的待划分点划分到同一个连通域中去，同时确定该连通域的面积，即该连通域内包含的像素点的个数。

本实施例，考虑到在实际情况中，一个连通域内可能会包含若干个小的连通域，只进行一次扫描，使用一种标签的话，很可能会将大的连通域错误的分开，也就不能很好地对噪声点和孤立的小物体区分开，而本申请使用像素类别、连通域类别和最终指向的连通域类别三种标签，对初步去噪后的视差图进行两遍扫描，可以准确、可靠地将视差值相差不大的像素点划分到一个连通域中，做到应分尽分，将噪声点和孤立的小物体区分开，便于后续去除噪声。

在一个实施例中，服务器根据第四预设阈值和各差值，确定当前待划分点的像素类别、连通域类别和最终指向的连通域类别，可以通过如图3所示的各步骤实现，具体包括：

步骤301，判断各差值是否均小于第四预设阈值，如果是，执行步骤302，否则，执行步骤304。

步骤302，分别为当前待划分点新建像素类别和连通域类别。

步骤303，将当前待划分点的最终指向的连通域类别确定为新建的连通域类别。

具体而言，服务器在根据第四预设阈值和各差值，确定当前待划分点的像素类别、连通域类别和最终指向的连通域类别时，可以判断各差值是否均小于第四预设阈值，如果当前待划分点对应的各差值均小于第四预设阈值，服务器则分别为当前待划分点新建像素类别和连通域类别，并将当前待划分点的最终指向的连通域类别确定为刚刚新建的连通域类别，若当前待划分点与邻域内各待划分点的视差值差异较大，说明该像素点很有可能是噪声点或孤立的小物体，服务器为其新建连通域，将其划分至新建的连通域中去。

在一个例子中，如图4所示，第四预设阈值为2，待划分点A的视差值为4、像素类别为β₁、连通域类别为

最终指向的连通域类别为

待划分点B的视差值为1、像素类别为β₂、连通域类别为

最终指向的连通域类别为

待划分点C的视差值为3、像素类别为β₃、连通域类别为

最终指向的连通域类别为

待划分点D的视差值为7、像素类别为β₄、连通域类别为

最终指向的连通域类别为

当前待划分点为待划分点E，待划分点E的视差值为10，待划分点E的视差值与待划分点A的视差值、待划分点B的视差值、待划分点C的视差值、待划分点D的视差值之间的差值均小于第四预设阈值，服务器为待划分点E新建像素类别为β₅、新建连通域类别为

并确定待划分点E的最终指向的连通域类别为

步骤304，确定大于或等于第四预设阈值的差值对应的待划分点为当前待划分点的连通点，并确定各连通点的像素类别序号和连通域类别序号。

步骤305，将各连通点中序号最小的像素类别作为当前待划分点的像素类别。

步骤306，将各连通点中序号最小的连通域类别作为当前待划分点的连通域类别，并将各连通点的最终指向的连通域类别更新为序号最小的连通域类别。

具体而言，如果当前待划分点对应的各差值中，至少有一个差值大于或等于第四预设阈值，服务器则确定大于或等于第四预设阈值的差值对应的待划分点为当前待划分点的连通点，并确定各连通点的像素类别序号和连通域类别序号，将各连通点中序号最小的像素类别作为当前待划分点的像素类别，将各连通点中序号最小的连通域类别作为当前待划分点的连通域类别，并将各连通点的最终指向的连通域类别更新为序号最小的连通域类别，若当前待划分点与邻域内某些待划分点的视差值差距不大，说明当前待划分点与这些待划分点实际属于一个连通域，并且这些邻域内的待划分点很可能通过当前待划分点而相互连通，因此本申请还将各连通点的最终指向的连通域类别更新为序号最小的连通域类别，使得相差不大的待划分点尽可能地划分到一个连通域中，使得噪声点和孤立的小物体很好地显现出来。

在一个例子中，如图5所示，第四预设阈值为2，待划分点J的视差值为4、像素类别为β₁、连通域类别为

最终指向的连通域类别为

待划分点K的视差值为1、像素类别为β₂、连通域类别为

最终指向的连通域类别为

待划分点L的视差值为3、像素类别为β₃、连通域类别为

最终指向的连通域类别为

待划分点M的视差值为7、像素类别为β₄、连通域类别为

最终指向的连通域类别为

当前待划分点为待划分点N，待划分点N的视差值为10，待划分点N的视差值与待划分点J的视差值之间的差值小于第四预设阈值，待划分点N的视差值与待划分点L的视差值之间的差值小于第四预设阈值，待划分点N的视差值与待划分点M的视差值之间的差值小于第四预设阈值，即待划分点J、待划分点L和待划分点M与待划分点N连通，待划分点J的像素类别序号和连通域类别序号是这三个连通点中最小的，因此服务器确定待划分点N的像素类别为β₁、连通域类别为

最终指向的连通域类别为

并将待划分点L最终指向的连通域类别和待划分点M最终指向的连通域类别更新为

在一个实施例中，服务器可以通过如图6所示的各步骤获取视差图：

步骤401，遍历拍摄的散斑图的像素点，确定像素点在预设的参考散斑图中的同名点。

具体而言，服务器在对拍摄的散斑图和预设的参考散斑图进行视差匹配计算时，可以遍历拍摄的散斑图的像素点，确定像素点在预设的参考散斑图中的同名点，像素点与像素点在预设的参考散斑图中的同名点的位置坐标相同。

步骤402，计算像素点与以同名点为中心的预设搜索范围内的各待匹配点的匹配相似度，并确定最优匹配相似度。

具体而言，服务器在预设的参考散斑图中找到像素点的同名点后，可以计算像素点与以同名点为中心的预设搜索范围内的各待匹配点的匹配相似度，并确定最优匹配相似度，其中，预设搜索范围可以由本领域的技术人员根据实际需要进行设置，本申请的实施例对此不作具体限定。

步骤403，将最优匹配相似度对应的待匹配点的列坐标与同名点的列坐标之间的差值，作为像素点的整像素视差值。

具体而言，服务器确定像素点对应的最优匹配相似度后，可以将最优匹配相似度对应的待匹配点的列坐标与同名点的列坐标之间的差值，作为像素点的整像素视差值。

步骤404，根据最优匹配相似度对应的待匹配点和最优匹配相似度对应的待匹配点左右两个待匹配点，对整像素视差值进行亚像素插值，得到像素点的亚像素视差值。

在具体实现中，由于匹配相似度计算都是以整像素点为单位计算的，而实际上像素点的最优匹配点可能位于两个待匹配点之间，因此服务器可以根据最优匹配相似度对应的待匹配点和最优匹配相似度对应的待匹配点左右两个待匹配点，对整像素视差值进行亚像素插值，得到像素点的亚像素视差值，亚像素级别的视差值更加准确、可靠，符合目标对象、目标场景的真实情况。

步骤405，根据拍摄的散斑图的各像素点的亚像素视差值，生成视差图。

本实施例，选择使用匹配相似度计算和亚像素插值的方式生成视差图，这样的视差图各像素点的视差值是亚像素级别的，更加准确、可靠，符合目标对象、目标场景的真实情况，使得视差图中的噪声天然减少，有助于后续进一步噪声去除任务的进行，进一步提升去噪过程的鲁棒性、稳定性。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本申请的另一个实施例涉及一种图像去噪装置，下面对本实施例的图像去噪装置的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的图像去噪装置的示意图可以如图7所示，包括：计算模块501、第一去噪模块502、连通域检测模块503、第二去噪模块504和深度图生成模块505。

计算模块501用于根据视差图中的像素点在视差匹配计算中对应的最优匹配相似度、次优匹配相似度和第三优匹配相似度，计算像素点对应的匹配置信度。

第一去噪模块502用于剔除最优匹配相似度小于第一预设阈值的像素点和匹配置信度小于第二预设阈值的像素点，得到初步去噪后的视差图。

连通域检测模块503用于基于两遍扫描法对初步去噪后的视差图进行连通域检测，确定若干连通域，以及各连通域的面积。

第二去噪模块504用于剔除面积小于第三预设阈值的连通域中各像素点，得到去噪后的视差图。

深度图生成模块505用于根据去噪后的视差图生成深度图。

值得一提的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本申请的创新部分，本实施例中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。

本申请另一个实施例涉及一种电子设备，如图8所示，包括：至少一个处理器601；以及，与所述至少一个处理器601通信连接的存储器602；其中，所述存储器602存储有可被所述至少一个处理器601执行的指令，所述指令被所述至少一个处理器601执行，以使所述至少一个处理器601能够执行上述各实施例中的图像去噪方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本申请另一个实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (10)

1.一种图像去噪方法，其特征在于，包括：

根据视差图中的像素点在视差匹配计算中对应的最优匹配相似度、次优匹配相似度和第三优匹配相似度，计算所述像素点对应的匹配置信度；

剔除所述最优匹配相似度小于第一预设阈值的像素点和所述匹配置信度小于第二预设阈值的像素点，得到初步去噪后的视差图；

基于两遍扫描法对所述初步去噪后的视差图进行连通域检测，确定若干连通域，以及各所述连通域的面积；

剔除所述面积小于第三预设阈值的连通域中的各像素点，得到去噪后的视差图，并根据所述去噪后的视差图生成深度图。

2.根据权利要求1所述的图像去噪方法，其特征在于，所述基于两遍扫描法对所述初步去噪后的视差图进行连通域检测，确定若干连通域，以及各所述连通域的面积，包括：

依次将所述初步去噪后的视差图的各像素点作为待划分点，将视差值小于预设的最小视差值和视差值大于预设的最大视差值的待划分点剔除；

遍历各所述待划分点，计算当前待划分点的视差值与所述当前待划分点邻域内的各待划分点的视差值之间的差值；

根据第四预设阈值和各所述差值，确定所述当前待划分点的像素类别、连通域类别和最终指向的连通域类别；

若所述待划分点的连通域类别和最终指向的连通域类别不同，则用所述最终指向的连通域类别替代所述待划分点的连通域类别；

再次遍历各所述待划分点，若所述待划分点的像素类别与替代后的连通域类别不同，则用所述替代后的连通域类别替代所述待划分点的像素类别；

根据各所述待划分点的替代后的像素类别确定所述初步去噪后的视差图的各连通域，并确定各所述连通域的面积。

3.根据权利要求2所述的图像去噪方法，其特征在于，所述根据第四预设阈值和各所述差值，确定所述当前待划分点的像素类别、连通域类别和最终指向的连通域类别，包括：

判断各所述差值是否均小于第四预设阈值；

若各所述差值均小于第四预设阈值，则分别为所述当前待划分点新建像素类别和连通域类别；其中，新建的像素类别的序号于新建的连通域类别的序号相同；

将所述当前待划分点的最终指向的连通域类别确定为所述新建的连通域类别。

4.根据权利要求3所述的图像去噪方法，其特征在于，在所述判断所述各差值是否均小于第四预设阈值之后，还包括：

若至少有一个所述差值大于或等于第四预设阈值，则确定大于或等于第四预设阈值的差值对应的待划分点为所述当前待划分点的连通点，并确定各所述连通点的像素类别序号和连通域类别序号；

将各所述连通点中序号最小的像素类别作为所述当前待划分点的像素类别；

将各所述连通点中序号最小的连通域类别作为所述当前待划分点的连通域类别，并将各所述连通点的最终指向的连通域类别更新为所述序号最小的连通域类别。

5.根据权利要求1至4中任一项所述的图像去噪方法，其特征在于，所述当前待划分点邻域内的各待划分点，包括：所述当前待划分点左边的待划分点、所述当前待划分点左上的待划分点、所述当前待划分点上边的待划分点、以及所述当前待划分点右上的待划分点。

6.根据权利要求1至4中任一项所述的图像去噪方法，其特征在于，所述视差图通过以下步骤获得：

遍历拍摄的散斑图的像素点，确定所述像素点在预设的参考散斑图中的同名点；

计算所述像素点与以所述同名点为中心的预设搜索范围内的各待匹配点的匹配相似度，并确定最优匹配相似度；

将所述最优匹配相似度对应的待匹配点的列坐标与所述同名点的列坐标之间的差值，作为所述像素点的整像素视差值；

根据所述最优匹配相似度对应的待匹配点和所述最优匹配相似度对应的待匹配点左右两个待匹配点，对所述整像素视差值进行亚像素插值，得到所述像素点的亚像素视差值；

根据所述拍摄的散斑图的各像素点的亚像素视差值，生成视差图。

7.根据权利要求1至4中任一项所述的图像去噪方法，其特征在于，通过以下公式，根据视差图中的像素点在视差匹配计算中对应的最优匹配相似度、次优匹配相似度和第三优匹配相似度，计算所述像素点对应的匹配置信度：

其中，S₁为所述像素点在所述视差匹配计算中对应的最优匹配相似度，S₂为所述像素点在所述视差匹配计算中对应的次优匹配相似度，S₃为所述像素点在所述视差匹配计算中对应的第三优匹配相似度，w₁为预设的第一权重，w₂为预设的第二权重，Conf为所述像素点对应的匹配置信度。

8.一种图像去噪装置，其特征在于，所述装置包括计算模块、第一去噪模块、连通域检测模块、第二去噪模块和深度图生成模块；

所述计算模块用于根据视差图中的像素点在视差匹配计算中对应的最优匹配相似度、次优匹配相似度和第三优匹配相似度，计算所述像素点对应的匹配置信度；

所述第一去噪模块用于剔除所述最优匹配相似度小于第一预设阈值的像素点和所述匹配置信度小于第二预设阈值的像素点，得到初步去噪后的视差图；

所述连通域检测模块用于基于两遍扫描法对所述初步去噪后的视差图进行连通域检测，确定若干连通域，以及各所述连通域的面积；

所述第二去噪模块用于剔除所述面积小于第三预设阈值的连通域中的各像素点，得到去噪后的视差图；

所述深度图生成模块用于根据所述去噪后的视差图生成深度图。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的图像去噪方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的图像去噪方法。

Images