CN109636748B - 一种深度图像的去噪方法、装置和电子设备 - Google Patents

Abstract

本发明公开了一种深度图像的去噪方法、装置和电子设备，方法包括：对获取的当前帧，根据该当前帧的深度信息以及红外信息判断是否满足更新条件，其中，当前帧包括第二帧或第二帧以后的各帧；如果满足更新条件，则更新深度图像和红外图像的像素点；对更新后的深度图像进行边缘检测，计算边缘权重，并根据所述边缘权重对深度图像进行滤波，得到滤波后的深度图像。由此，加入了红外信息作为深度信息的更新条件，充分的利用了IR图像和深度图像信息相关且噪声之间的不相关的特点，提高了噪声的识别几率，保证了去噪效果。

Description

一种深度图像的去噪方法、装置和电子设备

技术领域

本发明涉及图像处理技术领域，具体涉及一种深度图像的去噪方法、装置和电子设备。

背景技术

由于深度摄像机的信噪比不高,所以深度视觉传感器输出的深度值并不准确,并含有大量噪声,为了解决这一问题，现有技术多采用基于深度图像的二维滤波或者三维滤波，这种二维或三维技术对深度图像的滤波效果差，不能满足需求。

发明内容

本发明提供了一种深度图像的去噪方法、装置和电子设备，抑制了噪声保证了滤波效果，并且相比较传统的边缘检测方法对噪声不敏感。

根据本申请的一个方面，提供了一种深度图像的去噪方法，包括：

对获取的当前帧，根据该当前帧的深度信息以及红外信息判断是否满足更新条件，其中，当前帧包括第二帧或第二帧以后的各帧；

如果满足更新条件，则更新深度图像和红外图像的像素点；

对更新后的深度图像进行边缘检测，计算边缘权重，并根据所述边缘权重对深度图像进行滤波，得到滤波后的深度图像。

根据本申请的另一个方面，提供了一种深度图像的去噪装置，包括：

更新判断单元，对获取的当前帧，根据该当前帧的深度信息以及红外信息判断是否满足更新条件，其中，当前帧包括第二帧或第二帧以后的各帧；

更新单元，用于在满足更新条件时更新深度图像和红外图像的像素点；

滤波单元，用于对更新后的深度图像进行边缘检测，计算边缘权重，并根据所述边缘权重对深度图像进行滤波，得到滤波后的深度图像。

根据本申请的又一个方面，提供了一种电子设备，电子设备包括：存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的程序指令，所述程序指令被所述处理器执行时能够实现本申请一个方面所述的方法。

应用本实施例的深度图像的去噪方案，对获取的当前帧，根据该当前帧的深度信息以及红外信息判断是否满足更新条件，如果满足更新条件，则更新深度图像和红外图像的像素点，然后对更新后的深度图像进行边缘检测，计算边缘权重，并对深度图像进行滤波得到滤波后的深度图像。由此，利用红外图像和深度图像进行双向更新，充分利用了红外图像和深度图像之间，信息相关(即，红外图像和深度图像由同一个CMOS图像传感器产生，两图像的像素表现的图像点是同一个)且噪声之间的不相关性(即，深度图像的噪声与红外图像的噪声之间不相关)提高准确识别出深度图像上噪声的概率，进而提高了深度图像的去噪效果，满足了需求，另外，利用红外图像噪声和深度图像噪声的非相关性对深度图像的像素点进行更新可以一定程度上减少深度图噪声对深度图本身的影响，保留深度图细节。

附图说明

图1是本申请一个实施例的深度图像的去噪方法的流程图；

图2是本申请一个实施例的深度图像的去噪方法的流程示意图；

图3是图2中的滤波的示意图；

图4是本申请一个实施例的深度图像的去噪装置的框图；

图5是本申请一个实施例的电子设备的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于现有的深度图像降噪和滤波技术并没有充分利用红外辐射IR(InfraredRadiation)图像的信息，而且深度图像的噪声和IR图像的噪声具有非相关性,利用IR图像的信息，可以进一步的增强对深度图像的滤波效果，并且保护细节。IR图像和深度图像的噪声在时域上具有极大的随机非相关性。基于此，本发明实施例利用IR图和深度图在信息上相关且在噪声上的非相关性来互相去除噪声，并利用IR图像和深度图像进行双向更新的四维(即，二维空间，时间，红外深度)滤波，提高去噪效果。

图1是本申请一个实施例的深度图像的去噪方法的流程图，参见图1，本实施例的深度图像的去噪方法包括：

步骤S101，对获取的当前帧，根据该当前帧的深度信息以及红外信息判断是否满足更新条件，其中，当前帧包括第二帧或第二帧以后的各帧；

步骤S102，如果满足更新条件，则更新深度图像和红外图像的像素点；

步骤S103，对更新后的深度图像进行边缘检测，计算边缘权重，并根据所述边缘权重对深度图像进行滤波，得到滤波后的深度图像。

由图1所示可知，本实施例的深度图像的去噪方法，引入红外图像的红外信息作为深度图更新条件之一，判断是否对深度图像进行更新同样的，将深度图信息作为红外图像更新条件，确定是否对红外图像进行更新，由此，利用红外图和深度图产生自同一个图像传感器，代表的图像点为同一个的高度信息相关性以及两图像噪声的不相关，准确识别深度图像上的噪声，由于噪声识别是噪声滤波和消除的基础，所以，本实施例提高噪声识别的准确度进而增强深度图像的滤波效果，并且由于两个高斯白噪声的不相关性，对深度图进行以深度图为参考的帧间比较时深度图噪声进入统计，利用红外图噪声和深度图噪声的非相关性对深度图进行更新减少了深度图噪声对深度图本身的影响，保护了细节。

以下结合图2和图3对本发明实施例的深度图像的去噪方法的实现步骤进行说明。

参见图2，流程开始执行步骤S201，深度图像和红外图像初始化；

本实施例中，对深度以及红外图像进行初始化，初始化过程中加入了红外信息对深度信息的更新条件，也就是说，利用红外图信息确定是否对深度图进行更新，利用深度图信息确定是否对红外图像进行更新。

步骤S202，是否第一帧，

对获取的当前帧判断是否为第一帧，如果是第一帧，则将第一帧作为基准帧后直接保存，转入执行步骤S208，如果不是第一帧，比如是第二帧或第二帧以后的各帧，则执行步骤S203，

步骤S203，存储为T帧；

对于第二帧以及以后的各帧，将收到的当前帧存储为第T帧。

步骤S204，开始遍历全图比较T和T-1帧；

比较是为了区分图像中的噪声和数据，一般的，如果是噪声，那么相邻的两帧图像中同一像素点的差距较小，而如果是数据那么差距将较大，基于此，本实施例中对当前帧的红外图和深度图以及前一帧的红外图和深度图进行对应比较。

步骤S205，是否满足更新条件；

根据当前帧的深度信息以及红外信息判断是否满足更新条件，比如，将当前帧的红外图像上的像素点与前一帧的红外图像上对应的像素点进行比较；以及将当前帧的深度图像上的像素点与前一帧的深度图像上对应的像素点进行比较；如果相邻两帧红外图像上像素点的差距以及相邻两帧深度图像上像素点的差距大于或等于更新阈值，则确定满足更新条件。由此利用了两个高斯白噪声中白噪声的互相独立和随机的特点来识别和去除深度图和IR图的噪声。

具体的，将当前帧的红外图像上的像素点与前一帧的红外图像上对应的像素点进行比较包括通过下式计算像素点的差距：IR(x,y,t)-IR(x,y,t-1)，其中IR表示红外图像，x，y和t分别表示像素点的横坐标，纵坐标和时间坐标；将当前帧的深度图像上的像素点与前一帧的深度图像上对应的像素点进行比较包括通过下式计算像素点的差距：D(x,y,t)-D(x,y,t-1)，其中D表示深度图像，x，y和t分别表示像素点的横坐标，纵坐标和时间坐标，判断IR(x,y,t)-IR(x,y,t-1)以及D(x,y,t)-D(x,y,t-1)是否均大于或是否均等于更新阈值，是则确定满足更新条件；即，如果IR(x,y,t)-IR(x,y,t-1)大于更新阈值且D(x,y,t)-D(x,y,t-1)大于更新阈值，则确定满足更新条件。或者，IR(x,y,t)-IR(x,y,t-1)大于更新阈值且D(x,y,t)-D(x,y,t-1)等于更新阈值，则确定满足更新条件。

由此可知，本实施例中，如果红外图像上像素点的横坐标、纵坐标和时间坐标与前一帧红外图像上同一像素点的横坐标、纵坐标和时间坐标的差距大于更新阈值th，或者等于更新阈值th，则根据这一比较结果确定对深度图上的像素点进行更新。同理，如果深度图像上像素点的横坐标、纵坐标和时间坐标与前一帧深度图像上同一像素点的横坐标、纵坐标和时间坐标的差距大于更新阈值th，或者等于更新阈值th，则根据这一比较结果确定对红外图上的像素点进行更新，这样基于IR图像结合深度图像进行双向更新，利用了两个高斯白噪声中白噪声的互相独立且随机的特点在一定程度上减少了深度图噪声对深度图本身的影响，保证了滤波效果。需要说明的是，这里的更新阈值可以相同也可以不同，应根据具体情况和要求确定。

是则，执行步骤S206，更新相应深度和红外像素。

对于第一帧或者对于后续各帧中满足前述更新条件的深度图像或红外图像，本实施例中，利用前一帧红外图像的像素点更新当前帧红外图像上对应的像素点，并利用前一帧深度图像上的像素点更新当前帧深度图像上对应的像素点。

如果步骤S205中判断结果为不满足更新条件，则执行步骤S207。

步骤S207，深度图像边缘检测

本步骤中，对深度图像进行边缘检测，计算边缘权重，例如通过下述公式计算边缘权重：

其中，E表示边缘强度，x，y代表横纵坐标，x_i，y_i代表以x，y为中心且大小为a*b的窗口内的最大值或最小值为中心的子窗口的坐标；

D(x_i,y_i)∈D_a,b_min

D(x_i,y_i)∈D_a,b_max

分别为在窗口a和b中的最小值和最大值。

至此利用深度图像和红外图像的统计信息(即，对深度图进行以深度图为参考的帧间比较时深度图噪声进入统计)完成对深度图像边缘平滑的判断。

步骤S208，滤波，

关于滤波的具体步骤，参见图3，对于深度图，执行步骤S301，开始遍历全图比较T至T-n帧；

也就是说，针对当前帧深度图像，遍历T至T-n帧深度图像，其中T帧为当前帧，n的取值为大于或等于1且小于T，比如n取2，T取4，那么该步骤中将遍历第四帧，第三帧。

步骤S302，是否满足窗口条件；

具体的，判断当前帧深度图像上满足窗口条件(窗口里每一个点与窗口的中心点比较)的像素点的个数占当前遍历窗口内(即属于x，y，t)所有像素点的个数的比值(比如百分比)是否大于设定阈值。是则执行步骤S303，否则执行步骤S304。

步骤S303，计算具有边缘权重的加权平均；

根据步骤S302的判断结果，如果比值大于设定阈值，则根据计算出的边缘权重以及相应的横坐标窗口a，纵坐标窗口b，时间坐标窗口c内满足深度值窗口d的候选滤波点的个数计算滤波后对应的横坐标，纵坐标和时间坐标，得到滤波后的深度图像。比如，通过下列公式对像素点进行滤波：

其中，IR’和D’分别表示滤波后的红外图像和深度图像，x’_a，y’_b，t’_c，分别表示横坐标窗口为a，纵坐标窗口为b,时间坐标窗口为c,深度值窗口为d的均值滤波后像素点对应的横坐标，纵坐标，时间坐标。而a_d，b_d，c_d，分别代表在相应的横坐标，纵坐标，时间坐标窗口内满足深度值窗口d的候选滤波点的个数。

步骤S304，取上一帧或窗口内与相邻的像素点差距最小的值。

步骤S302的判断结果，如果比值不大于设定阈值则本实施例中取上一帧中或当前遍历窗口内与相邻的像素点的差距最小的像素值，从而得到对当前像素点滤波后的像素值。当前遍历窗口即(x，y，t)。

之后进入步骤S305，得到滤波后的深度图像。

至此，本实施例在传统二维滤波的基础上提出了四维(横纵坐标、时间、红外深度)坐标系滤波方法，该方法利用IR图和深度图噪声的非相关性来互相去除噪声，并进行双向更新滤波。利用深度图像和红外图像的边缘信息对深度图像边缘的保护。

图4是本申请一个实施例的深度图像的去噪装置的框图，参见图4，本实施例的深度图像的去噪装置400包括：

更新判断单元401，用于对获取的当前帧，根据该当前帧的深度信息以及红外信息判断是否满足更新条件，其中，当前帧包括第二帧或第二帧以后的各帧；

更新单元402，用于在满足更新条件时更新深度图像和红外图像的像素点；

滤波单元403，用于对更新后的深度图像进行边缘检测，计算边缘权重，并根据所述边缘权重对深度图像进行滤波，得到滤波后的深度图像。

在本发明的一个实施例中，更新判断单元401具体用于将当前帧的红外图像上的像素点与前一帧的红外图像上对应的像素点进行比较；将当前帧的深度图像上的像素点与前一帧的深度图像上对应的像素点进行比较；如果相邻两帧红外图像上像素点的差距以及相邻两帧深度图像上像素点的差距大于或等于更新阈值，则确定满足更新条件。

在本发明的一个实施例中，更新单元402具体用于利用前一帧红外图像的像素点更新当前帧红外图像上对应的像素点，并利用前一帧深度图像上的像素点更新当前帧深度图像上对应的像素点。

在本发明的一个实施例中更新判断单元401具体用于通过下式计算像素点的差距：IR(x,y,t)-IR(x,y,t-1)，其中IR表示红外图像，x，y和t分别表示像素点的横坐标，纵坐标和时间坐标；

将当前帧的深度图像上的像素点与前一帧的深度图像上对应的像素点进行比较包括通过下式计算像素点的差距：D(x,y,t)-D(x,y,t-1)，其中D表示深度图像，x，y和t分别表示像素点的横坐标，纵坐标和时间坐标；

判断IR(x,y,t)-IR(x,y,t-1)以及D(x,y,t)-D(x,y,t-1)是否均大于或是否均等于更新阈值，是则确定满足更新条件。

在本发明的一个实施例中，滤波单元403，具体用于针对当前帧深度图像，遍历T至T-n帧深度图像，并判断当前帧深度图像上满足窗口条件的像素点的个数占当前遍历窗口内所有像素点的个数的比值是否大于设定阈值，其中T帧为当前帧，n的取值为大于或等于1且小于T；如果比值大于设定阈值，则根据计算出的边缘权重以及相应的横坐标窗口a，纵坐标窗口b，时间坐标窗口c内满足深度值窗口d的候选滤波点的个数计算滤波后像素点对应的横坐标，纵坐标和时间坐标，得到滤波后的深度图像。

在本发明的一个实施例中，滤波单元403，还用于如果比值不大于设定阈值，则取上一帧深度图像上或当前遍历窗口内与相邻的像素点差距最小的像素值，得到对当前像素点滤波后的像素值，进而得到滤波后的深度图像。

在本发明的一个实施例中，装置400还包初始化单元，用于对获取的第一帧深度图像和红外图像进行初始化，包括对第一帧深度图像和第一帧红外图像进行包括横纵坐标空间窗口而不包括时间窗口的空间滤波并保存。

综上所述，本发明实施例的深度图像的去噪方法和装置，充分利用了IR图像和深度图像噪声之间的不相关性。在二维空间的基础上加入了深度值和时间轴的判断，进一步去除了噪声。而且，不仅对深度值本身进行了滤波，对相应的横坐标，纵坐标，以及对时间序列中的时刻都进行了滤波，增强了滤波效果。此外，在对深度图像滤波的过程中，利用红外图噪声和深度图噪声的非相关性对深度图进行更新一定程度上减少了深度图噪声对深度图本身的影响，对深度图像本身的边缘进行了保留，并且相比较传统的边缘检测方法对噪声不敏感。

图5是本发明一个实施例的电子设备的结构示意图。如图5所示，该电子设备包括存储器501和处理器502，存储器501和处理器502之间通过内部总线503通讯连接，存储器501存储有能够被处理器502执行的程序指令，程序指令被处理器502执行时能够实现上述的深度图像的去噪方法。

此外，上述的存储器501中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明的另一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围以权利要求的保护范围为准。

Claims (7)

1.一种深度图像的去噪方法，其特征在于，包括：

对获取的当前帧，根据该当前帧的深度信息以及红外信息判断是否满足更新条件，其中，当前帧包括第二帧或第二帧以后的各帧；

如果满足更新条件，则更新深度图像和红外图像的像素点；

对更新后的深度图像进行边缘检测，计算边缘权重，并根据所述边缘权重对深度图像进行滤波，得到滤波后的深度图像，其中根据该当前帧的深度信息以及红外信息判断是否满足更新条件包括：

如果当前帧的红外图像上的像素点的横坐标、纵坐标和时间坐标与前一帧的红外图像上对应的同一像素点的横坐标、纵坐标和时间坐标的差距大于或等于更新阈值，则确定对深度图像上的像素点进行更新；以及，如果当前帧的深度图像上的像素点的横坐标、纵坐标和时间坐标与前一帧的深度图像上对应的同一像素点的横坐标、纵坐标和时间坐标的差距大于或等于更新阈值，则确定对红外图像上的像素点进行更新。

2.根据权利要求1所述的方法，其特征在于，将当前帧的红外图像上的像素点与前一帧的红外图像上对应的像素点进行比较包括通过下式计算像素点的差距：IR(x,y,t)-IR(x,y,t-1)，其中IR表示红外图像，x，y和t分别表示像素点的横坐标，纵坐标和时间坐标；

将当前帧的深度图像上的像素点与前一帧的深度图像上对应的像素点进行比较包括通过下式计算像素点的差距：D(x,y,t)-D(x,y,t-1)，其中D表示深度图像，x，y和t分别表示像素点的横坐标，纵坐标和时间坐标；所述更新深度图像和红外图像的像素点包括：

如果IR(x,y,t)-IR(x,y,t-1)大于或等于更新阈值，则确定对深度图像上的像素点进行更新；

如果D(x,y,t)-D(x,y,t-1)大于或等于更新阈值，则确定对红外图像上的像素点进行更新。

3.根据权利要求1所述的方法，其特征在于，所述根据边缘权重对深度图像进行滤波，得到滤波后的深度图像包括：

针对当前帧深度图像，遍历T至T-n帧深度图像，并判断当前帧深度图像上满足窗口条件的像素点的个数占当前遍历窗口内所有像素点的个数的比值是否大于设定阈值，其中T帧为当前帧，n的取值为大于或等于1且小于T；

如果比值大于设定阈值，则根据计算出的边缘权重以及相应的横坐标窗口a，纵坐标窗口b，时间坐标窗口c内满足深度值窗口d的候选滤波点的个数计算滤波后像素点对应的横坐标，纵坐标和时间坐标，得到滤波后的深度图像。

4.根据权利要求3所述的方法，其特征在于，如果比值不大于设定阈值，则取上一帧深度图像上或当前遍历窗口内与相邻的像素点差距最小的像素值，得到对当前像素点滤波后的像素值，进而得到滤波后的深度图像。

5.根据权利要求1所述的方法，其特征在于，该方法还包括：对获取的第一帧深度图像和红外图像进行初始化，包括对第一帧深度图像和第一帧红外图像进行包括横纵坐标空间窗口而不包括时间窗口的空间滤波并保存。

6.一种深度图像的去噪装置，其特征在于，包括：

更新判断单元，对获取的当前帧，根据该当前帧的深度信息以及红外信息判断是否满足更新条件，其中，当前帧包括第二帧或第二帧以后的各帧；

更新单元，用于在满足更新条件时更新深度图像和红外图像的像素点；

滤波单元，用于对更新后的深度图像进行边缘检测，计算边缘权重，并根据所述边缘权重对深度图像进行滤波，得到滤波后的深度图像，其中所述更新判断单元，具体用于如果当前帧的红外图像上的像素点的横坐标、纵坐标和时间坐标与前一帧的红外图像上对应的同一像素点的横坐标、纵坐标和时间坐标的差距大于或等于更新阈值，则确定对深度图像上的像素点进行更新；以及，如果当前帧的深度图像上的像素点的横坐标、纵坐标和时间坐标与前一帧的深度图像上对应的同一像素点的横坐标、纵坐标和时间坐标的差距大于或等于更新阈值，则确定对红外图像上的像素点进行更新。

7.一种电子设备，其特征在于，所述电子设备包括：存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的程序指令，所述程序指令被所述处理器执行时能够实现权利要求1-5任一项所述的方法。

Images