CN111696057A - 一种深度图像去噪方法及装置 - Google Patents
一种深度图像去噪方法及装置 Download PDFInfo
- Publication number
- CN111696057A CN111696057A CN202010450335.9A CN202010450335A CN111696057A CN 111696057 A CN111696057 A CN 111696057A CN 202010450335 A CN202010450335 A CN 202010450335A CN 111696057 A CN111696057 A CN 111696057A
- Authority
- CN
- China
- Prior art keywords
- pixel point
- depth image
- depth
- current pixel
- connected domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种深度图像去噪方法及装置，能够在对深度图像进行去噪的过程中，充分利用像素点的深度信息，从而针对不同场景的深度图像，具有更强的鲁棒性。方法包括：基于当前像素点的深度信息计算连通域阈值，所述当前像素点为遍历深度图像的过程中，未被访问过的像素点；基于所述连通域阈值得到所述深度图像的多个连通域；获取各所述连通域的像素个数的排名；将处于预设排名的像素个数确定为所述深度图像的面积阈值；从所述多个连通域中去除像素个数小于所述面积阈值的连通域。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种深度图像去噪方法及装置。
背景技术
相比传统的灰度图像，深度图像具有物体的三维特征信息，三维特征信息能够有效地刻画现实世界中物体的几何位置结构信息，这是传统的灰度图像数据无法比拟的，因此深度图像在计算机视觉研究与应用领域中都具有重要的地位。近年来随着科学技术的不断发展和深度图像获取手段的不断普及，关于深度图像的应用逐渐成为一个研究热点，如目标检测、目标识别和场景重建等中的应用。然而，无论是通过视差模型计算得到的深度图像的深度数据，还是利用结构光技术或者飞行时间测距技术获取的深度数据都不能直接用于应用。因为这些初始的深度数据存在很大的噪声，这些噪声除了传统常规的高斯噪声外，还包含大量的非高斯噪声，例如背景飞点、椒盐噪声等。由于深度数据的应用场景越来越多，如何去除深度数据的噪声，进而提升深度数据的质量具有重要的意义。
现有方案提出了一种深度图像去噪方法，主要流程是：利用中值滤波器获取中值数据，进而与原始数据进行比较以获取残差数据，最后利用奇异点检测模板获得重构后的深度数据。
然而，现有方案在获取中值数据的过程中，依赖于搜索窗口的大小，针对不同场景的深度数据，鲁棒性不足。
发明内容
本发明实施例提供一种深度图像去噪方法及装置，用以解决现有技术中针对不同场景的深度数据，鲁棒性不足的问题。
本发明实施例提供一种深度图像去噪方法，包括：
基于当前像素点的深度信息计算连通域阈值，所述当前像素点为遍历深度图像的过程中，未被访问过的像素点；
基于所述连通域阈值得到所述深度图像的多个连通域；
按照大小对各所述连通域的像素个数进行排序，得到排序结果；
将所述排序结果中处于预设排名位置处的像素个数确定为所述深度图像的面积阈值；
从所述多个连通域中去除像素个数小于所述面积阈值的连通域。
可选地，所述基于当前像素点的深度信息计算连通域阈值，包括：
基于当前像素点的深度值、所述深度图像对应的相机的焦距以及所述相机的基线计算连通域阈值。
可选地，所述基于当前像素点的深度值、所述深度图像对应的相机的焦距以及所述相机的基线计算连通域阈值，包括：
通过如下表达式计算连通域阈值：
式中，depththreshold表示当前像素点对应的连通域阈值，[r][c]表示当前像素点，depth[r][c]表示当前像素点的深度值，F表示所述深度图像对应的相机的焦距，L表示所述相机的基线。
可选地，所述基于所述连通域阈值得到所述深度图像的深度数据的多个连通域，包括：
步骤1、将任一所述当前像素点压入队列；
步骤2、获取所述当前像素点的第一深度值，及获取所述当前像素点的邻域内的各像素点的第二深度值；
步骤3、若所述邻域内存在所述第一深度值和所述第二深度值的差值的绝对值小于所述连通域阈值的相邻像素点，则将所述相邻像素点压入所述队列；
步骤4、重复执行步骤2和步骤3，直至所述队列为空，得到所述当前像素点对应的一个连通域，其中所述当前像素点和步骤3中重复压入所述队列的像素点组成所述当前像素点对应的连通域；
步骤5、重复执行步骤1至步骤4，直至得到所述深度图像的多个连通域，所述深度图像的多个连通域为各所述当前像素点对应的各连通域的集合。
可选地，所述从所述多个连通域中去除像素个数小于所述面积阈值的连通域，包括：
在所述深度图像的遍历完成后，通过再次遍历所述深度图像，得到所述当前像素点的坐标与连通域的关联关系；
根据所述关联关系确定所述当前像素点的坐标对应的连通域；
若所述当前像素点的坐标对应的连通域包含的像素个数小于所述面积阈值，则将所述当前像素点的深度值置为零。
可选地，所述基于当前像素点的深度信息计算连通域阈值，之前包括：
创建mask矩阵、peak矩阵及pnum矩阵；
创建队列Q；
创建depththreshold变量、areathreshold变量及peaknum变量；
其中，mask矩阵用于标记深度图像的每个像素点是否遍历过；peak矩阵用于标记深度数据每个像素点所属的连通域；pnum矩阵用于记录每个连通域的像素个数；队列Q用于存放像素点的坐标；depththreshold变量作为连通域检测的动态阈值；areathreshold变量作为连通域的面积阈值；peaknum变量作为连通域的编号。
本发明实施例提供一种深度图像去噪装置，包括：
计算单元，用于基于当前像素点的深度信息计算连通域阈值，所述当前像素点为遍历深度图像的过程中，未被访问过的像素点；
第一获取单元，用于基于所述连通域阈值得到所述深度图像的多个连通域；
第二获取单元，用于获取各所述连通域的像素个数的排名；
确定单元，用于将处于预设排名的像素个数确定为所述深度图像的面积阈值；
去除单元，用于从所述多个连通域中去除像素个数小于所述面积阈值的连通域。
可选地，所述计算单元，具体用于基于当前像素点的深度值、所述深度图像对应的相机的焦距以及所述相机的基线计算连通域阈值。
本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。
本发明实施例提供的深度图像去噪方法及装置，在对深度图像的深度数据进行去噪的过程中，摒弃现有方案中搜索窗口的概念，充分利用深度数据的深度信息，从而针对不同场景的深度数据，具有更强的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明深度图像去噪方法实施例流程图；
图2为本发明深度图像去噪装置实施例结构示意图；
图3为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，本实施例公开了一种深度图像去噪方法，包括：
S1、基于当前像素点的深度信息计算连通域阈值，当前像素点为遍历深度图像的过程中，未被访问过的像素点；
深度图像去噪装置在遍历深度图像的过程中，当遍历到某个像素点位置时，若检测到该像素点位置之前被遍历计算过，则说明该像素点为被访问过的像素点，遍历过程中可以直接跳过该像素点，继续遍历其他像素点，否者说明该像素点为未被访问过的像素点，需要基于该像素点的深度信息计算连通域阈值。
遍历深度图像通常采用从左至右、从上至下的方式进行遍历。
在计算连通域阈值的过程中，充分利用当前像素点的深度信息，为后续的去噪操作进行铺垫。
需要说明的是，在遍历深度图像的过程中，通常存在很多个未被访问过的像素点，每个未被访问过的像素点都会对应计算出一个连通域阈值，所以此处的连通域阈值可以理解为动态连通域阈值，该动态连通域阈值主要是用来将深度图像划分出若干连通域。
S2、基于连通域阈值得到深度图像的多个连通域；
在得到各连通域阈值后，深度图像去噪装置通过各连通域阈值得到若干个连通域，即深度图像的连通域。其中，每个连通域阈值都对应一个连通域。
连通域，又称连通区域，指的是复平面上的一个区域G，如果在其中任做一条简单闭曲线，而闭曲线的内部总属于G，就称G为单连通区域。一个区域如果不是单连通区域，就称为多连通区域。
S3、获取各连通域的像素个数的排名；
在得到深度图像的多个连通域后，深度图像去噪装置获取各连通域的像素个数，并对各连通域的像素个数进行排名。
通常，深度图像去噪装置可以按照大小对各连通域的像素个数进行排序，得到排序结果。当然，深度图像去噪装置也可以不采用排序方式对各连通域的像素个数进行排名，比如逐一比较各连通域的像素个数进行排名，此处不做限定。
S4、将处于预设排名的像素个数确定为深度图像的面积阈值；
在获取各连通域的像素个数的排名后，深度图像去噪装置需要确定面积阈值，该面积阈值取值为处于预设排名的像素个数。
设置面积阈值的目的是方便深度图像去噪装置去除一些像素个数较少的连通域。
S5、从多个连通域中去除像素个数小于面积阈值的连通域。
在面积阈值确定后，针对步骤S2中得到的多个连通域，深度图像去噪装置需要将各连通域具有的像素个数与面积阈值进行比较，去除像素个数小于面积阈值的连通域。
可以理解的是，通过去除像素个数小于面积阈值的连通域，也就完成了深度图像的相关图像区域的去噪。
本发明实施例提供的深度图像去噪方法，在对深度图像的深度数据进行去噪的过程中，摒弃现有方案中搜索窗口的概念，充分利用深度数据的深度信息，从而针对不同场景的深度数据，具有更强的鲁棒性。
在前述方法实施例的基础上，在步骤S1之前，还可以包括：
创建mask矩阵、peak矩阵及pnum矩阵；
创建队列Q；
创建depththreshold变量、areathreshold变量及peaknum变量；
其中，mask矩阵用于标记深度图像的每个像素点是否遍历过；peak矩阵用于标记深度数据每个像素点所属的连通域；pnum矩阵用于记录每个连通域的像素个数；队列Q用于存放像素点的坐标；depththreshold变量作为连通域检测的动态阈值；areathreshold变量作为连通域的面积阈值；peaknum变量作为连通域的编号。
具体地，详细说明如下：
创建bool mask[row][col]矩阵,初始化为false，用于标记深度数据的每个像素位置是否遍历计算过，若计算遍历过，则将对应位置标记为true，mask[r][c]＝true，其中bool为类型变量，row为影像的行，col为影像的列；
创建int peak[row][col]矩阵，初始化为0，用于标记深度数据每个像素位置所属哪个连通域，连通域标号从1开始，例：当前像素点判定为属于1号连通域，则peak[r][c]＝1，其中int为类型变量；
创建int pnum[row*col]矩阵，初始化为0，用于记录每个连通域的像素个数，作为该连通域的面积值；
创建变量float depththreshold,初始化为0，作为连通域检测的动态阈值，其中float为类型变量；
创建变量int areathreshold,初始化为0，作为连通域的面积阈值；
创建一个队列Q，存放像素点坐标；
创建变量int peaknum,初始化为0，作为当前连通域的编号。
可以理解的是，上述相关矩阵和变量完成创建后，就可以开始执行本发明实施例的深度图像遍历流程。
在前述方法实施例的基础上，步骤S1中基于当前像素点的深度信息计算连通域阈值，包括：
基于当前像素点的深度值、深度图像对应的相机的焦距以及相机的基线计算连通域阈值。
应理解，深度图像去噪装置在计算连通域阈值的过程中，充分利用当前像素点的深度信息，为后续的去噪操作进行铺垫。
具体地，上述基于当前像素点的深度值、深度图像对应的相机的焦距以及相机的基线计算连通域阈值，包括：
通过如下表达式计算当前像素点对应的连通域阈值：
式中，depththreshold表示当前像素点对应的连通域阈值，[r][c]表示当前像素点，depth[r][c]表示当前像素点的深度值，F表示深度图像对应的相机的焦距，L表示所述相机的基线。
具体地，本发明实施例在完成相关矩阵和变量的创建后，开始按行搜索遍历深度图像，在遍历到当前像素点(r,c)位置时，判断当前像素点的mask[r][c]是不是false，若不是false，则跳过当前像素点(r,c)；若是false，则令：
mask[r][c]＝true；
peak[r][c]＝peaknum++；
pnum[peak[r][c]]++；
并将该像素点(r,c)压入队列Q。
式中，depththreshold表示当前像素点对应的连通域阈值，[r][c]表示当前像素点，depth[r][c]表示当前像素点的深度值，F表示深度图像对应的相机的焦距，L表示相机的基线。
其中，该相机为采集深度图像的相机。
由此，深度图像去噪装置在计算当前像素点(r,c)对应的连通域阈值的同时，也对当前像素点(r,c)所属的连通域编号进行了标记。
在前述方法实施例的基础上，步骤S2中基于连通域阈值得到深度图像的深度数据的多个连通域，包括：
步骤1、将任一当前像素点压入队列；
步骤2、获取当前像素点的第一深度值，及获取当前像素点的邻域内的各像素点的第二深度值；
步骤3、若邻域内存在第一深度值和第二深度值的差值的绝对值小于连通域阈值的相邻像素点，则将相邻像素点压入队列；
步骤4、重复执行步骤2和步骤3，直至队列为空，得到当前像素点对应的一个连通域，其中当前像素点和步骤3中重复压入队列的像素点组成当前像素点对应的连通域；
步骤5、重复执行步骤1至步骤4，直至得到深度图像的多个连通域，深度图像的多个连通域为各当前像素点对应的各连通域的集合。
具体地，本发明实施例中的深度图像去噪装置在将任一当前像素点(r,c)压入队列Q后，开始判断队列Q是否为空，若为空，则跳回上一步骤S1继续按行遍历深度图像；若不为空，则弹出队列首元素，并获取首元素的像素点(r,c)，该像素点(r,c)四邻域内的像素点坐标分别为(r-1,c)、(r,c-1)、(r+1,c)及(r,c+1)，将该像素点(r,c)处的深度值depth[r][c]分别与depth[r][c+1],depth[r-1][c],depth[r+1][c],depth[r][c-1]进行做差取绝对值，结果与depththreshold进行比较。假设仅有像素点(r-1,c)处的深度值与像素点(r,c)处的深度值的差值的绝对值小于depththreshold，则说明像素点(r-1,c)与像素点(r,c)属于同一个连通域(假设记录为连通域1)，像素点(r,c-1)、(r+1,c)及(r,c+1)与像素点(r,c)不属于同一个连通域。令：
mask[r-1][c]＝true；
peak[r-1][c]＝peaknum；
pnum[peak[r-1][c]]++；
并将该像素点(r-1,c)压入队列Q。
在将像素点(r-1,c)压入队列Q后，弹出队列此时首元素，并获取此时首元素的像素点(r-1,c)，该像素点(r-1,c)四邻域内的像素点坐标分别为(r-2,c)、(r-1,c-1)、(r,c)及(r-1,c+1)，将该像素点(r-1,c)处的深度值depth[r-1][c]分别与depth[r-1][c+1],depth[r-2][c],depth[r][c],depth[r-1][c-1]进行做差取绝对值，结果与depththreshold进行比较。假设有像素点(r,c)、像素点(r-2,c)处的深度值与像素点(r,c)处的深度值的差值的绝对值小于depththreshold，则说明像素点(r,c)、像素点(r-1,c)、像素点(r-2,c)均属于连通域1，连通域1内至少包含像素点(r,c)、像素点(r-1,c)、像素点(r-2,c)，像素点(r,c-1)、(r+1,c)及(r,c+1)与像素点(r,c)不属于同一个连通域，再将该像素点(r-2,c)压入队列Q。针对像素点(r-2,c)重复执行上述像素点(r-1,c)、像素点(r,c)的步骤，直至队列Q为空，此时说明已找寻完连通域1内的所有像素点，像素点(r,c)的遍历计算完成。
在队列Q为空后，针对其它当前像素点，执行与像素点(r,c)类似操作，直至得到深度图像的多个连通域，其中深度图像的多个连通域为各当前像素点对应的各连通域的集合。
可以理解的是，深度图像去噪装置在完成当前某个像素点(r,c)的遍历计算后，继续遍历到下一个未被遍历计算的像素点(ri,ci)时，针对像素点(ri,ci)同样也会计算一个面积阈值，同样也会确定一个连通域，具体执行流程与像素点(r,c)的执行流程相同，此处不再赘述。
本发明实施例的深度图像去噪装置可以通过pnum矩阵记录所得到的各连通域的像素个数，然后按照大小对像素个数进行降序排序，选取排名后10％位置的值作为面积阈值。
可以理解的是，本发明实施例可以根据实际情况选取面积阈值，不限定于10％。
在前述方法实施例的基础上，步骤S5中从多个连通域中去除像素个数小于面积阈值的连通域，包括：
遍历深度图像，得到当前像素点的坐标与连通域的关联关系；
根据关联关系确定当前像素点的坐标对应的连通域；
若当前像素点的坐标对应的连通域包含的像素个数小于面积阈值，则将当前像素点的深度值置为零。
具体地，本发明实施例的深度图像去噪装置需要再次遍历深度图像，基于像素点与peak矩阵、pnum矩阵的索引关系，判断像素点对应的连通域的面积是否小于面积阈值，若小于，则将像素点对应位置的深度值修改为零，最终输出去噪后的深度图像，对自动驾驶、行为识别、目标检测等技术的发展起到了很大的促进作用。
本发明实施例中，深度图像去噪装置在对深度图像的深度数据进行去噪的过程中，摒弃现有方案中搜索窗口的概念，充分利用深度数据的深度信息，从而针对不同场景的深度数据，具有更强的鲁棒性。
基于上述实施例的内容，本发明实施例提供了一种深度图像去噪装置，该深度图像去噪装置用于执行上述方法实施例中提供的深度图像去噪方法。
参见图2，该装置包括：
计算单元1，用于基于当前像素点的深度信息计算连通域阈值，所述当前像素点为遍历深度图像的过程中，未被访问过的像素点；
第一获取单元2，用于基于所述连通域阈值得到深度图像的多个连通域；
第二获取单元3，用于获取各所述连通域的像素个数的排名；
确定单元4，用于将处于预设排名的像素个数确定为深度图像的面积阈值；
去除单元5，用于从所述多个连通域中去除像素个数小于所述面积阈值的连通域。
本发明实施例提供的深度图像去噪装置，在对深度图像的深度数据进行去噪的过程中，摒弃现有方案中搜索窗口的概念，充分利用深度数据的深度信息，从而针对不同场景的深度数据，具有更强的鲁棒性。
在一些可选实施例中，计算单元1，用于基于当前像素点的深度值、深度图像对应的相机的焦距以及相机的基线计算连通域阈值。
具体地，用于通过如下表达式计算当前像素点对应的连通域阈值：
式中，depththreshold表示当前像素点对应的连通域阈值，[r][c]表示当前像素点，depth[r][c]表示当前像素点的深度值，F表示深度图像对应的相机的焦距，L表示相机的基线。
在一些可选实施例中，第一获取单元2，具体用于执行如下步骤：
步骤1、将任一所述当前像素点压入队列；
步骤2、获取所述当前像素点的第一深度值，及获取所述当前像素点的邻域内的各像素点的第二深度值；
步骤3、若所述邻域内存在所述第一深度值和所述第二深度值的差值的绝对值小于所述连通域阈值的相邻像素点，则将所述相邻像素点压入所述队列；
步骤4、重复执行步骤2和步骤3，直至所述队列为空，得到所述当前像素点对应的一个连通域，其中所述当前像素点和步骤3中重复压入所述队列的像素点组成所述当前像素点对应的连通域；
步骤5、重复执行步骤1至步骤4，直至得到所述深度图像的多个连通域，所述深度图像的多个连通域为各所述当前像素点对应的各连通域的集合。
在一些可选实施例中，去除单元5，具体用于执行如下步骤：
遍历所述深度图像，得到所述当前像素点的坐标与连通域的关联关系；
根据所述关联关系确定所述当前像素点的坐标对应的连通域；
若所述当前像素点的坐标对应的连通域包含的像素个数小于所述面积阈值，则将所述当前像素点的深度值置为零。
在一些可选实施例中，该装置还包括：
创建单元，用于创建mask矩阵、peak矩阵及pnum矩阵；创建队列Q；创建depththreshold变量、areathreshold变量及peaknum变量；其中，mask矩阵用于标记深度图像的每个像素点是否遍历过；peak矩阵用于标记深度数据每个像素点所属的连通域；pnum矩阵用于记录每个连通域的像素个数；队列Q用于存放像素点的坐标；depththreshold变量作为连通域检测的动态阈值；areathreshold变量作为连通域的面积阈值；peaknum变量作为连通域的编号。
本实施例的深度图像去噪装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)11、通信接口(Communications Interface)12、存储器(memory)13和通信总线14，其中，处理器11，通信接口12，存储器13通过通信总线14完成相互间的通信。处理器11可以调用存储器13中的逻辑指令，以执行如下方法：基于当前像素点的深度信息计算连通域阈值，所述当前像素点为遍历深度图像的过程中，未被访问过的像素点；基于所述连通域阈值得到所述深度图像的多个连通域；获取各所述连通域的像素个数的排名；将处于预设排名的像素个数确定为所述深度图像的面积阈值；从所述多个连通域中去除像素个数小于所述面积阈值的连通域。此外，上述的存储器13中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：基于当前像素点的深度信息计算连通域阈值，所述当前像素点为遍历深度图像的过程中，未被访问过的像素点；基于所述连通域阈值得到所述深度图像的多个连通域；获取各所述连通域的像素个数的排名；将处于预设排名的像素个数确定为所述深度图像的面积阈值；从所述多个连通域中去除像素个数小于所述面积阈值的连通域。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种深度图像去噪方法，其特征在于，包括：
基于当前像素点的深度信息计算连通域阈值，所述当前像素点为遍历深度图像的过程中，未被访问过的像素点；
基于所述连通域阈值得到所述深度图像的多个连通域；
获取各所述连通域的像素个数的排名；
将处于预设排名的像素个数确定为所述深度图像的面积阈值；
从所述多个连通域中去除像素个数小于所述面积阈值的连通域。
2.根据权利要求1所述的深度图像去噪方法，其特征在于，所述基于当前像素点的深度信息计算连通域阈值，包括：
基于当前像素点的深度值、所述深度图像对应的相机的焦距以及所述相机的基线计算连通域阈值。
3.根据权利要求2所述的深度图像去噪方法，其特征在于，所述基于当前像素点的深度值、所述深度图像对应的相机的焦距以及所述相机的基线计算连通域阈值，包括：
通过如下表达式计算连通域阈值：
式中，depththreshold表示当前像素点对应的连通域阈值，[r][c]表示当前像素点，drpth[r][c]表示当前像素点的深度值，F表示所述深度图像对应的相机的焦距，L表示所述相机的基线。
4.根据权利要求1所述的深度图像去噪方法，其特征在于，所述基于所述连通域阈值得到所述深度图像的深度数据的多个连通域，包括：
步骤1、将任一所述当前像素点压入队列；
步骤2、获取所述当前像素点的第一深度值，及获取所述当前像素点的邻域内的各像素点的第二深度值；
步骤3、若所述邻域内存在所述第一深度值和所述第二深度值的差值的绝对值小于所述连通域阈值的相邻像素点，则将所述相邻像素点压入所述队列；
步骤4、重复执行步骤2和步骤3，直至所述队列为空，得到所述当前像素点对应的一个连通域，其中所述当前像素点和步骤3中重复压入所述队列的像素点组成所述当前像素点对应的连通域；
步骤5、重复执行步骤1至步骤4，直至得到所述深度图像的多个连通域，所述深度图像的多个连通域为各所述当前像素点对应的各连通域的集合。
5.根据权利要求1所述的深度图像去噪方法，其特征在于，所述从所述多个连通域中去除像素个数小于所述面积阈值的连通域，包括：
遍历所述深度图像，得到所述当前像素点的坐标与连通域的关联关系；
根据所述关联关系确定所述当前像素点的坐标对应的连通域；
若所述当前像素点的坐标对应的连通域包含的像素个数小于所述面积阈值，则将所述当前像素点的深度值置为零。
6.根据权利要求1-5任一项所述的深度图像去噪方法，其特征在于，所述基于当前像素点的深度信息计算连通域阈值，之前包括：
创建mask矩阵、peak矩阵及pnum矩阵；
创建队列Q；
创建depththreshold变量、areathreshold变量及peaknum变量；
其中，mask矩阵用于标记深度图像的每个像素点是否遍历过；peak矩阵用于标记深度数据每个像素点所属的连通域；pnum矩阵用于记录每个连通域的像素个数；队列Q用于存放像素点的坐标；depththreshold变量作为连通域检测的动态阈值；areathreshold变量作为连通域的面积阈值；peaknum变量作为连通域的编号。
7.一种深度图像去噪装置，其特征在于，包括：
计算单元，用于基于当前像素点的深度信息计算连通域阈值，所述当前像素点为遍历深度图像的过程中，未被访问过的像素点；
第一获取单元，用于基于所述连通域阈值得到所述深度图像的多个连通域；
第二获取单元，用于获取各所述连通域的像素个数的排名；
确定单元，用于将处于预设排名的像素个数确定为所述深度图像的面积阈值；
去除单元，用于从所述多个连通域中去除像素个数小于所述面积阈值的连通域。
8.根据权利要求6所述的深度图像去噪装置，其特征在于，所述计算单元，具体用于基于当前像素点的深度值、所述深度图像对应的相机的焦距以及所述相机的基线计算连通域阈值。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的深度图像去噪方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述深度图像去噪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010450335.9A CN111696057B (zh) | 2020-05-25 | 2020-05-25 | 一种深度图像去噪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010450335.9A CN111696057B (zh) | 2020-05-25 | 2020-05-25 | 一种深度图像去噪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111696057A true CN111696057A (zh) | 2020-09-22 |
| CN111696057B CN111696057B (zh) | 2023-06-30 |
Family
ID=72478254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010450335.9A Active CN111696057B (zh) | 2020-05-25 | 2020-05-25 | 一种深度图像去噪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111696057B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308805A (zh) * | 2020-11-26 | 2021-02-02 | 北京的卢深视科技有限公司 | 深度图连通域检测去噪方法、电子设备及存储介质 |
| CN112967273A (zh) * | 2021-03-25 | 2021-06-15 | 北京的卢深视科技有限公司 | 图像处理方法、电子设备及存储介质 |
| CN114648450A (zh) * | 2020-12-21 | 2022-06-21 | 北京的卢深视科技有限公司 | 深度图的空洞修复方法、电子设备及存储介质 |
| CN114693546A (zh) * | 2022-02-25 | 2022-07-01 | 合肥的卢深视科技有限公司 | 图像去噪方法、装置、电子设备和计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110274366A1 (en) * | 2010-05-07 | 2011-11-10 | Microsoft Corporation | Depth map confidence filtering |
| CN102271254A (zh) * | 2011-07-22 | 2011-12-07 | 宁波大学 | 一种深度图像的预处理方法 |
| CN103927717A (zh) * | 2014-03-28 | 2014-07-16 | 上海交通大学 | 基于改进型双边滤波的深度图像恢复方法 |
| CN105825482A (zh) * | 2016-03-15 | 2016-08-03 | 四川用联信息技术有限公司 | 一种深度图像的修复算法 |
| CN107481255A (zh) * | 2017-08-08 | 2017-12-15 | 浙江大华技术股份有限公司 | 一种人员数量的确定方法及装置 |
| CN107622480A (zh) * | 2017-09-25 | 2018-01-23 | 长春理工大学 | 一种Kinect深度图像增强方法 |
-
2020
- 2020-05-25 CN CN202010450335.9A patent/CN111696057B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110274366A1 (en) * | 2010-05-07 | 2011-11-10 | Microsoft Corporation | Depth map confidence filtering |
| CN102271254A (zh) * | 2011-07-22 | 2011-12-07 | 宁波大学 | 一种深度图像的预处理方法 |
| CN103927717A (zh) * | 2014-03-28 | 2014-07-16 | 上海交通大学 | 基于改进型双边滤波的深度图像恢复方法 |
| CN105825482A (zh) * | 2016-03-15 | 2016-08-03 | 四川用联信息技术有限公司 | 一种深度图像的修复算法 |
| CN107481255A (zh) * | 2017-08-08 | 2017-12-15 | 浙江大华技术股份有限公司 | 一种人员数量的确定方法及装置 |
| CN107622480A (zh) * | 2017-09-25 | 2018-01-23 | 长春理工大学 | 一种Kinect深度图像增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| SHI YAN等: "DDRNet: Depth Map Denoising and Refinement for Consumer Depth Cameras Using Cascaded CNNs" * |
| 陈理: "Kinect深度图像增强算法研究" * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308805A (zh) * | 2020-11-26 | 2021-02-02 | 北京的卢深视科技有限公司 | 深度图连通域检测去噪方法、电子设备及存储介质 |
| CN112308805B (zh) * | 2020-11-26 | 2022-03-08 | 北京的卢深视科技有限公司 | 深度图连通域检测去噪方法、电子设备及存储介质 |
| CN114648450A (zh) * | 2020-12-21 | 2022-06-21 | 北京的卢深视科技有限公司 | 深度图的空洞修复方法、电子设备及存储介质 |
| CN112967273A (zh) * | 2021-03-25 | 2021-06-15 | 北京的卢深视科技有限公司 | 图像处理方法、电子设备及存储介质 |
| CN114693546A (zh) * | 2022-02-25 | 2022-07-01 | 合肥的卢深视科技有限公司 | 图像去噪方法、装置、电子设备和计算机可读存储介质 |
| CN114693546B (zh) * | 2022-02-25 | 2022-12-16 | 合肥的卢深视科技有限公司 | 图像去噪方法、装置、电子设备和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111696057B (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111696057B (zh) | 一种深度图像去噪方法及装置 | |
| TWI489418B (zh) | Parallax Estimation Depth Generation | |
| US8355568B2 (en) | Image processing apparatus, method and computer-readable medium | |
| CN109685732B (zh) | 一种基于边界捕捉的深度图像高精度修复方法 | |
| CN106846390B (zh) | 一种图像处理的方法及装置 | |
| CN111681198A (zh) | 一种形态学属性滤波多模融合成像方法、系统及介质 | |
| CN112991193B (zh) | 深度图像修复方法、设备及计算机可读存储介质 | |
| CN111223059B (zh) | 一种基于引导滤波器的鲁棒深度图结构重建和去噪方法 | |
| US20190206117A1 (en) | Image processing method, intelligent terminal, and storage device | |
| CN110555863A (zh) | 一种运动目标检测方法、装置和计算机可读存储介质 | |
| CN114359665A (zh) | 全任务人脸识别模型的训练方法及装置、人脸识别方法 | |
| CN115578289A (zh) | 一种基于边界邻域梯度差值的散焦图像去模糊方法 | |
| CN107851309A (zh) | 一种图像增强方法及装置 | |
| Gutev et al. | Exploiting depth information to increase object tracking robustness | |
| WO2023160061A1 (zh) | 图像中运动对象的确定方法、装置、电子设备和存储介质 | |
| RU2580466C1 (ru) | Устройство восстановления карты глубины сцены | |
| CN112418109B (zh) | 一种图像处理方法、装置 | |
| CN110490877B (zh) | 基于Graph Cuts的双目立体图像对目标分割方法 | |
| Seychell et al. | Efficient object selection using depth and texture information | |
| CN114648751A (zh) | 一种处理视频字幕的方法、装置、终端及存储介质 | |
| CN106875369B (zh) | 实时动态目标跟踪方法及装置 | |
| CN111445411A (zh) | 图像去噪方法、装置、计算机设备和存储介质 | |
| CN111476821B (zh) | 基于在线学习的目标跟踪方法 | |
| CN113538337B (zh) | 检测方法、检测装置及计算机可读存储介质 | |
| CN117036758B (zh) | 二维图像目标匹配方法、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220629 Address after: Room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei City, Anhui Province Applicant after: Hefei lushenshi Technology Co.,Ltd. Address before: Room 3032, gate 6, block B, 768 Creative Industry Park, 5 Xueyuan Road, Haidian District, Beijing 100083 Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. Applicant before: Hefei lushenshi Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |