CN107993201A - 一种保留边界特征的深度图像增强方法 - Google Patents
一种保留边界特征的深度图像增强方法 Download PDFInfo
- Publication number
- CN107993201A CN107993201A CN201711192452.4A CN201711192452A CN107993201A CN 107993201 A CN107993201 A CN 107993201A CN 201711192452 A CN201711192452 A CN 201711192452A CN 107993201 A CN107993201 A CN 107993201A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- depth image
- depth
- msup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001914 filtration Methods 0.000 claims abstract description 43
- 230000002146 bilateral effect Effects 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 239000011800 void material Substances 0.000 claims description 9
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 206010011732 Cyst Diseases 0.000 claims description 3
- 208000031513 cyst Diseases 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 4
- 238000005728 strengthening Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开的一种保留边界特征的深度图像增强方法，属于深度图像处理领域。本发明实现方法为：对彩色相机和深度相机进行标定，获得像素一一对应的彩色‑深度图像组；对深度图像进行中值滤波处理，得到深度值可靠的深度图像。获取深度值可靠的深度图像的空洞掩模，并运用Sobel梯度变换确定空洞的边界方向。对得到的彩色图像和空洞掩模进行定向联合双边滤波，得到增强后的深度图像。计算增强后深度图像的空洞像素百分比HPP；对深度值可靠的深度图像进行迭代滤波，得到深度图像中空洞区域的深度值，并对深度图像中空洞区域进行填充。通过迭代条件判断，实现对深度图像去噪和空洞填充，输出能保持画质清晰和特征完整的最终增强深度图像。
Description
技术领域
本发明属于深度图像处理领域，特别是涉及一种保留边界特征的深度图像增强方法。
背景技术
近年来，立体成像技术得到快速发展，其中包含场景深度信息的深度图像作为环境感知、场景理解的重要线索，在计算机视觉领域得到广泛应用，如：机器人导航、人机交互、三维场景重建等。目前，获取深度信息的传感器主要有两种：一种是基于ToF技术的深度传感器，另一种是基于结构光技术的深度传感器。基于ToF技术的深度传感器利用特定频率的脉冲光在空间中的飞行时间测量空间距离。该技术存在获取的深度图像分辨率低，且环境光可以使传感器饱和，导致部分深度信息丢失，出现空洞等缺点。基于结构光技术的深度传感器向空间中投射特定的图案，通过分析接收到的图案的变形，测量空间深度信息。该技术主要缺点是测量距离短，深度图像易受环境光干扰，且遮挡、空间物体表面反射率以及空间不连续性导致深度图像出现噪声和空洞。因此，利用深度传感器获取的深度图像普遍含有噪声和空洞。
为此，对于含有噪声和空洞的深度图像，需要应用深度图像增强方法。目前的深度图像增强方法主要存在空洞处深度值填充不准确和物体边缘保留特性差的缺陷，比如：浙江大学的CN103198486号专利“一种基于各向异性扩散的深度图像增强方法”提出利用与深度图像对应的彩色图像的像素点间的相似性作为深度扩散依据，基于深度图像的已知深度，完成对空洞区域的深度填充。但该方法把空间中不同位置处相同颜色物体填充为相同的深度值，导致深度填充不准确且边界模糊。长春理工大学的CN106780383号专利“TOF相机的深度图像增强方法”提出利用滤波和插值的方法抑制深度图像噪声和提高深度图像分辨率，但未对深度图像中的空洞缺陷给予解决。
发明内容
本发明公开的一种保留边界特征的深度图像增强方法，要解决的技术问题是实现对深度图像去噪和空洞填充，且能保持画质清晰和特征完整。
本发明采用下述技术方案实现：
本发明公开的一种保留边界特征的深度图像增强方法，首先，对彩色相机和深度相机进行标定，获得像素一一对应的彩色-深度图像组；接着，对深度图像进行中值滤波处理，得到深度值可靠的深度图像。再获取深度值可靠的深度图像的空洞掩模，并运用Sobel梯度变换确定空洞的边界方向。然后，对得到的彩色图像和空洞掩模进行定向联合双边滤波，得到增强后的深度图像。计算增强后深度图像的空洞像素百分比HPP；对深度值可靠的深度图像进行迭代滤波，得到深度图像中空洞区域的深度值，并对深度图像中空洞区域进行填充。通过迭代条件判断，实现对深度图像去噪和空洞填充，输出能保持画质清晰和特征完整的最终增强深度图像。
本发明公开的一种保留边界特征的深度图像增强方法，包括如下步骤：
步骤一、分别对彩色相机和深度传感器进行标定，并得到彩色图像和深度图像中相同行和列位置像素相对应的彩色-深度图像组。
利用彩色相机拍摄到的彩色图像和深度传感器获取的同一场景的深度图像对彩色相机和深度相机进行标定，并得到彩色图像和深度图像中相同行和列位置像素相对应的彩色-深度图像组。
所述的深度传感器优选Kinect传感器。
步骤二、利用中值滤波对步骤一中得到的深度图像进行滤波处理，得到深度值可靠的深度图像。
步骤三、获取步骤二中得到深度值可靠的深度图像的空洞掩模，并确定空洞的边界方向。
对步骤二中得到深度值可靠的深度图像进行空洞区域提取得到空洞掩模，并进行Sobel梯度变换得到空洞的边界方向。
通过对深度图像进行空洞提取获得空洞区域图像，空洞区域图像主要有两部分组成：空洞区域(hole region)和非空洞区域(non-hole region)。把空洞区域设置为0，非空洞区域设置为1，得到如式(1)的空洞掩模：
同时，对深度图像进行Sobel梯度变换，得到边界方向θ，如式(2)所示
θ＝tan-1(gx/gy) (2)
其中，gx为水平方向梯度，gy为垂直方向梯度。
步骤四、对步骤一得到的彩色图像和步骤三得到的空洞掩模进行定向联合双边滤波，得到增强后的深度图像。
在联合双边滤波器的基础上进行改进得到如式(3)所示的定向联合双边滤波器D(p)，利用定向联合双边滤波器对步骤三得到的空洞掩模进行定向联合双边滤波，得到增强后的深度图像。
公式(3)中p、q为像素，wp是滤波模板权值和，即：
其中，Φp是以p点像素为中心，半径为r的滤波窗口，即：
Φp＝{q＝(qx,qy)|px-r≤qx≤px+r&&py-r≤qy≤py+r} (5)
式(3)中为定向高斯滤波核，如式(6)所示：
其中，σx为水平方向标准差，σy为垂直方向标准差，xθ和yθ的计算公式如式(7)所示：
式(3)中，为测量彩色图像相邻像素之间的强度值差异，如式(8)所示：
式(8)中，σr为高斯标准差，Ip，Iq分别为p点像素和q点像素强度值。
步骤五、对步骤二得到深度值可靠的深度图像的空洞掩模进行空洞像素百分比计算。
为了定量衡量空洞填充效果，滤波后对图像中的空洞像素进行统计，计算空洞像素百分比HPP(hole pixel percentage)，如式(9)所示：
步骤六、对步骤二得到深度值可靠的深度图像进行迭代滤波，得到深度图像中空洞区域的深度值，并对深度图像中空洞区域进行填充。
深度图像中空洞区域大小不一，相比于小空洞填充，大空洞填充难度更大。为得到更好的填充效果，采用如式(10)所示迭代滤波的方法进行迭代滤波。
式(10)中，D(t)(q)表示第t次经过步骤四处理的结果，D(t+1)(p)表示第t+1次定向联合双边滤波处理结果，即为得到深度图像中空洞区域的深度值，并根据空洞区域的深度值对深度图像中空洞区域进行填充。
迭代滤波次数T的设定如式(11)所示：
式(11)中，Areamax是空洞最大面积，通过对步骤三中提取的空洞区域进行轮廓检测，获得最大空洞面积，σx*σy表示水平方向标准差和垂直方向标准差乘积。
步骤六所述的小空洞、大空洞根据空洞包含的像素值而定。小于或者等于30像素值为小空洞，大于30像素值为大空洞。
步骤七、进行迭代条件判断，实现对深度图像去噪和空洞填充，输出能保持画质清晰和特征完整的最终增强深度图像。
根据步骤五设置空洞像素百分比HPP和根据步骤六得到的迭代滤波次数T为双阈值判定条件，初始化HPP为常数Th，计数器Count为0，每执行一次步骤四，Count加1，且计算空洞像素百分比HPP；接着，计算出的HPP与设定的阈值Th比较，Count与步骤五中计算得到的迭代次数T进行比较，若HPP小于Th或Count等于T，则迭代完成，输出能保持画质清晰和特征完整的最终增强深度图像。
有益效果：
(1)本发明公开的一种保留边界特征的深度图像增强方法，利用提取的空洞区域作为掩模，避免非空洞区域模糊，保持图像画质清晰。
(2)本发明公开的一种保留边界特征的深度图像增强方法，利用图像边界方向进行定向联合双边滤波，避免边界区域模糊，保留边界特征完整。
(3)本发明公开的一种保留边界特征的深度图像增强方法，利用迭代滤波方法，实现深度图像空洞区域填充，获得空洞区域深度值更准确的深度图像，即输出能保持画质清晰和特征完整的最终增强深度图像。
附图说明
图1为本发明公开的一种保留边界特征的深度图像增强方法的流程图；
图2为本发明实例中经过校准的Kinect采集的图像，其中(a)为彩色图像，(b)为深度图像；
图3为本发明实例中，经过中值滤波得到的深度图
图4为本发明实例中深度图像掩模；
图5为本发明实例中梯度变换结果，其中(a)为X方向梯度，(b)为Y方向梯度；
图6为本发明实例中最终深度图像增强结果。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对本发明的具体实施方式进行说明。
本实施例公开的一种保留物体边界特征的深度图像增强方法，具体实现步骤如下：
步骤一、分别对彩色相机和深度传感器进行标定，并得到彩色图像和深度图像中相同行和列位置像素相对应的彩色-深度图像组。
利用彩色相机拍摄到的彩色图像和深度传感器获取的同一场景的深度图像对彩色相机和深度相机进行标定，并得到彩色图像和深度图像中相同行和列位置像素相对应的彩色-深度图像组。
所述的深度传感器优选Kinect传感器，如图2所示采集到的彩色-深度图像组，图像大小均为640×480。
步骤二、利用中值滤波对步骤一中得到的深度图像进行滤波处理，得到深度值可靠的深度图像。
选用具有保边特性的中值滤波对步骤一中采集到的深度图像进行滤波，去除图像中含有的噪声，得到深度值可靠的深度图像，如图3所示滤波半径为5时的中值滤波结果。
步骤三、获取步骤二中得到深度值可靠的深度图像的空洞掩模，并确定空洞的边界方向。
对步骤二中得到深度值可靠的深度图像进行空洞区域提取得到空洞掩模，并进行Sobel梯度变换得到空洞的边界方向。
通过对深度图像进行空洞提取获得空洞区域图像，空洞区域图像主要有两部分组成：空洞区域(hole region)和非空洞区域(non-hole region)。把空洞区域设置为0，非空洞区域设置为1，得到如式(1)的空洞掩模：
如图4所示空洞掩模。
同时，对深度图像进行Sobel梯度变换，得到边界方向θ，如式(2)所示
θ＝tan-1(gx/gy) (13)
其中，gx为水平方向梯度，gy为垂直方向梯度。
如图5所示为3×3Sobel梯度变换结果，其中(a)为X方向梯度，即为gx；(b)为Y方向梯度，即为gy。
步骤四、对步骤一得到的彩色图像和步骤三得到的空洞掩模进行定向联合双边滤波，得到增强后的深度图像。
在联合双边滤波器的基础上进行改进得到如式(3)所示的定向联合双边滤波器D(p)，利用定向联合双边滤波器对步骤三得到的空洞掩模进行定向联合双边滤波，得到增强后的深度图像。
公式(3)中p、q为像素，wp是滤波模板权值和，即：
其中，Φp是以p点像素为中心，半径为r的滤波窗口，即：
Φp＝{q＝(qx,qy)|px-r≤qx≤px+r&&py-r≤qy≤py+r} (16)
式(3)中为定向高斯滤波核，如式(6)所示：
其中，σx为水平方向标准差，σy为垂直方向标准差，xθ和yθ的计算公式如式(7)所示：
式(3)中，为测量彩色图像相邻像素之间的强度值差异，如式(8)所示：
式(8)中，σr为高斯标准差，Ip，Iq分别为p点像素和q点像素强度值。
步骤五、对步骤二得到深度值可靠的深度图像的空洞掩模进行空洞像素百分比计算。
为了定量衡量空洞填充效果，滤波后对图像中的空洞像素进行统计，计算空洞像素百分比HPP(hole pixel percentage)，如式(9)所示：
步骤六、对步骤二得到深度值可靠的深度图像进行迭代滤波，得到深度图像中空洞区域的深度值，并对深度图像中空洞区域进行填充。
深度图像中空洞区域大小不一，相比于小空洞填充，大空洞填充难度更大。为得到更好的填充效果，采用如式(10)所示迭代滤波的方法进行迭代滤波。
式(10)中，D(t)(q)表示第t次经过步骤四处理的结果，D(t+1)(p)表示第t+1次定向联合双边滤波处理结果，即为得到深度图像中空洞区域的深度值，并根据空洞区域的深度值对深度图像中空洞区域进行填充。
迭代滤波次数T的设定如式(11)所示：
式(11)中，Areamax是空洞最大面积，通过对步骤三中提取的空洞区域进行轮廓检测，获得最大空洞面积，σx*σy表示水平方向标准差和垂直方向标准差乘积。
步骤六所述的小空洞、大空洞根据空洞包含的像素值而定。小于或者等于30像素值为小空洞，大于30像素值为大空洞。
步骤七、进行迭代条件判断，实现对深度图像去噪和空洞填充，输出能保持画质清晰和特征完整的最终增强深度图像。
根据步骤五设置空洞像素百分比HPP和根据步骤六得到的迭代滤波次数T为双阈值判定条件，初始化HPP为常数Th，计数器Count为0，每执行一次步骤四，Count加1，且计算空洞像素百分比HPP；接着，计算出的HPP与设定的阈值Th比较，Count与步骤五中计算得到的迭代次数T进行比较，若HPP小于Th或Count等于T，则迭代完成，输出能保持画质清晰和特征完整的最终增强深度图像。
图6为本发明最终处理结果图，其中各项参数的设置为：σx＝19,σy＝15,σr＝30,r＝21,Th＝0.3％。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种保留边界特征的深度图像增强方法，其特征在于：包括如下步骤：
步骤一、分别对彩色相机和深度传感器进行标定，并得到彩色图像和深度图像中相同行和列位置像素相对应的彩色-深度图像组；
利用彩色相机拍摄到的彩色图像和深度传感器获取的同一场景的深度图像对彩色相机和深度相机进行标定，并得到彩色图像和深度图像中相同行和列位置像素相对应的彩色-深度图像组；
步骤二、利用中值滤波对步骤一中得到的深度图像进行滤波处理，得到深度值可靠的深度图像；
步骤三、获取步骤二中得到深度值可靠的深度图像的空洞掩模，并确定空洞的边界方向；
步骤四、对步骤一得到的彩色图像和步骤三得到的空洞掩模进行定向联合双边滤波，得到增强后的深度图像；
步骤五、对步骤二得到深度值可靠的深度图像的空洞掩模进行空洞像素百分比计算；
步骤六、对步骤二得到深度值可靠的深度图像进行迭代滤波，得到深度图像中空洞区域的深度值，并对深度图像中空洞区域进行填充；
步骤七、进行迭代条件判断，实现对深度图像去噪和空洞填充，输出能保持画质清晰和特征完整的最终增强深度图像。
2.如权利要求1所述的一种保留边界特征的深度图像增强方法，其特征在于：步骤三具体实现方法为，
对步骤二中得到深度值可靠的深度图像进行空洞区域提取得到空洞掩模，并进行Sobel梯度变换得到空洞的边界方向；
通过对深度图像进行空洞提取获得空洞区域图像，空洞区域图像主要有两部分组成：空洞区域(hole region)和非空洞区域(non-hole region)；把空洞区域设置为0，非空洞区域设置为1，得到如式(1)的空洞掩模：
<mrow>
<msub>
<mi>D</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mi>o</mi>
<mi>l</mi>
<mi>e</mi>
<mi> </mi>
<mi>r</mi>
<mi>e</mi>
<mi>g</mi>
<mi>i</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mi>n</mi>
<mi>o</mi>
<mi>n</mi>
<mo>-</mo>
<mi>h</mi>
<mi>o</mi>
<mi>l</mi>
<mi>e</mi>
<mi> </mi>
<mi>r</mi>
<mi>e</mi>
<mi>g</mi>
<mi>i</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
同时，对深度图像进行Sobel梯度变换，得到边界方向θ，如式(2)所示
θ＝tan-1(gx/gy) (2)
其中，gx为水平方向梯度，gy为垂直方向梯度。
3.如权利要求2所述的一种保留边界特征的深度图像增强方法，其特征在于：步骤四具体实现方法为，
在联合双边滤波器的基础上进行改进得到如式(3)所示的定向联合双边滤波器D(p)，利用定向联合双边滤波器对步骤三得到的空洞掩模进行定向联合双边滤波，得到增强后的深度图像；
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>w</mi>
<mi>p</mi>
</msub>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>q</mi>
<mo>&Element;</mo>
<msub>
<mi>&Phi;</mi>
<mi>p</mi>
</msub>
</mrow>
</munder>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>q</mi>
<mo>)</mo>
</mrow>
<msubsup>
<mi>f</mi>
<mrow>
<mi>d</mi>
<mi>s</mi>
</mrow>
<mi>d</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>x</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>x</mi>
</msub>
<mo>,</mo>
<msub>
<mi>q</mi>
<mi>y</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<msubsup>
<mi>f</mi>
<mi>r</mi>
<mi>c</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>I</mi>
<mi>q</mi>
</msup>
<mo>-</mo>
<msup>
<mi>I</mi>
<mi>p</mi>
</msup>
<mo>)</mo>
</mrow>
<msub>
<mi>D</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(3)中p、q为像素，wp是滤波模板权值和，即：
<mrow>
<msub>
<mi>w</mi>
<mi>p</mi>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>q</mi>
<mo>&Element;</mo>
<msub>
<mi>&Phi;</mi>
<mi>p</mi>
</msub>
</mrow>
</munder>
<msubsup>
<mi>f</mi>
<mrow>
<mi>d</mi>
<mi>s</mi>
</mrow>
<mi>d</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>x</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>x</mi>
</msub>
<mo>,</mo>
<msub>
<mi>q</mi>
<mi>y</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<msubsup>
<mi>f</mi>
<mi>r</mi>
<mi>c</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>I</mi>
<mi>q</mi>
</msup>
<mo>-</mo>
<msup>
<mi>I</mi>
<mi>p</mi>
</msup>
<mo>)</mo>
</mrow>
<msub>
<mi>D</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Φp是以p点像素为中心，半径为r的滤波窗口，即：
Φp＝{q＝(qx,qy)|px-r≤qx≤px+r&&py-r≤qy≤py+r} (5)
式(3)中为定向高斯滤波核，如式(6)所示：
<mrow>
<msubsup>
<mi>f</mi>
<mrow>
<mi>d</mi>
<mi>s</mi>
</mrow>
<mi>d</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>x</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>x</mi>
</msub>
<mo>,</mo>
<msub>
<mi>q</mi>
<mi>y</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<msubsup>
<mi>x</mi>
<mi>&theta;</mi>
<mn>2</mn>
</msubsup>
<msubsup>
<mi>&sigma;</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
</mfrac>
<mo>+</mo>
<mfrac>
<msubsup>
<mi>y</mi>
<mi>&theta;</mi>
<mn>2</mn>
</msubsup>
<msubsup>
<mi>&sigma;</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，σx为水平方向标准差，σy为垂直方向标准差，xθ和yθ的计算公式如式(7)所示：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mi>&theta;</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>x</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>x</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&theta;</mi>
<mo>-</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>y</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&theta;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>y</mi>
<mi>&theta;</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>x</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>x</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&theta;</mi>
<mo>+</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>y</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>cos</mi>
<mi>&theta;</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
式(3)中，为测量彩色图像相邻像素之间的强度值差异，如式(8)所示：
<mrow>
<msubsup>
<mi>f</mi>
<mi>r</mi>
<mi>c</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>I</mi>
<mi>q</mi>
</msup>
<mo>-</mo>
<msup>
<mi>I</mi>
<mi>p</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msup>
<mi>I</mi>
<mi>q</mi>
</msup>
<mo>-</mo>
<msup>
<mi>I</mi>
<mi>q</mi>
</msup>
</mrow>
<msub>
<mi>&sigma;</mi>
<mi>r</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
式(8)中，σr为高斯标准差，Ip，Iq分别为p点像素和q点像素强度值。
4.如权利要求3所述的一种保留边界特征的深度图像增强方法，其特征在于：步骤五具体实现方法为，
为了定量衡量空洞填充效果，滤波后对图像中的空洞像素进行统计，计算空洞像素百分比HPP(hole pixel percentage)，如式(9)所示：
<mrow>
<mi>H</mi>
<mi>P</mi>
<mi>P</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>s</mi>
<mi>u</mi>
<mi>m</mi>
<mi> </mi>
<mi>o</mi>
<mi>f</mi>
<mi> </mi>
<mi>h</mi>
<mi>o</mi>
<mi>l</mi>
<mi>e</mi>
<mi> </mi>
<mi>p</mi>
<mi>i</mi>
<mi>x</mi>
<mi>e</mi>
<mi>l</mi>
<mi>s</mi>
</mrow>
<mrow>
<mi>s</mi>
<mi>u</mi>
<mi>m</mi>
<mi> </mi>
<mi>o</mi>
<mi>f</mi>
<mi> </mi>
<mi>i</mi>
<mi>m</mi>
<mi>a</mi>
<mi>g</mi>
<mi>e</mi>
<mi> </mi>
<mi>p</mi>
<mi>i</mi>
<mi>x</mi>
<mi>e</mi>
<mi>l</mi>
<mi>s</mi>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
5.如权利要求4所述的一种保留边界特征的深度图像增强方法，其特征在于：步骤六具体实现方法为，
深度图像中空洞区域大小不一，相比于小空洞填充，大空洞填充难度更大；为得到更好的填充效果，采用如式(10)所示迭代滤波的方法进行迭代滤波；
<mrow>
<msup>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>w</mi>
<mi>p</mi>
</msub>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>q</mi>
<mo>&Element;</mo>
<msub>
<mi>&Phi;</mi>
<mi>p</mi>
</msub>
</mrow>
</munder>
<msup>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mi>q</mi>
<mo>)</mo>
</mrow>
<msubsup>
<mi>f</mi>
<mrow>
<mi>d</mi>
<mi>s</mi>
</mrow>
<mi>d</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>x</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>x</mi>
</msub>
<mo>,</mo>
<msub>
<mi>q</mi>
<mi>y</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<msubsup>
<mi>f</mi>
<mi>r</mi>
<mi>c</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>I</mi>
<mi>q</mi>
</msup>
<mo>-</mo>
<msup>
<mi>I</mi>
<mi>p</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
式(10)中，D(t)(q)表示第t次经过步骤四处理的结果，D(t+1)(p)表示第t+1次定向联合双边滤波处理结果，即为得到深度图像中空洞区域的深度值，并根据空洞区域的深度值对深度图像中空洞区域进行填充；
迭代滤波次数T的设定如式(11)所示：
<mrow>
<mi>T</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>Area</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>&sigma;</mi>
<mi>x</mi>
</msub>
<mo>*</mo>
<msub>
<mi>&sigma;</mi>
<mi>y</mi>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
式(11)中，Areamax是空洞最大面积，通过对步骤三中提取的空洞区域进行轮廓检测，获得最大空洞面积，σx*σy表示水平方向标准差和垂直方向标准差乘积。
6.如权利要求5所述的一种保留边界特征的深度图像增强方法，其特征在于：步骤七具体实现方法为，
根据步骤五设置空洞像素百分比HPP和根据步骤六得到的迭代滤波次数T为双阈值判定条件，初始化HPP为常数Th，计数器Count为0，每执行一次步骤四，Count加1，且计算空洞像素百分比HPP；接着，计算出的HPP与设定的阈值Th比较，Count与步骤五中计算得到的迭代次数T进行比较，若HPP小于Th或Count等于T，则迭代完成，输出能保持画质清晰和特征完整的最终增强深度图像。
7.如权利要求6所述的一种保留边界特征的深度图像增强方法，其特征在于：；步骤一所述的深度传感器选Kinect传感器。
8.如权利要求7所述的一种保留边界特征的深度图像增强方法，其特征在于：步骤六所述的小空洞、大空洞根据空洞包含的像素值而定；小于或者等于30像素值为小空洞，大于30像素值为大空洞。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711192452.4A CN107993201B (zh) | 2017-11-24 | 2017-11-24 | 一种保留边界特征的深度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711192452.4A CN107993201B (zh) | 2017-11-24 | 2017-11-24 | 一种保留边界特征的深度图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107993201A true CN107993201A (zh) | 2018-05-04 |
| CN107993201B CN107993201B (zh) | 2021-11-16 |
Family
ID=62033179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711192452.4A Active CN107993201B (zh) | 2017-11-24 | 2017-11-24 | 一种保留边界特征的深度图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107993201B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070500A (zh) * | 2019-03-21 | 2019-07-30 | 浙江大学 | 一种深度图像的后处理方法 |
| CN110322411A (zh) * | 2019-06-27 | 2019-10-11 | Oppo广东移动通信有限公司 | 深度图像的优化方法、终端及存储介质 |
| CN111598817A (zh) * | 2020-04-26 | 2020-08-28 | 北京凌云光技术集团有限责任公司 | 一种深度图像的缺失像素的填充方法及系统 |
| CN115082553A (zh) * | 2022-08-23 | 2022-09-20 | 青岛云智聚智能科技有限公司 | 一种物流包裹位置检测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831582A (zh) * | 2012-07-27 | 2012-12-19 | 湖南大学 | 一种微软体感装置深度图像增强方法 |
| CN103455984A (zh) * | 2013-09-02 | 2013-12-18 | 清华大学深圳研究生院 | 一种Kinect深度图像获取方法与装置 |
| CN103927717A (zh) * | 2014-03-28 | 2014-07-16 | 上海交通大学 | 基于改进型双边滤波的深度图像恢复方法 |
| CN105608678A (zh) * | 2016-01-11 | 2016-05-25 | 宁波大学 | 基于稀疏失真模型表示的深度图像空洞修复和去噪方法 |
| CN105741265A (zh) * | 2016-01-21 | 2016-07-06 | 中国科学院深圳先进技术研究院 | 深度图像的处理方法及装置 |
-
2017
- 2017-11-24 CN CN201711192452.4A patent/CN107993201B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831582A (zh) * | 2012-07-27 | 2012-12-19 | 湖南大学 | 一种微软体感装置深度图像增强方法 |
| CN103455984A (zh) * | 2013-09-02 | 2013-12-18 | 清华大学深圳研究生院 | 一种Kinect深度图像获取方法与装置 |
| CN103927717A (zh) * | 2014-03-28 | 2014-07-16 | 上海交通大学 | 基于改进型双边滤波的深度图像恢复方法 |
| CN105608678A (zh) * | 2016-01-11 | 2016-05-25 | 宁波大学 | 基于稀疏失真模型表示的深度图像空洞修复和去噪方法 |
| CN105741265A (zh) * | 2016-01-21 | 2016-07-06 | 中国科学院深圳先进技术研究院 | 深度图像的处理方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| TING-AN CHANG ET AL.: "Efficient hole filling and depth enhancement based on texture image and depth map consistency", 《2016 IEEE ASIA PACIFIC CONFERENCE ON CIRCUITS AND SYSTEMS(APCCAS)》 * |
| 李应彬等: "基于改进双边滤波的Kinect深度图像空洞修复算法研究", 《工业控制计算机》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070500A (zh) * | 2019-03-21 | 2019-07-30 | 浙江大学 | 一种深度图像的后处理方法 |
| CN110070500B (zh) * | 2019-03-21 | 2020-12-08 | 浙江大学 | 一种深度图像的后处理方法 |
| CN110322411A (zh) * | 2019-06-27 | 2019-10-11 | Oppo广东移动通信有限公司 | 深度图像的优化方法、终端及存储介质 |
| CN111598817A (zh) * | 2020-04-26 | 2020-08-28 | 北京凌云光技术集团有限责任公司 | 一种深度图像的缺失像素的填充方法及系统 |
| CN111598817B (zh) * | 2020-04-26 | 2023-07-18 | 凌云光技术股份有限公司 | 一种深度图像的缺失像素的填充方法及系统 |
| CN115082553A (zh) * | 2022-08-23 | 2022-09-20 | 青岛云智聚智能科技有限公司 | 一种物流包裹位置检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107993201B (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107993201A (zh) | 一种保留边界特征的深度图像增强方法 | |
| CN104680496B (zh) | 一种基于彩色图像分割的Kinect深度图修复方法 | |
| CN107563438B (zh) | 一种快速鲁棒的多模态遥感影像匹配方法和系统 | |
| CN104318548B (zh) | 一种基于空间稀疏度和sift特征提取的快速图像配准实现方法 | |
| WO2018024030A1 (zh) | 一种夜视红外图像中的基于显著性的道路目标提取方法 | |
| CN106485690A (zh) | 基于点特征的点云数据与光学影像的自动配准融合方法 | |
| CN106898048B (zh) | 一种可适应复杂场景的无畸变集成成像三维显示方法 | |
| CN107220949A (zh) | 公路监控视频中运动车辆阴影的自适应消除方法 | |
| CN106546233A (zh) | 一种面向合作目标的单目视觉定位方法 | |
| CN109685732A (zh) | 一种基于边界捕捉的深度图像高精度修复方法 | |
| CN103177446A (zh) | 基于邻域和非邻域平滑先验的图像前景精准提取方法 | |
| CN109993800A (zh) | 一种工件尺寸的检测方法、装置及存储介质 | |
| CN107239748A (zh) | 基于棋盘格标定技术的机器人目标识别与定位方法 | |
| CN105913407B (zh) | 一种基于差值图对多聚焦度图像融合优化的方法 | |
| CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| CN110232713A (zh) | 一种图像目标定位修正方法及相关设备 | |
| CN105184857A (zh) | 基于点结构光测距的单目视觉重建中尺度因子确定方法 | |
| CN107869954A (zh) | 一种双目视觉体积重量测量系统及其实现方法 | |
| CN107945221A (zh) | 一种基于rgb‑d图像的三维场景特征表达与高精度匹配方法 | |
| CN104732532A (zh) | 一种遥感卫星多光谱图像配准方法 | |
| CN107909018B (zh) | 一种稳健的多模态遥感影像匹配方法和系统 | |
| CN107462182A (zh) | 一种基于机器视觉和红线激光器的截面轮廓形变检测方法 | |
| CN104299220A (zh) | 一种对Kinect深度图像中的空洞进行实时填充的方法 | |
| CN106570899A (zh) | 一种目标物体检测方法及装置 | |
| CN103020967A (zh) | 基于海岛边缘特征的无人机航拍图像精确匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |