CN103413276B - 一种基于纹理分布特征的深度增强方法 - Google Patents

Abstract

一种基于纹理分布特征的深度增强方法，包括，A1：输入低端深度传感器采集的时域上相邻各帧的纹理图像与对应深度图像，帧数为N，N≥2；A2：提取各帧纹理图像边界，将深度图像划分为不含纹理边界的非边界区域与含纹理边界的边界区域；A3：对深度图像的边界区域，根据时域上相邻各帧边界区域内纹理边界两侧像素深度值的分布特征选择性修改像素点深度以进行深度增强，并当判断需要时对该边界区域进行滤波降噪处理；A4：对深度图像的非边界区域，利用时域各帧纹理块匹配结果获取当前深度块的时域预测块，根据预测块的像素信息修补当前深度块，并进行滤波降噪处理。利用本发明能够显著提高低端深度传感器采集的深度图像的准确性和时域一致性。

Description

一种基于纹理分布特征的深度增强方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，特别涉及一种基于纹理分布特征的深度增强方法。

背景技术

深度图像常被用于三维重建、自由视点编码等诸多领域。现有的深度信息采集常常基于一些复杂和昂贵的传感器，如结构光相机或激光测距仪等。基于这些设备采集的深度图像，不仅受到各类噪声干扰，其过低的分辨率也大大限制了以深度图像作为基础的其他研究与应用的发展。以Kinect为代表的低端深度传感器，售价低廉并，且能够快速获取场景的深度与纹理信息，因而在研究中被广泛使用。但是，由于低端深度传感器主要通过发射结构光并接收其反射光线获取场景深度图像，因此易受到环境光源与物体形状材质的严重干扰，致使采集的深度图像拥有部分数据丢失，时域上极不稳定，图像噪声（尤其在物体边界区域）较大等缺陷。以上都直接影响到基于深度图像的其他研究与应用的发展，例如场景三维重建等。

为了增强低端深度传感器采集的深度图像质量，目前针对其深度图像的成像缺陷提出了一系列的改进方法。其中具有代表性的方法有两种：一种方法是对深度图像用双边滤波器预处理，然后在空域上将深度图像划分为非边界区域与边界区域，针对不同的区域用不同的权重计算缺失的深度信息，该方法弥补了丢失的深度数据，降低了深度图像在物体边界区域的噪声，但由于缺乏对时域稳定性的限制，相邻各帧对应像素点的深度值存在较大波动；另一种方法是利用时域上多帧对应区域深度信息的纹理加权平均值修补缺失的像素深度，然后从时域和空域上对当前帧深度图进行联合双边滤波，从而极大地改善了深度图像的时域一致性，并显著提升了平滑表面深度值的连续性，但是由于该方法忽视了对受噪声影响巨大的物体边界的处理，边界区域的滤波效果不够理想，边界抖动有待抑制。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于纹理分布特征的深度增强方法，以获得物体形状完整、边界清晰平滑、表面深度值连续的高质量深度图像。

本发明所提出的一种基于纹理分布特征的深度增强方法如下：

A1：输入低端深度传感器采集的时域上相邻各帧的纹理图像与对应深度图像，帧数为N（N≥2）；

A2：提取各帧纹理图像边界，依照所得结果将深度图像划分为不含纹理边界的非边界区域与含纹理边界的边界区域；

A3：对深度图像的边界区域，根据时域上前后相邻各帧边界区域内纹理边界两侧像素深度值的分布特征选择性修改像素点深度以进行深度增强，并当判断需要时对该边界区域进行滤波降噪处理；

A4：对深度图像的非边界区域，利用时域各帧纹理块匹配结果获取当前深度块的时域预测块，根据预测块的像素信息修补当前深度块，并进行滤波降噪处理。

通过提取每一帧纹理图像边界将对应的深度图像划分为非边界区域与边界区域，保证边界信息的可靠性。利用时域纹理块匹配结果获取当前深度块的时域预测块，提高了深度图像各部分间匹配的准确性。对于非边界区域，综合时域各帧非边界区域像素的深度信息进行深度图像修补和区域的整体滤波降噪，可通过各帧深度值的互补以及从时域、空域两方面的联合双边滤波有效增强非边界区域的时域稳定性，从而显著提升物体平滑表面深度值的连续性。对于边界区域，分别统计时域上前后相邻各帧边界区域内纹理边界两侧的深度值分布，可以利用每一侧深度峰值的加权均值修正该侧错误的深度信息，并判断对应局部区域是否需要进行滤波处理。该深度图像增强方法在消除边界噪声的同时保证了深度图像中边界的平滑清晰，能有效提高以Kinect为代表的低端传感器采集的深度图像质量，促进深度信息在各研究领域的应用与推广。

本发明针对深度图像的非边界区域和边界区域存在不同的成像问题，使用空域、时域和统计相结合的深度增强处理，达到全面抑制低端深度传感器采集的深度图像存在的多种缺陷的目的，方便进一步将深度信息融入到其他应用中去。

说明书附图

图1为本发明实施例的基于纹理分布特征的深度增强方法的流程图。

具体实施方式

在具体的实施方案中，可采用下面的实施例。需注意的是，在下面的实施过程中所述的具体方法（如Sobel算子、最小平方差法等）都仅为列举说明，本发明所涵盖的范围不局限于所列举的这些方法。

A1：输入的时域上相邻的多帧纹理图像及对应深度图像分别通过低端深度传感器的彩色相机与深度相机采集所得，以Kinect为例，其采集数据的速度为60FPS，因此在相机以一般速度运动的情况下，当前帧与时域上相邻的前后几帧图像数据相关性很高。所以在后续处理中存在足够多的图像信息，保证从时域方面进行图像增强的有效性。尽管时域上的深度图像增强对低端深度传感器在场景中的运动速度和帧的采集速率有一定要求，但条件并不苛刻，多数低端深度传感器基本都能满足。由传感器采集的同一帧的纹理图像与深度图像包含相同时刻同一场景的信息，它们具有相同的分辨率，因此两张图像上相同位置的像素点间存在对应关系，描述了场景中某一点的纹理和深度信息。

A2：提取A1中输入的当前帧和时域相邻前后各帧纹理图像的边界，由于同一帧的纹理图像与深度图像像素点间的对应关系，因而位于纹理图像边界上的像素能够快速找到其深度图像中的对应像素点。沿深度图像中纹理边界对应的像素点对边界部分进行一定范围内的膨胀处理，各处的膨胀标准不同：时域上前后相邻k帧（包括当前帧，共2k+1帧）的深度图像中位于纹理边界的像素点，各帧纹理边界上相互对应的像素点的深度值为D。记深度变化ΔD=D_j-D_i(j∈[1,2k+1],i=1,2,…，j-1，其中，D_j表示第j帧的该像素点的深度值),对于设定阈值T,如果ΔD<T，那么将D_j归于D_i所在的深度值集合Q中；如果对所有D_i（i=1,2,…，j-1），ΔD>T，那么创建一个新的深度值集合包含D_j。由于边界处像素点的深度值（若不为0）总近似其两侧区域深度值中的一个，所以将有两个深度值集合Q₁，Q₂。每个深度值集合对应具有的深度值个数为n₁,n₂。

如果n₁>n₂,那么对所有深度值在集合Q₂的像素点所在帧，沿垂直于纹理边缘的方向，向两侧搜索直至找到深度值在集合Q₁范围内的像素，记录像素之间的搜索距离d_p(p=1,2,…，n₂)。

如果n₁<n₂,那么对所有深度值在集合Q₁的像素点所在帧，沿垂直于纹理边缘的方向，向两侧搜索直至找到深度值在集合Q₂范围内的像素，记录像素之间的搜索距离d_p(p=1,2,…，n₁)。

对上述两种情况，取所有搜索距离中最大值的两倍作为各帧在该像素处沿垂直纹理边缘方向每一侧需要膨胀的范围d_expand，即

d_expand=2*max(d_p)（1）

纹理边界将深度图像划分为n个边界区域En(n=1,2,3…)和m个非边界区域Sm(m=1,2,3…)。从深度图像中去除边界区域后得到各部分独立的非边界区域。纹理图像边界提取具体可采用（但不局限于）Sobel算子、Roberts算子、Prewitt算子等方法，上述方法的差异在于对于不同类型边界的提取精度存在差异。

A3：利用纹理块匹配的方法找到当前帧与时域上前后相邻各帧间相互对应的边界区域，分别统计以区域内的纹理边界为准边界两侧的像素深度值分布情况。对当前帧的每一个边界区域E_n(n=1,2,3…)和它在相邻帧中对应的边界区域内某一侧的所有像素，利用（但不局限于）直方图显示深度区间[D_il,D_ih]内像素点数量为n_i，深度均值为D_i(i=1,2,3…)。其中，[D_il,D_ih]表示一个深度值区间的上下界，这个上下界可根据直方图统计结果进行选定。如果n_i≥T_num,T_num为设定阈值，则该区间深度均值D_i被看作一种具有代表性的深度值D_i∈D^dom,记作D_i ^dom；如果n_i＜T_num,则该深度区间内所有像素点的深度值被认作“异常”, 利用每一侧D_i ^dom的加权均值修正该侧的“异常”深度值，N=∑n_i(ifn_i≥T_num)，修正准则如下：

$D^{\&prime;}=\mathrm{\&Sigma;}\frac{n_i}{N}{D}_i^{\mathrm{dom}},D\&NotElement;D^{\mathrm{dom}}---\left(2\right)$

计算经过直方图统计结果修改少数像素点深度值后当前帧每个边界区域纹理边界两侧各自深度值的方差σ_D，该方差若大于设定阈值T，则对该侧每一像素点(x,y)，使用该像素当前帧8邻域Ω₈内像素以及该像素在相邻k帧的对应像素及其8邻域内的所有像素点(x±Δx,y±Δy)的深度信息D_t±k(x±Δx,y±Δy)（其中，下标t±k表示D_t±k(x±Δx,y±Δy)所在的帧数，x±Δx和y±Δy分别表示D_t±k(x±Δx,y±Δy)所在的像素的横坐标和纵坐标）或联合纹理信息进行滤波。

${D_t}^{\&prime;}(x,y)=\underset{{\mathrm{\&Omega;}}_8(x\&PlusMinus;\mathrm{\&Delta;x},y\&PlusMinus;\mathrm{\&Delta;y}),k\&Element;N}{\mathrm{Filter}}\left(D_{t\&PlusMinus;k}(x\&PlusMinus;\mathrm{\&Delta;x},y\&PlusMinus;\mathrm{\&Delta;y})\right),\mathrm{if}{\mathrm{\&sigma;}}_D>T---\left(3\right)$

其中，Filter可采用（但不限于）双边滤波、高斯滤波、中值滤波等。

A4：对当前帧t非边界区域中缺少深度值的像素(x,y)，依据该像素所在非边界区域的纹理信息可利用（但不局限于）最小平方差法找到时域上相邻前后k帧与之对应的非边界区域，通过在各对应区域中逐个像素地互相比较纹理信息C最终找到相邻帧深度图像中对应的像素点(x±Δx,y±Δy)，利用各对应像素点深度值D_t±k(x±Δx,y±Δy)的众数修补当前帧像素深度值D_t(x,y)，修补规则如下

D_t(x,y)=Mode(D_t±k(x±Δx,y±Δy)),

（4）

ifC_t(x,y)=C_t±k(x±Δx,y±Δy)

如果没有找到对应像素点或是各帧在该像素点处均丢失了深度信息，则利用各帧内该像素点周围8邻域Ω₈内具有深度值的像素点，即D_t±k(x±Δx,y±Δy)≠0，使用联合双边滤波器计算当前帧该像素点的深度值，其中借助位置与纹理信息计算的高斯权重分别为G_σs、G_σc，联合双边滤波公式如下，w=G_σs×G_σc：

$D_t(x,y)=\frac{1}{W}\underset{k\&Element;N}{\mathrm{\&Sigma;}}\underset{{\mathrm{\&Omega;}}_8(x\&PlusMinus;\mathrm{\&Delta;x},y\&PlusMinus;\mathrm{\&Delta;y})}{\mathrm{\&Sigma;}}{G}_{\mathrm{\&sigma;s}}{G}_{\mathrm{\&sigma;c}}{D}_{t\&PlusMinus;k}(x\&PlusMinus;\mathrm{\&Delta;x},y\&PlusMinus;\mathrm{\&Delta;y})---\left(5\right)$

对当前帧的每个非边界区域S_m(m=1,2,3…)，结合时域前后相邻帧中对应的非边界区域的深度信息，对区域内逐个像素点使用（但不局限于）双边滤波器进行大范围滤波处理。像素点的邻域范围即滤波器窗口设置为N×N，N的取值将依据非边界区域的大小设定。

Claims (9)

1.一种基于纹理分布特征的深度增强方法，其特征在于，所述方法包括以下步骤：

A1：输入低端深度传感器采集的时域上相邻各帧的纹理图像与对应深度图像，帧数为N，N≥2；

A2：提取各帧纹理图像边界，依照所得结果将深度图像划分为不含纹理边界的非边界区域与含纹理边界的边界区域；

A3：对深度图像的边界区域，根据时域上前后相邻各帧边界区域内纹理边界两侧像素深度值的分布特征选择性修改像素点深度以进行深度增强，并当判断需要时对该边界区域进行滤波降噪处理；

A4：对深度图像的非边界区域，利用时域各帧纹理块匹配结果获取当前深度块的时域预测块，根据预测块的像素信息修补当前深度块，并进行滤波降噪处理；

步骤A3进一步包括以下步骤：

A3.1、采用时域各帧纹理块匹配的方法，找出当前帧t的边界区域E_n ^t在相邻前后k帧中对应的边界区域E_n ^t±k，其中n表示一帧深度图像边界区域编号；

A3.2、联合时域上前后相邻k帧，对纹理边界两侧像素的深度值分布分别进行直方图统计，统计结果：深度区间i内像素点数量为n_i，深度均值为D_i(i＝1,2,3…)，如果n_i≥T_num,T_num为设定阈值，则该区间深度均值D_i被看作一种具有代表性的深度值D_i∈D^dom,记作D_i ^dom；如果n_i＜T_num,则该深度区间内所有像素点的深度值被认作“异常”,

A3.3利用边界每一侧D_i ^dom的加权均值修正该侧的“异常”深度值，修正准则如下：

$D^{,}=\mathrm{\&Sigma;}\frac{n_i}{N}{D}_i^{dom},D\&NotElement;D^{dom}$

N＝∑n_i(ifn_i≥T_num)，缺失深度值的像素点不纳入统计范围；

A3.4、分别计算当前帧每一边界区域内边界各侧像素深度值的方差σ_D，如果方差σ_D大于设定阈值T，则对该侧每一像素点(x,y)，使用该像素当前帧8邻域Ω₈内像素以及该像素在相邻k帧的对应像素及其8邻域内的所有像素点(x±Δx,y±Δy)的深度信息D_t±k(x±Δx,y±Δy)或联合纹理信息进行滤波：

${D_t}^{,}\left(x,y\right)=\underset{{\mathrm{\&Omega;}}_8\left(x\&PlusMinus;\mathrm{\&Delta;}x,y\&PlusMinus;\mathrm{\&Delta;}y\right),k\&Element;N}{Filter}\left(D_{t\&PlusMinus;k}\left(x\&PlusMinus;\mathrm{\&Delta;}x,y\&PlusMinus;\mathrm{\&Delta;}y\right)\right),{\mathrm{if\&sigma;}}_D>T.$

2.如权利要求1所述的方法，其特征在于，在步骤A2中，深度图像中位于纹理边界上的像素先经过膨胀处理从而获得深度图像的边界区域，去除边界区域后的深度图像属于非边界区域。

3.如权利要求2所述的方法，其特征在于，在步骤A3对当前帧所有边界区域进行像素深度值修正之前，在步骤A2中先对该区域进行膨胀处理，包括：

检测时域上前后相邻k帧及当前帧共2k+1帧的深度图像中位于纹理边界的像素点，各帧纹理边界上相互对应的像素点的深度值为D，记深度变化ΔD＝D_j-D_i(j∈[1,2k+1],i＝1,2,…，j-1),其中，D_j表示第j帧的该像素点的深度值，对于设定阈值T，如果ΔD<T，那么将D_j归于D_i所在的深度值集合Q中；如果对所有D_i(i＝1,2,…，j-1)，ΔD>T，那么创建一个新的深度值集合包含D_j，边界处像素点的深度值若不为0则总近似其两侧区域深度值中的一个，最终获得两个深度值集合Q₁，Q₂，每个深度值集合对应具有的深度值个数为n₁,n₂；

如果n₁>n₂,那么对所有深度值在集合Q₂的像素点所在帧，沿垂直于纹理边缘的方向，向两侧搜索直至找到深度值在集合Q₁范围内的像素，记录搜索距离d_p(p＝1,2,…，n₂)，取所有搜索距离中最大值的两倍作为各帧在该像素处沿垂直纹理边缘方向每一侧需要膨胀的范围d_expand，

d_expand＝2*max(d_p)

如果n₁<n₂,那么对所有深度值在集合Q₁的像素点所在帧，沿垂直于纹理边缘的方向，向两侧搜索直至找到深度值在集合Q₂范围内的像素，记录搜索距离d_p(p＝1,2,…，n₁)，取所有搜索距离中最大值的两倍作为各帧在该像素处沿垂直纹理边缘方向每一侧需要膨胀的范围d_expand。

4.如权利要求1所述的方法，其特征在于，步骤A3.4中所用滤波器为双边滤波、高斯滤波或中值滤波。

5.如权利要求1所述的方法，其特征在于，步骤A4包括像素深度值修复与块深度值滤波两个阶段，

其中像素深度值修复阶段包括：

A4.1、锁定当前帧每一个非边界区域的深度缺失部分在对应纹理图像中的位置，标记该部分；

A4.2、利用最小平方差法找到时域前后相邻各k帧纹理图像中与标记部分纹理最相似的区域，对应到各帧深度图像，从而找到当前帧深度缺失部分在相邻各帧深度图像中的特定位置；

A4.3、利用时域前后相邻各帧的深度信息逐个像素修补当前帧像素深度值，

如果在相邻帧中找到纹理值完全一致的对应像素(x±Δx,y±Δy)，则用各像素深度值D_t±k(x±Δx,y±Δy)的众数修复当前像素D_t(x,y),修复准则如下：

D_t(x,y)＝Mode(D_t±k(x±Δx,y±Δy)),

ifC_t(x,y)＝C_t±k(x±Δx,y±Δy)

如果没有找到纹理相同的对应像素或者各帧均缺失该像素深度值，则使用联合双边滤波器，利用位置信息和纹理信息对目标像素点当前帧与前后相邻各帧8邻域内的有效像素点的深度值加权，计算结果用于修复当前帧的目标像素；

其中块深度值滤波阶段包括：

采用时域纹理块匹配的方法，找出时域相邻各帧间对应的非边界区域，针对区域内的每个像素点的当前帧邻域与相邻各帧对应像素及其邻域的深度信息，采用滤波器进行滤波处理，像素点的邻域范围即滤波器窗口设置为N×N，N的取值将依据非边界区域的大小设定。

6.如权利要求5所述的方法，其特征在于，块深度值滤波阶段采用双边滤波器进行滤波处理。

7.如权利要求1至6任一项所述的方法，其特征在于，在步骤A1中，低端深度传感器为Kinect传感器。

8.如权利要求1至6任一项所述的方法，其特征在于，在步骤A2中，采用Sobel算子、Roberts算子或Prewitt算子提取纹理图像的边界。

9.如权利要求1至6任一项所述的方法，其特征在于，在步骤A4中，各深度预测块的像素信息包括像素深度、纹理相似性。