CN104778673A - 一种改进的高斯混合模型深度图像增强算法 - Google Patents

Abstract

本发明涉及一种改进的高斯混合模型深度图像增强方法，包括以下步骤：对场景进行高斯建模，获取背景匹配模型，用kinect传感器获取当前场景图像，并进行空洞修复处理，获得无空洞的背景深度图像；利用kinect传感器获取一随机动态场景的纹理图和对应的原始深度图像，对纹理图和深度图像进行对齐裁剪；利用高斯混合模型对原始深度图像进行前景、背景分离，获得原始前景图像和原始背景图像；分别对原始前景图像和原始背景图像进行空洞填充；对填充后的图像进行中值滤波处理。与现有技术相比，本发明克服了现有技术存在的方法较复杂，计算量过大，图像边缘模糊的情况，具有简洁、方便、快速、经济等优点。

Description

一种改进的高斯混合模型深度图像增强算法

技术领域

本发明涉及多视点视频图像处理技术领域，尤其是涉及一种改进的高斯混合模型深度图像增强方法。

背景技术

随着数字视频的迅速发展和广泛应用，用2D描述的真实世界已不能满足人们日益增长的视觉需求。在3D视频中，深度是核心关键信息。目前，深度图可以通过深度相机和深度估计方法从多视点视频数据中获取。深度相机价格昂贵且深度检测距离较小，不像传统的图像传感器那样普及，而效果好的立体匹配方法通常又复杂度高。Kinect有造价便宜、深度获取分辨率高等优点。但是，由于Kinect深度测距原理所限，Kinect的深度图像存在以下方面的问题：Kinect深度数据不稳定，深度图像与彩色图像存在偏差，图像噪声较大和空洞等问题。这些因素阻碍了Kinect在诸如人脸识别、3D重构等需要高质量的深度数据的领域上的应用。所以需要对获取到的深度图像做进一步的处理才能运用到3D视频中去。基于边缘检测的图像增强方法通过对边缘区域采用多级滤波，在非边缘区域采用双向多级滤波的方法实现图像增强，但这种方法较为繁琐，有人提出采用帧差法估计背景导致方法不稳定，鲁棒性不高。

中国专利申请CN 103400351 A提出基于KINECT深度图的低光照图像增强方法，包括，通过KINECT采集低光照监控图像的深度图和纹理图，并对深度图进行前处理；基于所获深度图中像素点及其邻域像素点的深度值构建深度信息高斯核，将深度信息高斯核作为核因子引入基于高斯核的去噪算法并对纹理图进行去噪；根据所获深度图的深度信息获取深度信息的归一化值，将深度信息的归一化值引入对比度拉伸算法并对去噪后的纹理图进行对比度拉伸。该方法同时利用了图像的颜色信息和深度信息来实现低光照图像增强，进一步增强了低光照图像的轮廓清晰度、层次感和视觉效果，但还存在图像处理效率不高等不足。

发明内容

本发明的目的就是为了克服上述现有技术存在的方法较复杂，计算量过大，图像边缘模糊的情况而提供一种改进的高斯混合模型深度图像增强方法。

本发明的目的可以通过以下技术方案来实现：

一种改进的高斯混合模型深度图像增强方法，包括以下步骤：

步骤A，对场景进行高斯建模，获取背景匹配模型，用kinect传感器获取当前场景图像，并进行空洞修复处理，获得无空洞的背景深度图像；

步骤B，利用kinect传感器获取一随机动态场景的纹理图和对应的原始深度图像，对纹理图和深度图像进行对齐裁剪；

步骤C，利用高斯混合模型对原始深度图像进行前景、背景分离，获得原始前景图像和原始背景图像；

步骤D，分别对原始前景图像和原始背景图像进行空洞填充；

步骤E，对填充后的图像进行中值滤波处理。

步骤A中，所述空洞修复处理包括腐蚀膨胀和中值滤波。

所述高斯混合模型的高斯概率分布函数为：

$p\left(X_t\right)=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{\ω}(i,t)\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})$

式中，η(X_t,μ_i,t,∑_i,t)为t时刻的第i个高斯分布，∑_i,t为方差，μ_i,t为均值，X_t为t时刻的像素点，每个像素点用M个高斯混合模型来表示，ω(i,t)为函数权重， $\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}{\left|{\mathrm{\Σ}}_{i,t}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(\mathrm{Xt}-{\mathrm{\μ}}_{i,t})}^T{{\mathrm{\Σ}}_{i,t}}^{-1}(\mathrm{Xt}-{\mathrm{\μ}}_{i,t})}\text{,}$ 其中，n表示维数。

所述步骤D中，原始背景图像中的空洞采用步骤A获得的背景深度图像中相应的背景深度值进行填充，原始前景图像中的空洞采用权值估计函数的值进行填充。

所述权值估计函数为：

P＝I*D(i,j)+J*|Pi-Pj|+K*BG

式中，I、J、K是权值，D(i,j)是空洞点i和待搜索点j之间的几何距离，J*|Pi-Pj|是像素值的绝对值之和，当空洞点周围带搜素的点属于前景点时BG＝0，当空洞点周围带搜素的点属于背景点时BG＝1。

与现有技术相比，本发明具有以下优点：

(1)本发明在前期用高斯函数先获取一个稳定的背景图像的匹配模型，进而获得无空洞的背景深度图像，再根据该背景深度图像对随机获得的深度图进行加强处理，方法简洁、方便。

(2)本发明通过高斯混合模型把图像的前景和背景分离，针对不同的区域做不同的处理，避免了整幅图像搜索的麻烦，同时该方法操作简单，图像处理效果好，有效的消除了图像边缘的毛刺和模糊状况，快速、经济。

(3)本发明获得的稳定的背景图像由于其空洞一般比较小，对其采用膨胀、滤波技术进行处理，可以在不影响视觉效果的情况下消除空洞。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种改进的高斯混合模型深度图像增强方法，主要原理是在前期用高斯函数先获取一个稳定的背景图像的匹配模型，用图像学的方法把图像中的空洞部分进行修复；然后在动态捕捉的时候，利用高斯混合模型把图像的前景和背景分离开，判断空洞所属的区域，背景空洞用相应的背景图像的深度值填充，前景空洞用权值估计函数的值填充；最后，把空洞填充后的图像通过中值滤波去除噪声的影响。如图1所示，本方法具体包括以下步骤：

步骤A，对场景进行高斯建模，获取背景匹配模型，用kinect传感器获取当前场景图像，并进行空洞修复处理，包括腐蚀膨胀和中值滤波等图像修复技术，获得无空洞的背景深度图像。

步骤B，利用kinect传感器获取一随机动态场景的纹理图和对应的原始深度图像，对纹理图和深度图像进行对齐裁剪，以期得到相同大小和分辨率的目标图像。

步骤C，利用高斯混合模型对原始深度图像进行前景、背景分离，获得原始前景图像和原始背景图像。在动态场景中，由于背景是不变的，对该场景进行高斯建模，分离出前景和背景区域。

高斯混合模型的高斯概率分布函数为：

$p\left(X_t\right)=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{\ω}(i,t)\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})$

式中，η(X_t,μ_i,t,∑_i,t)为t时刻的第i个高斯分布，∑_i,t为方差，μ_i,t为均值，X_t为t时刻的像素点，每个像素点可以用M个高斯混合模型来表示，ω(i,t)为函数权重，M值越大表示背景越复杂，一般情况下M的取值为3～5。

$\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}{\left|{\mathrm{\Σ}}_{i,t}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(\mathrm{Xt}-{\mathrm{\μ}}_{i,t})}^T{{\mathrm{\Σ}}_{i,t}}^{-1}(\mathrm{Xt}-{\mathrm{\μ}}_{i,t})}\text{,}$ 其中，n表示维数。

步骤D，分别对原始前景图像和原始背景图像进行空洞填充，根据空洞所属的区域，分为前景空洞和背景空洞，针对空洞存在形式的不同采用不同的填充方法。原始前景图像中的空洞采用步骤A获得的背景深度图像中相应的背景深度值进行填充，前景图像中的空洞采用权值估计函数的值进行填充。

所述权值估计函数为：

P＝I*D(i,j)+J*|Pi-Pj|+K*BG

式中，I、J、K是权值，D(i,j)是空洞点i和待搜索点j之间的几何距离，J*|Pi-Pj|是像素值的绝对值之和，当空洞点周围带搜素的点属于前景点时BG＝0，当空洞点周围带搜素的点属于背景点时BG＝1。

步骤E，对填充后的图像进行中值滤波处理，消除处理中引入的噪声的影响，消除图像边缘的魇影。

Claims (5)

1.一种改进的高斯混合模型深度图像增强方法，其特征在于，包括以下步骤：

步骤A，对场景进行高斯建模，获取背景匹配模型，用kinect传感器获取当前场景图像，并进行空洞修复处理，获得无空洞的背景深度图像；

步骤B，利用kinect传感器获取一随机动态场景的纹理图和对应的原始深度图像，对纹理图和深度图像进行对齐裁剪，得到相同大小和分辨率的目标图像；

步骤C，利用高斯混合模型对原始深度图像进行前景、背景分离，获得原始前景图像和原始背景图像；

步骤D，分别对原始前景图像和原始背景图像进行空洞填充；

步骤E，对填充后的图像进行中值滤波处理。

2.根据权利要求1所述的改进的高斯混合模型深度图像增强方法，其特征在于，步骤A中，所述空洞修复处理包括腐蚀膨胀和中值滤波。

3.根据权利要求1所述的改进的高斯混合模型深度图像增强方法，其特征在于，步骤C中，所述高斯混合模型的高斯概率分布函数为：

$p\left(X_t\right)=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{\ω}(i,t)\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})$

式中，η(X_t,μ_i,t,Σ_i,t)为t时刻的第i个高斯分布，Σ_i,t为方差，μ_i,t为均值，X_t为t时刻的像素点，每个像素点用M个高斯混合模型来表示，ω_(i,t)为函数权重， $\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}{\left|{\mathrm{\Σ}}_{i,t}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}}{(X_t-{\mathrm{\μ}}_{i,t})}^T{{\mathrm{\Σ}}_{i,t}}^{-1}(\mathrm{Xt}-{\mathrm{\μ}}_{i,t}),$ 其中，n表示维数。

4.根据权利要求1所述的改进的高斯混合模型深度图像增强方法，其特征在于，所述步骤D中，原始背景图像中的空洞采用步骤A获得的背景深度图像中相应的背景深度值进行填充，原始前景图像中的空洞采用权值估计函数的值进行填充。

5.根据权利要求4所述的改进的高斯混合模型深度图像增强方法，其特征在于，所述权值估计函数为：

P＝I*D(i,j)+J*|Pi-Pj|+K*BG

式中，I、J、K是权值，D(i,j)是空洞点i和待搜索点j之间的几何距离，J*|Pi-Pj|是像素值的绝对值之和，当空洞点周围带搜素的点属于前景点时BG＝0，当空洞点周围带搜素的点属于背景点时BG＝1。