CN103617608A - 通过双目图像获得深度图的方法 - Google Patents

Abstract

本发明涉及通过双目图像获得深度图的方法，包括：a.对转换的左目视图和右目视图中值滤波；b.建立左、右目视图的最小生成树，然后计算出对应的左、右目梯度轮廓图像；c.平移得到2n幅左、右目视差范围序列图像和2n幅左、右目梯度视差范围图像；d.按权重求得左、右目梯度轮廓图像差值的均值和左、右目视差范围序列图像差值的均值，得到2n幅差值权重视差表和权重系数表；e.进行相似度聚合滤波，求得左右目2n幅聚合视差表，在2n幅聚合视差表中，取相同像素位置的最小聚合值表。本发明能够快速准确的得到序列图位置和图像深度图，并且图像的前景背景深度信息丰富，轮廓清晰，能够有效提高裸眼3D图像的质量，进一步推动裸眼3D技术的发展。

Description

通过双目图像获得深度图的方法

技术领域

本发明涉及图像处理，具体的讲是通过双目图像获得深度图的方法。

背景技术

随着影视视频技术的高速发展，电视电影视频节目进入千家万户的时候，2D平面电影和视频节目已经无法满足人们对视觉冲击和层次体验的强烈需求了。目前3D电影视频的悄然兴起，解决了人们对当前立体电影视频的观看需求。但目前的3D电影视频体验仍然不能脱离佩戴眼镜的模式，在体验3D效果的同时，佩戴眼镜给观众带来了不少的烦恼，所以裸眼3D设备的需求呼之欲出。而裸眼3D的关键技术就是在于求图像的深度图。

发明内容

本发明提供了一种通过双目图像获得深度图的方法，快速准确的得到序列图位置和图像深度图，并且图像的前景背景深度信息丰富，轮廓清晰。

本发明通过双目图像获得深度图的方法，包括：

a．对双目原始视频图像进行分图转换，分为左目视图和右目视图，并且对所述的左目视图和右目视图进行中值滤波；

b．对滤波后的分图以像素索引号为节点，像素间的距离为边，分别建立左、右目视图的最小生成树，然后将左、右目图像转换为灰度图像后计算出左、右目图像的对应的左目梯度轮廓图像和右目梯度轮廓图像；

c．以零平面为基准，左目图像到右目图像共有2n的视差范围，其中0到n表示正视差，0到-n表示负视差；按照所述的2n视差范围用左目视图和右目视图分别平移出对应的2n幅左目视差范围序列图像和2n幅右目视差范围序列图像，以及用所述左目梯度轮廓图像和右目梯度轮廓图像分别平移出对应的2n幅左目梯度视差范围图像和2n幅右目梯度视差范围图像。在3D图像中，以屏幕为基准，落在屏幕后面的是正视差，落在屏幕前面的负视差。n的取值根据双目图像视差大小而定，根据经验针对480×270大小级别的图像n的取值范围是15到20；

d．将步骤c中得到的左、右目视差范围序列图像和左、右目梯度视差范围图像，与对应的步骤a的左、右目视图和步骤b的左、右目梯度轮廓图像一一做差值，并按权重求得左、右目梯度轮廓图像差值的均值和左、右目视差范围序列图像差值的均值，将所述两个均值比较后，如果偏重梯度轮廓图像，则将梯度轮廓差值的权重设大，如果偏重色彩信息，则将左、右目视差范围序列图像的权重设大，最终得到2n幅差值权重视差表，进而求得权重系数表；

e．根据步骤b的左、右目视图的最小生成树和步骤d的2n幅差值权重视差表以及权重系数表进行相似度聚合滤波，求得左右目2n幅聚合视差表，在2n幅聚合视差表中，取相同像素位置的最小聚合值，得到的表即为当前视图的深度图。

本发明是通过双目图像计算前景背景深度图，其原理是利用左、右目视图的视差范围，平移左、右目图像，并在其移动的视差图序列中找到和相对的那一目图像中相同像素点在第几张视差序列图中。最后得到的准确序列图位置即为当前点的深度信息。

进一步的，步骤b建立最小生成树后，如果是3通道的RGB图像，则分别对各个通道求差值，最后对3个通道的差值求均值得到当前点到邻域点的距离，可以通过公式 $\mathrm{Dis}\tan \mathrm{ce}=\frac{|R1-R2|+|G1-G2|+|B1-B2|}{3}$ 求得。

优选的，步骤a所述的中值滤波为包括算法CTMF的快速中值滤波，也可以根据具体情况采用其它中值滤波算法。

优选的，中值滤波的滤波半径为1或2。

具体的，步骤b中像素间的距离计算包括计算4邻域或8邻域间的距离作为待计算的最小生成树的边。

进一步的，对步骤c中平移后图像空出的左右边缘位置，左、右目视差范围序列图像用对应平移图像的步骤a的左、右目视图的左右边缘列进行填充，左、右目梯度视差范围图像用对应平移图像的步骤b左、右目梯度轮廓图像的左右边缘列进行填充。

经过测试，优选的是步骤d的均值计算中，左、右目梯度轮廓图像的权值为0.8～0.9，左、右目视差范围序列图像的权值为0.1～0.2，并且对于左、右目视差范围序列图像中的RGB像素值分别进行差值计算，并求得差值的均值。

具体的，根据最小生成树的父节点和对应的子节点，以及步骤d的2n幅差值权重视差表和权重系数表进行相似度聚合滤波。

优选的，步骤d所述的权重系数表是0到255距离范围内的权重系数表，以获得整个范围内的权重系数表。

优选的，通过kruskal算法求的所述的最小生成树，也可以根据具体情况采用其它算法。

本发明的通过双目图像获得深度图的方法，能够快速准确的得到序列图位置和图像深度图，并且图像的前景背景深度信息丰富，轮廓清晰，能够有效提高裸眼3D图像的质量，进一步推动裸眼3D技术的发展。

以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。

附图说明

图1为本发明通过双目图像获得深度图的方法的流程图。

具体实施方式

如图1所示本发明通过双目图像获得深度图的方法，步骤为：

a．对双目原始视频图像进行分图转换，分为左目视图和右目视图，并且对所述的左目视图和右目视图通过CTMF算法进行中值滤波，滤波半径为1或2；

b．对滤波后的分图以像素索引号为节点，计算像素间4邻域或8邻域间的距离作为最小生成树的边，通过kruskal算法分别建立左、右目视图的最小生成树，如果是3通道的RGB图像，则分别对各个通道求差值，最后对3个通道的差值求均值得到当前点到邻域点的距离，可以通过公式 $\mathrm{Dis}\tan \mathrm{ce}=\frac{|R1-R2|+|G1-G2|+|B1-B2|}{3}$ 求得。然后将左、右目图像转换为灰度图像后计算出左、右目图像的对应的左目梯度轮廓图像和右目梯度轮廓图像；

c．以零平面为基准，左目图像到右目图像共有2n的视差范围，其中0到n表示正视差，0到-n表示负视差。按照所述的2n视差范围用左目视图和右目视图分别平移出对应的2n幅左目视差范围序列图像和2n幅右目视差范围序列图像，以及用所述左目梯度轮廓图像和右目梯度轮廓图像分别平移出对应的2n幅左目梯度视差范围图像和2n幅右目梯度视差范围图像；平移后图像空出的左右边缘位置，左、右目视差范围序列图像用对应平移图像的步骤a的左、右目视图的左右边缘列进行填充，左、右目梯度视差范围图像用对应平移图像的步骤b左、右目梯度轮廓图像的左右边缘列进行填充；n的取值根据双目图像视差大小而定，根据经验针对480×270大小级别的图像n的取值范围是15到20；

d．将步骤c中得到的左、右目视差范围序列图像和左、右目梯度视差范围图像，与对应的步骤a的左、右目视图和步骤b的左、右目梯度轮廓图像一一做差值，并按权重求得左、右目梯度轮廓图像差值的均值和左、右目视差范围序列图像差值的均值，左、右目梯度轮廓图像的权值为0.8～0.9，左、右目视差范围序列图像的权值为0.1～0.2，公式为：dis_color_gradient=0.12×color＋0.88×gradient。对于左、右目视差范围序列图像中的RGB像素值分别进行差值计算，并求得差值的均值。其中，color为右目原始彩色序列图像与左目原始彩色图像的对应差值，gradient为右梯度图像序列图与左梯度图像的对应差值。左目序列图差值也同此方法。将所述两个均值比较后，如果偏重梯度轮廓图像，则将梯度轮廓差值的权重设大，如果偏重色彩信息，则将左、右目视差范围序列图像的权重设大，最终得到2n幅差值权重视差表，再通过公式 $e^{-(\frac{i}{255}*\mathrm{SIGMA})}(i=[\mathrm{0,255}],\mathrm{SIGMA}=0.10~0.17)$ 求得0到255距离范围内的权重系数表；

e．根据步骤b的左、右目视图的最小生成树的父节点和对应的子节点，以及步骤d的2n幅差值权重视差表和权重系数表进行相似度聚合滤波，求得左右目2n幅聚合视差表，在2n幅聚合视差表中，取相同像素位置的最小聚合值，得到的表即为当前视图的深度图。

Claims (10)

1.通过双目图像获得深度图的方法，其特征包括：

a．对双目原始视频图像进行分图转换，分为左目视图和右目视图，并且对所述的左目视图和右目视图进行中值滤波；

b．对滤波后的分图以像素索引号为节点，像素间的距离为边，分别建立左、右目视图的最小生成树，然后将左、右目图像转换为灰度图像后计算出左、右目图像的对应的左目梯度轮廓图像和右目梯度轮廓图像；

c．以零平面为基准，左目图像到右目图像共有2n的视差范围，其中0到n表示正视差，0到-n表示负视差；按照所述的2n视差范围用左目视图和右目视图分别平移出对应的2n幅左目视差范围序列图像和2n幅右目视差范围序列图像，以及用所述左目梯度轮廓图像和右目梯度轮廓图像分别平移出对应的2n幅左目梯度视差范围图像和2n幅右目梯度视差范围图像；

d．将步骤c中得到的左、右目视差范围序列图像和左、右目梯度视差范围图像，与对应的步骤a的左、右目视图和步骤b的左、右目梯度轮廓图像一一做差值，并按权重求得左、右目梯度轮廓图像差值的均值和左、右目视差范围序列图像差值的均值，将所述两个均值比较后，如果偏重梯度轮廓图像，则将梯度轮廓差值的权重设大，如果偏重色彩信息，则将左、右目视差范围序列图像的权重设大，最终得到2n幅差值权重视差表，进而求得权重系数表；

e．根据步骤b的左、右目视图的最小生成树和步骤d的2n幅差值权重视差表以及权重系数表进行相似度聚合滤波，求得左右目2n幅聚合视差表，在2n幅聚合视差表中，取相同像素位置的最小聚合值，得到的表即为当前视图的深度图。

2.如权利要求1所述的通过双目图像获得深度图的方法，其特征为：步骤b建立最小生成树后，如果是3通道的RGB图像，则分别对各个通道求差值，最后对3个通道的差值求均值得到当前点到邻域点的距离。

3.如权利要求1所述的通过双目图像获得深度图的方法，其特征为：步骤a所述的中值滤波为包括算法CTMF的快速中值滤波。

4.如权利要求3所述的通过双目图像获得深度图的方法，其特征为：中值滤波的滤波半径为1或2。

5.如权利要求1所述的通过双目图像获得深度图的方法，其特征为：步骤b中像素间的距离计算包括计算4邻域或8邻域间的距离作为待计算的最小生成树的边。

6.如权利要求1所述的通过双目图像获得深度图的方法，其特征为：对步骤c中平移后图像空出的左右边缘位置，左、右目视差范围序列图像用对应平移图像的步骤a的左、右目视图的左右边缘列进行填充，左、右目梯度视差范围图像用对应平移图像的步骤b左、右目梯度轮廓图像的左右边缘列进行填充。

7.如权利要求1所述的通过双目图像获得深度图的方法，其特征为：步骤d的均值计算中，左、右目梯度轮廓图像的权值为0.8～0.9，左、右目视差范围序列图像的权值为0.1～0.2，并且对于左、右目视差范围序列图像中的RGB像素值分别进行差值计算，并求得差值的均值。

8.如权利要求1所述的通过双目图像获得深度图的方法，其特征为：根据最小生成树的父节点和对应的子节点，以及步骤d的2n幅差值权重视差表和权重系数表进行相似度聚合滤波。

9.如权利要求1至8之一所述的通过双目图像获得深度图的方法，其特征为：步骤d所述的权重系数表是0到255距离范围内的权重系数表。

10.如权利要求1至8之一所述的通过双目图像获得深度图的方法，其特征为：通过kruskal算法求的所述的最小生成树。

Images