CN103617608B - 通过双目图像获得深度图的方法 - Google Patents
通过双目图像获得深度图的方法 Download PDFInfo
- Publication number
- CN103617608B CN103617608B CN201310507079.2A CN201310507079A CN103617608B CN 103617608 B CN103617608 B CN 103617608B CN 201310507079 A CN201310507079 A CN 201310507079A CN 103617608 B CN103617608 B CN 103617608B
- Authority
- CN
- China
- Prior art keywords
- image
- eye diagram
- difference
- width
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及通过双目图像获得深度图的方法,包括:a.对转换的左目视图和右目视图中值滤波;b.建立左、右目视图的最小生成树,然后计算出对应的左、右目梯度轮廓图像;c.平移得到2n幅左、右目视差范围序列图像和2n幅左、右目梯度视差范围图像;d.按权重求得左、右目梯度轮廓图像差值的均值和左、右目视差范围序列图像差值的均值,得到2n幅差值权重视差表和权重系数表;e.进行相似度聚合滤波,求得左右目2n幅聚合视差表,在2n幅聚合视差表中,取相同像素位置的最小聚合值表。本发明能够快速准确的得到序列图位置和图像深度图,并且图像的前景背景深度信息丰富,轮廓清晰,能够有效提高裸眼3D图像的质量,进一步推动裸眼3D技术的发展。
Description
技术领域
本发明涉及图像处理,具体的讲是通过双目图像获得深度图的方法。
背景技术
随着影视视频技术的高速发展,电视电影视频节目进入千家万户的时候,2D平面电影和视频节目已经无法满足人们对视觉冲击和层次体验的强烈需求了。目前3D电影视频的悄然兴起,解决了人们对当前立体电影视频的观看需求。但目前的3D电影视频体验仍然不能脱离佩戴眼镜的模式,在体验3D效果的同时,佩戴眼镜给观众带来了不少的烦恼,所以裸眼3D设备的需求呼之欲出。而裸眼3D的关键技术就是在于求图像的深度图。
发明内容
本发明提供了一种通过双目图像获得深度图的方法,快速准确的得到序列图位置和图像深度图,并且图像的前景背景深度信息丰富,轮廓清晰。
本发明通过双目图像获得深度图的方法,包括:
a.对双目原始视频图像进行分图转换,分为左目视图和右目视图,并且对所述的左目视图和右目视图进行中值滤波;
b.对滤波后的分图以像素索引号为节点,像素间的距离为边,分别建立左、右目视图的最小生成树,然后将左、右目图像转换为灰度图像后计算出左、右目图像的对应的左目梯度轮廓图像和右目梯度轮廓图像;
c.以零平面为基准,左目图像到右目图像共有2n的视差范围,其中0到n表示正视差,0到-n表示负视差;按照所述的2n视差范围用左目视图和右目视图分别平移出对应的2n幅左目视差范围序列图像和2n幅右目视差范围序列图像,以及用所述左目梯度轮廓图像和右目梯度轮廓图像分别平移出对应的2n幅左目梯度视差范围图像和2n幅右目梯度视差范围图像。在3D图像中,以屏幕为基准,落在屏幕后面的是正视差,落在屏幕前面的负视差。n的取值根据双目图像视差大小而定,根据经验针对480×270大小级别的图像n的取值范围是15到20;
d.将步骤c中得到的左、右目视差范围序列图像和左、右目梯度视差范围图像,与对应的步骤a的左、右目视图和步骤b的左、右目梯度轮廓图像一一做差值,并按权重求得左、右目梯度轮廓图像差值的均值和左、右目视差范围序列图像差值的均值,将所述两个均值比较后,如果偏重梯度轮廓图像,则将梯度轮廓差值的权重设大,如果偏重色彩信息,则将左、右目视差范围序列图像的权重设大,最终得到2n幅差值权重视差表,进而求得权重系数表;
e.根据步骤b的左、右目视图的最小生成树和步骤d的2n幅差值权重视差表以及权重系数表进行相似度聚合滤波,求得左右目2n幅聚合视差表,在2n幅聚合视差表中,取相同像素位置的最小聚合值,得到的表即为当前视图的深度图。
本发明是通过双目图像计算前景背景深度图,其原理是利用左、右目视图的视差范围,平移左、右目图像,并在其移动的视差图序列中找到和相对的那一目图像中相同像素点在第几张视差序列图中。最后得到的准确序列图位置即为当前点的深度信息。
进一步的,步骤b建立最小生成树后,如果是3通道的RGB图像,则分别对各个通道求差值,最后对3个通道的差值求均值得到当前点到邻域点的距离,可以通过公式 求得。
优选的,步骤a所述的中值滤波为包括算法CTMF的快速中值滤波,也可以根据具体情况采用其它中值滤波算法。
优选的,中值滤波的滤波半径为1或2。
具体的,步骤b中像素间的距离计算包括计算4邻域或8邻域间的距离作为待计算的最小生成树的边。
进一步的,对步骤c中平移后图像空出的左右边缘位置,左、右目视差范围序列图像用对应平移图像的步骤a的左、右目视图的左右边缘列进行填充,左、右目梯度视差范围图像用对应平移图像的步骤b左、右目梯度轮廓图像的左右边缘列进行填充。
经过测试,优选的是步骤d的均值计算中,左、右目梯度轮廓图像的权值为0.8~0.9,左、右目视差范围序列图像的权值为0.1~0.2,并且对于左、右目视差范围序列图像中的RGB像素值分别进行差值计算,并求得差值的均值。
具体的,根据最小生成树的父节点和对应的子节点,以及步骤d的2n幅差值权重视差表和权重系数表进行相似度聚合滤波。
优选的,步骤d所述的权重系数表是0到255距离范围内的权重系数表,以获得整个范围内的权重系数表。
优选的,通过kruskal算法求的所述的最小生成树,也可以根据具体情况采用其它算法。
本发明的通过双目图像获得深度图的方法,能够快速准确的得到序列图位置和图像深度图,并且图像的前景背景深度信息丰富,轮廓清晰,能够有效提高裸眼3D图像的质量,进一步推动裸眼3D技术的发展。
以下结合实施例的具体实施方式,对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下,根据本领域普通技术知识和惯用手段做出的各种替换或变更,均应包括在本发明的范围内。
附图说明
图1为本发明通过双目图像获得深度图的方法的流程图。
具体实施方式
如图1所示本发明通过双目图像获得深度图的方法,步骤为:
a.对双目原始视频图像进行分图转换,分为左目视图和右目视图,并且对所述的左目视图和右目视图通过CTMF算法进行中值滤波,滤波半径为1或2;
b.对滤波后的分图以像素索引号为节点,计算像素间4邻域或8邻域间的距离作为最小生成树的边,通过kruskal算法分别建立左、右目视图的最小生成树,如果是3通道的RGB图像,则分别对各个通道求差值,最后对3个通道的差值求均值得到当前点到邻域点的距离,可以通过公式 求得。然后将左、右目图像转换为灰度图像后计算出左、右目图像的对应的左目梯度轮廓图像和右目梯度轮廓图像;
c.以零平面为基准,左目图像到右目图像共有2n的视差范围,其中0到n表示正视差,0到-n表示负视差。按照所述的2n视差范围用左目视图和右目视图分别平移出对应的2n幅左目视差范围序列图像和2n幅右目视差范围序列图像,以及用所述左目梯度轮廓图像和右目梯度轮廓图像分别平移出对应的2n幅左目梯度视差范围图像和2n幅右目梯度视差范围图像;平移后图像空出的左右边缘位置,左、右目视差范围序列图像用对应平移图像的步骤a的左、右目视图的左右边缘列进行填充,左、右目梯度视差范围图像用对应平移图像的步骤b左、右目梯度轮廓图像的左右边缘列进行填充;n的取值根据双目图像视差大小而定,根据经验针对480×270大小级别的图像n的取值范围是15到20;
d.将步骤c中得到的左、右目视差范围序列图像和左、右目梯度视差范围图像,与对应的步骤a的左、右目视图和步骤b的左、右目梯度轮廓图像一一做差值,并按权重求得左、右目梯度轮廓图像差值的均值和左、右目视差范围序列图像差值的均值,左、右目梯度轮廓图像的权值为0.8~0.9,左、右目视差范围序列图像的权值为0.1~0.2,公式为:dis_color_gradient=0.12×color+0.88×gradient。对于左、右目视差范围序列图像中的RGB像素值分别进行差值计算,并求得差值的均值。其中,color为右目原始彩色序列图像与左目原始彩色图像的对应差值,gradient为右梯度图像序列图与左梯度图像的对应差值。左目序列图差值也同此方法。将所述两个均值比较后,如果偏重梯度轮廓图像,则将梯度轮廓差值的权重设大,如果偏重色彩信息,则将左、右目视差范围序列图像的权重设大,最终得到2n幅差值权重视差表,再通过公式 求得0到255距离范围内的权重系数表;
e.根据步骤b的左、右目视图的最小生成树的父节点和对应的子节点,以及步骤d的2n幅差值权重视差表和权重系数表进行相似度聚合滤波,求得左右目2n幅聚合视差表,在2n幅聚合视差表中,取相同像素位置的最小聚合值,得到的表即为当前视图的深度图。
Claims (9)
1.通过双目图像获得深度图的方法,其特征包括:
a.对双目原始视频图像进行分图转换,分为左目视图和右目视图,并且对所述的左目视图和右目视图进行中值滤波;
b.对滤波后的分图以像素索引号为节点,像素间的距离为边,分别建立左、右目视图的最小生成树,然后将左、右目图像转换为灰度图像后计算出左、右目图像的对应的左目梯度轮廓图像和右目梯度轮廓图像;
c.以零平面为基准,左目图像到右目图像共有2n的视差范围,其中0到n表示正视差,0到-n表示负视差;按照所述的2n视差范围用左目视图和右目视图分别平移出对应的2n幅左目视差范围序列图像和2n幅右目视差范围序列图像,以及用所述左目梯度轮廓图像和右目梯度轮廓图像分别平移出对应的2n幅左目梯度视差范围图像和2n幅右目梯度视差范围图像;
d.将步骤c中得到的左、右目视差范围序列图像和左、右目梯度视差范围图像,与对应的步骤a的左、右目视图和步骤b的左、右目梯度轮廓图像一一做差值,并按权重求得左、右目梯度轮廓图像差值的均值和左、右目视差范围序列图像差值的均值,将所述两个均值比较后,如果偏重梯度轮廓图像,则将梯度轮廓差值的权重设大,如果偏重色彩信息,则将左、右目视差范围序列图像的权重设大,最终得到2n幅差值权重视差表,再通过公式求得0到255距离范围内的权重系数表,其中,i=[0,255],SIGMA=0.10~0.17;
e.根据步骤b的左、右目视图的最小生成树和步骤d的2n幅差值权重视差表以及权重系数表进行相似度聚合滤波,求得左右目2n幅聚合视差表,在2n幅聚合视差表中,取相同像素位置的最小聚合值,得到的表即为当前视图的深度图。
2.如权利要求1所述的通过双目图像获得深度图的方法,其特征为:步骤b建立最小生成树后,如果是3通道的RGB图像,则分别对各个通道求差值,最后对3个通道的差值求均值得到当前点到邻域点的距离。
3.如权利要求1所述的通过双目图像获得深度图的方法,其特征为:步骤a所述的中值滤波为包括算法CTMF的快速中值滤波。
4.如权利要求3所述的通过双目图像获得深度图的方法,其特征为:中值滤波的滤波半径为1或2。
5.如权利要求1所述的通过双目图像获得深度图的方法,其特征为:步骤b中像素间的距离计算包括计算4邻域或8邻域间的距离作为待计算的最小生成树的边。
6.如权利要求1所述的通过双目图像获得深度图的方法,其特征为:对步骤c中平移后图像空出的左右边缘位置,左、右目视差范围序列图像用对应平移图像的步骤a的左、右目视图的左右边缘列进行填充,左、右目梯度视差范围图像用对应平移图像的步骤b左、右目梯度轮廓图像的左右边缘列进行填充。
7.如权利要求1所述的通过双目图像获得深度图的方法,其特征为:步骤d的均值计算中,左、右目梯度轮廓图像的权值为0.8~0.9,左、右目视差范围序列图像的权值为0.1~0.2,并且对于左、右目视差范围序列图像中的RGB像素值分别进行差值计算,并求得差值的均值。
8.如权利要求1所述的通过双目图像获得深度图的方法,其特征为:根据最小生成树的父节点和对应的子节点,以及步骤d的2n幅差值权重视差表和权重系数表进行相似度聚合滤波。
9.如权利要求1至8之一所述的通过双目图像获得深度图的方法,其特征为:通过kruskal算法求的所述的最小生成树。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310507079.2A CN103617608B (zh) | 2013-10-24 | 2013-10-24 | 通过双目图像获得深度图的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310507079.2A CN103617608B (zh) | 2013-10-24 | 2013-10-24 | 通过双目图像获得深度图的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103617608A CN103617608A (zh) | 2014-03-05 |
CN103617608B true CN103617608B (zh) | 2016-07-06 |
Family
ID=50168312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310507079.2A Active CN103617608B (zh) | 2013-10-24 | 2013-10-24 | 通过双目图像获得深度图的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103617608B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104850850B (zh) * | 2015-04-05 | 2017-12-01 | 中国传媒大学 | 一种结合形状和颜色的双目立体视觉图像特征提取方法 |
CN108024051B (zh) * | 2016-11-04 | 2021-05-04 | 宁波舜宇光电信息有限公司 | 距离参数计算方法,双摄像头模组和电子设备 |
CN109752951B (zh) | 2017-11-03 | 2022-02-08 | 腾讯科技(深圳)有限公司 | 控制系统的处理方法、装置、存储介质和电子装置 |
CN108537837B (zh) * | 2018-04-04 | 2023-05-05 | 腾讯科技(深圳)有限公司 | 一种深度信息确定的方法及相关装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100046837A1 (en) * | 2006-11-21 | 2010-02-25 | Koninklijke Philips Electronics N.V. | Generation of depth map for an image |
CN102223556A (zh) * | 2011-06-13 | 2011-10-19 | 天津大学 | 一种多视点立体图像零视差校正方法 |
CN102523464A (zh) * | 2011-12-12 | 2012-06-27 | 上海大学 | 一种双目立体视频的深度图像估计方法 |
CN103198473A (zh) * | 2013-03-05 | 2013-07-10 | 腾讯科技(深圳)有限公司 | 一种深度图生成方法及装置 |
-
2013
- 2013-10-24 CN CN201310507079.2A patent/CN103617608B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100046837A1 (en) * | 2006-11-21 | 2010-02-25 | Koninklijke Philips Electronics N.V. | Generation of depth map for an image |
CN102223556A (zh) * | 2011-06-13 | 2011-10-19 | 天津大学 | 一种多视点立体图像零视差校正方法 |
CN102523464A (zh) * | 2011-12-12 | 2012-06-27 | 上海大学 | 一种双目立体视频的深度图像估计方法 |
CN103198473A (zh) * | 2013-03-05 | 2013-07-10 | 腾讯科技(深圳)有限公司 | 一种深度图生成方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103617608A (zh) | 2014-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103646396B (zh) | 双目立体匹配算法的匹配代价算法和非局部立体匹配算法 | |
CN103617608B (zh) | 通过双目图像获得深度图的方法 | |
CN101271578B (zh) | 一种平面视频转立体视频技术中的深度序列生成方法 | |
CN103986925B (zh) | 基于亮度补偿的立体视频视觉舒适度评价方法 | |
CN103955954B (zh) | 一种结合同场景立体图对的高分辨率深度图像重建方法 | |
CN101247530A (zh) | 增强图像的立体效果的三维图像显示设备和方法 | |
CN102685369B (zh) | 消除左右眼图像重影的方法、重影消除器及3d播放器 | |
CN104065947B (zh) | 一种集成成像系统的深度图获取方法 | |
CN103248906B (zh) | 一种双目立体视频序列的深度图获取方法与系统 | |
CN103813153A (zh) | 一种基于加权求和的裸眼3d多视点图像合成方法 | |
CN107170000B (zh) | 基于全局块优化的立体影像密集匹配方法 | |
CN103384343B (zh) | 一种填补图像空洞的方法及其装置 | |
CN103310421A (zh) | 针对高清图像对的快速立体匹配方法及视差图获取方法 | |
CN103686162A (zh) | 一种3d显示串扰的测试方法及装置 | |
CN106600632A (zh) | 一种改进匹配代价聚合的立体匹配算法 | |
CN103105146B (zh) | 用于三维显示的柱透镜光栅的平整性检测方法 | |
CN104301706B (zh) | 一种增强裸眼立体显示效果的合成方法 | |
CN103248909A (zh) | 平面视频转化为立体视频的方法及系统 | |
CN104778673B (zh) | 一种改进的高斯混合模型深度图像增强方法 | |
CN109493373A (zh) | 一种基于双目立体视觉的立体匹配方法 | |
CN103985128A (zh) | 一种基于颜色内相关和自适应支撑权重的立体匹配方法 | |
CN104200453A (zh) | 基于图像分割和可信度的视差图像校正方法 | |
CN105761270A (zh) | 一种基于外极线距离变换的树型滤波立体匹配方法 | |
CN103955945A (zh) | 基于双目视差和活动轮廓的自适应彩色图像分割方法 | |
CN103869484B (zh) | 光学4f系统的大成像深度三维显示系统中成像深度的确定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |