CN102523464A - 一种双目立体视频的深度图像估计方法 - Google Patents

一种双目立体视频的深度图像估计方法 Download PDF

Info

Publication number
CN102523464A
CN102523464A CN2011104105047A CN201110410504A CN102523464A CN 102523464 A CN102523464 A CN 102523464A CN 2011104105047 A CN2011104105047 A CN 2011104105047A CN 201110410504 A CN201110410504 A CN 201110410504A CN 102523464 A CN102523464 A CN 102523464A
Authority
CN
China
Prior art keywords
image
pixel
depth
depth image
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011104105047A
Other languages
English (en)
Inventor
张秋闻
张兆扬
安平
张艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN2011104105047A priority Critical patent/CN102523464A/zh
Publication of CN102523464A publication Critical patent/CN102523464A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种双目立体视频的深度图像估计方法。它包括如下操作步骤：(1)从双目立体摄像机上采集双目立体视频图像；(2)对双目立体视频图像进行基于图割立体匹配的视差估计；(3)对图割立体匹配得到的视差图像进行一致性检查，采用自适应匹配删除不可靠的匹配，减小深度图像的误匹配；(4)根据视差与深度之间的关系，把视差图像转为深度图像；(5)采用多边滤波器对得到深度图像进行矫正优化；(6)输出深度图像，完成双目立体视频深度图像估计。本发明有效地消除了深度图像估计中的错误，最终能获得一个准确且稠密的深度图像，从而满足基于真实场景重建图像质量的要求。

Description

一种双目立体视频的深度图像估计方法
技术领域
    本发明涉及一种深度图像估计方法，特别是一种双目立体视频的深度图像估计方法。
背景技术
随着数字视频的迅速发展和广泛应用，人们对视频图像的质量和内容的多样性要求越来越高，传统的丢失了作为第三维深度信息的二维图像已不能满足人们的视觉要求，基于双目视差的可恢复深度信息的立体视频技术正在迅速发展。
现有的深度图像估计方法主要有两种：一种是直接通过深度摄像机获取，另一种是从输入视频通过立体匹配算法提取深度。深度摄像机原理是利用光源前端发射红外光线，通过接受反射的红外光线，计算其来回时间来确定物体深度，最后通过物体深度感光片来得到深度的黑白图像。其存在的缺陷明显，如光源前端精度有限，对于深度太大-过远，反射时间过长、深度太小-过近，反射时间过短和漫反射物体-反射光线没有返回，接收器都无法得到深度信息。不仅如此，从实用性上来看，要在每个摄像机中架上这样的一个深度摄像机似乎不太现实，故该系统一直只用于实验室中，并未得到广泛推广。
立体匹配算法只使用输入视频图像，即可生成深度，适合在现有的摄像模式上进行推广，故一直是深度图像获取方法的研究重点。现阶段应用于双目立体视频系统的大多立体匹配算法是基于能量最小化框架的全局方法。常用的能量最小算法是置信传播和图割立体匹配。尽管这些方可以得到稠密的深度图像，但在低纹理区域、遮挡区域和对象的边缘处发生误匹配，导致由视差图像经换算获取得的深度图像也有相应误差造成低准确性，这会影响真实场景重建图像质量，如何提高所获取深度图像的精确性已成为当前急需解决的技术难点。
发明内容
本发明的目的是提供一种的双目立体视频的深度图像估计方法，能消弱深度图像获取过程中在遮挡区域、低纹理区域以及对象边缘处发生误匹配的错误，提高获取深度图像精度，可用于双目立体视频系统接收端获得高精度的真实场景重建图像。
      
本发明解决其技术问题所采用的技术方案是：
一种双目立体视频的深度图像估计方法，其特征在于包括以下操作步骤：
(1)    采集双目立体视频图像：从双目立体摄像机上获取双目立体视频图像——左视点和右视点图像。
(2)    视差估计：用立体区域匹配方法分别逐帧估计出双目立体视频的从左到右视差图序列和从右到左视差图序列；其中能量函数的数据项中兼顾帧内误差和帧间误差；帧内误差综合使用了亮度绝对差均值MAD准则和梯度绝对差总和SGRAD准则，并且各个像素依据在窗口中的重要程度自适应调整权重；
(3)    视差图像一致性检查：将所述从左到右视差图序列和从右到左视差图序列分别进行一致性检查，修正不可靠的视场匹配信息；
(4)    视差深度转化：将所述从左到右视差图序列和从右到左视差图序列分别转化为左视点深度图像序列和右视点深度图像序列：
Figure 2011104105047100002DEST_PATH_IMAGE002
Figure 2011104105047100002DEST_PATH_IMAGE004
其中，
Figure 2011104105047100002DEST_PATH_IMAGE006
是深度值，
Figure 2011104105047100002DEST_PATH_IMAGE008
是深度的量化值，是焦距，
Figure 2011104105047100002DEST_PATH_IMAGE012
是基线距离，为步骤三计算出的视差，
Figure 2011104105047100002DEST_PATH_IMAGE016
表示视差偏移，此值决定于相机参数，
Figure 2011104105047100002DEST_PATH_IMAGE018
和取决于设定的视差搜索区间；
(5)    深度图像矫正优化：采用多边滤波方法逐帧优化双目立体视频的深度图像序列；
(6)    深度图像输出：输出深度图像，完成双目立体视频深度图像估计。
上述步骤（2）视差估计中从左到右和从右到左的视差图序列中各帧的估计方法相同，具体操作步骤如下：
(2-1)           利用mean-shift算法对双目立体视频图像进行过分割；
(2-2)           构造能量函数为：
Figure 2011104105047100002DEST_PATH_IMAGE022
    
其中
Figure 2011104105047100002DEST_PATH_IMAGE024
是数据项，
Figure 2011104105047100002DEST_PATH_IMAGE026
是平滑项， 
Figure 2011104105047100002DEST_PATH_IMAGE028
为权重系数，
Figure 2011104105047100002DEST_PATH_IMAGE030
；
Figure 76611DEST_PATH_IMAGE024
表示为 ：
Figure 2011104105047100002DEST_PATH_IMAGE032
其中
Figure 2011104105047100002DEST_PATH_IMAGE034
为权重系数，
Figure 2011104105047100002DEST_PATH_IMAGE036
；MAD为亮度绝对差均值，
SGRAD为梯度的表示式，表示为：
Figure 2011104105047100002DEST_PATH_IMAGE038
其中
Figure 2011104105047100002DEST_PATH_IMAGE040
为匹配窗口内包含的像素点，
Figure 2011104105047100002DEST_PATH_IMAGE042
为像素点
Figure 931434DEST_PATH_IMAGE040
的亮度值，为常数，
Figure 2011104105047100002DEST_PATH_IMAGE046
，且
Figure 648855DEST_PATH_IMAGE044
不能同时为0。  
Figure 2011104105047100002DEST_PATH_IMAGE048
为权重系数表示为：
Figure 2011104105047100002DEST_PATH_IMAGE050
式中，
Figure 2011104105047100002DEST_PATH_IMAGE052
表示两幅图像的平均亮度差，
Figure 2011104105047100002DEST_PATH_IMAGE054
决定了平均亮度差能多大程度上影响
Figure 2011104105047100002DEST_PATH_IMAGE056
。       
式中
Figure 2011104105047100002DEST_PATH_IMAGE058
是时域代价表达式为：
Figure 2011104105047100002DEST_PATH_IMAGE060
式中
Figure 2011104105047100002DEST_PATH_IMAGE062
和
Figure 2011104105047100002DEST_PATH_IMAGE064
分别表示当前帧和前一帧静止背景区域的深度值；
Figure 857113DEST_PATH_IMAGE026
表示为：
Figure 2011104105047100002DEST_PATH_IMAGE066
其中，
Figure 2011104105047100002DEST_PATH_IMAGE068
，
Figure 2011104105047100002DEST_PATH_IMAGE070
为匹配窗口的相邻的两像素点，
Figure 2011104105047100002DEST_PATH_IMAGE072
为像素点的视差值，
Figure 2011104105047100002DEST_PATH_IMAGE074
为像素点
Figure 363455DEST_PATH_IMAGE070
的视差值，
Figure 2011104105047100002DEST_PATH_IMAGE076
为为像素点的标号，
Figure 2011104105047100002DEST_PATH_IMAGE078
为为像素点
Figure 767071DEST_PATH_IMAGE070
的标号，
Figure 2011104105047100002DEST_PATH_IMAGE080
为权重系数，
Figure 2011104105047100002DEST_PATH_IMAGE082
；
(2-3)           依据所述数据项和平滑项构建出相应的网格图，采用
Figure 2011104105047100002DEST_PATH_IMAGE084
算法计算出各个像素对应的视差信息，得到视差图；
上述步骤（3）视差图像一致性检查中从左到右视差图序列和从右到左视差图序列中各帧的一致性检查方法相同，包括以下步骤：
(3-1)           依据下式选取需要修正视差信息的误匹配点进行修正：
Figure 2011104105047100002DEST_PATH_IMAGE086
其中，
Figure 2011104105047100002DEST_PATH_IMAGE088
。
Figure 2011104105047100002DEST_PATH_IMAGE090
是视差图上任意像素，
Figure 2011104105047100002DEST_PATH_IMAGE092
是左视点上像素的横坐标，
Figure 2011104105047100002DEST_PATH_IMAGE094
是右视点上像素的横坐标，
Figure 2011104105047100002DEST_PATH_IMAGE096
为左视点图像上的像素
Figure 2011104105047100002DEST_PATH_IMAGE098
从左到右的视差信息；
Figure 2011104105047100002DEST_PATH_IMAGE100
为右视点图像上的与左视点图像上
Figure 248999DEST_PATH_IMAGE098
像素匹配的像素
Figure 2011104105047100002DEST_PATH_IMAGE102
从右到左的视差信息，为阈值，是修正后的视差值；
(3-2)           根据深度图像精度与计算时间折中选定循环执行步骤 (3-1)的次数；
(3-3)           循环执行N次步骤 (3-1)。
上述步骤（5）深度图像矫正优化中的用多边滤波方法优化深度图像序列包括以下步骤：
(5-1)           纹理分析：对于低纹理区域采用图像纹理分析方法对纹理进行判定，根据纹理类型选择多边滤波器的滤波器窗口大小参数，图像低纹理区域采用小的几何扩散强度，一般纹理区域采用中等几何扩散强度
Figure 2011104105047100002DEST_PATH_IMAGE110
，其他区域都是用大的几何扩散强度
Figure 2011104105047100002DEST_PATH_IMAGE112
；
(5-2)           边界分析：提取视频图像中的边缘信息；
(5-3)           深度图矫正：用多边滤波器滤除深度异常值；
为双目立体视频的深度图像
Figure 2011104105047100002DEST_PATH_IMAGE114
中
Figure 2011104105047100002DEST_PATH_IMAGE116
处的像素点，
Figure 2011104105047100002DEST_PATH_IMAGE118
为
Figure 809742DEST_PATH_IMAGE068
的邻域；
Figure 546754DEST_PATH_IMAGE070
是
Figure 70139DEST_PATH_IMAGE118
中的像素点，其像素值为
Figure 2011104105047100002DEST_PATH_IMAGE120
，深度取样值为
Figure 2011104105047100002DEST_PATH_IMAGE122
，对点采用多边滤波器滤波，输出为：
Figure 2011104105047100002DEST_PATH_IMAGE124
式中，归一化因子
Figure 2011104105047100002DEST_PATH_IMAGE126
为
Figure DEST_PATH_IMAGE128
其中，
Figure DEST_PATH_IMAGE130
、
Figure DEST_PATH_IMAGE132
和
Figure DEST_PATH_IMAGE134
分别为空间权重函数、图像像素值权重函数和深度取样值权重函数；为二值滤波器，是以
Figure 410936DEST_PATH_IMAGE068
为中心的空间高斯函数, 
Figure 746102DEST_PATH_IMAGE132
是以
Figure 475024DEST_PATH_IMAGE068
的像素值为中心的高斯函数：
Figure DEST_PATH_IMAGE136
Figure DEST_PATH_IMAGE138
Figure DEST_PATH_IMAGE140
为所述滤波器窗口大小参数；
Figure DEST_PATH_IMAGE142
是范围筛选的标准差。
(5-4)           完成深度图像矫正优化。
 
本发明对双目立体视频图像进行基于图割立体匹配算法得出深度图像，然后对已提取出的深度图像在遮挡区域、低纹理区域以及对象边缘处对深度作矫正优化，提高深度图像的质量具有如下有益效果：
（1）该方法采用基于图割立体匹配算法从双目立体视频中获取深度图像，合理利用了双目视点提供的图像信息，消除了深度图像获取中在遮挡区域、低纹理区域以及对象边缘处错误，提高了获取精度，最终能获得一个准确且稠密的深度图像，从而满足基于真实场景重建图像质量的要求，具有复杂度低，获取深度图像质量高的优点。
（2）在构建时能量函数的数据项时，综合了使用了亮度绝对差均值MAD准则和梯度绝对差总和SGRAD准则，并且各个像素依据在窗口中的重要程度自适应调整权重；抑制因亮度差异导致的误匹配并保护边缘信息。
（3）通过“最小匹配误差”和“匹配误差平均”的自适应匹配误差检测来提高深度图像估计的准确度。两幅视差图中不一致之处主要是由遮挡引起的误匹配。当发生遮挡时，非遮挡视点的匹配误差远小于遮挡的匹配误差。此时，使用“最小匹配误差”对遮挡处理效果好。当发生伪匹配时，它的匹配误差一般不会比非伪匹配时的匹配误差小很多，这时选用“匹配误差平均”对伪匹配而言是确当的。
（4）进行多边滤波方法优化深度图像，矫正会影响真实场景重建的对象边界及低纹理区深度不连续处的深度匹配错误，以保护深度图像细节，获得准确的深度图像。
（5）利用mean-shift算法对双目立体视频图像进行过分割，使边界信息更加突出。
附图说明
图1是本发明的一种双目立体视频的深度图像估计方法流程框图；
图2是图1中的对双目立体视频进行视差估计的程序框图；
    图3是图1中的提高初始深度匹配精度的深度图像一致性检查程序框图；
图4是图1中的深度图像矫正优化的程序框图。
具体实施方式
以下结合附图对本发明的实施例作进一步的详细说明。
本实施例以本发明的技术方案为前提进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施例子。
本双目立体视频的深度图像估计方法如下（参见附图1-4）：
本方法的操作步骤如下：
(1)    采集双目立体视频图像：从双目立体摄像机上获取双目立体视频图像——左视点和右视点图像。
(2)    视差估计：用立体区域匹配方法分别逐帧估计出双目立体视频的从左到右视差图序列和从右到左视差图序列；其中能量函数的数据项中兼顾帧内误差和帧间误差；帧内误差综合使用了亮度绝对差均值MAD准则和梯度绝对差总和SGRAD准则，并且各个像素依据在窗口中的重要程度自适应调整权重；具体操作步骤如下：
(2-1)           利用mean-shift算法对双目立体视频图像进行过分割；
(2-2)           构造能量函数
Figure DEST_PATH_IMAGE144
为：
Figure 429204DEST_PATH_IMAGE022
    
其中
Figure 927182DEST_PATH_IMAGE024
是数据项，
Figure 698829DEST_PATH_IMAGE026
是平滑项，
Figure 649467DEST_PATH_IMAGE028
为权重系数，
Figure 469656DEST_PATH_IMAGE030
；
Figure 822139DEST_PATH_IMAGE024
表示为 ：
Figure 764688DEST_PATH_IMAGE032
其中为权重系数，；MAD为亮度绝对差均值，
SGRAD为梯度的表示式，表示为：
Figure 965316DEST_PATH_IMAGE038
其中
Figure 78765DEST_PATH_IMAGE040
为匹配窗口内包含的像素点，
Figure 3996DEST_PATH_IMAGE042
为像素点
Figure 165987DEST_PATH_IMAGE040
的亮度值，为常数，，且不能同时为0。  
Figure 890043DEST_PATH_IMAGE048
为权重系数表示为：
Figure 9309DEST_PATH_IMAGE050
式中，
Figure 198982DEST_PATH_IMAGE052
表示左视图和右视图的平均亮度差。       
式中
Figure 98805DEST_PATH_IMAGE058
是时域代价表达式为：
Figure 602599DEST_PATH_IMAGE060
式中
Figure 904267DEST_PATH_IMAGE062
和
Figure 264841DEST_PATH_IMAGE064
分别表示当前帧和前一帧静止背景区域的深度值；
表示为：
Figure DEST_PATH_IMAGE146
其中，
Figure 959445DEST_PATH_IMAGE068
，
Figure 850040DEST_PATH_IMAGE070
为匹配窗口的相邻的两像素点，
Figure 584778DEST_PATH_IMAGE072
为像素点
Figure 193614DEST_PATH_IMAGE068
的视差值，
Figure 304790DEST_PATH_IMAGE074
为像素点
Figure 315471DEST_PATH_IMAGE070
的视差值，
Figure 221110DEST_PATH_IMAGE076
为为像素点
Figure 317242DEST_PATH_IMAGE068
的标号，为为像素点
Figure 831717DEST_PATH_IMAGE070
的标号，
Figure 970574DEST_PATH_IMAGE080
为权重系数，
Figure 491685DEST_PATH_IMAGE082
；
(2-3)           依据所述数据项和平滑项构建出相应的网格图，采用
Figure 741401DEST_PATH_IMAGE084
算法计算出各个像素对应的视差信息，得到视差图；
(3)    视差图像一致性检查：将所述从左到右视差图序列和从右到左视差图序列分别进行一致性检查，修正不可靠的视场匹配信息；具体操作步骤如下：
(3-1)           依据下式选取需要修正视差信息的误匹配点进行修正：
Figure DEST_PATH_IMAGE148
其中，
Figure 726675DEST_PATH_IMAGE088
。是视差图上任意像素，
Figure 44841DEST_PATH_IMAGE092
是左视点上像素的横坐标，
Figure 98247DEST_PATH_IMAGE094
是右视点上像素的横坐标，
Figure 875710DEST_PATH_IMAGE096
为左视点图像上的像素
Figure 356370DEST_PATH_IMAGE098
从左到右的视差信息；
Figure 586495DEST_PATH_IMAGE100
为右视点图像上的与左视点图像上
Figure 443592DEST_PATH_IMAGE098
像素匹配的像素
Figure 137879DEST_PATH_IMAGE102
从右到左的视差信息，
Figure 727123DEST_PATH_IMAGE104
为阈值，
Figure 772439DEST_PATH_IMAGE106
是修正后的视差值；
(3-2)           根据深度图像精度与计算时间折中选定循环执行步骤 (3-1)的次数；
(3-3)           循环执行N次步骤 (3-1)。
(4)    视差深度转化：将所述从左到右视差图序列和从右到左视差图序列分别转化为左视点深度图像序列和右视点深度图像序列：
Figure DEST_PATH_IMAGE152
其中，是深度值，
Figure 609386DEST_PATH_IMAGE008
是深度的量化值，
Figure 697428DEST_PATH_IMAGE010
是焦距，
Figure 964461DEST_PATH_IMAGE012
是基线距离，为步骤三计算出的视差，表示视差偏移，此值决定于相机参数，
Figure 763287DEST_PATH_IMAGE018
和
Figure 517616DEST_PATH_IMAGE020
取决于设定的视差搜索区间；
(5)    深度图像矫正优化：采用多边滤波方法逐帧优化双目立体视频的深度图像序列。具体操作步骤如下：
(5-1)           纹理分析：对于低纹理区域采用图像纹理分析方法对纹理进行判定，根据纹理类型选择多边滤波器的滤波器窗口大小参数，图像低纹理区域采用小的几何扩散强度
Figure 254628DEST_PATH_IMAGE108
，一般纹理区域采用中等几何扩散强度
Figure 715696DEST_PATH_IMAGE110
，其他区域都是用大的几何扩散强度
Figure 145541DEST_PATH_IMAGE112
；
(5-2)           边界分析：提取视频图像中的边缘信息；
(5-3)           深度图矫正：用多边滤波器滤除深度异常值；
Figure 121587DEST_PATH_IMAGE068
为双目立体视频的深度图像
Figure 599973DEST_PATH_IMAGE114
中
Figure 243444DEST_PATH_IMAGE116
处的像素点，
Figure 578610DEST_PATH_IMAGE118
为
Figure 307532DEST_PATH_IMAGE068
的邻域；
Figure 324029DEST_PATH_IMAGE070
是
Figure 822007DEST_PATH_IMAGE118
中的像素点，其像素值为
Figure 328074DEST_PATH_IMAGE120
，深度取样值为
Figure 544292DEST_PATH_IMAGE122
，对点
Figure 364480DEST_PATH_IMAGE068
采用多边滤波器滤波，输出为：
Figure 716964DEST_PATH_IMAGE124
式中，归一化因子
Figure 659513DEST_PATH_IMAGE126
为
Figure DEST_PATH_IMAGE154
其中，
Figure 35130DEST_PATH_IMAGE130
、和
Figure 928317DEST_PATH_IMAGE134
分别为空间权重函数、图像像素值权重函数和深度取样值权重函数；
Figure 713870DEST_PATH_IMAGE134
为二值滤波器，是以
Figure 863409DEST_PATH_IMAGE068
为中心的空间高斯函数, 
Figure 190485DEST_PATH_IMAGE132
是以
Figure 412519DEST_PATH_IMAGE068
的像素值为中心的高斯函数：
Figure DEST_PATH_IMAGE156
Figure DEST_PATH_IMAGE158
Figure 825046DEST_PATH_IMAGE140
为所述滤波器窗口大小参数；
Figure 525149DEST_PATH_IMAGE142
是范围筛选的标准差。
(5-4)           完成深度图像矫正优化。
(6)    深度图像输出：输出深度图像，完成双目立体视频深度图像估计。
 
       采用MPEG组织提供的标准测试序列Lovebird1、Kendo、Balloons、Newspaper验证本发明方法，绘制合成虚拟视图的主客观质量与现有的深度估计方法对比。主观质量得到明显改善，客观质量如表1所示。采用双目立体摄像机获取的自然场景图像适用于本发明提出的方法估计深度图像。
表1 合成虚拟视图客观质量

Claims (4)

1.一种双目立体视频的深度图像估计方法，其特征在于包括以下操作步骤：
（1）采集双目立体视频图像：从双目立体摄像机上获取双目立体视频图像——左视点和右视点图像；
（2）视差估计：用立体区域匹配方法分别逐帧估计出双目立体视频的从左到右视差图序列和从右到左视差图序列；其中能量函数的数据项中兼顾帧内误差和帧间误差；帧内误差综合使用了亮度绝对差均值MAD准则和梯度绝对差总和SGRAD准则，并且各个像素依据在窗口中的重要程度自适应调整权重；
（3）视差图像一致性检查：将所述从左到右视差图序列和从右到左视差图序列分别进行一致性检查，修正不可靠的视场匹配信息；
（4）视差深度转化：将所述从左到右视差图序列和从右到左视差图序列分别转化为左视点深度图像序列和右视点深度图像序列：
Figure 823634DEST_PATH_IMAGE001
Figure 979809DEST_PATH_IMAGE002
其中，
Figure 839180DEST_PATH_IMAGE003
是深度值，
Figure 448016DEST_PATH_IMAGE004
是深度的量化值，
Figure 355929DEST_PATH_IMAGE005
是焦距，是基线距离，
Figure 396884DEST_PATH_IMAGE007
为步骤三计算出的视差，
Figure 493016DEST_PATH_IMAGE008
表示视差偏移，由相机参数决定，
Figure 266937DEST_PATH_IMAGE009
和
Figure 397704DEST_PATH_IMAGE010
为设定的视差搜索区间；
（5）深度图像矫正优化：采用多边滤波方法逐帧优化双目立体视频的深度图像序列；
（6）深度图像输出：输出深度图像，完成双目立体视频深度图像估计。
2.根据权利要求1所述的一种双目立体视频的深度图像估计方法，其特征在于所述步骤（2）视差估计中从左到右和从右到左的视差图序列中各帧的估计方法相同，具体操作步骤如下：
（2-1）利用mean-shift算法对双目立体视频图像进行过分割；
（2-2）构造能量函数
Figure 536561DEST_PATH_IMAGE011
为：
    
其中是数据项，
Figure 417295DEST_PATH_IMAGE014
是平滑项，
Figure 789371DEST_PATH_IMAGE015
为权重系数，
Figure 594516DEST_PATH_IMAGE016
；
Figure 647922DEST_PATH_IMAGE013
表示为 ：
Figure 544160DEST_PATH_IMAGE017
其中
Figure 24820DEST_PATH_IMAGE018
为权重系数，；MAD为亮度绝对差均值，
SGRAD为梯度的表示式，表示为：
Figure 236675DEST_PATH_IMAGE020
其中
Figure 196541DEST_PATH_IMAGE021
为匹配窗口内包含的像素点，
Figure 910419DEST_PATH_IMAGE022
为像素点的亮度值，
Figure 85366DEST_PATH_IMAGE023
为常数，
Figure 962055DEST_PATH_IMAGE024
，且不能同时为0.  
Figure 113867DEST_PATH_IMAGE025
为权重系数表示为：
Figure 312768DEST_PATH_IMAGE026
式中，
Figure 981646DEST_PATH_IMAGE027
表示左视图和右视图的平均亮度差；       
式中
Figure 975010DEST_PATH_IMAGE029
是时域代价表达式为：
Figure 791656DEST_PATH_IMAGE030
式中和分别表示当前帧和前一帧静止背景区域的深度值；
Figure 544215DEST_PATH_IMAGE033
表示为：
Figure 785840DEST_PATH_IMAGE034
其中，
Figure 326543DEST_PATH_IMAGE035
，
Figure 704435DEST_PATH_IMAGE036
为匹配窗口的相邻的两像素点，
Figure 367497DEST_PATH_IMAGE037
为像素点
Figure 830839DEST_PATH_IMAGE035
的视差值，为像素点
Figure 469948DEST_PATH_IMAGE036
的视差值，为为像素点
Figure 192234DEST_PATH_IMAGE035
的标号，
Figure 74739DEST_PATH_IMAGE040
为为像素点
Figure 489540DEST_PATH_IMAGE036
的标号，
Figure 432088DEST_PATH_IMAGE041
为权重系数，
Figure 870023DEST_PATH_IMAGE042
；
（2-3）依据所述数据项和平滑项构建出相应的网格图，采用算法计算出各个像素对应的视差信息，得到视差图。
3.根据权利要求1所述的一种双目立体视频的深度图像估计方法，其特征在于所述步骤（3）视差图像一致性检查中从左到右视差图序列和从右到左视差图序列中各帧的一致性检查方法相同，包括以下步骤：
（3-1）依据下式选取需要修正视差信息的误匹配点进行修正：
Figure 825526DEST_PATH_IMAGE044
其中，
Figure 938976DEST_PATH_IMAGE045
；
Figure 864206DEST_PATH_IMAGE046
是视差图上任意像素，
Figure 150831DEST_PATH_IMAGE047
是左视点上像素的横坐标，
Figure 477907DEST_PATH_IMAGE048
是右视点上像素的横坐标，
Figure 496679DEST_PATH_IMAGE049
为左视点图像上的像素
Figure 971523DEST_PATH_IMAGE050
从左到右的视差信息；
Figure 999521DEST_PATH_IMAGE051
为右视点图像上的与左视点图像上
Figure 181104DEST_PATH_IMAGE050
像素匹配的像素
Figure 636356DEST_PATH_IMAGE052
从右到左的视差信息，
Figure 332917DEST_PATH_IMAGE053
为阈值，
Figure 899027DEST_PATH_IMAGE054
是修正后的视差值；
（3-2）根据深度图像精度与计算时间折中选定循环执行步骤 (3-1)的次数；
（3-3）循环执行N次步骤 (3-1)。
4.根据权利要求1所述的一种双目立体视频的深度图像估计方法，其特征在于所述步骤（5）深度图像矫正优化中的用多边滤波方法优化深度图像序列包括以下步骤：
（5-1）纹理分析：对于低纹理区域采用图像纹理分析方法对纹理进行判定，根据纹理类型选择多边滤波器的滤波器窗口大小参数，图像低纹理区域采用小的几何扩散强度
Figure 200696DEST_PATH_IMAGE055
，一般纹理区域采用中等几何扩散强度
Figure 826849DEST_PATH_IMAGE056
，其他区域都是用大的几何扩散强度
Figure 10706DEST_PATH_IMAGE057
；
（5-2）边界分析：提取视频图像中的边缘信息；
（5-3）深度图矫正：用多边滤波器滤除深度异常值；
Figure 380507DEST_PATH_IMAGE035
为双目立体视频的深度图像
Figure 536682DEST_PATH_IMAGE058
中
Figure 396054DEST_PATH_IMAGE059
处的像素点，为
Figure 43296DEST_PATH_IMAGE035
的邻域；
Figure 53977DEST_PATH_IMAGE036
是
Figure 21933DEST_PATH_IMAGE060
中的像素点，其像素值为
Figure 180382DEST_PATH_IMAGE061
，深度取样值为
Figure 891986DEST_PATH_IMAGE062
，对点
Figure 757174DEST_PATH_IMAGE035
采用多边滤波器滤波，输出为：
Figure 896031DEST_PATH_IMAGE063
式中，归一化因子
Figure 541776DEST_PATH_IMAGE064
为
Figure 57071DEST_PATH_IMAGE065
其中，
Figure 776766DEST_PATH_IMAGE066
、和
Figure 219565DEST_PATH_IMAGE068
分别为空间权重函数、图像像素值权重函数和深度取样值权重函数；
Figure 272972DEST_PATH_IMAGE068
为二值滤波器，
Figure 112752DEST_PATH_IMAGE066
是以
Figure 655729DEST_PATH_IMAGE035
为中心的空间高斯函数, 
Figure 213749DEST_PATH_IMAGE067
是以
Figure 805267DEST_PATH_IMAGE035
的像素值为中心的高斯函数：
Figure 499554DEST_PATH_IMAGE069
为所述滤波器窗口大小参数；
Figure 653958DEST_PATH_IMAGE072
是范围筛选的标准差；
（5-4）完成深度图像矫正优化。
CN2011104105047A 2011-12-12 2011-12-12 一种双目立体视频的深度图像估计方法 Pending CN102523464A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011104105047A CN102523464A (zh) 2011-12-12 2011-12-12 一种双目立体视频的深度图像估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011104105047A CN102523464A (zh) 2011-12-12 2011-12-12 一种双目立体视频的深度图像估计方法

Publications (1)

Publication Number Publication Date
CN102523464A true CN102523464A (zh) 2012-06-27

Family

ID=46294241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011104105047A Pending CN102523464A (zh) 2011-12-12 2011-12-12 一种双目立体视频的深度图像估计方法

Country Status (1)

Country Link
CN (1) CN102523464A (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867304A (zh) * 2012-09-04 2013-01-09 南京航空航天大学 双目立体视觉系统中场景立体深度与视差的关系建立方法
CN103295229A (zh) * 2013-05-13 2013-09-11 清华大学深圳研究生院 视频深度信息恢复的全局立体匹配方法
CN103455792A (zh) * 2013-08-20 2013-12-18 深圳市飞瑞斯科技有限公司 一种客流量统计方法及系统
CN103458261A (zh) * 2013-09-08 2013-12-18 华东电网有限公司 一种基于立体视觉的视频场景变化检测方法
CN103617608A (zh) * 2013-10-24 2014-03-05 四川长虹电器股份有限公司 通过双目图像获得深度图的方法
CN104735360A (zh) * 2013-12-18 2015-06-24 华为技术有限公司 光场图像处理方法和装置
CN105144236A (zh) * 2013-02-23 2015-12-09 微软技术许可有限责任公司 实时立体匹配
CN105279736A (zh) * 2014-07-21 2016-01-27 由田新技股份有限公司 产生深度图像的方法及其系统
CN105427336A (zh) * 2015-12-31 2016-03-23 青岛歌尔声学科技有限公司 一种基于双目视频的测距方法和装置
CN106028018A (zh) * 2016-05-31 2016-10-12 上海易维视科技股份有限公司 面向裸眼3d显示的实拍双视点3d视频优化方法及系统
CN106530409A (zh) * 2016-11-03 2017-03-22 浙江大学 立体匹配中局部区域一致性对应方法
WO2017067523A1 (zh) * 2015-10-22 2017-04-27 努比亚技术有限公司 图像处理方法、装置及移动终端
CN107194931A (zh) * 2017-05-09 2017-09-22 西安交通大学 一种基于双目图像匹配获取目标深度信息的方法和系统
CN108154529A (zh) * 2018-01-04 2018-06-12 北京大学深圳研究生院 一种双目图像的立体匹配方法及系统
CN108604371A (zh) * 2016-02-25 2018-09-28 深圳市大疆创新科技有限公司 成像系统和方法
CN108629812A (zh) * 2018-04-11 2018-10-09 深圳市逗映科技有限公司 一种基于双目相机的测距方法
CN108961383A (zh) * 2017-05-19 2018-12-07 杭州海康威视数字技术股份有限公司 三维重建方法及装置
CN109191512A (zh) * 2018-07-27 2019-01-11 深圳市商汤科技有限公司 双目图像的深度估计方法及装置、设备、程序及介质
CN109345582A (zh) * 2018-08-14 2019-02-15 西安电子科技大学 基于优化的置信传播算法和稀疏表示的深度图像获取方法
CN109377530A (zh) * 2018-11-30 2019-02-22 天津大学 一种基于深度神经网络的双目深度估计方法
CN109544619A (zh) * 2018-11-06 2019-03-29 深圳市爱培科技术股份有限公司 一种基于图割的双目视觉立体匹配方法及系统
CN109640066A (zh) * 2018-12-12 2019-04-16 深圳先进技术研究院 高精度稠密深度图像的生成方法和装置
CN109791697A (zh) * 2016-09-12 2019-05-21 奈安蒂克公司 使用统计模型从图像数据预测深度
WO2019149206A1 (zh) * 2018-02-01 2019-08-08 深圳市商汤科技有限公司 深度估计方法和装置、电子设备、程序和介质
CN110798676A (zh) * 2019-11-29 2020-02-14 苏州新光维医疗科技有限公司 一种利用内镜镜头动态图像形成3d视觉的方法及装置
CN111105451A (zh) * 2019-10-31 2020-05-05 武汉大学 一种克服遮挡效应的驾驶场景双目深度估计方法
CN111210468A (zh) * 2018-11-22 2020-05-29 中移（杭州）信息技术有限公司 一种图像深度信息获取方法及装置
CN111402309A (zh) * 2020-03-05 2020-07-10 中国科学院上海微系统与信息技术研究所 一种多目立体相机的校准及深度图像处理方法
CN111986517A (zh) * 2020-08-26 2020-11-24 珠海大横琴科技发展有限公司 一种船只异常检测方法、装置及存储介质
CN112950698A (zh) * 2021-03-18 2021-06-11 北京拙河科技有限公司 基于双目散焦图像的深度估计方法、装置、介质和设备
CN113034568A (zh) * 2019-12-25 2021-06-25 杭州海康机器人技术有限公司 一种机器视觉深度估计方法、装置、系统
WO2021159717A1 (zh) * 2020-02-14 2021-08-19 苏州浪潮智能科技有限公司 一种内容自适应双目匹配方法和装置
CN113891059A (zh) * 2019-03-09 2022-01-04 核心光电有限公司 对双摄像机进行立体校准的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924953A (zh) * 2010-09-03 2010-12-22 南京农业大学 基于基准点的简便匹配方法
CN102254348A (zh) * 2011-07-25 2011-11-23 北京航空航天大学 一种基于块匹配视差估计的中间视图合成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924953A (zh) * 2010-09-03 2010-12-22 南京农业大学 基于基准点的简便匹配方法
CN102254348A (zh) * 2011-07-25 2011-11-23 北京航空航天大学 一种基于块匹配视差估计的中间视图合成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张秋闻等: "基于虚拟视点绘制失真估计的深度图帧内编码", 《电子与信息学报》 *
张秋闻等: "面向编码和绘制的多视点图像深度估计", 《光电子激光》 *

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867304B (zh) * 2012-09-04 2015-07-01 南京航空航天大学 双目立体视觉系统中场景立体深度与视差的关系建立方法
CN102867304A (zh) * 2012-09-04 2013-01-09 南京航空航天大学 双目立体视觉系统中场景立体深度与视差的关系建立方法
CN105144236A (zh) * 2013-02-23 2015-12-09 微软技术许可有限责任公司 实时立体匹配
CN103295229A (zh) * 2013-05-13 2013-09-11 清华大学深圳研究生院 视频深度信息恢复的全局立体匹配方法
CN103295229B (zh) * 2013-05-13 2016-01-20 清华大学深圳研究生院 视频深度信息恢复的全局立体匹配方法
CN103455792A (zh) * 2013-08-20 2013-12-18 深圳市飞瑞斯科技有限公司 一种客流量统计方法及系统
CN103458261A (zh) * 2013-09-08 2013-12-18 华东电网有限公司 一种基于立体视觉的视频场景变化检测方法
CN103617608B (zh) * 2013-10-24 2016-07-06 四川长虹电器股份有限公司 通过双目图像获得深度图的方法
CN103617608A (zh) * 2013-10-24 2014-03-05 四川长虹电器股份有限公司 通过双目图像获得深度图的方法
CN104735360A (zh) * 2013-12-18 2015-06-24 华为技术有限公司 光场图像处理方法和装置
CN105279736A (zh) * 2014-07-21 2016-01-27 由田新技股份有限公司 产生深度图像的方法及其系统
WO2017067523A1 (zh) * 2015-10-22 2017-04-27 努比亚技术有限公司 图像处理方法、装置及移动终端
CN105427336A (zh) * 2015-12-31 2016-03-23 青岛歌尔声学科技有限公司 一种基于双目视频的测距方法和装置
CN108604371A (zh) * 2016-02-25 2018-09-28 深圳市大疆创新科技有限公司 成像系统和方法
CN106028018A (zh) * 2016-05-31 2016-10-12 上海易维视科技股份有限公司 面向裸眼3d显示的实拍双视点3d视频优化方法及系统
CN109791697B (zh) * 2016-09-12 2023-10-13 奈安蒂克公司 使用统计模型从图像数据预测深度
CN109791697A (zh) * 2016-09-12 2019-05-21 奈安蒂克公司 使用统计模型从图像数据预测深度
CN106530409A (zh) * 2016-11-03 2017-03-22 浙江大学 立体匹配中局部区域一致性对应方法
CN106530409B (zh) * 2016-11-03 2019-08-27 浙江大学 立体匹配中局部区域一致性对应方法
CN107194931A (zh) * 2017-05-09 2017-09-22 西安交通大学 一种基于双目图像匹配获取目标深度信息的方法和系统
CN108961383B (zh) * 2017-05-19 2021-12-14 杭州海康威视数字技术股份有限公司 三维重建方法及装置
CN108961383A (zh) * 2017-05-19 2018-12-07 杭州海康威视数字技术股份有限公司 三维重建方法及装置
CN108154529A (zh) * 2018-01-04 2018-06-12 北京大学深圳研究生院 一种双目图像的立体匹配方法及系统
CN108154529B (zh) * 2018-01-04 2021-11-23 北京大学深圳研究生院 一种双目图像的立体匹配方法及系统
KR102295403B1 (ko) 2018-02-01 2021-08-31 선전 센스타임 테크놀로지 컴퍼니 리미티드 깊이 추정 방법 및 장치, 전자 기기, 프로그램 및 매체
US11308638B2 (en) 2018-02-01 2022-04-19 Shenzhen Sensetime Technology Co., Ltd. Depth estimation method and apparatus, electronic device, program, and medium
WO2019149206A1 (zh) * 2018-02-01 2019-08-08 深圳市商汤科技有限公司 深度估计方法和装置、电子设备、程序和介质
KR20200049833A (ko) * 2018-02-01 2020-05-08 선전 센스타임 테크놀로지 컴퍼니 리미티드 깊이 추정 방법 및 장치, 전자 기기, 프로그램 및 매체
CN108629812A (zh) * 2018-04-11 2018-10-09 深圳市逗映科技有限公司 一种基于双目相机的测距方法
WO2020019765A1 (zh) * 2018-07-27 2020-01-30 深圳市商汤科技有限公司 双目图像的深度估计方法及装置、设备、程序及介质
CN109191512B (zh) * 2018-07-27 2020-10-30 深圳市商汤科技有限公司 双目图像的深度估计方法及装置、设备、程序及介质
CN109191512A (zh) * 2018-07-27 2019-01-11 深圳市商汤科技有限公司 双目图像的深度估计方法及装置、设备、程序及介质
US11295466B2 (en) 2018-07-27 2022-04-05 Shenzhen Sensetime Technology Co., Ltd. Method and apparatus for estimating depth of binocular image, device, program, and medium
TWI721510B (zh) * 2018-07-27 2021-03-11 大陸商深圳市商湯科技有限公司 雙目圖像的深度估計方法、設備及儲存介質
CN109345582A (zh) * 2018-08-14 2019-02-15 西安电子科技大学 基于优化的置信传播算法和稀疏表示的深度图像获取方法
CN109544619A (zh) * 2018-11-06 2019-03-29 深圳市爱培科技术股份有限公司 一种基于图割的双目视觉立体匹配方法及系统
CN111210468A (zh) * 2018-11-22 2020-05-29 中移（杭州）信息技术有限公司 一种图像深度信息获取方法及装置
CN111210468B (zh) * 2018-11-22 2023-07-11 中移（杭州）信息技术有限公司 一种图像深度信息获取方法及装置
CN109377530B (zh) * 2018-11-30 2021-07-27 天津大学 一种基于深度神经网络的双目深度估计方法
CN109377530A (zh) * 2018-11-30 2019-02-22 天津大学 一种基于深度神经网络的双目深度估计方法
CN109640066A (zh) * 2018-12-12 2019-04-16 深圳先进技术研究院 高精度稠密深度图像的生成方法和装置
WO2020119467A1 (zh) * 2018-12-12 2020-06-18 深圳先进技术研究院 高精度稠密深度图像的生成方法和装置
CN109640066B (zh) * 2018-12-12 2020-05-22 深圳先进技术研究院 高精度稠密深度图像的生成方法和装置
CN113891059B (zh) * 2019-03-09 2024-02-13 核心光电有限公司 对双摄像机进行立体校准的方法
CN113891059A (zh) * 2019-03-09 2022-01-04 核心光电有限公司 对双摄像机进行立体校准的方法
CN111105451A (zh) * 2019-10-31 2020-05-05 武汉大学 一种克服遮挡效应的驾驶场景双目深度估计方法
CN111105451B (zh) * 2019-10-31 2022-08-05 武汉大学 一种克服遮挡效应的驾驶场景双目深度估计方法
CN110798676A (zh) * 2019-11-29 2020-02-14 苏州新光维医疗科技有限公司 一种利用内镜镜头动态图像形成3d视觉的方法及装置
CN113034568A (zh) * 2019-12-25 2021-06-25 杭州海康机器人技术有限公司 一种机器视觉深度估计方法、装置、系统
CN113034568B (zh) * 2019-12-25 2024-03-29 杭州海康机器人股份有限公司 一种机器视觉深度估计方法、装置、系统
WO2021159717A1 (zh) * 2020-02-14 2021-08-19 苏州浪潮智能科技有限公司 一种内容自适应双目匹配方法和装置
US11651507B2 (en) 2020-02-14 2023-05-16 Inspur Suzhou Intelligent Technology Co., Ltd. Content-adaptive binocular matching method and apparatus
CN111402309A (zh) * 2020-03-05 2020-07-10 中国科学院上海微系统与信息技术研究所 一种多目立体相机的校准及深度图像处理方法
CN111402309B (zh) * 2020-03-05 2023-11-03 中国科学院上海微系统与信息技术研究所 一种多目立体相机的校准及深度图像处理方法
CN111986517A (zh) * 2020-08-26 2020-11-24 珠海大横琴科技发展有限公司 一种船只异常检测方法、装置及存储介质
CN112950698A (zh) * 2021-03-18 2021-06-11 北京拙河科技有限公司 基于双目散焦图像的深度估计方法、装置、介质和设备
CN112950698B (zh) * 2021-03-18 2024-03-26 北京拙河科技有限公司 基于双目散焦图像的深度估计方法、装置、介质和设备

Similar Documents

Publication Publication Date Title
CN102523464A (zh) 一种双目立体视频的深度图像估计方法
KR101310213B1 (ko) 깊이 영상의 품질 개선 방법 및 장치
US9014462B2 (en) Depth information generating device, depth information generating method, and stereo image converter
RU2423018C2 (ru) Способ и система для преобразования стереоконтента
CN101720047B (zh) 基于颜色分割的多目摄像立体匹配获取深度图像的方法
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
CN103996174B (zh) 一种对Kinect深度图像进行空洞修复的方法
KR101377325B1 (ko) 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법
CN109308719B (zh) 一种基于三维卷积的双目视差估计方法
CN103455984A (zh) 一种Kinect深度图像获取方法与装置
CN106228605A (zh) 一种基于动态规划的立体匹配三维重建方法
KR20120136813A (ko) 영상 처리 장치 및 방법
US10154242B1 (en) Conversion of 2D image to 3D video
TW201029443A (en) Method and device for generating a depth map
JP2012249038A (ja) 画像信号処理装置、画像信号処理方法
US20140340486A1 (en) Image processing system, image processing method, and image processing program
CN102881018B (zh) 一种图像深度图生成方法
KR101364860B1 (ko) 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
CN104156957A (zh) 一种稳定高效的高分辨率立体匹配方法
CN111047709A (zh) 一种双目视觉裸眼3d图像生成方法
CN102447917A (zh) 立体图像匹配方法及其设备
CN111553940B (zh) 一种深度图人像边缘优化方法及处理装置
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
CN103716615A (zh) 基于样本学习和深度图像传播的2d视频立体化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120627