CN102663712B - 基于飞行时间tof相机的深度计算成像方法 - Google Patents
基于飞行时间tof相机的深度计算成像方法 Download PDFInfo
- Publication number
- CN102663712B CN102663712B CN201210110335.XA CN201210110335A CN102663712B CN 102663712 B CN102663712 B CN 102663712B CN 201210110335 A CN201210110335 A CN 201210110335A CN 102663712 B CN102663712 B CN 102663712B
- Authority
- CN
- China
- Prior art keywords
- depth
- value
- camera
- item
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 7
- 238000003384 imaging method Methods 0.000 title abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000010586 diagram Methods 0.000 claims abstract description 26
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 238000012886 linear function Methods 0.000 claims abstract description 5
- 238000013519 translation Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 230000004304 visual acuity Effects 0.000 claims description 9
- 230000002146 bilateral effect Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 102220047090 rs6152 Human genes 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000006467 substitution reaction Methods 0.000 claims description 4
- 230000004438 eyesight Effects 0.000 abstract description 5
- 238000013139 quantization Methods 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 abstract 1
- 239000013598 vector Substances 0.000 description 23
- 239000011159 matrix material Substances 0.000 description 16
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明属于计算机视觉领域。在一般量化误差和过载误差之间取得平衡,使量化输出信噪比最优,本发明采取的技术方案是基于飞行时间TOF相机的深度计算成像方法,包括下列步骤:1)经过照相机标定,得到TOF相机和彩色相机各自的包括焦距、光心的内部参数和包括旋转、平移的外部参数;得到高分辨率图上的一些深度散点;2)构建能量函数的自回归模型项;3)构建能量函数的基础数据项和最终求解方程:利用初始的深度散点图构建能量函数的数据项;通过拉格朗日方程,将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程;4)利用线性函数优化方法对优化方程进行求解。本发明主要应用于数字图像处理。
Description
技术领域
本发明属于计算机视觉领域,涉及采用自回归模型对TOF深度相机的深度图优化方法。具体讲,涉及一种基于飞行时间TOF相机的深度计算成像方法。
背景技术
目前,3D(three-dimension)场景深度获取已经成为计算机视觉方面面临的一个最基本的挑战。它的应用涵盖了机器人导航,模型重建以及人机互动等方面。在以前的技术里,人们采取激光扫描以及立体匹配算法等方法去获得深度信息。不幸的是,这些现存的深度获取方法都不是很理想:比如,激光扫描采用逐点扫描,获取深度太耗费时间,不适用与动态场景;而立体匹配在无纹理及遮挡的场景区域会无法匹配,导致深度图不准确。
随着成像技术的进步,近年面市的深度相机突破了传统三维扫描仪只能对静态小尺度场景进行深度成像的限制,可以比较方便地获得较大尺度动态三维场景的深度。其中一种是TOF(time-of-flight)深度相机:它通过传感器CCD(Charge-Coupled Device)记录从发光单元发出的调制红外光到物体,再从物体反射回来的相位变化,在一个波长的范围内根据光速,可以实时的获取整个场景深度距离。TOF相机可以实时的获取一幅完整的场景深度信息,弥补了激光扫描和立体匹配的不足。但是,它的深度成像质量还难以满足应用需求:噪声多,TOF深度相机的深度分辨率较高,但是空间分辨率很低(5万像素左右,如200×200),与目前主流工业相机的空间分辨率(100万像素左右,如1024×768)还有很大的差距。受限于成像机理,这些深度成像方式短期内难以在成像分辨率和精度上获得进展,要实现更迅速的突破还需要借助于新思路与新方法。
针对提高TOF相机深度图的分辨率,国内外进行了大量的研究工作。现阶段,这些工作都是采用一个高分辨率的彩色照相机与低分辨率的TOF相机结合成一个双目系统来获得高分辨率的深度图。通过架构这样的系统,俩相机光心之间的相对位置可以通过严格的3D转换计算出来(通过俩相机各自的内参数和他们之间的外参数来计算)。通过转换,TOF相机产生的3D深度值可以和普通彩色相机产生的2D(two-dimension)彩色值对应起来。这样,在假设深度不连续的地方正好可以对应彩色图像的边缘,而颜色一致的区域含有相似的3D几何结构的情况下,可以利用高分辨率的彩色信息对低分辨率深度图进行超分辨率优化。一种方法是将超分辨率优化定义为一个基于马尔科夫场的后项概率问题。通过优化最大后项概率问题,可以提高分辨率。还有一类方法采用双边滤波器来实现超分辨率。因为双边滤波器在滤波的同时可以很好的保住边缘而不被模糊。根据这一特点,将其应用于深度图,可以在扩大分辨率的同时,同时维持边缘的锐利。最近,还有一类方法采用非局部均值滤波来实现超分辨率。他们通过非局部均值滤波可以判断出相似结构的特性,来实现超分辨率。但是,上述提到的方法都不能够很好的维持边缘的锐利性,并且在细小的结构上也容易产生混淆。
发明内容
本发明旨在解决克服现有技术的不足,在一般量化误差和过载误差之间取得平衡,使量化输出信噪比最优。为达到上述目的,解决TOF相机深度图分辨率过低的问题,提供一种简便实用的后处理的方法,TOF是时间飞行time-of-flight的字头缩写。本发明采取的技术方案是基于飞行时间TOF相机的深度计算成像方法,借助于一个200×200的TOF相机,一个640×480的彩色相机实现,彩色相机架在TOF相机的上方;所述方法包括下列步骤:
1)经过照相机标定,得到TOF相机和彩色相机各自的包括焦距、光心的内部参数和包括旋转、平移的外部参数;根据TOF相机和彩色相机的内部、外部参数,将TOF相机生成的低分辨率深度图扭转到彩色相机的视角,得到高分辨率图上的一些深度散点;此时,深度散点图和彩色相机拍出来的彩色图像是对齐的,利用彩色图片对深度散点图进行优化;
2)构建能量函数的自回归模型项:根据彩色图、导图以及每个像素点的邻域,对此像素点进行参数训练并代入自回归模型中,将得到自回归模型作为能量函数的一项列入求解方程;
3)构建能量函数的基础数据项和最终求解方程:利用初始的深度散点图构建能量函数的数据项;通过拉格朗日方程,将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程;
4)利用线性函数优化方法对优化方程进行求解。
自回归模型项的建立,具体包括以下步骤:
21)利用彩色图像,对其中的每一个像素,选取领域对其进行预测;
22)用双边滤波作为训练每个像素参数的基本方法,得到彩色图上的预测系数af,p,公式如下:
其中,对于当前像素f的邻域中每一个p点,I(f)是f点在彩色图I中的RGB三通道值,I(p)是p点在彩色图I中的RGB三通道值,∑RGB代表RGB三通道所求得的|I(f)-I(p)|2值之和,τ1,τ2分别为空间分辨率和彩色分辨率的调控参数,取值范围均为1.0~5.0;
23)用简单的双三次插值将原始的深度散点插值成一幅模糊的深度图像,也作为进行预测的图像,得到初始深度图上的预测系数ag,公式如下:
其中,Dg是插值后的深度图,Dg(f)、Dg(p)分别为f、p两点的深度值,τg为控制ag大小的参数,取值范围为4.0~9.0;
24)将公式1)和2)预测的系数相乘,得到:a=af,p×ag并带入到下式中作为自回归模型项:
其中,EAR为自回归模型项,D是欲求的高分辨率深度图,D(f)、D(p)分别为f、p两点的深度值,S是当前像素点的邻域范围,a为最终的预测系数。
基础数据项的建立,具体方法包括以下步骤:
31)将初始的深度散点图有值的像素点作为此项的有效值,根据这些点来预测其他为零的像素点的值,公式如下:
其中,Edata为数据项,D是欲求的高分辨率深度图,G是初始的深度散点图,D(f)、G(f)分别为像素f在D和G上的深度值,ζ是G中有效值的集合;
32)通过拉格朗日方程,将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程,具体公式如下:
其中,‘+’号前后分别为3)和4)中的EAB和Edata,λ取0.5。
本发明的方法的特点及效果:
本发明方法可以应用于实际的TOF系统上,避免了对成像设备硬件上的改变,采用后处理方法,通过用自回归模型和双边滤波的结合,实现了TOF深度图的超分辨率过程。具有以下特点:
1、系统容易架构,仅用一个辅助的彩色相机就可以完成TOF深度图的超分辨率
2、程序简单,易于实现。
3、采用自回归模型的预测效果对深度图进行超分辨率重建:将超分辨率问题具体的归结到自回归模型中进行优化,通过双边滤波的方法在对齐的彩色图像对自回归模型进行具有彩色导向的系数训练。这样可以很好的通过彩色图的预测对深度图进行处理。
4、通过采用双三次插值方法对原始数据深度散点插值出的边界模糊的深度图做导图,再次对自回归模型的系数进行优化。这样可以保证深度图不会错误的根据彩色图的颜色进行扩散。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是实际实施流程图
图2是实际搭设的系统图
图3是TOF相机拍摄低分辨率深度图,分辨率为200×200;
图4是通过扭转视角产生的于彩色图对齐的初始深度散点图;
图5是彩色相机拍出的彩色图像,分辨率为640×480;
图6是经过超分辨率重构后的深度图,分辨率为640×480。
具体实施方式
下面结合实施例和附图对本发明的采用具有导向的自回归模型对TOF深度相机的深度图优化方法做出详细说明。
为解决TOF相机深度图分辨率过低的问题,提供一种简便实用的后处理的方法。本发明的装置配备是:一个TOF PMD[vision]camcube3.0相机,一个Point Grey Flea2彩色相机;将彩色相机架在TOF相机的上方构成本系统。本发明采取的技术方案是,利用自回归模型对深度图进行超分辨率重建:将深度图超分辨率问题具体地表述为自回归模型求解方程,通过1)利用双边滤波的方法在对齐的彩色图像对自回归模型进行具有彩色导向的系数训练2)采用双三次插值方法对原始低分辨率插值出的边界模糊的深度图做导图,再次对自回归模型进行系数训练,将两部分得到的系数相乘作为最终的模型系数带入求解方程中并进行优化。具体方法包括以下步骤:
1)构造初始数据:
11)经过照相机标定,得到TOF相机和彩色相机各自的内部参数(焦距、光心)和外部参数(旋转、平移);
12)根据TOF相机和彩色相机的内外参数,将TOF相机生成的低分辨率深度图扭转到彩色相机的视角,得到高分辨率图上的一些深度散点。此时,深度散点图和彩色相机拍出来的彩色图像是对齐的,利用彩色图片对深度散点图进行优化。原始数据即为深度散点图像和相应的彩色图像;
2)构建能量函数的自回归模型项:根据彩色图以及每个像素点的邻域,对此像素点进行参数训练并代入自回归模型中。将得到自回归模型作为能量函数的一项列入求解方程:
21)利用彩色图像,对其中的每一个像素,选取它的(2w+1)×(2w+1)大小窗口的邻域对其进行预测。其中,w是窗口一半的大小;
22)用双边滤波作为训练每个像素参数的基本方法,得到彩色图上的预测系数af,p公式如下:
其中,对于当前像素f的邻域中每一个p点,I(f)、I(p)分别是f、p点在彩色图I中的RGB三通道值,∑RGB代表RGB三通道所求得的|I(f)-I(p)|2值之和,τ1,τ2分别为空间分辨率和彩色分辨率的调控参数;af,p的值越大,说明f,p两个点的相似度越高,用p点去预测f点准确概率会更高。
23)某些情况下,同一物体表面的像素点可能不具有相同的颜色信息,因此会导致预测不准。所以引进导图信息:用简单的双三次插值将原始的深度散点插值成模糊的深度图,也作为进行预测的图像,得到初始深度图上的预测系数ag公式如下:
其中,Dg是插值后的深度图,Dg(f)、Dg(p)分别为f、p两点的深度值,τg为控制ag大小的参数;
24)将22)和23)预测的系数相乘,得到:a=af,p×ag,并带入到下式中作为自回归模型项:
其中,EAR为自回归模型项,D是欲求的高分辨率深度图,D(f)、D(p)分别为f、p两点的深度值,S是当前像素点的邻域范围,a为最终的预测系数。
3)构建能量函数的基础数据项:利用初始的深度散点构建能量函数的数据项;通过拉格朗日方程,将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程;
31)将初始的深度散点图有值的像素点作为此项的有效值,根据这些点来预测其他为零的像素点的值,公式如下:
其中,Edata为数据项,D是欲求的高分辨率深度图,G是初始的深度散点图,D(f)、G(f)分别为像素f在D和G上的深度值,ζ是G中有效值的集合;
32)通过拉格朗日方程,将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程,具体公式如下:
其中,E(f)为能量函数,λ是加权因子,平衡两项之间的权重;
4)根据(5)式,利用线性函数优化方法对优化方程进行求解。
41)利用矩阵形式构造自回归模型项:将一个大小为MN图像采用列向量相接的方法转化成一个MN×1维向量,向量的每一个值代表原图像上的一个像素(如:原图像上的(i,j)点在新构造的向量里点的位置在M(j-1)+i;而每一个点又用一个MN×1维的向量独立进行预测。将2)中预测邻域得到的(2w+1)×(2w+1)个点的a值通过索引的方式填入当前像素点的预测向量内(没有预测系数的地方为零),可以得到最终的MN×MN的预测矩阵;将当前像素预测得到的(2w+1)×(2w+1)个点的a值进行归一化并取负(即所有a值相加等于-1,与D(f)的系数绝对值相等)。对每一个像素点都进行预测后,得到最后的构造矩阵Q。方程如下所示:
其中,Q为自回归项构造矩阵,||||2是2范数,f为待求的高分辨率图像;
42)利用矩阵形式构造基础数据项:将初始的深度散点图同样以列向量相接的方式转化成MN×1维的向量;抽出其中非零值从新构成一个p维向量,并且记住相应非零值在原向量中的索引值;初始化一个p×MN维的矩阵P,行p代表着非零的p个值,每一个值用MN×1维的向量构成;在每一行中,将对应的非零值的位置的索引处置为1,其他都为零。方程如下:
其中,P为数据项构造矩阵,||||2是2范数,f为待求的高分辨率图像,g为具有非零值的p维向量;
43)将上述的两个方程用拉格朗日算法连在一起构成了最后要求解的方程:
其中,E(f)为能量函数,λ是加权因子,平衡两项之间的权重;
所以,我们的目的就是通过求(8)中能量函数的最小值,即
来得到最后的f。根据上式,采用导数的方式求解:
其中,是E对f所求的导数。由此导出:
f=(PTP+λQTQ)-1Pg (10)
其中,PT、QT分别为P、Q的转置矩阵;
至此,f即为重构后的高分辨率图像。
本发明提出了一种采用具有导向的自回归模型对TOF深度相机的深度图优化方法(如图1的流程所示)。为解决TOF相机深度图分辨率过低的问题,提供一种简便实用的后处理的方法。本发明的装置配备是:一个200×200的TOF PMD[vision]camcube3.0相机,一个640×480的Point Grey Flea2彩色相机;将彩色相机架在TOF相机的上方构成本系统(如图2所示)。结合附图及实施例详细说明如下:
1)构造初始数据:
11)经过照相机标定,得到TOF相机和彩色相机各自的内部参数(焦距、光心)和外部参数(旋转、平移);
12)根据两相机的内外参数,将TOF相机生成的低分辨率深度图(如图3所示)扭转到彩色相机的视角,得到高分辨率图上的一些深度散点(如图4所示)。此时,深度散点图和彩色相机拍出来的彩色图像(如图5所示)是对齐的,可以利用彩色图片对深度散点图进行优化。原始数据即为深度散点图像和相应的彩色图像;
2)构建能量函数的自回归模型项:根据彩色图,根据每个像素点的邻域,对此像素点进行参数训练并代入自回归模型中。将得到自回归模型作为能量函数的一项列入优化方程;
21)利用彩色图像,对其中的每一个像素,选取它的9*9大小窗口的领域对其进行预测;
22)用双边滤波作为训练每个像素参数的基本方法,得到彩色图上的预测系数af,p,公式如下:
其中,对于当前像素f的邻域中每一个p点,I(f)、I(p)分别是f、p点在彩色图I中的RGB三通道值,∑RGB代表RGB三通道所求得的|I(f)-I(p)|2值之和,τ1,τ2分别为空间分辨率和彩色分辨率的调控参数,取值范围均为1.0~5.0,以中间值为佳;af,p的值越大,说明f,p两个点的相似度越高,用p点去预测f点准确概率很更高;
23)某些情况下,同一物体表面的像素点可能不具有相同的颜色信息,因此会导致预测不准。所以引进导图信息:用简单的双三次插值将原始的深度散点插值成一幅图片,也作为进行预测的图像,得到初始深度图上的,预测系数ag公式如下:
其中,Dg是插值后的深度图,Dg(f)、Dg(p)分别为f、p两点的深度值,τg为控制ag大小的参数,取值范围为4.0~9.0,以中间值为佳;
24)将22)和23)预测的系数相乘,得到:a=af,p×ag并带入到下式中作为自回归模型项:
其中,EAR为自回归模型项,D是欲求的高分辨率深度图,D(f)、D(p)分别为f、p两点的深度值,S是当前像素点的邻域范围,a为最终的预测系数。
3)构建能量函数的基础数据项:利用初始的深度散点构建能量函数的数据项;通过拉格朗日方程,将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程:
31)将初始的深度散点图有值的像素点作为此项的根据值,根据这些点来预测其他为零的像素点的值,公式如下:
其中,Edata为数据项,D是欲求的高分辨率深度图,G是初始的深度散点图,D(f)、G(f)分别为像素f在D和G上的深度值,ζ是G中有效值的集合;
32)通过拉格朗日方程,将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程,具体公式如下:
其中,E(f)为能量函数,λ是加权因子,平衡两项之间的权重,λ取0.5;
4)根据(5)式,利用线性函数优化方法对优化方程进行求解。
41)利用矩阵形式构造自回归模型项。将一个大小为640×480图像(如图4)采用列向量相接的方法转化成一个640×480维向量,向量的每一个值代表一个像素点;而每一个像素又用一个640×480的向量独立进行预测。将2)中预测邻域得到的9×9=81个点的a值通过索引的方式填入当前像素点的预测向量内,可以得到最终的(640×480,640×480)大小的预测矩阵;将当前像素预测得到的81个点的a值进行归一化并取负(即所有a值相加等于-1,与D(f)的系数绝对值相等)。对每一个像素点都进行预测后,得到最后的构造矩阵Q。方程如下所示:
其中,Q为自回归项构造矩阵,||||2是2范数,f为待求的高分辨率图像;
42)利用矩阵形式构造基础数据项。将初始的深度散点图同样以列向量相接的方式转化成640×480维的向量;抽出其中非零值从新构成一个p维向量,并且记住相应非零值在原向量中的索引值;初始化一个(p,640×480)的矩阵P,行p代表着非零的p个值,每一个值用640×480维的向量构成;在每一行中,将对应的非零值的位置的索引处置为1,其他都为零。方程如下:
其中,P为数据项构造矩阵,||||2是2范数,f为待求的高分辨率图像,g为具有非零值的p维向量;
43)将上述的两个方程用拉格朗日算法连在一起构成了最后要求解的方程,求解和得到:
f=(PTP+λQTQ)-1Pg (8)
其中,PT、QT分别为P、Q的转置矩阵;
至此,f即为最终得到的高分辨率深度图(如图6所示)。
Claims (2)
1.一种基于飞行时间TOF相机的深度计算成像方法,其特征是,借助于一个200×200的TOF相机,一个640×480的彩色相机实现,彩色相机架在TOF相机的上方;所述方法包括下列步骤:
1)经过照相机标定,得到TOF相机和彩色相机各自的包括焦距、光心的内部参数和包括旋转、平移的外部参数;根据TOF相机和彩色相机的内部、外部参数,将TOF相机生成的低分辨率深度图扭转到彩色相机的视角,得到高分辨率图上的一些深度散点;此时,深度散点图和彩色相机拍出来的彩色图像是对齐的,利用彩色图片对深度散点图进行优化;
2)构建能量函数的自回归模型项:根据彩色图、导图以及每个像素点的邻域,对此像素点进行参数训练并代入自回归模型中,将得到自回归模型作为能量函数的一项列入求解方程;
3)构建能量函数的基础数据项和最终求解方程:利用初始的深度散点图构建能量函数的数据项;通过拉格朗日方程,将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程;
4)利用线性函数优化方法对优化方程进行求解;
自回归模型项的建立,具体包括以下步骤:
21)利用彩色图像,对其中的每一个像素,选取邻域对其进行预测;
22)用双边滤波作为训练每个像素参数的基本方法,得到彩色图上的预测系数af,p,公式如下:
其中,对于当前像素f的邻域中每一个p点,I(f)是f点在彩色图I中的RGB三通道值,I(p)是p点在彩色图I中的RGB三通道值,ΣRGB代表RGB三通道所求得的|I(f)-I(p)|2值之和,τ1,τ2分别为空间分辨率和彩色分辨率的调控参数,τ1,τ2取值范围均为1.0~5.0;
23)用简单的双三次插值将原始的深度散点插值成一幅模糊的深度图像,也作为进行预测的图像,得到初始深度图上的预测系数ag,公式如下:
其中,Dg是插值后的深度图,Dg(f)、Dg(p)分别为f、p两点的深度值,τg为控制ag大小的参数,τg取值范围为4.0~9.0;
24)将公式1)和2)预测的系数相乘,得到:a=af,p×ag并带入到下式中作为自回归模型项:
其中,EAR为自回归模型项,D是欲求的高分辨率深度图,D(f)、D(p)分别为f、p两点的深度值,S是当前像素点的邻域范围,a为最终的预测系数。
2.如权利要求1所述的基于飞行时间TOF相机的深度计算成像方法,其特征是,基础数据项的建立,具体方法包括以下步骤:
31)将初始的深度散点图有值的像素点作为此项的有效值,根据这些点来预测其他为零的像素点的值,公式如下:
其中,Edata为数据项,D是欲求的高分辨率深度图,G是初始的深度散点图,D(f)、G(f)分别为像素f在D和G上的深度值,ζ是G中有效值的集合;
32)通过拉格朗日方程,将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程,具体公式如下:
其中,‘+’号前后分别为3)和4)中的EAR和Edata,λ取0.5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210110335.XA CN102663712B (zh) | 2012-04-16 | 2012-04-16 | 基于飞行时间tof相机的深度计算成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210110335.XA CN102663712B (zh) | 2012-04-16 | 2012-04-16 | 基于飞行时间tof相机的深度计算成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102663712A CN102663712A (zh) | 2012-09-12 |
CN102663712B true CN102663712B (zh) | 2014-09-17 |
Family
ID=46773191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210110335.XA Expired - Fee Related CN102663712B (zh) | 2012-04-16 | 2012-04-16 | 基于飞行时间tof相机的深度计算成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102663712B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2012154657A (ru) * | 2012-12-17 | 2014-06-27 | ЭлЭсАй Корпорейшн | Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной |
CN103218771B (zh) * | 2013-03-07 | 2015-09-23 | 天津大学 | 基于自回归模型深度恢复的参数自适应选取方法 |
CN103810685B (zh) * | 2014-02-25 | 2016-05-25 | 清华大学深圳研究生院 | 一种深度图的超分辨率处理方法 |
US9773155B2 (en) * | 2014-10-14 | 2017-09-26 | Microsoft Technology Licensing, Llc | Depth from time of flight camera |
CN104315995B (zh) * | 2014-11-15 | 2017-02-01 | 中国科学院光电研究院 | 基于虚拟多立方体标准目标的tof深度相机三维坐标标定装置和方法 |
CN104316083B (zh) * | 2014-11-15 | 2017-09-12 | 中国科学院光电研究院 | 一种虚拟多球体球心定位的tof深度相机三维坐标标定装置和方法 |
US9921298B2 (en) * | 2015-07-20 | 2018-03-20 | Google Llc | Method and apparatus for increasing the resolution of a time of flight pixel array |
CN105115445A (zh) * | 2015-09-14 | 2015-12-02 | 杭州光珀智能科技有限公司 | 基于深度相机与双目视觉复合的三维成像系统及成像方法 |
CN105657402B (zh) * | 2016-01-18 | 2017-09-29 | 深圳市未来媒体技术研究院 | 一种深度图恢复方法 |
US9760837B1 (en) * | 2016-03-13 | 2017-09-12 | Microsoft Technology Licensing, Llc | Depth from time-of-flight using machine learning |
CN105869167A (zh) * | 2016-03-30 | 2016-08-17 | 天津大学 | 基于主被动融合的高分辨率深度图获取方法 |
CN106056622B (zh) * | 2016-08-17 | 2018-11-06 | 大连理工大学 | 一种基于Kinect相机的多视点深度视频复原方法 |
CN107169933B (zh) * | 2017-04-14 | 2020-08-18 | 浙江光珀智能科技有限公司 | 一种基于tof深度相机的边缘反射像素校正方法 |
CN108495113B (zh) * | 2018-03-27 | 2020-10-27 | 百度在线网络技术(北京)有限公司 | 用于双目视觉系统的控制方法和装置 |
CN112040214A (zh) * | 2019-06-04 | 2020-12-04 | 万维科研有限公司 | 双摄像机三维立体成像系统和处理方法 |
CN110400273B (zh) | 2019-07-11 | 2022-03-22 | Oppo广东移动通信有限公司 | 深度数据的滤波方法、装置、电子设备和可读存储介质 |
CN112446836B (zh) * | 2019-09-05 | 2023-11-03 | 浙江舜宇智能光学技术有限公司 | 用于tof深度相机的数据处理方法及其系统 |
CN112633324A (zh) * | 2020-11-27 | 2021-04-09 | 中山大学 | 一种基于神经网络的环视立体视觉匹配系统、方法及介质 |
CN112837219B (zh) * | 2021-01-14 | 2024-07-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置以及电子设备 |
-
2012
- 2012-04-16 CN CN201210110335.XA patent/CN102663712B/zh not_active Expired - Fee Related
Non-Patent Citations (6)
Title |
---|
"Depth Super Resolution Using Bilateral Filter";Kim CholSu et al.;《4th International Congress on Image and Signal Processing》;20111231;1067-1071 * |
"Fusion of Time-of-Flight Depth and Stereo for High Accuracy Depth Maps";Jiejie Zhu et al.;《Computer Vision and Pattern Recognition, 2008. IEEE Conference》;20081231;1-8 * |
Huimin Yu et al.."Improveing Depth Estimation Through Fusion of Stereo and TOF".《International Conference on Multimedia Technology 2011(ICMT 2011)》.2011,563-565. |
Huimin Yu et al.."Improveing Depth Estimation Through Fusion of Stereo and TOF".《International Conference on Multimedia Technology 2011(ICMT 2011)》.2011,563-565. * |
JiejieZhuetal.."FusionofTime-of-FlightDepthandStereoforHighAccuracyDepthMaps".《ComputerVisionandPatternRecognition 2008. IEEE Conference》.2008 |
Kim CholSu et al.."Depth Super Resolution Using Bilateral Filter".《4th International Congress on Image and Signal Processing》.2011,1067-1071. |
Also Published As
Publication number | Publication date |
---|---|
CN102663712A (zh) | 2012-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102663712B (zh) | 基于飞行时间tof相机的深度计算成像方法 | |
CN102722863B (zh) | 采用自回归模型对深度图进行超分辨率重建的方法 | |
CN102867288B (zh) | 深度图像转换设备和方法 | |
CN111105432B (zh) | 基于深度学习的无监督端到端的驾驶环境感知方法 | |
CN103702103B (zh) | 基于双目相机的光栅立体印刷图像合成方法 | |
CN110310317A (zh) | 一种基于深度学习的单目视觉场景深度估计的方法 | |
CN102903098A (zh) | 一种基于图像清晰度差异的深度估计方法 | |
CN103310477B (zh) | 一种三维影像生成方法 | |
CN103868460A (zh) | 基于视差优化算法的双目立体视觉自动测量方法 | |
CN101908230A (zh) | 一种基于区域深度边缘检测和双目立体匹配的三维重建方法 | |
CN104680496A (zh) | 一种基于彩色图像分割的Kinect深度图修复方法 | |
CN102098528B (zh) | 一种平面图像的立体转换方法及装置 | |
CN101702781A (zh) | 基于光流法的2d转3d方法 | |
CN101883291A (zh) | 感兴趣区域增强的视点绘制方法 | |
CN113077505B (zh) | 一种基于对比学习的单目深度估计网络的优化方法 | |
CN104156957A (zh) | 一种稳定高效的高分辨率立体匹配方法 | |
CN103955954A (zh) | 一种结合同场景立体图对的高分辨率深度图像重建方法 | |
CN114868384B (zh) | 用于图像处理的设备及方法 | |
CN110992414A (zh) | 一种基于卷积神经网络的室内单目场景深度估计的方法 | |
CN104980726B (zh) | 一种联合运动向量的双目视频立体匹配方法 | |
CN111027415A (zh) | 一种基于偏振图像的车辆检测方法 | |
CN115330935A (zh) | 一种基于深度学习的三维重建方法及系统 | |
CN117745944A (zh) | 预训练模型确定方法、装置、设备以及存储介质 | |
CN104159098B (zh) | 一种视频的时域一致性半透明边缘提取方法 | |
CN111951339A (zh) | 利用异构双目相机进行视差计算的图像处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140917 |