CN103400366B - 基于条纹结构光的动态场景深度获取方法 - Google Patents
基于条纹结构光的动态场景深度获取方法 Download PDFInfo
- Publication number
- CN103400366B CN103400366B CN201310277892.5A CN201310277892A CN103400366B CN 103400366 B CN103400366 B CN 103400366B CN 201310277892 A CN201310277892 A CN 201310277892A CN 103400366 B CN103400366 B CN 103400366B
- Authority
- CN
- China
- Prior art keywords
- black
- stripe
- white
- image
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 108091026890 Coding region Proteins 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000002902 bimodal effect Effects 0.000 claims 1
- 239000003086 colorant Substances 0.000 description 5
- 238000000691 measurement method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于条纹结构光的动态场景深度获取方法,主要解决现有技术计算深度精度低,深度空间分辨率低的问题。其实现步骤为:设计De?Bruijn序列编码的黑白条纹模板P,用投影仪将其投射到三维场景中,用摄像机记录变形条纹图像U;利用投影仪和摄像机的几何关系与De?Bruijn序列确定变形条纹图像U中黑白条纹的序号;求取变形条纹图像U和黑白条纹模板P之间的相位差,利用黑白条纹的序号与相位差求取变形条纹图像中各像素点对应在黑白条纹模板P中的匹配点坐标;用匹配点坐标与线面相交几何关系求出变形条纹图像U中每个像素点的深度。本发明具有计算复杂度低、深度空间分辨率高、深度精度高的优点,可用于对动态场景的精确三维重建。
Description
技术领域
本发明属于图像处理技术领域,涉及动态场景深度的获取,可用于三维重建或目标识别。
背景技术
随着信息技术的飞速发展,三维物体深度信息的测量在很多应用领域是必不可少的,如工业自动化、移动机器人、人机交互和外科手术。目前,三维测量方法主要包括被动测量法和主动测量法。
被动测量法包括双目立体视觉法、离焦法和阴影法等方法。双目立体视觉法主要任务是求取两个摄像机获取到的图像视差,然后利用三角测量法求出深度,此方法对摄像机的同步工作要求高,并因求出的深度值比较稀少而被淘汰。离焦法和阴影法容易受到环境的影响,其求得的深度值精度不高。
主动测量法包括时间飞行法和结构光测量法。时间飞行法是通过计算接收到的光波的延时实现场景深度的求取。此方法所获取的三维场景深度值的精度可以达到很高的程度,但是此方法要求场景是静止的,并且耗时较长。基于结构光的三维测量算法因其非接触性、简单、高速度和高精度等优点而得到广泛关注。通常,基于结构光的测量方法又分为基于时间编码的方法和基于空间编码的方法这两种。基于时间编码的方法因其需要一组投射模板,适用于静态场景,而基于空间编码的方法仅需要一幅模板便可重建出动态场景的形状。因此,为精确获取动态场景的深度值,基于空间编码的方法比较合适。
一种比较有效的空间编码方式为基于颜色的编码方式,如长春理工大学提出的一种DeBruijn彩色结构光编码图像的中心彩色条纹颜色聚类方法,专利号为201110080913。此发明将不同颜色按照DeBruijn序列进行排列进而产生一个彩色条纹模板。每个条纹通过其相邻的条纹的颜色的不同进行区分。但是,由于红绿蓝三色光谱存在混叠,而且不同颜色的场景对各个颜色的响应不同,所以摄像机记录下的颜色不一定完全反映模板的颜色,导致在解码过程中容易产生错误。
为了解决颜色译码易出错的问题,深圳大学发明了基于空间点阵投影的三维数字成像方法,专利号为200410071984。此发明采用的模板为二维点阵结构光,通过比较被测物体表面和参考平面上的点阵对的位置变化,计算出物体的深度图像。但是此发明在确定点阵对时存在不确定问题,容易求出错误的深度。
鉴于上述问题的存在,北京中星微电子有限公司提出一种结构光编码、解码方法及编码、解码装置的发明,专利号为200810113080。此发明采用的模板为宽窄变化的条纹按照DeBruijn序列进行排列所得的条纹模板。解码时,每根线条边界点的确定是选用图像灰度曲线中波峰点到波谷点之间的过渡点。但是,由于环境光照的不均匀,容易出现波峰与波谷之间的过渡点的定位失误,使得相应的线条宽度求解存在较大的误差,造成解码错误,导致最终使求得的深度有误。
发明内容
本发明的目的在于针对上述已有技术的不足,提出一种基于条纹结构光的动态场景深度获取方法,以在不增加设备复杂性以及计算复杂性的情况下,避免颜色解码错误和条纹边界定位不准确的问题,提高空间分辨率,获取高精度的动态场景深度值。
为实现上述目的,本发明的技术方案包括如下步骤:
(1)设计2元3次DeBruijn序列编码的不同宽度的黑白条纹模板P,并经投影仪T将该黑白条纹模板P投射到三维场景中,用摄像机C记录经场景调制过的变形条纹图像U;
(2)对记录变形条纹图像U使用阈值法二值化,得到二值图像B;
(3)根据占空比的不同,将二值图像B中的每个黑白条纹对译成0、1序列码;
(4)根据DeBruijn序列解码方式,将步骤(3)中得到的对应黑白条纹对的0、1序列解码为0~7的序号N;
(5)在步骤(4)得到的黑白条纹对序号N基础上加上8M,得到连续序号,其中M为正整数,其取值通过如下公式确定:
其中,(xU,yU,zU)为变形条纹图像U像素点的三维坐标,(Cx,Cy,Cz)为摄像机C的光心坐标,f为投影仪T的焦距,quot()为求商符号,L为黑白条纹宽度之和;
(6)对所得变形条纹图像U与黑白条纹模板P求其相位差,利用该相位差与步骤(5)得到的连续序号求取变形条纹图像U中各像素点对应在黑白条纹模板P中的匹配点坐标;
(7)对变形条纹图像U中每个像素点,结合步骤(6)得到的匹配点坐标,用线面相交几何关系求得相应的深度值D1;
(8)用Harris角点检测算子提取变形条纹图像U的角点,再用所得角点划分变形条纹图像U的连续区域;
(9)对深度值D1中的异常值进行校正:
(9a)计算步骤(5)中相邻连续条纹序号的差值,定义差值不是1的条纹序号对应的像素点的深度值为异常值D2,并对变形条纹图像U中所有像素点的深度值的正常或者异常进行标记,记作q,第n个像素点的标记qn={0,1},n=1…576×576,576×576为变形条纹图像U的分辨率,0表示深度值正常,1表示深度值异常;
(9b)选取异常值D2邻域内未被标记的正常深度值D1,再在这些正常深度值D1中筛选与异常值D2位于同一连续区域内的正常深度值D1,对这些深度值D1求平均得到对异常值D2的校正值D3;
(9c)由正常深度值D1与校正值D3,得到最终的深度值D为:D=(1-q)·D1+q·D3,即当q=0时,D=D1;当q=1时,D=D3。
本发明与现有技术相比具有以下优点:
第一,本发明在求匹配点坐标过程中选用相位差,可以得到亚像素级精度的匹配点坐标;
第二,本发明对变形条纹图像中的每个像素点均实现匹配,有效地提高了深度的空间分辨率;
第三,本发明提出用Harris角点检测算子提取的角点确定图像的边缘,进而确定图像的连续区域,可以有效的逼近图像的真实边缘,进而能够正确估计边缘处的深度值;
第四,本发明使用外极线段确定黑白条纹对的连续序号,与现有的能量函数最小化的方法相比,降低了深度求解过程中的计算复杂度。
附图说明
图1为本发明的流程图;
图2为本发明的条纹模板图;
图3为本发明使用的系统框图;
图4为本发明的外极线段约束图;
图5为本发明的线面相交三角原理图。
具体实施方式
本发明是对现有空间编码结构光的动态场景深度获取算法的改进,未增加设备复杂性,提高了所获取深度的空间分辨率,增加了所获取深度的精度。
参照图1,本发明是基于条纹结构光的动态场景深度获取方法,步骤如下:
步骤1,设计2元3次DeBruijn序列编码的不同宽度的黑白条纹模板P。
(1a)设定一对黑白条纹作为基本单元,且黑色条纹在左,白色条纹在右,并且设定黑白条纹宽度之和为常数L,定义白色条纹宽度与L的比值为占空比,当白色条纹的占空比为2/6时,该对黑白条纹的编码为0,当白色条纹的占空比为4/6时,该对黑白条纹的编码为1;
(1b)将一系列黑白条纹编码按照2元3次DeBruijn序列的规律变化,即按00010111规律变化的黑白条纹,即构成黑白条纹模板P,如图2所示。
步骤2,获取变形条纹图像U。
参照图3,将设计好的黑白条纹模板P经投影仪T投射到三维场景B,由于场景B中各点深度的不同,使得黑白条纹模板发生变形,产生变形条纹图像U,并用摄像机C对该变形条纹图像进行记录。
步骤3,对变形条纹图像U使用阈值法进行二值化,得到二值图像B。
由于光强存在不均匀性,为避免固定阈值造成的二值化错误,本发明采用逐块处理的二值化方法,其步骤如下:
(3a)将变形条纹图像U分割为大小一致的m个图像块,m≥2;
(3b)对每个图像块按照如下公式进行二值化,
其中,v(i,n)为第i个二值化后的图像块中第n个像素点的取值,u(i,n)为第i个图像块中第n个像素点的灰度值,i=1,…,m,ti为第i个图像块对应的阈值,该阈值通过直方图双峰法确定,即统计第i个图像块的灰度直方图;再选取灰度直方图中两波峰之间的波谷对应的灰度值作为该图像块的阈值;
(3c)把所有二值化后的图像块合并为一个二值图像B,
B={v(i,·)},
其中,v(i,·)表示第i个二值化后的图像块,i=1…m。
步骤4,根据占空比的不同,将二值图像B中的每个黑白条纹对译成0、1码。
(4a)根据二值图像B中条纹间的边界点确定黑白条纹宽度;
(4b)求出每个白色条纹宽度与其左侧的黑色条纹的宽度之和,并用白色条纹宽度除以相应的黑白条纹宽度之和,求得白色条纹的占空比;
(4c)根据白色条纹的占空比对黑白色条纹对进行解码,即当白色条纹的占空比为2/6时,黑白色条纹对解码为0,当白色条纹的占空比为4/6时,黑白色条纹对解码为1。
步骤5,根据2元3次DeBruijn序列解码方法,将黑白条纹对的0、1序列解码为0~7的序号N。
(5a)将编码序列000定义为序号0,将编码序列001定义为序号1,将编码序列010定义为序号2,将编码序列101定义为序号3,将编码序列011定义为序号4,将编码序列111定义为序号5,将编码序列110定义为序号6,将编码序列100定义为序号7;
(5b)从步骤4确定的黑白条纹对编码序列中提取所有长度为3的相邻的黑白条纹对编码序列,并将步骤(5a)中定义的编码序列所对应的序号赋给该黑白条纹对作为该黑白条纹对的序号N。
步骤6,在步骤5得到的黑白条纹对序号N的基础上加上8M,得到连续序号,M取值为正整数。
参照图4,M的取值通过外极线段确定,其步骤如下:
(6a)当给定场景的深度范围(dmin,dmax)后,调整投影仪T和摄像机C的位置,使变形条纹图像U中每个像素点对应到黑白条纹模板P中的外极线段长度小于等于一个DeBruijn序列周期;
(6b)根据摄像机C、变形条纹图像U中的点A和三维场景中的点O的共线性,将点O的坐标(xO,yO,zO)表示为:
(xO,yO,zO)=(Cx,Cy,Cz)+γ1[(xU,yU,zU)-(Cx,Cy,Cz)],1)
其中,(xU,yU,zU)为变形条纹图像U中像素点A的三维坐标,(Cx,Cy,Cz)为摄像机C光心的三维坐标,γ1为点C到点O的距离;
(6c)根据点C到直线E的距离dmax,确定点C到点O的距离γ1为:
其中,zU为变形条纹图像U中像素点A坐标(xU,yU,zU)中的第三个分量,Cz为摄像机C的光心坐标(Cx,Cy,Cz)中的第三个分量;2)
(6d)将式2)代入式1),得点O的坐标(xO,yO,zO)为:
(6e)根据三维场景中的点O、投影仪T和黑白条纹模板P中的点F的共线性,将点F的坐标(xF,yF,zF)表示为:
(xF,yF,zF)=γ2(xO,yO,zO),4)
其中,γ2为中间变量,f为投影仪的焦距;
(6g)将式3)代入式4),得到点F的坐标(xF,yF,zF)中的xF为
(6h)根据式5),确定M的取值为:
M=quot(xF,8L)
其中,quot()为求商公式,L为黑白条纹宽度之和。
步骤7,对所得变形条纹图像U与黑白条纹模板P求其相位差,利用该相位差与步骤6得到的连续序号求取变形条纹图像U中各像素点对应在黑白条纹模板P中的匹配点坐标。
现有的用于求相位的方法包括加窗傅里叶变换法、hilbert变换法和Gabor滤波器法,由于这三种方法中Gabor滤波器法求得到的相位精度最高,所以本实例选用其中的Gabor滤波器法求相位。
通过Gabor滤波器法对所得变形条纹图像U与黑白条纹模板P求取相位差,并用该相位差求匹配点坐标的步骤如下:
(7a)求得第s对黑白条纹右边界点在黑白条纹模板P中的坐标xs:
xs=(Ns+8·Ms)·L,
其中,Ns为第s对黑白条纹对应的序号,取值为0~7,Ms为第s对黑白条纹对应的8的倍数,L为黑白条纹宽度之和;
(7b)将黑白条纹模板P与Gabor滤波器G1(x1,y1,k1)进行卷积,得到在黑白条纹模板P中xs点处的卷积结果为:
其中, (x1,y1)为黑白条纹模板P中像素点的坐标,σ为高斯函数的标准差,取值为1,ρ1为卷积结果的幅值,k1为黑白条纹模板P中xs的局部频率,φ1为黑白条纹模板P中xs的初始相位,j为复数虚部的单位;
(7c)将变形条纹图像U与Gabor滤波器G2(x2,y2,k2)进行卷积,得到在变形条纹图像U像素点(xU,yU,zU)中的xU处的卷积结果为:
其中, (x2,y2)为变形条纹图像U中像素点的坐标,ρ2为卷积结果的幅值,k2为变形条纹图像U中xU处的局部频率,φ2为变形条纹图像U中xU处的初始相位;
(7d)求取变形条纹图像U中像素点xU处对应到黑白条纹模板P中的匹配点坐标x′s:
步骤8,根据步骤7得到的匹配点坐标,用线面相交几何关系求得变形条纹图像U中每个像素点的深度值D1。
参照图5,本步骤的具体实现如下:
(8a)根据摄像机C、变形条纹图像U中的点A和三维场景中的点H的共线性,将点H的坐标(xH,yH,zH)表示为:
(xH,yH,zH)=(Cx,Cy,Cz)+γ3[(xU,yU,zU)-(Cx,Cy,Cz)],
其中,γ3为点C到点H的距离,
(8b)将点H的坐标(xH,yH,zH)中的xH表示为
(8c)根据三维场景中的点H、投影仪T和黑白条纹模板P中的点S的共线性,将点H的坐标(xH,yH,zH)中的xH表示为:
(8d)将式6)和式7)联立为方程组,求解该方程组,确定D1为:
步骤9,用Harris角点检测算子提取变形条纹图像U中的角点,再用所得角点划分变形条纹图像U的连续区域。
(9a)用水平方向的Sobel算子Rx与变形条纹图像U进行卷积,确定水平方向导数Ux,其中
(9b)用竖直方向的Sobel算子Ry与变形条纹图像U进行卷积,确定竖直方向导数Uy,其中
(9c)计算变形条纹图像U中坐标为(xa,ya)的像素点处的局部结构矩阵W(xa,ya):
其中,Ux(xa,ya)为水平方向导数Ux在(xa,ya)处的取值,Uy(xa,ya)为竖直方向导数Uy在(xa,ya)处的取值;
(9d)计算W(xa,ya)的两个特征值δ1和δ2:
其中,W1=Ux(xa,ya)Ux(xa,ya),W2=Ux(xa,ya)Uy(xa,ya),
W3=Uy(xa,ya)Uy(xa,ya);
(9e)根据Harris角点响应值ξ,判断(xa,ya)处像素点是否为角点,当ξ>0时,则该点是角点,反之不是角点,其中,ξ=δ1δ2-0.04·(δ1+δ2)2;
(9f)重复步骤(9c)~(9e),检测变形条纹图像U中所有的角点;
(9g)将相邻的5个角点定义为一组角点,对所有角点进行分组,得到各组角点;
(9h)根据每组角点,确定一系列线段,进而得到由这些线段围成的连续区域,其中第t个线段表示为:
yt=a1,txt+a2,t,
其中,a1,t为第t个线段的斜率,a2,t为第t个线段的截距,(xd,t,yd,t)为用于拟合第t个线段的第d个角点的坐标,d=1…5,(xt,yt)为第t个线段上像素点的坐标。
步骤10,根据步骤9得到的连续区域,对步骤8得到的深度值D1中的异常值进行校正。
(10a)计算步骤6中相邻连续条纹序号的差值,定义差值不是1的条纹序号对应的像素点的深度值为异常值D2,并对变形条纹图像U中所有像素点的深度值的正常或者异常进行标记,记作q,即第n个像素点的标记qn={0,1},n=1…576×576,576×576为变形条纹图像U的分辨率,0表示深度值正常,1表示深度值异常;
(10b)选取异常值D2邻域内未被标记的正常深度值D1,再在这些正常深度值D1中筛选与异常值D2位于同一连续区域内的正常深度值D1,对这些深度值D1求平均得到对异常值D2的校正值D3;
(10c)由正常深度值D1与校正值D3,得到最终的深度值D为:D=(1-q)·D1+q·D3,即当q=0时,D=D1;当q=1时,D=D3。
以上描述仅是本发明的一个具体实例,不构成对本发明的任何限制。显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (1)
1.一种基于条纹结构光的动态场景深度获取方法,包括如下步骤:
(1)设计2元3次DeBruijn序列编码的不同宽度的黑白条纹模板P:
(1a)设定一对黑白条纹作为基本单元,且黑色条纹在左,白色条纹在右,并且设定黑白条纹宽度之和为常数L,定义白色条纹宽度与L的比值为占空比,当白色条纹的占空比为2/6时,该对黑白条纹的编码为0,当白色条纹的占空比为4/6时,该对黑白条纹的编码为1;
(1b)将一系列黑白条纹编码按照2元3次DeBruijn序列的规律变化,即按00010111规律变化的黑白条纹,即构成黑白条纹模板P;
经投影仪T将该黑白条纹模板P投射到三维场景中,用摄像机C记录经场景调制过的变形条纹图像U;
(2)对记录变形条纹图像U使用阈值法二值化,得到二值图像B:
(2a)将变形条纹图像U分割为大小一致的m个图像块,m≥2;
(2b)对每个图像块按照如下公式进行二值化,
其中,u(a,n)为第a个图像块中第n个像素点的灰度值,a=1,…,m,ta为第a个图像块对应的阈值,该阈值针对每个图像块应用双峰法确定,v(a,n)为相应二值图像块中第n个像素点的取值;
(2c)把所有二值化后的图像块合并为一个二值图像B;
(3)根据占空比的不同,将二值图像B中的每个黑白条纹对译成0、1序列码:
(3a)根据二值图像B中条纹间的边界点确定黑白条纹宽度;
(3b)求出每个白色条纹宽度与其左侧的黑色条纹的宽度之和,并用白色条纹宽度除以相应的黑白条纹宽度之和,求得白色条纹的占空比;
(3c)当白色条纹的占空比为2/6时,黑白色条纹对解码为0,当白色条纹的占空比为4/6时,黑白色条纹对解码为1;
(4)根据DeBruijn序列解码方式,将步骤(3)中得到的对应黑白条纹对的0、1序列解码为0~7的序号N:
(4a)根据2元3次DeBruijn序列的编码方案,将编码序列000定义为序号0,将编码序列001定义为序号1,将编码序列010定义为序号2,将编码序列101定义为序号3,将编码序列011定义为序号4,将编码序列111定义为序号5,将编码序列110定义为序号6,将编码序列100定义为序号7;
(4b)从步骤(3)确定的黑白条纹对编码序列中提取所有长度为3的相邻的黑白条纹对编码序列,并将步骤(4a)中定义的编码序列对应的序号赋给该黑白条纹对作为该黑白条纹对的序号N;
5)在步骤(4)得到的黑白条纹对序号N基础上加上8M,得到连续序号,其中M为正整数,其取值通过外极线段确定,步骤如下:
(5a)当给定场景的深度范围(dmin,dmax)后,调整投影仪T和摄像机C的位置,使变形条纹图像U中每个像素点对应到黑白条纹模板P中的外极线段长度小于等于一个DeBruijn序列周期;
(5b)根据摄像机C、变形条纹图像U中的点A和三维场景中的点O的共线性,将点O的坐标(xO,yO,zO)表示为:
(xO,yO,zO)=(Cx,Cy,Cz)+γ1[(xU,yU,zU)-(Cx,Cy,Cz)],1)
其中,(xU,yU,zU)为变形条纹图像U中像素点A的三维坐标,(Cx,Cy,Cz)为摄像机C光心的三维坐标,γ1为点C到点O的距离;
(5c)根据点C到直线E的距离dmax,确定点C到点O的距离γ1为:
其中,zU为变形条纹图像U中像素点A坐标(xU,yU,zU)中的第三个分量,Cz为摄像机C的光心坐标(Cx,Cy,Cz)中的第三个分量;2)
(5d)将式2)代入式1),得点O的坐标(xO,yO,zO)为:
(5e)根据三维场景中的点O、投影仪T和黑白条纹模板P中的点F的共线性,将点F的坐标(xF,yF,zF)表示为:
(xF,yF,zF)=γ2(xO,yO,zO),4)
其中,γ2为中间变量,f为投影仪的焦距;
(5g)将式3)代入式4),得到点F的坐标(xF,yF,zF)中的xF为
(5h)根据式5),确定M的取值为:
M=quot(xF,8L);
(6)对所得变形条纹图像U与黑白条纹模板P求其相位差,利用该相位差与步骤(5)得到的连续序号求取变形条纹图像U中各像素点对应在黑白条纹模板P中的匹配点坐标:
(6a)求得第s对黑白条纹右边界点在黑白条纹模板P中的坐标xs:xs=(Ns+8·Ms)·L,
其中,Ns为第s对黑白条纹对应的序号,取值为0~7,Ms为第s对黑白条纹对应的8的倍数,L为黑白条纹宽度之和;
(6b)将黑白条纹模板P与Gabor滤波器进行卷积,得到在xs点处的卷积结果
为:其中,ρ1为卷积结果的幅值,k1为黑白条纹模板P中xs的局部频率,φ1为黑白条纹模板P中xs的初始相位,j为复数虚部的单位;
(6c)将变形条纹图像U与Gabor滤波器进行卷积,得到在变形条纹图像U像素点(xU,yU,zU)中的xU处的卷积结果为:
其中,ρ2为卷积结果的幅值,k2为变形条纹图像U中xU处的局部频率,φ2为变形条纹图像U中xU处的初始相位;
(6d)求取变形条纹图像U中像素点xU处对应到黑白条纹模板P中的匹配点坐标xs′:
(7)对变形条纹图像U中每个像素点,结合步骤(6)得到的匹配点坐标,用线面相交几何关系求得相应的深度值D1:
其中,(xU,yU,zU)为变形条纹图像U像素点的三维坐标,xs'为xU处的匹配点坐标,(Cx,Cy,Cz)为摄像机C的光心坐标,f为投影仪T的焦距;
(8)用Harris角点检测算子提取变形条纹图像U的角点,再用所得角点划分变形条纹图像U的连续区域;
(9)对深度值D1中的异常值进行校正:
(9a)计算步骤(5)中相邻连续条纹序号的差值,定义差值不是1的条纹序号对应的像素点的深度值为异常值D2,并对变形条纹图像U中所有像素点的深度值的正常或者异常进行标记,记作q,第n个像素点的标记qn={0,1},n=1…576×576,576×576为变形条纹图像U的分辨率,0表示深度值正常,1表示深度值异常;
(9b)选取异常值D2邻域内未被标记的正常深度值D1,再在这些正常深度值D1中筛选与异常值D2位于同一连续区域内的正常深度值D1,对这些深度值D1求平均得到对异常值D2的校正值D3;
(9c)由正常深度值D1与校正值D3,得到最终的深度值D为:
D=(1-q)·D1+q·D3,即当q=0时,D=D1;当q=1时,D=D3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310277892.5A CN103400366B (zh) | 2013-07-03 | 2013-07-03 | 基于条纹结构光的动态场景深度获取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310277892.5A CN103400366B (zh) | 2013-07-03 | 2013-07-03 | 基于条纹结构光的动态场景深度获取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103400366A CN103400366A (zh) | 2013-11-20 |
CN103400366B true CN103400366B (zh) | 2016-04-13 |
Family
ID=49563978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310277892.5A Expired - Fee Related CN103400366B (zh) | 2013-07-03 | 2013-07-03 | 基于条纹结构光的动态场景深度获取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103400366B (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104751436B (zh) * | 2013-12-27 | 2017-12-26 | 联想(北京)有限公司 | 一种信息处理的方法及一种电子设备 |
CN104751414B (zh) * | 2013-12-25 | 2018-02-27 | 联想(北京)有限公司 | 一种数据处理方法和电子设备 |
US9799117B2 (en) | 2013-09-30 | 2017-10-24 | Lenovo (Beijing) Co., Ltd. | Method for processing data and apparatus thereof |
DE102014207022A1 (de) * | 2014-04-11 | 2015-10-29 | Siemens Aktiengesellschaft | Tiefenbestimmung einer Oberfläche eines Prüfobjektes |
CN103942802A (zh) * | 2014-04-29 | 2014-07-23 | 西安电子科技大学 | 基于随机模板的结构光动态场景深度获取方法 |
CN105631848B (zh) * | 2014-10-31 | 2018-11-09 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
CN104458764B (zh) * | 2014-12-14 | 2017-03-22 | 中国科学技术大学 | 基于大景深条带图像投影的弯曲粗糙表面缺陷鉴别方法 |
CN104657961B (zh) * | 2014-12-17 | 2017-07-04 | 长安大学 | 一种基于双峰路面深度直方图的错台三维滤波方法及系统 |
CN105069789B (zh) * | 2015-08-05 | 2018-03-06 | 西安电子科技大学 | 基于编码网格模板的结构光动态场景深度获取方法 |
CN105427326B (zh) * | 2015-12-08 | 2018-12-25 | 上海图漾信息科技有限公司 | 图像匹配方法和装置以及深度数据测量方法和系统 |
US9996933B2 (en) | 2015-12-22 | 2018-06-12 | Qualcomm Incorporated | Methods and apparatus for outlier detection and correction of structured light depth maps |
CN105844623A (zh) * | 2016-03-21 | 2016-08-10 | 西安电子科技大学 | 基于De序列混合编码的目标物体深度信息获取方法 |
CN105844633B (zh) * | 2016-03-21 | 2019-03-26 | 西安电子科技大学 | 基于De序列和相位编码的单帧结构光深度获取方法 |
CN106529572B (zh) * | 2016-10-14 | 2019-07-09 | 广州视源电子科技股份有限公司 | 色环电阻的检测方法、装置和自动光学检测系统 |
CN106767535B (zh) * | 2017-01-10 | 2019-11-29 | 杭州汉振科技有限公司 | 非接触式复合测量仪及其测量方法 |
CN108498066A (zh) * | 2017-02-28 | 2018-09-07 | 爱博诺德(北京)医疗科技有限公司 | 用于测量眼睛的角膜前表面的地形图的方法和设备 |
CN107240135B (zh) * | 2017-04-28 | 2020-07-10 | 深圳大学 | 基于DeBruijn序列的三维图像重建方法及装置 |
CN107623815A (zh) * | 2017-08-09 | 2018-01-23 | 广东欧珀移动通信有限公司 | 人像调整处理方法和装置 |
KR102163643B1 (ko) | 2017-08-14 | 2020-10-12 | 선전 구딕스 테크놀로지 컴퍼니, 리미티드 | 3차원(3d) 이미지 시스템 및 전자 장치 |
CN109816709B (zh) * | 2017-11-21 | 2020-09-11 | 深圳市优必选科技有限公司 | 基于单目摄像头的深度估计方法、装置及设备 |
CN110049305B (zh) * | 2017-12-18 | 2021-02-26 | 西安交通大学 | 一种智能手机的结构光深度相机自校正方法及装置 |
CN108648222B (zh) * | 2018-04-27 | 2021-08-17 | 华中科技大学 | 结构光深度数据空间分辨率的提升方法及装置 |
CN108895979B (zh) * | 2018-05-10 | 2020-04-07 | 西安电子科技大学 | 线段编码的结构光深度获取方法 |
CN109540023B (zh) * | 2019-01-22 | 2019-11-26 | 西安电子科技大学 | 基于二值网格编码模板结构光的物体表面深度值测量方法 |
WO2021035697A1 (zh) * | 2019-08-30 | 2021-03-04 | 深圳奥锐达科技有限公司 | 时间编码解调处理电路及方法 |
CN113188450B (zh) * | 2021-04-23 | 2023-03-14 | 封泽希 | 基于结构光的场景深度检测方法及系统 |
CN113405461B (zh) * | 2021-04-23 | 2023-03-21 | 封泽希 | 用于深度检测的结构光编码、解码方法及编码、解码装置 |
CN116074624B (zh) * | 2022-07-22 | 2023-11-10 | 荣耀终端有限公司 | 一种对焦方法和装置 |
CN117635729B (zh) * | 2023-11-28 | 2024-06-11 | 钛玛科(北京)工业科技有限公司 | 一种线相机背光标定器及方法 |
CN118298550A (zh) * | 2024-04-16 | 2024-07-05 | 南京宜择化科技有限公司 | 基于三维模型的插电式预付费电表体积测量系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101825443A (zh) * | 2010-03-09 | 2010-09-08 | 深圳大学 | 一种三维成像方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004083778A1 (en) * | 2003-03-18 | 2004-09-30 | Hermary Alexander Thomas | Coded-light dual-view profile scanner |
US7929752B2 (en) * | 2003-10-31 | 2011-04-19 | Nano Picture Co., Ltd. | Method for generating structured-light pattern |
US20090221874A1 (en) * | 2005-11-28 | 2009-09-03 | 3Shape A/S | Coded structure light |
US8964002B2 (en) * | 2011-07-08 | 2015-02-24 | Carestream Health, Inc. | Method and apparatus for mapping in stereo imaging |
-
2013
- 2013-07-03 CN CN201310277892.5A patent/CN103400366B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101825443A (zh) * | 2010-03-09 | 2010-09-08 | 深圳大学 | 一种三维成像方法及系统 |
Non-Patent Citations (2)
Title |
---|
《A Color Invariant Based Binary Coded Structured Light Range Scanner for Shiny Objects》;Rifat Benveniste等;《2010 International Conference on Pattern Recognition》;20101231;全文 * |
《Pattern codification strategies in structured light systems》;Joaquim Salvi等;《Pattern Recognition》;20041231;827-849 * |
Also Published As
Publication number | Publication date |
---|---|
CN103400366A (zh) | 2013-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103400366B (zh) | 基于条纹结构光的动态场景深度获取方法 | |
CN101697233B (zh) | 一种基于结构光的三维物体表面重建方法 | |
CN106355570B (zh) | 一种结合深度特征的双目立体视觉匹配方法 | |
US9829309B2 (en) | Depth sensing method, device and system based on symbols array plane structured light | |
US9234749B2 (en) | Enhanced object reconstruction | |
EP2295932B1 (en) | Image processing device, image processing method, and program | |
US20120176478A1 (en) | Forming range maps using periodic illumination patterns | |
US20120176380A1 (en) | Forming 3d models using periodic illumination patterns | |
CN103697815B (zh) | 基于相位编码的混频结构光三维信息获取方法 | |
CN105069789B (zh) | 基于编码网格模板的结构光动态场景深度获取方法 | |
CN101794461B (zh) | 一种三维建模方法及系统 | |
CN109903377B (zh) | 一种无需相位展开的三维人脸建模方法及系统 | |
CN102609941A (zh) | 基于ToF深度相机的三维注册方法 | |
Fu et al. | Fast spatial–temporal stereo matching for 3D face reconstruction under speckle pattern projection | |
Banz et al. | Evaluation of penalty functions for semi-global matching cost aggregation | |
US10574947B2 (en) | Object reconstruction in disparity maps using displaced shadow outlines | |
CN107346041A (zh) | 裸眼3d显示设备的光栅参数的确定方法、装置及电子设备 | |
CN104408772A (zh) | 一种基于网格投影的自由曲面三维重建方法 | |
CN102054276A (zh) | 物体三维几何重建相机定标方法和系统 | |
Furukawa et al. | One-shot entire shape acquisition method using multiple projectors and cameras | |
CN113505626B (zh) | 一种快速三维指纹采集方法与系统 | |
CN103438834A (zh) | 基于结构光投影的层级式快速三维测量装置及测量方法 | |
CN114792345B (zh) | 一种基于单目结构光系统的标定方法 | |
Wijenayake et al. | Dual pseudorandom array technique for error correction and hole filling of color structured-light three-dimensional scanning | |
CN108895979B (zh) | 线段编码的结构光深度获取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160413 Termination date: 20210703 |