CN109540023B - 基于二值网格编码模板结构光的物体表面深度值测量方法 - Google Patents
基于二值网格编码模板结构光的物体表面深度值测量方法 Download PDFInfo
- Publication number
- CN109540023B CN109540023B CN201910057751.XA CN201910057751A CN109540023B CN 109540023 B CN109540023 B CN 109540023B CN 201910057751 A CN201910057751 A CN 201910057751A CN 109540023 B CN109540023 B CN 109540023B
- Authority
- CN
- China
- Prior art keywords
- grid
- value
- image
- template
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009415 formwork Methods 0.000 title abstract 2
- 238000000691 measurement method Methods 0.000 title abstract 2
- 238000000034 method Methods 0.000 claims description 55
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 5
- 230000010076 replication Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 16
- 238000012360 testing method Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出了一种基于二值网格编码模板结构光的物体表面深度值测量方法,旨在通过减少物体表面彩色和表面跳变对离散特征解码的干扰,提高物体表面深度值的测量精度,实现步骤为:1)设计二值网格编码模板P;2)获取灰度变形图像I;3)删除灰度变形图像I中的环境光照和离散特征;4)获取包含网格线位置信息和离散特征的变形图象I3;5)获取变形图像I3以及二值网格编码模板P的码元序列;6)求取变形图像I3网格线像素点的匹配点;7)计算待测目标物体O表面的深度信息值ZW。本发明可用于人机交互、逆向工程、自动导航和生物医学测试等场景。
Description
技术领域
本发明属于计算机视觉测量技术领域,涉及一种物体表面深度值的测量方法,具体涉及一种基于单帧二值网格编码模板的结构光法的物体表面深度值测量方法,可应用于人机交互、逆向工程、自动导航和生物医学测试等领域。
背景技术
随着计算机视觉的不断发展,3D成像技术得到了越来越广泛的应用。到目前为止,已有大量的深度感知技术被研究和应用,其中测量物体表面的深度信息的方法有:时间飞行法、立体视觉法以及结构光法。其中对于结构光法,本质是设计含有空间或相位等信息的模板,用投影仪将其投射到待测物体上,待测物体使模板发生形变,用摄像机拍摄待测物体得到形变图像,将形变图像和初始模板进行匹配解码,由此获得物体表面的深度信息的方法。由于其实现原理简单、测量精度、分辨率高,以及鲁棒性好等特点而被广泛研究。
根据编码方式的不同,结构光法通常分为基于时间编码的结构光法和基于空间编码的结构光法。其中基于时间编码的结构光法是向待测场景中投射多张编码模板,利用模板中每个像素点的灰度或者颜色信息,并按照模板投射的顺序可以对场景中每个点形成唯一编码值,利用该唯一码值,辅助获得场景深度信息。常见的时间编码法有相移法和格雷码法。然而,该方法使用的是多帧编码模板,所以测量过程耗费时间过长。基于空间编码的结构光法通常利用像素点周围的灰度值、颜色以及自定义图形特征对像素点进行编码,形成携带空间信息的编码模板,并利用模板的空间信息,辅助获得场景深度信息的方法,该方法仅需要向场景中投射一幅模板,耗费时间短。
根据模板中像素灰度值是否连续变化,基于空间编码的结构光法又可以分为基于单帧连续编码的结构光法和基于单帧离散编码的结构光法,相比于基于单帧连续编码的结构光法,基于单帧离散编码的结构光法具有较强的鲁棒性,因而获得了更加广泛的研究,该方法所使用的模板通常是采用诸如颜色、条纹、线条、菱形和多边形等离散特征,按照特定的编码方式排列形成的,由于在测量过程中需要获取编码模板在变形模板上的匹配点,这一过程会因为环境的噪声或模板编码信息的缺乏而变得非常困难,所以现有技术往往会使用多种离散特征相结合的方式,让模板携带足够多的信息来辅助进行像素点的匹配,以提高测量精度。比如,申请公布号为CN109191562A,名称为“基于彩色伪随机编码结构光的三维重建方法”的专利申请,公开了一种基于彩色伪随机编码结构光的物体表面深度值的方法,该方法利用颜色和多个方格作为离散特征对模板进行编码,使该彩色结构光编码模板的奇数行方格颜色相同,偶数行方格颜色相同,将上述编码模板投射到待测场景,然后利用摄像机采集变形图像,接着对变形图像进行角点提取,再对所提角点进行特征描述和匹配,最后利用三角测量法得到物体表面的深度信息。但存在的缺陷是,该方法使用彩色网格线作为离散特征在解码过程中受到待测物体表面彩色的干扰,使得最终测量的精度受到影响,且离散特征是稀疏的,导致在解码过程中使用的滑窗窗口比较大,物体表面跳变也会影响测量的精度。
发明内容
本发明的目的在于针对上述现有技术的不足,提出了一种基于二值网格编码模板结构光的物体表面深度值测量方法,首先设计二值网格编码模板,将该模板投射到待测物体上使其发生形变,再用摄像机对待测物体进行拍摄,得到变形图象,通过获取变形图象中网格线上的像素点在编码模板上的匹配点,利用三角测距原理得到待测物体的表面的深度信息,旨在通过减少物体表面彩色和表面跳变对离散特征解码的干扰,提高物体表面深度值的测量精度。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)设计二值网格编码模板P:
(1a)获取黑色背景模板,并在该模板上通过数量相同的多条白色横网格线和竖网格线施划m×m个正方形网格,然后建立以每个网格中心为原点,原点右侧为x轴正方向的二维坐标系,81≥m≥4;
(1b)设置3元4阶De Bruijn序列ak,并将ak的码元向后移动两位,得到De Bruijn序列bk,然后将序列bk排列在序列ak下方,得到伪二维De Bruijn序列;
(1c)对伪二维De Bruijn序列进行次复制,并将复制得到的伪二维DeBruijn序列纵向排列,得到编码矩阵;
(1d)将从编码矩阵中选取的m×m个码元按照从左到右从上到下的顺序,映射到步骤(1a)获取的模板上对应位置的网格中,并根据码元的属性设计每个网格左半区域的离散特征,若码元属于序列ak,则将与x轴正方向成135度夹角位置施划的白色短斜线作为表示码元属于序列ak的离散特征,若码元属于序列bk,则将与x轴正方向成225度夹角位置施划的白色短斜线作为表示码元属于序列bk的离散特征,同时,根据码元的值在每个网格右半区域设计离散特征,若码元值为1,则将与x轴正方向成45度位置施划的白色短斜线作为表示码元值为1的离散特征,若码元值为2,则将与x轴正方向成-45度位置施划的白色短斜线作为表示码元值为2的离散特征,若码元值为0,则将网格右半区域作为表示码元值为0的离散特征,得到二值网格编码模板P;
(2)获取灰度变形图像I:
将投影仪T与摄像机V水平放置,并使两者光轴平行,用投影仪T将所述的二值网格编码模板P投射到目标物体O上,通并用摄像机V对该目标物体O进行拍摄,获得经过目标物体O调制后的灰度变形图像I;
(3)删除灰度变形图像I中的环境光照和离散特征:
(3a)删除灰度变形图像I中的环境光照,得到变形图像T(I),其中,表示灰度级的开操作,b表示平坦结构单元SE,表示环境光照;
(3b)对变形图像T(I)进行二值化操作,得到二值图像,并在水平方向和竖直方向上分别对该二值图像进行形态学开操作,用于删除灰度变形图像I每个网格左半区域表示码元属性的离散特征和右半区域表示码值的离散特征,得到仅包含网格线的变形图像I2;
(4)获取包含网格线位置信息和离散特征的变形图象I3:
(4a)构建变形图像I2中的每条网格线的能量函数,并求取每个能量函数的闭式解,得到每个能量函数对应网格线上各像素点的坐标;
(4b)将每条网格线上各像素点的坐标赋予变形图像T(I)对应网格线上对应的各像素点,得到包含网格线位置信息和离散特征的变形图象I3;
(5)获取变形图像I3以及二值网格编码模板P的码元序列:
(5a)对变形图像I3的离散特征和二值网格编码模板P的离散特征分别进行解码,得到变形图像I3以及二值网格编码模板P的编码矩阵;
(5b)采用大小由2×2个码元组成的滑窗窗口,以1个码元为步长,按照从上到下从左到右的顺序分别在变形图像I3的编码矩阵和二值网格编码模板P编码矩阵上滑动,得到变形图像I3的码元序列和二值网格编码模板P的码元序列;
(6)求取变形图像I3网格线像素点的匹配点:
根据外极限约束原理,并通过变形图像I3的码元序列和二值网格编码模板P的码元序列,求取变形图像I3网格线上的每个像素点在二值网格编码模板P网格线上的匹配点;
(7)计算待测目标物体O表面的深度信息值ZW:
采用三角测距方法,并通过变形图像I3网格线上的每个像素点在二值网格编码模板P网格线上的匹配点,计算待测目标物体O表面的深度信息值ZW。
本发明与现有技术相比,具有以下优点:
1.本发明由于二值网格编码模板仅包含黑色背景和白色网格线,且表示码元属性的离散特征的颜色为白色,表示码元值的离散特征为白色或黑色,减小了现有技术对使用彩色网格线作为离散特征在解码过程中受到待测物体表面彩色的干扰,有效提高了测量的精度;
2.本发明使用了伪二维De Bruijn序列来生成编码矩阵,使离散特征更稠密,避免了现有技术的离散特征过于稀疏,在解码时使用较大的滑窗窗口,有利于降低物体表面跳变对离散特征解码的干扰,进一步提高了测量的精度。
附图说明
图1为本发明的实现流程图;
图2为本发明中为每个网格建立的坐标系的示意图;
图3为本发明中表示码元属性和码元值的离散特征示意图;
图4为本发明设计的二值网格编码模板示意图;
图5为本发明获取灰度变形图像所使用装置的结构示意图;
图6为使用本发明和现有技术对彩色物体表面深度值测量的结果图;
图7为使用本发明和现有技术对表面发生跳变的物体深度值测量的结果图。
具体实施方式
以下结合附图和具体实施例,对本发明作进一步详细描述:
参照图1,本发明的实现步骤如下:
步骤1)设计二值网格编码模板P,其结构如图4所示:
(1a)获取黑色背景模板,并在该模板上通过数量相同的多条白色横网格线和竖网格线施划m×m个正方形网格,然后建立以每个网格中心为原点,原点右侧为x轴正方向的二维坐标系,81≥m≥4,当m超出这个范围,在测量过程中将无法对离散特征进行解码,在本实施例中,m取81,根据实验使用的投影仪的分辨率,利用计算机生成一个大小为1140×912个像素的黑色背景模板,并在该模板上通过82条宽度为1个像素的白色横网格线和82条宽度为一个像素的竖网格线施划81×81个宽度为12个像素的正方形网格,建立以每个网格中心为原点,原点右侧为x轴正方向的二维坐标系,其结构如图2所示,原点是网格中心点o,x轴正方向为原点右侧箭头所指方向;
(1b)设置3元4阶De Bruijn序列ak,其中序列ak由三种码元构成,且每4个码元组成De Bruijn序列ak唯一的一个子序列,将De Bruijn序列ak的码元向后移动两位,得到DeBruijn序列bk,也就是将De Bruijn序列ak第81位的码元移到第2位码元,第80位的码元移到第1位,其他第i位的码元依次移到第i+2位,形成序列De Bruijn序列bk,将De Bruijn序列bk排列在序列ak下方,得到伪二维De Bruijn序列,其中,De Bruijn序列ak、De Bruijn序列bk和伪二维De Bruijn序列的结构如下:
De Bruijn序列ak结构:
2212122221102120012210222020021001100220…
De Bruijn序列bk结构:
2022121222211021200122102220200210011002…
伪二维De Bruijn序列结构:
2212122221102120012210222020021001100220…
2022121222211021200122102220200210011002…
(1c)对伪二维De Bruijn序列进行次复制,即对向上取整,在本实施例中,对伪二维序列De Bruijn复制41次,并将复制得到的伪二维De Bruijn序列纵向排列,得到编码矩阵,该编码矩阵在水平方向上每2×2个码元组成一个唯一的子序列矩阵,所以在测量过程中对离散特征进行解码的时候仅需要2×2个码元组成的滑窗窗口,有利于减少物体表面跳变对离散特征解码过程的影响;
(1d)从编码矩阵中选取m×m个码元,在本实施例中,m=81,将位于编码矩阵第i行第j列的码元,映射到步骤(1a)获取的模板中第i行第j列的网格中,并根据码元的属性确定每个网格左半区域的离散特征,若码元属于序列ak,则将与x轴正方向成135度夹角位置施划的白色短斜线作为表示码元属于序列ak的离散特征,若码元属于序列bk,则将与x轴正方向成225度夹角位置施划的白色短斜线作为表示码元属于序列bk的离散特征,同时,根据码元的值在每个网格右半区域设计离散特征,若码元值为1,则将与x轴正方向成45度位置施划的白色短斜线作为表示码元值为1的离散特征,若码元值为2,则将与x轴正方向成-45度位置施划的白色短斜线作为表示码元值为2的离散特征,若码元值为0,则将网格右半区域作为表示码元值为0的离散特征,得到二值网格编码模板P;
步骤2)获取灰度变形图像I:
参照附图5搭建获取灰度变形图像I所使用的装置,将投影仪T与摄像机V水平放置,并使两者光轴平行,再用投影仪T将二值网格编码模板P投射到待测物体上,实现目标物体O对二值网格编码模板P的调制,使二值网格编码模板P发生形变,并用摄像机V对该目标物体O进行拍摄,获得灰度变形图像I;
步骤3)删除灰度变形图像I中的环境光照和离散特征:
(3a)用摄像机V对目标物体O进行拍摄的过程时,会受到自然光或者灯光等环境光的影响,为了避免环境光照影响对变形图象网格线位置信息的获取,需要删除灰度变形图像I中的环境光照,得到变形图像T(I),其中,表示灰度级的开操作,b表示平坦结构单元SE,表示环境光照;
(3b)对变形图像进行二值化操作,本实施例使用但不限于自适应二值化方法,首先将变形图像T(I)分成大小50×50个图形块,在每个图像块内选取阈值,进行二值化操作,得到二值图像,并在水平方向和竖直方向上分别对该二值图像进行形态学开操作,用于删除灰度变形图像I每个网格左半区域表示码元属性的离散特征和右半区域表示码元的值的离散特征,最后得到仅包含网格线的变形图像I2;
步骤4)获取包含网格线位置信息和离散特征的变形图象I3:
(4a)因为环境噪声会造成变形图象I2网格线的断裂,因此要为变形图像I2中的每条网格线构建能量函数来求得网格线完整的位置信息,能量函数构建步骤如下:
(4a1)获取变形图像I2中的每条网格线上各像素点的初始坐标:
求取变形图像I2中每个像素点在竖直方向的梯度值和水平方向的梯度值,用变形图像I2每一行竖直方向梯度值最大的像素点组成初始竖网格线,用变形图像I2每一列水平方向梯度值最大的像素点组成初始横网格线;
(4a2)利用初始竖网格线和初始横网格线,构建变形图像I2中每条横网格线和每条竖网格线的能量函数,其中:
横网格线能量函数的表达式为:
竖网格线能量函数的表达式为:
其中,λ为调节因子,在本实施例中,λ取值为0.1,y表示每一条横网格线上所有像素点横坐标组成的大小为1×n的向量,y0表示每一条初始横网格线上所有像素点横坐标组成的大小为1×n的向量,x表示每一条竖网格线上所有像素点横坐标组成的大小为1×n的向量,x0表示每一条初始竖网格线上所有像素点纵坐标组成的大小为1×n的向量,n为各网格线上所有像素点个数,H是大小为n×n的采样矩阵,其除了对角线上的元素,其他位置元素都为0,采样矩阵H对角线上元素为:
其中,Hii代表H对角线上位于(i,i)的元素,pi是各网格线上第i个像素点的灰度值,D为大小为n×n的差分矩阵,其结构如下:
求取每个能量函数的闭式解,就可得到每个能量函数对应网格线上各像素点的坐标,其中闭式解求取公式为:
y=(λHTH+DTD)-1λHTy0;
(4b)将每条网格线上各像素点的坐标赋予变形图像T(I)对应网格线上对应的各像素点,得到包含网格线位置信息和离散特征的变形图象I3;
步骤5)获取变形图像I3以及二值网格编码模板P的码元序列:
(5a)对变形图像I3的离散特征和二值网格编码模板P的离散特征分别进行解码,得到变形图像I3以及二值网格编码模板P的编码矩阵,本发明使用但不限于如下解码过程:
(5a1)设计四个卷积核,四个卷积核的结构为:
其中M1、M2、M3、M4为设计的四个大小为12×12个元素的卷积核,U3×3为所有元素均为1,大小为3×3的矩阵;
(5a2)用卷积核M1、M2、M3、M4分别对变形图像I3每一个网格进行卷积计算,得到对应四个卷积和值S1、S2、S3、S4,设计一个阈值t,本发明的阈值t=4,根据四个卷积和值与阈值t的大小,判断该网格内的离散特征,实现对离散特征的解码,若S1>t代表该网格有码元属于序列ak的离散特征,若S1>t代表该网格内有码元属于序列bk的离散特征,若S3>t代表该网格内有码元值为1的离散特征,若S4>t代表该网格内有码元值为2的离散特征,若S3≤t且S4≤t,代表该网格内有码元值为0的离散特征;
(5b)采用大小由2×2个码元组成的滑窗窗口,以1个码元为步长,按照从左到右从上到下的顺序分别在变形图像I3的编码矩阵和二值网格编码模板P编码矩阵上滑动,得到变形图像I3的码元序列和二值网格编码模板P的码元序列;
步骤6)求取变形图像I3网格线像素点的匹配点:
根据外极限约束原理,并通过变形图像I3的码元序列和二值网格编码模板P的码元序列,求取变形图像I3网格线上的每个像素点在二值网格编码模板P网格线上的匹配点;
步骤7)计算待测目标物体O表面的深度信息值ZW:
采用三角测距方法,并通过变形图像I3网格线上的每个像素点在二值网格编码模板P网格线上的匹配点,计算待测目标物体O表面的深度信息值ZW:
(7a)建立以摄像机V的光心为原点,沿摄像机V成像平面的水平方向为x轴,沿摄像机V成像平面的竖直方向为y轴,沿摄像机V的光轴且与成像平面垂直的方向为z轴的世界坐标系;
(7b)计算目标物体O在世界坐标系下沿y轴的坐标值:
YW=(y′-M/2)hcp
其中,y′为变形图像I4的像素点坐标的纵坐标值,M为变形图像I3像素点的总列数,hcp为摄像机V中单个像素点所代表的实际高度;
(7c)计算待测物体O的表面深度信息值ZW:
其中YW,ZW分别是目标物体O在世界坐标系下沿x轴和z轴的坐标值,y为变形图像I3的像素点在二值网格编码模板P上匹配点的纵坐标值,f为摄像机V的焦距,为摄像机V的光心和投影仪T的水平距离,MP为二值网格编码模板P像素点的总列数,wpp是投影仪T中单个像素所代表的实际宽度。
本发明的效果可通过以下实际实验进一步说明:
1.实际实验条件和内容:
1.1.实际实验条件:
本发明的实际实验采用的硬件测试平台是:一个数码光处理(Digital LightProcessing,DLP)投影仪(德州仪器DLPLCR4500)和一个灰度摄相机(GreypointGrasshopper3)组成。投影仪的分辨率为1140×912,摄像机的分辨率为2048×2048。
1.2.实际实验内容:
实验1:使用本发明和现有技术中一种基于彩色伪随机编码结构光的物体表面深度值的测量方法对一个彩色的物体表面深度值进行测量得到图6。
实验2:使用本发明和现有技术中一种基于彩色伪随机编码结构光的物体表面深度值的测量方法对一个表面发生跳变的物体表面深度值进行测量得到图7。
2.实际实验结果分析:
通过图6(a)和图6(b)对比可以看到,使用本发明测量彩色物体的深度值得到的深度点云图表面更加平整光滑,无明显波动现象,且轮廓清晰可见,可见本发明可以降低物体表面颜色的干扰,提高测量的精度。
通过图7(a)和图7(b)的对比可以看出用本发明测量表面发生跳变的物体的深度信息得到的深度点云图细节呈现更加丰富,并且在物体表面跳变处深度信息更完整,可见本发明可以降低物体表面跳变的干扰,提高测量的精度。
以上描述仅是本发明的一个具体实例,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理的情况下,进行形式和细节上的各种修正和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (3)
1.一种基于二值网格编码模板结构光的物体表面深度值测量方法,其特征在于,包括如下步骤:
(1)设计二值网格编码模板P:
(1a)获取黑色背景模板,并在该模板上通过数量相同的多条白色横网格线和竖网格线施划m×m个正方形网格,然后建立以每个网格中心为原点,原点右侧为x轴正方向的二维坐标系,81≥m≥4;
(1b)设置3元4阶De Bruijn序列ak,并将ak的码元向后移动两位,得到De Bruijn序列bk,然后将序列bk排列在序列ak下方,得到伪二维De Bruijn序列;
(1c)对伪二维De Bruijn序列进行次复制,并将复制得到的伪二维De Bruijn序列纵向排列,得到编码矩阵;
(1d)将从编码矩阵中选取的m×m个码元按照从左到右从上到下的顺序,映射到步骤(1a)获取的模板上对应位置的网格中,并根据码元的属性设计每个网格左半区域的离散特征,若码元属于序列ak,则将与x轴正方向成135度夹角位置施划的白色短斜线作为表示码元属于序列ak的离散特征,若码元属于序列bk,则将与x轴正方向成225度夹角位置施划的白色短斜线作为表示码元属于序列bk的离散特征,同时,根据码元的值在每个网格右半区域设计离散特征,若码元值为1,则将与x轴正方向成45度位置施划的白色短斜线作为表示码元值为1的离散特征,若码元值为2,则将与x轴正方向成-45度位置施划的白色短斜线作为表示码元值为2的离散特征,若码元值为0,则将网格右半区域作为表示码元值为0的离散特征,得到二值网格编码模板P;
(2)获取灰度变形图像I:
将投影仪T与摄像机V水平放置,并使两者光轴平行,用投影仪T将所述的二值网格编码模板P投射到目标物体O上,通并用摄像机V对该目标物体O进行拍摄,获得经过目标物体O调制后的灰度变形图像I;
(3)删除灰度变形图像I中的环境光照和离散特征:
(3a)删除灰度变形图像I中的环境光照,得到变形图像T(I),其中,表示灰度级的开操作,b表示平坦结构单元SE,表示环境光照;
(3b)对变形图像T(I)进行二值化操作,得到二值图像,并在水平方向和竖直方向上分别对该二值图像进行形态学开操作,用于删除灰度变形图像I每个网格左半区域表示码元属性的离散特征和右半区域表示码值的离散特征,得到仅包含网格线的变形图像I2;
(4)获取包含网格线位置信息和离散特征的变形图象I3:
(4a)构建变形图像I2中的每条网格线的能量函数,并求取每个能量函数的闭式解,得到每个能量函数对应网格线上各像素点的坐标;
(4b)将每条网格线上各像素点的坐标赋予变形图像T(I)对应网格线上对应的各像素点,得到包含网格线位置信息和离散特征的变形图象I3;
(5)获取变形图像I3以及二值网格编码模板P的码元序列:
(5a)对变形图像I3的离散特征和二值网格编码模板P的离散特征分别进行解码,得到变形图像I3以及二值网格编码模板P的编码矩阵;
(5b)采用大小由2×2个码元组成的滑窗窗口,以1个码元为步长,按照从上到下从左到右的顺序分别在变形图像I3的编码矩阵和二值网格编码模板P编码矩阵上滑动,得到变形图像I3的码元序列和二值网格编码模板P的码元序列;
(6)求取变形图像I3网格线像素点的匹配点:
根据外极限约束原理,并通过变形图像I3的码元序列和二值网格编码模板P的码元序列,求取变形图像I3网格线上的每个像素点在二值网格编码模板P网格线上的匹配点;
(7)计算待测目标物体O表面的深度信息值ZW:
采用三角测距方法,并通过变形图像I3网格线上的每个像素点在二值网格编码模板P网格线上的匹配点,计算待测目标物体O表面的深度信息值ZW。
2.根据权利要求1所述的基于二值网格编码模板结构光的物体表面深度值测量方法,其特征在于:步骤(4a)中所述的构建变形图像I2中的每条网格线的能量函数,实现步骤为:
(4a1)获取变形图像I2中的每条网格线上各像素点的初始坐标:
求取变形图像I2中每个像素点在竖直方向的梯度值和水平方向的梯度值,用变形图像I2每一行竖直方向梯度值最大的像素点组成初始竖网格线,用变形图像I2每一列水平方向梯度值最大的像素点组成初始横网格线;
(4a2)利用初始竖网格线和初始横网格线,构建变形图像I2中每条横网格线和每条竖网格线的能量函数,其中:
横网格线能量函数的表达式为:
竖网格线能量函数的表达式为:
其中,λ为调节因子,y表示每一条横网格线上所有像素点横坐标组成的大小为1×n的向量,y0表示每一条初始横网格线上所有像素点横坐标组成的大小为1×n的向量,x表示每一条竖网格线上所有像素点纵坐标组成的大小为1×n的向量,x0表示每一条初始竖网格线上所有像素点纵坐标组成的大小为1×n的向量,n为各网格线上所有像素点个数,H是大小为n×n的采样矩阵,其除了对角线上的元素,其他位置元素都为0,采样矩阵H对角线上元素为:
其中,Hii代表H对角线上位于(i,i)的元素,pi是各网格线上第i个像素点的灰度值,D为大小为n×n的差分矩阵,其结构如下:
3.根据权利要求1所述的基于二值网格编码模板结构光的物体表面深度值测量方法,其特征在于:步骤(7)中所述的计算待测目标物体O表面的深度信息值ZW,实现步骤:
(7a)建立以摄像机V的光心为原点,沿摄像机V成像平面的水平方向为x轴,沿摄像机V成像平面的竖直方向为y轴,沿摄像机V的光轴且与成像平面垂直的方向为z轴的世界坐标系;
(7b)计算目标物体O在世界坐标系下沿y轴的坐标值:
YW=(y'-M/2)hcp
其中,y'为变形图像I4的像素点坐标的纵坐标值,M为变形图像I3像素点的总列数,hcp为摄像机V中单个像素点所代表的实际高度;
(7c)计算待测物体O的表面深度信息值ZW:
其中YW,ZW分别是目标物体O在世界坐标系下沿x轴和z轴的坐标值,y为变形图像I3的像素点在二值网格编码模板P上匹配点的纵坐标值,f为摄像机V的焦距,为摄像机V的光心和投影仪T的水平距离,MP为二值网格编码模板P像素点的总列数,wpp是投影仪T中单个像素所代表的实际宽度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910057751.XA CN109540023B (zh) | 2019-01-22 | 2019-01-22 | 基于二值网格编码模板结构光的物体表面深度值测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910057751.XA CN109540023B (zh) | 2019-01-22 | 2019-01-22 | 基于二值网格编码模板结构光的物体表面深度值测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109540023A CN109540023A (zh) | 2019-03-29 |
CN109540023B true CN109540023B (zh) | 2019-11-26 |
Family
ID=65838049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910057751.XA Active CN109540023B (zh) | 2019-01-22 | 2019-01-22 | 基于二值网格编码模板结构光的物体表面深度值测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109540023B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110231018B (zh) * | 2019-04-30 | 2021-02-26 | 奥比中光科技集团股份有限公司 | 一种结构光测距方法、装置及计算机可读存储介质 |
CN110675499B (zh) * | 2019-07-23 | 2023-04-11 | 电子科技大学 | 基于双目结构光三维扫描系统的三维建模方法 |
CN110766767B (zh) * | 2019-10-17 | 2021-05-04 | 中国科学院自动化研究所 | 获取格雷码结构光图像的方法、系统、装置 |
CN110926370B (zh) * | 2019-11-12 | 2021-10-29 | 季华实验室 | 测量方法和系统 |
CN111783877B (zh) * | 2020-06-30 | 2023-08-01 | 西安电子科技大学 | 基于单帧网格复合编码模板结构光的深度信息测量方法 |
CN113405461B (zh) * | 2021-04-23 | 2023-03-21 | 封泽希 | 用于深度检测的结构光编码、解码方法及编码、解码装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103400366A (zh) * | 2013-07-03 | 2013-11-20 | 西安电子科技大学 | 基于条纹结构光的动态场景深度获取方法 |
CN105096314A (zh) * | 2015-06-19 | 2015-11-25 | 西安电子科技大学 | 基于二值网格模板的结构光动态场景深度获取方法 |
CN105844633A (zh) * | 2016-03-21 | 2016-08-10 | 西安电子科技大学 | 基于De序列和相位编码的单帧结构光深度获取方法 |
CN106504284A (zh) * | 2016-10-24 | 2017-03-15 | 成都通甲优博科技有限责任公司 | 一种基于立体匹配与结构光相结合的深度图获取方法 |
-
2019
- 2019-01-22 CN CN201910057751.XA patent/CN109540023B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103400366A (zh) * | 2013-07-03 | 2013-11-20 | 西安电子科技大学 | 基于条纹结构光的动态场景深度获取方法 |
CN105096314A (zh) * | 2015-06-19 | 2015-11-25 | 西安电子科技大学 | 基于二值网格模板的结构光动态场景深度获取方法 |
CN105844633A (zh) * | 2016-03-21 | 2016-08-10 | 西安电子科技大学 | 基于De序列和相位编码的单帧结构光深度获取方法 |
CN106504284A (zh) * | 2016-10-24 | 2017-03-15 | 成都通甲优博科技有限责任公司 | 一种基于立体匹配与结构光相结合的深度图获取方法 |
Non-Patent Citations (3)
Title |
---|
Depth sensing with coding-free pattern based on topological constraint;Guangming Shi等;《VISUAL IMAGE》;20180715;全文 * |
Maximum a posteriori-based depth sensing with a single-shot maze pattern;RUODAILI;《OPTICS EXPRESS》;20171016;全文 * |
Single-Shot Dense Depth Sensing with Color;FULI;《sensors》;20171231;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109540023A (zh) | 2019-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109540023B (zh) | 基于二值网格编码模板结构光的物体表面深度值测量方法 | |
CN107945268B (zh) | 一种基于二元面结构光的高精度三维重建方法及系统 | |
CN106839977B (zh) | 基于光栅投影双目成像技术的盾构渣土体积实时测量方法 | |
CN101504277B (zh) | 一种光学三维传感获取物体三维图像的方法 | |
US20120176380A1 (en) | Forming 3d models using periodic illumination patterns | |
US20120176478A1 (en) | Forming range maps using periodic illumination patterns | |
CN105069789B (zh) | 基于编码网格模板的结构光动态场景深度获取方法 | |
CN105844633B (zh) | 基于De序列和相位编码的单帧结构光深度获取方法 | |
CN104331699A (zh) | 一种三维点云平面化快速搜索比对的方法 | |
CN113362457B (zh) | 一种基于散斑结构光的立体视觉测量方法及系统 | |
WO2007052191A2 (en) | Filling in depth results | |
CN113850900B (zh) | 三维重建中基于图像和几何线索恢复深度图的方法及系统 | |
CN103700117A (zh) | 一种基于tv-l1变分模型的鲁棒光流场估计方法 | |
CN105303572B (zh) | 基于主被动结合的深度信息获取方法 | |
CN113284251A (zh) | 一种自适应视角的级联网络三维重建方法及系统 | |
CN117078753A (zh) | 基于相机的渐进式特征分布采样6d位姿估计方法及系统 | |
Jia et al. | Depth measurement based on a convolutional neural network and structured light | |
Fu et al. | High dynamic range structured light 3-D measurement based on region adaptive fringe brightness | |
CN112991517B (zh) | 一种纹理影像编解码自动匹配的三维重建方法 | |
CN108895979B (zh) | 线段编码的结构光深度获取方法 | |
CN111582310B (zh) | 隐含结构光的解码方法及装置 | |
CN111783877B (zh) | 基于单帧网格复合编码模板结构光的深度信息测量方法 | |
Zhang et al. | A Robust Multi‐View System for High‐Fidelity Human Body Shape Reconstruction | |
Yang et al. | Color M-array shape reconstruction of using grid points and center points | |
CN112562059A (zh) | 一种自动化结构光图案设计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |