CN109540023A - 基于二值网格编码模板结构光的物体表面深度值测量方法 - Google Patents

基于二值网格编码模板结构光的物体表面深度值测量方法 Download PDF

Info

Publication number
CN109540023A
CN109540023A CN201910057751.XA CN201910057751A CN109540023A CN 109540023 A CN109540023 A CN 109540023A CN 201910057751 A CN201910057751 A CN 201910057751A CN 109540023 A CN109540023 A CN 109540023A
Authority
CN
China
Prior art keywords
value
grid
deformation pattern
grid lines
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910057751.XA
Other languages
English (en)
Other versions
CN109540023B (zh
Inventor
李甫
张天娇
陶清龙
李泉录
石光明
牛毅
蒋景松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910057751.XA priority Critical patent/CN109540023B/zh
Publication of CN109540023A publication Critical patent/CN109540023A/zh
Application granted granted Critical
Publication of CN109540023B publication Critical patent/CN109540023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出了一种基于二值网格编码模板结构光的物体表面深度值测量方法,旨在通过减少物体表面彩色和表面跳变对离散特征解码的干扰,提高物体表面深度值的测量精度,实现步骤为:1)设计二值网格编码模板P;2)获取灰度变形图像I;3)删除灰度变形图像I中的环境光照和离散特征;4)获取包含网格线位置信息和离散特征的变形图象I3;5)获取变形图像I3以及二值网格编码模板P的码元序列;6)求取变形图像I3网格线像素点的匹配点;7)计算待测目标物体O表面的深度信息值ZW。本发明可用于人机交互、逆向工程、自动导航和生物医学测试等场景。

Description

基于二值网格编码模板结构光的物体表面深度值测量方法
技术领域
本发明属于计算机视觉测量技术领域,涉及一种物体表面深度值的测量方法,具体涉及一种基于单帧二值网格编码模板的结构光法的物体表面深度值测量方法,可应用于人机交互、逆向工程、自动导航和生物医学测试等领域。
背景技术
随着计算机视觉的不断发展,3D成像技术得到了越来越广泛的应用。到目前为止,已有大量的深度感知技术被研究和应用,其中测量物体表面的深度信息的方法有:时间飞行法、立体视觉法以及结构光法。其中对于结构光法,本质是设计含有空间或相位等信息的模板,用投影仪将其投射到待测物体上,待测物体使模板发生形变,用摄像机拍摄待测物体得到形变图像,将形变图像和初始模板进行匹配解码,由此获得物体表面的深度信息的方法。由于其实现原理简单、测量精度、分辨率高,以及鲁棒性好等特点而被广泛研究。
根据编码方式的不同,结构光法通常分为基于时间编码的结构光法和基于空间编码的结构光法。其中基于时间编码的结构光法是向待测场景中投射多张编码模板,利用模板中每个像素点的灰度或者颜色信息,并按照模板投射的顺序可以对场景中每个点形成唯一编码值,利用该唯一码值,辅助获得场景深度信息。常见的时间编码法有相移法和格雷码法。然而,该方法使用的是多帧编码模板,所以测量过程耗费时间过长。基于空间编码的结构光法通常利用像素点周围的灰度值、颜色以及自定义图形特征对像素点进行编码,形成携带空间信息的编码模板,并利用模板的空间信息,辅助获得场景深度信息的方法,该方法仅需要向场景中投射一幅模板,耗费时间短。
根据模板中像素灰度值是否连续变化,基于空间编码的结构光法又可以分为基于单帧连续编码的结构光法和基于单帧离散编码的结构光法,相比于基于单帧连续编码的结构光法,基于单帧离散编码的结构光法具有较强的鲁棒性,因而获得了更加广泛的研究,该方法所使用的模板通常是采用诸如颜色、条纹、线条、菱形和多边形等离散特征,按照特定的编码方式排列形成的,由于在测量过程中需要获取编码模板在变形模板上的匹配点,这一过程会因为环境的噪声或模板编码信息的缺乏而变得非常困难,所以现有技术往往会使用多种离散特征相结合的方式,让模板携带足够多的信息来辅助进行像素点的匹配,以提高测量精度。比如,申请公布号为CN109191562A,名称为“基于彩色伪随机编码结构光的三维重建方法”的专利申请,公开了一种基于彩色伪随机编码结构光的物体表面深度值的方法,该方法利用颜色和多个方格作为离散特征对模板进行编码,使该彩色结构光编码模板的奇数行方格颜色相同,偶数行方格颜色相同,将上述编码模板投射到待测场景,然后利用摄像机采集变形图像,接着对变形图像进行角点提取,再对所提角点进行特征描述和匹配,最后利用三角测量法得到物体表面的深度信息。但存在的缺陷是,该方法使用彩色网格线作为离散特征在解码过程中受到待测物体表面彩色的干扰,使得最终测量的精度受到影响,且离散特征是稀疏的,导致在解码过程中使用的滑窗窗口比较大,物体表面跳变也会影响测量的精度。
发明内容
本发明的目的在于针对上述现有技术的不足,提出了一种基于二值网格编码模板结构光的物体表面深度值测量方法,首先设计二值网格编码模板,将该模板投射到待测物体上使其发生形变,再用摄像机对待测物体进行拍摄,得到变形图象,通过获取变形图象中网格线上的像素点在编码模板上的匹配点,利用三角测距原理得到待测物体的表面的深度信息,旨在通过减少物体表面彩色和表面跳变对离散特征解码的干扰,提高物体表面深度值的测量精度。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)设计二值网格编码模板P:
(1a)获取黑色背景模板,并在该模板上通过数量相同的多条白色横网格线和竖网格线施划m×m个正方形网格,然后建立以每个网格中心为原点,原点右侧为x轴正方向的二维坐标系,81≥m≥4;
(1b)设置3元4阶De Bruijn序列ak,并将ak的码元向后移动两位,得到De Bruijn序列bk,然后将序列bk排列在序列ak下方,得到伪二维De Bruijn序列;
(1c)对伪二维De Bruijn序列进行次复制,并将复制得到的伪二维De Bruijn序列纵向排列,得到编码矩阵;
(1d)将从编码矩阵中选取的m×m个码元按照从左到右从上到下的顺序,映射到步骤(1a)获取的模板上对应位置的网格中,并根据码元的属性设计每个网格左半区域的离散特征,若码元属于序列ak,则将与x轴正方向成135度夹角位置施划的白色短斜线作为表示码元属于序列ak的离散特征,若码元属于序列bk,则将与x轴正方向成225度夹角位置施划的白色短斜线作为表示码元属于序列bk的离散特征,同时,根据码元的值在每个网格右半区域设计离散特征,若码元值为1,则将与x轴正方向成45度位置施划的白色短斜线作为表示码元值为1的离散特征,若码元值为2,则将与x轴正方向成-45度位置施划的白色短斜线作为表示码元值为2的离散特征,若码元值为0,则将网格右半区域作为表示码元值为0的离散特征,得到二值网格编码模板P;
(2)获取灰度变形图像I:
将投影仪T与摄像机V水平放置,并使两者光轴平行,用投影仪T将所述的二值网格编码模板P投射到目标物体O上,通并用摄像机V对该目标物体O进行拍摄,获得经过目标物体O调制后的灰度变形图像I;
(3)删除灰度变形图像I中的环境光照和离散特征:
(3a)删除灰度变形图像I中的环境光照,得到变形图像T(I),其中,表示灰度级的开操作,b表示平坦结构单元SE,表示环境光照;
(3b)对变形图像T(I)进行二值化操作,得到二值图像,并在水平方向和竖直方向上分别对该二值图像进行形态学开操作,用于删除灰度变形图像I每个网格左半区域表示码元属性的离散特征和右半区域表示码值的离散特征,得到仅包含网格线的变形图像I2
(4)获取包含网格线位置信息和离散特征的变形图象I3
(4a)构建变形图像I2中的每条网格线的能量函数,并求取每个能量函数的闭式解,得到每个能量函数对应网格线上各像素点的坐标;
(4b)将每条网格线上各像素点的坐标赋予变形图像T(I)对应网格线上对应的各像素点,得到包含网格线位置信息和离散特征的变形图象I3
(5)获取变形图像I3以及二值网格编码模板P的码元序列:
(5a)对变形图像I3的离散特征和二值网格编码模板P的离散特征分别进行解码,得到变形图像I3以及二值网格编码模板P的编码矩阵;
(5b)采用大小由2×2个码元组成的滑窗窗口,以1个码元为步长,按照从上到下从左到右的顺序分别在变形图像I3的编码矩阵和二值网格编码模板P编码矩阵上滑动,得到变形图像I3的码元序列和二值网格编码模板P的码元序列;
(6)求取变形图像I3网格线像素点的匹配点:
根据外极限约束原理,并通过变形图像I3的码元序列和二值网格编码模板P的码元序列,求取变形图像I3网格线上的每个像素点在二值网格编码模板P网格线上的匹配点;
(7)计算待测目标物体O表面的深度信息值ZW
采用三角测距方法,并通过变形图像I3网格线上的每个像素点在二值网格编码模板P网格线上的匹配点,计算待测目标物体O表面的深度信息值ZW
本发明与现有技术相比,具有以下优点:
1.本发明由于二值网格编码模板仅包含黑色背景和白色网格线,且表示码元属性的离散特征的颜色为白色,表示码元值的离散特征为白色或黑色,减小了现有技术对使用彩色网格线作为离散特征在解码过程中受到待测物体表面彩色的干扰,有效提高了测量的精度;
2.本发明使用了伪二维De Bruijn序列来生成编码矩阵,使离散特征更稠密,避免了现有技术的离散特征过于稀疏,在解码时使用较大的滑窗窗口,有利于降低物体表面跳变对离散特征解码的干扰,进一步提高了测量的精度。
附图说明
图1为本发明的实现流程图;
图2为本发明中为每个网格建立的坐标系的示意图;
图3为本发明中表示码元属性和码元值的离散特征示意图;
图4为本发明设计的二值网格编码模板示意图;
图5为本发明获取灰度变形图像所使用装置的结构示意图;
图6为使用本发明和现有技术对彩色物体表面深度值测量的结果图;
图7为使用本发明和现有技术对表面发生跳变的物体深度值测量的结果图。
具体实施方式
以下结合附图和具体实施例,对本发明作进一步详细描述:
参照图1,本发明的实现步骤如下:
步骤1)设计二值网格编码模板P,其结构如图4所示:
(1a)获取黑色背景模板,并在该模板上通过数量相同的多条白色横网格线和竖网格线施划m×m个正方形网格,然后建立以每个网格中心为原点,原点右侧为x轴正方向的二维坐标系,81≥m≥4,当m超出这个范围,在测量过程中将无法对离散特征进行解码,在本实施例中,m取81,根据实验使用的投影仪的分辨率,利用计算机生成一个大小为1140×912个像素的黑色背景模板,并在该模板上通过82条宽度为1个像素的白色横网格线和82条宽度为一个像素的竖网格线施划81×81个宽度为12个像素的正方形网格,建立以每个网格中心为原点,原点右侧为x轴正方向的二维坐标系,其结构如图2所示,原点是网格中心点o,x轴正方向为原点右侧箭头所指方向;
(1b)设置3元4阶De Bruijn序列ak,其中序列ak由三种码元构成,且每4个码元组成De Bruijn序列ak唯一的一个子序列,将De Bruijn序列ak的码元向后移动两位,得到DeBruijn序列bk,也就是将De Bruijn序列ak第81位的码元移到第2位码元,第80位的码元移到第1位,其他第i位的码元依次移到第i+2位,形成序列De Bruijn序列bk,将De Bruijn序列bk排列在序列ak下方,得到伪二维De Bruijn序列,其中,De Bruijn序列ak、De Bruijn序列bk和伪二维De Bruijn序列的结构如下:
De Bruijn序列ak结构:
2212122221102120012210222020021001100220…
De Bruijn序列bk结构:
2022121222211021200122102220200210011002…
伪二维De Bruijn序列结构:
2212122221102120012210222020021001100220…
2022121222211021200122102220200210011002…
(1c)对伪二维De Bruijn序列进行次复制,即对向上取整,在本实施例中,对伪二维序列De Bruijn复制41次,并将复制得到的伪二维De Bruijn序列纵向排列,得到编码矩阵,该编码矩阵在水平方向上每2×2个码元组成一个唯一的子序列矩阵,所以在测量过程中对离散特征进行解码的时候仅需要2×2个码元组成的滑窗窗口,有利于减少物体表面跳变对离散特征解码过程的影响;
(1d)从编码矩阵中选取m×m个码元,在本实施例中,m=81,将位于编码矩阵第i行第j列的码元,映射到步骤(1a)获取的模板中第i行第j列的网格中,并根据码元的属性确定每个网格左半区域的离散特征,若码元属于序列ak,则将与x轴正方向成135度夹角位置施划的白色短斜线作为表示码元属于序列ak的离散特征,若码元属于序列bk,则将与x轴正方向成225度夹角位置施划的白色短斜线作为表示码元属于序列bk的离散特征,同时,根据码元的值在每个网格右半区域设计离散特征,若码元值为1,则将与x轴正方向成45度位置施划的白色短斜线作为表示码元值为1的离散特征,若码元值为2,则将与x轴正方向成-45度位置施划的白色短斜线作为表示码元值为2的离散特征,若码元值为0,则将网格右半区域作为表示码元值为0的离散特征,得到二值网格编码模板P;
步骤2)获取灰度变形图像I:
参照附图5搭建获取灰度变形图像I所使用的装置,将投影仪T与摄像机V水平放置,并使两者光轴平行,再用投影仪T将二值网格编码模板P投射到待测物体上,实现目标物体O对二值网格编码模板P的调制,使二值网格编码模板P发生形变,并用摄像机V对该目标物体O进行拍摄,获得灰度变形图像I;
步骤3)删除灰度变形图像I中的环境光照和离散特征:
(3a)用摄像机V对目标物体O进行拍摄的过程时,会受到自然光或者灯光等环境光的影响,为了避免环境光照影响对变形图象网格线位置信息的获取,需要删除灰度变形图像I中的环境光照,得到变形图像T(I),其中,表示灰度级的开操作,b表示平坦结构单元SE,表示环境光照;
(3b)对变形图像进行二值化操作,本实施例使用但不限于自适应二值化方法,首先将变形图像T(I)分成大小50×50个图形块,在每个图像块内选取阈值,进行二值化操作,得到二值图像,并在水平方向和竖直方向上分别对该二值图像进行形态学开操作,用于删除灰度变形图像I每个网格左半区域表示码元属性的离散特征和右半区域表示码元的值的离散特征,最后得到仅包含网格线的变形图像I2
步骤4)获取包含网格线位置信息和离散特征的变形图象I3
(4a)因为环境噪声会造成变形图象I2网格线的断裂,因此要为变形图像I2中的每条网格线构建能量函数来求得网格线完整的位置信息,能量函数构建步骤如下:
(4a1)获取变形图像I2中的每条网格线上各像素点的初始坐标:
求取变形图像I2中每个像素点在竖直方向的梯度值和水平方向的梯度值,用变形图像I2每一行竖直方向梯度值最大的像素点组成初始竖网格线,用变形图像I2每一列水平方向梯度值最大的像素点组成初始横网格线;
(4a2)利用初始竖网格线和初始横网格线,构建变形图像I2中每条横网格线和每条竖网格线的能量函数,其中:
横网格线能量函数的表达式为:
竖网格线能量函数的表达式为:
其中,λ为调节因子,在本实施例中,λ取值为0.1,y表示每一条横网格线上所有像素点横坐标组成的大小为1×n的向量,y0表示每一条初始横网格线上所有像素点横坐标组成的大小为1×n的向量,x表示每一条竖网格线上所有像素点横坐标组成的大小为1×n的向量,x0表示每一条初始竖网格线上所有像素点纵坐标组成的大小为1×n的向量,n为各网格线上所有像素点个数,H是大小为n×n的采样矩阵,其除了对角线上的元素,其他位置元素都为0,采样矩阵H对角线上元素为:
其中,Hii代表H对角线上位于(i,i)的元素,pi是各网格线上第i个像素点的灰度值,D为大小为n×n的差分矩阵,其结构如下:
求取每个能量函数的闭式解,就可得到每个能量函数对应网格线上各像素点的坐标,其中闭式解求取公式为:
y=(λHTH+DTD)-1λHTy0
(4b)将每条网格线上各像素点的坐标赋予变形图像T(I)对应网格线上对应的各像素点,得到包含网格线位置信息和离散特征的变形图象I3
步骤5)获取变形图像I3以及二值网格编码模板P的码元序列:
(5a)对变形图像I3的离散特征和二值网格编码模板P的离散特征分别进行解码,得到变形图像I3以及二值网格编码模板P的编码矩阵,本发明使用但不限于如下解码过程:
(5a1)设计四个卷积核,四个卷积核的结构为:
其中M1、M2、M3、M4为设计的四个大小为12×12个元素的卷积核,U3×3为所有元素均为1,大小为3×3的矩阵;
(5a2)用卷积核M1、M2、M3、M4分别对变形图像I3每一个网格进行卷积计算,得到对应四个卷积和值S1、S2、S3、S4,设计一个阈值t,本发明的阈值t=4,根据四个卷积和值与阈值t的大小,判断该网格内的离散特征,实现对离散特征的解码,若S1>t代表该网格有码元属于序列ak的离散特征,若S1>t代表该网格内有码元属于序列bk的离散特征,若S3>t代表该网格内有码元值为1的离散特征,若S4>t代表该网格内有码元值为2的离散特征,若S3≤t且S4≤t,代表该网格内有码元值为0的离散特征;
(5b)采用大小由2×2个码元组成的滑窗窗口,以1个码元为步长,按照从左到右从上到下的顺序分别在变形图像I3的编码矩阵和二值网格编码模板P编码矩阵上滑动,得到变形图像I3的码元序列和二值网格编码模板P的码元序列;
步骤6)求取变形图像I3网格线像素点的匹配点:
根据外极限约束原理,并通过变形图像I3的码元序列和二值网格编码模板P的码元序列,求取变形图像I3网格线上的每个像素点在二值网格编码模板P网格线上的匹配点;
步骤7)计算待测目标物体O表面的深度信息值ZW
采用三角测距方法,并通过变形图像I3网格线上的每个像素点在二值网格编码模板P网格线上的匹配点,计算待测目标物体O表面的深度信息值ZW:
(7a)建立以摄像机V的光心为原点,沿摄像机V成像平面的水平方向为x轴,沿摄像机V成像平面的竖直方向为y轴,沿摄像机V的光轴且与成像平面垂直的方向为z轴的世界坐标系;
(7b)计算目标物体O在世界坐标系下沿y轴的坐标值:
YW=(y′-M/2)hcp
其中,y′为变形图像I4的像素点坐标的纵坐标值,M为变形图像I3像素点的总列数,hcp为摄像机V中单个像素点所代表的实际高度;
(7c)计算待测物体O的表面深度信息值ZW
其中YW,ZW分别是目标物体O在世界坐标系下沿x轴和z轴的坐标值,y为变形图像I3的像素点在二值网格编码模板P上匹配点的纵坐标值,f为摄像机V的焦距,为摄像机V的光心和投影仪T的水平距离,MP为二值网格编码模板P像素点的总列数,wpp是投影仪T中单个像素所代表的实际宽度。
本发明的效果可通过以下实际实验进一步说明:
1.实际实验条件和内容:
1.1.实际实验条件:
本发明的实际实验采用的硬件测试平台是:一个数码光处理(Digital LightProcessing,DLP)投影仪(德州仪器DLPLCR4500)和一个灰度摄相机(GreypointGrasshopper3)组成。投影仪的分辨率为1140×912,摄像机的分辨率为2048×2048。
1.2.实际实验内容:
实验1:使用本发明和现有技术中一种基于彩色伪随机编码结构光的物体表面深度值的测量方法对一个彩色的物体表面深度值进行测量得到图6。
实验2:使用本发明和现有技术中一种基于彩色伪随机编码结构光的物体表面深度值的测量方法对一个表面发生跳变的物体表面深度值进行测量得到图7。
2.实际实验结果分析:
通过图6(a)和图6(b)对比可以看到,使用本发明测量彩色物体的深度值得到的深度点云图表面更加平整光滑,无明显波动现象,且轮廓清晰可见,可见本发明可以降低物体表面颜色的干扰,提高测量的精度。
通过图7(a)和图7(b)的对比可以看出用本发明测量表面发生跳变的物体的深度信息得到的深度点云图细节呈现更加丰富,并且在物体表面跳变处深度信息更完整,可见本发明可以降低物体表面跳变的干扰,提高测量的精度。
以上描述仅是本发明的一个具体实例,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理的情况下,进行形式和细节上的各种修正和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (3)

1.一种基于二值网格编码模板结构光的物体表面深度值测量方法,其特征在于,包括如下步骤:
(1)设计二值网格编码模板P:
(1a)获取黑色背景模板,并在该模板上通过数量相同的多条白色横网格线和竖网格线施划m×m个正方形网格,然后建立以每个网格中心为原点,原点右侧为x轴正方向的二维坐标系,81≥m≥4;
(1b)设置3元4阶De Bruijn序列ak,并将ak的码元向后移动两位,得到De Bruijn序列bk,然后将序列bk排列在序列ak下方,得到伪二维De Bruijn序列;
(1c)对伪二维De Bruijn序列进行次复制,并将复制得到的伪二维De Bruijn序列纵向排列,得到编码矩阵;
(1d)将从编码矩阵中选取的m×m个码元按照从左到右从上到下的顺序,映射到步骤(1a)获取的模板上对应位置的网格中,并根据码元的属性设计每个网格左半区域的离散特征,若码元属于序列ak,则将与x轴正方向成135度夹角位置施划的白色短斜线作为表示码元属于序列ak的离散特征,若码元属于序列bk,则将与x轴正方向成225度夹角位置施划的白色短斜线作为表示码元属于序列bk的离散特征,同时,根据码元的值在每个网格右半区域设计离散特征,若码元值为1,则将与x轴正方向成45度位置施划的白色短斜线作为表示码元值为1的离散特征,若码元值为2,则将与x轴正方向成-45度位置施划的白色短斜线作为表示码元值为2的离散特征,若码元值为0,则将网格右半区域作为表示码元值为0的离散特征,得到二值网格编码模板P;
(2)获取灰度变形图像I:
将投影仪T与摄像机V水平放置,并使两者光轴平行,用投影仪T将所述的二值网格编码模板P投射到目标物体O上,通并用摄像机V对该目标物体O进行拍摄,获得经过目标物体O调制后的灰度变形图像I;
(3)删除灰度变形图像I中的环境光照和离散特征:
(3a)删除灰度变形图像I中的环境光照,得到变形图像T(I),其中,表示灰度级的开操作,b表示平坦结构单元SE,表示环境光照;
(3b)对变形图像T(I)进行二值化操作,得到二值图像,并在水平方向和竖直方向上分别对该二值图像进行形态学开操作,用于删除灰度变形图像I每个网格左半区域表示码元属性的离散特征和右半区域表示码值的离散特征,得到仅包含网格线的变形图像I2
(4)获取包含网格线位置信息和离散特征的变形图象I3
(4a)构建变形图像I2中的每条网格线的能量函数,并求取每个能量函数的闭式解,得到每个能量函数对应网格线上各像素点的坐标;
(4b)将每条网格线上各像素点的坐标赋予变形图像T(I)对应网格线上对应的各像素点,得到包含网格线位置信息和离散特征的变形图象I3
(5)获取变形图像I3以及二值网格编码模板P的码元序列:
(5a)对变形图像I3的离散特征和二值网格编码模板P的离散特征分别进行解码,得到变形图像I3以及二值网格编码模板P的编码矩阵;
(5b)采用大小由2×2个码元组成的滑窗窗口,以1个码元为步长,按照从上到下从左到右的顺序分别在变形图像I3的编码矩阵和二值网格编码模板P编码矩阵上滑动,得到变形图像I3的码元序列和二值网格编码模板P的码元序列;
(6)求取变形图像I3网格线像素点的匹配点:
根据外极限约束原理,并通过变形图像I3的码元序列和二值网格编码模板P的码元序列,求取变形图像I3网格线上的每个像素点在二值网格编码模板P网格线上的匹配点;
(7)计算待测目标物体O表面的深度信息值ZW
采用三角测距方法,并通过变形图像I3网格线上的每个像素点在二值网格编码模板P网格线上的匹配点,计算待测目标物体O表面的深度信息值ZW
2.根据权利要求1所述的基于二值网格编码模板结构光的物体表面深度测量方法,其特征在于:步骤(4a)中所述的构建变形图像I2中的每条网格线的能量函数,实现步骤为:
(4a1)获取变形图像I2中的每条网格线上各像素点的初始坐标:
求取变形图像I2中每个像素点在竖直方向的梯度值和水平方向的梯度值,用变形图像I2每一行竖直方向梯度值最大的像素点组成初始竖网格线,用变形图像I2每一列水平方向梯度值最大的像素点组成初始横网格线;
(4a2)利用初始竖网格线和初始横网格线,构建变形图像I2中每条横网格线和每条竖网格线的能量函数,其中:
横网格线能量函数的表达式为:
竖网格线能量函数的表达式为:
其中,λ为调节因子,y表示每一条横网格线上所有像素点横坐标组成的大小为1×n的向量,y0表示每一条初始横网格线上所有像素点横坐标组成的大小为1×n的向量,x表示每一条竖网格线上所有像素点纵坐标组成的大小为1×n的向量,x0表示每一条初始竖网格线上所有像素点纵坐标组成的大小为1×n的向量,n为各网格线上所有像素点个数,H是大小为n×n的采样矩阵,其除了对角线上的元素,其他位置元素都为0,采样矩阵H对角线上元素为:
其中,Hii代表H对角线上位于(i,i)的元素,pi是各网格线上第i个像素点的灰度值,D为大小为n×n的差分矩阵,其结构如下:
3.根据权利要求1所述的基于二值网格编码模板结构光的物体表面深度测量方法,其特征在于:步骤(7)中所述的计算待测目标物体O表面的深度信息值ZW,实现步骤:
(7a)建立以摄像机V的光心为原点,沿摄像机V成像平面的水平方向为x轴,沿摄像机V成像平面的竖直方向为y轴,沿摄像机V的光轴且与成像平面垂直的方向为z轴的世界坐标系;
(7b)计算目标物体O在世界坐标系下沿y轴的坐标值:
YW=(y′-M/2)hcp
其中,y′为变形图像I4的像素点坐标的纵坐标值,M为变形图像I3像素点的总列数,hcp为摄像机V中单个像素点所代表的实际高度;
(7c)计算待测物体O的表面深度信息值ZW
其中YW,ZW分别是目标物体O在世界坐标系下沿x轴和z轴的坐标值,y为变形图像I3的像素点在二值网格编码模板P上匹配点的纵坐标值,f为摄像机V的焦距,为摄像机V的光心和投影仪T的水平距离,MP为二值网格编码模板P像素点的总列数,wpp是投影仪T中单个像素所代表的实际宽度。
CN201910057751.XA 2019-01-22 2019-01-22 基于二值网格编码模板结构光的物体表面深度值测量方法 Active CN109540023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910057751.XA CN109540023B (zh) 2019-01-22 2019-01-22 基于二值网格编码模板结构光的物体表面深度值测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910057751.XA CN109540023B (zh) 2019-01-22 2019-01-22 基于二值网格编码模板结构光的物体表面深度值测量方法

Publications (2)

Publication Number Publication Date
CN109540023A true CN109540023A (zh) 2019-03-29
CN109540023B CN109540023B (zh) 2019-11-26

Family

ID=65838049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910057751.XA Active CN109540023B (zh) 2019-01-22 2019-01-22 基于二值网格编码模板结构光的物体表面深度值测量方法

Country Status (1)

Country Link
CN (1) CN109540023B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110231018A (zh) * 2019-04-30 2019-09-13 深圳奥比中光科技有限公司 一种结构光测距方法、装置及计算机可读存储介质
CN110675499A (zh) * 2019-07-23 2020-01-10 电子科技大学 基于双目结构光三维扫描系统的三维建模方法
CN110766767A (zh) * 2019-10-17 2020-02-07 中国科学院自动化研究所 获取格雷码结构光图像的方法、系统、装置
CN110926370A (zh) * 2019-11-12 2020-03-27 季华实验室 测量方法和系统
CN111783877A (zh) * 2020-06-30 2020-10-16 西安电子科技大学 基于单帧网格复合编码模板结构光的深度信息测量方法
CN113405461A (zh) * 2021-04-23 2021-09-17 封泽希 用于深度检测的结构光编码、解码方法及编码、解码装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400366A (zh) * 2013-07-03 2013-11-20 西安电子科技大学 基于条纹结构光的动态场景深度获取方法
CN105096314A (zh) * 2015-06-19 2015-11-25 西安电子科技大学 基于二值网格模板的结构光动态场景深度获取方法
CN105844633A (zh) * 2016-03-21 2016-08-10 西安电子科技大学 基于De序列和相位编码的单帧结构光深度获取方法
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400366A (zh) * 2013-07-03 2013-11-20 西安电子科技大学 基于条纹结构光的动态场景深度获取方法
CN105096314A (zh) * 2015-06-19 2015-11-25 西安电子科技大学 基于二值网格模板的结构光动态场景深度获取方法
CN105844633A (zh) * 2016-03-21 2016-08-10 西安电子科技大学 基于De序列和相位编码的单帧结构光深度获取方法
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FULI: "Single-Shot Dense Depth Sensing with Color", 《SENSORS》 *
GUANGMING SHI等: "Depth sensing with coding-free pattern based on topological constraint", 《VISUAL IMAGE》 *
RUODAILI: "Maximum a posteriori-based depth sensing with a single-shot maze pattern", 《OPTICS EXPRESS》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110231018A (zh) * 2019-04-30 2019-09-13 深圳奥比中光科技有限公司 一种结构光测距方法、装置及计算机可读存储介质
CN110231018B (zh) * 2019-04-30 2021-02-26 奥比中光科技集团股份有限公司 一种结构光测距方法、装置及计算机可读存储介质
CN110675499A (zh) * 2019-07-23 2020-01-10 电子科技大学 基于双目结构光三维扫描系统的三维建模方法
CN110675499B (zh) * 2019-07-23 2023-04-11 电子科技大学 基于双目结构光三维扫描系统的三维建模方法
CN110766767A (zh) * 2019-10-17 2020-02-07 中国科学院自动化研究所 获取格雷码结构光图像的方法、系统、装置
CN110766767B (zh) * 2019-10-17 2021-05-04 中国科学院自动化研究所 获取格雷码结构光图像的方法、系统、装置
CN110926370A (zh) * 2019-11-12 2020-03-27 季华实验室 测量方法和系统
CN110926370B (zh) * 2019-11-12 2021-10-29 季华实验室 测量方法和系统
CN111783877A (zh) * 2020-06-30 2020-10-16 西安电子科技大学 基于单帧网格复合编码模板结构光的深度信息测量方法
CN111783877B (zh) * 2020-06-30 2023-08-01 西安电子科技大学 基于单帧网格复合编码模板结构光的深度信息测量方法
CN113405461A (zh) * 2021-04-23 2021-09-17 封泽希 用于深度检测的结构光编码、解码方法及编码、解码装置

Also Published As

Publication number Publication date
CN109540023B (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
CN109540023B (zh) 基于二值网格编码模板结构光的物体表面深度值测量方法
CN108416840A (zh) 一种基于单目相机的三维场景稠密重建方法
CN105279789B (zh) 一种基于图像序列的三维重建方法
CN110533721A (zh) 一种基于增强自编码器的室内目标物体6d姿态估计方法
CN105844633B (zh) 基于De序列和相位编码的单帧结构光深度获取方法
CN106600686A (zh) 一种基于多幅未标定图像的三维点云重建方法
CN108876814B (zh) 一种生成姿态流图像的方法
CN103530907B (zh) 基于图像的复杂三维模型绘制方法
CN105184857A (zh) 基于点结构光测距的单目视觉重建中尺度因子确定方法
CN109360262A (zh) 基于cad图生成三维模型的室内定位系统及方法
CN104794748A (zh) 基于Kinect视觉技术的三维空间地图构建方法
CN110175986A (zh) 一种基于卷积神经网络的立体图像视觉显著性检测方法
CN108305286A (zh) 基于颜色编码的多目立体视觉脚型三维测量方法、系统和介质
CN105574914B (zh) 3d动态场景的制作装置及其制作方法
CN106500626A (zh) 一种手机立体成像方法及三维成像手机
CN108564120A (zh) 基于深度神经网络的特征点提取方法
CN106127818A (zh) 一种基于单幅图像的材质外观获取系统及方法
CN106204701A (zh) 一种基于光探针插值动态计算间接反射高光的渲染方法
CN104270624B (zh) 一种分区域的3d视频映射方法
CN110473248A (zh) 一种利用图像构建人体三维模型的测量方法
CN110232738A (zh) 基于视差图和关键点的多视图遥感图像立体重构方法
CN110766786A (zh) 基于生成对抗网络的草图到浅浮雕模型生成的方法
CN109724537A (zh) 一种双目三维成像方法及系统
CN107464278B (zh) 全视向的球体光场渲染方法
CN104796624A (zh) 一种光场编辑传播方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant