CN105203044A - 以计算激光散斑为纹理的立体视觉三维测量方法及系统 - Google Patents

以计算激光散斑为纹理的立体视觉三维测量方法及系统 Download PDF

Info

Publication number
CN105203044A
CN105203044A CN201510280144.1A CN201510280144A CN105203044A CN 105203044 A CN105203044 A CN 105203044A CN 201510280144 A CN201510280144 A CN 201510280144A CN 105203044 A CN105203044 A CN 105203044A
Authority
CN
China
Prior art keywords
point
right view
laser
scattering
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510280144.1A
Other languages
English (en)
Other versions
CN105203044B (zh
Inventor
张福根
李云鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHUHAI RITECH TECHNOLOGY Co Ltd
Original Assignee
ZHUHAI RITECH TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHUHAI RITECH TECHNOLOGY Co Ltd filed Critical ZHUHAI RITECH TECHNOLOGY Co Ltd
Priority to CN201510280144.1A priority Critical patent/CN105203044B/zh
Priority to PCT/CN2015/095534 priority patent/WO2016188068A1/zh
Priority to US15/113,814 priority patent/US10152800B2/en
Publication of CN105203044A publication Critical patent/CN105203044A/zh
Application granted granted Critical
Publication of CN105203044B publication Critical patent/CN105203044B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects
    • G06V2201/121Acquisition of 3D measurements of objects using special illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Abstract

本发明提供一种以计算激光散斑为纹理的立体视觉三维测量方法及系统,该测量方法包括:首先模拟激光散斑的形成过程,并计算得到数字化的激光散斑图,然后将该激光散斑图输出到菲林或照相干板上,接着将菲林或照相干板上的激光散斑图投射到被测物体的表面;最后采集被测物体的左、右视图,并在左、右视图中找出所有相互对应的匹配点,然后重建出被测物面形的三维点云。这样,通过本发明所述测量方法可获得理想的激光散斑图案,并投射到被测物表面,在被测物表面形成激光散斑纹理,完全避免了现有测量方法中相互对应的匹配点找错或找不到的问题,误匹配的概率极低,而且对环境光的干扰有较强的对抗能力,采样速度快,成本低,易于普及推广。

Description

以计算激光散斑为纹理的立体视觉三维测量方法及系统
【技术领域】
本发明属于三维数字成像、三维重建及三维造型技术领域,尤其涉及一种以计算激光散斑为纹理的立体视觉三维面形测量方法及系统。
【背景技术】
三维形貌测量,其应用领域已涵盖诸如工业检测、文物保护、地理测绘、建筑建模、逆向工程、医学整型、电影动画、体感娱乐、虚拟现实以及三维打印等领域。其中,主动光立体视觉作为一种重要的三维测量方法,以其测量速度快、结构简单、精度较高的特点,被大量应用于科学研究与商业仪器中;其基本流程是:(1)标定出左右相机的坐标关系;(2)投影结构光到被测物表面,形成特征纹理;(3)左、右相机同时各采集一幅图像,得到左视图和右视图;(4)匹配左、右视图中相互对应的匹配点,并计算视差;(5)根据视差和左右相机坐标关系,计算得到被测物的三维点云。
【发明内容】
上述主动光立体视觉三维测量方法的第(4)步的计算效果往往最为影响最终的三维点云的准确性,而第(2)步所投射的特征纹理,对第(4)步的计算效果影响非常大;因此理想的纹理应该是它的每一个局部的光亮度分布特征都是独一无二的,即任意选取一个观察点,其周围区域的纹理分布与自身之外的任意一个点周围区域的纹理分布都不一样,这样才能确保上述第(4)步所找到的匹配点完全正确。
李美菊等提出了一种用市面上能买到的投影仪投影数字散斑到被测物体表面作为纹理的双目视觉系统的立体匹配方法(文献:李美菊.投影数字散斑双目视觉系统的立体匹配[D].四川大学,2005)。该方法所述的“数字散斑”是这样形成的:把一个屏幕分成一定大小(该论文选用的是3×3个像素)的子图像,每个子图像都随机选取一个像素,将其灰度设定为255(最亮),其余像素灰度设定为零。这种方法产生的散斑固然有一定的随机性,但不能保证任一区域纹理特征都具有唯一性。如果匹配窗口的大小为3×3个像素,那么错误匹配的概率(简称“误配率”)将高达1/9;当然随着匹配窗口的增大,误配率会下降,但原则上难以完全消除误配。
杭州先临三维科技股份有限公司提出了数字散斑投影和相位测量轮廓术相结合的三维数字成像方法(参考文献:周劲,赵晓波.数字散斑投影和相位测量轮廓术相结合的三维数字成像方法[P].浙江:CN101608908,2009-12-23)。该方法中使用投影机向被测物投射“散斑图案”以消除正弦条纹相位匹配的不确定性,该方法未指明散斑的形成方法及具体参数。
Schaffer等人提出了一种用Nd:YAG激光器作为相干光源,照射到散射屏,再通过一个透镜系统,将散射光投射到被测物的表面,形成激光散斑,从而进行立体视觉三维成像的方法(参考文献:SchafferM,GrosseM,KowarschikR.High-speedpatternprojectionforthree-dimensionalshapemeasurementusinglaserspeckles[J].Appliedoptics,2010,49(18):3622-3629)。该方法所述激光散斑是由激光束照射到粗糙的物体表面,由该表面散射(透射或者反射)的光照射到观察面而形成的光斑。由于观察面上的光强是由无数束散射光叠加而成,而任意一束散射光的位相都是随机的,相干叠加的结果使得观察面上任意一处的光强都是随机的。因此激光散斑理论上可以成为理想的双目视差三维测量纹理。为了获得足够的纹理亮度,他们选用的激光器功率达到200mW。该方法的成本较高,装置的体积较大,系统比较脆弱,不宜做成民用、低成本的商品化仪器。
为了解决现有技术中存在的上述问题,本发明提供了一种采用低成本、高可靠性的理想激光散斑图投射方案,使被测物表面形成激光散斑纹理,完全避免了现有测量方法中要么匹配点找错或找不到、要么装置的成本较高,难以普及推广的问题,而且误匹配的几率极低,对环境光干扰的对抗能力强,成像速度快,成本低,易于普及推广的立体视觉三维面形测量方法及系统。
本发明解决现有技术问题所采用的技术方案为:
一种以计算激光散斑为纹理的立体视觉三维面形测量方法,包括:首先模拟激光散斑的形成过程,并计算得到数字化的激光散斑图,然后将该激光散斑图输出到菲林或照相干板上,接着将菲林或照相干板上的激光散斑图投射到被测物体的表面;最后采集被测物体的左、右视图,并在左、右视图中找出被测物体表面所有相互对应的匹配点,且根据匹配点的视差数据,重建得到被测物表面的三维点云。
进一步地,所述“计算得到数字化的激光散斑图”为模拟相干光被粗糙表面散射,形成多束散射光,该多束散射光传播到观察面,相干叠加形成激光散斑图,观察面上各点的光强数值是经数值计算得到的。
进一步地,所述“数值计算”具体为:设从粗糙表面任意一点散射到观察面点P的光线的振幅均为1或为随机数,则观察面点P的光强公式为:
其中,
所述为从散射点(i,j)散射到观察面点P的光线的位相,其公式为
所述为散射点S(xi,yj)到观察面点P(u,v)的距离,所述“hi,j”为散射点的相对高度,即某散射点高度对所有散射点平均高度的偏离量,所述xi和yj分别为序号为(i,j)散射点的坐标, x i = L x m ( i - 0.5 ) , y i = L y n ( j - 0.5 ) , 当中的分别为散射面上m×n个间隔均匀的散射点中横向和纵向相邻散射点之间的间隔,m、n取值为:
m > L px · L x Z 0 · λ n > L py · L y Z 0 · λ ;
其中Z0是散射平面到观察平面的距离,λ是激光的波长,Lx为散射面的长度,Ly为散射面的宽度,Lpx为接收平面的长度,Lpy为接收平面的宽度;各个散射点的高度是相互独立的随机数,记为h(i,j);其数值用计算机的随机数生成器生成,正负双向取值,平均值为0,方均根值大于等于二分之一波长λ;
通过控制Lx、Ly、波长λ以及散射面与观察面间的距离Z0,可以改变散斑在x方向与y方向的自相关长度Lcx和Lcy,即散斑尺寸;它们之间的关系是:
L cx = λ L x Z 0 ,
L cy = λ L y Z o .
进一步地,所述散斑的水平及垂直自相关长度Lcx和Lcy可根据被测物面形特征、测量系统参数和匹配精度最优原则进行调整。
进一步地,所述“采集被测物体的左、右视图,并在左、右视图中找出被测物体表面所有相互对应的匹配点,且根据匹配点的视差数据,重建得到被测物表面的三维点云”,具体为:首先根据左右图像采集设备之间由旋转矩阵R和平移向量T确定的相对位置,进行左、右视图行对齐;接着使用匹配算法搜寻左、右视图中相互对应的匹配点,直至左、右视图中所有相互对应的匹配点均被找出,从而得到左、右视图间的视差图;最后根据立体视觉三维重建公式,对视差图进行计算,得到三维点云数据,完成数字三维成像;该三维重建公式为:
w X Y Z 1 = Q * u l v l d 1 = 1 0 0 - c x left 0 1 0 - c y 0 0 0 f 0 0 - 1 / T ( c x left - c x right ) / T * u l v l d 1
其中,(ul,vl)是左、右视图行对齐后,左视图上某点的坐标;d是该点与其在右视图上对应的匹配点之间的视差;Q矩阵,通过双目立体视觉标定得到。
进一步地,所述“使用匹配算法搜寻左、右视图中相互对应的匹配点”,具体为:在行对齐后,使用SAD匹配算法,当SAD窗口大小为2m+1时,通过以下计算公式得到同一行中SAD值最小处的点,即为匹配点的位置;
SAD = ( i , j , d ) = Σ h = - m m Σ k = - m m | P L ( i + h , j + k ) - P R ( i + h , j + k + d ) | ;
式中,(i,j)是左视图中的一个点,d是该点与右视图中对应的匹配点间的视差,PL和PR分别是当前像素位置上的灰度值。
进一步地,所述“使用匹配算法搜寻左、右视图中相互对应的匹配点”中的“匹配算法”为误差平方和(SSD)匹配算法、归一化交叉相关(NCC)匹配算法或零均值交叉相关(ZNCC)匹配算法。
进一步地,所述“将菲林或照相干板上的激光散斑图投射到被测物体的表面”中所采用的投射光是非相干单色光,同时采集被测物体的左、右视图时通过窄带滤光片阻止该非相干单色光以外的环境光被采集。
一种以计算激光散斑为纹理的立体视觉三维面形测量系统,其特征在于,包括有:
光学投影装置,主要用于将印制在菲林或照相干板上的散斑图投影到被测物体的表面;
左相机和右相机,主要用于分别采集被测物体的左、右视图;
计算设备,主要用于接收和存储左、右相机采集到的被测物体的左、右视图,并通过一定的匹配算法找出左、右视图中所有相互对应的匹配点,以得到视差图,再通过视差图重建出被测物的三维点云。
进一步地,所述光学投影装置的光源是非相干单色光,所述左相机和右相机的成像镜头前加有滤光片。
本发明的有益效果如下:
本发明通过上述技术方案,可以较低的成本、较高的可靠性将理想的激光散斑图案投射到被测物表面,形成激光散斑纹理,避免了现有的其他测量方法中要么系统成本很高,要么相互对应的匹配点找错或找不到的问题;而且使用全新的参数设置方法,可方便调整散斑自相关长度,以获得良好的匹配曲线:该曲线最低点(或最高点)的匹配值远小于(或大于)平均的匹配值,因此误匹配的几率极低;采用非相干单色光照明,同时在测量系统的左、右相机成像镜头前加窄带滤光片,以阻止该单色光波长以外的环境光被照相机接收,增强了系统对环境光干扰的对抗能力;并且系统采样速度快,成本较低,易于普及推广。
【附图说明】
图1是本发明所述一种以计算激光散斑为纹理的立体视觉三维测量方法实施例的流程示意图;
图2是本发明所述一种以计算激光散斑为纹理的立体视觉三维测量方法实施例中形成激光散斑的光学原理图;
图3是本发明所述一种以计算激光散斑为纹理的立体视觉三维测量方法实施例中计算激光散斑图的局部图样;
图4是本发明所述一种以计算激光散斑为纹理的立体视觉三维测量方法实施例中搜寻对应的匹配点这一过程的SAD曲线示意图;
图5是本发明所述一种以计算激光散斑为纹理的立体视觉三维测量系统的结构示意图;
图6是本发明所述一种以计算激光散斑为纹理的立体视觉三维测量系统的投影光路示意图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1至图4中所示:
本发明实施例所述的一种以计算激光散斑为纹理的立体视觉三维面形测量方法,包括:首先(通过计算机)模拟激光散斑的形成过程,并计算得到数字化的激光散斑图,然后将该激光散斑图输出到菲林或照相干板上,接着将菲林或照相干板上的激光散斑图投射到被测物体的表面;最后采集被测物体的左、右视图,并在左、右视图中找出被测物体表面所有相互对应的匹配点,且根据匹配点的视差数据,重建得到被测物表面的三维点云。
其中,所述“计算得到数字化的激光散斑图”为(通过计算机)模拟相干光被粗糙表面散射,形成多束散射光,该多束散射光传播到观察面,相干叠加形成激光散斑图,观察面上各点的光强数值是经数值计算得到的(如图3)。所述“数值计算”具体为:设从粗糙表面任意一点散射到观察面点P的光线的振幅均为1(也可为随机数),则观察面点P的光强公式为:
其中,
所述为从散射点(i,j)散射到观察面点P的光线的位相,其公式为
所述为散射点S(xi,yj)到观察面点P(u,v)的距离,所述“hi,j”为散射点的相对高度,即某散射点高度对所有散射点平均高度的偏离量,所述xi和yj分别为序号为(i,j)散射点的坐标, x i = L x m ( i - 0.5 ) , y i = L y n ( j - 0.5 ) , 当中的分别为散射面上m×n个间隔均匀的散射点中横向和纵向相邻散射点之间的间隔,m、n取值为:
m > L px · L x Z 0 · λ n > L py · L y Z 0 · λ ;
其中Z0是散射平面到观察平面的距离,λ是激光的波长,Lx为散射面的长度,Ly为散射面的宽度,Lpx为接收平面的长度,Lpy为接收平面的宽度;各个散射点的高度是相互独立的随机数,记为h(i,j);其数值用计算机的随机数生成器生成,正负双向取值,平均值为0,方均根值等于2λ/3。
通过控制Lx、Ly、波长λ以及散射面与观察面间的距离Z0,可以改变散斑在x方向与y方向的自相关长度Lcx和Lcy,即散斑长度。它们之间的关系是:
L cx = λ L x Z 0
L cy = λ L y Z o .
“采集被测物体的左、右视图,并在左、右视图中找出被测物体表面所有相互对应的匹配点,且根据匹配点的视差数据,重建得到被测物表面的三维点云”,具体为:首先根据左右图像采集设备之间由旋转矩阵R和平移向量T确定的相对位置,进行左、右视图行对齐;接着使用匹配算法搜寻左、右视图中相互对应的匹配点,直至左、右视图中所有相互对应的匹配点均被找出,从而得到左、右视图间的视差图;最后根据立体视觉三维重建公式,对视差图进行计算,得到三维点云数据,完成数字三维成像;该三维重建公式为:
w X Y Z 1 = Q * u l v l d 1 = 1 0 0 - c x left 0 1 0 - c y 0 0 0 f 0 0 - 1 / T ( c x left - c x right ) / T * u l v l d 1 ;
其中,(ul,vl)是左、右视图行对齐后,左视图上某点的坐标;d是该点与其在右视图上对应的匹配点之间的视差;Q矩阵,通过双目立体视觉标定得到。(文献:BradskiG,KaehlerA.LearningOpenCV:ComputervisionwiththeOpenCVlibrary[M]."O'ReillyMedia,Inc.",2008)。
在匹配获得视差图的过程中,使用SAD算法,当SAD窗口大小为2m+1时,通过以下计算公式得到同一行中SAD值最小处的点,即为匹配点的位置;
SAD = ( i , j , d ) = Σ h = - m m Σ k = - m m | P L ( i + h , j + k ) - P R ( i + h , j + k + d ) | ;
式中,(i,j)是左视图中的一个点,d是该点与右视图中对应的匹配点间的视差,PL和PR分别是当前像素位置上的灰度值。而且散斑的水平及垂直自相关长度Lcx和Lcy可根据被测物面形特征、测量系统参数和匹配精度最优原则进行调整。
另外,所述“将菲林或照相干板上的激光散斑图投射到被测物体的表面”中所采用的投射光是非相干单色光,同时采集被测物体的左、右视图时通过窄带滤光片阻止该非相干单色光以外的环境光被采集。
例如:如图2,粗糙的散射面在XOY平面的长为Lx、宽为Ly,表面高度h(x,y)围绕XOY平面随机起伏,起伏量的方均根值大于激光的半波长,即:
1 Lx · Ly ∫ ∫ h 2 ( x , y ) dxdy ≥ λ 2 ;
UOV为观察平面,至散射面的距离为Z0,照明光为均匀平面波,从右往左垂直入射到散射面上,在XOY平面上的位相设为0。
测量时,左相机的内参数为:
2809.6 0 784.0 0 2807.8 615.7 0 0 1 ,
右相机的内参数为:
2779.5 0 806 . 1 0 2780.9 697.8 0 0 1 ,
左相机和右相机之间的变换矩阵为:
R = 0.9419 - 0.0124 0.3356 0.0155 0.9999 - 0.0066 - 0.3355 0.0114 0.9420 , T = - 212.4 - 2.3 45.5 ;
当计算机在接收到左、右相机采集得到的左、右视图后,即可进行行对齐矫正。在行对齐的左、右视图上使用SAD算法,搜寻对应的匹配点(如图4),图4中的A为正确对应的匹配点,该点是候选匹配点中具有最小SAD值的点;该点的横坐标即是右视图中,与左视图中的考察点所对应点的横坐标;找到所有左、右视图中互相对应的匹配点后,可得到左、右视图间的视差图。根据该视差图,三维重建得到被测物表面的三维点云;采集时间小于0.1秒,点云数量不少于24万。
这样,本发明所述的以计算激光散斑为纹理的立体视觉三维面形测量方法,通过数值计算方法即可获得理想的激光散斑图,将该散斑图制成菲林,再将菲林上的激光散斑图投射到被测物表面,形成激光散斑纹理,这样可完全避免现有传统测量方法中相互对应的匹配点找错或找不到的问题;而且使用全新的参数设置方法,可方便调整散斑自相关长度,以获得良好的匹配曲线:该曲线最低点(或最高点)的匹配值远小于(或大于)平均的匹配值,因此误匹配的几率极低;同时通过采用非相干单色光照明和窄带滤光片阻止该单色光波长以外的环境光被采集,增强了对环境光干扰的对抗能力;并且采样速度快(左右采集设备只需同时各拍摄一帧图像),成本较低,易于普及推广。
当然,所述“使用匹配算法搜寻左、右视图中相互对应的匹配点”中的“匹配算法”有很多种,比如误差平方和(SSD)匹配算法、归一化交叉相关(NCC)匹配算法或零均值交叉相关(ZNCC)匹配算法等,但专利所涵盖的匹配算法不仅限于SAD算法。
如图5和图6中所示:
本发明还提供了实现以计算激光散斑为纹理的立体视觉三维面形测量方法的专用测量系统,包括有光学投影装置1、左相机2、右相机3和计算设备4。其中,所述光学投影装置1主要用于将散斑图菲林的图像投射到被测物体5的表面;所述左相机2和右相机3主要用于采集表面投射有散斑图的被测物体5的左、右视图;所述计算设备4主要用于通过计算在左相机2和右相机3采集到的被测物体5的左、右视图中找出所有相互对应的点,以三维重建得到被测物5的表面三维点云。散斑投影装置1的投射方向正对着被测物5,其光源11可以是非相干单色光光源(如LED光源);左相机2和右相机3的成像镜头前可以设有滤光片;而且光学投影装置1、左相机2和右相机3均与计算设备4导通连接。
本发明测量系统工作时,首先使用光学投影装置1将菲林上的散斑图投射到被测物体的表面(具体如图6为光源11经透镜12和透镜13照亮菲林14),菲林上的散斑图经成像透镜15被投射到被测物体的表面,然后左相机2和右相机3采集被测物体5的图像、并传送至计算设备4,最后计算设备4使用匹配算法(如SAD算法),在左、右视图中找出所有相互对应的点,以重建出被测物的三维点云。
这样,本以计算激光散斑为纹理的立体视觉三维面形测量系统即可保证匹配点的误配概率较低、保证成像速度较快,且采用非相干单色光作为光源11,同时在测量系统的左、右相机成像镜头前加窄带滤光片,以阻止该单色光波长以外的环境光被照相机接收,增强了系统对环境光干扰的对抗能力;并且系统采样速度快,成本较低,易于普及推广。
以上内容是结合具体的优选技术方案对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的专业技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (10)

1.一种以计算激光散斑为纹理的立体视觉三维面形测量方法,其特征在于,包括:首先模拟激光散斑的形成过程,并计算得到数字化的激光散斑图,然后将该激光散斑图输出到菲林或照相干板上,接着将菲林或照相干板上的激光散斑图投射到被测物体的表面;最后采集被测物体的左、右视图,并在左、右视图中找出被测物体表面所有相互对应的匹配点,且根据匹配点的视差数据,重建得到被测物表面的三维点云。
2.根据权利要求1所述的以计算激光散斑为纹理的立体视觉三维面形测量方法,其特征在于,所述“计算得到数字化的激光散斑图”为模拟相干光被粗糙表面散射,形成多束散射光,该多束散射光传播到观察面,相干叠加形成激光散斑图,观察面上各点的光强数值是经数值计算得到的。
3.根据权利要求2所述的以计算激光散斑为纹理的立体视觉三维面形测量方法,其特征在于,所述“数值计算”具体为:设从粗糙表面任意一点散射到观察面点P的光线的振幅均为1或为随机数,则观察面点P的光强公式为:
其中,
所述为从散射点(i,j)传播到观察面点P的光线的位相,其公式为
所述为散射点S(xi,yj)到观察面点P(u,v)的距离,所述“hi,j”为散射点的相对高度,即某散射点高度对所有散射点平均高度的偏离量,所述xi和yj分别为序号为(i,j)散射点的坐标, x i = L x m ( i - 0.5 ) , y i = L y n ( j - 0.5 ) , 当中的分别为散射面上m×n个间隔均匀的散射点中横向和纵向相邻散射点之间的间隔,m、n取值为:
m > L px · L x Z 0 · λ n > L py · L y Z 0 · λ
其中Z0是散射面到观察面的距离,λ是激光的波长,Lx为散射面的水平尺寸,Ly为散射面的垂直尺寸,Lpx为观察面的水平尺寸,Lpy为观察面的垂直尺寸;各个散射点的高度是相互独立的随机数,记为h(i,j);其数值用计算机的随机数生成器生成,正负双向取值,平均值为0,方均根值大于等于半个波长。
通过控制Lx、Ly、波长λ以及散射面与观察面间的距离Z0,可以改变散斑在x方向与y方向的自相关长度Lcx和Lcy,即散斑尺寸;它们之间的关系是:
L cx = λ L x Z 0
L cy = λ L y Z o .
4.根据权利要求3所述的以计算激光散斑为纹理的立体视觉三维面形测量方法,其特征在于,所述散斑的水平及垂直自相关长度Lcx和Lcy可根据被测物面形特征、测量系统参数和匹配精度最优原则进行调整。
5.根据权利要求1或2或3或4所述的以计算激光散斑为纹理的立体视觉三维面形测量方法,其特征在于,所述“采集被测物体的左、右视图,并在左、右视图中找出被测物体表面所有相互对应的匹配点,且根据匹配点的视差数据,重建得到被测物表面的三维点云”,具体为:首先根据左右图像采集设备之间由旋转矩阵R和平移向量T确定的相对位置,进行左、右视图行对齐;接着使用匹配算法搜寻左、右视图中相互对应的匹配点,直至左、右视图中所有相互对应的匹配点均被找出,从而得到左、右视图间的视差图;最后根据立体视觉三维重建公式,对视差图进行计算,得到三维点云数据,完成数字三维成像;该三维重建公式为:
w X Y Z 1 = Q * u l v l d 1 = 1 0 0 - c x left 0 1 0 - c y 0 0 0 f 0 0 - 1 / T ( c x left - c x right ) / T * u l v l d 1 ;
其中,(ul,vl)是左、右视图行对齐后,左视图上某点的坐标;d是该点与其在右视图上对应的匹配点之间的视差;Q矩阵,通过双目立体视觉标定得到。
6.根据权利要求5所述的以计算激光散斑为纹理的立体视觉三维面形测量方法,其特征在于,所述“使用匹配算法搜寻左、右视图中相互对应的匹配点”,具体为:在行对齐后,使用SAD匹配算法,当SAD窗口大小为2m+1时,通过以下计算公式得到同一行中SAD值最小处的点,即为匹配点的位置;
SAD ( i , j , d ) = Σ h = - m m Σ k = - m m | P L ( i + h , j + k ) - P R ( i + h , j + k + d ) | ;
式中,(i,j)是左视图中的一个点,d是该点与右视图中对应的匹配点间的视差,PL和PR分别是当前像素位置上的灰度值。
7.根据权利要求5所述的以计算激光散斑为纹理的立体视觉三维面形测量方法,其特征在于,所述“使用匹配算法搜寻左、右视图中相互对应的匹配点”中的“匹配算法”为误差平方和(SSD)匹配算法、归一化交叉相关(NCC)匹配算法或零均值交叉相关(ZNCC)匹配算法。
8.根据权利要求1或2或3或4或6或7所述的以计算激光散斑为纹理的立体视觉三维面形测量方法,其特征在于,所述“将菲林或照相干板上的激光散斑图投射到被测物体的表面”中所采用的投射光是非相干单色光,同时采集被测物体的左、右视图时通过窄带滤光片阻止该非相干单色光以外的环境光被采集。
9.一种以计算激光散斑为纹理的立体视觉三维面形测量系统,其特征在于,包括有:
光学投影装置,主要用于将印制在菲林或照相干板上的散斑图投影到被测物体的表面;
左相机和右相机,主要用于分别采集被测物体的左、右视图;
计算设备,主要用于接收和存储左、右相机采集到的被测物体的左、右视图,并通过一定的匹配算法找出左、右视图中所有相互对应的匹配点,以得到视差图,再通过视差图重建出被测物的三维点云。
10.根据权利要求9所述的以计算激光散斑为纹理的立体视觉三维面形测量系统,其特征在于,所述光学投影装置的光源是非相干单色光,所述左相机和右相机的成像镜头前加有滤光片。
CN201510280144.1A 2015-05-27 2015-05-27 以计算激光散斑为纹理的立体视觉三维测量方法及系统 Expired - Fee Related CN105203044B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510280144.1A CN105203044B (zh) 2015-05-27 2015-05-27 以计算激光散斑为纹理的立体视觉三维测量方法及系统
PCT/CN2015/095534 WO2016188068A1 (zh) 2015-05-27 2015-11-25 以计算激光散斑为纹理的立体视觉三维面形测量方法及系统
US15/113,814 US10152800B2 (en) 2015-05-27 2015-11-25 Stereoscopic vision three dimensional measurement method and system for calculating laser speckle as texture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510280144.1A CN105203044B (zh) 2015-05-27 2015-05-27 以计算激光散斑为纹理的立体视觉三维测量方法及系统

Publications (2)

Publication Number Publication Date
CN105203044A true CN105203044A (zh) 2015-12-30
CN105203044B CN105203044B (zh) 2019-06-11

Family

ID=54950855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510280144.1A Expired - Fee Related CN105203044B (zh) 2015-05-27 2015-05-27 以计算激光散斑为纹理的立体视觉三维测量方法及系统

Country Status (3)

Country Link
US (1) US10152800B2 (zh)
CN (1) CN105203044B (zh)
WO (1) WO2016188068A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844616A (zh) * 2016-03-17 2016-08-10 湖南优象科技有限公司 激光散射斑点辅助下的双目立体匹配算法与装置
CN106599826A (zh) * 2016-12-09 2017-04-26 杭州宇泛智能科技有限公司 基于近红外光人脸3d重建的方法
CN106780386A (zh) * 2016-12-16 2017-05-31 武汉理工大学 一种三维激光扫描变形提取可靠性评价方法
CN106802138A (zh) * 2017-02-24 2017-06-06 杭州先临三维科技股份有限公司 一种三维扫描系统及其扫描方法
CN107688024A (zh) * 2017-10-13 2018-02-13 成都精工华耀机械制造有限公司 一种基于单目视觉与激光散斑的铁轨扣件异常检测系统
WO2018133027A1 (zh) * 2017-01-20 2018-07-26 深圳大学 基于灰度约束的三维数字散斑的整像素搜索方法及装置
CN109887022A (zh) * 2019-02-25 2019-06-14 北京超维度计算科技有限公司 一种双目深度相机的特征点匹配方法
CN109903328A (zh) * 2017-12-11 2019-06-18 宁波盈芯信息科技有限公司 一种应用于智能手机的物体体积测量的装置及方法
CN110568447A (zh) * 2019-07-29 2019-12-13 广东星舆科技有限公司 视觉定位的方法、装置及计算机可读介质
CN111121722A (zh) * 2019-12-13 2020-05-08 南京理工大学 结合激光点阵和偏振视觉的双目三维成像方法
CN111649695A (zh) * 2020-06-05 2020-09-11 苏州若柏视智能科技有限公司 一种双目视觉传感器及物体识别方法
CN111750808A (zh) * 2020-06-28 2020-10-09 电子科技大学 基于激光雷达扫描仪的地表粗糙度获取方法
CN112461158A (zh) * 2020-10-22 2021-03-09 天津大学 散斑投影相移高频率立体视觉三维测量方法及装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10527711B2 (en) * 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
CN107869954B (zh) * 2017-10-23 2023-05-16 广东工业大学 一种双目视觉体积重量测量系统及其实现方法
CN110049305B (zh) * 2017-12-18 2021-02-26 西安交通大学 一种智能手机的结构光深度相机自校正方法及装置
CN110070598B (zh) * 2018-01-22 2022-11-25 宁波盈芯信息科技有限公司 用于3d扫描重建的移动终端及其进行3d扫描重建方法
CN110044266B (zh) * 2019-06-03 2023-10-31 易思维(杭州)科技有限公司 基于散斑投影的摄影测量系统
CN111284014B (zh) * 2020-01-17 2022-03-22 广东工业大学 基于激光遥感成像和3d打印技术的体积测量方法及系统
CN111664798B (zh) * 2020-04-29 2022-08-02 奥比中光科技集团股份有限公司 一种深度成像方法、装置及计算机可读存储介质
US10861175B1 (en) 2020-05-29 2020-12-08 Illuscio, Inc. Systems and methods for automatic detection and quantification of point cloud variance
CN111798515B (zh) * 2020-06-30 2024-01-12 大连亚泰华光电技术有限公司 用于焚烧状况识别的立体视觉监测方法
CN112294453B (zh) * 2020-10-12 2022-04-15 浙江未来技术研究院(嘉兴) 一种显微手术术野三维重建系统及方法
CN112950731B (zh) * 2021-02-02 2024-01-23 西安电子科技大学 一种单帧强背景干扰下的透散射介质成像方法
US11055428B1 (en) 2021-02-26 2021-07-06 CTRL IQ, Inc. Systems and methods for encrypted container image management, deployment, and execution
CN113160416B (zh) * 2021-04-12 2023-03-24 西安科技大学 一种用于煤流检测的散斑成像装置及方法
CN113409404B (zh) * 2021-06-29 2023-06-16 常熟理工学院 基于新型相关函数约束的cuda架构并行优化立体变形测量方法
CN113847880B (zh) * 2021-07-28 2023-08-18 合肥工业大学 镜面三维变形的高精度测量方法
CN113327279B (zh) * 2021-08-04 2021-09-28 腾讯科技(深圳)有限公司 一种点云数据处理方法、装置、计算机设备及存储介质
CN114494389B (zh) * 2022-04-01 2022-07-15 深圳数字视界科技有限公司 基于特征点识别连接的多段扫描的空间物体三维构建系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101269A (en) * 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
CN101608908A (zh) * 2009-07-20 2009-12-23 杭州先临三维科技股份有限公司 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法
CN101655352A (zh) * 2009-09-15 2010-02-24 西安交通大学 一种三维散斑应变测量装置及其测量方法
CN103759676A (zh) * 2014-01-06 2014-04-30 南京信息工程大学 一种工件表面粗糙度非接触式的检测方法
CN104634276A (zh) * 2015-02-12 2015-05-20 北京唯创视界科技有限公司 三维测量系统、拍摄设备和方法、深度计算方法和设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3438855B2 (ja) * 1997-01-23 2003-08-18 横河電機株式会社 共焦点装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101269A (en) * 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
CN101608908A (zh) * 2009-07-20 2009-12-23 杭州先临三维科技股份有限公司 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法
CN101655352A (zh) * 2009-09-15 2010-02-24 西安交通大学 一种三维散斑应变测量装置及其测量方法
CN103759676A (zh) * 2014-01-06 2014-04-30 南京信息工程大学 一种工件表面粗糙度非接触式的检测方法
CN104634276A (zh) * 2015-02-12 2015-05-20 北京唯创视界科技有限公司 三维测量系统、拍摄设备和方法、深度计算方法和设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
了耳洞: "激光散斑干涉实验", 《HTTPS://WENKU.BAIDU.COM/VIEW/7984EC48FAD6195F312BA6C2.HTML》 *
李美菊 等: "投影数字散斑的立体匹配", 《激光技术》 *
邱天: "数字激光散斑图像的仿真建模和位移测量算法研究", 《中国博士学位论文全文数据库(电子期刊)信息科技辑 Ι138-71》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844616A (zh) * 2016-03-17 2016-08-10 湖南优象科技有限公司 激光散射斑点辅助下的双目立体匹配算法与装置
CN106599826A (zh) * 2016-12-09 2017-04-26 杭州宇泛智能科技有限公司 基于近红外光人脸3d重建的方法
CN106780386B (zh) * 2016-12-16 2019-11-26 武汉理工大学 一种三维激光扫描变形提取可靠性评价方法
CN106780386A (zh) * 2016-12-16 2017-05-31 武汉理工大学 一种三维激光扫描变形提取可靠性评价方法
WO2018133027A1 (zh) * 2017-01-20 2018-07-26 深圳大学 基于灰度约束的三维数字散斑的整像素搜索方法及装置
CN106802138A (zh) * 2017-02-24 2017-06-06 杭州先临三维科技股份有限公司 一种三维扫描系统及其扫描方法
US10810750B1 (en) 2017-02-24 2020-10-20 Shining 3D Tech Co., Ltd. Three-dimensional scanning system and scanning method thereof
CN107688024A (zh) * 2017-10-13 2018-02-13 成都精工华耀机械制造有限公司 一种基于单目视觉与激光散斑的铁轨扣件异常检测系统
CN109903328A (zh) * 2017-12-11 2019-06-18 宁波盈芯信息科技有限公司 一种应用于智能手机的物体体积测量的装置及方法
CN109903328B (zh) * 2017-12-11 2021-12-21 宁波盈芯信息科技有限公司 一种应用于智能手机的物体体积测量的装置及方法
CN109887022A (zh) * 2019-02-25 2019-06-14 北京超维度计算科技有限公司 一种双目深度相机的特征点匹配方法
CN110568447A (zh) * 2019-07-29 2019-12-13 广东星舆科技有限公司 视觉定位的方法、装置及计算机可读介质
CN111121722A (zh) * 2019-12-13 2020-05-08 南京理工大学 结合激光点阵和偏振视觉的双目三维成像方法
CN111649695A (zh) * 2020-06-05 2020-09-11 苏州若柏视智能科技有限公司 一种双目视觉传感器及物体识别方法
CN111750808A (zh) * 2020-06-28 2020-10-09 电子科技大学 基于激光雷达扫描仪的地表粗糙度获取方法
CN112461158A (zh) * 2020-10-22 2021-03-09 天津大学 散斑投影相移高频率立体视觉三维测量方法及装置

Also Published As

Publication number Publication date
US20170154436A1 (en) 2017-06-01
WO2016188068A1 (zh) 2016-12-01
CN105203044B (zh) 2019-06-11
US10152800B2 (en) 2018-12-11

Similar Documents

Publication Publication Date Title
CN105203044A (zh) 以计算激光散斑为纹理的立体视觉三维测量方法及系统
CN104634276B (zh) 三维测量系统、拍摄设备和方法、深度计算方法和设备
CN105066909B (zh) 一种手持式多激光条纹快速三维测量方法
CN106931910B (zh) 一种基于多模态复合编码和极线约束的高效三维图像获取方法
CN103900494B (zh) 用于双目视觉三维测量的同源点快速匹配方法
CN104457615B (zh) 基于广义s变换的三维数字成像方法
CN106289106A (zh) 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法
CN107167073A (zh) 一种线阵结构光三维快速测量装置及其测量方法
CN107167093A (zh) 一种激光线扫描与阴影莫尔的复合式测量系统及测量方法
CN1330928C (zh) 一种采用双波长结构光测量物体轮廓的方法
CN102721376A (zh) 一种大视场三维视觉传感器的标定方法
CN109506592A (zh) 基于条纹光流的物体三维面形测量方法和装置
CN104408762A (zh) 利用单目和二维平台获取物体图像信息及三维模型的方法
CN112945141B (zh) 基于微透镜阵列的结构光快速成像方法及系统
CN108036740A (zh) 一种基于多视角的高精度实时三维彩色测量系统及其方法
CN107860337A (zh) 基于阵列相机的结构光三维重建方法与装置
CN114111637A (zh) 一种基于虚拟双目的条纹结构光三维重建方法
Schreve How accurate can a stereovision measurement be?
Li et al. Fast phase-based stereo matching method for 3D shape measurement
CN105181646B (zh) 基于计算机视觉的透明介质折射率测量方法
CN105434046B (zh) 基于消除红外滤光片折射效应的手术导航仪定位方法
CN108182727B (zh) 基于多视点几何一致性的相位展开方法
CN203323714U (zh) 一种三维扫描仪测量装置
Frobin et al. Calibration and model reconstruction in analytical close-range stereophotogrammetry
Gu et al. Joint Dense 3D Reconstruction Method for Endoscopic Images of Weak Texture Scenes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190611

CF01 Termination of patent right due to non-payment of annual fee