CN112797915B - 一种线结构光测量系统的标定方法、标定装置、以及系统 - Google Patents

一种线结构光测量系统的标定方法、标定装置、以及系统 Download PDF

Info

Publication number
CN112797915B
CN112797915B CN202011589306.7A CN202011589306A CN112797915B CN 112797915 B CN112797915 B CN 112797915B CN 202011589306 A CN202011589306 A CN 202011589306A CN 112797915 B CN112797915 B CN 112797915B
Authority
CN
China
Prior art keywords
position information
image
line
pixel
mapping relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011589306.7A
Other languages
English (en)
Other versions
CN112797915A (zh
Inventor
常旭
龙学雄
唐恒博
孙元栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Co Ltd
Original Assignee
Hangzhou Hikrobot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Co Ltd filed Critical Hangzhou Hikrobot Co Ltd
Priority to CN202011589306.7A priority Critical patent/CN112797915B/zh
Publication of CN112797915A publication Critical patent/CN112797915A/zh
Priority to PCT/CN2021/142614 priority patent/WO2022143796A1/zh
Application granted granted Critical
Publication of CN112797915B publication Critical patent/CN112797915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices

Abstract

本申请公开了一种线结构光测量系统的标定方法,该方法包括,基于线结构光测量系统所采集的线结构光投射用作标靶的标定板而产生的图像,提取激光中心线的图像位置信息;根据标定板中第一特征点在世界坐标系下的空间位置信息,获取所述中心线图像中第二特征点在世界坐标系下的空间位置信息,得到第二特征点的图像位置信息与第二特征点的空间位置信息之间的第一映射关系;至少基于两条以上中心线中第二特征点的所述第一映射关系,通过插值构建该两中心线图像之间所有图像位置信息与对应的空间位置信息之间的第二映射关系。本发明避免了拟合参数和拟合模型选择造成的误差,并有利于简化测量时的计算,提高了标定的准确性。

Description

一种线结构光测量系统的标定方法、标定装置、以及系统
技术领域
本发明涉及结构光测量领域,特别地,涉及一种线结构光测量系统的标定方法。
背景技术
线结构光测量系统主要基于光学三角测量原理,由激光器和图像采集装置共同作为结构光图像传感器组成视觉测量系统。激光器发射的带状光束投射到被测物体表面上被调制成包含特定信息的激光光带,从图像采集装置获取调制后的激光光带图像,从激光光带图像提取激光中心线,从而根据激光中心线计算出被测物体轮廓的三维信息。
线结构光测量系统的标定是为了获取图像像素点与激光平面空间三维点的对应关系。标定方法主要包括:基于图像像素点所提取特征点的映射关系建立和映射关系计算,其中,
特征点的映射关系刻画了特征点的三维坐标和图像坐标的一一对应关系,通常利用已经标定好的相机内参结合靶标尺寸计算特征点三维坐标,其中,靶标可以为具有精确尺寸的标准件;
进行映射关系计算时,例如公开号CN102132125B利用特征点映射关系求解单应矩阵,同时采用与相机标定相同的畸变模型解决非线性的问题,公开号CN108844489A利用8个参数来拟合特征点之间区域的映射规律。
现有的标定方法均需要预先对相机进行标定,获得的标定参数既用于特征点计算,也用于后续的物体轮廓测量,然而线结构光测量系统采用的沙姆成像模型与常用的相机模型不完全相同,且相机模型本身也存在一定的误差;参与映射关系计算的特征点仅是图像中的部分点,没有充分利用特征点的映射,导致仅适合局部区域的标定,对于全幅图像仅利用一套畸变参数和模型导致标定结果误差较大。
发明内容
本发明提供了一种线结构光测量系统的标定方法,以提高激光平面标定结果的准确性。
本发明提供的一种线结构光测量系统的标定方法是这样实现的:
基于线结构光测量系统所采集的线结构光投射用作标靶的标定板而产生的图像,提取激光中心线的图像位置信息;
根据标定板中第一特征点在世界坐标系下的空间位置信息,获取所述中心线图像中第二特征点在世界坐标系下的空间位置信息,得到第二特征点的图像位置信息与第二特征点的空间信息空间位置信息之间的第一映射关系,
至少基于两条以上中心线中第二特征点的所述第一映射关系,通过插值构建该两中心线图像之间所有图像位置信息与对应的空间位置信息之间的第二映射关系;
其中,所述两条以上中心线所在的激光平面重合,且相对于线结构光测量系统具有不同的距离,所述激光平面为线结构光投射标定板时光路所确定的平面。
较佳地,所述线结构光测量系统所采集的线结构光投射标定板产生的图像按照如下方式采集:
采集标定板相对于线结构光测量系统位于至少两个以上不同距离的测量位置处、且线结构光投射所产生的激光线激光光带位于标定板中间区域时的图像,并记录标定板的线结构光测量系统与标定板之间相对的测量位置信息;
所述标定板为用于机器视觉的标定板;
所述提取激光中心线的图像位置信息包括,采用灰度重心法粗提中心线位置,再对提取的中心线位置利用Steger法进行优化,得到中心线的亚像素坐标。
较佳地,所述线结构光测量系统的位置固定,并且线结构光测量系统的激光投射被调整,使得激光光带位于标定板中间区域;所述采集标定板位于至少两个以上不同测量位置处、且线结构光投射所产生的激光线位于标定板中间区域时的图像,并记录测量位置信息,包括,
将所述标定板被安装于可测得测量位置信息的升降台,调整线结构光测量系统的激光投射,使得激光线位于标定板中间区域;
按照设定间距提升或沉降升降台的高度,采集各个高度位置处线结构光在标定板所投射的图像,并记录、以及各个高度位置处的测量位置信息被采集,其中,各个高度位置为设定的间距位置;
所述激光光带包括光条纹,
所述采用灰度重心法粗提中心线位置,再对提取的中心线位置利用Steger法进行优化,得到中心线的亚像素坐标,包括,
提取图像中光条纹的每列像素的能量中心,作为该光条纹截面区域的中心点亚像素坐标,
利用高斯模板与中心点附近图像进行卷积,计算光条纹中像素的行坐标和列坐标的一阶导数和二阶导数,得到海森矩阵;
对海森矩阵计算特征值和特征向量,选择特征值中绝对值大于设定阈值的特征值所对应特征向量,该特征向量包括行特征分量和列特征分量;
根据所选择的特征向量、一阶导数、和二阶导数,计算优化步长,
基于优化步长,分别根据行特征分量和列特征分量,计算优化后的中心点行坐标和列坐标,得到中心线的亚像素坐标;
所述提取激光中心线的图像位置信息进一步包括,
将优化后的中心点作为中心线中的第二特征点。
较佳地,所述标定板包括形成标定板中第一特征点的黑白棋盘格图案或者圆点阵列式图案;
所述根据标定板中第一特征点在世界坐标系下的空间位置信息,获取所述中心线图像中第二特征点在世界坐标系下的空间信息空间位置信息,得到第二特征点的图像位置信息与第二特征点的空间信息空间位置信息之间的第一映射关系,包括,
根据标定板中第一特征点的空间位置信息与第一特征点在图像中的像素位置信息,通过最小二乘法,求解第一特征点的空间位置信息与第一特征点在图像中的像素位置信息的映射关系,根据该映射关系,计算所述中心线图像中各第二特征点在世界坐标系下的空间信息空间位置信息,得到第二特征点的图像位置信息与第二特征点的空间信息空间位置信息之间的第一映射关系。
较佳地,所述根据标定板中第一特征点的空间位置信息与第一特征点在图像中的像素位置信息,通过最小二乘法,求解第一特征点的空间位置信息与第一特征点在图像中的像素位置信息的映射关系,包括:
根据测量位置信息,得到标定板中第一特征点在世界坐标系下的z坐标;其中,测量位置信息为线结构光测量系统与标定板之间的相对距离的位置信息,
根据标定板中第一特征点质心的相对位置尺寸,得到第一特征点质心的在世界坐标系下的x坐标和y坐标;
根据第一特征点质心的在世界坐标系下的x坐标和y坐标与第一特征点在图像中的像素位置信息的映射关系,分别构建表征x坐标映射关系的第一拟合函数、和表征y坐标映射关系的第二拟合函数,
构建一目标函数,该目标函数用于累计:所有第一特征点质心在世界坐标系下的x坐标,与,所有第一特征点在图像中的像素位置信息基于第一拟合函数所得到的世界坐标系下的x坐标的误差,;以及,所有第一特征点质心在世界坐标系下的y坐标,与,所有第一特征点在图像中的像素位置信息基于第二拟合函数所得到的世界坐标系下的y坐标的误差,
通过最小二乘法,求解使得目标函数取得最小值时的第一拟合函数和第二拟合函数,作为第一特征点的空间位置信息与第一特征点在图像中的像素位置信息的映射关系。
较佳地,所述根据该映射关系,计算所述中心线图像中各第二特征点在世界坐标系下的空间信息空间位置信息,得到第二特征点的图像位置信息与第二特征点的空间信息空间位置信息之间的第一映射关系,包括,
将中心线图像中各第二特征点的像素坐标代入第一拟合函数,得到各第二特征点世界坐标系下的x坐标;
将中心线图像中各第二特征点的像素坐标代入第二拟合函数,得到各第二特征点世界坐标系下的y坐标;
将第二特征点的像素坐标分别对应的第二特征点世界坐标系下的x坐标、y坐标、z坐标,作为第一映射关系,其中,z坐标为测量位置信息。
较佳地,所述至少基于两条以上中心线中第二特征点的所述第一映射关系,通过插值构建该两中心线图像之间所有图像位置信息与对应的空间位置信息之间的第二映射关系,包括,
对于图像中的每一列中心线像素点:
以第一中心线中的第二特征点、以及第二中心线中的第二特征点为插值点,根据第一映射关系确定插值点所对应的空间位置信息,采用样条插值,计算位于该插值点之间所有图像像素点所对应的空间位置信息,得到第二映射关系。
较佳地,所述第一中心线与第二中心线位于同一激光平面,且在距离方向位置相邻,
所述采用样条插值,计算位于该插值点之间所有图像像素点所对应的空间位置信息,包括,
对于图像中的每一列中心线像素点:
以第一中心线中的第二特征点、以及第二中心线中的第二特征点为端点,以行坐标相邻的两像素点为子区间,在每个子区间分别建立包括有待拟合系数的样条函数,该样条函数以像素点的行坐标为自变量,
基于端点所对应的空间坐标信息,结合端点条件限制,得到样条函数中的待拟合系数,以确定每个子区间的样条函数;
根据位于端点之间每一像素点行坐标所在子区间的样条函数,基于该像素点行坐标、该子区间端点行坐标、以及分别基于该端点的空间坐标,计算该像素点对应的x坐标、y坐标、以及z坐标;
该方法进一步包括,将每个像素点坐标所对应的空间坐标以映射表的方式存储,得到标定文件。
本发明还提供一种线结构光测量系统的标定装置,该装置包括,
中心线提取模块,基于线结构光测量系统所采集的线结构光投射用作标靶的标定板而产生的图像,提取激光中心线的图像位置信息;
特征点映射计算模块,根据标定板中第一特征点在世界坐标系下的空间位置信息,获取所述中心线图像中第二特征点在世界坐标系下的空间信息空间位置信息,得到第二特征点的图像位置信息与第二特征点的空间信息空间位置信息之间的第一映射关系,
映射关系构建模块,至少基于两条以上中心线中第二特征点的所述第一映射关系,通过插值构建该两中心线图像之间所有图像位置信息与对应的空间位置信息之间的第二映射关系。
本发明进一步提高一种线结构光测量系统,包括存储器和处理器,所述处理器被配置为通过标定文件,查找所采集激光光带图像像素点在像素坐标系中的任一坐标所对应的激光平面中的空间位置坐标,基于所述空间位置坐标,计算出被测物体轮廓的三维信息,得到测量结果;
其中,存储器中存储有包括标定文件,所述标定文件如上述任一所述线结构光测量系统的标定方法的步骤获得。
本发明提供的线结构光测量系统的标定方法,利用标定板中的第一特征点和其测量位置信息直接获取第一特征点三维坐标,避免了引入相机模型所带来的误差,并可获得稠密的第一特征点,由此所确定的中心线上第二特征点的空间位置信息,使得中心线中第二特征点图像位置信息与其空间位置信息的对应关系的精确性得以提高;基于至少两中心线中所有第二特征点图像位置信息与其空间位置信息的对应关系,构建激光平面中该两激光中心线之间区域的空间点与该空间点在图像平面中的像素点的第二映射关系,使得第二特征点数据信息被充分利用,避免了拟合参数和拟合模型选择造成的误差,并有利于简化测量时的计算。
附图说明
图1为获取用于标定图像数据的一种示意图。
图2为激光光带位于标定板的中间区域的一种示意图。
图3为基于所获取的用于标定的图像数据进行标定的一种流程示意图。
图4为计算激光平面中第一中心线与第二中心线之间区域,与,图像平面中第一中心线像素点与第二中心线像素点之间区域的第二映射关系的一种示意图。
图5为将图4分别得到的坐标、/>坐标、/>坐标汇总为映射表的一种示意图。
图6为本发明实现标定方法的一种标定装置示意图。
图7为线结构光测量系统的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白,以下结合附图对本申请做进一步详细说明。
参见图1所示,图1为获取用于标定图像数据的一种示意图。将用作靶标的标定板安装于一具有刻度的升降台上,调整线结构光测量系统的激光投射,使得激光光带(激光线)位于标定板图案区域,较佳地,位于标定板的中间区域,以获得较佳的图像质量,提高标定的准确性;保持线结构光测量系统固定不变,以一定间隔距离提升或沉降标定板在升降台的高度,记录各个高度位置作为各个测量位置信息,采集各个高度位置处的激光光带图像,以获得至少两个不同测量位置时的激光光带图像,其中,间隔距离可根据相机分辨率确定。
图1中也示出了激光平面与图像平面的成像模型,其中,激光平面为线结构光投射标定板时光路所确定的平面,也就是,由结构光测量系统中激光器的线结构光光源、标定板中激光光带所确定的平面,如图1中,光源、以及第一中心线和/或第二中心线所确定的激光平面。
较佳地,标定板为用于机器视觉标定板,包括且不限于形成第一特征点的黑白棋盘格图案或者圆点阵列式图案。如图2所示,图2为激光光带位于标定板的中间区域的一种示意图。
上述激光光带图像的采集以及测量位置信息的采集方式,还可以是,保持标定板的位置固定,而调整线结构光测量系统相对于标定板的距离位置,记录线结构光测量系统与标定板之间相对的测量位置信息,并采集不同相对测量位置处的激光光带图像。还可以是,标定板、结构光测量系统的位置均不固定。无论是哪种方式,可以方便地获得位于同一激光平面、且具有不同距离的至少两条以上激光光带图像即可。
作为一种变化,还可以是,当标定板在同一高度上时,依次调整线结构光测量系统的激光投射,并依次采集标定板上的各个激光光带,从而获得多个激光光带图像。同样地,可以在每个不同高度位置处,分别获得该高度位置处的多个激光光带图像。较佳地,所述多个高度位置处的多个激光光带图像中,至少有两条激光光带所在激光平面重合。
参见图3所示,图3为基于所获取的用于标定的图像数据进行标定的一种流程示意图。其中,线结构光测量系统所采集的用于标定的图像数据可被导出至计算机终端,所记录的测量位置信息输入至计算机终端。在计算机终端侧进行如下处理:
步骤301,提取激光中心线图像位置。
由于激光器产生的线结构光投射所产生的光带质量均匀性不佳,或者调制后的激光光带离散性较大导致光带亮度不集中,激光光带常以光条纹的形式呈现,因此,为了获取激光光带中心线位置的亚像素坐标,提取激光中心线处理精度和速度直接影响了整个系统的精度和速度。
在本实施例中,先采用灰度重心法粗提中心线位置,再对该中心线利用Steger法进行优化,得到亚像素坐标。
其中,灰度重心法提取光条纹中心是将光条纹截面的灰度值分布中的质心记作为光条纹的中心。
具体地,对于图像中光条纹的每一列像素点v,在中心线附近u×v的范围,该列图像像素的中心点亚像素坐标为:
v′=v
其中,I(u,v)是像素坐标为(u,v)的像素点灰度值,灰度重心法提取的是该列像素的能量中心。
利用Steger法对中心点进行优化包括:
首先利用高斯模板与(u′,v′)附近图像进行卷积,计算光条纹中像素点的行坐标和列坐标一阶导数du,dv和二阶导数duu,duv,和dvv,得到海森(Hessian)矩阵:
再对Hessian矩阵计算特征值和特征向量,选择特征值中其绝对值大于设定阈值的特征值对应特征向量n=[nu,nv]T,也即优化方向,其中,特征向量包括行特征分量和列特征分量。
最后计算优化步长t,得到优化后的中心点(u′+tnu,v′+tnv),其中,步长t为:
按照上述方法可以计算出各个光条纹截面的区域中心,从而该光条纹所有截面的区域中心的集合可对应为中心线上坐标点,为便于描述,后文中将优化后的中心点坐标记为
步骤302,将光条纹所有截面的区域中心点作为特征点(第二特征点),计算第二特征点在世界坐标系下的三维坐标/>其中,/>可以通过中心线所在标定板的测量位置信息确定,/>的值可以通过最小二乘法求解标定板平面与图像平面的映射关系而获得。
具体地,以圆点阵列式图案的标定板为例。基于标定板可获得圆点(第一特征点)的相对位置信息,包括位置关系以及相对间距尺寸大小,由此可得到各个圆点质心(圆心)的空间位置信息(x,y,z),其中,z通过测量位置信息确定;基于标定板图像可获得圆点圆心的像素坐标(u,v),则对于标定板中的任一圆心空间位置与其图像像素坐标具有如下映射关系:
其中,fx(u,v)、fy(u,v)分别为第一拟合函数、第二拟合函数,可以利用单应矩阵,如
fx(u,v)、fy(u,v)也可以利用高次多项式或其他非线性模型。
构建用于最小二乘法迭代的目标函数:
其中,K为图像中可用的圆点总数,目标函数用于累计:所有第一特征点质心在世界坐标系下的x坐标、与所有第一特征点在图像中的像素位置信息基于第一拟合函数所得到的世界坐标系下的x坐标之间的误差,以及,所有第一特征点质心在世界坐标系下的y坐标、与所有第一特征点在图像中的像素位置信息基于第二拟合函数所得到的世界坐标系下的y坐标之间的误差。
代入标定板圆点k的圆心二维空间坐标(xk,yk)、图像中该圆点k的圆心像素坐标(uk,vk)至目标函数,采用最小二乘法,求解使得目标函数值为最小值时的拟合函数fx(u,v)、fy(u,v)。
将步骤301所得到的中心线上的第二特征点集合中的每一像素点坐标代入拟合函数fx(u,v)、fy(u,v)中,可以得到该第二特征点的空间坐标/>由此得到中心线上第二特征点图像坐标与其空间坐标的第一映射关系。
步骤303,至少选取标定板位于两个不同测量位置处所采集的激光光带图像,基于中心线上第二特征点图像坐标与其空间坐标的第一映射关系,构建位于同一激光平面中两激光中心线之间区域的空间点与该空间点在图像平面中的像素点的第二映射关系,较佳地,该第二映射关系以映射表方式存储,从而得到标定文件。
如图1所示,当保持线结构光测量系统固定时,选取标定板位于第一测量位置处所采集的第一中心线图像、位于第二测量位置处所采集的第二中心线图像,便可得到位于同一激光平面的两激光中心线,基于激光平面中第一中心线特征点与图像平面中第一中心线像素点的第一映射关系、以及第二中心线特征点与图像平面中第二中心线像素点的第一映射关系,计算激光平面中第一中心线与第二中心线之间区域(如图1激光平面中阴影部分)与图像平面中第一中心线像素点与第二中心线像素点之间区域(如图1图像平面中阴影部分)的第二映射关系,使得两中心线之间的中间区域的图像信息被补全。
为了提高标定结果的准确性,较佳地,选取多个连续等间距位置时所采集的激光光带图像,间距越小,所得到的标定结果准确性越高,映射表中的数据也越多。
对于多个高度位置处采集有多个激光光带的情形,则选择激光光带所在激光平面重合的至少两条激光光带图像来构建所述第二映射关系,也就是说,至少两条激光光带图像中的中心线在同一激光平面上。
为了减小不同测量位置处第二特征点的计算误差,可以采用样条插值法,计算激光平面中第一中心线与第二中心线之间区域与图像平面中第一中心线像素点与第二中心线像素点之间区域的第二映射关系,具体可以是如下方式:
参见图4所示,图4为计算激光平面中第一中心线与第二中心线之间区域,与,图像平面中第一中心线像素点与第二中心线像素点之间区域的第二映射关系的一种示意图。考虑到间距越小,所得到的标定结果准确性越高,映射表中的数据也越多,较佳地,在同一激光平面中选取距离方向上位置相邻的第一中心线和第二中心线,例如,图1中高度方向上位置相邻的两中心线。
对于图像中的每一列中心线像素点在第一中心线像素点/>与第二中心线像素点/>之间的范围内,相邻两像素点之间为一子区间;在每个子区间i建立样条函数,例如三次函数:
其中,ci、di、ei为待拟合系数,ξi为图像像素点对应的/>或/>或/>坐标。
由于作为端点的像素点对应的空间坐标在步骤302已获得,因此,将/>和/>代入三次函数,结合样条插值方法中的端点条件限制(自由边界、固定边界、非节点边界),求得待拟合系数分别为:
其中,hi为步长,mi为端点/>处的二次微分值。
在样条函数确定后,对于在第一中心线像素点与第二中心线像素点/>之间的范围内任意像素点/>即:对于/>将像素点/>代入其对应的样条函数,可以得到图像像素点/>的空间坐标。
例如,在8*8的图像中,对于第0列:
对于时,则/>将/>对应的x坐标值代入样条函数为/>可得到像素点(1,0)的/>坐标,
同样地,时,则/>代入样条函数/>可得到像素点(2,0)的/>坐标,
以此类推,
直至时,则/>代入样条函数/>可得到像素点(7,0)的/>坐标。
如图4所示,可以分别得到每个图像像素点分别对应的坐标、/>坐标、/>坐标。
参见图5所示,图5为将图4分别得到的坐标、/>坐标、/>坐标汇总为映射表,并保存。在标定完成后,将保存的映射表作为标定文件保存于线结构光测量系统中,或者,存储于服务器侧,以用于线结构光测量系统的测量。对于不同型号的线结构光测量系统,可以按照本申请的方法获取对应型号的标定文件。当用户使用时,可以根据线结构光测量系统的型号,从服务器侧获取该型号的标定文件。这样,用户使用线结构光测量系统进行测量时,就可以通过标定文件,查找到线结构光测量系统所采集激光光带图像中中心线像素点在像素坐标系下的任一坐标/>所对应的激光平面中的空间位置坐标/>基于空间位置坐标,可计算出被测物体轮廓的三维信息,从而得到测量结果。
本发明通过灰度重心法粗提中心线,利用Steger法进行优化,提高了中心线的抗噪性和鲁棒性,有利于提高中心线中第二特征点数据的准确性,利用标定板和升降台直接获取第一特征点三维坐标,避免了引入模型带来的误差,特征点较为稠密,便于进一步计算;样条插值时采用了所有第二特征点数据,充分利用了精度较高的第二特征点映射关系,构建图像像素点到激光平面坐标的映射表,避免模型选择造成的误差,简化了线结构光测量系统在测量时的计算。
参见图6所示,图6为本发明实现标定方法的一种标定装置示意图。该装置可以是计算机终端,也可以是专用标定设备。该装置包括,
中心线提取模块,基于线结构光测量系统所采集的线结构光投射用作标靶的标定板而产生的图像,提取激光中心线的图像位置信息;
特征点映射计算模块,根据标定板中第一特征点在世界坐标系下的空间位置信息,获取所述中心线图像中第二特征点在世界坐标系下的空间位置信息,得到第二特征点的图像位置信息与第二特征点的空间位置信息之间的第一映射关系,
映射关系构建模块,至少基于两条以上中心线中第二特征点的所述第一映射关系,通过插值构建该两中心线图像之间所有图像位置信息与对应的空间位置信息之间的第二映射关系。
参见图7所示,图7为线结构光测量系统的一种示意图,其中,通过本发明标定方法所获得的标定文件可以存储于线结构光测量系统的存储器中,也可以存储在线结构光测量系统可读取的一外部存储介质中。所述线结构光测量系统可以为线激光轮廓仪。所述处理器被配置为通过标定文件,查找所采集激光光带图像中中心线像素点在像素坐标系下的任一坐标所对应的激光平面中的空间位置坐标,基于所述空间位置坐标,计算出被测物体轮廓的三维信息,得到测量结果。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
本发明实施例还提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明所述标定方法的步骤。
对于装置/网络侧设备/存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (9)

1.一种线结构光测量系统的标定方法,其特征在于,该方法包括,
基于线结构光测量系统所采集的线结构光投射标定板产生的中心线图像,提取激光中心线的图像位置信息;
构建一目标函数,该目标函数用于累计:位于标定板中的第一特征点在世界坐标系下的空间位置信息,与,第一特征点在图像中的像素位置信息基于拟合函数所得到世界坐标系下的坐标的误差,
求解使得所述目标函数取得最小值时的拟合函数,作为第一特征点的空间位置信息与第一特征点在图像中的像素位置信息的映射关系,
根据所述映射关系,获取中心线图像中第二特征点在世界坐标系下的空间位置信息,得到第二特征点的图像位置信息与第二特征点的空间位置信息之间的第一映射关系;
至少基于两条中心线中第二特征点的所述第一映射关系,通过插值构建该两条中心线图像之间图像位置信息与对应的空间位置信息之间的第二映射关系;
其中,
所述两条中心线所在的激光平面重合,且相对于线结构光测量系统具有不同的距离,
所述激光平面为线结构光投射标定板时光路所确定的平面,
所述第二映射关系以如下方式构建:
对于图像中的每一列中心线像素点,
以第一中心线中的第二特征点、以及第二中心线中的第二特征点为插值点,根据第一映射关系确定插值点所对应的空间位置信息,采用样条插值,计算位于该插值点之间所有图像像素点所对应的空间位置信息,得到第二映射关系。
2.如权利要求1所述的方法,其特征在于,所述线结构光测量系统所采集的线结构光投射标定板产生的图像按照如下方式采集:
采集标定板相对于线结构光测量系统位于至少两个不同距离的测量位置处、且线结构光投射所产生的激光光带位于标定板区域时的图像,并记录线结构光测量系统与标定板之间相对的测量位置信息;
所述提取激光中心线的图像位置信息包括,采用灰度重心法粗提中心线位置,再对提取的中心线位置利用Steger法进行优化,得到中心线的亚像素坐标。
3.如权利要求2所述的方法,其特征在于,所述线结构光测量系统的位置固定,并且线结构光测量系统的激光投射被调整,使得激光光带位于标定板中间区域;
所述标定板被安装于可测得测量位置信息的升降台,各个高度位置处线结构光在标定板所投射的图像、以及各个高度位置处的测量位置信息被采集,其中,各个高度之间的距离为设定的间距距离;
所述激光光带包括光条纹,
所述采用灰度重心法粗提中心线位置,再对提取的中心线位置利用Steger法进行优化,得到中心线的亚像素坐标,包括,
提取图像中光条纹的每列像素的能量中心,作为该光条纹截面区域的中心点亚像素坐标,
利用高斯模板与中心点附近图像进行卷积,计算光条纹中像素的行坐标和列坐标的一阶导数和二阶导数,得到海森矩阵;
对海森矩阵计算特征值和特征向量,选择特征值中绝对值大于设定阈值的特征值所对应特征向量,该特征向量包括行特征分量和列特征分量;
根据所选择的特征向量、一阶导数、和二阶导数,计算优化步长,
基于优化步长,分别根据行特征分量和列特征分量,计算优化后的中心点行坐标和列坐标,得到中心线的亚像素坐标;
所述提取激光中心线的图像位置信息进一步包括,将优化后的中心点作为中心线中的第二特征点。
4.如权利要求1所述的方法,其特征在于,所述标定板包括形成标定板中第一特征点的黑白棋盘格图案或者圆点阵列式图案;
所述求解使得所述目标函数取得最小值时的拟合函数,包括,
通过最小二乘法,求解所述映射关系,
所述根据所述映射关系,获取中心线图像中第二特征点在世界坐标系下的空间位置信息,包括:
根据所述映射关系,计算所述中心线图像中各第二特征点在世界坐标系下的空间位置信息。
5.如权利要求4所述的方法,其特征在于,该方法进一步包括:
根据测量位置信息,得到标定板中第一特征点在世界坐标系下的z坐标;其中,测量位置信息为线结构光测量系统与标定板之间的相对距离的位置信息;
根据标定板中第一特征点质心的相对位置尺寸,得到第一特征点质心的在世界坐标系下的x坐标和y坐标;
所述拟合函数以如下方式确定:根据第一特征点质心的在世界坐标系下的x坐标和y坐标与第一特征点在图像中的像素位置信息的映射关系,分别构建表征x坐标映射关系的第一拟合函数、和表征y坐标映射关系的第二拟合函数;
所述目标函数用于累计:所有第一特征点质心在世界坐标系下的x坐标,与,所有第一特征点在图像中的像素位置信息基于第一拟合函数所得到的世界坐标系下的x坐标的误差;以及,所有第一特征点质心在世界坐标系下的y坐标,与,所有第一特征点在图像中的像素位置信息基于第二拟合函数所得到的世界坐标系下的y坐标的误差,
所述通过最小二乘法,求解所述映射关系,包括:
通过最小二乘法,求解使得目标函数取得最小值时的第一拟合函数和第二拟合函数,作为第一特征点的空间位置信息与第一特征点在图像中的像素位置信息的映射关系。
6.如权利要求5所述的方法,其特征在于,所述根据该映射关系,计算所述中心线图像中各第二特征点在世界坐标系下的空间位置信息,包括,
将中心线图像中各第二特征点的像素坐标代入第一拟合函数,得到各第二特征点世界坐标系下的x坐标;
将中心线图像中各第二特征点的像素坐标代入第二拟合函数,得到各第二特征点世界坐标系下的y坐标;
将第二特征点的像素坐标分别对应的第二特征点世界坐标系下的x坐标、y坐标、z坐标,作为第一映射关系,其中,z坐标为测量位置信息。
7.如权利要求1所述的方法,其特征在于,所述第一中心线与第二中心线位于同一激光平面,且在距离方向位置相邻,
所述采用样条插值,计算位于该插值点之间所有图像像素点所对应的空间位置信息,包括,
对于图像中的每一列中心线像素点:
以第一中心线中的第二特征点、以及第二中心线中的第二特征点为端点,以行坐标相邻的两像素点为子区间,在每个子区间分别建立包括有待拟合系数的样条函数,该样条函数以像素点的行坐标为自变量,
基于端点所对应的空间坐标信息,结合端点条件限制,得到样条函数中的待拟合系数,以确定每个子区间的样条函数;
根据位于端点之间每一像素点行坐标所在子区间的样条函数,基于该像素点行坐标、该子区间端点行坐标、以及分别基于该端点的空间坐标,计算该像素点对应的x坐标、y坐标、以及z坐标;
该方法进一步包括,将每个像素点坐标所对应的空间坐标以映射表的方式存储,得到标定文件。
8.一种线结构光测量系统的标定装置,其特征在于,该装置包括,
中心线提取模块,基于线结构光测量系统所采集的线结构光投射用作标靶的标定板而产生的图像,提取激光中心线的图像位置信息;
特征点映射计算模块,构建一目标函数,该目标函数用于累计:位于标定板中的第一特征点在世界坐标系下的空间位置信息,与,第一特征点在图像中的像素位置信息基于拟合函数所得到世界坐标系下的坐标的误差,求解使得所述目标函数取得最小值时的拟合函数,作为第一特征点的空间位置信息与第一特征点在图像中的像素位置信息的映射关系;根据所述映射关系,获取所述中心线图像中第二特征点在世界坐标系下的空间位置信息,得到第二特征点的图像位置信息与第二特征点的空间位置信息之间的第一映射关系,
映射关系构建模块,至少基于两条中心线中第二特征点的所述第一映射关系,通过插值构建该两条中心线图像之间所有图像位置信息与对应的空间位置信息之间的第二映射关系;
所述两条中心线所在的激光平面重合,且相对于线结构光测量系统具有不同的距离,
所述激光平面为线结构光投射标定板时光路所确定的平面;
所述第二映射关系以如下方式构建:
对于图像中的每一列中心线像素点,
以第一中心线中的第二特征点、以及第二中心线中的第二特征点为插值点,根据第一映射关系确定插值点所对应的空间位置信息,采用样条插值,计算位于该插值点之间所有图像像素点所对应的空间位置信息,得到第二映射关系。
9.一种线结构光测量系统,其特征在于,包括存储器和处理器,所述处理器被配置为通过标定文件,查找所采集激光光带图像中中心线像素点在像素坐标系下的任一坐标所对应的激光平面中的空间位置坐标,基于所述空间位置坐标,计算出被测物体轮廓的三维信息,得到测量结果;
其中,存储器中存储有标定文件,所述标定文件如权利要求1至7任一所述线结构光测量系统的标定方法的步骤获得。
CN202011589306.7A 2020-12-29 2020-12-29 一种线结构光测量系统的标定方法、标定装置、以及系统 Active CN112797915B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011589306.7A CN112797915B (zh) 2020-12-29 2020-12-29 一种线结构光测量系统的标定方法、标定装置、以及系统
PCT/CN2021/142614 WO2022143796A1 (zh) 2020-12-29 2021-12-29 一种线结构光测量系统的标定方法、标定装置、以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011589306.7A CN112797915B (zh) 2020-12-29 2020-12-29 一种线结构光测量系统的标定方法、标定装置、以及系统

Publications (2)

Publication Number Publication Date
CN112797915A CN112797915A (zh) 2021-05-14
CN112797915B true CN112797915B (zh) 2023-09-12

Family

ID=75805360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011589306.7A Active CN112797915B (zh) 2020-12-29 2020-12-29 一种线结构光测量系统的标定方法、标定装置、以及系统

Country Status (2)

Country Link
CN (1) CN112797915B (zh)
WO (1) WO2022143796A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112797915B (zh) * 2020-12-29 2023-09-12 杭州海康机器人股份有限公司 一种线结构光测量系统的标定方法、标定装置、以及系统
CN113034684B (zh) * 2021-05-24 2021-09-17 浙江华睿科技股份有限公司 三维重建方法、电子设备及计算机可读存储介质
CN113702384A (zh) * 2021-07-19 2021-11-26 南京工程学院 一种回转构件表面缺陷检测装置、检测方法及标定方法
CN113884278B (zh) * 2021-09-16 2023-10-27 杭州海康机器人股份有限公司 一种线激光设备的系统标定方法和装置
CN114199124B (zh) * 2021-11-09 2023-07-25 汕头大学 基于线性拟合的坐标标定方法、装置、系统及介质
CN114088071A (zh) * 2021-11-16 2022-02-25 北京铁道工程机电技术研究所股份有限公司 一种地坑式架车机的基坑中心点的确定装置和方法
CN114029588A (zh) * 2021-11-26 2022-02-11 江苏永大化工设备有限公司 气体保护焊接工艺参数自动调节系统
CN113945167B (zh) * 2021-12-21 2022-08-09 杭州灵西机器人智能科技有限公司 一种工件数据获取方法和装置
WO2024002370A1 (zh) * 2022-07-01 2024-01-04 深圳市创客工场科技有限公司 一种数控机器的加工方法与装置、数控机器
CN115311314B (zh) * 2022-10-13 2023-02-17 深圳市华汉伟业科技有限公司 一种线激光轮廓数据的重采样方法、系统和存储介质
CN115719386B (zh) * 2022-11-16 2024-03-12 南京博视医疗科技有限公司 一种基于线扫描的激光治疗系统的标定装置及方法
CN116182703A (zh) * 2023-01-31 2023-05-30 桂林电子科技大学 一种线结构光传感器标定方法及系统
CN116071240B (zh) * 2023-03-07 2023-06-20 广东利元亨智能装备股份有限公司 图像拼接方法、装置、计算机设备和存储介质
CN116228760B (zh) * 2023-05-08 2023-11-17 江苏金恒信息科技股份有限公司 一种钢板的取样方法、装置和系统
CN116563391B (zh) * 2023-05-16 2024-02-02 深圳市高素科技有限公司 一种基于机器视觉的激光结构自动标定方法
CN116433707B (zh) * 2023-06-14 2023-08-11 武汉工程大学 复杂背景下线结构光中心亚像素精确提取方法及系统
CN116805335B (zh) * 2023-07-04 2024-03-15 广东建石科技有限公司 一种用于瓷砖铺贴的双维度位移感知方法
CN117232435B (zh) * 2023-11-14 2024-01-30 北京科技大学 一种道岔尖轨磨耗值和降低值的测量装置及方法
CN117237434B (zh) * 2023-11-15 2024-02-09 太原理工大学 一种h型钢尺寸测量方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1657868A (zh) * 2005-03-23 2005-08-24 天津大学 基于共面标定参照物的线结构光传感器快速标定方法
CN101109620A (zh) * 2007-09-05 2008-01-23 北京航空航天大学 一种结构光视觉传感器结构参数标定方法
CN101499168A (zh) * 2009-03-19 2009-08-05 哈尔滨工业大学 基于脊线跟踪与海森矩阵的结构光光条中心提取方法
CN101865675A (zh) * 2010-05-21 2010-10-20 北京化工大学 一种三维视觉检测圆结构光标定点获取方法
US8662676B1 (en) * 2012-03-14 2014-03-04 Rawles Llc Automatic projector calibration
CN103884271A (zh) * 2012-12-20 2014-06-25 中国科学院沈阳自动化研究所 一种线结构光视觉传感器直接标定方法
CN106091983A (zh) * 2016-06-03 2016-11-09 长春师范大学 包含扫描方向信息的线结构光视觉测量系统完整标定方法
CN106441099A (zh) * 2016-10-13 2017-02-22 北京交通大学 多线结构光传感器的标定方法
CN106949851A (zh) * 2017-03-29 2017-07-14 沈阳建筑大学 一种基于支持向量机的线结构光视觉传感器标定方法
CN107649802A (zh) * 2017-09-28 2018-02-02 中国东方电气集团有限公司 一种激光视觉焊缝跟踪系统及标定方法
CN108955576A (zh) * 2018-10-31 2018-12-07 湖南东映碳材料科技有限公司 钢轨廓形动态检测中的多线结构光自标定方法及系统
CN109961455A (zh) * 2017-12-22 2019-07-02 杭州萤石软件有限公司 一种目标检测方法及装置
CN111649669A (zh) * 2020-06-05 2020-09-11 苏州若柏视智能科技有限公司 一种无标定的线结构光视觉传感器坐标测量方法及系统
CN111968183A (zh) * 2020-08-17 2020-11-20 西安交通大学 一种用于单目线激光三维测量模块标定的量块标定法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9769443B2 (en) * 2014-12-11 2017-09-19 Texas Instruments Incorporated Camera-assisted two dimensional keystone correction
CN105783773B (zh) * 2016-03-18 2019-05-10 河北科技大学 一种线结构光视觉传感器的数值标定方法
US9885779B2 (en) * 2016-06-17 2018-02-06 Pixart Imaging Inc. Optical calibration system adapted for optical distance measurement system
CN107167073A (zh) * 2017-05-18 2017-09-15 浙江四点灵机器人股份有限公司 一种线阵结构光三维快速测量装置及其测量方法
CN107121109B (zh) * 2017-06-12 2019-12-06 北京航空航天大学 一种基于前镀膜平面镜的结构光参数标定装置及方法
CN109443209B (zh) * 2018-12-04 2019-12-31 四川大学 一种基于单应性矩阵的线结构光系统标定方法
CN112797915B (zh) * 2020-12-29 2023-09-12 杭州海康机器人股份有限公司 一种线结构光测量系统的标定方法、标定装置、以及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1657868A (zh) * 2005-03-23 2005-08-24 天津大学 基于共面标定参照物的线结构光传感器快速标定方法
CN101109620A (zh) * 2007-09-05 2008-01-23 北京航空航天大学 一种结构光视觉传感器结构参数标定方法
CN101499168A (zh) * 2009-03-19 2009-08-05 哈尔滨工业大学 基于脊线跟踪与海森矩阵的结构光光条中心提取方法
CN101865675A (zh) * 2010-05-21 2010-10-20 北京化工大学 一种三维视觉检测圆结构光标定点获取方法
US8662676B1 (en) * 2012-03-14 2014-03-04 Rawles Llc Automatic projector calibration
CN103884271A (zh) * 2012-12-20 2014-06-25 中国科学院沈阳自动化研究所 一种线结构光视觉传感器直接标定方法
CN106091983A (zh) * 2016-06-03 2016-11-09 长春师范大学 包含扫描方向信息的线结构光视觉测量系统完整标定方法
CN106441099A (zh) * 2016-10-13 2017-02-22 北京交通大学 多线结构光传感器的标定方法
CN106949851A (zh) * 2017-03-29 2017-07-14 沈阳建筑大学 一种基于支持向量机的线结构光视觉传感器标定方法
CN107649802A (zh) * 2017-09-28 2018-02-02 中国东方电气集团有限公司 一种激光视觉焊缝跟踪系统及标定方法
CN109961455A (zh) * 2017-12-22 2019-07-02 杭州萤石软件有限公司 一种目标检测方法及装置
CN108955576A (zh) * 2018-10-31 2018-12-07 湖南东映碳材料科技有限公司 钢轨廓形动态检测中的多线结构光自标定方法及系统
CN111649669A (zh) * 2020-06-05 2020-09-11 苏州若柏视智能科技有限公司 一种无标定的线结构光视觉传感器坐标测量方法及系统
CN111968183A (zh) * 2020-08-17 2020-11-20 西安交通大学 一种用于单目线激光三维测量模块标定的量块标定法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周京博 ; 李华 ; 秦志英 ; 黄风山 ; 武哲.基于参考靶标的线结构光传感器标定.光学学报.2019,第39卷(第4期),0412005第1-8页. *

Also Published As

Publication number Publication date
CN112797915A (zh) 2021-05-14
WO2022143796A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
CN112797915B (zh) 一种线结构光测量系统的标定方法、标定装置、以及系统
CN110163918B (zh) 一种基于射影几何的线结构光标定方法
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN103782232B (zh) 投影仪及其控制方法
CN108662987B (zh) 2d摄像式激光测量头的标定方法
Douxchamps et al. High-accuracy and robust localization of large control markers for geometric camera calibration
US7411688B1 (en) Method and system for laser intensity calibration in a three-dimensional multi-color laser scanning system
CN108335286B (zh) 一种基于双线结构光的在线焊缝成型视觉检测方法
CN110443879B (zh) 一种基于神经网络的透视误差补偿方法
CN106705898A (zh) 一种点阵结构光测量平面度的方法
CN108053441B (zh) 一种激光三角法高精度测量方法
CN111750804B (zh) 一种物体测量的方法及设备
CN111402411A (zh) 一种基于线结构光的散乱物识别抓取方法
CN108805936A (zh) 摄像机外参标定方法、装置和电子设备
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN111508011A (zh) 一种飞行时间相机的深度数据校准方法
CN112815843B (zh) 一种3d打印过程中工件表面打印偏差的在线监测方法
CN113298886B (zh) 一种投影仪的标定方法
CN110425998A (zh) 灰度图像耦合特征点高度的构件三维测量方法
JP2005509877A (ja) コンピュータ視覚システムの較正方法及びそのシステム
CN114018932A (zh) 基于矩形标定物的路面病害指标测量方法
WO2018168757A1 (ja) 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム
TWI468658B (zh) 鏡頭檢測裝置及方法
CN110248179B (zh) 基于光场编码的相机光瞳像差校正方法
CN113822920B (zh) 结构光相机获取深度信息的方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant