CN112037288B - 基于神经网络的线结构光三相同步测量系统及测量方法和标定方法 - Google Patents

基于神经网络的线结构光三相同步测量系统及测量方法和标定方法 Download PDF

Info

Publication number
CN112037288B
CN112037288B CN202010912497.XA CN202010912497A CN112037288B CN 112037288 B CN112037288 B CN 112037288B CN 202010912497 A CN202010912497 A CN 202010912497A CN 112037288 B CN112037288 B CN 112037288B
Authority
CN
China
Prior art keywords
structured light
vision sensor
adjustable
light vision
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010912497.XA
Other languages
English (en)
Other versions
CN112037288A (zh
Inventor
马海涛
程庆
刘敏
徐仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202010912497.XA priority Critical patent/CN112037288B/zh
Publication of CN112037288A publication Critical patent/CN112037288A/zh
Application granted granted Critical
Publication of CN112037288B publication Critical patent/CN112037288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Abstract

本发明公开了一种基于神经网络的线结构光三相同步测量系统及测量方法和标定方法，该系统和方法不仅能利用线结构光的原理快速获得物体表面的三维数据，同时还能解决扫描过程中的单目相机受限于物体表面复杂结构的遮挡问题，并且在一定程度上可以去除由于物体表面材料问题而产生的高光点所带来的噪声，本发明不需要依赖精密的机械运动装置，且标定方法相对简单，可现场标定，硬件总体造价低，便于操作，易推广。

Description

基于神经网络的线结构光三相同步测量系统及测量方法和标 定方法
技术领域
本发明属于视觉测量领域，具体涉及一种基于神经网络的线结构光三相同步测量方法。
背景技术
线结构光视觉测量技术具有测量精度高、实时性好，抗干扰能力强等特点，在三维测量、三维重建、逆向工程和质量控制等领域获得了广泛位用。线激光扫描测量实验装置包括线激光器、CCD相机、高精度电动平移台、平移台控制器、计算机、标定饭和待测物体；由线激光器将线激光投射到被测物体表而，如果物体表面深度发生变化，那么CCD光敏面上的成像点也会随之移动，此时，由CCD摄像机接收投肘到物体表面发生畸变的线激光图像，通过相机标定和激光平面标定所得的相机内外参数和激光平面方程，再结合激光三角法的原理可以得到物体的高度信息，经过计算机的相关处理即可恢复出相应的三维点云数据。
在实际测量中，传统的单相机线结构光在面对较复杂的被测工件时存在表面被遮挡问题，导致测量数据不完整，并且存在因被测物体表面材质问题而出现的镜面反射现象所引起的数据失真问题，且需要的精密机械运动结构体型大、造价昂贵、不宜于推广，相机的内外参数及激光平面标定过程也极为复杂。
本发明所提出的一种基于神经网络的线结构光三相同步测量方法，在降低整体成本的同时，针对上述问题提出了一种新的解决方案。
发明内容
本发明的目的是克服现有技术的上述缺陷，提出了一种基于神经网络的线结构光三相同步测量系统及标定方法。
该方法基于本发明提出的线结构光三相同步测量装置，实现对被测物的三相同步快速扫描，实现对具有复杂表面结构物体的360°无死角探测，尽最大可能还原了物体的表面信息，同时本发明利用磁栅尺位移传感器来代替价格高昂的精密运动装置，磁栅位移传感器是一种采用录磁原理设计的高精度位移传感器，传感器由磁性标尺(简称磁尺)、读磁头与检测电路组成，依据电磁感应检测磁波的数目实现位移测量与位置定位。使用中，读磁头将磁尺上的磁信号转换为可计量的电信号，经检测电路传输给系统，满足自动化检测的需要，从而实现了整体成本的降低，同时本发明从三个角度发射的线结构光共面，相机从三个角度采集图像，根据镜面反射物体的表面特性，则在线结构光两两重合的部分有很大的概率可以去除因为高光点所造成的数据噪声，并且还可以保留有效数据，不造成数据丢失，同时本发明还利用了多层神经网络模型，打破了传统系统标定方法从图像坐标到相机坐标再到世界坐标的计算步骤，实现了从图像坐标到世界坐标的直接映射，避免了相机参数标定和激光平面的标定等复杂过程，利用神经网络模型直接求解从图像坐标到世界坐标的非线性映射。
一种基于神经网络的线结构光三相同步测量系统，包括安装底板、顶面挡板和三个侧面挡板，安装底板、顶面挡板和三块侧面挡板构成封闭的空间；
第一可调节的结构光视觉传感器、第二可调节的结构光视觉传感器、第三可调节的结构光视觉传感器、磁头和磁尺；磁头和磁尺构成磁栅尺位移传感器；安装底板上竖向安装有磁尺、第一滑轨和第二滑轨，磁尺、第一滑轨和第二滑轨上分别安装第一可调节的结构光视觉传感器、第二可调节的结构光视觉传感器和第三可调节的结构光视觉传感器，尺、第一滑轨和第二滑轨的顶端和末端均设置有用于对结构光视觉传感器进行限位的限位块。
所述的三个侧面挡板的其中一个为可旋转打开的侧面挡板，能以磁尺为旋转轴向着装置外部旋转打开。
所述的第一可调节的结构光视觉传感器、第二可调节的结构光视觉传感器和第三可调节的结构光视觉传感器均包含线激光发射器与CCD相机，线激光发射器与CCD相机以封装壳封装；线激光发射器发出激光平面。
所述的第一可调节的结构光视觉传感器、第二可调节的结构光视觉传感器和第三可调节的结构光视觉传感器位于同一水平面，能通过旋钮调整结构光的入射角度，第一可调节的结构光视觉传感器、第二可调节的结构光视觉传感器和第三可调节的结构光视觉传感器与磁栅尺位移传感器的磁头能通过磁尺、第一滑轨和第二滑轨同步移动。
所述的磁尺与第一滑轨和第二滑轨相互平行，均垂直于安装底板所在的平面。
所述的磁头能随着第一可调节的结构光视觉传感器、第二可调节的结构光视觉传感器和第三可调节的结构光视觉传感器同步运动。
一种基于神经网络的线结构光三相同步测量系统的标定方法，包括以下步骤：
1、将棋盘格标定靶垂直于安装底板放置，以该位置为初始位置，以棋盘格底边中点为原点，以棋盘格横向和纵向分别为X轴和Z轴，通过右手定则建立世界坐标系O-XYZ，此时靶标平面上所有棋盘格角点的三维世界坐标均可通过棋盘格的物理尺寸得知，且有Y＝0；
2、第一可调节的结构光视觉传感器、第二可调节的结构光视觉传感器和第三可调节的结构光视觉传感器位于同一水平面，通过旋钮调整结构光的入射角度，使三个结构光平面共面，近似于垂直入射于物体表面，第一可调节的结构光视觉传感器、第二可调节的结构光视觉传感器和第三可调节的结构光视觉传感器与磁栅尺位移传感器的磁头能同步移动，移动方向原则上应近似平行于Z轴。
3、关闭三个线结构光发射器，利用三个CCD相机能拍摄不同角度的三幅棋盘格靶标图像，对于拍摄到有较完整棋盘格靶标的图像，分别通过Harris算法对每一幅图像上棋盘格角点A1’、B1’、C1’的图像坐标进行亚像素提取，且其对应的三维世界坐标A1、B1、C1可由棋盘格物理尺寸获得，
Harris算法角点检测原理是利用移动的窗口在图像中计算灰度变化值，其中关键流程包括转化为灰度图像、计算差分图像、高斯平滑、计算局部极值、确认角点。
算法流程如下：
1)利用水平，竖直差分算子对图像的每个像素进行滤波以求得Ix,Iy,进而求得M中的四个元素的值
2)对M的四个元素进行高斯平滑滤波，为的是消除一些不必要的孤立点和凸起，得到新的矩阵M；
3)接下来利用M计算对应每个像素的角点响应函数R，即：
R＝detM-k(traceM)2
detM＝λ1λ2
traceM＝λ1+λ2；
4)局部极大值抑制，同时选取其极大值5)在矩阵R中，同时满足R(i,j)大于一定阈值threshold和R(i,j)是某领域内的局部极大值，则被认为是角点。
4、打开三个线结构光发射器，调节相机的曝光量，拍摄三幅线结构光图像，保证结构光图像清晰均匀。对于三幅线结构光图像，分别利用灰度重心法提取条纹图像的中心线，并通过最小二乘法拟合出中心线在图像上的中心线方程。联立每一幅图像上A1’、B1’、C1’所在的直线方程和线结构光的中心线方程，即可求得每一幅图像上交点D1’的图像坐标(u1,v1)，根据交比不变原理可以求得每一幅图像上D1’点所对应的世界坐标系坐标D1(X1,Y2,Z3)，同理可以得到每一幅图像上线结构光中心线和棋盘格网格上其他直线的所有交点的图像坐标Di’(ui,vi)和所他们对应的世界坐标Di(Xi,Yi,Zi)，纪录此时的激光测距传感器采集的数据d1，便采集到每一幅图像上多个样本的输入(ui,vi,di)和对应的世界坐标系坐标标记(Xi,Yi,Zi)。
所述的交比不变原理是指长度一定的线段经过透视投影后，投影线段的长度发生变化而线段之间的比例不变。
如图4所示，同一直线上的A、B、C、D四点，经过透视投影变换后仍处于同一直线上，而四点的交比保持不变。即所以世界坐标系上同一条直线上四个点A1B1C1D1与经过投影后图像上的四个点A1’B1’C1’D1’也满足交比不变的关系，即八个点中知道七个点的坐标可以求得剩下的一个点的坐标。
5、将棋盘格绕Z轴顺时针旋转角度ɑ，用来增加世界坐标系标记值(XiYiZi)的多样性，避免神经网络过拟合，旋转后所对应的三维世界坐标通过公式(X/cosɑ,Y/sinɑ,Z)来确定，其中(X,Y,Z)为通过棋盘格物理尺寸得到的坐标。
6、控制电机，使三个结构光视觉传感器装置与磁栅尺位移传感器的磁头开始同步运动，每改变一次测距信息d，重复步骤3、4和5纪录测距数据为d1d2....dm时，每一幅图像上多个交点(ui,vi,di)对应的世界坐标系坐标标记(Xi,Yi,Zi)，多次重复步骤，完成数据的收集工作。
7、将每个相机采集到的样本数据集分别划分为训练集和测试集，对应训练三个神经网络，(ui,vi,di)为神经网络的输入，(Xi,Yi,Zi)为神经网路输出层三个神经元的输出量，采用梯度下降算法和误差反向传播算法不断更新神经网络参数，多次迭代后完成模型训练，找到每一幅图像上采集到的信息(u,v,d)到世界坐标(X，Y，Z)的映射关系。
一种基于神经网络的线结构光三相同步测量系统的测量方法，包括以下步骤：
1)、控制电机，使第一可调节的结构光视觉传感器、第二可调节的结构光视觉传感器和第三可调节的结构光视觉传感器与磁栅尺位移传感器中的磁头位于磁尺、第一滑轨和第二滑轨顶端，此位置定为初始位置。
2)、将可旋转的侧面挡板旋转打开，将待测物体放置于安装底板上，关闭可旋转的侧面挡板。
3)、控制电机，使第一可调节的结构光视觉传感器、第二可调节的结构光视觉传感器和第三可调节的结构光视觉传感器与磁栅尺位移传感器中的磁头开始同步运动。
4)、通过结构光视觉传感器中的CCD相机采集图片信息，通过磁栅尺位移传感器采集到距离信息，将图像信息与距离信息上传到上位机。
5)、上位机对采集到的图片信息利用灰度重心法与最小二乘法进行结构光中心线的提取和拟合，解算出的图像坐标与采集到的距离信息分别输入三个训练后的神经网络模型，即可得到待测物体的三维信息。
本发明的有益效果是：
简化了繁杂的相机参数标定工作和激光平面标定工作，实现了从图像坐标到世界坐标的直接映射，该方法不仅能利用线结构光的原理快速获得物体表面的三维数据，同时还能解决扫描过程中的单目相机受限于物体表面复杂结构的遮挡问题，并且在一定程度上可以去除由于物体表面材料问题而产生的高光点所带来的噪声，本发明不需要依赖精密的机械运动装置，且标定方法相对简单，可现场标定，硬件总体造价低，便于操作，易推广。
附图说明
图1是本发明的结构示意图。
图2是本发明的可调节的结构光视觉传感器示意图。
图3是本发明的棋盘格上的世界坐标系示意图。
图4是同一直线上的A、B、C、D四点，经过透视投影变换后仍处于同一直线上的示意图。
具体实施方式
如图1和如图2所示，一种基于神经网络的线结构光三相同步测量系统，包括安装底板6、顶面挡板10和三个侧面挡板，安装底板6、顶面挡板10和三块侧面挡板构成封闭的空间；
第一可调节的结构光视觉传感器1、第二可调节的结构光视觉传感器3、第三可调节的结构光视觉传感器4、磁头2和磁尺7；磁头2和磁尺7构成磁栅尺位移传感器；安装底板6上竖向安装有磁尺7、第一滑轨8和第二滑轨9，磁尺7、第一滑轨8和第二滑轨9上分别安装第一可调节的结构光视觉传感器1、第二可调节的结构光视觉传感器3和第三可调节的结构光视觉传感器4，尺7、第一滑轨8和第二滑轨9的顶端和末端均设置有用于对结构光视觉传感器进行限位的限位块。
如图1所示，所述的三个侧面挡板的其中一个为可旋转打开的侧面挡板11，能以磁尺7为旋转轴向着装置外部旋转打开。
如图1和如图2所示，所述的第一可调节的结构光视觉传感器1、第二可调节的结构光视觉传感器3和第三可调节的结构光视觉传感器4均包含线激光发射器14与CCD相机15，线激光发射器14与CCD相机15以封装壳16封装；线激光发射器14发出激光平面13。
所述的第一可调节的结构光视觉传感器1、第二可调节的结构光视觉传感器3和第三可调节的结构光视觉传感器4位于同一水平面，能通过旋钮调整结构光的入射角度，第一可调节的结构光视觉传感器1、第二可调节的结构光视觉传感器3和第三可调节的结构光视觉传感器4与磁栅尺位移传感器的磁头2能通过磁尺7、第一滑轨8和第二滑轨9同步移动。
所述的磁尺7与第一滑轨8和第二滑轨9相互平行，均垂直于安装底板6所在的平面。
所述的磁头2能随着第一可调节的结构光视觉传感器1、第二可调节的结构光视觉传感器3和第三可调节的结构光视觉传感器4同步运动。
如图3所示，L为线结构光，A1、B1、C1为棋盘格上的三个角点，D1为棋盘格与A1B1C1所在直线的一个交点。
如图1至图4所示，一种基于神经网络的线结构光三相同步测量系统的标定方法，包括以下步骤：
1、将棋盘格标定靶5垂直于安装底板6放置，以该位置为初始位置，以棋盘格底边中点为原点，以棋盘格横向和纵向分别为X轴和Z轴，通过右手定则建立世界坐标系O-XYZ，如图3所示，此时靶标平面上所有棋盘格角点的三维世界坐标均可通过棋盘格的物理尺寸得知，且有Y＝0；
2、第一可调节的结构光视觉传感器1、第二可调节的结构光视觉传感器3和第三可调节的结构光视觉传感器4位于同一水平面，通过旋钮调整结构光的入射角度，使三个结构光平面共面，近似于垂直入射于物体表面，第一可调节的结构光视觉传感器1、第二可调节的结构光视觉传感器3和第三可调节的结构光视觉传感器4与磁栅尺位移传感器的磁头2能同步移动，移动方向原则上应近似平行于Z轴。
3、关闭三个线结构光发射器14，利用三个CCD相机能拍摄不同角度的三幅棋盘格靶标图像，对于拍摄到有较完整棋盘格靶标的图像，分别通过Harris算法对每一幅图像上棋盘格角点A1’、B1’、C1’的图像坐标进行亚像素提取，且其对应的三维世界坐标A1、B1、C1可由棋盘格物理尺寸获得，如图3所示。
4、打开三个线结构光发射器14，调节相机的曝光量，拍摄三幅线结构光图像，保证结构光图像清晰均匀。对于三幅线结构光图像，分别利用灰度重心法提取条纹图像的中心线，并通过最小二乘法拟合出中心线在图像上的中心线方程；联立每一幅图像上A1’、B1’、C1’所在的直线方程和线结构光的中心线方程，即可求得每一幅图像上交点D1’的图像坐标(u1,v1)，根据交比不变原理可以求得每一幅图像上D1’点所对应的世界坐标D1(X1,Y2,Z3)，同理可以得到每一幅图像上线结构光中心线和棋盘格网格上其他直线的所有交点的图像坐标Di’(ui,vi)和他们所对应的世界坐标Di(Xi,Yi,Zi)，纪录此时的激光测距传感器的数据d1，便采集到每一幅图像上多个样本的输入(ui,vi,di)和对应的世界坐标系坐标(Xi,Yi,Zi)。
所述的交比不变原理是指长度一定的线段经过透视投影后，投影线段的长度发生变化而线段之间的比例不变。如图4所示，同一直线上的A、B、C、D四点，经过透视投影变换后仍处于同一直线上，而四点的交比保持不变。即所以世界坐标系上同一条直线上四个点A1、B1、C1、D1与经过投影后图像上的四个点A1’、B1’、C1’、D1’也满足交比不变的关系，即八个点中知道七个点的坐标可以求得剩下的一个点的坐标。
如图1和图2所示，一种基于神经网络的线结构光三相同步测量系统的测量方法，包括以下步骤：
(1)控制电机，使第一可调节的结构光视觉传感器1、第二可调节的结构光视觉传感器3和第三可调节的结构光视觉传感器4与磁栅尺位移传感器中的磁头2位于磁尺7、第一滑轨8和第二滑轨9顶端，此位置定为初始位置。
(2)将可旋转的侧面挡板11旋转打开，将待测物体放置于安装底板6上，关闭可旋转的侧面挡板11。
(3)控制电机，使第一可调节的结构光视觉传感器1、第二可调节的结构光视觉传感器3和第三可调节的结构光视觉传感器4与磁栅尺位移传感器中的磁头2开始同步运动。
(4)通过结构光视觉传感器中的CCD相机15采集图片信息，通过磁栅尺位移传感器采集到距离信息，将图像信息与距离信息上传到上位机。
(5)上位机对采集到的图片信息利用灰度重心法与最小二乘法进行结构光中心线的提取和拟合，解算出的图像坐标与采集到的距离信息分别输入三个训练后的神经网络模型，即可得到待测物体的三维信息。

Claims (4)

1.基于神经网络的线结构光三相同步测量系统，其特征在于：包括安装底板(6)、顶面挡板(10)和三个侧面挡板，安装底板(6)、顶面挡板(10)和三块侧面挡板构成封闭的空间；
第一可调节的结构光视觉传感器(1)、第二可调节的结构光视觉传感器(3)、第三可调节的结构光视觉传感器(4)、磁头(2)和磁尺(7)；磁头(2)和磁尺(7)构成磁栅尺位移传感器；安装底板(6)上竖向安装有磁尺(7)、第一滑轨(8)和第二滑轨(9)，磁尺(7)、第一滑轨(8)和第二滑轨(9)上分别安装第一可调节的结构光视觉传感器(1)、第二可调节的结构光视觉传感器(3)和第三可调节的结构光视觉传感器(4)，尺(7)、第一滑轨(8)和第二滑轨(9)的顶端和末端均设置有用于对结构光视觉传感器进行限位的限位块；
所述的三个侧面挡板的其中一个为可旋转打开的侧面挡板(11)，能以磁尺(7)为旋转轴向着装置外部旋转打开；
所述的第一可调节的结构光视觉传感器(1)、第二可调节的结构光视觉传感器(3)和第三可调节的结构光视觉传感器(4)均包含线激光发射器(14)与CCD相机(15)，线激光发射器(14)与CCD相机(15)以封装壳(16)封装；线激光发射器(14)发出激光平面(13)；
所述的第一可调节的结构光视觉传感器(1)、第二可调节的结构光视觉传感器(3)和第三可调节的结构光视觉传感器(4)位于同一水平面，能通过旋钮调整结构光的入射角度，第一可调节的结构光视觉传感器(1)、第二可调节的结构光视觉传感器(3)和第三可调节的结构光视觉传感器(4)与磁栅尺位移传感器的磁头(2)能通过磁尺(7)、第一滑轨(8)和第二滑轨(9)同步移动；
所述的磁尺(7)与第一滑轨(8)和第二滑轨(9)相互平行，均垂直于安装底板(6)所在的平面；
所述的磁头(2)能随着第一可调节的结构光视觉传感器(1)、第二可调节的结构光视觉传感器(3)和第三可调节的结构光视觉传感器(4)同步运动。
2.权利要求1所述基于神经网络的线结构光三相同步测量系统的测量方法，包括以下步骤：
1)、控制电机，使第一可调节的结构光视觉传感器、第二可调节的结构光视觉传感器和第三可调节的结构光视觉传感器与磁栅尺位移传感器中的磁头位于磁尺、第一滑轨和第二滑轨顶端，此位置定为初始位置；
2)、将可旋转的侧面挡板旋转打开，将待测物体放置于安装底板上，关闭可旋转的侧面挡板；
3)、控制电机，使第一可调节的结构光视觉传感器、第二可调节的结构光视觉传感器和第三可调节的结构光视觉传感器与磁栅尺位移传感器中的磁头开始同步运动；
4)、通过结构光视觉传感器中的CCD相机采集图片信息，通过磁栅尺位移传感器采集到距离信息，将图像信息与距离信息上传到上位机；
5)、上位机对采集到的图片信息利用灰度重心法与最小二乘法进行结构光中心线的提取和拟合，解算出的图像坐标与采集到的距离信息分别输入三个训练后的神经网络模型，即可得到待测物体的三维信息。
3.权利要求1所述基于神经网络的线结构光三相同步测量系统的标定方法，包括以下步骤：
1)、将棋盘格标定靶(5)垂直于安装底板(6)放置，以该放置的位置为初始位置，以棋盘格底边中点为原点，以棋盘格横向和纵向分别为X轴和Z轴，通过右手定则建立世界坐标系O-XYZ，此时靶标平面上所有棋盘格角点的三维世界坐标均可通过棋盘格的物理尺寸得知，且有Y＝0；
2)、第一可调节的结构光视觉传感器(1)、第二可调节的结构光视觉传感器(3)和第三可调节的结构光视觉传感器(4)位于同一水平面，通过旋钮调整结构光的入射角度，使三个结构光平面共面，近似于垂直入射于物体表面，第一可调节的结构光视觉传感器(1)、第二可调节的结构光视觉传感器(3)和第三可调节的结构光视觉传感器(4)与磁栅尺位移传感器的磁头(2)能同步移动，移动方向平行于Z轴；
3)、关闭三个线结构光发射器(14)，利用三个CCD相机能拍摄不同角度的三幅棋盘格靶标图像，对于拍摄到有较完整棋盘格靶标的图像，分别通过Harris算法对每一幅图像上棋盘格角点A1’、B1’、C1’的图像坐标进行亚像素提取，且其对应的三维世界坐标A1、B1、C1可由棋盘格物理尺寸获得；
4)、打开三个线结构光发射器(14)，调节相机的曝光量，拍摄三幅线结构光图像，保证结构光图像清晰均匀；对于三幅线结构光图像，分别利用灰度重心法提取条纹图像的中心线，并通过最小二乘法拟合出中心线在图像上的中心线方程；联立每一幅图像上A1’、B1’、C1’所在的直线方程和线结构光的中心线方程，即可求得每一幅图像上交点D1’的图像坐标(u1,v1)，根据交比不变原理可以求得每一幅图像上D1’点所对应的世界坐标D1(X1,Y2,Z3)，同理可以得到每一幅图像上线结构光中心线和棋盘格网格上其他直线的所有交点的图像坐标Di’(ui,vi)和他们所对应的世界坐标Di(Xi,Yi,Zi)，记录此时的激光测距传感器的数据d1，便采集到每一幅图像上多个样本的输入(ui,vi,di)和对应的世界坐标系坐标(Xi,Yi,Zi)。
4.根据权利要求3所述的基于神经网络的线结构光三相同步测量系统的标定方法，其特征在于：所述的交比不变原理是指长度一定的线段经过透视投影后，投影线段的长度发生变化而线段之间的比例不变；同一直线上的A、B、C、D四点，经过透视投影变换后仍处于同一直线上，而四点的交比保持不变；即所以世界坐标系上同一条直线上四个点A1、B1、C1、D1与经过投影后图像上的四个点A1’、B1’、C1’、D1’也满足交比不变的关系，即八个点中知道七个点的坐标可以求得剩下的一个点的坐标。
CN202010912497.XA 2020-09-03 2020-09-03 基于神经网络的线结构光三相同步测量系统及测量方法和标定方法 Active CN112037288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010912497.XA CN112037288B (zh) 2020-09-03 2020-09-03 基于神经网络的线结构光三相同步测量系统及测量方法和标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010912497.XA CN112037288B (zh) 2020-09-03 2020-09-03 基于神经网络的线结构光三相同步测量系统及测量方法和标定方法

Publications (2)

Publication Number Publication Date
CN112037288A CN112037288A (zh) 2020-12-04
CN112037288B true CN112037288B (zh) 2024-01-26

Family

ID=73590604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010912497.XA Active CN112037288B (zh) 2020-09-03 2020-09-03 基于神经网络的线结构光三相同步测量系统及测量方法和标定方法

Country Status (1)

Country Link
CN (1) CN112037288B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102072708A (zh) * 2010-11-16 2011-05-25 杨诚 一种光学检测装置
WO2018049818A1 (zh) * 2016-08-16 2018-03-22 上海汇像信息技术有限公司 一种基于三维测量技术测量物体表面积的系统及方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN110130086A (zh) * 2019-03-22 2019-08-16 沈阳工业大学 一种围巾端部自动翻转整体视觉检测及浮毛吸附装置
CN110508503A (zh) * 2019-09-18 2019-11-29 杭州柏瑜机电有限公司 一种基于机器视觉的产品检测装置
CN210862566U (zh) * 2019-09-29 2020-06-26 东莞市庆颖智能自动化科技有限公司 一种太阳能晶柱的平整度垂直度检测设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7309128B2 (en) * 2002-09-20 2007-12-18 Centrofuse Technologies, Llc Automated stereocampimeter and related method for improved measurement of the visual field
US9602730B2 (en) * 2014-12-31 2017-03-21 Torrey Pines Logic, Inc. Mountable, thermal situational-awareness accessory for use with optical devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102072708A (zh) * 2010-11-16 2011-05-25 杨诚 一种光学检测装置
WO2018049818A1 (zh) * 2016-08-16 2018-03-22 上海汇像信息技术有限公司 一种基于三维测量技术测量物体表面积的系统及方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN110130086A (zh) * 2019-03-22 2019-08-16 沈阳工业大学 一种围巾端部自动翻转整体视觉检测及浮毛吸附装置
CN110508503A (zh) * 2019-09-18 2019-11-29 杭州柏瑜机电有限公司 一种基于机器视觉的产品检测装置
CN210862566U (zh) * 2019-09-29 2020-06-26 东莞市庆颖智能自动化科技有限公司 一种太阳能晶柱的平整度垂直度检测设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多视点三维测量系统的全局标定方法研究;孙国强;许增朴;王永强;于德敏;天津科技大学学报;第22卷(第3期);全文 *

Also Published As

Publication number Publication date
CN112037288A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN110763152B (zh) 一种水下主动旋转结构光三维视觉测量装置及测量方法
WO2022142759A1 (zh) 一种激光雷达与相机联合标定方法
CN111750805B (zh) 一种基于双目相机成像和结构光技术的三维测量装置及测量方法
CN111366084B (zh) 基于信息融合的零件尺寸检测平台及检测方法、融合方法
CN111369630A (zh) 一种多线激光雷达与相机标定的方法
CN104713885B (zh) 一种用于pcb板在线检测的结构光辅助双目测量方法
CN109297436B (zh) 双目线激光立体测量基准标定方法
CN105627948B (zh) 一种大型复杂曲面测量系统进行复杂曲面采样的方法
CN104567727B (zh) 利用立体靶标对线结构光轮廓传感器的全局统一校准方法
CN109253706B (zh) 一种基于数字图像的隧道三维形貌测量方法
CN113063368A (zh) 一种线激光旋转扫描三维轮廓测量方法及装置
CN108389233B (zh) 基于边界约束和均值逼近的激光扫描仪与相机标定方法
CN108177143A (zh) 一种基于激光视觉引导的机器人定位抓取方法及系统
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN110645921A (zh) 一种基于偏振成像的冰形三维测量方法
CN111623942B (zh) 一种单向振动台试验结构模型位移测量方法
CN110966956A (zh) 一种基于双目视觉的三维检测装置和方法
CN113446957B (zh) 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置
CN104079810A (zh) 一种三维全景扫描装置及三维模型生成方法
CN204031286U (zh) 一种三维全景扫描装置
CN113470090A (zh) 基于sift-shot特征的多固态激光雷达外参标定方法
CN113134683A (zh) 基于机器学习的激光标刻方法及装置
Liu et al. Real-time 3D surface measurement in additive manufacturing using deep learning
CN109506629B (zh) 一种水下核燃料组件检测装置旋转中心标定的方法
CN115112049A (zh) 一种三维形貌的线结构光精密旋转测量方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant