CN113674360A - 一种基于协变的线结构光光平面标定方法 - Google Patents

一种基于协变的线结构光光平面标定方法 Download PDF

Info

Publication number
CN113674360A
CN113674360A CN202110941407.4A CN202110941407A CN113674360A CN 113674360 A CN113674360 A CN 113674360A CN 202110941407 A CN202110941407 A CN 202110941407A CN 113674360 A CN113674360 A CN 113674360A
Authority
CN
China
Prior art keywords
plane
equation
line
light
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110941407.4A
Other languages
English (en)
Inventor
崔海华
田威
翟鹏
廖文和
张益华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110941407.4A priority Critical patent/CN113674360A/zh
Publication of CN113674360A publication Critical patent/CN113674360A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于协变的线结构光光平面标定方法，包括如下步骤：采用基于平面靶标的相机标定方法，获得相机参数；采集带有激光线条纹的平面靶标图片，剔除求解重投影误差大的图片；矫正标定图片；利用灰度重心法提取感兴趣区中光条亚像素中心点；利用平面靶标上已知圆心坐标与图像中圆心点计算两平面之间的单应性矩阵，得到平面靶标二维平面上中心线的方程系数；计算世界坐标系下光条中心线的Plucker矩阵方程；利用直线方程在光平面方程上建立线面约束方程；拍摄多组不同位姿下的光条图像，建立超静定线面约束方程组，采用SVD分解线面约束方程组得到光平面方程系数。本发明保证了标定精度和速度，每张图像数据对平面方程参数影响相同，保证抗噪性。

Description

一种基于协变的线结构光光平面标定方法
技术领域
本发明涉及非接触测量技术领域，尤其是一种基于协变的线结构光光平面标定方法。
背景技术
线结构光测量技术是一种非接触、抗噪性强、精度高的测量方式，其中线结构光光平面的标定精度是该测量技术的重要保证。线结构光三维测量，是由激光器投射激光至被测表面，由相机采集经过调质过后的激光条纹，通过细化得到亚像素条纹中心，以相机成像模型方程与光平面的三维空间方程恢复物体表面条纹处的三维坐标，因此实现光平面高精度的标定是线结构光精密测量的一个关键技术。
目前的线结构光测量多采用基于交比不变的光平面标的方法，通过平面靶标上已知标定点的坐标信息，由交比获得激光线与已知标定点的交点坐标，用于光平面标定，该方法所需平面靶标简单，精度高，但是获得的特征点数量少，受空间位姿的影响，特征点分布受认为因素影响较大，没有充分利用条纹数据。
发明内容
本发明所要解决的技术问题在于，提供一种基于协变的线结构光光平面标定方法，保证了标定精度和速度，每张图像数据对平面方程参数影响相同，保证抗噪性。
为解决上述技术问题，本发明提供一种基于协变的线结构光光平面标定方法，包括如下步骤：
(1)采用基于平面靶标的相机标定方法，获得相机内参矩阵M与畸变参数；
(2)采集带有激光线条纹的平面靶标图片，对其上的平面靶标圆心利用PnP求解相机相对于世界坐标系的位姿矩阵W，剔除求解重投影误差大的图片；
(3)矫正标定图片，利用Canny获得所有图像中的边缘并统计灰度，通过大津阈值法计算阈值，结合最高灰度值得到自适应分割阈值T并对分割图像进行连通域分析，得到最大连通域所在最小包围矩形作为光条感兴趣区；
(4)利用灰度重心法提取感兴趣区中光条亚像素中心点，利用5点滑动平均法光顺光条中心点集，最小二乘法拟合中心线方程I；
(5)利用平面靶标上已知圆心坐标与图像中圆心点计算两平面之间的单应性矩阵H，利用协变得到平面靶标二维平面上中心线的方程系数I'＝I·H-1；
(6)计算世界坐标系下光条中心线的Plucker矩阵方程Lw，利用步骤(2)中的位姿关系得到相机坐标系光条中心线的Plucker矩阵方程Lc，为Lc＝(WA)·(WB)T-(WB)·(WA)T＝WLwWT，其中A，B为任意两点直线上三维坐标；
(7)利用直线方程在光平面方程上建立线面约束方程Lc·π＝0；
(8)拍摄多组不同位姿下的光条图像，建立超静定线面约束方程组，采用SVD分解线面约束方程组得到光平面方程系数。
优选的，步骤(3)中，矫正标定图片，利用Canny获得所有图像中的边缘并统计灰度，通过大津阈值法计算阈值，结合最高灰度值得到自适应分割阈值T并对分割图像进行连通域分析，得到最大连通域所在最小包围矩形作为光条感兴趣区具体为：利用Canny获得图像中所有边缘位置得到边缘图像，将其作为掩模获取边缘处所有灰度值，利用大津阈值法算得到阈值Totsu，结合光条上最大灰度值G，得到自适应分割阈值T＝(Totsu+G)/2，根据自适应分割阈值结果得到分割图像，根据连通域分析选择连通域最大的区域作为棋盘格上光条的感兴趣区。
优选的，步骤(4)中，利用灰度重心法提取感兴趣区中光条亚像素中心点，利用5点滑动平均法光顺光条中心点集，最小二乘法拟合中心线方程I具体为：以行为搜索对象对感兴趣区中连通域标签为最大值的光条进行统计，利用灰度重心法提取光条中心点(xm,ym)，计算过程为
Figure BDA0003215012310000021
其中I(xi,yi)为图像(xi,yi)处的灰度，待提取完成后利用五点滑动平滑光顺中心点集，得到新的坐标点(x′m,y′m)。
优选的，步骤(5)中，利用平面靶标上已知圆心坐标与图像中圆心点计算两平面之间的单应性矩阵H，利用协变得到平面靶标二维平面上中心线的方程系数I'＝I·H-1具体为：使用设计的平面靶标，大圆确定坐标系，小圆确定圆心，中间区域用于投射激光线，另在二维射影变换中，两平面之间点与点存在单应性关系，x′＝H·x，又点在直线上，可推导出两平面之间直线的单应性关系也即协变，直线方程采用最小二乘法拟合，
Figure BDA0003215012310000031
其中I、I′为两平面上直线方程系数，x、x′为两直线上点的齐次表达式。
优选的，步骤(6)中，计算世界坐标系下光条中心线的Plucker矩阵方程Lw，利用步骤(2)中的位姿关系得到相机坐标系光条中心线的Plucker矩阵方程Lc，为Lc＝(WA)·(WB)T-(WB)·(WA)T＝WLwWT，其中A，B为任意两点直线上三维坐标具体为：在直线I′上任意取两点，又由于点在平面靶标平面上，满足z＝0，将两点转换成三维点坐标，根据Plucker转换得到矩阵Lw
Figure BDA0003215012310000032
其中A、B为世界平面上的点，那么相机坐标系的空间直线方程为
Lc＝WLwWT。
优选的，步骤(8)中，拍摄多组不同位姿下的光条图像，建立超静定线面约束方程组，采用SVD分解线面约束方程组得到光平面方程系数具体为：选择多组不同位姿多次移动靶标平面(n≥2)，得到多组光平面上的直线Lci，建立线面方程组
LT·π＝0，其中，L＝(Lc1,Lc2,…,Lcn)
利用SVD分解L，L＝UDVT，D中最小奇异值在VT中的特征向量为平面方程的系数π。
本发明的有益效果为：(1)获取的激光条纹精度高，抗噪性强，可以作为光平面标定初始数据，保证了标定精度；(2)获光条中心线方程数据快，只需要单应性变换即可获得光条直线方程表达参数，保证了标定速度；(3)充分利用光条数据，避免了特征点提取和特征点分布问题，使得每张图像数据对平面方程参数影响相同，保证抗噪性。
附图说明
图1为本发明的标定原理示意图。
图2为本发明相机标定所需的平面靶标示意图。
图3为本发明的平面靶标上光条纹提取结果在原始图像的显示图。
图4为本发明标定的流程示意图。
具体实施方式
如图1和图4所示，一种基于协变的线结构光光平面标定方法，包括如下步骤：
步骤1，采用基于平面靶标的相机标定方法，获得相机内参矩阵M与畸变参数，标定板如图2所示；
步骤2，采集带有激光线条纹的标定板图片如图3所示，将激光线投射至平面靶标中间空白区域，然后提取图中圆心，根据PnP求解相机相对于世界坐标系的位姿矩阵W，用理论交点根据位姿矩阵计算角点的重投影，若重投影小于0.1pixel，则进行下面步骤，否则继续采集图片；
步骤3，矫正标定图片，利用Canny获得图像中所有边缘位置得到边缘图像，将其作为掩模获取边缘处所有灰度值，利用大津阈值法算得到掩模中边缘图像的阈值Totsu，结合光条上最大灰度值G，一般灰度为255，得到自适应分割阈值T＝(Totsu+G)/2，根据自适应分割阈值结果得到分割图像，根据连通域分析确定所有连通域，选择连通域最大的区域作为棋盘格上光条所在的感兴趣区。
步骤4，以行为搜索对象对感兴趣区中连通域标签为最大值的光条进行统计，根据灰度重心法提取光条中心点(xm,ym)，计算过程为
Figure BDA0003215012310000041
其中I(xi,yi)为图像(xi,yi)处的灰度，待提取完成后利用五点滑动平滑光顺中心点集，得到新的坐标点(x′m,y′m)。利用5点滑动平均法光顺光条中心点集，最小二乘法拟合中心线方程I；
步骤5，利用平面靶标上已知圆心坐标与图像中圆心坐标计算两平面之间的单应性矩阵H，利用协变得到平面靶标二维平面上中心线的方程系数I'＝I·H-1，拟合结果如图2所示，其中大圆用于建立世界坐标系，小圆圆心作为标定点，中间用于投射激光线。
步骤6，在直线I′上任意取两点，又由于点在平面靶标上，满足z＝0，将两点二维坐标转换成三维点坐标，根据Plucker转换如公式得到矩阵Lw
Figure BDA0003215012310000051
其中A、B为世界平面上的点，那么相机坐标系的空间直线方程Lc为
Lc＝WLwWT
步骤7，利用直线方程在光平面方程上建立线面约束方程Lc·π＝0
步骤8，拍摄12张组不同位姿下的光条图像，建立超静定线面约束方程组，采用SVD分解线面约束方程组得到光平面方程系数。

Claims (6)

1.一种基于协变的线结构光光平面标定方法，其特征在于，包括如下步骤：
(1)采用基于平面靶标的相机标定方法，获得相机内参矩阵M与畸变参数；
(2)采集带有激光线条纹的平面靶标图片，对其上的平面靶标圆心利用PnP求解相机相对于世界坐标系的位姿矩阵W，剔除求解重投影误差大的图片；
(3)矫正标定图片，利用Canny获得所有图像中的边缘并统计灰度，通过大津阈值法计算阈值，结合最高灰度值得到自适应分割阈值T并对分割图像进行连通域分析，得到最大连通域所在最小包围矩形作为光条感兴趣区；
(4)利用灰度重心法提取感兴趣区中光条亚像素中心点，利用5点滑动平均法光顺光条中心点集，最小二乘法拟合中心线方程I；
(5)利用平面靶标上已知圆心坐标与图像中圆心点计算两平面之间的单应性矩阵H，利用协变得到平面靶标二维平面上中心线的方程系数I'＝I·H-1；
(6)计算世界坐标系下光条中心线的Plucker矩阵方程Lw，利用步骤(2)中的位姿关系得到相机坐标系光条中心线的Plucker矩阵方程Lc，为Lc＝(WA)·(WB)T-(WB)·(WA)T＝WLwWT，其中A，B为任意两点直线上三维坐标；
(7)利用直线方程在光平面方程上建立线面约束方程Lc·π＝0；
(8)拍摄多组不同位姿下的光条图像，建立超静定线面约束方程组，采用SVD分解线面约束方程组得到光平面方程系数。
2.如权利要求1所述的基于协变的线结构光光平面标定方法，其特征在于，步骤(3)中，矫正标定图片，利用Canny获得所有图像中的边缘并统计灰度，通过大津阈值法计算阈值，结合最高灰度值得到自适应分割阈值T并对分割图像进行连通域分析，得到最大连通域所在最小包围矩形作为光条感兴趣区具体为：利用Canny获得图像中所有边缘位置得到边缘图像，将其作为掩模获取边缘处所有灰度值，利用大津阈值法算得到阈值Totsu，结合光条上最大灰度值G，得到自适应分割阈值T＝(Totsu+G)/2，根据自适应分割阈值结果得到分割图像，根据连通域分析选择连通域最大的区域作为棋盘格上光条的感兴趣区。
3.如权利要求1所述的基于协变的线结构光光平面标定方法，其特征在于，步骤(4)中，利用灰度重心法提取感兴趣区中光条亚像素中心点，利用5点滑动平均法光顺光条中心点集，最小二乘法拟合中心线方程I具体为：以行为搜索对象对感兴趣区中连通域标签为最大值的光条进行统计，利用灰度重心法提取光条中心点(xm,ym)，计算过程为
Figure FDA0003215012300000021
其中I(xi,yi)为图像(xi,yi)处的灰度，待提取完成后利用五点滑动平滑光顺中心点集，得到新的坐标点(x′m,y′m)。
4.如权利要求1所述的基于协变的线结构光光平面标定方法，其特征在于，步骤(5)中，利用平面靶标上已知圆心坐标与图像中圆心点计算两平面之间的单应性矩阵H，利用协变得到平面靶标二维平面上中心线的方程系数I'＝I·H-1具体为：使用设计的平面靶标，大圆确定坐标系，小圆确定圆心，中间区域用于投射激光线，另在二维射影变换中，两平面之间点与点存在单应性关系，x′＝H·x，又点在直线上，可推导出两平面之间直线的单应性关系也即协变，直线方程采用最小二乘法拟合，
Figure FDA0003215012300000022
其中I、I′为两平面上直线方程系数，x、x′为两直线上点的齐次表达式。
5.如权利要求1所述的基于协变的线结构光光平面标定方法，其特征在于，步骤(6)中，计算世界坐标系下光条中心线的Plucker矩阵方程Lw，利用步骤(2)中的位姿关系得到相机坐标系光条中心线的Plucker矩阵方程Lc，为Lc＝(WA)·(WB)T-(WB)·(WA)T＝WLwWT，其中A，B为任意两点直线上三维坐标具体为：在直线I′上任意取两点，又由于点在平面靶标平面上，满足z＝0，将两点转换成三维点坐标，根据Plucker转换得到矩阵Lw
Figure FDA0003215012300000031
其中A、B为世界平面上的点，那么相机坐标系的空间直线方程为
Lc＝WLwWT。
6.如权利要求1所述的基于协变的线结构光光平面标定方法，其特征在于，步骤(8)中，拍摄多组不同位姿下的光条图像，建立超静定线面约束方程组，采用SVD分解线面约束方程组得到光平面方程系数具体为：选择多组不同位姿多次移动靶标平面(n≥2)，得到多组光平面上的直线Lci，建立线面方程组
LT·π＝0，其中，L＝(Lc1,Lc2,…,Lcn)
利用SVD分解L，L＝UDVT，D中最小奇异值在VT中的特征向量为平面方程的系数π。
CN202110941407.4A 2021-08-17 2021-08-17 一种基于协变的线结构光光平面标定方法 Pending CN113674360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110941407.4A CN113674360A (zh) 2021-08-17 2021-08-17 一种基于协变的线结构光光平面标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110941407.4A CN113674360A (zh) 2021-08-17 2021-08-17 一种基于协变的线结构光光平面标定方法

Publications (1)

Publication Number Publication Date
CN113674360A true CN113674360A (zh) 2021-11-19

Family

ID=78543194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110941407.4A Pending CN113674360A (zh) 2021-08-17 2021-08-17 一种基于协变的线结构光光平面标定方法

Country Status (1)

Country Link
CN (1) CN113674360A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116182703A (zh) * 2023-01-31 2023-05-30 桂林电子科技大学 一种线结构光传感器标定方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116182703A (zh) * 2023-01-31 2023-05-30 桂林电子科技大学 一种线结构光传感器标定方法及系统
CN116182703B (zh) * 2023-01-31 2024-05-03 桂林电子科技大学 一种线结构光传感器标定方法及系统

Similar Documents

Publication Publication Date Title
CN109544677B (zh) 基于深度图像关键帧的室内场景主结构重建方法及系统
CN104915963B (zh) 一种用于plcc元件的检测与定位方法
CN103047943B (zh) 基于单投射编码结构光的车门外板形状尺寸检测方法
CN112651968B (zh) 一种基于深度信息的木板形变与凹坑检测方法
CN105740945B (zh) 一种基于视频分析的人群计数方法
CN102629322B (zh) 一种基于边界点笔画形状的字符特征提取方法及应用
CN111640158B (zh) 基于对应掩模的端到端的摄像头与激光雷达外参标定方法
CN104574432B (zh) 一种自动多视角人脸自拍图像的三维人脸重建方法及系统
CN110610505A (zh) 一种融合深度和色彩信息的图像分割方法
CN105894521A (zh) 基于高斯拟合的亚像素边缘检测方法
CN101639947A (zh) 基于图像的植物三维形态测量与重建方法及系统
CN110930411B (zh) 一种基于深度相机的人体分割方法及系统
CN101996407A (zh) 一种多相机颜色标定方法
CN105574527A (zh) 一种基于局部特征学习的快速物体检测方法
CN102799646B (zh) 一种面向多视点视频的语义对象分割方法
CN103700117A (zh) 一种基于tv-l1变分模型的鲁棒光流场估计方法
CN111046843A (zh) 一种智能驾驶环境下的单目测距方法
CN106952262B (zh) 一种基于立体视觉的船板加工精度分析方法
CN103826032A (zh) 深度图后期处理方法
CN111028221A (zh) 基于直线特征检测的飞机蒙皮对缝测量方法
CN111462214A (zh) 一种基于Hough变换的线结构光条纹中心线提取方法
CN109345570B (zh) 一种基于几何形状的多通道三维彩色点云配准方法
CN113674360A (zh) 一种基于协变的线结构光光平面标定方法
Guo et al. Binocular stereo vision calibration based on accurate ellipse detection algorithm of direct calculation and grating conversion check
CN108734148A (zh) 一种基于云计算的公共场合图像信息采集无人机控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination