CN116958218A - 一种基于标定板角点对齐的点云与图像配准方法及设备 - Google Patents

一种基于标定板角点对齐的点云与图像配准方法及设备 Download PDF

Info

Publication number
CN116958218A
CN116958218A CN202311018690.9A CN202311018690A CN116958218A CN 116958218 A CN116958218 A CN 116958218A CN 202311018690 A CN202311018690 A CN 202311018690A CN 116958218 A CN116958218 A CN 116958218A
Authority
CN
China
Prior art keywords
calibration plate
point cloud
coordinates
point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311018690.9A
Other languages
English (en)
Inventor
吴澄
叶陆琴
盛洁
汪一鸣
陈一豪
王庆亮
梅震琨
何印
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Rail Transit Group Co ltd
Suzhou University
Original Assignee
Suzhou Rail Transit Group Co ltd
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Rail Transit Group Co ltd, Suzhou University filed Critical Suzhou Rail Transit Group Co ltd
Priority to CN202311018690.9A priority Critical patent/CN116958218A/zh
Publication of CN116958218A publication Critical patent/CN116958218A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明涉及一种标定板角点对齐的点云与图像配准方法，包括将可见光摄像机与激光雷达同位放置，采集放置于不同预设位置处的标定板的场景数据，获取标定板的多组图像数据与点云数据；检测图像数据的标定板角点，根据标定板角点与预设棋盘格端点的相对距离，获取标定板4个角点的2D像素坐标；从点云数据中分割出标定板点云后，投影至统一平面内，再投影到yoz平面；根据雷达线扫原理，设定分类条件，将标定板点云坐标分割成多个聚类区域；根据每个聚类区域中距离横坐标中心最远的点和距离该点最远的另一点，获取4个边缘点，拟合成4个边缘线；计算边缘线的交点，获取3D点云坐标，从而与2D像素坐标，利用EPnP与RANSAC，获取最优变换矩阵，完成点云与图像配准。

Description

一种基于标定板角点对齐的点云与图像配准方法及设备
技术领域
本发明涉及点云与图像配准技术领域，尤其是指一种基于标定板角点对齐的点云与图像配准方法及设备。
背景技术
以自动驾驶应用领域为代表的环境感知与理解技术发展迅速，在面对复杂多变的场景时，利用多源光学数据融合能够弥补单一源光学数据在信息表达上不足，提高车辆运行过程中的可靠性和安全性。其中，传感器一般以视频摄像机和激光雷达为主，关键任务是设计多传感器的配准方法，尽可能地保持同一目标在不同数据形式上的对齐。这样不仅有助于建立统一的多源数据表示空间，同时也能简化数据融合过程。
视频传感器与雷达传感器之间的信息匹配是多模态数据融合需要解决的普遍问题。通过一定的技术手段将各传感的多源数据统一于同一空间基准，才能更准确、更有效地实现对关键要素的分割和定位。空间基准的统一可以通过标定技术确定各个传感器的相对位置关系，从而根据高精度地图中的初始坐标推算出各个传感器在特定坐标系统中的确切位置。在自动驾驶任务中，数据的标定往往和定位系统结合起来，成为一个“手眼标定”任务。
Bender等人利用传感器安装位置信息和探测灵敏度信息，以可见光图像和点云深度图像为“眼”，以大地坐标系为基础的惯性导航系统为“手”，进行数据标定。Ishikawa等人将数据标定拓展至与任何定位系统形成“手眼标定”任务，对多视角的可见光图像进行特征匹配，对激光雷达采用多帧匹配，实现数据标定。数据标定后因测量误差、安装误差和扰动误差等多种原因，多源光学数据之间仍存在偏移，需要通过配准进一步调整。但多源光学数据的异构性导致同质特征点难以寻找，神经网络的兴起很好地解决了此问题，而此类模型需要强监督对海量参数进行训练，限制了其应用发展。
目前在实际应用领域中比较常用的视频与雷达数据融合方法多基于决策级融合，即对配准精度的要求不高。而决策级融合往往需要良好的决策机制来取舍不同的检测结果。随着特征级、像素级融合的兴起，数据配准成为融合的首要前提。现有方法主要包括同位标定和特征匹配：前者根据固定传感器的位置关系进行标定，标定精度要求较高；后者通过查找两类数据中对应的同名特征点，构建变换矩阵实现配准，需要设计比较精确的特征匹配算法。
综上，现有的视频与雷达数据融合方法标定效率低，特征匹配复杂，配准精度差。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中对点云与图像的配准标定效率低，特征匹配复杂，配准精度差的问题。
为解决上述技术问题，本发明提供了一种基于标定板角点的点云与图像配准方法，包括：
将可见光摄像机与激光雷达同位放置，采集放置于不同预设位置处的标定板的场景数据，获取标定板的多组图像数据与点云数据；
利用Harris算法检测所述图像数据的标定板角点，根据标定板角点与棋盘格端点的相对距离，获取标定板4个角点的2D像素坐标；
利用直通滤波，从所述点云数据中分割出标定板点云；
将所有标定板点云坐标投影至预设三维平面内后，将的x坐标均设为0，投影到yOz平面，根据雷达线扫原理，以z方向的欧氏距离为分类条件，将标定板点云坐标分割成多个聚类区域；
根据所有聚类区域中距离横坐标中心最远的点，和距离该点最远的另一点，获取右下边缘、右上边缘、左下边缘与左上边缘对应的4个边缘点，拟合成4个边缘线；
通过计算边缘线的交点，获取标定板4个角点的3D点云坐标；
基于标定板4个角点的所述2D像素坐标与所述3D点云坐标，利用EPnP与RANSAC，获取3D点云坐标到2D像素坐标的最优变换矩阵，实现3D点云坐标的重投影，完成点云与图像配准。
在本发明的一个实施例中，所述利用Harris算法检测所述图像数据的标定板角点前，还包括：根据标定板的多组图像数据，对可见光摄像机进行标定，并对图像数据进行去畸变处理，得到校正图像数据。
在本发明的一个实施例中，所述根据标定板角点与棋盘格端点的相对距离，获取标定板4个角点的2D像素坐标，包括：
利用Harris算法，检测图像数据，获取棋盘格角点；
根据棋盘格端点处的四个角点及每个角点的两个邻近角点，分别计算标定板角点和两个邻近角点在横向和纵向方向上到棋盘格端点的距离比例尺；
以棋盘格端点为原点，以棋盘格端点与两个邻近角点的像素分别为x轴和y轴的单位距离，构造向量坐标系；根据向量关系，获取四个角点的2D像素坐标。
在本发明的一个实施例中，所述标定板角点和两个邻近端点在横向和纵向方向上到棋盘格端点的距离比例尺，表示为：
横向x轴距离比例尺：
纵向y轴距离比例尺：
其中，C表示标定板一角点，棋盘格端点为O，三角形CDO构成直角三角形，端点为O的2个邻近端点分别为A和B，OA和OB方向分别为横向和纵向。以x1和y1表示OA和OB的像素间距，记其对应的真实间距分别为X1和Y1，以x和y表示O与C横向和纵向的像素间距，记其对应的真实间距分别为X和Y。
在本发明的一个实施例中，所述以棋盘格端点为原点，以棋盘格端点与两个邻近角点的像素分别为x轴和y轴的单位距离，构造向量坐标系；根据向量关系，获取四个角点的2D像素坐标，包括：
以端点O为原点、像素间距为单位构造向量坐标系，则向量和向量/>反向，向量/>和向量/>反向；
令检测到的端点A、端点B、端点O的坐标分别为(m1,n1)、(m2,n2)、(m,n)，则有根据相似三角形原理，可以求得：
根据向量关系可以求得标定板角点C的坐标(cx,cy)，表示为：
cx＝m-Dx(m1-m)-Dy(m2-m)；
cy＝n-Dx(n1-n)-Dy(n2-n)。
在本发明的一个实施例中，所述利用直通滤波，从所述点云数据中分割出标定板点云后，还包括通过半径滤波剔除噪声点。
在本发明的一个实施例中，所述将所有标定板点云坐标投影至预设三维平面内后，将的x坐标均设为0，投影到yOz平面，根据雷达线扫原理，以z方向的欧氏距离为分类条件，将标定板点云坐标分割成多个聚类区域，包括：
利用RANSAC方法和空间平面方程Ax+By+Cz+D＝0，估计标定板点云的最优平面，将所有标定板点云坐标投影至统一平面内，表示为：
其中，x、y、z表示标定板点云坐标，x'、y'、z'表示投影至同一平面内的坐标；
将投影后的标定板点云的x坐标均设为0，投影到yOz平面，根据雷达线扫原理，以z方向的欧氏距离为分类条件，利用DBSACN算法将标定板点云坐标分割成多个聚类区域。
在本发明的一个实施例中，所述计算每个区域中距离横坐标中心最远的点，和距离该点最远的另一点，获取右下边缘、右上边缘、左下边缘与左上边缘对应的4个边缘点，拟合成4个边缘线；通过计算边缘线的交点，获取标定板4个角点的3D点云坐标，包括：
对每个聚类区域分别计算距离横坐标中心最远的点和距离该点最远的另一点；
将每个聚类区域中获取的两个点，按照y坐标值降序排列后，再按照z坐标值升序排列；
分别计算y坐标的最大值索引和最小值索引，小于最大值索引的点属于右下边缘，不小于最大索引的点属于右上边缘，小于最小索引的点属于左下边缘，不小于最小索引的点属于左上边缘；
分别取所述右下边缘，所述右上边缘，所述左下边缘与所述左上边缘对应的边缘点，利用RANSAC方法拟合，获取4条边缘线；
计算边缘线的交点，获取标定板角点在yOz平面的投影坐标；带入所述空间平面方程中，获取标定板角点的3D点云坐标。
在本发明的一个实施例中，所述基于标定板4个角点的所述2D像素坐标与所述3D点云坐标，利用EPnP与RANSAC，获取3D点云坐标到2D像素坐标的最优变换矩阵，包括：
利用多组2D像素坐标构成2D矩阵，相同组数的3D点云坐标构成3D矩阵，利用EPnP算法获取2D矩阵到3D矩阵的初始变换矩阵；
利用RANSAC方法，迭代初始变换矩阵，获取最优变换矩阵。
本发明实施例还提供了一种基于标定板角点对齐的点云与图像配准设备，包括：
可见光摄像机，置于预设位置处，用于采集视场范围内标定板的图像数据；
激光雷达，与所述可见光摄像机置于同一位置处，用于采集视场范围内标定板的点云数据；
上位机，与所述可见光摄像机、激光雷达通讯连接，用于获取所述图像数据与所述点云数据，得到标定板4个角点的2D像素坐标与3D点云坐标，并获取3D点云坐标到2D像素坐标的最优变换矩阵，实现3D点云坐标到2D像素坐标的转换，完成配准。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的标定板角点对齐的点云与图像配准方法，在可见光图像和雷达点云中，提取可靠的标定板角点，实现视频和雷达空间的配准；利用激光雷达的线扫特性，根据高度阈值聚类来划分标定板点云，通过聚类区域拟合出的边缘点，计算出标定板的3D点云坐标，简单便捷且坐标准确；根据已知标定板与棋盘格尺寸及相对关系，获取标定板的2D像素坐标，更好地与点云坐标的一一对应；获取3D点云坐标与2D像素坐标之后，利用EPnP与RANSAC结合，获取点云坐标向像素坐标转换的变换矩阵，从而实现点云与图像的配准，实现简单，不需要精确的配准算法，配准精度高，具有较高的稳健性与适用性。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明所提供的基于标定板角点对齐的点云与图像配准方法的步骤流程图；
图2是本发明所提供的标定板角点2D像素坐标计算方法步骤流程图；
图3是本发明所提供的标定板角点关系示意图；
图4是本发明所提供的标定板点云聚类区域分割结果示意图；
图5是本发明提取出的轮廓点示意图；
图6是本发明所提供的拟合边缘线示意图；
图7是本发明所提供的标定板角点拟合结果示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参照图1所示，本发明的基于标定板角点的点云与图像配准方法的步骤流程图，具体包括：
S1：将可见光摄像机与激光雷达同位放置，采集放置于不同预设位置处的标定板的场景数据，获取标定板的多组图像数据与点云数据；
S2：利用Harris算法检测所述图像数据的标定板角点，根据标定板角点与预设棋盘格端点的相对距离，获取标定板4个角点的2D像素坐标；
S3：利用直通滤波，从所述点云数据中分割出标定板点云；并通过半径滤波剔除噪声点；
S4：将所有标定板点云坐标投影至统一平面内后，将的x坐标均设为0，投影到yOz平面，根据雷达线扫原理，以z方向的欧氏距离为分类条件，将标定板点云坐标分割成多个聚类区域；
利用RANSAC方法和空间平面方程Ax+By+Cz+D＝0，估计标定板点云的最优平面，将所有标定板点云坐标投影至统一平面内，表示为：
其中，x、y、z表示标定板点云坐标，x'、y'、z'表示投影至同一平面内的坐标；
将投影后的标定板点云的x坐标均设为0，投影到yOz平面，根据雷达线扫原理，以z方向的欧氏距离为分类条件，利用DBSACN算法将标定板点云坐标分割成多个聚类区域；分割结果参照图4所示；
S5：计算每个区域中距离横坐标中心最远的点，和距离该点最远的另一点，获取右下、右上、左下与左上边缘对应的4个边缘点，拟合成4个边缘线；
S6：通过计算边缘线的交点，获取标定板4个角点的3D点云坐标；
计算边缘线的交点，获取标定板角点在yOz平面的投影坐标；带入所述空间平面方程中，获取标定板角点的3D点云坐标；
S7：基于标定板4个角点的所述2D像素坐标与所述3D点云坐标，利用EPnP与RANSAC，获取3D点云坐标到2D像素坐标的最优变换矩阵，实现3D点云坐标的重投影，完成点云与图像配准。
利用多组2D像素坐标构成2D矩阵，相同组数的3D点云坐标构成3D矩阵，利用EPnP算法获取2D矩阵到3D矩阵的初始变换矩阵；利用RANSAC方法，迭代初始变换矩阵，获取最优变换矩阵。
具体地，参照图2所示，在步骤S2中包括：
S21：根据标定板的多组图像数据，完成可见光摄像机的标定，并对图像数据进行去畸变处理，得到校正图像数据；
S22：利用Harris算法检测所述校正图像数据的棋盘格角点；
S23：取棋盘格端点处检测到的4个角点，及每个角点的两个邻近角点，分别计算标定板角点与两个邻近角点，在横向和纵向方向上，到棋盘格端点的距离比例尺；
具体地，参照图3所示，定义一棋盘格端点为O，标定板角点为C，三角形CDO构成直角三角形，端点O的2个邻近角点分别为A和B，OA和OB方向分别为横向和纵向。以x1和y1为OA和OB的像素间距，记其对应的真实间距分别为X1和Y1，以x和y为O与C横向和纵向的像素间距，记其对应的真实间距分别为X和Y。可以得到距离比例尺关系：
横向x轴距离比例尺：
纵向y轴距离比例尺：
S24：以棋盘格端点O为原点，以棋盘格端点与两个邻近角点的像素分别为x轴和y轴的单位距离，构造向量坐标系；根据向量关系，获取四个角点的2D像素坐标。
可知，向量和向量/>反向，向量/>和向量/>反向。假定检测到点A、B、O的坐标分别为(m1,n1)、(m2,n2)、(m,n)，则有/> 根据相似三角形原理可以求得：
定义点C的坐标为(cx,cy)，根据向量关系可以求得：
cx＝m-Dx(m1-m)-Dy(m2-m)，
cy＝n-Dx(n1-n)-Dy(n2-n)，
同理，可以获得另外3个标定板角点的2D像素坐标。
参照图5所示，为提取出的轮廓点示意图；参照图6所示，为拟合边缘线示意图；具体地，在步骤S5中包括：
S51：对每个聚类区域分别计算距离横坐标中心最远的点和距离该点最远的另一点；
S52：将每个聚类区域中获取的两个点，按照y坐标值降序排列后，再按照z坐标值升序排列；
S53：分别计算y坐标的最大值索引和最小值索引，小于最大值索引的点属于右下边缘，不小于最大索引的点属于右上边缘，小于最小索引的点属于左下边缘，不小于最小索引的点属于左上边缘；
S54：分别取所述右下边缘，所述右上边缘，所述左下边缘与所述左上边缘对应的边缘点，利用RANSAC方法拟合，获取4条边缘线。
参照图7所示，为利用本发明所提供的基于标定板角点对齐的点云与图像配准方法获取的标定板角点拟合结果示意图；因此，本发明所述的标定板角点对齐的点云与图像配准方法，在可见光图像和雷达点云中，提取可靠的标定板角点，实现视频和雷达空间的配准；利用激光雷达的线扫特性，根据高度阈值聚类来划分标定板点云，通过聚类区域拟合出的边缘点，计算出标定板的3D点云坐标，简单便捷且坐标准确；根据已知标定板与棋盘格尺寸及相对关系，获取标定板的2D像素坐标，更好地与点云坐标的一一对应；获取3D点云坐标与2D像素坐标之后，利用EPnP与RANSAC结合，获取点云坐标向像素坐标转换的变换矩阵，从而实现点云与图像的配准，实现简单，不需要精确的配准算法，配准精度高，具有较高的稳健性与适用性。
基于上述实施例，本发明实施例还提供了一种基于标定板角点对齐的点云与图像配准设备，包括：
可见光摄像机，置于预设位置处，用于采集视场范围内标定板的图像数据；
激光雷达，与所述可见光摄像机置于同一位置处，用于采集视场范围内标定板的点云数据；
上位机，与所述可见光摄像机、激光雷达通讯连接，用于获取所述图像数据与所述点云数据，得到标定板4个角点的2D像素坐标与3D点云坐标，并获取3D点云坐标到2D像素坐标的最优变换矩阵，实现3D点云坐标到2D像素坐标的转换，完成配准。
本发明所提供的基于标定板角点对齐的点云与图像配准设备，利用基于标定板角点对齐的点云与图像配准方法，基于高度聚合和边缘拟合的标定板点云角点提取方法，提取出标定板角点的3D点云坐标，简单便捷且坐标准确；基于标定板角点的2D像素坐标与3D点云坐标，采用EPnP与RANSAC相结合的方法，实现点云与图像的配准，实现简单，不需要精确的配准算法，配准精度高；且本发明适用于传感器之间相对位置固定的场景，实现高稳健性和适用性的视频与雷达空间配准。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于标定板角点对齐的点云与图像配准方法，其特征在于，包括：
将可见光摄像机与激光雷达同位放置，采集放置于不同预设位置处的标定板的场景数据，获取标定板的多组图像数据与点云数据；
利用Harris算法检测所述图像数据的标定板角点，根据标定板角点与棋盘格端点的相对距离，获取标定板4个角点的2D像素坐标；
利用直通滤波，从所述点云数据中分割出标定板点云；
将所有标定板点云坐标投影至预设三维平面内后，将的x坐标均设为0，投影到yOz平面，根据雷达线扫原理，以z方向的欧氏距离为分类条件，将标定板点云坐标分割成多个聚类区域；
根据所有聚类区域中距离横坐标中心最远的点，和距离该点最远的另一点，获取右下边缘、右上边缘、左下边缘与左上边缘对应的4个边缘点，拟合成4个边缘线；
通过计算边缘线的交点，获取标定板4个角点的3D点云坐标；
基于标定板4个角点的所述2D像素坐标与所述3D点云坐标，利用EPnP与RANSAC，获取3D点云坐标到2D像素坐标的最优变换矩阵，实现3D点云坐标的重投影，完成点云与图像配准。
2.根据权利要求1所述的基于标定板角点对齐的点云与图像配准方法，其特征在于，所述利用Harris算法检测所述图像数据的标定板角点前，还包括：根据标定板的多组图像数据，对可见光摄像机进行标定，并对图像数据进行去畸变处理，得到校正图像数据。
3.根据权利要求1所述的基于标定板角点对齐的点云与图像配准方法，其特征在于，所述根据标定板角点与棋盘格端点的相对距离，获取标定板4个角点的2D像素坐标，包括：
利用Harris算法，检测图像数据，获取棋盘格角点；
根据棋盘格端点处的四个角点及每个角点的两个邻近角点，分别计算标定板角点和两个邻近角点在横向和纵向方向上到棋盘格端点的距离比例尺；
以棋盘格端点为原点，以棋盘格端点与两个邻近角点的像素分别为x轴和y轴的单位距离，构造向量坐标系；根据向量关系，获取四个角点的2D像素坐标。
4.根据权利要求3所述的基于标定板角点对齐的点云与图像配准方法，其特征在于，所述标定板角点和两个邻近端点在横向和纵向方向上到棋盘格端点的距离比例尺，表示为：
横向x轴距离比例尺：
纵向y轴距离比例尺：
其中，C表示标定板一角点，棋盘格端点为O，三角形CDO构成直角三角形，端点为O的2个邻近端点分别为A和B，OA和OB方向分别为横向和纵向；以x1和y1表示OA和OB的像素间距，记其对应的真实间距分别为X1和Y1，以x和y表示O与C横向和纵向的像素间距，记其对应的真实间距分别为X和Y。
5.根据权利要求4所述的基于标定板角点对齐的点云与图像配准方法，其特征在于，所述以棋盘格端点为原点，以棋盘格端点与两个邻近角点的像素分别为x轴和y轴的单位距离，构造向量坐标系；根据向量关系，获取四个角点的2D像素坐标，包括：
以端点O为原点、像素间距为单位构造向量坐标系，则向量和向量/>反向，向量/>和向量/>反向；
令检测到的端点A、端点B、端点O的坐标分别为(m1,n1)、(m2,n2)、(m,n)，则有根据相似三角形原理，可以求得：
根据向量关系可以求得标定板角点C的坐标(cx,cy)，表示为：
cx＝m-Dx(m1-m)-Dy(m2-m)；
cy＝n-Dx(n1-n)-Dy(n2-n)。
6.根据权利要求1所述的基于标定板角点对齐的点云与图像配准方法，其特征在于，所述利用直通滤波，从所述点云数据中分割出标定板点云后，还包括通过半径滤波剔除噪声点。
7.根据权利要求1所述的基于标定板角点对齐的点云与图像配准方法，其特征在于，所述将所有标定板点云坐标投影至预设三维平面内后，将的x坐标均设为0，投影到yOz平面，根据雷达线扫原理，以z方向的欧氏距离为分类条件，将标定板点云坐标分割成多个聚类区域，包括：
利用RANSAC方法和空间平面方程Ax+By+Cz+D＝0，估计标定板点云的最优平面，将所有标定板点云坐标投影至统一平面内，表示为：
其中，x、y、z表示标定板点云坐标，x'、y'、z'表示投影至同一平面内的坐标；
将投影后的标定板点云的x坐标均设为0，投影到yOz平面，根据雷达线扫原理，以z方向的欧氏距离为分类条件，利用DBSACN算法将标定板点云坐标分割成多个聚类区域。
8.根据权利要求7所述的基于标定板角点对齐的点云与图像配准方法，其特征在于，所述计算每个区域中距离横坐标中心最远的点，和距离该点最远的另一点，获取右下边缘、右上边缘、左下边缘与左上边缘对应的4个边缘点，拟合成4个边缘线；通过计算边缘线的交点，获取标定板4个角点的3D点云坐标，包括：
对每个聚类区域分别计算距离横坐标中心最远的点和距离该点最远的另一点；
将每个聚类区域中获取的两个点，按照y坐标值降序排列后，再按照z坐标值升序排列；
分别计算y坐标的最大值索引和最小值索引，小于最大值索引的点属于右下边缘，不小于最大索引的点属于右上边缘，小于最小索引的点属于左下边缘，不小于最小索引的点属于左上边缘；
分别取所述右下边缘，所述右上边缘，所述左下边缘与所述左上边缘对应的边缘点，利用RANSAC方法拟合，获取4条边缘线；
计算边缘线的交点，获取标定板角点在yOz平面的投影坐标；带入所述空间平面方程中，获取标定板角点的3D点云坐标。
9.根据权利要求1所述的基于标定板角点对齐的点云与图像配准方法，其特征在于，所述基于标定板4个角点的所述2D像素坐标与所述3D点云坐标，利用EPnP与RANSAC，获取3D点云坐标到2D像素坐标的最优变换矩阵，包括：
利用多组2D像素坐标构成2D矩阵，相同组数的3D点云坐标构成3D矩阵，利用EPnP算法获取2D矩阵到3D矩阵的初始变换矩阵；
利用RANSAC方法，迭代初始变换矩阵，获取最优变换矩阵。
10.一种基于标定板角点对齐的点云与图像配准设备，其特征在于，包括：
可见光摄像机，置于预设位置处，用于采集视场范围内标定板的图像数据；
激光雷达，与所述可见光摄像机置于同一位置处，用于采集视场范围内标定板的点云数据；
上位机，与所述可见光摄像机、激光雷达通讯连接，用于获取所述图像数据与所述点云数据，得到标定板4个角点的2D像素坐标与3D点云坐标，并获取3D点云坐标到2D像素坐标的最优变换矩阵，实现3D点云坐标到2D像素坐标的转换，完成配准。
CN202311018690.9A 2023-08-14 2023-08-14 一种基于标定板角点对齐的点云与图像配准方法及设备 Pending CN116958218A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311018690.9A CN116958218A (zh) 2023-08-14 2023-08-14 一种基于标定板角点对齐的点云与图像配准方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311018690.9A CN116958218A (zh) 2023-08-14 2023-08-14 一种基于标定板角点对齐的点云与图像配准方法及设备

Publications (1)

Publication Number Publication Date
CN116958218A true CN116958218A (zh) 2023-10-27

Family

ID=88458336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311018690.9A Pending CN116958218A (zh) 2023-08-14 2023-08-14 一种基于标定板角点对齐的点云与图像配准方法及设备

Country Status (1)

Country Link
CN (1) CN116958218A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315049A (zh) * 2023-11-28 2023-12-29 浙江托普云农科技股份有限公司 三维全貌测量的比例尺标定方法、系统及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315049A (zh) * 2023-11-28 2023-12-29 浙江托普云农科技股份有限公司 三维全貌测量的比例尺标定方法、系统及装置
CN117315049B (zh) * 2023-11-28 2024-03-08 浙江托普云农科技股份有限公司 三维全貌测量的比例尺标定方法、系统及装置

Similar Documents

Publication Publication Date Title
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
CN110285793B (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN110322702B (zh) 一种基于双目立体视觉系统的车辆智能测速方法
CA2395257C (en) Any aspect passive volumetric image processing method
CN102376089B (zh) 一种标靶校正方法及系统
CN109918977B (zh) 确定空闲车位的方法、装置及设备
JP6260891B2 (ja) 画像処理装置および画像処理方法
CN102788572B (zh) 一种工程机械吊钩姿态的测量方法、装置及系统
CN103473771A (zh) 一种摄相机标定方法
CN111563921A (zh) 一种基于双目相机的水下点云获取方法
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
CN108362205B (zh) 基于条纹投影的空间测距方法
WO2021212477A1 (zh) 校正点云数据的方法和相关装置
CN103994755A (zh) 一种基于模型的空间非合作目标位姿测量方法
JP5311465B2 (ja) ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム
JP5228614B2 (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
CN116958218A (zh) 一种基于标定板角点对齐的点云与图像配准方法及设备
Ahmadabadian et al. Image selection in photogrammetric multi-view stereo methods for metric and complete 3D reconstruction
CN110851978B (zh) 一种基于可见性的摄像机位置优化方法
CN112712566B (zh) 基于结构参数在线校正的双目立体视觉传感器测量方法
CN111476798B (zh) 一种基于轮廓约束的车辆空间形态识别方法及系统
CN110458951B (zh) 一种电网杆塔的建模数据获取方法及相关装置
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN112991372B (zh) 一种基于多边形匹配的2d-3d相机外参标定方法
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination