CN113808217B - 一种实时的激光雷达和摄像头标定误差自修正方法及系统 - Google Patents

一种实时的激光雷达和摄像头标定误差自修正方法及系统 Download PDF

Info

Publication number
CN113808217B
CN113808217B CN202111068482.0A CN202111068482A CN113808217B CN 113808217 B CN113808217 B CN 113808217B CN 202111068482 A CN202111068482 A CN 202111068482A CN 113808217 B CN113808217 B CN 113808217B
Authority
CN
China
Prior art keywords
calibration
frame
matrix
error
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111068482.0A
Other languages
English (en)
Other versions
CN113808217A (zh
Inventor
于海洋
晁文杰
任毅龙
姜涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202111068482.0A priority Critical patent/CN113808217B/zh
Publication of CN113808217A publication Critical patent/CN113808217A/zh
Application granted granted Critical
Publication of CN113808217B publication Critical patent/CN113808217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种实时的激光雷达和摄像头标定误差自修正方法及系统，获取已标定的激光雷达和摄像头的点云和图像，预处理后得到边缘图像和边缘点云，计算初始标定矩阵的准确度以此检测出错误标定帧，由错误标定帧向前取多个正确标定帧，正确标定帧与错误标定帧构成一对进行配准得到刚性变换矩阵，利用刚性变换矩阵对错误标定帧的初始标定矩阵进行修正，将准确度最高的作为新标定矩阵，对比新标定矩阵和初始标定矩阵的准确度，选择准确度高的进行标定。本发明专注对错误标定进行快速修正，而非进行重新标定，可以实时地检测错误标定并将错误标定修正为正确标定，解决激光雷达和摄像头因位置或视角变化时继续使用原标定矩阵而导致标定错误的问题。

Description

一种实时的激光雷达和摄像头标定误差自修正方法及系统
技术领域
本发明涉及激光雷达和摄像头的融合技术领域，尤其涉及一种实时的激光雷达和摄像头标定误差自修正方法及系统。
背景技术
无论是自动驾驶还是智慧道路，感知能力被重点关注。目前，在感知领域，为了提高感知性能与可靠性，激光雷达和摄像头融合被广泛使用。激光雷达传感器的大部分缺点都可以通过相机进行补偿，反之亦然，因此，通常利用激光雷达和摄像头融合用于检测物体、重建场景等任务。为了使激光雷达和摄像头一起工作，需要先进行外部参数矩阵标定，将二者处于同一坐标系下，然后再通过设计融合感知算法实现目标识别、追踪等任务。
在初步解决激光雷达和摄像头的标定之后，由于激光雷达和摄像头存在不可见的移动，若使用最初的标定参数会扩大标定的误差。在这种情况下，如果不及时对标定进行修正，会导致后续融合感知任务出错，因此，需要重新标定。然而，重新进行动态的在线标定方法或离线标定方法是完全不可行的，这是由于在线标定方法不仅精度低，而且需要消耗大量的算力，离线标定方法需要各种标定参照物，如方形棋格盘、特定平面等，在实际应用中耗费人力且耗时严重。
发明内容
有鉴于此，本发明提供了一种实时的激光雷达和摄像头标定误差自修正方法及系统，用以解决因激光雷达和摄像头可见或不可见的移动造成标定出现错误的问题，实现了对错误标定的检测与修正。
本发明提供的一种实时的激光雷达和摄像头标定误差自修正方法，包括如下步骤：
S1：对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像；
S2：对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像；
S3：对获取的每帧点云进行边缘提取，得到每帧的边缘点云；
S4：计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值；若是，则该帧为正确标定帧；若否，则该帧为错误标定帧；
S5：对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗；
S6：将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为Gm,m＝1,2,…,w；
S7：利用w个刚性变换矩阵Gm对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵/>
S8：判断错误标定帧的新标定矩阵C*的准确度是否大于错误标定帧的初始标定矩阵C的准确度；若是，则对错误标定帧应用新标定矩阵C*，若否，则对错误标定帧应用初始标定矩阵C。
在一种可能的实现方式中，在本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S2中，对获取的每帧图像进行边缘提取，具体包括：
对于图像中的每个像素点，将该像素点周围8个邻居像素点的像素值与该像素点的像素值作差，取差值绝对值的最大值，作为该像素点的像素值。
在一种可能的实现方式中，在本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S2中，对获取的每帧图像进行逆距离变换，具体包括：
对图像中第i行第j列像素点的像素值Di，j进行如下计算：
Di，j＝α·Ei，j+(1-α)·maxx，yEx，y·θmax(|x＝i|，|y-i|) (1)
其中，α表示第i行第j列像素点的像素值的调节参数，Ei，j表示边缘图像E的第i行第j列像素点的像素值，第x行第y列像素点是第i行第j列像素点周围8个邻居像素点中与第i行第j列像素点的像素值的差值绝对值最大的像素点，Ex，y表示边缘图像E的第x行第y列像素点的像素值，θmax(|x-i|，|y-i|)表示第x行第y列像素点的像素值的调节参数。
在一种可能的实现方式中，在本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S3，具体包括：
利用如下公式计算点云中每个点的深度值，得到边缘点云：
其中，表示p点在边缘点云中的深度值，p-1点和p+1点分别为与p点左右相邻的点；/>表示p-1点在原始点云中的深度值，/>表示p点在原始点云中的深度值，/>表示p+1点在原始点云中的深度值。
在一种可能的实现方式中，在本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S4中，按照如下公式计算第k帧的边缘图像和边缘点云的初始标定矩阵C的准确度：
其中，n为点云中的点的数量，p点与图像中第i行第j列像素点对应。
在一种可能的实现方式中，在本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S4中，设定阈值为其中，/>表示阈值调节参数，/>表示第k帧的初始标定矩阵C的准确度。
在一种可能的实现方式中，在本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S7，具体包括：
标定矩阵C*的旋转矩阵C*R和平移矩阵C*T的计算方式如下：
C*R＝GmR×CR (4)
C*T＝GmR×CT+GmT (5)
其中，GmR表示刚性变换矩阵Gm的旋转矩阵，GmT表示刚性变换矩阵Gm的平移矩阵；CR表示标定矩阵C的旋转矩阵，CT表示标定矩阵C的平移矩阵。
本发明还提供了一种实时的激光雷达和摄像头标定误差自修正系统，包括：数据预处理模块、错误标定检测模块和错误标定修正模块；其中，
所述数据预处理模块，用于对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像；对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像；对获取的每帧点云进行边缘提取，得到每帧的边缘点云；
所述错误标定检测模块，用于计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值，若是，则该帧为正确标定帧，若否，则该帧为错误标定帧；对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗；将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为Gm，m＝1，2，…，w；
所述错误标定修正模块，用于利用w个刚性变换矩阵Gm对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵/>判断错误标定帧的新标定矩阵C*的准确度是否大于错误标定帧的初始标定矩阵C的准确度；若是，则对错误标定帧应用新标定矩阵C*，若否，则对错误标定帧应用初始标定矩阵C。
本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法及系统，对已标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像，对其进行预处理得到每帧的边缘图像和边缘点云，计算每帧的边缘图像和边缘点云的初始标定矩阵的准确度，以此检测出错误标定帧，由错误标定帧向前取w个正确标定帧，将其中每一帧分别与错误标定帧构成一对，利用配准方法对每对中的两帧进行配准，得到每对中的两帧间的刚性变换矩阵，利用w个刚性变换矩阵对错误标定帧的初始标定矩阵进行修正，得到w个候选标定矩阵，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵，对比错误标定帧的新标定矩阵和初始标定矩阵的准确度，选择准确度高的标定矩阵对错误标定帧进行标定。本发明在已完成标定的激光雷达和摄像头的基础上，专注对错误标定进行快速修正，而非进行重新标定，可以实时地检测错误标定并将错误标定修正为正确标定，解决激光雷达和摄像头因位置或视角变化时继续使用原标定矩阵而导致标定错误的问题。
附图说明
图1为本发明提供的一种实时的激光雷达和摄像头标定误差自修正方法的流程图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本发明。
本发明提供的一种实时的激光雷达和摄像头标定误差自修正方法，如图1所示，包括如下步骤：
S1：对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像；
S2：对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像；
S3：对获取的每帧点云进行边缘提取，得到每帧的边缘点云；
S4：计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值；若是，则该帧为正确标定帧；若否，则该帧为错误标定帧；
S5：对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗；
S6：将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为Gm，m＝1，2，…，w；
S7：利用w个刚性变换矩阵Gm对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵/>
S8：判断错误标定帧的新标定矩阵C*的准确度是否大于错误标定帧的初始标定矩阵C的准确度；若是，则对错误标定帧应用新标定矩阵C*，若否，则对错误标定帧应用初始标定矩阵C。
下面通过一个具体的实施例对本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法的具体实施进行详细说明。
实施例1：
第一步，对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像。例如，可以降采样至2Hz，即1秒2帧。
第二步，对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像。
具体地，首先对获取的每帧图像进行灰度化处理，然后对灰度化后的图像进行边缘提取，具体可以通过以下方式来实现：对于图像中的每个像素点，将该像素点周围8个邻居像素点(即九宫格除去中间一个网格后剩余的八个网格)的像素值与该像素点的像素值作差，取差值绝对值的最大值，作为该像素点的像素值。之后，再对边缘提取后的图像进行逆距离变换，具体可以通过以下方式来实现：对边缘提取后的图像中第i行第j列像素点的像素值Di，j进行如下计算：
Di，j＝α·Ei，j+(1-α)·maxx，yEx，y·θmax(|x-i|，|y-i|) (1)
其中，α表示第i行第j列像素点的像素值的调节参数，Ei，j表示边缘图像E的第i行第j列像素点的像素值，第x行第y列像素点是第i行第j列像素点周围8个邻居像素点中与第i行第j列像素点的像素值的差值绝对值最大的像素点，Ex，y表示边缘图像E的第x行第y列像素点的像素值，θmax(|x-i|，|y-i|)表示第x行第y列像素点的像素值的调节参数。
本实施例1中，α和θ可以取值如下：θ＝0.98。通过上述灰度化、边缘提取处理后，图像的边缘点的像素值为255，经过逆距离变换后，边缘点周围的像素值根据中心点的距离逐渐衰减至0。
第三步，对获取的每帧点云进行边缘提取，得到每帧的边缘点云。
处理方法为独立计算每个点，并在与该点相邻的两个点中寻找一个较近的点。具体地，可以利用如下公式计算点云中每个点的深度值，得到边缘点云：
其中，表示p点在边缘点云中的深度值，p-1点和p+1点分别为与p点左右相邻的点；/>表示p-1点在原始点云中的深度值，/>表示p点在原始点云中的深度值，/>表示p+1点在原始点云中的深度值。
第四步，计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，具体可以按照如下公式计算第k帧的边缘图像和边缘点云的初始标定矩阵C的准确度：
其中，n为点云中的点的数量，p点与图像中第i行第j列像素点对应。公式(3)返回标定C的每个点的尖锐度，良好的标定可以对齐点云中的边缘点和图像中的边缘点从而返回较高的值，错误的标定返回较低的/>值。
然后，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值；如果每帧的初始标定矩阵C的准确度大于或等于阈值，则该帧为正确标定帧；如果每帧的初始标定矩阵C的准确度小于阈值，则该帧为错误标定帧。其中，阈值的设定如下：设定阈值为其中，/>表示阈值调节参数，/>表示第k帧的初始标定矩阵C的准确度。本实施例1中，/>取0.8。
第五步，对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗。
本实施例1中，可以取w＝2。
第六步，将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为Gm，m＝1，2，…，w。具体地，配准方法可以使用ICP(迭代最近点)算法或其变种算法。
本实施例1中，共产生两个刚性变换矩阵G1和G2。
第七步，利用w个刚性变换矩阵Gm对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵/>
具体地，标定矩阵C*的旋转矩阵C*R和平移矩阵C*T的计算方式如下：
C*R＝GmR×CR (4)
C*T＝GmR×CT+GmT (5)
其中，GmR表示刚性变换矩阵Gm的旋转矩阵，GmT表示刚性变换矩阵Gm的平移矩阵；CR表示标定矩阵C的旋转矩阵，CT表示标定矩阵C的平移矩阵。
本实施例1中，得到错误标定帧的两个候选标定矩阵C1 *和C2 *，从C1 *和C2 *中选择准确度最高的作为错误标定帧的新标定矩阵C*。
第八步，判断错误标定帧的新标定矩阵C*的准确度是否大于错误标定帧的初始标定矩阵C的准确度；如果错误标定帧的新标定矩阵C*的准确度大于错误标定帧的初始标定矩阵C的准确度，则对错误标定帧应用新标定矩阵C*；如果错误标定帧的新标定矩阵C*的准确度小于或等于错误标定帧的初始标定矩阵C的准确度，则对错误标定帧应用初始标定矩阵C。
基于同一发明构思，本发明还提供了一种实时的激光雷达和摄像头标定误差自修正系统，包括：数据预处理模块、错误标定检测模块和错误标定修正模块；其中，
数据预处理模块，用于对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像；对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像；对获取的每帧点云进行边缘提取，得到每帧的边缘点云；
错误标定检测模块，用于计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值，若是，则该帧为正确标定帧，若否，则该帧为错误标定帧；对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗；将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为Gm,m＝1,2,…,w；
错误标定修正模块，用于利用w个刚性变换矩阵Gm对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵判断错误标定帧的新标定矩阵C*的准确度是否大于错误标定帧的初始标定矩阵C的准确度；若是，则对错误标定帧应用新标定矩阵C*，若否，则对错误标定帧应用初始标定矩阵C。
本发明提供的上述实时的激光雷达和摄像头标定误差自修正系统的具体实施与本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法的实施类似，在此不做赘述。
本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法及系统，对已标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像，对其进行预处理得到每帧的边缘图像和边缘点云，计算每帧的边缘图像和边缘点云的初始标定矩阵的准确度，以此检测出错误标定帧，由错误标定帧向前取w个正确标定帧，将其中每一帧分别与错误标定帧构成一对，利用配准方法对每对中的两帧进行配准，得到每对中的两帧间的刚性变换矩阵，利用w个刚性变换矩阵对错误标定帧的初始标定矩阵进行修正，得到w个候选标定矩阵，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵，对比错误标定帧的新标定矩阵和初始标定矩阵的准确度，选择准确度高的标定矩阵对错误标定帧进行标定。本发明在已完成标定的激光雷达和摄像头的基础上，专注对错误标定进行快速修正，而非进行重新标定，可以实时地检测错误标定并将错误标定修正为正确标定，解决激光雷达和摄像头因位置或视角变化时继续使用原标定矩阵而导致标定错误的问题。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种实时的激光雷达和摄像头标定误差自修正方法，其特征在于，包括如下步骤：
S1：对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像；
S2：对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像；
S3：对获取的每帧点云进行边缘提取，得到每帧的边缘点云；
S4：计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值；若是，则该帧为正确标定帧；若否，则该帧为错误标定帧；
S5：对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗；
S6：将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为Gm，m＝1，2，…，w；
S7：利用w个刚性变换矩阵Gm对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵/>
S8：判断错误标定帧的新标定矩阵C*的准确度是否大于错误标定帧的初始标定矩阵C的准确度；若是，则对错误标定帧应用新标定矩阵C*，若否，则对错误标定帧应用初始标定矩阵C。
2.如权利要求1所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S2中，对获取的每帧图像进行边缘提取，具体包括：
对于图像中的每个像素点，将该像素点周围8个邻居像素点的像素值与该像素点的像素值作差，取差值绝对值的最大值，作为该像素点的像素值。
3.如权利要求1所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S2中，对获取的每帧图像进行逆距离变换，具体包括：
对图像中第i行第j列像素点的像素值Di，j进行如下计算：
Di，j＝α·Ei，j+(1-α)·maxx，yEx，y·θmax(|x-i|，|y-i|) (1)
其中，α表示第i行第j列像素点的像素值的调节参数，Ei，j表示边缘图像E的第i行第j列像素点的像素值，第x行第y列像素点是第i行第j列像素点周围8个邻居像素点中与第i行第j列像素点的像素值的差值绝对值最大的像素点，Ex，y表示边缘图像E的第x行第y列像素点的像素值，θmax(|x-i|，|y＝i|)表示第x行第y列像素点的像素值的调节参数。
4.如权利要求3所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S3，具体包括：
利用如下公式计算点云中每个点的深度值，得到边缘点云：
其中，表示p点在边缘点云中的深度值，p-1点和p+1点分别为与p点左右相邻的点；/>表示p＝1点在原始点云中的深度值，/>表示p点在原始点云中的深度值，表示p+1点在原始点云中的深度值。
5.如权利要求4所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S4中，按照如下公式计算第k帧的边缘图像和边缘点云的初始标定矩阵C的准确度：
其中，n为点云中的点的数量，p点与图像中第i行第j列像素点对应。
6.如权利要求1所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S4中，设定阈值为其中，/>表示阈值调节参数，/>表示第k帧的初始标定矩阵C的准确度。
7.如权利要求1所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S7，具体包括：
标定矩阵C*的旋转矩阵C*R和平移矩阵C*T的计算方式如下：
C*R＝GmR×CR(4)
C*T＝GmR×CT+GmT(5)
其中，GmR表示刚性变换矩阵Gm的旋转矩阵，GmT表示刚性变换矩阵Gm的平移矩阵；CR表示标定矩阵C的旋转矩阵，CT表示标定矩阵C的平移矩阵。
8.一种实时的激光雷达和摄像头标定误差自修正系统，其特征在于，包括：数据预处理模块、错误标定检测模块和错误标定修正模块；其中，
所述数据预处理模块，用于对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像；对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像；对获取的每帧点云进行边缘提取，得到每帧的边缘点云；
所述错误标定检测模块，用于计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值，若是，则该帧为正确标定帧，若否，则该帧为错误标定帧；对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗；将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为Gm，m＝1，2，…，w；
所述错误标定修正模块，用于利用w个刚性变换矩阵Gm对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵判断错误标定帧的新标定矩阵C*的准确度是否大于错误标定帧的初始标定矩阵C的准确度；若是，则对错误标定帧应用新标定矩阵C*，若否，则对错误标定帧应用初始标定矩阵C。
CN202111068482.0A 2021-09-13 2021-09-13 一种实时的激光雷达和摄像头标定误差自修正方法及系统 Active CN113808217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111068482.0A CN113808217B (zh) 2021-09-13 2021-09-13 一种实时的激光雷达和摄像头标定误差自修正方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111068482.0A CN113808217B (zh) 2021-09-13 2021-09-13 一种实时的激光雷达和摄像头标定误差自修正方法及系统

Publications (2)

Publication Number Publication Date
CN113808217A CN113808217A (zh) 2021-12-17
CN113808217B true CN113808217B (zh) 2023-07-21

Family

ID=78940874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111068482.0A Active CN113808217B (zh) 2021-09-13 2021-09-13 一种实时的激光雷达和摄像头标定误差自修正方法及系统

Country Status (1)

Country Link
CN (1) CN113808217B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115231407B (zh) * 2022-07-15 2023-09-15 日立楼宇技术（广州）有限公司 一种电梯的位移检测方法、装置、设备及存储介质
CN116667219B (zh) * 2023-06-29 2023-12-22 国网电力空间技术有限公司 一种输电线路激光雷达巡检系统、方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300162A (zh) * 2018-08-17 2019-02-01 浙江工业大学 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300162A (zh) * 2018-08-17 2019-02-01 浙江工业大学 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于点云中心的激光雷达与相机联合标定方法研究;康国华;张琪;张晗;徐伟证;张文豪;;仪器仪表学报(第12期);全文 *

Also Published As

Publication number Publication date
CN113808217A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
CN111897349B (zh) 一种基于双目视觉的水下机器人自主避障方法
CN113808217B (zh) 一种实时的激光雷达和摄像头标定误差自修正方法及系统
JP2004516533A (ja) 合成開口レーダーおよび前向き赤外線イメージ重ね合わせ方法
CN109373912B (zh) 一种基于双目视觉的非接触式六自由度位移测量方法
CN110009690A (zh) 基于极线校正的双目立体视觉图像测量方法
CN109523585B (zh) 一种基于方向相位一致性的多源遥感影像特征匹配方法
US11908163B2 (en) Multi-sensor calibration system
CN112200203B (zh) 斜视场下弱相关散斑图像的匹配方法
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN110570449A (zh) 一种基于毫米波雷达与视觉slam的定位与建图方法
CN109360230A (zh) 一种基于2d相机与3d相机的图像配准方法及系统
CN105894521A (zh) 基于高斯拟合的亚像素边缘检测方法
CN110209184A (zh) 一种基于双目视觉系统的无人机避障方法
CN104167001B (zh) 基于正交补偿的大视场摄像机标定方法
CN104615880B (zh) 一种三维激光雷达点云匹配的快速icp方法
CN109974618A (zh) 多传感器视觉测量系统的全局标定方法
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
CN113744315A (zh) 一种基于双目视觉的半直接视觉里程计
CN115272456A (zh) 激光雷达与相机在线漂移检测方法、校正方法、装置及存储介质
CN111951339A (zh) 利用异构双目相机进行视差计算的图像处理方法
Nguyen et al. CalibBD: Extrinsic calibration of the LiDAR and camera using a bidirectional neural network
CN111445404B (zh) 一种基于双频和概率模型的相位去模糊方法
CN112419427A (zh) 用于提高飞行时间相机精度的方法
CN114485479B (zh) 基于双目相机和惯性导航的结构光扫描测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant