CN113808217A - 一种实时的激光雷达和摄像头标定误差自修正方法及系统 - Google Patents

一种实时的激光雷达和摄像头标定误差自修正方法及系统 Download PDF

Info

Publication number
CN113808217A
CN113808217A CN202111068482.0A CN202111068482A CN113808217A CN 113808217 A CN113808217 A CN 113808217A CN 202111068482 A CN202111068482 A CN 202111068482A CN 113808217 A CN113808217 A CN 113808217A
Authority
CN
China
Prior art keywords
calibration
frame
matrix
error
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111068482.0A
Other languages
English (en)
Other versions
CN113808217B (zh
Inventor
于海洋
晁文杰
任毅龙
姜涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202111068482.0A priority Critical patent/CN113808217B/zh
Publication of CN113808217A publication Critical patent/CN113808217A/zh
Application granted granted Critical
Publication of CN113808217B publication Critical patent/CN113808217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种实时的激光雷达和摄像头标定误差自修正方法及系统，获取已标定的激光雷达和摄像头的点云和图像，预处理后得到边缘图像和边缘点云，计算初始标定矩阵的准确度以此检测出错误标定帧，由错误标定帧向前取多个正确标定帧，正确标定帧与错误标定帧构成一对进行配准得到刚性变换矩阵，利用刚性变换矩阵对错误标定帧的初始标定矩阵进行修正，将准确度最高的作为新标定矩阵，对比新标定矩阵和初始标定矩阵的准确度，选择准确度高的进行标定。本发明专注对错误标定进行快速修正，而非进行重新标定，可以实时地检测错误标定并将错误标定修正为正确标定，解决激光雷达和摄像头因位置或视角变化时继续使用原标定矩阵而导致标定错误的问题。

Description

一种实时的激光雷达和摄像头标定误差自修正方法及系统
技术领域
本发明涉及激光雷达和摄像头的融合技术领域，尤其涉及一种实时的激光雷达和摄像头标定误差自修正方法及系统。
背景技术
无论是自动驾驶还是智慧道路，感知能力被重点关注。目前，在感知领域，为了提高感知性能与可靠性，激光雷达和摄像头融合被广泛使用。激光雷达传感器的大部分缺点都可以通过相机进行补偿，反之亦然，因此，通常利用激光雷达和摄像头融合用于检测物体、重建场景等任务。为了使激光雷达和摄像头一起工作，需要先进行外部参数矩阵标定，将二者处于同一坐标系下，然后再通过设计融合感知算法实现目标识别、追踪等任务。
在初步解决激光雷达和摄像头的标定之后，由于激光雷达和摄像头存在不可见的移动，若使用最初的标定参数会扩大标定的误差。在这种情况下，如果不及时对标定进行修正，会导致后续融合感知任务出错，因此，需要重新标定。然而，重新进行动态的在线标定方法或离线标定方法是完全不可行的，这是由于在线标定方法不仅精度低，而且需要消耗大量的算力，离线标定方法需要各种标定参照物，如方形棋格盘、特定平面等，在实际应用中耗费人力且耗时严重。
发明内容
有鉴于此，本发明提供了一种实时的激光雷达和摄像头标定误差自修正方法及系统，用以解决因激光雷达和摄像头可见或不可见的移动造成标定出现错误的问题，实现了对错误标定的检测与修正。
本发明提供的一种实时的激光雷达和摄像头标定误差自修正方法，包括如下步骤：
S1：对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像；
S2：对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像；
S3：对获取的每帧点云进行边缘提取，得到每帧的边缘点云；
S4：计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值；若是，则该帧为正确标定帧；若否，则该帧为错误标定帧；
S5：对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗；
S6：将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为Gm,m＝1,2,…,w；
S7：利用w个刚性变换矩阵Gm对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为
Figure BDA0003259509420000021
计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵
Figure BDA0003259509420000022
S8：判断错误标定帧的新标定矩阵C*的准确度是否大于错误标定帧的初始标定矩阵C的准确度；若是，则对错误标定帧应用新标定矩阵C*，若否，则对错误标定帧应用初始标定矩阵C。
在一种可能的实现方式中，在本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S2中，对获取的每帧图像进行边缘提取，具体包括：
对于图像中的每个像素点，将该像素点周围8个邻居像素点的像素值与该像素点的像素值作差，取差值绝对值的最大值，作为该像素点的像素值。
在一种可能的实现方式中，在本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S2中，对获取的每帧图像进行逆距离变换，具体包括：
对图像中第i行第j列像素点的像素值Di，j进行如下计算：
Di，j＝α·Ei，j+(1-α)·maxx，yEx，y·θmax(|x＝i|，|y-i|) (1)
其中，α表示第i行第j列像素点的像素值的调节参数，Ei，j表示边缘图像E的第i行第j列像素点的像素值，第x行第y列像素点是第i行第j列像素点周围8个邻居像素点中与第i行第j列像素点的像素值的差值绝对值最大的像素点，Ex，y表示边缘图像E的第x行第y列像素点的像素值，θmax(|x-i|，|y-i|)表示第x行第y列像素点的像素值的调节参数。
在一种可能的实现方式中，在本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S3，具体包括：
利用如下公式计算点云中每个点的深度值，得到边缘点云：
Figure BDA0003259509420000031
其中，
Figure BDA0003259509420000032
表示p点在边缘点云中的深度值，p-1点和p+1点分别为与p点左右相邻的点；
Figure BDA0003259509420000033
表示p-1点在原始点云中的深度值，
Figure BDA0003259509420000034
表示p点在原始点云中的深度值，
Figure BDA0003259509420000035
表示p+1点在原始点云中的深度值。
在一种可能的实现方式中，在本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S4中，按照如下公式计算第k帧的边缘图像和边缘点云的初始标定矩阵C的准确度：
Figure BDA0003259509420000036
其中，n为点云中的点的数量，p点与图像中第i行第j列像素点对应。
在一种可能的实现方式中，在本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S4中，设定阈值为
Figure BDA0003259509420000037
其中，
Figure BDA0003259509420000041
表示阈值调节参数，
Figure BDA0003259509420000042
表示第k帧的初始标定矩阵C的准确度。
在一种可能的实现方式中，在本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S7，具体包括：
标定矩阵C*的旋转矩阵C*R和平移矩阵C*T的计算方式如下：
C*R＝GmR×CR (4)
C*T＝GmR×CT+GmT (5)
其中，GmR表示刚性变换矩阵Gm的旋转矩阵，GmT表示刚性变换矩阵Gm的平移矩阵；CR表示标定矩阵C的旋转矩阵，CT表示标定矩阵C的平移矩阵。
本发明还提供了一种实时的激光雷达和摄像头标定误差自修正系统，包括：数据预处理模块、错误标定检测模块和错误标定修正模块；其中，
所述数据预处理模块，用于对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像；对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像；对获取的每帧点云进行边缘提取，得到每帧的边缘点云；
所述错误标定检测模块，用于计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值，若是，则该帧为正确标定帧，若否，则该帧为错误标定帧；对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗；将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为Gm，m＝1，2，…，w；
所述错误标定修正模块，用于利用w个刚性变换矩阵Gm对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为
Figure BDA0003259509420000043
计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵
Figure BDA0003259509420000044
判断错误标定帧的新标定矩阵C*的准确度是否大于错误标定帧的初始标定矩阵C的准确度；若是，则对错误标定帧应用新标定矩阵C*，若否，则对错误标定帧应用初始标定矩阵C。
本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法及系统，对已标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像，对其进行预处理得到每帧的边缘图像和边缘点云，计算每帧的边缘图像和边缘点云的初始标定矩阵的准确度，以此检测出错误标定帧，由错误标定帧向前取w个正确标定帧，将其中每一帧分别与错误标定帧构成一对，利用配准方法对每对中的两帧进行配准，得到每对中的两帧间的刚性变换矩阵，利用w个刚性变换矩阵对错误标定帧的初始标定矩阵进行修正，得到w个候选标定矩阵，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵，对比错误标定帧的新标定矩阵和初始标定矩阵的准确度，选择准确度高的标定矩阵对错误标定帧进行标定。本发明在已完成标定的激光雷达和摄像头的基础上，专注对错误标定进行快速修正，而非进行重新标定，可以实时地检测错误标定并将错误标定修正为正确标定，解决激光雷达和摄像头因位置或视角变化时继续使用原标定矩阵而导致标定错误的问题。
附图说明
图1为本发明提供的一种实时的激光雷达和摄像头标定误差自修正方法的流程图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本发明。
本发明提供的一种实时的激光雷达和摄像头标定误差自修正方法，如图1所示，包括如下步骤：
S1：对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像；
S2：对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像；
S3：对获取的每帧点云进行边缘提取，得到每帧的边缘点云；
S4：计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值；若是，则该帧为正确标定帧；若否，则该帧为错误标定帧；
S5：对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗；
S6：将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为Gm，m＝1，2，…，w；
S7：利用w个刚性变换矩阵Gm对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为
Figure BDA0003259509420000061
计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵
Figure BDA0003259509420000062
S8：判断错误标定帧的新标定矩阵C*的准确度是否大于错误标定帧的初始标定矩阵C的准确度；若是，则对错误标定帧应用新标定矩阵C*，若否，则对错误标定帧应用初始标定矩阵C。
下面通过一个具体的实施例对本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法的具体实施进行详细说明。
实施例1：
第一步，对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像。例如，可以降采样至2Hz，即1秒2帧。
第二步，对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像。
具体地，首先对获取的每帧图像进行灰度化处理，然后对灰度化后的图像进行边缘提取，具体可以通过以下方式来实现：对于图像中的每个像素点，将该像素点周围8个邻居像素点(即九宫格除去中间一个网格后剩余的八个网格)的像素值与该像素点的像素值作差，取差值绝对值的最大值，作为该像素点的像素值。之后，再对边缘提取后的图像进行逆距离变换，具体可以通过以下方式来实现：对边缘提取后的图像中第i行第j列像素点的像素值Di，j进行如下计算：
Di，j＝α·Ei，j+(1-α)·maxx，yEx，y·θmax(|x-i|，|y-i|) (1)
其中，α表示第i行第j列像素点的像素值的调节参数，Ei，j表示边缘图像E的第i行第j列像素点的像素值，第x行第y列像素点是第i行第j列像素点周围8个邻居像素点中与第i行第j列像素点的像素值的差值绝对值最大的像素点，Ex，y表示边缘图像E的第x行第y列像素点的像素值，θmax(|x-i|，|y-i|)表示第x行第y列像素点的像素值的调节参数。
本实施例1中，α和θ可以取值如下：
Figure BDA0003259509420000071
θ＝0.98。通过上述灰度化、边缘提取处理后，图像的边缘点的像素值为255，经过逆距离变换后，边缘点周围的像素值根据中心点的距离逐渐衰减至0。
第三步，对获取的每帧点云进行边缘提取，得到每帧的边缘点云。
处理方法为独立计算每个点，并在与该点相邻的两个点中寻找一个较近的点。具体地，可以利用如下公式计算点云中每个点的深度值，得到边缘点云：
Figure BDA0003259509420000072
其中，
Figure BDA0003259509420000073
表示p点在边缘点云中的深度值，p-1点和p+1点分别为与p点左右相邻的点；
Figure BDA0003259509420000074
表示p-1点在原始点云中的深度值，
Figure BDA0003259509420000075
表示p点在原始点云中的深度值，
Figure BDA0003259509420000076
表示p+1点在原始点云中的深度值。
第四步，计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，具体可以按照如下公式计算第k帧的边缘图像和边缘点云的初始标定矩阵C的准确度：
Figure BDA0003259509420000081
其中，n为点云中的点的数量，p点与图像中第i行第j列像素点对应。公式(3)返回标定C的每个点的尖锐度，良好的标定可以对齐点云中的边缘点和图像中的边缘点从而返回较高的
Figure BDA0003259509420000082
值，错误的标定返回较低的
Figure BDA0003259509420000083
值。
然后，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值；如果每帧的初始标定矩阵C的准确度大于或等于阈值，则该帧为正确标定帧；如果每帧的初始标定矩阵C的准确度小于阈值，则该帧为错误标定帧。其中，阈值的设定如下：设定阈值为
Figure BDA0003259509420000084
其中，
Figure BDA0003259509420000085
表示阈值调节参数，
Figure BDA0003259509420000086
表示第k帧的初始标定矩阵C的准确度。本实施例1中，
Figure BDA0003259509420000087
取0.8。
第五步，对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗。
本实施例1中，可以取w＝2。
第六步，将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为Gm，m＝1，2，…，w。具体地，配准方法可以使用ICP(迭代最近点)算法或其变种算法。
本实施例1中，共产生两个刚性变换矩阵G1和G2。
第七步，利用w个刚性变换矩阵Gm对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为
Figure BDA0003259509420000088
计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵
Figure BDA0003259509420000089
具体地，标定矩阵C*的旋转矩阵C*R和平移矩阵C*T的计算方式如下：
C*R＝GmR×CR (4)
C*T＝GmR×CT+GmT (5)
其中，GmR表示刚性变换矩阵Gm的旋转矩阵，GmT表示刚性变换矩阵Gm的平移矩阵；CR表示标定矩阵C的旋转矩阵，CT表示标定矩阵C的平移矩阵。
本实施例1中，得到错误标定帧的两个候选标定矩阵C1 *和C2 *，从C1 *和C2 *中选择准确度最高的作为错误标定帧的新标定矩阵C*。
第八步，判断错误标定帧的新标定矩阵C*的准确度是否大于错误标定帧的初始标定矩阵C的准确度；如果错误标定帧的新标定矩阵C*的准确度大于错误标定帧的初始标定矩阵C的准确度，则对错误标定帧应用新标定矩阵C*；如果错误标定帧的新标定矩阵C*的准确度小于或等于错误标定帧的初始标定矩阵C的准确度，则对错误标定帧应用初始标定矩阵C。
基于同一发明构思，本发明还提供了一种实时的激光雷达和摄像头标定误差自修正系统，包括：数据预处理模块、错误标定检测模块和错误标定修正模块；其中，
数据预处理模块，用于对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像；对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像；对获取的每帧点云进行边缘提取，得到每帧的边缘点云；
错误标定检测模块，用于计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值，若是，则该帧为正确标定帧，若否，则该帧为错误标定帧；对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗；将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为Gm,m＝1,2,…,w；
错误标定修正模块，用于利用w个刚性变换矩阵Gm对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为
Figure BDA0003259509420000101
计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵
Figure BDA0003259509420000102
判断错误标定帧的新标定矩阵C*的准确度是否大于错误标定帧的初始标定矩阵C的准确度；若是，则对错误标定帧应用新标定矩阵C*，若否，则对错误标定帧应用初始标定矩阵C。
本发明提供的上述实时的激光雷达和摄像头标定误差自修正系统的具体实施与本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法的实施类似，在此不做赘述。
本发明提供的上述实时的激光雷达和摄像头标定误差自修正方法及系统，对已标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像，对其进行预处理得到每帧的边缘图像和边缘点云，计算每帧的边缘图像和边缘点云的初始标定矩阵的准确度，以此检测出错误标定帧，由错误标定帧向前取w个正确标定帧，将其中每一帧分别与错误标定帧构成一对，利用配准方法对每对中的两帧进行配准，得到每对中的两帧间的刚性变换矩阵，利用w个刚性变换矩阵对错误标定帧的初始标定矩阵进行修正，得到w个候选标定矩阵，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵，对比错误标定帧的新标定矩阵和初始标定矩阵的准确度，选择准确度高的标定矩阵对错误标定帧进行标定。本发明在已完成标定的激光雷达和摄像头的基础上，专注对错误标定进行快速修正，而非进行重新标定，可以实时地检测错误标定并将错误标定修正为正确标定，解决激光雷达和摄像头因位置或视角变化时继续使用原标定矩阵而导致标定错误的问题。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种实时的激光雷达和摄像头标定误差自修正方法，其特征在于，包括如下步骤：
S1：对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像；
S2：对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像；
S3：对获取的每帧点云进行边缘提取，得到每帧的边缘点云；
S4：计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值；若是，则该帧为正确标定帧；若否，则该帧为错误标定帧；
S5：对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗；
S6：将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为Gm，m＝1，2，…，w；
S7：利用w个刚性变换矩阵Gm对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为
Figure FDA0003259509410000011
计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵
Figure FDA0003259509410000012
S8：判断错误标定帧的新标定矩阵C*的准确度是否大于错误标定帧的初始标定矩阵C的准确度；若是，则对错误标定帧应用新标定矩阵C*，若否，则对错误标定帧应用初始标定矩阵C。
2.如权利要求1所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S2中，对获取的每帧图像进行边缘提取，具体包括：
对于图像中的每个像素点，将该像素点周围8个邻居像素点的像素值与该像素点的像素值作差，取差值绝对值的最大值，作为该像素点的像素值。
3.如权利要求1所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S2中，对获取的每帧图像进行逆距离变换，具体包括：
对图像中第i行第j列像素点的像素值Di，j进行如下计算：
Di，j＝α·Ei，j+(1-α)·maxx，yEx，y·θmax(|x-i|，|y-i|) (1)
其中，α表示第i行第j列像素点的像素值的调节参数，Ei，j表示边缘图像E的第i行第j列像素点的像素值，第x行第y列像素点是第i行第j列像素点周围8个邻居像素点中与第i行第j列像素点的像素值的差值绝对值最大的像素点，Ex，y表示边缘图像E的第x行第y列像素点的像素值，θmax(|x-i|，|y＝i|)表示第x行第y列像素点的像素值的调节参数。
4.如权利要求3所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S3，具体包括：
利用如下公式计算点云中每个点的深度值，得到边缘点云：
Figure FDA0003259509410000021
其中，
Figure FDA0003259509410000022
表示p点在边缘点云中的深度值，p-1点和p+1点分别为与p点左右相邻的点；
Figure FDA0003259509410000023
表示p＝1点在原始点云中的深度值，
Figure FDA0003259509410000024
表示p点在原始点云中的深度值，
Figure FDA0003259509410000025
表示p+1点在原始点云中的深度值。
5.如权利要求4所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S4中，按照如下公式计算第k帧的边缘图像和边缘点云的初始标定矩阵C的准确度：
Figure FDA0003259509410000026
其中，n为点云中的点的数量，p点与图像中第i行第j列像素点对应。
6.如权利要求1所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S4中，设定阈值为
Figure FDA0003259509410000027
其中，
Figure FDA0003259509410000028
表示阈值调节参数，
Figure FDA0003259509410000029
表示第k帧的初始标定矩阵C的准确度。
7.如权利要求1所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S7，具体包括：
标定矩阵C*的旋转矩阵C*R和平移矩阵C*T的计算方式如下：
C*R＝GmR×CR(4)
C*T＝GmR×CT+GmT(5)
其中，GmR表示刚性变换矩阵Gm的旋转矩阵，GmT表示刚性变换矩阵Gm的平移矩阵；CR表示标定矩阵C的旋转矩阵，CT表示标定矩阵C的平移矩阵。
8.一种实时的激光雷达和摄像头标定误差自修正系统，其特征在于，包括：数据预处理模块、错误标定检测模块和错误标定修正模块；其中，
所述数据预处理模块，用于对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像；对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像；对获取的每帧点云进行边缘提取，得到每帧的边缘点云；
所述错误标定检测模块，用于计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值，若是，则该帧为正确标定帧，若否，则该帧为错误标定帧；对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗；将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为Gm，m＝1，2，…，w；
所述错误标定修正模块，用于利用w个刚性变换矩阵Gm对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为
Figure FDA0003259509410000031
计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵
Figure FDA0003259509410000032
判断错误标定帧的新标定矩阵C*的准确度是否大于错误标定帧的初始标定矩阵C的准确度；若是，则对错误标定帧应用新标定矩阵C*，若否，则对错误标定帧应用初始标定矩阵C。
CN202111068482.0A 2021-09-13 2021-09-13 一种实时的激光雷达和摄像头标定误差自修正方法及系统 Active CN113808217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111068482.0A CN113808217B (zh) 2021-09-13 2021-09-13 一种实时的激光雷达和摄像头标定误差自修正方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111068482.0A CN113808217B (zh) 2021-09-13 2021-09-13 一种实时的激光雷达和摄像头标定误差自修正方法及系统

Publications (2)

Publication Number Publication Date
CN113808217A true CN113808217A (zh) 2021-12-17
CN113808217B CN113808217B (zh) 2023-07-21

Family

ID=78940874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111068482.0A Active CN113808217B (zh) 2021-09-13 2021-09-13 一种实时的激光雷达和摄像头标定误差自修正方法及系统

Country Status (1)

Country Link
CN (1) CN113808217B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115231407A (zh) * 2022-07-15 2022-10-25 日立楼宇技术（广州）有限公司 一种电梯的位移检测方法、装置、设备及存储介质
CN116667219A (zh) * 2023-06-29 2023-08-29 国网电力空间技术有限公司 一种输电线路激光雷达巡检系统、方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300162A (zh) * 2018-08-17 2019-02-01 浙江工业大学 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300162A (zh) * 2018-08-17 2019-02-01 浙江工业大学 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
康国华;张琪;张晗;徐伟证;张文豪;: "基于点云中心的激光雷达与相机联合标定方法研究", 仪器仪表学报, no. 12 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115231407A (zh) * 2022-07-15 2022-10-25 日立楼宇技术（广州）有限公司 一种电梯的位移检测方法、装置、设备及存储介质
CN115231407B (zh) * 2022-07-15 2023-09-15 日立楼宇技术（广州）有限公司 一种电梯的位移检测方法、装置、设备及存储介质
CN116667219A (zh) * 2023-06-29 2023-08-29 国网电力空间技术有限公司 一种输电线路激光雷达巡检系统、方法、装置及存储介质
CN116667219B (zh) * 2023-06-29 2023-12-22 国网电力空间技术有限公司 一种输电线路激光雷达巡检系统、方法、装置及存储介质

Also Published As

Publication number Publication date
CN113808217B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
CN104331896B (zh) 一种基于深度信息的系统标定方法
Johannsen et al. On the calibration of focused plenoptic cameras
CN113808217B (zh) 一种实时的激光雷达和摄像头标定误差自修正方法及系统
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
CN109523585B (zh) 一种基于方向相位一致性的多源遥感影像特征匹配方法
CN111429533B (zh) 一种相机镜头畸变参数估计装置及方法
CN107729893B (zh) 一种合模机的视觉定位方法、系统和存储介质
US20220092819A1 (en) Method and system for calibrating extrinsic parameters between depth camera and visible light camera
US9025862B2 (en) Range image pixel matching method
JP2004516533A (ja) 合成開口レーダーおよび前向き赤外線イメージ重ね合わせ方法
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN110570449A (zh) 一种基于毫米波雷达与视觉slam的定位与建图方法
CN111524194B (zh) 一种激光雷达和双目视觉相互融合的定位方法及终端
CN109859137B (zh) 一种广角相机非规则畸变全域校正方法
CN112419380B (zh) 一种基于云掩膜的静止轨道卫星序列影像高精度配准方法
CN111340888B (zh) 一种无需白图像的光场相机检校方法及系统
CN112419427A (zh) 用于提高飞行时间相机精度的方法
CN114578328A (zh) 一种多激光雷达和多相机传感器空间位置自动标定方法
KR20180127671A (ko) Avm 시스템의 자동 캘리브레이션 방법
CN113989199A (zh) 一种基于深度学习的双目窄对接焊缝检测方法
CN107220947B (zh) 一种遥感图像相对辐射校正方法及系统
Blonquist et al. A bundle adjustment approach with inner constraints for the scaled orthographic projection
CN112435303A (zh) 振镜系统校正表构建方法、构建系统及振镜系统校正方法
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant