CN112881999B - 一种用于多线激光雷达与视觉传感器的半自动标定方法 - Google Patents
一种用于多线激光雷达与视觉传感器的半自动标定方法 Download PDFInfo
- Publication number
- CN112881999B CN112881999B CN202110096202.0A CN202110096202A CN112881999B CN 112881999 B CN112881999 B CN 112881999B CN 202110096202 A CN202110096202 A CN 202110096202A CN 112881999 B CN112881999 B CN 112881999B
- Authority
- CN
- China
- Prior art keywords
- laser radar
- calibration
- marker
- plate
- vision sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000003550 marker Substances 0.000 claims abstract description 147
- 230000000007 visual effect Effects 0.000 claims abstract description 60
- 238000012800 visualization Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 230000000694 effects Effects 0.000 claims abstract description 7
- 238000011156 evaluation Methods 0.000 claims abstract description 5
- 238000005457 optimization Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 239000003999 initiator Substances 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 239000004065 semiconductor Substances 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000005389 magnetism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Abstract
本发明公开了一种用于多线激光雷达与视觉传感器的半自动标定方法，其特征在于：包括，标定视觉传感器内参并将标定结果录入标定程序，进而确定对焦范围；将标定板底板移动到视觉传感器正前方后静置，依次摆放marker标准板，而后通过视觉传感器可视化模块确定marker标准板的位置；记录marker标准板对应的刻度值，并将刻度值按marker标准板既定的名称与摆放顺序录入先验信息计算模块，通过先验信息计算模块计算获得先验信息；使用rosbag录制激光雷达和视觉传感器的数据包，当先验信息与配置信息、刻度值一致时，启动标定程序，输出外参结果、优化残差均方根误差和投影评价效果；本发明通过自动识别激光雷达特征点和视觉传感器识别校验机制提升了标定稳定性和标定精度。
Description
技术领域
本发明涉及传感器联合标定的技术领域，尤其涉及一种用于多线激光雷达与视觉传感器的半自动标定方法。
背景技术
多线激光雷达与视觉传感器是自主移动机器人与无人驾驶领域的核心传感器部件，多线激光雷达具有大视角和精度较高的三维空间探测性能，视觉传感器则拥有丰富的视觉信息以及高分辨率，在一定程度上两者存在着互补的特性，多传感器的融合也成为自主移动机器人与无人驾驶能够全天时全天候稳定运行一个主要解决方案，而多传感器之间的联合标定往往是多传感器融合的重要基础工作之一，也是国内外研究的热点问题。
目前多线激光雷达与视觉传感器的联合标定方法主要分为在线标定与离线标定两大方向，动态的在线标定通常需要较大范围和相对良好的标定环境，但此方法由于振动、环境条件变化等易导致标定结果不稳定；静态离线标定通常采用标定板，相对稳定可控，有通过手动选取边缘点进行线拟合的方式寻找对应点，但手动选择易引入人为误差，线拟合由于采样稀疏的问题易放大传感器自身的观测误差，以及通过反射强度手动选择对应点，该方法对标定板要求较高，当为一块整板时易导致难于操作找到足够的有效对应点。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了一种用于多线激光雷达与视觉传感器的半自动标定方法，能够避免人为操作的产生的标定误差。
为解决上述技术问题，本发明提供如下技术方案：包括，标定视觉传感器内参并将标定结果录入标定程序，进而确定对焦范围；将标定板底板移动到所述视觉传感器正前方后静置，依次摆放marker标准板，而后通过视觉传感器可视化模块确定所述marker标准板的位置；记录所述marker标准板对应的刻度值，并将所述刻度值按marker标准板既定的名称与摆放顺序录入先验信息计算模块，通过所述先验信息计算模块计算获得先验信息；使用rosbag录制激光雷达和视觉传感器的数据包，当所述先验信息与配置信息、所述刻度值一致时，启动所述标定程序，输出外参结果、优化残差均方根误差和投影评价效果。
作为本发明所述的用于多线激光雷达与视觉传感器的半自动标定方法的一种优选方案，其中：所述标定板底板包括，其由一块磁性整板和两把刻度尺构成，所述刻度尺分别放置于所述磁性整板的左右两侧，且其量程与磁性整板的长度相适应。
作为本发明所述的用于多线激光雷达与视觉传感器的半自动标定方法的一种优选方案，其中：移动所述标定板底板包括，当所述视觉传感器可视化模块满足标定条件时停止移动所述标定板底板；其中，所述标定条件为：在所述对焦范围内能清晰地观测并识别视觉传感器Aruco marker标准板与视觉传感器棋盘格marker标准板。
作为本发明所述的用于多线激光雷达与视觉传感器的半自动标定方法的一种优选方案，其中：所述marker标准板包括激光雷达marker标准板，所述视觉传感器Arucomarker标准板和所述视觉传感器棋盘格marker标准板；其中，所述激光雷达marker标准板，视觉传感器Aruco marker标准板，视觉传感器棋盘格marker标准板放置于所述标定板底板上方。
作为本发明所述的用于多线激光雷达与视觉传感器的半自动标定方法的一种优选方案，其中：还包括，将所述视觉传感器Aruco marker标准板与所述视觉传感器棋盘格marker标准板吸附于所述标定板底板上，并通过所述刻度尺确保所述Aruco marker标准板与所述视觉传感器棋盘格marker标准板平行；驱动所述视觉传感器和所述激光雷达，通过所述视觉传感器可视化模块与激光雷达可视化模块判断所述标定板底板是否有足够空间摆放所述激光雷达marker标准板，若无法摆放所述激光雷达marker标准板和不满足所述标定条件，则移动所述标定板底板；若所述标定板底板能够摆放所述激光雷达marker标准板和满足所述标定条件，则运行所述激光雷达可视化模块，依次摆放所述激光雷达marker标准板。
作为本发明所述的用于多线激光雷达与视觉传感器的半自动标定方法的一种优选方案，其中：所述依次摆放激光雷达marker标准板包括，通过所述激光雷达可视化模块获得反射强度，并根据所述反射强度依次将所述激光雷达marker标准板吸附于所述标定板底板上，确保所述激光雷达marker标准板左右两边的起始符与终止符仅被所述激光雷达单线观测，并且使中间的激光雷达marker点尽可能被观测到，并通过所述刻度尺确保所述激光雷达marker与其他标准板平行；其中，被观测到的激光雷达marker点数量不少于6个点，所述其他标准板为所述视觉传感器Aruco marker标准板和所述视觉传感器棋盘格marker标准板。
作为本发明所述的用于多线激光雷达与视觉传感器的半自动标定方法的一种优选方案，其中：所述激光雷达marker标准板由带磁条的底板与样式尺寸既定的黑白相间的激光雷达marker点构成，激光雷达marker标准板的内部坐标系确定，且激光雷达marker点坐标确定。
作为本发明所述的用于多线激光雷达与视觉传感器的半自动标定方法的一种优选方案，其中：所述先验信息还包括，利用刻度尺初步测量激光雷达与视觉传感器的旋转平移信息，并将所述信息作为优化初值；所述视觉传感器通过识别所述视觉传感器Arucomarker标准板得到标定板信息；通过所述先验信息获得所述各激光雷达marker点在视觉传感器坐标系下的坐标(xc,yc,zc)，以及棋盘格在视觉传感器坐标系下的坐标；通过所述标定程序获得所述各激光雷达marker点在激光雷达坐标系下的坐标(xl,yl,zl)。
作为本发明所述的用于多线激光雷达与视觉传感器的半自动标定方法的一种优选方案，其中：还包括外参结果标定，根据所述坐标(xl,yl,zl)与所述坐标(xc,yc,zc)计算重投影误差e：
通过设定重投影误差阈值筛选所述标定板信息，并通过最小化所述重投影误差e进行所述外参结果标定。
作为本发明所述的用于多线激光雷达与视觉传感器的半自动标定方法的一种优选方案，其中：最小化所述重投影误差e包括，
结合旋转平移矩阵获得所述激光雷达与所述视觉传感器需要标定的所述外参结果[R|T]；其中，所述旋转平移矩阵为：
本发明的有益效果：本发明基于反射强度的特征点选取方法，将标定板进行拆分和动态重构提升了可操作性；通过基于条形码设计思路构造激光雷达特征点，实现激光雷达特征点的自动识别，避免了人为操作的误差；以及通过添加视觉传感器识别的校验机制一定程度上缓解由视觉传感器识别引入的误差；最终通过重投影的方式实现对标定结果的直观展示和量化评估。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例所述的一种用于多线激光雷达与视觉传感器的半自动标定方法的流程示意图；
图2为本发明第一个实施例所述的一种用于多线激光雷达与视觉传感器的半自动标定方法的marker标准板示意图；
图3为本发明第一个实施例所述的一种用于多线激光雷达与视觉传感器的半自动标定方法的标定程序内部模块结构示意图；
图4为本发明第二个实施例所述的一种用于多线激光雷达与视觉传感器的半自动标定方法的在线标定结果示意图；
图5为本发明第二个实施例所述的一种用于多线激光雷达与视觉传感器的半自动标定方法的标定结果示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1～图3，为本发明的第一个实施例，本发明的第一个实施例提供了一种用于多线激光雷达与视觉传感器的半自动标定方法，包括：
S1：标定视觉传感器内参并将标定结果录入标定程序，进而确定对焦范围。
S2：将标定板底板移动到视觉传感器正前方后静置，依次摆放marker标准板，而后通过视觉传感器可视化模块100确定marker标准板的位置。
需要说明的是，标定板底板由一块磁性整板和两把刻度尺构成，刻度尺分别放置于磁性整板的左右两侧，且其量程与磁性整板的长度相适应；参照图2，标定底板上方放置有marker标准板，其中marker标准板包括三块激光雷达marker标准板，一块视觉传感器Aruco marker标准板和一块视觉传感器棋盘格marker标准板；图中1为标定板底板(带磁性)，2为刻度尺，3为激光雷达marker标准板(背部有磁条，依靠磁力吸附于1-标定板底板上)，4为激光雷达marker标准板上的激光雷达点marker，5为激光雷达marker标准板上用于识别的起始符，6为激光雷达marker标准板上用于识别的终止符，7为视觉传感器棋盘格marker标准板，8为视觉传感器Aruco marker标准板。
具体的，①激光雷达marker标准板由带磁条的底板与样式尺寸既定的黑白相间的激光雷达marker点构成，激光雷达marker标准板的内部坐标系确定，且激光雷达marker点坐标确定，其中，既定的样式尺寸如下：
起始符和终止符都由两个不同尺寸的黑块和一个间隔白块组成，黑块的尺寸分别为2cm*2cm、2cm*1cm，间隔白块的尺寸为2cm*1cm；黑色的激光雷达marker点为尺寸为1cm*1cm的黑块；起始符和终止符之间共有7个所述激光雷达marker点。
②视觉传感器Aruco marker标准板由底板(带磁条)与视觉传感器Aruco marker构成，视觉传感器Aruco marker标准板标准板内部坐标系确定，且视觉传感器Arucomarker坐标确定。
③视觉传感器棋盘格marker标准板由底板(带磁条)与视觉传感器棋盘格marker构成，视觉传感器棋盘格marker标准板内部坐标系确定，且视觉传感器棋盘格marker坐标确定。
首先将标定板底板移动到视觉传感器正前方，当视觉传感器可视化模块100满足标定条件时停止移动标定板底板，然后调整好姿态并静置；其中，标定条件为：在对焦范围内能清晰地观测并识别视觉传感器Aruco marker标准板与视觉传感器棋盘格marker标准板，并且激光雷达能够有不少于三条线观测到标定板底板的位置。
进一步的，按照以下顺序依次摆放marker标准板：
(1)视觉传感器Aruco marker标准板；
(2)视觉传感器棋盘格marker标准板；
(3)激光雷达marker标准板。
或是以下顺序：
(1)视觉传感器棋盘格marker标准板；
(2)视觉传感器Aruco marker标准板；
(3)激光雷达marker标准板。
再进一步的，将视觉传感器Aruco marker标准板与视觉传感器棋盘格marker标准板吸附于标定板底板上，确保两者的左右方向正确，并通过磁性整板左右两侧的刻度尺确保Aruco marker标准板与视觉传感器棋盘格marker标准板平行。
驱动视觉传感器和激光雷达，通过视觉传感器可视化模块100与激光雷达可视化模块200确定标定板底板是否有足够空间摆放激光雷达marker标准板，若无法摆放激光雷达marker标准板和不满足标定条件，则移动标定板底板；若标定板底板能够摆放激光雷达marker标准板和满足标定条件，则运行激光雷达可视化模块200，并依次摆放三块激光雷达marker标准板；其中，依次摆放激光雷达marker标准板的具体步骤如下：
通过激光雷达可视化模块200获得反射强度，并根据反射强度依次将三块激光雷达marker标准板吸附于标定板底板上，确保其左右两边的起始符与终止符仅被激光雷达单线观测，并且使中间的激光雷达marker点尽可能被观测到，并通过标定板底板左右两侧的刻度尺确保其与其他标准板(视觉传感器Aruco marker标准板、视觉传感器棋盘格marker标准板)平行；
较佳的是，为了保证标定结果的可靠性，需要不少于两块激光雷达marker标准板上的激光雷达marker点被观测到，并且被观测到的激光雷达marker点的数量不宜少于6个点，经调整后，21个激光雷达marker点可全部被观测。
S3：记录marker标准板对应的刻度值，并将刻度值按marker标准板既定的名称与摆放顺序录入先验信息计算模块300，通过先验信息计算模块300计算获得先验信息。
依次读取视觉传感器Aruco marker标准板、视觉传感器棋盘格marker标准板和激光雷达marker板对应的刻度尺上的刻度值ha,hc,hl1,hl2,hl3，并记录。
而后将记录的刻度值按照既定的名称与顺序(视觉传感器Aruco marker标准板、视觉传感器棋盘格marker标准板和激光雷达marker板)录入到先验信息计算模块300中，通过先验信息计算模块300计算得到先验信息，通过先验信息可获得各激光雷达marker点在视觉传感器坐标系下的坐标(xc,yc,zc)，以及棋盘格在视觉传感器坐标系下的坐标。
进一步的，利用刻度尺初步测量激光雷达与视觉传感器的旋转平移信息，并将该信息作为优化初值；
通过视觉传感器识别视觉传感器Aruco marker标准板得到标定板信息。
需要说明的是，视觉传感器可视化模块100、激光雷达可视化模块200和先验信息计算模块300为标定程序的内部模块，模块间的连接关系如图3所示。
S4：使用rosbag录制激光雷达和视觉传感器的数据包，当先验信息与配置信息、刻度值一致时，启动标定程序，输出外参结果、优化残差均方根误差和投影评价效果。
需要说明的是，使用rosbag录制数据包的时间为10秒左右。
检查视觉传感器内参、程序的配置信息和先验信息(marker的刻度值尺寸)是否一致，若一致，则启动标定程序，等待程序处理输出标定结果(外参结果、优化残差均方根误差和投影评价效果)；否则，返回步骤S1。
进一步的，激光雷达通过标定程序运用ROI(Region Of Interest)筛选、强度提取以及投影变换、聚类、条形码识别、marker中心位置校正、均值降噪的算法提取得到各激光雷达marker点在激光雷达坐标系下的三维坐标值(xl,yl,zl)。
需要说明的是，(1)ROI筛选算法原理为：根据预设的坐标及坐标范围提取感兴趣的空间区域。
(2)聚类算法采用DBSCAN(Density-Based Spatial Clusteringof Applicationswith Noise)算法，其步骤如下：
①检测数据库中尚未检查过的对象p，如果p未被处理(归为某个簇或者标记为噪声)，则检查其邻域，若包含的对象数不小于minPts，建立新簇C，将其中的所有点加入候选集N；
②对候选集N中所有尚未被处理的对象q，检查其邻域，若至少包含minPts个对象，则将这些对象加入N；如果q未归入任何一个簇，则将q加入C；
③重复步骤②，继续检查N中未处理的对象，当前候选集N为空；
④重复步骤①～③，直到所有对象都归入了某个簇或标记为噪声。
(3)均值降噪算法为：对同一个激光雷达特征点的若干点的灰度取均值。
再进一步的，对标定程序输出的外参结果进行外参标定，具体步骤如下：
①根据各激光雷达marker点在激光雷达坐标系下的三维坐标值(xl,yl,zl)与各激光雷达marker点在视觉传感器坐标系下的坐标(xc,yc,zc)计算重投影误差e：
②通过设定重投影误差阈值(小于3像素)筛选标定板信息。
③在具备大量的激光雷达坐标系下的marker点坐标(xl,yl,zl)与对应的视觉传感器坐标系下的坐标(xc,yc,zc)后，可基于旋转平移矩阵并通过最小化重投影误差来求解优化问题；
旋转平移矩阵如下式：
最小化重投影误差e：
进而得到激光雷达到左目的外参[R|T]l2cl与激光雷达到右目的外参[R|T]l2cr，视觉传感器左目到右目的外参[R|T]lr2cr＝[R|T]l2cr([R|T]l2cl)-1。
较佳的是，本方法基于此外参计算视觉传感器marker点的重投影误差，得到平均单次外参转换的误差为1.6个像素，可见外参转换的误差较小。
实施例2
为了对本方法中采用的技术效果加以验证说明，本实施例选择线拟合优化残差算法、在线标定方法和采用本方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。
线拟合优化残差算法由于采样稀疏的问题易放大传感器自身的观测误差，以及通过反射强度手动选择对应点，该方法对标定板要求较高，当为一块整板时易导致难于操作找到足够的有效对应点；在线标定通常需要较大范围和相对良好的标定环境，但此方法由于振动、环境条件变化等易导致标定结果不稳定。
为验证本方法相对线拟合优化残差算法、在线标定方法具有较精确的标定结果，本实施例中将采用线拟合优化残差算法、在线标定和本方法分别对视觉传感器marker点的优化残差均方根误差、标定的投影结果进行对比。
在线标定方法是根据手眼标定产生初始值，在手眼标定的旋转平移初值基础上，通过激光雷达深度不连续点与图像边缘检测到的边缘，进行逆距离变换匹配，在线修正手眼标定初值，结果如图4所示；本方法获得的标定结果如图5所示，对比可见在线标定方法明显有偏差。
线拟合优化残差算法和本方法获得的优化残差结果如下表所示。
表1：优化残差结果对比表。
| 线拟合优化残差算法 | 本方法 | |
| 优化残差 | 3cm | 1.5cm |
结合表1、图4、图5可见，本方法具有较好的标定稳定性和标定精度。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种用于多线激光雷达与视觉传感器的半自动标定方法，其特征在于：包括，
标定视觉传感器内参并将标定结果录入标定程序，进而确定对焦范围；
将标定板底板移动到所述视觉传感器正前方后静置，依次摆放marker标准板，而后通过视觉传感器可视化模块(100)确定所述marker标准板的位置；依次摆放激光雷达marker标准板包括，
通过激光雷达可视化模块(200)获得反射强度，并根据所述反射强度依次将所述激光雷达marker标准板吸附于所述标定板底板上，确保所述激光雷达marker标准板左右两边的起始符与终止符仅被所述激光雷达单线观测，并且使中间的激光雷达marker点被观测到，并通过刻度尺确保所述激光雷达marker与其他标准板平行；其中，被观测到的激光雷达marker点数量不少于6个点，所述其他标准板为所述视觉传感器Aruco marker标准板和所述视觉传感器棋盘格marker标准板；
记录所述marker标准板对应的刻度值，并将所述刻度值按marker标准板既定的名称与摆放顺序录入先验信息计算模块(300)，通过所述先验信息计算模块(300)计算获得先验信息；所述先验信息还包括，利用刻度尺初步测量激光雷达与视觉传感器的旋转平移信息，并将所述信息作为优化初值；所述视觉传感器通过识别所述视觉传感器Aruco marker标准板得到标定板信息；通过所述先验信息获得所述各激光雷达marker点在视觉传感器坐标系下的坐标(xc,yc,zc)，以及棋盘格在视觉传感器坐标系下的坐标；通过所述标定程序获得所述各激光雷达marker点在激光雷达坐标系下的坐标(xl,yl,zl)；使用rosbag录制激光雷达和视觉传感器的数据包，当所述先验信息与配置信息、所述刻度值一致时，启动所述标定程序，输出外参结果、优化残差均方根误差和投影评价效果。
2.如权利要求1所述的用于多线激光雷达与视觉传感器的半自动标定方法，其特征在于：所述标定板底板包括，
其由一块磁性整板和两把刻度尺构成，所述刻度尺分别放置于所述磁性整板的左右两侧，且其量程与磁性整板的长度相适应。
3.如权利要求1或2所述的用于多线激光雷达与视觉传感器的半自动标定方法，其特征在于：移动所述标定板底板包括，
当所述视觉传感器可视化模块(100)满足标定条件时停止移动所述标定板底板；
其中，所述标定条件为：在所述对焦范围内能清晰地观测并识别视觉传感器Arucomarker标准板与视觉传感器棋盘格marker标准板。
4.如权利要求3所述的用于多线激光雷达与视觉传感器的半自动标定方法，其特征在于：所述marker标准板包括激光雷达marker标准板，所述视觉传感器Aruco marker标准板和所述视觉传感器棋盘格marker标准板；
其中，所述激光雷达marker标准板，视觉传感器Aruco marker标准板，视觉传感器棋盘格marker标准板放置于所述标定板底板上方。
5.如权利要求4所述的用于多线激光雷达与视觉传感器的半自动标定方法，其特征在于：还包括，
将所述视觉传感器Aruco marker标准板与所述视觉传感器棋盘格marker标准板吸附于所述标定板底板上，并通过刻度尺确保所述Aruco marker标准板与所述视觉传感器棋盘格marker标准板平行；
驱动所述视觉传感器和所述激光雷达，通过所述视觉传感器可视化模块(100)与激光雷达可视化模块(200)判断所述标定板底板是否有足够空间摆放所述激光雷达marker标准板，若无法摆放所述激光雷达marker标准板和不满足所述标定条件，则移动所述标定板底板；
若所述标定板底板能够摆放所述激光雷达marker标准板和满足所述标定条件，则运行所述激光雷达可视化模块(200)，依次摆放所述激光雷达marker标准板。
6.如权利要求1、4、5任一所述的用于多线激光雷达与视觉传感器的半自动标定方法，其特征在于：所述激光雷达marker标准板由带磁条的底板与样式尺寸既定的激光雷达marker点构成，激光雷达marker标准板的内部坐标系确定，且激光雷达marker点坐标确定。
7.如权利要求6所述的用于多线激光雷达与视觉传感器的半自动标定方法，其特征在于：还包括外参结果标定，
根据所述坐标(xl,yl,zl)与所述坐标(xc,yc,zc)计算重投影误差e：
通过设定重投影误差阈值筛选所述标定板信息，并通过最小化所述重投影误差e进行所述外参结果标定；
最小化所述重投影误差e包括，
结合旋转平移矩阵获得所述激光雷达与所述视觉传感器需要标定的所述外参结果[R|T]；
其中，所述旋转平移矩阵为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110096202.0A CN112881999B (zh) | 2021-01-25 | 2021-01-25 | 一种用于多线激光雷达与视觉传感器的半自动标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110096202.0A CN112881999B (zh) | 2021-01-25 | 2021-01-25 | 一种用于多线激光雷达与视觉传感器的半自动标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112881999A CN112881999A (zh) | 2021-06-01 |
| CN112881999B true CN112881999B (zh) | 2024-02-02 |
Family
ID=76050927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110096202.0A Active CN112881999B (zh) | 2021-01-25 | 2021-01-25 | 一种用于多线激光雷达与视觉传感器的半自动标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112881999B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107993268A (zh) * | 2017-12-26 | 2018-05-04 | 广东工业大学 | 一种相机自标定的方法及系统 |
| CN108564630A (zh) * | 2018-05-02 | 2018-09-21 | 吉林大学 | 基于激光雷达和相机摄像头融合的标定装置及其标定方法 |
| CN110514225A (zh) * | 2019-08-29 | 2019-11-29 | 中国矿业大学 | 一种矿井下多传感器融合的外部参数标定及精准定位方法 |
| CN111199578A (zh) * | 2019-12-31 | 2020-05-26 | 南京航空航天大学 | 基于视觉辅助激光雷达的无人机三维环境建模方法 |
| CN111369630A (zh) * | 2020-02-27 | 2020-07-03 | 河海大学常州校区 | 一种多线激光雷达与相机标定的方法 |
| CN111638499A (zh) * | 2020-05-08 | 2020-09-08 | 上海交通大学 | 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法 |
| CN111735479A (zh) * | 2020-08-28 | 2020-10-02 | 中国计量大学 | 一种多传感器联合标定装置及方法 |
| WO2020233443A1 (zh) * | 2019-05-21 | 2020-11-26 | 菜鸟智能物流控股有限公司 | 一种激光雷达与相机之间的标定方法和装置 |
| CN112102387A (zh) * | 2020-08-14 | 2020-12-18 | 上海西虹桥导航技术有限公司 | 一种基于深度相机深度估计性能的测试方法与测试系统 |
| CN112258600A (zh) * | 2020-10-19 | 2021-01-22 | 浙江大学 | 一种基于视觉与激光雷达的同时定位与地图构建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118542B (zh) * | 2017-06-22 | 2021-11-23 | 阿波罗智能技术(北京)有限公司 | 激光雷达与相机之间的标定方法、装置、设备及存储介质 |
-
2021
- 2021-01-25 CN CN202110096202.0A patent/CN112881999B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107993268A (zh) * | 2017-12-26 | 2018-05-04 | 广东工业大学 | 一种相机自标定的方法及系统 |
| CN108564630A (zh) * | 2018-05-02 | 2018-09-21 | 吉林大学 | 基于激光雷达和相机摄像头融合的标定装置及其标定方法 |
| WO2020233443A1 (zh) * | 2019-05-21 | 2020-11-26 | 菜鸟智能物流控股有限公司 | 一种激光雷达与相机之间的标定方法和装置 |
| CN110514225A (zh) * | 2019-08-29 | 2019-11-29 | 中国矿业大学 | 一种矿井下多传感器融合的外部参数标定及精准定位方法 |
| CN111199578A (zh) * | 2019-12-31 | 2020-05-26 | 南京航空航天大学 | 基于视觉辅助激光雷达的无人机三维环境建模方法 |
| CN111369630A (zh) * | 2020-02-27 | 2020-07-03 | 河海大学常州校区 | 一种多线激光雷达与相机标定的方法 |
| CN111638499A (zh) * | 2020-05-08 | 2020-09-08 | 上海交通大学 | 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法 |
| CN112102387A (zh) * | 2020-08-14 | 2020-12-18 | 上海西虹桥导航技术有限公司 | 一种基于深度相机深度估计性能的测试方法与测试系统 |
| CN111735479A (zh) * | 2020-08-28 | 2020-10-02 | 中国计量大学 | 一种多传感器联合标定装置及方法 |
| CN112258600A (zh) * | 2020-10-19 | 2021-01-22 | 浙江大学 | 一种基于视觉与激光雷达的同时定位与地图构建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Radar and Vision Sensor Fusion for Object Detection in Autonomous Vehicle Surroundings;Jihun Kim;2018 Tenth International Conference on Ubiquitous and Future Networks (ICUFN);第76-78页 * |
| 面向自动驾驶系统的相机—激光雷达的自动标定;许涵博;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》(第02期);第C035-400页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112881999A (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110675376A (zh) | 一种基于模板匹配的pcb缺陷检测方法 | |
| CN109801333B (zh) | 体积测量方法、装置、系统及计算设备 | |
| US20110069892A1 (en) | Method of comparing similarity of 3d visual objects | |
| CN115077425B (zh) | 一种基于结构光三维视觉的产品检测设备及方法 | |
| US20130188018A1 (en) | System & method for processing stereoscopic vehicle information | |
| CN110966956A (zh) | 一种基于双目视觉的三维检测装置和方法 | |
| CN110415286B (zh) | 一种多飞行时间深度相机系统的外参标定方法 | |
| CN111750804A (zh) | 一种物体测量的方法及设备 | |
| CN108871185B (zh) | 零件检测的方法、装置、设备以及计算机可读存储介质 | |
| CN112422960A (zh) | 摄像头模组的偏移估算方法及装置、存储介质、终端 | |
| CN112881999B (zh) | 一种用于多线激光雷达与视觉传感器的半自动标定方法 | |
| CN113781434A (zh) | 缺陷检测方法、装置、智能终端及计算机可读存储介质 | |
| CN117058411A (zh) | 电池棱边外形瑕疵识别方法、装置、介质和设备 | |
| CN111259492B (zh) | 一种应用于桥梁结构预拼装的点云数据处理方法、装置及存储介质 | |
| CN108171756A (zh) | 自适应标定方法、装置及计算机终端 | |
| CN109040724B (zh) | 一种结构光投影器的光斑畸变检测方法、装置及可读存储介质 | |
| CN110619665A (zh) | 虚拟仿真环境下双目相机的标定及验证方法 | |
| TW200806977A (en) | Automatic inspecting method for inspecting the polar direction of the polar element | |
| CN116021519A (zh) | 一种基于tof相机采摘机器人手眼标定方法以及装置 | |
| CN111145261A (zh) | 一种标定点的识别方法和存储介质 | |
| CN115588196A (zh) | 基于机器视觉的指针型仪表读数方法和装置 | |
| CN115222728A (zh) | 基于视觉技术的屏幕检测方法、装置和计算机设备 | |
| CN114492070A (zh) | 一种高精度测绘地理信息虚拟仿真技术与装置 | |
| CN114422653A (zh) | 一种书籍展平线激光快速标定方法及激光扫描仪 | |
| JP2961140B2 (ja) | 画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |