CN112734857B - 相机内参和相机相对激光雷达外参的标定方法及电子设备 - Google Patents

相机内参和相机相对激光雷达外参的标定方法及电子设备 Download PDF

Info

Publication number
CN112734857B
CN112734857B CN202110023285.0A CN202110023285A CN112734857B CN 112734857 B CN112734857 B CN 112734857B CN 202110023285 A CN202110023285 A CN 202110023285A CN 112734857 B CN112734857 B CN 112734857B
Authority
CN
China
Prior art keywords
calibration data
camera
group
determining
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110023285.0A
Other languages
English (en)
Other versions
CN112734857A (zh
Inventor
史文中
王牧阳
刘哲维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute HKPU
Original Assignee
Shenzhen Research Institute HKPU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute HKPU filed Critical Shenzhen Research Institute HKPU
Priority to CN202110023285.0A priority Critical patent/CN112734857B/zh
Publication of CN112734857A publication Critical patent/CN112734857A/zh
Application granted granted Critical
Publication of CN112734857B publication Critical patent/CN112734857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种相机内参和相机相对激光雷达外参的标定方法及电子设备，所述方法包括：获取若干组标定数据，根据若干组标定数据中的二维影像确定各组标定数据对应的像方坐标；根据像方坐标以及预先测量的各组标定数据对应的物方坐标，确定相机内参；根据相机内参对各组标定数据中的二维影像进行畸变校正，并基于畸变校正后的二维影像和三维激光点云确定各组标定数据对应的若干第一边缘线和若干第二边缘线；根据若干第一边缘线和若干第二边缘线，确定相机相对激光雷达外参。本发明通过一个装置即可同时进行相机内参和相机相对激光雷达外参的标定，标定方法省时省力，以边缘线作为特征进行匹配，可以消除错误匹配，提高外参标定准确性。

Description

相机内参和相机相对激光雷达外参的标定方法及电子设备
技术领域
本发明涉及计算机视觉技术领域，尤其涉及的是相机内参和相机相对激光雷达外参的标定方法及电子设备。
背景技术
随着移动测图、自动驾驶等领域的发展，由相机和激光雷达(LiDAR)刚性连接组成的系统成为了新的趋势。相机可以提供彩色语义信息和计算机视觉计算的辅助，而激光雷达可以得到精确的三维点云用于建图，为了充分利用两者的优势，通常将其刚性连接于测量仪器、背包、无人机、自动驾驶车等设备上进行数据融合处理。相机影像和激光雷达点云的融合过程中，需要获知相机的内参数和相机相对于激光雷达的外参数用于统一两者的坐标系统。
现有相机内参和相机相对于激光雷达外参的标定方法，通常是先进行相机内参标定，再将相机内参作为已知参数进行相机相对激光雷达外参标定，这种分开标定方法需要两套软硬件、两次场景和装置的设置，标定费时费力。此外，在进行相机相对激光雷达外参标定时，需要进行相机像素与激光雷达点云的匹配，但现有匹配方法存在大量错误匹配，导致外参标定误差大。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种相机内参和相机相对激光雷达外参的标定方法及电子设备，旨在解决现有技术中相机内参和相机相对于激光雷达外参标定分开进行，费时费力，且外参标定误差大的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种相机内参和相机相对激光雷达外参的标定方法，其中，所述方法包括：
获取若干组标定数据，根据若干组所述标定数据中的二维影像确定各组所述标定数据对应的像方坐标；其中，每组所述标定数据均包括二维影像和三维激光点云；
根据所述像方坐标以及预先测量的各组所述标定数据对应的物方坐标，确定相机内参；
根据所述相机内参对各组所述标定数据中的二维影像进行畸变校正，并基于畸变校正后的所述二维影像和所述三维激光点云确定各组所述标定数据对应的若干第一边缘线和若干第二边缘线；
根据若干所述第一边缘线和若干所述第二边缘线，确定相机相对激光雷达外参。
所述的相机内参和相机相对激光雷达外参的标定方法，其中，各组所述标定数据中均包含若干ArUco标志，所述根据若干组所述标定数据中的二维影像确定各组所述标定数据对应的像方坐标的步骤包括：
利用预先设置的标志检测函数对各组所述标定数据中的二维影像进行检测，提取出各组所述标定数据对应的ArUco标志；
根据提取出的ArUco标志，确定各组所述标定数据对应的像方坐标。
所述的相机内参和相机相对激光雷达外参的标定方法，其中，所述利用预先设置的标志检测函数对各组所述标定数据中的二维影像进行检测，提取出各组所述标定数据对应的ArUco标志的步骤包括：
利用预先设置的标志检测函数对各组所述标定数据中的二维影像进行检测，粗提取出各组所述标定数据对应的ArUco标志；
基于粗提取出的ArUco标志及标定板上ArUco标志的实际分布特征，确定各组所述标定数据中未提取出的ArUco标志的位置范围；
基于未提取出的ArUco标志的位置范围，精提取出各组所述标定数据对应的ArUco标志。
所述的相机内参和相机相对激光雷达外参的标定方法，其中，所述根据提取出的ArUco标志，确定各组所述标定数据对应的像方坐标的步骤包括：
根据提取出的ArUco标志的编号，确定各组所述标定数据对应的ArUco标志中处于斜方相邻的ArUco标志；
根据斜方相邻的ArUco标志的角点对应的像方坐标和物方坐标，确定各组所述标定数据对应的棋盘格交点的像方坐标，并将所述棋盘格交点的像方坐标作为各组所述标定数据对应的像方坐标。
所述的相机内参和相机相对激光雷达外参的标定方法，其中，所述根据斜方相邻的ArUco标志的角点对应的像方坐标和物方坐标，确定各组所述标定数据对应的棋盘格交点的像方坐标的步骤之后还包括：
当存在预先设置的初始内参时，根据所述初始内参对各组所述标定数据对应的棋盘格交点的像方坐标进行补齐；
当不存在预先设置的初始内参时，根据单应性对各组所述标定数据对应的棋盘格交点的像方坐标进行补齐。
所述的相机内参和相机相对激光雷达外参的标定方法，其中，所述基于畸变校正后的所述二维影像确定各组所述标定数据对应的若干第一边缘线的步骤包括：
利用线特征提取方法从畸变校正后的所述二维影像中提取出各组所述标定数据对应的若干线特征；
根据预先测量的各组所述标定数据对应的物方坐标对若干所述线特征进行筛选，确定各组所述标定数据对应的若干第一边缘线。
所述的相机内参和相机相对激光雷达外参的标定方法，其中，所述基于畸变校正后的所述三维激光点云确定各组所述标定数据对应的若干第二边缘线的步骤包括：
基于所述三维激光点云图，确定各组所述标定数据对应的边缘点对；
通过最小二乘法对所述边缘点对的中点进行拟合，确定各组所述标定数据对应的若干第二边缘线。
所述的相机内参和相机相对激光雷达外参的标定方法，其中，所述根据若干所述第一边缘线和若干所述第二边缘线，确定相机相对激光雷达外参的步骤包括：
根据若干所述第一边缘线和若干所述第二边缘线，确定各组所述标定数据对应的若干匹配角点对；
根据若干所述匹配角点对，确定相机相对激光雷达外参。
第二方面，本发明实施例提供一种智能终端，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述所述的相机内参和相机相对激光雷达外参的标定方法的步骤。
第三方面，本发明实施例提供一种计算机可读存储介质，其上存储有多条指令，其特征在于，所述指令适于由处理器加载并执行，以执行实现上述所述的相机内参和相机相对激光雷达外参的标定方法的步骤。
本发明的有益效果：本发明实施例首先获取若干组标定数据，根据若干组所述标定数据中的二维影像确定各组所述标定数据对应的像方坐标；其中，每组标定数据均包括二维影像和三维激光点云，然后，根据所述像方坐标以及预先测量的各组所述标定数据对应的物方坐标，确定相机内参，接着，根据所述相机内参对各组所述标定数据中的二维影像进行畸变校正，并基于畸变校正后的所述二维影像和所述三维激光点云确定各组所述标定数据对应的若干第一边缘线和若干第二边缘线，最后，根据若干所述第一边缘线和若干所述第二边缘线，确定相机相对激光雷达外参。本实施例通过一个装置即可同时进行相机内参和相机相对激光雷达外参的标定，标定省时省力，以边缘线作为特征进行匹配，可以消除错误匹配，提高外参标定准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的相机内参和相机相对激光雷达外参的标定方法的流程示意图；
图2是本发明实施例提供的标定棋盘的结构示意图；
图3是本发明实施例提供的标定板的结构示意图；
图4是本发明实施例中提取边缘线的场景示意图；
图5是本发明实施例提供的相机内参和相机相对激光雷达外参的标定装置的原理框图；
图6是本发明实施例提供的智能终端的功能原理图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
相机影像和激光雷达点云的融合过程中，需要获知相机内参和相机相对于激光雷达外参用于统一两者的坐标系统。获得相机内参最常见的方法为棋盘格标定法，其中较为突出的是基于西班牙科尔多瓦大学A.V.A研究组ArUco标志制作的ChArUco标定棋盘。相机相对激光雷达外参标定的关键是对相机像素和激光雷达点云进行匹配。
现有相机内参和相机相对激光雷达外参的标定方法，通常是先进行相机内参标定，再将相机内参作为已知参数进行相机相对激光雷达外参标定，相机内参与相机相对激光雷达外参标定分开进行，这种分开进行的方法需要两套软硬件、两次场景和装置的设置，标定费时费力。另外，相机相对于激光雷达外参标定中的难点为找相机像素与激光雷达点云匹配的方法，像素为二维点，激光雷达点云为三维点，现有直接进行二维点与三维点的特征提取与匹配会存在大量错误匹配，导致相机外参标定不准确。
为了解决现有技术的问题，本实施例提供了一种相机内参和相机相对激光雷达外参的标定方法，首先获取若干组标定数据，根据若干组所述标定数据中的二维影像确定各组所述标定数据对应的像方坐标；其中，每组标定数据均包括二维影像和三维激光点云，然后，根据所述像方坐标以及预先测量的各组所述标定数据对应的物方坐标，确定相机内参，接着，根据所述相机内参对各组所述标定数据中的二维影像进行畸变校正，并基于畸变校正后的所述二维影像和所述三维激光点云确定各组所述标定数据对应的若干第一边缘线和若干第二边缘线，最后，根据若干所述第一边缘线和若干所述第二边缘线，确定相机相对激光雷达外参，因此，本实施例通过一个装置即可同时进行相机内参和相机相对激光雷达外参的标定，标定省时省力，以边缘线作为特征进行匹配，可以消除错误匹配，提高外参标定准确性。
示例性方法
本实施例提供一种相机内参和相机相对激光雷达外参的标定方法，该方法可以应用于智能终端。具体如图1所示，所述方法包括：
步骤S100、获取若干组标定数据，根据若干组所述标定数据中的二维影像确定各组所述标定数据对应的像方坐标；其中，每组标定数据均包括二维影像和三维激光点云。
具体地，若干组标定数据中每组标定数据均包括相机拍摄的二维影像和激光雷达拍摄的三维点云，在对相机内参和相机相对激光雷达外参进行标定前，需要预先设计标定板，并通过待标定的相机和激光雷达对标定板进行拍照，获取若干组标定数据。如图2和图3所示，本实施例中的标定板包括底板以及通过喷印或打印在底板上的标定棋盘，所述标定棋盘采用现有的ChArUco标定棋盘，ChArUco标定棋盘包括黑白棋盘格，ChArUco标定棋盘的白棋盘格内设置有ArUco标志。ChArUco标定棋盘涉及7个参数，包括：大棋盘格的横向数量，大棋盘格的纵向数量，棋盘格正方形的边长，ArUco标志的边长，棋盘格边缘的宽度，ArUco标志的词典选择，ArUco标志外的黑框宽度。如图2所示的ArUco标定棋盘对应的参数为：大棋盘格的横向数量为9，大棋盘格的纵向数量为6，棋盘格正方形的边长为100像素，ArUco标志的边长为80像素，棋盘格边缘的宽度为50像素，ArUco标志的词典选择包含100个6*6标志的词典，ArUco标志外的黑框宽度为1格。ChArUco标定棋盘的参数可以根据需要进行设计，标定板的棋盘格数量越多，标定越准确，一般标定板上棋盘格的设置数量应保证棋盘格交点数量超过100个。另外，为了确定棋盘格的方向，设计ChArUco标定棋盘时应使大棋盘格的横向数量和纵向数量分别为奇数和偶数，从而保证标定的准确性。例如图2中，大棋盘格的横向数量为9，纵向数量为6，这样设置使得ChArUco标定棋盘左上角有ArUco标志，右上角没有ArUco标志，从而能够根据ArUco标志确定棋盘格方向。
进一步地，标定板中的底板使用的材质需要尽量轻巧便携，颜色相同或者为不规则纹理(如木质隔板)，底板表面需要保证非常平整，大小需要比标定棋盘大。为了获取标定板不同姿态的若干组标定数据，所述底板上还可以设置便于手持的把手。
标定板设计完成后，需要将标定板布置于标定区域中，以便待标定的相机和激光雷达对标定板进行拍照。为了保证标定的准确性，标定区域需满足以下条件：1.标定区域空间足够大，且有一定纵深(如一间空教室)；2.标定区域光照明亮且连续稳定；3.标定区域后方的背景不能与黑白棋盘格太相似。在对标定板进行拍摄时，将相机和激光雷达组成的刚性系统置于标定区域中合适的位置，使手持标定板位于相机视场和激光雷达视场的重叠区域内，拍摄时将标定板多次移动使其均匀分布在相机和激光雷达共同拍摄范围内的空间，通常需要获取十组以上标定数据。在获取数据时，若相机和激光雷达的拍摄时间同步，将其时间对应，若不同步，则将标定板固定在一个位置上拍摄，这段时间内拍摄的二维影像和三维激光点云都可视为同步对应。
智能终端获取若干组标定数据的方法，可以是待标定相机和激光雷达拍摄得到标定数据后，通过有线或者无线的数据传输，直接传输给智能终端，也可以是待标定相机和激光雷达拍摄得到标定数据后，先在本地进行存储，当需要时，智能终端再从相机和激光雷达中获取。智能终端获取若干组标定数据后，根据若干组所述标定数据中的二维影像确定各组所述标定数据对应的像方坐标。其中，所述像方坐标为各组所述标定数据中的棋盘格交点在相机的成像坐标系下的坐标，通过所述像方坐标可以确定相机内参。
在一具体实施例中，步骤S100中所述根据若干组所述标定数据中的二维影像确定各组所述标定数据对应的像方坐标的步骤包括：
步骤S110、利用预先设置的标志检测函数对各组所述标定数据中的二维影像进行检测，提取出各组所述标定数据对应的ArUco标志；
步骤S120、根据提取出的ArUco标志，确定各组所述标定数据对应的像方坐标。
具体地，本实施例中获取若干组标定数据后，利用开源库OpenCV中的标志检测函数即aruco::refineDetectedMarkers对若干组所述标定数据中的二维影像进行检测，提取出各组所述标定数据中的标定板对应的ArUco标志，然后根据提取出的ArUco标志，确定各组所述标定数据对应的像方坐标。
在一具体实施方式中，所述步骤S110具体包括：
步骤S111、利用预先设置的标志检测函数对各组所述标定数据中的二维影像进行检测，粗提取出各组所述标定数据对应的ArUco标志；
步骤S112、基于粗提取出的ArUco标志及标定板上ArUco标志的实际分布特征，确定各组所述标定数据中未提取出的ArUco标志的位置范围；
步骤S113、基于未提取出的ArUco标志的位置范围，精提取出各组所述标定数据对应的ArUco标志。
具体地，本实施例中利用开源库OpenCV中的标志检测函数提取各组所述标定数据对应的ArUco标志时，首先对ArUco标志进行粗提取，利用开源库OpenCV中的标志检测函数对各组所述标定数据中的二维影像进行检测，粗提取出各组所述标定数据对应的ArUco标志。为了提高标定准确性，在粗提取出各组所述标定数据对应的ArUco标志后，根据标定棋盘中ArUco标志的实际分布特征，对粗提取出的ArUco标志进行验证，若验证失败，则说明该组标定数据提取失败，直接舍弃该组标定数据。
进一步地，对ArUco标志进行粗提取后，基于粗提取出的ArUco标志及标定棋盘中ArUco标志的实际分布特征，确定各组所述标定数据中未提取出的ArUco标志的位置范围，在未提取出的ArUco标志的位置范围内，再次利用开源库OpenCV中的标志检测函数对ArUco标志进行放宽提取条件的精提取，以增加提取出的ArUco标志的数量。
在一具体实施方式中，所述步骤S120具体包括：
步骤S121、根据提取出的ArUco标志的编号，确定各组所述标定数据对应的ArUco标志中处于斜方相邻的ArUco标志；
步骤S122、根据斜方相邻的ArUco标志的角点对应的像方坐标和物方坐标，确定各组所述标定数据对应的棋盘格交点的像方坐标，并将所述棋盘格交点的像方坐标作为各组所述标定数据对应的像方坐标。
具体地，利用开源库OpenCV中的标志检测函数提取出的ArUco标志包括ArUco标志的ID编号和ArUco标志的角点对应的像方坐标，在提取出各组所述标定数据对应的ArUco标志后，根据提取出的各组所述标定数据对应的ArUco标志的编号，能够确定各组所述标定数据对应的ArUco标志中处于斜方相邻的ArUco标志。对于斜方相邻的两个ArUco标志，每个ArUco标志有四个角点，根据计算机视觉中单应性概念，已知斜方相邻的两个ArUco标志的8个角点的影像坐标及其实际物方坐标，可以求出单应性矩阵。然后根据单应性矩阵以及预先测量的各组所述标定数据对应的棋盘格交点的物方坐标，可以确定各组所述标定数据对应的棋盘格交点的像方坐标，该棋盘格交点的像方坐标即为各组所述标定数据对应的像方坐标。
进一步地，各组所述标定数据对应的棋盘格交点的物方坐标是棋盘格交点在标定板上的实际坐标，ArUco标志的角点对应的物方坐标为ArUco标志的角点在标定板上的实际坐标。棋盘格交点的物方坐标和ArUco标志的角点对应的物方坐标可以在设计好标定板后进行预先测量。在测量时，首先建立二维坐标系，二维坐标系可以根据需要进行任意设置，如以底板顶点为坐标原点建立二维坐标系，以标定棋盘格的顶点为原点建立二维坐标系，二维坐标系确定后，棋盘格交点的物方坐标和ArUco标志的角点对应的物方坐标也就确定了。
在一具体实施方式中，步骤S122中所述根据斜方相邻的ArUco标志的角点对应的像方坐标和物方坐标，确定各组所述标定数据对应的棋盘格交点的像方坐标的步骤之后还包括：
步骤M122、当存在预先设置的初始内参时，根据所述初始内参对各组所述标定数据对应的棋盘格交点的像方坐标进行补齐；
步骤M123、当存在预先设置的初始内参时，根据所述初始内参对各组所述标定数据对应的像方坐标进行补齐。
考虑到利用开源库OpenCV中的标志检测函数进行ArUco标志提取时，存在ArUco标志漏提取，导致部分棋盘格交点的像方坐标无法确定。本实施例中确定各组所述标定数据对应的棋盘格交点的像方坐标后，进一步对棋盘格交点的像方坐标进行补齐。在对棋盘格交点的像方坐标进行补齐时，首先判断相机是否存在预先设置的初始内参，若有，则根据初始内参对各组所述标定数据对应的棋盘格交点的像方坐标进行补齐；若没有，则根据单应性，利用已确定的各组所述标定数据对应的棋盘格交点的像方坐标和各组所述标定数据对应的棋盘格交点的物方坐标，得到单应性矩阵，然后根据确定的单应性矩阵和各组所述标定数据对应的棋盘格交点的物方坐标对各组所述标定数据对应的棋盘格交点的像方坐标进行补齐。
步骤S200、根据所述像方坐标以及预先测量的各组所述标定数据对应的物方坐标，确定相机内参。
具体地，相机内参计算是为了求得相机内参fx，fy，x0，y0，将影像像素(u，v)对应其在空间中的一条射线上的点Mc(Xc，Yc，Zc)，其表达式如下：
Figure BDA0002889352660000111
其中，s为尺度因子，fx，fy为相机主距，x0，y0为像主点。
确定相机内参关键是获得各组所述标定数据对应的像方坐标和物方坐标，前述步骤中提到各组所述标定数据对应的物方坐标为棋盘格交点在标定板中的实际坐标，其可以预先测量。在确定各组所述标定数据对应的像方坐标后，将各组标定数据对应的像方坐标和物方坐标输入到OpenCV开源库的标定方法中，即可计算出相机内参和用于畸变校正的畸变参数。
步骤S300、根据所述相机内参对各组所述标定数据中的二维影像进行畸变校正，并基于畸变校正后的所述二维影像和所述三维激光点云确定各组所述标定数据对应的若干第一边缘线和若干第二边缘线。
确定相机相对激光雷达外参时，需要将二维影像中的像素与三维激光点云中的激光雷达点云进行匹配，二维影像中的像素为二维点，三维激光点云中的激光雷达点云为三维点，直接将二者进行匹配会存在大量错误匹配。如图4所示，本实施例中确定相机内参后，基于所述相机内参对各组所述标定数据中的二维影像进行畸变校正，然后基于畸变校正后的所述二维影像和所述三维激光点云确定各组标定数据对应的若干第一边缘线和若干第二边缘线，以若干第一边缘线和若干第二边缘线为特征进行匹配，可以消除误匹配情况，提高外参标定的准确性。
在一具体实施方式中，步骤S300中所述基于畸变校正后的所述二维影像和所述三维激光点云确定各组所述标定数据对应的若干第一边缘线和若干第二边缘线的步骤包括：
步骤S310、利用线特征提取方法从畸变校正后的所述二维影像中提取出各组所述标定数据对应的若干线特征；
步骤S320、根据预先测量的各组所述标定数据对应的物方坐标对若干所述线特征进行筛选，确定各组所述标定数据对应的若干第一边缘线。
具体地，对二维影像进行畸变校正后，本实施例中利用常用的线特征提取方法(如Line Segment Detector，LSD)从畸变校正后的所述二维影像中提取出各组所述标定数据对应的所有线特征。然后根据各组所述标定数据对应的物方坐标对若干所述线特征进行筛选，确定各组所述标定数据对应的若干第一边缘线。在对若干所述线特征进行筛选时，首先根据各组所述标定数据对应的物方坐标，按比例推算若干第一边缘线的像素长度，然后将若干线特征与推算出的像素长度进行比较，从若干线特征中筛选出像素长度与推算出的像素长度的差值在预设长度阈值内的线特征作为候选边缘线，其中所述预设长度阈值为推算出的像素长度的10％。筛选出候选边缘线后，根据各组所述标定数据对应的物方坐标，推算若干第一边缘线到各棋盘交点的距离，并将各候选边缘线到棋盘各交点的距离与推算出的距离值进行比较，从候选边缘线中筛选出距离值与推算出的距离值的差值在预设距离阈值内的候选边缘线为第一边缘线，其中所述预设距离阈值为推算出的距离值的10％。
在一具体实施方式中，步骤S300中所述基于畸变校正后的所述二维影像和所述三维激光点云确定各组所述标定数据对应的若干第一边缘线和若干第二边缘线的步骤还包括：
步骤S330、基于所述三维激光点云图，确定各组所述标定数据对应的边缘点对；
步骤S340、通过最小二乘法对所述边缘点对的中点进行拟合，确定各组所述标定数据对应的若干第二边缘线。
具体地，激光雷达通常采用扫描线的形式获得三维点云，如VLP-16、VLP-32，扫描线每隔预设距离有一个三维点，由于激光雷达的扫描线在标定板边缘会出现一个点在标定板内，下一个点在标定板后的背景上，深度坐标发生突变，同时由于标定板和背景的材质不同，强度信息也会突变。本实施例中查找深度坐标变化阈值大于预设阈值的点对作为各组所述标定数据对应的边缘点对。由于每条扫描线上两个点之间有间距，边缘线会出现在两个点之间，使用边缘点对一起拟合会造成较大误差。本实施例中在获取边缘点对后，将背景上的点垂直投影到标定板平面后，求边缘点对在标定板平面的中点，然后通过最小二乘法对所述边缘点对在标定板平面的中点进行拟合，确定各组所述标定数据对应的若干第二边缘线。发明人经实验对比发现，使用边缘点对的中点进行直线拟合可以缩小标定误差。
步骤S400、根据若干所述第一边缘线和若干所述第二边缘线，确定相机相对激光雷达外参。
具体地，外参计算是为了使相机和激光雷达各自的坐标系能互相转化，以求得激光雷达点ML(XL，YL，ZL)对应的Mc，其表达式如下所示：
Figure BDA0002889352660000141
其中，RL是3*3的矩阵，TL是3*1的矩阵。
根据上述式(1)和式(2)，可以得出：
Figure BDA0002889352660000142
根据式(3)，将尺度s消去可得：
Figure BDA0002889352660000143
Figure BDA0002889352660000144
令
T1＝[t1 t2 t3 t4]T
T2＝[t5 t6 t7 t8]T
T3＝[t9 t10 t11 t12]T
Figure BDA0002889352660000151
根据式(4)和式(5)可将式(3)改写为：
uT3 TP-T1 TP＝0
vT3 TP-T2 TP＝0 (6)
由上述式(2)可以看出，外参计算是为了求得3*4的转换矩阵t1-t12，而由式(6)可以看出，使用至少6对影像点坐标和激光雷达点坐标即可解求t1-t12。本实施例中获取到若干第一边缘线和若干第二边缘线后，求解每组标定数据对应的若干所述第一边缘线的交点即可得到每组标定数据对应的影像点坐标，求解每组标定数据对应的若干所述第二边缘线的交点即可得到每组标定数据对应的激光雷达点坐标，即确定各组所述标定数据对应的匹配角点对，然后根据各组所述匹配角点对，确定相机相对激光雷达外参。由于直线提取比角点提取更准确不易出错，且直线交点为浮点数，而直接提取出的匹配角点为整数，因此本实施例中使用直线相交得到匹配角点对相对于直接提取影像角点能够显著降低匹配错误，提高外参标定精度。
示例性设备
如图5中所示，本发明实施例提供一种相机内参和相机相对激光雷达外参的标定装置，该装置包括：数据获取模块510、内参确定模块520、边缘线提取模块530、外参确定模块540。具体地，所述数据获取模块510，用于获取若干组标定数据，根据若干组所述标定数据中的二维影像确定各组所述标定数据对应的像方坐标；其中，每组标定数据均包括二维影像和三维激光点云。所述内参确定模块520，用于根据所述像方坐标以及预先测量的各组所述标定数据对应的物方坐标，确定相机内参。所述边缘线提取模块530，用于根据所述相机内参对各组所述标定数据中的二维影像进行畸变校正，并基于畸变校正后的所述二维影像和所述三维激光点云确定各组所述标定数据对应的若干第一边缘线和若干第二边缘线。所述外参确定模块540，用于根据若干所述第一边缘线和若干所述第二边缘线，确定相机相对激光雷达外参。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图6所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种相机内参和相机相对激光雷达外参的标定方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
获取若干组标定数据，根据若干组所述标定数据中的二维影像确定各组所述标定数据对应的像方坐标；其中，每组标定数据均包括二维影像和三维激光点云；
根据所述像方坐标以及预先测量的各组所述标定数据对应的物方坐标，确定相机内参；
根据所述相机内参对各组所述标定数据中的二维影像进行畸变校正，并基于畸变校正后的所述二维影像和所述三维激光点云确定各组所述标定数据对应的若干第一边缘线和若干第二边缘线；
根据若干所述第一边缘线和若干所述第二边缘线，确定相机相对激光雷达外参。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种相机内参和相机相对激光雷达外参的标定方法及电子设备，所述方法包括：获取若干组标定数据，根据若干组所述标定数据中的二维影像确定各组所述标定数据对应的像方坐标；其中，每组标定数据均包括二维影像和三维激光点云；根据所述像方坐标以及预先测量的各组所述标定数据对应的物方坐标，确定相机内参；根据所述相机内参对各组所述标定数据中的二维影像进行畸变校正，并基于畸变校正后的所述二维影像和所述三维激光点云确定各组所述标定数据对应的若干第一边缘线和若干第二边缘线；根据若干所述第一边缘线和若干所述第二边缘线，确定相机相对激光雷达外参。本发明根据各组标定数据对应的像方坐标和物方坐标确定相机内参，以及根据各组标定数据中提取出的边缘线确定相机相对激光雷达外参，通过一个装置即可同时进行相机内参和相机相对激光雷达外参的标定，标定省时省力，以提取出的第一边缘线和第二边缘线作为特征进行匹配，可以消除错误匹配，提高外参标定准确性。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种相机内参和相机相对激光雷达外参的标定方法，其特征在于，所述方法包括：
获取若干组标定数据，根据若干组所述标定数据中的二维影像确定各组所述标定数据对应的像方坐标；其中，每组所述标定数据均包括二维影像和三维激光点云；各组所述标定数据对应的像方坐标为各组所述标定数据对应的棋盘格交点的像方坐标，各组所述标定数据对应的棋盘格交点的像方坐标根据斜方相邻的ArUco标志的角点对应的像方坐标和物方坐标确定；
根据所述像方坐标以及预先测量的各组所述标定数据对应的物方坐标，确定相机内参；
根据所述相机内参对各组所述标定数据中的二维影像进行畸变校正，并基于畸变校正后的所述二维影像和所述三维激光点云确定各组所述标定数据对应的若干第一边缘线和若干第二边缘线；
根据若干所述第一边缘线和若干所述第二边缘线，确定相机相对激光雷达外参；
所述根据若干所述第一边缘线和若干所述第二边缘线，确定相机相对激光雷达外参的步骤包括：
根据若干所述第一边缘线和若干所述第二边缘线，确定各组所述标定数据对应的若干匹配角点对；
根据若干所述匹配角点对，确定相机相对激光雷达外参。
2.根据权利要求1所述的相机内参和相机相对激光雷达外参的标定方法，其特征在于，各组所述标定数据中均包含若干ArUco标志，所述根据若干组所述标定数据中的二维影像确定各组所述标定数据对应的像方坐标的步骤包括：
利用预先设置的标志检测函数对各组所述标定数据中的二维影像进行检测，提取出各组所述标定数据对应的ArUco标志；
根据提取出的ArUco标志，确定各组所述标定数据对应的像方坐标。
3.根据权利要求2所述的相机内参和相机相对激光雷达外参的标定方法，其特征在于，所述利用预先设置的标志检测函数对各组所述标定数据中的二维影像进行检测，提取出各组所述标定数据对应的ArUco标志的步骤包括：
利用预先设置的标志检测函数对各组所述标定数据中的二维影像进行检测，粗提取出各组所述标定数据对应的ArUco标志；
基于粗提取出的ArUco标志及标定板上ArUco标志的实际分布特征，确定各组所述标定数据中未提取出的ArUco标志的位置范围；
基于未提取出的ArUco标志的位置范围，精提取出各组所述标定数据对应的ArUco标志。
4.根据权利要求2所述的相机内参和相机相对激光雷达外参的标定方法，其特征在于，所述根据提取出的ArUco标志，确定各组所述标定数据对应的像方坐标的步骤包括：
根据提取出的ArUco标志的编号，确定各组所述标定数据对应的ArUco标志中处于斜方相邻的ArUco标志；
根据斜方相邻的ArUco标志的角点对应的像方坐标和物方坐标，确定各组所述标定数据对应的棋盘格交点的像方坐标，并将所述棋盘格交点的像方坐标作为各组所述标定数据对应的像方坐标。
5.根据权利要求4所述的相机内参和相机相对激光雷达外参的标定方法，其特征在于，所述根据斜方相邻的ArUco标志的角点对应的像方坐标和物方坐标，确定各组所述标定数据对应的棋盘格交点的像方坐标的步骤之后还包括：
当存在预先设置的初始内参时，根据所述初始内参对各组所述标定数据对应的棋盘格交点的像方坐标进行补齐；
当不存在预先设置的初始内参时，根据单应性对各组所述标定数据对应的棋盘格交点的像方坐标进行补齐。
6.根据权利要求1所述的相机内参和相机相对激光雷达外参的标定方法，其特征在于，所述基于畸变校正后的所述二维影像确定各组所述标定数据对应的若干第一边缘线的步骤包括：
利用线特征提取方法从畸变校正后的所述二维影像中提取出各组所述标定数据对应的若干线特征；
根据预先测量的各组所述标定数据对应的物方坐标对若干所述线特征进行筛选，确定各组所述标定数据对应的若干第一边缘线。
7.根据权利要求1所述的相机内参和相机相对激光雷达外参的标定方法，其特征在于，所述基于畸变校正后的所述三维激光点云确定各组所述标定数据对应的若干第二边缘线的步骤包括：
基于所述三维激光点云图，确定各组所述标定数据对应的边缘点对；通过最小二乘法对所述边缘点对的中点进行拟合，确定各组所述标定数据对应的若干第二边缘线。
8.一种智能终端，其特征在于，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-7任一项所述的相机内参和相机相对激光雷达外参的标定方法的步骤。
9.一种计算机可读存储介质，其上存储有多条指令，其特征在于，所述指令适于由处理器加载并执行，以执行实现上述权利要求1-7任一项所述的相机内参和相机相对激光雷达外参的标定方法的步骤。
CN202110023285.0A 2021-01-08 2021-01-08 相机内参和相机相对激光雷达外参的标定方法及电子设备 Active CN112734857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110023285.0A CN112734857B (zh) 2021-01-08 2021-01-08 相机内参和相机相对激光雷达外参的标定方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110023285.0A CN112734857B (zh) 2021-01-08 2021-01-08 相机内参和相机相对激光雷达外参的标定方法及电子设备

Publications (2)

Publication Number Publication Date
CN112734857A CN112734857A (zh) 2021-04-30
CN112734857B true CN112734857B (zh) 2021-11-02

Family

ID=75591280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110023285.0A Active CN112734857B (zh) 2021-01-08 2021-01-08 相机内参和相机相对激光雷达外参的标定方法及电子设备

Country Status (1)

Country Link
CN (1) CN112734857B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782556B (zh) * 2022-06-20 2022-09-09 季华实验室 相机与激光雷达的配准方法、系统及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765328A (zh) * 2018-05-18 2018-11-06 凌美芯（北京）科技有限责任公司 一种高精度多特征平面模板及其畸变优化和标定方法
CN109920004A (zh) * 2017-12-12 2019-06-21 广东虚拟现实科技有限公司 图像处理方法、装置、标定物组合、终端设备及标定系统
CN110827361A (zh) * 2019-11-01 2020-02-21 清华大学 基于全局标定架的相机组标定方法及装置
CN111179360A (zh) * 2020-04-13 2020-05-19 杭州利珀科技有限公司 一种高精度自动化标定板和标定方法
CN111179356A (zh) * 2019-12-25 2020-05-19 北京中科慧眼科技有限公司 基于Aruco码的双目相机标定方法、装置、系统和标定板
CN111627075A (zh) * 2020-05-22 2020-09-04 上海黑眸智能科技有限责任公司 基于aruco码的摄像头外参标定方法、系统、终端及介质
CN111815719A (zh) * 2020-07-20 2020-10-23 北京百度网讯科技有限公司 图像采集设备的外参数标定方法、装置、设备及存储介质
CN111833405A (zh) * 2020-07-27 2020-10-27 北京大华旺达科技有限公司 基于机器视觉的标定识别方法及装置
CN111862224A (zh) * 2019-04-17 2020-10-30 杭州海康威视数字技术股份有限公司 确定相机与激光雷达之间外参的方法和装置
CN111932631A (zh) * 2020-06-12 2020-11-13 北京中科慧眼科技有限公司 ArucoInChess标定板及其双目相机标定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107976668B (zh) * 2016-10-21 2020-03-31 法法汽车(中国)有限公司 一种确定相机与激光雷达之间的外参数的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109920004A (zh) * 2017-12-12 2019-06-21 广东虚拟现实科技有限公司 图像处理方法、装置、标定物组合、终端设备及标定系统
CN108765328A (zh) * 2018-05-18 2018-11-06 凌美芯（北京）科技有限责任公司 一种高精度多特征平面模板及其畸变优化和标定方法
CN111862224A (zh) * 2019-04-17 2020-10-30 杭州海康威视数字技术股份有限公司 确定相机与激光雷达之间外参的方法和装置
CN110827361A (zh) * 2019-11-01 2020-02-21 清华大学 基于全局标定架的相机组标定方法及装置
CN111179356A (zh) * 2019-12-25 2020-05-19 北京中科慧眼科技有限公司 基于Aruco码的双目相机标定方法、装置、系统和标定板
CN111179360A (zh) * 2020-04-13 2020-05-19 杭州利珀科技有限公司 一种高精度自动化标定板和标定方法
CN111627075A (zh) * 2020-05-22 2020-09-04 上海黑眸智能科技有限责任公司 基于aruco码的摄像头外参标定方法、系统、终端及介质
CN111932631A (zh) * 2020-06-12 2020-11-13 北京中科慧眼科技有限公司 ArucoInChess标定板及其双目相机标定方法
CN111815719A (zh) * 2020-07-20 2020-10-23 北京百度网讯科技有限公司 图像采集设备的外参数标定方法、装置、设备及存储介质
CN111833405A (zh) * 2020-07-27 2020-10-27 北京大华旺达科技有限公司 基于机器视觉的标定识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于双目视觉的工业机器人虚拟示教关键技术研究";付朋;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115;第39-44页 *
"基于多视角立体视觉的马铃薯表面三维重建技术研究";陈彬;《中国优秀硕士学位论文全文数据库 农业科技辑》;20200615;第14页 *

Also Published As

Publication number Publication date
CN112734857A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN110021046B (zh) 相机与激光雷达组合传感器的外参数标定方法及系统
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN108230397B (zh) 多目摄像机标定与校正方法和装置、设备、程序和介质
US7773799B2 (en) Method for automatic stereo measurement of a point of interest in a scene
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN101216937B (zh) 港口运动集装箱定位系统的参数标定方法
CN112902874B (zh) 图像采集装置及方法、图像处理方法及装置、图像处理系统
CN111210468A (zh) 一种图像深度信息获取方法及装置
CN111932605B (zh) 尺寸检测方法、装置、电子设备及可读存储介质
US11562478B2 (en) Method and system for testing field of view
CN111508027A (zh) 摄像机外参标定的方法和装置
CN109360230A (zh) 一种基于2d相机与3d相机的图像配准方法及系统
Rüther et al. A comparison of close-range photogrammetry to terrestrial laser scanning for heritage documentation
US8055100B2 (en) Method and system for image registration quality confirmation and improvement
CN112102387B (zh) 一种基于深度相机深度估计性能的测试方法与测试系统
CN113465573A (zh) 单目测距方法、装置及智能装置
CN112734857B (zh) 相机内参和相机相对激光雷达外参的标定方法及电子设备
CN111382591A (zh) 一种双目相机测距校正方法及车载设备
KR101925289B1 (ko) 단말 위치/각도 식별 방법 및 장치
CN113963065A (zh) 一种基于外参已知的镜头内参标定方法及装置、电子设备
CN113822920A (zh) 结构光相机获取深度信息的方法、电子设备及存储介质
CN116563370A (zh) 基于单目计算机视觉的测距方法和测速方法
CN114170319A (zh) 测试标板的调整方法及装置
CN112308933A (zh) 相机内参标定的方法、装置及计算机存储介质
CN112305524A (zh) 测距方法、测距系统和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant