CN112162263A - 传感器的联合标定方法、装置及电子设备 - Google Patents
传感器的联合标定方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112162263A CN112162263A CN202011152773.3A CN202011152773A CN112162263A CN 112162263 A CN112162263 A CN 112162263A CN 202011152773 A CN202011152773 A CN 202011152773A CN 112162263 A CN112162263 A CN 112162263A
- Authority
- CN
- China
- Prior art keywords
- calibration
- data
- camera
- dimensional
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000011159 matrix material Substances 0.000 claims abstract description 26
- 238000013519 translation Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 2
- 239000000463 material Substances 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 15
- 230000036544 posture Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种传感器的联合标定方法、装置及电子设备，涉及传感器标定的技术领域，该方法包括获取第一标定数据和第二标定数据；提取第一标定数据和第二标定数据分别包含的标定板的目标位置的坐标；将目标位置的坐标输入至预先建立的标定模型，基于标定模型计算摄像机与激光雷达传感器之间的旋转平移矩阵。本发明提供的传感器的联合标定方法、装置及电子设备，在标定过程中无需用户手动去设置标定板和选择标定点，且标定过程较为简单，对标定板的位置和材质也没有特殊要求，在一定程度上简化了标定过程，便于进行推广。
Description
技术领域
本发明涉及传感器标定技术领域，尤其是涉及一种传感器的联合标定方法、装置及电子设备。
背景技术
随着自动驾驶车辆的发展，单目摄像头等单一传感器很难满足自动驾驶车辆在复杂环境下的感知定位任务，因此，激光雷达与摄像机的信息融合/协同感知在高级别的自动驾驶中起到了关键作用。通过融合激光雷达和摄像机两种传感器的信息，互相取长补短，可以大幅提高自动驾驶车辆的感知性能。激光雷达和摄像机的联合标定是两种传感器进行信息融合的前提，而联合标定的目的是事先得到激光雷达和摄像机的位姿关系。
现有技术中，联合标定的方式多需要用户去手动选择标定点，或者标定过程较为复杂，难以进行推广。
发明内容
有鉴于此，本发明的目的在于提供一种传感器的联合标定方法、装置及电子设备，以缓解上述技术问题。
第一方面，本发明实施例提供了一种传感器的联合标定方法，包括：获取第一标定数据和第二标定数据，其中，所述第一标定数据为标定板以预设姿态倾斜设置时，激光雷达传感器采集的所述标定板的三维点云数据；所述第二标定数据为所述标定板以预设姿态倾斜设置时，摄像机采集的所述标定板的二维数据；提取所述第一标定数据和所述第二标定数据分别包含的所述标定板的目标位置的坐标；将所述目标位置的坐标输入至预先建立的标定模型，基于所述标定模型计算所述摄像机与所述激光雷达传感器之间的旋转平移矩阵。
优选地，在一种可能的实施方式中，上述提取所述第一标定数据和所述第二标定数据包含所述标定板的目标位置的匹配点对的坐标的步骤包括：将所述标定板的角点确定为目标位置，提取所述第一标定数据中，所述角点对应的三维点云数据，以及，提取所述第二标定数据中，所述角点对应的二维数据。
优选地，在一种可能的实施方式中，上述提取所述第一标定数据中，所述角点对应的三维点云数据的步骤包括：提取所述第一标定数据中包括的所述标定板的边缘点；基于所述边缘点对所述标定板的边线进行直线拟合，得到所述标定板的边线的直线方程组；根据所述边线的直线方程组计算所述角点对应的三维点云数据；其中，所述三维点云数据包括所述角点在所述激光雷达传感器所在的坐标系中的坐标。
优选地，在一种可能的实施方式中，上述根据所述边线的直线方程组计算所述角点对应的三维点云数据的步骤包括：计算所述直线方程组中包括的任意相邻两个直线方程的交点坐标，将所述交点坐标确定为所述角点对应的三维点云数据；或者，计算所述直线方程组中包括的任意相邻两个直线方程之间的距离，将所述距离的中点位置确定为两个所述直线方程之间的交点坐标，将所述交点坐标确定为所述角点对应的三维点云数据。
优选地，在一种可能的实施方式中，上述标定板印制有预设的标定标识；提取所述第二标定数据中，所述角点对应的二维数据的步骤包括：获取与所述标定标识对应的检测算法，基于所述检测算法提取所述第二标定数据中所述角点对应的二维数据；其中，所述二维数据包括所述角点在所述摄像机所在的坐标系中的坐标。
优选地，在一种可能的实施方式中，上述方法还包括：获取预先配置的所述摄像机的参数信息，其中，所述参数信息至少包括所述摄像机的尺度因子和所述摄像机的内参；基于所述参数信息建立所述标定模型。
优选地，在一种可能的实施方式中，上述标定模型表示为，
其中，si为所述尺度因子，K所述摄像机的内参；(XiYi Zi)是所述三维点云数据，(ui vi)是所述摄像机采集的所述标定板的二维数据；
为所述旋转平移矩阵。
第二方面，本发明实施例还提供一种传感器的联合标定装置，包括：获取模块，用于获取第一标定数据和第二标定数据，其中，所述第一标定数据为标定板以预设姿态倾斜设置时，激光雷达传感器采集的所述标定板的三维点云数据；所述第二标定数据为所述标定板以预设姿态倾斜设置时，摄像机采集的所述标定板的二维数据；提取模块，用于提取所述第一标定数据和所述第二标定数据分别包含的所述标定板的目标位置的坐标；标定模块，用于将所述目标位置的坐标输入至预先建立的标定模型，基于所述标定模型计算所述摄像机与所述激光雷达传感器之间的旋转平移矩阵。
第三方面，本发明实施例还提供一种电子设备，该电子设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面所述的方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面所述的方法。
本发明实施例带来了以下有益效果：
本发明实施例提供的传感器的联合标定方法、装置及电子设备，可以直接获取激光雷达传感器采集的标定板的三维点云数据，以及摄像机采集的标定板的二维数据，并提取目标位置的坐标，进而将目标位置的坐标输入至预先建立的标定模型，以便于基于标定模型计算摄像机与激光雷达传感器之间的旋转平移矩阵，在标定过程中无需用户手动去设置标定板和选择标定点，且标定过程较为简单，对标定板的位置和材质也没有特殊要求，在一定程度上简化了标定过程，便于进行推广。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种传感器的联合标定方法的流程图；
图2为本发明实施例提供的一种传感器的安装示意图；
图3为本发明实施例提供的一种标定板的摆放示意图；
图4为本发明实施例提供的一种标定板的边缘点的示意图；
图5为本发明实施例提供的一种直线拟合的示意图；
图6为本发明实施例提供的一种摄像机的角点检测的结果示意图；
图7为本发明实施例提供的一种传感器的联合标定装置的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，在对激光雷达和摄像机的联合标定时，多需要手动的选取标定点的坐标值，或者，需要较为特殊材质的标定板进行标定，或者需要根据标定板的摆放位置，手动的设置阈值等等，难以实现标定的完全自动化，且，标定板的摆放位置也无法随意变动，不仅需要较高的维护成本，也使得标定过程较为复杂，难以进行推广。
基于此，本发明实施例提供的一种传感器的联合标定方法、装置及电子设备，可以有效缓解上述技术问题。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种传感器的联合标定方法进行详细介绍。
在一种可能的实施方式中，本发明实施例提供了一种传感器的联合标定方法，如图1所示的一种传感器的联合标定方法的流程图，该方法包括以下步骤：
步骤S102，获取第一标定数据和第二标定数据；
其中，第一标定数据为标定板以预设姿态倾斜设置时，激光雷达传感器采集的标定板的三维点云数据；第二标定数据为标定板以预设姿态倾斜设置时，摄像机采集的标定板的二维数据；
在实际使用时，上述标定板通常是预先设计好的，且以预设姿态放置在一定的位置，以便于使激光雷达传感器和摄像机能够采集到标定板的数据。
具体地，本发明实施例中，标定板以倾斜的状态悬浮在半空中，且，为了能够实现标定板的倾斜悬浮设置，可以将标定板设置在摆放支架上，以便于对标定板进行固定。
进一步，上述激光雷达传感器通常设置在车辆的顶端，摄像机通常设置在车辆前部位置，以便于在行车过程中能够对目标区域进行检测。其中，图2示出了一种传感器的安装示意图，包括车辆顶部的激光雷达传感器、车辆前部的摄像机，以及各自所对应的坐标系。基于图2所示的安装示意图，如果标定板水平摆放，激光线束很难打到标定板的上下边界，因此，本发明实施例中，以标定板倾斜放置的方式进行设置，能够使标定板在各种工作环境下都可以被激光雷达传感器的线束打到，并被摄像机捕捉到，因此，通常可以设计如图3所示的摆放支架来摆放标定板，其中，图3中，(a)为摆放支架的示意图，(b)为标定板以倾斜姿态设置在摆放支架上的示意图，基于图3中的(b)所示的摆放方式，可以使得标定板以倾斜的状态悬浮在半空中，当激光雷达传感器的线束达到该标定板时，可生成该标定板的三维点云数据，即上述第一标定数据，当摄像机采集该标定板图像时，可以得到包含该标定板图像的二维数据，即上述第二标定数据。
步骤S104，提取第一标定数据和第二标定数据分别包含的标定板的目标位置的坐标；
在实际使用时，上述标定板通常采用正方形，如，尺寸为1m*1m的正方形标定板，此时，标定板的目标位置通常指标定板的几个角点，即，四个顶点位置，上述步骤S104中，提取的标定板的目标位置的坐标时，实际提取激光雷达传感器采集的标定板的目标位置的三维坐标，以及摄像机采集的标定板的目标位置的二维坐标。
步骤S106，将目标位置的坐标输入至预先建立的标定模型，基于该标定模型计算摄像机与激光雷达传感器之间的旋转平移矩阵。
本发明实施例提供的传感器的联合标定方法，可以直接获取激光雷达传感器采集的标定板的三维点云数据，以及摄像机采集的标定板的二维数据，并提取目标位置的坐标，进而将目标位置的坐标输入至预先建立的标定模型，以便于基于标定模型计算摄像机与激光雷达传感器之间的旋转平移矩阵，在标定过程中无需用户手动去设置标定板和选择标定点，且标定过程较为简单，对标定板的位置和材质也没有特殊要求，在一定程度上简化了标定过程，便于进行推广。
在实际使用时，考虑到标定板的目标位置通常指标定板的几个角点，因此，上述步骤S104中，在提取标定板的目标位置的坐标时，通常先将标定板的角点确定为目标位置，然后提取第一标定数据中，角点对应的三维点云数据，以及，提取第二标定数据中，角点对应的二维数据。
具体地，提取第一标定数据中，角点对应的三维点云数据时，通常采用的是激光雷达角点检测算法，具体地，该激光雷达角点检测算法包括以下几个步骤：
(1)提取第一标定数据中包括的标定板的边缘点；
具体地，该第一标定数据通常指激光雷达传感器采集的原始激光点云数据，通常，基于这些原始激光点云数据会先进行平面检测，然后进行平面筛选，最终得到打在标定板上的三维点云数据。
具体地，以上述标定板为1m*1m的正方形标定板为例进行说明，在进行平面检测时，可以采用相关聚类算法，如RANSAC算法等，检测所有的平面数据，将每个平面数据聚为一类，并剔除其他非平面的点。然后再基于1m*1m的物理尺寸进行平面筛选，剔除掉尺寸不合理的平面，即可得到打在标定板上的三维点云数据，并进一步得到上述标定板的边缘点。为了便于理解，图4示出了一种标定板的边缘点的示意图，其中，图4中所示的点即为激光雷达传感器打在标定板的点，最外一层的点即为上述边缘点。
(2)基于上述边缘点对标定板的边线进行直线拟合，得到标定板的边线的直线方程组；
当得到上述边缘点之后，可以继续使用这些边缘点进行四条边的直线拟合，即对标定板的边线进行直线拟合，此时得到的直线方程组中包括四条边线的直线方程，具体可以表示为：
其中，为了便于理解，图5示出了上述直线拟合的示意图，如图5所示，上述直线方程组中包括的四条边线的直线方程依次为Line0、Line1、Line2和Line3所在直线的直线方程，且，由于激光雷达传感器所在的坐标系为三维坐标系，因此，上述直线方程通常包括三个变量(x、y、z)，其中，上述各个直线方程中，(x0、y0、z0)表示第一条直线上的定点；(x1、y1、z1)表示第二条直线上的定点；(x2、y2、z2)表示第三条直线上的定点；(x3、y3、z3)表示第四条直线上的定点，(a0、b0、c0)表示第一条直线的方向向量；(a1、b1、c1)表示第二条直线的方向向量；(a2、b2、c2)表示第三条直线的方向向量；(a3、b3、c3)表示第四条直线的方向向量。
(3)根据边线的直线方程组计算角点对应的三维点云数据；
其中，上述三维点云数据包括角点在激光雷达传感器所在的坐标系中的坐标。
具体地，上述(3)中，计算角点对应的三维点云数据时，实际计算的是上述Line0、Line1、Line2和Line3两两相交时的角点的三维坐标。但是，由于直线拟合过程中会存在一定的误差，会导致在三维坐标系中，两条三维直线不一定存在交点，此时，可以使用两条三维直线间最短距离的1/2点作为交点坐标，因此，在计算角点对应的三维点云数据时可以计算直线方程组中包括的任意相邻两个直线方程的交点坐标，将交点坐标确定为角点对应的三维点云数据；或者，在相邻两个三维直线由于误差而不相交时，可以计算直线方程组中包括的任意相邻两个直线方程之间的距离，将距离的中点位置确定为两个直线方程之间的交点坐标，将该交点坐标确定为角点对应的三维点云数据。例如，使用line0和line1求得交点坐标P0＝(X0，Y0，Z0)；使用line1和line2求得交点坐标P1＝(X1，Y1，Z1)；使用line2和line3求得交点坐标P2＝(X2，Y2，Z2)；使用line3和line0求得交点坐标P3＝(X3，Y3，Z3)。
通过上述方式，得到的角点对应的三维点云数据即为上述图5中P0、P1、P2、P3四个角点在激光雷达传感器所在的坐标系中的坐标，可用于激光雷达传感器和摄像机的联合标定。
进一步，上述提取第二标定数据中，角点对应的二维数据时，通常采用的是摄像机角点检测算法，具体地，为了实现摄像机对于标定板角点的检测，通常标定板上印制有预设的标定标识，即，在标定板上预先打印有预设的标定标识，以便于获取与该标定标识对应的检测算法，进而基于检测算法提取第二标定数据中角点对应的二维数据。其中，该二维数据包括角点在摄像机所在的坐标系中的坐标，即，标定板的角点在摄像机所在的图像坐标系中的坐标。
具体地，以在标定板上打印apriltag标识为例，此时可以使用apriltag检测算法来检测得到标定板的四个角点在图像坐标系中的坐标，具体的检测过程可以包括以下几个步骤：
(1)在摄像机采集的二维数据中，使用梯度检测各种边缘；
(2)在边缘检测结果中，首先剔除非直线边缘，在直线边缘进行邻接边缘查找，最终若形成闭环则为检测到一个四边形；
(3)最后在检测到的四边形内生成点阵列用于计算每色块的值，再根据局部二值模式(Local Binary Patterns)构造简单分类器对四边形内的色块进行分类，将正例色块编码为1将负例色块编码为0，就可以得到apriltag标识对应的二维码的编码，得到编码以后，再与已知库内的编码进行匹配，进而确定解码出的二维码是否为正确。
为了便于理解，图6示出了一种摄像机的角点检测的结果示意图，其中，标定板的四个角点表示为M0、M1、M2和M3，四个角点的坐标分别表示为：M0＝(u0，v0)，M1＝(u1，v1)，M2＝(u2，v2)，M3＝(u3，v3)。其中，u、v为摄像机所在的坐标系中的坐标值。
进一步，基于上述标定板的角点在激光雷达传感器所在的坐标系中的坐标，以及，标定板的角点在摄像机所在的坐标系中的坐标，可以进一步按照标定模型进行标定，具体地，在标定之前，需要先获取预先配置的摄像机的参数信息，其中，该参数信息至少包括摄像机的尺度因子和摄像机的内参；然后基于上述参数信息建立标定模型。
在实际使用时，使用摄像机内参标定工具箱，可以标定得到相机的内参，具体地，该内参实际是个内参矩阵，通常用矩阵K表示，上述尺度因子通常是与摄像机的坐标轴方向对应的尺度因子，通常指水平方向和垂直方向的有效焦距，具体可以根据实际使用情况进行设置。
具体地，上述标定模型通常表示为：
其中，si为尺度因子，K摄像机的内参；(Xi Yi Zi)是三维点云数据，(ui vi)是摄像机采集的标定板的二维数据；
为旋转平移矩阵。
在基于上述标定模型进行标定时，可以将三维点云数据替换为上述标定板的角点在激光雷达传感器所在的坐标系中的坐标，将二维数据替换为上述标定板的角点在摄像机所在的坐标系中的坐标，即，由摄像机捕获的图像数据由(u，v)表示，激光雷达传感器捕获的三维点云数据用(x，y，z)表示，使用上述标定模型的目标是建立一个旋转平移矩阵，将三维点云数据(x，y，z)映射到二维图像数据(u，v)。
进一步，上述旋转平移矩阵实际包括旋转矩阵R和平移矩阵T，其中，旋转矩阵R和平移矩阵T也可以成为标定参数，旋转平移矩阵中的元素rij实际是旋转矩阵R中的元素，平移矩阵T也称为平移矢量，旋转平移矩阵中的元素ti实际是平移矩阵T中的元素，通过上述标定模型，以及标定板在不同姿态下得到的角点的三维点云数据和二维图像数据，可以得到一系列的线性方程，进而得到上述旋转平移矩阵中的各个标定参数。
在实际使用时，还可以同时使用多块标定板进行标定，以尽可能的覆盖摄像机的整个视野区域，提高标定的精度。
综上，本发明实施例提供的传感器的联合标定方法，具有以下优点：
(1)激光雷达传感器对标定板的角点检测过程，不需要手动的选取激光点，可实现完全自动的标定过程；
(2)标定过程只需要通过采集一帧激光雷达传感器的三维点云数据和摄像机的二维数据，即可完成标定，使数据处理时间较短，便于部署在工厂产线上；
(3)在标定过程中使用的标定板设计较为简单，只需要一张平板，对材质没有特殊需求，不需要激光雷达专用的高反射率标定板；
(4)在标定过程中，对于标定板的摆放位置没有特殊需求，也不需要获取摆放位置的距离，可实现任意摆放即可实现标定过程，可实现快速的标定。
进一步，本发明实施例还提供了一种传感器的联合标定装置，如图7所示的一种传感器的联合标定装置的结构示意图，包括以下结构：
获取模块70，用于获取第一标定数据和第二标定数据，其中，所述第一标定数据为标定板以预设姿态倾斜设置时，激光雷达传感器采集的所述标定板的三维点云数据；所述第二标定数据为所述标定板以预设姿态倾斜设置时，摄像机采集的所述标定板的二维数据；
提取模块72，用于提取所述第一标定数据和所述第二标定数据分别包含的所述标定板的目标位置的坐标；
标定模块74，用于将所述目标位置的坐标输入至预先建立的标定模型，基于所述标定模型计算所述摄像机与所述激光雷达传感器之间的旋转平移矩阵。
本发明实施例提供的传感器的联合标定装置，与上述实施例提供的传感器的联合标定方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
进一步，本发明实施例提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现图1所示的方法。
进一步，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现图1所示的方法。
进一步，本发明实施例还提供了一种电子设备的结构示意图，如图8所示，为该电子设备的结构示意图，其中，该电子设备包括处理器81和存储器80，该存储器80存储有能够被该处理器81执行的计算机可执行指令，该处理器81执行该计算机可执行指令以实现上述传感器的联合标定方法。
在图8示出的实施方式中，该电子设备还包括总线82和通信接口83，其中，处理器81、通信接口83和存储器80通过总线82连接。
其中，存储器80可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线82可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线82可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器81可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器81中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器81可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器81读取存储器中的信息，结合其硬件完成前述实施例的传感器的联合标定方法。
本发明实施例所提供的传感器的联合标定方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种传感器的联合标定方法，其特征在于，包括：
获取第一标定数据和第二标定数据，其中，所述第一标定数据为标定板以预设姿态倾斜设置时，激光雷达传感器采集的所述标定板的三维点云数据；所述第二标定数据为所述标定板以预设姿态倾斜设置时，摄像机采集的所述标定板的二维数据；
提取所述第一标定数据和所述第二标定数据分别包含的所述标定板的目标位置的坐标；
将所述目标位置的坐标输入至预先建立的标定模型，基于所述标定模型计算所述摄像机与所述激光雷达传感器之间的旋转平移矩阵。
2.根据权利要求1所述的方法，其特征在于，提取所述第一标定数据和所述第二标定数据分别包含的所述标定板的目标位置的坐标的步骤包括：
将所述标定板的角点确定为目标位置，提取所述第一标定数据中，所述角点对应的三维点云数据，以及，提取所述第二标定数据中，所述角点对应的二维数据。
3.根据权利要求2所述的方法，其特征在于，提取所述第一标定数据中，所述角点对应的三维点云数据的步骤包括：
提取所述第一标定数据中包括的所述标定板的边缘点；
基于所述边缘点对所述标定板的边线进行直线拟合，得到所述标定板的边线的直线方程组；
根据所述边线的直线方程组计算所述角点对应的三维点云数据；其中，所述三维点云数据包括所述角点在所述激光雷达传感器所在的坐标系中的坐标。
4.根据权利要求3所述的方法，其特征在于，根据所述边线的直线方程组计算所述角点对应的三维点云数据的步骤包括：
计算所述直线方程组中包括的任意相邻两个直线方程的交点坐标，将所述交点坐标确定为所述角点对应的三维点云数据；或者，
计算所述直线方程组中包括的任意相邻两个直线方程之间的距离，将所述距离的中点位置确定为两个所述直线方程之间的交点坐标，将所述交点坐标确定为所述角点对应的三维点云数据。
5.根据权利要求2所述的方法，其特征在于，所述标定板印制有预设的标定标识；
提取所述第二标定数据中，所述角点对应的二维数据的步骤包括：
获取与所述标定标识对应的检测算法，基于所述检测算法提取所述第二标定数据中所述角点对应的二维数据；
其中，所述二维数据包括所述角点在所述摄像机所在的坐标系中的坐标。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取预先配置的所述摄像机的参数信息，其中，所述参数信息至少包括所述摄像机的尺度因子和所述摄像机的内参；
基于所述参数信息建立所述标定模型。
7.根据权利要求6所述的方法，其特征在于，所述标定模型表示为，
其中，si为所述尺度因子，K所述摄像机的内参；(Xi Yi Zi)是所述三维点云数据，(uivi)是所述摄像机采集的所述标定板的二维数据；
为所述旋转平移矩阵。
8.一种传感器的联合标定装置，其特征在于，包括：
获取模块，用于获取第一标定数据和第二标定数据，其中，所述第一标定数据为标定板以预设姿态倾斜设置时，激光雷达传感器采集的所述标定板的三维点云数据；所述第二标定数据为所述标定板以预设姿态倾斜设置时，摄像机采集的所述标定板的二维数据；
提取模块，用于提取所述第一标定数据和所述第二标定数据分别包含的所述标定板的目标位置的坐标；
标定模块，用于将所述目标位置的坐标输入至预先建立的标定模型，基于所述标定模型计算所述摄像机与所述激光雷达传感器之间的旋转平移矩阵。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011152773.3A CN112162263A (zh) | 2020-10-26 | 2020-10-26 | 传感器的联合标定方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011152773.3A CN112162263A (zh) | 2020-10-26 | 2020-10-26 | 传感器的联合标定方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112162263A true CN112162263A (zh) | 2021-01-01 |
Family
ID=73866193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011152773.3A Pending CN112162263A (zh) | 2020-10-26 | 2020-10-26 | 传感器的联合标定方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112162263A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034567A (zh) * | 2021-03-31 | 2021-06-25 | 奥比中光科技集团股份有限公司 | 一种深度真值获取方法、装置、系统及深度相机 |
| CN113884104A (zh) * | 2021-09-27 | 2022-01-04 | 苏州挚途科技有限公司 | 多传感器联合标定方法、装置及电子设备 |
| CN114509762A (zh) * | 2022-02-15 | 2022-05-17 | 南京慧尔视智能科技有限公司 | 一种数据处理方法、装置、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107976669A (zh) * | 2016-10-21 | 2018-05-01 | 法乐第(北京)网络科技有限公司 | 一种确定相机与激光雷达之间的外参数的装置 |
| CN107976668A (zh) * | 2016-10-21 | 2018-05-01 | 法乐第(北京)网络科技有限公司 | 一种确定相机与激光雷达之间的外参数的方法 |
| CN110349221A (zh) * | 2019-07-16 | 2019-10-18 | 北京航空航天大学 | 一种三维激光雷达与双目可见光传感器的融合标定方法 |
| CN110599541A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
| CN111127563A (zh) * | 2019-12-18 | 2020-05-08 | 北京万集科技股份有限公司 | 联合标定方法、装置、电子设备及存储介质 |
| CN111627072A (zh) * | 2020-04-30 | 2020-09-04 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
| CN111754578A (zh) * | 2019-03-26 | 2020-10-09 | 舜宇光学（浙江）研究院有限公司 | 一种用于激光雷达和相机的联合标定方法及其系统和电子设备 |
-
2020
- 2020-10-26 CN CN202011152773.3A patent/CN112162263A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107976669A (zh) * | 2016-10-21 | 2018-05-01 | 法乐第(北京)网络科技有限公司 | 一种确定相机与激光雷达之间的外参数的装置 |
| CN107976668A (zh) * | 2016-10-21 | 2018-05-01 | 法乐第(北京)网络科技有限公司 | 一种确定相机与激光雷达之间的外参数的方法 |
| CN111754578A (zh) * | 2019-03-26 | 2020-10-09 | 舜宇光学（浙江）研究院有限公司 | 一种用于激光雷达和相机的联合标定方法及其系统和电子设备 |
| CN110349221A (zh) * | 2019-07-16 | 2019-10-18 | 北京航空航天大学 | 一种三维激光雷达与双目可见光传感器的融合标定方法 |
| CN110599541A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
| CN111127563A (zh) * | 2019-12-18 | 2020-05-08 | 北京万集科技股份有限公司 | 联合标定方法、装置、电子设备及存储介质 |
| CN111627072A (zh) * | 2020-04-30 | 2020-09-04 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 张坚: "基于机器视觉的移动机器人定位系统设计", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 6, pages 11 - 13 * |
| 李民: "基于惯性和视觉组合的头盔位姿测量系统分析与设计", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 9, pages 12 - 22 * |
| 李阳等: "基于AprilTag的视觉定位方法研究", 《第十届中国卫星导航年会论文集—S10 PNT体系与多源融合导航》, pages 55 - 59 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034567A (zh) * | 2021-03-31 | 2021-06-25 | 奥比中光科技集团股份有限公司 | 一种深度真值获取方法、装置、系统及深度相机 |
| CN113884104A (zh) * | 2021-09-27 | 2022-01-04 | 苏州挚途科技有限公司 | 多传感器联合标定方法、装置及电子设备 |
| CN113884104B (zh) * | 2021-09-27 | 2024-02-02 | 苏州挚途科技有限公司 | 多传感器联合标定方法、装置及电子设备 |
| CN114509762A (zh) * | 2022-02-15 | 2022-05-17 | 南京慧尔视智能科技有限公司 | 一种数据处理方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112162263A (zh) | 传感器的联合标定方法、装置及电子设备 | |
| JP3735344B2 (ja) | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム | |
| CN110956660B (zh) | 定位方法、机器人以及计算机存储介质 | |
| JP4442661B2 (ja) | ３次元計測方法および３次元計測装置 | |
| CN111627075B (zh) | 基于aruco码的摄像头外参标定方法、系统、终端及介质 | |
| CN109455619B (zh) | 集装箱姿态的定位方法、装置及吊具控制器 | |
| CN111681285B (zh) | 一种标定方法、装置、电子设备及存储介质 | |
| CN113256729A (zh) | 激光雷达与相机的外参标定方法、装置、设备及存储介质 | |
| CN112270719A (zh) | 相机标定方法、装置及系统 | |
| CN111681186A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN110796709A (zh) | 车架号尺寸获取方法、装置、计算机设备和存储介质 | |
| WO2023060927A1 (zh) | 一种3d光栅检测方法、装置、计算机设备及可读存储介质 | |
| CN117315046A (zh) | 一种环视相机标定方法、装置、电子设备及存储介质 | |
| CN112802114B (zh) | 多视觉传感器融合装置及其方法和电子设备 | |
| CN114821497A (zh) | 目标物位置的确定方法、装置、设备及存储介质 | |
| CN114267032A (zh) | 一种集装箱定位识别方法、装置、设备及存储介质 | |
| CN110825079A (zh) | 一种地图构建方法及装置 | |
| CN114494316A (zh) | 角点标记方法、参数标定方法、介质及电子设备 | |
| CN118115582A (zh) | 基于yolo的单目相机塔机吊钩位姿识别方法及系统 | |
| CN112767498A (zh) | 相机标定方法、装置和电子设备 | |
| CN116203976A (zh) | 变电站室内巡检方法、装置、无人机和存储介质 | |
| CN113870190B (zh) | 竖直线条检测方法、装置、设备及存储介质 | |
| CN113884104B (zh) | 多传感器联合标定方法、装置及电子设备 | |
| CN113128247B (zh) | 一种图像定位标识验证方法及服务器 | |
| CN117392231A (zh) | 标定板、标定方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210101 |