CN111260733A - 车载环视多相机系统的外参数估计方法及其系统 - Google Patents

车载环视多相机系统的外参数估计方法及其系统 Download PDF

Info

Publication number
CN111260733A
CN111260733A CN202010029715.5A CN202010029715A CN111260733A CN 111260733 A CN111260733 A CN 111260733A CN 202010029715 A CN202010029715 A CN 202010029715A CN 111260733 A CN111260733 A CN 111260733A
Authority
CN
China
Prior art keywords
camera
frame
picture
representing
ith
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010029715.5A
Other languages
English (en)
Other versions
CN111260733B (zh
Inventor
欧阳展鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motovis Technology Shanghai Co ltd
Original Assignee
Motovis Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motovis Technology Shanghai Co ltd filed Critical Motovis Technology Shanghai Co ltd
Priority to CN202010029715.5A priority Critical patent/CN111260733B/zh
Publication of CN111260733A publication Critical patent/CN111260733A/zh
Application granted granted Critical
Publication of CN111260733B publication Critical patent/CN111260733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

一种车载环视多相机系统的外参数估计方法，包括：通过随车辆平面移动且标定好内参数的车载环视多相机系统采集环境图片；检测每一个相机所采集图片中的特征点以及特征线，对相邻帧的特征点进行匹配，计算出每个相机的平移向量；提取每一帧图片中垂直于真实地面的竖向特征线，计算从对应当前图片的相机射出的垂直于竖向特征线的法向量；对相机所采集图片进行分类；随机选取一帧直线行驶图片，使用该直线行驶图片对应的法向量以及平移向量计算出相应相机与车体坐标系的旋转矩阵的初值；对初值进行优化。本发明解决了在相机之间无(很少)视场重叠区的极端情况下相机系统外参数标定困难的问题，节省场地、节约标识物的设计与制造费用。

Description

车载环视多相机系统的外参数估计方法及其系统
技术领域
本发明属于多相机系统技术领域，尤其涉及一种车载环视多相机系统的外参数估计方法及其系统。
背景技术
作为当今世界最具潜力之一的技术，无人驾驶是指汽车在不需要认为操作的情况下，通过自身配备的传感器感知周围环境并完成导航任务。普华永道预测无人驾驶技术的普及将使整体交通事故减少百分之九十；毕马威汽车研究中心预测，无人驾驶技术将驱使生产力与能源效率将能获得改善，并会出现新的商业模式。
无人驾驶汽车通常配备有相机、惯性测量单元(IMU)、激光雷达和全球定位系统(GPS)等传感器。其中，相机能够感知的外界信息最为丰富，包括景物的色彩、结构、纹理以及一些语义信息(如：道路、行人、交通标识等)。相比于人类驾驶员在同一时刻仅能够观测某一方向的交通状况，无人驾驶技术旨在实现360度全方位无死角地对车身四周的环境进行感知。由于单个相机的视场角有限，通常使用多个相机组成车载环视多相机系统。导航任务通常要求将多相机的信息转换到同一个坐标系下进行描述，因此需要对多相机之间的外参数进行标定。对于小型车辆，厂商或开发者可以通过搭建静态的标识物(标定板)，通过全局定位获得多目相机之间的外参数。然而，对于大型车辆(如带有拖车的重型卡车)，在兼顾环视无死角和出于成本考量的前提下，车身上的相机数量有限。此时出现两个问题：(1)相机与相机之间会有很大的间隔；(2)某些相机之间没有(或只有很小的)视野重叠区。这些实际情况使得对于车载环视多相机系统的外参数标定变得非常困难。简单地照搬上述对于小型车辆环视多目相机的标定策略会对场地有很大要求。
发明内容
基于此，针对上述技术问题，提供一种车载环视多相机系统的外参数估计方法及其系统。
为解决上述技术问题，本发明采用如下技术方案：
一种车载环视多相机系统的外参数估计方法，包括：
S101、通过随车辆平面移动且标定好内参数的车载环视多相机系统采集环境图片；
S102、检测每一个相机所采集图片中的特征点以及特征线，对相邻帧的特征点进行匹配，通过如下的对极约束关系计算出每个相机的平移向量
Figure BDA0002363810820000021
以及旋转矩阵
Figure BDA0002363810820000022
Figure DEST_PATH_2
其中，c表示相机，
Figure BDA0002363810820000024
以及
Figure BDA0002363810820000025
分别表示第K个3D点在相机的相邻第i帧以及第j帧中的坐标，
Figure BDA0002363810820000026
以及
Figure BDA0002363810820000027
分别表示相机从第j帧到第i帧的平移向量以及旋转矩阵，πc分别表示相机的内参矩阵，
Figure BDA0002363810820000028
表示所述内参矩阵的逆矩阵，
Figure DEST_PATH_1
表示对所述内参矩阵取转置再取逆；
S103、提取每一帧图片中垂直于真实地面的竖向特征线，通过如下公式得到从对应当前图片的相机射出的垂直于所述竖向特征线的法向量
Figure BDA00023638108200000210
Figure BDA00023638108200000211
其中，cl表示第l个相机，
Figure BDA00023638108200000212
表示第l个相机采集的第i帧图片中特征线Lk的法向量，
Figure BDA00023638108200000213
表示第l个相机采集的第i帧图片中特征线Lk上的第n个2D 点的坐标，
Figure BDA00023638108200000214
表示第l个相机内参矩阵的逆矩阵，T为矩阵转置符号，
Figure BDA00023638108200000215
表示取零空间；
S104、对相机所采集图片进行分类，若前后相邻两帧图片满足如下公式，则前一帧图片为直线行驶图片，否则为其他帧：
Figure BDA00023638108200000216
其中，I表示单位矩阵，τ为预设阈值，||·||F表示取弗罗贝尼乌斯范数；
S105、随机选取一帧直线行驶图片，使用该直线行驶图片对应的法向量以及平移向量计算出相应相机与车体坐标系的旋转矩阵的初值,所述初值由
Figure BDA00023638108200000217
以及
Figure BDA00023638108200000218
构成，三者分别表示从车体坐标系v到第l个相机的坐标系的旋转矩阵
Figure BDA0002363810820000031
的第1列、第2列以及第3列，其中，
Figure BDA0002363810820000032
Figure BDA0002363810820000033
表示第l个相机采集的直线行驶图片中特征线Lk的法向量，
Figure BDA0002363810820000034
表示第l 个相机从第j帧到第i帧的平移向量；
S106、通过如下总能量函
数对所述初值进行优化：
Figure BDA0002363810820000035
其中，
Figure BDA0002363810820000036
为车体坐标系v在第m帧的绝对姿态，
Figure BDA0002363810820000037
Figure BDA0002363810820000038
Figure BDA0002363810820000039
其直线约束为
Figure BDA00023638108200000318
h0 ()、h1()以及h2()为用鲁棒性更好的Huber norm代替L2-norm，λ1以及λ2分别为E1以及E2的系数，
Figure BDA00023638108200000312
以及
Figure BDA00023638108200000313
分别表示车体坐标系v在第i帧以及第j帧的绝对姿态，通过
Figure BDA00023638108200000314
求得，
Figure BDA00023638108200000315
表示相机从第j帧到第i帧的旋转矩阵，τ1为预设阈值，d为相机的编号。
所述车辆平面移动5米的直线以及5米的曲线。
所述步骤S106采用Levenberg-Marquardt优化算法。
本发明还涉及一种车载环视多相机系统的外参数估计系统，包括存储模块，所述存储模块包括由处理器加载并执行的多条指令：
S101、通过随车辆平面移动且标定好内参数的车载环视多相机系统采集环境图片；
S102、检测每一个相机所采集图片中的特征点以及特征线，对相邻帧的特征点进行匹配，通过如下的对极约束关系计算出每个相机的平移向量
Figure BDA00023638108200000316
以及旋转矩阵
Figure BDA00023638108200000317
Figure 794644DEST_PATH_2
其中，c表示相机，
Figure BDA0002363810820000042
以及
Figure BDA0002363810820000043
分别表示第K个3D点在相机的相邻第i帧以及第j帧中的坐标，
Figure BDA0002363810820000044
以及
Figure BDA0002363810820000045
分别表示相机从第j帧到第i帧的平移向量以及旋转矩阵，πc分别表示相机的内参矩阵，
Figure BDA0002363810820000046
表示所述内参矩阵的逆矩阵，
Figure 40859DEST_PATH_1
表示对所述内参矩阵取转置再取逆；
S103、提取每一帧图片中垂直于真实地面的竖向特征线，通过如下公式得到从对应当前图片的相机射出的垂直于所述竖向特征线的法向量
Figure BDA0002363810820000048
Figure BDA0002363810820000049
其中，cl表示第l个相机，
Figure BDA00023638108200000410
表示第l个相机采集的第i帧图片中特征线Lk的法向量，
Figure BDA00023638108200000411
表示第l个相机采集的第i帧图片中特征线Lk上的第n个2D 点的坐标，
Figure BDA00023638108200000412
表示第l个相机内参矩阵的逆矩阵，T为矩阵转置符号，
Figure BDA00023638108200000413
表示取零空间；
S104、对相机所采集图片进行分类，若前后相邻两帧图片满足如下公式，则前一帧图片为直线行驶图片，否则为其他帧：
Figure BDA00023638108200000414
其中，I表示单位矩阵，τ为预设阈值，||·||F表示取弗罗贝尼乌斯范数；
S105、随机选取一帧直线行驶图片，使用该直线行驶图片对应的法向量以及平移向量计算出相应相机与车体坐标系的旋转矩阵的初值,所述初值由
Figure BDA00023638108200000415
以及
Figure BDA00023638108200000416
构成，三者分别表示从车体坐标系v到第l个相机的坐标系的旋转矩阵
Figure BDA00023638108200000417
的第1列、第2列以及第3列，其中，
Figure BDA00023638108200000418
Figure BDA00023638108200000419
表示第l个相机采集的直线行驶图片中特征线Lk的法向量，
Figure BDA00023638108200000420
表示第l 个相机从第j帧到第i帧的平移向量；
S106、通过如下总能量函数对所述初值进行优化：
Figure BDA00023638108200000421
其中，
Figure BDA00023638108200000422
为车体坐标系v在第m帧的绝对姿态，
Figure BDA00023638108200000423
Figure BDA0002363810820000051
Figure BDA0002363810820000052
其直线约束为
Figure BDA0002363810820000053
h0 ()、h1()以及h2()为用鲁棒性更好的Huber norm代替L2-norm，λ1以及λ2分别为E1以及E2的系数，
Figure BDA0002363810820000054
以及
Figure BDA0002363810820000055
分别表示车体坐标系v在第i帧以及第j帧的绝对姿态，通过
Figure BDA0002363810820000056
求得，
Figure BDA0002363810820000057
表示相机从第j帧到第i帧的旋转矩阵，τ1为预设阈值，d为相机的编号。
所述车辆平面移动5米的直线以及5米的曲线。
所述步骤S106采用Levenberg-Marquardt优化算法。
本发明只需相机系统采集一些在平面运动的图像，易于实现和操作，解决了在相机之间无(很少)视场重叠区的极端情况下相机系统外参数标定困难的问题，并且本发明只使用相机得到最简单的点和线的观测数据,并基于此建立能量函数的优化策略，得到精确的相机与车体的旋转估计，不需要引入任何辅助工具，节省场地、节约标识物的设计与制造费用,适用于大型车辆平台上的环视相机系统的外参数标定。
附图说明
下面结合附图和具体实施方式本发明进行详细说明：
图1为本发明实施例的流程图；
图2为本发明的特征点示意图；
图3为本发明的特征线示意图；
图4为本发明的特征点匹配示意图；
图5为本发明的竖向特征线示意图；
图6为本发明的法向量计算示意图。
具体实施方式
如图1所示，一种车载环视多相机系统的外参数估计方法，包括：
S101、通过随车辆平面移动且标定好内参数的车载环视多相机系统采集环境图片。
启动相机后，让车辆尽量在平面上行驶，环境要求有适当的线特征和特征点。车辆需要走大约5米的直线以及5米的曲线,从而可以采集到足够的帧。
S102、检测每一个相机所采集图片中的特征点以及特征线(参见图2以及图3)，对相邻帧的特征点进行匹配(参见图4)，通过如下的对极约束关系计算出每个相机的平移向量
Figure BDA0002363810820000061
以及旋转矩阵
Figure BDA0002363810820000062
Figure 546699DEST_PATH_2
其中，c表示相机，
Figure BDA0002363810820000064
以及
Figure BDA0002363810820000065
分别表示第K个3D点在相机的相邻第i帧以及第j帧中的坐标，
Figure BDA0002363810820000066
以及
Figure BDA0002363810820000067
分别表示相机从第j帧到第i帧的平移向量以及旋转矩阵，πc分别表示相机的内参矩阵，
Figure BDA0002363810820000068
表示所述内参矩阵的逆矩阵，
Figure 958000DEST_PATH_1
表示对所述内参矩阵取转置再取逆。
若相邻帧上的两个特征点对应同一个3D点，则该两个特征点为特征点对。
在图像处理中，特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像特征点在基于特征点的图像匹配算法中有着十分重要的作用，图像特征点能够反映图像本质特征，能够标识图像中目标物体，通过特征点的匹配能够完成图像的匹配。同理，特征线是指图像灰度值发生剧烈变化线。
S103、提取每一帧图片中垂直于真实地面的竖向特征线(参见图5)，通过如下公式得到从对应当前图片的相机射出的垂直于上述竖向特征线的法向量
Figure BDA00023638108200000610
参见图6：
Figure BDA00023638108200000611
其中，cl表示第l个相机，
Figure BDA00023638108200000612
表示第l个相机采集的第i帧图片中特征线Lk的法向量，
Figure BDA00023638108200000613
表示第l个相机采集的第i帧图片中特征线Lk上的第n个2D 点的坐标，
Figure BDA00023638108200000614
表示第l个相机内参矩阵的逆矩阵，T为矩阵转置符号，
Figure BDA00023638108200000615
表示取零空间；
与相机坐标系Y轴方向(在此默认使用右手坐标系)平行的特征线为竖向特征线，在本实施例中，若相机水平于地面放置，那么相机的铅垂线方向即可认为是相机坐标系的Y轴方向,若相机非水平于放置地面，可配合惯性测量单元IMU得到相机坐标系的Y轴方向。
在图6中，L1以及L2为两条竖向特征线。
S104、对相机所采集图片进行分类，若前后相邻两帧图片满足如下公式，则前一帧图片为直线行驶图片，否则为其他帧：
Figure BDA0002363810820000071
其中，I表示单位矩阵，τ为预设阈值，||·||F表示取弗罗贝尼乌斯范数。
在本实施例中，τ为0.2-0.4。
S105、随机选取一帧直线行驶图片，使用该直线行驶图片对应的法向量以及平移向量计算出相应相机与车体坐标系的旋转矩阵的初值,该初值由
Figure BDA0002363810820000072
以及
Figure BDA0002363810820000073
构成，三者分别表示从车体坐标系v到第l个相机的坐标系的旋转矩阵
Figure BDA0002363810820000074
的第1列、第2列以及第3列，其中，
Figure BDA0002363810820000075
Figure BDA0002363810820000076
表示第l个相机采集的直线行驶图片中特征线Lk的法向量，
Figure BDA0002363810820000077
表示第l 个相机从第j帧到第i帧的平移向量。
S106、采用Levenberg-Marquardt优化算法，通过如下总能量函数对上述初值进行优化：
Figure BDA0002363810820000078
其中，
Figure BDA0002363810820000079
为车体坐标系v在第m帧的绝对姿态，
Figure BDA00023638108200000710
Figure BDA00023638108200000711
Figure BDA00023638108200000712
其直线约束为
Figure BDA0002363810820000081
h0 ()、h1()以及h2()为用鲁棒性更好的Huber norm(Huber范数)代替 L2-norm(L2范数)，λ1以及λ2分别为E1以及E2的系数，
Figure BDA0002363810820000082
以及
Figure BDA0002363810820000083
分别表示车体坐标系v在第i帧以及第j帧的绝对姿态，通过
Figure BDA0002363810820000084
求得，
Figure BDA0002363810820000085
表示相机从第j帧到第i帧的旋转矩阵，τ1为预设阈值，d为相机的编号。
在本实施例中，τ1为0.2-0.5。
本发明还涉及一种车载环视多相机系统的外参数估计系统，包括存储模块，存储模块包括由处理器加载并执行的多条指令：
S101、通过随车辆平面移动且标定好内参数的车载环视多相机系统采集环境图片。
启动相机后，让车辆尽量在平面上行驶，环境要求有适当的线特征和特征点。车辆需要走大约5米的直线以及5米的曲线,从而可以采集到足够的帧。
S102、检测每一个相机所采集图片中的特征点以及特征线(参见图2以及图3)，对相邻帧的特征点进行匹配(参见图4)，通过如下的对极约束关系计算出每个相机的平移向量
Figure BDA0002363810820000086
以及旋转矩阵
Figure BDA0002363810820000087
Figure 369161DEST_PATH_2
其中，c表示相机，
Figure BDA0002363810820000089
以及
Figure BDA00023638108200000810
分别表示第K个3D点在相机的相邻第i帧以及第j帧中的坐标，
Figure BDA00023638108200000811
以及
Figure BDA00023638108200000812
分别表示相机从第j帧到第i帧的平移向量以及旋转矩阵，πc分别表示相机的内参矩阵，
Figure BDA00023638108200000813
表示所述内参矩阵的逆矩阵，
Figure 173955DEST_PATH_1
表示对所述内参矩阵取转置再取逆。
若相邻帧上的两个特征点对应同一个3D点，则该两个特征点为特征点对。
在图像处理中，特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像特征点在基于特征点的图像匹配算法中有着十分重要的作用，图像特征点能够反映图像本质特征，能够标识图像中目标物体，通过特征点的匹配能够完成图像的匹配。同理，特征线是指图像灰度值发生剧烈变化线。
S103、提取每一帧图片中垂直于真实地面的竖向特征线(参见图5)，通过如下公式得到从对应当前图片的相机射出的垂直于上述竖向特征线的法向量
Figure BDA0002363810820000091
参见图6：
Figure BDA0002363810820000092
其中，cl表示第l个相机，
Figure BDA0002363810820000093
表示第l个相机采集的第i帧图片中特征线Lk的法向量，
Figure BDA0002363810820000094
表示第l个相机采集的第i帧图片中特征线Lk上的第n个2D 点的坐标，
Figure BDA0002363810820000095
表示第l个相机内参矩阵的逆矩阵，T为矩阵转置符号，
Figure BDA0002363810820000096
表示取零空间；
与相机坐标系Y轴方向(在此默认使用右手坐标系)平行的特征线为竖向特征线，在本实施例中，若相机水平于地面放置，那么相机的铅垂线方向即可认为是相机坐标系的Y轴方向,若相机非水平于放置地面，可配合惯性测量单元IMU得到相机坐标系的Y轴方向。
在图6中，L1以及L2为两条竖向特征线。
S104、对相机所采集图片进行分类，若前后相邻两帧图片满足如下公式，则前一帧图片为直线行驶图片，否则为其他帧：
Figure BDA0002363810820000097
其中，I表示单位矩阵，τ为预设阈值，||·||F表示取弗罗贝尼乌斯范数。
在本实施例中，τ为0.2-0.4。
S105、随机选取一帧直线行驶图片，使用该直线行驶图片对应的法向量以及平移向量计算出相应相机与车体坐标系的旋转矩阵的初值,该初值由
Figure BDA0002363810820000098
以及
Figure BDA0002363810820000099
构成，三者分别表示从车体坐标系v到第l个相机的坐标系的旋转矩阵
Figure BDA00023638108200000910
的第1列、第2列以及第3列，其中，
Figure BDA00023638108200000911
Figure BDA00023638108200000912
表示第l个相机采集的直线行驶图片中特征线Lk的法向量，
Figure BDA00023638108200000913
表示第l 个相机从第j帧到第i帧的平移向量。
S106、采用Levenberg-Marquardt优化算法，通过如下总能量函数对上述初值进行优化：
Figure BDA00023638108200000914
其中，
Figure BDA00023638108200000915
为车体坐标系v在第m帧的绝对姿态，
Figure BDA0002363810820000101
Figure BDA0002363810820000102
Figure BDA0002363810820000103
其直线约束为
Figure BDA0002363810820000104
h0 ()、h1()以及h2()为用鲁棒性更好的Huber norm(Huber范数)代替 L2-norm(L2范数)，λ1以及λ2分别为E1以及E2的系数，
Figure BDA0002363810820000105
以及
Figure BDA0002363810820000106
分别表示车体坐标系v在第i帧以及第j帧的绝对姿态，通过
Figure BDA0002363810820000107
求得，
Figure BDA0002363810820000108
表示相机从第j帧到第i帧的旋转矩阵，τ1为预设阈值，d为相机的编号。
在本实施例中，τ1为0.2-0.5。
本发明只需相机系统采集一些在平面运动的图像，易于实现和操作，解决了在相机之间无(很少)视场重叠区的极端情况下相机系统外参数标定困难的问题，并且本发明只使用相机得到最简单的点和线的观测数据,并基于此建立能量函数的优化策略，得到精确的相机与车体的旋转估计，不需要引入任何辅助工具，节省场地、节约标识物的设计与制造费用,适用于大型车辆平台上的环视相机系统的外参数标定。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (6)

1.一种车载环视多相机系统的外参数估计方法，其特征在于，包括：
S101、通过随车辆平面移动且标定好内参数的车载环视多相机系统采集环境图片；
S102、检测每一个相机所采集图片中的特征点以及特征线，对相邻帧的特征点进行匹配，通过如下的对极约束关系计算出每个相机的平移向量
Figure FDA0002363810810000011
以及旋转矩阵
Figure FDA0002363810810000012
Figure 2
其中，c表示相机，
Figure FDA0002363810810000014
以及
Figure FDA0002363810810000015
分别表示第K个3D点在相机的相邻第i帧以及第j帧中的坐标，
Figure FDA0002363810810000016
以及
Figure FDA0002363810810000017
分别表示相机从第j帧到第i帧的平移向量以及旋转矩阵，πc分别表示相机的内参矩阵，
Figure FDA0002363810810000018
表示所述内参矩阵的逆矩阵，
Figure 1
表示对所述内参矩阵取转置再取逆；
S103、提取每一帧图片中垂直于真实地面的竖向特征线，通过如下公式得到从对应当前图片的相机射出的垂直于所述竖向特征线的法向量
Figure FDA00023638108100000110
Figure FDA00023638108100000111
其中，cl表示第l个相机，
Figure FDA00023638108100000112
表示第l个相机采集的第i帧图片中特征线Lk的法向量，
Figure FDA00023638108100000113
表示第l个相机采集的第i帧图片中特征线Lk上的第n个2D点的坐标，
Figure FDA00023638108100000114
表示第l个相机内参矩阵的逆矩阵，T为矩阵转置符号，
Figure FDA00023638108100000115
表示取零空间；
S104、对相机所采集图片进行分类，若前后相邻两帧图片满足如下公式，则前一帧图片为直线行驶图片，否则为其他帧：
Figure FDA00023638108100000116
其中，I表示单位矩阵，τ为预设阈值，||·||F表示取弗罗贝尼乌斯范数；
S105、随机选取一帧直线行驶图片，使用该直线行驶图片对应的法向量以及平移向量计算出相应相机与车体坐标系的旋转矩阵的初值,所述初值由
Figure FDA00023638108100000117
以及
Figure FDA00023638108100000118
构成，三者分别表示从车体坐标系v到第l个相机的坐标系的旋转矩阵
Figure FDA00023638108100000119
的第1列、第2列以及第3列，其中，
Figure FDA00023638108100000120
Figure FDA0002363810810000021
表示第l个相机采集的直线行驶图片中特征线Lk的法向量，
Figure FDA0002363810810000022
表示第l个相机从第j帧到第i帧的平移向量；
S106、通过如下总能量函数对所述初值进行优化：
Figure FDA0002363810810000023
其中，
Figure FDA0002363810810000024
为车体坐标系v在第m帧的绝对姿态，
Figure FDA0002363810810000025
Figure FDA0002363810810000026
Figure FDA0002363810810000027
其直线约束为
Figure FDA0002363810810000028
h0()、h1()以及h2()为用鲁棒性更好的Huber norm代替L2-norm，λ1以及λ2分别为E1以及E2的系数，
Figure FDA0002363810810000029
以及
Figure FDA00023638108100000210
分别表示车体坐标系v在第i帧以及第j帧的绝对姿态，通过
Figure FDA00023638108100000211
求得，
Figure FDA00023638108100000212
表示相机从第j帧到第i帧的旋转矩阵，τ1为预设阈值，d为相机的编号。
2.根据权利要求1所述的一种车载环视多相机系统的外参数估计方法，其特征在于，所述车辆平面移动5米的直线以及5米的曲线。
3.根据权利要求1或2所述的一种车载环视多相机系统的外参数估计方法，其特征在于，所述步骤S106采用Levenberg-Marquardt优化算法。
4.一种车载环视多相机系统的外参数估计系统，其特征在于，包括存储模块，所述存储模块包括由处理器加载并执行的多条指令：
S101、通过随车辆平面移动且标定好内参数的车载环视多相机系统采集环境图片；
S102、检测每一个相机所采集图片中的特征点以及特征线，对相邻帧的特征点进行匹配，通过如下的对极约束关系计算出每个相机的平移向量
Figure FDA0002363810810000031
以及旋转矩阵
Figure FDA0002363810810000032
Figure 2
其中，c表示相机，
Figure FDA0002363810810000034
以及
Figure FDA0002363810810000035
分别表示第K个3D点在相机的相邻第i帧以及第j帧中的坐标，
Figure FDA0002363810810000036
以及
Figure FDA0002363810810000037
分别表示相机从第j帧到第i帧的平移向量以及旋转矩阵，πc分别表示相机的内参矩阵，
Figure FDA0002363810810000038
表示所述内参矩阵的逆矩阵，
Figure 1
表示对所述内参矩阵取转置再取逆；
S103、提取每一帧图片中垂直于真实地面的竖向特征线，通过如下公式得到从对应当前图片的相机射出的垂直于所述竖向特征线的法向量
Figure FDA00023638108100000310
Figure FDA00023638108100000311
其中，cl表示第l个相机，
Figure FDA00023638108100000312
表示第l个相机采集的第i帧图片中特征线Lk的法向量，
Figure FDA00023638108100000313
表示第l个相机采集的第i帧图片中特征线Lk上的第n个2D点的坐标，
Figure FDA00023638108100000314
表示第l个相机内参矩阵的逆矩阵，T为矩阵转置符号，
Figure FDA00023638108100000315
表示取零空间；
S104、对相机所采集图片进行分类，若前后相邻两帧图片满足如下公式，则前一帧图片为直线行驶图片，否则为其他帧：
Figure FDA00023638108100000316
其中，I表示单位矩阵，τ为预设阈值，||·||F表示取弗罗贝尼乌斯范数；
S105、随机选取一帧直线行驶图片，使用该直线行驶图片对应的法向量以及平移向量计算出相应相机与车体坐标系的旋转矩阵的初值,所述初值由
Figure FDA00023638108100000317
以及
Figure FDA00023638108100000318
构成，三者分别表示从车体坐标系v到第l个相机的坐标系的旋转矩阵
Figure FDA00023638108100000319
的第1列、第2列以及第3列，其中，
Figure FDA00023638108100000320
Figure FDA00023638108100000321
表示第l个相机采集的直线行驶图片中特征线Lk的法向量，
Figure FDA00023638108100000322
表示第l个相机从第j帧到第i帧的平移向量；
S106、通过如下总能量函数对所述初值进行优化：
Figure FDA00023638108100000323
其中，
Figure FDA00023638108100000324
为车体坐标系v在第m帧的绝对姿态，
Figure FDA0002363810810000041
Figure FDA0002363810810000042
Figure FDA0002363810810000043
其直线约束为
Figure FDA0002363810810000044
h0()、h1()以及h2()为用鲁棒性更好的Huber norm代替L2-norm，λ1以及λ2分别为E1以及E2的系数，
Figure FDA0002363810810000045
以及
Figure FDA0002363810810000046
分别表示车体坐标系v在第i帧以及第j帧的绝对姿态，通过
Figure FDA0002363810810000047
求得，
Figure FDA0002363810810000048
表示相机从第j帧到第i帧的旋转矩阵，τ1为预设阈值，d为相机的编号。
5.根据权利要求4所述的一种车载环视多相机系统的外参数估计系统，其特征在于，所述车辆平面移动5米的直线以及5米的曲线。
6.根据权利要求4或5所述的一种车载环视多相机系统的外参数估计系统，其特征在于，所述步骤S106采用Levenberg-Marquardt优化算法。
CN202010029715.5A 2020-01-13 2020-01-13 车载环视多相机系统的外参数估计方法及其系统 Active CN111260733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010029715.5A CN111260733B (zh) 2020-01-13 2020-01-13 车载环视多相机系统的外参数估计方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010029715.5A CN111260733B (zh) 2020-01-13 2020-01-13 车载环视多相机系统的外参数估计方法及其系统

Publications (2)

Publication Number Publication Date
CN111260733A true CN111260733A (zh) 2020-06-09
CN111260733B CN111260733B (zh) 2023-03-24

Family

ID=70950422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010029715.5A Active CN111260733B (zh) 2020-01-13 2020-01-13 车载环视多相机系统的外参数估计方法及其系统

Country Status (1)

Country Link
CN (1) CN111260733B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232246A (zh) * 2020-10-22 2021-01-15 深兰人工智能(深圳)有限公司 基于深度学习的垃圾检测分类方法和装置
CN116228875A (zh) * 2022-11-30 2023-06-06 苏州魔视智能科技有限公司 一种多相机车载系统的标定方法、装置、系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150341629A1 (en) * 2014-05-21 2015-11-26 GM Global Technology Operations LLC Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
WO2017161608A1 (zh) * 2016-03-21 2017-09-28 完美幻境(北京)科技有限公司 一种相机几何标定处理方法及装置
CN107730551A (zh) * 2017-01-25 2018-02-23 问众智能信息科技（北京）有限公司 车载相机姿态自动估计的方法和装置
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机系统的外参数标定方法
US20190204084A1 (en) * 2017-09-29 2019-07-04 Goertek Inc. Binocular vision localization method, device and system
US20190234746A1 (en) * 2016-09-14 2019-08-01 Zhejiang University Method for simultaneous localization and mapping
WO2019179200A1 (zh) * 2018-03-22 2019-09-26 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、vr相机和全景相机

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150341629A1 (en) * 2014-05-21 2015-11-26 GM Global Technology Operations LLC Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
WO2017161608A1 (zh) * 2016-03-21 2017-09-28 完美幻境(北京)科技有限公司 一种相机几何标定处理方法及装置
US20190234746A1 (en) * 2016-09-14 2019-08-01 Zhejiang University Method for simultaneous localization and mapping
CN107730551A (zh) * 2017-01-25 2018-02-23 问众智能信息科技（北京）有限公司 车载相机姿态自动估计的方法和装置
US20190204084A1 (en) * 2017-09-29 2019-07-04 Goertek Inc. Binocular vision localization method, device and system
WO2019179200A1 (zh) * 2018-03-22 2019-09-26 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、vr相机和全景相机
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机系统的外参数标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘今越等: "三维激光雷达-相机间外参的高效标定方法", 《仪器仪表学报》 *
同志学等: "基于双目序列图像的测距定位与自车速度估计", 《应用光学》 *
同志学等: "基于双目视觉的工程车辆定位与行驶速度检测", 《中国机械工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232246A (zh) * 2020-10-22 2021-01-15 深兰人工智能(深圳)有限公司 基于深度学习的垃圾检测分类方法和装置
CN116228875A (zh) * 2022-11-30 2023-06-06 苏州魔视智能科技有限公司 一种多相机车载系统的标定方法、装置、系统及存储介质
CN116228875B (zh) * 2022-11-30 2023-12-08 苏州魔视智能科技有限公司 一种多相机车载系统的标定方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN111260733B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
US10860871B2 (en) Integrated sensor calibration in natural scenes
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
EP3524936A1 (en) Method and apparatus providing information for driving vehicle
CN109443348B (zh) 一种基于环视视觉和惯导融合的地下车库库位跟踪方法
JP7183390B2 (ja) 自律型車両用のカメラ評価技術
CN111442776A (zh) 顺序地面场景图像投影合成与复杂场景重构的方法及设备
DE112019001657T5 (de) Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper
EP3671623B1 (en) Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image
US11557051B2 (en) Training of joint depth prediction and completion
CN114248778B (zh) 移动设备的定位方法和定位装置
CN111260733B (zh) 车载环视多相机系统的外参数估计方法及其系统
CN110458885B (zh) 基于行程感知与视觉融合的定位系统和移动终端
CN111862673A (zh) 基于顶视图的停车场车辆自定位及地图构建方法
EP3364336B1 (en) A method and apparatus for estimating a range of a moving object
US11880902B2 (en) Systems, apparatus, and methods for enhanced image capture
CN111256693A (zh) 一种计算位姿变化方法及车载终端
JP7337617B2 (ja) 推定装置、推定方法及びプログラム
CN114503044A (zh) 用于在3d点云中自动标记对象的系统和方法
US20230109473A1 (en) Vehicle, electronic apparatus, and control method thereof
KR102612821B1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
CN113421325B (zh) 一种基于多传感器融合用于车辆的三维重建方法
WO2022133986A1 (en) Accuracy estimation method and system
RU2767838C1 (ru) Способы и системы для формирования обучающих данных для обнаружения горизонта и плоскости дороги
CN113147746A (zh) 坡道车位的探测方法及装置
Liu et al. The robust semantic slam system for texture-less underground parking lot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant