CN109345596B - 多传感器标定方法、装置、计算机设备、介质和车辆 - Google Patents
多传感器标定方法、装置、计算机设备、介质和车辆 Download PDFInfo
- Publication number
- CN109345596B CN109345596B CN201811094375.3A CN201811094375A CN109345596B CN 109345596 B CN109345596 B CN 109345596B CN 201811094375 A CN201811094375 A CN 201811094375A CN 109345596 B CN109345596 B CN 109345596B
- Authority
- CN
- China
- Prior art keywords
- sensors
- track
- determining
- camera
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000008569 process Effects 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Abstract
本发明实施例公开了一种多传感器标定方法、装置、计算机设备、介质和车辆,其中,该方法包括:分别获取车辆行驶过程中,至少三个传感器在同一段时间内采集到的数据;分别依据至少三个传感器采集到的数据确定各自的轨迹;通过对至少三个传感器各自的轨迹进行轨迹对齐,实现至少三个传感器的联合标定。本发明实施例解决了现有的传感器标定方法中标定精度有限的问题,实现了同时利用多个传感器采集的数据进行标定,最大限度地利用获取到的多源信息,提高了传感器标定的精度。
Description
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种多传感器标定方法、装置、计算机设备、介质和车辆。
背景技术
无人驾驶系统中包含了多个传感器,例如长距雷达、激光雷达、短距雷达、摄像头、超声波、GPS和陀螺仪等,通过多传感器的融合,可以确保车辆控制模块发出安全精准的指令。其中,传感器的标定直接影响着传感数据的精度,因此,传感器的标定在具体应用过程中是一个不可忽视的环节。
目前,在激光雷达、GPS/IMU(Inertial measurement unit,惯性测量装置)和相机之间的标定过程中,一次标定过程往往只利用到了两个传感器之间的标定,例如,激光雷达和GPS/IMU之间的标定,或者,相机和激光雷达之间的标定等,操作过程复杂、耗时,而且标定精度有限。
发明内容
本发明实施例提供一种多传感器标定方法、装置、计算机设备、介质和车辆,以提高传感器标定的精度。
第一方面,本发明实施例提供了一种多传感器标定方法,该方法包括:
分别获取车辆行驶过程中,至少三个传感器在同一段时间内采集到的数据;
分别依据所述至少三个传感器采集到的数据确定各自的轨迹;
通过对所述至少三个传感器各自的轨迹进行轨迹对齐,实现所述至少三个传感器的联合标定。
第二方面,本发明实施例还提供了一种多传感器标定装置,该装置包括:
数据获取模块,用于分别获取车辆行驶过程中,至少三个传感器在同一段时间内采集到的数据;
轨迹确定模块,用于分别依据所述至少三个传感器采集到的数据确定各自的轨迹;
标定模块,用于通过对所述至少三个传感器各自的轨迹进行轨迹对齐,实现所述至少三个传感器的联合标定。
第三方面,本发明实施例还提供了一种计算机设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任一实施例所述的多传感器标定方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任一实施例所述的多传感器标定方法。
第五方面,本发明实施例还提供了一种车辆,包括车体,还包括如本发明实施例所述的计算机设备,以及设置在所述车体上的至少三个传感器,其中,所述至少三个传感器的类型包括激光雷达、相机和定位设备中的至少两种,所述至少三个传感器分别与所述计算机设备进行通信。
本发明实施例首先通过分别获取车辆行驶过程中,至少三个传感器在同一段时间内采集到的数据,然后分别依据获取的至少三个传感器采集到的数据确定各自的轨迹,最后通过对至少三个传感器各自的轨迹进行轨迹对齐,实现至少三个传感器的联合标定,解决了现有的传感器标定方法中标定精度有限的问题,实现了同时利用多个传感器采集的数据进行标定,最大限度地利用获取到的多源信息,提高了传感器标定的精度。
附图说明
图1是本发明实施例一提供的多传感器标定方法的流程图;
图2是本发明实施例二提供的多传感器标定方法的流程图;
图3是本发明实施例三提供的多传感器标定装置的结构示意图;
图4是本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的多传感器标定方法的流程图,本实施例可适用于同时对多个传感器进行标定的情况,该方法可以由多传感器标定装置来执行,该装置可以采用软件和/或硬件的方式实现,并可集成在计算机设备上,该计算设备可以配置在车辆上,例如具有控制和计算能力的无人车等。如图1所示,该方法可以包括:
S110、分别获取车辆行驶过程中,至少三个传感器在同一段时间内采集到的数据。
其中,至少三个传感器中包括至少一种类型的传感器,即传感器的数量大于或等于传感器的类型数量,以三个传感器为例,其中可以包括三种类型的传感器,每种类型下分别对应一个传感器;也可以包括两种类型的传感器,其中一种类型下对应有两个传感器,则另一种类型下对应有一个传感器;还可以包括属于相同类型的三个不同型号的传感器。关于每种类型下对应的传感器数量,本实施例不作具体限定,可以根据车辆的传感器配置情况进行确定。
在车辆行使过程中的同一段时间内,分别获取多个传感器采集的数据,不仅可以发挥不同传感器之间的优势互补,还可以增加传感器标定过程中可用的源信息数量,为提高标定精度奠定基础。
S120、分别依据至少三个传感器采集到的数据确定各自的轨迹。
根据每个传感器采集的数据确定每个传感器各自的轨迹。轨迹的具体确定过程与传感器类型存在相关性。例如,如果传感器类型是相机,可以基于图像识别技术确定相机的轨迹;如果传感器类型是激光雷达,可以基于其采集的激光点云进行三维场景构建,确定出激光雷达的轨迹;如果传感器类型是定位设备,例如GPS、IMU和Encoder(编码器)等,可以直接基于车辆行驶过程中定位设备确定的定位轨迹作为定位设备的轨迹。其中,对于用于感知周围物体的传感器,如相机和激光雷达等,传感器的轨迹是指传感器采集的周围环境数据中同一物体的移动轨迹。
此外,还可以基于机器学习,利用预先训练的针对不同传感器类型的轨迹确定模型,例如相机轨迹确定模型、激光雷达轨迹确定模型和定位设备轨迹确定模型等,确定多个传感器的轨迹。
S130、通过对至少三个传感器各自的轨迹进行轨迹对齐,实现至少三个传感器的联合标定。
不同传感器安装在车辆的不同位置处,随着车辆的行使,不同传感器采集的数据均是相对自身坐标系而言,得到的不同传感器的轨迹便分别对应于不同坐标系。但是,不同传感器的轨迹形状均与车辆的行驶状态相关,具有相似性。基于坐标变换原理,通过不同坐标系下轨迹之间的旋转和平移等变换操作,便可实现不同轨迹的对齐,即多个轨迹的同时重合,此时提取出不同轨迹之间的坐标变换参数,即实现多个传感器的联合标定。
考虑本实施例中的联合标定过程属于在一次标定过程中基于约束方程,同时利用至少三个传感器的轨迹数据,求解得到不同传感器之间的坐标变换参数,相比于现有技术中一次标定过程只利用两个传感器采集的数据求解坐标变换参数,本实施例对标定过程中的参数求解条件要求更高,因而对多个传感器的标定精度更高。并且,由于本实施例中是将多个传感器的轨迹同时进行对齐,而非在多个传感器之间依次进行轨迹的两两对齐,因而简化了对多个传感器进行标定时的标定流程,较少了重复的标定次数与标定操作,进而缓解了计算设备的标定计算压力;同时,本实施例方案还可以避免多个传感器之间两两标定引入的误差累计现象,保证了标定的精度。
可选的,通过对至少三个传感器各自的轨迹进行轨迹对齐,实现至少三个传感器的联合标定,包括:
在至少三个传感器各自的轨迹中任选一个作为目标轨迹,其他轨迹作为对象轨迹;
分别将对象轨迹与目标轨迹进行轨迹对齐操作,并在对象轨迹与目标轨迹同时对齐时,确定出至少三个传感器各自的外参。
当确定出目标轨迹时,便可以将目标轨迹所在的坐标系作为参考坐标系,将剩余的对象轨迹由其当前坐标系统一变换至参考坐标系下,与目标轨迹进行对齐。当不同对象轨迹均与目标轨迹对齐时,便可确定出不同轨迹之间的坐标变换参数,即不同传感器的标定外参,具体可以包括旋转矩阵和平移矢量。
本实施例的技术方案首先通过分别获取车辆行驶过程中,至少三个传感器在同一段时间内采集到的数据,然后分别依据获取的至少三个传感器采集到的数据确定各自的轨迹,最后通过对至少三个传感器各自的轨迹进行轨迹对齐,实现至少三个传感器的联合标定,解决了现有的传感器标定方法中标定精度有限的问题,实现了同时利用多个传感器采集的数据进行标定,最大限度地利用获取到的多源信息,提高了传感器标定的精度,简化了对多个传感器进行标定时的标定流程,避免了多个传感器之间两两标定引入的误差累计现象。
实施例二
图2是本发明实施例二提供的多传感器标定方法的流程图,本实施例是在上述实施例的基础上进一步进行优化。如图2所示,该方法可以包括:
S210、分别获取车辆行驶过程中,至少三个传感器在同一段时间内采集到的数据,其中,至少三个传感器包括至少一个激光雷达、至少一个定位设备和至少一个相机。
本实施例中以传感器至少包括激光雷达、定位设备和相机这三种类型为例,对多个传感器的联合标定进行示例性说明。
S220、依据激光雷达在不同时刻采集到的点云之间的位置关系确定的激光雷达的轨迹,依次确定出至少一个激光雷达的轨迹。
激光雷达在连续的不同时刻采集的点云数据中,包括同一区域或者同一物体的点云数据,确定出同一区域或者同一物体分别在不同时刻的点云中的空间位置,按照时间关系将这些空间位置点进行关联,得到这些空间位置点的变化轨迹,即激光雷达的轨迹。然后,按照类似的方法,依次确定出多个激光雷达的轨迹。
可选的,激光雷达的轨迹的确定过程包括:
对激光雷达在不同时刻采集到的多个点云依次进行分析,在多个点云上提取特征,利用特征对齐确定多个点云中两两之间的位置关系,根据位置关系建立激光雷达的轨迹。
具体的,首先,通过分析不同时刻采集的点云,识别出不同点云中包含的同一区域或者任一相同物体,并提取出该同一区域或者同一物体分别在不同点云中的特征,例如,可以是提取同一区域或者同一物体的边缘轮廓,也可以是提取同一区域或者同一物体上具有标志性的特征点;然后,按照时间连续性,分别将相邻时刻采集的点云中的特征进行对齐,依次确定出相邻的两个点云中同一区域或者同一物体的特征之间的位置变化量,例如位移等,该特征位置的变化量即不同时刻的点云位置变化量,其中,相邻的点云是指包含有重合区域且重合区域内对应的空间坐标点在不同点云中距离小于或等于点云距离阈值的点云,该点云距离阈值可以适应性进行设置;最后,按照时间关联性,将得到的不同点云的位置变化量进行关联,即确定出激光雷达的轨迹。
示例性的,激光雷达在时刻A1采集的点云中包含有同一物体上的特征点B1(x1,y1,z1),在最近邻的A2时刻,该特征点B1的坐标变为B2(x2,y2,z2),通过坐标对齐,确定出该同一物体上的特征点从B1(x1,y1,z1)变为B2(x2,y2,z2)的坐标变化量,即可确定出A1时刻与A2时刻采集的点云之间位置变化量。按照此方法,依次确定出多个点云两两之间的位置变化,得到激光雷达的轨迹。按照类似的方法,可依次确定出多个激光雷达的轨迹。
S230、依据定位设备在不同时刻采集到的多个定位点确定定位设备的轨迹,依次确定出至少一个定位设备的轨迹。
定位设备包括GPS、IMU和Encoder(编码器)等,利用其定位功能,确定出车辆的行驶轨迹即定位设备的轨迹。
S240、依据相机在不同时刻采集到的多个图像之间的位置关系确定相机的轨迹,依次确定出至少一个相机的轨迹。
相机在连续的不同时刻采集的图像数据中,包括同一区域或者同一物体的图像数据,确定出同一区域或者同一物体在不同时刻的图像数据中的空间位置,按照时间关系将这些空间位置点进行关联,得到这些空间位置点的变化轨迹,即相机的轨迹。然后,按照类似的方法,便可依次确定出多个相机的轨迹。
可选的,相机的轨迹的确定过程包括:
对相机在不同时刻采集到的多个图像依次进行图像分析,确定每个图像上多个特征点在相机坐标系下的坐标;
利用特征点对齐确定多个图像中两两之间的位置关系,根据位置关系确定相机的轨迹。
具体的,首先,可以通过图像识别,依次确定出相邻时刻采集的图像中像素值变化超过像素阈值的区域作为目标区域,其中,相邻时刻采集的图像是指在不同图像中的目标区域在相机坐标系下的向量距离小于或等于向量距离阈值的两个图像,像素阈值和向量距离阈值均可以适应性进行设置;然后,在不同时刻采集的图像的目标区域中分别选择出对应的角点,作为每个图像的特征点,并确定特征点在当前相机坐标系中的坐标,依次对相邻时刻采集的图像中的特征点坐标进行对齐操作,确定出特征点之间的坐标变化量,即相邻时刻采集的图像之间的位置变化量,其中,对应的角点在不同图像的目标区域内对应于同一物体或同一对象,因而在确定轨迹的过程中具体可参考性;最后,根据时间关联性,将不同时刻采集的图像之间位置变化进行关联,即得到相机的轨迹。
可选的,确定相机轨迹的过程中,还可包括对相邻时刻采集的图像的验证操作,具体的,根据像素变化确定出目标区域之后,分别确定目标区域在当前图像坐标系中的位置向量;然后根据当前图像坐标系与相机坐标系之间的变换关系,分别将表示目标区域的位置向量转换至相机坐标系;最后计算两个图像中目标区域的位置向量在相机坐标系下的向量距离,当该向量距离小于或等于向量距离阈值时,则两个图像属于相邻时刻采集的图像。
需要说明的是,操作S220至S240并无确定的执行顺序限定,本实施例作为示例,示出了依次确定激光雷达、相机和定位设备的轨迹,但不应作为对本实施例方案的具体限定。
S250、通过对至少一个激光雷达的轨迹、至少一个定位设备的轨迹和至少一个相机的轨迹进行同时轨迹对齐,实现至少一个激光雷达、至少一个定位设备和至少一个相机的联合标定。
本实施例的技术方案通过基于激光雷达、定位设备和相机这三种类型的传感器采集的数据,分别确定出至少一个激光雷达的轨迹、至少一个定位设备的轨迹和至少一个相机的轨迹,然后将多个传感器的轨迹同时进行对齐,实现三种类型下的多个传感器的联合标定,解决了现有的传感器标定方法中标定精度有限的问题,实现了同时利用不同类型下的多个传感器采集的数据进行标定,最大限度地利用获取到的多源信息,提高了传感器标定的精度,并且,简化了对多个传感器进行标定时的标定流程,避免了多个传感器之间两两标定引入的误差累计现象。
实施例三
图3是本发明实施例三提供的多传感器标定装置的结构示意图,本实施例可适用于同时对多个传感器进行标定的情况。该装置可以采用软件和/或硬件的方式实现,并可配置于计算机设备上,该计算设备可以配置在车辆上,例如具有控制和计算能力的车辆等。
如图3所示,该装置包括数据获取模块310、轨迹确定模块320和标定模块330,其中:
数据获取模块310,用于分别获取车辆行驶过程中,至少三个传感器在同一段时间内采集到的数据;
轨迹确定模块320,用于分别依据至少三个传感器采集到的数据确定各自的轨迹;
标定模块330,用于通过对至少三个传感器各自的轨迹进行轨迹对齐,实现至少三个传感器的联合标定。
可选的,至少三个传感器包括至少一个激光雷达、至少一个定位设备和至少一个相机;相应的,轨迹确定模块320包括:
激光雷达轨迹确定单元,用于依据激光雷达在不同时刻采集到的点云之间的位置关系确定激光雷达的轨迹,依次确定出至少一个激光雷达的轨迹;
定位设备轨迹确定单元,用于依据定位设备在不同时刻采集到的多个定位点确定定位设备的轨迹,依次确定出至少一个定位设备的轨迹;
相机轨迹确定单元,用于依据相机在不同时刻采集到的多个图像之间的位置关系确定相机的轨迹,依次确定出至少一个相机的轨迹。
可选的,激光雷达轨迹确定单元具体用于:
对激光雷达在不同时刻采集到的多个点云依次进行分析,在多个点云上提取特征,利用特征对齐确定多个点云中两两之间的位置关系,根据位置关系建立激光雷达的轨迹。
可选的,相机轨迹确定单元包括:
图像特征点确定子单元,用于对相机在不同时刻采集到的多个图像依次进行图像分析,确定每个图像上多个特征点在相机坐标系下的坐标;
相机轨迹确定子单元,用于利用特征点对齐确定多个图像中两两之间的位置关系,根据位置关系确定相机的轨迹。
可选的,标定模块330包括:
轨迹区分单元,用于在至少三个传感器各自的轨迹中任选一个作为目标轨迹,其他轨迹作为对象轨迹;
外参确定单元,用于分别将对象轨迹与目标轨迹进行轨迹对齐操作,并在对象轨迹与目标轨迹同时对齐时,确定出至少三个传感器各自的外参。
本发明实施例所提供的多传感器标定装置可执行本发明任意实施例所提供的多传感器标定方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4是本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备412的框图。图4显示的计算机设备412仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,计算机设备412以通用计算机设备的形式表现。计算机设备412的组件可以包括但不限于:一个或者多个处理器416,存储装置428,连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种,包括存储装置总线或者存储装置控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance,ISA)总线,微通道体系结构(Micro Channel Architecture,MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(Peripheral Component Interconnect,PCI)总线。
计算机设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备412访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory,RAM)430和/或高速缓存存储器432。计算机设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘,例如只读光盘(Compact Disc Read-Only Memory,CD-ROM),数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440,可以存储在例如存储装置428中,这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信,还可与一个或者多个使得用户能与该计算机设备412交互的终端通信,和/或与使得该计算机设备412能与一个或多个其它计算终端进行通信的任何终端(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且,计算机设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network,LAN),广域网(Wide Area Network,WAN)和/或公共网络,例如因特网)通信。如图4所示,网络适配器420通过总线418与计算机设备412的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备412使用其它硬件和/或软件模块,包括但不限于:微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序,从而执行各种功能应用以及数据处理,例如实现本发明任意实施例所提供的多传感器标定方法,该方法可以包括:
分别获取车辆行驶过程中,至少三个传感器在同一段时间内采集到的数据;
分别依据所述至少三个传感器采集到的数据确定各自的轨迹;
通过对所述至少三个传感器各自的轨迹进行轨迹对齐,实现所述至少三个传感器的联合标定。
实施例五
本发明实施例五还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所提供的多传感器标定方法,该方法可以包括:
分别获取车辆行驶过程中,至少三个传感器在同一段时间内采集到的数据;
分别依据所述至少三个传感器采集到的数据确定各自的轨迹;
通过对所述至少三个传感器各自的轨迹进行轨迹对齐,实现所述至少三个传感器的联合标定。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
实施例六
本发明实施例六还提供了一种车辆,包括车体,还包括如本发明实施例所述的计算机设备,以及设置在车体上的至少三个传感器,其中,至少三个传感器的类型包括激光雷达、相机和定位设备中的至少两种,至少三个传感器分别与计算机设备进行通信。
传感器在车体上的具体位置可以根据车辆设计进行设置。其中,该车辆可以是具有控制和计算能力的无人车等。在车辆行使过程中,不同传感器完成数据采集后,并将数据发送至计算机设备,以便计算机设备进行数据处理,例如执行不同传感器的联合标定等。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种多传感器标定方法,其特征在于,应用于车辆上配置的计算设备中,车辆的不同位置处安装有不同传感器;所述方法包括:
分别获取车辆行驶过程中,至少三个传感器在同一段时间内采集到的数据;
分别依据所述至少三个传感器采集到的数据确定各自的轨迹;其中,不同传感器采集的数据均是相对自身坐标系,得到的不同传感器的轨迹分别对应于不同坐标系,轨迹的具体确定过程与传感器类型存在相关性;
通过对所述至少三个传感器各自的轨迹,基于约束方程,求解得到不同传感器之间的坐标变换参数,以同时进行轨迹对齐,并在轨迹同时对齐时,确定出所述至少三个传感器各自的外参。
2.根据权利要求1所述的方法,其特征在于,所述至少三个传感器包括至少一个激光雷达、至少一个定位设备和至少一个相机;
相应的,所述至少一个激光雷达的轨迹为依据所述激光雷达在不同时刻采集到的点云之间的位置关系确定的轨迹;
所述至少一个定位设备的轨迹为依据所述定位设备在不同时刻采集到的多个定位点确定的轨迹;
所述至少一个相机的轨迹为依据所述相机在不同时刻采集到的多个图像之间的位置关系确定的轨迹。
3.根据权利要求2所述的方法,其特征在于,所述激光雷达的轨迹的确定过程包括:
对所述激光雷达在不同时刻采集到的多个点云依次进行分析,在所述多个点云上提取特征,利用特征对齐确定所述多个点云中两两之间的位置关系,根据位置关系建立所述激光雷达的轨迹。
4.根据权利要求2所述的方法,其特征在于,所述相机的轨迹的确定过程包括:
对所述相机在不同时刻采集到的多个图像依次进行图像分析,确定每个图像上多个特征点在相机坐标系下的坐标;
利用特征点对齐确定所述多个图像中两两之间的位置关系,根据所述位置关系确定所述相机的轨迹。
5.一种多传感器标定装置,其特征在于,包括:
数据获取模块,用于分别获取车辆行驶过程中,至少三个传感器在同一段时间内采集到的数据;
轨迹确定模块,用于分别依据所述至少三个传感器采集到的数据确定各自的轨迹;其中,不同传感器采集的数据均是相对自身坐标系,得到的不同传感器的轨迹分别对应于不同坐标系,轨迹的具体确定过程与传感器类型存在相关性;
标定模块,用于通过对所述至少三个传感器各自的轨迹,基于约束方程,求解得到不同传感器之间的坐标变换参数,以同时进行轨迹对齐,并在轨迹同时对齐时,确定出所述至少三个传感器各自的外参。
6.根据权利要求5所述的装置,其特征在于,所述至少三个传感器包括至少一个激光雷达、至少一个定位设备和至少一个相机;
相应的,所述轨迹确定模块包括:
激光雷达轨迹确定单元,用于依据所述激光雷达在不同时刻采集到的点云之间的位置关系确定所述激光雷达的轨迹;
定位设备轨迹确定单元,用于依据所述定位设备在不同时刻采集到的多个定位点确定所述定位设备的轨迹;
相机轨迹确定单元,用于依据所述相机在不同时刻采集到的多个图像之间的位置关系确定的所述相机的轨迹。
7.根据权利要求6所述的装置,其特征在于,所述激光雷达轨迹确定单元具体用于:
对所述激光雷达在不同时刻采集到的多个点云依次进行分析,在所述多个点云上提取特征,利用特征对齐确定所述多个点云中两两之间的位置关系,根据位置关系建立所述激光雷达的轨迹。
8.根据权利要求6所述的装置,其特征在于,所述相机轨迹确定单元包括:
图像特征点确定子单元,用于对所述相机在不同时刻采集到的多个图像依次进行图像分析,确定每个图像上多个特征点在相机坐标系下的坐标;
相机轨迹确定子单元,用于利用特征点对齐确定所述多个图像中两两之间的位置关系,根据所述位置关系确定所述相机的轨迹。
9.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1~4中任一所述的多传感器标定方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1~4中任一所述的多传感器标定方法。
11.一种车辆,包括车体,其特征在于,还包括如权利要求9所述的计算机设备,以及设置在所述车体上的至少三个传感器,其中,所述至少三个传感器的类型包括激光雷达、相机和定位设备中的至少两种,所述至少三个传感器分别与所述计算机设备进行通信。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811094375.3A CN109345596B (zh) | 2018-09-19 | 多传感器标定方法、装置、计算机设备、介质和车辆 | |
JP2019167404A JP2020046427A (ja) | 2018-09-19 | 2019-09-13 | マルチセンサーのキャリブレーション方法とその装置、コンピュータ機器、媒体及び車両 |
EP19198120.8A EP3627181A1 (en) | 2018-09-19 | 2019-09-18 | Multi-sensor calibration method, multi-sensor calibration device, computer device, medium and vehicle |
US16/574,700 US11002840B2 (en) | 2018-09-19 | 2019-09-18 | Multi-sensor calibration method, multi-sensor calibration device, computer device, medium and vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811094375.3A CN109345596B (zh) | 2018-09-19 | 多传感器标定方法、装置、计算机设备、介质和车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109345596A CN109345596A (zh) | 2019-02-15 |
CN109345596B true CN109345596B (zh) | 2024-07-12 |
Family
ID=
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107505644A (zh) * | 2017-07-28 | 2017-12-22 | 武汉理工大学 | 基于车载多传感器融合的三维高精度地图生成系统及方法 |
CN108020826A (zh) * | 2017-10-26 | 2018-05-11 | 厦门大学 | 多线激光雷达与多路相机混合标定方法 |
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107505644A (zh) * | 2017-07-28 | 2017-12-22 | 武汉理工大学 | 基于车载多传感器融合的三维高精度地图生成系统及方法 |
CN108020826A (zh) * | 2017-10-26 | 2018-05-11 | 厦门大学 | 多线激光雷达与多路相机混合标定方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11002840B2 (en) | Multi-sensor calibration method, multi-sensor calibration device, computer device, medium and vehicle | |
CN109343061B (zh) | 传感器标定方法、装置、计算机设备、介质和车辆 | |
CN109270545B (zh) | 一种定位真值校验方法、装置、设备及存储介质 | |
CN109521403B (zh) | 多线激光雷达的参数标定方法及装置、设备及可读介质 | |
CN109116374B (zh) | 确定障碍物距离的方法、装置、设备及存储介质 | |
CN110322500B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
CN107888828B (zh) | 空间定位方法及装置、电子设备、以及存储介质 | |
CN109492507B (zh) | 红绿灯状态的识别方法及装置、计算机设备及可读介质 | |
CN109146938B (zh) | 动态障碍物的位置校准方法、装置、设备及存储介质 | |
CN109870698B (zh) | 一种超声波阵列障碍物检测结果处理方法及系统 | |
CN109059902A (zh) | 相对位姿确定方法、装置、设备和介质 | |
JP6857697B2 (ja) | 車両位置決め方法、車両位置決め装置、電子機器及びコンピュータ読み取り可能な記憶媒体 | |
US11227395B2 (en) | Method and apparatus for determining motion vector field, device, storage medium and vehicle | |
KR101880185B1 (ko) | 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법 | |
KR102006291B1 (ko) | 전자 장치의 이동체 포즈 추정 방법 | |
CN109345567B (zh) | 物体运动轨迹识别方法、装置、设备和存储介质 | |
CN111469781B (zh) | 用于输出信息的方法和装置 | |
CN112834249B (zh) | 转向参数检测方法、装置、设备及存储介质 | |
CN112651535A (zh) | 局部路径规划方法、装置、存储介质、电子设备及车辆 | |
WO2022147655A1 (zh) | 定位方法、空间信息获取方法、装置、拍摄设备 | |
CN110853098B (zh) | 机器人定位方法、装置、设备及存储介质 | |
CN113177980A (zh) | 用于自动驾驶的目标对象速度确定方法、装置及电子设备 | |
CN109816726B (zh) | 一种基于深度滤波器的视觉里程计地图更新方法和系统 | |
CN109345596B (zh) | 多传感器标定方法、装置、计算机设备、介质和车辆 | |
CN116642490A (zh) | 基于混合地图的视觉定位导航方法、机器人及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211019 Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085 Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd. Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd. |
|
GR01 | Patent grant |