CN112146682A - 智能汽车的传感器标定方法、装置、电子设备及介质 - Google Patents

Abstract

本公开涉及一种智能汽车的传感器标定方法、装置、电子设备及计算机可读介质。该方法包括：将智能汽车设置为初始化状态；控制所述智能汽车按照预设路线行进，以使得所述智能汽车上的多个传感器获取实时数据，所述传感器包括多个激光雷达、惯性测量单元、车载相机；通过实时数据对所述多个激光雷达、所述惯性测量单元、所述车载相机进行传感器标定；根据传感器标定结果生成第一外参，第二外参，第三外参之后完成所述传感器的标定。本公开涉及的智能汽车的传感器标定方法、装置、电子设备及计算机可读介质，能够快速准确的对智能汽车上的传感器进行标定，有助于智能汽车在日常行驶时，快速准确的对障碍物进行识别，规划行驶路线。

Description

智能汽车的传感器标定方法、装置、电子设备及介质

技术领域

本公开涉及计算机信息处理领域，具体而言，涉及一种智能汽车的传感器标定方法、装置、电子设备及计算机可读介质。

背景技术

目前自动驾驶中常见的传感器可包括：摄像头、惯性测量单元、激光雷达。三种传感器各有优劣。摄像头方案成本低，可以识别不同的物体，在物体高度与宽度测量精度、车道线识别、行人识别准确度等方面有优势，但作用距离和测距精度不如毫米波雷达，并且容易受光照、天气等因素的影响。惯性测量单元(Inertial Measurement Unit，IMU)通常由陀螺仪、加速剂和算法处理单元组成，通过对加速度和旋转角度的测量得出本车的运动轨迹。激光雷达成本高，测距精度最高，但是对物体的材质属性识别较差，另外分辨率较低也是影响使用的原因之一。总之只有相互配合取长补短，才能实现更稳定可靠的自动驾驶。

使得三种传感器协调统一工作的基础就是传感器的标定，传感器标定是自动驾驶的基本需求，一个车上装了多个/多种传感器，而它们之间的坐标关系是需要确定的。传感器的标定就是确定不同传感器的不同坐标系之间的相互转换关系，是传感器数据融合的前提，特别是激光雷达的点云数据和图像数据。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种智能汽车的传感器标定方法、装置、电子设备及计算机可读介质，能够快速准确的对智能汽车上的传感器进行标定，有助于智能汽车在日常行驶时，快速准确的对障碍物进行识别，规划行驶路线。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提出一种智能汽车的传感器标定方法，该方法包括：将智能汽车设置为初始化状态；控制所述智能汽车按照预设路线行进，以使得所述智能汽车上的多个传感器获取实时数据，所述传感器包括多个激光雷达、惯性测量单元、车载相机；通过实时数据对所述多个激光雷达、所述惯性测量单元、所述车载相机进行传感器标定；根据传感器标定结果生成第一外参，第二外参，第三外参之后完成所述传感器的标定。

在本公开的一种示例性实施例中，还包括：在所述智能汽车的正常行驶过程中，基于所述第一外参，所述第二外参，所述第三外参进行图像融合；根据所述图像融合结果规划所述智能汽车的行驶路线。

在本公开的一种示例性实施例中，基于所述第一外参，所述第二外参，所述第三外参进行图像融合，包括：基于所述第一外参进行所述多个激光雷达之间的图像融合；和/或基于所述第二外参进行所述多个激光雷达和所述惯性测量单元之间的图像融合；和/或基于所述第三外参进行所述多个激光雷达和所述车载相机之间的图像融合。

在本公开的一种示例性实施例中，控制所述智能汽车按照预设路线行进，以使得所述智能汽车上的多个传感器获取实时数据，包括：控制所述智能汽车在低于速度阈值的状态下行驶，获取所述多个激光雷达的实时点云数据；控制所述智能汽车按照第一预设路线和第二预设路线行驶，获取所述多个激光雷达和所述惯性测量单元的点云数据和车身位姿数据；控制所述智能汽车在低于速度阈值的状态下行驶，获取所述多个激光雷达和所述车载相机的点云数据和相机数据。

在本公开的一种示例性实施例中，所述多个激光雷达包括主激光雷达和辅激光雷达；通过实时数据对所述多个激光雷达进行传感器标定，包括：将第一帧主激光雷达的点云数据和任意多帧主激光雷达的点云数据、初始外参输入第一预设函数中生成多个主初始外参；将第一帧辅激光雷达的点云数据和任意多帧辅激光雷达的点云数据、初始外参输入预设函数中生成多个辅初始外参；通过所述多帧主激光雷达的点云数据、所述多个主初始外参、所述多帧辅激光雷达的点云数据、所述多个辅初始外参生成稠密点云数据；将所述稠密点云数据和测量外参输入所述第一预设函数以生成所述第一外参。

在本公开的一种示例性实施例中，通过所述多帧主激光雷达的点云数据、所述多个主初始外参、所述多帧辅激光雷达的点云数据、所述多个辅初始外参生成稠密点云数据，包括：将所述多帧主激光雷达的点云数据、所述多个主初始外参输入第二预设函数生成主稠密点云数据；将所述多帧辅激光雷达的点云数据、所述多个辅初始外参输入第二预设函数生成辅稠密点云数据。

在本公开的一种示例性实施例中，通过实时数据对所述多个激光雷达、所述惯性测量单元进行传感器标定，包括：控制所述智能汽车按照第一预设路线行驶以获取第一帧车身位姿数据；将后续多帧车身位姿数据右乘所述第一帧车身位姿数据生成第一坐标系位姿；将后续多帧车身位姿数据右乘激光雷达的初始外参生成第二坐标系位姿。

在本公开的一种示例性实施例中，通过实时数据对所述多个激光雷达、所述惯性测量单元进行传感器标定，还包括：控制所述智能汽车按照第二预设路线行驶以获取多组点云坐标数据；将所述多组点云数据、激光雷达的外参、多个自由度数值输入第三预设函数；通过所述第三预设函数进行优化以生成所述第二外参。

在本公开的一种示例性实施例中，通过实时数据对所述多个激光雷达、所述车载相机进行传感器标定，包括：控制所述智能汽车在低于速度阈值的状态下行驶，基于所述多个激光雷达和所述车载相机的点云数据、相机数据、时间戳生成多组数据；对所述多组数据进行检测以确定每组数据中的障碍物边缘；对所述障碍物边缘进行稠密化处理；基于稠密化处理之后的障碍物边缘坐标、车载相机初始外参、多个自由度数值和第三预设函数生成所述第三外参。

在本公开的一种示例性实施例中，对所述障碍物边缘进行稠密化处理，包括：基于车身位姿数据将多帧点云数据进行合并以对所述障碍物边缘进行稠密化处理。

根据本公开的一方面，提出一种智能汽车的传感器标定装置，该装置包括：初始化模块，用于将智能汽车设置为初始化状态；控制模块，用于控制所述智能汽车按照预设路线行进，以使得所述智能汽车上的多个传感器获取实时数据，所述传感器包括多个激光雷达、惯性测量单元、车载相机；标定模块，用于通过实时数据对所述多个激光雷达、所述惯性测量单元、所述车载相机进行传感器标定；外参模块，用于根据传感器标定结果生成第一外参，第二外参，第三外参之后完成所述传感器的标定。

根据本公开的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。

根据本公开的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。

根据本公开的智能汽车的传感器标定方法、装置、电子设备及计算机可读介质，将智能汽车设置为初始化状态；控制所述智能汽车按照预设路线行进，以使得所述智能汽车上的多个传感器获取实时数据，所述传感器包括多个激光雷达、惯性测量单元、车载相机；通过实时数据对所述多个激光雷达、所述惯性测量单元、所述车载相机进行传感器标定；根据传感器标定结果生成第一外参，第二外参，第三外参之后完成所述传感器的标定的方式，能够快速准确的对智能汽车上的传感器进行标定，有助于智能汽车在日常行驶时，快速准确的对障碍物进行识别，规划行驶路线。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种智能汽车的传感器标定方法的流程图。

图2是根据一示例性实施例示出的一种智能汽车的传感器标定方法的流程图。

图3是根据另一示例性实施例示出的一种智能汽车的传感器标定方法的流程图。

图4是根据另一示例性实施例示出的一种智能汽车的传感器标定方法的流程图。

图5是根据一示例性实施例示出的一种智能汽车的传感器标定装置的框图。

图6是根据一示例性实施例示出的一种电子设备的框图。

图7是根据一示例性实施例示出的一种计算机可读介质的框图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。

图1是根据一示例性实施例示出的一种智能汽车的传感器标定方法的流程图。智能汽车的传感器标定方法10至少包括步骤S102至S108。

如图1所示，在S102中，将智能汽车设置为初始化状态。初始化状态可为智能汽车的出厂前状态，可将智能汽车的传感器标定作为汽车出厂前的步骤，在智能汽车的初始化状态时，智能汽车的发送机、主控器等等各项操作均可正常操作。

在S104中，控制所述智能汽车按照预设路线行进，以使得所述智能汽车上的多个传感器获取实时数据，所述传感器包括多个激光雷达、惯性测量单元、车载相机。

在一个实施例中，可例如控制所述智能汽车在低于速度阈值的状态下行驶，获取所述多个激光雷达的实时点云数据；控制所述智能汽车按照第一预设路线和第二预设路线行驶，获取所述多个激光雷达和所述惯性测量单元的点云数据和车身位姿数据；控制所述智能汽车在低于速度阈值的状态下行驶，获取所述多个激光雷达和所述车载相机的点云数据和相机数据。

在S106中，通过实时数据对所述多个激光雷达、所述惯性测量单元、所述车载相机进行传感器标定。更具体的，可例如对智能汽车上的多个激光雷达之间进行标定，还可例如，对智能汽车上的激光雷达和惯性测量单元之间进行标定，还可例如，对智能汽车上的激光雷达和车载相机之间进行标定。上述各个标定的具体过程将在图2,3,4对应的实施例中进行分别描述。

在S108中，根据传感器标定数据生成第一外参，第二外参，第三外参之后完成所述传感器的标定。

一般而言，传感器的标定可分成两部分：内参标定和外参标定，内参是决定传感器内部的映射关系，比如摄像头的焦距，偏心和像素横纵比(+畸变系数)，而外参是决定传感器和外部某个坐标系的转换关系，比如姿态参数(旋转和平移6自由度)。在本公开中，主要介绍的是外参的标定方法，

其中，数据在不同的坐标系下的转换需要使用2个外参，通常为旋转矩阵R和平移矩阵T。旋转矩阵R的作用就是把某一坐标绕x轴，y轴，z轴依次旋转某个度数以后得到新的坐标。平移矩阵T的作用就是把某一坐标沿x轴，y轴，z轴依次平移某一长度得到新的坐标。以相机到激光雷达的外参为例，给相机坐标系下的某一点坐标[[x],[y],[z]](3*1)左乘旋转矩阵R(3*3),再加上平移矩阵T(3*1)，就得到了该点在激光雷达坐标系下的坐标。为了方便，在本申请中，可将{R，T}统称为外参。根据传感器标定数据可以将激光雷达、相机、惯性测量单元(IMU)等多个传感器之间的外参自动标定出来。

完成所述传感器的标定之后，智能汽车可进行正常行驶，在所述智能汽车的正常行驶过程中，基于所述第一外参，所述第二外参，所述第三外参进行图像融合；根据所述图像融合结果规划所述智能汽车的行驶路线。

其中，基于所述第一外参，所述第二外参，所述第三外参进行图像融合，包括：基于所述第一外参进行所述多个激光雷达之间的图像融合；和/或基于所述第二外参进行所述多个激光雷达和所述惯性测量单元之间的图像融合；和/或基于所述第三外参进行所述多个激光雷达和所述车载相机之间的图像融合。

根据本公开的智能汽车的传感器标定方法，将智能汽车设置为初始化状态；控制所述智能汽车按照预设路线行进，以使得所述智能汽车上的多个传感器获取实时数据，所述传感器包括多个激光雷达、惯性测量单元、车载相机；通过实时数据对所述多个激光雷达、所述惯性测量单元、所述车载相机进行传感器标定；根据传感器标定结果生成第一外参，第二外参，第三外参之后完成所述传感器的标定的方式，能够快速准确的对智能汽车上的传感器进行标定，有助于智能汽车在日常行驶时，快速准确的对障碍物进行识别，规划行驶路线。

应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施例。

图2是根据另一示例性实施例示出的一种智能汽车的传感器标定方法的流程图。图2所示的流程20是对图1所示的流程中多个激光雷达之间标定的详细描述。其中，多个激光雷达包括主激光雷达(master_lidar)和辅激光雷达(slave_lidar)。其中，第一预设函数可为NdtMatching函数，第二预设函数可为IcpMatching函数，这两个函数可接收两帧点云数据和一个初始外参。已知后面一帧点云里的点经过某个外参的转换可以和第一帧的点云融合起来，而NdtMatching和IcpMatching函数可以通过优化上述的初始外参得到这个外参。

如图2所示，在S202中，将第一帧主激光雷达的点云数据和任意多帧主激光雷达的点云数据、初始外参输入第一预设函数中生成多个主初始外参。在一个具体的实施例中，可在智能汽车非常缓慢前进的状态下，分别将多帧master_lidar的点云数据、第一帧master_lidars的点云数据，和一个R和T都是0的初始外参放入NdtMatching函数中，得到多帧master_lidar点云数据对应的多个主初始外参。

在S204中，将所述多帧主激光雷达的点云数据、所述多个主初始外参输入第二预设函数生成主稠密点云数据。多帧master_lidars的点云数据和其对应的主初始外参进行左乘计算，之后加到第一帧master_lidars的点云数据生成主稠密点云数据。

更具体的，可将多帧master_lidars的点云数据、所述多个主初始外参输入第二预设函数生成主稠密点云数据。

在S206中，将第一帧辅激光雷达的点云数据和任意多帧辅激光雷达的点云数据、初始外参输入预设函数中生成多个辅初始外参。同样的，分别将多帧slave_lidar的点云数据、第一帧slave_lidar的点云数据，和一个R和T都是0的初始外参放入NdtMatching函数中，得到多帧slave_lidar点云数据对应的多个辅初始外参。

在S208中，将所述多帧辅激光雷达的点云数据、所述多个辅初始外参输入第二预设函数生成辅稠密点云数据。可将多帧辅激光雷达的点云数据和其对应的辅初始外参进行左乘计算，之后加到第一帧slave_lidar的点云数据生成辅稠密点云数据。也可通过第二预设函数进行此步骤的计算。

在S210中，将所述稠密点云数据和测量外参输入所述第一预设函数以生成所述第一外参。然后将手动测量得到的slave_lidar到master_lidar的初始外参(R设为0，T是手动测量出的slave_lidar在master_lidar坐标系下的坐标)与主稠密点云数据、辅稠密点云数据一同输入NdtMatching函数中，就得slave_lidar到master_lidar之间的第一外参。

图3是根据另一示例性实施例示出的一种智能汽车的传感器标定方法的流程图。图3所示的流程30是对图1所示的流程中激光雷达和惯性测量单元之间标定的详细描述。

如图3所示，在S302中，控制所述智能汽车按照第一预设路线行驶以获取第一帧车身位姿数据。智能汽车先按照直线行驶，并在这个过程中收集PintCloud数据(点云数据)和Pose数据(车身位姿数据)。

在S304中，将后续多帧车身位姿数据右乘所述第一帧车身位姿数据生成第一坐标系位姿。并将收集到的第一帧Pose数据设为offset_，后面收集到的任意一帧Pose右乘offset_会得到这一帧IMU在第一帧IMU坐标系下的位姿(第一坐标系位姿)。

在S306中，将后续多帧车身位姿数据右乘激光雷达的初始外参生成第二坐标系位姿。后续多帧车身位姿数据右乘initial_extrinsic(Lidar初始外参)会得到这一帧Lidar在第一帧IMU坐标系下得位姿(第二坐标系位姿)。可通过第一坐标系位姿和第二坐标系位姿判断后面过程中，智能汽车绕8字时Lidar是否压到之前走过的直线轨迹。

在S308中，控制所述智能汽车按照第二预设路线行驶以获取多组点云坐标数据。控制智能汽车掉头绕8字行驶，目的是让激光雷达可以不断地经过之前走的直线轨迹。每经过一次就会将之前那帧PointCloud数据和现在这帧PointCloud数据存为一组。

在S310中，将所述多组点云数据、激光雷达的外参、多个自由度数值输入第三预设函数。将所述多组点云数据和手动测量的激光雷达的外参initial_extrinsic，和修正外参时在6个自由度(即沿x，y，z三个直角坐标轴方向的移动的自由度和绕这三个坐标轴转动的自由度，外参的作用也就是把坐标在6个自由度上做变换)允许变化的上限ub，下限lb带入第三预设函数，第三预设函数预设函数可为optimize函数。

在S312中，通过所述第三预设函数进行优化以生成所述第二外参。optimize函数会不断的去迭代优化初始外参，去使这些组点云数据能更好的融合在一起。得到最终标定好的第二外参。

图4是根据另一示例性实施例示出的一种智能汽车的传感器标定方法的流程图。图4所示的流程40是对图1所示的流程中激光雷达和车载相机之间标定的详细描述。

如图4所示，在S402中，基于所述多个激光雷达和所述车载相机的点云数据、相机数据、时间戳生成多组数据。控制智能汽车缓慢前进，收集Lidar(激光雷达)、Camera(相机)和Pose(车身位姿)数据，分别放为三组。每一条数据都会有时间戳。

更具体的，考虑到测量时候的时间误差，如果在Camera和Pose这两组数据里都有一条数据的时间戳和某一条Lidar数据的时间戳相差在25毫秒以内，就把这三条记数据匹配为一组。

然后用上述的时间戳匹配方法匹配多组Lidar、Camera和Pose数据。再给每一帧点云里的每一个点加上Ring属性。Ring代表线数，比如40线激光雷达，它有40个激光头，它产生的一帧点云数据里面的每个点都是来自于这40个激光头的其中一个。如果某个点的Ring＝0，说明这个点属于40线Lidar的第1个激光头的数据。

在S404中，对所述多组数据进行检测以确定每组数据中的障碍物边缘。检测出每一组数据中图片里的障碍物边缘。然后利用Ring将每一组数据中点云里的障碍物边缘检测出来。如果一帧点云里所有Ring值相同的点里某相邻两点的距离过大的话，那么这两个点之一可能是障碍物的边缘点。

在S406中，对所述障碍物边缘进行稠密化处理。可例如，基于车身位姿数据将多帧点云数据进行合并以对所述障碍物边缘进行稠密化处理。

更具体的，可利用pose数据将后面几帧的点云数据加到前面的某一帧中，用来把前面某一帧中点云中障碍物边缘稠密化。

更具体的，在一个实施例中，lidar_to_car是lidar到imu的外参，car_to_lidar是lidar_to_car的逆矩阵，points代表点第k帧云坐标,base_pose_inv代表第i帧时刻pose的逆矩阵，pose[k]代表第k帧pose，@代表矩阵相乘。

lidar_to_car@np_points，代表第k帧点云坐标被切换到第k帧时刻imu的坐标系下；

base_pose_inv@poses[k]@lidar_to_car@np_points，代表第k帧点云坐标被切换到第i帧时刻imu坐标系下；

car_to_lidar@base_pose_inv@poses[k]@lidar_to_car@np_points，代表第k帧点云坐标被切换到第i帧时刻lidar坐标系下。

在S408中，基于稠密化处理之后的障碍物边缘坐标、车载相机初始外参、多个自由度数值和第三预设函数生成所述第三外参。

通过多组障碍物边缘在Lidar和Camera中的坐标数据，再加上initial_extrinsic(Camera的初始外参)和修正外参时在6个自由度(即沿x，y，z三个直角坐标轴方向的移动的自由度和绕这三个坐标轴转动的自由度，外参的作用也就是把坐标在6个自由度上做变换)允许变化的上限ub，下限lb带入optimize函数。

optimize函数会不断的去迭代优化这个初始外参，使得障碍物边缘在Camera中的坐标经过外参转换以后尽可能的和障碍物边缘在Lidar中的坐标吻合，得到最终标定好的第三外参。

本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图5是根据一示例性实施例示出的一种智能汽车的传感器标定装置的框图。如图5所示，智能汽车的传感器标定装置50包括：始化模块502，控制模块504，标定模块506，外参模块508，智能汽车的传感器标定装置50还可包括：初融合模块510，规划模块512。

初始化模块502用于将智能汽车设置为初始化状态；

控制模块504用于控制所述智能汽车按照预设路线行进，以使得所述智能汽车上的多个传感器获取实时数据，所述传感器包括多个激光雷达、惯性测量单元、车载相机；

标定模块506用于通过实时数据对所述多个激光雷达、所述惯性测量单元、所述车载相机进行传感器标定；

外参模块508用于根据传感器标定结果生成第一外参，第二外参，第三外参之后完成所述传感器的标定。

融合模块510用于在所述智能汽车的正常行驶过程中，基于所述第一外参，所述第二外参，所述第三外参进行图像融合；

规划模块512用于根据所述图像融合结果规划所述智能汽车的行驶路线。

根据本公开的智能汽车的传感器标定装置，将智能汽车设置为初始化状态；控制所述智能汽车按照预设路线行进，以使得所述智能汽车上的多个传感器获取实时数据，所述传感器包括多个激光雷达、惯性测量单元、车载相机；通过实时数据对所述多个激光雷达、所述惯性测量单元、所述车载相机进行传感器标定；根据传感器标定结果生成第一外参，第二外参，第三外参之后完成所述传感器的标定的方式，能够快速准确的对智能汽车上的传感器进行标定，有助于智能汽车在日常行驶时，快速准确的对障碍物进行识别，规划行驶路线。

图6是根据一示例性实施例示出的一种电子设备的框图。

下面参照图6来描述根据本公开的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1，图2，图3，图4中所示的步骤。

所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备600’(例如键盘、指向设备、蓝牙设备等)通信，使得用户能与该电子设备600交互的设备通信，和/或该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，如图,7所示，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。

所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：将智能汽车设置为初始化状态；控制所述智能汽车按照预设路线行进，以使得所述智能汽车上的多个传感器获取实时数据，所述传感器包括多个激光雷达、惯性测量单元、车载相机；通过实时数据对所述多个激光雷达、所述惯性测量单元、所述车载相机进行传感器标定；根据传感器标定结果生成第一外参，第二外参，第三外参之后完成所述传感器的标定。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。

以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (13)

1.一种智能汽车的传感器标定方法，其特征在于，包括：

将智能汽车设置为初始化状态；

控制所述智能汽车按照预设路线行进，以使得所述智能汽车上的多个传感器获取实时数据，所述传感器包括多个激光雷达、惯性测量单元、车载相机；

通过实时数据对所述多个激光雷达、所述惯性测量单元、所述车载相机进行传感器标定；

根据传感器标定数据生成第一外参，第二外参，第三外参之后完成所述传感器的标定。

2.如权利要求1所述的方法，其特征在于，还包括：

在所述智能汽车的正常行驶过程中，基于所述第一外参，所述第二外参，所述第三外参进行图像融合；

根据所述图像融合结果规划所述智能汽车的行驶路线。

3.如权利要求2所述的方法，其特征在于，基于所述第一外参，所述第二外参，所述第三外参进行图像融合，包括：

基于所述第一外参进行所述多个激光雷达之间的图像融合；和/或

基于所述第二外参进行所述多个激光雷达和所述惯性测量单元之间的图像融合；和/或

基于所述第三外参进行所述多个激光雷达和所述车载相机之间的图像融合。

4.如权利要求1所述的方法，其特征在于，控制所述智能汽车按照预设路线行进，以使得所述智能汽车上的多个传感器获取实时数据，包括：

控制所述智能汽车在低于速度阈值的状态下行驶，获取所述多个激光雷达的实时点云数据；

控制所述智能汽车按照第一预设路线和第二预设路线行驶，获取所述多个激光雷达和所述惯性测量单元的点云数据和车身位姿数据；

控制所述智能汽车在低于速度阈值的状态下行驶，获取所述多个激光雷达和所述车载相机的点云数据和相机数据。

5.如权利要求4所述的方法，其特征在于，所述多个激光雷达包括主激光雷达和辅激光雷达；

通过实时数据对所述多个激光雷达进行传感器标定，包括：

将第一帧主激光雷达的点云数据和任意多帧主激光雷达的点云数据、初始外参输入第一预设函数中生成多个主初始外参；

将第一帧辅激光雷达的点云数据和任意多帧辅激光雷达的点云数据、初始外参输入预设函数中生成多个辅初始外参；

通过所述多帧主激光雷达的点云数据、所述多个主初始外参、所述多帧辅激光雷达的点云数据、所述多个辅初始外参生成稠密点云数据；

将所述稠密点云数据和测量外参输入所述第一预设函数以生成所述第一外参。

6.如权利要求5所述的方法，其特征在于，通过所述多帧主激光雷达的点云数据、所述多个主初始外参、所述多帧辅激光雷达的点云数据、所述多个辅初始外参生成稠密点云数据，包括：

将所述多帧主激光雷达的点云数据、所述多个主初始外参输入第二预设函数生成主稠密点云数据；

将所述多帧辅激光雷达的点云数据、所述多个辅初始外参输入第二预设函数生成辅稠密点云数据。

7.如权利要求4所述的方法，其特征在于，通过实时数据对所述多个激光雷达、所述惯性测量单元进行传感器标定，包括：

控制所述智能汽车按照第一预设路线行驶以获取第一帧车身位姿数据；

将后续多帧车身位姿数据右乘所述第一帧车身位姿数据生成第一坐标系位姿；

将后续多帧车身位姿数据右乘激光雷达的初始外参生成第二坐标系位姿。

8.如权利要求7所述的方法，其特征在于，通过实时数据对所述多个激光雷达、所述惯性测量单元进行传感器标定，还包括：

控制所述智能汽车按照第二预设路线行驶以获取多组点云坐标数据；

将所述多组点云数据、激光雷达的外参、多个自由度数值输入第三预设函数；

通过所述第三预设函数进行优化以生成所述第二外参。

9.如权利要求4所述的方法，其特征在于，通过实时数据对所述多个激光雷达、所述车载相机进行传感器标定，包括：

基于所述多个激光雷达和所述车载相机的点云数据、相机数据、时间戳生成多组数据；

对所述多组数据进行检测以确定每组数据中的障碍物边缘；

对所述障碍物边缘进行稠密化处理；

基于稠密化处理之后的障碍物边缘坐标、车载相机初始外参、多个自由度数值和第三预设函数生成所述第三外参。

10.如权利要求9所述的方法，其特征在于，对所述障碍物边缘进行稠密化处理，包括：

基于车身位姿数据将多帧点云数据进行合并以对所述障碍物边缘进行稠密化处理。

11.一种智能汽车的传感器标定装置，其特征在于，包括：

初始化模块，用于将智能汽车设置为初始化状态；

控制模块，用于控制所述智能汽车按照预设路线行进，以使得所述智能汽车上的多个传感器获取实时数据，所述传感器包括多个激光雷达、惯性测量单元、车载相机；

标定模块，用于通过实时数据对所述多个激光雷达、所述惯性测量单元、所述车载相机进行传感器标定；

外参模块，用于根据传感器标定结果生成第一外参，第二外参，第三外参之后完成所述传感器的标定。

12.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。

13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。

Images