CN108020825A - 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法 - Google Patents

Abstract

本发明公开了一种激光雷达、激光摄像头、视频摄像头的融合标定系统及方法，其通过将所述激光雷达的点云数据投影至所述激光摄像头的边框图像数据，得到所述激光雷达与所述激光摄像头之间的第一转换矩阵；并且将所述激光摄像头获取的边框图像数据投影至所述视频摄像头的视频数据，得到所述激光摄像头和所述视频摄像头之间的第二转换矩阵；最后将所述激光雷达与所述激光摄像头之间的第一转换矩阵进一步投影至所述激光摄像头和所述视频摄像头之间的第二转换矩阵，实现所述激光雷达到所述视频摄像头的标定，从而达到激光雷达的点云数据与视频数据的精准融合效果。

Description

激光雷达、激光摄像头、视频摄像头的融合标定系统及方法

技术领域

本发明涉及图像处理技术领域，特别是一种激光雷达、激光摄像头、视频摄像头的融合标定系统及其对应的融合标定方法。

背景技术

激光雷达传感器用来测量外部环境的位置和距离，通过时间顺序的数据，可以计算物体的速度。激光雷达传感器经常应用于汽车先进辅助驾驶，自动驾驶，三维测绘等需要准确物体位置或者速度的应用。视频摄像头所获取的视频数据仅具有像素的色彩和灰度信息，没有被摄物体的距离信息。

因此，为了提高检测的准确性，可通过激光雷达传感器及视频摄像头互补感测。但现有技术只是单纯的将激光雷达传感器的激光雷达数据与视频摄像头的视频数据进行合并，无法实现对数据进行精准融合。

发明内容

本发明为解决上述问题，提供了一种激光雷达、激光摄像头、视频摄像头的融合标定系统及方法，通过利用激光摄像头来实现激光雷达至视频摄像头的投影和标定，从而实现激光雷达的点云数据与视频数据的精准融合。

为实现上述目的，本发明采用的技术方案为：

一种激光雷达、激光摄像头、视频摄像头的融合标定系统，其包括：

激光雷达，用于对被测区域进行激光扫描得到激光雷达的点云数据；

激光摄像头，用于根据所述被测区域反射的激光信号进行获取所述被测区域的边框图像数据；

视频摄像头，用于采集所述被测区域的视频数据；

点云数据标定模块，其根据所述激光雷达的激光光点在所述激光摄像头的边框图像数据中的位置进行计算坐标转换参数，并根据该坐标转换参数将所述激光雷达的点云数据投影至所述激光摄像头的边框图像数据，得到所述激光雷达与所述激光摄像头之间的第一转换矩阵；

视频数据标定模块，其根据所述激光摄像头和所述视频摄像头的相对位置关系进行计算坐标转换参数，并根据该坐标转换参数将所述激光摄像头获取的边框图像数据投影至所述视频摄像头的视频数据，得到所述激光摄像头和所述视频摄像头之间的第二转换矩阵；

融合标定模块，其将所述激光雷达与所述激光摄像头之间的第一转换矩阵进一步投影至所述激光摄像头和所述视频摄像头之间的第二转换矩阵，实现所述激光雷达到所述视频摄像头的标定。

优选的，所述激光雷达进一步包括：

激光发射器，用于发射激光束并对所述被测区域进行激光扫描；

激光接收器，用于接收所述被测区域反射的激光信号，得到激光雷达的点云数据。

优选的，所述激光摄像头的前端设有与所述激光雷达的波段相匹配的激光滤光片。

对应的，本发明还提供一种激光雷达、激光摄像头、视频摄像头的融合标定方法，其包括以下步骤：

10.激光雷达对被测区域进行激光扫描得到激光雷达的点云数据；

20.激光摄像头根据所述被测区域反射的激光信号进行获取所述被测区域的边框图像数据；

30.视频摄像头采集所述被测区域的视频数据；

40.根据所述激光雷达的激光光点在所述激光摄像头的边框图像数据中的位置进行计算坐标转换参数，并根据该坐标转换参数将所述激光雷达的点云数据投影至所述激光摄像头的边框图像数据，得到所述激光雷达与所述激光摄像头之间的第一转换矩阵；

50.根据所述激光摄像头和所述视频摄像头的相对位置关系进行计算坐标转换参数，并根据该坐标转换参数将所述激光摄像头获取的边框图像数据投影至所述视频摄像头的视频数据，得到所述激光摄像头和所述视频摄像头之间的第二转换矩阵；

60.将所述激光雷达与所述激光摄像头之间的第一转换矩阵进一步投影至所述激光摄像头和所述视频摄像头之间的第二转换矩阵，实现所述激光雷达到所述视频摄像头的标定。

优选的，所述的步骤10中，对被测区域进行激光扫描，包括以下扫描方法：

11.点扫描的方法：每次扫描四个点，从屏幕的最外围向屏幕的中间进行扫描；

12.线扫描的方法：每次扫描一条横线或者一条竖线，从屏幕的一边扫描到屏幕的另一边；

13.正方形扫描方法：每次扫描一个四条边框围成的正方形，先在屏幕最外围扫描最大正方形，逐渐缩小正方形的大小，直至扫描到屏幕的中间的最小正方形，或者直至扫描到屏幕的中间的一个点。

优选的，所述的步骤20中，所述被测区域为所述激光雷达进行扫描所产生的一个预设大小的矩形区域或者预设大小的正方形区域或者是激光雷达扫描视场的最大边框区域。

优选的，所述的步骤40至步骤60中，所述激光雷达到所述视频摄像头的标定，是指在所述激光雷达、所述激光摄像头、所述视频摄像头均处于静止状态或者同步移动状态下进行静态标定。

优选的，还包括动态标定步骤，通过在所述激光雷达、所述激光摄像头、所述视频摄像头处于运行过程状态下进行所述动态标定，且将所述动态标定穿插在运行过程中的激光扫描的间隔期间。

优选的，所述动态标定是指局部标定，仅对被测区域中的激光反射较显著的局部区域进行动态标定，并根据动态标定结果对所述第一转换矩阵和第二转换矩阵进行修正，同时对所述激光雷达进行校准。

优选的，所述的步骤60中，实现所述激光雷达到所述视频摄像头的标定后，则进一步将所述激光雷达的点云数据与所述视频摄像头的视频数据进行叠加融合；其中，所述点云数据包括距离信息、光强信息、时间信息、速度信息中的一种以上，所述视频数据包括图像像素信息。

本发明的有益效果是：

本发明的一种激光雷达、激光摄像头、视频摄像头的融合标定系统及方法，其通过激光雷达对被测区域进行激光扫描得到激光雷达的点云数据；通过激光摄像头根据所述被测区域反射的激光信号进行获取所述被测区域的边框图像数据；并通过视频摄像头进行采集所述被测区域的视频数据；标定过程中，首先，根据所述激光雷达的激光光点在所述激光摄像头的边框图像数据中的位置进行计算坐标转换参数，并根据该坐标转换参数将所述激光雷达的点云数据投影至所述激光摄像头的边框图像数据，得到所述激光雷达与所述激光摄像头之间的第一转换矩阵；同时，根据所述激光摄像头和所述视频摄像头的相对位置关系进行计算坐标转换参数，并根据该坐标转换参数将所述激光摄像头获取的边框图像数据投影至所述视频摄像头的视频数据，得到所述激光摄像头和所述视频摄像头之间的第二转换矩阵；然后将所述激光雷达与所述激光摄像头之间的第一转换矩阵进一步投影至所述激光摄像头和所述视频摄像头之间的第二转换矩阵，实现所述激光雷达到所述视频摄像头的标定；通过利用激光摄像头来实现激光雷达至视频摄像头的投影和标定，从而实现激光雷达的点云数据与视频数据的精准融合。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一种激光雷达、激光摄像头、视频摄像头的融合标定系统的结构示意图；

图2为本发明一种激光雷达、激光摄像头、视频摄像头的融合标定方法的流程简图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的一种激光雷达、激光摄像头、视频摄像头的融合标定系统，其包括：

激光雷达，用于对被测区域进行激光扫描得到激光雷达的点云数据；

激光摄像头，用于根据所述被测区域反射的激光信号进行获取所述被测区域的边框图像数据；

视频摄像头，用于采集所述被测区域的视频数据；

点云数据标定模块，其根据所述激光雷达的激光光点在所述激光摄像头的边框图像数据中的位置进行计算坐标转换参数，并根据该坐标转换参数将所述激光雷达的点云数据投影至所述激光摄像头的边框图像数据，得到所述激光雷达与所述激光摄像头之间的第一转换矩阵；

视频数据标定模块，其根据所述激光摄像头和所述视频摄像头的相对位置关系进行计算坐标转换参数，并根据该坐标转换参数将所述激光摄像头获取的边框图像数据投影至所述视频摄像头的视频数据，得到所述激光摄像头和所述视频摄像头之间的第二转换矩阵；

融合标定模块，其将所述激光雷达与所述激光摄像头之间的第一转换矩阵进一步投影至所述激光摄像头和所述视频摄像头之间的第二转换矩阵，实现所述激光雷达到所述视频摄像头的标定。

激光雷达LiDAR(Light Detection and Ranging)，也称Laser Radar或LADAR(Laser Detection and Ranging)，是以发射激光束探测目标的位置、速度等特征量的雷达系统。通过向目标发射激光束,然后将接收到的从目标反射回来的反射信号与发射信号进行比较和处理,从而获得目标的有关信息,如目标距离、方位、高度、速度、姿态、甚至形状等参数,从而对目标进行探测、跟踪和识别。本实施例中，所述激光雷达进一步包括：激光发射器，用于发射激光束并对所述被测区域进行激光扫描；激光接收器，用于接收所述被测区域反射的激光信号，得到激光雷达的点云数据。或者，也可以将激光发射和激光接收一体化设计，能够实现相同的效果。

所述激光摄像头的前端设有与所述激光雷达的波段相匹配的激光滤光片，即，可通过在普通的视频摄像头的前端增设可让激光透过的激光滤光片形成所述激光摄像头，在不需要执行标定任务时，所述激光摄像头可转换为普通摄像头并执行拍摄任务；本实施例中，采用具有专用的与激光雷达相匹配的激光工作波段的摄像头并在该摄像头的前端增设可让激光透过的激光滤光片形成所述激光摄像头，从而提高所述激光摄像头的识别准确性。

需要说明的是，本实施例中，所述点云数据标定模块、所述视频数据标定模块、所述融合标定模块，可设置为独立的功能模块，也可以设置为与机载电脑(CPU/GPU)相融合来实现各自的模块功能，具有等同的效果。

如图2所示，与前述的融合标定系统相对应的，本发明还提供一种激光雷达、激光摄像头、视频摄像头的融合标定方法，其包括以下步骤：

10.激光雷达对被测区域进行激光扫描得到激光雷达的点云数据；

20.激光摄像头根据所述被测区域反射的激光信号进行获取所述被测区域的边框图像数据；

30.视频摄像头采集所述被测区域的视频数据；

40.根据所述激光雷达的激光光点在所述激光摄像头的边框图像数据中的位置进行计算坐标转换参数，并根据该坐标转换参数将所述激光雷达的点云数据投影至所述激光摄像头的边框图像数据，得到所述激光雷达与所述激光摄像头之间的第一转换矩阵；

50.根据所述激光摄像头和所述视频摄像头的相对位置关系进行计算坐标转换参数，并根据该坐标转换参数将所述激光摄像头获取的边框图像数据投影至所述视频摄像头的视频数据，得到所述激光摄像头和所述视频摄像头之间的第二转换矩阵；

60.将所述激光雷达与所述激光摄像头之间的第一转换矩阵进一步投影至所述激光摄像头和所述视频摄像头之间的第二转换矩阵，实现所述激光雷达到所述视频摄像头的标定。

所述的步骤10中，对被测区域进行激光扫描，包括以下扫描方法：

11.点扫描的方法：每次扫描四个点，从屏幕的最外围向屏幕的中间进行扫描；

12.线扫描的方法：每次扫描一条横线或者一条竖线，从屏幕的一边扫描到屏幕的另一边；

13.正方形扫描方法：每次扫描一个四条边框围成的正方形，先在屏幕最外围扫描最大正方形，逐渐缩小正方形的大小，直至扫描到屏幕的中间的最小正方形，或者直至扫描到屏幕的中间的一个点。

所述的步骤20中，所述被测区域为所述激光雷达进行扫描所产生的一个预设大小的矩形区域或者预设大小的正方形区域或者是激光雷达扫描视场的最大边框区域。

所述的步骤40中，所述激光摄像头与所述激光雷达的标定中，激光摄像头用来捕捉发射的激光照亮的位置，为了标定激光雷达采用以上所述的点扫描、线扫描、正方形扫描等扫描方式来实现系统标定。在定标前，激光雷达扫描可以产生一个固定图形，比如说是矩形或其他固定图形，这个图形可以是激光雷达扫描视场的最大边框。通过观察视频激光光点在激光摄像头图像上的位置，调整激光雷达精确的发射视场边框，从而得到所述第一转换矩阵，类似下图：

其中，矩阵中每一行代表激光摄像头里面一行的像素。0代表所述激光摄像头图像上没有激光点落入，1代表第一个激光点，2代表第二个激光点，以此类推。在激光雷达实时运行时，激光接收器将采集到的被测区域中被测物体的距离，时间，光强等参数信息放到这个矩阵里面，形成和激光摄像头融合好的激光雷达的点云数据。

所述的步骤50中，所述激光摄像头与所述视频摄像头的标定中，所述激光摄像头和所述视频摄像头在出厂时是处于相对固定的位置，两个摄像头的移动是同步的。两个摄像头里面的图像，可以通过事先标定的坐标转换参数，直接进行转换。通常视频摄像头的像素比激光摄像头采集激光光斑的像素密度高，通过矩阵算法将激光摄像头的激光光斑像素投影到视频摄像头的像素图像上，标定后产生的一个标定矩阵，即为所述第二转换矩阵，类似下图：

其中，矩阵中的每一行代表视频摄像头里面每一个像素点和激光摄像头里面像素点的对应关系，0代表所述激光摄像头没有相对应的像素，1代表所述激光摄像头的像素1和所述视频摄像头像素重叠，以此类推。标定完成后，对同一场景的激光摄像头拍摄到的图片可以和视频摄像头拍摄到的图片完全准确重叠，像素级别灰度差别小于系统误差。

所述的步骤60中，将所述激光雷达与所述激光摄像头之间的第一转换矩阵进一步投影至所述激光摄像头和所述视频摄像头之间的第二转换矩阵，这样，激光雷达的点云矩阵即可与视频摄像头的对应的像素矩阵进行准确融合，实现所述激光雷达到所述视频摄像头的标定。

所述的步骤40至步骤60中，所述激光雷达到所述视频摄像头的标定，还进一步包括静态标定、动态标定、实时修正。

静态标定(Static Calibration)：是指在所述激光雷达、所述激光摄像头、所述视频摄像头均处于静止状态或者同步移动状态下进行静态标定，通过在产品出厂前进行静态标定，使激光雷达的点云矩阵和视频摄像头的像素矩阵的数据达到精确的重叠水平。

动态标定(Dynamic Calibration)：通过在所述激光雷达、所述激光摄像头、所述视频摄像头处于运行过程状态下进行所述动态标定，且将所述动态标定穿插在运行过程中的激光扫描的间隔期间，通过在产品运行过程中，对激光雷达，激光摄像头和视频摄像头进行不定时的动态标定，保证系统的稳定可靠性。本实施例中，所述动态标定是指局部标定，仅对被测区域中的激光反射较显著的局部区域进行动态标定，例如只做单一标定图形的标定，将系统偏移进行调整，该单一标定图形可能不是激光雷达扫描的最大边框，而是目前激光点反射比较好的最大图形，保证激光点反射可以接收。并根据动态标定结果对所述第一转换矩阵和第二转换矩阵进行修正，同时对所述激光雷达进行校准。

实时激光雷达与视频偏移检测：在产品运行时，通过及时检测标定偏差，例如视频检查到某个路标的形状和位置明显的和激光点云对应的该物体的形状和位置有偏差，或者激光点应该落到路标上，但是明显落到视频显示的天空中。如果错误达到某个预定值，说明标定偏差存在，即可通过前述的方法进行动态标定，及时修正系统偏差。

所述的步骤60中，实现所述激光雷达到所述视频摄像头的标定后，则进一步将所述激光雷达的点云数据与所述视频摄像头的视频数据进行叠加融合；其中，所述点云数据包括距离信息、光强信息、时间信息、速度信息中的一种以上，所述视频数据包括图像像素信息，从而使得融合后的数据信息更加全面，且各个数据能够精准对应。

为了更准确的激光标定，系统可以使用某种对激光反射比较好的标准标定物体来作为所述被测区域，例如，采用带图像的平面图，以对两个摄像头以及激光雷达进行标定。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种激光雷达、激光摄像头、视频摄像头的融合标定系统，其特征在于，包括：

激光雷达，用于对被测区域进行激光扫描得到激光雷达的点云数据；

激光摄像头，用于根据所述被测区域反射的激光信号进行获取所述被测区域的边框图像数据；

视频摄像头，用于采集所述被测区域的视频数据；

点云数据标定模块，其根据所述激光雷达的激光光点在所述激光摄像头的边框图像数据中的位置进行计算坐标转换参数，并根据该坐标转换参数将所述激光雷达的点云数据投影至所述激光摄像头的边框图像数据，得到所述激光雷达与所述激光摄像头之间的第一转换矩阵；

视频数据标定模块，其根据所述激光摄像头和所述视频摄像头的相对位置关系进行计算坐标转换参数，并根据该坐标转换参数将所述激光摄像头获取的边框图像数据投影至所述视频摄像头的视频数据，得到所述激光摄像头和所述视频摄像头之间的第二转换矩阵；

融合标定模块，其将所述激光雷达与所述激光摄像头之间的第一转换矩阵进一步投影至所述激光摄像头和所述视频摄像头之间的第二转换矩阵，实现所述激光雷达到所述视频摄像头的标定。

2.根据权利要求1所述的一种激光雷达、激光摄像头、视频摄像头的融合标定系统，其特征在于：所述激光雷达进一步包括：

激光发射器，用于发射激光束并对所述被测区域进行激光扫描；

激光接收器，用于接收所述被测区域反射的激光信号，得到激光雷达的点云数据。

3.根据权利要求1所述的一种激光雷达、激光摄像头、视频摄像头的融合标定系统，其特征在于：所述激光摄像头的前端设有与所述激光雷达的波段相匹配的激光滤光片。

4.一种激光雷达、激光摄像头、视频摄像头的融合标定方法，其特征在于，包括以下步骤：

10.激光雷达对被测区域进行激光扫描得到激光雷达的点云数据；

20.激光摄像头根据所述被测区域反射的激光信号进行获取所述被测区域的边框图像数据；

30.视频摄像头采集所述被测区域的视频数据；

40.根据所述激光雷达的激光光点在所述激光摄像头的边框图像数据中的位置进行计算坐标转换参数，并根据该坐标转换参数将所述激光雷达的点云数据投影至所述激光摄像头的边框图像数据，得到所述激光雷达与所述激光摄像头之间的第一转换矩阵；

50.根据所述激光摄像头和所述视频摄像头的相对位置关系进行计算坐标转换参数，并根据该坐标转换参数将所述激光摄像头获取的边框图像数据投影至所述视频摄像头的视频数据，得到所述激光摄像头和所述视频摄像头之间的第二转换矩阵；

60.将所述激光雷达与所述激光摄像头之间的第一转换矩阵进一步投影至所述激光摄像头和所述视频摄像头之间的第二转换矩阵，实现所述激光雷达到所述视频摄像头的标定。

5.根据权利要求4所述的一种激光雷达、激光摄像头、视频摄像头的融合标定方法，其特征在于：所述的步骤10中，对被测区域进行激光扫描，包括以下扫描方法：

11.点扫描的方法：每次扫描四个点，从屏幕的最外围向屏幕的中间进行扫描；

12.线扫描的方法：每次扫描一条横线或者一条竖线，从屏幕的一边扫描到屏幕的另一边；

13.正方形扫描方法：每次扫描一个四条边框围成的正方形，先在屏幕最外围扫描最大正方形，逐渐缩小正方形的大小，直至扫描到屏幕的中间的最小正方形，或者直至扫描到屏幕的中间的一个点。

6.根据权利要求4所述的一种激光雷达、激光摄像头、视频摄像头的融合标定方法，其特征在于：所述的步骤20中，所述被测区域为所述激光雷达进行扫描所产生的一个预设大小的矩形区域或者预设大小的正方形区域或者是激光雷达扫描视场的最大边框区域。

7.根据权利要求4所述的一种激光雷达、激光摄像头、视频摄像头的融合标定方法，其特征在于：所述的步骤40至步骤60中，所述激光雷达到所述视频摄像头的标定，是指在所述激光雷达、所述激光摄像头、所述视频摄像头均处于静止状态或者同步移动状态下进行静态标定。

8.根据权利要求7所述的一种激光雷达、激光摄像头、视频摄像头的融合标定方法，其特征在于：还包括动态标定步骤，通过在所述激光雷达、所述激光摄像头、所述视频摄像头处于运行过程状态下进行所述动态标定，且将所述动态标定穿插在运行过程中的激光扫描的间隔期间。

9.根据权利要求8所述的一种激光雷达、激光摄像头、视频摄像头的融合标定方法，其特征在于：所述动态标定是指局部标定，仅对被测区域中的激光反射较显著的局部区域进行动态标定，并根据动态标定结果对所述第一转换矩阵和第二转换矩阵进行修正，同时对所述激光雷达进行校准。

10.根据权利要求4所述的一种激光雷达、激光摄像头、视频摄像头的融合标定方法，其特征在于：所述的步骤60中，实现所述激光雷达到所述视频摄像头的标定后，则进一步将所述激光雷达的点云数据与所述视频摄像头的视频数据进行叠加融合；其中，所述点云数据包括距离信息、光强信息、时间信息、速度信息中的一种以上，所述视频数据包括图像像素信息。