CN114627235A - 一种应用于自动驾驶车辆的动态点云染色方法及系统 - Google Patents

Abstract

本发明提供一种应用于自动驾驶车辆的动态点云染色方法及系统，方法包括：采用相片采集单元采集外部环境的相片并获取采集相片的第一时刻；采用点云采集单元采集外部环境的激光点云集，并获取激光点云集采集的初始时刻与采集周期；惯性测量单元实时采集自身的速度；获取惯性测量单元与点云采集单元的第一转换矩阵、点云采集单元和相片采集单元的第二转换矩阵；基于第一转换矩阵和所述惯性测量单元采集的速度获取点云采集单元的速度；激光点云集通过点云采集单元的速度通过点云补偿算法归一到第一时刻，获取同步激光点云集；基于第二转换矩阵进行相片和同步激光点云集融合的点云染色操作得到彩色点云；利用点云补偿方法来实现点云与相片的同步。

Description

一种应用于自动驾驶车辆的动态点云染色方法及系统

技术领域

本发明涉及点云染色技术领域，尤其涉及一种应用于自动驾驶车辆的动态点云染色方法及系统。

背景技术

在室外环境下，投影法是一种点云染色的传统方法，该方法结合激光雷达、相机，通过坐标系转化的方式将相片上的颜色信息附加到激光点云上，从而获取彩色点云。

获取彩色点云的技术在车载运动环境下，由于运动造成的点云上的点采集时刻不一致的问题，导致相片与点云融合过程中出现颜色偏差，造成点云染色失真，不适合在运动环境下使用。

现有技术中采用点云补偿方法对点云失真进行补偿，因为点云生成是逐点收集的，所以点云上的点不都是同一时刻得到的，点云补偿就是将点云上所有点归一到一个时刻，现有技术中只是用来实现激光雷达点云所有点同步，而没有结合颜色信息。现有技术中缺乏一种直接用来做运动情况下相片和点云的时刻同步的方法。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明为了解决现有的问题，提供一种应用于自动驾驶车辆的动态点云染色方法及系统。

为了解决上述问题，本发明采用的技术方案如下所述：

一种应用于自动驾驶车辆的动态点云染色方法，包括如下步骤：S1：采集数据，具体包括：采用相片采集单元采集外部环境的相片并获取采集所述相片的第一时刻t；采用点云采集单元采集所述外部环境的激光点云集C，并获取所述激光点云集采集的初始时刻t0与激光点云集采集的采集周期T；所述惯性测量单元实时采集自身的速度，所述速度包括通过积分得到的线速度和直接测量得到的角速度；获取所述惯性测量单元与所述点云采集单元的第一转换矩阵T1、所述点云采集单元和所述相片采集单元的第二转换矩阵T2；S2：基于所述第一转换矩阵T1和所述惯性测量单元采集的线速度与角速度获取所述点云采集单元的线速度v与角速度w；S3：所述激光点云集C通过所述点云采集单元的线速度v与角速度w通过点云补偿算法归一到所述第一时刻，获取同步激光点云集C0；S4：基于所述第二转换矩阵进行所述相片和所述同步激光点云集C0融合的点云染色操作得到彩色点云。

优选地，获取所述同步激光点云集C0，包括如下步骤：S31：通过角度关系计算获取所述激光点云集C上任意一个激光点的采集时刻；S32：将所述激光点云集C上所有的激光点采集的时刻依次通过空间变化拟合到所述第一时刻t上的点，得到所述同步激光点云集C0。

优选地，在所述点云采集单元的采集周期T内，假设自动驾驶车辆的运动为匀速运动，所述激光点云集C上任意一个激光点P，其坐标为p(x,y,z)，开始采集的时刻为t0，扫描角度为360°，通过如下公式计算出P点的采集时刻t1：

优选地，根据匀速运动，将P点采集的时刻通过空间变化拟合到所述第一时刻t上,包括：经过旋转变化得到第一激光点P1，公式如下：

p1＝R(w*(t1-t))*p

其中，R(.)表示将向量转化为旋转矩阵，w是所述点云采集单元＝计算得到的角速度,p1是第一激光点P1的坐标，p是激光点P的坐标；

通过所述第一激光点P1经过平移变化得到第二激光点P2，公式如下：

p2＝p1+v*(t1-t)

其中，v是所述点云采集单元计算得到的线速度，p2是第二激光点P2的坐标；

根据上述步骤，依次获取转化到所述第一时刻t的点，构成所述同步激光点云集C0。

优选地，对所述激光点云集C1进行处理得到位于相片平面上的激光点云集C3，包括如下步骤：将获取的所述同步激光点云集C0通过所述第二转换矩阵T2，从点云采集单元坐标系转化到相机坐标系中得到转化坐标系后的第一激光点云集C1；将激光点云集C1中处于所述相机坐标系z坐标轴负极的点去除，得到处于z坐标轴正极的第二激光点云集C2；对所述第二激光点云集C2进行空间投影处理得到位于相片平面上的第三激光点云集C3。

优选地，得到所述彩色点云，包括如下步骤：获取每一个位于所述相片平面上的所述第三激光点云集C3中激光点的颜色信息；将所述颜色信息附加到所述第二激光点云集C2中并消除没有颜色的激光点，获得第四激光点云集C4；根据所述第四激光点云集C4通过所述第二转换矩阵T2的逆进行坐标系转化，从所述相机坐标系转化到所述点云采集单元坐标系中，得到转化坐标系后的所述彩色点云。

优选地，采用利用最近邻取值法或双三次插值法获取每一个位于所述相片平面上的所述第三激光点云集C3中激光点的颜色信息。

本发明提供一种应用于自动驾驶车辆的动态点云染色系统，用于实现如上任一所述的方法，包括相片采集单元、点云采集单元、惯性测量单元、同步时间单元、点云染色单元、结果输出单元，所述相片采集单元，用于采集外部环境的相片并将所述相片和采集所述相片的第一时刻传给同步时间单元；所述点云采集单元，用于采集所述外部环境的激光点云集并将所述激光点云集和采集所述激光点云集的起始时刻、采集周期传给所述同步时间单元；所述惯性测量单元，用于实时采集自身的速度，包括线速度与角速度；所述同步时间单元，用于基于所述惯性测量单元与所述点云采集单元的第一转换矩阵和所述惯性测量单元采集的线速度与角速度获取所述点云采集单元的速度，包括线速度与角速度；基于所述第一时刻和采集所述激光点云集的起始时刻、采集周期得到所述激光点云集的同步点云；所述点云染色单元，用于根据所述激光点云通过所述点云采集单元的线速度与角速度采用点云补偿算法归一到相所述第一时刻，获取同步激光点云集；基于所述第二转换矩阵进行所述相片和所述同步激光点云集融合的点云染色操作得到彩色点云；所述结果输出单元将所述彩色点云输出。

优选地，所述相片采集单元是相机，所述点云采集单元是激光雷达，所述惯性测量单元为车载IMU装置，所述同步时间单元和所述点云染色单元为车载电脑的中央处理器，所述结果输出单元为显示屏。

本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。

本发明的有益效果为：提供一种应用于自动驾驶车辆的动态点云染色方法及系统，通过惯性测量单元利用点云补偿方法来实现点云与相片的同步，从而维持了运动情况下点云染色时点云与相片的时间一致性来实现点云的畸变补偿，以使得点云与相片实现软同步。

附图说明

图1是本发明实施例中一种应用于自动驾驶车辆的动态点云染色方法的示意图。

图2是本发明实施例中获取所述同步激光点云集C0的方法示意图。

图3是本发明实施例中点云补偿的示意图。

图4是本发明实施例中对激光点云集C1进行处理得到位于相片平面上的激光点云集C3的方法示意图。

图5是本发明实施例中得到所述彩色点云的方法示意图。

图6是本发明实施例中一种应用于自动驾驶车辆的动态点云染色系统的示意图。

图7是本发明实施例中种应用于自动驾驶车辆的动态点云染色流程示意图。

图8是本发明实施例中相片的示意图。

图9是本发明实施例中激光点云集的示意图。

图10是本发明实施例中同步激光点云集的示意图。

图11是本发明实施例中第二激光点云集的示意图。

图12是本发明实施例中第三激光点云集的示意图。

图13是本发明实施例中第四激光点云集的示意图。

图14是本发明实施例中一种第五激光点云集的示意图。

图15是本发明实施例中又一种第五激光点云集的示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

现有技术中，通常做的相机与激光雷达融合，都是利用静态情况下采集数据得到的，此时激光雷达所有的点均可视为同一时刻，但在运动情况下采集激光点云数据，此时激光雷达接收器会随着时间改变位置，即采集到的激光点的位置会发生偏移，无法做到与相片采集时刻同步，所以本发明提出了一种利用点云运动补偿的方法来实现相片与激光雷达的时间同步方法，同时基于该方法搭建了点云染色系统，实现惯性测量单元、激光雷达、相机数据的融合。

如图1所示，本发明提供一种应用于自动驾驶车辆的动态点云染色方法，包括如下步骤：

S1：采集数据，具体包括：采用相片采集单元采集外部环境的相片并获取采集所述相片的第一时刻t；采用点云采集单元采集所述外部环境的激光点云集C，并获取所述激光点云集采集的初始时刻t0与激光点云集采集的采集周期T；所述惯性测量单元实时采集自身的速度，所述速度包括通过积分得到的线速度和直接测量得到的角速度；获取所述惯性测量单元与所述点云采集单元的第一转换矩阵T1、所述点云采集单元和所述相片采集单元的第二转换矩阵T2；

S2：基于所述第一转换矩阵T1和所述惯性测量单元采集的线速度与角速度获取所述点云采集单元的线速度v与角速度w；

S3：所述激光点云集C通过所述点云采集单元的线速度v与角速度w通过点云补偿算法归一到所述第一时刻，获取同步激光点云集C0；

S4：基于所述第二转换矩阵进行所述相片和所述同步激光点云集C0融合的点云染色操作得到彩色点云。

本发明通过惯性测量单元，利用点云补偿方法来实现点云与相片的同步，从而维持了运动情况下点云染色时点云与相片的时间一致性来实现点云的畸变补偿，以使得点云与相片实现软同步的功能，解决了投影法点云染色在载体运动情况下失真的问题。

进一步地，本发明通过对同步激光点云进行染色并取得了相对较好的点云染色效果，能够应用到自动驾驶车辆上实现实时点云染色的功能。

可以理解的是，在自动驾驶车辆中一般设置有相片采集单元、点云采集单元和惯性测量单元，本发明基于自动驾驶车辆的已有硬件提供一种应用于自动驾驶车辆的动态点云染色方法。

如图2所示，获取所述同步激光点云集C0包括如下步骤：

S31：通过角度关系计算获取所述激光点云集C上任意一个激光点的采集时刻；

S32：将所述激光点云集C上所有的激光点采集的时刻依次通过空间变化拟合到所述第一时刻t上的点，得到所述同步激光点云集C0。

本发明将点云采集单元采集所述外部环境的激光点云集中的点云同步到相片采集单元采集外部环境的相片的第一时刻得到同步激光点云集C0实现点云与相片的同步。

具体地，由于激光雷达是逐点采集，所以采集到的点云上的点都不在同一个时刻，在运动情况下，每个点的采集位置发生了变化，通过点云补偿方法即可获取同一时刻下的点云。

如图3所示，在本发明的一种实施例中，在所述点云采集单元的采集周期T内，假设自动驾驶车辆的运动为匀速运动，所述激光点云集C上任意一个激光点P，其坐标为p(x,y,z)，开始采集的时刻为t0，扫描角度为360°，通过如下公式计算出P点的采集时刻t1：

根据匀速运动，将P点采集的时刻通过空间变化拟合到所述第一时刻t上,包括：

经过旋转变化得到第一激光点P1，公式如下：

p1＝R(w*(t1-t))*p

其中，R(.)表示将向量转化为旋转矩阵，w是所述点云采集单元＝计算得到的角速度,p1是第一激光点P1的坐标，p是激光点P的坐标；

通过所述第一激光点P1经过平移变化得到第二激光点P2，公式如下：

p2＝p1+v*(t1-t)

其中，v是所述点云采集单元计算得到的线速度，p2是第二激光点P2的坐标；

根据上述步骤，依次获取转化到所述第一时刻t的点，构成所述同步激光点云集C0。

相片只需要采集一次就有相片，而激光点云因为是投射出去的点返回形成的，一个点云中有很多激光点，这些激光点发射的时刻是逐步发射的，形成点云的时候是需要一个周期的，即不断地采集一个周期内发射的激光点才能形成，所以自动驾驶车辆在运动过程中点云因为激光点云和相片采集时间不一致发生位移，如果不采用点云补偿矫正到相机时刻，就会导致点云上的点不都是对应相机时刻上的点，此时染色效果就会不好。本发明采用点云运动补偿的方法来实现相片与激光点云的时间同步，维持了运动情况下点云染色时点云与相片的时间一致性，解决了投影法点云染色在载体运动情况下失真的问题。

如图4所示，对所述激光点云集C1进行处理得到位于相片平面上的激光点云集C3，包括如下步骤：

将获取的所述同步激光点云集C0通过所述第二转换矩阵T2，从点云采集单元坐标系转化到相机坐标系中得到转化坐标系后的第一激光点云集C1；

将激光点云集C1中处于所述相机坐标系z坐标轴负极的点去除，得到处于z坐标轴正极的第二激光点云集C2；

对所述第二激光点云集C2进行空间投影处理得到位于相片平面上的第三激光点云集C3。

因为激光点云是360°的数据，当投影到相片平面时，相片只是一个平面，所以在投影过程中既有正面的点云投影到里面，但是也有负面的点云投影到平面，但是负面的点云投影是不合理的，所以要删去。

如图5所示，得到所述彩色点云包括如下步骤：

获取每一个位于所述相片平面上的所述第三激光点云集C3中激光点的颜色信息；

将所述颜色信息附加到所述第二激光点云集C2中并消除没有颜色的激光点，获得第四激光点云集C4；

根据所述第四激光点云集C4通过所述第二转换矩阵T2的逆进行坐标系转化，从所述相机坐标系转化到所述点云采集单元坐标系中，得到转化坐标系后的所述彩色点云。

在本发明的一种实施例中，利用最近邻取值法获取每一个位于相片平面上的激光点的颜色信息，由于像素坐标均为整数，但投影到相片上的激光点非整数，所以按照四舍五入法来确定最靠近激光点的像素点，将该像素点的RGB信息附加到激光点上。

在本发明的另一种实施例中，采用双三次插值法获取每一个位于所述相片平面上的所述第三激光点云集C3中激光点的颜色信息，充分利用周边像素的颜色信息，应用于点云染色，融合点云输入单元与相片输入单元拟合出点云的颜色，减少颜色误差，实现点云染色的功能。

如上的点云染色方法取得了相对较好的点云染色效果，能够应用到自动驾驶车辆上实现实时点云染色的功能。

可以理解的是，也可以采用现有技术中的其他点云染色方法。

如图6所示，本发明还提供一种应用于自动驾驶车辆的动态点云染色系统，用于实现如上任一所述的方法，包括相片采集单元、点云采集单元、惯性测量单元、同步时间单元、点云染色单元、结果输出单元，

所述相片采集单元，用于采集外部环境的相片并将所述相片和采集所述相片的第一时刻传给同步时间单元；

所述点云采集单元，用于采集所述外部环境的激光点云集并将所述激光点云集和采集所述激光点云集的起始时刻、采集周期传给所述同步时间单元；

所述惯性测量单元，用于实时采集自身的速度，包括线速度与角速度；

所述同步时间单元，用于基于所述惯性测量单元与所述点云采集单元的第一转换矩阵和所述惯性测量单元采集的线速度与角速度获取所述点云采集单元的速度，包括线速度与角速度；基于所述第一时刻和采集所述激光点云集的起始时刻、采集周期得到所述激光点云集的同步点云；

所述点云染色单元，用于根据所述激光点云通过所述点云采集单元的线速度与角速度采用点云补偿算法归一到相所述第一时刻，获取同步激光点云集；基于所述第二转换矩阵进行所述相片和所述同步激光点云集融合的点云染色操作得到彩色点云；

所述结果输出单元将所述彩色点云输出。

在一种具体的实施例中，所述相片采集单元是相机，所述点云采集单元是激光雷达，所述惯性测量单元为IMU装置，所述同步时间单元和所述点云染色单元为车载电脑的中央处理器，所述结果输出单元为显示屏。具体的，相机型号为FL2-14S3C-C；激光雷达的具体型号为Velodyne HDL-64E；IMU装置为车载IMU装置；中央处理器为车载电脑CPU；显示屏为华为MATE View。

本发明的方法和系统在自动驾驶车辆运动情况下，利用点云补偿的原理采用IMU数据实现相片与点云的时间同步(校时)，利用空间投射的方法来时实现相片与点云的空间同步(染色)，从而实现相机、IMU、激光雷达的融合下的点云染色方法。

如图7所示，进行如下实验，具体的：

1、输入采集到的激光点云集C、相片P及时刻t、IMU线速度与角速度、惯性测量单元与点云采集单元的第一转换矩阵T1、点云采集单元和相片采集单元的第二转换矩阵T2；

如图8所示，是本发明实施例中相片的示意图。

如图9所示，是本发明实施例中激光点云集的示意图。

2、根据第一转移矩阵T1，将IMU装置测算到的线速度与角速度信息从IMU坐标系转化到激光雷达坐标系，获取到激光雷达的线速度与角速度信息。

3、将获取到的激光点云集C通过步骤2测算到的线速度与角速度信息，采用点云补偿算法归一到采集相片的第一时刻t，获取同步激光点云集C0：

如图10所示，是本发明实施例中同步激光点云集的示意图。

4、将获取的同步激光点云集C0通过转换矩阵T2，进行坐标系转化，从激光雷达坐标系转化到相机坐标系中，得到转化坐标系后的第一激光点云集C1；

5、将第一激光点云集C1中处于z坐标轴负极的点云去掉，得到处于z坐标轴正极的第二激光点云集C2；

如图11所示，是本发明实施例中第二激光点云集的示意图。

6、将第二激光点云集C2通过投影法投影到相片P的平面上，形成位于相片平面上的第三激光点云集C3；

如图12所示，是本发明实施例中第三激光点云集的示意图。

7、利用最近邻取值法或双三次插值法获取每一个位于相片平面上的激光点的颜色信息，由于像素坐标均为整数，但投影到相片上的激光点非整数，所以按照四舍五入法来确定最靠近激光点的像素点，将该像素点的RGB信息附加到激光点上。

8、根据得到的第三激光点云集C3上每个激光点的颜色信息，附加到激光点云集C2中，消除没有颜色的激光点，最终获得激光点云集C4。

如图13所示，是本发明实施例中第四激光点云集的示意图。

9、根据得到的第四激光点云集C4通过转换矩阵T2的逆，进行坐标系转化，从相机坐标系转化到激光雷达坐标系中，得到转化坐标系后的第五激光点云集C5。

如图14所示，是本发明实施例中一种第五激光点云集的示意图。

如图15所示，是本发明实施例中又一种第五激光点云集的示意图。

10、最后输出彩色激光点云集C5，算法流程结束。

本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。

本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。

本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。

所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAMEnhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，Sync Link Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种应用于自动驾驶车辆的动态点云染色方法，其特征在于，包括如下步骤：

S1：采集数据，具体包括：采用相片采集单元采集外部环境的相片并获取采集所述相片的第一时刻t；采用点云采集单元采集所述外部环境的激光点云集C，并获取所述激光点云集采集的初始时刻t0与激光点云集采集的采集周期T；所述惯性测量单元实时采集自身的速度，所述速度包括通过积分得到的线速度和直接测量得到的角速度；获取所述惯性测量单元与所述点云采集单元的第一转换矩阵T1、所述点云采集单元和所述相片采集单元的第二转换矩阵T2；

S2：基于所述第一转换矩阵T1和所述惯性测量单元采集的线速度与角速度获取所述点云采集单元的线速度v与角速度w；

S3：所述激光点云集C通过所述点云采集单元的线速度v与角速度w通过点云补偿算法归一到所述第一时刻，获取同步激光点云集C0；

S4：基于所述第二转换矩阵进行所述相片和所述同步激光点云集C0融合的点云染色操作得到彩色点云。

2.如权利要求1所述的应用于自动驾驶车辆的动态点云染色方法，其特征在于，获取所述同步激光点云集C0包括如下步骤：

S31：通过角度关系计算获取所述激光点云集C上任意一个激光点的采集时刻；

S32：将所述激光点云集C上所有的激光点采集的时刻依次通过空间变化拟合到所述第一时刻t上的点，得到所述同步激光点云集C0。

3.如权利要求2所述的应用于自动驾驶车辆的动态点云染色方法，其特征在于，在所述点云采集单元的采集周期T内，假设自动驾驶车辆的运动为匀速运动，所述激光点云集C上任意一个激光点P，其坐标为p(x,y,z)，开始采集的时刻为t0，扫描角度为360°，通过如下公式计算出P点的采集时刻t1：

4.如权利要求3所述的应用于自动驾驶车辆的动态点云染色方法，其特征在于，根据匀速运动，将P点采集的时刻通过空间变化拟合到所述第一时刻t上,包括：

经过旋转变化得到第一激光点P1，公式如下：

p1＝R(w*(t1-t))*p

其中，R(.)表示将向量转化为旋转矩阵，w是所述点云采集单元计算得到的角速度,p1是第一激光点P1的坐标，p是激光点P的坐标；

通过所述第一激光点P1经过平移变化得到第二激光点P2，公式如下：

p2＝p1+v*(t1-t)

其中，v是所述点云采集单元计算得到的线速度，p2是第二激光点P2的坐标；

根据上述步骤，依次获取转化到所述第一时刻t的点，构成所述同步激光点云集C0。

5.如权利要求4所述的应用于自动驾驶车辆的动态点云染色方法，其特征在于，对所述激光点云集C1进行处理得到位于相片平面上的激光点云集C3，包括如下步骤：

将获取的所述同步激光点云集C0通过所述第二转换矩阵T2，从点云采集单元坐标系转化到相机坐标系中得到转化坐标系后的第一激光点云集C1；

将激光点云集C1中处于所述相机坐标系z坐标轴负极的点去除，得到处于z坐标轴正极的第二激光点云集C2；

对所述第二激光点云集C2进行空间投影处理得到位于相片平面上的第三激光点云集C3。

6.如权利要求5所述的应用于自动驾驶车辆的动态点云染色方法，其特征在于，得到所述彩色点云包括如下步骤：

获取每一个位于所述相片平面上的所述第三激光点云集C3中激光点的颜色信息；

将所述颜色信息附加到所述第二激光点云集C2中并消除没有颜色的激光点，获得第四激光点云集C4；

根据所述第四激光点云集C4通过所述第二转换矩阵T2的逆进行坐标系转化，从所述相机坐标系转化到所述点云采集单元坐标系中，得到转化坐标系后的所述彩色点云。

7.如权利要求6所述的应用于自动驾驶车辆的动态点云染色方法，其特征在于，采用利用最近邻取值法或双三次插值法获取每一个位于所述相片平面上的所述第三激光点云集C3中激光点的颜色信息。

8.一种应用于自动驾驶车辆的动态点云染色系统，其特征在于，用于实现如权利要求1-7任一所述的方法，包括相片采集单元、点云采集单元、惯性测量单元、同步时间单元、点云染色单元、结果输出单元，

所述相片采集单元，用于采集外部环境的相片并将所述相片和采集所述相片的第一时刻传给同步时间单元；

所述点云采集单元，用于采集所述外部环境的激光点云集并将所述激光点云集和采集所述激光点云集的起始时刻、采集周期传给所述同步时间单元；

所述惯性测量单元，用于实时采集自身的速度，包括通过积分得到的线速度和直接测量得到角速度；

所述同步时间单元，用于基于所述惯性测量单元与所述点云采集单元的第一转换矩阵和所述惯性测量单元采集的线速度与角速度获取所述点云采集单元的速度，包括线速度与角速度；基于所述第一时刻和采集所述激光点云集的起始时刻、采集周期得到所述激光点云集的同步点云；

所述点云染色单元，用于根据所述激光点云通过所述点云采集单元的线速度与角速度采用点云补偿算法归一到相所述第一时刻，获取同步激光点云集；基于所述第二转换矩阵进行所述相片和所述同步激光点云集融合的点云染色操作得到彩色点云；

所述结果输出单元将所述彩色点云输出。

9.如权利要求8所述的应用于自动驾驶车辆的动态点云染色系统，其特征在于，所述相片采集单元是相机，所述点云采集单元是激光雷达，所述惯性测量单元为车载IMU装置，所述同步时间单元和所述点云染色单元为车载电脑的中央处理器，所述结果输出单元为显示屏。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一所述方法的步骤。

Images