CN109471128B - 一种正样本制作方法及装置 - Google Patents

Abstract

本发明公开了一种正样本制作方法及装置，所述方法包括通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；采集同步曝光的激光点云数据和图像数据；对所述激光点云数据进行处理，生成目标样本；将所述目标样本投影到所述图像数据中，生成目标样本标签，所述目标样本标签包括所述目标样本的距离信息和速度信息。本发明可实现半自动或自动建立样本标签，不仅可以大大提高标注效率，还可以保证样本一致性、可靠性和稳定性，且激光点云数据不会产生运动畸变，所提取目标投影到对齐后的图像中可生成精确的目标标签，同时激光雷达数据采集模块可提供精确的速度信息，为图像目标提供速度属性，为帧间目标跟踪速度等应用提供校验信息。

Description

一种正样本制作方法及装置

技术领域

本发明涉及无人驾驶技术领域，尤其涉及一种正样本制作方法及装置。

背景技术

人工智能技术推动着智能驾驶的快速发展，深度学习技术作为智能驾驶中环境感知的核心技术需要大量的标注信息。对于视觉感知算法所需的图像目标样本，传统的人工标注方式费时费力，为缓解视觉感知算法对海量真值样本需求的压力，一些自动化或半自动化的样本标注方法被提出，比如，基于一定量的人工标注的样本训练深度神经网络模型，然后利用该模型进行自动预测标注，或者利用激光雷达扫描仪来为图像提供真值信息，并融合了深度学习的训练与预测，或者在图像中标记目标位置、类型和属性等信息，并利用激光点云数据提供距离信息，将这些标注数据合成多维向量用于深度神经网络的训练学习，从而提供距离估计。

然而，现有的技术方案人工标注的局限性较大，标注一致性和精度都难以保障，效率太低，基于深度学习训练的方式虽然可大幅提高标注效率，但预测精度难于满足需求，仍需大量的修正工作，同时当前激光点云数据通常由激扫描光雷达生成，由于点云数据的获取与图像数据无法完全同步，在自身及目标有运动时往往会产生目标位置偏离和畸变，导致误差较大，很难生成精确的目标标签，再者结合点云距离信息和图像标注信息的深度学习方案，虽然能够弥补基于深度学习训练的方式的预测精度难于满足需求的不足，但要求激光雷达与图像数据深度绑定，扩展性差，此外目前主要的标注方案只考虑到目标的位置和距离，而未提供速度信息。而结合目标距离和速度计算出碰撞时间对于安全驾驶至关重要，因此建立目标精确的速度真值对验证算法准确性不可缺少。为此本发明提出一种正样本制作方法及装置。

发明内容

为了解决现有技术中的自动化或半自动化的标注方法存在的标注一致性、精度及效率较低，误差较大，扩展性差以及不能够提供速度信息等缺陷，最终导致难以生成精确的目标样本标签的问题，本发明提供了一种正样本制作方法及装置。

为了解决上述技术问题，第一方面，本发明提供了一种正样本制作方法，包括：

通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；

采集同步曝光的激光点云数据和图像数据；

对所述激光点云数据进行处理，生成目标样本；

将所述目标样本投影到所述图像数据中，生成目标样本标签，其中，所述目标样本标签包括所述目标样本的距离信息和速度信息。

进一步地，所述通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光，包括：

所述激光雷达数据采集模块发出曝光信号并将所述曝光信号曝光，同时将所述曝光信号发送给所述图像数据采集模块，所述图像数据采集模块接收所述曝光信号并将所述曝光信号曝光；

或，

所述图像数据采集模块发出曝光信号并将所述曝光信号曝光，同时将所述曝光信号发送给所述激光雷达数据采集模块，所述激光雷达数据采集模块接收所述曝光信号并将所述曝光信号曝光。

进一步地，所述通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光之前，还包括：

对所述激光雷达数据采集模块和所述图像数据采集模块进行联合标定，使所述激光点云数据和所述图像数据的空间位置对齐；

所述采集同步曝光的激光点云数据和图像数据，进一步包括：

采集空间位置对齐且同步曝光的激光点云数据和图像数据。

进一步地，所述对所述激光点云数据进行处理，生成目标样本，包括：

根据激光点云数据的扫描参数信息，建立路面平面模型；

根据激光点云数据的距离信息、反射强度信息和速度信息对目标样本聚类，获取目标样本的二维坐标区域，将目标样本的二维坐标区域投影到路面平面，形成目标样本的三维目标区域框；

统计三维目标区域框内的点云的距离信息，通过一定的计算得到目标样本距离；

统计三维目标区域框内的点云的速度信息，通过一定的计算得到目标样本速度。

进一步地，所述将所述目标样本投影到所述图像数据中，生成目标样本标签之后，还包括：去除目标样本标签中的非感兴趣样本，并修改标注不准确的样本。

第二方面，本发明提供了一种正样本制作装置，包括：激光雷达数据采集模块、图像数据采集模块、同步曝光模块、激光数据处理模块和目标图像融合模块；

所述同步曝光模块，用于通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；

所述激光雷达数据采集模块，用于采集与所述图像数据采集模块同步曝光的激光点云数据；

所述图像数据采集模块，用于采集与所述激光雷达数据采集模块同步曝光的图像数据；

所述激光数据处理模块，用于对所述激光点云数据进行处理，生成目标样本；

所述目标图像融合模块，用于将所述目标样本投影到所述图像数据中，生成目标样本标签，其中，所述目标样本标签包括所述目标样本的距离信息和速度信息。

进一步地，所述同步曝光模块包括第一同步曝光模块和第二同步曝光模块，所述第一同步曝光模块和所述第二同步曝光模块分别设置在所述激光雷达数据采集模块或所述图像数据采集模块中，所述第一同步曝光模块包括触发产生单元、第一曝光控制单元和信号发送单元，所述第二同步曝光模块包括信号接收单元和第二曝光控制单元；

所述触发产生单元，用于发出曝光信号；

所述第一曝光控制单元，用于接收所述触发产生单元发送的曝光信号并将曝光信号曝光；

所述信号发送单元，用于接收所述触发产生单元发送的曝光信号并将曝光信号发送给所述信号接收单元；

所述信号接收单元，用于接收所述信号发送单元发送的曝光信号；

所述第二曝光控制单元，用于接收所述信号接收单元发送的曝光信号并将曝光信号曝光。

进一步地，还包括标定模块，

所述标定模块，用于对所述激光雷达数据采集模块和所述图像数据采集模块进行联合标定，使所述激光点云数据和所述图像数据的空间位置对齐。

进一步地，所述激光数据处理模块进一步包括：路面模型建立单元、目标框聚类单元、目标距离统计单元和目标速度统计单元；

所述路面模型建立单元，用于根据激光点云数据的扫描参数信息，建立路面平面模型；

所述目标框聚类单元，用于根据激光点云数据的距离信息、反射强度信息和速度信息对目标样本聚类，获取目标样本的二维坐标区域，将目标样本的二维坐标区域投影到路面平面，形成目标样本的三维目标区域框；

所述目标距离统计单元，用于统计三维目标区域框内的点云的距离信息，通过一定的计算得到目标样本距离；

所述目标速度统计单元，用于统计三维目标区域框内的点云的速度信息，通过一定的计算得到目标样本速度。

进一步地，还包括修正模块，

所述修正模块，用于去除目标样本标签中的非感兴趣样本，并修改标注不准确的样本。

本发明提供的一种正样本制作方法及装置，具有如下有益效果：

(1)本发明的正样本制作方法及装置为自动化或半自动化的标注方式，可通过简单的装置和流程实现半自动或自动建立样本标签，不仅可以大大提高标注效率，还可以保证样本一致性、可靠性和稳定性；

(2)本发明中激光雷达数据采集模块可通过硬件同步机制实现与图像数据采集模块同步曝光，激光点云数据不会产生运动畸变，所提取目标投影到对齐后的图像中可生成精确的目标标签；

(3)本发明中激光雷达数据采集模块可提供精确的速度信息，可同时为图像目标提供速度属性，为帧间目标跟踪速度等应用提供校验信息，同时速度信息还有助于提高样本目标边界精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的正样本制作方法的一种流程示意图；

图2是本发明实施例提供的通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的一种流程示意图；

图3是本发明实施例提供的通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的另一种流程示意图；

图4是本发明实施例提供的对激光点云数据进行处理，生成目标样本的一种流程示意图；

图5是本发明实施例提供的正样本制作方法的另一种流程示意图

图6是本发明实施例提供的正样本制作装置的一种组成框图；

图7是本发明实施例提供的同步曝光模块的组成框图；

图8是本发明实施例提供的第一同步曝光模块的组成框图；

图9是本发明实施例提供的第二同步曝光模块的组成框图；

图10是本发明实施例提供的通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的一种组成框图；

图11是本发明实施例提供的通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的另一种组成框图；

图12是本发明实施例提供的激光数据处理模块的组成框图；

图13是本发明实施例提供的正样本制作装置的另一种组成框图；

图14是本发明实施例提供的激光雷达数据采集模块和图像数据采集模块安装的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请所提供的几个实施例中，所描述的装置实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本发明是应用在智能驾领域的图像样本自动化或半自动化标注的场景中，具体是应用在无人驾驶使用的针对学习训练时的样本上，主要目的是在无人驾驶过程中感知周围环境、构建环境模型等，并通过构建的环境模型对车辆周围的障碍物进行检测及分类、对障碍物进行跟踪及定位等。

实施例1

如图1所述，本发明实施例提供了一种正样本制作方法，所述方法包括：

S110.通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光，使激光点云数据和图像数据时间同步；

在硬件层次，通过硬件通信的形式实现激光雷达数据采集模块和图像数据采集模块的同步曝光，相比于现有技术中的各个设备独立曝光(比如雷达有雷达的曝光频率，相机有相机的曝光频率，各自曝光数据输出后，再通过后面加一个处理系统，将雷达输出的数据和相机数据的视频数据进行融合)，通过硬件机制同步曝光，使激光点云数据和图像数据采集数据时间同步，可以使激光点云数据不会产生运动畸变，所提取目标投影到对齐后的图像中可生成精确的样本目标标签。

图2所示为本发明实施例中通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的一种流程示意图：

S210.所述激光雷达数据采集模块中的触发产生单元发出曝光信号并将所述曝光信号曝光，同时将所述曝光信号通过MIPI/LVDS/并口等通道发送给所述图像数据采集模块，所述图像数据采集模块中的信号单元接收所述曝光信号并将所述曝光信号曝光。

图3所示为本发明实施例通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的另一种流程示意图：

S310.所述图像数据采集模块中的触发产生单元发出曝光信号并将所述曝光信号曝光，同时将所述曝光信号通过MIPI/LVDS/并口等通道发送给所述激光雷达数据采集模块，所述激光雷达数据采集模块接收所述曝光信号并将所述曝光信号曝光。

本发明实施例中，可以设置一个特定按键，当该特定按键被按下时，触发产生单元被触发从而使激光雷达数据采集模块和图像数据采集模块同步曝光，也可以设置一个特定的接口，当进入该接口时，触发产生单元被触发从而使激光雷达数据采集模块和图像数据采集模块同步曝光，或者设置一种硬件同步曝光模式，当进入该硬件同步曝光模式时，触发产生单元被触发从而使激光雷达数据采集模块和图像数据采集模块同步曝光，或者可以设置一个时间周期，当到达该时间周期时，触发产生单元被触发从而使激光雷达数据采集模块和图像数据采集模块同步曝光。

S120.采集同步曝光的激光点云数据和图像数据，其中该激光点云数据包括点云的距离、反射强度和速度等信息；

本发明实施例中，通过激光雷达数据采集模块采集与所述图像数据采集模块同步曝光的激光点云数据，并通过所述图像数据采集模块采集与所述激光雷达数据采集模块同步曝光的图像数据。

本实施例中的激光雷达数据采集模块可以提供速度属性信息。

S130.对所述激光点云数据进行处理，生成目标样本；

图4所示为本发明实施例提供的对所述激光点云数据进行处理的一种流程示意图；

S410.根据激光点云数据的扫描参数信息(比如点云数据的扫描角度和扫描距离等信息)，建立路面平面模型，道路平面在点云中表现为近似水平且连续范围较大的区域；

S420.根据激光点云数据的距离信息、反射强度信息和速度信息对目标样本聚类，获取目标样本的二维坐标区域，将目标样本的二维坐标区域投影到路面平面，形成目标样本的三维目标区域框；

本发明实施例中，将速度信息用于聚类利于提高相对背景运动的目标边界的聚类精度；

S430.统计三维目标区域框内的点云的距离信息，通过一定的计算(如均值)得到目标样本距离；

S440.统计三维目标区域框内的点云的速度信息，通过一定的计算(如均值)得到目标样本速度。

S140.将所述目标样本投影到所述图像数据中，生成目标样本标签，其中，所述目标样本标签包括所述目标样本的距离信息和速度信息。

本发明实施例中的图像数据采集模块包括但不限于车载相机或摄像头等，激光雷达数据采集模块为Flash Lidar，Flash Lidar属于非扫描式激光雷达，其通过发射并接收面阵激光，输出以二维图像形式排列的点云数据，包含距离、反射强度和速度等信息。非扫描时激光雷达摆脱了扫描设备的依赖，探测精度和可靠性较高，成本较低。

由以上本说明书实施例发布的技术方案可见，本说明书实施例中提供了一种自动化的样本制作方式，其通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光，采集同步曝光的激光点云数据和图像数据，对所述激光点云数据进行处理，生成目标样本，最后将所述目标样本投影到所述图像数据中，生成目标样本标签。自动化的样本标注方式具有诸多优点：(一)不需要深度学习训练及所需的初始标签，可以通过简单的流程实现自动建立样本标签，直接获得目标样本标签数据；(二)现有技术硬件设计复杂，处理流程复杂，而本发明实施例提供的样本制作方法，可以简化硬件方案，此外对于软件流程和复杂度上都均有改善；(三)现有技术中激光扫描雷达产生的点云对运动目标产生扭曲甚至消失，需要大量后处理过程来缓解这种问题，而本发明实施例提供的样本制作方法通过硬件同步机制使使激光雷达数据采集模块和图像数据采集模块同步曝光，激光点云数据不会产生运动畸变，所提取目标投影到对齐后的图像中可生成精确的目标标签，保证了数据精度；(四)现有技术激光点云数据侧重于提供距离信息，其深度学习所需的图像目标位置等属性信息仍然需要人工标注。而本方案还可提供精确的速度信息，可同时为图像目标提供速度属性，为帧间目标跟踪速度等应用提供校验信息，同时速度属性也有助于提高目标边界精度。

实施例2

图5所示为本发明实施例提供的正样本制作方法的另一种流程示意图，该方法具体包括：

S510.对所述激光雷达数据采集模块和所述图像数据采集模块进行联合标定，使所述激光点云数据和所述图像数据的空间位置对齐；

具体地，本发明实施例中对所述激光雷达数据采集模块和所述图像数据采集模块进行联合标定的方式可以采用现有技术中的方式进行标定，在此不再赘述。

本发明实施例中，在对所述激光雷达数据采集模块和所述图像数据采集模块进行联合标定之前还包括将激光雷达数据采集模块和图像数据采集模块安置在相同的位置的步骤，该步骤可以确保后续的采集激光点云数据和图像数据的空间位置对齐，为了保证采集数据的精度、准确性及有效数据范围的覆盖，可将所述激光雷达数据采集模块的融合视场设置为大于所述图像数据采集模块的融合视场，如图14所示，A为图像数据采集模块，对应的融合视场为α，B为激光雷达数据采集模块对应的融合视场β，其中，β大于α。

需要说明的是，本发明实施例中的光雷达数据采集模块和图像数据采集模块可以安装在车辆的顶部、侧部或前方，本发明实施例对光雷达数据采集模块和图像数据采集模块的安装位置不做限定。

S520.通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光，使激光点云数据和图像数据时间同步；

S530.采集空间位置对齐且同步曝光的激光点云数据和图像数据，其中该激光点云数据包括点云的距离、反射强度和速度等信息，并将所述激光雷达数据和所述图像数据进行存储，比如本地存储或通过服务器进行存储；

S540.对所述激光点云数据进行处理，生成目标样本；

S550.将所述目标样本投影到所述图像数据中，生成目标样本标签；

步骤S520至步骤S550可参照上述步骤S110至步骤S140，在此不再赘述。

S560.去除目标样本标签中的非感兴趣样本，并修改标注不准确的样本。

本实施例中需要通过人工去除非感兴趣目标，并修改部分感兴趣目标，从而得到目标在图像中的位置、目标样本的距离信息和速度信息等属性。

由以上本说明书实施例发布的技术方案可见，本说明书实施例中提供了一种半动化的样本制作方式，所谓半自动就是在目标样本标签生成后通过人工去除非感兴趣样本。该半自动样本标注方式具有和自动样本标注方式相同的优势。

实施例3

本发明实施例提供了一种正样本制作装置，如图6所述，所述装置包括：同步曝光模块610、激光雷达数据采集模块620、图像数据采集模块630、激光数据处理模块640和目标图像融合模块650。

所述同步曝光模块610，用于通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；具体的，如图7所示，所述同步曝光模块610包括第一同步曝光模块6101和第二同步曝光模块6102；

具体地，如图8和9所示，所述第一同步曝光模块6101包括：触发产生单元61011、第一曝光控制单元61012和信号发送单元61013，所述第二同步曝光模块6102包括：信号接收单元61021和第二曝光控制单元61022；

所述触发产生单元61011，用于发出曝光信号；

所述第一曝光控制单元61012，用于接收所述触发产生单元发送的曝光信号并将曝光信号曝光；

所述信号发送单元61013，用于接收所述触发产生单元发送的曝光信号并将曝光信号通过MIPI/LVDS/并口等通道发送给所述信号接收单元；

所述信号接收单元61021，用于接收所述信号发送单元发送的曝光信号；

所述第二曝光控制单元61022，用于接收所述信号接收单元发送的曝光信号并将曝光信号曝光。

图10所示为本发明实施例提供的通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的一种组成框图，其中所述第一同步曝光模块6101设置所述激光雷达数据采集模块620，所述第二同步曝光模块6102设置所述图像数据采集模块630中。

图11为本发明实施例提供的通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的另一种组成框图，其中所述第一同步曝光模块6101设置所述图像数据采集模块630，所述第二同步曝光模块6102设置所述激光雷达数据采集模块620。

所述激光雷达数据采集模块620，用于采集与所述图像数据采集模块同步曝光的激光点云数据。

所述图像数据采集模块630，用于采集与所述激光雷达数据采集模块同步曝光的图像数据。

所述激光数据处理模块640，用于对所述激光点云数据进行处理，生成目标样本；

如图12所示，所述激光数据处理模块640包括路面模型建立单元6401、目标框聚类单元6402、目标距离统计单元6403和目标速度统计单元6404；

所述路面模型建立单元6401，用于根据激光点云数据的扫描参数信息(比如点云数据的扫描角度和扫描距离等信息)，建立路面平面模型，道路平面在点云中表现为近似水平且连续范围较大的区域；

所述目标框聚类单元6402，用于根据激光点云数据的距离信息、反射强度信息和速度信息对目标样本聚类，获取目标样本的二维坐标区域，将目标样本的二维坐标区域投影到路面平面，形成目标样本的三维目标区域框；其中，将速度信息用于聚类有利于提高相对背景运动的目标边界的聚类精度；

所述目标距离统计单元6403，用于统计三维目标区域框内的点云的距离信息，通过一定的计算(如均值)得到目标样本距离；

所述目标速度统计单元6404，用于统计三维目标区域框内的点云的速度信息，通过一定的计算(如均值)得到目标样本速度。

目标图像融合模块650，用于将所述目标样本投影到所述图像数据中，生成目标样本标签，其中，所述目标样本标签包括所述目标样本的距离信息和速度信息。

由以上本说明书实施例发布的技术方案可见，本说明书实施例中提供了一种自动化的样本标注装置。

实施例4

图13所示为本发明实施例提供的另一种正样本制作装置的组成框图，所述装置包括：标定模块600、同步曝光模块610、激光雷达数据采集模块620、图像数据采集模块630、激光数据处理模块640、目标图像融合模块650和修正模块660。

所述标定模块600，用于对所述激光雷达数据采集模块和所述图像数据采集模块进行联合标定，使所述激光点云数据和所述图像数据的空间位置对齐。所述同步曝光模块610，用于通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光。

所述激光雷达数据采集模块620，用于采集与所述图像数据采集模块同步曝光的激光点云数据。

所述图像数据采集模块630，用于采集与所述激光雷达数据采集模块同步曝光的图像数据，其中，可通过数据存储模块对将所述激光雷达数据和所述图像数据进行存储，比如本地存储或通过服务器进行存储。

所述激光数据处理模块640，用于对所述激光点云数据进行处理，生成目标样本。

所述标图像融合模块650，用于将所述目标样本投影到所述图像数据中，生成目标样本标签，其中，所述目标样本标签包括所述目标样本的距离信息和速度信息。

所述同步曝光模块610、所述激光雷达数据采集模块620、所述图像数据采集模块630、所述激光数据处理模块640和所述标图像融合模块650可参照实施例3中的描述，在此不再赘述。

所述修正模块660，用于去除目标样本标签中的非感兴趣样本，并修改标注不准确的样本。

由以上本说明书实施例发布的技术方案可见，本说明书实施例中提供了一种半动化的样本标注专职，所谓半自动就是在目标样本标签生成后通过人工去除非感兴趣样本。

需要说明的，所述装置实施例中的装置与方法实施例基于同样的发明构思。

由上述本发明提供的一种正样本制作方法及装置，本发明通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光，采集空间位置对齐其同步曝光的激光点云数据和图像数据，对所述激光点云数据进行处理，生成目标样本，接着将所述目标样本投影到所述图像数据中，生成目标样本标签，最后去除目标样本标签中的非感兴趣样本，并修改标注不准确的样本，实现半自动或自动建立样本标签，不仅可以大大提高标注效率，还可以保证样本一致性、可靠性和稳定性，同时，激光点云数据不会产生运动畸变，所提取目标投影到对齐后的图像中可生成精确的目标标签，除此之外，激光雷达数据采集模块可提供精确的速度信息，可为同时为图像目标提供速度属性，为帧间目标跟踪速度等应用提供校验信息。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种正样本制作方法，其特征在于，包括：

通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；

采集同步曝光的激光点云数据和图像数据；

对所述激光点云数据进行处理，生成目标样本；所述对所述激光点云数据进行处理，生成目标样本，包括：根据激光点云数据的扫描参数信息，建立路面平面模型；根据激光点云数据的距离信息、反射强度信息和速度信息对目标样本聚类，获取目标样本的二维坐标区域，将目标样本的二维坐标区域投影到路面平面，形成目标样本的三维目标区域框；统计三维目标区域框内的点云的距离信息，通过一定的计算得到目标样本距离；统计三维目标区域框内的点云的速度信息，通过一定的计算得到目标样本速度；

将所述目标样本投影到所述图像数据中，生成目标样本标签，其中，所述目标样本标签包括所述目标样本的距离信息和速度信息。

2.根据权利要求1所述的正样本制作方法，其特征在于，所述通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光，包括：

所述激光雷达数据采集模块发出曝光信号并将所述曝光信号曝光，同时将所述曝光信号发送给所述图像数据采集模块，所述图像数据采集模块接收所述曝光信号并将所述曝光信号曝光；

或，

所述图像数据采集模块发出曝光信号并将所述曝光信号曝光，同时将所述曝光信号发送给所述激光雷达数据采集模块，所述激光雷达数据采集模块接收所述曝光信号并将所述曝光信号曝光。

3.根据权利要求1所述的正样本制作方法，其特征在于，所述通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光之前，还包括：

对所述激光雷达数据采集模块和所述图像数据采集模块进行联合标定，使所述激光点云数据和所述图像数据的空间位置对齐；

所述采集同步曝光的激光点云数据和图像数据，进一步包括：

采集空间位置对齐且同步曝光的激光点云数据和图像数据。

4.根据权利要求1所述的正样本制作方法，其特征在于，所述将所述目标样本投影到所述图像数据中，生成目标样本标签之后，还包括：去除目标样本标签中的非感兴趣样本，并修改标注不准确的样本。

5.一种正样本制作装置，其特征在于，包括：激光雷达数据采集模块、图像数据采集模块、同步曝光模块、激光数据处理模块和目标图像融合模块；

所述同步曝光模块，用于通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；

所述激光雷达数据采集模块，用于采集与所述图像数据采集模块同步曝光的激光点云数据；

所述图像数据采集模块，用于采集与所述激光雷达数据采集模块同步曝光的图像数据；

所述激光数据处理模块，用于对所述激光点云数据进行处理，生成目标样本；所述激光数据处理模块进一步包括：路面模型建立单元、目标框聚类单元、目标距离统计单元和目标速度统计单元；所述路面模型建立单元，用于根据激光点云数据的扫描参数信息，建立路面平面模型；所述目标框聚类单元，用于根据激光点云数据的距离信息、反射强度信息和速度信息对目标样本聚类，获取目标样本的二维坐标区域，将目标样本的二维坐标区域投影到路面平面，形成目标样本的三维目标区域框；所述目标距离统计单元，用于统计三维目标区域框内的点云的距离信息，通过一定的计算得到目标样本距离；所述目标速度统计单元，用于统计三维目标区域框内的点云的速度信息，通过一定的计算得到目标样本速度；

所述目标图像融合模块，用于将所述目标样本投影到所述图像数据中，生成目标样本标签，其中，所述目标样本标签包括所述目标样本的距离信息和速度信息。

6.根据权利要求5所述的正样本制作装置，其特征在于，所述同步曝光模块包括第一同步曝光模块和第二同步曝光模块，所述第一同步曝光模块和所述第二同步曝光模块分别设置在所述激光雷达数据采集模块或所述图像数据采集模块中，所述第一同步曝光模块包括触发产生单元、第一曝光控制单元和信号发送单元，所述第二同步曝光模块包括信号接收单元和第二曝光控制单元；

所述触发产生单元，用于发出曝光信号；

所述第一曝光控制单元，用于接收所述触发产生单元发送的曝光信号并将曝光信号曝光；

所述信号发送单元，用于接收所述触发产生单元发送的曝光信号并将曝光信号发送给所述信号接收单元；

所述信号接收单元，用于接收所述信号发送单元发送的曝光信号；

所述第二曝光控制单元，用于接收所述信号接收单元发送的曝光信号并将曝光信号曝光。

7.根据权利要求5所述的正样本制作装置，其特征在于，还包括标定模块，

所述标定模块，用于对所述激光雷达数据采集模块和所述图像数据采集模块进行联合标定，使所述激光点云数据和所述图像数据的空间位置对齐。

8.根据权利要求5所述的正样本制作装置，其特征在于，还包括修正模块，

所述修正模块，用于去除目标样本标签中的非感兴趣样本，并修改标注不准确的样本。

Images