CN112307890A - 一种物体识别方法、装置、物体识别设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种物体识别方法、装置、物体识别设备及存储介质。物体识别方法，包括：获取自动驾驶车辆的车辆行驶数据、图像数据、第一数据；其中，第一数据由激光雷达采集；将车辆行驶数据、图像数据、第一数据输入预设融合识别模型，得到自动驾驶车辆的物体识别结果；其中，预设融合识别模型包括卡尔曼滤波和神经网络。根据本申请实施例的物体识别方法，可以提高物体识别方法的准确性。

Description

一种物体识别方法、装置、物体识别设备及存储介质

技术领域

本申请属于图像处理领域，尤其涉及一种物品识别方法、装置、物体识别设备及存储介质。

背景技术

自动驾驶技术是车辆的未来发展方向。为实现自动驾驶车辆的安全行驶，需要实现自动驾驶车辆周围的物体识别。

为了得到自动驾驶车辆周围的物体识别结果，现阶段，如《第一本无人驾驶技术书_1.刘少山》中公开，通常会在自动驾驶车辆上安装摄像装置(如摄像头)、激光雷达、惯性测量单元(Inertial Measurement Unit，IMU)和定位系统(如全球定位系统(GlobalPositioning System，GPS)，基于摄像装置采集的图像数据、IMU和GPS采集的车辆行驶数据、激光雷达采集的数据，得到自动驾驶车辆周围的物体识别结果，如物体识别结果可以是自动驾驶车辆前方50米有行人。但是，这种物体识别方法的准确率较低。

发明内容

本申请实施例提供一种物体识别方法、装置、物体识别设备及存储介质，能够提高物体识别方法的准确性。

第一方面，本申请实施例提供一种物体识别方法，包括：

获取自动驾驶车辆的车辆行驶数据、图像数据和第一数据；其中，第一数据由激光雷达采集；

将车辆行驶数据、图像数据和第一数据输入预设融合识别模型，得到自动驾驶车辆的物体识别结果；

其中，预设融合识别模型包括卡尔曼滤波和神经网络。

在一个实施例中，上述物体识别方法还包括：

获取自动驾驶车辆的第二数据，第二数据由毫米波雷达采集；

将车辆行驶数据、图像数据和第一数据输入预设融合识别模型，得到自动驾驶车辆的物体识别结果，包括：

将车辆行驶数据、图像数据、第一数据和第二数据输入预设融合识别模型，得到自动驾驶车辆的物体识别结果。

在一个实施例中，将车辆行驶数据、图像数据、第一数据和第二数据输入预设融合识别模型，得到自动驾驶车辆的物体识别结果，包括：

将图像数据和第一数据输入预设识别模型，得到第一物体识别结果；

将车辆行驶数据、第一物体识别结果和第二物体识别结果输入预设融合识别模型，得到自动驾驶车辆的物体识别结果；其中，第二物体识别结果基于第二数据得到。

在一个实施例中，预设识别模型包括双分支卷积神经网络和全连接网络；

将图像数据和第一数据输入预设识别模型，得到第一物体识别结果，包括：

将图像数据输入至双分支卷积神经网络的第一分支，得到第一物体特征数据；其中，第一物体特征数据用于描述第一物体识别结果对应的物体信息；

将第一数据输入至双分支卷积神经网络的第二分支，得到第二物体特征数据；

基于第一物体特征数据和第二物体特征数据融合得到第三物体特征数据；

将第三物体特征数据输入至全连接网络，得到第一物体识别结果。

在一个实施例中，双分支卷积神经网络的第一分支和第二分支均包括多个卷积层；第一分支中的卷积层与第二分支中的卷积层一一对应；

将图像数据和第一数据输入预设识别模型，得到第一物体识别结果，包括：

将图像数据输入至第一分支，得到第一物体特征数据；

将第一分支的每个第一卷积层输出的第一特征数据输入至第二分支中的第二卷积层；其中，第二卷积层是第二分支中与第一卷积层对应的卷积层；

每个第二卷积层基于第一分支中的第一卷积层输出的第一特征数据，和第二分支中第二卷积层的上一个卷积层输出的第三特征数据，得到第二特征数据；

将第二分支的最后一个卷积层输出的第二特征数据确定为第三物体特征数据；

将第三物体特征数据输入至全连接网络，得到第一物体识别结果。

在一个实施例中，上述物体识别方法还包括：

获取第一预设数量的第一历史物体识别结果对应的第一历史数据；其中，第一历史数据包括每个第一历史识别结果对应的历史车辆行驶数据、历史图像数据和历史第一数据；

基于每个第一历史识别结果对应的第一历史数据训练第一预设模型；

在训练后的第一预设模型的物体识别准确率达到第一预设阈值时，将训练后的第一预设模型确定为预设融合识别模型。

在一个实施例中，方法还包括：

获取第二预设数量的第二历史物体识别结果对应的第二历史数据；其中，第二历史数据包括每个第二历史物体识别结果对应的历史图像数据和历史第一数据；

基于每个第二历史物体识别结果对应的第二历史数据训练第二预设模型；

在训练后的第二预设模型的物体识别准确率达到第二预设阈值时，将训练后的第二预设模型确定为预设识别模型。

在一个实施例中，神经网络为轻量级神经网络。

第二方面，提供了一种物体识别装置，包括：

数据获取模块，用于获取自动驾驶车辆的车辆行驶数据、图像数据和第一数据；其中，第一数据由激光雷达采集；

物体识别模块，用于将车辆行驶数据、图像数据和第一数据输入预设融合识别模型，得到自动驾驶车辆的物体识别结果；

其中，预设融合识别模型包括卡尔曼滤波和神经网络。

第三方面，本发明实施例提供了一种物体识别设备，设备包括：处理器以及存储有计算机程序指令的存储器；

处理器执行计算机程序指令时实现如第一方面的物体识别方法。

第四方面，本发明实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面的物体识别方法。

本申请实施例的物体识别方法、装置、电子设备及存储介质，通过将自动驾驶车辆的车辆行驶数据、图像数据和第一数据输入包括卡尔曼滤波和神经网络的预设融合模型，得到自动驾驶车辆的物体识别结果。这样，基于卡尔曼滤波和神经网络组成的预设融合模型，对获取的自动驾驶车辆的数据进行加权融合，不仅实现了自动驾驶车辆的物体识别。而且，由于神经网络的容错性、自适应性、联想记忆和并行处理能力较强，故而基于神经网络和卡尔曼滤波组成的预设融合模型，可以自适应的对获取的自动驾驶车辆的数据进行加权融合，充分考虑融合结果的冗余性，从而有效提高物体识别方法的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种物体识别方法的流程示意图；

图2是本申请实施例提供的一种物体识别方法的流程示意图；

图3是本申请实施例提供的一种基于预设识别模型得到第一物体识别结果的流程示意图；

图4是本申请实施例提供的一种基于预设识别模型得到第一物体识别结果的流程示意图；

图5是本申请实施例提供的一种基于预设识别模型得到第一物体识别结果的流程示意图；

图6是本申请实施例提供的一种训练预设融合识别模型的流程示意图；

图7是本申请实施例提供的一种训练预设识别模型的流程示意图；

图8是本申请实施例提供的一种物体识别装置的结构示意图；

图9是本申请实施例提供的一种物体识别设备的结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在现有技术中，对摄像装置(如摄像头)、激光雷达、惯性测量单元(InertialMeasurement Unit，IMU)和定位系统等各个传感器采集的数据，采用卡尔曼滤波、扩展卡尔曼滤波、无迹卡尔曼滤波等融合算法进行融合分析，得到自动驾驶车辆周围的物体识别结果。

但是，这几种融合算法容错性较差，会导致融合准确性较差，物体识别结果的准确性较低。

因此，本申请的发明人基于上述发现，为了解决现有技术存在的技术问题，本申请实施例提供了一种物体识别方法、装置、设备及计算机存储介质，采用了包括卡尔曼滤波和神经网络的预设融合识别模型对上述各传感器采集的数据进行融合识别，即对摄像装置(如摄像头)采集的图像数据、激光雷达采集的第一数据、惯性测量单元(InertialMeasurement Unit，IMU)和定位系统采集的车辆行驶数据进行融合识别，得到自动驾驶车辆周围的物体识别结果。这样，不仅可以实现自动驾驶车辆的物体识别，而且还可以有效提高物体识别方法的准确性。

下面首先结合图1对本申请实施例提供的物体识别方法进行介绍。图1示出了本申请实施例提供的一种物体识别方法的流程示意图。如图1所示，该方法可以包括以下步骤：

S110，获取自动驾驶车辆的车辆行驶数据、图像数据和第一数据。

其中，第一数据是由激光雷达采集的点云数据。

自动驾驶车辆上设置的摄像装置可以采集自动驾驶车辆周围的图像数据。IMU和GPS可以采集自动驾驶车辆的车辆行驶数据，如自动驾驶车辆的位置、运行速度、加速度及运行方向等数据。激光雷达可以采集自动驾驶车辆的第一数据。这样，在对自动驾驶车辆周围的物体进行识别时，可以获取前述车辆行驶数据、图像数据和第一数据，以基于这些数据进行物体识别。

可以理解的是，在自动驾驶车辆出厂或行驶之前，可以对自动驾驶车辆上设置的各传感器进行标定，确定各个传感器之间的相互关系满足预设条件，以使得基于各传感器采集的数据融合得到的物体识别结果更准确。标定方法的具体实现过程可以如下：

(1)对摄像装置进行标定。

其中，摄像装置通常可以包括长距摄像头和短距摄像头。

在长距摄像头和短距摄像头的采集的图像数据的第一实际误差小于等于第一预设阈值时，确定摄像装置标定成功。否则，根据实际误差和预设阈值重新调整长距摄像头和短距摄像头，并重新对长距摄像头和短距摄像头进行标定。

以第一预设阈值为5个像素为例，假设在对长距摄像头和短距摄像头的采集的图像数据进行图像融合后，得出长距摄像头和短距摄像头的采集的图像数据的第一实际误差为4个像素，此时第一实际误差小于第一预设阈值，可以确定摄像装置标定成功。

(2)对摄像装置和激光雷达的标定。

在摄像装置采集的图像数据和激光雷达采集的点云数据的第二实际误差小于等于第二预设阈值时，确定摄像装置和激光雷达标定成功。否则，根据第二实际误差和第二预设阈值调整摄像装置的外参，如摄像装置的位姿，并重新标定摄像装置和激光雷达。

如可以将激光雷达产生的点云数据投影到摄像机采集的RGB图像数据上进行时空同步的像素级融合，得出第二实际误差，当该第二实际误差小于等于第二预设阈值时，确定摄像装置和激光雷达标定成功。

具体的，可以通过k均值聚类算法(k-means clustering algorithm，K-means聚类算法)对激光雷达采集的点云数据做预处理，过滤掉聚类密度小于预设密度如20的类，即除去密度较小的点云数据，并基于平面方程Ax+By+Cz+d＝0除去地面等信息，得到预处理后的点云数据。将预处理后的点云数据投影到摄像机采集的RGB图像数据上进行时空同步的像素级融合，得出第二实际误差。并在第二实际误差小于等于第二预设阈值的情况下，确定摄像装置和激光雷达标定成功。

(3)对摄像装置和IMU的标定。

可以基于编译好的包或者未经编译的源文件安装视觉-惯性标定工具箱(kalibr工具)，利用kalibr工具对摄像装置和IMU进行标定。kalibr工具可以计算IMU和摄像装置的相对位姿矩阵和相对时间延时，基于IMU和摄像装置的相对位姿矩阵和相对时间延时实现摄像装置和IMU的标定。

需要说明的是，上述各个预设阈值和预设密度的具体数据可以根据实际情况进行具体调整。

S120，将车辆行驶数据、图像数据和第一数据输入预设融合识别模型，得到自动驾驶车辆的物体识别结果。

其中，预设融合识别模型包括卡尔曼滤波和神经网络。该预设融合识别模型是预先训练好的用于识别自动驾驶车辆的物体识别结果的模型。

神经网络为轻量级神经网络。其中，轻量级神经网络是一种小规模的神经网络模型，模型的深度是轻量级的，拥有较少的卷积层和较少的网络参数，如可以是少于等于8个卷积层的神经网络，少于等于25万个网络参数。轻量级神经网络采用更高效的网络计算方式(主要针对卷积方式)，从而使得在网络参数减少的同时，不损失网络性能。

在获取到自动驾驶车辆的车辆行驶数据、图像数据和第一数据之后，可以将车辆行驶数据、图像数据和第一数据输入预设融合识别模型。预设融合识别模型可以基于前述自动驾驶车辆的数据进行加权融合，输出自动驾驶车辆最终的物体识别结果。

本申请实施例的物体识别方法、装置、电子设备及存储介质，通过将自动驾驶车辆的车辆行驶数据、图像数据和第一数据输入包括卡尔曼滤波和神经网络的预设融合模型，得到自动驾驶车辆的物体识别结果。这样，基于卡尔曼滤波和神经网络组成的预设融合模型，对获取的自动驾驶车辆的数据进行加权融合，不仅实现了自动驾驶车辆的物体识别。而且，由于神经网络的容错性、自适应性、联想记忆和并行处理能力较强，故而基于神经网络和卡尔曼滤波组成的预设融合模型，可以自适应的对获取的自动驾驶车辆的数据进行加权融合，充分考虑融合结果的冗余性，从而有效提高物体识别方法的准确性。

在一些实施例中，还可以结合毫米波雷达采集的第二数据进行物体识别，相应的具体实现方式可以为：

获取自动驾驶车辆的第二数据；

其中，第二数据是由毫米波雷达采集的数据，该数据可以是毫米波数据，即波长在1-10毫米的电磁波。

相应的，上述步骤S120的具体实现方式可以为：

将车辆行驶数据、图像数据、第一数据和第二数据输入预设融合识别模型，得到自动驾驶车辆的物体识别结果。

具体的，在获取自动驾驶车辆的车辆行驶数据、图像数据、第一数据的基础上，还可以获取毫米波雷达采集的第二数据。再将自动驾驶车辆的车辆行驶数据、图像数据、第一数据和第二数据输入预设融合识别模型，预设融合识别模型可以基于前述自动驾驶车辆的数据进行加权融合，输出自动驾驶车辆最终的物体识别结果。

这样，在自动驾驶车辆的车辆行驶数据、图像数据、第一数据的基础上结合第二数据，得到自动驾驶车辆的自动驾驶车辆的物体识别，可以进一步提高物体识别结果的准确性。

可以理解的是，在自动驾驶车辆出厂或行驶之前，还可以在上述(1)、(2)、(3)的标定方法的基础上，对摄像装置和毫米波雷达进行标定，以使得基于各传感器采集的数据融合得到的物体识别结果更准确。对摄像装置和毫米波雷达的标定过程可以如下：

借助激光雷达采集的点云数据，对摄像装置采集的图像数据和毫米波雷达采集的毫米波数据进行图像融合，得到第三实际误差。在该第三实际误差小于等于第三预设阈值时，确定摄像装置和毫米波雷达标定成功。否则，调整摄像装置外参重新标定摄像装置和毫米波雷达。

在一些实施例中，具体在预设融合识别模型的基础上，结合预设识别模型，得到自动驾驶车辆的物体识别结果。相应的，如图2所示，上述将车辆行驶数据、所图像数据、第一数据和第二数据输入预设融合识别模型，得到自动驾驶车辆的物体识别结果的具体实现方式可以包括如下步骤：

S210，将图像数据和第一数据输入预设识别模型，得到第一物体识别结果。

其中，预设识别模型是预先训练好的用于基于图像数据和第一数据输出第一物体识别结果的模型。

第一物体识别结果是预设识别模型输出的物体识别结果。

具体的，在采集到自动驾驶车辆的车辆行驶数据、图像数据、第一数据和第二数据之后，可以将图像数据和第一数据输入到预设识别模型中。预设识别模型可以对图像数据和第一数据进行分析处理，得到第一物体识别结果。

S220，将车辆行驶数据、第一物体识别结果和第二物体识别结果输入预设融合识别模型，得到自动驾驶车辆的物体识别结果。

其中，第二物体识别结果基于第二数据得到。基于第二数据得到第二物体识别结果的处理和现有技术的处理方法相同，如可以采用现有的卡尔曼滤波算法。

在得到预设识别模型输出的第一物体识别结果，以及基于第二数据得到的第二物体识别结果之后，可以将车辆行驶数据、第一物体识别结果以及第二物体识别结果均输入到预设融合识别模型中。然后，预设融合识别模型可以对车辆行驶数据、第一物体识别结果以及第二物体识别结果进行分析处理，得到自动驾驶车辆的物体识别结果。

这样，先利用预设识别模型得到对图像数据和第一数据进行融合得到第一物体识别结果，再利用预设融合识别模型对第一物体识别结果、车辆行驶数据和第二物体识别结果进行加权融合得到最终的物体识别结果，如此，经两次融合处理，可以进一步提高物体识别方法的物体识别结果的准确性。

在一些实施例中，预设识别模型可以包括双分支卷积神经网络和全连接网络，具体的，参见图3，图3中双分支卷积神经网络包括第一分支和第二分支，第一分支和第二分支均可以包括多个卷积层，且第一分支中的卷积层和第二分支中的卷积层可以是一一对应的。双分支卷积神经网络中的第一分支可以用于对输入的图像数据进行处理得到第一物体特征数据，第二分支可以用于对输入的第一数据进行处理得到第二物体特征数据。相应的，参见图4，上述步骤S210的具体实现方式可以包括如下步骤：

S410，将图像数据输入至双分支卷积神经网络的第一分支，得到第一物体特征数据。

其中，第一物体特征数据用于描述第一物体识别结果对应的物体信息，如可以包括具体物体的颜色、线条等数据。

第一物体特征数据是双分支卷积神经网络的第一分支输出的物体特征数据。

具体的，可以将图像数据输入至预设识别模型中双分支卷积神经网络的第一分支中。第一分支可以包括多个卷积层，在第一分支中第一个卷积层的输入是图像数据，输出是一组特征数据。除第一个卷积层之外的任一卷积层的输入都是上一个卷积层的输出，即上一个卷积层输出的特征数据。这样，第一分支中的多个卷积层的对图像数据依次处理后，可以输出一组特征数据，即为第一物体特征数据。

S420，将第一数据输入至双分支卷积神经网络的第二分支，得到第二物体特征数据。

其中，第二物体特征数据是双分支卷积神经网络的第二分支输出的物体特征数据。

具体的，可以第一数据输入至双分支卷积神经网络的第二分支中。同样的，第二分支也可以包括多个卷积层，在第二分支中第一个卷积层的输入是第一数据，输出是一组物体特征数据。除第一个卷积层之外的任一卷积层的输入都是上一个卷积层的输出，即上一个卷积层输出的物体特征数据。这样，第二分支中的多个卷积层的对第一数据依次处理后，可以输出一组物体特征数据，即第二物体特征数据。

S430，基于第一物体特征数据和第二物体特征数据融合得到第三物体特征数据。

其中，第三物体特征数据是基于第一物体特征数据和第二物体特征数据融合得到的。

具体的，在得到双分支卷积神经网络的第一分支输出的第一物体特征数据和第二分支输出的第二物体特征数据之后，可以对第一物体特征数据和第二物体特征数据进行融合处理，如可以是相加融合、均值融合等融合方式，得到第三物体特征数据。

S440，将第三物体特征数据输入至全连接网络，得到第一物体识别结果。

在得到第三物体特征数据之后，可以将该第三物体特征数据输入到预设识别模型的全连接网络中。全连接网络可以对第三物体特征数据进行物体识别，如可以把第三物体特征数据中的每个数据综合起来，得到预设识别模型的第一物体识别结果。

这样，通过将图像数据和第一数据分别输入到双分支神经网络的两个分支，再将两个分支的输出输入到全连接网络，基于两组物体特征数据综合进行物体识别，可以提高物体识别结果的准确性。

需要说明的是，上述双分支卷积神经网络也可以是多分支卷积神经网络，即包括多个分支，具体的分支数量可以根据输入到预设识别模型的数据种类进行设定。如假设输入到预设识别模型的数据种类为3种，则可以为三分支卷积神经网络，即包括三个分支。

在一些实施例中，仍参见图3，图3中第一分支中的每个卷积层在第二分支中均有一个对应的卷积层，如此，第一分支的每个卷积层可以将输出的特征数据输入到第二分支中对应的卷积层，第二分支可以用于对输入的第一数据以及第一分支的每个卷积层输入的特征数据进行处理得到第二物体特征数据。相应的，参见图5，上述步骤S210的具体实现方式可以包括如下步骤：

S510，将图像数据输入至第一分支，得到第一物体特征数据。

第一分支对图像数据进行处理得到第一物体特征数据的具体过程与上述步骤S410的具体实现过程相同，为简洁起见，在此不再赘述。

S520，将第一分支的每个第一卷积层输出的第一特征数据输入至第二分支中的第二卷积层。

其中，第一卷积层是第一分支中的任一卷积层，第二卷积层是第二分支中与第一卷积层对应的卷积层。

第一特征数据为第一分支中的任一第一卷积层输出的特征数据。

如图3所示，假设第一卷积层是第一分支中的第一个卷积层，则第二分支中与该第一卷积层对应的第二卷积层为第二分支中的第一个卷积层。

第一分支中的每个第一卷积层输出的第一特征数据在输出到第一分支中的下一个卷积层的同时，也要输出到第二分支中与该第一卷积层对应的第二卷积层。即对于第二分支中的第一个卷积层而言，输出到该第一个卷积层的数据包括：第一数据和第一分支中的第一个卷积层输出的第一特征数据；对于第二分支中的任一第二卷积层而言，输出到该第二卷积层的数据包括：上一个第二卷积层输出的第二特征数据，和与该第二卷积层对应的第一卷积层输出的第一特征数据。

S530，每个第二卷积层基于第一分支中的第一卷积层输出的第一特征数据，和第二分支中第二卷积层的上一个卷积层输出的第三特征数据，得到第二特征数据。

其中，第二特征数据是第二分支中的第二卷积层输出的特征数据。

第三特征数据是第二卷积层的上一个卷积层输出的特征数据。

双分支卷积神经网络中的第二分支的每个第二卷积层在接收到第一特征数据和第二分支中上一卷积层输出的第三特征数据之后，可以对前述接收到的第一特征数据和第三特征数据进行分析处理，如可以是相加融合、平均值融合等处理方式，得到第二特征数据。

S540，将第二分支的最后一个卷积层输出的第二特征数据，确定为第三物体特征数据。

S550，将第三物体特征数据输入至全连接网络，得到第一物体识别结果。

全连接网络基于第三物体特征数据得到第一物体识别结果的具体过程与上述步骤S440相同，为简洁起见，在此不再赘述。

需要说明的是，在将图像数据输入至第一分支，将第一数据输出至第二分支之前，还可以对图像数据和第一数据进行时空融合处理，得到时空融合处理后的图像数据和第一数据，再将时空融合处理后的图像数据输入到第一分支，将时空融合处理后的第一数据输入到第二分支，时空融合处理的具体实现方式可以如下：

(1)根据图像数据的时间戳对第一数据进行校正。

具体的，将激光雷达与自动驾驶车辆或GPS根据IEEE1588时钟同步协议实现高精度的时钟同步。然后，基于这个同步后的时钟为每个第一数据生成一个时间戳。测量摄像装置的平均延时d，在自动驾驶车辆上获取采集每帧图像数据时的时刻t，将时刻t和平均延时d的差值(t-d)作为该帧图像数据的时间戳。之后，按照每帧图像数据的时间戳，确定与该时间戳最匹配的第一数据，使得图像数据和第一数据之间的同步精度小于预设精度，如可以是20ms。

(2)通过k均值聚类算法(k-means clustering algorithm，K-means聚类算法)对第一数据做预处理，过滤掉聚类密度小于预设密度如20的类，即除去密度较小的第一数据。并基于平面方程Ax+By+Cz+d＝0除去地面等信息。

这样，对图像数据和第一数据进行时空融合处理，分别将图像数据和第一数据输入到双分支卷积神经网络的不同分支中。在计算物体特征数据的过程中，图像数据的中间层输出加到第一数据的卷积层输出，最后将第二分支的最后一个卷积层的输出输入到全连接网络进行物体识别。如此，能获取更多尺度的特征数据，进一步提升融合结果即物体识别结果的准确性。

在一些实施例中，在自动驾驶车辆出厂或行驶前，可以预先训练预设融合识别模型，相应的，参见图6，训练预设融合识别模型的具体实现方式可以包括如下步骤：

S610，获取第一预设数量的第一历史物体识别结果对应的第一历史数据。

其中，第一预设数量是预先设置的用于训练预设融合识别模型的第一历史物体识别结果对应的第一历史数据的数量。

第一历史物体识别结果是已有的正确的物体识别结果。

第一历史数据是第一历史物体识别结果对应的历史数据。第一历史数据可以包括每个第一历史识别结果对应的历史车辆行驶数据、历史图像数据和历史第一数据。

可以理解的是，在输出物体识别结果的数据输入包括车辆行驶数据、图像数据、第一数据和第二数据的情况下，上述第一历史数据还可以包括历史第二数据。

S620，基于每个第一历史识别结果对应的第一历史数据训练第一预设模型。

其中，第一预设模型是预先设置的包括卡尔曼滤波和神经网络的初始模型。

在训练第一预设模型时，可以不断调整第一预设模型中的网络参数，以调整第一预设模型的准确率。

S630，在训练后的第一预设模型的物体识别准确率达到第一预设阈值时，将训练后的第一预设模型确定为预设融合识别模型。

其中，第一预设阈值是预先设置的预设融合识别模型的物体识别结果的准确率的最小值，如可以是98％。

在每次训练第一预设模型后，可以检测训练后的第一预设模型的准确率是否大于等于第一预设阈值。如果训练后的第一预设模型的准确率大于等于第一预设阈值，则可以停止训练，将该训练后的第一预设模型确定为预设融合识别模型。否则，则继续对第一预设模型进行训练。

需要说明的是，在预设融合识别模型是基于车辆行驶数据、第一物体识别结果和第二物体识别结果得到物体识别结果的情况下，上述步骤S610中获取的第一历史数据则为历史车辆行驶数据、基于历史图像数据和历史第一数据得到的物体识别结果、历史第二数据。基于这些数据训练预设融合识别模型的过程与上述S620-S630的过程类似，在此不再赘述。

这样，将准确率达到预设阈值的训练后的第一预设模型确定为预设融合识别模型，可以进一步保证物体识别结果的准确率，提高物体识别方法的准确性。

在一些实施例中，还可以预先训练预设识别模型，相应的，参见图7，训练预设识别模型的具体实现方式可以包括如下步骤：

S710，获取第二预设数量的第二历史物体识别结果对应的第二历史数据。

其中，第二预设数量是预先设置的用于训练预设识别模型的第二历史物体识别结果对应的第二历史数据的数量。

第二历史物体识别结果是用于训练预设识别模型已有的正确的物体识别结果。

第二历史数据包括每个第二历史物体识别结果对应的历史图像数据和历史第一数据。

S720，基于每个第二历史物体识别结果对应的第二历史数据训练第二预设模型。

其中，第二预设模型是预先设置的包括双分支卷积神经网络和全连接网络的初始模型。

在训练第二预设模型时，可以不断调整第二预设模型中的网络参数，以调整第二预设模型的准确率。

S730，在训练后的第二预设模型的物体识别准确率达到第二预设阈值时，将训练后的第二预设模型确定为预设识别模型。

其中，第二预设阈值是预先设置的预设融合识别模型的物体识别结果的准确率的最小值，如可以是97％。该预设阈值可以与第一预设阈值相同也可以不同。

此步骤的执行过程与步骤S630类似，为简洁起见，在此不再赘述。

这样，将准确率达到预设阈值的训练后的第二预设模型确定为预设识别模型，可以进一步提高物体识别方法的准确性。

以上为本申请实施例提供的一种物体识别方法，基于上述物体识别方法，本申请实施例还提供了一种物体识别装置，下面将对物体识别装置进行详细说明。

图8是本申请实施例提供的一种物体识别装置的结构示意图。如图8所示，该物体识别装置800可以包括：

数据获取模块810，用于获取自动驾驶车辆的车辆行驶数据、图像数据和第一数据；其中，第一数据由激光雷达采集。

物体识别模块820，用于将车辆行驶数据、图像数据和第一数据输入预设融合识别模型，得到自动驾驶车辆的物体识别结果；其中，预设融合识别模型包括卡尔曼滤波和神经网络。

在一些实施例中，数据获取模块810，还可以用于获取自动驾驶车辆的第二数据，第二数据由毫米波雷达采集。

物体识别模块820，还可以用于将车辆行驶数据、图像数据、第一数据和第二数据输入预设融合识别模型，得到自动驾驶车辆的物体识别结果。

在一些实施例中，物体识别模块820，还可以包括：

第一识别模块，用于将图像数据和第一数据输入预设识别模型，得到第一物体识别结果。

第二识别模块，用于将车辆行驶数据、第一物体识别结果和第二物体识别结果输入预设融合识别模型，得到自动驾驶车辆的物体识别结果；其中，第二物体识别结果基于第二数据得到。

在一些实施例中，预设识别模型可以包括双分支卷积神经网络和全连接网络；相应的，第一识别模块可以包括：

第一提取单元，用于将图像数据输入至双分支卷积神经网络的第一分支，得到第一物体特征数据；其中，第一物体特征数据用于描述第一物体识别结果对应的物体信息。

第二提取单元，用于将第一数据输入至双分支卷积神经网络的第二分支，得到第二物体特征数据。

融合单元，用于基于第一物体特征数据和第二物体特征数据融合得到第三物体特征数据。

第一识别单元，用于将第三物体特征数据输入至全连接网络，得到第一物体识别结果。

在一些实施例中，双分支卷积神经网络的第一分支和第二分支均可以包括多个卷积层；第一分支中的卷积层与述第二分支中的卷积层一一对应；相应的，第一识别模块可以包括：

第三提取单元，用于将图像数据输入至第一分支，得到第一物体特征数据。

第四提取单元，用于将第一分支的每个第一卷积层输出的第一特征数据输入至第二分支中的第二卷积层；其中，第二卷积层是第二分支中与第一卷积层对应的卷积层。

第五提取单元，用于基于第一分支中的第一卷积层输出的第一特征数据，和第二分支中第二卷积层的上一个卷积层输出的第三特征数据，得到第二特征数据。

确定单元，用于将第二分支的最后一个卷积层输出的第二特征数据确定为第三物体特征数据。

第二识别单元，用于将第三物体特征数据输入至所述全连接网络，得到第一物体识别结果。

在一些实施例中，所述物体识别装置，还可以包括第一训练模块，该第一训练模块可以包括：

第一数据获取单元，用于获取第一预设数量的第一历史物体识别结果对应的第一历史数据；其中，第一历史数据包括每个第一历史识别结果对应的历史车辆行驶数据、历史图像数据和历史第一数据。

第一训练单元，用于基于每个第一历史识别结果对应的第一历史数据训练第一预设模型。

第一模型确定单元，用于在训练后的第一预设模型的物体识别准确率达到第一预设阈值时，将训练后的第一预设模型确定为所述预设融合识别模型。

在一些实施例中，所述物体识别装置，还可以包括第二训练模块，该第二训练模块可以包括：

第二数据获取单元，用于获取第二预设数量的第二历史物体识别结果对应的第二历史数据；其中，第二历史数据包括每个第二历史物体识别结果对应的历史图像数据和历史第一数据。

第二训练单元，用于基于每个第二历史物体识别结果对应的第二历史数据训练第二预设模型。

第二模型确定单元，用于在训练后的第二预设模型的物体识别准确率达到第二预设阈值时，将训练后的第二预设模型确定为所述预设识别模型。

在一些实施例中，神经网络可以为轻量级神经网络。

上述物体识别装置可以用于执行上述各方法实施例提供的方法，其实现原理和效果类似，为简洁起见，在此不再赘述。

以上为本申请实施例提供的物体识别方法和装置，基于上述物体识别方法和装置，本申请还提供了一种物体识别设备，具体参见以下实施例。

图9示出了本申请实施例提供的物体识别设备的硬件结构示意图。

该物体识别设备可以包括处理器901以及存储有计算机程序指令的存储器902。

具体地，上述处理器901可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器902可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器902可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器902可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器902可在综合网关容灾设备的内部或外部。在特定实施例中，存储器902是非易失性固态存储器。

存储器可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本公开的一方面的方法所描述的操作。

处理器901通过读取并执行存储器902中存储的计算机程序指令，以实现上述实施例中的任意一种物体识别方法。

在一个示例中，物体识别设备还可包括通信接口903和总线910。其中，如图9所示，处理器901、存储器902、通信接口903通过总线910连接并完成相互间的通信。

通信接口903，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。

总线910包括硬件、软件或两者，将物体识别设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(IndustryStandard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线910可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

另外，结合上述实施例中的物体识别方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种物体识别方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (11)

1.一种物体识别方法，其特征在于，包括：

获取自动驾驶车辆的车辆行驶数据、图像数据和第一数据；其中，所述第一数据由激光雷达采集；

将所述车辆行驶数据、所述图像数据和所述第一数据输入预设融合识别模型，得到所述自动驾驶车辆的物体识别结果；

其中，所述预设融合识别模型包括卡尔曼滤波和神经网络。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取所述自动驾驶车辆的第二数据，所述第二数据由毫米波雷达采集；

所述将所述车辆行驶数据、所述图像数据和所述第一数据输入预设融合识别模型，得到所述自动驾驶车辆的物体识别结果，包括：

将所述车辆行驶数据、所述图像数据、所述第一数据和所述第二数据输入所述预设融合识别模型，得到所述自动驾驶车辆的物体识别结果。

3.根据权利要求2所述的方法，其特征在于，所述将所述车辆行驶数据、所述图像数据、所述第一数据和所述第二数据输入所述预设融合识别模型，得到所述自动驾驶车辆的物体识别结果，包括：

将所述图像数据和所述第一数据输入预设识别模型，得到第一物体识别结果；

将所述车辆行驶数据、所述第一物体识别结果和第二物体识别结果输入预设融合识别模型，得到所述自动驾驶车辆的物体识别结果；其中，所述第二物体识别结果基于所述第二数据得到。

4.根据权利要求3所述的方法，其特征在于，所述预设识别模型包括双分支卷积神经网络和全连接网络；

所述将所述图像数据和所述第一数据输入预设识别模型，得到第一物体识别结果，包括：

将所述图像数据输入至所述双分支卷积神经网络的第一分支，得到第一物体特征数据；其中，所述第一物体特征数据用于描述所述第一物体识别结果对应的物体信息；

将所述第一数据输入至所述双分支卷积神经网络的第二分支，得到第二物体特征数据；

基于所述第一物体特征数据和所述第二物体特征数据融合得到第三物体特征数据；

将所述第三物体特征数据输入至所述全连接网络，得到所述第一物体识别结果。

5.根据权利要求4所述的方法，其特征在于，所述双分支卷积神经网络的所述第一分支和所述第二分支均包括多个卷积层；所述第一分支中的卷积层与所述第二分支中的卷积层一一对应；

所述将所述图像数据和所述第一数据输入预设识别模型，得到第一物体识别结果，包括：

将所述图像数据输入至所述第一分支，得到第一物体特征数据；

将所述第一分支的每个第一卷积层输出的第一特征数据输入至所述第二分支中的第二卷积层；其中，所述第二卷积层是所述第二分支中与所述第一卷积层对应的卷积层；

每个所述第二卷积层基于所述第一分支中的第一卷积层输出的第一特征数据，和所述第二分支中所述第二卷积层的上一个卷积层输出的第三特征数据，得到第二特征数据；

将所述第二分支的最后一个卷积层输出的第二特征数据确定为第三物体特征数据；

将所述第三物体特征数据输入至所述全连接网络，得到第一物体识别结果。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取第一预设数量的第一历史物体识别结果对应的第一历史数据；其中，所述第一历史数据包括每个第一历史识别结果对应的历史车辆行驶数据、历史图像数据和历史第一数据；

基于所述每个第一历史识别结果对应的第一历史数据训练第一预设模型；

在训练后的第一预设模型的物体识别准确率达到第一预设阈值时，将所述训练后的第一预设模型确定为所述预设融合识别模型。

7.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取第二预设数量的第二历史物体识别结果对应的第二历史数据；其中，所述第二历史数据包括每个第二历史物体识别结果对应的历史图像数据和历史第一数据；

基于所述每个第二历史物体识别结果对应的第二历史数据训练第二预设模型；

在训练后的第二预设模型的物体识别准确率达到第二预设阈值时，将所述训练后的第二预设模型确定为所述预设识别模型。

8.根据权利要求1所述的方法，其特征在于，所述神经网络为轻量级神经网络。

9.一种物体识别装置，其特征在于，包括：

数据获取模块，用于获取自动驾驶车辆的车辆行驶数据、图像数据和第一数据；其中，所述第一数据由激光雷达采集；

物体识别模块，用于将所述车辆行驶数据、所述图像数据和所述第一数据输入预设融合识别模型，得到所述自动驾驶车辆的物体识别结果；

其中，所述预设融合识别模型包括卡尔曼滤波和神经网络。

10.一种物体识别设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如权利要求1-8任意一项所述的物体识别方法。

11.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-8任意一项所述的物体识别方法。

Images