CN113536867A

CN113536867A - 物体识别的方法、装置及系统

Info

Publication number: CN113536867A
Application number: CN202010323951.8A
Authority: CN
Inventors: 朱雨时; 孙杰
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2020-04-22
Filing date: 2020-04-22
Publication date: 2021-10-22
Anticipated expiration: 2040-04-22
Also published as: CN113536867B

Abstract

本申请公开了一种物体识别的方法、装置及系统，属于图像处理领域。所述方法包括：检测目标方向的二维图像和三维点云信息；将二维图像输入物体识别模型，得到二维图像中至少一个目标物体在二维图像中的第一位置范围信息；基于每个目标物体的第一位置范围信息、三维点云信息和三维位置范围检测模型，确定每个目标物体的三维位置范围信息；将每个目标物体的三维位置范围信息转换为在二维图像中的第二位置范围信息；确定每个目标物体的第一位置范围信息与第二位置范围信息的差异度，将对应的差异度小于阈值的目标物体的三维位置范围信息，确定为目标方向对应的实际检测物体的三维位置范围信息。采用本申请可提高车辆对物体检测的准确性。

Description

物体识别的方法、装置及系统

技术领域

本申请涉及图像处理领域，特别涉及一种物体识别的方法、装置及系统。

背景技术

随着科学技术的发展，越来越多的汽车上都增加了自动驾驶功能。具有自动驾驶功能的车辆需要识别道路前方的目标物体，例如前方的车辆、行人等，并计算与当前车辆与前方目标物体的距离，从而控制车辆的操作。

可以在车上安装摄像头或激光雷达，通过车前方的二维图像或者激光点云，确定当前车辆和前方的目标物体的距离。

在实现本申请的过程中，发明人发现上述技术至少存在以下问题：

图像识别模型在识别二维图像或者激光点云时，存在识别错误的可能，例如，将道路上的一些标识，识别成汽车或行人，导致使汽车在自动驾驶的过程中存在误操作的可能，存在一定的安全隐患。

发明内容

本申请实施例提供了一种物体识别的方法、装置及系统，能在识别前方物体时，可以对标识进行排除，提高识别准确度，进而提高安全性。所述技术方案如下：

一方面，提供了一种物体识别的方法，所述方法包括：

检测目标方向的二维图像和三维点云信息；

将所述二维图像，输入物体识别模型，得到所述二维图像中至少一个目标物体在所述二维图像中的第一位置范围信息；

基于每个目标物体的第一位置范围信息、所述三维点云信息和三维位置范围检测模型，确定每个目标物体的三维位置范围信息；

将每个目标物体的三维位置范围信息转换为在所述二维图像中的第二位置范围信息；

确定每个目标物体的第一位置范围信息与第二位置范围信息的差异度，将对应的差异度小于阈值的目标物体的三维位置范围信息，确定为所述目标方向对应的实际检测物体的三维位置范围信息。

可选的，所述基于每个目标物体的第一位置范围信息、所述三维点云信息和三维位置范围检测模型，确定每个目标物体的三维位置范围信息，包括：

确定所述三维点云信息中包括的各三维点在所述二维图像中对应的二维点；

对于每个目标物体，确定所述二维点中在所述目标物体的第一位置范围信息的范围内的目标二维点，将所述目标二维点对应的目标三维点，输入三维位置范围检测模型，得到所述目标物体的三维位置范围信息。

可选的，所述第一位置范围信息包括所述目标物体的最小外接矩形的第一纵坐标上限、第一纵坐标下限、第一横坐标上限和第一横坐标下限；

所述三维位置范围信息包括所述目标物体对应的三维点的最小外接长方体的各顶点坐标；

所述第二位置范围信息包括第二纵坐标上限、第二纵坐标下限、第二横坐标上限和第二横坐标下限。

可选的，所述将每个目标物体的三维位置范围信息转换为在所述二维图像中的第二位置范围信息，包括：

对于每个目标物体，将所述目标物体的三维位置范围信息包括的各顶点坐标转换为所述二维图像中的多个二维坐标，确定所述多个二维坐标对应的第二纵坐标上限、第二纵坐标下限、第二横坐标上限和第二横坐标下限，作为所述目标物体的第二位置范围信息。

可选的，所述确定每个目标物体的第一位置范围信息与第二位置范围信息的差异度，包括：

对于每个目标物体，确定所述目标物体的第一位置范围信息对应的第一区域、以及所述目标物体的第二位置范围信息对应的第二区域，确定所述第一区域与所述第二区域的重叠区域面积和组合区域面积的比值，作为所述目标物体的第一位置范围信息与第二位置范围信息的差异度。

对于第一位置范围信息不满足图像边缘邻近条件的每个目标物体，确定所述目标物体的第一位置范围信息对应的第一区域、以及所述目标物体的第二位置范围信息对应的第二区域，确定所述第一区域与所述第二区域的重叠区域面积和组合区域面积的比值，作为所述目标物体的第一位置范围信息与第二位置范围信息的差异度；

对于第一位置范围信息满足图像边缘邻近条件的每个目标物体，确定所述目标物体的第一位置范围信息对应的第一纵坐标上限和第一纵坐标下限、以及所述目标物体的第二位置范围信息对应的第二纵坐标下限，确定所述第一纵坐标下限与第二纵坐标下限的第一差值，并确定所述第一纵坐标上限与所述第一纵坐标下限的第二差值，确定所述第一差值与第二差值的比值绝对值，作为所述目标物体的第一位置范围信息与第二位置范围信息的差异度。

可选的，所述检测目标方向的二维图像和三维点云信息之前，所述方法还包括：

获取样本物体在样本二维图像中的位置范围信息，以及所述样本二维图像对应的样本三维点云信息和基准三维位置范围信息；

基于所述位置范围信息、所述样本三维点云信息和所述基准三维位置范围信息，对初始三维位置范围检测模型进行训练，得到所述三维位置范围检测模型。

另一方面，提供了一种物体识别的装置，其特征在于，所述装置包括：

检测模块，被配置为检测目标方向的二维图像和三维点云信息；

第一确定模块，被配置为将所述二维图像，输入物体识别模型，得到所述二维图像中至少一个目标物体在所述二维图像中的第一位置范围信息；

第二确定模块，被配置为基于每个目标物体的第一位置范围信息、所述三维点云信息和三维位置范围检测模型，确定每个目标物体的三维位置范围信息；

转换模块，被配置为将每个目标物体的三维位置范围信息转换为在所述二维图像中的第二位置范围信息；

第三确定模块，被配置为确定每个目标物体的第一位置范围信息与第二位置范围信息的差异度，将对应的差异度小于阈值的目标物体的三维位置范围信息，确定为所述目标方向对应的实际检测物体的三维位置范围信息。

可选的，所述第三确定模块，被配置为：

可选的，所述装置还包括第四确定模块，被配置为：

可选的，所述第三确定模块，被配置为：

可选的，所述装置还包括训练模块，被配置为：

再一方面，提供了一种物体识别系统，所述系统包括：摄像头、雷达和至少一个处理器和至少一个存储器；所述摄像头用于获取目标方向的二维图像，所述雷达用于获取目标方向的三维点云信息；所述至少一个处理器用于执行存储在所述至少一个存储器上的代码以实现如上所述的物体识别的方法。

再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上所述的物体识别的方法所执行的操作。

再一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上所述的物体识别的方法所执行的操作。

本申请实施例提供的技术方案带来的有益效果是：

通过每个目标物体的第一位置范围信息确定三维位置范围信息，再将每个目标物体的三维位置范围信息转化为目标物体的第二位置范围信息，通过每个目标物体的第一位置范围信息与第二位置范围信息的差异度小于阈值的目标物体作为实际检测物体，再将实际检测物体的三维位置范围信息，作为被检测到物体的的三维位置范围信息。因为道路上的标识是偏平的，所以在进行上述识别的过程中第一位置范围信息与第二位置范围信息的差异度会比较大，所以不会被识别为实际检测物体，因此，采用本申请能够避免车辆在驾驶的过程中，在识别前方物体时，可以对标识进行排除，提高识别准确度，进而提高安全性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种实施环境的示意图；

图2是本申请实施例提供的一种物体识别的方法流程图；

图3是本申请实施例提供的一种物体识别的装置结构示意图；

图4是本申请实施例提供的计算机设备的装置结构示意图；

图5是本申请实施例提供的一种物体识别的方法流程图；

图6是本申请实施例提供的一种物体识别的方法流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1是本申请实施例提供的一种实施环境的示意图。参见图1，本申请实施例可以终端实现，终端可以为车载终端，其中，车载终端还连接有摄像装置和雷达。摄像装置可以是摄像头，用于拍摄车辆前方的图像，雷达可以是激光雷达，用于获取车辆前方的三维点云信息。

本申请实施例提供的物体识别的方法用于获取车辆前方目标物体的位置信息。可以通过不同的坐标系下的坐标来确定目标物体的位置信息。在本申请实施例中包括有三个坐标系，分别为摄像头坐标系、激光雷达坐标系和前视图坐标系。摄像头坐标系可以是以摄像头的位置为原点三维坐标系，目标物体的位置信息可以通过摄像头坐标系中包围目标物体最小矩形体的八个顶点的坐标进行标定。激光雷达坐标系可以是以激光雷达的位置为原点三维坐标系，三维点云信息可以是激光雷达测量到的前方各物体的各点在激光雷达坐标系下的坐标。前视图坐标系可以是基于摄像头拍摄的图像，建立的二维坐标系，可通过预先训练的图像识别模型识别图像中的目标物体，并得到包围目标物体最小矩形框的四个边界对应的坐标，即最小矩形框的四个顶点中包括的最大横坐标、最小横坐标、最大纵坐标以及最小纵坐标。另外，以上三个坐标系中的任一坐标点可以通过预设的转换参数进行计算，在三个坐标系中进行转换。

图2是本申请实施例提供的一种物体识别的方法流程图。参见图2，该实施例包括：

步骤201、检测目标方向的二维图像和三维点云信息。

在实施中，在汽车的前端或者顶部可安装有摄像设备，用于拍摄汽车行驶时，前方道路的图像，即检测目标方向的二维图像。另外，在汽车的前端或者顶部，可安装也有激光雷达，用于检测汽车行驶时，前方道路的三维点云信息，其中，三维点云信息为激光雷达检测到的前方环境中各物体的空间点在激光雷达坐标系下的坐标。

步骤202、将二维图像，输入物体识别模型，得到二维图像中至少一个目标物体在二维图像中的第一位置范围信息。

其中，第一位置范围信息包括目标物体的最小外接矩形的第一纵坐标上限、第一纵坐标下限、第一横坐标上限和第一横坐标下限，即各目标物体在二维图像中的最小外接矩形的四个边界值。该边界值分别对应为前视图坐标系下两个横坐标和两个纵坐标。

在实施中，车载终端中设置预先训练的物体识别模型，用于识别摄像头拍摄的图像中的目标物体，其中，目标物体可以是汽车、行人、以及各种障碍物。车载终端可将摄像设备拍摄的目标方向的二维图像输入到物体识别模型中，物体识别模型可以输出各个目标物体最小外接矩形框在前视图坐标系下，各个目标物体最小外接矩形框对应的最大的横坐标、纵坐标以及最小的横坐标、纵坐标。

步骤203、基于每个目标物体的第一位置范围信息、三维点云信息和三维位置范围检测模型，确定每个目标物体的三维位置范围信息。

其中，三维位置范围信息包括目标物体对应的三维点的最小外接长方体的各顶点坐标，即目标物体在摄像头坐标系下最小外接长方体的八个顶点的坐标由三维位置范围检测模型输出。

可选的，根据目标物体的第一位置范围信息确定目标物体在三维点云信息中目标空间点，再将三维点云信息中目标空间点输入到三维位置范围检测模型中，得到目标物体的三维位置范围信息，相应的处理如下：确定三维点云信息中包括的各三维点在二维图像中对应的二维点；对于每个目标物体，确定二维点中在目标物体的第一位置范围信息的范围内的目标二维点，将目标二维点对应的目标三维点，输入三维位置范围检测模型，得到目标物体的三维位置范围信息。

在实施中，可以获取与上述二维图像在时间上对应的，通过激光雷达检测的前方道路的三维点云信息，其中，三维点云信息为激光雷达检测到的前方环境中各物体的空间点在激光雷达坐标系下的坐标。然后可以根据预先设定好的摄像头内参，对各物体的空间点在激光雷达坐标系下的坐标进行计算，得到前方环境中各物体的空间点在摄像头坐标系下的坐标。再然后可以根据预先设定好转换参数以及前方环境中各物体的空间点在摄像头坐标系下的坐标进行计算，得到前方环境中各物体的空间点在前视图坐标系下的坐标。确定在二维图像中各目标物体的最小外接矩形中包围的各个目标空间点，将每个最小外接矩形中包围的各个目标空间在摄像头坐标系下的坐标输入到预先训练的三维位置范围检测模型中，由三维位置范围检测模型输出每个目标物体在摄像头坐标系下最小外接长方体的八个顶点的坐标。

其中，三维位置范围检测模型的训练过程可如下：

获取样本物体在样本二维图像中的位置范围信息，以及样本二维图像对应的样本三维点云信息和基准三维位置范围信息；基于位置范围信息、样本三维点云信息和基准三维位置范围信息，对初始三维位置范围检测模型进行训练，得到三维位置范围检测模型。

在实施中，可以获取大量的包括样本物体的样本二维图像，并由技术人员标定样本物体在二维图像中的位置范围信息，以及样本物体对应的基准三维位置范围信息，并获取由激光雷达检测与样本二维图像中样本物体对应的样本三维点云信息。其中，样本物体可以是汽车、行人、动物等可能在行驶过程中遇到的物体。然后将样本二维图像中的位置范围信息、样本三维点云信息输入到初始三维位置范围检测模型，基于样本物体对应的基准三维位置范围信息对初始三维位置范围检测模型进行训练，在经过大量的样本物体训练之后，得到训练好的三维位置范围检测模型。

步骤204、将每个目标物体的三维位置范围信息转换为在二维图像中的第二位置范围信息。

其中，第一位置范围信息包括目标物体的最小外接矩形的第一纵坐标上限、第一纵坐标下限、第一横坐标上限和第一横坐标下限；三维位置范围信息包括目标物体对应的三维点的最小外接长方体的各顶点坐标；第二位置范围信息包括第二纵坐标上限、第二纵坐标下限、第二横坐标上限和第二横坐标下限。

可选的，对于每个目标物体，将目标物体的三维位置范围信息包括的各顶点坐标转换为二维图像中的多个二维坐标，确定多个二维坐标对应的第二纵坐标上限、第二纵坐标下限、第二横坐标上限和第二横坐标下限，作为目标物体的第二位置范围信息。

在实施中，通过预设的标定参数对每个目标物体在摄像头坐标系下最小外接长方体的八个顶点的坐标进行计算，得到在摄像头坐标系下八个顶点的坐标对应的八个顶点在前视图坐标系下的坐标，然后确定八个顶点在前视图坐标系下的坐标中最大的横坐标、纵坐标以及最小的横坐标、纵坐标，即得到八个顶点对应的小外接矩形(包络框)的边界值，然后将上述坐标值确定为第二位置范围信息。

步骤205、确定每个目标物体的第一位置范围信息与第二位置范围信息的差异度，将对应的差异度小于阈值的目标物体的第一位置范围信息，确定为目标方向对应的实际检测物体的位置范围信息。

在实施中，可以根据每个目标物体对应的第一位置范围信息与第二位置范围信息差异度，确定该目标物体是否属于误检物体。将对应的差异度大于或等于预设的阈值的目标物体作为误检的物体，删除对误检的物体对应的三维位置范围信息。将对应的差异度小于预设的阈值的目标物体作为真实的物体，即非误检物体，将非误检物体对应的三维位置范围信息作为实际的位置范围信息。

可选的，可以通过第一位置范围信息和第二位置范围信息分别对应的第一区域和第二区域的面积确定第一位置范围信息与第二位置范围信息的差异度相应的处理如下：对于每个目标物体，确定目标物体的第一位置范围信息对应的第一区域、以及目标物体的第二位置范围信息对应的第二区域，确定第一区域与第二区域的重叠区域面积和组合区域面积的比值，作为目标物体的第一位置范围信息与第二位置范围信息的差异度。

在实施中，通过第一位置范围信息中包括的第一纵坐标上限、第一纵坐标下限、第一横坐标上限和第一横坐标下限计算对应的第一区域的面积，通过第二位置范围信息包括第二纵坐标上限、第二纵坐标下限、第二横坐标上限和第二横坐标下限对应的第二区域的面积，然后计算第一区域面积和第二区域面积的交并比，即计算第一区域与第二区域的重叠区域面积和组合区域面积的比值，将比值作为第一位置范围信息与第二位置范围信息的差异度。

可选的，可通过位置范围信息是否满足图像边缘邻近条件，分别对应两种方式确定第一位置范围信息与第二位置范围信息差异度。

方式一：对于第一位置范围信息不满足图像边缘邻近条件的每个目标物体，确定目标物体的第一位置范围信息对应的第一区域、以及目标物体的第二位置范围信息对应的第二区域，确定第一区域与第二区域的重叠区域面积和组合区域面积的比值，作为目标物体的第一位置范围信息与第二位置范围信息的差异度。

在实施中，通过目标物体第一位置范围信息中包括的最小横坐标和最大横坐标的均值，确定该目标物体第一位置范围信息再前视图坐标系中的位置，如果该均值在预设的数值范围内，则可认为该目标物体没有在图像的边缘，即该目标物体不会存在被图像的边缘截断的可能，可以根据第一区域与第二区域的面积确定第一位置范围信息与第二位置范围信息的差异度。即通过第一位置范围信息中包括的小外接矩形的第一纵坐标上限、第一纵坐标下限、第一横坐标上限和第一横坐标下限计算对应的第一区域的面积，通过第二位置范围信息包括第二纵坐标上限、第二纵坐标下限、第二横坐标上限和第二横坐标下限对应的第二区域的面积，然后计算第一区域面积和第二区域面积的交并比，即计算第一区域与第二区域的重叠区域面积和组合区域面积的比值，将比值作为第一位置范围信息与第二位置范围信息的差异度，可如图5所示，区域2为第一区域与第二区域的重叠区域面积，区域1、区域2和区域3为第一区域与第二区域的组合区域面积。例如，目标物体的第一位置范围信息的集合为O＝{O_i＝(u_0,i,v_0,i,u_1,i,v_1,i)|i＝0,...,N_o-1}，其中N₀为目标物体的个数，u_0,i、v_0,i、u_1,i、v_1，i分别为第一区域在前视图坐标系中横坐标最小值，纵坐标最小值，横坐标最大值，纵坐标最大值。第二位置范围信息为G_box＝{G_box，i＝(u_box，0，i，v_box，0，i，u_box，1，i，v_box，1，i)|i＝0，...N_g-1}，其中N_g为目标物体的个数，u_box，0，i、v_box，0，i、u_box，1，i、v_box，1，i分别为第二区域在前视图坐标系中横坐标最小值，纵坐标最小值，横坐标最大值，纵坐标最大值。则第一区域面积和第二区域面积交并比Iou_i的计算如下：

u_{inter，0，i}＝max(O，max(u_box，0，i，u_0，i))

v_{inter，0，i}＝max(0，max(v_box，0，i，v_0，i))

u_{inter，1，i}＝min(u_max-1，min(u_box，1，i，u_1，i))

v_{inter，1，i}＝min(v_max-1，min(v_box，1，i，v_1，i))

S_inter，i＝(u_{inter，1，i}-u_{inter，0，i})*(v_{inter，1，i}-v_{inter，0，i})

S_o，i＝(u_1，i-u_0，i)*(v_1，i-v_0，i)

S_box，i＝(u_box，1，i-u_box，0，i)*(v_box，1，i-v_box，0，i)

Iou_i＝S_inter,i/(S_box，i+S_o，i-S_inter，i)

当第一区域面积和第二区域面积的交并比大于或等于预设的交并比阈值时，则可确定对应的目标物体为非误检物体，则可为对应的目标物体添加正检标识，当第一区域面积和第二区域面积的交并比小于预设的交并比阈值时，则可确定对应的目标物体为误检物体，则可为对应的目标物体添加误检标识，最后将带有正检标识的目标物体对应的三维位置范围信息作为实际检测到物体的位置范围信息，去除带有误检标识的目标物体对应的三维位置范围信息。

方式二：对于第一位置范围信息满足图像边缘邻近条件的每个目标物体，确定目标物体的第一位置范围信息对应的第一纵坐标上限和第一纵坐标下限、以及目标物体的第二位置范围信息对应的第二纵坐标下限，确定第一纵坐标下限与第二纵坐标下限的第一差值，并确定第一纵坐标上限与第一纵坐标下限的第二差值，确定第一差值与第二差值的比值绝对值，作为目标物体的第一位置范围信息与第二位置范围信息的差异度。

在实施中，当目标物体第一位置范围信息中包括的最小横坐标和最大横坐标的均值，没有在预设的数值范围内，则可认为该目标物体在二维图像的边缘，即该目标物体存在被二维图像的边缘截断的可能，如图6所示，该种情况下，可以根据第一区域与第二区域的下边缘确定第一位置范围信息与第二位置范围信息的差异度。即通过目标物体的第一位置范围信息中包括的第一纵坐标上限和第一纵坐标下限确定，目标物体最小外接矩形的高度，通过第一位置范围信息中第一纵坐标上限与第二位置范围信息中第二纵坐标下限的差，确定最小外接矩形和包络框的下边缘的差值，然后用目标物体最小外接矩形的高度比上最小外接矩形和包络框的下边缘的差值，得到的比值的绝对值，再将1减去上述比值绝对值得到的差值确定最小外接矩形和包络框的下边缘的相似度，即目标物体的第一位置范围信息与第二位置范围信息的差异度。其中，最小外接矩形和包络框的下边缘的相似度S_edge，i对应的计算公式如下：

S_edge，i＝1-|v_box，1，i-v_1，i|/(v_1，i-v_0，i)

当目标物体对应的下边缘相似度大于或等于预设的下边缘相似度阈值时，则可确定对应的目标物体为非误检物体，则为对应的目标物体添加正检标识，当目标物体对应的下边缘相似度小于预设的下边缘相似度阈值时，则可确定对应的目标物体为误检物体，则为对应的目标物体添加误检标识，最后将带有正检标识的目标物体对应的三维位置范围信息作为实际检测到物体的位置范围信息，去除带有误检标识的目标物体对应的三维位置范围信息。

本申请实施例通过每个目标物体的第一位置范围信息确定三维位置范围信息，再将每个目标物体的三维位置范围信息转化为目标物体的第二位置范围信息，通过每个目标物体的第一位置范围信息与第二位置范围信息的差异度小于阈值的目标物体作为实际检测物体，再将实际检测物体的三维位置范围信息，作为被检测到物体的的三维位置范围信息。因为道路上的标识是偏平的，所以在进行上述识别的过程中第一位置范围信息与第二位置范围信息的差异度会比较大，所以不会被识别为实际检测物体，因此，采用本申请能够避免车辆在驾驶的过程中，在识别前方物体时，可以对标识进行排除，提高识别准确度，进而提高安全性。

图3是本申请实施例提供的一种物体识别的装置结构示意图，该装置可以是上述实施例中的终端，参见图3，该装置包括：

检测模块310，被配置为检测目标方向的二维图像和三维点云信息；

第一确定模块320，被配置为将所述二维图像，输入物体识别模型，得到所述二维图像中至少一个目标物体在所述二维图像中的第一位置范围信息；

第二确定模块330，被配置为基于每个目标物体的第一位置范围信息、所述三维点云信息和三维位置范围检测模型，确定每个目标物体的三维位置范围信息；

转换模块340，被配置为将每个目标物体的三维位置范围信息转换为在所述二维图像中的第二位置范围信息；

第三确定模块350，被配置为确定每个目标物体的第一位置范围信息与第二位置范围信息的差异度，将对应的差异度小于阈值的目标物体的三维位置范围信息，确定为所述目标方向对应的实际检测物体的三维位置范围信息。

可选的，所述第三确定模块350，被配置为：

可选的，所述装置还包括第四确定模块，被配置为：

可选的，所述第三确定模块350，被配置为：

可选的，所述装置还包括训练模块，被配置为：

需要说明的是：上述实施例提供的物体识别的装置在进行物体识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的物体识别的装置与物体识别的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例提供的一种物体识别系统，该系统包括：摄像头、雷达和至少一个处理器和至少一个存储器；所述摄像头用于获取目标方向的二维图像，所述雷达用于获取目标方向的三维点云信息；所述至少一个处理器用于执行存储在所述至少一个存储器上的代码以实现如上所述的物体识别的方法。

图4是本申请实施例提供的一种计算机设备的结构示意图，该计算机设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Centralprocessing units，CPU)401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中物体识别的方法。该计算机可读存储介质可以是非暂态的。例如，所述计算机可读存储介质可以是ROM(Read-Only Memory，只读存储器，)、RAM(Random Access Memory，随机存取存储器)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种物体识别的方法，其特征在于，所述方法包括：

检测目标方向的二维图像和三维点云信息；

2.根据权利要求1所述的方法，其特征在于，所述基于每个目标物体的第一位置范围信息、所述三维点云信息和三维位置范围检测模型，确定每个目标物体的三维位置范围信息，包括：

3.根据权利要求1所述的方法，其特征在于，所述第一位置范围信息包括所述目标物体的最小外接矩形的第一纵坐标上限、第一纵坐标下限、第一横坐标上限和第一横坐标下限；

4.根据权利要求3所述的方法，其特征在于，所述将每个目标物体的三维位置范围信息转换为在所述二维图像中的第二位置范围信息，包括：

5.根据权利要求1所述的方法，其特征在于，所述确定每个目标物体的第一位置范围信息与第二位置范围信息的差异度，包括：

6.根据权利要求1所述的方法，其特征在于，所述确定每个目标物体的第一位置范围信息与第二位置范围信息的差异度，包括：

7.根据权利要求1所述的方法，其特征在于，所述检测目标方向的二维图像和三维点云信息之前，所述方法还包括：

8.一种物体识别的装置，其特征在于，所述装置包括：

9.根据权利要求8所述的装置，其特征在于，所述第三确定模块，被配置为：

10.一种物体识别系统，其特征在于，所述系统包括：摄像头、雷达和至少一个处理器和至少一个存储器；

所述摄像头用于获取目标方向的二维图像，所述雷达用于获取目标方向的三维点云信息；

所述至少一个处理器用于执行存储在所述至少一个存储器上的代码以实现如权利要求1所述的方法。