CN111126363A - 自动驾驶车辆的物体识别和距离测量方法及装置 - Google Patents

Abstract

本发明公开一种自动驾驶车辆的物体识别和距离测量方法及装置。本发明涉及自动驾驶技术领域，解决了现有的自动驾驶车辆难以同时做到对障碍物的准确识别和距离测量的问题。本发明利用视频识别物体外观数据，利用高精度成像雷达的混合检测作为物体外观数据检测的二次补充，同时利用高精度成像雷达的精确测距，形成多数据类型在一个空间的投射，真实实现自动驾驶中3D视图的物体目标分类，并实现距离，不依靠“地面平坦”假设，而是通过雷达或激光雷达数据，只需借助一个摄像头的数据，把雷达数据投射到通过视频采集数据而重建的3D模型中，真实实现3D视图中的物体目标分类，并区分自动驾驶车辆与各个类型目标的精确距离。

Description

自动驾驶车辆的物体识别和距离测量方法及装置

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种自动驾驶车辆的物体识别和距离测量方法及装置。

背景技术

在L3级~L5级自动驾驶技术中，准确判断自动驾驶车辆与各个目标的距离，对自动驾驶车辆的驾驶过程至关重要。对于人类来说，我们拥有两个高分辨率且高度同步的视觉传感器，即我们的眼睛。通过大脑的立体视觉处理，我们的眼睛能够测量距离。然而，在自动驾驶车辆中，通过双目摄像头模拟人眼进行视觉测距非常困难，因为双目摄像头的高精度同步问题难以解决，这样就会带来距离估算误差。

因此，目前自动驾驶技术中多采用单目摄像头的数据来识别物体以及测算障碍物距离，测算的方法大致如下：首先假设自动驾驶车辆所行驶的地面是平坦的，再利用自动驾驶车辆上的单目摄像头采集到的图像中的二维信息进行三维建模，然后借助几何光学方法，对障碍物和自动驾驶车辆之间的距离进行估算。

然而，该方法存在以下缺陷：在自动驾驶车辆上坡和下坡时，由于实际地面并不平坦，因而会导致测算结果不准确，而自动巡航控制、车道变换安全检查和车道变换执行都依赖于对障碍物距离正确的判断，因此这种错误的预测可能会产生负面影响。在测量距离方面，也可以采用雷达来检测，但雷达检测分辨率不高，只能检测到障碍物的存在，但无法确认该障碍物的具体类型。此外，雷达的多普勒频率模式能够将运动的汽车与静止的背景例如高架桥等区分开来，但如果汽车保持静止，则雷达可能无法识别，且会将该汽车视为静止背景的一部分。

发明内容

本发明提供一种自动驾驶车辆的物体识别和距离测量方法及装置，以解决现有的自动驾驶车辆难以同时做到对障碍物的准确识别和距离测量的问题。

第一方面，本发明提供一种自动驾驶车辆的物体识别和距离测量方法，所述方法包括：

获取自动驾驶车辆前方的视频数据；

从所述视频数据中提取自动驾驶车辆前方环境的二维数据；

获取自动驾驶车辆前方环境的深度数据；

根据所述二维数据和所述深度数据，建立自动驾驶车辆前方环境的三维模型；

对所述三维模型中的目标物体进行识别，得到所述目标物体的外观数据；

根据所述外观数据，识别所述目标物体的第一类别信息；

判断所述目标物体的静止运动信息；

根据所述三维模型以及所述静止运动信息，形成综合视图；

获取自动驾驶车辆前方的雷达数据；

从所述雷达数据中识别出自动驾驶车辆前方的目标物体，得到各目标物体的雷达感知数据；

根据所述雷达感知数据，识别所述目标物体的第二类别信息；

根据所述第一类别信息和所述第二类别信息，将从所述三维模型中识别出的目标物体，与从所述雷达数据中识别出的目标物体进行类别匹配；

根据类别匹配结果，将所述雷达数据投射到所述综合视图中，得到综合模型；

将所述雷达数据中，自动驾驶车辆与所述目标物体之间的距离数据投影到所述综合模型。

结合第一方面，在第一方面的第一种可实现方式中，获取自动驾驶车辆前方环境的深度数据，包括：

从自动驾驶车辆前方的视频数据中识别区分道路内信息、道路边界信息和边界外信息；

分别从所述道路内信息、所述道路边界信息和所述边界外信息中识别出特征对象信息；

根据视频深度分析算法，定位所述特征对象信息的二维坐标系数据组或数据矩阵；

根据所述特征对象信息的属性，以及所述特征对象信息与自动驾驶车辆的关系，分别计算出每个特征对象信息与自动驾驶车辆之间的距离数据矩阵，以根据所述二维坐标系数据组或数据矩阵，以及所述距离数据矩阵，形成自动驾驶车辆前方环境的深度数据。

结合第一方面，在第一方面的第二种可实现方式中，根据所述外观数据，识别所述目标物体的第一类别信息，包括：

从所述外观数据中，提取所述目标物体的基本特征；

将所述基本特征与深度学习库中的参考特征进行特征匹配；

根据特征匹配结果，将所述参考特征的类别信息确定为所述目标物体的第一类别信息。

结合第一方面的第一种可实现方式，在第一方面的第三种可实现方式中，判断目标物体的静止运动信息，包括：

根据特征对象信息的属性，将特征对象信息定义为静止目标和可运动目标；

将静止目标和可运动目标全部标记在视频三维模型中，并将初次识别的静止目标建模为初始静止区域；

在自动驾驶车辆行驶时，通过视频帧差识别算法，对比分析静止目标在视频中的每一帧相对于前1~3帧的差分变化量，得到静止目标和静止区域的变化规律，并根据差分变化量对静止目标和静止区域进行调整或更新；

通过视频帧差识别算法，对比分析可运动目标在视频中的每一帧相对于前1~3帧的差分变化量，得到可运动目标的变化规律，将可运动目标的变化规律与静止目标和静止区域的变化规律进行比对；

如果可运动目标的变化规律与静止目标和静止区域的变化规律相同，判定可运动目标处于静止状态；

如果可运动目标的变化规律与静止目标和静止区域的变化规不同，判定可运动目标处于运动状态；

根据处于运动状态的可运动目标与静止区域的变化，确定处于运动状态的可运动目标为的运动轨迹，并可推演处于运动状态的可运动目标后续可能运动的轨迹。

结合第一方面，在第一方面的第四种可实现方式中，根据雷达感知数据，识别目标物体的第二类别信息，包括：

利用雷达最小角度分辨率和最短距离分辨率，形成网格化辐射单元，建立对应的空间模型；

按时间轴将雷达感知数据保存在不同的网格化辐射单元中；

根据不同网格化辐射单元、不同时间差的数据，确定不同的目标物体，并记录每个目标物体的形态特征属性、距离属性以及运动静止属性，在确定目标物体的同时，将目标物体在空间模型中实现三维阴影成像；

建立所有目标物体的雷达成像库，对每次雷达获取到的目标物体的特征属性进行记录和标注；

基于深度学习技术，训练雷达根据物体的形态、大小、关联度、间距、运动状态方面的差异，对不同目标物体的不同角度、不同状态的辨识和成像能力；

在自动驾驶车辆行驶过程中，从雷达获取的数据，中根据目标物体的形态、大小、关联度、间距、运动状态方面的差异对比雷达成像库，从而识别区分出不同目标物体；

在对应的雷达成像库中提取目标物体的第二类别信息；

将雷达新获取的目标物体新的特征属性纳入成像库，为深度学习提供新的分析样本，并根据新特征属性对应调整目标物体的第二类别信息。

第二方面，本发明提供一种自动驾驶车辆的物体识别和距离测量装置，所述装置包括：

第一获取单元，用于获取自动驾驶车辆前方的视频数据，

提取单元，用于从所述视频数据中提取自动驾驶车辆前方环境的二维数据；

第二获取单元，用于获取自动驾驶车辆前方环境的深度数据；

建立单元，用于根据所述二维数据和所述深度数据，建立自动驾驶车辆前方环境的三维模型；

第一识别单元，用于对所述三维模型中的目标物体进行识别，得到所述目标物体的外观数据；

第二识别单元，用于根据所述外观数据，识别所述目标物体的第一类别信息；

判断单元，用于判断所述目标物体的静止运动信息；

形成单元，用于根据所述三维模型以及所述静止运动信息，形成综合视图；

第三获取单元，用于获取自动驾驶车辆前方的雷达数据；

第三识别单元，用于从所述雷达数据中识别出自动驾驶车辆前方的目标物体，得到各目标物体的雷达感知数据；

第四识别单元，用于根据所述雷达感知数据，识别所述目标物体的第二类别信息；

匹配单元，用于根据所述第一类别信息和所述第二类别信息，将从所述三维模型中识别出的目标物体，与从所述雷达数据中识别出的目标物体进行类别匹配；

投射单元，用于根据类别匹配结果，将所述雷达数据投射到所述综合视图中，得到综合模型；

投影单元，用于将所述雷达数据中，自动驾驶车辆与所述目标物体之间的距离数据投影到所述综合模型。

结合第二方面，在第二方面的第一种可实现方式中，所述第二获取单元包括：

第一识别子单元，用于从自动驾驶车辆前方的视频数据中识别区分道路内信息、道路边界信息和边界外信息；

第二识别子单元，用于分别从所述道路内信息、所述道路边界信息和所述边界外信息中识别出特征对象信息；

定位子单元，用于根据视频深度分析算法，定位所述特征对象信息的二维坐标系数据组或数据矩阵；

计算子单元，用于根据所述特征对象信息的属性，以及所述特征对象信息与自动驾驶车辆的关系，分别计算出每个特征对象信息与自动驾驶车辆之间的距离数据矩阵，以根据所述二维坐标系数据组或数据矩阵，以及所述距离数据矩阵，得到自动驾驶车辆前方环境的深度数据。

结合第二方面，在第二方面的第二种可实现方式中，所述第二识别单元包括：

第一提取子单元，用于从所述外观数据中，提取所述目标物体的基本特征；

匹配子单元，用于将所述基本特征与深度学习库中的参考特征进行特征匹配；

第一确定子单元，用于根据特征匹配结果，将所述参考特征的类别信息确定为所述目标物体的第一类别信息。

结合第二方面的第一种可实现方式，在第二方面的第三种可实现方式中，所述判断单元包括：

定义子单元，用于根据特征对象信息的属性，将特征对象信息定义为静止目标和可运动目标；

标记子单元，用于将静止目标和可运动目标全部标记在视频三维模型中，并将初次识别的静止目标建模为初始静止区域；

对比子单元，用于在自动驾驶车辆行驶时，通过视频帧差识别算法，对比分析静止目标在视频中的每一帧相对于前1~3帧的差分变化量，得到静止目标和静止区域的变化规律，并根据差分变化量对静止目标和静止区域进行调整或更新；

所述对比子单元，还用于通过视频帧差识别算法，对比分析可运动目标在视频中的每一帧相对于前1~3帧的差分变化量，得到可运动目标的变化规律，将可运动目标的变化规律与静止目标和静止区域的变化规律进行比对；

判定子单元，用于在可运动目标的变化规律与静止目标和静止区域的变化规律相同的情况下，判定可运动目标处于静止状态；在可运动目标的变化规律与静止目标和静止区域的变化规不同的情况下，判定可运动目标处于运动状态；

第二确定子单元，用于根据处于运动状态的可运动目标与静止区域的变化，确定处于运动状态的可运动目标为的运动轨迹，并可推演处于运动状态的可运动目标后续可能运动的轨迹。

结合第二方面，在第二方面的第四种可实现方式中，所述第四识别单元包括：

第一建立子单元，用于利用雷达最小角度分辨率和最短距离分辨率，形成网格化辐射单元，建立对应的空间模型；

保存子单元，用于按时间轴将雷达感知数据保存在不同的网格化辐射单元中；

第三确定子单元，用于根据不同网格化辐射单元、不同时间差的数据，确定不同的目标物体，并记录每个目标物体的形态特征属性、距离属性以及运动静止属性，在确定目标物体的同时，将目标物体在空间模型中实现三维阴影成像；

第二建立子单元，用于建立所有目标物体的雷达成像库，对每次雷达获取到的目标物体的特征属性进行记录和标注；

训练子单元，用于基于深度学习技术，训练雷达根据物体的形态、大小、关联度、间距、运动状态方面的差异，对不同目标物体的不同角度、不同状态的辨识和成像能力；

第三识别子单元，用于在自动驾驶车辆行驶过程中，从雷达获取的数据，中根据目标物体的形态、大小、关联度、间距、运动状态方面的差异对比雷达成像库，从而识别区分出不同目标物体；

第二提取子单元，用于在对应的雷达成像库中提取目标物体的第二类别信息；

调整子单元，用于将雷达新获取的目标物体新的特征属性纳入成像库，为深度学习提供新的分析样本，并根据新特征属性对应调整目标物体的第二类别信息。

由以上技术方案可知，本发明的自动驾驶车辆的物体识别和距离测量方法及装置，利用视频识别物体外观数据，利用高精度成像雷达的混合检测作为物体外观数据检测的二次补充，同时利用高精度成像雷达的精确测距，形成多数据类型在一个空间的投射，真实实现自动驾驶中3D视图的物体目标分类，并实现距离，不依靠“地面平坦”假设，而是通过雷达或激光雷达数据，只需借助一个摄像头的数据，把雷达数据投射到通过视频采集数据而重建的3D模型中，真实实现3D视图中的物体目标分类，并区分自动驾驶车辆与各个类型目标的精确距离。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的自动驾驶车辆的物体识别和距离测量方法的流程图。

图2为本发明提供的自动驾驶车辆的物体识别和距离测量方法一实施例的流程图。

图3为本发明提供的自动驾驶车辆的物体识别和距离测量方法一实施例的流程图。

图4为本发明提供的自动驾驶车辆的物体识别和距离测量方法一实施例的流程图。

图5为本发明提供的自动驾驶车辆的物体识别和距离测量方法一实施例的流程图。

图6为本发明提供的自动驾驶车辆的物体识别和距离测量装置的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。

请参阅图1，为本发明实施例提供的一种自动驾驶车辆的物体识别和距离测量方法的流程图，该方法的执行主体可以是处理器，所述方法具体可以包括：

步骤S101，获取自动驾驶车辆前方的视频数据。

在本实施例中，可以通过单个前置摄像头采集自动驾驶车辆前方的视频数据。

步骤S102，从所述视频数据中提取自动驾驶车辆前方环境的二维数据。

步骤S103，获取自动驾驶车辆前方环境的深度数据。

如图2所示，在本实施例中，获取自动驾驶车辆前方环境的深度数据，具体可以包括如下步骤：

步骤S201，从自动驾驶车辆前方的视频数据中识别区分道路内信息、道路边界信息和边界外信息。

步骤S202，分别从所述道路内信息、所述道路边界信息和所述边界外信息中识别出特征对象信息。

具体地，可以在道路内信息中识别车道信息、分道线信息、斑马线信息、机动/非机动车辆信息、行人信息、红绿灯信息、其它障碍物信息等。

从道路边界信息中识别道路两侧边界标志信息（如隔离栏、双黄线、黄虚线、绿化带、行人道等），视频区域前方尽头边界信息（如转弯道路边边界、T型路口边界），以及交通边界设置的标志标牌等。

从边界外信息中识别绿化带信息、机非隔离道信息、人行道信息、反向车道信息、绿化建筑停车场信息、出入口信息、边界外行驶车辆信息、边界外行人信息、边界外其它移动物信息等等。

步骤S203，根据视频深度分析算法，定位所述特征对象信息的二维坐标系数据组或数据矩阵。

步骤S204，根据所述特征对象信息的属性，以及所述特征对象信息与自动驾驶车辆的关系，分别计算出每个特征对象信息与自动驾驶车辆之间的距离数据矩阵，以根据所述二维坐标系数据组或数据矩阵，以及所述距离数据矩阵，形成自动驾驶车辆前方环境的深度数据。

步骤S104，根据所述二维数据和所述深度数据，建立自动驾驶车辆前方环境的三维模型。

步骤S105，对所述三维模型中的目标物体进行识别，得到所述目标物体的外观数据。

步骤S106，根据所述外观数据，识别所述目标物体的第一类别信息。

如图3所示，在本实施例中，根据所述外观数据，识别所述目标物体的第一类别信息，具体可以包括如下步骤：

步骤S301，从所述外观数据中，提取所述目标物体的基本特征。

步骤S302，将所述基本特征与深度学习库中的参考特征进行特征匹配。

步骤S303，根据特征匹配结果，将所述参考特征的类别信息确定为所述目标物体的第一类别信息。

步骤S107，判断所述目标物体的静止运动信息。

如图4所示，在本实施例中，判断目标物体的静止运动信息，具体可以包括如下步骤：

步骤S401，根据特征对象信息的属性，将特征对象信息定义为静止目标和可运动目标。

具体地，对视频识别区分的每个特征对象信息的属性，可以直接定义如车道信息、分道线信息、斑马线信息、隔离栏信息、双黄线信息、黄虚线信息、绿化带信息、行人道信息、标志标牌信息等为静止目标；而如车辆、人物、动物等则定义为可运动目标。

步骤S402，将静止目标和可运动目标全部标记在视频三维模型中，并将初次识别的静止目标建模为初始静止区域。

步骤S403，在自动驾驶车辆行驶时，通过视频帧差识别算法，对比分析静止目标在视频中的每一帧相对于前1~3帧的差分变化量，得到静止目标和静止区域的变化规律，并根据差分变化量对静止目标和静止区域进行调整或更新。

步骤S404，通过视频帧差识别算法，对比分析可运动目标在视频中的每一帧相对于前1~3帧的差分变化量，得到可运动目标的变化规律，将可运动目标的变化规律与静止目标和静止区域的变化规律进行比对。

步骤S405，如果可运动目标的变化规律与静止目标和静止区域的变化规律相同，判定可运动目标处于静止状态。

步骤S406，如果可运动目标的变化规律与静止目标和静止区域的变化规不同，判定可运动目标处于运动状态。

步骤S407，根据处于运动状态的可运动目标与静止区域的变化，确定处于运动状态的可运动目标为的运动轨迹，并可推演处于运动状态的可运动目标后续可能运动的轨迹。

步骤S108，根据所述三维模型以及所述静止运动信息，形成综合视图。

步骤S109，获取自动驾驶车辆前方的雷达数据，本实施例中的雷达为高精度成像雷达。步骤S110，从所述雷达数据中识别出自动驾驶车辆前方的目标物体，得到各目标物体的雷达感知数据。

步骤S111，根据所述雷达感知数据，识别所述目标物体的第二类别信息。

本发明采用的雷达为高分辨率雷达,采用主动式遥感，能对目标物进行多角度、高密度网格、超远距离的信息捕获，并具备特定的穿透能力，从而获取目标物的更多细节。

如图5所示，在本实施例中，根据雷达感知数据，识别目标物体的第二类别信息，具体可以包括如下步骤：

步骤S501，利用雷达最小角度分辨率和最短距离分辨率，形成网格化辐射单元，建立对应的空间模型。网格化辐射单元具体为高密度的网格化辐射单元。

步骤S502，按时间轴将雷达感知数据保存在不同的网格化辐射单元中。具体为按时间轴保存在足够细化分割的不同的网格单元当中。

步骤S503，根据不同网格化辐射单元、不同时间差的数据，确定不同的目标物体，并记录每个目标物体的形态特征属性、距离属性以及运动静止属性，在确定目标物体的同时，将目标物体在空间模型中实现三维阴影成像。

步骤S504，建立所有目标物体的雷达成像库，对每次雷达获取到的目标物体的特征属性进行记录和标注。

步骤S505，基于深度学习技术，训练雷达根据物体的形态、大小、关联度、间距、运动状态方面的差异，对不同目标物体的不同角度、不同状态的辨识和成像能力。

步骤S506，在自动驾驶车辆行驶过程中，从雷达获取的数据，中根据目标物体的形态、大小、关联度、间距、运动状态方面的差异对比雷达成像库，从而识别区分出不同目标物体。

步骤S507，在对应的雷达成像库中提取目标物体的第二类别信息。

步骤S508，将雷达新获取的目标物体新的特征属性纳入成像库，为深度学习提供新的分析样本，并根据新特征属性对应调整目标物体的第二类别信息。

步骤S112，根据所述第一类别信息和所述第二类别信息，将从所述三维模型中识别出的目标物体，与从所述雷达数据中识别出的目标物体进行类别匹配。

步骤S113，根据类别匹配结果，将所述雷达数据投射到所述综合视图中，得到综合模型。

步骤S114，将所述雷达数据中，自动驾驶车辆与所述目标物体之间的距离数据投影到所述综合模型。

由以上实施例可知，本发明的自动驾驶车辆的物体识别和距离测量方法，利用视频识别物体外观数据，利用高精度成像雷达的混合检测作为物体外观数据检测的二次补充，同时利用高精度成像雷达的精确测距，形成多数据类型在一个空间的投射，真实实现自动驾驶中3D视图的物体目标分类，并实现距离，不依靠“地面平坦”假设，而是通过雷达或激光雷达数据，只需借助一个摄像头的数据，把雷达数据投射到通过视频采集数据而重建的3D模型中，真实实现3D视图中的物体目标分类，并区分自动驾驶车辆与各个类型目标的精确距离。

请参阅图6，本发明提供一种自动驾驶车辆的物体识别和距离测量装置，所述装置包括：

第一获取单元601，用于获取自动驾驶车辆前方的视频数据，

提取单元602，用于从所述视频数据中提取自动驾驶车辆前方环境的二维数据。

第二获取单元603，用于获取自动驾驶车辆前方环境的深度数据。

建立单元604，用于根据所述二维数据和所述深度数据，建立自动驾驶车辆前方环境的三维模型。

第一识别单元605，用于对所述三维模型中的目标物体进行识别，得到所述目标物体的外观数据。

第二识别单元606，用于根据所述外观数据，识别所述目标物体的第一类别信息。

判断单元607，用于判断所述目标物体的静止运动信息。

形成单元608，用于根据所述三维模型以及所述静止运动信息，形成综合视图。

第三获取单元609，用于获取自动驾驶车辆前方的雷达数据。

第三识别单元610，用于从所述雷达数据中识别出自动驾驶车辆前方的目标物体，得到各目标物体的雷达感知数据。

第四识别单元611，用于根据所述雷达感知数据，识别所述目标物体的第二类别信息。

匹配单元612，用于根据所述第一类别信息和所述第二类别信息，将从所述三维模型中识别出的目标物体，与从所述雷达数据中识别出的目标物体进行类别匹配。

投射单元613，用于根据类别匹配结果，将所述雷达数据投射到所述综合视图中，得到综合模型。

投影单元614，用于将所述雷达数据中，自动驾驶车辆与所述目标物体之间的距离数据投影到所述综合模型。

在本实施例中，所述第二获取单元603可以包括：

第一识别子单元，用于从自动驾驶车辆前方的视频数据中识别区分道路内信息、道路边界信息和边界外信息。

第二识别子单元，用于分别从所述道路内信息、所述道路边界信息和所述边界外信息中识别出特征对象信息。

定位子单元，用于根据视频深度分析算法，定位所述特征对象信息的二维坐标系数据组或数据矩阵。

计算子单元，用于根据所述特征对象信息的属性，以及所述特征对象信息与自动驾驶车辆的关系，分别计算出每个特征对象信息与自动驾驶车辆之间的距离数据矩阵，以根据所述二维坐标系数据组或数据矩阵，以及所述距离数据矩阵，得到自动驾驶车辆前方环境的深度数据。

在本实施例中，所述第二识别单元606可以包括：

第一提取子单元，用于从所述外观数据中，提取所述目标物体的基本特征。

匹配子单元，用于将所述基本特征与深度学习库中的参考特征进行特征匹配。

第一确定子单元，用于根据特征匹配结果，将所述参考特征的类别信息确定为所述目标物体的第一类别信息。

在本实施例中，所述判断单元607可以包括：

定义子单元，用于根据特征对象信息的属性，将特征对象信息定义为静止目标和可运动目标。

标记子单元，用于将静止目标和可运动目标全部标记在视频三维模型中，并将初次识别的静止目标建模为初始静止区域。

对比子单元，用于在自动驾驶车辆行驶时，通过视频帧差识别算法，对比分析静止目标在视频中的每一帧相对于前1~3帧的差分变化量，得到静止目标和静止区域的变化规律，并根据差分变化量对静止目标和静止区域进行调整或更新。

所述对比子单元，还用于通过视频帧差识别算法，对比分析可运动目标在视频中的每一帧相对于前1~3帧的差分变化量，得到可运动目标的变化规律，将可运动目标的变化规律与静止目标和静止区域的变化规律进行比对。

判定子单元，用于在可运动目标的变化规律与静止目标和静止区域的变化规律相同的情况下，判定可运动目标处于静止状态。在可运动目标的变化规律与静止目标和静止区域的变化规不同的情况下，判定可运动目标处于运动状态。

第二确定子单元，用于根据处于运动状态的可运动目标与静止区域的变化，确定处于运动状态的可运动目标为的运动轨迹，并可推演处于运动状态的可运动目标后续可能运动的轨迹。

在本实施例中，所述第四识别单元611可以包括：

第一建立子单元，用于利用雷达最小角度分辨率和最短距离分辨率，形成网格化辐射单元，建立对应的空间模型。

保存子单元，用于按时间轴将雷达感知数据保存在不同的网格化辐射单元中。

第三确定子单元，用于根据不同网格化辐射单元、不同时间差的数据，确定不同的目标物体，并记录每个目标物体的形态特征属性、距离属性以及运动静止属性，在确定目标物体的同时，将目标物体在空间模型中实现三维阴影成像。

第二建立子单元，用于建立所有目标物体的雷达成像库，对每次雷达获取到的目标物体的特征属性进行记录和标注。

训练子单元，用于基于深度学习技术，训练雷达根据物体的形态、大小、关联度、间距、运动状态方面的差异，对不同目标物体的不同角度、不同状态的辨识和成像能力。

第三识别子单元，用于在自动驾驶车辆行驶过程中，从雷达获取的数据，中根据目标物体的形态、大小、关联度、间距、运动状态方面的差异对比雷达成像库，从而识别区分出不同目标物体。

第二提取子单元，用于在对应的雷达成像库中提取目标物体的第二类别信息。

调整子单元，用于将雷达新获取的目标物体新的特征属性纳入成像库，为深度学习提供新的分析样本，并根据新特征属性对应调整目标物体的第二类别信息。

本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的自动驾驶车辆的物体识别和距离测量方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：Read-OnlyMemory，简称：ROM）或随机存储记忆体（英文：RandomAccessMemory，简称：RAM）等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于自动驾驶车辆的物体识别和距离测量装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (10)

1.一种自动驾驶车辆的物体识别和距离测量方法，其特征在于，所述方法包括：

获取自动驾驶车辆前方的视频数据；

从所述视频数据中提取自动驾驶车辆前方环境的二维数据；

获取自动驾驶车辆前方环境的深度数据；

根据所述二维数据和所述深度数据，建立自动驾驶车辆前方环境的三维模型；

对所述三维模型中的目标物体进行识别，得到所述目标物体的外观数据；

根据所述外观数据，识别所述目标物体的第一类别信息；

判断所述目标物体的静止运动信息；

根据所述三维模型以及所述静止运动信息，形成综合视图；

获取自动驾驶车辆前方的雷达数据；

从所述雷达数据中识别出自动驾驶车辆前方的目标物体，得到各目标物体的雷达感知数据；

根据所述雷达感知数据，识别所述目标物体的第二类别信息；

根据所述第一类别信息和所述第二类别信息，将从所述三维模型中识别出的目标物体，与从所述雷达数据中识别出的目标物体进行类别匹配；

根据类别匹配结果，将所述雷达数据投射到所述综合视图中，得到综合模型；

将所述雷达数据中，自动驾驶车辆与所述目标物体之间的距离数据投影到所述综合模型。

2.如权利要求1所述的方法，其特征在于，获取自动驾驶车辆前方环境的深度数据，包括：

从自动驾驶车辆前方的视频数据中识别区分道路内信息、道路边界信息和边界外信息；

分别从所述道路内信息、所述道路边界信息和所述边界外信息中识别出特征对象信息；

根据视频深度分析算法，定位所述特征对象信息的二维坐标系数据组或数据矩阵；

根据所述特征对象信息的属性，以及所述特征对象信息与自动驾驶车辆的关系，分别计算出每个特征对象信息与自动驾驶车辆之间的距离数据矩阵，以根据所述二维坐标系数据组或数据矩阵，以及所述距离数据矩阵，形成自动驾驶车辆前方环境的深度数据。

3.如权利要求1所述的方法，其特征在于，根据所述外观数据，识别所述目标物体的第一类别信息，包括：

从所述外观数据中，提取所述目标物体的基本特征；

将所述基本特征与深度学习库中的参考特征进行特征匹配；

根据特征匹配结果，将所述参考特征的类别信息确定为所述目标物体的第一类别信息。

4.如权利要求2的方法，其特征在于，判断目标物体的静止运动信息，包括：

根据特征对象信息的属性，将特征对象信息定义为静止目标和可运动目标；

将静止目标和可运动目标全部标记在视频三维模型中，并将初次识别的静止目标建模为初始静止区域；

在自动驾驶车辆行驶时，通过视频帧差识别算法，对比分析静止目标在视频中的每一帧相对于前1~3帧的差分变化量，得到静止目标和静止区域的变化规律，并根据差分变化量对静止目标和静止区域进行调整或更新；

通过视频帧差识别算法，对比分析可运动目标在视频中的每一帧相对于前1~3帧的差分变化量，得到可运动目标的变化规律，将可运动目标的变化规律与静止目标和静止区域的变化规律进行比对；

如果可运动目标的变化规律与静止目标和静止区域的变化规律相同，判定可运动目标处于静止状态；

如果可运动目标的变化规律与静止目标和静止区域的变化规不同，判定可运动目标处于运动状态；

根据处于运动状态的可运动目标与静止区域的变化，确定处于运动状态的可运动目标为的运动轨迹，并可推演处于运动状态的可运动目标后续可能运动的轨迹。

5.如权利要求1的方法，其特征在于，根据雷达感知数据，识别目标物体的第二类别信息，包括：

利用雷达最小角度分辨率和最短距离分辨率，形成网格化辐射单元，建立对应的空间模型；

按时间轴将雷达感知数据保存在不同的网格化辐射单元中；

根据不同网格化辐射单元、不同时间差的数据，确定不同的目标物体，并记录每个目标物体的形态特征属性、距离属性以及运动静止属性，在确定目标物体的同时，将目标物体在空间模型中实现三维阴影成像；

建立所有目标物体的雷达成像库，对每次雷达获取到的目标物体的特征属性进行记录和标注；

基于深度学习技术，训练雷达根据物体的形态、大小、关联度、间距、运动状态方面的差异，对不同目标物体的不同角度、不同状态的辨识和成像能力；

在自动驾驶车辆行驶过程中，从雷达获取的数据，中根据目标物体的形态、大小、关联度、间距、运动状态方面的差异对比雷达成像库，从而识别区分出不同目标物体；

在对应的雷达成像库中提取目标物体的第二类别信息；

将雷达新获取的目标物体新的特征属性纳入成像库，为深度学习提供新的分析样本，并根据新特征属性对应调整目标物体的第二类别信息。

6.一种自动驾驶车辆的物体识别和距离测量装置，其特征在于，所述装置包括：

第一获取单元，用于获取自动驾驶车辆前方的视频数据，

提取单元，用于从所述视频数据中提取自动驾驶车辆前方环境的二维数据；

第二获取单元，用于获取自动驾驶车辆前方环境的深度数据；

建立单元，用于根据所述二维数据和所述深度数据，建立自动驾驶车辆前方环境的三维模型；

第一识别单元，用于对所述三维模型中的目标物体进行识别，得到所述目标物体的外观数据；

第二识别单元，用于根据所述外观数据，识别所述目标物体的第一类别信息；

判断单元，用于判断所述目标物体的静止运动信息；

形成单元，用于根据所述三维模型以及所述静止运动信息，形成综合视图；

第三获取单元，用于获取自动驾驶车辆前方的雷达数据；

第三识别单元，用于从所述雷达数据中识别出自动驾驶车辆前方的目标物体，得到各目标物体的雷达感知数据；

第四识别单元，用于根据所述雷达感知数据，识别所述目标物体的第二类别信息；

匹配单元，用于根据所述第一类别信息和所述第二类别信息，将从所述三维模型中识别出的目标物体，与从所述雷达数据中识别出的目标物体进行类别匹配；

投射单元，用于根据类别匹配结果，将所述雷达数据投射到所述综合视图中，得到综合模型；

投影单元，用于将所述雷达数据中，自动驾驶车辆与所述目标物体之间的距离数据投影到所述综合模型。

7.如权利要求6所述的装置，其特征在于，所述第二获取单元包括：

第一识别子单元，用于从自动驾驶车辆前方的视频数据中识别区分道路内信息、道路边界信息和边界外信息；

第二识别子单元，用于分别从所述道路内信息、所述道路边界信息和所述边界外信息中识别出特征对象信息；

定位子单元，用于根据视频深度分析算法，定位所述特征对象信息的二维坐标系数据组或数据矩阵；

计算子单元，用于根据所述特征对象信息的属性，以及所述特征对象信息与自动驾驶车辆的关系，分别计算出每个特征对象信息与自动驾驶车辆之间的距离数据矩阵，以根据所述二维坐标系数据组或数据矩阵，以及所述距离数据矩阵，得到自动驾驶车辆前方环境的深度数据。

8.如权利要求6所述的装置，其特征在于，所述第二识别单元包括：

第一提取子单元，用于从所述外观数据中，提取所述目标物体的基本特征；

匹配子单元，用于将所述基本特征与深度学习库中的参考特征进行特征匹配；

第一确定子单元，用于根据特征匹配结果，将所述参考特征的类别信息确定为所述目标物体的第一类别信息。

9.如权利要求7的装置，其特征在于，所述判断单元包括：

定义子单元，用于根据特征对象信息的属性，将特征对象信息定义为静止目标和可运动目标；

标记子单元，用于将静止目标和可运动目标全部标记在视频三维模型中，并将初次识别的静止目标建模为初始静止区域；

对比子单元，用于在自动驾驶车辆行驶时，通过视频帧差识别算法，对比分析静止目标在视频中的每一帧相对于前1~3帧的差分变化量，得到静止目标和静止区域的变化规律，并根据差分变化量对静止目标和静止区域进行调整或更新；

所述对比子单元，还用于通过视频帧差识别算法，对比分析可运动目标在视频中的每一帧相对于前1~3帧的差分变化量，得到可运动目标的变化规律，将可运动目标的变化规律与静止目标和静止区域的变化规律进行比对；

判定子单元，用于在可运动目标的变化规律与静止目标和静止区域的变化规律相同的情况下，判定可运动目标处于静止状态；在可运动目标的变化规律与静止目标和静止区域的变化规不同的情况下，判定可运动目标处于运动状态；

第二确定子单元，用于根据处于运动状态的可运动目标与静止区域的变化，确定处于运动状态的可运动目标为的运动轨迹，并可推演处于运动状态的可运动目标后续可能运动的轨迹。

10.如权利要求6的装置，其特征在于，所述第四识别单元包括：

第一建立子单元，用于利用雷达最小角度分辨率和最短距离分辨率，形成网格化辐射单元，建立对应的空间模型；

保存子单元，用于按时间轴将雷达感知数据保存在不同的网格化辐射单元中；

第三确定子单元，用于根据不同网格化辐射单元、不同时间差的数据，确定不同的目标物体，并记录每个目标物体的形态特征属性、距离属性以及运动静止属性，在确定目标物体的同时，将目标物体在空间模型中实现三维阴影成像；

第二建立子单元，用于建立所有目标物体的雷达成像库，对每次雷达获取到的目标物体的特征属性进行记录和标注；

训练子单元，用于基于深度学习技术，训练雷达根据物体的形态、大小、关联度、间距、运动状态方面的差异，对不同目标物体的不同角度、不同状态的辨识和成像能力；

第三识别子单元，用于在自动驾驶车辆行驶过程中，从雷达获取的数据，中根据目标物体的形态、大小、关联度、间距、运动状态方面的差异对比雷达成像库，从而识别区分出不同目标物体；

第二提取子单元，用于在对应的雷达成像库中提取目标物体的第二类别信息；

调整子单元，用于将雷达新获取的目标物体新的特征属性纳入成像库，为深度学习提供新的分析样本，并根据新特征属性对应调整目标物体的第二类别信息。

Images