CN118131212A - 一种识别环境对象的方法和电子设备 - Google Patents

Abstract

本申请提出一种识别环境对象的方法和电子设备，涉及自动驾驶领域，该方法包括：获取第一环境对象在当前图像采样周期下的预测航迹，其中，预测航迹中包含基于雷达点云数据而得到的信息；确定与预测航迹关联的第一检测框，其中，第一检测框为对当前图像采样周期下的采集图像进行环境对象检测而得到；利用第一检测框对预测航迹进行跟踪滤波，得到第一环境对象在当前图像采样周期下的融合航迹。本申请实施例的技术方案可以提高对环境对象的识别准确率。

Description

一种识别环境对象的方法和电子设备

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种识别环境对象的方法和电子设备。

背景技术

车辆自动驾驶系统或自动驾驶辅助系统可提供自动制动(Autonomous EmergencyBraking，AEB)、前方碰撞预警(Forward Collision Warning，FCW)、车道保持辅助(LaneKeeping Assist，LKA)等功能，这些功能的正确使用依赖于对车辆行驶环境中的环境对象的准确识别。如果对环境对象的识别准确率不高，将影响车辆自动驾驶功能的实现。

发明内容

本申请实施例提供一种识别环境对象的方法和电子设备，以解决或缓解现有技术中存在的问题，技术方案如下：

第一方面，本申请实施例提供了一种识别环境对象的方法，包括：

获取第一环境对象在当前图像采样周期下的预测航迹，其中，预测航迹中包含基于雷达点云数据而得到的信息；

确定与预测航迹关联的第一检测框，其中，第一检测框为对当前图像采样周期下的采集图像进行环境对象检测而得到；

利用第一检测框对预测航迹进行跟踪滤波，得到第一环境对象在当前图像采样周期下的融合航迹。

第二方面，本申请实施例提供了一种识别环境对象的方法，包括：

将目标点迹投影至目标检测框所在的图像平面，得到投影点；

在投影点落入目标检测框且目标检测框已存在关联点迹的情况下，获取目标点迹与关联点迹的点迹量测参数，其中，点迹量测参数包括量测距离、量测方位角和量测速度中的至少一项；

在目标点迹与关联点迹的点迹量测参数之差满足阈值条件的情况下，确定目标点迹与目标检测框属于同一环境对象；

其中，目标点迹和关联点迹包括雷达量测点或对环境对象的预测航迹，目标检测框为对采集图像进行环境对象检测而得到。

第三方面，本申请实施例提供了一种识别环境对象的电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本申请任一实施例的方法。

第四方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行本申请任一实施例所述的方法。

本申请实施例的技术方案可以提供对环境对象的识别准确率。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。

图1示出本申请实施例一的识别环境对象的方法的流程图；

图2A示出本申请实施例一的传感器安装示意图；

图2B示出本申请实施例一的检测框和雷达量测点的示意图；

图3示出本申请实施例一的融合结果的示意图；

图4示出本申请实施例一的识别环境对象的方法的流程图；

图5示出本申请实施例一的识别环境对象的方法的流程图；

图6示出本申请实施例一的识别环境对象的方法的应用示例图；

图7示出本申请实施例二的识别环境对象的方法的流程图；

图8和图9示出本申请实施例二的识别环境对象的方法的应用示例图；

图10为根据本申请实施例五的电子设备的结构框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

在自动驾驶领域，需要对车辆行驶环境中的环境对象的准确识别，这依赖于将不同传感器对环境对象的感知结果融合到统一的环境感知描述中。因此，如何融合多个传感器的感知结果以提高对环境对象的识别准确率是亟待解决的技术问题。

相关技术中，感知结果的融合通常采用分布式的融合体系结构，即各传感器需要对其感知信息分别滤波跟踪计算，并将计算得到的感知结果送到融合中心进行融合处理。一方面，在滤波跟踪计算的预测阶段和更新阶段所采用的感知信息类型相同，应影响识别准确率；另一方面，各传感器通过滤波进行环境对象的运动状态估计时，会损失一部分感知信息，使得在融合处理中所能观测的信息量不够全面；进一步地，由于在各传感器中和融合中心都分别进行了跟踪滤波，因此会有部分重复计算，造成算力浪费。

本申请实施例提供一种识别环境对象的方法，利用与预测航迹像关联的第一检测框对预测航迹进行跟踪滤波，由于第一检测框是对视觉传感器的采集图像进行环境对象检测而得到，预测航迹包含了雷达传感器的感知信息，因此，利用第一检测框对预测航迹进行跟踪滤波，可实现利用视觉传感器的感知信息对雷达传感器的感知信息跟踪滤波，即在滤波跟踪计算的预测阶段和更新阶段所采用的感知信息类型不同，因而可以提高识别准确率。

进一步地，在对预测航迹跟踪滤波时，结合第一检测框以及与第一检测框关联的第一雷达量测点的量测参数，其中的第一雷达量测点来自于雷达传感器原始采集的雷达点云数据，即雷达传感器不需要进行跟踪滤波处理，仅需直接将雷达点云数据送往融合中心进行集中处理，一方面，减少了传感器的算力需求，避免重复进行滤波跟踪造成的算力损失，另一方面，保留了更多原始量测信息，使得在融合中心能获取更加全面的感知信息，以获得更优的融合处理结果。

本实施例的识别环境对象的方法可以由自车的处理器执行，如由车辆的自动驾驶域模块(Automated-driving Domain Control Module，ADCM)执行。本实施例的识别环境对象的方法也可以由服务器执行。

下面详细介绍本申请实施例识别环境对象的方法的具体实施方式。

实施例一

图1示出根据本申请实施例的识别环境对象的方法的流程图。如图1所示，该方法包括：

步骤S101：获取第一环境对象在当前图像采样周期下的预测航迹，其中，预测航迹中包含基于雷达点云数据而得到的信息。

其中，环境对象可以是自车所处环境中的任一对象，包括其他车辆、行人、建筑物等。示例性地，环境对象可以是障碍物。

雷达点云(Point Cloud)数据为雷达传感器的感知信息。雷达传感器在获取环境对象表面每个采样点的空间三维坐标后，得到的是多个雷达量测点的集合，称之为雷达点云数据。示例性地，雷达传感器为毫米波雷达传感器，即工作在毫米波探测波段的雷达传感器。

图像采样周期为视觉传感器采集图像的周期。视觉传感器即利用光学元件和成像装置采集环境图像的仪器。视觉传感器的感知信息包括采集图像。

示例性地，雷达传感器和视觉传感器可以安装于自车，也可以安装于用于采集车或路侧设备上；雷达传感器和视觉传感器的数量可以是一个或多个，且可以安装于相同装置或不同装置上。

示例性地，如图2A所示，雷达传感器201和视觉传感器202安装于自车。预测航迹和融合航迹均建立在自车的车辆坐标系下。在车辆坐标系下，X轴表示横轴，如车辆的宽度方向，Y轴表示纵轴，如车辆的长度方向，X轴和Y轴的原点为车辆的中心点。

步骤S102：确定与预测航迹关联的第一检测框，其中，第一检测框为对当前图像采样周期下的采集图像进行环境对象检测而得到。

针对视觉传感器在当前图像采样周期下的采集图像，进行环境对象的检测可以得到一个或多个检测框；如果某一检测框与预测航迹关联，即该检测框与预测航迹对应同一环境对象，则该检测框即为第一检测框。图2B示出了雷达量测点和检测框的示意图，其中的圆点代表雷达量测点，方框代表检测框。

步骤S103：利用第一检测框对预测航迹进行跟踪滤波，得到第一环境对象在当前图像采样周期下的融合航迹。

融合航迹中包括位置、速度、加速度等描述信息，其中，位置可以包括量测距离和量测方位角。

预测航迹包含了雷达传感器的感知信息(雷达量测点)，第一检测框包含了视觉传感器的感知信息，因此，利用第一检测框对预测航迹进行跟踪滤波，可实现利用视觉传感器的感知信息对雷达传感器的感知信息进行跟踪滤波，得到融合结果。图3示出了融合结果的示意图。

根据本申请实施的识别环境对象的方法，利用与预测航迹像关联的第一检测框对预测航迹进行跟踪滤波，可实现利用视觉传感器的感知信息对雷达传感器的感知信息进行跟踪滤波，即在跟踪滤波的预测阶段和更新阶段所采用的感知信息类型不同，因而可以提高识别准确率。

在一种实施方式中，在步骤S101中，获取第一环境对象在当前图像采样周期下的预测航迹，可以包括：基于第一环境对象在历史图像采样周期下的融合航迹，预测第一环境对象在当前图像采样周期下的航迹，以得到预测航迹。

其中，历史图像采样周期下的融合航迹中包含基于历史图像采样周期下的采集图像和雷达点云数据而得到的信息。也就是说，历史图像采样周期下的融合航迹为在历史图像采样周期下，融合视觉传感器的感知信息和雷达传感器的感知信息而得到。

示例性地，基于第一环境对象在历史图像采样周期下的融合航迹，对第一环境对象在当前图像采样周期下的运动状态进行估计，以得到第一环境对象在当前图像采样周期下的预测航迹(预测阶段)。

具体地，预测航迹可以表示为：

X(k+1)＝R(k)*(F(k)X(k)+U(k)Host(k))；

P(k+1)＝(R(k)*F(k))*P(k)*(R(k)*F(k))^T+Q。

历史图像采样周期下的融合航迹可以表示为：

X(k)＝[x_kx_k′x_k″y_ky_k′y_k″]^T。

其中，k表示上一图像采样周期，即历史图像采样周期，k+1表示当前图像采样周期。x_k、x_k′、x_k″分别表示上一图像采样周期下第一环境对象与自车的纵向距离、纵向速度和纵向加速度；y_k、y_k′、y_k″分别表示上一图像采样周期下第一环境对象与自车的横向距离、横向速度和横向加速度。T表示采样时间间隔。其中，纵向速度近似为多普勒速度。

R为自车偏航带来的第一环境对象的状态变化，R为旋转阵，可以表示为：

其中，cosy＝cosf(T*yawrate),siny＝sinf(T*yawrate)，yawrate表示自车的横摆角速度。

F为第一环境对象运动的状态转移矩阵，可以表示为：

U和Host为自车速度带来的状态变化，可以分别表示为：

进一步地，P为第一环境对象的协方差，Q为预测噪声，HostSpeed表示自车速度。

在一种实施方式中，如图4所示，在步骤S103中，利用第一检测框对预测航迹进行跟踪滤波，可以包括：

步骤S401：确定与第一检测框关联的第一雷达量测点，其中，第一雷达量测点来自于当前图像采样周期下的雷达点云数据；

步骤S402：基于第一雷达量测点和第一检测框确定参考量测参数；

步骤S403：利用参考量测参数对预测航迹进行跟踪滤波。

将雷达传感器采集的雷达点云数据映射到当前图像采样周期下，得到多个雷达量测点；如果某一雷达量测点与第一检测框关联，即该雷达量测点与预测航迹中的关联检测框对应同一环境对象，则该雷达量测点即为第一雷达量测点。进一步地，基于第一雷达量测点和第一检测框确定用于跟踪滤波更新的参考量测参数。

其中的第一雷达量测点来自于雷达传感器原始采集的雷达点云数据，即雷达传感器不需要进行跟踪滤波处理，仅需直接将雷达点云数据送往融合中心进行集中处理，也就是说，本申请实施例的识别环境对象的方法采用了前融合的融合方式，一方面，减少了雷达传感器的算力需求，避免重复进行滤波跟踪造成的算力损失，另一方面，由于保留了更多原始量测信息，使得在融合中心能获取更加全面的感知信息，以获得更优的融合处理结果。

示例性地，参考量测参数包括参考量测距离、参考量测方位角和参考量测速度，基于第一雷达量测点和第一检测框确定参考量测参数，包括：基于第一雷达量测点的量测距离和第一检测框对应的量测距离，确定参考量测距离；基于第一雷达量测点的量测方位角和第一检测框对应的量测方位角，确定参考量测方位角；基于第一雷达量测点的量测速度，确定参考量测速度。

其中，第一雷达量测点的量测距离的权重大于第一检测框对应的量测距离的权重；第一雷达量测点的量测方位角的权重小于第一检测框对应的量测方位角的权重。

示例性地，参考量测距离Reference_range可以表示为：

Reference_range＝K1_radar×Radar_range+K1_image×Image_range。

其中，K1_radar＞K1_image。K1_radar表示第一雷达量测点的量测距离的权重，K1_image表示第一检测框对应的量测距离的权重，Radar_range表示第一雷达量测点的量测距离，Image_range表示第一检测框对应的量测距离。

参考量测方位角Reference_azimuth可以表示为：

Reference_azimu＝K2_radar×Radar_azimuth+K2_image×Image_azimuth。

其中，K2_radar＜K2_image。K1_radar表示第一雷达量测点的量测方位角的权重，K1_image表示第一检测框对应的量测方位角的权重，Radar_range表示第一雷达量测点的量测方位角，Image_range表示第一检测框对应的量测方位角。

参考量测速度Reference_dopplor等于第一雷达量测点的量测速度Radar_dopplor。

需要说明的是，量测距离和量测方位角均为自车的车辆坐标系，即量测距离为与自车的距离，量测方位角为与自车的方位角。量测速度为多普勒速度。对第一检测框的中心进行视觉传感器的内外参矩阵的转换，得到第一检测框对应的量测距离和量测方位角。

也就是说，在进行跟踪滤波时，采用加权的方法，侧重基于第一雷达量测点的量测速度和量测距离，以及第一检测框对应的方位角确定更新阶段的参考量测参数，以提高融合准确率。

示例性地，利用参考量测参数对预测航迹进行跟踪滤波，可以是卡尔曼滤波算法，即采用卡尔曼滤波算法对预测阶段的预测航迹进行运动状态更新(更新阶段)。具体地，更新阶段的融合航迹可以表示为：

K(k)＝P(k+1)*H(k)^T*(H(k)*P(K+1)*H(k)^T-R(k))^-1，

其中，R(k)是量测噪声。

Z(k)是当前图像采样周期下的量测矩阵，可以表示为：

H(k)是观测矩阵，可以表示为：

其中，x是预测航迹与自车的纵向距离，y是预测航迹与自车的横向距离，r是预测航迹与自车的径向距离。

从而，利用参考量测参数更新当前图像采样周期下的预测航迹，得到当前图像采样周期下的融合航迹。

在一种实施方式中，如图5所示，本申请实施例的识别环境对象的方法包括：

步骤S501：确定与预测航迹不关联的第二检测框，其中，第二检测框为对采集图像进行环境对象检测而得到；

步骤S502：确定与第一检测框不关联的第二雷达量测点，其中，第二雷达量测点来自于当前图像采样周期下的雷达点云数据；

步骤S503：利用第二检测框和第二雷达量测点，确定第二环境对象在当前图像采样周期下的融合航迹。

针对视觉传感器在当前图像采样周期下的采集图像，进行环境对象的检测可以得到一个或多个检测框；如果某一检测框与预测航迹不关联，即该检测框与预测航迹对应不同的环境对象，则该检测框即为第二检测框。

将雷达传感器采集的雷达点云数据映射到当前图像采样周期下，得到多个雷达量测点；如果某一雷达量测点与第一检测框不关联，即该雷达量测点与预测航迹中的关联检测框对应不同的环境对象，则该雷达量测点即为第二雷达量测点。

进一步地，对第二检测框和第二雷达量测点进行关联判断，如果第二检测框和第二雷达量测点关联，则第二检测框和第二雷达量测点属于同一个环境对象，即第二环境对象，从而可以利用第二检测框和第二雷达量测点，确定第二环境对象在当前图像采样周期下的融合航迹。

示例性地，可以将第二检测框和第二雷达量测点作为第二环境对象的新数据，采用与步骤S101至步骤S103相类似的方法，确定第二环境对象在当前图像采样周期下的融合航迹。

在一个应用示例中，如图6所示，本申请实施例的识别环境对象的方法可以包括：

步骤S601：将历史图像采样周期的融合航迹预测到当前图像采样周期，得到预测航迹；具体可采用与步骤S101相同或相类似的实施方式；

步骤S602：将雷达传感器采集的雷达点云数据映射到当前图像采样周期下，得到多个雷达量测点；

步骤S603：对当前图像采样周期下的采集图像进行环境对象的检测，得到多个检测框；

步骤S604：检测框与预测航迹进行关联判断，当二者关联时确定为第一检测框，具体可采用与步骤S102相同或相类似的实施方式，当二者不关联时确定为第二检测框，具体可采用与步骤S501相同或相类似的实施方式；

步骤S605：雷达量测点与预测航迹中的关联检测框(第一检测框)进行关联判断，当二者关联时确定为第一量测点，具体可采用与步骤S401相同或相类似的实施方式，当二者不关联时确定为第二量测点，具体可采用与步骤S502相同或相类似的实施方式；

步骤S606：利用关联检测框(第一检测框)和关联雷达量测点(第一雷达量测点)确定的参考量测参数，对预测航迹进行跟踪滤波，得到第一环境对象在当前图像采样周期下的融合轨迹，具体可采用与步骤S402和步骤S403相同或相类似的实施方式；

步骤S607：对于不关联的检测框(第二检测框)和不关联的雷达量测点(第二雷达量测点)，进行关联判断，确定第二环境对象在当前图像采样周期下的融合航迹，具体可采用与步骤S503相同或相类似的实施方式。

实施例二

图7示出根据本申请实施例的识别环境对象的方法的流程图。如图7所示，该方法包括：

步骤S701：将目标点迹投影至目标检测框所在的图像平面，得到投影点；

步骤S702：在投影点落入目标检测框且目标检测框已存在关联点迹的情况下，获取目标点迹与关联点迹的点迹量测参数，其中，点迹量测参数包括量测距离、量测方位角和量测速度中的至少一项；

步骤S703：在目标点迹与关联点迹的点迹量测参数之差满足阈值条件的情况下，确定目标点迹与目标检测框属于同一环境对象。

其中，目标点迹和关联点迹包括雷达量测点或对环境对象的预测航迹，目标检测框为对采集图像进行环境对象检测而得到。

示例性地，量测速度为多普勒速度。在投影点落入目标检测框且目标检测框已存在关联点迹的情况下，计算两个点迹之间的距离、方位角和多普勒速度差。若超过阈值条件中的对应阈值，则判断目标点迹与目标检测框不关联，即目标点迹与目标检测框属于不同的环境对象，反之，则判断目标点迹与目标检测框关联，即目标点迹与目标检测框属于同一环境对象。

基于此，可以避免雷达量测点有可能穿过前车在更前车形成反射点的问题。并且，在关联判断时，不仅考虑世界坐标系中的位置参数投影到图像平面，以投影点是否在图像检测框内作为关联判断依据，还考虑图像检测框转换到世界坐标后采用位置差(目标点迹与关联点迹的点迹量测参数之差)进行关联计算的方法，从而可以充分利用图像检测框的面属性，提高识别准确率。

本实施例所提供的关联判断方法，该方法可应用于实施例一中。例如：在步骤S102中，目标点迹和关联点迹为预测航迹，目标检测框为第一检测框；在步骤S501中，目标点迹和关联点迹为预测航迹，目标检测框为第二检测框；在步骤S401中，目标点迹和关联点迹为第一雷达量测点，目标检测框为第一检测框；在步骤S502中，目标点迹和关联点迹为第二雷达量测点，目标检测框为第一检测框；在步骤S503中，目标点迹和关联点迹为第二雷达量测点，目标检测框为第二检测框。

示例性地，在步骤S701中，将目标点迹经过视觉传感器的内外参矩阵转换到目标检测框所在的图像平面，得到投影点。其中，内外参数矩阵为：

其中，内参矩阵中f_x、f_y、u₀、v₀由视觉触感器的焦距、分辨率、传感器尺寸决定；外参矩阵中R和t由相机的三维旋转阵和平移决定，通过目标点迹在世界坐标系中的位置X_w、Y_w、Z_w(Z_w默认为0)，可计算出其在图像平面中的投影位置，即投影点在图像平面的横轴位置u和纵轴位置v。其中，Z_c为视觉传感器的光轴，和图像平面垂直。

在一种实施方式中，本申请实施例的方法还包括在投影点未落入目标检测框的情况下，确定目标点迹与目标检测框不关联；或者，在目标点迹与关联点迹的点迹参数之差未满足阈值条件的情况下，确定目标点迹与目标检测框不关联；或者，在投影点落入目标检测框且目标检测框不存在关联点迹的情况下，确定目标点迹与目标检测框关联。

如果目标点迹与目标检测框关联，则目标点迹与目标检测属于同一环境对象；如果目标点迹与目标检测框不关联，则目标点迹与目标检测属于不同的环境对象。

在一种实施方式中，在步骤S701之前，即在确定目标点迹与目标检测框的关联关系之前，还包括：基于多个目标检测框的尺寸，对多个目标检测框进行排序；基于多个目标点迹的量测距离，对多个目标点迹进行排序。进一步地，按照排列顺序执行步骤S701至步骤S703的方法。

也就是说，在关联判断时，首先进行排序，以避免由于目标检测框和目标点迹对应的方位角相近而带来的错误关联。

在一个应用示例中，如图8所示，本申请实施例的识别环境对象的方法可以包括：

步骤S801：对视觉传感器的采集图像进行环境对象的检测，提取边界框和对应的分类结果，得到多个目标检测框，即目标检测框包括边界框和对应的分类结果。

步骤S802：基于多个目标检测框的尺寸，对多个目标检测框进行排序；基于多个目标点迹的量测距离，对多个目标点迹进行排序。

其中，量测距离为目标点迹与自车的距离。示例性地，多个目标检测框的排列顺序为尺寸从大到小，多个目标点迹的排列顺序为量测距离从小到大，即与自车的距离从近到远。

步骤S803：按照排列顺序，即按照多个目标检测框的尺寸从大到小，多个目标点迹的与自车的距离从近到远的顺序，交叉对比判断目标检测框和目标点迹的关联性。

进一步地，在该应用示例中，如图9所示，在步骤S803中包括：

步骤S901：将目标点迹投影至目标检测框所在的图像平面，得到投影点，具体地，步骤S901可采用与步骤S701相同或相类似的实施方式；

步骤S902：判断投影点是否落入目标检测框，如果投影点落入目标检测框，则进入步骤S903，如果投影点未落入目标检测框，则确定目标点迹与目标检测框不关联；

步骤S903：判断目标检测框是否存在关联点迹，如果目标检测框已存在关联点迹，则进入步骤S904，如果目标检测框不存在关联点迹，则确定目标点迹与目标检测框关联；

步骤S904：获取目标点迹与关联点迹的点迹量测参数，并判断目标点迹与关联点迹的点迹量测参数之差是否超过阈值，如果超过阈值，则确定目标点迹与目标检测框不关联，如果未超过阈值，则目标点迹与目标检测框关联；具体地，步骤S904可采用与步骤S702和步骤S703相同或相类似的实施方式。

示例性地，当满足以下条件时，判断投影点在目标检测框中：

projection_u＞boundary_left；

projection_u＜boundary_right；

projection_v＞boundary_top；

projection_v＜boundary_bottom。

其中，projection_u表示投影点的横轴位置，projection_v表示投影点的纵轴位置，boundary_left表示目标检测框在横轴上的左边界位置，boundary_rig表示目标检测框在横轴上的右边界位置，boundary_top表示目标检测框在纵轴上的顶边界位置，boundary_bottom表示目标检测框在纵轴上的底边界位置。

根据本实施例的识别环境对象的方法，在关联判断时，不仅考虑世界坐标系中的位置参数投影到图像平面，以投影点是否在图像检测框内作为关联判断依据，还考虑图像检测框转换到世界坐标后采用位置差(目标点迹与关联点迹的点迹量测参数之差)进行关联计算的方法，不仅可以充分利用图像检测框的面属性，还可以避免雷达量测点有可能穿过前车在更前车形成反射点的问题，提高识别准确率。

实施例三

本申请实施例提供一种识别环境对象的装置，该装置可以应用于车辆。该装置可以包括：

预测航迹获取模块，用于获取第一环境对象在当前图像采样周期下的预测航迹，其中，预测航迹中包含基于雷达点云数据而得到的信息；

第一检测框确定模块，用于确定与预测航迹关联的第一检测框，其中，第一检测框为对当前图像采样周期下的采集图像进行环境对象检测而得到；

跟踪滤波模块，用于利用第一检测框对预测航迹进行跟踪滤波，得到第一环境对象在当前图像采样周期下的融合航迹。

在一种实施方式中，跟踪滤波模块具体用于：

确定与第一检测框关联的第一雷达量测点，其中，第一雷达量测点来自于当前图像采样周期下的雷达点云数据；

基于第一雷达量测点和第一检测框确定参考量测参数；

利用参考量测参数对预测航迹进行跟踪滤波。

在一种实施方式中，参考量测参数包括参考量测距离、参考量测方位角和参考量测速度，跟踪滤波模块具体用于：

基于第一雷达量测点的量测距离和第一检测框对应的量测距离，确定参考量测距离，其中，第一雷达量测点的量测距离的权重大于第一检测框对应的量测距离的权重；

基于第一雷达量测点的量测方位角和第一检测框对应的量测方位角，确定参考量测方位角，其中，第一雷达量测点的量测方位角的权重小于第一检测框对应的量测方位角的权重；

基于第一雷达量测点的量测速度，确定参考量测速度。

在一种实施方式中，识别环境对象的装置还包括：

第二检测框确定模块，用于确定与预测航迹不关联的第二检测框，其中，第二检测框为对采集图像进行环境对象检测而得到；

第二雷达量测点确定模块，用于确定与第一检测框不关联的第二雷达量测点，其中，第二雷达量测点来自于当前图像采样周期下的雷达点云数据；

第二环境对象融合航迹确定模块，用于利用第二检测框和第二雷达量测点，确定第二环境对象在当前图像采样周期下的融合航迹。

在一种实施方式中，预测航迹获取模块还具体用于：

基于第一环境对象在历史图像采样周期下的融合航迹，预测第一环境对象在当前图像采样周期下的航迹，以得到预测航迹；其中，历史图像采样周期下的融合航迹中包含基于历史图像采样周期下的采集图像和雷达点云数据而得到的信息。

在一种实施方式中，识别环境对象的装置还包括关联模块，具体用于：

将目标点迹投影至目标检测框所在的图像平面，得到投影点；

在投影点落入目标检测框且目标检测框已存在关联点迹的情况下，获取目标点迹与关联点迹的点迹量测参数，其中，点迹量测参数包括量测距离、量测方位角和量测速度中的至少一项；

在目标点迹与关联点迹的点迹量测参数之差满足阈值条件的情况下，确定目标点迹与目标检测框关联；

其中，目标点迹和关联点迹包括预测航迹或第一雷达量测点或第二雷达量测点，目标检测框包括第一检测框或第二检测框。

在一种实施方式中，关联模块还具体用于：

在投影点未落入目标检测框的情况下，确定目标点迹与目标检测框不关联；或者，

在目标点迹与关联点迹的点迹参数之差未满足阈值条件的情况下，确定目标点迹与目标检测框不关联；或者，

在投影点落入目标检测框且目标检测框不存在关联点迹的情况下，确定目标点迹与目标检测框关联。

在一种实施方式中，关联模块还具体用于在确定目标点迹与目标检测框的关联关系之前：基于多个目标检测框的尺寸，对多个目标检测框进行排序；基于多个目标点迹的量测距离，对多个目标点迹进行排序；按照排列顺序确定目标点迹与目标检测框的关联关系。

本实施例各装置中的各模块的功能可以参见上述实施例一的识别环境对象的方法中的对应描述，在此不再赘述。

实施例四

本申请实施例提供一种识别环境对象的装置，该装置可以应用于车辆。该装置可以包括：

投影模块，用于将目标点迹投影至目标检测框所在的图像平面，得到投影点；

点迹量测参数获取模块，用于在投影点落入目标检测框且目标检测框已存在关联点迹的情况下，获取目标点迹与关联点迹的点迹量测参数，其中，点迹量测参数包括量测距离、量测方位角和量测速度中的至少一项；

关联确定模块，用于在目标点迹与关联点迹的点迹量测参数之差满足阈值条件的情况下，确定目标点迹与目标检测框属于同一环境对象；

其中，目标点迹和关联点迹包括雷达量测点或对环境对象的预测航迹，目标检测框为对采集图像进行环境对象检测而得到。

在一种实施方式中，关联确定模块还用于：

在投影点未落入目标检测框的情况下，确定目标点迹与目标检测框不关联；或者，

在目标点迹与关联点迹的点迹参数之差未满足阈值条件的情况下，确定目标点迹与目标检测框不关联；或者，

在投影点落入目标检测框且目标检测框不存在关联点迹的情况下，确定目标点迹与目标检测框关联。

本实施例各装置中的各模块的功能可以参见上述实施例二的识别环境对象的方法中的对应描述，在此不再赘述。

实施例五

本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图10示出根据本申请一实施例的电子设备的结构框图。如图10所示，该电子设备包括：存储器1001和处理器1002，存储器1001内存储有可在处理器1002上运行的计算机程序。处理器1002执行该计算机程序时实现上述实施例中的识别环境对象的方法。存储器1001和处理器1002的数量可以为一个或多个。该电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

该电子设备还可以包括通信接口1003，用于与外界设备进行通信，进行数据交互传输。各个设备利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器1002可以对在电子设备内执行的计算机程序进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的计算机程序。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器1001、处理器1002及通信接口1003集成在一块芯片上，则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。

应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。

本申请实施例提供了一种计算机可读存储介质(如上述的存储器1001)，其存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例中提供的方法。

可选的，存储器1001可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据识别环境对象的电子设备的使用所创建的数据等。此外，存储器1001可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1001可选包括相对于处理器1002远程生成的存储器，这些远程存储器可以通过网络连接至识别环境对象的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他实体类别的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁待，磁待磁磁盘存储或其他磁性存储介质或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(Transitory Media)，如调制的数据信号和载波。

本实施例还提供一种车辆，包括控制器，该控制器可以用于执行本实施例的识别环境对象方法，或者该控制器可以包括本实施例任一种识别环境对象装置，或者该控制器可以是本实施例任一种电子设备。

示例性地，控制器或电子设备中的处理器可以包括自动驾驶域控制模块。

示例性地，本实施例中的车辆可以燃油车、电动车、太阳能车等任何动力驱动的车辆。示例性地，本实施例中的车辆可以为自动驾驶车辆。

本实施例的车辆的其他构成，如车架和车轮的具体结构以及连接紧固部件等，可以采用于本领域普通技术人员现在和未来知悉的各种技术方案，这里不再详细描述。

在本说明书的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种识别环境对象的方法，其特征在于，包括：

获取第一环境对象在当前图像采样周期下的预测航迹，其中，所述预测航迹中包含基于雷达点云数据而得到的信息；

确定与所述预测航迹关联的第一检测框，其中，所述第一检测框为对所述当前图像采样周期下的采集图像进行环境对象检测而得到；

利用所述第一检测框对所述预测航迹进行跟踪滤波，得到所述第一环境对象在所述当前图像采样周期下的融合航迹。

2.根据权利要求1所述的方法，其特征在于，所述利用所述第一检测框对所述预测航迹进行跟踪滤波，包括：

确定与所述第一检测框关联的第一雷达量测点，其中，所述第一雷达量测点来自于所述当前图像采样周期下的雷达点云数据；

基于所述第一雷达量测点和所述第一检测框确定参考量测参数；

利用所述参考量测参数对所述预测航迹进行跟踪滤波。

3.根据权利要求2所述的方法，其特征在于，所述参考量测参数包括参考量测距离、参考量测方位角和参考量测速度，所述基于所述第一雷达量测点和所述第一检测框确定参考量测参数，包括：

基于所述第一雷达量测点的量测距离和所述第一检测框对应的量测距离，确定所述参考量测距离，其中，所述第一雷达量测点的量测距离的权重大于所述第一检测框对应的量测距离的权重；

基于所述第一雷达量测点的量测方位角和所述第一检测框对应的量测方位角，确定所述参考量测方位角，其中，所述第一雷达量测点的量测方位角的权重小于所述第一检测框对应的量测方位角的权重；

基于所述第一雷达量测点的量测速度，确定所述参考量测速度。

4.根据权利要求1所述的方法，其特征在于，还包括：

确定与所述预测航迹不关联的第二检测框，其中，所述第二检测框为对所述采集图像进行环境对象检测而得到；

确定与所述第一检测框不关联的第二雷达量测点，其中，所述第二雷达量测点来自于所述当前图像采样周期下的雷达点云数据；

利用所述第二检测框和所述第二雷达量测点，确定第二环境对象在所述当前图像采样周期下的融合航迹。

5.根据权利要求1所述的方法，其特征在于，获取所述第一环境对象在当前图像采样周期下的预测航迹，包括：

基于所述第一环境对象在历史图像采样周期下的融合航迹，预测所述第一环境对象在当前图像采样周期下的航迹，以得到所述预测航迹；其中，所述历史图像采样周期下的融合航迹中包含基于历史图像采样周期下的采集图像和雷达点云数据而得到的信息。

6.根据权利要求1至5任一项所述的方法，其特征在于，确定目标点迹与目标检测框的关联关系，包括：

将目标点迹投影至目标检测框所在的图像平面，得到投影点；

在所述投影点落入所述目标检测框且所述目标检测框已存在关联点迹的情况下，获取所述目标点迹与所述关联点迹的点迹量测参数，其中，所述点迹量测参数包括量测距离、量测方位角和量测速度中的至少一项；

在所述目标点迹与所述关联点迹的点迹量测参数之差满足阈值条件的情况下，确定所述目标点迹与所述目标检测框关联；

其中，所述目标点迹和所述关联点迹包括所述预测航迹或第一雷达量测点或第二雷达量测点，所述目标检测框包括所述第一检测框或第二检测框。

7.根据权利要求6所述的方法，其特征在于，确定目标点迹与目标检测框的关联关系，还包括：

在所述投影点未落入所述目标检测框的情况下，确定所述目标点迹与所述目标检测框不关联；或者，

在所述目标点迹与所述关联点迹的点迹参数之差未满足所述阈值条件的情况下，确定所述目标点迹与所述目标检测框不关联；或者，

在所述投影点落入所述目标检测框且所述目标检测框不存在关联点迹的情况下，确定所述目标点迹与所述目标检测框关联。

8.根据权利要求6所述的方法，其特征在于，在所述确定目标点迹与目标检测框的关联关系之前，还包括：

基于多个目标检测框的尺寸，对所述多个目标检测框进行排序；

基于多个目标点迹的量测距离，对所述多个目标点迹进行排序；

以及所述确定目标点迹与目标检测框的关联关系，包括：

按照排列顺序确定所述目标点迹与所述目标检测框的关联关系。

9.一种识别环境对象的方法，其特征在于，包括：

将目标点迹投影至目标检测框所在的图像平面，得到投影点；

在所述投影点落入所述目标检测框且所述目标检测框已存在关联点迹的情况下，获取所述目标点迹与所述关联点迹的点迹量测参数，其中，所述点迹量测参数包括量测距离、量测方位角和量测速度中的至少一项；

在所述目标点迹与所述关联点迹的点迹量测参数之差满足阈值条件的情况下，确定所述目标点迹与所述目标检测框属于同一环境对象；

其中，所述目标点迹和所述关联点迹包括雷达量测点或对环境对象的预测航迹，所述目标检测框为对采集图像进行环境对象检测而得到。

10.根据权利要求9所述的方法，其特征在于，还包括：

在所述投影点未落入所述目标检测框的情况下，确定所述目标点迹与所述目标检测框不关联；或者，

在所述目标点迹与所述关联点迹的点迹参数之差未满足所述阈值条件的情况下，确定所述目标点迹与所述目标检测框不关联；或者，

在所述投影点落入所述目标检测框且所述目标检测框不存在关联点迹的情况下，确定所述目标点迹与所述目标检测框关联。

11.一种识别环境对象的电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至10任一项所述的方法。

12.根据权利要求11所述的电子设备，其特征在于，所述处理器包括自动驾驶域控制模块。

13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如权利要求1至10任一项所述的方法。