CN116110025A - 栅格检测跟踪框架构建环境语义占据与速度场方法及系统 - Google Patents

栅格检测跟踪框架构建环境语义占据与速度场方法及系统 Download PDF

Info

Publication number
CN116110025A
CN116110025A CN202310051371.1A CN202310051371A CN116110025A CN 116110025 A CN116110025 A CN 116110025A CN 202310051371 A CN202310051371 A CN 202310051371A CN 116110025 A CN116110025 A CN 116110025A
Authority
CN
China
Prior art keywords
grid
particles
semantic
occupation
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310051371.1A
Other languages
English (en)
Inventor
江昆
杨殿阁
施以宁
王云龙
杨蒙蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202310051371.1A priority Critical patent/CN116110025A/zh
Publication of CN116110025A publication Critical patent/CN116110025A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明涉及一种栅格检测跟踪框架构建环境语义占据与速度场方法及系统，包括：通过多种车载异构传感器，由神经网络的深度学习获取环境的完全语义分割地图；在完全语义分割地图上进行栅格级跟踪，给定上游模块生成的细粒度语义鸟瞰图，对每个栅格的占据和速度进行建模，并将粒子分配到栅格中，进行粒子的更新；进行栅格级后融合，将细粒度的语义和速度信息融合，通过环境中每个栅格的语义，占据和速度的属性全面理解，形成增强的可行驶空间认知。

Description

栅格检测跟踪框架构建环境语义占据与速度场方法及系统
技术领域
本发明涉及一种自动驾驶领域，特别是关于一种利用计算机视觉与概率推理理论，实现栅格级检测与跟踪框架构建环境的语义占据与速度场的方法及系统。
背景技术
占据栅格图(OGM)是机器人和自动驾驶领域的一种重要的环境表达形式。通过传感器原始数据描述环境被各种物体的占用率，车辆可以避免与障碍物发生碰撞。栅格地图的主要优点是完全表达感知数据和场景，可以分析感知范围与不确定性，同时通常用作强大的多传感器融合框架。与室内机器人不同，自动驾驶汽车通常在高度动态的交通环境中运行，需要分辨出障碍物的速度，因此产生了动态占据栅格地图(DOGM)技术，主要用蒙特卡洛方法用随机粒子建模栅格速度并通过贝叶斯推断进行粒子筛选并最终得到栅格速度，然而对于大量的数据需要非常大量的粒子数，运行时间很长，同时速度准确率低。
场景流是一种表示图像或点云中每个点在三维空间中前后两帧之间变化的技术。该技术的主要困难在于使用图像数据的方法难以估计标准三维空间中的运动，点云数据的方法则面临目前没有带注释的真实数据的困难。前序研究使用了一些模拟数据或人工生成的数据。场景流计算过程缓慢，不能满足自动驾驶实时运行的要求。联合分割和运动预测是一种在栅格级别上联合估计语义和运动特征的新任务，可以视为是鸟瞰图下栅格化场景流技术或基于网格的检测技术，后续研究中Pillar-Motion同时引入了使用图像光流的点云学习的自监督校正和优化。这一类方法的速度估计一般由前序数帧数据端到端的预测，而不是前后帧的关联形成跟踪关系，速度与语义时序不连续，影响了栅格环境的连续理解。
点云的语义分割是指给点云中的每个点赋予特定的语义标签，也可以推广到对实例分割和全景分割，是针对激光雷达点云实现完全的环境理解的一种重要方法，工程上逐帧的点云标注成本很高，算法难点是点云数据无序，室外场景稀疏且疏密度与距离相关，不规则。图像的鸟瞰图语义分割用于分割鸟瞰下的运动物体和静态元素。与传统的图像视图分割任务相比，目标检测的标注可以重复用于训练动态目标分割，而高精度地图可以直接用于训练静态元素分割。相应地，增加的难度是需要一个视图融合模块将来自多个摄像头的信息融合到鸟瞰图空间，两种传感器与相关技术的语义鸟瞰图均能达到较好的单帧效果，但是缺乏速度估计，对于环境认知与风险评估缺失必要的速度场信息，不能直接用于可行驶区域认知模块。
发明内容
针对上述问题，本发明的目的是提供一种栅格检测跟踪框架构建环境语义占据与速度场方法及系统，其能提高栅格各个单独属性的连续性和准确率。
为实现上述目的，第一方面，本发明采取的技术方案为：一种栅格检测跟踪框架构建环境语义占据与速度场方法，其包括：通过多种车载异构传感器，由神经网络的深度学习获取环境的完全语义分割地图；在完全语义分割地图上进行栅格级跟踪，给定上游模块生成的细粒度语义鸟瞰图，对每个栅格的占据和速度进行建模，并将粒子分配到栅格中，进行粒子的更新；进行栅格级后融合，将细粒度的语义和速度信息融合，通过环境中每个栅格的语义，占据和速度的属性全面理解，形成增强的可行驶空间认知。
进一步，多种车载异构传感器包括：毫米波雷达的点云通过传感器逆映射器形成栅格的速度先验，补充栅格跟踪滤波器在观测中的速度辅助信息；由高线数激光雷达输出稠密的点云信息，以对场景的无盲区完全理解；将车载多相机进行环视的安装，并进行深度估计，通过视角转换在鸟瞰图上分割物体和地面形成语义栅格，以对360°场景完全理解。
进一步，在完全语义分割地图上进行栅格级跟踪，包括：
将原始信息旋转到对齐大地坐标系，栅格和粒子不需要旋转操作；
设定观测栅格，将目标检测中常见障碍物的栅格区域其感兴趣区域布尔值设置为真；
在观测栅格中选择其中感兴趣区域内的栅格，布尔值为真的观测元素，平均分配新生成的粒子到每次观测的栅格中；如果粒子在预测和更新后对应的栅格已经离开感兴趣区域，则使这部分粒子消失，粒子权重变为零，对剩下的粒子的权重进行排序，最终消失的粒子数和新生成的粒子数是相等的设定的超参数；
构建动态栅格图，对粒子和栅格进行预测与更新，实现栅格级跟踪。
进一步，构建动态栅格图，包括：
对粒子进行预测，将已有的粒子根据合适的运动学模型预测当前的粒子在下一帧的位置和速度，包括在预测后计算每个粒子的新网格单元索引；
将粒子分配到栅格，根据网格单元索引对所有粒子进行排序，每个粒子检查它是具有相同索引的组的第一个还是最后一个粒子；如果是，则将其索引写入相应的网格单元中，对栅格占据状态进行预测与更新；
对持续存在的粒子进行更新，计算粒子相对于观测的似然函数，并根据似然函数调整粒子的权重，最后对权重归一化，不改变粒子的状态变量；对于单个粒子来说，新的权重等于旧的权重乘似然函数再进行归一化；
根据粒子的宏观统计状态变量输出栅格的速度信息，包括粒子的速度的加权和。
进一步，对栅格占据状态进行预测与更新，包括：
根据分配的粒子对占据情况进行预测计算，占据情况分为占据质量和空闲质量，以计算出占据概率；
将当前预测的栅格占据质量和下一帧传感器逆映射器观测得到的质量根据D-S证据论结合，进行栅格的更新。
进一步，进行栅格级后融合包括：
将不同传感器实现的俯视图下的语义分割设为栅格级检测方法，不同的检测方法会各自接入栅格级跟踪器；
在跟踪器的输出层采用协方差交叉的融合方法对每个栅格的占据率和速度进行计算；协方差交叉方法的优化目标是求解一个最优的权重，以极小化性能指标，采用协方差的迹表征性能指标的选择，为融合后的协方差。
进一步，形成增强的可行驶空间认知，包括：
在360°方向上都密集采样最远可达点，将最远可达点连接起来形成全景的可行驶空间认知；同时在当前帧的占据栅格图中采样，以及根据跟踪速度预测后一秒的预测占据栅格图中采样；
将现在和未来的可行驶区域取交集得到最终的可行驶区域；
生成可行驶区域后，建立每个栅格的虚拟斥力场，针对栅格代表的语义建立虚拟动能场，分析其潜在碰撞的可能性。
第二方面，本发明采取的技术方案为：一种栅格检测跟踪框架构建环境语义占据与速度场系统，其包括：第一处理模块，通过多种车载异构传感器，由神经网络的深度学习获取环境的完全语义分割地图；第二处理模块，在完全语义分割地图上进行栅格级跟踪，给定上游模块生成的细粒度语义鸟瞰图，对每个栅格的占据和速度进行建模，并将粒子分配到栅格中，进行粒子的更新；第三处理模块，进行栅格级后融合，将细粒度的语义和速度信息融合，通过环境中每个栅格的语义，占据和速度的属性全面理解，形成增强的可行驶空间认知。
第三方面，本发明采取的技术方案为：一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。
第四方面，本发明采取的技术方案为：一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
本发明由于采取以上技术方案，其具有以下优点：
1、本发明基于栅格的检测与跟踪框架，可以替代物体级的检测与跟踪方法(DATMO)。
2、本发明能够利用多传感器的融合，联合估计栅格的语义，占据率和速度，同时分析不确定性，提高栅格各个单独属性的连续性和准确率。
3、本发明能够聚焦自动驾驶关键的感兴趣区域，引导粒子的生成模型，降低推理计算量与时延，提高整体管道运行速度到实时运行。
附图说明
图1是本发明实施例中的语义动态栅格地图流程图；
图2是本发明实施例中的栅格级跟踪实现流程图；
图3是本发明实施例中的协方差交叉跟踪级融合示意图；
图4是本发明实施例中语义动态栅格图用于驾驶环境认知的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
针对现有技术中速度与语义时序不连续，影响了栅格环境的连续理解的问题，本发明提供一种栅格检测跟踪框架构建环境语义占据与速度场方法及系统，以实现环境语义占据与速度场的估计，结合了新兴的基于神经网络的联合分割和预测方法和基于推理的栅格级跟踪方法，实现了一个网格检测和跟踪管道，用于形成时间连续的、基于网格的环境语义、占用率和速度估计，同时提供多传感器语义地图的后融合方法，语义动态地图的评价方法与基于该种环境表达的环境风险认知与碰撞检测方法。
在本发明的一个实施例中，提供一种栅格检测跟踪框架构建环境语义占据与速度场方法。本实施例中，如图1所示，该方法包括以下步骤：
1)通过多种车载异构传感器，由神经网络的深度学习获取环境的完全语义分割地图；
在本实施例中，进行栅格级检测。针对多种车载异构传感器，设计相应的算法，通过神经网络的深度学习获取环境的完全语义分割地图。可以综合或单独利用不同种类的传感器，包括激光雷达，相机与毫米波雷达。完全环境的语义分割的目的是把动态物体与静态环境从感知的最小可分单元层区分开，并为基于栅格的跟踪提供感兴趣区域的先验知识。
2)在完全语义分割地图上进行栅格级跟踪，给定上游模块生成的细粒度语义鸟瞰图，对每个栅格的占据和速度进行建模，并将粒子分配到栅格中，进行粒子的更新；
在本实施例中，采用基于概率推理的跟踪方法，对每个栅格的占据和速度进行概率建模，概率推理的实现方法是一个基于粒子滤波的滤波器。通过Nuss等人提出的自顶向下的粒子分配方法把粒子分配到栅格中，并进行粒子的更新。
3)进行栅格级后融合，将细粒度的语义和速度信息融合，通过环境中每个栅格的语义，占据和速度的属性全面理解，形成增强的可行驶空间认知；
在本实施例中，主要处理不同传感器的栅格级检测的后融合，实现了细粒度的语义和速度信息的融合，通过环境中每个栅格的语义，占据和速度的属性全面理解，形成增强的可行驶空间认知。
上述步骤1)中，多种车载异构传感器包括：
1.1)毫米波雷达的点云通过传感器逆映射器形成栅格的速度先验，补充栅格跟踪滤波器在观测中的速度辅助信息；
具体的，毫米波雷达的数据是稀疏的二维点云，且含有多普勒测量，无法单独表达环境的整体语义状态，所以毫米波雷达点云通过传感器逆映射器形成栅格的速度先验，补充栅格跟踪滤波器的观测中的速度辅助信息。
1.2)由高线数激光雷达输出稠密的点云信息，以对场景的无盲区完全理解；
具体的，高线数激光雷达输出稠密的点云信息，实现对场景的无盲区完全理解，原始点云包括三维坐标和反射率等信息，针对稠密点云的处理有两种方法，一种是点云的语义分割方法，如使用先进的语义分割网络Cylinder3D++，将点云分类为不同的语义类别，然后用传感器逆映射器形成语义栅格；第二种方法是由MotionNet方法把点云面素化后直接进行语义分割形成语义栅格。
1.3)将车载多相机进行环视的安装，并进行深度估计，通过视角转换在鸟瞰图上分割物体和地面形成语义栅格，以对360°场景完全理解；
具体的，车载多相机可以通过环视的安装，实现对360°场景的完全理解，由于图像没有深度信息，首先需要进行深度估计，然后通过视角转换技术在鸟瞰图上分割物体和地面形成语义栅格，视角转换技术可以是网络方法或伪激光雷达方法。
上述步骤2)中，如图2所示，在完全语义分割地图上进行栅格级跟踪，包括以下步骤：
2.1)坐标转换过程：将原始信息旋转到对齐大地坐标系，栅格和粒子不需要旋转操作；
具体的，栅格地图的中心点固连在车辆坐标系上，当车辆平动时栅格和粒子会反向补偿车辆运动，实践表明车辆运行过程中发生转动时使得栅格和粒子反向旋转补偿会带来较大的误差，基于决策前构建行驶空间的要求，选择把原始信息旋转到对齐大地坐标系，栅格和粒子不需要旋转操作。
2.2)设定观测栅格，将目标检测中常见障碍物的栅格区域其感兴趣区域布尔值设置为真；
具体的，首先设定地图的大小和分辨率，然后开辟相应的显存空间，观测栅格以数组方式连续占据显存空间，每个观测栅格为一个元素，状态量包括二维坐标位置，空闲质量，占据质量，似然概率和感兴趣区域布尔值。对于原始点云输入，通过传感器逆映射器计算占据与空闲质量，再计算似然概率。对于其他语义栅格输入，根据语义分割的置信概率对不同类别做占据分析，地面类别判定为非占据区域，其他障碍物均定义为存在不同程度的占据状态，特别地，语义类别为目标检测中常见障碍物的栅格区域其感兴趣区域布尔值设置为真，以便于后续粒子的分配。
2.3)粒子的生成与分配：在观测栅格中选择其中感兴趣区域内的栅格，布尔值为真的观测元素，平均分配新生成的粒子到每次观测的栅格中；如果粒子在预测和更新后对应的栅格已经离开感兴趣区域，则使这部分粒子消失，粒子权重变为零，对剩下的粒子的权重进行排序，最终消失的粒子数和新生成的粒子数是相等的设定的超参数；
在本发明的自顶向下的框架中，最终状态栅格的占据率由Dempster/Shafer证据理论计算得到，与二值贝叶斯滤波框架的实现相似，粒子滤波的意义是求解感兴趣区域内的栅格的速度，所以在观测栅格中选择其中感兴趣区域内的栅格，即布尔值为真的观测元素，平均分配新生成的粒子到每次观测的栅格中。在重采样步骤中，如果粒子在预测和更新后对应的栅格已经离开感兴趣区域，则使得这部分粒子消失，粒子权重变为零，然后对剩下的粒子的权重进行排序，最终消失的粒子数和新生成的粒子数是相等的设定的超参数，以保持推理过程中总体粒子数和占用内存显存等资源稳定不变，由于自动驾驶场景中存在较强的连续性，经过实验说明消失和新生的粒子数在全部粒子数的10％可以解决大部分新进入观测范围的物体的速度估计情况。
2.4)构建动态栅格图，对粒子和栅格进行预测与更新，实现栅格级跟踪。
其中，构建动态栅格图，包括以下步骤：
2.4.1)对粒子进行预测，将已有的粒子根据合适的运动学模型预测当前的粒子在下一帧的位置和速度，包括在预测后计算每个粒子的新网格单元索引；
具体的，应当在单独的步骤中预先采样适当数量的随机粒子，运动学模型服从一阶线性运动模型,另外需要考虑适量的检测概率,即对于第k+1帧的粒子组
Figure BDA0004058149930000071
来说，权重的更新如下：
Figure BDA0004058149930000072
式中，pS是某粒子在下一帧观测中仍然存在的概率，一般设置为一个先验的常数；
Figure BDA0004058149930000073
表示第i个粒子更新后的权重；
Figure BDA0004058149930000074
表示第i个粒子更新前的权重；
Figure BDA0004058149930000075
表示粒子的状态向量，一般由平面位置与平面速度的四维向量表达；；v表示总体粒子的数量；i表示循环符号。
2.4.2)将粒子分配到栅格，根据网格单元索引对所有粒子进行排序，每个粒子检查它是具有相同索引的组的第一个还是最后一个粒子；如果是，则将其索引写入相应的网格单元中，对栅格占据状态进行预测与更新；
其中，对栅格占据状态进行预测与更新，包括以下步骤：
2.4.2.1)根据分配的粒子对占据情况进行预测计算，占据情况分为占据质量和空闲质量，以计算出占据概率；
2.4.2.2)将当前预测的栅格占据质量和由传感器逆映射器观测的质量根据D-S证据论结合，进行栅格的更新。
具体的，根据粒子的权重与粒子属于网格的索引对所有粒子进行排序。每个网格单元可以存储两个粒子索引。它们代表已预测到网格单元中的粒子组的第一个和最后一个索引。对于分配，每个粒子检查它是具有相同索引的组的第一个还是最后一个粒子。如果是，则它将其索引写入相应的网格单元中。由于每个网格单元最多只能有一个第一个或最后一个粒子。栅格占据状态预测与更新是中重要步骤，首先根据前述步骤分配的粒子对占据情况进行计算，占据情况分为占据质量，空闲质量，并计算出占据概率，预测的占据质量的计算方式为：
Figure BDA0004058149930000076
式中，
Figure BDA0004058149930000077
表示栅格c的质量；Ok+1表示第k+1帧占据状态；
Figure BDA0004058149930000078
表示栅格c中持续粒子的总量；
Figure BDA0004058149930000079
表示栅格c中粒子i的权重。
预测的空闲质量为：
Figure BDA00040581499300000710
式中，
Figure BDA00040581499300000711
表示栅格c的质量；Fk+1表示k+1帧的空闲状态；α表示衰减因子，是关于时间T的函数；T表示时间帧；
Figure BDA0004058149930000081
表示第k帧的质量。
某栅格的占据概率关于占据质量和空闲质量的关系为：
Figure BDA0004058149930000082
式中，
Figure BDA0004058149930000083
表示栅格c的占据概率。
栅格的更新需要把当前预测的栅格占据质量和新的观测的质量根据D-S证据论结合起来：
Figure BDA0004058149930000084
式中，
Figure BDA0004058149930000085
表示栅格c中k+1帧观测的占据质量。
滤波器的状态更新将下一帧占据的质量分为两部分：被一个持续的前序帧对象占据和被一个新生对象占据，表示为：
Figure BDA0004058149930000086
式中，
Figure BDA0004058149930000087
表示栅格c中持续存在粒子在k+1帧的权重和，
Figure BDA0004058149930000088
表示栅格c中新生粒子在k+1帧的权重和。
新生质量与持续占据质量应该服从新生探测概率的关系：
Figure BDA0004058149930000089
式中，pB表示新生物体被检测出的概率，一般设置为常数。
根据该关系计算新生质量和持续物体的占据质量：
Figure BDA00040581499300000810
Figure BDA00040581499300000811
2.4.3)对持续存在的粒子进行更新，计算粒子相对于观测的似然函数(likelihood function)，并根据似然函数
Figure BDA00040581499300000812
调整粒子的权重，最后对权重归一化，不改变粒子的状态变量；对于单个粒子来说，新的权重等于旧的权重乘似然函数再进行归一化；
具体的，对权重做归一化，不改变粒子的状态变量：
Figure BDA0004058149930000091
对于单个粒子来说，新的权重等于旧的权重乘似然函数再进行归一化：
Figure BDA0004058149930000092
式中，
Figure BDA0004058149930000093
表示k+1帧栅格c中粒子i的状态量，
Figure BDA0004058149930000094
表示当前帧栅格c中粒子i的状态量，
Figure BDA0004058149930000095
表示栅格c中粒子i的权重，
Figure BDA0004058149930000096
表示观测到状态的似然函数，zk+1表示第k+1帧的观测量。
2.4.4)根据粒子的宏观统计状态变量输出栅格的速度信息，包括粒子的速度的加权和；
具体的，假设栅格c包含一定数量的粒子，则该栅格的速度为包含粒子的速度的加权和，以x方向栅格速度为例：
Figure BDA0004058149930000097
Figure BDA0004058149930000098
式中，p表示一致存在的粒子，
Figure BDA0004058149930000099
表示栅格c在x方向的速度；
Figure BDA00040581499300000910
表示栅格c所有粒子权重的和；
Figure BDA00040581499300000911
表示栅格c中粒子i的速度；
Figure BDA00040581499300000912
表示栅格c中粒子i的权重。
一个方向速度估计值的方差
Figure BDA00040581499300000913
计算为：
Figure BDA00040581499300000914
两个方向速度估计值的协方差
Figure BDA00040581499300000915
计算为：
Figure BDA00040581499300000916
式中，
Figure BDA00040581499300000917
表示xy方向速度的互相关系数；
Figure BDA00040581499300000918
表示栅格c中一致存在的粒子i在k+1时刻在x方向的速度。
上述步骤3)中，如图3所示，进行栅格级后融合包括以下步骤：
3.1.1)将不同传感器实现的俯视图下的语义分割设为栅格级检测方法，不同的检测方法会各自接入栅格级跟踪器；
其中，跟踪部分可以由CPU多线程加载与GPU并行计算，占用多块显存而不影响整体速度。
3.1.2)在跟踪器的输出层采用协方差交叉的融合方法对每个栅格的占据率和速度进行计算；协方差交叉方法的优化目标是求解一个最优的权重，以极小化性能指标，采用协方差的迹表征性能指标的选择，为融合后的协方差；
具体的，每种观测的栅格都有自己的速度均值与协方差，协方差交叉方法的优化目标是求解一个最优的权重ω1，以极小化性能指标，下式中使用协方差的迹表征性能指标的选择，即融合后的协方差应该是：
Figure BDA0004058149930000101
式中，tr表示矩阵的迹的算子(对角线的和)；PCI表示更新后的协方差矩阵；ω1表示第一种观测的先验权重，ω2表示第一种观测的先验权重；P1表示第一种观测协方差的初始值；P2表示第二种观测协方差的初始值；
多传感器最终的结果是各传感器融合后的速度均值与协方差，以及相应的占据概率。
上述步骤3)中，如图4所示，形成增强的可行驶空间认知，通过语义动态栅格图可以实现矢量式可行驶空间，包括以下步骤：
3.2.1)在360°方向上都密集采样最远可达点，角分辨率可以尽量小，将最远可达点连接起来形成全景的可行驶空间认知；同时在当前帧的占据栅格图中采样，以及根据跟踪速度预测后一秒的预测占据栅格图中采样；
3.2.2)将现在和未来的可行驶区域取交集得到最终的可行驶区域；
3.2.3)生成可行驶区域后，对于栅格介质的信息应用安全场理论，建立每个栅格的虚拟斥力场，针对栅格代表的语义建立虚拟动能场，分析其潜在碰撞的可能性。碰撞检测的依据是考虑与障碍物碰撞导致的动能变换，来推演车辆与栅格中占据的不同物体碰撞的概率和相应的轨迹规划的应对策略。
上述步骤3)中，还包括动态语义栅格图的语义，占据与速度属性的准确率评价方法。动态语义栅格图的准确率评价采用MotionNet设计的评价方法。对于运动预测，通过将每个栅格单元分为3组来评估性能，这些组具有不同的速度：静态、慢速(≤5m/s)和快速(>5m/s)。在每一组中，本实施例计算估计位移和真实位移之间的平均L2距离。对于分类任务的准确率用两个指标衡量性能：(1)整体细胞分类准确度(OA)，即所有单元的平均准确度；(2)平均类别准确度(MCA)，即所有类别的平均准确度。
在本发明的一个实施例中，提供一种栅格检测跟踪框架构建环境语义占据与速度场系统，其包括：
第一处理模块，通过多种车载异构传感器，由神经网络的深度学习获取环境的完全语义分割地图；
第二处理模块，在完全语义分割地图上进行栅格级跟踪，给定上游模块生成的细粒度语义鸟瞰图，对每个栅格的占据和速度进行建模，并将粒子分配到栅格中，进行粒子的更新；
第三处理模块，进行栅格级后融合，将细粒度的语义和速度信息融合，通过环境中每个栅格的语义，占据和速度的属性全面理解，形成增强的可行驶空间认知。
上述第一处理模块中，多种车载异构传感器包括：
毫米波雷达的点云通过传感器逆映射器形成栅格的速度先验，补充栅格跟踪滤波器在观测中的速度辅助信息；
由高线数激光雷达输出稠密的点云信息，以对场景的无盲区完全理解；
将车载多相机进行环视的安装，并进行深度估计，通过视角转换在鸟瞰图上分割物体和地面形成语义栅格，以对360°场景完全理解。
上述第二处理模块中，在完全语义分割地图上进行栅格级跟踪，包括：
将原始信息旋转到对齐大地坐标系，栅格和粒子不需要旋转操作；
设定观测栅格，将目标检测中常见障碍物的栅格区域其感兴趣区域布尔值设置为真；
在观测栅格中选择其中感兴趣区域内的栅格，布尔值为真的观测元素，平均分配新生成的粒子到每次观测的栅格中；如果粒子在预测和更新后对应的栅格已经离开感兴趣区域，则使这部分粒子消失，粒子权重变为零，对剩下的粒子的权重进行排序，最终消失的粒子数和新生成的粒子数是相等的设定的超参数；
构建动态栅格图，对粒子和栅格进行预测与更新，实现栅格级跟踪。
其中，构建动态栅格图，包括：
对粒子进行预测，将已有的粒子根据合适的运动学模型预测当前的粒子在下一帧的位置和速度，包括在预测后计算每个粒子的新网格单元索引；
将粒子分配到栅格，根据网格单元索引对所有粒子进行排序，每个粒子检查它是具有相同索引的组的第一个还是最后一个粒子；如果是，则将其索引写入相应的网格单元中，对栅格占据状态进行预测与更新；
对持续存在的粒子进行更新，计算粒子相对于观测的似然函数，并根据似然函数调整粒子的权重，最后对权重归一化，不改变粒子的状态变量；对于单个粒子来说，新的权重等于旧的权重乘似然函数再进行归一化；
根据粒子的宏观统计状态变量输出栅格的速度信息，包括粒子的速度的加权和。
优选的，对栅格占据状态进行预测与更新，包括：
根据分配的粒子对占据情况进行预测计算，占据情况分为占据质量和空闲质量，以计算出占据概率；
将当前预测的栅格占据质量和传感器逆映射器观测得到的质量根据D-S证据论结合，进行栅格的更新。
上述第三处理模块中，进行栅格级后融合包括：
将不同传感器实现的俯视图下的语义分割设为栅格级检测方法，不同的检测方法会各自接入栅格级跟踪器；
在跟踪器的输出层采用协方差交叉的融合方法对每个栅格的占据率和速度进行计算；协方差交叉方法的优化目标是求解一个最优的权重，以极小化性能指标，采用协方差的迹表征性能指标的选择，为融合后的协方差。
上述第三处理模块中，形成增强的可行驶空间认知，包括：
在360°方向上都密集采样最远可达点，将最远可达点连接起来形成全景的可行驶空间认知；同时在当前帧的占据栅格图中采样，以及根据跟踪速度预测后一秒的预测占据栅格图中采样；
将现在和未来的可行驶区域取交集得到最终的可行驶区域；
生成可行驶区域后，建立每个栅格的虚拟斥力场，针对栅格代表的语义建立虚拟动能场，分析其潜在碰撞的可能性。
本实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
在本发明一实施例中提供的计算设备结构，该计算设备可以是终端，其可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、显示屏和输入装置。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序，该计算机程序被处理器执行时以实现一种栅格检测跟踪框架构建环境语义占据与速度场方法；该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、管理商网络、NFC(近场通信)或其他技术实现。该显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖的触摸层，也可以是计算设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。处理器可以调用存储器中的逻辑指令。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的一个实施例中，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。
在本发明的一个实施例中，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种栅格检测跟踪框架构建环境语义占据与速度场方法，其特征在于，包括：
通过多种车载异构传感器，由神经网络的深度学习获取环境的完全语义分割地图；
在完全语义分割地图上进行栅格级跟踪，给定上游模块生成的细粒度语义鸟瞰图，对每个栅格的占据和速度进行建模，并将粒子分配到栅格中，进行粒子的更新；
进行栅格级后融合，将细粒度的语义和速度信息融合，通过环境中每个栅格的语义，占据和速度的属性全面理解，形成增强的可行驶空间认知。
2.如权利要求1所述栅格检测跟踪框架构建环境语义占据与速度场方法，其特征在于，多种车载异构传感器包括：
毫米波雷达的点云通过传感器逆映射器形成栅格的速度先验，补充栅格跟踪滤波器在观测中的速度辅助信息；
由高线数激光雷达输出稠密的点云信息，以对场景的无盲区完全理解；
将车载多相机进行环视的安装，并进行深度估计，通过视角转换在鸟瞰图上分割物体和地面形成语义栅格，以对360°场景完全理解。
3.如权利要求1所述栅格检测跟踪框架构建环境语义占据与速度场方法，其特征在于，在完全语义分割地图上进行栅格级跟踪，包括：
将原始信息旋转到对齐大地坐标系，栅格和粒子不需要旋转操作；
设定观测栅格，将目标检测中常见障碍物的栅格区域其感兴趣区域布尔值设置为真；
在观测栅格中选择其中感兴趣区域内的栅格，布尔值为真的观测元素，平均分配新生成的粒子到每次观测的栅格中；如果粒子在预测和更新后对应的栅格已经离开感兴趣区域，则使这部分粒子消失，粒子权重变为零，对剩下的粒子的权重进行排序，最终消失的粒子数和新生成的粒子数是相等的设定的超参数；
构建动态栅格图，对粒子和栅格进行预测与更新，实现栅格级跟踪。
4.如权利要求3所述栅格检测跟踪框架构建环境语义占据与速度场方法，其特征在于，构建动态栅格图，包括：
对粒子进行预测，将已有的粒子根据合适的运动学模型预测当前的粒子在下一帧的位置和速度，包括在预测后计算每个粒子的新网格单元索引；
将粒子分配到栅格，根据网格单元索引对所有粒子进行排序，每个粒子检查它是具有相同索引的组的第一个还是最后一个粒子；如果是，则将其索引写入相应的网格单元中，对栅格占据状态进行预测与更新；
对持续存在的粒子进行更新，计算粒子相对于观测的似然函数，并根据似然函数调整粒子的权重，最后对权重归一化，不改变粒子的状态变量；对于单个粒子来说，新的权重等于旧的权重乘似然函数再进行归一化；
根据粒子的宏观统计状态变量输出栅格的速度信息，包括粒子的速度的加权和。
5.如权利要求4所述栅格检测跟踪框架构建环境语义占据与速度场方法，其特征在于，对栅格占据状态进行预测与更新，包括：
根据分配的粒子对占据情况进行预测计算，占据情况分为占据质量和空闲质量，以计算出占据概率；
将当前预测的栅格占据质量和下一帧传感器逆映射器观测得到的质量根据D-S证据论结合，进行栅格的更新。
6.如权利要求1所述栅格检测跟踪框架构建环境语义占据与速度场方法，其特征在于，进行栅格级后融合包括：
将不同传感器实现的俯视图下的语义分割设为栅格级检测方法，不同的检测方法会各自接入栅格级跟踪器；
在跟踪器的输出层采用协方差交叉的融合方法对每个栅格的占据率和速度进行计算；协方差交叉方法的优化目标是求解一个最优的权重，以极小化性能指标，采用协方差的迹表征性能指标的选择，为融合后的协方差。
7.如权利要求1所述栅格检测跟踪框架构建环境语义占据与速度场方法，其特征在于，形成增强的可行驶空间认知，包括：
在360°方向上都密集采样最远可达点，将最远可达点连接起来形成全景的可行驶空间认知；同时在当前帧的占据栅格图中采样，以及根据跟踪速度预测后一秒的预测占据栅格图中采样；
将现在和未来的可行驶区域取交集得到最终的可行驶区域；
生成可行驶区域后，建立每个栅格的虚拟斥力场，针对栅格代表的语义建立虚拟动能场，分析其潜在碰撞的可能性。
8.一种栅格检测跟踪框架构建环境语义占据与速度场系统，其特征在于，包括：
第一处理模块，通过多种车载异构传感器，由神经网络的深度学习获取环境的完全语义分割地图；
第二处理模块，在完全语义分割地图上进行栅格级跟踪，给定上游模块生成的细粒度语义鸟瞰图，对每个栅格的占据和速度进行建模，并将粒子分配到栅格中，进行粒子的更新；
第三处理模块，进行栅格级后融合，将细粒度的语义和速度信息融合，通过环境中每个栅格的语义，占据和速度的属性全面理解，形成增强的可行驶空间认知。
9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1至7所述方法中的任一方法。
10.一种计算设备，其特征在于，包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1至7所述方法中的任一方法的指令。
CN202310051371.1A 2023-02-02 2023-02-02 栅格检测跟踪框架构建环境语义占据与速度场方法及系统 Pending CN116110025A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310051371.1A CN116110025A (zh) 2023-02-02 2023-02-02 栅格检测跟踪框架构建环境语义占据与速度场方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310051371.1A CN116110025A (zh) 2023-02-02 2023-02-02 栅格检测跟踪框架构建环境语义占据与速度场方法及系统

Publications (1)

Publication Number Publication Date
CN116110025A true CN116110025A (zh) 2023-05-12

Family

ID=86265122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310051371.1A Pending CN116110025A (zh) 2023-02-02 2023-02-02 栅格检测跟踪框架构建环境语义占据与速度场方法及系统

Country Status (1)

Country Link
CN (1) CN116110025A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200175315A1 (en) * 2018-11-30 2020-06-04 Qualcomm Incorporated Early fusion of camera and radar frames
CN116704472A (zh) * 2023-05-15 2023-09-05 小米汽车科技有限公司 图像处理方法、装置、设备、介质及程序产品
CN117274941A (zh) * 2023-11-22 2023-12-22 安徽蔚来智驾科技有限公司 占用栅格预测方法和装置、智能设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200175315A1 (en) * 2018-11-30 2020-06-04 Qualcomm Incorporated Early fusion of camera and radar frames
US11899099B2 (en) * 2018-11-30 2024-02-13 Qualcomm Incorporated Early fusion of camera and radar frames
CN116704472A (zh) * 2023-05-15 2023-09-05 小米汽车科技有限公司 图像处理方法、装置、设备、介质及程序产品
CN116704472B (zh) * 2023-05-15 2024-04-02 小米汽车科技有限公司 图像处理方法、装置、设备、介质及程序产品
CN117274941A (zh) * 2023-11-22 2023-12-22 安徽蔚来智驾科技有限公司 占用栅格预测方法和装置、智能设备和存储介质
CN117274941B (zh) * 2023-11-22 2024-06-11 安徽蔚来智驾科技有限公司 占用栅格预测方法和装置、智能设备和存储介质

Similar Documents

Publication Publication Date Title
Muhammad et al. Deep learning for safe autonomous driving: Current challenges and future directions
US11726477B2 (en) Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout
Scherer et al. River mapping from a flying robot: state estimation, river detection, and obstacle mapping
CN116110025A (zh) 栅格检测跟踪框架构建环境语义占据与速度场方法及系统
EP4046058A1 (en) Prediction and planning for mobile robots
Niranjan et al. Deep learning based object detection model for autonomous driving research using carla simulator
CN112414405A (zh) 一种顾及dsm的应急任务的无人机集群航迹规划方法
Koutras et al. Autonomous and cooperative design of the monitor positions for a team of uavs to maximize the quantity and quality of detected objects
Kolekar et al. Behavior prediction of traffic actors for intelligent vehicle using artificial intelligence techniques: A review
EP4172018A2 (en) Agent trajectory prediction using target locations
CN114485700A (zh) 高精度动态地图生成方法及装置
Jiao et al. End-to-end uncertainty-based mitigation of adversarial attacks to automated lane centering
CN114879207A (zh) 一种用于l4级自动驾驶车辆的超声波避障方法
Liu et al. Precise Positioning and Prediction System for Autonomous Driving Based on Generative Artificial Intelligence
CN117387647A (zh) 融合车载传感器数据与道路传感器数据的道路规划方法
Thakur et al. An in-depth evaluation of deep learning-enabled adaptive approaches for detecting obstacles using sensor-fused data in autonomous vehicles
Yang et al. Lane change trajectory prediction based on spatiotemporal attention mechanism
WO2023242223A1 (en) Motion prediction for mobile agents
Zhao et al. Machine learning-based traffic management model for UAS instantaneous density prediction in an urban area
Gao et al. Modeling spatio-temporal interactions for vehicle trajectory prediction based on graph representation learning
CN116868239A (zh) 静态占用跟踪
Xue et al. Digital twinning of construction objects: Lessons learned from pose estimation methods
Bi et al. Multimodal sensor collaborative information sensing technology
Naresh et al. Real Time Vehicle Tracking using YOLO Algorithm
Zhang et al. [Retracted] Vehicle Motion State Prediction Method Integrating Point Cloud Time Series Multiview Features and Multitarget Interactive Information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination