CN117557977B - 环境感知信息获取方法、可读存储介质及智能设备 - Google Patents
环境感知信息获取方法、可读存储介质及智能设备 Download PDFInfo
- Publication number
- CN117557977B CN117557977B CN202311823966.0A CN202311823966A CN117557977B CN 117557977 B CN117557977 B CN 117557977B CN 202311823966 A CN202311823966 A CN 202311823966A CN 117557977 B CN117557977 B CN 117557977B
- Authority
- CN
- China
- Prior art keywords
- result
- perception
- vehicle
- prediction
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 230000008447 perception Effects 0.000 title claims description 150
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 50
- 238000010801 machine learning Methods 0.000 claims abstract description 27
- 230000007613 environmental effect Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 9
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000010992 reflux Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及自动驾驶技术领域，具体提供一种环境感知信息获取方法、可读存储介质及智能设备，旨在解决如何有效解决现有的环境感知系统维护难度大、算法性能上限低、无法使用海量数据的问题。为此目的，本申请根据车载传感器采集的数据，获取连续多帧感知目标信息，应用机器学习算法，对连续多帧感知目标信息中的感知预测目标进行关联匹配和状态预测，根据获得的第一关联匹配结果和第一状态预测结果，获得车辆所处环境的环境感知结果。机器学习算法能够通过数据驱动实现算法的迭代更新，有效利用海量数据，实现算法性能的不断提升，能够更好地支持复杂场景应用，有效降低维护难度和成本。
Description
技术领域
本申请涉及自动驾驶技术领域，具体提供一种环境感知信息获取方法、可读存储介质及智能设备。
背景技术
自动驾驶感知系统主要提供动态感知（障碍物）和静态感知（车道线）等环境感知信息，为下游规划控制模块系统车辆行驶依据。现有主流的环境感知系统主要包括基于神经网络模型的目标检测模块，基于规则的多源融合模块等。其中，多源融合模块主要包括关联匹配系统、状态估计系统和报出系统。行业内绝大多数多源融合模块采用传统的数值计算理论，其中目标关联系统主要采用匈牙利匹配算法，或者相关变种，状态估计系统通常采用卡尔曼滤波或者LM优化（列文伯格-马夸尔特方法）等，报出系统通常采用一些策略对目标进行生命周期管理或者将目标状态信息报出传递给下游模型使用。
但是，在实际应用过程中，该方案存在参数多，维护难度大，算法性能上限低，无法自动化使用海量数据等问题，无法很好的支持城区复杂场景等问题。
相应地，本领域需要一种新的环境感知获取方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本申请，以提供解决或至少部分地解决如何有效解决现有的环境感知系统维护难度大、算法性能上限低、无法使用海量数据的问题。
在第一方面，本申请提供一种环境感知信息获取方法，所述方法包括：
根据车辆的车载传感器采集的数据，获取所述车辆所处环境的连续多帧感知目标信息；所述连续多帧感知目标信息包括当前时刻的感知目标信息；每帧所述感知目标信息包括多个感知预测目标；
根据所述连续多帧感知目标信息，应用机器学习算法，进行所述感知预测目标之间的关联匹配和所述感知预测目标的状态预测，以获得当前时刻的感知预测目标的第一关联匹配结果和第一状态预测结果；
根据所述第一关联匹配结果和所述第一状态预测结果，获取所述车辆所处环境的环境感知结果。
在上述环境感知信息获取方法的一个技术方案中，所述获得当前时刻的感知预测目标的第一关联匹配结果和第一状态预测结果，包括：
根据所述连续多帧感知目标信息，应用机器学习算法，获取当前时刻的感知目标信息中感知预测目标与连续多帧感知目标信息中的感知预测目标的第一关联匹配结果；
根据所述第一关联匹配结果，获取当前时刻的感知预测目标的第一状态预测结果。
在上述环境感知信息获取方法的一个技术方案中，所述获取当前时刻的感知目标信息中感知预测目标与连续多帧感知目标信息中的感知预测目标的第一关联匹配结果，包括：
应用机器学习算法，对所述连续多帧感知目标信息中包含的感知预测目标进行特征编码，获得所有感知预测目标的特征编码结果；
根据所有感知目标信息的特征编码结果，获取当前时刻的感知预测目标的特征编码结果；
将所述所有感知预测目标的特征编码结果与所述当前时刻的感知预测目标的特征编码结果进行特征交互，获得当前时刻的感知目标信息中感知预测目标与连续多帧感知目标信息中的感知预测目标的第一关联匹配结果。
在上述环境感知信息获取方法的一个技术方案中，所述根据所述第一关联匹配结果，获取当前时刻的感知预测目标的第一状态预测结果，包括：
根据所述第一关联匹配结果、所述所有感知预测目标的特征编码结果和所述当前时刻的感知预测目标的特征编码结果，进行特征解码，获得当前时刻的感知预测目标的第一状态预测结果。
在上述环境感知信息获取方法的一个技术方案中，所述方法还包括：
根据所述连续多帧感知目标信息，应用基于规则的融合算法，进行所述感知预测目标之间的关联匹配和所述感知预测目标的状态预测，以获得当前时刻的感知预测目标的第二关联匹配结果和第二状态预测结果；
所述根据所述第一关联匹配结果和所述第一状态预测结果，获取所述车辆所处环境的环境感知结果，包括：
根据所述第一关联匹配结果、所述第一状态预测结果、所述第二关联匹配结果和所述第二状态预测结果，获取所述环境感知结果。
在上述环境感知信息获取方法的一个技术方案中，所述根据所述第一关联匹配结果、所述第一状态预测结果、所述第二关联匹配结果和所述第二状态预测结果，获取所述环境感知结果，包括：
通过第一开关控制指令，对所述第一关联匹配结果和所述第二关联匹配结果进行选择，获得关联匹配选择结果；所述关联匹配选择结果为第一关联匹配结果、第二关联匹配结果以及第一关联匹配结果和第二关联匹配结果的组合中的一种；
通过第二开关控制指令，对所述第一状态预测结果和所述第二状态预测结果进行选择，获得状态预测选择结果；所述状态预测选择结果为第一状态预测结果、第二状态预测结果以及第一状态预测结果和第二状态预测结果的组合中的一种；
根据所述关联匹配选择结果和所述状态预测选择结果，获取所述环境感知结果。
在上述环境感知信息获取方法的一个技术方案中，所述获取环境感知结果，包括：
基于所述车辆的自动驾驶功能的功能类型，获取当前时刻的感知预测目标的目标置信度；
根据所述目标置信度，获取所述环境感知结果。
在上述环境感知信息获取方法的一个技术方案中，所述获取当前时刻的感知预测目标的目标置信度，包括：
应用预设的目标置信度预测模型，根据所述功能类型，获取所述目标置信度。
在上述环境感知信息获取方法的一个技术方案中，所述车载传感器包括车载相机；
所述根据车辆的车载传感器采集的数据，获取所述车辆所处环境的连续多帧感知目标信息，包括：
根据所述车载相机采集的图像数据，获取所述车辆所处环境的连续多帧感知目标信息。
在上述环境感知信息获取方法的一个技术方案中，所述车载传感器包括车载激光雷达；
所述根据所述车载相机采集的数据，获取所述车辆所处环境的连续多帧感知目标信息，包括：
根据所述车载相机采集的图像数据和所述车载激光雷达采集的点云数据，获取所述车辆所处环境的连续多帧感知目标信息。
在上述环境感知信息获取方法的一个技术方案中，所述车载传感器包括毫米波雷达；
所述根据所述车载相机采集的图像数据和所述车载激光雷达采集的点云数据，获取所述车辆所处环境的连续多帧感知目标信息，包括：
根据所述车载相机采集的图像数据、所述车载激光雷达采集的点云数据和所述毫米波雷达的输出数据，获取所述车辆所处环境的连续多帧感知目标信息。
在上述环境感知信息获取方法的一个技术方案中，所述车载传感器包括毫米波雷达；
所述根据所述车载相机采集的数据，获取所述车辆所处环境的连续多帧感知目标信息，包括：
根据所述车载相机采集的图像数据和所述毫米波雷达的输出数据，获取所述车辆所处环境的连续多帧感知目标信息。
在第二方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述环境感知信息获取方法的技术方案中任一项技术方案所述的环境感知信息获取方法。
在第三方面，提供一种智能设备，所述智能设备包括：
至少一个处理器；
以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述环境感知信息获取方法的技术方案中任一项技术方案所述的环境感知信息获取方法。
本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本申请的技术方案中，本申请根据车辆的车载传感器采集的数据，获取车辆所处环境的连续多帧感知目标信息，并应用机器学习算法，对连续多帧感知目标信息中的感知预测目标进行关联匹配和状态预测，从而获得当前时刻的感知预测目标的第一关联匹配结果和第一状态预测结果，根据第一关联匹配结果和第一状态预测结果，获得车辆所处环境的环境感知结果。通过上述配置方式，本申请应用机器学习算法实现感知预测目标之间的关联匹配和状态预测，而机器学习算法能够通过数据驱动实现算法的迭代更新，从而有效利用海量数据，实现算法性能的不断提升。针对复杂场景，也能够基于历史数据进行有效训练和迭代更新，能够更好地支持复杂场景的应用。同时，也避免了应用基于规则的感知融合方法需要大量人工调参适配的问题，有效降低了维护难度和维护成本。
附图说明
参照附图，本申请的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本申请的保护范围组成限制。其中：
图1是根据本申请的一个实施例的环境感知信息获取方法的主要步骤流程示意图；
图2是现有技术中获取环境感知信息的主要步骤流程示意图；
图3是根据本申请实施例的一个实施方式的应用机器学习算法获取第一关联匹配结果和第一状态预测结果的主要网络架构示意图；
图4是根据本申请实施例的一个实施方式的对目标置信度预测模型进行闭环训练的主要步骤流程示意图；
图5是根据本申请实施例的一个实施方式的环境感知信息获取方法的主要步骤流程示意图；
图6是根据本申请实施例的另一个实施方式的环境感知信息获取方法的主要步骤流程示意图；
图7是根据本申请实施例的第三个实施方式的环境感知信息获取方法的主要步骤流程示意图；
图8是根据本申请一个实施例的助理器与存储器的连接关系示意图。
具体实施方式
下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。
在本申请的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
术语定义：
自动驾驶系统(Automated Driving Systems，ADS)，其是指系统在自身的设计运行范围(Operational Domain Design，ODD)内将持续执行全部的动态驾驶任务(DynamicDriving Task，DDT)。即，在规定的适当驾驶场景条件下才允许机器系统全部承担车辆自动操控的任务，即车辆满足ODD条件时系统被激活，该系统代替人类驾驶员作为车辆的驾驶主体。其中，动态驾驶任务DDT是指对车辆进行持续的横向(左、右转向)和纵向运动控制(加速，减速，匀速)以及对车辆行驶环境中的目标和事件进行探测和响应。设计运行范围ODD是指自动驾驶系统可以安全运行的条件，其设置的条件可以包括地理位置、道路类型、速度范围、天气、时间、国家和地方性交通法律法规等。
可以参阅附图2，图2是现有技术中获取环境感知信息的主要步骤流程示意图。如图2所示，现有技术中，一般是将车载相机图像信号输入神经网络中，进行目标检测，获得目标检测、车灯检测、标志牌以及车道线等；将激光雷达点云信号输入基于点云的神经网络中，获得目标检测结果；将卫星导航、惯性导航、轮速等信号输入定位模块，获得定位数据；以通过感知融合模块，基于上述三类数据进行感知融合，获得环境感知信息。现有技术中，大多数多源融合模块一般采用传统的数值计算理论，其中目标关联系统主要采用匈牙利匹配算法，或者相关变种，状态估计系统通常采用卡尔曼滤波或者LM优化（列文伯格-马夸尔特方法）等，报出系统通常采用一些策略对目标进行生命周期管理或者将目标状态信息报出传递给下游模型使用。在实际应用过程中，该方案存在参数多，维护难度大，算法性能上限低，无法自动化使用海量数据等问题，无法很好的支持城区复杂场景等问题。
相应地，本领域需要一种新的环境感知信息获取方案来解决上述问题。
参阅附图1，图1是根据本申请的一个实施例的环境感知信息获取方法的主要步骤流程示意图。如图1所示，本申请实施例中的环境感知信息获取方法主要包括下列步骤S101-步骤S103。
步骤S101：根据车辆的车载传感器采集的数据，获取车辆所处环境的连续多帧感知目标信息；连续多帧感知目标信息包括当前时刻的感知目标信息；每帧感知目标信息包括多个感知预测目标。
在本实施例中，可以根据车辆的车载传感器采集的数据，来获取车辆所处环境的连续多帧感知目标信息。
一个实施方式中，感知预测目标可以车辆所处环境中的障碍物目标（包括动态和静态）。
一个实施方式中，车载传感器可以为车载相机、车载激光雷达、毫米波雷达中的一种或几种。
其中，可以根据车载相机采集的图像数据，基于神经网络算法进行目标检测，获得连续多帧感知目标信息，感知目标信息可以包括障碍物目标、车灯、标志牌、车道线等。可以根据车载激光雷达的采集的点云数据，基于神经网络算法，获得连续多帧感知目标信息，感知目标信息可以包括障碍物目标等。可以根据毫米波雷达的输出数据，获得连续多帧感知目标信息。
步骤S102：根据连续多帧感知目标信息，应用机器学习算法，进行感知预测目标之间的关联匹配和所述感知预测目标的状态预测，以获得当前时刻的感知预测目标的第一关联匹配结果和第一状态预测结果。
在本实施例中，可以应用机器学习算法来实现感知目标信息中的感知预测目标之间的关联匹配和状态预测。其中，关联匹配是指获取当前感知预测目标与其他感知预测目标之间的关联关系。状态预测是指获取感知预测目标在未来时刻的状态。
一个实施方式中，可以基于机器学习算法构建神经网络模型，并应用历史数据对神经网络模型进行训练，从而根据训练好的神经网络模型进行感知预测目标的关联匹配和状态预测，以获得当前时刻的感知预测目标的第一关联匹配结果和第一状态预测结果。
一个实施方式中，可以结合连续多帧感知目标信息和车辆的车端定位数据，应用机器学习算法，来进行感知预测目标之间的关联匹配和状态预测。其中，车辆的车端定位数据可以基于卫星导航、惯性导航以及车辆的轮速记等获取。
步骤S103：根据第一关联匹配结果和第一状态预测结果，获取车辆所处环境的环境感知结果。
在本实施例中，可以根据第一关联匹配结果和第一状态预测结果，获得车辆处环境的环境感知结果。其中，环境感知结果是用于进行下游自动驾驶的规划控制的，对环境更为全面感知和预测数据。
基于上述步骤S101-步骤S103，本申请实施例根据车辆的车载传感器采集的数据，获取车辆所处环境的连续多帧感知目标信息，并应用机器学习算法，对连续多帧感知目标信息中的感知预测目标进行关联匹配和状态预测，从而获得当前时刻的感知预测目标的第一关联匹配结果和第一状态预测结果，根据第一关联匹配结果和第一状态预测结果，获得车辆所处环境的环境感知结果。通过上述配置方式，本申请实施例应用机器学习算法实现感知预测目标之间的关联匹配和状态预测，而机器学习算法能够通过数据驱动实现算法的迭代更新，从而有效利用海量数据，实现算法性能的不断提升。针对复杂场景，也能够基于历史数据进行有效训练和迭代更新，能够更好地支持复杂场景的应用。同时，也避免了应用基于规则的感知融合方法需要大量人工调参适配的问题，有效降低了维护难度和维护成本。
下面分别对步骤S101至步骤S103作进一步地说明。
在本申请实施例的一个实施方式中，步骤S101可以进一步被配置为：
根据车载相机采集的图像数据，获取车辆所处环境的连续多帧感知目标信息。
在本实施实施方式中，感知目标信息可以是基于车载相机采集的图像数据获得的。可以参阅附图5，图5是根据本申请实施例的一个实施方式的环境感知信息获取方法的主要步骤流程示意图。如图5所示，可以将车载相机图像信号（车载相机采集的图像数据）输入至基于神经网络算法构建的模型中，由目标检查部分网络进行目标检测、车灯检测、标志牌检测；由网络主干进行车道线检测，从而获得多帧目标信息（感知目标信息）。
一个实施方式中，车载相机图像信号（车载相机采集的图像数据）可以为多路信号（如11路、7路等），即，车载相机图像信号可以来自于设置在车辆的不同位置的多个车载相机。
一个实施方式中，步骤S101可以进一步被配置为：
根据车载相机采集的图像数据和车载激光雷达采集的点云数据，获取车辆所处环境的连续多帧感知目标信息。
在本实施方式中，感知目标信息可以是基于车载相机采集的图像数据和车载激光雷达采集的点云数据获得的。可以参阅附图6，图6是根据本申请实施例的另一个实施方式的环境感知信息获取方法的主要步骤流程示意图。如图6所示，除了如图5中所示的基于车载相机图像信号获得多帧目标信息外，还可以将激光雷达点云信号（车载激光雷达采集的点云数据）输入至基于点云的神经网络算法模型中，获得多帧目标信息（感知目标信息）。其中，图6中基于车载相机图像信号获得多帧目标信息的具体步骤与图5相同，在此不再赘述。
一个实施方式中，激光雷达点云信号（车载激光雷达采集的点云数据）可以为1路信号或多路信号（如2路、3路等）。即，激光雷达点云信号可以来自于一个车载激光雷达，或来自于设置在车辆的不同位置的多个车载激光雷达。
一个实施方式中，步骤S101可以被进一步配置为：
根据车载相机采集的图像数据、车载激光雷达采集的点云数据和毫米波雷达的输出数据，获取车辆所处环境的连续多帧感知目标信息。
在本实施方式中，感知目标信息可以是基于车载相机采集的图像数据、车载激光雷达采集的点云数据和毫米波雷达输出数据获得的。可以参阅附图7，图7是根据本申请实施例的第三个实施方式的环境感知信息获取方法的主要步骤流程示意图。如图7所示，除了如图6中所示的基于车载相机图像信号获得多帧目标信息外，还可以基于毫米波雷达信号（毫米波雷达输出数据），获得多帧目标信息（感知目标信息）。其中，图7中基于车载相机图像信号获得多帧目标信息的具体步骤以及基于激光雷达点云信号获得多帧目标信息的具体步骤与图6相同，在此不再赘述。
一个实施方式中，毫米波雷达可以为4D成像毫米波雷达（一般工作在79GHz），也可以为传统毫米波雷达。
一个实施方式中，步骤S101可以被进一步配置为：
根据车载相机采集的图像数据和毫米波雷达的输出数据，获取车辆所处环境的连续多帧感知目标信息。
在本实施方式中，感知目标信息可以是基于车载相机采集的图像数据和毫米波雷达输出数据获得的。
在本申请实施例的一个实施方式中，步骤S102可以进一步包括以下步骤S1021和步骤S1022：
步骤S1021：根据连续多帧感知目标信息，应用机器学习算法，获取当前时刻的感知目标信息中感知预测目标与连续多帧感知目标信息中的感知预测目标的第一关联匹配结果。
步骤S1022：根据第一关联匹配结果，获取当前时刻的感知预测目标的第一状态预测结果。
在本实施方式中，如图6所示，可以基于机器学习算法构建神经网络时序模型，将多帧目标信息（感知目标信息）输入至神经网络时序模型中，由神经网络时序模型中的关联模型获取当前时刻的感知目标信息中感知预测目标与连续多帧感知目标信息中的感知预测目标的第一关联匹配结果。由神经网络时序模型中的状态估计模型，基于第一关联匹配结果，获取第一状态预测结果，从而实现对当前时刻的感知预测目标的跟踪。
一个实施方式中，步骤S1021进一步包括以下步骤S10211至步骤S10213：
步骤S10211：应用机器学习算法，对连续多帧感知目标信息中包含的感知预测目标进行特征编码，获得所有感知预测目标的特征编码结果。
步骤S10212：根据所有感知目标信息的特征编码结果，获取当前时刻的感知预测目标的特征编码结果。
步骤S10213：将所有感知预测目标的特征编码结果与当前时刻的感知预测目标的特征编码结果进行特征交互，获得当前时刻的感知目标信息中感知预测目标与连续多帧感知目标信息中的感知预测目标的第一关联匹配结果。
步骤S1022被进一步配置为：
根据第一关联匹配结果、所有感知预测目标的特征编码结果和当前时刻的感知预测目标的特征编码结果，进行特征解码，获得当前时刻的感知预测目标的第一状态预测结果。
可以参阅附图3，图3是根据本申请实施例的一个实施方式的应用机器学习算法获取第一关联匹配结果和第一状态预测结果的主要网络架构示意图。下面根据附图3，以感知目标信息是根据车载激光雷达采集的点云数据获得的为例，对步骤S10211至步骤S10213及步骤S1022进行说明。
如图3所示，基于机器学习算法构建的神经网络模型可以为Transformer架构模型。Transformer架构模型可以包括K个（K x）编码器（Encoder）、L个（L x）解码器（Decoder）、第一掩码注意力信息网络（Asso Head）、第二掩码注意力信息网络（STAttention Mask）和状态预测网络（State Head）。M代表一个时刻最大目标数，共有连续T帧，即T个时刻（包含当前时刻+历史T-1个时刻），N=T*M代表所有时刻感知预测目标的最大数量。当前时刻的感知预测目标称为Query，所有时刻的感知预测目标称为Key（包括当前时刻）。D是特征维度。Memory是Key的特征编码结果。Tgt是Query的特征编码结果，从Memory取最后M个而来。第一掩码注意力信息网络（Asso Head）输出query和key之间的关联关系，状态预测网络（State Head）输出状态预测。MLP（Multilayer Perceptron）为多层感知机。
将所有感知预测目标输入至编码器中，基于车端定位数据进行时空位置嵌入（Spatio-Temporal Positional Embedding，STPE）后，经过多层感知机MLP，结合第二掩码注意力信息网络（ST Attention Mask），经过softmax（激活函数）、Add＆LN（Add＆LayerNorm，残差连接和层归一化）网络、FFN（Feed Forward Network 前馈神经网络）等操作进行特征编码，获得所有感知预测目标的特征编码结果Memory，从Memory取最后M个作为当前时刻的感知预测目标的特征编码结果Tgt。
将所有感知预测目标的特征编码结果Memory和当前时刻的感知预测目标的特征编码结果Tgt，输入至第一掩码注意力信息网络（Asso Head）中，经过多层感知机MLP后，结合第二掩码注意力信息网络（ST Attention Mask），进行残差连接（add）获得第一关联匹配结果（Association Mask）。
将所有感知预测目标的特征编码结果Memory和当前时刻的感知预测目标的特征编码结果Tgt输入至解码器中，经过多层感知机MLP后，与第一关联匹配结果进行残差连接（add），然后经过softmax激活函数、Add＆LN网络、FFN网络等进行特征解码，获得特征解码结果；将特征解码结果输入至状态预测网络（State Head）中，获得第一状态预测结果（Optimized State）。
本申请实施例的一个实施方式中，本申请还包括以下步骤S104：
步骤S104：根据连续多帧感知目标信息，应用基于规则的融合算法，进行感知预测目标之间的关联匹配和感知预测目标的状态预测，以获得当前时刻的感知预测目标的第二关联匹配结果和第二状态预测结果。
在本实施方式中，还可以根据连续多帧感知目标信息，应用基于规则的融合算法，进行感知预测目标之间的关联匹配和感知预测目标的状态预测。其中，基于规则的融合算法可以为匈牙利匹配算法等。
如图6所示，基于规则的融合模块用于实现基于规则的融合算法，进行感知预测目标之间的关联匹配和感知预测目标的状态预测。
步骤S103可以进一步被配置为：
根据第一关联匹配结果、第一状态预测结果、第二关联匹配结果和第二状态预测结果，获取环境感知结果。
在本实施方式中，可以将第一关联匹配结果、第一状态预测结果、第二关联匹配结果和第二状态预测结果进行组合，以获得环境感知结果。在基于机器学习算法进行感知预测目标的关联匹配和状态预测的基础上，还设置了基于规则的融合算法进行感知预测目标的关联匹配和状态预测。两种方法可以独立使用，或者结合使用，且互为冗余设计。
一个实施方式中，如图6所示，可以基于卫星导航、惯性导航、轮速等信息，通过定位模块，进行车辆定位，获取车辆的车端定位数据，并将车端定位数据分别输入至神经网络时序模型和基于规则的融合模块中，以实现感知预测目标的关联匹配和状态预测。
一个实施方式中，步骤S103可以进一步包括以下步骤S1031至步骤S1033：
步骤S1031：通过第一开关控制指令，对第一关联匹配结果和第二关联匹配结果进行选择，获得关联匹配选择结果；关联匹配选择结果为第一关联匹配结果、第二关联匹配结果以及第一关联匹配结果和第二关联匹配结果的组合中的一种。
步骤S1032：通过第二开关控制指令，对第一状态预测结果和第二状态预测结果进行选择，获得状态预测选择结果；状态预测选择结果为第一状态预测结果、第二状态预测结果以及第一状态预测结果和第二状态预测结果的组合中的一种。
步骤S1033：根据关联匹配选择结果和状态预测选择结果，获取环境感知结果。
在本实施方式中，如图6所示，在基于规则的融合模块中设置了选择关联匹配结果的开关和选择状态预测结果的开关，可以根据开关对应的第一开关控制指令对第一关联匹配结果和第二关联匹配结果进行选择，可以择一使用，或者都使用。同样的，可以根据开关对应的第二开关控制指令，对第一状态预测结果和第二状态预测结果进行选择，可以择一使用，或者都使用。将选择获得的关联匹配选择结果和状态预测选择结果进行组合，以获得环境感知结果。
在本申请实施例的一个实施方式中，步骤S103还可以进一步包括以下步骤S1031和步骤S1032：
步骤S1031：基于车辆的自动驾驶功能的功能类型，获取当前时刻的感知预测目标的目标置信度。
在本实施方式中，可以应用预设的目标置信度预测模型，根据自动驾驶功能的功能类型，获得当前时刻的感知预测目标的目标置信度。
具体地，针对不同的自动驾驶功能的功能类型（如，AEB（Autonomous EmergencyBraking）紧急制动功能、LCC（Lane Centering Control, 车道居中控制）、NOP（Navigateon Pilot，领航辅助功能）等）需要的感知预测目标是不同的，因而在不同的功能类型情况下，同一感知预测目标的置信度是不同的。
如，针对一个id=10的感知预测目标（行人），AEB功能下的目标置信度为0.3，NOP功能下的目标置信度为0.9，则可以理解为这个感知预测目标是不符合AEB法规要求的部分场景（如城市场景、城郊场景等）的感知预测目标，可以忽略；但是针对NOP功能，则需要对这个感知预测目标进行响应，避免碰撞。其中，目标置信度可以为感知预测目标的标签。
一个实施方式中，目标置信度预测模型可以是基于随机森林算法设置的模型。
一个实施方式中，可以应用车辆的量产伴生数据，对目标置信度预测模型进行闭环训练，以获得训练好的目标置信度预测模型。
参阅附图4，图4是根据本申请实施例的一个实施方式的对目标置信度预测模型进行闭环训练的主要步骤流程示意图。如图4所示，以AEB功能下的目标置信度为例，对目标置信度预测模型的闭环训练过程进行说明。车辆在运行过程中会产生量产伴生数据，可以判断伴生阈是否触发回流，若否，则继续返回至量产伴生步骤，若是，则构建AEB分类树（rootcause triage tree）。其中，AEB分类树对回流的数据进行根因分析和正负样本标注，即将回流数据划分为AEB正确触发数据（TP，True Positive）和AEB误触发数据（FP，FalsePositive），并基于AEB正确触发数据和AEB误触发数据实现数据集自动化生产，基于数据集进行目标置信度分类器的训练/评测，在训练/评测完成后，进行目标置信度预测模型部署，部署完成后，基于伴生数据，对目标置信度预测模型进行验证，从而实现闭环。其中，伴生是指车辆在实际道路运行过程中进行数据回传以及对车辆的性能进行性能测试的过程。量产伴生数据是指车辆在实际道路运行过程中回传的数据。
一个实施方式中，如图6所示，可以根据图6中的基于机器学习的汇报系统来获取感知预测目标的目标置信度。
步骤S1032：根据目标置信度，获取环境感知结果。
在本实施方式中，在获得感知预测目标的目标置信度后，则可以根据目标置信度来生成环境感知结果。
一个实施方式中，如图6所示，可以通过图6中的汇报模块，来获取环境感知信息（环境感知结果），并输出。
如，可以根据第一关联匹配结果和第一状态预测结果，以及感知预测目标的目标置信度，来生成环境感知结果，实现对感知预测目标的追踪。
又如，根据第一关联匹配结果、第一状态预测结果、第二关联匹配结果、第二状态预测结果，以及感知预测目标的目标置信度，来生成环境感知结果，实现对感知预测目标的追踪。
需要说明的是，图5和图7中环境感知信息获取方法中的定位模块、神经网络时序模型、基于规则的融合模块、基于机器学习的汇报系统、获取环境感知信息等步骤都与图6相同，为了描述简单，不再赘述。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本申请的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些变化都在本申请的保护范围之内。
本领域技术人员能够理解的是，本申请实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
进一步，本申请还提供了一种计算机可读存储介质。在根据本申请的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的环境感知信息获取方法的程序，该程序可以由处理器加载并运行以实现上述环境感知信息获取方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，本申请还提供了一种智能设备，智能设备可以包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器中存储有计算机程序，计算机程序被至少一个处理器执行时实现上述任一实施例所述的方法。本申请的智能设备，可以包括驾驶设备、智能车、机器人等设备。参阅附图8，图8是根据本申请一个实施例的助理器与存储器的连接关系示意图。如图8所示，图8中示例性的示出了存储器和处理器通过总线通信连接。
在本申请的一些实施例中，智能设备还包括至少一个传感器，传感器用于感知信息。传感器与本申请提到的任何一种类型的处理器通信连接。可选地，智能设备还包括自动驾驶系统，自动驾驶系统用于引导智能设备自行行驶或辅助驾驶。处理器与传感器和/或自动驾驶系统通信，用于完成上述任一实施例所述的方法。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本申请的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本申请的原理，因此，拆分或合并之后的技术方案都将落入本申请的保护范围内。
本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。
本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。本申请会以高度的勤勉义务对待用户的个人信息及其处理。
本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
至此，已经结合附图所示的优选实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。
Claims (12)
1.一种环境感知信息获取方法，其特征在于，所述方法包括：
根据车辆的车载传感器采集的数据，获取所述车辆所处环境的连续多帧感知目标信息；所述连续多帧感知目标信息包括当前时刻的感知目标信息；每帧所述感知目标信息包括多个感知预测目标；
根据所述连续多帧感知目标信息，应用机器学习算法，进行所述感知预测目标之间的关联匹配和所述感知预测目标的状态预测，以获得当前时刻的感知预测目标的第一关联匹配结果和第一状态预测结果；其中，所述关联匹配是指获取当前感知预测目标与其他感知预测目标之间的关联关系；所述状态预测是指获取感知预测目标在未来时刻的状态；
根据所述第一关联匹配结果和所述第一状态预测结果，获取所述车辆所处环境的环境感知结果；
所述获得当前时刻的感知预测目标的第一关联匹配结果和第一状态预测结果，包括：
根据所述连续多帧感知目标信息，应用机器学习算法，构建神经网络时序模型，获取当前时刻的感知目标信息中感知预测目标与连续多帧感知目标信息中的感知预测目标的第一关联匹配结果；所述神经网络时序模型包括状态估计模型；
根据所述第一关联匹配结果，基于所述状态估计模型，获取当前时刻的感知预测目标的第一状态预测结果；
所述获取当前时刻的感知目标信息中感知预测目标与连续多帧感知目标信息中的感知预测目标的第一关联匹配结果，包括：
应用机器学习算法，对所述连续多帧感知目标信息中包含的感知预测目标进行特征编码，获得所有感知预测目标的特征编码结果；
根据所有感知目标信息的特征编码结果，获取当前时刻的感知预测目标的特征编码结果；
将所述所有感知预测目标的特征编码结果与所述当前时刻的感知预测目标的特征编码结果进行特征交互，获得当前时刻的感知目标信息中感知预测目标与连续多帧感知目标信息中的感知预测目标的第一关联匹配结果。
2.根据权利要求1所述的环境感知信息获取方法，其特征在于，
所述根据所述第一关联匹配结果，获取当前时刻的感知预测目标的第一状态预测结果，包括：
根据所述第一关联匹配结果、所述所有感知预测目标的特征编码结果和所述当前时刻的感知预测目标的特征编码结果，进行特征解码，获得当前时刻的感知预测目标的第一状态预测结果。
3.根据权利要求1所述的环境感知信息获取方法，其特征在于，所述方法还包括：
根据所述连续多帧感知目标信息，应用基于规则的融合算法，进行所述感知预测目标之间的关联匹配和所述感知预测目标的状态预测，以获得当前时刻的感知预测目标的第二关联匹配结果和第二状态预测结果；
所述根据所述第一关联匹配结果和所述第一状态预测结果，获取所述车辆所处环境的环境感知结果，包括：
根据所述第一关联匹配结果、所述第一状态预测结果、所述第二关联匹配结果和所述第二状态预测结果，获取所述环境感知结果。
4.根据权利要求3所述的环境感知信息获取方法，其特征在于，
所述根据所述第一关联匹配结果、所述第一状态预测结果、所述第二关联匹配结果和所述第二状态预测结果，获取所述环境感知结果，包括：
通过第一开关控制指令，对所述第一关联匹配结果和所述第二关联匹配结果进行选择，获得关联匹配选择结果；所述关联匹配选择结果为第一关联匹配结果、第二关联匹配结果以及第一关联匹配结果和第二关联匹配结果的组合中的一种；
通过第二开关控制指令，对所述第一状态预测结果和所述第二状态预测结果进行选择，获得状态预测选择结果；所述状态预测选择结果为第一状态预测结果、第二状态预测结果以及第一状态预测结果和第二状态预测结果的组合中的一种；
根据所述关联匹配选择结果和所述状态预测选择结果，获取所述环境感知结果。
5.根据权利要求1至4中任一项所述的环境感知信息获取方法，其特征在于，
获取所述环境感知结果，包括：
基于所述车辆的自动驾驶功能的功能类型，获取当前时刻的感知预测目标的目标置信度；
根据所述目标置信度，获取所述环境感知结果。
6.根据权利要求5所述的环境感知信息获取方法，其特征在于，
所述获取当前时刻的感知预测目标的目标置信度，包括：
应用预设的目标置信度预测模型，根据所述功能类型，获取所述目标置信度。
7.根据权利要求1至4和6中任一项所述的环境感知信息获取方法，其特征在于，所述车载传感器包括车载相机；
所述根据车辆的车载传感器采集的数据，获取所述车辆所处环境的连续多帧感知目标信息，包括：
根据所述车载相机采集的图像数据，获取所述车辆所处环境的连续多帧感知目标信息。
8.根据权利要求7所述的环境感知信息获取方法，其特征在于，所述车载传感器包括车载激光雷达；
所述根据所述车载相机采集的数据，获取所述车辆所处环境的连续多帧感知目标信息，包括：
根据所述车载相机采集的图像数据和所述车载激光雷达采集的点云数据，获取所述车辆所处环境的连续多帧感知目标信息。
9.根据权利要求8所述的环境感知信息获取方法，其特征在于，所述车载传感器包括毫米波雷达；
所述根据所述车载相机采集的图像数据和所述车载激光雷达采集的点云数据，获取所述车辆所处环境的连续多帧感知目标信息，包括：
根据所述车载相机采集的图像数据、所述车载激光雷达采集的点云数据和所述毫米波雷达的输出数据，获取所述车辆所处环境的连续多帧感知目标信息。
10.根据权利要求7所述的环境感知信息获取方法，其特征在于，所述车载传感器包括毫米波雷达；
所述根据所述车载相机采集的数据，获取所述车辆所处环境的连续多帧感知目标信息，包括：
根据所述车载相机采集的图像数据和所述毫米波雷达的输出数据，获取所述车辆所处环境的连续多帧感知目标信息。
11.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至10中任一项所述的环境感知信息获取方法。
12.一种智能设备，其特征在于，所述智能设备包括：
至少一个处理器；
以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现权利要求1至10中任一项所述的环境感知信息获取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311823966.0A CN117557977B (zh) | 2023-12-28 | 2023-12-28 | 环境感知信息获取方法、可读存储介质及智能设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311823966.0A CN117557977B (zh) | 2023-12-28 | 2023-12-28 | 环境感知信息获取方法、可读存储介质及智能设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117557977A CN117557977A (zh) | 2024-02-13 |
| CN117557977B true CN117557977B (zh) | 2024-04-30 |
Family
ID=89814909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311823966.0A Active CN117557977B (zh) | 2023-12-28 | 2023-12-28 | 环境感知信息获取方法、可读存储介质及智能设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117557977B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021037765A1 (en) * | 2019-08-23 | 2021-03-04 | Five AI Limited | Performance testing for robotic systems |
| CN113596102A (zh) * | 2021-07-05 | 2021-11-02 | 哈尔滨工业大学（深圳） | 车路协同式交通系统、路侧系统和数据处理方法 |
| CN113740837A (zh) * | 2021-09-01 | 2021-12-03 | 广州文远知行科技有限公司 | 一种障碍物跟踪方法、装置、设备及存储介质 |
| WO2022000127A1 (zh) * | 2020-06-28 | 2022-01-06 | 华为技术有限公司 | 一种目标跟踪方法及其装置 |
| CN114169241A (zh) * | 2021-12-09 | 2022-03-11 | 北京邮电大学 | 一种端到端的多目标识别、追踪与预测方法 |
| CN114818788A (zh) * | 2022-04-07 | 2022-07-29 | 北京邮电大学 | 基于毫米波感知的追踪目标状态识别方法和装置 |
| CN114898314A (zh) * | 2022-04-29 | 2022-08-12 | 广州文远知行科技有限公司 | 驾驶场景的目标检测方法、装置、设备及存储介质 |
| CN115359407A (zh) * | 2022-09-02 | 2022-11-18 | 河海大学 | 一种视频中的多车辆跟踪方法 |
| CN115410162A (zh) * | 2022-07-21 | 2022-11-29 | 长安大学 | 一种复杂城市道路环境下的多目标检测与跟踪算法 |
| CN115620261A (zh) * | 2022-10-11 | 2023-01-17 | 佛山仙湖实验室 | 基于多传感器的车辆环境感知方法、系统、设备及介质 |
| CN116229385A (zh) * | 2023-03-08 | 2023-06-06 | 重庆大学 | 一种基于卷积神经网络结合贪心算法的车辆3d多目标跟踪方法 |
| CN116576857A (zh) * | 2023-04-19 | 2023-08-11 | 东北大学 | 一种基于单线激光雷达的多障碍物预测导航避障方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10564638B1 (en) * | 2017-07-07 | 2020-02-18 | Zoox, Inc. | Teleoperator situational awareness |
| US11454975B2 (en) * | 2018-06-28 | 2022-09-27 | Uatc, Llc | Providing actionable uncertainties in autonomous vehicles |
-
2023
- 2023-12-28 CN CN202311823966.0A patent/CN117557977B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021037765A1 (en) * | 2019-08-23 | 2021-03-04 | Five AI Limited | Performance testing for robotic systems |
| WO2022000127A1 (zh) * | 2020-06-28 | 2022-01-06 | 华为技术有限公司 | 一种目标跟踪方法及其装置 |
| CN113596102A (zh) * | 2021-07-05 | 2021-11-02 | 哈尔滨工业大学（深圳） | 车路协同式交通系统、路侧系统和数据处理方法 |
| CN113740837A (zh) * | 2021-09-01 | 2021-12-03 | 广州文远知行科技有限公司 | 一种障碍物跟踪方法、装置、设备及存储介质 |
| CN114169241A (zh) * | 2021-12-09 | 2022-03-11 | 北京邮电大学 | 一种端到端的多目标识别、追踪与预测方法 |
| CN114818788A (zh) * | 2022-04-07 | 2022-07-29 | 北京邮电大学 | 基于毫米波感知的追踪目标状态识别方法和装置 |
| CN114898314A (zh) * | 2022-04-29 | 2022-08-12 | 广州文远知行科技有限公司 | 驾驶场景的目标检测方法、装置、设备及存储介质 |
| CN115410162A (zh) * | 2022-07-21 | 2022-11-29 | 长安大学 | 一种复杂城市道路环境下的多目标检测与跟踪算法 |
| CN115359407A (zh) * | 2022-09-02 | 2022-11-18 | 河海大学 | 一种视频中的多车辆跟踪方法 |
| CN115620261A (zh) * | 2022-10-11 | 2023-01-17 | 佛山仙湖实验室 | 基于多传感器的车辆环境感知方法、系统、设备及介质 |
| CN116229385A (zh) * | 2023-03-08 | 2023-06-06 | 重庆大学 | 一种基于卷积神经网络结合贪心算法的车辆3d多目标跟踪方法 |
| CN116576857A (zh) * | 2023-04-19 | 2023-08-11 | 东北大学 | 一种基于单线激光雷达的多障碍物预测导航避障方法 |
Non-Patent Citations (2)
| Title |
|---|
| Autonomous Driving with Deep Learning: A Survey of State-of-Art Technologies;Yu Huang 等;《arXiv》;20200630;1-33 * |
| 基于车载视觉的多目标检测与跟踪技术研究;熊豪;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20230315;C035-313 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117557977A (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11926337B2 (en) | System and method for determining object intention through visual attributes | |
| CN107608388B (zh) | 自主警车 | |
| US11288963B2 (en) | Autonomous vehicles featuring vehicle intention system | |
| US11157008B2 (en) | Autonomous vehicle routing using annotated maps | |
| US20190168748A1 (en) | Teleassistance data prioritization for self-driving vehicles | |
| CN108292474B (zh) | 派遣和维护自主车辆的车队的协调 | |
| JP2021536072A (ja) | トレーニングデータを取得するためのシステム及び方法 | |
| WO2019040349A1 (en) | SYSTEMS AND METHODS FOR PRIORITIZE PREDICTION PRIORITIZATION FOR AUTONOMOUS VEHICLES | |
| CN108345838A (zh) | 利用模拟图像训练自动交通灯检测模型 | |
| JP2020046706A (ja) | 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム | |
| KR102246706B1 (ko) | 자율 주행 장치 및 이상 도로 상황에서 자율 주행 장치 운용 방법 | |
| US11704912B2 (en) | Label-free performance evaluator for traffic light classifier system | |
| JP2022510748A (ja) | ニューラルネットワークに基づいている走行機能の監視 | |
| CN112955361A (zh) | 对预期行驶行为的预测 | |
| CN117557977B (zh) | 环境感知信息获取方法、可读存储介质及智能设备 | |
| CN113793518A (zh) | 车辆通行处理方法、装置、电子设备和存储介质 | |
| US10346690B2 (en) | Driving assistance systems and method implemented in such a system | |
| CN117496476B (zh) | 路网生成方法、可读存储介质及智能设备 | |
| Suresh et al. | Design and Development of Intelligent Self-driving Car Using ROS and Machine Vision Algorithm | |
| CN113753038A (zh) | 一种轨迹预测方法、装置、电子设备和存储介质 | |
| CN117668573A (zh) | 目标状态的检测方法、设备、智能设备和介质 | |
| CN117392396B (zh) | 跨模态目标状态的检测方法、设备、智能设备和介质 | |
| CN117495847B (zh) | 路口检测方法、可读存储介质及智能设备 | |
| CN117163071B (zh) | 车辆控制方法、控制装置、可读存储介质及车辆 | |
| CN117935173A (zh) | 目标车辆的识别方法、场端服务器及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |