CN113920166A - 一种选择物体运动模型方法、装置、交通工具及存储介质 - Google Patents

一种选择物体运动模型方法、装置、交通工具及存储介质 Download PDF

Info

Publication number
CN113920166A
CN113920166A CN202111275776.0A CN202111275776A CN113920166A CN 113920166 A CN113920166 A CN 113920166A CN 202111275776 A CN202111275776 A CN 202111275776A CN 113920166 A CN113920166 A CN 113920166A
Authority
CN
China
Prior art keywords
motion
model
probability
tracked object
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111275776.0A
Other languages
English (en)
Other versions
CN113920166B (zh
Inventor
沈师达
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weride Technology Co Ltd
Original Assignee
Guangzhou Weride Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weride Technology Co Ltd filed Critical Guangzhou Weride Technology Co Ltd
Priority to CN202111275776.0A priority Critical patent/CN113920166B/zh
Publication of CN113920166A publication Critical patent/CN113920166A/zh
Application granted granted Critical
Publication of CN113920166B publication Critical patent/CN113920166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2453—Classification techniques relating to the decision surface non-linear, e.g. polynomial classifier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Nonlinear Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种选择物体运动模型方法、装置、交通工具及存储介质，方法包括：把被跟踪物体的特征和/或视觉提取的特征和/或地图信息，输入第一预设网络模型，获得被跟踪物体的第一运动模型；获取被跟踪物体在模型初始化阶段固化的第二运动模型；把被跟踪物体的特征和/或视觉提取的特征和/或地图信息，输入第一运动模型，获得第一预测运动概率信息；把被跟踪物体的特征和/或视觉提取的特征和/或地图信息，输入第二运动模型，获得第二预测运动概率信息；根据第一运动模型的权重和第二运动模型的权重，选择一个预测轨迹。通过本发明实施例，利用数据自动改进运动模型，避免人为建模的局限性和强假设的特点。

Description

一种选择物体运动模型方法、装置、交通工具及存储介质
技术领域
本发明涉及交通工具技术领域，尤其涉及一种选择物体运动模型方法、装置、交通工具及存储介质。
背景技术
卡尔曼滤波及其各种衍生形式是单目标跟踪中最为经典且应用最为广泛的一种状态估计方法。其中对于被跟踪物体，需要提供运动模型作为状态转移的预估计。运动模型通常在模型初始化阶段固化。这种固化的模型不能灵活的刻画自动驾驶场景下丰富多样的被跟踪物体及多变的状态，且一般的根据状态本身进行模型选择的方法，例如多模交互模型中依据预设状态转移矩阵和卡曼增益值来决定模型权重的方法，易受到误差困扰，且模型的数量一般也较少。
发明内容
本发明的主要目的在于提供一种选择物体运动模型方法、装置、交通工具及存储介质，旨在解决现有技术中人为建模的局限性和强假设的问题。
为实现上述目的，本发明提供了一种选择物体运动模型方法，所述方法包括以下步骤：
把被跟踪物体的特征和/或视觉提取的特征和/或地图信息，输入第一预设网络模型，获得被跟踪物体的第一运动模型；
获取被跟踪物体在模型初始化阶段固化的第二运动模型；
把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第一运动模型，获得所述被跟踪物体的第一预测运动概率信息；所述第一预测运动概率信息包括：第一运动轨迹、第一运动轨迹概率；
把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第二运动模型，获得所述被跟踪物体的第二预测运动概率信息；所述第二预测运动概率信息包括：第二运动轨迹、第二运动轨迹概率；
根据所述第一运动模型的权重和所述第二运动模型的权重，为所述被跟踪物体从所述第一预测运动概率信息和所述第二预测运动概率信息中选择一个预测轨迹。
可选地，所述把被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息，输入第一预设网络模型，获得被跟踪物体的第一运动模型，包括以下步骤：
对所述被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息向量化，然后输入一个非线性分类器中进行分类，得到所述第一运动模型；
所述向量化过程，包括使用前置网络然后拼接所述前置网络的输出，或，直接使用分类网络，对所述被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息行特征提取形成分支，多个所述分支一起形成最终的回归目标；
所述非线性分类器是多层感知机为代表的神经网络，或，支持向量机或聚类算法为核心的分类器。
可选地，所述根据所述第一运动模型的权重和所述第二运动模型的权重，为所述被跟踪物体从所述第一预测运动概率信息和所述第二预测运动概率信息中选择一个预测轨迹，包括以下步骤：
获取所述第一预测运动概率信息的各第一运动轨迹概率，使用所述第一运动模型的权重和所述第一预测运动概率信息的各第一运动轨迹概率相乘，得到所述第一预测运动概率信息的各第一运动轨迹概率对应的第一基于权重概率值；
获取所述第二预测运动概率信息的各第二运动轨迹概率，使用所述第二运动模型的权重和所述第二预测运动概率信息的各第二运动轨迹概率相乘，得到所述第二预测运动概率信息的各第二运动轨迹概率对应的第二基于权重概率值；
从所述第一基于权重概率值和所述第二基于权重概率值中选择一个最大值的第三基于权重概率值；
获取所述第三基于权重概率值对应的运动模型和预测轨迹。
可选地，所述方法还包括以下步骤：
如果为所述被跟踪物体选择的预测轨迹不是所述第一运动模型中的第一运动轨迹，则对所述第一运动模型对应的被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息进行标注，然后把标注后的标注数据用于所述第一预设网络模型进行训练。
可选地，所述方法还包括以下步骤：
所述第一运动模型的权重和所述第二运动模型的权重，根据所述第一预设网络模型的样本数据训练量进行设置；
所述第一预设网络模型的样本数据训练量越大，所述第一运动模型的权重越大，所述第二运动模型的权重越小。
可选地，所述被跟踪物体的特征包括：类别信息和/或几何特征和/或语义信息；
所述地图信息包括：当前车辆位置信息和/或道路的几何信息和/或道路的拥挤状况和/或当前车辆位置的天气信息；
所述视觉提取的特征为从视觉数据感知到的环境信息。
可选地，所述方法还包括以下步骤：
对所述第一运动模型的训练采用不同的神经网络，或采用大网络、多分支的结构进行回归。
此外，为实现上述目的，本发明还提出一种选择物体运动模型装置，所述选择物体运动模型装置包括：
第一模型获取单元，用于把被跟踪物体的特征和/或视觉提取的特征和/或地图信息，输入第一预设网络模型，获得被跟踪物体的第一运动模型；
第二模型获取单元，用于获取被跟踪物体在模型初始化阶段固化的第二运动模型；
第一轨迹预测单元，用于把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第一运动模型，获得所述被跟踪物体的第一预测运动概率信息；所述第一预测运动概率信息包括：第一运动轨迹、第一运动轨迹概率；
第二轨迹预测单元，用于把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第二运动模型，获得所述被跟踪物体的第二预测运动概率信息；所述第二预测运动概率信息包括：第二运动轨迹、第二运动轨迹概率；
权重轨迹选择单元，用于根据所述第一运动模型的权重和所述第二运动模型的权重，为所述被跟踪物体从所述第一预测运动概率信息和所述第二预测运动概率信息中选择一个预测轨迹。
此外，为实现上述目的，本发明还提出一种交通工具，所述交通工具包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的选择物体运动模型程序，所述选择物体运动模型程序配置为实现如上文所述选择物体运动模型方法的步骤。
此外，为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的选择物体运动模型方法的步骤。
本发明利用无人驾驶的不同硬件资源，将图像可以提供的丰富的语义信息，以及地图提供的信息与被跟踪物体的状态结合，利用神经网络非线性分类器的优势，对被跟踪物体的运动模型进行分类估计。本发明同时具有数据驱动的特点，可以利用数据不断自动化改进，避免人为建模的局限性和强假设的特点。
附图说明
图1为本发明提供的一种选择物体运动模型方法的一个流程示意图。
图2为本发明提供的第一运动模型分类的一个流程示意图。
图3为本发明提供的预测轨迹选择的一个流程示意图。
图4为本发明选择物体运动模型装置实施例的结构框图。
图5是本发明实施例方案涉及的硬件运行环境的交通工具结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在一个实施例中，如图1所示，本发明提供一种选择物体运动模型方法，所述方法包括：
步骤S101、把被跟踪物体的特征和/或视觉提取的特征和/或地图信息，输入第一预设网络模型，获得被跟踪物体的第一运动模型。
被跟踪物体的特征包括：类别信息，几何特征(尺寸大小，形状等)，以及可能的语义信息，比如对于车辆是否打开了转向灯。这些特征会通过通用的车载传感器提取(激光雷达，相机，多普勒雷达)，并可能会经过上游的算法模型进行提取(如激光雷达相应的算法后续提供障碍物的距离和几何尺寸，照相机相关算法提供障碍物的细分类，照相机同时可以提供车辆转向灯等信息)。
地图信息，包括道路的拥挤状况，是否堵车，道路的几何信息(转弯，坡度等)，以及其他交通信息，诸如是否有事故，或特殊车辆如警车在附近。地图信息可以依赖自动驾驶感知系统提前加载的语义地图信息，同时也要利用自车定位实时的查询一些在线的地图导航系统，这些系统可以提供当前车道的拥挤程度等具体的路况信息。地图信息的使用会结合场景的理解，在算法的中间阶段提供诸如“周围正在堵车”“当前周围工程车辆较多”“周围有学校，接送车辆较拥堵”这样的语义信息，供下一步使用。
视觉提取的特征是从视觉感知到的环境信息，例如是否有大量行人造成交通减速，下雨天导致路面湿滑，人流的潜在前进方向等。视觉是一种独立于前文提到的在线导航地图的环境感知来源，例如可以直接在图像上获得“周围车辆很多”“附近有学校的交通标志”这样的语义信息，作为当前场景的判断综合使用。
获得被跟踪物体的第一运动模型，采用如图2所示流程。
步骤S201、对所述被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息向量化，然后输入一个非线性分类器中进行分类，得到所述第一运动模型。
步骤S202、所述向量化过程，包括使用前置网络然后拼接所述前置网络的输出，或，直接使用分类网络，对所述被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息行特征提取形成分支，多个所述分支一起形成最终的回归目标。
步骤S203、所述非线性分类器是多层感知机为代表的神经网络，或，支持向量机或聚类算法为核心的分类器。
上述所述的原始特征，如导航输入的拥挤程度量化值，感知的视觉图像，都可以分别输入前置的神经网络中，也可以直接编码输入最终的特征网络。所有特征将向量化，输入一个非线性分类器中。特征向量化的过程，如果使用前置网络，即可拼接前置网络的输出，如导航提供的拥挤值作为一个实数填入一个维度，视觉提供的车辆目标数量作为一个实数填入另一个维度，激光雷达观测到的周围车辆密度作为又一个实数填入另一个维度，以此类推；如果直接输入一个大的分类网络，那么视觉和激光雷达的特征可以通过一些骨干网络进行特征提取，形成一个分支，骨干网络可以选用残差神经网络这样的形式，多个分支最终一起形成最终的回归目标。这个分类器可以是多层感知机为代表的神经网络，也可以是支持向量机或者聚类算法为核心的分类器，本例以多层感知机为代表。神经网络的权重和连接层设计需要用到监督学习，即以标记好的数据为训练集，不断调整网络权重。
分类神经网络的输出为多类别分类的结果，类别的数量可以在几个到十几个范围，具体的运动模型可以用训练数据的轨迹回归得到。
步骤S102、获取被跟踪物体在模型初始化阶段固化的第二运动模型。
在模型初始化时，为每种跟踪物体分配一个固化的运动模型。根据每种被跟踪物体的类型，可以获取到该固化的运动模型。
步骤S103、把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第一运动模型，获得所述被跟踪物体的第一预测运动概率信息；所述第一预测运动概率信息包括：第一运动轨迹、第一运动轨迹概率。
把被跟踪物体的特征、视觉提取的特征、地图信息，输入对应的训练好的第一运行模型，输出该跟踪物体的预测运动概率信息。如直行---80％、左转弯---20％，停止---10％。
第一运行模型可为LSTM模型、卷积神经网络，当然，第一运行模型模型也可以采用其他模型，本说明书实施例对此不作限制。
本说明书实施例通过车辆及各障碍物的历史信息和当前状态信息确定车辆与各障碍物的当前交互特征(通过历史和当前来表征当前交互信息)。在当前交互特征的基础上，加入了被跟踪物体的特征、视觉提取的特征、地图信息，得到全局交互特征。通过全局交互特征和待预测障碍物的当前状态信息，确定个体交互特征，并基于此，对待预测障碍物的未来轨迹进行预测。预测的轨迹包括：运动轨迹、速度、概率。如下表所述：
运动轨迹 速度 概率
直线 50km/h 30％
左转弯 40km/h 60％
停车减速 20km/h 20％
对第一运动模型的训练可以采用不同的神经网络，也可以采用大网络、多分支的结构进行回归，也即每个分支可以独立训练，运算相互独立。核心在于利用神经网络的非线性拟合采集到的轨迹信息，利用梯度下降的方法使神经网络习得轨迹和其他因素之间的关系。
步骤S104、把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第二运动模型，获得所述被跟踪物体的第二预测运动概率信息；所述第二预测运动概率信息包括：第二运动轨迹、第二运动轨迹概率。
第二运动模型可为LSTM模型、卷积神经网络，当然，第二运行模型模型也可以采用其他模型，本说明书实施例对此不作限制。
本说明书实施例通过车辆及各障碍物的历史信息和当前状态信息确定车辆与各障碍物的当前交互特征(通过历史和当前来表征当前交互信息)。在当前交互特征的基础上，加入了被跟踪物体的特征、视觉提取的特征、地图信息，得到全局交互特征。通过全局交互特征和待预测障碍物的当前状态信息，确定个体交互特征，并基于此，对待预测障碍物的未来轨迹进行预测。预测的轨迹包括：运动轨迹、速度、概率。如下表所述：
运动轨迹 速度 概率
直线 60km/h 50％
左转弯 30km/h 30％
停车减速 20km/h 10％
步骤S105、根据所述第一运动模型的权重和所述第二运动模型的权重，为所述被跟踪物体从所述第一预测运动概率信息和所述第二预测运动概率信息中选择一个预测轨迹。
使用第一运动模型和第二运动模型分别获取预测轨迹后，需要根据权重选择一个正确的预测轨迹。具体选择步骤，参见图3所示流程：
步骤S301、获取所述第一预测运动概率信息的各第一运动轨迹概率，使用所述第一运动模型的权重和所述第一预测运动概率信息的各第一运动轨迹概率相乘，得到所述第一预测运动概率信息的各第一运动轨迹概率对应的第一基于权重概率值。
每个第一运动模型都有对应的权重，该权重的分配根据该第一运动模型的样本训练量决定。在初始阶段，采集的样本数据较少，则根据被跟踪物体的特征、视觉提取的特征、地图信息选择出来的第一运动模型的预测准确性较大，此时需要给该第一运动模型分配一个较低的权重；而被跟踪物体在模型初始化阶段固化的第二运动模型的权重需要较高。如下表所示：
Figure BDA0003329376590000081
随着第一运动模型训练的样本数据逐步增多，对应的第一运动模型预测轨迹的准确性逐步提高，该第一运动模型的权重就需要逐步提高；而被跟踪物体在模型初始化阶段固化的第二运动模型的权重需要逐步降低。如下表所示：
Figure BDA0003329376590000091
使用第一运动模型的权重和预测轨迹中的概率进行相乘，得到第一预测运动概率信息的各第一运动轨迹概率对应的第一基于权重概率值。如下表所示：
Figure BDA0003329376590000092
步骤S302、获取所述第二预测运动概率信息的各第二运动轨迹概率，使用所述第二运动模型的权重和所述第二预测运动概率信息的各第二运动轨迹概率相乘，得到所述第二预测运动概率信息的各第二运动轨迹概率对应的第二基于权重概率值。
使用第二运动模型的权重和预测轨迹中的概率进行相乘，得到第二预测运动概率信息的各第二运动轨迹概率对应的第二基于权重概率值。如下表所示：
Figure BDA0003329376590000093
步骤S303、从所述第一基于权重概率值和所述第二基于权重概率值中选择一个最大值的第三基于权重概率值。
步骤S304、获取所述第三基于权重概率值对应的运动模型和预测轨迹。
根据上表所示，第一运动模型A的预测轨迹中的左转弯对应的第一基于权重概率值45，为最大值。该最大值的第一基于权重概率值45对应的预测轨迹为左转弯，对应的运动模型为第一运动模型A。则选取第一运动模型A中的预测轨迹的左转弯作为该物体下一刻的预测轨迹。
步骤S305、如果为所述被跟踪物体选择的预测轨迹不是所述第一运动模型中的第一运动轨迹，则对所述第一运动模型对应的被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息进行标注，然后把标注后的标注数据用于所述第一预设网络模型进行训练。
如果轨迹权重和轨迹概率计算得到的预测轨迹对应的运动模型不是第一运动模型，如不是第一运动模型A，而是第二运动模型B。则需要把被跟踪物体的特征、视觉提取的特征、当前所在地图信息，结合该被跟踪物体下一帧的真实运动轨迹进行标注，然后把标注后的数据用于第一运动模型A的训练。
本发明利用无人驾驶的不同硬件资源，将图像可以提供的丰富的语义信息，以及地图提供的信息与被跟踪物体的状态结合，利用神经网络非线性分类器的优势，对被跟踪物体的运动模型进行分类估计。本发明同时具有数据驱动的特点，可以利用数据不断自动化改进，避免人为建模的局限性和强假设的特点。
此外，本发明实施例还提出一种选择物体运动模型装置，参照图4，所述选择物体运动模型装置包括：
第一模型获取单元10，用于把被跟踪物体的特征和/或视觉提取的特征和/或地图信息，输入第一预设网络模型，获得被跟踪物体的第一运动模型；
第二模型获取单元20，用于获取被跟踪物体在模型初始化阶段固化的第二运动模型；
第一轨迹预测单元30，用于把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第一运动模型，获得所述被跟踪物体的第一预测运动概率信息；所述第一预测运动概率信息包括：第一运动轨迹、第一运动轨迹概率；
第二轨迹预测单元40，用于把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第二运动模型，获得所述被跟踪物体的第二预测运动概率信息；所述第二预测运动概率信息包括：第二运动轨迹、第二运动轨迹概率；
权重轨迹选择单元50，用于根据所述第一运动模型的权重和所述第二运动模型的权重，为所述被跟踪物体从所述第一预测运动概率信息和所述第二预测运动概率信息中选择一个预测轨迹。
本发明利用无人驾驶的不同硬件资源，将图像可以提供的丰富的语义信息，以及地图提供的信息与被跟踪物体的状态结合，利用神经网络非线性分类器的优势，对被跟踪物体的运动模型进行分类估计。本发明同时具有数据驱动的特点，可以利用数据不断自动化改进，避免人为建模的局限性和强假设的特点。
需要说明的是，上述装置中的各单元可用于实现上述方法中的各个步骤，同时达到相应的技术效果，本实施例在此不再赘述。
参照图5，图5为本发明实施例方案涉及的硬件运行环境的交通工具的结构示意图。
如图5所示，该交通工具可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI、4G、5G接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图5中示出的结构并不构成对交通工具的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及选择物体运动模型程序。
在图5所示的交通工具中，网络接口1004主要用于与外部网络进行数据通信；用户接口1003主要用于接收用户的输入指令；交通工具通过处理器1001调用存储器1005中存储的选择物体运动模型程序，并执行以下操作：
把被跟踪物体的特征和/或视觉提取的特征和/或地图信息，输入第一预设网络模型，获得被跟踪物体的第一运动模型；
获取被跟踪物体在模型初始化阶段固化的第二运动模型；
把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第一运动模型，获得所述被跟踪物体的第一预测运动概率信息；所述第一预测运动概率信息包括：第一运动轨迹、第一运动轨迹概率；
把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第二运动模型，获得所述被跟踪物体的第二预测运动概率信息；所述第二预测运动概率信息包括：第二运动轨迹、第二运动轨迹概率；
根据所述第一运动模型的权重和所述第二运动模型的权重，为所述被跟踪物体从所述第一预测运动概率信息和所述第二预测运动概率信息中选择一个预测轨迹。
可选地，所述把被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息，输入第一预设网络模型，获得被跟踪物体的第一运动模型，包括以下步骤：
对所述被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息向量化，然后输入一个非线性分类器中进行分类，得到所述第一运动模型；
所述向量化过程，包括使用前置网络然后拼接所述前置网络的输出，或，直接使用分类网络，对所述被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息行特征提取形成分支，多个所述分支一起形成最终的回归目标；
所述非线性分类器是多层感知机为代表的神经网络，或，支持向量机或聚类算法为核心的分类器。
可选地，所述根据所述第一运动模型的权重和所述第二运动模型的权重，为所述被跟踪物体从所述第一预测运动概率信息和所述第二预测运动概率信息中选择一个预测轨迹，包括以下步骤：
获取所述第一预测运动概率信息的各第一运动轨迹概率，使用所述第一运动模型的权重和所述第一预测运动概率信息的各第一运动轨迹概率相乘，得到所述第一预测运动概率信息的各第一运动轨迹概率对应的第一基于权重概率值；
获取所述第二预测运动概率信息的各第二运动轨迹概率，使用所述第二运动模型的权重和所述第二预测运动概率信息的各第二运动轨迹概率相乘，得到所述第二预测运动概率信息的各第二运动轨迹概率对应的第二基于权重概率值；
从所述第一基于权重概率值和所述第二基于权重概率值中选择一个最大值的第三基于权重概率值；
获取所述第三基于权重概率值对应的运动模型和预测轨迹。
可选地，所述方法还包括以下步骤：
如果为所述被跟踪物体选择的预测轨迹不是所述第一运动模型中的第一运动轨迹，则对所述第一运动模型对应的被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息进行标注，然后把标注后的标注数据用于所述第一预设网络模型进行训练。
可选地，所述方法还包括以下步骤：
所述第一运动模型的权重和所述第二运动模型的权重，根据所述第一预设网络模型的样本数据训练量进行设置；
所述第一预设网络模型的样本数据训练量越大，所述第一运动模型的权重越大，所述第二运动模型的权重越小。
可选地，所述被跟踪物体的特征包括：类别信息和/或几何特征和/或语义信息；
所述地图信息包括：当前车辆位置信息和/或道路的几何信息和/或道路的拥挤状况和/或当前车辆位置的天气信息；
所述视觉提取的特征为从视觉数据感知到的环境信息。
可选地，所述方法还包括以下步骤：
对所述第一运动模型的训练采用不同的神经网络，或采用大网络、多分支的结构进行回归。
本发明利用无人驾驶的不同硬件资源，将图像可以提供的丰富的语义信息，以及地图提供的信息与被跟踪物体的状态结合，利用神经网络非线性分类器的优势，对被跟踪物体的运动模型进行分类估计。本发明同时具有数据驱动的特点，可以利用数据不断自动化改进，避免人为建模的局限性和强假设的特点。
此外，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质上存储有选择物体运动模型程序，选择物体运动模型程序被处理器执行时实现如下操作：
把被跟踪物体的特征和/或视觉提取的特征和/或地图信息，输入第一预设网络模型，获得被跟踪物体的第一运动模型；
获取被跟踪物体在模型初始化阶段固化的第二运动模型；
把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第一运动模型，获得所述被跟踪物体的第一预测运动概率信息；所述第一预测运动概率信息包括：第一运动轨迹、第一运动轨迹概率；
把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第二运动模型，获得所述被跟踪物体的第二预测运动概率信息；所述第二预测运动概率信息包括：第二运动轨迹、第二运动轨迹概率；
根据所述第一运动模型的权重和所述第二运动模型的权重，为所述被跟踪物体从所述第一预测运动概率信息和所述第二预测运动概率信息中选择一个预测轨迹。
可选地，所述把被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息，输入第一预设网络模型，获得被跟踪物体的第一运动模型，包括以下步骤：
对所述被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息向量化，然后输入一个非线性分类器中进行分类，得到所述第一运动模型；
所述向量化过程，包括使用前置网络然后拼接所述前置网络的输出，或，直接使用分类网络，对所述被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息行特征提取形成分支，多个所述分支一起形成最终的回归目标；
所述非线性分类器是多层感知机为代表的神经网络，或，支持向量机或聚类算法为核心的分类器。
可选地，所述根据所述第一运动模型的权重和所述第二运动模型的权重，为所述被跟踪物体从所述第一预测运动概率信息和所述第二预测运动概率信息中选择一个预测轨迹，包括以下步骤：
获取所述第一预测运动概率信息的各第一运动轨迹概率，使用所述第一运动模型的权重和所述第一预测运动概率信息的各第一运动轨迹概率相乘，得到所述第一预测运动概率信息的各第一运动轨迹概率对应的第一基于权重概率值；
获取所述第二预测运动概率信息的各第二运动轨迹概率，使用所述第二运动模型的权重和所述第二预测运动概率信息的各第二运动轨迹概率相乘，得到所述第二预测运动概率信息的各第二运动轨迹概率对应的第二基于权重概率值；
从所述第一基于权重概率值和所述第二基于权重概率值中选择一个最大值的第三基于权重概率值；
获取所述第三基于权重概率值对应的运动模型和预测轨迹。
可选地，所述方法还包括以下步骤：
如果为所述被跟踪物体选择的预测轨迹不是所述第一运动模型中的第一运动轨迹，则对所述第一运动模型对应的被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息进行标注，然后把标注后的标注数据用于所述第一预设网络模型进行训练。
可选地，所述方法还包括以下步骤：
所述第一运动模型的权重和所述第二运动模型的权重，根据所述第一预设网络模型的样本数据训练量进行设置；
所述第一预设网络模型的样本数据训练量越大，所述第一运动模型的权重越大，所述第二运动模型的权重越小。
可选地，所述被跟踪物体的特征包括：类别信息和/或几何特征和/或语义信息；
所述地图信息包括：当前车辆位置信息和/或道路的几何信息和/或道路的拥挤状况和/或当前车辆位置的天气信息；
所述视觉提取的特征为从视觉数据感知到的环境信息。
可选地，所述方法还包括以下步骤：
对所述第一运动模型的训练采用不同的神经网络，或采用大网络、多分支的结构进行回归。
本发明利用无人驾驶的不同硬件资源，将图像可以提供的丰富的语义信息，以及地图提供的信息与被跟踪物体的状态结合，利用神经网络非线性分类器的优势，对被跟踪物体的运动模型进行分类估计。本发明同时具有数据驱动的特点，可以利用数据不断自动化改进，避免人为建模的局限性和强假设的特点。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，控制器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种选择物体运动模型方法，其特征在于，所述方法包括以下步骤：
把被跟踪物体的特征和/或视觉提取的特征和/或地图信息，输入第一预设网络模型，获得被跟踪物体的第一运动模型；
获取被跟踪物体在模型初始化阶段固化的第二运动模型；
把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第一运动模型，获得所述被跟踪物体的第一预测运动概率信息；所述第一预测运动概率信息包括：第一运动轨迹、第一运动轨迹概率；
把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第二运动模型，获得所述被跟踪物体的第二预测运动概率信息；所述第二预测运动概率信息包括：第二运动轨迹、第二运动轨迹概率；
根据所述第一运动模型的权重和所述第二运动模型的权重，为所述被跟踪物体从所述第一预测运动概率信息和所述第二预测运动概率信息中选择一个预测轨迹。
2.根据权利要求1所述方法，其特征在于，所述把被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息，输入第一预设网络模型，获得被跟踪物体的第一运动模型，包括以下步骤：
对所述被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息向量化，然后输入一个非线性分类器中进行分类，得到所述第一运动模型；
所述向量化过程，包括使用前置网络然后拼接所述前置网络的输出，或，直接使用分类网络，对所述被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息行特征提取形成分支，多个所述分支一起形成最终的回归目标；
所述非线性分类器是多层感知机为代表的神经网络，或，支持向量机或聚类算法为核心的分类器。
3.根据权利要求1所述方法，其特征在于，所述根据所述第一运动模型的权重和所述第二运动模型的权重，为所述被跟踪物体从所述第一预测运动概率信息和所述第二预测运动概率信息中选择一个预测轨迹，包括以下步骤：
获取所述第一预测运动概率信息的各第一运动轨迹概率，使用所述第一运动模型的权重和所述第一预测运动概率信息的各第一运动轨迹概率相乘，得到所述第一预测运动概率信息的各第一运动轨迹概率对应的第一基于权重概率值；
获取所述第二预测运动概率信息的各第二运动轨迹概率，使用所述第二运动模型的权重和所述第二预测运动概率信息的各第二运动轨迹概率相乘，得到所述第二预测运动概率信息的各第二运动轨迹概率对应的第二基于权重概率值；
从所述第一基于权重概率值和所述第二基于权重概率值中选择一个最大值的第三基于权重概率值；
获取所述第三基于权重概率值对应的运动模型和预测轨迹。
4.根据权利要求3所述方法，其特征在于，所述方法还包括以下步骤：
如果为所述被跟踪物体选择的预测轨迹不是所述第一运动模型中的第一运动轨迹，则对所述第一运动模型对应的被跟踪物体的特征和/或视觉提取的特征和/或当前所在地图信息进行标注，然后把标注后的标注数据用于所述第一预设网络模型进行训练。
5.根据权利要求1所述方法，其特征在于，所述方法还包括以下步骤：
所述第一运动模型的权重和所述第二运动模型的权重，根据所述第一预设网络模型的样本数据训练量进行设置；
所述第一预设网络模型的样本数据训练量越大，所述第一运动模型的权重越大，所述第二运动模型的权重越小。
6.根据权利要求1所述方法，其特征在于，
所述被跟踪物体的特征包括：类别信息和/或几何特征和/或语义信息；
所述地图信息包括：当前车辆位置信息和/或道路的几何信息和/或道路的拥挤状况和/或当前车辆位置的天气信息；
所述视觉提取的特征为从视觉数据感知到的环境信息。
7.根据权利要求1所述方法，其特征在于，所述方法还包括以下步骤：
对所述第一运动模型的训练采用不同的神经网络，或采用大网络、多分支的结构进行回归。
8.一种选择物体运动模型装置，其特征在于，所述选择物体运动模型装置包括：
第一模型获取单元，用于把被跟踪物体的特征和/或视觉提取的特征和/或地图信息，输入第一预设网络模型，获得被跟踪物体的第一运动模型；
第二模型获取单元，用于获取被跟踪物体在模型初始化阶段固化的第二运动模型；
第一轨迹预测单元，用于把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第一运动模型，获得所述被跟踪物体的第一预测运动概率信息；所述第一预测运动概率信息包括：第一运动轨迹、第一运动轨迹概率；
第二轨迹预测单元，用于把所述被跟踪物体的特征和/或所述视觉提取的特征和/或所述地图信息，输入第二运动模型，获得所述被跟踪物体的第二预测运动概率信息；所述第二预测运动概率信息包括：第二运动轨迹、第二运动轨迹概率；
权重轨迹选择单元，用于根据所述第一运动模型的权重和所述第二运动模型的权重，为所述被跟踪物体从所述第一预测运动概率信息和所述第二预测运动概率信息中选择一个预测轨迹。
9.一种交通工具，其特征在于，所述交通工具包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的选择物体运动模型程序，所述选择物体运动模型程序配置为实现根据权利要求1至7中任一项所述选择物体运动模型方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的选择物体运动模型方法的步骤。
CN202111275776.0A 2021-10-29 2021-10-29 一种选择物体运动模型方法、装置、交通工具及存储介质 Active CN113920166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111275776.0A CN113920166B (zh) 2021-10-29 2021-10-29 一种选择物体运动模型方法、装置、交通工具及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111275776.0A CN113920166B (zh) 2021-10-29 2021-10-29 一种选择物体运动模型方法、装置、交通工具及存储介质

Publications (2)

Publication Number Publication Date
CN113920166A true CN113920166A (zh) 2022-01-11
CN113920166B CN113920166B (zh) 2024-05-28

Family

ID=79244016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111275776.0A Active CN113920166B (zh) 2021-10-29 2021-10-29 一种选择物体运动模型方法、装置、交通工具及存储介质

Country Status (1)

Country Link
CN (1) CN113920166B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114212110A (zh) * 2022-01-28 2022-03-22 中国第一汽车股份有限公司 障碍物轨迹预测方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190049970A1 (en) * 2017-08-08 2019-02-14 Uber Technologies, Inc. Object Motion Prediction and Autonomous Vehicle Control
WO2019114423A1 (zh) * 2017-12-15 2019-06-20 阿里巴巴集团控股有限公司 对模型预测值进行融合的方法、装置和设备
WO2020118586A1 (zh) * 2018-12-12 2020-06-18 华北电力大学扬中智能电气研究中心 一种能源消耗预测方法及装置
CN111310964A (zh) * 2018-12-12 2020-06-19 华北电力大学扬中智能电气研究中心 一种负荷预测方法及装置
CN111771207A (zh) * 2018-03-15 2020-10-13 蓝色视觉实验室英国有限公司 增强的车辆跟踪
CN112015847A (zh) * 2020-10-19 2020-12-01 北京三快在线科技有限公司 一种障碍物的轨迹预测方法、装置、存储介质及电子设备
CN112348848A (zh) * 2020-10-26 2021-02-09 国汽(北京)智能网联汽车研究院有限公司 一种交通参与者的信息生成方法及系统
CN112615604A (zh) * 2020-12-08 2021-04-06 苏州挚途科技有限公司 智能驾驶感知系统的滤波方法、装置及电子设备
CN113383283A (zh) * 2019-12-30 2021-09-10 深圳元戎启行科技有限公司 感知信息处理方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190049970A1 (en) * 2017-08-08 2019-02-14 Uber Technologies, Inc. Object Motion Prediction and Autonomous Vehicle Control
WO2019114423A1 (zh) * 2017-12-15 2019-06-20 阿里巴巴集团控股有限公司 对模型预测值进行融合的方法、装置和设备
CN111771207A (zh) * 2018-03-15 2020-10-13 蓝色视觉实验室英国有限公司 增强的车辆跟踪
WO2020118586A1 (zh) * 2018-12-12 2020-06-18 华北电力大学扬中智能电气研究中心 一种能源消耗预测方法及装置
CN111310964A (zh) * 2018-12-12 2020-06-19 华北电力大学扬中智能电气研究中心 一种负荷预测方法及装置
CN113383283A (zh) * 2019-12-30 2021-09-10 深圳元戎启行科技有限公司 感知信息处理方法、装置、计算机设备和存储介质
CN112015847A (zh) * 2020-10-19 2020-12-01 北京三快在线科技有限公司 一种障碍物的轨迹预测方法、装置、存储介质及电子设备
CN112348848A (zh) * 2020-10-26 2021-02-09 国汽(北京)智能网联汽车研究院有限公司 一种交通参与者的信息生成方法及系统
CN112615604A (zh) * 2020-12-08 2021-04-06 苏州挚途科技有限公司 智能驾驶感知系统的滤波方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114212110A (zh) * 2022-01-28 2022-03-22 中国第一汽车股份有限公司 障碍物轨迹预测方法、装置、电子设备及存储介质
CN114212110B (zh) * 2022-01-28 2024-05-03 中国第一汽车股份有限公司 障碍物轨迹预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113920166B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
US11769058B2 (en) Systems and methods for identifying unknown instances
US11726477B2 (en) Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout
CN109460015B (zh) 用于自主驾驶应用的无监督学习代理
CN111278707B (zh) 控制具有自动驾驶模式的车辆的方法和系统
DE102020127043A1 (de) Sicherheitssystem für ein fahrzeug
US11537127B2 (en) Systems and methods for vehicle motion planning based on uncertainty
US20150199617A1 (en) Learning system, in-vehicle device, and server
US20200388161A1 (en) System and method of using a vehicle as a backup roadside unit (rsu)
US11693415B2 (en) Predicting cut-in probabilities of surrounding agents
US20210107486A1 (en) Apparatus for determining lane change strategy of autonomous vehicle and method thereof
CN112487954A (zh) 一种面向平面交叉口的行人过街行为预测方法
KR20210005395A (ko) 자율주행차량의 유턴 전략 결정 장치 및 그 방법
DE112021005708T5 (de) Verfahren und Systeme zur Verfolgung einer Fahrspur über die Zeit
WO2022246352A1 (en) Automatic generation of vector map for vehicle navigation
CN113920166B (zh) 一种选择物体运动模型方法、装置、交通工具及存储介质
DE112022002869T5 (de) Verfahren und System zur Verhaltensprognose von Akteuren in einer Umgebung eines autonomen Fahrzeugs
Gao et al. Discretionary cut-in driving behavior risk assessment based on naturalistic driving data
US20210319287A1 (en) Predicting occupancy probabilities of surrounding agents
US20210004016A1 (en) U-turn control system for autonomous vehicle and method therefor
EP4270352A1 (en) Controlling a future traffic state on a road segment
US20230162480A1 (en) Frequency-based feature constraint for a neural network
US12026957B2 (en) Generating synthetic three-dimensional objects
US20230211808A1 (en) Radar-based data filtering for visual and lidar odometry
CN114119625A (zh) 点云数据的分割与分类
CN117612140B (zh) 道路场景的识别方法、装置和存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant