CN112329754A - 障碍物识别模型训练方法、障碍物识别方法、装置及系统 - Google Patents
障碍物识别模型训练方法、障碍物识别方法、装置及系统 Download PDFInfo
- Publication number
- CN112329754A CN112329754A CN202110015842.4A CN202110015842A CN112329754A CN 112329754 A CN112329754 A CN 112329754A CN 202110015842 A CN202110015842 A CN 202110015842A CN 112329754 A CN112329754 A CN 112329754A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- point cloud
- far
- cloud data
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例提供了一种障碍物识别模型训练方法、障碍物识别方法、相关装置、系统及计算机可读存储介质。其中,该障碍物识别模型训练方法包括:获取至少一帧点云数据;对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据;所述远场潜在障碍物为预设范围外的障碍物;根据所述潜在障碍物对应的点云数据获取所述远场潜在障碍物的标记信息;获取所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列;根据所述远场潜在障碍物对应的跟踪序列提取跟踪特征;将所述标记信息及所述点云数据与所述跟踪特征作为样本数据,训练障碍物识别模型。采用本申请实施例可以提升远场障碍物的检测效果。
Description
技术领域
本申请涉及自动驾驶技术领域,尤其涉及一种障碍物识别模型训练方法、障碍物识别方法、装置及系统。
背景技术
在自动驾驶领域,障碍物检测的准确率是进行无人驾驶的关键,具有重要的意义。激光雷达能够产生三维信息,测距精度高,可以精确获得目标位置,能够有效提升障碍物的检测效果。因而,激光雷达在无人驾驶中被广泛应用。
在无人驾驶中,为了提升系统的安全性,提升障碍物的检测准确率及进一步扩展检测范围变得越来越重要。
发明内容
本申请实施例提供了一种障碍物识别模型训练方法、障碍物识别方法、装置及系统,可以提升远场的障碍物检测的准确性。
第一方面,本申请实施例提供了一种障碍物识别模型训练方法,包括:
获取至少一帧点云数据;
对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据;所述远场潜在障碍物为预设范围外的障碍物;
根据所述潜在障碍物对应的点云数据获取所述远场潜在障碍物的标记信息;
获取所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列;根据所述远场潜在障碍物对应的跟踪序列提取跟踪特征;将所述标记信息及所述点云数据与所述跟踪特征作为样本数据,训练障碍物识别模型。
第二方面,本申请实施例提供了一种障碍物识别方法,包括:
获取至少一帧点云数据;
对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据;所述远场潜在障碍物为预设范围外的障碍物;
获取所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列;
根据所述远场潜在障碍物对应的跟踪序列提取跟踪特征;
将所述远场潜在障碍物对应的点云数据与所述跟踪特征输入到障碍物识别模型中,输出识别结果;所述障碍物识别模型为本申请第一方面中提到的障碍物识别模型。
第三方面,本申请实施例提供了一种历史数据处理装置,包括:
获取模块,用于获取至少一帧点云数据;
处理模块,用于对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据;所述远场潜在障碍物为预设范围外的障碍物;
标记模块,用于根据所述潜在障碍物对应的点云数据获取所述远场潜在障碍物的标记信息;
跟踪模块,用于获取所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列;
提取模块,用于根据所述远场潜在障碍物对应的跟踪序列提取跟踪特征;
训练模块,用于将所述标记信息及所述点云数据与所述跟踪特征作为样本数据,训练障碍物识别模型。
第四方面,本申请实施例提供了一种历史数据处理装置,包括:
获取模块,用于获取至少一帧点云数据;
处理模块,用于对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据;所述远场潜在障碍物为预设范围外的障碍物;
跟踪模块,用于获取所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列;
提取模块,用于根据所述远场潜在障碍物对应的跟踪序列提取跟踪特征;
识别模块,用于将所述远场潜在障碍物对应的点云数据与所述跟踪特征输入到障碍物识别模型中,输出识别结果;所述障碍物识别模型为本申请第一方面中提到的障碍物识别模型。
第五方面,本申请实施例提供了一种障碍物识别系统,包括:
感知传感装置,用于采集点云数据,并传输给历史数据处理装置及车载终端;
所述历史数据处理装置,用于对所述感知传感装置传输的点云数据或存储的历史点云数据进行处理,得到远场潜在障碍物的识别模型;
所述车载终端,用于接收所述感知传感装置传输的点云数据,进行近场障碍物的识别及远场点云的裁切,并对所述远场点云进行处理得到远场潜在障碍物的点云及所述远场潜在障碍物的跟踪信息;
所述车载终端,还用于将所述远场潜在障碍物的点云及所述远场潜在障碍物的跟踪信息发送给所述历史数据处理装置;
所述历史数据处理装置,还用于采用所述远场潜在障碍物的识别模型得到远场潜在障碍物的识别结果,并将所述远场潜在障碍物的识别结果发送给所述车载终端;
所述车载终端,还用于结合近场障碍物的识别结果及所述远场潜在障碍物的识别结果,输出车辆的控制指令。
第六方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例第一方面或第二方面提供的方法。
本申请一些实施例提供的技术方案带来的有益效果至少包括:
在本申请一个或多个实施例中,可以通过对点云数据进行远场裁切后获得远场潜在障碍物对应的点云数据,并采用人工标记的方式确定该远场潜在障碍物对应的点云数据具体为什么类型的障碍物(即标记信息)。同时还获取远场潜在障碍物对应的跟踪特征。通过大量的已知标记信息的点云数据与跟踪特征训练模型,可以得到障碍物识别模型。使用该障碍物识别模型可以提高远场潜在障碍物检测的准确性。在自动驾驶的场景下,可以提升系统的安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种障碍物识别的应用场景示意图;
图2A为本申请实施例提供的一种自动驾驶车辆的结构示意图;
图2B为本申请实施例提供的另外一种自动驾驶车辆的结构示意图;
图3为本申请实施例提供的一种障碍物识别系统的架构示意图;
图4为本申请实施例提供的一种障碍物识别模型训练方法的流程示意图;
图5为本申请实施例提供的另外一种障碍物识别模型训练方法的流程示意图;
图6为本申请实施例提供的一种障碍物识别方法的流程示意图;
图7为本申请实施例提供的另外一种障碍物识别方法的流程示意图;
图8为本申请实施例提供的一种历史数据处理装置的结构示意图;
图9为本申请实施例提供的一种历史数据处理装置的流程示意图;
图10为本申请实施例提供的另外一种历史数据处理装置的结构示意图;
图11为本申请实施例提供的另外一种历史数据处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本申请的描述中,需要说明的是,除非另有明确的规定和限定,“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1示例性示出了本申请实施例提供的一种障碍物识别的应用场景示意图。
如图1所示,自动驾驶的车辆10以平均速度V1行驶在马路上,该车辆10的前方有车辆以V2的速度行驶,以及对面有车辆以V3的速度行驶,且路边有行人以V4的速度走来。马路两边有树木、建筑物等固定不动的物体。本申请实施例中,可以将移动的车辆及行人看作是车辆10周围的移动的障碍物,可以将树木和建筑物等固定不动的物体看作是静止的障碍物。可以知道,以机械式激光雷达为例,机械式激光雷达的检测范围通常是以该激光雷达为圆心,半径为R的范围。图1中示例性示出了位于车辆10右前角落的机械式激光雷达检测范围。其检测范围如图中灰色圆圈覆盖的范围。
本申请中的自动驾驶的车辆10可包括感知传感装置及车载终端。感知传感装置包括一个或者多个激光雷达,当感知传感装置包括多个激光雷达时,多个激光雷达可以组成一个激光雷达系统。其中,激光雷达通常可设置在车辆的四个角落、车头、车尾、车门、车顶附近等,本申请不对激光雷达的设置位置进行限定。图2A示例性示出了一种激光雷达系统,该激光雷达系统由三个激光雷达组成,三个激光雷达分别设置在车辆10的车顶(101)及车顶的两侧(102、103)。如图2B示例性示出了另外一种激光雷达系统,该激光雷达系统由五个激光雷达组成,五个激光雷达分别设置在车辆10的车顶(1031)、车身两侧(1032、1033)车头(1034)、车尾(1035)。其中,可以理解的是,激光雷达系统还可以包括更多或更少数量的激光雷达,同时激光雷达系统中各个激光雷达的位置也可以分布在车辆的其他位置,本申请对此不作限制。以图2A示出的激光雷达系统为例,激光雷达(101、102及103)可用于采集其辐射范围内(车辆周围)的点云数据,并将点云数据发送给车载终端。其中,车顶的激光雷达101可以用于探测较远距离范围内的障碍物;位于车顶的两侧的激光雷达102及103可以用于探测靠近车体附近地面范围内的障碍物。车载终端可对激光雷达(101、102及103)发送的点云数据进行处理,从而进行障碍物识别。
由于现有技术中,通常采用机器学习的方法进行障碍物的识别,而机器学习方法对于采集的点云的稠密程度要求比较高,若点云相对稀疏则无法进行障碍物的准确识别,这样激光雷达或激光雷达系统的探测精度及探测范围都会受到影响。
图3示例性示出了本申请实施例提供的一种障碍物识别系统的结构示意图。如图3所示,障碍物识别系统300至少可以包括:历史数据处理装置310、感知传感装置320及车载终端330。
其中,可以理解的是所述感知传感装置320可以为单个激光雷达,也可以为如图2A和图2B所述的激光雷达系统,用于实时采集点云数据。
其中,历史数据处理装置310,用于对接收到的感知传感装置320传输的点云数据或存储的大量的历史点云数据进行处理,得到远场潜在障碍物的识别模型。
车载终端330用于接收感知传感装置320实时采集的点云数据,进行近场障碍物的识别及远场点云的裁切,并对远场点云进行处理得到远场潜在障碍物的点云及远场潜在障碍物的跟踪信息。
车载终端330将所述远场潜在障碍物的点云及远场潜在障碍物的跟踪信息传输给历史数据处理装置310,通过历史数据处理装置310训练的远场潜在障碍物识别模型得到远场潜在障碍物的识别结果。
历史数据处理装置310将所述识别结果输出给车载终端330,车载终端330汇总近场障碍物的识别结果和远场潜在障碍物的识别结果,车载终端330根据障碍物的识别结果输出车辆的控制指令。
其中,可以理解的是,所述激光雷达可以为机械式激光雷达、固态激光雷达等,这里不对激光雷达的具体类型进行限制;或者所述感知传感装置320也可以为多个激光雷达组成的激光雷达系统,此处不对所述激光雷达系统中激光雷达的组成数量及激光雷达系统的具体形式进行限制。
其中,可以理解的是,所述历史数据处理装置310可以集成于所述感知传感装置320中,也可以独立于感知传感装置320存在。当历史数据处理装置310集成于感知传感装置320中时,历史数据处理装置310可以用于感知传感装置320采集的前N帧点云数据,将前N帧点云数据作为历史数据训练障碍物识别模型,进一步地还可以采用历史数据验证障碍物识别模型输出结果的准确性。
可选的,所述历史数据处理装置310也可以全部或者部分集成于车载终端330中。
其中,可以理解的是,若所述感知传感装置320为激光雷达系统时,所述历史数据处理装置310可以为一个(即激光雷达系统对应一个历史数据处理装置310),可选的,所述历史数据处理装置310也可以为多个(即所述激光雷达系统每个激光雷达对应一个历史数据处理装置310,或者多个激光雷达对应至少两个历史数据处理装置310)。
下面结合具体的实施例对本申请实施例提供的障碍物识别模型训练方法进行详细介绍。该方法可依赖于计算机程序实现。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。
图4示例性示出了一种障碍物识别模型训练方法的流程示意图。障碍物识别模型训练方法可由上述历史数据处理装置310执行。如图4所述,障碍物识别模型训练方法至少可以包括以下几个步骤:
S401:获取至少一帧点云数据。
其中,可以理解的是,当激光雷达发射的激光束照射到物体表面上并被物体反射回来被接收器接收时,被接收的激光信号以点的形式被记录,便形成了点云数据。其中,所述点云数据可以包括空间位置坐标、时间戳和回波强度信息。其中,所述回波强度信息为激光雷达接收装置采集到的回波反射强度信息,此强度信息与目标的表面材质、粗糙度、入射角方向,以及仪器的发射能量,激光波长有关。
其中,完成一个扫描周期所获得的点云数据为一帧点云数据。其中,以机械式雷达为例,机械式激光雷达以机械旋转方式完成对周围环境的扫描,旋转一周的时间为点云数据帧的时长。
S402:对上述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据。
具体地,识别上述至少一帧点云数据中的近场可信障碍物,再根据近场可信障碍物的识别结果,确定远场潜在障碍物对应的点云数据。
其中,以机械式激光雷达为例,近场识别范围是以激光雷达为圆心,识别距离为半径围成的圆的面积。可以理解的是,所述识别近场范围的确定主要取决于点云的疏密程度,不同线束的激光雷达对应的近场范围不同,近场范围的确定可以为预先设定,举例来说,32线的机械式激光雷达的近场识别范围可以设定为以雷达为圆心,以60米为半径所围成的圆的面积;再比如,128线的激光雷达近场识别范围可以设定为以激光雷达为圆心,以100米为半径所围成的圆的面积。其他线束的机械式激光雷达可以设定为扫描半径为60米到100米之间。
可以理解的是,作为一种可选的实施方式,可以根据近场障碍物识别结果的准确率对所述近场识别范围进行调整,举例来说,可以预先设定一个近场识别障碍物准确率阈值,当实时识别准确率达到阈值保持近场设定范围不变,当近场识别准确率小于阈值,则按照比例减小近场识别范围。通过近场范围的可调节,可以保证识别准确率的同时,保证障碍物识别的灵活性。
具体地,所述识别上述至少一帧点云数据中的近场可信障碍物具体包括:将至少一帧点云数据输入近场障碍物检测模块,得出近场障碍物识别结果;
其中,所述近场障碍物检测模块是基于机器学习算法通过大量点云标记信息及点云数据信息训练得到的,用于对近场障碍物进行特征提取从而识别得到近场障碍物的检测模型。
其中,机器学习算法例如可以为pointnet++等。
可选的,还可以对上述近场障碍物进行运动特征分析,结合所述运动特征、距离范围、高度信息等,对得到的近场障碍物根据规则表进行进一步筛选,得到置信度达到预设值的近场障碍物。通过对近场障碍物的进一步过滤,可以进一步保证近场障碍物识别的准确率,减少近场障碍物的误识别。
具体地,在识别出近场障碍物后,可以对多帧点云数据中相同的近场障碍物进行连通、栅格化、过滤和裁切、聚类、跟踪等操作,从而得到远场中的潜在障碍物。接下来分别介绍上述几个操作。
连通:将多帧点云数据中近场障碍物进行匹配,可以得到各帧点云数据中同一个近场障碍物的跟踪序列,再将同一近场障碍物的跟踪序列进行连通,得到该近场障碍物的连通域。将所有的近场障碍物跟踪序列连通后,即可得到整个近场障碍物连通域。也即是说,所有的可信障碍物对应的连通域即可构成整个近场障碍物连通域。其中,跟踪序列可以用于表征同一个障碍物在不同帧中的位置、速度、高度等特征。
可选地,上述多帧点云数据为当前帧及与该当前帧连续的前M帧点云数据。其中,M为正整数。举例来说,若当前帧点云数据为第n帧点云数据,则多帧点云数据可以为第一帧到第n帧点云数据。
可选的,上述多帧点云数据也可为多帧历史点云数据。历史点云数据为包含当前帧的其他帧点云数据。举例来说,我们可以从历史点云数据中任选一帧进行近场障碍物识别,再从历史点云数据中抽出包含该帧点云数据的多帧点云数据进行近场障碍物识别,从而得到近场障碍物连通域。
栅格化:根据得到的近场障碍物连通域,可以对点云进行栅格化,并对栅格进行概率编码。栅格的概率即为该栅格内的点云为障碍物的概率,计算公式如下:
其中,N为栅格中包含的点云的数量;L为栅格到连通域的距离;N0为点云数量的阈值,a、b为权重系数。其中,a、b的取值主要取决于激光雷达的参数,不同线束的激光雷达对应的a、b的取值不同。N0取值例如但不限于为3、4、5等。可知,栅格到连通域的距离可以看作是栅格的中心到近场障碍物连通域的距离,或者看作是栅格内所有点云到近场障碍物连通域的距离的平均值,本申请实施例对此不作限定。
过滤和裁切:首先可以设置概率阈值,将概率小于该概率阈值的点云过滤掉,剩下概率大于或等于该概率阈值的点云。再对大于或等于该概率阈值的点云进行远场裁切,即确定距离信息大于或等于预设阈值的点云为远场潜在障碍物对应的点云为裁切后的点云。上述预设阈值例如但不限于为85米。上述概率阈值例如可以但不限于50%、80%等。
不限于先对点云数据进行过滤,再进行远场裁切,在具体实现中还可以先对点云数据进行远场裁切,再进行过滤,本申请实施例对于过滤和裁切的先后顺序不做限定。
聚类:将上述概率大于概率阈值的,且距离信息大于或等于预设阈值的点云进行聚类,生成远场中的潜在障碍物。具体可以使用DBSCAN方式进行聚类。DBSCAN是一种基于密度的聚类算法,这类密度聚类算法一般假定类别可以通过样本分布的紧密程度决定。通过将紧密相连的样本划为一类,这样就得到了一个聚类类别。通过将所有各组紧密相连的样本化为各个不同的类别,即可得到最终的聚类类别结果。
S403:根据上述远场潜在障碍物对应的点云数据获取上述远场潜在障碍物的标记信息。
其中,可以理解的是,由于本申请实施例中涉及的障碍物可能是移动的,随着时间的推移,当前识别的远场潜在障碍物在曾经某个时刻可能是近场中的可信障碍物。
其中,根据上述远场潜在障碍物对应的点云数据获取上述远场潜在障碍物的标记信息,具体包括:获取所述远场潜在障碍物对应的点云数据;获取所述远场潜在障碍物对应的点云数据帧之前的M帧点云数据,获取所述M帧点云数据中的近场障碍物集合,其中,所述近场障碍物集合为所述M帧点云数据识别出的不同近场障碍物的结合。将所述远场潜在障碍物对应的点云数据与所述近场障碍物集合中的近场障碍物点云数据进行匹配,当匹配度达到预设值时,则将所述近场障碍物所对应的标记信息作为所述远场潜在障碍物的标记信息。也即是说,曾经识别到的近场障碍物的识别结果可以作为当前的远场潜在障碍物识别结果,无需人工为其添加标记信息。
若无法匹配上,则可以根据点云形状,人工为其添加标记信息。
具体地,用户可以针对上述远场潜在障碍物(即远场中的潜在障碍物)对应的点云数据添加标记信息。其中,标记信息可以用于表征是否为障碍物。进一步地,标记信息可以用于表征具体的障碍物类型,标记信息还可以用于表征具体的障碍物的运动状态。
S404:获取上述远场潜在障碍物的跟踪信息,根据上述远场潜在障碍物的跟踪信息生成跟踪序列。
可选的,可以根据当前帧及与该当前帧连续的前M帧点云数据确定远场潜在障碍物的跟踪信息,M为正整数。
可选的,可以根据多帧历史点云数据确定远场潜在障碍物的跟踪信息。历史点云数据即为当前帧之前的其他帧点云数据。
对于多帧点云数据中相应远场潜在障碍物的匹配具体可以采用匈牙利算法。匈牙利算法是图论中寻找最大匹配的算法。算法将每个障碍物视为图中的一个端点,同一帧中的端点分为一组。匈牙利算法实现了在不同组间的端点匹配。其中,障碍物的位置、速度、尺寸等信息作为端点权重,相似的端点更倾向于匹配在一起。
具体地,跟踪序列可以用于表征同一个障碍物在不同帧中的位置、速度、高度等。
S405:根据上述远场潜在障碍物对应的跟踪序列提取跟踪特征。
其中,跟踪特征可以包括该障碍物对应的速度、方向角等特征。具体地,可以根据相邻帧间的点云数据中该障碍物所在的位置基于相邻帧间的时间差来获得该障碍物的速度特征。方向角特征可以根据相邻帧间的点云数据中该障碍物的实际朝向来确定。
S406:将上述标记信息及上述点云数据与跟踪特征作为样本数据,训练障碍物识别模型。
具体地,获取了该远场潜在障碍物的标记信息后,可以构建特征提取函数,对障碍物提取点云和跟踪特征得到训练数据。其中,点云特征主要可以包括高度、强度、法线等。跟踪特征主要包括速度、方向角等。
上述训练数据可以作为输入数据,上述标记信息可以作为输出数据。输入数据和输出数据可以组成一组样本数据。采用多组样本数据可以训练障碍物识别模型。
具体地,上述障碍物识别模型输出的结果为该点云数据中各部分可能包含的障碍物类型中概率最大的类型。即该点云数据中可能有多个部分均包含障碍物。各个部分包含的障碍物类型可能一致,也可能不一致。该障碍物识别模型可以确定各个部分分别对应的可能的障碍物类型,以及各个类型各自对应的概率。障碍物识别模型输出的结果为各个部分各自对应的概率最大的障碍物类型。
可选的,上述远场潜在障碍物除了可以用于检测远场潜在障碍物之外,还可以用于检测近场障碍物和验证近场障碍物识别结果。
在本申请一个或多个实施例中,可以通过对点云数据进行远场裁切后获得远场潜在障碍物对应的点云数据,并获取该远场潜在障碍物对应的点云数据具体为什么类型的障碍物(即标记信息)。同时还获取远场潜在障碍物对应的跟踪特征。通过大量的已知标记信息的点云数据与跟踪特征训练模型,可以得到障碍物识别模型。使用该障碍物识别模型可以提高远场潜在障碍物检测的准确性。本申请实施例在自动驾驶的场景下,可以将车流信息进行概率编码,将检测区域进行拓展,能够有效处理路口合并车道等复杂路况。在进行障碍物检测时,将车流跟踪信息和点云信息进行融合,构建出新的跟踪特征,将近场的特征延拓到远场,通过机器学习的方式,能够有效的进行障碍物检测,极大的提升了感知的效果,从而提升系统的安全性。
图5示例性示出了本申请实施例提供的另外一种障碍物识别模型训练方法的流程示意图。障碍物识别模型训练方法可由上述历史数据处理装置310执行。如图5所示,障碍物识别模型训练方法至少可以包括以下几个步骤:
S501:获取至少一帧点云数据。
具体地,S501与S401一致,此处不再赘述。
S502:识别上述至少一帧点云数据的近场障碍物。
具体地,近场障碍物识别模型可以是前述实施例中列举的pointnet++。
可选的,上述近场障碍物识别模型可以用于检测出近场中的障碍物(可信障碍物及不可信障碍物)。进一步再根据得到的障碍物进行运动特征分析,例如速度变化特征、角速度变化特征、运动距离等,结合距离范围特征和高度特征,可以筛选出其中的可信障碍物(以下称为近场障碍物)。
S503:将多帧点云数据中相同的近场障碍物进行连通,得到不同的近场障碍物各自对应的连通域。
具体地,将多帧点云数据中相同的近场障碍物进行连通,得到各帧点云数据中同一个可信障碍物的跟踪序列。再按照同一跟踪序列进行连通。将所有的跟踪序列连通后,可得到整个近场障碍物连通域。也即是说,多帧点云数据中的同一个可信障碍物连通后,可得到该可信障碍物对应的连通域。所有的可信障碍物对应的连通域即可构成整个近场障碍物连通域。其中,跟踪序列可以用于表征同一个障碍物在不同帧中的位置、速度、高度等特征。
可选的,上述多帧点云数据为当前帧及与该当前帧连续的前M帧点云数据。其中,M为正整数。
可选的,上述多帧点云数据为多帧历史点云数据。历史点云数据即为当前帧之前的其他帧点云数据。
S504:将上述连通域进行栅格化处理,并计算各个栅格对应的概率。
具体地,栅格化的处理过程可参考前述实施例S402中关于栅格化的相关描述,此处不再赘述。
具体地,关于各个栅格对应的概率的计算方式也可以参考前述实施例S402中关于栅格概率的计算公式,此处不再赘述。
S505:将概率小于预设阈值的栅格进行过滤。
具体地,首先可以设置概率阈值,将概率小于该概率阈值的点云过滤掉,剩下概率大于或等于该概率阈值的点云。
S506:根据上述点云数据的距离信息从过滤后的栅格中确定远场的点云数据。
具体地,对大于或等于该概率阈值的点云进行远场裁切,即确定距离信息大于或等于预设阈值的点云为远场潜在障碍物对应的点云为裁切后的点云。上述预设阈值例如但不限于为85米。上述概率阈值例如可以但不限于50%、80%等。
不限于先对点云数据进行过滤,再进行远场裁切,在具体实现中还可以先对点云数据进行远场裁切,再进行过滤,本申请实施例对于过滤和裁切的先后顺序不做限定。
S507:对上述远场的点云数据进行聚类处理,确定上述远场潜在障碍物对应的点云数据。
具体地,聚类的具体过程可参考前述实施例S402中关于聚类的相关描述,此处不再赘述。
S508:根据上述至远场潜在障碍对应的点云数据获取上述远场潜在障碍物的标记信息。
具体地,S508与S403一致,此处不再赘述。
S509:获取上述远场潜障碍物的跟踪信息,根据上述远场潜在障碍物的跟踪信息生成跟踪序列。
具体地,S509与S404一致,此处不再赘述。
S510:根据上述远场潜障碍物的对应的跟踪序列提取跟踪特征。
具体地,S510与S405一致,此处不再赘述。
S511:将上述标记信息及上述点云数据与跟踪特征作为样本数据,训练障碍物识别模型。
具体地,S511与S406一致,此处不再赘述。
在本申请一个或多个实施例中,可以通过对点云数据进行远场裁切后获得远场潜在障碍物对应的点云数据,并获取该远场潜在障碍物对应的点云数据具体为什么类型的障碍物(即标记信息)。同时还获取远场潜在障碍物对应的跟踪特征。通过大量的已知标记信息的点云数据与跟踪特征训练模型,可以得到远场障碍物识别模型。使用该远场障碍物识别模型可以提高远场障碍物检测的准确性。本申请实施例在自动驾驶的场景下,可以将车流信息进行概率编码,将检测区域进行拓展,能够有效处理路口合并车道等复杂路况。在进行障碍物检测时,将车流跟踪信息和点云信息进行融合,构建出新的跟踪特征,将近场的特征延拓到远场,通过机器学习的方式,能够有效的进行障碍物检测,极大的提升了感知的效果,从而提升系统的安全性。
在一些可能的实施例中,可以将上述标记信息及上述点云数据与上述跟踪特征作为样本数据,分别训练多个障碍物识别子模型,再将这多个子模型进行融合,得到上述障碍物识别模型。本申请实施例中可以将上述将样本数据分别输入到多个子模型中的训练称为第一层的模型的训练,将上述将多个子模型训练结果进行融合的训练称为第二层的模型的训练。
上述子模型训练应用的方法可以包括但不限于以下几个方法中的两个或多个:随机森林(random forest)、梯度提升决策树(Gradient Boosting Decision Tree,GBDT)、Xgboost、LightGBM。上述用于融合多个子模型的方式可以是采用逻辑回归(LogisticRegression)的方式进行融合。
接下来以包括两个子模型:第一障碍物识别子模型及第二障碍物识别子模型为例进行说明。
分别采用样本数据训练第一障碍物识别子模型及第二障碍物识别子模型;再将上述第一障碍物识别子模型与上述第二障碍物识别子模型进行融合,得到上述障碍物识别模型;
其中,上述第一障碍物识别子模型的输出结果为第一结果,上述第二障碍物识别子模型的输出结果为第二结果,上述第一结果与上述第二结果用于互相融合得到识别结果。
本申请实施例可以分别用样本数据训练多个障碍物识别子模型,再将这多个障碍物识别子模型的输出结果进行融合,得到最终的识别结果,进一步提高障碍物识别的准确性。
本申请实施例可以基于图4或图5实施例提供的障碍物识别模型训练方法训练得到的障碍物识别模型识别障碍物,提升障碍物检测的准确性,尤其是远场障碍物检测的准确性。
接下来结合图4和图5实施例提供的障碍物识别模型训练方法训练得到的远场障碍物识别模型,介绍本申请实施例提供的障碍物识别方法。
下面结合具体的实施例对本申请实施例提供的障碍物识别方法进行详细介绍。
图6示例性示出了一种障碍物识别方法的流程示意图。障碍物识别方法可由上述历史数据处理装置310执行。如图6所述,障碍物识别方法至少可以包括以下几个步骤:
S601:获取至少一帧点云数据。
具体地,S601与S401一致,此处不再赘述。
S602:对上述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据。
具体地,S602与S402一致,此处不再赘述。
S603:获取上述远场潜在障碍物的跟踪信息,根据上述远场潜在障碍物的跟踪信息生成跟踪序列。
具体地,S603与S404一致,此处不再赘述。
S604:根据上述远场潜在障碍物对应的跟踪序列提取跟踪特征。
具体地,S604与S405一致,此处不再赘述。
S605:将上述远场潜在障碍物对应的点云数据与上述跟踪特征输入到障碍物识别模型中,输出识别结果。
具体地,该障碍物识别模型可以是图4或图5实施例中训练得到的障碍物识别模型。
可选的,可以将上述远场潜在障碍物对应的点云数据输入到已训练好的障碍物识别模型中。障碍物识别模型可以输出识别结果,该识别结果可以是该点云数据中包含的一个或多个概率最大的障碍物类型。
在本申请一个或多个实施例中,通过对点云数据进行远场裁切后获得远场潜在障碍物对应的点云数据,并获取该远场潜在障碍物对应的点云数据具体为什么类型的障碍物(即标记信息)。同时还获取远场潜在障碍物对应的跟踪特征。通过大量的已知标记信息的点云数据与跟踪特征训练模型,可以得到障碍物识别模型。在后续的自动驾驶过程中使用该障碍物识别模型检测障碍物,可以提高远场潜在障碍物检测的准确性。本申请实施例在自动驾驶的场景下,可以将车流信息进行概率编码,将检测区域进行拓展,能够有效处理路口合并车道等复杂路况。在进行障碍物检测时,将车流跟踪信息和点云信息进行融合,构建出新的跟踪特征,将近场的特征延拓到远场,通过机器学习的方式,能够有效的进行障碍物检测,极大的提升了感知的效果,从而提升系统的安全性。
图7示例性示出了本申请实施例提供的另外一种障碍物识别方法的流程示意图。障碍物识别方法可由上述历史数据处理装置310执行。如图7所示,障碍物识别方法至少可以包括以下几个步骤:
S701:获取至少一帧点云数据。
具体地,S701与S601一致,此处不再赘述。
S702:对上述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据。
具体地,S702与S602一致,此处不再赘述。
S703:获取上述远场潜在障碍物的跟踪信息,根据上述远场潜在障碍物的跟踪信息生成跟踪序列。
具体地,S703与S603一致,此处不再赘述。
S704:根据上述远场潜在障碍物对应的跟踪序列提取跟踪特征。
具体地,S704与S604一致,此处不再赘述。
S705:将上述远场潜在障碍物对应的点云数据与跟踪特征输入到第一障碍物识别子模型中,输出第一结果。
具体地,第一障碍物识别子模型可以是通过随机森林方法训练得到的模型。第一障碍物识别子模型可以针对多帧点云数据中各个存在潜在障碍物的部分输出第一结果。即,第一障碍物识别子模型可以输出一个或多个第一结果。其中,第一结果可以包括该部分点云数据可能对应的一种或多种潜在障碍物类型,以及各种潜在障碍物类型对应的第一概率。
S706:将上述远场潜在障碍物对应的点云数据与跟踪特征输入到第二障碍物识别子模型中,输出第二结果。
具体地,第二障碍物识别子模型可以是通过梯度提升决策树(Gradient BoostingDecision Tree,GBDT)方法训练得到的模型。
类似的,第二障碍物识别子模型可以针对多帧点云数据中各个存在潜在障碍物的部分输出第二结果。即,第二障碍物识别子模型可以输出一个或多个第二结果。其中,第二结果可以包括该部分点云数据可能对应的一种或多种潜在障碍物类型,以及各种潜在障碍物类型对应的第二概率。
可以知道,第一障碍物识别子模型和第二障碍物识别子模型识别出的多帧点云数据的相同部分的点云数据可能对应的障碍物类型一致,且相同障碍物类型对应的第一概率及第二概率不一定相同。
S707:融合第一结果及第二结果,输出识别结果。
具体地,对第一结果及第二结果中相同潜在障碍物类型对应的第一概率及第二概率进行加权求和,确定各个潜在障碍物类型对应的目标概率。再确定上述各个目标概最高的潜在障碍物类型为识别结果。
示例性地,若某多帧点云数据中有A、B、C三个部分的点云数据对应一个潜在障碍物。则第一障碍物识别子模型可以输出三个第一结果,第二障碍物识别子模型可以输出三个第二结果。以A部分的识别结果为例进行说明。若第一障碍物识别子模型识别出A部分可能对应的潜在障碍物类型为X、Y、Z,且这三种类型各自对应的概率分别为P1、P2、P3。而第二障碍物识别子模型识别出A部分可能对应的潜在障碍物类型为X、Y、Z,且这三种类型各自对应的概率分别为P4、P5、P6。则融合第一结果及第二结果后,可以得出,潜在障碍物类型为X的概率Px=m×P1+n×P4;潜在障碍物类型为Y的概率PY=m×P2+n×P5;潜在障碍物类型为Z的概率PZ=m×P3+n×P6。针对A部分的识别结果即为PX、PY、PZ中的最大值对应的潜在障碍物类型。其中,m和n的取值均为(0,1),且m+n=1。
可以知道,不限于上述提供的随机森林模型及GBDT模型训练方法,在具体实现中,第一障碍物识别子模型及第二障碍物识别子模型的训练还可以采用其它模型训练方法,例如xgboost、lightgbm等模型训练方法,本申请实施例对此不作限定。
在本申请一个或多个实施例中,通过对点云数据进行远场裁切后获得远场潜在障碍物对应的点云数据,并获取该远场潜在障碍物对应的点云数据具体为什么类型的障碍物(即标记信息)。同时还获取远场潜在障碍物对应的跟踪特征。通过大量的已知标记信息的点云数据与跟踪特征训练模型,可以得到障碍物识别模型。在后续的自动驾驶过程中使用该障碍物识别模型检测障碍物,可以提高远场潜在障碍物检测的准确性。本申请实施例在自动驾驶的场景下,可以将车流信息进行概率编码,将检测区域进行拓展,能够有效处理路口合并车道等复杂路况。在进行障碍物检测时,将车流跟踪信息和点云信息进行融合,构建出新的跟踪特征,将近场的特征延拓到远场,通过机器学习的方式,能够有效的进行障碍物检测,极大的提升了感知的效果,从而提升系统的安全性。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参见图8,其示出了本申请一个示例性实施例提供的历史数据处理装置的结构示意图。该历史数据处理装置可以通过软件、硬件或者两者的结合实现。历史数据处理装置800包括获取模块810、处理模块820、标记模块830、跟踪模块840、提取模块850及训练模块860。其中:
取模块810,用于获取至少一帧点云数据。
处理模块820,用于对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据;所述远场潜在障碍物为预设范围外的障碍物。
标记模块830,用于根据所述潜在障碍物对应的点云数据获取所述远场潜在障碍物的标记信息。
跟踪模块840,用于获取所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列。
提取模块850,用于根据所述远场潜在障碍物对应的跟踪序列提取跟踪特征。
训练模块860,用于将所述标记信息及所述点云数据与所述跟踪特征作为样本数据,训练障碍物识别模型。
在一种可能的实施例中,跟踪模块840,具体用于:根据当前帧及与所述当前帧连续的前M帧点云数据确定所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列,所述M为正整数。
在一种可能的实施例中,跟踪模块840,具体用于:根据多帧历史点云数据确定所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列。
在一种可能的实施例中,处理模块820可以包括:近场障碍物识别单元及确定单元。其中:
近场障碍物识别单元,具体用于识别所述至少一帧点云数据中的近场障碍物;所述近场障碍物为所述预设范围内的障碍物。
确定单元,具体用于根据所述近场障碍物确定所述至少一帧点云数据的远场潜在障碍物对应的点云数据。
在一种可能的实施例中,所述点云数据包括距离信息。
确定单元可以包括:连通子单元、栅格化子单元、过滤子单元、确定子单元、聚类子单元。其中:
连通子单元,具体用于多帧点云数据中相同的近场障碍物进行连通,得到不同的近场障碍物各自对应的连通域;其中,所述多帧点云数据为当前帧及与所述当前帧连续的前M帧点云数据,或者所述多帧点云数据为多帧历史点云数据;所述M为正整数。
栅格化子单元,具体用于将所述连通域进行栅格化处理,并计算各个栅格对应的概率。
过滤子单元,具体用于将概率小于预设阈值的栅格进行过滤;
确定子单元,具体用于根据所述点云数据的距离信息从过滤后的栅格中确定远场的点云数据。
聚类子单元,具体用于对所述远场的点云数据进行聚类处理,确定所述远场潜在障碍物对应的点云数据。
在一种可能的实施例中,栅格的概率计算公式为:
其中,N为所述栅格中包含的点云的数量;L为所述栅格到所述连通域的距离;N0为点云数量的阈值,a、b为权重系数。
在一种可能的实施例中,训练模块860具体用于:将所述标记信息及所述点云数据与所述跟踪特征作为样本数据,分别训练第一障碍物识别子模型及第二障碍物识别子模型;将所述第一障碍物识别子模型与所述第二障碍物识别子模型进行融合,得到所述障碍物识别模型。其中:所述第一障碍物识别子模型的输出结果为第一结果,所述第二障碍物识别子模型的输出结果为第二结果,所述第一结果与所述第二结果用于互相融合得到识别结果。
需要说明的是,上述实施例提供的历史数据处理装置在执行障碍物识别模型训练方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的历史数据处理装置与障碍物识别模型训练方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请一个或多个实施例中,通过对点云数据进行远场裁切后获得远场潜在障碍物对应的点云数据,并获取该远场潜在障碍物对应的点云数据具体为什么类型的障碍物(即标记信息)。同时还获取远场潜在障碍物对应的跟踪特征。通过大量的已知标记信息的点云数据与跟踪特征训练模型,可以得到障碍物识别模型。使用该障碍物识别模型可以提高远场潜在障碍物检测的准确性。在自动驾驶的场景下,可以提升系统的安全性。
请参见图9,其示出了本申请一个示例性实施例提供的历史数据处理装置的结构示意图。该历史数据处理装置可以通过软件、硬件或者两者的结合实现。历史数据处理装置900包括获取模块910、处理模块920、跟踪模块930、提取模块940及识别模块950。其中:
获取模块910,用于获取至少一帧点云数据。
处理模块920,用于对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据;所述远场潜在障碍物为预设范围外的障碍物。
跟踪模块930,用于获取所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列。
提取模块940,用于根据所述远场潜在障碍物对应的跟踪序列提取跟踪特征。
识别模块950,用于将所述远场潜在障碍物对应的点云数据与跟踪特征输入到障碍物识别模型中,输出识别结果;所述障碍物识别模型图8实施例中的历史数据处理装置训练得到的障碍物识别模型。
在一种可能的实施例中,识别模块950可以包括:第一输出单元、第二输出单元及融合单元。其中:
第一输出单元,用于将所述远场潜在障碍物对应的点云数据与所述跟踪特征输入到第一障碍物识别子模型中,输出第一结果。
第二输出单元,用于将所述远场潜在障碍物对应的点云数据与所述跟踪特征输入到第二障碍物识别子模型中,输出第二结果。
融合单元,用于融合所述第一结果及所述第二结果,输出识别结果。
在一种可能的实施例中,所述第一结果包括一个或多个障碍物类型及各个类型各自对应的第一概率;所述第二结果包括一个或多个障碍物类型及各个类型各自对应的第二概率。
融合单元可以包括:加权求和子单元及识别结果确定子单元。其中:
加权求和子单元,具体用于对所述第一结果及所述第二结果中相同障碍物类型对应的所述第一概率及所述第二概率进行加权求和,确定各个所述障碍物类型对应的目标概率。
识别结果确定子单元,具体用于确定所述目标概率最高的障碍物类型为所述识别结果。
需要说明的是,上述实施例提供的历史数据处理装置在执行障碍物识别方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的历史数据处理装置与障碍物识别方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请一个或多个实施例中,通过对点云数据进行远场裁切后获得远场潜在障碍物对应的点云数据,并获取该远场潜在障碍物对应的点云数据具体为什么类型的障碍物(即标记信息)。同时还获取远场潜在障碍物对应的跟踪特征。通过大量的已知标记信息的点云数据与跟踪特征训练模型,可以得到障碍物识别模型。在后续的自动驾驶过程中使用该障碍物识别模型检测障碍物,可以提高远场潜在障碍物检测的准确性。在自动驾驶的场景下,可以提升系统的安全性。
请参见图10,为本申请实施例提供了另外一种历史数据处理装置的结构示意图。如图10所示,所述历史数据处理装置100可以包括:至少一个处理器1001,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。
其中,通信总线1002用于实现这些组件之间的连接通信。
其中,用户接口1003可以包括显示屏(Display)、传感器接口,可选用户接口1003还可以包括标准的有线接口、无线接口。
其中,网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个历史数据处理装置100内的各个部分,通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集,以及调用存储在存储器1005内的数据,执行历史数据处理装置100的各种功能和处理数据。可选的,处理器1001可以采用数字信号处理(DigitalSignal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit,CPU)、图像处理器(GraphicsProcessing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1001中,单独通过一块芯片进行实现。
其中,存储器1005可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及障碍物识别模型训练应用程序。
在图10所示的历史数据处理装置100中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;而处理器1001可以用于调用存储器1005中存储的障碍物识别模型训练应用程序,并具体执行以下操作:
获取至少一帧点云数据;
对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据;所述远场潜在障碍物为预设范围外的障碍物;
根据所述潜在障碍物对应的点云数据获取所述远场潜在障碍物的标记信息;
获取所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列;
获取所述远场潜在障碍物对应的点云数据的标记信息;
将多组所述标记信息及所述点云数据与所述跟踪特征作为样本数据,训练障碍物识别模型。
在一种可能的实施例中,处理器1001执行获取所述远场潜在障碍物的跟踪信息时,具体执行:根据当前帧及与所述当前帧连续的前M帧点云数据确定所述远场潜在障碍物的跟踪信息,所述M为正整数。
在一种可能的实施例中,处理器1001执行获取所述远场潜在障碍物的跟踪信息时,具体执行:根据多帧历史点云数据确定所述远场潜在障碍物的跟踪信息。
在一种可能的实施例中,处理器1001执行所述对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据时,具体执行:
识别所述至少一帧点云数据中的近场障碍物;所述近场障碍物为所述预设范围内的障碍物;
根据所述近场障碍物确定及所述至少一帧点云数据的远场潜在障碍物对应的点云数据。
在一种可能的实施例中,所述点云数据包括距离信息;
处理器1001执行所述根据所述近场障碍物确定所述至少一帧点云数据的远场潜在障碍物对应的点云数据时,具体执行:
将多帧点云数据中相同的近场障碍物进行连通,得到不同的近场障碍物各自对应的连通域;其中,所述多帧点云数据为当前帧及与所述当前帧连续的前M帧点云数据,或者所述多帧点云数据为多帧历史点云数据;所述M为正整数;
将所述连通域进行栅格化处理,并计算各个栅格对应的概率;
将概率小于预设阈值的栅格进行过滤;
根据所述点云数据的距离信息从过滤后的栅格中确定远场的点云数据;
对所述远场的点云数据进行聚类处理,确定所述远场潜在障碍物对应的点云数据。
在一种可能的实施例中,栅格的概率计算公式为:
其中,N为所述栅格中包含的点云的数量;L为所述栅格到所述连通域的距离;N0为点云数量的阈值,a、b为权重系数。
在一种可能的实施例中,处理器1001执行所述将所述标记信息及所述点云数据与所述跟踪特征作为样本数据,训练障碍物识别模型时,具体执行:
将所述标记信息及所述点云数据与所述跟踪特征作为样本数据,分别训练第一障碍物识别子模型及第二障碍物识别子模型;
将所述第一障碍物识别子模型与所述第二障碍物识别子模型进行融合,得到所述障碍物识别模型;
其中,所述第一障碍物识别子模型的输出结果为第一结果,所述第二障碍物识别子模型的输出结果为第二结果,所述第一结果与所述第二结果用于互相融合得到识别结果。
在本申请一个或多个实施例中,通过对点云数据进行远场裁切后获得远场潜在障碍物对应的点云数据,并获取该远场潜在障碍物对应的点云数据具体为什么类型的障碍物(即标记信息)。同时还获取远场潜在障碍物对应的跟踪特征。通过大量的已知标记信息的点云数据与跟踪特征训练模型,可以得到障碍物识别模型。在后续的自动驾驶过程中使用该障碍物识别模型检测障碍物,可以提高远场潜在障碍物检测的准确性。在自动驾驶的场景下,可以提升系统的安全性。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机或处理器上运行时,使得计算机或处理器执行上述图4-图5所示实施例中的一个或多个步骤。上述历史数据处理装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在所述计算机可读取存储介质中。
请参见图11,为本申请实施例提供了另外一种历史数据处理装置的结构示意图。如图11所示,所述历史数据处理装置200可以包括:至少一个处理器2001,至少一个网络接口2004,用户接口2003,存储器2005,至少一个通信总线2002。
其中,通信总线2002用于实现这些组件之间的连接通信。
其中,用户接口2003可以包括显示屏(Display)、传感器接口,可选用户接口2003还可以包括标准的有线接口、无线接口。
其中,网络接口2004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器2001可以包括一个或者多个处理核心。处理器2001利用各种接口和线路连接整个历史数据处理装置200内的各个部分,通过运行或执行存储在存储器2005内的指令、程序、代码集或指令集,以及调用存储在存储器2005内的数据,执行历史数据处理装置200的各种功能和处理数据。可选的,处理器2001可以采用数字信号处理(DigitalSignal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器2001可集成中央处理器(Central Processing Unit,CPU)、图像处理器(GraphicsProcessing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器2001中,单独通过一块芯片进行实现。
其中,存储器2005可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器2005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器2005可用于存储指令、程序、代码、代码集或指令集。存储器2005可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器2005可选的还可以是至少一个位于远离前述处理器2001的存储装置。如图11所示,作为一种计算机存储介质的存储器2005中可以包括操作系统、网络通信模块、用户接口模块以及障碍物识别应用程序。
在图11所示的历史数据处理装置200中,用户接口2003主要用于为用户提供输入的接口,获取用户输入的数据;而处理器2001可以用于调用存储器2005中存储的障碍物识别应用程序,并具体执行以下操作:
获取至少一帧点云数据;
对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据;所述远场潜在障碍物为预设范围外的障碍物;
获取所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列;
根据所述远场潜在障碍物对应的跟踪序列提取跟踪特征;
将所述远场潜在障碍物对应的点云数据与跟踪特征输入到障碍物识别模型中,输出识别结果;所述障碍物识别模型为本申请前述实施例提供的远场潜在障碍物识别模型。
在一种可能的实施例中,处理器2001执行所述将所述远场潜在障碍物对应的点云数据与所述跟踪特征输入到障碍物识别模型中,输出识别结果时,具体执行:
将所述远场潜在障碍物对应的点云数据与所述跟踪特征输入到第一障碍物识别子模型中,输出第一结果;
将所述远场潜在障碍物对应的点云数据与所述跟踪特征输入到第二障碍物识别子模型中,输出第二结果;
融合所述第一结果及所述第二结果,输出识别结果。
在一种可能的实施例中,所述第一结果包括一个或多个障碍物类型及各个类型各自对应的第一概率;所述第二结果包括一个或多个障碍物类型及各个类型各自对应的第二概率;
处理器2001执行所述融合所述第一结果及所述第二结果,输出识别结果时,具体执行:
对所述第一结果及所述第二结果中相同障碍物类型对应的所述第一概率及所述第二概率进行加权求和,确定各个所述障碍物类型对应的目标概率;
确定所述目标概率最高的障碍物类型为所述识别结果。
在本申请一个或多个实施例中,通过对点云数据进行远场裁切后获得远场潜在障碍物对应的点云数据,并获取该远场潜在障碍物对应的点云数据具体为什么类型的障碍物(即标记信息)。同时还获取远场潜在障碍物对应的跟踪特征。通过大量的已知标记信息的点云数据与跟踪特征训练模型,可以得到障碍物识别模型。在后续的自动驾驶过程中使用该障碍物识别模型检测障碍物,可以提高远场潜在障碍物检测的准确性。在自动驾驶的场景下,可以提升系统的安全性。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机或处理器上运行时,使得计算机或处理器执行上述图6-图7所示实施例中的一个或多个步骤。上述历史数据处理装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在所述计算机可读取存储介质中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital SubscriberLine,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字多功能光盘(Digital VersatileDisc,DVD))、或者半导体介质(例如,固态硬盘(Solid State Disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。而前述的存储介质包括:制度存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。在不冲突的情况下,本实施例和实施方案中的技术特征可以任意组合。
以上所述的实施例仅仅是本申请的优选实施例方式进行描述,并非对本申请的范围进行限定,在不脱离本申请的设计精神的前提下,本领域普通技术人员对本申请的技术方案作出的各种变形及改进,均应落入本申请的权利要求书确定的保护范围内。
Claims (10)
1.一种障碍物识别模型训练方法,其特征在于,包括:
获取至少一帧点云数据;
对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据;所述远场潜在障碍物为预设范围外的障碍物;
根据所述远场潜在障碍物对应的点云数据获取所述远场潜在障碍物的标记信息;
获取所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列;根据所述跟踪序列提取跟踪特征;将所述远场潜在障碍物的标记信息、所述远场潜在障碍物对应的点云数据与所述跟踪特征作为样本数据,训练远场潜在障碍物识别模型。
2.如权利要求1所述的方法,所述对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据,包括:
识别所述至少一帧点云数据中的近场障碍物;所述近场障碍物为所述预设范围内的障碍物;
根据所述近场障碍物确定所述至少一帧点云数据的远场潜在障碍物对应的点云数据。
3.如权利要求2所述的方法,其特征在于,所述点云数据包括距离信息;
所述根据所述近场障碍物确定所述至少一帧点云数据的远场潜在障碍物对应的点云数据,包括:
将多帧点云数据中相同的近场障碍物进行连通,得到不同的近场障碍物各自对应的连通域;其中,所述多帧点云数据为当前帧及与所述当前帧连续的前M帧点云数据,或者所述多帧点云数据为多帧历史点云数据;所述M为正整数;
将所述连通域进行栅格化处理,并计算各个栅格对应的概率;
将概率小于预设阈值的栅格进行过滤;
根据所述点云数据的距离信息从过滤后的栅格中确定远场的点云数据;
对所述远场的点云数据进行聚类处理,确定所述远场潜在障碍物对应的点云数据。
5.一种障碍物识别方法,其特征在于,包括:
获取至少一帧点云数据;
对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据;所述远场潜在障碍物为预设范围外的障碍物;
获取所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列;
根据所述远场潜在障碍物对应的跟踪序列提取跟踪特征;
将所述远场潜在障碍物对应的点云数据与所述跟踪特征输入到障碍物识别模型中,输出识别结果;所述障碍物识别模型为权利要求1-4任一项所述的障碍物识别模型。
6.如权利要求5所述的方法,其特征在于,所述将所述远场潜在障碍物对应的点云数据与所述跟踪特征输入到障碍物识别模型中,输出识别结果,包括:
将所述远场潜在障碍物对应的点云数据与所述跟踪特征输入到第一远场障碍物识别子模型中,输出第一结果;
将所述远场潜在障碍物对应的点云数据与所述跟踪特征输入到第二远场障碍物识别子模型中,输出第二结果;
融合所述第一结果及所述第二结果,输出识别结果。
7.如权利要求6所述的方法,其特征在于,所述第一结果包括一个或多个障碍物类型及各个类型各自对应的第一概率;所述第二结果包括所述一个或多个障碍物类型及各个类型各自对应的第二概率;
所述融合所述第一结果及所述第二结果,输出识别结果,包括:
对所述第一结果及所述第二结果中相同障碍物类型对应的所述第一概率及所述第二概率进行加权求和,确定各个所述障碍物类型对应的目标概率;
确定所述目标概率最高的障碍物类型为所述识别结果。
8.一种历史数据处理装置,其特征在于,包括:
获取模块,用于获取至少一帧点云数据;
处理模块,用于对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据;所述远场潜在障碍物为预设范围外的障碍物;
标记模块,用于根据所述潜在障碍物对应的点云数据获取所述远场潜在障碍物的标记信息;
跟踪模块,用于获取所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列;
提取模块,用于根据所述远场潜在障碍物对应的跟踪序列提取跟踪特征;
训练模块,用于将所述标记信息及所述点云数据与所述跟踪特征作为样本数据,训练障碍物识别模型。
9.一种历史数据处理装置,其特征在于,包括:
获取模块,用于获取至少一帧点云数据;
处理模块,用于对所述至少一帧点云数据进行处理,得到远场潜在障碍物对应的点云数据;所述远场潜在障碍物为预设范围外的障碍物;
跟踪模块,用于获取所述远场潜在障碍物的跟踪信息,根据所述远场潜在障碍物的跟踪信息生成跟踪序列;
提取模块,用于根据所述远场潜在障碍物对应的跟踪序列提取跟踪特征;
识别模块,用于将所述远场潜在障碍物对应的点云数据与所述跟踪特征输入到障碍物识别模型中,输出识别结果;所述障碍物识别模型为权利要求1-4任一项所述的障碍物识别模型。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110015842.4A CN112329754B (zh) | 2021-01-07 | 2021-01-07 | 障碍物识别模型训练方法、障碍物识别方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110015842.4A CN112329754B (zh) | 2021-01-07 | 2021-01-07 | 障碍物识别模型训练方法、障碍物识别方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112329754A true CN112329754A (zh) | 2021-02-05 |
CN112329754B CN112329754B (zh) | 2021-05-14 |
Family
ID=74302358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110015842.4A Active CN112329754B (zh) | 2021-01-07 | 2021-01-07 | 障碍物识别模型训练方法、障碍物识别方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112329754B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112991735A (zh) * | 2021-03-05 | 2021-06-18 | 北京百度网讯科技有限公司 | 交通流量监测系统的测试方法、装置及设备 |
CN113566780A (zh) * | 2021-09-26 | 2021-10-29 | 湖北经济学院 | 一种基于红外热像仪的人机测距方法及系统 |
CN113673383A (zh) * | 2021-08-05 | 2021-11-19 | 苏州智加科技有限公司 | 一种面向复杂道路场景的时空域障碍物检测方法及系统 |
CN114675274A (zh) * | 2022-03-10 | 2022-06-28 | 北京三快在线科技有限公司 | 障碍物检测方法、装置、存储介质及电子设备 |
CN115792945A (zh) * | 2023-01-30 | 2023-03-14 | 智道网联科技(北京)有限公司 | 一种浮空障碍物检测方法、装置和电子设备、存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106772435A (zh) * | 2016-12-12 | 2017-05-31 | 浙江华飞智能科技有限公司 | 一种无人机避障方法和装置 |
CN109283538A (zh) * | 2018-07-13 | 2019-01-29 | 上海大学 | 一种基于视觉和激光传感器数据融合的海上目标大小检测方法 |
US20190179332A1 (en) * | 2017-12-08 | 2019-06-13 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for outputting obstacle information |
CN110084895A (zh) * | 2019-04-30 | 2019-08-02 | 上海禾赛光电科技有限公司 | 对点云数据进行标注的方法和设备 |
CN110728701A (zh) * | 2019-08-23 | 2020-01-24 | 珠海格力电器股份有限公司 | 带毫米波雷达的手杖的控制方法、装置及智能手杖 |
CN111352926A (zh) * | 2018-12-20 | 2020-06-30 | 北京沃东天骏信息技术有限公司 | 数据处理的方法、装置、设备及可读存储介质 |
-
2021
- 2021-01-07 CN CN202110015842.4A patent/CN112329754B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106772435A (zh) * | 2016-12-12 | 2017-05-31 | 浙江华飞智能科技有限公司 | 一种无人机避障方法和装置 |
US20190179332A1 (en) * | 2017-12-08 | 2019-06-13 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for outputting obstacle information |
CN109283538A (zh) * | 2018-07-13 | 2019-01-29 | 上海大学 | 一种基于视觉和激光传感器数据融合的海上目标大小检测方法 |
CN111352926A (zh) * | 2018-12-20 | 2020-06-30 | 北京沃东天骏信息技术有限公司 | 数据处理的方法、装置、设备及可读存储介质 |
CN110084895A (zh) * | 2019-04-30 | 2019-08-02 | 上海禾赛光电科技有限公司 | 对点云数据进行标注的方法和设备 |
CN110728701A (zh) * | 2019-08-23 | 2020-01-24 | 珠海格力电器股份有限公司 | 带毫米波雷达的手杖的控制方法、装置及智能手杖 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112991735A (zh) * | 2021-03-05 | 2021-06-18 | 北京百度网讯科技有限公司 | 交通流量监测系统的测试方法、装置及设备 |
CN113673383A (zh) * | 2021-08-05 | 2021-11-19 | 苏州智加科技有限公司 | 一种面向复杂道路场景的时空域障碍物检测方法及系统 |
CN113673383B (zh) * | 2021-08-05 | 2024-04-19 | 苏州智加科技有限公司 | 一种面向复杂道路场景的时空域障碍物检测方法及系统 |
CN113566780A (zh) * | 2021-09-26 | 2021-10-29 | 湖北经济学院 | 一种基于红外热像仪的人机测距方法及系统 |
CN114675274A (zh) * | 2022-03-10 | 2022-06-28 | 北京三快在线科技有限公司 | 障碍物检测方法、装置、存储介质及电子设备 |
CN115792945A (zh) * | 2023-01-30 | 2023-03-14 | 智道网联科技(北京)有限公司 | 一种浮空障碍物检测方法、装置和电子设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112329754B (zh) | 2021-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112329754B (zh) | 障碍物识别模型训练方法、障碍物识别方法、装置及系统 | |
CN112347999B (zh) | 障碍物识别模型训练方法、障碍物识别方法、装置及系统 | |
KR102210715B1 (ko) | 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기 | |
CN112417967B (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
CN110226186B (zh) | 表示地图元素的方法和装置以及定位的方法和装置 | |
CN112562314B (zh) | 基于深度融合的路端感知方法、装置、路端设备和系统 | |
CN108509820B (zh) | 障碍物分割方法及装置、计算机设备及可读介质 | |
CN111291697B (zh) | 用于识别障碍物的方法和装置 | |
CN109214348A (zh) | 一种障碍物检测方法、装置、设备及存储介质 | |
CN113366486A (zh) | 使用区域外上下文的对象分类 | |
CN108470174B (zh) | 障碍物分割方法及装置、计算机设备及可读介质 | |
CN113412505A (zh) | 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的系统和方法 | |
CN113378760A (zh) | 训练目标检测模型和检测目标的方法及装置 | |
KR20220001274A (ko) | 3d 맵의 변경 구역 업데이트 시스템 및 그 방법 | |
CN116547562A (zh) | 点云滤噪方法、系统和可移动平台 | |
CN114675295A (zh) | 一种障碍物判定的方法、装置、设备及存储介质 | |
CN113792598B (zh) | 基于车载摄像头的汽车碰撞预测系统和方法 | |
CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
CN113988197A (zh) | 基于多相机、多激光雷达的联合标定及目标融合检测方法 | |
EP3764335A1 (en) | Vehicle parking availability map systems and methods | |
US8483478B1 (en) | Grammar-based, cueing method of object recognition, and a system for performing same | |
CN111813882A (zh) | 一种机器人地图构建方法、设备及存储介质 | |
WO2022237210A1 (zh) | 障碍物信息生成 | |
WO2023065312A1 (zh) | 障碍物识别方法、装置、存储介质及电子设备 | |
CN114882458A (zh) | 一种目标跟踪方法、系统、介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |