CN118115968A - 障碍物检测方法、装置、设备以及计算机可读存储介质 - Google Patents
障碍物检测方法、装置、设备以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN118115968A CN118115968A CN202410189256.5A CN202410189256A CN118115968A CN 118115968 A CN118115968 A CN 118115968A CN 202410189256 A CN202410189256 A CN 202410189256A CN 118115968 A CN118115968 A CN 118115968A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- information
- obstacle information
- preset
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 151
- 238000000034 method Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 description 12
- 238000013136 deep learning model Methods 0.000 description 11
- 238000001914 filtration Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012067 mathematical method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种障碍物检测方法、装置、设备以及计算机可读存储介质,属于智能驾驶技术领域,该障碍物检测方法包括:获取预设障碍物检测模型检测到的车辆周边的即时障碍物的第一障碍物信息;基于第一障碍物信息判断即时障碍物是否满足预设的误检条件;在即时障碍物不满足误检条件的情况下,基于第一障碍物信息对预先构建的数据结构进行更新,其中,数据结构中存放的存档障碍物的第二障碍物信息用于控车。本申请提供一种障碍物检测策略,以提高车辆周边障碍物检测的准确性。
Description
技术领域
本申请属于智能驾驶技术领域,尤其涉及一种障碍物检测方法、装置、设备以及计算机可读存储介质。
背景技术
智能驾驶技术主要包括环境感知、决策规划和轨迹跟踪三个方面,其中,环境感知是实现车辆智能驾驶的第一个环节,主要通过车辆上安装的摄像头、毫米波雷达、超声波雷达和激光雷达等各类传感器获取车辆周边信息,产生图片数据、视频数据、点云数据以及电磁波数据等信息。
车辆周边的障碍物检测是环境感知层的重要内容,是实现车辆智能驾驶功能的前提。目前,常见的障碍物检测方式为通过深度学习模型检测智能驾驶场景中的障碍物信息,然而由于深度学习模型的预测结果受到多种因素的影响,如数据质量、模型结构、训练方法、参数数量等,导致深度学习模型的准确度难以保证的问题。
综上,如何提供一种障碍物检测策略,以提高车辆周边障碍物检测的准确性,已经成为智能驾驶技术领域亟待解决的技术问题。
发明内容
本申请的主要目的在于提供一种障碍物检测方法、装置、设备以及计算机可读存储介质。旨在提高车辆周边障碍物检测的准确性。
为了实现上述目的,本申请提供一种障碍物检测方法,所述障碍物检测方法包括以下步骤:
获取预设障碍物检测模型检测到的车辆周边的即时障碍物的第一障碍物信息;
基于所述第一障碍物信息判断所述即时障碍物是否满足预设的误检条件;
在所述即时障碍物不满足所述误检条件的情况下,基于所述第一障碍物信息对预先构建的数据结构进行更新,其中,所述数据结构中存放的存档障碍物的第二障碍物信息用于控车。
可选地,所述第一障碍物信息包括所述即时障碍物的位置、置信度和障碍物类型,所述基于所述第一障碍物信息判断所述即时障碍物是否满足预设的误检条件的步骤,包括:
在所述位置在所述车辆的可观测区域内且所述置信度大于第一预设阈值的情况下,基于所述障碍物类型判断所述即时障碍物是否满足预设的误检条件。
可选地,所述第一障碍物信息还包括所述即时障碍物的航向角,所述基于所述障碍物类型判断所述即时障碍物是否满足预设的误检条件的步骤,包括:
在所述障碍物类型为非车辆类型的情况下,确定所述即时障碍物不满足预设的误检条件;
在所述障碍物类型为车辆类型的情况下,判断所述航向角是否在预设标准范围内;
若所述航向角在所述预设标准范围内,则确定所述即时障碍物不满足预设的误检条件。
可选地,所述第一障碍物信息还包括所述即时障碍物所在的第一区域,所述第二障碍物信息包括所述存档障碍物所在的第二区域,所述基于所述第一障碍物信息对预先构建的数据结构进行更新的步骤,包括:
在所述即时障碍物和所述存档障碍物的类型均为车辆类型的情况下,确定所述第一区域和所述第二区域之间的交并比;
在所述交并比大于第二预设阈值时,基于所述第一障碍物信息对第二障碍物信息进行更新;
在所述交并比小于或者等于所述第二预设阈值时,将所述第一障碍物信息添加至预先构建的数据结构中以对所述数据结构进行更新。
可选地,所述基于所述第一障碍物信息对预先构建的数据结构进行更新的步骤,包括:
在所述即时障碍物和所述存档障碍物的类型均为非车辆类型的情况下,确定所述即时障碍物的中点坐标和所述存档障碍物的中心坐标之间的距离;
在所述距离小于预设距离时,基于所述第一障碍物信息对所述第二障碍物信息进行更新;
在所述距离大于或者等于所述预设距离时,将所述第一障碍物信息添加至预先构建的数据结构中以对所述数据结构进行更新。
可选地,所述车辆的可观测区域由第三区域和第四区域构成,在所述第三区域内检测到的障碍物信息比在所述第四区域内检测到的障碍物信息更准确;
所述基于所述第一障碍物信息对所述第二障碍物信息进行更新的步骤,包括:
在所述存档障碍物的位置在所述第三区域内的情况下,基于预设权重对所述第一障碍物信息和所述第二障碍物信息进行加权求和,得到更新后的第二障碍物信息;
在所述即时障碍物的位置在所述第四区域内的情况下,将所述第一障碍物信息替换所述第二障碍物信息,得到更新后的第二障碍物信息。
可选地,所述基于所述第一障碍物信息对预先构建的数据结构进行更新的步骤之后,所述方法还包括:
在所述第二障碍物信息的更新频率大于第三预设阈值时,基于所述第二障碍物信息对所述车辆进行控制。
此外,为实现上述目的,本申请还提供一种障碍物检测装置,所述障碍物检测装置包括以下步骤:
获取模块,用于获取预设障碍物检测模型检测到的车辆周边的即时障碍物的第一障碍物信息;
判断模块,用于基于所述第一障碍物信息判断所述即时障碍物是否满足预设的误检条件;
更新模块,用于在所述即时障碍物不满足所述误检条件的情况下,基于所述第一障碍物信息对预先构建的数据结构进行更新,其中,所述数据结构中存放的存档障碍物的第二障碍物信息用于控车。
此外,为实现上述目的,本申请还提供一种障碍物检测设备,所述障碍物检测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的障碍物检测程序,所述障碍物检测设备的障碍物检测程序被所述处理器执行时实现如上所述的障碍物检测方法的步骤。
此外,为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有障碍物检测程序,所述障碍物检测程序被处理器执行时实现如上所述的障碍物检测方法的步骤。
本申请实施例通过获取预设障碍物检测模型检测到的车辆周边的即时障碍物的第一障碍物信息,基于该第一障碍物信息判断即时障碍物是否满足预设的误检条件,在即时障碍物不满足预设的误检条件的情况下,基于第一障碍物信息对预先构建的数据结构进行更新,需要说明的是,该数据结构中存放的是用于控车的第二障碍物信息,第二障碍物信息为数据结构中保存的各障碍物(即存档障碍物)的障碍物信息。如此,相比于传统基于深度学习模型对车辆周边的障碍物进行检测以实现避障控车的方式,本申请在得到障碍物检测模型检测到的障碍物信息之后,对该障碍物信息进行误检判断,以过滤掉误检的障碍物信息,并基于不满足预设误检条件的障碍物信息对用于控车的障碍物信息进行更新,以基于实时检测到的新的障碍物信息进行车辆避障控制,从而提高了车辆周边障碍物检测的准确性。
附图说明
图1是本申请实施例方案涉及的障碍物检测设备硬件运行环境的设备结构示意图;
图2为本申请障碍物检测方法第一实施例的步骤流程示意图;
图3为本申请障碍物检测方法的一实施例所涉及的模型检测流程示意图;
图4为本申请障碍物检测方法的一实施例所涉及的模型检测结果示意图;
图5为本申请障碍物检测方法的一实施例所涉及的最佳观测区示意图;
图6为本申请障碍物检测方法的一实施例所涉及的交并比计算公式示意图;
图7为本申请障碍物检测装置一实施例的功能模块示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,图1为本申请实施例方案涉及障碍物检测设备的硬件运行环境的设备结构示意图。
需要说明的是,本申请实施例涉及智能驾驶技术领域的障碍物检测设备。具体地,该障碍物检测设备可以是车辆、智能手机、PC(Personal Computer,个人计算机)、平板电脑、便携计算机等等。
如图1所示,该障碍物检测设备可以包括:处理器1001,例如CPU,通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(DiSplay)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。以下为便于描述,省略各实施例中方法步骤的执行主体。
本领域技术人员可以理解,图1中示出的障碍物检测设备结构并不构成对障碍物检测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及障碍物检测程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端,与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的障碍物检测程序,并执行如下操作:
获取预设障碍物检测模型检测到的车辆周边的即时障碍物的第一障碍物信息;
基于所述第一障碍物信息判断所述即时障碍物是否满足预设的误检条件;
在所述即时障碍物不满足所述误检条件的情况下,基于所述第一障碍物信息对预先构建的数据结构进行更新,其中,所述数据结构中存放的存档障碍物的第二障碍物信息用于控车。
进一步地,所述第一障碍物信息包括所述即时障碍物的位置、置信度和障碍物类型,所述基于所述第一障碍物信息判断所述即时障碍物是否满足预设的误检条件的操作包括:
在所述位置在所述车辆的可观测区域内且所述置信度大于第一预设阈值的情况下,基于所述障碍物类型判断所述即时障碍物是否满足预设的误检条件。
进一步地,所述第一障碍物信息还包括所述即时障碍物的航向角,所述基于所述障碍物类型判断所述即时障碍物是否满足预设的误检条件的操作包括:
在所述障碍物类型为非车辆类型的情况下,确定所述即时障碍物不满足预设的误检条件;
在所述障碍物类型为车辆类型的情况下,判断所述航向角是否在预设标准范围内;
若所述航向角在所述预设标准范围内,则确定所述即时障碍物不满足预设的误检条件。
进一步地,所述第一障碍物信息还包括所述即时障碍物所在的第一区域,所述第二障碍物信息包括所述存档障碍物所在的第二区域,所述基于所述第一障碍物信息对预先构建的数据结构进行更新的操作包括:
在所述即时障碍物和所述存档障碍物的类型均为车辆类型的情况下,确定所述第一区域和所述第二区域之间的交并比;
在所述交并比大于第二预设阈值时,基于所述第一障碍物信息对第二障碍物信息进行更新;
在所述交并比小于或者等于所述第二预设阈值时,将所述第一障碍物信息添加至预先构建的数据结构中以对所述数据结构进行更新。
进一步地,所述基于所述第一障碍物信息对预先构建的数据结构进行更新的操作包括:
在所述即时障碍物和所述存档障碍物的类型均为非车辆类型的情况下,确定所述即时障碍物的中点坐标和所述存档障碍物的中心坐标之间的距离;
在所述距离小于预设距离时,基于所述第一障碍物信息对所述第二障碍物信息进行更新;
在所述距离大于或者等于所述预设距离时,将所述第一障碍物信息添加至预先构建的数据结构中以对所述数据结构进行更新。
进一步地,所述车辆的可观测区域由第三区域和第四区域构成,在所述第三区域内检测到的障碍物信息比在所述第四区域内检测到的障碍物信息更准确;
所述基于所述第一障碍物信息对所述第二障碍物信息进行更新的操作包括:
在所述存档障碍物的位置在所述第三区域内的情况下,基于预设权重对所述第一障碍物信息和所述第二障碍物信息进行加权求和,得到更新后的第二障碍物信息;
在所述即时障碍物的位置在所述第四区域内的情况下,将所述第一障碍物信息替换所述第二障碍物信息,得到更新后的第二障碍物信息。
进一步地,所述基于所述第一障碍物信息对预先构建的数据结构进行更新的步骤之后,处理器1001还可以用于调用存储器1005中存储的障碍物检测程序,执行以下操作:
在所述第二障碍物信息的更新频率大于第三预设阈值时,基于所述第二障碍物信息对所述车辆进行控制。
基于上述的结构,提出障碍物检测方法的各个实施例。
请参照图2,图2为本申请障碍物检测方法第一实施例的流程示意图。需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,本申请障碍物检测方法当然也可以以不同于此处的顺序执行所示出或描述的步骤。在本实施例中,障碍物检测方法的执行主体可以是个人电脑、智能手机等设备,在本实施例中并不做限制。所述障碍物检测方法包括:
步骤S10,获取预设障碍物检测模型检测到的车辆周边的即时障碍物的第一障碍物信息。
本申请不对上述预设障碍物检测模型的具体模型类型进行限定,障碍物检测模型可以是用于对车辆周边障碍物进行检测的任意深度学习模型,在一可行实施方式中,上述预设障碍物检测模型为基于深度学习的网络模型yolov5_obb,该模型包括输入端、骨干网络、Neck、Predition。yolov5_obb是旋转框检测的优化版本,算法直接预测旋转框的角度,并替换box loss损失函数为kld或probloss。训练后的模型可直接进行稀疏训练、剪枝和微调,剪枝后的通道为8的倍数,以供工程加速。其中,模型的输入是基于车辆上各传感器获取到的车辆周边区域信息生成的环境图像,模型的输出包含3部分内容:N个目标检测框、检测到的障碍物的具体类别及该检测结果的置信度,需要说明的是,在当前实施方式中,使用的深度学习模型未输出障碍物的位置信息,所以可以将上述模型输出结果和车辆传感器反馈的对障碍物的定位信息基于时间戳信息进行匹配,确定上述模型检测到的各障碍物各自的位置信息。在另一可行实施方式中,以上述环境图像为模型输入数据,以该环境图像中障碍物所在的检测框、障碍物的具体类别、障碍物的位姿和检测结果的置信度为模型训练标签对初始深度学习模型进行训练,得到训练好的目标模型,即上述预设障碍物检测模型。
示例性地,如图3所示为模型检测流程示意图,获取训练样本数据集,该数据集中包含多条样本数据,一条样本数据为基于车辆各传感器检测到的车辆周边信息生成的环境图像;基于训练样本数据集对预先搭建的初始深度学习模型进行训练,得到训练好的目标模型,以通过该目标模型对待检测环境图像进行障碍物检测,输出预测结果。障碍物检测模型输出的检测结果包括障碍物的检测框,如图4所示为模型检测结果示意图,执行障碍物检测的本车辆左侧存在第一检测框,本车辆右侧存在第二检测框。
在本实施例中,获取预设障碍物检测模型输出的车辆周边的障碍物(以下称为即时障碍物以示区分)的障碍物信息(以下称为第一障碍物信息以示区分),其中,障碍物信息包括障碍物的位姿、置信度、障碍物类型、预测框(即障碍物所在区域)以及时间戳信息等。
步骤S20,基于所述第一障碍物信息判断所述即时障碍物是否满足预设的误检条件。
需要说明的是,预设的误检条件包括不在车辆的最佳观测区域内、置信度小于或者等于预设阈值或者障碍物航向角不在-π至π的范围内。其中,车辆的最佳观测区域为基于车辆上用于检测周边环境信息的传感器或者摄像头对信息的捕捉特性确定,例如,若车辆上安装有鱼眼相机和超声传感器,其中,视觉鱼眼相机在车辆的四个方向分别布置,超声传感器车辆周围均匀布置,利用鱼眼相机正对着障碍物时畸变最小,超声在两米范围内比较准确,利用上述特性通过数学方法计算出障碍物进入环境模型的区域,针对泊车场景下以及定制的传感器特性计算的最佳观测区域如图5所示为最佳观测区示意图,第一矩形区域为车辆鱼眼相机能捕捉到的畸变最小的区域,第二矩形区域为车辆超声传感器能捕捉到的区域,应当理解的是,第一矩形区域和第二矩形区域的并集为车辆的最佳观测区。
在本实施例中,基于预设障碍物检测模型输出的第一障碍物信息判断即时障碍物是否满足预设的误检条件,若检测到即时障碍物满足误检条件,则认为该第一障碍物信息不准确,即不可信,若检测到即时障碍物不满足误检条件,则认为该第一障碍物信息准确可信。
在具体实施方式中,在获取到预设障碍物检测模型检测到的障碍物信息之后,判断该障碍物信息是否满足预设的误检条件,若障碍物信息满足误检条件,比如检测到的障碍物信息中的航向角为3π,则可以确定该障碍物信息明显有误,可以判定当前障碍物信息满足误检条件,属于误检信息;若障碍物信息不满足误检条件,即检测到的障碍物信息中的位置在车辆的最佳观测区域内、置信度大于预设阈值且障碍物航向角在-π至π的范围内。
在本实施例中,所述第一障碍物信息包括所述即时障碍物的位置、置信度和障碍物类型,所述步骤S20,包括:
步骤S201,在所述位置在所述车辆的可观测区域内且所述置信度大于第一预设阈值的情况下,基于所述障碍物类型判断所述即时障碍物是否满足预设的误检条件。
需要说明的是,第一障碍物信息包括即时障碍物的位置、置信度和障碍物类型,其中,障碍物的置信度为预设障碍物检测模型对于预测结果的可信度的评分,可以根据实际需求设置该置信度的评估范围,例如,在置信度的评估范围为0至100时,若当前障碍物的置信度为70,第一预设阈值设置为60,则可以确定当前障碍物是可信的。另外,障碍物的障碍物类型可以是车辆类型、建筑类型、路标类型和行人类型等等,在本实施例中,本申请将障碍物类型划分为两大类,分别是车辆类型和非车辆类型。
在本实施例中,在确定即时障碍物的位置、置信度和障碍物类型之后,判断即时障碍物的位置是否在车辆的可观测区域(即上述最佳观测区域)内,并判断即时障碍物的置信度是否大于第一预设阈值,在确定即时障碍物的位置在车辆的可观测区域内,且置信度大于第一预设阈值的情况下,基于即时障碍物的障碍物类型判断即时障碍物是否满足预设的误检条件。
在本实施例中,所述第一障碍物信息还包括所述即时障碍物的航向角,所述步骤S201,包括:
步骤S2011,在所述障碍物类型为非车辆类型的情况下,确定所述即时障碍物不满足预设的误检条件。
需要说明的是,当检测到的障碍物为非车辆的情况下,障碍物不存在航向角,所以可以直接确定当前障碍物不满足预设的误检条件。
步骤S2012,在所述障碍物类型为车辆类型的情况下,判断所述航向角是否在预设标准范围内;
步骤S2013,若所述航向角在所述预设标准范围内,则确定所述即时障碍物不满足预设的误检条件。
需要说明的是,上述预设标准范围为-π至π。
在本实施例中,在即时障碍物的障碍物类型为车辆类型的情况下,即时障碍物存在航向角,判断该航向角是否在预设标准范围内,若航向角在预设标准范围内,则确定即时障碍物不满足预设误检条件。
在具体实施方式中,在获取到预设障碍物检测模型输出的障碍物信息之后,对各障碍物信息进行前处理,具体包括最佳区域过滤、置信度过滤和航向角过滤,最佳区域过滤是指过滤掉不在车辆的最佳观测区的障碍物信息。置信度过滤是指,针对不同障碍物算法会设计不同阈值,将不准确的障碍物信息筛选掉,避免后续产生影响。航向角过滤是指航向角限定在-π到π之间,滤除航向角超过此范围的障碍物。并将经过前处理后保留的障碍物信息(即不满足误检条件的障碍物信息)保存至预设结构体env(environment,环境变量)中,需要说明的是,结构体env用于保存不满足误检条件的障碍物信息。
步骤S30,在所述即时障碍物不满足所述误检条件的情况下,基于所述第一障碍物信息对预先构建的数据结构进行更新,其中,所述数据结构中存放的存档障碍物的第二障碍物信息用于控车。
需要说明的是,预先构建的数据结构用于保存检测到的车辆周边的障碍物信息,该数据结构为数据结构tracker,在首次对车辆周边的障碍物进行检测时,将数据结构env中的障碍物信息全部初始化至数据结构tracker中,且后续进入数据结构env的障碍物信息需要与数据结构tracker中的障碍物信息进行匹配,以判断后续进入数据结构env的障碍物和数据结构tracker中已有的障碍物是否为同一障碍物,若是同一障碍物则使用后续进入数据结构env的障碍物信息更新数据结构tracker中已有的障碍物信息,从而采用可变多帧跟踪的方式提高障碍物的稳定性。
在本实施例中,在即时障碍物不满足预设的误检条件的情况下,基于第一障碍物信息对预先构建的数据结构tracker进行更新,具体可以为对数据结构tracker中的已有障碍物信息进行变更,或者在数据结构taracker中新增障碍物信息。需要说明的是,数据结构tracker中存放的障碍物信息(以下称为第二障碍物信息以示区分)用于避障控车。
本申请实施例通过获取预设障碍物检测模型检测到的车辆周边的即时障碍物的第一障碍物信息,基于该第一障碍物信息判断即时障碍物是否满足预设的误检条件,在即时障碍物不满足预设的误检条件的情况下,基于第一障碍物信息对预先构建的数据结构进行更新,需要说明的是,该数据结构中存放的是用于控车的第二障碍物信息,第二障碍物信息为数据结构中保存的各障碍物(即存档障碍物)的障碍物信息。如此,相比于传统基于深度学习模型对车辆周边的障碍物进行检测以实现避障控车的方式,本申请在得到障碍物检测模型检测到的障碍物信息之后,对该障碍物信息进行误检判断,以过滤掉误检的障碍物信息,并基于不满足预设误检条件的障碍物信息对用于控车的障碍物信息进行更新,以基于实时检测到的新的障碍物信息进行车辆避障控制,从而提高了车辆周边障碍物检测的准确性。
进一步地,基于上述本申请障碍物检测方法的第一实施例,提出本申请障碍物检测方法的第二实施例。
在本实施例中,所述第一障碍物信息还包括所述即时障碍物所在的第一区域,所述第二障碍物信息包括所述存档障碍物所在的第二区域,所述步骤S30之后,包括:
步骤S301,在所述即时障碍物和所述存档障碍物的类型均为车辆类型的情况下,确定所述第一区域和所述第二区域之间的交并比;
步骤S302,在所述交并比大于第二预设阈值时,基于所述第一障碍物信息对第二障碍物信息进行更新;
步骤S303,在所述交并比小于或者等于所述第二预设阈值时,将所述第一障碍物信息添加至预先构建的数据结构中以对所述数据结构进行更新。
需要说明的是,针对车辆类型的障碍物,采用IoU进行连续帧障碍物之间的匹配,充分利用车辆体积较大的特征,通过iou匹配更加精确;针对其他体积较小的障碍物采用欧式距离的方式进行计算。其中,IoU(Intersection over Union,交并比)表示的是两个区域的交集和并集的比值,如图6所示为交并比计算公式示意图,公式的分子为两个障碍物矩形框的相交区域,分母为两个障碍物矩形框的相并区域,即IoU的计算公式为IoU=(A∩B)/(A∪B)。
在本实施例中,在数据结构env保存的新的障碍物(即即时障碍物)和数据结构tracker中保存的历史障碍物(即存档障碍物)均为车辆类型的情况下,即保证同类型的障碍物进行匹配,确定即时障碍物所在的第一区域和存档障碍物所在的第二区域之间的交并比,在该交并比大于预设阈值(以下称为第二预设阈值)时,认为即时障碍物和存档障碍物为同一障碍物,并基于第一障碍物信息对第二障碍物信息进行更新;在交并比小于或者等于第二预设阈值时,将第一障碍物信息添加至预先构建的数据结构tracker中以对该数据结构进行更新。需要说明的是,本申请不对上述第二预设阈值的具体大小进行限定,在本实施例中,将第二预设阈值设置为70%。
在本实施例中,所述步骤S30,还包括:
步骤S301,在所述即时障碍物和所述存档障碍物的类型均为非车辆类型的情况下,确定所述即时障碍物的中点坐标和所述存档障碍物的中心坐标之间的距离;
步骤S302,在所述距离小于预设距离时,基于所述第一障碍物信息对所述第二障碍物信息进行更新;
步骤S303,在所述距离大于或者等于所述预设距离时,将所述第一障碍物信息添加至预先构建的数据结构中以对所述数据结构进行更新。
在本实施例中,在数据结构env保存的新的障碍物(即即时障碍物)和数据结构tracker中保存的历史障碍物(即存档障碍物)均为非车辆类型的情况下,即保证同类型的障碍物进行匹配,确定即时障碍物所在的第一区域的中点坐标和存档障碍物所在的第二区域的中点坐标之间的距离,例如,即时障碍物的中点坐标为(xi,yi),存档障碍物的中点坐标为(xj,yj),那么两个点之间的距离d表示为:
在该距离小于预设距离时,认为即时障碍物和存档障碍物为同一障碍物,并基于第一障碍物信息对第二障碍物信息进行更新;在该距离大于或者等于预设距离时,将第一障碍物信息添加至预先构建的数据结构tracker中以对该数据结构进行更新。需要说明的是,本申请不对上述预设距离的具体大小进行限定。
在本实施例中,所述车辆的可观测区域由第三区域和第四区域构成,在所述第三区域内检测到的障碍物信息比在所述第四区域内检测到的障碍物信息更准确,所述基于所述第一障碍物信息对所述第二障碍物信息进行更新的步骤,包括:
步骤A10,在所述存档障碍物的位置在所述第三区域内的情况下,基于预设权重对所述第一障碍物信息和所述第二障碍物信息进行加权求和,得到更新后的第二障碍物信息。
需要说明的是,当数据结构env里面的即时障碍物和tracker里面的存档障碍物匹配上之后会对tracker中存档障碍物的具体信息进行更新,主要包括障碍物位置和航向角的信息更新,即位姿的更新。同时每种更新策略会对应两种方法LINEAR线性更新和OVERRIDE覆盖更新。障碍物更新是为了解决单帧检测得到的障碍物信息不够准确,通过数学方法增加障碍物位置、航向角等信息的准确性。
另外,将上述最佳观测区划分为两个子区域,分别为第三区域(即上述第一矩形区域)和第四区域(即上述第二矩形区域),可以理解的是,车辆在第三区域内检测到的障碍物信息比在第四区域内检测到的障碍物信息更准确。
在本实施例中,在存档障碍物的位置在第三区域内的情况下,表示历史保存的存档障碍物的障碍物信息准确度较高,则基于预先设置的权重对第一障碍物信息和第二障碍物信息进行加权求和,得到更新后的第二障碍物信息。
在具体实施方式中,Pos代表更新后的存档障碍物的位置,Hea代表更新后的存档障碍物的航向角,OriPos表示存档障碍物的位置,InputPos表示即时障碍物的位置,OriHea表示存档障碍物的航向角,InputHea表示即时障碍物的航向角,以及Orimodulus表示存档障碍物的权重,Inmodulus表示即时障碍物的权重,那么Pos=OriPos*Orimodulus+InputPos*Inmodulus;Heading=OriHea*Orimodulus+InputHea*Inmodulus,即可求得更新后的存档障碍物的位置和航向角。
步骤A20,在所述存档障碍物的位置在所述第四区域内的情况下,将所述第一障碍物信息替换所述第二障碍物信息,得到更新后的第二障碍物信息。
在本实施例中,在存档障碍物的位置在第四区域内的情况下,表示历史保存的存档障碍物的障碍物信息准确度较低,则直接使用第一障碍物信息覆盖第二障碍物信息。
在具体实施方式中,存档障碍物的位置和航向角可表示为Pos=InputPos,Hea=InputHea。
在本实施例中,在所述步骤S30之后,本申请障碍物检测方法,还包括:
步骤B10,在所述第二障碍物信息的更新频率大于第三预设阈值时,基于所述第二障碍物信息对所述车辆进行控制。
在本实施例中,在数据结构tracker中记录第二障碍物信息的更新频率,并预先设置频率阈值(以下称为第三预设阈值以示区分),在存档障碍物的更新频率大于第三预设阈值时,基于第二障碍物信息对车辆进行控制。
在具体实施方式中,跟踪的tracker障碍物分为四种状态,INIT、ALIVE、DEAD、VANISH。初始化tracker时将tracker中的初始障碍物信息设置为INIT状态,在连续5帧中有3帧匹配上时,将tracker中的第二障碍物信息置为ALIVE状态,对于车类型障碍物连续50帧未匹配到设置为为DEAD,对于非车类型障碍物连续15帧未匹配上置为DEAD,连续500帧没有匹配到障碍物置为VINISH。记录障碍物状态可以更加精细化障碍物的信息,采用多帧跟踪障碍物,提高障碍物的稳定性,下游可根据需要选择那种障碍物数据用于控车,通常选择状态为ALIVE的障碍物信息进行后续的避障控车。
如此,本申请在每次检测到新的障碍物,首先会判断该障碍物能否进入数据结构env当中,接着会和数据结构tracker中已经存在的障碍物进行比较判断是否为同一障碍物,然后采用不同的更新策略更新障碍物信息,从而提高障碍物的准确性。
此外,本申请实施例还提供一种障碍物检测装置。
请参照图7,图7为本申请障碍物检测装置一实施例的功能模块示意图,如图7所示,本申请障碍物检测装置包括:
获取模块10,用于获取预设障碍物检测模型检测到的车辆周边的即时障碍物的第一障碍物信息;
判断模块20,用于基于所述第一障碍物信息判断所述即时障碍物是否满足预设的误检条件;
更新模块30,用于在所述即时障碍物不满足所述误检条件的情况下,基于所述第一障碍物信息对预先构建的数据结构进行更新,其中,所述数据结构中存放的存档障碍物的第二障碍物信息用于控车。
进一步地,所述第一障碍物信息包括所述即时障碍物的位置、置信度和障碍物类型,判断模块20,包括:
判断单元,用于在所述位置在所述车辆的可观测区域内且所述置信度大于第一预设阈值的情况下,基于所述障碍物类型判断所述即时障碍物是否满足预设的误检条件。
进一步地,所述第一障碍物信息还包括所述即时障碍物的航向角,判断单元,还用于在所述障碍物类型为非车辆类型的情况下,确定所述即时障碍物不满足预设的误检条件;在所述障碍物类型为车辆类型的情况下,判断所述航向角是否在预设标准范围内;若所述航向角在所述预设标准范围内,则确定所述即时障碍物不满足预设的误检条件。
进一步地,所述第一障碍物信息还包括所述即时障碍物所在的第一区域,所述第二障碍物信息包括所述存档障碍物所在的第二区域,更新模块30,包括:
确定单元,用于在所述即时障碍物和所述存档障碍物的类型均为车辆类型的情况下,确定所述第一区域和所述第二区域之间的交并比;
第一更新单元,用于在所述交并比大于第二预设阈值时,基于所述第一障碍物信息对第二障碍物信息进行更新;
第二更新单元,用于在所述交并比小于或者等于所述第二预设阈值时,将所述第一障碍物信息添加至预先构建的数据结构中以对所述数据结构进行更新。
进一步地,更新模块30,还包括:
确定单元,还用于在所述即时障碍物和所述存档障碍物的类型均为非车辆类型的情况下,确定所述即时障碍物的中点坐标和所述存档障碍物的中心坐标之间的距离;
第一更新单元,还用于在所述距离小于预设距离时,基于所述第一障碍物信息对所述第二障碍物信息进行更新;
第二更新单元,还用于在所述距离大于或者等于所述预设距离时,将所述第一障碍物信息添加至预先构建的数据结构中以对所述数据结构进行更新。进一步地,所述车辆的可观测区域由第三区域和第四区域构成,在所述第三区域内检测到的障碍物信息比在所述第四区域内检测到的障碍物信息更准确,第一更新单元,包括:
第一更新子单元,用于在所述存档障碍物的位置在所述第三区域内的情况下,基于预设权重对所述第一障碍物信息和所述第二障碍物信息进行加权求和,得到更新后的第二障碍物信息;
第二更新子单元,用于在所述即时障碍物的位置在所述第四区域内的情况下,将所述第一障碍物信息替换所述第二障碍物信息,得到更新后的第二障碍物信息。
进一步地,本申请障碍物检测装置,还包括:
控车模块,用于在所述第二障碍物信息的更新频率大于第三预设阈值时,基于所述第二障碍物信息对所述车辆进行控制。
本申请还提供一种计算机存储介质,该计算机存储介质上存储有障碍物检测程序,上述障碍物检测程序被处理器执行时实现如以上任一项实施例所述的障碍物检测程序方法的步骤。
本申请计算机存储介质的具体实施例与上述本申请障碍物检测程序方法各实施例基本相同,在此不作赘述。
本申请还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如以上任一项实施例所述的本申请障碍物检测方法的步骤,在此不作赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台障碍物检测设备(可以是TWS耳机等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种障碍物检测方法,其特征在于,所述障碍物检测方法包括以下步骤:
获取预设障碍物检测模型检测到的车辆周边的即时障碍物的第一障碍物信息;
基于所述第一障碍物信息判断所述即时障碍物是否满足预设的误检条件;
在所述即时障碍物不满足所述误检条件的情况下,基于所述第一障碍物信息对预先构建的数据结构进行更新,其中,所述数据结构中存放的存档障碍物的第二障碍物信息用于控车。
2.如权利要求1所述的障碍物检测方法,其特征在于,所述第一障碍物信息包括所述即时障碍物的位置、置信度和障碍物类型,所述基于所述第一障碍物信息判断所述即时障碍物是否满足预设的误检条件的步骤,包括:
在所述位置在所述车辆的可观测区域内且所述置信度大于第一预设阈值的情况下,基于所述障碍物类型判断所述即时障碍物是否满足预设的误检条件。
3.如权利要求2所述的障碍物检测方法,其特征在于,所述第一障碍物信息还包括所述即时障碍物的航向角,所述基于所述障碍物类型判断所述即时障碍物是否满足预设的误检条件的步骤,包括:
在所述障碍物类型为非车辆类型的情况下,确定所述即时障碍物不满足预设的误检条件;
在所述障碍物类型为车辆类型的情况下,判断所述航向角是否在预设标准范围内;
若所述航向角在所述预设标准范围内,则确定所述即时障碍物不满足预设的误检条件。
4.如权利要求1所述的障碍物检测方法,其特征在于,所述第一障碍物信息还包括所述即时障碍物所在的第一区域,所述第二障碍物信息包括所述存档障碍物所在的第二区域,所述基于所述第一障碍物信息对预先构建的数据结构进行更新的步骤,包括:
在所述即时障碍物和所述存档障碍物的类型均为车辆类型的情况下,确定所述第一区域和所述第二区域之间的交并比;
在所述交并比大于第二预设阈值时,基于所述第一障碍物信息对第二障碍物信息进行更新;
在所述交并比小于或者等于所述第二预设阈值时,将所述第一障碍物信息添加至预先构建的数据结构中以对所述数据结构进行更新。
5.如权利要求1所述的障碍物检测方法,其特征在于,所述基于所述第一障碍物信息对预先构建的数据结构进行更新的步骤,包括:
在所述即时障碍物和所述存档障碍物的类型均为非车辆类型的情况下,确定所述即时障碍物的中点坐标和所述存档障碍物的中心坐标之间的距离;
在所述距离小于预设距离时,基于所述第一障碍物信息对所述第二障碍物信息进行更新;
在所述距离大于或者等于所述预设距离时,将所述第一障碍物信息添加至预先构建的数据结构中以对所述数据结构进行更新。
6.如权利要求4至5中任一项所述的障碍物检测方法,其特征在于,所述车辆的可观测区域由第三区域和第四区域构成,在所述第三区域内检测到的障碍物信息比在所述第四区域内检测到的障碍物信息更准确;
所述基于所述第一障碍物信息对所述第二障碍物信息进行更新的步骤,包括:
在所述存档障碍物的位置在所述第三区域内的情况下,基于预设权重对所述第一障碍物信息和所述第二障碍物信息进行加权求和,得到更新后的第二障碍物信息;
在所述即时障碍物的位置在所述第四区域内的情况下,将所述第一障碍物信息替换所述第二障碍物信息,得到更新后的第二障碍物信息。
7.如权利要求1所述的障碍物检测方法,其特征在于,所述基于所述第一障碍物信息对预先构建的数据结构进行更新的步骤之后,所述方法还包括:
在所述第二障碍物信息的更新频率大于第三预设阈值时,基于所述第二障碍物信息对所述车辆进行控制。
8.一种障碍物检测装置,其特征在于,所述障碍物检测装置包括以下步骤:
获取模块,用于获取预设障碍物检测模型检测到的车辆周边的即时障碍物的第一障碍物信息;
判断模块,用于基于所述第一障碍物信息判断所述即时障碍物是否满足预设的误检条件;
更新模块,用于在所述即时障碍物不满足所述误检条件的情况下,基于所述第一障碍物信息对预先构建的数据结构进行更新,其中,所述数据结构中存放的存档障碍物的第二障碍物信息用于控车。
9.一种障碍物检测设备,其特征在于,所述障碍物检测设备包括:存储器和处理器,所述存储器存储有可在所述处理器上运行的障碍物检测程序,所述障碍物检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的障碍物检测方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有障碍物检测程序,所述障碍物检测程序被处理器执行时实现如权利要求1至7中任一项所述的障碍物检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410189256.5A CN118115968A (zh) | 2024-02-20 | 2024-02-20 | 障碍物检测方法、装置、设备以及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410189256.5A CN118115968A (zh) | 2024-02-20 | 2024-02-20 | 障碍物检测方法、装置、设备以及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118115968A true CN118115968A (zh) | 2024-05-31 |
Family
ID=91213019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410189256.5A Pending CN118115968A (zh) | 2024-02-20 | 2024-02-20 | 障碍物检测方法、装置、设备以及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118115968A (zh) |
-
2024
- 2024-02-20 CN CN202410189256.5A patent/CN118115968A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109635685B (zh) | 目标对象3d检测方法、装置、介质及设备 | |
CN110163904B (zh) | 对象标注方法、移动控制方法、装置、设备及存储介质 | |
CN113264066B (zh) | 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备 | |
CN111797657A (zh) | 车辆周边障碍检测方法、装置、存储介质及电子设备 | |
CN110576847A (zh) | 基于焦点的对传感器数据的标记 | |
CN112947419B (zh) | 避障方法、装置及设备 | |
CN113112525B (zh) | 目标跟踪方法、网络模型及其训练方法、设备和介质 | |
CN115063454B (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
WO2023071024A1 (zh) | 驾驶辅助模式切换方法、装置、设备及存储介质 | |
CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
CN114119659A (zh) | 一种多传感器融合的目标跟踪方法 | |
CN114973195A (zh) | 基于多信息融合的车辆追踪方法、装置及系统 | |
US11080562B1 (en) | Key point recognition with uncertainty measurement | |
JP2013069045A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
CN112711255A (zh) | 移动机器人避障方法、控制设备及存储介质 | |
CN116434156A (zh) | 目标检测方法、存储介质、路侧设备及自动驾驶系统 | |
CN116823884A (zh) | 多目标跟踪方法、系统、计算机设备及存储介质 | |
CN118115968A (zh) | 障碍物检测方法、装置、设备以及计算机可读存储介质 | |
CN115223135B (zh) | 车位跟踪方法、装置、车辆及存储介质 | |
CN115100565A (zh) | 一种基于空间相关性与光流配准的多目标跟踪方法 | |
CN110556024B (zh) | 一种防碰撞辅助驾驶方法、系统及计算机可读存储介质 | |
CN118043864A (zh) | 障碍物识别方法、装置、存储介质及电子设备 | |
EP4131946A1 (en) | Object tracking device, object tracking method, and recording medium | |
CN113837270B (zh) | 一种目标识别方法、装置、设备及存储介质 | |
CN116295448B (zh) | 一种基于多源信息导航的机器人路径规划方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |