CN115691127A - 障碍物检测方法、装置及电子设备、计算机可读存储介质 - Google Patents
障碍物检测方法、装置及电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN115691127A CN115691127A CN202211320228.XA CN202211320228A CN115691127A CN 115691127 A CN115691127 A CN 115691127A CN 202211320228 A CN202211320228 A CN 202211320228A CN 115691127 A CN115691127 A CN 115691127A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- result
- marking
- determining
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 93
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012937 correction Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 15
- 230000001960 triggered effect Effects 0.000 claims description 14
- 230000004888 barrier function Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种障碍物检测方法、装置及电子设备、计算机可读存储介质,该方法由路侧执行,该方法包括:获取路侧相机采集的第一道路图像,并确定第一道路图像中的车道行驶区域及第一障碍物分割结果;根据车道行驶区域和第一障碍物分割结果确定车道行驶区域的障碍物标记结果,障碍物标记结果包括障碍物标记位置;根据障碍物标记结果确定障碍物标记位置对应的车辆跟踪结果;根据障碍物标记结果和车辆跟踪结果确定障碍物检测结果。本申请先对道路图像中的车道行驶区域可能存在的障碍物进行检测,然后进一步结合障碍物位置对应的车辆行驶情况对障碍物标记结果进行确认,提高了障碍物检测的准确性和检测效率,为后续车辆的行驶规划提供了先验信息。
Description
技术领域
本申请涉及障碍物检测技术领域,尤其涉及一种障碍物检测方法、装置及电子设备、计算机可读存储介质。
背景技术
在一些道路场景下,在道路上偶尔会出现树木生长茂盛、树木倒塌,或者出现落石等一些影响道路通行的情况,尤其是在台风过境或者地震过后的城市,绿化带的树木会倒塌到道路的车道内,从而影响车辆行驶,严重的还会造成交通事故。
对于自动驾驶车辆来说,其需要尽可能提前感知到道路前方存在的障碍物,提前进行规避,从而保证自动驾驶的行驶安全性和行驶效率。
然而,目前的障碍物检测方法主要是基于车端的传感器进行感知检测,车端传感器由于视野容易受到遮挡等原因导致感知范围有限,无法对道路中的各种障碍物进行及时准确的检测。
发明内容
本申请实施例提供了一种障碍物检测方法、装置及电子设备、计算机可读存储介质,以提高道路中障碍物检测的准确性。
本申请实施例采用下述技术方案:
第一方面,本申请实施例提供一种障碍物检测方法,所述方法由路侧执行,其中,所述方法包括:
获取路侧相机采集的第一道路图像,并确定所述第一道路图像中的车道行驶区域以及第一障碍物分割结果;
根据所述车道行驶区域和所述第一障碍物分割结果确定所述车道行驶区域的障碍物标记结果,所述障碍物标记结果包括障碍物标记位置;
根据所述障碍物标记结果确定所述障碍物标记位置对应的车辆跟踪结果;
根据所述障碍物标记结果和所述障碍物标记位置对应的车辆跟踪结果确定障碍物检测结果。
可选地,所述确定所述第一道路图像中的车道行驶区域包括:
根据所述路侧相机的位置获取对应的高精地图数据以及高精地图与路侧相机的标定关系,所述高精地图数据包括车道数据;
根据所述高精地图与路侧相机的标定关系,将所述车道数据投影至所述第一道路图像中,得到所述第一道路图像中的车道行驶区域。
可选地,所述第一障碍物分割结果包括障碍物分割位置,所述根据所述车道行驶区域和所述第一障碍物分割结果确定所述车道行驶区域的障碍物标记结果包括:
根据所述车道行驶区域和所述第一障碍物分割结果,确定所述车道行驶区域是否存在障碍物;
若存在,则根据所述障碍物分割位置对应的第二道路图像并进行障碍物分割,得到第二障碍物分割结果;
根据所述车道行驶区域和所述第二障碍物分割结果,确定所述障碍物分割位置是否存在障碍物;
若存在,则对所述障碍物分割位置标记,得到所述障碍物标记位置。
可选地,所述根据所述障碍物标记结果确定所述障碍物标记位置对应的车辆跟踪结果包括:
获取所述障碍物标记位置对应的第三道路图像并进行车辆检测,得到所述障碍物标记位置的车辆检测结果;
根据所述障碍物标记位置的车辆检测结果进行车辆跟踪,得到所述障碍物标记位置对应的车辆跟踪结果。
可选地,所述根据所述障碍物标记结果和所述障碍物标记位置对应的车辆跟踪结果确定障碍物检测结果包括:
根据所述车辆跟踪结果确定所述障碍物标记位置对应的车辆行驶轨迹;
根据所述车辆行驶轨迹确定是否触发障碍物标记结果的修正条件;
若触发,则对所述障碍物标记结果进行修正,得到所述障碍物检测结果;
否则,则直接将所述障碍物标记结果作为所述障碍物检测结果。
可选地,所述根据所述车辆行驶轨迹确定是否触发障碍物标记结果的修正条件包括:
确定所述车辆行驶轨迹是否经过所述障碍物标记位置;
若是,则确定所述车辆行驶轨迹触发障碍物标记结果的修正条件;
所述对所述障碍物标记结果进行修正,得到所述障碍物检测结果包括:
删除对所述障碍物标记位置的标记,得到所述障碍物检测结果。
可选地,所述根据所述车辆行驶轨迹确定是否触发障碍物标记结果的修正条件包括:
确定所述车辆行驶轨迹是否为在所述障碍物标记位置的变道轨迹;
若是,则确定在所述障碍物标记位置的变道轨迹对应的车辆数量;
若在所述障碍物标记位置的变道轨迹对应的车辆数量满足预设数量阈值,则确定未触发所述障碍物标记结果的修正条件;
否则,则确定触发所述障碍物标记结果的修正条件。
可选地,所述第一障碍物分割结果包括障碍物分割位置,所述根据所述车道行驶区域和所述第一障碍物分割结果确定所述车道行驶区域的障碍物标记结果包括:
根据所述车道行驶区域和所述障碍物分割位置,确定所述车道行驶区域是否存在障碍物;
若存在,则根据所述路侧相机的位置获取对应的高精地图数据,所述高精地图数据包括绿化带位置;
确定所述障碍物分割位置与所述绿化带位置的距离是否小于预设距离阈值;
若是,则确定所述障碍物为绿化树木,并对所述绿化树木的分割位置进行标记,得到绿化树木的标记位置。
第二方面,本申请实施例还提供一种障碍物检测装置,所述装置应用于路侧,其中,所述装置包括:
获取单元,用于获取路侧相机采集的第一道路图像,并确定所述第一道路图像中的车道行驶区域以及第一障碍物分割结果;
第一确定单元,用于根据所述车道行驶区域和所述第一障碍物分割结果确定所述车道行驶区域的障碍物标记结果,所述障碍物标记结果包括障碍物标记位置;
第二确定单元,用于根据所述障碍物标记结果确定所述障碍物标记位置对应的车辆跟踪结果;
第三确定单元,用于根据所述障碍物标记结果和所述障碍物标记位置对应的车辆跟踪结果确定障碍物检测结果。
第三方面,本申请实施例还提供一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。
第四方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行前述之任一所述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:本申请实施例的障碍物检测方法由路侧执行,先获取路侧相机采集的第一道路图像,并确定第一道路图像中的车道行驶区域以及第一障碍物分割结果;然后根据车道行驶区域和第一障碍物分割结果确定车道行驶区域的障碍物标记结果,障碍物标记结果包括障碍物标记位置;之后根据障碍物标记结果确定障碍物标记位置对应的车辆跟踪结果;最后根据障碍物标记结果和障碍物标记位置对应的车辆跟踪结果确定障碍物检测结果。本申请实施例的障碍物检测方法先对第一道路图像中的车道行驶区域中可能存在的障碍物进行检测,然后进一步结合障碍物位置对应的车辆行驶情况对障碍物标记结果进行确认,提高了道路障碍物检测的准确性和检测效率,为后续车辆的行驶规划提供了先验信息。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中一种障碍物检测方法的流程示意图;
图2为本申请实施例中一种障碍物检测装置的结构示意图;
图3为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种障碍物检测方法,所述方法由路侧执行,如图1所示,提供了本申请实施例中一种障碍物检测方法的流程示意图,所述方法至少包括如下的步骤S110至步骤S140:
步骤S110,获取路侧相机采集的第一道路图像,并确定所述第一道路图像中的车道行驶区域以及第一障碍物分割结果。
本申请实施例的障碍物检测方法由路侧来执行,路侧设备具有更宽阔的感知视野,因此能够为道路中的各种障碍物检测提供有力支撑。
在进行障碍物检测时,需要先获取路侧相机采集的第一道路图像,然后从第一道路图像中分割出车道行驶区域,车道行驶区域可以理解为是道路中车辆的可行驶区域。此外,还需要对第一道路图像进行障碍物分割,具体可以采用基于深度学习训练得到的分割模型来进行障碍物分割,例如可以采用现有的DeepLab系列的分割网络进行训练,当然具体如何进行障碍物分割,本领域技术人员可以根据实际需求灵活选择,在此不作具体限定。
步骤S120,根据所述车道行驶区域和所述第一障碍物分割结果确定所述车道行驶区域的障碍物标记结果,所述障碍物标记结果包括障碍物标记位置。
车道行驶区域表征了车辆可能经过的道路区域,与之相对应的,道路区域还包括非车道行驶区域,也即车辆不会经过的道路区域,因此如果第一障碍物分割结果中包含障碍物,可以进一步确定分割出的障碍物是否落在了车道行驶区域,因为只有落在车道行驶区域的障碍物才会对后续车辆的行驶造成影响。
如果车道行驶区域存在障碍物,那么需要根据第一障碍物分割结果进一步确定障碍物标记结果如障碍物标记位置,这里的障碍物标记结果可以看作是一个初始的标记结果,后续可以进一步结合车辆行驶情况来确认该标记结果是否准确。
步骤S130,根据所述障碍物标记结果确定所述障碍物标记位置对应的车辆跟踪结果。
基于上述障碍物标记位置,可以进一步对障碍物标记位置附近的车辆目标进行跟踪检测,从而得到障碍物标记位置对应的车辆跟踪结果,障碍物标记位置对应的车辆跟踪结果反映了障碍物附近的车辆行驶情况,相比于无障碍物区域的车辆行驶情况会有明显区别,因此可以结合车辆跟踪结果对上述障碍物标记结果进一步确认,从而提高障碍物检测的准确性。
步骤S140,根据所述障碍物标记结果和所述障碍物标记位置对应的车辆跟踪结果确定障碍物检测结果。
利用障碍物标记位置对应的车辆跟踪结果对初始的障碍物标记结果进行确认,从而保证障碍物检测结果的准确性,避免误检误报。例如可以确认障碍物标记位置是否真正存在障碍物,如果真的存在障碍物,则可以将障碍物的标记位置等信息上报给云端确认平台,以便于相关人员及时进行处理。此外,还可以将障碍物检测结果发送给即将到达该路段的车辆,便于车辆提前规避。
本申请实施例的障碍物检测方法先对第一道路图像中的车道行驶区域中可能存在的障碍物进行检测,然后进一步结合障碍物位置对应的车辆行驶情况对障碍物标记结果进行确认,提高了道路障碍物检测的准确性和检测效率,为后续车辆的行驶规划提供了先验信息。
在本申请的一些实施例中,所述确定所述第一道路图像中的车道行驶区域包括:根据所述路侧相机的位置获取对应的高精地图数据以及高精地图与路侧相机的标定关系,所述高精地图数据包括车道数据;根据所述高精地图与路侧相机的标定关系,将所述车道数据投影至所述第一道路图像中,得到所述第一道路图像中的车道行驶区域。
在确定第一道路图像中的车道行驶区域时,可以先获取当前路侧相机的绝对位置,由于路侧相机安装好后,其在世界坐标系下的绝对位置也随之确定,且在后续没有对路侧相机进行调整的情况下位置也基本固定,因此可以直接得到当前路侧相机的绝对位置。
基于路侧相机的绝对位置,可以进一步获取路侧相机的绝对位置所对应的局部的高精地图数据,高精地图数据中不仅有高精度的坐标,同时还有准确的道路形状,并且每个车道的坡度、曲率、航向、高程等数据也都包含在内;另外,每条车道上的标识类型、车道线的颜色、道路的隔离带、绿化带、道路上的指示牌上的箭头和文字等都会在高精地图中呈现。因此可以从高精地图数据中获取当前的路侧相机位置对应的车道数据。
之后进一步结合事先标定好的高精地图与路侧相机之间的变换关系,可以将当前的路侧相机位置对应的车道数据投影到第一道路图像中,从而可以从第一道路图像中确定出车道行驶区域。
大多数情况下,高精地图与路侧相机之间的变换关系在标定好之后基本不会发生变化,且路侧相机的绝对位置也基本固定,那么基于此在道路图像中确定出的车道行驶区域也基本固定,因此在此种情况下,也可以直接从道路图像中的固定区域分割出车道行驶区域,而无需每次均通过上述标定关系进行投影变换。
在本申请的一些实施例中,所述第一障碍物分割结果包括障碍物分割位置,所述根据所述车道行驶区域和所述第一障碍物分割结果确定所述车道行驶区域的障碍物标记结果包括:根据所述车道行驶区域和所述第一障碍物分割结果,确定所述车道行驶区域是否存在障碍物;若存在,则根据所述障碍物分割位置对应的第二道路图像并进行障碍物分割,得到第二障碍物分割结果;根据所述车道行驶区域和所述第二障碍物分割结果,确定所述障碍物分割位置是否存在障碍物;若存在,则对所述障碍物分割位置标记,得到所述障碍物标记位置。
在确定车道行驶区域的障碍物标记结果时,可以先根据第一障碍物分割结果确定第一道路图像中是否存在障碍物,如果存在,则进一步根据障碍物分割位置以及车道行驶区域确定图像中分割出的障碍物是否位于车道行驶区域的范围。
如果障碍物位于车道行驶区域的范围,说明第一道路图像中的车道行驶区域可能存在障碍物,为了进一步提高障碍物检测的准确性,还可以对路侧相机后续采集的多个第二道路图像进行持续检测和判断,如果在连续多帧第二道路图像中仍然检测到障碍物且检测到的障碍物均位于上述障碍物分割位置或者位置偏差很小,则可以对上述障碍物分割位置进行标记,作为障碍物标记位置。
在本申请的一些实施例中,所述根据所述障碍物标记结果确定所述障碍物标记位置对应的车辆跟踪结果包括:获取所述障碍物标记位置对应的第三道路图像并进行车辆检测,得到所述障碍物标记位置的车辆检测结果;根据所述障碍物标记位置的车辆检测结果进行车辆跟踪,得到所述障碍物标记位置对应的车辆跟踪结果。
在确定障碍物标记位置对应的车辆跟踪结果时,可以先利用事先训练好的3D目标检测算法对障碍物标记位置附近经过的车辆进行检测,例如可以采用现有的YOLO、RCNN等网络来实现,当然具体如何进行车辆目标检测,本领域技术人员可以根据结合现有技术灵活选择,在此不作具体限定。
在得到车辆检测结果后,可以基于现有的目标跟踪算法如光流跟踪法、滤波算法等对车辆目标进行跟踪,确定出同一个车辆目标在连续多帧图像中的具体位置,进而可以根据同一个车辆目标在连续多帧图像中的具体位置生成该车辆目标的行驶轨迹。
如果障碍物标记位置真的存在障碍物,那么该位置处所经过的车辆的行驶轨迹会有所不同,因此本申请实施例基于从道路图像中分割出的障碍物标记位置来有针对性地进行车辆目标的跟踪检测,一方面提高了障碍物检测的准确性,另一方面也提高了障碍物检测的效率。
在本申请的一些实施例中,所述根据所述障碍物标记结果和所述障碍物标记位置对应的车辆跟踪结果确定障碍物检测结果包括:根据所述车辆跟踪结果确定所述障碍物标记位置对应的车辆行驶轨迹;根据所述车辆行驶轨迹确定是否触发障碍物标记结果的修正条件;若触发,则对所述障碍物标记结果进行修正,得到所述障碍物检测结果;否则,则直接将所述障碍物标记结果作为所述障碍物检测结果。
如前所述,如果障碍物标记位置处真的存在障碍物,那么会对周围车辆的行驶造成一定影响,因此本申请实施例可以先根据车辆跟踪结果确定出车辆在障碍物标记位置附近的行驶轨迹,然后根据车辆行驶轨迹的形状判断是否触发障碍物标记结果的修正条件,例如,车辆在行驶过程中遇到障碍物时,通常会采取变道的行为,因此可以判断车辆在障碍物标记位置处的行驶轨迹的形状是否为变道轨迹,从而确定是否需要对障碍物标记结果进行修正。
判断是否触发障碍物标记结果的修正条件也即判断初始得到的障碍物标记结果是否准确,如果触发了障碍物标记结果的修正条件,说明初始得到的障碍物标记结果并不准确,例如障碍物分割模型误检的情况,此时需要对障碍物标记结果进行修正,如果没有触发,说明初始得到的障碍物标记结果是准确的,无需进行修正。
在本申请的一些实施例中,所述根据所述车辆行驶轨迹确定是否触发障碍物标记结果的修正条件包括:确定所述车辆行驶轨迹是否经过所述障碍物标记位置;若是,则确定所述车辆行驶轨迹触发障碍物标记结果的修正条件;所述对所述障碍物标记结果进行修正,得到所述障碍物检测结果包括:删除对所述障碍物标记位置的标记,得到所述障碍物检测结果。
在根据车辆行驶轨迹确定是否触发障碍物标记结果的修正条件时,可以先判断车辆行驶轨迹是否经过了障碍物标记位置,如果车辆行驶轨迹经过障碍物标记位置,也即在障碍物标记位置有车辆能够经过,说明该位置可能并不存在障碍物或者障碍物不足以影响该车道的车辆的正常行驶,那么此时可以认为先前标记的结果是不准确的,也即触发了障碍物标记结果的修正条件。
由于上述判断结果表明的是将本不应该进行障碍物标记的位置进行了标记,那么可以采取的修正策略就可以是删除该位置的障碍物标记,从而尽可能避免障碍物检测的误检和误报。
此外,由于障碍物分割的位置可能存在一定偏差,为了能够容忍此种偏差,本申请实施例还可以判断车辆行驶轨迹中的各个轨迹点位置或者与障碍物位置距离最近的轨迹点位置是否均位于障碍物标记位置所在的车道内,因为正常情况下,如果某车道内存在障碍物,那么车辆往往会选择变道,即至少在与障碍物位置距离最近的位置处的轨迹点与障碍物是处于不同车道的,因此如果不满足上述条件,也能够证明障碍物标记位置处是有车辆经过的,进而触发了障碍物标记结果的修正条件。
在本申请的一些实施例中,所述根据所述车辆行驶轨迹确定是否触发障碍物标记结果的修正条件包括:确定所述车辆行驶轨迹是否为在所述障碍物标记位置的变道轨迹;若是,则确定在所述障碍物标记位置的变道轨迹对应的车辆数量;若在所述障碍物标记位置的变道轨迹对应的车辆数量满足预设数量阈值,则确定未触发所述障碍物标记结果的修正条件;否则,则确定触发所述障碍物标记结果的修正条件。
如前所述,如果某车道上存在障碍物,车辆往往会采取变道行为,因此可以进一步判断车辆行驶轨迹是否为变道轨迹来验证障碍物的标记结果是否准确,判断变道的方式是通过不同帧所检测的车辆根据位置标记出车辆所在的车道,然后根据车辆的跟踪匹配将不同帧的同一车辆目标关联起来,就能得到同一个车辆目标在什么位置从哪个车道变换到了哪个车道。但需要进一步说明的是,车道上存在障碍物会大概率导致车辆采取变道行为,但不代表车辆发生变道行为一定表明或者大概率表明原车道上存在障碍物,例如,车辆很有可能只是正常的变道行为,而非受到障碍物影响。
基于此,本申请实施例可以结合障碍物标记位置处持续的车辆跟踪结果来进一步判断,例如可以判断一段时间内是否有多个到达障碍物标记位置附近的车辆均采取了变道行为,如果是,则能够证明车辆在障碍物标记位置的变道行为属于常规行为,而非个别车辆的偶然行为,因此本申请实施例通过一段时间的数据积累能够进一步提高障碍物检测准确性,
在本申请的一些实施例中,所述第一障碍物分割结果包括障碍物分割位置,所述根据所述车道行驶区域和所述第一障碍物分割结果确定所述车道行驶区域的障碍物标记结果包括:根据所述车道行驶区域和所述障碍物分割位置,确定所述车道行驶区域是否存在障碍物;若存在,则根据所述路侧相机的位置获取对应的高精地图数据,所述高精地图数据包括绿化带位置;确定所述障碍物分割位置与所述绿化带位置的距离是否小于预设距离阈值;若是,则确定所述障碍物为绿化树木,并对所述绿化树木的分割位置进行标记,得到绿化树木的标记位置。
实际应用时,本申请实施例的障碍物可以是道路上的绿化树木,例如绿化带内的树木可能会由于生长茂盛或倒塌而影响某个车道或者某些车道的车辆行驶,因此上述各实施例均可以用于对绿化树木的检测。
此外,基于前述实施例,本申请实施例还可以进一步结合高精地图数据中提供的绿化带位置来辅助道路中绿化树木的标记,例如可以将障碍物的分割位置与绿化带位置进行比较,因为如果是绿化带中的树木生长到或者倒塌到道路上,那么障碍物的分割位置与绿化带位置之间的距离会很小,因此可以确定分割出的障碍物为绿化树木,进而对绿化树木的分割位置进行标记,得到绿化树木的标记位置。
需要说明的是,如果检测的障碍物类型是绿化树木,那么前述实施例中事先训练的分割模型就可以是用于分割绿化树木的模型,但由于分割模型会存在一定误差,因此本申请实施例可以基于分割出的障碍物位置与对应区域的绿化带位置进行比较,从而进一步验证道路图像中分割出的障碍物是否是绿化树木。
在实际道路场景下,一个路段上可能会部署有多个路侧相机,分别用于监控不同方向、不同视野内的道路区域,每一个路侧相机都可以用于执行上述各个实施例的方案,最后可以对多个路侧相机的障碍物检测结果进行融合,从而得到全路段的障碍物检测结果。
本申请实施例还提供了一种障碍物检测装置200,所述装置应用于路侧,如图2所示,提供了本申请实施例中一种障碍物检测装置的结构示意图,所述装置200包括:
获取单元210,用于获取路侧相机采集的第一道路图像,并确定所述第一道路图像中的车道行驶区域以及第一障碍物分割结果;
第一确定单元220,用于根据所述车道行驶区域和所述第一障碍物分割结果确定所述车道行驶区域的障碍物标记结果,所述障碍物标记结果包括障碍物标记位置;
第二确定单元230,用于根据所述障碍物标记结果确定所述障碍物标记位置对应的车辆跟踪结果;
第三确定单元240,用于根据所述障碍物标记结果和所述障碍物标记位置对应的车辆跟踪结果确定障碍物检测结果。
在本申请的一些实施例中,所述获取单元210具体用于:根据所述路侧相机的位置获取对应的高精地图数据以及高精地图与路侧相机的标定关系,所述高精地图数据包括车道数据;根据所述高精地图与路侧相机的标定关系,将所述车道数据投影至所述第一道路图像中,得到所述第一道路图像中的车道行驶区域。
在本申请的一些实施例中,所述第一障碍物分割结果包括障碍物分割位置,所述第一确定单元220具体用于:根据所述车道行驶区域和所述第一障碍物分割结果,确定所述车道行驶区域是否存在障碍物;若存在,则根据所述障碍物分割位置对应的第二道路图像并进行障碍物分割,得到第二障碍物分割结果;根据所述车道行驶区域和所述第二障碍物分割结果,确定所述障碍物分割位置是否存在障碍物;若存在,则对所述障碍物分割位置标记,得到所述障碍物标记位置。
在本申请的一些实施例中,所述第二确定单元230具体用于:获取所述障碍物标记位置对应的第三道路图像并进行车辆检测,得到所述障碍物标记位置的车辆检测结果;根据所述障碍物标记位置的车辆检测结果进行车辆跟踪,得到所述障碍物标记位置对应的车辆跟踪结果。
在本申请的一些实施例中,所述第三确定单元240具体用于:根据所述车辆跟踪结果确定所述障碍物标记位置对应的车辆行驶轨迹;根据所述车辆行驶轨迹确定是否触发障碍物标记结果的修正条件;若触发,则对所述障碍物标记结果进行修正,得到所述障碍物检测结果;否则,则直接将所述障碍物标记结果作为所述障碍物检测结果。
在本申请的一些实施例中,所述第三确定单元240具体用于:确定所述车辆行驶轨迹是否经过所述障碍物标记位置;若是,则确定所述车辆行驶轨迹触发障碍物标记结果的修正条件;所述对所述障碍物标记结果进行修正,得到所述障碍物检测结果包括:删除对所述障碍物标记位置的标记,得到所述障碍物检测结果。
在本申请的一些实施例中,所述第三确定单元240具体用于:确定所述车辆行驶轨迹是否为在所述障碍物标记位置的变道轨迹;若是,则确定在所述障碍物标记位置的变道轨迹对应的车辆数量;若在所述障碍物标记位置的变道轨迹对应的车辆数量满足预设数量阈值,则确定未触发所述障碍物标记结果的修正条件;否则,则确定触发所述障碍物标记结果的修正条件。
在本申请的一些实施例中,所述第一障碍物分割结果包括障碍物分割位置,所述第一确定单元220具体用于:根据所述车道行驶区域和所述障碍物分割位置,确定所述车道行驶区域是否存在障碍物;若存在,则根据所述路侧相机的位置获取对应的高精地图数据,所述高精地图数据包括绿化带位置;确定所述障碍物分割位置与所述绿化带位置的距离是否小于预设距离阈值;若是,则确定所述障碍物为绿化树木,并对所述绿化树木的分割位置进行标记,得到绿化树木的标记位置。
能够理解,上述障碍物检测装置,能够实现前述实施例中提供的障碍物检测方法的各个步骤,关于障碍物检测方法的相关阐释均适用于障碍物检测装置,此处不再赘述。
图3是本申请的一个实施例电子设备的结构示意图。请参考图3,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成障碍物检测装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
获取路侧相机采集的第一道路图像,并确定所述第一道路图像中的车道行驶区域以及第一障碍物分割结果;
根据所述车道行驶区域和所述第一障碍物分割结果确定所述车道行驶区域的障碍物标记结果,所述障碍物标记结果包括障碍物标记位置;
根据所述障碍物标记结果确定所述障碍物标记位置对应的车辆跟踪结果;
根据所述障碍物标记结果和所述障碍物标记位置对应的车辆跟踪结果确定障碍物检测结果。
上述如本申请图1所示实施例揭示的障碍物检测装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中障碍物检测装置执行的方法,并实现障碍物检测装置在图1所示实施例的功能,本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图1所示实施例中障碍物检测装置执行的方法,并具体用于执行:
获取路侧相机采集的第一道路图像,并确定所述第一道路图像中的车道行驶区域以及第一障碍物分割结果;
根据所述车道行驶区域和所述第一障碍物分割结果确定所述车道行驶区域的障碍物标记结果,所述障碍物标记结果包括障碍物标记位置;
根据所述障碍物标记结果确定所述障碍物标记位置对应的车辆跟踪结果;
根据所述障碍物标记结果和所述障碍物标记位置对应的车辆跟踪结果确定障碍物检测结果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (11)
1.一种障碍物检测方法,所述方法由路侧执行,其中,所述方法包括:
获取路侧相机采集的第一道路图像,并确定所述第一道路图像中的车道行驶区域以及第一障碍物分割结果;
根据所述车道行驶区域和所述第一障碍物分割结果确定所述车道行驶区域的障碍物标记结果,所述障碍物标记结果包括障碍物标记位置;
根据所述障碍物标记结果确定所述障碍物标记位置对应的车辆跟踪结果;
根据所述障碍物标记结果和所述障碍物标记位置对应的车辆跟踪结果确定障碍物检测结果。
2.如权利要求1所述方法,其中,所述确定所述第一道路图像中的车道行驶区域包括:
根据所述路侧相机的位置获取对应的高精地图数据以及高精地图与路侧相机的标定关系,所述高精地图数据包括车道数据;
根据所述高精地图与路侧相机的标定关系,将所述车道数据投影至所述第一道路图像中,得到所述第一道路图像中的车道行驶区域。
3.如权利要求1所述方法,其中,所述第一障碍物分割结果包括障碍物分割位置,所述根据所述车道行驶区域和所述第一障碍物分割结果确定所述车道行驶区域的障碍物标记结果包括:
根据所述车道行驶区域和所述第一障碍物分割结果,确定所述车道行驶区域是否存在障碍物;
若存在,则根据所述障碍物分割位置对应的第二道路图像并进行障碍物分割,得到第二障碍物分割结果;
根据所述车道行驶区域和所述第二障碍物分割结果,确定所述障碍物分割位置是否存在障碍物;
若存在,则对所述障碍物分割位置标记,得到所述障碍物标记位置。
4.如权利要求1所述方法,其中,所述根据所述障碍物标记结果确定所述障碍物标记位置对应的车辆跟踪结果包括:
获取所述障碍物标记位置对应的第三道路图像并进行车辆检测,得到所述障碍物标记位置的车辆检测结果;
根据所述障碍物标记位置的车辆检测结果进行车辆跟踪,得到所述障碍物标记位置对应的车辆跟踪结果。
5.如权利要求1所述方法,其中,所述根据所述障碍物标记结果和所述障碍物标记位置对应的车辆跟踪结果确定障碍物检测结果包括:
根据所述车辆跟踪结果确定所述障碍物标记位置对应的车辆行驶轨迹;
根据所述车辆行驶轨迹确定是否触发障碍物标记结果的修正条件;
若触发,则对所述障碍物标记结果进行修正,得到所述障碍物检测结果;
否则,则直接将所述障碍物标记结果作为所述障碍物检测结果。
6.如权利要求5所述方法,其中,所述根据所述车辆行驶轨迹确定是否触发障碍物标记结果的修正条件包括:
确定所述车辆行驶轨迹是否经过所述障碍物标记位置;
若是,则确定所述车辆行驶轨迹触发障碍物标记结果的修正条件;
所述对所述障碍物标记结果进行修正,得到所述障碍物检测结果包括:
删除对所述障碍物标记位置的标记,得到所述障碍物检测结果。
7.如权利要求5所述方法,其中,所述根据所述车辆行驶轨迹确定是否触发障碍物标记结果的修正条件包括:
确定所述车辆行驶轨迹是否为在所述障碍物标记位置的变道轨迹;
若是,则确定在所述障碍物标记位置的变道轨迹对应的车辆数量;
若在所述障碍物标记位置的变道轨迹对应的车辆数量满足预设数量阈值,则确定未触发所述障碍物标记结果的修正条件;
否则,则确定触发所述障碍物标记结果的修正条件。
8.如权利要求1~7之任一所述方法,其中,所述第一障碍物分割结果包括障碍物分割位置,所述根据所述车道行驶区域和所述第一障碍物分割结果确定所述车道行驶区域的障碍物标记结果包括:
根据所述车道行驶区域和所述障碍物分割位置,确定所述车道行驶区域是否存在障碍物;
若存在,则根据所述路侧相机的位置获取对应的高精地图数据,所述高精地图数据包括绿化带位置;
确定所述障碍物分割位置与所述绿化带位置的距离是否小于预设距离阈值;
若是,则确定所述障碍物为绿化树木,并对所述绿化树木的分割位置进行标记,得到绿化树木的标记位置。
9.一种障碍物检测装置,所述装置应用于路侧,其中,所述装置包括:
获取单元,用于获取路侧相机采集的第一道路图像,并确定所述第一道路图像中的车道行驶区域以及第一障碍物分割结果;
第一确定单元,用于根据所述车道行驶区域和所述第一障碍物分割结果确定所述车道行驶区域的障碍物标记结果,所述障碍物标记结果包括障碍物标记位置;
第二确定单元,用于根据所述障碍物标记结果确定所述障碍物标记位置对应的车辆跟踪结果;
第三确定单元,用于根据所述障碍物标记结果和所述障碍物标记位置对应的车辆跟踪结果确定障碍物检测结果。
10.一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行所述权利要求1~8之任一所述方法。
11.一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行所述权利要求1~8之任一所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211320228.XA CN115691127A (zh) | 2022-10-26 | 2022-10-26 | 障碍物检测方法、装置及电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211320228.XA CN115691127A (zh) | 2022-10-26 | 2022-10-26 | 障碍物检测方法、装置及电子设备、计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115691127A true CN115691127A (zh) | 2023-02-03 |
Family
ID=85099671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211320228.XA Pending CN115691127A (zh) | 2022-10-26 | 2022-10-26 | 障碍物检测方法、装置及电子设备、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115691127A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112861573A (zh) * | 2019-11-27 | 2021-05-28 | 宇龙计算机通信科技(深圳)有限公司 | 一种障碍物识别方法、装置、存储介质及智慧灯杆 |
CN114624702A (zh) * | 2022-01-28 | 2022-06-14 | 广州文远知行科技有限公司 | 障碍物识别方法、装置、设备及存储介质 |
CN114643988A (zh) * | 2022-05-20 | 2022-06-21 | 杭州宏景智驾科技有限公司 | 跟踪目标确定方法和装置、电子设备和存储介质 |
CN114694115A (zh) * | 2022-03-24 | 2022-07-01 | 商汤集团有限公司 | 一种道路障碍物检测方法、装置、设备及存储介质 |
CN114764973A (zh) * | 2020-12-30 | 2022-07-19 | 华为技术有限公司 | 一种路面异常区域监测方法、装置、设备及存储介质 |
-
2022
- 2022-10-26 CN CN202211320228.XA patent/CN115691127A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112861573A (zh) * | 2019-11-27 | 2021-05-28 | 宇龙计算机通信科技(深圳)有限公司 | 一种障碍物识别方法、装置、存储介质及智慧灯杆 |
CN114764973A (zh) * | 2020-12-30 | 2022-07-19 | 华为技术有限公司 | 一种路面异常区域监测方法、装置、设备及存储介质 |
CN114624702A (zh) * | 2022-01-28 | 2022-06-14 | 广州文远知行科技有限公司 | 障碍物识别方法、装置、设备及存储介质 |
CN114694115A (zh) * | 2022-03-24 | 2022-07-01 | 商汤集团有限公司 | 一种道路障碍物检测方法、装置、设备及存储介质 |
CN114643988A (zh) * | 2022-05-20 | 2022-06-21 | 杭州宏景智驾科技有限公司 | 跟踪目标确定方法和装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114705121B (zh) | 车辆位姿测量方法、装置及电子设备、存储介质 | |
CN113240756B (zh) | 车载bsd摄像头的位姿变动检测方法、设备和存储介质 | |
CN115292435B (zh) | 高精地图的更新方法和装置、电子设备和存储介质 | |
CN114333344A (zh) | 机动车违章抓拍方法、装置及电子设备 | |
CN115792945A (zh) | 一种浮空障碍物检测方法、装置和电子设备、存储介质 | |
CN114973198A (zh) | 目标车辆的航向角预测方法、装置及电子设备、存储介质 | |
CN116682091A (zh) | 用于自动驾驶车辆的障碍物感知方法、装置 | |
CN115962774A (zh) | 点云地图更新方法、装置及电子设备、存储介质 | |
JP2021018465A (ja) | 物体認識装置 | |
CN113968229A (zh) | 道路区域的确定方法、装置和电子设备 | |
CN113569812A (zh) | 未知障碍物的识别方法、装置和电子设备 | |
CN116758736A (zh) | 违停检测方法、装置及电子设备 | |
CN116740680A (zh) | 一种车辆定位方法、装置及电子设备 | |
CN115950441A (zh) | 自动驾驶车辆的融合定位方法、装置及电子设备 | |
CN115691127A (zh) | 障碍物检测方法、装置及电子设备、计算机可读存储介质 | |
CN116503832A (zh) | 一种基于深度学习的信号灯识别方法及装置 | |
CN115249407B (zh) | 指示灯状态识别方法、装置、电子设备、存储介质及产品 | |
CN115240432A (zh) | 交通拥堵检测方法、装置及电子设备、存储介质 | |
CN115359443A (zh) | 交通事故检测方法和装置、电子设备和存储介质 | |
CN116381698B (zh) | 道路遗撒物的检测方法、装置及电子设备 | |
JP2017045261A (ja) | 情報取得装置及び情報取得方法並びに情報取得用プログラム | |
CN116543360A (zh) | 路侧地图的构建方法、装置及电子设备 | |
CN115620257A (zh) | 道路积雪影响的检测方法、装置及电子设备、存储介质 | |
CN116228820B (zh) | 一种障碍物检测方法、装置和电子设备、存储介质 | |
CN114987463A (zh) | 目标碰撞预警方法、装置及电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |