CN111126154A - 路面元素的识别方法、装置、无人驾驶设备和存储介质 - Google Patents
路面元素的识别方法、装置、无人驾驶设备和存储介质 Download PDFInfo
- Publication number
- CN111126154A CN111126154A CN201911166070.3A CN201911166070A CN111126154A CN 111126154 A CN111126154 A CN 111126154A CN 201911166070 A CN201911166070 A CN 201911166070A CN 111126154 A CN111126154 A CN 111126154A
- Authority
- CN
- China
- Prior art keywords
- image
- position information
- road surface
- current
- pavement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000008901 benefit Effects 0.000 abstract description 8
- 230000007547 defect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000010485 coping Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
Abstract
本申请公开了路面元素的识别方法、装置、无人驾驶设备和存储介质。所述方法包括:获取当前图像;判断所述当前图像是否满足替换条件;若所述当前图像满足替换条件,则根据所述当前图像以及当前位置信息,从路面元素图像库中查找出与所述当前图像匹配的替换图像;所述路面元素图像库中保存有路面元素图像及其对应的位置信息;根据路面元素图像识别模型,从所述替换图像中识别出用于参考的路面元素;根据当前位置信息、所述替换图像对应的位置信息以及用于参考的路面元素,确定所述当前图像中与当前位置信息对应的路面元素。其有益效果在于,当前图像不满足识别需求时,能够通过替换图像获得准确的路面元素,适用于无人驾驶等场景。
Description
技术领域
本申请涉及无人驾驶领域,具体涉及路面元素的识别方法、装置、无人驾驶设备和存储介质。
背景技术
无人驾驶在物流、外卖等领域中有着越来越广泛的应用,例如使用无人车进行货物或外卖的配送。无人驾驶场景中的一个重要环节就是有效地识别无人驾驶设备所处的当前环境。目前有两种方式可以实现:一是依赖于高精地图,高精地图是一种精度高、刷新率高,地图元素多的地图,能够获取的有效信息多,但存在构建成本较高等缺点。二是利用摄像头识别道路交通标线和道路边界等,并基于识别内容进行局部建图,通常将其建图的结果称为感知地图。但感知地图的使用依赖于传感器采集的图像,若图像中的道路交通标线被遮挡则可能存在不能有效识别的问题。
发明内容
鉴于上述问题,提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的路面元素的识别方法、装置、无人驾驶设备和存储介质。
依据本申请的一个方面,提供了一种路面元素的识别方法,包括:
获取当前图像;
判断所述当前图像是否满足替换条件;
若所述当前图像满足替换条件,则根据所述当前图像以及当前位置信息,从路面元素图像库中查找出与所述当前图像匹配的替换图像;所述路面元素图像库中保存有路面元素图像及其对应的位置信息;
根据路面元素图像识别模型,从所述替换图像中识别出用于参考的路面元素;
根据当前位置信息、所述替换图像对应的位置信息以及用于参考的路面元素,确定所述当前图像中与当前位置信息对应的路面元素。
可选地,所述路面元素包括道路交通标线和/或道路边界。
可选地,所述判断所述当前图像是否满足替换条件包括:
判断所述当前图像中是否存在被遮蔽的车道线,是则判定当前图像满足替换条件;
否则,将所述当前图像输入路面元素图像识别模型,若识别结果的置信度不大于预设阈值,则判定当前图像满足替换条件。
可选地,所述方法还包括:
若识别结果的置信度大于预设阈值,则将所述识别结果直接作为与当前位置信息对应的路面元素。
可选地,位置信息包括基于预设坐标系确定的横坐标信息、纵坐标信息和角度信息;
路面元素包括基于所述预设坐标系确定的多对横坐标信息和纵坐标信息。
可选地,所述根据当前位置信息、所述替换图像对应的位置信息以及用于参考的路面元素,确定与当前位置信息对应的路面元素包括:
根据所述当前位置信息和所述替换图像对应的位置信息,确定变换矩阵;
根据所述坐标变化矩阵和所述用于参考的路面元素,确定与当前位置信息对应的路面元素。
可选地,所述方法还包括:
将识别出的路面元素作为场景信息,根据所述场景信息进行无人驾驶设备的轨迹规划和/或进行建图。
依据本申请的另一方面,提供了一种路面元素的识别装置,包括:
获取单元,用于获取当前图像;
路面元素识别单元,用于判断所述当前图像是否满足替换条件;若所述当前图像满足替换条件,则根据所述当前图像以及当前位置信息,从路面元素图像库中查找出与所述当前图像匹配的替换图像;所述路面元素图像库中保存有路面元素图像及其对应的位置信息;根据路面元素图像识别模型,从所述替换图像中识别出用于参考的路面元素;根据当前位置信息、所述替换图像对应的位置信息以及用于参考的路面元素,确定所述当前图像中与当前位置信息对应的路面元素。
可选地,所述路面元素包括道路交通标线和/或道路边界。
可选地,所述路面元素识别单元,用于判断所述当前图像中是否存在被遮蔽的车道线,是则判定当前图像满足替换条件;否则,将所述当前图像输入路面元素图像识别模型,若识别结果的置信度不大于预设阈值,则判定当前图像满足替换条件。
可选地,所述路面元素识别单元,用于若识别结果的置信度大于预设阈值,则将所述识别结果直接作为与当前位置信息对应的路面元素。
可选地,位置信息包括基于预设坐标系确定的横坐标信息、纵坐标信息和角度信息;路面元素包括基于所述预设坐标系确定的多对横坐标信息和纵坐标信息。
可选地,所述路面元素识别单元,用于根据所述当前位置信息和所述替换图像对应的位置信息,确定变换矩阵;根据所述坐标变化矩阵和所述用于参考的路面元素,确定与当前位置信息对应的路面元素。
可选地,所述装置还包括:应用单元,用于将识别出的路面元素作为场景信息,根据所述场景信息进行无人驾驶设备的轨迹规划和/或进行建图。
依据本申请的又一方面,提供了一种无人驾驶设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。
依据本申请的再一方面,提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现如上述任一所述的方法。
由上述可知,本申请的技术方案,通过获取当前图像;判断所述当前图像是否满足替换条件;若所述当前图像满足替换条件,则根据所述当前图像以及当前位置信息,从路面元素图像库中查找出与所述当前图像匹配的替换图像;所述路面元素图像库中保存有路面元素图像及其对应的位置信息;根据路面元素图像识别模型,从所述替换图像中识别出用于参考的路面元素;根据当前位置信息、所述替换图像对应的位置信息以及用于参考的路面元素,确定与当前位置信息对应的路面元素。其有益效果在于,可以实现自动化的确定出对应的路面元素,成本较低,精度较高,可以高效的识别路面元素,针对图像中路面元素被遮挡等情况给出了效果非常好的应对方案。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本申请一个实施例的路面元素的识别方法的流程示意图;
图2示出了根据本申请一个实施例的路面元素的识别装置的结构示意图;
图3示出了根据本申请一个实施例的无人驾驶设备的结构示意图;
图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
图1示出了根据本申请一个实施例的路面元素的识别方法的流程示意图。如图1所示,该方法包括:
步骤S110,获取当前图像。
当前图像可以是通过传感器采集的,也可以是通过V2X的方式传输来的。V2X是指vehicle to everything,是车对外界的信息交换系统,可以实现在无人驾驶模式下,通过使用车载传感器和摄像系统感知周围环境,对实时交通信息进行收集。
也就是说,利用本申请实施例所识别出的路面元素,可以用于实时进行无人驾驶设备的轨迹规划,也可以用于地图建图等场景。则本申请实施例的方法可以相应地应用于无人驾驶设备中或者建图设备中。所述传感器可以是设置在无人驾驶设备上的传感器,例如摄像头,对道路情况进行实时探测,获取到路面的当前图像,或者至少有部分是路面的当前图像。这样,实现了对路面的当前图像的采集。
步骤S120,判断当前图像是否满足替换条件。
可以预先在图库中存储预先采集的清晰、无遮挡的图像,并预先设置对当前图像替换的条件。当采集的当前图像存在过于模糊、被遮挡等瑕疵时,可以通过替换,用图库中清晰的图像替换当前图像,以克服采集的图像瑕疵。
步骤S130,若当前图像满足替换条件,则根据当前图像以及当前位置信息,从路面元素图像库中查找出与当前图像匹配的替换图像;路面元素图像库中保存有路面元素图像及其对应的位置信息。
采集的当前图像与当前的位置信息具有对应关系,路面元素图像库中保存的路面元素图像与位置信息也存在对应关系。这些位置信息具体可以是高精定位信息,确保了定位以及后续匹配的准确度。因此,为了准确替换存在瑕疵的当前图像,可以在满足替换条件时,根据当前图像以及当前位置信息,从路面元素图像库中查找出与当前图像匹配的替换图像。这样,就实现了准确替换对应的存在瑕疵的当前图像。
步骤S140,根据路面元素图像识别模型,从替换图像中识别出用于参考的路面元素。
为了更为高效的对路面元素图像中的路面元素进行识别,可以预先建构路面元素图像识别模型,在完成模型训练后可以根据路面元素图像识别模型,从替换图像中识别出用于参考的路面元素。这样,就是实现了准确、自动化的识别从替换图像中识别出用于参考的路面元素。
步骤S150,根据当前位置信息、替换图像对应的位置信息以及用于参考的路面元素,确定当前图像中与当前位置信息对应的路面元素。
在路面元素图像库中存储在所有位置、所有角度拍摄的图像是不现实的,因此,替换图像与当前图像虽然匹配,但是并不一定完全一致,例如当前位置信息与替换图像对应的位置信息可能存在偏差,将用于参考的路面元素直接使用可能并不符合实际,举例而言,当前位置信息与替换图像对应的位置信息在横向上有5cm的误差,则如果根据替换图像中识别出的实线进行轨迹规划,实际上很可能会压线。因此,需要进行一些转化操作。这样,就可以根据当前位置信息与替换图像对应的位置信息的对应关系,结合用于参考的路面元素,确定与当前位置信息对应的路面元素,完整实现了通过对路面元素的解析并最终确定出当前图像中与当前位置信息对应的路面元素。
可见,图1所示的方法,有益效果在于,可以实现自动化的确定出对应的路面元素,成本较低,精度较高,可以高效的识别路面元素,针对图像中路面元素被遮挡等情况给出了效果非常好的应对方案。
在本申请的一个实施例中,上述方法中,路面元素包括道路交通标线和/或道路边界。
道路交通标线、道路边界具有重要的交通引导作用,因此路面元素可以包括道路交通标线、道路边界等信息内容。
在本申请的一个实施例中,上述方法中,判断当前图像是否满足替换条件包括:判断当前图像中是否存在被遮蔽的路面元素,是则判定当前图像满足替换条件;否则,将当前图像输入路面元素图像识别模型,若识别结果的置信度不大于预设阈值,则判定当前图像满足替换条件。
传感器探测获取的当前图像可能存在路面元素被遮挡、路面元素不完整、不清晰等情况。因此,可以分别根据具体情况进行判定。具体而言,可以先识别并得出判断当前图像中是否存在被遮蔽的路面元素,例如,可以通过图像识别算法,或者可以通过自动识别模型对当前图像中是否存在被遮蔽的路面元素进行识别和判断。如果当前图像存在被遮蔽的车道线等路面元素则判定当前图像满足替换条件,进而启动选择替换图像的流程;如果当前图像中不存在被遮蔽的车道线等路面元素则将当前图像输入路面元素图像识别模型,通过预设的路面元素图像识别模型和置信度预设阈值进行再次判断。将通过路面元素图像识别模型解析获取到的识别结果与置信度阈值进行比较,如果获取到的识别结果不大于预设阈值,则判定当前图像满足替换条件,进而启动替换图像。在选择与路面图像匹配的替换图像时,可以通过例如gist scene descriptor(空间包络特征描述符)限定检索范围,再通过图像匹配算法挑选与当前图像最相似的路面图像。这样,就实现了结合不同具体路面图像情况分别确定不同的替换条件。
在本申请的一个实施例中,上述方法还包括:若识别结果的置信度大于预设阈值,则将识别结果直接作为与当前位置信息对应的路面元素。
将通过路面元素图像识别模型解析获取到的识别结果与置信度阈值进行比较,如果获取到的识别结果大于预设阈值,则可以认为获取的路面图像是满足识别要求的,进而将识别结果直接作为与当前位置信息对应的路面元素。这样,就实现了针对满足识别要求的路面图像进行处理以将识别结果直接作为与当前位置信息对应的路面元素。
在本申请的一个实施例中,上述方法中,位置信息包括基于预设坐标系确定的横坐标信息、纵坐标信息和角度信息;路面元素包括基于预设坐标系确定的多对横坐标信息和纵坐标信息。
路面元素可以包括道路交通标线和/或道路边界,为了准确描述这些路面元素,可以通过确定道路交通标线和/或道路边界的空间位置来进一步确定对应的位置信息。对应的位置关系的准确性直接影响着替换路面图像的准确性,进而影响整体的识别效果。因此,为了准确描述路面图像的位置信息,可以建立统一的坐标系,并基于该坐标系确定的横坐标信息、纵坐标信息和角度信息(通常记为x,y,theta)以进行综合描述,其中由于当前位置信息也与传感器的位姿有对应关系,因此包含了角度信息。路面元素包括基于预设坐标系确定的多对横坐标信息和纵坐标信息,因为路面元素如道路交通标线往往是在一个范围内存在的,因此对应的是多个坐标对。这样,就可以实现对空间位置关系进行准确的描述。
在本申请的一个实施例中,上述方法中,根据当前位置信息、替换图像对应的位置信息以及用于参考的路面元素,确定与当前位置信息对应的路面元素包括:根据当前位置信息和替换图像对应的位置信息,确定变换矩阵;根据坐标变化矩阵和用于参考的路面元素,确定与当前位置信息对应的路面元素。
当前位置信息和替换图像的空间位置具有对应关系,因此可以通过解析转化对应的位置信息实现确定当前位置信息和替换图像对应的位置信息。具体可以通过确定变换矩阵,并根据坐标变化矩阵和用于参考的路面元素,确定与当前位置信息对应的路面元素。例如,假设匹配的路面图像为P_m,匹配的路面图像的位置坐标为L_m,当前路面位置坐标为L_c,通过车道线模型获取车道线的坐标为Lane_m。可以根据P_m和其对应的L_m=(X_m,Y_m,Theta_m),通过车道线模型获取车道线Lane_m={(X_left_1,Y_left_1),...,(X_left_n,Y_left_n);(X_right_1,Y_right_1),...(X_right_n,Y_left_n)}。这样,实现了通过车道线模型获取车道线的坐标为Lane_m。然后,可以根据L_c=(X_c,Y_c,Theta_c)和L_m=(X_m,Y_m,Theta_m),确定出L_c到L_m的变换矩阵R,T。根据该矩阵R,T,最终可以求出Lane_m变换后的结果,即Lane_c。这样,就实现了根据当前位置信息和替换图像的空间位置具有对应关系,借助矩阵转化的方式确定出与当前位置信息对应的路面元素。
在本申请的一个实施例中,上述方法中,将识别出的路面元素作为场景信息,根据场景信息进行无人驾驶设备的轨迹规划和/或进行建图。
识别出的路面元素对无人驾驶的路径规划具有重要的辅助规划作用。具体的,可以通过将具有将识别出的路面元素作为场景信息,然后根据所述场景信息进行无人驾驶设备的轨迹规划。这样,无人驾驶设备可以根据路面元素对实时交通信息进行准确分析,从而准确感知周围环境,避开障碍物,自动选择路况最佳的行驶路线,自动做出迅速调整、自动减速至安全速度、转向或停车等自动操作。另外,是辈出的路面元素也可以应用在建图中,对辅助绘制地图有较大帮助。可见,本申请的方案对于物流、外卖配送等依赖于地图和路径规划的领域,具有较高的应用价值和适应性。
图2示出了根据本申请一个实施例的路面元素的识别装置的结构示意图。如图2所示,路面元素的识别装置200包括:
获取单元210,用于获取当前图像。
当前图像可以是通过传感器采集的,也可以是通过V2X的方式传输来的。V2X是指vehicle to everything,是车对外界的信息交换系统,可以实现在无人驾驶模式下,通过使用车载传感器和摄像系统感知周围环境,对实时交通信息进行收集。
也就是说,利用本申请实施例所识别出的路面元素,可以用于实时进行无人驾驶设备的轨迹规划,也可以用于地图建图等场景。则本申请实施例的装置可以相应地应用于无人驾驶设备中或者建图设备中。所述传感器可以是设置在无人驾驶设备上的传感器,例如摄像头,对道路情况进行实时探测,获取到路面的当前图像,或者至少有部分是路面的当前图像。这样,实现了对路面的当前图像的采集。
路面元素识别单元220,用于判断当前图像是否满足替换条件;若当前图像满足替换条件,则根据当前图像以及当前位置信息,从路面元素图像库中查找出与当前图像匹配的替换图像;路面元素图像库中保存有路面元素图像及其对应的位置信息;根据路面元素图像识别模型,从替换图像中识别出用于参考的路面元素;根据当前位置信息、替换图像对应的位置信息以及用于参考的路面元素,确定当前图像中与当前位置信息对应的路面元素。
可以预先在图库中存储预先采集的清晰、无遮挡的图像,并预先设置对当前图像替换的条件。当采集的当前图像存在过于模糊、被遮挡等瑕疵时,可以通过替换,用图库中清晰的图像替换当前图像,以克服采集的图像瑕疵。采集的当前图像与当前的位置信息具有对应关系,路面元素图像库中保存的路面元素图像与位置信息也存在对应关系。这些位置信息具体可以是高精定位信息,确保了定位以及后续匹配的准确度。因此,为了准确替换存在瑕疵的当前图像,可以在满足替换条件时,根据当前图像以及当前位置信息,从路面元素图像库中查找出与当前图像匹配的替换图像。这样,就实现了准确替换对应的存在瑕疵的当前图像。为了更为高效的对路面元素图像中的路面元素进行识别,可以预先建构路面元素图像识别模型,在完成模型训练后可以根据路面元素图像识别模型,从替换图像中识别出用于参考的路面元素。这样,就是实现了准确、自动化的识别从替换图像中识别出用于参考的路面元素。在路面元素图像库中存储在所有位置、所有角度拍摄的图像是不现实的,因此,替换图像与当前图像虽然匹配,但是并不一定完全一致,例如当前位置信息与替换图像对应的位置信息可能存在偏差,将用于参考的路面元素直接使用可能并不符合实际,举例而言,当前位置信息与替换图像对应的位置信息在横向上有5cm的误差,则如果根据替换图像中识别出的实线进行轨迹规划,实际上很可能会压线。因此,需要进行一些转化操作。这样,就可以根据当前位置信息与替换图像对应的位置信息的对应关系,结合用于参考的路面元素,确定当前图像中与当前位置信息对应的路面元素,完整实现了通过对路面元素的解析并最终确定出与当前位置信息对应的路面元素。
可见,图2所示的装置,有益效果在于,可以实现自动化的确定出对应的路面元素,成本较低,精度较高,可以高效的识别路面元素,针对图像中路面元素被遮挡等情况给出了效果非常好的应对方案。
在本申请的一个实施例中,上述装置中,路面元素包括道路交通标线和/或道路边界。
在本申请的一个实施例中,上述装置中,路面元素识别单元,用于判断当前图像中是否存在被遮蔽的路面元素,是则判定当前图像满足替换条件;否则,将当前图像输入路面元素图像识别模型,若识别结果的置信度不大于预设阈值,则判定当前图像满足替换条件。
在本申请的一个实施例中,上述装置中,路面元素识别单元,用于若识别结果的置信度大于预设阈值,则将识别结果直接作为与当前位置信息对应的路面元素。
在本申请的一个实施例中,上述装置中,位置信息包括基于预设坐标系确定的横坐标信息、纵坐标信息和角度信息;路面元素包括基于预设坐标系确定的多对横坐标信息和纵坐标信息。
在本申请的一个实施例中,上述装置中,路面元素识别单元,用于根据当前位置信息和替换图像对应的位置信息,确定变换矩阵;根据坐标变化矩阵和用于参考的路面元素,确定与当前位置信息对应的路面元素。
在本申请的一个实施例中,上述装置还包括:应用单元,用于将识别出的路面元素作为场景信息,根据所述场景信息进行无人驾驶设备的轨迹规划和/或进行建图。
需要说明的是,上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行,在此不再赘述。
综上所述,本申请的技术方案,通过获取当前图像;判断所述当前图像是否满足替换条件;若所述当前图像满足替换条件,则根据所述当前图像以及当前位置信息,从路面元素图像库中查找出与所述当前图像匹配的替换图像;所述路面元素图像库中保存有路面元素图像及其对应的位置信息;根据路面元素图像识别模型,从所述替换图像中识别出用于参考的路面元素;根据当前位置信息、所述替换图像对应的位置信息以及用于参考的路面元素,确定与当前位置信息对应的路面元素。其有益效果在于,可以实现自动化的确定出对应的路面元素,成本较低,精度较高,可以高效的识别路面元素,针对图像中路面元素被遮挡等情况给出了效果非常好的应对方案。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本申请也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在上面对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的路面元素的识别装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
例如,图3示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如,用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331,可以被电子设备300的处理器310读取,当计算机可读程序代码331由电子设备300运行时,导致该电子设备300执行上面所描述的方法中的各个步骤,具体来说,该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种路面元素的识别方法,包括:
获取当前图像;
判断所述当前图像是否满足替换条件;
若所述当前图像满足替换条件,则根据所述当前图像以及当前位置信息,从路面元素图像库中查找出与所述当前图像匹配的替换图像;所述路面元素图像库中保存有路面元素图像及其对应的位置信息;
根据路面元素图像识别模型,从所述替换图像中识别出用于参考的路面元素;
根据当前位置信息、所述替换图像对应的位置信息以及用于参考的路面元素,确定所述当前图像中与当前位置信息对应的路面元素。
2.如权利要求1所述的方法,其特征在于,所述路面元素包括道路交通标线和/或道路边界。
3.如权利要求1所述的方法,其特征在于,所述判断所述当前图像是否满足替换条件包括:
判断所述当前图像中是否存在被遮蔽的路面元素,是则判定当前图像满足替换条件;
否则,将所述当前图像输入路面元素图像识别模型,若识别结果的置信度不大于预设阈值,则判定当前图像满足替换条件。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
若识别结果的置信度大于预设阈值,则将所述识别结果直接作为与当前位置信息对应的路面元素。
5.如权利要求1所述的方法,其特征在于,位置信息包括基于预设坐标系确定的横坐标信息、纵坐标信息和角度信息;
路面元素包括基于所述预设坐标系确定的多对横坐标信息和纵坐标信息。
6.如权利要求5所述的方法,其特征在于,所述根据当前位置信息、所述替换图像对应的位置信息以及用于参考的路面元素,确定与当前位置信息对应的路面元素包括:
根据所述当前位置信息和所述替换图像对应的位置信息,确定变换矩阵;
根据所述坐标变化矩阵和所述用于参考的路面元素,确定与当前位置信息对应的路面元素。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
将识别出的路面元素作为场景信息,根据所述场景信息进行无人驾驶设备的轨迹规划和/或进行建图。
8.一种路面元素的识别装置,包括:
获取单元,用于获取当前图像;
路面元素识别单元,用于判断所述当前图像是否满足替换条件;若所述当前图像满足替换条件,则根据所述当前图像以及当前位置信息,从路面元素图像库中查找出与所述当前图像匹配的替换图像;所述路面元素图像库中保存有路面元素图像及其对应的位置信息;根据路面元素图像识别模型,从所述替换图像中识别出用于参考的路面元素;根据当前位置信息、所述替换图像对应的位置信息以及用于参考的路面元素,确定与当前位置信息对应的路面元素。
9.一种无人驾驶设备,其特征在于,该无人驾驶设备包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911166070.3A CN111126154A (zh) | 2019-11-25 | 2019-11-25 | 路面元素的识别方法、装置、无人驾驶设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911166070.3A CN111126154A (zh) | 2019-11-25 | 2019-11-25 | 路面元素的识别方法、装置、无人驾驶设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111126154A true CN111126154A (zh) | 2020-05-08 |
Family
ID=70496604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911166070.3A Pending CN111126154A (zh) | 2019-11-25 | 2019-11-25 | 路面元素的识别方法、装置、无人驾驶设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111126154A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783651A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 路面元素识别方法、装置、电子设备和存储介质 |
CN114554113A (zh) * | 2022-04-24 | 2022-05-27 | 浙江华眼视觉科技有限公司 | 一种快件码识别机取件人画像方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010108049A (ja) * | 2008-10-28 | 2010-05-13 | Hitachi Automotive Systems Ltd | 路面標示認識装置 |
KR20140137100A (ko) * | 2013-05-22 | 2014-12-02 | 숭실대학교산학협력단 | 차선 인식 시스템 및 그 방법 |
CN105807296A (zh) * | 2014-12-31 | 2016-07-27 | 中国移动通信集团公司 | 一种车辆定位方法、装置和设备 |
CN106294458A (zh) * | 2015-05-29 | 2017-01-04 | 北京四维图新科技股份有限公司 | 一种地图兴趣点更新方法及装置 |
CN109186615A (zh) * | 2018-09-03 | 2019-01-11 | 武汉中海庭数据技术有限公司 | 基于高精度地图的车道边线距离检测方法、装置及存储介质 |
CN109658445A (zh) * | 2018-12-14 | 2019-04-19 | 北京旷视科技有限公司 | 网络训练方法、增量建图方法、定位方法、装置及设备 |
CN109902637A (zh) * | 2019-03-05 | 2019-06-18 | 长沙智能驾驶研究院有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
CN109916415A (zh) * | 2019-04-12 | 2019-06-21 | 北京百度网讯科技有限公司 | 道路类型确定方法、装置、设备及存储介质 |
CN109949414A (zh) * | 2019-01-31 | 2019-06-28 | 顺丰科技有限公司 | 室内地图的构建方法及装置 |
-
2019
- 2019-11-25 CN CN201911166070.3A patent/CN111126154A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010108049A (ja) * | 2008-10-28 | 2010-05-13 | Hitachi Automotive Systems Ltd | 路面標示認識装置 |
KR20140137100A (ko) * | 2013-05-22 | 2014-12-02 | 숭실대학교산학협력단 | 차선 인식 시스템 및 그 방법 |
CN105807296A (zh) * | 2014-12-31 | 2016-07-27 | 中国移动通信集团公司 | 一种车辆定位方法、装置和设备 |
CN106294458A (zh) * | 2015-05-29 | 2017-01-04 | 北京四维图新科技股份有限公司 | 一种地图兴趣点更新方法及装置 |
CN109186615A (zh) * | 2018-09-03 | 2019-01-11 | 武汉中海庭数据技术有限公司 | 基于高精度地图的车道边线距离检测方法、装置及存储介质 |
CN109658445A (zh) * | 2018-12-14 | 2019-04-19 | 北京旷视科技有限公司 | 网络训练方法、增量建图方法、定位方法、装置及设备 |
CN109949414A (zh) * | 2019-01-31 | 2019-06-28 | 顺丰科技有限公司 | 室内地图的构建方法及装置 |
CN109902637A (zh) * | 2019-03-05 | 2019-06-18 | 长沙智能驾驶研究院有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
CN109916415A (zh) * | 2019-04-12 | 2019-06-21 | 北京百度网讯科技有限公司 | 道路类型确定方法、装置、设备及存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783651A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 路面元素识别方法、装置、电子设备和存储介质 |
CN111783651B (zh) * | 2020-06-30 | 2024-01-12 | 北京百度网讯科技有限公司 | 路面元素识别方法、装置、电子设备和存储介质 |
CN114554113A (zh) * | 2022-04-24 | 2022-05-27 | 浙江华眼视觉科技有限公司 | 一种快件码识别机取件人画像方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110210280B (zh) | 一种超视距感知方法、系统、终端和存储介质 | |
CN110598743A (zh) | 一种目标对象的标注方法和装置 | |
WO2018145602A1 (zh) | 车道的确定方法、装置及存储介质 | |
CN112069643B (zh) | 一种自动驾驶仿真场景生成方法及装置 | |
CN106952308B (zh) | 运动物体的位置确定方法及系统 | |
US8611585B2 (en) | Clear path detection using patch approach | |
CN110758246A (zh) | 一种自动泊车方法及装置 | |
CN107609483B (zh) | 面向驾驶辅助系统的危险目标检测方法、装置 | |
JP2022505759A (ja) | 運転者支援システムを試験するための方法及び装置 | |
CN112753038B (zh) | 识别车辆变道趋势的方法和装置 | |
CN111401133A (zh) | 目标数据增广方法、装置、电子设备和可读存储介质 | |
CN111079680A (zh) | 临时交通信号灯检测方法、装置和自动驾驶设备 | |
US20210191397A1 (en) | Autonomous vehicle semantic map establishment system and establishment method | |
CN110705359A (zh) | 一种车位检测方法 | |
CN111325136B (zh) | 智能车辆中物体对象的标注方法及装置、无人驾驶车辆 | |
WO2020007589A1 (en) | Training a deep convolutional neural network for individual routes | |
CN114663852A (zh) | 车道线图的构建方法、装置、电子设备及可读存储介质 | |
CN111126154A (zh) | 路面元素的识别方法、装置、无人驾驶设备和存储介质 | |
CN114705121A (zh) | 车辆位姿测量方法、装置及电子设备、存储介质 | |
CN110515376B (zh) | 一种航迹推演校正的评价方法、终端和存储介质 | |
CN112487861A (zh) | 车道线识别方法、装置、计算设备及计算机存储介质 | |
CN111126336B (zh) | 样本采集方法、装置及设备 | |
CN112820141B (zh) | 一种泊车车位的检测方法和检测系统 | |
CN114898314A (zh) | 驾驶场景的目标检测方法、装置、设备及存储介质 | |
CN108022250B (zh) | 基于自适应阈值分割的自动驾驶处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200508 |