CN110146097B - 自动驾驶导航地图的生成方法、系统、车载终端及服务器 - Google Patents

自动驾驶导航地图的生成方法、系统、车载终端及服务器 Download PDF

Info

Publication number
CN110146097B
CN110146097B CN201810984491.6A CN201810984491A CN110146097B CN 110146097 B CN110146097 B CN 110146097B CN 201810984491 A CN201810984491 A CN 201810984491A CN 110146097 B CN110146097 B CN 110146097B
Authority
CN
China
Prior art keywords
road
target object
electronic map
feature
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810984491.6A
Other languages
English (en)
Other versions
CN110146097A (zh
Inventor
杜志颖
单乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Beijing Chusudu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chusudu Technology Co ltd filed Critical Beijing Chusudu Technology Co ltd
Priority to CN201810984491.6A priority Critical patent/CN110146097B/zh
Priority to PCT/CN2018/113665 priority patent/WO2020042348A1/zh
Publication of CN110146097A publication Critical patent/CN110146097A/zh
Application granted granted Critical
Publication of CN110146097B publication Critical patent/CN110146097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

一种自动驾驶导航地图的生成方法、系统、车载终端及服务器,该方法包括:识别摄像头拍摄到的道路图像中的第一道路特征;所述摄像头的取景范围至少包括车辆前方的环境;匹配所述第一道路特征和第一电子地图中的第二道路特征,识别出不匹配的目标对象;所述目标对象为与任一所述第二道路特征不匹配的第一道路特征或者与任一所述第一道路特征不匹配的第二道路特征;将所述目标对象上报至服务器,服务器在目标对象的上报次数超过指定阈值时,在所述第一电子地图中更新所述目标对象,得到更新后的第二电子地图。实施本发明实施例,无需人工标注即可自动完成自动驾驶导航电子地图的更新,从而地图的更新效率和更新速度。

Description

自动驾驶导航地图的生成方法、系统、车载终端及服务器
技术领域
本发明涉及自动驾驶技术领域,具体涉及一种自动驾驶导航地图的生成方法、系统、车载终端及服务器。
背景技术
自动驾驶导航地图是自动驾驶技术方案中的重要组成部分,是自动驾驶导航的实现基础。在实际生活中,道路的状况可能随时发生更改,比如道路标记牌的损坏、增加和替换,因临时施工而导致的道路岔口封闭等。为了保障驾驶安全,需要对电子地图及时进行更新,以适应实际的道路状况更改,降低事故发生概率。
现有的电子地图更新方案依赖地图生产商使用专用的地图数据采集车辆在可能出现更改的路段中行驶,通过人工标注的方式从采集到的道路图像中标注出发生更改的目标对象(比如标记牌、路灯杆等),然后利用包含这些目标对象的道路图像重新生成地图,从而完成地图的更新。然而,在实践中发现,这种电子地图更新方案需要通过人工标注的方式识别出发生更改的目标对象,从而导致地图更新的效率较低,更新速度也比较慢。
发明内容
本发明实施例公开了一种自动驾驶导航地图生成方法、系统及服务器,能够提高自动驾驶导航电子地图的更新效率和更新速度。
本发明实施例第一方面公开一种自动驾驶导航地图生成方法,所述方法包括:
识别摄像头拍摄到的道路图像中的第一道路特征;所述摄像头的取景范围至少包括车辆前方的环境;
匹配所述第一道路特征和第一电子地图中的第二道路特征,识别出不匹配的目标对象;所述目标对象为与任一所述第二道路特征不匹配的第一道路特征或者与任一所述第一道路特征不匹配的第二道路特征;
将所述目标对象上报至服务器,以通过所述服务器在所述第一电子地图中更新所述目标对象,得到更新后的第二电子地图。
作为一种可选的实施方式,在本发明实施例第一方面中,所述匹配所述第一道路特征和第一电子地图中的第二道路特征,识别出不匹配的目标对象,包括:
将所述第一道路特征映射到所述第一电子地图,获得所述第一道路特征在所述第一电子地图中的第一位置,并判断所述第一位置是否存在与所述第一道路特征相匹配的第二道路特征,如果否,将映射至所述第一位置的所述第一道路特征确定为不匹配的目标对象;
或者,将所述第一电子地图的所述第二道路特征投影到所述道路图像,获得所述第二道路特征在所述道路图像中的第二位置,并判断所述第二位置是否存在与所述第二道路特征相匹配的第一道路特征,如果否,将投影至所述第二位置的所述第二道路特征确定为不匹配的目标对象。
作为一种可选的实施方式,在本发明实施例第一方面中,所述将所述目标对象上报至服务器,包括:
将所述目标对象以及所述目标对象在所述第一电子地图中的位置上报至服务器;
其中,当所述目标对象为与任一所述第二道路特征不匹配的第一道路特征时,所述目标对象在所述第一电子地图中的位置为所述不匹配的第一道路特征映射至所述第一电子地图中的位置;当所述目标对象为与任一所述第一道路特征不匹配的第二道路特征时,所述目标对象在所述第一电子地图中的位置为所述不匹配的第二道路特征在所述第一电子地图中的位置。
作为一种可选的实施方式,在本发明实施例第一方面中,所述识别摄像头拍摄到的道路图像中的第一道路特征,包括:
在对所述车辆进行定位计算时,识别摄像头拍摄到的道路图像中的第一道路特征。
本发明实施例第二方面公开另一种自动驾驶导航地图的生成方法,所述方法包括:
接收上报的目标对象;所述目标对象为车载终端识别出的与任一第二道路特征不匹配的第一道路特征或者与任一第一道路特征不匹配的第二道路特征;所述第一道路特征为从道路图像中识别出的道路特征,所述第二道路特征为第一电子地图中的道路特征;
判断所述目标对象的上报次数是否超出指定阈值,如果是,在第一电子地图中更新所述目标对象,以获得更新后的第二电子地图。
作为一种可选的实施方式,在本发明实施例第二方面中,所述在第一电子地图中更新所述目标对象,包括:
对接收到的所述目标对象的所有位置数据进行数据融合,得到所述目标对象在所述第一电子地图中的第三位置;所述所有位置数据由每次接收到的所述目标对象在所述第一电子地图中的位置组成;
在所述第一电子地图的所述第三位置更新所述目标对象。
本发明实施例第三方面公开一种车载终端,包括:
识别单元,用于识别摄像头拍摄到的道路图像中的第一道路特征;所述摄像头的取景范围至少包括所述车载终端所在车辆的前方环境;
匹配单元,用于匹配所述第一道路特征和第一电子地图中的第二道路特征,识别出不匹配的目标对象;所述目标对象为与任一所述第二道路特征不匹配的第一道路特征或者与任一所述第一道路特征不匹配的第二道路特征;
通信单元,用于将所述目标对象上报至服务器,以通过所述服务器在所述第一电子地图中更新所述目标对象,得到更新后的第二电子地图。
作为一种可选的实施方式,在本发明实施例第三方面中,所述匹配单元,包括:
转换子单元,用于将所述第一道路特征映射到所述第一电子地图,获得所述第一道路特征在所述第一电子地图中的第一位置;或者,将所述第一电子地图的所述第二道路特征投影到所述道路图像,获得所述第二道路特征在所述道路图像中的第二位置;
判断子单元,用于判断所述第一位置是否存在与所述第一道路特征相匹配的第二道路特征;或者,判断所述第二位置是否存在与所述第二道路特征相匹配的第一道路特征;
确定子单元,用于在所述判断子单元判断出所述第一位置不存在与所述第一道路特征相匹配的第二道路特征时,将映射至所述第一位置的所述第一道路特征确定为不匹配的目标对象;或者,在所述判断子单元判断出所述第二位置不存在与所述第二道路特征相匹配的第一道路特征时,将投影至所述第二位置的所述第二道路特征确定为不匹配的目标对象。
作为一种可选的实施方式,在本发明实施例第三方面中,所述通信单元用于将所述目标对象上报至服务器的方式具体为:
所述通信单元,用于将所述目标对象以及所述目标对象在所述第一电子地图中的位置上报至服务器;
其中,当所述目标对象为与任一所述第二道路特征不匹配的第一道路特征时,所述目标对象在所述第一电子地图中的位置为所述不匹配的第一道路特征映射至所述第一电子地图中的位置;当所述目标对象为与任一所述第一道路特征不匹配的第二道路特征时,所述目标对象在所述第一电子地图中的位置为所述不匹配的第二道路特征在所述第一电子地图中的位置。
作为一种可选的实施方式,在本发明实施例第三方面中,所述识别单元用于识别摄像头拍摄到的道路图像中的第一道路特征的方式具体为:
所述识别单元,用于在对所述车辆进行定位计算时,识别摄像头拍摄到的道路图像中的第一道路特征。
本发明实施例第四方面公开一种服务器,包括:
收发单元,用于接收上报的目标对象;所述目标对象为车载终端识别出的与任一第二道路特征不匹配的第一道路特征或者与任一第一道路特征不匹配的第二道路特征;所述第一道路特征为从道路图像中识别出的道路特征,所述第二道路特征为第一电子地图中的道路特征;
判断单元,用于判断所述目标对象的上报次数是否超出指定阈值;
更新单元,用于在所述判断单元判断出所述目标对象的上报次数超出所述指定阈值时,在第一电子地图中更新所述目标对象,以获得更新后的第二电子地图。
作为一种可选的实施方式,在本发明实施例第四方面中,所述更新单元,包括:
融合子单元,用于在所述判断单元判断出所述目标对象的上报次数超出所述指定阈值时,对接收到的所述目标对象的所有位置数据进行数据融合,得到所述目标对象在所述第一电子地图中的第三位置;所述所有位置数据由每次接收到的所述目标对象在所述第一电子地图中的位置组成;
更新子单元,用于在所述第三位置更新所述目标对象,以获得更新后的第二电子地图。
本发明实施例第五方面公开一种自动驾驶导航地图的生成系统,包括:如本发明实施例第三方面公开的车载终端;
以及,如本发明实施例第四方面公开的服务器。
本发明第六方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的任一项方法。
本发明实施例第七方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明实施例第一方面公开的任一项方法。
本发明第八方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第二方面公开的任一项方法。
本发明实施例第九方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明实施例第二方面公开的任一项方法。
与现有技术相比,本发明发明点及实现的有益效果:
1、车载终端可以识别道路图像中的第一道路特征,以及将第一道路特征和第二道路特征进行匹配,可以识别出不匹配的目标对象并将目标对象上报至服务器。服务器在接收到同一个目标对象的次数足够多时,并将其更新至第一电子地图中,以获得更新后的第二电子地图。可见,整个地图更新过程无需依赖人工,车载终端和服务器可以自动完成目标对象的识别和更新,从而可以提高自动驾驶导航电子地图的更新速度和更新效率,同时提高地图更新的稳定性和可靠性。
2、基于本发明公开的自动驾驶导航电子地图生成系统,可以通过众包的方式,将地图更新任务分散至各个与服务器建立通信连接的车载终端,进一步提高了自动驾驶导航电子地图的更新速度和更新效率。
3、车载终端在进行识别待更新的目标对象以及进行车辆定位计算时可以共用相同的图像识别结果,可以节省计算资源。
4、服务器使用多次接收到的目标对象的位置数据进行数据融合,以确定出目标对象在第一电子地图中较为准确的位置,并在该位置更新目标对象,可以降低单次观测的误差,提高目标对象所在位置的精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种系统架构的架构示意图;
图2是本发明实施例公开的一种自动驾驶导航地图的生成方法的流程示意图;
图3是本发明实施例公开的另一种自动驾驶导航地图的生成方法的流程示意图;
图4是本发明实施例公开的一种图3中步骤302执行方式的流程示意图;
图5是本发明实施例公开的另一种图3中步骤302执行方式的流程示意图;
图6是本发明实施例公开的一种车载终端的结构示意图;
图7是本发明实施例公开的另一种车载终端的结构示意图;
图8是本发明实施例公开的一种服务器的结构示意图;
图9是本发明实施例公开的一种自动驾驶导航地图的生成系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种自动驾驶导航地图的生成方法、系统、车载终端及服务器,能够提高自动驾驶导航电子地图的更新效率和更新速度。以下分别进行详细说明。
为了更好地理解本发明实施例公开的自动驾驶导航地图的生成方法、系统、车载终端及服务器,下面首先对本发明实施例适用的系统架构进行描述。请参阅图1,图1是本发明实施例公开的一种系统架构的架构示意图。
如图1所示,该系统架构可以包括装设于多台车辆上的车载终端(未图示)以及与上述的车载终端存在通信连接的服务器。其中,车载终端与服务器之间既可以基于运营商基站进行移动通信(如LTE、5G),又可以通过无线局域网(WLAN)进行通信。该系统架构可以部署在LTE、5G、WLAN中的任一种或多种组合的系统中。其中,服务器可以是用于维护自动驾驶导航电子地图并为用户提供地图上传、下载、更新等服务的设备;车载终端可以为接受众包地图更新任务的车载终端,其中,众包地图更新任务指以自由自愿的形式将地图更新任务外包给非特定车载终端;接受众包地图更新任务的车载终端公开其行驶途中采集到的传感器数据和/或将上述的传感器数据上传至服务器,以用于自动驾驶导航电子地图的更新。
实施例一
请参阅图2,图2是本发明实施例公开的一种自动驾驶导航地图的生成方法的流程示意图。其中,该方法应用于车载电脑、车载工业控制计算机(Industrial personalComputer,IPC)等车载终端,本发明实施例不做限定。如图2所示,该自动驾驶导航地图的生成方法可以包括以下步骤:
201、车载终端识别摄像头拍摄到的道路图像中的第一道路特征。
本发明实施例中,摄像头的取景范围至少包括车辆前方的环境,摄像头与车载终端可以存在数据传输,车载终端实时获取摄像头在车辆行驶过程中拍摄到的道路图像。作为一种可选的实施方式,在本发明实施例中,车载终端可以通过预先训练好的语义特征检测模型识别道路图像中的第一道路特征,该语义特征检测模型可以为深度学习神经网络,采用大量标注有上述的第一道路特征的样本图像作为输入对深度学习神经网络进行训练,得到上述的语义特征检测模型。利用深度学习神经网络进行第一道路特征的识别,相较于图像分割等传统的图像识别方法,可以在下雨、雪天、黄昏等光照条件较差或者摄像头背光等特殊光照条件下保持良好的图像识别性能,提高特殊光照条件下的道路特征识别准确率,从而可以降低道路特征的漏检率,提高基于视觉信息的地图更新方案的稳定性。
202、车载终端匹配第一道路特征和第一电子地图中的第二道路特征,识别出不匹配的目标对象。
本发明实施例中,目标对象为与任一第二道路特征不匹配的第一道路特征或者与任一第一道路特征不匹配的第二道路特征。第一道路特征可以为车载终端从图像中识别出的道路特征,第二道路特征可以为第一电子地图中的道路特征。具体地,上述的道路特征可以为道路及其周边经过经验筛选,可用于位置确定的标志性物体。举例来说,道路特征可以为交通标志(如路牌、限速标志等)、车道线、路灯杆、道路兴趣点(Point of Interest,POI)等,本发明实施例不做限定。为了方便描述,如无特殊说明,下文以“道路特征”作为“第一道路特征”和“第二道路特征”的统称。此外,上述的第一电子地图为自动驾驶导航电子地图,该电子地图可以为三维矢量地图。因此,第一道路特征可以理解为道路特征在摄像头拍摄到的道路图像中的二维表示,第二道路特征可以理解为道路特征在预先构建的第一电子地图中的三维表示。
第一道路特征与第二道路特征相匹配至少可以包括特征类型的匹配、特征位置的匹配以及特征内容的匹配,相应地,第一道路特征与第二道路特征不匹配可以包括但不限于以下三种情况:
道路特征的缺失:即第一电子地图中存在某一第二道路特征,但道路图像中不存在与该第二道路特征相匹配的第一道路特征,该缺失的道路特征可以表示为上述的与任一第一道路特征不匹配的第二道路特征;
道路特征的添加:即道路图像中存在某一第一道路特征,但第一电子地图中不存在与该第一道路特征相匹配的第二道路特征,该添加的道路特征可以表示为上述的与任一第二道路特征不匹配的第一道路特征;
道路特征的更改:包括道路特征的特征位置更改、特征类型更改和特征内容更改。道路特征的特征位置更改可以表示该道路特征从位置A更改至位置B,也就是说,可以表示为位置A道路特征的缺失以及位置B道路特征的添加,因此,该位置更改的道路特征可以使用两个目标对象进行表示,分别为上述的与任一第一道路特征不匹配的第二道路特征以及与任一第二道路特征不匹配的第一道路特征;特征类型更改可以包括第一道路特征和第二道路特征在类型上的不匹配,举例来说,道路图像中存在某一第一道路特征,该第一道路特征为交通标记,第一电子地图中与第一道路特征相对应的位置上存在一第二道路特征,该第二道路特征为灯杆,此时,可以认为该第一道路特征与该第二道路特征在特征内容上不匹配;道路特征的特征内容更改可以包括第一道路特征和第二道路特征在特征内容上的不匹配,举例来说,道路图像中存在某一第一道路特征,该第一道路特征为交通标记,标记的内容为该路段限速60,第一电子地图中与第一道路特征相对应的位置上存在一第二道路特征,该第二道路特征为交通标记,标记的内容为该路段限速80,此时,可以认为该第一道路特征与该第二道路特征在特征内容上不匹配。综上,特征类型更改和特征内容更改的道路特征均可以表示为上述的与任一第二道路特征不匹配的第一道路特征。
203、车载终端将目标对象上报至服务器,以通过服务器在第一电子地图中更新目标对象,得到更新后的第二电子地图。
本发明实施例中,车载终端可以通过变更报告的形式将目标对象上报至服务器,变更报告可以包括车载终端识别到的该目标对象在自动驾驶导航地图中的位置、目标对象的特征类型、目标对象的内容等与目标内容相关的信息。进一步地,变更报告还可以将拍摄到该目标对象时装设于车辆上的惯性测量单元(Inertial Measurement Unit,IMU)、全球卫星定位系统(Global Positioning Systems,GPS)、轮速计等传感器采集到的数据以及上述各个传感器的状态等信息,本发明实施例不做限定。
204、服务器接收上报的目标对象。
本发明实施例中,目标对象为车载终端执行上述的步骤202识别出的与任一第二道路特征不匹配的第一道路特征或者与任一第一道路特征不匹配的第二道路特征。具体地,服务器可以接收车载终端上报的如上述的变更报告。
205、服务器判断目标对象的上报次数是否超出指定阈值,如果是,执行步骤206,如果否,结束本流程。
本发明实施例中,目标对象的上报次数为同一个目标对象的上报次数。作为一种可选的实施方式,服务器可以通过变更报告中包含的目标对象的位置等信息从接收到的所有变更报告中识别出与该目标对象相同的目标对象,并统计该目标对象的上报次数。
206、服务器在第一电子地图中更新目标对象,以获得更新后的第二电子地图。
本发明实施例中,车载终端识别第一道路特征时可能存在一定的识别误差。比如说,车载终端漏检道路图像中的某一车道线,那么在执行步骤202时,第一电子地图上与图像中的车道线对应的车道线可能被识别为与任一道路特征不匹配的第二道路特征,从而作为目标对象上报至服务器;或者,车载终端将道路图像中的行人为灯杆,那么在执行步骤202时,可能无法在第一电子地图中匹配出与该误识别的“灯杆”相匹配的灯杆对象,该误识别的“灯杆”可能会被识别为与任一第二道路特征不匹配的第一道路特征,从而作为目标对象上报至服务器。因此,服务器需要有一定的容错性,当同一个目标对象的上报次数足够多(即上报次数超过指定阈值时),可能表示多辆装设有上述车载终端的车辆在途经目标对象所在位置时,均识别出该目标对象,此时该位置确切存在地图更新需求的可能性较大。可见,执行步骤205~步骤206,可以减少图像识别误差带来的影响,提高自动驾驶导航电子地图更新的稳定性和可靠性。
此外,服务器可以使用变更报告中包含的信息将该目标对象更新至第一电子地图中,以得到新的第二电子地图,更新的操作包括但不限于添加、删除、替换。
请一并参阅图1,进一步可选的,服务器在获得第二电子地图之后,可以将第二电子地图发布至与服务器存在通信连接的所有车载终端,从而使得所有车载终端均可以接收到已更新的第二电子地图。也就是说,即使对于从未途经目标对象所在位置的车辆而言,其车载终端也可以通过服务器获得已更新的第二电子地图,而该目标对象的信息是由其他途经该目标对象所在位置的车辆搭载的车载终端提供的。可见,实施上述的实施方式,可以通过众包的方式,将地图更新任务分散至各个与服务器建立通信连接的车载终端,从而可以提高地图更新的效率,提高了由此生成的自动驾驶导航电子地图的实时性,进而提高了基于该自动驾驶导航电子地图进行的自动驾驶的安全性。
综上所述,在图2所描述的方法中,车载终端可以通过识别道路图像中的第一道路特征,以及将第一道路特征和第二道路特征进行匹配,可以识别出不匹配的目标对象并将目标对象上报至服务器。服务器在接收到同一个目标对象的次数足够多时,并将其更新至第一电子地图中,以获得更新后的第二电子地图。可见,整个地图更新过程无需依赖人工,车载终端和服务器可以自动完成目标对象的识别和更新,并且具有一定的容错能力,从而可以提高自动驾驶导航电子地图的更新速度和更新效率,同时提高地图更新的稳定性和可靠性。进一步地,图2所描述的方法可以基于图1所示的系统架构进行,从而可以通过众包的方式,将地图更新任务分散至各个与服务器建立通信连接的车载终端,进一步提高了自动驾驶导航电子地图的更新速度和更新效率。
实施例二
请参阅图3,图3是本发明实施例公开的另一种自动驾驶导航地图的生成方法的流程示意图。如图3所示,该自动驾驶导航地图的生成方法可以包括以下步骤:
301、车载终端在对车辆进行定位计算时,识别摄像头拍摄到的道路图像中的第一道路特征。
本发明实施例中,摄像头的取景范围至少包括车辆前方的环境。本领域技术人员可以理解的是,车载终端对车辆进行定位计算的一种可能的实施方式可以如下:识别道路图像中的第一道路特征,根据自动导航电子地图中与第一道路特征相匹配的特征位置,计算出车辆在自动导航电子地图中的位置,从而完成车辆定位。也就是说,地图更新和车辆定位计算可以共用相同的图像识别结果,从而可以节省计算资源。
302、车载终端匹配第一道路特征和第一电子地图中的第二道路特征,识别出不匹配的目标对象。
本发明实施例中,请一并参阅图4,作为一种可选的实施方式,车载终端执行步骤302的方式具体可以为:
S401、车载终端将第一道路特征映射到第一电子地图,获得第一道路特征在第一电子地图中的第一位置。
本发明实施例中,车载终端可以在车辆的行驶过程中获取到摄像头拍摄的多张道路图像。针对某一帧道路图像,车载终端从中识别出第一道路特征,根据该第一道路特征在该帧道路图像之前的上一帧道路图像的位置,车载终端可以计算出第一道路特征和车辆之间的相对距离,即提取出第一道路特征的深度信息。可选的,车载终端可以使用光流法(Optical Flow Method)等算法计算出第一道路特征的深度信息。在第一道路特征的深度信息和车辆的位姿信息确定时,车载终端可以计算出第一道路特征相对于车辆的相对位置,从而可以根据世界坐标系(即第一电子地图所使用的坐标系)与以车辆为中心的车辆坐标系之间的转换关系,计算出道路图像中的第一道路特征在第一电子地图中的位置,即第一道路特征映射到第一电子地图中的第一位置。
S402、车载终端判断第一位置是否存在与第一道路特征相匹配的第二道路特征,如果是,执行步骤S403,如果否,执行步骤S404。
本发明实施例中,第一道路特征与第二道路特征相匹配包括特征类型匹配和特征内容匹配。
S403、车载终端获取从道路图像中识别出的下一个第一道路特征,并继续执行步骤401。
本发明实施例中,道路图像中可能存在多个第一道路特征,对于每一个识别出的第一道路特征,车载终端均可以执行如图4所示的匹配方法,判断该第一道路特征是否为不匹配的目标对象。
S404、车载终端将映射至第一位置的第一道路特征确定为不匹配的目标对象。
本发明实施例中,如果道路图像中存在多个第一道路特征,那么当车载终端确定某一个第一道路特征为目标对象之后,车载终端还可以获取从道路图像中识别出的下一个第一道路特征,并继续执行步骤401。
需要说明的是,图4所示的匹配方法在道路图像中存在多个第一道路特征时,完成某一个第一道路特征的匹配之后再继续执行下一个第一道路特征的匹配。在另一些可能的实施例中,车载终端可以使用并行计算的方式对多个第一道路特征进行匹配,即同时进行多个第一道路特征的匹配。
实施图4所示的实施方式,车载终端可以识别出与任一第二道路特征不匹配的第一道路特征,该第一道路特征可能为第一电子地图中缺失的道路特征,也可能为第一电子地图中更改的道路特征。
此外,请一并参阅图5,作为另一种可选的实施方式,车载终端执行步骤303的方式具体也可以为:
S501、车载终端将第一电子地图的第二道路特征投影到上述的道路图像,获得第二道路特征在道路图像中的第二位置。
本发明实施例中,车载终端可以根据世界坐标系(即第一电子地图所使用的坐标系)和以摄像头为中心的相机坐标系之间的转换关系,将第二道路特征投影到道路图像中,从而获得第二道路特征在道路图像中的第二位置。
S502、车载终端判断第二位置是否存在与第二道路特征相匹配的第一道路特征,如果是,执行步骤S503,如果否,执行步骤S504。
本发明实施例中,第一道路特征与第二道路特征相匹配包括特征类型匹配和特征内容匹配。
S503、车载终端获取从第一电子地图中识别出的下一个第二道路特征,并继续执行步骤S501。
S504、车载终端将投影至第二位置的第二道路特征确定为不匹配的目标对象。
需要说明的是,图5所示的匹配方法在第一电子地图中存在多个第二道路特征时,完成某一个第二道路特征的匹配之后再继续执行下一个第二道路特征的匹配。在另一些可能的实施例中,车载终端可以使用并行计算的方式对多个第二道路特征进行匹配,即同时进行多个第二道路特征的匹配。
实施图5所示的实施方式,车载终端可以识别出与任一第一路特征不匹配的第二道路特征,该第二道路特征可能为需要添加至第一电子地图的道路特征。
此外,本领域技术人员可以理解,在一些可能的实施例中,车载终端在获取到道路图像之后,可以执行图4以及图5所示的匹配方法,从而可以根据道路图像和第一电子地图识别出所有可能的目标对象。
请继续参阅图3,当识别出不匹配的目标对象之后,车载终端执行以下步骤:
303、车载终端将目标对象以及目标对象在第一电子地图中的位置上报至服务器。
本发明实施例中,如果上报的目标对象为与任一第二道路特征不匹配的第一道路特征时,目标对象在第一电子地图中的位置可以为不匹配的第一道路特征映射至第一电子地图中的位置;如果上报的目标对象为与任一第一道路特征不匹配的第二道路特征时,目标对象在第一电子地图中的位置可以为不匹配的第二道路特征在第一电子地图中的位置。
304、服务器接收上报的目标对象。
305、服务器判断目标对象的上报次数是否超出指定阈值,如果是,执行步骤306,如果否,结束本流程。
306、服务器对目标对象的所有位置数据进行数据融合,得到目标对象在第一电子地图中的第三位置。
本发明实施例中,目标对象的所有位置数据由每次接收到的目标对象在第一电子地图中的位置组成。对于同一个目标对象,服务器可能接收到目标对象在第一电子地图中的多个位置。服务器可以根据对接收到的多个位置数据进行数据融合,从而确定出目标对象在第一电子地图中相对准确的位置(即上述的第三位置)。其中,数据融合的方式可以包括加权平均、聚类、最优化方法等,本发明实施例不做限定。由于车辆速度、传感器状态、光照强度等因素的影响,单个车载终端上报的目标对象在第一电子地图中的位置可能与该目标对象实际的位置之间存在较大误差,通过对多次接收到的位置数据进行数据融合,可以降低单次观测的误差,提高目标对象所在位置的精度。
307、服务器在第一电子地图的第三位置更新目标对象。
可见,在图3所描述的自动驾驶导航地图的生成方法中,车载终端和服务器可以自动完成目标对象的识别和更新。同时,在图3所描述的方法中,地图更新和车辆定位计算可以共用相同的图像识别结果,从而可以节省计算资源。进一步地,图3所描述的方法中,服务器使用多次接收到的目标对象的位置数据进行数据融合,从而确定出目标对象在第一电子地图中较为准确的位置,并在该位置更新目标对象,从而可以降低单次观测的误差,提高目标对象所在位置的精度。
实施例三
请参阅图6,图6是本发明实施例公开的一种车载终端的结构示意图。如图6所示,该车载终端可以包括:
识别单元601,用于识别摄像头拍摄到的道路图像中的第一道路特征;其中,摄像头的取景范围至少包括车载终端所在车辆的前方环境。
本发明实施例中,作为一种可选的实施方式,识别单元601可以通过预先训练好的语义特征检测模型识别道路图像中的第一道路特征,该语义特征检测模型可以为深度学习神经网络,上述的语义特征检测模型为采用大量标注有上述的第一道路特征的样本图像作为训练输入,最终训练得到的深度学习神经网络。利用深度学习神经网络进行第一道路特征的识别,识别单元601可以提高特殊光照条件下的道路特征识别准确率,从而可以降低道路特征的漏检率,提高基于视觉信息的地图更新方案的稳定性。
匹配单元602,用于匹配识别单元601识别出的第一道路特征和第一电子地图中的第二道路特征,识别出不匹配的目标对象;上述的目标对象为与任一第二道路特征不匹配的第一道路特征或者与任一第一道路特征不匹配的第二道路特征。
本发明实施例中,第一道路特征与第二道路特征不匹配可以包括但不限于以下三种情况:道路特征的缺失、道路特征的添加以及道路特征的更改。
通信单元603,用于将匹配单元602识别出的目标对象上报至服务器,以通过服务器在第一电子地图中更新目标对象,得到更新后的第二电子地图。
本发明实施例中,通信单元603可以通过变更报告的形式将目标对象上报至服务器,变更报告可以包括车载终端识别到的该目标对象在自动驾驶导航地图中的位置、目标对象的特征类型、目标对象的内容等与目标内容相关的信息。变更报告还可以包括装设于车辆上的各个传感器采集到的数据以及各个传感器的状态等信息,本发明实施例不做限定。
可见,实施图6所示的车载终端,可以自动识别出可能需要进行更新的目标对象,并且将目标对象上报至服务器,从而可以通过服务器完成目标对象的更新,地图更新过程无需依赖人工,从而可以提高自动驾驶导航电子地图的更新速度和更新效率。
实施例四
请参阅图7,图7是本发明实施例公开的另一种车载终端的结构示意图。如图7所示,上述的匹配单元602可以包括:
转换子单元6021,用于将识别单元601识别出的第一道路特征映射到第一电子地图,获得第一道路特征在第一电子地图中的第一位置;或者,将第一电子地图的第二道路特征投影到道路图像,获得第二道路特征在道路图像中的第二位置;
判断子单元6022,用于判断转换子单元6021确定的第一位置是否存在与第一道路特征相匹配的第二道路特征;或者,判断转换子单元6021确定的第二位置是否存在与第二道路特征相匹配的第一道路特征;
确定子单元6023,用于在判断子单元6022判断出第一位置不存在与第一道路特征相匹配的第二道路特征时,将映射至第一位置的第一道路特征确定为不匹配的目标对象;或者,在判断子单元6022判断出第二位置不存在与第二道路特征相匹配的第一道路特征时,将投影至第二位置的第二道路特征确定为不匹配的目标对象。
可选的,在图7所示的车载终端中,上述的通信单元603用于将目标对象上报至服务器的方式具体为:
通信单元603,用于将目标对象以及目标对象在第一电子地图中的位置上报至服务器;
其中,当目标对象为与任一第二道路特征不匹配的第一道路特征时,目标对象在第一电子地图中的位置为不匹配的第一道路特征映射至第一电子地图中的位置;当目标对象为与任一第一道路特征不匹配的第二道路特征时,目标对象在第一电子地图中的位置为不匹配的第二道路特征在第一电子地图中的位置。
进一步可选的,在图7所示的车载终端中,上述的识别单元601用于识别摄像头拍摄到的道路图像中的第一道路特征的方式具体为:
识别单元601,用于在对车辆进行定位计算时,识别摄像头拍摄到的道路图像中的第一道路特征。实施该实施方式,匹配单元602和车载终端可能包括的定位单元(未图示)可以共用识别单元601获得的图像识别结果(即第一道路特征)。其中,匹配单元602可以用于匹配第一道路特征和第一电子地图中的第二道路特征,识别出不匹配的目标对象;上述的定位单元,可以用于识别与第一道路特征相匹配的第二道路特征,并基于该与第一道路特征相匹配的第二道路特征在第一电子地图中的位置,确定出车辆在第一电子地图中的位置。
可见,实施图7所示的车载终端,可以自动识别出可能需要进行更新的目标对象,并且可以确定出目标对象在第一电子地图中的位置,从而可以将目标对象和目标对象在第一电子地图中的位置一并上报至服务器,便于服务器进行目标对象的更新。进一步地,实施图7所示的车载终端,识别单元601获得的图像识别结果可以被匹配单元602以及车载终端可能包括的定位单元共用,有利于节省计算资源。
此外,本发明实施例还公开了一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行实施例一或实施例二公开的任一种自动驾驶导航地图的生成方法中车载终端执行的步骤。
本发明实施例还公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一或实施例二公开的任一种自动驾驶导航地图的生成方法中车载终端执行的步骤。
实施例五
请参阅图8,图8是本发明实施例公开的一种服务器的结构示意图。如图8所示,该服务器可以包括:
收发单元801,用于接收车载终端上报的目标对象。其中,目标对象为车载终端识别出的与任一第二道路特征不匹配的第一道路特征或者与任一第一道路特征不匹配的第二道路特征;第一道路特征可以为从道路图像中识别出的道路特征,第二道路特征可以为第一电子地图中的道路特征;车载终端可以为上述图6或图7所示的任一种车载终端;
判断单元802,用于判断收发单元801接收到的目标对象的上报次数是否超出指定阈值;
本发明实施例中,目标对象的上报次数为同一个目标对象的上报次数。
更新单元803,用于在判断单元802判断出目标对象的上报次数超出指定阈值时,在第一电子地图中更新上述的目标对象,以获得更新后的第二电子地图。
本发明实施例中,更新单元804在同一个目标对象的上报次数足够多时,才会在第一电子地图中更新该目标对象,从而可以提高自动驾驶导航电子地图更新的稳定性和可靠性。此外,更新单元803在第一电子地图中更新目标对象的操作包括但不限于在第一电子地图中添加、删除、替换上述的目标对象。
可选的,在图8所示的服务器中,上述的更新单元803,可以包括:
融合子单元8031,用于判断单元802判断出目标对象的上报次数超出指定阈值时,对接收到的目标对象的所有位置数据进行数据融合,得到目标对象在第一电子地图中的第三位置;其中,目标对象的所有位置数据由每次接收到的目标对象在第一电子地图中的位置组成;数据融合的方式可以包括加权平均、聚类、最优化方法等,本发明实施例不做限定。
更新子单元8032,用于在融合子单元8041确定出的第三位置更新目标对象,以获得更新后的第二电子地图。
可见,实施图8所示的服务器,可以在接收车载终端上报的目标对象,并且在在第一电子地图中更新该目标对象,从而可以完成目标对象的自动更新,可以提高自动驾驶导航电子地图的更新速度和更新效率。此外,图8所示的服务器还可以判断同一个目标对象的上报次数是否超过指定阈值,并且在上报次数超过指定阈值时,才执行在第一电子地图中更新目标对象的操作,从而可以提高自动驾驶导航电子地图更新的稳定性和可靠性。进一步地,图8所示的服务器在第一电子地图中更新目标对象时,使用多次接收到的目标对象的位置数据进行数据融合,从而确定出目标对象在第一电子地图中较为准确的位置,并在该位置更新目标对象,从而可以降低单次观测的误差,提高目标对象所在位置的精度。
此外,本发明实施例还公开了一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行实施例一或实施例二公开的任一种自动驾驶导航地图的生成方法中服务器执行的步骤。
本发明实施例还公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一或实施例二公开的任一种自动驾驶导航地图的生成方法中服务器执行的步骤。
实施例六
请参阅图9,图9是本发明实施例公开的一种自动驾驶导航地图的生成系统的结构示意图。如图9所示,该自动驾驶导航地图可以包括:
车载终端901和服务器902,车载终端901与服务器902之间存在通信连接;
其中,车载终端901,可以用于获取装设于车辆上的摄像头、IMU、GPS、轮速计等传感器采集到的数据,并对各个传感器采集到的数据进行处理;具体地,车载终端901可以用于执行实施例一或实施例二公开的任一种自动驾驶导航地图的生成方法中车载终端执行的步骤。
服务器902,可以用于执行实施例一或实施例二公开的任一种自动驾驶导航地图的生成方法中服务器执行的步骤。
基于图9所示的自动驾驶导航地图的生成系统,可以通过众包的方式,将地图更新任务分散至各个与服务器建立通信连接的车载终端,从而可以提高地图更新的效率,提高了由此生成的自动驾驶导航电子地图的实时性,进而提高了基于该自动驾驶导航电子地图进行的自动驾驶的安全性。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种自动驾驶导航地图的生成方法、系统、车载终端及服务器进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种自动驾驶导航地图的生成方法,其特征在于,包括:
识别摄像头拍摄到的道路图像中的第一道路特征;所述摄像头的取景范围至少包括车辆前方的环境;
匹配所述第一道路特征和第一电子地图中的第二道路特征,识别出不匹配的目标对象;所述目标对象为与任一所述第二道路特征不匹配的第一道路特征或者与任一所述第一道路特征不匹配的第二道路特征;其中,第一道路特征为道路特征在所述道路图像中的二维表示,第二道路特征为道路特征在第一电子地图中的三维表示;
将所述目标对象上报至服务器,服务器通过变更报告中包含的所述目标对象的位置信息从接收到的所有变更报告中识别出与所述目标对象相同的目标对象,并统计所述目标对象的上报次数,当判断出目标对象的上报次数超出指定阈值时,通过所述服务器在所述第一电子地图中更新所述目标对象,得到更新后的第二电子地图;其中,所述目标对象为多辆装设有车载终端的车辆识别出的目标对象;所述匹配所述第一道路特征和第一电子地图中的第二道路特征,识别出不匹配的目标对象,包括:
将所述第一道路特征映射到所述第一电子地图,获得所述第一道路特征在所述第一电子地图中的第一位置,并判断所述第一位置是否存在与所述第一道路特征相匹配的第二道路特征,如果否,将映射至所述第一位置的所述第一道路特征确定为不匹配的目标对象;
或者,将所述第一电子地图的所述第二道路特征投影到所述道路图像,获得所述第二道路特征在所述道路图像中的第二位置,并判断所述第二位置是否存在与所述第二道路特征相匹配的第一道路特征,如果否,将投影至所述第二位置的所述第二道路特征确定为不匹配的目标对象;
其中,将所述第一道路特征映射到所述第一电子地图,获得所述第一道路特征在所述第一电子地图中的第一位置,具体通过如下方式得到:
对于任意一帧道路图像,根据所述第一道路特征在该帧道路图像之前的上一帧道路图像的位置,基于光流法计算第一道路特征的深度信息;
在所述深度信息和车辆的位姿信息确定时,计算第一道路特征相对于车辆的相对位置,从而根据世界坐标系与以车辆为中心的车辆坐标系之间的转换关系,计算道路图像中的第一道路特征在第一电子地图中的位置,作为第一道路特征映射到第一电子地图中的第一位置;
其中,将所述第一电子地图的所述第二道路特征投影到所述道路图像,获得所述第二道路特征在所述道路图像中的第二位置,具体通过如下方式得到:
根据所述世界坐标系和以摄像头为中心的相机坐标系之间的转换关系,将第二道路特征投影到所述道路图像中,以获得第二道路特征在所述道路图像中的第二位置。
2.根据权利要求1所述的自动驾驶导航地图的生成方法,其特征在于,所述将所述目标对象上报至服务器,包括:
将所述目标对象以及所述目标对象在所述第一电子地图中的位置上报至服务器;
其中,当所述目标对象为与任一所述第二道路特征不匹配的第一道路特征时,所述目标对象在所述第一电子地图中的位置为所述不匹配的第一道路特征映射至所述第一电子地图中的位置;当所述目标对象为与任一所述第一道路特征不匹配的第二道路特征时,所述目标对象在所述第一电子地图中的位置为所述不匹配的第二道路特征在所述第一电子地图中的位置。
3.根据权利要求1~2任一项所述的自动驾驶导航地图的生成方法,其特征在于,所述识别摄像头拍摄到的道路图像中的第一道路特征,包括:
在对所述车辆进行定位计算时,识别摄像头拍摄到的道路图像中的第一道路特征。
4.一种自动驾驶导航地图的生成方法,其特征在于,包括:
接收上报的目标对象;所述目标对象为车载终端识别出的与任一第二道路特征不匹配的第一道路特征或者与任一第一道路特征不匹配的第二道路特征;所述第一道路特征为从道路图像中识别出的道路特征,所述第二道路特征为第一电子地图中的道路特征;其中,第一道路特征为道路特征在所述道路图像中的二维表示,第二道路特征为道路特征在第一电子地图中的三维表示;其中,所述目标对象为多辆装设有车载终端的车辆识别出的目标对象;
判断所述目标对象的上报次数是否超出指定阈值,如果是,在第一电子地图中更新所述目标对象,以获得更新后的第二电子地图;其中,所述车载终端通过如下方式识别所述目标对象:
车载终端将所述第一道路特征映射到所述第一电子地图,获得所述第一道路特征在所述第一电子地图中的第一位置,并判断所述第一位置是否存在与所述第一道路特征相匹配的第二道路特征,如果否,将映射至所述第一位置的所述第一道路特征确定为不匹配的目标对象;
或者,车载终端将所述第一电子地图的所述第二道路特征投影到所述道路图像,获得所述第二道路特征在所述道路图像中的第二位置,并判断所述第二位置是否存在与所述第二道路特征相匹配的第一道路特征,如果否,将投影至所述第二位置的所述第二道路特征确定为不匹配的目标对象;
其中,车载终端将所述第一道路特征映射到所述第一电子地图,获得所述第一道路特征在所述第一电子地图中的第一位置,具体通过如下方式得到:
对于任意一帧道路图像,车载终端根据所述第一道路特征在该帧道路图像之前的上一帧道路图像的位置,基于光流法计算第一道路特征的深度信息;
在所述深度信息和车辆的位姿信息确定时,车载终端计算第一道路特征相对于车辆的相对位置,从而根据世界坐标系与以车辆为中心的车辆坐标系之间的转换关系,计算道路图像中的第一道路特征在第一电子地图中的位置,作为第一道路特征映射到第一电子地图中的第一位置;
其中,车载终端将所述第一电子地图的所述第二道路特征投影到所述道路图像,获得所述第二道路特征在所述道路图像中的第二位置,具体通过如下方式得到:
车载终端根据所述世界坐标系和以摄像头为中心的相机坐标系之间的转换关系,将第二道路特征投影到所述道路图像中,以获得第二道路特征在所述道路图像中的第二位置。
5.根据权利要求4所述的自动驾驶导航地图的生成方法,其特征在于,所述在第一电子地图中更新所述目标对象,包括:
对接收到的所述目标对象的所有位置数据进行数据融合,得到所述目标对象在所述第一电子地图中的第三位置;所述所有位置数据由每次接收到的所述目标对象在所述第一电子地图中的位置组成;
在所述第一电子地图的所述第三位置更新所述目标对象。
6.一种车载终端,其特征在于,包括:
识别单元,用于识别摄像头拍摄到的道路图像中的第一道路特征;所述摄像头的取景范围至少包括所述车载终端所在车辆的前方环境;
匹配单元,用于匹配所述第一道路特征和第一电子地图中的第二道路特征,识别出不匹配的目标对象;所述目标对象为与任一所述第二道路特征不匹配的第一道路特征或者与任一所述第一道路特征不匹配的第二道路特征;其中,第一道路特征为道路特征在所述道路图像中的二维表示,第二道路特征为道路特征在第一电子地图中的三维表示;
通信单元,用于将所述目标对象上报至服务器,服务器通过变更报告中包含的所述目标对象的位置信息从接收到的所有变更报告中识别出与所述目标对象相同的目标对象,并统计所述目标对象的上报次数,当服务器判断出目标对象的上报次数超出指定阈值时,通过所述服务器在所述第一电子地图中更新所述目标对象,得到更新后的第二电子地图;其中,所述目标对象为多辆装设有车载终端的车辆识别出的目标对象;所述匹配单元,包括:
转换子单元,用于将所述第一道路特征映射到所述第一电子地图,获得所述第一道路特征在所述第一电子地图中的第一位置;或者,将所述第一电子地图的所述第二道路特征投影到所述道路图像,获得所述第二道路特征在所述道路图像中的第二位置;
判断子单元,用于判断所述第一位置是否存在与所述第一道路特征相匹配的第二道路特征;或者,判断所述第二位置是否存在与所述第二道路特征相匹配的第一道路特征;
确定子单元,用于在所述判断子单元判断出所述第一位置不存在与所述第一道路特征相匹配的第二道路特征时,将映射至所述第一位置的所述第一道路特征确定为不匹配的目标对象;或者,在所述判断子单元判断出所述第二位置不存在与所述第二道路特征相匹配的第一道路特征时,将投影至所述第二位置的所述第二道路特征确定为不匹配的目标对象;
其中,所述第一位置具体通过如下方式得到:
对于任意一帧道路图像,根据所述第一道路特征在该帧道路图像之前的上一帧道路图像的位置,基于光流法计算第一道路特征的深度信息;
在所述深度信息和车辆的位姿信息确定时,计算第一道路特征相对于车辆的相对位置,从而根据世界坐标系与以车辆为中心的车辆坐标系之间的转换关系,计算道路图像中的第一道路特征在第一电子地图中的位置,作为第一道路特征映射到第一电子地图中的第一位置;
所述第二位置具体通过如下方式得到:
根据所述世界坐标系和以摄像头为中心的相机坐标系之间的转换关系,将第二道路特征投影到所述道路图像中,以获得第二道路特征在所述道路图像中的第二位置。
7.根据权利要求6所述的车载终端,其特征在于,所述通信单元用于将所述目标对象上报至服务器的方式具体为:
所述通信单元,用于将所述目标对象以及所述目标对象在所述第一电子地图中的位置上报至服务器;
其中,当所述目标对象为与任一所述第二道路特征不匹配的第一道路特征时,所述目标对象在所述第一电子地图中的位置为所述不匹配的第一道路特征映射至所述第一电子地图中的位置;当所述目标对象为与任一所述第一道路特征不匹配的第二道路特征时,所述目标对象在所述第一电子地图中的位置为所述不匹配的第二道路特征在所述第一电子地图中的位置。
8.根据权利要求6所述的车载终端,其特征在于,所述识别单元用于识别摄像头拍摄到的道路图像中的第一道路特征的方式具体为:
所述识别单元,用于在对所述车辆进行定位计算时,识别摄像头拍摄到的道路图像中的第一道路特征。
9.一种服务器,其特征在于,包括:
收发单元,用于接收上报的目标对象;所述目标对象为车载终端识别出的与任一第二道路特征不匹配的第一道路特征或者与任一第一道路特征不匹配的第二道路特征;所述第一道路特征为从道路图像中识别出的道路特征,所述第二道路特征为第一电子地图中的道路特征;其中,第一道路特征为道路特征在所述道路图像中的二维表示,第二道路特征为道路特征在第一电子地图中的三维表示;所述目标对象为多辆装设有车载终端的车辆识别出的目标对象;
判断单元,用于判断所述目标对象的上报次数是否超出指定阈值;
更新单元,用于在所述判断单元判断出所述目标对象的上报次数超出所述指定阈值时,在第一电子地图中更新所述目标对象,以获得更新后的第二电子地图;其中,所述车载终端通过如下方式识别所述目标对象:
车载终端将所述第一道路特征映射到所述第一电子地图,获得所述第一道路特征在所述第一电子地图中的第一位置,并判断所述第一位置是否存在与所述第一道路特征相匹配的第二道路特征,如果否,将映射至所述第一位置的所述第一道路特征确定为不匹配的目标对象;
或者,车载终端将所述第一电子地图的所述第二道路特征投影到所述道路图像,获得所述第二道路特征在所述道路图像中的第二位置,并判断所述第二位置是否存在与所述第二道路特征相匹配的第一道路特征,如果否,将投影至所述第二位置的所述第二道路特征确定为不匹配的目标对象;
其中,车载终端将所述第一道路特征映射到所述第一电子地图,获得所述第一道路特征在所述第一电子地图中的第一位置,具体通过如下方式得到:
对于任意一帧道路图像,车载终端根据所述第一道路特征在该帧道路图像之前的上一帧道路图像的位置,基于光流法计算第一道路特征的深度信息;
在所述深度信息和车辆的位姿信息确定时,车载终端计算第一道路特征相对于车辆的相对位置,从而根据世界坐标系与以车辆为中心的车辆坐标系之间的转换关系,计算道路图像中的第一道路特征在第一电子地图中的位置,作为第一道路特征映射到第一电子地图中的第一位置;
其中,车载终端将所述第一电子地图的所述第二道路特征投影到所述道路图像,获得所述第二道路特征在所述道路图像中的第二位置,具体通过如下方式得到:
车载终端根据所述世界坐标系和以摄像头为中心的相机坐标系之间的转换关系,将第二道路特征投影到所述道路图像中,以获得第二道路特征在所述道路图像中的第二位置。
10.根据权利要求9所述的服务器,其特征在于,所述更新单元,包括:
融合子单元,用于在所述判断单元判断出所述目标对象的上报次数超出所述指定阈值时,对接收到的所述目标对象的所有位置数据进行数据融合,得到所述目标对象在所述第一电子地图中的第三位置;所述所有位置数据由每次接收到的所述目标对象在所述第一电子地图中的位置组成;
更新子单元,用于在所述第三位置更新所述目标对象,以获得更新后的第二电子地图。
11.一种电子地图的生成系统,其特征在于,包括:
如权利要求6~8任一项所述的车载终端;
以及,如权利要求9~10任一项所述的服务器。
CN201810984491.6A 2018-08-28 2018-08-28 自动驾驶导航地图的生成方法、系统、车载终端及服务器 Active CN110146097B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810984491.6A CN110146097B (zh) 2018-08-28 2018-08-28 自动驾驶导航地图的生成方法、系统、车载终端及服务器
PCT/CN2018/113665 WO2020042348A1 (zh) 2018-08-28 2018-11-02 自动驾驶导航地图的生成方法、系统、车载终端及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810984491.6A CN110146097B (zh) 2018-08-28 2018-08-28 自动驾驶导航地图的生成方法、系统、车载终端及服务器

Publications (2)

Publication Number Publication Date
CN110146097A CN110146097A (zh) 2019-08-20
CN110146097B true CN110146097B (zh) 2022-05-13

Family

ID=67589400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810984491.6A Active CN110146097B (zh) 2018-08-28 2018-08-28 自动驾驶导航地图的生成方法、系统、车载终端及服务器

Country Status (2)

Country Link
CN (1) CN110146097B (zh)
WO (1) WO2020042348A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446915B (zh) * 2019-08-28 2024-03-29 北京初速度科技有限公司 一种基于图像组的建图方法及装置
CN112530270B (zh) * 2019-09-17 2023-03-14 北京初速度科技有限公司 一种基于区域分配的建图方法及装置
CN110888434A (zh) * 2019-11-14 2020-03-17 腾讯科技(深圳)有限公司 自动驾驶方法、装置、计算机设备和计算机可读存储介质
CN112991241B (zh) * 2019-12-13 2024-04-12 阿里巴巴集团控股有限公司 一种道路场景图像处理方法、装置、电子设备及存储介质
CN113048988B (zh) * 2019-12-26 2022-12-23 北京初速度科技有限公司 一种导航地图对应场景的变化元素检测方法及装置
CN113701767B (zh) * 2020-05-22 2023-11-17 杭州海康机器人股份有限公司 一种地图更新的触发方法和系统
CN111680596B (zh) * 2020-05-29 2023-10-13 北京百度网讯科技有限公司 基于深度学习的定位真值校验方法、装置、设备及介质
CN112069279B (zh) * 2020-09-04 2022-11-08 北京百度网讯科技有限公司 地图数据更新方法、装置、设备及可读存储介质
CN112183440A (zh) * 2020-10-13 2021-01-05 北京百度网讯科技有限公司 道路信息的处理方法、装置、电子设备和存储介质
CN112466005B (zh) * 2020-11-26 2022-08-09 重庆长安汽车股份有限公司 基于用户使用习惯的自动驾驶围栏的更新系统及方法
WO2022110126A1 (zh) * 2020-11-30 2022-06-02 华为技术有限公司 地图校验方法及相关装置
CN112729336B (zh) * 2020-12-14 2023-07-14 北京航空航天大学 一种基于高精度矢量地图的车道级导航定位评价方法
CN112735136A (zh) * 2020-12-31 2021-04-30 深圳市艾伯通信有限公司 5g交通监测规划方法、移动终端、交通服务平台及系统
CN113515536B (zh) * 2021-07-13 2022-12-13 北京百度网讯科技有限公司 地图的更新方法、装置、设备、服务器以及存储介质
CN114219907B (zh) * 2021-12-08 2023-05-30 阿波罗智能技术(北京)有限公司 三维地图生成方法、装置、设备以及存储介质
CN117891282B (zh) * 2024-01-11 2024-06-21 北京科技大学 一种无需标签数据的凿岩台车钻臂逆运动控制方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694392A (zh) * 2009-09-29 2010-04-14 北京四维图新科技股份有限公司 一种导航终端的地图更新方法、导航终端及系统
CN106525057A (zh) * 2016-10-26 2017-03-22 陈曦 高精度道路地图的生成系统
CN107339996A (zh) * 2017-06-30 2017-11-10 百度在线网络技术(北京)有限公司 车辆自定位方法、装置、设备及存储介质
CN107515006A (zh) * 2016-06-15 2017-12-26 华为终端(东莞)有限公司 一种地图更新方法和车载终端
CN108121764A (zh) * 2016-11-26 2018-06-05 星克跃尔株式会社 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质
CN108416045A (zh) * 2018-03-15 2018-08-17 斑马网络技术有限公司 交通设施的位置获取方法、装置、终端设备及服务器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9612123B1 (en) * 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
CN108074394A (zh) * 2016-11-08 2018-05-25 武汉四维图新科技有限公司 实景交通数据更新方法及装置
US10794711B2 (en) * 2016-12-30 2020-10-06 DeepMap Inc. High definition map updates based on sensor data collected by autonomous vehicles
CN107167149B (zh) * 2017-06-26 2020-06-30 上海智讯信息科技有限公司 一种街景视图制作方法及系统
CN107241441A (zh) * 2017-07-28 2017-10-10 深圳普思英察科技有限公司 一种新能源无人车车载地图更新方法和系统
CN108413975B (zh) * 2018-03-15 2021-11-09 斑马网络技术有限公司 地图获取方法、系统、云处理器及车辆

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694392A (zh) * 2009-09-29 2010-04-14 北京四维图新科技股份有限公司 一种导航终端的地图更新方法、导航终端及系统
CN107515006A (zh) * 2016-06-15 2017-12-26 华为终端(东莞)有限公司 一种地图更新方法和车载终端
CN106525057A (zh) * 2016-10-26 2017-03-22 陈曦 高精度道路地图的生成系统
CN108121764A (zh) * 2016-11-26 2018-06-05 星克跃尔株式会社 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质
CN107339996A (zh) * 2017-06-30 2017-11-10 百度在线网络技术(北京)有限公司 车辆自定位方法、装置、设备及存储介质
CN108416045A (zh) * 2018-03-15 2018-08-17 斑马网络技术有限公司 交通设施的位置获取方法、装置、终端设备及服务器

Also Published As

Publication number Publication date
WO2020042348A1 (zh) 2020-03-05
CN110146097A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN110146097B (zh) 自动驾驶导航地图的生成方法、系统、车载终端及服务器
CN105793669B (zh) 车辆位置推定系统、装置、方法以及照相机装置
CN112991791B (zh) 交通信息识别和智能行驶方法、装置、设备及存储介质
CN111652940A (zh) 目标异常识别方法、装置、电子设备及存储介质
US20180045516A1 (en) Information processing device and vehicle position detecting method
CN109141444B (zh) 定位方法、装置、存储介质及移动设备
CN111380543A (zh) 地图数据生成方法及装置
CN112543956B (zh) 提供道路拥堵原因的方法和装置
JP2011227888A (ja) 画像処理システム及び位置測位システム
CN113127583A (zh) 一种数据传输方法和装置
US11963066B2 (en) Method for indicating parking position and vehicle-mounted device
CN114639085A (zh) 交通信号灯识别方法、装置、计算机设备和存储介质
CN111380544A (zh) 车道线的地图数据生成方法及装置
CN110765224A (zh) 电子地图的处理方法、车辆视觉重定位的方法和车载设备
CN116959265A (zh) 交通信息提示方法、装置、电子设备和可读存储介质
CN109308806A (zh) 一种交通工具的行驶检测方法及服务器
CN108986463A (zh) 一种路况信息处理方法、装置及电子设备
CN110019608B (zh) 一种信息采集方法、装置和系统及存储设备
CN111461972A (zh) 一种地下车库的自动导航驾驶地图更新方法及系统
CN111661054B (zh) 车辆控制方法、装置、电子设备及存储介质
US11885640B2 (en) Map generation device and map generation method
CN112258881B (zh) 基于智慧交通的车辆管理方法
CN113048988B (zh) 一种导航地图对应场景的变化元素检测方法及装置
CN106537172B (zh) 用于确定传感器的位置和/或定向的方法
CN113902047A (zh) 图像元素匹配方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240911

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Patentee after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 100083 room 28, 4 / F, block a, Dongsheng building, 8 Zhongguancun East Road, Haidian District, Beijing

Patentee before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd.

Country or region before: China