CN115880928A - 自动驾驶高精地图实时更新方法、装置、设备及存储介质 - Google Patents
自动驾驶高精地图实时更新方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115880928A CN115880928A CN202211557004.0A CN202211557004A CN115880928A CN 115880928 A CN115880928 A CN 115880928A CN 202211557004 A CN202211557004 A CN 202211557004A CN 115880928 A CN115880928 A CN 115880928A
- Authority
- CN
- China
- Prior art keywords
- road
- target
- event
- dynamic
- dynamic event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000013461 design Methods 0.000 claims abstract description 46
- 230000004044 response Effects 0.000 claims abstract description 25
- 230000002159 abnormal effect Effects 0.000 claims description 48
- 230000004927 fusion Effects 0.000 claims description 47
- 238000012795 verification Methods 0.000 claims description 38
- 230000000977 initiatory effect Effects 0.000 claims description 35
- 238000005065 mining Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 24
- 230000006978 adaptation Effects 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 10
- 230000006399 behavior Effects 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims 4
- 230000000694 effects Effects 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 206010039203 Road traffic accident Diseases 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000007418 data mining Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000009412 basement excavation Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000013524 data verification Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本公开提供了一种自动驾驶高精地图实时更新方法、装置、设备及存储介质,涉及自动驾驶、深度学习、高精地图等人工智能技术领域,可应用于智能交通和智慧城市场景。该方法包括:获取车载传感器和路侧设备采集得到的道路图像和行车轨迹;将包括道路图像和行车轨迹在内的用于判别道路动态事件的多源道路信息,输入预先部署在车辆端的动态事件识别模型;接收动态事件识别模型输出的道路动态事件的识别结果;响应于根据识别结果确定目标道路产生目标动态事件,基于目标动态事件更新目标道路的运行设计域。应用该方法可以提升自动驾驶服务对道路动态事件的响应速度,提升自动驾驶效果、保障乘车人员的人身财产安全。
Description
技术领域
本公开涉及数据处理技术领域,具体涉及自动驾驶、深度学习、高精地图等人工智能技术领域,可应用于智能交通和智慧城市场景,尤其涉及一种自动驾驶高精地图实时更新方法、装置、电子设备及计算机可读存储介质。
背景技术
根据联合国全球道路安全报告统计,全球每年有2000万至5000万人遭受交通事故伤害,并产生约1.85万亿美元的经济负担,给社会和个人造成严重的经济损失,使数百万人陷入贫困。
因此,当今时代最紧迫的社会、经济、健康问题是道路安全问题。在现实世界中,发生动态事件(例如突发性交通事故、临时的道路维护等非常态性事件)的道路会造成大量交通事故,严重影响用户的驾驶安全。
由于动态事件生命周期较短且随时随地可能发生,因此如何准确、及时挖掘动态事件是本领域技术人员亟待解决的问题。
发明内容
本公开实施例提出了一种自动驾驶高精地图实时更新方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
第一方面,本公开实施例提出了一种自动驾驶高精地图实时更新方法,包括:获取车载传感器和路侧设备采集得到的道路图像和行车轨迹;将包括道路图像和行车轨迹在内的用于判别道路动态事件的多源道路信息,输入预先部署在车辆端的动态事件识别模型,动态事件识别模型用于表征多源道路信息与各类别道路动态事件的置信度之间的对应关系;接收动态事件识别模型输出的道路动态事件的识别结果;响应于根据识别结果确定目标道路产生目标动态事件,基于目标动态事件更新目标道路的运行设计域。
第二方面,本公开实施例提出了一种自动驾驶高精地图实时更新装置,包括:图像及轨迹获取单元,被配置成获取车载传感器和路侧设备采集得到的道路图像和行车轨迹;多源道路信息输入单元,被配置成将包括道路图像和行车轨迹在内的用于判别道路动态事件的多源道路信息,输入预先部署在车辆端的动态事件识别模型,动态事件识别模型用于表征多源道路信息与各类别道路动态事件的置信度之间的对应关系;识别结果接收单元,被配置成接收动态事件识别模型输出的道路动态事件的识别结果;运行设计域更新单元,被配置成响应于根据识别结果确定目标道路产生目标动态事件,基于目标动态事件更新目标道路的运行设计域。
第三方面,本公开实施例提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器执行时能够实现如第一方面描述的自动驾驶高精地图实时更新方法。
第四方面,本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行时能够实现如第一方面描述的自动驾驶高精地图实时更新方法。
第五方面,本公开实施例提供了一种包括计算机程序的计算机程序产品,该计算机程序在被处理器执行时能够实现如第一方面描述的自动驾驶高精地图实时更新方法的步骤。
本公开提供的自动驾驶高精地图实时更新方案,车辆端通过分别从车载传感器和路侧设备获取道路图像和行车轨迹,并借助预先部署在车辆端的动态事件识别模型对包含道路图像和行车轨迹在内的多源道路信息进行动态事件的识别,并根据识别出的目标道路上存在的目标动态事件更新用于提供自动驾驶服务的运行设计域,从而通过对运行设计域的及时更新来提升自动驾驶服务对道路动态事件的响应速度,提升自动驾驶效果、保障乘车人员的人身财产安全。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本公开可以应用于其中的示例性系统架构;
图2为本公开实施例提供的一种自动驾驶高精地图实时更新方法的流程图;
图3为本公开实施例提供的一种动态事件识别模型对输入的多源道路信息识别得到识别结果的方法的流程图;
图4为本公开实施例提供的一种根据识别结果确定目标道路是否存在动态事件的方法的流程图;
图5为本公开实施例提供的一种发起验真请求的方法的流程图;
图6为本公开实施例提供的一种对运行设计域的更新方法的流程图;
图7a、图7b、图7c、图7d分别为存在不同异常的道路的轨迹示意图;
图8为本公开实施例提供的一种道路信息文本的信息提取方法的示意图;
图9为本公开实施例提供的一种自动驾驶高精地图实时更新装置的结构框图;
图10为本公开实施例提供的一种适用于执行自动驾驶高精地图实时更新方法的电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
图1示出了可以应用本公开的自动驾驶高精地图实时更新方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括车载摄像头101、车载定位组件102、路侧设备103和车辆104。其中,车载摄像头101、车载定位组件102用于以车辆的视角提供对行经道路和周围的道路图像的行车轨迹;固定设置在路侧的路侧设备103也同样可以借助其上的相机和感知设备获取所感知区域内的道路图像数据和经过车辆的行车轨迹;车载摄像头101和车载定位组件102由于集成于车辆104上,因此可以直接借助有线方式实现数据传输,路侧设备103则可以通过网络将所获取到的图像数据和行车轨迹发送给车辆104。
车辆104可以从车载终端101、车载定位组件102、路侧设备103获取道路图像和行车轨迹,也可以进一步的对所获取到的数据进行分析和各种处理。具体的,车载摄像头101、车载定位组件102、路侧设备103和、车辆104上可以安装有各种用于实现各种功能的应用,例如道路图像采集应用、行车轨迹采集应用、自动驾驶高精地图实时更新及处理类应用等。
用于采集道路图像的车载摄像头101和用于采集行车轨迹的车载定位组件102,可在其它应用场景下表现为其它形式,例如可借助毫米波雷达来采集道路图像等,图1仅作为示例附图存在。路侧设备103同理,只要其能够满足本公开所要求的采集道路图像和行车轨迹的功能即可。
车辆104通过内置的各种应用可以提供各种服务,以可以基于包括道路图像和行车轨迹在内的多源道路信息提供自动驾驶高精地图实时更新及基于识别结果进行相应后续处理服务的自动驾驶高精地图实时更新及处理类应用为例,服务器105在运行该自动驾驶高精地图实时更新及处理类应用时可实现如下效果:首先,获取车载摄像头101、车载定位组件102和路侧设备采集得到的道路图像和行车轨迹;然后,将包括道路图像和行车轨迹在内的用于判别道路动态事件的多源道路信息,输入预先部署在车辆104的车载终端或车载大脑的动态事件识别模型,该动态事件识别模型用于表征多源道路信息与各类别道路动态事件的置信度之间的对应关系;接下来,接收该动态事件识别模型输出的道路动态事件的识别结果;最后,响应于根据识别结果确定目标道路产生目标动态事件,基于目标动态事件更新目标道路的运行设计域。
本公开后续各实施例所提供的自动驾驶高精地图实时更新方法一般有车辆104或代表车辆运算能力的车载终端或车载大脑来执行,相应地,自动驾驶高精地图实时更新装置一般也设置于车辆104中。
应该理解,图1中的车载摄像头、车载定位组件、路侧设备、车辆的数目仅仅是示意性的。根据实现需要,可以具有任意数目的车载摄像头、车载定位组件、路侧设备、车辆。
请参考图2,图2为本公开实施例提供的一种自动驾驶高精地图实时更新方法的流程图,其中流程200包括以下步骤:
步骤201:获取车载传感器和路侧设备采集得到的道路图像和行车轨迹;
本步骤旨在由自动驾驶高精地图实时更新方法的执行主体(例如图1所示的车辆104)获取车载传感器(例如图1所示的车载摄像头101、车载定位组件102)和路侧设备(例如图1所示的路侧设备103)采集得到的道路图像和行车轨迹,即通过“车(即车辆)”与“路(即路侧设备)”相互协同的方式来获取到视角更多、内容更清晰、准确度更高的道路图像和行车轨迹。
步骤202:将包括道路图像和行车轨迹在内的用于判别道路动态事件的多源道路信息,输入预先部署在车辆端的动态事件识别模型;
其中,该动态事件识别模型用于表征多源道路信息与各类别道路动态事件的置信度之间的对应关系,该动态事件识别模型可以是预先在服务端进行训练,然后将训练完成的模型部署在车辆端,或者对训练完成的模型在进行轻量化处理(例如采用模型蒸馏技术)后再部署在车辆端;即不同的道路动态事件可被划分为多个不同的类别,例如交通事故类(例如追尾、撞击等)、车辆事故类(例如自燃、爆炸、所装载物品滚落、发生剧烈的化学反应等)、人群聚集类、道路施工及维护类、偶发自然现象类等。
在步骤201的基础上,本步骤旨在由上述执行主体将包括道路图像和行车轨迹在内的用于判别道路动态事件的多源道路信息,作为输入信息输入预先部署在车辆端的动态事件识别模型,以通过该动态事件识别模型确定多源道路信息中存在的道路信息体现了不同类别的道路动态事件的置信度,例如识别该多源道路信息属于交通事故类的道路动态事件的置信度为52%、属于车辆事故类的道路动态事件的置信度为27%。
步骤203:接收动态事件识别模型输出的道路动态事件的识别结果;
在步骤202的基础上,本步骤旨在由上述执行主体接收动态事件识别模型输出的道路动态事件的识别结果,即该识别结果包含有认为可能属于的动态事件类别(并不一定包含全部的动态事件类别,例如可不包含认为置信度为0的动态事件类别)和相应类别对应的置信度。
步骤204:响应于根据识别结果确定目标道路产生目标动态事件,基于目标动态事件更新目标道路的运行设计域。
本步骤在根据识别结果确定目标道路产生了目标动态事件的基础上,旨在由上述执行主体基于该目标动态事件更新该目标道路的运行设计域。
运行设计域,其英文全称为Operational Design Domain,英文缩写为ODD,指的是特定驾驶自动化系统或其功能专门设计的运行条件,包括但不限于环境、地理和时间限制,和/或某些交通或道路特征的存在或缺失。只有当全部条件都满足的时候该自动驾驶才能保证正常运作。相反,欠缺任何一个前提条件,该系统都有可能出现故障,可能会采取停车或是需要驾驶者接管。
简单来说,ODD就是要定义好在哪些工况下是能够自动驾驶的,脱离了这些工况,自动驾驶就不能保证工作。任何一台自动驾驶车辆,都必须有一定限定的工况。而这个工况可以很宽泛,也可以很精准,并决定了自动驾驶车辆能胜任什么样的场景。比如,一台车的自动驾驶系统只能在高速上使用,它可以自动保持车道、自动超车、自动跟车、自动让行、自动通过收费站、自动上下匝道等,但到了城市里就无法完全自动驾驶。同时,要确保自动驾驶测试和验证是完整的,至少需要确保ODD所有方面已经通过确保系统安全运行,或通过确保系统能够识别超出ODD的范围。
而对于每条道路上的运行设计域,也就意味着自动驾驶车辆在行驶在每条道路上的运行设计域部分时,可启用自动驾驶功能实现较安全的自动驾驶。本步骤正是在根据识别结果确认目标道路上存在目标动态事件时,根据该目标动态事件来更新该目标道路上的运行设计域,以使更新后的运行设计域能够及时避免车辆进入不应该进入的目标动态事件的影响范围内,从而保障行车安全、保障车内乘员的人身财产安全。
具体的,运行设计域的更新可涉及:覆盖范围的缩小、降低所能够提供的自动驾驶等级的自动驾驶服务。
本公开实施例提供的自动驾驶高精地图实时更新方法,车辆端通过分别从车载传感器和路侧设备获取道路图像和行车轨迹,并借助预先部署在车辆端的动态事件识别模型对包含道路图像和行车轨迹在内的多源道路信息进行动态事件的识别,并根据识别出的目标道路上存在的目标动态事件更新用于提供自动驾驶服务的运行设计域,从而通过对运行设计域的及时更新来提升自动驾驶服务对道路动态事件的响应速度,提升自动驾驶效果、保障乘车人员的人身财产安全。
为了尽可能的提升多源道路信息所包含的道路信息种类,进而提升动态事件识别模型输出识别结果的全面性和准确性,还可以获取权威部门(例如交通管理部门、交通广播信息平台等)发布的与道路相关的道路信息文本,进而上述步骤202就可以为:将道路图像、行车轨迹和道路信息文本,汇总为多源道路信息,然后将该多源道路信息输入预先部署在车辆端的动态事件识别模型。进一步的,为了适配上述执行主体的运算性能,还可以要求直接接收到服务器端对道路信息文本挖掘得到的文本特征,进而省去由上述执行主体对道路信息文本进行的特征提取运算。
为了加深对动态事件识别模型具体是如何根据输入的多源道路信息完成动态道路事件的识别过程的理解,本公开还提供了一种适配模型部署端的运算性能的二阶段识别方案,即:
首先,利用动态事件识别模型中的粗识别模块,对道路图像和行车轨迹中所包含的可粗略体现出其对应的道路动态事件所属的事件类别的图像信息和轨迹信息进行粗识别,进而得到目标事件类别;
然后,利用动态事件识别模型中与该目标事件类别对应的目标类别动态事件识别模块,对多源道路信息进行动态道路事件的识别,得到目标类别动态事件识别模块输出的包含目标事件类别和其置信度的识别结果。
即本实施例所提供的二阶段识别方案,由于通过粗识别模块先对疑似属于的事件类别进行简单的识别,仅需耗费较小的运算性能进行时间较短的运算,而在确定疑似的目标事件类别后,通过仅调用与该目标时间类别对应的目标类别动态事件识别模块来对真正对多源道路信息进行识别,而无需在未知事件类别的情况下遍历所有事件类别各自的识别模块,以规避大量无效运算的方式减少对运算性能的要求,更加适配动态事件识别模型所部署在的车辆端的运算性能,也正是由于动态事件识别模型被部署在车辆端,可以直接基于车辆传感器和路侧设备实时采集到的道路图像和行车轨迹输出高时效性的识别结果,缩短因信息来回进行远距离传输所造成的时延。
为进一步加深对具体如何通过目标类别动态事件识别模块对多源道路信息进行动态道路事件的识别部分的理解,本实施例还通过图3示出了一种具体的实现方案,其流程300包括以下步骤:
步骤301:利用目标类别动态事件识别模块中的特征挖掘子模块,对构成多源道路信息中的每种道路信息进行特征挖掘,得到包含图像特征和轨迹特征在内的多源道路特征;
即特征挖掘子模块用于分别对构成多源道路信息中的每种道路信息进行特征挖掘,例如得到图像特征、轨迹特征,若多源道路信息中还包含有道路信息文本,还可以对应挖掘得到文本特征。
对道路图像的挖掘,旨在是凸显所拍摄得到的道路图像中与动态事件导致道路异常的部分进行挖掘,进而形成用于后续识别道路动态事件的图像特征;
而对于行车轨迹的挖掘,则主要是对行车轨迹中表现的轨迹异常所对应的异常道路部分进行挖掘,进而形成用于后续识别道路动态事件的轨迹特征,具体的,异常道路包括以下至少一种:
异常掉头道路、异常偏航道路、异常变速道路、异常拥堵道路。
即能够体现上述任一种异常道路的轨迹,均可以用于提取得到的轨迹特征。
对于道路信息文本的挖掘,则主要是对文本信息中明确记载的道路异常信息进行准确提取,并形成文本特征。
步骤302:利用目标类别动态事件识别模块中的特征融合子模块,融合构成多源道路特征中的每种道路特征,得到多源融合特征;
在步骤301的基础上,本步骤旨在由上述执行主体融合构成多源道路特征中的每种道路特征,得到多源融合特征。进一步的,该特征融合子模块除采用均匀融合的多特征融合方式外,还可以根据所属目标事件类别为不同种类的道路特征提供对应的特征融合权重,且相同种类的道路特征根据所属事件类别的不同拥有不同的特征融合权重,以尽可能的对应复杂的道路动态事件。
步骤303:利用目标类别动态事件识别模块中的动态事件判别子模块,确定与多源融合特征对应的目标事件类别的道路动态事件的目标置信度;
步骤304:利用目标类别动态事件识别模块中的识别结果输出子模块,输出包含目标事件类别和目标置信度的识别结果。
步骤303和步骤304则分别由动态事件判别子模块来确定与该多源融合特征对应的目标事件类别的道路动态事件的目标置信度,以及由识别结果输出子模块进行输出。
本实施例通过步骤301-步骤304,将目标类别动态事件识别模块对多源道路信息进行动态道路事件的识别过程,又详细拆解为特征挖掘、特征融合、动态事件判别、识别结果输出四个子过程,即对于不同种类的道路相关信息采用不同的特征挖掘方法,在特征融合时结合所述的事件类别为不同种类的道路特征提供不同的特征融合权重,以适配所属的事件类别,有助于提升输出的识别结果的准确性。
为了加深对如何根据识别结果确定目标道路是否存在动态事件部分的理解,本实施例还通过图4示出了一种具体的实现方式,其流程400包括如下步骤:
步骤401:根据识别结果确定目标道路在至少一类道路动态事件下的置信度列表;
本步骤旨在由上述执行主体根据识别结果确定目标道路在至少一类道路动态事件下的置信度列表,即该识别结果中包含目标道路可能属于的至少一类道路动态事件(即不考虑一类都不包含的情况,在此种情况将被认为不输出识别结果),以及每类道路动态事件的置信度,进而形成该置信度列表。
步骤402:响应于置信度列表中未包含大于预设置信度的实际置信度,向位于目标道路的预设范围内的用户发起针对目标道路的道路动态事件的验真请求;
本步骤建立在步骤401输出的置信度列表中未包含大于预设置信度的实际置信度,说明输出的这些疑似道路动态事件的类别的可信度都较低,因此为了防止模型判别不准确造成的误判,由上述执行主体向位于目标道路的预设范围内的用户发起针对目标道路的道路动态事件的验真请求。该验真请求用于请求用户目标道路上是否发生动态事件以及在发生了动态事件时进一步请求用户返回所发生动态事件所属的事件类别,验真请求的询问形式包括:文字弹窗形式(例如在地图软件上对目标道路弹出文字形式进行询问的弹窗,该文本形式的询问可以为疑问句:这段道路上发生了什么或者疑问句:这段道路上是否发生了交通事故,或者其它类似的表述)或合成语音形式(例如地图软件对目标道路通过合成语音发出语音问询,例如输出“前方的XX路段发生了什么”疑问句的合成语音)。
步骤403:根据接收到的请求反馈,调整识别结果;
在步骤402的基础上,本步骤旨在由上述执行主体根据接收到的请求反馈,调整识别结果。
进一步的,上述执行主体还可以将接收到的请求反馈发送给后台的服务器(例如提供自动驾驶服务的地图应用的后台服务器),以使服务器根据陆续接收到的行驶在该目标道路上的各车辆返回的信息从全局角度确定道路动态事件(例如可采用投票机制,选取票数最高的事件),进而从全局层面对目标道路的运行设计域进行相应的更新。
步骤404:响应于置信度列表中包含大于预设置信度的实际置信度,确定目标道路存在与实际置信度对应的目标动态事件。
本步骤建立在步骤401输出的置信度列表中包含大于预设置信度的实际置信度的基础上,说明至少包含有可信度较高的道路动态事件的类别,因此将由上述执行主体在较高的可信度下直接确定目标道路存在与实际置信度对应的目标动态事件。
本实施例通过步骤401-步骤404提供了两种不同的处理分支,即步骤402-403对应的低置信度情况下主动向用户发起验真请求的处理分支,以及步骤404对应的高置信度下直接确定目标道路存在与实际置信度对应的目标动态事件的处理分支。
需要说明的是,上述两种处理分支并不固定搭对存在,即任一处理分支可拥有其它方案作为对应的另一处理分支,本实施例仅作为包含上述两种处理分支的优选实施例存在。
为避免验真请求对行车用户或行人造成打扰,本实施例还通过图5示出了一种发起验真请求的方法,其流程500包括如下步骤:
步骤501:确定所有位于目标道路的预设范围内的第一用户;
步骤502:分别确定每位第一用户的请求发起适配度;
其中,该请求发起适配度用于表征第一用户为响应验真请求对经过所在道路的影响程度,且影响程度的大小与请求发起适配度的大小之间呈负相关,即该影响程度的程度越高、对应请求发起适配度的适配度就越低,反之则影响程度越低、请求发起适配度越高。也就是说,如果该用户为了响应接收到的验证请求会对其经过所在道路造成较大的影响,就认为不太适合向该用户发起该验证请求,即仅倾向向响应验真请求对自身经过所在道路的影响程度较小的用户发起该验真请求。
具体的,该请求发起适配度可基于以下至少一项确定得到:
第一用户的出行方式、移动速度、当前所在道路的拥堵状态、驾驶行为、对历史验真请求的回复积极度,或者其它可表征影响程度的因素。
步骤503:将拥有小于预设适配度阈值的实际请求发起适配度的第一用户,确定为第二用户;
步骤504:向第二用户发起针对目标道路的道路动态验真请求。
即本实施例通过步骤501-步骤504提供了一种计算请求发起适配度来评估不同用户在响应验真请求过程中对其自身经过所在道路的影响程度,进而向其中影响较小的用户发起验真请求,从而避免对其它用户造成不必要的影响。
在上述任意实施例的基础上,对于步骤204中涉及的对运行设计域的更新的具体实现方式,本实施例通过图6提供了一种具体的实现方案,其流程600包括如下步骤:
步骤601:确定目标道路的运行设计域的原覆盖范围;
步骤602:根据目标动态事件的影响范围缩减原覆盖范围。
即本实施例旨在通过先确定目标道路的运行设计域的原覆盖范围,然后再确定目标动态事件对该目标道路的影响范围,最终根据该影响范围对原覆盖范围进行缩减(例如直接将落入该影响范围内的原覆盖范围删去),从而完成运行设计域的更新。
其中,在确定目标动态事件对该目标道路的影响范围时,可以根据目标动态事件所属的事件类别,来确定该目标动态事件的影响范围,以匹配不同事件类别可能存在得到潜在的更大的影响范围,例如在车辆事故类下车辆承载的货物发生了剧烈的化学反应时,因产生的剧烈化学反应可能造成有毒或有害物品的扩散、挥发,进而涉及更大的影响范围。
进一步的,在发现响应于缩减后的覆盖范围小于预设范围或缩减时间超过预设时长时,出于为了提升自动驾驶体验的考虑,还可以降低运行设计域所匹配的自动驾驶服务等级,以要求驾驶员尽可能多的手动介入驾驶,来提升安全性。
图8为本公开实施例提供的一种道路信息文本的信息提取方法的示意图;
为了加深对整个方案的理解,本实施例还结合一个具体的场景,提供了一套动态事件识别系统:
该系统包括三个模块,动态数据挖掘模块、动态数据验真模块、预警提醒模块。其中,动态数据挖掘模块和动态数据验真模块是整个系统的核心,而整个系统的输入是道路实时图像、轨迹、互联网文本数据,输出是动态数据的类型、方向、GPS位置,并向导航用户提供安全提醒。
整个系统流程如下:首先基于道路实时图像、轨迹、互联网文本数据,利用动态数据挖掘模块,挖掘道路动态数据,其次结合用户验真提升动态数据的召回和准确,最后针对动态数据覆盖的区域,向导航用户提供安全保障。
一、动态数据挖掘
动态数据挖掘模块首先基于道路实时图像、轨迹、互联网文本数据,利用图像、轨迹、文本挖掘技术,判断道路是否发生动态数据。
1、图像挖掘:动态要素与动态数据的发生具有关联性,例如,发生施工的道路会摆放施工锥桶,发生事故的道路会摆放事故三脚架等,因此基于道路实时图像,借助动态要素图像识别模型,判断道路是否发生动态数据。
a)实时图像获取:为了解决图像召回方式依赖采集计划而导致召回、时效低下的问题,将预先训练好的动态数据识别模型部署在移动端,在车辆行驶期间,动态数据图像识别模型实时获取并识别道路图像数据。
b)动态数据识别:通过动态要素图像识别模型检测道路图像是否包含动态要素,进而挖掘动态数据。动态数据图像识别模型训练方法如下:
i.样本提取:获取道路实时图像,并人工标注图像包含动态要素的类型和位置。
ii.模型离线训练:获取样本数据后,利用深度学习检测模型,比如Faster RCNN模型,对样本进行训练,产出动态数据识别模型。
iii.模型在线预测:获取道路实时图像,并利用预先训练好的动态数据识别模型,检测图像包含动态要素的类型和位置。
c)动态数据定位:基于动态要素在图像中位置和所属轨迹的GPS坐标,利用多视图几何方式计算动态数据的GPS坐标,并利用轨迹匹配算法,例如HMM算法,计算动态数据所属轨迹对应的道路和方向。
2、轨迹挖掘:用户异常行车轨迹与动态数据发生具有关联性,例如,发生阻断的道路会出现大量的用户掉头或偏航轨迹,因此基于道路实时轨迹,挖掘存在异常行车轨迹的道路,并构建多维轨迹特征,利用机器学习相关技术,判断道路是否存在动态数据。
d)实时轨迹获取:实时获取用户行车轨迹,利用轨迹匹配算法,例如HMM算法,将行车轨迹与路网中的道路进行匹配,确定轨迹所处的道路。结合路网和用户导航规划路线,判断用户行车轨迹是否存在掉头、穿行、偏航、缓行等行为。
e)异常道路挖掘:实时计算道路分钟级别特征,通过比较相邻时间段的特征变化,判断当前道路是否存在异常行车轨迹。针对t时刻的道路r,比较时间区间[t-2a,t-a)和[t-a,t)的轨迹特征,其中a取值为5分钟,若相邻时间区间的轨迹特征满足如下条件,则道路r在t时刻属于异常道路。
i.异常掉头道路挖掘:计算道路在[t-2a,t-a)和[t-a,t)时间段的掉头次数,如果道路掉头次数变化满足公式①,则该道路属于异常道路。
ii.异常偏航道路挖掘:计算道路在[t-2a,t-a)和[t-a,t)时间段的偏航次数,如果道路偏航次数变化满足公式②,则该道路属于异常道路。
iii.异常拥堵道路挖掘:按照50米间隔对道路进行切分,统计每段间隔li在[t-2a,t-a)和[t-a,t)时间段行车轨迹的平均穿行速度v。根据公式③,计算每段间隔的拥堵指数如果道路拥堵指数满足公式④,则该道路属于异常道路。
f)动态数据识别:针对用户行车轨迹异常的道路,构建多维轨迹特征,通过动态数据轨迹识别模型检测道路是否包含动态数据。模型训练方法如下:
i.样本提取:获取历史发生动态数据的道路,结合道路图像,人工标注动态数据的类型。
ii.特征计算:针对待检测道路,提取道路属性和通行特征,提取方式如下:
1)道路属性特征:提取异常道路的车道数、道路等级特征。
2)道路通行特征:计算道路r在[t-a,t)和[t-2a,t-a)时间段的掉头次数、穿行次数、偏航次数、拥堵系数以及对应的变化率特征。
iii.模型离线训练:获取样本和对应特征后,利用机器学习分类模型,比如GBDT(Gradient Boosting Decision Tree,梯度提升决策树)模型,对样本进行训练,产出动态数据轨迹识别模型。
iv.模型在线预测:实时获取用户行车轨迹,计算道路属性和通行特征,利用预先训练好的动态数据轨迹识别模型,预测道路是否包含动态数据以及动态数据的类型。
g)动态数据定位:针对疑似发生动态数据的道路,首先提取用户掉头、偏航、缓行的行车轨迹序列,并计算单条轨迹序列的异常变化点pc,如图7a、图7b、图7c、图7d所示,其次使用聚类算法,比如层次聚类,计算聚类中心点,最后利用HMM(Hidden Markov Model,隐马尔可夫模型)算法,计算聚类中心点映射至路网的GPS位置。该GPS位置为动态数据的位置,异常行为变化点的行车方向为动态数据的方向。异常变化点计算方式如下:
i.针对掉头轨迹挖掘的异常道路:提取用户掉头轨迹,如果轨迹点pi满足公式⑤或⑥,则轨迹点pi为掉头轨迹的异常变化点,即用户在轨迹点pi+1发生掉头行为。
ii.针对偏航轨迹挖掘的异常道路:提取用户偏航轨迹,如果轨迹点pi满足公式⑦,则轨迹点pi为偏航轨迹的异常变化点,即用户在轨迹点pi+1发生偏航行为。
iii.针对缓行轨迹挖掘的异常道路:计算用户穿行速度,如果道路间隔li满足公式⑧,则li为缓行轨迹的变化路段,路段li中心点为异常变化点。
文本挖掘:当道路发生动态数据时,交管部门通过互联网平台发布相关新闻。基于道路实时新闻,借助事件抽取技术,挖掘动态数据。
h)实时新闻获取:通过订阅交管部门账号,实时获取道路新闻。由于交管部门会发布大量与动态数据无关的新闻,因此需要借助深度学习文本分类模型,比如TextCNN(TextConvolutional Neural Network,针对文本的卷积神经网络)模型,提取与动态数据相关的新闻。
i)动态数据识别:针对道路互联网文本信息,利用事件抽取模型识别动态数据的关键信息,比如道路名、收费站名、时间、事件类型、地点、方向,出入口等信息。事件抽取模型训练方法如下:
i.样本数据的提取:针对动态数据新闻数据,人工标注新闻包含的关键实体以及各实体之间的对应SPO关系,如图8所示,图中下划线不同颜色对应不同类型的实体,箭头代表不同实体之间存在的映射关系。
ii.模型离线训练:获取样本数据后,利用ERNIE的Sequence Labeling模型,对样本进行训练,产出动态数据抽取模型。
iii.模型在线预测:基于道路互联网文本信息,逐字输入至预先训练的动态数据抽取模型,识别新闻包含实体以及SPO关系信息,如下表1所示:
表1事件关系结构化数据
数据字段 | 抽取值 |
高速名称 | X1高速 |
收费站 | Y1收费站 |
方向 | Z1方向 |
事件类型 | 关闭 |
发生时间 | XXXX年X月X日 |
事件原因 | 大雾 |
j)动态数据定位:借助事件抽取模型获取的位置信息,结合路网结构,确定动态数据的位置信息。
i.针对普通道路场景:基于事件抽取模型获取道路和桩号信息,结合路网信息,获得动态数据对应的道路和GPS位置。以“2022年1月9日19:06X2高速Z2方向K1137+350位置的交通事故已处理完毕,道路恢复正常通行”为例,事件抽取模型提取的高速名称、位置分别为“X2高速”,“K1137+350”,并与路网数据库匹配,获得对应路网的道路和GPS位置。
ii.针对高速收费站场景:基于事件抽取模型获取高速名称、收费站、方向,计算动态数据所在路网GPS位置。如图8所示,事件抽取模型提取的高速名称、收费站、方向分别为“X1高速”,“Y1收费站”,“Z1方向”,并与路网数据库匹配,获得对应路网的道路和GPS位置。
2、多模态融合识别:针对轨迹、图像、文本挖掘的疑似动态数据,基于迁移学习的方式,提取道路的轨迹、图像、文本特征向量,并输入至DNN(Deep Neural Networks,深度神经网络)网络,输出动态数据的类型和置信度。
a)特征计算:
i.轨迹特征提取:为了学习道路轨迹时空序列特征,利用速度预测任务迁移学习道路的特征向量。具体步骤如下,首先获取路网道路的时空轨迹,并计算道路在连续时刻下的平均速度。其次利用时空序列模型,比如STGCN模型,获取道路通行速度预测模型。最后,针对疑似发生动态数据的道路以及连续时刻的速度特征,提取道路的通行向量。
ii.图像特征提取:针对疑似发生动态数据的道路,获取道路实时图像,利用预先训练好的动态数据图像识别模型,提取道路的图像向量。
iii.文本特征提取:针对疑似发生动态数据的道路,获取道路实时互联网文本,利用预先训练好的动态数据抽取模型,提取道路的文本向量。
iv.特征融合:获取到道路的轨迹特征、图像特征、文本特征后,将特征向量拼接,输出最终特征向量。
b)模型训练:
i.样本提取:获取历史已发生的动态数据,结合现场图像,人工标注动态数据的类型。
ii.模型离线训练:获取样本和对应道路的轨迹、图像、文本特征向量后,并输入至DNN网络对样本进行训练,产出多模态融合识别模型。
iii.模型在线预测:针对动态数据挖掘模块输出的疑似动态数据,计算道路轨迹、图像、文本特征,并进行融合,之后利用预训练的多模态融合识别模型,预测动态数据的类型和置信度。
二、动态数据验真
针对低置信度的动态数据,借助用户验真的方式,进一步提升动态数据召回和准确。用户验真包括两种方式,弹窗验真和语音验真:
a)弹窗验真:通过弹窗的方式询问用户当前位置是否存在动态数据,用户通过点击“是”或“否”,判断是否存在动态数据。
b)语音验真:通过语音的方式询问用户当前位置发生了什么,用户通过“有事故”等回复,判断是否存在动态数据。
为了减少动态数据验真对用户的打扰,当用户驾车通过动态数据的GPS位置时,结合用户特征、动态数据特征、道路特征,对当前用户打分,并针对超过阈值的用户触发用户验真,其中阈值初始可以设置为0.5。计算公式如下:
其中,C为待用户验证的动态数据集合,Ei为待验证动态数据的特征,比如动态数据的类型和置信度,Ui为用户特征,比如当前用户历史动态数据询问的回复率,当前用户当天动态数据询问次数,当前用户行驶速度等,Ri为路网特征,比如动态数据所属道路的车道数、道路等级、道路通行频次等特征。f(*)为打分函数,该函数可以通过规则指定或者借助分类模型计算得到,例如GBDT模型。获得多个用户的反馈后,可以通过投票方式判断动态数据是否有效。
三、预警提醒模块
获取置信的动态数据后,需要重新计算导航最优路线和到达时间,并借助导航电子产品,例如可通过页面展示和语音播报的方式提前告知用户。不同的动态数据对用户的影响不同,导航电子产品结合动态数据特征、路况特征、路线特征、道路特征,计算不同导航路线的分值,并将最优的导航路线推送给用户,提醒用户进行切换,为用户提供个性化的安全保障。计算公式如下:
其中,P为导航路线集合,Ei为动态数据的特征,比如动态数据的类型和置信度,Oi为路况特征,比如导航路线的拥堵长度,Pi为导航路线特征,比如导航路线的里程、用户通行时间,用户行驶速度等,Ri为路网特征,比如动态数据所属道路的车道数、道路等级等。f(*)为打分函数,该函数可以通过规则指定或者借助分类模型计算得到,例如GBDT模型。
进一步参考图9,作为对上述各图所示方法的实现,本公开提供了一种自动驾驶高精地图实时更新装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图9所示,本实施例的自动驾驶高精地图实时更新装置900可以包括:图像及轨迹获取单元901、多源道路信息输入单元902、识别结果接收单元903、运行设计域更新单元904。其中,图像及轨迹获取单元901,被配置成获取车载传感器和路侧设备采集得到的道路图像和行车轨迹;多源道路信息输入单元902,被配置成将包括道路图像和行车轨迹在内的用于判别道路动态事件的多源道路信息,输入预先部署在车辆端的动态事件识别模型,动态事件识别模型用于表征多源道路信息与各类别道路动态事件的置信度之间的对应关系;识别结果接收单元903,被配置成接收动态事件识别模型输出的道路动态事件的识别结果;运行设计域更新单元904,被配置成响应于根据识别结果确定目标道路产生目标动态事件,基于目标动态事件更新目标道路的运行设计域。
在本实施例中,自动驾驶高精地图实时更新装置900中:图像及轨迹获取单元901、多源道路信息输入单元902、识别结果接收单元903、运行设计域更新单元904的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,自动驾驶高精地图实时更新装置900中还可以包括:
道路信息文本获取单元,被配置成获取权威部门发布的与道路相关的道路信息文本;
对应的,多源道路信息输入单元902可以被进一步配置成:
将道路图像、行车轨迹和道路信息文本,汇总为多源道路信息;
将多源道路信息输入预先部署在车辆端的动态事件识别模型。
在本实施例的一些可选的实现方式中,自动驾驶高精地图实时更新装置900中还可以包括:被配置成通过动态事件识别模型对输入的多源道路信息进行动态道路事件的识别的动态道路事件识别单元,动态道路事件识别单元可以包括:
粗识别子单元,被配置成利用动态事件识别模型中的粗识别模块,确定道路图像和行车轨迹所表征出的道路动态事件所属的目标事件类别;
事件识别子单元,被配置成利用动态事件识别模型中与目标事件类别对应的目标类别动态事件识别模块,对多源道路信息进行动态道路事件的识别,得到目标类别动态事件识别模块输出的包含目标事件类别和其置信度的识别结果。
在本实施例的一些可选的实现方式中,事件识别子单元可以包括:
特征挖掘组件,被配置成利用目标类别动态事件识别模块中的特征挖掘子模块,对构成多源道路信息中的每种道路信息进行特征挖掘,得到包含图像特征和轨迹特征在内的多源道路特征;
特征融合组件,被配置成利用目标类别动态事件识别模块中的特征融合子模块,融合构成多源道路特征中的每种道路特征,得到多源融合特征;其中,特征融合子模块根据所属目标事件类别为不同种类的道路特征提供对应的特征融合权重,相同种类的道路特征根据所属事件类别的不同拥有不同的特征融合权重;
事件判别组件,被配置成利用目标类别动态事件识别模块中的动态事件判别子模块,确定与多源融合特征对应的目标事件类别的道路动态事件的目标置信度;
结果输出组件,被配置成利用目标类别动态事件识别模块中的识别结果输出子模块,输出包含目标事件类别和目标置信度的识别结果。
在本实施例的一些可选的实现方式中,特征挖掘组件包括被配置成利用特征挖掘子模块对行车轨迹挖掘表征异常道路的轨迹特征的轨迹特征挖掘组件,异常道路可以包括以下至少一种:
异常掉头道路、异常偏航道路、异常变速道路、异常拥堵道路。
在本实施例的一些可选的实现方式中,自动驾驶高精地图实时更新装置900中还可以包括:
置信度列表获取单元,被配置成根据识别结果确定目标道路在至少一类道路动态事件下的置信度列表;
目标动态事件存在确定单元,被配置成响应于置信度列表中包含大于预设置信度的实际置信度,确定目标道路存在与实际置信度对应的目标动态事件。
在本实施例的一些可选的实现方式中,自动驾驶高精地图实时更新装置900中还可以包括:
验真请求发起单元,被配置成响应于置信度列表中未包含大于预设置信度的实际置信度,向位于目标道路的预设范围内的用户发起针对目标道路的道路动态事件的验真请求;其中,验真请求用于请求用户目标道路上是否发生动态事件以及在发生了动态事件时进一步请求用户返回所发生动态事件所属的事件类别,验真请求的询问形式包括:文字弹窗形式或合成语音形式;
识别结果调整单元,被配置成根据接收到的请求反馈,调整识别结果。
在本实施例的一些可选的实现方式中,验真请求发起单元可以被进一步配置成:
确定所有位于目标道路的预设范围内的第一用户;
分别确定每位第一用户的请求发起适配度;其中,请求发起适配度用于表征第一用户为响应验真请求对经过所在道路的影响程度,影响程度越高、请求发起适配度越低;
将拥有小于预设适配度阈值的实际请求发起适配度的第一用户,确定为第二用户;
向第二用户发起针对目标道路的道路动态验真请求。
在本实施例的一些可选的实现方式中,请求发起适配度可以基于以下至少一项确定得到:
第一用户的出行方式、移动速度、当前所在道路的拥堵状态、驾驶行为、对历史验真请求的回复积极度。
在本实施例的一些可选的实现方式中,运行设计域更新单元904可以包括:
原覆盖范围确定子单元,被配置成确定目标道路的运行设计域的原覆盖范围;
覆盖范围缩减子单元,被配置成根据目标动态事件的影响范围缩减原覆盖范围。
在本实施例的一些可选的实现方式中,覆盖范围缩减子单元可以被进一步配置成:
根据目标动态事件所属的事件类别,确定目标动态事件的影响范围;
根据影响范围缩减原覆盖范围。
在本实施例的一些可选的实现方式中,自动驾驶高精地图实时更新装置900中还可以包括:
自动驾驶服务等级降低单元,被配置成响应于缩减后的覆盖范围小于预设范围或缩减时间超过预设时长,降低运行设计域所匹配的自动驾驶服务等级。
本实施例作为对应于上述方法实施例的装置实施例存在,本实施例提供的自动驾驶高精地图实时更新装置,车辆端通过分别从车载传感器和路侧设备获取道路图像和行车轨迹,并借助预先部署在车辆端的动态事件识别模型对包含道路图像和行车轨迹在内的多源道路信息进行动态事件的识别,并根据识别出的目标道路上存在的目标动态事件更新用于提供自动驾驶服务的运行设计域,从而通过对运行设计域的及时更新来提升自动驾驶服务对道路动态事件的响应速度,提升自动驾驶效果、保障乘车人员的人身财产安全。
根据本公开的实施例,本公开还提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器执行时能够实现上述任意实施例所描述的自动驾驶高精地图实时更新方法。
根据本公开的实施例,本公开还提供了一种可读存储介质,该可读存储介质存储有计算机指令,该计算机指令用于使计算机执行时能够实现上述任意实施例所描述的自动驾驶高精地图实时更新方法。
根据本公开的实施例,本公开还提供了一种计算机程序产品,该计算机程序在被处理器执行时能够实现上述任意实施例所描述的自动驾驶高精地图实时更新方法。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示,设备1000包括计算单元1001,其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序,来执行各种适当的动作和处理。在RAM 1003中,还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005,包括:输入单元1006,例如键盘、鼠标等;输出单元1007,例如各种类型的显示器、扬声器等;存储单元1008,例如磁盘、光盘等;以及通信单元1009,例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理,例如自动驾驶高精地图实时更新方法。例如,在一些实施例中,自动驾驶高精地图实时更新方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1008。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时,可以执行上文描述的自动驾驶高精地图实时更新方法的一个或多个步骤。备选地,在其他实施例中,计算单元1001可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行自动驾驶高精地图实时更新方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS,Virtual Private Server)服务中存在的管理难度大,业务扩展性弱的缺陷。
根据本公开实施例的技术方案,车辆端通过分别从车载传感器和路侧设备获取道路图像和行车轨迹,并借助预先部署在车辆端的动态事件识别模型对包含道路图像和行车轨迹在内的多源道路信息进行动态事件的识别,并根据识别出的目标道路上存在的目标动态事件更新用于提供自动驾驶服务的运行设计域,从而通过对运行设计域的及时更新来提升自动驾驶服务对道路动态事件的响应速度,提升自动驾驶效果、保障乘车人员的人身财产安全。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (26)
1.一种自动驾驶高精地图实时更新方法,包括:
获取车载传感器和路侧设备采集得到的道路图像和行车轨迹;
将包括所述道路图像和所述行车轨迹在内的用于判别道路动态事件的多源道路信息,输入预先部署在车辆端的动态事件识别模型,所述动态事件识别模型用于表征多源道路信息与各类别道路动态事件的置信度之间的对应关系;
接收所述动态事件识别模型输出的道路动态事件的识别结果;
响应于根据所述识别结果确定目标道路产生目标动态事件,基于所述目标动态事件更新所述目标道路的运行设计域。
2.根据权利要求1所述的方法,还包括:
获取权威部门发布的与道路相关的道路信息文本;
对应的,所述将包括所述道路图像和所述行车轨迹在内的用于判别道路动态事件的多源道路信息,输入预先部署在车辆端的动态事件识别模型,包括:
将所述道路图像、所述行车轨迹和所述道路信息文本,汇总为所述多源道路信息;
将所述多源道路信息输入预先部署在车辆端的动态事件识别模型。
3.根据权利要求1所述的方法,还包括:通过所述动态事件识别模型对输入的多源道路信息进行动态道路事件的识别,其中,所述通过所述动态事件识别模型对输入的多源道路信息进行动态道路事件的识别,包括:
利用所述动态事件识别模型中的粗识别模块,确定所述道路图像和所述行车轨迹所表征出的道路动态事件所属的目标事件类别;
利用所述动态事件识别模型中与所述目标事件类别对应的目标类别动态事件识别模块,对所述多源道路信息进行动态道路事件的识别,得到所述目标类别动态事件识别模块输出的包含所述目标事件类别和其置信度的识别结果。
4.根据权利要求3所述的方法,其中,所述利用所述动态事件识别模型中与所述目标事件类别对应的目标类别动态事件识别模块,对所述多源道路信息进行动态道路事件的识别,得到所述目标类别动态事件识别模块输出的包含所述目标事件类别和其置信度的识别结果,包括:
利用所述目标类别动态事件识别模块中的特征挖掘子模块,对构成所述多源道路信息中的每种道路信息进行特征挖掘,得到包含图像特征和轨迹特征在内的多源道路特征;
利用所述目标类别动态事件识别模块中的特征融合子模块,融合构成所述多源道路特征中的每种道路特征,得到多源融合特征;其中,所述特征融合子模块根据所属目标事件类别为不同种类的道路特征提供对应的特征融合权重,相同种类的道路特征根据所属事件类别的不同拥有不同的特征融合权重;
利用所述目标类别动态事件识别模块中的动态事件判别子模块,确定与所述多源融合特征对应的目标事件类别的道路动态事件的目标置信度;
利用所述目标类别动态事件识别模块中的识别结果输出子模块,输出包含所述目标事件类别和所述目标置信度的识别结果。
5.根据权利要求4所述的方法,其中,利用所述特征挖掘子模块对所述行车轨迹挖掘表征异常道路的轨迹特征,所述异常道路包括以下至少一种:
异常掉头道路、异常偏航道路、异常变速道路、异常拥堵道路。
6.根据权利要求1所述的方法,还包括:
根据所述识别结果确定所述目标道路在至少一类道路动态事件下的置信度列表;
响应于所述置信度列表中包含大于预设置信度的实际置信度,确定所述目标道路存在与所述实际置信度对应的目标动态事件。
7.根据权利要求6所述的方法,还包括:
响应于所述置信度列表中未包含大于所述预设置信度的实际置信度,向位于所述目标道路的预设范围内的用户发起针对所述目标道路的道路动态事件的验真请求;其中,所述验真请求用于请求所述用户所述目标道路上是否发生动态事件以及在发生了动态事件时进一步请求所述用户返回所发生动态事件所属的事件类别,所述验真请求的询问形式包括:文字弹窗形式或合成语音形式;
根据接收到的请求反馈,调整所述识别结果。
8.根据权利要求7所述的方法,其中,所述向位于所述目标道路的预设范围内的用户发起针对所述目标道路的道路动态的事件验真请求,包括:
确定所有位于所述目标道路的预设范围内的第一用户;
分别确定每位所述第一用户的请求发起适配度;其中,所述请求发起适配度用于表征所述第一用户为响应所述验真请求对经过所在道路的影响程度,所述影响程度的大小与所述请求发起适配度的大小呈负相关;
将拥有小于预设适配度阈值的实际请求发起适配度的第一用户,确定为第二用户;
向所述第二用户发起针对所述目标道路的道路动态的验真请求。
9.根据权利要求8所述的方法,其中,所述请求发起适配度基于以下至少一项确定得到:
所述第一用户的出行方式、移动速度、当前所在道路的拥堵状态、驾驶行为、对历史验真请求的回复积极度。
10.根据权利要求1-9任一项所述的方法,其中,所述基于所述目标动态事件更新所述目标道路的运行设计域,包括:
确定所述目标道路的运行设计域的原覆盖范围;
根据所述目标动态事件的影响范围缩减所述原覆盖范围。
11.根据权利要求10所述的方法,其中,所述根据所述目标动态事件的影响范围缩减所述原覆盖范围,包括:
根据所述目标动态事件所属的事件类别,确定所述目标动态事件的影响范围;
根据所述影响范围缩减所述原覆盖范围。
12.根据权利要求10所述的方法,还包括:
响应于缩减后的覆盖范围小于预设范围或缩减时间超过预设时长,降低所述运行设计域所匹配的自动驾驶服务等级。
13.一种自动驾驶高精地图实时更新装置,包括:
图像及轨迹获取单元,被配置成获取车载传感器和路侧设备采集得到的道路图像和行车轨迹;
多源道路信息输入单元,被配置成将包括所述道路图像和所述行车轨迹在内的用于判别道路动态事件的多源道路信息,输入预先部署在车辆端的动态事件识别模型,所述动态事件识别模型用于表征多源道路信息与各类别道路动态事件的置信度之间的对应关系;
识别结果接收单元,被配置成接收所述动态事件识别模型输出的道路动态事件的识别结果;
运行设计域更新单元,被配置成响应于根据所述识别结果确定目标道路产生目标动态事件,基于所述目标动态事件更新所述目标道路的运行设计域。
14.根据权利要求13所述的装置,还包括:
道路信息文本获取单元,被配置成获取权威部门发布的与道路相关的道路信息文本;
对应的,所述多源道路信息输入单元被进一步配置成:
将所述道路图像、所述行车轨迹和所述道路信息文本,汇总为所述多源道路信息;
将所述多源道路信息输入预先部署在车辆端的动态事件识别模型。
15.根据权利要求13所述的装置,还包括:被配置成通过所述动态事件识别模型对输入的多源道路信息进行动态道路事件的识别的动态道路事件识别单元,所述动态道路事件识别单元包括:
粗识别子单元,被配置成利用所述动态事件识别模型中的粗识别模块,确定所述道路图像和所述行车轨迹所表征出的道路动态事件所属的目标事件类别;
事件识别子单元,被配置成利用所述动态事件识别模型中与所述目标事件类别对应的目标类别动态事件识别模块,对所述多源道路信息进行动态道路事件的识别,得到所述目标类别动态事件识别模块输出的包含所述目标事件类别和其置信度的识别结果。
16.根据权利要求14所述的装置,其中,所述事件识别子单元包括:
特征挖掘组件,被配置成利用所述目标类别动态事件识别模块中的特征挖掘子模块,对构成所述多源道路信息中的每种道路信息进行特征挖掘,得到包含图像特征和轨迹特征在内的多源道路特征;
特征融合组件,被配置成利用所述目标类别动态事件识别模块中的特征融合子模块,融合构成所述多源道路特征中的每种道路特征,得到多源融合特征;其中,所述特征融合子模块根据所属目标事件类别为不同种类的道路特征提供对应的特征融合权重,相同种类的道路特征根据所属事件类别的不同拥有不同的特征融合权重;
事件判别组件,被配置成利用所述目标类别动态事件识别模块中的动态事件判别子模块,确定与所述多源融合特征对应的目标事件类别的道路动态事件的目标置信度;
结果输出组件,被配置成利用所述目标类别动态事件识别模块中的识别结果输出子模块,输出包含所述目标事件类别和所述目标置信度的识别结果。
17.根据权利要求16所述的装置,其中,所述特征挖掘组件包括被配置成利用所述特征挖掘子模块对所述行车轨迹挖掘表征异常道路的轨迹特征的轨迹特征挖掘组件,所述异常道路包括以下至少一种:
异常掉头道路、异常偏航道路、异常变速道路、异常拥堵道路。
18.根据权利要求13所述的装置,还包括:
置信度列表获取单元,被配置成根据所述识别结果确定所述目标道路在至少一类道路动态事件下的置信度列表;
目标动态事件存在确定单元,被配置成响应于所述置信度列表中包含大于预设置信度的实际置信度,确定所述目标道路存在与所述实际置信度对应的目标动态事件。
19.根据权利要求18所述的装置,还包括:
验真请求发起单元,被配置成响应于所述置信度列表中未包含大于所述预设置信度的实际置信度,向位于所述目标道路的预设范围内的用户发起针对所述目标道路的道路动态事件的验真请求;其中,所述验真请求用于请求所述用户所述目标道路上是否发生动态事件以及在发生了动态事件时进一步请求所述用户返回所发生动态事件所属的事件类别,所述验真请求的询问形式包括:文字弹窗形式或合成语音形式;
识别结果调整单元,被配置成根据接收到的请求反馈,调整所述识别结果。
20.根据权利要求19所述的装置,其中,所述验真请求发起单元被进一步配置成:
确定所有位于所述目标道路的预设范围内的第一用户;
分别确定每位所述第一用户的请求发起适配度;其中,所述请求发起适配度用于表征所述第一用户为响应所述验真请求对经过所在道路的影响程度,所述影响程度的大小与所述请求发起适配度的大小呈负相关;
将拥有小于预设适配度阈值的实际请求发起适配度的第一用户,确定为第二用户;
向所述第二用户发起针对所述目标道路的道路动态的验真请求。
21.根据权利要求20所述的装置,其中,所述请求发起适配度基于以下至少一项确定得到:
所述第一用户的出行方式、移动速度、当前所在道路的拥堵状态、驾驶行为、对历史验真请求的回复积极度。
22.根据权利要求13-21任一项所述的装置,其中,所述运行设计域更新单元包括:
原覆盖范围确定子单元,被配置成确定所述目标道路的运行设计域的原覆盖范围;
覆盖范围缩减子单元,被配置成根据所述目标动态事件的影响范围缩减所述原覆盖范围。
23.根据权利要求22所述的装置,其中,所述覆盖范围缩减子单元被进一步配置成:
根据所述目标动态事件所属的事件类别,确定所述目标动态事件的影响范围;
根据所述影响范围缩减所述原覆盖范围。
24.根据权利要求22所述的装置,还包括:
自动驾驶服务等级降低单元,被配置成响应于缩减后的覆盖范围小于预设范围或缩减时间超过预设时长,降低所述运行设计域所匹配的自动驾驶服务等级。
25.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-12中任一项所述的自动驾驶高精地图实时更新方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-12中任一项所述的自动驾驶高精地图实时更新方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211557004.0A CN115880928A (zh) | 2022-12-06 | 2022-12-06 | 自动驾驶高精地图实时更新方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211557004.0A CN115880928A (zh) | 2022-12-06 | 2022-12-06 | 自动驾驶高精地图实时更新方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115880928A true CN115880928A (zh) | 2023-03-31 |
Family
ID=85766087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211557004.0A Pending CN115880928A (zh) | 2022-12-06 | 2022-12-06 | 自动驾驶高精地图实时更新方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115880928A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117035032A (zh) * | 2023-04-14 | 2023-11-10 | 北京百度网讯科技有限公司 | 融合文本数据和自动驾驶数据进行模型训练的方法和车辆 |
CN117705090A (zh) * | 2023-12-20 | 2024-03-15 | 南京智绘星图信息科技有限公司 | 一种高精地图的综合管控方法 |
-
2022
- 2022-12-06 CN CN202211557004.0A patent/CN115880928A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117035032A (zh) * | 2023-04-14 | 2023-11-10 | 北京百度网讯科技有限公司 | 融合文本数据和自动驾驶数据进行模型训练的方法和车辆 |
CN117705090A (zh) * | 2023-12-20 | 2024-03-15 | 南京智绘星图信息科技有限公司 | 一种高精地图的综合管控方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11714413B2 (en) | Planning autonomous motion | |
CN109801491B (zh) | 基于风险评估的智能导航方法、装置、设备及存储介质 | |
CN111739344B (zh) | 一种预警方法、装置及电子设备 | |
CN110376594A (zh) | 一种基于拓扑图的智能导航的方法和系统 | |
CN115880928A (zh) | 自动驾驶高精地图实时更新方法、装置、设备及存储介质 | |
CN112581763A (zh) | 道路事件检测的方法、装置、设备和存储介质 | |
CN112462774A (zh) | 一种基于无人机航行跟随的城市道路监管方法、系统及可读存储介质 | |
CN114170797B (zh) | 交通限制路口的识别方法、装置、设备、介质及产品 | |
KR101498582B1 (ko) | 교통사고 데이터 제공 시스템 및 방법 | |
US20230159052A1 (en) | Method for processing behavior data, method for controlling autonomous vehicle, and autonomous vehicle | |
CN114545424A (zh) | 障碍物识别、模型训练方法、装置、设备及存储介质 | |
CN114120650A (zh) | 用于生成测试结果的方法、装置 | |
CN116358584A (zh) | 一种自动驾驶车辆路径规划方法、装置、设备及介质 | |
CN116451862A (zh) | 模型训练方法和装置、交通事件发生概率评估方法和装置 | |
CN114596704A (zh) | 交通事件处理方法、装置、设备及存储介质 | |
CN115112138A (zh) | 轨迹规划信息生成方法、装置、电子设备以及存储介质 | |
CN112926630B (zh) | 路线规划方法、装置、电子设备以及计算机可读介质 | |
You et al. | PANDA: predicting road risks after natural disasters leveraging heterogeneous urban data | |
CN113420692A (zh) | 生成方向识别模型的方法、装置、设备、介质及程序产品 | |
CN117130010A (zh) | 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车 | |
EP3454269A1 (en) | Planning autonomous motion | |
CN115973190A (zh) | 自动驾驶车辆的决策方法、装置和电子设备 | |
CN114998863A (zh) | 目标道路识别方法、装置、电子设备以及存储介质 | |
CN115311867A (zh) | 隧道场景的定位方法、装置、计算机设备、存储介质 | |
CN113762030A (zh) | 数据处理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |