CN111339851A - 一种基于场景熟悉度的无人车远程接管方法 - Google Patents
一种基于场景熟悉度的无人车远程接管方法 Download PDFInfo
- Publication number
- CN111339851A CN111339851A CN202010093001.0A CN202010093001A CN111339851A CN 111339851 A CN111339851 A CN 111339851A CN 202010093001 A CN202010093001 A CN 202010093001A CN 111339851 A CN111339851 A CN 111339851A
- Authority
- CN
- China
- Prior art keywords
- scene
- unmanned vehicle
- strategy
- historical
- familiarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000010485 coping Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000007621 cluster analysis Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于场景熟悉度的无人车远程接管方法,无人车在面临新场景时,对传感器数据进行处理,生成相应的融合场景特征信息;然后与本地存储器中的信息进行对比,计算熟悉度,若熟悉度超过阈值,则直接下发相似度最高的场景策略;否则,与云端进行通信,获取历史场景策略,若存在相似度超过阈值的历史场景,则将相似度最高的历史场景策略下发;若不存在则查询云端中的共识策略库,将超过阙值的共识策略下发;否则,向远程控制中心提交远程接管申请。本发明所公开的方法能够充分利用无人驾驶终端的历史经验策略以及大量无人驾驶终端已验证的共识策略,进而有效降低向人工请求接管的频率,提升无人驾驶自主化水平并保证安全性。
Description
技术领域
本发明属于信息处理技术领域,特别涉及一种基于场景熟悉度的无人车远程接管方法。
背景技术
当前,随着汽车终端处理器计算能力和本地存储器容量的增加以及传感器、数据挖掘技术、深度学习和智能决策规划等技术的发展进步,无人驾驶已成为当前学术界和工业界研究发展的重点领域,并有望在不久的将来走进人们的生活,为交通系统带来颠覆性的改变。
但是,目前的无人驾驶汽车还存在很多问题,包括对场景的泛化能力差、复杂场景下决策困难等。当前的无人驾驶还处在L3-L4之间的低智能水平阶段,在很多复杂场景中不能完全交给机器自动决策,否则容易造成严重的安全事故和伦理问题。复杂场景下的人工接管是当前及未来一段时间内解决以上问题的有效手段。但是,如何有效判断何时应当进行人工干预接管是一项难题,因此,在实际应用中往往需要专人时刻监护,人工判断接管时机。这种方式不仅效率低、不安全,而且造成了成本提升,降低了无人驾驶汽车的实用性。
发明内容
为解决上述技术问题,本发明提供了一种基于场景熟悉度的无人车远程接管方法,能够充分利用无人驾驶终端的历史经验策略以及大量无人驾驶终端已验证的共识策略,进而有效降低向人工请求接管的频率,提升无人驾驶自主化水平并保证安全性。
为达到上述目的,本发明的技术方案如下:
一种基于场景熟悉度的无人车远程接管方法,包括如下步骤:
(1)无人车在面临新场景时,对无人车上布设的多个传感器数据进行处理,生成相应的融合场景特征信息;
(2)将当前的融合场景特征信息与无人车终端的本地存储器中存储的融合场景特征信息进行对比,计算对当前场景的熟悉度,若熟悉度超过阈值,则直接下发本地存储器中相似度最高的场景策略;
否则,从本地存储器中获取该无人车终端的历史场景记忆,与云端进行通信,获取该无人车终端的所有历史场景策略,若存在与当前场景相似度超过阈值的历史场景,则将相似度最高的历史场景策略下发;
若不存在相似度超过阙值的历史场景策略,则查询云端中的共识策略库,若存在相似度超过阈值的共识策略,则将相应共识策略下相似度最高的场景应对策略下发;
否则,直接向远程控制中心提交远程接管申请;同时,云端服务器对每个无人车终端的共识策略查询请求进行计数,若一段时间内某个无人车终端申请查询共识策略的次数超过一定的次数,则自动向远程控制中心为该终端请求远程接管。
上述方案中,所述步骤(1)中,融合场景特征信息的方法包括贝叶斯推理法、卡尔曼滤波法、聚类分析法、模糊集合法或神经网络法中的任意一种。
进一步的技术方案中,所述贝叶斯推理法具体如下:
基于无人车布设的传感器感知的环境信息,对其进行规则化处理和特征参数提取,获取关于当前场景的多传感器、多维度特征信息;
上述方案中,所述步骤(2)中计算对当前场景的熟悉度的方法为比较当前场景与本地存储器的历史场景的相似性,相似性度量方法包括当前融合场景特征与历史融合场景特征之间的皮尔逊系数、欧式距离、马氏距离、相似系数或信息熵中的任意一种。
进一步的技术方案中,所述皮尔逊系数S(C,Hi)计算公式如下:
其中,C代表当前场景的归一化融合场景特征向量,而Hi表示历史场景i的归一化融合场景特征向量,cov(C,Hi)表示当前融合场景特征与历史融合场景特征之间的协方差,D(C)表示当前融合场景特征的方差,D(Hi)表示历史融合场景特征的方差。
通过上述技术方案,本发明提供的一种基于场景熟悉度的无人车远程接管方法能够充分利用无人车终端自身的历史经验及大量无人车共同的经验策略,在保证安全性的同时尽可能降低向人工请求接管的频次,从而提升无人驾驶汽车的自主决策能力并降低人工运营成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所公开的一种基于场景熟悉度的无人车远程接管方法整体流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种基于场景熟悉度的无人车远程接管方法,如图1所示,包括如下步骤:
(1)无人车在面临新场景时,对无人车上布设的多个传感器数据进行处理,生成相应的融合场景特征信息;
融合场景特征信息的方法包括贝叶斯推理法、卡尔曼滤波法、聚类分析法、模糊集合法或神经网络法中的任意一种。本发明中采用贝叶斯推理法,具体如下:
基于无人车布设的传感器感知的环境信息,对其进行规则化处理和特征参数提取,获取关于当前场景的多传感器、多维度特征信息;
(2)将当前的融合场景特征信息与无人车终端的本地存储器中存储的融合场景特征信息进行对比,计算对当前场景的熟悉度。
计算对当前场景的熟悉度的方法为比较当前场景与本地存储器的历史场景的相似性,相似性度量方法包括当前融合场景特征与历史融合场景特征之间的皮尔逊系数、欧式距离、马氏距离、相似系数或信息熵中的任意一种。
本发明中,采用皮尔逊系数S(C,Hi)进行度量,其计算公式如下:
其中,C代表当前场景的归一化融合场景特征向量,而Hi表示历史场景i的归一化融合场景特征向量,cov(C,Hi)表示当前融合场景特征与历史融合场景特征之间的协方差,D(C)表示当前融合场景特征的方差,D(Hi)表示历史融合场景特征的方差;将历史场景及其策略按照皮尔逊系数S(C,Hi)进行排序,其中,相似性最高的历史场景与当前场景的相似性定义为无人车终端对当前场景的熟悉度。
若无人车终端对当前场景的熟悉度超过一定的阈值,则直接执行本地存储器中与当前场景相似性最高的历史场景的应对策略。
由于无人车本地存储器容量有限,无人车无法将所有的历史策略存储在本地存储器中,为节约存储空间同时有效利用无人车的历史经验,无人车终端不断根据出现的场景次数的排序只保留出现次数较多的历史场景及其应对策略,将出现次数较少的历史场景及其应对策略上传到云端进行存储,并将这些场景策略在云端存储器的地址作为索引存储到无人车本地存储器,作为其历史策略记忆。
因此,如果无人车终端本地存储器中不存在与当前场景较为相似的历史场景,则从本地存储器中查询该终端的历史场景的记忆索引,根据索引地址向云端查询该终端的所有历史场景策略。同样地,将这些场景特征与当前场景特征进行相似性计算,如果存在相似性超过阈值的历史场景,则将相似性最高的场景的策略下发到无人车本地执行。云端历史场景由无人车终端将出现次数较少的场景及其策略上传产生,完成上传后,云端下发该历史场景及其策略的存储地址作为其记忆索引存储到无人车本地存储器中。
如果无人车对当前场景不熟悉且其云端历史场景中不存在相似性较高的场景,则向云端服务器请求查询共识策略。共识策略是大量无人车终端验证通过的历史场景策略,其生成和更新策略为:无人车终端每隔一段时间需将经过实际运行验证的场景及其策略上传到云端,云端服务器同样对各个终端上传的本地场景进行相似性度量,并根据相似性对本地场景进行聚类,在此,不仅考虑场景之间的相似性,还要考虑策略之间的相似性,实行两级聚类,并将最靠近聚类中心的场景及其策略存储到云服务器的共识策略库,实现在降低共识策略库存储量的同时不断更新经过验证的新场景策略。
当无人车终端向云端服务器查询共识策略时,首先基于场景相似度寻找与之相似度最高且相似度超过给定阈值的共识策略节点,若存在共识场景与当前场景的相似度超过阈值,则进一步查询云端存储器中该聚类簇中的场景和策略,从中选择与当前场景最相似的策略将其返回给无人车终端执行,并存储到终端的本地存储器中。
如果无人车终端对当前场景不熟悉且云端服务器也不存在与当前场景相似度过阈值的历史场景及共识场景,则无人车终端直接向远程控制中心的管理人员提交远程接管申请;同时,云端服务器对每个无人车终端的共识策略查询请求进行计数,若一段时间内某个无人车终端申请查询共识策略的次数超过一定的次数,则自动向远程控制中心为该终端请求远程接管。进而,由以上分层级联的规则确定何时该向远程控制中心发起人工接管请求。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (5)
1.一种基于场景熟悉度的无人车远程接管方法,其特征在于,包括如下步骤:
(1)无人车在面临新场景时,对无人车上布设的多个传感器数据进行处理,生成相应的融合场景特征信息;
(2)将当前的融合场景特征信息与无人车终端的本地存储器中存储的融合场景特征信息进行对比,计算对当前场景的熟悉度,若熟悉度超过阈值,则直接下发本地存储器中相似度最高的场景策略;
否则,从本地存储器中获取该无人车终端的历史场景记忆,与云端进行通信,获取该无人车终端的所有历史场景策略,若存在与当前场景相似度超过阈值的历史场景,则将相似度最高的历史场景策略下发;
若不存在相似度超过阙值的历史场景策略,则查询云端中的共识策略库,若存在相似度超过阈值的共识策略,则将相应共识策略下相似度最高的场景应对策略下发;
否则,直接向远程控制中心提交远程接管申请;同时,云端服务器对每个无人车终端的共识策略查询请求进行计数,若一段时间内某个无人车终端申请查询共识策略的次数超过一定的次数,则自动向远程控制中心为该终端请求远程接管。
2.根据权利要求1所述的一种基于场景熟悉度的无人车远程接管方法,其特征在于,所述步骤(1)中,融合场景特征信息的方法包括贝叶斯推理法、卡尔曼滤波法、聚类分析法、模糊集合法或神经网络法中的任意一种。
4.根据权利要求1所述的一种基于场景熟悉度的无人车远程接管方法,其特征在于,所述步骤(2)中计算对当前场景的熟悉度的方法为比较当前场景与本地存储器的历史场景的相似性,相似性度量方法包括当前融合场景特征与历史融合场景特征之间的皮尔逊系数、欧式距离、马氏距离、相似系数或信息熵中的任意一种。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010093001.0A CN111339851B (zh) | 2020-02-14 | 2020-02-14 | 一种基于场景熟悉度的无人车远程接管方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010093001.0A CN111339851B (zh) | 2020-02-14 | 2020-02-14 | 一种基于场景熟悉度的无人车远程接管方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111339851A true CN111339851A (zh) | 2020-06-26 |
CN111339851B CN111339851B (zh) | 2022-01-11 |
Family
ID=71186880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010093001.0A Active CN111339851B (zh) | 2020-02-14 | 2020-02-14 | 一种基于场景熟悉度的无人车远程接管方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111339851B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114407918A (zh) * | 2021-12-30 | 2022-04-29 | 广州文远知行科技有限公司 | 接管场景分析方法、装置、设备及存储介质 |
CN115600158A (zh) * | 2022-12-08 | 2023-01-13 | 奥特贝睿(天津)科技有限公司(Cn) | 一种无人车多传感器融合方法 |
CN116046014A (zh) * | 2023-03-31 | 2023-05-02 | 小米汽车科技有限公司 | 道线规划方法、装置、电子设备及可读存储介质 |
WO2023092939A1 (zh) * | 2021-11-29 | 2023-06-01 | 广州汽车集团股份有限公司 | 车辆控制方法、装置、电子设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170286782A1 (en) * | 2016-03-31 | 2017-10-05 | Toyota Jidosha Kabushiki Kaisha | Generating Real-Time Driver Familiarity Index for Fine-Grained Dynamic Road Scenes |
CN107499311A (zh) * | 2016-06-14 | 2017-12-22 | 斑马网络技术有限公司 | 驾驶模式的切换方法、装置及设备 |
CN109213134A (zh) * | 2017-07-03 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 生成自动驾驶策略的方法和装置 |
CN109857118A (zh) * | 2019-03-12 | 2019-06-07 | 百度在线网络技术(北京)有限公司 | 用于规划驾驶策略的方法、装置、设备及存储介质 |
CN110780663A (zh) * | 2019-08-16 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 一种自动驾驶状态切换方法、装置、设备及存储介质 |
-
2020
- 2020-02-14 CN CN202010093001.0A patent/CN111339851B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170286782A1 (en) * | 2016-03-31 | 2017-10-05 | Toyota Jidosha Kabushiki Kaisha | Generating Real-Time Driver Familiarity Index for Fine-Grained Dynamic Road Scenes |
CN107499311A (zh) * | 2016-06-14 | 2017-12-22 | 斑马网络技术有限公司 | 驾驶模式的切换方法、装置及设备 |
CN109213134A (zh) * | 2017-07-03 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 生成自动驾驶策略的方法和装置 |
CN109857118A (zh) * | 2019-03-12 | 2019-06-07 | 百度在线网络技术(北京)有限公司 | 用于规划驾驶策略的方法、装置、设备及存储介质 |
CN110780663A (zh) * | 2019-08-16 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 一种自动驾驶状态切换方法、装置、设备及存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023092939A1 (zh) * | 2021-11-29 | 2023-06-01 | 广州汽车集团股份有限公司 | 车辆控制方法、装置、电子设备及介质 |
CN114407918A (zh) * | 2021-12-30 | 2022-04-29 | 广州文远知行科技有限公司 | 接管场景分析方法、装置、设备及存储介质 |
CN114407918B (zh) * | 2021-12-30 | 2023-03-14 | 广州文远知行科技有限公司 | 接管场景分析方法、装置、设备及存储介质 |
CN115600158A (zh) * | 2022-12-08 | 2023-01-13 | 奥特贝睿(天津)科技有限公司(Cn) | 一种无人车多传感器融合方法 |
CN115600158B (zh) * | 2022-12-08 | 2023-04-18 | 奥特贝睿(天津)科技有限公司 | 一种无人车多传感器融合方法 |
CN116046014A (zh) * | 2023-03-31 | 2023-05-02 | 小米汽车科技有限公司 | 道线规划方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111339851B (zh) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111339851B (zh) | 一种基于场景熟悉度的无人车远程接管方法 | |
CN107229973B (zh) | 一种用于车辆自动驾驶的策略网络模型的生成方法及装置 | |
CN108877267B (zh) | 一种基于车载单目相机的交叉路口检测方法 | |
CN102200787B (zh) | 机器人行为多层次集成学习方法及系统 | |
CN114578860B (zh) | 一种基于深度强化学习的大规模无人机集群飞行方法 | |
CN113561995B (zh) | 一种基于多维奖励架构深度q学习的自动驾驶决策方法 | |
CN112083456A (zh) | 一种货运状态识别方法、装置、设备及存储介质 | |
Zhu et al. | Open-world machine learning: A review and new outlooks | |
Li et al. | Manifold learning for lane-changing behavior recognition in urban traffic | |
CN111259526A (zh) | 集群回收路径规划方法、装置、设备及可读存储介质 | |
Martinez et al. | Comparative study of optimization algorithms on convolutional network for autonomous driving | |
Zhu et al. | Path planning of mobile robot based on deep reinforcement learning with transfer learning strategy | |
WO2021080507A1 (en) | Autonomous vehicle control using context aware reward | |
Kanji | Deep simbad: Active landmark-based self-localization using ranking-based scene descriptor | |
CN114200936A (zh) | 基于最优控制及宽度学习的agv实时路径规划方法 | |
CN111291808A (zh) | 数据处理方法、数据处理装置、空调系统和存储介质 | |
Cao et al. | A multi-label classification method for vehicle video | |
Bouaziz et al. | Map management for robust long-term visual localization of an autonomous shuttle in changing conditions | |
Mewada et al. | Internet of Things and Machine Learning for Transportation System Using Adaptive Enhanced K-Nearest Neighbor Algorithm | |
Li et al. | Unsupervised Contrastive Learning for Automatic Grouping of Aerial Swarms | |
Lin et al. | A RISK CONTROL FRAMEWORK FOR MORTGAGED CARS BASED ON TRAJECTORY MINING | |
CN118298273A (zh) | 基于注意力机制的公交行驶预警方法、系统、设备及介质 | |
Chen et al. | Multi-label learning vector quantization for semi-supervised classification | |
Meddage et al. | Interpretation of Machine-Learning-Based (Black-box) Wind Pressure Predictions for Low-Rise Gable-Roofed Buildings Using Shapley Additive Explanations (SHAP). Buildings 2022, 12, 734 | |
CN117764139A (zh) | 风险场景识别模型的生成方法、装置及计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |