CN111339851B - 一种基于场景熟悉度的无人车远程接管方法 - Google Patents

一种基于场景熟悉度的无人车远程接管方法 Download PDF

Info

Publication number
CN111339851B
CN111339851B CN202010093001.0A CN202010093001A CN111339851B CN 111339851 B CN111339851 B CN 111339851B CN 202010093001 A CN202010093001 A CN 202010093001A CN 111339851 B CN111339851 B CN 111339851B
Authority
CN
China
Prior art keywords
scene
unmanned vehicle
historical
strategy
familiarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010093001.0A
Other languages
English (en)
Other versions
CN111339851A (zh
Inventor
王晓
王飞跃
杨林瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Academy Of Intelligent Industries
Original Assignee
Qingdao Academy Of Intelligent Industries
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Academy Of Intelligent Industries filed Critical Qingdao Academy Of Intelligent Industries
Priority to CN202010093001.0A priority Critical patent/CN111339851B/zh
Publication of CN111339851A publication Critical patent/CN111339851A/zh
Application granted granted Critical
Publication of CN111339851B publication Critical patent/CN111339851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于场景熟悉度的无人车远程接管方法，无人车在面临新场景时，对传感器数据进行处理，生成相应的融合场景特征信息；然后与本地存储器中的信息进行对比，计算熟悉度，若熟悉度超过阈值，则直接下发相似度最高的场景策略；否则，与云端进行通信，获取历史场景策略，若存在相似度超过阈值的历史场景，则将相似度最高的历史场景策略下发；若不存在则查询云端中的共识策略库，将超过阙值的共识策略下发；否则，向远程控制中心提交远程接管申请。本发明所公开的方法能够充分利用无人驾驶终端的历史经验策略以及大量无人驾驶终端已验证的共识策略，进而有效降低向人工请求接管的频率，提升无人驾驶自主化水平并保证安全性。

Description

一种基于场景熟悉度的无人车远程接管方法
技术领域
本发明属于信息处理技术领域，特别涉及一种基于场景熟悉度的无人车远程接管方法。
背景技术
当前，随着汽车终端处理器计算能力和本地存储器容量的增加以及传感器、数据挖掘技术、深度学习和智能决策规划等技术的发展进步，无人驾驶已成为当前学术界和工业界研究发展的重点领域，并有望在不久的将来走进人们的生活，为交通系统带来颠覆性的改变。
但是，目前的无人驾驶汽车还存在很多问题，包括对场景的泛化能力差、复杂场景下决策困难等。当前的无人驾驶还处在L3-L4之间的低智能水平阶段，在很多复杂场景中不能完全交给机器自动决策，否则容易造成严重的安全事故和伦理问题。复杂场景下的人工接管是当前及未来一段时间内解决以上问题的有效手段。但是，如何有效判断何时应当进行人工干预接管是一项难题，因此，在实际应用中往往需要专人时刻监护，人工判断接管时机。这种方式不仅效率低、不安全，而且造成了成本提升，降低了无人驾驶汽车的实用性。
发明内容
为解决上述技术问题，本发明提供了一种基于场景熟悉度的无人车远程接管方法，能够充分利用无人驾驶终端的历史经验策略以及大量无人驾驶终端已验证的共识策略，进而有效降低向人工请求接管的频率，提升无人驾驶自主化水平并保证安全性。
为达到上述目的，本发明的技术方案如下：
一种基于场景熟悉度的无人车远程接管方法，包括如下步骤：
(1)无人车在面临新场景时，对无人车上布设的多个传感器数据进行处理，生成相应的融合场景特征信息；
(2)将当前的融合场景特征信息与无人车终端的本地存储器中存储的融合场景特征信息进行对比，计算对当前场景的熟悉度，若熟悉度超过阈值，则直接下发本地存储器中相似度最高的场景策略；
否则，从本地存储器中获取该无人车终端的历史场景记忆，与云端进行通信，获取该无人车终端的所有历史场景策略，若存在与当前场景相似度超过阈值的历史场景，则将相似度最高的历史场景策略下发；
若不存在相似度超过阙值的历史场景策略，则查询云端中的共识策略库，若存在相似度超过阈值的共识策略，则将相应共识策略下相似度最高的场景应对策略下发；
否则，直接向远程控制中心提交远程接管申请；同时，云端服务器对每个无人车终端的共识策略查询请求进行计数，若一段时间内某个无人车终端申请查询共识策略的次数超过一定的次数，则自动向远程控制中心为该终端请求远程接管。
上述方案中，所述步骤(1)中，融合场景特征信息的方法包括贝叶斯推理法、卡尔曼滤波法、聚类分析法、模糊集合法或神经网络法中的任意一种。
进一步的技术方案中，所述贝叶斯推理法具体如下：
基于无人车布设的传感器感知的环境信息，对其进行规则化处理和特征参数提取，获取关于当前场景的多传感器、多维度特征信息；
假设
Figure BDA0002384340310000021
表示所有的n个传感器的观测特征值的集合，则其先验概率表示为
Figure BDA0002384340310000022
基于贝叶斯概率公式，可得组合特征集合X的后验概率密度为
Figure BDA0002384340310000023
其中，
Figure BDA0002384340310000024
是观测值为
Figure BDA0002384340310000025
时实际值X的后验概率，P(X)为实际值X分布的先验概率，P(zn|x)表示对应维度的实际值出现情况下观测值的先验概率；
关于X的先验概率在获得观测特征数据之前独立获得，则进一步通过融合特征集合X的最大化后验概率估计，可得融合特征集合为
Figure BDA0002384340310000026
上述方案中，所述步骤(2)中计算对当前场景的熟悉度的方法为比较当前场景与本地存储器的历史场景的相似性，相似性度量方法包括当前融合场景特征与历史融合场景特征之间的皮尔逊系数、欧式距离、马氏距离、相似系数或信息熵中的任意一种。
进一步的技术方案中，所述皮尔逊系数S(C,Hi)计算公式如下：
Figure BDA0002384340310000027
其中，C代表当前场景的归一化融合场景特征向量，而Hi表示历史场景i的归一化融合场景特征向量，cov(C,Hi)表示当前融合场景特征与历史融合场景特征之间的协方差，D(C)表示当前融合场景特征的方差，D(Hi)表示历史融合场景特征的方差。
通过上述技术方案，本发明提供的一种基于场景熟悉度的无人车远程接管方法能够充分利用无人车终端自身的历史经验及大量无人车共同的经验策略，在保证安全性的同时尽可能降低向人工请求接管的频次，从而提升无人驾驶汽车的自主决策能力并降低人工运营成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所公开的一种基于场景熟悉度的无人车远程接管方法整体流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种基于场景熟悉度的无人车远程接管方法，如图1所示，包括如下步骤：
(1)无人车在面临新场景时，对无人车上布设的多个传感器数据进行处理，生成相应的融合场景特征信息；
融合场景特征信息的方法包括贝叶斯推理法、卡尔曼滤波法、聚类分析法、模糊集合法或神经网络法中的任意一种。本发明中采用贝叶斯推理法，具体如下：
基于无人车布设的传感器感知的环境信息，对其进行规则化处理和特征参数提取，获取关于当前场景的多传感器、多维度特征信息；
假设
Figure BDA0002384340310000031
表示所有的n个传感器的观测特征值的集合，则其先验概率表示为
Figure BDA0002384340310000032
基于贝叶斯概率公式，可得组合特征集合X的后验概率密度为
Figure BDA0002384340310000033
其中，
Figure BDA0002384340310000034
是观测值为
Figure BDA0002384340310000035
时实际值X的后验概率，P(X)为实际值X分布的先验概率，P(zn|x)表示对应维度的实际值出现情况下观测值的先验概率；
关于X的先验概率在获得观测特征数据之前独立获得，则进一步通过融合特征集合X的最大化后验概率估计，可得融合特征集合为
Figure BDA0002384340310000036
(2)将当前的融合场景特征信息与无人车终端的本地存储器中存储的融合场景特征信息进行对比，计算对当前场景的熟悉度。
计算对当前场景的熟悉度的方法为比较当前场景与本地存储器的历史场景的相似性，相似性度量方法包括当前融合场景特征与历史融合场景特征之间的皮尔逊系数、欧式距离、马氏距离、相似系数或信息熵中的任意一种。
本发明中，采用皮尔逊系数S(C,Hi)进行度量，其计算公式如下：
Figure BDA0002384340310000041
其中，C代表当前场景的归一化融合场景特征向量，而Hi表示历史场景i的归一化融合场景特征向量，cov(C,Hi)表示当前融合场景特征与历史融合场景特征之间的协方差，D(C)表示当前融合场景特征的方差，D(Hi)表示历史融合场景特征的方差；将历史场景及其策略按照皮尔逊系数S(C,Hi)进行排序，其中，相似性最高的历史场景与当前场景的相似性定义为无人车终端对当前场景的熟悉度。
若无人车终端对当前场景的熟悉度超过一定的阈值，则直接执行本地存储器中与当前场景相似性最高的历史场景的应对策略。
由于无人车本地存储器容量有限，无人车无法将所有的历史策略存储在本地存储器中，为节约存储空间同时有效利用无人车的历史经验，无人车终端不断根据出现的场景次数的排序只保留出现次数较多的历史场景及其应对策略，将出现次数较少的历史场景及其应对策略上传到云端进行存储，并将这些场景策略在云端存储器的地址作为索引存储到无人车本地存储器，作为其历史策略记忆。
因此，如果无人车终端本地存储器中不存在与当前场景较为相似的历史场景，则从本地存储器中查询该终端的历史场景的记忆索引，根据索引地址向云端查询该终端的所有历史场景策略。同样地，将这些场景特征与当前场景特征进行相似性计算，如果存在相似性超过阈值的历史场景，则将相似性最高的场景的策略下发到无人车本地执行。云端历史场景由无人车终端将出现次数较少的场景及其策略上传产生，完成上传后，云端下发该历史场景及其策略的存储地址作为其记忆索引存储到无人车本地存储器中。
如果无人车对当前场景不熟悉且其云端历史场景中不存在相似性较高的场景，则向云端服务器请求查询共识策略。共识策略是大量无人车终端验证通过的历史场景策略，其生成和更新策略为：无人车终端每隔一段时间需将经过实际运行验证的场景及其策略上传到云端，云端服务器同样对各个终端上传的本地场景进行相似性度量，并根据相似性对本地场景进行聚类，在此，不仅考虑场景之间的相似性，还要考虑策略之间的相似性，实行两级聚类，并将最靠近聚类中心的场景及其策略存储到云服务器的共识策略库，实现在降低共识策略库存储量的同时不断更新经过验证的新场景策略。
当无人车终端向云端服务器查询共识策略时，首先基于场景相似度寻找与之相似度最高且相似度超过给定阈值的共识策略节点，若存在共识场景与当前场景的相似度超过阈值，则进一步查询云端存储器中该聚类簇中的场景和策略，从中选择与当前场景最相似的策略将其返回给无人车终端执行，并存储到终端的本地存储器中。
如果无人车终端对当前场景不熟悉且云端服务器也不存在与当前场景相似度过阈值的历史场景及共识场景，则无人车终端直接向远程控制中心的管理人员提交远程接管申请；同时，云端服务器对每个无人车终端的共识策略查询请求进行计数，若一段时间内某个无人车终端申请查询共识策略的次数超过一定的次数，则自动向远程控制中心为该终端请求远程接管。进而，由以上分层级联的规则确定何时该向远程控制中心发起人工接管请求。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基于场景熟悉度的无人车远程接管方法，其特征在于，包括如下步骤：
（1）无人车在面临新场景时，对无人车上布设的多个传感器数据进行处理，生成相应的融合场景特征信息；
（2）将当前的融合场景特征信息与无人车终端的本地存储器中存储的融合场景特征信息进行对比，计算对当前场景的熟悉度，若熟悉度超过阈值，则直接下发本地存储器中相似度最高的历史场景策略；计算对当前场景的熟悉度的方法为比较当前场景与本地存储器的历史场景的相似性；
否则，从本地存储器中获取该无人车终端的历史场景记忆，与云端进行通信，获取该无人车终端的所有历史场景策略，若存在与当前场景相似度超过阈值的历史场景，则将相似度最高的历史场景策略下发；
若不存在相似度超过阈值的历史场景策略，则查询云端中的共识策略库，若存在相似度超过阈值的共识策略，则将相应共识策略下相似度最高的历史场景策略下发；所述共识策略是大量无人车终端验证通过的历史场景策略；
否则，直接向远程控制中心提交远程接管申请；同时，云端服务器对每个无人车终端的共识策略查询请求进行计数，若一段时间内某个无人车终端申请查询共识策略的次数超过一定的次数，则自动向远程控制中心为该终端请求远程接管。
2.根据权利要求1所述的一种基于场景熟悉度的无人车远程接管方法，其特征在于，所述步骤（1）中，融合场景特征信息的方法包括贝叶斯推理法、卡尔曼滤波法、聚类分析法、模糊集合法或神经网络法中的任意一种。
3.根据权利要求2所述的一种基于场景熟悉度的无人车远程接管方法，其特征在于，所述贝叶斯推理法具体如下：
基于无人车布设的传感器感知的环境信息，对其进行规则化处理和特征参数提取，获取关于当前场景的多传感器、多维度特征信息；
假设
Figure 588101DEST_PATH_IMAGE001
表示所有的
Figure 442924DEST_PATH_IMAGE002
个传感器的观测特征值的集合，则其先验概率表 示为
Figure 222661DEST_PATH_IMAGE003
，基于贝叶斯概率公式，可得组合特征集合
Figure 617871DEST_PATH_IMAGE004
的后验概率密度为
Figure 369926DEST_PATH_IMAGE005
，
其中，
Figure 192388DEST_PATH_IMAGE006
是观测值为
Figure 459422DEST_PATH_IMAGE007
时实际值
Figure 596005DEST_PATH_IMAGE004
的后验概率，
Figure 264884DEST_PATH_IMAGE008
为实际值
Figure 195931DEST_PATH_IMAGE004
分布的先验概 率，
Figure 950260DEST_PATH_IMAGE009
表示对应维度的实际值出现情况下观测值的先验概率；
关于
Figure 687272DEST_PATH_IMAGE004
的先验概率在获得观测特征数据之前独立获得，则进一步通过融合特征集合
Figure 148340DEST_PATH_IMAGE004
的最大化后验概率估计，可得融合特征集合为
Figure 578184DEST_PATH_IMAGE010
。
4.根据权利要求1所述的一种基于场景熟悉度的无人车远程接管方法，其特征在于，所述步骤（2）中相似性度量方法包括当前融合场景特征与历史融合场景特征之间的皮尔逊系数、欧式距离、马氏距离、相似系数或信息熵中的任意一种。
5.根据权利要求4所述的一种基于场景熟悉度的无人车远程接管方法，其特征在于，所 述皮尔逊系数
Figure 757493DEST_PATH_IMAGE011
计算公式如下：
Figure 32617DEST_PATH_IMAGE012
其中，
Figure 676088DEST_PATH_IMAGE013
代表当前场景的归一化融合场景特征向量，而
Figure 946007DEST_PATH_IMAGE014
表示历史场景
Figure 674929DEST_PATH_IMAGE015
的归一化融合 场景特征向量，
Figure 753743DEST_PATH_IMAGE016
表示当前融合场景特征与历史融合场景特征之间的协方差，
Figure 189404DEST_PATH_IMAGE017
表示当前融合场景特征的方差，
Figure 961051DEST_PATH_IMAGE018
表示历史融合场景特征的方差。
CN202010093001.0A 2020-02-14 2020-02-14 一种基于场景熟悉度的无人车远程接管方法 Active CN111339851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010093001.0A CN111339851B (zh) 2020-02-14 2020-02-14 一种基于场景熟悉度的无人车远程接管方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010093001.0A CN111339851B (zh) 2020-02-14 2020-02-14 一种基于场景熟悉度的无人车远程接管方法

Publications (2)

Publication Number Publication Date
CN111339851A CN111339851A (zh) 2020-06-26
CN111339851B true CN111339851B (zh) 2022-01-11

Family

ID=71186880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010093001.0A Active CN111339851B (zh) 2020-02-14 2020-02-14 一种基于场景熟悉度的无人车远程接管方法

Country Status (1)

Country Link
CN (1) CN111339851B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230169322A1 (en) * 2021-11-29 2023-06-01 Guangzhou Automobile Group Co., Ltd. Vehicle control method, electronic device and medium
CN114407918B (zh) * 2021-12-30 2023-03-14 广州文远知行科技有限公司 接管场景分析方法、装置、设备及存储介质
CN115600158B (zh) * 2022-12-08 2023-04-18 奥特贝睿(天津)科技有限公司 一种无人车多传感器融合方法
CN116046014B (zh) * 2023-03-31 2023-06-30 小米汽车科技有限公司 道线规划方法、装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107499311A (zh) * 2016-06-14 2017-12-22 斑马网络技术有限公司 驾驶模式的切换方法、装置及设备
CN109213134A (zh) * 2017-07-03 2019-01-15 百度在线网络技术（北京）有限公司 生成自动驾驶策略的方法和装置
CN109857118A (zh) * 2019-03-12 2019-06-07 百度在线网络技术（北京）有限公司 用于规划驾驶策略的方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805276B2 (en) * 2016-03-31 2017-10-31 Toyota Jidosha Kabushiki Kaisha Generating real-time driver familiarity index for fine-grained dynamic road scenes
CN110780663B (zh) * 2019-08-16 2023-04-14 腾讯科技（深圳）有限公司 一种自动驾驶状态切换方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107499311A (zh) * 2016-06-14 2017-12-22 斑马网络技术有限公司 驾驶模式的切换方法、装置及设备
CN109213134A (zh) * 2017-07-03 2019-01-15 百度在线网络技术（北京）有限公司 生成自动驾驶策略的方法和装置
CN109857118A (zh) * 2019-03-12 2019-06-07 百度在线网络技术（北京）有限公司 用于规划驾驶策略的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111339851A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111339851B (zh) 一种基于场景熟悉度的无人车远程接管方法
CN107229973B (zh) 一种用于车辆自动驾驶的策略网络模型的生成方法及装置
CN108877267B (zh) 一种基于车载单目相机的交叉路口检测方法
CN111582740B (zh) 一种多旋翼无人机风险评估系统
JP2011014037A (ja) リスク予測システム
Abdellatif et al. Active learning with noisy labelers for improving classification accuracy of connected vehicles
CN112083456A (zh) 一种货运状态识别方法、装置、设备及存储介质
US20220215256A1 (en) Edge-side federated learning for anomaly detection
Abdellatif et al. Active learning-based classification in automated connected vehicles
CN113561995B (zh) 一种基于多维奖励架构深度q学习的自动驾驶决策方法
JP7079745B2 (ja) 演算装置
CN110852344A (zh) 一种基于智能变电站网络故障分类的方法
Fayyad Out-of-distribution detection using inter-level features of deep neural networks
Li et al. A comprehensive learning-based model for power load forecasting in smart grid
CN114200936A (zh) 基于最优控制及宽度学习的agv实时路径规划方法
Zhu et al. Path planning of mobile robot based on deep reinforcement learning with transfer learning strategy
Kanji Deep simbad: Active landmark-based self-localization using ranking-based scene descriptor
MartЕnez et al. Comparative study of optimization algorithms on convolutional network for autonomous driving.
CN111291808A (zh) 数据处理方法、数据处理装置、空调系统和存储介质
CN113110550A (zh) 一种基于强化学习与网络模型蒸馏的无人机飞行控制方法
Gu et al. Semi-supervised outlier detection using generative and adversary framework
CN113978259B (zh) 一种基于驾驶场景及驾驶习惯的电动汽车制动控制方法
CN111930117B (zh) 一种基于转向的横向控制方法、装置、设备和存储介质
Mewada et al. Internet of Things and Machine Learning for Transportation System Using Adaptive Enhanced K-Nearest Neighbor Algorithm
CN117113148B (zh) 基于时序图神经网络的风险识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant