CN110020797B - 基于感知缺陷的自动驾驶测试场景的评价方法 - Google Patents
基于感知缺陷的自动驾驶测试场景的评价方法 Download PDFInfo
- Publication number
- CN110020797B CN110020797B CN201910236167.0A CN201910236167A CN110020797B CN 110020797 B CN110020797 B CN 110020797B CN 201910236167 A CN201910236167 A CN 201910236167A CN 110020797 B CN110020797 B CN 110020797B
- Authority
- CN
- China
- Prior art keywords
- risk
- automatic driving
- sensors
- perception
- accident
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Automation & Control Theory (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于感知缺陷的自动驾驶测试场景的评价方法，包括：获取用于测试的自动驾驶场景；根据自动驾驶场景的静态和动态交通要素计算道路风险暴露程度、事故产生风险等级、事故严重程度；根据不同类型车载传感器的感知程度将自动驾驶场景进行分类，所述感知程度包括完全感知、部分感知或不能感知，对每一类自动驾驶场景进行风险等级评级，得到感知缺陷风险等级；根据得到的风险暴露程度、事故产生风险等级、事故严重程度及感知缺陷风险等级，建立评价模型进行评价。从感知层面出发，对自动驾驶测试场景进行分级和评价，识别出关键具体场景，能全面、正确评价自动驾驶场景风险程度。
Description
技术领域
本发明涉及自动驾驶性能的测试技术领域，具体地涉及一种基于感知缺陷的自动驾驶测试场景的评价方法。
背景技术
自动驾驶车辆一般通过车辆上的各种传感器来感知道路环境、规划行车路线。需要对自动驾驶车辆的自动驾驶性能进行测试来保证行驶的准确性和安全性，测试和验证是智能网联汽车发展的重要环节，构建自动驾驶测试场景尤为重要，识别关键场景是验证智能网联汽车的关键。目前识别关键场景的方法主要有：用道路潜伏风险分析法分析自动驾驶场景、使用安全和交通质量作为评价指标识别出关键场景。目前自动驾驶场景风险程度主要考虑道路风险暴露程度、事故产生风险和事故严重程度三种，不能正确评价自动驾驶场景风险程度。例如，2018年5月7日，直行的特斯拉Model S迎面撞上了正转向的卡车，导致Model S驾驶员身亡，事故发生时Model S正由特斯拉Autopilot自动驾驶系统控制。事故特斯拉配备8个摄像头、1个毫米波雷达、12个超声波雷达等。调查结果中提到，由于特斯拉Autopilot系统并未检测到前方车辆，特斯拉驾驶员也未专心于驾驶，均是导致事故的原因。特斯拉直行在普通道路，其道路风险暴露程度、事故产生风险和事故严重程度等级值都是比较低的，说明自动驾驶场景下道路潜伏风险比较低。自动驾驶场景的风险等级在正常范围，可判断特斯拉事故场景为正常场景，系统不会预警。
中国专利文献CN 108267322公开了一种对自动驾驶性能进行测试的方法，包括：接收由安装在人工驾驶车辆上的传感器中的一些所采集的与实际交通场景有关的数据；基于所述数据来构建针对自动驾驶性能的测试场景；以及在构建的测试场景中测试所述自动驾驶性能。测试场景易于构建，并且能够反映真实的交通环境，使得对自动驾驶性能的测试结果更加准确。但是其也仅仅考虑了道路的交通环境，不能正确评价自动驾驶场景风险程度。本发明因此而来。
发明内容
针对上述技术问题，本发明提出了一种基于感知缺陷的自动驾驶测试场景的评价方法，从感知层面出发，对自动驾驶测试场景进行分级和评价，识别出关键具体场景，能全面、正确评价自动驾驶场景风险程度。
本发明的技术方案是：
一种基于感知缺陷的自动驾驶测试场景的评价方法，包括以下步骤：
S01：获取用于测试的自动驾驶场景；
S02：根据自动驾驶场景的静态和动态交通要素计算道路风险暴露程度、事故产生风险等级、事故严重程度；
S03：根据不同类型车载传感器的感知程度将自动驾驶场景进行分类，所述感知程度包括完全感知、部分感知或不能感知，对每一类自动驾驶场景进行风险等级评级，得到感知缺陷风险等级；
S04：根据得到的风险暴露程度、事故产生风险等级、事故严重程度及感知缺陷风险等级，建立评价模型进行评价。
优选的技术方案中，所述步骤S02中传感器的种类为3种，包括毫米波雷达、激光雷达和摄像头，所述分类包括三种传感器完全感知、三种传感器都不能感知、三种传感器都能部分感知、两种传感器完全感知一种部分感知、两种传感器部分感知一种完全感知、两种传感器完全感知一种不能感知、一种传感器完全感知一种部分感知一种不能感知、两种传感器不能感知一种完全感知、两种传感器部分感知一种不能感知、两种传感器不能感知一种部分感知；将上述分类按照风险等级评级，分为10个等级。
优选的技术方案中，所述感知缺陷风险等级P=i/max*ρ，i为三种传感器都能感知的风险等级值，max为三种传感器都不能感知的风险等级值，ρ为风险标定参数。
优选的技术方案中，所述评价模型F=E*S*C*P，E为道路风险暴露程度的风险评价分数，S为事故产生风险等级值，C为事故严重程度等级值。
与现有技术相比，本发明的优点是：
从感知层面出发，对自动驾驶测试场景进行分级和评价，识别出关键具体场景，能全面、正确评价自动驾驶场景风险程度。通过测试验证，可对功能开发进行反馈，确保自动驾驶系统的合理性、安全性和稳定性。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明基于感知缺陷的自动驾驶测试场景的评价方法的流程图；
图2为本发明的应用框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例：
下面结合附图，对本发明的较佳实施例作进一步说明。
如图1所示，一种基于感知缺陷的自动驾驶测试场景的评价方法，包括以下步骤：
S01：场景获取
自动驾驶场景可以为在自然驾驶状态下，由路侧传感器进行交通数据采集，对采集数据进行场景提取，获得的自动驾驶场景；或者是对自动驾驶场景构成要素进行极端参数选取以构建罕见的交通场景，以便于更好的测试自动驾驶场景的性能。
S02: 评价模型构成要素获取
针对场景的静态、动态交通要素计算道路风险暴露程度、事故产生风险等级、事故严重程度。静态、动态交通要素包括道路条件要素、交通环境要素、自然环境要素、气候条件要素等等，具体的计算方法可以为层次分析法，当然也可以为其他的计算方法。
S03：感知缺陷风险等级的计算
根据不同类型车载传感器的感知程度将自动驾驶场景进行分类，对每一类场景进行风险等级评级，得到感知缺陷风险等级。感知程度包括完全感知、部分感知和不能感知，感知程度可以根据采集的数据对每一种传感器的感知情况进行判断，或者根据每种传感器的自个的分析处理得到的感知程度。
S04：评价模型建立
针对得出的风险暴露程度、事故产生风险等级、事故严重程度及感知缺陷风险等级，建立评价模型进行评价，还可以进行自动驾驶场景的等级划分。
步骤S02中，构建基于车载传感器毫米波雷达、激光雷达、摄像头感知缺陷的自动驾驶场景的感知场景，包括完全感知、部分感知和不能感知的情况，一共有27种感知场景。
感知风险等级评级
1.将基于感知缺陷的27种自动驾驶场景进行分类，可分为10类，包括：
三种传感器完全感知；
三种传感器都不能感知；
三种传感器都能部分感知；
两种传感器完全感知一种部分感知；
两种传感器部分感知一种完全感知；
两种传感器完全感知一种不能感知；
一种传感器完全感知一种部分感知一种不能感知；
两种传感器不能感知一种完全感知；
两种传感器部分感知一种不能感知；
两种传感器不能感知一种部分感知。
2.将基于感知缺陷的自动驾驶场景进行风险等级评级，依严重程度分为10档。
设P为感知缺陷风险等级值，i为三种传感器都能感知的风险等级值，max为三种传感器都不能感知的风险等级值，ρ为风险标定参数（即确定风险属于哪一档），则P= i/max*ρ。
运用自动驾驶场景等级公式，建立评价模型，如图1所示。
自动驾驶场景风险程度=道路风险暴露程度*事故产生风险*事故严重程度*感知缺陷风险，其中分值越高风险等级越高。
F=E*S*C*P=E*S*C*(i/max*ρ)=ESCρi/max
式中：E为道路风险暴露程度的风险评价分数，S为事故产生风险等级值，C为事故严重程度等级值，P为感知缺陷风险等级值，ρ为风险标定参数，i为毫米波雷达、激光雷达和摄像头都能感知的风险等级值，max为毫米波雷达、激光雷达和摄像头都不能感知的风险等级值。
如图2所示，该方法的应用流程如下：
本发明可以分别应用于自然驾驶交通场景和人为构建场景两方面。
自然驾驶交通场景：由路侧传感器或者车载传感器进行交通数据采集，对采集数据进行场景提取，场景为自然驾驶场景，例如拥堵、行人穿插等等，可以根据风险程度进行分级，例如正常场景、低风险场景、中风险场景和高风险场景等等，本申请并不进行限定，当然也可以为其他更细致的等级划分。
通过本发明的评价模型对场景进行风险评级，看是否能全面、正确评价自动驾驶场景的风险程度，识别出关键场景，最后交由测试系统对自动驾驶能力进行评估，评价自动驾驶系统的合理性、安全性和稳定性。
人为构建场景：从道路风险暴露程度E、事故产生风险S、事故严重程度C、感知缺陷风险P四个维度进行数据采样，根据本发明的评价模型人为构建交通场景，对场景进行风险评级，看是否能全面、正确评价自动驾驶场景的风险程度，识别出关键场景，最后再交由测试系统对自动驾驶能力进行评估，评价自动驾驶系统的合理性、安全性和稳定性。
以背景技术中的例子进行说明：由于特斯拉配备的传感器未正确识别前方转向卡车，使得特斯拉Autopilot系统并未检测到前方车辆。
由于特斯拉配备摄像头、毫米波雷达等传感器不能正确感知周围路况，则感知缺陷风险等级值P的风险等级最高，由于该场景道路潜伏风险等级为正常范围，则自动驾驶场景风险程度F最高，可判断特斯拉事故场景为高风险场景。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (3)
1.一种基于感知缺陷的自动驾驶测试场景的评价方法，其特征在于，包括以下步骤：
S01：获取用于测试的自动驾驶场景；
S02：根据自动驾驶场景的静态和动态交通要素计算道路风险暴露程度、事故产生风险等级、事故严重程度；
S03：根据不同类型车载传感器的感知程度将自动驾驶场景进行分类，所述感知程度包括完全感知、部分感知或不能感知，对每一类自动驾驶场景进行风险等级评级，得到感知缺陷风险等级；
S04：根据得到的风险暴露程度、事故产生风险等级、事故严重程度及感知缺陷风险等级，建立评价模型进行评价；
所述步骤S03中传感器的种类分为3种，包括毫米波雷达、激光雷达和摄像头，所述分类包括三种传感器完全感知、三种传感器都不能感知、三种传感器都能部分感知、两种传感器完全感知一种部分感知、两种传感器部分感知一种完全感知、两种传感器完全感知一种不能感知、一种传感器完全感知一种部分感知一种不能感知、两种传感器不能感知一种完全感知、两种传感器部分感知一种不能感知、两种传感器不能感知一种部分感知；将上述分类按照风险等级评级，分为10个等级。
2.根据权利要求1所述的基于感知缺陷的自动驾驶测试场景的评价方法，其特征在于，所述感知缺陷风险等级P＝i/max*ρ，i为三种传感器都能感知的风险等级值，max为三种传感器都不能感知的风险等级值，ρ为风险标定参数。
3.根据权利要求2所述的基于感知缺陷的自动驾驶测试场景的评价方法，其特征在于，所述步骤S04的评价模型F＝E*S*C*P，E为道路风险暴露程度的风险评价分数，S为事故产生风险等级值，C为事故严重程度等级值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910236167.0A CN110020797B (zh) | 2019-03-27 | 2019-03-27 | 基于感知缺陷的自动驾驶测试场景的评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910236167.0A CN110020797B (zh) | 2019-03-27 | 2019-03-27 | 基于感知缺陷的自动驾驶测试场景的评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110020797A CN110020797A (zh) | 2019-07-16 |
| CN110020797B true CN110020797B (zh) | 2023-06-09 |
Family
ID=67190105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910236167.0A Active CN110020797B (zh) | 2019-03-27 | 2019-03-27 | 基于感知缺陷的自动驾驶测试场景的评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110020797B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110356408A (zh) * | 2019-07-31 | 2019-10-22 | 百度在线网络技术（北京）有限公司 | 自动驾驶车辆行驶方案的确定方法及装置 |
| CN110553853B (zh) * | 2019-08-06 | 2020-11-20 | 清华大学 | 基于场地下较差场景搜索的自动驾驶功能测试测评方法 |
| CN110955159B (zh) * | 2019-11-28 | 2021-05-11 | 安徽江淮汽车集团股份有限公司 | 自动驾驶仿真例编制方法、装置、电子设备及存储介质 |
| CN111667204A (zh) * | 2020-07-22 | 2020-09-15 | 同济大学 | 自动驾驶开放测试道路环境风险度确定、分级方法及系统 |
| CN112765812B (zh) * | 2021-01-19 | 2021-09-07 | 中国科学院软件研究所 | 一种无人系统决策策略的自主能力快速测评方法及系统 |
| CN112466123B (zh) * | 2021-02-02 | 2021-04-23 | 四川紫荆花开智能网联汽车科技有限公司 | 智能网联汽车测试场景在封闭测试场的布置方法 |
| CN113419942B (zh) * | 2021-04-30 | 2022-10-14 | 吉林大学 | 一种基于自然驾驶数据的自动驾驶安全性评价方法 |
| CN113706870B (zh) * | 2021-08-30 | 2022-06-10 | 广州文远知行科技有限公司 | 一种拥堵场景下主车换道数据的收集方法及相关设备 |
| CN116897380A (zh) * | 2022-02-11 | 2023-10-17 | 华为技术有限公司 | 路况检测方法、可读介质以及电子设备 |
| CN115018254A (zh) * | 2022-04-28 | 2022-09-06 | 昆明理工大学 | 一种基于3d虚拟技术的驾驶动态风险测试评价方法 |
| CN116106839B (zh) * | 2023-03-22 | 2023-08-22 | 武汉中关村硬创空间科技有限公司 | 车载雷达可靠性检测方法、装置、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107843440B (zh) * | 2017-10-30 | 2019-12-13 | 青岛慧拓智能机器有限公司 | 一种自动驾驶车辆性能测试系统及方法 |
| CN109375635A (zh) * | 2018-12-20 | 2019-02-22 | 安徽江淮汽车集团股份有限公司 | 一种自动驾驶汽车道路环境感知系统及方法 |
-
2019
- 2019-03-27 CN CN201910236167.0A patent/CN110020797B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110020797A (zh) | 2019-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110020797B (zh) | 基于感知缺陷的自动驾驶测试场景的评价方法 | |
| CN105512623B (zh) | 基于多传感器雾天行车视觉增强与能见度预警系统及方法 | |
| KR102094341B1 (ko) | 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법 | |
| CN110415544B (zh) | 一种灾害天气预警方法及汽车ar-hud系统 | |
| CN109117869B (zh) | 用户画像方法、介质及系统 | |
| CN112711260B (zh) | 一种用于自动驾驶车辆误/漏识别的预期功能安全测试评价方法 | |
| CN110991353A (zh) | 识别驾驶员驾驶行为及危险驾驶行为预警方法 | |
| KR101834838B1 (ko) | 영상처리를 이용한 도로 교통 정보 제공 시스템 및 방법 | |
| CN112883936A (zh) | 一种对车辆违规行为的检测方法及其系统 | |
| JP2020144572A (ja) | 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム | |
| CN104517444A (zh) | 一种开车使用手机违法行为的检测系统 | |
| Ambros et al. | Proactive assessment of road curve safety using floating car data: An exploratory study | |
| CN111277956A (zh) | 车辆盲区信息的采集方法及装置 | |
| CN112509321A (zh) | 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质 | |
| CN112612288A (zh) | 一种用于自动驾驶车辆误/漏识别的预期功能安全风险评估方法 | |
| CN112557057B (zh) | 自动驾驶汽车道路测试运行监管方法、装置及车载终端 | |
| CN111775948B (zh) | 一种驾驶行为分析方法及装置 | |
| CN111341106B (zh) | 交通预警方法、装置和设备 | |
| CN114758480A (zh) | 一种基于实时驾驶数据的驾驶风险判断方法及系统 | |
| Koloushani et al. | Introducing Automatic Control Method of Safety Standards in Horizontal Curves by Processing Images Taken by Mobile Mapping System. | |
| CN113987751A (zh) | 一种方案筛选方法、装置、电子设备及存储介质 | |
| CN107976319B (zh) | 一种轿车加装脚踏板的智能检测系统及方法 | |
| US12125222B1 (en) | Systems for determining and reporting vehicle following distance | |
| US11989949B1 (en) | Systems for detecting vehicle following distance | |
| US20240331175A1 (en) | Systems for determining and reporting vehicle following distance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |