CN111830935A - 一种面向自动驾驶系统的蜕变测试方法 - Google Patents
一种面向自动驾驶系统的蜕变测试方法 Download PDFInfo
- Publication number
- CN111830935A CN111830935A CN202010714664.XA CN202010714664A CN111830935A CN 111830935 A CN111830935 A CN 111830935A CN 202010714664 A CN202010714664 A CN 202010714664A CN 111830935 A CN111830935 A CN 111830935A
- Authority
- CN
- China
- Prior art keywords
- test
- metamorphic
- automatic driving
- original
- driving system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010998 test method Methods 0.000 title claims abstract description 4
- 238000012360 testing method Methods 0.000 claims abstract description 129
- 230000007547 defect Effects 0.000 claims abstract description 3
- 238000012795 verification Methods 0.000 claims abstract 3
- 238000000034 method Methods 0.000 claims description 9
- 238000009377 nuclear transmutation Methods 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000009507 drug disintegration testing Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012827 research and development Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 19
- 230000006399 behavior Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013522 software testing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24065—Real time diagnostics
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
一种面向自动驾驶系统的蜕变测试方法，其特征是根据蜕变规则基于已有自动驾驶系统测试用例进行测试用例的增扩，然后将新生成测试用例与原始数据一起输入到自动驾驶系统中，观察自动驾驶系统的表现，从而解决测试不足的问题。本发明包括三个组成部分：蜕变测试用例生成模块，自动化验证模块，测试报告生成模块。本发明的输入为原始测试图片和基于蜕变规则进行扩增的测试用例，将两者先后送入自动驾驶系统，对比输出结果的差异，判断系统可能存在的缺陷。本发明有以下有益效果：解决自动驾驶系统测试用例不足以及测试预言收集困难的问题，同时可以降低测试损耗，缩短产品研发周期。
Description
技术领域
本发明属于自动驾驶软件测试领域，特别是涉及到自动驾驶测试准则的划定。根据蜕变规则基于已有自动驾驶系统测试用例进行测试用例的增扩，然后将新生成测试用例与原始数据一起输入到自动驾驶系统中，观察自动驾驶系统的表现从而解决测试不足的问题。
背景技术
传统汽车就测试它的性能，但是自动驾驶汽车它还会有其它维度，因为它类似于一个人，是一个智能体。在自动驾驶汽车里面，我们把它叫驾驶的自治性，即车辆本身在一定的外界条件或环境下的行驶能力。因此，自动驾驶系统测试是保证自动驾驶汽车安全性的重要环节。然而，自动驾驶测试一直以来都是一件非常繁琐的工作，所以有很多研究者致力于自动驾驶汽车测试的相关的工作，力图通过研究自动化的测试方法提高自动驾驶系统的鲁棒性。但是绝大多数的测试工作都需要以含有测试预言为前提，而很多现实中的情况下没有测试预言，如何对这类缺少测试预言的系统进行自动测试就成为了一个很大的挑战。
基于上述问题，本发明提出了使用自动化蜕变测试技术来解决对这类自动驾驶系统的测试问题。本发明基于这些已有的研究成果，将相应的图像处理技术与蜕变测试技术进行总结，修改，产生蜕变测试用例。将其应用于自动驾驶系统测试中，从而提高测试效率，解决测试中的测试预言问题。
发明内容
在自动驾驶系统的测试技术中，测试预言的收集就是一个难以解决的问题。测试用例等于测试输入加测试预言。测试输入是用来执行程序的，测试预言是用来检查测试执行的正确性的。但是，对于自动驾驶系统这类深度学习系统来说，我们无法根据测试输入来确定测试预言。
我们将蜕变测试技术引入到了自动驾驶测试中，核心思想为：无论生成的驾驶场景图像以何种方式合成，自动驾驶系统对于原图和合成图像做出的驾驶行为输出我们期望始终保持一致。该自动化蜕变测试方法包含以下三个模块/步骤：
1） 蜕变测试用例生成模块：在测试自动驾驶目标检测中，通常测试样本数量较小，导致测试的效果比较差。面对测试用例数量不足的问题，本发明拟采用蜕变技术，对现有的测试用例进行分析，设计蜕变算子，建立蜕变关系，然后基于现有的测试用例增扩，产生大量测试用例和测试结果预测，比如，对交通灯建立蜕变关系，改变交通灯的颜色，观察模型的识别输出情况。
2） 自动化蜕变测试模块：本发明将蜕变测试技术引入到了自动驾驶测试中，核心思想为：无论驾驶场景图像以何种方式合成，自动驾驶系统对于原图和合成图像做出的驾驶行为输出我们期望始终保持一致。基于这一点，我们将每一组真实和合成的驾驶场景图像提供给被测试的自主驾驶系统，即DNN，比较它们的预测结果来检测任何不一致的行为，从而验证自动驾驶系统在各种场景下的精确性和可靠性。实际中，将每张路况图像映射到预测的方向盘拐角信号。基于深度神经网络的自动驾驶系统，对数据进行基于规则的扩增或使用生成式对抗网络技术将给定原始图像集Ｉ，定义各种图像变换Ｔ。这些测试用例可以改变图像效果，但不应该不影响每张图像的预测结果（即预测的拐角对于不同场景下相同的路况图片应该几乎一致）。这样测试使我们能够测试基于深度神经网络的自动驾驶系统在各种天气场景下的精确性和可靠性，合成的各种极端天气场景下的图像集，也能够扩充自动驾驶系统原有的数据集测试用例覆盖率，从而有助于提高自动驾驶系统的稳定性和鲁棒性。
3） 测试报告生成模块：根据自动驾驶系统对于原始图像和新生成图像的不同反应行为，可以根据方向盘转角的差值进行分类，自动检测不同场景下的不一致行为，从而生成测试报告。
本发明的特点在于：
1.在自动驾驶测试领域首次提出利用蜕变测试自动化生成缺陷报告。
2.首次将蜕变测试技术与用例生成技术应用到自动驾驶系统自动化测试中。
附图说明
图1为本发明实施总流程图。
图2为关键步骤测试用例生成流程图。
图3为关键步骤测试报告生成流程图。
具体实施方式
本专利通过测试用例生成技术和蜕变测试来实施自动驾驶系统的自动化蜕变测试，涉及到的具体关键技术有对抗式生成网络（GAN）、数据扩增技术（Data Augmentation）、蜕变测试技术（Metamorphic Testing）等。
1.准备数据。项目首先要获取自动驾驶汽车采集的原始数据并将原始数据的规格进行统一，配置成像素大小一致的图像数据。
2.设计相应的蜕变规则，根据蜕变规则和原始图像数据生成新的测试用例。在这里我们选择基于规则的图像扩增技术与生成式对坑网络技术作为相应的蜕变规则。在扩增规则方面，我们考虑使用裁剪、平移、改变亮度、加入噪声、旋转角度和镜像等来处理数据。对于生成式对抗网络技术，我们考虑生成人类易犯错的场景，例如：不良天气条件，不良视线条件下的测试用例。为了扩大测试用例集以及分析两种不同技术生成的测试用例对于自动驾驶系统产生的影响，我们将两种不同的技术以不同的顺序同时作用于原始图像数据，以得到经过两种技术共同作用的测试用例集。
3.将以上产生的新数据与原始数据输入给自动驾驶系统，对自动驾驶系统进行蜕变测试。蜕变测试在传统软件测试方法里被广泛应用于测试用例的自动生成以及BUG检测，蜕变测试的强大之处主要在于它能通过各种蜕变关系解决传统测试的Oracle问题。在本项目中，我们进一步地将蜕变测试应用到了基于深度神经网络自动驾驶系统的测试当中。具体的，令表示将每张路况图像映射到预测的方向盘拐角信号的基于深度神经网络的自动驾驶系统，给定原始图像集Ｉ，以及经过变换的测试用例集T，变换可以改变图像的路况场景，而不影响每张图像的预测结果（即预测的拐角对于扩增后的图像或各种场景下相同的路况图片应该几乎一致）。通过这样的方式，于利用各类额外的变换图像输入来测试自动驾驶系统，我们可以得到蜕变测试的结果。
4.将测试结果输入给测试报告生成模块。该模块根据两种测试结果的差值进行分类自动检测不同场景下的不一致行为，生成测试报告。
在测试一个复杂的自动驾驶汽车系统时面临的主要挑战之一就是如何人工地创建系统的需求规格，通过它来对系统的行为是否正确进行检查。为这样一个系统创建详细的规格是很有挑战性的，因为它本质上需要重新设计一个完美的真人驾驶员的逻辑。为了解决这个问题，我们将传统软件工程领域的蜕变测试技术引入到了基于深度神经网络的自动驾驶系统测试框架中在传统的软件测试技术中，为了测试系统的鲁棒性和稳定性，我们不仅要收集测试用例，每个测试用例还得有对应的测试预言（Test Oracle问题），即测试结果参照物。具体到自动驾驶系统的测试技术，测试预言的收集是一个难以解决的问题。将蜕变测试技术引入到了自动驾驶测试框架中，可以成功地解决自动驾驶测试用例的测试预言问题，降低了测试用例的收集成本。
Claims (4)
1.一种面向自动驾驶系统的蜕变测试方法，其特征是根据蜕变规则基于已有自动驾驶系统测试用例进行测试用例的增扩，然后将新生成测试用例与原始数据一起输入到自动驾驶系统中，观察自动驾驶系统的表现，从而解决测试不足的问题，最后基于蜕变测试增扩的用例集输出最终验证报告。
2.根据权利要求1中的蜕变规则，其特征是，对原始测试数据进行图像平移，翻转，角度旋转或者添加噪声等一系列图形变换，在保证自动驾驶系统测试用例特征不变的条件下，尽可能多的产生蜕变测试用例。
3.根据权利要求1中的蜕变测试自动化验证，其特征是，将原始测试用例与基于原始测试用例蜕变得来的增扩用例，先后送入自动驾驶系统，以原始测试的输出结果作为标准，蜕变关系增扩的测试用例结果与之对比，如果一致表征系统正常，不一致就说明自动驾驶系统存在原始测试用例未发现的缺陷问题。
4.对于权利要求1中的测试报告自动生成技术，其特征是，将会包括现有测试通过测试内容，以及失败测试内容，对于失败的蜕变测试，会记录详细的原始的测试用例和蜕变测试用例，分析二者之间的差值，判断此类异常是否违反自动驾驶标准规范。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010714664.XA CN111830935A (zh) | 2020-07-23 | 2020-07-23 | 一种面向自动驾驶系统的蜕变测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010714664.XA CN111830935A (zh) | 2020-07-23 | 2020-07-23 | 一种面向自动驾驶系统的蜕变测试方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111830935A true CN111830935A (zh) | 2020-10-27 |
Family
ID=72926228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010714664.XA Pending CN111830935A (zh) | 2020-07-23 | 2020-07-23 | 一种面向自动驾驶系统的蜕变测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111830935A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112988566A (zh) * | 2021-01-25 | 2021-06-18 | 杭州衣科云科技有限公司 | 测试覆盖率提高方法、装置、计算机设备及存储介质 |
| CN113778865A (zh) * | 2021-08-27 | 2021-12-10 | 南华大学 | 一种蜕变测试的测试用例自适应随机生成方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140336848A1 (en) * | 2013-05-10 | 2014-11-13 | Palo Alto Research Center Incorporated | System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform |
| CN108416752A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于生成式对抗网络进行图像去运动模糊的方法 |
| CN109410241A (zh) * | 2018-10-29 | 2019-03-01 | 北京京航计算通讯研究所 | 图像区域生长算法的蜕变测试方法 |
| CN109447968A (zh) * | 2018-10-29 | 2019-03-08 | 北京京航计算通讯研究所 | 图像区域生长算法的蜕变测试系统 |
| CN110175513A (zh) * | 2019-04-15 | 2019-08-27 | 浙江工业大学 | 一种基于多目标路优化的路牌识别攻击防御方法 |
| CN110688311A (zh) * | 2019-09-25 | 2020-01-14 | 武汉光庭信息技术股份有限公司 | 一种面向自动驾驶典型场景的测试用例管理方法和装置 |
| CN110823226A (zh) * | 2019-10-30 | 2020-02-21 | 北京航空航天大学 | 一种基于蜕变测试技术的无人机智能航路规划测试方法 |
-
2020
- 2020-07-23 CN CN202010714664.XA patent/CN111830935A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140336848A1 (en) * | 2013-05-10 | 2014-11-13 | Palo Alto Research Center Incorporated | System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform |
| CN108416752A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于生成式对抗网络进行图像去运动模糊的方法 |
| CN109410241A (zh) * | 2018-10-29 | 2019-03-01 | 北京京航计算通讯研究所 | 图像区域生长算法的蜕变测试方法 |
| CN109447968A (zh) * | 2018-10-29 | 2019-03-08 | 北京京航计算通讯研究所 | 图像区域生长算法的蜕变测试系统 |
| CN110175513A (zh) * | 2019-04-15 | 2019-08-27 | 浙江工业大学 | 一种基于多目标路优化的路牌识别攻击防御方法 |
| CN110688311A (zh) * | 2019-09-25 | 2020-01-14 | 武汉光庭信息技术股份有限公司 | 一种面向自动驾驶典型场景的测试用例管理方法和装置 |
| CN110823226A (zh) * | 2019-10-30 | 2020-02-21 | 北京航空航天大学 | 一种基于蜕变测试技术的无人机智能航路规划测试方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112988566A (zh) * | 2021-01-25 | 2021-06-18 | 杭州衣科云科技有限公司 | 测试覆盖率提高方法、装置、计算机设备及存储介质 |
| CN112988566B (zh) * | 2021-01-25 | 2024-01-02 | 杭州衣科信息技术股份有限公司 | 测试覆盖率提高方法、装置、计算机设备及存储介质 |
| CN113778865A (zh) * | 2021-08-27 | 2021-12-10 | 南华大学 | 一种蜕变测试的测试用例自适应随机生成方法 |
| CN113778865B (zh) * | 2021-08-27 | 2023-07-18 | 南华大学 | 一种蜕变测试的测试用例自适应随机生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Metamorphic testing of driverless cars | |
| CN113515105A (zh) | 用于车辆预期功能安全仿真测试的平台、方法及存储介质 | |
| CN111830935A (zh) | 一种面向自动驾驶系统的蜕变测试方法 | |
| Chandrasekaran et al. | A combinatorial approach to testing deep neural network-based autonomous driving systems | |
| Deng et al. | BMT: Behavior driven development-based metamorphic testing for autonomous driving models | |
| CN111859674A (zh) | 一种基于语义的自动驾驶测试图像场景构建方法 | |
| Fahmy et al. | HUDD: A tool to debug DNNs for safety analysis | |
| CN112698582A (zh) | Adas ecu仿真测试方法和测试系统 | |
| Ren et al. | Environment influences on uncertainty of object detection for automated driving systems | |
| Ijaz et al. | Automatic steering angle and direction prediction for autonomous driving using deep learning | |
| US20210365355A1 (en) | Test case generation apparatus, test case generation method, and computer readable medium | |
| Iqbal et al. | Enhancing Euro NCAP standards with metamorphic testing for verification of advanced driver-assistance systems | |
| Yu et al. | Intelligent corner synthesis via cycle-consistent generative adversarial networks for efficient validation of autonomous driving systems | |
| Wang et al. | Object removal for testing object detection in autonomous vehicle systems | |
| CN111831570A (zh) | 一种面向自动驾驶图像数据的测试用例生成方法 | |
| Guo et al. | Semantic-guided fuzzing for virtual testing of autonomous driving systems | |
| CN117035024A (zh) | 基于对抗生成网络的大跨空间场所火灾合成样本增强方法 | |
| CN116958639A (zh) | 一种交通灯识别模型错误行为检测与增强的方法 | |
| Wehner et al. | Development of driver assistance systems using virtual hardware-in-the-loop | |
| WO2023110478A1 (en) | Method for automatically exploring states and transitions of a human machine interface (hmi) device | |
| Zhang et al. | Metamorphic Testing Harness for the Baidu Apollo Perception-Camera Module | |
| Gracic et al. | Concept for safety-related development of deep neural networks in the automotive | |
| JP2023515476A (ja) | 知覚システムのための訓練データ候補の自動特定 | |
| Borg | Explainability first! Cousteauing the depths of neural networks to argue safety | |
| Ebert et al. | AI-Based Testing for Autonomous Vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201027 |