CN111858347A

CN111858347A - 一种基于智能交通模型正确性的蜕变测试方法

Info

Publication number: CN111858347A
Application number: CN202010712772.3A
Authority: CN
Inventors: 陈振宇; 常家鑫; 夏志龙
Original assignee: Shenzhen Muzhi Technology Co ltd
Current assignee: Shenzhen Muzhi Technology Co ltd
Priority date: 2020-07-23
Filing date: 2020-07-23
Publication date: 2020-10-30

Abstract

本发明采用蜕变测试技术对智能交通模型进行正确性测试，设计应用于智能交通模型的蜕变关系并从多个方面判定程序功能的正确性，使用原始用例和基于蜕变关系生成的衍生用例对智能交通模型进行测试，检查原始和衍生用例的输出是否满足相应的蜕变关系，得出测试结果。发明能够采用新的软件测试方法对智能交通模型正确性进行合理度量与评估。

Description

一种基于智能交通模型正确性的蜕变测试方法

技术领域

本发明属于模型测试领域，特别是涉及到智能交通模型正确性的测试。依据智能交通模型输入及输出结果建立蜕变关系，利用蜕变关系来生成新的测试用例，通过验证蜕变关系是否被保持来决定测试是否通过并最终形成一份测试报告。

背景技术

深度学习技术在计算机系统中的应用越来越广泛，在智能交通领域，深度学习模型也在发挥极其重要的作用。与此同时，对其软件做质量保证的测试势必日益受到重视。传统的测试方法通常比较程序预期输出和实际输出是否一致来判定测试结果。但在很多情况下，被测程序的预期输出难以确定，难以确定执行结果与期望结果是否相同。这种测试人员无法确定程序的执行结果与期望结果是否相同，或者很难构造预期输出的现象被称为“oracle”问题。这是深度学习软件和其他传统软件很重要的区别，所以传统的测试方法对深度学习类软件不一定适用。

在智能交通领域，模型的正确性至关重要，细微数据的差异都有可能导致重大交通事故的发生。针对智能交通模型的正确性进行合理验证与评估能够最大程度地维护智能交通软件产品的安全性与稳定性。然而，智能交通模型中，预先没有预期值，输出即是某种预测，难以通过比较或验证预测与预先未知的某种预期值来测试。因此，传统的测试方法难以适应智能交通模型正确性测试。

在智能交通模型应用场景中所出现的“oracle”未知的情况，使得传统软件测试难以实施。蜕变测试(Metamorphic Testing)是一种能够有效地解决此类问题的特殊黑盒测试方法。蜕变测试是指依据被测软件的领域知识和软件的实现方法建立蜕变关系，利用蜕变关系来生成新的测试用例，通过验证蜕变关系是否被保持来决定测试是否通过的一种软件测试方法。蜕变测试通过检查这些成功样本及由它们构造的新样本所对应的程序执行结果之间的关系来测试程序。经过二十年的研究，蜕变测试技术取得了广泛的应用。如果智能交通模型的输入和输出之间能建立某种蜕变关系，那么可以运用蜕变测试来进行深度学习模型的黑盒测试。因此，我们希望建立这种模型输入与输出之间的蜕变关系实现对智能交通模型的变异测试。

基于上述工作，本发明采用蜕变测试技术对智能交通模型进行正确性测试，设计应用于智能交通模型的蜕变关系并从多个方面判定程序功能的正确性，使用原始用例和基于蜕变关系生成的衍生用例对智能交通模型进行测试，检查原始和衍生用例的输出是否满足相应的蜕变关系，得出测试结果。因此，本发明基于这些已有的研究成果，重点采用智能交通领域真实应用场景驱动各类蜕变关系产生，并生成满足蜕变关系的测试样本。

发明内容

本发明要解决的问题是：在智能交通软件领域，传统软件测试方法主要采用比较程序预期输出和实际输出是否一致的方法来度量软件系统的准确率、可靠性等。针对智能交通领域中的深度学习模型，这种传统软件测试方法并不能有效发现可能出错的极端行为。与传统的软件不同，深度学习系统的决策逻辑是从训练样本中学习而成，这种黑箱模式使得极端场景的错误行为比传统软件更难预测和解释。我们的发明能够采用新的软件测试方法对智能交通模型正确性进行合理度量与评估。

本发明的技术方案为：一种基于智能交通模型稳定性的蜕变测试方法，其特征是能够根据蜕变关系生成测试样本，从多个方面对智能交通模型进行正确性测试，得出最终测试结果。该生成方法包含以下几个模块/步骤：

1）原始测试用例获取：原始测试用例的生成是蜕变测试过程中的一个重要环节首先，使用其他测试用例生成策略如特殊值选取、随机值选取和迭代测试等方法为待测程序生成原始测试用例，一般来说，特殊值和随机值的生成效率较高，容易获得，所以在进行蜕变测试时经常选取他们作为原始测试用例。然后判断这些原始用例是否均通过测试，若这些原始用例均通过测试，则将为待测模型构造一组蜕变关系。为获得较好测试效果，本发明将构造非等价蜕变关系、等价蜕变关系和时序蜕变关系三种蜕变关系用于生成新的测试样本。

2）基于非等价蜕变关系构建测试样本生成：首先从智能交通领域知识中获取非等价蜕变关系MRineq。我们通过采样获取带有标记的场景数据集𝑇，通过Unet 网络学习语义分割模型，自动分割需要进行非等价蜕变的“组件” 。然后通过ConditionalGAN 学习条件生成模型，根据指定的条件生成另外的“组件”。最后将新生成的“组件”组合到原始图片中，形成新的非等价蜕变关系图。以红绿灯为例，获取原始样本集合中包含红绿灯的图像测试样本，结合卷积神经网络中的目标定位技术，训练目标定位模型，自动对红绿灯场景进行变换，自动生成非等价蜕变关系的批量测试样本图像候选集。是否满足非等价蜕变关系，需要更多的监督信息进行训练，实现自动化选择。

3）基于等价蜕变关系的测试样本生成：同样需要从智能交通领域知识中获取等价蜕变关系MReq。通过采样获取两类场景图片𝑇1, 𝑇2，其中𝑇1为普通场景样本集，𝑇2满足等价蜕变关系MReq的样本集。通过CycleGAN 网络对上述两类场景进行学习训练，得到满足要求的生成器𝐺_MReq。一个新的场景样本𝑇_𝑛𝑒𝑤，通过𝐺_MReq将其变成满足等价蜕变关系M_Req的样本𝐺_MReq (𝑇_𝑛𝑒𝑤)。以天气背景为例，获取原始的测试样本图像后，采用训练好的CycleGAN 模型为原始图片添加晴天、雨天、阴天等背景。

4）基于时序蜕变关系的测试样本生成：同样需要从智能交通领域知识中获取时序蜕变关系MR_timeseries。根据实际需求对自动驾驶测试样本图像流进行修改，按照时序蜕变关系，对当前图像的前N 帧图像进行修改、选择和组合，检测自动驾驶汽车系统的反应是否满足预期时序要求。时序帧本质上可以看成是单一帧图的叠加，因此可以综合运用上述技术对时序测试样本进行变异，产生满足时序蜕变关系的批量测试样本。

5）获取测试结果：首先，经过以上三种蜕变关系所衍生出的新的测试用例需要与原始用例相比较，判断两种测试用例的输出是否满足相应的蜕变关系。之后，测试结果获取：蜕变测试的结果可以分为三类：待测程序中没有错误，则原始用例和衍生用例的执行结果均无误，它们满足相应的蜕变关系，测试通过；待测程序中存在着错误,且原始用例和衍生用例的执行结果不满足相应的蜕变关系，测试未通过；待测程序中存在着错误，但原始用例和衍生用例的执行结果满足相应的蜕变关系，错误没有被发现。其中，有效的蜕变关系将使得前两种中情况尽可能多得出现，而第三种情况尽可能少得出现。

本发明的特点在于：

1. 为了检验智能交通模型的执行结果，测试时需要构造蜕变关系。

2. 为了从多个方面判定智能交通模型功能的正确性，为待测模型构造多条蜕变关系。

3. 首次将智能交通模型正确性度量结果书写自动化。

附图说明

图1为本发明实施总流程图。

图2为关键步骤2流程图。

图3为关键步骤3流程图。

图4为关键步骤4流程图。

具体实施方式

本专利通过蜕变测试来实施智能交通模型正确性测试，主要采用了测试样例自动生成技术，涉及到的具体关键技术有CycleGAN模型、深度卷积神经网络（CNN）、目标检测技术等。

CycleGAN模型

在本发明中，我们采用CycleGAN 模型对普通场景样本和满足等价蜕变关系样本进行学习训练，得到满足要求的生成器，并通过生成器产生新的满足等价蜕变关系的样本。CycleGAN是图像转换的代表作，样本数据无需配对即可实现转换。例如斑马转换成马、将模特转换成卡通人物等。CycleGAN特点就是通过一个循环，首先将图像从一个域转换到另一个域，然后，再转回来，如果两次转换都很精准的话，那么，转换后的图像应该与输入的图像基本一致。通过这样的一个循环，CycleGAN将转换前后图片的配对，类似于有监督学习，提升了转换效果。

1.深度卷积神经网络（CNN）

本发明中，我们采用循环神经网络，将卷积神经网络所生成的图像特征向量转化为自然语言描述。卷积神经网络（Convolutional Neural Networks）是一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析视觉图像。基于深度神经网络，可以实现多种普通数学或数据科学的固定变换达不到的蜕变实现。

2.目标检测技术

在本发明中我们采用目标检测技术训练目标定位模型，自动生成非等价蜕变关系的批量测试样本图像候选集。目标检测的任务是找出图像中所有感兴趣的目标（物体），确定它们的位置和大小，是机器视觉领域的核心问题之一。目标检测技术被广泛应用于行人检测、车辆检测等领域。常见的目标检测算法有R-CNN、Fast R-CNN、Faster R-CNN、YOLO等。

在本实例中，针对领域知识进行学习，分析在同一场景中的状态变化，从三个方面构建蜕变关系：等价蜕变关系、非等价蜕变关系、时序蜕变关系。其中，等价蜕变关系指要求深度学习系统输出相同的测试样本关系；非等价蜕变关系指要求深度学习系统输出不同的测试样本关系；时序蜕变关系指满足一定的时序依赖关系的深度学习系统的测试样本关系。根据领域知识，确定等价、非等价和时序蜕变关系的场景描述，并对原有测试样本进行修改、扰动和组合，从而生成一系列满足蜕变关系的测试样本。利用以上测试样本对智能交通模型进行正确性度量并生成最终测试报告。

Claims

1.一种基于智能交通模型稳定性的蜕变测试方法，其特征在于，根据蜕变关系生成测试样本，从多个方面对智能交通模型进行正确性测试，得出最终测试结果，包含几个功能步骤：

（1）原始测试用例获取：原始测试用例的生成是蜕变测试过程中的一个重要环节首先，使用其他测试用例生成策略如特殊值选取、随机值选取和迭代测试等方法为待测程序生成原始测试用例，判断这些原始用例是否均通过测试，若这些原始用例均通过测试，则将为待测模型构造一组蜕变关系，

（2）基于非等价蜕变关系构建测试样本生成：首先从智能交通领域知识中获取非等价蜕变关系，通过ConditionalGAN 学习条件生成模型，根据指定的条件生成另外的“组件”，最后将其与原始图片融合，形成新的非等价蜕变关系图，

（3）基于等价蜕变关系的测试样本生成：智能交通领域知识中获取等价蜕变关系，对自动驾驶测试样本图像流进行修改，按照时序蜕变关系，对当前图像进行修改、选择和组合，检测自动驾驶汽车系统的反应是否满足预期时序要求，

（4）获取测试结果，判断两种测试用例的输出是否满足相应的蜕变关系。

2.根据权利要求1中的一种基于智能交通模型稳定性的蜕变测试方法，其特征是，基于非等价蜕变关系构建测试样本生成方法，首先从智能交通领域知识中获取非等价蜕变关系MRineq，通过采样获取带有标记的场景数据集𝑇，通过Unet 网络学习语义分割模型，自动分割需要进行非等价蜕变的“组件” ，然后通过CondiotnalGAN 学习条件生成模型，根据指定的条件生成另外的“组件”，最后将新生成的“组件”组合到原始图片中，形成新的非等价蜕变关系图。

3.根据权利要求1中的一种基于智能交通模型稳定性的蜕变测试方法，其特征在于，基于等价蜕变关系的测试样本生成方法，从智能交通领域知识中获取等价蜕变关系MReq，通过采样获取两类场景图片𝑇1, 𝑇2，其中𝑇1为普通场景样本集，𝑇2满足等价蜕变关系MReq的样本集，通过CycleGAN 网络对上述两类场景进行学习训练，得到满足要求的生成器𝐺_MReq，一个新的场景样本𝑇_𝑛𝑒𝑤，通过𝐺_MReq将其变成满足等价蜕变关系M_Req的样本𝐺_MReq (𝑇_𝑛𝑒𝑤)。