CN112328496A - 全栈式的循环神经网络深度学习系统安全分析与检测方法 - Google Patents
全栈式的循环神经网络深度学习系统安全分析与检测方法 Download PDFInfo
- Publication number
- CN112328496A CN112328496A CN202011356607.5A CN202011356607A CN112328496A CN 112328496 A CN112328496 A CN 112328496A CN 202011356607 A CN202011356607 A CN 202011356607A CN 112328496 A CN112328496 A CN 112328496A
- Authority
- CN
- China
- Prior art keywords
- neural network
- test
- state
- deep learning
- rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 148
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 23
- 238000004458 analytical method Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 title claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 111
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 10
- 230000002068 genetic effect Effects 0.000 claims abstract description 7
- 230000035945 sensitivity Effects 0.000 claims abstract description 6
- 230000009466 transformation Effects 0.000 claims abstract description 6
- 230000000306 recurrent effect Effects 0.000 claims description 18
- 238000012546 transfer Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 230000035772 mutation Effects 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 238000010206 sensitivity analysis Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 8
- 238000013480 data collection Methods 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013101 initial test Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种全栈式的循环神经网络深度学习系统安全分析与检测方法。针对循环神经网络，进行变换变异生成改变的神经网络，将测试数据输入神经网络获得输出结果，进而获得变异率作为敏感度参数；在各个神经网络的处理过程中计算获得覆盖率，生成更多的测试用例并输入到神经网络中获得错误率作为质量参数；采用遗传算法对测试数据进行变异，获得不一致率大于预设一致阈值的变异后的测试数据，以测试数据输入到神经网络中以输出结果的错误率作为兼容性结果。本发明支持循环神经网络，通过从数据收集到神经网络开发再到神经网络部署阶段的系统分析与测试，从而更好的检测深度学习系统的质量与安全问题，确保深度学习系统在真正部署阶段的安全性。
Description
技术领域
本发明涉及了人工智能神经网络的一种安全分析与测评方法，具体是一种全栈式的循环神经网络深度学习系统安全分析与检测方法。
背景技术
随着海量数据的增加以及计算硬件的高速发展，深度学习在很多领域已经取得了巨大成功，例如图像处理，语音处理和医疗诊断。然而，尽管目前神经网络可以获得较高的准确率，但是其仍然面临着质量、可靠性以及安全问题。例如对于一个识别正确的输入数据，通过微小的扰动其很容易让深度神经网络出错。当其被应用到很安全相关的场景时，对于其质量、可靠性以及安全性的保障变得尤为重要。
在传统软件上已经有多种成熟的技术以保障传统程序的安全与可靠性，然而，由于深度神经网络的独特性，现有的技术很难直接应用到神经网络的分析上。因此，为了保障深度神经网络的质量以及其真正落地，研究新的分析与测评技术是十分必要的。
深度学习系统的生命周期通常包含数据收集、神经网络设计、神经网络训练以及神经网络部署等阶段。而在周期的每个阶段都容易出现问题从而导致整个系统的不安全，例如测试数据不充分、模型不鲁棒以及模型在部署环境的兼容性问题等。
发明内容
为了保障深度学习系统的安全与可靠性，需要对其进行安全检测，本发明提出了一种全栈式的循环神经网络深度学习系统安全分析与检测方法，从数据到神经网络再到部署阶段等多维度来对深度学习系统进行测评。
本发明解决上述问题所采用的技术方案为：
针对循环神经网络，采用包含数据敏感度分析测试、神经网络质量分析测试和神经网络部署测试的三个深度学习系统全生命周期的分析检测步骤。
针对循环神经网络进行变换、变异处理生成多个高质量的改变的神经网络，将测试数据输入到各个改变的神经网络中获得输出结果，根据所有输出结果处理获得变异率，通过测试数据在多个改变的神经网络中获得的变异率作为测试数据的敏感度参数；
在各个神经网络的处理过程中计算获得覆盖率，利用覆盖率生成更多大量的测试用例；再将生成的测试用例输入到神经网络中获得错误率，以错误率作为质量参数，评估作为鲁棒性的结果；
采用遗传算法对原始的测试数据进行变异，在遗传算法的每一轮演化中，通过收益函数对变异后的测试数据进行筛选以进行下一轮演化，最终获得在部署环境与开发环境中不一致率大于预设一致阈值的变异后的测试数据，以测试数据输入到神经网络中以输出结果的错误率作为兼容性结果。不一致率是指变异后的测试数据经原始的神经网络处理后获得的输出结果的较小数不一致的占比例。
对于循环神经网络，神经网络质量分析采用但不限于神经网络权重变换、状态清零(State Clear)、状态重置(State Reset)、状态高斯变化(State Gaussian Fuzzing)、状态精度降低(State Precision Reduction)、门重置(Gate Reset)、门高斯变化(GateGaussian Fuzzing)、门精度降低(Gate Precision Reduction)来生成多个循环神经网络。
给定一个神经网络，首先通过微小的变化来对目标神经网络进行变异以生成多个神经网络，然后用多个神经网络分别去预测处理测试数据获得输出结果，根据输出结果的变化率来分析判断处理。
具体来说，对于循环神经网络，本发明提出了静态与动态两个级别的变异操作：
A)在静态方面，对模型权重进行变化；
B)在动态方面，修改状态以及门操作的结果，包括状态/门清零、状态重置、状态/门进行高斯噪声扰动以及降低状态/门的输出精度。
通过以上变异操将一个神经网络生成多个改变的神经网络，这些改变的神经网络的决策边界与原始神经网络的决策边界很相近。
对于一个测试数据，通过其在多个变异神经网络预测结果的不一致性来判断其敏感性与质量。如果一个测试数据在多个改变的神经网络的预测结果不一致率高，高于预设阈值，则该测试数据质量较高，其能抓取模型微小扰动带来的影响。相反，如果所有改变的神经网络的结果预测一致，则该测试数据是不敏感的，其无法抓取模型的不同行为。
对于循环神经网络，将原始的神经网络转换构建成一个抽象状态转移模型。通过随机生成方式生成测试用例，将测试用例输入到原始的循环神经网络中，并通过神经网络的结果得到测试用例在抽象状态转移模型中覆盖到的状态与状态间的转移，从而计算测试用例在该抽象转移模型上的覆盖率，然后以覆盖率为导向以筛选有效的测试数据，将覆盖率提高的测试用例保留，覆盖率提高是指测试用例输入在抽象状态转移模型中覆盖了之前从未被覆盖到的抽象状态或者转移，将覆盖率未提高的测试用例删除，最后将保留的测试用例加入到测试数据中；
在测试过程中，随机生成大量的测试用例，再用测试标准来筛选有用的测试用例，也就是保留那些可以提升覆盖率的测试数据，这些数据可以触发神经网络的新行为，从而更有可能发现神经网络的缺陷。
在神经网络测评方面，本发明提出了多种测试标准以度量一组测试数据的覆盖率。
对于循环神经网络，本发明提出了一套基于抽象状态转移模型的处理方式。循环神经网络带有循环，每个神经元在不同的迭代过程中可以有多个输出结果。
对于循环神经网络，用神经网络预测所有训练数据并得到隐层的所有输出值，利用区间近似方法为神经网络构建为一个马尔科夫模型，利用隐层的所有输出值所处的区间计算覆盖率，采用以下多种覆盖率方法的其中一种：
1)抽象状态的状态覆盖率(BSCov)；通过区间近似，将神经网络的输出结果划分到不同的区间(例如，0-1等分2个区间为[0,0.5),[0.5,1])，每个区间为一个抽象状态；因此，如果一个指神经网络的输出值处于某个区间，则该区间对应的状态被覆盖。
2)根据训练数据中抽象状态的覆盖频率统计带有权重的状态覆盖率(WSACov)；
3)超出抽象状态边界n步的覆盖率(n-SBCov)；当神经网络的输出结果超出所有状态的区间的最大值或者最小值，则表示该输出值超出了抽象状态边界；类的，通过区间近似将超出抽象状态的数值划分为多个区间，n-SBCov则计算超出n个区间内的覆盖率。
4)抽象状态转移的覆盖率(BTCov)；计算抽象状态间转移的覆盖率；
5)根据训练数据中抽象状态转移的覆盖频率统计带有权重的转移覆盖率(WTCov)；
迭代过程获得的隐层的所有输出值组成一个空间，空间划分为多块，每一块作为一个状态，由此获得一组测试数据的覆盖率。
神经网络部署测试包含检测不同神经网络输出结果的不一致性、同一神经网络在不同深度学习框架(例如，TensorFlow，PyTorch)的输出结果的不一致性、同一神经网络在不同硬件之间输出结果的不一致性，神经网络部署测试将上述不一致性检测问题转换为寻找离神经网络边界较近数据的问题。
在神经网络部署阶段，本发明提出了一种利用遗传算法的差异测试方法来生成测试用例，这些测试用例反应相同数据在开发环境与部署环境中的不一致性，从而可以高效的发现兼容性问题。
当给定多个进行相同任务的神经网络或者一个神经网络但其在不同环境下运行时，通过遗传算法以搜索离神经网络决策边界较近的数据，其更有可能导致神经网络预测的不一致性。
所述的收益函数采用的基本收益函数、K-收益函数和目标收益函数中的其一。这些收益函数可以引导生成高质量的数据，从而抓取神经网络的兼容性问题。
本发明提出了一种基于变异测试的方法，为一个训练好的循环神经网络生成一定数量的变异神经网络，基于变异神经网络来计算数据的变异情况以估算测试数据的质量。当循环神经网络训练好后，对神经网络进行测评的测试，采用覆盖率导向的自动化测试方法，以对循环神经网络的鲁棒性进行测试。当循环神经网络部署后，采用差异测试的方法以检测神经网络在部署环境中的兼容性问题。
本发明支持循环神经网络，通过从数据收集到神经网络开发再到神经网络部署阶段的系统分析与测试，从而更好的检测深度学习系统的质量与安全问题，确保深度学习系统在真正部署阶段的安全性。
本发明其有益效果为：
本发明将深度学习开发过程中的多个步骤的分析与检测集成在一个平台下，可以更高效更系统的对其进行分析与测试。在每一步完成之后，可以快速地对其进行分析与测试，从而更早的发现深度学习系统的缺陷。
生成的测试用例可以帮助开发者更高效的理解与发现神经网络中的问题，例如数据不平衡、模型结构不恰当或者训练超参等问题。
对于一个训练十分完美的模型，也可以快速发现其在部署阶段的兼容性问题，以减少其在真正部署后带来的严重后果，例如无人车驾驶。
附图说明
图1为数据分析过程的示意图。
图2为循环神经网络测试标准示意图。
图3为基于覆盖率引导的测试流程示意图。
图4为兼容性测试的流程示意图。
具体实施方式
下面结合附图对本发明进一步说明。
如图1所示，具体实施给定一组测试数据以及一个目标循环神经网络，针对神经网络的类型先采用对应的变异操作生成多个变异神经网络，变异操作使得变异神经网络的决策边界与目标神经网络十分相似。该变异神经网络用来预测测试数据，其结果可以反应测试数据的敏感性以及其质量，并且可以对神经网络的鲁棒性进行分析。例如给定一段文字，如果发现某段文字在多个变异模型下处理的结果变化率高，则模型对该段文字预测的鲁棒性较低。相反如果该段文字在所有模型预测下结果都一致，则模型对该段文字的处理很鲁棒。
如图2所示，给定一个待测循环神经网络，首先，对所有的训练数据输入处理预测，以抓取该神经网络的内部行为。对于循环神经网络，得到循环神经网络在每次迭代后的隐层输出结果。基于神经网络的输出结果构建一个抽象状态转移模型，用于近似原始神经网络的行为，度量处理获得给定测试数据的覆盖率。
如图3所示，基于测试标准，对一个目标神经网络进行覆盖率引导的测试。给定初始的测试种子，使用一个队列来存储以提高覆盖率的测试用例。在每一轮测试时选取一个测试用例，基于该测试用例来随机生成大量新的测试数据。
本发明提出了三种不同的测试用例选取方法：在队列中随机选取一个、在队列中选取最新生成的测试用例以及基于测试用例曾经被选取次数的策略。当一个测试用例被选取后，通过不同的数据变换方式来生成新的测试用例，例如图像变换、语音变换以及文字变换等。如果这些数据可以带来新的覆盖率，则其被加入测试用例队列。否则，其被删除。
如图4所示，当神经网络部署时，其开发环境与部署环境会有差异，其会导致在两个环境下的决策边界有微小的差异。例如神经网络优化后其行为会发生变化，神经网络在手机端与服务器上预测的行为同时会发生变化。本发明方法能够优化生成靠近决策边界的数据，这些数据更容易捕获系统在部署时的兼容性问题。具体来说，给定一个初始输入，通过随机变异的方法构造一个种群，然后进行标准的子代选取、交叉与变异以生成更优良的后代，利用不同的收益函数进行优秀子代的选取。
本发明的具体实施过程如下：
在使用本发明时，用户准备待测循环神经网络、训练数据集以及测试集。
在神经网络训练好后，首先进行数据分析。将训练好的神经网络作为输入，本方法通过变异算子生成大量的变异神经网络并存储到本地服务器。用户提供相应的测试集或者其子集，数据分析模块度量测试集的敏感度以及质量。
下一步，对于训练好的神经网络进行自动化测试。用户需要准备初始测试种子以及目标神经网络。对于循环神经网络，则首先需要构建抽象模型并存储在本地服务器。接下来，本发明会对其进行自动化测试，并生成大量的高覆盖率的测试用例，包含可以被神经网络正确预测的测试用例以及预测错误的测试用例。
最后，在神经网络测评结束后，需要测试其在部署阶段的兼容性。用户需要提供目标部署环境的接口，也就是给定一组输入，得到目标部署环境的输出结果。给定一组初始数据，本发明生成一组新的数据，其在训练开发环境与部署环境具有不同的输出结果。
Claims (6)
1.一种全栈式的循环神经网络深度学习系统安全分析与检测方法，其特征在于：
针对循环神经网络，采用包含数据敏感度分析测试、神经网络质量分析测试和神经网络部署测试的三个深度学习系统全生命周期的分析检测步骤。
2.根据权利要求1所述的一种全栈式的循环神经网络深度学习系统安全分析与检测方法，其特征在于：
针对循环神经网络进行变换、变异处理生成多个改变的神经网络，将测试数据输入到各个改变的神经网络中获得输出结果，根据所有输出结果处理获得变异率，通过测试数据在多个改变的神经网络中获得的变异率作为测试数据的敏感度参数；在各个神经网络的处理过程中计算获得覆盖率，利用覆盖率生成更多的测试用例；再将生成的测试用例输入到神经网络中获得错误率，以错误率作为质量参数；采用遗传算法对原始的测试数据进行变异，在遗传算法的每一轮演化中，通过收益函数对变异后的测试数据进行筛选以进行下一轮演化，最终获得不一致率大于预设一致阈值的变异后的测试数据，以测试数据输入到神经网络中以输出结果的错误率作为兼容性结果。
3.根据权利要求1所述的一种全栈式的循环神经网络深度学习系统安全分析与检测方法，其特征在于：循环神经网络中，神经网络质量分析采用但不限于神经网络权重变换、状态清零(State Clear)、状态重置(State Reset)、状态高斯变化(State GaussianFuzzing)、状态精度降低(State Precision Reduction)、门重置(Gate Reset)、门高斯变化(Gate Gaussian Fuzzing)、门精度降低(Gate Precision Reduction)来生成多个循环神经网络。
4.根据权利要求1所述的一种全栈式的循环神经网络深度学习系统安全分析与检测方法，其特征在于：循环神经网络中，将原始的神经网络转换构建成一个抽象状态转移模型。通过随机生成方式生成测试用例，将测试用例输入到原始的循环神经网络中，并通过神经网络的结果得到测试用例在抽象状态转移模型中覆盖到的状态与状态间的转移，从而计算测试用例在该抽象转移模型上的覆盖率，然后以覆盖率为导向以筛选有效的测试数据，将覆盖率提高的测试用例保留，将覆盖率未提高的测试用例删除，最后将保留的测试用例加入到测试数据中。
5.根据权利要求1所述的一种全栈式的循环神经网络深度学习系统安全分析与检测方法，其特征在于：循环神经网络中，用神经网络预测所有训练数据并得到隐层的所有输出值，利用区间近似方法为神经网络构建为一个马尔科夫模型，利用隐层的所有输出值所处的区间计算覆盖率，采用以下多种覆盖率方法的其中一种：
1)抽象状态的状态覆盖率；通过区间近似，将神经网络的输出结果划分到不同的区间，每个区间为一个抽象状态；
2)根据训练数据中抽象状态的覆盖频率统计带有权重的状态覆盖率；
3)超出抽象状态边界n步的覆盖率；当神经网络的输出结果超出所有状态的区间的最大值或者最小值，则表示该输出值超出了抽象状态边界；
4)抽象状态转移的覆盖率；计算抽象状态间转移的覆盖率；
5)根据训练数据中抽象状态转移的覆盖频率统计带有权重的转移覆盖率。
6.根据权利要求2所述的一种全栈式的循环神经网络深度学习系统安全分析与检测方法，其特征在于：所述的收益函数采用的基本收益函数、K-收益函数和目标收益函数中的其一。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011356607.5A CN112328496A (zh) | 2020-11-27 | 2020-11-27 | 全栈式的循环神经网络深度学习系统安全分析与检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011356607.5A CN112328496A (zh) | 2020-11-27 | 2020-11-27 | 全栈式的循环神经网络深度学习系统安全分析与检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112328496A true CN112328496A (zh) | 2021-02-05 |
Family
ID=74309641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011356607.5A Pending CN112328496A (zh) | 2020-11-27 | 2020-11-27 | 全栈式的循环神经网络深度学习系统安全分析与检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112328496A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446214A (zh) * | 2018-01-31 | 2018-08-24 | 浙江理工大学 | 基于dbn的测试用例进化生成方法 |
| CN108509335A (zh) * | 2018-01-31 | 2018-09-07 | 浙江理工大学 | 基于遗传算法优化的软件测试数据生成方法 |
| CN110110854A (zh) * | 2019-04-01 | 2019-08-09 | 南京邮电大学 | 一种基于边状态的深度神经网络测试充分性的方法 |
| CN110995487A (zh) * | 2019-12-03 | 2020-04-10 | 深圳市物语智联科技有限公司 | 多服务质量预测方法、装置、计算机设备及可读存储介质 |
| CN111428818A (zh) * | 2020-04-22 | 2020-07-17 | 浙江工业大学 | 基于神经通路激活状态的深度学习模型测试方法与装置 |
| US20200234110A1 (en) * | 2019-01-22 | 2020-07-23 | Adobe Inc. | Generating trained neural networks with increased robustness against adversarial attacks |
| CN111753985A (zh) * | 2020-06-28 | 2020-10-09 | 浙江工业大学 | 基于神经元覆盖率的图像深度学习模型测试方法与装置 |
| CN111783930A (zh) * | 2019-04-03 | 2020-10-16 | 南京大学 | 一种基于路径状态的神经网络测试充分性评估方法 |
| CN111814870A (zh) * | 2020-07-06 | 2020-10-23 | 北京航空航天大学 | 一种基于卷积神经网络的cps模糊测试方法 |
| CN111858340A (zh) * | 2020-07-23 | 2020-10-30 | 深圳慕智科技有限公司 | 一种基于稳定性变换的深度神经网络测试数据生成方法 |
| CN111881040A (zh) * | 2020-07-23 | 2020-11-03 | 深圳慕智科技有限公司 | 一种基于循环神经网络的抽象状态模型的测试数据生成方法 |
| CN111897729A (zh) * | 2020-08-03 | 2020-11-06 | 北京理工大学 | 基于TensorFuzz的深度神经网络模糊测试框架和测试方法 |
-
2020
- 2020-11-27 CN CN202011356607.5A patent/CN112328496A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446214A (zh) * | 2018-01-31 | 2018-08-24 | 浙江理工大学 | 基于dbn的测试用例进化生成方法 |
| CN108509335A (zh) * | 2018-01-31 | 2018-09-07 | 浙江理工大学 | 基于遗传算法优化的软件测试数据生成方法 |
| US20200234110A1 (en) * | 2019-01-22 | 2020-07-23 | Adobe Inc. | Generating trained neural networks with increased robustness against adversarial attacks |
| CN110110854A (zh) * | 2019-04-01 | 2019-08-09 | 南京邮电大学 | 一种基于边状态的深度神经网络测试充分性的方法 |
| CN111783930A (zh) * | 2019-04-03 | 2020-10-16 | 南京大学 | 一种基于路径状态的神经网络测试充分性评估方法 |
| CN110995487A (zh) * | 2019-12-03 | 2020-04-10 | 深圳市物语智联科技有限公司 | 多服务质量预测方法、装置、计算机设备及可读存储介质 |
| CN111428818A (zh) * | 2020-04-22 | 2020-07-17 | 浙江工业大学 | 基于神经通路激活状态的深度学习模型测试方法与装置 |
| CN111753985A (zh) * | 2020-06-28 | 2020-10-09 | 浙江工业大学 | 基于神经元覆盖率的图像深度学习模型测试方法与装置 |
| CN111814870A (zh) * | 2020-07-06 | 2020-10-23 | 北京航空航天大学 | 一种基于卷积神经网络的cps模糊测试方法 |
| CN111858340A (zh) * | 2020-07-23 | 2020-10-30 | 深圳慕智科技有限公司 | 一种基于稳定性变换的深度神经网络测试数据生成方法 |
| CN111881040A (zh) * | 2020-07-23 | 2020-11-03 | 深圳慕智科技有限公司 | 一种基于循环神经网络的抽象状态模型的测试数据生成方法 |
| CN111897729A (zh) * | 2020-08-03 | 2020-11-06 | 北京理工大学 | 基于TensorFuzz的深度神经网络模糊测试框架和测试方法 |
Non-Patent Citations (2)
| Title |
|---|
| MURIL, M.J. 等: "A Review on Deep Learning and Nondeep Learning Approach for Lane Detection System", 2020 IEEE 8TH CONFERENCE ON SYSTEMS, PROCESS AND CONTROL (ICSPC), 1 January 2020 (2020-01-01) * |
| 王赞;闫明;刘爽;陈俊洁;张栋迪;吴卓;陈翔;: "深度神经网络测试研究综述", 软件学报, no. 05, 15 May 2020 (2020-05-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111124840B (zh) | 业务运维中告警的预测方法、装置与电子设备 | |
| US20190261204A1 (en) | Method and system for abnormal value detection in lte network | |
| CN110009171B (zh) | 用户行为模拟方法、装置、设备及计算机可读存储介质 | |
| CN111796957B (zh) | 基于应用日志的交易异常根因分析方法及系统 | |
| CN112149962B (zh) | 一种施工事故致因行为的风险定量评估方法及系统 | |
| CN108549817A (zh) | 一种基于文本深度学习的软件安全漏洞预测方法 | |
| CN113901977A (zh) | 一种基于深度学习的电力用户窃电识别方法及系统 | |
| CN111130890A (zh) | 一种网络流量动态预测系统 | |
| CN111260082B (zh) | 一种基于神经网络的空间对象运动轨迹预测模型构建方法 | |
| CN112437451A (zh) | 一种基于生成对抗网络的无线网络流量预测方法和设备 | |
| CN106935038B (zh) | 一种停车检测系统及检测方法 | |
| CN115145817A (zh) | 一种软件测试方法、装置、设备及可读存储介质 | |
| CN111586728A (zh) | 一种面向小样本特征的异构无线网络故障检测与诊断方法 | |
| CN112434808B (zh) | 全栈式的前向型神经网络深度学习系统安全分析与检测方法 | |
| CN112182056A (zh) | 一种数据检测方法、装置、设备及存储介质 | |
| CN116668198B (zh) | 基于深度学习的流量回放测试方法、装置、设备及介质 | |
| CN113822336A (zh) | 一种云硬盘故障预测方法、装置、系统及可读存储介质 | |
| CN111079348B (zh) | 一种缓变信号检测方法和装置 | |
| CN115617882B (zh) | 基于gan的带有结构约束的时序图数据生成方法及系统 | |
| CN112711530A (zh) | 一种基于机器学习的代码风险预测方法及系统 | |
| CN117391463A (zh) | 一种河流污染的溯源方法 | |
| CN112328496A (zh) | 全栈式的循环神经网络深度学习系统安全分析与检测方法 | |
| CN116597197A (zh) | 一种自适应消除分类负梯度的长尾目标检测方法 | |
| CN114970674A (zh) | 一种基于关联度对齐的时序数据概念漂移适配方法 | |
| Čisar et al. | Application of artificial immune networks in continuous function optimizations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |