CN113485932A - 深度学习代码缺陷检测方法、系统、产品、设备、终端 - Google Patents
深度学习代码缺陷检测方法、系统、产品、设备、终端 Download PDFInfo
- Publication number
- CN113485932A CN113485932A CN202110809196.9A CN202110809196A CN113485932A CN 113485932 A CN113485932 A CN 113485932A CN 202110809196 A CN202110809196 A CN 202110809196A CN 113485932 A CN113485932 A CN 113485932A
- Authority
- CN
- China
- Prior art keywords
- metamorphic
- test
- model
- deep learning
- testing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 79
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 title claims abstract description 39
- 238000012360 testing method Methods 0.000 claims abstract description 145
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000013136 deep learning model Methods 0.000 claims abstract description 17
- 238000013461 design Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000009377 nuclear transmutation Methods 0.000 description 9
- 238000010998 test method Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241001251467 Ogma Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
- G06F11/3608—Software analysis for verifying properties of programs using formal methods, e.g. model checking, abstract interpretation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开是关于深度学习代码缺陷检测方法、系统、产品、设备、终端，涉及软件安全测试技术领域。生成模型的不同实现；将相同的输入样本通过不同的实现模型处理，得到输出结果；比对输出结果是否相同；如不相同，则反馈存在代码缺陷，并指导设计蜕变关系进行蜕变测试；否则进入蜕变测试，生成具有蜕变关系的输入样本对；将具有蜕变关系的输入对通过深度学习模型处理，得到输出对结果；比对该输出对是否具有对应的蜕变关系；如无对应的蜕变关系则反馈代码缺陷；否则，表明该模型不存在代码缺陷。本发明提出的技术方案能够对于深度学习代码缺陷提供一种更高准确率和定位能力的检测方法，在代码层面上消除深度学习模型存在的缺陷和隐患。
Description
技术领域
本发明公开涉及软件安全测试技术领域，尤其涉及基于蜕变测试和差分测试的深度学习代码缺陷检测方法、系统、存储在计算机可读介质上的计算机程序产品、计算机设备、信息数据处理终端。
背景技术
随着深度学习技术的高速发展，硬件算力的显著提升以及各领域大数据的普及。深度学习已经在人脸识别、医疗影像、自动驾驶等安全攸关的领域得到了更佳广泛的应用，而在这些安全性要求极高的实际应用中，深度学习本身结构的复杂性给深度神经网络的测试和验证都带来了极大的挑战性。
近年来，现有对于深度学习的测试研究主要从测试输入生成和测试预言两个方面进行。测试输入生成旨在检测模型的功能，即对不同数据的健壮性，而不是对深度学习系统的代码进行漏洞检测。而测试预言问题是指软件在测试过程中需要在给定的输入下能够区分出软件正确行为和潜在的错误行为，从而检测出代码缺陷。当前在该方面的研究主要分为两类：差分测试和蜕变测试。
差分测试的核心思想是相同输入在基于相同规约的多个实现下的输出是相同的。目前，差分测试也被应用于深度学习的测试中来解决测试预言问题。目前的差分测试相关研究主的OGMA测试方法检测缺陷：如果同一输入在两个功能相同的分类器下得到不同的输出，则该输入揭示了这两个分类器中至少一个分类器的缺陷。配置加载多个不同框架的相同实现，对比同一个深度网络模型在不同后端下的表现是否一致来进行缺陷检测。差分测试对于深度学习模型的代码缺陷检测具有一定的局限性，其主要表现在检测缺陷的覆盖率不高以及对缺陷只有检测能力而无定位能力。
蜕变测试的核心思想是构造蜕变关系，即描述待测系统的测试输入的变化与输出的变化的关系。例如，一个测试用例有两个元组(input1-output1)和(input2-output2)，其中input1和output1之间有预先设计的关系，可以推断出output1和output2之间也应具有某种关系(称之为蜕变关系(MR，Metamorphic Relation))。当发现输出之间没有维持这种关系的情况，即可以得出存在代码缺陷的结论。
现有的蜕变测试方法在对机器学习算法的测试中有很多成熟的应用。例如，针对排序系统设计的蜕变测试，一种针对监督学习分类算法的蜕变测试方法。而在深度学习的测试中，现有的研究中关注代码缺陷的一种针对图像分类的DNN系统蜕变测试方法，针对图像数据设计了多种蜕变关系并对多个图像分类器进行测试，其结果尽管在机器学习模型上表现良好，但在深度学习模型上只能检测出71％的代码缺陷。
综上所述，现有针对深度学习模型的代码缺陷检测方法在差分测试和蜕变测试上的研究均有一定的成果，但各自方法均存在一些无法解决的问题，单使用一种方式来进行检测，在深度学习模型上的效果不佳。
随着深度学习技术的高速发展、数据量的激增以及硬件能力的显著提升，当前深度学习在各个与安全相关的领域中得到了更加广泛的应用，如自动驾驶、人脸识别、碰撞检测等。但深度学习的结构复杂，其中微小的错误就可能引发整个系统应用具有严重的质量问题。在系统安全性的优化上，除了对于训练数据优化以提高模型的鲁棒性外，发现系统的代码缺陷也是提升安全性和稳定性的重要保障。
综上所述，现有技术存在的问题是：
1、软件安全领域中传统的代码缺陷检测通常基于测试覆盖准则设计测试用例来测试系统代码，但深度学习由数据驱动，开发者仅规定系统的网络架构，针对传统软件的测试方法以及度量标准无法移植到深度学习系统中。
2、现有的深度学习模型缺陷的研究主要是集中在对抗样本相关的领域中，其目的是识别训练数据中的缺陷或是使用的学习算法的不足。
3、对于代码缺陷的检测方法中，当前蜕变测试方法在传统机器学习中效果良好，但应用于深度学习模型中的准确率不高；而差分测试方法的应用范围比较狭窄，且只能表明多个模型中存在有缺陷的模型而无法指明缺陷存在的具体模型。
解决上述技术问题的难度在于：如何基于差分测试和蜕变测试相结合的方式对现有的研究进行一些改进以获得一种性能更好、准确率更高、适用范围更广的深度学习代码缺陷检测的方法，来保障深度学习模型的安全性。
解决上述技术问题的意义在于：本发明在提供一个具体的深度学习模型的情形下，通过多种框架下的差分测试以及蜕变测试，实现高准确率的代码缺陷检测；也可以在提供一类模型的情形下，通过多种具体模型下的差分测试以及蜕变测试，实现代码缺陷判别和定位。
发明内容
为克服相关技术中存在的问题，本发明公开实施例提供了一种基于蜕变测试和差分测试的深度学习代码缺陷检测方法和系统。所述技术方案如下：
基于蜕变测试和差分测试的深度学习代码缺陷检测方法包括以下步骤：
步骤一、生成模型的不同实现；
步骤二、对不同实现的模型做差分测试，即将相同的输入样本通过不同的实现模型处理，得到输出结果；
步骤三、比对输出结果是否相同；
步骤四、如不相同，则反馈存在代码缺陷，并指导设计蜕变关系进行蜕变测试；
步骤五、否则进入蜕变测试，生成具有蜕变关系的输入样本对；
步骤六、将具有蜕变关系的输入对通过深度学习模型处理，得到输出对结果；
步骤七、比对该输出对是否具有对应的蜕变关系；
步骤八、如无对应的蜕变关系则反馈代码缺陷；
步骤九、否则，表明该模型不存在代码缺陷。
在一个实施例中，在差分测试部分，对于不同的模型输入形式进行不同的处理：
(a)对于给定一类实现相同功能的多个模型，则比较相同输入下的不同模型之间的输出；
(b)对于给定一个具体功能和实现方法的模型，则比较相同输入下该模型在不同框架下实现的输出；
(c)对于给定一个具体实现的模型，则比较其与相同功能的成熟模型相同输入下的输出。
在一个实施例中，所述蜕变关系为改变训练和测试数据输入的RGB信道顺序，图像的RGB通道保存“红色”、“绿色”、“蓝色”的像素值，该数据通常以规定的R、G、B的顺序存储表示。
在一个实施例中，所述蜕变关系为改变训练和测试数据卷积操作的顺序，该蜕变关系通过对图像进行翻转/旋转来完成。
在一个实施例中，所述蜕变关系为将测试数据归一化，该归一化即是将测试数据归一至0均值和单位方差。
在一个实施例中，所述蜕变关系为以常数缩放测试数据，即在原测试数据的基础上乘以一个固定的常数。
本发明的另一目的在于提供一种实现所述基于蜕变测试和差分测试的深度学习代码缺陷检测方法的系统，该基于蜕变测试和差分测试的深度学习代码缺陷检测系统包括：
差分测试模块，用于对模型进行差分测试，其由输入生成子模块、模型实现生成子模块和输出比对子模块组成；
蜕变测试模块，与所述差分测试模块相连接，用于对模型进行蜕变测试，其由蜕变关系输入对构造子模块和输出比对子模块组成。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述基于蜕变测试和差分测试的深度学习代码缺陷检测方法。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
步骤一、生成模型的不同实现；
步骤二、对不同实现的模型做差分测试，即将相同的输入样本通过不同的实现模型处理，得到输出结果；
步骤三、比对输出结果是否相同；
步骤四、如不相同，则反馈存在代码缺陷，并指导设计蜕变关系进行蜕变测试；
步骤五、否则进入蜕变测试，生成具有蜕变关系的输入样本对；
步骤六、将具有蜕变关系的输入对通过深度学习模型处理，得到输出对结果；
步骤七、比对该输出对是否具有对应的蜕变关系；
步骤八、如无对应的蜕变关系则反馈代码缺陷；
步骤九、否则，表明该模型不存在代码缺陷。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于蜕变测试和差分测试的深度学习代码缺陷检测方法。
本发明公开的实施例提供的技术方案具有以下有益效果：
深度学习的代码缺陷检测是深度学习技术在投入到实际应用中不可或缺的一环，本发明所提供深度学习代码缺陷检测方法可以用于具体模型实现的代码缺陷检测、同一类模型多种实现的代码缺陷检测，在代码层面上消除深度学习模型存在的缺陷和隐患。
与现有技术相比，本发明提出的技术方案能够对于深度学习代码缺陷提供一种更高准确率和定位能力、更广适用范围的检测方法，在代码层面上消除深度学习模型存在的缺陷和隐患。
当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本发明提供的基于蜕变测试和差分测试的深度学习代码缺陷检测系统图。
图2是本发明提供的基于蜕变测试和差分测试的深度学习代码缺陷检测方法流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本发明所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本发明所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示，基于蜕变测试和差分测试的深度学习代码缺陷检测系统包括两个模块：差分测试模块和蜕变测试模块。
差分测试模块负责对模型进行差分测试，如测试存在缺陷则反馈该缺陷并指导蜕变测试模块进行蜕变关系设计测试，否则传递至蜕变测试模块。
蜕变测试模块负责对模型进行蜕变测试，如测试存在缺陷则反馈该缺陷，否则认定模型无代码缺陷。
图2是本发明提供的基于蜕变测试和差分测试的深度学习代码缺陷检测方法流程图。本发明提出的基于差分测试和蜕变测试的深度学习代码缺陷检测包括下列步骤：
(1)生成模型的不同实现；
(2)将相同的输入样本通过不同的实现模型处理，得到输出结果
(3)比对输出结果是否相同；
(4)如不相同，则反馈存在代码缺陷，并指导设计蜕变关系进行蜕变测试；
(5)否则进入蜕变测试，生成具有蜕变关系的输入样本对；
(6)将具有蜕变关系的输入对通过深度学习模型处理，得到输出对结果；
(7)比对该输出对是否具有对应的蜕变关系；
(8)如无对应的蜕变关系则反馈代码缺陷；
(9)否则，表明该模型不存在代码缺陷。
其中差分测试部分，对于不同的模型输入形式进行不同的处理：
(a)对于给定一类实现相同功能的多个模型，则比较相同输入下的不同模型之间的输出；
(b)对于给定一个具体功能和实现方法的模型，则比较相同输入下该模型在不同框架下实现的输出；
(c)对于给定一个具体实现的模型，则比较其与相同功能的成熟模型相同输入下的输出。
而对于蜕变测试设计有不同的蜕变关系，包括但不限于以下的蜕变关系：
(a)蜕变关系-1：改变训练和测试数据输入的RGB信道顺序，图像的RGB通道保存“红色”、“绿色”、“蓝色”的像素值，该数据通常以规定的R、G、B的顺序存储表示，例如在3072个字节构成的图像数据中，前1024个字节为R通道的值，接下来1024字节是G通道的值，最后1024字节是B通道的值。该蜕变关系将图像数据排列变换成BGR、BRG、GBR、GRB、RBG这5种变式，理论上模型输出结果应维持原来的关系。
(b)蜕变关系-2：改变训练和测试数据卷积操作的顺序，该蜕变关系通过对图像进行翻转/旋转来完成，我们对此设计了7种蜕变变式：数据矩阵转置、90°旋转、90°翻转、180°旋转、180°翻转、270°旋转、270°翻转。理论上对于训练数据和测试数据同时进行这种变换操作，其模型输出结果应维持原来的关系。
(c)蜕变关系-3：将测试数据归一化，该归一化即是将测试数据归一至0均值和单位方差。例如，假设xtrain为训练数据，则归一化后
其中μ(xtrain)和(xtrain)分别指xtrain的均值和方差。理论上对于测试数据进行归一化变换操作，其模型输出结果应维持原来的关系。
(d)蜕变关系-4：以某个常数缩放测试数据，即在原测试数据的基础上乘以一个固定的常数。理论上对于测试数据进行以常数缩放变换，其模型输出结果应维持原来的关系。
同时，蜕变关系1和2可以组合使用，蜕变关系3和4也可以组合使用。
(1)本发明将差分测试与蜕变测试的思想相结合，先用差分测试检测代码缺陷，如差分测试发现存在缺陷，则指导蜕变测试构造新的蜕变关系再对代码缺陷加以定位。否则通过通用设计的蜕变测试进行再一次缺陷检测验证。双重的检验模式可以覆盖更广的代码缺陷，提高整体的检测性能。
(2)本发明扩展对于深度模型检测的适用范围，能够对不同类型的输入有各自合理的检测方式。对于已有完整实现的模型，采取使用功能相同的典型模型与其进行差分测试；对于单个具体的模型，采取对在不同框架下对该模型的具体实现进行差分测试；对于一类具有相同规约的模型，采取对其的不同实现进行差分测试。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。
Claims (10)
1.一种基于蜕变测试和差分测试的深度学习代码缺陷检测方法，其特征在于，该基于蜕变测试和差分测试的深度学习代码缺陷检测方法包括以下步骤：
步骤一、生成模型的不同实现；
步骤二、对不同实现的模型做差分测试，即将相同的输入样本通过不同的实现模型处理，得到输出结果；
步骤三、比对输出结果是否相同；
步骤四、如不相同，则反馈存在代码缺陷，并指导设计蜕变关系进行蜕变测试；
步骤五、否则进入蜕变测试，生成具有蜕变关系的输入样本对；
步骤六、将具有蜕变关系的输入对通过深度学习模型处理，得到输出对结果；
步骤七、比对该输出对是否具有对应的蜕变关系；
步骤八、如无对应的蜕变关系则反馈代码缺陷；
步骤九、否则，表明该模型不存在代码缺陷。
2.根据权利要求1所述的基于蜕变测试和差分测试的深度学习代码缺陷检测方法，其特征在于，在差分测试部分，对于不同的模型输入形式进行不同的处理：
(a)对于给定一类实现相同功能的多个模型，则比较相同输入下的不同模型之间的输出；
(b)对于给定一个具体功能和实现方法的模型，则比较相同输入下该模型在不同框架下实现的输出；
(c)对于给定一个具体实现的模型，则比较其与相同功能的成熟模型相同输入下的输出。
3.根据权利要求1所述的基于蜕变测试和差分测试的深度学习代码缺陷检测方法，其特征在于，所述蜕变关系为改变训练和测试数据输入的RGB信道顺序，图像的RGB通道保存“红色”、“绿色”、“蓝色”的像素值，该数据通常以规定的R、G、B的顺序存储表示。
4.根据权利要求1所述的基于蜕变测试和差分测试的深度学习代码缺陷检测方法，其特征在于，所述蜕变关系为改变训练和测试数据卷积操作的顺序，该蜕变关系通过对图像进行翻转/旋转来完成。
5.根据权利要求1所述的基于蜕变测试和差分测试的深度学习代码缺陷检测方法，其特征在于，所述蜕变关系为将测试数据归一化，该归一化即是将测试数据归一至0均值和单位方差。
6.根据权利要求1所述的基于蜕变测试和差分测试的深度学习代码缺陷检测方法，其特征在于，所述蜕变关系为以常数缩放测试数据，即在原测试数据的基础上乘以一个固定的常数。
7.一种实现如权利要求1-6任意一项所述基于蜕变测试和差分测试的深度学习代码缺陷检测方法的系统，其特征在于，该基于蜕变测试和差分测试的深度学习代码缺陷检测系统包括：
差分测试模块，用于对模型进行差分测试，其由输入生成子模块、模型实现生成子模块和输出比对子模块组成；
蜕变测试模块，与所述差分测试模块相连接，用于对模型进行蜕变测试，其由蜕变关系输入对构造子模块和输出比对子模块组成。
8.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1-6任意一项所述基于蜕变测试和差分测试的深度学习代码缺陷检测方法。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
步骤一、生成模型的不同实现；
步骤二、对不同实现的模型做差分测试，即将相同的输入样本通过不同的实现模型处理，得到输出结果；
步骤三、比对输出结果是否相同；
步骤四、如不相同，则反馈存在代码缺陷，并指导设计蜕变关系进行蜕变测试；
步骤五、否则进入蜕变测试，生成具有蜕变关系的输入样本对；
步骤六、将具有蜕变关系的输入对通过深度学习模型处理，得到输出对结果；
步骤七、比对该输出对是否具有对应的蜕变关系；
步骤八、如无对应的蜕变关系则反馈代码缺陷；
步骤九、否则，表明该模型不存在代码缺陷。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-6任意一项所述基于蜕变测试和差分测试的深度学习代码缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110809196.9A CN113485932A (zh) | 2021-07-16 | 2021-07-16 | 深度学习代码缺陷检测方法、系统、产品、设备、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110809196.9A CN113485932A (zh) | 2021-07-16 | 2021-07-16 | 深度学习代码缺陷检测方法、系统、产品、设备、终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113485932A true CN113485932A (zh) | 2021-10-08 |
Family
ID=77941958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110809196.9A Pending CN113485932A (zh) | 2021-07-16 | 2021-07-16 | 深度学习代码缺陷检测方法、系统、产品、设备、终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113485932A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110347600A (zh) * | 2019-07-11 | 2019-10-18 | 中国人民解放军陆军工程大学 | 面向卷积神经网络的变异覆盖测试方法及计算机存储介质 |
| CN112988566A (zh) * | 2021-01-25 | 2021-06-18 | 杭州衣科云科技有限公司 | 测试覆盖率提高方法、装置、计算机设备及存储介质 |
-
2021
- 2021-07-16 CN CN202110809196.9A patent/CN113485932A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110347600A (zh) * | 2019-07-11 | 2019-10-18 | 中国人民解放军陆军工程大学 | 面向卷积神经网络的变异覆盖测试方法及计算机存储介质 |
| CN112988566A (zh) * | 2021-01-25 | 2021-06-18 | 杭州衣科云科技有限公司 | 测试覆盖率提高方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| DWARAKANATH A: "Identifying implementation bugs in machine learning based image classifiers using metamorphic testing", 《ACM》, pages 118 - 128 * |
| MUHAMMAD USMAN: "TestMC: Testing Model Counters using Differential and Metamorphic Testing", 《IEEE》, pages 709 - 721 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108615048B (zh) | 基于扰动进化对图像分类器对抗性攻击的防御方法 | |
| US11593607B2 (en) | Method and system for predicting content of multiple components in rare earth extraction process | |
| CN111369003B (zh) | 一种量子比特读取信号保真度的确定方法、装置 | |
| CN111260620B (zh) | 图像异常检测方法、装置和电子设备 | |
| CN111800811A (zh) | 一种频谱异常的无监督检测方法、装置、设备及存储介质 | |
| CN109840312A (zh) | 一种锅炉负荷率-能效曲线的异常值检测方法和装置 | |
| US20230394651A1 (en) | Defect detecting apparatus and method | |
| US20230358603A1 (en) | Method for detecting light leakage of screen, method for detecting ambient light, and apparatus for detecting ambient light | |
| US20240071111A1 (en) | Method, apparatus and system for inspecting cell crush | |
| Zhang et al. | Feature-to-feature regression for a two-step conditional independence test | |
| CN113505886A (zh) | 基于模糊测试的对抗样本生成方法、系统、终端及介质 | |
| CN115240259A (zh) | 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统 | |
| CN116414815A (zh) | 数据质量检测方法、装置、计算机设备和存储介质 | |
| CN116958021A (zh) | 基于人工智能的产品缺陷识别方法、相关装置和介质 | |
| CN114037877B (zh) | 基于局部异常数据提升全局异常检测性能的方法及系统 | |
| Heo et al. | Exploring the differences in adversarial robustness between ViT-and CNN-based models using novel metrics | |
| CN113485932A (zh) | 深度学习代码缺陷检测方法、系统、产品、设备、终端 | |
| TW202127312A (zh) | 影像處理方法及存儲介質 | |
| Barlowe et al. | Multivariate visual explanation for high dimensional datasets | |
| CN116610935A (zh) | 一种基于发动机振动信号多模态分析的机械故障检测方法 | |
| Liu et al. | Siamese DeNPE network framework for fault detection of batch process | |
| You et al. | Tampering detection and localization base on sample guidance and individual camera device convolutional neural network features | |
| CN115620083A (zh) | 模型训练方法、人脸图像质量评价方法、设备及介质 | |
| CN113269701B (zh) | 一种基于注意力引导和核选择机制的低照度图像增强方法 | |
| CN114355234A (zh) | 一种电源模块的智能化质量检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |