CN113900935A - 一种缺陷自动识别方法、装置、计算机设备及存储介质 - Google Patents
一种缺陷自动识别方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113900935A CN113900935A CN202111159926.1A CN202111159926A CN113900935A CN 113900935 A CN113900935 A CN 113900935A CN 202111159926 A CN202111159926 A CN 202111159926A CN 113900935 A CN113900935 A CN 113900935A
- Authority
- CN
- China
- Prior art keywords
- defect
- software
- defect information
- result
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
- G06F11/3608—Software analysis for verifying properties of programs using formal methods, e.g. model checking, abstract interpretation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种缺陷自动识别方法、装置、计算机设备及存储介质,涉及软件测试技术领域,该方法包括:获取软件缺陷信息历史记录,并对所述软件缺陷信息历史记录进行预处理;基于深度学习网络对预处理后的软件缺陷信息历史记录进行特征提取,得到每一条软件缺陷信息历史记录对应的目标特征;基于机器学习对所述目标特征进行标签标注和分类,并根据标注结果和分类结果分别构造缺陷识别模型和缺陷信息库;结合所述缺陷识别模型和所述缺陷信息库对待测试软件进行缺陷识别。本发明结合深度学习网络和机器学习对软件进行缺陷识别,可以极大地提高对软件测试过程中的缺陷识别精度和效率。
Description
技术领域
本发明涉及软件测试技术领域,特别涉及一种缺陷自动识别方法、装置、计算机设备及存储介质。
背景技术
随着科学的发展,人工智能技术在各种硬件的缺陷检测中得到广泛的应用,由于软件界面复杂多变,故在软件行业的缺陷检测中应用甚少。同时,在传统的测试中,肉眼识别缺陷往往会存在遗漏之处,比如在测试过程中,测试人员有时候会因专注于某个业务流程而忽略或遗忘掉一些不太明显的缺陷。当前测试人员还会通过机器视觉进行缺陷检测,但是由于机器视觉主要的处理对象主要是视频和图片数据,加上对文字信息的分析,但无法对一些较为模糊的缺陷识别,因此会导致最终的缺陷结果的准确度较差。并且由于是测试人员人工检测,因此会产生较大的人工成本,使缺陷检测的效率较低。
发明内容
本发明实施例提供了一种缺陷自动识别方法、装置、计算机设备及存储介质,旨在提高对软件测试过程中的缺陷识别精度和效率。
第一方面,本发明实施例提供了一种缺陷自动识别方法,包括:
获取软件缺陷信息历史记录,并对所述软件缺陷信息历史记录进行预处理;
基于深度学习网络对预处理后的软件缺陷信息历史记录进行特征提取,得到每一条软件缺陷信息历史记录对应的目标特征;
基于机器学习对所述目标特征进行标签标注和分类,并根据标注结果和分类结果分别构造缺陷识别模型和缺陷信息库;
结合所述缺陷识别模型和所述缺陷信息库对待测试软件进行缺陷识别。
第二方面,本发明实施例提供了一种缺陷自动识别装置,其特征在于,包括:
预处理单元,用于获取软件缺陷信息历史记录,并对所述软件缺陷信息历史记录进行预处理;
特征提取单元,用于基于深度学习网络对预处理后的软件缺陷信息历史记录进行特征提取,得到每一条软件缺陷信息历史记录对应的目标特征;
构造单元,用于基于机器学习对所述目标特征进行标签标注和分类,并根据标注结果和分类结果分别构造缺陷识别模型和缺陷信息库;
缺陷识别单元,用于结合所述缺陷识别模型和所述缺陷信息库对待测试软件进行缺陷识别。
第三方面,本发明实施例提供了一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的缺陷自动识别方法。
第四方面,本发明实施例提供了所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的缺陷自动识别方法。
本发明实施例提供了一种缺陷自动识别方法、装置、计算机设备及存储介质,该方法包括:获取软件缺陷信息历史记录,并对所述软件缺陷信息历史记录进行预处理;基于深度学习网络对预处理后的软件缺陷信息历史记录进行特征提取,得到每一条软件缺陷信息历史记录对应的目标特征;基于机器学习对所述目标特征进行标签标注和分类,并根据标注结果和分类结果分别构造缺陷识别模型和缺陷信息库;结合所述缺陷识别模型和所述缺陷信息库对待测试软件进行缺陷识别。本发明实施例结合深度学习网络和机器学习对软件进行缺陷识别,可以极大地提高对软件测试过程中的缺陷识别精度和效率。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种缺陷自动识别方法的流程示意图;
图2为本发明实施例提供的一种缺陷自动识别方法中步骤S101的子流程示意图;
图3为本发明实施例提供的一种缺陷自动识别方法中步骤S102的子流程示意图;
图4为本发明实施例提供的一种缺陷自动识别方法中步骤S103的子流程示意图;
图5为本发明实施例提供的一种缺陷自动识别方法中步骤S103的另一子流程示意图;
图6为本发明实施例提供的一种缺陷自动识别方法中步骤S104的子流程示意图;
图7为本发明实施例提供的一种缺陷自动识别装置的示意性框图;
图8为本发明实施例提供的一种缺陷自动识别装置中预处理单元的子示意性框图;
图9为本发明实施例提供的一种缺陷自动识别装置中特征提取单元的子示意性框图;
图10为本发明实施例提供的一种缺陷自动识别装置中构造单元的子示意性框图;
图11为本发明实施例提供的一种缺陷自动识别装置构造单元的另一子示意性框图;
图12为本发明实施例提供的一种缺陷自动识别装置缺陷识别单元的子示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
下面请参见图1,图1为本发明实施例提供的一种缺陷自动识别方法的流程示意图,具体包括:步骤S101~S104。
S101、获取软件缺陷信息历史记录,并对所述软件缺陷信息历史记录进行预处理;
S102、基于深度学习网络对预处理后的软件缺陷信息历史记录进行特征提取,得到每一条软件缺陷信息历史记录对应的目标特征;
S103、基于机器学习对所述目标特征进行标签标注和分类,并根据标注结果和分类结果分别构造缺陷识别模型和缺陷信息库;
S104、结合所述缺陷识别模型和所述缺陷信息库对待测试软件进行缺陷识别。
本实施例中,对所述软件缺陷信息历史记录进行预处理,以去除所述软件缺陷信息历史记录中的干扰项,并且考虑到所述软件缺陷信息历史记录中包含多种不同的数据量纲,因此需要对所述软件缺陷信息历史记录进行例如归一化处理等,使每一条所述软件缺陷信息历史记录所包含的信息量纲保持一致。使后续提取特征以及构建缺陷识别模型和缺陷信息库更加精准。本实施例中的每一条软件缺陷信息历史记录均可以包括对应的标题、环境、步骤、预期结果、截图、视频、缺陷分类、优先级和缺陷严重程度等。然后通过深度学习对所述软件缺陷信息历史记录进行特征提取和训练,可以有效地替代人工进行检测,为软件质量增加保障,提高缺陷识别的精度和准确度,同时提高软件测试的效率。通过机器学习对目标特征标注标签和分类,并以此构建缺陷识别模型和缺陷信息库,从而可以结合利用构建的缺陷识别模型和缺陷信息库对待测试软件进行缺陷识别。
本实施例结合深度学习网络和机器学习对软件缺陷进行识别,可以有效提高缺陷识别精度和效率。并且还可以促进人工智能机器视觉和软件测试行业的更进一步的深度融合。机器视觉主要的处理对象主要是视频和图片数据,加上对文字信息的分析,对于过往无法用机器视觉识别的模糊缺陷,通过深度学习模块对软件进行缺陷特征提取和训练,可以有效地替代人工进行检测,为软件质量增加第二重保障,提高缺陷识别的精度和准确度,同时提高软件测试的效率。
在一实施例中,如图2所示,所述步骤S101包括:步骤S201~S204。
S201、基于奈奎斯特极限约束,利用不同滑窗对所述软件缺陷信息历史记录进行跨频滚动采样,并基于采样结果构建错频样本;
S202、结合错频样本,对所述软件缺陷信息历史记录进行周期对齐,并利用线性插值算法对所述软件缺陷信息历史记录进行数据升频;
S203、按照数据业务含义对所述软件缺陷信息历史记录进行周期前填、聚合、删除中的一种或者多种处理;
S204、对所述软件缺陷信息历史记录进行多重共线性分析,并通过反向特征消除法进行降维压缩,以完成对所述软件缺陷信息历史记录的预处理。
本实施例中,对于所述软件缺陷信息历史记录使用不同的滑窗进行跨频滚动采样,对采样的数据统计特征构成错频样本,并且在采样过程中引入Nyquist奈奎斯特极限进行约束,即在采样过程中,如果采样频率fs.max大于错频样本中最高频率fmax的2倍时(fs.max>2fmax),采样之后的样本数据完整地保留了错频样本中的信息,一般实际应用中保证采样频率为错频样本最高频率的5~10倍。
接着,对所述软件缺陷信息历史记录进行周期对齐,即通过对所述软件缺陷信息历史记录中的流量指标做拆分、对状态量指标做线性插值进行数据升频。这里的线性插值可以采用样条法、线性插值法或者仿射变换插值法等。
然后按照所述软件缺陷信息历史记录中的缺陷信息含义做周期前填或聚合、删除。进一步的,按照周期末端法对不同的缺陷信息进行对齐处理,并且使所述软件缺陷信息历史记录中的缺陷信息按在时间轴和实体轴上的全外连接法进行数据合并,使之成为时间-实体-特征的三维数据集。然后,在特征维度上对三维数据集做多重共线性分析,并通过反向特征消除法对数据集做降维压缩,从而完成对于所述软件缺陷信息历史记录的预处理。
在一实施例中,如图3所示,所述步骤S102包括:步骤S301~S304。
S301、将所述软件缺陷信息历史记录输入至卷积层进行卷积处理;
S302、对卷积层的输出结果依次进行归一化处理和激活函数处理,然后利用最大池化层进行池化处理;
S303、将最大池化层的输出结果依次输入至多个特征提取网络,并由多个特征提取网络分别输出所述软件缺陷信息历史记录的不同维度的特征参数;
S304、将不同维度的特征参数输入至全连接层中,并由所述全连接层输出得到所述目标特征。
本实施例中,利用所述卷积层对所述软件缺陷信息历史记录进行卷积处理,具体的,卷积层的卷积核大小可以为7×7,步长为2,如此,假设所述软件缺陷信息历史记录的大小为[1,3,224,224],即图片大小为224×224,那么卷积层的输出结果便是:(1,64,112,112),可视为64通道的112×112大小的图片。
再利用最大池化层进行池化处理时,最大池化层的步长可以为2,那么按照上述假设条件(即假设所述软件缺陷信息历史记录的大小为[1,3,224,224]),此时最大池化层的输出结果为大小为[1,64,56,56]图片。
通过多个特征提取网络分别输出所述软件缺陷信息历史记录的不同维度的特征参数,其中,多个特征提取网络可以依次标记为:layer1,layer2,……,layern),输出的大小也逐层递减,按照上述假设条件,图片最终减少至2048×7×7=100352,长、宽分别是原始参数的1/32。Mask-RCNN中就可获取R-50的第4和第5次作为特征。从任一通道取出数据,都可以直接绘制该通道的图像。数据流至最后一个子网络layern后输出是2048个7×7大小的图片。还可以将7×7的图片做最大池化或平均池化,最终得到一个值,可理解成从该通道提取的一个特征值。在具体实施例中,所述特征提取网络可以是Bottle网络,即由多个Bottle网络分别输出所述软件缺陷信息历史记录的不同维度的特征参数。Bottle是一个轻量级的web app框架,相较与django等框架,bottle几乎没有任何依赖,而且只有一个文件。而相对于python默认的SimpleHTTPServer,bottle功能更加丰富,实用更加灵活。
依次通过卷积层、最大池化层和全连接层对所述软件缺陷信息历史记录进行处理,最终可以得到对应的目标特征,而为了提高目标特征的提取精度,可以根据实际情况相应增加卷积层和最大池化层的层数,当然,在每一次卷积处理,均需要对卷积处理结果进行归一化处理和激活函数处理,激活函数可以为Relu激活函数。
在一实施例中,如图4所示,所述步骤S103包括:步骤S401~S403。
S401、利用由多个子模型构成的有监督集成模型分别对所述目标特征进行独立表达;
S402、基于独立表达结果,按照少数服从多数的原则进行投票,对目标特征标注相应的标签和分类;
S403、对已标注目标特征和未标注目标特征继续进行下一轮学习迭代训练,直至目标特征停止收敛,以此构造所述缺陷识别模型,同时建立用于保存所述标注结果和分类结果的缺陷信息库。
本实施例中,通过有监督集成模型中的多个子模型分别对所述目标特征进行独立表达,也就是使每个子模型分别对目标特征进行标注分类。但是考虑到每个子模型可能对目标特征的独立表达结果并不相同,也就是标注的标签以及分类结果并不相同,因此将所有子模型的独立表达结果进行汇总,并按照少数服从多数的原则,确定独立表达结果相同个数最多的子模型,并将该子模型输出的独立表达结果作为目标特征的独立表达结果,从而实现对于目标特征的标签标注和分类。在这里,由于是按照少数服从多数的原则,那么可以理解的是,有监督集成模型的子模型的个数需要为奇数,避免出现两种不同但个数相同的独立表达结果。为了使标注结果和分类结果更加准确,可以对目标特征进行多轮迭代训练学习,直至最终的独立表达结果收敛。
由于每一个子模型都有一定的错误率,因此结果会包含一定的噪声。但是,如果从多个子模型中提取预测的平均结果,那么平均结果将收敛于低噪声的准确预测值。本实施例即是通过一组子模型进行集成学习。与单一模型相比,集成学习通常产生更准确、更稳定的预测结果。
进一步的,本实施例还可以使用几种不同的算法(如SVM、KNN和CART),将子模型的独立表达结果进行比较(“投票”)。对于一个新的数据,投票分类器将为其分配投票结果最多的标签。例如,如果SVM和KNN模型都预测“软件无缺陷”,而CART模型预测“软件存在缺陷”,那么投票分类器将选择“软件无缺陷”。当然,除了投票分类器外,本实施例还可以采用相同的学习算法,但使用不同的训练数据。Bootstrap Aggregating(简称Bagging,袋装算法)是一种利用原始训练数据集生成n个新的训练数据集(或称数据包)的技术。每一个新的数据包都是通过对初始训练集的随机抽样和替换来生成的。该算法现在可以训练n个独立的数据集,这些数据集将生成n个新的模型。然后,对于每一个新的观察结果,本实施例可以使用投票分类器来对n个预测结果进行分类或回归。袋装算法是一个非常有用的技术,因为它有助于提高预测的稳定性,并防止模型过拟合。
在一实施例中,如图5所示,所述步骤S103还包括:步骤S501~S504。
S501、按照综合投标成功率对每一子模型赋予对应权重系数;
S502、根据每一子模型的分叉点依据特征对每一子模型进行树深度赋分,并结合分叉点依据特征和树深度采集每一子模型对于所述目标特征的信息增益;
S503、通过所述树深度赋分及所述信息增益,获取每一子模型的特征增益向量;
S504、基于所述特征增益向量和所述权重系数,获取每一子模型的特征分解结果,并将所述特征分解结果作为每一子模型对应的特征决策力。
本实施例中,所述的综合投标成功率即是指每一子模型对于目标特征的标注成功率和分类成功率,对于综合投标成功率更高的子模型,可以为其赋予更大的权重系数,而对于综合投标成功率较低的子模型,可以为其赋予更大的权重系数,以此可以保证对于目标特征的标签标注精度和分类精度。
所述的子模型实质上是一种决策树,也就是说,利用决策树对目标特征进行分类标注。根据决策树的分叉点依据特征对决策树进行树深度赋分,从而获取子模型对于目标特征的信息增益,进一步获取特征增益向量,并结合特征增益向量和子模型的权重系数,计算得到子模型的特征分解结果,然后将该特征分解结果作为子模型的特征决策力,并将所述特征决策力作为该子模型对于目标特征的标注结果和分类结果。
在一实施例中,如图6所示,所述步骤S104包括:步骤S601~S604。
S601、根据标注结果和分类结果建立缺陷标准,并将所述缺陷标准存储于所述缺陷信息库中;
S602、利用所述缺陷标准对待测试软件进行缺陷识别;
S603、若所述缺陷标准未识别到待测试软件的缺陷,则利用所述缺陷识别模型对待测试软件再次进行缺陷识别;
S604、若所述缺陷标准识别到待测试软件的缺陷,则根据所述缺陷对应的标注结果和分类结果对所述缺陷信息库进行更新,以及对所述缺陷进行告警处理,并记录对应的告警内容。
本实施例中,根据目标特征的标注结果,即目标特征标签,可以对目标特征进行归类,将相似的目标特征归为一类,并以此建立缺陷标准,同时将目标特征的标注结果、分类结果以及缺陷标准统一存储于所述缺陷信息库。当对指定的测试软件进行缺陷识别时,便可以依据所述缺陷信息库中保存的缺陷标准对测试软件是否存在相似的缺陷进行识别。例如目标特征的分类结果可以是代码问题、UI问题或者架构问题等,还可以是指严重程度(比如严重、一般、小问题)等等。
当通过所述缺陷标准识别到待测试软件的缺陷时,则可以根据识别结果(即缺陷对应的标注结果和分类结果)对缺陷信息库进行更新。可以理解的是,如果通过缺陷标准识别到缺陷,那么可以说明缺陷信息库中已经保存有该缺陷及其相关信息,因此,这里所说的更新可以具体是该缺陷的识别次数进行增加,方便后续查看缺陷信息库时,可以直观地确定哪些缺陷出现频率较多等。并且进一步的,对识别到的缺陷进行告警,提醒相关人员及时处理缺陷。
当然,所述缺陷信息库中所保存的缺陷标准以及缺陷分类可能并无法识别到所有的缺陷,因而在这种情况下,并可以利用所述缺陷识别模型进行缺陷识别,也就是将所述缺陷识别模型和缺陷信息库结合起来进行缺陷识别,从而可以提高缺陷识别的精度和效率。
在一实施例中,所述步骤S603包括:
当通过缺陷识别模型识别到待测试软件的缺陷时,根据所述缺陷对应的标注结果和分类结果对所述缺陷信息库进行更新,以及对所述缺陷进行告警处理,并记录对应的告警内容;
当通过缺陷识别模型未识别到待测试软件的缺陷时,则判定所述待测试软件无缺陷。
本实施例中,在利用缺陷识别模型识别到缺陷时,可以将该缺陷对应的标注结果及分类结果添加至缺陷信息库,以对缺陷信息库进行更新,使缺陷信息库在以后识别过程中可以通过缺陷标准识别到该缺陷。而如果缺陷识别模型未能识别到缺陷时,则可以判定待测试软件并不存在缺陷。
在具体应用场景中,所述缺陷信息库设置有用于保存识别到的缺陷信息的异常场景以及用于保存待测试软件的正常识别信息的正常场景。
进一步的,在结合所述缺陷信息库对待测试软件进行缺陷识别时,对识别到的缺陷自动进行图像记录和视频记录。如果未识别到缺陷,则将识别过程中采集到的待测试软件信息记录在缺陷信息库的正常场景中。如果识别到缺陷且该缺陷与所述缺陷信息库中保存的相似缺陷相匹配,则根据识别到的缺陷对应的信息,对缺陷信息库中的异常场景对应的相似缺陷的信息进行补充,以完善缺陷标准。如果识别到缺陷且所述缺陷信息库中未保存与该缺陷相匹配的相似缺陷,则在所述缺陷信息库中新增一条缺陷记录,并将该缺陷记录立即推送到机器学习模块,进行机器学习以更新缺陷标准。
在完成对待测试软件的缺陷识别后,输出识别结果以供测试人员对待测试软件的软件质量进行评估。在这里,输出的识别结果即是检测到的bug(故障)数量,bug数量越多,则待测试软件存在的缺陷越多。如果检测到BUG时,通过本实施例可以及时提醒测试人员,为软件质量重重把关,保障软件的正常运行。通过告警信息,对于未能重现的BUG提供一定的依据,协助开发和测试对缺陷进行定位。同时,根据缺陷信息库记录的缺陷信息,测试人员可以复制自动识别的缺陷内容,减少思考缺陷提交描述的语言,从而提高测试效率。对于软件测试初学者,本实施例可以提供学习素材,快速提升测试人员对缺陷识别的技能。另外,本实施还可以在海量的缺陷数据中挖掘新的价值,促进人工智能和软件测试的进一步融合。
图7为本发明实施例提供的一种缺陷自动识别装置700的示意性框图,该装置700包括:
预处理单元701,用于获取软件缺陷信息历史记录,并对所述软件缺陷信息历史记录进行预处理;
特征提取单元702,用于基于深度学习网络对预处理后的软件缺陷信息历史记录进行特征提取,得到每一条软件缺陷信息历史记录对应的目标特征;
构造单元703,用于基于机器学习对所述目标特征进行标签标注和分类,并根据标注结果和分类结果分别构造缺陷识别模型和缺陷信息库;
缺陷识别单元704,用于结合所述缺陷识别模型和所述缺陷信息库对待测试软件进行缺陷识别。
本实施例中,对所述软件缺陷信息历史记录进行预处理,以去除所述软件缺陷信息历史记录中的干扰项,并且考虑到所述软件缺陷信息历史记录中包含多种不同的数据量纲,因此需要对所述软件缺陷信息历史记录进行例如归一化处理等,使每一条所述软件缺陷信息历史记录所包含的信息量纲保持一致。使后续提取特征以及构建缺陷识别模型和缺陷信息库更加精准。本实施例中的每一条软件缺陷信息历史记录均可以包括对应的标题、环境、步骤、预期结果、截图、视频、缺陷分类、优先级和缺陷严重程度等。然后通过深度学习对所述软件缺陷信息历史记录进行特征提取和训练,可以有效地替代人工进行检测,为软件质量增加保障,提高缺陷识别的精度和准确度,同时提高软件测试的效率。通过机器学习对目标特征标注标签和分类,并以此构建缺陷识别模型和缺陷信息库,从而可以结合利用构建的缺陷识别模型和缺陷信息库对待测试软件进行缺陷识别。
本实施例结合深度学习网络和机器学习对软件缺陷进行识别,可以有效提高缺陷识别精度和效率。并且还可以促进人工智能机器视觉和软件测试行业的更进一步的深度融合。机器视觉主要的处理对象主要是视频和图片数据,加上对文字信息的分析,对于过往无法用机器视觉识别的模糊缺陷,通过深度学习模块对软件进行缺陷特征提取和训练,可以有效地替代人工进行检测,为软件质量增加第二重保障,提高缺陷识别的精度和准确度,同时提高软件测试的效率。
在一实施例中,如图8所示,所述预处理单元701包括:
采样单元801,用于基于奈奎斯特极限约束,利用不同滑窗对所述软件缺陷信息历史记录进行跨频滚动采样,并基于采样结果构建错频样本;
对齐单元802,用于结合错频样本,对所述软件缺陷信息历史记录进行周期对齐,并利用线性插值算法对所述软件缺陷信息历史记录进行数据升频;
周期处理单元803,用于按照数据业务含义对所述软件缺陷信息历史记录进行周期前填、聚合、删除中的一种或者多种处理;
分析单元804,用于对所述软件缺陷信息历史记录进行多重共线性分析,并通过反向特征消除法进行降维压缩,以完成对所述软件缺陷信息历史记录的预处理。
本实施例中,对于所述软件缺陷信息历史记录使用不同的滑窗进行跨频滚动采样,对采样的数据统计特征构成错频样本,并且在采样过程中引入Nyquist奈奎斯特极限进行约束。
接着,对所述软件缺陷信息历史记录进行周期对齐,即通过对所述软件缺陷信息历史记录中的流量指标做拆分、对状态量指标做线性插值进行数据升频。这里的线性插值可以采用样条法、线性插值法或者仿射变换插值法等。
然后按照所述软件缺陷信息历史记录中的缺陷信息含义做周期前填或聚合、删除。进一步的,按照周期末端法对不同的缺陷信息进行对齐处理,并且使所述软件缺陷信息历史记录中的缺陷信息按在时间轴和实体轴上的全外连接法进行数据合并,使之成为时间-实体-特征的三维数据集。然后,在特征维度上对三维数据集做多重共线性分析,并通过反向特征消除法对数据集做降维压缩,从而完成对于所述软件缺陷信息历史记录的预处理。
在一实施例中,如图9所示,所述特征提取单元702包括:
卷积处理单元901,用于将所述软件缺陷信息历史记录输入至卷积层进行卷积处理;
池化处理单元902,用于对卷积层的输出结果依次进行归一化处理和激活函数处理,然后利用最大池化层进行池化处理;
参数输出单元903,用于将最大池化层的输出结果依次输入至多个特征提取网络,并由多个特征提取网络分别输出所述软件缺陷信息历史记录的不同维度的特征参数;
特征输出单元904,用于将不同维度的特征参数输入至全连接层中,并由所述全连接层输出得到所述目标特征。
本实施例中,利用所述卷积层对所述软件缺陷信息历史记录进行卷积处理,具体的,卷积层的卷积核大小可以为7×7,步长为2,如此,假设所述软件缺陷信息历史记录的大小为[1,3,224,224],即图片大小为224×224,那么卷积层的输出结果便是:(1,64,112,112),可视为64通道的112×112大小的图片。
再利用最大池化层进行池化处理时,最大池化层的步长可以为2,那么按照上述假设条件(即假设所述软件缺陷信息历史记录的大小为[1,3,224,224]),此时最大池化层的输出结果为大小为[1,64,56,56]图片。
通过多个特征提取网络分别输出所述软件缺陷信息历史记录的不同维度的特征参数,其中,多个特征提取网络可以依次标记为:layer1,layer2,……,layern),输出的大小也逐层递减,按照上述假设条件,图片最终减少至2048×7×7=100352,长、宽分别是原始参数的1/32。Mask-RCNN中就可获取R-50的第4和第5次作为特征。从任一通道取出数据,都可以直接绘制该通道的图像。数据流至最后一个子网络layern后输出是2048个7×7大小的图片。还可以将7×7的图片做最大池化或平均池化,最终得到一个值,可理解成从该通道提取的一个特征值。在具体实施例中,所述特征提取网络可以是Bottle网络,即由多个Bottle网络分别输出所述软件缺陷信息历史记录的不同维度的特征参数。Bottle是一个轻量级的web app框架,相较与django等框架,bottle几乎没有任何依赖,而且只有一个文件。而相对于python默认的SimpleHTTPServer,bottle功能更加丰富,实用更加灵活。
依次通过卷积层、最大池化层和全连接层对所述软件缺陷信息历史记录进行处理,最终可以得到对应的目标特征,而为了提高目标特征的提取精度,可以根据实际情况相应增加卷积层和最大池化层的层数,当然,在每一次卷积处理,均需要对卷积处理结果进行归一化处理和激活函数处理,激活函数可以为Relu激活函数。
在一实施例中,如图10所示,所述构造单元703包括:
独立表达单元1001,用于利用由多个子模型构成的有监督集成模型分别对所述目标特征进行独立表达;
投票单元1002,用于基于独立表达结果,按照少数服从多数的原则进行投票,对目标特征标注相应的标签和分类;
迭代训练单元1003,用于对已标注目标特征和未标注目标特征继续进行下一轮学习迭代训练,直至目标特征停止收敛,以此构造所述缺陷识别模型,同时建立用于保存所述标注结果和分类结果的缺陷信息库。
本实施例中,通过有监督集成模型中的多个子模型分别对所述目标特征进行独立表达,也就是使每个子模型分别对目标特征进行标注分类。但是考虑到每个子模型可能对目标特征的独立表达结果并不相同,也就是标注的标签以及分类结果并不相同,因此将所有子模型的独立表达结果进行汇总,并按照少数服从多数的原则,确定独立表达结果相同个数最多的子模型,并将该子模型输出的独立表达结果作为目标特征的独立表达结果,从而实现对于目标特征的标签标注和分类。在这里,由于是按照少数服从多数的原则,那么可以理解的是,有监督集成模型的子模型的个数需要为奇数,避免出现两种不同但个数相同的独立表达结果。为了使标注结果和分类结果更加准确,可以对目标特征进行多轮迭代训练学习,直至最终的独立表达结果收敛。
由于每一个子模型都有一定的错误率,因此结果会包含一定的噪声。但是,如果从多个子模型中提取预测的平均结果,那么平均结果将收敛于低噪声的准确预测值。本实施例即是通过一组子模型进行集成学习。与单一模型相比,集成学习通常产生更准确、更稳定的预测结果。
进一步的,本实施例还可以使用几种不同的算法(如SVM、KNN和CART),将子模型的独立表达结果进行比较(“投票”)。对于一个新的数据,投票分类器将为其分配投票结果最多的标签。例如,如果SVM和KNN模型都预测“软件无缺陷”,而CART模型预测“软件存在缺陷”,那么投票分类器将选择“软件无缺陷”。当然,除了投票分类器外,本实施例还可以采用相同的学习算法,但使用不同的训练数据。Bootstrap Aggregating(简称Bagging,袋装算法)是一种利用原始训练数据集生成n个新的训练数据集(或称数据包)的技术。每一个新的数据包都是通过对初始训练集的随机抽样和替换来生成的。该算法现在可以训练n个独立的数据集,这些数据集将生成n个新的模型。然后,对于每一个新的观察结果,本实施例可以使用投票分类器来对n个预测结果进行分类或回归。袋装算法是一个非常有用的技术,因为它有助于提高预测的稳定性,并防止模型过拟合。
在一实施例中,如图11所示,所述构造单元703还包括:
赋予单元1101,用于按照综合投标成功率对每一子模型赋予对应权重系数;
赋分单元1102,用于根据每一子模型的分叉点依据特征对每一子模型进行树深度赋分,并结合分叉点依据特征和树深度采集每一子模型对于所述目标特征的信息增益;
第一获取单元1103,用于通过所述树深度赋分及所述信息增益,获取每一子模型的特征增益向量;
第二获取单元1104,用于基于所述特征增益向量和所述权重系数,获取每一子模型的特征分解结果,并将所述特征分解结果作为每一子模型对应的特征决策力。
本实施例中,所述的综合投标成功率即是指每一子模型对于目标特征的标注成功率和分类成功率,对于综合投标成功率更高的子模型,可以为其赋予更大的权重系数,而对于综合投标成功率较低的子模型,可以为其赋予更大的权重系数,以此可以保证对于目标特征的标签标注精度和分类精度。
所述的子模型实质上是一种决策树,也就是说,利用决策树对目标特征进行分类标注。根据决策树的分叉点依据特征对决策树进行树深度赋分,从而获取子模型对于目标特征的信息增益,进一步获取特征增益向量,并结合特征增益向量和子模型的权重系数,计算得到子模型的特征分解结果,然后将该特征分解结果作为子模型的特征决策力,并将所述特征决策力作为该子模型对于目标特征的标注结果和分类结果。
在一实施例中,如图12所示,所述缺陷识别单元704包括:
标准建立单元1201,用于根据标注结果和分类结果建立缺陷标准,并将所述缺陷标准存储于所述缺陷信息库中;
标准识别单元1202,用于利用所述缺陷标准对待测试软件进行缺陷识别;
模型识别单元1203,用于若所述缺陷标准未识别到待测试软件的缺陷,则利用所述缺陷识别模型对待测试软件再次进行缺陷识别;
第一更新单元1204,用于若所述缺陷标准识别到待测试软件的缺陷,则根据所述缺陷对应的标注结果和分类结果对所述缺陷信息库进行更新,以及对所述缺陷进行告警处理,并记录对应的告警内容。
本实施例中,根据目标特征的标注结果,即目标特征标签,可以对目标特征进行归类,将相似的目标特征归为一类,并以此建立缺陷标准,同时将目标特征的标注结果、分类结果以及缺陷标准统一存储于所述缺陷信息库。当对指定的测试软件进行缺陷识别时,便可以依据所述缺陷信息库中保存的缺陷标准对测试软件是否存在相似的缺陷进行识别。例如目标特征的分类结果可以是代码问题、UI问题或者架构问题等,还可以是指严重程度(比如严重、一般、小问题)等等。
当通过所述缺陷标准识别到待测试软件的缺陷时,则可以根据识别结果(即缺陷对应的标注结果和分类结果)对缺陷信息库进行更新。可以理解的是,如果通过缺陷标准识别到缺陷,那么可以说明缺陷信息库中已经保存有该缺陷及其相关信息,因此,这里所说的更新可以具体是该缺陷的识别次数进行增加,方便后续查看缺陷信息库时,可以直观地确定哪些缺陷出现频率较多等。并且进一步的,对识别到的缺陷进行告警,提醒相关人员及时处理缺陷。
当然,所述缺陷信息库中所保存的缺陷标准以及缺陷分类可能并无法识别到所有的缺陷,因而在这种情况下,并可以利用所述缺陷识别模型进行缺陷识别,也就是将所述缺陷识别模型和缺陷信息库结合起来进行缺陷识别,从而可以提高缺陷识别的精度和效率。
在一实施例中,所述模型识别单元1203包括:
第二更新单元,用于当通过缺陷识别模型识别到待测试软件的缺陷时,根据所述缺陷对应的标注结果和分类结果对所述缺陷信息库进行更新,以及对所述缺陷进行告警处理,并记录对应的告警内容;
缺陷判定单元,用于当通过缺陷识别模型未识别到待测试软件的缺陷时,则判定所述待测试软件无缺陷。
本实施例中,在利用缺陷识别模型识别到缺陷时,可以将该缺陷对应的标注结果及分类结果添加至缺陷信息库,以对缺陷信息库进行更新,使缺陷信息库在以后识别过程中可以通过缺陷标准识别到该缺陷。而如果缺陷识别模型未能识别到缺陷时,则可以判定待测试软件并不存在缺陷。
在具体应用场景中,所述缺陷信息库设置有用于保存识别到的缺陷信息的异常场景以及用于保存待测试软件的正常识别信息的正常场景。
进一步的,在结合所述缺陷信息库对待测试软件进行缺陷识别时,对识别到的缺陷自动进行图像记录和视频记录。如果未识别到缺陷,则将识别过程中采集到的待测试软件信息记录在缺陷信息库的正常场景中。如果识别到缺陷且该缺陷与所述缺陷信息库中保存的相似缺陷相匹配,则根据识别到的缺陷对应的信息,对缺陷信息库中的异常场景对应的相似缺陷的信息进行补充,以完善缺陷标准。如果识别到缺陷且所述缺陷信息库中未保存与该缺陷相匹配的相似缺陷,则在所述缺陷信息库中新增一条缺陷记录,并将该缺陷记录立即推送到机器学习模块,进行机器学习以更新缺陷标准。
在完成对待测试软件的缺陷识别后,输出识别结果以供测试人员对待测试软件的软件质量进行评估。在这里,输出的识别结果即是检测到的bug(故障)数量,bug数量越多,则待测试软件存在的缺陷越多。如果检测到BUG时,通过本实施例可以及时提醒测试人员,为软件质量重重把关,保障软件的正常运行。通过告警信息,对于未能重现的BUG提供一定的依据,协助开发和测试对缺陷进行定位。同时,根据缺陷信息库记录的缺陷信息,测试人员可以复制自动识别的缺陷内容,减少思考缺陷提交描述的语言,从而提高测试效率。对于软件测试初学者,本实施例可以提供学习素材,快速提升测试人员对缺陷识别的技能。另外,本实施还可以在海量的缺陷数据中挖掘新的价值,促进人工智能和软件测试的进一步融合。
本发明实施例还提供了一种计算机可读存储介质,其上存有计算机程序,该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机设备,可以包括存储器和处理器,存储器中存有计算机程序,处理器调用存储器中的计算机程序时,可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口,电源等组件。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种缺陷自动识别方法,其特征在于,包括:
获取软件缺陷信息历史记录,并对所述软件缺陷信息历史记录进行预处理;
基于深度学习网络对预处理后的软件缺陷信息历史记录进行特征提取,得到每一条软件缺陷信息历史记录对应的目标特征;
基于机器学习对所述目标特征进行标签标注和分类,并根据标注结果和分类结果分别构造缺陷识别模型和缺陷信息库;
结合所述缺陷识别模型和所述缺陷信息库对待测试软件进行缺陷识别。
2.根据权利要求1所述的缺陷自动识别方法,其特征在于,所述获取软件缺陷信息历史记录,并对所述软件缺陷信息历史记录进行预处理,包括:
基于奈奎斯特极限约束,利用不同滑窗对所述软件缺陷信息历史记录进行跨频滚动采样,并基于采样结果构建错频样本;
结合错频样本,对所述软件缺陷信息历史记录进行周期对齐,并利用线性插值算法对所述软件缺陷信息历史记录进行数据升频;
按照数据业务含义对所述软件缺陷信息历史记录进行周期前填、聚合、删除中的一种或者多种处理;
对所述软件缺陷信息历史记录进行多重共线性分析,并通过反向特征消除法进行降维压缩,以完成对所述软件缺陷信息历史记录的预处理。
3.根据权利要求1所述的缺陷自动识别方法,其特征在于,所述基于深度学习网络对预处理后的软件缺陷信息历史记录进行特征提取,得到每一条软件缺陷信息历史记录对应的目标特征,包括:
将所述软件缺陷信息历史记录输入至卷积层进行卷积处理;
对卷积层的输出结果依次进行归一化处理和激活函数处理,然后利用最大池化层进行池化处理;
将最大池化层的输出结果依次输入至多个特征提取网络,并由多个特征提取网络分别输出所述软件缺陷信息历史记录的不同维度的特征参数;
将不同维度的特征参数输入至全连接层中,并由所述全连接层输出得到所述目标特征。
4.根据权利要求1所述的缺陷自动识别方法,其特征在于,所述基于机器学习对所述目标特征进行标签标注和分类,并根据标注结果和分类结果分别构造缺陷识别模型和缺陷信息库,包括:
利用由多个子模型构成的有监督集成模型分别对所述目标特征进行独立表达;
基于独立表达结果,按照少数服从多数的原则进行投票,对目标特征标注相应的标签和分类;
对已标注目标特征和未标注目标特征继续进行下一轮学习迭代训练,直至目标特征停止收敛,以此构造所述缺陷识别模型,同时建立用于保存所述标注结果和分类结果的缺陷信息库。
5.根据权利要求4所述的缺陷自动识别方法,其特征在于,所述基于机器学习对所述目标特征进行标签标注和分类,并根据标注结果和分类结果分别构造缺陷识别模型和缺陷信息库,还包括:
按照综合投标成功率对每一子模型赋予对应权重系数;
根据每一子模型的分叉点依据特征对每一子模型进行树深度赋分,并结合分叉点依据特征和树深度采集每一子模型对于所述目标特征的信息增益;
通过所述树深度赋分及所述信息增益,获取每一子模型的特征增益向量;
基于所述特征增益向量和所述权重系数,获取每一子模型的特征分解结果,并将所述特征分解结果作为每一子模型对应的特征决策力。
6.根据权利要求1所述的缺陷自动识别方法,其特征在于,所述结合所述缺陷识别模型和所述缺陷信息库对待测试软件进行缺陷识别,包括:
根据标注结果和分类结果建立缺陷标准,并将所述缺陷标准存储于所述缺陷信息库中;
利用所述缺陷标准对待测试软件进行缺陷识别;
若所述缺陷标准未识别到待测试软件的缺陷,则利用所述缺陷识别模型对待测试软件再次进行缺陷识别;若所述缺陷标准识别到待测试软件的缺陷,则根据所述缺陷对应的标注结果和分类结果对所述缺陷信息库进行更新,以及对所述缺陷进行告警处理,并记录对应的告警内容。
7.根据权利要求6所述的缺陷自动识别方法,其特征在于,所述利用所述缺陷识别模型对待测试软件再次进行缺陷识别,包括:
当通过缺陷识别模型识别到待测试软件的缺陷时,根据所述缺陷对应的标注结果和分类结果对所述缺陷信息库进行更新,以及对所述缺陷进行告警处理,并记录对应的告警内容;
当通过缺陷识别模型未识别到待测试软件的缺陷时,则判定所述待测试软件无缺陷。
8.一种缺陷自动识别装置,其特征在于,包括:
预处理单元,用于获取软件缺陷信息历史记录,并对所述软件缺陷信息历史记录进行预处理;
特征提取单元,用于基于深度学习网络对预处理后的软件缺陷信息历史记录进行特征提取,得到每一条软件缺陷信息历史记录对应的目标特征;
构造单元,用于基于机器学习对所述目标特征进行标签标注和分类,并根据标注结果和分类结果分别构造缺陷识别模型和缺陷信息库;
缺陷识别单元,用于结合所述缺陷识别模型和所述缺陷信息库对待测试软件进行缺陷识别。
9.一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的缺陷自动识别方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的缺陷自动识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111159926.1A CN113900935A (zh) | 2021-09-30 | 2021-09-30 | 一种缺陷自动识别方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111159926.1A CN113900935A (zh) | 2021-09-30 | 2021-09-30 | 一种缺陷自动识别方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113900935A true CN113900935A (zh) | 2022-01-07 |
Family
ID=79189793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111159926.1A Pending CN113900935A (zh) | 2021-09-30 | 2021-09-30 | 一种缺陷自动识别方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113900935A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116399873A (zh) * | 2023-06-07 | 2023-07-07 | 杭州百子尖科技股份有限公司 | 基于机器视觉的片材缺陷贴标方法、装置、设备以及介质 |
CN117654907A (zh) * | 2023-11-29 | 2024-03-08 | 嘉兴嘉视自动化科技有限公司 | 用于带料检测机的自动剔除方法及系统 |
-
2021
- 2021-09-30 CN CN202111159926.1A patent/CN113900935A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116399873A (zh) * | 2023-06-07 | 2023-07-07 | 杭州百子尖科技股份有限公司 | 基于机器视觉的片材缺陷贴标方法、装置、设备以及介质 |
CN116399873B (zh) * | 2023-06-07 | 2023-09-26 | 杭州百子尖科技股份有限公司 | 基于机器视觉的片材缺陷贴标方法、装置、设备以及介质 |
CN117654907A (zh) * | 2023-11-29 | 2024-03-08 | 嘉兴嘉视自动化科技有限公司 | 用于带料检测机的自动剔除方法及系统 |
CN117654907B (zh) * | 2023-11-29 | 2024-07-02 | 嘉兴嘉视自动化科技有限公司 | 用于带料检测机的自动剔除方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109741332B (zh) | 一种人机协同的图像分割与标注方法 | |
CN110147726B (zh) | 业务质检方法和装置、存储介质及电子装置 | |
CN109189767B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
US11950020B2 (en) | Methods and apparatus for displaying, compressing and/or indexing information relating to a meeting | |
JP2015087903A (ja) | 情報処理装置及び情報処理方法 | |
CN113900935A (zh) | 一种缺陷自动识别方法、装置、计算机设备及存储介质 | |
CN111931809A (zh) | 数据的处理方法、装置、存储介质及电子设备 | |
CN111611218A (zh) | 一种基于深度学习的分布式异常日志自动识别方法 | |
CN110245235B (zh) | 一种基于协同训练的文本分类辅助标注方法 | |
CN110909768B (zh) | 一种标注数据获取方法及装置 | |
CN113989476A (zh) | 对象识别方法及电子设备 | |
CN115063035A (zh) | 基于神经网络的客户评估方法、系统、设备及存储介质 | |
JP6988995B2 (ja) | 画像生成装置、画像生成方法および画像生成プログラム | |
CN113032676A (zh) | 基于微反馈的推荐方法和系统 | |
CN111859925A (zh) | 一种基于概率情感词典的情感分析系统及方法 | |
CN110826616A (zh) | 信息处理方法及装置、电子设备、存储介质 | |
CN113723367B (zh) | 一种答案确定方法、判题方法及装置和电子设备 | |
CN115620083A (zh) | 模型训练方法、人脸图像质量评价方法、设备及介质 | |
CN115063858A (zh) | 视频人脸表情识别模型训练方法、装置、设备及存储介质 | |
CN114780757A (zh) | 短媒体标签抽取方法、装置、计算机设备和存储介质 | |
CN114003722A (zh) | 用于确定文本数据的标签的方法和设备 | |
CN111311197A (zh) | 差旅数据处理方法及装置 | |
CN113723436A (zh) | 数据的处理方法、装置、计算机设备和存储介质 | |
CN113722496B (zh) | 一种三元组抽取方法、装置、可读存储介质及电子设备 | |
CN114898339B (zh) | 驾驶行为预测模型的训练方法、装置、设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |