CN113220565A - 一种众包测试报告的处理方法及装置 - Google Patents

一种众包测试报告的处理方法及装置 Download PDF

Info

Publication number
CN113220565A
CN113220565A CN202110455413.9A CN202110455413A CN113220565A CN 113220565 A CN113220565 A CN 113220565A CN 202110455413 A CN202110455413 A CN 202110455413A CN 113220565 A CN113220565 A CN 113220565A
Authority
CN
China
Prior art keywords
test
test reports
threshold
processing
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110455413.9A
Other languages
English (en)
Other versions
CN113220565B (zh
Inventor
张晋桂
罗军
黄万民
王萍
范耀明
郑海涛
鲜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tuoshi Software Science Garden Co ltd Guangdong
Original Assignee
Tuoshi Software Science Garden Co ltd Guangdong
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tuoshi Software Science Garden Co ltd Guangdong filed Critical Tuoshi Software Science Garden Co ltd Guangdong
Priority to CN202110455413.9A priority Critical patent/CN113220565B/zh
Publication of CN113220565A publication Critical patent/CN113220565A/zh
Application granted granted Critical
Publication of CN113220565B publication Critical patent/CN113220565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种众包测试报告的处理方法及装置，所述方法包括：获取若干份测试报告；分别对每份所述测试报告作分析处理，得到若干个处理信息；基于所述若干个处理信息分别计算所述若干份测试报告两两之间的相似值；根据所述若干份测试报告两两之间的相似值对将所述若干份测试报告进行聚合，得到多个聚合集合；获取每个所述聚合集合的缺陷分数，基于所述缺陷分数的数值大小对所述多个聚合集合进行排序。本发明可以通过对测试报告进行处理，得到报告相似度，进行报告聚类融合，再对融合后的测试报告进行修订和评测，最后根据评测结果进行报告优先级排序，从而大大减少开发人员阅读报告的数据以及阅读的时间，提高开发人员查看测试报告的效率。

Description

一种众包测试报告的处理方法及装置
技术领域
本发明涉及软件测试的技术领域，尤其涉及一种众包测试报告的处理方法及装置。
背景技术
随着移动互联网和移动设备的飞速发展，移动应用已经应用到社会生活的各个方面。在推广使用前，需要测试应用效果与功能，传统的测试是通过专家或专业测试人员进行测试。但此方式的测试成本较高，难以无法满足移动应用版本多样、迭代快等特点。
因此，为了满足移动应用的测试需求，目前其中一种常用的移动应用程序测试是众包测试。众包测试是指测试人员将测试任务发布到众包平台，并由平台上的大规模众包工人进行人工测试。
然而，由于众测人员数量多、众测人员在测试进行中也缺乏交流与协作，导致每个测试人员提交的测试报告均相互独立且质量参差不齐，若逐一阅读测试报告，会耗费大量时间，大大降低测试效率，而且由于测试项目大多相同，提交的报告中包含大量重复内容，不但对后续测试报告审查形成了很大障碍，还进一步降低了后续审查的效率。
发明内容
本发明提出一种众包测试报告的处理方法及装置，所述方法将测试报告进行分类和排序，减少开发人员阅读测试报告的数量和时间，从而提高处理效率。
本发明实施例的第一方面提供了一种众包测试报告的处理方法，所述方法包括：
获取若干份测试报告；
分别对每份所述测试报告作分析处理，得到若干个处理信息；
基于所述若干个处理信息分别计算所述若干份测试报告两两之间的相似值；
根据所述若干份测试报告两两之间的相似值对将所述若干份测试报告进行聚合，得到多个聚合集合；
获取每个所述聚合集合的缺陷分数，基于所述缺陷分数的数值大小对所述多个聚合集合进行排序。
在第一方面的一种可能的实现方式中，所述根据所述若干份测试报告两两之间的相似值对将所述若干份测试报告进行聚合，包括：
分别将预设的N个阈值与所述若干份测试报告两两之间的相似值作比较；
当所述若干份测试报告两两之间的相似值大于第一阈值且小于第二阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告聚合，并生成与所述第一阈值对应的聚合集合，其中，第二阈值大于第一阈值；
当所述若干份测试报告两两之间的相似值大于第二阈值且小于第N-1阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合，以及与第二阈值对应的聚合集合，其中，第N-1阈值大于第二阈值；
当所述若干份测试报告两两之间的相似值大于第N-1阈值且小于第N阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合、与第二阈值对应的聚合集合以及与第N-1阈值对应的聚合集合，其中，第N阈值大于第N-1阈值；
当所述若干份测试报告两两之间的相似值大于第N阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合、与第二阈值对应的聚合集合、与第N-1阈值对应的聚合集合以及与第N阈值对应的聚合集合，其中，第N阈值大于第N-1阈值。
在第一方面的一种可能的实现方式中，所述处理信息包括文本向量集合；
所述分别对每份所述测试报告作分析处理，得到若干个处理信息，包括：
分别将每份所述测试报告的文本信息转换为文本向量；
对所述文本向量进行加权处理得到词频向量；
采用预设的逆文本频率指数对所述词频向量进行第二次加权处理得到文本向量，集合所有文本向量得到文本向量集合。
在第一方面的一种可能的实现方式中，所述处理信息包括日志原始向量；
所述分别对每份所述测试报告作分析处理，得到若干个处理信息，包括：
根据所述词频向量对软件日志进行全文词频向量检索、日志内容提取和上下文语意分析处理，从所述测试报告中提取日志原始向量。
在第一方面的一种可能的实现方式中，所述处理信息包括关键图像和特征图像；
所述分别对每份所述测试报告作分析处理，得到若干个处理信息，包括：
获取每份所述测试报告对应的错误图像；
通过预设的转换算法从所述错误图像中提取特征图像；
通过预设的图像识别技术从所述错误图像截取对应的关键图像，其中，所述关键图像包括软件菜单图像、按钮的文字图像。
在第一方面的一种可能的实现方式中，所述基于所述若干个处理信息分别计算所述若干份测试报告两两之间的相似值，具体为：
采用如下公式计算相似值：
Figure 100002_DEST_PATH_IMAGE001
Figure 100002_DEST_PATH_IMAGE002
SimilaritySS＝α*SS′+β*STPs
Similarity(D1，D2)＝γ×TS+δ×LS+ε×SS
其中，SimilaritTS表示文本描述相似度，γ″n、γ″m表示文本向量； SimilarityLS表示软件日志相似度，ln、lm表示日志原始向量；SimilaritySS表示错误截图相似度，SS′表示图片相似度，STPs表示图片关键字相似度；Similarity(D1，D2)表示任意两份缺陷报告的相似度，α、β、γ、δ、ε为相对应的权重。
在第一方面的一种可能的实现方式中，所述方法还包括：
分别融合每一个所述聚合集合所包含的处理信息，并分别生成多个反馈报告。
本发明实施例的第二方面提供了一种众包测试报告的处理装置，所述装置包括：
获取模块，用于获取若干份测试报告；
分析模块，用于分别对每份所述测试报告作分析处理，得到若干个处理信息；
计算模块，用于基于所述若干个处理信息分别计算所述若干份测试报告两两之间的相似值；
聚合模块，用于根据所述若干份测试报告两两之间的相似值对将所述若干份测试报告进行聚合，得到多个聚合集合；
排序模块，用于获取每个所述聚合集合的缺陷分数，基于所述缺陷分数的数值大小对所述多个聚合集合进行排序。
相比于现有技术，本发明实施例提供的众包测试报告的处理方法及装置，其有益效果在于：本发明可以通过对测试报告进行处理，得到报告相似度，进行报告聚类融合，再对融合后的测试报告进行修订和评测，最后根据评测结果进行报告优先级排序，从而大大减少开发人员阅读报告的数据以及阅读的时间，提高开发人员查看测试报告的效率。
附图说明
图1是本发明一实施例提供的一种众包测试报告的处理方法的流程示意图；
图2是本发明一实施例提供的相似值计算的操作流程图；
图3是本发明一实施例提供的测试报告排序的操作流程图；
图4是本发明一实施例提供的一种众包测试报告的处理方法的操作流程图；
图5是本发明一实施例提供的一种众包测试报告的处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于目前的众测人员数量多、众测人员在测试进行中也缺乏交流与协作，导致每个测试人员提交的测试报告均相互独立且质量参差不齐，若逐一阅读测试报告，会耗费大量时间，大大降低测试效率，而且由于测试项目大多相同，提交的报告中包含大量重复内容，不但对后续测试报告审查形成了很大障碍，还进一步降低了后续审查的效率。
为了解决上述问题，下面将通过以下具体的实施例对本申请实施例提供的一种众包测试报告的处理方法进行详细介绍和说明。
参照图1，示出了本发明一实施例提供的一种众包测试报告的处理方法的流程示意图。
其中，作为示例的，所述众包测试报告的处理方法，可以包括：
S11、获取若干份测试报告。
在本实施例中，可以选取多个众测工人的测试报告，得到若干份测试报告；也可以从多个不同的软件系统中收集了若干份众包的测试报告，对每一份测试报告添加多种标签，以作区分。其中，测试报告数量从1个到1000份不等。
S12、分别对每份所述测试报告作分析处理，得到若干个处理信息。
该分析处理可以是特征提取、筛选和检测等处理。
为了能加快测试报告的分类与整理，可以分别对每一份测试报告作分析处理，从每一份测试报告中提取对应的处理信息，再基于处理信息进行分类，可以大大缩短测试报告的处理时间，提高处理效率。
在其中一种实施例中，所述处理信息包括文本向量集合；其中，作为示例的，步骤S12可以包括以下子步骤：
子步骤S121、分别将每份所述测试报告的文本信息转换为文本向量。
子步骤S122、对所述文本向量进行第一次加权处理得到词频向量。
子步骤S123、采用预设的逆文本频率指数对所述词频向量进行第二次加权处理得到文本向量，集合所有文本向量得到文本向量集合。
具体地，可以使用NLP技术来对测试报告的文本信息的进行处理，并将测试报告的文本信息表示为向量，并进行加权处理得到词频向量，获取到每一个测试报告的向量ri后，将对向量的每个维度进行第一次加权处理，接着再采用逆文本频率指数进行第二次加权处理得到向量ri，
最后将每一个测试报告R以文本向量集合r＝{tf1，tf2，tf3，...，tfn}来表达。
在实际操作中，采用逆文本频率指数进行第二次加权处理如下式所示：
Figure DEST_PATH_IMAGE003
其中N为测试报告集中报告的总个数，n(wi)则代表有多少个不同报告包含了词Wi
其中n等于测试报告中所包含的全部有效词W的个数，tfi则为从整个测试报告中得到的第i个有效词Wi在此测试报告中出现的频率。
在本实施例中，将测试报告中的文本信息表示为向量，并进行加权处理得到词频，从而可以对测试报告中的文本信息进行词条分类、词性标注和词性筛选(例如，名词、动词、形容词、数词、量词、副词、介词、连词等)，从而得到各个类型词语的向量集合，方便作后续的处理。
在又一种实施例中，所述处理信息还包括日志原始向量；
其中，作为示例的，步骤S12可以包括以下子步骤：
子步骤S124、根据所述词频向量对软件日志进行全文词频向量检索、日志内容提取和上下文语意分析处理，从所述测试报告中提取日志原始向量。
在实际操作中，对软件日志的分类可以直接使用由词频所组成的原始向量l_n＝{tf1，tf2，tf3，...，tfn}，得到日志原始向量。
根据词频向量对软件日志进行全文词频向量检索、日志内容提取、上下文语意分析等处理，可以为测试报告相似度分析提取摘要信息，从而可以缩短后续的处理时间。
在又一种实施例中，所述处理信息还包括截取图像；
其中，作为示例的，步骤S12可以包括以下子步骤：
子步骤S125、获取每份所述测试报告对应的错误图像。
该错误图像可以是用户从测试报告中采集的错误图像。用户可以预先抽查测试报告，并从测试报告中截取对应的错误图像。该错误图像是用户发现测试报告错误区域的图像。
子步骤S126、通过预设的转换算法从所述错误图像中提取特征图像。
在实际操作中，可以使用尺度不变特征转换算法(SIFT)对错误图像进行特征提取，得到特征图像。
子步骤S127、通过预设的图像识别技术从所述错误图像截取对应的关键图像，其中，所述关键图像包括软件菜单图像、按钮的文字图像。
在实际操作中，通过ORC算法从错误图像截取软件菜单图像、按钮的文字图像。
S13、基于所述若干个处理信息分别计算所述若干份测试报告两两之间的相似值。
在本实施例中，可以分别计算测试报告两两之间的相似值。例如，有10份测试报告，可以分别计算第1份与第2、第3至第10份报告之间的相似值，接着计算第2份与第3、第4至第10份报告之间的相似值，如此类推。
参照图2，示出了本发明一实施例提供的相似值计算的操作流程图。其中，作为示例的，步骤S13具体为：
采用如下公式计算相似值：
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE005
SimilaritySS＝α*SS′+β*STPs
Similarity(D1，D2)＝γ×TS+δ×LS+ε×SS
其中，SimilarityTS表示文本描述相似度，γ″n、γ″m表示文本向量；SimilarityLS表示软件日志相似度，ln、lm表示日志原始向量；SimilaritySS表示错误截图相似度，SS′表示图片相似度，STPs表示图片关键字相似度； Similarit(D1，D2)表示任意两份缺陷报告的相似度，α、β、γ、δ、ε为相对应的权重。
S14、根据所述若干份测试报告两两之间的相似值对将所述若干份测试报告进行聚合，得到N个聚合集合，其中，N为大于或等于1的正整数。
其中，作为示例的，步骤S14可以包括以下子步骤：
子步骤S141、分别将预设的N个阈值与所述若干份测试报告两两之间的相似值作比较。
子步骤S142、当所述若干份测试报告两两之间的相似值大于第一阈值且小于第二阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告聚合，并生成与所述第一阈值对应的聚合集合，其中，第二阈值大于第一阈值；
子步骤S143、当所述若干份测试报告两两之间的相似值大于第二阈值且小于第N-1阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合，以及与第二阈值对应的聚合集合，其中，第N-1阈值大于第二阈值；
子步骤S144、当所述若干份测试报告两两之间的相似值大于第N-1阈值且小于第N阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合、与第二阈值对应的聚合集合以及与第N-1阈值对应的聚合集合，其中，第N阈值大于第N-1阈值；
子步骤S145、当所述若干份测试报告两两之间的相似值大于第N阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合、与第二阈值对应的聚合集合、与第N-1阈值对应的聚合集合以及与第N阈值对应的聚合集合，其中，第N阈值大于第N-1阈值。
在本实施例中，可以将所有测试报告按照相似度进行聚合与分类(简称：聚类)，从而可以将测试报告进行分类处理。
具体地，用户可以预先设定N个阈值(相似度系数)，当任意两份测试报告的相似值大于阈值(相似度系数)时，则可以将该相似值对应的两份测试报告聚合为同一类测试报告。最后每一个类别可以对应多个报告，一份报告也可能属于多个类别。
例如，有10份测试报告，第一份测试报告与其余第二至第九份测试报告之间的相似值分别为1、2、3、4、5、6、7、8、9。阈值(相似度系数)设有3个，分别为0.5、3.5、7.5。其中，第一份测试报告与第二份测试报告、第三份测试报告和第四份测试报告的相似值均大于阈值0.5且小于阈值3.5，则将第一份测试报告、第二份测试报告、第三份测试报告和第四份测试报告聚合成阈值0.5对应的一个聚合集合；第一份测试报告与第五份测试报告、第六份测试报告、第七份测试报告和第八份测试报告的相似值大于3.5且小于7.5，则分别将第一份测试报告、第五份测试报告、第六份测试报告、第七份测试报告和第八份测试报告聚合生成阈值0.5对应的一个聚合集合，以及将第一份测试报告、第五份测试报告、第六份测试报告、第七份测试报告和第八份测试报告聚合生成阈值3.5对应的一个聚合集合，得到两个聚合集合；第一份测试报告与第九份测试报告和第十份测试报告的相似值大于7.5，则分别将第一份测试报告、第九份测试报告和第十份测试报告聚合生成阈值0.5对应的一个聚合集合，接着将第一份测试报告、第九份测试报告和第十份测试报告聚合生成阈值3.5对应的一个聚合集合，再将第一份测试报告、第九份测试报告和第十份测试报告聚合生成阈值7.5对应的一个聚合集合，得到三个聚合集合。
通过聚合和分类，可以将各个测试报告进行分类管理，从而可以让用户根据需求对每一类别的测试报告进行审查，而无需阅读所有测试报告，减少用户的阅读时间，提高处理效率。
另外，为了方便操作，可以将多个生成的聚合集合(α，β)进行集合，再传输给测试人员作审核。
S15、获取每个所述聚合集合的缺陷分数，基于所述缺陷分数的数值大小对所述多个聚合集合进行排序。
在生成每个聚合集合后，可以将聚合集合发送给测试人员，由测试人员对聚合集合内的测试报告进行评分或查漏补缺或审核，并在审核后获取测试人员对每个聚合集合的缺陷分数。该缺陷分数为测试人员对聚合集合内的测试报告作的评价缺陷重要等级。
参照图3，示出了本发明一实施例提供的测试报告排序的操作流程图。评级操作如图3所示。
在实际操作中，测试人员可以对聚合集合内的测试报告进行修订与评级，测试人员是可以预先选择专业众测人员作为此类聚合集合内的测试报告的管理员。对于后续加入的众测人员，众测人员可以提示测试报告与已有报告相似和相异的部分，并对该测试报告进行修改，做出的修改后将提示管理员做批准，如果出现意见不统一的情况，众测人员可以经过平台交流讨论，如图3所示。
另外，当有多个众测人员时，该缺陷分数可以是多个众测人员对该份测试报告的缺陷分数的均值。由于缺陷分数是代表测试报告按缺陷数目及缺陷严重等级程度(测试报告的一个属性)，分数越低，说明聚合集合内的测试报告数量较小，且包含的缺陷也更小，属于方便用户阅读的优质报告。
在获取缺陷分数后，可以根据分数的大小进行排序，以方便用户在后续进行审核和处理。
通过对测试报告中的文本描述、软件日志和错误截图进行处理，得到报告相似度，根据相似度进行报告聚类融合，群智协作对融合后的测试报告进行修改，最后进行优先级排序，从而提高开发人员查看测试报告的效率。
为了方便用户观看各个聚合集合的测试报告以及测试报告中的内容，其中，作为示例的，所述方法还可以包括：
S16、分别融合每一个所述聚合集合所包含的处理信息，并分别生成多个反馈报告。
具体地，可以将聚合集合内的每份测试报告所包含的文字描述、软件日志、错误截图等信息进行融合，并生成一份反馈报告，最后将反馈报告发送至服务器与测试人员，供测试人员进行审阅。
另外，在生成反馈报告后，可以在反馈报告的基础版本，然后再经过信息去重和上下文语义分析，从而得到一份较为完整的报告。
参照图4，示出了本发明一实施例提供的一种众包测试报告的处理方法的操作流程图。
具体地，可以获取多份测试报告，计算测试报告两两之间的相似值，然后根据相似值将测试报告进行聚合和融合，接着将聚合后的测试报告发送至测试人员，供测试人员进行修订和评测，最后根据评测结果进行排序。
在本实施例中，本发明实施例提供了一种众包测试报告的处理方法，其有益效果在于：本发明可以通过对测试报告进行处理，得到报告相似度，进行报告聚类融合，再对融合后的测试报告进行修订和评测，最后根据评测结果进行报告优先级排序，从而大大减少开发人员阅读报告的数据以及阅读的时间，提高开发人员查看测试报告的效率。
本发明实施例还提供了一种众包测试报告的处理装置，参见图5，示出了本发明一实施例提供的一种众包测试报告的处理装置的结构示意图。
其中，作为示例的，所述众包测试报告的处理装置可以包括：
获取模块501，用于获取若干份测试报告；
分析模块502，用于分别对每份所述测试报告作分析处理，得到若干个处理信息；
计算模块503，用于基于所述若干个处理信息分别计算所述若干份测试报告两两之间的相似值；
聚合模块504，用于根据所述若干份测试报告两两之间的相似值对将所述若干份测试报告进行聚合，得到多个聚合集合；
排序模块505，用于获取每个所述聚合集合的缺陷分数，基于所述缺陷分数的数值大小对所述多个聚合集合进行排序。
可选地，所述聚合模块还用于：
分别将预设的N个阈值与所述若干份测试报告两两之间的相似值作比较；
当所述若干份测试报告两两之间的相似值大于第一阈值且小于第二阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告聚合，并生成与所述第一阈值对应的聚合集合，其中，第二阈值大于第一阈值；
当所述若干份测试报告两两之间的相似值大于第二阈值且小于第N-1阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合，以及与第二阈值对应的聚合集合，其中，第N-1阈值大于第二阈值；
当所述若干份测试报告两两之间的相似值大于第N-1阈值且小于第N阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合、与第二阈值对应的聚合集合以及与第N-1阈值对应的聚合集合，其中，第N阈值大于第N-1阈值；
当所述若干份测试报告两两之间的相似值大于第N阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合、与第二阈值对应的聚合集合、与第N-1阈值对应的聚合集合以及与第N阈值对应的聚合集合，其中，第N阈值大于第N-1阈值。
可选地，所述处理信息包括文本向量集合；
所述分析模块还用于：
分别将每份所述测试报告的文本信息转换为文本向量；
对所述文本向量进行加权处理得到词频向量；
采用预设的逆文本频率指数对所述词频向量进行第二次加权处理得到文本向量，集合所有文本向量得到文本向量集合。
可选地，所述处理信息包括日志原始向量；
所述分析模块还用于：
根据所述词频向量对软件日志进行全文词频向量检索、日志内容提取和上下文语意分析处理，从所述测试报告中提取日志原始向量。
可选地，所述处理信息包括关键图像和特征图像；
所述分析模块还用于：
获取每份所述测试报告对应的错误图像；
通过预设的转换算法从所述错误图像中提取特征图像；
通过预设的图像识别技术从所述错误图像截取对应的关键图像，其中，所述关键图像包括软件菜单图像、按钮的文字图像。
可选地，所述计算模块还用于：
采用如下公式计算相似值：
Figure DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE007
SimilaritySS＝a*SS′+β*STPs
Similarity(D1，D2)＝γ×TS+δ×LS+ε×SS
其中，SimilaritTS表示文本描述相似度，γ″n、β″m表示文本向量； SimilarityLS表示软件日志相似度，ln、lm表示日志原始向量；SimilaritySS表示错误截图相似度，SS′表示图片相似度，STPs表示图片关键字相似度； Similarity(D1，D2)表示任意两份缺陷报告的相似度，α、β、γ、δ、ε为相对应的权重。
可选地，所述装置还包括：
反馈模块，用于分别融合每一个所述聚合集合所包含的处理信息，并分别生成多个反馈报告。
进一步的，本申请实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例所述的众包测试报告的处理方法。
进一步的，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述实施例所述的众包测试报告的处理方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种众包测试报告的处理方法，其特征在于，所述方法包括：
获取若干份测试报告；
分别对每份所述测试报告作分析处理，得到若干个处理信息；
基于所述若干个处理信息分别计算所述若干份测试报告两两之间的相似值；
根据所述若干份测试报告两两之间的相似值对将所述若干份测试报告进行聚合，得到多个聚合集合；
获取每个所述聚合集合的缺陷分数，基于所述缺陷分数的数值大小对所述多个聚合集合进行排序。
2.根据权利要求1所述的众包测试报告的处理方法，其特征在于，所述根据所述若干份测试报告两两之间的相似值对将所述若干份测试报告进行聚合，包括：
分别将预设的N个阈值与所述若干份测试报告两两之间的相似值作比较；
当所述若干份测试报告两两之间的相似值大于第一阈值且小于第二阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告聚合，并生成与所述第一阈值对应的聚合集合，其中，第二阈值大于第一阈值；
当所述若干份测试报告两两之间的相似值大于第二阈值且小于第N-1阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合，以及与第二阈值对应的聚合集合，其中，第N-1阈值大于第二阈值；
当所述若干份测试报告两两之间的相似值大于第N-1阈值且小于第N阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合、与第二阈值对应的聚合集合以及与第N-1阈值对应的聚合集合，其中，第N阈值大于第N-1阈值；
当所述若干份测试报告两两之间的相似值大于第N阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合、与第二阈值对应的聚合集合、与第N-1阈值对应的聚合集合以及与第N阈值对应的聚合集合，其中，第N阈值大于第N-1阈值。
3.根据权利要求1所述的众包测试报告的处理方法，其特征在于，所述处理信息包括文本向量集合；
所述分别对每份所述测试报告作分析处理，得到若干个处理信息，包括：
分别将每份所述测试报告的文本信息转换为文本向量；
对所述文本向量进行加权处理得到词频向量；
采用预设的逆文本频率指数对所述词频向量进行第二次加权处理得到文本向量，集合所有文本向量得到文本向量集合。
4.根据权利要求3所述的众包测试报告的处理方法，其特征在于，所述处理信息包括日志原始向量；
所述分别对每份所述测试报告作分析处理，得到若干个处理信息，包括：
根据所述词频向量对软件日志进行全文词频向量检索、日志内容提取和上下文语意分析处理，从所述测试报告中提取日志原始向量。
5.根据权利要求4所述的众包测试报告的处理方法，其特征在于，所述处理信息包括关键图像和特征图像；
所述分别对每份所述测试报告作分析处理，得到若干个处理信息，包括：
获取每份所述测试报告对应的错误图像；
通过预设的转换算法从所述错误图像中提取特征图像；
通过预设的图像识别技术从所述错误图像截取对应的关键图像，其中，所述关键图像包括软件菜单图像、按钮的文字图像。
6.根据权利要求5所述的众包测试报告的处理方法，其特征在于，所述基于所述若干个处理信息分别计算所述若干份测试报告两两之间的相似值，具体为：
采用如下公式计算相似值：
Figure DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE002
SimilaritySS＝α*SS′+β*STPs
Similarity(D1，D2)＝γ×TS+δ×LS+ε×SS
其中，SimilarityTS表示文本描述相似度，γ″n，β″m表示文本向量；SimilarityLS表示软件日志相似度，ln、lm表示日志原始向量；SimilaritySS表示错误截图相似度，SS′表示图片相似度，STPs表示图片关键字相似度；Similarity(D1，D2)表示任意两份缺陷报告的相似度，α、β、γ、δ、ε为相对应的权重。
7.根据权利要求1-6任意一项所述的众包测试报告的处理方法，其特征在于，所述方法还包括：
分别融合每一个所述聚合集合所包含的处理信息，并分别生成多个反馈报告。
8.一种众包测试报告的处理装置，其特征在于，所述装置包括：
获取模块，用于获取若干份测试报告；
分析模块，用于分别对每份所述测试报告作分析处理，得到若干个处理信息；
计算模块，用于基于所述若干个处理信息分别计算所述若干份测试报告两两之间的相似值；
聚合模块，用于根据所述若干份测试报告两两之间的相似值对将所述若干份测试报告进行聚合，得到多个聚合集合；
排序模块，用于获取每个所述聚合集合的缺陷分数，基于所述缺陷分数的数值大小对所述多个聚合集合进行排序。
9.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任意一项所述的众包测试报告的处理方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-7任意一项所述的众包测试报告的处理方法。
CN202110455413.9A 2021-04-26 2021-04-26 一种众包测试报告的处理方法及装置 Active CN113220565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110455413.9A CN113220565B (zh) 2021-04-26 2021-04-26 一种众包测试报告的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110455413.9A CN113220565B (zh) 2021-04-26 2021-04-26 一种众包测试报告的处理方法及装置

Publications (2)

Publication Number Publication Date
CN113220565A true CN113220565A (zh) 2021-08-06
CN113220565B CN113220565B (zh) 2022-05-27

Family

ID=77089142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110455413.9A Active CN113220565B (zh) 2021-04-26 2021-04-26 一种众包测试报告的处理方法及装置

Country Status (1)

Country Link
CN (1) CN113220565B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048293A (zh) * 2022-01-11 2022-02-15 广东拓思软件科学园有限公司 一种缺陷报告融合方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165382A (zh) * 2018-08-03 2019-01-08 南京工业大学 一种加权词向量和潜在语义分析结合的相似缺陷报告推荐方法
US20190243752A1 (en) * 2018-02-05 2019-08-08 Webomates LLC Method and system for multi-channel testing
CN110363248A (zh) * 2019-07-22 2019-10-22 苏州大学 基于图像的移动众包测试报告的计算机识别装置及方法
CN111353304A (zh) * 2018-12-05 2020-06-30 南京慕测信息科技有限公司 一种众包测试报告聚合和摘要的方法
CN112346958A (zh) * 2019-08-07 2021-02-09 南京慕测信息科技有限公司 一种面向协作式众包测试的质量控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190243752A1 (en) * 2018-02-05 2019-08-08 Webomates LLC Method and system for multi-channel testing
CN109165382A (zh) * 2018-08-03 2019-01-08 南京工业大学 一种加权词向量和潜在语义分析结合的相似缺陷报告推荐方法
CN111353304A (zh) * 2018-12-05 2020-06-30 南京慕测信息科技有限公司 一种众包测试报告聚合和摘要的方法
CN110363248A (zh) * 2019-07-22 2019-10-22 苏州大学 基于图像的移动众包测试报告的计算机识别装置及方法
CN112346958A (zh) * 2019-08-07 2021-02-09 南京慕测信息科技有限公司 一种面向协作式众包测试的质量控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048293A (zh) * 2022-01-11 2022-02-15 广东拓思软件科学园有限公司 一种缺陷报告融合方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113220565B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
Tian et al. Automated prediction of bug report priority using multi-factor analysis
US9268851B2 (en) Ranking information content based on performance data of prior users of the information content
US9595005B1 (en) Systems and methods for predictive coding
US9171072B2 (en) System and method for real-time dynamic measurement of best-estimate quality levels while reviewing classified or enriched data
CN112434720A (zh) 一种基于图注意力网络的中文短文本分类方法
CN108647729B (zh) 一种用户画像获取方法
CN116561542B (zh) 模型的优化训练系统、方法以及相关装置
US7783657B2 (en) Search authoring metrics and debugging
WO2019228000A1 (zh) 用户评论价值的评估方法及装置
CN112052154A (zh) 一种测试用例的处理方法、装置
Liu et al. Generating descriptions for screenshots to assist crowdsourced testing
CN110968664A (zh) 一种文书检索方法、装置、设备及介质
CN114491034B (zh) 一种文本分类方法及智能设备
CN116775879A (zh) 大语言模型的微调训练方法、合同风险评审方法及系统
CN113220565B (zh) 一种众包测试报告的处理方法及装置
CN111242170A (zh) 食品检验检测项目预知方法及装置
CN113011156A (zh) 审核文本的质检方法、装置、介质以及电子设备
CN112163090A (zh) 一种法律裁判文书的案由分类方法和终端
Cao et al. STIFA: Crowdsourced mobile testing report selection based on text and image fusion analysis
CN115292167A (zh) 生命周期预测模型构建方法、装置、设备及可读存储介质
CN114202038A (zh) 一种基于dbm深度学习的众包缺陷分类方法
CN111625619A (zh) 查询省略方法、装置、计算机可读介质及电子设备
CN113722421B (zh) 一种合同审计方法和系统，及计算机可读存储介质
CN113010339A (zh) 联机交易测试中故障自动处理方法及装置
CN113515621B (zh) 数据检索方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant