CN111563051A - 基于爬虫的数据核验方法、装置、计算机设备及存储介质 - Google Patents
基于爬虫的数据核验方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111563051A CN111563051A CN202010686699.7A CN202010686699A CN111563051A CN 111563051 A CN111563051 A CN 111563051A CN 202010686699 A CN202010686699 A CN 202010686699A CN 111563051 A CN111563051 A CN 111563051A
- Authority
- CN
- China
- Prior art keywords
- verification
- test sample
- comparison
- data
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013524 data verification Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012360 testing method Methods 0.000 claims abstract description 332
- 238000012795 verification Methods 0.000 claims abstract description 170
- 230000009193 crawling Effects 0.000 claims abstract description 46
- 238000012216 screening Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 13
- 238000007726 management method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 2
- 238000010195 expression analysis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 235000014347 soups Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及接口测试领域，本发明公开了一种基于爬虫的数据核验方法、装置、计算机设备及存储介质，所述方法包括：通过获取核验请求中的待核验系统版本名称、测试用例文件和核验配置清单；自预设的接口测试样本平台中查询到与待核验系统版本名称匹配的升级前历史版本名称，并获取第一测试样本；根据待核验系统版本名称和测试用例文件，获取第二测试样本；通过数据爬虫模型，分别对第一测试样本和第二测试样本进行爬取，输出第一结果数据和第二结果数据；根据核验配置清单，筛选出第一比对数据和第二比对数据；通过数据核验模型比对第一比对数据和第二比对数据，得到核验结果，并输出核验报告及显示。本发明提升了核验准确性，提升了核验效率。
Description
技术领域
本发明涉及接口测试领域，尤其涉及一种基于爬虫的数据核验方法、装置、计算机设备及存储介质。
背景技术
接口测试可以检查数据的交换、传递和控制管理过程，以及系统之间的相互逻辑依赖关系，且从成本、效率、实施难度等角度与界面测试和单元测试相比，接口测试的投入可以获得高的投资回报，特别适用于版本快速升级的平台。
目前，针对升级后的平台进行接口测试数据验证时采用人工验证数据的方法，也即核对测试接口的响应值如数据结构、各字段是否正确，当平台内封装有多个模型（每一个模型对应一个接口），平台升级后需要针对每一个模型返回的结果进行大量数据的核验，包括数据结构、字段含义、图像等，因此对于大数据量测试接口，人工验证数据费时费力，而且效率低下。
发明内容
本发明提供一种基于爬虫的数据核验方法、装置、计算机设备及存储介质，实现了通过基于爬虫方法，对升级前及升级后的系统执行相同测试用例的接口测试结果进行爬取，并从爬取后的结果中筛选出与核验配置清单匹配的数据进行核验，从而得出核验报告，降低了人工核验的成本，并聚焦关注的核验数据，更具针对性，而且避免了核验遗漏，提升了核验准确性，以及提升了核验效率。
一种基于爬虫的数据核验方法，包括：
接收到核验请求，获取所述核验请求中的待核验系统版本名称、测试用例文件和核验配置清单；
自预设的接口测试样本平台中查询到与所述待核验系统版本名称匹配的升级前历史版本名称，并根据所述升级前历史版本名称和所述测试用例文件，获取第一测试样本；
根据所述待核验系统版本名称和所述测试用例文件，自所述接口测试样本平台中获取第二测试样本；
通过数据爬虫模型，对所述第一测试样本进行爬取，输出第一结果数据，同时对所述第二测试样本进行爬取，输出第二结果数据；
根据所述核验配置清单，从所述第一结果数据中筛选出与所述核验配置清单匹配的第一比对数据，同时从所述第二结果数据中筛选出与所述核验配置清单匹配的第二比对数据；其中，所述第一比对数据中的第一比对项与所述第二比对数据中的第二比对项一一对应；
通过数据核验模型，将筛选后所述第一比对项和与所述第一比对项对应的所述第二比对项进行比对，获取所述数据核验模型输出的核验结果；
根据所述核验结果输出核验报告并显示。
一种基于爬虫的数据核验装置，包括：
接收模块，用于接收到核验请求，获取所述核验请求中的待核验系统版本名称、测试用例文件和核验配置清单；
第一获取模块，用于自预设的接口测试样本平台中查询到与所述待核验系统版本名称匹配的升级前历史版本名称，并根据所述升级前历史版本名称和所述测试用例文件，获取第一测试样本；
第二获取模块，用于根据所述待核验系统版本名称和所述测试用例文件，自所述接口测试样本平台中获取第二测试样本；
爬取模块，用于通过数据爬虫模型，对所述第一测试样本进行爬取，输出第一结果数据，同时对所述第二测试样本进行爬取，输出第二结果数据；
配置模块，用于根据所述核验配置清单，从所述第一结果数据中筛选出与所述核验配置清单匹配的第一比对数据，同时从所述第二结果数据中筛选出与所述核验配置清单匹配的第二比对数据；其中，所述第一比对数据中的第一比对项与所述第二比对数据中的第二比对项一一对应；
核验模块，用于通过数据核验模型，将筛选后所述第一比对项和与所述第一比对项对应的所述第二比对项进行比对，获取所述数据核验模型输出的核验结果；
输出模块，用于根据所述核验结果输出核验报告并显示。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于爬虫的数据核验方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于爬虫的数据核验方法的步骤。
本发明提供的基于爬虫的数据核验方法、装置、计算机设备及存储介质，通过接收到核验请求，获取所述核验请求中的待核验系统版本名称、测试用例文件和核验配置清单；自预设的接口测试样本平台中查询到与所述待核验系统版本名称匹配的升级前历史版本名称，并根据所述升级前历史版本名称和所述测试用例文件，获取第一测试样本；根据所述待核验系统版本名称和所述测试用例文件，自所述接口测试样本平台中获取第二测试样本；通过数据爬虫模型，对所述第一测试样本进行爬取，输出第一结果数据，同时对所述第二测试样本进行爬取，输出第二结果数据；根据所述核验配置清单，从所述第一结果数据中筛选出与所述核验配置清单匹配的第一比对数据，同时从所述第二结果数据中筛选出与所述核验配置清单匹配的第二比对数据；通过数据核验模型，将所述第一比对项和与所述第一比对项对应的所述第二比对项进行比对，获取所述数据核验模型输出的核验结果；根据所述核验结果输出核验报告并显示。
本发明实现了通过获取所述核验请求中的待核验系统版本名称、测试用例文件和核验配置清单；自预设的接口测试样本平台中查询到与所述待核验系统版本名称匹配的升级前历史版本名称，并获取第一测试样本；根据所述待核验系统版本名称和所述测试用例文件，获取第二测试样本；通过数据爬虫模型，分别对所述第一测试样本和所述第二测试样本进行爬取，输出第一结果数据和第二结果数据；根据所述核验配置清单，从所述第一结果数据中筛选出第一比对数据，同时从所述第二结果数据中筛选出第二比对数据；通过数据核验模型比对第一比对数据和第二比对数据，得到核验结果，并输出核验报告及显示，如此，实现了通过基于爬虫方法，对升级前及升级后的系统执行相同测试用例的接口测试结果进行爬取，并从爬取后的结果中筛选出与核验配置清单匹配的数据进行核验，从而得出核验报告，降低了人工核验的成本，并聚焦关注的核验数据，更具针对性，而且避免了核验遗漏，提升了核验准确性，以及提升了核验效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于爬虫的数据核验方法的应用环境示意图；
图2是本发明一实施例中基于爬虫的数据核验方法的流程图；
图3是本发明一实施例中基于爬虫的数据核验方法的步骤S10的流程图；
图4是本发明一实施例中基于爬虫的数据核验方法的步骤S20的流程图；
图5是本发明一实施例中基于爬虫的数据核验方法的步骤S30的流程图；
图6是本发明另一实施例中基于爬虫的数据核验方法的步骤S40的流程图；
图7是本发明一实施例中基于爬虫的数据核验装置的原理框图；
图8是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的基于爬虫的数据核验方法，可应用在如图1的应用环境中，其中，客户端（计算机设备）通过网络与服务器进行通信。其中，客户端（计算机设备）包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种基于爬虫的数据核验方法，其技术方案主要包括以下步骤S10-S70：
S10，接收到核验请求，获取所述核验请求中的待核验系统版本名称、测试用例文件和核验配置清单。
可理解地，所述核验请求为需要对升级后的待核验系统进行接口测试并对测试结果进行核验的请求，所述核验请求指在输入完所述待核验系统版本名称、所述测试用例文件和所述核验配置清单之后触发的请求，所述触发方式可以根据需求设定，比如检测到待核验系统版本名称、测试用例文件和核验配置清单都输入或者选取完成后自动触发，或者通过点击、滑动等方式进行触发的触发按键等等，所述核验请求包含有所述待核验系统版本名称、所述测试用例文件和所述核验配置清单，所述待核验系统版本名称指对升级后的待核验系统的唯一标识，所述待核验系统版本名称的格式可以根据需求设定，比如格式包含英文字符串组成的系统名称及用于迭代标识的版本，或者格式包含由英文和数字组成的系统名称及用于迭代标识的版本等等，所述测试用例文件指对待测的接口编写的测试用例的文件，所述测试用例文件包括测试用例文件名称，所述测试用例文件可以根据需求设定，比如所述测试用例文件还包含入参、接口网址、前置条件等等，所述核验配置清单为对升级后的待核验系统进行接口测试之后需关注的核验配置项目的清单，所述核验配置清单中的核验配置项目可以根据需求设定，比如核验配置项目可以为针对升级后的待核验系统而人为预设，比如返回码、数据结构、图像数量、词条等等，核验配置项目还可以根据待核验系统的系统升级日志自动识别获得。
在一实施例中，如图3所示，所述步骤S10之前，即所述获取所述核验请求中的核验配置清单之前，包括：
S101，自日志数据库中获取与所述待核验系统版本名称关联的系统升级日志。
可理解地，从所述日志数据库中查询到与所述待核验系统版本名称关联的所述系统升级日志，所述系统升级日志为待核验系统进行版本升级过程中设计更改的文本记录，所述日志数据库存储了所有与待核验系统版本名称关联的系统升级日志。
S102，将所述系统升级日志输入关键词提取模型，通过所述关键词提取模型对所述系统升级日志进行关键词提取，得到提取结果。
可理解地，所述关键词提取模型为训练完成的基于Word2Vec的浅层神经网络模型，所述关键词提取模型实现了对输入的所述系统升级日志进行关键词提取，自动从所述系统升级日志中提取出与核对配置项目匹配的关键词，所述关键词提取模型的网络结构包含有Word2Vec模型的网络结构，所述关键词提取的处理过程为对所述系统升级日志中的文本拆分成多个词语，将拆分后的词语进行词性标注，即将拆分后的词语转换成词性向量，对词性标注后的词语进行去重（即去除重复的词语），再通过去除停用词（即去除忽略的词语或者禁用的词语），最后得到关键词以及其对应的关键词概率，通过所述关键词提取模型将所有关键词进行汇总得到所述提取结果。
S103，获取与所述提取结果中的关键词匹配的配置项目，将与所述提取结果中的关键词匹配的配置项目确定为所述核验配置项目。
可理解地，所述配置项目为测试的项目或者指标的名称，在数据库中存储了所有所述配置项目，一个所述配置项目与一个预设的关键词匹配，预设的关键词为用于所述关键词提取模型训练且属于提取结果中的词语，自数据库中查询到与所述提取结果中的所述关键词匹配的所述配置项目，一个所述关键词可以匹配出多个所述配置项目，比如关键词为病灶，匹配出的配置项目有病灶类型、病灶描框、病灶概率等等，并将匹配出的所述配置项目标记为所述核验配置项目。
S104，将所有所述核验配置项目合并生成所述核验配置清单。
可理解地，所述合并的过程包括将所有所述核验配置项目进行合并，并对合并后的所述核验配置项目进行分类排序及编号，所述分类排序及将匹配相同的关键词对应的核验配置项目归类一起，将所有所述核验配置项目按照其对应的关键词概率从大到小的顺序进行排序，并且对排序后的所有所述核验配置项目进行顺序编号，比如1、2、3……序号等。
本发明实现了通过自日志数据库中获取与所述待核验系统版本名称关联的系统升级日志；将所述系统升级日志输入关键词提取模型，通过所述关键词提取模型对所述系统升级日志进行关键词提取，得到提取结果；获取与所述提取结果中的关键词匹配的配置项目，将与所述提取结果中的关键词匹配的配置项目确定为所述核验配置项目；将所有所述核验配置项目合并生成所述核验配置清单，如此，实现了从日志数据库中获取系统升级日志，通过关键词提取模型提取系统升级日志中的关键词，根据关键词匹配出核验配置项目，通过合并所有所述核验配置项得到核验配置清单，能够自动根据系统升级日志生成核验配置清单，避免了设置核验配置清单的人工遗漏问题，减少了人工成本，以及提高了核验配置清单的准确性和可靠性，并提升了核验效率。
S20，自预设的接口测试样本平台中查询到与所述待核验系统版本名称匹配的升级前历史版本名称，并根据所述升级前历史版本名称和所述测试用例文件，获取第一测试样本。
其中，所述接口测试样本平台指用于对所有历史的待核验系统进行版本管理的平台，所述版本管理包含了历史版本名称的管理、测试用例文件的管理和与历史测试样本的管理，所述接口测试样本平台中存储了所有历史的所述测试用例文件，以及存储了所有历史测试样本，所述历史测试样本为在一个历史版本名称对应的历史部署系统下执行一个与其关联的测试用例文件得到的结果文件，所述测试用例文件包括测试用例文件名称。
可理解地，首先，在所述接口测试样本平台中，通过历史版本名称的管理，查询到与所述待核验系统版本名称匹配的升级前历史版本名称，所述升级前历史版本名称为与所述待核验系统版本名称最匹配的历史版本名称，所述升级前历史版本名称可以为与所述待核验系统的前一个历史部署系统对应的历史版本名称，所述历史版本名称为对历史部署系统命名的一个版本名称，一个所述历史版本名称与一个所述历史部署系统关联，所述历史部署系统为已经部署过或者已经核验过的系统，所述历史版本名称的格式可以根据需求设定，所述历史版本名称的格式可以跟所述待核验系统版本名称的格式相同，亦可以跟所述待核验系统版本名称的格式不相同，其中，查询的方式和匹配的过程可以根据需求设定，所述查询的方式可以为顺序查找、二分查找、树表查找、哈希查找等等，所述匹配的过程可以为将在查找过程中计算出与所述待核验系统版本名称的匹配值之后进行匹配获取，也可以为通过相似度算法计算出与所述待核验系统版本名称的匹配值，然后根据与其对应的更新时间，再计算出最终匹配值，根据最终匹配值进行匹配获取，所述相似度算法可以为余弦相似度算法、Jaccard 相似度算法或者N-Gram相似度算法等等；其次，根据所述升级前历史版本名称和所述测试用例文件，查找到在所述升级前历史版本名称对应的历史部署系统下执行所述测试用例文件获得的历史测试样本；最后，将查找到的所述历史测试样本标记为所述第一测试样本。
在一实施例中，如图4所示，所述步骤S20中，即所述自预设的接口测试样本平台中查询到与所述待核验系统版本名称关联的升级前历史版本名称，并根据所述升级前历史版本名称和所述测试用例文件，获取第一测试样本，包括：
S201，通过余弦相似度算法，自所述接口测试样本平台查询到与所述待核验系统版本名称的匹配值大于预设阈值的历史版本名称对应的历史部署系统文件夹，并获取查询到的所述历史部署系统文件夹对应的更新时间。
可理解地，所述余弦相似度算法为用词向量空间中两个词向量夹角的余弦值作为衡量两个版本名称间差异的大小，将所述待核验系统版本名称和所述历史版本名称进行词向量转换，通过所述余弦相似度算法计算出所述待核验系统版本名称与所述历史版本名称的匹配值，若所述匹配值大于所述预设阈值，所述预设阈值可以根据需求设定，则获取该历史版本名称对应的所述历史部署系统文件夹，所述接口测试样本平台下存储了所有所述历史部署系统文件夹，一个所述历史部署系统文件夹与一个所述历史部署系统对应，即一个所述历史部署系统文件夹与一个所述历史版本名称对应，所述历史部署系统文件夹下存储了在对应的所述历史部署系统下执行所有所述测试用例文件获得的所有历史测试样本，同时，获取查询到的所述历史部署系统文件夹对应的更新时间，所述更新时间为最近一次对所述历史部署系统文件夹及其下的历史测试样本进行新增/修改等操作的时间。
S202，根据各所述历史部署系统文件夹对应的所述匹配值和所述更新时间，确定各所述历史部署系统文件夹的最终匹配值，将所有所述最终匹配值中最大的所述最终匹配值对应的所述历史版本名称确定为所述升级前历史版本名称。
可理解地，首先，计算各所述历史部署系统文件夹对应的所述更新时间距离当前时间的时间差，并根据所述时间差确定出该历史部署系统文件夹的时间指标值，所述时间指标值可以为预设最大值与所述时间差的差值，比如预设最大值为100天，所述时间差为40天，则所述时间指标值为60天，其次，将所述历史部署系统文件夹对应的所述匹配值和所述时间指标值进行加权计算，其中，所述匹配值和所述时间指标值的权重可以根据需求设定，经过所述加权计算之后得到所述最终匹配值，所述最终匹配值表明了所述历史版本名称与所述待核验系统版本名称的版本迭代差距，最终匹配值的值越大则表明版本迭代差距越接近，最后，将所有所述最终匹配值中最大的所述最终匹配值对应的所述历史版本名称标记为所述升级前历史版本名称。
S203，在所述升级前历史版本名称对应的所述历史部署系统文件夹下获取与所述测试用例文件中的测试用例文件名称匹配的历史测试样本，将获取的所述历史测试样本确定为所述第一测试样本。
可理解地，在所述升级前历史版本名称对应的所述历史部署系统文件夹下，查找到与所述测试用例文件名称匹配的所述历史测试样本，将查找到的所述历史测试样本标记为所述第一测试样本，所述第一测试样本指在所述升级前历史版本名称对应的所述历史部署系统下执行所述测试用例文本而获得。
本发明实现了通过余弦相似度算法，自所述接口测试样本平台查询到与所述待核验系统版本名称的匹配值大于预设阈值的历史版本名称对应的历史部署系统文件夹，并获取查询到的所述历史部署系统文件夹对应的更新时间；根据各所述历史部署系统文件夹对应的所述匹配值和所述更新时间，确定各所述历史部署系统文件夹的最终匹配值，将所有所述最终匹配值中最大的所述最终匹配值对应的所述历史版本名称确定为所述升级前历史版本名称；在所述升级前历史版本名称对应的所述历史部署系统文件夹下获取与所述测试用例文件中的测试用例文件名称匹配的历史测试样本，将获取的所述历史测试样本确定为所述第一测试样本，如此，实现了通过余弦相似度算法，获取匹配值大于预设阈值的历史部署系统文件夹，并获取其更新时间，根据匹配值和更新时间确定出升级前历史版本名称，从而在升级前历史版本名称对应的历史部署系统文件夹下获取第一测试样本，能够更加准确地、科学地在接口测试样本平台中找到第一测试样本，提高了查找准确性，以及减少了人工成本，提升了核验效率。
S30，根据所述待核验系统版本名称和所述测试用例文件，自所述接口测试样本平台中获取第二测试样本。
可理解地，所述接口测试样本平台还指用于对所有当前的待核验系统进行版本管理的平台，所述版本管理还包含了核验系统版本名称的管理，所述接口测试样本平台存储了所有当前的待核验系统版本名称关联的待核验系统路径，因此，可以根据所述待核验系统路径可以获取到与待核验系统版本名称对应的部署系统，通过运行所述部署系统，并执行所述测试用例文件，可以获取到所述第二测试样本，所述第二测试样本指在所述部署系统下执行所述测试用例文本而获得，其中，所述第二测试样本中的测试结果项的数量与所述第一测试样本中的测试结果项的数量相同，表明了所述第二测试样本和所述第一测试样本是通过执行相同的测试用例文件而获得。
其中，获取所述第二测试样本也可以通过从所述接口测试样本平台中查询到与所述待核验系统版本名称匹配的文件夹，在该文件夹下查找到与所述测试用例文件名称匹配的所述第二测试样本。
在一实施例中，如图5所示，所述步骤S30中，即所述根据所述待核验系统版本名称和所述测试用例文件，自所述接口测试样本平台中获取第二测试样本，包括：
S301，自所述接口测试样本平台中获取与所述待核验系统版本名称关联的待核验系统路径，通过所述待核验系统路径运行部署系统。
可理解地，从所述接口测试样本平台中获取与所述待核验系统路径，通过所述待核验系统路径运行所述部署系统，所述部署系统为已经被部署完成，可以直接进行运行。
S302，在所述部署系统下执行所述测试用例文件，获得所述第二测试样本。
可理解地，在运行所述部署系统的情况下，执行所述测试用例文件，从而得到所述第二测试样本。
S303，判断所述第二测试样本中的测试结果项的数量是否与所述第一测试样本中的测试结果项的数量相同。
可理解地，对获得的所述第二测试样本进行解读，解读出所述第二测试样本中的测试结果项，统计出所述第二测试样本中的测试结果项的数量，并将所述第二测试样本中的测试结果项的数量与所述第一测试样本中的测试结果项的数量进行比对，判断所述两者的数量是否相同，如此，仅通过数量的比对方式快速识别出是否执行相同的所述测试用例文件并执行成功而获得的第二测试样本。
S304，若所述第二测试样本中的测试结果项的数量与所述第一测试样本中的测试结果项的数量相同，将所述第二测试样本存储至所述接口测试样本平台中与所述待核验系统版本名称对应的历史部署系统文件夹下。
可理解地，如果所述第二测试样本中的测试结果项的数量与所述第一测试样本中的测试结果项的数量相同，则表明所述第二测试样本为执行了相同的所述测试用例文件并执行成功而获得，就将该第二测试样本存储至所述接口测试样本平台中的与所述待核验系统版本名称对应的历史部署系统文件夹下，为后续提供第一测试样本做准备。
本发明实现了通过自所述接口测试样本平台中获取与所述待核验系统版本名称关联的待核验系统路径，通过所述待核验系统路径运行部署系统；在所述部署系统下执行所述测试用例文件，获得所述第二测试样本；判断所述第二测试样本中的测试结果项的数量是否与所述第一测试样本中的测试结果项的数量相同；若所述第二测试样本中的测试结果项的数量与所述第一测试样本中的测试结果项的数量相同，将所述第二测试样本存储至所述接口测试样本平台中与所述待核验系统版本名称对应的历史部署系统文件夹下，如此，实现了通过与待核验系统版本名称关联的待核验系统路径运行部署系统，并执行测试用例文件，并仅通过数量的比对方式快速识别出是否执行相同的所述测试用例文件并执行成功而获得的第二测试样本，以及存储至接口测试样本平台，从而减少了人工成本，提升了核验效率。
在一实施例中，所述步骤S303之后，即所述判断所述第二测试样本中的测试结果项的数量是否与所述第一测试样本中的测试结果项的数量相同之后，还包括：
S305，若所述第二测试样本中的测试结果项的数量与所述第一测试样本中的测试结果项的数量不相同，重新部署所述部署系统或/和异常排除，直至获得与所述第一测试样本的测试结果项等数量的所述第二测试样本。
可理解地，如果所述第二测试样本中的测试结果项的数量与所述第一测试样本中的测试结果项的数量不相同，就重新部署所述部署系统，即自动将所述部署系统进行安装部署，或者通知相关人员进行部署，在重新部署所述部署系统之后执行所述测试用例文件过程中出现异常时，根据异常处理机制，能够根据反馈的异常代码匹配出解决代码，运行该解决代码排除异常，直至能够获得与所述第一测试样本的测试结果项等数量的所述第二测试样本。
本发明实现了通过在所述第二测试样本中的测试结果项的数量与所述第一测试样本中的测试结果项的数量不相同时，重新部署所述部署系统或/和异常排除，直至获得与所述第一测试样本的测试结果项等数量的所述第二测试样本，如此，提供了重新部署部署系统和异常排除的方法，直至获得正确的第二测试样本，提高了核验的准确性和效率，减少了人工核验及异常排除的成本。
S40，通过数据爬虫模型，对所述第一测试样本进行爬取，输出第一结果数据，同时对所述第二测试样本进行爬取，输出第二结果数据。
可理解地，所述数据爬虫模型包括请求模块、获取模块、解析模块和输出模块，对所述第一测试样本进行经过所述请求模块、所述获取模块、所述解析模块和所述输出模块的处理，得到所述第一结果数据，对所述第二测试样本进行经过所述请求模块、所述获取模块、所述解析模块和所述输出模块的处理，得到所述第二结果数据，所述第一测试样本和所述第二测试样本中包含有接口爬取网址，所述接口爬取网址为所述第一测试样本或所述第二测试样本中涉及接口测试的接口关联的URL网址，所述接口爬取网址为通过所述数据爬虫模型进行爬取的对象，所述爬取为所述请求模块、所述获取模块、所述解析模块和所述输出模块的处理过程，即向URL网址发起请求，等待与URL网址关联的服务器响应，获取服务器响应的页面内容，对页面内容进行解析得到解析后的数据。
其中，所述第一结果数据包括第一比对项，所述第二结果数据包括第二比对项，所述第一比对项和所述第二比对项都为爬取后的数据。
在一实施例中，如图6所示，所述步骤S40中，即所述通过数据爬虫模型，对所述第二测试样本进行爬取，输出第二结果数据，包括：
S401，获取所述第二测试样本中的接口爬取网址，通过请求模块向各所述接口爬取网址发出请求；所述数据爬虫模型包括请求模块、获取模块、解析模块和输出模块。
可理解地，获取所有所述接口爬取网址，通过所述请求模块向各所述接口爬取网址发出请求，即通过HTTP（HyperText Transfer Protocol，超文本传输协议）库向各所述接口爬取网址发起请求，也就是发送一个请求（Request），请求中还可以包含额外的header（网页表头）等信息，等待与所述接口爬取网址关联的服务器响应。
S402，通过所述获取模块接收到各所述接口爬取网址对应的页面内容。
可理解地，如果与所述接口爬取网址关联的服务器正常响应，通过所述获取模块接收到一个针对发出的所述请求反馈的响应回复（Response），响应回复的内容便是爬取所需要获取到的页面内容，所述页面内容的类型可能是HTML（HyperText Markup Language，超文本标记语言）、JSON（JavaScript Object Notation，轻量级的数据交换格式）字符串、文本、图片或者视频等类型。
S403，通过所述解析模块对接收到的各所述页面内容进行解析，得到各所述页面内容对应的所述第二比对项。
可理解地，通过所述解析模块对所述页面内容进行解析，所述解析的方式可以根据需求设定，比如解析的方式为直接按照预设模板解析处理、JSON解析处理、正则表达式解析处理、BeautifulSoup解析处理、PyQuery解析处理、XPath解析处理等等，如果所述页面内容的类型为HTML,则选择正则表达式解析处理方式进行解析，如果所述页面内容的类型为JSON字符串，则选择JSON解析处理方式进行解析，从而得到所述页面内容对应的所述第二比对项，所述第二比对项的数据类型与所述页面内容的类型相同。
S404，通过所述输出模块将所有所述第二比对项进行顺次拼接，生成所述第二结果数据。
可理解地，通过所述输出模块将所有所述第二比对项按照所述第二测试样本中的接口爬取网址的顺序进行顺次拼接，得到所述第二结果数据。
本发明实现了通过获取所述第二测试样本中的接口爬取网址，通过请求模块向各所述接口爬取网址发出请求；所述数据爬虫模型包括请求模块、获取模块、解析模块和输出模块；通过所述获取模块接收到各所述接口爬取网址对应的页面内容；通过所述解析模块对接收到的各所述页面内容进行解析，得到各所述页面内容对应的所述第二比对项；通过所述输出模块将所有所述第二比对项进行顺次拼接，生成所述第二结果数据，如此，实现了通过基于爬虫方法，对所述第二测试样本进行爬取得到第二结果数据，提升了核验效率。
S50，根据所述核验配置清单，从所述第一结果数据中筛选出与所述核验配置清单匹配的第一比对数据，同时从所述第二结果数据中筛选出与所述核验配置清单匹配的第二比对数据；其中，所述第一比对数据中的第一比对项与所述第二比对数据中的第二比对项一一对应。
可理解地，根据所述核验配置清单，从所述第一结果数据中筛选出包含有所述核验配置清单中的核验配置项目的所述第一比对项，将筛选后的所有所述第一比对项确定为所述第一比对数据，从所述第二结果数据中筛选出包含有所述核验配置清单中的核验配置项目的所述第二比对项，将筛选后的所有所述第二比对项确定为所述第二比对数据，其中，所述第一比对数据中的第一比对项与所述第二比对数据中的第二比对项一一对应，如此，聚焦关注的核验数据，更具针对性。
S60，通过数据核验模型，将筛选后所述第一比对项和与所述第一比对项对应的所述第二比对项进行比对，获取所述数据核验模型输出的核验结果。
可理解地，所述数据核验模型中包含了所有与各核验配置项目对应的偏差允许范围，所述数据核验模型实现了比对第一比对项和第二比对项，判断第一比对项和第二比对项是否在与其对应的偏差允许范围内，输出所述核验结果，所述数据核验模型中使用的比对算法可以根据需求设定，所述比对算法为所述第一比对项的值与所述第二比对项的值的差值，比如所述比对算法为差值比对算法、二进制比对算法等等，所述核验结果包含合格和不合格的比对结果，所述比对结果为所述第一比对项与所述第二比对项比对的结果，所述比对结果包括合格和不合格。
在一实施例中，所述步骤S60中，即所述通过数据核验模型，将筛选后所述第一比对项和与所述第一比对项对应的所述第二比对项进行比对，获取所述数据核验模型输出的核验结果，包括：
S601，自所述数据核验模型中查找出与各所述第二比对项匹配的偏差允许范围。
可理解地，从所述数据核验模型中查找到与各所述第二比对项匹配的偏差允许范围，即从所述数据核验模型中查找到与各所述第二比对项匹配的所述核验配置项目对应的偏差允许范围，例如：第二比对项为病灶概率：98.01%，病灶概率对应的偏差允许范围为0.05%，则此项的偏差允许范围为0.05%。
S602，通过所述数据核验模型将所述第二比对项和与其对应的所述第一比对项进行比对，得到所述第二比对项对应的比对值。
可理解地，通过所述数据核验模型中的所述比对算法将所述第二比对项和与其对应的所述第一比对项进行比对，得到所述第二比对项对应的比对值。
S603，判断所述第二比对项对应的所述比对值是否在与所述第二比对项匹配的所述偏差允许范围内。
可理解地，判断所述第二比对项对应的所述比对值是否在所述偏差允许范围内。
S604，若所述第二比对项对应的所述比对值在与所述第二比对项匹配的所述偏差允许范围内，确定所述第二比对项的比对结果为合格。
可理解地，如果所述第二比对项对应的所述比对值在与所述偏差允许范围内，就将该第二比对项的比对结果标记为合格。
S605，若所述第二比对项对应的所述比对值超出与所述第二比对项匹配的所述偏差允许范围，确定所述第二比对项的比对结果为不合格。
可理解地，如果所述第二比对项对应的所述比对值不在与所述偏差允许范围内，就将该第二比对项的比对结果标记为不合格。
S606，将所有所述比对结果进行汇总得到所述核验结果。
可理解地，汇总所有所述比对结果生成所述核验结果。
本发明实现了通过自所述数据核验模型中查找出与各所述第二比对项匹配的偏差允许范围；通过所述数据核验模型将所述第二比对项和与其对应的所述第一比对项进行比对，得到所述第二比对项对应的比对值；判断所述第二比对项对应的所述比对值是否在与所述第二比对项匹配的所述偏差允许范围内；若所述第二比对项对应的所述比对值在与所述第二比对项匹配的所述偏差允许范围内，确定所述第二比对项的比对结果为合格；若所述第二比对项对应的所述比对值超出与所述第二比对项匹配的所述偏差允许范围，确定所述第二比对项的比对结果为不合格；将所有所述比对结果进行汇总得到所述核验结果，如此，实现了自动比对第一比对项和第二比对项，根据对应的偏差允许范围判断第二比对项的比对结果，最后输出核验结果，减少了人工核验的成本，降低了人工核验出错率，提升了核验效率，提高了核验准确率和可靠性。
S70，根据所述核验结果输出核验报告并显示。
可理解地，所述核验报告为对所述核验结果进行统计汇总的报告，根据所述核验结果中的合格和不合格的所述比对结果，通过对所有所述比对结果进行统计及汇总，生成所述核验报告，并通过预设的显示方式进行显示，所述显示方式可以根据需求设定，比如，所述核验报告中包含接口通过率和通过数量，显示方式为饼状图，则通过饼状图显示接口通过率和通过数量。
本发明实现了通过获取所述核验请求中的待核验系统版本名称、测试用例文件和核验配置清单；自预设的接口测试样本平台中查询到与所述待核验系统版本名称匹配的升级前历史版本名称，并获取第一测试样本；根据所述待核验系统版本名称和所述测试用例文件，获取第二测试样本；通过数据爬虫模型，分别对所述第一测试样本和所述第二测试样本进行爬取，输出第一结果数据和第二结果数据；根据所述核验配置清单，从所述第一结果数据中筛选出第一比对数据，同时从所述第二结果数据中筛选出第二比对数据；通过数据核验模型比对第一比对数据和第二比对数据，得到核验结果，并输出核验报告及显示，如此，实现了通过基于爬虫方法，对升级前及升级后的系统执行相同测试用例的接口测试结果进行爬取，并从爬取后的结果中筛选出与核验配置清单匹配的数据进行核验，从而得出核验报告，降低了人工核验的成本，并聚焦关注的核验数据，更具针对性，而且避免了核验遗漏，提升了核验准确性，以及提升了核验效率。
在一实施例中，提供一种基于爬虫的数据核验装置，该基于爬虫的数据核验装置与上述实施例中基于爬虫的数据核验方法一一对应。如图7所示，该基于爬虫的数据核验装置包括接收模块11、第一获取模块12、第二获取模块13、爬取模块14、配置模块15、核验模块16和输出模块17。各功能模块详细说明如下：
接收模块11，用于接收到核验请求，获取所述核验请求中的待核验系统版本名称、测试用例文件和核验配置清单；
第一获取模块12，用于自预设的接口测试样本平台中查询到与所述待核验系统版本名称匹配的升级前历史版本名称，并根据所述升级前历史版本名称和所述测试用例文件，获取第一测试样本；
第二获取模块13，用于根据所述待核验系统版本名称和所述测试用例文件，自所述接口测试样本平台中获取第二测试样本；
爬取模块14，用于通过数据爬虫模型，对所述第一测试样本进行爬取，输出第一结果数据，同时对所述第二测试样本进行爬取，输出第二结果数据；
配置模块15，用于根据所述核验配置清单，从所述第一结果数据中筛选出与所述核验配置清单匹配的第一比对数据，同时从所述第二结果数据中筛选出与所述核验配置清单匹配的第二比对数据；其中，所述第一比对数据中的第一比对项与所述第二比对数据中的第二比对项一一对应；
核验模块16，用于通过数据核验模型，将筛选后所述第一比对项和与所述第一比对项对应的所述第二比对项进行比对，获取所述数据核验模型输出的核验结果；
输出模块17，用于根据所述核验结果输出核验报告并显示。
在一实施例中，所述接收模块11包括：
第一获取单元，用于自日志数据库中获取与所述待核验系统版本名称关联的系统升级日志；
输入单元，用于将所述系统升级日志输入关键词提取模型，通过所述关键词提取模型对所述系统升级日志进行关键词提取，得到提取结果；
第一确定单元，用于获取与所述提取结果中的关键词匹配的配置项目，将与所述提取结果中的关键词匹配的配置项目确定为所述核验配置项目；
合并单元，用于将所有所述核验配置项目合并生成所述核验配置清单。
在一实施例中，所述第一获取模块12包括：
第一查询单元，用于通过余弦相似度算法，自所述接口测试样本平台查询到与所述待核验系统版本名称的匹配值大于预设阈值的历史版本名称对应的历史部署系统文件夹，并获取查询到的所述历史部署系统文件夹对应的更新时间；
匹配单元，用于根据各所述历史部署系统文件夹对应的所述匹配值和所述更新时间，确定各所述历史部署系统文件夹的最终匹配值，将所有所述最终匹配值中最大的所述最终匹配值对应的所述历史版本名称确定为所述升级前历史版本名称；
第二确定单元，用于在所述升级前历史版本名称对应的所述历史部署系统文件夹下获取与所述测试用例文件中的测试用例文件名称匹配的历史测试样本，将获取的所述历史测试样本确定为所述第一测试样本。
在一实施例中，所述第二获取模块13包括：
第二获取单元，用于自所述接口测试样本平台中获取与所述待核验系统版本名称关联的待核验系统路径，通过所述待核验系统路径运行部署系统；
执行单元，用于在所述部署系统下执行所述测试用例文件，获得所述第二测试样本；
第一判断单元，用于判断所述第二测试样本中的测试结果项的数量是否与所述第一测试样本中的测试结果项的数量相同；
第三确定单元，用于若所述第二测试样本中的测试结果项的数量与所述第一测试样本中的测试结果项的数量相同，将所述第二测试样本存储至所述接口测试样本平台中与所述待核验系统版本名称对应的历史部署系统文件夹下。
在一实施例中，所述判断单元包括：
排除子单元，用于若所述第二测试样本中的测试结果项的数量与所述第一测试样本中的测试结果项的数量不相同，重新部署所述部署系统或/和异常排除，直至获得与所述第一测试样本的测试结果项等数量的所述第二测试样本。
在一实施例中，所述爬取模块14包括：
第三获取单元，用于获取所述第二测试样本中的接口爬取网址，通过请求模块向各所述接口爬取网址发出请求；所述数据爬虫模型包括请求模块、获取模块、解析模块和输出模块；
接收单元，用于通过所述获取模块接收到各所述接口爬取网址对应的页面内容；
解析单元，用于通过所述解析模块对接收到的各所述页面内容进行解析，得到各所述页面内容对应的所述第二比对项；
输出单元，用于通过所述输出模块将所有所述第二比对项进行顺次拼接，生成所述第二结果数据。
在一实施例中，所述核验模块16包括：
第二查找单元，用于自所述数据核验模型中查找出与各所述第二比对项匹配的偏差允许范围；
比对单元，用于通过所述数据核验模型将所述第二比对项和与其对应的所述第一比对项进行比对，得到所述第二比对项对应的比对值；
第二判断单元，用于判断所述第二比对项对应的所述比对值是否在与所述第二比对项匹配的所述偏差允许范围内；
第四确定单元，用于若所述第二比对项对应的所述比对值在与所述第二比对项匹配的所述偏差允许范围内，确定所述第二比对项的比对结果为合格；
第五确定单元，用于若所述第二比对项对应的所述比对值超出与所述第二比对项匹配的所述偏差允许范围，确定所述第二比对项的比对结果为不合格；
汇总单元，用于将所有所述比对结果进行汇总得到所述核验结果。
关于基于爬虫的数据核验装置的具体限定可以参见上文中对于基于爬虫的数据核验方法的限定，在此不再赘述。上述基于爬虫的数据核验装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于爬虫的数据核验方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于爬虫的数据核验方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中基于爬虫的数据核验方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于爬虫的数据核验方法，其特征在于，包括：
接收到核验请求，获取所述核验请求中的待核验系统版本名称、测试用例文件和核验配置清单；
自预设的接口测试样本平台中查询到与所述待核验系统版本名称匹配的升级前历史版本名称，并根据所述升级前历史版本名称和所述测试用例文件，获取第一测试样本；
根据所述待核验系统版本名称和所述测试用例文件，自所述接口测试样本平台中获取第二测试样本；
通过数据爬虫模型，对所述第一测试样本进行爬取，输出第一结果数据，同时对所述第二测试样本进行爬取，输出第二结果数据；
根据所述核验配置清单，从所述第一结果数据中筛选出与所述核验配置清单匹配的第一比对数据，同时从所述第二结果数据中筛选出与所述核验配置清单匹配的第二比对数据；其中，所述第一比对数据中的第一比对项与所述第二比对数据中的第二比对项一一对应；
通过数据核验模型，将筛选后所述第一比对项和与所述第一比对项对应的所述第二比对项进行比对，获取所述数据核验模型输出的核验结果；
根据所述核验结果输出核验报告并显示。
2.如权利要求1所述的基于爬虫的数据核验方法，其特征在于，所述获取所述核验请求中的核验配置清单之前，包括：
自日志数据库中获取与所述待核验系统版本名称关联的系统升级日志；
将所述系统升级日志输入关键词提取模型，通过所述关键词提取模型对所述系统升级日志进行关键词提取，得到提取结果；
获取与所述提取结果中的关键词匹配的配置项目，将与所述提取结果中的关键词匹配的配置项目确定为所述核验配置项目；
将所有所述核验配置项目合并生成所述核验配置清单。
3.如权利要求1所述的基于爬虫的数据核验方法，其特征在于，所述自预设的接口测试样本平台中查询到与所述待核验系统版本名称关联的升级前历史版本名称，并根据所述升级前历史版本名称和所述测试用例文件，获取第一测试样本，包括：
通过余弦相似度算法，自所述接口测试样本平台查询到与所述待核验系统版本名称的匹配值大于预设阈值的历史版本名称对应的历史部署系统文件夹，并获取查询到的所述历史部署系统文件夹对应的更新时间；
根据各所述历史部署系统文件夹对应的所述匹配值和所述更新时间，确定各所述历史部署系统文件夹的最终匹配值，将所有所述最终匹配值中最大的所述最终匹配值对应的所述历史版本名称确定为所述升级前历史版本名称；
在所述升级前历史版本名称对应的所述历史部署系统文件夹下获取与所述测试用例文件中的测试用例文件名称匹配的历史测试样本，将获取的所述历史测试样本确定为所述第一测试样本。
4.如权利要求3所述的基于爬虫的数据核验方法，其特征在于，所述根据所述待核验系统版本名称和所述测试用例文件，自所述接口测试样本平台中获取第二测试样本，包括：
自所述接口测试样本平台中获取与所述待核验系统版本名称关联的待核验系统路径，通过所述待核验系统路径运行部署系统；
在所述部署系统下执行所述测试用例文件，获得所述第二测试样本；
判断所述第二测试样本中的测试结果项的数量是否与所述第一测试样本中的测试结果项的数量相同；
若所述第二测试样本中的测试结果项的数量与所述第一测试样本中的测试结果项的数量相同，将所述第二测试样本存储至所述接口测试样本平台中与所述待核验系统版本名称对应的历史部署系统文件夹下。
5.如权利要求4所述的基于爬虫的数据核验方法，其特征在于，所述判断所述第二测试样本中的测试结果项的数量是否与所述第一测试样本中的测试结果项的数量相同之后，还包括：
若所述第二测试样本中的测试结果项的数量与所述第一测试样本中的测试结果项的数量不相同，重新部署所述部署系统或/和异常排除，直至获得与所述第一测试样本的测试结果项等数量的所述第二测试样本。
6.如权利要求1所述的基于爬虫的数据核验方法，其特征在于，所述通过数据爬虫模型，对所述第二测试样本进行爬取，输出第二结果数据，包括：
获取所述第二测试样本中的接口爬取网址，通过请求模块向各所述接口爬取网址发出请求；所述数据爬虫模型包括请求模块、获取模块、解析模块和输出模块；
通过所述获取模块接收到各所述接口爬取网址对应的页面内容；
通过所述解析模块对接收到的各所述页面内容进行解析，得到各所述页面内容对应的所述第二比对项；
通过所述输出模块将所有所述第二比对项进行顺次拼接，生成所述第二结果数据。
7.如权利要求1所述的基于爬虫的数据核验方法，其特征在于，所述通过数据核验模型，将筛选后所述第一比对项和与所述第一比对项对应的所述第二比对项进行比对，获取所述数据核验模型输出的核验结果，包括：
自所述数据核验模型中查找出与各所述第二比对项匹配的偏差允许范围；
通过所述数据核验模型将所述第二比对项和与其对应的所述第一比对项进行比对，得到所述第二比对项对应的比对值；
判断所述第二比对项对应的所述比对值是否在与所述第二比对项匹配的所述偏差允许范围内；
若所述第二比对项对应的所述比对值在与所述第二比对项匹配的所述偏差允许范围内，确定所述第二比对项的比对结果为合格；
若所述第二比对项对应的所述比对值超出与所述第二比对项匹配的所述偏差允许范围，确定所述第二比对项的比对结果为不合格；
将所有所述比对结果进行汇总得到所述核验结果。
8.一种基于爬虫的数据核验装置，其特征在于，包括：
接收模块，用于接收到核验请求，获取所述核验请求中的待核验系统版本名称、测试用例文件和核验配置清单；
第一获取模块，用于自预设的接口测试样本平台中查询到与所述待核验系统版本名称匹配的升级前历史版本名称，并根据所述升级前历史版本名称和所述测试用例文件，获取第一测试样本；
第二获取模块，用于根据所述待核验系统版本名称和所述测试用例文件，自所述接口测试样本平台中获取第二测试样本；
爬取模块，用于通过数据爬虫模型，对所述第一测试样本进行爬取，输出第一结果数据，同时对所述第二测试样本进行爬取，输出第二结果数据；
配置模块，用于根据所述核验配置清单，从所述第一结果数据中筛选出与所述核验配置清单匹配的第一比对数据，同时从所述第二结果数据中筛选出与所述核验配置清单匹配的第二比对数据；其中，所述第一比对数据中的第一比对项与所述第二比对数据中的第二比对项一一对应；
核验模块，用于通过数据核验模型，将筛选后所述第一比对项和与所述第一比对项对应的所述第二比对项进行比对，获取所述数据核验模型输出的核验结果；
输出模块，用于根据所述核验结果输出核验报告并显示。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于爬虫的数据核验方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于爬虫的数据核验方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010686699.7A CN111563051B (zh) | 2020-07-16 | 2020-07-16 | 基于爬虫的数据核验方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010686699.7A CN111563051B (zh) | 2020-07-16 | 2020-07-16 | 基于爬虫的数据核验方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111563051A true CN111563051A (zh) | 2020-08-21 |
| CN111563051B CN111563051B (zh) | 2020-10-20 |
Family
ID=72071275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010686699.7A Active CN111563051B (zh) | 2020-07-16 | 2020-07-16 | 基于爬虫的数据核验方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111563051B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107808004A (zh) * | 2017-11-15 | 2018-03-16 | 北京百度网讯科技有限公司 | 模型训练方法和系统、服务器、存储介质 |
| CN112100070A (zh) * | 2020-09-15 | 2020-12-18 | 北京三快在线科技有限公司 | 版本缺陷的检测方法、装置、服务器及存储介质 |
| CN112131128A (zh) * | 2020-09-29 | 2020-12-25 | 网易（杭州）网络有限公司 | 数据测试方法、装置、存储介质和电子装置 |
| CN113052463A (zh) * | 2021-03-25 | 2021-06-29 | 平安银行股份有限公司 | 工作流核验方法、装置、计算机设备及存储介质 |
| CN114326631A (zh) * | 2021-12-30 | 2022-04-12 | 苏伊士水务工程有限责任公司 | 数据采集与监视控制系统升级的核查方法及核查处理系统 |
| CN114780595A (zh) * | 2022-05-09 | 2022-07-22 | 马上消费金融股份有限公司 | 核验方法、装置及系统 |
| CN115840715A (zh) * | 2023-02-27 | 2023-03-24 | 北京徐工汉云技术有限公司 | 软件测试管理方法、装置和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10127145B1 (en) * | 2016-03-22 | 2018-11-13 | EMC IP Holding Company LLC | Automated testing system and method |
| CN109669853A (zh) * | 2018-10-23 | 2019-04-23 | 深圳壹账通智能科技有限公司 | 测试报告生成方法及装置、存储介质、电子终端 |
| CN110096429A (zh) * | 2019-03-18 | 2019-08-06 | 深圳壹账通智能科技有限公司 | 测试报告生成方法、装置、设备及存储介质 |
| CN110362498A (zh) * | 2019-07-24 | 2019-10-22 | 杭州安恒信息技术股份有限公司 | 页面热点的测试方法、装置及服务器 |
| CN111290961A (zh) * | 2020-02-28 | 2020-06-16 | 中国平安人寿保险股份有限公司 | 接口测试的管理方法、装置及终端设备 |
| US20200201749A1 (en) * | 2018-12-21 | 2020-06-25 | Ncr Corporation | Point of sale platform process crawler |
| CN111382070A (zh) * | 2020-03-03 | 2020-07-07 | 腾讯科技（深圳）有限公司 | 兼容性测试方法、装置、存储介质和计算机设备 |
-
2020
- 2020-07-16 CN CN202010686699.7A patent/CN111563051B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10127145B1 (en) * | 2016-03-22 | 2018-11-13 | EMC IP Holding Company LLC | Automated testing system and method |
| CN109669853A (zh) * | 2018-10-23 | 2019-04-23 | 深圳壹账通智能科技有限公司 | 测试报告生成方法及装置、存储介质、电子终端 |
| US20200201749A1 (en) * | 2018-12-21 | 2020-06-25 | Ncr Corporation | Point of sale platform process crawler |
| CN110096429A (zh) * | 2019-03-18 | 2019-08-06 | 深圳壹账通智能科技有限公司 | 测试报告生成方法、装置、设备及存储介质 |
| CN110362498A (zh) * | 2019-07-24 | 2019-10-22 | 杭州安恒信息技术股份有限公司 | 页面热点的测试方法、装置及服务器 |
| CN111290961A (zh) * | 2020-02-28 | 2020-06-16 | 中国平安人寿保险股份有限公司 | 接口测试的管理方法、装置及终端设备 |
| CN111382070A (zh) * | 2020-03-03 | 2020-07-07 | 腾讯科技（深圳）有限公司 | 兼容性测试方法、装置、存储介质和计算机设备 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107808004A (zh) * | 2017-11-15 | 2018-03-16 | 北京百度网讯科技有限公司 | 模型训练方法和系统、服务器、存储介质 |
| CN107808004B (zh) * | 2017-11-15 | 2021-02-26 | 北京百度网讯科技有限公司 | 模型训练方法和系统、服务器、存储介质 |
| CN112100070A (zh) * | 2020-09-15 | 2020-12-18 | 北京三快在线科技有限公司 | 版本缺陷的检测方法、装置、服务器及存储介质 |
| CN112131128A (zh) * | 2020-09-29 | 2020-12-25 | 网易（杭州）网络有限公司 | 数据测试方法、装置、存储介质和电子装置 |
| CN112131128B (zh) * | 2020-09-29 | 2023-08-22 | 网易（杭州）网络有限公司 | 数据测试方法、装置、存储介质和电子装置 |
| CN113052463A (zh) * | 2021-03-25 | 2021-06-29 | 平安银行股份有限公司 | 工作流核验方法、装置、计算机设备及存储介质 |
| CN113052463B (zh) * | 2021-03-25 | 2023-09-26 | 平安银行股份有限公司 | 工作流核验方法、装置、计算机设备及存储介质 |
| CN114326631A (zh) * | 2021-12-30 | 2022-04-12 | 苏伊士水务工程有限责任公司 | 数据采集与监视控制系统升级的核查方法及核查处理系统 |
| CN114780595A (zh) * | 2022-05-09 | 2022-07-22 | 马上消费金融股份有限公司 | 核验方法、装置及系统 |
| CN114780595B (zh) * | 2022-05-09 | 2023-08-15 | 马上消费金融股份有限公司 | 核验方法、装置及系统 |
| CN115840715A (zh) * | 2023-02-27 | 2023-03-24 | 北京徐工汉云技术有限公司 | 软件测试管理方法、装置和存储介质 |
| CN115840715B (zh) * | 2023-02-27 | 2023-05-05 | 北京徐工汉云技术有限公司 | 软件测试管理方法、装置和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111563051B (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563051B (zh) | 基于爬虫的数据核验方法、装置、计算机设备及存储介质 | |
| US9489401B1 (en) | Methods and systems for object recognition | |
| AU2013329525B2 (en) | System and method for recursively traversing the internet and other sources to identify, gather, curate, adjudicate, and qualify business identity and related data | |
| CN113204621B (zh) | 文档入库、文档检索方法，装置，设备以及存储介质 | |
| CN112416778A (zh) | 测试用例推荐方法、装置和电子设备 | |
| CN110362798B (zh) | 裁决信息检索分析方法、装置、计算机设备和存储介质 | |
| US20130339779A1 (en) | Systematic failure remediation | |
| US20160292062A1 (en) | System and method for detection of duplicate bug reports | |
| CN112286934A (zh) | 数据库表导入方法、装置、设备及介质 | |
| CN115827895A (zh) | 一种漏洞知识图谱处理方法、装置、设备及介质 | |
| CN113868498A (zh) | 数据存储方法、电子装置、装置及可读存储介质 | |
| CN108399125B (zh) | 自动化测试方法、装置、计算机设备和存储介质 | |
| CN114610635A (zh) | 接口测试用例生成方法、装置、计算机设备及存储介质 | |
| Pocci et al. | Synchronizing sequences on a class of unbounded systems using synchronized Petri nets | |
| CN113312258A (zh) | 一种接口测试方法、装置、设备及存储介质 | |
| CN110866007B (zh) | 大数据应用和表的信息管理方法、系统和计算机设备 | |
| CN111475405A (zh) | 回归测试的方法、装置、计算机设备及存储介质 | |
| CN111460268B (zh) | 数据库查询请求的确定方法、装置和计算机设备 | |
| CN112559671B (zh) | 基于es的文本搜索引擎的构建方法、装置、设备及介质 | |
| CN113505078B (zh) | 配置文件更新方法、装置、设备及存储介质 | |
| CN113052463B (zh) | 工作流核验方法、装置、计算机设备及存储介质 | |
| CN116680203B (zh) | 面向多租户的SaaS平台的测试方法、装置、设备和介质 | |
| CN115203057B (zh) | 低代码测试自动化方法、装置、设备及存储介质 | |
| CN114048392B (zh) | 多媒体资源推送方法、装置、电子设备及存储介质 | |
| CN113326202A (zh) | Ui自动化测试代码生成方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231027 Address after: Room 2601 (Unit 07), Qianhai Free Trade Building, No. 3048, Xinghai Avenue, Nanshan Street, Qianhai Shenzhen-Hong Kong Cooperation Zone, Shenzhen, Guangdong 518000 Patentee after: Shenzhen Ping An Smart Healthcare Technology Co.,Ltd. Address before: 1-34 / F, Qianhai free trade building, 3048 Xinghai Avenue, Mawan, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong 518000 Patentee before: Ping An International Smart City Technology Co.,Ltd. |