CN113419949A - 数据处理的异常检测方法、装置、设备及存储介质 - Google Patents
数据处理的异常检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113419949A CN113419949A CN202110687621.1A CN202110687621A CN113419949A CN 113419949 A CN113419949 A CN 113419949A CN 202110687621 A CN202110687621 A CN 202110687621A CN 113419949 A CN113419949 A CN 113419949A
- Authority
- CN
- China
- Prior art keywords
- server
- data processing
- target information
- directed acyclic
- acyclic graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 167
- 238000003860 storage Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 title claims description 27
- 238000004519 manufacturing process Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 26
- 230000015654 memory Effects 0.000 claims description 32
- 230000005856 abnormality Effects 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 7
- 238000011144 upstream manufacturing Methods 0.000 description 6
- 125000002015 acyclic group Chemical group 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000329 smooth muscle myocyte Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及测试领域,提供了一种数据处理的异常检测方法、装置、设备及存储介质。通过选取预发布环境对应的第一服务器并发布新功能,接收不同版本客户端发起的数据处理的请求,将请求分发至预发布环境和生产环境对应的服务器执行处理操作,读取预发布环境处理得到第一目标信息和生产环境得到的第二目标信息,判断第一目标信息与第二目标信息是否相同,若不同,向预设终端反馈提示信息。本发明可以快速的发现和定位待检测内容上线导致的异常问题。本发明还涉及区块链技术领域,上述目标模板语句集可以存储于一区块链的节点中。
Description
技术领域
本发明涉及测试领域,尤其涉及一种数据处理的异常检测方法、装置、设备及存储介质。
背景技术
目前,软件平台(例如,数据调度平台)有新功能发布时,需要检测新功能是否对软件平台已有的功能造成影响,例如,数据调度平台上具有大量的数据调度任务,且调度环境具有复杂的检查条件和任务之间的依赖关系,当新功能上线时可能会对存量的调度任务造成很大的影响。当软件平台数据量极大时,无法通过手动对比或抽查对比的方式查找出新功能对存量数据的影响。
发明内容
鉴于以上内容,本发明提供一种数据处理的异常检测方法、装置、设备及存储介质,其目的在于解决现有技术中当软件平台数据量极大时,无法通过手动方式查找出新功能对存量数据影响的技术问题。
为实现上述目的,本发明提供一种数据处理的异常检测方法,该方法包括:
从预设的服务器集群中选取预发布环境对应的第一服务器,在所述第一服务器中发布预设的待检测内容;
接收不同版本客户端发起的数据处理的请求,基于所述请求对应的标识,将所述请求分发至所述第一服务器和生产环境对应的第二服务器,以供所述第一服务器和所述第二服务器执行数据处理操作;
读取所述第一服务器执行数据处理操作后得到的第一目标信息,及第二服务器执行数据处理操作后得到的第二目标信息;
分别构建第一目标信息、第二目标信息对应的第一、第二有向无环图,判断第一、第二有向无环图是否相同,并判断第一目标信息、第二目标信息的第一、第二状态信息是否相同,当所述第一、第二有向无环图不同或者第一、第二状态信息不同时,向预设终端反馈提示信息。
优选的,所述从预设的服务器集群中选取预发布环境对应的第一服务器包括:
基于预设计算规则及所述服务器集群各服务器的预设指标值,计算得到各服务器的资源使用率,将资源使用率最小的服务器作为所述第一服务器,其中,所述预设计算规则包括:
Li=1-(1-W1×Xi1)×(1-W2×Xi2)×(1-W3×Xi3)×(1-W4×Xi4)
其中,Li表示第i个服务器的资源使用率,Xi1表示第i个服务器CPU的使用率,Xi2表第i个服务器内存的使用率,Xi3表示第i个服务器IO的使用率,Xi4表第i个服务器网络的使用率,W1表示第i个服务器CPU的预设权重,W2表示第i个服务器内存的预设权重,W3表示第i个服务器IO的预设权重,W4表示第i个服务器网络的预设权重。
优选的,所述在所述第一服务器中发布预设的待检测内容包括:
从预设存储路径获取所述待检测内容对应的更新代码,将所述更新代码发送至预设的测试环境执行测试操作,当所述更新代码通过所述测试操作时,将所述更新代码生成上线脚本,基于所述上线脚本在所述第一服务器中发布待检测内容。
优选的,在将所述请求分发至所述第一服务器和生产环境对应的第二服务器之后,所述方法还包括:
将所述第一服务器执行数据处理操作后得到第一目标信息存储至预设数据库的第一数据表,将所述第二服务器执行处理操作后得到的第二目标信息存储至预设数据库的第二数据表,其中,所述第一数据表与所述第二数据表具有映射关系。
优选的,在向预设终端反馈提示信息之后,所述方法还包括:
当接收到不同版本客户端发起的重新执行数据处理的请求时,将该请求对应的执行结果信息同步至所述第一数据表中。
优选的,所述判断所述第一、第二状态信息是否相同包括:
当所述第一状态信息与所述第二状态信息一致时,将所述第二目标信息的执行结果信息和执行日志信息同步至所述第一数据表中。
优选的,所述分别构建第一目标信息、第二目标信息对应的第一、第二有向无环图包括:
分别构建第一目标信息的空的有向无环图,及第二目标信息的空的有向无环图;
分别遍历第一目标信息对应的数据处理任务表,及第二目标信息对应的数据处理任务表;
根据各数据处理任务的ID查询预先配置的任务依赖表中该数据处理任务依赖的前置数据处理任务,设置前置数据处理任务与该数据处理任务的依赖关系并逐步放至对应的空的有向无环图中,直至所有的数据处理任务放至完毕,生成所述第一、第二有向无环图。
为实现上述目的,本发明还提供一种数据处理的异常检测装置,该数据处理的异常检测装置包括:
发布模块:用于从预设的所属服务器集群中选取预发布环境对应的第一服务器,在所述第一服务器中发布预设的待检测内容;
处理模块:用于接收不同版本客户端发起的数据处理的请求,基于所述请求对应的标识,将所述请求分发至所述第一服务器和生产环境对应的第二服务器,以供所述第一服务器和所述第二服务器执行数据处理操作;
读取模块:用于读取所述第一服务器执行数据处理操作后得到的第一目标信息,及第二服务器执行数据处理操作后得到的第二目标信息;
检测模块:用于分别构建第一目标信息、第二目标信息对应的第一、第二有向无环图,判断第一、第二有向无环图是否相同,并判断第一目标信息、第二目标信息的第一、第二状态信息是否相同,当所述第一、第二有向无环图不同或者第一、第二状态信息不同时,向预设终端反馈提示信息。
为实现上述目的,本发明还提供一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的程序,所述程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的数据处理的异常检测方法的任意步骤。
为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有数据处理的异常检测程序,所述数据处理的异常检测程序被处理器执行时,实现如上所述数据处理的异常检测方法的任意步骤。
本发明提出的数据处理的异常检测方法、装置、设备及存储介质,通过选取预发布环境对应的第一服务器并发布新功能,接收不同版本客户端发起的数据处理的请求,将请求分发至预发布环境和生产环境对应的服务器执行处理操作,读取预发布环境处理得到第一目标信息和生产环境得到的第二目标信息,判断第一目标信息与第二目标信息是否相同,若不同,向预设终端反馈提示信息。本方案通过提前在预发布环境上线待检测内容,可以快速的发现和定位待检测内容上线导致的异常问题。
附图说明
图1为本发明数据处理的异常检测方法较佳实施例的流程图示意图;
图2为本发明数据处理的异常检测装置较佳实施例的模块示意图;
图3为本发明电子设备较佳实施例的示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种数据处理的异常检测方法。参照图1所示,为本发明数据处理的异常检测方法的实施例的方法流程示意图。该方法可以由一个电子设备执行,该电子设备可以由软件和/或硬件实现。数据处理的异常检测方法包括:
步骤S10:从预设的服务器集群中选取预发布环境对应的第一服务器,在所述第一服务器中发布预设的待检测内容。
本方案以数据调度平台有待检测内容(例如,新功能)上线,或者需要对原来的功能进行修改时,需要检测新功能是否对数据调度平台的存量数据任务是否产生影响,以便开发人员或测试人员及时发现问题为例,对本方案进行说明,可以理解的是,本方案的实际用于场景并不仅限于某个数据调度平台或其它类型的数据平台。
在本实施例中,将预发布环境部署在与正式生产环境相同的环境中,以此来检测数据调度平台的待检测内容(新功能)对存量的数据任务的影响。具体地,从运行数据调度平台的服务器所属的服务器集群中选取出预发布环境对应的第一服务器,可以从服务器集群中指定一台或多台服务器作为预发布主机构建预发布环境,然后将其余的服务器作为正式发布服务器来构建正式发布环境,其中,选取预发布环境对应的服务器可以是随机选取,也可以是根据各服务器的资源使用率进行选取。之后,在预发布环境对应的第一服务器发布数据调度平台的新功能。
在一个实施例中,所述从预设的服务器集群中选取预发布环境对应的第一服务器包括:
基于预设计算规则及所述服务器集群各服务器的预设指标值,计算得到各服务器的资源使用率,将资源使用率最小的服务器作为所述第一服务器,其中,所述预设计算规则包括:
Li=1-(1-W1×Xi1)×(1-W2×Xi2)×(1-W3×Xi3)×(1-W4×Xi4)
其中,Li表示第i个服务器的资源使用率,Xi1表示第i个服务器CPU的使用率,Xi2表第i个服务器内存的使用率,Xi3表示第i个服务器IO的使用率,Xi4表第i个服务器网络的使用率,W1表示第i个服务器CPU的预设权重,W2表示第i个服务器内存的预设权重,W3表示第i个服务器IO的预设权重,W4表示第i个服务器网络的预设权重。
从服务器集群中选取资源使用率最小的服务器构建预发布环境并发布数据调度平台的新功能,可以提升预发布环境的数据运行速度。
在一个实施例中,所述在所述第一服务器中发布预设的待检测内容包括:
从预设存储路径获取所述待检测内容对应的更新代码,将所述更新代码发送至预设的测试环境执行测试操作,当所述更新代码通过所述测试操作时,将所述更新代码生成上线脚本,基于所述上线脚本在所述第一服务器中发布待检测内容。
从代码版本库中获取新功能对应的更新代码,将更新代码发送至测试环境执行测试操作,若更新代码内容无误,且更新代码执行效率达到预定标准,则通过该测试操作,通过测试操作后将更新代码生成可执行的上线脚本,根据上线脚本在预发布环境对应的第一服务器中发布数据平台的新功能。当更新部分代码未通过测试操作,则将更新部分代码以及测试报告发送到预设终端,预设终端可以是开发部门及或测试部门的设备终端。
步骤S20:接收不同版本客户端发起的数据处理的请求,基于所述请求对应的标识,将所述请求分发至所述第一服务器和生产环境对应的第二服务器,以供所述第一服务器和所述第二服务器执行数据处理操作。
在本实施例中,在预发布环境上线了数据调度平台的新功能后,用户(例如,测试人员)可以通过新功能对应版本的客户端发起数据处理请求(例如,数据调度请求),及通过不具备新功能对应版本的客户端发起数据处理请求,可以理解的是,数据处理可以是处理生产环境中多个存量的调度任务。当接收到不同版本的客户端发起的数据处理请求后,可以解析该请求获取请求对应的客户端版本标识号,从而确定出请求对应的客户端版本号,根据不同版本号的客户端发起的请求,相应地将请求分发至预发布环境对应的第一服务器,和正式生产环境对应的第二服务器执行处理操作。
需要说明的是,预发布环境和正式环境部署在同个集群的不同服务器里,文件可以通过NFS共享,且预发布环境和生产环境连接同一个数据库(即生产环境对应的数据库)。对于执行数据处理操作时所需的配置信息,生产环境对应第二服务器和预发布环境对应的第一服务器读取数据库中相同的配置表。
在一个实施例中,所述方法还包括:
将所述第一服务器执行数据处理操作后得到第一目标信息存储至预设数据库的第一数据表,将所述第二服务器执行处理操作后得到的第二目标信息存储至预设数据库的第二数据表,其中,所述第一数据表与所述第二数据表具有映射关系。
执行数据处理操作后得到的目标信息包括调度状态信息和日志信息,对于需要写入数据库的调度状态信息和日志信息,通过在配置文件里配置第一数据表和第二数据表的映射关系,预发布环境的调度状态信息和日志信息会写到映射表里,例如,配置文件里如果配置“JIT_HEADER:SS_JIT_HEADER”,那么生产环境的调度状态信息会写入表“JIT_HEADER”,预发布环境的调度状态信息会写入表“SS_JIT_HEADER”,两个表结构是相同的,但数据分别是由预发布环境和正式环境生成。预发布环境的调度日志信息可以写入“SS_JOB_LOG”,生产环境的调度日志信息可以写入“JOB_LOG”,两者表结构也是相同的,日志数据分别是由预发布环境和正式环境生成。由于预发布环境和生产环境使用同一套代码(仅是版本不同),服务启动后读取参数,如果发现是预发布环境,就会读取第一数据表与第二数据表的映射关系,写入数据时会写入数据库对应的表。
第一服务器和第二服务器执行数据处理操作时,会根据数据处理请求创建待执行的调度任务,当需要执行该调度任务时,检查待执行调度任务的上下游依赖任务是否满足第一条件(例如,其他的相同任务是否已经完成),并检查用户设置的条件是否满足第二条件(例如,文件/DB数据、并发控制是否通过等)。
需要说明的是,调度任务由调度器和执行器完成,调度器负责调度(即保证调度任务可以在正确的时间和条件无误的情况下被执行),执行器负责执行调度任务。预发布环境中仅是检查待执行的调度任务是否满足执行条件(即只有调度器工作),并没有执行器对该调度任务执行处理。当生产环境中检查待执行任务满足执行条件后,执行器对该调度任务执行处理。
步骤S30:读取所述第一服务器执行数据处理操作后得到的第一目标信息,及第二服务器执行数据处理操作后得到的第二目标信息。
在本实施例中,可以从预设数据库的“SS_JIT_HEADER”表和“SS_JOB_LOG”表中读取第一服务器(即预发布环境)的第一目标信息,从预设数据库的“JIT_HEADER”表和“JOB_LOG”表中读取第二服务器(即生产环境)的第二目标信息。
其中,第一目标信息包括数据处理请求对应的待执行任务的调度状态信息和调度日志信息,第二目标信息包括数据处理请求对应的待执行任务的调度状态信息、调度日志信息、执行结果信息及执行日志信息。
步骤S40:分别构建第一目标信息、第二目标信息对应的第一、第二有向无环图,判断第一、第二有向无环图是否相同,并判断第一目标信息、第二目标信息的第一、第二状态信息是否相同,当所述第一、第二有向无环图不同或者第一、第二状态信息不同时,向预设终端反馈提示信息。
在本实施例中,读取第一目标信息和第二目标信息后,分别构建第一目标信息的第一有向无环图及第二目标信息的第二有向无环图,通过判断第一、第二有向无环图是否相同来判断第一目标信息的调度日志信息,与第二目标信息的调度日志信息是否相同。
并判断第一目标信息的第一状态信息与第二目标信息的第二状态信息是否相同,若存储第一目标信息的表“JIT_HEADER”中是完成状态),存储第二目标信息的表“SS_JIT_HEADER”是未完成状态,说明两者的调度状态信息不同。
当第一目标信息的调度日志信息与第二目标信息的调度日志信息不同,或者第一目标信息的调度状态信息与第二目标信息的调度状态信息不同时,向预设终端反馈提示信息。具体地,可以通过邮件通知开发或者测试人员,人工检查新功能的代码是否导致了调度异常。
在一个实施例中,所述分别构建第一目标信息、第二目标信息对应的第一、第二有向无环图包括:
分别构建第一目标信息的空的有向无环图,及第二目标信息的空的有向无环图;
分别遍历第一目标信息对应的数据处理任务表,及第二目标信息对应的数据处理任务表;
根据各数据处理任务的ID查询预先配置的任务依赖表中该数据处理任务依赖的前置数据处理任务,设置前置数据处理任务与该数据处理任务的依赖关系并逐步放至对应的空的有向无环图中,直至所有的数据处理任务放至完毕,生成所述第一、第二有向无环图。
比较两个有向无环图是否相同,可以遍历生产环境图中每一个节点,在预发布环境中找到同样的节点,直接比较两个节点的上游依赖,看是否一致,直到所有节点都比较完成。其中,数据处理操作的多个调度任务依赖于有向无环图,例如:任务A生成数据表table_a,任务B生成数据表table_b,任务C会使用table_a和table_b的数据生成table_c,那任务C就依赖于任务A和任务B,如果A,B没有跑完C就开始运行,或者C没有依赖A或B就开始运行,那C就会运行失败或者跑出错误的数据。
在一个实施例中,所述判断所述第一、第二状态信息是否相同包括:
当所述第一状态信息与所述第二状态信息一致时,将所述第二目标信息的执行结果信息和执行日志信息同步至所述第一数据表中。
预发布环境的调度器只检查执行调度任务之前的调度状态,预发布环境中没有执行器,即第一数据表中不存在调度任务的执行结果,因此可以将生产环境的执行结果同步至预发布环境对应的第一数据表中,生产环境的执行结果包括:DONE、ERROR或KILLING。这样,可以避免后续的调度任务不会因上游调度任务没完成而延迟调度。
在一个实施例中,在向预设终端反馈提示信息之后,所述方法还包括:
当接收到不同版本客户端发起的重新执行数据处理的请求时,将该请求对应的执行结果信息同步至所述第一数据表中。
当用户(开发人员或测试人员)在客户端点击重新执行数据处理(重新运行调度任务)时,由于生产环境会生成新记录,预发布环境没有执行器不会生成新记录,由于后续的任务可能会依赖该调度任务,因此可以将执行调度任务后得到的执行结果信息同步至预发布环境对应的第一数据表。
参照图2所示,为本发明数据处理的异常检测装置100的功能模块示意图。
本发明所述数据处理的异常检测装置100可以安装于电子设备中。根据实现的功能,所述数据处理的异常检测装置100可以包括发布模块110、处理模块120、读取模块130及检测模块140。本发所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
发布模块110,用于从预设的所属服务器集群中选取预发布环境对应的第一服务器,在所述第一服务器中发布预设的待检测内容。
在本实施例中,将预发布环境部署在与正式生产环境相同的环境中,以此来检测数据调度平台的待检测内容(新功能)对存量的数据任务的影响。具体地从运行数据调度平台的服务器所属的服务器集群中选取出预发布环境对应的第一服务器,可以从服务器集群中指定一台或多台服务器作为预发布主机构建预发布环境,然后将其余的服务器作为正式发布服务器来构建正式发布环境,其中,选取预发布环境对应的服务器可以是随机选取,也可以是根据各服务器的资源使用率进行选取。之后,在预发布环境对应的第一服务器发布数据调度平台的新功能。
在一个实施例中,所述从数据处理的异常检测装置所属集群的各服务器中选取预发布环境对应的第一服务器包括:
基于预设计算规则及所述服务器集群各服务器的预设指标值,计算得到各服务器的资源使用率,将资源使用率最小的服务器作为所述第一服务器,其中,所述预设计算规则包括:
Li=1-(1-W1×Xi1)×(1-W2×Xi2)×(1-W3×Xi3)×(1-W4×Xi4)
其中,Li表示第i个服务器的资源使用率,Xi1表示第i个服务器CPU的使用率,Xi2表第i个服务器内存的使用率,Xi3表示第i个服务器IO的使用率,Xi4表第i个服务器网络的使用率,W1表示第i个服务器CPU的预设权重,W2表示第i个服务器内存的预设权重,W3表示第i个服务器IO的预设权重,W4表示第i个服务器网络的预设权重。
从服务器集群中选取资源使用率最小的服务器构建预发布环境并发布数据调度平台的新功能,可以提升预发布环境的数据运行速度。
在一个实施例中,所述在所述第一服务器中发布预设的待检测内容包括:
从预设存储路径获取所述待检测内容对应的更新代码,将所述更新代码发送至预设的测试环境执行测试操作,当所述更新代码通过所述测试操作时,将所述更新代码生成上线脚本,基于所述上线脚本在所述第一服务器中发布待检测内容。
从代码版本库中获取新功能对应的更新代码,将更新代码发送至测试环境执行测试操作,若更新代码内容无误,且更新代码执行效率达到预定标准,则通过该测试操作,通过测试操作后将更新代码生成可执行的上线脚本,根据上线脚本在预发布环境对应的第一服务器中发布数据平台的新功能。当更新部分代码未通过测试操作,则将更新部分代码以及测试报告发送到预设终端,预设终端可以是开发部门及或测试部门的设备终端。
处理模块120,用于接收不同版本客户端发起的数据处理的请求,基于所述请求对应的标识,将所述请求分发至所述第一服务器和生产环境对应的第二服务器,以供所述第一服务器和所述第二服务器执行数据处理操作。
在本实施例中,在预发布环境上线了数据调度平台的新功能后,用户(例如,测试人员)可以通过新功能对应版本的客户端发起数据处理请求(例如,数据调度请求),及通过不具备新功能对应版本的客户端发起数据处理请求,可以理解的是,数据处理可以是处理生产环境中多个存量的调度任务。当接收到不同版本的客户端发起的数据处理请求后,可以解析该请求获取请求对应的客户端版本标识号,从而确定出请求对应的客户端版本号,根据不同版本号的客户端发起的请求,相应地将请求分发至预发布环境对应的第一服务器,和正式生产环境对应的第二服务器执行处理操作。
需要说明的是,预发布环境和正式环境部署在同个集群的不同服务器里,文件可以通过NFS共享,且预发布环境和生产环境连接同一个数据库(即生产环境对应的数据库)。对于执行数据处理操作时所需的配置信息,生产环境对应第二服务器和预发布环境对应的第一服务器读取数据库中相同的配置表。
在一个实施例中,处理模块120还用于:
将所述第一服务器执行数据处理操作后得到第一目标信息存储至预设数据库的第一数据表,将所述第二服务器执行处理操作后得到的第二目标信息存储至预设数据库的第二数据表,其中,所述第一数据表与所述第二数据表具有映射关系。
执行数据处理操作后得到的目标信息包括调度状态信息和日志信息,对于需要写入数据库的调度状态信息和日志信息,通过在配置文件里配置第一数据表和第二数据表的映射关系,预发布环境的调度状态信息和日志信息会写到映射表里,例如,配置文件里如果配置“JIT_HEADER:SS_JIT_HEADER”,那么生产环境的调度状态信息会写入表“JIT_HEADER”,预发布环境的调度状态信息会写入表“SS_JIT_HEADER”,两个表结构是相同的,但数据分别是由预发布环境和正式环境生成。预发布环境的调度日志信息可以写入“SS_JOB_LOG”,生产环境的调度日志信息可以写入“JOB_LOG”,两者表结构也是相同的,日志数据分别是由预发布环境和正式环境生成。由于预发布环境和生产环境使用同一套代码(仅是版本不同),服务启动后读取参数,如果发现是预发布环境,就会读取第一数据表与第二数据表的映射关系,写入数据时会写入数据库对应的表。
第一服务器和第二服务器执行数据处理操作时,会根据数据处理请求创建待执行的调度任务,当需要执行该调度任务时,检查待执行调度任务的上下游依赖任务是否满足第一条件(例如,其他的相同任务是否已经完成),并检查用户设置的条件是否满足第二条件(例如,文件/DB数据、并发控制是否通过等)。
需要说明的是,调度任务由调度器和执行器完成,调度器负责调度(即保证调度任务可以在正确的时间和条件无误的情况下被执行),执行器负责执行调度任务。预发布环境中仅是检查待执行的调度任务是否满足执行条件(即只有调度器工作),并没有执行器对该调度任务执行处理。当生产环境中检查待执行任务满足执行条件后,执行器对该调度任务执行处理。
读取模块130,用于读取所述第一服务器执行数据处理操作后得到的第一目标信息,及第二服务器执行数据处理操作后得到的第二目标信息。
在本实施例中,可以从预设数据库的“SS_JIT_HEADER”表和“SS_JOB_LOG”表中读取第一服务器(即预发布环境)的第一目标信息,从预设数据库的“JIT_HEADER”表和“JOB_LOG”表中读取第二服务器(即生产环境)的第二目标信息。
其中,第一目标信息包括数据处理请求对应的待执行任务的调度状态信息和调度日志信息,第二目标信息包括数据处理请求对应的待执行任务的调度状态信息、调度日志信息、执行结果信息及执行日志信息。
检测模块140,用于分别构建第一目标信息、第二目标信息对应的第一、第二有向无环图,判断第一、第二有向无环图是否相同,并判断第一目标信息、第二目标信息的第一、第二状态信息是否相同,当所述第一、第二有向无环图不同或者第一、第二状态信息不同时,向预设终端反馈提示信息。
在本实施例中,读取第一目标信息和第二目标信息后,分别构建第一目标信息的第一有向无环图及第二目标信息的第二有向无环图,通过判断第一、第二有向无环图是否相同来判断第一目标信息的调度日志信息,与第二目标信息的调度日志信息是否相同。
并判断第一目标信息的第一状态信息与第二目标信息的第二状态信息是否相同,若存储第一目标信息的表“JIT_HEADER”中是完成状态),存储第二目标信息的表“SS_JIT_HEADER”是未完成状态,说明两者的调度状态信息不同。
当第一目标信息的调度日志信息与第二目标信息的调度日志信息不同,或者第一目标信息的调度状态信息与第二目标信息的调度状态信息不同时,向预设终端反馈提示信息。具体地,可以通过邮件通知开发或者测试人员,人工检查新功能的代码是否导致了调度异常。
在一个实施例中,所述分别构建第一目标信息、第二目标信息对应的第一、第二有向无环图包括:
分别构建第一目标信息的空的有向无环图,及第二目标信息的空的有向无环图;
分别遍历第一目标信息对应的数据处理任务表,及第二目标信息对应的数据处理任务表;
根据各数据处理任务的ID查询预先配置的任务依赖表中该数据处理任务依赖的前置数据处理任务,设置前置数据处理任务与该数据处理任务的依赖关系并逐步放至对应的空的有向无环图中,直至所有的数据处理任务放至完毕,生成所述第一、第二有向无环图。
比较两个有向无环图是否相同,可以遍历生产环境图中每一个节点,在预发布环境中找到同样的节点,直接比较两个节点的上游依赖,看是否一致,直到所有节点都比较完成。其中,数据处理操作的多个调度任务依赖于有向无环图,例如:任务A生成数据表table_a,任务B生成数据表table_b,任务C会使用table_a和table_b的数据生成table_c,那任务C就依赖于任务A和任务B,如果A,B没有跑完C就开始运行,或者C没有依赖A或B就开始运行,那C就会运行失败或者跑出错误的数据。
在一个实施例中,所述判断所述第一、第二状态信息是否相同包括:
当所述第一状态信息与所述第二状态信息一致时,将所述第二目标信息的执行结果信息和执行日志信息同步至所述第一数据表中。
预发布环境的调度器只检查执行调度任务之前的调度状态,预发布环境中没有执行器,即第一数据表中不存在调度任务的执行结果,因此可以将生产环境的执行结果同步至预发布环境对应的第一数据表中,生产环境的执行结果包括:DONE、ERROR或KILLING。这样,可以避免后续的调度任务不会因上游调度任务没完成而延迟调度。
在一个实施例中,检测模块140还用于:
当接收到不同版本客户端发起的重新执行数据处理的请求时,将该请求对应的执行结果信息同步至所述第一数据表中。
当用户(开发人员或测试人员)在客户端点击重新执行数据处理(重新运行调度任务)时,由于生产环境会生成新记录,预发布环境没有执行器不会生成新记录,由于后续的任务可能会依赖该调度任务,因此可以将执行调度任务后得到的执行结果信息同步至预发布环境对应的第一数据表。
参照图3所示,为本发明电子设备1较佳实施例的示意图。
该电子设备1包括但不限于:存储器11、处理器12、显示器13及网络接口14。所述电子设备1通过网络接口14连接网络,获取原始数据。其中,所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication,GSM)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器11可以是所述电子设备1的内部存储单元,例如该电子设备1的硬盘或内存。在另一些实施例中,所述存储器11也可以是所述电子设备1的外部存储设备,例如该电子设备1配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,所述存储器11还可以既包括所述电子设备1的内部存储单元也包括其外部存储设备。本实施例中,存储器11通常用于存储安装于所述电子设备1的操作系统和各类应用软件,例如数据处理的异常检测程序10的程序代码等。此外,存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作,例如执行数据交互或者通信相关的控制和处理等。本实施例中,所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据,例如运行数据处理的异常检测程序10的程序代码等。
显示器13可以称为显示屏或显示单元。在一些实施例中显示器13可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-EmittingDiode,OLED)触摸器等。显示器13用于显示在电子设备1中处理的信息以及用于显示可视化的工作界面,例如显示数据统计的结果。
网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口),该网络接口14通常用于在所述电子设备1与其它电子设备之间建立通信连接。
图3仅示出了具有组件11-14以及数据处理的异常检测程序10的电子设备1,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
可选地,所述电子设备1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode,OLED)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
该电子设备1还可以包括射频(Radio Frequency,RF)电路、传感器和音频电路等等,在此不再赘述。
在上述实施例中,处理器12执行存储器11中存储的数据处理的异常检测程序10时可以实现如下步骤:
从预设的服务器集群中选取预发布环境对应的第一服务器,在所述第一服务器中发布预设的待检测内容;
接收不同版本客户端发起的数据处理的请求,基于所述请求对应的标识,将所述请求分发至所述第一服务器和生产环境对应的第二服务器,以供所述第一服务器和所述第二服务器执行数据处理操作;
读取所述第一服务器执行数据处理操作后得到的第一目标信息,及第二服务器执行数据处理操作后得到的第二目标信息;
分别构建第一目标信息、第二目标信息对应的第一、第二有向无环图,判断第一、第二有向无环图是否相同,并判断第一目标信息、第二目标信息的第一、第二状态信息是否相同,当所述第一、第二有向无环图不同或者第一、第二状态信息不同时,向预设终端反馈提示信息。
所述存储设备可以为电子设备1的存储器11,也可以为与电子设备1通讯连接的其它存储设备。
关于上述步骤的详细介绍,请参照上述图2关于数据处理的异常检测装置100实施例的功能模块图以及图1关于数据处理的异常检测方法实施例的流程图的说明。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质可以是非易失性的,也可以是易失性的。该计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括存储数据区和存储程序区,存储数据区存储根据区块链节点的使用所创建的数据,存储程序区存储有数据处理的异常检测程序10,所述数据处理的异常检测程序10被处理器执行时实现如下操作:
从预设的服务器集群中选取预发布环境对应的第一服务器,在所述第一服务器中发布预设的待检测内容;
接收不同版本客户端发起的数据处理的请求,基于所述请求对应的标识,将所述请求分发至所述第一服务器和生产环境对应的第二服务器,以供所述第一服务器和所述第二服务器执行数据处理操作;
读取所述第一服务器执行数据处理操作后得到的第一目标信息,及第二服务器执行数据处理操作后得到的第二目标信息;
分别构建第一目标信息、第二目标信息对应的第一、第二有向无环图,判断第一、第二有向无环图是否相同,并判断第一目标信息、第二目标信息的第一、第二状态信息是否相同,当所述第一、第二有向无环图不同或者第一、第二状态信息不同时,向预设终端反馈提示信息。
本发明之计算机可读存储介质的具体实施方式与上述数据处理的异常检测方法的具体实施方式大致相同,在此不再赘述。
在另一个实施例中,本发明所提供的数据处理的异常检测方法,为进一步保证上述所有出现的数据的私密和安全性,上述所有数据还可以存储于一区块链的节点中。例如第一目标信息及第二目标信息等,这些数据均可存储在区块链节点中。
需要说明的是,本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,电子装置,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据处理的异常检测方法,其特征在于,所述方法包括:
从预设的服务器集群中选取预发布环境对应的第一服务器,在所述第一服务器中发布预设的待检测内容;
接收不同版本客户端发起的数据处理的请求,基于所述请求对应的标识,将所述请求分发至所述第一服务器和生产环境对应的第二服务器,以供所述第一服务器和所述第二服务器执行数据处理操作;
读取所述第一服务器执行数据处理操作后得到的第一目标信息,及第二服务器执行数据处理操作后得到的第二目标信息;
分别构建第一目标信息、第二目标信息对应的第一、第二有向无环图,判断第一、第二有向无环图是否相同,并判断第一目标信息、第二目标信息的第一、第二状态信息是否相同,当所述第一、第二有向无环图不同或者第一、第二状态信息不同时,向预设终端反馈提示信息。
2.如权利要求1所述的数据处理的异常检测方法,其特征在于,所述从预设的服务器集群中选取预发布环境对应的第一服务器包括:
基于预设计算规则及所述服务器集群各服务器的预设指标值,计算得到各服务器的资源使用率,将资源使用率最小的服务器作为所述第一服务器,其中,所述预设计算规则包括:
Li=1-(1-W1×Xi1)×(1-W2×Xi2)×(1-W3×Xi3)×(1-W4×Xi4)
其中,Li表示第i个服务器的资源使用率,Xi1表示第i个服务器CPU的使用率,Xi2表第i个服务器内存的使用率,Xi3表示第i个服务器IO的使用率,Xi4表第i个服务器网络的使用率,W1表示第i个服务器CPU的预设权重,W2表示第i个服务器内存的预设权重,W3表示第i个服务器IO的预设权重,W4表示第i个服务器网络的预设权重。
3.如权利要求1所述的数据处理的异常检测方法,其特征在于,所述在所述第一服务器中发布预设的待检测内容包括:
从预设存储路径获取所述待检测内容对应的更新代码,将所述更新代码发送至预设的测试环境执行测试操作,当所述更新代码通过所述测试操作时,将所述更新代码生成上线脚本,基于所述上线脚本在所述第一服务器中发布待检测内容。
4.如权利要求1所述的数据处理的异常检测方法,其特征在于,在将所述请求分发至所述第一服务器和生产环境对应的第二服务器之后,所述方法还包括:
将所述第一服务器执行数据处理操作后得到第一目标信息存储至预设数据库的第一数据表,将所述第二服务器执行处理操作后得到的第二目标信息存储至预设数据库的第二数据表,其中,所述第一数据表与所述第二数据表具有映射关系。
5.如权利要求4所述的数据处理的异常检测方法,其特征在于,在向预设终端反馈提示信息之后,所述方法还包括:
当接收到不同版本客户端发起的重新执行数据处理的请求时,将该请求对应的执行结果信息同步至所述第一数据表中。
6.如权利要求1所述的数据处理的异常检测方法,其特征在于,所述判断所述第一、第二状态信息是否相同包括:
当所述第一状态信息与所述第二状态信息一致时,将所述第二目标信息的执行结果信息和执行日志信息同步至所述第一数据表中。
7.如权利要求1所述的数据处理的异常检测方法,其特征在于,所述分别构建第一目标信息、第二目标信息对应的第一、第二有向无环图包括:
分别构建第一目标信息的空的有向无环图,及第二目标信息的空的有向无环图;
分别遍历第一目标信息对应的数据处理任务表,及第二目标信息对应的数据处理任务表;
根据各数据处理任务的ID查询预先配置的任务依赖表中该数据处理任务依赖的前置数据处理任务,设置前置数据处理任务与该数据处理任务的依赖关系并逐步放至对应的空的有向无环图中,直至所有的数据处理任务放至完毕,生成所述第一、第二有向无环图。
8.一种数据处理的异常检测装置,其特征在于,所述装置包括:
发布模块:用于从预设的所属服务器集群中选取预发布环境对应的第一服务器,在所述第一服务器中发布预设的待检测内容;
处理模块:用于接收不同版本客户端发起的数据处理的请求,基于所述请求对应的标识,将所述请求分发至所述第一服务器和生产环境对应的第二服务器,以供所述第一服务器和所述第二服务器执行数据处理操作;
读取模块:用于读取所述第一服务器执行数据处理操作后得到的第一目标信息,及第二服务器执行数据处理操作后得到的第二目标信息;
检测模块:用于分别构建第一目标信息、第二目标信息对应的第一、第二有向无环图,判断第一、第二有向无环图是否相同,并判断第一目标信息、第二目标信息的第一、第二状态信息是否相同,当所述第一、第二有向无环图不同或者第一、第二状态信息不同时,向预设终端反馈提示信息。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的程序,所述程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的数据处理的异常检测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有数据处理的异常检测程序,所述数据处理的异常检测程序被处理器执行时,实现如权利要求1至7中任一项所述数据处理的异常检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110687621.1A CN113419949B (zh) | 2021-06-21 | 2021-06-21 | 数据处理的异常检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110687621.1A CN113419949B (zh) | 2021-06-21 | 2021-06-21 | 数据处理的异常检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113419949A true CN113419949A (zh) | 2021-09-21 |
CN113419949B CN113419949B (zh) | 2024-03-19 |
Family
ID=77789643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110687621.1A Active CN113419949B (zh) | 2021-06-21 | 2021-06-21 | 数据处理的异常检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113419949B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115460101A (zh) * | 2022-08-02 | 2022-12-09 | 北京达佳互联信息技术有限公司 | 网络服务的管理方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110289356A1 (en) * | 2010-05-18 | 2011-11-24 | Salesforce.Com | Methods and systems for testing methods in a multi-tenant database environment |
KR101416762B1 (ko) * | 2013-02-14 | 2014-07-08 | 주식회사 엔씨소프트 | 온라인 게임의 봇 탐지 시스템 및 방법 |
US20190324727A1 (en) * | 2019-06-27 | 2019-10-24 | Intel Corporation | Methods, systems, articles of manufacture and apparatus for code review assistance for dynamically typed languages |
CN111324377A (zh) * | 2020-03-11 | 2020-06-23 | 上海东普信息科技有限公司 | 应用灰度发布方法、系统、设备及存储介质 |
CN111475400A (zh) * | 2020-03-19 | 2020-07-31 | 平安国际智慧城市科技股份有限公司 | 一种业务平台的验证方法及相关设备 |
CN111736875A (zh) * | 2020-06-28 | 2020-10-02 | 深圳前海微众银行股份有限公司 | 版本更新监控方法、装置、设备及计算机存储介质 |
CN112559030A (zh) * | 2021-01-18 | 2021-03-26 | 杭银消费金融股份有限公司 | 代码发布的告警监控方法及系统 |
-
2021
- 2021-06-21 CN CN202110687621.1A patent/CN113419949B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110289356A1 (en) * | 2010-05-18 | 2011-11-24 | Salesforce.Com | Methods and systems for testing methods in a multi-tenant database environment |
KR101416762B1 (ko) * | 2013-02-14 | 2014-07-08 | 주식회사 엔씨소프트 | 온라인 게임의 봇 탐지 시스템 및 방법 |
US20190324727A1 (en) * | 2019-06-27 | 2019-10-24 | Intel Corporation | Methods, systems, articles of manufacture and apparatus for code review assistance for dynamically typed languages |
CN111324377A (zh) * | 2020-03-11 | 2020-06-23 | 上海东普信息科技有限公司 | 应用灰度发布方法、系统、设备及存储介质 |
CN111475400A (zh) * | 2020-03-19 | 2020-07-31 | 平安国际智慧城市科技股份有限公司 | 一种业务平台的验证方法及相关设备 |
CN111736875A (zh) * | 2020-06-28 | 2020-10-02 | 深圳前海微众银行股份有限公司 | 版本更新监控方法、装置、设备及计算机存储介质 |
CN112559030A (zh) * | 2021-01-18 | 2021-03-26 | 杭银消费金融股份有限公司 | 代码发布的告警监控方法及系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115460101A (zh) * | 2022-08-02 | 2022-12-09 | 北京达佳互联信息技术有限公司 | 网络服务的管理方法、装置、设备及存储介质 |
CN115460101B (zh) * | 2022-08-02 | 2024-06-11 | 北京达佳互联信息技术有限公司 | 网络服务的管理方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113419949B (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10635429B2 (en) | Systems and methods of just-in-time proactive notification of a product release containing a software fix | |
US8291405B2 (en) | Automatic dependency resolution by identifying similar machine profiles | |
CN111694592A (zh) | 项目版本发布的管理方法以及系统 | |
CN107329894B (zh) | 应用程序系统测试方法、装置及电子设备 | |
CN110569035A (zh) | 软件开发项目的代码编译方法、装置、设备和存储介质 | |
CN108897571B (zh) | 程序打包部署方法、装置、系统、电子设备及存储介质 | |
CN113448862B (zh) | 软件版本测试方法、装置及计算机设备 | |
CN111338656B (zh) | 安装软件包至目标主机的方法、装置和计算机设备 | |
CN114661319A (zh) | 软件升级稳定性推荐 | |
CN110647471A (zh) | 接口测试用例生成方法、电子装置及存储介质 | |
CN112540924A (zh) | 接口自动化测试方法、装置、设备及存储介质 | |
CN112148329A (zh) | 代码版本自动化更新方法、装置、计算机设备及存储介质 | |
CN110727575A (zh) | 一种信息处理方法、系统、装置、以及存储介质 | |
CN111367531B (zh) | 代码处理方法及装置 | |
CN112817867A (zh) | 一种接口测试脚本生成方法、装置、计算机设备和介质 | |
CN113419949B (zh) | 数据处理的异常检测方法、装置、设备及存储介质 | |
CN114661423A (zh) | 集群配置检测方法、装置、计算机设备及存储介质 | |
CN114911522A (zh) | 一种软件版本发布系统、方法、设备及可读存储介质 | |
CN112558982B (zh) | 代码检测方法、装置及计算机设备 | |
CN114237754A (zh) | 一种数据加载方法、装置、电子设备以及存储介质 | |
US11593461B2 (en) | Systems and methods for third-party library management | |
CN111756594A (zh) | 压力测试的控制方法、计算机设备和计算机可读存储介质 | |
CN113259154B (zh) | 中台数据校验通知方法、装置、计算机设备和存储介质 | |
CN114282848A (zh) | 一种订单维护状态的检查方法、装置及系统 | |
CN111475400A (zh) | 一种业务平台的验证方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |