CN112527606A - 数据流程分析方法、装置、计算机设备及存储介质 - Google Patents
数据流程分析方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112527606A CN112527606A CN202011573490.6A CN202011573490A CN112527606A CN 112527606 A CN112527606 A CN 112527606A CN 202011573490 A CN202011573490 A CN 202011573490A CN 112527606 A CN112527606 A CN 112527606A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- sensitive field
- service
- child
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/323—Visualisation of programs or trace data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及测试工具领域,揭露了一种数据流程分析方法、装置、计算机设备及存储介质。该方法通过接收第一数据分析指令;所述第一数据分析指令中包含目标数据以及与所述目标数据关联的数据流程信息;根据数据流程信息,在预设UI界面中展现目标数据在各个流程节点的节点状态;在监测到所述节点状态为分裂状态时,将与该分裂状态对应的流程节点记录为分裂流程节点;所述分裂状态指示分裂流程节点分裂成至少两个子节点;获取分裂流程节点中各子节点的数据字段,并检测各子节点的数据字段是否包含敏感字段;在数据字段包含敏感字段时,追踪敏感字段并对敏感字段进行检测,得到第一数据分析结果。本发明提高了数据分析的效率,节省数据分析时间。
Description
技术领域
本发明涉及测试工具领域,尤其涉及一种数据流程分析方法、装置、计算机设备及存储介质。
背景技术
在互联网领域中,一个服务系统上所产生的服务数据是非常庞大的,往往一个服务数据牵扯到众多子系统或者子服务,而这些子系统或者子服务组成了一个服务数据的完整流程,如何在不同的子系统或者子服务对服务数据进行监控分析是服务系统运行效率的重要指标。
现有技术中,针对于一个服务数据,往往需要在各个子服务器上校验自身子服务器上该服务数据是否正常,并且在一个子服务器上出现错误时,需要追溯回之前各个子服务器进行问题排查,导致数据分析时间过长,降低服务系统运行效率。
发明内容
本发明实施例提供一种数据流程分析方法、装置、计算机设备及存储介质,以解决数据分析时间过长,降低服务系统运行效率的问题。
一种数据流程分析方法,包括:
接收第一数据分析指令;所述第一数据分析指令中包含目标数据以及与所述目标数据关联的数据流程信息;
根据所述数据流程信息,在预设UI界面中展现所述目标数据在各个流程节点的节点状态;
在监测到所述节点状态为分裂状态时,将与该分裂状态对应的流程节点记录为分裂流程节点;所述分裂状态指示所述分裂流程节点分裂成至少两个子节点;
获取所述分裂流程节点中各子节点的数据字段,并检测各子节点的数据字段是否包含敏感字段;
在所述数据字段包含敏感字段时,追踪所述敏感字段并对所述敏感字段进行检测,得到第一数据分析结果。
一种数据流程分析装置,包括:
分析指令接收模块,用于接收第一数据分析指令;所述第一数据分析指令中包含目标数据以及与所述目标数据关联的数据流程信息;
节点状态展现模块,用于根据所述数据流程信息,在预设UI界面中展现所述目标数据在各个流程节点的节点状态;
分裂节点记录模块,用于在监测到所述节点状态为分裂状态时,将与该分裂状态对应的流程节点记录为分裂流程节点;所述分裂状态指示所述分裂流程节点分裂成至少两个子节点;
敏感字段检测模块,用于获取所述分裂流程节点中各子节点的数据字段,并检测各子节点的数据字段是否包含敏感字段;
分析结果确定模块,用于在所述数据字段包含敏感字段时,追踪所述敏感字段并对所述敏感字段进行检测,得到第一数据分析结果。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述数据流程分析方法。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述数据流程分析方法。
上述数据流程分析方法、装置、计算机设备及存储介质,该方法通过接收第一数据分析指令;所述第一数据分析指令中包含目标数据以及与所述目标数据关联的数据流程信息;根据所述数据流程信息,在预设UI界面中展现所述目标数据在各个流程节点的节点状态;在监测到所述节点状态为分裂状态时,将与该分裂状态对应的流程节点记录为分裂流程节点;所述分裂状态指示所述分裂流程节点分裂成至少两个子节点;获取所述分裂流程节点中各子节点的数据字段,并检测各子节点的数据字段是否包含敏感字段;在所述数据字段包含敏感字段时,追踪所述敏感字段并对所述敏感字段进行检测,得到第一数据分析结果。
本发明通过通过将与目标数据关联的所有流程节点均在UI界面中进行展示,以直观的观察到目标数据在哪一个流程节点存在通过失败的情况,并且在流程节点分裂成多个子节点之后,通过检测敏感字段的方式,可以更快的检测出分裂节点是否存在异常,进而提高了数据分析的效率,节省数据分析时间。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中数据流程分析方法的一应用环境示意图;
图2是本发明一实施例中数据流程分析方法的一流程图;
图3是本发明一实施例中数据流程分析方法中步骤S50的一流程图;
图4是本发明一实施例中数据流程分析方法的另一流程图;
图5是本发明一实施例中数据流程分析装置的一原理框图;
图6是本发明一实施例中数据流程分析装置中第一分析结果确定模块的一原理框图;
图7是本发明一实施例中数据流程分析装置的另一原理框图;
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的数据流程分析方法,该数据流程分析方法可应用如图1所示的应用环境中。具体地,该数据流程分析方法应用在数据流程分析系统中,该数据流程分析系统包括如图1所示的客户端和服务器,客户端与服务器通过网络进行通信,用于解决数据分析时间过长,降低服务系统运行效率的问题。其中,客户端又称为用户端,是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种数据流程分析方法,以该方法应用在图1中的服务器为例进行说明,包括如下步骤:
S10:接收第一数据分析指令;所述第一数据分析指令中包含目标数据以及与所述目标数据关联的数据流程信息。
其中,第一数据分析指令可以由与目标数据相关工作人员发送的。目标数据指的是监控过程中监测到存在异常,并等待进行具体数据流程分析的数据。数据流程信息包含与目标数据关联的各流程节点的数据状态。可以理解地,针对于一个目标数据,在各个流程节点均存在发生异常的可能性,因此需要对与其关联的各个流程节点进行数据分析。
S20:根据所述数据流程信息,在预设UI界面中展现所述目标数据在各个流程节点的节点状态。
可以理解地,为了便于监测目标数据在各个流程节点的运行状态,可以将数据流程信息在预设UI界面中展示目标数据在各个流程节点的节点状态。其中,该预设UI界面即为一种可视化界面。进一步地,针对每一个流程节点,均可以由与目标数据相关工作人员设定通过流程节点的规则,在目标数据通过流程节点时,表征在该流程节点时,目标数据未发生异常。
S30:在监测到所述节点状态为分裂状态时,将与该分裂状态对应的流程节点记录为分裂流程节点;所述分裂状态指示所述分裂流程节点分裂成至少两个子节点。
可以理解地,分裂状态指的是分裂流程节点分裂成至少两个子节点,造成流程节点分裂的原因可能是,在该流程节点下,目标数据与多个服务关联挂钩;亦或者目标数据遭受到了异常操作,使得目标数据分裂至多个服务中,进而需要特别关注分裂状态的流程节点。子节点指的是分裂流程节点分裂成的各个节点。
具体地,在根据所述数据流程信息,在预设UI界面中展现所述目标数据在各个流程节点的节点状态之后,可以直观的在预设UI界面中观察并监测各个流程节点的状态,在监测到节点状态为分裂状态时,将与该分裂状态对应的流程节点记录为分裂流程节点,进而对该分裂流程节点下的各子节点的数据进行检测校验。
进一步地,在未监测到所述节点状态为分裂状态时,也即所述节点状态为正常状态,则通过与该正常状态的流程节点关联的通过规则(比如字段非空规则,极值范围规则)对目标数据进行检测校验;当目标数据成功通过流程节点时,表征在此流程节点中目标数据正常;当目标数据未成功通过流程节点时,表征在此流程节点中目标数据发生异常,进而可以发送异常提示至预设接收方(可以为与目标数据关联的工作人员),以令预设接收方确定目标数据未成功通过该流程节点的原因。
S40:获取所述分裂流程节点中各子节点的数据字段,并检测各子节点的数据字段是否包含敏感字段。
其中,敏感字段即为容易触发异常问题或者是值处于极限范围的数据。示例性地,对于一个支付系统,对于支付方功能测试,该敏感字段对应的数据可以账户余额数据,通过检测账户余额为0时是否仍然能够支付成功,亦或者当前账户余额小于待支付金额时是否可以支付成功等,进而在后续追踪该敏感字段并检测时,可以快速检测此节点是否发生异常。如此,通过具有针对性的检测校验容易触发异常问题或者是值处于极限范围的数据(也即敏感字段对应的数据),可以快速检测出流程节点中存在异常的问题。
S50:在所述数据字段包含敏感字段时,追踪所述敏感字段并对所述敏感字段进行检测,得到第一数据分析结果。
具体地,在数据字段包含敏感字段时,表征该子节点容易出现数据异常的情况,进而追踪该敏感字段(原因是,数据仍然会流向其它节点,在之后的流程节点中继续跟踪该敏感字段),并对敏感字段进行检测校验,得到第一数据分析结果。可以理解地,该第一数据分析结果不仅仅包含了该敏感字段的检测结果,还包含的其它流程节点中的分析结果。
可以理解地,对于目标数据在通过各个流程节点时,每个流程节点均配置了相应的校验规则(如字段非空规则,极值范围规则等),进而检测数据通过流程节点时是否通过成功,在目标数据通过流程节点成功时,表征目标数据在该流程节点并未出现异常,进而可以继续校验其它流程节点;反之,在目标数据未通过流程节点时,表征目标数据在该流程节点发生了异常,需要对该流程节点下的目标数据进行分析,以在找到目标数据未通过流程节点的原因之后,调整与目标数据关联的项目内容。
在一实施例中,如图3所示,步骤S50中,也即所述追踪所述敏感字段并对所述敏感字段进行检测,得到第一数据分析结果,包括:
S501:检测与所述敏感字段关联的服务方数量;
S502:在所述服务方数量大于或等于2时,获取各服务方的服务地址;
S503:访问各所述服务方的服务地址,并获取各服务方返回的测试数据,以根据所述测试数据对所述敏感字段进行检测,得到第一数据分析结果。
其中,服务地址指的是服务方的数据存储地址亦或者服务方的服务站站点地址等。在访问服务方的服务地址时,各服务方还可以设定身份校验,以在身份校验通过之后,方可获取测试数据,以提高服务方的测试数据的安全性。
可以理解地,若目标数据在通过某一个流程节点时,牵扯到了不同的服务,此时表征与敏感字段关联的服务方数量大于或等于2。例如,假设目标数据在通过支付流程节点时,牵扯到了支付方以及收款方两个不同的服务方;进而在获取支付方的支付服务地址之后,获取支付服务地址返回的支付测试数据;在获取收款方的收款服务地址之后,获取收款服务地址返回的收款测试数据,进而可以根据支付测试数据以及收款测试数据,自动为两个服务方配置对应的检测规则,对敏感字段进行检测。示例性地,对于支付功能测试,该敏感字段可以为账户余额字段,则对应支付方的支付测试数据可以为账户余额为0时对应的数据,通过检测账户余额为0时是否仍然能够支付成功,亦或者当前账户余额小于待支付金额时是否可以支付成功等;而对于收款功能测试,对应的收款方的收款测试数据可以采用一次性收款金额作为测试数据,进而可以通过在收款方接收到大于预设金额的款项时,是否还能收款成功等。
进一步地,第一数据分析结果可以为分析出该敏感字段对应的数据是否发成异常,并在敏感字段对应的数据发生异常时,分析敏感字段对应的数据发生异常的原因,并根据该原因进行修复,使得敏感字段对应的数据不发生异常,进而使得其它流程节点的分析不会受到该子节点下的敏感字段对应的数据的影响;在敏感字段对应的数据未发生异常时,可以返回至预设UI界面中还未检测的其它节点继续进行检测。
在本实施例中,通过将与目标数据关联的所有流程节点均在UI界面中进行展示,以直观的观察到目标数据在哪一个流程节点存在通过失败的情况,并且在流程节点分裂成多个子节点之后,通过检测敏感字段的方式,可以更快的检测出分裂节点是否存在异常,进而提高了数据分析的效率,节省数据分析的时间。
在一实施例中,步骤S40之后,也即所述检测各子节点的数据字段是否包含敏感字段之后,还包括:
在各子节点的数据字段均未包含敏感字段时,发送包含各所述子节点的数据分裂提示指令至预设接收方,以令所述预设接收方指定一个所述子节点作为追踪节点;
接收自所述预设接收方返回的包含所述追踪节点的第二数据分析指令,对所述追踪节点进行检测,得到第二数据分析结果。
其中,预设接收方可以为与目标数据相关的开发人员。
可以理解地,在各子节点的数据字段均未包含敏感字段时,此时系统无法很好的判断追踪哪一个子节点是最好的选择,此时可以发送包含各所述子节点的数据分裂提示指令至预设接收方,以令预设接收方指定一个所述子节点作为追踪节点,并返回包含该追踪节点的第二数据分析指令;在接收自所述预设接收方返回的包含所述追踪节点的第二数据分析指令之后,对该追踪节点下的数据进行检测分析,得到第二数据分析结果。
在本实施例中,在数据字段均未包含敏感字段时,可以通过人为指定一个子节点作为追踪对象,相较于盲目选择一个子节点进行跟踪检测,更具有针对性。
在一实施例中,步骤S40之后,也即所述检测各子节点的数据字段是否包含敏感字段之后,还包括:
将所述分裂流程节点中未包含所述敏感字段的其余子节点中的数据存储在预设缓存区中。
可以理解地,在分裂流程节点中,选取包含敏感字段的子节点进行检测之后,其余未包含敏感字段的子节点可以存储在预设的缓存区中,便于对包含敏感字段的子节点检测完成之后,可以返回至预设缓存区中监测其余未包含敏感字段的子节点,而不用从最后一个节点倒回至分裂分析子节点,亦或者第一个流程节点开始再跑一边程序,提高流程分析的效率。
在一实施例中,步骤S50之后,也即所述追踪所述敏感字段并对所述敏感字段进行检测,得到第一数据分析结果之后,包括:
自所述预设缓存区中获取所述未包含所述敏感字段的其余子节点,并发送包含所述未包含所述敏感字段的其余子节点的节点指定指令至所述预设接收方,以令所述预设接收方指定一个未包含所述敏感字段的其余子节点作为所述分裂分析子节点。
可以理解地,在对敏感字段进行检测,得到第一数据分析结果之后,仍需要检测其余未包含敏感字段的子节点下的数据,进而自所述预设缓存区中获取所述未包含所述敏感字段的其余子节点,并发送包含所述未包含所述敏感字段的其余子节点的节点指定指令至所述预设接收方,以令所述预设接收方指定一个未包含所述敏感字段的其余子节点作为所述分裂分析子节点。
在一实施例中,如图4所示,步骤S10之前,也即所述接收第一数据分析指令之前,还包括:
S01:与各子服务器之间建立服务连接;一个所述子服务器关联一个流程节点。
其中,建立服务连接的方式可以通过与各子服务器之间建立kafka集群,通过统一的kafka集群收集各个子服务器的服务数据,可以使得子服务器的服务数据统一格式。进一步地,在于各子服务器之间建立服务连接过程中,可以引入SASL验证,提高kafka集群与各子服务器之间的数据传输,数据检测的安全性。
S02:对各所述流程节点进行埋点处理,并根据预设数据采集接口规范收集各个子服务器输出的服务数据。
其中,数据采集接口规范指的是采集各子服务器的服务数据时,统一服务数据采集格式的规则,示例性地,该数据采集接口规范包括但不限于如下字段要求:数据采集时间、数据采集IP地址、数据名称等。
具体地,在与各子服务器之间建立服务连接之后,对各所述流程节点进行埋点处理,示例性地,可以采用可视化埋点、无埋点等方法,以在检测到埋点被触发之后,获取各流程节点的数据,并根据预设数据采集接口规范收集各个子服务器输出的服务数据,也即将在各子服务器返回服务数据时,均需要按照接口规范进行输出,进而可以在后续配置数据拦截规则时提高配置效率。
进一步地,由于对接的子服务器有很多,每一个子服务器输出的服务数据也很多,进而可能造成系统存储压力骤增,因此在根据预设数据采集接口规范收集各个子服务器输出的服务数据之后,可以根据收集到的服务数据在kafka集群中建立对应的主题库,进而将同一类型的服务数据存储至相同的主题库中;还可以将存储完成的各主题库通过云服务器发送至大数据平台中进行存储,在后续需要取服务数据以及相应流程时,可以通过拉取大数据平台方式获取服务数据。
S03:配置数据拦截规则,以根据所述数据拦截规则,对所述服务数据进行拦截监控。
其中,数据拦截规则用于监控子服务器输出的服务数据是否发生异常。可以理解地,在收集到子服务器输出的服务数据之后,需要对这些服务数据进行监控,以避免其中服务数据出错,为后续产品上线等造成困难,进而可以根据具体地应用场景设定不同的数据拦截规则。进一步地,该数据拦截规则可以通过hive hook实现拦截处理,并可以将拦截的服务数据导入至指定目录。
S04:在所述服务数据被拦截时,将该服务数据记录为所述目标数据,并确定与该服务数据关联的各子服务节点,以将该服务数据以及各流程节点关联整合成所述数据流程信息。
可以理解地,在服务数据被拦截时,表征该服务数据存在异常,但是此时并不知道具体是该服务数据中具体哪个流程节点出现了异常反应,因此将该服务数据记录为目标数据,并确定与该服务数据关联的各子服务节点,以将该服务数据以及各流程节点关联整合成所述数据流程信息,以根据目标数据以及对应的数据流程信息生成步骤S10中的第一数据分析指令。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种数据流程分析装置,该数据流程分析装置与上述实施例中数据流程分析方法一一对应。如图5所示,该数据流程分析装置包括分析指令接收模块10、节点状态展现模块20、分裂节点记录模块30、敏感字段检测模块40和分析结果确定模块50。各功能模块详细说明如下:
分析指令接收模块10,用于接收第一数据分析指令;所述第一数据分析指令中包含目标数据以及与所述目标数据关联的数据流程信息;
节点状态展现模块20,用于根据所述数据流程信息,在预设UI界面中展现所述目标数据在各个流程节点的节点状态;
分裂节点记录模块30,用于在监测到所述节点状态为分裂状态时,将与该分裂状态对应的流程节点记录为分裂流程节点;所述分裂状态指示所述分裂流程节点分裂成至少两个子节点;
敏感字段检测模块40,用于获取所述分裂流程节点中各子节点的数据字段,并检测各子节点的数据字段是否包含敏感字段;
第一分析结果确定模块50,用于在所述数据字段包含敏感字段时,追踪所述敏感字段并对所述敏感字段进行检测,得到第一数据分析结果。
优选地,所述数据流程分析装置还包括:
分裂提示指令发送模块,用于在各子节点的数据字段均未包含敏感字段时,发送包含各所述子节点的数据分裂提示指令至预设接收方,以令所述预设接收方指定一个所述子节点作为追踪节点;
第二分析结果确定模块,用于接收自所述预设接收方返回的包含所述追踪节点的第二数据分析指令,对所述追踪节点进行检测,得到第二数据分析结果。
优选地,所述数据流程分析装置还包括:
数据存储模块,用于将所述分裂流程节点中未包含所述敏感字段的子节点中的数据存储在预设缓存区中。
优选地,所述数据流程分析装置还包括:
节点指定指令发送模块,用于自所述预设缓存区中获取所述未包含所述敏感字段的其余子节点,并发送包含所述未包含所述敏感字段的其余子节点的节点指定指令至所述预设接收方,以令所述预设接收方指定一个未包含所述敏感字段的其余子节点作为所述分裂分析子节点。
优选地,如图6所示,第一分析结果确定模块50包括如下单元:
服务方数量检测单元501,用于检测与所述敏感字段关联的服务方数量;
服务地址获取单元502,用于在所述服务方数量大于或等于2时,获取各服务方的服务地址;
敏感字段检测单元503,用于访问各所述服务方的服务地址,并获取各服务方返回的测试数据,以根据所述测试数据对所述敏感字段进行检测,得到第一数据分析结果。
优选地,如图7所示,所述数据流程分析装置还包括:
服务连接建立模块01,用于与各子服务器之间建立服务连接;一个所述子服务器关联一个流程节点;
节点埋点模块02,用于对各所述流程节点进行埋点处理,并根据预设数据采集接口规范收集各个子服务器输出的服务数据;
拦截规则配置模块03,用于配置数据拦截规则,以根据所述数据拦截规则,对所述服务数据进行拦截监控;
数据整合模块04,用于在所述服务数据被拦截时,将该服务数据记录为所述目标数据,并确定与该服务数据关联的各子服务节点,以将该服务数据以及各流程节点关联整合成所述数据流程信息。
关于数据流程分析装置的具体限定可以参见上文中对于数据流程分析方法的限定,在此不再赘述。上述数据流程分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述实施例中数据流程分析方法所使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据流程分析方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中数据流程分析方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中数据流程分析方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据流程分析方法,其特征在于,包括:
接收第一数据分析指令;所述第一数据分析指令中包含目标数据以及与所述目标数据关联的数据流程信息;
根据所述数据流程信息,在预设UI界面中展现所述目标数据在各个流程节点的节点状态;
在监测到所述节点状态为分裂状态时,将与该分裂状态对应的流程节点记录为分裂流程节点;所述分裂状态指示所述分裂流程节点分裂成至少两个子节点;
获取所述分裂流程节点中各子节点的数据字段,并检测各子节点的数据字段是否包含敏感字段;
在所述数据字段包含敏感字段时,追踪所述敏感字段并对所述敏感字段进行检测,得到第一数据分析结果。
2.如权利要求1所述的数据流程分析方法,其特征在于,所述检测各子节点的数据字段是否包含敏感字段之后,还包括:
在各子节点的数据字段均未包含敏感字段时,发送包含各所述子节点的数据分裂提示指令至预设接收方,以令所述预设接收方指定一个所述子节点作为追踪节点;
接收自所述预设接收方返回的包含所述追踪节点的第二数据分析指令,对所述追踪节点进行检测,得到第二数据分析结果。
3.如权利要求1所述的数据流程分析方法,其特征在于,所述检测各子节点的数据字段是否包含敏感字段之后,还包括:
将所述分裂流程节点中未包含所述敏感字段的子节点中的数据存储在预设缓存区中。
4.如权利要求3所述的数据流程分析方法,其特征在于,所述追踪所述敏感字段并对所述敏感字段进行检测,得到第一数据分析结果之后,包括:
自所述预设缓存区中获取所述未包含所述敏感字段的其余子节点,并发送包含所述未包含所述敏感字段的其余子节点的节点指定指令至所述预设接收方,以令所述预设接收方指定一个未包含所述敏感字段的子节点作为所述分裂分析子节点。
5.如权利要求1所述的数据流程分析方法,其特征在于,所述追踪所述敏感字段并对所述敏感字段进行检测,得到第一数据分析结果,包括:
检测与所述敏感字段关联的服务方数量;
在所述服务方数量大于或等于2时,获取各服务方的服务地址;
访问各所述服务方的服务地址,并获取各服务方返回的测试数据,以根据所述测试数据对所述敏感字段进行检测,得到第一数据分析结果。
6.如权利要求1所述的数据流程分析方法,其特征在于,所述接收第一数据分析指令之前,还包括:
与各子服务器之间建立服务连接;一个所述子服务器关联一个流程节点;
对各所述流程节点进行埋点处理,并根据预设数据采集接口规范收集各个子服务器输出的服务数据;
配置数据拦截规则,以根据所述数据拦截规则,对所述服务数据进行拦截监控;
在所述服务数据被拦截时,将该服务数据记录为所述目标数据,并确定与该服务数据关联的各子服务节点,以将该服务数据以及各流程节点关联整合成所述数据流程信息。
7.一种数据流程分析装置,其特征在于,包括:
分析指令接收模块,用于接收第一数据分析指令;所述第一数据分析指令中包含目标数据以及与所述目标数据关联的数据流程信息;
节点状态展现模块,用于根据所述数据流程信息,在预设UI界面中展现所述目标数据在各个流程节点的节点状态;
分裂节点记录模块,用于在监测到所述节点状态为分裂状态时,将与该分裂状态对应的流程节点记录为分裂流程节点;所述分裂状态指示所述分裂流程节点分裂成至少两个子节点;
敏感字段检测模块,用于获取所述分裂流程节点中各子节点的数据字段,并检测各子节点的数据字段是否包含敏感字段;
分析结果确定模块,用于在所述数据字段包含敏感字段时,追踪所述敏感字段并对所述敏感字段进行检测,得到第一数据分析结果。
8.如权利要求7所述的数据流程分析装置,其特征在于,所述数据流程分析装置还包括:
分裂提示指令发送模块,用于在各子节点的数据字段均未包含敏感字段时,发送包含各所述子节点的数据分裂提示指令至预设接收方,以令所述预设接收方指定一个所述子节点作为追踪节点;
第二分析结果确定模块,用于接收自所述预设接收方返回的包含所述追踪节点的第二数据分析指令,对所述追踪节点进行检测,得到第二数据分析结果。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述数据流程分析方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据流程分析方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011573490.6A CN112527606A (zh) | 2020-12-24 | 2020-12-24 | 数据流程分析方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011573490.6A CN112527606A (zh) | 2020-12-24 | 2020-12-24 | 数据流程分析方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112527606A true CN112527606A (zh) | 2021-03-19 |
Family
ID=74976686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011573490.6A Pending CN112527606A (zh) | 2020-12-24 | 2020-12-24 | 数据流程分析方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112527606A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113656520A (zh) * | 2021-08-10 | 2021-11-16 | 广州市规划和自然资源自动化中心(广州市基础地理信息中心) | 空间分析方法、装置、计算机设备和存储介质 |
-
2020
- 2020-12-24 CN CN202011573490.6A patent/CN112527606A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113656520A (zh) * | 2021-08-10 | 2021-11-16 | 广州市规划和自然资源自动化中心(广州市基础地理信息中心) | 空间分析方法、装置、计算机设备和存储介质 |
CN113656520B (zh) * | 2021-08-10 | 2022-10-28 | 广州市规划和自然资源自动化中心(广州市基础地理信息中心) | 空间分析方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107992409B (zh) | 测试用例生成方法、装置、计算机设备和存储介质 | |
CN109446068B (zh) | 接口测试方法、装置、计算机设备和存储介质 | |
CN112363941A (zh) | 接口测试方法、装置、计算机设备及存储介质 | |
CN108427613B (zh) | 异常接口定位方法、装置、计算机设备和存储介质 | |
CN108400978B (zh) | 漏洞检测方法、装置、计算机设备和存储介质 | |
CN108256322B (zh) | 安全测试方法、装置、计算机设备和存储介质 | |
CN111198797B (zh) | 操作监控方法及装置、操作分析方法及装置 | |
CN111045935B (zh) | 版本自动审核方法、装置、设备及存储介质 | |
CN111679968A (zh) | 接口调用异常的检测方法、装置、计算机设备及存储介质 | |
CN107370740A (zh) | 跳转拦截方法和装置 | |
CN108306787B (zh) | 一种应用监测方法及相关设备 | |
CN112269744A (zh) | 系统异常测试方法、装置、计算机设备和存储介质 | |
CN114328243A (zh) | 一种异常运行数据的处理方法、装置、设备和存储介质 | |
CN115543827A (zh) | 一种埋点数据展示方法及装置 | |
CN115271736A (zh) | 验证事务一致性的方法、装置、设备、存储介质及产品 | |
CN112527606A (zh) | 数据流程分析方法、装置、计算机设备及存储介质 | |
CN114385485A (zh) | 接口测试方法、装置、设备及存储介质 | |
CN115705190A (zh) | 依赖程度的确定方法及装置 | |
CN111835583B (zh) | 物联网产品的属性巡检方法、装置和计算机设备 | |
CN112685301A (zh) | 模糊测试方法及装置 | |
CN117493188A (zh) | 接口测试方法及装置、电子设备及存储介质 | |
CN111752819B (zh) | 一种异常监控方法、装置、系统、设备和存储介质 | |
CN114385498A (zh) | 性能测试方法、系统、计算机设备及可读存储介质 | |
CN111049795B (zh) | 分布式Web应用的敏感数据未加密漏洞的检测方法及装置 | |
CN112783739A (zh) | 超时时间显示方法、装置、系统、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |