CN114567573A - 异常数据的定位方法、装置、服务器及存储介质 - Google Patents

异常数据的定位方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN114567573A
CN114567573A CN202210238317.3A CN202210238317A CN114567573A CN 114567573 A CN114567573 A CN 114567573A CN 202210238317 A CN202210238317 A CN 202210238317A CN 114567573 A CN114567573 A CN 114567573A
Authority
CN
China
Prior art keywords
data
field
abnormal
service node
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210238317.3A
Other languages
English (en)
Other versions
CN114567573B (zh
Inventor
陈招泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Zhongrong Information Technology Co ltd
Shenzhen Lian Intellectual Property Service Center
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202210238317.3A priority Critical patent/CN114567573B/zh
Publication of CN114567573A publication Critical patent/CN114567573A/zh
Application granted granted Critical
Publication of CN114567573B publication Critical patent/CN114567573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0677Localisation of faults
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请适用于数据处理技术领域,提供了一种异常数据的定位方法、装置、服务器及存储介质,方法包括:获取数据异常日志;数据异常日志包括异常数据中异常字段的标识;获取预先配置的字段信息表;基于异常字段的标识,从字段信息表中查找与异常字段对应的目标字段的信息,基于包含目标字段的数据表所属的第一业务节点的标识,向第一业务节点发送字段校验请求;字段校验请求中携带有目标字段的标识,字段校验请求用于请求第一业务节点基于目标字段的取值策略对第一业务节点包括的目标字段的值进行校验;接收第一业务节点返回的校验结果,并基于校验结果从第一业务节点中确定产生数据异常日志的业务节点,从而可以实现对异常数据的定位。

Description

异常数据的定位方法、装置、服务器及存储介质
技术领域
本申请属于数据处理技术领域,尤其涉及一种异常数据的定位方法、装置、服务器及存储介质。
背景技术
通常,一个业务流中会涉及多个不同的节点,不同节点之间往往会存在上下游关系,存在上下游关系的节点可以分别被称为上游节点和下游节点,下游节点通常需要从上游节点中获取数据,以实现业务的推进。在实际操作过程中,上游节点的数据一般需要经过汇总后再发送给下游节点。而为了不增加业务流中的各个节点的负担,现有技术通常会设置一个中心节点,由中心节点从上游节点中获取数据,再将获取到的数据汇总后发送给对应的下游节点。
中心节点在将上游节点的数据发送给下游节点的过程中,经常会遇到数据异常的情况,例如,数据中某些字段的值不符合上游节点或下游节点对该字段设置的取值策略。在数据发生异常时,中心节点会生成相应的异常日志。然而,现有的中心节点只能检测出哪些数据发生异常,而无法定位数据异常是由哪个节点引起的,即现有技术无法实现对异常数据的定位。
发明内容
有鉴于此,本申请实施例提供了一种异常数据的定位方法、装置、服务器及存储介质,以解决现有技术无法实现对异常数据的定位的问题。
第一方面,本申请实施例提供一种异常数据的定位方法,应用于中心节点,所述中心节点与至少一个业务节点连接;所述异常数据的定位方法包括:
获取数据异常日志;所述数据异常日志包括异常数据中异常字段的标识;
获取预先配置的字段信息表;所述字段信息表中存储有各个业务节点涉及到的所有字段的信息,所述字段的信息包括字段的标识、包含有所述字段的数据表的标识、所述数据表所属的业务节点的标识以及所述字段的取值策略;
基于所述异常字段的标识,从所述字段信息表中查找与所述异常字段对应的目标字段的信息,基于包含所述目标字段的数据表所属的第一业务节点的标识,向所述第一业务节点发送字段校验请求;所述字段校验请求中携带有所述目标字段的标识,所述字段校验请求用于请求所述第一业务节点基于所述目标字段的取值策略对所述第一业务节点包括的所述目标字段的值进行校验;
接收所述第一业务节点返回的校验结果,并基于所述校验结果从所述第一业务节点中确定产生所述数据异常日志的业务节点。
可选的,所述校验结果中携带有校验未通过的目标字段的数量;对应地,所述基于所述校验结果从所述第一业务节点中确定产生所述数据异常日志的业务节点,包括:
若所述第一业务节点返回的所述校验结果中携带的校验未通过的目标字段的数量大于0,则确定所述数据异常日志是所述第一业务节点产生的。
可选的,所述基于所述校验结果从所述第一业务节点中确定产生所述数据异常日志的业务节点,还包括:
若所述第一业务节点返回的所述校验结果中携带的校验未通过的目标字段的数量为0,则确定所述数据异常日志不是所述第一业务节点产生的。
可选的,所述数据异常日志被记录在异常日志表中;对应地,所述获取数据异常日志,包括:
每隔预设时间间隔扫描一次所述异常日志表;
若所述异常日志表中有新的数据异常日志产生,则获取所述异常日志表中的所述新的数据异常日志。
可选的,在所述获取数据异常日志之前,所述异常数据的定位方法还包括:
接收任意一个所述业务节点发送的数据;
检测所述数据中的各个字段的值是否符合所述中心节点对各个所述字段的取值范围的要求;
若所述数据中有至少一个所述字段的值不符合所述中心节点对所述字段的取值范围的要求,则将不符合要求的所述字段确定为异常字段,并生成包括所述异常字段的标识的数据异常日志。
可选的,在所述生成包括所述异常字段的标识的数据异常日志之后,所述异常数据的定位方法还包括:
将所述数据异常日志记录在异常日志表中。
可选的,在检测所述数据中的各个字段的值是否符合所述中心节点对各个所述字段的取值范围的要求之后,所述异常数据的定位方法还包括:
若所述数据中的所有字段的值均分别符合所述中心节点对各个所述字段的取值范围的要求,则将所述数据存储在目标数据表中,并向所述数据所指向的目标业务节点发送所述目标数据表;
接收所述目标业务节点返回的异常数据信息;所述异常数据信息中携带有所述目标数据表中异常数据的异常字段的标识;所述异常数据信息中的所述异常数据的异常字段是所述目标业务节点在所述异常字段的值不符合所述目标业务节点对所述异常字段的取值范围的要求时确定得到的;
根据所述异常数据信息生成至少一条数据异常日志。
第二方面,本申请实施例提供一种异常数据的定位装置,应用于中心节点,所述中心节点与至少一个业务节点连接;所述异常数据的定位装置包括:
第一获取单元,用于获取数据异常日志;所述数据异常日志包括异常数据中异常字段的标识;
第二获取单元,用于获取预先配置的字段信息表;所述字段信息表中存储有各个业务节点涉及到的所有字段的信息,所述字段的信息包括字段的标识、包含有所述字段的数据表的标识、所述数据表所属的业务节点的标识以及所述字段的取值策略;
第一通信单元,用于基于所述异常字段的标识,从所述字段信息表中查找与所述异常字段对应的目标字段的信息,基于包含所述目标字段的数据表所属的第一业务节点的标识,向所述第一业务节点发送字段校验请求;所述字段校验请求中携带有所述目标字段的标识,所述字段校验请求用于请求所述第一业务节点基于所述目标字段的取值策略对所述第一业务节点包括的所述目标字段的值进行校验;
第一确定单元,用于接收所述第一业务节点返回的校验结果,并基于所述校验结果从所述第一业务节点中确定产生所述数据异常日志的业务节点。
第三方面,本申请实施例提供一种服务器,所述服务器包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面或第一方面的任意一个可选方式所述的异常数据的定位方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面或第一方面的任意一个可选方式所述的异常数据的定位方法。
第五方面,本申请实施例提供一种计算机程序产品,当计算机程序产品在服务器上运行时,使得服务器执行如上述第一方面或第一方面的任意一个可选方式所述的异常数据的定位方法。
实施本申请实施例提供的异常数据的定位方法、装置、服务器、计算机可读存储介质及计算机程序产品具有以下有益效果:
本申请实施例提供的异常数据的定位方法,通过预先配置字段信息表,将各个业务节点涉及到的所有字段的信息均存储在字段信息表中,当有数据异常日志时,基于数据异常日志包括的异常字段的标识,从字段信息表中查找与异常字段对应的目标字段的信息,基于包含目标字段的数据表所属的第一业务节点的标识,向第一业务节点发送字段校验请求,以请求第一业务节点基于目标字段的取值策略对第一业务节点包括的目标字段的值进行校验,并接收第一业务节点返回的校验结果,并基于校验结果从第一业务节点中确定产生数据异常日志的业务节点,即,根据第一业务节点返回的校验结果可以确定目标字段的值存在异常的业务节点,从而可以实现对异常数据的定位。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据交互系统的示意性架构图;
图2为本申请实施例提供的一种异常数据的定位方法的示意性流程图;
图3为本申请另一实施例提供的一种异常数据的定位方法的示意性流程图;
图4为本申请实施例提供的一种异常数据的定位装置的结构示意图;
图5为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
需要说明的是,本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联物的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,除非另有说明,“多个”是指两个或多于两个,“至少一个”、“一个或多个”是指一个、两个或两个以上。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”特征可以明示或者隐含地包括一个或者更多个该特征。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例提供的一种异常数据的定位方法,可以应用于数据交互系统。请参阅图1,为本申请实施例提供的一种数据交互系统的示意性架构图。如图1所示,该数据交互系统可以包括中心节点10以及与中心节点10连接的至少一个业务节点20。其中,中心节点10与各个业务节点20之间可以采用有线连接方式连接,也可以采用无线连接方式连接,具体根据实际需求设置,此处不对其做特别限定。中心节点10在需要时可以与各个业务节点20进行数据交互。
不同业务节点20之间可以存在上下游关系,存在上下游关系的业务节点20之间可以采用有线连接方式连接,也可以采用无线连接方式连接,具体根据实际需求设置,此处不对其做特别限定。存在上下游关系的业务节点20之间在需要时可以直接进行数据交互,也可以通过中心节点10进行数据交互。
需要说明的是,一个上游业务节点可以对应多个下游业务节点,一个下游业务节点也可以对应多个上游业务节点,此处不对其做特别限定。同一个业务节点20在一些场景下可以作为上游业务节点,在另一些场景下也可以作为下游业务节点,即,每一个业务节点20均可以为上游业务节点或下游业务节点,具体根据实际应用场景确定,此处不对其做特别限定。
在具体应用中,中心节点10和各个业务节点20均可以为服务器。服务器可以包括但不限于手机、平板电脑、笔记本电脑或台式电脑等终端设备。
本申请实施例提供的一种异常数据的定位方法,执行主体为图1所示的数据交互系统中的中心节点10。在具体应用中,可以通过对中心节点10配置目标脚本文件,由该目标脚本文件描述本申请实施例提供的异常数据的定位方法,令中心节点10在需要对异常数据进行定位时执行该目标脚本文件,进而执行本申请实施例提供的异常数据的定位方法中的各个步骤。
请参阅图2,为本申请实施例提供的一种异常数据的定位方法的示意性流程图。如图2所示,该异常数据的定位方法可以包括S21~S24,详述如下:
S21:获取数据异常日志;所述数据异常日志包括异常数据中异常字段的标识。
本申请实施例中,数据异常日志可以被记录在中心节点的异常日志表中,异常日志表中可以记录有至少一条数据异常日志。基于此,中心节点可以从异常日志表中获取各条数据异常日志。
在一种可能的实现方式中,异常日志表可以被存储在中心节点的本地存储器中,中心节点可以从其本地存储器中的异常日志表中获取各条数据异常日志。该实现方式中心节点在获取数据异常日志时无需依靠网络,便于中心节点快速获取到数据异常日志,提高了异常数据的定位效率。
在另一种可能的实现方式中,异常日志表可以被存储在中心节点的云存储器中,中心节点可以从其云存储器中的异常日志表中获取各条数据异常日志。该实现方式可以节省中心节点的存储空间。
如图3所示,在本申请的一个实施例中,在S21之前,中心节点可以通过S201~S203生成数据异常日志:
S201:接收任意一个所述业务节点发送的数据。
S202:检测所述数据中的各个字段的值是否符合所述中心节点对各个所述字段的取值范围的要求。
S203:若所述数据中有至少一个所述字段的值不符合所述中心节点对所述字段的取值范围的要求,则将不符合要求的所述字段确定为异常字段,并生成包括所述异常字段的标识的数据异常日志。
本实施例中,中心节点接收到的数据可以为一条,也可以为多条。每条数据包括至少一个字段的值。
在一种可能的实现方式中,中心节点可以被动接收任意一个业务节点发送的数据。该实现方式中,当任意一个业务节点需要向其下游业务节点发送数据时,其可以先将需要发送的数据发送给中心节点,中心节点接收业务节点发送的数据,并对数据进行汇总后再发送给对应的下游业务节点。
在另一种可能的实现方式中,中心节点可以主动从各个业务节点中获取数据。该实现方式中,当任意一个业务节点需要从其上游业务节点中获取数据时,需要获取数据的业务节点可以向中心节点发送第一数据获取请求,第一数据获取请求中携带有可提供数据的业务节点(即,需要获取数据的业务节点的上游节点)的标识。中心节点接收到第一数据获取请求后,从第一数据获取请求中解析出可提供数据的业务节点的标识,并向可提供数据的业务节点发送第二数据获取请求,第二数据获取请求中可以携带有需要获取数据的业务节点的标识。可提供数据的业务节点接收到来自中心节点的第二数据获取请求后,可以根据第二数据获取请求中携带的需要获取数据的业务节点的标识,向中心节点发送与需要获取数据的业务节点相关的数据。中心节点接收可提供数据的业务节点发送的数据。
中心节点接收到可提供数据的业务节点发送的数据后,由于中心节点需要对来自该业务节点的数据进行汇总,因此,中心节点首先需要检测其接收到的数据中的各个字段的值是否符合中心节点对各个字段的取值范围的要求。
在一种可能的实现方式中,若中心节点接收到的数据中有至少一个字段的值不符合中心节点对该至少一个字段的取值范围的要求,则中心节点将不符合要求的字段确定为异常字段,将异常字段所在的数据确定为异常数据,并生成包括异常字段的标识的数据异常日志。之后,中心节点可以将数据异常日志记录在异常日志表中。需要说明的是,每条数据异常日志包括一个异常字段的标识。若某条数据中存在多个异常字段,则中心节点针对该条数据生成多条数据异常日志。
在另一种可能的实现方式中,若中心节点接收到的数据中所有字段的值均分别符合中心节点对各个字段的取值范围的要求时,则中心节点可以将其接收到的数据存储在目标数据表中,并向数据所指向的目标业务节点(即需要获取数据的业务节点)发送该目标数据表。
目标业务节点接收到目标数据表后,检测目标数据表中各条数据中的字段的值是否符合目标业务节点对各个字段的取值范围的要求。在一种可能的情况下,若目标数据表的某条数据中有至少一个字段的值不符合目标业务节点对该至少一个字段的取值范围的要求,则目标业务节点将不符合要求的字段确定为异常字段,将异常字段所在的数据确定为异常数据,并向中心节点返回异常数据信息。其中,异常数据信息中可以携带有目标数据表中所有异常数据的所有异常字段的标识。中心节点接收到目标业务节点返回的异常数据信息后,可以根据异常数据信息生成至少一条数据异常日志。由于每条数据异常日志中仅包括一个异常字段的标识,因此,中心节点生成的数据异常日志的数量与异常数据信息中携带的异常字段的标识的数量相等。之后,中心节点可以将生成的数据异常日志存储在异常日志表中。在另一种可能的情况下,若目标数据表的某条数据中的所有字段的值均分别符合目标业务节点对各个字段的取值范围的要求,则目标业务节点将该条数据进行存储。
作为示例而非限定,异常字段的标识可以是异常字段的名称。
在本申请的一个实施例中,字段的取值范围可以通过字段的类型来限定。示例性的,字段的取值范围可以包括但不限于:整型或浮点型等。
S22:获取预先配置的字段信息表;所述字段信息表中存储有各个业务节点涉及到的所有字段的信息,所述字段的信息包括字段的标识、包含有所述字段的数据表的标识、所述数据表所属的业务节点的标识以及所述字段的取值策略。
作为示例而非限定,字段的标识可以是字段的名称。包含有字段的数据表的标识可以是数据表的表名。包含有字段的数据表所属的业务节点的标识可以是业务节点的名称或编号等。
字段的取值策略可以根据实际需求设置。例如,若某两个字段分别为表格的创建时间和表格中数据的更新时间,则这两个字段对应的取值策略可以为:表格的创建时间早于表格中数据的更新时间。
在本申请的另一个实施例中,字段的信息除了包括上述信息之外,还可以包括字段的期望校验结果,期望校验结果用于描述对字段进行校验时未通过校验的字段所在的数据的数目。在具体应用中,字段的期望校验结果通常为0。
在本申请的又一个实施例中,字段的信息表中还可以包括包含有字段的数据表所属的业务节点的开发人员的联系方式。示例性的,开发人员的联系方式可以包括开发人员的姓名、手机号、邮箱或即时通讯账号(例如微信账号)等。
作为示例而非限定,字段信息表可以如表1所示。
表1
Figure BDA0003540709710000091
S23:基于所述异常字段的标识,从所述字段信息表中查找与所述异常字段对应的目标字段的信息,基于包含所述目标字段的数据表所属的第一业务节点的标识,向所述第一业务节点发送字段校验请求;所述字段校验请求中携带有所述目标字段的标识,所述字段校验请求用于请求所述第一业务节点基于所述目标字段的取值策略对所述第一业务节点包括的所述目标字段的值进行校验。
在本申请的一个实施例中,中心节点可以每隔预设时间间隔扫描一次异常日志表,以检测异常日志表中是否有新的数据异常日志产生。若异常日志表中有新的数据异常日志产生,则中心节点获取异常日志表中的新的数据异常日志,并提取新的数据异常日志中异常字段的标识,基于异常字段的标识,从字段信息表中查找与异常字段对应的目标字段的信息。其中,与异常字段对应的目标字段指字段信息表中存储的各个字段中标识与异常字段的标识相同的字段。预设时间间隔可以根据时间需求设置,此处不对其做特别限定。
中心节点查找到目标字段的信息后,基于目标字段的信息中包含的目标字段的数据表所属的第一业务节点的标识,向第一业务节点发送字段校验请求,以请求第一业务节点基于目标字段的取值策略对其包含有目标字段的各条目标数据中的目标字段的值进行校验,以校验目标数据中的目标字段是否符合目标字段的取值策略。其中,第一业务节点的数量可以为一个或多个,具体可以根据实际情况确定,此处不对其做特别限定。
在本申请的一个实施例中,若某条目标数据中的目标字段的值不符合该目标字段的取值策略,则第一业务节点确定针对该条目标数据中的该目标字段的校验未通过,并将校验未通过的目标字段的数量加1。第一业务节点在对各个目标字段校验完成后,会向中心节点返回针对各个目标字段的校验结果。
其中,校验结果中携带有第一业务节点中包含的校验未通过的该目标字段的数量。
S24:接收所述第一业务节点返回的校验结果,并基于所述校验结果从所述第一业务节点中确定产生所述数据异常日志的业务节点。
本申请实施例中,中心节点接收到第一业务节点返回的校验结果后,可以从校验结果中解析校验未通过的目标字段的数量。
当第一业务节点返回的校验结果中校验未通过的目标字段的数量大于0时,说明该第一业务节点至少有一条数据中该目标字段的值不符合该目标字段的取值策略,即说明数据异常日志是由该第一业务节点产生的,因此,在本申请的一个实施例中,S24可以包括以下步骤:
若所述第一业务节点返回的所述校验结果中携带的校验未通过的目标字段的数量大于0,则确定所述数据异常日志是所述第一业务节点产生的。
当第一业务节点返回的校验结果中校验未通过的目标字段的数量为0时,说明该第一业务节点的所有数据中目标字段的值均符合目标字段的取值策略,即说明数据异常日志不是由该第一业务节点产生的,因此,在本申请的灵一个实施例中,S24还可以包括以下步骤:
若所述第一业务节点返回的所述校验结果中携带的校验未通过的目标字段的数量为0,则确定所述数据异常日志不是所述第一业务节点产生的。
以上可以看出,本实施例提供的异常数据的定位方法,通过预先配置字段信息表,将各个业务节点涉及到的所有字段的信息均存储在字段信息表中,当有数据异常日志时,基于数据异常日志包括的异常字段的标识,从字段信息表中查找与异常字段对应的目标字段的信息,基于包含目标字段的数据表所属的第一业务节点的标识,向第一业务节点发送字段校验请求,以请求第一业务节点基于目标字段的取值策略对第一业务节点包括的目标字段的值进行校验,并接收第一业务节点返回的校验结果,并基于校验结果从第一业务节点中确定产生数据异常日志的业务节点,即,根据第一业务节点返回的校验结果可以确定目标字段的值存在异常的业务节点,从而可以实现对异常数据的定位。
可以理解的是,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
基于上述实施例所提供的异常数据的定位方法,本发明实施例进一步给出实现上述方法实施例的异常数据的定位装置的实施例。请参阅图4,为本申请实施例提供的一种异常数据的定位装置的结构示意图。为了便于说明,仅示出了与本实施例相关的部分。该异常数据的定位装置可以应用于中心节点。中心节点与至少一个业务节点连接。如图4所示,异常数据的定位装置40可以包括:第一获取单元41、第二获取单元42、第一通信单元43及第一确定单元44。
第一获取单元41用于获取数据异常日志;所述数据异常日志包括异常数据中异常字段的标识。
第二获取单元42用于获取预先配置的字段信息表;所述字段信息表中存储有各个业务节点涉及到的所有字段的信息,所述字段的信息包括字段的标识、包含有所述字段的数据表的标识、所述数据表所属的业务节点的标识以及所述字段的取值策略。
第一通信单元43用于基于所述异常字段的标识,从所述字段信息表中查找与所述异常字段对应的目标字段的信息,基于包含所述目标字段的数据表所属的第一业务节点的标识,向所述第一业务节点发送字段校验请求;所述字段校验请求中携带有所述目标字段的标识,所述字段校验请求用于请求所述第一业务节点基于所述目标字段的取值策略对所述第一业务节点包括的所述目标字段的值进行校验。
第一确定单元44用于接收所述第一业务节点返回的校验结果,并基于所述校验结果从所述第一业务节点中确定产生所述数据异常日志的业务节点。
在一种可能的实现方式中,所述校验结果中携带有校验未通过的目标字段的数量;对应地,第一确定单元44用于:
若所述第一业务节点返回的所述校验结果中携带的校验未通过的目标字段的数量大于0,则确定所述数据异常日志是所述第一业务节点产生的。
在另一种可能的实现方式中,第一确定单元44用于:
若所述第一业务节点返回的所述校验结果中携带的校验未通过的目标字段的数量为0,则确定所述数据异常日志不是所述第一业务节点产生的。
在又一种可能的实现方式中,所述数据异常日志被记录在异常日志表中;对应地,第一获取单元41具体包括扫描单元和日志获取单元。其中:
扫描单元用于每隔预设时间间隔扫描一次所述异常日志表。
日志获取单元用于若所述异常日志表中有新的数据异常日志产生,则获取所述异常日志表中的所述新的数据异常日志。
在又一种可能的实现方式中,异常数据的定位装置40还包括第二通信单元、检测单元及第一日志生成单元。其中:
第二通信单元,用于接收任意一个所述业务节点发送的数据。
检测单元,用于检测所述数据中的各个字段的值是否符合所述中心节点对各个所述字段的取值范围的要求。
第一日志生成单元,用于若所述数据中有至少一个所述字段的值不符合所述中心节点对所述字段的取值范围的要求,则将不符合要求的所述字段确定为异常字段,并生成包括所述异常字段的标识的数据异常日志。
在又一种可能的实现方式中,异常数据的定位装置40还包括记录单元。
记录单元用于将所述数据异常日志记录在异常日志表中。
在又一种可能的实现方式中,异常数据的定位装置40还包括第三通信单元、第四通信单元及第二日志生成单元。其中:
第三通信单元用于若所述数据中的所有字段的值均分别符合所述中心节点对各个所述字段的取值范围的要求,则将所述数据存储在目标数据表中,并向所述数据所指向的目标业务节点发送所述目标数据表。
第四通信单元用于接收所述目标业务节点返回的异常数据信息;所述异常数据信息中携带有所述目标数据表中异常数据的异常字段的标识;所述异常数据信息中的所述异常数据的异常字段是所述目标业务节点在所述异常字段的值不符合所述目标业务节点对所述异常字段的取值范围的要求时确定得到的。
第二日志生成单元用于根据所述异常数据信息生成至少一条数据异常日志。
需要说明的是,上述单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参照方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元完成,即将异常数据的定位装置的内部结构划分成不同的功能单元,以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
请参阅图5,图5为本申请实施例提供的一种服务器的结构示意图。如图5所示,本实施例提供的服务器5可以包括:处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52,例如异常数据的定位方法对应的程序。处理器50执行计算机程序52时实现上述异常数据的定位方法实施例中的步骤,例如图2所示的S21~S24。或者,处理器50执行计算机程序52时实现上述异常数据的定位装置实施例中各模块/单元的功能,例如图4所示的单元41~44的功能。
示例性的,计算机程序52可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器51中,并由处理器50执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序52在服务器5中的执行过程。例如,计算机程序52可以被分割成第一获取单元、第二获取单元、第一通信单元及第一确定单元,各单元的具体功能请参阅图4对应的实施例中的相关描述,此处不赘述。
本领域技术人员可以理解,图5仅仅是服务器5的示例,并不构成对服务器5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。
处理器50可以是中央处理单元(central processing unit,CPU),还可以是其他通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器51可以是服务器5的内部存储单元,例如服务器5的硬盘或内存。存储器51也可以是服务器5的外部存储设备,例如服务器5上配备的插接式硬盘、智能存储卡(smartmedia card,SMC)、安全数字(secure digital,SD)卡或闪存卡(flash card)等。进一步地,存储器51还可以既包括服务器5的内部存储单元也包括外部存储设备。存储器51用于存储计算机程序以及服务器所需的其他程序和数据。存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在服务器上运行时,使得服务器执行时实现可实现上述各个方法实施例中的步骤。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参照其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种异常数据的定位方法,其特征在于,应用于中心节点,所述中心节点与至少一个业务节点连接;所述异常数据的定位方法包括:
获取数据异常日志;所述数据异常日志包括异常数据中异常字段的标识;
获取预先配置的字段信息表;所述字段信息表中存储有各个业务节点涉及到的所有字段的信息,所述字段的信息包括字段的标识、包含有所述字段的数据表的标识、所述数据表所属的业务节点的标识以及所述字段的取值策略;
基于所述异常字段的标识,从所述字段信息表中查找与所述异常字段对应的目标字段的信息,基于包含所述目标字段的数据表所属的第一业务节点的标识,向所述第一业务节点发送字段校验请求;所述字段校验请求中携带有所述目标字段的标识,所述字段校验请求用于请求所述第一业务节点基于所述目标字段的取值策略对所述第一业务节点包括的所述目标字段的值进行校验;
接收所述第一业务节点返回的校验结果,并基于所述校验结果从所述第一业务节点中确定产生所述数据异常日志的业务节点。
2.根据权利要求1所述的异常数据的定位方法,其特征在于,所述校验结果中携带有校验未通过的目标字段的数量;对应地,所述基于所述校验结果从所述第一业务节点中确定产生所述数据异常日志的业务节点,包括:
若所述第一业务节点返回的所述校验结果中携带的校验未通过的目标字段的数量大于0,则确定所述数据异常日志是所述第一业务节点产生的。
3.根据权利要求2所述的异常数据的定位方法,其特征在于,所述基于所述校验结果从所述第一业务节点中确定产生所述数据异常日志的业务节点,还包括:
若所述第一业务节点返回的所述校验结果中携带的校验未通过的目标字段的数量为0,则确定所述数据异常日志不是所述第一业务节点产生的。
4.根据权利要求1所述的异常数据的定位方法,其特征在于,所述数据异常日志被记录在异常日志表中;对应地,所述获取数据异常日志,包括:
每隔预设时间间隔扫描一次所述异常日志表;
若所述异常日志表中有新的数据异常日志产生,则获取所述异常日志表中的所述新的数据异常日志。
5.根据权利要求1至4任意一项所述的异常数据的定位方法,其特征在于,在所述获取数据异常日志之前,所述异常数据的定位方法还包括:
接收任意一个所述业务节点发送的数据;
检测所述数据中的各个字段的值是否符合所述中心节点对各个所述字段的取值范围的要求;
若所述数据中有至少一个所述字段的值不符合所述中心节点对所述字段的取值范围的要求,则将不符合要求的所述字段确定为异常字段,并生成包括所述异常字段的标识的数据异常日志。
6.根据权利要求5所述的异常数据的定位方法,其特征在于,在所述生成包括所述异常字段的标识的数据异常日志之后,所述异常数据的定位方法还包括:
将所述数据异常日志记录在异常日志表中。
7.根据权利要求5所述的异常数据的定位方法,其特征在于,在检测所述数据中的各个字段的值是否符合所述中心节点对各个所述字段的取值范围的要求之后,所述异常数据的定位方法还包括:
若所述数据中的所有字段的值均分别符合所述中心节点对各个所述字段的取值范围的要求,则将所述数据存储在目标数据表中,并向所述数据所指向的目标业务节点发送所述目标数据表;
接收所述目标业务节点返回的异常数据信息;所述异常数据信息中携带有所述目标数据表中异常数据的异常字段的标识;所述异常数据信息中的所述异常数据的异常字段是所述目标业务节点在所述异常字段的值不符合所述目标业务节点对所述异常字段的取值范围的要求时确定得到的;
根据所述异常数据信息生成至少一条数据异常日志。
8.一种异常数据的定位装置,其特征在于,应用于中心节点,所述中心节点与至少一个业务节点连接;所述异常数据的定位装置包括:
第一获取单元,用于获取数据异常日志;所述数据异常日志包括异常数据中异常字段的标识;
第二获取单元,用于获取预先配置的字段信息表;所述字段信息表中存储有各个业务节点涉及到的所有字段的信息,所述字段的信息包括字段的标识、包含有所述字段的数据表的标识、所述数据表所属的业务节点的标识以及所述字段的取值策略;
第一通信单元,用于基于所述异常字段的标识,从所述字段信息表中查找与所述异常字段对应的目标字段的信息,基于包含所述目标字段的数据表所属的第一业务节点的标识,向所述第一业务节点发送字段校验请求;所述字段校验请求中携带有所述目标字段的标识,所述字段校验请求用于请求所述第一业务节点基于所述目标字段的取值策略对所述第一业务节点包括的所述目标字段的值进行校验;
第一确定单元,用于接收所述第一业务节点返回的校验结果,并基于所述校验结果从所述第一业务节点中确定产生所述数据异常日志的业务节点。
9.一种服务器,其特征在于,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的异常数据的定位方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的异常数据的定位方法。
CN202210238317.3A 2022-03-10 2022-03-10 异常数据的定位方法、装置、服务器及存储介质 Active CN114567573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210238317.3A CN114567573B (zh) 2022-03-10 2022-03-10 异常数据的定位方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210238317.3A CN114567573B (zh) 2022-03-10 2022-03-10 异常数据的定位方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN114567573A true CN114567573A (zh) 2022-05-31
CN114567573B CN114567573B (zh) 2023-12-15

Family

ID=81718197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210238317.3A Active CN114567573B (zh) 2022-03-10 2022-03-10 异常数据的定位方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN114567573B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108768752A (zh) * 2018-06-25 2018-11-06 华为技术有限公司 故障定位方法、装置以及系统
CN111176945A (zh) * 2019-12-28 2020-05-19 浪潮电子信息产业股份有限公司 节点故障定位方法、装置、设备及计算机可读存储介质
CN111556080A (zh) * 2020-05-18 2020-08-18 网易(杭州)网络有限公司 网络节点监控方法、装置、介质及电子设备
CN112380569A (zh) * 2020-05-24 2021-02-19 石高峰 一种基于区块链的数据分析方法及边缘计算服务器
US20210056074A1 (en) * 2018-06-01 2021-02-25 Alibaba Group Holding Limited File System Data Access Method and File System
CN112506799A (zh) * 2020-12-22 2021-03-16 北京百度网讯科技有限公司 业务异常定位方法及装置、电子设备、介质、产品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210056074A1 (en) * 2018-06-01 2021-02-25 Alibaba Group Holding Limited File System Data Access Method and File System
CN108768752A (zh) * 2018-06-25 2018-11-06 华为技术有限公司 故障定位方法、装置以及系统
CN111176945A (zh) * 2019-12-28 2020-05-19 浪潮电子信息产业股份有限公司 节点故障定位方法、装置、设备及计算机可读存储介质
CN111556080A (zh) * 2020-05-18 2020-08-18 网易(杭州)网络有限公司 网络节点监控方法、装置、介质及电子设备
CN112380569A (zh) * 2020-05-24 2021-02-19 石高峰 一种基于区块链的数据分析方法及边缘计算服务器
CN112506799A (zh) * 2020-12-22 2021-03-16 北京百度网讯科技有限公司 业务异常定位方法及装置、电子设备、介质、产品

Also Published As

Publication number Publication date
CN114567573B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN108810006B (zh) 资源访问方法、装置、设备及存储介质
CN108960830B (zh) 智能合约的部署方法、装置、设备及存储介质
CN110601880B (zh) 一种云平台、业务处理方法、命令接口及计算机设备
EP3178011B1 (en) Method and system for facilitating terminal identifiers
CN107633016B (zh) 数据处理方法及装置和电子设备
US11544141B2 (en) Data storage detection method and apparatus, storage medium and electronic apparatus
CN111190551B (zh) 一种redis数据的迁移系统、迁移方法、装置及终端
CN112613993B (zh) 交易数据处理方法、装置、计算机设备和存储介质
CN112737800B (zh) 服务节点故障定位方法、调用链生成方法及服务器
CN112764997B (zh) 一种日志存储的方法、装置、计算机设备和存储介质
CN113704790A (zh) 一种异常日志信息汇总方法及计算机设备
CN111221742B (zh) 一种测试案例的更新方法、装置、存储介质和服务器
CN112579591B (zh) 数据校验方法、装置、电子设备及计算机可读存储介质
US11227051B2 (en) Method for detecting computer virus, computing device, and storage medium
CN111597069A (zh) 程序处理方法、装置、电子设备和存储介质
CN116775620B (zh) 基于多方数据的风险识别方法、装置、设备及存储介质
CN112099909B (zh) 一种虚拟机内存度量方法、装置、处理器芯片及系统
CN113742235A (zh) 一种校验代码的方法和装置
CN114567573B (zh) 异常数据的定位方法、装置、服务器及存储介质
CN112783866B (zh) 数据读取方法、装置、计算机设备和存储介质
CN112149951B (zh) 风险控制方法、装置、计算机设备和存储介质
CN111694588B (zh) 引擎升级检测方法、装置、计算机设备和可读存储介质
CN109560964B (zh) 一种设备合规检查方法及装置
CN111475400A (zh) 一种业务平台的验证方法及相关设备
KR102626841B1 (ko) 동적 라이브러리의 자가 무결성 검증 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231120

Address after: Rooms 1-5-1, Building 1, Country Garden Green Financial Port Project (ZD-14 plot), Gui'an New District, Guiyang City, Guizhou Province, 550000

Applicant after: Guizhou Zhongrong Information Technology Co.,Ltd.

Address before: 518000 Room 202, block B, aerospace micromotor building, No.7, Langshan No.2 Road, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen LIAN intellectual property service center

Effective date of registration: 20231120

Address after: 518000 Room 202, block B, aerospace micromotor building, No.7, Langshan No.2 Road, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen LIAN intellectual property service center

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: PING AN PUHUI ENTERPRISE MANAGEMENT Co.,Ltd.

GR01 Patent grant
GR01 Patent grant