CN110162420B - 数据辅助定位方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据辅助定位方法、装置、计算机设备及存储介质，其中，该数据辅助定位方法包括：基于异常数据记录表，筛选在定位时间段内的至少一条异常记录；基于错误信息，获取异常记录对应的异常数据落地表；基于数据标签，获取记录数据标签的目标数据落地表；若在接口日志数据库存在与异常记录对应的异常日志，则从异常日志中提取至少一个指定字段对应的目标字段内容；采用预设的筛选规则对目标字段内容进行过滤，若过滤结果为上报处理结果，则形成报错信息；将报错信息、异常数据落地表和目标数据落地表形成辅助定位数据，将辅助定位数据发送给客户端。该数据辅助定位方法可提高异常数据的定位效率和定位准确性。

Description

数据辅助定位方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据辅助定位方法、装置、计算机设备及存储介质。

背景技术

随着系统开发的功能越来越丰富，开发人员编写的代码也随之增多，甚至达到千万行数量级。当对包括多个数据接口的系统接入大量数据时，可能会产生未正确写入的异常数据也即不符合预期值的数据。

而目前对异常数据进行定位通常是由开发人员手动操作，经过一系列耗时的手工查询日志、查看业务代码或生产数据等动作，对异常数据进行定位。如何提高异常数据的定位效率成为亟待解决的问题。

发明内容

本发明实施例提供一种数据辅助定位方法、装置、计算机设备及存储介质，以解决如何提高异常数据的定位效率的问题。

一种数据辅助定位方法，包括：

接收客户端发送的异常数据定位请求，异常数据定位请求包括定位时间段；

基于异常数据记录表，筛选在定位时间段内的至少一条异常记录，异常记录包括数据标签和错误信息；

基于错误信息，获取异常记录对应的异常数据落地表，所述异常数据落地表是将当前数据标签未成功写入的数据表；

基于数据标签，获取记录数据标签的目标数据落地表，所述目标数据落地表是将当前的数据标签正确写入的所有数据表；

基于数据标签对应的接入数据接口查询接口日志数据库，若在接口日志数据库存在与异常记录对应的异常日志，则从异常日志中提取至少一个指定字段对应的目标字段内容；

采用预设的筛选规则对目标字段内容进行过滤，获取过滤结果，若过滤结果为上报处理结果，则封装目标字段和目标字段内容形成报错信息；

将报错信息、异常数据落地表和目标数据落地表形成辅助定位数据，将辅助定位数据发送给客户端。

一种数据辅助定位装置，包括：

接收定位请求模块，用于接收客户端发送的异常数据定位请求，异常数据定位请求包括定位时间段；

筛选异常记录模块，用于基于异常数据记录表，筛选在定位时间段内的至少一条异常记录，异常记录包括数据标签和错误信息；

获取异常落地表模块，用于基于错误信息，获取异常记录对应的异常数据落地表，所述异常数据落地表是将当前数据标签未成功写入的数据表；

获取数据落地表模块，用于基于数据标签，获取记录数据标签的目标数据落地表，所述目标数据落地表是将当前的数据标签正确写入的所有数据表；

提取字段内容模块，用于基于数据标签对应的接入数据接口查询接口日志数据库，若在接口日志数据库存在与异常记录对应的异常日志，则从异常日志中提取至少一个指定字段对应的目标字段内容；

获取过滤结果模块，用于采用预设的筛选规则对目标字段内容进行过滤，获取过滤结果，若过滤结果为上报处理结果，则封装目标字段和目标字段内容形成报错信息；

发送定位数据模块，用于将报错信息、异常数据落地表和目标数据落地表形成辅助定位数据，将辅助定位数据发送给客户端。

一种计算机设备，包括存储器、处理器以及存储在存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据辅助定位方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据辅助定位方法。

上述数据辅助定位方法、装置、计算机设备及存储介质，通过获取指定时间段内的异常记录，将异常记录对应的数据标签进行辅助定位，包括在异常数据落地表中的定位和在接入数据接口对应的异常日志中进行定位，将所有得到的辅助定位信息异常数据和异常数据发生异常的相关内容合并发送给客户端，便于客户端的开发人员基于服务器发送的内容即可进行异常数据定位的工作，提高异常数据的定位效率和定位准确性，避免开发人员手动跟踪异常数据。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中数据辅助定位方法的应用环境示意图；

图2是本发明一实施例中数据辅助定位方法的流程图；

图3是本发明一实施例中数据辅助定位方法的另一流程图；

图4是本发明一实施例中数据辅助定位方法的另一流程图；

图5是本发明一实施例中数据辅助定位方法的另一流程图；

图6是本发明一实施例中数据辅助定位方法的另一流程图；

图7是本发明一实施例中数据辅助定位方法的另一流程图；

图8是本发明一实施例中数据辅助定位装置的示意图；

图9是本发明一实施例中计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的数据辅助定位方法，可应用在如图1的应用环境中，该数据辅助定位方法应用在数据辅助定位系统中，该数据辅助定位系统包括客户端和服务器，其中，客户端通过网络与服务器进行通信。客户端又称为用户端，是指与服务器相对应，为客户端提供本地服务的程序。该客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等计算机设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种数据辅助定位方法，以该方法应用在图1中的服务器为例进行说明，具体包括如下步骤：

S10.接收客户端发送的异常数据定位请求，异常数据定位请求包括定位时间段。

其中，异常数据定位请求是开发人员通过客户端向服务器发送的辅助定位异常数据的请求。

异常数据是在系统接收外部写入的批量数据时，未写入或未按正常格式写入的数据。

定位时间段也即定位周期，于本实施例，可设置为24小时或更多，此处不做限定。为了便于开发人员集中时间处理定位异常数据，开发人员可在每上个定位周期结束时向服务器发起异常数据定位请求。

具体地，本实施例中，服务器可将该异常数据定位请求设置为定时任务，也可为服务器接收开发人员通过客户端发送的实时任务。

步骤S10中，服务器可接受客户端发送的异常数据定位请求，提取该异常数据定位请求中携带的定位时间段，为后续在异常数据记录表中进行筛选准备筛选条件。

S20.基于异常数据记录表，筛选在所述定位时间段内的至少一条异常记录，所述异常记录包括数据标签和错误信息。

其中，异常数据记录表是记录所有写入系统的错误数据的信息查询表。

异常记录是构成异常数据记录表的基本单位，每个基础记录包括数据标签和错误信息等。其中，错误信息包括异常落地时间和异常落地表等。

数据标签是每种数据内容所属的属性标签，比如，用户名，投保人或投保标的等。

具体地，因异常数据记录表是记录所有写入系统的错误数据的信息查询表，为了对当前服务器接收的异常数据定位请求进行处理，服务器可基于步骤S10获得的定位时间段，在异常数据记录表中获取所有属于该定位时间段的异常记录。

步骤S20中，服务器可在定位时间段内筛选得到至少一条异常记录，将异常数据的定位范围更精确化。

S30.基于所述错误信息，获取所述异常记录对应的异常数据落地表。

其中，异常数据落地表是将当前数据标签未成功写入的数据表。

步骤S30中，服务器可基于错误信息中对应的位置获数据标识比如“write to”等，获取该数据标签未成功写入的异常数据落地表，便于后续开发人员获取该数据标签对应的正确的内容时，对该异常数据落地表进行数据更新。

S40.基于所述数据标签，获取记录所述数据标签的目标数据落地表。

其中，目标数据落地表是将当前的数据标签正确写入系统的所有数据表。具体地，每种数据标签写入系统内的表应不止一个表。若服务器可获取数据标签对应的目标数据落地表，可在目标数据落地表中获取该数据标签对应的正确的标签内容，并将该标签内容可写入异常数据落地表。

步骤S40中，服务器可获取将写入当前数据标签正确的目标数据落地表，便于后续对异常数据落地表进行数据修正。

S50.基于所述数据标签对应的接入数据接口查询接口日志数据库，若在所述接口日志数据库存在与所述异常记录对应的异常日志，则从所述异常日志中提取至少一个指定字段对应的目标字段内容。

其中，接入数据接口是将当前数据标签对应的标签内容应用到系统某个模块中包括的输入数据的接口，系统某个模块的方法接口等。

日志数据库是记录系统每个模块包括的各个数据接口的运行数据的数据库。

异常日志是构成日志数据库的基本单位，每个模块依据该模块的应用会对应产生异常日志，便于后续开发人员基于异常日志进行数据校验排查等。

于本实施例，指定字段是记录异常数据产生的字段，比如包括但不限于：userid、method、time、message或exception等。

目标字段内容是每个指定字段可能记录的错误类型。可以理解地，为了系统保持稳健运行，接入数据接口在出现错误时，可分为可忽略错误和应上报错误。基于此，服务器可将每个指定字段对应的目标字段内容进行分类，区分为可忽略错误内容和应上报错误内容。也即当接入数据接口在出现错误时，应根据错误类型记录在异常日志中。

步骤S50中，服务器可基于数据标签对应的接入数据接口查询接口日志数据库，从异常日志中提取至少一个指定字段对应的目标字段内容，将数据标签对应的错误类型进行进一步定位，使得定位范围更加精确。

S60.采用预设的筛选规则对所述目标字段内容进行过滤，获取过滤结果，若所述过滤结果为上报处理结果，则封装所述目标字段和所述目标字段内容形成报错信息。

其中，预设筛选规则是规定目标字段内容应上报还是可忽略的规则。比如，Exception类有一个重要的子类RuntimeException。RuntimeException类及其子类表示“JVM常用操作”引发的错误。若试图使用空值对象引用、除数为零或数组越界，则分别引发运行时异常。此时，该Exception对应的目标字段内容不属于数据标签构成的错误，可被预设筛选规则指定为可忽略的错误。

过滤结果包括上报处理结果和忽略处理结果。可以理解地，当经过预设筛选规则的筛选，若对应的目标字段内容属于可忽略的错误，则为忽略处理结果。反之则为上报处理结果。

报错信息是封装目标字段和目标字段内容形成报错信息形成的信息封装包。

步骤S60中，服务器可基于预设的筛选规则对所述目标字段内容进行过滤，获取过滤结果，将过滤结果为上报处理结果的目标字段和目标字段内容进行上报，便于开发人员无需查找对应的系统模块，直接根据报错信息进行异常数据的定位。

S70.将所述报错信息、所述异常数据落地表和所述目标数据落地表形成辅助定位数据，将所述辅助定位数据发送给所述客户端。

其中，辅助定位数据是包括报错信息、异常数据落地表和目标数据落地表的定位信息。

步骤S70中，服务器将所有可能包括异常数据和异常数据发生异常的相关内容合并发送给客户端，便于客户端基于服务器发送的内容即可进行异常数据定位的工作。

步骤S10至S70中，服务器可通过获取指定时间段内的异常记录，将异常记录对应的数据标签进行辅助定位，包括在异常数据落地表中的定位和在接入数据接口对应的异常日志中进行定位，将所有得到的辅助定位信息异常数据和异常数据发生异常的相关内容合并发送给客户端，便于客户端的开发人员基于服务器发送的内容即可进行异常数据定位的工作，提高异常数据的定位效率和定位准确性，避免开发人员手动跟踪异常数据。

在一实施例中，如图3所示，在步骤S40中，基于数据标签，获取记录数据标签的目标数据落地表，具体包括如下步骤：

S41.基于数据标签查询落地信息数据表中，提取数据标签对应的历史数据落地表。

其中，落地信息数据表是存储每一数据标签和其关联的成功落地的历史数据落地表的信息总和表。比如，对于数据标签userID来说，可在落地信息数据表中查询到，该数据标签已在table1、table2、table3、table4和table5五个历史数据落地表中成功落地(正确记录并存储)，也即table1、table2、table3、table4和table5是userID对应的历史数据落地表。

历史数据落地表是将当前数据标签正确写入服务器的所有数据表。具体地，每种数据标签写入服务器内的表可能不止一个。服务器在落地信息数据表中记录每一数据标签对应的历史数据落地表，可在历史数据落地表中获取该数据标签对应的任一个正确的标签内容，利于后续将该标签内容可写入异常数据落地表中。

步骤S41中，服务器可基于数据标签查询落地信息数据表中，提取数据标签对应的历史数据落地表，为后续服务器基于历史数据落地表进行统计准备数据基础。

S42.基于历史数据落地表的落地数量，获取与数据标签相对应的警报状态。

其中，落地数量是每一数据标签在服务器中被正确写入的历史数据落地表的个数。比如，对于数据标签userID来说，该数据标签已在table1、table2、table3、table4和table5五个历史数据落地表中成功落地(正确记录并存储)，也即该数据标签对应的历史数据落地表的落地数量为5。

警报状态是服务器基于落地数据给出的警报风险级别，包括但不限于安全状态、危险状态和高危状态。具体地，当数据标签仅在服务器中1个历史数据落地表中进行记录时，可能出现已保存的数据标签对应的标签内容与同一数据标签对应的在异常数据记录表需要修正的标签内容出现不兼容等情况，也即此时难以将已存的标签内容对异常数据记录表进行修正和参考。服务器可依据实际应用情况设定每一警报状态对应的落地数量。比如：

落地数量小于2，警报状态为安全状态；

落地数量小于4，警报状态为危险状态；

落地数量小于6，警报状态为高危状态等。

步骤S42中，服务器可基于历史数据落地表的落地数量，获取与数据标签相对应的警报状态，利于后续开发人员基于该警报状态采取对应的数据修正策略。

S43.关联存储警报状态和所有历史数据落地表，形成目标数据落地表。

步骤S43中，服务器将步骤S41和步骤S42中分别得到的所有历史数据落地表和警报状态进行关联存储，形成目标数据落地表，便于开发人员基于该目标数据落地表直观地获取数据标签对应的每一历史数据落地表进行数据查询，并基于警报状态采取对应的数据修正策略。

步骤S41至S43中，服务器可基于数据标签查询落地信息数据表中，提取数据标签对应的历史数据落地表，为后续服务器基于历史数据落地表进行统计准备数据基础。服务器将所有历史数据落地表和警报状态进行关联存储，形成目标数据落地表，便于开发人员基于该目标数据落地表直观地获取数据标签对应的每一历史数据落地表进行数据查询，并基于警报状态采取对应的数据修正策略。

在一实施例中，如图4所示，在步骤S42中，基于历史数据落地表的落地数量，获取与数据标签相对应的警报状态，具体包括如下步骤：

S421.若历史数据落地表的落地数量小于第一数量阈值，则获取与数据标签相对应的警报状态为高危状态。

于本实施例，服务器可预先将第一数量阈值设置为判定数据标签对应的历史数据落地表的落地数量属于高危状态的最大值。可以理解地，第二数量阈值是判定数据标签对应的历史数据落地表的落地数量属于安全状态的最小值。介于第一数量阈值和第二数量阈值之间的历史数据落地表的落地数量则对应危险状态。

步骤S421中，当服务器判定历史数据落地表的落地数量小于第一数量阈值时，可获取与数据标签相对应的警报状态为高危状态，该高危状态用以后续引起开发人员修正数据标签对应的数据内容的高度重视，采取对应的内容修正策略。

S422.若历史数据落地表的落地数量不小于第一数量阈值，且小于第二数量阈值，则获取与数据标签相对应的警报状态为危险状态。

步骤S422中，当服务器判定历史数据落地表的落地数量不小于第一数量阈值，且小于第二数量阈值，可获取与数据标签相对应的警报状态为危险状态，该危险状态用以后续引起开发人员修正数据标签对应的数据内容的重视，采取对应的内容修正策略。

S423.若历史数据落地表的落地数量不小于第二数量阈值，则获取与数据标签相对应的警报状态为安全状态。

步骤S423中，当服务器判定历史数据落地表的落地数量不小于第二数量阈值时，可获取与数据标签相对应的警报状态为安全状态，该安全状态用以后续提示开发人员可借助已成功落地的历史数据信息表修正异常数据落地表中对应的标签内容。

步骤S421至S423中，服务器可根据历史数据落地表对应的落地数量，获取与数据标签相对应的警报状态，根据不同的警报状态用以后续提醒开发人员采取对应的内容修正策略。

在一实施例中，如图5所示，在步骤S70之后，在将辅助定位数据发送给客户端之后，数据辅助定位方法还具体包括如下步骤：

S701.获取定时任务，定时任务包括修正时间段。

其中，定时任务是服务器在指定时间执行指定的任务，于本实施例，定时任务具体为修正异常数据落地表的任务。在jdk自带的库中,有两种技术可以实现定时任务。一种是使用Timer,另外一个则是ScheduledThreadPoolExecutor。通过给Timer提交一个TimerTask的任务，同时指定多久后开始执行以及执行周期，即可开启定时任务。

Timer的原理为初始化Timer时,timer内部会启动一个线程，并且初始化一个优先级队列，该优先级队列使用了最小堆的技术来将最早执行时间的任务放在堆顶。

当调用ScheduledThreadPoolExecutor方法时,就是生成一个任务然后插入到该优先级队列中。最后，timer内部的线程会从优先级队列的堆顶获取任务，获取到任务后，先判断当前系统赶时间是否到达执行时间，如果到达则先设置下一次的执行时间并调整堆，然后执行任务。如果没到执行时间则线程继续休眠。

修正时间段是服务器指定获取的修正异常数据落地表的时间。

步骤S701中，服务器可基于定时任务的指定时间提取在修正时间段内的修正记录表，为后续服务器基于该修正记录表更新落地信息数据表准备数据基础。

S702.基于数据修正记录表，获取至少一个在修正时间段内进行数据修正的修正记录，修正记录包括数据标签和异常数据落地表。

其中，数据修正记录表是记录开发人员修正每一异常数据记录表的信息表。可以理解地，为了便于后续服务器基于数据修正表中的数据进行数据筛选，每一数据修正记录表中的每一记录还应包括开发人员的修正时间。

具体地，服务器基于数据修正记录表中的修正时间，可筛选出在修正时间段内修正的所有异常数据落地表。

步骤S702中，服务器可基于数据修正记录表，获取至少一个在修正时间段内进行数据修正的修正记录，为后续服务器基于该修正记录更新落地信息数据表准备数据基础。

S703.基于异常数据落地表，对数据标签对应的内容进行内容检测，若内容检测为记录成功，则将异常数据落地表作为新的历史数据落地表添加到落地信息数据表中。

具体地，服务器将异常数据落地表中数据标签对应的修正后的修正内容进行内容和格式的检测，当内容和格式都符合数据输入要求时，也即异常数据落地表中原来未正确写入的数据标签对应的内容已经被修正，此时异常数据落地表已不再是异常数据落地表，应更新为该数据标签对应的历史数据落地表，添加到落地信息数据表中。

步骤S703中，服务器可将数据标签对应的标签内容在异常数据落地表中修正后，及时将该修正后的异常数据落地表作为新的历史数据落地表添加到落地信息数据表中，保持落地信息数据表的实时性和可靠性。

步骤S701至S703中，服务器可基于定时任务的指定时间提取在修正时间段内的修正记录表，为后续服务器基于该修正记录表更新落地信息数据表准备数据基础。服务器可基于数据修正记录表，获取至少一个在修正时间段内进行数据修正的修正记录，为后续服务器基于该修正记录更新落地信息数据表准备数据基础。服务器可将数据标签对应的标签内容在异常数据落地表中修正后，及时将该修正后的异常数据落地表作为新的历史数据落地表添加到落地信息数据表中，保持落地信息数据表的实时性和可靠性。

在一实施例中，如图6所示，在步骤S50中，基于数据标签对应的接入数据接口查询接口日志数据库，若在接口日志数据库存在与异常记录对应的异常日志，具体包括如下步骤：

S51.基于数据标签对应的接入数据接口，获取接入数据接口对应的接口ID。

其中，接入数据接口是数据标签对应的标签内容在被方法调用时对应的方法接口。为了便于区别每一数据接口，服务器给每一接入数据接口分别配置一接口ID。

步骤S51中，服务器可基于数据标签对应的接入数据接口，获取接入数据接口对应的接口ID，便于后续服务器基于该接口ID在接口日志数据库中进行对应接口的异常日志进行查询。

S52.基于异常记录，获取数据标签对应的异常落地时间。

其中，异常落地时间是服务器未将数据标签对应的标签内容正确写入异常数据落地表的时间。异常记录包括每一数据标签对应的异常落地时间。

步骤S52中，服务器可基于该异常记录获取对应的异常落地时间，便于后续服务器基于该异常落地时间在接口日志数据库中进行数据筛选。

S53.基于接口ID在接口日志数据库中进行查询，获取与异常落地时间匹配的异常日志。

其中，接口日志数据库记录服务器中每一接入数据接口对应的调用情况，以及调用的数据标签对应的标签内容是否写入正确等情况的数据库。

异常日志是服务器基于接口ID和异常落地时间在接口日志数据库中进行数据筛查后得到的日志。比如，针对接口ID＝JK00100，服务器首先基于该接口ID在接口日志数据库中查询到所有有关该接口ID的接口日志；然后服务器基于异常落地时间为2019年1月15日，筛选出该接口ID对应的接口日志中于2019年1月15日产生的接口日志作为异常日志。

步骤S53中，服务器可基于接口ID在接口日志数据库中进行查询，获取与异常落地时间匹配的异常日志，将可能出现写入数据标签对应的标签错误的接入数据接口实现定位精准化。

步骤S51至S53中，服务器可基于数据标签对应的接入数据接口，获取接入数据接口对应的接口ID，便于后续服务器基于该接口ID在接口日志数据库中进行对应接口的异常日志进行查询。服务器可基于该异常记录获取对应的异常落地时间，便于后续服务器基于该异常落地时间在接口日志数据库中进行数据筛选。服务器可基于接口ID在接口日志数据库中进行查询，获取与异常落地时间匹配的异常日志，将可能出现写入数据标签对应的标签错误的接入数据接口实现定位精准化。

在一实施例中，如图7所示，在步骤S60中，采用预设的筛选规则对目标字段内容进行过滤，获取过滤结果，具体包括如下步骤：

S61.采用预设的筛选规则对目标字段内容进行过滤，判断目标字段内容是否符合与指定字段相对应的报警要求。

其中，预设筛选规则是规定目标字段内容应上报还是可忽略的规则。比如，Exception类有一个重要的子类RuntimeException。RuntimeException类及其子类表示“JVM常用操作”引发的错误。若试图使用空值对象引用、除数为零或数组越界，则分别引发运行时异常。此时，该Exception对应的目标字段内容不属于数据标签构成的错误，可被预设筛选规则指定为可忽略的错误。

报警要求是服务器预先设定的符合上报要求的指定种类的目标字段内容。

具体地，异常日志中记录的每一接入数据接口产生的异常错误包括多种原因造成的异常。其中，有些异常属于正常范畴，服务器无需将一般异常或者不是由于数据标签对应的标签内容造成的异常进行上报。此时，服务器可设定筛选规则，将异常日志中目标字段内容与筛选规则进行对比，判定目标字段内容是否属于报警要求。

步骤S61中，服务器采用预设的筛选规则对目标字段内容进行过滤，判断目标字段内容是否符合与指定字段相对应的报警要求，利于后续服务器筛选出仅需上报的目标字段内容。

S62.若目标字段内容符合与指定字段相对应的报警要求，则获取的过滤结果为上报处理结果。

其中，过滤结果包括上报处理结果和忽略提示结果。可以理解地，上报处理结果是将过滤结果形成报告上报给开发人员的结果。忽略提示结果为该目标字段内容无需进行上报忽略即可。

步骤S62中，服务器将目标字段内容符合与指定字段相对应的报警要求，则获取的过滤结果为上报处理结果，便于后续服务器将给上报处理结果发送给开发人员，进行异常数据定位和异常数据修正。

S63.若目标字段内容不符合与指定字段相对应的报警要求，则获取的过滤结果为忽略提示结果。

步骤S63中，服务器可将目标字段内容不符合与指定字段相对应的报警要求，则获取的过滤结果为忽略提示结果，无需将该目标字段内容进行上报，提高辅助定位异常数据的时效性。

步骤S61至S63中，服务器采用预设的筛选规则对目标字段内容进行过滤，判断目标字段内容是否符合与指定字段相对应的报警要求，利于后续服务器筛选出仅需上报的目标字段内容。服务器将目标字段内容符合与指定字段相对应的报警要求，则获取的过滤结果为上报处理结果，便于后续服务器将给上报处理结果发送给开发人员，进行异常数据定位和异常数据修正。服务器可将目标字段内容不符合与指定字段相对应的报警要求，则获取的过滤结果为忽略提示结果，无需将该目标字段内容进行上报，提高辅助定位异常数据的时效性。

本实施例提供的数据辅助定位方法，服务器可通过获取指定时间段内的异常记录，将异常记录对应的数据标签进行辅助定位，包括在异常数据落地表中的定位和在接入数据接口对应的异常日志中进行定位，将所有得到的辅助定位信息异常数据和异常数据发生异常的相关内容合并发送给客户端，便于客户端的开发人员基于服务器发送的内容即可进行异常数据定位的工作，提高异常数据的定位效率和定位准确性，避免开发人员手动跟踪异常数据。

进一步地，服务器可基于数据标签查询落地信息数据表中，提取数据标签对应的历史数据落地表，为后续服务器基于历史数据落地表进行统计准备数据基础。服务器将所有历史数据落地表和警报状态进行关联存储，形成目标数据落地表，便于开发人员基于该目标数据落地表直观地获取数据标签对应的每一历史数据落地表进行数据查询，并基于警报状态采取对应的数据修正策略。

进一步地，服务器可根据历史数据落地表对应的落地数量，获取与数据标签相对应的警报状态，根据不同的警报状态用以后续提醒开发人员采取对应的内容修正策略。

进一步地，服务器可基于定时任务的指定时间提取在修正时间段内的修正记录表，为后续服务器基于该修正记录表更新落地信息数据表准备数据基础。服务器可基于数据修正记录表，获取至少一个在修正时间段内进行数据修正的修正记录，为后续服务器基于该修正记录更新落地信息数据表准备数据基础。服务器可将数据标签对应的标签内容在异常数据落地表中修正后，及时将该修正后的异常数据落地表作为新的历史数据落地表添加到落地信息数据表中，保持落地信息数据表的实时性和可靠性。

进一步地，服务器可基于数据标签对应的接入数据接口，获取接入数据接口对应的接口ID，便于后续服务器基于该接口ID在接口日志数据库中进行对应接口的异常日志进行查询。服务器可基于该异常记录获取对应的异常落地时间，便于后续服务器基于该异常落地时间在接口日志数据库中进行数据筛选。服务器可基于接口ID在接口日志数据库中进行查询，获取与异常落地时间匹配的异常日志，将可能出现写入数据标签对应的标签错误的接入数据接口实现定位精准化。

进一步地，服务器采用预设的筛选规则对目标字段内容进行过滤，判断目标字段内容是否符合与指定字段相对应的报警要求，利于后续服务器筛选出仅需上报的目标字段内容。服务器将目标字段内容符合与指定字段相对应的报警要求，则获取的过滤结果为上报处理结果，便于后续服务器将给上报处理结果发送给开发人员，进行异常数据定位和异常数据修正。服务器可将目标字段内容不符合与指定字段相对应的报警要求，则获取的过滤结果为忽略提示结果，无需将该目标字段内容进行上报，提高辅助定位异常数据的时效性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种数据辅助定位装置，该数据辅助定位装置与上述实施例中数据辅助定位方法一一对应。如图8所示，该数据辅助定位装置包括接收定位请求模块10、筛选异常记录模块20、获取异常落地表模块30、获取数据落地表模块40、提取字段内容模块50、获取过滤结果模块60和发送定位数据模块70。各功能模块详细说明如下：

接收定位请求模块10，用于接收客户端发送的异常数据定位请求，所述异常数据定位请求包括定位时间段；

筛选异常记录模块20，用于基于异常数据记录表，筛选在所述定位时间段内的至少一条异常记录，所述异常记录包括数据标签和错误信息；

获取异常落地表模块30，用于基于所述错误信息，获取所述异常记录对应的异常数据落地表；

获取数据落地表模块40，用于基于所述数据标签，获取记录所述数据标签的目标数据落地表；

提取字段内容模块50，用于基于所述数据标签对应的接入数据接口查询接口日志数据库，若在所述接口日志数据库存在与所述异常记录对应的异常日志，则从所述异常日志中提取至少一个指定字段对应的目标字段内容；

获取过滤结果模块60，用于采用预设的筛选规则对所述目标字段内容进行过滤，获取过滤结果，若所述过滤结果为上报处理结果，则封装所述目标字段和所述目标字段内容形成报错信息；

发送定位数据模块70，用于将所述报错信息、所述异常数据落地表和所述目标数据落地表形成辅助定位数据，将所述辅助定位数据发送给所述客户端。

优选地，该获取数据落地表模块40包括提取历史落地表单元41、获取警报状态单元42和形成数据落地表单元43。

提取历史落地表单元41，用于基于所述数据标签查询落地信息数据表中，提取所述数据标签对应的历史数据落地表；

获取警报状态单元42，用于基于所述历史数据落地表的落地数量，获取与所述数据标签相对应的警报状态；

形成数据落地表单元43，用于关联存储所述警报状态和所有所述历史数据落地表，形成目标数据落地表。

优选地，该获取警报状态单元包括获取安全状态子单元、获取危险状态子单元和获取高危状态子单元。

获取安全状态子单元，用于若历史数据落地表的落地数量小于第一数量阈值，则获取与数据标签相对应的警报状态为高危状态。

获取危险状态子单元，用于若历史数据落地表的落地数量不小于第一数量阈值，且小于第二数量阈值，则获取与数据标签相对应的警报状态为危险状态。

获取高危状态子单元，用于若历史数据落地表的落地数量不小于第二数量阈值，则获取与数据标签相对应的警报状态为安全状态。

优选地，该数据辅助定位装置还包括获取定时任务模块、获取修正记录模块和添加历史落地表模块。

获取定时任务模块，用于获取定时任务，定时任务包括修正时间段。

获取修正记录模块，用于基于数据修正记录表，获取至少一个在修正时间段内进行数据修正的修正记录，修正记录包括数据标签和异常数据落地表。

添加历史落地表模块，用于基于异常数据落地表，对数据标签对应的内容进行内容检测，若内容检测为记录成功，则将异常数据落地表作为新的历史数据落地表添加到落地信息数据表中。

优选地，该提取字段内容模块包括获取接口ID单元、获取落地时间单元和获取异常日志单元。

获取接口ID单元，用于基于数据标签对应的接入数据接口，获取接入数据接口对应的接口ID。

获取落地时间单元，用于基于异常记录，获取数据标签对应的异常落地时间。

获取异常日志单元，用于基于接口ID在接口日志数据库中进行查询，获取与异常落地时间匹配的异常日志。

优选地，该获取过滤结果模块包括判定符合要求单元、获取上报结果单元和获取忽略结果单元。

判定符合要求单元，用于采用预设的筛选规则对目标字段内容进行过滤，判断目标字段内容是否符合与指定字段相对应的报警要求。

获取上报结果单元，用于若目标字段内容符合与指定字段相对应的报警要求，则获取的过滤结果为上报处理结果。

获取忽略结果单元，用于若目标字段内容不符合与指定字段相对应的报警要求，则获取的过滤结果为忽略提示结果。

关于数据辅助定位装置的具体限定可以参见上文中对于数据辅助定位方法的限定，在此不再赘述。上述数据辅助定位装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于数据辅助定位方法相关的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据辅助定位方法。

在一实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例数据辅助定位方法，例如图2所示S10至步骤S70。或者，处理器执行计算机程序时实现上述实施例中数据辅助定位装置的各模块/单元的功能，例如图8所示模块10至模块70的功能。为避免重复，此处不再赘述。

在一实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例数据辅助定位方法，例如图2所示S10至步骤S70。或者，该计算机程序被处理器执行时实现上述装置实施例中数据辅助定位装置中各模块/单元的功能，例如图8所示模块10至模块70的功能。为避免重复，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据辅助定位方法，其特征在于，包括：

接收客户端发送的异常数据定位请求，所述异常数据定位请求包括定位时间段；

基于异常数据记录表，筛选在所述定位时间段内的至少一条异常记录，所述异常记录包括数据标签和错误信息；

基于所述错误信息，获取所述异常记录对应的异常数据落地表，所述异常数据落地表是将当前数据标签未成功写入的数据表；

基于所述数据标签，获取记录所述数据标签的目标数据落地表，所述目标数据落地表是将当前的数据标签正确写入的所有数据表；

基于所述数据标签对应的接入数据接口查询接口日志数据库，若在所述接口日志数据库存在与所述异常记录对应的异常日志，则从所述异常日志中提取至少一个指定字段对应的目标字段内容；

采用预设的筛选规则对所述目标字段内容进行过滤，获取过滤结果，若所述过滤结果为上报处理结果，则封装所述目标字段和所述目标字段内容形成报错信息；

将所述报错信息、所述异常数据落地表和所述目标数据落地表形成辅助定位数据，将所述辅助定位数据发送给所述客户端。

2.如权利要求1所述的数据辅助定位方法，其特征在于，所述基于所述数据标签，获取记录所述数据标签的目标数据落地表，包括：

基于所述数据标签查询落地信息数据表中，提取所述数据标签对应的历史数据落地表；

基于所述历史数据落地表的落地数量，获取与所述数据标签相对应的警报状态；

关联存储所述警报状态和所有所述历史数据落地表，形成目标数据落地表。

3.如权利要求2所述的数据辅助定位方法，其特征在于，所述基于所述历史数据落地表的落地数量，获取与所述数据标签相对应的警报状态，包括：

若所述历史数据落地表的落地数量小于第一数量阈值，则获取与所述数据标签相对应的警报状态为高危状态；

若所述历史数据落地表的落地数量不小于所述第一数量阈值，且小于第二数量阈值，则获取与所述数据标签相对应的警报状态为危险状态；

若所述历史数据落地表的落地数量不小于所述第二数量阈值，则获取与所述数据标签相对应的警报状态为安全状态。

4.如权利要求2所述的数据辅助定位方法，其特征在于，在所述将所述辅助定位数据发送给所述客户端之后，所述数据辅助定位方法还包括：

获取定时任务，所述定时任务包括修正时间段；

基于数据修正记录表，获取至少一个在所述修正时间段内进行数据修正的修正记录，所述修正记录包括数据标签和异常数据落地表；

基于所述异常数据落地表，对所述数据标签对应的内容进行内容检测，若内容检测为记录成功，则将所述异常数据落地表作为新的历史数据落地表添加到所述落地信息数据表中。

5.如权利要求1所述的数据辅助定位方法，其特征在于，所述基于所述数据标签对应的接入数据接口查询接口日志数据库，若在所述接口日志数据库存在与所述异常记录对应的异常日志，包括：

基于所述数据标签对应的接入数据接口，获取所述接入数据接口对应的接口ID；

基于所述异常记录，获取所述数据标签对应的异常落地时间；

基于所述接口ID在所述接口日志数据库中进行查询，获取与所述异常落地时间匹配的异常日志。

6.如权利要求1所述的数据辅助定位方法，其特征在于，所述采用预设的筛选规则对所述目标字段内容进行过滤，获取过滤结果，包括：

采用预设的筛选规则对所述目标字段内容进行过滤，判断所述目标字段内容是否符合与所述指定字段相对应的报警要求；

若所述目标字段内容符合与所述指定字段相对应的报警要求，则获取的所述过滤结果为上报处理结果；

若所述目标字段内容不符合与所述指定字段相对应的报警要求，则获取的所述过滤结果为忽略提示结果。

7.一种数据辅助定位装置，其特征在于，包括：

接收定位请求模块，用于接收客户端发送的异常数据定位请求，所述异常数据定位请求包括定位时间段；

筛选异常记录模块，用于基于异常数据记录表，筛选在所述定位时间段内的至少一条异常记录，所述异常记录包括数据标签和错误信息；

获取异常落地表模块，用于基于所述错误信息，获取所述异常记录对应的异常数据落地表，所述异常数据落地表是将当前数据标签未成功写入的数据表；

获取数据落地表模块，用于基于所述数据标签，获取记录所述数据标签的目标数据落地表，所述目标数据落地表是将当前的数据标签正确写入的所有数据表；

提取字段内容模块，用于基于所述数据标签对应的接入数据接口查询接口日志数据库，若在所述接口日志数据库存在与所述异常记录对应的异常日志，则从所述异常日志中提取至少一个指定字段对应的目标字段内容；

获取过滤结果模块，用于采用预设的筛选规则对所述目标字段内容进行过滤，获取过滤结果，若所述过滤结果为上报处理结果，则封装所述目标字段和所述目标字段内容形成报错信息；

发送定位数据模块，用于将所述报错信息、所述异常数据落地表和所述目标数据落地表形成辅助定位数据，将所述辅助定位数据发送给所述客户端。

8.如权利要求7所述的数据辅助定位装置，其特征在于，所述获取数据落地表模块，包括：

提取历史落地表单元，用于基于所述数据标签查询落地信息数据表中，提取所述数据标签对应的历史数据落地表；

获取警报状态单元，用于基于所述历史数据落地表的落地数量，获取与所述数据标签相对应的警报状态；

形成数据落地表单元，用于关联存储所述警报状态和所有所述历史数据落地表，形成目标数据落地表。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述数据辅助定位方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据辅助定位方法。

Images