CN112632030A - 数据异常定位方法及装置 - Google Patents

数据异常定位方法及装置 Download PDF

Info

Publication number
CN112632030A
CN112632030A CN202011411570.1A CN202011411570A CN112632030A CN 112632030 A CN112632030 A CN 112632030A CN 202011411570 A CN202011411570 A CN 202011411570A CN 112632030 A CN112632030 A CN 112632030A
Authority
CN
China
Prior art keywords
information
data
updating
positioning
database field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011411570.1A
Other languages
English (en)
Other versions
CN112632030B (zh
Inventor
刘金玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beike Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN202011411570.1A priority Critical patent/CN112632030B/zh
Publication of CN112632030A publication Critical patent/CN112632030A/zh
Application granted granted Critical
Publication of CN112632030B publication Critical patent/CN112632030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating

Abstract

本发明提供一种数据异常定位方法及装置，该方法包括：获取数据更新信息，所述数据更新信息包括更新时间及更新内容；获取操作日志信息，所述操作日志信息包括操作时间、操作内容及操作主体；将所述更新时间与所述操作时间进行时间对应，并根据所述数据更新信息及所述操作日志信息生成操作轨迹信息，根据所述操作轨迹信息进行数据异常定位。本发明提供的数据异常定位方法及装置，通过将更新时间与操作时间进行时间对应，并根据数据更新信息及操作日志信息生成操作轨迹信息，根据操作轨迹信息进行数据异常定位，有效、简便地实现了数据异常定位。

Description

数据异常定位方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据异常定位方法及装置。
背景技术
随着计算机技术的发展，线上系统应用到人们生活的各个方面。但是由于线上系统的复杂性，在出现异常时，难于对异常原因进行准确定位，这也是困扰线上系统发展的难题。
发明内容
针对现有技术存在的问题，本发明提供一种数据异常定位方法及装置。
本发明提供一种数据异常定位方法，包括：获取数据更新信息，所述数据更新信息包括更新时间及更新内容；获取操作日志信息，所述操作日志信息包括操作时间、操作内容及操作主体；将所述更新时间与所述操作时间进行时间对应，并根据所述数据更新信息及所述操作日志信息生成操作轨迹信息；根据所述操作轨迹信息进行数据异常定位。
根据本发明提供的一种数据异常定位方法，所述更新内容包括数据库字段的更新信息；其中，对于新增的所述数据库字段，所述更新信息包括所述数据库字段的值；对于变更的所述数据库字段，所述更新信息包括所述数据库字段的新值和原值。
根据本发明提供的一种数据异常定位方法，所述根据所述操作轨迹信息进行数据异常定位，具体包括：在所述操作轨迹信息中搜索发生异常的所述数据库字段的所述操作轨迹信息；根据所述数据库字段的所述操作轨迹信息进行所述数据库字段的数据异常定位。
根据本发明提供的一种数据异常定位方法，所述根据所述数据库字段的所述操作轨迹信息进行所述数据库字段的数据异常定位，具体包括：根据所述数据库字段的所述操作轨迹信息，获取发生异常的所述更新信息，根据所述发生异常的所述更新信息定位所述操作主体及所述操作时间。
根据本发明提供的一种数据异常定位方法，所述根据所述操作轨迹信息进行数据异常定位，具体包括：获取发生异常的所述数据库字段的关联字段，其中，所述数据库字段的值与所述关联字段的值相关联；在所述操作轨迹信息中搜索所述关联字段的所述操作轨迹信息；根据所述关联字段的所述操作轨迹信息进行所述数据库字段的数据异常定位。
根据本发明提供的一种数据异常定位方法，所述根据所述关联字段的所述操作轨迹信息进行所述数据库字段的数据异常定位，具体包括：根据所述关联字段的所述操作轨迹信息，获取发生异常的所述更新信息，根据所述发生异常的所述更新信息定位所述操作主体及所述操作时间。
根据本发明提供的一种数据异常定位方法，所述获取数据更新信息，具体包括：利用钩子函数监听数据库，从而获取所述数据更新信息。
根据本发明提供的一种数据异常定位方法，所述获取数据更新信息，具体包括：利用数据库日志文件获取所述数据更新信息。
根据本发明提供的一种数据异常定位方法，所述数据更新信息还包括数据单ID、数据库表名及更新类型中的至少一种；其中，所述数据单ID用于区分不同的数据单，所述更新类型包括新增和/或变更。
本发明还提供一种数据异常定位装置，包括：数据更新信息获取模块，用于：获取数据更新信息，所述数据更新信息包括更新时间及更新内容；操作日志信息获取模块，用于：获取操作日志信息，所述操作日志信息包括操作时间、操作内容及操作主体；操作轨迹信息生成模块，用于：将所述更新时间与所述操作时间进行时间对应，并根据所述数据更新信息及所述操作日志信息生成操作轨迹信息；异常定位模块，用于：根据所述操作轨迹信息进行数据异常定位。
根据本发明提供的一种数据异常定位装置，所述更新内容包括数据库字段的更新信息；其中，对于新增的所述数据库字段，所述更新信息包括所述数据库字段的值；对于变更的所述数据库字段，所述更新信息包括所述数据库字段的新值和原值。
根据本发明提供的一种数据异常定位装置，所述异常定位模块在用于根据所述操作轨迹信息进行数据异常定位时，具体用于：在所述操作轨迹信息中搜索发生异常的所述数据库字段的所述操作轨迹信息；根据所述数据库字段的所述操作轨迹信息进行所述数据库字段的数据异常定位。
根据本发明提供的一种数据异常定位装置，所述异常定位模块在用于根据所述数据库字段的所述操作轨迹信息进行所述数据库字段的数据异常定位时，具体用于：根据所述数据库字段的所述操作轨迹信息，获取发生异常的所述更新信息，根据所述发生异常的所述更新信息定位所述操作主体及所述操作时间。
根据本发明提供的一种数据异常定位装置，所述异常定位模块在用于根据所述操作轨迹信息进行数据异常定位时，具体用于：获取发生异常的所述数据库字段的关联字段，其中，所述数据库字段的值与所述关联字段的值相关联；在所述操作轨迹信息中搜索所述关联字段的所述操作轨迹信息；根据所述关联字段的所述操作轨迹信息进行所述数据库字段的数据异常定位。
根据本发明提供的一种数据异常定位装置，所述异常定位模块在用于根据所述关联字段的所述操作轨迹信息进行所述数据库字段的数据异常定位时，具体用于：根据所述关联字段的所述操作轨迹信息，获取发生异常的所述更新信息，根据所述发生异常的所述更新信息定位所述操作主体及所述操作时间。
根据本发明提供的一种数据异常定位装置，所述数据更新信息获取模块在用于获取数据更新信息时，具体用于：利用钩子函数监听数据库，从而获取所述数据更新信息。
根据本发明提供的一种数据异常定位装置，所述数据更新信息获取模块在用于获取数据更新信息时，具体用于：利用数据库日志文件获取所述数据更新信息。
根据本发明提供的一种数据异常定位装置，所述数据更新信息还包括数据单ID、数据库表名及更新类型中的至少一种；其中，所述数据单ID用于区分不同的数据单，所述更新类型包括新增和/或变更。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据异常定位方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据异常定位方法的步骤。
本发明提供的数据异常定位方法及装置，通过将更新时间与操作时间进行时间对应，并根据数据更新信息及操作日志信息生成操作轨迹信息，根据操作轨迹信息进行数据异常定位，有效、简便地实现了数据异常定位。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的数据异常定位方法的流程示意图；
图2是本发明提供的数据异常定位装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图3描述本发明的数据异常定位方法及装置。
图1是本发明提供的数据异常定位方法的流程示意图之一。如图1所示，所述方法包括：
步骤101、获取数据更新信息，所述数据更新信息包括更新时间及更新内容。
可以通过监听数据库获取数据更新信息。其中，数据更新信息包括更新时间及更新内容。数据更新包括新增和变更两种情况。对于新增的数据，则更新内容将是新增的全量数据。对于变更的数据，则更新内容包括数据的变化情况。
步骤102、获取操作日志信息，所述操作日志信息包括操作时间、操作内容及操作主体。
操作日志记录某人或某系统在某个时间做了何种操作，即操作日志信息包括操作时间、操作内容及操作主体。操作日志采集的节点可以根据需要进行设置，比如可以对于一些重要的流程节点进行操作日志的采集。比如在接收到关联系统的重要信息、捕获到用户进行了某种操作后的提交动作后进行操作日志的采集。操作日志信息中的操作内容应和数据更新信息中的更新内容相对应。
步骤103、将所述更新时间与所述操作时间进行时间对应，并根据所述数据更新信息及所述操作日志信息生成操作轨迹信息。
将更新时间与操作时间进行时间对应，并根据数据更新信息及操作日志信息生成操作轨迹信息。也即操作轨迹信息中包括时间上一一对应的数据更新信息及操作日志信息。相当于，对于每一条操作轨迹信息包括了数据更新信息中数据在相应更新时间的更新内容，以及操作日志信息中操作主体在相应操作时间的操作内容的信息。其中，对于每一条操作轨迹信息，更新时间和操作时间一致。
比如，数据更新信息中的一条信息包括如下内容：更新时间为2019年7月4日13:00:01，更新内容为house表物业地址A改为B；操作日志信息中的一条信息包括如下内容：操作时间为2019年7月4日13:00:01，操作内容为修改合同信息，操作主体为王二。上述信息中，数据更新信息的更新时间和操作日志信息的操作时间相同，将时间对应的数据更新信息和操作日志信息合并，由此生成相应的操作轨迹信息。可以得到相应的操作轨迹信息为：2019年7月4日13:00:01，王二修改合同信息，将house表物业地址A改为B。
步骤104、根据所述操作轨迹信息进行数据异常定位。
由于操作轨迹信息包括了在各个时间点的数据变更情况及操作情况，因此，通过操作轨迹信息便可获取数据发生异常的时间点及操作主体，由此实现数据异常定位。
本发明提供的数据异常定位方法，通过将更新时间与操作时间进行时间对应，并根据数据更新信息及操作日志信息生成操作轨迹信息，根据操作轨迹信息进行数据异常定位，有效、简便地实现了数据异常定位。
根据本发明提供的一种数据异常定位方法，所述更新内容包括数据库字段的更新信息；其中，对于新增的所述数据库字段，所述更新信息包括所述数据库字段的值；对于变更的所述数据库字段，所述更新信息包括所述数据库字段的新值和原值。
对于数据更新信息的监控通过可以通过监控数据库的数据库字段实现。因此，更新内容包括数据库字段的更新信息；其中，对于新增的数据库字段，更新信息包括数据库字段的值，即数据库字段的全量信息；对于变更的数据库字段，更新信息包括数据库字段的新值和原值。
本发明提供的数据异常定位方法，通过利用数据库字段进行数据更新信息的监控，并且对于新增的数据库字段，更新信息包括数据库字段的值，对于变更的数据库字段，更新信息包括数据库字段的新值和原值，进一步提高了数据异常定位的简便性。
根据本发明提供的一种数据异常定位方法，所述根据所述操作轨迹信息进行数据异常定位，具体包括：在所述操作轨迹信息中搜索发生异常的所述数据库字段的所述操作轨迹信息；根据所述数据库字段的所述操作轨迹信息进行所述数据库字段的数据异常定位。
若数据库中直接存储了相应的数据库字段，根据操作轨迹信息进行数据异常定位时，在操作轨迹信息中搜索发生异常的数据库字段的操作轨迹信息；根据发生异常的数据库字段的操作轨迹信息进行数据库字段的数据异常定位。
本发明提供的数据异常定位方法，通过根据数据库字段的操作轨迹信息进行数据库字段的数据异常定位，提高了数据异常定位的可靠性。
根据本发明提供的一种数据异常定位方法，所述根据所述数据库字段的所述操作轨迹信息进行所述数据库字段的数据异常定位，具体包括：根据所述数据库字段的所述操作轨迹信息，获取发生异常的所述更新信息，根据所述发生异常的所述更新信息定位所述操作主体及所述操作时间。
在根据数据库字段的操作轨迹信息进行数据库字段的数据异常定位时，根据数据库字段的操作轨迹信息，获取发生异常的更新信息，根据发生异常的更新信息定位操作主体及操作时间。数据库字段的操作轨迹信息包括各个时间点的数据更新信息和操作日志信息，通过分析操作轨迹信息，可以获取发生异常的数据库字段的更新信息，再根据操作轨迹信息获取对应的操作主体和操作时间，由此进行了数据异常定位。
本发明通过根据数据库字段的操作轨迹信息，获取发生异常的更新信息，根据发生异常的更新信息定位操作主体及操作时间，提高了数据异常定位的可靠性。
根据本发明提供的一种数据异常定位方法，所述根据所述操作轨迹信息进行数据异常定位，具体包括：获取发生异常的所述数据库字段的关联字段，其中，所述数据库字段的值与所述关联字段的值相关联；在所述操作轨迹信息中搜索所述关联字段的所述操作轨迹信息；根据所述关联字段的所述操作轨迹信息进行所述数据库字段的数据异常定位。
若数据库中没有直接存储相应的数据库字段，比如数据库字段是其他数据库字段的计算结果，这时根据操作轨迹信息进行数据异常定位时，获取发生异常的数据库字段的关联字段，其中，数据库字段的值与关联字段的值相关联；比如，关联字段为用于计算发生异常的数据库字段的其他数据库字段。在操作轨迹信息中搜索关联字段的操作轨迹信息；根据关联字段的操作轨迹信息进行数据库字段的数据异常定位。在根据关联字段的操作轨迹信息进行数据库字段的数据异常定位时，可以实现对于发生异常的关联字段的定位，由于关联字段异常则计算得到的数据库字段异常，因此也即实现了对于发生异常的数据库字段的数据异常定位。
本发明提供的数据异常定位方法，通过根据数据库字段的关联字段的操作轨迹信息进行数据库字段的数据异常定位，提高了数据异常定位的可靠性。
根据本发明提供的一种数据异常定位方法，所述根据所述关联字段的所述操作轨迹信息进行所述数据库字段的数据异常定位，具体包括：根据所述关联字段的所述操作轨迹信息，获取发生异常的所述更新信息，根据所述发生异常的所述更新信息定位所述操作主体及所述操作时间。
在根据关联字段的操作轨迹信息进行数据库字段的数据异常定位时，根据关联字段的操作轨迹信息，获取发生异常的更新信息，根据发生异常的更新信息定位操作主体及操作时间。关联字段也为数据库字段，关联字段的操作轨迹信息也包括各个时间点的数据更新信息和操作日志信息，通过分析操作轨迹信息，可以获取发生异常的关联字段的更新信息，再根据操作轨迹信息获取对应的操作主体和操作时间，由此进行了数据异常定位。
本发明通过根据关联字段的操作轨迹信息，获取发生异常的更新信息，根据发生异常的更新信息定位操作主体及操作时间，提高了数据异常定位的可靠性。
根据本发明提供的一种数据异常定位方法，所述获取数据更新信息，具体包括：利用钩子函数监听数据库，从而获取所述数据更新信息。
可以通过设置钩子函数监听数据库，在数据库变更时，获取数据更新信息。
本发明提供的数据异常定位方法，通过利用钩子函数监听数据库，从而获取数据更新信息，有效地实现了数据更新信息的获取。
根据本发明提供的一种数据异常定位方法，所述获取数据更新信息，具体包括：利用数据库日志文件获取所述数据更新信息。
数据库的数据库日志文件可以记录数据更新信息，在获取数据更新信息时，也可以直接利用数据库日志文件进行获取。
本发明提供的数据异常定位方法，通过利用数据库日志文件获取数据更新信息，有效地实现了数据更新信息的获取。
根据本发明提供的一种数据异常定位方法，所述数据更新信息还包括数据单ID、数据库表名及更新类型中的至少一种；其中，所述数据单ID用于区分不同的数据单，所述更新类型包括新增和/或变更。
数据更新信息还包括数据单ID、数据库表名及更新类型中的至少一种。其中，数据单ID用于区分不同的数据单，如区分不同的交易单。这样可以通过数据单ID对某个数据单的异常原因进行定位，不需在其他数据单的数据中进行排查。数据库表名用于记录数据所在的数据表，便于后期查看异常数据的具体情况，进行修正数据等。更新类型包括新增和/或变更，用于表明在某个时间点数据的更新类型是新增的还是变更的数据。
本发明提供的数据异常定位方法，通过令数据更新信息还包括数据单ID、数据库表名及更新类型中的至少一种，其中，数据单ID用于区分不同的数据单，更新类型包括新增和/或变更，提高了数据异常定位的效率和便利性。
下面以房产交易系统为例，进一步说明本发明提供的数据异常定位方法的流程。本发明提供的数据异常定位方法的步骤包括：
1、数据库变更时，加入钩子函数，用于记录交易单更新信息。
①监听数据库写操作，如果是新增信息，会记录信息的信息全集；如果是更新操作，则会指明具体更新的数据，及更新前后的原值和新值。
具体的数据格式：
Figure BDA0002818905140000111
举例：
a)新增
Figure BDA0002818905140000112
Figure BDA0002818905140000121
注：新增交易单123的房源表数据，其中，房源编号:FY-123980；物业地址为：北京市海淀区孵化器23号楼。
b)更新
Figure BDA0002818905140000122
注：交易单123的资金表的首付款总金额由15万变更成20万。
2、结合交易单生命周期内数据变更轨迹自动分析出交易单操作轨迹信息。
①交易单的每次信息更新都会记录操作记录，记录XXX在XXX时间，做了什么操作。
如：交易管家-张三，2019-10-09 12:09:23完成了缴税过户环节。
注：由于房产交易是一个涉及到敏感数据较多的特殊交易流程，操作记录不方便记录有关敏感信息；同时，由于房产交易环节采集的信息量比较大，如银行面签环节需要采集借款人、卖方、贷款等信息，信息量过大，如果全部在操作记录展示，达不到操作日志记录操作的目的。因此，可以根据需要设定操作日志采集的节点。
②交易单变更数据，会记录该时间点的数据库变更，如步骤1中的信息变更记录。
如2019-10-09 12:09:23，fund表中，新增缴税总金额：5万
③结合操作日志和交易单数据库变更，可以精准匹配出交易单操作轨迹。
如2019-10-09 12:09:23交易管家-张三完成了缴税过户环节，并在fund表中，新增缴税总金额：5万。
3、通过交易单查询交易单轨迹信息，来自动匹配出引发交易单数据错误的操作。
①基于第2步构建的交易单操作轨迹信息，可以输入异常数据。
②查出异常数据的所有变更记录，并展示原值、新值。
③根据变更记录可人工分析出引发数据异常的操作事件。
举例：
发现fund的拟贷款总金额不对，可以输入查询fund的拟贷款总金额，然后会出现该数据的所有变更记录。同时，也可以通过输入fund表，获取到用于计算拟贷款总金额的全部信息的变更记录，从而分析出数据异常的原因。
如果经发现，该数据异常是因为代码逻辑问题引发的，可及时修正代码，并修复历史数据；如果是人工误填引发，则直接走修正数据处理流程来修正数据。
本发明提供的数据异常定位方法，针对交易单信息变更来源复杂且多、信息类型复杂，带来的线上问题定位难度大的问题，提出一种基于交易单生命周期数据轨迹定位线上数据异常原因的可行性方案。数据库变更时，加入钩子函数，用于记录交易单更新信息；结合交易单生命周期内数据变更轨迹自动分析出交易单操作轨迹信息；通过交易单查询交易单轨迹信息，来自动匹配出引发交易单数据错误的操作。
下面对本发明提供的数据异常定位装置进行描述，下文描述的数据异常定位装置与上文描述的数据异常定位方法可相互对应参照。
图2是本发明提供的数据异常定位装置的结构示意图。如图2所示，所述装置包括数据更新信息获取模块10、操作日志信息获取模块20、操作轨迹信息生成模块30及异常定位模块40，其中：数据更新信息获取模块10用于：获取数据更新信息，所述数据更新信息包括更新时间及更新内容；操作日志信息获取模块20用于：获取操作日志信息，所述操作日志信息包括操作时间、操作内容及操作主体；操作轨迹信息生成模块30用于：将所述更新时间与所述操作时间进行时间对应，并根据所述数据更新信息及所述操作日志信息生成操作轨迹信息；异常定位模块40用于：根据所述操作轨迹信息进行数据异常定位。
本发明提供的数据异常定位方法，通过将更新时间与操作时间进行时间对应，并根据数据更新信息及操作日志信息生成操作轨迹信息，根据操作轨迹信息进行数据异常定位，有效、简便地实现了数据异常定位。
根据本发明提供的数据异常定位装置，所述更新内容包括数据库字段的更新信息；其中，对于新增的所述数据库字段，所述更新信息包括所述数据库字段的值；对于变更的所述数据库字段，所述更新信息包括所述数据库字段的新值和原值。
本发明提供的数据异常定位方法，通过利用数据库字段进行数据更新信息的监控，并且对于新增的数据库字段，更新信息包括数据库字段的值，对于变更的数据库字段，更新信息包括数据库字段的新值和原值，进一步提高了数据异常定位的简便性。
根据本发明提供的数据异常定位装置，异常定位模块40在用于根据所述操作轨迹信息进行数据异常定位时，具体用于：在所述操作轨迹信息中搜索发生异常的所述数据库字段的所述操作轨迹信息；根据所述数据库字段的所述操作轨迹信息进行所述数据库字段的数据异常定位。
本发明提供的数据异常定位方法，通过根据数据库字段的操作轨迹信息进行数据库字段的数据异常定位，提高了数据异常定位的可靠性。
根据本发明提供的数据异常定位装置，异常定位模块40在用于根据所述数据库字段的所述操作轨迹信息进行所述数据库字段的数据异常定位时，具体用于：根据所述数据库字段的所述操作轨迹信息，获取发生异常的所述更新信息，根据所述发生异常的所述更新信息定位所述操作主体及所述操作时间。
本发明通过根据数据库字段的操作轨迹信息，获取发生异常的更新信息，根据发生异常的更新信息定位操作主体及操作时间，提高了数据异常定位的可靠性。
根据本发明提供的数据异常定位装置，异常定位模块40在用于根据所述操作轨迹信息进行数据异常定位时，具体用于：获取发生异常的所述数据库字段的关联字段，其中，所述数据库字段的值与所述关联字段的值相关联；在所述操作轨迹信息中搜索所述关联字段的所述操作轨迹信息；根据所述关联字段的所述操作轨迹信息进行所述数据库字段的数据异常定位。
本发明提供的数据异常定位方法，通过根据数据库字段的关联字段的操作轨迹信息进行数据库字段的数据异常定位，提高了数据异常定位的可靠性。
根据本发明提供的数据异常定位装置，异常定位模块40在用于根据所述关联字段的所述操作轨迹信息进行所述数据库字段的数据异常定位时，具体用于：根据所述关联字段的所述操作轨迹信息，获取发生异常的所述更新信息，根据所述发生异常的所述更新信息定位所述操作主体及所述操作时间。
本发明通过根据数据库字段的关联字段的操作轨迹信息，获取发生异常的更新信息，根据发生异常的更新信息定位操作主体及操作时间，提高了数据异常定位的可靠性。
根据本发明提供的数据异常定位装置，数据更新信息获取模块10在用于获取数据更新信息时，具体用于：利用钩子函数监听数据库，从而获取所述数据更新信息。
本发明提供的数据异常定位装置，通过利用钩子函数监听数据库，从而获取数据更新信息，有效地实现了数据更新信息的获取。
根据本发明提供的数据异常定位装置，数据更新信息获取模块10在用于获取数据更新信息时，具体用于：利用数据库日志文件获取所述数据更新信息。
本发明提供的数据异常定位装置，通过利用数据库日志文件获取数据更新信息，有效地实现了数据更新信息的获取。
根据本发明提供的数据异常定位装置，所述数据更新信息还包括数据单ID、数据库表名及更新类型中的至少一种；其中，所述数据单ID用于区分不同的数据单，所述更新类型包括新增和/或变更。
本发明提供的数据异常定位装置，通过令数据更新信息还包括数据单ID、数据库表名及更新类型中的至少一种，其中，数据单ID用于区分不同的数据单，更新类型包括新增和/或变更，提高了数据异常定位的效率和便利性。
图3是本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行数据异常定位方法，该方法包括：获取数据更新信息，所述数据更新信息包括更新时间及更新内容；获取操作日志信息，所述操作日志信息包括操作时间、操作内容及操作主体；将所述更新时间与所述操作时间进行时间对应，并根据所述数据更新信息及所述操作日志信息生成操作轨迹信息；根据所述操作轨迹信息进行数据异常定位。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的数据异常定位方法，该方法包括：获取数据更新信息，所述数据更新信息包括更新时间及更新内容；获取操作日志信息，所述操作日志信息包括操作时间、操作内容及操作主体；将所述更新时间与所述操作时间进行时间对应，并根据所述数据更新信息及所述操作日志信息生成操作轨迹信息；根据所述操作轨迹信息进行数据异常定位。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的数据异常定位方法，该方法包括：获取数据更新信息，所述数据更新信息包括更新时间及更新内容；获取操作日志信息，所述操作日志信息包括操作时间、操作内容及操作主体；将所述更新时间与所述操作时间进行时间对应，并根据所述数据更新信息及所述操作日志信息生成操作轨迹信息；根据所述操作轨迹信息进行数据异常定位。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据异常定位方法，其特征在于，包括：
获取数据更新信息，所述数据更新信息包括更新时间及更新内容；
获取操作日志信息，所述操作日志信息包括操作时间、操作内容及操作主体；
将所述更新时间与所述操作时间进行时间对应，并根据所述数据更新信息及所述操作日志信息生成操作轨迹信息；
根据所述操作轨迹信息进行数据异常定位。
2.根据权利要求1所述的数据异常定位方法，其特征在于，所述更新内容包括数据库字段的更新信息；
其中，对于新增的所述数据库字段，所述更新信息包括所述数据库字段的值；对于变更的所述数据库字段，所述更新信息包括所述数据库字段的新值和原值。
3.根据权利要求2所述的数据异常定位方法，其特征在于，所述根据所述操作轨迹信息进行数据异常定位，具体包括：
在所述操作轨迹信息中搜索发生异常的所述数据库字段的所述操作轨迹信息；根据所述数据库字段的所述操作轨迹信息进行所述数据库字段的数据异常定位。
4.根据权利要求3所述的数据异常定位方法，其特征在于，所述根据所述数据库字段的所述操作轨迹信息进行所述数据库字段的数据异常定位，具体包括：根据所述数据库字段的所述操作轨迹信息，获取发生异常的所述更新信息，根据所述发生异常的所述更新信息定位所述操作主体及所述操作时间。
5.根据权利要求2所述的数据异常定位方法，其特征在于，所述根据所述操作轨迹信息进行数据异常定位，具体包括：
获取发生异常的所述数据库字段的关联字段，其中，所述数据库字段的值与所述关联字段的值相关联；在所述操作轨迹信息中搜索所述关联字段的所述操作轨迹信息；根据所述关联字段的所述操作轨迹信息进行所述数据库字段的数据异常定位。
6.根据权利要求5所述的数据异常定位方法，其特征在于，所述根据所述关联字段的所述操作轨迹信息进行所述数据库字段的数据异常定位，具体包括：根据所述关联字段的所述操作轨迹信息，获取发生异常的所述更新信息，根据所述发生异常的所述更新信息定位所述操作主体及所述操作时间。
7.根据权利要求1所述的数据异常定位方法，其特征在于，所述获取数据更新信息，具体包括：
利用钩子函数监听数据库，从而获取所述数据更新信息。
8.一种数据异常定位装置，其特征在于，包括：
数据更新信息获取模块，用于：获取数据更新信息，所述数据更新信息包括更新时间及更新内容；
操作日志信息获取模块，用于：获取操作日志信息，所述操作日志信息包括操作时间、操作内容及操作主体；
操作轨迹信息生成模块，用于：将所述更新时间与所述操作时间进行时间对应，并根据所述数据更新信息及所述操作日志信息生成操作轨迹信息；
异常定位模块，用于：根据所述操作轨迹信息进行数据异常定位。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述数据异常定位方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述数据异常定位方法的步骤。
CN202011411570.1A 2020-12-04 2020-12-04 数据异常定位方法及装置 Active CN112632030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011411570.1A CN112632030B (zh) 2020-12-04 2020-12-04 数据异常定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011411570.1A CN112632030B (zh) 2020-12-04 2020-12-04 数据异常定位方法及装置

Publications (2)

Publication Number Publication Date
CN112632030A true CN112632030A (zh) 2021-04-09
CN112632030B CN112632030B (zh) 2023-04-14

Family

ID=75308227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011411570.1A Active CN112632030B (zh) 2020-12-04 2020-12-04 数据异常定位方法及装置

Country Status (1)

Country Link
CN (1) CN112632030B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955862A (zh) * 2016-04-15 2016-09-21 乐视控股（北京）有限公司 一种异常问题的监测定位方法及装置
CN106202535A (zh) * 2016-07-25 2016-12-07 浪潮(北京)电子信息产业有限公司 一种rrd数据库的检测的方法及系统
CN108259241A (zh) * 2018-01-11 2018-07-06 上海有云信息技术有限公司 一种云平台监控系统的异常定位方法和装置
CN108762966A (zh) * 2018-06-05 2018-11-06 中国平安人寿保险股份有限公司 系统异常拦截方法、装置、计算机设备及存储介质
CN108880847A (zh) * 2017-05-16 2018-11-23 北京微影时代科技有限公司 一种定位故障的方法及装置
CN108897800A (zh) * 2018-06-13 2018-11-27 北京三快在线科技有限公司 一种管理日志信息的方法、装置及系统
CN110333981A (zh) * 2019-05-28 2019-10-15 平安普惠企业管理有限公司 一种app异常信息的反馈方法及装置、电子设备
WO2020004315A1 (ja) * 2018-06-27 2020-01-02 日本電信電話株式会社 異常検知装置、および、異常検知方法
CN110647452A (zh) * 2019-08-30 2020-01-03 深圳壹账通智能科技有限公司 测试方法、装置、计算机设备和存储介质
CN111125018A (zh) * 2019-12-15 2020-05-08 浪潮电子信息产业股份有限公司 一种文件异常溯源方法、装置、设备及存储介质
CN112114994A (zh) * 2020-09-28 2020-12-22 平安普惠企业管理有限公司 异常处理方法、装置、设备及介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955862A (zh) * 2016-04-15 2016-09-21 乐视控股（北京）有限公司 一种异常问题的监测定位方法及装置
CN106202535A (zh) * 2016-07-25 2016-12-07 浪潮(北京)电子信息产业有限公司 一种rrd数据库的检测的方法及系统
CN108880847A (zh) * 2017-05-16 2018-11-23 北京微影时代科技有限公司 一种定位故障的方法及装置
CN108259241A (zh) * 2018-01-11 2018-07-06 上海有云信息技术有限公司 一种云平台监控系统的异常定位方法和装置
CN108762966A (zh) * 2018-06-05 2018-11-06 中国平安人寿保险股份有限公司 系统异常拦截方法、装置、计算机设备及存储介质
CN108897800A (zh) * 2018-06-13 2018-11-27 北京三快在线科技有限公司 一种管理日志信息的方法、装置及系统
WO2020004315A1 (ja) * 2018-06-27 2020-01-02 日本電信電話株式会社 異常検知装置、および、異常検知方法
CN110333981A (zh) * 2019-05-28 2019-10-15 平安普惠企业管理有限公司 一种app异常信息的反馈方法及装置、电子设备
CN110647452A (zh) * 2019-08-30 2020-01-03 深圳壹账通智能科技有限公司 测试方法、装置、计算机设备和存储介质
CN111125018A (zh) * 2019-12-15 2020-05-08 浪潮电子信息产业股份有限公司 一种文件异常溯源方法、装置、设备及存储介质
CN112114994A (zh) * 2020-09-28 2020-12-22 平安普惠企业管理有限公司 异常处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112632030B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
CN110263024B (zh) 数据处理方法、终端设备及计算机存储介质
US11829365B2 (en) Systems and methods for data quality monitoring
US20210319013A1 (en) Computer methods and computer systems for automatic data analysis, reconcilliation and repair
CN109934268B (zh) 异常交易检测方法及系统
CN109240917A (zh) 一种日志管理方法及相关装置
CN110046086B (zh) 用于测试的期望数据生成方法及装置和电子设备
CN112632030B (zh) 数据异常定位方法及装置
CN111353763A (zh) 处理数据的方法、装置、服务器及存储介质
CN111144959A (zh) 一种纳税数据校验和申报方法、系统、可读存储介质
CN111241082B (zh) 数据修正方法及装置
CN111680974B (zh) 电子化承保流程的问题定位方法及装置
US7516048B2 (en) Externalized metric calculation engine
CN114418775A (zh) 年金投资数据的校验方法、装置、设备及介质
CN109491921B (zh) 埋点信息的管理方法和系统
CN112232962A (zh) 交易指标处理方法、装置和设备
CN113010208A (zh) 一种版本信息的生成方法、装置、设备及存储介质
CN113238940A (zh) 一种接口测试结果的比对方法、装置、设备和存储介质
CN112214495B (zh) 数据执行跟踪方法、装置和设备
CN113138990B (zh) 一种数据血缘构建、追溯方法、装置及设备
CN110609790A (zh) 解析程序测试方法、装置、介质和计算机设备
CN113111075B (zh) 投融资信息挖掘方法、装置、电子设备和存储介质
CN115099202A (zh) 一种报表文件处理方法、装置、智能设备及存储介质
CN112199413A (zh) 一种业务请求执行方法、装置、电子设备和存储介质
CN117217891A (zh) 个人账户报送方法、装置、电子设备及存储介质
CN117785853A (zh) 数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant