CN112100229A - 数据状态多维度监控方法及系统、设备及存储介质 - Google Patents

数据状态多维度监控方法及系统、设备及存储介质 Download PDF

Info

Publication number
CN112100229A
CN112100229A CN202010524675.1A CN202010524675A CN112100229A CN 112100229 A CN112100229 A CN 112100229A CN 202010524675 A CN202010524675 A CN 202010524675A CN 112100229 A CN112100229 A CN 112100229A
Authority
CN
China
Prior art keywords
data
user data
monitoring
user
levels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010524675.1A
Other languages
English (en)
Other versions
CN112100229B (zh
Inventor
姜伟敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Thinkive Information Technology Co ltd
Original Assignee
Shenzhen Thinkive Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Thinkive Information Technology Co ltd filed Critical Shenzhen Thinkive Information Technology Co ltd
Priority to CN202010524675.1A priority Critical patent/CN112100229B/zh
Publication of CN112100229A publication Critical patent/CN112100229A/zh
Application granted granted Critical
Publication of CN112100229B publication Critical patent/CN112100229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据状态多维度监控方法及系统、设备及存储介质，包括：获取用户数据，根据用户数据设置不同监控级别，并记录用户数据不同监控级别的信息；统计用户数据更新的效率，并对用户数据进行差异化核验，得到偏差数据；将超过阈值的偏差数据标记为异常数据，根据不同监控级别对所述异常数据进行分类统计；根据分类统计后的异常数据调取异常数据在用户数据不同监控级别的信息。该方法不仅统计当前数据运行状态，同时通过历史数据核验校对方法，有效解决数据库数据状态监控问题，有效提高数据监控的有效性和准确性。

Description

数据状态多维度监控方法及系统、设备及存储介质
技术领域
本发明属于计算机应用技术领域，尤其涉及一种数据状态多维度监控方法及系统、设备及存储介质。
背景技术
数字经济是工业4.0或后工业经济的本质特征，推动人类经济形态由工业经济向信息经济(智慧经济)形态转化。随着数字经济深入发展，为数据赋能成为众多企业或研究者的共识，数据赋能过程中如何对数据状态进行有效监控显得尤为重要。
而传统的数据监控方法较为有限，比如程序员常用的日志文件，虽然可以得到数据运行的状态，但是监控的数据对象较为单一，不能呈现监控状态的详情，另外日志文件消耗资源较大，不易统计监控状态信息。
发明内容
本发明所要解决的技术问题是：针对现有技术存在的问题，本发明提供了一种可有效提供数据监控有效性和准确性的方法。
第一方面，本申请实施例提供了一种数据状态多维度监控方法，所述方法包括：
获取用户数据，根据用户数据设置不同监控级别，并记录用户数据不同监控级别的信息；
统计用户数据更新的效率，并对用户数据进行差异化核验，得到偏差数据；
将超过阈值的偏差数据标记为异常数据，根据不同监控级别对所述异常数据进行分类统计；
根据分类统计后的异常数据调取异常数据在用户数据不同监控级别的信息。
第二方面，本申请实施例还提供了一种数据状态多维度监控系统，所述系统包括：
获取模块：获取用户数据，根据用户数据设置不同监控级别，并记录用户数据不同监控级别的信息；
统计模块：统计用户数据更新的效率，并对用户数据进行差异化核验，得到偏差数据；
分类模块：将超过阈值的偏差数据标记为异常数据，根据不同监控级别对所述异常数据进行分类统计；
调取模块：根据分类统计后的异常数据调取异常数据在用户数据不同监控级别的信息。
第三方面，本申请实施例还提供了一种数据状态多维度监控设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如第一方面所述的数据状态多维度监控方法中的各个步骤。
第四方面，本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的数据状态多维度监控方法中的各个步骤。
本申请实施例提供的数据状态多维度监控方法，该方法包括：获取用户数据，根据用户数据设置不同监控级别，并记录用户数据不同监控级别的信息；统计用户数据更新的效率，并对用户数据进行差异化核验，得到偏差数据；将超过阈值的偏差数据标记为异常数据，根据不同监控级别对所述异常数据进行分类统计；根据分类统计后的异常数据调取异常数据在用户数据不同监控级别的信息。该方法不仅统计当前数据运行状态，同时通过历史数据核验校对方法，有效解决数据库数据状态监控问题，有效提高数据监控的有效性和准确性。
附图说明
下面结合附图详述本发明的具体结构
图1为本发明的数据状态多维度监控方法的流程示意图；
图2为本发明的数据状态多维度监控方法的程序模块示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本申请实施例中数据状态多维度监控方法的流程示意图，本实施例中，上述数据状态多维度监控方法包括：
步骤101、获取用户数据，根据用户数据设置不同监控级别，并记录用户数据不同监控级别的信息。
在本实施例中，按照用户使用的具体情况，设置不同的监控级别，比如一般、中等、异常以及严重事故，但也并不仅仅限于上述的几种监控级别，再记录用户数据不同监控级别的信息，其中记录的信息包括用户数据在不同监控级别出现的时间、次数等信息，但并不仅仅限于本实施例中所说的这几种信息。其中，用户数据为待监控的真实行业数据，用户数据也为日志数据，日志数据就是计算机操作系统、或者有些应用软件在运行时，为了在今后进行系统维护起来比较方便，而将系统、或者应用软件在运行过程中产生的各种数据写入到一个日志文件中以便今后系统出故障时可以有据可查。
步骤102、统计用户数据更新的效率，并对用户数据进行差异化核验，得到偏差数据。
在本实施例中，统计用户数据更新的效率，因为有的数据具有时效性，必须要保证数据更新的效率和准确性，所以要对用户数据更新的效率进行统计，并对用户的数据进行差异化核验，检查是否有数据更新的频率有波动，将有波动的数据标记为偏差数据，且对所有的用户数据进行全面监控。
步骤103、将超过阈值的偏差数据标记为异常数据，根据不同监控级别对所述异常数据进行分类统计。
在本实施例中，在步骤102中将有波动的数据标记为偏差数据，在本步骤中，将偏差数据与正常范围内的预设值相比较，将超过预设值的偏差数据标记为异常数据，并将异常数据按照不同的监控级别进行分类统计，可有效的统计监控不同级别的详情信息。
步骤104、根据分类统计后的异常数据调取异常数据在用户数据不同监控级别的信息。
其中，将异常数据根据不同的监控级别分类统计后，再根据之前所记录的用户数据不同监控级别的监控信息，将该异常数据的监控信息调取出来。
本申请实施例提供的数据状态多维度监控方法，该方法包括：获取用户数据，根据用户数据设置不同监控级别，并记录用户数据不同监控级别的信息；统计用户数据更新的效率，并对用户数据进行差异化核验，得到偏差数据；将超过阈值的偏差数据标记为异常数据，根据不同监控级别对所述异常数据进行分类统计；根据分类统计后的异常数据调取异常数据在用户数据不同监控级别的信息。该方法不仅统计当前数据运行状态，同时通过历史数据核验校对方法，有效解决数据库数据状态监控问题，有效提高数据监控的有效性和准确性。
进一步的，根据用户数据设置不同的监控级别之后还包括，用户可以对监控信息进行自定义天数的备份，可以根据用户自身的需要去定义监控信息的天数。
具体的，记录用户数据不同监控级别出现的信息还包括，对用户数据不同监控级别的信息进行周期循环监控，对监控信息进行周期循环的监控，提高了监控信息的全面性与准确性。
进一步的，所述统计用户数据更新的效率还包括，响应于用户自定义的用户数据的范围，更新效率因为某些数据具有时效性，必须保证数据更新的效率和准确性，所以需要对用户数据更新的效率进行统计，在这个统计用户数据的效率的过程中，用户还可自定义用户数据的一个范围。
进一步的，所述统计用户数据更新的效率，并对用户数据进行差异化核验包括，若统计用户数据更新频率的波动较大时，则扩大统计用户数据的范围，并增加以前当前时间范围内的用户数据，当某一用户数据的更新频率过大的话，就会扩大统计范围，同时将之前的这个时间范围内的用户数据作为参考，比对当时的数据是否异常，提高了该方法的监控准确性，充分的挖掘数据的潜在异常。
进一步的，所述根据分类统计后的异常数据调取用户数据不同监控级别的信息之后包括，拟合异常数据与调取异常数据在用户数据不同监控级别的信息，得到数据监控状态文件，并输出数据监控状态文件。数据状态多维度监控方法采用了先查找到有问题的用户数据，再将有问题的用户数据在监控中的具体信息调取出来，再将该处的异常数据与该异常数据在监控中的具体信息结合，最后输出数据监控状态文件，该方法可定位出具体的数据问题。
更进一步的，所述并输出数据监控状态文件还包括：自定义或定时发送指定数据监控状态文件到指定用户，在本实施例中，采用了邮件提醒功能，但并不仅仅限于上述的邮件提醒，将指定的数据监控状态文件发送给指定的用户，可辅助用户做出数据的异常解决。
在本实施例中，该方法的具体步骤包括：
获取原始的用户数据；
根据用户数据设置不同的监控级别，并记录用户不同监控级别下的信息；
统计用户数据更新的效率；
若发现某一项用户数据更新的频率较大，则扩大用户数据的范围，并增加之前的当前时间范围内的用户数据作为参考项作为比对，并标记为偏差数据，若未发现用户数据中有较大的更新频率，则继续统计；
将超过阈值的偏差数据标记为异常数据，并根据不同监控级别对异常数据进行分类统计；
将异常数据在不同监控级别下的信息调取出来；
将异常数据与异常数据在不同监控级别下的信息重新拟合，并通过多角度的复核，输出数据监控状态文件；
自定义或定时将指定数据监控状态文件发送给指定用户。
进一步的，本申请实施例还挺一种数据状态多维度监控设备200，参照图2，
图2为本申请实施例中数据状态多维度监控设备的模块示意图，本实施例中，上述数据状态多维度监控设备200包括：
获取模块201：获取用户数据，根据用户数据设置不同监控级别，并记录用户数据不同监控级别的信息；
统计模块202：统计用户数据更新的效率，并对用户数据进行差异化核验，得到偏差数据；
分类模块203：将超过阈值的偏差数据标记为异常数据，根据不同监控级别对所述异常数据进行分类统计；
调取模块204：根据分类统计后的异常数据调取异常数据在用户数据不同监控级别的信息。
本申请实施例提供的数据状态多维度监控设备200，可以实现：获取用户数据，根据用户数据设置不同监控级别，并记录用户数据不同监控级别的信息；统计用户数据更新的效率，并对用户数据进行差异化核验，得到偏差数据；将超过阈值的偏差数据标记为异常数据，根据不同监控级别对所述异常数据进行分类统计；根据分类统计后的异常数据调取异常数据在用户数据不同监控级别的信息。该方法不仅统计当前数据运行状态，同时通过历史数据核验校对方法，有效解决数据库数据状态监控问题，有效提高数据监控的有效性和准确性。
进一步的，本申请实施例还提供一种数据状态多维度监控设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的数据状态多维度监控方法中的各个步骤。
进一步的，本申请还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的数据状态多维度监控方法的各个步骤。
在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种数据状态多维度监控方法及系统、设备及存储介质的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据状态多维度监控方法，其特征在于，所述方法包括：
获取用户数据，根据用户数据设置不同监控级别，并记录用户数据不同监控级别的信息；
统计用户数据更新的效率，并对用户数据进行差异化核验，得到偏差数据；
将超过阈值的偏差数据标记为异常数据，根据不同监控级别对所述异常数据进行分类统计；
根据分类统计后的异常数据调取异常数据在用户数据不同监控级别的信息。
2.如权利要求1所述的方法，其特征在于，所述根据用户数据设置不同监控级别之后包括：
对监控信息进行自定义天数的备份。
3.如权利要求1所述的方法，其特征在于，所述并记录用户数据不同监控级别出现的信息还包括：
对用户数据不同监控级别的信息进行周期循环监控。
4.如权利要求1所述的方法，其特征在于，所述统计用户数据更新的效率还包括：
响应于用户自定义的用户数据的范围。
5.如权利要求1所述的方法，其特征在于，所述统计用户数据更新的效率，并对用户数据进行差异化核验包括：
若统计用户数据更新频率的波动较大时，则扩大统计用户数据的范围，并增加以前当前时间范围内的用户数据。
6.如权利要求1所述的方法，其特征在于，所述根据分类统计后的异常数据调取异常数据在用户数据不同监控级别的信息之后包括：
拟合异常数据与调取异常数据在用户数据不同监控级别的信息，得到数据监控状态文件，并输出数据监控状态文件。
7.如权利要求6所述的方法，其特征在于，所述并输出数据监控状态文件还包括：
自定义或定时发送指定数据监控状态文件到指定用户。
8.一种数据状态多维度监控系统，其特征在于，所述系统包括：
获取模块：获取用户数据，根据用户数据设置不同监控级别，并记录用户数据不同监控级别的信息；
统计模块：统计用户数据更新的效率，并对用户数据进行差异化核验，得到偏差数据；
分类模块：将超过阈值的偏差数据标记为异常数据，根据不同监控级别对所述异常数据进行分类统计；
调取模块：根据分类统计后的异常数据调取异常数据在用户数据不同监控级别的信息。
9.一种数据状态多维度监控设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至7任一项所述的数据状态多维度监控方法中的各个步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7任一项所述的数据状态多维度监控方法中的各个步骤。
CN202010524675.1A 2020-06-10 2020-06-10 数据状态多维度监控方法及系统、设备及存储介质 Active CN112100229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010524675.1A CN112100229B (zh) 2020-06-10 2020-06-10 数据状态多维度监控方法及系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010524675.1A CN112100229B (zh) 2020-06-10 2020-06-10 数据状态多维度监控方法及系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112100229A true CN112100229A (zh) 2020-12-18
CN112100229B CN112100229B (zh) 2024-04-30

Family

ID=73749609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010524675.1A Active CN112100229B (zh) 2020-06-10 2020-06-10 数据状态多维度监控方法及系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112100229B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199766A (zh) * 2014-08-25 2014-12-10 广东欧珀移动通信有限公司 一种异常运行的监控方法和装置
US20170187737A1 (en) * 2015-12-28 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method and electronic device for processing user behavior data
CN108537347A (zh) * 2018-04-17 2018-09-14 成都致云科技有限公司 It设备监控系统及方法
CN110191094A (zh) * 2019-04-26 2019-08-30 北京奇安信科技有限公司 异常数据的监控方法及装置、存储介质、终端
CN110347561A (zh) * 2019-06-11 2019-10-18 平安科技（深圳）有限公司 监控告警方法及终端设备
CN110362062A (zh) * 2019-07-12 2019-10-22 上海瀚银信息技术有限公司 一种故障自动处理系统
CN110377569A (zh) * 2019-06-19 2019-10-25 中国平安人寿保险股份有限公司 日志监控方法、装置、计算机设备和存储介质
CN111193609A (zh) * 2019-11-20 2020-05-22 腾讯科技（深圳）有限公司 应用异常的反馈方法、装置及应用异常的监控系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199766A (zh) * 2014-08-25 2014-12-10 广东欧珀移动通信有限公司 一种异常运行的监控方法和装置
US20170187737A1 (en) * 2015-12-28 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method and electronic device for processing user behavior data
CN108537347A (zh) * 2018-04-17 2018-09-14 成都致云科技有限公司 It设备监控系统及方法
CN110191094A (zh) * 2019-04-26 2019-08-30 北京奇安信科技有限公司 异常数据的监控方法及装置、存储介质、终端
CN110347561A (zh) * 2019-06-11 2019-10-18 平安科技（深圳）有限公司 监控告警方法及终端设备
CN110377569A (zh) * 2019-06-19 2019-10-25 中国平安人寿保险股份有限公司 日志监控方法、装置、计算机设备和存储介质
CN110362062A (zh) * 2019-07-12 2019-10-22 上海瀚银信息技术有限公司 一种故障自动处理系统
CN111193609A (zh) * 2019-11-20 2020-05-22 腾讯科技（深圳）有限公司 应用异常的反馈方法、装置及应用异常的监控系统

Also Published As

Publication number Publication date
CN112100229B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN110928718B (zh) 一种基于关联分析的异常处理方法、系统、终端及介质
EP3477906B1 (en) Systems and methods for identifying and mitigating outlier network activity
US11093519B2 (en) Artificial intelligence (AI) based automatic data remediation
US11429614B2 (en) Systems and methods for data quality monitoring
US20180336256A1 (en) Template based data reduction for security related information flow data
US20180300650A1 (en) Distributed data variable analysis and hierarchical grouping system
CN110851321B (zh) 一种业务告警方法、设备及存储介质
AU2017274576B2 (en) Classification of log data
US20190079965A1 (en) Apparatus and method for real time analysis, predicting and reporting of anomalous database transaction log activity
CN103761173A (zh) 一种基于日志的计算机系统故障诊断方法及装置
CN109257383B (zh) 一种bgp异常检测方法及系统
US20220229854A1 (en) Constructing ground truth when classifying data
CN111476375B (zh) 一种确定识别模型的方法、装置、电子设备及存储介质
CN112988509A (zh) 一种告警消息过滤方法、装置、电子设备及存储介质
CN111258798A (zh) 监控数据的故障定位方法、装置、计算机设备及存储介质
CN112395315A (zh) 一种日志文件的统计与异常探测方法及电子装置
CN107169356B (zh) 统方分析方法及设备
CN111143433B (zh) 一种统计数据仓数据的方法及装置
US20160078352A1 (en) Automated generation of insights for events of interest
US20230099164A1 (en) Systems and methods for automated data quality semantic constraint identification using rich data type inferences
CN112100229A (zh) 数据状态多维度监控方法及系统、设备及存储介质
CN115587132A (zh) 一种基于会话聚类识别数据库异常访问的方法及系统
CN115495587A (zh) 一种基于知识图谱的告警分析方法及装置
Barmade et al. An efficient strategy to detect outlier transactions
CN115102848A (zh) 日志数据的提取方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant