CN114706871B - 一种基于综合监控管理的数据监控方法及系统 - Google Patents
一种基于综合监控管理的数据监控方法及系统 Download PDFInfo
- Publication number
- CN114706871B CN114706871B CN202210443188.1A CN202210443188A CN114706871B CN 114706871 B CN114706871 B CN 114706871B CN 202210443188 A CN202210443188 A CN 202210443188A CN 114706871 B CN114706871 B CN 114706871B
- Authority
- CN
- China
- Prior art keywords
- data
- time period
- time
- standard database
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Computer Security & Cryptography (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及数据监控技术领域,尤其为一种基于综合监控管理的数据监控方法及系统,包括根据预设时间段随机抓取目标时间段内即将存入标准数据库的数据,将目标时间段内的数据根据时间段长度进行等分,存入监控数据库的分布式存储数据格,按照初次存入的时间段对各个存储数据格内的数据打上时间节点标签,在下一个预设时间段开始前对通过分布式存储数据格中时间节点标签对应标准数据库进行匹配,若匹配失败,则定位到标准数据库中对应数据的位置进行数据校验。本发明通过临时存储在服务器内存中的数据来替换校验出错的数据,则能够实时保证数据的完整度和精确度,同时占用资源小。
Description
技术领域
本发明涉及数据监控技术领域,尤其是一种基于综合监控管理的数据监控方法及系统。
背景技术
随着互联网行业的快速发展,为了保证数据的完整性、正确性和安全性对输入数据进行监控和校验,其是互联网技术中对系统和用户数据安全的一种重要的手段。现有的数据监控框架大多都是通过主备库的方式进行数据备份和校验。这样不仅成倍数地增加了存储容量,并且每次数据校验都要耗费大量资源。
发明内容
本发明的目的是通过提出一种基于综合监控管理的数据监控方法及系统,以解决上述背景技术中提出的缺陷。
本发明采用的技术方案如下:
提供一种基于综合监控管理的数据监控方法,包括如下步骤:
根据预设时间段随机抓取目标时间段内即将存入标准数据库的数据,将目标时间段内的数据根据时间段长度进行等分,存入监控数据库的分布式存储数据格,按照初次存入的时间段对各个存储数据格内的数据打上时间节点标签,在下一个预设时间段开始前对通过分布式存储数据格中时间节点标签对应标准数据库进行匹配,若匹配失败,则定位到标准数据库中对应数据的位置进行数据校验。
作为本发明的一种优选技术方案:所述随机抓取目标时间段内即将存入标准数据库的数据采用以下原则,对存入标准数据库的数据进行起始点标记和终止点标记,通过所述起始点标记和终止点标记计算数据存入时间,若数据存入时间落入存入时间阈值范围内,则对该数据和其间隔段的数据进行抓取。
作为本发明的一种优选技术方案:所述对该数据随机间隔段的数据进行抓取为对当前抓取数据前后间隔的数据进行抓取,其中,tδ为当前存入标准数据库的数据与上一个存入标准数据库的时间的间隔时间,tl为当前数据存入时间,n为目标时间段内当前存入数据的数量。
作为本发明的一种优选技术方案:所述在下一个预设时间段开始前对通过分布式存储数据格中时间节点标签对应标准数据库进行匹配具体通过如下公式进行匹配:
其中,Si表示第i个时间节点,α指的是每个时间段内的存储数据格内的数据样本,p表示数据格的数量,q表示的是数据根据时间段长度等分的数量。
作为本发明的一种优选技术方案:还包括根据匹配不成功的数据进行前后时间节点定位,在标准数据库中定位到前后时间节点之间的数据,将该段数据进行删除,并从数据输入历史记录中重新调取数据对删除的数据进行补充,补充完成后再次通过分布式存储数据格中时间节点标签对应标准数据库进行匹配。
作为本发明的一种优选技术方案:所述输入历史记录为当前预设时间段数据存入标准数据库之前存储在本地的临时数据,在下一个预设时间段开始后进行清零。
一种基于综合监控管理的数据监控系统,包括标准数据库和监控数据库,所述监控数据库包括若干分布式存储数据格,所述标准数据库用于存储服务器的数据,所述监控数据库用于通过分布式数据格分别存储输入的监控数据段。
作为本发明的一种优选技术方案:还包括数据截取模块、标签生成模块、数据匹配模块和数据校验模块,所述数据截取模块用于根据预设时间段随机抓取目标时间段内即将存入标准数据库的数据,将目标时间段内的数据根据时间段长度进行等分,存入监控数据库的分布式存储数据格,所述标签生成模块用于按照初次存入的时间段对各个存储数据格内的数据打上时间节点标签,所述数据匹配模块用于在下一个预设时间段开始前对通过分布式存储数据格中时间节点标签对应标准数据库进行匹配,所述数据校验模块用于在数据匹配模块匹配任务失败时定位到标准数据库中对应数据的位置进行数据校验。
作为本发明的一种优选技术方案:所述数据截取模块包括数据标记单元和截取判断单元,所述数据标记单元用于对存入标准数据库的数据进行起始点标记和终止点标记,所述截取判断单元用于通过所述起始点标记和终止点标记计算数据存入时间,若数据存入时间落入存入时间阈值范围内,则对该数据和其间隔段的数据进行抓取。
作为本发明的一种优选技术方案:所述数据校验模块包括数据定位单元和数据处理单元,所述数据定位单元根据匹配不成功的数据进行前后时间节点定位,在标准数据库中定位到前后时间节点之间的数据,所述数据处理单元用于将所述数据定位单元定位到的数据进行删除,并从数据输入历史记录中重新调取数据对删除的数据进行补充。
本发明提供的基于综合监控管理的数据监控方法及系统,本发明根据每种不同类型的数据必然会有易传输出错的字节长度,来进行选定存入时间阈值范围,以通过其来判断出数据段的字节长度。这样能够选定一些易传输出错的数据来进行监测。其次通过数据的字节长度越大且与上一个存入数据的时间越长,抓取的间隔就越小,而反之抓取的间隔越大。保证了当前时间段传输的数据越密集,就相应的扩大抓取间隔,确保抓取的数据分布范围足够广,这样才能够具有足够的覆盖性,通过临时存储在服务器内存中的数据来替换校验出错的数据,则能够实时保证数据的完整度和精确度,同时占用资源小。
附图说明
图1为本发明优选实施例的整体系统架构图;
图2为本发明优选实施例中数据截取模块的模块图;
图3为本发明优选实施例中数据校验模块的模块图。
图中各个标记的意义为:
100、数据截取模块;101、数据标记单元;102、截取判断单元;200、标签生成模块;300、数据匹配模块;400、数据校验模块;401、数据定位单元;402、数据处理单元。
具体实施方式
需要说明的是,在不冲突的情况下,本实施例中的实施例及实施例中的特征可以相互组合,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1-3,本发明优选实施例提供了一种基于综合监控管理的数据监控方法及系统,包括如下步骤:
根据预设时间段随机抓取目标时间段内即将存入标准数据库的数据,将目标时间段内的数据根据时间段长度进行等分,存入监控数据库的分布式存储数据格,按照初次存入的时间段对各个存储数据格内的数据打上时间节点标签,在下一个预设时间段开始前对通过分布式存储数据格中时间节点标签对应标准数据库进行匹配,若匹配失败,则定位到标准数据库中对应数据的位置进行数据校验。
具体的,随机抓取目标时间段内即将存入标准数据库的数据采用以下原则,对存入标准数据库的数据进行起始点标记和终止点标记,通过所述起始点标记和终止点标记计算数据存入时间,若数据存入时间落入存入时间阈值范围内,则对该数据和其间隔段的数据进行抓取。其中,存入时间阈值范围可根据不同的数据类型,通过机器学习算法训练出一个合理的时间阈值范围,因服务器在进行数据传输过程中,每种不同类型的数据必然会有易传输出错的字节长度,存入时间阈值范围的选定即是根据该原理来进行选定,不同的数据字节长度其传输时间也必然不同,所以,选定时间阈值范围的实际作用是通过其来判断出数据段的字节长度。这样能够选定一些易传输出错的数据来进行监测。
除此之外,对该数据随机间隔段的数据进行抓取为对当前抓取数据前后间隔的数据进行抓取,其中,tδ为当前存入标准数据库的数据与上一个存入标准数据库的时间的间隔时间,tl为当前数据存入时间,n为目标时间段内当前存入数据的数量。通过数据的字节长度越大且与上一个存入数据的时间越长,那么抓取的间隔就越小,而反之抓取的间隔越大。主要是保证当前时间段传输的数据越密集,那么相应的扩大抓取间隔,确保抓取的数据分布范围足够广,这样才能够具有足够的覆盖性。
在下一个预设时间段开始前对通过分布式存储数据格中时间节点标签对应标准数据库进行匹配具体通过如下公式进行匹配:
其中,Si表示第i个时间节点,α指的是每个时间段内的存储数据格内的数据样本,p表示数据格的数量,q表示的是数据根据时间段长度等分的数量。通过这种矩阵式的匹配方式,能够有效提高鲁棒性。
还包括根据匹配不成功的数据进行前后时间节点定位,在标准数据库中定位到前后时间节点之间的数据,将该段数据进行删除,并从数据输入历史记录中重新调取数据对删除的数据进行补充,补充完成后再次通过分布式存储数据格中时间节点标签对应标准数据库进行匹配。输入历史记录为当前预设时间段数据存入标准数据库之前存储在本地的临时数据,在下一个预设时间段开始后进行清零。输入历史记录存储在服务器的内存中,即为临时存储文件,在下一个时间段开始前及时将其清理,既能够保证数据有误时及时对标准数据库进行校正,也能够保证其不占用数据库的内存资源。
标准数据库和监控数据库,监控数据库包括若干分布式存储数据格,标准数据库用于存储服务器的数据,监控数据库用于通过分布式数据格分别存储输入的监控数据段。还包括数据截取模块100、标签生成模块200、数据匹配模块300和数据校验模块400,数据截取模块100用于根据预设时间段随机抓取目标时间段内即将存入标准数据库的数据,将目标时间段内的数据根据时间段长度进行等分,存入监控数据库的分布式存储数据格,标签生成模块200用于按照初次存入的时间段对各个存储数据格内的数据打上时间节点标签,数据匹配模块300用于在下一个预设时间段开始前对通过分布式存储数据格中时间节点标签对应标准数据库进行匹配,数据校验模块400用于在数据匹配模块300匹配任务失败时定位到标准数据库中对应数据的位置进行数据校验。数据截取模块100包括数据标记单元101和截取判断单元102,数据标记单元101用于对存入标准数据库的数据进行起始点标记和终止点标记,截取判断单元102用于通过起始点标记和终止点标记计算数据存入时间,若数据存入时间落入存入时间阈值范围内,则对该数据和其间隔段的数据进行抓取。数据校验模块400包括数据定位单元401和数据处理单元402,数据定位单元401根据匹配不成功的数据进行前后时间节点定位,在标准数据库中定位到前后时间节点之间的数据,数据处理单元402用于将数据定位单元401定位到的数据进行删除,并从数据输入历史记录中重新调取数据对删除的数据进行补充。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (8)
1.一种基于综合监控管理的数据监控方法,其特征在于:包括如下步骤:
根据预设时间段随机抓取目标时间段内即将存入标准数据库的数据,将目标时间段内的数据根据时间段长度进行等分,存入监控数据库的分布式存储数据格,按照初次存入的时间段对各个存储数据格内的数据打上时间节点标签,在下一个预设时间段开始前对通过分布式存储数据格中时间节点标签对应标准数据库进行匹配,若匹配失败,则定位到标准数据库中对应数据的位置进行数据校验;所述随机抓取目标时间段内即将存入标准数据库的数据采用以下原则,对存入标准数据库的数据进行起始点标记和终止点标记,通过所述起始点标记和终止点标记计算数据存入时间,若数据存入时间落入存入时间阈值范围内,则对该数据和其间隔段的数据进行抓取,存入时间阈值范围可根据不同的数据类型,通过机器学习算法训练出一个合理的时间阈值范围;对该数据随机间隔段的数据进行抓取为对当前抓取数据前后间隔的数据进行抓取,其中,tδ为当前存入标准数据库的数据与上一个存入标准数据库的时间的间隔时间,tl为当前数据存入时间,n为目标时间段内当前存入数据的数量。
3.根据权利要求1所述的基于综合监控管理的数据监控方法,其特征在于:还包括根据匹配不成功的数据进行前后时间节点定位,在标准数据库中定位到前后时间节点之间的数据,将该段数据进行删除,并从数据输入历史记录中重新调取数据对删除的数据进行补充,补充完成后再次通过分布式存储数据格中时间节点标签对应标准数据库进行匹配。
4.根据权利要求3所述的基于综合监控管理的数据监控方法,其特征在于:所述输入历史记录为当前预设时间段数据存入标准数据库之前存储在本地的临时数据,在下一个预设时间段开始后进行清零。
5.一种用于执行权利要求1-4任一项所述的基于综合监控管理的数据监控方法的数据监控系统,其特征在于:包括标准数据库和监控数据库,所述监控数据库包括若干分布式存储数据格,所述标准数据库用于存储服务器的数据,所述监控数据库用于通过分布式数据格分别存储输入的监控数据段。
6.根据权利要求5所述的基于综合监控管理的数据监控系统,其特征在于:还包括数据截取模块(100)、标签生成模块(200)、数据匹配模块(300)和数据校验模块(400),所述数据截取模块(100)用于根据预设时间段随机抓取目标时间段内即将存入标准数据库的数据,将目标时间段内的数据根据时间段长度进行等分,存入监控数据库的分布式存储数据格,所述标签生成模块(200)用于按照初次存入的时间段对各个存储数据格内的数据打上时间节点标签,所述数据匹配模块(300)用于在下一个预设时间段开始前对通过分布式存储数据格中时间节点标签对应标准数据库进行匹配,所述数据校验模块(400)用于在数据匹配模块(300)匹配任务失败时定位到标准数据库中对应数据的位置进行数据校验。
7.根据权利要求6所述的基于综合监控管理的数据监控系统,其特征在于:所述数据截取模块(100)包括数据标记单元(101)和截取判断单元(102),所述数据标记单元(101)用于对存入标准数据库的数据进行起始点标记和终止点标记,所述截取判断单元(102)用于通过所述起始点标记和终止点标记计算数据存入时间,若数据存入时间落入存入时间阈值范围内,则对该数据和其间隔段的数据进行抓取。
8.根据权利要求6所述的基于综合监控管理的数据监控系统,其特征在于:所述数据校验模块(400)包括数据定位单元(401)和数据处理单元(402),所述数据定位单元(401)根据匹配不成功的数据进行前后时间节点定位,在标准数据库中定位到前后时间节点之间的数据,所述数据处理单元(402)用于将所述数据定位单元(401)定位到的数据进行删除,并从数据输入历史记录中重新调取数据对删除的数据进行补充。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210443188.1A CN114706871B (zh) | 2022-04-26 | 2022-04-26 | 一种基于综合监控管理的数据监控方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210443188.1A CN114706871B (zh) | 2022-04-26 | 2022-04-26 | 一种基于综合监控管理的数据监控方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114706871A CN114706871A (zh) | 2022-07-05 |
CN114706871B true CN114706871B (zh) | 2023-01-03 |
Family
ID=82174172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210443188.1A Active CN114706871B (zh) | 2022-04-26 | 2022-04-26 | 一种基于综合监控管理的数据监控方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114706871B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117075662B (zh) * | 2023-08-25 | 2024-09-10 | 扬州智能科技有限公司 | 一种自动化机房监控报警系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104090934A (zh) * | 2014-06-26 | 2014-10-08 | 山东金质信息技术有限公司 | 一种标准服务平台分布式并行计算数据库及其检索方法 |
CN108595302A (zh) * | 2018-04-04 | 2018-09-28 | 厦门科灿信息技术有限公司 | 一种用于监控系统的数据管控方法和系统 |
CN108629174A (zh) * | 2018-05-08 | 2018-10-09 | 阿里巴巴集团控股有限公司 | 字符串校验的方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8738649B2 (en) * | 2012-05-22 | 2014-05-27 | Guavus, Inc. | Distributed processing of streaming data records |
-
2022
- 2022-04-26 CN CN202210443188.1A patent/CN114706871B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104090934A (zh) * | 2014-06-26 | 2014-10-08 | 山东金质信息技术有限公司 | 一种标准服务平台分布式并行计算数据库及其检索方法 |
CN108595302A (zh) * | 2018-04-04 | 2018-09-28 | 厦门科灿信息技术有限公司 | 一种用于监控系统的数据管控方法和系统 |
CN108629174A (zh) * | 2018-05-08 | 2018-10-09 | 阿里巴巴集团控股有限公司 | 字符串校验的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114706871A (zh) | 2022-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10649838B2 (en) | Automatic correlation of dynamic system events within computing devices | |
CN108632097B (zh) | 异常行为对象的识别方法、终端设备及介质 | |
US8468134B1 (en) | System and method for measuring consistency within a distributed storage system | |
CN106709069A (zh) | 高可靠性的大数据日志采集与传输方法 | |
CN104965999B (zh) | 一种中短基因片段测序的分析拼接方法及设备 | |
CN114706871B (zh) | 一种基于综合监控管理的数据监控方法及系统 | |
CN110933040B (zh) | 基于区块链的数据上链方法、装置、设备及介质 | |
CN105183383B (zh) | 一种文件系统无关的镜像重组方法 | |
CN114116811B (zh) | 日志处理方法、装置、设备及存储介质 | |
CN114385188A (zh) | 一种代码工作量统计方法、装置和电子设备 | |
CN117873839A (zh) | 复杂算力系统的故障检测方法、装置、设备和存储介质 | |
CN110795605B (zh) | 一种基于分布式内存网格的数据存储系统 | |
CN113407374A (zh) | 故障处理方法、装置、故障处理设备及存储介质 | |
CN113342651A (zh) | 一种用于测试用例缺陷与用例模糊关联关系的恢复方法 | |
CN112949778A (zh) | 基于局部敏感哈希的智能合约分类方法、系统及电子设备 | |
CN108491432A (zh) | 基于消息摘要的电力系统累计量存储及抽取方法、电子设备和存储介质 | |
CN113626381B (zh) | 一种基于分布式文件系统交织读预读的优化方法、装置 | |
CN113419885B (zh) | 一种数据完整性处理方法、装置及电子设备 | |
CN116541403A (zh) | 一种实时捕获数据库数据变更的方法、系统、电子设备及存储介质 | |
CN116318990A (zh) | 一种攻击链实时检测方法、装置、电子设备及存储介质 | |
CN116048866A (zh) | 基于实时流计算引擎的数据故障检测方法、系统及介质 | |
CN106874525B (zh) | 一种风电机组设备故障筛查、统计的方法与装置 | |
CN114877943A (zh) | 一种基于区块链的生态环境监测装置 | |
CN111368003B (zh) | 一种多链锚定数据的管理方法 | |
CN112560789B (zh) | 图像对象检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |