CN116991863B - 一种基于大数据的数据辅助分析管理系统及方法 - Google Patents
一种基于大数据的数据辅助分析管理系统及方法 Download PDFInfo
- Publication number
- CN116991863B CN116991863B CN202311254038.7A CN202311254038A CN116991863B CN 116991863 B CN116991863 B CN 116991863B CN 202311254038 A CN202311254038 A CN 202311254038A CN 116991863 B CN116991863 B CN 116991863B
- Authority
- CN
- China
- Prior art keywords
- data
- data storage
- historical
- historical data
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004458 analytical method Methods 0.000 title claims abstract description 16
- 238000013500 data storage Methods 0.000 claims abstract description 297
- 238000007726 management method Methods 0.000 claims abstract description 69
- 238000012502 risk assessment Methods 0.000 claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 7
- 238000009430 construction management Methods 0.000 claims description 6
- 230000010365 information processing Effects 0.000 claims description 6
- 238000009960 carding Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据库管理技术领域，具体为一种基于大数据的数据辅助分析管理系统及方法，包括分别对在各历史数据存储记录中涉及对目标数据库内数据更新的所有信息进行梳理并提取；对在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围构建相应的历史数据存储路径；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取对满足数据更新逻辑关联的历史数据存储路径进行判断识别；对当前的数据输送进行数据更新的逻辑风险性评估，将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对目标数据库内数据的有序性存储管理。
Description
技术领域
本发明涉及数据库管理技术领域，具体为一种基于大数据的数据辅助分析管理系统及方法。
背景技术
数据库是“按照数据结构来组织、存储和管理数据的仓库”，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合；数据库的数据源层是指数据的最初来源，可以是各种业务系统、传感器、社交媒体等，在数据库的数据集成层中，会将来自不同数据源的数据进行集成和整合，形成一个统一的数据集。
数据库内的数据更新是以新数据项或记录、替换数据文件或数据库中与之相对应的旧数据项或记录的过程，通过删除、修改、再插入的操作来实现；对数据库内的数据更新实现有序性管理，在一定程度上能提高数据库的数据存储效率和准确率。
发明内容
本发明的目的在于提供一种基于大数据的数据辅助分析管理系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据的数据辅助分析管理方法，方法包括：
步骤S100：从目标数据库的历史运行日志中捕捉构成目标数据库数据源层的各数据来源终端；数据来源终端包括业务系统、传感器；从历史运行日志中调取目标数据库的所有历史数据存储记录，分别对在各历史数据存储记录中涉及对目标数据库内数据更新的所有信息进行梳理并提取；
步骤S200：基于在各历史数据存储记录中提取得到的涉及对目标数据库内数据更新的所有信息，对在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围构建相应的历史数据存储路径；
步骤S300：获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，分别将对应的数据来源终端DTE相同的历史数据存储路径进行汇集，分别得到各数据来源终端所对应的历史数据存储路径集合；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端DTE的特征历史数据存储路径集合；
步骤S400：基于在所有数据来源终端之间呈现的特征历史数据存储路径集合的分布情况，对满足数据更新逻辑关联的历史数据存储路径进行判断识别；
步骤S500：当监测到同时有2个以上的数据来源终端向目标数据库输送数据，对当前的数据输送进行数据更新的逻辑风险性评估，将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对目标数据库内数据的有序性存储管理。
进一步的，步骤S100包括：
步骤S101：捕捉在任意历史数据存储记录中相应目标存储数据于目标数据库内完成数据存储之前，位于构成目标数据库数据集成层的各数据存储区域内的数据集A，以及在相应目标存储数据于目标数据库内完成数据存储之后，位于构成目标数据库数据集成层的各数据存储区域内的数据集B；当某数据存储区域满足，判断某数据存储区域属于在任意历史数据存储记录中，由相应目标存储数据在目标数据库中引起的更新范围；分别对各更新范围所对应的数据集A与数据集B进行偏差比对；
步骤S102：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在某历史数据存储记录中，于对应某数据存储区域u的数据集B与数据集A之间满足：，其中，/>表示数据集A与数据集C组成数据集B；判定在某历史数据存储记录中，相应目标存储数据在某数据存储区域u内发生的数据更新形式为第一类数据更新形式；即在某数据存储区域u中发生的数据更新形式为简单新增数据，对数据集A只做数据量的增加变动，不发生数据替换；
步骤S103：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在某历史数据存储记录中，于对应某数据存储区域u的数据集B与数据集A之间满足：，且/>，其中，Card(B)表示数据集B包含的数据总数，Card(A)表示数据集A包含的数据总数；判定在某历史数据存储记录中，相应目标存储数据在某数据存储区域u内发生的数据更新形式为第二类数据更新形式；即在某数据存储区域u中发生的数据更新形式为对数据集A不做数据量的变动，将数据集A内的部分数据进行数据替换；
步骤S104：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在某历史数据存储记录中，于对应某数据存储区域u的数据集B与数据集A之间满足：，且/>，其中，Card(B)表示数据集B包含的数据总数，Card(A)表示数据集A包含的数据总数；判定在某历史数据存储记录中，相应目标存储数据在某数据存储区域u内发生的数据更新形式为第三类数据更新形式；即在某数据存储区域u中发生的数据更新形式为对数据集A不做数据量的变动，将数据集A内的全部数据进行数据替换。
进一步的，步骤S200包括：
步骤S201：识别在各历史数据存储记录中，对应输送目标存储数据的数据来源终端DTE；分别获取在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围；
步骤S202：设在某条历史数据存储记录h中，相应目标存储数据的第j个更新范围Rj为数据存储区域w，设在某数据存储区域w内发生的数据更新形式为第k类；构建得到基于某历史数据存储记录的第j条历史数据存储路径；其中，/>表示在某条历史数据存储记录h中对应输送目标存储数据的数据来源终端；其中，；分别构建每一条历史数据存储记录在目标数据库中引起的每一个更新范围所对应的历史数据存储路径。
进一步的，步骤S400包括：
步骤S401：获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，将数据来源终端DTE相同的历史数据存储路径进行分别汇集，得到对应各数据来源终端DTE的历史数据存储路径集合；将数据来源终端DTE、更新范围所对应的数据存储区域以及在更新范围所对应的数据存储区域内发生的数据更新形式完成相同的历史数据存储路径视为同一种历史数据存储路径；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端DTE的特征历史数据存储路径集合；
步骤S402：设在某数据来源终端DTE1的特征历史数据存储路径集合中存在某历史数据存储路径，在某数据来源终端DTE2的特征历史数据存储路径集合中存在某历史数据存储路径/>；当/>，/>且，或者当/>，/>且/>时，判断某历史数据存储路径L1与某历史数据存储路径L2之间存在数据更新逻辑关联。
进一步的，步骤S500包括：
步骤S501：将当前同时向目标数据库输送数据的数据来源终端设为目标终端；分别对每两个目标数据终端p1、p2的特征历史数据存储路径集合Q(p1)、Q(p2)进行提取；分别对每两个目标数据终端计算逻辑风险值；其中，n表示在Q(p1)中，与Q(p2)内的历史数据存储路径之间存在数据更新逻辑关联的历史数据存储路径总数；N表示Q(p1)包含历史数据存储路径的总数；m表示在Q(p2)中，与Q(p1)内的历史数据存储路径之间存在数据更新逻辑关联的历史数据存储路径总数；M表示Q(p2)包含历史数据存储路径的总数；
步骤S502：当某两个目标数据终端之间的逻辑风险值α大于风险阈值，反馈管理人员端口，辅助管理人员介入对来自某两个目标数据终端向目标数据库所输送数据的存储次序处理。
为更好的实现上述方法，还提出了一种数据辅助分析管理系统，系统包括数据库信息管理模块、数据存储路径提取管理模块、数据存储路径梳理模块、数据更新逻辑关联判断模块、数据库存储管理模块；
数据库信息管理模块，用于从目标数据库的历史运行日志中捕捉构成目标数据库数据源层的各数据来源终端；从历史运行日志中调取目标数据库的所有历史数据存储记录，分别对在各历史数据存储记录中涉及对目标数据库内数据更新的所有信息进行梳理并提取；
数据存储路径提取管理模块，用于接收数据库信息管理模块中的数据，对在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围构建相应的历史数据存储路径；
数据存储路径梳理模块，用于获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，分别将对应的数据来源终端DTE相同的历史数据存储路径进行汇集，分别得到各数据来源终端所对应的历史数据存储路径集合；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端DTE的特征历史数据存储路径集合；
数据更新逻辑关联判断模块，用于根据在所有数据来源终端之间呈现的特征历史数据存储路径集合的分布情况，对满足数据更新逻辑关联的历史数据存储路径进行判断识别；
数据库存储管理模块，用于当监测到同时有2个以上的数据来源终端向目标数据库输送数据，对当前的数据输送进行数据更新的逻辑风险性评估，将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对目标数据库内数据的有序性存储管理。
进一步的，数据存储路径提取管理模块包括信息处理单元、路径构建管理单元；
信息处理单元，用于接收数据库信息管理模块中的数据；
路径构建管理单元，用于对在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围构建相应的历史数据存储路径。
进一步的，数据库存储管理模块包括逻辑风险性评估单元、存储管理单元；
逻辑风险性评估单元，用于当监测到同时有2个以上的数据来源终端向目标数据库输送数据，对当前的数据输送进行数据更新的逻辑风险性评估；
存储管理单元，用于将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对来自逻辑风险值大于风险阈值的任意两个目标数据终端向目标数据库所输送数据的存储次序处理。
与现有技术相比，本发明所达到的有益效果是：本发明通过对目标数据库内的所有历史数据存储记录进行数据存储路径的梳理，分别对构成目标数据库数据源层的各数据来源终端，因向目标数据库传输数据而对目标数据库引起的所有数据更新现象的数据规律进行捕捉，通过在所有数据来源终端的历史数据存储路径中进行数据更新逻辑关联，实现对目标数据库的实时数据输送进行数据更新的逻辑风险性评估，通过辅助管理人员介入对向目标数据库输送数据的存储次序处理，实现对数据库内数据更新的有序性管理，在一定程度上提高数据库的数据存储效率和存储数据的准确率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于大数据的数据辅助分析管理方法的流程示意图；
图2是本发明一种基于大数据的数据辅助分析管理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图2，本发明提供技术方案：一种基于大数据的数据辅助分析管理方法，方法包括：
步骤S100：从目标数据库的历史运行日志中捕捉构成目标数据库数据源层的各数据来源终端；数据来源终端包括业务系统、传感器；从历史运行日志中调取目标数据库的所有历史数据存储记录，分别对在各历史数据存储记录中涉及对目标数据库内数据更新的所有信息进行梳理并提取；
其中，步骤S100包括：
步骤S101：捕捉在任意历史数据存储记录中相应目标存储数据于目标数据库内完成数据存储之前，位于构成目标数据库数据集成层的各数据存储区域内的数据集A，以及在相应目标存储数据于目标数据库内完成数据存储之后，位于构成目标数据库数据集成层的各数据存储区域内的数据集B；当某数据存储区域满足，判断某数据存储区域属于在任意历史数据存储记录中，由相应目标存储数据在目标数据库中引起的更新范围；分别对各更新范围所对应的数据集A与数据集B进行偏差比对；
步骤S102：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在某历史数据存储记录中，于对应某数据存储区域u的数据集B与数据集A之间满足：，其中，/>表示数据集A与数据集C组成数据集B；判定在某历史数据存储记录中，相应目标存储数据在某数据存储区域u内发生的数据更新形式为第一类数据更新形式；
步骤S103：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在某历史数据存储记录中，于对应某数据存储区域u的数据集B与数据集A之间满足：，且/>，其中，Card(B)表示数据集B包含的数据总数，Card(A)表示数据集A包含的数据总数；判定在某历史数据存储记录中，相应目标存储数据在某数据存储区域u内发生的数据更新形式为第二类数据更新形式；
步骤S104：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在某历史数据存储记录中，于对应某数据存储区域u的数据集B与数据集A之间满足：，且/>，其中，Card(B)表示数据集B包含的数据总数，Card(A)表示数据集A包含的数据总数；判定在某历史数据存储记录中，相应目标存储数据在某数据存储区域u内发生的数据更新形式为第三类数据更新形式。
步骤S200：基于在各历史数据存储记录中提取得到的涉及对目标数据库内数据更新的所有信息，对在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围构建相应的历史数据存储路径；
其中，步骤S200包括：
步骤S201：识别在各历史数据存储记录中，对应输送目标存储数据的数据来源终端DTE；分别获取在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围；
步骤S202：设在某条历史数据存储记录h中，相应目标存储数据的第j个更新范围Rj为数据存储区域w，设在某数据存储区域w内发生的数据更新形式为第k类；构建得到基于某历史数据存储记录的第j条历史数据存储路径；其中，/>表示在某条历史数据存储记录h中对应输送目标存储数据的数据来源终端；其中，；分别构建每一条历史数据存储记录在目标数据库中引起的每一个更新范围所对应的历史数据存储路径；
步骤S300：获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，分别将对应的数据来源终端DTE相同的历史数据存储路径进行汇集，分别得到各数据来源终端所对应的历史数据存储路径集合；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端DTE的特征历史数据存储路径集合；
步骤S400：基于在所有数据来源终端之间呈现的特征历史数据存储路径集合的分布情况，对满足数据更新逻辑关联的历史数据存储路径进行判断识别；
其中，步骤S400包括：
步骤S401：获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，将数据来源终端DTE相同的历史数据存储路径进行分别汇集，得到对应各数据来源终端DTE的历史数据存储路径集合；将数据来源终端DTE、更新范围所对应的数据存储区域以及在更新范围所对应的数据存储区域内发生的数据更新形式完成相同的历史数据存储路径视为同一种历史数据存储路径；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端DTE的特征历史数据存储路径集合；
步骤S402：设在某数据来源终端DTE1的特征历史数据存储路径集合中存在某历史数据存储路径，在某数据来源终端DTE2的特征历史数据存储路径集合中存在某历史数据存储路径/>；当/>，/>且，或者当/>，/>且/>时，判断某历史数据存储路径L1与某历史数据存储路径L2之间存在数据更新逻辑关联；
因为第一类数据更新形式是简单对Y1进行新增数据，第二类数据更新形式是对Y1进行部分数据的替换，不改变Y1的原始存储数据量；
例如说，当，/>时，意味着在历史数据存储路径L1中，DTE1在Y1内发生的数据更新形式为第一类数据更新形式，在历史数据存储路径L2中，DTE2在Y1内发生的数据更新形式为第二类数据更新形式，
综上，若Y1内的原始数据集为F1，经过L1后，会旨在F1的基础上新增数据集F2，经过L2后，F1内的部分数据集会被数据替换；
因此，当先完成L1对应的数据存储事件，实现将目标数据库更新为;当再接着完成L2对应的数据存储事件，实现对目标数据库/>内的部分数据集进行数据替换，实现将目标数据库更新为/>；
因此，当先完成L2对应的数据存储事件，实现对目标数据库F1内的部分数据集进行数据替换的更新，实现将目标数据库更新为;当再接着完成L1对应的数据存储事件，实现将目标数据库更新为/>；
综上，目标数据库内呈现的数据存储分布情况会因L1和L2对应存储事件的执行先后的不同，呈现出两种最终不同的数据存储分布情况；
因此，判断与/>之间存在数据更新逻辑关联；
步骤S500：当监测到同时有2个以上的数据来源终端向目标数据库输送数据，对当前的数据输送进行数据更新的逻辑风险性评估，将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对目标数据库内数据的有序性存储管理；
其中，步骤S500包括：
步骤S501：将当前同时向目标数据库输送数据的数据来源终端设为目标终端；分别对每两个目标数据终端p1、p2的特征历史数据存储路径集合Q(p1)、Q(p2)进行提取；分别对每两个目标数据终端计算逻辑风险值；其中，n表示在Q(p1)中，与Q(p2)内的历史数据存储路径之间存在数据更新逻辑关联的历史数据存储路径总数；N表示Q(p1)包含历史数据存储路径的总数；m表示在Q(p2)中，与Q(p1)内的历史数据存储路径之间存在数据更新逻辑关联的历史数据存储路径总数；M表示Q(p2)包含历史数据存储路径的总数；
步骤S502：当某两个目标数据终端之间的逻辑风险值α大于风险阈值，反馈管理人员端口，辅助管理人员介入对来自某两个目标数据终端向目标数据库所输送数据的存储次序处理。
为更好的实现上述方法，还提出了一种数据辅助分析管理系统，系统包括数据库信息管理模块、数据存储路径提取管理模块、数据存储路径梳理模块、数据更新逻辑关联判断模块、数据库存储管理模块；
数据库信息管理模块，用于从目标数据库的历史运行日志中捕捉构成目标数据库数据源层的各数据来源终端；从历史运行日志中调取目标数据库的所有历史数据存储记录，分别对在各历史数据存储记录中涉及对目标数据库内数据更新的所有信息进行梳理并提取；
数据存储路径提取管理模块，用于接收数据库信息管理模块中的数据，对在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围构建相应的历史数据存储路径；
其中，数据存储路径提取管理模块包括信息处理单元、路径构建管理单元；
信息处理单元，用于接收数据库信息管理模块中的数据；
路径构建管理单元，用于对在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围构建相应的历史数据存储路径；
数据存储路径梳理模块，用于获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，分别将对应的数据来源终端DTE相同的历史数据存储路径进行汇集，分别得到各数据来源终端所对应的历史数据存储路径集合；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端DTE的特征历史数据存储路径集合；
数据更新逻辑关联判断模块，用于根据在所有数据来源终端之间呈现的特征历史数据存储路径集合的分布情况，对满足数据更新逻辑关联的历史数据存储路径进行判断识别；
数据库存储管理模块，用于当监测到同时有2个以上的数据来源终端向目标数据库输送数据，对当前的数据输送进行数据更新的逻辑风险性评估，将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对目标数据库内数据的有序性存储管理；
其中，数据库存储管理模块包括逻辑风险性评估单元、存储管理单元；
逻辑风险性评估单元，用于当监测到同时有2个以上的数据来源终端向目标数据库输送数据，对当前的数据输送进行数据更新的逻辑风险性评估；
存储管理单元，用于将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对来自逻辑风险值大于风险阈值的任意两个目标数据终端向目标数据库所输送数据的存储次序处理。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于大数据的数据辅助分析管理方法，其特征在于，所述方法包括：
步骤S100：从目标数据库的历史运行日志中捕捉构成所述目标数据库数据源层的各数据来源终端；从所述历史运行日志中调取目标数据库的所有历史数据存储记录，分别对在各历史数据存储记录中涉及对目标数据库内数据更新的所有信息进行梳理并提取；
步骤S200：基于在各历史数据存储记录中提取得到的涉及对目标数据库内数据更新的所有信息，对在每一条历史数据存储记录中，由相应目标存储数据在所述目标数据库中引起的每一个更新范围构建相应的历史数据存储路径；
步骤S300：获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，分别将对应的数据来源终端DTE相同的历史数据存储路径进行汇集，分别得到各数据来源终端所对应的历史数据存储路径集合；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端DTE的特征历史数据存储路径集合；
步骤S400：基于在所有数据来源终端之间呈现的特征历史数据存储路径集合的分布情况，对满足数据更新逻辑关联的历史数据存储路径进行判断识别；
步骤S500：当监测到同时有2个以上的数据来源终端向目标数据库输送数据，对当前的数据输送进行数据更新的逻辑风险性评估，将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对目标数据库内数据的有序性存储管理；
所述步骤S200包括：
步骤S201：识别在各历史数据存储记录中，对应输送目标存储数据的数据来源终端DTE；分别获取在每一条历史数据存储记录中，由相应目标存储数据在所述目标数据库中引起的每一个更新范围；
步骤S202：设在某条历史数据存储记录h中，相应目标存储数据的第j个更新范围Rj为数据存储区域w，设在某数据存储区域w内发生的数据更新形式为第k类；构建得到基于所述某条历史数据存储记录h的第j条历史数据存储路径L：DTE(h)→(Rj)k；其中，DTE(h)表示在某条历史数据存储记录h中对应输送目标存储数据的数据来源终端；其中，k∈(1，2，3)；分别构建每一条历史数据存储记录在所述目标数据库中引起的每一个更新范围所对应的历史数据存储路径；
所述步骤S400包括：
步骤S401：获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，将数据来源终端DTE相同的历史数据存储路径进行分别汇集，得到对应各数据来源终端DTE的历史数据存储路径集合；将数据来源终端DTE、更新范围所对应的数据存储区域以及在所述更新范围所对应的数据存储区域内发生的数据更新形式完成相同的历史数据存储路径视为同一种历史数据存储路径；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端DTE的特征历史数据存储路径集合；
步骤S402：设在某数据来源终端DTE1的特征历史数据存储路径集合中存在某历史数据存储路径L1：DTE1→Y1x1，在某数据来源终端DTE2的特征历史数据存储路径集合中存在某历史数据存储路径L2：DTE2→Y2x2；当Y1=Y2，x1∈(1，2，3)且x2∈(2，3)，或者当Y1=Y2，x1∈(2，3)且x2∈(1，2，3)时，判断某历史数据存储路径L1与某历史数据存储路径L2之间存在数据更新逻辑关联；
所述步骤S500包括：
步骤S501：将当前同时向目标数据库输送数据的数据来源终端设为目标终端；分别对每两个目标数据终端p1、p2的特征历史数据存储路径集合Q(p1)、Q(p2)进行提取；分别对每两个目标数据终端计算逻辑风险值α=n/N+m/M；其中，n表示在Q(p1)中，与Q(p2)内的历史数据存储路径之间存在数据更新逻辑关联的历史数据存储路径总数；N表示Q(p1)包含历史数据存储路径的总数；m表示在Q(p2)中，与Q(p1)内的历史数据存储路径之间存在数据更新逻辑关联的历史数据存储路径总数；M表示Q(p2)包含历史数据存储路径的总数；
步骤S502：当某两个目标数据终端之间的逻辑风险值α大于风险阈值，反馈管理人员端口，辅助管理人员介入对来自所述某两个目标数据终端向目标数据库所输送数据的存储次序处理。
2.根据权利要求1所述的一种基于大数据的数据辅助分析管理方法，其特征在于，所述步骤S100包括：
步骤S101：捕捉在任意历史数据存储记录中相应目标存储数据于目标数据库内完成数据存储之前，位于构成目标数据库数据集成层的各数据存储区域内的数据集A，以及在相应目标存储数据于目标数据库内完成数据存储之后，位于构成目标数据库数据集成层的各数据存储区域内的数据集B；当某数据存储区域满足A≠B，判断所述某数据存储区域属于在所述任意历史数据存储记录中，由相应目标存储数据在所述目标数据库中引起的更新范围；分别对各更新范围所对应的数据集A与数据集B进行偏差比对；
步骤S102：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在所述某历史数据存储记录中，于对应所述某数据存储区域u的数据集B与数据集A之间满足：B=A+C，其中，B=A+C表示数据集A与数据集C组成数据集B；判定在所述某历史数据存储记录中，相应目标存储数据在所述某数据存储区域u内发生的数据更新形式为第一类数据更新形式；
步骤S103：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在所述某历史数据存储记录中，于对应所述某数据存储区域u的数据集B与数据集A之间满足：Card(B)=Card(A)，且，其中，Card(B)表示数据集B包含的数据总数，Card(A)表示数据集A包含的数据总数；判定在所述某历史数据存储记录中，相应目标存储数据在所述某数据存储区域u内发生的数据更新形式为第二类数据更新形式；
步骤S104：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在所述某历史数据存储记录中，于对应所述某数据存储区域u的数据集B与数据集A之间满足：Card(B)=Card(A)，且，其中，Card(B)表示数据集B包含的数据总数，Card(A)表示数据集A包含的数据总数；判定在所述某历史数据存储记录中，相应目标存储数据在所述某数据存储区域u内发生的数据更新形式为第三类数据更新形式。
3.用于执行权利要求1-2中任意一项所述的一种基于大数据的数据辅助分析管理方法的数据辅助分析管理系统，其特征在于，系统包括数据库信息管理模块、数据存储路径提取管理模块、数据存储路径梳理模块、数据更新逻辑关联判断模块、数据库存储管理模块；
所述数据库信息管理模块，用于从目标数据库的历史运行日志中捕捉构成所述目标数据库数据源层的各数据来源终端；从所述历史运行日志中调取目标数据库的所有历史数据存储记录，分别对在各历史数据存储记录中涉及对目标数据库内数据更新的所有信息进行梳理并提取；
所述数据存储路径提取管理模块，用于接收所述数据库信息管理模块中的数据，对在每一条历史数据存储记录中，由相应目标存储数据在所述目标数据库中引起的每一个更新范围构建相应的历史数据存储路径；
所述数据存储路径梳理模块，用于获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，分别将对应的数据来源终端DTE相同的历史数据存储路径进行汇集，分别得到各数据来源终端所对应的历史数据存储路径集合；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端DTE的特征历史数据存储路径集合；
所述数据更新逻辑关联判断模块，用于根据在所有数据来源终端之间呈现的特征历史数据存储路径集合的分布情况，对满足数据更新逻辑关联的历史数据存储路径进行判断识别；
所述数据库存储管理模块，用于当监测到同时有2个以上的数据来源终端向目标数据库输送数据，对当前的数据输送进行数据更新的逻辑风险性评估，将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对目标数据库内数据的有序性存储管理。
4.根据权利要求3所述的数据辅助分析管理系统，其特征在于，所述数据存储路径提取管理模块包括信息处理单元、路径构建管理单元；
所述信息处理单元，用于接收所述数据库信息管理模块中的数据；
所述路径构建管理单元，用于对在每一条历史数据存储记录中，由相应目标存储数据在所述目标数据库中引起的每一个更新范围构建相应的历史数据存储路径。
5.根据权利要求3所述的数据辅助分析管理系统，其特征在于，所述数据库存储管理模块包括逻辑风险性评估单元、存储管理单元；
所述逻辑风险性评估单元，用于当监测到同时有2个以上的数据来源终端向目标数据库输送数据，对当前的数据输送进行数据更新的逻辑风险性评估；
所述存储管理单元，用于将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对来自逻辑风险值大于风险阈值的任意两个目标数据终端向目标数据库所输送数据的存储次序处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311254038.7A CN116991863B (zh) | 2023-09-27 | 2023-09-27 | 一种基于大数据的数据辅助分析管理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311254038.7A CN116991863B (zh) | 2023-09-27 | 2023-09-27 | 一种基于大数据的数据辅助分析管理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116991863A CN116991863A (zh) | 2023-11-03 |
| CN116991863B true CN116991863B (zh) | 2023-12-01 |
Family
ID=88530584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311254038.7A Active CN116991863B (zh) | 2023-09-27 | 2023-09-27 | 一种基于大数据的数据辅助分析管理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116991863B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113806803A (zh) * | 2021-09-17 | 2021-12-17 | 厦门服云信息科技有限公司 | 一种数据存储方法、系统、终端设备及存储介质 |
| CN114510643A (zh) * | 2022-02-17 | 2022-05-17 | 中科三清科技有限公司 | 数据分发方法、装置及存储介质 |
| JP2023104132A (ja) * | 2022-01-17 | 2023-07-28 | 株式会社日立製作所 | 社会参加状況分析装置およびプログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170031960A1 (en) * | 2015-07-31 | 2017-02-02 | Panasonic Intellectual Property Management Co., Ltd. | Information recording device and data erasing method |
-
2023
- 2023-09-27 CN CN202311254038.7A patent/CN116991863B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113806803A (zh) * | 2021-09-17 | 2021-12-17 | 厦门服云信息科技有限公司 | 一种数据存储方法、系统、终端设备及存储介质 |
| JP2023104132A (ja) * | 2022-01-17 | 2023-07-28 | 株式会社日立製作所 | 社会参加状況分析装置およびプログラム |
| CN114510643A (zh) * | 2022-02-17 | 2022-05-17 | 中科三清科技有限公司 | 数据分发方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于应用与时间维度的电网模型多版本构建与管理技术;石俊杰 等;电力系统自动化;第41卷(第10期);第106-110页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116991863A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110334274A (zh) | 信息推送方法、装置、计算机设备和存储介质 | |
| CN102246174A (zh) | 用于在采用异构信任模型的分布式和自治保健环境中改进记录链接的自动决断再利用 | |
| CN104462604A (zh) | 数据加工方法及系统 | |
| CN108062387A (zh) | 一种面向tas系统的实时数据清洗与转换方法 | |
| CN115983808A (zh) | 一种基于数字化建造的项目数据智能化管理系统及方法 | |
| KR101425868B1 (ko) | 규칙집합 기반 대용량 데이터 처리 시스템 및 방법 | |
| CN114710562B (zh) | 基于大数据的设备应用日志关联分析系统及方法 | |
| CN102208061A (zh) | 数据核销处理装置和数据核销处理方法 | |
| CN117114549A (zh) | 一种基于云边协同的数字化物流管理系统及方法 | |
| CN116991863B (zh) | 一种基于大数据的数据辅助分析管理系统及方法 | |
| CN116384781B (zh) | 基于bim技术的工程建设数据智能化分析系统及方法 | |
| KR101171551B1 (ko) | 이벤트 이력 기억 장치, 이벤트 이력 추적 장치, 이벤트 이력 기억 방법, 이벤트 이력 기억 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 데이터 구조를 기록한 컴퓨터 판독 가능한 기록 매체 | |
| CN110941536B (zh) | 监控方法及系统、第一服务器集群 | |
| CN116561345A (zh) | 一种基于多模态数据公司情报知识图谱构建方法 | |
| CN111242779A (zh) | 金融数据特征选择和预测方法、装置、设备及存储介质 | |
| CN110223104A (zh) | 一种基于大数据的客户模型构建系统 | |
| CN109871378A (zh) | 大数据平台的数据采集和处理方法及系统 | |
| CN113674081B (zh) | 一种基于图数据库的中小企业风控管理系统及方法 | |
| CN110502529B (zh) | 数据处理方法、装置、服务器及存储介质 | |
| CN1588405A (zh) | 用于风险控制系统的数据处理装置及方法 | |
| CN111639057A (zh) | 日志消息处理方法、装置、计算机设备及存储介质 | |
| CN117829435B (zh) | 一种基于大数据的城市数据质量管理方法及系统 | |
| CN117522418B (zh) | 一种基于SaaS模式的学员信息数据管理系统及方法 | |
| KR101624201B1 (ko) | 컨텐츠 퇴출 시스템 및 방법 | |
| CN112288329A (zh) | 一种操作行为记录的风险预估方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |