CN116383844A - 基于大数据自动化综合管理分析系统、方法、介质及设备 - Google Patents
基于大数据自动化综合管理分析系统、方法、介质及设备 Download PDFInfo
- Publication number
- CN116383844A CN116383844A CN202310338697.2A CN202310338697A CN116383844A CN 116383844 A CN116383844 A CN 116383844A CN 202310338697 A CN202310338697 A CN 202310338697A CN 116383844 A CN116383844 A CN 116383844A
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- management
- model
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000003860 storage Methods 0.000 claims abstract description 41
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000007726 management method Methods 0.000 claims description 62
- 238000012545 processing Methods 0.000 claims description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 238000007405 data analysis Methods 0.000 claims description 22
- 238000013523 data management Methods 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000013500 data storage Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 230000010354 integration Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000005065 mining Methods 0.000 claims description 12
- 238000013499 data model Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 8
- 238000007418 data mining Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 3
- 238000011985 exploratory data analysis Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000009412 basement excavation Methods 0.000 claims description 2
- 230000000750 progressive effect Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 238000000586 desensitisation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000283014 Dama Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003339 best practice Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- JNSGIVNNHKGGRU-JYRVWZFOSA-N diethoxyphosphinothioyl (2z)-2-(2-amino-1,3-thiazol-4-yl)-2-methoxyiminoacetate Chemical compound CCOP(=S)(OCC)OC(=O)C(=N/OC)\C1=CSC(N)=N1 JNSGIVNNHKGGRU-JYRVWZFOSA-N 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/604—Tools and structures for managing or administering access control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- Automation & Control Theory (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及大数据技术领域，特别涉及一种基于大数据自动化综合管理分析系统、方法、介质及设备，包括数据前期处理模块、数据加密模块、存储模块及数据搜寻模块。本发明将处理完成的数据分成父数据包和子数据包，并通过数据加密模块对父数据包和子数据包赋予有关联性的主密钥和子密钥，子密钥与子密钥之间具有递进式的相连性，并将带有子密钥的子数据包呈分散式保存至存储模块中，在搜索的时候，根据当前输入的正确的子密钥搜索下一个相关的子密钥，并可获得相应的子数据包；反之，在输入错误的子密钥时，则无法获得下一个子数据包，可以进一步的提高数据加密的安全性。
Description
技术领域
本发明属于大数据技术领域，特别涉及基于大数据自动化综合管理分析系统、方法、介质及设备。
背景技术
随着信息技术的飞速发展和广泛应用，特别是经济和社会信息化进程的全面加快，网络与信息系统的基础性、全局性作用日益增强，信息安全等级保护已成为国家信息安全保障工作的基本制度、基本策略和基本方法。信息安全等级保护是实施信息安全管理的重要策略。从数据安全角度考虑,在数据产生/采集环节需要实现的技术能力主要是元数据安全管理、数据类型和安全等级打标，相应功能需要内嵌入后台运维管理系统，或与其无缝对接，从而实现安全责任制、数据分级分类管理等管理制度在实际业务流程中的落地实施。
在对大数据综合管理分析后，需要对于数据的加密来提高数据安全性，如公开号为CN110049036B，提出的数据加密方法、装置及数据加密系统，其由加密服务器通过生成公钥和私钥，公钥存储于加密服务器，私钥存放于存储设备和加密设备，存放设备和加密设备之间无法进行相互解密，需要通过加密服务器进行解密和加密，保证数据之间的安全性。但是其只是对数据的整体加密，没有对数据进行分类整理后进行单独加密，使得数据安全性低。
发明内容
针对上述问题，本发明提供了一种基于大数据的自动化综合管理分析系统，包括：数据前期处理模块，所述数据前期处理模块用于对大数据进行处理，获得分析数据库；数据加密模块，所述数据加密模块用于对所述分析数据库进行加密，获得加密数据；存储模块，所述存储模块用于对加密数据进行保存。
其中，所述分析数据库包括父数据包和子数据包，所述数据加密模块对所述父数据包和所述子数据包赋予有关联性的主密钥和子密钥，所述主密钥对应所述父数据包，若干组所述子密钥对应若干组所述子数据包，若干组所述子密钥之间具有递进式的相连性，带有所述子密钥的若干组所述子数据包呈分散式保存至所述存储模块中；及
数据搜寻模块，所述数据搜寻模块用于根据当前输入的正确的子密钥搜索下一个相关的子密钥，并可获得相应的子数据包；反之，在输入错误的子密钥时，则无法获得下一个子数据包。
进一步的，所述数据前期处理模块包括：数据建模，所述数据建模包括根据应用场景建立的数据模型、挖掘数据目标、挖掘数据结果可量度的成功标准，供后期挖掘模型验证使用；源数据分析，所述源数据分析根据数据模型提供针对源数据的探索性分析和数据质量分析功能，并提供相关报告；算法建模，所述算法建模根据应用场景和数据模型的特点，从挖掘模型的各类算法中选择相适应的算法，建立算法模型，并设置对应参数，对相类似的几种算法模型进行模型评估，择优选择；数据装载，所述数据装载从源数据中采集算法模型所需数据，经过清洗加工，装载到算法模型中；模型训练评估，所述模型训练评估根据模型有效性评估的方法库，结合模型噪声处理，根据学习型模型进行自动测算，训练过程中不断参数调整，根据业务模型匹配度，完成模型训练评估；结果发布，所述结果发布把数据挖掘结果发布到数据库或者相关文件中。
进一步的，所述源数据分析包括：大数据集成，所述大数据集成包括大数据采集和大数据整合，所述大数据采集主要是通过各种技术手段将分散的海量内容数据、行为数据、从业务系统中收集出来，所述大数据整合将各种分布的、异构的数据源中的数据抽取后，进行清洗、转换，最后加载到数据仓库或数据集市中，作为数据分析处理和挖掘的基础；大数据存储与处理，所述大数据存储与处理采用服务器及相关设备把采集到的数据存储起来，使得数据能够被高效地访问和运算；数据治理，所述数据治理包括源数据管理、数据标准管理、数据安全管理及数据生命周期管理。
进一步的，所述大数据存储与处理用于集成分析数据库，所述分析数据库中的父数据包对应数据的主题和摘要，所述子数据包对应数据内容的区块，所述区块包括普通内容和重要内容，所述普通内容和重要内容分别加入密钥。
进一步的，所述数据加密模块通过密码技术对数据传输加密和存储环节加密；在所述数据传输环节，可以通过HTTPS技术建立不同安全域间的加密传输链路，或直接对数据进行加密，以密文形式传输，保障数据传输过程安全；在所述数据存储环节，采取数据加密或硬盘加密技术方式保障数据存储安全。
进一步的，所述数据搜寻模块包括：账号权限管理，所述账号权限管理用于建立统一账号权限管理系统，对各类业务系统、数据库等账号实现统一管理；数据安全域，所述数据安全域包括一个虚拟机集群组成，与数据库服务器通过网关连接，组织内部用户安装相应的终端软件，可以通过中转机实现对原始数据的访问和操作。
进一步的，所述存储模块包括：数据存储层，所述数据存储层负责提供大规模结构化、非结构化数据的分布式存储能力；分析数据库的存储，所述分析数据库的存储用于对各类原始数据按照后续数据分析和业务应用要求分别存储在不同的物理或者逻辑库中；数据整理，所述数据整理经过数据分析层处理后的数据，按照不同业务种类存入对应专题库，通过统一数据服务总线对外提供数据服务。
进一步的，所述数据搜寻模块包括：数据特征捕捉器，所述数据特征捕捉器通过所述客户端接口从文件系统的日志子系统中读取日志条目，从读取的日志条目中提取数据特征及其变化；数据特征库适配器，所述数据特征库适配器根据具体的数据特征分析要求将数据特征及其变化转化成检索条目并根据具体的数据特征分析要求设置数据特征库的库类型和库结构，然后将检索条目重放到数据特征库中；数据特征管理分析子系统，所述数据特征管理分析子系统根据具体的数据特征管理或分析要求，设置检索条件，组织管理和分析数据特征库中的数据特征。
另一方面，本发明提出一种基于大数据的自动化综合管理分析的方法，包括：
通过数据前期处理模块对大数据进行处理，获得分析数据库；
由数据加密模块对所述分析数据库进行加密，获得加密数据；
再由存储模块对所述加密数据进行保存。
另一方面，本发明提出一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行如上所述的自动化综合管理分析的方法。
另一方面，本发明提出一种终端设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令以执行如上所述的自动化综合管理分析的方法。
本发明的有益效果是：本发明将处理完成的数据分成父数据包和子数据包，并通过数据加密模块对父数据包和子数据包赋予有关联性的主密钥和子密钥，子密钥与子密钥之间具有递进式的相连性，并将带有子密钥的子数据包呈分散式保存至存储模块中，在搜索的时候，根据当前输入的正确的子密钥搜索下一个相关的子密钥，并可获得相应的子数据包；反之，在输入错误的子密钥时，则无法获得下一个子数据包，可以进一步的提高数据加密的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例中一种基于大数据的自动化综合管理分析系统的框图；
图2示出了本发明实施例中获取数据的方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对于目前的对数据加密的方式只是对数据的整体加密，没有对数据进行分类整理后进行单独加密，使得数据安全性低，本实施例中通过将处理完成的数据分成父数据包和子数据包，并通过数据加密模块对父数据包和子数据包赋予有关联性的主密钥和子密钥，并结合现有技术中加密的方式来提高数据的安全性，具体如下。
如图1所示的，本发明实施例中提出了一种基于大数据的自动化综合管理分析系统，其主要包括如下并能够实现其功能的各模块构成。
（1）数据前期处理模块，所述数据前期处理模块用于对大数据进行处理，获得分析数据库。大数据集中于物联网设备、多媒体、日志、社交信息等，这些数据具有数据类型多、数据量大、流转速度快、价值密度低的特点。传统关系型数据库无法满足处理半结构化及非结构化数据需要，具有综合能力的大数据管理平台有易于扩展、无序存储、分布式架构的特性，相比传统关系型数据库，更能满足对这些数据的存储需求。大数据管理平台不仅具有存储管理海量数据能力、数据处理性能高和易于扩展的特性，还可以保持传统关系数据库支持ACID和SQL查询等特性，支持关系数据模型。在大数据市场发展下，大数据管理平台需求快速增长。
具体的，所述数据前期处理模块包括：
数据建模，所述数据建模包括根据应用场景建立的数据模型、挖掘数据目标、挖掘数据结果可量度的成功标准，供后期挖掘模型验证使用。
源数据分析，所述源数据分析根据数据模型提供针对源数据的探索性分析和数据质量分析功能，并提供相关报告。所述源数据分析包括：大数据集成，所述大数据集成包括大数据采集和大数据整合，所述大数据采集主要是通过各种技术手段将分散的海量内容数据、行为数据、从业务系统中收集出来，所述大数据整合将各种分布的、异构的数据源中的数据抽取后，进行清洗、转换，最后加载到数据仓库或数据集市中，作为数据分析处理和挖掘的基础。
大数据存储与处理，所述大数据存储与处理采用服务器及相关设备把采集到的数据存储起来，使得数据能够被高效地访问和运算；数据治理，所述数据治理包括源数据管理、数据标准管理、数据安全管理及数据生命周期管理。大数据存储与处理要用用服务器及相关设备把采集到的数据存储起来，使得数据能够被高效地访问和运算。由于数据量的爆发式增长尤其是非结构化数据的大量涌现，传统的单机系统性能出现瓶颈，单纯地提高硬件配置已经难以跟上业务的需求，产生的海量数据没有合适的存储场所，企业被迫放弃大量有价值的数据;数据处理的速度和性能出现瓶颈，业务的深度和广度受到限制。分布式架构及相关技术通过增加服务器的数量来提升系统的处理能力，每个节点都是一个可独立运行的单元，单个节点失效时不会影响应用整体的可用性。分布式系统在扩展性、容错性、经济性、灵活性、可用性和可维护性方面具有明显优势。
算法建模，所述算法建模根据应用场景和数据模型的特点，从挖掘模型的各类算法中选择相适应的算法，建立算法模型，并设置对应参数，对相类似的几种算法模型进行模型评估，择优选择。数据装载，所述数据装载从源数据中采集算法模型所需数据，经过清洗加工，装载到算法模型中。模型训练评估，所述模型训练评估根据模型有效性评估的方法库，结合模型噪声处理，根据学习型模型进行自动测算，训练过程中不断参数调整，根据业务模型匹配度，完成模型训练评估。结果发布，所述结果发布把数据挖掘结果发布到数据库或者相关文件中。
数据分析工具主要专注于为数据预处理、特征工程、数据建模、预测分析等数据分析挖掘关键过程提供工具和相关解决方案，是企业实现对海量数据的深度挖掘的重要工具。随着大数据环境下，数据分析复杂程度的加深，数据科学平台需要持续优化其平台流程、协作及模型治理特性，以保持与软件开发中最佳实践一致。同时，数据科学平台厂商也将通过整合针对算法筛选、分布式模型训练、模型管理、知识图谱和高性能推理等任务的创新解决方案来实现差异化竞争。为了在大数据环境下快速帮助客户实现人工智能赋能的商业决策，智能分析工具将迎来快速发展机遇，在云原生、AI工程化、低代码、隐私安全、云边一体等方面发挥更大的作用。
数据流通，得到的信息作为流通对象，从供应方传递到需求方的过程。数据流通的具体内容包括可视化的分析报告、面向运营人员的数据标签、面向应用可以直接调用的数据指标API、 面向数据分析人员的数据集、面向数据挖掘人员的数据特征、和面向业务建模人员的单方或多方的建模模型等。基于数据水印、数据加密和脱敏、隐私计算、联邦学习的数据流通安全技术，可以提高数据流通的完整性和保密性。
所述大数据存储与处理用于集成分析数据库，所述分析数据库中的父数据包对应数据的主题和摘要，所述子数据包对应数据内容的区块，所述区块包括普通内容和重要内容，所述普通内容和重要内容分别加入密钥。
（2）数据加密模块，所述数据加密模块用于对所述分析数据库进行加密，获得加密数据；所述分析数据库包括父数据包和子数据包，所述数据加密模块对所述父数据包和所述子数据包赋予有关联性的主密钥和子密钥，所述主密钥对应所述父数据包，若干组所述子密钥对应若干组所述子数据包，若干组所述子密钥之间具有递进式的相连性，带有所述子密钥的若干组所述子数据包呈分散式保存至所述存储模块中。
所述数据加密模块通过密码技术对数据传输加密和存储环节加密；在所述数据传输环节，可以通过HTTPS技术建立不同安全域间的加密传输链路，或直接对数据进行加密，以密文形式传输，保障数据传输过程安全；在所述数据存储环节，采取数据加密或硬盘加密技术方式保障数据存储安全。
（3）存储模块，所述存储模块用于对加密数据进行保存；所述存储模块包括：大数据集成，所述大数据集成包括大数据采集和大数据整合，所述大数据采集主要是通过各种技术手段将分散的海量内容数据、行为数据、从业务系统中收集出来。由于大数据本身具有分散、海量、高速、异质的特征，采集难度较大，因此保证数据采集的稳定性、可靠性、高效性、可用性和可扩展性等是主要的技术目标越来越多的企业开始选用专业的数据采集服务。所述大数据整合将各种分布的、异构的数据源中的数据抽取后，进行清洗、转换，最后加载到数据仓库或数据集市中，作为数据分析处理和挖掘的基础；分析数据库的存储，所述分析数据库的存储用于对各类原始数据按照后续数据分析和业务应用要求分别存储在不同的物理或者逻辑库中；数据整理，所述数据整理经过数据分析层处理后的数据，按照不同业务种类存入对应专题库，通过统一数据服务总线对外提供数据服务。
数据治理是对数据资产管理形式权利和控制的活动集合。数据治理是一个管理体系，包括组织、制度、流程和工具，随着集成和存储的数据量增加，数据治理的难度也逐渐增加，牵扯的关联方也越来越多，因此需要一套适合企业的方法论来开展工作。逐渐形成了DAMA、 DCM等较完整的数据治理体系框架，一般包括制定数据治理战略、定义数据治理工作机制、通过各个业务专题来落实相关数据治理工作内容，并最终落实到数据治理工具上来实现高效持续的数据治理的执行流程。具体到数据治理的内容，一般包括元数据管理(包括元数据采集、血缘分析、影响分析等)、数据标准管理(包括标准定义、查询与发布等)、数据质量管理(包括质量规则定义、质量检查、质量报告等)、数据资产管理(包括数据资产编目、数据资产服务、资产审批等)、数据安全管理(包括数据权限管理、数据脱敏、数据加密等)、数据生命周期管理(包括数据归档、数据销毁等)以及主数据管理(包括主数据申请、发布、分发等)这几个主要的部分。
（4）数据搜寻模块，所述数据搜寻模块用于根据当前输入的正确的子密钥搜索下一个相关的子密钥，并可获得相应的子数据包；反之，在输入错误的子密钥时，则无法获得下一个子数据包。
所述数据搜寻模块包括：账号权限管理，建立统一账号权限管理系统，对各类业务系统、数据库等账号实现统一管理，是保障数据在授权范围内被使用的有效方式，也是落实账号权限管理及审批制度必需的技术支撑手段。账号权限管理系统具体实现功能与组织自身需求有关，除基本的创建或删除账号、权限管理和审批功能外，建议实现的功能还包括:是权限控制的颗粒度尽可能小，最好做到对数据表列级的访问和操作权限控制。二是对权限的授予设置有效期，到期自动回收权限。三是记录账号管理操作日志、权限审批日志，并实现自动化审计:日志和审计功能也可以由独立的系统完成。
数据安全域，所述数据安全域包括一个虚拟机集群组成，与数据库服务器通过网关连接，组织内部用户安装相应的终端软件，可以通过中转机实现对原始数据的访问和操作。
所述数据搜寻模块包括：数据特征捕捉器，所述数据特征捕捉器通过所述客户端接口从文件系统的日志子系统中读取日志条目，从读取的日志条目中提取数据特征及其变化；数据特征库适配器，所述数据特征库适配器根据具体的数据特征分析要求将数据特征及其变化转化成检索条目并根据具体的数据特征分析要求设置数据特征库的库类型和库结构，然后将检索条目重放到数据特征库中；数据特征管理分析子系统，所述数据特征管理分析子系统根据具体的数据特征管理或分析要求，设置检索条件，组织管理和分析数据特征库适配器将数据特征及其变化转化成相应的检索条目，并根据库类型PostgreSQL数据特征库和预定义的表结构，重放(Replay)检索条目到PostgreSQL数据特征库中。
数据特征管理分析子系统根据PostgreSQL数据特征库中的内容，设定查询条件做数据的组织和管理：例如挑选出尺寸最大的文件，查找某个时间段更新的所有文件，以及具备某个相同扩展属性值的所有文件。数据特征库还可以为搜索引擎ElasticSearch，查询具备扩展属性内容为ABC的文件。搜索所有文件中，扩展属性ABC和DEF同时出现的概率和文件数据特征库中的数据特征。
另一方面，本实施例中一种基于大数据的自动化综合管理分析的方法，包括：
通过数据前期处理模块对大数据进行处理，获得分析数据库；
由数据加密模块对所述分析数据库进行加密，获得加密数据；
再由存储模块对所述加密数据进行保存。
如图2所示的，在用户获取数据时，通过数据搜寻模块输入的正确的子密钥搜索下一个相关的子密钥，并可获得相应的子数据包；反之，在输入错误的子密钥时，则无法获得下一个子数据包；可以进一步的提高数据加密的安全性。
另一方面，本实施例中，还包括计算机可读存储介质，是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开内容的各个方面。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
另一方面，本实施例中提出一种终端设备，所述终端设备可以包括：至少一个处理器，至少一个存储器，至少一个调制解调器，至少一个eSIM卡和至少一个通讯总线。其中，处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据。存储器可以是高速RAM 存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器可选的还可以是至少一个位于远离前述处理器的存储装置。调制解调器用于处理无线通信。通信总线用于实现这些组件之间的连接通信。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于大数据的自动化综合管理分析的系统，其特征在于，包括：
数据前期处理模块，所述数据前期处理模块用于对大数据进行处理，获得分析数据库；
数据加密模块，所述数据加密模块用于对所述分析数据库进行加密，获得加密数据；
存储模块，所述存储模块用于对加密数据进行保存；
其中，所述分析数据库包括父数据包和子数据包，所述数据加密模块对所述父数据包和所述子数据包赋予有关联性的主密钥和子密钥，所述主密钥对应所述父数据包，若干组所述子密钥对应若干组所述子数据包，若干组所述子密钥之间具有递进式的相连性，带有所述子密钥的若干组所述子数据包呈分散式保存至所述存储模块中；及
数据搜寻模块，所述数据搜寻模块用于根据当前输入的正确的子密钥搜索下一个相关的子密钥，并可获得相应的子数据包；反之，在输入错误的子密钥时，则无法获得下一个子数据包。
2.根据权利要求1所述的一种基于大数据的自动化综合管理分析的系统，其特征在于，所述数据前期处理模块包括：
数据建模，所述数据建模包括根据应用场景建立的数据模型、挖掘数据目标、挖掘数据结果可量度的成功标准，供后期挖掘模型验证使用；
源数据分析，所述源数据分析根据数据模型提供针对源数据的探索性分析和数据质量分析功能，并提供相关报告；
算法建模，所述算法建模根据应用场景和数据模型的特点，从挖掘模型的各类算法中选择相适应的算法，建立算法模型，并设置对应参数，对相类似的几种算法模型进行模型评估，择优选择；
数据装载，所述数据装载从源数据中采集算法模型所需数据，经过清洗加工，装载到算法模型中；
模型训练评估，所述模型训练评估根据模型有效性评估的方法库，结合模型噪声处理，根据学习型模型进行自动测算，训练过程中不断参数调整，根据业务模型匹配度，完成模型训练评估；
结果发布，所述结果发布把数据挖掘结果发布到数据库或者相关文件中。
3.根据权利要求2所述的一种基于大数据的自动化综合管理分析的系统，其特征在于，所述源数据分析包括：
大数据集成，所述大数据集成包括大数据采集和大数据整合，所述大数据采集主要是通过各种技术手段将分散的海量内容数据、行为数据、从业务系统中收集出来，所述大数据整合将各种分布的、异构的数据源中的数据抽取后，进行清洗、转换，最后加载到数据仓库或数据集市中，作为数据分析处理和挖掘的基础；
大数据存储与处理，所述大数据存储与处理采用服务器及相关设备把采集到的数据存储起来，使得数据能够被高效地访问和运算；
数据治理，所述数据治理包括源数据管理、数据标准管理、数据安全管理及数据生命周期管理。
4.根据权利要求2所述的一种基于大数据的自动化综合管理分析的系统，其特征在于，所述大数据存储与处理用于集成分析数据库，所述分析数据库中的父数据包对应数据的主题和摘要，所述子数据包对应数据内容的区块，所述区块包括普通内容和重要内容，所述普通内容和重要内容分别加入密钥。
5.根据权利要求4所述的一种基于大数据的自动化综合管理分析的系统，其特征在于，所述数据加密模块通过密码技术对数据传输加密和存储环节加密；
在所述数据传输环节，可以通过HTTPS技术建立不同安全域间的加密传输链路，或直接对数据进行加密，以密文形式传输，保障数据传输过程安全；在所述数据存储环节，采取数据加密或硬盘加密技术方式保障数据存储安全。
6.根据权利要求5所述的一种基于大数据的自动化综合管理分析的系统，其特征在于，所述数据搜寻模块包括：
账号权限管理，所述账号权限管理用于建立统一账号权限管理的系统，对各类业务系统、数据库等账号实现统一管理；
数据安全域，所述数据安全域包括一个虚拟机集群组成，与数据库服务器通过网关连接，组织内部用户安装相应的终端软件，可以通过中转机实现对原始数据的访问和操作。
7.根据权利要求4所述的一种基于大数据的自动化综合管理分析的系统，其特征在于，所述存储模块包括：
数据存储层，所述数据存储层负责提供大规模结构化、非结构化数据的分布式存储能力；
分析数据库的存储，所述分析数据库的存储用于对各类原始数据按照后续数据分析和业务应用要求分别存储在不同的物理或者逻辑库中；
数据整理，所述数据整理经过数据分析层处理后的数据，按照不同业务种类存入对应专题库，通过统一数据服务总线对外提供数据服务。
8.一种根据权利要求1-7任意一项所述的一种基于大数据的自动化综合管理分析的系统的方法，其特征在于，包括：
通过数据前期处理模块对大数据进行处理，获得分析数据库；
由数据加密模块对所述分析数据库进行加密，获得加密数据；
再由存储模块对所述加密数据进行保存。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求8所述的自动化综合管理分析的方法。
10.一种终端设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令以执行权利要求8所述的自动化综合管理分析的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310338697.2A CN116383844B (zh) | 2023-03-31 | 2023-03-31 | 基于大数据自动化综合管理分析系统、方法、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310338697.2A CN116383844B (zh) | 2023-03-31 | 2023-03-31 | 基于大数据自动化综合管理分析系统、方法、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116383844A true CN116383844A (zh) | 2023-07-04 |
| CN116383844B CN116383844B (zh) | 2024-02-09 |
Family
ID=86972613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310338697.2A Active CN116383844B (zh) | 2023-03-31 | 2023-03-31 | 基于大数据自动化综合管理分析系统、方法、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116383844B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012090331A1 (ja) * | 2010-12-28 | 2012-07-05 | 富士通株式会社 | 鍵設定方法、ノード、サーバ、およびネットワークシステム |
| WO2019046317A1 (en) * | 2017-08-28 | 2019-03-07 | (N)Alibaba Group Holding Limited | METHOD AND APPARATUS FOR PROCESSING KEY DATA, AND CUSTOMER |
| CN110032874A (zh) * | 2019-01-31 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 一种数据存储方法、装置及设备 |
| CN111507713A (zh) * | 2020-04-09 | 2020-08-07 | 链博(成都)科技有限公司 | 一种基于区块链的资产与数据集成管理方法、系统及终端 |
| CN111860847A (zh) * | 2020-07-22 | 2020-10-30 | 安徽华典大数据科技有限公司 | 一种基于量子计算的数据加密方法 |
| CN113346997A (zh) * | 2021-08-05 | 2021-09-03 | 北京紫光青藤微系统有限公司 | 用于物联网设备通信的方法及装置、物联网设备、服务器 |
| CN115051790A (zh) * | 2022-07-29 | 2022-09-13 | 上海电气风电集团股份有限公司 | 一种数据加密方法、数据解密方法及装置、存储介质 |
| CN115409511A (zh) * | 2022-10-31 | 2022-11-29 | 北京亿赛通科技发展有限责任公司 | 一种基于区块链的个人信息保护系统 |
| CN115426189A (zh) * | 2022-09-06 | 2022-12-02 | 孙娟 | 一种基于大数据的信息安全防护方法和系统 |
-
2023
- 2023-03-31 CN CN202310338697.2A patent/CN116383844B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012090331A1 (ja) * | 2010-12-28 | 2012-07-05 | 富士通株式会社 | 鍵設定方法、ノード、サーバ、およびネットワークシステム |
| WO2019046317A1 (en) * | 2017-08-28 | 2019-03-07 | (N)Alibaba Group Holding Limited | METHOD AND APPARATUS FOR PROCESSING KEY DATA, AND CUSTOMER |
| CN110032874A (zh) * | 2019-01-31 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 一种数据存储方法、装置及设备 |
| CN111507713A (zh) * | 2020-04-09 | 2020-08-07 | 链博(成都)科技有限公司 | 一种基于区块链的资产与数据集成管理方法、系统及终端 |
| CN111860847A (zh) * | 2020-07-22 | 2020-10-30 | 安徽华典大数据科技有限公司 | 一种基于量子计算的数据加密方法 |
| CN113346997A (zh) * | 2021-08-05 | 2021-09-03 | 北京紫光青藤微系统有限公司 | 用于物联网设备通信的方法及装置、物联网设备、服务器 |
| CN115051790A (zh) * | 2022-07-29 | 2022-09-13 | 上海电气风电集团股份有限公司 | 一种数据加密方法、数据解密方法及装置、存储介质 |
| CN115426189A (zh) * | 2022-09-06 | 2022-12-02 | 孙娟 | 一种基于大数据的信息安全防护方法和系统 |
| CN115409511A (zh) * | 2022-10-31 | 2022-11-29 | 北京亿赛通科技发展有限责任公司 | 一种基于区块链的个人信息保护系统 |
Non-Patent Citations (3)
| Title |
|---|
| S. AMUTHA 等: "Onion Integrated aggregate node Behavior Analysis with onion Based Protocol", 2020 6TH INTERNATIONAL CONFERENCE ON ADVANCED COMPUTING AND COMMUNICATION SYSTEMS (ICACCS), pages 1 - 3 * |
| 崔鹏;杨军;施进明;王素娟;: "加解密技术在我国新一代气象卫星数据传输中的应用", 气象科技, no. 02, pages 233 - 236 * |
| 王亚华;凌玉华;廖力清;孙克辉;刘文浩;: "基于动态子密钥的WSN混沌分组加密方案", 通信学报, no. 12, pages 144 - 152 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116383844B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11449562B2 (en) | Enterprise data processing | |
| Siddiqa et al. | A survey of big data management: Taxonomy and state-of-the-art | |
| Jaseena et al. | Issues, challenges, and solutions: big data mining | |
| El Arass et al. | Data lifecycles analysis: towards intelligent cycle | |
| Nasridinov et al. | A decision tree-based classification model for crime prediction | |
| CN106777222B (zh) | 基于轻量级领域本体的安全设备威胁情报共享方法 | |
| Thakur et al. | Detection of malicious URLs in big data using RIPPER algorithm | |
| Henze et al. | Complying with data handling requirements in cloud storage systems | |
| CN114756563A (zh) | 一种互联网多种复杂业务线并存的数据治理系统 | |
| Kim et al. | Comparative experiment on TTP classification with class imbalance using oversampling from CTI dataset | |
| Dong | Exploration on web usage mining and its application | |
| CN116383844B (zh) | 基于大数据自动化综合管理分析系统、方法、介质及设备 | |
| CN117453922A (zh) | 一种电力威胁情报知识图谱快速构建及存储系统 | |
| Wadhera et al. | A systematic Review of Big data tools and application for developments | |
| US12061711B2 (en) | Credential-based data access and synthesis | |
| Punn et al. | Testing big data application | |
| Wang et al. | Applications of Machine Learning in Public Security Information and Resource Management | |
| CN105809577B (zh) | 一种基于规则和组件的电厂信息化数据的分类处理方法 | |
| CN104572648B (zh) | 一种基于高性能计算的存储统计系统及方法 | |
| Rao et al. | Novel big data networking framework using multihoming optimization for distributed stream computing | |
| Jayapandian | Securing Cloud Data against Cyber-Attacks Using Hybrid AES with MHT Algorithm | |
| Antelmi et al. | The SWH-Analytics Framework | |
| Wang et al. | Tunnel security management based on association rule mining under Hadoop platform | |
| Popov et al. | Big data analytics in support of information security | |
| Deng et al. | [Retracted] Security Risk and Preventive Measures of Multimedia Database System under Remote Control of Network Robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |