CN117272390A - 信息安全的数据处理方法、装置、设备及存储介质 - Google Patents

信息安全的数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117272390A
CN117272390A CN202311534997.4A CN202311534997A CN117272390A CN 117272390 A CN117272390 A CN 117272390A CN 202311534997 A CN202311534997 A CN 202311534997A CN 117272390 A CN117272390 A CN 117272390A
Authority
CN
China
Prior art keywords
information
node
target
data
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311534997.4A
Other languages
English (en)
Other versions
CN117272390B (zh
Inventor
张�成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haizhijing Technology Group Co ltd
Original Assignee
Haizhijing Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haizhijing Technology Group Co ltd filed Critical Haizhijing Technology Group Co ltd
Priority to CN202311534997.4A priority Critical patent/CN117272390B/zh
Publication of CN117272390A publication Critical patent/CN117272390A/zh
Application granted granted Critical
Publication of CN117272390B publication Critical patent/CN117272390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理领域,公开了一种信息安全的数据处理方法、装置、设备及存储介质,用于提高信息存储的安全性。方法包括:对多个第一片段信息进行信息特征提取,得到目标片段信息特征,并构建初始分布式存储网络;进行数据混淆处理,生成第二片段信息;进行动态密钥生成,得到目标动态密钥;进行节点状态信息更新,得到目标节点状态信息,并对目标节点状态信息进行节点状态特征提取,得到每个第一存储节点的目标节点状态特征;根据目标节点状态特征创建每个第一存储节点对应的至少两个第二存储节点,并根据至少两个第二存储节点对初始分布式存储网络进行网络更新,得到目标分布式存储网络。

Description

信息安全的数据处理方法、装置、设备及存储介质
技术领域
本发明涉及数据处理领域,尤其涉及一种信息安全的数据处理方法、装置、设备及存储介质。
背景技术
在当今数字化时代,数据的安全性和隐私保护变得至关重要。随着云计算、大数据、物联网和分布式系统的广泛应用,数据存储和处理面临着前所未有的挑战。数据安全性不仅仅是数据泄漏的问题,还包括保护数据免受未经授权的访问、保证数据完整性、提高数据可用性以及应对日益复杂的网络威胁。
传统的数据安全方法通常依赖于静态的加密和访问控制策略。然而,这些方法在应对动态和复杂的威胁时不足够,即现有方案的信息安全性低。
发明内容
本发明提供了一种信息安全的数据处理方法、装置、设备及存储介质,用于提高信息存储的安全性。
本发明第一方面提供了一种信息安全的数据处理方法,所述信息安全的数据处理方法包括:
获取待处理的第一原始信息,并对所述第一原始信息进行预处理,得到第二原始信息,以及对所述第二原始信息进行动态分割,得到多个第一片段信息;
对所述多个第一片段信息进行信息特征提取,得到每个第一片段信息的目标片段信息特征,并根据所述目标片段信息特征构建所述多个第一片段信息对应的初始分布式存储网络;
将所述多个第一片段信息存储至所述初始分布式存储网络中的多个第一存储节点,并通过预置的数据混淆算法分别对所述多个第一片段信息进行数据混淆处理,生成每个第一存储节点的第二片段信息;
分别计算所述多个第一存储节点的密钥更新时间,并根据所述密钥更新时间对所述多个第一存储节点进行动态密钥生成,得到每个第一存储节点的目标动态密钥;
根据所述目标动态密钥和所述第二片段信息,对所述多个第一存储节点进行节点状态信息更新,得到目标节点状态信息,并对所述目标节点状态信息进行节点状态特征提取,得到每个第一存储节点的目标节点状态特征;
根据所述目标节点状态特征创建每个第一存储节点对应的至少两个第二存储节点,并根据所述至少两个第二存储节点对所述初始分布式存储网络进行网络更新,得到目标分布式存储网络。
结合第一方面,在本发明第一方面的第一种实现方式中,所述获取待处理的第一原始信息,并对所述第一原始信息进行预处理,得到第二原始信息,以及对所述第二原始信息进行动态分割,得到多个第一片段信息,包括:
获取待处理的第一原始信息,并对所述第一原始信息进行数据清洗,得到目标标准信息;
对所述目标标准信息进行信息去噪,得到第二原始信息,并对所述第二原始信息进行信息特征分析,得到对应的信息特征集合,其中,所述信息特征集合包括:数据类型、数据大小以及数据结构;
获取多个候选动态分割策略,并将所述信息特征集合和所述多个候选动态分割策略输入预置的随机森林模型,并通过所述随机森林模型对所述信息特征集合进行分割策略分析,得到最优动态分割策略;
根据所述最优动态分割策略,对所述第二原始信息进行动态分割,得到多个第一片段信息。
结合第一方面,在本发明第一方面的第二种实现方式中,所述对所述多个第一片段信息进行信息特征提取,得到每个第一片段信息的目标片段信息特征,并根据所述目标片段信息特征构建所述多个第一片段信息对应的初始分布式存储网络,包括:
将所述多个第一片段信息输入预置的均值漂移聚类分析模型,并通过所述均值漂移聚类分析模型的初始移动密度函数对所述多个第一片段信息进行聚类中心计算,得到每个第一片段信息的多个候选聚类中心;
对每个第一片段信息与所述多个候选聚类中心进行距离计算,得到每个候选聚类中心对应的多个特征中心距,并对所述多个特征中心距进行平均值计算,得到每个候选聚类中心对应的平均中心距;
通过所述平均中心距对所述初始移动密度函数的搜索半径参数进行调整,得到目标搜索半径参数,并将所述初始移动密度函数的初始搜索半径参数替换为所述目标搜索半径参数,得到目标移动密度函数;
通过所述目标移动密度函数对所述多个候选聚类中心进行聚类中心筛选,得到每个第一片段信息对应的目标聚类中心;
通过所述目标聚类中心从所述多个第一片段信息中确定对应的多组片段信息特征,得到每个第一片段信息的目标片段信息特征;
分别设置每个第一片段信息的第一存储节点,并根据所述目标片段信息特征,对所述第一存储节点进行节点连接关系分析,得到第一节点连接关系;
根据所述第一节点连接关系,生成所述多个第一片段信息对应的初始分布式存储网络。
结合第一方面,在本发明第一方面的第三种实现方式中,所述将所述多个第一片段信息存储至所述初始分布式存储网络中的多个第一存储节点,并通过预置的数据混淆算法分别对所述多个第一片段信息进行数据混淆处理,生成每个第一存储节点的第二片段信息,包括:
将所述多个第一片段信息存储至所述初始分布式存储网络中的多个第一存储节点;
分别在所述多个第一存储节点中,对所述多个第一片段信息进行数据分块,得到多个第一数据块;
通过预置的数据混淆算法分别对所述多个第一数据块进行数据混淆处理,得到多个第二数据块;
对所述多个第二数据块进行数据组装,生成每个第一存储节点的第二片段信息。
结合第一方面,在本发明第一方面的第四种实现方式中,所述分别计算所述多个第一存储节点的密钥更新时间,并根据所述密钥更新时间对所述多个第一存储节点进行动态密钥生成,得到每个第一存储节点的目标动态密钥,包括:
根据每个第一片段信息的目标片段信息特征,分别设置每个第一片段信息的密钥更新策略;
根据所述密钥更新策略,分别计算所述多个第一存储节点的密钥更新时间,并获取每个第一存储节点的当前动态密钥;
通过预置的对称密钥加密算法,计算所述多个第一存储节点的目标动态密钥;
根据所述密钥更新时间和所述目标动态密钥,对所述多个第一存储节点进行动态密钥替换,得到每个第一存储节点的目标动态密钥。
结合第一方面,在本发明第一方面的第五种实现方式中,所述根据所述目标动态密钥和所述第二片段信息,对所述多个第一存储节点进行节点状态信息更新,得到目标节点状态信息,并对所述目标节点状态信息进行节点状态特征提取,得到每个第一存储节点的目标节点状态特征,包括:
根据所述目标动态密钥和所述第二片段信息,对所述多个第一存储节点进行节点状态信息更新,并对所述多个第一存储节点进行节点状态监控,得到目标节点状态信息;
对所述目标节点状态信息进行数据分类,得到节点负载数据、节点性能指标以及节点可用性数据;
分别对所述节点负载数据、所述节点性能指标以及所述节点可用性数据进行曲线转换,得到节点负载曲线、节点性能曲线以及节点可用性曲线;
对所述节点负载曲线进行曲线特征提取,得到第一节点状态特征集合,并对所述节点性能曲线进行曲线特征提取,得到第二节点状态特征集合,以及对所述节点可用性曲线进行曲线特征提取,得到第三节点状态特征集合;
根据所述第一节点状态特征集合、所述第二节点状态特征集合以及所述第三节点状态特征集合,生成每个第一存储节点的目标节点状态特征。
结合第一方面,在本发明第一方面的第六种实现方式中,所述根据所述目标节点状态特征创建每个第一存储节点对应的至少两个第二存储节点,并根据所述至少两个第二存储节点对所述初始分布式存储网络进行网络更新,得到目标分布式存储网络,包括:
根据所述目标节点状态特征,分别计算每个第一存储节点对应的假存储节点数量,其中,所述假存储节点数量≥2;
根据所述假存储节点数量,创建每个第一存储节点对应的至少两个第二存储节点;
对所述多个第一存储节点及每个第一存储节点对应的至少两个第二存储节点进行节点连接关系分析,得到第二节点连接关系;
根据所述第二节点连接关系,对所述初始分布式存储网络进行网络更新,得到目标分布式存储网络。
本发明第二方面提供了一种信息安全的数据处理装置,所述信息安全的数据处理装置包括:
获取模块,用于获取待处理的第一原始信息,并对所述第一原始信息进行预处理,得到第二原始信息,以及对所述第二原始信息进行动态分割,得到多个第一片段信息;
构建模块,用于对所述多个第一片段信息进行信息特征提取,得到每个第一片段信息的目标片段信息特征,并根据所述目标片段信息特征构建所述多个第一片段信息对应的初始分布式存储网络;
混淆处理模块,用于将所述多个第一片段信息存储至所述初始分布式存储网络中的多个第一存储节点,并通过预置的数据混淆算法分别对所述多个第一片段信息进行数据混淆处理,生成每个第一存储节点的第二片段信息;
密钥生成模块,用于分别计算所述多个第一存储节点的密钥更新时间,并根据所述密钥更新时间对所述多个第一存储节点进行动态密钥生成,得到每个第一存储节点的目标动态密钥;
特征提取模块,用于根据所述目标动态密钥和所述第二片段信息,对所述多个第一存储节点进行节点状态信息更新,得到目标节点状态信息,并对所述目标节点状态信息进行节点状态特征提取,得到每个第一存储节点的目标节点状态特征;
更新模块,用于根据所述目标节点状态特征创建每个第一存储节点对应的至少两个第二存储节点,并根据所述至少两个第二存储节点对所述初始分布式存储网络进行网络更新,得到目标分布式存储网络。
本发明第三方面提供了一种信息安全的数据处理设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述信息安全的数据处理设备执行上述的信息安全的数据处理方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的信息安全的数据处理方法。
本发明提供的技术方案中,对多个第一片段信息进行信息特征提取,得到目标片段信息特征,并构建初始分布式存储网络;进行数据混淆处理,生成第二片段信息;进行动态密钥生成,得到目标动态密钥;进行节点状态信息更新,得到目标节点状态信息,并对目标节点状态信息进行节点状态特征提取,得到每个第一存储节点的目标节点状态特征;根据目标节点状态特征创建每个第一存储节点对应的至少两个第二存储节点,并根据至少两个第二存储节点对初始分布式存储网络进行网络更新,得到目标分布式存储网络,本发明采用了多重安全措施,包括数据混淆、动态密钥生成和密钥管理,从而确保了数据的高级别安全性。每个存储节点都使用独特的目标动态密钥,这降低了数据泄漏和未经授权访问的风险。通过动态分割、密钥更新和节点状态信息更新,该方法能够适应不断变化的数据环境。这使得数据处理过程更加灵活和智能,能够应对新的威胁和需求。对敏感数据进行混淆处理,确保即使在数据被泄露或遭受攻击的情况下,也难以还原原始信息。这为隐私保护提供了有效的措施。通过创建至少两个第二存储节点,增加了数据的冗余性。即使某个存储节点发生故障,数据仍然可用。这提高了数据的可用性和可靠性。引入了随机森林和机器学习技术,用于动态分割策略和节点状态信息的智能分析。这使得数据处理更加智能化,能够根据数据特征和需求做出自适应决策。通过分布式存储网络和数据混淆,方法能够提高数据的处理和存储效率。数据混淆可以降低数据传输和存储的开销,而分布式存储网络可以提供更高的数据吞吐量。包括了网络更新策略,使得系统管理员能够根据节点状态信息进行网络的优化和维护,进而提高了信息存储的安全性。
附图说明
图1为本发明实施例中信息安全的数据处理方法的一个实施例示意图;
图2为本发明实施例中构建初始分布式存储网络的流程图;
图3为本发明实施例中数据混淆处理的流程图;
图4为本发明实施例中动态密钥生成的流程图;
图5为本发明实施例中信息安全的数据处理装置的一个实施例示意图;
图6为本发明实施例中信息安全的数据处理设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种信息安全的数据处理方法、装置、设备及存储介质,用于提高信息存储的安全性。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中信息安全的数据处理方法的一个实施例包括:
S101、获取待处理的第一原始信息,并对第一原始信息进行预处理,得到第二原始信息,以及对第二原始信息进行动态分割,得到多个第一片段信息;
可以理解的是,本发明的执行主体可以为信息安全的数据处理装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的,服务器获取待处理的第一原始信息,并对其进行数据清洗,以得到目标标准信息。数据清洗涉及去除无效、重复或损坏的数据,以确保后续处理的准确性。例如,在医疗记录处理中,原始信息包括病人姓名、日期、病史等信息。数据清洗可用于去除格式错误的日期或姓名拼写错误。对目标标准信息进行信息去噪,以得到第二原始信息。信息去噪是通过识别和排除数据中的噪声或异常值来提高数据质量的过程。在金融领域,如果分析交易数据,会发现异常的交易,如错误金额或不寻常的交易时间。信息去噪可以帮助排除这些异常值,以获得更干净的第二原始信息。同时,对第二原始信息进行信息特征分析,以得到信息特征集合。这一步骤涉及对数据进行深入分析,以了解其内容和结构。信息特征集合包括数据的类型(例如,文本、数字、图像等)、大小(数据量)、数据结构(例如,表格、关系等)等方面的信息。例如,在自然语言处理中,对文本数据进行信息特征分析可以提取出文本的语言、长度、情感倾向等特征。需要获取多个候选动态分割策略,这些策略将用于后续的数据分割过程。这些策略基于不同的数据特征或业务需求,以确保最佳的数据分割结果。例如,如果处理一组销售数据,候选分割策略可以包括按地区、按产品类别或按时间段进行分割。将信息特征集合和多个候选动态分割策略输入预置的随机森林模型中,通过这个模型对信息特征集合进行分割策略分析,以得到最优的动态分割策略。随机森林模型是一种机器学习算法,可以自动选择最佳策略,以根据数据特征来分割数据。例如,如果处理的是市场销售数据,模型可以分析数据特征,然后确定最佳的分割策略,例如按销售额最高的产品类别进行分割。根据所得到的最优动态分割策略,对第二原始信息进行动态分割,以获得多个第一片段信息。这些分割后的数据片段将根据最优策略划分成适当的子集,以便进一步的处理或分析。例如,如果最优分割策略是按地区进行分割,那么数据将根据不同地区的标志分成多个第一片段信息,每个包含相应地区的数据。
S102、对多个第一片段信息进行信息特征提取,得到每个第一片段信息的目标片段信息特征,并根据目标片段信息特征构建多个第一片段信息对应的初始分布式存储网络;
具体的,服务器将多个第一片段信息输入预先配置的均值漂移聚类分析模型。均值漂移是一种无参数的聚类方法,可用于确定数据点的聚类中心。对于每个第一片段信息,该模型将计算多个候选聚类中心。对每个第一片段信息和候选聚类中心进行距离计算,以测量它们之间的相似度。计算每个候选聚类中心对应的多个特征中心距,并求取这些中心距的平均值。使用平均中心距来调整均值漂移聚类分析模型的搜索半径参数。搜索半径参数用于确定哪些数据点应该被聚类到相同的中心。通过调整搜索半径参数,可以更好地适应数据的分布特征。得到目标搜索半径参数后,替换初始移动密度函数中的搜索半径参数,从而生成目标移动密度函数。借助目标移动密度函数,对候选聚类中心进行筛选,得到每个第一片段信息的目标聚类中心。目标聚类中心是那些在目标移动密度函数下具有高密度的数据点。根据目标聚类中心,从多个第一片段信息中确定对应的多组片段信息特征。这些特征反映了每个第一片段信息的关键属性,可用于后续的数据处理或分析。为每个第一片段信息设置第一存储节点。这些节点将负责存储相应的信息片段,确保信息的安全存储和高效检索。基于目标片段信息特征,进行节点连接关系分析,以确定如何连接这些第一存储节点。根据第一节点连接关系,生成多个第一片段信息对应的初始分布式存储网络。这个网络将确保数据的分布式存储和管理,以满足信息安全和高效性的要求。例如,假设服务器正在处理一个医疗数据集,其中包含患者的医疗记录。每个患者的记录都包括病历、诊断报告、治疗方案等信息。服务器根据这些信息构建一个分布式存储网络,以确保数据的安全性和可管理性。将每个患者的医疗记录输入均值漂移聚类分析模型。该模型将为每个记录计算多个候选聚类中心,这些中心代表了不同患者记录的特征。计算每个候选聚类中心与患者记录之间的距离,并计算平均中心距。通过平均中心距,调整搜索半径参数,以适应不同记录之间的差异。使用目标移动密度函数对候选聚类中心进行筛选,得到每个患者记录的目标聚类中心。这些目标中心将代表不同患者记录的特征。根据目标聚类中心,确定每个患者记录的目标片段信息特征,例如患者病症、诊断结果等。为每个患者记录设置第一存储节点,并根据目标片段信息特征,分析节点连接关系。生成初始分布式存储网络,确保每个患者记录的安全存储和高效管理。
S103、将多个第一片段信息存储至初始分布式存储网络中的多个第一存储节点,并通过预置的数据混淆算法分别对多个第一片段信息进行数据混淆处理,生成每个第一存储节点的第二片段信息;
需要说明的是,将待处理的第一原始信息进行分片,并将这些信息存储在分布式存储网络中的多个第一存储节点上。每个存储节点负责管理一部分数据,这样即使其中一个存储节点遭受损坏,数据仍然可以从其他节点中恢复。针对每个第一存储节点中的第一片段信息,采用预置的数据混淆算法进行数据混淆处理。数据混淆可以包括加密、乱序排列、数据扰动等方法,以增强数据的保密性和安全性。这一步骤旨在使原始数据在存储和传输过程中变得难以理解和解密。通过数据混淆处理,每个第一存储节点生成了相应的第二片段信息。这些第二片段信息包含了经过混淆处理的数据,是数据的安全表示形式。在分布式存储网络中,每个第一存储节点的第二片段信息可以用于数据的恢复和访问。只有经过授权的用户才能解密和还原原始数据,因为这些用户具备相应的解密密钥和访问权限。例如,假设一家医院需要安全地存储和处理患者的医疗记录,以保护患者的隐私。医院将患者的医疗记录分片,将每个片段包含一部分患者信息,并将这些数据片段存储在分布式存储网络的多个第一存储节点上。这样做的目的是确保数据的冗余备份和可用性,即使其中一个存储节点遭受损坏,数据仍然可以从其他节点中恢复。对于每个第一存储节点中的数据片段,采用预置的数据混淆算法进行处理。数据混淆包括对患者姓名、身份证号码、地址等敏感信息进行加密,并对其他医疗数据进行匿名化处理,如日期随机化或数据脱敏。目的是增强数据的保密性和安全性,使原始数据在存储和传输过程中变得难以理解和解密。通过数据混淆处理,每个第一存储节点生成了相应的第二片段信息,其中包含了混淆后的医疗记录,这是数据的安全表示形式。在分布式存储网络中,只有授权的医疗专业人员才能访问存储的数据。他们需要具备相应的解密密钥和访问权限,以解密并还原原始的医疗记录。这样,患者的隐私得到了保护,只有合法的用户才能访问他们的医疗信息。
S104、分别计算多个第一存储节点的密钥更新时间,并根据密钥更新时间对多个第一存储节点进行动态密钥生成,得到每个第一存储节点的目标动态密钥;
具体的,针对每个第一片段信息,根据其目标片段信息特征分别设置密钥更新策略。密钥更新策略可以基于不同的因素,如数据敏感性、访问频率、安全需求等来确定。例如,对于高度敏感的数据,需要更频繁地更新密钥,而对于较低敏感性的数据,更新频率可以较低。根据所设置的密钥更新策略,计算每个第一存储节点的密钥更新时间。这个时间间隔可以是固定的,也可以是根据策略动态调整的。密钥更新时间的计算是确保密钥不会长时间暴露在潜在威胁下的重要步骤。一旦密钥更新时间计算完成,服务器会获取每个第一存储节点的当前动态密钥。这些当前密钥用于数据的加密和解密,同时在密钥更新过程中作为参考。通过预置的对称密钥加密算法,计算每个第一存储节点的目标动态密钥。这个算法通常需要考虑密钥更新时间、当前密钥以及其他安全参数。目标动态密钥的计算是确保在密钥更新时数据的连续性和完整性的关键步骤。根据计算得到的目标动态密钥和密钥更新时间,对每个第一存储节点进行动态密钥替换。这意味着当前的动态密钥将被新生成的目标动态密钥替代。这个替换过程通常是无缝的,以确保数据的可用性。例如,考虑一个金融机构,需要安全地存储客户的交易数据。对于高价值的交易数据,金融机构设置了更频繁的密钥更新策略,如每小时一次。当密钥更新时间到达时,服务器会根据当前密钥计算新的目标动态密钥,然后将其替换,以确保交易数据的安全性。
S105、根据目标动态密钥和第二片段信息,对多个第一存储节点进行节点状态信息更新,得到目标节点状态信息,并对目标节点状态信息进行节点状态特征提取,得到每个第一存储节点的目标节点状态特征;
具体的,服务器根据目标动态密钥和第二片段信息,对多个第一存储节点进行节点状态信息更新。这个步骤涉及使用目标动态密钥解密第二片段信息,以获得有关节点状态的详细信息。这些信息包括节点的负载情况、性能指标以及可用性数据等。对目标节点状态信息进行数据分类。目的是将节点状态信息组织成可用于进一步处理的数据集合。通常,数据分类可以分为节点负载数据、节点性能指标和节点可用性数据等不同类别,以便更好地理解节点的状态。分别对节点负载数据、节点性能指标和节点可用性数据进行曲线转换。曲线转换将原始数据转换为时间序列曲线,以便更好地可视化和分析节点状态的变化趋势。这些曲线将成为后续特征提取的基础。对节点负载曲线进行曲线特征提取。曲线特征提取涉及对节点负载曲线进行分析,以提取出反映节点负载变化的关键特征。这些特征包括平均负载、峰值负载、负载波动性等。同样,对节点性能曲线进行曲线特征提取。目的是从性能曲线中提取出关键性能指标的特征,如响应时间、吞吐量、延迟等。对节点可用性曲线进行曲线特征提取。这个过程涉及到从可用性曲线中提取出反映节点可用性的特征,如可用性的百分比、故障持续时间等。例如,考虑一个云计算环境,其中有多个存储节点用于存储客户的数据。通过对每个存储节点的目标动态密钥解密第二片段信息,服务器获得节点的实时状态信息,包括负载情况、性能指标和可用性数据。这些信息随后被分类并转换为时间序列曲线。通过曲线特征提取,服务器获得每个节点的目标节点状态特征,帮助监控和管理云存储环境的健康状况。
S106、根据目标节点状态特征创建每个第一存储节点对应的至少两个第二存储节点,并根据至少两个第二存储节点对初始分布式存储网络进行网络更新,得到目标分布式存储网络。
具体的,根据目标节点状态特征,分别计算每个第一存储节点对应的假存储节点数量。目的是根据节点状态的特征信息来确定每个第一存储节点需要多少个备用存储节点。确保备用节点数量足够多以应对潜在的故障或性能下降。根据计算出的假存储节点数量,为每个第一存储节点创建至少两个第二存储节点。这些第二存储节点将充当备用节点的角色,用于存储冗余数据或提供额外的计算资源。创建的第二存储节点应分布在不同的物理位置或网络域内,以提高服务器的冗余性。对多个第一存储节点及其对应的至少两个第二存储节点进行节点连接关系分析。这个步骤涉及确定每个第一存储节点与其备用节点之间的连接关系。连接关系可以基于网络拓扑、地理位置、性能指标等因素进行分析。根据得到的第二节点连接关系,对初始分布式存储网络进行网络更新,以获得目标分布式存储网络。在更新过程中,确保每个第一存储节点与其至少两个第二存储节点之间建立了可靠的连接,并且备用节点可以有效地接管主节点的任务,以提供高可用性和性能。例如,考虑一个金融数据分析平台,该平台使用分布式存储来存储客户的交易数据。根据目标节点状态特征,服务器发现某些存储节点的负载较高,存在性能瓶颈。为了提高服务器的可用性和性能,服务器根据节点状态特征计算出每个存储节点需要至少两个备用节点。服务器为每个存储节点创建了至少两个备用节点,并确保这些备用节点分布在不同的数据中心。接着,服务器进行节点连接关系分析,确保主节点与备用节点之间建立了可靠的连接,可以实现数据的冗余存储和故障切换。服务器根据新的节点连接关系更新了分布式存储网络,形成了目标分布式存储网络。这个更新后的网络具有更高的可用性和性能,可以更好地应对潜在的故障或性能下降情况,确保客户的数据始终可靠和可访问。
本发明实施例中,对多个第一片段信息进行信息特征提取,得到目标片段信息特征,并构建初始分布式存储网络;进行数据混淆处理,生成第二片段信息;进行动态密钥生成,得到目标动态密钥;进行节点状态信息更新,得到目标节点状态信息,并对目标节点状态信息进行节点状态特征提取,得到每个第一存储节点的目标节点状态特征;根据目标节点状态特征创建每个第一存储节点对应的至少两个第二存储节点,并根据至少两个第二存储节点对初始分布式存储网络进行网络更新,得到目标分布式存储网络,本发明采用了多重安全措施,包括数据混淆、动态密钥生成和密钥管理,从而确保了数据的高级别安全性。每个存储节点都使用独特的目标动态密钥,这降低了数据泄漏和未经授权访问的风险。通过动态分割、密钥更新和节点状态信息更新,该方法能够适应不断变化的数据环境。这使得数据处理过程更加灵活和智能,能够应对新的威胁和需求。对敏感数据进行混淆处理,确保即使在数据被泄露或遭受攻击的情况下,也难以还原原始信息。这为隐私保护提供了有效的措施。通过创建至少两个第二存储节点,增加了数据的冗余性。即使某个存储节点发生故障,数据仍然可用。这提高了数据的可用性和可靠性。引入了随机森林和机器学习技术,用于动态分割策略和节点状态信息的智能分析。这使得数据处理更加智能化,能够根据数据特征和需求做出自适应决策。通过分布式存储网络和数据混淆,方法能够提高数据的处理和存储效率。数据混淆可以降低数据传输和存储的开销,而分布式存储网络可以提供更高的数据吞吐量。包括了网络更新策略,使得系统管理员能够根据节点状态信息进行网络的优化和维护,进而提高了信息存储的安全性。
在一具体实施例中,执行步骤S101的过程可以具体包括如下步骤:
(1)获取待处理的第一原始信息,并对第一原始信息进行数据清洗,得到目标标准信息;
(2)对目标标准信息进行信息去噪,得到第二原始信息,并对第二原始信息进行信息特征分析,得到对应的信息特征集合,其中,信息特征集合包括:数据类型、数据大小以及数据结构;
(3)获取多个候选动态分割策略,并将信息特征集合和多个候选动态分割策略输入预置的随机森林模型,并通过随机森林模型对信息特征集合进行分割策略分析,得到最优动态分割策略;
(4)根据最优动态分割策略,对第二原始信息进行动态分割,得到多个第一片段信息。
具体的,服务器获取待处理的第一原始信息,并对其进行数据清洗,以得到目标标准信息。数据清洗包括去除重复数据、处理缺失值、纠正格式错误等,以确保数据的一致性和准确性。例如,假设服务器要处理一组销售订单数据,首先需要将数据加载到处理系统中,并进行清洗,删除重复订单和缺失的关键信息。对目标标准信息进行信息去噪,以得到第二原始信息。信息去噪的目的是消除数据中的干扰和噪声,使数据更具可分析性。这可以通过各种统计方法、滤波器或规则引擎来实现。例如,在销售订单数据中,存在由于传感器错误或人为错误而引入的异常数据点,需要进行去噪以获得准确的订单信息。对第二原始信息进行信息特征分析,以得到信息特征集合,包括数据类型、数据大小以及数据结构等。信息特征分析可以使用数据挖掘技术、统计分析和机器学习方法来完成。例如,可以分析订单数据中的各个字段,确定哪些字段是类别型数据、数值型数据,以及它们之间的关系和分布。获取多个候选动态分割策略,并将信息特征集合和这些策略输入预置的随机森林模型,通过随机森林模型对信息特征集合进行分割策略分析,得到最优动态分割策略。这个步骤涉及到机器学习算法的应用,随机森林模型可以自动学习并选择最适合数据特征的分割策略。例如,可以根据订单数据的特征集合,包括订单金额、产品类别、订单日期等,训练一个随机森林模型来确定如何最好地分割这些订单以便进行后续分析。根据最优动态分割策略,对第二原始信息进行动态分割,得到多个第一片段信息。这个分割过程是根据模型的输出和策略来完成的,以确保每个第一片段信息包含了相关的数据子集,以便进行后续的分析或处理。例如,假设服务器有一组电子商务网站的访问日志数据,其中包含用户信息、访问时间、浏览页面等信息。服务器将这些原始日志数据加载到处理系统中,并进行数据清洗,去除重复的日志和格式错误的数据。服务器进行信息去噪,删除那些由于网络问题或爬虫活动引入的异常日志。服务器对干净的数据进行信息特征分析,识别出数据类型、数据大小和数据结构等特征。服务器获取了多个候选的动态分割策略,如按用户分割、按访问时间分割等。将信息特征集合和这些策略输入一个随机森林模型,该模型自动学习了数据特征和最佳分割策略之间的关系,并选择了最适合的策略。根据模型的输出,服务器对日志数据进行了动态分割,生成了多个第一片段信息,每个包含了一组相关的访问日志,便于后续的用户行为分析或网站性能监控。这样,通过信息处理方法,服务器更好地管理和分析大规模数据。
在一具体实施例中,如图2所示,执行步骤S102的过程可以具体包括如下步骤:
S201、将多个第一片段信息输入预置的均值漂移聚类分析模型,并通过均值漂移聚类分析模型的初始移动密度函数对多个第一片段信息进行聚类中心计算,得到每个第一片段信息的多个候选聚类中心;
S202、对每个第一片段信息与多个候选聚类中心进行距离计算,得到每个候选聚类中心对应的多个特征中心距,并对多个特征中心距进行平均值计算,得到每个候选聚类中心对应的平均中心距;
S203、通过平均中心距对初始移动密度函数的搜索半径参数进行调整,得到目标搜索半径参数,并将初始移动密度函数的初始搜索半径参数替换为目标搜索半径参数,得到目标移动密度函数;
S204、通过目标移动密度函数对多个候选聚类中心进行聚类中心筛选,得到每个第一片段信息对应的目标聚类中心;
S205、通过目标聚类中心从多个第一片段信息中确定对应的多组片段信息特征,得到每个第一片段信息的目标片段信息特征;
S206、分别设置每个第一片段信息的第一存储节点,并根据目标片段信息特征,对第一存储节点进行节点连接关系分析,得到第一节点连接关系;
S207、根据第一节点连接关系,生成多个第一片段信息对应的初始分布式存储网络。
具体的,服务器将多个第一片段信息输入预置的均值漂移聚类分析模型。均值漂移聚类是一种无参数的密度估计方法,用于寻找数据中的聚类中心。该模型会对数据进行分析,找出数据中的聚类中心。通过均值漂移聚类分析模型的初始移动密度函数对多个第一片段信息进行聚类中心计算。这一步骤将根据数据的密度来确定聚类中心,从而得到每个第一片段信息的多个候选聚类中心。对每个第一片段信息与多个候选聚类中心进行距离计算,得到每个候选聚类中心对应的多个特征中心距,并对这些特征中心距进行平均值计算,以获得每个候选聚类中心的平均中心距。这有助于确定哪些候选中心更接近数据。通过平均中心距对初始移动密度函数的搜索半径参数进行调整,得到目标搜索半径参数。搜索半径参数决定了在聚类分析中哪些数据点将被分配给同一聚类中心。将初始移动密度函数的初始搜索半径参数替换为目标搜索半径参数,得到目标移动密度函数。通过目标移动密度函数对多个候选聚类中心进行聚类中心筛选,得到每个第一片段信息对应的目标聚类中心。这一步骤将确定最终的聚类中心,以便后续处理。通过目标聚类中心从多个第一片段信息中确定对应的多组片段信息特征。每个第一片段信息将与一个或多个聚类中心相关联,从而获得了目标片段信息特征。分别设置每个第一片段信息的第一存储节点,并根据目标片段信息特征,对第一存储节点进行节点连接关系分析。这将帮助确定如何将数据存储在分布式存储网络中的节点上。根据第一节点连接关系,生成多个第一片段信息对应的初始分布式存储网络。例如,假设服务器有一组移动用户的位置数据,希望将这些数据进行分析并构建一个分布式存储网络,以便更有效地管理和查询位置信息。服务器将这些位置数据输入均值漂移聚类分析模型,该模型将自动找出位置数据中的热点区域作为聚类中心。服务器计算每个热点区域与候选聚类中心的距离,并计算出平均中心距。通过调整搜索半径参数,服务器确定了目标搜索半径参数,以便更好地划分热点区域。服务器使用目标移动密度函数对候选聚类中心进行筛选,获得了最终的聚类中心,代表了不同的热点区域。接着,服务器将位置数据与这些聚类中心相关联,获得了每个位置数据的目标片段信息特征,例如所属的热点区域。服务器将位置数据分配给不同的存储节点,并根据目标片段信息特征来确定它们之间的连接关系,从而构建了一个分布式存储网络,可以更好地存储和查询位置数据。通过这个方法,服务器实现了对位置数据的分析和管理。
在一具体实施例中,如图3所示,执行步骤S103的过程可以具体包括如下步骤:
S301、将多个第一片段信息存储至初始分布式存储网络中的多个第一存储节点;
S302、分别在多个第一存储节点中,对多个第一片段信息进行数据分块,得到多个第一数据块;
S303、通过预置的数据混淆算法分别对多个第一数据块进行数据混淆处理,得到多个第二数据块;
S304、对多个第二数据块进行数据组装,生成每个第一存储节点的第二片段信息。
具体的,服务器将多个第一片段信息存储至初始分布式存储网络中的多个第一存储节点。这些存储节点可以分布在不同的物理位置,以确保数据的冗余性和高可用性。分别在多个第一存储节点中对多个第一片段信息进行数据分块。数据分块是将大块数据划分为较小的块,以便更好地管理和处理数据。每个第一存储节点将自己的第一片段信息分割成多个第一数据块。通过预置的数据混淆算法,分别对多个第一数据块进行数据混淆处理。数据混淆是一种隐私保护技术,用于对数据进行加密或扰乱,以确保数据的机密性。每个第一数据块将被混淆处理,得到多个第二数据块。对多个第二数据块进行数据组装,生成每个第一存储节点的第二片段信息。这一步骤将混淆后的数据块按照一定的规则重新组合,以还原原始数据。每个第一存储节点将生成其自己的第二片段信息,这些信息已经经过混淆处理,可以在存储网络中安全地存储。例如,假设服务器有一个医疗数据库,其中包含患者的个人健康记录。为了确保患者的隐私,服务器将这些数据存储在一个分布式存储网络中,并对其进行数据混淆处理。服务器将医疗记录信息存储到多个第一存储节点中,这些节点可以位于不同的医疗机构。每个第一存储节点对其医疗记录数据进行分块,将每个患者的记录分成多个小块。服务器使用预置的数据混淆算法对每个小块数据进行混淆处理。这可以包括加密、置换、扰乱等技术,以保护患者的个人信息。每个小块数据都被混淆成一个第二数据块。服务器将每个第二数据块组装在一起,以还原每个第一存储节点的第二片段信息。这些第二片段信息包含了混淆后的数据,只有经过合适的解混淆步骤才能还原为原始医疗记录。这样,服务器在分布式存储网络中安全地存储了医疗数据,并确保了患者的隐私。
在一具体实施例中,如图4所示,执行步骤S104的过程可以具体包括如下步骤:
S401、根据每个第一片段信息的目标片段信息特征,分别设置每个第一片段信息的密钥更新策略;
S402、根据密钥更新策略,分别计算多个第一存储节点的密钥更新时间,并获取每个第一存储节点的当前动态密钥;
S403、通过预置的对称密钥加密算法,计算多个第一存储节点的目标动态密钥;
S404、根据密钥更新时间和目标动态密钥,对多个第一存储节点进行动态密钥替换,得到每个第一存储节点的目标动态密钥。
具体的,服务器根据目标动态密钥和第二片段信息,对多个第一存储节点进行节点状态信息更新。这个过程包括节点状态监控,以获取目标节点状态信息。目标节点状态信息可以包括节点的负载数据、性能指标以及可用性数据。目标节点状态信息需要进行数据分类,以便更好地理解和分析。这个分类过程可以将信息分为节点负载数据、节点性能指标以及节点可用性数据,以便更详细地了解每个节点的状态。进一步,对节点负载数据、节点性能指标以及节点可用性数据进行曲线转换。这些转换可以将原始数据转化为更容易分析的曲线形式,其中包括节点负载曲线、节点性能曲线以及节点可用性曲线。针对这些曲线数据,进行曲线特征提取。这个过程涉及从曲线中提取有意义的特征,以描述节点状态的关键方面。从节点负载曲线中提取第一节点状态特征集合,从节点性能曲线中提取第二节点状态特征集合,以及从节点可用性曲线中提取第三节点状态特征集合。根据第一、第二和第三节点状态特征集合,生成每个第一存储节点的目标节点状态特征。这些目标节点状态特征将用于后续操作,如动态分布式存储网络的更新和管理。例如,假设服务器有一个云存储系统,存储了用户的个人文档。每个用户的文档都经过加密,而密钥管理和更新是关键。对于每个用户的文档,服务器制定了密钥更新策略。例如,每隔30天更新一次密钥,使用AES-256位加密算法,以前一个密钥的散列作为种子生成新密钥。对于每个文档,服务器根据其密钥更新策略计算下一次密钥更新的时间。在密钥更新之前,服务器获取每个文档的当前动态密钥,以便用户可以继续访问其文档。根据策略和当前密钥,服务器使用AES-256位加密算法计算每个文档的目标动态密钥。当密钥更新时间到达时,服务器将当前密钥替换为计算得到的目标动态密钥。这确保了用户可以继续访问其文档,同时保持了数据的安全性。
在一具体实施例中,执行步骤S105的过程可以具体包括如下步骤:
(1)根据目标动态密钥和第二片段信息,对多个第一存储节点进行节点状态信息更新,并对多个第一存储节点进行节点状态监控,得到目标节点状态信息;
(2)对目标节点状态信息进行数据分类,得到节点负载数据、节点性能指标以及节点可用性数据;
(3)分别对节点负载数据、节点性能指标以及节点可用性数据进行曲线转换,得到节点负载曲线、节点性能曲线以及节点可用性曲线;
(4)对节点负载曲线进行曲线特征提取,得到第一节点状态特征集合,并对节点性能曲线进行曲线特征提取,得到第二节点状态特征集合,以及对节点可用性曲线进行曲线特征提取,得到第三节点状态特征集合;
(5)根据第一节点状态特征集合、第二节点状态特征集合以及第三节点状态特征集合,生成每个第一存储节点的目标节点状态特征。
具体的,根据目标动态密钥和第二片段信息,多个第一存储节点进行节点状态信息的更新。这包括数据完整性检查、加密状态的验证以及其他安全性相关操作。同时,对这些节点进行节点状态监控,以捕获节点的性能、负载和可用性数据。对目标节点状态信息进行数据分类,以区分不同类型的信息。这个分类可以分为以下几个方面:节点负载数据:包括节点的负载情况、处理请求的速度等信息;节点性能指标:包括CPU利用率、内存使用情况、网络带宽等性能相关数据;节点可用性数据:包括节点的在线状态、响应时间、错误率等可用性相关信息。对于每个分类的数据,进行曲线转换以更好地理解节点状态的趋势和模式。曲线转换包括将原始数据按时间序列进行排序、平滑或者聚合。对节点负载数据进行曲线转换可以帮助识别负载的高峰和低谷;对节点性能指标进行曲线转换有助于观察性能的波动和趋势;对节点可用性数据进行曲线转换可以帮助检测节点的在线和离线状态。在曲线转换后,对每个分类的数据进行曲线特征提取。这些特征可以是统计信息、频域分析、时间序列分析等。曲线特征提取有助于从曲线数据中捕获关键信息。对节点负载曲线进行特征提取可以获得关于负载分布、平均负载等信息;对节点性能曲线进行特征提取可以获得有关性能稳定性和趋势的信息;对节点可用性曲线进行特征提取可以获得节点在线时间的统计信息。根据第一节点状态特征集合、第二节点状态特征集合以及第三节点状态特征集合,生成每个第一存储节点的目标节点状态特征。这些特征将包括节点的负载、性能和可用性的关键信息,以帮助监控、管理和维护分布式存储网络。例如,假设一个云存储提供商管理着分布式存储节点,这些节点用于存储各种类型的数据,包括图像、视频和文档。通过根据目标动态密钥和第二片段信息来更新节点状态,可以确保数据在存储和访问过程中的安全性和完整性。对于一个存储图像的节点,节点状态信息更新包括检查图像文件是否被篡改以及访问权限的验证。监控方面,记录了节点的响应时间和错误率等性能指标,以及节点的在线状态。对于一个存储视频的节点,节点状态信息更新包括验证视频文件的完整性和加密状态。性能方面,监控视频处理的速度和带宽利用率。可用性数据则包括在线状态和响应时间。通过对这些数据进行分类、曲线转换和特征提取,可以获得有关节点状态的深入洞察,帮助提供商及时发现并解决问题,提高服务质量,确保数据的安全性和可用性。
在一具体实施例中,执行步骤S106的过程可以具体包括如下步骤:
(1)根据目标节点状态特征,分别计算每个第一存储节点对应的假存储节点数量,其中,假存储节点数量≥2;
(2)根据假存储节点数量,创建每个第一存储节点对应的至少两个第二存储节点;
(3)对多个第一存储节点及每个第一存储节点对应的至少两个第二存储节点进行节点连接关系分析,得到第二节点连接关系;
(4)根据第二节点连接关系,对初始分布式存储网络进行网络更新,得到目标分布式存储网络。
具体的,根据目标节点状态特征,服务器分别对每个第一存储节点计算假存储节点的数量。这里强调假存储节点数量必须大于等于2,以确保数据的冗余备份。假存储节点是虚拟的存储实体,用于备份和保护数据,以应对存储节点故障的情况。根据计算得到的假存储节点数量,为每个第一存储节点创建至少两个第二存储节点。这些第二存储节点是用来存储数据的实际存储单元,它们的存在是为了提供数据冗余和容错。对多个第一存储节点以及每个第一存储节点对应的至少两个第二存储节点进行节点连接关系分析。这个分析过程涉及确定数据如何在这些存储节点之间进行分布,以实现数据冗余备份和容错性。分析还包括网络拓扑结构的规划,以确保数据在存储节点之间的高效传输。基于分析得到的第二节点连接关系,对初始的分布式存储网络进行网络更新。这包括重新分布数据,确保数据的同步和一致性,以及配置新的网络拓扑结构和节点之间的通信机制。网络更新的过程需要高度自动化和智能化,以确保网络在不中断服务的情况下进行更新。例如,假设有一个云存储服务提供商。该服务提供商的存储网络正在经历日益增长的负载,导致存储节点性能下降。根据目标节点状态特征,服务器发现某些存储节点的性能已经接近极限,会影响数据访问速度和可用性。服务器首先计算了每个第一存储节点需要的假存储节点数量,以确保数据的冗余备份。服务器为每个第一存储节点创建了至少两个第二存储节点。这些第二存储节点位于不同的物理位置,以提供更好的容错性。服务器进行节点连接关系分析,确定了数据在各个存储节点之间的分布方式。例如,某个存储节点的数据会备份到两个不同地理位置的第二存储节点上,以确保数据的冗余备份和容错性。服务器进行了网络更新,确保数据的重新分布和同步,并调整了存储节点之间的通信路径,以适应新的存储拓扑结构。这个过程在不中断云存储服务的情况下完成,用户可以继续无缝地访问其存储在云中的数据,而无需担心数据的可用性和安全性。通过这种方式,云存储服务提供商能够持续提供高性能和高可用性的存储服务,满足不断增长的用户需求。
上面对本发明实施例中信息安全的数据处理方法进行了描述,下面对本发明实施例中信息安全的数据处理装置进行描述,请参阅图5,本发明实施例中信息安全的数据处理装置一个实施例包括:
获取模块501,用于获取待处理的第一原始信息,并对所述第一原始信息进行预处理,得到第二原始信息,以及对所述第二原始信息进行动态分割,得到多个第一片段信息;
构建模块502,用于对所述多个第一片段信息进行信息特征提取,得到每个第一片段信息的目标片段信息特征,并根据所述目标片段信息特征构建所述多个第一片段信息对应的初始分布式存储网络;
混淆处理模块503,用于将所述多个第一片段信息存储至所述初始分布式存储网络中的多个第一存储节点,并通过预置的数据混淆算法分别对所述多个第一片段信息进行数据混淆处理,生成每个第一存储节点的第二片段信息;
密钥生成模块504,用于分别计算所述多个第一存储节点的密钥更新时间,并根据所述密钥更新时间对所述多个第一存储节点进行动态密钥生成,得到每个第一存储节点的目标动态密钥;
特征提取模块505,用于根据所述目标动态密钥和所述第二片段信息,对所述多个第一存储节点进行节点状态信息更新,得到目标节点状态信息,并对所述目标节点状态信息进行节点状态特征提取,得到每个第一存储节点的目标节点状态特征;
更新模块506,用于根据所述目标节点状态特征创建每个第一存储节点对应的至少两个第二存储节点,并根据所述至少两个第二存储节点对所述初始分布式存储网络进行网络更新,得到目标分布式存储网络。
通过上述各个组成部分的协同合作,对多个第一片段信息进行信息特征提取,得到目标片段信息特征,并构建初始分布式存储网络;进行数据混淆处理,生成第二片段信息;进行动态密钥生成,得到目标动态密钥;进行节点状态信息更新,得到目标节点状态信息,并对目标节点状态信息进行节点状态特征提取,得到每个第一存储节点的目标节点状态特征;根据目标节点状态特征创建每个第一存储节点对应的至少两个第二存储节点,并根据至少两个第二存储节点对初始分布式存储网络进行网络更新,得到目标分布式存储网络,本发明采用了多重安全措施,包括数据混淆、动态密钥生成和密钥管理,从而确保了数据的高级别安全性。每个存储节点都使用独特的目标动态密钥,这降低了数据泄漏和未经授权访问的风险。通过动态分割、密钥更新和节点状态信息更新,该方法能够适应不断变化的数据环境。这使得数据处理过程更加灵活和智能,能够应对新的威胁和需求。对敏感数据进行混淆处理,确保即使在数据被泄露或遭受攻击的情况下,也难以还原原始信息。这为隐私保护提供了有效的措施。通过创建至少两个第二存储节点,增加了数据的冗余性。即使某个存储节点发生故障,数据仍然可用。这提高了数据的可用性和可靠性。引入了随机森林和机器学习技术,用于动态分割策略和节点状态信息的智能分析。这使得数据处理更加智能化,能够根据数据特征和需求做出自适应决策。通过分布式存储网络和数据混淆,方法能够提高数据的处理和存储效率。数据混淆可以降低数据传输和存储的开销,而分布式存储网络可以提供更高的数据吞吐量。包括了网络更新策略,使得系统管理员能够根据节点状态信息进行网络的优化和维护,进而提高了信息存储的安全性。
上面图5从模块化功能实体的角度对本发明实施例中的信息安全的数据处理装置进行详细描述,下面从硬件处理的角度对本发明实施例中信息安全的数据处理设备进行详细描述。
图6是本发明实施例提供的一种信息安全的数据处理设备的结构示意图,该信息安全的数据处理设备600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)610(例如,一个或一个以上处理器)和存储器620,一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对信息安全的数据处理设备600中的一系列指令操作。更进一步地,处理器610可以设置为与存储介质630通信,在信息安全的数据处理设备600上执行存储介质630中的一系列指令操作。
信息安全的数据处理设备600还可以包括一个或一个以上电源640,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口660,和/或,一个或一个以上操作系统631,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图6示出的信息安全的数据处理设备结构并不构成对信息安全的数据处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种信息安全的数据处理设备,所述信息安全的数据处理设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述信息安全的数据处理方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述信息安全的数据处理方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种信息安全的数据处理方法,其特征在于,所述信息安全的数据处理方法包括:
获取待处理的第一原始信息,并对所述第一原始信息进行预处理,得到第二原始信息,以及对所述第二原始信息进行动态分割,得到多个第一片段信息;
对所述多个第一片段信息进行信息特征提取,得到每个第一片段信息的目标片段信息特征,并根据所述目标片段信息特征构建所述多个第一片段信息对应的初始分布式存储网络;
将所述多个第一片段信息存储至所述初始分布式存储网络中的多个第一存储节点,并通过预置的数据混淆算法分别对所述多个第一片段信息进行数据混淆处理,生成每个第一存储节点的第二片段信息;
分别计算所述多个第一存储节点的密钥更新时间,并根据所述密钥更新时间对所述多个第一存储节点进行动态密钥生成,得到每个第一存储节点的目标动态密钥;
根据所述目标动态密钥和所述第二片段信息,对所述多个第一存储节点进行节点状态信息更新,得到目标节点状态信息,并对所述目标节点状态信息进行节点状态特征提取,得到每个第一存储节点的目标节点状态特征;
根据所述目标节点状态特征创建每个第一存储节点对应的至少两个第二存储节点,并根据所述至少两个第二存储节点对所述初始分布式存储网络进行网络更新,得到目标分布式存储网络。
2.根据权利要求1所述的信息安全的数据处理方法,其特征在于,所述获取待处理的第一原始信息,并对所述第一原始信息进行预处理,得到第二原始信息,以及对所述第二原始信息进行动态分割,得到多个第一片段信息,包括:
获取待处理的第一原始信息,并对所述第一原始信息进行数据清洗,得到目标标准信息;
对所述目标标准信息进行信息去噪,得到第二原始信息,并对所述第二原始信息进行信息特征分析,得到对应的信息特征集合,其中,所述信息特征集合包括:数据类型、数据大小以及数据结构;
获取多个候选动态分割策略,并将所述信息特征集合和所述多个候选动态分割策略输入预置的随机森林模型,并通过所述随机森林模型对所述信息特征集合进行分割策略分析,得到最优动态分割策略;
根据所述最优动态分割策略,对所述第二原始信息进行动态分割,得到多个第一片段信息。
3.根据权利要求1所述的信息安全的数据处理方法,其特征在于,所述对所述多个第一片段信息进行信息特征提取,得到每个第一片段信息的目标片段信息特征,并根据所述目标片段信息特征构建所述多个第一片段信息对应的初始分布式存储网络,包括:
将所述多个第一片段信息输入预置的均值漂移聚类分析模型,并通过所述均值漂移聚类分析模型的初始移动密度函数对所述多个第一片段信息进行聚类中心计算,得到每个第一片段信息的多个候选聚类中心;
对每个第一片段信息与所述多个候选聚类中心进行距离计算,得到每个候选聚类中心对应的多个特征中心距,并对所述多个特征中心距进行平均值计算,得到每个候选聚类中心对应的平均中心距;
通过所述平均中心距对所述初始移动密度函数的搜索半径参数进行调整,得到目标搜索半径参数,并将所述初始移动密度函数的初始搜索半径参数替换为所述目标搜索半径参数,得到目标移动密度函数;
通过所述目标移动密度函数对所述多个候选聚类中心进行聚类中心筛选,得到每个第一片段信息对应的目标聚类中心;
通过所述目标聚类中心从所述多个第一片段信息中确定对应的多组片段信息特征,得到每个第一片段信息的目标片段信息特征;
分别设置每个第一片段信息的第一存储节点,并根据所述目标片段信息特征,对所述第一存储节点进行节点连接关系分析,得到第一节点连接关系;
根据所述第一节点连接关系,生成所述多个第一片段信息对应的初始分布式存储网络。
4.根据权利要求3所述的信息安全的数据处理方法,其特征在于,所述将所述多个第一片段信息存储至所述初始分布式存储网络中的多个第一存储节点,并通过预置的数据混淆算法分别对所述多个第一片段信息进行数据混淆处理,生成每个第一存储节点的第二片段信息,包括:
将所述多个第一片段信息存储至所述初始分布式存储网络中的多个第一存储节点;
分别在所述多个第一存储节点中,对所述多个第一片段信息进行数据分块,得到多个第一数据块;
通过预置的数据混淆算法分别对所述多个第一数据块进行数据混淆处理,得到多个第二数据块;
对所述多个第二数据块进行数据组装,生成每个第一存储节点的第二片段信息。
5.根据权利要求1所述的信息安全的数据处理方法,其特征在于,所述分别计算所述多个第一存储节点的密钥更新时间,并根据所述密钥更新时间对所述多个第一存储节点进行动态密钥生成,得到每个第一存储节点的目标动态密钥,包括:
根据每个第一片段信息的目标片段信息特征,分别设置每个第一片段信息的密钥更新策略;
根据所述密钥更新策略,分别计算所述多个第一存储节点的密钥更新时间,并获取每个第一存储节点的当前动态密钥;
通过预置的对称密钥加密算法,计算所述多个第一存储节点的目标动态密钥;
根据所述密钥更新时间和所述目标动态密钥,对所述多个第一存储节点进行动态密钥替换,得到每个第一存储节点的目标动态密钥。
6.根据权利要求1所述的信息安全的数据处理方法,其特征在于,所述根据所述目标动态密钥和所述第二片段信息,对所述多个第一存储节点进行节点状态信息更新,得到目标节点状态信息,并对所述目标节点状态信息进行节点状态特征提取,得到每个第一存储节点的目标节点状态特征,包括:
根据所述目标动态密钥和所述第二片段信息,对所述多个第一存储节点进行节点状态信息更新,并对所述多个第一存储节点进行节点状态监控,得到目标节点状态信息;
对所述目标节点状态信息进行数据分类,得到节点负载数据、节点性能指标以及节点可用性数据;
分别对所述节点负载数据、所述节点性能指标以及所述节点可用性数据进行曲线转换,得到节点负载曲线、节点性能曲线以及节点可用性曲线;
对所述节点负载曲线进行曲线特征提取,得到第一节点状态特征集合,并对所述节点性能曲线进行曲线特征提取,得到第二节点状态特征集合,以及对所述节点可用性曲线进行曲线特征提取,得到第三节点状态特征集合;
根据所述第一节点状态特征集合、所述第二节点状态特征集合以及所述第三节点状态特征集合,生成每个第一存储节点的目标节点状态特征。
7.根据权利要求1所述的信息安全的数据处理方法,其特征在于,所述根据所述目标节点状态特征创建每个第一存储节点对应的至少两个第二存储节点,并根据所述至少两个第二存储节点对所述初始分布式存储网络进行网络更新,得到目标分布式存储网络,包括:
根据所述目标节点状态特征,分别计算每个第一存储节点对应的假存储节点数量,其中,所述假存储节点数量≥2;
根据所述假存储节点数量,创建每个第一存储节点对应的至少两个第二存储节点;
对所述多个第一存储节点及每个第一存储节点对应的至少两个第二存储节点进行节点连接关系分析,得到第二节点连接关系;
根据所述第二节点连接关系,对所述初始分布式存储网络进行网络更新,得到目标分布式存储网络。
8.一种信息安全的数据处理装置,其特征在于,所述信息安全的数据处理装置包括:
获取模块,用于获取待处理的第一原始信息,并对所述第一原始信息进行预处理,得到第二原始信息,以及对所述第二原始信息进行动态分割,得到多个第一片段信息;
构建模块,用于对所述多个第一片段信息进行信息特征提取,得到每个第一片段信息的目标片段信息特征,并根据所述目标片段信息特征构建所述多个第一片段信息对应的初始分布式存储网络;
混淆处理模块,用于将所述多个第一片段信息存储至所述初始分布式存储网络中的多个第一存储节点,并通过预置的数据混淆算法分别对所述多个第一片段信息进行数据混淆处理,生成每个第一存储节点的第二片段信息;
密钥生成模块,用于分别计算所述多个第一存储节点的密钥更新时间,并根据所述密钥更新时间对所述多个第一存储节点进行动态密钥生成,得到每个第一存储节点的目标动态密钥;
特征提取模块,用于根据所述目标动态密钥和所述第二片段信息,对所述多个第一存储节点进行节点状态信息更新,得到目标节点状态信息,并对所述目标节点状态信息进行节点状态特征提取,得到每个第一存储节点的目标节点状态特征;
更新模块,用于根据所述目标节点状态特征创建每个第一存储节点对应的至少两个第二存储节点,并根据所述至少两个第二存储节点对所述初始分布式存储网络进行网络更新,得到目标分布式存储网络。
9.一种信息安全的数据处理设备,其特征在于,所述信息安全的数据处理设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述信息安全的数据处理设备执行如权利要求1-7中任一项所述的信息安全的数据处理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-7中任一项所述的信息安全的数据处理方法。
CN202311534997.4A 2023-11-17 2023-11-17 信息安全的数据处理方法、装置、设备及存储介质 Active CN117272390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311534997.4A CN117272390B (zh) 2023-11-17 2023-11-17 信息安全的数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311534997.4A CN117272390B (zh) 2023-11-17 2023-11-17 信息安全的数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117272390A true CN117272390A (zh) 2023-12-22
CN117272390B CN117272390B (zh) 2024-03-22

Family

ID=89204833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311534997.4A Active CN117272390B (zh) 2023-11-17 2023-11-17 信息安全的数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117272390B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117521120A (zh) * 2024-01-08 2024-02-06 深圳易思智科技有限公司 一种文件加密方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103929467A (zh) * 2013-01-14 2014-07-16 埃森哲环球服务有限公司 安全在线分布式的数据存储服务
US20150006895A1 (en) * 2009-06-01 2015-01-01 Maidsafe Foundation Distributed network system
US20200153627A1 (en) * 2018-11-09 2020-05-14 Ares Technologies, Inc. Systems and methods for distributed key storage
US10965448B1 (en) * 2017-05-03 2021-03-30 Board Of Trustees Of The University Of Illinois Dynamic distributed storage for scaling blockchain
CN112711774A (zh) * 2021-03-25 2021-04-27 腾讯科技(深圳)有限公司 数据处理方法、装置、设备及存储介质
CN112800450A (zh) * 2021-02-05 2021-05-14 北京众享比特科技有限公司 数据存储方法、系统、装置、设备和存储介质
CN112988764A (zh) * 2021-05-14 2021-06-18 北京百度网讯科技有限公司 数据存储方法、装置、设备和存储介质
CN116663938A (zh) * 2023-07-28 2023-08-29 珠海大横琴泛旅游发展有限公司 基于企业数据中台系统的信息化管理方法及其相关装置
CN117040743A (zh) * 2023-09-22 2023-11-10 康丽丽 一种面向大数据的分布式存储方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150006895A1 (en) * 2009-06-01 2015-01-01 Maidsafe Foundation Distributed network system
CN103929467A (zh) * 2013-01-14 2014-07-16 埃森哲环球服务有限公司 安全在线分布式的数据存储服务
US10965448B1 (en) * 2017-05-03 2021-03-30 Board Of Trustees Of The University Of Illinois Dynamic distributed storage for scaling blockchain
US20200153627A1 (en) * 2018-11-09 2020-05-14 Ares Technologies, Inc. Systems and methods for distributed key storage
CN112800450A (zh) * 2021-02-05 2021-05-14 北京众享比特科技有限公司 数据存储方法、系统、装置、设备和存储介质
CN112711774A (zh) * 2021-03-25 2021-04-27 腾讯科技(深圳)有限公司 数据处理方法、装置、设备及存储介质
CN112988764A (zh) * 2021-05-14 2021-06-18 北京百度网讯科技有限公司 数据存储方法、装置、设备和存储介质
US20220198052A1 (en) * 2021-05-14 2022-06-23 Beijing Baidu Netcom Science Technology Co., Ltd. Data storage method, device, and storage medium
CN116663938A (zh) * 2023-07-28 2023-08-29 珠海大横琴泛旅游发展有限公司 基于企业数据中台系统的信息化管理方法及其相关装置
CN117040743A (zh) * 2023-09-22 2023-11-10 康丽丽 一种面向大数据的分布式存储方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117521120A (zh) * 2024-01-08 2024-02-06 深圳易思智科技有限公司 一种文件加密方法、装置、设备及存储介质
CN117521120B (zh) * 2024-01-08 2024-04-09 深圳易思智科技有限公司 一种文件加密方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN117272390B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
US11157366B1 (en) Securing data in a dispersed storage network
US10089036B2 (en) Migrating data in a distributed storage network
CN117272390B (zh) 信息安全的数据处理方法、装置、设备及存储介质
EP1062583B1 (en) System and method for model mining complex information technology systems
Svacina et al. On vulnerability and security log analysis: A systematic literature review on recent trends
Lin et al. Collaborative alert ranking for anomaly detection
CN114424195B (zh) 对同态加密数据的有效无监督异常检测
Cao et al. Behavior-based community detection: Application to host assessment in enterprise information networks
Joshi et al. Big data security and privacy issues—A survey
Talha et al. Quality and Security in Big Data: Challenges as opportunities to build a powerful wrap-up solution.
CN116842558A (zh) 一种医疗信息互通交互系统及应用
El Hadj et al. Validation and correction of large security policies: A clustering and access log based approach
Balashunmugaraja et al. Optimal key generation for data sanitization and restoration of cloud data: Future of financial cyber security
Mungamuru et al. Privacy, Preservation and Performance: The 3 P's of Distributed Data Management
Al-Sumaidaee et al. A technical assessment of blockchain in healthcare with a focus on big data
KR102311997B1 (ko) 인공지능 행위분석 기반의 edr 장치 및 방법
Devaki et al. A study on challenges in data security during data transformation
Ahmadi et al. Privacy-preserving cloud computing: ecosystem, life cycle, layered architecture and future roadmap
US20230367903A1 (en) System and method for detecting and obfuscating confidential information in task logs
US20230367636A1 (en) System and method for determining memory resource configuration for network nodes to operate in a distributed computing network
Ma et al. Knowledge-driven user behavior pattern discovery for system security enhancement
JP7300781B1 (ja) データ管理システム、データ管理方法、及びデータ管理プログラム
Odera A survey on techniques, methods and security approaches in big data healthcare
Avila et al. Employing feature selection to improve the performance of intrusion detection systems
US11782789B2 (en) Encoding data and associated metadata in a storage network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant