CN117270785B - 一种基于大数据平台的数据安全存储方法及系统 - Google Patents

Abstract

本发明公开了一种基于大数据平台的数据安全存储方法，涉及数据安全存储技术领域，该方法包括以下步骤：对原始数据进行分类，识别敏感数据，并进行标记；针对敏感数据，进行二次识别，识别资产数据和隐私数据，并对数据进行数据分块与冗余备份处理；对资产数据和隐私数据进行加密处理；建立全面的权限管理机制；获取周期内平台受到攻击的次数、资产数据的资产价值、隐私数据的数据量、数据异常操作次数，并对数据安全风险进行评估，生成安全风险评估系数；设定第一风险评估阈值和第二风险评估阈值，并通过和安全风险评估系数比对，建立安全风险等级；根据不同安全风险等级，采取对应安全处理措施。

Description

一种基于大数据平台的数据安全存储方法及系统

技术领域

本发明涉及数据安全存储技术领域，具体为一种基于大数据平台的数据安全存储方法及系统。

背景技术

大数据平台是一种以处理和管理大规模数据为核心的技术平台。它为组织和企业提供了收集、存储、处理和分析大量结构化和非结构化数据的能力，以便从中获取有价值的信息和洞察力，在当今信息时代，大数据平台已成为企业和组织处理和存储大量数据的重要手段。

如申请号为CN202211608504.2的专利申请中，公开了一种基于大数据平台的数据安全存储方法，涉及数据安全存储技术领域，通过获取到所有的目标数据；之后获取到目标数据的文件属性，建立伪目标数据，之后对伪目标数据进行内容填充，根据目标数据的标题和具体内容的属性自动匹配相关的内容，将其填充到伪目标数据内；再之后添加到暗文件地址到伪目标数据中，通过对伪目标数据进行重新分段处理，将唯一数值与对应的伪目标数据内的段落特性保持一致之后，建立唯一数值与暗文件地址内的标的字符的映射数据关系，并将伪目标数据中的多余段落内容赋予废弃标识，得到更新处理后的伪目标数据、映射数据关系和废弃标识。

然而，随着数据量的增长和数据价值的提升，数据安全问题也愈发引人关注。传统的数据存储方法在面对大数据环境下的安全挑战时显得力不从心，无法及时发现安全风险，因此需要一种基于大数据平台的数据安全存储方法及系统。

发明内容

(一)解决的技术问题

本发明提供了一种基于大数据平台的数据安全存储方法及系统，旨在针对大数据环境下的数据存储过程进行安全评估，发现安全风险，及时采取相应的安全措施，保障系统的稳定和可靠性。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于大数据平台的数据安全存储方法，其特征在于，包括以下步骤：

基于大数据平台，对原始数据进行分类，识别敏感数据，并进行标记；

通过对不同类型的数据进行甄别，识别其中存在的敏感数据，敏感数据包括个人身份信息、受保护的健康信息以及专有数据，并对这些敏感数据进行分类定级处理。

针对敏感数据，进行二次识别，识别资产数据和隐私数据，并对数据进行数据分块与冗余备份处理；

数据分块是将需要存储的数据划分为较小的数据块或数据片段的过程，数据块的大小根据具体需求进行调整，根据数据量和存储系统能力进行优化，大数据系统中，数据分块的目的是提高数据的处理效率和并行性。

冗余备份是将数据的多个副本存储在不同的位置或存储设备上，以防止数据丢失或损坏，提高数据的可靠性和容错能力，在大数据存储系统中，冗余备份通过副本的方式实现。

对资产数据和隐私数据进行加密处理，采用加密方法包括对称加密、非对称加密以及单向加密；

建立全面的权限管理机制，只允许有权访问的用户和程序获取并使用数据，权限管理机制包括用户权限管理、数据访问控制以及程序访问控制；

获取周期内平台受到攻击的次数、资产数据的资产价值、隐私数据的数据量、数据异常操作次数，并对数据安全风险进行评估，生成安全风险评估系数；

设定第一风险评估阈值和第二风险评估阈值，并通过和安全风险评估系数比对，建立安全风险等级；

根据不同安全风险等级，采取对应安全处理措施，对数据的安全管理进行优化。

进一步的，所述安全风险评估系数具体生成步骤如下：

在系统运行过程中，采集周期T内平台受到攻击的次数ANu、资产数据的资产价值Val、隐私数据的数据量PNu、数据异常操作次数ONu；

根据数据异常操作次数ONu、资产数据的资产价值Val、隐私数据的数据量PNu计算出安全影响程度DSI；

根据周期T内平台受到攻击的次数ANu和数据异常操作次数ONu，计算出安全事件异常度ASI；

综合安全影响程度DSI和安全事件异常度ASI，计算出安全风险评估系数RSI。

进一步的，所述安全影响程度DSI的计算公式如下：

其中a₁、a₂为修正系数，且a₁>0，a₂>0。

进一步的，所述安全事件异常度ASI的计算公式如下：

其中b₁、b₂为修正系数，且b₁>0，b₂>0。

进一步的，所述安全风险评估系数RSI的计算公式如下：

其中c₁、c₂为修正系数，且c₁>0，c₂>0。

进一步的，设定第一风险评估阈值RAt1和第二风险评估阈值RAt2，并通过和安全风险评估系数比对，建立安全风险等级，具体为：

当RSI<RAt1时，表示一旦发生所造成的影响较低，处于安全状态，确定当前安全风险等级为低级；

当RAt1≤RSI<RAt2时，表示一旦发生将造成的影响一般，处于低危状态，确定当前安全风险等级为中级；

当RSI≥RAt2时，表示一旦发生将造成严重的影响，处于高危状态，确定当前安全风险等级为高级。

进一步的，根据不同安全风险等级，采取对应安全处理措施，对数据的安全管理进行优化，具体为：

当安全风险等级为中级时，强化数据加密，加强数据访问控制，排查异常数据以及异常操作；

当安全风险等级为高级时，及时查找漏洞并修复，更改访问权限，重新配置访问控制，清理异常数据，加强网络防护。

一种基于大数据平台的数据安全存储系统，包括：数据加密模块、存储冗余备份模块、访问控制模块、安全监控模块、安全评估模块以及灾备与恢复模块；其中，

数据加密模块：用于对待存储的数据进行加密处理，采用先进的加密算法和密钥管理机制，确保数据在存储过程中的机密性；

存储冗余备份模块：用于对数据进行冗余备份，以防止数据丢失或损坏，该模块可以通过复制和备份数据至多个存储节点来实现，确保数据的完整性和可用性；

访问控制模块：用于建立严格的访问控制策略和权限管理机制，确保只有经授权的用户可以访问和操作存储的数据，基于角色的访问控制模型来实现，确保数据的安全性；

安全监控模块：用于实时监控数据存储过程，通过监控和日志记录技术，及时发现并应对可能的安全威胁，检测异常访问行为、攻击行为等，保证数据的安全性；

安全评估模块：用于定期对数据存储过程进行安全评估，发现潜在漏洞和改进措施，提高数据安全性，跟踪和记录数据访问日志，对数据的评估和分析，确保数据存储过程的安全性和合规性；

灾备与恢复模块：用于建立灾备和恢复机制，保证数据在面对灾难性事件时的及时备份和恢复能力，使用数据备份、镜像和复原，确保数据的可用性和持久性。

(三)有益效果

本发明提供了一种基于大数据平台的数据安全存储方法及系统，具备以下有益效果：

(1)数据机密性保护：通过采用先进的加密算法和密钥管理机制，对待存储的数据进行加密处理，有效保护数据的机密性，即使数据被不当获取或窃取，也无法解析其内容，确保敏感数据不被泄露。

(2)数据完整性保障：在存储过程中通过采取存储冗余备份的方式，防止数据丢失或损坏，即使在硬件故障或系统错误的情况下，也能够通过备份数据进行恢复，保证数据的完整性。

(3)对数据存储过程进行安全评估，发现潜在漏洞和改进措施，提高数据安全性，通过评估过程，发现安全风险，及时采取相应的安全措施，保障系统的稳定和可靠性。

(4)通过存储冗余备份和灾备与恢复机制，保证数据在面对灾难性事件时的及时备份和恢复能力，从而提高数据的可用性，即使发生了系统崩溃、断电等情况，也能够尽快地恢复数据的使用。

附图说明

图1为本发明数据安全存储方法流程示意图；

图2为本发明数据安全存储系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种基于大数据平台的数据安全存储方法，包括以下步骤：

步骤一：基于大数据平台，对原始数据进行分类，识别敏感数据，并进行标记；

通过对不同类型的数据进行甄别，识别其中存在的敏感数据，敏感数据包括个人身份信息(姓名、身份证号码、住址、电话、银行账号、邮箱、密码、医疗信息、教育背景等)、受保护的健康信息(企业的经营情况，企业的网络结构、IP地址列表等)以及专有数据(开发的软件代码、产品的技术计划、内部流程、知识产权或商业秘密)，并对这些敏感数据进行分类定级处理，处理的具体方法包括：

基于元数据的敏感数据识别(敏感词库+关键词匹配)，首先定义敏感数据的关键词匹配式，通过精确或模糊匹配表字段名称、注释等信息，利用元数据信息对数据库表、文件进行逐个字段匹配，当发现字段满足关键词匹配式时，判断为敏感数据并自动定级，这种匹配方式成本低、见效快，可识别全网50％以上的客户敏感数据；

基于数据内容的敏感数据识别(正则表达式)，有些临时表或历史上开发的未按照规范建立的敏感表，根据元数据无法判断是否为敏感数据，这种情况更多是靠分析数据内容来判断，自动化工具通过扫描获取这些表，将系统中大量数值型、英文型的敏感信息(手机号、身份证号、邮箱等)通过预先定义正则表达式的方式进行匹配，做出敏感数据及其级别的判定；

基于自然语言处理技术的中文模糊识别(敏感词库+分词+相似度计算)，首先，根据数据内容整理输出一份常用敏感词，该敏感词列表需具备一定的学习能力，可以动态添加敏感词，其次，通过NLP对中文内容进行分词，通过中文近似词比对算法计算分词内容和敏感词的相似度，若相似度超过某个阈值，则认为内容符合敏感词所属的分类分级。

数据分类是一种重要的数据管理策略，它涉及到将数据按照类型、内容、敏感性等因素进行分类和标记，帮助组织更好地理解所拥有的数据，从而更有效地管理和保护这些数据。

步骤二：针对敏感数据，进行二次识别，识别资产数据和隐私数据，并对数据进行数据分块与冗余备份处理；数据分块涉及以下步骤：

数据切分：将原始数据按照不同的规则或算法进行切分，划分为较小的数据块，切分方法包括固定大小切分、逻辑切分、哈希切分等；

数据标识：为每个数据块分配一个唯一的标识符，用于后续的识别和管理；

数据索引：对每个数据块建立索引，记录其位置和相关属性信息，方便存储和检索。

冗余备份的处理涉及以下方面：

副本数量：确定存储多少个数据副本，副本数量根据可用存储空间和冗余策略进行设置；

副本分布：数据副本分布在不同的存储节点或数据中心上，避免单点故障和数据丢失的风险；

副本同步：数据副本之间保持同步，当主副本更新时，其他副本也进行相应的更新，保证数据的一致性；

故障检测与修复：当某个副本发生故障或失效时，及时检测并进行修复或替换，保证数据的可用性和完整性。

数据分块与冗余备份处理的主要目的是提高数据的可靠性和容错能力，通过将数据划分为较小的块并存储多个副本，系统可以更高效地处理和存储大量数据，并对数据丢失或损坏进行故障恢复，保证数据的完整性和可用性。

步骤三：对资产数据和隐私数据进行加密处理，采用加密方法包括对称加密、非对称加密以及单向加密，数据加密的流程包括以下几个步骤：

选择加密算法，根据需求和安全性要求，选择不同的加密算法，加密算法包括对称加密算法(如AES、DES)、非对称加密算法(如RSA、ECC)以及哈希算法(如MD5、SHA)；

密钥生成和分发，加密算法使用密钥来进行加密和解密操作，因此需要生成和分发密钥，对称加密算法使用相同的密钥进行加密和解密，而非对称加密算法使用一对密钥(公钥和私钥)；

数据加密，使用选择的加密算法和密钥，对需要加密的数据进行加密操作，对称加密算法使用相同的密钥对数据进行加密和解密，而非对称加密算法在加密时使用公钥，解密时使用私钥。

数据加密可以提高数据的安全性，保护数据不被未经授权的人读取、修改或篡改，在数据传输、存储和处理的各个环节都可以应用数据加密技术，以确保数据的机密性和完整性。

步骤四：建立全面的权限管理机制，只允许有权访问的用户和程序获取并使用数据；

用户权限管理：该机制涉及用户身份验证和授权，每个用户都有唯一的身份标识，并通过身份验证机制验证其身份，在验证成功后，用户将被分配相应的权限级别，以确定其对数据的访问权限，这些权限根据用户角色和责任的不同进行细分和管理，以确保只有必要的用户可以访问特定的数据；

数据访问控制：该机制控制用户对数据的访问权限，建立在基于角色的访问控制(RBAC)模型上，其中角色与特定权限相关联，通过为用户分配角色，限制他们对数据的访问范围；

程序访问控制：该机制用于限制程序对数据的访问权限，只有经过授权的程序才能与数据源进行交互和获取数据，为程序分配唯一的标识符，并使用API密钥或其他身份验证机制来验证程序的身份。

建立全面的权限管理机制是确保数据安全和隐私保护的关键步骤，该机制通过用户权限管理、数据访问控制、程序访问控制来实现，确保只有经过授权的用户和程序能够获取和使用特定的数据，从而保护数据的安全和隐私。

步骤五：获取周期内平台受到攻击的次数、资产数据的资产价值、隐私数据的数据量、数据异常操作次数，并对数据安全风险进行评估，生成安全风险评估系数，具体评估步骤如下：

步骤501：在系统运行过程中，采集周期T内平台受到攻击的次数ANu、资产数据的资产价值Val、隐私数据的数据量PNu、数据异常操作次数ONu；

步骤502：根据数据异常操作次数ONu、资产数据的资产价值Val、隐私数据的数据量PNu计算出安全影响程度DSI，计算公式如下：

其中a₁、a₂为修正系数，且a₁>0，a₂>0；

步骤503：根据周期T内平台受到攻击的次数ANu和数据异常操作次数ONu，计算出安全事件异常度ASI，计算公式如下：

其中b₁、b₂为修正系数，且b₁>0，b₂>0；

步骤504：综合安全影响程度DSI和安全事件异常度ASI，计算出安全风险评估系数RSI，计算公式如下：

其中c₁、c₂为修正系数，且c₁>0，c₂>0；

步骤六：设定第一风险评估阈值RAt1和第二风险评估阈值RAt2，并通过和安全风险评估系数比对，建立安全风险等级；

当RSI<RAt1时，表示一旦发生所造成的影响较低，处于安全状态，确定当前安全风险等级为低级；

当RAt1≤RSI<RAt2时，表示一旦发生将造成的影响一般，处于低危状态，确定当前安全风险等级为中级；

当RSI≥RAt2时，表示一旦发生将造成严重的影响，处于高危状态，确定当前安全风险等级为高级。

步骤七：根据不同安全风险等级，采取对应安全处理措施，对数据的安全管理进行优化，具体为：

当安全风险等级为中级时，强化数据加密，加强数据访问控制，排查异常数据以及异常操作；

当安全风险等级为高级时，及时查找漏洞并修复，更改访问权限，重新配置访问控制，清理异常数据。

基于大数据平台的数据安全存储方法通过采用一系列的安全措施和技术，保证了数据在存储过程中的机密性、完整性和可用性，有效解决了大数据环境下的数据安全问题。

请参阅图2，本发明还提供了一种基于大数据平台的数据安全存储系统，包括：数据加密模块、存储冗余备份模块、访问控制模块、安全监控模块、安全评估模块以及灾备与恢复模块；其中，

数据加密模块：用于对待存储的数据进行加密处理，采用先进的加密算法和密钥管理机制，确保数据在存储过程中的机密性；

存储冗余备份模块：用于对数据进行冗余备份，以防止数据丢失或损坏，该模块可以通过复制和备份数据至多个存储节点来实现，确保数据的完整性和可用性；

访问控制模块：用于建立严格的访问控制策略和权限管理机制，确保只有经授权的用户可以访问和操作存储的数据，基于角色的访问控制模型来实现，确保数据的安全性；

安全监控模块：用于实时监控数据存储过程，通过监控和日志记录技术，及时发现并应对可能的安全威胁，检测异常访问行为、攻击行为等，保证数据的安全性；

安全评估模块：用于定期对数据存储过程进行安全评估，发现潜在漏洞和改进措施，提高数据安全性，跟踪和记录数据访问日志，对数据的评估和分析，确保数据存储过程的安全性和合规性；

灾备与恢复模块：用于建立灾备和恢复机制，保证数据在面对灾难性事件时的及时备份和恢复能力，使用数据备份、镜像和复原，确保数据的可用性和持久性。

以上模块相互协作，构成了基于大数据平台的数据安全存储系统，通过这些模块的集成和协同工作，可以有效保护大数据平台中存储的数据免受未经授权的访问、篡改和破坏的风险，确保数据的安全性。

上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (4)

1.一种基于大数据平台的数据安全存储方法，其特征在于，包括以下步骤：

基于大数据平台，对原始数据进行分类，识别敏感数据并进行标记；针对敏感数据进行二次识别，识别资产数据和隐私数据，并对数据进行数据分块与冗余备份处理；

对资产数据和隐私数据进行加密处理，采用加密方法包括对称加密、非对称加密以及单向加密；建立全面的权限管理机制，只允许有权访问的用户和程序获取并使用数据；

获取周期内平台受到攻击的次数、资产数据的资产价值、隐私数据的数据量、数据异常操作次数，并对数据安全风险进行评估，生成安全风险评估系数，具体包括：

根据数据异常操作次数ONu、资产数据的资产价值Val、隐私数据的数据量PNu计算出安全影响程度DSI，所述安全影响程度DSI的计算公式如下：

其中a₁、a₂为修正系数，且a₁>0，a₂>0；

根据周期T内平台受到攻击的次数ANu和数据异常操作次数ONu，计算出安全事件异常度ASI，所述安全事件异常度ASI的计算公式如下：

其中b₁、b₂为修正系数，且b₁>0，b₂>0；

综合安全影响程度DSI和安全事件异常度ASI，计算出安全风险评估系数RSI，所述安全风险评估系数RSI的计算公式如下：

其中c₁、c₂为修正系数，且c₁>0，c₂>0；

预先设定第一风险评估阈值和第二风险评估阈值，并通过和安全风险评估系数比对，建立安全风险等级；根据不同安全风险等级，采取对应的安全处理措施，对数据的安全管理进行优化。

2.根据权利要求1所述的一种基于大数据平台的数据安全存储方法，其特征在于，设定第一风险评估阈值RAt1和第二风险评估阈值RAt2，并通过和安全风险评估系数比对，建立安全风险等级，具体为：

当RSI<RAt1时，表示一旦发生所造成的影响较低，处于安全状态，确定当前安全风险等级为低级；

当RAt1≤RSI<RAt2时，表示一旦发生将造成的影响一般，处于低危状态，确定当前安全风险等级为中级；

当RSI≥RAt2时，表示一旦发生将造成严重的影响，处于高危状态，确定当前安全风险等级为高级。

3.根据权利要求1所述的一种基于大数据平台的数据安全存储方法，其特征在于，根据不同安全风险等级，采取对应安全处理措施，对数据的安全管理进行优化，具体为：

当安全风险等级为中级时，强化数据加密，加强数据访问控制，排查异常数据以及异常操作；当安全风险等级为高级时，查找漏洞并修复，更改访问权限，重新配置访问控制，清理异常数据。

4.一种基于大数据平台的数据安全存储系统，用于执行权利要求1～3任一所述方法，其特征在于，包括：数据加密模块、存储冗余备份模块、访问控制模块、安全监控模块、安全评估模块以及灾备与恢复模块；其中，

数据加密模块：用于对待存储的数据进行加密处理，采用先进的加密算法和密钥管理机制，确保数据在存储过程中的机密性；

存储冗余备份模块：用于对数据进行冗余备份，以防止数据丢失或损坏，该模块可以通过复制和备份数据至多个存储节点来实现，确保数据的完整性和可用性；

访问控制模块：用于建立严格的访问控制策略和权限管理机制，确保只有经授权的用户可以访问和操作存储的数据，基于角色的访问控制模型来实现，确保数据的安全性；

安全监控模块：用于实时监控数据存储过程，通过监控和日志记录技术，及时发现并应对可能的安全威胁，检测异常访问行为、攻击行为等，保证数据的安全性；

安全评估模块：用于定期对数据存储过程进行安全评估，发现潜在漏洞和改进措施，提高数据安全性，跟踪和记录数据访问日志，对数据的评估和分析，确保数据存储过程的安全性和合规性；

灾备与恢复模块：用于建立灾备和恢复机制，保证数据在面对灾难性事件时的及时备份和恢复能力，使用数据备份、镜像和复原，确保数据的可用性和持久性。