CN117270785A - 一种基于大数据平台的数据安全存储方法及系统 - Google Patents
一种基于大数据平台的数据安全存储方法及系统 Download PDFInfo
- Publication number
- CN117270785A CN117270785A CN202311329451.5A CN202311329451A CN117270785A CN 117270785 A CN117270785 A CN 117270785A CN 202311329451 A CN202311329451 A CN 202311329451A CN 117270785 A CN117270785 A CN 117270785A
- Authority
- CN
- China
- Prior art keywords
- data
- security
- risk assessment
- module
- encryption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012502 risk assessment Methods 0.000 claims abstract description 33
- 230000002159 abnormal effect Effects 0.000 claims abstract description 28
- 230000007246 mechanism Effects 0.000 claims abstract description 23
- 238000011156 evaluation Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000000903 blocking effect Effects 0.000 claims abstract description 5
- 238000011084 recovery Methods 0.000 claims description 25
- 238000007726 management method Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000013500 data storage Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000011217 control strategy Methods 0.000 claims description 3
- 230000010485 coping Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/062—Securing storage systems
- G06F3/0622—Securing storage systems in relation to access
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Bioethics (AREA)
- Software Systems (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种基于大数据平台的数据安全存储方法，涉及数据安全存储技术领域，该方法包括以下步骤：对原始数据进行分类，识别敏感数据，并进行标记；针对敏感数据，进行二次识别，识别资产数据和隐私数据，并对数据进行数据分块与冗余备份处理；对资产数据和隐私数据进行加密处理；建立全面的权限管理机制；获取周期内平台受到攻击的次数、资产数据的资产价值、隐私数据的数据量、数据异常操作次数，并对数据安全风险进行评估，生成安全风险评估系数；设定第一风险评估阈值和第二风险评估阈值，并通过和安全风险评估系数比对，建立安全风险等级；根据不同安全风险等级，采取对应安全处理措施。
Description
技术领域
本发明涉及数据安全存储技术领域，具体为一种基于大数据平台的数据安全存储方法及系统。
背景技术
大数据平台是一种以处理和管理大规模数据为核心的技术平台。它为组织和企业提供了收集、存储、处理和分析大量结构化和非结构化数据的能力，以便从中获取有价值的信息和洞察力，在当今信息时代，大数据平台已成为企业和组织处理和存储大量数据的重要手段。
如申请号为CN202211608504.2的专利申请中，公开了一种基于大数据平台的数据安全存储方法，涉及数据安全存储技术领域，通过获取到所有的目标数据；之后获取到目标数据的文件属性，建立伪目标数据，之后对伪目标数据进行内容填充，根据目标数据的标题和具体内容的属性自动匹配相关的内容，将其填充到伪目标数据内；再之后添加到暗文件地址到伪目标数据中，通过对伪目标数据进行重新分段处理，将唯一数值与对应的伪目标数据内的段落特性保持一致之后，建立唯一数值与暗文件地址内的标的字符的映射数据关系，并将伪目标数据中的多余段落内容赋予废弃标识，得到更新处理后的伪目标数据、映射数据关系和废弃标识。
然而，随着数据量的增长和数据价值的提升，数据安全问题也愈发引人关注。传统的数据存储方法在面对大数据环境下的安全挑战时显得力不从心，无法及时发现安全风险，因此需要一种基于大数据平台的数据安全存储方法及系统。
发明内容
(一)解决的技术问题
本发明提供了一种基于大数据平台的数据安全存储方法及系统，旨在针对大数据环境下的数据存储过程进行安全评估，发现安全风险，及时采取相应的安全措施，保障系统的稳定和可靠性。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于大数据平台的数据安全存储方法，其特征在于，包括以下步骤：
基于大数据平台，对原始数据进行分类，识别敏感数据，并进行标记；
通过对不同类型的数据进行甄别，识别其中存在的敏感数据，敏感数据包括个人身份信息、受保护的健康信息以及专有数据，并对这些敏感数据进行分类定级处理。
针对敏感数据，进行二次识别，识别资产数据和隐私数据，并对数据进行数据分块与冗余备份处理；
数据分块是将需要存储的数据划分为较小的数据块或数据片段的过程，数据块的大小根据具体需求进行调整，根据数据量和存储系统能力进行优化，大数据系统中，数据分块的目的是提高数据的处理效率和并行性。
冗余备份是将数据的多个副本存储在不同的位置或存储设备上，以防止数据丢失或损坏，提高数据的可靠性和容错能力，在大数据存储系统中，冗余备份通过副本的方式实现。
对资产数据和隐私数据进行加密处理，采用加密方法包括对称加密、非对称加密以及单向加密；
建立全面的权限管理机制，只允许有权访问的用户和程序获取并使用数据，权限管理机制包括用户权限管理、数据访问控制以及程序访问控制；
获取周期内平台受到攻击的次数、资产数据的资产价值、隐私数据的数据量、数据异常操作次数，并对数据安全风险进行评估，生成安全风险评估系数；
设定第一风险评估阈值和第二风险评估阈值，并通过和安全风险评估系数比对，建立安全风险等级；
根据不同安全风险等级，采取对应安全处理措施，对数据的安全管理进行优化。
进一步的，所述安全风险评估系数具体生成步骤如下：
在系统运行过程中，采集周期T内平台受到攻击的次数ANu、资产数据的资产价值Val、隐私数据的数据量PNu、数据异常操作次数ONu；
根据数据异常操作次数ONu、资产数据的资产价值Val、隐私数据的数据量PNu计算出安全影响程度DSI；
根据周期T内平台受到攻击的次数ANu和数据异常操作次数ONu，计算出安全事件异常度ASI；
综合安全影响程度DSI和安全事件异常度ASI，计算出安全风险评估系数RSI。
进一步的，所述安全影响程度DSI的计算公式如下：
其中a1、a2为修正系数，且a1>0，a2>0。
进一步的，所述安全事件异常度ASI的计算公式如下：
其中b1、b2为修正系数，且b1>0，b2>0。
进一步的，所述安全风险评估系数RSI的计算公式如下：
其中c1、c2为修正系数，且c1>0，c2>0。
进一步的，设定第一风险评估阈值RAt1和第二风险评估阈值RAt2，并通过和安全风险评估系数比对，建立安全风险等级，具体为：
当RSI<RAt1时，表示一旦发生所造成的影响较低，处于安全状态，确定当前安全风险等级为低级；
当RAt1≤RSI<RAt2时，表示一旦发生将造成的影响一般，处于低危状态，确定当前安全风险等级为中级；
当RSI≥RAt2时，表示一旦发生将造成严重的影响，处于高危状态，确定当前安全风险等级为高级。
进一步的，根据不同安全风险等级，采取对应安全处理措施，对数据的安全管理进行优化，具体为：
当安全风险等级为中级时，强化数据加密，加强数据访问控制，排查异常数据以及异常操作；
当安全风险等级为高级时，及时查找漏洞并修复，更改访问权限，重新配置访问控制，清理异常数据，加强网络防护。
一种基于大数据平台的数据安全存储系统，包括：数据加密模块、存储冗余备份模块、访问控制模块、安全监控模块、安全评估模块以及灾备与恢复模块；其中，
数据加密模块：用于对待存储的数据进行加密处理，采用先进的加密算法和密钥管理机制，确保数据在存储过程中的机密性；
存储冗余备份模块：用于对数据进行冗余备份，以防止数据丢失或损坏，该模块可以通过复制和备份数据至多个存储节点来实现，确保数据的完整性和可用性；
访问控制模块：用于建立严格的访问控制策略和权限管理机制，确保只有经授权的用户可以访问和操作存储的数据，基于角色的访问控制模型来实现，确保数据的安全性；
安全监控模块：用于实时监控数据存储过程，通过监控和日志记录技术，及时发现并应对可能的安全威胁，检测异常访问行为、攻击行为等，保证数据的安全性；
安全评估模块：用于定期对数据存储过程进行安全评估，发现潜在漏洞和改进措施，提高数据安全性，跟踪和记录数据访问日志，对数据的评估和分析，确保数据存储过程的安全性和合规性；
灾备与恢复模块：用于建立灾备和恢复机制，保证数据在面对灾难性事件时的及时备份和恢复能力，使用数据备份、镜像和复原，确保数据的可用性和持久性。
(三)有益效果
本发明提供了一种基于大数据平台的数据安全存储方法及系统，具备以下有益效果：
(1)数据机密性保护：通过采用先进的加密算法和密钥管理机制，对待存储的数据进行加密处理，有效保护数据的机密性，即使数据被不当获取或窃取，也无法解析其内容，确保敏感数据不被泄露。
(2)数据完整性保障：在存储过程中通过采取存储冗余备份的方式，防止数据丢失或损坏，即使在硬件故障或系统错误的情况下，也能够通过备份数据进行恢复，保证数据的完整性。
(3)对数据存储过程进行安全评估，发现潜在漏洞和改进措施，提高数据安全性，通过评估过程，发现安全风险，及时采取相应的安全措施，保障系统的稳定和可靠性。
(4)通过存储冗余备份和灾备与恢复机制，保证数据在面对灾难性事件时的及时备份和恢复能力，从而提高数据的可用性，即使发生了系统崩溃、断电等情况，也能够尽快地恢复数据的使用。
附图说明
图1为本发明数据安全存储方法流程示意图；
图2为本发明数据安全存储系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种基于大数据平台的数据安全存储方法，包括以下步骤：
步骤一：基于大数据平台，对原始数据进行分类，识别敏感数据，并进行标记；
通过对不同类型的数据进行甄别，识别其中存在的敏感数据，敏感数据包括个人身份信息(姓名、身份证号码、住址、电话、银行账号、邮箱、密码、医疗信息、教育背景等)、受保护的健康信息(企业的经营情况，企业的网络结构、IP地址列表等)以及专有数据(开发的软件代码、产品的技术计划、内部流程、知识产权或商业秘密)，并对这些敏感数据进行分类定级处理，处理的具体方法包括：
基于元数据的敏感数据识别(敏感词库+关键词匹配)，首先定义敏感数据的关键词匹配式，通过精确或模糊匹配表字段名称、注释等信息，利用元数据信息对数据库表、文件进行逐个字段匹配，当发现字段满足关键词匹配式时，判断为敏感数据并自动定级，这种匹配方式成本低、见效快，可识别全网50％以上的客户敏感数据；
基于数据内容的敏感数据识别(正则表达式)，有些临时表或历史上开发的未按照规范建立的敏感表，根据元数据无法判断是否为敏感数据，这种情况更多是靠分析数据内容来判断，自动化工具通过扫描获取这些表，将系统中大量数值型、英文型的敏感信息(手机号、身份证号、邮箱等)通过预先定义正则表达式的方式进行匹配，做出敏感数据及其级别的判定；
基于自然语言处理技术的中文模糊识别(敏感词库+分词+相似度计算)，首先，根据数据内容整理输出一份常用敏感词，该敏感词列表需具备一定的学习能力，可以动态添加敏感词，其次，通过NLP对中文内容进行分词，通过中文近似词比对算法计算分词内容和敏感词的相似度，若相似度超过某个阈值，则认为内容符合敏感词所属的分类分级。
数据分类是一种重要的数据管理策略，它涉及到将数据按照类型、内容、敏感性等因素进行分类和标记，帮助组织更好地理解所拥有的数据，从而更有效地管理和保护这些数据。
步骤二：针对敏感数据，进行二次识别，识别资产数据和隐私数据，并对数据进行数据分块与冗余备份处理；数据分块涉及以下步骤：
数据切分：将原始数据按照不同的规则或算法进行切分，划分为较小的数据块，切分方法包括固定大小切分、逻辑切分、哈希切分等；
数据标识：为每个数据块分配一个唯一的标识符，用于后续的识别和管理；
数据索引：对每个数据块建立索引，记录其位置和相关属性信息，方便存储和检索。
冗余备份的处理涉及以下方面：
副本数量：确定存储多少个数据副本，副本数量根据可用存储空间和冗余策略进行设置；
副本分布：数据副本分布在不同的存储节点或数据中心上，避免单点故障和数据丢失的风险；
副本同步：数据副本之间保持同步，当主副本更新时，其他副本也进行相应的更新，保证数据的一致性；
故障检测与修复：当某个副本发生故障或失效时，及时检测并进行修复或替换，保证数据的可用性和完整性。
数据分块与冗余备份处理的主要目的是提高数据的可靠性和容错能力，通过将数据划分为较小的块并存储多个副本，系统可以更高效地处理和存储大量数据，并对数据丢失或损坏进行故障恢复，保证数据的完整性和可用性。
步骤三：对资产数据和隐私数据进行加密处理，采用加密方法包括对称加密、非对称加密以及单向加密，数据加密的流程包括以下几个步骤：
选择加密算法，根据需求和安全性要求，选择不同的加密算法，加密算法包括对称加密算法(如AES、DES)、非对称加密算法(如RSA、ECC)以及哈希算法(如MD5、SHA)；
密钥生成和分发，加密算法使用密钥来进行加密和解密操作，因此需要生成和分发密钥，对称加密算法使用相同的密钥进行加密和解密，而非对称加密算法使用一对密钥(公钥和私钥)；
数据加密，使用选择的加密算法和密钥，对需要加密的数据进行加密操作，对称加密算法使用相同的密钥对数据进行加密和解密，而非对称加密算法在加密时使用公钥，解密时使用私钥。
数据加密可以提高数据的安全性，保护数据不被未经授权的人读取、修改或篡改，在数据传输、存储和处理的各个环节都可以应用数据加密技术，以确保数据的机密性和完整性。
步骤四：建立全面的权限管理机制，只允许有权访问的用户和程序获取并使用数据；
用户权限管理：该机制涉及用户身份验证和授权，每个用户都有唯一的身份标识，并通过身份验证机制验证其身份，在验证成功后，用户将被分配相应的权限级别，以确定其对数据的访问权限，这些权限根据用户角色和责任的不同进行细分和管理，以确保只有必要的用户可以访问特定的数据；
数据访问控制：该机制控制用户对数据的访问权限，建立在基于角色的访问控制(RBAC)模型上，其中角色与特定权限相关联，通过为用户分配角色，限制他们对数据的访问范围；
程序访问控制：该机制用于限制程序对数据的访问权限，只有经过授权的程序才能与数据源进行交互和获取数据，为程序分配唯一的标识符，并使用API密钥或其他身份验证机制来验证程序的身份。
建立全面的权限管理机制是确保数据安全和隐私保护的关键步骤，该机制通过用户权限管理、数据访问控制、程序访问控制来实现，确保只有经过授权的用户和程序能够获取和使用特定的数据，从而保护数据的安全和隐私。
步骤五：获取周期内平台受到攻击的次数、资产数据的资产价值、隐私数据的数据量、数据异常操作次数，并对数据安全风险进行评估，生成安全风险评估系数，具体评估步骤如下：
步骤501：在系统运行过程中，采集周期T内平台受到攻击的次数ANu、资产数据的资产价值Val、隐私数据的数据量PNu、数据异常操作次数ONu；
步骤502：根据数据异常操作次数ONu、资产数据的资产价值Val、隐私数据的数据量PNu计算出安全影响程度DSI，计算公式如下：
其中a1、a2为修正系数，且a1>0，a2>0；
步骤503：根据周期T内平台受到攻击的次数ANu和数据异常操作次数ONu，计算出安全事件异常度ASI，计算公式如下：
其中b1、b2为修正系数，且b1>0，b2>0；
步骤504：综合安全影响程度DSI和安全事件异常度ASI，计算出安全风险评估系数RSI，计算公式如下：
其中c1、c2为修正系数，且c1>0，c2>0；
步骤六：设定第一风险评估阈值RAt1和第二风险评估阈值RAt2，并通过和安全风险评估系数比对，建立安全风险等级；
当RSI<RAt1时，表示一旦发生所造成的影响较低，处于安全状态，确定当前安全风险等级为低级；
当RAt1≤RSI<RAt2时，表示一旦发生将造成的影响一般，处于低危状态，确定当前安全风险等级为中级；
当RSI≥RAt2时，表示一旦发生将造成严重的影响，处于高危状态，确定当前安全风险等级为高级。
步骤七：根据不同安全风险等级，采取对应安全处理措施，对数据的安全管理进行优化，具体为：
当安全风险等级为中级时，强化数据加密，加强数据访问控制，排查异常数据以及异常操作；
当安全风险等级为高级时，及时查找漏洞并修复，更改访问权限，重新配置访问控制，清理异常数据。
基于大数据平台的数据安全存储方法通过采用一系列的安全措施和技术，保证了数据在存储过程中的机密性、完整性和可用性，有效解决了大数据环境下的数据安全问题。
请参阅图2，本发明还提供了一种基于大数据平台的数据安全存储系统，包括：数据加密模块、存储冗余备份模块、访问控制模块、安全监控模块、安全评估模块以及灾备与恢复模块；其中，
数据加密模块：用于对待存储的数据进行加密处理，采用先进的加密算法和密钥管理机制，确保数据在存储过程中的机密性；
存储冗余备份模块：用于对数据进行冗余备份，以防止数据丢失或损坏，该模块可以通过复制和备份数据至多个存储节点来实现，确保数据的完整性和可用性；
访问控制模块：用于建立严格的访问控制策略和权限管理机制，确保只有经授权的用户可以访问和操作存储的数据，基于角色的访问控制模型来实现，确保数据的安全性；
安全监控模块：用于实时监控数据存储过程，通过监控和日志记录技术，及时发现并应对可能的安全威胁，检测异常访问行为、攻击行为等，保证数据的安全性；
安全评估模块：用于定期对数据存储过程进行安全评估，发现潜在漏洞和改进措施，提高数据安全性，跟踪和记录数据访问日志，对数据的评估和分析，确保数据存储过程的安全性和合规性；
灾备与恢复模块：用于建立灾备和恢复机制，保证数据在面对灾难性事件时的及时备份和恢复能力，使用数据备份、镜像和复原，确保数据的可用性和持久性。
以上模块相互协作，构成了基于大数据平台的数据安全存储系统，通过这些模块的集成和协同工作，可以有效保护大数据平台中存储的数据免受未经授权的访问、篡改和破坏的风险，确保数据的安全性。
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (8)
1.一种基于大数据平台的数据安全存储方法，其特征在于，包括以下步骤：
基于大数据平台，对原始数据进行分类，识别敏感数据并进行标记；针对敏感数据进行二次识别，识别资产数据和隐私数据，并对数据进行数据分块与冗余备份处理；
对资产数据和隐私数据进行加密处理，采用加密方法包括对称加密、非对称加密以及单向加密；建立全面的权限管理机制，只允许有权访问的用户和程序获取并使用数据；
获取周期内平台受到攻击的次数、资产数据的资产价值、隐私数据的数据量、数据异常操作次数，并对数据安全风险进行评估，生成安全风险评估系数；预先设定第一风险评估阈值和第二风险评估阈值，并通过和安全风险评估系数比对，建立安全风险等级；
根据不同安全风险等级，采取对应的安全处理措施，对数据的安全管理进行优化。
2.根据权利要求1所述的一种基于大数据平台的数据安全存储方法，其特征在于，所述安全风险评估系数具体生成步骤如下：
在系统运行过程中，采集周期T内平台受到攻击的次数ANu、资产数据的资产价值Val、隐私数据的数据量PNu、数据异常操作次数ONu；
根据数据异常操作次数ONu、资产数据的资产价值Val、隐私数据的数据量PNu计算出安全影响程度DSI；根据周期T内平台受到攻击的次数ANu和数据异常操作次数ONu，计算出安全事件异常度ASI；
综合安全影响程度DSI和安全事件异常度ASI，计算出安全风险评估系数RSI。
3.根据权利要求2所述的一种基于大数据平台的数据安全存储方法，其特征在于，所述安全影响程度DSI的计算公式如下：
其中a1、a2为修正系数，且a1>0，a2>0。
4.根据权利要求2所述的一种基于大数据平台的数据安全存储方法，其特征在于，所述安全事件异常度ASI的计算公式如下：
其中b1、b2为修正系数，且b1>0，b2>0。
5.根据权利要求2所述的一种基于大数据平台的数据安全存储方法，其特征在于，所述安全风险评估系数RSI的计算公式如下：
其中c1、c2为修正系数，且c1>0，c2>0。
6.根据权利要求1所述的一种基于大数据平台的数据安全存储方法，其特征在于，设定第一风险评估阈值RAt1和第二风险评估阈值RAt2，并通过和安全风险评估系数比对，建立安全风险等级，具体为：
当RSI<RAt1时，表示一旦发生所造成的影响较低，处于安全状态，确定当前安全风险等级为低级；
当RAt1≤RSI<RAt2时，表示一旦发生将造成的影响一般，处于低危状态，确定当前安全风险等级为中级；
当RSI≥RAt2时，表示一旦发生将造成严重的影响，处于高危状态，确定当前安全风险等级为高级。
7.根据权利要求1所述的一种基于大数据平台的数据安全存储方法，其特征在于，根据不同安全风险等级，采取对应安全处理措施，对数据的安全管理进行优化，具体为：
当安全风险等级为中级时，强化数据加密，加强数据访问控制，排查异常数据以及异常操作；当安全风险等级为高级时，查找漏洞并修复，更改访问权限，重新配置访问控制，清理异常数据。
8.一种基于大数据平台的数据安全存储系统，用于执行权利要求1～7任一所述方法，其特征在于，包括：数据加密模块、存储冗余备份模块、访问控制模块、安全监控模块、安全评估模块以及灾备与恢复模块；其中，
数据加密模块：用于对待存储的数据进行加密处理，采用先进的加密算法和密钥管理机制，确保数据在存储过程中的机密性；
存储冗余备份模块：用于对数据进行冗余备份，以防止数据丢失或损坏，该模块可以通过复制和备份数据至多个存储节点来实现，确保数据的完整性和可用性；
访问控制模块：用于建立严格的访问控制策略和权限管理机制，确保只有经授权的用户可以访问和操作存储的数据，基于角色的访问控制模型来实现，确保数据的安全性；
安全监控模块：用于实时监控数据存储过程，通过监控和日志记录技术，及时发现并应对可能的安全威胁，检测异常访问行为、攻击行为等，保证数据的安全性；
安全评估模块：用于定期对数据存储过程进行安全评估，发现潜在漏洞和改进措施，提高数据安全性，跟踪和记录数据访问日志，对数据的评估和分析，确保数据存储过程的安全性和合规性；
灾备与恢复模块：用于建立灾备和恢复机制，保证数据在面对灾难性事件时的及时备份和恢复能力，使用数据备份、镜像和复原，确保数据的可用性和持久性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311329451.5A CN117270785B (zh) | 2023-10-13 | 2023-10-13 | 一种基于大数据平台的数据安全存储方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311329451.5A CN117270785B (zh) | 2023-10-13 | 2023-10-13 | 一种基于大数据平台的数据安全存储方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117270785A true CN117270785A (zh) | 2023-12-22 |
| CN117270785B CN117270785B (zh) | 2024-05-28 |
Family
ID=89202453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311329451.5A Active CN117270785B (zh) | 2023-10-13 | 2023-10-13 | 一种基于大数据平台的数据安全存储方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117270785B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117494146A (zh) * | 2023-12-29 | 2024-02-02 | 山东街景智能制造科技股份有限公司 | 一种模型数据库管理系统 |
| CN118070341A (zh) * | 2024-04-16 | 2024-05-24 | 江苏博士创新大数据有限公司 | 大数据管理方法及大数据管理系统 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100281543A1 (en) * | 2009-04-30 | 2010-11-04 | Netwitness Corporation | Systems and Methods for Sensitive Data Remediation |
| CN104753946A (zh) * | 2015-04-01 | 2015-07-01 | 浪潮电子信息产业股份有限公司 | 一种基于网络流量元数据的安全分析框架 |
| US20170272472A1 (en) * | 2016-03-21 | 2017-09-21 | Vireshwar K. Adhar | Method and system for digital privacy management |
| US20180004948A1 (en) * | 2016-06-20 | 2018-01-04 | Jask Labs Inc. | Method for predicting and characterizing cyber attacks |
| CN111832017A (zh) * | 2020-07-17 | 2020-10-27 | 中国移动通信集团广西有限公司 | 一种面向云的数据库安全态势感知系统 |
| CN112560027A (zh) * | 2020-12-18 | 2021-03-26 | 福建中信网安信息科技有限公司 | 一种数据安全监测系统 |
| WO2021190017A1 (zh) * | 2020-03-25 | 2021-09-30 | 支付宝(杭州)信息技术有限公司 | 一种隐私数据的访问方法、装置及电子设备 |
| CN114329450A (zh) * | 2021-12-24 | 2022-04-12 | 中国联合网络通信集团有限公司 | 数据安全处理方法、装置、设备及存储介质 |
| CN114372286A (zh) * | 2021-12-17 | 2022-04-19 | 刘维炜 | 数据安全管理方法、装置、计算机设备及存储介质 |
| US20220303300A1 (en) * | 2021-03-18 | 2022-09-22 | International Business Machines Corporation | Computationally assessing and remediating security threats |
| CN115130122A (zh) * | 2022-06-12 | 2022-09-30 | 四川云云旺软件技术有限公司 | 一种大数据安全防护方法及系统 |
| CN115544556A (zh) * | 2022-09-14 | 2022-12-30 | 中国银行股份有限公司 | 一种信息处理方法、系统、存储介质及电子设备 |
| CN115982762A (zh) * | 2022-12-26 | 2023-04-18 | 网思科技股份有限公司 | 一种基于大数据的数据安全防漏管理方法、系统和介质 |
| CN115996146A (zh) * | 2022-12-19 | 2023-04-21 | 华中科技大学 | 数控系统安全态势感知与分析系统、方法、设备及终端 |
| CN116248398A (zh) * | 2023-03-09 | 2023-06-09 | 山东省征信有限公司 | 一种基于数据汇聚过程的风险评估方法及系统 |
| CN116401688A (zh) * | 2023-04-06 | 2023-07-07 | 南京航电飞讯科技有限公司 | 数据安全风险预测方法、装置、计算机设备和介质 |
| CN116723042A (zh) * | 2023-07-12 | 2023-09-08 | 北汽蓝谷信息技术有限公司 | 一种数据包的安全保护方法及系统 |
-
2023
- 2023-10-13 CN CN202311329451.5A patent/CN117270785B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100281543A1 (en) * | 2009-04-30 | 2010-11-04 | Netwitness Corporation | Systems and Methods for Sensitive Data Remediation |
| CN104753946A (zh) * | 2015-04-01 | 2015-07-01 | 浪潮电子信息产业股份有限公司 | 一种基于网络流量元数据的安全分析框架 |
| US20170272472A1 (en) * | 2016-03-21 | 2017-09-21 | Vireshwar K. Adhar | Method and system for digital privacy management |
| US20180004948A1 (en) * | 2016-06-20 | 2018-01-04 | Jask Labs Inc. | Method for predicting and characterizing cyber attacks |
| WO2021190017A1 (zh) * | 2020-03-25 | 2021-09-30 | 支付宝(杭州)信息技术有限公司 | 一种隐私数据的访问方法、装置及电子设备 |
| CN111832017A (zh) * | 2020-07-17 | 2020-10-27 | 中国移动通信集团广西有限公司 | 一种面向云的数据库安全态势感知系统 |
| CN112560027A (zh) * | 2020-12-18 | 2021-03-26 | 福建中信网安信息科技有限公司 | 一种数据安全监测系统 |
| US20220303300A1 (en) * | 2021-03-18 | 2022-09-22 | International Business Machines Corporation | Computationally assessing and remediating security threats |
| CN114372286A (zh) * | 2021-12-17 | 2022-04-19 | 刘维炜 | 数据安全管理方法、装置、计算机设备及存储介质 |
| CN114329450A (zh) * | 2021-12-24 | 2022-04-12 | 中国联合网络通信集团有限公司 | 数据安全处理方法、装置、设备及存储介质 |
| CN115130122A (zh) * | 2022-06-12 | 2022-09-30 | 四川云云旺软件技术有限公司 | 一种大数据安全防护方法及系统 |
| CN115544556A (zh) * | 2022-09-14 | 2022-12-30 | 中国银行股份有限公司 | 一种信息处理方法、系统、存储介质及电子设备 |
| CN115996146A (zh) * | 2022-12-19 | 2023-04-21 | 华中科技大学 | 数控系统安全态势感知与分析系统、方法、设备及终端 |
| CN115982762A (zh) * | 2022-12-26 | 2023-04-18 | 网思科技股份有限公司 | 一种基于大数据的数据安全防漏管理方法、系统和介质 |
| CN116248398A (zh) * | 2023-03-09 | 2023-06-09 | 山东省征信有限公司 | 一种基于数据汇聚过程的风险评估方法及系统 |
| CN116401688A (zh) * | 2023-04-06 | 2023-07-07 | 南京航电飞讯科技有限公司 | 数据安全风险预测方法、装置、计算机设备和介质 |
| CN116723042A (zh) * | 2023-07-12 | 2023-09-08 | 北汽蓝谷信息技术有限公司 | 一种数据包的安全保护方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 尹立君;: "基于大数据下的网络安全威胁感知决策指挥系统设计", 邯郸职业技术学院学报, no. 01, 25 March 2020 (2020-03-25) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117494146A (zh) * | 2023-12-29 | 2024-02-02 | 山东街景智能制造科技股份有限公司 | 一种模型数据库管理系统 |
| CN117494146B (zh) * | 2023-12-29 | 2024-04-26 | 山东街景智能制造科技股份有限公司 | 一种模型数据库管理系统 |
| CN118070341A (zh) * | 2024-04-16 | 2024-05-24 | 江苏博士创新大数据有限公司 | 大数据管理方法及大数据管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117270785B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117270785B (zh) | 一种基于大数据平台的数据安全存储方法及系统 | |
| Tan et al. | A survey on proof of retrievability for cloud data integrity and availability: Cloud storage state-of-the-art, issues, solutions and future trends | |
| EP1909212A2 (en) | Meta-complete data storage | |
| US20090049309A1 (en) | Method and Apparatus for Verifying Integrity of Computer System Vital Data Components | |
| JP7470116B2 (ja) | セキュア通信方法およびそのシステム | |
| CN115238286A (zh) | 一种数据防护方法、装置、计算机设备及存储介质 | |
| CN117742618B (zh) | 一种固态硬盘的数据存储管理方法和固态硬盘管理装置 | |
| CN112084474A (zh) | 一种企业档案管理方法、系统、存储介质和电子设备 | |
| Rani et al. | Tampering detection of distributed databases using blockchain technology | |
| US20120047553A1 (en) | Secure distributed storage of documents containing restricted information, via the use of keysets | |
| CN117521091A (zh) | 基于数据分类分级的安全策略矩阵的访问控制方法及系统 | |
| CN104751042A (zh) | 基于密码哈希与生物特征识别的可信性检测方法 | |
| CN107273725A (zh) | 一种针对涉密信息的数据备份方法及系统 | |
| Mungamuru et al. | Privacy, Preservation and Performance: The 3 P's of Distributed Data Management | |
| Hildebrandt et al. | A common scheme for evaluation of forensic software | |
| Talha et al. | Quality and Security in Big Data: Challenges as opportunities to build a powerful wrap-up solution. | |
| Narayanan et al. | A machine learning framework for providing data integrity and confidentiality for sensitive data cloud applications | |
| CN111611459B (zh) | 一种基于区块链的档案数据保护方法 | |
| US20210111870A1 (en) | Authorizing and validating removable storage for use with critical infrastrcture computing systems | |
| CN117634501B (zh) | 一种计算机文件保密检查方法及系统 | |
| CN117828644B (zh) | 具有信息安全保护模式的计算机存储系统 | |
| Tabassum et al. | The Data Security and multi-cloud Privacy concerns | |
| Karthikeyan et al. | An exploratory study on business data integrity for effective business; a techno business leadership perspective | |
| Ansar et al. | Blockchain based general data protection regulation compliant data breach detection system | |
| Bose et al. | An Improved Method for Preventing Data Leakage in an Organisation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240507 Address after: 100010 Zuoanmen Neizuoanyiyuan 1-5-1301, Dongcheng District, Beijing Applicant after: Zhou Sihua Country or region after: China Address before: 314, 3rd Floor, Building 1, No. 69 Pingguoyuan South Road, Shijingshan District, Beijing, 100000 RMB Applicant before: Beijing Hongpeng Network Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |