CN115964754A - 大数据安全存储方法及装置 - Google Patents

大数据安全存储方法及装置 Download PDF

Info

Publication number
CN115964754A
CN115964754A CN202310251383.9A CN202310251383A CN115964754A CN 115964754 A CN115964754 A CN 115964754A CN 202310251383 A CN202310251383 A CN 202310251383A CN 115964754 A CN115964754 A CN 115964754A
Authority
CN
China
Prior art keywords
data
storage
module
exchanger
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310251383.9A
Other languages
English (en)
Other versions
CN115964754B (zh
Inventor
刘伟
司易同
王德平
邢淳怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Digital Energy Xi'an Technology Co ltd
Original Assignee
Great Wall Digital Energy Xi'an Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Digital Energy Xi'an Technology Co ltd filed Critical Great Wall Digital Energy Xi'an Technology Co ltd
Priority to CN202310251383.9A priority Critical patent/CN115964754B/zh
Publication of CN115964754A publication Critical patent/CN115964754A/zh
Application granted granted Critical
Publication of CN115964754B publication Critical patent/CN115964754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种大数据安全存储方法及装置,其中,所述装置包括:存储服务器,所述存储服务器具有多个存储模块,配置每一存储模块的存储路径,并形成存储配置文件;数据交换器,与存储服务器之间通过局域网连接,所述数据交换器具有:存入交换部和取出交换部;其中,所述存入交换部具有:分类模块、实体数据分析模型、分割模块以及任务管理模块;所述取出交换部具有:验证模块、加载规则以及交换存储区;在本申请中,数据交换器作为存储服务器与客户端之间的连接纽带,数据交换器与存储服务器之间通过局域网连接,数据交换器与客户端通过互联网连接,局域网是最好最安全的网络安全物理隔离,局域网更加不易通过安全漏洞、病毒软件窃取数据资源。

Description

大数据安全存储方法及装置
技术领域
本申请属于数据存储技术领域,具体的涉及一种大数据安全存储方法及装置。
背景技术
对于企业级大数据的安全,传统的技术手段基本采用的数据加密、安全隔离以及通过构建防火墙来保证数据安全,但是,只要数据要在网络上进行传输和对应的交换,就有可能通过互联网的安全漏洞、病毒软件等攻入到大数据的数据库,导致数据被窃取。
发明内容
有鉴于此,本发明的主要目的在于提供一种大数据安全存储方法及装置。
本发明采用的技术方案如下:
大数据安全存储方法,包括如下步骤:
将存储服务器划分为多个存储模块,设置每一存储模块的存储路径,以所述存储路径对应的存储模块形成存储配置文件;
当数据交换器接收到采集装置转发的资源数据后,所述数据交换器将所述资源数据根据资源数据的基础属性进行分类,分类后将同一类别的资源数据划分成多个独立的实体数据;
在数据交换器中构建每一实体数据的索引表,并将每一实体数据分割为多个数据区块,记录每一数据区块所对应的区块码,并将所述区块码对应地写在所述索引表的二级目类下;
数据交换器获取所述存储配置文件,依据所述存储配置文件来构建任务管理模块,所述任务管理模块用于根据存储数据任务的进行至少构建一个数据存储通道以将数据交换器和对应的存储模块连通,将所述数据区块按照不同的数据存储通道存储到对应的存储模块中;并将对应的存储路径写入对应的索引表的三级目类下;
在所述数据交换器中设定数据加载规则和验证模块,所述加载规则用于当数据交换器接收客户端的数据交换请求指令时,先通过验证模块完成初始验证,验证完毕后自动激活任务管理模块,所述任务管理模块按照请求指令所包含的请求数据内容在索引表中查找对应的实体数据和所述实体数据对应的区块码以及区块码对应的存储路径;任务管理模块依次将每一实体数据对应的区块码同步给验证模块,所述验证模块基于同一实体数据对应的区块码形成一个验证规则,所述验证规则为:当任务管理模块以每一区块码对应的存储路径来启用数据存储通道之前,所述数据交换器在验证规则下向客户端发送接入验证;验证通过后,对应的数据存储通道被开启,数据交换器通过数据存储通道依次从对应的存储模块获取数据区块存放至交换存储区,待同一实体数据下的所有数据区块全部存放至交换存储区后,所述数据交换器再将数据区块以及对应的区块码发送至客户端。
进一步地,在数据交换器中构建每一实体数据的索引表的方法如下:
在数据交换器中建立一个实体数据分析模型;
在所述实体数据分析模型中设置一个分析任务管理器,所述分析任务管理器基于分析任务的进行来配置实体数据分析模型中每一个分析单元的训练资源;
每一所述分析单元在训练资源的支持下对实体数据进行分析,以获取实体数据所对应的多个索引实体,由所述索引实体构成实体数据的索引表。
进一步地,所述实体数据分析模型通过如下的方法进行建立:
获取大量的实体数据进行人工专家标记;
将标记后的实体数据按照实体数据的基本属性依次输入至神经网络单元进行迭代训练;
将多个神经网络单元进行组合后得到神经网络模型。
进一步地,每一所述实体数据下设置的区块码具有相同的组合结构,所述组合结构至少包含表示实体数据的字段、每一数据区块字段和顺序字段以及数据区块之间相互融合的组合字段。
进一步地,所述数据交换器在验证规则下向客户端发送接入验证,具体包括:
在数据交换器中构建一个监听模块,所述监听模块用于监测客户端与数据交换器之间的接入验证响应;
通过监听客户端与数据交换器之间的验证响应频次来控制验证规则,即当验证响应频次增大时,则控制验证规则对应地增大数据交换器与客户端之间的接入验证,当验证响应频次超过设定阈值时,监听模块形成一个断开指令,数据交换器基于所述断开指令以断开数据交换器与客户端之间的连接。
进一步地,所述数据交换器与存储服务器之间通过局域网进行连接。
本发明还提供了一种大数据安全存储装置,包括:
存储服务器,所述存储服务器具有多个存储模块,配置每一存储模块的存储路径,并形成存储配置文件;
数据交换器,与存储服务器之间通过局域网连接,所述数据交换器具有:存入交换部和取出交换部;
其中,所述存入交换部具有:
分类模块,用于接收采集装置转发的资源数据,将所述资源数据根据资源数据的基础属性进行分类,分类后将同一类别的资源数据划分成多个独立的实体数据;
实体数据分析模型,用于连接分类模块,从所述分类模块依次加载实体数据,通过实体数据分析模型以获取实体数据所对应的多个索引实体,由所述索引实体构成实体数据的索引表;
分割模块,连接所述的实体数据分析模型,用于将完成索引表构建的实体数据分割为多个数据区块,记录每一数据区块所对应的区块码,并将所述区块码对应地写在所述索引表的二级目类下;
任务管理模块,基于所述存储配置文件在所述数据交换器中进行构建,所述任务管理模块用于根据存储数据任务的进行至少构建一个数据存储通道以将数据交换器和对应的存储模块连通,将所述数据区块按照不同的数据存储通道存储到对应的存储模块中;并将对应的存储路径写入对应的索引表的三级目类下;
所述取出交换部具有:验证模块、加载规则以及交换存储区;
所述加载规则用于当数据交换器接收客户端的数据交换请求指令时,先通过验证模块完成初始验证后,验证完毕后自动激活任务管理模块,所述任务管理模块按照请求指令所包含的请求数据内容在索引表中查找对应的实体数据和所述实体数据对应的区块码以及区块码对应的存储路径;任务管理模块依次将每一实体数据对应的区块码同步给验证模块,所述验证模块基于同一实体数据对应的区块码形成一个验证规则,所述验证规则为:当任务管理模块以每一区块码对应的存储路径来启用数据存储通道之前,所述数据交换器在验证规则下向客户端发送接入验证;验证通过后,对应的数据存储通道被开启,数据交换器通过数据存储通道依次从对应的存储模块获取数据区块存放至交换存储区,待同一实体数据下的所有数据区块全部存放至交换存储区后,所述数据交换器再将数据区块以及对应的区块码发送至客户端。
进一步地,在所述数据交换器中设置一个融合检测模块,所述融合检测模块用于对交换存储区中数据区块所对应的区块码进行融合验证,当融合检测模块检测到多个区块码构成一个完整的实体数据后,向数据交换器发送一个交换确认指令,数据交换器基于交换确认指令将交换存储区内的多个数据区块以及对应的区块码发送至客户端。
进一步地,所述任务管理模块具有:
数据存储通道构建模块,用于根据存储数据任务的进行对应地加载存储路径以在数据交换器和存储模块之间构建数据存储通道;
存储控制模块,用于将得到的所述数据区块按照不同的数据存储通道存储到对应的存储模块中;或,通过所述数据存储通道从存储模块中对应地将数据区块发送至交换存储区;
以及同步模块,用于与验证模块进行数据同步。
在本申请中,通过设置一个数据交换器,该数据交换器作为存储服务器与客户端之间的连接纽带,数据交换器与存储服务器之间通过局域网连接,数据交换器与客户端通过互联网连接,局域网是最好最安全的网络安全物理隔离,相对于互联网来讲,局域网更加不易通过安全漏洞、病毒软件窃取数据资源;同时,为了满足数据交换的需求,通过在数据交换器中构建数据的存储规则和取出规则来增加数据安全性。
为了保证数据的完整性,在存储规则下,同一个完整的实体数据,被分割成多个数据区块,比如可以按照实体数据的大小进行等量分割,在进行存储时,多个数据区块被存储到数据服务器内不同的存储模块中,即便人为的获取了这些数据资源,在没有获取融合规则或者组合规则时,各种数据之间都是不完整的。
在上述中,通过监听客户端与数据交换器之间的验证响应频次来控制验证规则,即当验证响应频次增大时,则控制验证规则对应地增大数据交换器与客户端之间的接入验证,当验证响应频次超过设定阈值时,监听模块形成一个断开指令,数据交换器基于所述断开指令以断开数据交换器与客户端之间的连接。
附图说明
以下附图仅对本发明作示意性的说明和解释,并不用于限定本发明的范围,其中:
图1为本发明方法流程图;
图2为本发明中实体数据的索引表的构建方法示意图;
图3为本发明装置的框架原理示意图。
具体实施方式
为了使本发明的目的、技术方案、设计方法及优点更加清楚明了,以下结合附图通过具体实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。
实施例1:
参照图1和图2,本发明提供了一种大数据安全存储方法,包括如下步骤:
将存储服务器划分为多个存储模块,设置每一存储模块的存储路径,以所述存储路径对应的存储模块形成存储配置文件;
当数据交换器接收到采集装置转发的资源数据后,所述数据交换器将所述资源数据根据资源数据的基础属性进行分类,分类后将同一类别的资源数据划分成多个独立的实体数据;
在数据交换器中构建每一实体数据的索引表,并将每一实体数据分割为多个数据区块,记录每一数据区块所对应的区块码,并将所述区块码对应地写在所述索引表的二级目类下;
数据交换器获取所述存储配置文件,依据所述存储配置文件来构建任务管理模块,所述任务管理模块用于根据存储数据任务的进行至少构建一个数据存储通道以将数据交换器和对应的存储模块连通,将所述数据区块按照不同的数据存储通道存储到对应的存储模块中;并将对应的存储路径写入对应的索引表的三级目类下;
在所述数据交换器中设定数据加载规则和验证模块,所述加载规则用于当数据交换器接收客户端的数据交换请求指令时,先通过验证模块完成初始验证,验证完毕后自动激活任务管理模块,所述任务管理模块按照请求指令所包含的请求数据内容在索引表中查找对应的实体数据和所述实体数据对应的区块码以及区块码对应的存储路径;任务管理模块依次将每一实体数据对应的区块码同步给验证模块,所述验证模块基于同一实体数据对应的区块码形成一个验证规则,所述验证规则为:当任务管理模块以每一区块码对应的存储路径来启用数据存储通道之前,所述数据交换器在验证规则下向客户端发送接入验证;验证通过后,对应的数据存储通道被开启,数据交换器通过数据存储通道依次从对应的存储模块获取数据区块存放至交换存储区,待同一实体数据下的所有数据区块全部存放至交换存储区后,所述数据交换器再将数据区块以及对应的区块码发送至客户端。
在上述中,由于采集装置采集到的数据包含了文本、图像、视频等,因此,通过构建一个分类模块,用于接收采集装置转发的资源数据,将所述资源数据根据资源数据的基础属性进行分类,分类后将同一类别的资源数据划分成多个独立的实体数据;其中,基础属性可以视为文件的格式,为了便于实施,在分类模块中可以嵌入一个分类训练模型,具体的,先通过大量的数据样本进行人工专家标注,标注完毕后输入至神经网络模型进行迭代训练,训练完毕后引入至分类模块中,通过分类训练模型,可以精准的识别不同资源数据的基本格式。
在上述中,在数据交换器中构建每一实体数据的索引表的方法如下:
在数据交换器中建立一个实体数据分析模型;
在所述实体数据分析模型中设置一个分析任务管理器,所述分析任务管理器基于分析任务的进行来配置实体数据分析模型中每一个分析单元的训练资源;
每一所述分析单元在训练资源的支持下对实体数据进行分析,以获取实体数据所对应的多个索引实体,由所述索引实体构成实体数据的索引表。
进一步地,所述实体数据分析模型通过如下的方法进行建立:
获取大量的实体数据进行人工专家标记;
将标记后的实体数据按照实体数据的基本属性依次输入至神经网络单元进行迭代训练;
将多个神经网络单元进行组合后得到神经网络模型。
在上述中,无论是分类训练模型,还是实体数据分析模型,都是根据现有的神经网络工具来进行训练,比如CNN神经网络模型。
在上述中,每一所述实体数据下设置的区块码具有相同的组合结构,所述组合结构至少包含表示实体数据的字段、每一数据区块字段和顺序字段以及数据区块之间相互融合的组合字段,其中,实体数据的字段包括表示实体数据的类型和表示实体数据本身的序列码,每一数据区块字段用于表示在同一实体数据下数据区块之间的差异,组合字段表示数据区块之间的融合或者连接字段,用于将数据区块按照组合字段融合成完整的实体数据。其中,实体数据的字段、每一数据区块字段和顺序字段以及数据区块之间相互融合的组合字段可以按照设定规则的字符、数字、字母组合的形式,比如,在一串字段中10#45&95410¥23 SD32,前10位表示实体数据本身的序列码、中间的4位表示数据区块之间的差异,后4位表示组合字段。
在上述中,所述数据交换器在验证规则下向客户端发送接入验证,具体包括:
在数据交换器中构建一个监听模块,所述监听模块用于监测客户端与数据交换器之间的接入验证响应;
通过监听客户端与数据交换器之间的验证响应频次来控制验证规则,即当验证响应频次增大时,则控制验证规则对应地增大数据交换器与客户端之间的接入验证,当验证响应频次超过设定阈值时,监听模块形成一个断开指令,数据交换器基于所述断开指令以断开数据交换器与客户端之间的连接。
在上述中,所述数据交换器与存储服务器之间通过局域网进行连接。
在本申请中,通过设置一个数据交换器,该数据交换器作为存储服务器与客户端之间的连接纽带,数据交换器与存储服务器之间通过局域网连接,数据交换器与客户端通过互联网连接,局域网是最好最安全的网络安全物理隔离,相对于互联网来讲,局域网更加不易通过安全漏洞、病毒软件窃取数据资源;同时,为了满足数据交换的需求,通过在数据交换器中构建数据的存储规则和取出规则来增加数据安全性。
为了保证数据的完整性,在存储规则下,同一个完整的实体数据,被分割成多个数据区块,比如可以按照实体数据的大小进行等量分割,在进行存储时,多个数据区块被存储到数据服务器内不同的存储模块中,即便人为的获取了这些数据资源,在没有获取融合规则或者组合规则时,各种数据之间都是不完整的。
构成融合规则或者组合规则的区块码在数据交换器中存储,与数据服务器之间具有相对的物理隔离(仅通过局域网连接),增加数据安全性。
在进行数据取出交换时,客户端与数据交换器直接连接,数据交换器中并没有数据资源,只有当客户端向数据交换器发送数据交换请求时,数据交换器根据请求指令所包含的请求数据内容在索引表中查找对应的实体数据和所述实体数据对应的区块码以及区块码对应的存储路径,从而激活任务管理模块,任务管理模块依次将每一实体数据对应的区块码同步给验证模块,所述验证模块基于同一实体数据对应的区块码形成一个验证规则,所述验证规则为:当任务管理模块以每一区块码对应的存储路径来启用数据存储通道之前,所述数据交换器在验证规则下向客户端发送接入验证;验证通过后,对应的数据存储通道被开启,数据交换器通过数据存储通道依次从对应的存储模块获取数据区块存放至交换存储区,待同一实体数据下的所有数据区块全部存放至交换存储区后,所述数据交换器再将数据区块以及对应的区块码发送至客户端。
在上述中,通过监听客户端与数据交换器之间的验证响应频次来控制验证规则,即当验证响应频次增大时,则控制验证规则对应地增大数据交换器与客户端之间的接入验证,当验证响应频次超过设定阈值时,监听模块形成一个断开指令,数据交换器基于所述断开指令以断开数据交换器与客户端之间的连接。
实施例2:
参照图3,本发明还提供了一种大数据安全存储装置,包括:
存储服务器,所述存储服务器具有多个存储模块,配置每一存储模块的存储路径,并形成存储配置文件;
数据交换器,与存储服务器之间通过局域网连接,所述数据交换器具有:存入交换部和取出交换部;
其中,所述存入交换部具有:
分类模块,用于接收采集装置转发的资源数据,将所述资源数据根据资源数据的基础属性进行分类,分类后将同一类别的资源数据划分成多个独立的实体数据;
实体数据分析模型,用于连接分类模块,从所述分类模块依次加载实体数据,通过实体数据分析模型以获取实体数据所对应的多个索引实体,由所述索引实体构成实体数据的索引表;
分割模块,连接所述的实体数据分析模型,用于将完成索引表构建的实体数据分割为多个数据区块,记录每一数据区块所对应的区块码,并将所述区块码对应地写在所述索引表的二级目类下;
任务管理模块,基于所述存储配置文件在所述数据交换器中进行构建,所述任务管理模块用于根据存储数据任务的进行至少构建一个数据存储通道以将数据交换器和对应的存储模块连通,将所述数据区块按照不同的数据存储通道存储到对应的存储模块中;并将对应的存储路径写入对应的索引表的三级目类下;
所述取出交换部具有:验证模块、加载规则以及交换存储区;
所述加载规则用于当数据交换器接收客户端的数据交换请求指令时,先通过验证模块完成初始验证后,验证完毕后自动激活任务管理模块,所述任务管理模块按照请求指令所包含的请求数据内容在索引表中查找对应的实体数据和所述实体数据对应的区块码以及区块码对应的存储路径;任务管理模块依次将每一实体数据对应的区块码同步给验证模块,所述验证模块基于同一实体数据对应的区块码形成一个验证规则,所述验证规则为:当任务管理模块以每一区块码对应的存储路径来启用数据存储通道之前,所述数据交换器在验证规则下向客户端发送接入验证;验证通过后,对应的数据存储通道被开启,数据交换器通过数据存储通道依次从对应的存储模块获取数据区块存放至交换存储区,待同一实体数据下的所有数据区块全部存放至交换存储区后,所述数据交换器再将数据区块以及对应的区块码发送至客户端。
在上述中,在所述数据交换器中设置一个融合检测模块,所述融合检测模块用于对交换存储区中数据区块所对应的区块码进行融合验证,当融合检测模块检测到多个区块码构成一个完整的实体数据后,向数据交换器发送一个交换确认指令,数据交换器基于交换确认指令将交换存储区内的多个数据区块以及对应的区块码发送至客户端。
在上述中,所述任务管理模块具有:
数据存储通道构建模块,用于根据存储数据任务的进行对应地加载存储路径以在数据交换器和存储模块之间构建数据存储通道;
存储控制模块,用于将得到的所述数据区块按照不同的数据存储通道存储到对应的存储模块中;或,通过所述数据存储通道从存储模块中对应地将数据区块发送至交换存储区;
以及同步模块,用于与验证模块进行数据同步。
在本申请中,通过设置一个数据交换器,该数据交换器作为存储服务器与客户端之间的连接纽带,数据交换器与存储服务器之间通过局域网连接,数据交换器与客户端通过互联网连接,局域网是最好最安全的网络安全物理隔离,相对于互联网来讲,局域网更加不易通过安全漏洞、病毒软件窃取数据资源;同时,为了满足数据交换的需求,通过在数据交换器中构建数据的存储规则和取出规则来增加数据安全性。
为了保证数据的完整性,在存储规则下,同一个完整的实体数据,被分割成多个数据区块,比如可以按照实体数据的大小进行等量分割,在进行存储时,多个数据区块被存储到数据服务器内不同的存储模块中,即便人为的获取了这些数据资源,在没有获取融合规则或者组合规则时,各种数据之间都是不完整的。
构成融合规则或者组合规则的区块码在数据交换器中存储,与数据服务器之间具有相对的物理隔离(仅通过局域网连接),增加数据安全性。
在进行数据取出交换时,客户端与数据交换器直接连接,数据交换器中并没有数据资源,只有当客户端向数据交换器发送数据交换请求时,数据交换器根据请求指令所包含的请求数据内容在索引表中查找对应的实体数据和所述实体数据对应的区块码以及区块码对应的存储路径,从而激活任务管理模块,任务管理模块依次将每一实体数据对应的区块码同步给验证模块,所述验证模块基于同一实体数据对应的区块码形成一个验证规则,所述验证规则为:当任务管理模块以每一区块码对应的存储路径来启用数据存储通道之前,所述数据交换器在验证规则下向客户端发送接入验证;验证通过后,对应的数据存储通道被开启,数据交换器通过数据存储通道依次从对应的存储模块获取数据区块存放至交换存储区,待同一实体数据下的所有数据区块全部存放至交换存储区后,所述数据交换器再将数据区块以及对应的区块码发送至客户端。
在上述中,通过监听客户端与数据交换器之间的验证响应频次来控制验证规则,即当验证响应频次增大时,则控制验证规则对应地增大数据交换器与客户端之间的接入验证,当验证响应频次超过设定阈值时,监听模块形成一个断开指令,数据交换器基于所述断开指令以断开数据交换器与客户端之间的连接。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.大数据安全存储方法,其特征在于,包括如下步骤:
将存储服务器划分为多个存储模块,设置每一存储模块的存储路径,以所述存储路径对应的存储模块形成存储配置文件;
当数据交换器接收到采集装置转发的资源数据后,所述数据交换器将所述资源数据根据资源数据的基础属性进行分类,分类后将同一类别的资源数据划分成多个独立的实体数据;
在数据交换器中构建每一实体数据的索引表,并将每一实体数据分割为多个数据区块,记录每一数据区块所对应的区块码,并将所述区块码对应地写在所述索引表的二级目类下;
数据交换器获取所述存储配置文件,依据所述存储配置文件来构建任务管理模块,所述任务管理模块用于根据存储数据任务的进行至少构建一个数据存储通道以将数据交换器和对应的存储模块连通,将所述数据区块按照不同的数据存储通道存储到对应的存储模块中;并将对应的存储路径写入对应的索引表的三级目类下;
在所述数据交换器中设定数据加载规则和验证模块,所述加载规则用于当数据交换器接收客户端的数据交换请求指令时,先通过验证模块完成初始验证,验证完毕后自动激活任务管理模块,所述任务管理模块按照请求指令所包含的请求数据内容在索引表中查找对应的实体数据和所述实体数据对应的区块码以及区块码对应的存储路径;任务管理模块依次将每一实体数据对应的区块码同步给验证模块,所述验证模块基于同一实体数据对应的区块码形成一个验证规则,所述验证规则为:当任务管理模块以每一区块码对应的存储路径来启用数据存储通道之前,所述数据交换器在验证规则下向客户端发送接入验证;验证通过后,对应的数据存储通道被开启,数据交换器通过数据存储通道依次从对应的存储模块获取数据区块存放至交换存储区,待同一实体数据下的所有数据区块全部存放至交换存储区后,所述数据交换器再将数据区块以及对应的区块码发送至客户端。
2.根据权利要求1所述的大数据安全存储方法,其特征在于,在数据交换器中构建每一实体数据的索引表的方法如下:
在数据交换器中建立一个实体数据分析模型;
在所述实体数据分析模型中设置一个分析任务管理器,所述分析任务管理器基于分析任务的进行来配置实体数据分析模型中每一个分析单元的训练资源;
每一所述分析单元在训练资源的支持下对实体数据进行分析,以获取实体数据所对应的多个索引实体,由所述索引实体构成实体数据的索引表。
3.根据权利要求2所述的大数据安全存储方法,其特征在于,所述实体数据分析模型通过如下的方法进行建立:
获取大量的实体数据进行人工专家标记;
将标记后的实体数据按照实体数据的基本属性依次输入至神经网络单元进行迭代训练;
将多个神经网络单元进行组合后得到神经网络模型。
4.根据权利要求1所述的大数据安全存储方法,其特征在于,每一所述实体数据下设置的区块码具有相同的组合结构,所述组合结构至少包含表示实体数据的字段、每一数据区块字段和顺序字段以及数据区块之间相互融合的组合字段。
5.根据权利要求1所述的大数据安全存储方法,其特征在于,所述数据交换器在验证规则下向客户端发送接入验证,具体包括:
在数据交换器中构建一个监听模块,所述监听模块用于监测客户端与数据交换器之间的接入验证响应;
通过监听客户端与数据交换器之间的验证响应频次来控制验证规则,即当验证响应频次增大时,则控制验证规则对应地增大数据交换器与客户端之间的接入验证,当验证响应频次超过设定阈值时,监听模块形成一个断开指令,数据交换器基于所述断开指令以断开数据交换器与客户端之间的连接。
6.根据权利要求1所述的大数据安全存储方法,其特征在于,所述数据交换器与存储服务器之间通过局域网进行连接。
7.大数据安全存储装置,其特征在于,包括:
存储服务器,所述存储服务器具有多个存储模块,配置每一存储模块的存储路径,并形成存储配置文件;
数据交换器,与存储服务器之间通过局域网连接,所述数据交换器具有:存入交换部和取出交换部;
其中,所述存入交换部具有:
分类模块,用于接收采集装置转发的资源数据,将所述资源数据根据资源数据的基础属性进行分类,分类后将同一类别的资源数据划分成多个独立的实体数据;
实体数据分析模型,用于连接分类模块,从所述分类模块依次加载实体数据,通过实体数据分析模型以获取实体数据所对应的多个索引实体,由所述索引实体构成实体数据的索引表;
分割模块,连接所述的实体数据分析模型,用于将完成索引表构建的实体数据分割为多个数据区块,记录每一数据区块所对应的区块码,并将所述区块码对应地写在所述索引表的二级目类下;
任务管理模块,基于所述存储配置文件在所述数据交换器中进行构建,所述任务管理模块用于根据存储数据任务的进行至少构建一个数据存储通道以将数据交换器和对应的存储模块连通,将所述数据区块按照不同的数据存储通道存储到对应的存储模块中;并将对应的存储路径写入对应的索引表的三级目类下;
所述取出交换部具有:验证模块、加载规则以及交换存储区;
所述加载规则用于当数据交换器接收客户端的数据交换请求指令时,先通过验证模块完成初始验证后,验证完毕后自动激活任务管理模块,所述任务管理模块按照请求指令所包含的请求数据内容在索引表中查找对应的实体数据和所述实体数据对应的区块码以及区块码对应的存储路径;任务管理模块依次将每一实体数据对应的区块码同步给验证模块,所述验证模块基于同一实体数据对应的区块码形成一个验证规则,所述验证规则为:当任务管理模块以每一区块码对应的存储路径来启用数据存储通道之前,所述数据交换器在验证规则下向客户端发送接入验证;验证通过后,对应的数据存储通道被开启,数据交换器通过数据存储通道依次从对应的存储模块获取数据区块存放至交换存储区,待同一实体数据下的所有数据区块全部存放至交换存储区后,所述数据交换器再将数据区块以及对应的区块码发送至客户端。
8.根据权利要求7所述的大数据安全存储装置,其特征在于,在所述数据交换器中设置一个融合检测模块,所述融合检测模块用于对交换存储区中数据区块所对应的区块码进行融合验证,当融合检测模块检测到多个区块码构成一个完整的实体数据后,向数据交换器发送一个交换确认指令,数据交换器基于交换确认指令将交换存储区内的多个数据区块以及对应的区块码发送至客户端。
9.根据权利要求7所述的大数据安全存储装置,其特征在于,所述任务管理模块具有:
数据存储通道构建模块,用于根据存储数据任务的进行对应地加载存储路径以在数据交换器和存储模块之间构建数据存储通道;
存储控制模块,用于将得到的所述数据区块按照不同的数据存储通道存储到对应的存储模块中;或,通过所述数据存储通道从存储模块中对应地将数据区块发送至交换存储区;
以及同步模块,用于与验证模块进行数据同步。
CN202310251383.9A 2023-03-16 2023-03-16 大数据安全存储方法及装置 Active CN115964754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310251383.9A CN115964754B (zh) 2023-03-16 2023-03-16 大数据安全存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310251383.9A CN115964754B (zh) 2023-03-16 2023-03-16 大数据安全存储方法及装置

Publications (2)

Publication Number Publication Date
CN115964754A true CN115964754A (zh) 2023-04-14
CN115964754B CN115964754B (zh) 2023-05-23

Family

ID=85888204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310251383.9A Active CN115964754B (zh) 2023-03-16 2023-03-16 大数据安全存储方法及装置

Country Status (1)

Country Link
CN (1) CN115964754B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101795211A (zh) * 2010-01-13 2010-08-04 北京中创信测科技股份有限公司 一种数据存储方法及系统
CN103384256A (zh) * 2012-05-02 2013-11-06 天津书生投资有限公司 一种云存储方法及装置
CN106789755A (zh) * 2016-11-30 2017-05-31 中国电子科技集团公司第五十四研究所 跨网数据交换平台
CN107220302A (zh) * 2017-05-10 2017-09-29 江苏速度信息科技股份有限公司 基于qt技术的自动切片存储系统和方法
US20170310754A1 (en) * 2016-04-26 2017-10-26 International Business Machines Corporation Selecting memory for data access in a dispersed storage network
CN108829767A (zh) * 2018-05-29 2018-11-16 吉贝克信息技术(北京)有限公司 数据交换系统及其方法、装置和计算机存储介质
CN109729168A (zh) * 2018-12-31 2019-05-07 浙江成功软件开发有限公司 一种基于区块链的数据共享交换系统及方法
CN110647503A (zh) * 2019-10-09 2020-01-03 重庆特斯联智慧科技股份有限公司 一种分布式存储方法及装置
CN114116895A (zh) * 2021-11-17 2022-03-01 北京八分量信息科技有限公司 一种区块链大数据的云存储系统
CN114650178A (zh) * 2022-03-26 2022-06-21 山东众量信息科技有限公司 大数据交换方法及系统
US20220217049A1 (en) * 2018-01-30 2022-07-07 Pure Storage, Inc. Path Management For Container Clusters That Access Persistent Storage
CN114943287A (zh) * 2022-05-20 2022-08-26 辽东学院 一种计算机大数据采集处理系统、方法、设备及介质
CN115480714A (zh) * 2022-10-25 2022-12-16 中国空间技术研究院 一种基于区块链的卫星大数据分布式存储系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101795211A (zh) * 2010-01-13 2010-08-04 北京中创信测科技股份有限公司 一种数据存储方法及系统
CN103384256A (zh) * 2012-05-02 2013-11-06 天津书生投资有限公司 一种云存储方法及装置
US20170310754A1 (en) * 2016-04-26 2017-10-26 International Business Machines Corporation Selecting memory for data access in a dispersed storage network
CN106789755A (zh) * 2016-11-30 2017-05-31 中国电子科技集团公司第五十四研究所 跨网数据交换平台
CN107220302A (zh) * 2017-05-10 2017-09-29 江苏速度信息科技股份有限公司 基于qt技术的自动切片存储系统和方法
US20220217049A1 (en) * 2018-01-30 2022-07-07 Pure Storage, Inc. Path Management For Container Clusters That Access Persistent Storage
CN108829767A (zh) * 2018-05-29 2018-11-16 吉贝克信息技术(北京)有限公司 数据交换系统及其方法、装置和计算机存储介质
CN109729168A (zh) * 2018-12-31 2019-05-07 浙江成功软件开发有限公司 一种基于区块链的数据共享交换系统及方法
CN110647503A (zh) * 2019-10-09 2020-01-03 重庆特斯联智慧科技股份有限公司 一种分布式存储方法及装置
CN114116895A (zh) * 2021-11-17 2022-03-01 北京八分量信息科技有限公司 一种区块链大数据的云存储系统
CN114650178A (zh) * 2022-03-26 2022-06-21 山东众量信息科技有限公司 大数据交换方法及系统
CN114943287A (zh) * 2022-05-20 2022-08-26 辽东学院 一种计算机大数据采集处理系统、方法、设备及介质
CN115480714A (zh) * 2022-10-25 2022-12-16 中国空间技术研究院 一种基于区块链的卫星大数据分布式存储系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
施晓峰;: "基于分布式NoSQL数据库的档案大数据存储与检索方案研究", 计算机应用与软件 *
邢文凯;: "基于云计算数据查询的安全索引构建方法", 沈阳工业大学学报 *

Also Published As

Publication number Publication date
CN115964754B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN110046297B (zh) 运维违规操作的识别方法、装置和存储介质
CN108156131A (zh) Webshell检测方法、电子设备和计算机存储介质
CN105491018B (zh) 一种基于dpi技术的网络数据安全性分析方法
CN113194126B (zh) 一种基于区块链的横向联邦学习模型构建方法
CN111107423A (zh) 一种视频业务播放卡顿的识别方法和装置
CN112800428B (zh) 一种终端设备的安全状态判断方法及装置
CN104320863B (zh) 应用于移动终端的无线网络接入方法及移动终端
CN109241062A (zh) 一种政务数据目录的生成方法及装置
CN107872435A (zh) 一种安全验证的方法及装置
CN108965339A (zh) 一种区块链学校数据访问系统
CN105024814A (zh) 一种验证方法、服务器,及系统
CN114821401A (zh) 视频审核方法、装置、设备、存储介质及程序产品
CN109818831A (zh) 一种基于dmz的跨专网的系统数据动态监控装置及方法
CN115964754B (zh) 大数据安全存储方法及装置
CN110399485B (zh) 基于词向量和机器学习的数据溯源方法和系统
CN116049797A (zh) 一种基于数据分类系统的智能存储系统
CN116225571B (zh) 数据采集系统、存储系统以及交换方法
CN116614251A (zh) 一种数据安全监控系统
CN113992419A (zh) 一种用户异常行为检测和处理系统及其方法
CN113378222A (zh) 一种基于数据内容识别的文件标密方法及系统
CN114124412A (zh) 异常检测方法、模型训练方法以及相关装置
CN116527303B (zh) 基于标记流量对比的工控设备信息提取方法及装置
CN110544182A (zh) 一种基于机器学习技术的配电通信网融合控制方法及系统
KR102470364B1 (ko) 보안 이벤트 학습데이터 생성 방법 및 보안 이벤트 학습데이터 생성 장치
CN116719956B (zh) 一种基于大数据的档案分类管理系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant