CN116628728B - 一种基于特征感知的数据存储分析方法及系统 - Google Patents
一种基于特征感知的数据存储分析方法及系统 Download PDFInfo
- Publication number
- CN116628728B CN116628728B CN202310905435.XA CN202310905435A CN116628728B CN 116628728 B CN116628728 B CN 116628728B CN 202310905435 A CN202310905435 A CN 202310905435A CN 116628728 B CN116628728 B CN 116628728B
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- storage
- storage node
- confidentiality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 253
- 238000013500 data storage Methods 0.000 title claims abstract description 50
- 230000008447 perception Effects 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000005540 biological transmission Effects 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 16
- 230000001934 delay Effects 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 7
- 238000007726 management method Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000012795 verification Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/062—Securing storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于特征感知的数据存储分析方法及系统,涉及数据处理技术领域,该方法包括:在本地端内,采集待存储数据的多项特征信息,获得数据特征集合;从保密性和调用可能性分析数据特征集合,分别获得数据保密性分析结果和调用可能性分析结果;分别输入数据保密处理分析单元和存储节点分配单元内,获得数据保密处理方案和存储节点分配结果;采用保密处理方案对待存储数据进行加密处理,判断目标存储节点是否达到预设存储阈值,若否,则将加密处理结果传输至目标存储节点内进行存储。本发明解决了现有技术中存在数据存储单一化分析,导致存储结构混乱的技术问题,达到了基于特征感知,进行数据规范化存储,提高管理效率的技术效果。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种基于特征感知的数据存储分析方法及系统。
背景技术
随着大数据时代的到来,新技术不断被开发利用,产生了海量的数据。在数据产生利用的过程中,数据存储作为数据中转的必要途径,研究数据存储相关内容对于提高数据的利用程度有着十分重要的意义。
目前,对于数据的存储主要通过顺序存储的方式,即按照数据产生的时间顺序,将数据存在硬盘或者可存储介质中。然而,随着数据量的增加,仅仅依靠顺序存储这种时间单一性分析的存储方式,在进行数据调取时,造成数据响应时间长的后果。进而,需要使用分布式存储,但是现在的存储方式需要自己设置,对于数据的保密性以及调用的效率没有保证,无法根据数据特征进行存储方式的适应性制定,导致数据安全和调用速度不佳。现有技术中存在数据存储单一化分析,导致存储结构混乱的技术问题。
发明内容
本申请提供了一种基于特征感知的数据存储分析方法及系统,用于针对解决现有技术中存在数据存储单一化分析,导致存储结构混乱的技术问题。
鉴于上述问题,本申请提供了一种基于特征感知的数据存储分析方法及系统。
本申请的第一个方面,提供了一种基于特征感知的数据存储分析方法,所述方法包括:
在本地端内,采集待存储数据的多项特征信息,获得数据特征集合,其中,所述多项特征信息包括用户特征、数据类型特征和数据大小特征,所述待存储数据为待进行分布式存储的数据;
将所述数据特征集合传输至云端,输入云端内的特征感知模型内的数据保密性分析单元内,获得数据保密性分析结果,所述云端内包括多个分布式存储节点;
将所述数据特征集合输入所述特征感知模型内的调用可能性分析单元内,获得调用可能性分析结果;
将所述数据保密性分析结果输入数据存储分析模型内的数据保密处理分析单元内,获得数据保密处理方案,将所述调用可能性分析结果输入所述数据存储分析模型内的存储节点分配单元内,获得存储节点分配结果,其中,所述存储节点分配结果内的目标存储节点与所述本地端的目标传输时延与所述调用可能性分析结果对应;
采用所述保密处理方案对所述待存储数据进行加密处理,判断所述目标存储节点是否达到预设存储阈值,若否,则将加密处理结果传输至所述目标存储节点内进行存储,若是,则将加密处理结果传输至与所述本地端的传输时延小于所述目标传输时延的下一存储节点内进行存储。
本申请的第二个方面,提供了一种基于特征感知的数据存储分析系统,所述系统包括:
数据特征获得模块,所述数据特征获得模块用于在本地端内,采集待存储数据的多项特征信息,获得数据特征集合,其中,所述多项特征信息包括用户特征、数据类型特征和数据大小特征,所述待存储数据为待进行分布式存储的数据;
保密性分析模块,所述保密性分析模块用于将所述数据特征集合传输至云端,输入云端内的特征感知模型内的数据保密性分析单元内,获得数据保密性分析结果,所述云端内包括多个分布式存储节点;
可能性分析模块,所述可能性分析模块用于将所述数据特征集合输入所述特征感知模型内的调用可能性分析单元内,获得调用可能性分析结果;
存储节点分配模块,所述存储节点分配模块用于将所述数据保密性分析结果输入数据存储分析模型内的数据保密处理分析单元内,获得数据保密处理方案,将所述调用可能性分析结果输入所述数据存储分析模型内的存储节点分配单元内,获得存储节点分配结果,其中,所述存储节点分配结果内的目标存储节点与所述本地端的目标传输时延与所述调用可能性分析结果对应;
存储节点判断模块,所述存储节点判断模块用于采用所述保密处理方案对所述待存储数据进行加密处理,判断所述目标存储节点是否达到预设存储阈值,若否,则将加密处理结果传输至所述目标存储节点内进行存储,若是,则将加密处理结果传输至与所述本地端的传输时延小于所述目标传输时延的下一存储节点内进行存储。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本申请通过在本地端内,采集待存储数据的多项特征信息,获得数据特征集合,其中,多项特征信息包括用户特征、数据类型特征和数据大小特征,待存储数据为待进行分布式存储的数据,然后将数据特征集合传输至云端,输入云端内的特征感知模型内的数据保密性分析单元内,获得数据保密性分析结果,云端内包括多个分布式存储节点,进而将数据特征集合输入特征感知模型内的调用可能性分析单元内,获得调用可能性分析结果,然后将数据保密性分析结果输入数据存储分析模型内的数据保密处理分析单元内,获得数据保密处理方案,将调用可能性分析结果输入数据存储分析模型内的存储节点分配单元内,获得存储节点分配结果,其中,存储节点分配结果内的目标存储节点与本地端的目标传输时延与调用可能性分析结果对应,通过采用保密处理方案对待存储数据进行加密处理,判断目标存储节点是否达到预设存储阈值,若否,则将加密处理结果传输至目标存储节点内进行存储,若是,则将加密处理结果传输至与本地端的传输时延小于目标传输时延的下一存储节点内进行存储。达到了对数据进行特征识别,多维度的进行数据存储分析,提高存储管理质量的技术效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于特征感知的数据存储分析方法流程示意图;
图2为本申请实施例提供的一种基于特征感知的数据存储分析方法中获得数据保密性分析结果的流程示意图;
图3为本申请实施例提供的一种基于特征感知的数据存储分析方法中获得调用可能性分析结果的流程示意图;
图4为本申请实施例提供的一种基于特征感知的数据存储分析系统结构示意图。
附图标记说明:数据特征获得模块11,保密性分析模块12,可能性分析模块13,存储节点分配模块14,存储节点判断模块15。
实施方式
本申请通过提供了一种基于特征感知的数据存储分析方法及系统,用于针对解决现有技术中存在数据存储单一化分析,导致存储结构混乱的技术问题。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
实施例
如图1所示,本申请提供了一种基于特征感知的数据存储分析方法,其中,所述方法包括:
步骤S100:在本地端内,采集待存储数据的多项特征信息,获得数据特征集合,其中,所述多项特征信息包括用户特征、数据类型特征和数据大小特征,所述待存储数据为待进行分布式存储的数据;
进一步的,在本地端内,采集待存储数据的多项特征信息,获得数据特征集合,本申请实施例步骤S100还包括:
步骤S110:采集在本地端内执行生成和存储所述待存储数据操作的用户信息,作为用户特征信息;
步骤S120:获取所述待存储数据的数据类型特征信息和数据大小特征信息;
步骤S130:基于所述用户特征信息、数据类型特征信息和数据大小特征信息,获得所述数据特征集合。
具体而言,所述待存储数据是在本地端中生成的数据以及经过用户造作需要存储在云端的数据,换句话说,所述待存储数据为待进行分布式存储的数据,也就是需要经过分析后进行分布式存储的数据。所述多项特征信息是从多个不同的角度将待存储数据与其他待存储数据区分开的特征,包括用户特征、数据类型特征和数据大小特征。所述用户特征信息是对在本地端执行生成和存储待存储数据操作的用户进行描述的特征信息,包括用户身份、用户操作等级等特征。
具体的,所述数据类型特征信息是以数据的类型为数据区分索引,对数据进行特征描述的信息,包括数据性质特征、数据等级类型特征等。所述数据大小特征信息是对待存储数据的数据字符量进行特征描述的信息,包括数据字符量。以所述用户特征信息、数据类型特征信息和数据大小特征信息从三个维度对待存储数据进行特征构建,从而建立全方位的数据特征识别,为确定待存储数据的特性,以及后续分析数据存储提供可靠的分析数据。
步骤S200:将所述数据特征集合传输至云端,输入云端内的特征感知模型内的数据保密性分析单元内,获得数据保密性分析结果,所述云端内包括多个分布式存储节点;
进一步的,如图2所示,将所述数据特征集合传输至云端,输入云端内的特征感知模型内的数据保密性分析单元内,本申请实施例步骤S200还包括:
步骤S210:基于所述本地端在所述云端过去时间内存储的多个样本数据,获取样本用户特征信息集合、样本数据类型特征信息集合和样本数据大小特征信息集合,并获得多个样本数据特征集合;
步骤S220:根据所述多个样本数据特征集合进行数据保密性评级,获得多个样本数据保密性分析结果;
步骤S230:采用所述多个样本数据特征集合和所述多个样本数据保密性分析结果作为构建数据,基于BP神经网络,构建并监督训练获得满足预设条件的所述数据保密性分析单元;
步骤S240:将所述数据特征集合传输至云端,输入所述数据保密性分析单元内,获得所述数据保密性分析结果。
具体而言,云端是一种采用应用程序虚拟化技术的软件平台,具有数据存储、管理、备份等多功能为一体,且,所述云端内包括多个分布式存储节点。其中,所述多个分布式存储节点是云端中在多个服务器上布置的存储节点,通过将数据分散存储在多个服务器上的存储节点上,将存储节点按照多个服务器的架构构建成一个分布式网络,从而提高存储的可利用性和存取效率。所述特征感知模型是对待存储数据的数据特征集合进行智能化特征识别、分析的功能模型。所述数据保密性分析单元是对数据需要的保密程度进行智能化分析的单元。所述数据保密性分析单元是以BP神经网络为基础框架,输入数据为数据特征集合,输出数据为数据保密性分析结果的功能单元。所述数据保密性分析结果是对数据需要进行保密的程度进行智能化分析后得到的结果。
具体的,通过对本地端在过去时间内,在云端存储的多个样本数据作为分析数据,对多个样本数据进行特征识别后获得样本用户特征信息集合、样本数据类型特征信息集合和样本数据大小特征信息集合。并根据样本用户特征信息集合、样本数据类型特征信息集合和样本数据大小特征信息集合生成所述多个样本数据特征集合。其中,所述多个样本数据特征集合是分别对多个样本数据进行多维度特征识别后,对样本数据区分于其他样本数据的特征进行汇总后得到的。
具体的,以所述多个样本数据特征集合为保密性分析对象,分别对每个样本数据特征集合进行数据保密性评级,从而获得多个样本数据保密性分析结果。其中,可根据不同样本用户特征、不同数据类型特征和不同数据大小特征进行具体的分析评级,例如某一用户及某一类型的数据的保密性等级较高,所述多个样本数据保密性分析结果是对多个样本需要保密的程度进行分析后的获得。所述多个样本数据保密性分析结果与所述多个样本数据一一对应。
具体的,通过以所述多个样本数据特征集合和所述多个样本数据保密性分析结果为构建数据,并对所述多个样本数据保密性分析结果进行数据标识,获得标识数据。利用构建数据对所述数据保密性分析单元进行训练,并在训练过程中,利用标识数据对训练过程进行监督,直至模型输出达到收敛,得到训练完成的所述数据保密性分析单元。其中,所述预设条件是模型输出达到收敛。进而,通过将所述数据特征集合传输至云端,输入云端中的数据保密性分析单元中,以数据特征集合中的数据特征为分析对象,智能化的进行数据保密性分析,从而输出所述数据保密性分析结果。
步骤S300:将所述数据特征集合输入所述特征感知模型内的调用可能性分析单元内,获得调用可能性分析结果;
进一步的,如图3所示,将所述数据特征集合输入所述特征感知模型内的调用可能性分析单元内,获得调用可能性分析结果,本申请实施例步骤S300还包括:
步骤S310:获取所述多个样本数据的调用频率,根据调用频率进行调用可能性评级,获得多个样本调用可能性分析结果;
步骤S320:采用所述多个样本数据特征集合和所述多个样本调用可能性分析结果作为构建数据,基于BP神经网络,构建并训练获得符合预设条件的所述调用可能性分析单元,所述数据保密性分析单元和调用可能性分析单元组成所述特征感知模型;
步骤S330:将所述数据特征集合输入所述调用可能性分析单元,获得所述调用可能性分析结果。
具体而言,所述调用可能性分析单元是对数据特征集合对应待存储数据在存储之后被调取的可能性进行分析的功能单元,以BP神经网络为基础框架,以数据特征集合为输入数据,以调用可能性分析结果为输出数据。所述调用可能性分析结果是以数据特征为分析对象,从而对待存储数据的调用可能性分析后获得的结果。
具体的,通过对多个样本数据在云端过去时间内的调用次数进行统计,获得所述多个样本数据的调用频率。其中,所述过去时间是当前时间节点之前的任意一段时间段,可以是一个月、一季度或者半年。通过根据调用频率的大小,进行调用可能性评级。优选的,将每一个调用可能性等级设定一个对应的调用频率范围,从而为调用可能性评级提供评级依据。示例性的,一级调用可能性对应的调用频率为300~500次/月,二级调用可能性对应的调用频率为200~300次/月,三级调用可能性对应的调用频率为0~100次/月。从而,根据多个样本数据的调用频率,以及调用等级对应的调用频率范围确定多个样本调用可能性分析结果。
具体的,以所述多个样本数据特征集合和所述多个样本调用可能性分析结果作为构建数据,按照一定的划分比例将构建数据划分为训练集和验证集,优选的,划分比例为6:4。通过利用训练集对BP神经网络构建的框架进行训练,直至单元训练至收敛,获得收敛的调用可能性分析单元。进而,利用验证集对收敛的调用可能性分析单元进行准确性验证,通过将验证集中的多个样本数据特征集合输入调用可能性分析单元中,输出多个验证样本调用可能性分析结果,将所述多个验证样本调用可能性分析结果与多个样本调用可能性分析结果进行做比,将得到的比值作为准确度,判断准确度是否符合预设条件中设定的准确度,若符合,则输出训练完成的调用可能性分析单元,若不符合,则获得更多样本数据进行增量学习。通过将数据特征集合输入调用可能性分析单元中,经过分析单元的智能化分析,输出调用可能性分析结果。利用所述数据保密性分析单元和调用可能性分析单元组成所述特征感知模型。
步骤S400:将所述数据保密性分析结果输入数据存储分析模型内的数据保密处理分析单元内,获得数据保密处理方案,将所述调用可能性分析结果输入所述数据存储分析模型内的存储节点分配单元内,获得存储节点分配结果,其中,所述存储节点分配结果内的目标存储节点与所述本地端的目标传输时延与所述调用可能性分析结果对应;
进一步的,将所述数据保密性分析结果输入数据存储分析模型内的数据保密处理分析单元内,获得数据保密处理方案,本申请实施例步骤S400还包括:
步骤S410:根据所述多个样本数据保密性分析结果,进行数据加密方案制定,获得多个样本数据保密处理方案;
步骤S420:基于所述多个样本数据保密性分析结果,构建多个第一索引元素;
步骤S430:基于所述多个样本数据保密处理方案,构建多个第一数据元素;
步骤S440:构建所述多个第一索引元素和所述多个第一数据元素的索引关系,获得所述数据保密处理分析单元;
步骤S450:将所述数据保密性分析结果输入所述数据保密处理分析单元内,获得所述数据保密处理方案。
具体而言,数据存储分析模型是对待存储数据的存储过程进行智能化分析的功能模型,包括数据保密处理分析单元和存储节点分配单元。其中,所述数据保密处理分析单元是根据数据需要进行保密的程度对数据的保密方案进行智能化分析的功能单元。所述存储节点分配单元是根据调用可能性分析结果对待存储数据在云端的多个分布式存储节点的存储情况进行分析的功能单元。所述存储节点分配结果内的目标存储节点与所述本地端的目标传输时延与所述调用可能性分析结果对应,换句话说,调用可能性分析结果对应的待存储数据调用可能性越高,则在存储节点中对应的目标传输时延越低。
具体的,所述数据保密处理方案是对待存储数据的数据进行保密处理的具体实行方案。所述存储节点分配结果是待存储数据对应的存储节点进行确定后得到的分配结果。通过根据所述多个样本数据保密性分析结果,对应保密等级制定数据加密方案。其中,数据加密方案是对待存储数据进行加密的方法,示例性的,在云端内的服务器中进行数据加密,通过利用加密业务逻辑的密码SDK进行集成,对数据进行加密,在进行数据调用时,通过对数据对应的加解密接口对数据进行解密。从而保证数据的安全性。
具体的,通过根据所述样本数据保密性分析结果中的保密等级,将其作为第一索引元素,通过对多个样本数据保密性分析结果中的多个保密等级进行数据提取,从而获得所述多个第一索引元素。其中,所述第一索引元素是对数据保密处理方案进行提取的线索。通过对所述多个样本数据保密处理方案进行方案关键词提取,根据提取的结果构建所述多个第一数据元素。其中,所述多个第一数据元素是对数据保密处理方案中的关键词进行提取,作为进行方案匹配时的关键词。通过根据多个样本数据保密性分析结果与所述多个样本数据保密处理方案之间的对应关系,从而构建所述多个第一索引元素和所述多个第一数据元素之间的索引关系,根据所述索引关系、以及多个样本数据保密性分析结果和多个样本数据保密处理方案,构建所述数据保密处理分析单元。所述数据保密处理分析单元的输入数据为数据保密性分析结果,输出数据为数据保密处理方案。
进一步的,将所述调用可能性分析结果输入所述数据存储分析模型内的存储节点分配单元内,获得存储节点分配结果,本申请实施例步骤S450还包括:
步骤S451:获取所述多个分布式存储节点和所述本地端的通信时延,获得多个通信时延;
步骤S452:按照从小到大的顺序,根据所述多个通信时延对所述多个分布式存储节点进行排序,获得存储节点序列;
步骤S453:根据所述存储节点序列,获取所述多个分布式存储节点的多个序列值;
步骤S454:构建所述多个样本调用可能性分析结果与多个序列值的映射关系,获得所述存储节点分配单元;
步骤S455:将所述调用可能性分析结果输入所述存储节点分配单元内,获得对应的序列值及分布式存储节点,作为所述存储节点分配结果。
具体而言,通过根据所述多个分布式存储节点分别与所述本地端进行通信连接时的信号传输时间,获得所述多个通信时延。其中,所述多个通信时延反映了各个存储节点与本地端进行通信时所需要的时间长短,通信时延越长,对应需要的时间越长。通过根据所述多个通信时延的大小,按照从小到大的顺序,对所述多个分布式存储节点进行排序,将通信时延小的存储节点排列在前面,从而获得所述存储节点序列。其中,所述存储节点序列是对多个分布式存储节点的存储顺序进行确定,从而保证存储时各个存储节点的有序性。
具体的,通过根据存储节点序列对所述多个分布式存储节点对应的序列值进行提取,获得所述多个序列值。其中,所述多个序列值反映了分布式存储节点从通信时长的角度进行分析后,各个节点在进行存储时的顺序。按照调用可能性分析结果中的调用可能性越高,则分配的存储节点对应的序列值越小的顺序,构建所述多个样本调用可能性分析结果与多个序列值的映射关系,根据映射关系,以及多个序列值、多个样本调用可能性分析结果获得所述存储节点分配单元。
具体的,通过将所述调用可能性分析结果作为输入数据输入所述存储节点分配单元内,得到对应的序列值及分布式存储节点,即对待存储数据进行分布式存储时对应的存储节点的序列值,以及存储的分布式存储节点。达到了对待存储数据进行高效高质、有序的存储分析的技术效果。
步骤S500:采用所述保密处理方案对所述待存储数据进行加密处理,判断所述目标存储节点是否达到预设存储阈值,若否,则将加密处理结果传输至所述目标存储节点内进行存储,若是,则将加密处理结果传输至与所述本地端的传输时延小于所述目标传输时延的下一存储节点内进行存储。
进一步的,判断所述目标存储节点是否达到预设存储阈值,本申请实施例步骤S500还包括:
步骤S510:获取所述预设存储阈值,并获取所述目标存储节点当前的目标存储参数;
步骤S520:判断所述目标存储参数是否达到所述存储阈值;
步骤S530:若否,则将所述加密处理结果传输至所述目标存储节点内进行存储,若否,则获取所述存储节点序列内所述目标存储节点相邻的后一个存储节点当前的存储参数,判断是否达到所述预设存储阈值,直到获得未达到所述预设存储阈值的存储节点,将所述加密处理结果进行传输保存。
具体而言,通过根据所述保密处理方案对所述待存储数据进行加密处理,进而判断待存储数据将要存储的目标存储节点中的存储空间是否达到预设存储阈值。其中,所述预设存储阈值是预先设置的存储节点可以存储的最大数据量。
具体的,当所述目标存储节点达到预设存储阈值时,表明此时目标存储节点不能承接待存储数据的存储,需要将待存储数据存储至其它存储节点中,通过选择与所述本地端的传输时延小于所述目标传输时延的下一存储节点,也可选择与所述本地端的传输时延大于所述目标传输时延的下一存储节点,即除开目标存储节点外的最优存储节点,对待存储数据进行存储。
具体的,当所述目标存储节点未达到预设存储阈值时,则按照保密处理方案处理后的待存储数据存入目标存储节点。
具体的,对目标存储节点的预设存储阈值进行获取,同时对目标存储节点在当前时刻存储的目标存储参数进行采集。其中,所述目标存储参数是对目标存储节点对应的内存占用情况进行描述的参数,包括内存占用字符量。通过将所述目标存储参数与所述预设存储阈值进行匹配,判断所述目标存储参数是否达到所述预设存储阈值,若否,则将所述加密处理结果传输至所述目标存储节点内进行存储。若是,则获取所述存储节点序列内所述目标存储节点相邻的后一个存储节点当前的存储参数,判断是否达到所述预设存储阈值,通过按照序列值逐一进行判断,直至获得没有达到预设存储阈值的存储节点,将所述加密处理结果在该存储节点进行传输保存。达到了对待存储数据进行智能化存储分析,提高存储效率和调用效率的技术效果。
综上所述,本申请实施例至少具有如下技术效果:
本申请通过从本地端对待存储数据的多项特征信息进行提取,进而,通过云端的特征感知模型对数据特征进行感知识别,对数据包含的信息进行深入挖掘,获得数据保密性分析结果和调用可能性分析结果,从保密性和调用可能性的角度对数据特征进行分析,进而,根据保密性分析结果对待存储数据进行差异化数据保密,以及通过根据调用可能性分析结果对待存储数据进行存储节点的智能化分配,从而对数据进行有序的存储,进而,通过对目标存储节点的存储量是否达到预设存储阈值,优化存储分配。达到了提高数据存储分析的智能化程度,提高存储效率的技术效果。
实施例
基于与前述实施例中一种基于特征感知的数据存储分析方法相同的发明构思,如图4所示,本申请提供了一种基于特征感知的数据存储分析系统,本申请实施例中的系统与方法实施例基于同样的发明构思。其中,所述系统包括:
数据特征获得模块11,所述数据特征获得模块11用于在本地端内,采集待存储数据的多项特征信息,获得数据特征集合,其中,所述多项特征信息包括用户特征、数据类型特征和数据大小特征,所述待存储数据为待进行分布式存储的数据;
保密性分析模块12,所述保密性分析模块12用于将所述数据特征集合传输至云端,输入云端内的特征感知模型内的数据保密性分析单元内,获得数据保密性分析结果,所述云端内包括多个分布式存储节点;
可能性分析模块13,所述可能性分析模块13用于将所述数据特征集合输入所述特征感知模型内的调用可能性分析单元内,获得调用可能性分析结果;
存储节点分配模块14,所述存储节点分配模块14用于将所述数据保密性分析结果输入数据存储分析模型内的数据保密处理分析单元内,获得数据保密处理方案,将所述调用可能性分析结果输入所述数据存储分析模型内的存储节点分配单元内,获得存储节点分配结果,其中,所述存储节点分配结果内的目标存储节点与所述本地端的目标传输时延与所述调用可能性分析结果对应;
存储节点判断模块15,所述存储节点判断模块15用于采用所述保密处理方案对所述待存储数据进行加密处理,判断所述目标存储节点是否达到预设存储阈值,若否,则将加密处理结果传输至所述目标存储节点内进行存储,若是,则将加密处理结果传输至与所述本地端的传输时延小于所述目标传输时延的下一存储节点内进行存储。
进一步的,所述系统还包括:
需要说明的是,上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
本说明书和附图仅仅是本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。
Claims (4)
1.一种基于特征感知的数据存储分析方法,其特征在于,所述方法包括:
在本地端内,采集待存储数据的多项特征信息,获得数据特征集合,其中,所述多项特征信息包括用户特征、数据类型特征和数据大小特征,所述待存储数据为待进行分布式存储的数据;
将所述数据特征集合传输至云端,输入云端内的特征感知模型内的数据保密性分析单元内,获得数据保密性分析结果,所述云端内包括多个分布式存储节点;
将所述数据特征集合输入所述特征感知模型内的调用可能性分析单元内,获得调用可能性分析结果;
将所述数据保密性分析结果输入数据存储分析模型内的数据保密处理分析单元内,获得数据保密处理方案,将所述调用可能性分析结果输入所述数据存储分析模型内的存储节点分配单元内,获得存储节点分配结果,其中,所述存储节点分配结果内的目标存储节点与所述本地端的目标传输时延与所述调用可能性分析结果对应;
采用所述保密处理方案对所述待存储数据进行加密处理,判断所述目标存储节点是否达到预设存储阈值,若否,则将加密处理结果传输至所述目标存储节点内进行存储,若是,则将加密处理结果传输至与所述本地端的传输时延小于所述目标传输时延的下一存储节点内进行存储;
其中,将所述数据特征集合传输至云端,输入云端内的特征感知模型内的数据保密性分析单元内,获得数据保密性分析结果,包括:
基于所述本地端在所述云端过去时间内存储的多个样本数据,获取样本用户特征信息集合、样本数据类型特征信息集合和样本数据大小特征信息集合,并获得多个样本数据特征集合;
根据所述多个样本数据特征集合进行数据保密性评级,获得多个样本数据保密性分析结果;
采用所述多个样本数据特征集合和所述多个样本数据保密性分析结果作为构建数据,基于BP神经网络,构建并监督训练获得满足预设条件的所述数据保密性分析单元;
将所述数据特征集合传输至云端,输入所述数据保密性分析单元内,获得所述数据保密性分析结果;
其中,将所述数据特征集合输入所述特征感知模型内的调用可能性分析单元内,获得调用可能性分析结果,包括:
获取所述多个样本数据的调用频率,根据调用频率进行调用可能性评级,获得多个样本调用可能性分析结果;
采用所述多个样本数据特征集合和所述多个样本调用可能性分析结果作为构建数据,基于BP神经网络,构建并训练获得符合预设条件的所述调用可能性分析单元,所述数据保密性分析单元和调用可能性分析单元组成所述特征感知模型;
将所述数据特征集合输入所述调用可能性分析单元,获得所述调用可能性分析结果;
其中,将所述数据保密性分析结果输入数据存储分析模型内的数据保密处理分析单元内,获得数据保密处理方案,包括:
根据所述多个样本数据保密性分析结果,进行数据加密方案制定,获得多个样本数据保密处理方案;
基于所述多个样本数据保密性分析结果,构建多个第一索引元素;
基于所述多个样本数据保密处理方案,构建多个第一数据元素;
构建所述多个第一索引元素和所述多个第一数据元素的索引关系,获得所述数据保密处理分析单元;
将所述数据保密性分析结果输入所述数据保密处理分析单元内,获得所述数据保密处理方案;
其中,将所述调用可能性分析结果输入所述数据存储分析模型内的存储节点分配单元内,获得存储节点分配结果,包括:
获取所述多个分布式存储节点和所述本地端的通信时延,获得多个通信时延;
按照从小到大的顺序,根据所述多个通信时延对所述多个分布式存储节点进行排序,获得存储节点序列;
根据所述存储节点序列,获取所述多个分布式存储节点的多个序列值;
构建所述多个样本调用可能性分析结果与多个序列值的映射关系,获得所述存储节点分配单元;
将所述调用可能性分析结果输入所述存储节点分配单元内,获得对应的序列值及分布式存储节点,作为所述存储节点分配结果。
2.根据权利要求1所述的方法,其特征在于,在本地端内,采集待存储数据的多项特征信息,获得数据特征集合,包括:
采集在本地端内执行生成和存储所述待存储数据的操作的用户信息,作为用户特征信息;
获取所述待存储数据的数据类型特征信息和数据大小特征信息;
基于所述用户特征信息、数据类型特征信息和数据大小特征信息,获得所述数据特征集合。
3.根据权利要求1所述的方法,其特征在于,判断所述目标存储节点是否达到预设存储阈值,包括:
获取所述预设存储阈值,并获取所述目标存储节点当前的目标存储参数;
判断所述目标存储参数是否达到所述存储阈值;
若否,则将所述加密处理结果传输至所述目标存储节点内进行存储,若是,则获取所述存储节点序列内所述目标存储节点相邻的后一个存储节点当前的存储参数,判断是否达到所述预设存储阈值,直到获得未达到所述预设存储阈值的存储节点,将所述加密处理结果进行传输保存。
4.一种基于特征感知的数据存储分析系统,其特征在于,所述系统包括:
数据特征获得模块,所述数据特征获得模块用于在本地端内,采集待存储数据的多项特征信息,获得数据特征集合,其中,所述多项特征信息包括用户特征、数据类型特征和数据大小特征,所述待存储数据为待进行分布式存储的数据;
保密性分析模块,所述保密性分析模块用于将所述数据特征集合传输至云端,输入云端内的特征感知模型内的数据保密性分析单元内,获得数据保密性分析结果,所述云端内包括多个分布式存储节点;
可能性分析模块,所述可能性分析模块用于将所述数据特征集合输入所述特征感知模型内的调用可能性分析单元内,获得调用可能性分析结果;
存储节点分配模块,所述存储节点分配模块用于将所述数据保密性分析结果输入数据存储分析模型内的数据保密处理分析单元内,获得数据保密处理方案,将所述调用可能性分析结果输入所述数据存储分析模型内的存储节点分配单元内,获得存储节点分配结果,其中,所述存储节点分配结果内的目标存储节点与所述本地端的目标传输时延与所述调用可能性分析结果对应;
存储节点判断模块,所述存储节点判断模块用于采用所述保密处理方案对所述待存储数据进行加密处理,判断所述目标存储节点是否达到预设存储阈值,若否,则将加密处理结果传输至所述目标存储节点内进行存储,若是,则将加密处理结果传输至与所述本地端的传输时延小于所述目标传输时延的下一存储节点内进行存储;
其中,将所述数据特征集合传输至云端,输入云端内的特征感知模型内的数据保密性分析单元内,获得数据保密性分析结果,包括:
基于所述本地端在所述云端过去时间内存储的多个样本数据,获取样本用户特征信息集合、样本数据类型特征信息集合和样本数据大小特征信息集合,并获得多个样本数据特征集合;
根据所述多个样本数据特征集合进行数据保密性评级,获得多个样本数据保密性分析结果;
采用所述多个样本数据特征集合和所述多个样本数据保密性分析结果作为构建数据,基于BP神经网络,构建并监督训练获得满足预设条件的所述数据保密性分析单元;
将所述数据特征集合传输至云端,输入所述数据保密性分析单元内,获得所述数据保密性分析结果;
其中,将所述数据特征集合输入所述特征感知模型内的调用可能性分析单元内,获得调用可能性分析结果,包括:
获取所述多个样本数据的调用频率,根据调用频率进行调用可能性评级,获得多个样本调用可能性分析结果;
采用所述多个样本数据特征集合和所述多个样本调用可能性分析结果作为构建数据,基于BP神经网络,构建并训练获得符合预设条件的所述调用可能性分析单元,所述数据保密性分析单元和调用可能性分析单元组成所述特征感知模型;
将所述数据特征集合输入所述调用可能性分析单元,获得所述调用可能性分析结果;
其中,将所述数据保密性分析结果输入数据存储分析模型内的数据保密处理分析单元内,获得数据保密处理方案,包括:
根据所述多个样本数据保密性分析结果,进行数据加密方案制定,获得多个样本数据保密处理方案;
基于所述多个样本数据保密性分析结果,构建多个第一索引元素;
基于所述多个样本数据保密处理方案,构建多个第一数据元素;
构建所述多个第一索引元素和所述多个第一数据元素的索引关系,获得所述数据保密处理分析单元;
将所述数据保密性分析结果输入所述数据保密处理分析单元内,获得所述数据保密处理方案;
其中,将所述调用可能性分析结果输入所述数据存储分析模型内的存储节点分配单元内,获得存储节点分配结果,包括:
获取所述多个分布式存储节点和所述本地端的通信时延,获得多个通信时延;
按照从小到大的顺序,根据所述多个通信时延对所述多个分布式存储节点进行排序,获得存储节点序列;
根据所述存储节点序列,获取所述多个分布式存储节点的多个序列值;
构建所述多个样本调用可能性分析结果与多个序列值的映射关系,获得所述存储节点分配单元;
将所述调用可能性分析结果输入所述存储节点分配单元内,获得对应的序列值及分布式存储节点,作为所述存储节点分配结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310905435.XA CN116628728B (zh) | 2023-07-24 | 2023-07-24 | 一种基于特征感知的数据存储分析方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310905435.XA CN116628728B (zh) | 2023-07-24 | 2023-07-24 | 一种基于特征感知的数据存储分析方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116628728A CN116628728A (zh) | 2023-08-22 |
CN116628728B true CN116628728B (zh) | 2023-11-14 |
Family
ID=87621640
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310905435.XA Active CN116628728B (zh) | 2023-07-24 | 2023-07-24 | 一种基于特征感知的数据存储分析方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116628728B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118094607B (zh) * | 2024-04-28 | 2024-07-09 | 国网辽宁省电力有限公司丹东供电公司 | 基于多模态大模型的客服信息业务分类存储方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107800787A (zh) * | 2017-10-23 | 2018-03-13 | 广州百兴网络科技有限公司 | 一种分布式大数据实时交换共享的计算机网络系统 |
CN112231306A (zh) * | 2020-08-23 | 2021-01-15 | 山东翰林科技有限公司 | 基于大数据的能源数据分析系统及方法 |
WO2022141021A1 (zh) * | 2020-12-29 | 2022-07-07 | 杭州趣链科技有限公司 | 一种文件存储方法、装置、系统以及设备 |
CN114996769A (zh) * | 2022-08-08 | 2022-09-02 | 西安晟昕科技发展有限公司 | 一种数据预处理和存储的方法 |
-
2023
- 2023-07-24 CN CN202310905435.XA patent/CN116628728B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107800787A (zh) * | 2017-10-23 | 2018-03-13 | 广州百兴网络科技有限公司 | 一种分布式大数据实时交换共享的计算机网络系统 |
CN112231306A (zh) * | 2020-08-23 | 2021-01-15 | 山东翰林科技有限公司 | 基于大数据的能源数据分析系统及方法 |
WO2022141021A1 (zh) * | 2020-12-29 | 2022-07-07 | 杭州趣链科技有限公司 | 一种文件存储方法、装置、系统以及设备 |
CN114996769A (zh) * | 2022-08-08 | 2022-09-02 | 西安晟昕科技发展有限公司 | 一种数据预处理和存储的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116628728A (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107305611B (zh) | 恶意账号对应的模型建立方法和装置、恶意账号识别的方法和装置 | |
CN116628728B (zh) | 一种基于特征感知的数据存储分析方法及系统 | |
CN107306355B (zh) | 一种内容推荐方法及服务器 | |
CN108959319B (zh) | 信息推送方法和装置 | |
CN114817425B (zh) | 一种冷热数据分类的方法、装置、设备及可读存储介质 | |
CN112131004A (zh) | 基于物联网通信的数据处理方法及云计算服务器 | |
CN111652661B (zh) | 一种手机客户端用户流失预警处理方法 | |
CN111680108A (zh) | 一种数据存储方法、装置及一种数据获取方法、装置 | |
CN111859127A (zh) | 消费数据的订阅方法、装置及存储介质 | |
CN111625342B (zh) | 一种数据溯源方法、装置及服务器 | |
CN112860676A (zh) | 应用于大数据挖掘和业务分析的数据清洗方法及云服务器 | |
CN115049070A (zh) | 联邦特征工程数据的筛选方法及装置、设备及存储介质 | |
CN107871055B (zh) | 一种数据分析方法和装置 | |
CN117495512B (zh) | 订单数据的管理方法、装置、设备及存储介质 | |
CN117171711B (zh) | 一种基于云平台的企业内外部数据融合共享方法及系统 | |
CN117082113B (zh) | 一种基于数据融合的分布式设备监测系统及方法 | |
CN102714652A (zh) | 监测数据网络中包括多个数据流的通讯会话 | |
CN105812280A (zh) | 一种分类方法及电子设备 | |
CN115426363B (zh) | 智能板材加工工厂的数据采集方法及终端 | |
CN101286903B (zh) | 一种网络审计领域提高会话完整性的方法 | |
CN109032683B (zh) | 配置数据处理方法及装置 | |
CN115883392A (zh) | 算力网络的数据感知方法、装置、电子设备及存储介质 | |
CN115328870A (zh) | 一种面向云制造的数据共享方法及系统 | |
CN114330720A (zh) | 用于云计算的知识图谱构建方法、设备及存储介质 | |
CN113938410A (zh) | 一种终端协议的识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |