CN115599312B - 基于存储集群的大数据处理方法及ai系统 - Google Patents
基于存储集群的大数据处理方法及ai系统 Download PDFInfo
- Publication number
- CN115599312B CN115599312B CN202211534463.7A CN202211534463A CN115599312B CN 115599312 B CN115599312 B CN 115599312B CN 202211534463 A CN202211534463 A CN 202211534463A CN 115599312 B CN115599312 B CN 115599312B
- Authority
- CN
- China
- Prior art keywords
- access behavior
- distribution network
- target
- behavior data
- data distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 191
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 230000006399 behavior Effects 0.000 claims abstract description 526
- 238000012545 processing Methods 0.000 claims abstract description 105
- 238000013528 artificial neural network Methods 0.000 claims abstract description 55
- 238000013075 data extraction Methods 0.000 claims abstract description 14
- 238000009826 distribution Methods 0.000 claims description 419
- 238000007418 data mining Methods 0.000 claims description 140
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 7
- 230000007547 defect Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/062—Securing storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Fuzzy Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供的基于存储集群的大数据处理方法及AI系统，涉及数据处理技术领域。在本发明中，对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理，以输出目标存储集群对应的目标访问行为数据集合，目标访问行为数据集合包括的每一条目标访问行为数据用于反映一个目标存储设备在一个时刻或时段下被访问的网络行为。利用目标访问行为识别神经网络，对目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理，以输出目标存储集群对应的目标数据识别信息。依据目标数据识别信息，对目标存储集群进行存储保护。基于上述方法，可以在一定程度上提高存储保护的可靠度。
Description
技术领域
本发明涉及人工智能与数据处理技术领域，具体而言，涉及一种基于存储集群的大数据处理方法及AI系统。
背景技术
在对海量的大数据存储之后，其应用的过程，一般会包括到对数据进行访问。但是，在一些情况下，进行数据访问的设备可能是非法的，如网络攻击设备，因此，在个例的情况下，可能还不会造成数据的大范围泄露，对数据的安全的影响较小。但是，如果不能对较多的网络攻击进行识别，可能导致数据的大范围泄露。但是，在现有技术中，一般是针对集群中的每一个存储设备分别进行访问监控，以确定是否存在安全问题，如此，就容易导致出现存储保护的可靠度不高的问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于存储集群的大数据处理方法及AI系统，以在一定程度上提高存储保护的可靠度。
为实现上述目的，本发明实施例采用如下技术方案：
一种基于存储集群的大数据处理方法，包括：
对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理，以输出所述目标存储集群对应的目标访问行为数据集合，所述目标访问行为数据集合包括多条目标访问行为数据，每一条所述目标访问行为数据用于反映一个目标存储设备在一个时刻或时段下被访问的网络行为；
利用目标访问行为识别神经网络，对所述目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理，以输出所述目标存储集群对应的目标数据识别信息，所述目标数据识别信息用于反映所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的安全程度；
依据所述目标数据识别信息，对所述目标存储集群进行存储保护。
在一些优选的实施例中，在上述基于存储集群的大数据处理方法中，所述对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理，以输出所述目标存储集群对应的目标访问行为数据集合的步骤，包括：
确定出一个历史时间周期，并对所述历史时间周期进行等间隔分割处理，以形成所述历史时间周期内的多个历史时间段；
对目标存储集群包括的多个目标存储设备中的每一个目标存储设备在所述多个历史时间段中的每一个历史时间段进行访问行为数据提取处理，以输出所述目标存储集群对应的目标访问行为数据集合，所述目标访问行为数据集合中的每一条所述目标访问行为数据用于反映一个所述目标存储设备在一个历史时间段下被访问的网络行为。
在一些优选的实施例中，在上述基于存储集群的大数据处理方法中，所述利用目标访问行为识别神经网络，对所述目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理，以输出所述目标存储集群对应的目标数据识别信息的步骤，包括：
依据对应的目标存储设备和对应的访问时间，对所述目标访问行为数据集合包括的多条目标访问行为数据进行处理，以形成所述目标访问行为数据集合对应的目标访问行为数据分布网络；
利用目标访问行为识别神经网络，对所述目标访问行为数据分布网络进行数据挖掘处理，以输出所述目标访问行为数据分布网络对应的目标分布网络数据挖掘结果，并对所述目标访问行为数据分布网络对应的相关访问行为数据分布网络进行数据挖掘处理，以输出所述相关访问行为数据分布网络对应的相关分布网络数据挖掘结果，再提取出所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果中的一个以上的分布网络数据挖掘结果，所述目标访问行为数据分布网络包括的多个访问行为数据分布网络区域和所述相关访问行为数据分布网络包括的多个访问行为数据分布网络区域相同，所述多个访问行为数据分布网络区域在所述目标访问行为数据分布网络中的网络分布信息和所述多个访问行为数据分布网络区域在所述相关访问行为数据分布网络中的网络分布信息不完全一致，所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果之间的结果匹配程度大于或等于预先配置的结果匹配程度参考值；
利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的目标数据识别信息，所述目标数据识别信息用于反映所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的目标安全程度。
在一些优选的实施例中，在上述基于存储集群的大数据处理方法中，所述利用目标访问行为识别神经网络，对所述目标访问行为数据分布网络进行数据挖掘处理，以输出所述目标访问行为数据分布网络对应的目标分布网络数据挖掘结果，并对所述目标访问行为数据分布网络对应的相关访问行为数据分布网络进行数据挖掘处理，以输出所述相关访问行为数据分布网络对应的相关分布网络数据挖掘结果，再提取出所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果中的一个以上的分布网络数据挖掘结果的步骤，包括：
对所述目标访问行为数据分布网络进行网络区域分割处理，以形成所述目标访问行为数据分布网络对应的多个访问行为数据分布网络区域；
对所述多个访问行为数据分布网络区域进行拼接处理，以形成所述目标访问行为数据分布网络对应的相关访问行为数据分布网络；
利用目标访问行为识别神经网络，对所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行数据挖掘处理，以输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘结果。
在一些优选的实施例中，在上述基于存储集群的大数据处理方法中，所述利用目标访问行为识别神经网络，对所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行数据挖掘处理，以输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘结果的步骤，包括：
将所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行加载，以加载到目标访问行为识别神经网络包括的数据挖掘模型中进行数据挖掘处理，输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘结果；
所述数据挖掘模型基于示例访问行为数据分布网络和所述示例访问行为数据分布网络对应的示例相关访问行为数据分布网络优化形成，所述示例访问行为数据分布网络对应的实际数据识别信息和所述示例相关访问行为数据分布网络对应的实际数据识别信息一致，所述示例访问行为数据分布网络包括的多个示例访问行为数据分布网络区域和所述示例相关访问行为数据分布网络包括的多个示例访问行为数据分布网络区域相同，所述实际数据识别信息用于反映所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络对应的安全程度，所述多个示例访问行为数据分布网络区域在所述示例访问行为数据分布网络中的多个网络分布信息和所述多个示例访问行为数据分布网络区域在所述示例相关访问行为数据分布网络中的多个网络分布信息不完全一致。
在一些优选的实施例中，在上述基于存储集群的大数据处理方法中，所述利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的目标数据识别信息的步骤，包括：
利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果包括的目标分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的本身数据识别信息，所述本身数据识别信息用于反映所述目标访问行为数据分布网络对应的第一安全程度；
利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果包括的相关分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的相关数据识别信息，所述相关数据识别信息用于反映所述目标访问行为数据分布网络对应的第二安全程度；
依据所述本身数据识别信息和所述相关数据识别信息，确定出所述目标存储集群对应的目标数据识别信息。
在一些优选的实施例中，在上述基于存储集群的大数据处理方法中，所述利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的目标数据识别信息的步骤，包括：
对所述一个以上的分布网络数据挖掘结果包括的目标分布网络数据挖掘结果和相关分布网络数据挖掘结果进行结果的聚合操作，以输出对应的聚合分布网络数据挖掘结果；
利用所述目标访问行为识别神经网络，对所述聚合分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的目标数据识别信息。
在一些优选的实施例中，在上述基于存储集群的大数据处理方法中，所述依据所述目标数据识别信息，对所述目标存储集群进行存储保护的步骤，包括：
倘若所述目标数据识别信息反映出所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的安全程度小于或等于预先配置的安全程度阈值，则对所述目标存储集群包括的多个目标存储设备中的每一个目标存储设备之后接收到的访问请求进行安全验证，并在安全验证未通过时，拒绝该访问请求，或者，在安全验证通过时，执行该访问请求。
本发明实施例还提供一种基于存储集群的大数据处理AI系统，其包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以实现上述的基于存储集群的大数据处理方法。
本发明实施例还提供一种可储存介质，该可储存介质属于计算机可读存储介质，且存储有计算机程序，该计算机程序运行时执行上述的基于存储集群的大数据处理方法。
本发明实施例提供的一种基于存储集群的大数据处理方法及AI系统，对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理，以输出目标存储集群对应的目标访问行为数据集合，目标访问行为数据集合包括的每一条目标访问行为数据用于反映一个目标存储设备在一个时刻或时段下被访问的网络行为。利用目标访问行为识别神经网络，对目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理，以输出目标存储集群对应的目标数据识别信息。依据目标数据识别信息，对目标存储集群进行存储保护。基于此，通过对目标存储集群包括的多个目标存储设备的全部目标访问行为数据进行识别处理，以确定出表征安全程度的目标数据识别信息，使得该目标数据识别信息的可靠度较高，从而可以保障基于该目标数据识别信息进行存储保护的可靠度也较高，进而可以在一定程度上提高存储保护的可靠度，改善现有技术的不足。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本发明实施例提供的基于存储集群的大数据处理AI系统的结构框图。
图2为本发明实施例提供的基于存储集群的大数据处理方法包括的各步骤的流程示意图。
图3为本发明实施例提供的基于存储集群的大数据处理装置包括的各模块的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种基于存储集群的大数据处理AI系统。其中，所述基于存储集群的大数据处理AI系统可以包括存储器和处理器。
在一些可能的实施方式中，所述存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件（firmware）的形式，存在的软件功能模块（计算机程序）。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序，从而实现本发明实施例提供的基于存储集群的大数据处理方法。
在一些可能的实施方式中，所述存储器可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-Only Memory，PROM），可擦除只读存储器（Erasable ProgrammableRead-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable ProgrammableRead-Only Memory，EEPROM）等。所述处理器可以是一种通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）、片上系统(System on Chip，SoC)等；还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
结合图2，本发明实施例还提供一种基于存储集群的大数据处理方法，可应用于上述基于存储集群的大数据处理AI系统。其中，所述基于存储集群的大数据处理方法有关的流程所定义的方法步骤，可以由所述基于存储集群的大数据处理AI系统实现。
下面将对图2所示的具体流程，进行详细阐述。
步骤S110，对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理，以输出所述目标存储集群对应的目标访问行为数据集合。
在本发明实施例中，所述基于存储集群的大数据处理AI系统可以对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理，以输出所述目标存储集群对应的目标访问行为数据集合。所述目标访问行为数据集合包括多条目标访问行为数据，每一条所述目标访问行为数据用于反映一个目标存储设备在一个时刻或时段下被访问的网络行为（如数据的读取、写入、更新等）。
步骤S120，利用目标访问行为识别神经网络，对所述目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理，以输出所述目标存储集群对应的目标数据识别信息。
在本发明实施例中，所述基于存储集群的大数据处理AI系统可以利用目标访问行为识别神经网络，对所述目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理，以输出所述目标存储集群对应的目标数据识别信息。所述目标数据识别信息用于反映所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的安全程度。
步骤S130，依据所述目标数据识别信息，对所述目标存储集群进行存储保护。
在本发明实施例中，所述基于存储集群的大数据处理AI系统可以依据所述目标数据识别信息，对所述目标存储集群进行存储保护。
基于上述的步骤S110-步骤S130，通过对目标存储集群包括的多个目标存储设备的全部目标访问行为数据进行识别处理，以确定出表征安全程度的目标数据识别信息，使得该目标数据识别信息的可靠度较高，从而可以保障基于该目标数据识别信息进行存储保护的可靠度也较高，进而可以在一定程度上提高存储保护的可靠度，改善现有技术的不足。
在一些可能的实施方式中，步骤S110可以包括以下详细的描述：
确定出一个历史时间周期（如最近的10天、一个月等），并对所述历史时间周期进行等间隔分割处理，以形成所述历史时间周期内的多个历史时间段（如1小时、1天等）；
对目标存储集群包括的多个目标存储设备中的每一个目标存储设备在所述多个历史时间段中的每一个历史时间段进行访问行为数据提取处理，以输出所述目标存储集群对应的目标访问行为数据集合，所述目标访问行为数据集合中的每一条所述目标访问行为数据用于反映一个所述目标存储设备在一个历史时间段下被访问的网络行为。
在一些可能的实施方式中，步骤S120可以包括以下详细的描述：
依据对应的目标存储设备和对应的访问时间，对所述目标访问行为数据集合包括的多条目标访问行为数据进行处理，以形成所述目标访问行为数据集合对应的目标访问行为数据分布网络（也就是说，在所述目标访问行为数据分布网络，每一条所述目标访问行为数据的网络分布信息依据对应的目标存储设备和对应的访问时间两个维度确定）；
利用目标访问行为识别神经网络，对所述目标访问行为数据分布网络进行数据挖掘处理，以输出所述目标访问行为数据分布网络对应的目标分布网络数据挖掘结果，并对所述目标访问行为数据分布网络对应的相关访问行为数据分布网络进行数据挖掘处理，以输出所述相关访问行为数据分布网络对应的相关分布网络数据挖掘结果，再提取出所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果中的一个以上的分布网络数据挖掘结果，所述目标访问行为数据分布网络包括的多个访问行为数据分布网络区域和所述相关访问行为数据分布网络包括的多个访问行为数据分布网络区域相同，所述多个访问行为数据分布网络区域在所述目标访问行为数据分布网络中的网络分布信息和所述多个访问行为数据分布网络区域在所述相关访问行为数据分布网络中的网络分布信息不完全一致，所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果之间的结果匹配程度大于或等于预先配置的结果匹配程度参考值（所述结果匹配程度参考值的具体数值不受限制，可以根据实际应用需求进行配置；另外，所述所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果都可以用向量的形式来表示，因而，所述结果匹配程度可以是向量之间的相似度）；
利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的目标数据识别信息，所述目标数据识别信息用于反映所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的目标安全程度。
在一些可能的实施方式中，所述利用目标访问行为识别神经网络，对所述目标访问行为数据分布网络进行数据挖掘处理，以输出所述目标访问行为数据分布网络对应的目标分布网络数据挖掘结果，并对所述目标访问行为数据分布网络对应的相关访问行为数据分布网络进行数据挖掘处理，以输出所述相关访问行为数据分布网络对应的相关分布网络数据挖掘结果，再提取出所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果中的一个以上的分布网络数据挖掘结果的步骤，可以包括以下详细的描述：
对所述目标访问行为数据分布网络进行网络区域分割处理，以形成所述目标访问行为数据分布网络对应的多个访问行为数据分布网络区域；
对所述多个访问行为数据分布网络区域进行拼接处理，以形成所述目标访问行为数据分布网络对应的相关访问行为数据分布网络（通过对所述目标访问行为数据分布网络进行网络区域分割处理，以形成多个访问行为数据分布网络区域之后，对多个访问行为数据分布网络区域进行拼接，以形成对应的相关访问行为数据分布网络，可以保证相关访问行为数据分布网络的形成过程的数据处理量少，提高效率；示例性地，可以将目标访问行为数据分布网络分割为等大小的任意尺寸的10个访问行为数据分布网络区域，再对该10个访问行为数据分布网络区域进行任意的拼接，从而形成对应的相关访问行为数据分布网络）；
利用目标访问行为识别神经网络，对所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行数据挖掘处理，以输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘结果。
在一些可能的实施方式中，所述对所述目标访问行为数据分布网络进行网络区域分割处理，以形成所述目标访问行为数据分布网络对应的多个访问行为数据分布网络区域的步骤，可以包括以下详细的描述：
依据预先配置的初始区域分割尺寸，对所述目标访问行为数据分布网络进行网络区域分割处理，以形成所述目标访问行为数据分布网络对应的候选访问行为数据分布网络区域集合；
针对所述候选访问行为数据分布网络区域集合包括的每两个候选访问行为数据分布网络区域，对该两个候选访问行为数据分布网络区域包括的目标访问行为数据进行相关度计算处理，以输出该两个候选访问行为数据分布网络区域之间的区域相关度，在进行相关度计算处理的过程中，可以对目标访问行为数据反映的访问行为进行行为相关度的计算，另外，行为相关度可以是指行为之间的紧密度，如在进行行为A之后进行行为B的可能值，可以基于行为数据库包括的各行为进行预测得到；
针对所述候选访问行为数据分布网络区域集合包括的每两个候选访问行为数据分布网络区域，依据该两个候选访问行为数据分布网络区域在所述目标访问行为数据分布网络中的分布距离，对该两个候选访问行为数据分布网络区域之间的区域相关度进行更新处理，以得到该两个候选访问行为数据分布网络区域之间的更新区域相关度（示例性地，可以将该分布距离的倒数与该区域相关度进行乘积计算，以得到更新区域相关度）；
对所述候选访问行为数据分布网络区域集合包括的每两个候选访问行为数据分布网络区域之间的更新区域相关度进行融合处理（如进行均值计算等），以得到所述候选访问行为数据分布网络区域集合对应的融合区域相关度，再将该融合区域相关度与预先配置的区域相关度参考值进行大小比较处理，所述区域相关度参考值的具体数值可以根据需求进行配置；
在所述融合区域相关度小于或等于所述区域相关度参考值的情况下，将所述候选访问行为数据分布网络区域集合包括的多个候选访问行为数据分布网络区域，作为所述目标访问行为数据分布网络对应的多个访问行为数据分布网络区域；
在所述融合区域相关度大于所述区域相关度参考值的情况下，回转执行所述依据预先配置的初始区域分割尺寸，对所述目标访问行为数据分布网络进行网络区域分割处理，以形成所述目标访问行为数据分布网络对应的候选访问行为数据分布网络区域集合的步骤，直到当前计算得到的融合区域相关度小于或等于所述区域相关度参考值（另外，在每一次执行所述依据预先配置的初始区域分割尺寸，对所述目标访问行为数据分布网络进行网络区域分割处理，以形成所述目标访问行为数据分布网络对应的候选访问行为数据分布网络区域集合的步骤时，需要对初始区域分割尺寸进行更新，使得每一次执行该步骤时的值都不相同；在其它示例中，也可以直接基于不同的多个初始区域分割尺寸进行分割，然后，依据前述的步骤，可以得到对应的多个融合区域相关度，再将多个融合区域相关度中具有最小值的融合区域相关度对应的候选访问行为数据分布网络区域集合包括的多个候选访问行为数据分布网络区域，作为所述目标访问行为数据分布网络对应的多个访问行为数据分布网络区域）。
在一些可能的实施方式中，所述利用目标访问行为识别神经网络，对所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行数据挖掘处理，以输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘结果的步骤，可以包括以下详细的描述：
将所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行加载，以加载到目标访问行为识别神经网络包括的数据挖掘模型中进行数据挖掘处理，输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘结果（示例性地，所述数据挖掘模型可以为卷积神经网络，以对所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行关键信息的挖掘提取等）；
所述数据挖掘模型基于示例访问行为数据分布网络和所述示例访问行为数据分布网络对应的示例相关访问行为数据分布网络优化形成，所述示例访问行为数据分布网络对应的实际数据识别信息和所述示例相关访问行为数据分布网络对应的实际数据识别信息一致，所述示例访问行为数据分布网络包括的多个示例访问行为数据分布网络区域和所述示例相关访问行为数据分布网络包括的多个示例访问行为数据分布网络区域相同，所述实际数据识别信息用于反映所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络对应的安全程度，所述多个示例访问行为数据分布网络区域在所述示例访问行为数据分布网络中的多个网络分布信息和所述多个示例访问行为数据分布网络区域在所述示例相关访问行为数据分布网络中的多个网络分布信息不完全一致。
在一些可能的实施方式中，所述利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的目标数据识别信息的步骤，可以包括以下详细的描述：
利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果包括的目标分布网络数据挖掘结果进行识别处理（示例性地，可以利用所述目标访问行为识别神经网络包括的数据识别模型进行识别处理，如二分类或多分类，其中，在进行二分类处理时，所述所述本身数据识别信息反映的第一安全程度可以为两个值，如0或1，即要么安全，要么不安全，在进行多分类时，所述所述本身数据识别信息反映的第一安全程度可以为0-1之间的每一个值，值越大，安全程度越高），以输出所述目标存储集群对应的本身数据识别信息，所述本身数据识别信息用于反映所述目标访问行为数据分布网络对应的第一安全程度；
利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果包括的相关分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的相关数据识别信息，所述相关数据识别信息用于反映所述目标访问行为数据分布网络对应的第二安全程度（同上）；
依据所述本身数据识别信息和所述相关数据识别信息，确定出所述目标存储集群对应的目标数据识别信息（示例性地，可以将所述本身数据识别信息和所述相关数据识别信息进行加权融合，以得到所述目标存储集群对应的目标数据识别信息）。
在另一些可能的实施方式中，所述利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的目标数据识别信息的步骤，可以包括以下详细的描述：
对所述一个以上的分布网络数据挖掘结果包括的目标分布网络数据挖掘结果和相关分布网络数据挖掘结果进行结果的聚合操作，以输出对应的聚合分布网络数据挖掘结果（示例性地，所述聚合操作可以是指，对所述一个以上的分布网络数据挖掘结果包括的目标分布网络数据挖掘结果和相关分布网络数据挖掘结果进行结果的拼接，也可以是指对所述一个以上的分布网络数据挖掘结果包括的目标分布网络数据挖掘结果和相关分布网络数据挖掘结果进行结果的叠加，且可以是加权叠加等）；
利用所述目标访问行为识别神经网络，对所述聚合分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的目标数据识别信息。
在一些可能的实施方式中，所述目标访问行为识别神经网络的训练过程，可以包括以下详细的描述：
提取到示例访问行为数据分布网络，所述示例访问行为数据分布网络携带有实际数据识别信息，所述示例访问行为数据分布网络包括多个示例访问行为数据分布网络区域（可以是任意进行分割形成），所述实际数据识别信息用于反映所述示例访问行为数据分布网络对应的安全程度；
依据所述多个示例访问行为数据分布网络区域，拼接形成对应的示例相关访问行为数据分布网络（可以是进行任意的拼接形成），所述多个示例访问行为数据分布网络区域在所述示例访问行为数据分布网络中的网络分布信息和所述多个示例访问行为数据分布网络区域在所述示例相关访问行为数据分布网络中的网络分布信息不完全一致；
利用所述示例访问行为数据分布网络、所述示例相关访问行为数据分布网络和所述实际数据识别信息，对初始的访问行为识别神经网络进行网络优化处理，形成对应的目标访问行为识别神经网络。
在一些可能的实施方式中，所述提取到示例访问行为数据分布网络的步骤，可以包括以下详细的描述：
提取到具有至少一条第一重要访问行为数据的第一候选访问行为数据分布网络和具有至少一条第二重要访问行为数据的第二候选访问行为数据分布网络，所述第一候选访问行为数据分布网络和所述第二候选访问行为数据分布网络携带的实际数据识别信息一致（示例性地，所述至少一条第一重要访问行为数据和所述至少一条第二重要访问行为数据可以完全不同；另外，所述至少一条第一重要访问行为数据和所述至少一条第二重要访问行为数据可以都是进行人工识别标出的可疑的异常行为对应的数据，或者，也可以都是进行人工识别标出的正常行为对应的数据）；
提取出所述第一候选访问行为数据分布网络中包括所述至少一条第一重要访问行为数据的第一网络部分（示例性地，所述第一网络部分可以由所述至少一条第一重要访问行为数据构成，或者，所述第一网络部分也可以由所述至少一条第一重要访问行为数据和所述至少一条第一重要访问行为数据在所述第一候选访问行为数据分布网络中的相邻访问行为数据构成），并提取出所述第二候选访问行为数据分布网络中包括所述至少一条第二重要访问行为数据的第二网络部分（示例性地，所述第二网络部分可以由所述至少一条第二重要访问行为数据构成，或者，所述第二网络部分也可以由所述至少一条第二重要访问行为数据和所述至少一条第二重要访问行为数据在所述第二候选访问行为数据分布网络中的相邻访问行为数据构成；另外，所述第一网络部分和所述第二网络部分的尺寸可以相同）；
在所述第一候选访问行为数据分布网络中，将所述第一网络部分更新为所述第二网络部分，形成第三候选访问行为数据分布网络（也就是说，在所述第三候选访问行为数据分布网络中，包括所述第二网络部分和所述第一候选访问行为数据分布网络中所述第一网络部分以外的其它部分）；
在所述第二候选访问行为数据分布网络中，将所述第二网络部分更新为所述第一网络部分，形成第四候选访问行为数据分布网络（也就是说，在所述第四候选访问行为数据分布网络中，包括所述第一网络部分和所述第二候选访问行为数据分布网络中所述第二网络部分以外的其它部分）；
对所述第一候选访问行为数据分布网络、所述第二候选访问行为数据分布网络、所述第三候选访问行为数据分布网络和所述第四候选访问行为数据分布网络分别进行标记处理，以分别标记为示例访问行为数据分布网络，所述第一候选访问行为数据分布网络、所述第二候选访问行为数据分布网络、所述第三候选访问行为数据分布网络和所述第四候选访问行为数据分布网络携带的实际数据识别信息一致。
在另一些可能的实施方式中，所述提取到示例访问行为数据分布网络的步骤，可以包括以下详细的描述：
提取到具有至少一条第三重要访问行为数据的第五候选访问行为数据分布网络和具有至少一条第四重要访问行为数据的第六候选访问行为数据分布网络，所述第五候选访问行为数据分布网络和所述第六候选访问行为数据分布网络携带的实际数据识别信息一致（示例性地，所述至少一条第三重要访问行为数据和所述至少一条第四重要访问行为数据可以完全不同；另外，所述至少一条第三重要访问行为数据和所述至少一条第四重要访问行为数据可以都是进行人工识别标出的可疑的异常行为对应的数据，或者，也可以都是进行人工识别标出的正常行为对应的数据）；
依据所述第五候选访问行为数据分布网络中所述至少一条第三重要访问行为数据和所述第六候选访问行为数据分布网络具有的所述至少一条第四重要访问行为数据，组合形成对应的第七候选访问行为数据分布网络（示例性地，可以在所述第五候选访问行为数据分布网络中，将所述至少一条第三重要访问行为数据以外的其它访问行为数据替换为所述至少一条第四重要访问行为数据，从而形成对应的第七候选访问行为数据分布网络；也可以在所述第六候选访问行为数据分布网络中，将所述至少一条第四重要访问行为数据以外的其它访问行为数据替换为所述至少一条第三重要访问行为数据，从而形成对应的第七候选访问行为数据分布网络）；
对所述第五候选访问行为数据分布网络、所述第六候选访问行为数据分布网络、所述第七候选访问行为数据分布网络进行标记处理，以分别标记为示例访问行为数据分布网络，所述第五候选访问行为数据分布网络、所述第六候选访问行为数据分布网络、所述第七候选访问行为数据分布网络携带的实际数据识别信息一致。
在另一些可能的实施方式中，所述提取到示例访问行为数据分布网络的步骤，可以包括以下详细的描述：
提取到至少一个候选访问行为数据分布网络，针对所述至少一个候选访问行为数据分布网络中的每一个候选访问行为数据分布网络，对该候选访问行为数据分布网络进行数据挖掘处理（如利用数据挖掘模型进行处理），以输出该候选访问行为数据分布网络对应的候选数据挖掘结果，然后，在对该候选数据挖掘结果进行网络重建处理（所述网络重建处理与所述数据挖掘处理可以为互相相反的处理过程），以得到对应的重建候选访问行为数据分布网络，再将所述至少一个候选访问行为数据分布网络和对应的至少一个重建候选访问行为数据分布网络进行标记处理，以分别标记为示例访问行为数据分布网络。
在一些可能的实施方式中，所述利用所述示例访问行为数据分布网络、所述示例相关访问行为数据分布网络和所述实际数据识别信息，对初始的访问行为识别神经网络进行网络优化处理，形成对应的目标访问行为识别神经网络的步骤，可以包括以下详细的描述：
分别将所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络加载到所述访问行为识别神经网络包括的数据挖掘模型中，利用所述数据挖掘模型分别对所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络进行数据挖掘处理，以形成所述示例访问行为数据分布网络对应的示例分布网络数据挖掘结果和所述示例相关访问行为数据分布网络对应的示例相关分布网络数据挖掘结果；
将所述示例分布网络数据挖掘结果和所述示例相关分布网络数据挖掘结果中的一个以上的分布网络数据挖掘结果加载到所述访问行为识别神经网络包括的数据识别模型中，利用数据识别模型进行数据识别处理，以形成对应的一个以上的估计数据识别信息（也就是说，倘若将所述示例分布网络数据挖掘结果和所述示例相关分布网络数据挖掘结果中的一个分布网络数据挖掘结果加载到所述访问行为识别神经网络包括的数据识别模型，则得到一个估计数据识别信息，倘若将所述示例分布网络数据挖掘结果和所述示例相关分布网络数据挖掘结果都加载到所述访问行为识别神经网络包括的数据识别模型，则得到对应的两个估计数据识别信息）；
依据所述一个以上的估计数据识别信息和所述实际数据识别信息，计算输出一个以上的网络学习代价值；
依据所述一个以上的网络学习代价值，确定出所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络对应的目标网络学习代价值；以及，依据所述目标网络学习代价值，对所述初始的访问行为识别神经网络进行网络优化处理，形成对应的目标访问行为识别神经网络。
在一些可能的实施方式中，所述依据所述一个以上的网络学习代价值，确定出所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络对应的目标网络学习代价值的步骤，可以包括以下详细的描述：
对所述示例分布网络数据挖掘结果和所述示例相关分布网络数据挖掘结果进行结果差异度的计算处理，以输出对应的结果差异度（示例性地，所述结果差异度实际上可以反映出所述数据挖掘模型的挖掘误差）；
依据所述一个以上的网络学习代价值和所述结果差异度，计算输出所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络对应的目标网络学习代价值（示例性地，可以将所述一个以上的网络学习代价值和所述结果差异度的加权和值，作为目标网络学习代价值）。
在一些可能的实施方式中，步骤S130可以包括以下详细的描述：
倘若所述目标数据识别信息反映出所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的安全程度小于或等于预先配置的安全程度阈值，则对所述目标存储集群包括的多个目标存储设备中的每一个目标存储设备之后接收到的访问请求进行安全验证（如基于访问设备的设备身份信息进行设备白名单验证等），并在安全验证未通过时，拒绝该访问请求，或者，在安全验证通过时，执行该访问请求。
结合图3，本发明实施例还提供一种基于存储集群的大数据处理装置，可应用于上述基于存储集群的大数据处理AI系统。其中，所述基于存储集群的大数据处理装置可以包括以下的内容：
访问行为数据提取模块（属于软件功能模块），用于对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理，以输出所述目标存储集群对应的目标访问行为数据集合，所述目标访问行为数据集合包括多条目标访问行为数据，每一条所述目标访问行为数据用于反映一个目标存储设备在一个时刻或时段下被访问的网络行为；
访问行为数据识别模块（属于软件功能模块），用于利用目标访问行为识别神经网络，对所述目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理，以输出所述目标存储集群对应的目标数据识别信息，所述目标数据识别信息用于反映所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的安全程度；
存储保护处理模块（属于软件功能模块），用于依据所述目标数据识别信息，对所述目标存储集群进行存储保护。
在本申请实施例中，对应于上述的基于存储集群的大数据处理方法，还提供了一种可储存介质，该可储存介质属于计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序运行时执行基于存储集群的大数据处理方法的各个步骤。
其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述基于存储集群的大数据处理方法的解释说明。
综上所述，本发明提供的一种基于存储集群的大数据处理方法及AI系统，对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理，以输出目标存储集群对应的目标访问行为数据集合，目标访问行为数据集合包括的每一条目标访问行为数据用于反映一个目标存储设备在一个时刻或时段下被访问的网络行为。利用目标访问行为识别神经网络，对目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理，以输出目标存储集群对应的目标数据识别信息。依据目标数据识别信息，对目标存储集群进行存储保护。基于此，通过对目标存储集群包括的多个目标存储设备的全部目标访问行为数据进行识别处理，以确定出表征安全程度的目标数据识别信息，使得该目标数据识别信息的可靠度较高，从而可以保障基于该目标数据识别信息进行存储保护的可靠度也较高，进而可以在一定程度上提高存储保护的可靠度，改善现有技术的不足。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于存储集群的大数据处理方法，其特征在于，包括：
对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理，以输出所述目标存储集群对应的目标访问行为数据集合，所述目标访问行为数据集合包括多条目标访问行为数据，每一条所述目标访问行为数据用于反映一个目标存储设备在一个时刻或时段下被访问的网络行为；
利用目标访问行为识别神经网络，对所述目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理，以输出所述目标存储集群对应的目标数据识别信息，所述目标数据识别信息用于反映所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的安全程度；
依据所述目标数据识别信息，对所述目标存储集群进行存储保护；
其中，所述利用目标访问行为识别神经网络，对所述目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理，以输出所述目标存储集群对应的目标数据识别信息的步骤，包括：
依据对应的目标存储设备和对应的访问时间，对所述目标访问行为数据集合包括的多条目标访问行为数据进行处理，以形成所述目标访问行为数据集合对应的目标访问行为数据分布网络，在所述目标访问行为数据分布网络，每一条所述目标访问行为数据的网络分布信息依据对应的目标存储设备和对应的访问时间两个维度确定；
利用目标访问行为识别神经网络，对所述目标访问行为数据分布网络进行数据挖掘处理，以输出所述目标访问行为数据分布网络对应的目标分布网络数据挖掘结果，并对所述目标访问行为数据分布网络对应的相关访问行为数据分布网络进行数据挖掘处理，以输出所述相关访问行为数据分布网络对应的相关分布网络数据挖掘结果，再提取出所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果中的一个以上的分布网络数据挖掘结果，所述目标访问行为数据分布网络包括的多个访问行为数据分布网络区域和所述相关访问行为数据分布网络包括的多个访问行为数据分布网络区域相同，所述多个访问行为数据分布网络区域在所述目标访问行为数据分布网络中的网络分布信息和所述多个访问行为数据分布网络区域在所述相关访问行为数据分布网络中的网络分布信息不完全一致，所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果之间的结果匹配程度大于或等于预先配置的结果匹配程度参考值；
利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的目标数据识别信息，所述目标数据识别信息用于反映所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的目标安全程度；
其中，所述利用目标访问行为识别神经网络，对所述目标访问行为数据分布网络进行数据挖掘处理，以输出所述目标访问行为数据分布网络对应的目标分布网络数据挖掘结果，并对所述目标访问行为数据分布网络对应的相关访问行为数据分布网络进行数据挖掘处理，以输出所述相关访问行为数据分布网络对应的相关分布网络数据挖掘结果，再提取出所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果中的一个以上的分布网络数据挖掘结果的步骤，包括：
对所述目标访问行为数据分布网络进行网络区域分割处理，以形成所述目标访问行为数据分布网络对应的多个访问行为数据分布网络区域；
对所述多个访问行为数据分布网络区域进行拼接处理，以形成所述目标访问行为数据分布网络对应的相关访问行为数据分布网络；
利用目标访问行为识别神经网络，对所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行数据挖掘处理，以输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘结果；
其中，所述对所述目标访问行为数据分布网络进行网络区域分割处理，以形成所述目标访问行为数据分布网络对应的多个访问行为数据分布网络区域的步骤，包括：
依据预先配置的初始区域分割尺寸，对所述目标访问行为数据分布网络进行网络区域分割处理，以形成所述目标访问行为数据分布网络对应的候选访问行为数据分布网络区域集合；
针对所述候选访问行为数据分布网络区域集合包括的每两个候选访问行为数据分布网络区域，对该两个候选访问行为数据分布网络区域包括的目标访问行为数据进行相关度计算处理，以输出该两个候选访问行为数据分布网络区域之间的区域相关度；
针对所述候选访问行为数据分布网络区域集合包括的每两个候选访问行为数据分布网络区域，依据该两个候选访问行为数据分布网络区域在所述目标访问行为数据分布网络中的分布距离，对该两个候选访问行为数据分布网络区域之间的区域相关度进行更新处理，以得到该两个候选访问行为数据分布网络区域之间的更新区域相关度；
对所述候选访问行为数据分布网络区域集合包括的每两个候选访问行为数据分布网络区域之间的更新区域相关度进行融合处理，以得到所述候选访问行为数据分布网络区域集合对应的融合区域相关度，再将该融合区域相关度与预先配置的区域相关度参考值进行大小比较处理；
在所述融合区域相关度小于或等于所述区域相关度参考值的情况下，将所述候选访问行为数据分布网络区域集合包括的多个候选访问行为数据分布网络区域，作为所述目标访问行为数据分布网络对应的多个访问行为数据分布网络区域；
在所述融合区域相关度大于所述区域相关度参考值的情况下，回转执行所述依据预先配置的初始区域分割尺寸，对所述目标访问行为数据分布网络进行网络区域分割处理，以形成所述目标访问行为数据分布网络对应的候选访问行为数据分布网络区域集合的步骤，直到当前计算得到的融合区域相关度小于或等于所述区域相关度参考值。
2.如权利要求1所述的基于存储集群的大数据处理方法，其特征在于，所述对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理，以输出所述目标存储集群对应的目标访问行为数据集合的步骤，包括：
确定出一个历史时间周期，并对所述历史时间周期进行等间隔分割处理，以形成所述历史时间周期内的多个历史时间段；
对目标存储集群包括的多个目标存储设备中的每一个目标存储设备在所述多个历史时间段中的每一个历史时间段进行访问行为数据提取处理，以输出所述目标存储集群对应的目标访问行为数据集合，所述目标访问行为数据集合中的每一条所述目标访问行为数据用于反映一个所述目标存储设备在一个历史时间段下被访问的网络行为。
3.如权利要求1所述的基于存储集群的大数据处理方法，其特征在于，所述利用目标访问行为识别神经网络，对所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行数据挖掘处理，以输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘结果的步骤，包括：
将所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行加载，以加载到目标访问行为识别神经网络包括的数据挖掘模型中进行数据挖掘处理，输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘结果；
所述数据挖掘模型基于示例访问行为数据分布网络和所述示例访问行为数据分布网络对应的示例相关访问行为数据分布网络优化形成，所述示例访问行为数据分布网络对应的实际数据识别信息和所述示例相关访问行为数据分布网络对应的实际数据识别信息一致，所述示例访问行为数据分布网络包括的多个示例访问行为数据分布网络区域和所述示例相关访问行为数据分布网络包括的多个示例访问行为数据分布网络区域相同，所述实际数据识别信息用于反映所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络对应的安全程度，所述多个示例访问行为数据分布网络区域在所述示例访问行为数据分布网络中的多个网络分布信息和所述多个示例访问行为数据分布网络区域在所述示例相关访问行为数据分布网络中的多个网络分布信息不完全一致。
4.如权利要求1所述的基于存储集群的大数据处理方法，其特征在于，所述利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的目标数据识别信息的步骤，包括：
利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果包括的目标分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的本身数据识别信息，所述本身数据识别信息用于反映所述目标访问行为数据分布网络对应的第一安全程度；
利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果包括的相关分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的相关数据识别信息，所述相关数据识别信息用于反映所述目标访问行为数据分布网络对应的第二安全程度；
依据所述本身数据识别信息和所述相关数据识别信息，确定出所述目标存储集群对应的目标数据识别信息。
5.如权利要求1所述的基于存储集群的大数据处理方法，其特征在于，所述利用所述目标访问行为识别神经网络，对所述一个以上的分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的目标数据识别信息的步骤，包括：
对所述一个以上的分布网络数据挖掘结果包括的目标分布网络数据挖掘结果和相关分布网络数据挖掘结果进行结果的聚合操作，以输出对应的聚合分布网络数据挖掘结果；
利用所述目标访问行为识别神经网络，对所述聚合分布网络数据挖掘结果进行识别处理，以输出所述目标存储集群对应的目标数据识别信息。
6.如权利要求1-5任意一项所述的基于存储集群的大数据处理方法，其特征在于，所述依据所述目标数据识别信息，对所述目标存储集群进行存储保护的步骤，包括：
倘若所述目标数据识别信息反映出所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的安全程度小于或等于预先配置的安全程度阈值，则对所述目标存储集群包括的多个目标存储设备中的每一个目标存储设备之后接收到的访问请求进行安全验证，并在安全验证未通过时，拒绝该访问请求，或者，在安全验证通过时，执行该访问请求。
7.一种基于存储集群的大数据处理AI系统，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以实现权利要求1-6任意一项所述的基于存储集群的大数据处理方法。
8.一种可储存介质，其特征在于，该可储存介质属于计算机可读存储介质，且存储有计算机程序，该计算机程序运行时执行权利要求1-7任意一项所述的基于存储集群的大数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211534463.7A CN115599312B (zh) | 2022-12-02 | 2022-12-02 | 基于存储集群的大数据处理方法及ai系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211534463.7A CN115599312B (zh) | 2022-12-02 | 2022-12-02 | 基于存储集群的大数据处理方法及ai系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115599312A CN115599312A (zh) | 2023-01-13 |
| CN115599312B true CN115599312B (zh) | 2023-10-27 |
Family
ID=84853148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211534463.7A Active CN115599312B (zh) | 2022-12-02 | 2022-12-02 | 基于存储集群的大数据处理方法及ai系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115599312B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10970395B1 (en) * | 2018-01-18 | 2021-04-06 | Pure Storage, Inc | Security threat monitoring for a storage system |
| CN113949527A (zh) * | 2021-09-07 | 2022-01-18 | 中云网安科技有限公司 | 异常访问的检测方法、装置、电子设备及可读存储介质 |
| CN115098705A (zh) * | 2022-08-25 | 2022-09-23 | 成都航空职业技术学院 | 基于知识图谱推理的网络安全事件分析方法及系统 |
| CN115412371A (zh) * | 2022-10-31 | 2022-11-29 | 广州市威士丹利智能科技有限公司 | 基于物联网的大数据安全防护方法、系统及云平台 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11683246B2 (en) * | 2021-03-09 | 2023-06-20 | Ayla Networks, Inc. | Edge-based intelligence for anomaly detection |
-
2022
- 2022-12-02 CN CN202211534463.7A patent/CN115599312B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10970395B1 (en) * | 2018-01-18 | 2021-04-06 | Pure Storage, Inc | Security threat monitoring for a storage system |
| CN113949527A (zh) * | 2021-09-07 | 2022-01-18 | 中云网安科技有限公司 | 异常访问的检测方法、装置、电子设备及可读存储介质 |
| CN115098705A (zh) * | 2022-08-25 | 2022-09-23 | 成都航空职业技术学院 | 基于知识图谱推理的网络安全事件分析方法及系统 |
| CN115412371A (zh) * | 2022-10-31 | 2022-11-29 | 广州市威士丹利智能科技有限公司 | 基于物联网的大数据安全防护方法、系统及云平台 |
Non-Patent Citations (1)
| Title |
|---|
| 安全防御机制的卷积神经网络算法应用与分析;邱洪;《中国优秀硕士学位论文全文数据库 信息科技辑》(第2期);I138-60 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115599312A (zh) | 2023-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116126945B (zh) | 基于数据分析的传感器运行状态分析方法和系统 | |
| CN111612037A (zh) | 异常用户检测方法、装置、介质及电子设备 | |
| CN111641809B (zh) | 基于物联网和人工智能的安防监控方法及云通信服务器 | |
| CN110969526A (zh) | 重叠社群处理方法、装置以及电子设备 | |
| CN109062965B (zh) | 大数据分析系统、服务器、数据处理方法和存储介质 | |
| CN115174231A (zh) | 一种基于AI Knowledge Base的网络欺诈分析方法及服务器 | |
| CN111767192B (zh) | 基于人工智能的业务数据检测方法、装置、设备和介质 | |
| CN113313479A (zh) | 基于人工智能的支付业务大数据处理方法及系统 | |
| CN114491282B (zh) | 一种基于云计算的异常用户行为分析方法及系统 | |
| CN116307671A (zh) | 风险预警方法、装置、计算机设备、存储介质 | |
| CN115603973A (zh) | 基于政务信息网络的异构安全监测方法及系统 | |
| CN114726571A (zh) | 一种网络安全预警管理平台和方法 | |
| CN115599312B (zh) | 基于存储集群的大数据处理方法及ai系统 | |
| CN112528306A (zh) | 基于大数据和人工智能的数据访问方法及云计算服务器 | |
| CN117312825A (zh) | 一种目标行为检测方法、装置、电子设备及存储介质 | |
| CN116739605A (zh) | 交易数据检测方法、装置、设备及存储介质 | |
| CN109446054B (zh) | 基于大数据的越权操作请求的处理方法及终端设备 | |
| CN115203758A (zh) | 一种数据安全存储方法、系统及云平台 | |
| CN115563275A (zh) | 一种多维度自适应日志分类分级方法和装置 | |
| CN115168509A (zh) | 风控数据的处理方法及装置、存储介质、计算机设备 | |
| CN115906170B (zh) | 应用于存储集群的安全防护方法及ai系统 | |
| CN112463783A (zh) | 索引数据监控方法、装置、计算机设备和存储介质 | |
| CN115577206B (zh) | 基于互联网的房屋交易网签数据处理方法及系统 | |
| CN115225387B (zh) | 一种基于大数据的数据安全防篡改方法、系统及云平台 | |
| CN114625747B (zh) | 基于信息安全的风控更新方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230927 Address after: 9th Floor, Building 3, Zone 6, No. 188 South Fourth Ring West Road, Fengtai District, Beijing, 100070 Applicant after: Beijing Guolian video information technology Co.,Ltd. Address before: No. 466, Qingnian Road, Tiexi District, Siping City, Jilin Province, 136000 Applicant before: Wang Danliang |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |