CN117896123A - 安全屏障系统、电子设备及计算机存储介质 - Google Patents

Abstract

本申请涉及一种安全屏障系统、电子设备及计算机存储介质，旨在解决现有技术在实时数据处理、安全监控效率以及自适应威胁识别方面的局限性。具体的，该安全屏障系统包括：数据存储模块，接收并存储来自一个或多个数据源的数据；数据处理模块，被配置为接收来自所述数据存储模块发送的待处理数据，基于预设规则和/或指令，对所述待处理数据进行处理，得到数据样本；分析模块，配置有学习模型，所述分析模块基于输入的所述数据样本输出分析结果；安全模块，接收所述分析结果，基于预设的应对规则和分析结构，动态调节当前安全措施。

Description

安全屏障系统、电子设备及计算机存储介质

技术领域

本发明涉及一种安全屏障系统、电子设备及计算机存储介质，属于云技术安全领域。

背景技术

在现有技术包含了在大数据领域中，特别是数据湖和云安全领域的关键技术。数据湖技术使得企业可以存储海量的结构化和非结构化数据，并通过分布式计算平台如Apache Hadoop进行有效的数据处理和分析。与此同时，云服务平台如AWS、Azure等，通过其安全服务提供了基础的安全性保障，包括但不限于身份验证、加密、访问控制和威胁监测。在数据湖架构中，安全信息和事件管理(SIEM)系统被广泛应用于安全监控和管理，而基于规则的威胁检测技术在数据湖环境中也起到了核心作用。

尽管数据湖技术提供了对大规模数据集的强大处理能力，但现有系统在几个关键技术层面存在局限。首先，数据处理的延迟问题显著，特别是在需要实时分析以快速响应安全威胁的场景下。由于数据湖的庞大和不断变化的数据集，现有系统很难即时处理和分析这些数据，导致对潜在威胁的响应不够迅速。

其次，应用程序运行效率低下，主要由于现有的安全监控系统依赖于静态的规则和签名，这些系统难以适应新出现的复杂攻击模式。此外，现有技术在自动识别和适应新型攻击手法方面能力有限，这在不断演变的安全威胁面前是一个显著短板。并且，数据湖中的元数据管理系统在数据分类和索引方面通常效率不高，这影响了数据的检索和分析速度，进而影响了安全事件的识别和处理。当前的元数据管理工具也未能完全实现数据治理的自动化，从而降低了整个数据湖的运行效率和安全性。

发明内容

本发明的目的在于提供一种安全屏障系统、电子设备及计算机存储介质，旨在解决现有技术在实时数据处理、安全监控效率以及自适应威胁识别方面的局限性。

为达到上述目的，本发明提供如下技术方案：

第一方面，本申请提供一种安全屏障系统，其包括：

数据存储模块，接收并存储来自一个或多个数据源的数据；

数据处理模块，被配置为接收来自所述数据存储模块发送的待处理数据，基于预设规则和/或指令，对所述待处理数据进行处理，得到数据样本；

分析模块，配置有学习模型，所述分析模块基于输入的所述数据样本输出分析结果；

安全模块，接收所述分析结果，基于预设的应对规则和分析结构，动态调节当前安全措施。

在其中一个可能的实施方式中，所述安全屏障系统包括：元数据管理模块，配置有元数据模型，所述元数据管理模块获取所述数据样本和分析结果，并基于所述元数据模型进行自动标记和分类出元数据。

在其中一个可能的实施方式中，所述元数据管理模块被配置为基于自动获取、API收集、手动输入或元数据服务中的任一种或多种，从所述数据处理模块和/或分析模块中获取信息。

在其中一个可能的实施方式中，所述当前安全措施包括针对所述数据存储模块、数据处理模块和分析模块的访问控制、警报通知、加密存储、自动修复、撤销修改中的任一种或多种。

在其中一个可能的实施方式中，所述当前安全措施包括包括针对所述数据存储模块、数据处理模块、分析模块和元数据管理模块的访问控制、警报通知、加密存储、自动修复、撤销修改中的任一种或多种。

在其中一个可能的实施方式中，所述元数据管理模块还被配置为基于所述分析结果或当前安全策略动态更新元数据。

在其中一个可能的实施方式中，所述数据处理模块中构建有基于高速数据流处理技术和内存计算的实时数据处理管道。

在其中一个可能的实施方式中，利用Apache Kafka和Apache Flink或ApacheSpark Streaming来构建实时数据处理管道，确保数据在接收到时即被处理，大幅缩短数据分析的响应时间。

在其中一个可能的实施方式中，所述学习模型基于历史安全事件数据和神经网络进行特征学习所形成，且所述学习模型被配置于Flink处理流中。

在其中一个可能的实施方式中，当所述安全模型检测到可疑活动或实际攻击时，所述安全模块还被配置为收集相关的反馈信息并输出至所述分析模块，所述分析模块基于所述反馈信息，对所述学习模型进行校正和更新。

在其中一个可能的实施方式中，所述安全模型采用分布式计算资源，结合容器化技术(如Docker和Kubernetes)，优化计算任务的分配和执行，提高系统的伸缩性和容错性。

第二方面，本申请提供一种电子设备，所述电子设备包括处理器和内存，所述内存用于存储指令，所述处理器用于调用所述内存中的指令，使得所述电子设备运行第一方面所述的安全屏障系统。

第三方面，本申请提供一种计算机存储介质，其包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备运行第一方面所述的安全屏障系统。

通过本申请的实施例，本申请的安全屏障系统通过设置数据处理模块和分析模块，能够在数据产生的同时进行处理和分析，大大减少了从数据产生到安全响应之间的时间延迟。通过容器化的分布式计算资源和自动扩展机制，能够根据系统负载动态调整资源分配，提高了计算资源的利用率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1为本申请一实施例所示的安全屏障系统的框架示意图；

图2为本申请一实施例所示的电子设备的硬件结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。

进一步需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本申请中“至少一个”是指一个或者多个，“多个”是指两个或多于两个。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例根据，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。

为了阐释的目的而描述了本发明的一些示例性实施例，需要理解的是，本发明可通过附图中没有具体示出的其他方式来实现。

图1示出了本申请一实施例所示的安全屏障系统的框架示意图。如图1所示，本实施例的安全屏障系统包括数据存储模块、数据处理模块、分析模块和安全模块。其中，数据存储模块被配置为接收并存储来自一个或多个数据源的数据；数据处理模块被配置为接收来自所述数据存储模块发送的待处理数据，然后基于预设规则和/或指令，对所述待处理数据进行处理，得到数据样本；在分析模块中配置有学习模型，所述分析模块基于输入的所述数据样本输出分析结果；安全模块被配置为接收所述分析结果，然后基于预设的应对规则和分析结构，动态调节当前安全措施。

本实施例采用了一系列互补的技术策略和解决方案，共同作用于数据湖的安全防护系统，具体的：

在本实施例中，通过在一组由云服务提供的虚拟机上部署Apache Kafka集群来配置数据存储模块，以接收数据湖生成的数据流，包括但不限于访问日志、交易记录和用户行为数据。

再配置Apache Flink集群作为流数据处理引擎，构建数据处理模块与Kafka集群对接，实现数据流的即时计算和处理。Kafka集群收集数据后，通过Flink进行初步的清洗和格式化，以便于后续的分析。然后对数据进行分区，以优化处理流程并为机器学习模型提供结构化的输入。

在本实施例中，通过在Kubernetes平台上配置容器化的机器学习服务，允许按需自动扩展计算资源。然后使用Docker容器封装机器学习模型和必要的依赖库来构建分析模块，确保快速部署和一致的运行环境。具体的，选取具有代表性的历史安全事件数据进行深度学习模型的训练，如使用卷积神经网络(CNN)对恶意流量模式进行特征学习。然后使用异常检测算法如隔离森林(Isolation Forest)来识别与常规模式显著不同的数据点。再将训练好的模型部署到Flink处理流中，实现对实时数据流的连续监控和分析。

本实施例中，当所述安全模型检测到可疑活动或实际攻击时，所述安全模块还被配置为收集相关的反馈信息并输出至所述分析模块，所述分析模块基于所述反馈信息，对所述学习模型进行校正和更新。同时，安全模块结合实时分析结果和预设的安全策略，当检测到潜在威胁时，系统自动调整安全响应措施，例如调整防火墙规则或发出安全警报。并使用反馈循环来不断校正和更新安全模型，以适应新的攻击模式和策略。

可选的，所述当前安全措施包括针对所述数据存储模块、数据处理模块和分析模块的访问控制、警报通知、加密存储、自动修复、撤销修改中的任一种或多种。

可选的，本实施例的安全屏障系统还包括元数据管理模块，该元数据管理模块配置有元数据模型，所述元数据管理模块获取所述数据样本和分析结果，并基于所述元数据模型进行自动标记和分类出元数据。

在本实施例中，所述元数据管理模块被配置为基于自动获取、API收集、手动输入或元数据服务中的任一种或多种，从所述数据处理模块和/或分析模块中获取信息。可选的，所述元数据管理模块还被配置为基于所述分析结果或当前安全策略动态更新元数据。

可选的，所述当前安全措施包括包括针对所述数据存储模块、数据处理模块、分析模块和元数据管理模块的访问控制、警报通知、加密存储、自动修复、撤销修改中的任一种或多种。

具体的，通过数据处理模块自动化数据的标签和分类，加速数据检索和安全分析过程。这一效果源自于机器学习算法在元数据管理中的应用，它提高了元数据的准确性和可用性。然后可以在元数据管理模块中根据数据访问模式和安全分析结果动态更新元数据，以更好地服务于数据治理和安全分析。

请参考图2，为本申请实施例提供的电子设备1000的硬件结构示意图。如图2所示，电子设备1000可以包括处理器1001、存储器1002。存储器1002用于存储一个或多个计算机程序1003。一个或多个计算机程序1003被配置为被该处理器1001执行。该一个或多个计算机程序1003包括指令，上述指令可以用于实现在电子设备1000中运行上述的安全屏障系统。

可以理解的是，本实施例示意的结构并不构成对电子设备1000的具体限定。在另一些实施例中，电子设备1000可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。

处理器1001可以包括一个或多个处理单元，例如：处理器1001可以包括应用处理器(application processor，AP)，调制解调器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-networkprocessingunit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器1001还可以设置有存储器，用于存储指令和数据。在一些实施例中，处理器1001中的存储器为高速缓冲存储器。该存储器可以保存处理器1001刚用过或循环使用的指令或数据。如果处理器1001需要再次使用该指令或数据，可从该存储器中直接调用。避免了重复存取，减少了处理器1001的等待时间，因而提高了系统的效率。

在一些实施例中，处理器1001可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，SIM接口，和/或USB接口等。

在一些实施例中，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本实施例还提供一种计算机可读存储介质，该存储介质中存储有计算机指令，当该指令在电子设备上运行时，使得电子设备运行上述安全屏障系统。

其中，本实施例提供的电子设备、计算机存储介质均用于运行上文所提供的安全屏障系统，因此，其所能达到的有益效果可参考上文所提供的对应的安全屏障系统中的有益效果，此处不再赘述。

实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，所揭露的模块和方法，可以通过其它的方式实现。例如，以上所描述的模块实施例是示意性的，例如，该模块或单元的划分，为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明的技术方案因其结构的创新和技术的综合应用，带来了实时性、效率、准确性、自适应性和数据治理方面的显著改进，从而确保了数据湖在云环境中的安全性得到了有效的提升。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种安全屏障系统，其特征在于，包括：

数据存储模块，接收并存储来自一个或多个数据源的数据；

数据处理模块，被配置为接收来自所述数据存储模块发送的待处理数据，基于预设规则和/或指令，对所述待处理数据进行处理，得到数据样本；

分析模块，配置有学习模型，所述分析模块基于输入的所述数据样本输出分析结果；

安全模块，接收所述分析结果，基于预设的应对规则和分析结构，动态调节当前安全措施。

2.如权利要求1所述的安全屏障系统，其特征在于，还包括：元数据管理模块，配置有元数据模型，所述元数据管理模块获取所述数据样本和分析结果，并基于所述元数据模型进行自动标记和分类出元数据。

3.如权利要求2所述的安全屏障系统，其特征在于，所述元数据管理模块被配置为基于自动获取、API收集、手动输入或元数据服务中的任一种或多种，从所述数据处理模块和/或分析模块中获取信息。

4.如权利要求2所述的安全屏障系统，其特征在于，所述当前安全措施包括针对所述数据存储模块、数据处理模块和分析模块的访问控制、警报通知、加密存储、自动修复、撤销修改中的任一种或多种；或者，包括针对所述数据存储模块、数据处理模块、分析模块和元数据管理模块的访问控制、警报通知、加密存储、自动修复、撤销修改中的任一种或多种。

5.如权利要求2所述的安全屏障系统，其特征在于，所述元数据管理模块还被配置为基于所述分析结果或当前安全策略动态更新元数据。

6.如权利要求1所述的安全屏障系统，其特征在于，所述数据处理模块中构建有基于高速数据流处理技术和内存计算的实时数据处理管道。

7.如权利要求1所述的安全屏障系统，其特征在于，所述学习模型基于历史安全事件数据和神经网络进行特征学习所形成，且所述学习模型被配置于Flink处理流中。

8.如权利要求1或7所述的安全屏障系统，其特征在于，当所述安全模型检测到可疑活动或实际攻击时，所述安全模块还被配置为收集相关的反馈信息并输出至所述分析模块，所述分析模块基于所述反馈信息，对所述学习模型进行校正和更新。

9.一种电子设备，其特征在于，所述电子设备包括处理器和内存，所述内存用于存储指令，所述处理器用于调用所述内存中的指令，使得所述电子设备运行权利要求1至权利要求8中任一项所述的安全屏障系统。

10.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备运行权利要求1至权利要求8中任一项所述的安全屏障系统。