CN111611592A - 一种大数据平台安全评估方法及装置 - Google Patents

一种大数据平台安全评估方法及装置 Download PDF

Info

Publication number
CN111611592A
CN111611592A CN202010461627.2A CN202010461627A CN111611592A CN 111611592 A CN111611592 A CN 111611592A CN 202010461627 A CN202010461627 A CN 202010461627A CN 111611592 A CN111611592 A CN 111611592A
Authority
CN
China
Prior art keywords
big data
data platform
security
evaluated
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010461627.2A
Other languages
English (en)
Inventor
佟鑫
任望
谢丰
邸丽清
都婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Information Technology Security Evaluation Center
Original Assignee
China Information Technology Security Evaluation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Information Technology Security Evaluation Center filed Critical China Information Technology Security Evaluation Center
Priority to CN202010461627.2A priority Critical patent/CN111611592A/zh
Publication of CN111611592A publication Critical patent/CN111611592A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577Assessing vulnerabilities and evaluating computer system security
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/006Identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/82Solving problems relating to consistency
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/034Test or assess a computer or a system

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了一种大数据平台安全评估方法及装置,其中,方法包括:接收对大数据平台进行安全评估的待评估项;待评估项包括:IT资产运行环境、数据资产、脆弱性、安全机制和完整性中的至少一项;IT资产运行环境指大数据平台软硬件的运行环境;数据资产指大数据平台上存储管理的各类数据;脆弱性指大数据平台暴露在外的服务与组件特性中可被攻击者利用的脆弱性;安全机制指构成大数据平台的核心能力的各组件中的安全相关配置;完整性指组成大数据平台的各个集群主机上的各项配置与数据的一致性;按照待评估项,对大数据平台进行安全评估。实现对大数据平台的自动安全评估,以提高安全评估效率,并且,对大数据平台的软硬件和存储的数据两方面进行安全评估,提供比较全面的安全评估。

Description

一种大数据平台安全评估方法及装置
技术领域
本申请涉及网络安全和大数据安全管理领域,尤其涉及一种大数据平台安全评估方法及装置。
背景技术
随着大数据时代的到来,数据的分布式存储和处理成为一种必然需求,各行业普遍开始建设大数据平台,对企业生产及运营中产生的多种类型数据进行统一的存储管理与计算处理。由于汇聚了类型丰富多样的海量数据,其中不可避免的包含有大量的敏感或隐私信息,所以大数据平台的安全性至关重要。然而,当前大数据平台及相关技术集中关注于性能与效率,而在安全方面相对欠缺。
目前,面向大数据平台的安全评估,主要通过现场人工检查来进行,存在评估效率低的问题。
发明内容
本申请提供了一种大数据平台安全评估方法及装置,目的在于解决的评估效率低的问题。
为了实现上述目的,本申请提供了以下技术方案:
本申请提供了一种大数据平台安全评估方法,包括:
接收对大数据平台进行安全评估的待评估项;所述待评估项包括:IT资产运行环境、数据资产、脆弱性、安全机制和完整性中的至少一项;所述IT资产运行环境指所述大数据平台软硬件的运行环境;所述数据资产指所述大数据平台上存储管理的各类数据;所述脆弱性指所述大数据平台暴露在外的服务与组件特性中可被攻击者利用的脆弱性;所述安全机制指构成所述大数据平台的核心能力的各组件中的安全相关配置;所述完整性指组成所述大数据平台的各个集群主机上的各项配置与数据的一致性;
按照所述待评估项,对所述大数据平台进行安全评估。
可选的,在所述待评估项包括所述IT资产运行环境的情况下,对所述大数据平台进行所述IT资产运行环境的安全评估,包括:
基于特征指纹的检测方式,至少获取操作系统版本及补丁安装信息;
至少依据所述操作系统版本及补丁安装信息,确定所述大数据平台的运行环境的健康值。
可选的,在所述待评估项包括数据资产的情况下,对所述大数据平台进行所述数据资产评估,包括:
扫描所述大数据平台存储管理的各种数据;
至少分析扫描得到数据的逻辑结构、物理分布及冗余备份信息,得到第一分析结果信息;
至少分析扫描得到数据的敏感程度、访问控制权限设置及脱敏、加密防护信息,得到第二分析结果信息;
依据所述第一分析结果信息和所述第二分析结果信息,计算所述大数据平台在所述数据资产上的安全评分。
可选的,在所述待评估项包括所述脆弱性的情况下,所述大数据平台暴露在外的服务与组件特性包括:所述大数据平台开放的端口、Web服务和API;
对所述大数据平台进行脆弱性安全评估,包括:
探测所述大数据平台开放的端口与对应的组件或服务;
识别探测得到的组件的版本,得到组件版本;
识别探测得到的服务中的可登录服务,得到可登录服务;
依据预先构建的知识库中的弱口令生成规则,对所述可登录服务进行弱口令检测;
对所述组件版本与所述知识库中的预设版本漏洞信息进行匹配和验证,实现对所述组件版本的版本漏洞检测。
可选的,在所述待评估项包括安全机制的情况下,对所述大数据平台进行安全机制安全评估,包括:
提取所述大数据平台各组件的安全机制配置项;
将所述安全机制配置项与预先构建的知识库中的参考配置项进行比较,检测所述安全机制配置项中是否存在不满足安全防护要求的配置项;
读取所述大数据平台运行过程中产生的日志;
从所述日志中提取安全相关信息;
将所述安全相关信息与对应的安全机制配置项进行对比,检测所述安全机制配置项是否生效。
可选的,在所述待评估项包括完整性的情况下,对所述大数据平台进行完整性安全评估,包括:
分别提取组成所述大数据平台的各个集群主机上记录的服务与组件配置信息以及数据资产信息元数据;
针对每个所述集群主机,分别检测所述服务与组件配置信息以及所述数据资产信息元数据是否一致。
可选的,在所述按照所述待评估项,对所述大数据平台进行安全评估之后,还包括:
依据所述大数据平台的每个待评估项的评估结果,生成报表;所述报表包括:所述大数据平台的基本信息、所述待评估项,以及所述大数据平台分别在每个所述待评估项下的评估结果。
本申请还提供了一种大数据平台安全评估装置,包括:
接收模块,用于接收对大数据平台进行安全评估的待评估项;所述待评估项包括:IT资产运行环境、数据资产、脆弱性、安全机制和完整性中的至少一项;所述IT资产运行环境指所述大数据平台软硬件的运行环境;所述数据资产指所述大数据平台上存储管理的各类数据;所述脆弱性指所述大数据平台暴露在外的服务与组件特性中可被攻击者利用的脆弱性;所述安全机制指构成所述大数据平台的核心能力的各组件中的安全相关配置;所述完整性指组成所述大数据平台的各个集群主机上的各项配置与数据的一致性;
评估模块,用于按照所述待评估项,对所述大数据平台进行安全评估。
本申请还提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序执行上述任一大数据平台安全评估方法。
本申请还提供了一种设备,所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行上述任一大数据平台安全评估方法。
本申请所述的大数据平台安全评估方法及装置,接收对大数据平台进行安全评估的待评估项;其中,待评估项为IT资产运行环境、数据资产、脆弱性、安全机制和完整性中的至少一项;按照该待评估项,对大数据平台进行安全评估,从而,实现对大数据平台的自动安全评估,进而,提高安全评估效率。
由于本申请中待评估项包括IT资产运行环境、数据资产、脆弱性、安全机制和完整性中的至少一项,并且,IT资产运行环境指构建该大数据平台软硬件的运行环境;数据资产指该大数据平台上存储管理的各类数据;脆弱性指该大数据平台暴露在外的服务与组件特性中可被攻击者利用的脆弱性;安全机制指构成该大数据平台的核心能力的各组件中的安全相关配置;完整性指组成该大数据平台的多个集群主机上的各项配置与数据的一致性,从该待评估项的可取值可以看出,本申请是对大数据平台的软硬件和存储的数据这两方面进行的安全评估,因此,本申请对大数据平台的安全评估比较全面。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种大数据平台的安全评估方法的流程图;
图2为本申请实施例公开的一种大数据平台的安全评估方法的结构示意图;
图3为本申请实施例公开的一种大数据平台安全评估装置的结构示意图;
图4为本申请实施例公开的一种设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中,通过对数据生命周期与大数据生态系统的层次结构的分析,按照数据价值链和信息技术价值链两个维度梳理出各个数据处理环节中大数据平台不同组件及外部环境与预设安全目标的关系,构建大数据平台安全评估知识库,其中,构建的知识库包括:可选待评估项以及相关信息,其中,相关信息为在对大数据平台进行某些可选评估项的安全评估过程中使用到的参考信息。例如,版本漏洞信息、参考配置、弱口令规则库等。
其中,对于大数据平台组件的版本漏洞信息,知识库中的存储格式可为五元组:<ComponentName,ComponentVersion,VulID,VulInfo,PoC>,其中ComponentName为组件名称,ComponentVersion为组件版本,VulID为漏洞ID(如CVE编号、CNNVD编号),VulInfo为漏洞描述信息,PoC为漏洞验证代码。其中,在本实施例中,版本漏洞信息可通过如下方式进行周期性更新:使用网络爬虫周期性爬取漏洞数据库等网站的相关页面,检查是否有相关新漏洞,解析页面并基于自然语言处理技术自动识别提取上述五元组信息。
其中,对于大数据平台安全相关的参考配置信息,知识库中的存储格式为三元组:<ConfigID,ConfigKey,ConfigValue>,其中ConfigID为配置的唯一标识符,可由对应的大数据平台组件名、组件版本、配置名称等组成,ConfigKey和ConfigValue分别为配置项的名称与最佳实践中的参考取值。其中,参考配置信息可通过如下方式进行周期性更新:使用网络爬虫周期性爬取安全最佳实践等网站页面,再解析页面并基于自然语言处理技术自动识别提取上述三元组信息。
需要说明的是,在实际中,对于知识库中的一些信息可支持自动更新,包括版本漏洞信息和参考配置等。
在本申请实施例中,以构建的知识库为基础与依据,提供对大数据平台的安全评估机制,对大数据平台的安全风险进行全面深入的评估,具体如图1所示。
图1为本申请实施例提供的一种大数据平台的安全评估方法,包括以下步骤:
S101、接收对大数据平台进行安全评估的待评估项。
在本实施例中,可选的待评估项包括:IT资产运行环境、数据资产、脆弱性、安全机制和完整性。其中,IT资产运行环境指该大数据平台软硬件的运行环境。数据资产指:该大数据平台上存储管理的各类数据。脆弱性指:该大数据平台暴露在外的服务与组件特性中可被攻击者利用的脆弱性。安全机制指:构成该大数据平台的核心能力的各组件中的安全相关配置。完整性指:组成该大数据平台的多个集群主机上的各项配置与数据的一致性。
在本步骤中,接收的待评估项包括:IT资产运行环境、数据资产、脆弱性、安全机制和完整性中的至少一项。
在实际中,本步骤接收的待评估项的确定方式包括:根据预定的大数据平台安全评估目标与要求,结合待评估的大数据平台现场环境,配置预设的大数据平台安全评估模板。其中,预设的大数据平台安全评估模板根据不同的大数据平台安全检查目标,参照相关的法律法规或标准,预先定义的一些典型常见场景下的安全评估项及检查流程。
具体的,可以直接使用大数据平台安全评估模板,也可以在该大数据平台安全评估模板上进行调整,例如,增删具体的待评估项,从而满足各种场景需求,得到本步骤中的待评估项。
由于确定本步骤的待评估项的方式,可以直接使用大数据平台安全评估模板,也可以在大数据平台安全评估模板的基础上进行调整,达到满足各种场景的需求,因此,适用性强。
S102、按照待评估项,对该大数据平台进行安全评估。
在本实施例中,为了更清楚的描述,分别针对每个待评估项,介绍对大数据平台的安全评估过程。
针对IT资产运行环境,在本实施例中,大数据平台的IT资产可以包括该大数据平台的软硬件。大数据平台的IT资产运行环境为大数据平台的软硬件的运行环境,可以包括操作系统、文件系统和网络通信环境等。
在本实施例中,对该大数据平台进行IT资产运行环境安全评估的方式可以包括以下三种方式,第一种方式为人工评估;第二种方式为自动评估;第三种方式为第一种方式和第二种方式相结合。
其中,人工评估的具体实现方式可以包括:设计调查问卷方式向平台管理人员了解网络环境的安全状态(如是否部署有防火墙、入侵检测等网络安全设备),根据问卷的答案进行安全风险分值计算。
其中,自动评估的具体实现方式可以包括以下步骤A1~步骤A2:
A1、基于特征指纹的检测方式,至少获取操作系统版本及补丁安装信息。
在实际中,本步骤的具体实现过程为现有技术,这里不再赘述。
A2、至少依据操作系统版本及补丁安装信息,确定该大数据平台的运行环境的健康值。
在实际中,本步骤的具体实现过程为现有技术,这里不再赘述。
针对数据资产,在本实施例中,数据资产指大数据平台中存储管理的各种数据,其中,各种数据可以为多层结构与多维度的数据,其中多层结构对应于大数据平台各服务及组件中存储管理的数据,包括分布式文件系统、数据表和列式存储的键值对等。多维度则对应于数据资产在物理和逻辑上的存储,即在物理主机上的数据分布以及在大数据平台上呈现的数据结构。
在本实施例中,对该大数据平台进行数据资产评估的方式可以包括三种,第一种方式为人工评估方式;第二种方式为自动评估方式;第三种方式为第一种方式与第二种方式相结合。
其中,人工评估方式的具体实现过程包括:设计调查问卷向平台管理人员了解数据资产情况(如是否有秘密或敏感数据,是否进行脱敏或加密处理,是否有冗余备份,物理分布情况如何等),根据问卷的答案进行安全风险分值计算。
其中,自动评估方式的具体实现过程可以包括以下步骤B1~步骤B4:
B1、扫描该大数据平台存储管理的各种数据。
在实际中,本步骤的具体实现方式为现有技术,这里不再赘述。
B2、至少分析扫描得到数据的逻辑结构、物理分布及冗余备份信息,得到第一分析结果信息。
数据的逻辑结果、物理分布及冗余备份信息可用于评估大数据平台的可用性与鲁棒性,即在某个或某些集群主机受到攻击或意外导致故障的情况下,保持数据仍然完整可用的能力。
B3、至少分析扫描得到数据的敏感程度、访问控制权限设置和脱敏、加密防护信息,得到第二分析结果信息。
在本步骤中,敏感程度可以参考敏感数据识别中使用的模式匹配身份证号、手机号等敏感信息。访问控制权限设置可以从相关配置或数据库中直接读取。脱敏、加密防护信息可以从相关配置中读取,或是根据数据的可读性进行判断。本实施例不对敏感程度的内容,和访问权限设置及脱敏、加密防护信息的获取方式作限定。
B4、依据第一分析结果信息和第二分析结果信息,计算该大数据平台在该数据资产上的安全评分。
本步骤的具体实现方式为现有技术,这里不在赘述。
针对脆弱性,在本实施例中,脆弱性指该大数据平台暴露在外的服务与组件特性中可被攻击者利用的脆弱性。其中,该大数据平台暴露在外的服务与组件特性可以包括:该大数据平台开放的端口、Web服务和API。
在本实施例中,对该大数据平台进行脆弱性安全评估的过程可以包括以下步骤C1~步骤C5:
C1、探测该大数据平台开放的端口与对应的组件或服务。
在本步骤中,可以通过端口扫描等技术,对该大数据平台进行探测,得到开放的端口与对应的组件(服务)。
C2、识别探测得到的组件和服务的版本,得到组件版本。
在本步骤中,至少可以根据特征指纹、Web页面信息或API返回结果,判断探测到的组件版本。
C3、识别探测得到的服务中的可登录服务,得到可登录服务。
本步骤的具体实现方式为现有技术,这里不再赘述。
在本实施例中,对组件版本进行版本漏洞检测,对可登录服务进行弱口令检测,具体实现过程在以下步骤C4和步骤C5中进行介绍。
C4、依据预先构建的知识库中的弱口令生成规则,对可登录服务进行弱口令检测。
在本实施例中,弱口令检测是指针对可登录服务使用目标弱口令进行基于暴力破解的检测。其中,目标弱口令是依据预先构建的知识库中的弱口令生成规则生成得到。其中,预先构建的知识库中的弱口令生成规则可以包括多种,例如,基于字典的,基于个人信息的和基于正则表达式的等等。
在本步骤中,采用目标弱口令对可登录服务进行弱口令检测的具体实现过程为现有技术,这里不再赘述。
C5、对组件版本与该知识库中的预设版本漏洞信息进行匹配和验证,实现对组件版本的版本漏洞检测。
具体的,在本步骤中,对组件版本的漏洞检测包括:针对大数据平台组件(服务)识别出的版本,匹配知识库中收集的已知漏洞(如CVE、CNNVD等)信息,并使用相应的PoC漏洞验证代码进行验证确认。
针对安全机制,在本实施例中,安全机制指构成该大数据平台的核心能力的各组件中的安全相关配置。在本实施例中,对该大数据平台进行安全机制评估的过程可以包括以下步骤D1~步骤D5:
D1、提取该大数据平台的安全机制配置项。
在本实施例中,大数据平台各组件均包含有诸多安全相关的配置项,例如,身份认证、访问授权、数据加密和操作审计等各个方面。
在本步骤中,可以通过自动读取并解析相关配置文件提取安全机制配置项。当然,在实际中,也可以通过其他方式提取安全机制配置项,本实施例不对具体的提取方式作限定。
D2、将安全机制配置项与预先构建的知识库中的参考配置项进行比较,检测安全机制配置项中是否存在不满足安全防护要求的配置项。
在本实施例中,预先构建的知识库中存储有安全机制的最佳实践参考配置。在本步骤中,将提取的安全机制配置项与知识库中存储的最佳实践参考配置项进行比较,如果存在不同于相应最佳实践参考配置的安全机制配置项,则该不同于相应最佳实践参考配置的安全机制配置项为不满足安全防护要求的配置项。
在本实施例中,不安全配置项对应的最佳实践参考配置为建议配置项。
D3、读取该大数据平台运行过程中产生的日志。
在本实施例中,除了对安全机制的静态配置(安全机制配置项)进行安全评估外,还可以对该大数据平台运行过程中产生的日志进行安全评估。
具体的,在本步骤中,读取该大数据平台在实际运行过程中产生的日志。
D4、从日志中提取安全相关信息。
在本步骤中,对读取的日志进行解析,并提取日志中的安全相关信息,例如,认证、授权、数据访问等。
在本步骤中,从日志中提取的安全相关信息反映的是该大数据平台实际运行中使用的安全机制。
D5、将安全相关信息与对应的安全机制配置项进行对比,检测安全机制配置项是否生效。
由于安全相关信息反映的是该大数据平台实际运行中使用的安全机制,因此,本实施例为了验证安全机制配置项是否生效,通过将安全相关信息与对应的安全机制配置项进行对比。
针对完整性,在本实施例中,完整性指组成该大数据平台的多个集群主机上的各项配置与数据的一致性。在本实施例中,对大数据平台进行完整性安全评估的具体实现过程可以包括以下步骤E1~步骤E2:
E1、分别提取组成该大数据平台的各个集群主机上记录的服务与组件配置信息以及数据资产信息元数据。
在本实施例中,组成该大数据平台的集群主机一般包括多个,在本步骤中,分别提取每个集群主机上记录的服务与组件配置信息以及数据资产信息元数据。
E2、针对每个主机,分别检测服务与组件配置信息以及数据资产信息元数据是否一致。
在本实施例中,针对每个集群主机执行本步骤的操作,以任意一个集群主机为例进行介绍,具体的,检测该集群主机上记录的服务与组件配置信息以及数据资产信息元数据是否一致。
在本实施例中,在按照待评估项,对该大数据平台进行安全评估之后,还包括:依据该大数据平台的每个待评估项的评估结果,生成报表。
在本实施例中,将各个待评估项的安全评估结果进行汇总,生成易于安全评估人员浏览的报表。其中,生成的报表可以包括:该大数据平台的基本信息、待评估项,以及该大数据平台分别在每个待评估项下的评估结果。在实际中,生成的报表还可以包括:参考的修复或改进方案等。其中,参考的修复,例如,安全机制配置项中不满足安全防护要求的配置项在知识库中对应的最佳实践参考配置。
在实际中,生成的报表还可以包括,各个待评估项的重要程度使用可视化方法标注,也可以基于各待评估项预置权重分数进行综合汇总评分在报表中呈现。
本实施例具有以下有益效果:
有益效果一:
本实施例可以对大数据平台进行IT资产运行环境、数据资产、脆弱性、安全机制和完整性这五个方面的安全评估,这五个方面的安全评估反映了对IT资产和数据资产的安全评估,并且,从运行环境、脆弱性、安全机制和完整性等方面进行安全评估,因此,本实施例提供了对大数据平台的更全面的安全评估。
有益效果二:
数据资产与安全机制的安全评估反映了对可用性方面的评估,因此,本实施例对IT资产和数据资产从安全性、完整性和可用性的,从而,可以更精确地定位大数据平台的安全风险。
有益效果三:
本实施例还可以给出针对性改进意见,从而,更好的支撑大数据平台安全运营管理工作,推动大数据平台的安全防护的全面提升。
图2为本申请实施例提供的一种大数据平台安全评估过程的结构示意图,该图给出了根据大数据平台安全评估需求和大数据平台安全评估模板,在大数据平台安全评估配置模块配置待评估项,其中,待评估项可以包括IT资产运行环境安全评估、数据资产安全评估、脆弱性安全评估、安全机制安全评估和完整性安全评估。对大数据平台进行待评估项指示的安全评估,并依据安全评估结果生成报表。其中,在对大数据平台进行安全评估的过程中,某些待评估项的安全评估会使用到预先构建的知识库中的内容,该知识库可以包括:安全审查项(待评估项)、组件版本漏洞信息、弱口令字典和安全机制参考配置等等。
图3为本申请实施例提供的一种大数据平台安全评估装置,可以包括:接收模块301和评估模块302,其中,
接收模块301,用于接收对大数据平台进行安全评估的待评估项。
其中,待评估项包括:IT资产运行环境、数据资产、脆弱性、安全机制和完整性中的至少一项;IT资产运行环境指大数据平台软硬件的运行环境;数据资产指大数据平台上存储管理的各类数据;脆弱性指大数据平台暴露在外的服务与组件特性中可被攻击者利用的脆弱性;安全机制指构成大数据平台的核心能力的各组件中的安全相关配置;完整性指组成大数据平台的各个集群主机上的各项配置与数据的一致性;
评估模块302,用于按照待评估项,对大数据平台进行安全评估。
可选的,在待评估项包括IT资产运行环境的情况下,评估模块302,用于对大数据平台进行IT资产运行环境的安全评估,包括:
评估模块302,具体用于基于特征指纹的检测方式,至少获取操作系统版本及补丁安装信息;至少依据操作系统版本及补丁安装信息,确定大数据平台的运行环境的健康值。
可选的,在待评估项包括数据资产的情况下,评估模块302,用于对大数据平台进行数据资产的安全评估,包括:
评估模块302,具体用于扫描大数据平台存储管理的各种数据;至少分析扫描得到数据的逻辑结构、物理分布及冗余备份信息,得到第一分析结果信息;至少分析扫描得到数据敏感程度、访问控制权限设置信息及脱敏、加密防护信息,得到第二分析结果信息;依据第一分析结果信息和第二分析结果信息,计算大数据平台在数据资产上的安全评分。
可选的,在待评估项包括脆弱性的情况下,大数据平台暴露在外的服务与组件特性包括:大数据平台开放的端口、Web服务和API;
评估模块302,用于对大数据平台进行脆弱性安全评估,包括:
评估模块302,具体用于探测大数据平台开放的端口与对应的组件或服务;识别探测得到的组件的版本,得到组件版本;识别探测得到的服务中的可登录服务,得到可登录服务;依据预先构建的知识库中的弱口令生成规则,对可登录服务进行弱口令检测;对组件版本与知识库中的预设版本漏洞信息进行匹配和验证,实现对组件版本的版本漏洞检测。
可选的,在所述待评估项包括安全机制的情况下,评估模块302,用于对大数据平台进行安全机制安全评估,包括:
评估模块302,具体用于提取大数据平台各组件的安全机制配置项;将安全机制配置项与预先构建的知识库中的参考配置项进行比较,检测安全机制配置项中是否存在不满足安全防护要求的配置项;读取大数据平台运行过程中产生的日志;从日志中提取安全相关信息;将安全相关信息与对应的安全机制配置项进行对比,检测安全机制配置项是否生效。
可选的,在待评估项包括完整性的情况下,评估模块302,用于对大数据平台进行完整性安全评估,包括:
评估模块302,具体用于分别提取组成大数据平台的各个集群主机上记录的服务与组件配置信息以及数据资产信息元数据;针对每个所述集群主机,分别检测服务与组件配置信息以及数据资产信息元数据是否一致。
可选的,该装置还可以包括生成模块,用于在评估模块302按照待评估项,对大数据平台进行安全评估之后,依据大数据平台的每个待评估项的评估结果,生成报表;报表包括:大数据平台的基本信息、待评估项,以及大数据平台分别在每个待评估项下的评估结果。
大数据平台安全评估装置包括处理器和存储器,上述接收模块301和评估模块302等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决的评估效率低的问题。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述大数据平台安全评估方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述大数据平台安全评估方法。
本发明实施例提供了一种设备,如图4所示,设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,处理器、存储器通过总线完成相互间的通信;处理器用于调用存储器中的程序指令,以执行上述的大数据平台安全评估方法。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
接收对所述大数据平台进行安全评估的待评估项;所述待评估项包括:IT资产运行环境、数据资产、脆弱性、安全机制和完整性中的至少一项;所述IT资产运行环境指所述大数据平台软硬件的运行环境;所述数据资产指所述大数据平台上存储管理的各类数据;所述脆弱性指所述大数据平台暴露在外的服务与组件特性中可被攻击者利用的脆弱性;所述安全机制指构成所述大数据平台的核心能力的各组件的安全相关配置;所述完整性指组成所述大数据平台的各个集群主机上的各项配置与数据的一致性;
按照所述待评估项,对所述大数据平台进行安全评估。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中,设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。基于这样的理解,本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算设备(可以是个人计算机,服务器,移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书的各个实施例中记载的特征可以相互替换或者组合,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。基于这样的理解,本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算设备(可以是个人计算机,服务器,移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种大数据平台安全评估方法,其特征在于,包括:
接收对大数据平台进行安全评估的待评估项;所述待评估项包括:IT资产运行环境、数据资产、脆弱性、安全机制和完整性中的至少一项;所述IT资产运行环境指所述大数据平台软硬件的运行环境;所述数据资产指所述大数据平台上存储管理的各类数据;所述脆弱性指所述大数据平台暴露在外的服务与组件特性中可被攻击者利用的脆弱性;所述安全机制指构成所述大数据平台的核心能力的各组件中的安全相关配置;所述完整性指组成所述大数据平台的各个集群主机上的各项配置与数据的一致性;
按照所述待评估项,对所述大数据平台进行安全评估。
2.根据权利要求1所述的方法,其特征在于,在所述待评估项包括所述IT资产运行环境的情况下,对所述大数据平台进行所述IT资产运行环境的安全评估,包括:
基于特征指纹的检测方式,至少获取操作系统版本及补丁安装信息;
至少依据所述操作系统版本及补丁安装信息,确定所述大数据平台的运行环境的健康值。
3.根据权利要求1所述的方法,其特征在于,在所述待评估项包括数据资产的情况下,对所述大数据平台进行所述数据资产评估,包括:
扫描所述大数据平台存储管理的各种数据;
至少分析扫描得到数据的逻辑结构、物理分布及冗余备份信息,得到第一分析结果信息;
至少分析扫描得到数据的敏感程度、访问控制权限设置及脱敏、加密防护信息,得到第二分析结果信息;
依据所述第一分析结果信息和所述第二分析结果信息,计算所述大数据平台在所述数据资产上的安全评分。
4.根据权利要求1所述的方法,其特征在于,在所述待评估项包括所述脆弱性的情况下,所述大数据平台暴露在外的服务与组件特性包括:所述大数据平台开放的端口、Web服务和API;
对所述大数据平台进行脆弱性安全评估,包括:
探测所述大数据平台开放的端口与对应的组件或服务;
识别探测得到的组件的版本,得到组件版本;
识别探测得到的服务中的可登录服务,得到可登录服务;
依据预先构建的知识库中的弱口令生成规则,对所述可登录服务进行弱口令检测;
对所述组件版本与所述知识库中的预设版本漏洞信息进行匹配和验证,实现对所述组件版本的版本漏洞检测。
5.根据权利要求1所述的方法,其特征在于,在所述待评估项包括安全机制的情况下,对所述大数据平台进行安全机制安全评估,包括:
提取所述大数据平台各组件的安全机制配置项;
将所述安全机制配置项与预先构建的知识库中的参考配置项进行比较,检测所述安全机制配置项中是否存在不满足安全防护要求的配置项;
读取所述大数据平台运行过程中产生的日志;
从所述日志中提取安全相关信息;
将所述安全相关信息与对应的安全机制配置项进行对比,检测所述安全机制配置项是否生效。
6.根据权利要求1所述的方法,其特征在于,在所述待评估项包括完整性的情况下,对所述大数据平台进行完整性安全评估,包括:
分别提取组成所述大数据平台的各个集群主机上记录的服务与组件配置信息以及数据资产信息元数据;
针对每个所述集群主机,分别检测所述服务与组件配置信息以及所述数据资产信息元数据是否一致。
7.根据权利要求1所述的方法,其特征在于,在所述按照所述待评估项,对所述大数据平台进行安全评估之后,还包括:
依据所述大数据平台的每个待评估项的评估结果,生成报表;所述报表包括:所述大数据平台的基本信息、所述待评估项,以及所述大数据平台分别在每个所述待评估项下的评估结果。
8.一种大数据平台安全评估装置,其特征在于,包括:
接收模块,用于接收对大数据平台进行安全评估的待评估项;所述待评估项包括:IT资产运行环境、数据资产、脆弱性、安全机制和完整性中的至少一项;所述IT资产运行环境指所述大数据平台软硬件的运行环境;所述数据资产指所述大数据平台上存储管理的各类数据;所述脆弱性指所述大数据平台暴露在外的服务与组件特性中可被攻击者利用的脆弱性;所述安全机制指构成所述大数据平台的核心能力的各组件中的安全相关配置;所述完整性指组成所述大数据平台的各个集群主机上的各项配置与数据的一致性;
评估模块,用于按照所述待评估项,对所述大数据平台进行安全评估。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1~7任意一项权利要求所述的大数据平台安全评估方法。
10.一种设备,其特征在于,所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行如权利要求1~7中任一项权利要求所述的大数据平台安全评估方法。
CN202010461627.2A 2020-05-27 2020-05-27 一种大数据平台安全评估方法及装置 Pending CN111611592A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010461627.2A CN111611592A (zh) 2020-05-27 2020-05-27 一种大数据平台安全评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010461627.2A CN111611592A (zh) 2020-05-27 2020-05-27 一种大数据平台安全评估方法及装置

Publications (1)

Publication Number Publication Date
CN111611592A true CN111611592A (zh) 2020-09-01

Family

ID=72200638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010461627.2A Pending CN111611592A (zh) 2020-05-27 2020-05-27 一种大数据平台安全评估方法及装置

Country Status (1)

Country Link
CN (1) CN111611592A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112182591A (zh) * 2020-11-26 2021-01-05 江苏北弓智能科技有限公司 一种基于Linux系统的web应用可信运行环境校验方法
CN112733152A (zh) * 2021-01-22 2021-04-30 湖北宸威玺链信息技术有限公司 敏感数据处理方法及系统及装置
CN113672936A (zh) * 2021-08-20 2021-11-19 北京安天网络安全技术有限公司 一种应用于Linux系统的安全防范方法以及装置
CN116305137A (zh) * 2023-01-12 2023-06-23 四川大学 一种面向开源项目的安全性自动化评估方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190050578A1 (en) * 2017-08-10 2019-02-14 Electronics And Telecommunications Research Institute Apparatus and method for assessing cybersecurity vulnerabilities based on serial port
CN109446817A (zh) * 2018-10-29 2019-03-08 成都思维世纪科技有限责任公司 一种大数据检测与审计系统
CN110955900A (zh) * 2019-12-17 2020-04-03 上海观安信息技术股份有限公司 一种针对大数据平台的脆弱性检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190050578A1 (en) * 2017-08-10 2019-02-14 Electronics And Telecommunications Research Institute Apparatus and method for assessing cybersecurity vulnerabilities based on serial port
CN109446817A (zh) * 2018-10-29 2019-03-08 成都思维世纪科技有限责任公司 一种大数据检测与审计系统
CN110955900A (zh) * 2019-12-17 2020-04-03 上海观安信息技术股份有限公司 一种针对大数据平台的脆弱性检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112182591A (zh) * 2020-11-26 2021-01-05 江苏北弓智能科技有限公司 一种基于Linux系统的web应用可信运行环境校验方法
CN112182591B (zh) * 2020-11-26 2021-02-19 江苏北弓智能科技有限公司 一种基于Linux系统的web应用可信运行环境校验方法
CN112733152A (zh) * 2021-01-22 2021-04-30 湖北宸威玺链信息技术有限公司 敏感数据处理方法及系统及装置
CN113672936A (zh) * 2021-08-20 2021-11-19 北京安天网络安全技术有限公司 一种应用于Linux系统的安全防范方法以及装置
CN113672936B (zh) * 2021-08-20 2024-05-14 北京安天网络安全技术有限公司 一种应用于Linux系统的安全防范方法以及装置
CN116305137A (zh) * 2023-01-12 2023-06-23 四川大学 一种面向开源项目的安全性自动化评估方法及装置
CN116305137B (zh) * 2023-01-12 2023-10-13 四川大学 一种面向开源项目的安全性自动化评估方法及装置

Similar Documents

Publication Publication Date Title
US11089046B2 (en) Systems and methods for identifying and mapping sensitive data on an enterprise
CN111611592A (zh) 一种大数据平台安全评估方法及装置
EP3452910B1 (en) Security weakness and infiltration detection and repair in obfuscated website content
US10599872B2 (en) Systems and methods of determining compromised identity information
CN113660224B (zh) 基于网络漏洞扫描的态势感知防御方法、装置及系统
CN110912855A (zh) 一种基于渗透性测试用例集的区块链架构安全评估方法及系统
CN108154029A (zh) 入侵检测方法、电子设备和计算机存储介质
US11297091B2 (en) HTTP log integration to web application testing
CN116361807A (zh) 风险管控方法、装置、存储介质及电子设备
Ben Jaballah et al. A grey-box approach for detecting malicious user interactions in web applications
CN116708033B (zh) 终端安全检测方法、装置、电子设备及存储介质
KR101464736B1 (ko) 정보보호 관리 시스템 및 이를 통한 홈페이지 위변조 탐지 방법
CN116932381A (zh) 小程序安全风险自动化评估方法及相关设备
CN115640581A (zh) 一种数据安全风险评估方法、装置、介质及电子设备
Moreaux et al. Blockchain assisted near-duplicated content detection
CN113468217A (zh) 数据查询管理方法、装置、计算机设备及可读存储介质
KR101650445B1 (ko) 커널 기반의 파일이벤트감사 기능을 이용한 실시간 웹셀 탐지 장치 및 방법
KR102541888B1 (ko) 이미지 기반 악성코드 탐지 방법 및 장치와 이를 이용하는 인공지능 기반 엔드포인트 위협탐지 및 대응 시스템
Shi et al. An empirical study on mobile payment credential leaks and their exploits
Chauhan et al. Assessment of forensics investigation methods
CN117354060B (zh) 一种针对云计算IaaS层漏洞检测方法、系统和介质
KR102367756B1 (ko) 폐쇄형 내부망으로의 입력 소프트웨어 보안시스템과 보안방법
CN117290823B (zh) 一种app智能检测与安全防护方法、计算机设备及介质
KR102396238B1 (ko) 사이버 위협 정보 처리 장치, 사이버 위협 정보 처리 방법 및 사이버 위협 정보 처리하는 프로그램을 저장하는 저장매체
US20220255962A1 (en) Systems and methods for creation, management, and storage of honeyrecords

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination