CN109583223A - 一种对大数据安全部署的检测方法及装置 - Google Patents

一种对大数据安全部署的检测方法及装置 Download PDF

Info

Publication number
CN109583223A
CN109583223A CN201710904833.4A CN201710904833A CN109583223A CN 109583223 A CN109583223 A CN 109583223A CN 201710904833 A CN201710904833 A CN 201710904833A CN 109583223 A CN109583223 A CN 109583223A
Authority
CN
China
Prior art keywords
node
cluster
preset
detected
sent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710904833.4A
Other languages
English (en)
Other versions
CN109583223B (zh
Inventor
纪朕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201710904833.4A priority Critical patent/CN109583223B/zh
Publication of CN109583223A publication Critical patent/CN109583223A/zh
Application granted granted Critical
Publication of CN109583223B publication Critical patent/CN109583223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3055Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Abstract

本发明公开了一种对大数据安全部署的检测方法,包括:启动预设的Web服务,获取用户在Web服务页面输入的待检测集群的各个节点的访问信息;通过运行预设的批量配置工具,依据待检测集群中各个节点的访问信息连接到所检测集群中的各个节点;在符合测试程序发送条件的情况下,通过所述批量配置工具将预设的测试程序发送到待检测集群的各个节点;接收各个节点发送的反馈信息并分析,反馈信息为所述各个节点运行测试程序后得到的信息;通过对反馈信息的分析得到检测结果,并输出。实现了对大数据安全部署的自动化检测,降低了人工检查的成本,提高了工作效率,并且用户可以实时的知晓检测结果和异常情况。

Description

一种对大数据安全部署的检测方法及装置
技术领域
本发明涉及云计算安全领域,尤其涉及一种对大数据安全部署的检测方法及装置。
背景技术
随着互联网的快速发展,全球数据量出现了爆炸式增长,为了应对海量的数据,各大公司采用了大数据平台对海量的数据进行存储和处理。
为了保障大数据平台的安全,大数据平台中存在启用安全的功能,但是目前,都是技术人员通过已配置好的安全节点和组件服务启用安全服务功能,并且无法获知安全部署的状态,这样,若是出现大数据集群节点的环境不符合、相关配置存在遗漏或错误的情况,就会导致大数据平台在使用的过程中出现异常。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种对大数据安全部署的检测方法及装置。
为了实现上述发明目的,本发明提供的具体技术方案如下:
一种对大数据安全部署的检测方法,所述方法包括:
启动预设的Web服务,获取用户在Web服务页面输入的待检测集群的各个节点的访问信息;
通过运行预设的批量配置工具,依据所述待检测集群中各个节点的访问信息连接到所述待检测集群的各个节点;
在符合测试程序发送条件的情况下,通过所述批量配置工具将预设的测试程序发送到所述待检测集群的各个节点;
接收各个节点发送的反馈信息并分析,所述反馈信息为所述各个节点运行所述测试程序后得到的信息;
通过对所述反馈信息的分析得到检测结果,并输出。
可选的,所述在符合测试程序发送条件的情况下,通过所述批量配置工具将预设的测试程序发送到所述待检测集群的各个节点,包括:
在接收到开始检测的指令的情况下,通过所述配置工具将预设的集群环境测试程序发送到所述待检测集群中的各个节点;
在所有节点的集群环境满足预设的集群环境要求的情况下,通过所述配置工具将预设的服务组件测试程序发送到所述待检测集群的各个节点;
在所有节点的服务组件满足预设的服务组件要求的情况下,通过所述配置工具将预设的服务状态程序发送到所述待检测集群的各个节点。
可选的,所述接收各个节点发送的反馈信息并分析,包括:
当接收到所述待检测集群中各个节点发送的集群环境的检测结果后,判断所有节点是否均满足预设的集群环境要求;
当接收到所述待检测集群中各个节点发送的服务组件的检测结果后,判断所有节点是否满足预设的服务组件要求;
当接收到所述待检测集群中各个节点发送的服务状态的检测结果后,判断所有节点是否满足预设的服务状态的要求。
可选的,所述通过对所述反馈信息的分析得到检测结果,并输出,包括:
若所有节点均满足所述预设的集群环境要求,在集群环境检测的Web页面上输出集群环境安全的检测结果;
若所有节点均满足所述预设的服务组件要求,在服务组件检测的Web页面上输出服务组件安全的检测结果;
若所有节点均满足所述预设的服务状态要求,在服务状态检测的Web页面上输出服务状态安全的检测结果。
可选的,所述通过对所述反馈信息的分析得到检测结果,并输出,包括:
若任何一个节点不满足预设的集群环境要求,或者任何一个节点不满足预设的服务组件要求,或者任何一个节点不满足预设的服务状态要求,输出相应的异常信息。
可选的,所述启动预设的Web服务之前,还包括:
接收预设的服务器发送的Docker容器镜像;所述Docker容器镜像包括:预设的批量配置工具的脚本和Web服务。
一种对大数据安全部署的检测装置,所述装置包括:
Web服务启动单元,用于启动预设的Web服务,获取用户在Web服务页面输入的待检测集群的各个节点的访问信息;
连接单元,用于通过运行预设的批量配置工具,依据所述待检测集群中各个节点的访问信息连接到所述待检测集群的各个节点;
发送单元,用于在符合测试程序发送条件的情况下,通过所述批量配置工具将预设的测试程序发送到所述待检测集群的各个节点;
接收单元,用于接收各个节点发送的反馈信息并分析,所述反馈信息为所述各个节点运行所述测试程序后得到的信息;
输出单元,用于通过对所述反馈信息的分析得到检测结果,并输出。
可选的,所述发送单元,包括:
第一发送子单元,用于在接收到开始检测的指令的情况下,通过所述配置工具将预设的集群环境测试程序发送到所述待检测集群中的各个节点;
第二发送子单元,用于在所有节点的集群环境满足预设的集群环境要求的情况下,通过所述配置工具将预设的服务组件测试程序发送到所述待检测集群的各个节点;
第三发送子单元,用于在所有节点的服务组件满足预设的服务组件要求的情况下,通过所述配置工具将预设的服务状态程序发送到所述待检测集群的各个节点。
一种存储介质,所述存储介质包括存储的程序,
其中,在所述程序运行时控制所述存储介质所在的设备执行如权利要求1-6中任一项所述的对大数据安全部署的检测方法。
一种处理器,所述处理器用于运行程序,
其中,所述程序运行时执行如权利要求1-6中任一项所述的对大数据安全部署的检测方法。
借由上述技术方案,本发明提供的一种对大数据安全部署的检测方法,包括:启动预设的的Web服务,获取用户在Web服务页面输入的待检测集群的各个节点的访问信息;通过运行预设的批量配置工具,依据所述待检测集群中各个节点的访问信息连接到所述待检测集群中的各个节点;在符合测试程序发送条件的情况下,通过所述批量配置工具将预设的测试程序发送到所述待检测集群的各个节点;接收各个节点发送的反馈信息并分析,所述反馈信息为所述各个节点运行所述测试程序后得到的信息;通过对所述反馈信息的分析得到检测结果,并输出。从而实现了对大数据安全部署的自动化检测,降低了人工检查的成本,提高了工作效率。通过Web服务,在进行大数据安全部署的检测时,用户可以直观的查看每一执行步骤,并实时的知晓检测结果和异常情况。
并且,确保在集群开启Kerberos安全功能后,经过常规场景的测试,各组件还能够正常的服务工作,避免由于不确定因素而导致集群对外开放上线后对业务造成影响,从而保障业务的安全。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种对大数据安全部署的检测方法的流程示意图;
图2示出了本发明实施例提供的一种对大数据安全部署的又一检测方法的流程示意图;
图3-a示出了检测结果的web页面示意图;
图3-b示出了检测结果的web页面示意图;
图3-c示出了检测结果的web页面示意图;
图4示出了本发明实施例提供的一种对大数据安全部署的检测装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
参考图1,示出了本发明实施例提供的一种对大数据安全部署的检测方法的流程示意图,在本实施例中,该方法包括:
S101:启动预设的Web服务,获取用户在Web服务页面输入的待检测集群的各个节点的访问信息;
本实施例中,若通过检测主机对集群的安全部署进行检测,可以先确定出该检测主机中是否包含有批量配置工具和Web服务,若包含,可以直接执行S101的步骤;若不包含,可以先通过服务器将包含预设的批量配置工具的脚本和Web服务的Docker容器镜像发送给对大数据安全部署进行检测的主机,由此可知,在S101之前还包括:
将预设的批量配置工具脚本和Web服务打包为Docker容器镜像;
将所述Docker容器镜像发送到对待检测集群的安全部署进行检测的主机。
其中,Docker容器是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化。
本实施例中,是采用Docker容器化技术将批量配置工具脚本和Web服务打包为Docker容器镜像,然后再将该Docker容器镜像发送到对待检测集群的安全部署进行检测的主机。
需要说明的是,检测主机为可以连接到待检测集群的主机。
举例说明:Web服务可以提供显示页面,用户可以在显示页面上输入相关的信息,以及选择相关的指令,用以实现对待检测集群的各个节点的检测。
其中,各个节点的访问信息包括:节点的IP地址、用户名和密码等;
用户在对待检测集群的各个节点进行安全部署的检测时,需要将待检测集群中的各个节点的IP地址、用户名和密码等访问信息输入到检测主机中。
S102:通过运行预设的批量配置工具,依据所述待检测集群中各个节点的访问信息连接到所述待检测集群的各个节点;
本实施例中,批量配置工具可以实现批量命令和脚本的执行,在本实施例中,可以根据各个节点的访问信息,批量化的连接到各个节点上,以及实现后序的过程中,批量化的将测试程序发送到各个节点中。
其中,批量配置工具可以包括:ansible、saltstack、puppet等。
S103:在符合测试程序发送条件的情况下,通过所述批量配置工具将预设的测试程序发送到所述待检测集群的各个节点;
将预设的测试程序发送到待检测集群的各个节点,包括以下的两种方式:
方式一:
当接收到开始检测的指令后,将所有的测试程序通过所述批量配置工具发送到所述待检测集群的各个节点;
方式二:如图2所示:
S201:在接收到开始检测的指令的情况下,通过所述配置工具将预设的集群环境测试程序发送到所述待检测集群中的各个节点;
S202:在所有节点的集群环境满足预设的集群环境要求的情况下,通过所述配置工具将预设的服务组件测试程序发送到所述待检测集群的各个节点;
S203:在所有节点的服务组件满足预设的服务组件要求的情况下,通过所述配置工具将预设的服务状态程序发送到所述待检测集群的各个节点。
针对于方式一,当检测主机将所有的的测试程序发送到各个节点后,各个节点可以根据不同的控制指令执行测试程序中不同的部分。
其中,为了保证安全部署测试的完整性,测试程序可以包括:集群环境测试程序、服务组件测试程序和服务状态测试程序。
针对于方式二,检测主机在不同的情况下,将不同的测试程序发送到待检测集群的各个节点,各个节点运行接收到的不同程序,即集群环境测试程序、服务组件测试程序和服务状态测试程序,并将反馈结果反馈给检测主机。
其中,对节点进行集群环境检测包括:主机系统的DNS配置、hosts文件配置、所有节点的openldap-clients依赖安装;对节点进行服务组件检测包括:HDFS:Hadoop安全授权、设置超级用户组、启用访问控制列表、启用Sentry同步、启用HTTP Web控制台的Kerberos身份验证;Hive:关闭、HiveServer2启用模拟、Sentry服务设置;HBase:启用HBaseThrift Http服务器、HBase Thrift身份验证、HBase安全授权等;对节点进行服务状态检测包括:通过执行kinit、klist生成和查看票据的命令来对kerberos服务进行认证的验证测试、HDFS、Spark、Impala、Hive等服务的任务查询提交的命令执行。
除此之外,对服务组件进行检测时,还包括安全配置文件的检测,其中需要使用安全校验文件进行校验,因此,在开始对安全部署进行校验之前,还需要上传安全校验文件。
S104:接收各个节点发送的反馈信息并分析,所述反馈信息为所述各个节点运行所述测试程序后得到的信息;
本实施例中,当检测主机接收到节点发送的反馈信息时,由于会接收到各个节点发送的反馈信息,而集群环境的检测结果,要通过所有节点的反馈信息进行分析后,才可以知道该项检测是否合格的,具体的,S103包括:
当接收到所述待检测集群中各个节点发送的集群环境的检测结果后,判断所有节点是否均满足预设的集群环境要求;
当接收到所述待检测集群中各个节点发送的服务组件的检测结果后,判断所有节点是否满足预设的服务组件要求;
当接收到所述待检测集群中各个节点发送的服务状态的检测结果后,判断所有节点是否满足预设的服务状态的要求。
举例说明:S103和S 104的具体执行过程可以包括:
当检测主机接收到开始检测的指令的情况下,通过所述配置工具将预设的集群环境测试程序发送到所述待检测集群中的各个节点;
各个节点运行集群环境测试程序,并向检测主机反馈集群环境的测试结果;
若所有节点的集群环境均满足预设的集群环境要求,通过所述配置工具将预设的服务组件测试程序发送到所述待检测集群的各个节点;
各个节点运行服务组件测试程序,并向检测主机反馈服务组件的测试结果;
若所有节点的服务组件均满足预设的服务组件要求,通过所述配置工具将预设的服务状态程序发送到所述待检测集群的各个节点;
各个节点运行服务状态测试程序,并向检测主机反馈服务状态的测试结果。
S105:通过对所述反馈信息的分析得到检测结果,并输出。
本实施例中,检测主机对各个节点的反馈信息分析后,得到检测结果,该检测结果可以在Web页面中输出检测结果。
其中,由于对安全部署进行检测时,包括三个方面的检测:集群环境、服务组件和服务状态,若这三方面的检测均是安全的,输出的显示结果可以包括以下两种实施方式:
实施方式一:若所有节点均满足集群环境要求,在集群环境检测的Web页面上输出集群环境安全的检测结果;
若所有节点均满足服务组件要求,在服务组件检测的Web页面上输出服务组件安全的检测结果;
若所有节点均满足服务状态要求,在服务状态检测的Web页面上输出服务状态安全的检测结果。
其中,针对于实施方式一,如图3-a、图3-b、图3-c所示:每一方面的检测结果都会在显示页面上进行显示,并且每个方面都包括不同的测试项,不同的测试项的检测结果也都会在Web页面上进行显示。
实施方式二:若所有节点均满足预设的集群环境要求,所有节点是否满足预设的服务组件要求,且所有节点均满足预设的服务状态要求,输出集群环境安全的检测结果。
针对于实施方式二,表示的是进行安全部署检测的三个方面均符合条件时,在输出显示页面上,显示检测结果安全的信息。
除此之外,若是任何一方面的检测结果不满足条件,输出具体的异常信息,具体的,S105包括:
若任何一个节点不满足预设的集群环境要求,或者任何一个节点不满足预设的服务组件要求,或者任何一个节点不满足预设的服务状态要求,输出相应的异常信息。
本发明实施例提供的一种对大数据安全部署的检测方法,包括:启动预设的Web服务,获取用户在Web服务页面输入的待检测集群的各个节点的访问信息;通过运行预设的批量配置工具,依据所述待检测集群中各个节点的访问信息连接到所述待检测集群中的各个节点;并通过批量配置工具将测试程序发送到各个节点中,以使各个节点运行测试程序对安全部署进行检测,从而实现了对大数据安全部署的自动化检测,降低了人工检查的成本,提高了工作效率。并且,通过Web服务,在进行大数据的安全部署的检测时,用户可以直观的查看每一执行步骤,并实时的知晓检测结果和异常情况。
除此之外,确保在集群开启Kerberos安全功能后,经过常规场景的测试,各组件还能够正常的服务工作,避免由于不确定因素而导致集群对外开放上线后对业务造成影响,从而保障业务的安全。
参考图4,示出了本发明实施例提供的一种对大数据安全部署的检测装置的结构示意图,在本实施例中,该装置包括:
Web服务启动单元401,用于页面启动预设的Web服务,获取用户在Web服务页面输入的待检测集群的各个节点的访问信息;
连接单元402,用于通过运行预设的批量配置工具,依据所述待检测集群中各个节点的访问信息连接到所述待检测集群的各个节点;
发送单元403,用于在符合测试程序发送条件的情况下,通过所述批量配置工具将预设的测试程序发送到所述待检测集群的各个节点;
接收单元404,用于接收各个节点发送的反馈信息并分析,所述反馈信息为所述各个节点运行所述测试程序后得到的信息;
输出单元405,用于通过对所述反馈信息的分析得到检测结果,并输出。
可选的,所述发送单元,包括:
第一发送子单元,用于在接收到开始检测的指令的情况下,通过所述配置工具将预设的集群环境测试程序发送到所述待检测集群中的各个节点;
第二发送子单元,用于在所有节点的集群环境满足预设的集群环境要求的情况下,通过所述配置工具将预设的服务组件测试程序发送到所述待检测集群的各个节点;
第三发送子单元,用于在所有节点的服务组件满足预设的服务组件要求的情况下,通过所述配置工具将预设的服务状态程序发送到所述待检测集群的各个节点。
通过本实施例的装置,实现了对大数据安全部署的自动化检测,降低了人工检查的成本,提高了工作效率。并且,通过Web服务,在进行大数据的安全部署的检测时,用户可以直观的查看每一执行步骤,并实时的知晓检测结果和异常情况。除此之外,确保在集群开启Kerberos安全功能后,经过常规场景的测试,各组件还能够正常的服务工作,避免由于不确定因素而导致集群对外开放上线后对业务造成影响,从而保障业务的安全。
所述对大数据安全部署的检测装置包括处理器和存储器,上述Web服务启动单元、连接单元、发送单元、接收单元和输出单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现自动化的对大数据集群进行安全检测。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述大数据集群安全检测方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述大数据集群安全检测方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
启动预设的Web服务,获取用户在Web服务页面输入的待检测集群的各个节点的访问信息;
通过运行预设的批量配置工具,依据所述待检测集群中各个节点的访问信息连接到所述待检测集群的各个节点;
在符合测试程序发送条件的情况下,通过所述批量配置工具将预设的测试程序发送到所述待检测集群的各个节点;
接收各个节点发送的反馈信息并分析,所述反馈信息为所述各个节点运行所述测试程序后得到的信息;
通过对所述反馈信息的分析得到检测结果,并输出。
可选的,所述在符合测试程序发送条件的情况下,通过所述批量配置工具将预设的测试程序发送到所述待检测集群的各个节点,包括:
在接收到开始检测的指令的情况下,通过所述配置工具将预设的集群环境测试程序发送到所述待检测集群中的各个节点;
在所有节点的集群环境满足预设的集群环境要求的情况下,通过所述配置工具将预设的服务组件测试程序发送到所述待检测集群的各个节点;
在所有节点的服务组件满足预设的服务组件要求的情况下,通过所述配置工具将预设的服务状态程序发送到所述待检测集群的各个节点。
可选的,所述接收各个节点发送的反馈信息并分析,包括:
当接收到所述待检测集群中各个节点发送的集群环境的检测结果后,判断所有节点是否均满足预设的集群环境要求;
当接收到所述待检测集群中各个节点发送的服务组件的检测结果后,判断所有节点是否满足预设的服务组件要求;
当接收到所述待检测集群中各个节点发送的服务状态的检测结果后,判断所有节点是否满足预设的服务状态的要求。
可选的,所述通过对所述反馈信息的分析得到检测结果,并输出,包括:
若所有节点均满足所述预设的集群环境要求,在集群环境检测的Web页面上输出集群环境安全的检测结果;
若所有节点均满足所述预设的服务组件要求,在服务组件检测的Web页面上输出服务组件安全的检测结果;
若所有节点均满足所述预设的服务状态要求,在服务状态检测的Web页面上输出服务状态安全的检测结果。
可选的,所述通过对所述反馈信息的分析得到检测结果,并输出,包括:
若任何一个节点不满足预设的集群环境要求,或者任何一个节点不满足预设的服务组件要求,或者任何一个节点不满足预设的服务状态要求,输出相应的异常信息。
可选的,所述启动预设的Web服务之前,还包括:
接收预设的服务器发送的Docker容器镜像;所述Docker容器镜像包括:预设的批量配置工具的脚本和Web服务。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
启动预设的Web服务,获取用户在Web服务页面输入的待检测集群的各个节点的访问信息;
通过运行预设的批量配置工具,依据所述待检测集群中各个节点的访问信息连接到所述待检测集群的各个节点;
在符合测试程序发送条件的情况下,通过所述批量配置工具将预设的测试程序发送到所述待检测集群的各个节点;
接收各个节点发送的反馈信息并分析,所述反馈信息为所述各个节点运行所述测试程序后得到的信息;
通过对所述反馈信息的分析得到检测结果,并输出。
可选的,所述在符合测试程序发送条件的情况下,通过所述批量配置工具将预设的测试程序发送到所述待检测集群的各个节点,包括:
在接收到开始检测的指令的情况下,通过所述配置工具将预设的集群环境测试程序发送到所述待检测集群中的各个节点;
在所有节点的集群环境满足预设的集群环境要求的情况下,通过所述配置工具将预设的服务组件测试程序发送到所述待检测集群的各个节点;
在所有节点的服务组件满足预设的服务组件要求的情况下,通过所述配置工具将预设的服务状态程序发送到所述待检测集群的各个节点。
可选的,所述接收各个节点发送的反馈信息并分析,包括:
当接收到所述待检测集群中各个节点发送的集群环境的检测结果后,判断所有节点是否均满足预设的集群环境要求;
当接收到所述待检测集群中各个节点发送的服务组件的检测结果后,判断所有节点是否满足预设的服务组件要求;
当接收到所述待检测集群中各个节点发送的服务状态的检测结果后,判断所有节点是否满足预设的服务状态的要求。
可选的,所述通过对所述反馈信息的分析得到检测结果,并输出,包括:
若所有节点均满足所述预设的集群环境要求,在集群环境检测的Web页面上输出集群环境安全的检测结果;
若所有节点均满足所述预设的服务组件要求,在服务组件检测的Web页面上输出服务组件安全的检测结果;
若所有节点均满足所述预设的服务状态要求,在服务状态检测的Web页面上输出服务状态安全的检测结果。
可选的,所述通过对所述反馈信息的分析得到检测结果,并输出,包括:
若任何一个节点不满足预设的集群环境要求,或者任何一个节点不满足预设的服务组件要求,或者任何一个节点不满足预设的服务状态要求,输出相应的异常信息。
可选的,所述启动预设的Web服务之前,还包括:
接收预设的服务器发送的Docker容器镜像;所述Docker容器镜像包括:预设的批量配置工具的脚本和Web服务。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种对大数据安全部署的检测方法,其特征在于,包括:
启动预设的Web服务,获取用户在Web服务页面输入的待检测集群的各个节点的访问信息;
通过运行预设的批量配置工具,依据所述待检测集群中各个节点的访问信息连接到所述待检测集群的各个节点;
在符合测试程序发送条件的情况下,通过所述批量配置工具将预设的测试程序发送到所述待检测集群的各个节点;
接收各个节点发送的反馈信息并分析,所述反馈信息为所述各个节点运行所述测试程序后得到的信息;
通过对所述反馈信息的分析得到检测结果,并输出。
2.根据权利要求1所述的方法,其特征在于,所述在符合测试程序发送条件的情况下,通过所述批量配置工具将预设的测试程序发送到所述待检测集群的各个节点,包括:
在接收到开始检测的指令的情况下,通过所述配置工具将预设的集群环境测试程序发送到所述待检测集群中的各个节点;
在所有节点的集群环境满足预设的集群环境要求的情况下,通过所述配置工具将预设的服务组件测试程序发送到所述待检测集群的各个节点;
在所有节点的服务组件满足预设的服务组件要求的情况下,通过所述配置工具将预设的服务状态程序发送到所述待检测集群的各个节点。
3.根据权利要求1所述的方法,其特征在于,所述接收各个节点发送的反馈信息并分析,包括:
当接收到所述待检测集群中各个节点发送的集群环境的检测结果后,判断所有节点是否均满足预设的集群环境要求;
当接收到所述待检测集群中各个节点发送的服务组件的检测结果后,判断所有节点是否满足预设的服务组件要求;
当接收到所述待检测集群中各个节点发送的服务状态的检测结果后,判断所有节点是否满足预设的服务状态的要求。
4.根据权利要求1所述的方法,其特征在于,所述通过对所述反馈信息的分析得到检测结果,并输出,包括:
若所有节点均满足所述预设的集群环境要求,在集群环境检测的Web页面上输出集群环境安全的检测结果;
若所有节点均满足所述预设的服务组件要求,在服务组件检测的Web页面上输出服务组件安全的检测结果;
若所有节点均满足所述预设的服务状态要求,在服务状态检测的Web页面上输出服务状态安全的检测结果。
5.根据权利要求1所述的方法,其特征在于,所述通过对所述反馈信息的分析得到检测结果,并输出,包括:
若任何一个节点不满足预设的集群环境要求,或者任何一个节点不满足预设的服务组件要求,或者任何一个节点不满足预设的服务状态要求,输出相应的异常信息。
6.根据权利要求1所述的方法,其特征在于,所述启动预设的Web服务之前,还包括:
接收预设的服务器发送的Docker容器镜像;所述Docker容器镜像包括:预设的批量配置工具的脚本和Web服务。
7.一种对大数据安全部署的检测装置,其特征在于,包括:
Web服务启动单元,用于启动预设的Web服务,获取用户在Web服务页面输入的待检测集群的各个节点的访问信息;
连接单元,用于通过运行预设的批量配置工具,依据所述待检测集群中各个节点的访问信息连接到所述待检测集群的各个节点;
发送单元,用于在符合测试程序发送条件的情况下,通过所述批量配置工具将预设的测试程序发送到所述待检测集群的各个节点;
接收单元,用于接收各个节点发送的反馈信息并分析,所述反馈信息为所述各个节点运行所述测试程序后得到的信息;
输出单元,用于通过对所述反馈信息的分析得到检测结果,并输出。
8.根据权利要求7所述的装置,其特征在于,所述发送单元,包括:
第一发送子单元,用于在接收到开始检测的指令的情况下,通过所述配置工具将预设的集群环境测试程序发送到所述待检测集群中的各个节点;
第二发送子单元,用于在所有节点的集群环境满足预设的集群环境要求的情况下,通过所述配置工具将预设的服务组件测试程序发送到所述待检测集群的各个节点;
第三发送子单元,用于在所有节点的服务组件满足预设的服务组件要求的情况下,通过所述配置工具将预设的服务状态程序发送到所述待检测集群的各个节点。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,
其中,在所述程序运行时控制所述存储介质所在的设备执行如权利要求1-6中任一项所述的对大数据安全部署的检测方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,
其中,所述程序运行时执行如权利要求1-6中任一项所述的对大数据安全部署的检测方法。
CN201710904833.4A 2017-09-29 2017-09-29 一种对大数据安全部署的检测方法及装置 Active CN109583223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710904833.4A CN109583223B (zh) 2017-09-29 2017-09-29 一种对大数据安全部署的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710904833.4A CN109583223B (zh) 2017-09-29 2017-09-29 一种对大数据安全部署的检测方法及装置

Publications (2)

Publication Number Publication Date
CN109583223A true CN109583223A (zh) 2019-04-05
CN109583223B CN109583223B (zh) 2021-08-13

Family

ID=65914838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710904833.4A Active CN109583223B (zh) 2017-09-29 2017-09-29 一种对大数据安全部署的检测方法及装置

Country Status (1)

Country Link
CN (1) CN109583223B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026509A (zh) * 2019-12-12 2020-04-17 广州西麦科技股份有限公司 用于运维远程主机执行作业的方法、系统以及存储介质
CN111291227A (zh) * 2020-01-13 2020-06-16 鹏城实验室 大数据分析方法、装置、系统、设备和计算机存储介质
CN111625189A (zh) * 2020-05-19 2020-09-04 无锡华云数据技术服务有限公司 一种数据重平衡状态的检测方法、装置、设备及介质
CN112084000A (zh) * 2020-07-20 2020-12-15 北京百度网讯科技有限公司 容器集群的测试方法和装置
CN112231280A (zh) * 2020-10-20 2021-01-15 中国建设银行股份有限公司 大数据集群的检测方法及装置、电子设备及存储介质
CN113114705A (zh) * 2021-06-15 2021-07-13 杭州海康威视数字技术股份有限公司 可信可编排的视频物联网终端内生安全检测方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639402A (zh) * 2015-03-05 2015-05-20 浪潮电子信息产业股份有限公司 一种用于服务器集群系统网络测试的方法
CN104683134A (zh) * 2013-12-02 2015-06-03 鸿富锦精密工业(深圳)有限公司 配置集群服务器测试环境的系统及方法
CN104834599A (zh) * 2015-04-24 2015-08-12 百度在线网络技术(北京)有限公司 Web安全检测方法和装置
US20150261580A1 (en) * 2014-03-14 2015-09-17 Cask Data, Inc. Planner for cluster management system
US20160034809A1 (en) * 2014-06-10 2016-02-04 Sightline Innovation Inc. System and method for network based application development and implementation
CN105959130A (zh) * 2016-04-13 2016-09-21 乐视控股(北京)有限公司 一种基于大数据运维的监控方法和装置
CN106055486A (zh) * 2016-08-19 2016-10-26 浪潮(北京)电子信息产业有限公司 一种分布式文件系统的自动化运维方法及平台
CN106330540A (zh) * 2016-08-23 2017-01-11 成都聚美优品科技有限公司 一种互联网自动化运维管理方法
CN106325975A (zh) * 2016-09-09 2017-01-11 浪潮软件股份有限公司 一种利用Docker容器自动化部署与管理大数据集群的方法
CN106407075A (zh) * 2016-09-19 2017-02-15 广州视源电子科技股份有限公司 一种用于大数据平台的管理方法及系统
CN106972975A (zh) * 2017-04-27 2017-07-21 上海斐讯数据通信技术有限公司 一种服务器管理方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683134A (zh) * 2013-12-02 2015-06-03 鸿富锦精密工业(深圳)有限公司 配置集群服务器测试环境的系统及方法
US20150261580A1 (en) * 2014-03-14 2015-09-17 Cask Data, Inc. Planner for cluster management system
US20160034809A1 (en) * 2014-06-10 2016-02-04 Sightline Innovation Inc. System and method for network based application development and implementation
CN104639402A (zh) * 2015-03-05 2015-05-20 浪潮电子信息产业股份有限公司 一种用于服务器集群系统网络测试的方法
CN104834599A (zh) * 2015-04-24 2015-08-12 百度在线网络技术(北京)有限公司 Web安全检测方法和装置
CN105959130A (zh) * 2016-04-13 2016-09-21 乐视控股(北京)有限公司 一种基于大数据运维的监控方法和装置
CN106055486A (zh) * 2016-08-19 2016-10-26 浪潮(北京)电子信息产业有限公司 一种分布式文件系统的自动化运维方法及平台
CN106330540A (zh) * 2016-08-23 2017-01-11 成都聚美优品科技有限公司 一种互联网自动化运维管理方法
CN106325975A (zh) * 2016-09-09 2017-01-11 浪潮软件股份有限公司 一种利用Docker容器自动化部署与管理大数据集群的方法
CN106407075A (zh) * 2016-09-19 2017-02-15 广州视源电子科技股份有限公司 一种用于大数据平台的管理方法及系统
CN106972975A (zh) * 2017-04-27 2017-07-21 上海斐讯数据通信技术有限公司 一种服务器管理方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
佚名: "测试hadoop集群是否安装成功:网页监控页面和提交job运行", 《HTTPS://MY.OSCHINA.NET/CJUN/BLOG/627681》 *
李小文等: "基于Puppet的自动化部署工具的设计与实现", 《软件》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026509A (zh) * 2019-12-12 2020-04-17 广州西麦科技股份有限公司 用于运维远程主机执行作业的方法、系统以及存储介质
CN111026509B (zh) * 2019-12-12 2023-10-17 广州西麦科技股份有限公司 用于运维远程主机执行作业的方法、系统以及存储介质
CN111291227A (zh) * 2020-01-13 2020-06-16 鹏城实验室 大数据分析方法、装置、系统、设备和计算机存储介质
CN111291227B (zh) * 2020-01-13 2023-04-11 鹏城实验室 大数据分析方法、装置、系统、设备和计算机存储介质
CN111625189A (zh) * 2020-05-19 2020-09-04 无锡华云数据技术服务有限公司 一种数据重平衡状态的检测方法、装置、设备及介质
CN112084000A (zh) * 2020-07-20 2020-12-15 北京百度网讯科技有限公司 容器集群的测试方法和装置
CN112231280A (zh) * 2020-10-20 2021-01-15 中国建设银行股份有限公司 大数据集群的检测方法及装置、电子设备及存储介质
CN113114705A (zh) * 2021-06-15 2021-07-13 杭州海康威视数字技术股份有限公司 可信可编排的视频物联网终端内生安全检测方法及装置

Also Published As

Publication number Publication date
CN109583223B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN109583223A (zh) 一种对大数据安全部署的检测方法及装置
US9898395B2 (en) Unit-level formal verification for vehicular software systems
CN110460595B (zh) 一种鉴权与业务服务方法、装置以及设备
AU2016264496B2 (en) Custom communication channels for application deployment
US9594672B1 (en) Test case generation
CN107480039B (zh) 一种分布式存储系统的小文件读写性能测试方法及装置
CN104423961B (zh) 一种生成测试脚本的方法及系统
US10212058B2 (en) System and method for detecting system's performance regression
CN109743222A (zh) 一种数据测试方法及相关设备
US11836244B2 (en) Clone application detection mechanism for securing trusted execution environments against a malicious operating system
WO2017083173A1 (en) Validation using scenario runners
WO2015039793A1 (en) Derivation of generalized test cases
CN109597627A (zh) 一种组件安装方法、装置、存储介质和处理器
CN106844219A (zh) 应用检测方法及应用检测装置
CN109492398A (zh) 一种Android应用程序敏感行为的风险检测方法及装置
US11537694B2 (en) Motion-based challenge-response authentication mechanism
Al-Ahmad et al. Fuzz test case generation for penetration testing in mobile cloud computing applications
CN109656825A (zh) 美术资源处理的方法及装置、电子设备、存储介质
US9619597B1 (en) System, method, and computer program product for electronic design configuration space determination and verification
US20210303766A1 (en) Pre-silicon chip model of extracted workload inner loop instruction traces
CN110297625B (zh) 应用的处理方法及装置
CN110175038A (zh) 软锁许可的更新方法及装置
US9477800B1 (en) System, method, and computer program product for automatically selecting a constraint solver algorithm in a design verification environment
CN109857665A (zh) 一种测试用例的测试执行方法及装置
CN104866476B (zh) 一种信息处理方法及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100080 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A

Applicant before: Beijing Guoshuang Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant