CN113031964A - 一种大数据应用的管理方法、装置、设备及存储介质 - Google Patents
一种大数据应用的管理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113031964A CN113031964A CN202110321480.1A CN202110321480A CN113031964A CN 113031964 A CN113031964 A CN 113031964A CN 202110321480 A CN202110321480 A CN 202110321480A CN 113031964 A CN113031964 A CN 113031964A
- Authority
- CN
- China
- Prior art keywords
- big data
- management component
- data application
- application
- architecture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims abstract description 115
- 238000009434 installation Methods 0.000 claims abstract description 45
- 238000012360 testing method Methods 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 50
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 241000282813 Aepyceros melampus Species 0.000 description 22
- 230000008569 process Effects 0.000 description 19
- 240000000797 Hibiscus cannabinus Species 0.000 description 9
- 235000002905 Rumex vesicarius Nutrition 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000013515 script Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000008595 infiltration Effects 0.000 description 2
- 238000001764 infiltration Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/40—Transformation of program code
- G06F8/41—Compilation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/61—Installation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种大数据应用的管理方法、装置、设备及存储介质，包括：获取多个业务流程对应的业务需求信息，根据各业务需求信息制定匹配的大数据架构；大数据架构中包括多个大数据应用，以及各大数据应用之间的关联关系；获取预设的大数据应用管理器，根据大数据架构，对大数据应用管理器中栈进行修改，得到目标栈；根据大数据架构以及目标栈，编写对各大数据应用进行安装以及管理的代码程序；对代码程序进行编译处理，得到目标管理组件，并将目标管理组件安装至应用系统中。本发明实施例的技术方案可以提高大数据应用版本的灵活性，可以提高对大数据应用的安装效率，降低大数据应用的安装和管理难度。
Description
技术领域
本发明实施例涉及大数据技术领域，尤其涉及一种大数据应用的管理方法、装置、设备及存储介质。
背景技术
随着互联网技术以及信息技术的发展，大量的信息被数据化，产生了无法用常规工具捕捉、管理和处理的海量数据集合，这种数据集合也称为大数据。大数据包含了数据采集、数据筛选、数据存储及数据分析等过程，不同的过程对应的是不同的大数据应用平台，而且大数据应用平台几乎都是分布式架构，想要利用好大数据，就需要众多的大数据应用平台协同工作，而众多的大数据平台的安装及运维就变得非常复杂。如果有一个能安装、管理分布式大数据应用的工具，可以将众多的大数据应用统一管理，即可将有效减少应用的安装和管理难度。
目前通用的大数据应用的管理工具，主要有Cloudera和Hortonworks。其中，Cloudera指定了各个大数据应用的版本(Cloudera提供的CDH版本)，用户无法安装使用除指定版本以外的其它版本；其次，Cloudera支持的大数据应用的版本较低，无法快速支持较新或最新的版本，且Cloudera支持的大数据应用有限，虽然其支持了常用的大数据应用，但无法支持其它应用，并且无法默认支持优化配置项。
与Cloudera类似，Hortonworks同样指定了各个大数据应用的版本(Hortonworks提供的HDP版本)，Hortonworks中的Ambari结合HDP使用，用户仍无法安装使用除指定版本以外的其它版本，并且，Hortonworks支持的大数据应用的版本更低，无法快速支持较新或最新的版本，无法默认支持优化配置项；此外，Hortonworks仅提供软件包管理器(RPMPackage Manager，RPM)安装方式，导致大数据应用安装方式灵活性较低。
发明内容
本发明实施例提供了一种大数据应用的管理方法、装置、设备及存储介质，可以提高大数据应用版本的灵活性，可以提高对大数据应用的安装效率，降低大数据应用的安装和管理难度。
第一方面，本发明实施例提供了一种大数据应用的管理方法，所述方法包括：
获取多个业务流程对应的业务需求信息，根据各所述业务需求信息制定匹配的大数据架构；所述大数据架构中包括多个大数据应用，以及各大数据应用之间的关联关系；
获取预设的大数据应用管理器，根据所述大数据架构，对所述大数据应用管理器中栈进行修改，得到目标栈；
根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序；
对所述代码程序进行编译处理，得到目标管理组件，并将所述目标管理组件安装至应用系统中。
第二方面，本发明实施例还提供了一种大数据应用的管理装置，该装置包括：
信息获取模块，用于获取多个业务流程对应的业务需求信息，根据各所述业务需求信息制定匹配的大数据架构；所述大数据架构中包括多个大数据应用，以及各大数据应用之间的关联关系；
目标栈生成模块，用于获取预设的大数据应用管理器，根据所述大数据架构，对所述大数据应用管理器中栈进行修改，得到目标栈；
程序编写模块，用于根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序；
组件安装模块，用于对所述代码程序进行编译处理，得到目标管理组件，并将所述目标管理组件安装至应用系统中。
第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器执行本发明任意实施例提供的大数据应用的管理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的大数据应用的管理方法。
本发明实施例的技术方案通过获取多个业务流程对应的业务需求信息，根据各所述业务需求信息制定匹配的大数据架构，然后获取预设的大数据应用管理器，根据所述大数据架构，对所述大数据应用管理器中栈进行修改，得到目标栈，并根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序，最后对所述代码程序进行编译处理，得到目标管理组件，并将所述目标管理组件安装至应用系统的技术手段，可以提高大数据应用版本的灵活性，可以提高对大数据应用的安装效率，降低大数据应用的安装和管理难度。
附图说明
图1是本发明实施例一中的一种大数据应用的管理方法的流程图；
图2是本发明实施例二中的一种大数据应用的管理方法的流程图；
图3是本发明实施例三中的一种大数据应用的管理装置的结构图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种大数据应用的管理方法的流程图，本实施例可适用于根据用户的业务需求，为用户生成匹配的大数据应用管理组件的情形，该方法可以由大数据应用的管理装置来执行，该装置可以由软件和/或硬件来实现，并一般可以集成在计算机以及所有包含程序运行功能的智能设备(例如，终端设备或者服务器)中，具体包括如下步骤：
步骤110、获取多个业务流程对应的业务需求信息，根据各所述业务需求信息制定匹配的大数据架构。
其中，所述大数据架构中包括多个大数据应用，以及各大数据应用之间的关联关系。
在本实施例中，用户在运行业务系统的过程中，会产生多个业务流程，所述业务需求信息可以为与各业务流程相关联的数据信息。
在一个具体的实施例中，所述业务流程可以包括数据采集、数据筛选、数据入库、数据存储、数据查询以及数据展示等流程，对应的业务需求信息可以为采集的数据量、峰值数据量、数据结构、数据保存周期、数据查询复杂程度、查询频率，以及查询速度要求等信息。针对不同的业务需求信息，各业务流程所使用的大数据应用也会有所不同。在本实施例中，可以针对各业务流程的功能特点、业务需求信息以及各业务流程之间的相互联系，筛选出业务系统所需的大数据应用。
在本发明实施例的一个实施方式中，根据各所述业务需求信息制定匹配的大数据架构，包括：对各所述业务需求信息进行分析，根据分析结果，确定与各业务流程匹配的大数据应用。
其中，对各所述业务需求信息进行分析后，所述分析结果中可以包括业务需求信息对应的阈值区间。具体的，假设业务流程为数据查询，对该流程对应的业务需求信息(例如数据查询复杂程度、查询频率，以及查询速度要求)进行分析后，分析结果中可以包括数据查询复杂程度的阈值区间、查询频率的阈值区间以及查询速度阈值区间。在得到与上述业务需求信息对应的分析结果后，可以选取与各阈值区间匹配的查询引擎作为与数据查询匹配的大数据应用。
在本实施例中，在确定与各业务流程匹配的大数据应用之后，还可以根据各业务流程之间的相互联系，在各大数据应用中筛选出具备关联关系的大数据应用，作为最终使用的大数据应用，所述多个大数据应用共同构成了所述大数据架构。
其中，所述大数据架构可以为基于Impala的架构。
步骤120、获取预设的大数据应用管理器，根据所述大数据架构，对所述大数据应用管理器中栈进行修改，得到目标栈。
在本实施例中，所述大数据应用管理器可以为完全开源的Ambari。在获取到Ambari后，可以获取大数据架构中与各大数据应用对应的完全开源的安装包，然后根据各完全开源的安装包，对Ambari中的栈进行修改，得到目标栈。
在一个具体的实施例中，对Ambari中的栈进行修改，可以包括：对Ambari中的栈定义文件、项目对象模型(Project Object Model，POM)对应的文件pom.xml、进程agent文件、以及与服务端server相关的文件进行修改。
在生成目标栈以后，Ambari将不再使用HDP默认的栈，也将不再继承其默认的管理方法。Zookeeper以及分布式文件系统(Hadoop Distributed File System，HDFS)等大数据应用的管理方法完全重新编写，不再使用HDP的Hadoop、Hive等安装包，而是采用完全开源的大数据应用安装包。由此，可以解决现有技术中大数据应用管理工具中版本固定的问题，提高了大数据应用版本的灵活性；其次，本实施例中的大数据应用的管理方法可以支持最新版本的大数据应用，可以提高大数据应用的迭代速度，可以提供更多的特性支持的实施方式，以及更高效的查询速度。
步骤130、根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序。
在本实施例中，编写对各所述大数据应用进行安装以及管理的代码程序，可以包括：编写metainfo.xml、编写各个进程和客户端的类及方法、定义配置文件、定义快捷链接、编写本组件的安装脚本。
编写metainfo.xml：metainfo.xml用于定义大数据应用中的各个进程或客户端，分为MASTER/SLAVE/CLIENT三大类，按照进程和客户端的作用，对进程进行分类且分别定义类和管理方法。
例如，Impala包含impala-catalog/impala-state-store/impala-server三个进程及client一个客户端，其中impala-catalog和impala-state-store分配为MASTER类，impala-server分配为SLAVE类，client分配为CLIENT类。
编写各个进程和客户端的类及方法：以Impala为例，需要定义的类为params/impala_daemon/impala_server/impala_catalog/impala_statestore/impala_client，此部分由python编写。
其中params/impala_daemon为公共类，供其它类对相关参数和值进行调用。params类中包含了程序安装目录、配置信息的获取、pid目录及文件、节点信息等基础信息，impala_daemon类中包含了安装及配置等方法，这些方法中定义了具体的操作步骤及过程。
impala_server/impala_catalog/impala_statestore/impala_client则为各自的进程和客户端进行调用的类，该类包含了安装/配置/状态监控/启动/停止等基础功能方法，部分服务包含了其它独立的方法，如升级/刷新配置等。
定义配置文件：配置文件包含两类，一类为key-value类型的配置文件，另一类为模板类型的配置文件。Key-value类型的配置文件在web界面中会以key-value类型展示出来，可增加、删除以及修改配置项及其值；模板类型的配置文件的格式无法修改，且大多数配置无法修改，仅有部分可能需要修改的配置定义为参数的类型，在key-value的配置文件中进行配置，然后通过params读取后生效。
定义快捷链接：针对具有web界面的MASTER组件，在界面上可通过快捷链接的方式直接跳转到该Master组件的web界面。在metainfo.xml文件中定义快捷链接配置文件的目录及文件名，再到metainfo.xml文件中定义的文件中配置快捷链接的IP、端口号来源的配置文件、链接方式及所属Master组件。
编写本组件的安装脚本：由于本组件为分布式应用，且对系统有所要求，需要提前安装好jdk、系统依赖，同时大数据应用也有相关系统依赖及系统优化等，所以此处综合起来，利用脚本安装各个节点的jdk及系统依赖。本组件的安装脚本部分包含了分布式安装本地yum源、系统依赖、本组件的yum源、jdk、MySQL、keepalived，配置了时间同步及定时同步、系统优化，并安装、配置和启动本组件。此部分由shell+python实现。
步骤140、对所述代码程序进行编译处理，得到目标管理组件，并将所述目标管理组件安装至应用系统中。
在本实施例中，可以对所述代码程序进行编译，并安装至用户提供的应用系统中，可以极大地减小大数据底层应用的使用难度，增加安装和管理的便捷性，提高安装和运维的效率。
在本实施例中，通过对Ambari中的栈进行修改，并根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序，可以提供一种可视化的管理界面，所述界面可用于对大数据应用进行安装以及管理，由此可以提高对大数据应用的安装效率，降低大数据应用的安装和管理难度，可以默认使用关于已优化参数，无需再次逐一优化系统和大数据应用的参数；其次，在通过本组件安装好以Impala为引擎的大数据应用后，可以降低本组件与大数据集群的耦合度，即使本组件不再使用，也完全不影响大数据集群的正常使用。
本发明实施例的技术方案通过获取多个业务流程对应的业务需求信息，根据各所述业务需求信息制定匹配的大数据架构，然后获取预设的大数据应用管理器，根据所述大数据架构，对所述大数据应用管理器中栈进行修改，得到目标栈，并根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序，最后对所述代码程序进行编译处理，得到目标管理组件，并将所述目标管理组件安装至应用系统的技术手段，可以提高大数据应用版本的灵活性，可以提高对大数据应用的安装效率，降低大数据应用的安装和管理难度。
实施例二
本实施例是对上述实施例一的进一步细化，与上述实施例相同或相应的术语解释，本实施例不再赘述。图2为本发明实施例二提供的一种大数据应用的管理方法的流程图，在本实施例中，本实施例的技术方案可以与上述实施例的方案中的一种或者多种方法进行组合，在本实施例中，如图2所示，本发明实施例提供的方法还可以包括：
步骤210、获取多个业务流程对应的业务需求信息，根据各所述业务需求信息制定匹配的大数据架构。
其中，所述大数据架构中包括多个大数据应用，以及各大数据应用之间的关联关系。
步骤220、通过预设的测试环境，对所述大数据架构进行测试。
在本实施例中，为了保证制定的大数据架构更符合各业务流程的实际需求，提出了一种对大数据架构进行测试的实施方式。
在本发明实施例的一个实施方式中，对所述大数据架构进行测试，包括：对各所述大数据应用的独立使用结果，以及各所述大数据应用在所述关联关系下，共同使用的结果进行测试。
其中，可以根据大数据架构，手动搭建测试环境。利用所述测试环境测试各大数据应用的独立使用结果是否正常；测试各大数据应用在关联关系下，共同使用的结果是否正常。此外，所述测试环境还用于对各大数据应用之间关联关系的切换方式进行测试。
在一个具体的实施例中，所述测试环境还用于对各大数据应用的配置信息，以及各大数据应用之间的依赖关系进行测试，并提出关于依赖关系的解决方式。例如，Impala对HDFS和Hive的依赖关系，是通过相关的jar包进行解决的，那就需要将特定版本的HDFS和Hive的依赖jar包放入到Impala的jar包加载目录中。
在测试环境搭建完成后，逐一使用各个大数据应用，确保各个大数据应用均使用正常。同时，测试关联关系是否正常，如Impala是否可以正常使用Hive的元数据信息，通过Hive能否直接处理Impala的元数据信息。
步骤230、获取预设的大数据应用管理器，根据所述大数据架构，对所述大数据应用管理器中栈进行修改，得到目标栈。
步骤240、根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序。
步骤250、根据所述代码程序，生成原始管理组件，并对所述原始管理组件进行测试。
在本发明实施例的一个实施方式中，对所述原始管理组件进行测试，包括：对所述原始管理组件进行安装结果、管理结果，以及各所述大数据应用的使用结果进行测试。
安装结果测试：搭建多个版本的系统，在不同版本的系统上，通过脚本安装依赖并配置系统优化参数和原始管理组件，验证脚本安装本组件是否具有兼容性，以及是否符合预设效率要求。经过安装测试可以了解到，本实施例中提供的方法，可以大大提升组件的安装效率。
在安装完原始管理组件后，通过可视化页面安装大数据应用，并测试大数据应用的分布式安装是否正常。
管理结果测试：在安装完大数据应用后，测试对大数据应用的管理功能、大数据应用的启动、停止、状态监控、增删改配置、管理配置组、单独启停某个节点的应用、快捷链接、自动启动应用等功能是否正常。
大数据应用的使用结果测试：在大数据应用安装和管理均正常的情况下，直接使用大数据应用，根据不同大数据应用的功能特性，测试这些功能特性的使用是否正常，以及不同大数据应用的关联使用是否正常。
其中，可以对大数据应用的单独使用结果进行测试，例如对hdfs的存储使用结果、hdfs的数据写入、删除、读取、查看集群状态等功能进行测试。此外，还可以对大数据应用的关联使用结果进行测试，例如Impala依赖Hive，Hive依赖HDFS和MySQL，测试在具有强关联作用下，Impala的使用结果是否正常。
在本发明实施例的一个实施方式中，在对所述原始管理组件进行测试之后，还包括：如果所述原始管理组件没有通过测试，则对所述代码程序进行修改，直至所述原始管理组件通过测试。
这样设置的好处在于：可以保证后续生成的目标管理组件更加符合各业务流程的实际需求，提高目标管理组件的有效性。
在本发明实施例的另一个实施方式中，在对所述原始管理组件进行测试之后，还包括：如果所述原始管理组件通过测试，则通过预设的漏洞扫描工具对所述原始管理组件进行漏洞扫描；根据扫描结果，对所述原始管理组件进行修复。
其中，为了确保最终使用的管理组件及大数据应用中没有较大隐患的漏洞，本实施例提供了一种对原始管理组件进行漏洞扫描的实施方式，以防止管理组件及大数据应用被攻击。通过预设的漏洞扫描工具对所述原始管理组件进行漏洞扫描和渗透后，如果扫描结果和渗透结果中存在漏洞，则对所述漏洞进行修复。通过本实施例提供的方法，可以修复Hadoop未授权访问、Impala未授权访问、Ambari敏感信息泄露等漏洞。其中，可以通过对所述代码程序进行修改的方式，完成对漏洞的修复。
由此，通过漏洞扫描工具对所述原始管理组件进行漏洞扫描，并根据扫描结果，对原始管理组件进行修复，可以提高管理组件的安全性，避免管理组件被攻击，进而可以提高用户的体验感。
步骤260、对所述代码程序进行编译处理，得到目标管理组件，并将所述目标管理组件安装至应用系统中。
本发明实施例的技术方案通过获取多个业务流程对应的业务需求信息，根据各业务需求信息制定匹配的大数据架构，并对所述大数据架构进行测试，然后获取预设的大数据应用管理器，根据大数据架构，对大数据应用管理器中栈进行修改，得到目标栈，并根据大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序，根据代码程序，生成原始管理组件，并对所述原始管理组件进行测试，最后对所述代码程序进行编译处理，得到目标管理组件，并将所述目标管理组件安装至应用系统中的技术手段，可以提高大数据应用版本的灵活性，可以提高对大数据应用的安装效率，降低大数据应用的安装和管理难度，可以提高目标管理组件的有效性和安全性。
实施例三
图3为本发明实施例三提供的一种大数据应用的管理装置的结构图，该装置包括：信息获取模块310、目标栈生成模块320、程序编写模块330和组件安装模块340。
其中，信息获取模块310，用于获取多个业务流程对应的业务需求信息，根据各所述业务需求信息制定匹配的大数据架构；所述大数据架构中包括多个大数据应用，以及各大数据应用之间的关联关系；
目标栈生成模块320，用于获取预设的大数据应用管理器，根据所述大数据架构，对所述大数据应用管理器中栈进行修改，得到目标栈；
程序编写模块330，用于根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序；
组件安装模块340，用于对所述代码程序进行编译处理，得到目标管理组件，并将所述目标管理组件安装至应用系统中。
本发明实施例的技术方案通过获取多个业务流程对应的业务需求信息，根据各所述业务需求信息制定匹配的大数据架构，然后获取预设的大数据应用管理器，根据所述大数据架构，对所述大数据应用管理器中栈进行修改，得到目标栈，并根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序，最后对所述代码程序进行编译处理，得到目标管理组件，并将所述目标管理组件安装至应用系统的技术手段，可以提高大数据应用版本的灵活性，可以提高对大数据应用的安装效率，降低大数据应用的安装和管理难度。
在上述各实施例的基础上，分词模块310，可以包括：
架构测试单元，用于根据所述代码程序，生成原始管理组件，并对所述原始管理组件进行测试；
结果测试单元，用于对各所述大数据应用的独立使用结果，以及各所述大数据应用在所述关联关系下，共同使用的结果进行测试；
信息分析单元，用于对各所述业务需求信息进行分析，根据分析结果，确定与各业务流程匹配的大数据应用。
程序编写模块330，可以包括：
组件测试单元，用于根据所述代码程序，生成原始管理组件，并对所述原始管理组件进行测试；
代码修改单元，用于如果所述原始管理组件没有通过测试，则对所述代码程序进行修改，直至所述原始管理组件通过测试；
扫描单元，用于如果所述原始管理组件通过测试，则通过预设的漏洞扫描工具对所述原始管理组件进行漏洞扫描；
修复单元，用于根据扫描结果，对所述原始管理组件进行修复；
安装结果测试单元，用于对所述原始管理组件进行安装结果、管理结果，以及各所述大数据应用的使用结果进行测试。
本发明实施例所提供的大数据应用的管理装置可执行本发明任意实施例所提供的大数据应用的管理方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括处理器410、存储器420、输入装置430和输出装置440；计算机设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；计算机设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例中的一种大数据应用的管理方法对应的程序指令/模块(例如，一种大数据应用的管理装置中的信息获取模块310、目标栈生成模块320、程序编写模块330和组件安装模块340)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的一种大数据应用的管理方法。也即，该程序被处理器执行时实现：
获取多个业务流程对应的业务需求信息，根据各所述业务需求信息制定匹配的大数据架构；所述大数据架构中包括多个大数据应用，以及各大数据应用之间的关联关系；
获取预设的大数据应用管理器，根据所述大数据架构，对所述大数据应用管理器中栈进行修改，得到目标栈；
根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序；
对所述代码程序进行编译处理，得到目标管理组件，并将所述目标管理组件安装至应用系统中。
存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。输入装置430可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入，可以包括键盘和鼠标等。输出装置440可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述方法。当然，本发明实施例所提供的一种计算机可读存储介质，其可以执行本发明任意实施例所提供的一种大数据应用的管理方法中的相关操作。也即，该程序被处理器执行时实现：
获取多个业务流程对应的业务需求信息，根据各所述业务需求信息制定匹配的大数据架构；所述大数据架构中包括多个大数据应用，以及各大数据应用之间的关联关系；
获取预设的大数据应用管理器，根据所述大数据架构，对所述大数据应用管理器中栈进行修改，得到目标栈；
根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序；
对所述代码程序进行编译处理，得到目标管理组件，并将所述目标管理组件安装至应用系统中。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述一种大数据应用的管理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种大数据应用的管理方法，其特征在于，包括：
获取多个业务流程对应的业务需求信息，根据各所述业务需求信息制定匹配的大数据架构；所述大数据架构中包括多个大数据应用，以及各大数据应用之间的关联关系；
获取预设的大数据应用管理器，根据所述大数据架构，对所述大数据应用管理器中栈进行修改，得到目标栈；
根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序；
对所述代码程序进行编译处理，得到目标管理组件，并将所述目标管理组件安装至应用系统中。
2.根据权利要求1所述的方法，其特征在于，在根据各所述业务需求信息制定匹配的大数据架构之后，还包括：
通过预设的测试环境，对所述大数据架构进行测试。
3.根据权利要求1所述的方法，其特征在于，在编写对各所述大数据应用进行安装以及管理的代码程序之后，还包括：
根据所述代码程序，生成原始管理组件，并对所述原始管理组件进行测试；
如果所述原始管理组件没有通过测试，则对所述代码程序进行修改，直至所述原始管理组件通过测试。
4.根据权利要求3所述的方法，其特征在于，在对所述原始管理组件进行测试之后，还包括：
如果所述原始管理组件通过测试，则通过预设的漏洞扫描工具对所述原始管理组件进行漏洞扫描；
根据扫描结果，对所述原始管理组件进行修复。
5.根据权利要求2所述的方法，其特征在于，对所述大数据架构进行测试，包括：
对各所述大数据应用的独立使用结果，以及各所述大数据应用在所述关联关系下，共同使用的结果进行测试。
6.根据权利要求1所述的方法，其特征在于，根据各所述业务需求信息制定匹配的大数据架构，包括：
对各所述业务需求信息进行分析，根据分析结果，确定与各业务流程匹配的大数据应用。
7.根据权利要求3所述的方法，其特征在于，对所述原始管理组件进行测试，包括：
对所述原始管理组件进行安装结果、管理结果，以及各所述大数据应用的使用结果进行测试。
8.一种大数据应用的管理装置，其特征在于，所述装置包括：
信息获取模块，用于获取多个业务流程对应的业务需求信息，根据各所述业务需求信息制定匹配的大数据架构；所述大数据架构中包括多个大数据应用，以及各大数据应用之间的关联关系；
目标栈生成模块，用于获取预设的大数据应用管理器，根据所述大数据架构，对所述大数据应用管理器中栈进行修改，得到目标栈；
程序编写模块，用于根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序；
组件安装模块，用于对所述代码程序进行编译处理，得到目标管理组件，并将所述目标管理组件安装至应用系统中。
9.一种计算机设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器执行所述程序时实现如权利要求1-7中任一所述的大数据应用的管理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的大数据应用的管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110321480.1A CN113031964B (zh) | 2021-03-25 | 2021-03-25 | 一种大数据应用的管理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110321480.1A CN113031964B (zh) | 2021-03-25 | 2021-03-25 | 一种大数据应用的管理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113031964A true CN113031964A (zh) | 2021-06-25 |
| CN113031964B CN113031964B (zh) | 2023-12-26 |
Family
ID=76473826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110321480.1A Active CN113031964B (zh) | 2021-03-25 | 2021-03-25 | 一种大数据应用的管理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113031964B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434158A (zh) * | 2021-07-08 | 2021-09-24 | 恒安嘉新（北京）科技股份公司 | 一种大数据组件的自定义管理方法、装置、设备及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102799515A (zh) * | 2011-05-24 | 2012-11-28 | 腾讯科技（深圳）有限公司 | 应用程序测试方法及装置 |
| US20120304160A1 (en) * | 2011-05-27 | 2012-11-29 | Ridgeway Internet Security, Llc | Systems and Methods for Run-Time Interception of Software Methods |
| WO2016000623A1 (zh) * | 2014-07-01 | 2016-01-07 | 北京奇虎科技有限公司 | 初始化智能终端设备的方法、装置及系统 |
| CN107153898A (zh) * | 2016-03-03 | 2017-09-12 | 上海幻鱼信息科技有限公司 | 一种基于XML和Flash技术栈引擎的工作流程 |
| CN109426516A (zh) * | 2017-06-21 | 2019-03-05 | 北京信威通信技术股份有限公司 | 软件版本管理方法及装置 |
| CN109542400A (zh) * | 2018-11-23 | 2019-03-29 | 四川长虹电器股份有限公司 | 基于前端技术栈的跨平台应用开发方法 |
| CN111026723A (zh) * | 2019-11-21 | 2020-04-17 | 望海康信(北京)科技股份公司 | 大数据集群管理控制方法、装置、计算机设备及存储介质 |
| CN111104103A (zh) * | 2019-11-26 | 2020-05-05 | 武汉烽火信息集成技术有限公司 | 一种软件编辑微服务的可视化方法及系统 |
| WO2021003982A1 (zh) * | 2019-07-05 | 2021-01-14 | 深圳壹账通智能科技有限公司 | 业务系统漏洞处理方法、装置、计算机设备和存储介质 |
| CN112486559A (zh) * | 2020-12-15 | 2021-03-12 | 青岛海尔科技有限公司 | 产品调整方法、装置和存储介质及电子装置 |
-
2021
- 2021-03-25 CN CN202110321480.1A patent/CN113031964B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102799515A (zh) * | 2011-05-24 | 2012-11-28 | 腾讯科技（深圳）有限公司 | 应用程序测试方法及装置 |
| US20120304160A1 (en) * | 2011-05-27 | 2012-11-29 | Ridgeway Internet Security, Llc | Systems and Methods for Run-Time Interception of Software Methods |
| WO2016000623A1 (zh) * | 2014-07-01 | 2016-01-07 | 北京奇虎科技有限公司 | 初始化智能终端设备的方法、装置及系统 |
| CN107153898A (zh) * | 2016-03-03 | 2017-09-12 | 上海幻鱼信息科技有限公司 | 一种基于XML和Flash技术栈引擎的工作流程 |
| CN109426516A (zh) * | 2017-06-21 | 2019-03-05 | 北京信威通信技术股份有限公司 | 软件版本管理方法及装置 |
| CN109542400A (zh) * | 2018-11-23 | 2019-03-29 | 四川长虹电器股份有限公司 | 基于前端技术栈的跨平台应用开发方法 |
| WO2021003982A1 (zh) * | 2019-07-05 | 2021-01-14 | 深圳壹账通智能科技有限公司 | 业务系统漏洞处理方法、装置、计算机设备和存储介质 |
| CN111026723A (zh) * | 2019-11-21 | 2020-04-17 | 望海康信(北京)科技股份公司 | 大数据集群管理控制方法、装置、计算机设备及存储介质 |
| CN111104103A (zh) * | 2019-11-26 | 2020-05-05 | 武汉烽火信息集成技术有限公司 | 一种软件编辑微服务的可视化方法及系统 |
| CN112486559A (zh) * | 2020-12-15 | 2021-03-12 | 青岛海尔科技有限公司 | 产品调整方法、装置和存储介质及电子装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434158A (zh) * | 2021-07-08 | 2021-09-24 | 恒安嘉新（北京）科技股份公司 | 一种大数据组件的自定义管理方法、装置、设备及介质 |
| CN113434158B (zh) * | 2021-07-08 | 2023-12-15 | 恒安嘉新（北京）科技股份公司 | 一种大数据组件的自定义管理方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113031964B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11010283B2 (en) | Mock-based unit test(s) for an end-to-end test of a code snippet | |
| US8713526B2 (en) | Assigning runtime artifacts to software components | |
| US8793662B2 (en) | Runtime code hooking for print driver and functionality testing | |
| US8621419B2 (en) | Automating the life cycle of a distributed computing application | |
| JP4950454B2 (ja) | テスト自動化のスタック階層化 | |
| US11385993B2 (en) | Dynamic integration of command line utilities | |
| US9684786B2 (en) | Monitoring an application in a process virtual machine | |
| US7900198B2 (en) | Method and system for parameter profile compiling | |
| JP5147728B2 (ja) | 質的に注釈を付けられた注釈付きコード | |
| JP2021002317A (ja) | アプリケーションをアップグレードするための方法、装置、デバイスならびに記憶媒体 | |
| CN113434158B (zh) | 一种大数据组件的自定义管理方法、装置、设备及介质 | |
| US9459986B2 (en) | Automatic generation of analysis-equivalent application constructs | |
| CN113885849B (zh) | 基于工业互联网平台的应用开发方法、装置及终端设备 | |
| Farooq et al. | Runtimedroid: Restarting-free runtime change handling for android apps | |
| US12061901B2 (en) | Documentation enforcement during compilation | |
| CN105247533A (zh) | 信息处理装置和确定方法 | |
| CN113031964B (zh) | 一种大数据应用的管理方法、装置、设备及存储介质 | |
| CN108628620B (zh) | Pos应用开发的实现方法、装置、计算机设备和存储介质 | |
| CN116578282A (zh) | 代码生成方法、装置、电子设备及介质 | |
| CN115544518A (zh) | 漏洞扫描引擎实现方法、装置、漏洞扫描方法及电子设备 | |
| CN114443028A (zh) | 实现覆盖率收集代码重用的方法、计算机可读介质 | |
| CN113220586A (zh) | 一种自动化的接口压力测试执行方法、装置和系统 | |
| Musthafa | A Scoping Review on Automated Software Testing with Special Reference to Android Based Mobile Application Testing | |
| CN113805878B (zh) | 插件工程化方法、装置、计算机系统和介质 | |
| US20240103853A1 (en) | Code maintenance system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |