CN111309297B - 脚本开发系统及方法 - Google Patents

Abstract

本发明公开了一种脚本开发系统及方法，该系统包括：信息管理模块，用于录入应用对应的平台应用信息，其中，所述平台应用信息包括：hadoop集群上的队列资源和数据库；程序编写模块，用于所述应用的开发人员编写的所述应用对应的脚本；脚本自测模块，用于根据所述平台应用信息对所述脚本进行自测；脚本调度模块，用于在所述脚本通过自测后，根据测试数据以及所述平台应用信息对所述脚本进行联调测试；程序发布模块，用于在所述脚本通过联调测试后，发布所述脚本。本发明提高了脚本的开发效率。

Description

脚本开发系统及方法

技术领域

本发明涉及脚本开发领域，具体而言，涉及一种脚本开发系统及方法。

背景技术

近些年大数据技术越来越成熟，基于hadoop框架的大数据产品不断出现，受到用户的青睐。在搭建好大数据平台后，各使用用户在不同场景下需要写不同的数据脚本来支持不同的需求。目前在脚本开发时，开发人员通过文本文档的方式编写脚本，并自行验证脚本运行的正确性，若运行不正常则对脚本进行修改。现有的这种脚本开发存在自动化程度低、耗费时间长、效率低下等问题。

发明内容

本发明为了解决上述背景技术中的至少一个技术问题，提出了一种脚本开发系统及方法。

为了实现上述目的，根据本发明的一个方面，提供了一种脚本开发系统，该系统包括：

信息管理模块，用于录入应用对应的平台应用信息，其中，所述平台应用信息包括：hadoop集群上的队列资源和数据库；

程序编写模块，用于所述应用的开发人员编写的所述应用对应的脚本；

脚本自测模块，用于根据所述平台应用信息对所述脚本进行自测；

脚本调度模块，用于在所述脚本通过自测后，根据测试数据以及所述平台应用信息对所述脚本进行联调测试；

程序发布模块，用于在所述脚本通过联调测试后，发布所述脚本。

可选的，所述程序编写模块包含IDE工具，以使所述开发人员根据所述IDE工具编写所述脚本。

可选的，所述程序编写模块包含预设的编写格式，以使所述开发人员根据所述编写格式编写所述脚本，其中，所述预设的编写格式对各类型数据库的数据格式进行整合。

可选的，该脚本开发系统还包括：

数据模拟模块，用于根据所述脚本使用的数据的表结构随机生成多个所述测试数据。

可选的，该脚本开发系统还包括：

数据迁移模块，用于从生产集群获取生产数据，并将所述生产数据作为测试数据。

可选的，所述信息管理模块还用于：Admin管理员录入库信息并设置库管理员；库管理员录入各应用对应的平台应用信息以及平台应用管理员；平台应用管理员录入应用的开发人员信息以及设置各开发人员的权限。

为了实现上述目的，根据本发明的另一方面，提供了一种脚本开发方法，该方法包括：

确定应用对应的平台应用信息，其中，所述平台应用信息包括：hadoop集群上的队列资源和数据库；

获取编写的所述应用对应的脚本；

根据所述平台应用信息对所述脚本进行自测；

在所述脚本通过自测后，根据测试数据以及所述平台应用信息对所述脚本进行联调测试；

在所述脚本通过联调测试后，发布所述脚本。

可选的，所述脚本为采用预设的编写格式进行编写的，所述预设的编写格式对各类型数据库的数据格式进行整合。

可选的，该脚本开发方法还包括：

获取所述脚本使用的数据的表结构；

根据所述表结构随机生成多个所述测试数据。

可选的，该脚本开发方法还包括：

从生产集群获取生产数据，将所述生产数据作为测试数据。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述脚本开发方法中的步骤。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述脚本开发方法中的步骤。

本发明的有益效果为：本发明的脚本开发系统可以提高脚本的开发效率，减少开发时各个工具的切换，本发明将开发、测试、发布集于一身，真正做到大数据服务云平台化开发的代码编写、运行测试、脚本管理、版本制作发布的一站式服务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例脚本开发系统的第一示意图；

图2是本发明实施例脚本开发系统的第二示意图；

图3是本发明实施例脚本开发方法的第一流程图；

图4是本发明实施例脚本开发方法的第二流程图；

图5是本发明实施例计算机设备示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明通过DevOps思想，提出一种脚本开发系统，提供易用的脚本编写与调试，通过全流程自动化的方式，提高脚本的编写、测试、投产的自动化。本发明的脚本开发系统可以集成在基于hadoop框架开发的大数据平台中。

图1是本发明实施例脚本开发系统的第一示意图，如图1所示，本实施例的脚本开发系统包括：信息管理模块1、程序编写模块2、脚本自测模块3、脚本调度模块4、程序发布模块5以及数据总线6。

信息管理模块1，用于录入应用对应的平台应用信息，其中，所述平台应用信息包括：hadoop集群上的队列资源和数据库。

在本发明可选实施例中，信息管理模块1用于系统内信息的管理，包括：应用使用的人员的开发组、角色、权限等的管理；系统的基础数据的录入，比如应用用户名、拥有的hadoop资源信息等；以及平台的维护数据。在本发明可选实施例中，所述信息管理模块还用于：Admin管理员录入库信息并设置库管理员；库管理员录入各应用对应的平台应用信息以及平台应用管理员；平台应用管理员录入应用的开发人员信息以及设置各开发人员的权限。

在本发明实施例中，每个应用对应有平台应用信息，平台应用信息记载了该应用可以使用的hadoop集群资源，如hadoop集群上的队列资源和数据库等，平台应用信息还记载了该应用的角色ID，开发人员可以根据角色ID对开发应用的脚本。

程序编写模块2，用于所述应用的开发人员编写的所述应用对应的脚本。

在本发明可选实施例中，所述脚本可以为数据库脚本，包括hive脚本、mppdb脚本、oracle脚本、mysql脚本等。

在本发明可选实施例中，所述程序编写模块包含IDE(集成开发环境)工具，以使所述开发人员根据所述IDE工具编写所述脚本。在线IDE工具可以提供智能联想、高亮显示等功能，方便用户书写开发脚本。

在本发明可选实施例中，所述程序编写模块包含预设的编写格式，以使所述开发人员根据所述编写格式编写所述脚本，其中，所述预设的编写格式对各类型数据库的数据格式进行整合。本发明为了规避用户对底层数据库类型的区分，在编写脚本时使用互联互通脚本的写法，即上述预设的编写格式。上述编写格式对各类型数据库的数据格式进行整合，具体为先预设一种数据格式，将各类型数据库的数据格式与预设的数据格式进行对应，后续在编写脚本时采用预设的数据格式来替代原来的各类型数据库的数据格式，这样在脚本中不存在各类型数据库的数据特征。后续在执行脚本时，可以根据预设的数据格式与各类型数据库的数据格式的对应关系，将预设数据格式的数据转化为对应数据库的数据格式，进而可以正确执行脚本。基于此开发人员在编写脚本时可以直接写sql语句而不关心是从哪种数据库取数，或者修改哪个数据库上的表或者表数据，然后提交运行，由运行引擎自动判断并正确执行。

脚本自测模块3，用于根据所述平台应用信息对所述脚本进行自测。

在本发明实施例中，脚本自测模块3通过运行所述脚本，确认脚本是否存在语法问题以及脚本是否能正确的与平台应用信息中的集群资源进行交互来验证脚本的正确性。如果脚本运行错误，就需要开发人员修改脚本后再次运行，直至脚本运行正确。

脚本调度模块4，用于在所述脚本通过自测后，根据测试数据以及所述平台应用信息对所述脚本进行联调测试。

在本发明实施例中，脚本调度模块4将已经自测正确的脚本通过大数据产品线进行联调测试，确保写好的脚本打包后可以正确部署到测试环境，并且能够在大数据产品线上正确运行。如果脚本没有通过联调测试，则可能是因为脚本的一些逻辑错误，或者因为数据量太大以及sql运行缓慢，则需要重新回到程序编写模块2进行检查，直至最终联调通过。

程序发布模块5，用于在所述脚本通过联调测试后，发布所述脚本。

在本发明实施例中，联调测试通过后的脚本，后续环境经理通过大数据开发工作站内部扭转，在各自环境上进行测试。直到最终应用支持经理获取到，通过程序发布模块5发布到生产上。

由以上描述可以看出，本发明的脚本开发系统将开发、测试、发布集于一身，真正做到大数据服务云平台化开发的代码编写、运行测试、脚本管理、版本制作发布的一站式服务，提升了脚本开发的效率。

图2是本发明实施例脚本开发系统的第二示意图，如图2所示，本发明实施例的脚本开发系统还包括：数据模拟模块7、数据迁移模块8、数据统计模块9以及辅助功能模块10。

数据模拟模块7，用于根据所述脚本使用的数据的表结构随机生成多个所述测试数据。

在本发明实施例中，数据模拟模块7自动生成的测试数据可能是有意义的，也可能是没有意义的。如果表结构设置了外键等约束，数据模拟模块7也会在相关的表中将这些关系引进去，保证数据的完整性。

数据迁移模块8，用于从生产集群获取生产数据，并将所述生产数据作为测试数据。

在本发明实施例中，数据迁移模块8可以直接从其他集群上，将选择的表的数据拷贝进运行的数据库上，这样就可以有有意义的数据进行联测，从而更加真实的还原场景。

数据统计模块9，用于系统内各模块使用情况、登陆情况、使用频率等数据的统计，便于挖掘用户的使用习惯。

辅助功能模块10，整合了用户开发时用惯了的小工具、一些常用shell脚本等，还包括用户自定义的工具。

基于同一发明构思，本发明实施例还提供了一种脚本开发方法，如下面的实施例所述。由于脚本开发方法决问题的原理与脚本开发系统相似，因此脚本开发方法的实施例可以参见脚本开发系统的实施例，重复之处不再赘述。

图3是本发明实施例脚本开发方法的第一流程图，如图3所示，本发明实施例脚本开发方法包括步骤S101至步骤S105。

步骤S101，确定应用对应的平台应用信息，其中，所述平台应用信息包括：hadoop集群上的队列资源和数据库。

步骤S102，获取编写的所述应用对应的脚本。

在本发明可选实施例中，所述脚本为采用预设的编写格式进行编写的，所述预设的编写格式对各类型数据库的数据格式进行整合。

步骤S103，根据所述平台应用信息对所述脚本进行自测。

步骤S104，在所述脚本通过自测后，根据测试数据以及所述平台应用信息对所述脚本进行联调测试。

步骤S105，在所述脚本通过联调测试后，发布所述脚本。

在本发明的一个可选实施例，上述测试数据具体的生成方法可以为：获取所述脚本使用的数据的表结构；根据所述表结构随机生成多个所述测试数据。

在本发明的另一个可选实施例，上述测试数据具体的生成方法可以为：从生产集群获取生产数据，将所述生产数据作为测试数据。

图4是本发明实施例脚本开发方法的第二流程图，如图4所示，本发明另一实施例的脚本开发方法具体包括步骤S201至步骤S210。

步骤S201：Admin管理员登陆信息管理模块1，将本次版本中需要增加的库及对应的库管理员录入到信息管理模块1中。如果本次有信息修改，也可以通过这个步骤修改库信息。录入的数据是基础信息，便于后续角色使用。

步骤S202：库管理员登陆信息管理模块1，录入平台用户信息，并设置平台用户管理员。平台用户信息即各应用参考各自项目的工作量后再hadoop集群上新增的队列资源、数据库、角色ID等基础信息，这些信息在后续测试脚本的时候需要用到，所以需要录入这些信息到信息管理模块1。同时设置平台用户管理员，是为了区分各应用，各应用间不可见，各自管理。

步骤S203：平台用户管理员登陆信息管理模块1，将本应用的开发人员录入到信息管理模块1，并为这些开发人员设置权限，可以作为本应用的管理员，也可以只为开发人员进行脚本开发和测试。

步骤S204：各开发人员登录脚本开发系统，新建当期应用版本，并可以在当期应用版本中新增应用的各种类型的脚本。然后进入程序编写模块2，通过线上IDE进行各种类型的脚本开发，包括hive脚本、mppdb脚本、oracle脚本、mysql脚本等。同时为了规避用户对底层数据库类型的区分，用户也可以使用互联互通脚本的写法，直接写sql语句而不关心是从哪里取数，或者修改那个数据库上的表或者表数据，然后提交运行，由运行引擎自动判断并正确执行。

步骤S205：运行是是否报错。这个要保证脚本交付的正确性。如果脚本运行错误，就必须返回到步骤S204，修改脚本后再次运行，直到运行正确。

步骤S206：如果脚本自测通过，则需要联测脚本。联测脚本需要测试数据作支撑，而不是脚本语法通过就好。如果已经存在测试数据了，则直接跳到步骤S208。

步骤S207：如果没有脚本数据，则需要生成测试数据。生成测试数据的方法有2种：数据模拟和数据迁移。数据模拟，就是选择表结构，平台会自动根据表结构的字段类型，自动生成随机数据，这些随机数据可能是有意义的，也可能是没有意义的。如果表设置了外键等约束，平台也会在相关的表中将这些关系引进去，保证数据的完整性。数据迁移，就是直接从其他集群上，将选择的表的数据拷贝进运行的数据库上，这样就可以有有意义的数据进行联测，从而更加真实的还原场景。

步骤S208：脚本调度联调测试，将已经自测正确的脚本通过测试模块和大数据产品线联调，确保写好的脚本打包后可以正确部署到测试环境，并且能够在大数据产品线上正确运行结束。

步骤S209：判断是否联调通过。如果没有通过，则可能是因为脚本的一些逻辑错误，或者因为数据量太大或者sql运行缓慢，则需要重新回到步骤S204查看脚本，直至最终联调通过。

步骤S210：联调通过后的脚本，后续环境经理通过大数据开发工作站内部扭转，在各自环境上进行测试。直到最终应用支持经理获取到，直接发布到生产上。

本发明的脚本开发系统及方法可以提高脚本的开发效率，可以减少开发时各个工具的切换，可以将开发、测试、发布集于一身，真正做到大数据服务云平台化开发的代码编写、运行测试、脚本管理、版本制作发布的一站式服务。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图5所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。

处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。

上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述脚本开发方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种脚本开发系统，其特征在于，包括：

信息管理模块，用于录入应用对应的平台应用信息，其中，所述平台应用信息包括：hadoop集群上的队列资源和数据库；

程序编写模块，用于所述应用的开发人员编写所述应用对应的脚本，所述程序编写模块包含预设的编写格式，以使所述开发人员根据所述编写格式编写所述脚本，其中，所述预设的编写格式对各类型数据库的数据格式进行整合；先设置编写格式，然后将各类型数据库的数据格式与编写格式进行对应，在脚本执行时，先根据编写格式与各类型数据库的数据格式的对应关系将编写格式的数据转化为对应数据库的数据格式，然后进行脚本执行；

脚本自测模块，用于根据所述平台应用信息对所述脚本进行自测；

脚本调度模块，用于在所述脚本通过自测后，根据测试数据以及所述平台应用信息对所述脚本进行联调测试；

程序发布模块，用于在所述脚本通过联调测试后，发布所述脚本。

2.根据权利要求1所述的脚本开发系统，其特征在于，所述程序编写模块包含IDE工具，以使所述开发人员根据所述IDE工具编写所述脚本。

3.根据权利要求1所述的脚本开发系统，其特征在于，还包括：

数据模拟模块，用于根据所述脚本使用的数据的表结构随机生成多个所述测试数据。

4.根据权利要求1所述的脚本开发系统，其特征在于，还包括：

数据迁移模块，用于从生产集群获取生产数据，并将所述生产数据作为测试数据。

5.根据权利要求1所述的脚本开发系统，其特征在于，所述信息管理模块还用于：Admin管理员录入库信息并设置库管理员；库管理员录入各应用对应的平台应用信息以及平台应用管理员；平台应用管理员录入应用的开发人员信息以及设置各开发人员的权限。

6.一种脚本开发方法，其特征在于，包括：

确定应用对应的平台应用信息，其中，所述平台应用信息包括：hadoop集群上的队列资源和数据库；

获取编写的所述应用对应的脚本，所述脚本为采用预设的编写格式进行编写的，所述预设的编写格式对各类型数据库的数据格式进行整合；先设置编写格式，然后将各类型数据库的数据格式与编写格式进行对应，在脚本执行时，先根据编写格式与各类型数据库的数据格式的对应关系将编写格式的数据转化为对应数据库的数据格式，然后进行脚本执行；

根据所述平台应用信息对所述脚本进行自测；

在所述脚本通过自测后，根据测试数据以及所述平台应用信息对所述脚本进行联调测试；

在所述脚本通过联调测试后，发布所述脚本。

7.根据权利要求6所述的脚本开发方法，其特征在于，还包括：

获取所述脚本使用的数据的表结构；

根据所述表结构随机生成多个所述测试数据。

8.根据权利要求6所述的脚本开发方法，其特征在于，还包括：

从生产集群获取生产数据，将所述生产数据作为测试数据。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6至8任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求6至8任意一项所述的方法。