CN111651429B - 一种大数据调度参数管理方法、装置及分布式平台 - Google Patents

Abstract

本发明实施例公开了一种大数据调度参数管理方法、装置及分布式平台。所述方法包括：获取参数校验规则、参数输入权限；根据所述参数校验规则、所述参数输入权限获取用户输入的加工任务调度参数数据，所述加工任务调度参数数据包括加工任务信息、调度参数信息；根据所述部署请求携带的加工任务信息，获取所述加工任务调度参数数据作为待部署加工任务调度参数数据；将所述待部署加工任务调度参数数据发送给部署审核人；获取部署审核人发送的审核结果；当所述审核结果为成功时则将所述待部署加工任务调度参数数据提交给调度系统。此外，本发明还涉及区块链技术，审核结果可存储于区块链节点中。

Description

一种大数据调度参数管理方法、装置及分布式平台

技术领域

本发明涉及充电设备技术领域，尤其涉及一种大数据调度参数管理方法、装置及分布式平台。

背景技术

随着互联网、移动互联网、物联网的发展，业务系统产生了海量业务数据，对海量业务数据的分析，不同的分析需求采用不同的加工任务，导致加工任务的数量比较多，而每个加工任务都有比较多的调度参数，导致调度参数的数量比较多，为了方便加工任务代码的修改，需要把加工任务的调度参数单独管理。现有技术采用在Excel中输入调度参数，再把Excel表导入相关系统后再部署到业务系统所在的大数据服务器，由于调度参数比较多，导致开发人员输入调度参数的工作量非常大；调度参数具有严格的校验规则，Excel无法对输入的调度参数按校验规则进行检验，而调度参数输入出错会导致版本部署报错，导致频繁执行“输入-导入-移交-部署”进行修复，延长加工任务最终上线时间。因此，开发一种减少开发人员输入工作量、提高输入准确度的大数据调度参数管理方法显得尤为重要。

发明内容

基于此，有必要针对上述问题，提出了一种大数据调度参数管理方法、装置及分布式平台，用于解决现有技术中开发人员输入调度参数的工作量非常大、易出错、延长加工任务最终上线时间的技术问题。

第一方面，本发明提出了一种大数据调度参数管理方法，应用于加工任务的部署，所述加工任务用于在大数据服务器中根据加工需求对数据进行加工得到目标数据，所述方法包括：

获取参数校验规则、参数输入权限；

根据所述参数校验规则、所述参数输入权限获取用户输入的加工任务调度参数数据，所述加工任务调度参数数据包括加工任务信息、调度参数信息，所述调度参数信息包括调度参数标识、调度参数数值；

获取用户输入的部署请求，所述部署请求携带有加工任务信息；

根据所述部署请求携带的加工任务信息，获取所述加工任务调度参数数据作为待部署加工任务调度参数数据；

将所述待部署加工任务调度参数数据发送给部署审核人；

获取部署审核人发送的审核结果；

当所述审核结果为成功时则将所述待部署加工任务调度参数数据提交给调度系统。

在一个实施例中，所述根据所述参数校验规则、所述参数输入权限获取用户输入的加工任务调度参数数据，包括：

获取调度参数信息模板；

根据所述调度参数信息模板、所述参数校验规则、所述参数输入权限获取用户输入的加工任务调度参数数据。

在一个实施例中，所述获取参数校验规则、参数输入权限，包括：

获取用户标识；

根据所述用户标识确定与所述用户标识对应的角色名称；

根据与所述用户标识对应的角色名称从权限管理数据库中确定与所述用户标识对应的参数输入权限。

在一个实施例中，所述方法还包括：

根据所述参数校验规则、所述参数输入权限获取用户对已提交所述调度系统的所述加工任务调度参数数据进行更新；

将用户更新后的所述加工任务调度参数数据发送给部署审核人；

获取部署审核人发送的待修复审核结果，其中，所述审核结果存储在区块链中；

当所述待修复审核结果为成功时，则将用户更新后的所述加工任务调度参数数据自动提交给所述调度系统，以用于自动更新所述调度系统中的加工任务调度参数数据。

在一个实施例中，所述方法还包括：

获取待检验加工任务调度参数数据；

根据所述待检验加工任务调度参数数据对多个所述加工任务调度参数数据进行冲突检验，得到冲突检验检验结果；

当所述冲突检验检验结果为冲突时，则展示与所述冲突检验检验结果对应的待检验加工任务调度参数数据。

在一个实施例中，所述方法还包括：

获取当前加工任务信息、待拷贝加工任务信息；

根据所述待拷贝加工任务信息对多个所述加工任务调度参数数据进行查询；

将查询出的所述加工任务调度参数数据的调度参数信息拷贝到与所述当前加工任务信息对应的加工任务调度参数数据中。

在一个实施例中，所述方法还包括：

获取查询参数，所述查询参数包括至少一个查询关键字和/或至少一个查询条件；

根据所述查询参数对所述调度参数数据库中的多个所述加工任务调度参数数据进行查询；

将查询出的所述加工任务调度参数数据进行展示。

在一个实施例中，所述方法还包括：

获取第一加工任务调度参数数据、第二加工任务调度参数数据；

根据所述第一加工任务调度参数数据及所述第二加工任务调度参数数据确定调度参数标识相同的所述调度参数信息作为待对比调度参数信息；

将第一加工任务调度参数数据的待对比调度参数信息在第一显示区域进行显示；

将第二加工任务调度参数数据的待对比调度参数信息在第二显示区域进行显示；

其中，所述第一显示区域位于所述第二显示区域并列设置在同一个网页中，且相同的调度参数标识对应的所述待对比调度参数信息在同一排进行显示。

第二方面，本发明还提出了一种大数据调度参数管理装置，应用于加工任务的部署，所述加工任务用于在大数据服务器中根据加工需求对数据进行加工得到目标数据，所述装置包括：

调度参数输入模块，用于获取参数校验规则、参数输入权限，根据所述参数校验规则、所述参数输入权限获取用户输入的加工任务调度参数数据，所述加工任务调度参数数据包括加工任务信息、调度参数信息，所述调度参数信息包括调度参数标识、调度参数数值，获取用户输入的部署请求，所述部署请求携带有加工任务信息，根据所述部署请求携带的加工任务信息，获取所述加工任务调度参数数据作为待部署加工任务调度参数数据；

移交部署管理模块，用于将所述待部署加工任务调度参数数据发送给部署审核人，获取部署审核人发送的审核结果，当所述审核结果为成功时则将所述待部署加工任务调度参数数据提交给调度系统。

第三方面，本发明还提出了一种分布式平台，包括：大数据调度参数管理装置、调度系统、部署系统、多个大数据服务器；

所述大数据调度参数管理装置用于获取参数校验规则、参数输入权限，根据所述参数校验规则、所述参数输入权限获取用户输入的加工任务调度参数数据，所述加工任务调度参数数据包括加工任务信息、调度参数信息，所述调度参数信息包括调度参数标识、调度参数数值，获取用户输入的部署请求，所述部署请求携带有加工任务信息，根据所述部署请求携带的加工任务信息，获取所述加工任务调度参数数据作为待部署加工任务调度参数数据，将所述待部署加工任务调度参数数据发送给部署审核人，获取部署审核人发送的审核结果，当所述审核结果为成功时则将所述待部署加工任务调度参数数据提交给调度系统；

所述调度系统用于获取加工任务代码，接收所述大数据调度参数管理装置发送的加工任务调度参数数据，根据所述加工任务调度参数数据、所述加工任务代码确定待部署加工任务，将所述待部署加工任务发送给所述部署系统；

所述部署系统用于将所述待部署加工任务部署到所述大数据服务器中；

所述大数据服务器用于装载业务系统，根据所述待部署加工任务部署对所述业务系统中的数据进行加工得到目标数据，所述业务系统用于获取客户发送的业务需求，根据所述业务需求进行业务处理。

综上所述，本发明的大数据调度参数管理方法根据参数校验规则、参数输入权限获取用户输入的加工任务调度参数数据，当审核结果为成功时则将待部署加工任务调度参数数据提交给调度系统；通过系统界面输入调度参数，参数校验规则对输入给予自动规范和指引，提高了输入调度参数的速度，减少了用户自我检查输入正确性的工作量，从而减少了输入调度参数的工作量；通过使有参数输入权限的用户只能按参数校验规则输入调度参数，而且审核结果为成功时才提交给调度系统，避免没有参数输入权限的用户误修改调度参数，确保输入的调度参数符合参数校验规则，从而避免了调度参数输入出错，避免版本部署报错，最终缩短了加工任务最终上线时间。因此，本发明减少了输入调度参数的工作量，避免了调度参数输入出错，避免版本部署报错，最终缩短了加工任务最终上线时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中大数据调度参数管理方法的流程图；

图2为图1的大数据调度参数管理方法的单任务修复自动部署的流程图；

图3为图1的大数据调度参数管理方法的参数对比的流程图；

图4为一个实施例中大数据调度参数管理装置的结构框图；

图5为一个实施例中计算机设备的结构框图；

图6为一个实施例中分布式平台的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，在一个实施例中提出了一种大数据调度参数管理方法，应用于加工任务的部署，所述加工任务用于在大数据服务器中根据加工需求对数据进行加工得到目标数据；

所述加工任务实现为大数据服务器中Hive库(数据仓库工具)加工数据的程序，采用HQL(Hibernate查询语言)编写。

所述方法包括：

S102、获取参数校验规则、参数输入权限；

其中，获取用户标识，根据所述用户标识从数据库中获取参数输入权限；获取调度参数标识，根据所述调度参数标识数据库中参数输入权限。

其中，从数据库中获取参数校验规则、参数输入权限。

可选的，所述参数校验规则包括：字段最大长度限制、特殊字符输入限制、固定参数改成下拉可选项输入、非空参数输入判断、关联参数输入检查、时间参数格式判断，在此举例不做具体限定。所述字段最大长度限制是指输入的所述调度参数数值的字符总数不能超过所述字段最大长度限制的数值；所述特殊字符输入限制是指输入的所述调度参数数值的字符不能出现所述特殊字符输入限制中记录的字符；所述固定参数改成下拉可选项输入是指只能通过下拉菜单选择其中一个选项，将该选项的值作为所述调度参数数值；所述非空参数输入判断是指输入的所述调度参数数值不能为空；所述关联参数输入检查是指检查具有关联关系的多个所述调度参数数值输入是否正确；所述时间参数格式判断是指输入的所述调度参数数值必须是时间格式。

所述根据所述参数校验规则、所述参数输入权限获取用户输入的加工任务调度参数数据是指用户只能对自己拥有所述参数输入权限的加工任务调度参数数据进行输入，输入时调度参数数值需满足所述参数校验规则。

S104、根据所述参数校验规则、所述参数输入权限获取用户输入的加工任务调度参数数据，所述加工任务调度参数数据包括加工任务信息、调度参数信息，所述调度参数信息包括调度参数标识、调度参数数值；

所述加工任务调度参数数据可以分布在电脑端的网页上，也可以分布在移动电子设备的网页上，用户通过网页浏览及输入所述加工任务调度参数数据，在此不做具体限定。

可选的，同一个加工任务的加工任务调度参数数据可以由至少一个有参数输入权限的用户输入，通过合作缩短了输入的总时长，进一步最终缩短了加工任务最终上线时间。

所述加工任务信息包括加工任务标识，所述加工任务标识可以是流水号、任务编号、加工任务名称等唯一标识一个加工任务的信息。

所述调度参数用于部署系统判断开发人员编写的程序该如何运行，比如，程序运行时间(几点才开始执行这个加工任务)、加工任务之间的依赖(前面至少一个加工任务正常执行完成之后，才能启动这个加工任务)、程序运行参数，把程序运行参数提炼出来由用户另外输入，而没有把程序运行参数直接写入HQL代码里面，以方便加工任务代码的修改，而且使HQL程序的编写更简单快捷。

所述调度参数标识可以是调度参数编号、调度参数名称等唯一标识一个调度参数的信息。

可选的，每个所述调度参数标识对应一个调度参数数值。

可选的，在所述根据所述参数校验规则、所述参数输入权限获取用户输入的加工任务调度参数数据之后，还包括：根据用户输入的所述加工任务调度参数数据更新调度参数数据库。

S106、获取用户输入的部署请求，所述部署请求携带有加工任务信息；

其中，获取用户在电脑端的网页上输入部署请求，也可以分布在移动电子设备的网页上输入部署请求。

S108、根据所述部署请求携带的加工任务信息，获取所述加工任务调度参数数据作为待部署加工任务调度参数数据；

其中，根据所述部署请求携带的加工任务信息从调度参数数据库中获取所述加工任务调度参数数据作为待部署加工任务调度参数数据。

所述待部署加工任务调度参数数据是待部署的加工任务调度参数数据。

S110、将所述待部署加工任务调度参数数据发送给部署审核人；

其中，发送审核提醒信息给所述部署审核人，所述部署审核人在网页中进行审核，审核完成后通过网页的按钮触发发送审核结果。所述审核提醒信息包括邮件信息、手机短信信息、网络聊天工具的弹框信息、大数据调度参数管理方法内提醒信息中的至少一种。比如，所述网络聊天工具包括微信、QQ、钉钉，在此举例不做具体限定。

所述部署审核人包括至少一个审核人，比如，所述部署审核人包括：开发审核人、运维审核人，在此举例不做具体限定。

S112、获取部署审核人发送的审核结果；

其中，部署审核人通过大数据调度参数管理方法的网页中的按钮发送审核结果。所述审核结果包括成功、失败、失败说明。

S114、当所述审核结果为成功时则将所述待部署加工任务调度参数数据提交给调度系统。

其中，当所述审核结果为成功时，则获取自动部署请求，所述自动部署请求中携带有待自动部署加工任务信息，根据所述自动部署请求调用调度系统的部署接口，通过所述部署接口将与所述待自动部署加工任务信息对应的加工任务调度参数数据发送给所述调度系统。所述自动部署请求可以是用户输入的，也可以是大数据调度参数管理方法的程序发送的。

在另一个实施例中，当所述审核结果为成功时，则获取手动部署请求，所述手动部署请求中携带有待手动部署加工任务信息、预设存储地址，根据所述手动部署请求将与待手动部署加工任务信息对应的加工任务调度参数数据按预设文件格式形成导出文件，将所述导出文件存储到所述手动部署请求的预设存储地址中，然后再由用户通过所述调度系统的导入功能将与待手动部署加工任务信息对应的加工任务调度参数数据导入到所述调度系统中。

可选的，当所述审核结果为失败时则发送审核失败信息给输入所述待部署请求的用户，所述审核失败信息包括邮件信息、手机短信信息、网络聊天工具的弹框信息、大数据调度参数管理方法内提醒信息中的至少一种。比如，所述网络聊天工具包括微信、QQ、钉钉，在此举例不做具体限定。

本实施例的大数据调度参数管理方法根据参数校验规则、参数输入权限获取用户输入的加工任务调度参数数据，当审核结果为成功时则将待部署加工任务调度参数数据提交给调度系统；通过系统界面输入调度参数，参数校验规则对输入给予自动规范和指引，提高了输入调度参数的速度，减少了用户自我检查输入正确性的工作量，从而减少了输入调度参数的工作量；通过使有参数输入权限的用户只能按参数校验规则输入调度参数，而且审核结果为成功时才提交给调度系统，避免没有参数输入权限的用户误修改调度参数，确保输入的调度参数符合参数校验规则，从而避免了调度参数输入出错，避免版本部署报错，最终缩短了加工任务最终上线时间。

在一个实施例中，所述方法还包括：获取调度参数默认列表、待输入调度参数标识，所述调度参数默认列表包括调度参数标识、调度参数默认数值，根据所述待输入调度参数标识从所述调度参数默认列表中进行匹配，当匹配成功时，则将匹配到的所述调度参数默认数值作为所述调度参数数值填入与所述待输入调度参数标识对应的调度参数数值输入框中，从而进一步减少了输入调度参数的工作量。可以理解的是，所述调度参数标识与所述调度参数默认数值一一对应设置。

在一个实施例中，所述调度参数默认列表还包括修改属性，所述修改属性包括可以修改、不可以修改，所述修改属性与所述调度参数标识、所述调度参数默认数值一一对应设置；当所述修改属性为可以修改时，则具有所述参数输入权限的用户可以修改调度参数数值输入框中的所述调度参数数值；当所述修改属性为不可以修改时，则调度参数数值输入框中的所述调度参数数值不可以被修改。

在一个实施例中，所述根据所述参数校验规则、所述参数输入权限获取用户输入的加工任务调度参数数据，包括：

获取调度参数信息模板；

根据所述调度参数信息模板、所述参数校验规则、所述参数输入权限获取用户输入的加工任务调度参数数据。

具体而言，获取用户发送的导入模板请求，所述导入模板请求中携带有模板标识，根据导入模板请求在网页中展示与所述模板标识对需要的调度参数信息模板，用户可以根据需要输入从模板导入的加工任务信息、从模板导入的调度参数信息的调度参数数值、增加新的调度参数信息、删除从模板导入的调度参数信息，通过模板功能进一步减少了输入调度参数的工作量。

可选的，所述调度参数信息模板设置有调度参数默认数值，从而进一步减少了输入调度参数的工作量。

在一个实施例中，所述方法还包括：获取参数校验规则设置权限；根据所述参数校验规则设置权限获取用户输入的所述调度参数标识及与所述调度参数标识对应的参数校验规则，根据所述调度参数标识、与所述调度参数标识对应的参数校验规则更新参数校验规则数据库。可以理解的是，一个所述调度参数标识对应至少一个参数校验规则。通过使有参数校验规则设置权限的用户才能设置，可以避免误设置或误修改参数校验规则。

在一个实施例中，所述获取参数校验规则、参数输入权限，包括：获取用户标识；根据所述用户标识确定与所述用户标识对应的角色名称；根据与所述用户标识对应的角色名称从权限管理数据库中确定与所述用户标识对应的参数输入权限。

可以理解的是，每个角色名称对应至少一个参数输入权限。通过设置角色名称，可以减少权限管理的工作量，也有利于快速准确的为用户分配权限。

可以理解的是，有角色设置权限的用户可以通过网页输入角色名称及与所述角色名称对应的参数输入权限，也可以导入包括角色名称及与所述角色名称对应的参数输入权限的文件。可以多个人设置一个角色名称及与所述角色名称对应的参数输入权限，也可以每个人设置一个角色名称及与所述角色名称对应的参数输入权限。

与所述角色名称对应的参数输入权限包括加工任务、队列、数据库、虚拟账户等调度参数绑定。

在一个实施例中，可选的，所述方法还包括：获取角色名称、与所述角色名称对应的参数输入权限；根据所述角色名称、与所述角色名称对应的参数输入权限更新权限管理数据库中。

如图2所示，在一个实施例中，所述方法还包括：

S202、根据所述参数校验规则、所述参数输入权限获取用户对已提交所述调度系统的所述加工任务调度参数数据进行更新；

获取用户输入的待修复加工任务信息，将与所述待修复加工任务信息对应的加工任务调度参数数据在网页中进行展示，根据所述参数校验规则、所述参数输入权限获取用户对已提交所述调度系统的所述加工任务调度参数数据进行更新，获取用户输入的更新结束信号，根据所述更新结束信号将用户更新后的所述加工任务调度参数数据发送给部署审核人。所述更新结束信号是用户点击网页中的按钮触发的。

可选的，根据用户更新后的所述加工任务调度参数数据更新所述调度参数数据库及日志数据库。所述日志数据库中存储有大数据调度参数管理方法运行的日志记录，比如，日志记录包括系统版本的更新日志、用户的变更日志、加工任务调度参数数据的更新日志。

S204、将用户更新后的所述加工任务调度参数数据发送给部署审核人；

其中，对有更新的调度参数数值进行凸显标识，将凸显标识之后的所述加工任务调度参数数据发送给部署审核人，所述凸显标识包括字体加粗、改变文字颜色、改变文字大小、增加文字背景色、增加文字边框中的至少一种。从而有利于部署审核人快速进行审核，减少了部署审核人的审核工作量。

可选的，根据用户更新后的所述加工任务调度参数数据确定更新对照表，所述更新对照表包括加工任务信息、调度参数标识、更新后的调度参数数值、更新前的调度参数数值，将所述更新对照表发送给部署审核人。从而有利于部署审核人快速进行审核，减少了部署审核人的审核工作量。

S206、获取部署审核人发送的待修复审核结果，其中，所述审核结果存储在区块链中；

其中，部署审核人通过大数据调度参数管理方法的网页中的按钮发送待修复审核结果。所述待修复审核结果包括成功、失败、失败说明。

需要强调的是，为进一步保证上述审核结果的私密和安全性，上述审核结果还可以存储于一区块链的节点中。

S208、当所述待修复审核结果为成功时，则将用户更新后的所述加工任务调度参数数据自动提交给所述调度系统，以用于自动更新所述调度系统中的加工任务调度参数数据。通过对已提交所述调度系统的所述加工任务调度参数数据进行更新、审核成功后自动提交给所述调度系统，无需再填写excel移交版本给调度系统，或在调度系统中手工替换，减少了工作量。

在一个实施例中，所述方法还包括：获取待检验加工任务调度参数数据；根据所述待检验加工任务调度参数数据对多个所述加工任务调度参数数据进行冲突检验，得到冲突检验检验结果；当所述冲突检验检验结果为冲突时，则展示与所述冲突检验检验结果对应的待检验加工任务调度参数数据。

比如，加工任务之间的依赖，当前输入的加工任务需要依赖其中一个加工任务的执行结果，而该加工任务设置的程序运行时间晚于当前输入的加工任务，则会产生任务执行冲突，因此需要进行冲突检验，在此举例不做具体限定。通过冲突检验使输入加工任务调度参数数据的用户可以快速确定加工任务之间的冲突，方便用户及时进行纠正，避免频繁执行“输入-导入-移交-部署”进行修复，从而进一步确保了加工任务最终上线时间。

在一个实施例中，所述方法还包括：获取当前加工任务信息、待拷贝加工任务信息；根据所述待拷贝加工任务信息对多个所述加工任务调度参数数据进行查询；将查询出的所述加工任务调度参数数据的调度参数信息拷贝到与所述当前加工任务信息对应的加工任务调度参数数据中。通过拷贝调度参数信息，不需用户逐个手动添加调度参数标识之后再输入调度参数数值，用户只需要对拷贝过来的调度参数信息进行审核，对需要修改的调度参数数值进行修改，从而进一步减少了输入调度参数的工作量。

在一个实施例中，所述方法还包括：获取查询参数，所述查询参数包括至少一个查询关键字和/或至少一个查询条件；根据所述查询参数对所述调度参数数据库中的多个所述加工任务调度参数数据进行查询；将查询出的所述加工任务调度参数数据进行展示。通过至少一个查询关键字和/或至少一个查询条件进行查询，提高了查询的准确度，使用户快速的获取想要了解的加工任务调度参数数据，有利于用户的分析、问题定位、问题修复。

所述查询关键字是指查询的关键字，比如，加工任务调度参数数据中的字、词、句，在此举例不做具体限定。

所述查询条件是指查询的限制条件，比如，加工任务调度参数数据输入开始时间和/或结束时间、输入人员，在此举例不做具体限定。

所述将查询出的所述加工任务调度参数数据进行展示是指在网页中进行展示，当只查询出一个所述加工任务调度参数数据时则直接展示查询出的所述加工任务调度参数数据；当查询出至少两个所述加工任务调度参数数据时，则展示查询结果列表，获取待展示请求，所述待展示请求中携带有加工任务信息，在网页中展示与所述待展示请求的加工任务信息对应的加工任务调度参数数据。

如图3所示，在一个实施例中，所述方法还包括：

S302、获取第一加工任务调度参数数据、第二加工任务调度参数数据；

S304、根据所述第一加工任务调度参数数据及所述第二加工任务调度参数数据确定调度参数标识相同的所述调度参数信息作为待对比调度参数信息；

S306、将第一加工任务调度参数数据的待对比调度参数信息在第一显示区域进行显示；

S308、将第二加工任务调度参数数据的待对比调度参数信息在第二显示区域进行显示；

其中，所述第一显示区域位于所述第二显示区域并列设置在同一个网页中，且相同的调度参数标识对应的所述待对比调度参数信息在同一排进行显示。

可以理解的是，所述第一显示区域、所述第二显示区域可以是同一个网页中相邻的两个显示区域，也可以是同一个网页中的表格的相邻的两列。

本实施例通过在同一个网页中对比显示，使用户快速的找出问题，及时进行纠正，避免频繁执行“输入-导入-移交-部署”进行修复，从而进一步确保了加工任务最终上线时间。

在一个实施例中，所述方法还包括：获取待预览加工任务调度参数数据，根据所述待预览加工任务调度参数数据在同一网页中进行展示。从而方便用户查阅。

在一个实施例中，所述方法还包括：获取待导出加工任务调度参数数据、预设存储地址，将所述待导出加工任务调度参数数据按预设文件格式形成导出文件，将所述导出文件存储到所述预设存储地址中。预览时只显示加工任务调度参数数据，去掉了输入调度参数数值时的输入框、解释信息、提示信息，使用户可以快速的预览输入的数据，方便用户进行问题的查找，方便用户及时进行纠正，避免频繁执行“输入-导入-移交-部署”进行修复，从而进一步确保了加工任务最终上线时间。从而使用户可以根据需要灵活的导出输入的加工任务调度参数数据，增加了大数据调度参数管理方法的应用场景。

在一个实施例中，所述方法还包括：获取用户输入的导入调度参数文件请求，根据所述参数校验规则、所述参数输入权限导入调度参数文件，对导入的调度参数文件存储在调度参数数据库中。可以理解的是，导入调度参数文件中包含多个加工任务的加工任务调度参数数据时，把符合所述参数校验规则及所述参数输入权限得的加工任务调度参数数据导入，不符合的不导入，完成整个调度参数文件的导入处理后，发送导入结果，所述导入结果包括：导入成功的加工任务信息、导入失败的加工任务信息。通过导入调度参数文件，增加了大数据调度参数管理方法的应用场景。

在一个实施例中，所述方法还包括：对所述调度参数数据库中加工任务调度参数数据进行统计分析，得到个人质量统计表、个人错误统计表、指定团队输入数量统计表、指定团队错误统计表。

所述个人质量统计表用于统计指定人员在预设时间段内输入加工任务调度参数数据数量、未修复过的加工任务调度参数数据数量、一次性输入合格率。

所述个人错误统计表用于统计指定人员在预设时间段内有修复的调度参数的数量总数、错误率。

所述指定团队输入数量统计表用于统计指定团队在预设时间段内输入加工任务调度参数数据的数量。

所述指定团队错误统计表用于统计指定团队在预设时间段内有修复的调度参数的数量总数、错误率。

如图4所示，在一个实施例中，提出了一种大数据调度参数管理装置，应用于加工任务的部署，所述加工任务用于在大数据服务器中根据加工需求对数据进行加工得到目标数据，所述装置包括：

调度参数输入模块402，用于获取参数校验规则、参数输入权限，根据所述参数校验规则、所述参数输入权限获取用户输入的加工任务调度参数数据，所述加工任务调度参数数据包括加工任务信息、调度参数信息，所述调度参数信息包括调度参数标识、调度参数数值，获取用户输入的部署请求，所述部署请求携带有加工任务信息，根据所述部署请求携带的加工任务信息，获取所述加工任务调度参数数据作为待部署加工任务调度参数数据；

移交部署管理模块404，用于将所述待部署加工任务调度参数数据发送给部署审核人，获取部署审核人发送的审核结果，当所述审核结果为成功时则将所述待部署加工任务调度参数数据提交给调度系统。

可选的，所述大数据调度参数管理装置采用Java语言(面向对象编程语言)开发。

本实施例的大数据调度参数管理装置根据参数校验规则、参数输入权限获取用户输入的加工任务调度参数数据，当审核结果为成功时则将待部署加工任务调度参数数据提交给调度系统；通过系统界面输入调度参数，参数校验规则对输入给予自动规范和指引，提高了输入调度参数的速度，减少了用户自我检查输入正确性的工作量，从而减少了输入调度参数的工作量；通过使有参数输入权限的用户只能按参数校验规则输入调度参数，而且审核结果为成功时才提交给调度系统，避免没有参数输入权限的用户误修改调度参数，确保输入的调度参数符合参数校验规则，从而避免了调度参数输入出错，避免版本部署报错，最终缩短了加工任务最终上线时间。

在一个实施例中，所述装置还包括：单任务修复自动部署模块406；

所述单任务修复自动部署模块406，用于根据所述参数校验规则、所述参数输入权限获取用户对已提交所述调度系统的所述加工任务调度参数数据进行更新，将用户更新后的所述加工任务调度参数数据发送给部署审核人，获取部署审核人发送的待修复审核结果，其中，所述审核结果存储在区块链中，当所述待修复审核结果为成功时，则将用户更新后的所述加工任务调度参数数据自动提交给所述调度系统，以用于自动更新所述调度系统中的加工任务调度参数数据。

图5示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图5所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现大数据调度参数管理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行大数据调度参数管理方法。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的一种大数据调度参数管理方法可以实现为一种计算机程序的形式，计算机程序可在如图5所示的计算机设备上运行。计算机设备的存储器中可存储组成的一种大数据调度参数管理装置的各个程序模板。比如，调度参数输入模块402、移交部署管理模块404、单任务修复自动部署模块406。

如图6所示，在一个实施例中，提出了一种分布式平台，包括：大数据调度参数管理装置61、调度系统62、部署系统63、多个大数据服务器64；

所述大数据调度参数管理装置61用于获取参数校验规则、参数输入权限，根据所述参数校验规则、所述参数输入权限获取用户输入的加工任务调度参数数据，所述加工任务调度参数数据包括加工任务信息、调度参数信息，所述调度参数信息包括调度参数标识、调度参数数值，获取用户输入的部署请求，所述部署请求携带有加工任务信息，根据所述部署请求携带的加工任务信息，获取所述加工任务调度参数数据作为待部署加工任务调度参数数据，将所述待部署加工任务调度参数数据发送给部署审核人，获取部署审核人发送的审核结果，当所述审核结果为成功时则将所述待部署加工任务调度参数数据提交给调度系统62；

所述调度系统62用于获取加工任务代码，接收所述大数据调度参数管理装置61发送的加工任务调度参数数据，根据所述加工任务调度参数数据、所述加工任务代码确定待部署加工任务，将所述待部署加工任务发送给所述部署系统63；

所述部署系统63用于将所述待部署加工任务部署到所述大数据服务器64中；

所述大数据服务器64用于装载业务系统，根据所述待部署加工任务部署对所述业务系统中的数据进行加工得到目标数据，所述业务系统用于获取客户发送的业务需求，根据所述业务需求进行业务处理。

本实施例的分布式平台的大数据调度参数管理装置61根据参数校验规则、参数输入权限获取用户输入的加工任务调度参数数据，当审核结果为成功时则将待部署加工任务调度参数数据提交给调度系统62；通过系统界面输入调度参数，参数校验规则对输入给予自动规范和指引，提高了输入调度参数的速度，减少了用户自我检查输入正确性的工作量，从而减少了输入调度参数的工作量；通过使有参数输入权限的用户只能按参数校验规则输入调度参数，而且审核结果为成功时才提交给调度系统62，避免没有参数输入权限的用户误修改调度参数，确保输入的调度参数符合参数校验规则，从而避免了调度参数输入出错，避免版本部署报错，最终缩短了加工任务最终上线时间。

需要说明的是，上述一种大数据调度参数管理方法、一种大数据调度参数管理装置及一种分布式平台属于一个总的发明构思，一种大数据调度参数管理方法、一种大数据调度参数管理装置及一种分布式平台实施例中的内容可相互适用。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种大数据调度参数管理方法，应用于加工任务的部署，所述加工任务用于在大数据服务器中根据加工需求对数据进行加工得到目标数据，所述方法包括：

获取参数校验规则和参数输入权限，包括获取用户标识，根据所述用户标识确定与所述用户标识对应的角色名称，根据与所述用户标识对应的角色名称从权限管理数据库中确定与所述用户标识对应的参数输入权限；

根据所述参数校验规则和所述参数输入权限获取用户输入的加工任务调度参数数据，所述加工任务调度参数数据包括加工任务信息和调度参数信息，所述调度参数信息包括调度参数标识和调度参数数值，所述根据所述参数校验规则和所述参数输入权限获取用户输入的加工任务调度参数数据包括：获取调度参数信息模板，根据所述调度参数信息模板和所述参数校验规则和所述参数输入权限获取用户输入的加工任务调度参数数据；

获取用户输入的部署请求，所述部署请求携带有加工任务信息；

根据所述部署请求携带的加工任务信息，获取所述加工任务调度参数数据作为待部署加工任务调度参数数据；

将所述待部署加工任务调度参数数据发送给部署审核人；

获取部署审核人发送的审核结果；

当所述审核结果为成功时则将所述待部署加工任务调度参数数据提交给调度系统，包括：当所述审核结果为成功时，则获取自动部署请求，所述自动部署请求中携带有待自动部署加工任务信息，根据所述自动部署请求调用调度系统的部署接口，通过所述部署接口将与所述待自动部署加工任务信息对应的加工任务调度参数数据发送给所述调度系统。

2.如权利要求1所述的大数据调度参数管理方法，其特征在于，所述方法还包括：

根据所述参数校验规则和所述参数输入权限获取用户对已提交所述调度系统的所述加工任务调度参数数据进行更新；

将用户更新后的所述加工任务调度参数数据发送给部署审核人；

获取部署审核人发送的待修复审核结果；

当所述待修复审核结果为成功时，则将用户更新后的所述加工任务调度参数数据自动提交给所述调度系统，以用于自动更新所述调度系统中的加工任务调度参数数据。

3.如权利要求2所述的大数据调度参数管理方法，其特征在于，所述方法还包括：

获取待检验加工任务调度参数数据；

根据所述待检验加工任务调度参数数据对多个所述加工任务调度参数数据进行冲突检验，得到冲突检验检验结果；

当所述冲突检验检验结果为冲突时，则展示与所述冲突检验检验结果对应的待检验加工任务调度参数数据。

4.如权利要求3所述的大数据调度参数管理方法，其特征在于，所述方法还包括：

获取当前加工任务信息和待拷贝加工任务信息；

根据所述待拷贝加工任务信息对多个所述加工任务调度参数数据进行查询；

将查询出的所述加工任务调度参数数据的调度参数信息拷贝到与所述当前加工任务信息对应的加工任务调度参数数据中。

5.如权利要求1或2所述的大数据调度参数管理方法，其特征在于，所述方法还包括：

获取查询参数，所述查询参数包括至少一个查询关键字和/或至少一个查询条件；

根据所述查询参数对调度参数数据库中的多个所述加工任务调度参数数据进行查询；

将查询出的所述加工任务调度参数数据进行展示。

6.如权利要求1或2所述的大数据调度参数管理方法，其特征在于，所述方法还包括：

获取第一加工任务调度参数数据和第二加工任务调度参数数据；

根据所述第一加工任务调度参数数据及所述第二加工任务调度参数数据确定调度参数标识相同的所述调度参数信息作为待对比调度参数信息；

将第一加工任务调度参数数据的待对比调度参数信息在第一显示区域进行显示；

将第二加工任务调度参数数据的待对比调度参数信息在第二显示区域进行显示；

其中，所述第一显示区域位于所述第二显示区域并列设置在同一个网页中，且相同的调度参数标识对应的所述待对比调度参数信息在同一排进行显示。

7.一种大数据调度参数管理装置，所述装置用于实现如权利要求1-6任一项所述的方法，其特征在于，所述装置包括：

调度参数输入模块，用于获取参数校验规则和参数输入权限，根据所述参数校验规则和所述参数输入权限获取用户输入的加工任务调度参数数据，所述加工任务调度参数数据包括加工任务信息和调度参数信息，所述调度参数信息包括调度参数标识和调度参数数值，获取用户输入的部署请求，所述部署请求携带有加工任务信息，根据所述部署请求携带的加工任务信息，获取所述加工任务调度参数数据作为待部署加工任务调度参数数据；

移交部署管理模块，用于将所述待部署加工任务调度参数数据发送给部署审核人，获取部署审核人发送的审核结果，当所述审核结果为成功时则将所述待部署加工任务调度参数数据提交给调度系统。

8.一种分布式平台，其特征在于，包括如权利要求7所述的大数据调度参数管理装置、调度系统、部署系统和多个大数据服务器；

所述大数据调度参数管理装置用于获取参数校验规则和参数输入权限，根据所述参数校验规则和所述参数输入权限获取用户输入的加工任务调度参数数据，所述加工任务调度参数数据包括加工任务信息和调度参数信息，所述调度参数信息包括调度参数标识和调度参数数值，获取用户输入的部署请求，所述部署请求携带有加工任务信息，根据所述部署请求携带的加工任务信息，获取所述加工任务调度参数数据作为待部署加工任务调度参数数据，将所述待部署加工任务调度参数数据发送给部署审核人，获取部署审核人发送的审核结果，当所述审核结果为成功时则将所述待部署加工任务调度参数数据提交给调度系统；

所述调度系统用于获取加工任务代码，接收所述大数据调度参数管理装置发送的加工任务调度参数数据，根据所述加工任务调度参数数据和所述加工任务代码确定待部署加工任务，将所述待部署加工任务发送给所述部署系统；

所述部署系统用于将所述待部署加工任务部署到所述大数据服务器中；

所述大数据服务器用于装载业务系统，根据所述待部署加工任务部署对所述业务系统中的数据进行加工得到目标数据，所述业务系统用于获取客户发送的业务需求，根据所述业务需求进行业务处理。