CN110515714A - 一种基于集群系统的任务均衡调度方法 - Google Patents

Abstract

本发明公开了一种基于集群系统的任务均衡调度方法。本发明具体实现包括：每次服务器获取需要执行的记录后，先去获取相关的执行权限，如果获取到了执行权限，就继续执行。如果发现执行权限已经被别的服务器获取，就自动放弃本次操作。进行下一条记录的权限获取。同时定期清理过期权限，定时将挂起的权限释放，保证记录执行的完整性。本发明具备了前两种方式的优点，同时改善了它们的缺点，具有部署方便，扩展方便的特点，同时充分利用了现有的服务器资源，均衡分配。非常适合集群部署，集群扩展的过程非常简单。

Description

一种基于集群系统的任务均衡调度方法

技术领域

本发明属于计算机分布式领域，涉及一种基于集群系统的任务均衡调度方法。

背景技术

在大型的网络服务系统中，为了减轻服务器的压力、优化服务器资源的使用和提高客户端的响应速度。一般的解决方案是将服务器集群。当服务器集群后，所有的服务器将可以执行相同的操作，但是部分操作可能是单例的，同一时间内只能一台服务执行。为了达到这种目的可以有两种方式：

第一种方式是在集群中的各个服务器中做相应的参数标志，服务器每次操作执行前去查询下是否是被标志的服务器，如果是被标记的服务器代表本服务器有权限操作，正常去执行。如果发现未被标记代表相应操作无权限，自动退出。

第二种方式和第一种方式相似，是将标志位放到一个公共的、所有机器都可以读取的区域，通过绑定ip位置或者服务器名称等方式来实现，服务器每次操作执行前去公共区域查询下被标志的服务器信息是否是本机，如果是被标记的服务器是本机代表本服务器有权限操作，正常去执行。如果发现标记服务器非本机，代表相应操作无权限，自动退出。

以上两种方式都存在明显缺陷或者适用度等问题，两种方式都是绑定死了某台机器执行某一类操作，颗粒度较大。无法实现某台机器执行某一类操作中的某一条数据。同时因为指定了特定的机器去执行某类操作，造成部分机器在未改配置前是无权限执行，造成机器资源的浪费。而且第一种方式部署复杂，需要每台机器配置。第二种方式集群中虽然只需要配置一次，但是存在配置的机器撤销后需要修改配置等问题。

发明内容

本发明的目的就是针对现有技术的不足，主要解决了几个方面的问题，其一能够服务集群部署方便；其二充分利用服务器资源，非常适合集群部署使用。

本发明解决其技术问题所采用的技术方案包括如下具体步骤：

步骤(1)、定义一类数据执行key值、定义过期时间同时获取本机在局域网内唯一的ip。以一条需要转换的视频记录作为例，转换中key值规则为固定值+”_”+单条业务数据Id。固定值为conver_video_knowledge_of_list，单条业务数据id为01，相应key值为conver_video_knowledge_of_list_01,定义过期时间为60分钟，过期时间根据不同的业务可以配置不同的时间。本例中因为是视频文件转换，需要花费比较长的时间，故设置时间稍长60分钟。ip为192.168.0.22。

步骤(2)、获取相关的存储连接，将相应的信息记录插入到存储介质中。记录信息包含了key、ip、过期时间。存储介质可以是数据库或者缓存等有原子性的操作的介质。本样例中用的是redis缓存，调用redis中命令rpush(String key,String...strings)，将相应的记录放入redis。如果是数据库中，直接将相关记录插入数据库表中。key为conver_video_knowledge_of_list_01，ip为192.168.0.22。

步骤(3)、通过相关的key获取第一条存储的记录，然后进行比对ip进行匹配是否是本机获取执行权限。假设根据key值获取的第一个ip值为192.168.0.22，代表的第一个申请权限的是本机。本机获取本条数据执行权限，可以对本条记录进行相关操作。假设取到的第一个ip为192.168.10.110，代表第一个申请的权限的机器非本机，本条记录执行权限获取失败，自动结束相关炒作，进行下一条记录的权限申请。在reidis中调用lindex(key,0)方法，在数据库中排序后取第一条。

步骤(4)、为获取执行权限的记录锁定过期时间，锁定过期时间是防止相应的记录执行过程中，万一有断电等不可抗拒因数造成的服务器死机，关机等造成的记录被锁定而本机已经无法执行被一直挂起。在redis中调用expire(key,exitTime)方法。在数据库中可以添加过期记录。

步骤(5)、定时或者下钩子程序清理权限过期的记录。在本次操作结束后，对本次操作的记录进行清理。或者是到过期时间后，将本次操作的记录清理，将权限释放。进行下一次权限的分配。

本发明有益效果如下：

本发明具备了部署简单、扩展简单、充分利用服务器资源等特点，能够无缝集群，同时资源分配较为均衡，非常适合在大并发，高集群的服务器环境。同时每条记录的权限都有过期时间和自动清理，保证了数据执行的完整性。是一种非常便捷的权限分配技术方法，应用场景比较广泛。

具体实施方式

本发明的基于存储介质的服务权限均衡分配的方法，总体思路大致包括：每次服务器获取需要执行的记录后，先去获取相关的执行权限，如果获取到了执行权限，就继续执行。如果发现执行权限已经被别的服务器获取，就自动放弃本次操作。进行下一条记录的权限获取。同时定期清理过期权限，定时将挂起的权限释放，保证记录执行的完整性。本发明具备了前两种方式的优点，同时改善了它们的缺点，具有部署方便，扩展方便的特点，同时充分利用了现有的服务器资源，均衡分配。非常适合集群部署，集群扩展的过程非常简单。

具体步骤如下：

步骤(1)、定义一类数据执行key值、定义过期时间同时获取本机在局域网内唯一的ip。以一条需要转换的视频记录作为例，转换中key值规则为固定值+”_”+单条业务数据Id。固定值为conver_video_knowledge_of_list，单条业务数据id为01.相应key值为conver_video_knowledge_of_list_01,定义过期时间为60分钟，过期时间根据不同的业务可以配置不同的时间。本例中因为是视频文件转换，需要花费比较长的时间，故设置时间稍长60分钟。ip为192.168.0.22。

步骤(2)、获取相关的存储连接，将相应的信息记录插入到存储介质中。记录信息包含了key、ip、过期时间。存储介质可以为数据库或者缓存等有原子性的操作的介质。本样例中用的是redis缓存，调用redis中命令rpush(String key,String...strings)，将相应的记录放入redis。如果是数据库中，直接将相关记录插入数据库表中。key为conver_video_knowledge_of_list_01，ip为192.168.0.22。

步骤(3)、通过相关的key获取第一条存储的记录，然后进行比对ip进行匹配是否是本机获取执行权限。假设根据key值获取的第一个ip值为192.168.0.22，代表的第一个申请权限的是本机。本机获取本条数据执行权限，可以对本条记录进行相关操作。假设取到的第一个ip为192.168.10.110，代表第一个申请的权限的机器非本机，本条记录执行权限获取失败，自动结束相关操作，进行下一条记录的权限申请。在reidis中调用lindex(key,0)方法，在数据库中排序后取第一条。

步骤(4)、为获取执行权限的记录锁定过期时间，锁定过期时间是防止相应的记录执行过程中，万一有断电等不可抗拒因数造成的服务器死机，关机等造成的记录被锁定而本机已经无法执行被一直过起。在redis中调用expire(key,exitTime)方法。在数据库中可以添加过期记录

步骤(5)、定时或者下钩子程序清理权限过期的记录。在本次操作结束后，对本次操作的记录进行清理。或者是到过期时间后，将本次操作的记录清理，将权限释放。进行下一次权限的分配。

Claims (1)

1.一种基于集群系统的任务均衡调度方法，其特征在于包括如下步骤：

步骤(1)、定义一类数据执行key值、定义过期时间同时获取本机在局域网内唯一的ip；数据转换中key值规则为固定值+”_”+单条业务数据Id；固定值为conver_video_knowledge_of_list，单条业务数据id为01，相应key值为conver_video_knowledge_of_list_01,定义过期时间为T分钟，过期时间根据不同的业务配置不同的时间；设ip为192.168.0.22；

步骤(2)、获取相关的存储连接，将相应的记录信息插入到存储介质中；记录信息包含了key、ip、过期时间；存储介质包括数据库或者缓存；缓存包括redis缓存；调用redis缓存中命令rpush(String key,String...strings)，将相应的记录信息放入redis；如果是数据库中，则直接将相关记录信息插入数据库表中；key为conver_video_knowledge_of_list_01，ip为192.168.0.22；

步骤(3)、通过相关的key获取第一条存储的记录，然后进行比对ip进行匹配是否是本机获取执行权限；假设根据key值获取的第一个ip值为192.168.0.22，代表的第一个申请权限的是本机；本机获取本条数据执行权限，可以对本条记录进行相关操作；假设取到的第一个ip为192.168.10.110，代表第一个申请的权限的机器非本机，本条记录执行权限获取失败，自动结束相关操作，进行下一条记录的权限申请；在reidis缓存中调用lindex(key,0)方法，在数据库中排序后取第一条；

步骤(4)、为获取执行权限的记录锁定过期时间，锁定过期时间是防止相应的记录执行过程中，因不可抗拒因素造成的服务器死机、关机造成的记录被锁定而本机已经无法执行被一直挂起；在redis中调用expire(key,exitTime)方法；在数据库中可以添加过期记录；

步骤(5)、定时或者下钩子程序清理权限过期的记录；在本次操作结束后，对本次操作的记录进行清理；或者是到过期时间后，将本次操作的记录清理，将权限释放；进行下一次权限的分配。