CN104331327A - 大规模虚拟化环境中任务调度的优化方法及优化系统 - Google Patents

大规模虚拟化环境中任务调度的优化方法及优化系统 Download PDF

Info

Publication number
CN104331327A
CN104331327A CN201410722428.7A CN201410722428A CN104331327A CN 104331327 A CN104331327 A CN 104331327A CN 201410722428 A CN201410722428 A CN 201410722428A CN 104331327 A CN104331327 A CN 104331327A
Authority
CN
China
Prior art keywords
task
bit stream
shared drive
scheduling
mission bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410722428.7A
Other languages
English (en)
Other versions
CN104331327B (zh
Inventor
张从国
石磊
王进
程栋
刘毅峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANDONG MASSCLOUDS QICHUANG INFORMATION TECHNOLOGY Co Ltd
Original Assignee
SHANDONG MASSCLOUDS QICHUANG INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANDONG MASSCLOUDS QICHUANG INFORMATION TECHNOLOGY Co Ltd filed Critical SHANDONG MASSCLOUDS QICHUANG INFORMATION TECHNOLOGY Co Ltd
Priority to CN201410722428.7A priority Critical patent/CN104331327B/zh
Publication of CN104331327A publication Critical patent/CN104331327A/zh
Application granted granted Critical
Publication of CN104331327B publication Critical patent/CN104331327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本发明公开了大规模虚拟化环境中任务调度的优化方法及优化系统,包括任务的集中管理、分布式执行、并发时的平滑控制、执行时限控制、优先级定义、运行监控、自我诊断等,为任务调度提供一个友好高效的操作界面。仿照类UNIX系统中的crond程序实现,增强精细控制功能,并支持主机之间的协作以实现任务的分布式执行与集中监控。采用数据库集中管理多个主机管辖的任务定义以简化配置操作,为减轻数据库负担,任务定义完毕导入共享内存中,后续调度不再访问数据库。调度平台具有自我诊断能力,确保调度工作持续稳定运行。

Description

大规模虚拟化环境中任务调度的优化方法及优化系统
技术领域
本发明涉及一种大规模虚拟化环境中任务调度的优化方法及优化系统。
背景技术
虚拟化环境中存在大量的需要周期性执行的管理任务,如虚拟机的启动停止、配置参数的变更检测、主机及应用系统的异常检测、性能指标采集与分析、数据备份及超期数据的清理等。
类UNIX系统中的crond程序可以实现任务的定时执行,但是采用纯文本方式定义管理,不便于任务的定义、检索、及运行监控,对于任务的执行缺乏精细控制。
对于任务的并发执行没有额外控制,大批量任务并发时对系统资源冲击很大,可能造成系统短时没有响应。
对于任务的执行时限没有控制,可能会出现任务进程的无限期挂起,持续耗费系统资源而失去控制。
任务没有优先级的概念,所有任务优先级相同,不能区分任务的权重。
所有任务的日志信息混杂在一起,难以跟踪。
不便于实时直观监控任务的运行状态,可以通过ps命令查看进程的运行状态,但是不能与任务定义时的描述信息关联。
对于分散在多个主机执行的任务,不能集中监控与跟踪。
发明内容
本发明的目的就是为了解决上述问题,提供大规模虚拟化环境中任务调度的优化方法及优化系统,它具有实现任务的集中管理与分布式执行,实现虚拟化环境中相关任务的管理优化,包括任务的集中管理、并发时的平滑控制、执行时限控制、优先级定义、运行监控、自我诊断等,为任务管理提供一个友好高效的操作界面的优点。
为了实现上述目的,本发明采用如下技术方案:
大规模虚拟化环境中任务调度的优化方法,包括如下步骤:
步骤(1):任务信息在数据库中定义:在数据库中集中定义虚拟化环境中的多个主机管辖的任务信息,所述任务信息包括任务的归属主机和任务的优先级属性;
步骤(2):数据库任务信息装载:按需执行,从数据库中提取任务信息并将提取出的任务信息装入任务信息共享内存;
步骤(3):基础框架运行:创建进程管理共享内存,搭建基础平台支撑上层调度进程及任务进程的运行;调度进程执行任务时,通知平台进程,由平台进程从进程管理共享内存中查找空闲的槽位,并创建一个子进程作为任务进程;
步骤(4):任务调度:负责调度各个任务的周期性运行;定期从任务信息共享内存中读取任务的配置信息,检测各个任务的调度周期,对于需要调度执行的任务,绑定任务指定的优先级放入调度队列;全部任务检查完毕后,按照任务优先级由高到低依次读取队列中需要执行的任务,通知平台进程增加一个相应的任务进程,触发任务对应的执行程序的运行,任务进程执行时记录起止时间与执行结果,调度进程并不等待任务进程执行结束;
步骤(5):任务汇总:每台执行任务调度的主机运行一个代理进程;任务汇总进程定期执行,逐一向每台主机上的代理进程索要每台主机的任务信息共享内存的全部数据,放入本地缓存;全部信息索要完毕后一并装入任务信息汇总共享内存中,最后释放本地缓存;
步骤(6):运行监控:从任务信息汇总共享内存中提取任务配置数据及运行信息,能够实时查看任务调度整体运行信息以及每个任务的配置及运行信息。
所述优化方法还包括自我诊断步骤:后台常驻执行,实时检测各个进程的运行状态,对于执行持续时间超过设定时限的任务进程,强行杀死,避免任务进程的无限期挂起,确保任务的执行可控。根据进程管理共享内存中记录的每个任务进程的进程ID,判断调度进程存活与否,如果调度进程异常终止则予以重新启动,确保整个调度工作持续稳定运行。
所述步骤(1)的虚拟化环境中的每台主机都能够加载自己的任务信息共享内存,装载自己管辖的任务,并启动任务调度周期执行,从而实现任务调度的分布式执行。
所述步骤(3)中:
所述平台进程通过UDP通信机制等待用户操作指令、调度进程或诊断进程的通知,作为调度进程及每个任务进程的父进程;UDP是一种通信协议,UDP是User Datagram Protocol的简称,中文名是用户数据报协议;
所述进程管理共享内存划分为多个槽位,基础框架之上运行的每个进程占用其中一个槽位,所述槽位用于存放任务编号、进程ID、用户ID、组ID、执行时间和执行时限信息,调度进程固定占用第一个槽位。
所述步骤(4)的步骤为:
步骤(4-1):任务调度开始,获取当前时间;对任务信息共享内存加锁,连接任务信息共享内存;读取任务信息共享内存中全部数据,放入本地缓存;对任务信息共享内存解锁,断连任务信息共享内存;
步骤(4-2):调度进程循环处理本地缓存中的每个任务:检查每个任务的调度周期,对于需要调度执行的任务,绑定任务指定的优先级之后,加入调度队列;
步骤(4-3):判断调度队列中是否有任务,如果是就进入步骤(4-4);否则就睡眠一个设定周期后返回步骤(4-1);
步骤(4-4):判断是否存在空闲槽位,如果存在空闲槽位,按照任务优先级由高到低依次读取队列中需要执行的任务,通知平台进程增加一个相应的任务子进程,任务子进程执行时,占用前面分配的管理槽位,记录相关的运行信息;所述运行信息包括任务编号、进程ID、用户ID、组ID、执行时间和执行时限;调度队列中的任务全部处理完毕之后,返回步骤(4-3);如果不存在空闲槽位,就暂停设定时间后返回步骤(4-4)。
所述步骤(4)中:
任务进程启动后需要连接任务信息共享内存,读取额外配置参数,运行时需要修改任务的执行状态信息,所述任务的执行状态信息包括当前状态、开始时间、结束时间和执行结果。
为了避免修改每个任务的原有执行程序,引入一个封装程序,调度进程直接调度执行封装程序,然后由封装程序实现共享内存的访问并调用任务原有的执行程序。封装程序同时在文件中记录任务运行结果信息,后续批量导入数据库中,以便制作运维分析报表提供决策支持。
每个任务进程在日志文件中记录自己的运行信息,日志文件根据任务编号命名,方便跟踪定位。
所述自我诊断步骤为:
步骤(a-1):自我诊断进程读取配置文件,对锁文件加锁,并记录进程ID;
步骤(a-2):判断加锁是否失败,如果是就结束,否则就进入步骤(a-3);
步骤(a-3):自我诊断进程连接进程管理共享内存;
步骤(a-4):判断所有子进程检查是否完毕,如果是就断连进程管理共享内存,睡眠一个周期后返回步骤(a-3);否则就对信号灯加锁,读取一个子进程的相关信息,解锁信号灯;进入步骤(a-5);
步骤(a-5):判断是否进行异常终止检测,如果是就进入步骤(a-6);否则就进入步骤(a-7);
步骤(a-6):判断子进程是否异常终止,如果是就通知平台进程进入步骤(a-4);否则就进入步骤(a-7);
步骤(a-7):判断是否进行执行时限检测,如果是就获取当前时间,计算子进程运行的持续时间,进入步骤(a-8);否则就进入步骤(a-4);
步骤(a-8):判断持续时间是否超过设定时限,如果是就强行杀死子进程,然后进入步骤(a-4);否则就进入步骤(a-4)。
所述步骤(6)的整体运行信息包含任务总数、正在运行的任务数目、成功执行的任务累计数目、运行失败的任务累计数目和平台累计运行时间。
大规模虚拟化环境中任务调度的优化系统,包括:
任务信息在数据库中定义模块:在数据库中集中定义虚拟化环境中的多个主机管辖的任务信息,所述任务信息包括任务的归属主机和任务的优先级属性;
数据库任务信息装载模块:按需执行,从数据库中提取任务信息并将提取出的任务信息装入任务信息共享内存;
基础框架运行模块:创建进程管理共享内存,搭建基础平台支撑上层调度进程及任务进程的运行;调度进程执行任务时,通知平台进程,由平台进程从进程管理共享内存中查找空闲的槽位,并创建一个子进程作为任务进程;
任务调度模块:负责调度各个任务的周期性运行;定期从任务信息共享内存中读取任务的配置信息,检测各个任务的调度周期,对于需要调度执行的任务,绑定任务指定的优先级放入调度队列;全部任务检查完毕后,按照任务优先级由高到低依次读取队列中需要执行的任务,通知平台进程增加一个相应的任务进程,触发任务对应的执行程序的运行,任务进程执行时记录起止时间与执行结果,调度进程并不等待任务进程执行结束;
任务汇总模块:每台执行任务调度的主机运行一个代理进程;任务汇总进程定期执行,逐一向每台主机上的代理进程索要每台主机的任务信息共享内存的全部数据,放入本地缓存;全部信息索要完毕后一并装入任务信息汇总共享内存中,最后释放本地缓存;
运行监控模块:从任务信息汇总共享内存中提取任务配置数据及运行信息,能够实时查看任务调度整体运行信息以及每个任务的配置及运行信息。
所述优化系统还包括自我诊断模块:后台常驻执行,实时检测各个进程的运行状态,对于执行持续时间超过设定时限的任务进程,强行杀死,避免任务进程的无限期挂起,确保任务的执行可控。根据进程管理共享内存中记录的每个任务进程的进程ID,判断调度进程存活与否,如果调度进程异常终止则予以重新启动,确保整个调度工作持续稳定运行。
所述任务信息在数据库中定义模块的虚拟化环境中的每台主机都能够加载自己的任务信息共享内存,装载自己管辖的任务,并启动任务调度周期执行,从而实现任务调度的分布式执行。
所述基础框架运行模块中:
所述平台进程通过UDP通信机制等待用户操作指令、调度进程或诊断进程的通知,作为调度进程及每个任务进程的父进程;
所述进程管理共享内存划分为多个槽位,基础框架之上运行的每个进程占用其中一个槽位,所述槽位用于存放任务编号、进程ID、用户ID、组ID、执行时间和执行时限信息,调度进程固定占用第一个槽位。
所述任务调度模块中:
任务进程启动后需要连接任务信息共享内存,读取额外配置参数,运行时需要修改任务的执行状态信息,所述任务的执行状态信息包括当前状态、开始时间、结束时间和执行结果。
为了避免修改每个任务的原有执行程序,引入一个封装程序,调度进程直接调度执行封装程序,然后由封装程序实现共享内存的访问并调用任务原有的执行程序。封装程序同时在文件中记录任务运行结果信息,后续批量导入数据库中,以便制作运维分析报表提供决策支持。
每个任务进程在日志文件中记录自己的运行信息,日志文件根据任务编号命名,方便跟踪定位。
所述运行监控模块的整体运行信息包含任务总数、正在运行的任务数目、成功执行的任务累计数目、运行失败的任务累计数目和平台累计运行时间。
本发明的有益效果是:
1简化任务的配置管理,实现任务的集中配置与分布式执行,平滑控制任务的并发执行,支持任务优先级定义,控制任务的执行时限,支持分布式执行的任务运行信息的定期汇总,支持自我诊断,自动重新启动异常终止的调度工作,并集中实时直观监控任务的运行状态,还可以定期制作运维分析报表提供决策支持。
2采用共享内存存储的另外一个好处是可以让外部程序方便的查看调度平台内部的数据信息,了解平台自身及被调度任务的运行情况。
3任务信息载入任务信息共享内存后,后续调度时不再访问数据库从而减轻数据库负担。
附图说明
图1为整体功能架构示意图。
图2为任务调度流程图。
图3为自我诊断流程图。
图4为任务汇总示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
数据库产品采用MySQL,共享内存机制采用类UNIX系统内置支持的System V标准的shared memory。为协调多个进程对共享内存的同步访问,采用System V标准的信号灯semaphore作为加锁同步机制。调度队列采用System V标准的消息队列,支持消息优先级。
为提高任务信息共享内存访问的并发能力,采用两个信号灯控制内存同步访问:一个“刷新灯”,一个“读灯”。目标效果有三点:多个进程可以同时读取共享内存、内存刷新时禁止其他进程访问、其他进程正在访问共享内存时禁止刷新操作。
进程管理共享内存同样需要加锁保护,以协调多个进程的同步访问。与上面提及的任务信息共享内存使用的“刷新灯”、“读灯”无关,进程管理共享内存使用一个独立的信号灯作为互斥锁。
按照实际需要简化任务的调度周期定义,仿照crontab的定义格式,简化为三个域,分别表示分钟、小时、天。每个定义域支持填写固定值(如1),或者填写一个间隔时间(如*/5)。
首先通过配置界面添加或调整任务信息,任务定义时包含归属主机及优先级属性,在数据库中集中存储,之后执行任务信息装载模块装入共享内存。共享内存数据准备完毕,启动基础框架、任务调度模块、自我诊断、任务汇总,此后整个平台进入自我管理的运行状态,周期性调度任务执行。此时可以通过运行监控界面实时查看调度平台运行状态。
后续如果需要调整任务配置参数,可以联机刷新任务信息共享内存,无需重新启动整个调度平台。
基础框架模块运行时读取命令行指定的配置文件,获取管理参数(如共享内存ID、并发任务数目等),创建进程管理共享内存,搭建基础平台支撑上层调度进程及任务进程的运行。进程管理共享内存划分为多个槽位,基础框架之上运行的每个进程占用其中一个槽位,存放任务编号、进程ID、用户ID、组ID、执行时间、执行时限等管理信息。调度进程固定占用第一个槽位。
平台进程通过UDP通信机制等待用户操作指令与调度进程或诊断进程的通知,作为调度进程及每个任务进程的父进程。调度进程执行任务时,自身并不创建子进程,而是通知平台进程,由后者查找空闲槽位,并创建一个子进程作为任务进程。
调度进程后台常驻执行,间隔设定的睡眠周期持续运行,每次执行时一次性读取任务信息共享内存的全部内容,检查每个任务的调度周期,对于需要调度执行的任务,绑定任务指定的优先级放入调度队列。全部任务检查完毕后,按照任务优先级由高到低依次读取队列中需要执行的任务,通知平台进程增加一个相应的任务进程,调度进程并不等待任务进程执行结束。如果管理槽位不足,暂停调度。从而实现任务并发的平滑控制及优先级管理。
任务进程启动后需要连接任务信息共享内存,读取额外配置参数,运行时需要修改任务的执行状态信息(如当前状态、开始时间、结束时间、执行结果等)。为了避免修改每个任务的原有执行程序,引入一个封装程序,调度进程直接调度执行封装程序,然后由封装程序实现共享内存的访问并调用任务原有的执行程序。封装程序同时在文件中记录任务运行结果信息,后续批量导入数据库中,以便制作运维分析报表提供决策支持。
每个任务进程在日志文件中记录自己的运行信息,日志文件根据任务编号命名,方便跟踪定位。
自我诊断模块运行时读取命令行指定的配置文件,获取管理参数(如共享内存ID、睡眠间隔等),之后后台常驻执行,定期检测各个进程的运行状态,因为进程管理共享内存中记录着每个进程的执行开始时间、执行时限信息,自我诊断模块可以据以计算任务进程的执行持续时间,对于超过设定时限的任务进程,强行杀死,避免任务进程的无限期挂起,确保任务的执行可控。
因为进程管理共享内存中记录着每个进程的进程ID,自我诊断模块可以据以判断调度进程存活与否,如果调度进程异常终止则予以重新启动,确保整个调度工作持续稳定运行。
任务定义时添加主机信息,指定任务的归属主机。虚拟化环境中的每台主机都可以加载自己的任务信息共享内存,装载自己管辖的任务,并启动任务调度平台调度任务周期执行。为简化运行监控,各个主机的任务状态信息定期汇总以便集中查看任务的运行状态。
每台执行任务调度的主机运行一个代理进程,接受汇总进程的请求并回复自己的任务信息共享内存的全部数据。任务汇总进程定期执行,逐一向每台主机上的代理进程索要各自的任务信息共享内存数据,放入本地缓存。全部信息索要完毕,一并装入任务信息汇总共享内存中,供运行监控界面查看使用,最后释放本地缓存。
运行监控界面从任务信息汇总共享内存中获取任务的配置及运行信息,并展现,支持定期刷新。监控页面分为上下两个部分,上面显示调度平台整体运行信息,下面以表格方式显示各个运行的任务信息。整体运行信息包含任务总数、正在运行的任务数目、成功执行的任务累计数目、运行失败的任务累计数目、平台累计运行时间等。
任务调度模块:仿照类UNIX系统中的crond程序实现,增强精细控制功能(如并发时的平滑控制、优先级定义)。
下面结合附图对本发明进一步说明。
如图1所示,以单台主机为例描述任务调度系统的整体功能框架,整个任务调度系统主要包含:任务信息装载、基础框架、任务调度、自我诊断、运行监控,各个组成部分作为一个有机整体协同工作。
首先通过配置界面添加或调整任务信息,在数据库中存储,之后执行任务信息装载模块装入共享内存。共享内存数据准备完毕,启动基础框架、任务调度模块、自我诊断,此后整个平台进入自我管理的运行状态,周期性调度任务执行。此时可以通过运行监控界面实时查看调度平台运行状态。
图中包含了三段共享内存,一段是任务信息共享内存,存放任务的配置及运行信息,第二段是进程管理共享内存,用以存放进程运行时的管理信息,第三段是任务信息汇总共享内存,存放汇总后的任务的配置及运行信息。进程管理共享内存划分为多个槽位,用以存放进程的运行信息,其中调度进程自身占用一个槽位,每个被调度的任务占用一个槽位(任务结束后槽位释放)。
平台进程启动时创建进程管理共享内存,之后通过UDP通信机制等待用户操作指令、调度进程或诊断进程的通知。
所述用户操作指令控制调度进程的执行与终止,或者查看整个平台的运行状态,联机更新平台的运行参数,也可以控制整个平台的终止;
所述调度进程的通知用以触发任务进程的执行;
所述诊断进程的通知用以触发调度进程重新启动。
平台进程作为调度进程及每个任务进程的父进程。调度进程执行任务时,自身并不创建子进程,而是通知平台进程,由后者查找空闲槽位,并创建一个子进程作为任务进程。
自我诊断进程作为一个增强模块,用以监控调度进程及各个任务进程的运行状态,控制任务进程的执行时限,并重新启动异常终止的调度进程。
如图2所示,调度进程后台常驻执行,间隔设定的睡眠周期持续运行,每次执行时一次性读取任务信息共享内存的全部内容,放入本地缓存。
然后循环处理本地缓存中的每个任务:检查每个任务的调度周期,判断是否与当前时间点吻合,对于需要调度执行的任务,绑定任务指定的优先级之后放入调度队列。
所有需要运行的任务放入调度队列之后,检查是否存在空闲的管理槽位,如果管理槽位不足,暂停调度,短暂睡眠之后再次检查空闲的管理槽位。管理槽位空闲时,按照任务优先级由高到低依次读取队列中需要执行的任务,通知平台进程增加一个相应的任务子进程,从而调动任务执行,调度进程并不等待任务进程执行结束。实现任务并发的平滑控制及优先级管理。
任务子进程执行时,占用前面分配的管理槽位,记录相关的运行信息(任务编号、进程ID、用户ID、组ID、执行时间、执行时限等)。
调度队列中的任务全部处理完毕之后,调度进程睡眠一个设定的时间周期,周而复始。
如图3所示,自我诊断模块运行时读取命令行指定的配置文件,获取管理参数(如共享内存ID、睡眠间隔等),之后后台常驻执行,定期检测各个进程的运行状态。
为避免自我诊断模块重复启动造成的混乱,程序启动后在一个文件(通常放置在/var/run目录下)中记录当前进程的进程ID,并对文件本身加锁。重复启动的自我诊断模块再次对同一个文件加锁时,因失败退出。自我诊断模块退出(无论正常或异常退出)时,文件锁自动释放。
因为进程管理共享内存的第一个槽位中记录调度进程的进程ID,自我诊断模块可以据以判断调度进程存活与否,如果调度进程异常终止,则予以重新启动,确保整个调度工作持续稳定运行。
对于任务进程,通常不检查其存活与否,如果任务进程异常终止,等待下一个调度周期再次调度执行。避免因为任务进程的逻辑错误而无休止的重复启动。
因为进程管理共享内存中记录着每个进程的执行开始时间、执行时限信息,自我诊断模块可以据以计算任务进程的执行持续时间,对于超过设定时限的任务进程,强行杀死,避免任务进程的无限期挂起,确保任务的执行可控。
因为调度进程需要持续不间断运行,不检查其执行时限。
如图4所示,任务定义时添加主机信息,指定任务的归属主机。虚拟化环境中的每台主机都可以加载自己的任务信息共享内存,装载自己管辖的任务,并启动任务调度平台调度任务周期执行。
为简化运行监控,各个主机的任务状态信息定期汇总以便集中查看任务的运行状态。
每台执行任务调度的主机运行一个代理进程,接受汇总进程的请求并回复自己的任务信息共享内存的全部数据。
任务汇总进程定期执行,逐一向每台主机上的代理进程索要各自的任务信息共享内存数据,放入本地缓存。全部信息索要完毕,一并装入任务信息汇总共享内存中,供运行监控界面查看使用,最后释放本地缓存。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.大规模虚拟化环境中任务调度的优化方法,其特征是,包括如下步骤:
步骤(1):任务信息在数据库中定义:在数据库中集中定义虚拟化环境中的多个主机管辖的任务信息,所述任务信息包括任务的归属主机和任务的优先级属性;
步骤(2):数据库任务信息装载:按需执行,从数据库中提取任务信息并将提取出的任务信息装入任务信息共享内存;
步骤(3):基础框架运行:创建进程管理共享内存,搭建基础平台支撑上层调度进程及任务进程的运行;调度进程执行任务时,通知平台进程,由平台进程从进程管理共享内存中查找空闲的槽位,并创建一个子进程作为任务进程;
步骤(4):任务调度:负责调度各个任务的周期性运行;定期从任务信息共享内存中读取任务的配置信息,检测各个任务的调度周期,对于需要调度执行的任务,绑定任务指定的优先级放入调度队列;全部任务检查完毕后,按照任务优先级由高到低依次读取队列中需要执行的任务,通知平台进程增加一个相应的任务进程,触发任务对应的执行程序的运行,任务进程执行时记录起止时间与执行结果,调度进程并不等待任务进程执行结束;
步骤(5):任务汇总:每台执行任务调度的主机运行一个代理进程;任务汇总进程定期执行,逐一向每台主机上的代理进程索要每台主机的任务信息共享内存的全部数据,放入本地缓存;全部信息索要完毕后一并装入任务信息汇总共享内存中,最后释放本地缓存;
步骤(6):运行监控:从任务信息汇总共享内存中提取任务配置数据及运行信息,能够实时查看任务调度整体运行信息以及每个任务的配置及运行信息。
2.如权利要求1所述的大规模虚拟化环境中任务调度的优化方法,其特征是,所述优化方法还包括自我诊断步骤:后台常驻执行,实时检测各个进程的运行状态,对于执行持续时间超过设定时限的任务进程,强行杀死,避免任务进程的无限期挂起,确保任务的执行可控;根据进程管理共享内存中记录的每个任务进程的进程ID,判断调度进程存活与否,如果调度进程异常终止则予以重新启动,确保整个调度工作持续稳定运行。
3.如权利要求1所述的大规模虚拟化环境中任务调度的优化方法,其特征是,所述步骤(1)的虚拟化环境中的每台主机都能够加载自己的任务信息共享内存,装载自己管辖的任务,并启动任务调度周期执行,从而实现任务调度的分布式执行。
4.如权利要求1所述的大规模虚拟化环境中任务调度的优化方法,其特征是,所述步骤(3)中:
所述平台进程通过UDP通信机制等待用户操作指令、调度进程或诊断进程的通知,作为调度进程及每个任务进程的父进程;
所述进程管理共享内存划分为多个槽位,基础框架之上运行的每个进程占用其中一个槽位,所述槽位用于存放任务编号、进程ID、用户ID、组ID、执行时间和执行时限信息,调度进程固定占用第一个槽位。
5.如权利要求1所述的大规模虚拟化环境中任务调度的优化方法,其特征是,所述步骤(4)的步骤为:
步骤(4-1):任务调度开始,获取当前时间;对任务信息共享内存加锁,连接任务信息共享内存;读取任务信息共享内存中全部数据,放入本地缓存;对任务信息共享内存解锁,断连任务信息共享内存;
步骤(4-2):调度进程循环处理本地缓存中的每个任务:检查每个任务的调度周期,对于需要调度执行的任务,绑定任务指定的优先级之后,加入调度队列;
步骤(4-3):判断调度队列中是否有任务,如果是就进入步骤(4-4);否则就睡眠一个设定周期后返回步骤(4-1);
步骤(4-4):判断是否存在空闲槽位,如果存在空闲槽位,按照任务优先级由高到低依次读取队列中需要执行的任务,通知平台进程增加一个相应的任务子进程,任务子进程执行时,占用前面分配的管理槽位,记录相关的运行信息;所述运行信息包括任务编号、进程ID、用户ID、组ID、执行时间和执行时限;调度队列中的任务全部处理完毕之后,返回步骤(4-3);如果不存在空闲槽位,就暂停设定时间后返回步骤(4-4)。
6.如权利要求1所述的大规模虚拟化环境中任务调度的优化方法,其特征是,所述步骤(4)中:
任务进程启动后需要连接任务信息共享内存,读取额外配置参数,运行时需要修改任务的执行状态信息,所述任务的执行状态信息包括当前状态、开始时间、结束时间和执行结果。
7.如权利要求2所述的大规模虚拟化环境中任务调度的优化方法,其特征是,所述自我诊断步骤为:
步骤(a-1):自我诊断进程读取配置文件,对锁文件加锁,并记录进程ID;
步骤(a-2):判断加锁是否失败,如果是就结束,否则就进入步骤(a-3);
步骤(a-3):自我诊断进程连接进程管理共享内存;
步骤(a-4):判断所有子进程检查是否完毕,如果是就断连进程管理共享内存,睡眠一个周期后返回步骤(a-3);否则就对信号灯加锁,读取一个子进程的相关信息,解锁信号灯;进入步骤(a-5);
步骤(a-5):判断是否进行异常终止检测,如果是就进入步骤(a-6);否则就进入步骤(a-7);
步骤(a-6):判断子进程是否异常终止,如果是就通知平台进程进入步骤(a-4);否则就进入步骤(a-7);
步骤(a-7):判断是否进行执行时限检测,如果是就获取当前时间,计算子进程运行的持续时间,进入步骤(a-8);否则就进入步骤(a-4);
步骤(a-8):判断持续时间是否超过设定时限,如果是就强行杀死子进程,然后进入步骤(a-4);否则就进入步骤(a-4)。
8.大规模虚拟化环境中任务调度的优化系统,其特征是,包括:
任务信息在数据库中定义模块:在数据库中集中定义虚拟化环境中的多个主机管辖的任务信息,所述任务信息包括任务的归属主机和任务的优先级属性;
数据库任务信息装载模块:按需执行,从数据库中提取任务信息并将提取出的任务信息装入任务信息共享内存;
基础框架运行模块:创建进程管理共享内存,搭建基础平台支撑上层调度进程及任务进程的运行;调度进程执行任务时,通知平台进程,由平台进程从进程管理共享内存中查找空闲的槽位,并创建一个子进程作为任务进程;
任务调度模块:负责调度各个任务的周期性运行;定期从任务信息共享内存中读取任务的配置信息,检测各个任务的调度周期,对于需要调度执行的任务,绑定任务指定的优先级放入调度队列;全部任务检查完毕后,按照任务优先级由高到低依次读取队列中需要执行的任务,通知平台进程增加一个相应的任务进程,触发任务对应的执行程序的运行,任务进程执行时记录起止时间与执行结果,调度进程并不等待任务进程执行结束;
任务汇总模块:每台执行任务调度的主机运行一个代理进程;任务汇总进程定期执行,逐一向每台主机上的代理进程索要每台主机的任务信息共享内存的全部数据,放入本地缓存;全部信息索要完毕后一并装入任务信息汇总共享内存中,最后释放本地缓存;
运行监控模块:从任务信息汇总共享内存中提取任务配置数据及运行信息,能够实时查看任务调度整体运行信息以及每个任务的配置及运行信息。
9.如权利要求8所述大规模虚拟化环境中任务调度的优化系统,其特征是,所述优化系统还包括自我诊断模块:后台常驻执行,实时检测各个进程的运行状态,对于执行持续时间超过设定时限的任务进程,强行杀死,避免任务进程的无限期挂起,确保任务的执行可控;根据进程管理共享内存中记录的每个任务进程的进程ID,判断调度进程存活与否,如果调度进程异常终止则予以重新启动,确保整个调度工作持续稳定运行。
10.如权利要求8所述大规模虚拟化环境中任务调度的优化系统,其特征是,所述基础框架运行模块中:
所述平台进程通过UDP通信机制等待用户操作指令、调度进程或诊断进程的通知,作为调度进程及每个任务进程的父进程;
所述进程管理共享内存划分为多个槽位,基础框架之上运行的每个进程占用其中一个槽位,所述槽位用于存放任务编号、进程ID、用户ID、组ID、执行时间和执行时限信息,调度进程固定占用第一个槽位。
CN201410722428.7A 2014-12-02 2014-12-02 大规模虚拟化环境中任务调度的优化方法及优化系统 Active CN104331327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410722428.7A CN104331327B (zh) 2014-12-02 2014-12-02 大规模虚拟化环境中任务调度的优化方法及优化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410722428.7A CN104331327B (zh) 2014-12-02 2014-12-02 大规模虚拟化环境中任务调度的优化方法及优化系统

Publications (2)

Publication Number Publication Date
CN104331327A true CN104331327A (zh) 2015-02-04
CN104331327B CN104331327B (zh) 2017-07-11

Family

ID=52406061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410722428.7A Active CN104331327B (zh) 2014-12-02 2014-12-02 大规模虚拟化环境中任务调度的优化方法及优化系统

Country Status (1)

Country Link
CN (1) CN104331327B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138398A (zh) * 2015-09-30 2015-12-09 山东乾云启创信息科技有限公司 同步通信模式下socket通信与进程管理通用平台及方法
CN105204936A (zh) * 2015-09-30 2015-12-30 山东乾云启创信息科技有限公司 常驻进程管理通用平台及方法
CN105260238A (zh) * 2015-10-13 2016-01-20 珠海许继芝电网自动化有限公司 一种多进程提升性能部署的方法
CN105677464A (zh) * 2015-12-31 2016-06-15 江苏小牛电动科技有限公司 一种基于电动车中控系统的任务调度系统和方法
CN106453679A (zh) * 2016-09-30 2017-02-22 上海斐讯数据通信技术有限公司 一种非阻塞获取域名ip地址的方法与系统
CN106550021A (zh) * 2016-10-19 2017-03-29 广东欧珀移动通信有限公司 推送消息的推送方法及装置
CN106775974A (zh) * 2016-12-07 2017-05-31 国云科技股份有限公司 一种分布式优先级排队锁的实现方法
CN106802635A (zh) * 2017-03-08 2017-06-06 北京海普瑞森科技发展有限公司 一种隐形眼镜车床的控制方法、装置和系统
CN106886452A (zh) * 2017-01-23 2017-06-23 北京思特奇信息技术股份有限公司 一种简化云化系统任务调度的方法
CN107102901A (zh) * 2016-02-23 2017-08-29 华为技术有限公司 一种任务处理方法和装置
CN107133086A (zh) * 2016-02-29 2017-09-05 阿里巴巴集团控股有限公司 基于分布式系统的任务处理方法、装置和系统
CN107305580A (zh) * 2016-04-25 2017-10-31 西门子公司 一种数据调度的方法及装置
CN107479954A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 进程管理方法、装置、存储介质及电子设备
CN108701054A (zh) * 2016-02-16 2018-10-23 罗伯特·博世有限公司 用于运行控制器的方法和装置
CN108762896A (zh) * 2018-03-26 2018-11-06 福建星瑞格软件有限公司 一种基于Hadoop集群任务调度方法及计算机设备
CN109257396A (zh) * 2017-07-12 2019-01-22 阿里巴巴集团控股有限公司 一种分布式锁调度方法及装置
CN109558222A (zh) * 2018-09-30 2019-04-02 中国平安人寿保险股份有限公司 批量业务进程监控方法、装置、计算机及可读存储介质
CN109814997A (zh) * 2019-01-18 2019-05-28 创新奇智(广州)科技有限公司 一种分布式自主均衡人工智能任务调度方法及系统
CN109947015A (zh) * 2019-03-15 2019-06-28 浙江中控技术股份有限公司 任务的执行方法及主控制器
CN109947576A (zh) * 2017-12-21 2019-06-28 上海盛霄云计算技术有限公司 一种虚拟机内部代理程序管理的方法
CN109981652A (zh) * 2019-03-28 2019-07-05 北京中安兴坤科技有限公司 计算机安全检查系统以及方法
CN110516278A (zh) * 2019-06-16 2019-11-29 北京中科海讯数字科技股份有限公司 用于多源目标平台数据仿真的自动化装配式计算服务器软件架构系统
CN110597603A (zh) * 2019-06-03 2019-12-20 上海云盾信息技术有限公司 一种分布式排期任务的调度方法与系统
CN112306788A (zh) * 2019-07-29 2021-02-02 北京京东振世信息技术有限公司 一种程序动态的监控方法和装置
CN112882812A (zh) * 2021-03-16 2021-06-01 北京字节跳动网络技术有限公司 延时任务调度与存储方法、装置、设备、介质及系统
CN113377543A (zh) * 2021-06-28 2021-09-10 上海商汤科技开发有限公司 任务处理系统、电子设备和存储介质
CN113535695A (zh) * 2021-06-21 2021-10-22 中盾创新档案管理(北京)有限公司 一种基于进程调度的档案更新方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339521A (zh) * 2008-07-28 2009-01-07 华中科技大学 一种任务优先级动态调度算法
CN101986272A (zh) * 2010-11-05 2011-03-16 北京大学 一种云计算环境下的任务调度方法
CN102223419A (zh) * 2011-07-05 2011-10-19 北京邮电大学 面向网络化操作系统的虚拟资源动态反馈均衡分配机制
CN102339233A (zh) * 2010-07-15 2012-02-01 戴元顺 云计算集中管理平台
US20130219385A1 (en) * 2012-02-21 2013-08-22 Disney Enterprises, Inc. Batch scheduler management of virtual machines
CN103870338A (zh) * 2014-03-05 2014-06-18 国家电网公司 一种基于cpu核管理的分布式并行计算平台及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339521A (zh) * 2008-07-28 2009-01-07 华中科技大学 一种任务优先级动态调度算法
CN102339233A (zh) * 2010-07-15 2012-02-01 戴元顺 云计算集中管理平台
CN101986272A (zh) * 2010-11-05 2011-03-16 北京大学 一种云计算环境下的任务调度方法
CN102223419A (zh) * 2011-07-05 2011-10-19 北京邮电大学 面向网络化操作系统的虚拟资源动态反馈均衡分配机制
US20130219385A1 (en) * 2012-02-21 2013-08-22 Disney Enterprises, Inc. Batch scheduler management of virtual machines
CN103870338A (zh) * 2014-03-05 2014-06-18 国家电网公司 一种基于cpu核管理的分布式并行计算平台及方法

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138398A (zh) * 2015-09-30 2015-12-09 山东乾云启创信息科技有限公司 同步通信模式下socket通信与进程管理通用平台及方法
CN105204936A (zh) * 2015-09-30 2015-12-30 山东乾云启创信息科技有限公司 常驻进程管理通用平台及方法
CN105138398B (zh) * 2015-09-30 2019-09-27 山东乾云启创信息科技股份有限公司 同步通信模式下socket通信与进程管理通用平台及方法
CN105260238A (zh) * 2015-10-13 2016-01-20 珠海许继芝电网自动化有限公司 一种多进程提升性能部署的方法
CN105260238B (zh) * 2015-10-13 2018-10-02 珠海许继芝电网自动化有限公司 一种多进程提升性能部署的方法
CN105677464A (zh) * 2015-12-31 2016-06-15 江苏小牛电动科技有限公司 一种基于电动车中控系统的任务调度系统和方法
CN108701054B (zh) * 2016-02-16 2022-04-19 罗伯特·博世有限公司 用于运行控制器的方法和装置
US11115232B2 (en) 2016-02-16 2021-09-07 Robert Bosch Gmbh Method and device for operating a control unit
CN108701054A (zh) * 2016-02-16 2018-10-23 罗伯特·博世有限公司 用于运行控制器的方法和装置
CN107102901B (zh) * 2016-02-23 2020-07-14 华为技术有限公司 一种任务处理方法和装置
CN107102901A (zh) * 2016-02-23 2017-08-29 华为技术有限公司 一种任务处理方法和装置
US11256539B2 (en) 2016-02-29 2022-02-22 Alibaba Group Holding Limited Task processing method, apparatus, and system based on distributed system
CN107133086B (zh) * 2016-02-29 2020-09-04 阿里巴巴集团控股有限公司 基于分布式系统的任务处理方法、装置和系统
CN107133086A (zh) * 2016-02-29 2017-09-05 阿里巴巴集团控股有限公司 基于分布式系统的任务处理方法、装置和系统
WO2017148268A1 (zh) * 2016-02-29 2017-09-08 阿里巴巴集团控股有限公司 基于分布式系统的任务处理方法、装置和系统
CN107305580A (zh) * 2016-04-25 2017-10-31 西门子公司 一种数据调度的方法及装置
CN106453679A (zh) * 2016-09-30 2017-02-22 上海斐讯数据通信技术有限公司 一种非阻塞获取域名ip地址的方法与系统
CN106550021A (zh) * 2016-10-19 2017-03-29 广东欧珀移动通信有限公司 推送消息的推送方法及装置
CN106775974A (zh) * 2016-12-07 2017-05-31 国云科技股份有限公司 一种分布式优先级排队锁的实现方法
CN106775974B (zh) * 2016-12-07 2019-12-10 国云科技股份有限公司 一种分布式优先级排队锁的实现方法
CN106886452A (zh) * 2017-01-23 2017-06-23 北京思特奇信息技术股份有限公司 一种简化云化系统任务调度的方法
CN106886452B (zh) * 2017-01-23 2020-08-18 北京思特奇信息技术股份有限公司 一种简化云化系统任务调度的方法
CN106802635A (zh) * 2017-03-08 2017-06-06 北京海普瑞森科技发展有限公司 一种隐形眼镜车床的控制方法、装置和系统
CN109257396A (zh) * 2017-07-12 2019-01-22 阿里巴巴集团控股有限公司 一种分布式锁调度方法及装置
CN109257396B (zh) * 2017-07-12 2021-07-09 阿里巴巴集团控股有限公司 一种分布式锁调度方法及装置
CN107479954B (zh) * 2017-07-31 2019-10-29 Oppo广东移动通信有限公司 进程管理方法、装置、存储介质及电子设备
US11157315B2 (en) 2017-07-31 2021-10-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for process management and electronic device
CN107479954A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 进程管理方法、装置、存储介质及电子设备
CN109947576B (zh) * 2017-12-21 2022-12-06 上海盛霄云计算技术有限公司 一种虚拟机内部代理程序管理的方法
CN109947576A (zh) * 2017-12-21 2019-06-28 上海盛霄云计算技术有限公司 一种虚拟机内部代理程序管理的方法
CN108762896B (zh) * 2018-03-26 2022-04-12 福建星瑞格软件有限公司 一种基于Hadoop集群任务调度方法及计算机设备
CN108762896A (zh) * 2018-03-26 2018-11-06 福建星瑞格软件有限公司 一种基于Hadoop集群任务调度方法及计算机设备
CN109558222A (zh) * 2018-09-30 2019-04-02 中国平安人寿保险股份有限公司 批量业务进程监控方法、装置、计算机及可读存储介质
CN109814997A (zh) * 2019-01-18 2019-05-28 创新奇智(广州)科技有限公司 一种分布式自主均衡人工智能任务调度方法及系统
CN109947015A (zh) * 2019-03-15 2019-06-28 浙江中控技术股份有限公司 任务的执行方法及主控制器
CN109947015B (zh) * 2019-03-15 2020-08-28 浙江中控技术股份有限公司 任务的执行方法及主控制器
CN109981652A (zh) * 2019-03-28 2019-07-05 北京中安兴坤科技有限公司 计算机安全检查系统以及方法
CN110597603A (zh) * 2019-06-03 2019-12-20 上海云盾信息技术有限公司 一种分布式排期任务的调度方法与系统
CN110516278A (zh) * 2019-06-16 2019-11-29 北京中科海讯数字科技股份有限公司 用于多源目标平台数据仿真的自动化装配式计算服务器软件架构系统
CN112306788A (zh) * 2019-07-29 2021-02-02 北京京东振世信息技术有限公司 一种程序动态的监控方法和装置
CN112882812A (zh) * 2021-03-16 2021-06-01 北京字节跳动网络技术有限公司 延时任务调度与存储方法、装置、设备、介质及系统
CN113535695A (zh) * 2021-06-21 2021-10-22 中盾创新档案管理(北京)有限公司 一种基于进程调度的档案更新方法
CN113377543A (zh) * 2021-06-28 2021-09-10 上海商汤科技开发有限公司 任务处理系统、电子设备和存储介质

Also Published As

Publication number Publication date
CN104331327B (zh) 2017-07-11

Similar Documents

Publication Publication Date Title
CN104331327A (zh) 大规模虚拟化环境中任务调度的优化方法及优化系统
Tang et al. Twine: A unified cluster management system for shared infrastructure
CN109445802B (zh) 基于容器的私有化Paas平台及其发布应用的方法
CN102103518B (zh) 一种在虚拟化环境中管理资源的系统及其实现方法
CN102857363B (zh) 一种虚拟网络的自主管理系统和方法
AU2011299337B2 (en) Controlled automatic healing of data-center services
CN100543683C (zh) 对进程进行监控的方法和系统
CN104463492A (zh) 一种电力系统云仿真平台的运营管理方法
CN107786616A (zh) 基于云端的主机智能监控系统
CN102681899A (zh) 云计算服务平台的虚拟计算资源动态管理系统
JP2006011992A (ja) クラスタ構成コンピュータシステムの系切替方法
CN106201527B (zh) 一种基于逻辑分区的应用程序容器系统
CN104780220A (zh) 面向证券期货行业大型分布式系统的智能监控系统及监控方法
CN107451147A (zh) 一种kafka集群动态切换的方法和装置
CN102722431A (zh) 进程监控方法及装置
CN105610946B (zh) 一种基于docker技术的云跳板机系统
CN112579288A (zh) 一种基于云计算智能安全用数据管理系统
CN104850394B (zh) 分布式应用程序的管理方法和分布式系统
CN104184837A (zh) 高可用云计算一体机
CN109669877A (zh) 内存管理方法、装置、终端及存储介质
CN109582486A (zh) 一种看门狗监测方法、系统及设备和存储介质
CN102857371A (zh) 一种面向集群系统的动态配置管理方法
CN108304296A (zh) 一种服务器监控方法、系统、设备及计算机可读存储介质
CN107003713A (zh) 用于电力管理的逻辑分区环境的事件驱动重新优化
CN104184604A (zh) 一种云平台基础架构监管系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Xinluo Avenue high tech Zone of Ji'nan City, Shandong province 250101 silver bearing No. 2008 building B block 1001

Applicant after: SHANDONG MASSCLOUDS CO.,LTD.

Address before: 250101, C, building 401, bank building, Ji'nan hi tech Zone, Shandong, China

Applicant before: SHANDONG MASSCLOUDS CO.,LTD.

CB02 Change of applicant information

Address after: Xinluo Avenue high tech Zone of Ji'nan City, Shandong province 250101 silver bearing No. 2008 building B block 1001

Applicant after: SHANDONG QIANYUN QICHUANG INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Xinluo Avenue high tech Zone of Ji'nan City, Shandong province 250101 silver bearing No. 2008 building B block 1001

Applicant before: SHANDONG MASSCLOUDS CO.,LTD.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Optimization method and optimization system for task scheduling in large-scale virtualization environment

Effective date of registration: 20180328

Granted publication date: 20170711

Pledgee: Ji'nan branch of Limited by Share Ltd.

Pledgor: SHANDONG QIANYUN QICHUANG INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: 2018370000061

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20190729

Granted publication date: 20170711

Pledgee: Ji'nan branch of Limited by Share Ltd.

Pledgor: SHANDONG QIANYUN QICHUANG INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: 2018370000061

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Optimization method and system of task scheduling in large-scale virtualization environment

Effective date of registration: 20220328

Granted publication date: 20170711

Pledgee: Laishang Bank Co.,Ltd. Jinan Free Trade Zone sub branch

Pledgor: SHANDONG QIANYUN QICHUANG INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022980003212

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230731

Granted publication date: 20170711

Pledgee: Laishang Bank Co.,Ltd. Jinan Free Trade Zone sub branch

Pledgor: SHANDONG QIANYUN QICHUANG INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022980003212