CN109840144B - 一种针对跨机构批量服务请求的信息服务调度方法及系统 - Google Patents
一种针对跨机构批量服务请求的信息服务调度方法及系统 Download PDFInfo
- Publication number
- CN109840144B CN109840144B CN201811624065.8A CN201811624065A CN109840144B CN 109840144 B CN109840144 B CN 109840144B CN 201811624065 A CN201811624065 A CN 201811624065A CN 109840144 B CN109840144 B CN 109840144B
- Authority
- CN
- China
- Prior art keywords
- service
- request
- data
- service request
- batch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种针对跨机构批量服务请求的信息服务调度方法及系统,包括:对信息服务调度的参数进行配置;对接收的至少一个请求机构发送的多个批量服务请求进行解析,并根据配置的信息服务调度参数和设置的多进程控制策略将多个批量服务请求加载到任务队列中;不同的执行进程对接收的控制进程发送的服务请求进行线程调度,动态的分配到各执行线程中进行处理,并将与每个批量服务请求对应的请求数据返回至请求机构。本发明通过对信息服务调度的参数配置,合理安排进程数、线程数和服务请求的执行顺序,实现了不同请求机构间信息共享请求的及时响应,提高了不同机构之间协同处理的效率,满足了不同机构之间服务信息的多层次、多类型的需求。
Description
技术领域
本发明涉及数据处理技术领域,并且更具体地,涉及一种相针对跨机构批量服务请求的信息服务调度方法及系统。
背景技术
我国电子业务系统已经取得了一定发展,但是随着大数据时代的到来,原有的系统已经不能完全满足不同机构的需要。“信息孤岛”在电子业务系统中普遍存在,限制了电子业务系统向智慧业务系统的转变。对于政务系统也是如此,因此多地政府推进政务云平台建设,整合数据资源,建立人口、法人、地理信息、宏观经济等基本数据库和电子证照等专项数据库。采用逻辑上集中,物理相对独立的数据模式,整合接入各委办局现有业务信息数据,完善政务数据共享交换平台以及共享服务平台,推进政务数据跨地区、跨部门、跨层级开放、共享。政府信息共享服务平台可为接入政府云平台的单位用户提供批量数据应用服务,以满足业不同政务部门之间的数据协同共享需求。
因此,需要一种能够应对跨组织机构同时向大数据中心提出批量信息共享服务请求的信息服务调度机制,满足不同跨组织机构的多层次、多类型的长期需求。
发明内容
本发明提出一种针对跨机构批量服务请求的信息服务调度方法及系统,以解决如何对将批量服务请求进行处理的问题。
为了解决上述问题,根据本发明的一个方面,提供了一种针对跨机构批量服务请求的信息服务调度方法,其特征在于,所述方法包括:
对信息服务调度的参数进行配置;其中,所述参数包括:不同请求机构的请求处理的优先级顺序、并发执行任务数、任务队列大小、数据源和执行周期;
对接收的至少一个请求机构发送的多个批量服务请求进行解析,并根据配置的信息服务调度参数和设置的多进程控制策略将多个批量服务请求加载到任务队列中;
不同的执行进程对接收的控制进程发送的服务请求进行线程调度,动态的分配到各执行线程中进行处理,并将与每个批量服务请求对应的请求数据返回至请求机构。
优选地,其中所述设置的多进程控制策略为:根据系统时间触发的N×M+1模式多进程控制程序,N个进程分别是执行服务的服务执行进程;M是执行进程中可同时处理的线程数,每个线程调用具体的服务完成服务请求的务处理;+1进程是控制进程负责监控请求任务表建立任务队列,M中线程任务结束后启动新线程继续处理下一个批次的服务请求数据。
优选地,其中所述方法还包括:
控制进程汇总各执行线程的处理情况,并在执行线程处理完成服务请求后更新服务请求任务表中对应的服务请求的状态。
优选地,其中所述方法还包括:
各执行线程与控制进程之间进行心跳检测,以判断执行线程是否呆死或出错状态,并自动关闭处于呆死状态的执行线程,以重新启动新线程。
优选地,其中所述方法还包括:
利用文件批量服务对接收的批量服务请求进行解包处理,所述解包处理包括:从“批量请求文件夹”中读取服务请求文件的格式以进行校验,将校验不合格的服务请求文件直接移至“不合格请求文件”文件夹;根据校验合格的服务请求文件生成服务请求ID,根据服务类型将服务请求数据保存至相对应的服务请求数据表;保存文件批量服务请求任务,服务执行状态设置为“待执行”,并校验合格的服务请求文件移至“已接收请求文件”文件夹。
优选地,其中所述方法还包括:
利用文件批量服务对已执行完成的服务请求进行打包处理,所述打包处理包括:读取文件批量服务请求中处于“执行完成”状态的服务请求ID;根据服务请求ID读取服务请求结果数据表中的数据并生成文件进行压缩后放置到“批量反馈文件夹”;以及更新文件批量服务请求中服务请求的执行状态为“打包完成”。
优选地,其中所述方法还包括:
将解包异常的数据包移至异常数据目录,更新批量服务请求表中的执行状态为“异常”,并记录异常信息;
将打包异常的数据包移至异常数据目录,更新批量服务请求表中的执行状态为“异常”,并记录异常信息。
优选地,其中所述方法还包括:
对解析后的批量服务请求的数据进行格式校验,所述格式校验包括:数据格式校验、非空数据项校验、数据类型校验、数据长度校验、日期格式校验和字典项代码校验。
优选地,其中所述方法还包括:
对于格式校验未通过的批量服务请求不予分发处理,并记录格式校验未通过的请求数据和处理结果,生成异常处理结果文件;同时将请求数据中标注错误的数据生成服务数据反馈信息,反馈给服务请求提交的请求机构。
优选地,其中所述方法还包括:
对批量服务请求表中的任务执行信息以及建立的数据库或网络异常情况的错误日志进行查询。
根据本发明的另一个方面,提供了一种针对跨机构批量服务请求的信息服务调度系统,其特征在于,所述系统包括:
参数配置模块,用于对信息服务调度的参数进行配置;其中,所述参数包括:不同请求机构的请求处理的优先级顺序、并发执行任务数、任务队列大小、数据源和执行周期;
服务请求解析模块,用于对接收的至少一个请求机构发送的多个批量服务请求进行解析,并根据配置的信息服务调度参数和设置的多进程控制策略将多个批量服务请求加载到任务队列中;
服务请求处理模块,用于不同的执行进程对接收的控制进程发送的服务请求进行线程调度,动态的分配到各执行线程中进行处理,并将与每个批量服务请求对应的请求数据返回至请求机构。
优选地,其中所述设置的多进程控制策略为:根据系统时间触发的N×M+1模式多进程控制程序,N个进程分别是执行服务的服务执行进程;M是执行进程中可同时处理的线程数,每个线程调用具体的服务完成服务请求的务处理;+1进程是控制进程负责监控请求任务表建立任务队列,M中线程任务结束后启动新线程继续处理下一个批次的服务请求数据。
优选地,其中所述系统还包括:
服务请求状态更新模块,用于控制进程汇总各执行线程的处理情况,并在执行线程处理完成服务请求后更新服务请求任务表中对应的服务请求的状态。
优选地,其中所述系统还包括:
心跳检测模块,用于各执行线程与控制进程之间进行心跳检测,以判断执行线程是否呆死或出错状态,并自动关闭处于呆死状态的执行线程,以重新启动新线程。
优选地,其中所述系统还包括:
解包模块,用于利用文件批量服务对接收的批量服务请求进行解包处理,所述解包处理包括:从“批量请求文件夹”中读取服务请求文件的格式以进行校验,将校验不合格的服务请求文件直接移至“不合格请求文件”文件夹;根据校验合格的服务请求文件生成服务请求ID,根据服务类型将服务请求数据保存至相对应的服务请求数据表;保存文件批量服务请求任务,服务执行状态设置为“待执行”,并校验合格的服务请求文件移至“已接收请求文件”文件夹。
优选地,其中所述系统还包括:
打包模块,用于利用文件批量服务对已执行完成的服务请求进行打包处理,所述打包处理包括:读取文件批量服务请求中处于“执行完成”状态的服务请求ID;根据服务请求ID读取服务请求结果数据表中的数据并生成文件进行压缩后放置到“批量反馈文件夹”;以及更新文件批量服务请求中服务请求的执行状态为“打包完成”。
优选地,其中所述系统还包括:异常数据处理模块,
用于将解包异常的数据包移至异常数据目录,更新批量服务请求表中的执行状态为“异常”,并记录异常信息;
用于将打包异常的数据包移至异常数据目录,更新批量服务请求表中的执行状态为“异常”,并记录异常信息。
优选地,其中所述系统还包括:
格式校验模块,用于对解析后的批量服务请求的数据进行格式校验,所述格式校验包括:数据格式校验、非空数据项校验、数据类型校验、数据长度校验、日期格式校验和字典项代码校验。
优选地,其中所述格式校验模块,还包括:
对于格式校验未通过的批量服务请求不予分发处理,并记录格式校验未通过的请求数据和处理结果,生成异常处理结果文件;同时将请求数据中标注错误的数据生成服务数据反馈信息,反馈给服务请求提交的请求机构。
优选地,其中所述系统还包括:
查询模块,用于对批量服务请求表中的任务执行信息以及建立的数据库或网络异常情况的错误日志进行查询。
本发明提供了一种针对跨机构批量服务请求的信息服务调度方法及系统,包括:对信息服务调度的参数进行配置;对接收的至少一个请求机构发送的多个批量服务请求进行解析,并根据配置的信息服务调度参数和设置的多进程控制策略将多个批量服务请求加载到任务队列中;不同的执行进程对接收的控制进程发送的服务请求进行线程调度,动态的分配到各执行线程中进行处理,并将与每个批量服务请求对应的请求数据返回至请求机构。本发明通过对信息服务调度的参数配置,合理安排任务执行的进程数、线程数,合理安排服务请求的执行顺序,以实现不同请求机构间信息共享请求的及时响应以及服务信息交互的准确性,有效的提高了不同机构之间协同处理的效率,满足了不同机构之间服务信息的多层次、多类型的需求。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为根据本发明实施方式的针对跨机构批量服务请求的信息服务调度方法100的流程图;
图2为根据本发明实施方式的服务请求调度框架图;
图3为根据本发明实施方式的服务请求调度的示例图;
图4为根据本发明实施方式的利用文件批量服务进行解包的流程图;
图5为根据本发明实施方式的利用文件批量服务进行打包的流程图;
图6为根据本发明实施方式的对批量服务请求数据进行校验的流程图;
图7为根据本发明实施方式的信息服务调度监控流程图;
图8为根据本发明实施方式的信息服务调度总的处理示意图;以及
图9为根据本发明实施方式的针对跨机构批量服务请求的信息服务调度系统900的结构示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。
除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明实施方式的针对跨机构批量服务请求的信息服务调度方法100的流程图。如图1所示,本发明的实施方式提供的针对跨机构批量服务请求的信息服务调度方法,通过对信息服务调度的参数配置,合理安排任务执行的进程数、线程数,合理安排服务请求的执行顺序,以实现不同请求机构间信息共享请求的及时响应以及服务信息交互的准确性,有效的提高了不同机构之间协同处理的效率,满足了不同机构之间服务信息的多层次、多类型的需求。本发明的实施方式提供的针对跨机构批量服务请求的信息服务调度方法100从步骤101处开始,在步骤101对信息服务调度的参数进行配置;其中,所述参数包括:不同请求机构的请求处理的优先级顺序、并发执行任务数、任务队列大小、数据源和执行周期。
在本发明的实施方式中,信息服务调度配置的参数主要包括:优先级、并发执行任务数、任务队列大小、数据源、执行周期等配置参数。其中,优先级,用于设定对不同请求机构服务的优先级,任务执行优先级依据服务使用申请信息中优先级高中低进行排列。请求机构发送服务请求的方式包括:门户访问发送、通过前置系统发送一级利用接口系统发送。并发执行任务数和任务队列大小根据服务器性能具体在配置文件中进行设定。数据源分为两种方式:文件方式通过配置文件保存共享服务批量请求文件夹地址和共享服务批量反馈文件夹地址;数据库方式通过配置文件保存共享服务批量请求数据源和共享服务批量反馈数据源。执行周期通过配置文件保存批量数据服务执行时间周期。
图2为根据本发明实施方式的服务请求调度框架图。如图2所示,信息服务调度系统完成对通过前置系统提交大批量、门户提交的小批量的服务请求数据解析,调用后台共享服务平台,完成请求处理并将处理结果发送到数据反馈管理子系统,同步到各部委前置系统端或门户系统。信息服务调度子系统处理查询、核查、比对等各类信息服务请求,并且只处理通过审核审批的服务请求;调用共享服务平台支持同步、异步结果返回两种方式。信息服务调度是批量服务请求进行调度处理,主要包括信息服务调度配置、信息服务调度控制、信息服务任务接收反馈、日志处理、服务调度监控。
优选地,在步骤102对接收的至少一个请求机构发送的多个批量服务请求进行解析,并根据配置的信息服务调度参数和设置的多进程控制策略将多个批量服务请求加载到任务队列中。
优选地,其中所述设置的多进程控制策略为:根据系统时间触发的N×M+1模式多进程控制程序,N个进程分别是执行服务的服务执行进程;M是执行进程中可同时处理的线程数,每个线程调用具体的服务完成服务请求的务处理;+1进程是控制进程负责监控请求任务表建立任务队列,M中线程任务结束后启动新线程继续处理下一个批次的服务请求数据。
优选地,其中所述方法还包括:
利用文件批量服务对接收的批量服务请求进行解包处理,所述解包处理包括:从“批量请求文件夹”中读取服务请求文件的格式以进行校验,将校验不合格的服务请求文件直接移至“不合格请求文件”文件夹;根据校验合格的服务请求文件生成服务请求ID,根据服务类型将服务请求数据保存至相对应的服务请求数据表;保存文件批量服务请求任务,服务执行状态设置为“待执行”,并校验合格的服务请求文件移至“已接收请求文件”文件夹。
优选地,其中所述方法还包括:
利用文件批量服务对已执行完成的服务请求进行打包处理,所述打包处理包括:读取文件批量服务请求中处于“执行完成”状态的服务请求ID;根据服务请求ID读取服务请求结果数据表中的数据并生成文件进行压缩后放置到“批量反馈文件夹”;以及更新文件批量服务请求中服务请求的执行状态为“打包完成”。
优选地,其中所述方法还包括:
将解包异常的数据包移至异常数据目录,更新批量服务请求表中的执行状态为“异常”,并记录异常信息;
将打包异常的数据包移至异常数据目录,更新批量服务请求表中的执行状态为“异常”,并记录异常信息。
优选地,其中所述方法还包括:
控制进程汇总各执行线程的处理情况,并在执行线程处理完成服务请求后更新服务请求任务表中对应的服务请求的状态。
优选地,其中所述方法还包括:
各执行线程与控制进程之间进行心跳检测,以判断执行线程是否呆死或出错状态,并自动关闭处于呆死状态的执行线程,以重新启动新线程。
优选地,其中所述方法还包括:
对解析后的批量服务请求的数据进行格式校验,所述格式校验包括:数据格式校验、非空数据项校验、数据类型校验、数据长度校验、日期格式校验和字典项代码校验。
优选地,其中所述方法还包括:
对于格式校验未通过的批量服务请求不予分发处理,并记录格式校验未通过的请求数据和处理结果,生成异常处理结果文件;同时将请求数据中标注错误的数据生成服务数据反馈信息,反馈给服务请求提交的请求机构。
图3为根据本发明实施方式的服务请求调度的示例图。如图3所示,信息服务调度控制程序,根据系统时间触发的N×M+1模式多进程控制程序,N个进程分别是执行服务的执行进程;M是执行进程中可同时处理的线程数,每个线程调用具体服务完成请求服务处理;+1进程是控制进程负责监控请求任务表建立任务队列,M中线程任务结束后启动新线程继续处理下一个批次的服务请求数据。控制进程根据服务请求申请优先级将服务请求任务加载到任务队列中,保证优先级高的批量服务请求先执行,优先级低的批量服务请求后执行。执行进程进行线程调度将分配的任务动态平均分配到各执行线程。执行线程根据任务ID取得相应的请求数据执行服务处理,完毕后将结果保存到相应的请求结果数据表。主进程汇总各线程的处理情况,处理完成更新服务请求任务表状态。执行线程与主进程进行心跳检测,以判断线程是否呆死或出错。主进程对呆死线程能自动关闭,并能重新启动新线程。
服务调度执行过程中发生应用程序异常情况,将异常数据包移至异常数据目录,更新批量服务请求表中执行状态为“异常”并记录异常信息。发生数据库异常或网络异常情况,将异常数据包移至异常数据目录,记录异常信息日志文件(出错时间、出错数据包)。
以文件形式批量请求服务时文件接收与反馈分别需要进行解包和打包操作。
图4为根据本发明实施方式的利用文件批量服务进行解包的流程图。如图4所示,解包操作包括:从“批量请求文件夹”读取请求文件校验文件格式,不合格文件直接移至“不合格请求文件”文件夹;生成服务请求ID(即任务ID)将服务请求数据根据服务类型保存至相对应的服务请求数据表;保存文件批量服务请求任务,服务执行状态“待执行”;将请求文件移至“已接收请求文件”文件夹。
若在解包过程发生数据异常,则将异常数据包移至异常数据目录,更新批量服务请求表中执行状态为“异常”,并记录异常信息。
图5为根据本发明实施方式的利用文件批量服务进行打包的流程图。如图5所示,打包操作包括:读取批量服务请求中“执行完成”状态的服务请求ID;根据服务请求ID(即任务ID)读取服务请求结果数据表数据;将数据生成文件压缩包放置到“批量反馈文件夹”;更新文件批量服务请求中服务执行状态“打包完成”。
若在打包过程发生数据异常,则将异常数据包移至异常数据目录,更新批量服务请求表中执行状态为“异常”,并记录异常信息。
在本发明的实施方式中,还需要对解析后的批量服务请求数据进行校验。图6为根据本发明实施方式的对批量服务请求数据进行校验的流程图。如图6所示,对批量服务请求数据进行格式校验,包括对请求文件或数据库记录的检查。校验的数据项包括:数格式校验、非空数据项校验、数据类型校验、数据长度校验、日期格式校验、字典项代码是否存在字典中等校验。当检查数据未通过时,不予分发处理,记录格式检查未通过的请求数据和处理结果,生成异常处理结果文件,同时将请求数据中标注错误的数据生成服务数据反馈信息,反馈给服务请求提交的请求机构。
优选地,在步骤103不同的执行进程对接收的控制进程发送的服务请求进行线程调度,动态的分配到各执行线程中进行处理,并将与每个批量服务请求对应的请求数据返回至请求机构。
优选地,其中所述方法还包括:
对批量服务请求表中的任务执行信息以及建立的数据库或网络异常情况的错误日志进行查询。
图7为根据本发明实施方式的信息服务调度监控流程图。如图7所示,在本方面的实施方式中,提供对批量服务请求表中的任务进行查询的功能。查询内容包括服务申请单位名称、请求服务名称、服务接收时间、服务启动时间、服务完成时间、服务反馈时间、优先级、请求数据量、服务执行状态等任务执行信息。对“待执行”状态数据可以进行终止操作;对“异常”状态数据可以进行重启操作。对于数据库发生异常或网络异常情况影响服务正常执行的情况,提供错误日志查询功能。
图8为根据本发明实施方式的信息服务调度总的处理示意图。如图8所示,本发明的实施方式提供的信息服务调度系统的供能包括:批量服务请求解析、批量服务调度和批量服务监控。
对于批量服务请求解析,信息服务调度系统部署在中央端数据处理区,批量服务监控工具扫描到大批量服务请求后,读取中央交换库、中央端文件系统中的信息服务请求数据。经过权限及服务许可验证后,根据请求优先级对大批量服务请求文件进行解析处理,分发到不同的服务执行相应的具体服务。
以文件形式提交的批量请求服务,信息服务任务接收与反馈分别需要进行解包和打包操作。解包的过程中对请求数据进行清洗转换。
对于批量服务请求调度,在大批量请求数据中,异构查询数据请求因为系统资源限制和并发处理需求等原因大批量服务请求通常需要经过转译、整合等特殊处理才能实现体的查询动作并返回查询的结果。
批量查询代理导航完成批量服务后,将结果按照规定格式存入中心端中央端文件系统。
数据库同步工具将服务结果同步到对应部委的前置数据库中,再由部委端业务整合系统下发批量服务结果。
对于批量服务监控,用于实现对批量服务任务执行情况的监控。日志处理程序采用异步的方式实现每一条请求数据的服务均记录日志信息。信息服务调度子系统的调用、分发、返回接收过程均记录日志,通过日志信息完成过程回溯、业务追踪功能实现。
本发明的针对跨机构批量服务请求的信息服务调度方法,目的在于为应对跨组织机构同时向大数据中心提出批量信息共享服务请求。通过判断请求的优先级程度及互斥关系、请求数大小、要求执行周期等条件,进行多进程、多线程的并发调度,根据当前系统资源的状况,合理安排任务执行的进程数、线程数,合理安排服务请求的执行顺序。本发明可以应用于政府部门之间,用于实现政府部门间信息共享请求的及时响应,及服务信息交互的准确性,保障政府部门依法行政提供信息共享服务,有效提高政府协同办事效率。本发明的实施方式能够为政府部门由管理者的角色向服务者的角色的逐步转变,提高政务信息资源开发利用率、互联程度、共享程度。有助于整合分散在政府各部门的政务服务信息,为电子政务建设提供数据共享服务机制,为政府的正确决策提供坚实的信息支持,满足企事业单位和公民个人对政府服务信息的多层次、多类型的长期需求。
图9为根据本发明实施方式的针对跨机构批量服务请求的信息服务调度系统900的结构示意图。如图9所示,本发明的实施方式提供的种针对跨机构批量服务请求的信息服务调度系统900,包括:参数配置模块901、服务请求解析模块902和服务请求处理模块903。优选地,所述参数配置模块901,用于对信息服务调度的参数进行配置;其中,所述参数包括:不同请求机构的请求处理的优先级顺序、并发执行任务数、任务队列大小、数据源和执行周期。
优选地,所述服务请求解析模块902,用于对接收的至少一个请求机构发送的多个批量服务请求进行解析,并根据配置的信息服务调度参数和设置的多进程控制策略将多个批量服务请求加载到任务队列中。
优选地,其中所述设置的多进程控制策略为:根据系统时间触发的N×M+1模式多进程控制程序,N个进程分别是执行服务的服务执行进程;M是执行进程中可同时处理的线程数,每个线程调用具体的服务完成服务请求的务处理;+1进程是控制进程负责监控请求任务表建立任务队列,M中线程任务结束后启动新线程继续处理下一个批次的服务请求数据。
优选地,所述服务请求处理模块903,用于不同的执行进程对接收的控制进程发送的服务请求进行线程调度,动态的分配到各执行线程中进行处理,并将与每个批量服务请求对应的请求数据返回至请求机构。
优选地,其中所述系统还包括:服务请求状态更新模块,用于控制进程汇总各执行线程的处理情况,并在执行线程处理完成服务请求后更新服务请求任务表中对应的服务请求的状态。
优选地,其中所述系统还包括:心跳检测模块,用于各执行线程与控制进程之间进行心跳检测,以判断执行线程是否呆死或出错状态,并自动关闭处于呆死状态的执行线程,以重新启动新线程。
优选地,其中所述系统还包括:解包模块,用于利用文件批量服务对接收的批量服务请求进行解包处理,所述解包处理包括:从“批量请求文件夹”中读取服务请求文件的格式以进行校验,将校验不合格的服务请求文件直接移至“不合格请求文件”文件夹;根据校验合格的服务请求文件生成服务请求ID,根据服务类型将服务请求数据保存至相对应的服务请求数据表;保存文件批量服务请求任务,服务执行状态设置为“待执行”,并校验合格的服务请求文件移至“已接收请求文件”文件夹。
优选地,其中所述系统还包括:打包模块,用于利用文件批量服务对已执行完成的服务请求进行打包处理,所述打包处理包括:读取文件批量服务请求中处于“执行完成”状态的服务请求ID;根据服务请求ID读取服务请求结果数据表中的数据并生成文件进行压缩后放置到“批量反馈文件夹”;以及更新文件批量服务请求中服务请求的执行状态为“打包完成”。
优选地,其中所述系统还包括:异常数据处理模块,用于将解包异常的数据包移至异常数据目录,更新批量服务请求表中的执行状态为“异常”,并记录异常信息;用于将打包异常的数据包移至异常数据目录,更新批量服务请求表中的执行状态为“异常”,并记录异常信息。
优选地,其中所述系统还包括:格式校验模块,用于对解析后的批量服务请求的数据进行格式校验,所述格式校验包括:数据格式校验、非空数据项校验、数据类型校验、数据长度校验、日期格式校验和字典项代码校验。
优选地,其中所述格式校验模块,还包括:对于格式校验未通过的批量服务请求不予分发处理,并记录格式校验未通过的请求数据和处理结果,生成异常处理结果文件;同时将请求数据中标注错误的数据生成服务数据反馈信息,反馈给服务请求提交的请求机构。
优选地,其中所述系统还包括:查询模块,用于对批量服务请求表中的任务执行信息以及建立的数据库或网络异常情况的错误日志进行查询。
本发明的实施例的针对跨机构批量服务请求的信息服务调度系统900与本发明的另一个实施例的针对跨机构批量服务请求的信息服务调度方法100相对应,在此不再赘述。
已经通过参考少量实施方式描述了本发明。然而,本领域技术人员所公知的,正如附带的专利权利要求所限定的,除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地,在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释,除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例,除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行,除非明确地说明。
Claims (12)
1.一种针对跨机构批量服务请求的信息服务调度方法,其特征在于,所述方法包括:
对信息服务调度的参数进行配置;其中,所述参数包括:不同请求机构的请求处理的优先级顺序、并发执行任务数、任务队列大小、数据源和执行周期;
对接收的至少一个请求机构发送的多个批量服务请求进行解析,并根据配置的信息服务调度参数和设置的多进程控制策略将多个批量服务请求加载到任务队列中;
不同的执行进程对接收的控制进程发送的服务请求进行线程调度,动态的分配到各执行线程中进行处理,并将与每个批量服务请求对应的请求数据返回至请求机构;
所述设置的多进程控制策略为:根据系统时间触发的N×M+1模式多进程控制程序,N个进程分别是执行服务的服务执行进程;M是执行进程中可同时处理的线程数,每个线程调用具体的服务完成服务请求的服务处理;+1进程是控制进程负责监控请求任务表建立任务队列,M中线程任务结束后启动新线程继续处理下一个批次的服务请求数据;
控制进程汇总各执行线程的处理情况,并在执行线程处理完成服务请求后更新服务请求任务表中对应的服务请求的状态;
各执行线程与控制进程之间进行心跳检测,以判断执行线程是否呆死或出错状态,并自动关闭处于呆死状态的执行线程,以重新启动新线程;
利用文件批量服务对接收的批量服务请求进行解包处理,所述解包处理包括:从“批量请求文件夹”中读取服务请求文件的格式以进行校验,将校验不合格的服务请求文件直接移至“不合格请求文件”文件夹;根据校验合格的服务请求文件生成服务请求ID,根据服务类型将服务请求数据保存至相对应的服务请求数据表;保存文件批量服务请求任务,服务执行状态设置为“待执行”,并校验合格的服务请求文件移至“已接收请求文件”文件夹。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
利用文件批量服务对已执行完成的服务请求进行打包处理,所述打包处理包括:读取文件批量服务请求中处于“执行完成”状态的服务请求ID;根据服务请求ID读取服务请求结果数据表中的数据并生成文件进行压缩后放置到“批量反馈文件夹”;以及更新文件批量服务请求中服务请求的执行状态为“打包完成”。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
将解包异常的数据包移至异常数据目录,更新批量服务请求表中的执行状态为“异常”,并记录异常信息;
将打包异常的数据包移至异常数据目录,更新批量服务请求表中的执行状态为“异常”,并记录异常信息。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对解析后的批量服务请求的数据进行格式校验,所述格式校验包括:数据格式校验、非空数据项校验、数据类型校验、数据长度校验、日期格式校验和字典项代码校验。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
对于格式校验未通过的批量服务请求不予分发处理,并记录格式校验未通过的请求数据和处理结果,生成异常处理结果文件;同时将请求数据中标注错误的数据生成服务数据反馈信息,反馈给服务请求提交的请求机构。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对批量服务请求表中的任务执行信息以及建立的数据库或网络异常情况的错误日志进行查询。
7.一种针对跨机构批量服务请求的信息服务调度系统,其特征在于,所述系统包括:
参数配置模块,用于对信息服务调度的参数进行配置;其中,所述参数包括:不同请求机构的请求处理的优先级顺序、并发执行任务数、任务队列大小、数据源和执行周期;
服务请求解析模块,用于对接收的至少一个请求机构发送的多个批量服务请求进行解析,并根据配置的信息服务调度参数和设置的多进程控制策略将多个批量服务请求加载到任务队列中;
服务请求处理模块,用于不同的执行进程对接收的控制进程发送的服务请求进行线程调度,动态的分配到各执行线程中进行处理,并将与每个批量服务请求对应的请求数据返回至请求机构;
所述设置的多进程控制策略为:根据系统时间触发的N×M+1模式多进程控制程序,N个进程分别是执行服务的服务执行进程;M是执行进程中可同时处理的线程数,每个线程调用具体的服务完成服务请求的服务处理;+1进程是控制进程负责监控请求任务表建立任务队列,M中线程任务结束后启动新线程继续处理下一个批次的服务请求数据;
服务请求状态更新模块,用于控制进程汇总各执行线程的处理情况,并在执行线程处理完成服务请求后更新服务请求任务表中对应的服务请求的状态;
心跳检测模块,用于各执行线程与控制进程之间进行心跳检测,以判断执行线程是否呆死或出错状态,并自动关闭处于呆死状态的执行线程,以重新启动新线程;
解包模块,用于利用文件批量服务对接收的批量服务请求进行解包处理,所述解包处理包括:从“批量请求文件夹”中读取服务请求文件的格式以进行校验,将校验不合格的服务请求文件直接移至“不合格请求文件”文件夹;根据校验合格的服务请求文件生成服务请求ID,根据服务类型将服务请求数据保存至相对应的服务请求数据表;保存文件批量服务请求任务,服务执行状态设置为“待执行”,并校验合格的服务请求文件移至“已接收请求文件”文件夹。
8.根据权利要求7所述的系统,其特征在于,所述系统还包括:
打包模块,用于利用文件批量服务对已执行完成的服务请求进行打包处理,所述打包处理包括:读取文件批量服务请求中处于“执行完成”状态的服务请求ID;根据服务请求ID读取服务请求结果数据表中的数据并生成文件进行压缩后放置到“批量反馈文件夹”;以及更新文件批量服务请求中服务请求的执行状态为“打包完成”。
9.根据权利要求8所述的系统,其特征在于,所述系统还包括:异常数据处理模块,
用于将解包异常的数据包移至异常数据目录,更新批量服务请求表中的执行状态为“异常”,并记录异常信息;
用于将打包异常的数据包移至异常数据目录,更新批量服务请求表中的执行状态为“异常”,并记录异常信息。
10.根据权利要求7所述的系统,其特征在于,所述系统还包括:
格式校验模块,用于对解析后的批量服务请求的数据进行格式校验,所述格式校验包括:数据格式校验、非空数据项校验、数据类型校验、数据长度校验、日期格式校验和字典项代码校验。
11.根据权利要求10所述的系统,其特征在于,所述格式校验模块,还包括:
对于格式校验未通过的批量服务请求不予分发处理,并记录格式校验未通过的请求数据和处理结果,生成异常处理结果文件;同时将请求数据中标注错误的数据生成服务数据反馈信息,反馈给服务请求提交的请求机构。
12.根据权利要求7所述的系统,其特征在于,所述系统还包括:
查询模块,用于对批量服务请求表中的任务执行信息以及建立的数据库或网络异常情况的错误日志进行查询。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811624065.8A CN109840144B (zh) | 2018-12-28 | 2018-12-28 | 一种针对跨机构批量服务请求的信息服务调度方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811624065.8A CN109840144B (zh) | 2018-12-28 | 2018-12-28 | 一种针对跨机构批量服务请求的信息服务调度方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109840144A CN109840144A (zh) | 2019-06-04 |
CN109840144B true CN109840144B (zh) | 2023-09-19 |
Family
ID=66883552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811624065.8A Active CN109840144B (zh) | 2018-12-28 | 2018-12-28 | 一种针对跨机构批量服务请求的信息服务调度方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109840144B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110493303B (zh) * | 2019-07-03 | 2022-04-01 | 招联消费金融有限公司 | 业务数据处理系统及方法 |
CN110515698A (zh) * | 2019-08-16 | 2019-11-29 | 济南浪潮数据技术有限公司 | 一种资源申请方法、系统及电子设备和存储介质 |
CN111083197A (zh) * | 2019-11-20 | 2020-04-28 | 中盈优创资讯科技有限公司 | 报表调度方法及装置 |
CN111522576B (zh) * | 2020-03-27 | 2023-04-14 | Vidaa(荷兰)国际控股有限公司 | 应用管理方法、装置、设备及计算机存储介质 |
CN111770185A (zh) * | 2020-07-03 | 2020-10-13 | 中国农业银行股份有限公司贵州省分行 | 一种数据加密传输及存储的系统 |
CN112632363A (zh) * | 2020-12-18 | 2021-04-09 | 深圳前海微众银行股份有限公司 | 批量查询请求的处理方法、装置、设备及可读存储介质 |
CN112799805B (zh) * | 2021-01-21 | 2024-09-06 | 惠州Tcl移动通信有限公司 | 基于终端设备的调度方法、装置、存储介质及终端设备 |
CN115289735B (zh) * | 2022-09-16 | 2024-06-25 | 马鞍山粤美智造电子科技有限公司 | 一种智能制冰机控制系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102637214A (zh) * | 2012-04-28 | 2012-08-15 | 中国工商银行股份有限公司 | 基于数据库服务间的通用数据同步方法及其系统 |
CN102955721A (zh) * | 2011-08-16 | 2013-03-06 | 阿里巴巴集团控股有限公司 | 一种测试用的压力生成方法及装置 |
CN104035817A (zh) * | 2014-07-08 | 2014-09-10 | 领佰思自动化科技(上海)有限公司 | 大规模集成电路物理实现的分布式并行计算方法及其系统 |
CN104243405A (zh) * | 2013-06-08 | 2014-12-24 | 华为技术有限公司 | 一种请求处理方法、装置及系统 |
CN106126354A (zh) * | 2016-06-21 | 2016-11-16 | 中国建设银行股份有限公司 | 一种异步批量处理方法及系统 |
WO2018126742A1 (zh) * | 2017-01-05 | 2018-07-12 | 福建亿榕信息技术有限公司 | 存量档案电子化批量处理方法、系统及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6886041B2 (en) * | 2001-10-05 | 2005-04-26 | Bea Systems, Inc. | System for application server messaging with multiple dispatch pools |
CN104133724B (zh) * | 2014-04-03 | 2015-08-19 | 腾讯科技(深圳)有限公司 | 并发任务调度方法及装置 |
US10270711B2 (en) * | 2017-03-16 | 2019-04-23 | Red Hat, Inc. | Efficient cloud service capacity scaling |
-
2018
- 2018-12-28 CN CN201811624065.8A patent/CN109840144B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102955721A (zh) * | 2011-08-16 | 2013-03-06 | 阿里巴巴集团控股有限公司 | 一种测试用的压力生成方法及装置 |
CN102637214A (zh) * | 2012-04-28 | 2012-08-15 | 中国工商银行股份有限公司 | 基于数据库服务间的通用数据同步方法及其系统 |
CN104243405A (zh) * | 2013-06-08 | 2014-12-24 | 华为技术有限公司 | 一种请求处理方法、装置及系统 |
CN104035817A (zh) * | 2014-07-08 | 2014-09-10 | 领佰思自动化科技(上海)有限公司 | 大规模集成电路物理实现的分布式并行计算方法及其系统 |
CN106126354A (zh) * | 2016-06-21 | 2016-11-16 | 中国建设银行股份有限公司 | 一种异步批量处理方法及系统 |
WO2018126742A1 (zh) * | 2017-01-05 | 2018-07-12 | 福建亿榕信息技术有限公司 | 存量档案电子化批量处理方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109840144A (zh) | 2019-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109840144B (zh) | 一种针对跨机构批量服务请求的信息服务调度方法及系统 | |
CN110069572B (zh) | 基于大数据平台的hive任务调度方法、装置、设备及存储介质 | |
CN107729139B (zh) | 一种并发获取资源的方法和装置 | |
US20050278342A1 (en) | System and method for auditing a network | |
CN110019251A (zh) | 一种数据处理系统、方法及设备 | |
CN111061788A (zh) | 一种基于云架构的多源异构数据转换整合系统及其实现方法 | |
CA2388624A1 (en) | Architectures for netcentric computing systems | |
CN101727475B (zh) | 一种获取数据库访问过程的方法、装置及系统 | |
CN113298503A (zh) | 一种面向政务的工作流管理系统及其分库分表方法 | |
US11169847B1 (en) | Method and device for processing distributed data solving problem of manual intervention by data analysts | |
US20200371902A1 (en) | Systems and methods for software regression detection | |
US11120049B2 (en) | Concurrent data imports | |
WO2004077214A2 (en) | System and method for scheduling server functions irrespective of server functionality | |
CN116016531A (zh) | 一种批量停复机处理方法及装置 | |
CN112905676A (zh) | 一种数据文件的导入方法及装置 | |
WO2022173589A1 (en) | Near-real-time data processing with partition files | |
CN114020368A (zh) | 基于状态机的信息处理方法、装置和存储介质 | |
EP2948871A1 (en) | Method for accessing and automatically correlating data from a plurality of external data sources | |
GB2456201A (en) | Notification of a background processing event in an enterprise resource planning system | |
US20200233870A1 (en) | Systems and methods for linking metric data to resources | |
CN116151631A (zh) | 一种业务决策处理系统、一种业务决策处理方法和装置 | |
CN115617768A (zh) | 日志管理方法、系统、电子设备及存储介质 | |
CN112667393B (zh) | 分布式任务计算调度框架搭建的方法、装置及计算机设备 | |
CN115617480A (zh) | 一种任务调度方法、装置、系统及存储介质 | |
CN113570394A (zh) | 一种数据处理方法、装置以及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |