CN110795441A - 报表数据处理方法、装置、设备及存储介质 - Google Patents
报表数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110795441A CN110795441A CN201910883223.XA CN201910883223A CN110795441A CN 110795441 A CN110795441 A CN 110795441A CN 201910883223 A CN201910883223 A CN 201910883223A CN 110795441 A CN110795441 A CN 110795441A
- Authority
- CN
- China
- Prior art keywords
- data
- job
- report
- management server
- liquidity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种报表数据处理方法、装置、设备及存储介质。所述方法包括:接收包含任务标识的数据更新请求,通过作业调度工具从作业管理数据库中调取与调度任务关联的作业对象的作业数据;通过作业调度工具将调取的所有作业数据同步发送至报表管理服务器中进行数据校验;等待并接收报表管理服务器发送的第一数据校验包,并根据第一数据校验包生成与作业对象对应的流动性报表,该第一数据校验包包括数据校验成功的作业数据;在预设的定时时间点,将作业对象对应的流动性报表发送至预设接收方。本发明实现了跨服务器间的数据同步和数据校验,更加有效地提高了数据的实时传输效率,且提高了数据的准确可靠性。
Description
技术领域
本发明涉及数据处理领域,具体涉及一种报表数据处理方法、装置、设备及存储介质。
背景技术
传统人工填报系统中,用户需要根据系统约定的填报规则填写报表数据,当用户对已规定的填报规则不清楚容易造成填报错误,并需要用户进行大量的数据计算之后再填写计算的结果,而在作业报表填写完成之后,需要系统管理人员对用户提交的作业报表进行审核、统计以及分析。上述的人工填报方式极其单调和繁琐,效率低且容易出错,降低了用户的作业效率;且在线上填报的用户较多时,容易造成系统奔溃、系统缓冲缓慢、报表提交失败等问题,降低了用户体验。
发明内容
本发明实施例提供一种报表数据处理方法、装置、设备及存储介质,实现了跨服务器间的数据同步和数据校验,更加有效地提高了数据的实时传输效率,且提高了数据的准确可靠性。
一种报表数据处理方法,包括:
接收包含任务标识的数据更新请求,通过作业调度工具从作业管理数据库中调取与调度任务关联的作业对象的作业数据;所述作业调度工具中设有与所述任务标识关联的调度任务;
通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中进行数据校验;
等待并接收报表管理服务器发送的第一数据校验包,并根据所述第一数据校验包生成与所述作业对象对应的流动性报表;所述第一数据校验包包括数据校验成功的所述作业数据;
在预设的定时时间点,将所述作业对象对应的所述流动性报表发送至预设接收方。
一种报表数据处理装置,包括:
数据更新模块,用于接收包含任务标识的数据更新请求,通过作业调度工具从作业管理数据库中调取与调度任务关联的作业对象的作业数据;所述作业调度工具中设有与所述任务标识关联的调度任务;
同步发送模块,用于通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中进行数据校验;
第一接收模块,用于等待并接收报表管理服务器发送的第一数据校验包,并根据所述第一数据校验包生成与所述作业对象对应的流动性报表;所述第一数据校验包包括数据校验成功的所述作业数据;
定时发送模块,用于在预设的定时时间点,将所述作业对象对应的所述流动性报表发送至预设接收方。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现上述报表数据处理方法。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现上述报表数据处理方法。
本发明提供的报表数据处理方法、装置、设备及存储介质,在接收到数据更新请求时,通过作业调度工具从作业管理数据库中获取与调度任务关联的多组作业数据,并通过作业调度工具将调取的多组作业数据同步发送至报表管理服务器中进行数据校验,此时,等待并接收报表管理服务器数据校验之后发送的第一数据校验包,基于第一数据校验包以及预设的报表模板生成与作业对象对应的流动性报表,定时将作业对象对应的流动性报表发送至预设接收方。本实施例实现了跨服务器间的数据同步和数据校验,更加有效地提高了数据的实时传输效率,且极大地降低了数据的错误率,进而提高了数据的准确可靠性;同时本实施例可以实现定时更新、自动生成、定时发送报表数据,提高了数据处理效率,进而提升了服务器的运作效率,以及提升了用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中报表数据处理方法的应用环境示意图;
图2是本发明一实施例中报表数据处理方法的流程图;
图3是本发明另一实施例中报表数据处理方法的流程图;
图4是本发明一实施例中报表数据处理方法的步骤S10的流程图;
图5是本发明一实施例中报表数据处理方法的步骤S20的流程图;
图6是本发明另一实施例中报表数据处理方法的步骤S20的流程图;
图7是本发明一实施例中报表数据处理装置的原理框图;
图8是本发明另一实施例中报表数据处理装置的原理框图;
图9是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供的报表数据处理方法,可应用在如图1的应用环境中,其中,应用客户端通过网络与应用服务器进行通信,应用服务器通过网络与报表管理服务器进行通信。其中,应用客户端包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑;应用服务器可以用独立的应用服务器或者是多个应用服务器组成的应用服务器集群来实现;报表管理服务器可以用独立的报表管理服务器或者是多个报表管理服务器组成的报表管理服务器集群来实现。
在一实施例中,如图2所示,提供一种报表数据处理方法,以该方法应用在图1中的应用服务器为例进行说明,包括以下步骤:
S10,接收包含任务标识的数据更新请求,通过作业调度工具从作业管理数据库中调取与调度任务关联的作业对象的作业数据;所述作业调度工具中设有与所述任务标识关联的调度任务。
其中,所述任务标识可以体现调度任务的执行次数;所述数据更新请求是指在模式开关为关闭状态(也即,人工录入的触发按钮为不可选状态)时,应用服务器基于定时更新时间点自动生成数据更新请求;所述调度任务包括但不限于用于查询数据作业日期的调度日期、用于查询作业数据的调度任务名称;所述作业调度工具为跨服务器(或者数据库)的数据实时同步工具。
也即,在应用服务器与对应于作业管理数据库的作业管理服务器通信连接之后,接收包含任务标识的数据更新请求,基于任务标识在作业调度工具中设置本次的调度任务的调度任务名称、调度日期等,利用作业调度工具从作业管理服务器查询出满足本次的调度任务名称的所有作业对象,并从所有作业对象的作业数据中查询出满足调度日期的作业数据,即可将查询到的作业对象的作业数据与本次的调度任务进行关联并缓存在应用服务器中。
S20,通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中进行数据校验。
也即,在应用服务器与报表管理服务器通信连接时,利用作业调度工具将与本次的调度任务关联的作业数据同步发送至报表管理服务器中,进而利用报表服务器对作业数据进行多线程的数据校验或者单线程的数据校验。其中,多线程的数据校验是指同一时间点多个作业对象的作业数据同时进行校验;单线程的数据校验是指一作业对象的作业数据校验完成之后,下一作业对象的作业数据开始进行数据校验,也即,下一个校验进程的开启必须等待上一个校验进程的结束。
S30,等待并接收报表管理服务器发送的第一数据校验包,并根据所述第一数据校验包生成与所述作业对象对应的流动性报表;所述第一数据校验包包括数据校验成功的所述作业数据。
在本实施例中,所述第一数据校验包包括数据校验成功的多组作业数据(一个作业对象对应一组作业数据),且每一组作业数据包括多项指标参数。
也即,在应用服务器的当前时间达到预设的暂停校验时间时,若应用服务器接收报表管理服务器执行数据校验之后发送的第一数据校验包,可以获取第一报表模板以及第一报表模板中各参数位置对应的参数分析模型,并利用参数分析模型对第一数据校验包中的每一组作业数据进行参数匹配、参数转换、参数计算等处理之后,将参数分析模型输出的输出结果对应添加至预设的报表模板的参数位置中,从而生成与作业对象对应的流动性报表,并将流动性报表的报表状态被标记为“全自动”。可理解的,根据数据处理模式来设置流动性报表的报表状态,便于区分不同报表状态下的流动性报表。
作为优选,在所述步骤S30之前,在应用服务器的当前时间在预设的暂停校验时间之前,若接收到所述报表管理服务器发送的第二数据校验包,则根据所述第二数据校验包生成包含更新后的所述任务标识的数据更新请求;通过所述作业调度工具从所述作业管理数据库中根据更新后的所述调度任务获取作业数据更新包,该作业调度工具设有与更新后的所述任务标识关联的更新后的调度任务;通过所述作业调度工具再次将所述作业数据更新包发送至所述报表管理服务器中进行数据校验,以令报表管理服务器更新第一数据校验包以及第二数据校验包;直至在应用服务器的当前时间到达暂停检测时间点时,令所述报表管理服务器暂停数据校验。可理解的,更新后的第一数据校验包包括第一次数据校验时数据校验成功的作业数据以及后续数据校验时数据校验成功的作业数据;而更新后的第二数据包中仅包含后续数据校验时数据校验失败的作业数据。在本实施例中,在暂停校验时间之前,可以进行多次数据更新和数据校验,提高了数据的准确可靠性。
S40,在预设的定时时间点,将所述作业对象对应的所述流动性报表发送至预设接收方。
在本实施例中,所述预设接收方可以是与应用服务器通信连接的应用客户端;此时,在将所有作业对象的流动性报表的报表状态标记为“全自动”之后,定时发送更新完成通知,同时将报表状态为“全自动”的流动性报表显示在应用客户端。示例性的,可以在定时更新时间点T+1(T为工作日)日下午4时,获取与调度任务关联的T日作业数据,基于T日作业数据生成T日报表,并可以在T+1日下午8时将T日报表发送并显示在应用客户端。
综上所述,本实施例接收到数据更新请求时,通过作业调度工具从作业管理数据库中获取与调度任务关联的多组作业数据,并通过作业调度工具将调取的多组作业数据同步发送至报表管理服务器中进行数据校验,此时,等待并接收报表管理服务器数据校验之后发送的第一数据校验包,基于第一数据校验包以及预设的报表模板生成与作业对象对应的流动性报表,定时将作业对象对应的流动性报表发送至预设接收方。本实施例实现了跨服务器(或者数据库)间的数据同步和数据校验,更加有效地提高了数据的实时传输效率,且极大地降低了数据的错误率,进而提高了数据的准确可靠性;同时本实施例可以实现定时更新、自动生成、定时发送报表数据,提高了数据处理效率,进而提升了服务器的运作效率,以及提升了用户体验。
在一实施例中,如图3所示,所述步骤S20之后还包括以下步骤:
S50,等待并接收所述报表管理服务器发送的第二数据校验包,根据所述第二数据校验包生成人工录入请求,并将所述人工录入请求发送至审核平台;所述第二数据校验包括数据校验失败的所述作业数据。
S60,获取所述审核平台执行所述人工录入请求后返回的审核结果,在所述审核结果为审核通过时,令预设的模式开关开启,在所述审核结果为审核未通过时,令预设的模式开关关闭。
在本实施例中,所述第一数据校验包包括数据校验失败的多组作业数据,且每一组作业数据包括多项指标参数。
也即,在应用服务器的当前时间达到预设的暂停校验时间时,若应用服务器接收报表管理服务器执行数据校验之后发送的第二数据校验包,可以根据第二数据校验包生成人工录入请求,并将其发送至预设的审核平台,此时,审核平台会将执行人工录入请求后的审核结果返回给应用服务器;其中,人工录入请求包含数据校验失败的作业数据以及数据校验失败的原因。
在本实施例的一方面,若审核结果为审核通过,则令预设的模式开关开启,并使用于开启人工录入所述作业数据的人工录入接口的触发按钮为使用状态,此时,应用服务器允许具有数据录入权限的管理用户通过人工录入接口录入作业数据并对其进行校验。
而在本实施例的一方面,若审核结果为审核未通过,则令预设的模式开关关闭,并使触发按钮为不可用状态,此时,重新等待应用服务器接收数据更新请求。
综上所述,本实施例在接收到报表管理服务器发送的第二数据校验包时,基于第二校验包生成人工录入请求,并接收审核平台执行人工录入请求后返回的审核结果,以根据审核结果确定是否令模式开关开启。本实施例中可以实现“半自动”和“全自动”结合的数据处理模式,避免了数据延迟,更加有效地提高了用户的作业效率,且降低了数据处理过程中的错误率;同时本实施例中,在数据处理模式由“全自动”变更为“半自动”时,需要经过审核平台进行审核,实现了数据处理权限的控制,避免非法用户更改数据,提高了数据的安全可靠性。
在一实施例中,如图4所示,所述步骤S10之前包括以下步骤:
S101,检测预设的模式开关是否关闭;在所述模式开关关闭时,令用于开启人工录入所述作业数据的人工录入接口的触发按钮处于不可用状态,在所述模式开关开启时,令所述触发按钮处于使用状态。
S102,在所述模式开关关闭时,检测是否接收到所述数据更新请求。
S103,在所述模式开关开启时,接收所述触发按钮的触发指令之后,获取从所述人工录入接口录入的人工校验成功的所述作业对象的所述作业数据,根据录入的所述作业数据生成与所述作业对象对应的流动性报表,并在所述定时时间点,将所述作业对象对应的所述流动性报表发送至预设接收方。
在本实施例中,在模式开关关闭时,无需人工录入作业数据并进行人工校验,此时,应用服务器定时检测是否接收到数据更新请求即可;而在模式开关关闭时,若应用服务器接收到点击触发按钮之后生成的触发指令,可以从人工录入接口获取由数据录入权限的管理用户录入并校验成功的作业数据,并获取包含各参数位置设有默认参数值的第二报表模板,并利用人工校验成功的作业数据更新第二报表模板中各参数位置的默认参数值之后,生成作业对象对应的流动性报表,并将上述流动性报表的报表状态标记为“半自动”;进一步地,定时发送更新完成通知,同时将报表状态为“半自动”的流动性报表显示在应用客户端。
综上所述,本实施例通过模式开关控制数据处理模式,提升了用户体验;同时本实施例在数据处理模式为“半自动”时,利用人工录入接口录入的作业数据,生成流动性报表,并定时发送报表,缩短了报表生成以及报表发送过程的流程。
在一实施例中,所述步骤S20之前,即所述通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中进行数据校验之前,包括以下步骤:
接收来自应用客户端发送的通信连接请求,并将所述通信连接请求发送至报表管理服务器;等待并接收所述报表管理服务器响应所述通信连接请求之后返回的反馈信息;根据所述反馈信息对所述应用客户端所属的应用服务器与所述报表管理服务器之间进行通信连接处理,其中,所述应用服务器上存储有所述作业调度工具。
可理解的,通过作业调度工具将调取的所有作业数据同步发送至报表管理服务器中进行数据校验之前,还需要建立应用服务器与报表管理服务器之间的通信连接。此时,将接收到的通信连接请求发送至报表管理服务器,等待并接收报表管理服务器响应通信连接请求之后发送的反馈信息,在反馈信息为接受通信连接时,能够成功建立应用服务器与报表管理服务器之间的通信连接;而在反馈信息为拒绝通信连接时,不能成功建立应用服务器与报表管理服务器之间的通信连接,进一步地,可以在应用客户端提示用户诊断通信连接。
在一实施例中,如图5所示,所述步骤S20,具体包括以下步骤:
S201,通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中,同时检测所有所述作业数据是否同步发送成功;所述作业数据包含至少一项指标参数。
S202,在所有所述作业数据同步发送成功时,令所述报表管理服务器查询历史流动性报表的最近更新日期,并检测所述调度任务中包含的调度日期是否大于所述最近更新日期。
S203,在所述调度日期相同大于所述最近更新日期时,令所述报表管理服务器检测所述作业数据包含的每一项指标参数是否满足对应于该指标参数的指标校验条件。
在本实施例中,在第一个同步时间点时,通过作业调度工具将调取的所有作业对象的所述作业数据同步发送至与应用服务器通信连接的所述报表管理服务器中,此时,所述所有作业对象的所述作业数据已缓存在应用服务器中,可以检测应用服务器中是否缓存有同步发送失败的作业数据;在应用服务器中未缓存同步发送失败的作业数据时,确定所有作业数据同步发送成功;而在应用服务器中缓存有同步发送失败的作业数据时,确定至少存在一组作业数据同步发送失败,并在下一个同步时间点,再次通过作业调取工具将缓存在应用服务器中的同步发送失败的作业数据同步发送至报告管理服务器中。
进一步地,在所有所述作业数据同步发送成功时,令报表管理服务器查询报表管理数据库中的历史流动性报表的最近更新日期,在调度任务中包含的调度日期(也即,调取的作业数据的最新作业日期)大于历史流动性报表的最近更新日期时,确定调取的作业数据可用于更新流动性报表。进一步地,校验作业数据的每一项指标参数是否满足对应于该指标参数的指标校验条件,在作业数据的每一项指标参数均满足对应于该指标参数的指标校验条件时,确定该指标参数对应的作业数据校验成功,并将数据校验成功的作业数据存储至第一数据校验包中;而在作业数据中存在某一项指标参数不满足该指标参数的指标校验条件时,确定该指标参数对应的作业数据校验失败,并将数据校验失败的作业数据存储至第二数据校验包中。
综上所述,本实施例利用作业调度工具将多组作业数据同步发送至报表管理服务器,并在作业数据同步发送成功之后,令报表管理服务器检测每一组作业数据包括的所有指标参数是否满足其对应的指标校验条件,提高了数据校验效率,并提高了数据的准确可靠性。
在一实施例中,如图6所示,在所以作业数据包括流动性风险级别、下期预判、流动性事件说明、流动性覆盖率时,所述步骤S203包括以下步骤:
S2031,检测所述流动性风险级别是否满足与所述流动性风险级别对应的第一校验条件;所述第一校验条件是指所述流动性风险级别不为空值,且所述流动性风险级别为设定级别中的一种。
S2032,检测所述下期预判是否满足所述下期预判对应的第二校验条件;所述第二校验条件是指所述下期预判不为空值,且所述下期预判为设定预判值中的一种。
S2033,检测所述流动性事件说明是否满足与所述流动性事件说明对应的第三校验条件;所述第三校验条件是指所述流动性事件说明的最大字符长度小于或等于预设数量的字符。
S2034,检测所述流动性覆盖率是否满足与所述流动性覆盖率对应的第四校验条件;所述第四校验条件是指所述流动性覆盖率不为空值,且所述流动性覆盖率的数值类型和数值长度均满足预设设定条件。
在本实施例中,所述步骤S2031至所述步骤S2034可以为多线程的数据检测,也可以为单线程的数据检验。
在所述步骤S2031至所述步骤S2034为多线程的数据检测时,通过第一检测线程检测流动性风险级别是否不为空值,且流动性风险级别是否为设定级别中的一种,所述设定级别为1~5级,分别为安全、预警、恶化、濒危、危险;在所述流动性风险级别不为空值,且流动性风险级别为1~5级中的一种时,确定流动性风险级别检测通过,反之,流动性风险级别检测未通过。
通过第二检测线程检测下期预判是否不为空值,且下期预判是否为设定判定值中的一种,所述下期预判的设定判定值为宽松、平稳、趋紧、紧张;在下期预判不为空值,且下期预判为宽松、平稳、趋紧、紧张中的一种时,确定下期预判检测通过,反之,下期预判检测未通过。
通过第三检测线程检测流动性事件说明的最大字符长度是否小于或等于预设数量的字符,如,500个字符,在流动性事件说明的最大字符长度小于或等于500个字符时,确定流动性事件说明检测通过,反之,流动性事件说明检测未通过。
通过第四检测线程检测流动性覆盖率是否不为空值,且流动性覆盖率的数值类型满足预设设定条件,如,数值类型的预设设定条件为非负数的2位浮点数;在流动性覆盖率不为空值,且流动性覆盖率的数值类型为非负数的2位浮点数时,确定流动性覆盖率检测通过,反之,流动性覆盖率说明检测未通过。
此时,在流动性风险级别、下期预判、流动性事件说明以及流动性覆盖率均检测通过时,确定对应的作业数据校验成功。可理解的,本实施例在每一组作业数据包括的所有指标参数校测通过时,才能确定作业数据校验成功,更为有效提高了数据可靠性,同时便于进行再次的数据同步和数据校验。
在一实施例中,如图7所示,提供一种报表数据处理装置,该报表数据处理装置与上述实施例中报表数据处理方法一一对应。该报表数据处理装置包括以下模块,各功能模块详细说明如下:
数据更新模块110,用于接收包含任务标识的数据更新请求,通过作业调度工具从作业管理数据库中调取与调度任务关联的作业对象的作业数据;所述作业调度工具中设有与所述任务标识关联的调度任务。
同步发送模块120,用于通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中进行数据校验。
第一接收模块130,用于等待并接收报表管理服务器发送的第一数据校验包,并根据所述第一数据校验包生成与所述作业对象对应的流动性报表;所述第一数据校验包包括数据校验成功的所述作业数据。
定时发送模块140,用于在预设的定时时间点,将所述作业对象对应的所述流动性报表发送至预设接收方。
在一实施例中,如图8所示,所述报表数据处理装置还包括以下模块,各功能模块详细说明如下:
第二接收模块150,用于等待并接收所述报表管理服务器发送的第二数据校验包,根据所述第二数据校验包生成人工录入请求,并将所述人工录入请求发送至审核平台;所述第二数据校验包括数据校验失败的所述作业数据。
模式控制模块160,用于获取所述审核平台执行所述人工录入请求后返回的审核结果,在所述审核结果为审核通过时,令预设的模式开关开启,在所述审核结果为审核未通过时,令预设的模式开关关闭。
在另一实施例中,所述报表数据处理装置还包括以下模块,各功能模块详细说明如下:
开关检测模块,用于检测预设的模式开关是否关闭;在所述模式开关关闭时,令用于开启人工录入所述作业数据的人工录入接口的触发按钮处于不可用状态,在所述模式开关开启时,令所述触发按钮处于使用状态。
全自动模式模块,用于在所述模式开关关闭时,检测是否接收到所述数据更新请求。
半自动模式模块,用于在所述模式开关开启时,接收所述触发按钮的触发指令之后,获取从所述人工录入接口录入的人工校验成功的所述作业对象的所述作业数据,根据录入的所述作业数据生成与所述作业对象对应的流动性报表,并在所述定时时间点,将所述作业对象对应的所述流动性报表发送至预设接收方。
在一实施例中,所述报表数据处理装置还包括以下模块,各功能模块详细说明如下:
通信模块,用于接收来自应用客户端发送的通信连接请求,并将所述通信连接请求发送至报表管理服务器;等待并接收所述报表管理服务器响应所述通信连接请求之后返回的反馈信息;根据所述反馈信息对所述应用客户端所属的应用服务器与所述报表管理服务器之间进行通信连接处理,其中,所述应用服务器上存储有所述作业调度工具。
在一实施例中,所述同步发送模块120具体包括以下子模块,各功能子模块详细说明如下:
数据发送子模块,用于通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中,同时检测所有所述作业数据是否同步发送成功;所述作业数据包含至少一项指标参数。
数据查询子模块,用于在所有所述作业数据同步发送成功时,令所述报表管理服务器查询历史流动性报表的最近更新日期,并检测所述调度任务中包含的调度日期是否大于所述最近更新日期。
数据检测子模块,用于在所述调度日期相同大于所述最近更新日期时,令所述报表管理服务器检测所述作业数据包含的每一项指标参数是否满足对应于该指标参数的指标校验条件。
在一实施例中,在所述作业数据包括流动性风险级别、下期预判、流动性事件说明、流动性覆盖率时,所述数据检测子模块包括以下单元,各功能单元详细说明如下:
第一检测单元,用于检测所述流动性风险级别是否满足与所述流动性风险级别对应的第一校验条件;所述第一校验条件是指所述流动性风险级别不为空值,且所述流动性风险级别为设定级别中的一种。
第二检测单元,用于检测所述下期预判是否满足所述下期预判对应的第二校验条件;所述第二校验条件是指所述下期预判不为空值,且所述下期预判为设定预判值中的一种。
第三检测单元,用于检测所述流动性事件说明是否满足与所述流动性事件说明对应的第三校验条件;所述第三校验条件是指所述流动性事件说明的最大字符长度小于或等于预设数量的字符。
第四检测单元,用于检测所述流动性覆盖率是否满足与所述流动性覆盖率对应的第四校验条件;所述第四校验条件是指所述流动性覆盖率不为空值,且所述流动性覆盖率的数值类型和数值长度均满足预设设定条件。
关于报表数据处理装置的具体限定可以参见上文中对于报表数据处理方法的限定,在此不再赘述。上述报表数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机可读指令被处理器执行时以实现一种报表数据处理方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令,处理器执行计算机可读指令时实现以下步骤:
接收包含任务标识的数据更新请求,通过作业调度工具从作业管理数据库中调取与调度任务关联的作业对象的作业数据;所述作业调度工具中设有与所述任务标识关联的调度任务;
通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中进行数据校验;
等待并接收报表管理服务器发送的第一数据校验包,并根据所述第一数据校验包生成与所述作业对象对应的流动性报表;所述第一数据校验包包括数据校验成功的所述作业数据;
在预设的定时时间点,将所述作业对象对应的所述流动性报表发送至预设接收方。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机可读指令,计算机可读指令被处理器执行时实现以下步骤:
接收包含任务标识的数据更新请求,通过作业调度工具从作业管理数据库中调取与调度任务关联的作业对象的作业数据;所述作业调度工具中设有与所述任务标识关联的调度任务;
通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中进行数据校验;
等待并接收报表管理服务器发送的第一数据校验包,并根据所述第一数据校验包生成与所述作业对象对应的流动性报表;所述第一数据校验包包括数据校验成功的所述作业数据;
在预设的定时时间点,将所述作业对象对应的所述流动性报表发送至预设接收方。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中,该计算机可读指令在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、存储器总线直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元或模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元或模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种报表数据处理方法,其特征在于,包括:
接收包含任务标识的数据更新请求,通过作业调度工具从作业管理数据库中调取与调度任务关联的作业对象的作业数据;所述作业调度工具中设有与所述任务标识关联的调度任务;
通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中进行数据校验;
等待并接收报表管理服务器发送的第一数据校验包,并根据所述第一数据校验包生成与所述作业对象对应的流动性报表;所述第一数据校验包包括数据校验成功的所述作业数据;
在预设的定时时间点,将所述作业对象对应的所述流动性报表发送至预设接收方。
2.如权利要求1所述的报表数据处理方法,其特征在于,所述通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中进行数据校验之后,包括:
等待并接收所述报表管理服务器发送的第二数据校验包,根据所述第二数据校验包生成人工录入请求,并将所述人工录入请求发送至审核平台;所述第二数据校验包括数据校验失败的所述作业数据;
获取所述审核平台执行所述人工录入请求后返回的审核结果,在所述审核结果为审核通过时,令预设的模式开关开启,在所述审核结果为审核未通过时,令预设的模式开关关闭。
3.如权利要求1所述的报表数据处理方法,其特征在于,所述接收包含任务标识的数据更新请求,通过作业调度工具从作业管理数据库中调取与调度任务关联的作业对象的作业数据之前,包括:
检测预设的模式开关是否关闭;在所述模式开关关闭时,令用于开启人工录入所述作业数据的人工录入接口的触发按钮处于不可用状态,在所述模式开关开启时,令所述触发按钮处于使用状态;
在所述模式开关关闭时,检测是否接收到所述数据更新请求;
在所述模式开关开启时,接收所述触发按钮的触发指令之后,获取从所述人工录入接口录入的人工校验成功的所述作业对象的所述作业数据,根据录入的所述作业数据生成与所述作业对象对应的流动性报表,并在所述定时时间点,将所述作业对象对应的所述流动性报表发送至预设接收方。
4.如权利要求1所述的报表数据处理方法,其特征在于,所述通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中进行数据校验之前,包括:
接收来自应用客户端发送的通信连接请求,并将所述通信连接请求发送至报表管理服务器;
等待并接收所述报表管理服务器响应所述通信连接请求之后返回的反馈信息;
根据所述反馈信息对所述应用客户端所属的应用服务器与所述报表管理服务器之间进行通信连接处理,其中,所述应用服务器上存储有所述作业调度工具。
5.如权利要求1所述的报表数据处理方法,其特征在于,所述通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中进行数据校验,包括:
通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中,同时检测所有所述作业数据是否同步发送成功;所述作业数据包含至少一项指标参数;
在所有所述作业数据同步发送成功时,令所述报表管理服务器查询历史流动性报表的最近更新日期,并检测所述调度任务中包含的调度日期是否大于所述最近更新日期;
在所述调度日期相同大于所述最近更新日期时,令所述报表管理服务器检测所述作业数据包含的每一项指标参数是否满足对应于该指标参数的指标校验条件。
6.如权利要求5所述的报表数据处理方法,其特征在于,所述作业数据包括流动性风险级别、下期预判、流动性事件说明、流动性覆盖率;
所述令所述报表管理服务器检测所述作业数据包含的每一项指标参数是否满足对应于该指标参数的指标校验条件,包括:
检测所述流动性风险级别是否满足与所述流动性风险级别对应的第一校验条件;所述第一校验条件是指所述流动性风险级别不为空值,且所述流动性风险级别为设定级别中的一种;
检测所述下期预判是否满足所述下期预判对应的第二校验条件;所述第二校验条件是指所述下期预判不为空值,且所述下期预判为设定预判值中的一种;
检测所述流动性事件说明是否满足与所述流动性事件说明对应的第三校验条件;所述第三校验条件是指所述流动性事件说明的最大字符长度小于或等于预设数量的字符;
检测所述流动性覆盖率是否满足与所述流动性覆盖率对应的第四校验条件;所述第四校验条件是指所述流动性覆盖率不为空值,且所述流动性覆盖率的数值类型和数值长度均满足预设设定条件。
7.一种报表数据处理装置,其特征在于,包括:
数据更新模块,用于接收包含任务标识的数据更新请求,通过作业调度工具从作业管理数据库中调取与调度任务关联的作业对象的作业数据;所述作业调度工具中设有与所述任务标识关联的调度任务;
同步发送模块,用于通过所述作业调度工具将调取的所有所述作业数据同步发送至报表管理服务器中进行数据校验;
第一接收模块,用于等待并接收报表管理服务器发送的第一数据校验包,并根据所述第一数据校验包生成与所述作业对象对应的流动性报表;所述第一数据校验包包括数据校验成功的所述作业数据;
定时发送模块,用于在预设的定时时间点,将所述作业对象对应的所述流动性报表发送至预设接收方。
8.如权利要求7所述的报表数据处理装置,其特征在于,所述报表数据处理装置还包括:
第二接收模块,用于等待并接收所述报表管理服务器发送的第二数据校验包,根据所述第二数据校验包生成人工录入请求,并将所述人工录入请求发送至审核平台;所述第二数据校验包括数据校验失败的所述作业数据;
模式控制模块,用于获取所述审核平台执行所述人工录入请求后返回的审核结果,在所述审核结果为审核通过时,令预设的模式开关开启,在所述审核结果为审核未通过时,令预设的模式开关关闭。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现如权利要求1至6任一项所述报表数据处理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现如权利要求1至6任一项所述报表数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910883223.XA CN110795441B (zh) | 2019-09-18 | 2019-09-18 | 报表数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910883223.XA CN110795441B (zh) | 2019-09-18 | 2019-09-18 | 报表数据处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110795441A true CN110795441A (zh) | 2020-02-14 |
CN110795441B CN110795441B (zh) | 2023-06-16 |
Family
ID=69427329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910883223.XA Active CN110795441B (zh) | 2019-09-18 | 2019-09-18 | 报表数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110795441B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113204416A (zh) * | 2021-04-07 | 2021-08-03 | 上海多维度网络科技股份有限公司 | 数据报表任务执行方法、装置、设备和存储介质 |
CN113486096A (zh) * | 2021-06-21 | 2021-10-08 | 上海百秋电子商务有限公司 | 一种多库定时执行报表数据预处理及查询方法、系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100318887A1 (en) * | 2009-06-10 | 2010-12-16 | International Business Machines Corporation | Data verification using checksum sidefile |
US9542406B1 (en) * | 2016-02-01 | 2017-01-10 | International Business Machines Corporation | Verifying data consistency |
WO2018126742A1 (zh) * | 2017-01-05 | 2018-07-12 | 福建亿榕信息技术有限公司 | 存量档案电子化批量处理方法、系统及存储介质 |
CN108345512A (zh) * | 2018-03-19 | 2018-07-31 | 重庆金融资产交易所有限责任公司 | 数据校验方法、服务器及存储介质 |
CN109460977A (zh) * | 2018-11-08 | 2019-03-12 | 国久大数据有限公司 | 数据直报的管理方法及装置 |
CN109558414A (zh) * | 2018-10-15 | 2019-04-02 | 平安科技(深圳)有限公司 | 财务数据的核对方法、装置、计算机设备及存储介质 |
CN109614262A (zh) * | 2018-09-25 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 业务校验方法、装置及计算机可读存储介质 |
CN109918403A (zh) * | 2019-02-02 | 2019-06-21 | 中国银行股份有限公司 | 数据校验方法、装置、计算机设备和存储介质 |
-
2019
- 2019-09-18 CN CN201910883223.XA patent/CN110795441B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100318887A1 (en) * | 2009-06-10 | 2010-12-16 | International Business Machines Corporation | Data verification using checksum sidefile |
US9542406B1 (en) * | 2016-02-01 | 2017-01-10 | International Business Machines Corporation | Verifying data consistency |
WO2018126742A1 (zh) * | 2017-01-05 | 2018-07-12 | 福建亿榕信息技术有限公司 | 存量档案电子化批量处理方法、系统及存储介质 |
CN108345512A (zh) * | 2018-03-19 | 2018-07-31 | 重庆金融资产交易所有限责任公司 | 数据校验方法、服务器及存储介质 |
CN109614262A (zh) * | 2018-09-25 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 业务校验方法、装置及计算机可读存储介质 |
CN109558414A (zh) * | 2018-10-15 | 2019-04-02 | 平安科技(深圳)有限公司 | 财务数据的核对方法、装置、计算机设备及存储介质 |
CN109460977A (zh) * | 2018-11-08 | 2019-03-12 | 国久大数据有限公司 | 数据直报的管理方法及装置 |
CN109918403A (zh) * | 2019-02-02 | 2019-06-21 | 中国银行股份有限公司 | 数据校验方法、装置、计算机设备和存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113204416A (zh) * | 2021-04-07 | 2021-08-03 | 上海多维度网络科技股份有限公司 | 数据报表任务执行方法、装置、设备和存储介质 |
CN113486096A (zh) * | 2021-06-21 | 2021-10-08 | 上海百秋电子商务有限公司 | 一种多库定时执行报表数据预处理及查询方法、系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110795441B (zh) | 2023-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110069572B (zh) | 基于大数据平台的hive任务调度方法、装置、设备及存储介质 | |
CN107844343B (zh) | 一种复杂服务端应用系统的升级系统及方法 | |
US10430332B2 (en) | System and method for performance tuning of garbage collection algorithms | |
CN108304553B (zh) | 数据迁移方法、装置、计算机设备和存储介质 | |
CN110532025B (zh) | 基于微服务架构的数据处理方法、装置、设备及存储介质 | |
CN106909411B (zh) | 一种文件更新方法及装置 | |
CN110162420B (zh) | 数据辅助定位方法、装置、计算机设备及存储介质 | |
CN110175099B (zh) | 接口变动提示方法、装置、计算机设备及存储介质 | |
CN110795441B (zh) | 报表数据处理方法、装置、设备及存储介质 | |
CN112104671B (zh) | 接口授权监控方法、装置、计算机设备和存储介质 | |
CN110909013A (zh) | 业务清单生成方法、装置、设备及计算机可读存储介质 | |
CN110750443A (zh) | 网页测试的方法、装置、计算机设备及存储介质 | |
WO2024008212A1 (zh) | Pcb设备报警数据推送方法、装置、计算机设备及存储介质 | |
CN114625507A (zh) | 基于有向无环图的任务调度方法、系统、设备及存储介质 | |
CN113986733A (zh) | 基于jar包的性能测试方法、装置、设备及存储介质 | |
CN110442455A (zh) | 一种数据处理方法及装置 | |
CN109669977A (zh) | 跨数据库的数据接入方法、装置、计算机设备及存储介质 | |
CN111082964B (zh) | 一种配置信息的分发方法和装置 | |
CN108418730B (zh) | 网络流量测试方法、装置、设备以及计算机可读存储介质 | |
CN109144676A (zh) | 一种应用程序的自启动检测方法、装置及服务器 | |
CN111488373A (zh) | 用于处理请求的方法和系统 | |
CN114090268B (zh) | 容器管理方法及容器管理系统 | |
CN109656936A (zh) | 数据同步方法、装置、计算机设备和存储介质 | |
CN106484601A (zh) | 客户端的用户数据分析方法及系统 | |
CN114756451A (zh) | 电网系统的安全测试方法、装置、计算机设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |