CN109542920A - 一种数据传输方法、装置、介质和电子设备 - Google Patents
一种数据传输方法、装置、介质和电子设备 Download PDFInfo
- Publication number
- CN109542920A CN109542920A CN201811405650.9A CN201811405650A CN109542920A CN 109542920 A CN109542920 A CN 109542920A CN 201811405650 A CN201811405650 A CN 201811405650A CN 109542920 A CN109542920 A CN 109542920A
- Authority
- CN
- China
- Prior art keywords
- task
- service data
- database
- data
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000005540 biological transmission Effects 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 67
- 238000013500 data storage Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 abstract description 13
- 230000004048 modification Effects 0.000 abstract description 3
- 238000012986 modification Methods 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种数据传输方法、装置、介质和电子设备,包括定时检测数据库调度表中的执行标识;当检测到执行标识为第一状态时,抢占当前任务,并将执行标识设置为第二状态;依据应用服务器预设的任务处理规则以及任务开始时间,计算应用服务器执行当前任务的任务结束时间;从业务端数据库中获取目标业务数据,所述目标业务数据的处理时间位于由以任务开始时间为起始时间,以任务结束时间为终点时间构成的时间段内;将数据库调度表中的任务开始时间更新为任务结束时间,并将执行标识设置为第一状态;将所获取到的目标业务数据发送至目标数据库。本发明实施例不需要修改配置数据,支持应用服务器无缝介入原有的数据处理逻辑,操作简单易行。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据传输方法、装置、介质和电子设备。
背景技术
保险业务领域中,应用服务器需要保证在规定时间内将业务端数据库中存储的海量的业务数据上传至保监会端的数据库,以使得保监会能够实现对每条业务数据的监控、管理。
随着互联网保险业务数据的逐渐增多,业务端数据库中存储的业务数据也会随之增多。当业务端数据库中存储的业务数据量突然变得非常大时,预设的N台应用服务器可能不足以处理当前的业务数据量,无法在规定时间内将业务端数据库中存储的所有业务数据上传到保监会端的数据库,N为正整数。
针对此问题,目前提出的解决方法是通过添加新的用于传输数据的应用服务器,即通过增加用于传输数据的应用服务器的数量,让更多的应用服务器同时上传数据,以此保证在规定时间内将业务端数据库中存储的所有业务数据上传至保监会端的数据库。
然而,添加新的用于传输数据的应用服务器需要修改服务器配置文件等配置数据,操作较为繁琐。
发明内容
有鉴于此,本发明实施例提供一种数据传输方法、装置、介质和电子设备,以解决现有方法中通过添加新的用于传输数据的应用服务器存在需要修改服务器配置文件等配置数据,操作较为繁琐的问题。技术方案如下:
基于本发明实施例的一方面,本发明实施例提供一种数据传输方法,应用于应用服务器,所述方法包括:
定时检测数据库调度表中的执行标识,所述数据库调度表包括任务计划、任务开始时间和所述执行标识,其中当所述执行标识为第一状态时,表示当前任务可执行,当所述执行标识为第二状态时,表示当前任务不可执行;
当检测到所述执行标识为所述第一状态时,抢占当前任务,并将所述执行标识设置为所述第二状态;
依据所述应用服务器预设的任务处理规则以及所述任务开始时间,计算所述应用服务器执行当前任务的任务结束时间;
从业务端数据库中获取目标业务数据,所述目标业务数据的处理时间位于由以所述任务开始时间为起始时间,以所述任务结束时间为终点时间构成的时间段内;
将所述数据库调度表中的任务开始时间更新为所述任务结束时间,且将所述执行标识设置为所述第一状态;
将所获取到的目标业务数据发送至目标数据库。
可选地,所述业务端数据库以数据库乐观锁为基础,使得所述应用服务器抢占当前任务后,其他应用服务器无法再抢占所述当前任务。
可选地,所述业务端数据库中存储的每一条业务数据分别包括各自的处理时间;
所述从业务端数据库中获取目标业务数据包括:依据所述业务端数据库中存储的每条业务数据的处理时间,获取目标业务数据。
可选地,从业务端数据库中获取目标业务数据之后,所述方法还包括:
将所获取到的目标业务数据的业务号插入至预设的待处理任务日志表中;
所述将所获取到的目标业务数据发送至目标数据库包括:
按照所述待处理任务日志表中的业务号,依次获取目标业务数据,并将获取到的目标业务数据发送至目标数据库。
可选地,所述方法还包括:
对于所述待处理任务日志表中任意一条目标业务数据:当处理完一条目标业务数据后,在预设的判重表中写入该处理完的目标业务数据的业务号;当依据所述目标数据库中数据存储模型的要求,对目标业务数据进行组装后,将组装后的目标业务数据的数据信息写入预设的报文表中;当依据所述报文表中记载的组装后的目标业务数据的数据信息,将目标业务数据发送并存储至所述目标数据库中后,在预设的成功表中写入成功存储至所述目标数据库中的目标业务数据的业务号。
可选地,所述方法还包括:
判断所述成功表中记载的业务号与所述判重表中记载的业务号是否一致;
如果所述成功表中记载的业务号与所述判重表中记载的业务号不一致,从所述报文表中查找并获取与所述判重表中记载的业务号对应的业务数据的数据信息;
依据获取到的与所述判重表中记载的业务号对应的业务数据的数据信息,将与所述判重表中记载的业务号对应的业务数据发送并存储至所述目标数据库中。
可选地,所述方法还包括:
如果从所述报文表中没有查找到与所述判重表中记载的业务号对应的业务数据的数据信息,则依据所述判重表中记载的业务号,从所述业务端数据库中重新获取业务数据,并依据所述目标数据库中数据存储模型的要求,对重新获取的业务数据进行组装,并将组装后的业务数据的数据信息写入预设的报文表中;以及,
依据所述报文表中记载的组装后的业务数据的数据信息,将该业务数据发送并存储至所述目标数据库中。
基于本发明实施例的另一方面,本发明实施例提供一种数据传输装置,应用于应用服务器,所述装置包括:
检测单元,用于定时检测数据库调度表中的执行标识,所述数据库调度表包括任务计划、任务开始时间和所述执行标识,其中当所述执行标识为第一状态时,表示当前任务可执行,当所述执行标识为第二状态时,表示当前任务不可执行;
任务抢占单元,用于当所述检测单元检测到所述执行标识为所述第一状态时,抢占当前任务,并将所述执行标识设置为所述第二状态;
计算单元,用于依据所述应用服务器预设的任务处理规则以及所述任务开始时间,计算所述应用服务器执行当前任务的任务结束时间;
业务数据获取单元,用于从业务端数据库中获取目标业务数据,所述目标业务数据的处理时间位于由以所述任务开始时间为起始时间,以所述任务结束时间为终点时间构成的时间段内;
更新单元,用于将所述数据库调度表中的任务开始时间更新为所述任务结束时间,并将所述执行标识设置为所述第一状态;
发送单元,用于将所获取到的目标业务数据发送至目标数据库。
基于本发明实施例的再一方面,本发明实施例提供一种存储介质,其上存储有程序,所述程序被处理器执行时实现前文所述的数据传输方法。
基于本发明实施例的再一方面,本发明实施例提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行前文所述的数据传输方法。
本发明实施例提供的数据传输方法、装置、介质和电子设备中,数据库调度表中记载了任务计划、任务开始时间和执行标识,不同的应用服务器分别按照其预设的任务处理规则,定时检测数据库调度表中的执行标识。当某个应用服务器确定数据库调度表中的执行标识为表示当前任务可执行的第一状态时,成功抢占当前任务,并同时将执行标识设置为表示当前任务不可执行的第二状态,此时其他应用服务器无法在抢占该任务。
进一步,该某个应用服务器依据其预设的任务处理规则和任务开始时间,计算得到执行当前任务的任务结束时间,由此该某个应用服务器从业务端数据库中获取目标业务数据,该目标业务数据的处理时间位于由以数据库调度表中任务开始时间为起始时间,以任务结束时间为终点时间构成的时间段内。
更进一步地,该某个应用服务器将数据库调度表中的任务开始时间更新为所述任务结束时间,且将数据库调度表中执行标识重新设置为第一状态,最后将所获取到的目标业务数据发送至目标数据库。此时,其他应用服务器可继续争抢新的任务,该新的任务对应的待处理对象为处理时间位于其他时间段内的业务数据。
可见,本发明实施例提供的数据传输方法实现了将不同时间段产生的业务数据分发给不同的应用服务器去处理,保证了每个时间段内对应的业务数据都有独立的应用服务器执行数据上传,并且不同应用服务器间可同时执行数据上传,大大提高了数据传输效率。当面临应用服务器数量的增加或减少时,本发明实施例不需要修改服务器配置文件等配置数据,支持无缝介入原有的数据处理逻辑,操作简单易行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的数据传输方法的应用场景示意图;
图2为本发明实施例提供的一种数据传输方法的流程图;
图3为本发明实施例提供的另一种数据传输方法的流程图;
图4为本发明实施例提供的一种数据传输装置的结构示意图;
图5为本发明实施例提供的另一种数据传输装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
随着业务端数据库中业务量的不停增加,需要处理业务数据的应用服务器也要随之增加,如此才能保证业务端数据库中的业务数据在规定时间内上传至保监会端的数据库。然而,现有技术中在增加应用服务器时需要修改服务器配置文件等配置数据,操作较为繁琐。
针对此,本发明实施例创新提出:将业务端数据库中的业务数据按照其各自不同的处理时间(一般指的是业务数据的生成时间)分别分配给不同的应用服务器去处理,这不仅保证了每个时间段内对应的业务数据都有独立的应用服务器执行数据上传,并且不同的应用服务器间可同时执行数据上传,大大提高了数据传输效率。同时本发明实施例不需要修改服务器配置文件等配置数据,支持无缝介入原有的数据处理逻辑,操作简单易行。
如图1所示,本发明实施例具体应用于包括应用服务器、业务端数据库和目标数据库的应用场景中。其中目标数据库可以为保监会端数据库,本发明实施例提供的数据传输方法的执行主体可以是应用服务器,该应用服务器可以具体为应用linux服务器,应用linux服务器通过从业务端数据库中获取需要上传的业务数据,并将其上传至保监会端数据库。
本发明实施例中,业务端数据库以数据库乐观锁为基础,其中存储的每一条业务数据分别包括各自的处理时间和任务类型。其中业务数据的处理时间一般指的是业务数据的生成时间,以业务数据具体为保单数据为例,业务数据的处理时间指的是保单的生成时间,任务类型例如包括承保、批改、理赔等。
在实际应用过程中,保监会端数据库包括多种不同的数据存储模型,每一种数据存储模型用于存储不同任务类型的业务数据。在数据存储过程中,保监会端会依据业务数据的任务类型将其存储至与任务类型对应的数据存储模型中。
本发明实施例提供的数据传输方法如图2所示,方法可以包括:
步骤101,定时检测数据库调度表中的执行标识,所述数据库调度表包括任务计划、任务开始时间和所述执行标识,其中当所述执行标识为第一状态时,表示当前任务可执行,当所述执行标识为第二状态时,表示当前任务不可执行。
在进行数据传输之前,本发明实施例首先设置一数据库调度表,该数据库调度表中记载了待处理的时间段。
具体地,数据库调度表中包括任务计划、任务开始时间和执行标识。其中任务计划中包含了需要处理的某个时间段,如将2018年1月1日至2018年12月31日期间的业务数据上传到保监会端数据库;任务开始时间指的是该需要处理的某个时间段的起始时间,即2018年1月1日;执行标识是用于表示当前任务是否可执行,其中当执行标识为第一状态时,表示当前任务可执行,当执行标识为第二状态时,表示当前任务不可执行。
本发明实施例中,执行标识可以具体为version,当version等于0时表示当前任务可执行,当version等于1时表示当前任务不可执行。
本发明实施例中,应用服务器可以通过定时器crontab,定时检测该数据库调度表中的执行标识version,比如应用服务器通过定时器crontab,每2秒读取一次数据库调度表中version的数据,检测该version的值。
步骤102,当检测到所述执行标识为所述第一状态时,抢占当前任务,并将所述执行标识设置为所述第二状态。
具体地,假设当应用服务器A检测到version=0,确定当前任务可执行,由此应用服务器A立刻抢占当前任务,并将version的值设置为1。
而因为version=1,其他应用服务器检测到version=1确定当前任务不可执行,便不再抢占当前任务,而是继续定时检测数据库调度表中version的值。
本发明实施例中,业务端数据库有行级锁,所以每次只会有一台应用服务器成功抢到当前任务,当某一台应用服务器抢到当前任务后,将version的值设置为1(即上锁),使得其他应用服务器不能在抢到当前任务(当前任务为将某个时间段内的业务数据进行上传),从而保证每个时间段内对应的业务数据都有独立的应用服务器执行数据上传。
步骤103,依据所述应用服务器预设的任务处理规则以及所述任务开始时间,计算所述应用服务器处理当前任务的任务结束时间。
本发明实施例中,每个应用服务器都有自己预设的任务处理规则,该任务处理规则至少包括应用服务器处理任务的时长,比如应用服务器每2秒读取一次version,每次任务的执行时长为2秒等。
那么以任务开始时间为“2018年1月1日”,应用服务器A预设的任务处理规则为每小时读取一次version,每次任务的执行时长为24小时为例,应用服务器A抢到当前任务,并将version的值设置为1后,依据预设的任务处理规则中“每次任务的执行时长为24小时”的信息以及任务开始时间“2018年1月1日”,计算得到应用服务器执行当前任务的任务结束时间为“2018年1月2日”。
步骤104,从业务端数据库中获取目标业务数据,所述目标业务数据的处理时间位于由以所述任务开始时间为起始时间,以所述任务结束时间为终点时间构成的时间段内。
在得到任务开始时间,以及计算得到应用服务器执行当前任务的任务结束时间后,应用服务器从业务端数据库中获取目标业务数据,所获取的目标业务数据的处理时间位于由以任务开始时间为起始时间,以任务结束时间为终点时间构成的时间段内。
继续以前述任务开始时间为“2018年1月1日”、任务结束时间为“2018年1月2日”为例,由以任务开始时间为起始时间,以任务结束时间为终点时间构成的时间段内为“2018年1月1日-2018年1月2日”,应用服务器A从业务端数据库中处理时间位于2018年1月1日-2018年1月2日中的所有业务数据。
步骤105,将所述数据库调度表中的任务开始时间更新为所述任务结束时间,且将所述执行标识设置为所述第一状态。
在从业务端数据库中获取到目标业务数据后,本发明实施例将数据库调度表中的任务开始时间更新为任务结束时间,即将数据库调度表中的任务开始时间“2018年1月1日”更新为“2018年1月2日”。同时,本发明实施例将数据库调度表中的version的值设置为0,支持由其他应用服务器继续争抢任务。
步骤106,将所获取到的目标业务数据发送至目标数据库。
其中目标数据库可以具体为保监会端数据库。本发明实施例利用应用服务器A将从业务端数据库中获取到的目标业务数据发送至保监会端数据库。
在本发明实施例的实际应用过程中,本发明实施例在步骤104从业务端数据库中获取目标业务数据之后,可以将所获取到的目标业务数据的业务号插入至预设的待处理任务日志表中,这样所需上传的业务数据便记录在待处理任务日志表中。
那么当应用服务器A在上传业务数据时,可以按照所述待处理任务日志表中的业务号,依次获取目标业务数据,并将获取到的目标业务数据发送至目标数据库,从而保证所需上传的业务数据分别依次上传到目标数据库,避免发生数据重传、数据遗漏等情况。
因此应用本发明实施例提供的数据传输方法,数据库调度表中记载了任务计划、任务开始时间“2018年1月1日”和version,不同的应用服务器分别按照其预设的任务处理规则,定时检测数据库调度表中的version。当某个应用服务器(如应用服务器A)确定数据库调度表中的version=0时,抢到当前任务,并同时将version设置为1,此时其他应用服务器无法在抢该任务。
进一步,应用服务器A依据其预设的任务处理规则“每次任务的执行时长为24小时”以及任务开始时间“2018年1月1日”,计算得到应用服务器A执行当前任务的任务结束时间“2018年1月2日”,由此应用服务器A从业务端数据库中获取目标业务数据,该目标业务数据的处理时间位于由以数据库调度表中任务开始时间“2018年1月1日”为起始时间,以任务结束时间“2018年1月2日”为终点时间构成的时间段内。
更进一步地,应用服务器A将数据库调度表中的任务开始时间“2018年1月1日”更新为所述任务结束时间“2018年1月2日”,并在完成数据库调度表中任务开始时间的更新后,将数据库调度表中version重新设置为0,并将所获取到的目标业务数据发送至目标数据库。此时,其他应用服务器可继续争抢新的任务,该新的任务对应的待处理对象为业务数据的处理时间位于【2018年1月2日至2018年1月3日】内的业务数据。
可见,本发明实施例提供的数据传输方法实现了将不同时间段产生的业务数据分发给不同的应用服务器去处理,保证了每个时间段内对应的业务数据都有独立的应用服务器执行数据上传,并且不同应用服务器间可同时执行数据上传,大大提高了数据传输效率。当面临应用服务器数量的增加或减少时,本发明实施例不需要修改服务器配置文件等配置数据,支持无缝介入原有的数据处理逻辑,操作简单易行。
在本发明上述实施例的实际应用过程中,为了保证业务数据上传的完整性,本发明实施例还可以包括:
对于待处理任务日志表中任意一条目标业务数据:
当处理完一条目标业务数据后,在预设的判重表中写入该处理完的目标业务数据的业务号;
当依据所述目标数据库中数据存储模型的要求,对目标业务数据进行组装后,将组装后的目标业务数据的数据信息写入预设的报文表中;
当依据所述报文表中记载的组装后的目标业务数据的数据信息,将目标业务数据发送并存储至目标数据库中后,在预设的成功表中写入成功存储至目标数据库中的目标业务数据的业务号。
本发明实施例一共设置了三张表,分别为判重表、报文表和成功表。其中判重表记录的是应用服务器已处理的业务数据的业务号,报文表记录的是对目标业务数据进行组装后的数据信息,其包含了目标数据库中数据存储模型要求的数据内容;成功表记录的是已成功存储至目标数据库中的业务数据的业务号。
在本发明实施例的应用过程中,对于待处理任务日志表中的目标业务数据,应用服务器每处理完一条目标业务数据便将该目标业务数据的业务号写入判重表中,表明该条目标业务数据已经过处理,从而避免重复处理。
由于是实际应用中,业务端数据库中存储的目标业务数据的格式要求与保监会端数据库中存储的业务数据的格式要求不同,因此对于应用服务器获取的每一条目标业务数据都需要依据目标数据库中数据存储模型的要求,对目标业务数据进行重新组装。对于组装后的目标业务数据,在还未存储至目标数据库中之前,本发明实施例将组装后的目标业务数据的数据信息写入预设的报文表中。
对于每一条成功存储至目标数据库中的目标业务数据,本发明实施例将成功存储至目标数据库中的目标业务数据的业务号写入预设的成功表中。
本发明实施例中,对于判重表和成功表中记录的业务号应该是一致的,即判重表中记载的业务号与成功表中记录的业务号一一对应且相同。因此,本发明实施例可以通过判断成功表中记载的业务号与判重表中记载的业务号是否一致,来判断应用服务器上传的业务数据是否完整。
具体地,当成功表中记载的业务号与判重表中记载的业务号完全一致时,表示所有待传输的目标业务数据均已成功上传至目标数据库;当成功表中记载的业务号与判重表中记载的业务号不一致时,包括:
1)成功表中记载的业务号A与判重表中记载的业务号A不同;
2)判重表中记载有业务号B而成功表中没有记载业务号B。
针对上述情况,本发明实施例可以从报文表中查找并获取与判重表中记载的业务号对应的业务数据的数据信息;进而依据获取到的与判重表中记载的业务号对应的业务数据的数据信息,将与判重表中记载的业务号对应的业务数据发送并存储至目标数据库中。
当然,如果从报文表中没有查找到与判重表中记载的业务号对应的业务数据的数据信息,则依据判重表中记载的业务号,从业务端数据库中重新获取业务数据,并依据目标数据库中数据存储模型的要求,对重新获取的业务数据进行组装,并将组装后的业务数据的数据信息写入预设的报文表中;以及,依据报文表中记载的组装后的业务数据的数据信息,将该业务数据发送并存储至目标数据库中。
为了便于对本发明技术方案的理解,申请人现以举例的方式进一步说明。
如图3所示,当前场景中包括应用服务器1、应用服务器2和应用服务器3,数据库调度表中的任务计划为“2018年1月1日至2018年12月31日”,任务开始时间为“2018年1月1日”,version=0。
应用服务器1、2、3通过各自的定时器crontab,定时读取一次数据库调度表中version的数据。假设应用服务器1读取到数据库调度表中的version=0,此时:
步骤201,应用服务器1抢占当前任务,并将version的值设置为1。
步骤202,应用服务器1依据预设的任务处理规则“每次任务的执行时长为24小时”以及任务开始时间“2018年1月1日”,计算得到应用服务器1执行当前任务的任务结束时间“2018年1月2日”。
步骤203,应用服务器1从业务端数据库中获取目标业务数据,并将获取到的目标业务数据的业务号插入至预设的待处理任务日志表中。
其中,所述目标业务数据的处理时间位于2018年1月1日至2018年1月2日的时间段内。
步骤204,应用服务器1将数据库调度表中的任务开始时间“2018年1月1日”更新为任务结束时间“2018年1月2日”,并将version设置为0。
此时应用服务器2和应用服务器3继续争抢新的任务,该新的任务的任务开始时间为“2018年1月2日”。
步骤205,对于待处理任务日志表中每一条目标业务数据,应用服务器1每处理完一条目标业务数据后,在预设的判重表中写入该处理完的目标业务数据的业务号。
步骤206,对于待处理任务日志表中每一条目标业务数据,当应用服务器1依据目标数据库中数据存储模型的要求,对目标业务数据进行组装后,将组装后的目标业务数据的数据信息写入预设的报文表中。
步骤207,对于待处理任务日志表中每一条目标业务数据,当应用服务器1依据报文表中记载的组装后的目标业务数据的数据信息,将目标业务数据发送并存储至目标数据库中后,在预设的成功表中写入成功存储至目标数据库中的目标业务数据的业务号。
步骤208,判断成功表中记载的业务号与判重表中记载的业务号是否一致。如果一致,执行步骤212,如果不一致,执行步骤209。
步骤209,从报文表中查找并获取与判重表中记载的业务号对应的业务数据的数据信息。如果能查找到,执行步骤210,如果不能查找到,执行步骤211。
步骤210,依据获取到的与判重表中记载的业务号对应的业务数据的数据信息,将与判重表中记载的业务号对应的业务数据发送并存储至目标数据库中。
步骤211,依据判重表中记载的业务号,从业务端数据库中重新获取业务数据,并依据目标数据库中数据存储模型的要求,对重新获取的业务数据进行组装,并将组装后的业务数据的数据信息写入预设的报文表中;以及,依据报文表中记载的组装后的业务数据的数据信息,将该业务数据发送并存储至目标数据库中。
步骤212,确定业务数据上传完成并成功。
本发明实施例提供的数据传输方法中,通过数据库调度表将不同时间段的业务数据分发给不同的应用服务器,保证了每个时间段内对应的业务数据都有独立的应用服务器执行数据上传,并且不同应用服务器间可同时执行数据上传,大大提高了数据传输效率。后续通过判重表和成功表对比差异,能够将差异的业务数据(即业务中途处理失败的数据)及时找出并处理,保证业务数据上传的完整性和准确性。
且,本发明实施例在面临应用服务器个数的增加或减少时,只需相应的增加或暂停几台应用服务器即可,不需要修改服务器配置文件等配置数据,本发明实施例支持无缝介入原有的数据处理逻辑,操作简单易行。
基于前文本发明实施例提供的一种数据传输方法,本发明实施例还提供一种数据传输装置,该装置应用于应用服务器,如图4所示,该装置可以包括:检测单元10、任务抢占单元20、计算单元30、业务数据获取单元40、更新单元50和发送单元60。其中,
检测单元10,用于定时检测数据库调度表中的执行标识,所述数据库调度表包括任务计划、任务开始时间和所述执行标识,其中当所述执行标识为第一状态时,表示当前任务可执行,当所述执行标识为第二状态时,表示当前任务不可执行;
任务抢占单元20,用于当所述检测单元检测到所述执行标识为所述第一状态时,抢占当前任务,并将所述执行标识设置为所述第二状态;
计算单元30,用于依据所述应用服务器预设的任务处理规则以及所述任务开始时间,计算所述应用服务器执行当前任务的任务结束时间;
业务数据获取单元40,用于从业务端数据库中获取目标业务数据,所述目标业务数据的处理时间位于由以所述任务开始时间为起始时间,以所述任务结束时间为终点时间构成的时间段内;
更新单元50,用于将所述数据库调度表中的任务开始时间更新为所述任务结束时间,并将所述执行标识设置为所述第一状态;
发送单元60,用于将所获取到的目标业务数据发送至目标数据库。
本发明实施例中,业务端数据库以数据库乐观锁为基础,使得应用服务器抢占当前任务后,其他应用服务器无法再抢占所述当前任务。业务端数据库中存储的每一条业务数据分别包括各自的处理时间,业务数据获取单元40具体用于,依据所述业务端数据库中存储的每条业务数据的处理时间,获取目标业务数据。
可选地如图5所示,本发明实施例提供的数据传输装置还可以包括:
插入单元70,用于将所获取到的目标业务数据的业务号插入至预设的待处理任务日志表中;
此时发送单元60具体用于,按照所述待处理任务日志表中的业务号,依次获取目标业务数据,并将获取到的目标业务数据发送至目标数据库。
以及,还可以包括:
处理单元80,用于对于所述待处理任务日志表中任意一条目标业务数据:当处理完一条目标业务数据后,在预设的判重表中写入该处理完的目标业务数据的业务号;当依据所述目标数据库中数据存储模型的要求,对目标业务数据进行组装后,将组装后的目标业务数据的数据信息写入预设的报文表中;当依据所述报文表中记载的组装后的目标业务数据的数据信息,将目标业务数据发送并存储至所述目标数据库中后,在预设的成功表中写入成功存储至所述目标数据库中的目标业务数据的业务号。
判断单元90,用于判断所述成功表中记载的业务号与所述判重表中记载的业务号是否一致;
数据信息获取单元100,用于在所述判断单元90判断所述成功表中记载的业务号与所述判重表中记载的业务号不一致时,从所述报文表中查找并获取与所述判重表中记载的业务号对应的业务数据的数据信息;
此时发送单元60具体用于,当从所述报文表中查找并获取到与所述判重表中记载的业务号对应的业务数据的数据信息时,依据获取到的与所述判重表中记载的业务号对应的业务数据的数据信息,将与所述判重表中记载的业务号对应的业务数据发送并存储至所述目标数据库中。
组装单元110,用于当从所述报文表中没有查找到与所述判重表中记载的业务号对应的业务数据的数据信息时,依据所述判重表中记载的业务号,从所述业务端数据库中重新获取业务数据,并依据所述目标数据库中数据存储模型的要求,对重新获取的业务数据进行组装,并将组装后的业务数据的数据信息写入预设的报文表中;
此时发送单元60具体用于,依据所述报文表中记载的组装后的业务数据的数据信息,将该业务数据发送并存储至所述目标数据库中。
所述数据传输装置包括处理器和存储器,上述检测单元10、任务抢占单元20、计算单元30、业务数据获取单元40、更新单元50、发送单元60、以及插入单元70、处理单元80、判断单元90、数据信息获取单元100和组装单元110等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现数据上传。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述数据传输方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述数据传输方法。
本发明实施例提供了一种电子设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
定时检测数据库调度表中的执行标识,所述数据库调度表包括任务计划、任务开始时间和所述执行标识,其中当所述执行标识为第一状态时,表示当前任务可执行,当所述执行标识为第二状态时,表示当前任务不可执行;
当检测到所述执行标识为所述第一状态时,抢占当前任务,并将所述执行标识设置为所述第二状态;
依据所述应用服务器预设的任务处理规则以及所述任务开始时间,计算所述应用服务器执行当前任务的任务结束时间;
从业务端数据库中获取目标业务数据,所述目标业务数据的处理时间位于由以所述任务开始时间为起始时间,以所述任务结束时间为终点时间构成的时间段内;
将所述数据库调度表中的任务开始时间更新为所述任务结束时间,且将所述执行标识设置为所述第一状态;
将所获取到的目标业务数据发送至目标数据库。
可选地,所述业务端数据库以数据库乐观锁为基础,使得所述应用服务器抢占当前任务后,其他应用服务器无法再抢占所述当前任务。
可选地,所述业务端数据库中存储的每一条业务数据分别包括各自的处理时间;
所述从业务端数据库中获取目标业务数据包括:依据所述业务端数据库中存储的每条业务数据的处理时间,获取目标业务数据。
可选地,从业务端数据库中获取目标业务数据之后,所述方法还包括:
将所获取到的目标业务数据的业务号插入至预设的待处理任务日志表中;
所述将所获取到的目标业务数据发送至目标数据库包括:
按照所述待处理任务日志表中的业务号,依次获取目标业务数据,并将获取到的目标业务数据发送至目标数据库。
可选地,所述方法还包括:
对于所述待处理任务日志表中任意一条目标业务数据:当处理完一条目标业务数据后,在预设的判重表中写入该处理完的目标业务数据的业务号;当依据所述目标数据库中数据存储模型的要求,对目标业务数据进行组装后,将组装后的目标业务数据的数据信息写入预设的报文表中;当依据所述报文表中记载的组装后的目标业务数据的数据信息,将目标业务数据发送并存储至所述目标数据库中后,在预设的成功表中写入成功存储至所述目标数据库中的目标业务数据的业务号。
可选地,所述方法还包括:
判断所述成功表中记载的业务号与所述判重表中记载的业务号是否一致;
如果所述成功表中记载的业务号与所述判重表中记载的业务号不一致,从所述报文表中查找并获取与所述判重表中记载的业务号对应的业务数据的数据信息;
依据获取到的与所述判重表中记载的业务号对应的业务数据的数据信息,将与所述判重表中记载的业务号对应的业务数据发送并存储至所述目标数据库中。
可选地,所述方法还包括:
如果从所述报文表中没有查找到与所述判重表中记载的业务号对应的业务数据的数据信息,则依据所述判重表中记载的业务号,从所述业务端数据库中重新获取业务数据,并依据所述目标数据库中数据存储模型的要求,对重新获取的业务数据进行组装,并将组装后的业务数据的数据信息写入预设的报文表中;以及,
依据所述报文表中记载的组装后的业务数据的数据信息,将该业务数据发送并存储至所述目标数据库中。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
定时检测数据库调度表中的执行标识,所述数据库调度表包括任务计划、任务开始时间和所述执行标识,其中当所述执行标识为第一状态时,表示当前任务可执行,当所述执行标识为第二状态时,表示当前任务不可执行;
当检测到所述执行标识为所述第一状态时,抢占当前任务,并将所述执行标识设置为所述第二状态;
依据所述应用服务器预设的任务处理规则以及所述任务开始时间,计算所述应用服务器执行当前任务的任务结束时间;
从业务端数据库中获取目标业务数据,所述目标业务数据的处理时间位于由以所述任务开始时间为起始时间,以所述任务结束时间为终点时间构成的时间段内;
将所述数据库调度表中的任务开始时间更新为所述任务结束时间,且将所述执行标识设置为所述第一状态;
将所获取到的目标业务数据发送至目标数据库。
可选地,所述业务端数据库以数据库乐观锁为基础,使得所述应用服务器抢占当前任务后,其他应用服务器无法再抢占所述当前任务。
可选地,所述业务端数据库中存储的每一条业务数据分别包括各自的处理时间;
所述从业务端数据库中获取目标业务数据包括:依据所述业务端数据库中存储的每条业务数据的处理时间,获取目标业务数据。
可选地,从业务端数据库中获取目标业务数据之后,所述方法还包括:
将所获取到的目标业务数据的业务号插入至预设的待处理任务日志表中;
所述将所获取到的目标业务数据发送至目标数据库包括:
按照所述待处理任务日志表中的业务号,依次获取目标业务数据,并将获取到的目标业务数据发送至目标数据库。
可选地,所述方法还包括:
对于所述待处理任务日志表中任意一条目标业务数据:当处理完一条目标业务数据后,在预设的判重表中写入该处理完的目标业务数据的业务号;当依据所述目标数据库中数据存储模型的要求,对目标业务数据进行组装后,将组装后的目标业务数据的数据信息写入预设的报文表中;当依据所述报文表中记载的组装后的目标业务数据的数据信息,将目标业务数据发送并存储至所述目标数据库中后,在预设的成功表中写入成功存储至所述目标数据库中的目标业务数据的业务号。
可选地,所述方法还包括:
判断所述成功表中记载的业务号与所述判重表中记载的业务号是否一致;
如果所述成功表中记载的业务号与所述判重表中记载的业务号不一致,从所述报文表中查找并获取与所述判重表中记载的业务号对应的业务数据的数据信息;
依据获取到的与所述判重表中记载的业务号对应的业务数据的数据信息,将与所述判重表中记载的业务号对应的业务数据发送并存储至所述目标数据库中。
可选地,所述方法还包括:
如果从所述报文表中没有查找到与所述判重表中记载的业务号对应的业务数据的数据信息,则依据所述判重表中记载的业务号,从所述业务端数据库中重新获取业务数据,并依据所述目标数据库中数据存储模型的要求,对重新获取的业务数据进行组装,并将组装后的业务数据的数据信息写入预设的报文表中;以及,
依据所述报文表中记载的组装后的业务数据的数据信息,将该业务数据发送并存储至所述目标数据库中。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本发明的实施例可提供为方法、系统或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种数据传输方法,应用于应用服务器,其特征在于,所述方法包括:
定时检测数据库调度表中的执行标识,所述数据库调度表包括任务计划、任务开始时间和所述执行标识,其中当所述执行标识为第一状态时,表示当前任务可执行,当所述执行标识为第二状态时,表示当前任务不可执行;
当检测到所述执行标识为所述第一状态时,抢占当前任务,并将所述执行标识设置为所述第二状态;
依据所述应用服务器预设的任务处理规则以及所述任务开始时间,计算所述应用服务器执行当前任务的任务结束时间;
从业务端数据库中获取目标业务数据,所述目标业务数据的处理时间位于由以所述任务开始时间为起始时间,以所述任务结束时间为终点时间构成的时间段内;
将所述数据库调度表中的任务开始时间更新为所述任务结束时间,且将所述执行标识设置为所述第一状态;
将所获取到的目标业务数据发送至目标数据库。
2.根据权利要求1所述的方法,其特征在于,所述业务端数据库以数据库乐观锁为基础,使得所述应用服务器抢占当前任务后,其他应用服务器无法再抢占所述当前任务。
3.根据权利要求1所述的方法,其特征在于,所述业务端数据库中存储的每一条业务数据分别包括各自的处理时间;
所述从业务端数据库中获取目标业务数据包括:依据所述业务端数据库中存储的每条业务数据的处理时间,获取目标业务数据。
4.根据权利要求1-3任一项所述的方法,其特征在于,从业务端数据库中获取目标业务数据之后,所述方法还包括:
将所获取到的目标业务数据的业务号插入至预设的待处理任务日志表中;
所述将所获取到的目标业务数据发送至目标数据库包括:
按照所述待处理任务日志表中的业务号,依次获取目标业务数据,并将获取到的目标业务数据发送至目标数据库。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
对于所述待处理任务日志表中任意一条目标业务数据:当处理完一条目标业务数据后,在预设的判重表中写入该处理完的目标业务数据的业务号;当依据所述目标数据库中数据存储模型的要求,对目标业务数据进行组装后,将组装后的目标业务数据的数据信息写入预设的报文表中;当依据所述报文表中记载的组装后的目标业务数据的数据信息,将目标业务数据发送并存储至所述目标数据库中后,在预设的成功表中写入成功存储至所述目标数据库中的目标业务数据的业务号。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
判断所述成功表中记载的业务号与所述判重表中记载的业务号是否一致;
如果所述成功表中记载的业务号与所述判重表中记载的业务号不一致,从所述报文表中查找并获取与所述判重表中记载的业务号对应的业务数据的数据信息;
依据获取到的与所述判重表中记载的业务号对应的业务数据的数据信息,将与所述判重表中记载的业务号对应的业务数据发送并存储至所述目标数据库中。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
如果从所述报文表中没有查找到与所述判重表中记载的业务号对应的业务数据的数据信息,则依据所述判重表中记载的业务号,从所述业务端数据库中重新获取业务数据,并依据所述目标数据库中数据存储模型的要求,对重新获取的业务数据进行组装,并将组装后的业务数据的数据信息写入预设的报文表中;以及,
依据所述报文表中记载的组装后的业务数据的数据信息,将该业务数据发送并存储至所述目标数据库中。
8.一种数据传输装置,应用于应用服务器,其特征在于,所述装置包括:
检测单元,用于定时检测数据库调度表中的执行标识,所述数据库调度表包括任务计划、任务开始时间和所述执行标识,其中当所述执行标识为第一状态时,表示当前任务可执行,当所述执行标识为第二状态时,表示当前任务不可执行;
任务抢占单元,用于当所述检测单元检测到所述执行标识为所述第一状态时,抢占当前任务,并将所述执行标识设置为所述第二状态;
计算单元,用于依据所述应用服务器预设的任务处理规则以及所述任务开始时间,计算所述应用服务器执行当前任务的任务结束时间;
业务数据获取单元,用于从业务端数据库中获取目标业务数据,所述目标业务数据的处理时间位于由以所述任务开始时间为起始时间,以所述任务结束时间为终点时间构成的时间段内;
更新单元,用于将所述数据库调度表中的任务开始时间更新为所述任务结束时间,并将所述执行标识设置为所述第一状态;
发送单元,用于将所获取到的目标业务数据发送至目标数据库。
9.一种存储介质,其特征在于,其上存储有程序,所述程序被处理器执行时实现权利要求1至7中任一项所述的数据传输方法。
10.一种电子设备,其特征在于,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的数据传输方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811405650.9A CN109542920B (zh) | 2018-11-23 | 2018-11-23 | 一种数据传输方法、装置、介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811405650.9A CN109542920B (zh) | 2018-11-23 | 2018-11-23 | 一种数据传输方法、装置、介质和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109542920A true CN109542920A (zh) | 2019-03-29 |
CN109542920B CN109542920B (zh) | 2021-11-19 |
Family
ID=65849634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811405650.9A Active CN109542920B (zh) | 2018-11-23 | 2018-11-23 | 一种数据传输方法、装置、介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109542920B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111124891A (zh) * | 2019-12-02 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 接入状态的检测方法和装置、存储介质及电子装置 |
CN111210340A (zh) * | 2020-01-03 | 2020-05-29 | 中国建设银行股份有限公司 | 一种自动任务处理方法、装置、服务器及存储介质 |
CN111651284A (zh) * | 2020-05-25 | 2020-09-11 | 泰康保险集团股份有限公司 | 一种处理业务数据的方法、装置、系统及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104461704A (zh) * | 2014-10-29 | 2015-03-25 | 中国建设银行股份有限公司 | 一种业务云处理方法和系统 |
CN105446807A (zh) * | 2015-11-10 | 2016-03-30 | 中国建设银行股份有限公司 | 批处理方法及装置 |
CN106095585A (zh) * | 2016-06-22 | 2016-11-09 | 中国建设银行股份有限公司 | 任务请求处理方法、装置和企业信息系统 |
CN106844018A (zh) * | 2015-12-07 | 2017-06-13 | 阿里巴巴集团控股有限公司 | 一种任务处理方法、装置及系统 |
CN107402956A (zh) * | 2017-06-07 | 2017-11-28 | 网易(杭州)网络有限公司 | 大任务的数据处理方法、设备和计算机可读存储介质 |
CN107766132A (zh) * | 2017-06-25 | 2018-03-06 | 平安科技(深圳)有限公司 | 多任务调度方法、应用服务器及计算机可读存储介质 |
US20180095790A1 (en) * | 2016-09-30 | 2018-04-05 | Salesforce.Com, Inc. | Scheduling jobs for processing log files using a database system |
-
2018
- 2018-11-23 CN CN201811405650.9A patent/CN109542920B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104461704A (zh) * | 2014-10-29 | 2015-03-25 | 中国建设银行股份有限公司 | 一种业务云处理方法和系统 |
CN105446807A (zh) * | 2015-11-10 | 2016-03-30 | 中国建设银行股份有限公司 | 批处理方法及装置 |
CN106844018A (zh) * | 2015-12-07 | 2017-06-13 | 阿里巴巴集团控股有限公司 | 一种任务处理方法、装置及系统 |
CN106095585A (zh) * | 2016-06-22 | 2016-11-09 | 中国建设银行股份有限公司 | 任务请求处理方法、装置和企业信息系统 |
US20180095790A1 (en) * | 2016-09-30 | 2018-04-05 | Salesforce.Com, Inc. | Scheduling jobs for processing log files using a database system |
CN107402956A (zh) * | 2017-06-07 | 2017-11-28 | 网易(杭州)网络有限公司 | 大任务的数据处理方法、设备和计算机可读存储介质 |
CN107766132A (zh) * | 2017-06-25 | 2018-03-06 | 平安科技(深圳)有限公司 | 多任务调度方法、应用服务器及计算机可读存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111124891A (zh) * | 2019-12-02 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 接入状态的检测方法和装置、存储介质及电子装置 |
CN111210340A (zh) * | 2020-01-03 | 2020-05-29 | 中国建设银行股份有限公司 | 一种自动任务处理方法、装置、服务器及存储介质 |
CN111210340B (zh) * | 2020-01-03 | 2023-08-18 | 中国建设银行股份有限公司 | 一种自动任务处理方法、装置、服务器及存储介质 |
CN111651284A (zh) * | 2020-05-25 | 2020-09-11 | 泰康保险集团股份有限公司 | 一种处理业务数据的方法、装置、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109542920B (zh) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109542920B (zh) | 一种数据传输方法、装置、介质和电子设备 | |
CN106899648B (zh) | 一种数据处理方法和设备 | |
CN110825420A (zh) | 分布式集群的配置参数更新方法、装置、设备及存储介质 | |
CN108319538B (zh) | 大数据平台运行状态的监控方法和系统 | |
CN112559475B (zh) | 数据实时捕获和传输方法及系统 | |
CN112394966A (zh) | 设备升级方法、装置、计算机可读介质及设备 | |
CN111756803A (zh) | 一种基于区块链技术的服务器端推送方法及设备、介质 | |
CN111245897A (zh) | 数据处理方法、装置、系统、存储介质及处理器 | |
CN109471901B (zh) | 一种数据同步方法及装置 | |
CN110968406B (zh) | 处理任务的方法、装置、存储介质和处理器 | |
CN116414914A (zh) | 数据的同步方法、装置、处理器及电子设备 | |
CN112416534A (zh) | 一种基于Agent的任务管理方法及装置 | |
CN112559118A (zh) | 应用数据迁移方法、装置、电子设备及存储介质 | |
CN110888723A (zh) | 定时任务处理方法及装置 | |
CN115455121A (zh) | 一种实时可靠的数据同步传输方法、设备及介质 | |
CN114090528A (zh) | 跨中心文件同步方法、系统与计算机可读存储介质 | |
CN107784040B (zh) | 一种文件下发方法及装置 | |
CN113194129A (zh) | 一种数据的摆渡方法、设备及介质 | |
WO2016074480A1 (zh) | 一种定时跟踪方法、网元管理系统及存储介质 | |
CN112579189A (zh) | 配置文件更新方法及装置 | |
CN107844491B (zh) | 一种在分布式系统中实现强一致性读操作的方法与设备 | |
CN114301709B (zh) | 报文的处理方法和装置、存储介质及计算设备 | |
CN110908776A (zh) | 定时任务的执行方法及相关装置、计算机可读存储介质 | |
CN110365775B (zh) | 业务数据上传方法、装置及存储介质 | |
US20240012716A1 (en) | System and method for controlling backup and recovery software in a multiple cluster environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |