CN110309164B - 信息更新方法、装置、设备与计算机可读存储介质 - Google Patents

信息更新方法、装置、设备与计算机可读存储介质 Download PDF

Info

Publication number
CN110309164B
CN110309164B CN201910583870.9A CN201910583870A CN110309164B CN 110309164 B CN110309164 B CN 110309164B CN 201910583870 A CN201910583870 A CN 201910583870A CN 110309164 B CN110309164 B CN 110309164B
Authority
CN
China
Prior art keywords
updating
information
data
update
synchronized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910583870.9A
Other languages
English (en)
Other versions
CN110309164A (zh
Inventor
张兵
刘高亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201910583870.9A priority Critical patent/CN110309164B/zh
Publication of CN110309164A publication Critical patent/CN110309164A/zh
Application granted granted Critical
Publication of CN110309164B publication Critical patent/CN110309164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2358Change logging, detection, and notification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及金融科技领域,并公开了一种信息更新方法,包括:若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息,并确定所述第一更新信息对应的更新方式;基于所述更新方式,将所述第一更新信息登记到所述第一数据集合对应的待同步文件中;将所述待同步文件发送至所述数据中心节点对应的管理节点,其中,所述管理节点下载所述待同步文件,并更新所述待同步文件对应的第二数据集合的数据信息。本发明还公开了一种信息更新装置、设备和计算机可读存储介质。本发明通过不同的更新方式,将数据更新产生的更新信息,同步更新到对应的管理节点,实现信息的灵活更新。

Description

信息更新方法、装置、设备与计算机可读存储介质
技术领域
本发明涉及金融科技(Fintech)技术领域,尤其涉及信息更新方法、装置、设备与计算机可读存储介质。
背景技术
随着计算机技术的发展,越来越多的技术应用在金融领域,传统金融业正在逐步向金融科技(Finteh)转变,数据同步技术也不例外,但由于金融行业的安全性、实时性要求,也对技术提出了更高的要求。金融机构的分布式数据处理系统一般会设立多个数据中心节点和一个管理节点,其中,数据中心节点包含有完整的服务体系,并对外提供服务,而管理节点则用于管理各数据中心节点,如同步汇总数据中心节点的数据等。
在金融机构日常服务的过程中,由于交易双方的交易数据是即时更新的,所以金融机构的分布式数据处理系统的多个数据集合之间需要即时的实现数据更新。然而,交易量较大时,即多个不同的数据集合需要实现大量的数据交互,由于只有一个管理节点,会导致更新效率低下,并且容易发生拥堵,也即当前分布式数据处理系统的数据更新方式较为单一,明显不够智能。
发明内容
本发明的主要目的在于提出一种信息更新方法、装置、设备与计算机可读存储介质,旨在实现分布式数据的灵活更新。
为实现上述目的,本发明提供一种信息更新方法,所述信息更新方法包括如下步骤:
若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息,并确定所述第一更新信息对应的更新方式;
基于所述更新方式,将所述第一更新信息登记到所述第一数据集合对应的待同步文件中;
将所述待同步文件发送至所述数据中心节点对应的管理节点,其中,所述管理节点下载所述待同步文件,并更新所述待同步文件对应的第二数据集合的数据信息。
优选地,所述基于所述更新方式,将所述第一更新信息登记到所述第一数据集合对应的待同步文件中的步骤包括:
若所述更新方式为一般延时更新,则将所述第一更新信息登记在所述第一数据集合对应的数据表中,并将所述第一更新信息的更新状态标记为待同步;
基于所述更新方式对应的时间间隔,定时将所述数据表中,更新状态为待同步的第二更新信息汇总到对应的待同步文件中,并在所述数据表中,将所述第二更新信息的更新状态更新为已同步。
优选地,所述基于所述更新方式对应的时间间隔,定时将所述数据表中,更新状态为待同步的第二更新信息汇总到对应的待同步文件中,并在所述数据表中,将所述第二更新信息的更新状态更新为已同步的步骤包括:
基于所述更新方式对应的时间间隔,定时获取所述数据表中,更新状态为待同步的第二更新信息,并确定所述第二更新信息的大小;
基于所述第二更新信息的大小,分批将所述第二更新信息汇总到对应的待同步文件中,并在所述数据表中,将所述第二更新信息的更新状态更新为已同步。
优选地,所述基于所述更新方式,将所述第一更新信息登记到所述第一数据集合对应的待同步文件中的步骤包括:
若所述更新方式为定时汇总更新,则确定所述第一数据集合对应的数据分表,所述数据分表至少包括两个,并在所述数据分表中确定所述第一更新信息对应的目标分表;
将所述第一更新信息登记在所述目标分表中,并将所述第一更新信息的更新状态标记为待同步;
基于所述更新方式对应的时间间隔,定时将各数据分表中所属同一数据集合,且更新状态为待同步的第三更新信息汇总为第四更新信息,并将所述第四更新信息汇总到对应的待同步文件中,并在所述数据分表中,将所述第三更新信息的更新状态更新为已同步。
优选地,所述在所述数据分表中确定所述第一更新信息对应的目标分表的步骤包括:
获取所述第一更新信息对应的更新值,并基于所述更新值,确定所述第一更新信息对应的序号;
获取所述数据分表的排序,在所述排序中,将所述序号对应的数据分表作为所述第一更新信息对应的目标分表。
优选地,所述若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息,并确定所述第一更新信息对应的更新方式的步骤包括:
若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息以及所述第一数据集合的枚举值;
基于所述枚举值,确定所述第一更新信息对应的更新方式。
优选地,所述若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息以及所述第一数据集合的枚举值的步骤之前,所述方法还包括:
当接收到所述第一数据集合的创建指令时,确定所述第一数据集合对应的描述信息;
基于所述描述信息,确定所述第一数据集合的更新方式,并赋予所述更新方式对应的枚举值。
此外,为实现上述目的,本发明还提供一种信息更新装置,所述信息更新装置包括:
获取模块,用于若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息,并确定所述第一更新信息对应的更新方式;
等级模块,用于基于所述更新方式,将所述第一更新信息登记到所述第一数据集合对应的待同步文件中;
发送模块,用于将所述待同步文件发送至所述数据中心节点对应的管理节点,其中,所述管理节点下载所述待同步文件,并更新所述待同步文件对应的第二数据集合的数据信息。
优选地,所述登记模块还用于:
若所述更新方式为一般延时更新,则将所述第一更新信息登记在所述第一数据集合对应的数据表中,并将所述第一更新信息的更新状态标记为待同步;
基于所述更新方式对应的时间间隔,定时将所述数据表中,更新状态为待同步的第二更新信息汇总到对应的待同步文件中,并在所述数据表中,将所述第二更新信息的更新状态更新为已同步。
优选地,所述登记模块还用于:
基于所述更新方式对应的时间间隔,定时获取所述数据表中,更新状态为待同步的第二更新信息,并确定所述第二更新信息的大小;
基于所述第二更新信息的大小,分批将所述第二更新信息汇总到对应的待同步文件中,并在所述数据表中,将所述第二更新信息的更新状态更新为已同步。
优选地,所述登记模块还用于:
若所述更新方式为定时汇总更新,则确定所述第一数据集合对应的数据分表,所述数据分表至少包括两个,并在所述数据分表中确定所述第一更新信息对应的目标分表;
将所述第一更新信息登记在所述目标分表中,并将所述第一更新信息的更新状态标记为待同步;
基于所述更新方式对应的时间间隔,定时将各数据分表中所属同一数据集合,且更新状态为待同步的第三更新信息汇总为第四更新信息,并将所述第四更新信息汇总到对应的待同步文件中,并在所述数据分表中,将所述第三更新信息的更新状态更新为已同步。
优选地,所述登记模块还用于:
获取所述第一更新信息对应的更新值,并基于所述更新值,确定所述第一更新信息对应的序号;
获取所述数据分表的排序,在所述排序中,将所述序号对应的数据分表作为所述第一更新信息对应的目标分表。
优选地,所述获取模块还用于:
若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息以及所述第一数据集合的枚举值;
基于所述枚举值,确定所述第一更新信息对应的更新方式。
优选地,所述信息更新装置还包括创建模块,用于:
当接收到所述第一数据集合的创建指令时,确定所述第一数据集合对应的描述信息;
基于所述描述信息,确定所述第一数据集合的更新方式,并赋予所述更新方式对应的枚举值。
此外,为实现上述目的,本发明还提供一种信息更新设备,所述信息更新设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的信息更新程序,所述信息更新程序被所述处理器执行时实现如上所述的信息更新方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有信息更新程序,所述信息更新程序被处理器执行时实现如上所述的信息更新方法的步骤。
本发明提出的信息更新方法,若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息,并确定所述第一更新信息对应的更新方式;基于所述更新方式,将所述第一更新信息登记到所述第一数据集合对应的待同步文件中;将所述待同步文件发送至所述数据中心节点对应的管理节点,其中,所述管理节点下载所述待同步文件,并更新所述待同步文件对应的第二数据集合的数据信息。本发明通过不同的更新方式,将数据更新产生的更新信息,同步更新到对应的管理节点,实现信息的灵活更新。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本发明信息更新方法第一实施例的流程示意图;
图3为本发明信息更新方法第二实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例设备可以是PC机或服务器设备。
如图1所示,该终设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的设备结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及信息更新程序。
其中,操作系统是管理和控制信息更新设备与软件资源的程序,支持网络通信模块、用户接口模块、信息更新程序以及其他程序或软件的运行;网络通信模块用于管理和控制网络接口1002;用户接口模块用于管理和控制用户接口1003。
在图1所示的信息更新设备中,所述信息更新设备通过处理器1001调用存储器1005中存储的信息更新程序,并执行下述信息更新方法各个实施例中的操作。
基于上述硬件结构,提出本发明信息更新方法实施例。
参照图2,图2为本发明信息更新方法第一实施例的流程示意图,所述方法包括:
步骤S10,若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息,并确定所述第一更新信息对应的更新方式;
步骤S20,基于所述更新方式,将所述第一更新信息登记到所述第一数据集合对应的待同步文件中;
步骤S30,将所述待同步文件发送至所述数据中心节点对应的管理节点,其中,所述管理节点下载所述待同步文件,并更新所述待同步文件对应的第二数据集合的数据信息。
本实施例若在数据中心节点检测到第一数据集合发生数据更新,则需要将对应的第一更新信息更新到管理节点的第一数据集合中,以完成同步更新。为方便理解,以银行等金融机构的数据处理为例进行说明,具体的,数据集合可以是账户或者是报表等数据集合体,并且该数据集合在数据中心节点发生数据更新,需要同步更新到对应的管理节点中,其中,账户优选为内部户,内部户发生交易产生交易信息即表示数据集合发生数据更新,交易信息即为更新信息,内部户是银行核心因需设立的一种用于内部业务资金流转的不计息账户,也称内部账户,因此可采用不同的更新方式,将内部户对应的交易产生的流水信息更新到内部户所在的管理节点,从而实现信息的灵活更新。
以下将对各个步骤进行详细说明:
步骤S10,若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息,并确定所述第一更新信息对应的更新方式。
本实施例信息更新方法应用于理财机构或者银行系统等金融机构的信息更新设备中,为描述方便,信息更新设备以下简称更新设备,其中,更新设备对接多个数据中心节点,以及一个管理节点,数据中心节点具备完整的对外服务体系,而管理节点用于管理各数据中心节点。本实施例的数据集合在管理节点创建,并且在数据中心节点发生数据更新,以数据集合是内部户为例,由于内部户是一种因需开立的用于内部业务资金流转用途的不计息账户,因此当内部户发生交易,导致对应的账户信息发生变化,也即发生数据更新时,可采用延时记账的方式来记录内部户的账户信息,也即在真实交易发生时间后,延长一段时间,再将交易发生的金额体现在内部户上,并更新内部户的账户信息,也即延时更新第一数据集合在管理节点的数据信息。为方便理解,以下将以数据集合是内部户进行说明,第一数据集合即为第一内部户。
当数据中心节点中的普通客户账户与第一内部户发生交易时,会产生对应的流水号等流水信息,因此,当更新设备在数据中心节点检测到第一内部户发生交易时,可获取当前交易对应的第一流水信息,并确定第一流水信息对应的更新方式,也即在数据中心节点检测到第一数据集合发生数据更新时,获取对应的第一更新信息,并确定第一更新信息对应的更新方式,其中更新方式包括一般延时更新、定时汇总更新和日终汇总更新。
具体的,一般延时更新:只要产生内部户对应的流水信息,即在管理节点进行同步更新处理,也即第一数据集合在数据中心节点发生数据更新,立即在管理节点进行同步更新;定时汇总更新:当产生内部户的流水信息时,会堆积一段固定的时间,再一次性汇总到管理节点进行同步更新处理,也即第一数据集合在数据中心节点发生数据更新,可将对应的第一更新信息堆积一段时间,再一次性汇总更新到管理节点;日终汇总更新:也即日间产生的内部户流水信息不会进行处理,而是等到日终一次性将流水信息汇总到管理节点进行同步更新处理,也即定时汇总更新的其中一类,如固定凌晨进行同步更新处理的定时汇总更新。
在实际处理过程中,一般延时更新的时效性相对来说会高一些,因此,随着交易流水信息的产生,更新设备处理的数据量会随着增多,处理次数也随之增多,而定时汇总更新则由于累积了一段时间的流水信息,再进行一次性汇总,也即做延时处理,因此处理次数相对一般延时更新较少,由于银行等金融机构日常交易量较大,所以定时汇总更新对应的固定时间一般不会很长,一般固定几个小时汇总处理一次,而日终汇总更新则是固定凌晨,一天只处理一次,一次汇总更新,处理次数最少,但时效性最慢。
因此,在获取到第一流水信息后,可根据内部户的需求,选择不同的更新方式,也即在获取到第一更新信息后,可根据第一数据集合的实际需求,选择不同的更新方式。
具体的,步骤S10包括:
步骤a,当在数据中心节点检测到第一数据集合发生数据更新时,获取所述数据更新对应的第一更新信息以及所述第一数据集合的枚举值;
在该步骤中,当更新设备在数据中心节点检测到第一数据集合发生数据更新时,获取数据更新对应的第一更新信息,以及第一数据集合的枚举值,即每一个数据集合都携带有对应的枚举值,用于后续确定数据集合对应的信息更新方式,其中,在具体实施时,枚举值以0-一般延时更新、1-定时汇总更新和2-日终汇总更新表示。
步骤b,基于所述枚举值,确定所述第一更新信息对应的更新方式。
在该步骤中,根据第一数据集合携带的枚举值,从而确定第一更新信息对应的更新方式,也即通过读取枚举值,确定第一更新信息是一般延时更新还是定时汇总更新,或者是日终汇总更新。
进一步地,所述方法还包括:
步骤c,当接收到所述第一数据集合的创建指令时,确定所述第一数据集合对应的描述信息;
在该步骤中,当更新设备在管理节点接收到第一数据集合的创建指令时,先确定第一数据集合对应的描述信息,其中描述信息指的是描述数据集合相关信息的信息,包括业务类型以及业务规模等。
步骤d,基于所述描述信息,确定所述第一数据集合的更新方式,并赋予所述更新方式对应的枚举值。
在该步骤中,根据确定的描述信息,确定第一数据集合的更新方式,并赋予所述更新方式对应的枚举值,具体的,如确定第一数据集合对应的业务规模,当业务规模较大,也即业务量较多时,确定第一数据集合的更新方式为一般延时更新,赋予的枚举值为0-一般延时更新;当业务规模较小时,确定第一数据集合的更新方式为定时汇总更新,并赋予枚举值1-定时汇总更新或2-日终汇总更新。或者,确定第一数据集合对应的业务类型,当业务类型为即时性业务时,也即时效要求即时时,确定第一数据集合的更新方式为一般延时更新,赋予的枚举值为0-一般延时更新;当业务类型为非即时性业务时,也即时效要求不高的情况下,确定第一数据集合的更新方式为定时汇总更新,并赋予枚举值1-定时汇总更新或2-日终汇总更新。
以内部户为例,银行等金融机构因需开立内部户时,根据业务方的需求,对内部户的更新方式进行确定,以便后续在内部户产生交易时,基于确定的更新方式,将对应的流水信息登记到对应的待同步文件。
步骤S20,基于所述更新方式,将所述第一更新信息登记到所述第一数据集合对应的待同步文件中。
在本实施例中,基于确定的更新方式,更新设备将第一更新信息登记到第一数据集合对应的待同步文件中,也即第一更新信息并不直接发送至对应的管理节点,而是先将其放在类似“中转站”的待同步文件中。
具体的,步骤S20包括:
步骤e,若所述更新方式为一般延时更新,则将所述第一更新信息登记在所述第一数据集合对应的数据表中,并将所述第一更新信息的更新状态标记为待同步;
在该步骤中,若确定更新方式为一般延时更新,则将第一更新信息登记在第一数据集合对应的数据表中,该数据表为第一数据集合创建时创建,即更新方式为一般延时更新的内部户,在创建之初就对应创建有一个数据表,该数据表用于记载数据更新产生的数据,如内部户的流水信息等。在更新设备将第一更新信息登记在第一数据集合对应的数据表后,将第一更新信息的更新状态标记为待同步,也即在将第一更新信息发送至待同步文件前,先存储在数据表中。
需要说明的是,数据表中记载着所有数据集合发生数据更新产生的更新信息,即在本实施例中,第一更新信息指的是与第一数据集合发生数据更新产生的数据,如内部户发生交易产生的流水信息等。
步骤f,基于所述更新方式对应的时间间隔,定时将所述数据表中,更新状态为待同步的第二更新信息汇总到对应的待同步文件中,并在所述数据表中,将所述第二更新信息的更新状态更新为已同步。
在该步骤中,更新设备根据确定的更新方式,确定对应的时间间隔,在本实施例中,一般延时更新对应的时间间隔为即时,即数据中心节点产生数据集合的数据更新,即将对应的更新信息登记到对应的数据表中,并即时将数据表中,更新状态为待同步的第二更新信息汇总到对应的待同步文件中,在本实施例中,第二更新信息与第一更新信息一致,最后,在数据表中,将第二更新信息的更新状态更新为已同步。
进一步地,步骤f包括:
基于所述更新方式对应的时间间隔,定时获取所述数据表中,更新状态为待同步的第二更新信息,并确定所述第二更新信息的大小;
在该步骤中,更新设备根据确定的更新方式,确定对应的时间间隔,在本实施例中,一般延时更新对应的时间间隔为即时,即数据中心节点发生数据集合的数据更新,即将对应的更新信息登记到对应的数据表中,并确定数据表中更新状态为待同步的第二更新信息的大小。可以理解的,在数据量比较大的情况下,若将更新信息一次性记载到待同步文件上,会导致更新设备算力压力增大。
基于所述第二更新信息的大小,分批将所述第二更新信息汇总到对应的待同步文件中,并在所述数据表中,将所述第二更新信息的更新状态更新为已同步。
在该步骤中,基于第二更新信息的大小,分批将第二更新信息汇总到对应的待同步文件中,具体的,将第二更新信息的大小与预设大小进行比较,若低于预设大小,则无需分批,将第二更新信息直接汇总到对应的待同步文件中;若高于所述预设大小,则分批将第二更新信息汇总到对应的待同步文件中,具体批次数可通过第二更新信息的大小除以预设大小,所得结果加一即为批次数,最后在数据表中将第二更新信息的更新状态更新为已同步。
步骤S30,将所述待同步文件发送至所述数据中心节点对应的管理节点,其中,所述管理节点下载所述待同步文件,并更新所述待同步文件对应的第二数据集合的数据信息。
在本实施例中,在将第一更新信息登记到待同步文件后,将待同步文件发送至数据中心节点对应的管理节点,需要说明的是,在发送之前,可将待同步文件进行压缩,以减少传输压力。管理节点在接收到待同步文件后,会下载待同步文件,并根据待同步文件中的更新信息,在管理节点中更新待同步文件对应的第二数据集合的数据信息,如内部户发生交易,则在管理节点,将内部户扣除的金额或者增加的金额体现在该内部户的账户余额中,其中,可以理解的,第二数据集合包含第一数据集合,在没有其他数据集合发生数据更新的情况下,第二数据集合即为第一数据集合。
本实施例若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息,并确定所述第一更新信息对应的更新方式;基于所述更新方式,将所述第一更新信息登记到所述第一数据集合对应的待同步文件中;将所述待同步文件发送至所述数据中心节点对应的管理节点;通过所述管理节点下载所述待同步文件,并基于所述待同步文件,在所述管理节点中更新所述待同步文件对应的第二数据集合的数据信息。本发明通过不同的更新方式,将数据更新产生的更新信息,同步更新到对应的管理节点,实现信息的灵活更新。
进一步地,基于本发明信息更新方法第一实施例,提出本发明信息更新方法第二实施例。
信息更新方法的第二实施例与信息更新方法的第一实施例的区别在于,参照图3,步骤S20包括:
步骤S21,若所述更新方式为定时汇总更新,则确定所述第一数据集合对应的数据分表,所述数据分表至少包括两个,并在所述数据分表中确定所述第一更新信息对应的目标分表;
步骤S22,将所述第一更新信息登记在所述目标分表中,并将所述第一更新信息的更新状态标记为待同步;
步骤S23,基于所述更新方式对应的时间间隔,定时将各数据分表中所属同一数据集合,且更新状态为待同步的第三更新信息汇总为第四更新信息,并将所述第四更新信息汇总到对应的待同步文件中,并在所述数据分表中,将所述第三更新信息的更新状态更新为已同步。
本实施例若更新方式为定时汇总更新,则将更新信息较为均匀的登记到数据分表中,避免所有的数据集中在一个数据表中造成数据拥堵,再将数据分表中的更新信息进行汇总,使得发送到待同步文件的数据量减少,便于更新。
以下将对各个步骤进行说明:
步骤S21,若所述更新方式为定时汇总更新,则确定所述第一数据集合对应的数据分表,所述数据分表至少包括两个,并在所述数据分表中确定所述第一更新信息对应的目标分表。
在本实施例中,若确定第一数据集合的更新方式为定时汇总更新,则先确定第一数据集合对应的数据分表,该数据分表至少包括两个,即在本实施例中,当第一数据集合被创建确定为定时汇总更新时,更新设备创建该第一数据集合对应的多个数据分表,其中数据分表的具体个数可根据第一数据集合对应的描述信息,以及该描述信息历史更新信息决定,具体的,确定第一数据集合对应的第一描述信息,并确定第一描述信息对应的目标数据集合,通过统计各目标数据集合的历史更新信息,确定各目标数据集合对应的平均更新信息,根据平均更新信息的大小,与预设的数据分表的极限承载信息,确定第一数据集合对应的数据分表的个数。
当然,定时汇总更新的数据集合也可以是有固定个数的数据分表,即在数据集合创建时,即确定其对应的有固定的数据分表,如16个。
在确定第一数据集合对应的数据分表后,在数据分表中确定第一更新信息对应的目标分表,也即确定当前第一更新信息具体落在哪一个数据分表中。
具体的,在所述数据分表中确定所述第一更新信息对应的目标分表的步骤包括:
步骤g,获取所述第一更新信息对应的更新值,并基于所述更新值,确定所述第一更新信息对应的序号;
在该步骤中,更新设备获取第一更新信息对应的更新值,并基于哈希算法,得到第一更新信息对应的散列值,通过散列值,确定第一更新信息对应的序号,其中,更新值为第一更新信息的唯一编号,如数据集合为内部户,第一更新信息为流水信息时,第一更新信息的更新值为流水信息的流水号,也即在第一数据集合发生数据更新时,更新设备会对应生成一个唯一编号。
具体的,更新设备获取第一更新信息对应的唯一更新值和数据分表的个数,并基于哈希算法,将更新值生成对应的散列值,并用散列值除以数据分表的个数,所得余数加一即为第一更新信息对应的序号。
步骤h,获取所述数据分表的排序,在所述排序中,将所述序号对应的数据分表作为所述第一更新信息对应的目标分表。
在该步骤中,更新设备获取数据分表的排序,在排序中,将第一更新信息对应的序号所对应的数据分表作为第一更新信息对应的目标分表。
步骤S22,将所述第一更新信息登记在所述目标分表中,并将所述第一更新信息的更新状态标记为待同步。
在本实施例中,在确定第一更新信息对应的目标分表后,将第一更新信息登记在目标分表中,并将第一更新信息的更新状态标记为待同步,即每一个更新信息都有对应的数据分表,避免所有的更新信息都集中在一个数据分表上,使更新信息较为均匀的分布在各个数据分表中。
步骤S23,基于所述更新方式对应的时间间隔,定时将各数据分表中所属同一数据集合,且更新状态为待同步的第三更新信息汇总为第四更新信息,并将所述第四更新信息汇总到对应的待同步文件中,并在所述数据分表中,将所述第三更新信息的更新状态更新为已同步。
在本实施例中,更新设备基于更新方式对应的时间间隔,也即定时汇总更新对应的时间间隔,定时将各数据分表中所属同一数据集合,且更新状态为待同步的第三更新信息汇总为第四更新信息,即在数据分表中先对更新信息进行压缩处理,使得相同数据集合的待同步更新信息被合并在一起,减少了更新信息的笔数以及数据大小。在实际实施时,时间间隔可以根据实际情况进行设置,在本实施例中优选为间隔一段时间或者固定时间点对数据分表中的更新信息进行汇总,如每隔一个小时对数据分表中的更新信息汇总一次,或者是日间不处理,在凌晨时,对数据分表中的更新信息汇总一次。
最后,将汇总后的第四更新信息再汇总到对应的待同步文件中,并在数据分表中,将第三更新信息的更新状态更新为已同步。
本实施例若更新方式为定时汇总更新,则将更新信息较为均匀的登记到数据分表中,避免所有的数据集中在一个数据表中造成数据拥堵,再将数据分表中的更新信息进行汇总,使得发送到待同步文件的更新信息的笔数和数据量减少,便于更新,实现信息的灵活更新。
本发明还提供一种信息更新装置。本发明信息更新装置包括:
获取模块,用于若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息,并确定所述第一更新信息对应的更新方式;
登记模块,用于基于所述更新方式,将所述第一更新信息登记到所述第一数据集合对应的待同步文件中;
发送模块,用于将所述待同步文件发送至所述数据中心节点对应的管理节点,其中,所述管理节点下载所述待同步文件,并更新所述待同步文件对应的第二数据集合的数据信息。
进一步地,所述登记模块还用于:
若所述更新方式为一般延时更新,则将所述第一更新信息登记在所述第一数据集合对应的数据表中,并将所述第一更新信息的更新状态标记为待同步;
基于所述更新方式对应的时间间隔,定时将所述数据表中,更新状态为待同步的第二更新信息汇总到对应的待同步文件中,并在所述数据表中,将所述第二更新信息的更新状态更新为已同步。
进一步地,所述登记模块还用于:
基于所述更新方式对应的时间间隔,定时获取所述数据表中,更新状态为待同步的第二更新信息,并确定所述第二更新信息的大小;
基于所述第二更新信息的大小,分批将所述第二更新信息汇总到对应的待同步文件中,并在所述数据表中,将所述第二更新信息的更新状态更新为已同步。
进一步地,所述登记模块还用于:
若所述更新方式为定时汇总更新,则确定所述第一数据集合对应的数据分表,所述数据分表至少包括两个,并在所述数据分表中确定所述第一更新信息对应的目标分表;
将所述第一更新信息登记在所述目标分表中,并将所述第一更新信息的更新状态标记为待同步;
基于所述更新方式对应的时间间隔,定时将各数据分表中所属同一数据集合,且更新状态为待同步的第三更新信息汇总为第四更新信息,并将所述第四更新信息汇总到对应的待同步文件中,并在所述数据分表中,将所述第三更新信息的更新状态更新为已同步。
进一步地,所述登记模块还用于:
获取所述第一更新信息对应的更新值,并基于所述更新值,确定所述第一更新信息对应的序号;
获取所述数据分表的排序,在所述排序中,将所述序号对应的数据分表作为所述第一更新信息对应的目标分表。
进一步地,所述获取模块还用于:
当在数据中心节点检测到第一数据集合发生数据更新时,获取所述数据更新对应的第一更新信息以及所述第一数据集合的枚举值;
基于所述枚举值,确定所述第一更新信息对应的更新方式。
进一步地,所述信息更新装置还包括创建模块,用于:
当接收到所述第一数据集合的创建指令时,确定所述第一数据集合对应的描述信息;
基于所述描述信息,确定所述第一数据集合的更新方式,并赋予所述更新方式对应的枚举值。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有信息更新程序,所述信息更新程序被处理器执行时实现如上所述的信息更新方法的步骤。
其中,在所述处理器上运行的信息更新程序被执行时所实现的方法可参照本发明信息更新方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种信息更新方法,其特征在于,所述信息更新方法包括如下步骤:
若在数据中心节点检测到包括金融数据的第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息,并确定所述第一更新信息对应的更新方式;
基于所述更新方式,将所述第一更新信息汇总到所述第一数据集合对应的待同步文件中;不同的更新方式对应的汇总方式不同;其中,在所述更新方式为一般延时更新的情况下,将所述第一更新信息登记在对应的数据表后,定时将所述数据表汇总至所述待同步文件中;在所述更新方式为定时汇总更新的情况下,将所述第一更新信息登记在对应的数据分表后,定时将各数据分表汇总至所述待同步文件中;
将所述待同步文件发送至所述数据中心节点对应的管理节点,其中,所述管理节点下载所述待同步文件,并更新所述待同步文件对应的第二数据集合的数据信息。
2.如权利要求1所述的信息更新方法,其特征在于,所述基于所述更新方式,将所述第一更新信息汇总到所述第一数据集合对应的待同步文件中的步骤包括:
若所述更新方式为一般延时更新,则将所述第一更新信息登记在所述第一数据集合对应的数据表中,并将所述第一更新信息的更新状态标记为待同步;
基于所述更新方式对应的时间间隔,定时将所述数据表中,更新状态为待同步的第二更新信息汇总到对应的待同步文件中,并在所述数据表中,将所述第二更新信息的更新状态更新为已同步。
3.如权利要求2所述的信息更新方法,其特征在于,所述基于所述更新方式对应的时间间隔,定时将所述数据表中,更新状态为待同步的第二更新信息汇总到对应的待同步文件中,并在所述数据表中,将所述第二更新信息的更新状态更新为已同步的步骤包括:
基于所述更新方式对应的时间间隔,定时获取所述数据表中,更新状态为待同步的第二更新信息,并确定所述第二更新信息的大小;
基于所述第二更新信息的大小,分批将所述第二更新信息汇总到对应的待同步文件中,并在所述数据表中,将所述第二更新信息的更新状态更新为已同步。
4.如权利要求1所述的信息更新方法,其特征在于,所述基于所述更新方式,将所述第一更新信息汇总到所述第一数据集合对应的待同步文件中的步骤包括:
若所述更新方式为定时汇总更新,则确定所述第一数据集合对应的数据分表,所述数据分表至少包括两个,并在所述数据分表中确定所述第一更新信息对应的目标分表;
将所述第一更新信息登记在所述目标分表中,并将所述第一更新信息的更新状态标记为待同步;
基于所述更新方式对应的时间间隔,定时将各数据分表中所属同一数据集合,且更新状态为待同步的第三更新信息汇总为第四更新信息,并将所述第四更新信息汇总到对应的待同步文件中,并在所述数据分表中,将所述第三更新信息的更新状态更新为已同步。
5.如权利要求4所述的信息更新方法,其特征在于,所述在所述数据分表中确定所述第一更新信息对应的目标分表的步骤包括:
获取所述第一更新信息对应的更新值,并基于所述更新值,确定所述第一更新信息对应的序号;
获取所述数据分表的排序,在所述排序中,将所述序号对应的数据分表作为所述第一更新信息对应的目标分表。
6.如权利要求1-5任一项所述的信息更新方法,其特征在于,所述若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息,并确定所述第一更新信息对应的更新方式的步骤包括:
若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息以及所述第一数据集合的枚举值;
基于所述枚举值,确定所述第一更新信息对应的更新方式。
7.如权利要求6所述的信息更新方法,其特征在于,所述若在数据中心节点检测到第一数据集合发生数据更新,则获取所述数据更新对应的第一更新信息以及所述第一数据集合的枚举值的步骤之前,所述方法还包括:
当接收到所述第一数据集合的创建指令时,确定所述第一数据集合对应的描述信息;
基于所述描述信息,确定所述第一数据集合的更新方式,并赋予所述更新方式对应的枚举值。
8.一种信息更新装置,其特征在于,所述信息更新装置包括:
获取模块,用于当在数据中心节点检测到包括金融数据的第一数据集合发生数据更新时,获取所述数据更新对应的第一更新信息,并确定所述第一更新信息对应的更新方式;
登记模块,用于基于所述更新方式,将所述第一更新信息汇总到所述第一数据集合对应的待同步文件中;不同的更新方式对应的汇总方式不同;其中,在所述更新方式为一般延时更新的情况下,将所述第一更新信息登记在对应的数据表后,定时将所述数据表汇总至所述待同步文件中;在所述更新方式为定时汇总更新的情况下,将所述第一更新信息登记在对应的数据分表后,定时将各数据分表汇总至所述待同步文件中;
发送模块,用于将所述待同步文件发送至所述数据中心节点对应的管理节点,其中,所述管理节点下载所述待同步文件,并更新所述待同步文件对应的第二数据集合的数据信息。
9.一种信息更新设备,其特征在于,所述信息更新设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的信息更新程序,所述信息更新程序被所述处理器执行时实现如权利要求1至7中任一项所述的信息更新方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有信息更新程序,所述信息更新程序被处理器执行时实现如权利要求1至7中任一项所述的信息更新方法的步骤。
CN201910583870.9A 2019-06-27 2019-06-27 信息更新方法、装置、设备与计算机可读存储介质 Active CN110309164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910583870.9A CN110309164B (zh) 2019-06-27 2019-06-27 信息更新方法、装置、设备与计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910583870.9A CN110309164B (zh) 2019-06-27 2019-06-27 信息更新方法、装置、设备与计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110309164A CN110309164A (zh) 2019-10-08
CN110309164B true CN110309164B (zh) 2023-05-09

Family

ID=68078284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910583870.9A Active CN110309164B (zh) 2019-06-27 2019-06-27 信息更新方法、装置、设备与计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110309164B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102053982A (zh) * 2009-11-02 2011-05-11 阿里巴巴集团控股有限公司 一种数据库信息管理方法和设备
CN102355497A (zh) * 2011-09-28 2012-02-15 中国铁道科学研究院电子计算技术研究所 数据同步方法
CN106713487A (zh) * 2017-01-16 2017-05-24 腾讯科技(深圳)有限公司 数据的同步方法和装置
CN107145572A (zh) * 2017-05-05 2017-09-08 广东欧珀移动通信有限公司 数据处理方法、装置、计算机设备及存储介质
CN109241182A (zh) * 2018-08-14 2019-01-18 中国平安人寿保险股份有限公司 大数据实时同步方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053124B1 (en) * 2014-09-30 2015-06-09 Code 42 Software, Inc. System for a distributed file system element collection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102053982A (zh) * 2009-11-02 2011-05-11 阿里巴巴集团控股有限公司 一种数据库信息管理方法和设备
CN102355497A (zh) * 2011-09-28 2012-02-15 中国铁道科学研究院电子计算技术研究所 数据同步方法
CN106713487A (zh) * 2017-01-16 2017-05-24 腾讯科技(深圳)有限公司 数据的同步方法和装置
CN107145572A (zh) * 2017-05-05 2017-09-08 广东欧珀移动通信有限公司 数据处理方法、装置、计算机设备及存储介质
CN109241182A (zh) * 2018-08-14 2019-01-18 中国平安人寿保险股份有限公司 大数据实时同步方法、装置、计算机设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Xiang Wu.Data synchronization for integration systems based on message digest.《2010 International Conference on Educational and Information Technology》.2010,V1-197~V1-199. *
Zach Mccormick 等.Data synchronization patterns in mobile application design.《PLoP '12: Proceedings of the 19th Conference on Pattern Languages of Programs》.2012,1-15. *
朱建华.分布式数据同步采集系统的设计与实现.《中国优秀硕士学位论文全文数据库 信息科技辑》.2014,(第08(2014)期),I140-552. *

Also Published As

Publication number Publication date
CN110309164A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
US11038975B2 (en) Information pushing method and device
CN110221817A (zh) 一种数据召回模块及推荐系统
CN110019339B (zh) 一种数据查询方法和系统
JP5433538B2 (ja) 通信量削減方法
CN103927314B (zh) 一种数据批量处理的方法和装置
US20130055271A1 (en) Apparatus and method for controlling polling
CN110363663B (zh) 基于区块链的数据批量处理方法、装置、设备及存储介质
WO2008095384A1 (en) Matching method and system for marketing campaign recommendation
US20130337785A1 (en) Methods and systems for providing a dynamic array of services and information through a dynamic icon
CN109729116B (zh) 插件信息的传输方法、装置、存储介质及电子装置
CN102014140B (zh) 优化在推内容处理协议中传递的元数据的方法和系统
WO2020258666A1 (zh) 一种分布式系统及数据处理方法
CN111639902A (zh) 基于kafka的数据审核方法、控制装置及计算机设备、存储介质
CN101673217B (zh) 一种实现远端程序调用的方法和系统
CN110309164B (zh) 信息更新方法、装置、设备与计算机可读存储介质
CN112396511A (zh) 分布式风控变量数据处理方法、装置及系统
CN103188235A (zh) 一种客户端与服务端间群组信息同步的方法和系统
US20200112849A1 (en) Nomination of a primary cell phone from a pool of cell phones
CN114650310B (zh) 基于物联网的设备控制方法、装置、电子设备及存储介质
CN115934076A (zh) 跨平台客户端的微服务提供装置、方法和电子设备
CN115082038A (zh) 系统集成方法、装置及电子设备
CN115098290A (zh) 基于自动更新的nlp模型的智能人工服务方法和装置
EP2720151A1 (en) Communication terminal and content update method
CN114612212A (zh) 一种基于风险控制的业务处理方法、装置和系统
CN111815339A (zh) 一种营销信息推送方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant