CN110471884A - 数据管理方法、装置、设备、系统及计算机可读存储介质 - Google Patents

数据管理方法、装置、设备、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN110471884A
CN110471884A CN201910772396.4A CN201910772396A CN110471884A CN 110471884 A CN110471884 A CN 110471884A CN 201910772396 A CN201910772396 A CN 201910772396A CN 110471884 A CN110471884 A CN 110471884A
Authority
CN
China
Prior art keywords
data
modification
data template
access system
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910772396.4A
Other languages
English (en)
Inventor
罗鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201910772396.4A priority Critical patent/CN110471884A/zh
Publication of CN110471884A publication Critical patent/CN110471884A/zh
Priority to PCT/CN2020/108193 priority patent/WO2021031905A1/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/55Push-based network services

Abstract

本发明涉及金融科技技术领域,公开了一种数据管理方法、装置、设备、系统及计算机可读存储介质。该方法包括:在接收到监听请求时,根据监听请求获取目标接入系统,并通过Zookeeper对目标接入系统进行监听注册;在接收到数据模板修改请求时,根据数据模板修改请求对对应的目标数据模板进行修改更新,并通过Zookeeper检测修改更新的目标数据模板是否属于目标接入系统;若修改更新的目标数据模板属于目标接入系统,则通过Zookeeper向与监听请求对应的客户端发送通知消息,以使得客户端根据通知消息更新目标接入系统的本机缓存。本发明能解决现有的数据管理过程中,网络开销较大、同时数据管理平台的压力也较大的问题。

Description

数据管理方法、装置、设备、系统及计算机可读存储介质
技术领域
本发明涉及金融科技(Fintech)技术领域,尤其涉及一种数据管理方法、装置、设备、系统及计算机可读存储介质。
背景技术
随着计算机技术的发展,越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域,传统金融业正在逐步向金融科技(Fintech)转变,但由于金融行业的安全性、实时性要求,也对技术提出了更高的要求。
近年来,随着金融科技(Fintech),尤其是互联网科技金融的不断发展,银行等金融机构的业务系统不断增加,对应的数据也不断增加,通常需要搭建专门的数据管理平台以对各业务系统的数据进行管理。例如,以文案管理为例,目前,各业务系统的文案均是存储在文案管理平台中,当各业务系统接收到业务处理请求后处理业务相应的业务逻辑,进而根据处理结果从文案管理平台查询对应的文案。在每次发起查询请求时,均是一次网络请求,网络开销较大。此外,当接入的业务系统较多或者接入系统请求量很大的时候,文案管理平台会成为瓶颈,一旦文案管理平台成了瓶颈,也就影响到了其他接入系统,造成雪崩。因此,在现有的数据管理过程中,存在网络开销较大、同时数据管理平台的压力也较大的问题。
发明内容
本发明的主要目的在于提供一种数据管理方法、装置、设备、系统及计算机可读存储介质,旨在解决现有的数据管理过程中,网络开销较大、同时数据管理平台的压力也较大的问题。
为实现上述目的,本发明提供一种数据管理方法,所述数据管理方法包括:
在接收到监听请求时,根据所述监听请求获取目标接入系统,并通过Zookeeper对所述目标接入系统进行监听注册;
在接收到数据模板修改请求时,根据所述数据模板修改请求对对应的目标数据模板进行修改更新,并通过所述Zookeeper检测修改更新的目标数据模板是否属于所述目标接入系统;
若修改更新的目标数据模板属于所述目标接入系统,则通过所述Zookeeper向与所述监听请求对应的客户端发送通知消息,以使得所述客户端根据所述通知消息更新所述目标接入系统的本机缓存。
可选地,所述在接收到数据模板修改请求时,根据所述数据模板修改请求对对应的目标数据模板进行修改更新,并通过所述Zookeeper检测修改更新的目标数据模板是否属于所述目标接入系统的步骤,包括:
在接收到数据模板修改请求时,根据所述数据模板修改请求获取目标数据模板和修改信息;
基于所述修改信息对所述目标数据模板进行修改更新,并将修改更新后的目标数据模板存储至所述Zookeeper;
通过所述Zookeeper检测修改更新的目标数据模板是否属于所述目标接入系统。
可选地,所述根据所述数据模板修改请求对对应的目标数据模板进行修改更新的步骤之前,还包括:
根据所述数据模板修改请求获取修改请求发起方信息;
根据所述修改请求发起方信息检测修改请求发起方是否拥有修改权限;
若修改请求发起方拥有修改权限,则执行步骤:根据所述数据模板修改请求对对应的目标数据模板进行修改更新;
若修改请求发起方不拥有修改权限,则生成无修改权限的提示信息,并返回至与所述数据模板修改请求对应的修改请求发起端。
可选地,所述数据管理方法包括:
在接收到所述客户端上报的数据模板错误信息时,获取与所述数据模板错误信息对应的数据模板的上一修改方信息;
生成对应的提示信息,并发送至与所述上一修改方信息对应的终端,以通知上一修改方进行错误检测。
可选地,所述数据管理方法还包括:
在接收到所述客户端发送的目标接入系统的数据模板获取请求时,从所述Zookeeper中调用与所述目标接入系统对应的数据模板,并返回至所述客户端,以使得所述客户端将所述数据模板存储至所述目标接入系统的本机缓存中。
此外,为实现上述目的,本发明还提供一种数据管理装置,所述数据管理装置包括:
注册模块,用于在接收到监听请求时,根据所述监听请求获取目标接入系统,并通过Zookeeper对所述目标接入系统进行监听注册;
检测模块,用于在接收到数据模板修改请求时,根据所述数据模板修改请求对对应的目标数据模板进行修改更新,并通过所述Zookeeper检测修改更新的目标数据模板是否属于所述目标接入系统;
通知模块,用于若修改更新的目标数据模板属于所述目标接入系统,则通过所述Zookeeper向与所述监听请求对应的客户端发送通知消息,以使得所述客户端根据所述通知消息更新所述目标接入系统的本机缓存。
此外,为实现上述目的,本发明还提供一种数据管理设备,所述数据管理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据管理程序,所述数据管理程序被所述处理器执行时实现如上所述的数据管理方法的步骤。
此外,为实现上述目的,本发明还提供一种数据管理系统,所述数据管理系统包括数据管理设备和客户端;其中,
所述数据管理设备为如上所述的数据管理设备;
所述客户端,用于在接收到所述数据管理设备通过Zookeeper返回的数据模板更新的通知消息时,根据所述通知消息获取更新后的数据模板,并根据所述更新后的数据模板更新所述目标接入系统的本机缓存。
可选地,所述客户端还用于:
通过预置拦截器拦截所述目标接入系统生成的处理结果,并从所述处理结果中获取模板编码和结果参数;
从所述目标接入系统的本机缓存中获取与所述模板编码对应的数据模板,并根据所述数据模板和所述结果参数生成对应的数据信息;
将所述数据信息返回至所述目标接入系统,以使得所述目标接入系统将所述数据信息反馈至对应的处理请求发起端。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据管理程序,所述数据管理程序被处理器执行时实现如上所述的数据管理方法的步骤。
本发明提供一种数据管理方法、装置、设备、系统及计算机可读存储介质,在接收到监听请求时,根据该监听请求获取目标接入系统,然后通过Zookeeper对该目标接入系统进行监听注册;在接收到数据模板修改请求时,可根据该数据模板修改请求对对应的目标数据模板进行修改更新,并通过Zookeeper检测修改更新的目标数据模板是否属于目标接入系统;若属于,则通过Zookeeper向发起监听请求的客户端发送通知消息,以使得客户端根据该通知消息更新目标接入系统的本机缓存,以便于后续客户端在拦截到目标接入系统的处理结果时,可直接根据处理结果中的模板编码从目标接入系统的本机缓存中获取数据模板,而无需向数据管理平台发起网络请求以调用数据模板,相比于现有技术,本发明中的网络开销只在于数据管理平台推送修改更新的数据模板(即通知消息),因此,本发明可大大节省网络开销,同时,本发明还可以避免因数据管理平台不可用而影响接入系统的情况发生,还可以避免因接入系统过多或者接入系统请求量很大时导致数据管理平台压力较大、甚至崩溃。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本发明数据管理方法第一实施例的流程示意图;
图3为本发明数据管理装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例数据管理设备可以是智能手机,也可以是PC(Personal Computer,个人计算机)、平板电脑、便携计算机等终端设备。
如图1所示,该数据管理设备可以包括:处理器1001,例如CPU,通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的数据管理设备结构并不构成对数据管理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据管理程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端,与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的数据管理程序,并执行以下操作:
在接收到监听请求时,根据所述监听请求获取目标接入系统,并通过Zookeeper对所述目标接入系统进行监听注册;
在接收到数据模板修改请求时,根据所述数据模板修改请求对对应的目标数据模板进行修改更新,并通过所述Zookeeper检测修改更新的目标数据模板是否属于所述目标接入系统;
若修改更新的目标数据模板属于所述目标接入系统,则通过所述Zookeeper向与所述监听请求对应的客户端发送通知消息,以使得所述客户端根据所述通知消息更新所述目标接入系统的本机缓存。
进一步地,处理器1001可以调用存储器1005中存储的数据管理程序,还执行以下操作:
在接收到数据模板修改请求时,根据所述数据模板修改请求获取目标数据模板和修改信息;
基于所述修改信息对所述目标数据模板进行修改更新,并将修改更新后的目标数据模板存储至所述Zookeeper;
通过所述Zookeeper检测修改更新的目标数据模板是否属于所述目标接入系统。
进一步地,处理器1001可以调用存储器1005中存储的数据管理程序,还执行以下操作:
根据所述数据模板修改请求获取修改请求发起方信息;
根据所述修改请求发起方信息检测修改请求发起方是否拥有修改权限;
若修改请求发起方拥有修改权限,则根据所述数据模板修改请求对对应的目标数据模板进行修改更新;
若修改请求发起方不拥有修改权限,则生成无修改权限的提示信息,并返回至与所述数据模板修改请求对应的修改请求发起端。
进一步地,处理器1001可以调用存储器1005中存储的数据管理程序,还执行以下操作:
在接收到所述客户端上报的数据模板错误信息时,获取与所述数据模板错误信息对应的数据模板的上一修改方信息;
生成对应的提示信息,并发送至与所述上一修改方信息对应的终端,以通知上一修改方进行错误检测。
进一步地,处理器1001可以调用存储器1005中存储的数据管理程序,还执行以下操作:
在接收到所述客户端发送的目标接入系统的数据模板获取请求时,从所述Zookeeper中调用与所述目标接入系统对应的数据模板,并返回至所述客户端,以使得所述客户端将所述数据模板存储至所述目标接入系统的本机缓存中。
基于上述硬件结构,提出本发明数据管理方法的各实施例。
本发明提供一种数据管理方法。
参照图2,图2为本发明数据管理方法第一实施例的流程示意图。
在本实施例中,该数据管理方法包括:
步骤S10,在接收到监听请求时,根据所述监听请求获取目标接入系统,并通过Zookeeper对所述目标接入系统进行监听注册;
本实施例的数据管理方法是由数据管理设备实现的,该设备以服务器为例进行说明。该服务器中搭载了数据管理平台,其中,该数据管理平台运用了Zookeeper技术,从而可通过Zookeeper对各接入系统的数据模板进行分布式存储,同时还可以通过Zookeeper对已监听注册的接入系统的数据模板的更新操作进行通知,以使得接入系统的本机缓存进行同步更新,保证数据的一致性。其中,该数据模板可以为文案模板、报告模板等。
在本实施例中,接入系统需接入数据管理平台时,可通过客户端引入对应的数据管理平台客户端包,同时配置数据管理平台地址即可。接入系统在服务启动时,会初始化客户端,客户端可发起监听请求,此时,数据管理平台在接收到监听请求时,根据该监听请求获取目标接入系统,然后通过Zookeeper对该目标接入系统进行监听注册。
步骤S20,在接收到数据模板修改请求时,根据所述数据模板修改请求对对应的目标数据模板进行修改更新,并通过所述Zookeeper检测修改更新的目标数据模板是否属于所述目标接入系统;
在需对接入系统的数据模板进行修改时,产品经理等工作人员可通过管理端(如PC、智能手机等)在对应的软件或App(Application,应用程序)中输入对应的修改信息,进而触发数据模板修改请求,此时,数据管理平台在接收到数据模板修改请求时,可根据该数据模板修改请求对对应的目标数据模板进行修改更新,并通过Zookeeper检测修改更新的目标数据模板是否属于目标接入系统。
具体的,步骤S20包括:
步骤a1,在接收到数据模板修改请求时,根据所述数据模板修改请求获取目标数据模板和修改信息;
在接收到数据模板修改请求时,根据该数据模板修改请求获取目标数据模板和修改信息,其中,目标数据模板可以为所需修改的数据模板的名称或编号等,修改信息可以包括但不限于修改类型(如删除、修改、新增等)、修改内容(如所需修改的数据模板的修改前后的具体内容、新增的数据模板内容等)。
步骤a2,基于所述修改信息对所述目标数据模板进行修改更新,并将修改更新后的目标数据模板存储至所述Zookeeper;
在获取到目标数据模板和修改信息之后,对目标数据模板进行修改更新,并将修改更新后的目标数据模板存储至Zookeeper,以进行分布式存储。
步骤a3,通过所述Zookeeper检测修改更新的目标数据模板是否属于所述目标接入系统。
然后,通过Zookeeper检测修改更新的目标数据模板是否属于目标接入系统。
进一步地,为确保修改方拥有修改权限,其修改是合法的,在上述步骤“根据所述数据模板修改请求获取目标数据模板和修改信息”之前,还包括:
步骤a4,根据所述数据模板修改请求获取修改请求发起方信息;
步骤a5,根据所述修改请求发起方信息检测修改请求发起方是否拥有修改权限;
在接收到数据模板修改请求时,可先检测修改方是否拥有修改权限,具体的,可根据数据模板修改请求获取修改请求发起方信息,其中,该修改请求发起方信息可以包括但不限于:账号信息、账号等级等。然后,根据修改请求发起方信息检测修改请求发起方是否拥有修改权限。例如,可以通过检测账号信息是否在预设权限名单内,或通过检测账号等级是否为预设权限等级。
当然,可以理解的是,在具体实施例中,可为不同的修改方设定不同的修改权限,例如,允许修改的数据模板的范围不同,允许对数据模板执行的操作范围不同(如只拥有删除、修改、新增中的其中一种或多种操作范围),此时,在接收到数据模板修改请求时,除获取修改请求发起方信息外,还需要获取目标数据模板和修改信息,进而根据修改请求发起方信息、目标数据模板和修改信息检测修改请求发起方是否拥有修改权限。
若修改请求发起方拥有修改权限,则执行步骤:根据所述数据模板修改请求对对应的目标数据模板进行修改更新;
若检测到修改请求发起方拥有修改权限,则根据数据模板修改请求对对应的目标数据模板进行修改更新,进而继续执行后续步骤。
步骤a6,若修改请求发起方不拥有修改权限,则生成无修改权限的提示信息,并返回至与所述数据模板修改请求对应的修改请求发起端。
若检测到修改请求发起方不拥有修改权限,则生成无修改权限的提示信息,并返回至与该数据模板修改请求对应的修改请求发起端。当然,在多次(一预设次数)侦测到同一修改请求发起端所发起的数据模板修改请求均无操作权限时,还可以发送对应的提示信息至预设管理端,以告知管理人员有人试图对非权限范围内的数据模板进行修改。
步骤S30,若修改更新的目标数据模板属于所述目标接入系统,则通过所述Zookeeper向与所述监听请求对应的客户端发送通知消息,以使得所述客户端根据所述通知消息更新所述目标接入系统的本机缓存。
若检测到修改更新的目标数据模板属于目标接入系统,则通过Zookeeper向发起监听请求的客户端发送通知消息,以使得客户端根据该通知消息更新目标接入系统的本机缓存。其中,目标接入系统的本机缓存是用于存储该目标接入系统的数据模板,以供客户端直接调用,进而生成对应的数据信息,从而无需向数据管理平台发起网络请求以调用数据模板,可节省网络开销,同时,可以避免因数据管理平台不可用而影响接入系统的情况发生,还可以避免因接入系统过多或者接入系统请求量很大时导致数据管理平台压力较大、甚至崩溃。
本发明在银行等金融机构的数据管理过程中,以文案管理为例,文案管理平台在接收到监听请求时,根据监听请求获取目标接入系统,并通过Zookeeper对目标接入系统进行监听注册;进而在目标接入系统的文案模板更新时,及时通过Zookeeper发送对应的通知消息,以使得目标接入系统的本机缓存也及时同步更新,后续客户端在拦截到目标接入系统的处理结果时,可直接从目标接入系统的本机缓存中获取到对应的文案模板,进而生成文案信息,而无需从文案管理平台进行获取,可节省网络开销,同时,也可以避免因接入系统过多或者接入系统请求量很大时导致文案管理平台压力较大、甚至崩溃。
本发明实施例提供一种数据管理方法,在接收到监听请求时,根据该监听请求获取目标接入系统,然后通过Zookeeper对该目标接入系统进行监听注册;在接收到数据模板修改请求时,可根据该数据模板修改请求对对应的目标数据模板进行修改更新,并通过Zookeeper检测修改更新的目标数据模板是否属于目标接入系统;若属于,则通过Zookeeper向发起监听请求的客户端发送通知消息,以使得客户端根据该通知消息更新目标接入系统的本机缓存,以便于后续客户端在拦截到目标接入系统的处理结果时,可直接根据处理结果中的模板编码从目标接入系统的本机缓存中获取数据模板,而无需向数据管理平台发起网络请求以调用数据模板,相比于现有技术,本发明实施例中的网络开销只在于数据管理平台推送修改更新的数据模板(即通知消息),因此,本发明实施例可大大节省网络开销,同时,可以避免因数据管理平台不可用而影响接入系统的情况发生,还可以避免因接入系统过多或者接入系统请求量很大时导致数据管理平台压力较大、甚至崩溃。
基于上述第一实施例,需要说明的是,在具体实施例中,数据管理平台还可以通过下述方式,实现对目标接入系统的数据模板的同步更新。具体的,数据管理平台在接收到数据模板修改请求时,根据所述数据模板修改请求获取目标数据模板和修改信息;然后基于所述修改信息对所述目标数据模板进行修改更新,并将修改更新后的目标数据模板存储至预设数据库中;然后定时将所述预设数据库中的数据模板同步至对应的目标接入系统,以更新目标接入系统的本机缓存。通过上述方式,也可节省网络开销,同时,可以避免因数据管理平台不可用而影响接入系统的情况发生,还可以避免因接入系统过多或者接入系统请求量很大时导致数据管理平台压力较大。但是相比于上述第一实施例,本方案存在接入系统的本机缓存中的数据模板更新不及时的缺陷。
进一步的,基于图2所示的第一实施例,提出本发明数据管理方法的第二实施例。
在本实施例中,该数据管理方法还包括:
步骤A,在接收到所述客户端上报的数据模板错误信息时,获取与所述数据模板错误信息对应的数据模板的上一修改方信息;
在本实施例中,客户端在根据目标接入系统的本机缓存中的数据模板和拦截到的处理结果中的结果参数生成数据信息的过程中,如发现数据模板中需填充的参数与结果参数不匹配,可向数据管理平台上报数据模板错误信息。此时,数据管理平台在接收到客户端上报的数据模板错误信息时,获取与该数据模板错误信息对应的数据模板的上一修改方信息,即根据数据模板错误信息确定上报的数据模板,然后根据存储的修改记录,获取该数据模板的上一修改方信息(即上一次修改该数据模板的修改方信息),其中,该上一修改方信息包括但不限于账号信息、修改人名称、修改人联系方式等。
步骤B,生成对应的提示信息,并发送至与所述上一修改方信息对应的终端,以通知上一修改方进行错误检测。
然后,生成对应的提示信息,并将提示信息发送至与该上一修改方信息对应的终端,以通知上一修改方进行错误检测。对应的,提示信息的发送方式可预先设定,例如,可通过邮件、电话、发送信息等方式进行提示。
通过上述方式,可以在数据模板出现错误时,及时查找到对应的修改方,进而提醒修改方进行错误检测。
进一步地,该数据管理方法还包括:
在接收到所述客户端发送的目标接入系统的数据模板获取请求时,从所述Zookeeper中调用与所述目标接入系统对应的数据模板,并返回至所述客户端,以使得所述客户端将所述数据模板存储至所述目标接入系统的本机缓存中。
在本实施例中,当目标接入系统刚开始接入数据管理平台时,可以通过客户端向数据管理平台发送数据模板获取请求,以从数据管理平台中获取该目标接入系统的数据模板集合。具体的,数据管理平台在接收到客户端发送的目标接入系统的数据模板获取请求时,从Zookeeper中调用与该目标接入系统对应的数据模板,并返回至客户端,以使得客户端将数据模板存储至所述目标接入系统的本机缓存中,以便于后续调用。
本发明还提供一种数据管理系统,该数据管理系统包括数据管理设备和客户端。其中,所述数据管理设备为如图1所示的文件操作设备,用于执行上述数据管理方法实施例中的各步骤,具体的功能和实现过程可参照上述实施例,此处不作赘述。
所述客户端,用于在接收到所述数据管理设备通过Zookeeper返回的数据模板更新的通知消息时,根据所述通知消息获取更新后的数据模板,并根据所述更新后的数据模板更新所述目标接入系统的本机缓存。
在本实施例中,当数据管理平台通过Zookeeper检测到目标接入系统的数据模板存在更新时,会向对应的客户端发送通知消息,此时,客户端在接收到数据管理设备通过Zookeeper返回的数据模板更新的通知消息时,可根据该通知消息获取更新后的数据模板,并根据更新后的数据模板更新目标接入系统的本机缓存,从而可保证数据的一致性。
进一步地,所述客户端还用于:
通过预置拦截器拦截所述目标接入系统生成的处理结果,并从所述处理结果中获取模板编码和结果参数;
从所述目标接入系统的本机缓存中获取与所述模板编码对应的数据模板,并根据所述数据模板和所述结果参数生成对应的数据信息;
将所述数据信息返回至所述目标接入系统,以使得所述目标接入系统将所述数据信息反馈至对应的处理请求发起端。
在本实施例中,目标接入系统在接收到数据处理请求时,会进行相应的数据处理,在处理完成后会生成一个处理结果,在将处理结果返回给数据处理请求发起端之前,客户端会通过预置拦截器拦截该目标接入系统生成的处理结果,其中,具体的拦截方式,可通过重新实现Spring(一开源框架)DispatcherServlet(前置控制器)中的doDispatch方法来实现拦截,相比于采用常规的AOP(Aspect Oriented Programming,面向切面编程)来实现拦截,重写doDispatch切入点更准确,且doDispatch无需指定具体的拦截对象,可避免常规AOP漏拦截的情况。
在拦截到处理结果之后,先从该处理结果中获取模板编码(megcode,messagecode,用来表示请求结果中数据模板key,用一串字符表示)和结果参数,然后从目标接入系统的本机缓存中获取与该模板编码对应的数据模板,并根据数据模板和结果参数生成对应的数据信息,进而将数据信息返回至目标接入系统,以使得目标接入系统将数据信息反馈至对应的处理请求发起端。
当然,需要说明的是,在具体实施例中,可无需借助客户端实现对处理结果进行拦截,进而获取数据模板,以生成数据信息,而是目标接入系统直接从处理结果中获取模板编码和结果参数,然后从目标接入系统的本机缓存中获取与该模板编码对应的数据模板,并根据数据模板和结果参数生成对应的数据信息,进而将数据信息反馈至对应的处理请求发起端。但是,本方案的实现需要修改各目标接入系统的代码,相比于上述实施例,本方案的开发工作量较大。
本实施例提供一种数据管理系统,该数据管理系统包括数据管理设备和客户端,其中,数据管理设备中搭载了数据管理平台,该数据管理平台运用了Zookeeper技术,通过构建上述数据管理系统,数据管理平台可通过Zookeeper对目标接入系统进行监听注册,进而在目标接入系统的数据模板更新时,及时通过Zookeeper发送对应的通知消息至客户端,以使得客户端及时更新目标接入系统的本机缓存,后续客户端在拦截到目标接入系统的处理结果时,可直接根据处理结果中的模板编码从目标接入系统的本机缓存中获取数据模板,而无需向数据管理平台发起网络请求以调用数据模板,相比于现有技术,本系统中网络开销只在于数据管理平台推送修改更新的数据模板(即通知消息),因此,本系统的构建可大大节省网络开销,同时,可以避免因数据管理平台不可用而影响接入系统的情况发生,还可以避免因接入系统过多或者接入系统请求量很大时导致数据管理平台压力较大、甚至崩溃。
本发明还提供一种数据管理装置。
参照图3,图3为本发明数据管理装置第一实施例的功能模块示意图。
如图3所示,所述数据管理装置包括:
注册模块10,用于在接收到监听请求时,根据所述监听请求获取目标接入系统,并通过Zookeeper对所述目标接入系统进行监听注册;
检测模块20,用于在接收到数据模板修改请求时,根据所述数据模板修改请求对对应的目标数据模板进行修改更新,并通过所述Zookeeper检测修改更新的目标数据模板是否属于所述目标接入系统;
通知模块30,用于若修改更新的目标数据模板属于所述目标接入系统,则通过所述Zookeeper向与所述监听请求对应的客户端发送通知消息,以使得所述客户端根据所述通知消息更新所述目标接入系统的本机缓存。
进一步地,所述检测模块20包括:
第一获取单元,用于在接收到数据模板修改请求时,根据所述数据模板修改请求获取目标数据模板和修改信息;
修改更新单元,用于基于所述修改信息对所述目标数据模板进行修改更新,并将修改更新后的目标数据模板存储至所述Zookeeper;
第一检测单元,用于通过所述Zookeeper检测修改更新的目标数据模板是否属于所述目标接入系统。
进一步地,所述检测模块20还包括:
第二获取单元,用于根据所述数据模板修改请求获取修改请求发起方信息;
第二检测单元,用于根据所述修改请求发起方信息检测修改请求发起方是否拥有修改权限;
所述修改更新单元,具体用于若修改请求发起方拥有修改权限,则执行步骤:根据所述数据模板修改请求对对应的目标数据模板进行修改更新;
提示单元,用于若修改请求发起方不拥有修改权限,则生成无修改权限的提示信息,并返回至与所述数据模板修改请求对应的修改请求发起端。
进一步地,所述数据管理装置还包括:
获取模块,用于在接收到所述客户端上报的数据模板错误信息时,获取与所述数据模板错误信息对应的数据模板的上一修改方信息;
发送模块,用于生成对应的提示信息,并发送至与所述上一修改方信息对应的终端,以通知上一修改方进行错误检测。
进一步地,所述数据管理装置还包括:
返回模块,用于在接收到所述客户端发送的目标接入系统的数据模板获取请求时,从所述Zookeeper中调用与所述目标接入系统对应的数据模板,并返回至所述客户端,以使得所述客户端将所述数据模板存储至所述目标接入系统的本机缓存中。
其中,上述数据管理装置中各个模块的功能实现与上述数据管理方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质上存储有数据管理程序,所述数据管理程序被处理器执行时实现如以上任一项实施例所述的数据管理方法的步骤。
本发明计算机可读存储介质的具体实施例与上述数据管理方法各实施例基本相同,在此不作赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据管理方法,其特征在于,所述数据管理方法包括:
在接收到监听请求时,根据所述监听请求获取目标接入系统,并通过Zookeeper对所述目标接入系统进行监听注册;
在接收到数据模板修改请求时,根据所述数据模板修改请求对对应的目标数据模板进行修改更新,并通过所述Zookeeper检测修改更新的目标数据模板是否属于所述目标接入系统;
若修改更新的目标数据模板属于所述目标接入系统,则通过所述Zookeeper向与所述监听请求对应的客户端发送通知消息,以使得所述客户端根据所述通知消息更新所述目标接入系统的本机缓存。
2.如权利要求1所述的数据管理方法,其特征在于,所述在接收到数据模板修改请求时,根据所述数据模板修改请求对对应的目标数据模板进行修改更新,并通过所述Zookeeper检测修改更新的目标数据模板是否属于所述目标接入系统的步骤,包括:
在接收到数据模板修改请求时,根据所述数据模板修改请求获取目标数据模板和修改信息;
基于所述修改信息对所述目标数据模板进行修改更新,并将修改更新后的目标数据模板存储至所述Zookeeper;
通过所述Zookeeper检测修改更新的目标数据模板是否属于所述目标接入系统。
3.如权利要求1或2所述的数据管理方法,其特征在于,所述根据所述数据模板修改请求对对应的目标数据模板进行修改更新的步骤之前,还包括:
根据所述数据模板修改请求获取修改请求发起方信息;
根据所述修改请求发起方信息检测修改请求发起方是否拥有修改权限;
若修改请求发起方拥有修改权限,则执行步骤:根据所述数据模板修改请求对对应的目标数据模板进行修改更新;
若修改请求发起方不拥有修改权限,则生成无修改权限的提示信息,并返回至与所述数据模板修改请求对应的修改请求发起端。
4.如权利要求1所述的数据管理方法,其特征在于,所述数据管理方法包括:
在接收到所述客户端上报的数据模板错误信息时,获取与所述数据模板错误信息对应的数据模板的上一修改方信息;
生成对应的提示信息,并发送至与所述上一修改方信息对应的终端,以通知上一修改方进行错误检测。
5.如权利要求1所述的数据管理方法,其特征在于,所述数据管理方法还包括:
在接收到所述客户端发送的目标接入系统的数据模板获取请求时,从所述Zookeeper中调用与所述目标接入系统对应的数据模板,并返回至所述客户端,以使得所述客户端将所述数据模板存储至所述目标接入系统的本机缓存中。
6.一种数据管理装置,其特征在于,所述数据管理装置包括:
注册模块,用于在接收到监听请求时,根据所述监听请求获取目标接入系统,并通过Zookeeper对所述目标接入系统进行监听注册;
检测模块,用于在接收到数据模板修改请求时,根据所述数据模板修改请求对对应的目标数据模板进行修改更新,并通过所述Zookeeper检测修改更新的目标数据模板是否属于所述目标接入系统;
通知模块,用于若修改更新的目标数据模板属于所述目标接入系统,则通过所述Zookeeper向与所述监听请求对应的客户端发送通知消息,以使得所述客户端根据所述通知消息更新所述目标接入系统的本机缓存。
7.一种数据管理设备,其特征在于,所述数据管理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据管理程序,所述数据管理程序被所述处理器执行时实现如权利要求1至5中任一项所述的数据管理方法的步骤。
8.一种数据管理系统,其特征在于,所述数据管理系统包括数据管理设备和客户端;其中,
所述数据管理设备为如权利要求7所述的数据管理设备;
所述客户端,用于在接收到所述数据管理设备通过Zookeeper返回的数据模板更新的通知消息时,根据所述通知消息获取更新后的数据模板,并根据所述更新后的数据模板更新所述目标接入系统的本机缓存。
9.如权利要求8所述的数据管理系统,其特征在于,所述客户端还用于:
通过预置拦截器拦截所述目标接入系统生成的处理结果,并从所述处理结果中获取模板编码和结果参数;
从所述目标接入系统的本机缓存中获取与所述模板编码对应的数据模板,并根据所述数据模板和所述结果参数生成对应的数据信息;
将所述数据信息返回至所述目标接入系统,以使得所述目标接入系统将所述数据信息反馈至对应的处理请求发起端。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据管理程序,所述数据管理程序被处理器执行时实现如权利要求1至5中任一项所述的数据管理方法的步骤。
CN201910772396.4A 2019-08-19 2019-08-19 数据管理方法、装置、设备、系统及计算机可读存储介质 Pending CN110471884A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910772396.4A CN110471884A (zh) 2019-08-19 2019-08-19 数据管理方法、装置、设备、系统及计算机可读存储介质
PCT/CN2020/108193 WO2021031905A1 (zh) 2019-08-19 2020-08-10 数据管理方法、装置、设备、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910772396.4A CN110471884A (zh) 2019-08-19 2019-08-19 数据管理方法、装置、设备、系统及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110471884A true CN110471884A (zh) 2019-11-19

Family

ID=68513204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910772396.4A Pending CN110471884A (zh) 2019-08-19 2019-08-19 数据管理方法、装置、设备、系统及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN110471884A (zh)
WO (1) WO2021031905A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126025A (zh) * 2019-12-11 2020-05-08 航天信息股份有限公司 一种电子凭据版式文件模板管理方法及系统
CN111857798A (zh) * 2020-06-30 2020-10-30 厦门亿联网络技术股份有限公司 一种嵌入式设备配置变更通知的方法
WO2021031905A1 (zh) * 2019-08-19 2021-02-25 深圳前海微众银行股份有限公司 数据管理方法、装置、设备、系统及计算机可读存储介质
CN112915545A (zh) * 2021-03-02 2021-06-08 上海哔哩哔哩科技有限公司 数据处理方法及系统
CN113704467A (zh) * 2021-07-29 2021-11-26 大箴(杭州)科技有限公司 基于数据模板的海量文本监控方法及装置、介质、设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270443A (zh) * 2014-09-29 2015-01-07 北京掌中经纬技术有限公司 一种能够动态解析Web应用的云计算系统及方法
US20180173745A1 (en) * 2016-12-21 2018-06-21 At&T Intellectual Property I, L.P. Systems and methods to achieve sequential consistency in replicated states without compromising performance in geo-distributed, replicated services
CN109522043A (zh) * 2018-10-12 2019-03-26 咪咕文化科技有限公司 一种配置数据的管理方法、装置及存储介质
CN109542611A (zh) * 2017-09-21 2019-03-29 中国移动通信集团重庆有限公司 数据库即服务系统、数据库调度方法、设备及存储介质
CN109582684A (zh) * 2018-11-30 2019-04-05 深圳市盟天科技有限公司 一种本地缓存数据的更新方法、装置、服务器及存储介质
CN109614271A (zh) * 2018-12-14 2019-04-12 深圳前海微众银行股份有限公司 多个集群数据一致性的控制方法、装置、设备及存储介质
CN109857921A (zh) * 2019-01-11 2019-06-07 平安科技(深圳)有限公司 一种基于数据更新的文档管理方法及文档管理系统
CN109995669A (zh) * 2019-04-09 2019-07-09 深圳前海微众银行股份有限公司 分布式限流方法、装置、设备及可读存储介质
WO2021031905A1 (zh) * 2019-08-19 2021-02-25 深圳前海微众银行股份有限公司 数据管理方法、装置、设备、系统及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107861686B (zh) * 2017-09-26 2021-01-05 深圳前海微众银行股份有限公司 文件存储方法、服务端和计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270443A (zh) * 2014-09-29 2015-01-07 北京掌中经纬技术有限公司 一种能够动态解析Web应用的云计算系统及方法
US20180173745A1 (en) * 2016-12-21 2018-06-21 At&T Intellectual Property I, L.P. Systems and methods to achieve sequential consistency in replicated states without compromising performance in geo-distributed, replicated services
CN109542611A (zh) * 2017-09-21 2019-03-29 中国移动通信集团重庆有限公司 数据库即服务系统、数据库调度方法、设备及存储介质
CN109522043A (zh) * 2018-10-12 2019-03-26 咪咕文化科技有限公司 一种配置数据的管理方法、装置及存储介质
CN109582684A (zh) * 2018-11-30 2019-04-05 深圳市盟天科技有限公司 一种本地缓存数据的更新方法、装置、服务器及存储介质
CN109614271A (zh) * 2018-12-14 2019-04-12 深圳前海微众银行股份有限公司 多个集群数据一致性的控制方法、装置、设备及存储介质
CN109857921A (zh) * 2019-01-11 2019-06-07 平安科技(深圳)有限公司 一种基于数据更新的文档管理方法及文档管理系统
CN109995669A (zh) * 2019-04-09 2019-07-09 深圳前海微众银行股份有限公司 分布式限流方法、装置、设备及可读存储介质
WO2021031905A1 (zh) * 2019-08-19 2021-02-25 深圳前海微众银行股份有限公司 数据管理方法、装置、设备、系统及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨贾冰: "面向云服务的服务协同与负载均衡策略的设计与实现", 《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》, pages 283 - 3 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021031905A1 (zh) * 2019-08-19 2021-02-25 深圳前海微众银行股份有限公司 数据管理方法、装置、设备、系统及计算机可读存储介质
CN111126025A (zh) * 2019-12-11 2020-05-08 航天信息股份有限公司 一种电子凭据版式文件模板管理方法及系统
CN111857798A (zh) * 2020-06-30 2020-10-30 厦门亿联网络技术股份有限公司 一种嵌入式设备配置变更通知的方法
CN112915545A (zh) * 2021-03-02 2021-06-08 上海哔哩哔哩科技有限公司 数据处理方法及系统
CN112915545B (zh) * 2021-03-02 2023-05-09 上海哔哩哔哩科技有限公司 数据处理方法及系统
CN113704467A (zh) * 2021-07-29 2021-11-26 大箴(杭州)科技有限公司 基于数据模板的海量文本监控方法及装置、介质、设备

Also Published As

Publication number Publication date
WO2021031905A1 (zh) 2021-02-25

Similar Documents

Publication Publication Date Title
CN110471884A (zh) 数据管理方法、装置、设备、系统及计算机可读存储介质
US8874091B2 (en) Automatic device capabilities change notification
CN109064345A (zh) 消息处理方法、系统以及计算机可读存储介质
CN112040429B (zh) 一种基于分布式存储的短信管理系统及方法
US8819155B2 (en) System and method for performing centralized common tasks for a set of functions
CN108960857A (zh) 一种售后服务管理方法、系统和装置
CN111698283B (zh) 分布式集群主机的管控方法、装置、设备及存储介质
CN111262839A (zh) 一种漏洞扫描方法、管理设备、节点和存储介质
WO2021073002A1 (zh) 一种终端页面访问方法及系统
EP1577776B1 (en) Method and apparatus for data synchronization in a distributed data base system
CN113806786B (zh) 一种软件授权管理方法、系统、设备及存储介质
CN101404575B (zh) 一种更新签名算法的方法和系统
CN113127732A (zh) 业务数据的获取方法、装置、计算机设备和存储介质
CN110933152B (zh) 一种预热方法、装置、系统及电子设备
CN112163026A (zh) 一种用于整合多类技术应用数据的多源异构接口管控方法
CN111010429A (zh) 一种基于物联网平台管理设备运行状态的方法及系统
WO2020019580A1 (zh) 应用于安检系统的通信方法及系统
WO2023125755A1 (zh) 基于大规模集群的服务请求处理方法、装置、设备及介质
US20220368697A1 (en) Method and system for synchronously generated security waiver interface
CN110674173A (zh) 一种风控云上的数据缓存的方法和系统
CN107872493A (zh) 一种信息处理方法、终端和服务器
CN114896625A (zh) 一种文件防泄漏方法、装置、电子设备及存储介质
CN107632836A (zh) 软件兼容方法及装置
CN113496002A (zh) 一种基于移动中台的移动应用平台
CN112688922A (zh) 数据传输方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination