CN113590719B - 数据同步方法、装置、设备及存储介质 - Google Patents

数据同步方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113590719B
CN113590719B CN202111132466.3A CN202111132466A CN113590719B CN 113590719 B CN113590719 B CN 113590719B CN 202111132466 A CN202111132466 A CN 202111132466A CN 113590719 B CN113590719 B CN 113590719B
Authority
CN
China
Prior art keywords
data
pushed
synchronization
main service
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111132466.3A
Other languages
English (en)
Other versions
CN113590719A (zh
Inventor
何丙南
陶晓阳
孙玉坤
张俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN202111132466.3A priority Critical patent/CN113590719B/zh
Publication of CN113590719A publication Critical patent/CN113590719A/zh
Application granted granted Critical
Publication of CN113590719B publication Critical patent/CN113590719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于计算机技术领域,公开了一种数据同步方法、装置、设备及存储介质。本发明通过在检测到主业务系统的数据更新时,获取被更新的主业务数据;获取待推送系统及待推送系统对应的待推送格式;根据待推送格式对主业务数据进行转换,获得待推送数据;将待推送数据发送至待推送系统,以使待推送系统根据待推送数据实现数据同步。由于在检测到主业务系统的数据更新时,会根据待推送系统对应的待推送格式将主业务数据转换为待推送系统可识别的数据格式,再将转换后得到的待推送数据推送至待推送系统,使待推送业务系统根据待推送数据进行数据同步,从而保证了可对数据格式不同的业务系统自动进行数据同步,无需人工介入。

Description

数据同步方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据同步方法、装置、设备及存储介质。
背景技术
如今,企业为了便于进行办公,会自行开发或购买相应的办公系统供员工使用,而随着企业规模加大,其内部使用的办公系统可能会越来越多,例如:人力资源系统,即时通信系统、法律系统等。在实际场景中,在出现人员变动时需要对各个系统的数据进行同步修改,而由于各个办公系统的开发规范并不统一,系统与系统之间的数据格式可能并不相同,在进行修改时无法一键进行更改,需要管理人员手动修改各系统的数据,操作繁琐,容易出现疏漏。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种数据同步方法、装置、设备及存储介质,旨在解决现有技术企业内部业务系统的数据发生变更时其他业务系统无法自动同步更新的技术问题。
为实现上述目的,本发明提供了一种数据同步方法,所述方法包括以下步骤:
在检测到主业务系统的数据更新时,获取被更新的主业务数据;
获取待推送系统及所述待推送系统对应的待推送格式;
根据所述待推送格式对所述主业务数据进行转换,获得待推送数据;
将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步。
可选的,所述在检测到主业务系统的数据更新时,获取被更新的主业务数据的步骤之前,还包括:
实时监听主业务系统对应的数据修改队列;
在监听到所述数据修改队列新增数据修改消息时,判定检测到所述主业务系统的数据更新;
相应的,所述在检测到主业务系统的数据更新时,获取被更新的主业务数据的步骤,包括:
在检测到主业务系统的数据更新时,从所述数据修改队列获取数据修改消息;
对所述数据修改消息进行解析,获得被更新的主业务数据。
可选的,所述在检测到主业务系统的数据更新时,获取被更新的主业务数据的步骤之前,还包括:
在接收到主业务系统发送的数据请求时,确定所述数据请求的请求类型;
在所述请求类型为数据同步类型时,判定检测到主业务系统的数据更新,将所述数据请求作为数据同步请求;
相应的,所述在检测到主业务系统的数据更新时,获取被更新的主业务数据的步骤,包括:
在检测到主业务系统的数据更新时,对所述数据同步请求进行参数解析,获得被更新的主业务数据。
可选的,所述根据所述待推送格式对所述主业务数据进行转换,获得待推送数据的步骤,包括:
根据所述待推送格式确定推送必要字段;
从所述主业务数据中提取所述推送必要字段对应的推送必要数据;
根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据。
可选的,所述根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据的步骤之前,还包括:
获取所述推送必要字段对应的数据转换规则;
相应的,所述根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据的步骤,包括:
根据所述待推送格式及所述数据转换规则对所述推送必要数据进行转换,获得待推送数据。
可选的,所述根据所述待推送格式对所述主业务数据进行转换,获得待推送数据的步骤,包括:
对所述主业务数据进行检测,确定所述主业务数据中是否存在敏感数据;
在所述主业务数据中存在敏感数据时,获取预设加密算法;
根据所述预设加密算法对所述主业务数据中的敏感数据进行加密,获得加密业务数据;
根据所述待推送格式对所述加密业务数据进行转换,获得待推送数据。
可选的,所述在所述主业务数据中存在敏感数据时,获取预设加密算法的步骤,包括:
在所述主业务数据中存在敏感数据时,获取所述待推送系统对应的系统标识信息;
根据所述系统标识信息在预设加密算法库中查找对应的预设加密算法。
可选的,所述获取待推送系统及所述待推送系统对应的待推送格式的步骤,包括:
获取预设推送配置数据,根据所述预设推送配置数据确定待推送系统;
获取所述待推送系统的系统标识信息;
根据所述系统标识信息在预设系统格式映射表中查找所述待推送系统对应的待推送格式。
可选的,所述根据所述系统标识信息在预设系统格式映射表中查找所述待推送系统对应的待推送格式的步骤之前,还包括:
获取所述主业务数据对应的业务类型;
相应的,所述根据所述系统标识信息在预设系统格式映射表中查找所述待推送系统对应的待推送格式的步骤,包括:
根据所述系统标识信息及所述业务类型在预设系统格式映射表中查找所述待推送系统对应的待推送格式。
可选的,所述将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步的步骤之后,还包括:
接收所述待推送系统反馈的数据同步结果;
根据所述数据同步结果确定数据同步是否成功;
在数据同步成功时,根据所述主业务数据、所述待推送数据及所述数据同步结果生成数据同步记录;
将所述数据同步记录进行存储。
可选的,所述根据所述数据同步结果确定数据同步是否成功的步骤之后,还包括:
在数据同步不成功时,获取所述待推送数据对应的历史同步失败次数;
对所述历史同步失败次数进行更新,获得当前同步失败次数;
在所述当前同步失败次数小于预设同步失败阈值时,返回所述将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步的步骤。
可选的,所述对所述历史同步失败次数进行更新,获得当前同步失败次数的步骤之后,还包括;
在所述当前同步失败次数大于或等于预设同步失败阈值时,根据所述所述主业务数据、所述待推送数据及所述当前同步失败次数生成同步失败记录;
将所述同步失败记录进行存储。
此外,为实现上述目的,本发明还提出一种数据同步装置,所述数据同步装置包括以下模块:
系统检测模块,用于在检测到主业务系统的数据更新时,获取被更新的主业务数据;
数据获取模块,用于获取待推送系统及所述待推送系统对应的待推送格式;
数据转换模块,用于根据所述待推送格式对所述主业务数据进行转换,获得待推送数据;
数据推送模块,用于将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步。
可选的,所述系统检测模块,还用于实时监听主业务系统对应的数据修改队列;在监听到所述数据修改队列新增数据修改消息时,判定检测到所述主业务系统的数据更新;
所述系统检测模块,还用于在检测到主业务系统的数据更新时,从所述数据修改队列获取数据修改消息;对所述数据修改消息进行解析,获得被更新的主业务数据。
可选的,所述系统检测模块,还用于在接收到主业务系统发送的数据请求时,确定所述数据请求的请求类型;在所述请求类型为数据同步类型时,判定检测到主业务系统的数据更新,将所述数据请求作为数据同步请求;
所述系统检测模块,还用于在检测到主业务系统的数据更新时,对所述数据同步请求进行参数解析,获得被更新的主业务数据。
可选的,所述数据转换模块,还用于根据所述待推送格式确定推送必要字段;从所述主业务数据中提取所述推送必要字段对应的推送必要数据;根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据。
可选的,所述数据转换模块,还用于获取所述推送必要字段对应的数据转换规则;
所述数据转换模块,还用于根据所述待推送格式及所述数据转换规则对所述推送必要数据进行转换,获得待推送数据。
可选的,所述数据转换模块,还用于对所述主业务数据进行检测,确定所述主业务数据中是否存在敏感数据;在所述主业务数据中存在敏感数据时,获取预设加密算法;根据所述预设加密算法对所述主业务数据中的敏感数据进行加密,获得加密业务数据;根据所述待推送格式对所述加密业务数据进行转换,获得待推送数据。
此外,为实现上述目的,本发明还提出一种数据同步设备,所述数据同步设备包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的数据同步程序,所述数据同步程序被处理器执行时实现如上所述的数据同步方法的步骤。
此外,为实现上述目的,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有数据同步程序,所述数据同步程序执行时实现如上所述的数据同步方法的步骤。
本发明通过在检测到主业务系统的数据更新时,获取被更新的主业务数据;获取待推送系统及待推送系统对应的待推送格式;根据待推送格式对主业务数据进行转换,获得待推送数据;将待推送数据发送至待推送系统,以使待推送系统根据待推送数据实现数据同步。由于在检测到主业务系统的数据更新时,会根据待推送系统对应的待推送格式将主业务数据转换为待推送系统可识别的数据格式,再将转换后得到的待推送数据推送至待推送系统,使待推送业务系统根据待推送数据进行数据同步,从而保证了可对数据格式不同的业务系统自动进行数据同步,无需人工介入。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的电子设备的结构示意图;
图2为本发明数据同步方法第一实施例的流程示意图;
图3为本发明数据同步方法第二实施例的流程示意图;
图4为本发明数据同步方法第三实施例的流程示意图;
图5为本发明数据同步装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的数据同步设备结构示意图。
如图1所示,该电子设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据同步程序。
在图1所示的电子设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明电子设备中的处理器1001、存储器1005可以设置在数据同步设备中,所述电子设备通过处理器1001调用存储器1005中存储的数据同步程序,并执行本发明实施例提供的数据同步方法。
本发明实施例提供了一种数据同步方法,参照图2,图2为本发明一种数据同步方法第一实施例的流程示意图。
本实施例中,所述数据同步方法包括以下步骤:
步骤S10:在检测到主业务系统的数据更新时,获取被更新的主业务数据。
需要说明的是,本实施例的执行主体可以是所述数据同步设备,所述数据同步设备可以是服务器或云服务器等电子设备,还可以为其它可实现相同或相似功能的设备,本实施例对此不加以限制,在本实施例及下述各实施例中,以数据同步设备为例对本发明数据同步方法进行说明。
需要说明的是,主业务系统可以是企业中各个系统中任一个业务系统,例如:在人事变动时,人力资源系统的人员数据会发生变化,则此时人力资源系统可以作为主业务系统。被更新的主业务数据可以是主业务系统中的数据更新时被修改的数据。
在实际使用中,检测主业务系统的数据是否更新可以是检测主业务系统中是否存在有需要同步至其他系统的数据被修改,例如:在人事变动时,将人力资源系统作为主业务系统,人力资源系统中的人员数据是在修改时需要同步至其他业务系统的数据,则此时可以监控人员数据,在出现人员离职、人员入职或有人员职位调整,即人员数据发生对应的删除、新增或修改操作时,可以判定检测到主业务系统的数据更新。
在具体实现中,为了在保证各系统低耦合的前提下依旧可快速确定主业务系统中的数据是否更新,可以修改主业务系统中的数据增加、删除或修改接口,在主业务系统中的数据增加、删除或修改接口被触发时自动发送消息至数据同步设备,则此时步骤S10之前还可以包括:
在接收到主业务系统发送的数据请求时,确定所述数据请求的请求类型;在所述请求类型为数据同步类型时,判定检测到主业务系统的数据更新,将所述数据请求作为数据同步请求;
相应的,所述步骤S10,可以包括:
在检测到主业务系统的数据更新时,对所述数据同步请求进行参数解析,获得被更新的主业务数据。
可以理解的是,主业务系统发送的数据请求到主业务系统时不一定是需要进行数据同步,还有可能是需要执行其他业务,为了区分数据同步请求与其他请求,可以在主业务系统中的数据增加、删除或修改接口被触发时发送至数据同步设备的数据请求中添加请求类型参数,则数据同步设备在接收到数据请求时,可以根据数据请求中的请求类型参数确定数据请求的请求类型,在请求类型为数据同步类型时,可以判定检测到主业务系统的数据更新,则此时可以将接收到的数据请求作为数据同步请求,并对数据同步请求进行参数解析,根据解析得到的参数确定被更新的主业务数据。
进一步的,传统的请求响应模式一般需要发送请求的系统等待接收请求的系统返回对应的响应,而此种方式需要持续占用发起请求的系统的相关资源,而部分场景下数据同步需要修改的数据量级较大,且并非紧急业务,对即时性要求并不高,采用此种操作可能会较长时间持续占用主业务系统的系统资源,则此时可以修改主业务系统中的数据增加、删除或修改接口,在主业务系统中的数据增加、删除或修改接口被触发时向数据修改队列中发送消息,则主业务系统仅需添加消息至消息队列中即可,而无需等待数据同步设备反馈的响应,可以避免对主业务系统的系统资源的持续占用,则此时本实施例所述步骤S10之前,还可以包括:
实时监听主业务系统对应的数据修改队列;在监听到所述数据修改队列新增数据修改消息时,判定检测到所述主业务系统的数据更新;
相应的,所述在检测到主业务系统的数据更新时,获取被更新的主业务数据的步骤,包括:
在检测到主业务系统的数据更新时,从所述数据修改队列获取数据修改消息;对所述数据修改消息进行解析,获得被更新的主业务数据。
需要说明的是,实时监听主业务系统对应的数据修改队列可以是通过预先创建的数据修改队列的消费者监听数据局修改队列。
可以理解的是,若监听到数据修改队列新增数据修改消息,则可以判定主业务系统的数据增加、删除或修改接口被触发,因此,可以判定主业务系统中有数据被更新了,此时可以从数据修改队列中获取数据修改消息,对数据修改消息进行解析,从而获得被更新的主业务数据。
步骤S20:获取待推送系统及所述待推送系统对应的待推送格式。
需要说明的是,待推送系统可以是需要进行数据同步的业务系统,待推送系统的待推送格式可以是待推送系统在进行数据同步时可识别的数据格式。
进一步的,为了快速确定待推送系统及待推送系统对应的待推送格式,本实施例所述步骤S20,可以包括:
获取预设推送配置数据,根据所述预设推送配置数据确定待推送系统;获取所述待推送系统的系统标识信息;根据所述系统标识信息在预设系统格式映射表中查找所述待推送系统对应的待推送格式。
需要说明的是,预设推送配置数据可以由数据同步的管理人员预先设置,预设推送配置数据可以存储在数据同步设备的内存中,也可以存储在远程数据库中,本实施例对此不加以限制。根据预设推送配置数据确定待推送系统可以是对预设推送配置数据进行解析,获得系统信息,根据系统信息查找对应的待推送系统,其中,系统信息可以是系统名或系统访问路径等信息。预设系统格式映射表中可以包含系统标识信息及待推送格式的映射关系,该映射关系可以由数据同步的管理人员预先设置。
可以理解的是,系统标识信息一般为唯一标识,因此,预先设置预设系统格式映射表,并以系统标识信息为索引,则根据待推送系统的系统标识信息即可快速查找到待推送系统对应的待推送格式。
进一步的,由于部分复杂业务中不同的数据同步需要的数据可能并不相同,即同一待推送系统可能根据业务的不同对应的待推送格式也不相同,为了尽可能适应各种复杂的场景,本实施例所述根据所述系统标识信息在预设系统格式映射表中查找所述待推送系统对应的待推送格式的步骤之前,还可以包括:
获取所述主业务数据对应的业务类型;
相应的,所述根据所述系统标识信息在预设系统格式映射表中查找所述待推送系统对应的待推送格式的步骤,包括:
根据所述系统标识信息及所述业务类型在预设系统格式映射表中查找所述待推送系统对应的待推送格式。
需要说明的是,为了适应复杂的业务场景,可以在主业务数据中添加对应的业务类型参数,通过业务类型参数的不同表征不同的业务类型(例如:在主业务数据中添加business-type字段,对应的值为1时表示业务类型为人员入职,对应的值为2时表示业务类型为人员离职,对应的值为3时标识业务类型为人员职位变动),在预设系统格式映射表中也设置业务类型字段,将系统标识信息及业务类型共同作为唯一性判定依据,即在系统标识信息及业务类型均相同时才判定为同一条数据。数据同步设备可以根据主业务数据中的业务类型参数确定主业务数据对应的业务类型,然后再根据系统标识信息及业务类型在预设系统格式映射表中查找待推送系统对应的待推送格式。
可以理解的是,由于预设系统格式映射表中以系统标识信息及业务类型共同作为唯一性判定依据,则同一待推送系统只需要业务类型不同,可以在预设系统格式映射表建立多条映射关系。
步骤S30:根据所述待推送格式对所述主业务数据进行转换,获得待推送数据。
需要说明的是,根据待推送格式对主业务数据进行转换,获得待推送数据可以是将主业务数据转换为数据格式为待推送格式的数据,并将转换后的数据作为待推送数据。
进一步的,企业内部业务系统为了便于操作可能暴露在外网中,因此各业务系统间在进行数据传输时可能采用的是外部网络,则数据容易被外部拦截,为了保证数据安全性,可以尽可能减少数据同步的数据量,则本实施例所述步骤S30,可以包括:
根据所述待推送格式确定推送必要字段;从所述主业务数据中提取所述推送必要字段对应的推送必要数据;根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据。
需要说明的是,推送必要字段可以是待推送格式中声明的数据同步需要的字段。在进行数据转换时仅从主业务数据中提取推送必要字段对应的推送必要数据可以减少不必要的数据传输,降低减少业务系统的数据被外部拦截获取的严重性,提高数据安全性,且在传输过程中减少了数据传输量,还可以进一步提升数据传输速率,并节省企业的网络带宽。
在实际使用中,数据为了便于处理,可以是采用对象的方式加载的,此时主业务数据可以是以主业务对象形式加载到内存中的,则可以提取主业务对象中推送必要字段对应的数据,然后根据提取的数据生成待推送格式对应的待推送对象,从而获得待推送数据。
进一步的,由于各业务系统的开发规范不同,各业务系统的数据格式不相同,可能同一含义的数据对应的值也并不相同,而简单的格式转换无法满足该场景,为了适应各种场景,本实施例所述根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据的步骤之前,还可以包括:
获取所述推送必要字段对应的数据转换规则;
相应的,所述根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据的步骤,可以包括:
根据所述待推送格式及所述数据转换规则对所述推送必要数据进行转换,获得待推送数据。
需要说明的是,数据转换规则可以是在进行数据转换时需要遵守的规则,数据转换规则中可以包括源字段、目标字段及数据转换条件,其中,源字段可以是推送必要数据在转换前对应的字段名,目标字段可以是源字段对应的数据转换后对应的字段名,数据转换条件可以是将源字段对应的数据转换为目标字段对应的数据时需要遵守的条件,数据转换条件可以设置为数据转换公式或数据转换映射表。
例如:假设推送必要数据为{type:1},待推送格式为{catgory:int},数据转换规则为{source:type,target:catgory,condition:n+1},其中,type:1表示推送必要数据中字段名为type,值为1;catgory:int表示接收数据的字段名为catgory,数据格式为整数型;source:type表示源字段为type,target:catgory表示目标字段为catgory,condition:n+1表示数据转换公式为n+1,n为推送必要数据中字段对应的值;则此时可以将推送必要数据依据待推送格式及数据转换规则进行转换,得到的待推送数据为{catgory:2}。
步骤S40:将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步。
可以理解的是,待推送数据的数据格式为待推送系统可以识别的待推送格式,因此,可以将待推送数据发送至待推送系统,待推送系统在接收到待推送数据之后即可对待推送数据正常进行解析,然后根据待推送数据查找到系统内需要进行同步的数据,依据待推送数据对系统内需要进行同步的数据进行更新,从而实现数据同步。
在实际使用中,可以在待推送系统中预先设置数据同步接口,将所述待推送数据发送至所述待推送系统,通过待推送数据调用待推送系统中的数据同步接口,则待推送系统会执行数据同步接口中的数据同步逻辑,从而实现数据同步。
本实施例通过在检测到主业务系统的数据更新时,获取被更新的主业务数据;获取待推送系统及待推送系统对应的待推送格式;根据待推送格式对主业务数据进行转换,获得待推送数据;将待推送数据发送至待推送系统,以使待推送系统根据待推送数据实现数据同步。由于在检测到主业务系统的数据更新时,会根据待推送系统对应的待推送格式将主业务数据转换为待推送系统可识别的数据格式,再将转换后得到的待推送数据推送至待推送系统,使待推送业务系统根据待推送数据进行数据同步,从而保证了可对数据格式不同的业务系统自动进行数据同步,无需人工介入。
参考图3,图3为本发明一种数据同步方法第二实施例的流程示意图。
基于上述第一实施例,本实施例数据同步方法的所述步骤S30,可以包括:
步骤S301:对所述主业务数据进行检测,确定所述主业务数据中是否存在敏感数据。
需要说明的是,敏感数据可以是个人的身份数据,例如:手机号码、身份证号码、账户密码等数据。对主业务数据进行检测,确定主业务数据是否存在敏感数据可以是根据敏感数据的各项特征设置正则表达式,通过正则表达式对主业务数据进行匹配,在匹配成功时,判定主业务数据中存在敏感数据;在匹配失败时,判定主业务数据中不存在敏感数据。
步骤S302:在所述主业务数据中存在敏感数据时,获取预设加密算法。
需要说明的是,若主业务数据中存在敏感数据,不进行额外处理而直接将主业务数据转换为待推送数据,则很可能导致敏感信息被外部拦截,从而造成敏感信息泄露,为了避免敏感信息泄露,在将主业务数据中存在敏感数据时需要对主业务数据中的敏感数据进行加密,则此时可以获取预设加密算法。预设加密算法可以是对称加密算法,可以由数据同步设备的管理人员预先设置。
进一步的,若对所有的待推送系统均采用同一种加密算法,则十分容易被恶意攻击者寻找到加密规则,从而对加密算法进行破解,为了提高恶意攻击者的破解难度,本实施例所述步骤S202,可以包括:
在所述主业务数据中存在敏感数据时,获取所述待推送系统对应的系统标识信息;根据所述系统标识信息在预设加密算法库中查找对应的预设加密算法。
需要说明的是,预设加密算法库可以包含各预设加密算法与系统标识信息的映射关系,该映射关系可以由数据同步设备的管理人员预先进行设置。
可以理解的是,可以对各种不同的待推送系统采用不同的加密算法进行加密,则对各个待推送系统的敏感数据的加密规则均不相同,恶意攻击者难以发现加密规则,因此,可以大幅度提高破解难度,进一步提高数据安全性。
步骤S303:根据所述预设加密算法对所述主业务数据中的敏感数据进行加密,获得加密业务数据。
需要说明的是,根据预设加密算法对主业务数据中的敏感数据进行加密,获得加密业务数据可以是提取主业务数据中的敏感数据,通过预设加密算法对敏感数据进行加密,获得密文数据,将主业务数据中的敏感数据替换为密文数据,并将替换完毕的主业务数据作为加密业务数据。
步骤S304:根据所述待推送格式对所述加密业务数据进行转换,获得待推送数据。
需要说明的是,在主业务数据中的敏感数据进行加密,获得加密业务数据之后,根据待推送格式对加密业务数据进行转换,获得待推送数据,则此时待推送数据中的敏感数据部分也是加密后的密文数据,即使外部拦截待推送数据,也仅能获得密文数据,而无法获取敏感数据,从而避免了敏感信息的泄露。
可以理解的是,待推送系统中可以设置有预设加密算法对应的解密算法,待推送系统在数据同步过程中需要用到敏感数据时可以通过解密算法对待推送数据中的密文数据进行解密,从而获得敏感数据。
本实施例通过对所述主业务数据进行检测,确定所述主业务数据中是否存在敏感数据;在所述主业务数据中存在敏感数据时,获取预设加密算法;根据所述预设加密算法对所述主业务数据中的敏感数据进行加密,获得加密业务数据;根据所述待推送格式对所述加密业务数据进行转换,获得待推送数据。由于在将主业务数据转换为待推送数据之前还检测了主业务数据中是否存在敏感数据,在存在敏感数据时通过预设加密方式对主业务数据中的敏感数据进行加密,再将加密获得的加密业务数据转换为待推送数据,从而使得恶意攻击者即使拦截到待推送数据也仅能获得加密后的密文数据,避免了敏感信息的泄露,提高了数据安全性。
参考图4,图4为本发明一种数据同步方法第三实施例的流程示意图。
基于上述第一实施例,本实施例数据同步方法在所述步骤S40之后,还包括:
步骤S50:接收所述待推送系统反馈的数据同步结果。
需要说明的是,数据同步结果可以包括同步状态码及结果描述消息。待推送系统可根据待推送数据进行数据同步,在数据同步流程执行完毕时可以生成数据同步结果,并将数据同步结果反馈至数据同步设备。
步骤S60:根据所述数据同步结果确定数据同步是否成功。
需要说明的是,根据数据同步结果确定数据同步是否成功可以是对数据同步结果进行解析,获得同步状态码,将同步状态码与预设成功状态码进行比对,在同步状态码与预设成功状态码一致时,判定数据同步成功;同步状态码与预设成功状态码不一致时,判定数据同步失败。
步骤S70:在数据同步成功时,根据所述主业务数据、所述待推送数据及所述数据同步结果生成数据同步记录。
需要说明的是,在数据同步过程中难免会出现因数据同步导致的数据异常或其他异常现象,而为了在异常发生时排查异常原因,在完成数据同步时可以根据主业务数据、待推送数据及数据同步结果生成数据同步记录。
步骤S80:将所述数据同步记录进行存储。
需要说明的是,将数据同步记录进行存储可以是将数据同步记录存储在数据同步设备中,也可以是将数据同步记录发送至远程数据库进行存储,本实施例对此不加以限制。
进一步的,待推送系统在根据待推送数据进行数据同步时有可能因为各种原因出现数据同步失败的现象,而除开少部分特殊原因导致的同步失败,其他的情况仅需重试即可,为了尽可能减少管理人员的工作量,本实施例所述步骤S20之后,还可以包括:
在数据同步不成功时,获取所述待推送数据对应的历史同步失败次数;对所述历史同步失败次数进行更新,获得当前同步失败次数;在所述当前同步失败次数小于预设同步失败阈值时,返回所述将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步的步骤。
需要说明的是,历史同步失败次数可以是待推送系统根据待推送数据进行数据同步已经失败的次数。对历史同步失败次数进行更新,获得当前同步失败次数可以是对历史同步失败次数进行加一,从而获得当前同步失败次数。预设同步失败阈值可以是数据同步设备的管理人员设置的允许在同步失败时重复尝试的最大次数。
在实际使用中,若当前同步失败此处下雨预设同步失败阈值,则表示同步失败的次数还未达到允许重复尝试的最大次数,因此,可以将待推送数据再次发送至待推送系统,重新尝试进行数据同步。
可以理解的是,若重复尝试即可正常进行数据同步,则表示可能仅仅是因为网络繁忙或系统卡顿等异常现象导致的数据同步,且该系统已经恢复正常,无需再次进行异常排查。
在具体实现中,若所述当前同步失败次数大于或等于预设同步失败阈值,则可以说明数据同步失败次数已经达到了允许重复尝试的最大次数,则此时可以说明待推送系统已经出现了异常,且无法自行恢复,需要数据同步设备的管理人员进行异常排查,此时可以根据主业务数据、待推送数据及当前同步失败次数生成同步失败记录,并将生成的同步失败记录进行存储,数据同步设备的管理人员可根据存储的同步失败记录排查异常,快速定位异常原因。
在实际使用中,根据实际需要还可以将同步失败记录向数据同步设备的管理人员进行展示,以提醒数据同步设备的管理人员进行异常排查。
本实施例通过接收所述待推送系统反馈的数据同步结果;根据所述数据同步结果确定数据同步是否成功;在数据同步成功时,根据所述主业务数据、所述待推送数据及所述数据同步结果生成数据同步记录;将所述数据同步记录进行存储。由于在数据同步成功时生成了数据同步记录,在因数据同步导致发生异常时数据同步设备的管理人员根据数据同步记录即可快速排查异常原因,降低了数据同步设备的管理人员异常排查的难度。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有数据同步程序,所述数据同步程序被处理器执行时实现如上文所述的数据同步方法的步骤。
参照图4,图4为本发明数据同步装置第一实施例的结构框图。
如图4所示,本发明实施例提出的数据同步装置包括:
系统检测模块10,用于在检测到主业务系统的数据更新时,获取被更新的主业务数据;
数据获取模块20,用于获取待推送系统及所述待推送系统对应的待推送格式;
数据转换模块30,用于根据所述待推送格式对所述主业务数据进行转换,获得待推送数据;
数据推送模块40,用于将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步。。
本实施例通过在检测到主业务系统的数据更新时,获取被更新的主业务数据;获取待推送系统及待推送系统对应的待推送格式;根据待推送格式对主业务数据进行转换,获得待推送数据;将待推送数据发送至待推送系统,以使待推送系统根据待推送数据实现数据同步。由于在检测到主业务系统的数据更新时,会根据待推送系统对应的待推送格式将主业务数据转换为待推送系统可识别的数据格式,再将转换后得到的待推送数据推送至待推送系统,使待推送业务系统根据待推送数据进行数据同步,从而保证了可对数据格式不同的业务系统自动进行数据同步,无需人工介入。
进一步的,所述系统检测模块10,还用于实时监听主业务系统对应的数据修改队列;在监听到所述数据修改队列新增数据修改消息时,判定检测到所述主业务系统的数据更新;
所述系统检测模块10,还用于在检测到主业务系统的数据更新时,从所述数据修改队列获取数据修改消息;对所述数据修改消息进行解析,获得被更新的主业务数据。
进一步的,所述系统检测模块10,还用于在接收到主业务系统发送的数据请求时,确定所述数据请求的请求类型;在所述请求类型为数据同步类型时,判定检测到主业务系统的数据更新,将所述数据请求作为数据同步请求;
所述系统检测模块10,还用于在检测到主业务系统的数据更新时,对所述数据同步请求进行参数解析,获得被更新的主业务数据。
进一步的,所述数据转换模块30,还用于根据所述待推送格式确定推送必要字段;从所述主业务数据中提取所述推送必要字段对应的推送必要数据;根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据。
进一步的,所述数据转换模块30,还用于获取所述推送必要字段对应的数据转换规则;
所述数据转换模块30,还用于根据所述待推送格式及所述数据转换规则对所述推送必要数据进行转换,获得待推送数据。
进一步的,所述数据转换模块30,还用于对所述主业务数据进行检测,确定所述主业务数据中是否存在敏感数据;在所述主业务数据中存在敏感数据时,获取预设加密算法;根据所述预设加密算法对所述主业务数据中的敏感数据进行加密,获得加密业务数据;根据所述待推送格式对所述加密业务数据进行转换,获得待推送数据。
进一步的,所述数据转换模块30,还用于在所述主业务数据中存在敏感数据时,获取所述待推送系统对应的系统标识信息;根据所述系统标识信息在预设加密算法库中查找对应的预设加密算法。
进一步的,所述数据获取模块20,还用于获取预设推送配置数据,根据所述预设推送配置数据确定待推送系统;获取所述待推送系统的系统标识信息;根据所述系统标识信息在预设系统格式映射表中查找所述待推送系统对应的待推送格式。
进一步的,所述数据获取模块20,还用于获取所述主业务数据对应的业务类型;
所述数据获取模块20,还用于根据所述系统标识信息及所述业务类型在预设系统格式映射表中查找所述待推送系统对应的待推送格式。
进一步的,所述数据推送模块40,还用于接收所述待推送系统反馈的数据同步结果;根据所述数据同步结果确定数据同步是否成功;在数据同步成功时,根据所述主业务数据、所述待推送数据及所述数据同步结果生成数据同步记录;将所述数据同步记录进行存储。
进一步的,所述数据推送模块40,还用于在数据同步不成功时,获取所述待推送数据对应的历史同步失败次数;对所述历史同步失败次数进行更新,获得当前同步失败次数;在所述当前同步失败次数小于预设同步失败阈值时,将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步。
进一步的,所述数据推送模块40,还用于在所述当前同步失败次数大于或等于预设同步失败阈值时,根据所述所述主业务数据、所述待推送数据及所述当前同步失败次数生成同步失败记录;将所述同步失败记录进行存储。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的数据同步方法,此处不再赘述。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
本发明公开了A1、一种数据同步方法,所述数据同步方法包括以下步骤:
在检测到主业务系统的数据更新时,获取被更新的主业务数据;
获取待推送系统及所述待推送系统对应的待推送格式;
根据所述待推送格式对所述主业务数据进行转换,获得待推送数据;
将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步。
A2、如A1所述的数据同步方法,所述在检测到主业务系统的数据更新时,获取被更新的主业务数据的步骤之前,还包括:
实时监听主业务系统对应的数据修改队列;
在监听到所述数据修改队列新增数据修改消息时,判定检测到所述主业务系统的数据更新;
相应的,所述在检测到主业务系统的数据更新时,获取被更新的主业务数据的步骤,包括:
在检测到主业务系统的数据更新时,从所述数据修改队列获取数据修改消息;
对所述数据修改消息进行解析,获得被更新的主业务数据。
A3、如A1所述的数据同步方法,所述在检测到主业务系统的数据更新时,获取被更新的主业务数据的步骤之前,还包括:
在接收到主业务系统发送的数据请求时,确定所述数据请求的请求类型;
在所述请求类型为数据同步类型时,判定检测到主业务系统的数据更新,将所述数据请求作为数据同步请求;
相应的,所述在检测到主业务系统的数据更新时,获取被更新的主业务数据的步骤,包括:
在检测到主业务系统的数据更新时,对所述数据同步请求进行参数解析,获得被更新的主业务数据。
A4、如A1所述的数据同步方法,所述根据所述待推送格式对所述主业务数据进行转换,获得待推送数据的步骤,包括:
根据所述待推送格式确定推送必要字段;
从所述主业务数据中提取所述推送必要字段对应的推送必要数据;
根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据。
A5、如A4所述的数据同步方法,所述根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据的步骤之前,还包括:
获取所述推送必要字段对应的数据转换规则;
相应的,所述根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据的步骤,包括:
根据所述待推送格式及所述数据转换规则对所述推送必要数据进行转换,获得待推送数据。
A6、如A1所述的数据同步方法,所述根据所述待推送格式对所述主业务数据进行转换,获得待推送数据的步骤,包括:
对所述主业务数据进行检测,确定所述主业务数据中是否存在敏感数据;
在所述主业务数据中存在敏感数据时,获取预设加密算法;
根据所述预设加密算法对所述主业务数据中的敏感数据进行加密,获得加密业务数据;
根据所述待推送格式对所述加密业务数据进行转换,获得待推送数据。
A7、如A6所述的数据同步方法,所述在所述主业务数据中存在敏感数据时,获取预设加密算法的步骤,包括:
在所述主业务数据中存在敏感数据时,获取所述待推送系统对应的系统标识信息;
根据所述系统标识信息在预设加密算法库中查找对应的预设加密算法。
A8、如A1所述的数据同步方法,所述获取待推送系统及所述待推送系统对应的待推送格式的步骤,包括:
获取预设推送配置数据,根据所述预设推送配置数据确定待推送系统;
获取所述待推送系统的系统标识信息;
根据所述系统标识信息在预设系统格式映射表中查找所述待推送系统对应的待推送格式。
A9、如A8所述的数据同步方法,所述根据所述系统标识信息在预设系统格式映射表中查找所述待推送系统对应的待推送格式的步骤之前,还包括:
获取所述主业务数据对应的业务类型;
相应的,所述根据所述系统标识信息在预设系统格式映射表中查找所述待推送系统对应的待推送格式的步骤,包括:
根据所述系统标识信息及所述业务类型在预设系统格式映射表中查找所述待推送系统对应的待推送格式。
A10、如A1-A9任一项所述的数据同步方法,所述将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步的步骤之后,还包括:
接收所述待推送系统反馈的数据同步结果;
根据所述数据同步结果确定数据同步是否成功;
在数据同步成功时,根据所述主业务数据、所述待推送数据及所述数据同步结果生成数据同步记录;
将所述数据同步记录进行存储。
A11、如A10所述的数据同步方法,所述根据所述数据同步结果确定数据同步是否成功的步骤之后,还包括:
在数据同步不成功时,获取所述待推送数据对应的历史同步失败次数;
对所述历史同步失败次数进行更新,获得当前同步失败次数;
在所述当前同步失败次数小于预设同步失败阈值时,返回所述将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步的步骤。
A12、如A11所述的数据同步方法,所述对所述历史同步失败次数进行更新,获得当前同步失败次数的步骤之后,还包括;
在所述当前同步失败次数大于或等于预设同步失败阈值时,根据所述所述主业务数据、所述待推送数据及所述当前同步失败次数生成同步失败记录;
将所述同步失败记录进行存储。
本发明公开了B13、一种数据同步装置,所述数据同步装置包括以下模块:
系统检测模块,用于在检测到主业务系统的数据更新时,获取被更新的主业务数据;
数据获取模块,用于获取待推送系统及所述待推送系统对应的待推送格式;
数据转换模块,用于根据所述待推送格式对所述主业务数据进行转换,获得待推送数据;
数据推送模块,用于将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步。
B14、如B13所述的数据同步装置,所述系统检测模块,还用于实时监听主业务系统对应的数据修改队列;在监听到所述数据修改队列新增数据修改消息时,判定检测到所述主业务系统的数据更新;
所述系统检测模块,还用于在检测到主业务系统的数据更新时,从所述数据修改队列获取数据修改消息;对所述数据修改消息进行解析,获得被更新的主业务数据。
B15、如B13所述的数据同步装置,所述系统检测模块,还用于在接收到主业务系统发送的数据请求时,确定所述数据请求的请求类型;在所述请求类型为数据同步类型时,判定检测到主业务系统的数据更新,将所述数据请求作为数据同步请求;
所述系统检测模块,还用于在检测到主业务系统的数据更新时,对所述数据同步请求进行参数解析,获得被更新的主业务数据。
B16、如B13所述的数据同步装置,所述数据转换模块,还用于根据所述待推送格式确定推送必要字段;从所述主业务数据中提取所述推送必要字段对应的推送必要数据;根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据。
B17、如B16所述的数据同步装置,所述数据转换模块,还用于获取所述推送必要字段对应的数据转换规则;
所述数据转换模块,还用于根据所述待推送格式及所述数据转换规则对所述推送必要数据进行转换,获得待推送数据。
B18、如B13所述的数据同步装置,所述数据转换模块,还用于对所述主业务数据进行检测,确定所述主业务数据中是否存在敏感数据;在所述主业务数据中存在敏感数据时,获取预设加密算法;根据所述预设加密算法对所述主业务数据中的敏感数据进行加密,获得加密业务数据;根据所述待推送格式对所述加密业务数据进行转换,获得待推送数据。
本发明公开了C19、一种数据同步设备,所述数据同步设备包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的数据同步程序,所述数据同步程序被处理器执行时实现如上所述的数据同步方法的步骤。
本发明公开了D20、一种计算机可读存储介质,所述计算机可读存储介质上存储有数据同步程序,所述数据同步程序执行时实现如上所述的数据同步方法的步骤。

Claims (10)

1.一种数据同步方法,其特征在于,所述数据同步方法包括以下步骤:
在检测到主业务系统的数据更新时,获取被更新的主业务数据;
获取待推送系统及所述待推送系统对应的待推送格式;
根据所述待推送格式对所述主业务数据进行转换,获得待推送数据;
将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步;
其中,所述获取待推送系统及所述待推送系统对应的待推送格式的步骤,包括:
获取预设推送配置数据,根据所述预设推送配置数据确定待推送系统;
获取所述待推送系统的系统标识信息;
获取所述主业务数据中的业务类型参数,根据所述业务类型参数确定所述主业务数据对应的业务类型;
根据所述系统标识信息及所述业务类型在预设系统格式映射表中查找所述待推送系统对应的待推送格式;
所述将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步的步骤,包括:
将所述待推送数据发送至所述待推送系统,通过待推送数据调用所述待推送系统中预先设置的数据同步接口,以使所述待推送系统执行所述数据同步接口中的数据同步逻辑,从而实现数据同步;
其中,所述将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步的步骤之后,还包括:
接收所述待推送系统反馈的数据同步结果;
根据所述数据同步结果确定数据同步是否成功;
在数据同步不成功时,获取所述待推送数据对应的历史同步失败次数;
对所述历史同步失败次数进行更新,获得当前同步失败次数;
在所述当前同步失败次数小于预设同步失败阈值时,返回所述将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步的步骤。
2.如权利要求1所述的数据同步方法,其特征在于,所述在检测到主业务系统的数据更新时,获取被更新的主业务数据的步骤之前,还包括:
实时监听主业务系统对应的数据修改队列;
在监听到所述数据修改队列新增数据修改消息时,判定检测到所述主业务系统的数据更新;
相应的,所述在检测到主业务系统的数据更新时,获取被更新的主业务数据的步骤,包括:
在检测到主业务系统的数据更新时,从所述数据修改队列获取数据修改消息;
对所述数据修改消息进行解析,获得被更新的主业务数据。
3.如权利要求1所述的数据同步方法,其特征在于,所述在检测到主业务系统的数据更新时,获取被更新的主业务数据的步骤之前,还包括:
在接收到主业务系统发送的数据请求时,确定所述数据请求的请求类型;
在所述请求类型为数据同步类型时,判定检测到主业务系统的数据更新,将所述数据请求作为数据同步请求;
相应的,所述在检测到主业务系统的数据更新时,获取被更新的主业务数据的步骤,包括:
在检测到主业务系统的数据更新时,对所述数据同步请求进行参数解析,获得被更新的主业务数据。
4.如权利要求1所述的数据同步方法,其特征在于,所述根据所述待推送格式对所述主业务数据进行转换,获得待推送数据的步骤,包括:
根据所述待推送格式确定推送必要字段;
从所述主业务数据中提取所述推送必要字段对应的推送必要数据;
根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据。
5.如权利要求4所述的数据同步方法,其特征在于,所述根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据的步骤之前,还包括:
获取所述推送必要字段对应的数据转换规则;
相应的,所述根据所述待推送格式对所述推送必要数据进行转换,获得待推送数据的步骤,包括:
根据所述待推送格式及所述数据转换规则对所述推送必要数据进行转换,获得待推送数据。
6.如权利要求1所述的数据同步方法,其特征在于,所述根据所述待推送格式对所述主业务数据进行转换,获得待推送数据的步骤,包括:
对所述主业务数据进行检测,确定所述主业务数据中是否存在敏感数据;
在所述主业务数据中存在敏感数据时,获取预设加密算法;
根据所述预设加密算法对所述主业务数据中的敏感数据进行加密,获得加密业务数据;
根据所述待推送格式对所述加密业务数据进行转换,获得待推送数据。
7.如权利要求6所述的数据同步方法,其特征在于,所述在所述主业务数据中存在敏感数据时,获取预设加密算法的步骤,包括:
在所述主业务数据中存在敏感数据时,获取所述待推送系统对应的系统标识信息;
根据所述系统标识信息在预设加密算法库中查找对应的预设加密算法。
8.一种数据同步装置,其特征在于,所述数据同步装置包括以下模块:
系统检测模块,用于在检测到主业务系统的数据更新时,获取被更新的主业务数据;
数据获取模块,用于获取待推送系统及所述待推送系统对应的待推送格式;
数据转换模块,用于根据所述待推送格式对所述主业务数据进行转换,获得待推送数据;
数据推送模块,用于将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步;
所述数据获取模块,还用于获取预设推送配置数据,根据所述预设推送配置数据确定待推送系统;获取所述待推送系统的系统标识信息;获取所述主业务数据中的业务类型参数,根据所述业务类型参数确定所述主业务数据对应的业务类型;根据所述系统标识信息及所述业务类型在预设系统格式映射表中查找所述待推送系统对应的待推送格式;
所述数据推送模块,还用于将所述待推送数据发送至所述待推送系统,通过待推送数据调用所述待推送系统中预先设置的数据同步接口,以使所述待推送系统执行所述数据同步接口中的数据同步逻辑,从而实现数据同步;
所述数据推送模块,还用于接收所述待推送系统反馈的数据同步结果;根据所述数据同步结果确定数据同步是否成功;在数据同步不成功时,获取所述待推送数据对应的历史同步失败次数;对所述历史同步失败次数进行更新,获得当前同步失败次数;在所述当前同步失败次数小于预设同步失败阈值时,返回所述将所述待推送数据发送至所述待推送系统,以使所述待推送系统根据所述待推送数据实现数据同步的步骤。
9.一种数据同步设备,其特征在于,所述数据同步设备包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的数据同步程序,所述数据同步程序被处理器执行时实现如权利要求1-7中任一项所述的数据同步方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据同步程序,所述数据同步程序执行时实现如权利要求1-7中任一项所述的数据同步方法的步骤。
CN202111132466.3A 2021-09-27 2021-09-27 数据同步方法、装置、设备及存储介质 Active CN113590719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111132466.3A CN113590719B (zh) 2021-09-27 2021-09-27 数据同步方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111132466.3A CN113590719B (zh) 2021-09-27 2021-09-27 数据同步方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113590719A CN113590719A (zh) 2021-11-02
CN113590719B true CN113590719B (zh) 2022-03-22

Family

ID=78242359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111132466.3A Active CN113590719B (zh) 2021-09-27 2021-09-27 数据同步方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113590719B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104780038A (zh) * 2014-01-15 2015-07-15 中国移动通信集团内蒙古有限公司 一种分布式协同加密方法及装置
CN106021494A (zh) * 2016-05-19 2016-10-12 中国银联股份有限公司 一种主数据同步方法及装置
CN111061678A (zh) * 2019-12-10 2020-04-24 深圳奇迹智慧网络有限公司 业务数据处理方法、装置、计算机设备和存储介质
CN113434600A (zh) * 2021-06-30 2021-09-24 青岛海尔科技有限公司 一种数据同步方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547092B (zh) * 2008-03-27 2011-06-08 天津德智科技有限公司 用于统一用户认证的多应用系统数据同步的方法及装置
CN102129478B (zh) * 2011-04-26 2012-10-03 广州从兴电子开发有限公司 数据库同步方法及系统
CN106209948B (zh) * 2015-05-07 2019-07-05 阿里巴巴集团控股有限公司 一种数据推送方法及装置
CN106557497A (zh) * 2015-09-25 2017-04-05 阿里巴巴集团控股有限公司 一种数据同步方法和装置
CN112966045A (zh) * 2021-02-27 2021-06-15 郑州信大捷安信息技术股份有限公司 数据同步方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104780038A (zh) * 2014-01-15 2015-07-15 中国移动通信集团内蒙古有限公司 一种分布式协同加密方法及装置
CN106021494A (zh) * 2016-05-19 2016-10-12 中国银联股份有限公司 一种主数据同步方法及装置
CN111061678A (zh) * 2019-12-10 2020-04-24 深圳奇迹智慧网络有限公司 业务数据处理方法、装置、计算机设备和存储介质
CN113434600A (zh) * 2021-06-30 2021-09-24 青岛海尔科技有限公司 一种数据同步方法及装置

Also Published As

Publication number Publication date
CN113590719A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN109558748B (zh) 数据处理方法、装置、电子设备及存储介质
CN108923908B (zh) 授权处理方法、装置、设备及存储介质
CN111026635B (zh) 一种软件项目的测试系统、方法、装置及存储介质
US8156553B1 (en) Systems and methods for correlating log messages into actionable security incidents and managing human responses
US10216527B2 (en) Automated software configuration management
US9264449B1 (en) Automatic privilege determination
CN109672657B (zh) 数据管理方法、装置、设备及存储介质
CN109669835B (zh) MySQL数据库监控方法、装置、设备及可读存储介质
CN110659206A (zh) 基于微服务的模拟架构建立方法、装置、介质及电子设备
CN110795741B (zh) 对数据进行安全性处理的方法和装置
CN109684863B (zh) 数据防泄漏方法、装置、设备及存储介质
CN114598749A (zh) 一种服务访问方法及装置
CN108418679B (zh) 一种多数据中心下处理密钥的方法、装置及电子设备
CN113672475B (zh) 告警处理方法、装置、计算机设备和存储介质
CN113609147A (zh) 数据共享方法、装置及电子设备
CN113821254A (zh) 接口数据处理方法、装置、存储介质及设备
CN108494749B (zh) Ip地址禁用的方法、装置、设备及计算机可读存储介质
CN109391658B (zh) 一种账号数据同步方法及其设备、存储介质、终端
CN113590719B (zh) 数据同步方法、装置、设备及存储介质
CN112214270A (zh) 一种页面重绘方法、装置、设备及存储介质
CN113535439B (zh) 业务请求处理方法、装置、设备及存储介质
US20210350024A1 (en) Providing transparency in private-user-data access
CN115208689A (zh) 基于零信任的访问控制方法、装置及设备
US20160357960A1 (en) Computer-readable storage medium, abnormality detection device, and abnormality detection method
CN116578538B (zh) 跨平台文件处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant