CN112818064A - 多系统数据同步方法、装置、设备及存储介质 - Google Patents

多系统数据同步方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112818064A
CN112818064A CN202110209515.2A CN202110209515A CN112818064A CN 112818064 A CN112818064 A CN 112818064A CN 202110209515 A CN202110209515 A CN 202110209515A CN 112818064 A CN112818064 A CN 112818064A
Authority
CN
China
Prior art keywords
data
information
synchronized
service system
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110209515.2A
Other languages
English (en)
Inventor
庞雪莲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202110209515.2A priority Critical patent/CN112818064A/zh
Publication of CN112818064A publication Critical patent/CN112818064A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273Asynchronous replication or reconciliation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及大数据领域,公开了一种多系统数据同步方法、装置、设备及存储介质。该方法包括:获取数据同步请求并进行解析,得到请求数据同步的业务节点信息;将业务节点信息传入预置数据调配中心,并查询与其相关联的业务系统信息和数据接收类型;将业务节点信息、业务系统信息和数据接收类型组装成接口标识信息,并从预置数据库中调用与之相关联的待同步数据传入数据调配中心;基于数据接收类型,采用数据调配中心的封装节点对待同步数据进行封装;采用异步线程,将封装后的待同步数据同步至对应的业务系统。本发明提升了多系统数据同步的效率,简化代码框架,提升了其可维护性。

Description

多系统数据同步方法、装置、设备及存储介质
技术领域
本发明涉及大数据,尤其涉及一种多系统数据同步方法、装置、设备及存储介质。
背景技术
在大部分的业务系统中,如果在同一业务节点需要将数据同时发送给多个系统,并且各系统要的数据条件和内容不一样的情况下,都会在调用处添加数据的过滤条件,并一一调用发送各系统的业务实现类的方法,进而造成调用的代码越来越冗长,可维护性差。而且如果一个系统出错的情况下,可能会影响其他系统的发送功能。
另外,一般这种方式都是用的顺序发送(非异步的方式),前一个系统发送完成后再发送后一个系统,这样就会严重影响系统的性能。比如:在案件状态的时候需要发送给四个系统,如果用顺序发送的方式,每个系统如果平均需要1s,则至少4s后才会返回页面状态翻转成功。综上所述,现有多系统的数据同步方法效率低。
发明内容
本发明的主要目的在于解决现有多系统的数据同步效率低的技术问题。
本发明第一方面提供了一种多系统数据同步方法,包括:
获取客户端发起的数据同步请求,并解析所述数据同步请求,得到请求数据同步的一个或多个业务节点信息;
将所述业务节点信息传入预置数据调配中心,并在所述数据调配中心查询与所述业务节点信息相关联的多个业务系统信息以及所述各业务系统信息对应业务系统的数据接收类型;
将所述业务节点信息、所述业务系统信息和所述业务系统对应的数据接收类型组装成请求同步数据的接口标识信息;
从预置数据库中调用与所述接口标识信息相关联的待同步数据,并将所述待同步数据传入所述数据调配中心;
基于所述数据接收类型,采用所述数据调配中心的封装节点对所述待同步数据进行封装;
采用异步线程,将封装后的待同步数据同步至对应的业务系统。
可选的,在本发明第一方面的第一种实现方式中,在所述获取客户端发起的数据同步请求之前,还包括:
接收客户端上传的注册信息并传入所述数据调配中心,其中,所述注册信息包括待注册业务节点信息、待注册业务系统信息和所述待注册业务系统信息对应待注册业务系统的数据接收类型;
根据所述待注册业务节点信息、所述待注册业务系统信息和所述待注册业务系统对应的数据接收类型,生成待注册业务节点中的关联信息。
可选的,在本发明第一方面的第二种实现方式中,所述在所述数据调配中心查询与所述业务节点信息相关联的多个业务系统信息以及所述各业务系统信息对应业务系统的数据接收类型包括:
在所述数据调配中心中匹配所述业务节点信息对应的业务节点,并获取业务节点中的关联信息;
解析所述关联信息,得到与所述业务节点信息相关联的业务系统信息以及所述各业务系统对应的数据接收类型。
可选的,在本发明第一方面的第三种实现方式中,所述数据调配中心还包括过滤节点、检查节点、修改节点,在所述基于所述数据接收类型,采用所述数据调配中心的封装节点对所述待同步数据进行封装之前,还包括:
采用所述过滤节点对所述待同步数据进行清洗,并采用所述检查节点提取所述清洗后的待同步数据中的检查点标识;
根据所述检查点标识,采用所述修改节点,按照预设修改规则对所述待同步数据进行修改;
将修改后的待同步数据转发至所述数据调配中心的封装节点。
可选的,在本发明第一方面的第四种实现方式中,所述采用异步线程,将封装后的待同步数据同步至对应的业务系统包括:
将封装后的待同步数据存放到全局缓冲队列中,并采用预置线程池中的主线程从所述全局缓冲队列中逐个取出待同步数据;
查询所述线程池中是否存在空闲子线程,若存在空闲子线程,则将取出的待同步数据随机分发给空闲子线程的缓冲子队列中;
若不存在空闲子线程,则根据线程池中工作子线程的数据处理量,将取出的待同步数据分发给数据处理量最少的工作子线程的缓冲子队列中;
通过所述空闲子线程或所述工作子线程,从所述缓冲子队列中取出待同步数据并同步至对应的业务系统。
可选的,在本发明第一方面的第五种实现方式中,在所述采用异步线程,将封装后的待同步数据同步至对应的业务系统之后,还包括:
判断所述待同步数据同步至对应的业务系统的过程中是否发生异常;
若发生异常,则返回当前空闲子线程或当前工作子线程的堆栈信息,并将所述堆栈信息封装成异常文件并返回至当前空闲子线程或当前工作子线程对应的缓冲子队列中;
在预置计时周期后,通过当前空闲子线程或当前工作子线程,重新将所述异常文件同步至对应的业务系统;
若未成功将所述异常文件同步至对应的业务系统,则循环执行所述在预置计时周期后,通过当前空闲子线程或当前工作子线程,重新将所述异常文件同步至对应的业务系统的步骤,直到成功将所述异常文件同步至对应的业务系统或者同步预置次数后停止,生成异常文件处理报告并返回至客户端。
本发明第二方面提供了一种多系统数据同步装置,包括:
解析模块,用于获取客户端发起的数据同步请求,并解析所述数据同步请求,得到请求数据同步的一个或多个业务节点信息;
查询模块,用于将所述业务节点信息传入预置数据调配中心,并在所述数据调配中心查询与所述业务节点信息相关联的多个业务系统信息以及所述各业务系统信息对应业务系统的数据接收类型;
组装模块,用于将所述业务节点信息、所述业务系统信息和所述业务系统对应的数据接收类型组装成请求同步数据的接口标识信息;
调用模块,用于从预置数据库中调用与所述接口标识信息相关联的待同步数据,并将所述待同步数据传入所述数据调配中心;
封装模块,用于基于所述数据接收类型,采用所述数据调配中心的封装节点对所述待同步数据进行封装;
同步模块,用于采用异步线程,将封装后的待同步数据同步至对应的业务系统。
可选的,在本发明第二方面的第一种实现方式中,所述多系统数据同步装置还包括注册模块,所述注册模块用于:
接收客户端上传的注册信息并传入所述数据调配中心,其中,所述注册信息包括待注册业务节点信息、待注册业务系统信息和所述待注册业务系统信息对应待注册业务系统的数据接收类型;
根据所述待注册业务节点信息、所述待注册业务系统信息和所述待注册业务系统对应的数据接收类型,生成待注册业务节点中的关联信息。
可选的,在本发明第二方面的第二种实现方式中,所述查询模块包括:
匹配单元,用于在所述数据调配中心中匹配所述业务节点信息对应的业务节点,并获取业务节点中的关联信息;
解析单元,用于解析所述关联信息,得到与所述业务节点信息相关联的业务系统信息以及所述各业务系统对应的数据接收类型。
可选的,在本发明第二方面的第三种实现方式中,所述数据调配中心还包括过滤节点、检查节点、修改节点,所述多系统数据同步装置还包括:
检查模块,用于采用所述过滤节点对所述待同步数据进行清洗,并采用所述检查节点提取所述清洗后的待同步数据中的检查点标识;
修改模块,用于根据所述检查点标识,采用所述修改节点,按照预设修改规则对所述待同步数据进行修改;将修改后的待同步数据转发至所述数据调配中心的封装节点。
可选的,在本发明第二方面的第四种实现方式中,所述同步模块包括:
数据缓存单元,用于将封装后的待同步数据存放到全局缓冲队列中,并采用预置线程池中的主线程从所述全局缓冲队列中逐个取出待同步数据;
线程分发单元,用于查询所述线程池中是否存在空闲子线程,若存在空闲子线程,则将取出的待同步数据随机分发给空闲子线程的缓冲子队列中;若不存在空闲子线程,则根据线程池中工作子线程的数据处理量,将取出的待同步数据分发给数据处理量最少的工作子线程的缓冲子队列中;
同步单元,用于通过所述空闲子线程或所述工作子线程,从所述缓冲子队列中取出待同步数据并同步至对应的业务系统。
可选的,在本发明第二方面的第五种实现方式中,所述多系统数据同步装置还包括异常处理模块,所述异常处理模块用于:
判断所述待同步数据同步至对应的业务系统的过程中是否发生异常;
若发生异常,则返回当前空闲子线程或当前工作子线程的堆栈信息,并将所述堆栈信息封装成异常文件并返回至当前空闲子线程或当前工作子线程对应的缓冲子队列中;
在预置计时周期后,通过当前空闲子线程或当前工作子线程,重新将所述异常文件同步至对应的业务系统;
若未成功将所述异常文件同步至对应的业务系统,则循环执行所述在预置计时周期后,通过当前空闲子线程或当前工作子线程,重新将所述异常文件同步至对应的业务系统的步骤,直到成功将所述异常文件同步至对应的业务系统或者同步预置次数后停止,生成异常文件处理报告并返回至客户端。
本发明第三方面提供了一种多系统数据同步设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述多系统数据同步设备执行上述的多系统数据同步方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的多系统数据同步方法。
本发明提供的技术方案中,通过预先配置一个数据调配中心,在客户端发起数据同步请求时,将其中的业务节点信息传入数据调配中心,通过配置好的数据调配中心,筛选与其相关联的业务系统信息和数据接收类型,可直接完成各业务信息所需业务信息和数据接收类型的匹配;接着将业务节点信息、业务系统信息和数据接收类型封装成接口标识信息,即可直接在预置数据库中查询到各业务系统的待同步数据,最后进行封装并以异步方式同步至相应的业务系统,减少各系统数据量大小、数据同步速度、数据同步异常对其他系统数据同步造成的影响,综上所述,通过数据调配中心为各业务系统匹配对应的数据和数据接收类型,然后通过接口标识信息检索各业务系统所需的业务数据,最后通过异步方式将业务数据同步至对应的业务系统,提升了多系统数据同步的效率。
附图说明
图1为本发明实施例中多系统数据同步方法的第一个实施例示意图;
图2为本发明实施例中多系统数据同步方法的第二个实施例示意图;
图3为本发明实施例中多系统数据同步方法的第三个实施例示意图;
图4为本发明实施例中多系统数据同步装置的一个实施例示意图;
图5为本发明实施例中多系统数据同步装置的另一个实施例示意图;
图6为本发明实施例中多系统数据同步设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种多系统数据同步方法、装置、设备及存储介质,获取数据同步请求并进行解析,得到请求数据同步的业务节点信息;将业务节点信息传入预置数据调配中心,并查询与其相关联的业务系统信息和数据接收类型;将业务节点信息、业务系统信息和数据接收类型组装成接口标识信息,并从预置数据库中调用与之相关联的待同步数据传入数据调配中心;基于数据接收类型,采用数据调配中心的封装节点对待同步数据进行封装;采用异步线程,将封装后的待同步数据同步至对应的业务系统。本发明提升了多系统数据同步的效率,简化代码框架,提升了其可维护性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中多系统数据同步方法的第一个实施例包括:
101、获取客户端发起的数据同步请求,并解析所述数据同步请求,得到请求数据同步的一个或多个业务节点信息;
可以理解的是,本发明的执行主体可以为多系统数据同步装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。需要强调的是,为进一步保证上述待同步数据的私密和安全性,上述待同步数据还可以存储于一区块链的节点中。
本实施例中,业务人员通过客户端在前端设置好数据同步的业务节点,各节点需同步的数据内容,并以此发起数据同步请求;通过解析数据同步请求即可得到本次进行数据同步的目标业务节点的业务节点信息。具体的,在客诉案件的数据同步过程中,业务节点可以包括:发送、落单、当场结案、补录、处理、回访、审核、结案、退款、综合查询修改案件信息;可以通过public static final String INTERFACE_NAME_ABC=“业务节点”的方式预先进行各业务节点的配置。
102、将所述业务节点信息传入预置数据调配中心,并在所述数据调配中心查询与所述业务节点信息相关联的多个业务系统信息以及所述各业务系统信息对应业务系统的数据接收类型;
本实施例中,将数据刷新请求中的业务节点信息传入预置数据调配中心后,即可通过对应一个或多个业务节点上的关联信息查询到各业务节点需要发送的业务系统,以及各个业务系统对应的数据接收类型,业务系统信息至少包含有业务系统的标识信息,指向对应的业务系统,其中,比如在客诉案件的数据同步过程中,业务系统可以包括集团、集团下子公司、各线下机构;在前期数据调配中心已预先配置好,通过配置好的关联信息进行匹配及关联即可,在此基础上进行后续的数据获取及同步。具体可通过GET_SYSID查询该节点需要发送的业务系统名称和对应的数据接收类型。
103、将所述业务节点信息、所述业务系统信息和所述业务系统对应的数据接收类型组装成请求同步数据的接口标识信息;
本实施例中,业务节点中记录了该业务节点需要发送的业务系统信息、各业务系统的数据接收类型,通过将三者组装成接口标识信息,以用于从数据库中查询对应的待同步数据,其中,接口标识信息是一种接口类,由业务节点信息(比如结案)+业务系统信息(集团、子公司A、子公司B)+数据接收类型(类型A)组成,即接口标识信息可通过结案_集团_类型A、结案_子公司A_类型A、结案_子公司B_类型A表示。
104、从预置数据库中调用与所述接口标识信息相关联的待同步数据,并将所述待同步数据传入所述数据调配中心;
本实施例中,业务系统的数据均存储在预置数据库中,各条数据的键值与对应的接口标识信息相映射,通过得到的接口标识信息,即可确定各节点、系统的所需同步数据,即待同步数据,并在数据调配中心对待同步数据进行预处理,包括封装、清晰、修改等,以满足各业务系统对待同步数据的要求,最后通过数据调配中心统一分发给各个业务系统。
105、基于所述数据接收类型,采用所述数据调配中心的封装节点对所述待同步数据进行封装;
本实施例中,为了适配各个系统的数据接收类型,需要通过数据调配中心对原始的待同步数据进行数据格式的转换和封装,比如采用Struts2对表单参数类型进行转化和封装、通过JFinal的contrller中将请求中的的key和value自动封装到controller的形参map中。
具体的,对于表单参数类型,可通过Struts2进行数据类型转化和封装,一种方式是将JSP表单数据填充到action中的属性,其中,Action中定义成员变量,成员变量的setXxx方法名中的Xxx和表单中name属性提交的参数需相互对应;另一种方式是通过领域模型接受表单的参数,JSP表单数据填充到action的对象的属性中,其中,Action中定义封装的实体类对象如private User user,并给set、get方法,在JSP页面需要注意是user.id。
106、采用异步线程,将封装后的待同步数据同步至对应的业务系统。
本实施例中,对于不同业务系统的待同步数据,通过异步线程的方式进行发送,可避免同步发送影响系统的性能,提升数据同步效率,比如对于客诉案件中,在落单状态时需要发送待同步数据给8个系统,如果用同步顺序发送的方式,每个系统如果平均需要一秒钟,则至少8秒后才会返回页面状态翻转成功,而若采用异步线程的方式,则可在一秒左右返回页面状态翻转成功,提升用户体验。具体的数据同步方式如下所示:
(1)将封装后的待同步数据存放到全局缓冲队列中,并采用预置线程池中的主线程从所述全局缓冲队列中逐个取出待同步数据;
(2)查询所述线程池中是否存在空闲子线程,若存在空闲子线程,则将取出的待同步数据随机分发给空闲子线程的缓冲子队列中;
(3)若不存在空闲子线程,则根据线程池中工作子线程的数据处理量,将取出的待同步数据分发给数据处理量最少的工作子线程的缓冲子队列中;
(4)通过所述空闲子线程或所述工作子线程,从所述缓冲子队列中取出待同步数据并同步至对应的业务系统。
本发明实施例中,通过预先配置一个数据调配中心,在客户端发起数据同步请求时,将其中的业务节点信息传入数据调配中心,以用于筛选与其相关联的业务系统信息和数据接收类型;接着将三者封装成接口标识信息,在预置数据库中查询各业务系统的待同步数据,最后进行封装并以异步方式同步至相应的业务系统,以提升多系统数据同步的效率。
请参阅图2,本发明实施例中多系统数据同步方法的第二个实施例包括:
201、接收客户端上传的注册信息并传入所述数据调配中心,其中,所述注册信息包括待注册业务节点信息、待注册业务系统信息和所述待注册业务系统信息对应待注册业务系统的数据接收类型;
202、根据所述待注册业务节点信息、所述待注册业务系统信息和所述待注册业务系统对应的数据接收类型,生成待注册业务节点中的关联信息。
本实施例中,业务人员通过客户端设置好数据调配中心中的每个业务节点、每个业务节点需要发送的业务系统、每个业务系统的数据接收类型,其中,各业务系统的数据接收类型可通过数据类和数据方法统一配置在一个公共配置类里来实现;在业务人员设置好后得到注册信息并传入数据调配中心完成配置,并在待注册节点上形成关联信息,其中,待注册节点是一个空参数的固定数据结构的父类,在注册信息传入数据调配中心后,继承该父类并进行入参即可,并生成对应的关联信息,包含该业务节点的业务节点信息、需要发送的业务系统以及各业务系统的数据接收类型。
具体的,可通过以下代码设置各业务系统,public static final String SYS_ID_业务系统名=“业务系统名”;
设置各业务节点需要发送的业务系统:public static final String[]SYS_ID_OF_ABC={SYS_ID_系统名称1、SYS_ID_系统名称2……};
设置各业务系统的数据接收类型:public static final String TRANS_TYPE_数据接收类型=“数据接收类型”。
203、获取客户端发起的数据同步请求,并解析所述数据同步请求,得到请求数据同步的一个或多个业务节点信息;
204、将所述业务节点信息传入预置数据调配中心;
205、在所述数据调配中心中匹配所述业务节点信息对应的业务节点,并获取业务节点中的关联信息;
206、解析所述关联信息,得到与所述业务节点信息相关联的业务系统信息以及所述各业务系统对应的数据接收类型;
本实施例中,业务节点中记录了该业务节点需要发送的业务系统信息、各业务系统的数据接收类型,通过将三者组装成接口标识信息,以用于从数据库中查询对应的待同步数据,其中,接口标识信息是一种接口类,由业务节点信息(比如结案)+业务系统信息(集团、子公司A、子公司B)+数据接收类型(类型A)组成,即接口标识信息可通过结案_集团_类型A、结案_子公司A_类型A、结案_子公司B_类型A表示。
207、将所述业务节点信息、所述业务系统信息和所述业务系统对应的数据接收类型组装成请求同步数据的接口标识信息;
208、从预置数据库中调用与所述接口标识信息相关联的待同步数据,并将所述待同步数据传入所述数据调配中心;
209、基于所述数据接收类型,采用所述数据调配中心的封装节点对所述待同步数据进行封装;
210、采用异步线程,将封装后的待同步数据同步至对应的业务系统。
本发明实施例中,通过待注册业务节点信息、待注册业务系统信息和所述待注册业务系统信息对应待注册业务系统的数据接收类型在对应业务节点上注册相应的关联信息,以供后续在进行多系统数据同步时,可直接根据每个业务节点中的关联信息确定需要同步数据的业务系统和各业务系统的数据接收类型,简化代码框架即可实现多系统的业务同步。
请参阅图3,本发明实施例中多系统数据同步方法的第三个实施例包括:
301、获取客户端发起的数据同步请求,并解析所述数据同步请求,得到请求数据同步的一个或多个业务节点信息;
302、将所述业务节点信息传入预置数据调配中心,并在所述数据调配中心查询与所述业务节点信息相关联的多个业务系统信息以及所述各业务系统信息对应业务系统的数据接收类型;
303、将所述业务节点信息、所述业务系统信息和所述业务系统对应的数据接收类型组装成请求同步数据的接口标识信息;
304、从预置数据库中调用与所述接口标识信息相关联的待同步数据,并将所述待同步数据传入所述数据调配中心;
305、采用所述过滤节点对所述待同步数据进行清洗,采用所述检查节点提取所述清洗后的待同步数据中的检查点标识;
306、根据所述检查点标识,采用所述修改节点,按照预设修改规则对所述待同步数据进行修改;
307、将修改后的待同步数据转发至所述数据调配中心的封装节点;
本实施例中,通过对待同步数据进行清洗,可以发现待同步数据中的可识别错误,以对数据进行去重处理、检查数据一致性、处理数据无效值和数据缺失值等,包括数据中存在的拼写错误、不合法值、空值、命名习惯问题等,通过检查节点的脚本自动进行清洗,包括数据统计技术、数据挖掘技术、异常检测、重复处理等,以提升待同步数据的质量。
因各条待同步数据可能来源于不同的数据库,如果采用区块链技术进行数据的上传、存储与同步,数据可能存在造假被替换的可能性,可通过检查节点对待同步数据进行作假的检测;检查点标识由预置的检查点生成规则生成,并布置在数据调配中心的检查节点上。
具体的,比如对于数据存储类型,集团、各子公司和各线下机构通过区块链技术进行数据的上传、存储和同步,三者注册有对应的区块,对于满足以下条件的可作为检查点标识:1)检查节点检查到所获取的同步区块高度满足预设区块高度间隔,同步区块高度是指同步区块的个数;2)检查节点检测到当时时间满足预设检查点创建时间间隔;也可以是其他的触发通知机制,用于通知检查节点创建检查点等,本实施例中对此不做限定。
通过检查节点提取到待同步数据中的检查点标识后,可以按照设定修改规则的规定对检查节点标识的目标修改数据中的某些内容进行修改,或者直接删除;还可以是采用其他内容替换目标修改数据等。并将修改后的待同步数据转发到封装节点进行数据封装。
308、基于所述数据接收类型,采用所述数据调配中心的封装节点对所述待同步数据进行封装;
309、采用异步线程,将封装后的待同步数据同步至对应的业务系统。
本实施例中,在将待同步数据同步到对应的业务系统后,可能发生数据同步错误的情况,以此对发送失败的待同步数据设计了重发机制,以最大限度保证各系统之间同步完成数据的完整性和一致性。具体如下所示:
(1)判断所述待同步数据同步至对应的业务系统的过程中是否发生异常;
(2)若发生异常,则返回当前空闲子线程或当前工作子线程的堆栈信息,并将所述堆栈信息封装成异常文件并返回至当前空闲子线程或当前工作子线程对应的缓冲子队列中;
(3)在预置计时周期后,通过当前空闲子线程或当前工作子线程,重新将所述异常文件同步至对应的业务系统;
(4)若未成功将所述异常文件同步至对应的业务系统,则循环执行所述在预置计时周期后,通过当前空闲子线程或当前工作子线程,重新将所述异常文件同步至对应的业务系统的步骤,直到成功将所述异常文件同步至对应的业务系统或者同步预置次数后停止,生成异常文件处理报告并返回至客户端。
本发明实施例中,通过数据调配中心对数据进行预处理,再以异步线程的方式同步至各业务系统,可保证数据的完整性和一致性,并同时提升多系统的数据同步效率,以及保证各业务系统的运行能力。
上面对本发明实施例中多系统数据同步方法进行了描述,下面对本发明实施例中多系统数据同步装置进行描述,请参阅图4,本发明实施例中多系统数据同步装置一个实施例包括:
解析模块401,用于获取客户端发起的数据同步请求,并解析所述数据同步请求,得到请求数据同步的一个或多个业务节点信息;
查询模块402,用于将所述业务节点信息传入预置数据调配中心,并在所述数据调配中心查询与所述业务节点信息相关联的多个业务系统信息以及所述各业务系统信息对应业务系统的数据接收类型;
组装模块403,用于将所述业务节点信息、所述业务系统信息和所述业务系统对应的数据接收类型组装成请求同步数据的接口标识信息;
调用模块404,用于从预置数据库中调用与所述接口标识信息相关联的待同步数据,并将所述待同步数据传入所述数据调配中心;
封装模块405,用于基于所述数据接收类型,采用所述数据调配中心的封装节点对所述待同步数据进行封装;
同步模块406,用于采用异步线程,将封装后的待同步数据同步至对应的业务系统。
本发明实施例中,通过预先配置一个数据调配中心,在客户端发起数据同步请求时,将其中的业务节点信息传入数据调配中心,以用于筛选与其相关联的业务系统信息和数据接收类型;接着将三者封装成接口标识信息,在预置数据库中查询各业务系统的待同步数据,最后进行封装并以异步方式同步至相应的业务系统,以提升多系统数据同步的效率。
请参阅图5,本发明实施例中多系统数据同步装置的另一个实施例包括:
解析模块401,用于获取客户端发起的数据同步请求,并解析所述数据同步请求,得到请求数据同步的一个或多个业务节点信息;
查询模块402,用于将所述业务节点信息传入预置数据调配中心,并在所述数据调配中心查询与所述业务节点信息相关联的多个业务系统信息以及所述各业务系统信息对应业务系统的数据接收类型;
组装模块403,用于将所述业务节点信息、所述业务系统信息和所述业务系统对应的数据接收类型组装成请求同步数据的接口标识信息;
调用模块404,用于从预置数据库中调用与所述接口标识信息相关联的待同步数据,并将所述待同步数据传入所述数据调配中心;
封装模块405,用于基于所述数据接收类型,采用所述数据调配中心的封装节点对所述待同步数据进行封装;
同步模块406,用于采用异步线程,将封装后的待同步数据同步至对应的业务系统。
可选的,在本发明第二方面的第一种实现方式中,所述多系统数据同步装置还包括注册模块407,所述注册模块407用于:
接收客户端上传的注册信息并传入所述数据调配中心,其中,所述注册信息包括待注册业务节点信息、待注册业务系统信息和所述待注册业务系统信息对应待注册业务系统的数据接收类型;
根据所述待注册业务节点信息、所述待注册业务系统信息和所述待注册业务系统对应的数据接收类型,生成待注册业务节点中的关联信息。
可选的,在本发明第二方面的第二种实现方式中,所述查询模块402包括:
匹配单元4021,用于在所述数据调配中心中匹配所述业务节点信息对应的业务节点,并获取业务节点中的关联信息;
解析单元4022,用于解析所述关联信息,得到与所述业务节点信息相关联的业务系统信息以及所述各业务系统对应的数据接收类型。
可选的,在本发明第二方面的第三种实现方式中,所述数据调配中心还包括过滤节点、检查节点、修改节点,所述多系统数据同步装置还包括:
检查模块408,用于采用所述过滤节点对所述待同步数据进行清洗,并采用所述检查节点提取所述清洗后的待同步数据中的检查点标识;
修改模块409,用于根据所述检查点标识,采用所述修改节点,按照预设修改规则对所述待同步数据进行修改;将修改后的待同步数据转发至所述数据调配中心的封装节点。
可选的,在本发明第二方面的第四种实现方式中,所述同步模块406包括:
数据缓存单元4061,用于将封装后的待同步数据存放到全局缓冲队列中,并采用预置线程池中的主线程从所述全局缓冲队列中逐个取出待同步数据;
线程分发单元4062,用于查询所述线程池中是否存在空闲子线程,若存在空闲子线程,则将取出的待同步数据随机分发给空闲子线程的缓冲子队列中;若不存在空闲子线程,则根据线程池中工作子线程的数据处理量,将取出的待同步数据分发给数据处理量最少的工作子线程的缓冲子队列中;
同步单元4063,用于通过所述空闲子线程或所述工作子线程,从所述缓冲子队列中取出待同步数据并同步至对应的业务系统。
可选的,在本发明第二方面的第五种实现方式中,所述多系统数据同步装置还包括异常处理模块410,所述异常处理模块410用于:
判断所述待同步数据同步至对应的业务系统的过程中是否发生异常;
若发生异常,则返回当前空闲子线程或当前工作子线程的堆栈信息,并将所述堆栈信息封装成异常文件并返回至当前空闲子线程或当前工作子线程对应的缓冲子队列中;
在预置计时周期后,通过当前空闲子线程或当前工作子线程,重新将所述异常文件同步至对应的业务系统;
若未成功将所述异常文件同步至对应的业务系统,则循环执行所述在预置计时周期后,通过当前空闲子线程或当前工作子线程,重新将所述异常文件同步至对应的业务系统的步骤,直到成功将所述异常文件同步至对应的业务系统或者同步预置次数后停止,生成异常文件处理报告并返回至客户端。
本发明实施例中,通过待注册业务节点信息、待注册业务系统信息和所述待注册业务系统信息对应待注册业务系统的数据接收类型在对应业务节点上注册相应的关联信息,以供后续在进行多系统数据同步时,可直接根据每个业务节点中的关联信息确定需要同步数据的业务系统和各业务系统的数据接收类型,简化代码框架即可实现多系统的业务同步;同时通过数据调配中心对数据进行预处理,再以异步线程的方式同步至各业务系统,可保证数据的完整性和一致性,并同时提升多系统的数据同步效率,以及保证各业务系统的运行能力。
上面图4和图5从模块化功能实体的角度对本发明实施例中的多系统数据同步装置进行详细描述,下面从硬件处理的角度对本发明实施例中多系统数据同步设备进行详细描述。
图6是本发明实施例提供的一种多系统数据同步设备的结构示意图,该多系统数据同步设备600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)610(例如,一个或一个以上处理器)和存储器620,一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对多系统数据同步设备600中的一系列指令操作。更进一步地,处理器610可以设置为与存储介质630通信,在多系统数据同步设备600上执行存储介质630中的一系列指令操作。
多系统数据同步设备600还可以包括一个或一个以上电源640,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口660,和/或,一个或一个以上操作系统631,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图6示出的多系统数据同步设备结构并不构成对多系统数据同步设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种多系统数据同步设备,所述多系统数据同步设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述多系统数据同步方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述多系统数据同步方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多系统数据同步方法,其特征在于,所述多系统数据同步方法包括:
获取客户端发起的数据同步请求,并解析所述数据同步请求,得到请求数据同步的一个或多个业务节点信息;
将所述业务节点信息传入预置数据调配中心,并在所述数据调配中心查询与所述业务节点信息相关联的多个业务系统信息以及所述各业务系统信息对应业务系统的数据接收类型;
将所述业务节点信息、所述业务系统信息和所述业务系统对应的数据接收类型组装成请求同步数据的接口标识信息;
从预置数据库中调用与所述接口标识信息相关联的待同步数据,并将所述待同步数据传入所述数据调配中心;
基于所述数据接收类型,采用所述数据调配中心的封装节点对所述待同步数据进行封装;
采用异步线程,将封装后的待同步数据同步至对应的业务系统。
2.根据权利要求1所述的多系统数据同步方法,其特征在于,在所述获取客户端发起的数据同步请求之前,还包括:
接收客户端上传的注册信息并传入所述数据调配中心,其中,所述注册信息包括待注册业务节点信息、待注册业务系统信息和所述待注册业务系统信息对应待注册业务系统的数据接收类型;
根据所述待注册业务节点信息、所述待注册业务系统信息和所述待注册业务系统对应的数据接收类型,生成待注册业务节点中的关联信息。
3.根据权利要求2所述的多系统数据同步方法,其特征在于,所述在所述数据调配中心查询与所述业务节点信息相关联的多个业务系统信息以及所述各业务系统信息对应业务系统的数据接收类型包括:
在所述数据调配中心中匹配所述业务节点信息对应的业务节点,并获取业务节点中的关联信息;
解析所述关联信息,得到与所述业务节点信息相关联的业务系统信息以及所述各业务系统对应的数据接收类型。
4.根据权利要求1所述的多系统数据同步方法,其特征在于,所述数据调配中心还包括过滤节点、检查节点、修改节点,在所述基于所述数据接收类型,采用所述数据调配中心的封装节点对所述待同步数据进行封装之前,还包括:
采用所述过滤节点对所述待同步数据进行清洗,并采用所述检查节点提取所述清洗后的待同步数据中的检查点标识;
根据所述检查点标识,采用所述修改节点,按照预设修改规则对所述待同步数据进行修改;
将修改后的待同步数据转发至所述数据调配中心的封装节点。
5.根据权利要求1-4中任一项所述的多系统数据同步方法,其特征在于,所述采用异步线程,将封装后的待同步数据同步至对应的业务系统包括:
将封装后的待同步数据存放到全局缓冲队列中,并采用预置线程池中的主线程从所述全局缓冲队列中逐个取出待同步数据;
查询所述线程池中是否存在空闲子线程,若存在空闲子线程,则将取出的待同步数据随机分发给空闲子线程的缓冲子队列中;
若不存在空闲子线程,则根据线程池中工作子线程的数据处理量,将取出的待同步数据分发给数据处理量最少的工作子线程的缓冲子队列中;
通过所述空闲子线程或所述工作子线程,从所述缓冲子队列中取出待同步数据并同步至对应的业务系统。
6.根据权利要求5所述的多系统数据同步方法,其特征在于,在所述采用异步线程,将封装后的待同步数据同步至对应的业务系统之后,还包括:
判断所述待同步数据同步至对应的业务系统的过程中是否发生异常;
若发生异常,则返回当前空闲子线程或当前工作子线程的堆栈信息,并将所述堆栈信息封装成异常文件并返回至当前空闲子线程或当前工作子线程对应的缓冲子队列中;
在预置计时周期后,通过当前空闲子线程或当前工作子线程,重新将所述异常文件同步至对应的业务系统;
若未成功将所述异常文件同步至对应的业务系统,则循环执行所述在预置计时周期后,通过当前空闲子线程或当前工作子线程,重新将所述异常文件同步至对应的业务系统的步骤,直到成功将所述异常文件同步至对应的业务系统或者同步预置次数后停止,生成异常文件处理报告并返回至客户端。
7.一种多系统数据同步装置,其特征在于,所述多系统数据同步装置包括:
解析模块,用于获取客户端发起的数据同步请求,并解析所述数据同步请求,得到请求数据同步的一个或多个业务节点信息;
查询模块,用于将所述业务节点信息传入预置数据调配中心,并在所述数据调配中心查询与所述业务节点信息相关联的多个业务系统信息以及所述各业务系统信息对应业务系统的数据接收类型;
组装模块,用于将所述业务节点信息、所述业务系统信息和所述业务系统对应的数据接收类型组装成请求同步数据的接口标识信息;
调用模块,用于从预置数据库中调用与所述接口标识信息相关联的待同步数据,并将所述待同步数据传入所述数据调配中心;
封装模块,用于基于所述数据接收类型,采用所述数据调配中心的封装节点对所述待同步数据进行封装;
同步模块,用于采用异步线程,将封装后的待同步数据同步至对应的业务系统。
8.根据权利要求7所述的多系统数据同步装置,其特征在于,所述多系统数据同步装置还包括注册模块,所述注册模块用于:
接收客户端上传的注册信息并传入所述数据调配中心,其中,所述注册信息包括待注册业务节点信息、待注册业务系统信息和所述待注册业务系统信息对应待注册业务系统的数据接收类型;
根据所述待注册业务节点信息、所述待注册业务系统信息和所述待注册业务系统对应的数据接收类型,生成待注册业务节点中的关联信息。
9.一种多系统数据同步设备,其特征在于,所述多系统数据同步设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述多系统数据同步设备执行如权利要求1-6中任一项所述的多系统数据同步方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的多系统数据同步方法。
CN202110209515.2A 2021-02-25 2021-02-25 多系统数据同步方法、装置、设备及存储介质 Pending CN112818064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110209515.2A CN112818064A (zh) 2021-02-25 2021-02-25 多系统数据同步方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110209515.2A CN112818064A (zh) 2021-02-25 2021-02-25 多系统数据同步方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112818064A true CN112818064A (zh) 2021-05-18

Family

ID=75865647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110209515.2A Pending CN112818064A (zh) 2021-02-25 2021-02-25 多系统数据同步方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112818064A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259470A (zh) * 2021-06-03 2021-08-13 长视科技股份有限公司 一种数据同步的方法及数据同步系统
CN113296960A (zh) * 2021-06-29 2021-08-24 中国平安人寿保险股份有限公司 数据准实时分发方法、装置、设备及存储介质
CN113641740A (zh) * 2021-07-30 2021-11-12 中国平安人寿保险股份有限公司 基于多系统的数据处理方法、装置、设备和存储介质
CN114328720A (zh) * 2021-11-30 2022-04-12 苏州浪潮智能科技有限公司 OpenStack平台的数据同步方法、装置及设备
CN113641740B (zh) * 2021-07-30 2024-09-10 中国平安人寿保险股份有限公司 基于多系统的数据处理方法、装置、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003084136A1 (en) * 2002-03-27 2003-10-09 Good Technology, Inc. Selectively routing data through a path based on connectivity conditions and parameters
CN109460912A (zh) * 2018-10-31 2019-03-12 泰康保险集团股份有限公司 数据处理方法、装置、存储介质及电子设备
CN109815013A (zh) * 2019-01-02 2019-05-28 深圳壹账通智能科技有限公司 业务数据处理方法、装置、计算机设备和存储介质
CN110351342A (zh) * 2019-06-20 2019-10-18 平安科技(深圳)有限公司 业务指令处理方法、装置、计算机设备和存储介质
CN111090699A (zh) * 2019-12-13 2020-05-01 北京奇艺世纪科技有限公司 业务数据的同步方法和装置、存储介质、电子装置
WO2020253634A1 (zh) * 2019-06-21 2020-12-24 深圳前海微众银行股份有限公司 一种数据处理方法、系统及装置
CN112367363A (zh) * 2020-10-23 2021-02-12 深圳前海微众银行股份有限公司 一种信息共享方法、装置、服务器及存储介质
CN112380473A (zh) * 2020-11-16 2021-02-19 康键信息技术(深圳)有限公司 数据采集与同步方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003084136A1 (en) * 2002-03-27 2003-10-09 Good Technology, Inc. Selectively routing data through a path based on connectivity conditions and parameters
CN109460912A (zh) * 2018-10-31 2019-03-12 泰康保险集团股份有限公司 数据处理方法、装置、存储介质及电子设备
CN109815013A (zh) * 2019-01-02 2019-05-28 深圳壹账通智能科技有限公司 业务数据处理方法、装置、计算机设备和存储介质
CN110351342A (zh) * 2019-06-20 2019-10-18 平安科技(深圳)有限公司 业务指令处理方法、装置、计算机设备和存储介质
WO2020253634A1 (zh) * 2019-06-21 2020-12-24 深圳前海微众银行股份有限公司 一种数据处理方法、系统及装置
CN111090699A (zh) * 2019-12-13 2020-05-01 北京奇艺世纪科技有限公司 业务数据的同步方法和装置、存储介质、电子装置
CN112367363A (zh) * 2020-10-23 2021-02-12 深圳前海微众银行股份有限公司 一种信息共享方法、装置、服务器及存储介质
CN112380473A (zh) * 2020-11-16 2021-02-19 康键信息技术(深圳)有限公司 数据采集与同步方法、装置、设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259470A (zh) * 2021-06-03 2021-08-13 长视科技股份有限公司 一种数据同步的方法及数据同步系统
CN113259470B (zh) * 2021-06-03 2021-09-24 长视科技股份有限公司 一种数据同步的方法及数据同步系统
CN113296960A (zh) * 2021-06-29 2021-08-24 中国平安人寿保险股份有限公司 数据准实时分发方法、装置、设备及存储介质
CN113296960B (zh) * 2021-06-29 2023-02-03 中国平安人寿保险股份有限公司 数据准实时分发方法、装置、设备及存储介质
CN113641740A (zh) * 2021-07-30 2021-11-12 中国平安人寿保险股份有限公司 基于多系统的数据处理方法、装置、设备和存储介质
CN113641740B (zh) * 2021-07-30 2024-09-10 中国平安人寿保险股份有限公司 基于多系统的数据处理方法、装置、设备和存储介质
CN114328720A (zh) * 2021-11-30 2022-04-12 苏州浪潮智能科技有限公司 OpenStack平台的数据同步方法、装置及设备
CN114328720B (zh) * 2021-11-30 2024-01-19 苏州浪潮智能科技有限公司 OpenStack平台的数据同步方法、装置及设备

Similar Documents

Publication Publication Date Title
CN112818064A (zh) 多系统数据同步方法、装置、设备及存储介质
CN101202761B (zh) 一种分布式资源调度系统及其方法
CN112559285B (zh) 基于分布式服务架构的微服务监控方法及相关装置
CN104778042B (zh) 一种基于事件流处理和插件式开发框架的流数据处理方法
CN102880475A (zh) 计算机软件系统中基于云计算的实时事件处理系统及方法
CN108509392B (zh) 多机构对账方法、系统、计算机设备和存储介质
US20200327045A1 (en) Test System and Test Method
US20100088197A1 (en) Systems and methods for generating remote system inventory capable of differential update reports
CN112039701B (zh) 接口调用监控方法、装置、设备及存储介质
CN109923847A (zh) 调用链路的发现方法、装置、设备及存储介质
CN113676563B (zh) 内容分发网络服务的调度方法、装置、设备及存储介质
CN111698126B (zh) 信息监控方法、系统及计算机可读存储介质
CN102385582A (zh) 生产测试数据处理方法、服务器及系统
CN113284586B (zh) 医疗业务处理方法、装置、设备及存储介质
CN111740868B (zh) 告警数据的处理方法和装置及存储介质
CN107798037A (zh) 用户特征数据的获取方法及服务器
CN105205687A (zh) 一种海量数据采集的方法
US20230370285A1 (en) Block-chain-based data processing method, computer device, computer-readable storage medium
CN112559525B (zh) 数据检查系统、方法、装置和服务器
CN116974948B (zh) 业务系统测试方法、系统、设备和介质
CN117294763A (zh) 基于代理服务的终端请求信息转发的云桌面终端管理方法
CN110633191B (zh) 实时监控软件系统业务健康度的方法和系统
CN113761079A (zh) 数据访问方法、系统和存储介质
CN113129002A (zh) 一种数据处理方法以及设备
CN102594889B (zh) 一种基于数据召测的数据同步与分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination