CN106293948B - 数据同步、获取方法和装置 - Google Patents
数据同步、获取方法和装置 Download PDFInfo
- Publication number
- CN106293948B CN106293948B CN201610682454.0A CN201610682454A CN106293948B CN 106293948 B CN106293948 B CN 106293948B CN 201610682454 A CN201610682454 A CN 201610682454A CN 106293948 B CN106293948 B CN 106293948B
- Authority
- CN
- China
- Prior art keywords
- data
- subdata
- interface
- request
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据同步方法和装置,其中本发明数据同步方法包括:响应于第三方系统发送的数据同步请求,通过第一数据接口提取数据同步请求中的待同步的数据集合;通过第一数据接口将数据集合分割成设定数量的子数据集合,并对应子数据集合向第二数据接口发出子数据同步请求;通过第二数据接口响应于子数据同步请求进行子数据的同步,并将同步结果返回至第一数据接口。上述方法由于子数据相对于原始数据数据量成倍缩减,第二数据接口可快速响应于第一数据接口的访问并完成对子数据的处理,系统对子数据的处理时间之和远远小于对未分批的原始数据的处理时间,数据处理效率更高。本发明还涉及一种数据获取方法和装置。
Description
技术领域
本发明涉及计算机应用技术领域,特别是涉及一种数据同步、获取方法和装置。
背景技术
目前,越来越多的企业、商家向第三方开放其内部软件系统的应用程序编程接口(API),即,在不需要更改内部软件系统的源代码的基础上,使第三方能够使用内部系统资源或者增加内部系统功能。
传统技术中,软件系统提供的对外接口都是针对于具有业务数据的固化的接口,固定的参数。例如第三方系统需要同步客户数据,那么ERP就提供了一个SaveCustomer的接口,其参数是客户的数据包。上述的固化接口的接口访问效率有限,当第三方系统需要同步相对较大的客户数据时,如果部署的服务不足以支持第三方系统的数据同步接口的访问,很可能出现接口访问失败或者接口访问处理时间过长等问题,从而最终导致数据同步效率低或者数据同步失败。
发明内容
基于此,有必要针对上述问题,提供一种通过提高接口的访问效率提高数据处理效率的数据同步、获取方法和装置。
一种数据同步方法,所述方法包括:
响应于第三方系统发送的数据同步请求,通过第一数据接口提取所述数据同步请求中待同步的数据集合;
通过所述第一数据接口将所述数据集合分割成设定数量的子数据集合,并对应每个所述子数据集合向第二数据接口发出子数据同步请求;
通过所述第二数据接口响应于所述子数据同步请求进行所述子数据的同步,并将同步结果返回至所述第一数据接口;
通过所述第一数据接口对接收的所述同步结果进行汇总,并将所述汇总结果返回至所述第三方系统。
在一个实施例中,所述通过第一数据接口将所述数据集合分割成设定数量的子数据集合,并对应每个所述子数据集合向第二数据接口发出子数据同步请求的步骤包括:
通过所述第一数据接口将所述数据集合分割成设定数量的子数据集合;
通过所述第一数据接口对应每个所述子数据集合生成子数据同步请求,将生成的所述子数据同步请求以多线程并发的方式发送至第二数据接口。
在一个实施例中,所述通过第一数据接口对接收到的所述同步结果进行汇总,并将所述汇总结果返回至所述第三方系统的步骤为:通过所述第一数据接口获取接收到的所述同步结果的数量;当获取的所述数量与分割的所述子数据集合的数量相同时,对所述同步结果进行汇总,并将所述汇总结果返回至所述第三方系统。
一种数据获取方法,所述方法包括:
响应于第三方系统发送的数据获取请求,通过第一数据接口提取所述数据获取请求中待获取数据集合所包含的数据标识的数量信息;
通过所述第一数据接口根据提取的所述数量信息将所述待获取数据集合分成设定数量的子数据标识集合,并对应每个所述子数据标识集合向第二数据接口发出子数据获取请求;
通过所述第二数据接口响应于接收到的所述子数据获取请求进行所述子数据标识集合对应的子数据集合的调取,并将调取的所述子数据集合返回至所述第一数据接口;
通过所述第一数据接口对接收的所述子数据集合进行汇总,并将汇总后的数据返回至所述第三方系统。
在一个实施例中,所述通过第一数据接口根据提取的所述数量信息将所述待获取数据集合分成设定数量的子数据标识集合,并对应每个所述子数据标识集合向第二数据接口发出子数据获取请求的步骤为:
通过所述第一数据接口根据提取的所述数量信息将所述待获取数据集合分成设定数量的子数据标识集合;
通过所述第一数据接口对应每个所述子数据标识集合生成子数据获取请求,并将所述子数据获取请求以多线程并发的方式发送至第二数据接口。
一种数据同步装置,所述装置包括:
同步请求接收模块,用于响应于第三方系统发送的数据同步请求,通过第一数据接口提取所述数据同步请求中待同步的数据集合;
子数据同步请求模块,用于通过所述第一数据接口将所述数据集合分割成设定数量的子数据集合,并对应每个所述子数据集合向第二数据接口发出子数据同步请求;
子数据同步模块,用于通过所述第二数据接口响应于所述子数据同步请求进行所述子数据的同步,并将同步结果返回至所述第一数据接口;
同步结果汇总模块,用于通过所述第一数据接口对接收的所述同步结果进行汇总,并将所述汇总结果返回至所述第三方系统。
在一个实施例中,所述子数据同步请求模块包括:
数据分割模块,用于通过所述第一数据接口将所述数据集合分割成设定数量的子数据集合;
子数据请求并发模块,用于通过所述第一数据接口对应每个所述子数据集合生成子数据同步请求,并将生成的所述子数据同步请求以多线程并发的方式发送至第二数据接口。
在一个实施例中,所述同步结果汇总模块还用于通过所述第一数据接口获取接收到的所述同步结果的数量;当获取的所述数量与分割的所述子数据集合的数量相同时,对所述同步结果进行汇总,并将所述汇总结果返回至所述第三方系统。
一种数据获取装置,所述装置包括:
数据请求接收模块,用于响应于第三方系统发送的数据获取请求,通过第一数据接口提取所述数据获取请求中的待获取数据集合所包含的数据标识的数量信息;
子数据获取请求模块,用于通过所述第一数据接口根据提取的所述数量信息将所述待获取数据集合分成设定数量的子数据标识集合,并对应每个所述子数据标识集合向第二数据接口发出子数据获取请求;
子数据获取模块,用于通过所述第二数据接口响应于接收到的所述子数据获取请求进行所述子数据标识集合对应的子数据集合的调取,并将调取的所述子数据集合返回至所述第一数据接口;
数据汇总模块,用于通过所述第一数据接口对接收的所述子数据集合进行汇总,并将汇总后的数据返回至所述第三方系统。
在一个实施例中,所述子数据获取请求模块还用于通过所述第一数据接口根据所述提取的数量信息将所述待获取数据集合分成设定数量的子数据标识集合,对应每个所述子数据标识集合生成子数据获取请求,并将所述子数据获取请求以多线程并发的方式发送至第二数据接口。
上述数据同步方法和装置以及数据获取方法和装置,设置两层数据接口,一层接口供外部访问(也就是第一数据接口),一层接口供内部访问(也就是第二数据接口)。第一数据接口接收外部请求,并将请求的数据进行分批处理,即将数量较大的数据分割成数据相对较小的多批子数据,并以子数据的形式进行第二数据接口的访问,由于子数据相对于原始数据数据量成倍缩减,对系统性能要求相对较低,因此,第二数据接口可快速响应于第一数据接口的访问,并完成对子数据的处理,系统对所述子数据的处理时间之和远远小于对未分批的原始数据的处理时间,数据处理效率更高。
附图说明
图1为一个实施例中数据同步方法和数据获取方法的应用环境图;
图2为一个实施例中数据同步方法的流程图;
图3为一个实施例中数据获取方法的流程图;
图4为一个实施例中数据同步方法的结构框图;
图5为一个实施例中子数据同步请求模块的结构框图;
图6为一个实施例中数据获取方法的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,在一个实施例中,提供了一种数据同步方法和数据获取方法运行的应用环境图,该应用环境图包括内部服务系统110、内部服务系统提供的内部访问接口120和外部访问接口130以及第三方系统140,其中,第三方系统140可访问外部访问接口130,外部访问接口130可向内部访问接口120发出访问请求,内部访问接口120响应于外部访问接口130发出的访问请求向内部服务系统110请求服务。
在一个实施例中,如图2所示,提供了一种数据同步方法,该方法以应用在如图1所示的内部服务系统110中进行举例说明,包括如下步骤:
步骤S202:响应于第三方系统发送的数据同步请求,通过第一数据接口提取数据同步请求中待同步的数据集合。
在一个实施例中,第三方系统在接收到终端发出的数据同步指令时,向外发出数据同步请求。在另一个实施例中,第三方系统定期向外部发出数据同步请求,以使外部系统定期同步数据,这里所说的第三方系统的外部系统即为上述的内部服务系统。
具体的,第三方系统通过访问内部服务系统的外部访问接口(也就是第一数据接口)向内部服务系统发送数据同步请求,外部访问接口响应于第三方系统的数据同步请求,提取该数据同步请求携带的待同步的数据集合,这里的待同步的数据集合包括待同步数据集合的业务类型、包括数据的数量以及每个数据的数据信息。
步骤S204:通过第一数据接口将数据集合分割成设定数量的子数据集合,并对应每个子数据集合向第二数据接口发出子数据同步请求。
具体的,外部访问接口的接口定义参数中包含批处理参数(BatchCount),该批处理参数用于定义待同步数据分割的份数,该批处理参数的设定可根据内部系统的服务器硬件资源以及请求的同步数据本体的复杂度进行适时调整。
外部访问接口根据批处理参数将待同步的数据集合分割成该参数所指定数量的子数据集合。例如,待同步的数据集合包括1000条待同步数据,批处理参数为20,则外部访问接口将1000条待同步数据分割成20份包括50条待同步数据的子数据集合。外部访问接口对应每个子数据集合生成子数据同步请求,并将生成的子数据同步请求发送至第二数据接口,也就是外部访问接口以子数据集合的形式访问内部访问接口。
步骤S206:通过第二数据接口响应于子数据同步请求进行子数据的同步,并将同步结果返回至第一数据接口。
具体的,内部访问接口(第二数据接口)接收外部访问接口发出的子数据同步请求,为外部访问接口提供子数据同步服务,将子数据集合同步至内部服务系统中。同步服务完成后将同步结果返回至外部访问接口。
本实施例中,外部访问接口对内部访问接口的访问是用于同步子数据集合,由于子数据集合是经分割后的较小的数据集合,内部服务系统的内部访问接口可快速进行子数据集合的同步,并将同步结果返回至外部访问接口。
步骤S208:通过第一数据接口对接收的同步结果进行汇总,并将汇总结果返回至第三方系统。
具体的,由于待同步的数据集合被分割成多个子数据集合,因此,内部访问接口返回的是对子数据集合的同步结果,外部访问接口需要对返回的多个子数据集合的同步结果进行汇总分析,并将汇总分析得到的汇总结果返回给第三方系统。
其中,外部访问接口执行的汇总分析可如下所述:被拆分的每个子数据集合均具有唯一的子数据集合标识,如,子数据集合标识为“1”、“2”、“3”,依以此类推,对应上述的子数据集合标识,内部访问接口返回的子数据集合的同步结果可以为“1=True”或者“1=False”、“2=True”或者“2=False”、“3=True”或者“3=False”,依此类推。
当外部访问接口接收到的所有的子数据集合的同步结果均为True时,外部访问接口向第三方系统返回汇总结果为“数据同步成功”;当外部访问接口接收到的子数据集合的同步结果不全部为True时,外部访问接口向第三方系统返回汇总结果为“数据同步失败”。
本实施例中,内部服务系统响应于第三方系统的一个数据同步请求,即可完成对请求中待同步的大数据量进行同步,无需第三方应用发出多个接口访问请求,也无需架设多个服务器去支持该大数据量的同步。
本实施例中,设置两层数据接口,一层接口供外部访问(也就是第一数据接口),一层接口供内部调用(也就是第二数据接口)。第一数据接口接收外部请求,并将请求的数据进行分批处理,即将数量较大的数据分割成数据量相对较小的多批子数据,并以子数据的形式进行第二数据接口的访问,由于子数据相对于原始数据数据量成倍缩减,对系统性能要求相对较低,因此,第二数据接口可快速响应于第一数据接口的访问,并完成对子数据的处理,系统对子数据的处理时间之和远远小于对未分批的原始数据的处理时间,数据处理效率更高。
举例来说,待同步的数据集合包括1000条待同步数据,批处理参数为20,则外部访问接口将1000条待同步数据分割成20份包括50条待同步数据的子数据集合。内部访问接口响应具有1000条待同步数据的数据集合的同步请求的时间可能需要10s,而内部访问接口响应具有50条待同步数据的子数据集合的同步请求的时间可能只需要0.1s,响应上述20批子数据集合的时间也仅为2秒,响应速度提高数倍。需要说明的是,上述例子只用于说明本实施例的分批处理数据的方案数据处理速度更快,但并不仅限于提高上述倍数,具体提高的倍数依具体的情况各不相同。
在一个实施例中,步骤S204:通过第一数据接口将数据集合分割成设定数量的子数据集合,并对应每个子数据集合向第二数据接口发出子数据同步请求包括:
第一数据接口将数据集合分割成设定数量的子数据集合;第一数据接口对应每个子数据集合生成子数据同步请求,并将生成的子数据同步请求以多线程并发的方式发送至第二数据接口。
本实施例中,采用多线程并发的方式进行访问第二数据接口,线程数量依据分割的子数据集合的数量而定。采用多线程并发的方式进行子数据集合的同步处理,有效地提高了第二数据接口的执行效率。
在一个实施例中,步骤S208:通过第一数据接口对接收到的同步结果进行汇总,并将汇总结果返回至第三方系统为:第一数据接口获取接收到的同步结果的数量;当获取的数量与分割的子数据集合的数量相同时,对同步结果进行汇总,并将汇总结果返回至第三方系统。
具体的,外部访问接口实时监测接收到的内部访问接口返回的同步结果的数量,当监测到的数量与子数据集合的数量相同时,则说明内部访问接口已经完成所有子数据集合线程的处理,待内部访问接口完成所有子数据集合的同步处理后,外部访问接口才启动对所有同步结果的汇总分析。
本实施例中,外部访问接口对返回的同步结果的数量进行监控,能够有效监控内部访问接口是否有漏处理子数据集合,保证了数据同步的可靠性以及向第三方系统返回的汇总结果的准确性。
在一个实施例中,当在设定时间内监测到的同步结果的数量小于分割的子数据集合的数量时,获取没有返回同步结果的子数据集合标识,并生成该子数据集合标识对应的子数据同步请求,重新访问内部访问接口以进行该子数据集合标识对应的子数据集合的同步处理。
本实施例中,外部访问接口可根据监测到的漏处理的子数据集合向内部访问接口重新发起同步请求,提高了数据同步的成功率。
在一个实施例中,如图3所示,提供了一种数据获取方法,该方法以应用在如图1所示的内部服务系统中进行举例说明,包括如下步骤:
步骤S302:响应于第三方系统发送的数据获取请求,通过第一数据接口提取数据获取请求中待获取数据集合所包含的数据标识的数量信息。
具体的,外部访问接口接收第三方系统发送的数据获取请求,该数据获取请求中携带待获取数据标识的集合,并计算获取的待获取数据标识的集合中所包含的数据标识的数量。
步骤S304:通过第一数据接口根据提取的数量信息将待获取数据集合分成设定数量的子数据标识集合,并对应每个子数据标识集合向第二数据接口发出子数据获取请求。
外部访问接口根据批处理参数将待获取数据集合所包含的数据标识分割成该参数所指定数量的子数据标识集合。例如,待获取的数据集合中包括1000个待获取数据标识,批处理参数为20,则外部访问接口将1000个待获取数据标识集合分割成20份包括50个待获取数据的子数据标识集合。外部访问接口对应每个子数据标识集合生成子数据获取请求,并将生成的子数据获取请求发送至第二数据接口。
步骤S306:通过第二数据接口响应于接收到的子数据获取请求进行子数据标识集合对应的子数据集合的调取,并将调取的子数据集合返回至第一数据接口。
具体的,内部访问接口接收外部访问接口发出的子数据获取请求,并为外部访问接口提供子数据集合获取服务,进而将获取的子数据集合返回给外部访问接口。
本实施例中,外部访问接口对内部访问接口的访问是用于对子数据集合进行获取,由于子数据集合为较小的数据集合,内部服务系统的内部访问接口可快速进行子数据集合的获取,并将获取结果返回至外部访问接口。
步骤S308:通过第一数据接口对接收的子数据集合进行汇总,并将汇总后的数据返回至第三方系统。
具体的,外部访问接口对接收的子数据集合进行汇总,汇总生成待获取的数据集合,并将该数据集合返回至第三方系统。
本实施例中,设置两层数据接口,一层接口供外部访问(也就是第一数据接口),一层接口供内部访问(也就是第二数据接口)。外部访问接口将数据获取请求分割成多个子数据集合的获取请求,内部访问接口无需同时对要获取的大数据进行一次调取,而是对分割后的小数据进行快速调取,一次调取的数据量大大缩减,系统对子数据的处理时间之和远远小于对未分批的原始数据的处理时间,数据处理效率更高。
在一个实施例中,步骤S406:通过第一数据接口根据提取的数量信息将待获取数据集合分成设定数量的子数据标识集合,并对应每个子数据标识集合向第二数据接口发出子数据获取请求的步骤为:
第一数据接口根据提取的数量信息将待获取数据集合分成设定数量的子数据标识集合;第一数据接口对应每个子数据标识集合生成子数据获取请求,并将子数据获取请求以多线程并发的方式发送至第二数据接口。
本实施例中,采用多线程并发的方式进行访问第二数据接口,线程数量依据分割的子数据标识集合的数量而定。采用多线程并发的方式进行子数据集合的调取,有效的提高了第二数据接口的执行效率。
在一个实施例中,如图4所示,提供了一种数据同步装置,装置包括:
同步请求接收模块402,用于响应于第三方系统发送的数据同步请求,通过第一数据接口提取数据同步请求中的待同步的数据集合。
子数据同步请求模块404,用于通过第一数据接口将数据集合分割成设定数量的子数据集合,并对应每个子数据集合向第二数据接口发出子数据同步请求。
子数据同步模块406,用于通过第二数据接口响应于子数据同步请求进行子数据的同步,并将同步结果返回至第一数据接口。
同步结果汇总模块408,用于通过第一数据接口对接收的同步结果进行汇总,并将汇总结果返回至第三方系统。
在一个实施例中,如图5所示,子数据同步请求模块404包括:
数据分割模块502,用于通过第一数据接口将数据集合分割成设定数量的子数据集合。
子数据并发请求模块504,用于通过第一数据接口对应每个子数据集合生成子数据同步请求将生成的子数据同步请求,并以多线程并发的方式发送至第二数据接口。
在一个实施例中,同步结果汇总模块408还用于通过第一数据接口获取接收到的同步结果的数量;当获取的数量与分割的子数据集合的数量相同时,对同步结果进行汇总,并将汇总结果返回至第三方系统。
在一个实施例中,如图6所示,提供了一种数据获取装置,该装置包括:
数据请求接收模块602,用于响应于第三方系统发送的数据获取请求,通过第一数据接口提取数据获取请求中的待获取数据集合所包含的数据标识的数量信息。
子数据获取请求模块604,用于是通过第一数据接口根据提取的数量信息将待获取数据集合分成设定数量的子数据标识集合,并对应子数据标识集合向第二数据接口发出子数据获取请求。
子数据获取模块606,用于通过第二数据接口响应于接收到的子数据获取请求进行子数据标识集合对应的子数据集合的调取,并将调取的子数据集合返回至第一数据接口。
数据汇总模块608,用于通过第一数据接口对接收的子数据集合进行汇总,并将汇总后的数据返回至第三方系统。
在一个实施例中,子数据获取请求模块604还用于通过第一数据接口根据提取的数量信息将待获取数据集合分成设定数量的子数据标识集合,对应每个子数据标识集合生成子数据获取请求,并将子数据获取请求以多线程并发的方式发送至第二数据接口。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一计算机可读取存储介质中,如本发明实施例中,该程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种数据同步方法,所述方法包括:
通过第一数据接口响应于第三方系统发送的数据同步请求,通过所述第一数据接口提取所述数据同步请求中待同步的数据集合;
通过所述第一数据接口将所述数据集合分割成设定数量的子数据集合,并对应每个所述子数据集合向第二数据接口发出子数据同步请求;
通过所述第二数据接口响应于所述子数据同步请求进行所述子数据的同步,并将同步结果返回至所述第一数据接口;
通过所述第一数据接口对接收的所述同步结果进行汇总,并将汇总结果返回至所述第三方系统;
当在设定时间内监测到的所述同步结果的数量小于所述子数据集合的数量时,获取未返回同步结果的子数据集合标识,生成所述子数据集合标识对应的子数据同步请求,重新访问所述第二数据接口以进行所述子数据集合标识对应的子数据集合的同步处理。
2.根据权利要求1所述的方法,其特征在于,所述通过第一数据接口将所述数据集合分割成设定数量的子数据集合,并对应每个所述子数据集合向第二数据接口发出子数据同步请求的步骤包括:
通过所述第一数据接口将所述数据集合分割成设定数量的子数据集合;
通过所述第一数据接口对应每个所述子数据集合生成子数据同步请求,将生成的所述子数据同步请求以多线程并发的方式发送至第二数据接口。
3.根据权利要求1所述的方法,其特征在于,所述通过第一数据接口对接收到的所述同步结果进行汇总,并将汇总结果返回至所述第三方系统的步骤为:通过所述第一数据接口获取接收到的所述同步结果的数量;当获取的所述数量与分割的所述子数据集合的数量相同时,对所述同步结果进行汇总,并将汇总结果返回至所述第三方系统。
4.一种数据获取方法,所述方法包括:
通过第一数据接口响应于第三方系统发送的数据获取请求,通过所述第一数据接口提取所述数据获取请求中待获取数据集合所包含的数据标识的数量信息;
通过所述第一数据接口根据提取的所述数量信息以及批处理参数将所述待获取数据集合分成所述批处理参数中指定数量的子数据标识集合,并对应每个所述子数据标识集合向第二数据接口发出子数据获取请求;
通过所述第二数据接口响应于接收到的所述子数据获取请求进行所述子数据标识集合对应的子数据集合的调取,并将调取的所述子数据集合返回至所述第一数据接口;
通过所述第一数据接口对接收的所述子数据集合进行汇总,并将汇总后的数据返回至所述第三方系统。
5.权利要求4所述的方法,其特征在于,所述通过所述第一数据接口根据提取的所述数量信息以及批处理参数将所述待获取数据集合分成所述批处理参数中指定数量的子数据标识集合,并对应每个所述子数据标识集合向第二数据接口发出子数据获取请求的步骤为:
通过所述第一数据接口根据提取的所述数量信息以及批处理参数将所述待获取数据集合分成所述批处理参数中指定数量的子数据标识集合;
通过所述第一数据接口对应每个所述子数据标识集合生成子数据获取请求,并将所述子数据获取请求以多线程并发的方式发送至第二数据接口。
6.一种数据同步装置,其特征在于,所述装置包括:
同步请求接收模块,用于通过第一数据接口响应于第三方系统发送的数据同步请求,通过所述第一数据接口提取所述数据同步请求中待同步的数据集合;
子数据同步请求模块,用于通过所述第一数据接口将所述数据集合分割成设定数量的子数据集合,并对应每个所述子数据集合向第二数据接口发出子数据同步请求;
子数据同步模块,用于通过所述第二数据接口响应于所述子数据同步请求进行所述子数据的同步,并将同步结果返回至所述第一数据接口;
同步结果汇总模块,用于通过所述第一数据接口对接收的所述同步结果进行汇总,并将汇总结果返回至所述第三方系统;
所述同步结果汇总模块还用于当在设定时间内监测到的所述同步结果的数量小于所述子数据集合的数量时,获取未返回同步结果的子数据集合标识;
所述子数据同步请求模块还用于生成所述子数据集合标识对应的子数据同步请求,重新访问所述第二数据接口以进行所述子数据集合标识对应的子数据集合的同步处理。
7.根据权利要求6所述的装置,其特征在于,所述子数据同步请求模块包括:
数据分割模块,用于通过所述第一数据接口将所述数据集合分割成设定数量的子数据集合;
子数据请求并发模块,用于通过所述第一数据接口对应每个所述子数据集合生成子数据同步请求,并将生成的所述子数据同步请求以多线程并发的方式发送至第二数据接口。
8.根据权利要求6所述的装置,其特征在于,所述同步结果汇总模块还用于通过所述第一数据接口获取接收到的所述同步结果的数量;当获取的所述数量与分割的所述子数据集合的数量相同时,对所述同步结果进行汇总,并将汇总结果返回至所述第三方系统。
9.一种数据获取装置,其特征在于,所述装置包括:
数据请求接收模块,用于通过第一数据接口响应于第三方系统发送的数据获取请求,通过所述第一数据接口提取所述数据获取请求中的待获取数据集合所包含的数据标识的数量信息;
子数据获取请求模块,用于通过所述第一数据接口根据提取的所述数量信息以及批处理参数将所述待获取数据集合分成所述批处理参数中指定数量的子数据标识集合,并对应每个所述子数据标识集合向第二数据接口发出子数据获取请求;
子数据获取模块,用于通过所述第二数据接口响应于接收到的所述子数据获取请求进行所述子数据标识集合对应的子数据集合的调取,并将调取的所述子数据集合返回至所述第一数据接口;
数据汇总模块,用于通过所述第一数据接口对接收的所述子数据集合进行汇总,并将汇总后的数据返回至所述第三方系统。
10.权利要求9所述的装置,其特征在于,所述子数据获取请求模块还用于通过所述第一数据接口根据所述提取的数量信息以及批处理参数将所述待获取数据集合分成所述批处理参数中指定数量的子数据标识集合,对应每个所述子数据标识集合生成子数据获取请求,并将所述子数据获取请求以多线程并发的方式发送至第二数据接口。
11.一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610682454.0A CN106293948B (zh) | 2016-08-17 | 2016-08-17 | 数据同步、获取方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610682454.0A CN106293948B (zh) | 2016-08-17 | 2016-08-17 | 数据同步、获取方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106293948A CN106293948A (zh) | 2017-01-04 |
CN106293948B true CN106293948B (zh) | 2019-11-05 |
Family
ID=57678889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610682454.0A Active CN106293948B (zh) | 2016-08-17 | 2016-08-17 | 数据同步、获取方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106293948B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110377654B (zh) * | 2019-07-19 | 2022-05-17 | 北京字节跳动网络技术有限公司 | 数据请求的处理方法、装置、电子设备及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096685A (zh) * | 2009-12-11 | 2011-06-15 | 阿里巴巴集团控股有限公司 | 分布式数据同步到数据仓库的方法及装置 |
CN102737065A (zh) * | 2011-04-15 | 2012-10-17 | 腾讯科技(深圳)有限公司 | 数据的获取方法和装置 |
CN105338093A (zh) * | 2015-11-16 | 2016-02-17 | 中国建设银行股份有限公司 | 一种数据同步方法和系统 |
CN105389312A (zh) * | 2014-09-04 | 2016-03-09 | 上海福网信息科技有限公司 | 大数据迁移方法及工具 |
-
2016
- 2016-08-17 CN CN201610682454.0A patent/CN106293948B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096685A (zh) * | 2009-12-11 | 2011-06-15 | 阿里巴巴集团控股有限公司 | 分布式数据同步到数据仓库的方法及装置 |
CN102737065A (zh) * | 2011-04-15 | 2012-10-17 | 腾讯科技(深圳)有限公司 | 数据的获取方法和装置 |
CN105389312A (zh) * | 2014-09-04 | 2016-03-09 | 上海福网信息科技有限公司 | 大数据迁移方法及工具 |
CN105338093A (zh) * | 2015-11-16 | 2016-02-17 | 中国建设银行股份有限公司 | 一种数据同步方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106293948A (zh) | 2017-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10572285B2 (en) | Method and apparatus for elastically scaling virtual machine cluster | |
CN104376127B (zh) | 一种数据操作方法及装置 | |
CN113010818A (zh) | 访问限流方法、装置、电子设备及存储介质 | |
US11146641B2 (en) | Internet of things information system | |
CN106302618A (zh) | 远程控制方法、远程服务器、管理设备和终端 | |
US9680719B2 (en) | Communication system, client terminal, and server | |
CN105208058A (zh) | 基于web会话共享的信息交互系统 | |
CN111935663B (zh) | 传感器数据流的处理方法、装置、介质及电子设备 | |
CN114138499B (zh) | Gpu资源利用率的监控方法、装置、计算机设备及介质 | |
CN106161644A (zh) | 数据处理的分布式系统及其数据处理方法 | |
CN116304390B (zh) | 时序数据处理方法、装置、存储介质及电子设备 | |
CN107040576A (zh) | 信息推送方法及装置、通讯系统 | |
CN109508273A (zh) | 一种基于Web的电动汽车充电站监控系统及数据获取方法 | |
CN106412513A (zh) | 视频处理系统及处理方法 | |
CN106293948B (zh) | 数据同步、获取方法和装置 | |
CN110245014A (zh) | 数据处理方法和装置 | |
CN115118475A (zh) | 密码设备集群调度方法、装置、设备及介质 | |
US9430301B2 (en) | Distributed system for downloading internet information and a method thereof | |
CN110232136A (zh) | 一种基于云计算的大数据处理系统 | |
JP6243906B2 (ja) | モバイルデバイス内で複数の候補アプリケーションのための通信接続を提供するための方法及びデバイス | |
CN106331024A (zh) | 访问云数据的方法及装置 | |
CN107249050A (zh) | 云平台中资源的管理方法和装置 | |
JP2015528260A5 (zh) | ||
CN115866035B (zh) | 多线程数据高速推送方法、系统、控制器及存储介质 | |
CN117009283A (zh) | 一种多核多芯片数据处理方法、装置、芯片及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |