CN107094167B - 一种数据转存方法及装置 - Google Patents
一种数据转存方法及装置 Download PDFInfo
- Publication number
- CN107094167B CN107094167B CN201611239010.6A CN201611239010A CN107094167B CN 107094167 B CN107094167 B CN 107094167B CN 201611239010 A CN201611239010 A CN 201611239010A CN 107094167 B CN107094167 B CN 107094167B
- Authority
- CN
- China
- Prior art keywords
- data
- instruction
- server
- storage
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/563—Data redirection of data network streams
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明实施例提供一种数据转存方法及装置,涉及计算机应用技术领域。其中,上述方法包括:向至少两个数据源服务器发送数据采集指令;接收基于所述目标数据的完成采集指令;向数据存储服务器发送数据存储指令。控制服务器通过同时向至少两个数据源服务器发送数据采集指令,以使得至少两个数据源服务器可以同时将采集到的目标数据发送给数据中转服务器,从而提高控制服务器采集数据的效率。而且,至少两个数据源服务器会将采集到的目标数据发送给数据中转服务器,数据存储服务器会直接在数据中转服务器中获取目标数据,所以在数据传输过程中,控制服务器不会因承载较大的目标数据而出现故障,从而提高了控制服务器的可靠性。
Description
技术领域
本发明实施例涉及计算机应用技术领域,更具体的说,涉及数据转存方法及装置。
背景技术
目前,在大数据的环境下,经常需要利用控制服务器在数据源服务器中采集目标数据,然后将目标数据转存至控制服务器中,最后再将控制服务器中的目标数据转发至数据存储服务器中。
在控制服务器采集目标数据的过程中,采用的是串行采集方式。假设存在三个数据源服务器,在第一数据源服务器采集到第一数据后,第二数据源服务器才能开始采集第二数据,在第二数据源服务器采集到第二数据后,第三数据源服务器才能开始采集第三数据,所以这种串行采集方式非常浪费时间。随着需要采集的数据服务器的增多,浪费的时间也会随之增多,所以当前的串行采集方式会使得控制服务器采集数据的效率低。另外,如果控制服务器需要采集的数据量较大时,那么控制服务器承载的压力就会变大,从而使得控制服务器更容易出现故障,最后导致控制服务器无法执行后续的操作。
发明内容
本发明实施例提供一种数据转存方法及装置,以提高采集数据的效率,并减小控制服务器的承载压力。
根据本发明实施例的第一方面,提供一种数据转存方法,包括:
向至少两个数据源服务器发送数据采集指令,数据采集指令用于指示至少两个数据源服务器将采集到的目标数据发送给数据中转服务器;
接收基于目标数据的完成采集指令,完成采集指令用于说明至少两个数据源服务器已经将目标数据发送给数据中转服务器;
向数据存储服务器发送数据存储指令,数据存储指令用于指示数据存储服务器在数据中转服务器中获取目标数据。
可选的,接收基于目标数据的完成采集指令的步骤包括:
接收指令存储服务器发送的基于目标数据的完成采集指令,完成采集指令为至少两个数据源服务器预先发送给指令存储服务器。
可选的,向至少两个数据源服务器发送数据采集指令之后,方法还包括:
将数据采集指令发送给指令存储服务器;
向数据存储服务器发送数据存储指令之后,方法还包括:
将数据存储指令发送给指令存储服务器。
可选的,向数据存储服务器发送数据存储指令之后,方法还包括:
接收指令存储服务器发送的基于目标数据的完成存储指令,完成存储指令为数据存储服务器预先发送给指令存储服务器,完成存储指令用于说明数据存储服务器已经在数据中转服务器中成功获取目标数据。
可选的,方法还包括:
定时检测控制服务器的运行状态;
在控制服务器的运行状态为故障状态时,向备用服务器发送更换指令,更换指令用于指示备用服务器根据指令存储服务器中存储的指令来接替控制服务器的工作。
根据本发明实施例的第二方面,提供一种数据转存装置,装置包括:
第一发送模块,用于向至少两个数据源服务器发送数据采集指令,数据采集指令用于指示至少两个数据源服务器将采集到的目标数据发送给数据中转服务器;
第一接收模块,用于接收基于目标数据的完成采集指令,完成采集指令用于说明至少两个数据源服务器已经将目标数据发送给数据中转服务器;
第二发送模块,用于向数据存储服务器发送数据存储指令,数据存储指令用于指示数据存储服务器在数据中转服务器中获取目标数据。
可选的,第一接收模块包括:
接收子模块,用于接收指令存储服务器发送的基于目标数据的完成采集指令,完成采集指令为至少两个数据源服务器预先发送给指令存储服务器。
可选的,装置还包括:
第三发送模块,用于将数据采集指令发送给指令存储服务器;
第四发送模块,用于将数据存储指令发送给指令存储服务器。
可选的,装置还包括:
第二接收模块,用于接收指令存储服务器发送的基于目标数据的完成存储指令,完成存储指令为数据存储服务器预先发送给指令存储服务器,完成存储指令用于说明数据存储服务器已经在数据中转服务器中成功获取目标数据。
可选的,装置还包括:
检测模块,用于定时检测控制服务器的运行状态;
第五发送模块,用于在控制服务器的运行状态为故障状态时,向备用服务器发送更换指令,更换指令用于指示备用服务器根据指令存储服务器中存储的指令来接替控制服务器的工作。
所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中,数据转存装置的结构中包括处理器和存储器,所述存储器用于存储支持应用软件的升级装置执行上述第一方面和第一方面中数据转存方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。所述数据转存装置还可以包括通信接口,用于数据转存装置与其他设备或通信网络通信。
第三方面,本发明实施例提供了一种计算机存储介质,用于储存数据转存装置所用的计算机软件指令,其包含用于执行上述第一方面中数据转存方法为数据转存装置所涉及的程序。
与现有技术相比,本实施例提供的技术方案具有以下优点和特点:
在本发明实施例提供的方案中,控制服务器通过同时向至少两个数据源服务器发送数据采集指令,以使得至少两个数据源服务器可以同时将采集到的目标数据发送给数据中转服务器,从而提高控制服务器采集数据的效率。而且,至少两个数据源服务器会将采集到的目标数据发送给数据中转服务器,数据存储服务器会直接在数据中转服务器中获取目标数据,所以在数据传输过程中,不需要控制服务器作为中转站来存储目标数据,所以控制服务器不会因承载较大的目标数据而出现故障,从而提高了控制服务器的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1所示的为本发明实施例提供的数据转存方法的数据走向示意图;
图2所示的为本发明实施例提供的一种数据转存方法的流程图;
图3所示的为本发明实施例提供的另一种数据转存方法的流程图;
图4所示的为本发明实施例提供的另一种数据转存方法的数据走向示意图;
图5为本发明实施例提供的一种数据转存装置的示意图;
图6所示的为本发明实施例提供的又一种数据转存装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了更清楚的介绍本发明实施例,在此需要先介绍本发明实施例涉及的应用场景和应用例。
请参见图1所示,图1所示的为本发明实施例提供的数据转存方法的数据走向示意图。结合图1所示,下面简要介绍本发明实施例提供的数据转存方法。
第一步,控制服务器101会同时向数据源服务器102、数据源服务器103和数据源服务器104发送数据采集指令。其中,该数据采集指令用于指示数据源服务器102、数据源服务器103和数据源服务器104将采集到的目标数据发送给数据中转服务器105。
第二步,控制服务器101接收数据源服务器102、数据源服务器103和数据源服务器104发送的基于目标数据的完成采集指令。其中,该完成采集指令用于说明数据源服务器102、数据源服务器103和数据源服务器104已经将目标数据发送给数据中转服务器105。
第三步,控制服务器101会向数据存储服务器106和数据存储服务器107发送数据存储指令。其中,该数据存储指令用于指示数据存储服务器106和数据存储服务器107在数据中转服务器105中获取目标数据。
通过图1所示的应用例可以得知,控制服务器101通过同时向数据源服务器102、数据源服务器103和数据源服务器104发送数据采集指令,以使得数据源服务器102、数据源服务器103和数据源服务器104可以同时将采集到的目标数据发送给数据中转服务器105,从而提高控制服务器101采集数据的效率。而且,数据源服务器102、数据源服务器103和数据源服务器104会将采集到的目标数据发送给数据中转服务器105,数据存储服务器106和数据存储服务器107会直接在数据中转服务器105中获取目标数据,所以在数据传输过程中,不需要控制服务器101作为中转站来存储目标数据,所以控制服务器101不会因承载较大的目标数据而出现故障,从而提高了控制服务器101的可靠性。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
图2所示的为本发明实施例提供的一种数据转存方法的流程图。图2所示的数据转存方法可以提高采集数据的效率,并减小控制服务器的承载压力。该方法包括以下步骤。
步骤S21、向至少两个数据源服务器发送数据采集指令。
其中,本发明实施例提供的方法可以应用于控制服务器内,控制服务器可以为电脑等设备。控制服务器用于发送和接收控制指令,以实现对整个流程的控制和协调。数据源服务器可以为电脑等设备,数据源服务器用于提供控制服务器所需的目标数据。
由于数据采集指令用于指示至少两个数据源服务器将采集到的目标数据发送给数据中转服务器,所以在控制服务器向至少两个数据源服务器发送数据采集指令以后,至少两个数据源服务器就会同时按照该数据采集指令来采集目标数据,至少两个数据源服务器会将采集到的目标数据同时发送至数据中转服务器,以提高采集目标数据的效率。
步骤S22、接收基于目标数据的完成采集指令。
其中,由于完成采集指令用于说明至少两个数据源服务器已经将目标数据发送给数据中转服务器,所以在控制服务器接收到至少两个数据源服务器发送的基于目标数据的完成采集指令时,说明至少两个数据源服务器已经将目标数据发送给数据中转服务器。
步骤S23、向数据存储服务器发送数据存储指令。
其中,在控制服务器接收基于目标数据的完成采集指令以后,控制服务器便会向数据存储服务器发送数据存储指令。由于数据存储指令用于指示数据存储服务器在数据中转服务器中获取目标数据,所以在数据存储服务器接收到该数据存储指令时,数据存储服务器便会在数据中转服务器中获取目标数据,从而减轻了控制服务器的承载压力。
在图2所示的实施例中,控制服务器通过同时向至少两个数据源服务器发送数据采集指令,以使得至少两个数据源服务器可以同时将采集到的目标数据发送给数据中转服务器,从而提高控制服务器采集数据的效率。而且,至少两个数据源服务器会将采集到的目标数据发送给数据中转服务器,数据存储服务器会直接在数据中转服务器中获取目标数据,所以在数据传输过程中,不需要控制服务器作为中转站来存储目标数据,所以控制服务器不会因承载较大的目标数据而出现故障,从而提高了控制服务器的可靠性。
请参见图3所示,图3所示的为本发明实施例提供的另一种数据转存方法的流程图。图3所示的实施例为基于图2改进的实施例,所以与图2相同的内容可参见图2所示的实施例。该方法包括以下步骤。
步骤S31、向至少两个数据源服务器发送数据采集指令,数据采集指令用于指示至少两个数据源服务器将采集到的目标数据发送给数据中转服务器。
步骤S32、将数据采集指令发送给指令存储服务器。
其中,指令存储服务器可以为单台服务器,指令存储服务器也可以为由多台服务器构成的服务器集群。在指令存储服务器为由多台服务器构成的服务器集群时,如果服务器集群中的某一台正常工作的服务器出现故障,那么其他的服务器便可以顶替出现故障的服务器,从而使得用于存储指令的指令存储服务器更加可靠。
在控制服务器向至少两个数据源服务器发送数据采集指令以后,控制服务器会将数据采集指令发送给指令存储服务器,以便于指令存储服务器能够记录当前处理状态。
在控制服务器出现故障时,备用服务器可以根据指令存储服务器记录的当前处理状态接替控制服务器的工作。
步骤S33、接收指令存储服务器发送的基于目标数据的完成采集指令,完成采集指令为至少两个数据源服务器预先发送给指令存储服务器。
其中,在至少两个数据源服务器将采集到的目标数据发送给数据中转服务器以后,至少两个数据源服务器会向指令存储服务器发送基于目标数据的完成采集指令,该完成采集指令用于说明至少两个数据源服务器已经将目标数据发送给数据中转服务器。
在指令存储服务器接收到至少两个数据源服务器发送的基于目标数据的完成采集指令以后,指令存储服务器会将基于目标数据的完成采集指令发送给控制服务器,以便于控制服务器根据该完成采集指令得知目标数据已经采集完成,从而继续执行后续的步骤。
步骤S34、向数据存储服务器发送数据存储指令,数据存储指令用于指示数据存储服务器在数据中转服务器中获取目标数据。
步骤S35、将数据存储指令发送给指令存储服务器。
其中,在控制服务器向数据存储服务器发送数据存储指令以后,控制服务器还要将数据存储指令发送给指令存储服务器,以便于指令存储服务器能够记录当前处理状态。
在控制服务器出现故障时,备用服务器可以根据指令存储服务器记录的当前处理状态接替控制服务器的工作。
步骤S36、接收指令存储服务器发送的基于目标数据的完成存储指令,完成存储指令为数据存储服务器预先发送给指令存储服务器,完成存储指令用于说明数据存储服务器已经在数据中转服务器中成功获取目标数据。
其中,在数据存储服务器在数据中转服务器中成功获取目标数据以后,数据存储服务器会向指令存储服务器发送完成存储指令。在指令存储服务器接收到数据存储服务器发送的完成存储指令以后,指令存储服务器会向控制服务器发送基于目标数据的完成存储指令。
在控制服务器接收指令存储服务器发送的基于目标数据的完成存储指令以后,控制服务器便可以得知本次数据采集和转存工作已经完成。
步骤S37、定时检测控制服务器的运行状态。
步骤S38、在控制服务器的运行状态为故障状态时,向备用服务器发送更换指令,更换指令用于指示备用服务器根据指令存储服务器中存储的指令来接替控制服务器的工作。
其中,控制服务器需要定时检测控制服务器自身的运行状态,在控制服务器检测出当前的运行状态为故障状态时,控制服务器会向备用服务器发送更换指令,以指示备用服务器根据指令存储服务器中存储的指令来接替控制服务器的工作。
例如,假设控制服务器在将数据采集指令发送给指令存储服务器以后出现故障,控制服务器会向备用服务器发送更换指令。在备用服务器接收到该更换指令以后,备用服务器在指令存储服务器中查询当前处理状态。由于指令存储服务器存储的当前处理状态为数据采集指令,且数据采集指令用于指示至少两个数据源服务器将采集到的目标数据发送给数据中转服务器,所以备用服务器在得知指令存储服务器中存储的当前处理状态为数据采集指令时,备用服务器便会等待指令存储服务器发送的基于目标数据的完成采集指令,从而使得备用服务器可以准确的接替控制服务器的工作。
在图3所示的实施例中,本发明实施例提供的方案可以在控制服务器出现故障时,备用服务器能够无缝的对接控制服务器当前正在处理的工作。
为了更好的说明图3所示的方法,下面通过实际的应用例来说明图3所示的方法。
请参见图4所示,图4所示的为本发明实施例提供的另一种数据转存方法的数据走向示意图。结合图4所示,下面简要介绍本发明实施例提供的数据转存方法。
第一步、控制服务器401向数据源服务器404、数据源服务器405和数据源服务器406发送数据采集指令,并将数据采集指令发送给指令存储服务器403。
第二步,数据源服务器404根据数据采集指令采集到第一数据,数据源服务器405根据数据采集指令采集到第二数据,数据源服务器406根据数据采集指令采集到第三数据。数据源服务器404、数据源服务器405和数据源服务器406分别将采集到第一数据、第二数据和第三数据发送给数据中转服务器407,数据源服务器404、数据源服务器405和数据源服务器406再分别并向指令存储服务器403发送完成采集指令。
第三步,在指令存储服务器403接收到数据源服务器404、数据源服务器405和数据源服务器406发送的完成采集指令时,指令存储服务器403会向控制服务器401发送基于第一数据、第二数据和第三数据的完成采集指令。
第四步,在控制服务器401接收指令存储服务器403发送的基于第一数据、第二数据和第三数据的完成采集指令时,控制服务器401会向数据存储服务器408和数据存储服务器409发送数据存储指令,并向数据存储服务器403发送数据存储指令。
第五步,在数据存储服务器408和数据存储服务器409接收到控制服务器401发送的数据存储指令时,数据存储服务器408和数据存储服务器409会分别在数据中转服务器407中获取第一数据、第二数据和第三数据。在数据存储服务器408和数据存储服务器409获取到第一数据、第二数据和第三数据以后,数据存储服务器408和数据存储服务器409会分别向指令存储服务器403发送完成存储指令。
第六步,在指令存储服务器403接收到数据存储服务器408和数据存储服务器409发送的完成存储指令以后,指令存储服务器403会将完成存储指令发送给控制服务器401。在控制服务器401接收到指令存储服务器403发送的完成存储指令以后,控制服务器401变得之本次数据采集工作已经完成。
第七步,控制服务器401会定时检测控制服务器401自身的运行状态。在控制服务器401的运行状态为故障状态时,向备用服务器402发送更换指令。在备用服务器402接收到控制服务器401发送的更换指令以后,备用服务器402便会根据指令存储服务器中存储的指令来接替控制服务器的工作。
图5为本发明实施例提供的一种数据转存装置的示意图。图5为图2对应的装置实施例,图5中与图2相同的内容请参见图2对应的实施例即可。参照图5,该装置包括以下模块:
第一发送模块51,用于向至少两个数据源服务器发送数据采集指令,数据采集指令用于指示至少两个数据源服务器将采集到的目标数据发送给数据中转服务器。
第一接收模块52,用于接收基于目标数据的完成采集指令,完成采集指令用于说明至少两个数据源服务器已经将目标数据发送给数据中转服务器。
第二发送模块53,用于向数据存储服务器发送数据存储指令,数据存储指令用于指示数据存储服务器在数据中转服务器中获取目标数据。
可选的,本发明实施例提供的第一接收模块52还可以包括以下子模块:接收子模块,用于接收指令存储服务器发送的基于目标数据的完成采集指令,完成采集指令为至少两个数据源服务器预先发送给指令存储服务器。
可选的,本发明实施例提供的装置还可以包括以下模块:第三发送模块,用于将数据采集指令发送给指令存储服务器;第四发送模块,用于将数据存储指令发送给指令存储服务器。
可选的,本发明实施例提供的装置还可以包括以下模块:第二接收模块,用于接收指令存储服务器发送的基于目标数据的完成存储指令,完成存储指令为数据存储服务器预先发送给指令存储服务器,完成存储指令用于说明数据存储服务器已经在数据中转服务器中成功获取目标数据。
可选的,本发明实施例提供的装置还可以包括以下模块:检测模块,用于定时检测控制服务器的运行状态;第五发送模块,用于在控制服务器的运行状态为故障状态时,向备用服务器发送更换指令,更换指令用于指示备用服务器根据指令存储服务器中存储的指令来接替控制服务器的工作。
图6所示的为本发明实施例提供的又一种数据转存装置的示意图。参照图6,该装置包括:处理器61和存储器62,其中,存储器62用于存储一条或多条计算机指令,所述一条或多条计算机指令供处理器61调用执行;
处理器用于:向至少两个数据源服务器发送数据采集指令,所述数据采集指令用于指示所述至少两个数据源服务器将采集到的目标数据发送给数据中转服务器;接收基于所述目标数据的完成采集指令,所述完成采集指令用于说明所述至少两个数据源服务器已经将所述目标数据发送给所述数据中转服务器;向数据存储服务器发送数据存储指令,所述数据存储指令用于指示所述数据存储服务器在所述数据中转服务器中获取所述目标数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种数据转存方法,其特征在于,所述方法应用于控制服务器,所述方法包括:
向至少两个数据源服务器发送数据采集指令,所述数据采集指令用于指示所述至少两个数据源服务器将采集到的目标数据发送给数据中转服务器;
接收基于所述目标数据的完成采集指令,所述完成采集指令用于说明所述至少两个数据源服务器已经将所述目标数据发送给所述数据中转服务器;
定时检测所述控制服务器的运行状态;
在所述控制服务器的运行状态为故障状态时,向备用服务器发送更换指令,所述更换指令用于指示所述备用服务器根据指令存储服务器中存储的指令所指示的数据转存的当前处理状态来接替所述控制服务器的工作;
向数据存储服务器发送数据存储指令,所述数据存储指令用于指示所述数据存储服务器在所述数据中转服务器中获取所述目标数据。
2.根据权利要求1的数据转存方法,其特征在于,接收基于所述目标数据的完成采集指令的步骤包括:
接收指令存储服务器发送的基于所述目标数据的完成采集指令,所述完成采集指令为所述至少两个数据源服务器预先发送给所述指令存储服务器。
3.根据权利要求2的数据转存方法,其特征在于,向所述至少两个数据源服务器发送所述数据采集指令之后,所述方法还包括:
将所述数据采集指令发送给所述指令存储服务器;
向所述数据存储服务器发送所述数据存储指令之后,所述方法还包括:
将所述数据存储指令发送给所述指令存储服务器。
4.根据权利要求3的数据转存方法,其特征在于,向数据存储服务器发送数据存储指令之后,所述方法还包括:
接收所述指令存储服务器发送的基于所述目标数据的完成存储指令,所述完成存储指令为所述数据存储服务器预先发送给所述指令存储服务器,所述完成存储指令用于说明所述数据存储服务器已经在所述数据中转服务器中成功获取所述目标数据。
5.一种数据转存装置,其特征在于,所述装置包括:
第一发送模块,用于向至少两个数据源服务器发送数据采集指令,所述数据采集指令用于指示所述至少两个数据源服务器将采集到的目标数据发送给数据中转服务器;
第一接收模块,用于接收基于所述目标数据的完成采集指令,所述完成采集指令用于说明所述至少两个数据源服务器已经将所述目标数据发送给所述数据中转服务器;
检测模块,用于定时检测控制服务器的运行状态;
第五发送模块,用于在所述控制服务器的运行状态为故障状态时,向备用服务器发送更换指令,所述更换指令用于指示所述备用服务器根据指令存储服务器中存储的指令所指示的数据转存的当前处理状态来接替所述控制服务器的工作;
第二发送模块,用于向数据存储服务器发送数据存储指令,所述数据存储指令用于指示所述数据存储服务器在所述数据中转服务器中获取所述目标数据。
6.根据权利要求5的数据转存装置,其特征在于,所述第一接收模块包括:
接收子模块,用于接收指令存储服务器发送的基于所述目标数据的完成采集指令,所述完成采集指令为所述至少两个数据源服务器预先发送给所述指令存储服务器。
7.根据权利要求6的数据转存装置,其特征在于,所述装置还包括:
第三发送模块,用于将所述数据采集指令发送给所述指令存储服务器;
第四发送模块,用于将所述数据存储指令发送给所述指令存储服务器。
8.根据权利要求7的数据转存装置,其特征在于,所述装置还包括:
第二接收模块,用于接收所述指令存储服务器发送的基于所述目标数据的完成存储指令,所述完成存储指令为所述数据存储服务器预先发送给所述指令存储服务器,所述完成存储指令用于说明所述数据存储服务器已经在所述数据中转服务器中成功获取所述目标数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611239010.6A CN107094167B (zh) | 2016-12-28 | 2016-12-28 | 一种数据转存方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611239010.6A CN107094167B (zh) | 2016-12-28 | 2016-12-28 | 一种数据转存方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107094167A CN107094167A (zh) | 2017-08-25 |
CN107094167B true CN107094167B (zh) | 2020-02-04 |
Family
ID=59646110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611239010.6A Active CN107094167B (zh) | 2016-12-28 | 2016-12-28 | 一种数据转存方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107094167B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107819891B (zh) * | 2017-10-16 | 2020-01-24 | 平安科技(深圳)有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101771594A (zh) * | 2008-12-31 | 2010-07-07 | 鸿富锦精密工业(深圳)有限公司 | 数据存储系统及方法 |
CN102354178A (zh) * | 2011-08-02 | 2012-02-15 | 常州节安得能源科技有限公司 | 能效监控系统 |
CN103150324A (zh) * | 2012-12-26 | 2013-06-12 | 人民搜索网络股份公司 | 一种基于链式处理的数据收集系统及其方法 |
CN104301130A (zh) * | 2013-07-17 | 2015-01-21 | 腾讯科技(深圳)有限公司 | 监控数据采集方法和系统及任务分发服务器和采集装置 |
CN105912280A (zh) * | 2016-06-24 | 2016-08-31 | 四川福豆科技有限公司 | 能够进行数据分类的存储终端 |
-
2016
- 2016-12-28 CN CN201611239010.6A patent/CN107094167B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101771594A (zh) * | 2008-12-31 | 2010-07-07 | 鸿富锦精密工业(深圳)有限公司 | 数据存储系统及方法 |
CN102354178A (zh) * | 2011-08-02 | 2012-02-15 | 常州节安得能源科技有限公司 | 能效监控系统 |
CN103150324A (zh) * | 2012-12-26 | 2013-06-12 | 人民搜索网络股份公司 | 一种基于链式处理的数据收集系统及其方法 |
CN104301130A (zh) * | 2013-07-17 | 2015-01-21 | 腾讯科技(深圳)有限公司 | 监控数据采集方法和系统及任务分发服务器和采集装置 |
CN105912280A (zh) * | 2016-06-24 | 2016-08-31 | 四川福豆科技有限公司 | 能够进行数据分类的存储终端 |
Also Published As
Publication number | Publication date |
---|---|
CN107094167A (zh) | 2017-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10873622B2 (en) | Call chain-based concurrency control method and apparatus, and control node | |
EP3142011B9 (en) | Anomaly recovery method for virtual machine in distributed environment | |
CN102739453B (zh) | 主备切换方法、设备及系统 | |
US9692846B2 (en) | System, device and method for providing push service using feedback message | |
CN102882704B (zh) | 一种issu的软重启升级过程中的链路保护方法和设备 | |
CN104516794B (zh) | 数据库文件的备份方法、装置及系统 | |
CN111385107B (zh) | 一种服务器的主备切换处理方法及装置 | |
CN109271172B (zh) | 一种swarm集群的宿主机性能扩展方法及装置 | |
CN105446827A (zh) | 一种数据库故障时的数据存储方法和设备 | |
CN102567227A (zh) | 共享缓存设备的双控制器存储系统和方法 | |
CN109582335A (zh) | 一种无中断存储集群节点在线升级方法、装置及设备 | |
CN103491134A (zh) | 一种监控容器的方法、装置与代理服务系统 | |
CN107612950A (zh) | 一种提供服务的方法、装置、系统、电子设备 | |
CN102769533A (zh) | 数据处理方法和数据处理装置 | |
CN108762118B (zh) | 一种通讯设备间的故障处理方法及装置 | |
US20150295817A1 (en) | Redundancy device unit and method for determining fault in industrial control system, industrial control system and industrial system comprising redundancy device unit | |
CN107094167B (zh) | 一种数据转存方法及装置 | |
US9164825B2 (en) | Computing unit, method of managing computing unit, and computing unit management program | |
CN105094860A (zh) | 终端软件的在线升级方法及装置 | |
CN110958139B (zh) | 网络控制方法、编排器、控制器及计算机可读存储介质 | |
CN110515757B (zh) | 分布式存储系统的信息处理方法、装置、服务器、介质 | |
CN114244735B (zh) | 主备运行切换方法、装置及存储介质 | |
CN105511952B (zh) | 基于云计算平台的资源自迁移方法及系统 | |
CN105843336A (zh) | 具有多机柜管理模块的机柜及其韧体更新方法 | |
CN102571443A (zh) | 一种异常处理的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 100085 Beijing, Haidian District on the road to the information on the ground floor of the 1 to the 3 floor of the 2 floor, room 11, 202 Applicant after: Beijing Xingxuan Technology Co., Ltd. Address before: 100085 Beijing, Haidian District on the road to the information on the ground floor of the 1 to the 3 floor of the 2 floor, room 11, 202 Applicant before: BEIJING XIAODU INFORMATION TECHNOLOGY CO., LTD. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |