CN106817381A - 数据处理方法及装置 - Google Patents
数据处理方法及装置 Download PDFInfo
- Publication number
- CN106817381A CN106817381A CN201510850269.3A CN201510850269A CN106817381A CN 106817381 A CN106817381 A CN 106817381A CN 201510850269 A CN201510850269 A CN 201510850269A CN 106817381 A CN106817381 A CN 106817381A
- Authority
- CN
- China
- Prior art keywords
- server
- data
- stored
- identification
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1014—Server selection for load balancing based on the content of a request
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供了一种数据处理方法及装置,当服务器组中的第一服务器接收到数据处理请求,但第一服务器中未存储有目标数据标识对应的数据时,第一服务器只需将数据处理请求转发至存储有目标数据标识对应的数据的第二服务器,以使第二服务器从第二服务器本地获取目标数据标识对应的数据,并对目标数据进行处理。由于第二服务器从第二服务器本地获取目标数据标识对应的数据的时间可以忽略不计且不占用网络资源。因此,整个过程中仅仅出现一次数据传输的过程,相对于现有技术中出现的两次数据传输的过程,本发明花费较少的时间就能获取到目标数据标识对应的数据,从而提高处理效率,其次还能节省网络资源。
Description
技术领域
本发明涉及互联网技术领域,尤其涉及一种数据处理方法及装置。
背景技术
随着互联网技术的飞速发展,很多企业都需要向外提供数据服务。其中,技术人员你可以为企业配备一个服务器,将提供数据服务所需的数据全部存储在该服务器中。这样,当用户需要服务器提供数据服务时,可以向服务器发送请求,服务器根据该请求向用户提供数据服务。
然而,当该服务器中的存储空间已经被占满时,如果后续还需要存储提供数据服务器所需的数据,则需要技术人员为企业再配备一个新的服务器,然后在新的服务器中存储提供数据服务器所需的数据。逐渐地,当需要存储的提供数据服务所需的数据越来越多时,技术人员需要为企业配备的服务器也越来越多。
其中,这些服务器都可以接受用户发送的请求。例如,当一个用户需要对某一数据进行处理时,用户通过终端向企业配备的一个服务器发送携带数据标识的数据处理请求;该一个服务器接收该数据处理请求,判断本地是否存储了该数据标识对应的数据,当本地未存储该数据标识对应的数据时,则在企业配备的多个服务器中查找存储了该数据标识对应的数据的参考服务器;然后向参考服务器发送携带该数据标识的数据获取请求;参考服务器接收该数据获取请求,在本地获取该数据标识对应的数据,向该一个服务器发送该数据标识对应的数据;该一个服务器接收参考服务器发送的该数据标识对应的数据,并对该数据标识对应的数据进行处理。
然而,发明人发现,现有技术中,在接收到数据处理请求后需要花费较多的时间才能对数据标识对应的数据进行处理,导致处理效率较低。
发明内容
为克服相关技术中存在的问题,本发明提供一种数据处理方法及装置。
根据本发明实施例的第一方面,提供一种数据处理方法,应用于第一服务器,所述第一服务器为服务器组中的一个服务器,所述方法包括:
接收数据处理请求,所述数据处理请求携带目标数据标识;
判断本地是否存储了所述目标数据标识对应的数据;
当本地未存储所述目标数据标识对应的数据时,将所述数据处理请求转发至所述服务器组中的存储有所述目标数据标识对应的数据的第二服务器;以使所述第二服务器在所述第二服务器中获取所述目标数据标识对应的数据并处理所述数据。
进一步地,所述方法还包括:
当本地存储了所述目标数据标识对应的数据时,从本地获取所述目标数据标识对应的数据并处理所述数据。
其中,所述判断本地是否存储了所述目标数据标识对应的数据,包括:
获取本地存储的数据标识与服务器标识之间的对应关系;
在所述对应关系中查找与所述目标数据标识相对应的服务器标识;
判断所述查找到的服务器标识是否为所述第一服务器的服务器标识;
当所述查找到的服务器标识不为所述第一服务器的服务器标识时,确定所述目标数据标识对应的数据未存储在所述第一服务器中;
当所述查找到的服务器标识为所述第一服务器的服务器标识时,确定所述目标数据标识对应的数据存储在所述第一服务器中。
其中,所述将所述数据处理请求转发至所述服务器组中的存储有所述目标数据标识对应的数据的第二服务器,包括:
当所述查找到的服务器标识不为所述第一服务器的服务器标识时,将所述查找到的服务器标识对应的服务器确定为存储有所述目标数据标识对应的数据的第二服务器;
将所述数据处理请求转发至所述第二服务器。
其中,所述确定的出存储有所述目标数据标识对应的数据的第二服务器为多个;
所述将所述数据处理请求转发至所述第二服务器,包括:
从所述多个第二服务器中选择距离所述第一服务器最近的一个第二服务器;
将所述数据处理请求转发至所述选择出的第二服务器。
进一步地,所述方法还包括:
获取多个待存储数据;
获取用于存储所述多个待存储数据的多个服务器;
为每一服务器分配至少一个待存储数据;以使每一服务器分别存储为其分配的待存储数据。
进一步地,所述方法还包括:
对于每一条待存储数据,将所述待存储数据的数据标识与存储所述待存储数据的服务器的服务器标识作为一条记录存储在数据标识与服务器标识之间的对应关系中;
向每一个服务器分别发送所述对应关系。
根据本发明实施例的第二方面,提供一种数据处理装置,应用于第一服务器,所述第一服务器为服务器组中的一个服务器,所述装置包括:
接收模块,用于接收数据处理请求,所述数据处理请求携带目标数据标识;
判断模块,用于判断本地是否存储了所述目标数据标识对应的数据;
转发模块,用于当本地未存储所述目标数据标识对应的数据时,将所述数据处理请求转发至所述服务器组中的存储有所述目标数据标识对应的数据的第二服务器;以使所述第二服务器在所述第二服务器中获取所述目标数据标识对应的数据并处理所述数据。
进一步地,所述装置还包括:
第一获取模块,用于当本地存储了所述目标数据标识对应的数据时,从本地获取所述目标数据标识对应的数据并处理所述数据。
其中,所述判断模块包括:
获取单元,用于获取本地存储的数据标识与服务器标识之间的对应关系;
查找单元,用于在所述对应关系中查找与所述目标数据标识相对应的服务器标识;
判断单元,用于判断所述查找到的服务器标识是否为所述第一服务器的服务器标识;
第一确定单元,用于当所述查找到的服务器标识不为所述第一服务器的服务器标识时,确定所述目标数据标识对应的数据未存储在所述第一服务器中;
第二确定单元,用于当所述查找到的服务器标识为所述第一服务器的服务器标识时,确定所述目标数据标识对应的数据存储在所述第一服务器中。
其中,所述转发模块包括:
第三确定单元,用于当所述查找到的服务器标识不为所述第一服务器的服务器标识时,将所述查找到的服务器标识对应的服务器确定为存储有所述目标数据标识对应的数据的第二服务器;
转发单元,用于将所述数据处理请求转发至所述第二服务器。
其中,所述确定的出存储有所述目标数据标识对应的数据的第二服务器为多个;
所述转发单元包括:
选择子单元,用于从所述多个第二服务器中选择距离所述第一服务器最近的一个第二服务器;
转发子单元,用于将所述数据处理请求转发至所述选择出的第二服务器。
进一步地,所述装置还包括:
第二获取模块,用于获取多个待存储数据;
第三获取模块,用于获取用于存储所述多个待存储数据的多个服务器;
分配模块,用于为每一服务器分配至少一个待存储数据;以使每一服务器分别存储为其分配的待存储数据。
进一步地,所述装置还包括:
存储模块,用于对于每一条待存储数据,将所述待存储数据的数据标识与存储所述待存储数据的服务器的服务器标识作为一条记录存储在数据标识与服务器标识之间的对应关系中;
发送模块,用于向每一个服务器分别发送所述对应关系。
本发明的实施例提供的技术方案可以包括以下有益效果:其中,在现有技术中,当服务器组中的第一服务器接收到数据处理请求,但第一服务器中未存储有目标数据标识对应的数据时,第一服务器需要发送携带目标数据标识的数据获取请求给存储有目标数据标识对应的数据的第二服务器;当第二服务器接收到数据获取请求后,从本地获取目标数据标识对应的数据,然后向第一服务器发送目标数据标识对应的数据;第一服务器接收第二服务器发送的目标数据标识对应的数据,并对目标数据标识对应的数据进行处理。
在上述过程中出现了两次数据传输的过程,包括:第一服务器向第二服务器发送携带目标数据标识的数据获取请求,以及,第二服务器向第一服务器发送目标数据标识对应的数据。
其中,每一次数据传输的过程都需要花费一定的时间且需要占用网络资源,现有技术中出现的两次数据传输的过程则需要花费更多的时间以及占用更多的网络资源,导致花费更多的时间才能获取到目标数据标识对应的数据,由于在获取到目标数据标识对应的数据后才能对目标数据标识对应的数据进行处理,因此现有技术需要花费更多的时间才能获取到目标数据标识对应的数据,导致处理效率较低。
而在本发明中,当服务器组中的第一服务器接收到数据处理请求,但第一服务器中未存储有目标数据标识对应的数据时,第一服务器无需从存储有目标数据标识对应的数据的第二服务器中获取目标数据标识对应的数据并处理该数据,只需将数据处理请求直接转发至存储有目标数据标识对应的数据的第二服务器,以使第二服务器从第二服务器本地获取目标数据标识对应的数据,并对目标数据进行处理。
由于第二服务器从第二服务器本地获取目标数据标识对应的数据的时间可以忽略不计且不占用网络资源。因此,整个过程中仅仅出现一次数据传输的过程,即为:第一服务器向第二服务器转发数据处理请求;相对于现有技术中出现的两次数据传输的过程,本发明实施例可以花费较少的时间就能获取到目标数据标识对应的数据,从而提高处理效率,其次还能节省网络资源。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种数据处理方法的流程图;
图2是根据一示例性实施例示出的一种场景示意图;
图3是根据一示例性实施例示出的一种数据处理方法的流程图;
图4是根据一示例性实施例示出的一种数据处理方法的流程图;
图5是根据一示例性实施例示出的一种数据处理方法的流程图;
图6是根据一示例性实施例示出的一种数据处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种数据处理方法的流程图,如图1所示,该方法包括以下步骤。
在步骤S101中,获取多个待存储数据;
在本发明实施例中,多个待存储数据中的任意两个待存储数据相互之间为不同的待存储数据。
在步骤S102中,获取用于存储多个待存储数据的多个服务器;
在本发明实施例中,技术人员事先部署多个服务器,这些服务器分别可以位于相同的位置,也可以位于不同的位置,例如分别位于不同的从城市,这些服务器相互之间可以进行数据通信,且这些服务器用于存储数据,例如可以存储待存储岠等。
其中,这些服务器均统一对应一个客户端,当用户需要登录客户端对应的服务器时,客户端可以选择距离用户最近的服务器进行登录。
例如,技术人员事先在北京、上海、广州、西宁、银川、昆明和哈尔滨中的每一城市中均部署一个服务器,一共7个服务器,这7个服务器统一对应一个客户端“天猫商城”,用户可以在用户的手机上安装客户端“天猫商城”,当用户位于北京时,如果用户需要登录客户端“天猫商城”的服务器,客户端“天猫商城”会选择与用户的手机之间距离最近的服务器进行登录,即,选择位于北京的服务器进行登录。
因此,在本步骤中,可以从技术人员事先部署的服务器中选择多个服务器并作为用于存储多个待存储数据的服务器。
在步骤S103中,为获取的每一服务器分配至少一个待存储数据;以使获取的每一服务器分别存储为其分配的待存储数据。
其中,任意两个服务器分配的待存储数据不全相同。对于任一待存储数据,该待存储数据存储在至少一个服务器中。
在本发明实施例中,可以根据多个待存储数据的个数以及服务器的个数,将多个待存储数据平均分配给每一服务器,这样任意两个服务器分配的活动信息的个数相同或者只有微小差距,不会有很大差距。
例如,假设服务器的个数为4,分别为服务器1~服务器4,多个待存储数据为100条数据,分别为数据00~数据99,则为每一服务器分别分配25个待存储数据。即,为服务器1分配数据00~数据24,为服务器2分配数据25~数据49,为服务器3分配数据50~数据74,以及为服务器4分配数据75~数据99。以实现将多个待存储数据平均分配给每一服务器,即,任意两个服务器分配的待存储数据的个数相同。
在另一例子中,假设服务器的个数为4,分别为服务器1~服务器4,多个待存储数据为100条数据,分别为数据00~数据98,则为服务器1~3分别分配25个待存储数据,为服务器4分配24个待存储数据。即,为服务器1分配数据00~数据24,为服务器2分配数据25~数据49,为服务器3分配数据50~数据74,以及为服务器4分配数据75~数据98。这样,任意两个服务器分配的待存储数据的个数相同或者相差1。
在本发明另一实施例中,由于获取的服务器分别位于不同的位置,因此,也可以根据历史经验,分析不用地域的用户的活跃程度,对处于不同地域的服务器分配不同个数的待存储数据;其中,对在用户的活跃程度较高的地域部署的服务器分配较多个数的待存储数据,对在用户的活跃程度较低的地域部署的服务器分配较少个数的待存储数据。
例如,假设服务器为7个,分别位于北京、上海、广州、西宁、银川、昆明和哈尔滨;其中,位于北京、上海和广州的用户的活跃程度较高,位于西宁、银川、昆明和哈尔滨的用户的活跃程度较低,则可以对分别位于北京、上海和广州的服务器分配较多个数的待存储数据,对分别位于西宁、银川、昆明、海尔滨的服务器分配较少个数的待存储数据,如此实现合理分配待存储数据。
进一步地,当为每一服务器分配完待存储数据之后,对于任一待存储数据,将该待存储数据的数据标识与存储该待存储数据的服务器的服务器标识作为一条记录存储在数据标识与服务器标识之间的对应关系中;并向每一服务器分别发送该对应关系。以使每一服务器根据该对应关系就可以知晓自身存储了哪些待存储数据以及知晓服务器组中的其他每一服务器中存储了哪些待存储数据。
进一步地,当为每一服务器分配完待存储数据之后,参见图2,将所有服务器组成服务器组。服务器组中的每一服务器均可以连接至互联网,如此,服务器组中的服务器可以相互之间进行通信。在图2中,A1~An分别表示服务器。
这样,通过步骤S101至步骤S103的流程完成了将多个待存储数据分别存储在处于不同位置的多个服务器中,之后当用户需要对多个待存储数据中的某一待存储数据进行处理时,服务器就可以通过如下步骤S201至步骤S209的流程对该待存储数据进行处理。参见图3,该方法还包括:
在步骤S201中,服务器中的每一服务器均检测各自是否接收到数据处理请求;
其中,数据处理请求携带目标数据标识。
其中,用户可以通过用户的终端向服务器中的一个服务器发送数据处理请求。或者,服务器组中的一个服务器也可以向服务器组中的另一个服务器发送目标处理请求。
当服务器中的第一服务器接收用户发送的数据处理请求时,在步骤S202中,接收到数据处理请求的第一服务器判断本地是否存储了目标数据标识对应的数据;
第一服务器中可能存储了目标数据标识对应的数据,也可能未存储目标数据标识对应的服务器,因此需要确定出第一服务器本地是否存储了目标数据标识对应的数据。
当第一服务器中存储了目标数据标识对应的数据时,在步骤S203中,第一服务器从本地获取目标数据标识对应的数据并处理数据;
当第一服务器中未存储目标数据标识对应的数据时,在步骤S204中,第一服务器将数据处理请求转发至服务器组中的存储有目标数据标识对应的数据的第二服务器;以使第二服务器在第二服务器中获取目标数据标识对应的数据并处理数据。
其中,数据处理请求可以为数据获取请求,即,用户需要获取目标数据标识对应的数据,则用户可以通过自己的终端向服务器组中的一个服务器发送携带目标数据标识的数据获取请求,当该一个服务器获取到目标数据标识对应的数据时,向用户的终端发送目标数据标识对应的数据。
数据处理请求也可以为数据计算请求,即用户需要得到服务器对目标数据标识对应的数据进行计算后的计算结果,则用户可以通过自己的终端向服务器组中的一个服务器发送携带目标数据标识的目标数据计算请求,当该一个服务器获取到目标数据标识对应的数据时,并对目标数据标识对应的数据按照预设计算方式进行计算得到计算结果时,向用户的终端发送该计算结果。
当然,在本发明实施例中,数据处理请求也可以为其他请求,本发明对此不加以限定。
其中,在现有技术中,当服务器组中的第一服务器接收到数据处理请求,但第一服务器中未存储有目标数据标识对应的数据时,第一服务器需要发送携带目标数据标识的数据获取请求给存储有目标数据标识对应的数据的第二服务器;当第二服务器接收到数据获取请求后,从本地获取目标数据标识对应的数据,然后向第一服务器发送目标数据标识对应的数据;第一服务器接收第二服务器发送的目标数据标识对应的数据,并对目标数据标识对应的数据进行处理。
在上述过程中出现了两次数据传输的过程,包括:第一服务器向第二服务器发送携带目标数据标识的数据获取请求,以及,第二服务器向第一服务器发送目标数据标识对应的数据。
其中,每一次数据传输的过程都需要花费一定的时间且需要占用网络资源,现有技术中出现的两次数据传输的过程则需要花费更多的时间以及占用更多的网络资源,导致花费更多的时间才能获取到目标数据标识对应的数据,由于在获取到目标数据标识对应的数据后才能对目标数据标识对应的数据进行处理,因此现有技术需要花费更多的时间才能获取到目标数据标识对应的数据,导致处理效率较低。
而在本发明图3所示的实施例中,当服务器组中的第一服务器接收到数据处理请求,但第一服务器中未存储有目标数据标识对应的数据时,第一服务器无需从存储有目标数据标识对应的数据的第二服务器中获取目标数据标识对应的数据并处理该数据,只需将数据处理请求直接转发至存储有目标数据标识对应的数据的第二服务器,以使第二服务器从第二服务器本地获取目标数据标识对应的数据,并对目标数据进行处理。
由于第二服务器从第二服务器本地获取目标数据标识对应的数据的时间可以忽略不计且不占用网络资源。因此,整个过程中仅仅出现一次数据传输的过程,即为:第一服务器向第二服务器转发数据处理请求;相对于现有技术中出现的两次数据传输的过程,本发明实施例可以花费较少的时间就能获取到目标数据标识对应的数据,从而提高处理效率,其次还能节省网络资源。
其中,在本发明另一实施例中,参见图4,步骤S202包括:
在步骤S301中,第一服务器获取本地存储的数据标识与服务器标识之间的对应关系;
在步骤S302中,第一服务器在上述对应关系中查找与目标数据标识相对应的服务器标识;
在步骤S303中,第一服务器判断查找到的服务器标识是否为第一服务器的服务器标识;
当查找到的服务器标识不为第一服务器的服务器标识时,在步骤S304中,第一服务器确定目标数据标识对应的数据未存储在第一服务器中;
当查找到的服务器标识为第一服务器的服务器标识时,在步骤S305中,第一服务器确定目标数据标识对应的数据存储在第一服务器中。
其中,在本发明又一实施例中,在图4所示的实施例基础之上,参见图5,步骤S204包括:
在步骤S401中,当查找到的服务器标识不为第一服务器的服务器标识时,第一服务器将查找到的服务器标识对应的服务器确定为存储有目标数据标识对应的数据的第二服务器;
在步骤S402中,第一服务器将数据处理请求转发至第二服务器。
在本发明实施例中,由于事先可能会将目标数据标识对应的数据存储在服务器组中的多个服务器中,因此,在数据标识与服务器标识之间的对应关系中查找与目标数据标识相对应的服务器标识时可能会查找到多个服务器标识。
当查找到多个服务器标识时,则确定出存储有目标数据标识对应的数据的第二服务器为多个;因此,在本步骤中,如果确定出存储有目标数据标识对应的数据的第二服务器位于分别不同的位置,则为了最大程度降低由于通信链路的长度而带来的通信时延从而节省请求传输的时间从而提高处理效率,在本发明实施例中,可以从多个第二服务器中选择距离第一服务器最近的一个第二服务器;将数据处理请求转发至选择出的第二服务器。
在本发明实施例中,技术人员事先会获取服务器中的每一服务器的位置信息,位置信息可以为经纬度坐标等,然后创建服务器组对应的服务器标识与位置信息之间的对应关系,以及对于服务器组中的任意一个服务器,将该服务器的服务器标识与该服务器的位置信息作为一条记录存储在服务器标识与位置信息之间的对应关系中,对于服务器组中的其他每一服务器,均执行上述操作;最后将服务器标识与位置信息之间的对应关系存储在服务器组中的每一服务器中。
因此,从多个第二服务器中选择距离第一服务器最近的一个第二服务器,可以为:第一服务器获取本地存储的服务器标识与位置信息之间的对应关系,在服务器标识与位置信息之间的对应关系中查找与每一第二服务器相对应的服务器标识对应的位置信息。
对于任一服务器标识对应的位置信息,根据该位置信息与第一服务器的位置信息计算出该服务器标识对应的第二服务器与第一服务器之间的距离;对于其他服务器标识对应的位置信息,同样执行上述操作,如此可以计算出每一第二服务器分别与第一服务器之间的距离。之后再根据计算出的距离从多个第二服务器中选择距离第一服务器最近的一个第二服务器。
图6是根据一示例性实施例示出的一种数据处理装置的框图,该装置应用于第一服务器,所述第一服务器为服务器组中的一个服务器,参照图6,该装置包括:
接收模块11,用于接收数据处理请求,所述数据处理请求携带目标数据标识;
判断模块12,用于判断本地是否存储了所述目标数据标识对应的数据;
转发模块13,用于当本地未存储所述目标数据标识对应的数据时,将所述数据处理请求转发至所述服务器组中的存储有所述目标数据标识对应的数据的第二服务器;以使所述第二服务器在所述第二服务器中获取所述目标数据标识对应的数据并处理所述数据。
进一步地,所述装置还包括:
第一获取模块,用于当本地存储了所述目标数据标识对应的数据时,从本地获取所述目标数据标识对应的数据并处理所述数据。
其中,所述判断模块12包括:
获取单元,用于获取本地存储的数据标识与服务器标识之间的对应关系;
查找单元,用于在所述对应关系中查找与所述目标数据标识相对应的服务器标识;
判断单元,用于判断所述查找到的服务器标识是否为所述第一服务器的服务器标识;
第一确定单元,用于当所述查找到的服务器标识不为所述第一服务器的服务器标识时,确定所述目标数据标识对应的数据未存储在所述第一服务器中;
第二确定单元,用于当所述查找到的服务器标识为所述第一服务器的服务器标识时,确定所述目标数据标识对应的数据存储在所述第一服务器中。
其中,所述转发模块13包括:
第三确定单元,用于当所述查找到的服务器标识不为所述第一服务器的服务器标识时,将所述查找到的服务器标识对应的服务器确定为存储有所述目标数据标识对应的数据的第二服务器;
转发单元,用于将所述数据处理请求转发至所述第二服务器。
其中,所述确定的出存储有所述目标数据标识对应的数据的第二服务器为多个;
所述转发单元包括:
选择子单元,用于从所述多个第二服务器中选择距离所述第一服务器最近的一个第二服务器;
转发子单元,用于将所述数据处理请求转发至所述选择出的第二服务器。
进一步地,所述装置还包括:
第二获取模块,用于获取多个待存储数据;
第三获取模块,用于获取用于存储所述多个待存储数据的多个服务器;
分配模块,用于为每一服务器分配至少一个待存储数据;以使每一服务器分别存储为其分配的待存储数据。
进一步地,所述装置还包括:
存储模块,用于对于每一条待存储数据,将所述待存储数据的数据标识与存储所述待存储数据的服务器的服务器标识作为一条记录存储在数据标识与服务器标识之间的对应关系中;
发送模块,用于向每一个服务器分别发送所述对应关系。
其中,在现有技术中,当服务器组中的第一服务器接收到数据处理请求,但第一服务器中未存储有目标数据标识对应的数据时,第一服务器需要发送携带目标数据标识的数据获取请求给存储有目标数据标识对应的数据的第二服务器;当第二服务器接收到数据获取请求后,从本地获取目标数据标识对应的数据,然后向第一服务器发送目标数据标识对应的数据;第一服务器接收第二服务器发送的目标数据标识对应的数据,并对目标数据标识对应的数据进行处理。
在上述过程中出现了两次数据传输的过程,包括:第一服务器向第二服务器发送携带目标数据标识的数据获取请求,以及,第二服务器向第一服务器发送目标数据标识对应的数据。
其中,每一次数据传输的过程都需要花费一定的时间且需要占用网络资源,现有技术中出现的两次数据传输的过程则需要花费更多的时间以及占用更多的网络资源,导致花费更多的时间才能获取到目标数据标识对应的数据,由于在获取到目标数据标识对应的数据后才能对目标数据标识对应的数据进行处理,因此现有技术需要花费更多的时间才能获取到目标数据标识对应的数据,导致处理效率较低。
而在本发明图6所示的实施例中,当服务器组中的第一服务器接收到数据处理请求,但第一服务器中未存储有目标数据标识对应的数据时,第一服务器无需从存储有目标数据标识对应的数据的第二服务器中获取目标数据标识对应的数据并处理该数据,只需将数据处理请求直接转发至存储有目标数据标识对应的数据的第二服务器,以使第二服务器从第二服务器本地获取目标数据标识对应的数据,并对目标数据进行处理。
由于第二服务器从第二服务器本地获取目标数据标识对应的数据的时间可以忽略不计且不占用网络资源。因此,整个过程中仅仅出现一次数据传输的过程,即为:第一服务器向第二服务器转发数据处理请求;相对于现有技术中出现的两次数据传输的过程,本发明实施例可以花费较少的时间就能获取到目标数据标识对应的数据,从而提高处理效率,其次还能节省网络资源。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由所附的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (14)
1.一种数据处理方法,应用于第一服务器,所述第一服务器为服务器组中的一个服务器,其特征在于,所述方法包括:
接收数据处理请求,所述数据处理请求携带目标数据标识;
判断本地是否存储了所述目标数据标识对应的数据;
当本地未存储所述目标数据标识对应的数据时,将所述数据处理请求转发至所述服务器组中的存储有所述目标数据标识对应的数据的第二服务器;以使所述第二服务器在所述第二服务器中获取所述目标数据标识对应的数据并处理所述数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当本地存储了所述目标数据标识对应的数据时,从本地获取所述目标数据标识对应的数据并处理所述数据。
3.根据权利要求1所述的方法,其特征在于,所述判断本地是否存储了所述目标数据标识对应的数据,包括:
获取本地存储的数据标识与服务器标识之间的对应关系;
在所述对应关系中查找与所述目标数据标识相对应的服务器标识;
判断所述查找到的服务器标识是否为所述第一服务器的服务器标识;
当所述查找到的服务器标识不为所述第一服务器的服务器标识时,确定所述目标数据标识对应的数据未存储在所述第一服务器中;
当所述查找到的服务器标识为所述第一服务器的服务器标识时,确定所述目标数据标识对应的数据存储在所述第一服务器中。
4.根据权利要求3所述的方法,其特征在于,所述将所述数据处理请求转发至所述服务器组中的存储有所述目标数据标识对应的数据的第二服务器,包括:
当所述查找到的服务器标识不为所述第一服务器的服务器标识时,将所述查找到的服务器标识对应的服务器确定为存储有所述目标数据标识对应的数据的第二服务器;
将所述数据处理请求转发至所述第二服务器。
5.根据权利要求4所述的方法,其特征在于,所述确定的出存储有所述目标数据标识对应的数据的第二服务器为多个;
所述将所述数据处理请求转发至所述第二服务器,包括:
从所述多个第二服务器中选择距离所述第一服务器最近的一个第二服务器;
将所述数据处理请求转发至所述选择出的第二服务器。
6.根据权利要求1-5任一项权利要求所述的方法,其特征在于,所述方法还包括:
获取多个待存储数据;
获取用于存储所述多个待存储数据的多个服务器;
为每一服务器分配至少一个待存储数据;以使每一服务器分别存储为其分配的待存储数据。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
对于每一条待存储数据,将所述待存储数据的数据标识与存储所述待存储数据的服务器的服务器标识作为一条记录存储在数据标识与服务器标识之间的对应关系中;
向每一个服务器分别发送所述对应关系。
8.一种数据处理装置,应用于第一服务器,所述第一服务器为服务器组中的一个服务器,其特征在于,所述装置包括:
接收模块,用于接收数据处理请求,所述数据处理请求携带目标数据标识;
判断模块,用于判断本地是否存储了所述目标数据标识对应的数据;
转发模块,用于当本地未存储所述目标数据标识对应的数据时,将所述数据处理请求转发至所述服务器组中的存储有所述目标数据标识对应的数据的第二服务器;以使所述第二服务器在所述第二服务器中获取所述目标数据标识对应的数据并处理所述数据。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第一获取模块,用于当本地存储了所述目标数据标识对应的数据时,从本地获取所述目标数据标识对应的数据并处理所述数据。
10.根据权利要求8所述的装置,其特征在于,所述判断模块包括:
获取单元,用于获取本地存储的数据标识与服务器标识之间的对应关系;
查找单元,用于在所述对应关系中查找与所述目标数据标识相对应的服务器标识;
判断单元,用于判断所述查找到的服务器标识是否为所述第一服务器的服务器标识;
第一确定单元,用于当所述查找到的服务器标识不为所述第一服务器的服务器标识时,确定所述目标数据标识对应的数据未存储在所述第一服务器中;
第二确定单元,用于当所述查找到的服务器标识为所述第一服务器的服务器标识时,确定所述目标数据标识对应的数据存储在所述第一服务器中。
11.根据权利要求10所述的装置,其特征在于,所述转发模块包括:
第三确定单元,用于当所述查找到的服务器标识不为所述第一服务器的服务器标识时,将所述查找到的服务器标识对应的服务器确定为存储有所述目标数据标识对应的数据的第二服务器;
转发单元,用于将所述数据处理请求转发至所述第二服务器。
12.根据权利要求11所述的装置,其特征在于,所述确定的出存储有所述目标数据标识对应的数据的第二服务器为多个;
所述转发单元包括:
选择子单元,用于从所述多个第二服务器中选择距离所述第一服务器最近的一个第二服务器;
转发子单元,用于将所述数据处理请求转发至所述选择出的第二服务器。
13.根据权利要求8-12任一项权利要求所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取多个待存储数据;
第三获取模块,用于获取用于存储所述多个待存储数据的多个服务器;
分配模块,用于为每一服务器分配至少一个待存储数据;以使每一服务器分别存储为其分配的待存储数据。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
存储模块,用于对于每一条待存储数据,将所述待存储数据的数据标识与存储所述待存储数据的服务器的服务器标识作为一条记录存储在数据标识与服务器标识之间的对应关系中;
发送模块,用于向每一个服务器分别发送所述对应关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510850269.3A CN106817381A (zh) | 2015-11-27 | 2015-11-27 | 数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510850269.3A CN106817381A (zh) | 2015-11-27 | 2015-11-27 | 数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106817381A true CN106817381A (zh) | 2017-06-09 |
Family
ID=59155505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510850269.3A Pending CN106817381A (zh) | 2015-11-27 | 2015-11-27 | 数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106817381A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107436818A (zh) * | 2017-07-31 | 2017-12-05 | 北京微影时代科技有限公司 | 一种红包信息获取并发送的方法和装置 |
CN107645386A (zh) * | 2017-09-25 | 2018-01-30 | 网宿科技股份有限公司 | 一种获取数据资源的方法和装置 |
CN107682255A (zh) * | 2017-11-17 | 2018-02-09 | 腾讯科技(深圳)有限公司 | 消息传输方法、装置及存储介质 |
WO2019075978A1 (zh) * | 2017-10-16 | 2019-04-25 | 平安科技(深圳)有限公司 | 数据传输方法、装置、计算机设备和存储介质 |
CN116055565A (zh) * | 2023-01-28 | 2023-05-02 | 北京蓝色星际科技股份有限公司 | 一种数据传输方法、系统、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101127783A (zh) * | 2007-09-28 | 2008-02-20 | 北京金山软件有限公司 | 一种网站缓存方法和一种网站缓存的装置 |
CN101626380A (zh) * | 2009-07-24 | 2010-01-13 | 深圳市新飞扬数码技术有限公司 | 网络游戏数据处理系统、数据处理服务器及其处理方法 |
CN101764839A (zh) * | 2009-12-23 | 2010-06-30 | 成都市华为赛门铁克科技有限公司 | 一种数据访问方法以及统一资源定位符服务器 |
US20130166556A1 (en) * | 2011-12-23 | 2013-06-27 | Daniel Baeumges | Independent Table Nodes In Parallelized Database Environments |
CN103578207A (zh) * | 2012-07-20 | 2014-02-12 | 中国移动通信集团公司 | 一种数据处理方法、装置、系统及相关设备 |
-
2015
- 2015-11-27 CN CN201510850269.3A patent/CN106817381A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101127783A (zh) * | 2007-09-28 | 2008-02-20 | 北京金山软件有限公司 | 一种网站缓存方法和一种网站缓存的装置 |
CN101626380A (zh) * | 2009-07-24 | 2010-01-13 | 深圳市新飞扬数码技术有限公司 | 网络游戏数据处理系统、数据处理服务器及其处理方法 |
CN101764839A (zh) * | 2009-12-23 | 2010-06-30 | 成都市华为赛门铁克科技有限公司 | 一种数据访问方法以及统一资源定位符服务器 |
US20130166556A1 (en) * | 2011-12-23 | 2013-06-27 | Daniel Baeumges | Independent Table Nodes In Parallelized Database Environments |
CN103578207A (zh) * | 2012-07-20 | 2014-02-12 | 中国移动通信集团公司 | 一种数据处理方法、装置、系统及相关设备 |
Non-Patent Citations (2)
Title |
---|
李春辉: "《Windows Server 2008网络操作系统配置与管理》", 30 June 2012 * |
马志强: "《Internet导引》", 30 June 1995 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107436818A (zh) * | 2017-07-31 | 2017-12-05 | 北京微影时代科技有限公司 | 一种红包信息获取并发送的方法和装置 |
CN107645386A (zh) * | 2017-09-25 | 2018-01-30 | 网宿科技股份有限公司 | 一种获取数据资源的方法和装置 |
WO2019075978A1 (zh) * | 2017-10-16 | 2019-04-25 | 平安科技(深圳)有限公司 | 数据传输方法、装置、计算机设备和存储介质 |
CN107682255A (zh) * | 2017-11-17 | 2018-02-09 | 腾讯科技(深圳)有限公司 | 消息传输方法、装置及存储介质 |
CN107682255B (zh) * | 2017-11-17 | 2021-04-16 | 腾讯科技(深圳)有限公司 | 消息传输方法、装置及存储介质 |
CN116055565A (zh) * | 2023-01-28 | 2023-05-02 | 北京蓝色星际科技股份有限公司 | 一种数据传输方法、系统、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109640319B (zh) | 基于接入信息的调度方法、装置及电子设备 | |
US11412024B2 (en) | Method and apparatus for determining access path of content delivery network | |
CN106817381A (zh) | 数据处理方法及装置 | |
CN103369009B (zh) | 一种在线问答方法、设备及系统 | |
CN103888358B (zh) | 一种路由方法、装置、系统及网关设备 | |
CN107241270A (zh) | 报文处理方法及装置 | |
CN105959405A (zh) | Cdn视频调度系统、方法以及cdn调度服务器和客户端 | |
WO2020028602A3 (en) | Method and system for a network presence platform with intelligent routing | |
CN104601702B (zh) | 集群远程过程调用方法及系统 | |
KR20160027876A (ko) | 위치 정보 기반 서비스 처리 방법 및 장치 | |
KR102203208B1 (ko) | 전자기기 또는 애플리케이션 기반의 위치 결정 방법 및 장치 | |
CN107396423B (zh) | 网络接入方法和装置、存储介质及电子装置 | |
CN111325428A (zh) | 一种工单推送方法、装置及存储介质 | |
CN108494867B (zh) | 服务灰度处理的方法、装置、系统以及路由服务器 | |
CN102970652A (zh) | 一种面向路网的查询感知的位置隐私保护系统 | |
CN105553831A (zh) | 消息投放方法和系统 | |
CN104244223A (zh) | 一种联系人查询方法及装置 | |
CN106326293A (zh) | 基于动态网页的访问方法及装置 | |
CN106161519A (zh) | 一种信息获取方法和装置 | |
CN111600929B (zh) | 传输线路探测方法、路由策略生成方法及代理服务器 | |
CN104955153A (zh) | 一种发现资源的方法、装置及设备 | |
CN107517162B (zh) | 一种cdn缓存服务器的确定方法及装置 | |
CN106533891A (zh) | 一种基于群组的信息处理方法及装置 | |
CN105871972A (zh) | 一种视频资源的分布式缓存方法、装置及系统 | |
CN106211058A (zh) | 终端定位的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170609 |