CN106844375A - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN106844375A
CN106844375A CN201510883427.5A CN201510883427A CN106844375A CN 106844375 A CN106844375 A CN 106844375A CN 201510883427 A CN201510883427 A CN 201510883427A CN 106844375 A CN106844375 A CN 106844375A
Authority
CN
China
Prior art keywords
data
target
mark
server
storage server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510883427.5A
Other languages
English (en)
Inventor
张凤婷
蔡永保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510883427.5A priority Critical patent/CN106844375A/zh
Publication of CN106844375A publication Critical patent/CN106844375A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • G06F16/1824Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据处理方法及装置,本发明实施例支持当用户需要对分布式系统中存储的数据进行存储时,用户无需知晓需要处理的数据存储在分布式系统中的哪些存储服务器中,只需在处理服务器中输入需要处理的数据的数据标识以及对需要处理的数据进行处理的数据方式即可,处理服务器根据存储服务器的标识与数据标识之间的第一预设对应关系就可以确定出需要处理的数据存储在哪些服务器中,以及从确定出的存储服务器中获取需要处理的数据,进而可以实现对需要处理的数据进行处理的目的,不仅方便了用户,且极大地降低了用户的工作量和用户的成本。

Description

数据处理方法及装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据处理方法及装置。
背景技术
在大数据时代,人们常常利用分布式系统来存储数据以及处理数据。分布式系统可以包括一个处理服务器及多个存储服务器,处理服务器分别与每个存储服务器相连接,存储服务器用于存储数据,处理服务器可以从存储服务器中获取数据并对获取的数据进行处理。
其中,当用户需要对分布式系统中存储的某一数据进行处理时,用户需要在处理服务器中输入该数据的数据标识、存储该数据的存储服务器的标识、以及对该数据进行处理的处理方式;处理服务器需要首先确定出用户输入的存储服务器的标识对应的存储服务器,然后在该存储服务器中获取该数据标识对应的数据,最后以该处理方式对获取的该数据进行处理。
然而,发明人发现,用户必须知晓该数据存储在分布式系统中的哪个存储服务器中,否则处理服务器就无法获取到该数据,进而无法实现对该数据进行处理的目的。
发明内容
为克服相关技术中存在的问题,本发明提供一种数据处理方法及装置。
根据本发明实施例的第一方面,提供一种数据处理方法,所述方法包括:
接收目标数据标识和对目标数据标识对应的数据进行处理的目标处理方式;
在存储服务器的标识与数据标识之间的第一预设对应关系中查找与所述目标数据标识相对应的目标存储服务器的标识;
在所述目标存储服务器的标识对应的目标存储服务器中查找所述目标数据标识对应的数据;
当在所述目标存储服务器的标识对应的目标存储服务器中查找到所述目标数据标识对应的数据时,以所述目标处理方式对所述目标数据标识对应的数据进行处理。
进一步地,所述方法还包括:
当未在所述目标存储服务器的标识对应的目标存储服务器中查找到所述目标数据标识对应的数据时,在与所述目标存储服务器相对应的备份服务器中查找所述目标数据标识对应的数据;
当在与所述目标存储服务器相对应的备份服务器中查找到所述目标数据标识对应的数据时,执行所述以所述目标处理方式对所述目标数据标识对应的数据进行处理的步骤。
其中,所述在与所述目标存储服务器相对应的备份服务器中查找所述目标数据标识对应的数据,包括:
获取存储服务器的标识与备份服务器的标识之间的第二预设对应关系;
在所述第二预设对应关系中查找与所述目标存储服务器的标识相对应的备份服务器的标识;
在查找到的所述备份服务器的标识对应的备份服务器中查找所述目标数据标识对应的数据。
进一步地,所述方法还包括:
将所述目标存储服务器中存储的数据备份至所述备份服务器中;
将所述目标存储服务器的标识与所述备份服务器的标识作为一条记录存储在所述第二预设对应关系中。
进一步地,所述方法还包括:
检测是否接收到存储请求,所述存储请求至少携带所述目标数据标识对应的数据;
当接收到所述存储请求时,将所述目标数据标识对应的数据存储在所述存储服务器中;
将所述存储服务器的标识与所述目标数据标识作为一条记录存储在所述第一预设对应关系中。
进一步地,查找到的数据为多个,所述方法还包括:
判断查找到的多个数据的数据类型是否全部为预设数据类型;
当查找到的多个数据的数据类型不全部为预设数据类型时,将不为预设数据类型的数据的数据类型转换为预设数据类型,执行所述以所述目标处理方式对所述目标数据标识对应的数据进行处理的步骤。
根据本发明实施例的第二方面,提供一种数据处理装置,所述装置包括:
接收模块,用于接收目标数据标识和对目标数据标识对应的数据进行处理的目标处理方式;
第一查找模块,用于在存储服务器的标识与数据标识之间的第一预设对应关系中查找与所述目标数据标识相对应的目标存储服务器的标识;
第二查找模块,用于在所述目标存储服务器的标识对应的目标存储服务器中查找所述目标数据标识对应的数据;
处理模块,用于当在所述目标存储服务器的标识对应的目标存储服务器中查找到所述目标数据标识对应的数据时,以所述目标处理方式对所述目标数据标识对应的数据进行处理。
进一步地,所述装置还包括:
第三查找模块,用于当未在所述目标存储服务器的标识对应的目标存储服务器中查找到所述目标数据标识对应的数据时,在与所述目标存储服务器相对应的备份服务器中查找所述目标数据标识对应的数据;
所述处理模块还用于当在与所述目标存储服务器相对应的备份服务器中查找到所述目标数据标识对应的数据时,以所述目标处理方式对所述目标数据标识对应的数据进行处理。
其中,所述第三查找模块包括:
获取单元,用于获取存储服务器的标识与备份服务器的标识之间的第二预设对应关系;
第一查找单元,用于在所述第二预设对应关系中查找与所述目标存储服务器的标识相对应的备份服务器的标识;
第二查找单元,用于在查找到的所述备份服务器的标识对应的备份服务器中查找所述目标数据标识对应的数据。
进一步地,所述第三查找模块还包括:
备份单元,用于将所述目标存储服务器中存储的数据备份至所述备份服务器中;
存储单元,用于将所述目标存储服务器的标识与所述备份服务器的标识作为一条记录存储在所述第二预设对应关系中。
进一步地,所述装置还包括:
检测模块,用于检测是否接收到存储请求,所述存储请求至少携带所述目标数据标识对应的数据;
第一存储模块,用于当接收到所述存储请求时,将所述目标数据标识对应的数据存储在所述存储服务器中;
第二存储模块,用于将所述存储服务器的标识与所述目标数据标识作为一条记录存储在所述第一预设对应关系中。
进一步地,查找到的数据为多个,所述装置还包括:
判断模块,用于判断查找到的多个数据的数据类型是否全部为预设数据类型;
转换模块,用于当查找到的多个数据的数据类型不全部为预设数据类型时,将不为预设数据类型的数据的数据类型转换为预设数据类型,以所述目标处理方式对所述目标数据标识对应的数据进行处理。
其中,在现有技术中,如果用户不知晓需要处理的数据所处的存储服务器,则就无法准确告知处理服务器需要处理的数据存储在哪个存储服务器中,这样处理服务器就无法查找到需要处理的数据,进而无法对需要处理的数据进行处理。因此,每当要对需要处理的数据进行处理时,用户必须知晓需要处理的数据所处的存储服务器,然而这样对于用户而言工作量非常大,用户成本很高。尤其是当分布式系统中的存储服务器的数量非常多且每个存储服务器中存储的数据的数据量非常大时,用户要知晓每一条数据分别存储在哪个存储服务器中。
在本发明中,接收目标数据标识和对目标数据标识对应的数据进行处理的目标处理方式;在存储服务器的标识与数据标识之间的第一预设对应关系中查找与目标数据标识相对应的目标存储服务器的标识;在目标存储服务器的标识对应的目标存储服务器中查找目标数据标识对应的数据;当在目标存储服务器的标识对应的目标存储服务器中查找到目标数据标识对应的数据时,以目标处理方式对目标数据标识对应的数据进行处理。
本发明支持当用户需要对分布式系统中存储的数据进行存储时,用户无需知晓需要处理的数据存储在分布式系统中的哪些存储服务器中,只需在处理服务器中输入需要处理的数据的数据标识以及对需要处理的数据进行处理的数据方式即可,处理服务器根据存储服务器的标识与数据标识之间的第一预设对应关系就可以确定出需要处理的数据存储在哪些服务器中,以及从确定出的存储服务器中获取需要处理的数据,进而可以实现对需要处理的数据进行处理的目的,不仅方便了用户,且极大地降低了用户的工作量和用户的成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种分布式系统示意图;
图2是根据一示例性实施例示出的一种数据处理方法的流程图;
图3是根据一示例性实施例示出的一种数据处理方法的流程图;
图4是根据一示例性实施例示出的一种数据处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
分布式系统中可以包括一个或多个处理服务器,以及多个存储服务器。存储服务器用于存储数据,每个处理服务器与至少一个存储服务器相连接;每个存储服务器均与一个处理服务器相连接。
其中,当分布式系统中的处理服务器为一个时,处理服务器与分布式系统中的所有存储服务器分别相连接,处理服务器可以从存储服务器中获取数据并对获取的数据进行处理。
当分布式系统中的处理服务器为多个时,每个处理服务器与至少一个存储服务器相连接,每个存储服务器均与一个处理服务器相连接;每个处理服务器可以从与其相连接的存储服务器中获取数据,然后这些处理服务器将各自获取的数据汇聚至一个处理服务器中,该一个处理服务器对汇聚的所有数据进行处理。
其中,在本发明实施例中,以分布式系统中包括一个处理服务器为例进行举例说明,但不作为对本发明保护范围的限制。
图1是本发明实施例示出的一种分布式系统的示意图。如图1所示,分布式系统包括一个处理服务器1和多个存储服务器2,处理服务器1与多个存储服务器2分别相连接。
图2是根据一示例性实施例示出的一种数据处理方法的流程图,如图2所示,该方法用于图1所示的分布式系统中的处理服务器1中,该方法包括以下步骤。
在步骤S101中,接收目标数据标识和对目标数据标识对应的数据进行处理的目标处理方式;
其中,用户可以在分布式系统中存储数据,当用户需要在分布式系统中存储数据时,用户可以在分布式系统中的处理服务器中输入存储请求,并提交给处理服务器,该存储请求至少携带待存储数据,还可以携带有该用户的用户标识等信息。或者,用户通过其他设备向处理服务器发送存储请求,该存储请求至少携带待存储数据,还可以携带有该用户的用户标识等信息。
处理服务器检测是否接收到存储请求;当接收到该存储请求时,处理服务器从该存储请求中提取出待存储数据,将待存储数据存储在分布式系统中的一个存储服务器中。
在本发明实施例中,为了保障负载均衡,处理服务器会在分布式系统中的多个存储服务器中确定出一个当前存储量较小的存储服务器,然后将待存储数据存储在该存储量较小的存储服务器中,以使分布式系统中的所有存储服务器的存储量保持均衡。
其中,当用户需要对分布式系统中存储的某些数据进行处理时,用户可以在处理服务器中输入目标数据标识以及对目标数据标识对应的数据进行处理的处理方式,并提交给处理服务器;处理服务器接收用户输入的目标数据标识以及目标处理方式。
或者,用户通过其他设备向处理服务器发送目标数据标识以及对目标数据标识对应的数据进行处理的处理方式;处理服务器接收其他设备发送的目标数据标识以及目标处理方式。
其中,对目标数据标识对应的数据进行处理的处理方式可以为:在目标数据标识数据所处的存储服务器中删除目标数据标识对应的数据;或,将目标数据标识对应的数据添加至某一数组中;或,当目标数据标识对应的数据为多个时,计算该多个数据的平均值;或,将目标数据标识对应的数据从其所处的存储服务器中迁移至分布式系统中的另一个存储服务器等。
数据标识用于唯一标识数据,可以为数据的名称或编号等,本发明对此不加以限定。
在步骤S102中,在存储服务器的标识与数据标识之间的第一预设对应关系中查找与目标数据标识相对应的目标存储服务器的标识;
其中,当处理服务器将一条数据存储在分布式系统中的一个存储服务器中之后,处理服务器可以获取该数据的数据标识以及该存储服务器的标识;然后将该存储服务器的标识与该数据的数据标识作为一条记录存储在第一预设对应关系中。
在本发明实施例中,处理服务器的目的是从分布式系统中查找到目标数据标识对应的数据,而处理服务器能成功地从分布式系统中查找到目标数据标识对应的数据的前提是处理服务器事先已经将目标数据标识对应的数据存储在分布式系统中的一个存储服务器中,相应地,在处理服务器事先将目标数据标识对应的数据存储在分布式系统中的一个存储服务器后,处理服务器会将目标数据标识和存储目标数据对应的数据的存储服务器的标识作为一条记录存储在第一预设对应关系中。
因此,在本步骤中,处理服务器可以获取第一预设对应关系,并从第一预设对应关系中确定出目标数据标识对应的数据所处的存储服务器,这样就可以迅速确定出目标数据标识对应的数据存储在哪个存储服务器中;然后直接从确定出的存储服务器中查找目标数据标识对应的数据。
在步骤S103中,在目标存储服务器的标识对应的目标存储服务器中查找目标数据标识对应的数据;
其中,每个存储服务器中都存储了大量的数据,不同的数据的数据类型可能不一致,例如,在存储数据时,有些数据是整型数据,有些数据是浮点型数据,以及有些数据是字符型数据等。
这样,在本发明实施例中,在步骤S101中接收到的目标数据标识可能为一个也可能为多个,当接收到的目标数据标识为一个时,则在本步骤中查找到目标数据标识对应的数据也为一个,在查找到目标数据标识对应的数据后直接执行步骤S104。
而当接收到的目标数据标识为多个时,则在本步骤中查找到目标数据标识对应的数据也为多个,获取的这些数据的数据类型可能完全相同,也可能不完全相同。
因此,为了方便对查找到的数据进行运算,当查找到数据为多个时,判断查找到的多个数据的数据类型是否全部为预设数据类型;当查找到的数据的数据类型全部为预设数据类型时,则执行步骤S104。当查找到的数据的数据类型不全部为预设数据类型时,在查找到的多个数据中,将不是预设数据类型的数据的数据类型转换为预设数据类型,然后执行步骤S104。
当在目标存储服务器的标识对应的目标存储服务器中查找到目标数据标识对应的数据时,在步骤S104中,以目标处理方式对目标数据标识对应的数据进行处理。
其中,在现有技术中,如果用户不知晓需要处理的数据所处的存储服务器,则就无法准确告知处理服务器需要处理的数据存储在哪个存储服务器中,这样处理服务器就无法查找到需要处理的数据,进而无法对需要处理的数据进行处理。因此,每当要对需要处理的数据进行处理时,用户必须知晓需要处理的数据所处的存储服务器,然而这样对于用户而言工作量非常大,用户成本很高。尤其是当分布式系统中的存储服务器的数量非常多且每个存储服务器中存储的数据的数据量非常大时,用户要知晓每一条数据分别存储在哪个存储服务器中。
在本发明图2所示的实施例中,接收目标数据标识和对目标数据标识对应的数据进行处理的目标处理方式;在存储服务器的标识与数据标识之间的第一预设对应关系中查找与目标数据标识相对应的目标存储服务器的标识;在目标存储服务器的标识对应的目标存储服务器中查找目标数据标识对应的数据;当在目标存储服务器的标识对应的目标存储服务器中查找到目标数据标识对应的数据时,以目标处理方式对目标数据标识对应的数据进行处理。
本发明实施例支持当用户需要对分布式系统中存储的数据进行存储时,用户无需知晓需要处理的数据存储在分布式系统中的哪些存储服务器中,只需在处理服务器中输入需要处理的数据的数据标识以及对需要处理的数据进行处理的数据方式即可,处理服务器根据存储服务器的标识与数据标识之间的第一预设对应关系就可以确定出需要处理的数据存储在哪些服务器中,以及从确定出的存储服务器中获取需要处理的数据,进而可以实现对需要处理的数据进行处理的目的,不仅方便了用户,且极大地降低了用户的工作量和用户的成本。
其中,在前述实施例中,有时候分布式系统中的存储服务器可能因为宕机或其他原因无法正常工作。其中,当目标存储服务器无法工作时,处理服务器就无法从目标存储服务器中查找到目标数据标识对应的数据,查找不到目标数据标识对应的数据就无法对目标数据标识对应的数据进行处理,最终导致处理失败。
因此,为了提高对目标数据标识对应的数据进行处理成功率,在本发明另一实施例中,参见图3,该方法还包括:
当未在目标存储服务器的标识对应的目标存储服务器中查找到目标数据标识对应的数据时,在步骤S201中,在与目标存储服务器相对应的备份服务器中查找目标数据标识对应的数据;
在本发明实施例中,为了避免存储服务器由于宕机等原因无法正常工作而造成无法查找到目标存储服务器中存储的数据的问题,用户事先会在分布式系统中配置多个备份服务器,每个备份服务器分别与处理服务器相连接。
当配置完毕之后,对于任一存储服务器,处理服务器会将该存储服务器中存储的数据备份至一个备份服务器中;备份完毕之后,处理服务器将该存储服务器的标识与该备份服务器的标识存储在存储服务器的标识与备份服务器的标识之间的第二预设对应关系中。对于分布式系统中的其他每个存储服务器,均执行上述操作;以实现对分布式系统中的每个存储服务器中存储的数据都进行备份。
这样,在本步骤中,当由于目标存储服务器宕机等原因处理服务器未能在目标存储服务器中查找到数据标识对应的数据时,可以获取存储服务器的标识与备份服务器的标识之间的第二预设对应关系;在第二预设对应关系中查找与目标存储服务器的标识对应的备份服务器的标识;在查找到的备份服务器的标识对应的备份服务器中查找目标数据标识对应的数据。这样就增加了能够查找到目标数据标识对应的数据的成功率,从而提高了对目标数据标识对应的数据进行处理的成功率。
当在与目标存储服务器相对应的备份服务器中查找到目标数据标识对应的数据时,在步骤S104中,以目标处理方式对目标数据进行处理。
其中,当未在与目标存储服务器相对应的备份服务器中查找到目标数据标识对应的数据时,说明与目标存储服务器相对应的备份服务器可能因为宕机或其他原因无法正常工作,这样就无法成功查找到目标数据标识对应的数据,从而结束流程。
进一步地,可以向用户提示无法查找到目标数据标识对应的数据,以使用户获知处理服务器无法查找到目标数据标识对应的数据并无法对目标数据标识对应的数据进行处理。
图4是根据一示例性实施例示出的一种数据处理装置的框图。参照图4,该装置包括:
接收模块11,用于接收目标数据标识和对目标数据标识对应的数据进行处理的目标处理方式;
第一查找模块12,用于在存储服务器的标识与数据标识之间的第一预设对应关系中查找与所述目标数据标识相对应的目标存储服务器的标识;
第二查找模块13,用于在所述目标存储服务器的标识对应的目标存储服务器中查找所述目标数据标识对应的数据;
处理模块14,用于当在所述目标存储服务器的标识对应的目标存储服务器中查找到所述目标数据标识对应的数据时,以所述目标处理方式对所述目标数据标识对应的数据进行处理。
其中,在现有技术中,如果用户不知晓需要处理的数据所处的存储服务器,则就无法准确告知处理服务器需要处理的数据存储在哪个存储服务器中,这样处理服务器就无法查找到需要处理的数据,进而无法对需要处理的数据进行处理。因此,每当要对需要处理的数据进行处理时,用户必须知晓需要处理的数据所处的存储服务器,然而这样对于用户而言工作量非常大,用户成本很高。尤其是当分布式系统中的存储服务器的数量非常多且每个存储服务器中存储的数据的数据量非常大时,用户要知晓每一条数据分别存储在哪个存储服务器中。
在本发明图4所示的实施例中,接收目标数据标识和对目标数据标识对应的数据进行处理的目标处理方式;在存储服务器的标识与数据标识之间的第一预设对应关系中查找与目标数据标识相对应的目标存储服务器的标识;在目标存储服务器的标识对应的目标存储服务器中查找目标数据标识对应的数据;当在目标存储服务器的标识对应的目标存储服务器中查找到目标数据标识对应的数据时,以目标处理方式对目标数据标识对应的数据进行处理。
本发明实施例支持当用户需要对分布式系统中存储的数据进行存储时,用户无需知晓需要处理的数据存储在分布式系统中的哪些存储服务器中,只需在处理服务器中输入需要处理的数据的数据标识以及对需要处理的数据进行处理的数据方式即可,处理服务器根据存储服务器的标识与数据标识之间的第一预设对应关系就可以确定出需要处理的数据存储在哪些服务器中,以及从确定出的存储服务器中获取需要处理的数据,进而可以实现对需要处理的数据进行处理的目的,不仅方便了用户,且极大地降低了用户的工作量和用户的成本。
进一步地,所述装置还包括:
第三查找模块,用于当未在所述目标存储服务器的标识对应的目标存储服务器中查找到所述目标数据标识对应的数据时,在与所述目标存储服务器相对应的备份服务器中查找所述目标数据标识对应的数据;
所述处理模块14还用于当在与所述目标存储服务器相对应的备份服务器中查找到所述目标数据标识对应的数据时,以所述目标处理方式对所述目标数据标识对应的数据进行处理。
其中,所述第三查找模块包括:
获取单元,用于获取存储服务器的标识与备份服务器的标识之间的第二预设对应关系;
第一查找单元,用于在所述第二预设对应关系中查找与所述目标存储服务器的标识相对应的备份服务器的标识;
第二查找单元,用于在查找到的所述备份服务器的标识对应的备份服务器中查找所述目标数据标识对应的数据。
进一步地,所述第三查找模块还包括:
备份单元,用于将所述目标存储服务器中存储的数据备份至所述备份服务器中;
存储单元,用于将所述目标存储服务器的标识与所述备份服务器的标识作为一条记录存储在所述第二预设对应关系中。
进一步地,所述装置还包括:
检测模块,用于检测是否接收到存储请求,所述存储请求至少携带所述目标数据标识对应的数据;
第一存储模块,用于当接收到所述存储请求时,将所述目标数据标识对应的数据存储在所述存储服务器中;
第二存储模块,用于将所述存储服务器的标识与所述目标数据标识作为一条记录存储在所述第一预设对应关系中。
进一步地,查找到的数据为多个,所述装置还包括:
判断模块,用于判断查找到的多个数据的数据类型是否全部为预设数据类型;
转换模块,用于当查找到的多个数据的数据类型不全部为预设数据类型时,将不为预设数据类型的数据的数据类型转换为预设数据类型,以所述目标处理方式对所述目标数据标识对应的数据进行处理。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由所附的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种数据处理方法,其特征在于,所述方法包括:
接收目标数据标识和对目标数据标识对应的数据进行处理的目标处理方式;
在存储服务器的标识与数据标识之间的第一预设对应关系中查找与所述目标数据标识相对应的目标存储服务器的标识;
在所述目标存储服务器的标识对应的目标存储服务器中查找所述目标数据标识对应的数据;
当在所述目标存储服务器的标识对应的目标存储服务器中查找到所述目标数据标识对应的数据时,以所述目标处理方式对所述目标数据标识对应的数据进行处理。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当未在所述目标存储服务器的标识对应的目标存储服务器中查找到所述目标数据标识对应的数据时,在与所述目标存储服务器相对应的备份服务器中查找所述目标数据标识对应的数据;
当在与所述目标存储服务器相对应的备份服务器中查找到所述目标数据标识对应的数据时,执行所述以所述目标处理方式对所述目标数据标识对应的数据进行处理的步骤。
3.根据权利要求2所述的方法,其特征在于,所述在与所述目标存储服务器相对应的备份服务器中查找所述目标数据标识对应的数据,包括:
获取存储服务器的标识与备份服务器的标识之间的第二预设对应关系;
在所述第二预设对应关系中查找与所述目标存储服务器的标识相对应的备份服务器的标识;
在查找到的所述备份服务器的标识对应的备份服务器中查找所述目标数据标识对应的数据。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
将所述目标存储服务器中存储的数据备份至所述备份服务器中;
将所述目标存储服务器的标识与所述备份服务器的标识作为一条记录存储在所述第二预设对应关系中。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测是否接收到存储请求,所述存储请求至少携带所述目标数据标识对应的数据;
当接收到所述存储请求时,将所述目标数据标识对应的数据存储在所述存储服务器中;
将所述存储服务器的标识与所述目标数据标识作为一条记录存储在所述第一预设对应关系中。
6.根据权利要求1所述的方法,其特征在于,查找到的数据为多个,所述方法还包括:
判断查找到的多个数据的数据类型是否全部为预设数据类型;
当查找到的多个数据的数据类型不全部为预设数据类型时,将不为预设数据类型的数据的数据类型转换为预设数据类型,执行所述以所述目标处理方式对所述目标数据标识对应的数据进行处理的步骤。
7.一种数据处理装置,其特征在于,所述装置包括:
接收模块,用于接收目标数据标识和对目标数据标识对应的数据进行处理的目标处理方式;
第一查找模块,用于在存储服务器的标识与数据标识之间的第一预设对应关系中查找与所述目标数据标识相对应的目标存储服务器的标识;
第二查找模块,用于在所述目标存储服务器的标识对应的目标存储服务器中查找所述目标数据标识对应的数据;
处理模块,用于当在所述目标存储服务器的标识对应的目标存储服务器中查找到所述目标数据标识对应的数据时,以所述目标处理方式对所述目标数据标识对应的数据进行处理。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第三查找模块,用于当未在所述目标存储服务器的标识对应的目标存储服务器中查找到所述目标数据标识对应的数据时,在与所述目标存储服务器相对应的备份服务器中查找所述目标数据标识对应的数据;
所述处理模块还用于当在与所述目标存储服务器相对应的备份服务器中查找到所述目标数据标识对应的数据时,以所述目标处理方式对所述目标数据标识对应的数据进行处理。
9.根据权利要求8所述的装置,其特征在于,所述第三查找模块包括:
获取单元,用于获取存储服务器的标识与备份服务器的标识之间的第二预设对应关系;
第一查找单元,用于在所述第二预设对应关系中查找与所述目标存储服务器的标识相对应的备份服务器的标识;
第二查找单元,用于在查找到的所述备份服务器的标识对应的备份服务器中查找所述目标数据标识对应的数据。
10.根据权利要求9所述的装置,其特征在于,所述第三查找模块还包括:
备份单元,用于将所述目标存储服务器中存储的数据备份至所述备份服务器中;
存储单元,用于将所述目标存储服务器的标识与所述备份服务器的标识作为一条记录存储在所述第二预设对应关系中。
11.根据权利要求7所述的装置,其特征在于,所述装置还包括:
检测模块,用于检测是否接收到存储请求,所述存储请求至少携带所述目标数据标识对应的数据;
第一存储模块,用于当接收到所述存储请求时,将所述目标数据标识对应的数据存储在所述存储服务器中;
第二存储模块,用于将所述存储服务器的标识与所述目标数据标识作为一条记录存储在所述第一预设对应关系中。
12.根据权利要求7所述的装置,其特征在于,查找到的数据为多个,所述装置还包括:
判断模块,用于判断查找到的多个数据的数据类型是否全部为预设数据类型;
转换模块,用于当查找到的多个数据的数据类型不全部为预设数据类型时,将不为预设数据类型的数据的数据类型转换为预设数据类型,以所述目标处理方式对所述目标数据标识对应的数据进行处理。
CN201510883427.5A 2015-12-04 2015-12-04 数据处理方法及装置 Pending CN106844375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510883427.5A CN106844375A (zh) 2015-12-04 2015-12-04 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510883427.5A CN106844375A (zh) 2015-12-04 2015-12-04 数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN106844375A true CN106844375A (zh) 2017-06-13

Family

ID=59150166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510883427.5A Pending CN106844375A (zh) 2015-12-04 2015-12-04 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN106844375A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105610971A (zh) * 2016-01-29 2016-05-25 北京京东尚科信息技术有限公司 一种负载均衡方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376025A (zh) * 2013-08-16 2015-02-25 华为技术有限公司 分布式数据库的数据存储方法和装置
CN104765749A (zh) * 2014-01-07 2015-07-08 阿里巴巴集团控股有限公司 一种数据存储方法及装置
US20150278307A1 (en) * 2014-03-31 2015-10-01 Varonis Systems, Ltd. Delegating portions of an index of an enterprise
US20150317231A1 (en) * 2010-03-31 2015-11-05 Cloudera, Inc. Collecting and aggregating log data with fault tolerance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150317231A1 (en) * 2010-03-31 2015-11-05 Cloudera, Inc. Collecting and aggregating log data with fault tolerance
CN104376025A (zh) * 2013-08-16 2015-02-25 华为技术有限公司 分布式数据库的数据存储方法和装置
CN104765749A (zh) * 2014-01-07 2015-07-08 阿里巴巴集团控股有限公司 一种数据存储方法及装置
US20150278307A1 (en) * 2014-03-31 2015-10-01 Varonis Systems, Ltd. Delegating portions of an index of an enterprise

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105610971A (zh) * 2016-01-29 2016-05-25 北京京东尚科信息技术有限公司 一种负载均衡方法及装置
CN105610971B (zh) * 2016-01-29 2019-07-02 北京京东尚科信息技术有限公司 一种负载均衡方法及装置

Similar Documents

Publication Publication Date Title
CN108470298B (zh) 资源数值转移的方法、装置和系统
US11509505B2 (en) Method and apparatus for operating smart network interface card
KR970071321A (ko) 하나의 어드레스 공간내에서 수행중인 프로그램이 다른 어드레스 공간에서의 원격절차 또는 프로시져의 처리를 호출할 수 있게 하는 스터브 정보의 동적 로딩을 수행하기 위한 장치 및 방법
US7971110B2 (en) System and method for testing a serial attached small computer system interface
CN107483260A (zh) 故障处理方法及装置、电子设备
CN106155925A (zh) 一种获取数据的方法及装置
CN105117272A (zh) 一种操作系统管理器、虚拟机和操作系统间切换方法
CN109144782A (zh) 一种数据恢复方法及装置
CN105847320A (zh) 一种资源获取方法和装置
CN110825756A (zh) 数据同步方法、装置、存储介质及设备
CN106844375A (zh) 数据处理方法及装置
CN113132522A (zh) 测试方法、装置、服务器及介质
CN107645727B (zh) 一种测试基站的方法及装置
US11121912B2 (en) Method and apparatus for processing information
CN114691445A (zh) 集群故障处理方法、装置、电子设备及可读存储介质
CN107340974B (zh) 一种虚拟磁盘的迁移方法及迁移装置
CN109376048A (zh) 一种触摸屏的测试方法及设备
CN110618884A (zh) 故障监控方法、虚拟化的网络功能模块管理器和存储介质
CN113849356A (zh) 一种设备测试方法、装置、电子设备和存储介质
CN113256174A (zh) 异常订单处理方法、装置、存储介质及设备
CN107885537A (zh) 配置文件加载方法和装置
CN107704557B (zh) 操作互斥数据的处理方法、装置、计算机设备和存储介质
CN110275863A (zh) 文件移动方法、装置及存储介质
CN114844859B (zh) 域名配置方法、装置、电子设备及存储介质
CN114297058B (zh) 一种测试方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200922

Address after: Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200922

Address after: Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: Grand Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613

RJ01 Rejection of invention patent application after publication