CN105610903A - 分布式系统的数据节点升级方法及装置 - Google Patents
分布式系统的数据节点升级方法及装置 Download PDFInfo
- Publication number
- CN105610903A CN105610903A CN201510954639.8A CN201510954639A CN105610903A CN 105610903 A CN105610903 A CN 105610903A CN 201510954639 A CN201510954639 A CN 201510954639A CN 105610903 A CN105610903 A CN 105610903A
- Authority
- CN
- China
- Prior art keywords
- back end
- copy data
- data
- upgrading
- business
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000004519 manufacturing process Methods 0.000 claims description 17
- 238000005096 rolling process Methods 0.000 claims description 14
- 241001347978 Major minor Species 0.000 claims description 11
- 238000011084 recovery Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 3
- 108010050014 systemin Proteins 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- JEIPFZHSYJVQDO-UHFFFAOYSA-N ferric oxide Chemical class O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 230000001846 repelling effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- ONSIBMFFLJKTPT-UHFFFAOYSA-L zinc;2,3,4,5,6-pentachlorobenzenethiolate Chemical compound [Zn+2].[S-]C1=C(Cl)C(Cl)=C(Cl)C(Cl)=C1Cl.[S-]C1=C(Cl)C(Cl)=C(Cl)C(Cl)=C1Cl ONSIBMFFLJKTPT-UHFFFAOYSA-L 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
- H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式系统的数据节点升级方法及装置。在分布式系统中,针对一份数据,由多个数据节点分别用于备份该份数据的主副本数据和多个从副本数据,该方法包括:接收升级指令,从多个数据节点中选择待升级的第一数据节点;将第一数据节点的业务负载转移给至少一个第二数据节点,第二数据节点备份有对应于第一数据节点中主副本数据的从副本数据;对第一数据节点进行下线处理,以在线下完成对第一数据节点的升级,从而实现了分布式系统的平滑升级,避免了数据节点关停和启动对分布式系统的业务服务造成的影响。
Description
技术领域
本发明涉及计算机网络技术领域,具体涉及一种分布式系统的数据节点升级方法及装置。
背景技术
分布式存储就是将数据分散存储在多台独立的设备上。分布式系统为具有很多数据节点的集群系统,每个数据节点可以理解为一个数据存储服务器。在做数据存储时,将若干条数据存储到对应的数据节点中,这是分布式系统核心的概念。
在现有技术中,当需要对分布式系统的数据节点进行升级时,一般采用的方法是将数据节点关停,停止该数据节点对外的业务服务,也就是说将数据节点下线,在线下对数据节点进行升级,在数据节点升级完成后,再说将数据节点启动,也就是将数据节点上线,使升级后的数据节点对外提供业务服务,然而,在分布式系统的数据节点上一般备份有不同的主副本数据,数据节点在升级后需要重新启动,重新决策数据节点的主副本数据,该决策过程需要耗费很长时间,而且数据节点的启停,导致数据节点的业务服务延时或错误等,从而对分布式系统的业务服务造成影响。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的分布式系统的数据节点升级方法和相应的分布式系统的数据节点升级装置。
根据本发明的一个方面,提供了一种分布式系统的数据节点升级方法,在分布式系统中,针对一份数据,由多个数据节点分别用于备份该份数据的主副本数据和多个从副本数据,方法包括:
接收升级指令,从多个数据节点中选择待升级的第一数据节点;
将第一数据节点的业务负载转移给至少一个第二数据节点,第二数据节点备份有对应于第一数据节点中主副本数据的从副本数据;
对第一数据节点进行下线处理,以在线下完成对第一数据节点的升级。
根据本发明的另一方面,提供了一种分布式系统的数据节点升级装置,在分布式系统中,针对一份数据,由多个数据节点分别用于备份该份数据的主副本数据和多个从副本数据,装置包括:
选择模块,适于接收升级指令,从多个数据节点中选择待升级的第一数据节点;
转移模块,适于将第一数据节点的业务负载转移给至少一个第二数据节点,第二数据节点备份有对应于第一数据节点中主副本数据的从副本数据;
升级模块,适于对第一数据节点进行下线处理,以在线下完成对第一数据节点的升级。
根据本发明提供的方案,接收升级指令,从多个数据节点中选择待升级的第一数据节点;将第一数据节点的业务负载转移给至少一个第二数据节点,第二数据节点备份有对应于第一数据节点中主副本数据的从副本数据;对第一数据节点进行下线处理,以在线下完成对第一数据节点的升级,从而实现了分布式系统的平滑升级,避免了数据节点关停和启动对分布式系统的业务服务造成的影响。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的分布式系统的数据节点升级方法的流程示意图;
图2示出了根据本发明另一个实施例的分布式系统的数据节点升级方法的流程示意图;
图3示出了根据本发明一个实施例的分布式系统的数据节点升级装置的功能框图;
图4示出了根据本发明另一个实施例的分布式系统的数据节点升级装置的功能框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
在分布式系统中,针对一份数据,由多个数据节点分别用于备份该份数据的主副本数据和多个从副本数据,也就是说将该份数据的主副本数据和多个从副本数据分别存储于多个不同的数据节点上。针对不同的数据,在分布式系统的每个数据节点上既可能存储有主副本数据也可能存储有从副本数据,一般情况下,由数据节点的主副本数据提供业务服务。
图1示出了根据本发明一个实施例的分布式系统的数据节点升级方法的流程示意图。如图1所示,该方法包括以下步骤:
步骤S100,接收升级指令,从多个数据节点中选择待升级的第一数据节点。
具体地,在接收到升级指令后,开始对分布式系统的数据节点进行升级,为了实现分布式系统的平滑升级,从分布式系统的多个数据节点中选择待升级的数据节点,具体地,可以从多个数据节点中随机选择待升级的数据节点,也可以根据多个数据节点的负载情况选择要进行升级的数据节点,作为待升级的第一数据节点,这里对如何选择待升级的第一数据节点选择不做具体限定。
步骤S101,将第一数据节点的业务负载转移给至少一个第二数据节点,第二数据节点备份有对应于第一数据节点中主副本数据的从副本数据。
在本发明实施例中,将第一数据节点的业务负载转移给至少一个第二数据节点,指由至少一个第二数据节点代替第一数据节点提供业务访问服务,将对第一数据节点的主副本数据的业务访问转移给至少一个第二数据节点的从副本数据。
在分布式系统中,第一数据节点可能存储有不同数据的主副本数据,因此,在进行业务负载转移时,需要将第一数据节点存储的所有主副本数据所提供的业务访问都转移给主副本数据的从副本数据。
针对一份数据,会有多个从副本数据,且多个从副本数据分别存储于不同的数据节点,因此,需要查找到备份有对应于第一数据节点的所有主副本数据的从副本数据的数据节点,从中选择承担第一数据节点的业务负载的至少一个第二数据节点。例如,针对一份数据,可以由3个数据节点用于备份该份数据的主副本数据和2个从副本数据,若第一数据节点备份有3份数据的主副本数据,则这3份数据的从副本数据至少备份于两个数据节点上,在进行业务负载转移时,一般是转移至一个从副本数据,因此,需要从至少两个数据节点中选择承担第一数据节点的业务负载的数据节点,作为至少一个第二数据节点。
这里将第一数据节点的业务负载转移给至少一个第二数据节点,能够实现继续提供第一数据节点相应的业务服务,而不会对分布式系统的业务服务造成影响,从而避免了数据节点启停造成业务服务超时。
步骤S102,对第一数据节点进行下线处理,以在线下完成对第一数据节点的升级。
在利用步骤S101将第一数据节点的业务负载转移给至少一个第二数据节点后,第一数据节点仅备份有数据的从副本数据,在上文提到了,业务服务一般是由主副本数据提供,也就说,第一数据节点与分布式系统的业务脱离,可以对第一数据节点进行下线处理,使第一数据节点下线,并在线下对第一数据节点进行升级。
根据本发明上述实施例提供的方法,接收升级指令,从多个数据节点中选择待升级的第一数据节点;将第一数据节点的业务负载转移给至少一个第二数据节点,第二数据节点备份有对应于第一数据节点中主副本数据的从副本数据;对第一数据节点进行下线处理,以在线下完成对第一数据节点的升级,从而实现了分布式系统的平滑升级,避免了数据节点关停和启动对分布式系统的业务服务造成的影响。
图2示出了根据本发明另一个实施例的分布式系统的数据节点升级方法的流程示意图。如图2所示,该方法包括以下步骤:
步骤S200,接收升级指令,对分布式系统的数据节点的业务负载进行分析,将业务负载压力最小的数据节点选择为待升级的第一数据节点。
在本发明实施例中,业务负载指对数据节点的主副本数据的访问量。在分布式系统中,每个数据节点对外提供的业务服务并不相同,有些数据节点的业务负载压力大,有些数据节点的业务负载压力小,在接收到升级指令后,对分布式系统的数据节点的业务负载进行分析,将业务负载压力最小的数据节点选择为待升级的第一数据节点。本发明是对分布式系统的全部数据节点进行升级,因此,待升级的第一数据节点是未升级的数据节点中的业务负载压力最小的数据节点,选择业务负载压力最小的数据节点,可以避免因数据节点升级,将业务服务转移给其他数据节点而给分布式系统造成影响。
步骤S201,根据第一数据节点的主副本数据标识,在分布式系统的数据节点中查找备份有对应于第一数据节点中主副本数据的从副本数据的数据节点。
在分布式系统中,一份数据,由多个数据节点分别用于备份该份数据的主副本数据和多个从副本数据,并且为主副本数据和从副本数据设置了相同的标识,以便于根据标识查找主副本数据或从副本数据,针对不同的数据,设置了不同的标识,从而可以准确查找到数据的主副本数据或从副本数据,节省查找时间,提高了升级效率。
在根据步骤S200选择出待升级的第一数据节点后,需要将第一数据节点的主副本数据的业务服务转移给其他数据节点的从副本数据,当然,并不是将第一数据节点的主副本数据的业务服务转移给任意数据节点的从副本数据,而是转移给备份有对应于第一数据节点中主副本数据的从副本数据的数据节点,此外,第一数据节点可能备份有不同数据的主副本数据,若要对该第一数据节点进行升级,就需要将第一数据节点中所有主副本数据的业务服务转移给其他数据节点的从副本数据。因此,需要根据第一数据节点的主副本数据标识,在分布式系统的数据节点中查找备份有对应于第一数据节点中所有主副本数据的从副本数据的数据节点。
步骤S202,对备份有对应于第一数据节点中主副本数据的从副本数据的数据节点的业务负载进行分析,根据负载均衡策略从其中选择出至少一个第二数据节点。
利用步骤S201查找到备份有对应于第一数据节点中主副本数据的从副本数据的数据节点,然而,并不是将第一数据节点的业务负载转移给查找到的全部数据节点,例如,针对一份数据,有一个数据节点备份有主副本数据和两个数据节点备份有从副本数据,在将第一数据节点的该份数据的业务负载转移时,仅能转移给备份有从副本数据的两个数据节点中的一个。
在本发明实施例中,通过对备份有对应于第一数据节点中主副本数据的从副本数据的数据节点的业务负载进行分析,分析数据节点的业务负载压力大小,根据负载均衡策略从其中选择出至少一个第二数据节点,其中,负载均衡策略指分布式系统的数据节点的业务负载压力均衡,而不会出现有些数据节点的业务负载压力很大,而有些数据节点的业务负载压力很小的情况,这里不仅考虑到备份有对应于第一数据节点中主副本数据的从副本数据的数据节点的业务负载,还要考虑到业务负载转移后,数据节点的业务负载情况。本步骤中选择的至少一个第二数据节点是业务负载压力较小的数据节点。这里根据负载均衡策略选择至少一个第二数据节点能够克服随意转移业务负载造成的加重业务负载压力大的数据节点的业务负担的缺陷。
由于第一数据节点可能备份有多个主副本数据,因此根据负载均衡策略选择的数据节点也可能为多个。这里将第一数据节点的业务负载转移给至少一个第二数据节点,能够实现继续提供第一数据节点相应的业务服务,而不会对分布式系统的业务服务造成影响,从而避免了数据节点启停造成业务服务超时。
步骤S203,将至少一个第二数据节点的从副本数据转换为主副本数据,将第一数据节点的对应主副本数据转换为从副本数据。
在根据步骤S202选择出至少一个第二数据节点后,需要将第一数据节点的业务负载转移给至少一个第二数据节点,在分布式系统中,一般由主副本数据提供业务负载,而至少一个第二数据节点是备份有第一数据节点的主副本数据对应的从副本数据的数据节点,因此,需要将至少一个第二数据节点的从副本数据转换为主副本数据,将第一数据节点的对应主副本数据转换为从副本数据,从而将业务负载转移给至少一个第二数据节点。
步骤S204,对第一数据节点进行下线处理,以在线下完成对第一数据节点的升级。
利用步骤S203将第一数据节点的业务负载转移给至少一个第二数据节点后,第一数据节点将不再提供业务服务,此时,即可将第一下线,在线下对第一数据节点进行升级。
虽然上文提到了一般由数据节点的主副本数据提供业务服务,但也可能存在访问数据节点的从副本数据的情况,因此,方法还包括:
步骤S205,将针对第一数据节点中从副本数据的访问请求重新定位到其他数据节点中与从副本数据对应的主副本数据/从副本数据。
具体指,在用户对第一数据节点中从副本数据发起访问请求后,将针对第一数据节点中从副本数据的访问请求重新定位到其他数据节点中与从副本数据对应的主副本数据/从副本数据,使定位后的其他数据节点中与从副本数据对应的主副本数据/从副本数据提供业务服务,其中,第一数据节点中从副本数据可以是业务负载转移前,第一数据节点所备份的从副本数据,也可以是业务负载转移后得到的从副本数据。
步骤S206,在第一数据节点完成升级后,对升级后的第一数据节点进行上线处理。
在线下完成对第一数据节点升级后,需要将第一数据节点上线,以使第一数据节点继续提供业务服务。
在升级后的第一数据节点上线后,需要将至少一个第三数据节点的业务负载转移给升级后的第一数据节点,以使升级后的第一数据节点恢复提供业务服务,其中,升级后的第一数据节点备份有对应于第三数据节点中主副本数据的从副本数据。
在本发明实施例中,将至少一个第三数据节点的业务负载转移给第一数据节点,指由第一数据节点代替至少一个第三数据节点提供业务服务,将至少一个第三数据节点的主副本数据的业务服务转移给第一数据节点的从副本数据。具体可以通过以下方法步骤实现:
步骤S207,根据升级后的第一数据节点的从副本数据标识,在分布式系统的数据节点中查找备份有对应于升级后的第一数据节点中从副本数据的主副本数据的数据节点。
在将第一数据节点上线后,需要将其他数据节点的业务负载转移给第一数据节点,第一数据节点才可以提供业务服务。
在将数据备份于数据节点上时,为主副本数据和从副本数据设置了相同的标识,因此,可以根据第一数据节点的从副本数据标识,在分布式系统的数据节点中查找备份有第一数据节点的从副本数据对应的主副本数据的数据节点。
步骤S208,对备份有对应于升级后的第一数据节点中从副本数据的主副本数据的数据节点的业务负载进行分析,根据负载均衡策略从其中选择出至少一个第三数据节点。
在根据步骤S207查找备份有对应于升级后的第一数据节点中从副本数据的主副本数据的数据节点后,对这些数据节点的业务负载进行分析,确定这些数据节点的业务负载情况,根据负载均衡策略从中选择业务负载压力较大的数据节点作为第三数据节点,从而减轻第三数据节点的业务负载,使得分布式系统的业务负载压力均衡。
步骤S209,将至少一个第三数据节点的主副本数据转换为从副本数据,将升级后的第一数据节点的对应从副本数据转换为主副本数据。
在根据步骤S208选择出至少一个第三数据节点后,需要将至少一个第三数据节点的业务负载转移给第一数据节点,在分布式系统中,一般由主副本数据提供业务负载,而至少一个第三数据节点是备份有对应于第一数据节点中从副本数据的主副本数据的数据节点,因此,需要将至少一个第三数据节点的主副本数据转换为从副本数据,将升级后的第一数据节点的对应从副本数据转换为主副本数据,从而将业务负载转移给第一数据节点,以使已升级数据节点恢复提供业务服务。
根据本发明上述实施例提供的方法,在对分布式系统的数据节点的业务负载进行分析后,将业务负载压力最小的数据节点选择为待升级的第一数据节点,可以避免对分布式系统的业务服务造成影响,根据第一数据节点的主副本数据标识,在分布式系统的数据节点中查找备份有对应于第一数据节点中主副本数据的从副本数据的数据节点,可以准确查找到数据的主副本数据或从副本数据,节省查找时间,提高了升级效率,对备份有对应于第一数据节点中主副本数据的从副本数据的数据节点的业务负载进行分析,根据负载均衡策略从其中选择出至少一个第二数据节点,能够克服随意转移业务负载造成的加重业务负载压力大的数据节点的业务负担的缺陷,能够实现继续提供第一数据节点相应的业务服务,而不会对分布式系统的业务服务造成影响,从而避免了数据节点启停造成业务服务超时,在第一数据节点完成升级后,对第一数据节点进行上线处理,根据第一数据节点的从副本数据标识,在分布式系统的数据节点中查找备份有对应于第一数据节点中从副本数据的主副本数据的数据节点,对备份有对应于第一数据节点中从副本数据的主副本数据的数据节点的业务负载进行分析,根据负载均衡策略从其中选择出至少一个第三数据节点,从而减轻第三数据节点的业务负载,实现了分布式系统的平滑升级。
图3示出了根据本发明一个实施例的分布式系统的数据节点升级装置的功能框图。如图3所示,该装置包括:选择模块300、转移模块310、升级模块320。
选择模块300,适于接收升级指令,从多个数据节点中选择待升级的第一数据节点。
转移模块310,适于将第一数据节点的业务负载转移给至少一个第二数据节点,第二数据节点备份有对应于第一数据节点中主副本数据的从副本数据。
升级模块320,适于对第一数据节点进行下线处理,以在线下完成对第一数据节点的升级。
根据本发明上述实施例提供的装置,接收升级指令,从多个数据节点中选择待升级的第一数据节点;将第一数据节点的业务负载转移给至少一个第二数据节点,第二数据节点备份有对应于第一数据节点中主副本数据的从副本数据;对第一数据节点进行下线处理,以在线下完成对第一数据节点的升级,从而实现了分布式系统的平滑升级,避免了数据节点关停和启动对分布式系统的业务服务造成的影响。
图4示出了根据本发明另一个实施例的分布式系统的数据节点升级装置的功能框图。如图4所示,该装置包括:选择模块400、转移模块410、升级模块420。
选择模块400,适于接收升级指令,从多个数据节点中选择待升级的第一数据节点。
转移模块410,适于将第一数据节点的业务负载转移给至少一个第二数据节点,第二数据节点备份有对应于第一数据节点中主副本数据的从副本数据。
升级模块420,适于对第一数据节点进行下线处理,以在线下完成对第一数据节点的升级。
可选地,装置还包括:处理模块430,适于在第一数据节点完成升级后,对升级后的第一数据节点进行上线处理;
转移模块410进一步适于:将至少一个第三数据节点的业务负载转移给升级后的第一数据节点,以使升级后的第一数据节点恢复提供业务服务,其中,升级后的第一数据节点备份有对应于第三数据节点中主副本数据的从副本数据。
可选地,转移模块410进一步适于:将至少一个第二数据节点的从副本数据转换为主副本数据,将第一数据节点的对应主副本数据转换为从副本数据。
可选地,装置还包括:查找模块440和分析模块450。
查找模块440,适于根据第一数据节点的主副本数据标识,在分布式系统的数据节点中查找备份有对应于第一数据节点中主副本数据对应的从副本数据的数据节点。
分析模块450,适于对备份有对应于第一数据节点中主副本数据的从副本数据的数据节点的业务负载进行分析,根据负载均衡策略从其中选择出至少一个第二数据节点。
可选地,转移模块410进一步适于:将至少一个第三数据节点的主副本数据转换为从副本数据,将升级后的第一数据节点的对应从副本数据转换为主副本数据。
可选地,查找模块440进一步适于:根据升级后的第一数据节点的从副本数据标识,在分布式系统的数据节点中查找备份有对应于升级后的第一数据节点中从副本数据的主副本数据的数据节点;
分析模块450进一步适于:对备份有对应于升级后的第一数据节点中从副本数据的主副本数据的数据节点的业务负载进行分析,根据负载均衡策略从其中选择出至少一个第三数据节点。
可选地,选择模块400进一步适于:对分布式系统的数据节点的业务负载进行分析,将业务负载量最小的数据节点选择为待升级的第一数据节点。
可选地,装置还包括:定位模块460,适于将针对第一数据节点中从副本数据的访问请求重新定位到其他数据节点中与从副本数据对应的主副本数据/从副本数据。
根据本发明上述实施例提供的装置,在对分布式系统的数据节点的业务负载进行分析后,将业务负载压力最小的数据节点选择为待升级的第一数据节点,可以避免对分布式系统的业务服务造成影响,根据第一数据节点的主副本数据标识,在分布式系统的数据节点中查找备份有对应于第一数据节点中主副本数据的从副本数据的数据节点,可以准确查找到数据的主副本数据或从副本数据,节省查找时间,提高了升级效率,对备份有对应于第一数据节点中主副本数据的从副本数据的数据节点的业务负载进行分析,根据负载均衡策略从其中选择出至少一个第二数据节点,能够克服随意转移业务负载造成的加重业务负载压力大的数据节点的业务负担的缺陷,能够实现继续提供第一数据节点相应的业务服务,而不会对分布式系统的业务服务造成影响,从而避免了数据节点启停造成业务服务超时,在第一数据节点完成升级后,对第一数据节点进行上线处理,根据第一数据节点的从副本数据标识,在分布式系统的数据节点中查找备份有对应于第一数据节点中从副本数据的主副本数据的数据节点,对备份有对应于第一数据节点中从副本数据的主副本数据的数据节点的业务负载进行分析,根据负载均衡策略从其中选择出至少一个第三数据节点,从而减轻第三数据节点的业务负载,实现了分布式系统的平滑升级。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的分布式系统的数据节点升级设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了:A1、一种分布式系统的数据节点升级方法,在所述分布式系统中,针对一份数据,由多个数据节点分别用于备份该份数据的主副本数据和多个从副本数据,所述方法包括:
接收升级指令,从多个数据节点中选择待升级的第一数据节点;
将所述第一数据节点的业务负载转移给至少一个第二数据节点,所述第二数据节点备份有对应于所述第一数据节点中主副本数据的从副本数据;
对所述第一数据节点进行下线处理,以在线下完成对所述第一数据节点的升级。
A2、根据A1所述的方法,其中,所述方法还包括:
在所述第一数据节点完成升级后,对升级后的所述第一数据节点进行上线处理,将至少一个第三数据节点的业务负载转移给升级后的所述第一数据节点,以使升级后的所述第一数据节点恢复提供业务服务,其中,升级后的所述第一数据节点备份有对应于所述第三数据节点中主副本数据的从副本数据。
A3、根据A2所述的方法,其中,所述将第一数据节点的业务负载转移给至少一个第二数据节点进一步包括:
将所述至少一个第二数据节点的从副本数据转换为主副本数据,将所述第一数据节点的对应主副本数据转换为从副本数据。
A4、根据A2或A3所述的方法,其中,在将所述第一数据节点的业务负载转移给至少一个第二数据节点之前,所述方法还包括:
根据所述第一数据节点的主副本数据标识,在分布式系统的数据节点中查找备份有对应于所述第一数据节点中主副本数据的从副本数据的数据节点;
对所述备份有对应于所述第一数据节点中主副本数据的从副本数据的数据节点的业务负载进行分析,根据负载均衡策略从其中选择出至少一个第二数据节点。
A5、根据A2-A4任一项所述的方法,其中,所述将至少一个第三数据节点的业务负载转移给升级后的所述第一数据节点进一步包括:
将所述至少一个第三数据节点的主副本数据转换为从副本数据,将升级后的所述第一数据节点的对应从副本数据转换为主副本数据。
A6、根据A4所述的方法,其中,在将至少一个第三数据节点的业务负载转移给升级后的所述第一数据节点之前,所述方法还包括:
根据升级后的所述第一数据节点的从副本数据标识,在分布式系统的数据节点中查找备份有对应于升级后的所述第一数据节点中从副本数据的主副本数据的数据节点;
对所述备份有对应于升级后的所述第一数据节点中从副本数据的主副本数据的数据节点的业务负载进行分析,根据负载均衡策略从其中选择出至少一个第三数据节点。
A7、根据A1-A6任一项所述的方法,其中,所述从多个数据节点中选择待升级的第一数据节点进一步包括:
对所述分布式系统的数据节点的业务负载进行分析,将业务负载量最小的数据节点选择为待升级的第一数据节点。
A8、根据A1-A7任一项所述的方法,其中,在升级后的所述第一数据节点上线之前,所述方法还包括:
将针对所述第一数据节点中从副本数据的访问请求重新定位到其他数据节点中与所述从副本数据对应的主副本数据/从副本数据。
本发明还公开了:B9、一种分布式系统的数据节点升级装置,在所述分布式系统中,针对一份数据,由多个数据节点分别用于备份该份数据的主副本数据和多个从副本数据,所述装置包括:
选择模块,适于接收升级指令,从多个数据节点中选择待升级的第一数据节点;
转移模块,适于将所述第一数据节点的业务负载转移给至少一个第二数据节点,所述第二数据节点备份有对应于所述第一数据节点中主副本数据的从副本数据;
升级模块,适于对所述第一数据节点进行下线处理,以在线下完成对所述第一数据节点的升级。
B10、根据B9所述的装置,其中,所述装置还包括:
处理模块,适于在所述第一数据节点完成升级后,对升级后的所述第一数据节点进行上线处理;
所述转移模块进一步适于:将至少一个第三数据节点的业务负载转移给升级后的所述第一数据节点,以使升级后的所述第一数据节点恢复提供业务服务,其中,升级后的所述第一数据节点备份有对应于所述第三数据节点中主副本数据的从副本数据。
B11、根据B10所述的装置,其中,所述转移模块进一步适于:将所述至少一个第二数据节点的从副本数据转换为主副本数据,将所述第一数据节点的对应主副本数据转换为从副本数据。
B12、根据B10或B11所述的装置,其中,所述装置还包括:
查找模块,适于根据所述第一数据节点的主副本数据标识,在分布式系统的数据节点中查找备份有对应于所述第一数据节点中主副本数据对应的从副本数据的数据节点;
分析模块,适于对所述备份有对应于所述第一数据节点中主副本数据的从副本数据的数据节点的业务负载进行分析,根据负载均衡策略从其中选择出至少一个第二数据节点。
B13、根据B10-B12任一项所述的装置,其中,所述转移模块进一步适于:将所述至少一个第三数据节点的主副本数据转换为从副本数据,将升级后的所述第一数据节点的对应从副本数据转换为主副本数据。
B14、根据B12所述的装置,其中,所述查找模块进一步适于:根据升级后的所述第一数据节点的从副本数据标识,在分布式系统的数据节点中查找备份有对应于升级后的所述第一数据节点中从副本数据的主副本数据的数据节点;
所述分析模块进一步适于:对所述备份有对应于升级后的所述第一数据节点中从副本数据的主副本数据的数据节点的业务负载进行分析,根据负载均衡策略从其中选择出至少一个第三数据节点。
B15、根据B9-B14任一项所述的装置,其中,所述选择模块进一步适于:
对所述分布式系统的数据节点的业务负载进行分析,将业务负载量最小的数据节点选择为待升级的第一数据节点。
B16、根据B9-B15任一项所述的装置,其中,所述装置还包括:定位模块,适于将针对所述第一数据节点中从副本数据的访问请求重新定位到其他数据节点中与所述从副本数据对应的主副本数据/从副本数据。
Claims (10)
1.一种分布式系统的数据节点升级方法,在所述分布式系统中,针对一份数据,由多个数据节点分别用于备份该份数据的主副本数据和多个从副本数据,所述方法包括:
接收升级指令,从多个数据节点中选择待升级的第一数据节点;
将所述第一数据节点的业务负载转移给至少一个第二数据节点,所述第二数据节点备份有对应于所述第一数据节点中主副本数据的从副本数据;
对所述第一数据节点进行下线处理,以在线下完成对所述第一数据节点的升级。
2.根据权利要求1所述的方法,其中,所述方法还包括:
在所述第一数据节点完成升级后,对升级后的所述第一数据节点进行上线处理,将至少一个第三数据节点的业务负载转移给升级后的所述第一数据节点,以使升级后的所述第一数据节点恢复提供业务服务,其中,升级后的所述第一数据节点备份有对应于所述第三数据节点中主副本数据的从副本数据。
3.根据权利要求2所述的方法,其中,所述将第一数据节点的业务负载转移给至少一个第二数据节点进一步包括:
将所述至少一个第二数据节点的从副本数据转换为主副本数据,将所述第一数据节点的对应主副本数据转换为从副本数据。
4.根据权利要求2或3所述的方法,其中,在将所述第一数据节点的业务负载转移给至少一个第二数据节点之前,所述方法还包括:
根据所述第一数据节点的主副本数据标识,在分布式系统的数据节点中查找备份有对应于所述第一数据节点中主副本数据的从副本数据的数据节点;
对所述备份有对应于所述第一数据节点中主副本数据的从副本数据的数据节点的业务负载进行分析,根据负载均衡策略从其中选择出至少一个第二数据节点。
5.根据权利要求2-4任一项所述的方法,其中,所述将至少一个第三数据节点的业务负载转移给升级后的所述第一数据节点进一步包括:
将所述至少一个第三数据节点的主副本数据转换为从副本数据,将升级后的所述第一数据节点的对应从副本数据转换为主副本数据。
6.根据权利要求4所述的方法,其中,在将至少一个第三数据节点的业务负载转移给升级后的所述第一数据节点之前,所述方法还包括:
根据升级后的所述第一数据节点的从副本数据标识,在分布式系统的数据节点中查找备份有对应于升级后的所述第一数据节点中从副本数据的主副本数据的数据节点;
对所述备份有对应于升级后的所述第一数据节点中从副本数据的主副本数据的数据节点的业务负载进行分析,根据负载均衡策略从其中选择出至少一个第三数据节点。
7.根据权利要求1-6任一项所述的方法,其中,所述从多个数据节点中选择待升级的第一数据节点进一步包括:
对所述分布式系统的数据节点的业务负载进行分析,将业务负载量最小的数据节点选择为待升级的第一数据节点。
8.根据权利要求1-7任一项所述的方法,其中,在升级后的所述第一数据节点上线之前,所述方法还包括:
将针对所述第一数据节点中从副本数据的访问请求重新定位到其他数据节点中与所述从副本数据对应的主副本数据/从副本数据。
9.一种分布式系统的数据节点升级装置,在所述分布式系统中,针对一份数据,由多个数据节点分别用于备份该份数据的主副本数据和多个从副本数据,所述装置包括:
选择模块,适于接收升级指令,从多个数据节点中选择待升级的第一数据节点;
转移模块,适于将所述第一数据节点的业务负载转移给至少一个第二数据节点,所述第二数据节点备份有对应于所述第一数据节点中主副本数据的从副本数据;
升级模块,适于对所述第一数据节点进行下线处理,以在线下完成对所述第一数据节点的升级。
10.根据权利要求9所述的装置,其中,所述装置还包括:
处理模块,适于在所述第一数据节点完成升级后,对升级后的所述第一数据节点进行上线处理;
所述转移模块进一步适于:将至少一个第三数据节点的业务负载转移给升级后的所述第一数据节点,以使升级后的所述第一数据节点恢复提供业务服务,其中,升级后的所述第一数据节点备份有对应于所述第三数据节点中主副本数据的从副本数据。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510954639.8A CN105610903B (zh) | 2015-12-17 | 2015-12-17 | 分布式系统的数据节点升级方法及装置 |
PCT/CN2016/106804 WO2017101642A1 (zh) | 2015-12-17 | 2016-11-22 | 分布式系统的数据节点升级方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510954639.8A CN105610903B (zh) | 2015-12-17 | 2015-12-17 | 分布式系统的数据节点升级方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105610903A true CN105610903A (zh) | 2016-05-25 |
CN105610903B CN105610903B (zh) | 2020-02-18 |
Family
ID=55990437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510954639.8A Active CN105610903B (zh) | 2015-12-17 | 2015-12-17 | 分布式系统的数据节点升级方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN105610903B (zh) |
WO (1) | WO2017101642A1 (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106354531A (zh) * | 2016-08-25 | 2017-01-25 | 杭州华为数字技术有限公司 | 物理节点升级方法及装置 |
WO2017101642A1 (zh) * | 2015-12-17 | 2017-06-22 | 北京奇虎科技有限公司 | 分布式系统的数据节点升级方法及装置 |
CN107943510A (zh) * | 2017-11-23 | 2018-04-20 | 郑州云海信息技术有限公司 | 分布式存储系统升级方法、系统、装置及可读存储介质 |
CN109561125A (zh) * | 2017-09-27 | 2019-04-02 | 阿里巴巴集团控股有限公司 | 一种数据传输方法、分布式系统中复制数据的方法及装置 |
CN111142921A (zh) * | 2018-11-02 | 2020-05-12 | 成都鼎桥通信技术有限公司 | 软件升级方法及装置 |
CN112711376A (zh) * | 2019-10-25 | 2021-04-27 | 北京金山云网络技术有限公司 | 对象存储系统中对象主副本文件的确定方法及装置 |
CN114697213A (zh) * | 2022-03-30 | 2022-07-01 | 联想(北京)有限公司 | 一种升级方法及装置 |
CN115955399A (zh) * | 2022-12-12 | 2023-04-11 | 安芯网盾(北京)科技有限公司 | 一种分布式多节点检测引擎的升降级方法及系统 |
CN116680256A (zh) * | 2023-07-21 | 2023-09-01 | 腾讯科技(深圳)有限公司 | 数据库节点升级方法、装置和计算机设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130246498A1 (en) * | 2012-03-16 | 2013-09-19 | Stephen Zucknovich | Content distribution management system |
CN103729436A (zh) * | 2013-12-27 | 2014-04-16 | 中国科学院信息工程研究所 | 一种分布式元数据管理方法及系统 |
CN103970567A (zh) * | 2014-04-28 | 2014-08-06 | 浪潮电子信息产业股份有限公司 | 一种云存储系统固件在线升级的方法 |
CN104954444A (zh) * | 2015-05-27 | 2015-09-30 | 华为技术有限公司 | 一种迁移缓存数据的方法及设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105610903B (zh) * | 2015-12-17 | 2020-02-18 | 北京奇虎科技有限公司 | 分布式系统的数据节点升级方法及装置 |
-
2015
- 2015-12-17 CN CN201510954639.8A patent/CN105610903B/zh active Active
-
2016
- 2016-11-22 WO PCT/CN2016/106804 patent/WO2017101642A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130246498A1 (en) * | 2012-03-16 | 2013-09-19 | Stephen Zucknovich | Content distribution management system |
CN103729436A (zh) * | 2013-12-27 | 2014-04-16 | 中国科学院信息工程研究所 | 一种分布式元数据管理方法及系统 |
CN103970567A (zh) * | 2014-04-28 | 2014-08-06 | 浪潮电子信息产业股份有限公司 | 一种云存储系统固件在线升级的方法 |
CN104954444A (zh) * | 2015-05-27 | 2015-09-30 | 华为技术有限公司 | 一种迁移缓存数据的方法及设备 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017101642A1 (zh) * | 2015-12-17 | 2017-06-22 | 北京奇虎科技有限公司 | 分布式系统的数据节点升级方法及装置 |
CN106354531A (zh) * | 2016-08-25 | 2017-01-25 | 杭州华为数字技术有限公司 | 物理节点升级方法及装置 |
CN106354531B (zh) * | 2016-08-25 | 2020-03-27 | 杭州华为数字技术有限公司 | 物理节点升级方法及装置 |
CN109561125A (zh) * | 2017-09-27 | 2019-04-02 | 阿里巴巴集团控股有限公司 | 一种数据传输方法、分布式系统中复制数据的方法及装置 |
CN107943510A (zh) * | 2017-11-23 | 2018-04-20 | 郑州云海信息技术有限公司 | 分布式存储系统升级方法、系统、装置及可读存储介质 |
CN111142921A (zh) * | 2018-11-02 | 2020-05-12 | 成都鼎桥通信技术有限公司 | 软件升级方法及装置 |
CN112711376A (zh) * | 2019-10-25 | 2021-04-27 | 北京金山云网络技术有限公司 | 对象存储系统中对象主副本文件的确定方法及装置 |
CN112711376B (zh) * | 2019-10-25 | 2022-12-23 | 北京金山云网络技术有限公司 | 对象存储系统中对象主副本文件的确定方法及装置 |
CN114697213A (zh) * | 2022-03-30 | 2022-07-01 | 联想(北京)有限公司 | 一种升级方法及装置 |
CN115955399A (zh) * | 2022-12-12 | 2023-04-11 | 安芯网盾(北京)科技有限公司 | 一种分布式多节点检测引擎的升降级方法及系统 |
CN115955399B (zh) * | 2022-12-12 | 2023-09-15 | 安芯网盾(北京)科技有限公司 | 一种分布式多节点检测引擎的升降级方法及系统 |
CN116680256A (zh) * | 2023-07-21 | 2023-09-01 | 腾讯科技(深圳)有限公司 | 数据库节点升级方法、装置和计算机设备 |
CN116680256B (zh) * | 2023-07-21 | 2024-01-09 | 腾讯科技(深圳)有限公司 | 数据库节点升级方法、装置和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2017101642A1 (zh) | 2017-06-22 |
CN105610903B (zh) | 2020-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105610903A (zh) | 分布式系统的数据节点升级方法及装置 | |
US20090100419A1 (en) | Method for determining priority for installing a patch into multiple patch recipients of a network | |
US20130151536A1 (en) | Vertex-Proximity Query Processing | |
US9588760B1 (en) | Software application development feature and defect selection | |
JP2016126693A (ja) | 制御手順方法、制御手順プログラム及び制御手順装置 | |
CN104102535B (zh) | 进程迁移方法和可迁移操作系统 | |
CN103530420B (zh) | 数据文件的动态更新方法及装置 | |
US11269838B2 (en) | Collision detection using state management of configuration items | |
CN110061908A (zh) | 应用程序推荐、装置、电子设备及介质 | |
CN106708548A (zh) | 程序升级方法和终端设备 | |
US10931749B2 (en) | Efficient configuration combination selection in migration | |
KR102327572B1 (ko) | 데이터 저장과 서비스 처리 방법 및 장치 | |
CN110958138B (zh) | 一种容器扩容方法及装置 | |
CN104903853A (zh) | 动态固件更新 | |
CN108376064A (zh) | 规则引擎系统及规则引擎的相关方法 | |
CN104202428A (zh) | 分布式文件存储系统及文件存储方法 | |
CN105204923A (zh) | 用于资源预配置的方法和装置 | |
CN113312457B (zh) | 用于问题解决的方法、计算系统和计算机可读介质 | |
CN109712613A (zh) | 语义分析库更新方法、装置及电子设备 | |
US20150169818A1 (en) | Pattern-based via redundancy insertion | |
US10289672B1 (en) | Threading spreadsheet calculations | |
CN107810474A (zh) | 大规模源代码存储库中的自动导入及依赖性 | |
CN116226195A (zh) | 数据库分区表的分区自动创建方法、存储介质及设备 | |
CN108108180B (zh) | 一种运行时动态更新应用的方法和装置 | |
US20210272012A1 (en) | Method of searching machine learning model for io load prediction in use of versioning information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220824 Address after: No. 9-3-401, No. 39, Gaoxin 6th Road, Binhai Science and Technology Park, High-tech Zone, Binhai New District, Tianjin 300000 Patentee after: 3600 Technology Group Co.,Ltd. Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Patentee before: Qizhi software (Beijing) Co.,Ltd. |