CN105208105A - 索引更新方法和装置 - Google Patents

索引更新方法和装置 Download PDF

Info

Publication number
CN105208105A
CN105208105A CN201510532579.0A CN201510532579A CN105208105A CN 105208105 A CN105208105 A CN 105208105A CN 201510532579 A CN201510532579 A CN 201510532579A CN 105208105 A CN105208105 A CN 105208105A
Authority
CN
China
Prior art keywords
server node
index
upgraded
server
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510532579.0A
Other languages
English (en)
Other versions
CN105208105B (zh
Inventor
孙鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201510532579.0A priority Critical patent/CN105208105B/zh
Publication of CN105208105A publication Critical patent/CN105208105A/zh
Application granted granted Critical
Publication of CN105208105B publication Critical patent/CN105208105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种索引更新方法和装置,方法包括:对于索引的每个索引分段,查找每个索引分段所在的各个服务器节点;对于每个索引分段所在的各个服务器节点,每次从各未更新的服务器节点中选择至少一个服务器节点,暂停索引服务;至少一个服务器节点的个数小于索引分段所在的服务器节点个数;对至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复索引服务。本发明在满足索引服务需求的前提下,可以分批次、快速地完成提供索引服务的分布式服务器集群的索引更新,无需占用单个服务器节点的双倍存储空间,极大地节省了分布式服务器集群的存储资源和成本,例如,可减小分布式服务器集群中的服务器节点的存储空间。

Description

索引更新方法和装置
技术领域
本发明涉及索引技术领域,具体涉及一种索引更新方法和装置。
背景技术
目前的网络搜索服务技术已经应用在许多方面,例如应用在广告平台中。
对于广告平台,每个广告商都会在该广告平台注册一个广告账户,然后该广告商可以在其客户端中登录广告平台,将其编辑好的各条广告内容数据上传至该广告平台中,并且为每个广告内容数据选定一个或者多个的检索词。那么广告平台服务器会针对这些广告账户的广告内容数据和网络中的其它数据构建广告索引。由于网络中的数据是不断更新变化的,因此,广告平台服务器需要及时地根据网络中的数据变化生成新的广告索引。
在现有的索引更新技术中,在服务器中设置用于存放索引信息的主目录和备用目录,以及主内存空间和备用内存空间,当进行索引信息更新时,将新的索引信息拷贝到备用目录,并加载到备用内存空间,然后切换主目录和备用目录,同时切换主内存空间和备用内存空间,从而实现在不影响正常服务的情况下,及时更新主内存空间中的索引信息。
上述现有的索引更新技术存在以下缺点:需要在每个服务器中设置用于存放索引信息的主目录和备用目录,以及主内存空间和备用内存空间,才能实现各服务器索引信息更新,不仅占用单个服务器的双倍磁盘空间,而且当广告平台具有多个服务器时,将占用广告平台大量的服务器资源,浪费了广告平台的大量成本。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的索引更新方法和相应的索引更新装置。
依据本发明的一个方面,提供了一种索引更新方法,包括:对于索引的每个索引分段,查找每个所述索引分段所在的各个服务器节点;对于每个所述索引分段所在的各个服务器节点,每次从各未更新的服务器节点中选择至少一个服务器节点,暂停索引服务;所述至少一个服务器节点的个数小于所述索引分段所在的服务器节点个数;对所述至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复索引服务。
可选地,所述暂停索引服务,包括:采用全局锁对所述至少一个服务器节点分别进行锁保护。
可选地,所述对所述至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复索引服务,包括:对每个被锁保护的服务器节点进行更新,并在每个服务器节点更新完毕之后,对所述服务器节点进行解锁。
可选地,所述每次从各未更新的服务器节点中选择至少一个服务器节点包括:根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点。
可选地,所述根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点,包括:如果各已更新的服务器节点的第一总负载能力大于或等于所述总访问量,则从所述各未更新的服务器节点中选择至少一个服务器节点;如果各已更新的服务器节点的第一总负载能力小于所述总访问量,则根据所述总访问量与所述第一总负载能力的差值,在所述各未更新的服务器节点中去除满足所述差值的N个服务器节点之后,从剩余的各未更新服务器节点中选择至少一个服务器节点。
可选地,在所述根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点之前,还包括:判断当前时段是否处于低访问量所在时段;如果当前时段处于低访问量所在时段,则根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点。
依据本发明的另一个方面,提供了一种索引更新装置,包括:服务器节点查找模块,适于对于索引的每个索引分段,查找每个所述索引分段所在的各个服务器节点;服务器节点选择模块,适于对于每个所述索引分段所在的各个服务器节点,每次从各未更新的服务器节点中选择至少一个服务器节点,暂停索引服务;所述至少一个服务器节点的个数小于所述索引分段所在的服务器节点个数;索引更新模块,适于对所述至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复索引服务。
可选地,所述服务器节点选择模块包括:锁保护模块,适于采用全局锁对所述至少一个服务器节点分别进行锁保护。
可选地,所述索引更新模块包括:第一索引更新模块,适于对每个被锁保护的服务器节点进行更新,并在每个服务器节点更新完毕之后,对所述服务器节点进行解锁。
可选地,所述服务器节点选择模块包括:第一服务器节点选择模块,适于根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点。
可选地,所述第一服务器节点选择模块包括:第一选择模块,适于如果各已更新的服务器节点的第一总负载能力大于或等于所述总访问量,则从所述各未更新的服务器节点中选择至少一个服务器节点;第二选择模块,适于如果各已更新的服务器节点的第一总负载能力小于所述总访问量,则根据所述总访问量与所述第一总负载能力的差值,在所述各未更新的服务器节点中去除满足所述差值的N个服务器节点之后,从剩余的各未更新服务器节点中选择至少一个服务器节点。
可选地,在所述第一服务器节点选择模块之前,还包括:低访问量时段判断模块,适于判断当前时段是否处于低访问量所在时段,如果当前时段处于低访问量所在时段,则进入第一服务器节点选择模块。
根据本发明实施例,对于提供索引服务的分布式服务器集群,每个服务器节点分别对索引的某个索引分段提供索引服务。当需要更新索引时,对于索引的每个索引分段,在查找到每个索引分段所在的各个服务器节点后。对于同一个索引分段所在的各个服务器节点,每次从各未更新的服务器节点中选择至少一个服务器节点(该至少一个服务器节点的个数小于索引分段所在的服务器节点个数),暂停索引服务,并对该至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复该至少一个服务器节点的索引服务,且在该至少一个服务器节点中的索引进行更新时,上述索引分段所在的各个服务器节点中其它服务器节点继续提供索引服务。从而在满足索引服务需求的前提下,可以分批次完成提供索引服务的分布式服务器集群的索引更新,无需占用单个服务器节点的双倍存储空间,极大地节省了分布式服务器集群的存储资源和成本,例如,可减小分布式服务器集群中的服务器节点的存储空间。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的索引更新方法的流程示意图;
图2示出了根据本发明另一个实施例的索引更新方法的流程示意图;
图3示出了根据本发明一个实施例的索引更新装置的结构示意图;以及
图4示出了根据本发明另一个实施例的索引更新装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例的核心思想之一在于:在满足索引服务需求的前提下,分批次对待更新索引所在的各服务器进行更新,解决现有技术中需占用单个服务器的双倍磁盘空间的缺点,从而节省服务器的资源和成本。
实施例一
参照图1,其示出了本发明实施例的一种索引更新方法的流程示意图,具体可以包括:
步骤110,对于索引的每个索引分段,查找每个索引分段所在的各个服务器节点。
其中,索引可以为电子商务中的商品索引和/或广告索引等,当然也可以为其他领域内的索引。
该索引可以由分布式服务器集群提供索引服务,该分布式服务器集群中的每个服务器节点分别对索引的某个索引分段提供索引服务。优选地,各个服务器节点可以存储全部索引或存储索引的一个索引分段。另外,索引的每个索引分段,可以是固定的也可以是变化的,具体可以根据实际情况由分布式服务器集群中的控制服务器进行设置,因此,每个索引分段所在的各个服务器节点,相应的可以是固定的也可以是变化的。
当然,在本发明实施例中,在步骤110之前,可在接收到索引更新请求之后,再触发步骤110。该索引更新请求可包括索引的更新文件。可以理解,在实际应用中,可由分布式服务器集群中的控制服务器接收该索引更新请求。
比如分布式服务器集群有A1到A4、B1到B4、C1到C4共12个服务器节点,对于索引M,其分为3个索引分段,分别为M1、M2、M3。其中,分布式服务器集群的服务器节点A1到A4,为索引分段M1提供索引服务;服务器节点B1到B4,为索引分段M2提供索引服务;服务器节点C1到C4,为索引分段M3提供索引服务。
那么对于针对索引M的索引更新请求,控制服务器可以查找该索引的各个索引分段各自由哪几个服务器节点提供索引服务。
步骤120,对于每个索引分段所在的各个服务器节点,每次从各未更新的服务器节点中选择至少一个服务器节点,暂停索引服务;所述至少一个服务器节点的个数小于索引分段所在的服务器节点个数。
在步骤120中,每个索引分段所在的各个服务器节点中,对各未更新的服务器节点中选择的至少一个服务器节点暂停索引服务后,该至少一个服务器节点无法提供索引服务,即外部的访问请求无法使用该至少一个服务器节点中的索引分段去进行检索。
其中,至少一个服务器节点的个数小于索引分段所在的服务器节点个数,如此可以保留一部分服务器节点继续对外提供相应索引分段的索引服务,以满足索引服务需求。另外,每次从各未更新的服务器节点中选择的至少一个服务器节点个数可以相同或不相同。
步骤130,对所述至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复索引服务。
其中,在索引更新的过程中,服务器节点存在索引与新索引的交替,如果此时服务器节点继续对索引中的索引分段提供服务,将可能导致服务器节点提供错误的索引服务。因此,对各未更新的服务器节点中选择的至少一个服务器节点进行暂停索引服务后,才对至少一个服务器节点中的索引进行更新,可以避免出现错误。此外,至少一个服务器节点恢复索引服务后即可提供索引服务。
另外,当对至少一个服务器节点中的索引进行更新时,每个索引分段所在的各个服务器节点中其它服务器节点继续提供索引服务,以满足对每个索引分段所在的各个服务器节点的索引服务需求,从而实现在满足索引服务需求的前提下,索引更新方法可以分批次完成提供索引服务的分布式服务器中每个服务器节点的索引更新。
对于步骤120-130,对每个索引分段的各服务器节点的更新可以同时进行,也可以不同时进行,且对一个索引分段的各服务器节点的更新是依次进行的。比如,对一个索引分段的各服务器节点进行更新时,步骤120首次选择了2个服务器节点,步骤130中对这2个服务器节点进行了更新,在该2个服务器节点恢复索引服务后,回到步骤120,再次从剩余的未更新的服务器节点中选择2个,步骤130对这2个服务器节点进行更新,在该2个服务器节点恢复索引服务后,再回到步骤120,如此循环,直到该索引分段的所有服务器节点更新完毕。
具体的,如前述例子,对于索引分段M1,其由服务器节点A1到A4提供索引服务,那么本发明实施例则在步骤120中,首先从服务器节点A1、A2、A3、A4中选择1个服务器节点A1暂停对M1的索引服务,剩余的服务器节点继续提供M1的索引服务。步骤130对服务器节点A1中的索引进行更新,更新完毕之后,服务器节点A1恢复对M1的索引服务;然后回到步骤120,从剩余的服务器节点A2、A3、A4中选择一个服务器节点,比如选择服务器节点A4暂停对M1的索引服务,剩余的服务器节点A2、A3与A1一起继续提供M1的索引服务;步骤130对服务器节点A4的索引进行更新,更新完毕之后,恢复服务器节点A4对M1的索引服务。以此类推,直到A1、A2、A3、A4全部更新完毕。
在本发明实施例中所述至少一个服务器节点的个数可以固定,比如都为2,那么当最后剩余的服务器节点个数小于固定的个数时,选择剩余的各服务器节点。该至少一个服务器节点的个数也可以实时变化。
需要说明的是,上述步骤110-130可以由控制服务器执行。其中,步骤130可以由控制服务器通知服务器节点进行更新,并将更新文件发送至服务器节点。服务器节点接收到通知后,根据该更新文件进行更新,更新完毕之后,则通知控制服务器该服务器节点更新完毕。
当然,在本发明实施例中,对于各个服务器节点的索引的更新,如果该服务器节点存储了全部索引,而只是被限制对其索引分段提供索引服务,那么可以对该全部索引进行更新。如果该服务器节点存储了部分索引,则可以从索引的更新文件中获取针对该索引分段的子更新文件,对该索引分段进行更新。
根据本发明实施例一,对于提供索引服务的分布式服务器集群,每个服务器节点分别对索引的某个索引分段提供索引服务。当需要更新索引时,对于索引的每个索引分段,在查找到每个索引分段所在的各个服务器节点后。对于同一个索引分段所在的各个服务器节点,每次从各未更新的服务器节点中选择至少一个服务器节点(该至少一个服务器节点的个数小于索引分段所在的服务器节点个数),暂停索引服务以避免提供错误的索引服务,进而对该至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复索引服务,其中,在该至少一个服务器节点中的索引进行更新时,上述索引分段所在的各个服务器节点中其它服务器节点继续提供索引服务。从而在满足对每个索引分段所在的各个服务器节点的索引服务需求的前提下,可以分批次完成提供索引服务的分布式服务器集群的索引更新,无需占用单个服务器节点的双倍存储空间,极大地节省了分布式服务器集群的存储资源和成本,例如,可减小分布式服务器集群中的服务器节点的存储空间,也可以在架设服务器节点时采用较小的存储空间。
实施例二
参照图2,其示出了本发明实施例的另一种索引更新方法的流程示意图,具体可以包括:
步骤210,对于索引的每个索引分段,查找每个索引分段所在的各个服务器节点。
步骤220,对于每个索引分段所在的各个服务器节点,根据对索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从各未更新的服务器节点中选择至少一个服务器节点;所述至少一个服务器节点的个数小于索引分段所在的服务器节点个数。
在实际应用中,对于控制服务器接收到的各个检索请求,对于每个请求来说,其实际上要在整个索引中检索相应的结果。那么在分布式服务器集群中,对于一个检索请求,其会分别去检索各个索引分块,而对于索引分块所在的各个服务器节点,控制服务器统一管理针对这些服务器的检索,从而每个索引分块所在的服务器节点可以理解为一个子服务器集群。因而对于控制服务器接收到的各个检索请求的产生的总访问量,与各个子服务器集群需要处理的总访问量相同。
对于各个子服务器集群来说,控制服务器会对其各个节点进行负载均衡策略。那么,本发明实施例,针对一个索引分段,保证对该索引分段的提供索引服的已更新服务器节点和未更新服务器节点能满足上述总访问量。然后即可从剩余的未更新的服务器节点中选择至少一个服务器节点进行更新。
其中,至少一个服务器节点的个数小于索引分段所在的服务器节点个数,如此可以保留一部分服务器节点继续对外提供相应索引分段的索引服务,以满足索引服务需求。
优选地,步骤220中,根据对索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从各未更新的服务器节点中选择至少一个服务器节点,可以包括:
子步骤221,如果各已更新的服务器节点的第一总负载能力大于或等于总访问量,则从各未更新的服务器节点中选择至少一个服务器节点;
如果各已更新的服务器节点的第一总负载能力大于或等于总访问量,即各已更新的服务器节点的第一总负载能力能够满足索引服务需求,因此,可以直接从各未更新的服务器节点中选择至少一个服务器节点。例如,对索引分段所在各服务器的总访问量为5000,各已更新的服务器节点的第一总负载能力为7000,则各已更新的服务器节点的第一总负载能力大于对索引分段所在各服务器的总访问量。则从所有未更新服务器节点中选择至少一个服务器节点。
在本发明实施例中,所述至少一个服务器节点的个数小于或等于未更新的服务器节点的个数。
子步骤222,如果各已更新的服务器节点的第一总负载能力小于总访问量,则根据总访问量与第一总负载能力的差值,在各未更新的服务器节点中去除满足差值的N个服务器节点之后,从剩余的各未更新服务器节点中选择至少一个服务器节点。
如果各已更新的服务器节点的第一总负载能力小于总访问量,即各已更新的服务器节点的第一总负载能力不足以满足索引服务需求,因此,需由各已更新的服务器节点和各未更新的M个服务器节点中的N个服务器节点共同提供索引服务以满足总访问量,从而可以在各未更新的M个服务器节点中去除N个服务器节点之后,从剩余的各未更新服务器节点中选择至少一个服务器节点。例如,对索引分段所在各服务器的总访问量为5000,各已更新的服务器节点的第一总负载能力为4000,各已更新的服务器节点的第一总负载能力小于对索引分段所在各服务器的总访问量,总访问量与第一总负载能力的差值为1000,则在M个未更新的服务器节点中去除满足总负载能力大于或等于1000的N个服务器节点,N个服务器节点与各已更新的服务器节点共同满足索引服务需求。其中M大于N,M,N为大于0的整数。
然后从M-N个未更新服务器节点中现在至少一个服务器节点进行更新。在本步骤中,该至少一个服务器节点的个数小于或者等于M-N。
优选地,在根据对索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从各未更新的服务器节点中选择至少一个服务器节点之前,还可以包括:
步骤B11,判断当前时段是否处于低访问量所在时段,如果当前时段处于低访问量所在时段,则转入步骤220。
其中,低访问量所在时段可以根据预设时间(一天、一周或一个月等)内的访问量统计数据确定,访问量统计数据可以包括预设时间内各时段的访问量。例如,预设时间为一周时,可以统计最近一周内,每天24个小时中每个小时的访问量作为访问量统计数据,进而通过访问量统计数据确定一周内平均访问量或总访问量最低时所在小时。
步骤230,采用全局锁对至少一个服务器节点分别进行锁保护。
其中,在步骤230中,采用全局锁对至少一个服务器节点分别进行锁保护后,该至少一个服务器节点暂停索引服务,那么这些服务器节点可以暂时离线,不为前端提供索引服务。
步骤240,对每个被锁保护的服务器节点进行更新,并在每个服务器节点更新完毕之后,对服务器节点进行解锁。
其中,步骤240中,对服务器节点进行解锁后,服务器节点即可提供索引服务。具体地,对每个被锁保护的服务器节点进行更新,如果该服务器节点存储了全部索引,而只是被限制对其索引分段提供索引服务,那么可以对该服务器节点中全部索引进行更新。如果该服务器节点存储了部分索引,则可以从索引的更新文件中获取针对该索引分段的子更新文件,对该索引分段进行更新。
其中,在索引更新的过程中,服务器节点存在索引与新索引的交替,如果此时服务器节点继续对索引中的索引分段提供服务,将可能导致服务器节点提供错误的索引服务。因此,仅对每个被锁保护的服务器节点进行更新,可以避免出现错误。当对每个被锁保护的服务器节点进行更新时,每个索引分段所在的各个服务器节点中其它服务器节点继续提供索引服务,以满足对每个索引分段所在的各个服务器节点的索引服务需求。
步骤B11中,在当前时段处于低访问量所在时段时,对索引分段所在各服务器的总访问量较小,在满足索引服务需求的前提下,步骤220从各未更新的服务器节点中选择至少一个服务器节点时,相对普通访问量时段和高访问量时段,该至少一个服务器节点的个数较大,索引更新方法可以在更短的时间内分批次完成提供索引服务的分布式服务器集群中每个服务器节点的索引更新。
需要说明的是,上述步骤210、B11、220、230、240可以由前述控制服务器执行。
根据本发明实施例二,具有以下优点:
当需要更新索引时,在当前时段处于低访问量所在时段,对于每个索引分段所在的各个服务器节点,根据对索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从各未更新的服务器节点中选择至少一个服务器节点(该至少一个服务器节点的个数小于索引分段所在的服务器节点个数),从而在满足索引服务需求的前提下,该至少一个服务器节点的个数较大,便于在更短的时间内分批次完成提供索引服务的分布式服务器集群的索引更新;
采用全局锁对该至少一个服务器节点分别进行锁保护,避免了服务器节点提供错误的索引服务;
仅对每个被锁保护的服务器节点进行更新,同时索引分段所在各服务器中其它服务器可以继续提供索引服务,从而实现更新的过程无需占用单个服务器节点的双倍存储空间,极大地节省了分布式服务器集群的存储资源和成本,例如,可减小分布式服务器集群中的服务器节点的存储空间。
实施例三
参照图3,其示出了本发明实施例的一种索引更新装置的结构示意图,具体可以包括:
服务器节点查找模块310,适于对于索引的每个索引分段,查找每个索引分段所在的各个服务器节点。
服务器节点选择模块320,适于对于每个索引分段所在的各个服务器节点,每次从各未更新的服务器节点中选择至少一个服务器节点,暂停索引服务;至少一个服务器节点的个数小于索引分段所在的服务器节点个数。
索引更新模块330,适于对至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复索引服务。
在实际应用中,本发明实施例的索引更新装置可以设置在控制服务器中。
实施例四
参照图4,其示出了本发明实施例的另一种索引更新装置的结构示意图。
服务器节点查找模块410,适于对于索引的每个索引分段,查找每个索引分段所在的各个服务器节点。
服务器节点选择模块420,适于对于每个索引分段所在的各个服务器节点,每次从各未更新的服务器节点中选择至少一个服务器节点,暂停索引服务;所述至少一个服务器节点的个数小于索引分段所在的服务器节点个数,具体包括:
第一服务器节点选择模块421,适于根据对索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从各未更新的服务器节点中选择至少一个服务器节点。
锁保护模块422,适于采用全局锁对所述至少一个服务器节点分别进行锁保护。
索引更新模块430,适于对所述至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复索引服务,包括:
第一索引更新模块431,适于对每个被锁保护的服务器节点进行更新,并在每个服务器节点更新完毕之后,对服务器节点进行解锁。
优选地,在第一服务器节点选择模块421之前,还可以包括:
低访问量时段判断模块,适于判断当前时段是否处于低访问量所在时段,如果当前时段处于低访问量所在时段,则转入第一服务器节点选择模块421。
优选的,所述第一服务器节点选择模块421包括:
第一选择模块,适于如果各已更新的服务器节点的第一总负载能力大于或等于所述总访问量,则从所述各未更新的服务器节点中选择至少一个服务器节点;
第二选择模块,适于如果各已更新的服务器节点的第一总负载能力小于所述总访问量,则根据所述总访问量与所述第一总负载能力的差值,在所述各未更新的服务器节点中去除满足所述差值的N个服务器节点之后,从剩余的各未更新服务器节点中选择至少一个服务器节点。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的索引更新装置设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了A1、一种索引更新方法,包括:
对于索引的每个索引分段,查找每个所述索引分段所在的各个服务器节点;
对于每个所述索引分段所在的各个服务器节点,每次从各未更新的服务器节点中选择至少一个服务器节点,暂停索引服务;所述至少一个服务器节点的个数小于所述索引分段所在的服务器节点个数;
对所述至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复索引服务。
A2、根据权利要求A1所述的方法,其特征在于,所述暂停索引服务,包括:
采用全局锁对所述至少一个服务器节点分别进行锁保护。
A3、根据权利要求A2所述的方法,其特征在于,所述对所述至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复索引服务,包括:
对每个被锁保护的服务器节点进行更新,并在每个服务器节点更新完毕之后,对所述服务器节点进行解锁。
A4、根据权利要求A1所述的方法,其特征在于,所述每次从各未更新的服务器节点中选择至少一个服务器节点包括:
根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点。
A5、根据权利要求A4所述的方法,其特征在于,所述根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点,包括:
如果各已更新的服务器节点的第一总负载能力大于或等于所述总访问量,则从所述各未更新的服务器节点中选择至少一个服务器节点;
如果各已更新的服务器节点的第一总负载能力小于所述总访问量,则根据所述总访问量与所述第一总负载能力的差值,在所述各未更新的服务器节点中去除满足所述差值的N个服务器节点之后,从剩余的各未更新服务器节点中选择至少一个服务器节点。
A6、根据权利要求A4所述的方法,其特征在于,在所述根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点之前,还包括:
判断当前时段是否处于低访问量所在时段;
如果当前时段处于低访问量所在时段,则根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点。
本发明公开了B7、一种索引更新装置,包括:
服务器节点查找模块,适于对于索引的每个索引分段,查找每个所述索引分段所在的各个服务器节点;
服务器节点选择模块,适于对于每个所述索引分段所在的各个服务器节点,每次从各未更新的服务器节点中选择至少一个服务器节点,暂停索引服务;所述至少一个服务器节点的个数小于所述索引分段所在的服务器节点个数;
索引更新模块,适于对所述至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复索引服务。
B8、根据权利要求B7所述的装置,其特征在于,所述服务器节点选择模块包括:
锁保护模块,适于采用全局锁对所述至少一个服务器节点分别进行锁保护。
B9、根据权利要求B8所述的装置,其特征在于,所述索引更新模块包括:
第一索引更新模块,适于对每个被锁保护的服务器节点进行更新,并在每个服务器节点更新完毕之后,对所述服务器节点进行解锁。
B10、根据权利要求B7所述的装置,其特征在于,所述服务器节点选择模块包括:
第一服务器节点选择模块,适于根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点。
B11、根据权利要求B10所述的装置,其特征在于,所述第一服务器节点选择模块包括:
第一选择模块,适于如果各已更新的服务器节点的第一总负载能力大于或等于所述总访问量,则从所述各未更新的服务器节点中选择至少一个服务器节点;
第二选择模块,适于如果各已更新的服务器节点的第一总负载能力小于所述总访问量,则根据所述总访问量与所述第一总负载能力的差值,在所述各未更新的服务器节点中去除满足所述差值的N个服务器节点之后,从剩余的各未更新服务器节点中选择至少一个服务器节点。
B12、根据权利要求B10所述的装置,其特征在于,在所述第一服务器节点选择模块之前,还包括:
低访问量时段判断模块,适于判断当前时段是否处于低访问量所在时段,如果当前时段处于低访问量所在时段,则进入第一服务器节点选择模块。

Claims (10)

1.一种索引更新方法,包括:
对于索引的每个索引分段,查找每个所述索引分段所在的各个服务器节点;
对于每个所述索引分段所在的各个服务器节点,每次从各未更新的服务器节点中选择至少一个服务器节点,暂停索引服务;所述至少一个服务器节点的个数小于所述索引分段所在的服务器节点个数;
对所述至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复索引服务。
2.根据权利要求1所述的方法,其特征在于,所述暂停索引服务,包括:
采用全局锁对所述至少一个服务器节点分别进行锁保护。
3.根据权利要求2所述的方法,其特征在于,所述对所述至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复索引服务,包括:
对每个被锁保护的服务器节点进行更新,并在每个服务器节点更新完毕之后,对所述服务器节点进行解锁。
4.根据权利要求1所述的方法,其特征在于,所述每次从各未更新的服务器节点中选择至少一个服务器节点包括:
根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点。
5.根据权利要求4所述的方法,其特征在于,所述根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点,包括:
如果各已更新的服务器节点的第一总负载能力大于或等于所述总访问量,则从所述各未更新的服务器节点中选择至少一个服务器节点;
如果各已更新的服务器节点的第一总负载能力小于所述总访问量,则根据所述总访问量与所述第一总负载能力的差值,在所述各未更新的服务器节点中去除满足所述差值的N个服务器节点之后,从剩余的各未更新服务器节点中选择至少一个服务器节点。
6.根据权利要求4所述的方法,其特征在于,在所述根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点之前,还包括:
判断当前时段是否处于低访问量所在时段;
如果当前时段处于低访问量所在时段,则根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点。
7.一种索引更新装置,包括:
服务器节点查找模块,适于对于索引的每个索引分段,查找每个所述索引分段所在的各个服务器节点;
服务器节点选择模块,适于对于每个所述索引分段所在的各个服务器节点,每次从各未更新的服务器节点中选择至少一个服务器节点,暂停索引服务;所述至少一个服务器节点的个数小于所述索引分段所在的服务器节点个数;
索引更新模块,适于对所述至少一个服务器节点中的索引进行更新,并在更新完毕之后恢复索引服务。
8.根据权利要求7所述的装置,其特征在于,所述服务器节点选择模块包括:
锁保护模块,适于采用全局锁对所述至少一个服务器节点分别进行锁保护。
9.根据权利要求8所述的装置,其特征在于,所述索引更新模块包括:
第一索引更新模块,适于对每个被锁保护的服务器节点进行更新,并在每个服务器节点更新完毕之后,对所述服务器节点进行解锁。
10.根据权利要求7所述的装置,其特征在于,所述服务器节点选择模块包括:
第一服务器节点选择模块,适于根据对所述索引分段所在各服务器的总访问量,以及各已更新的服务器节点的负载能力和各未更新的服务器节点的负载能力,每次从所述各未更新的服务器节点中选择至少一个服务器节点。
CN201510532579.0A 2015-08-26 2015-08-26 索引更新方法和装置 Active CN105208105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510532579.0A CN105208105B (zh) 2015-08-26 2015-08-26 索引更新方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510532579.0A CN105208105B (zh) 2015-08-26 2015-08-26 索引更新方法和装置

Publications (2)

Publication Number Publication Date
CN105208105A true CN105208105A (zh) 2015-12-30
CN105208105B CN105208105B (zh) 2019-03-08

Family

ID=54955529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510532579.0A Active CN105208105B (zh) 2015-08-26 2015-08-26 索引更新方法和装置

Country Status (1)

Country Link
CN (1) CN105208105B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737140A (zh) * 2017-04-20 2018-11-02 国基电子(上海)有限公司 一种固件更新方法及控制器
CN112632083A (zh) * 2020-12-31 2021-04-09 中国农业银行股份有限公司 一种实现索引数据更新的方法、装置及设备
CN113535730A (zh) * 2021-07-21 2021-10-22 挂号网(杭州)科技有限公司 搜索引擎的索引更新方法及系统、电子设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650741A (zh) * 2009-08-27 2010-02-17 中国电信股份有限公司 一种分布式全文检索的索引实时更新的方法和系统
CN102004778A (zh) * 2010-11-19 2011-04-06 清华大学 一种云环境中的文本索引在线更新方法
CN103258036A (zh) * 2013-05-15 2013-08-21 广州一呼百应网络技术有限公司 一种基于p2p的分布式实时搜索引擎
CN103518364A (zh) * 2013-03-19 2014-01-15 华为技术有限公司 分布式存储系统的数据更新方法及服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650741A (zh) * 2009-08-27 2010-02-17 中国电信股份有限公司 一种分布式全文检索的索引实时更新的方法和系统
CN102004778A (zh) * 2010-11-19 2011-04-06 清华大学 一种云环境中的文本索引在线更新方法
CN103518364A (zh) * 2013-03-19 2014-01-15 华为技术有限公司 分布式存储系统的数据更新方法及服务器
CN103258036A (zh) * 2013-05-15 2013-08-21 广州一呼百应网络技术有限公司 一种基于p2p的分布式实时搜索引擎

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737140A (zh) * 2017-04-20 2018-11-02 国基电子(上海)有限公司 一种固件更新方法及控制器
CN108737140B (zh) * 2017-04-20 2021-05-28 国基电子(上海)有限公司 一种固件更新方法及控制器
CN112632083A (zh) * 2020-12-31 2021-04-09 中国农业银行股份有限公司 一种实现索引数据更新的方法、装置及设备
CN113535730A (zh) * 2021-07-21 2021-10-22 挂号网(杭州)科技有限公司 搜索引擎的索引更新方法及系统、电子设备、存储介质

Also Published As

Publication number Publication date
CN105208105B (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN101589592B (zh) 多协议可移动存储设备
CN103152395B (zh) 一种分布式文件系统的存储方法及装置
US20190355088A1 (en) Capacity reservation for virtualized graphics processing
CN100485676C (zh) 文件系统串行化重新初始化装置、方法和系统
CN105515872A (zh) 配置信息的更新方法、装置及系统
CN102474531B (zh) 地址服务器
CN103226561A (zh) 基于兄弟组的内容可寻址存储
CN105550229A (zh) 分布式存储系统数据修复的方法和装置
CN102937931B (zh) 一种日志数据传输的方法和系统
CN104516966A (zh) 一种数据库集群的高可用解决方法和装置
CN104067216A (zh) 用于实施可扩展数据存储服务的系统和方法
CN103164254A (zh) 用于维持镜像虚拟环境中存储装置的一致性的方法和系统
CN104836843A (zh) 客户端应用程序更新的方法及装置
CN104572860A (zh) 一种数据处理方法和系统
CN104950757A (zh) 监控容器的方法及系统
US6282700B1 (en) Mechanism for maintaining revisions of objects in flash memory
US11977532B2 (en) Log record identification using aggregated log indexes
CN103034540A (zh) 分布式消息系统及其设备和协调方法
CN106970856B (zh) 对数据进行备份、恢复及挂载的数据管理系统及方法
CN103020193A (zh) 处理数据库操作请求的方法和设备
CN103034541A (zh) 一种分布式消息系统及其中的设备和方法
CN105208105A (zh) 索引更新方法和装置
CN103631603A (zh) 软件清理方法和系统
CN101086717B (zh) 存储瞬态信息的系统和方法
CN103020196B (zh) 处理数据库操作请求的系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220713

Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.

TR01 Transfer of patent right