CN110990399B - 重建索引方法及装置 - Google Patents

重建索引方法及装置 Download PDF

Info

Publication number
CN110990399B
CN110990399B CN201911129763.5A CN201911129763A CN110990399B CN 110990399 B CN110990399 B CN 110990399B CN 201911129763 A CN201911129763 A CN 201911129763A CN 110990399 B CN110990399 B CN 110990399B
Authority
CN
China
Prior art keywords
index
copy
main
fragment
fragments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911129763.5A
Other languages
English (en)
Other versions
CN110990399A (zh
Inventor
牟宣理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dt Dream Technology Co Ltd
Original Assignee
Hangzhou Dt Dream Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dt Dream Technology Co Ltd filed Critical Hangzhou Dt Dream Technology Co Ltd
Priority to CN201911129763.5A priority Critical patent/CN110990399B/zh
Publication of CN110990399A publication Critical patent/CN110990399A/zh
Application granted granted Critical
Publication of CN110990399B publication Critical patent/CN110990399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2272Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种重建索引方法及装置,所述方法包括:接收携带新的索引结构的重建索引请求,确定所述重建索引请求对应的主分片,并为所述主分片创建副本分片;将所述主分片中记录的原始数据复制到所述副本分片上,并按照所述新的索引结构对所述原始数据建立索引,得到新的索引数据;删除所述主分片,并将所述副本分片切换为主分片。本申请通过将主分片的原始数据同步到对应的副本分片中,以对原始数据重建索引,而不需要外部客户端通过查询请求和写入请求,读取并写入原始数据的过程,从而减少了网络资源的消耗。

Description

重建索引方法及装置
技术领域
本申请涉及通信技术领域,尤其涉及一种重建索引方法及装置。
背景技术
ElasticSearch是一个基于Lucene的搜索服务器。该搜索服务器包含多个索引库,客户端首先将原始数据和索引结构写入索引库中,然后搜索服务器根据该索引结构对原始数据建立索引,得到索引数据。但当索引结构发生变化时,老的索引数据并不能满足用户的需求,搜索服务器需要对索引库的原始数据重建索引,以得到新的索引数据。
在现有技术中,搜索服务器先为该老的索引库重建一个新的索引库,通过客户端读取该老的索引库中的原始数据,并将读取出来的原始数据和新的索引结构写入新的索引库中,然后根据新的索引结构对该原始数据重建索引,得到新的索引数据,并通过修改索引别名方式从该老的索引库切换到新的索引库,并删除该老的索引库。然而,由于客户端在读取和写入原始数据的过程中,都需要通过网络传输,网络资源消耗比较大,导致重建索引效率低。
发明内容
有鉴于此,本申请提供一种重建索引方法及装置,以解决现有的重建方式重建索引效率低的问题。
根据本申请实施例的第一方面,提供一种重建索引方法,所述方法包括:
接收携带新的索引结构的重建索引请求,确定所述重建索引请求对应的主分片,并为所述主分片创建副本分片;
将所述主分片中记录的原始数据复制到所述副本分片上,并按照所述新的索引结构对所述原始数据建立索引,得到新的索引数据;
删除所述主分片,并将所述副本分片切换为主分片。
根据本申请实施例的第二方面,提供一种重建索引装置,所述装置包括:
接收单元,用于接收携带新的索引结构的重建索引请求;
创建单元,用于确定所述重建索引请求对应的主分片,并为所述主分片创建副本分片;
同步单元,用于将所述主分片中记录的原始数据复制到所述副本分片上;
建立索引单元,用于按照所述新的索引结构对所述原始数据建立索引,得到新的索引数据;
切换单元,用于删除所述主分片,并将所述副本分片切换为主分片。
应用本申请实施例,搜索服务器在接收到携带新的索引结构的重建索引请求时,确定该重建索引请求对应的主分片,并为该主分片创建副本分片;将该主分片中记录的原始数据复制到副本分片上,并按照新的索引结构对该原始数据建立索引,得到新的索引数据;删除该主分片,并将副本分片切换为主分片。基于上述实现方式,搜索服务器通过将主分片的原始数据同步到对应的副本分片中,以对原始数据重建索引,而不需要外部客户端通过查询请求和写入请求,读取并写入原始数据的过程,从而减少了网络资源的消耗。
附图说明
图1为本申请根据一示例性实施例示出的一种示例性的现有重建索引结构图;
图2A为本申请根据一示例性实施例示出的一种重建索引方法的实施例流程图;
图2B为图2A所示实施例中的一种示例性的主分片和副本分片分布图;
图2C为图2A所示实施例中的一种示例性的主分片同步数据过程图;
图3为本申请根据一示例性实施例示出的一种搜索服务器的硬件结构图;
图4为本申请根据一示例性实施例示出的一种重建索引装置的实施例结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1为本申请根据一示例性实施例示出的一种示例性的现有重建索引结构图,如图1所示,搜索服务器包含有三个搜索节点node1、node2以及node3,老的索引库A包含A1、A2以及A3三个主分片,重建的一个新的索引库A′对应创建了A′1、A′2以及A′3三个主分片。客户端先向搜索服务器发送携带有索引库A标识的查询请求,搜索服务器从索引库A选择一个搜索节点,例如node1,将该查询请求发送到node1,node1将查询请求分别转发到A2所在的搜索节点node2和A3所在的搜索节点node3上,node2和node3分别将A2记录的原始数据2和A3记录的原始数据3发送到node1上,node1将A1记录的原始数据1、原始数据2以及原始数据3进行汇总,并返回给客户端;然后客户端将携带原始数据1、原始数据2、原始数据3以及新的索引结构的写入请求发送到搜索服务器,搜索服务器将原始数据1、原始数据2、原始数据3以及新的索引结构发送到node1,node1复制两份新的索引结构,并将原始数据1和一份新的索引结构存储到A′1中,并将原始数据2和一份新的索引结构发送到node2,node2将原始数据2和一份新的索引结构存储到A′2中,并将原始数据3和一份新的索引结构发送到node3,node3将原始数据3和一份新的索引结构存储到A′3中,各个搜索节点均按照新的索引结构在各主分片上建立索引,在node1接收到node2和node3返回的写入成功响应时,将写入成功响应返回给客户端;最后客户端以修改索引别名方式控制搜索服务器将索引库A切换到索引库A′,并删除索引库A。
由此可知,现有重建索引的过程需要外部客户端协助完成,外部客户端需要先将原始数据读取出来,然后再将原始数据和新的索引结构写入新的索引库中,这样势必会消耗大量的网络资源传输数据,并且查询请求和写入请求均是在同一个搜索节点上进行操作,并由该搜索节点将原始数据和新的索引结构再转发到其他搜索节点,操作效率低。
图2A为本申请根据一示例性实施例示出的一种重建索引方法的实施例流程图,该实施例应用在搜索服务器上,在本申请实施例中,搜索服务器为分布式服务器,包含多个搜索节点,并且该搜索服务器包含索引库,该索引库包含多个主分片,每个主分片可能分布在不同的搜索节点上,也可能分布在相同的搜索节点上,并且每个主分片对应有索引结构,且记录有原始数据和索引数据,如图2A所示,该实施例包括以下步骤:
步骤201:接收携带有新的索引结构的重建索引请求,确定该重建索引请求对应的主分片,并为该主分片创建副本分片。
在索引结构发生变化时,搜索服务器中原有的索引数据便无法满足用户的使用需求,需要搜索服务器重新建立索引数据,本申请通过外部客户端向搜索服务器发送重建索引请求,以触发搜索服务器的重建索引流程,并且外部客户端发送的重建索引请求中可以携带新的索引结构,以利用该新的索引结构重建索引。
针对确定该重建索引请求对应的主分片,并为该主分片创建副本分片的过程,该重建索引请求中还可以携带索引库标识,搜索服务器可以先获取该索引库标识对应的索引库,将该索引库中的所有主分片确定为重建索引请求对应的主分片,然后再为该索引库中的每个主分片创建对应的副本分片。
其中,搜索服务器中包含有多个索引库,每个索引库中存储有不同类型的数据,通过索引库标识可以区分不同的索引库,因此重建索引请求中需要携带有索引库标识,以指示需要重建索引的索引库,该索引库标识也可以称为索引别名。此外,索引库中包含有多个主分片,每个主分片存储着索引库的一部分数据,且这些数据可以平均分布在每个主分片上,因此,需要将该索引库中的所有主分片作为需要重建索引的对象,即将该索引库中的所有主分片确定为重建索引请求对应的主分片。
针对为该主分片创建副本分片的过程,在一个例子中,搜索服务器可以在该主分片所在的搜索节点上,为该主分片创建对应的副本分片。
其中,由于搜索服务器包含多个搜索节点,索引库中的每个主分片可能分布在不同的搜索节点上,也可能分布在相同的搜索节点上,通常索引库中的主分片以负载均衡方式分布在搜索节点上,例如,搜索服务器有3个搜索节点,索引库包含3个主分片,那么3个主分片分别分布在不同的搜索节点上,因此,为了减少搜索节点之间通信消耗,搜索服务器可以在主分片所在的搜索节点上,为该主分片创建对应的副本分片,并且每个主分片在不同的搜索节点上,可以同时创建对应的副本分片,提高了重建索引的效率。下面以一个例子进行说明。
图2B为图2A所示实施例中的一种示例性的主分片和副本分片分布图,如图2B所示,索引库包含3个主分片A1、A2、A3,每个主分片均位于不同的搜索节点上,A1在搜索节点node1上,A2在搜索节点node2上,A3在搜索节点node3上,搜索服务器为3个主分片创建的副本分片均在每个主分片所在的搜索节点上,分别为A1'、A2'、A3'。
基于该例子的描述可知,搜索服务器在通过索引库标识获取到对应的索引库之后,为该索引库的每个主分片创建的副本分片,是在每个主分片所在搜索节点上创建的副本分片,在后续步骤中,不需要消耗搜索节点之间的通信资源便可实现主分片与副本分片的交互,从而可以减少搜索节点之间的通信消耗,此外,在不同的搜索节点上可以同时为主分片创建对应的副本分片,提高了重建索引的效率。
在另一个例子中,搜索服务器也可以在该主分片所在的搜索节点之外的其它搜索节点上,为该主分片创建对应的副本分片。
步骤202:将该主分片中记录的原始数据复制到副本分片上,并按照新的索引结构对该原始数据建立索引,得到新的索引数据。
具体地,搜索服务器在每个搜索节点上,将该索引库包含的主分片的原始数据同步到对应的副本分片中,并在副本分片中按照新的索引结构对该原始数据建立索引,得到新的索引数据。
需要说明的是,搜索服务器在为主分片创建副本分片之后,可以为该副本分片创建一个重建索引标识,以与现有的副本分片进行区分。搜索服务器在需要将所述主分片中记录的原始数据复制到副本分片上时,可以判断该副本分片是否有重建索引标识;如果有,则将该主分片记录的原始数据复制到副本分片上,如果没有,则将该主分片记录的原始数据和索引数据一起复制到副本分片上。
其中,重建索引标识用于标记该副本分片的类型,主分片在同步数据时,如果副本分片有重建索引标识,表示该副本分片是用来重建索引的,只复制主分片中的原始数据,以利用新的索引结构重新建立索引,得到新的索引数据;如果没有重建索引标识,表示该副本分片为现有的副本分片,需要将主分片中的原始数据和索引数据均复制到副本分片中。
如步骤201所述,图2C为图2A所示实施例中的一种示例性的主分片同步数据过程图,结合图2B与图2C所示,主分片A1在同步数据时,由于对应的副本分片A1'有重建索引标识,因此,只需要将A1上的原始数据1复制到A1'中,对于A2同步数据到A2'和A3同步数据到A3'的过程类似,不再赘述。
针对按照新的索引结构对该原始数据建立索引,得到新的索引数据的过程,新的索引结构可以包括字段、该字段对应的类型和分词方式,原始数据包括多条子原始数据,针对每条子原始数据,搜索服务器可以从该条子原始数据中获取该字段对应的数据内容,并设置为该字段对应的类型,然后再根据该字段对应的分词方式对应的词库,对该数据内容进行分词处理,得到分词结果;将所有子原始数据得到的分词结果进行汇总,并将汇总结果存储到该字段对应的索引数据表中,该汇总结果包括的是数据内容在词库中出现的词汇,以及每个词汇对应的所有子原始数据的标识。
其中,新的索引结构中可以包括多个字段,且每个字段对应有分词方式和类型,例如,分词方式包括有中文分词方式、英文分词方式、拼音分词方式等,字段对应的类型包括有字符类型、日期类型、数值类型等。每个分词方式对应有词库,例如,中文分词方式对应的中文词库、英文分词方式对应的英文词库等。原始数据由多条子原始数据组成,且每条子原始数据对应有标识。下面以一个例子进行说明。
例如,副本分片中存储的原始数据为两篇文档,一篇文档的标识为000001,另一篇文档的标识为000002,每条子原始数据对应一篇文档,因此其中一条子原始数据的标识可以为000001,另一条子原始数据的标识可以为000002,该原始数据对应的字段包含有Filename、Title、Body、Author,其中,标识为000001的子原始数据具体为:
{
Filename:“专利写作.doc”;
Title:“专利写作的关键注意事项”;
Body:“专利写作过程中有多个注意事项,后面省略。”;
Author:“张强”;
}
标识为000002的子原始数据具体为:
{
Filename:“测试数据.doc”;
Title:“专利保护”;
Body:“要注意保护公司的知识产权”;
Author:“李广”;
}
以字段title为例,对字段title对应的数据内容进行分词处理,标识为000001的子原始数据得到的分词结果为“专利”、“写作”、“的”、“关键”、“注意”、“事项”;标识为000002的子原始数据得到的分词结果为“专利”、“保护”,进行汇总之后,得到的汇总结果,并将汇总结果存储到字段title的索引数据表中,如表1为一种示例性的字段title的索引数据表,如表1所示,汇总之后的分词结果为“专利”、“写作”、“的”、“关键”、“注意”、“事项”、“保护”,每个分词对应的文档列表为:“专利”对应的文档为000001、000002;“写作”对应的文档为000001;“的”对应的文档为000001;“关键”对应的文档为000001;“注意”对应的文档为000001;“事项”对应的文档为000001;“保护”对应的文档为000002。
分词结果 分词对应的文档列表
专利 000001、000002
写作 000001
000001
关键 000001
注意 000001
事项 000001
保护 000002
表1
需要说明的是,如果词库也有更新,则搜索服务器在按照新的索引结构对该原始数据建立索引之前,可以先将新的词库导入到每个搜索节点中,以用于重建索引。
基于步骤202的描述可知,搜索服务器通过在副本分片上设置重建索引标识,以与现有的副本分片进行区分,从而在同步数据时,可以只将主分片中的原始数据复制到携带有重建索引标识的副本分片上,并且每个搜索节点上同步数据的过程可以同时进行,而不需要客户端通过查询请求和写入请求实现将原始数据发送到新的索引库中,减少了网络资源的消耗。并且每个搜索节点可以同时进行操作,即每个主分片和副本分片可以同时进行同步数据的过程,从而减少了搜索节点之间的通信消耗,提高了重建索引效率。
步骤203:删除该主分片,并将该副本分片切换为主分片。
具体地,搜索服务器在每个搜索节点上将该索引库的主分片删除,并将携带有重建索引标识的副本分片切换为主分片,从而完成该索引库的重建索引流程。
需要说明的是,搜索服务器在执行步骤201之后,并在执行步骤202之前,可以将该副本分片的状态标识设置为第一标识,在执行步骤202之后,将该副本分片的状态标识设置为第二标识。从而,在接收到搜索请求时,搜索服务器可以查询该副本分片的状态标识;若该状态标识为第一标识,则从副本分片对应的主分片获取该搜索请求对应的索引数据;若该状态标识为第二标识,则从副本分片上获取该搜索请求对应的索引数据。
其中,该搜索请求中携带有该索引库标识和要搜索的内容,搜索服务器在该索引库标识对应的索引库中,查询到该副本分片的状态标识为第一标识时,表示该副本分片是不可用的,可以从该副本分片对应的主分片中查询该要搜索的内容对应的索引数据。
由上述实施例可知,搜索服务器在接收到携带新的索引结构的重建索引请求时,确定该重建索引请求对应的主分片,并为该主分片创建副本分片;将该主分片中记录的原始数据复制到副本分片上,并按照新的索引结构对该原始数据建立索引,得到新的索引数据;删除该主分片,并将副本分片切换为主分片。基于上述实现方式,搜索服务器通过将主分片的原始数据同步到对应的副本分片中,以对原始数据重建索引,而不需要外部客户端通过查询请求和写入请求,读取并写入原始数据的过程,从而减少了网络资源的消耗。
与前述重建索引方法的实施例相对应,本申请还提供了重建索引装置的实施例。
本申请重建索引装置的实施例可以应用在搜索服务器上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图3所示,为本申请根据一示例性的实施例示出的一种搜索服务器的硬件结构图,除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常根据该设备的实际功能,还可以包括其他硬件,对此不再赘述。
图4为本申请根据一示例性实施例示出的一种重建索引装置的实施例结构图,该实施例应用在搜索服务器上,所述搜索服务器包含主分片,所述主分片对应有索引结构,且记录有原始数据和索引数据,如图4所示,所述装置包括:接收单元410、创建单元420、同步单元430、建立索引单元440、切换单元450。
其中,接收单元410,用于接收携带新的索引结构的重建索引请求;
创建单元420,用于确定所述重建索引请求对应的主分片,并为所述主分片创建副本分片;
同步单元430,用于将所述主分片中记录的原始数据复制到所述副本分片上;
建立索引单元440,用于按照所述新的索引结构对所述原始数据建立索引,得到新的索引数据;
切换单元450,用于删除所述主分片,并将所述副本分片切换为主分片。
在一个可选的实现方式中,所述搜索服务器包含索引库,所述索引库包含多个主分片,所述重建索引请求中还携带有索引库标识,所述创建单元420,具体用于获取所述索引库标识对应的索引库,将所述索引库中的所有主分片确定为所述重建索引请求对应的主分片;为所述索引库中的每个主分片创建对应的副本分片。
在另一个可选的实现方式中,所述搜索服务器包含多个搜索节点,所述主分片位于一个搜索节点上,所述创建单元420,还具体用于在为所述主分片创建副本分片的过程中,在所述主分片所在的搜索节点上,为所述主分片创建对应的副本分片;或者,在所述主分片所在的搜索节点之外的其它搜索节点上,为所述主分片创建对应的副本分片。
在另一个可选的实现方式中,所述装置还包括(图4中未示出):
搜索查询单元,具体用于在所述创建单元420为所述主分片创建副本分片之后,在所述建立索引单元440按照所述新的索引结构对所述原始数据建立索引之前,将所述副本分片的状态标识设置为第一标识;在所述建立索引单元440按照所述新的索引结构对所述原始数据建立索引之后,将所述副本分片的状态标识设置为第二标识;在接收到搜索请求时,查询所述副本分片的状态标识;若所述状态标识为第一标识,则从所述副本分片对应的主分片获取所述搜索请求对应的索引数据;若所述状态标识为第二标识,则从所述副本分片上获取所述搜索请求对应的索引数据。
在另一个可选的实现方式中,所述装置还包括(图4中未示出):
重建索引标识单元,具体用于在所述创建单元420为所述主分片创建副本分片之后,为所述副本分片创建一个重建索引标识;在需要将所述主分片中记录的原始数据复制到副本分片上时,判断所述副本分片是否有重建索引标识;如果有,则将所述主分片记录的原始数据复制到所述副本分片上;如果没有,则将所述主分片记录的原始数据和索引数据复制到所述副本分片上。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
由上述实施例可知,搜索服务器在接收到携带新的索引结构的重建索引请求时,确定该重建索引请求对应的主分片,并为该主分片创建副本分片;将该主分片中记录的原始数据复制到副本分片上,并按照新的索引结构对该原始数据建立索引,得到新的索引数据;删除该主分片,并将副本分片切换为主分片。基于上述实现方式,搜索服务器通过将主分片的原始数据同步到对应的副本分片中,以对原始数据重建索引,而不需要外部客户端通过查询请求和写入请求,读取并写入原始数据的过程,从而减少了网络资源的消耗。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (9)

1.一种索引数据的获取方法,所述方法应用在搜索服务器上,其特征在于,所述搜索服务器包含主分片,所述主分片对应有索引结构,且记录有原始数据和索引数据,所述方法包括:
接收携带新的索引结构的重建索引请求;
根据所述重建索引请求对应的主分片,创建所述主分片对应的副本分片;
在所述副本分片上写入所述主分片记录的原始数据;
按照所述新的索引结构对所述副本分片上的原始数据建立索引,并通过状态标识对所述副本分片上的索引数据是否建立完成进行标记;
在接收到搜索请求的情况下,若副本分片被标记为已完成索引数据的建立,则从所述副本分片上获取所述搜索请求对应的索引数据;若副本分片被标记为未完成索引数据的建立,则从所述副本分片对应的主分片上获取所述搜索请求对应的索引数据。
2.根据权利要求1所述方法,其特征在于,
所述通过状态标识对所述副本分片上的索引数据是否建立完成进行标记,包括:在按照所述新的索引结构对所述副本分片上的原始数据建立索引之前,将所述副本分片的状态标识设置为第一标识;在按照所述新的索引结构对所述副本分片上的原始数据建立索引之后,将所述副本分片的状态标识设置为第二标识;
获取所述搜索请求对应的索引数据,包括:在所述副本分片的状态标识为第一标识的情况下,从所述副本分片上获取所述搜索请求对应的索引数据;在所述副本分片的状态标识为第二标识的情况下,从所述副本分片对应的主分片上获取所述搜索请求对应的索引数据。
3.根据权利要求1所述方法,其特征在于,在按照所述新的索引结构对所述副本分片上的原始数据建立索引之前,还包括:
确定所述副本分片是否存在重建索引标识;
在所述副本分片不存在重建索引标识的情况下,在所述副本分片上写入所述主分片记录的索引数据;
其中,在所述副本分片存在重建索引标识的情况下,写入所述副本分片的原始数据被用于按照所述新的索引结构建立索引。
4.根据权利要求1所述方法,其特征在于,还包括:
在所述副本分片上的索引数据完成建立后,删除主分片并将所述副本分片切换为主分片。
5.根据权利要求1所述方法,其特征在于,所述搜索服务器包含索引库,所述索引库包含多个主分片,所述重建索引请求中还携带有索引库标识,所述根据所述重建索引请求对应的主分片,创建所述主分片对应的副本分片,包括:
获取所述索引库标识对应的索引库,将所述索引库中的所有主分片确定为所述重建索引请求对应的主分片;
为所述索引库中的每个主分片创建对应的副本分片。
6.根据权利要求1所述方法,其特征在于,所述搜索服务器包含多个搜索节点,所述主分片位于一个搜索节点上,所述创建所述主分片对应的副本分片,包括:
在所述主分片所在的搜索节点上,为所述主分片创建对应的副本分片;或者,
在所述主分片所在的搜索节点之外的其他搜索节点上,为所述主分片创建对应的副本分片。
7.一种索引数据的获取装置,所述装置应用在搜索服务器上,其特征在于,所述搜索服务器包含主分片,所述主分片对应有索引结构,且记录有原始数据和索引数据,所述装置包括:
接收单元,接收携带新的索引结构的重建索引请求;
创建单元,根据所述重建索引请求对应的主分片,创建所述主分片对应的副本分片;
写入单元,在所述副本分片上写入所述主分片记录的原始数据;
索引建立单元,按照所述新的索引结构对所述副本分片上的原始数据建立索引,并通过状态标识对所述副本分片上的索引数据是否建立完成进行标记;
获取单元,在接收到搜索请求的情况下,若副本分片被标记为已完成索引数据的建立,则从所述副本分片上获取所述搜索请求对应的索引数据;若副本分片被标记为未完成索引数据的建立,则从所述副本分片对应的主分片上获取所述搜索请求对应的索引数据。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为可执行指令以实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
CN201911129763.5A 2016-09-12 2016-09-12 重建索引方法及装置 Active CN110990399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911129763.5A CN110990399B (zh) 2016-09-12 2016-09-12 重建索引方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911129763.5A CN110990399B (zh) 2016-09-12 2016-09-12 重建索引方法及装置
CN201610817528.7A CN106407376B (zh) 2016-09-12 2016-09-12 重建索引方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610817528.7A Division CN106407376B (zh) 2016-09-12 2016-09-12 重建索引方法及装置

Publications (2)

Publication Number Publication Date
CN110990399A CN110990399A (zh) 2020-04-10
CN110990399B true CN110990399B (zh) 2023-04-28

Family

ID=57999212

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610817528.7A Active CN106407376B (zh) 2016-09-12 2016-09-12 重建索引方法及装置
CN201911129763.5A Active CN110990399B (zh) 2016-09-12 2016-09-12 重建索引方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610817528.7A Active CN106407376B (zh) 2016-09-12 2016-09-12 重建索引方法及装置

Country Status (1)

Country Link
CN (2) CN106407376B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110609865B (zh) * 2018-05-29 2022-04-15 优信拍(北京)信息科技有限公司 一种信息同步方法,装置及系统
CN110765125B (zh) * 2018-07-25 2022-09-20 杭州海康威视数字技术股份有限公司 一种存储数据的方法及装置
CN110321322B (zh) * 2019-07-02 2023-07-14 深信服科技股份有限公司 数据重建方法、装置、设备及计算机可读存储介质
CN110442645B (zh) * 2019-07-11 2020-09-15 新华三大数据技术有限公司 数据索引方法及装置
CN111061431B (zh) * 2019-11-28 2023-06-23 曙光信息产业股份有限公司 一种分布式存储方法、服务器及客户端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295323A (zh) * 2008-06-30 2008-10-29 腾讯科技(深圳)有限公司 一种用于索引更新的处理方法和系统
CN103198108A (zh) * 2013-03-27 2013-07-10 新浪网技术(中国)有限公司 一种索引数据更新方法、检索服务器及系统
CN103258036A (zh) * 2013-05-15 2013-08-21 广州一呼百应网络技术有限公司 一种基于p2p的分布式实时搜索引擎
CN103310023A (zh) * 2013-07-05 2013-09-18 深圳中兴网信科技有限公司 分布式搜索系统和分布式搜索方法
CN103488687A (zh) * 2013-09-02 2014-01-01 用友软件股份有限公司 用于大数据的搜索系统和搜索方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196935B (zh) * 2008-01-03 2010-06-09 中兴通讯股份有限公司 一种创建索引库的系统及其方法
US8239389B2 (en) * 2008-09-29 2012-08-07 International Business Machines Corporation Persisting external index data in a database
JP2013073557A (ja) * 2011-09-29 2013-04-22 Hitachi Solutions Ltd 情報検索システム、検索サーバ及びプログラム
CN102779160B (zh) * 2012-06-14 2016-02-03 中金数据系统有限公司 海量数据信息索引系统和索引构建方法
CN104156367B (zh) * 2013-05-14 2017-12-01 阿里巴巴集团控股有限公司 一种搜索引擎的扩容方法及搜索服务系统
CN103605657A (zh) * 2013-10-14 2014-02-26 华为技术有限公司 一种在线重建索引的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295323A (zh) * 2008-06-30 2008-10-29 腾讯科技(深圳)有限公司 一种用于索引更新的处理方法和系统
CN103198108A (zh) * 2013-03-27 2013-07-10 新浪网技术(中国)有限公司 一种索引数据更新方法、检索服务器及系统
CN103258036A (zh) * 2013-05-15 2013-08-21 广州一呼百应网络技术有限公司 一种基于p2p的分布式实时搜索引擎
CN103310023A (zh) * 2013-07-05 2013-09-18 深圳中兴网信科技有限公司 分布式搜索系统和分布式搜索方法
CN103488687A (zh) * 2013-09-02 2014-01-01 用友软件股份有限公司 用于大数据的搜索系统和搜索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
.Leveraging a scalable row store to build a distributed text index.International workshop on Cloud data management.2015,25-36. *
Ning Li,Jun Rao,Eugene Shekita,Sandeep Tata *
高梦颖.存储系统中多维元数据索引的高效更新方法研究.中国优秀硕士论文全文数据库_信息科技辑.2012,(2012/07),I137-107. *

Also Published As

Publication number Publication date
CN106407376B (zh) 2019-12-20
CN106407376A (zh) 2017-02-15
CN110990399A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110990399B (zh) 重建索引方法及装置
US10958752B2 (en) Providing access to managed content
US9792340B2 (en) Identifying data items
US10104175B2 (en) Massively scalable object storage system
US8396938B2 (en) Providing direct access to distributed managed content
US9515878B2 (en) Method, medium, and system for configuring a new node in a distributed memory network
US20090012932A1 (en) Method and System For Data Storage And Management
CN105376277B (zh) 一种数据同步方法及装置
CN105574187B (zh) 一种异构数据库复制事务一致性保障方法及系统
CN105183400B (zh) 一种基于内容寻址的对象存储方法和系统
JP2005078612A (ja) ファイル共有システム及びファイル共有装置間のファイル移行方法
CN111078667B (zh) 一种数据迁移的方法以及相关装置
US20070143286A1 (en) File management method in file system and metadata server therefor
EP2380090B1 (en) Data integrity in a database environment through background synchronization
US20070156791A1 (en) File system dump/restore by node numbering
CN114968966A (zh) 分布式元数据远程异步复制方法、装置和设备
JP4249605B2 (ja) クライアントサーバシステムおよびキャッシュ制御方法ならびにコンピュータプログラム
CN113641686B (zh) 数据处理方法、装置、电子设备、存储介质及程序产品
KR101035857B1 (ko) 데이터 관리 방법 및 그 시스템
JP2019509579A (ja) 情報処理システム
US11561958B2 (en) Information processing device and information processing system
CN112506877B (zh) 基于重删域的数据重删方法、装置、系统及存储设备
CN115190173B (zh) 一种网络通信方法、装置、设备及存储介质
CN117194337A (zh) 选取新的源文件方法、装置、计算机设备及存储介质
CN115438012A (zh) 文件的存储方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant