CN106095911A - 搜索系统及数据同步方法 - Google Patents

搜索系统及数据同步方法 Download PDF

Info

Publication number
CN106095911A
CN106095911A CN201610404444.0A CN201610404444A CN106095911A CN 106095911 A CN106095911 A CN 106095911A CN 201610404444 A CN201610404444 A CN 201610404444A CN 106095911 A CN106095911 A CN 106095911A
Authority
CN
China
Prior art keywords
data
synchronized
described data
center
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610404444.0A
Other languages
English (en)
Inventor
何勇
张智泉
徐之刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610404444.0A priority Critical patent/CN106095911A/zh
Publication of CN106095911A publication Critical patent/CN106095911A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275Synchronous replication

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种搜索系统及数据同步方法,属于计算机技术领域。所述搜索系统包括:数据同步系统和索引系统;数据同步系统,用于接收数据中心发送的数据变更通知,数据变更通知是数据中心在检测到存储的数据发生变更时发送的;从发生变更的数据中确定待同步的数据;根据待同步的数据所对应的标识,从数据中心获取待同步的数据;将待同步的数据发送给索引系统;索引系统,用于接收并存储待同步的数据;建立待同步的数据所对应的索引。由于数据同步系统能够在数据中心中有数据发生变更后,立即获知该情况,且及时地将待同步的数据同步给索引系统,达到了减少数据同步的时延,满足实时搜索的业务需求。

Description

搜索系统及数据同步方法
技术领域
本发明涉及计算机技术领域,特别涉及一种搜索系统及数据同步方法。
背景技术
搜索系统用于向用户提供搜索服务。搜索系统获取到用户提供的关键词后,查询获取包含有上述关键词的数据作为搜索结果,并将搜索结果反馈给用户。
搜索系统通常和数据中心对接,数据中心作为向搜索系统提供数据的数据源。在现有技术中,搜索系统中部署有网络爬虫,网络爬虫用于定期检测数据中心是否有发生变更的数据,并将发生变更的数据同步至搜索系统。例如,网络爬虫每隔预定时间间隔遍历一次数据中心,检测数据中心是否有发生变更的数据。
在现有技术中,由于网络爬虫定期检测数据中心是否有发生变更的数据,当数据中心中有数据发生变更之后,发生变更的数据无法立即被网络爬虫检测到并同步给搜索系统,因此数据同步的时延较高,无法满足实时搜索的业务需求。
发明内容
为了解决现有技术中数据同步的时延较高,无法满足实时搜索的业务需求的问题,本发明实施例提供了一种搜索系统及数据同步方法。所述技术方案如下:
第一方面,提供了一种搜索系统,所述搜索系统包括:数据同步系统和索引系统;
所述数据同步系统,用于接收数据中心发送的数据变更通知,所述数据变更通知是所述数据中心在检测到存储的数据发生变更时发送的,所述数据变更通知包括所述数据中心中发生变更的数据所对应的标识;从所述发生变更的数据中确定待同步的数据;根据所述待同步的数据所对应的标识,从所述数据中心获取所述待同步的数据;将所述待同步的数据发送给索引系统;
所述索引系统,用于接收并存储所述待同步的数据;建立所述待同步的数据所对应的索引。
第二方面,提供了一种数据同步方法,应用于搜索系统中,所述搜索系统包括:数据同步系统和索引系统;
所述数据同步系统接收数据中心发送的数据变更通知,所述数据变更通知是所述数据中心在检测到存储的数据发生变更时发送的,所述数据变更通知包括所述数据中心中发生变更的数据所对应的标识;从所述发生变更的数据中确定待同步的数据;根据所述待同步的数据所对应的标识,从所述数据中心获取所述待同步的数据;将所述待同步的数据发送给索引系统;
所述索引系统接收并存储所述待同步的数据;建立所述待同步的数据所对应的索引。
本发明实施例提供的技术方案带来的有益效果包括:
通过数据同步系统在接收到数据中心发送的数据变更通知之后,从数据中心获取待同步的数据,并将待同步的数据发送给索引系统,由索引系统接收并存储待同步的数据,并建立待同步的数据所对应的索引;解决了现有技术中数据同步的时延较高,无法满足实时搜索的业务需求的问题;由于数据同步系统能够在数据中心中有数据发生变更后,立即获知该情况,且及时地将待同步的数据同步给索引系统,达到了减少数据同步的时延,满足实时搜索的业务需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的搜索系统的示意图;
图2是本发明另一实施例提供的搜索系统的示意图;
图3是本发明又一实施例提供的搜索系统的示意图;
图4是本发明一个实施例提供的数据同步方法的流程图;
图5是本发明一个实施例提供的服务器的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种搜索系统及数据同步方法,以达到减少数据同步的时延,满足实时搜索的业务需求的目的。其中,实时搜索服务是指当数据中心的任意数据发生变更(包括增加、删除和修改)之后,能够立即为搜索请求返回变更后的数据的搜索服务。
下面,通过几个实施例对本发明提供的技术方案进行介绍和说明。
请参考图1,其示出了本发明一个实施例提供的搜索系统的示意图。
搜索系统10和数据中心20对接。搜索系统10用于向用户提供搜索服务。数据中心20中存储有数据,作为向搜索系统10提供数据的数据源。此外,数据中心20中存储的数据,也可称为文档或者数据文档,一个文档对应于一条数据。某条数据发生变更,即是指某个文档的内容发生变更,如文档的内容出现增加、删除或修改中的至少一种情况。
搜索系统10包括:数据同步系统11和索引系统12。数据同步系统11用于在数据中心20存储的数据发生变更之后,将发生变更的数据同步至索引系统12。索引系统12用于存储供用户搜索的数据,并建立供用户搜索的数据所对应的索引,在接收到用户发送的搜索请求之后,根据索引获取搜索结果并反馈给用户。
请参考图2,其示出了本发明另一实施例提供的搜索系统的示意图。搜索系统10和数据中心20对接。搜索系统10包括:数据同步系统11和索引系统12。
在本发明实施例中,对数据中心20存储数据的形式不作限定。例如,如图2所示,数据中心20可以数据库、网页或者文件等任意一种或多种形式存储数据。
数据同步系统11,用于接收数据中心20发送的数据变更通知,数据变更通知是数据中心20在检测到存储的数据发生变更时发送的,数据变更通知包括数据中心20中发生变更的数据所对应的标识。在本发明实施例中,数据中心20在检测到存储的数据发生变更时,主动且实时地向数据同步系统11发送数据变更通知,从而使得数据同步系统11在数据中心20中有数据发生变更后,能够立即获知该情况。
数据同步系统11,还用于从发生变更的数据中确定待同步的数据;根据待同步的数据所对应的标识,从数据中心20获取待同步的数据;将待同步的数据发送给索引系统12。其中,待同步的数据是指发生变更的数据中,需要同步给索引系统12的数据,待同步的数据可以是发生变更的数据中的全部或部分数据。数据同步系统11从数据中心20获取待同步的数据之后,采用增量同步方式将待同步的数据同步给索引系统12。增量同步方式是指当两个数据集进行数据同步时,每次只同步该两个数据集之间不同的部分。
索引系统12,用于接收并存储待同步的数据;建立待同步的数据所对应的索引。
在现有技术中,由于是通过网络爬虫每隔预定时间间隔遍历一次数据中心,检测数据中心是否有发生变更的数据。该预定时间间隔会根据实际需求设置成几分钟至几天不等。也即,在现有技术中,当数据中心有数据发生变更之后,少则经过几分钟将发生变更的数据同步给搜索系统,多则需要经过几天才能将发生变更的数据同步给搜索系统。然而,通过本发明实施例提供的方案,数据同步系统11能够在数据中心20中有数据发生变更后,立即获知该情况,且及时地将待同步的数据同步给索引系统12,当数据中心20有数据发生变更之后,仅需经过数秒即可将待同步的数据同步给搜索系统12,数据同步的时延相较于现有技术显著减少。
综上所述,本实施例提供的搜索系统,通过数据同步系统在接收到数据中心发送的数据变更通知之后,从数据中心获取待同步的数据,并将待同步的数据发送给索引系统,由索引系统接收并存储待同步的数据,并建立待同步的数据所对应的索引;解决了现有技术中数据同步的时延较高,无法满足实时搜索的业务需求的问题;由于数据同步系统能够在数据中心中有数据发生变更后,立即获知该情况,且及时地将待同步的数据同步给索引系统,达到了减少数据同步的时延,满足实时搜索的业务需求。
请参考图3,其示出了本发明又一实施例提供的搜索系统的示意图。搜索系统10和数据中心20对接。搜索系统10包括:数据同步系统11和索引系统12。
数据同步系统11,用于接收数据中心20发送的数据变更通知,数据变更通知是数据中心20在检测到存储的数据发生变更时发送的。例如,数据同步系统11预先向数据中心20发送变更通知请求,该变更通知请求用于请求数据中心20在检测到存储的数据发生变更时,立即向数据同步系统11发送数据变更通知。在本发明实施例中,对数据变更的形式不作限定,包括增加、删除和修改中的至少一种。数据变更通知包括数据中心20中发生变更的数据所对应的标识。一条数据所对应的标识,即为该条数据的唯一标识符,用于唯一标识该条数据。发生变更的数据可以包括一条或者多条数据。
数据同步系统11,还用于从发生变更的数据中确定待同步的数据。其中,待同步的数据是指发生变更的数据中,需要同步给索引系统12的数据,待同步的数据可以是发生变更的数据中的全部或部分数据。数据中心20可能存储多种不同类型的数据,而索引系统12可能针对其中部分类型的数据提供搜索服务,因此,数据中心20中发生变更的数据,可能并不是索引系统12所需的数据。在本实施例中,数据同步系统11可具体用于:分别获取每一条发生变更的数据所对应的类型;从发生变更的数据中选取目标类型的数据,作为待同步的数据。其中,目标类型的数据是指索引系统12所需类型的数据。在本实施例中,对数据类型的划分方式不作限定,例如可按业务种类对数据类型进行划分。在一个示例中,假设发生变更的数据包括4条数据,其中第1条数据所对应的类型为A,第2条数据所对应的类型为B,第3条和第4条数据所对应的类型为C,如果目标类型为A和C,则数据同步系统11选取第1、3和4条数据作为待同步的数据。每一条发生变更的数据所对应的类型,可以由数据中心20发送的数据变更通知中携带,也可由数据同步系统11根据数据所对应的标识查询预设对应关系得到,该预设对应关系包括数据所对应的标识与类型之间的对应关系。
数据同步系统11,还用于根据待同步的数据所对应的标识,从数据中心20获取待同步的数据。例如,数据同步系统11向数据中心20发送数据获取请求,数据获取请求中携带待同步的数据所对应的标识;数据中心20接收到上述数据获取请求之后,向数据同步系统11发送待同步的数据。
数据同步系统11,还用于将待同步的数据发送给索引系统12。数据同步系统11从数据中心20获取待同步的数据之后,采用增量同步方式将待同步的数据同步给索引系统12。上述增量同步过程是完全实时的,因此消除了数据从修改到被索引系统12索引的延时,从而达到实时搜索的目的。
索引系统12,用于接收并存储待同步的数据;建立待同步的数据所对应的索引。在一个示例中,如图3所示,索引系统12包括:文档集、全文索引器、索引仓库和搜索服务模块。其中,文档集用于存储可供用户搜索的数据。全文索引器用于建立数据所对应的索引。索引仓库用于存储数据所对应的索引。搜索服务模块用于接收用户发送的搜索请求,根据搜索请求中包含的关键词从索引仓库中检索获取包含上述关键词的数据,并从文档集中获取上述检索到的数据反馈给用户。索引系统12接收到数据同步系统11发送的待同步的数据之后,将待同步的数据存储至文档集中。全文索引器建立待同步的数据所对应的索引,并将待同步的数据所对应的索引更新至索引仓库。
可选地,如图2所示,数据同步系统11中包括本地数据库。数据同步系统11,还用于将待同步的数据存储至本地数据库中;定期将本地数据库中的数据全量同步至索引系统12。数据同步系统11在从数据中心20获取待同步的数据之后,同样采用增量同步方式将待同步的数据同步至本地数据库中。并且,数据同步系统11定期将本地数据库中的数据全量同步至索引系统12。例如,数据同步系统11每隔预定时间间隔将本地数据库中的数据全量同步至索引系统12。全量同步方式是指当两个数据集进行数据同步时,每次都一次性同步其中一个数据集中的全部数据至另一个数据集。具体来讲,数据同步系统11,用于定期将本地数据库中的数据全部发送给索引系统12;索引系统12,用于接收并存储数据同步系统11发送的数据,建立上述数据所对应的索引,并清除原先存储的数据及原先存储的数据所对应的索引。索引系统12接收到数据同步系统11全量同步过来的数据之后,清楚原先存储的所有数据及对应的索引,并重新创建索引。
由于数据同步系统11与索引系统12长时间进行增量同步之后,会因为某些原因导致同步未成功完成,使得索引系统12和数据中心20之间出现较多不一致的数据,带来数据的一致性问题。例如,由于出现网络丢包的状况,增量同步之后会导致索引系统12中存储的数据与数据中心20中相应的数据不一致。在本实施例中,通过数据同步系统11将待同步的数据备份至本地数据库,并且定期全量同步至索引系统12,可以确保索引系统12中存储的数据与数据中心20中相应的数据一致,保证了搜索结果的正确性。
在一个示例中,如图3所示,数据同步系统11包括:变更发布中心111和数据同步中心112。
数据同步中心112,用于向变更发布中心111发送订阅请求,该订阅请求用于请求变更发布中心111在确认数据中心20有目标类型的数据发生变更时,向数据同步中心112进行通知。
变更发布中心111,用于在接收到数据中心20发送的数据变更通知之后,分别获取每一条发生变更的数据所对应的类型;从发生变更的数据中选取目标类型的数据,作为待同步的数据;将待同步的数据所对应的标识发送给数据同步中心112。
数据同步中心112,还用于根据待同步的数据所对应的标识,从数据中心20获取待同步的数据,而后将待同步的数据发送给索引系统12。
通过上述方式,将数据同步系统11分为变更发布中心111和数据同步中心112两个功能模块,实现功能上的相互独立,使得整个搜索系统10的架构更为合理规范。
综上所述,本实施例提供的搜索系统,通过数据同步系统在接收到数据中心发送的数据变更通知之后,从数据中心获取待同步的数据,并将待同步的数据发送给索引系统,由索引系统接收并存储待同步的数据,并建立待同步的数据所对应的索引;解决了现有技术中数据同步的时延较高,无法满足实时搜索的业务需求的问题;由于数据同步系统能够在数据中心中有数据发生变更后,立即获知该情况,且及时地将待同步的数据同步给索引系统,达到了减少数据同步的时延,满足实时搜索的业务需求。
另外,还通过数据同步系统从数据中心获取待同步的数据之后,将待同步的数据存储至本地数据库中,并定期将本地数据库中的数据全量同步至索引系统,确保索引系统中存储的数据与数据中心中相应的数据一致,保证了搜索结果的正确性。
下述为本发明方法实施例,对于本发明方法实施例中未披露的细节,请参照本发明系统实施例。
请参考图4,其示出了本发明一个实施例提供的数据同步方法的流程图。该方法应用于搜索系统中,该搜索系统包括数据同步系统和索引系统。例如,该搜索系统可以是上述图2或图3所示实施例提供的搜索系统。该方法可以包括如下几个步骤。
步骤401,数据同步系统接收数据中心发送的数据变更通知,数据变更通知是数据中心在检测到存储的数据发生变更时发送的,数据变更通知包括数据中心中发生变更的数据所对应的标识。
步骤402,数据同步系统从发生变更的数据中确定待同步的数据。
步骤403,数据同步系统根据待同步的数据所对应的标识,从数据中心获取待同步的数据。
步骤404,数据同步系统将待同步的数据发送给索引系统。
相应地,索引系统接收数据同步系统发送的待同步的数据。
步骤405,索引系统存储待同步的数据。
步骤406,索引系统建立待同步的数据所对应的索引。
综上所述,本实施例提供的搜索方法,通过数据同步系统在接收到数据中心发送的数据变更通知之后,从数据中心获取待同步的数据,并将待同步的数据发送给索引系统,由索引系统接收并存储待同步的数据,并建立待同步的数据所对应的索引;解决了现有技术中数据同步的时延较高,无法满足实时搜索的业务需求的问题;由于数据同步系统能够在数据中心中有数据发生变更后,立即获知该情况,且及时地将待同步的数据同步给索引系统,达到了减少数据同步的时延,满足实时搜索的业务需求。
在一个示例中,上述步骤403之后还包括:数据同步系统将待同步的数据存储至本地数据库中,定期将本地数据库中的数据全量同步至索引系统。
可选地,数据同步系统定期将本地数据库中的数据全量同步至索引系统,包括:
数据同步系统定期将本地数据库中的数据全部发送给索引系统;
索引系统接收并存储数据;建立数据所对应的索引,并清除原先存储的数据及原先存储的数据所对应的索引。
在另一个示例中,上述步骤402包括:数据同步系统分别获取每一条发生变更的数据所对应的类型;从发生变更的数据中选取目标类型的数据,作为待同步的数据。
可选地,数据同步系统包括:变更发布中心和数据同步中心。
数据同步中心向变更发布中心发送订阅请求,该订阅请求用于请求变更发布中心在确认数据中心有目标类型的数据发生变更时,向数据同步中心进行通知。
变更发布中心在接收到数据中心发送的数据变更通知之后,分别获取每一条发生变更的数据所对应的类型;从发生变更的数据中选取目标类型的数据,作为待同步的数据;将待同步的数据所对应的标识发送给数据同步中心。
数据同步中心根据待同步的数据所对应的标识,从数据中心获取待同步的数据。
上述方法实施例与系统实施例属于同一构思,有关方法实施例中各步骤的介绍和说明,参见系统实施例中的描述,这里不再赘述。
请参考图5,其示出了本发明一个实施例提供的服务器的结构示意图。上述数据同步系统和索引系统中可分别部署一台或多台服务器,以分别实现数据同步系统和索引系统各自的功能。具体来讲:
所述服务器500包括中央处理单元(CPU)501、包括随机存取存储器(RAM)502和只读存储器(ROM)503的系统存储器504,以及连接系统存储器504和中央处理单元501的系统总线505。所述服务器500还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)506,和用于存储操作系统513、应用程序514和其他程序模块515的大容量存储设备507。
所述基本输入/输出系统506包括有用于显示信息的显示器508和用于用户输入信息的诸如鼠标、键盘之类的输入设备509。其中所述显示器508和输入设备509都通过连接到系统总线505的输入输出控制器510连接到中央处理单元501。所述基本输入/输出系统506还可以包括输入输出控制器510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器510还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备507通过连接到系统总线505的大容量存储控制器(未示出)连接到中央处理单元501。所述大容量存储设备507及其相关联的计算机可读介质为服务器500提供非易失性存储。也就是说,所述大容量存储设备507可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器504和大容量存储设备507可以统称为存储器。
根据本发明的各种实施例,所述服务器500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器500可以通过连接在所述系统总线505上的网络接口单元511连接到网络512,或者说,也可以使用网络接口单元511来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述方法的指令。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种搜索系统,其特征在于,所述搜索系统包括:数据同步系统和索引系统;
所述数据同步系统,用于接收数据中心发送的数据变更通知,所述数据变更通知是所述数据中心在检测到存储的数据发生变更时发送的,所述数据变更通知包括所述数据中心中发生变更的数据所对应的标识;从所述发生变更的数据中确定待同步的数据;根据所述待同步的数据所对应的标识,从所述数据中心获取所述待同步的数据;将所述待同步的数据发送给索引系统;
所述索引系统,用于接收并存储所述待同步的数据;建立所述待同步的数据所对应的索引。
2.根据权利要求1所述的搜索系统,其特征在于,
所述数据同步系统,还用于将所述待同步的数据存储至本地数据库中;定期将所述本地数据库中的数据全量同步至所述索引系统。
3.根据权利要求2所述的搜索系统,其特征在于,
所述数据同步系统,用于定期将所述本地数据库中的数据全部发送给所述索引系统;
所述索引系统,用于接收并存储所述数据;建立所述数据所对应的索引,并清除原先存储的数据及所述原先存储的数据所对应的索引。
4.根据权利要求1所述的搜索系统,其特征在于,所述数据同步系统,具体用于:
分别获取每一条发生变更的数据所对应的类型;
从所述发生变更的数据中选取目标类型的数据,作为所述待同步的数据。
5.根据权利要求4所述的搜索系统,其特征在于,所述数据同步系统包括:变更发布中心和数据同步中心;
所述数据同步中心,用于向所述变更发布中心发送订阅请求,所述订阅请求用于请求所述变更发布中心在确认所述数据中心有所述目标类型的数据发生变更时,向所述数据同步中心进行通知;
所述变更发布中心,用于在接收到所述数据中心发送的所述数据变更通知之后,分别获取每一条发生变更的数据所对应的类型;从所述发生变更的数据中选取所述目标类型的数据,作为所述待同步的数据;将所述待同步的数据所对应的标识发送给所述数据同步中心;
所述数据同步中心,还用于根据所述待同步的数据所对应的标识,从所述数据中心获取所述待同步的数据。
6.一种数据同步方法,其特征在于,应用于搜索系统中,所述搜索系统包括:数据同步系统和索引系统;
所述数据同步系统接收数据中心发送的数据变更通知,所述数据变更通知是所述数据中心在检测到存储的数据发生变更时发送的,所述数据变更通知包括所述数据中心中发生变更的数据所对应的标识;从所述发生变更的数据中确定待同步的数据;根据所述待同步的数据所对应的标识,从所述数据中心获取所述待同步的数据;将所述待同步的数据发送给索引系统;
所述索引系统接收并存储所述待同步的数据;建立所述待同步的数据所对应的索引。
7.根据权利要求6所述的方法,其特征在于,所述数据同步系统根据所述待同步的数据所对应的标识,从所述数据中心获取所述待同步的数据之后,还包括:
所述数据同步系统将所述待同步的数据存储至本地数据库中;定期将所述本地数据库中的数据全量同步至所述索引系统。
8.根据权利要求7所述的方法,其特征在于,所述数据同步系统定期将所述本地数据库中的数据全量同步至所述索引系统,包括:
所述数据同步系统定期将所述本地数据库中的数据全部发送给所述索引系统;
所述索引系统接收并存储所述数据;建立所述数据所对应的索引,并清除原先存储的数据及所述原先存储的数据所对应的索引。
9.根据权利要求6所述的方法,其特征在于,所述数据同步系统从所述发生变更的数据中确定待同步的数据,包括:
所述数据同步系统分别获取每一条发生变更的数据所对应的类型;从所述发生变更的数据中选取目标类型的数据,作为所述待同步的数据。
10.根据权利要求9所述的方法,其特征在于,所述数据同步系统包括:变更发布中心和数据同步中心;
所述数据同步中心向所述变更发布中心发送订阅请求,所述订阅请求用于请求所述变更发布中心在确认所述数据中心有所述目标类型的数据发生变更时,向所述数据同步中心进行通知;
所述变更发布中心在接收到所述数据中心发送的所述数据变更通知之后,分别获取每一条发生变更的数据所对应的类型;从所述发生变更的数据中选取所述目标类型的数据,作为所述待同步的数据;将所述待同步的数据所对应的标识发送给所述数据同步中心;
所述数据同步中心根据所述待同步的数据所对应的标识,从所述数据中心获取所述待同步的数据。
CN201610404444.0A 2016-06-07 2016-06-07 搜索系统及数据同步方法 Pending CN106095911A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610404444.0A CN106095911A (zh) 2016-06-07 2016-06-07 搜索系统及数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610404444.0A CN106095911A (zh) 2016-06-07 2016-06-07 搜索系统及数据同步方法

Publications (1)

Publication Number Publication Date
CN106095911A true CN106095911A (zh) 2016-11-09

Family

ID=57227639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610404444.0A Pending CN106095911A (zh) 2016-06-07 2016-06-07 搜索系统及数据同步方法

Country Status (1)

Country Link
CN (1) CN106095911A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713487A (zh) * 2017-01-16 2017-05-24 腾讯科技(深圳)有限公司 数据的同步方法和装置
CN107103067A (zh) * 2017-04-18 2017-08-29 北京思特奇信息技术股份有限公司 一种基于搜索引擎的数据同步方法及系统
CN107315825A (zh) * 2017-07-05 2017-11-03 北京奇艺世纪科技有限公司 一种索引更新系统、方法及装置
CN107506481A (zh) * 2017-09-15 2017-12-22 北京京东尚科信息技术有限公司 用于处理信息的方法及装置
CN109815261A (zh) * 2018-12-11 2019-05-28 北京荣之联科技股份有限公司 全局搜索功能实现及数据实时同步方法、装置及电子设备
CN110062029A (zh) * 2019-03-21 2019-07-26 深圳壹账通智能科技有限公司 变更数据同步的方法、装置、计算机设备及计算机存储介质
CN110225077A (zh) * 2019-04-25 2019-09-10 深圳壹账通智能科技有限公司 变更供应数据的同步方法、装置、计算机设备及计算机存储介质
CN110545301A (zh) * 2018-05-29 2019-12-06 视联动力信息技术股份有限公司 监控资源同步方法和装置
CN110851440A (zh) * 2019-09-29 2020-02-28 深圳市华力特电气有限公司 一种数据同步方法和装置
CN111782687A (zh) * 2020-05-20 2020-10-16 北京皮尔布莱尼软件有限公司 一种数据检索系统和方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713487A (zh) * 2017-01-16 2017-05-24 腾讯科技(深圳)有限公司 数据的同步方法和装置
CN106713487B (zh) * 2017-01-16 2020-10-09 腾讯科技(深圳)有限公司 数据的同步方法和装置
CN107103067A (zh) * 2017-04-18 2017-08-29 北京思特奇信息技术股份有限公司 一种基于搜索引擎的数据同步方法及系统
CN107315825B (zh) * 2017-07-05 2020-02-28 北京奇艺世纪科技有限公司 一种索引更新系统、方法及装置
CN107315825A (zh) * 2017-07-05 2017-11-03 北京奇艺世纪科技有限公司 一种索引更新系统、方法及装置
CN107506481A (zh) * 2017-09-15 2017-12-22 北京京东尚科信息技术有限公司 用于处理信息的方法及装置
CN110545301A (zh) * 2018-05-29 2019-12-06 视联动力信息技术股份有限公司 监控资源同步方法和装置
CN110545301B (zh) * 2018-05-29 2022-06-17 视联动力信息技术股份有限公司 监控资源同步方法和装置
CN109815261A (zh) * 2018-12-11 2019-05-28 北京荣之联科技股份有限公司 全局搜索功能实现及数据实时同步方法、装置及电子设备
CN110062029A (zh) * 2019-03-21 2019-07-26 深圳壹账通智能科技有限公司 变更数据同步的方法、装置、计算机设备及计算机存储介质
CN110225077A (zh) * 2019-04-25 2019-09-10 深圳壹账通智能科技有限公司 变更供应数据的同步方法、装置、计算机设备及计算机存储介质
CN110851440A (zh) * 2019-09-29 2020-02-28 深圳市华力特电气有限公司 一种数据同步方法和装置
CN110851440B (zh) * 2019-09-29 2023-10-13 深圳市华力特电气有限公司 一种数据同步方法和装置
CN111782687A (zh) * 2020-05-20 2020-10-16 北京皮尔布莱尼软件有限公司 一种数据检索系统和方法

Similar Documents

Publication Publication Date Title
CN106095911A (zh) 搜索系统及数据同步方法
CN106325933B (zh) 批量数据同步方法和装置
CN105262831B (zh) 一种存储系统间同步数据的方法、装置及同步系统
CN111818112B (zh) 一种基于Kafka系统的发送消息的方法和装置
CN106372221B (zh) 一种文件同步的方法、设备及系统
CN108009261B (zh) 一种数据同步方法、装置及电子设备
CN103744906A (zh) 一种数据同步系统、方法及装置
CN104348859B (zh) 文件同步方法、装置、服务器、终端及系统
CN106610876A (zh) 数据快照的恢复方法及装置
CN104731956A (zh) 同步数据的方法、系统及相关数据库
CN108874558A (zh) 分布式事务的消息订阅方法、电子装置及可读存储介质
CN111131399B (zh) 一种区块链中共识节点动态增加方法及装置
CN105930498A (zh) 一种分布式数据库的管理方法及系统
CN104115142B (zh) 用于书签同步的特定于设备的文件夹
CN105630847A (zh) 数据存储方法、数据查询方法、装置及系统
CN104750757B (zh) 一种基于HBase的数据存储方法和设备
CN106126557A (zh) 页面处理方法及装置
CN105824745A (zh) 一种灰度发布方法及装置
CN102890682A (zh) 构建索引的方法、检索方法、装置及系统
CN101673374B (zh) 一种单据处理方法和装置
CN109145060A (zh) 数据处理方法及装置
CN103823846A (zh) 一种基于图论的大数据存储及查询方法
CN108536467A (zh) 代码的定位处理方法、装置、终端设备及存储介质
CN104462342B (zh) 数据库快照同步处理方法及装置
CN104699795A (zh) 一种推送视频的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161109

RJ01 Rejection of invention patent application after publication