CN103177082A - 主服务器、从服务器、索引同步系统和索引同步方法 - Google Patents

主服务器、从服务器、索引同步系统和索引同步方法 Download PDF

Info

Publication number
CN103177082A
CN103177082A CN2013100557523A CN201310055752A CN103177082A CN 103177082 A CN103177082 A CN 103177082A CN 2013100557523 A CN2013100557523 A CN 2013100557523A CN 201310055752 A CN201310055752 A CN 201310055752A CN 103177082 A CN103177082 A CN 103177082A
Authority
CN
China
Prior art keywords
index
index file
server
file
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100557523A
Other languages
English (en)
Other versions
CN103177082B (zh
Inventor
郭辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yonyou Software Co Ltd
Original Assignee
Yonyou Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yonyou Software Co Ltd filed Critical Yonyou Software Co Ltd
Priority to CN201310055752.3A priority Critical patent/CN103177082B/zh
Publication of CN103177082A publication Critical patent/CN103177082A/zh
Application granted granted Critical
Publication of CN103177082B publication Critical patent/CN103177082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提供了一种主服务器,应用于索引同步系统,包括:索引变更点记录单元,对主服务器进行监听,当监听到主服务器中的索引文件发生变更并进行提交之后,记录索引文件变更的信息,并将索引文件发生变更的事件加到索引变更点队列中;索引变更消息发送单元,定时查看索引变更点队列,当查看到有索引文件发生变更的事件时,向从服务器发送索引文件变更消息;索引文件发送单元,当接收到从服务器的索引同步请求时,查找与索引同步请求对应的索引文件,并将索引文件发送至所述从服务器。相应地,本发明还提供了一种从服务器、索引同步系统和索引同步方法。通过该技术方案,可以提高搜索效率。

Description

主服务器、从服务器、索引同步系统和索引同步方法
技术领域
本发明涉及索引技术领域,具体而言,涉及一种主服务器、一种从服务器、一种索引同步系统和一种索引同步方法。
背景技术
在企业发展壮大过程中,用户量不断增加,单机搜索无论从性能上、还是在可用性和稳定性上都已经不能满足企业的搜索服务。
在现有技术中,目前现有同步索引文件主要有两种方法:
一、rsync是类unix/linux系统下的数据镜像备份工具,实现不同服务器之间的索引文件复制。
二、采取文件共享的方式,例如采取文件系统共享方式,将索引文件通过文件共享方式,索引服务器通过文件系统读取索引文件。
上述两种方案在实际的应用过程,都存在一些缺陷,方案一需要在不同服务器上配置同步脚本,实施起来繁琐,容易出错,方案二中由于共享文件系统会成为整个系统的瓶颈,当索引文件频繁更新时,会导致阻塞等问题。
因此,需要一种新的索引同步技术,可以通过将索引文件同步到多个搜索服务器上,来提高搜索效率,同时提高索引服务的可用性和稳定性。
发明内容
本发明正是基于上述问题,提出了一种新的索引同步技术,可以通过将索引文件同步到多个搜索服务器上,来提高搜索效率,同时提高索引服务的可用性和稳定性。
有鉴于此,本发明提出了一种主服务器,应用于索引同步系统,包括:索引变更点记录单元,对所述主服务器进行监听,当监听到所述主服务器中的索引文件发生变更并进行提交之后,记录索引文件变更的信息,并将索引文件发生变更的事件加到索引变更点队列中;索引变更消息发送单元,定时查看所述索引变更点队列,当查看到所述索引变更点队列中有所述索引文件发生变更的事件时,向所述从服务器发送索引文件变更消息;索引文件发送单元,当接收到所述从服务器的索引同步请求时,查找与所述索引同步请求对应的索引文件,并将所述索引文件发送至所述从服务器。
在该技术方案中,当某个主服务器中的索引文件有变更时,其他从服务器可以从主服务器中获得变更的索引文件,将变更的索引文件同步到本地,从而实现各服务器之间索引文件的同步,提高了搜索的效率。
在上述技术方案中,优选地,还包括:索引文件分片打包单元,根据所述从服务器的所述索引同步请求,将所述索引文件按照配置规则分成一个或多个数据包,将由所述一个或多个数据包组成的所述索引文件发送至所述从服务器。
在该技术方案中,如果索引文件的容量较大,可以通过分片传输的方式来更新同步索引文件,将索引文件按照配置参数分片打包,从而实现不同大小索引文件的快速高效同步。
在上述技术方案中,优选地,还包括:检验单元,在所述从服务器的所述索引同步请求中包括校验请求信息时,为所述索引文件添加校验信息。
在该技术方案中,可以在索引同步时,在索引文件中加入包校验,从而使得只有通过校验的服务器才能查看到索引文件的内容,保证了索引文件信息的安全。
本发明还提供了一种从服务器,应用于索引同步系统,包括:消息监听单元,监听主服务器发送的索引文件变更消息,并将监听到的所述索引文件变更消息发送至所述索引文件读取单元;所述索引文件读取单元,读取所述索引文件变更消息,并从所述主服务器中获取主服务器信息和索引文件变更的信息;同步请求发送单元,根据所述主服务器信息和所述索引文件变更的信息,配置索引同步请求参数,并向所述主服务器发送索引同步请求;更新复制同步单元,接收所述主服务器发送的索引文件,将所述索引文件和所述从服务器的本地对应索引文件进行复制合并,并通知搜索引擎重新加载合并后的索引文件。
在该技术方案中,当某个主服务器中的索引文件有变更时,其他从服务器可以从主服务器中获得变更的索引文件,将变更的索引文件同步到本地,从而实现各服务器之间索引文件的同步,提高了搜索的效率。
在上述技术方案中,优选地,还包括:组合单元,接收所述主服务器发送的由一个或多个数据包组成的索引文件,并在检测到所述索引文件由多个数据包组成时,合并所述多个数据包,组成所述索引文件;校验处理单元,对接收的所述索引文件进行检测,当检测到所述索引文件中包括校验信息时,对所述索引文件进行校验操作。
在该技术方案中,可以在索引同步时,在索引文件中加入包校验,从而使得只有通过校验的服务器才能查看到索引文件的内容,保证了索引文件信息的安全。
本发明还提供了一种索引同步系统,包括上面所述的主服务器和从服务器。
根据本发明的另一方面,还提供了一种索引同步方法,应用于索引同步系统,包括:步骤402,对所述主服务器进行监听,当监听到所述主服务器中的索引文件发生变更并进行提交之后,记录索引文件变更的信息,并将索引文件发生变更的事件加到索引变更点队列中;步骤404,定时查看所述索引变更点队列,当查看到所述索引变更点队列中有所述索引文件发生变更的事件时,向所述从服务器发送索引文件变更消息;步骤406,控制所述从服务器监听主服务器发送的索引文件变更消息,读取监听到的所述索引文件变更消息,并从所述主服务器中获取主服务器信息和索引文件变更的信息;步骤408,根据所述主服务器信息和所述索引文件变更的信息,配置索引同步请求参数,并向所述主服务器发送索引同步请求;步骤410,当所述主服务器接收到所述从服务器的索引同步请求时,查找与所述索引同步请求对应的索引文件,并将所述索引文件发送至所述从服务器;步骤412,接收所述主服务器发送的所述索引文件,将所述索引文件和所述从服务器的本地对应索引文件进行复制合并,并通知搜索引擎重新加载合并后的索引文件。
在该技术方案中,当某个主服务器中的索引文件有变更时,其他从服务器可以从主服务器中获得变更的索引文件,将变更的索引文件同步到本地,从而实现各服务器之间索引文件的同步,提高了搜索的效率。
在上述技术方案中,优选地,所述步骤410还包括:根据所述从服务器的所述索引同步请求,将所述索引文件按照配置规则分成一个或多个数据包,将由所述一个或多个数据包组成的所述索引文件发送至所述从服务器。
在该技术方案中,如果索引文件的容量较大,可以通过分片传输的方式来更新同步索引文件,将索引文件按照配置参数分片打包,从而实现不同大小索引文件的快速高效同步。
在上述技术方案中,优选地,所述步骤410还包括:在所述从服务器的所述索引同步请求中包括校验请求信息时,为所述索引文件添加校验信息;以及所述步骤412还包括:接收所述主服务器发送的由一个或多个数据包组成的索引文件,并在所述索引文件由多个数据包组成时,合并所述多个数据包,组成所述索引文件;以及对接收的所述索引文件进行检测,当检测到所述索引文件中包括校验信息时,对所述索引文件进行校验操作。
在该技术方案中,可以在索引同步时,在索引文件中加入包校验,从而使得只有通过校验的服务器才能查看到索引文件的内容,保证了索引文件信息的安全。
在上述技术方案中,优选地,所述主服务器包括索引文件发生变更的服务器,所述从服务器包括从所述索引文件发生变更的服务器获取索引文件变更的服务器。
在该技术方案中,任何索引文件发生变更的服务器都可以称为主服务器,任何从主服务器获取索引文件变更的服务器都可以称为从服务器,即同一台服务器在不同情况下,既可以是主服务器也可以是从服务器,不同的服务器之间可以实现互为主从关系。
通过以上技术方案,可以将索引文件同步到多个搜索服务器上,从而提高搜索效率,同时,索引文件分布到多个搜索服务器上,如果某个服务器索引文件损坏,可以通过其他搜索服务器上的副本,恢复索引文件,提高服务的可用性和稳定性,有效的解决了索引更新负载平衡问题,也提高了集群环境的整个效率。
附图说明
图1示出了根据本发明的实施例的主服务器的框图;
图2示出了根据本发明的实施例的从服务器的框图;
图3示出了根据本发明的实施例的索引同步系统的框图;
图4示出了根据本发明的实施例的索引同步方法的流程图;
图5示出了根据本发明的实施例的索引同步系统的示意图;
图6示出了根据本发明的实施例的索引同步系统的结构示意图;
图7示出了根据本发明的实施例的索引同步方法的具体流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的实施例的主服务器的框图。
如图1所示,根据本发明的实施例的主服务器100,应用于索引同步系统,包括:索引变更点记录单元102,对所述主服务器进行监听,当监听到所述主服务器中的索引文件发生变更并进行提交之后,记录索引文件变更的信息,并将索引文件发生变更的事件加到索引变更点队列中;索引变更消息发送单元104,定时查看所述索引变更点队列,当查看到所述索引变更点队列中有所述索引文件发生变更的事件时,向所述从服务器发送索引文件变更消息;索引文件发送单元106,当接收到所述从服务器的索引同步请求时,查找与所述索引同步请求对应的索引文件,并将所述索引文件发送至所述从服务器。
在该技术方案中,当某个主服务器中的索引文件有变更时,其他从服务器可以从主服务器中获得变更的索引文件,将变更的索引文件同步到本地,从而实现各服务器之间索引文件的同步,提高了搜索的效率。
在上述技术方案中,优选地,还包括:索引文件分片打包单元108,根据所述从服务器的所述索引同步请求,将所述索引文件按照配置规则分成一个或多个数据包,将由所述一个或多个数据包组成的所述索引文件发送至所述从服务器。
在该技术方案中,如果索引文件的容量较大,可以通过分片传输的方式来更新同步索引文件,将索引文件按照配置参数分片打包,从而实现不同大小索引文件的快速高效同步。
在上述技术方案中,优选地,还包括:检验单元110,在所述从服务器的所述索引同步请求中包括校验请求信息时,为所述索引文件添加校验信息。
在该技术方案中,可以在索引同步时,在索引文件中加入包校验,从而使得只有通过校验的服务器才能查看到索引文件的内容,保证了索引文件信息的安全。
图2示出了根据本发明的实施例的从服务器的框图。
如图2所示,根据本发明的实施例的从服务器200,应用于索引同步系统,包括:消息监听单元202,监听主服务器发送的索引文件变更消息,并将监听到的所述索引文件变更消息发送至所述索引文件读取单元204;所述索引文件读取单元204,读取所述索引文件变更消息,并从所述主服务器中获取主服务器信息和索引文件变更的信息;同步请求发送单元206,根据所述主服务器信息和所述索引文件变更的信息,配置索引同步请求参数,并向所述主服务器发送索引同步请求;更新复制同步单元208,接收所述主服务器发送的索引文件,将所述索引文件和所述从服务器的本地对应索引文件进行复制合并,并通知搜索引擎重新加载合并后的索引文件。
在该技术方案中,当某个主服务器中的索引文件有变更时,其他从服务器可以从主服务器中获得变更的索引文件,将变更的索引文件同步到本地,从而实现各服务器之间索引文件的同步,提高了搜索的效率。
在上述技术方案中,优选地,还包括:组合单元210,接收所述主服务器发送的由一个或多个数据包组成的索引文件,并在检测到所述索引文件由多个数据包组成时,合并所述多个数据包,组成所述索引文件;校验处理单元212,对接收的所述索引文件进行检测,当检测到所述索引文件中包括校验信息时,对所述索引文件进行校验操作。
在该技术方案中,可以在索引同步时,在索引文件中加入包校验,从而使得只有通过校验的服务器才能查看到索引文件的内容,保证了索引文件信息的安全。
图3示出了根据本发明的实施例的索引同步系统的框图。
如图3所示,根据本发明的实施例的索引同步系统300,包括主服务器100和从服务器200。
图4示出了根据本发明的实施例的索引同步方法的流程图。
如图4所示,根据本发明的实施例索引同步方法,应用于索引同步系统,包括:步骤402,对所述主服务器进行监听,当监听到所述主服务器中的索引文件发生变更并进行提交之后,记录索引文件变更的信息,并将索引文件发生变更的事件加到索引变更点队列中;步骤404,定时查看所述索引变更点队列,当查看到所述索引变更点队列中有所述索引文件发生变更的事件时,向所述从服务器发送索引文件变更消息;步骤406,控制所述从服务器监听主服务器发送的索引文件变更消息,读取监听到的所述索引文件变更消息,并从所述主服务器中获取主服务器信息和索引文件变更的信息;步骤408,根据所述主服务器信息和所述索引文件变更的信息,配置索引同步请求参数,并向所述主服务器发送索引同步请求;步骤410,当所述主服务器接收到所述从服务器的索引同步请求时,查找与所述索引同步请求对应的索引文件,并将所述索引文件发送至所述从服务器;步骤412,接收所述主服务器发送的所述索引文件,将所述索引文件和所述从服务器的本地对应索引文件进行复制合并,并通知搜索引擎重新加载合并后的索引文件。
在该技术方案中,当某个主服务器中的索引文件有变更时,其他从服务器可以从主服务器中获得变更的索引文件,将变更的索引文件同步到本地,从而实现各服务器之间索引文件的同步,提高了搜索的效率。
在上述技术方案中,优选地,所述步骤410还包括:根据所述从服务器的所述索引同步请求,将所述索引文件按照配置规则分成一个或多个数据包,将由所述一个或多个数据包组成的所述索引文件发送至所述从服务器。
在该技术方案中,如果索引文件的容量较大,可以通过分片传输的方式来更新同步索引文件,将索引文件按照配置参数分片打包,从而实现不同大小索引文件的快速高效同步。
在上述技术方案中,优选地,所述步骤410还包括:在所述从服务器的所述索引同步请求中包括校验请求信息时,为所述索引文件添加校验信息;以及所述步骤412还包括:接收所述主服务器发送的由一个或多个数据包组成的索引文件,并在所述索引文件由多个数据包组成时,合并所述多个数据包,组成所述索引文件;以及对接收的所述索引文件进行检测,当检测到所述索引文件中包括校验信息时,对所述索引文件进行校验操作。
在该技术方案中,可以在索引同步时,在索引文件中加入包校验,从而使得只有通过校验的服务器才能查看到索引文件的内容,保证了索引文件信息的安全。
在上述技术方案中,优选地,所述主服务器包括索引文件发生变更的服务器,所述从服务器包括从所述索引文件发生变更的服务器获取索引文件变更的服务器。
在该技术方案中,任何索引文件发生变更的服务器都可以称为主服务器,任何从主服务器获取索引文件变更的服务器都可以称为从服务器,即同一台服务器在不同情况下,既可以是主服务器也可以是从服务器,不同的服务器之间可以实现互为主从关系。
图5示出了根据本发明的实施例的索引同步系统的示意图。
如图5所示,本发明采取主(master)从(slave)服务器配置策略,系统中可以配置多个主服务器和从服务器,主服务器负责索引文件的爬取和创建,从服务器监听主服务器,当有索引文件变更后,从服务器调用同步服务,将索引文件同步到本地,实现索引分布。
下面以只有一个主服务器(master)和一个从服务器(slave)的情况为例进行描述。
图6示出了根据本发明的实施例的索引同步系统的结构示意图。
主从服务器功能职责不同,主服务器602上按照职责可以主要分为几个功能单元:索引文件变更点记录单元6022、索引变更消息发送单元6024、索引文件分片打包单元6026和索引文件发送单元6028。
索引文件变更点记录单元6022,该单元监听主服务器602,通过爬虫或者被动更新方式更新索引文件,当索引变更并进行提交后,记录此次索引文件变更的详细信息,主要包括文件名称、变更版本、变更时间等信息,将此次变更加入到索引变更点队列中,并对外提供该主服务器上索引点变更查询服务。
索引变更消息发送单元6024,通过定时查看索引变更点队列,如果有变更,则向从服务器发送索引变更消息包,通知需要从服务器进行索引同步操作。
索引文件分片打包单元6026,根据从服务器604的数据同步请求,将索引文件按照配置参数分片大小,对发送文件进行打包,如果需要进行校验,对包采用校验和方式,添加包校验,通知索引文件发送单元进行索引文件发送。
索引文件发送单元6028,从服务器604进行同步请求后,将索引文件包信息发生给从服务器604。
从服务器604主要包括以下功能单元:消息监听单元6042、索引文件读取单元6044、校验组合单元6046、更新复制同步单元6048。
消息监听单元6042,监听主服务器602发送的索引同步消息,包括主服务器名称,索引源等信息,并将消息发送给索引文件读取单元6044。
索引文件读取单元6044,从服务器604向主服务器602获取变更索引文件变更集,并获取用来同步索引文件的相关信息,例如:索引文件名称、索引文件大小,根据配置文件读取文件传输分片大小,记为PACKET_SZ,默认值为(1MB),从服务器604向主服务器602请求传输索引文件,每次传输索引文件最大值为PACKET_SZ,从服务器通过文件流将读取的文件下载到本地,完成分布式索引文件同步。
校验组合单元6046,将索引文件读取单元读取的索引文件包进行组合成索引文件,如果需要校验文件,正进行相关校验操作,保存到本地临时目录。
更新复制同步单元6048,将下载到本地临时目录文件夹的下增量变成索引文件和本地对应索引文件进行复制合并,合并通知搜索引擎重新加载索引文件,完成本次索引文件同步。
图7示出了根据本发明的实施例的索引同步方法的具体流程图。
如图7所示,根据本发明的实施例的索引同步方法的具体流程如下:
步骤702,从服务器接收到主服务器的索引文件变更消息,启动线程级索引更新服务,例如,获取索引文件变更集记为:collection。
步骤704,从服务器读取索引文件变更消息,获取主服务器信息,以及索引变更文件信息。
步骤706,从服务器根据索引文件变更信息,配置索引文件读取请求参数,如文件名称、文件读取偏移量、是否需要分片、校验等。
步骤708,从服务器向主服务器发送索引文件同步请求,主服务器根据索引同步请求参数,根据参数值确定文件传输大小,是否进行压缩传输、是否增加校验项等,将信息打包后发送给请求方。
步骤710,从服务器读取字节流到本地。
步骤712,增加文件读取偏移量。
步骤714,判断文件是否分片读取完成。如果判断结果为是,进入步骤716,如果判断结果为否,进入步骤708。
步骤716,将读取的文件保存到本地临时目录。
步骤718,判断是否有其他索引文件变更集collection.next存在,如果判断结果为是,进入步骤704,如果判断结果为否,进入步骤720。
步骤720,将读取到临时目录的索引文件和本地索引文件进行合并操作,同时通知搜索服务组件重新加载合并后的索引文件,保证搜索内容和索引文件的一致性。
上面详细说明了单个主服务器和单个从服务器之间的索引同步,在实际的生产环境中,服务器之间可以实现互为主从关系,例如有三台搜索服务器为A、B、C,另外有三种搜索源E1、E2、E3,通过配置A负责E1的索引更新,B负责E2,C负责E3,A、B、C三台服务器互为主从,进行索引的增量更新和同步,有效的解决索引更新负载平衡问题,提高集群环境的整个效率。
以上结合附图详细说明了本发明的技术方案,通过本发明的技术方案,可以将索引文件同步到多个搜索服务器上,从而提高搜索效率,同时,索引文件分布到多个搜索服务器上,如果某个服务器索引文件损坏,可以通过其他搜索服务器上的副本,恢复索引文件,提高服务的可用性和稳定性,有效的解决了索引更新负载平衡问题,也提高了集群环境的整个效率。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种主服务器,应用于索引同步系统,所述索引同步系统包括从服务器,其特征在于,包括:
索引变更点记录单元,对所述主服务器进行监听,当监听到所述主服务器中的索引文件发生变更并进行提交之后,记录索引文件变更的信息,并将索引文件发生变更的事件加到索引变更点队列中;
索引变更消息发送单元,定时查看所述索引变更点队列,当查看到所述索引变更点队列中有所述索引文件发生变更的事件时,向所述从服务器发送索引文件变更消息;
索引文件发送单元,当接收到所述从服务器的索引同步请求时,查找与所述索引同步请求对应的索引文件,并将所述索引文件发送至所述从服务器。
2.根据权利要求1所述的主服务器,其特征在于,还包括:
索引文件分片打包单元,根据所述从服务器的所述索引同步请求,将所述索引文件按照配置规则分成一个或多个数据包,将由所述一个或多个数据包组成的所述索引文件发送至所述从服务器。
3.根据权利要求1或2所述的主服务器,其特征在于,还包括:
检验单元,在所述从服务器的所述索引同步请求中包括校验请求信息时,为所述索引文件添加校验信息。
4.一种从服务器,应用于索引同步系统,其特征在于,包括:
消息监听单元,监听主服务器发送的索引文件变更消息,并将监听到的所述索引文件变更消息发送至所述索引文件读取单元;
所述索引文件读取单元,读取所述索引文件变更消息,并从所述主服务器中获取主服务器信息和索引文件变更的信息;
同步请求发送单元,根据所述主服务器信息和所述索引文件变更的信息,配置索引同步请求参数,并向所述主服务器发送索引同步请求;
更新复制同步单元,接收所述主服务器发送的索引文件,将所述索引文件和所述从服务器的本地对应索引文件进行复制合并,并通知搜索引擎重新加载合并后的索引文件。
5.根据权利要求4所述的从服务器,其特征在于,还包括:
组合单元,接收所述主服务器发送的由一个或多个数据包组成的索引文件,并在检测到所述索引文件由多个数据包组成时,合并所述多个数据包,组成所述索引文件;
校验处理单元,对接收的所述索引文件进行检测,当检测到所述索引文件中包括校验信息时,对所述索引文件进行校验操作。
6.一种索引同步系统,其特征在于,包括权利要求1至3中任一项所述的主服务器和权利要求4或5所述的从服务器。
7.一种索引同步方法,应用于索引同步系统,其特征在于,包括:
步骤402,对所述主服务器进行监听,当监听到所述主服务器中的索引文件发生变更并进行提交之后,记录索引文件变更的信息,并将索引文件发生变更的事件加到索引变更点队列中;
步骤404,定时查看所述索引变更点队列,当查看到所述索引变更点队列中有所述索引文件发生变更的事件时,向所述从服务器发送索引文件变更消息;
步骤406,控制所述从服务器监听主服务器发送的索引文件变更消息,读取监听到的所述索引文件变更消息,并从所述主服务器中获取主服务器信息和索引文件变更的信息;
步骤408,根据所述主服务器信息和所述索引文件变更的信息,配置索引同步请求参数,并向所述主服务器发送索引同步请求;
步骤410,当所述主服务器接收到所述从服务器的索引同步请求时,查找与所述索引同步请求对应的索引文件,并将所述索引文件发送至所述从服务器;
步骤412,接收所述主服务器发送的所述索引文件,将所述索引文件和所述从服务器的本地对应索引文件进行复制合并,并通知搜索引擎重新加载合并后的索引文件。
8.根据权利要求7所述的索引同步方法,其特征在于,所述步骤410还包括:
根据所述从服务器的所述索引同步请求,将所述索引文件按照配置规则分成一个或多个数据包,将由所述一个或多个数据包组成的所述索引文件发送至所述从服务器。
9.根据权利要求7所述的索引同步方法,其特征在于,所述步骤410还包括:
在所述从服务器的所述索引同步请求中包括校验请求信息时,为所述索引文件添加校验信息;以及
所述步骤412还包括:
接收所述主服务器发送的由一个或多个数据包组成的索引文件,并在所述索引文件由多个数据包组成时,合并所述多个数据包,组成所述索引文件;以及对接收的所述索引文件进行检测,当检测到所述索引文件中包括校验信息时,对所述索引文件进行校验操作。
10.根据权利要求7或9所述的索引同步方法,其特征在于,所述主服务器包括索引文件发生变更的服务器,所述从服务器包括从所述索引文件发生变更的服务器获取索引文件变更的服务器。
CN201310055752.3A 2013-02-21 2013-02-21 主服务器、从服务器、索引同步系统和索引同步方法 Active CN103177082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310055752.3A CN103177082B (zh) 2013-02-21 2013-02-21 主服务器、从服务器、索引同步系统和索引同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310055752.3A CN103177082B (zh) 2013-02-21 2013-02-21 主服务器、从服务器、索引同步系统和索引同步方法

Publications (2)

Publication Number Publication Date
CN103177082A true CN103177082A (zh) 2013-06-26
CN103177082B CN103177082B (zh) 2016-07-06

Family

ID=48636943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310055752.3A Active CN103177082B (zh) 2013-02-21 2013-02-21 主服务器、从服务器、索引同步系统和索引同步方法

Country Status (1)

Country Link
CN (1) CN103177082B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050282A (zh) * 2014-06-27 2014-09-17 北京思特奇信息技术股份有限公司 资源文件更新方法及装置
CN106254120A (zh) * 2016-08-09 2016-12-21 杭州昆海信息技术有限公司 一种配置复制方法及装置
CN103780615B (zh) * 2014-01-20 2017-02-01 五八同城信息技术有限公司 一种在多个服务器间客户端会话数据共享方法
CN105184598B (zh) * 2015-06-09 2017-06-23 深圳市腾讯计算机系统有限公司 内容项目位推荐方法、装置及系统
CN106921746A (zh) * 2017-03-22 2017-07-04 重庆允升科技有限公司 一种数据同步系统及数据同步方法
CN107315825A (zh) * 2017-07-05 2017-11-03 北京奇艺世纪科技有限公司 一种索引更新系统、方法及装置
CN108197170A (zh) * 2017-12-20 2018-06-22 五八有限公司 主从同步方法、装置、主服务器及存储介质
CN108287886A (zh) * 2018-01-16 2018-07-17 阿里巴巴集团控股有限公司 同步数据变更信息的方法及装置
CN108763578A (zh) * 2018-06-07 2018-11-06 腾讯科技(深圳)有限公司 一种索引文件更新的方法以及服务器
CN110110032A (zh) * 2018-01-11 2019-08-09 北京京东尚科信息技术有限公司 用于更新索引文件的方法和装置
CN110837414A (zh) * 2018-08-15 2020-02-25 北京京东金融科技控股有限公司 任务处理方法和装置
CN112115140A (zh) * 2020-08-24 2020-12-22 山东浪潮通软信息科技有限公司 一种通用的全文搜索引擎实时数据同步方法及装置
CN113407634A (zh) * 2021-07-05 2021-09-17 挂号网(杭州)科技有限公司 一种数据同步方法、装置、系统、服务器和存储介质
CN114579596A (zh) * 2022-05-06 2022-06-03 达而观数据(成都)有限公司 一种实时更新搜索引擎索引数据的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004744A (zh) * 2006-01-17 2007-07-25 鸿富锦精密工业(深圳)有限公司 远程多点文件索引同步系统及方法
US7581227B1 (en) * 2004-03-31 2009-08-25 Google Inc. Systems and methods of synchronizing indexes
CN101702159A (zh) * 2009-10-28 2010-05-05 卓望数码技术(深圳)有限公司 一种索引文件同步方法、索引服务器和搜索系统
US20100121818A1 (en) * 2008-11-07 2010-05-13 International Business Machines Corporation Real-Time File Synchronization
CN102065098A (zh) * 2010-12-31 2011-05-18 网宿科技股份有限公司 网络节点之间数据同步的方法和系统
CN102420852A (zh) * 2011-11-11 2012-04-18 宇龙计算机通信科技(深圳)有限公司 服务器、移动终端和数据同步方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7581227B1 (en) * 2004-03-31 2009-08-25 Google Inc. Systems and methods of synchronizing indexes
CN101004744A (zh) * 2006-01-17 2007-07-25 鸿富锦精密工业(深圳)有限公司 远程多点文件索引同步系统及方法
US20100121818A1 (en) * 2008-11-07 2010-05-13 International Business Machines Corporation Real-Time File Synchronization
CN101702159A (zh) * 2009-10-28 2010-05-05 卓望数码技术(深圳)有限公司 一种索引文件同步方法、索引服务器和搜索系统
CN102065098A (zh) * 2010-12-31 2011-05-18 网宿科技股份有限公司 网络节点之间数据同步的方法和系统
CN102420852A (zh) * 2011-11-11 2012-04-18 宇龙计算机通信科技(深圳)有限公司 服务器、移动终端和数据同步方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗元盛等: "一种基于索引的准同步检查点协议", 《计算机学报》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780615B (zh) * 2014-01-20 2017-02-01 五八同城信息技术有限公司 一种在多个服务器间客户端会话数据共享方法
CN104050282A (zh) * 2014-06-27 2014-09-17 北京思特奇信息技术股份有限公司 资源文件更新方法及装置
CN104050282B (zh) * 2014-06-27 2017-08-01 北京思特奇信息技术股份有限公司 资源文件更新方法及装置
CN105184598B (zh) * 2015-06-09 2017-06-23 深圳市腾讯计算机系统有限公司 内容项目位推荐方法、装置及系统
CN106254120A (zh) * 2016-08-09 2016-12-21 杭州昆海信息技术有限公司 一种配置复制方法及装置
CN106921746A (zh) * 2017-03-22 2017-07-04 重庆允升科技有限公司 一种数据同步系统及数据同步方法
CN107315825A (zh) * 2017-07-05 2017-11-03 北京奇艺世纪科技有限公司 一种索引更新系统、方法及装置
CN107315825B (zh) * 2017-07-05 2020-02-28 北京奇艺世纪科技有限公司 一种索引更新系统、方法及装置
CN108197170A (zh) * 2017-12-20 2018-06-22 五八有限公司 主从同步方法、装置、主服务器及存储介质
CN110110032A (zh) * 2018-01-11 2019-08-09 北京京东尚科信息技术有限公司 用于更新索引文件的方法和装置
CN110110032B (zh) * 2018-01-11 2024-04-16 北京京东尚科信息技术有限公司 用于更新索引文件的方法和装置
CN108287886A (zh) * 2018-01-16 2018-07-17 阿里巴巴集团控股有限公司 同步数据变更信息的方法及装置
CN108287886B (zh) * 2018-01-16 2022-04-08 创新先进技术有限公司 同步数据变更信息的方法及装置
CN108763578A (zh) * 2018-06-07 2018-11-06 腾讯科技(深圳)有限公司 一种索引文件更新的方法以及服务器
CN110837414A (zh) * 2018-08-15 2020-02-25 北京京东金融科技控股有限公司 任务处理方法和装置
CN110837414B (zh) * 2018-08-15 2024-04-12 京东科技控股股份有限公司 任务处理方法和装置
CN112115140A (zh) * 2020-08-24 2020-12-22 山东浪潮通软信息科技有限公司 一种通用的全文搜索引擎实时数据同步方法及装置
CN112115140B (zh) * 2020-08-24 2024-03-29 浪潮通用软件有限公司 一种通用的全文搜索引擎实时数据同步方法及装置
CN113407634A (zh) * 2021-07-05 2021-09-17 挂号网(杭州)科技有限公司 一种数据同步方法、装置、系统、服务器和存储介质
CN114579596A (zh) * 2022-05-06 2022-06-03 达而观数据(成都)有限公司 一种实时更新搜索引擎索引数据的方法及系统
CN114579596B (zh) * 2022-05-06 2022-09-06 达而观数据(成都)有限公司 一种实时更新搜索引擎索引数据的方法及系统

Also Published As

Publication number Publication date
CN103177082B (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN103177082A (zh) 主服务器、从服务器、索引同步系统和索引同步方法
US10185497B2 (en) Cluster federation and trust in a cloud environment
US9231988B2 (en) Intercluster repository synchronizer and method of synchronizing objects using a synchronization indicator and shared metadata
KR101544480B1 (ko) 복수 개의 프락시 서버를 포함하는 분산 저장 시스템 및 그 오브젝트 관리 방법 및 컴퓨터에 의하여 독출가능한 저장 매체
US8533231B2 (en) Cloud storage system with distributed metadata
CN107734026B (zh) 一种网络附加存储集群的设计方法、装置及设备
EP3125501B1 (en) File synchronization method, server, and terminal
CN107181686B (zh) 路由表的同步方法、装置及系统
TW201246103A (en) Category information transmission method, system and apparatus
JP2005084771A (ja) バックアップシステム及び方法
KR20100070895A (ko) 메타데이터 서버 및 메타데이터 관리 방법
US20110055298A1 (en) Presenting a file system for a file containing items
EP2078385B1 (en) Method and apparatus for preventing duplicate saving of resource between universal plug and play devices providing content directory service
Yu et al. Granary: A sharing oriented distributed storage system
CN102833295A (zh) 分布式缓存系统中的数据操作方法和装置
JP5685213B2 (ja) 差分レプリケーションシステム、マスターデータベース装置、及びスレーブデータベース装置
CN111831743B (zh) 基于云存储的区块链数据存储系统及方法
TW201426326A (zh) 資料分散儲存方法及系統
KR102230764B1 (ko) 블록체인 기반 파일 수정 증거 저장 방법 및 이를 이용하는 장치
WO2018005243A1 (en) Peer-to-peer assisted personal synchronization
CN117290298A (zh) 数据处理方法及相关装置
CN116069759A (zh) 数据处理方法、装置和计算机设备
CN115658602A (zh) 一种基于区块链的区块文件动态迁移和恢复方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100094 Haidian District North Road, Beijing, No. 68

Applicant after: Yonyou Network Technology Co., Ltd.

Address before: 100094 Beijing city Haidian District North Road No. 68, UFIDA Software Park

Applicant before: UFIDA Software Co., Ltd.

COR Change of bibliographic data
C14 Grant of patent or utility model
GR01 Patent grant