CN113434509A - 一种增量索引的更新方法、装置、存储介质及电子设备 - Google Patents

一种增量索引的更新方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113434509A
CN113434509A CN202110750666.9A CN202110750666A CN113434509A CN 113434509 A CN113434509 A CN 113434509A CN 202110750666 A CN202110750666 A CN 202110750666A CN 113434509 A CN113434509 A CN 113434509A
Authority
CN
China
Prior art keywords
increment
current
identification
updating
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110750666.9A
Other languages
English (en)
Other versions
CN113434509B (zh
Inventor
户文龙
刘磊
徐霁
程民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guahao Net Hangzhou Technology Co Ltd
Original Assignee
Guahao Net Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guahao Net Hangzhou Technology Co Ltd filed Critical Guahao Net Hangzhou Technology Co Ltd
Priority to CN202110750666.9A priority Critical patent/CN113434509B/zh
Publication of CN113434509A publication Critical patent/CN113434509A/zh
Application granted granted Critical
Publication of CN113434509B publication Critical patent/CN113434509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明实施例公开了一种增量索引的更新方法、装置、存储介质及电子设备。该方法包括:获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数;若基于所述历史增量数值标识和所述当前增量数值标识确定数值标识发生变更,和/或,所述当前无变更次数满足更新要求,则提取增量数据的增量标识,基于所述增量标识更新增量索引,以及更新历史增量数值标识和所述当前无变更次数。上述技术方案通过对历史增量数值标识、当前增量数值标识和当前无变更次数进行比较分析,实现了在主从模式下能够有效捕获增量数据,提高了数据同步的完整性,从而提高了增量索引的准确性。

Description

一种增量索引的更新方法、装置、存储介质及电子设备
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种增量索引的更新方法、装置、存储介质及电子设备。
背景技术
搜索引擎通常情况下是对已有存储库中的数据进行索引,为外部提供快速查询和全文检索的能力。当存储库中的数据发生变更时要实时的将变更的数据更新到搜索引擎的索引中。
现有技术方案中,实现索引更新的方式通常为两种,一种是基于日志监控,通常能够在毫秒级实现索引数据的变更,这种基于日志监控的实现方式通常被称为实时索引。另一种是基于修改时间字段监控的方式实现,这种方式的基本操作流程为:搜索引擎服务每隔一个时间单位查询从当前时间到过去time(时间间隔t+偏移时间pt)秒之间发生变更的数据并取到数据的唯一ID,然后根据这批数据的唯一ID获取到全部文档数据,更新到搜索引擎的索引中。
但在数据库为主从模式下,发生数据同步延迟时,现有技术存在无法完整捕获增量数据的情况,从而降低了增量索引的准确性。
发明内容
本发明实施例提供一种增量索引的更新方法、装置、存储介质及电子设备,以实现完整捕获增量数据,提高增量索引的准确性。
第一方面,本发明实施例提供了一种增量索引的更新方法,所述方法包括:
获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数;
若基于所述历史增量数值标识和所述当前增量数值标识确定数值标识发生变更,和/或,所述当前无变更次数满足更新要求,则提取增量数据的增量标识,基于所述增量标识更新增量索引,以及更新历史增量数值标识和所述当前无变更次数。
第二方面,本发明实施例还提供了一种增量索引的更新装置,所述装置包括:
数据获取模块,用于获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数;
数据更新模块,用于若基于所述历史增量数值标识和所述当前增量数值标识确定数值标识发生变更,和/或,所述当前无变更次数满足更新要求,则提取增量数据的增量标识,基于所述增量标识更新增量索引,以及更新历史增量数值标识和所述当前无变更次数。
第三方面,本发明实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例任一所述的增量索引的更新方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例中任一所述的增量索引的更新方法。
本发明通过获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数;若基于历史增量数值标识和当前增量数值标识确定数值标识发生变更,和/或,当前无变更次数满足更新要求,则提取增量数据的增量标识,基于增量标识更新增量索引,以及更新历史增量数值标识和所述当前无变更次数。上述技术方案通过对历史增量数值标识、当前增量数值标识和当前无变更次数进行比较分析,实现了在主从模式下能够有效捕获增量数据,提高了数据同步的完整性,从而提高了增量索引的准确性。此外,与现有技术相比,本发明通过设置增量索引的更新要求,可避免重复捕获增量数据的增量标识,从而提高增量索引的吞吐能力。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案,下面对描述实施例中所需要用到的附图做一简单介绍。显然,所介绍的附图只是本发明所要描述的一部分实施例的附图,而不是全部的附图,对于本领域普通技术人员,在不付出创造性劳动的前提下,还可以根据这些附图得到其他的附图。
图1是本发明实施例一所提供的一种增量索引的更新方法的流程示意图;
图2是本发明实施例二所提供的一种增量索引的更新方法的流程示意图;
图3是本发明实施例三所提供的一种增量索引更新的流程图;
图4是本发明实施例四所提供的一种增量索引的更新装置的结构示意图;
图5是本发明实施例五所提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。
另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在介绍本技术方案之前,可以先对本技术方案涉及的数据库进行介绍。本发明技术方案可以将主从数据模式下的数据库与搜索引擎进行增量索引的更新。需要说明是,实施例中主从数据模式下的数据库仅是示例性说明,任何数据库与搜索引擎进行增量索引的更新的技术方案均在本发明实施例的保护范围之内。
实施例一
图1为本发明实施例一提供的一种增量索引的更新方法的流程图,本实施例可适用于主从模式的数据库增量更新,主数据库与从数据库进行增量同步情况,该方法可以由本发明实施例提供的增量索引的更新装置来执行,该装置可以由软件和/或硬件来实现,该装置可以配置在电子计算设备上,例如,台式电脑或服务器等。具体包括如下步骤:
S110、获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数。本实施例中,在进行增量索引的更新之前,将数据库做主从模式处理,使数据库架构变为主从同步架构,主从同步使得数据可以从一个数据库服务器复制到其他服务器上,在复制数据时,一个服务器充当主数据库,其余的服务器充当数据库。其中,主数据库和数据库可以是MySQL数据库中的主数据库,也可以是ORACLE数据库中的主数据库,本实施例对此不做限制。主从模式的设置可以提高数据库的数据并发读写能力。为了防止搜索引擎的读取会为主数据库带来较大的压力,影响到正常的业务线,本实施例都是基于从数据库来实现增量索引的更新,具体而言,首先将写入主数据库的数据,复制到从数据库,然后将从数据库预设时间间隔内数据变更信息发送至索引服务装置,进行索引更新。需要说明的是,索引服务装置与数据库可以位于同一服务器或计算机上,也可以位于不同服务器或计算机上,本实施例对此不做限制。
历史增量数值标识指的是过去数据库发生数据变更时对应的数值标识,其中,数值标识是一种自增长序列中的数据,例如可以是修改时间或数字。具体的,数据库每发生一次变更,数据库中的记录表就会同时给变更的数据记录一个数值标识。
在上述实施例的基础上,所述增量数据的数值标识与写入数据库的时序正相关,所述数据库中历史增量数值标识为数据库中增量数据的最大数值标识。
根据数值标识的时序正相关性质可以得出,在历史增量数值标识中,与当前时间越接近的,数值标识越大。在本实施例中,选取数据库中增量数据的最大数值标识作为历史增量数值标识,可以实现对增量数据进行划分,每次同步只需同步最大数值标识以后的增量数据,避免了带宽资源的浪费。
当前增量数值标识是当前数据库发生数据变化时对应的数值标识,示例性的,数据库中数据包含修改时间,当数据变更时,数据库中记录表就会记录数据变更的修改时间,此时的修改时间就是当前增量数值标识,上一次数据变更的修改时间就是历史增量数值标识。
当前无变更次数指的是历史增量数值标识指与当前增量数值标识相等的情况,即数值标识没有发生变化。需要说明的是,由于数据库在一段时间内未发生数据变更,此时会出现历史增量数值标识与当前增量数值标识相等的情况。此外,在主从同步架构下,由于数据库中存在数据并发的情况,同一时间存在多个数据发生变更,当主数据库向从数据库发送数据时,短时间间内无法将全部数据完成同步,数据标识仅记录最先完成同步的数据,导致未完成同步的数据在下次监测时无法查到。此时也会出现历史增量数值标识指与当前增量数值标识相等的情况。
S120、若基于所述历史增量数值标识和所述当前增量数值标识确定数值标识发生变更,和/或,所述当前无变更次数满足更新要求,则提取增量数据的增量标识,基于所述增量标识更新增量索引,以及更新历史增量数值标识和所述当前无变更次数。
其中,增量数据的增量标识指的是变更数据的身份标识,具有唯一性。
具体的,若历史增量数值标识等于当前增量数值标识,则数值标识未发生变更;若历史增量数值标识不等于当前增量数值标识,则数值标识发生变更。索引服务装置通过提取增量标识,根据增量标识获取增量标识对应的增量数据,并更新搜索引擎的索引。完成增量索引之后,将当前增量数值标识替换历史增量数值标识,生成新的历史增量数值标识,并将新的历史增量数值标识存至存储器中。并根据历史增量数值标识和当前增量数值标识的比较结果,更新当前无变更次数。
在上述实施例的基础上,所述更新要求为小于预设次数。
具体的,若当数值标识未发生变更,且未发生变更次数小于预设次数,则进行更新增量索引,并对当前无变更次数加一。本实施例此处设置的目的首先可以防止临界值无法查找的情况,其次在主从同步存在延迟的情况下,会发生数据遗漏的情况,通过设置更新要求可对遗漏的数据进行捕获。
示例性的,在主从同步模式下,由于数据库中存在数据并发的情况,同一时间存在多个数据发生变更,当主数据库向从数据库发送数据时,短时间内无法将全部数据完成同步,数据标识仅记录最先完成同步的数据,导致未完成同步的数据在下次监测时无法查到。若在全部数据未同步完成的情况下,则数值标识是不会发生变更的。因此,就会出现数据发生变更,但数值标识未发生变更的情况,但这种情况也需要进行增量索引的更新。通过设置更新要求为小于预设次数,可实现将未同步完成的数据继续进行增量索引的更新,防止临界值无法查找的情况。此外,在主从同步存在延迟的情况下,以MySQL举例,主库表A的记录R0发生了变更,这时主从同步发送了延迟,记录R0没有及时同步到从数据库。当延迟时间大于监测预设时间间隔时,就会无法捕获到R0的变更。因此,就会出现数值标识未发生变更,数据也未发生变更的情况,通过设置更新要求为小于预设次数,可将延迟未同步的数据继续进行增量索引的更新,对遗漏的数据进行捕获。
若当数值标识未发生变更,且未发生变更次数大于等于预设次数,则不进行更新增量索引,并标记无需提取增量数据的增量标识以及当前无变更次数加一。此处设置的目的是为了防止重复捕获增量数据的增量标识,避免资源浪费。
若当数值标识发生变更,则直接进行更新增量索引。
在上述实施例的基础上,所述更新当前无变更次数,包括:若所述历史增量数值标识和所述当前增量数值不同,则所述当前无变更次数更新为零;若所述历史增量数值标识和所述当前增量数值相同,则所述当前无变更次数加一。
具体的,在完成增量索引的更新后,对当前无变更次数进行更新。若历史增量数值标识和当前增量数值不同,表明数值标识已经发生变更,则将当前无变更次数更新为零;若历史增量数值标识和当前增量数值相同,表明数值标识未发生变更,则当前无变更次数加一。最后将更新完成的当前无变更次数返回至存储器中,方便下次监控调取使用。
在上述实施例的基础上,获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数,包括:根据定时任务或预设时间间隔,触发获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数的步骤。
其中,定时任务可以理解为一种预设任务,可以在指定时间执行指定操作。定时任务可以是按照周期执行指定操作,也可以是无规则的指定时间执行指定操作,本实施例对此不做限定。需要说明的是,在进行轮询监测的过程中,还存在偏移时间,需要将偏移时间计算在监测范围内。
示例性的,索引服务装置每隔一个时间单位t秒查询从当前时间T到过去time(时间间隔t+偏移时间pt)秒之间发生变更的数据,并获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数。
在上述实施例的基础上,在获取数据库中历史增量数值标识、当前增量数值标识之后,所述方法还包括:若所述历史增量数值标识小于所述当前增量数值标识,则生成违规提示。
在本实施例中,通常情况下当前增量数值标识会大于历史增量数值标识,如果当前增量数值标识会小于历史增量数值标识说明数据异常,则生成违规提示,需要手动重置历史增量数值标识。
本发明实施例提供的技术方案,通过获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数;若基于历史增量数值标识和当前增量数值标识确定数值标识发生变更,和/或,当前无变更次数满足更新要求,则提取增量数据的增量标识,基于增量标识更新增量索引,以及更新历史增量数值标识和所述当前无变更次数。上述技术方案通过对历史增量数值标识、当前增量数值标识和当前无变更次数进行比较分析,实现了在主从模式下能够有效捕获增量数据,提高了数据同步的完整性,从而提高了增量索引的准确性。此外,与现有技术相比,本发明通过设置增量索引的更新要求,可避免重复捕获增量数据的增量标识,从而提高了增量索引的吞吐能力。
实施例二
图2为本发明实施例二提供的一种增量索引的更新的流程图示意图,在前述实施例的基础上,可以对上述实施例中的“更新历史增量数值标识”进行进一步细化,其具体的实现方式可以参见本技术方案的详细阐述。其中,与上述实施例相同或者相应的技术术语在此不再赘述。如图2所示,本发明实施例的方法具体包括如下步骤:
S210、获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数。
S220、若基于所述历史增量数值标识和所述当前增量数值标识确定数值标识发生变更,和/或,所述当前无变更次数满足更新要求,则提取增量数据的增量标识,基于所述增量标识更新增量索引,以及将至少一个当前增量数值标识中的最小数值标识更新为历史增量数值标识和更新所述当前无变更次数。
其中,各执行增量索引更新任务的线程分别对应一当前增量数值标识。在主从同步模式下,主数据库向从数据库多线程并发增量数据,每个线程执行增量索引更新任务时,对应一个当前增量数值标识,可选取多个当前增量数值标识中的最大数值标识更新为历史增量数值标识。具体可采用乐观锁方法对历史增量数值标识和当前无变更次数进行更新。
示例性的,其中一个线程首先完成增量索引更新,将任务开始时获取的历史增量数值标识与存储器中的历史增量数值标识进行比较,若两者相等,则将当前增量数值标识中的最大数值标识更新为历史增量数值标识,并存至存储器中;若两者不相等,则结束此次增量索引更新任务。需要说明的是,由于是首次完成增量索引更新,获取的历史增量数值标识与存储器中的历史增量数值标识必然相等。由于存储器中的历史增量数值标识已被更新,其他后续完成增量索引更新的线程,获取的历史增量数值标识与存储器中的历史增量数值标识不相等。
本发明实施例提供的技术方案,在多线程执行同一增量索引更新任务时,通过对获取的历史增量数值标识和存储器中的历史增量数值标识进行比较分析,将至少一个当前增量数值标识中的数值标识更新为历史增量数值标识。可有效防止因数据多次更新导致同步数据混乱的情况发生,从而实现安全的增量索引更新。
实施例三
本实施例在上述实施例一和实施例二的基础上,提供了一个优选示例,对上述增量索引的更新进行具体说明,具体参见图3。图3是本发明实施例三提供的一个具体实施例的增量索引的更新的流程图。
增量索引更新任务执行步骤如下:
1)获取历史增量字段最大值(即历史增量数值标识中的最大数值标识)、当前增量字段最大值(即当前增量数值标识中的最大数值标识)以及无变更次数。
2)判断当前增量字段最大值是否小于历史增量字段最大值,若当前增量字段最大值小于历史增量字段最大值,则发出警告,说明增量字段(即增量数据的数值标识)不符合规范,并手动重置历史增量字段最大值,结束当前任务。若当前增量字段最大值大于或等于历史增量字段最大值,则继续向下执行,判断增量字段是否发生变更和无变更次数是否大于设定值。
3)若增量字段未发生变更且无变更次数大于设定值,则标记无需提取增量ID(即增量数据的增量标识),并将增量字段的无变更次数+1。若判定结果非增量字段未发生变更且无变更次数大于设定值,即其他所有情况,则继续向下执行,构建增量SQL,提取增量ID,更新索引。
4)判断增量字段是否发生变更,若增量字段发生变更,则将增量字段的无变更次数设置为0;若增量字段未发生变更,则将增量字段的无变更次数+1。
5)判断历史增量字段最大值是否与存储器中的历史增量字段最大值相同。若历史增量字段最大值与存储器中的历史增量字段最大值相同,则更新历史增量字段最大值和无变更次数;若历史增量字段最大值与存储器中的历史增量字段最大值不相同,则结束当前任务。
6)当前任务结束后,间隔t秒进行下一轮监测,继续执行增量索引更新任务。
实施例四
图4为本发明实施例四提供的一种增量索引的更新装置的结构示意图,本实施例所提供的增量索引的更新装置可以通过软件和/或硬件来实现,可配置于终端和/或服务器中来实现本发明实施例中的增量索引的更新方法。该装置具体可以包括:数据获取模块410及数据更新模块420。
其中,数据获取模块410,用于获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数;数据更新模块420,用于若基于所述历史增量数值标识和所述当前增量数值标识确定数值标识发生变更,和/或,所述当前无变更次数满足更新要求,则提取增量数据的增量标识,基于所述增量标识更新增量索引,以及更新历史增量数值标识和所述当前无变更次数。
本发明实施例提供的技术方案,通过获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数;若基于历史增量数值标识和当前增量数值标识确定数值标识发生变更,和/或,当前无变更次数满足更新要求,则提取增量数据的增量标识,基于增量标识更新增量索引,以及更新历史增量数值标识和所述当前无变更次数。上述技术方案通过对历史增量数值标识、当前增量数值标识和当前无变更次数进行比较分析,实现了在主从模式下能够有效捕获增量数据,提高了数据同步的完整性,从而提高了增量索引的准确性。此外,与现有技术相比,本发明通过设置增量索引的更新要求,可避免重复捕获增量数据的增量标识,从而提高了增量索引的吞吐能力。
在本发明实施例中任一可选技术方案的基础上,可选地,所述增量数据的数值标识与写入数据库的时序正相关,所述数据库中历史增量数值标识为数据库中增量数据的最大数值标识。
在本发明实施例中任一可选技术方案的基础上,可选地,所述
在本发明实施例中任一可选技术方案的基础上,可选地,所述更新要求为小于预设次数。
在本发明实施例中任一可选技术方案的基础上,可选地,所述数据更新模块420还可以用于:
将至少一个当前增量数值标识中的最大数值标识更新为历史增量数值标识,其中,各执行增量索引更新任务的线程分别对应一当前增量数值标识。
在本发明实施例中任一可选技术方案的基础上,可选地,所述数据更新模块420还可以用于:
若所述历史增量数值标识和所述当前增量数值标识不同,则所述当前无变更次数更新为零;
若所述历史增量数值标识和所述当前增量数值标识相同,则所述当前无变更次数加一。
在本发明实施例中任一可选技术方案的基础上,可选地,所述数据获取模块410还可以用于:
根据定时任务或预设时间间隔,触发获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数的步骤。
在本发明实施例中任一可选技术方案的基础上,可选地,在获取数据库中历史增量数值标识、当前增量数值标识之后,所述装置还包括:
违规提示生成模块,用于若所述历史增量数值标识小于所述当前增量数值标识,则生成违规提示。
本发明实施例所提供的增量索引的更新装置可执行本发明任意实施例所提供的增量索引的更新方法,具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五所提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图5显示的电子设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块26的程序/实用工具36,可以存储在例如系统存储器28中,这样的程序模块26包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块26通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图5所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图5中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发实施例所提供的一种增量索引的更新方法。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种增量索引的更新方法,该方法包括:
获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数;
若基于所述历史增量数值标识和所述当前增量数值标识确定数值标识发生变更,和/或,所述当前无变更次数满足更新要求,则提取增量数据的增量标识,基于所述增量标识更新增量索引,以及更新历史增量数值标识和所述当前无变更次数。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种增量索引的更新方法,其特征在于,所述方法包括:
获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数;
若基于所述历史增量数值标识和所述当前增量数值标识确定数值标识发生变更,和/或,所述当前无变更次数满足更新要求,则提取增量数据的增量标识,基于所述增量标识更新增量索引,以及更新历史增量数值标识和所述当前无变更次数。
2.根据权利要求1所述的方法,其特征在于,所述增量数据的数值标识与写入数据库的时序正相关,所述数据库中历史增量数值标识为数据库中增量数据的最大数值标识。
3.根据权利要求1所述的方法,其特征在于,所述更新要求为小于预设次数。
4.根据权利要求1所述的方法,其特征在于,所述更新历史增量数值标识,包括:
将至少一个当前增量数值标识中的最大数值标识更新为历史增量数值标识,其中,各执行增量索引更新任务的线程分别对应一当前增量数值标识。
5.根据权利要求1所述的方法,其特征在于,所述更新当前无变更次数,包括:
若所述历史增量数值标识和所述当前增量数值标识不同,则所述当前无变更次数更新为零;
若所述历史增量数值标识和所述当前增量数值标识相同,则所述当前无变更次数加一。
6.根据权利要求1所述的方法,其特征在于,获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数,包括:
根据定时任务或预设时间间隔,触发获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数的步骤。
7.根据权利要求1所述的方法,其特征在于,在获取数据库中历史增量数值标识、当前增量数值标识之后,所述方法还包括:
若所述历史增量数值标识小于所述当前增量数值标识,则生成违规提示。
8.一种增量索引的更新装置,其特征在于,所述装置包括:
数据获取模块,用于获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数;
数据更新模块,用于若基于所述历史增量数值标识和所述当前增量数值标识确定数值标识发生变更,和/或,所述当前无变更次数满足更新要求,则提取增量数据的增量标识,基于所述增量标识更新增量索引,以及更新历史增量数值标识和所述当前无变更次数。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的增量索引的更新方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的增量索引的更新方法。
CN202110750666.9A 2021-07-02 2021-07-02 一种增量索引的更新方法、装置、存储介质及电子设备 Active CN113434509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110750666.9A CN113434509B (zh) 2021-07-02 2021-07-02 一种增量索引的更新方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110750666.9A CN113434509B (zh) 2021-07-02 2021-07-02 一种增量索引的更新方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN113434509A true CN113434509A (zh) 2021-09-24
CN113434509B CN113434509B (zh) 2023-07-18

Family

ID=77758749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110750666.9A Active CN113434509B (zh) 2021-07-02 2021-07-02 一种增量索引的更新方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113434509B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060074911A1 (en) * 2004-09-30 2006-04-06 Microsoft Corporation System and method for batched indexing of network documents
US20060155752A1 (en) * 2005-01-13 2006-07-13 International Business Machines Corporation System and method for incremental indexing
CN102339315A (zh) * 2011-09-30 2012-02-01 亿赞普(北京)科技有限公司 一种广告数据的索引更新方法和系统
CN103778219A (zh) * 2014-01-20 2014-05-07 西安交通大学 一种基于HBase的更新增量索引的方法
CN106874402A (zh) * 2017-01-16 2017-06-20 腾讯科技(深圳)有限公司 搜索方法和装置
CN110609844A (zh) * 2018-05-29 2019-12-24 优信拍(北京)信息科技有限公司 一种数据更新方法,装置及系统
US20200004868A1 (en) * 2018-06-27 2020-01-02 International Business Machines Corporation Dynamic incremental updating of data cubes
US20200125660A1 (en) * 2018-10-19 2020-04-23 Ca, Inc. Quick identification and retrieval of changed data rows in a data table of a database
CN111245548A (zh) * 2020-01-14 2020-06-05 平安国际智慧城市科技股份有限公司 基于时间戳的数据同步方法、装置和计算机设备
CN111382201A (zh) * 2018-12-29 2020-07-07 广州市百果园信息技术有限公司 异构数据库同步方法、装置、计算机设备及存储介质
CN111949710A (zh) * 2020-08-17 2020-11-17 北京锐安科技有限公司 数据存储方法、装置、服务器及存储介质
CN112256715A (zh) * 2020-11-12 2021-01-22 微医云(杭州)控股有限公司 索引的更新方法、装置、电子设备以及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060074911A1 (en) * 2004-09-30 2006-04-06 Microsoft Corporation System and method for batched indexing of network documents
US20060155752A1 (en) * 2005-01-13 2006-07-13 International Business Machines Corporation System and method for incremental indexing
CN102339315A (zh) * 2011-09-30 2012-02-01 亿赞普(北京)科技有限公司 一种广告数据的索引更新方法和系统
CN103778219A (zh) * 2014-01-20 2014-05-07 西安交通大学 一种基于HBase的更新增量索引的方法
CN106874402A (zh) * 2017-01-16 2017-06-20 腾讯科技(深圳)有限公司 搜索方法和装置
CN110609844A (zh) * 2018-05-29 2019-12-24 优信拍(北京)信息科技有限公司 一种数据更新方法,装置及系统
US20200004868A1 (en) * 2018-06-27 2020-01-02 International Business Machines Corporation Dynamic incremental updating of data cubes
US20200125660A1 (en) * 2018-10-19 2020-04-23 Ca, Inc. Quick identification and retrieval of changed data rows in a data table of a database
CN111382201A (zh) * 2018-12-29 2020-07-07 广州市百果园信息技术有限公司 异构数据库同步方法、装置、计算机设备及存储介质
CN111245548A (zh) * 2020-01-14 2020-06-05 平安国际智慧城市科技股份有限公司 基于时间戳的数据同步方法、装置和计算机设备
CN111949710A (zh) * 2020-08-17 2020-11-17 北京锐安科技有限公司 数据存储方法、装置、服务器及存储介质
CN112256715A (zh) * 2020-11-12 2021-01-22 微医云(杭州)控股有限公司 索引的更新方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN113434509B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN107506451B (zh) 用于数据交互的异常信息监控方法及装置
CN110442560B (zh) 一种日志重演方法、装置、服务器和存储介质
US20160203050A1 (en) Data replication in a database management system
CN110309161B (zh) 一种数据同步方法、装置及服务器
CN107515874B (zh) 一种分布式非关系型数据库中同步增量数据的方法与设备
CN111177165B (zh) 数据一致性检测的方法、装置及设备
CN111324610A (zh) 一种数据同步的方法及装置
CN111046036A (zh) 数据同步方法、装置、系统及存储介质
CN112434043B (zh) 一种数据同步方法、装置、电子设备及介质
JP2020057416A (ja) 分散データベースにおけるデータブロックを処理する方法およびデバイス
CN112395157A (zh) 审计日志的获取方法、装置、计算机设备和存储介质
CN111651519A (zh) 数据同步方法、数据同步装置、电子设备及存储介质
US20230098963A1 (en) Object processing method and apparatus, computer device, and storage medium
CN111339118A (zh) 基于Kubernetes的资源变更历史记录方法及装置
CN110990365A (zh) 一种数据同步方法、装置、服务器及存储介质
CN114996288A (zh) 数据比对方法及装置、计算机存储介质、电子设备
US11853284B2 (en) In-place updates with concurrent reads in a decomposed state
CN111651631A (zh) 高并发视频数据处理方法、电子设备、存储介质及系统
CN117112522A (zh) 并发进程日志管理方法、装置、设备和存储介质
CN116894078A (zh) 一种信息交互方法、装置、电子设备及介质
CN113434509B (zh) 一种增量索引的更新方法、装置、存储介质及电子设备
CN115438056A (zh) 一种数据获取方法、装置、设备以及存储介质
CN112527497B (zh) 一种序列化多线程数据处理系统
CN116628042A (zh) 数据处理方法、装置、设备及介质
CN113760950A (zh) 指标数据查询方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant