CN117312445A - 数据同步方法、装置、计算机设备、存储介质和程序产品 - Google Patents

数据同步方法、装置、计算机设备、存储介质和程序产品 Download PDF

Info

Publication number
CN117312445A
CN117312445A CN202311196549.8A CN202311196549A CN117312445A CN 117312445 A CN117312445 A CN 117312445A CN 202311196549 A CN202311196549 A CN 202311196549A CN 117312445 A CN117312445 A CN 117312445A
Authority
CN
China
Prior art keywords
data
target
search
update
update data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311196549.8A
Other languages
English (en)
Inventor
宋培兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202311196549.8A priority Critical patent/CN117312445A/zh
Publication of CN117312445A publication Critical patent/CN117312445A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种数据同步方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括：获取目标搜索引擎对应的搜索数据库的多条更新数据；获取各条该更新数据分别对应的备份信息，该备份信息包括更新操作类型、数据标识以及待存储至的数据表的表名；根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中；在该目标搜索引擎的搜索操作满足预设条件的情况下，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。采用本申请提供的数据同步方法可以有效的提高数据同步的工作效率。

Description

数据同步方法、装置、计算机设备、存储介质和程序产品
技术领域
本申请涉及大数据技术领域，特别是涉及一种数据同步方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
搜索引擎是根据用户需求与一定算法，运用特定策略从互联网检索出指定信息反馈给客户的检索技术，向搜索引擎中同步数据是搜索引擎能发挥检索作用的前提和基础。
传统技术中，一般是通过全量数据同步的方法来实现向搜索引擎中同步数据。
然而，这种方法需要在每一次操作后等待指定的时间间隔后才能进行同步，使得数据同步耗时较长，进而导致数据同步的工作效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高数据同步工作效率的数据同步方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种数据同步方法。该方法包括：
获取目标搜索引擎对应的搜索数据库的多条更新数据；获取各条该更新数据分别对应的备份信息，该备份信息包括更新操作类型、数据标识以及待存储至的数据表的表名；根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中；在该目标搜索引擎的搜索操作满足预设条件的情况下，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。
在其中一个实施例中，该根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中，包括：对于各条该更新数据，根据该更新数据对应的备份信息中的表名将该更新数据存储至该目标数据库的目标数据表中，并将该更新数据与该更新数据对应的备份信息中的更新操作类型以及数据标识进行关联处理。
在其中一个实施例中，该获取目标搜索引擎对应的搜索数据库的多条更新数据，包括：从多个不同的更新渠道获取多条初始数据；对该多条初始数据进行格式统一化处理，得到该多条更新数据。
在其中一个实施例中，该方法还包括：在该目标搜索引擎的搜索操作所对应的搜索词的数据标识与该目标数据库中存储的任一更新数据的数据标识相同的情况下，确定该目标搜索引擎的搜索操作满足该预设条件。
在其中一个实施例中，该根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中，包括：将该目标数据库中与该搜索词的数据标识相同的更新数据作为该目标更新数据，并根据该目标更新数据对应的备份信息中的更新操作类型将该目标更新数据同步至该搜索数据库中。
在其中一个实施例中，该根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中之后，该方法还包括：获取该目标数据库中备份信息的更新操作类型为删除类型的更新数据，并基于获取到的更新数据对该搜索数据库进行数据删除处理。
第二方面，本申请还提供了一种数据同步装置。该装置包括：
第一获取模块，用于获取目标搜索引擎对应的搜索数据库的多条更新数据；
第二获取模块，用于获取各条该更新数据分别对应的备份信息，该备份信息包括更新操作类型、数据标识以及待存储至的数据表的表名；
第一执行模块，用于根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中；
第二执行模块，用于在该目标搜索引擎的搜索操作满足预设条件的情况下，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。
在一个实施例中，该第一执行模块，具体用于：对于各条该更新数据，根据该更新数据对应的备份信息中的表名将该更新数据存储至该目标数据库的目标数据表中，并将该更新数据与该更新数据对应的备份信息中的更新操作类型以及数据标识进行关联处理。
在一个实施例中，该第一获取模块，具体用于：从多个不同的更新渠道获取多条初始数据；对该多条初始数据进行格式统一化处理，得到该多条更新数据。
在一个实施例中，该数据同步装置还包括第三执行模块，该第三执行模块，用于：在该目标搜索引擎的搜索操作所对应的搜索词的数据标识与该目标数据库中存储的任一更新数据的数据标识相同的情况下，确定该目标搜索引擎的搜索操作满足该预设条件。
在一个实施例中，该第三执行模块，具体用于：将该目标数据库中与该搜索词的数据标识相同的更新数据作为该目标更新数据，并根据该目标更新数据对应的备份信息中的更新操作类型将该目标更新数据同步至该搜索数据库中。
在一个实施例中，该数据同步装置还包括第四执行模块，该第四执行模块，用于：获取该目标数据库中备份信息的更新操作类型为删除类型的更新数据，并基于获取到的更新数据对该搜索数据库进行数据删除处理。
第三方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现上述第一方面中任一所述的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一所述的步骤。
第五方面，本申请还提供了一种计算机程序产品。该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一所述的步骤。
上述数据同步方法、装置、计算机设备、存储介质和计算机程序产品，获取目标搜索引擎对应的搜索数据库的多条更新数据；获取各条该更新数据分别对应的备份信息，该备份信息包括更新操作类型、数据标识以及待存储至的数据表的表名；根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中；在该目标搜索引擎的搜索操作满足预设条件的情况下，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。本申请提供的数据同步方法将更新数据备份至目标数据库中，只有当目标搜索引擎的搜索操作满足预设条件，才会根据搜索操作从目标数据库中选取目标更新数据，将目标更新数据同步至该搜索数据库中，也即是用户需要哪些数据时，这些数据才会在目标搜索引擎中被同步，可以避免全量数据同时同步时耗较长的问题，而且，本申请提供的数据同步方法不需要将所有更新数据都存储到搜索引擎中，可以降低搜索引擎的存储压力，因此，采用本申请提供的数据同步方法可以有效的提高数据同步的工作效率。
附图说明
图1为一个实施例中数据同步方法的流程示意图；
图2为一个实施例中获取目标搜索引擎对应的搜索数据库的多条更新数据方法的流程示意图；
图3为另一个实施例中数据同步方法的流程示意图；
图4为一个实施例中数据同步装置的结构框图；
图5为另一个实施例中数据同步装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
搜索引擎是根据用户需求与一定算法，运用特定策略从互联网检索出指定信息反馈给客户的检索技术，向搜索引擎中同步数据是搜索引擎能发挥检索作用的前提和基础。
传统技术中，一般是通过全量数据同步的方法来实现向搜索引擎中同步数据。
然而，这种方法需要在每一次操作后等待指定的时间间隔后才能进行同步，使得数据同步耗时较长，进而导致数据同步的工作效率较低。
有鉴于此，本申请实施例提供一种能够提高数据同步工作效率的数据同步方法。
本申请实施例提供的数据同步方法，其执行主体可以是一种计算机设备，该计算机设备可以是服务器。
在一个实施例中，如图1所示，提供了一种数据同步方法，包括以下步骤：
步骤101、获取目标搜索引擎对应的搜索数据库的多条更新数据。
可选的，该目标搜索引擎指的是需要进行数据同步的搜索引擎，该搜索引擎指的是一种可以根据用户需求以及一定算法，运用特定策略从互联网检索出指定信息反馈给用户的检索技术。
可选的，该搜索数据库指的是该搜索引擎对应的数据库，也即是按照数据结构来组织、存储和管理数据的仓库。
在一种可能实现的方式中，可以通过技术人员手动输入以获取该多条更新数据。
在另一种可能实现的方式中，还可以算法处理获取该多条更新数据。
步骤102、获取各条该更新数据分别对应的备份信息，该备份信息包括更新操作类型、数据标识以及待存储至的数据表的表名。
可选的，该更新操作类型包括删除操作类型、新增操作类型以及修改操作类型。
在一种可能实现的方式中，该更新数据的备份信息中的更新操作类型可以是删除操作类型。
在另一种可能实现的方式中，该更新数据的备份信息中的更新操作类型还可以是新增操作类型。
在另一种可能实现的方式中，该更新数据的备份信息中的更新操作类型还可以是修改操作类型。
可选的，该数据标识指的是该更新数据的目标字段。
该待存储至的数据表表名指的是该更新数据将要存储至的数据表表名。
在一种可能实现的方式中，可以先创建联机接口配置表，基于该联机接口配置表获取各条该更新信息分别对应的备份信息。
步骤103、根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中。
可选的，该目标数据库可以是TDSQL(TDSQL for PostgreSQL，分布式数据库)。
在一种可能实现的方式中，根据该更新数据对应的备份信息确定该更新数据的待存储至的数据表的表名，再将该更新数据备份至该目标数据库中，也即是TDSQL中对应表名的数据表中。
步骤104、在该目标搜索引擎的搜索操作满足预设条件的情况下，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。
可选的，该预设条件可以由技术人员提前设置。
在本申请一个可选的实施例中，在该目标搜索引擎的搜索操作所对应的搜索词的数据标识与该目标数据库中存储的任一更新数据的数据标识相同的情况下，确定该目标搜索引擎的搜索操作满足该预设条件。
在一种可能实现的方式中，若用户在该目标搜索引擎的搜索操作所对应的搜索词的数据标识为A，且该目标数据库中存储的数据标识存在A，则确定该目标搜索引擎的搜索操作满足该预设条件，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。
在另一种可能实现的方式中，若用户在该目标搜索引擎的搜索操作所对应的搜索词的数据标识为B，且该目标数据库中存储的数据标识存在B，则确定该目标搜索引擎的搜索操作满足该预设条件，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。
在本申请一个可选的实施例中，在该目标搜索引擎得搜索操作所对应得搜索词与该搜索数据库中存储得任一搜索词均不相同的情况下，确定该目标搜索引擎的搜索操作满足该预设条件。
在一种可能实现的方式中，若用户在该目标搜索引擎的搜索操作所对应的搜索词为A，且该搜索数据库中未存储有A搜索词，则确定该目标搜索引擎的搜索操作满足该预设条件，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。
在一种可能实现的方式中，若用户在该目标搜索引擎的搜索操作所对应的搜索词为B，且该搜索数据库中未存储有B搜索词，则确定该目标搜索引擎的搜索操作满足该预设条件，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。
如上文所述，在该目标搜索引擎的搜索操作满足预设条件的情况下，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。
在一种可能实现的方式中，可以根据该搜索操作对应的搜索词的数据标识，从该目标数据库中进行筛选，选取与该数据标识相同的更新数据为目标更新数据，并将该目标更新数据同步至该搜索数据库中。
在另一种可能实现的方式中，可以根据该搜索操作对应的搜索词的搜索内容，从该目标数据库中进行筛选，选取与该搜索内容相同的更新数据为目标更新数据，并将该目标更新数据同步至该搜索数据库中。
上述数据同步方法，获取目标搜索引擎对应的搜索数据库的多条更新数据；获取各条该更新数据分别对应的备份信息，该备份信息包括更新操作类型、数据标识以及待存储至的数据表的表名；根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中；在该目标搜索引擎的搜索操作满足预设条件的情况下，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。本申请提供的数据同步方法将更新数据备份至目标数据库中，只有当目标搜索引擎的搜索操作满足预设条件，才会根据搜索操作从目标数据库中选取目标更新数据，将目标更新数据同步至该搜索数据库中，也即是用户需要哪些数据时，这些数据才会在目标搜索引擎中被同步，可以避免全量数据同时同步时耗较长的问题，而且，本申请提供的数据同步方法不需要将所有更新数据都存储到搜索引擎中，可以降低搜索引擎的存储压力，因此，采用本申请提供的数据同步方法可以有效的提高数据同步的工作效率。
在一个实施例中，根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中，包括：对于各条该更新数据，根据该更新数据对应的备份信息中的表名将该更新数据存储至该目标数据库的目标数据表中，并将该更新数据与该更新数据对应的备份信息中的更新操作类型以及数据标识进行关联处理。
在一种可能实现的方式中，根据该更新数据对应的备份信息中的表名将该更新数据存储至该目标数据库的目标数据表中，再基于算法处理实现对该更新数据与该更新数据对应的备份信息中的更新操作类型以及数据标识进行关联处理，以使得该更新数据对应的备份信息中的更新操作类型以及数据标识与该更新数据进行关联。
在一个实施例中，如图2所示，该获取目标搜索引擎对应的搜索数据库的多条更新数据，包括以下步骤：
步骤201、从多个不同的更新渠道获取多条初始数据。
在一种可能实现的方式中，可以是用过技术人员手动输入获取的多条初始数据。
在另一种可能实现的方式中，还可以是从其他数据库中获取的该多条初始数据。
在另一种可能实现的方式中，还可以是在网页上获取的该多条初始数据。
步骤202、对该多条初始数据进行格式统一化处理，得到该多条更新数据。
在一种可能实现的方式中，可以通过算法处理实现对该多条初始数据进行格式统一化处理，以得到该格式统一的多条更新数据。
上述从多个不同的更新渠道获取多条初始数据，对该多条初始数据进行格式统一化处理，得到该多条更新数据的方法可以将不同渠道、不同来源的数据的格式统一化，便于后期流程的执行，进而有效的提高数据同步的工作效率。
在一个实施例中，该根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中，包括：将该目标数据库中与该搜索词的数据标识相同的更新数据作为该目标更新数据，并根据该目标更新数据对应的备份信息中的更新操作类型将该目标更新数据同步至该搜索数据库中。
在一种可能实现的方式中，假设该搜索词的数据标识为101，则确定该目标数据库中数据标识为101的更新数据作为目标更新数据，并根据该目标更新数据对应的备份信息确定该目标更新数据的更新操作类型，假设该更新操作类型为新增，则基于该目标更新数据以及该操作类型将该目标更新数据同步至该搜索数据库中。
在另一种可能实现的方式中，假设该搜索词的数据标识为101，则确定该目标数据库中数据标识为101的更新数据作为目标更新数据，并根据该目标更新数据对应的备份信息确定该目标更新数据的更新操作类型，假设该更新操作类型为修改，则基于该目标更新数据以及该操作类型将该目标更新数据同步至该搜索数据库中。
在一个实施例中，该根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中之后，该方法还包括：获取该目标数据库中备份信息的更新操作类型为删除类型的更新数据，并基于获取到的更新数据对该搜索数据库进行数据删除处理。
在一种可能实现的方式中，将各条该更新数据备份至目标数据库中之后，基于该更新数据的操作类型对该多条更新数据进行筛选，以获取更新类型为删除类型的更新数据，并确定该删除类型的更新数据的数据标识，并将该搜索数据库中与该删除类型的更新数据的数据标识相同的数据进行删除处理。
在一个实施例中，如图3所示，提供了另一种数据同步方法，该方法包括以下步骤：
步骤301、从多个不同的更新渠道获取多条初始数据。
步骤302、对该多条初始数据进行格式统一化处理，得到该多条更新数据。
步骤303、获取各条该更新数据分别对应的备份信息，该备份信息包括更新操作类型、数据标识以及待存储至的数据表的表名。
步骤304、对于各条该更新数据，根据该更新数据对应的备份信息中的表名将该更新数据存储至该目标数据库的目标数据表中，并将该更新数据与该更新数据对应的备份信息中的更新操作类型以及数据标识进行关联处理。
步骤305、在该目标搜索引擎的搜索操作所对应的搜索词的数据标识与该目标数据库中存储的任一更新数据的数据标识相同的情况下，确定该目标搜索引擎的搜索操作满足该预设条件。
步骤306、在该目标搜索引擎的搜索操作满足预设条件的情况下，将该目标数据库中与该搜索词的数据标识相同的更新数据作为该目标更新数据，并根据该目标更新数据对应的备份信息中的更新操作类型将该目标更新数据同步至该搜索数据库中。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据同步方法的数据同步装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据同步装置实施例中的具体限定可以参见上文中对于数据同步方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种数据同步装置400，包括：第一获取模块401、第二获取模块402、第一执行模块403和第二执行模块404，其中：
第一获取模块401，用于获取目标搜索引擎对应的搜索数据库的多条更新数据；
第二获取模块402，用于获取各条该更新数据分别对应的备份信息，该备份信息包括更新操作类型、数据标识以及待存储至的数据表的表名；
第一执行模块403，用于根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中；
第二执行模块404，用于在该目标搜索引擎的搜索操作满足预设条件的情况下，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。
在一个实施例中，该第一执行模块403，具体用于：对于各条该更新数据，根据该更新数据对应的备份信息中的表名将该更新数据存储至该目标数据库的目标数据表中，并将该更新数据与该更新数据对应的备份信息中的更新操作类型以及数据标识进行关联处理。
在一个实施例中，该第一获取模块401，具体用于：从多个不同的更新渠道获取多条初始数据；对该多条初始数据进行格式统一化处理，得到该多条更新数据。
在一个实施例中，如图5所示，提供了另一种数据同步装置500，该数据同步装置500除了包括数据同步装置400包括的各模块外，还包括第三执行模块405以及第四执行模块406。
在一个实施例中，该第三执行模块405，用于：在该目标搜索引擎的搜索操作所对应的搜索词的数据标识与该目标数据库中存储的任一更新数据的数据标识相同的情况下，确定该目标搜索引擎的搜索操作满足该预设条件。
在一个实施例中，该第三执行模块405，具体用于：将该目标数据库中与该搜索词的数据标识相同的更新数据作为该目标更新数据，并根据该目标更新数据对应的备份信息中的更新操作类型将该目标更新数据同步至该搜索数据库中。
在一个实施例中，该第四执行模块406，用于：获取该目标数据库中备份信息的更新操作类型为删除类型的更新数据，并基于获取到的更新数据对该搜索数据库进行数据删除处理。
上述数据同步装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据同步方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标搜索引擎对应的搜索数据库的多条更新数据；获取各条该更新数据分别对应的备份信息，该备份信息包括更新操作类型、数据标识以及待存储至的数据表的表名；根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中；在该目标搜索引擎的搜索操作满足预设条件的情况下，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。
在其中一个实施例中，该根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中，该处理器执行计算机程序时实现以下步骤：对于各条该更新数据，根据该更新数据对应的备份信息中的表名将该更新数据存储至该目标数据库的目标数据表中，并将该更新数据与该更新数据对应的备份信息中的更新操作类型以及数据标识进行关联处理。
在其中一个实施例中，该获取目标搜索引擎对应的搜索数据库的多条更新数据，该处理器执行计算机程序时实现以下步骤：从多个不同的更新渠道获取多条初始数据；对该多条初始数据进行格式统一化处理，得到该多条更新数据。
在其中一个实施例中，该处理器执行计算机程序时实现以下步骤：在该目标搜索引擎的搜索操作所对应的搜索词的数据标识与该目标数据库中存储的任一更新数据的数据标识相同的情况下，确定该目标搜索引擎的搜索操作满足该预设条件。
在其中一个实施例中，该根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中，该处理器执行计算机程序时实现以下步骤：将该目标数据库中与该搜索词的数据标识相同的更新数据作为该目标更新数据，并根据该目标更新数据对应的备份信息中的更新操作类型将该目标更新数据同步至该搜索数据库中。
在其中一个实施例中，该根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中之后，该处理器执行计算机程序时实现以下步骤：获取该目标数据库中备份信息的更新操作类型为删除类型的更新数据，并基于获取到的更新数据对该搜索数据库进行数据删除处理。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标搜索引擎对应的搜索数据库的多条更新数据；获取各条该更新数据分别对应的备份信息，该备份信息包括更新操作类型、数据标识以及待存储至的数据表的表名；根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中；在该目标搜索引擎的搜索操作满足预设条件的情况下，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。
在其中一个实施例中，该根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中，该计算机程序被处理器执行时实现以下步骤：对于各条该更新数据，根据该更新数据对应的备份信息中的表名将该更新数据存储至该目标数据库的目标数据表中，并将该更新数据与该更新数据对应的备份信息中的更新操作类型以及数据标识进行关联处理。
在其中一个实施例中，该获取目标搜索引擎对应的搜索数据库的多条更新数据，该计算机程序被处理器执行时实现以下步骤：从多个不同的更新渠道获取多条初始数据；对该多条初始数据进行格式统一化处理，得到该多条更新数据。
在其中一个实施例中，该计算机程序被处理器执行时实现以下步骤：在该目标搜索引擎的搜索操作所对应的搜索词的数据标识与该目标数据库中存储的任一更新数据的数据标识相同的情况下，确定该目标搜索引擎的搜索操作满足该预设条件。
在其中一个实施例中，该根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中，该计算机程序被处理器执行时实现以下步骤：将该目标数据库中与该搜索词的数据标识相同的更新数据作为该目标更新数据，并根据该目标更新数据对应的备份信息中的更新操作类型将该目标更新数据同步至该搜索数据库中。
在其中一个实施例中，该根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中之后，该计算机程序被处理器执行时实现以下步骤：获取该目标数据库中备份信息的更新操作类型为删除类型的更新数据，并基于获取到的更新数据对该搜索数据库进行数据删除处理。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取目标搜索引擎对应的搜索数据库的多条更新数据；获取各条该更新数据分别对应的备份信息，该备份信息包括更新操作类型、数据标识以及待存储至的数据表的表名；根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中；在该目标搜索引擎的搜索操作满足预设条件的情况下，根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中。
在其中一个实施例中，该根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中，该计算机程序被处理器执行时实现以下步骤：对于各条该更新数据，根据该更新数据对应的备份信息中的表名将该更新数据存储至该目标数据库的目标数据表中，并将该更新数据与该更新数据对应的备份信息中的更新操作类型以及数据标识进行关联处理。
在其中一个实施例中，该获取目标搜索引擎对应的搜索数据库的多条更新数据，该计算机程序被处理器执行时实现以下步骤：从多个不同的更新渠道获取多条初始数据；对该多条初始数据进行格式统一化处理，得到该多条更新数据。
在其中一个实施例中，该计算机程序被处理器执行时实现以下步骤：在该目标搜索引擎的搜索操作所对应的搜索词的数据标识与该目标数据库中存储的任一更新数据的数据标识相同的情况下，确定该目标搜索引擎的搜索操作满足该预设条件。
在其中一个实施例中，该根据该搜索操作从该目标数据库中选取目标更新数据，并将该目标更新数据同步至该搜索数据库中，该计算机程序被处理器执行时实现以下步骤：将该目标数据库中与该搜索词的数据标识相同的更新数据作为该目标更新数据，并根据该目标更新数据对应的备份信息中的更新操作类型将该目标更新数据同步至该搜索数据库中。
在其中一个实施例中，该根据各条该更新数据分别对应的备份信息，将各条该更新数据备份至目标数据库中之后，该计算机程序被处理器执行时实现以下步骤：获取该目标数据库中备份信息的更新操作类型为删除类型的更新数据，并基于获取到的更新数据对该搜索数据库进行数据删除处理。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据同步方法，其特征在于，所述方法包括：
获取目标搜索引擎对应的搜索数据库的多条更新数据；
获取各条所述更新数据分别对应的备份信息，所述备份信息包括更新操作类型、数据标识以及待存储至的数据表的表名；
根据各条所述更新数据分别对应的备份信息，将各条所述更新数据备份至目标数据库中；
在所述目标搜索引擎的搜索操作满足预设条件的情况下，根据所述搜索操作从所述目标数据库中选取目标更新数据，并将所述目标更新数据同步至所述搜索数据库中。
2.根据权利要求1所述的方法，其特征在于，所述根据各条所述更新数据分别对应的备份信息，将各条所述更新数据备份至目标数据库中，包括：
对于各条所述更新数据，根据所述更新数据对应的备份信息中的表名将所述更新数据存储至所述目标数据库的目标数据表中，并将所述更新数据与所述更新数据对应的备份信息中的更新操作类型以及数据标识进行关联处理。
3.根据权利要求1所述的方法，其特征在于，所述获取目标搜索引擎对应的搜索数据库的多条更新数据，包括：
从多个不同的更新渠道获取多条初始数据；
对所述多条初始数据进行格式统一化处理，得到所述多条更新数据。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述目标搜索引擎的搜索操作所对应的搜索词的数据标识与所述目标数据库中存储的任一更新数据的数据标识相同的情况下，确定所述目标搜索引擎的搜索操作满足所述预设条件。
5.根据权利要求4所述的方法，其特征在于，所述根据所述搜索操作从所述目标数据库中选取目标更新数据，并将所述目标更新数据同步至所述搜索数据库中，包括：
将所述目标数据库中与所述搜索词的数据标识相同的更新数据作为所述目标更新数据，并根据所述目标更新数据对应的备份信息中的更新操作类型将所述目标更新数据同步至所述搜索数据库中。
6.根据权利要求1所述的方法，其特征在于，所述根据各条所述更新数据分别对应的备份信息，将各条所述更新数据备份至目标数据库中之后，所述方法还包括：
获取所述目标数据库中备份信息的更新操作类型为删除类型的更新数据，并基于获取到的更新数据对所述搜索数据库进行数据删除处理。
7.一种数据同步装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标搜索引擎对应的搜索数据库的多条更新数据；
第二获取模块，用于获取各条所述更新数据分别对应的备份信息，所述备份信息包括更新操作类型、数据标识以及待存储至的数据表的表名；
第一执行模块，用于根据各条所述更新数据分别对应的备份信息，将各条所述更新数据备份至目标数据库中；
第二执行模块，用于在所述目标搜索引擎的搜索操作满足预设条件的情况下，根据所述搜索操作从所述目标数据库中选取目标更新数据，并将所述目标更新数据同步至所述搜索数据库中。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202311196549.8A 2023-09-15 2023-09-15 数据同步方法、装置、计算机设备、存储介质和程序产品 Pending CN117312445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311196549.8A CN117312445A (zh) 2023-09-15 2023-09-15 数据同步方法、装置、计算机设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311196549.8A CN117312445A (zh) 2023-09-15 2023-09-15 数据同步方法、装置、计算机设备、存储介质和程序产品

Publications (1)

Publication Number Publication Date
CN117312445A true CN117312445A (zh) 2023-12-29

Family

ID=89280347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311196549.8A Pending CN117312445A (zh) 2023-09-15 2023-09-15 数据同步方法、装置、计算机设备、存储介质和程序产品

Country Status (1)

Country Link
CN (1) CN117312445A (zh)

Similar Documents

Publication Publication Date Title
US9256665B2 (en) Creation of inverted index system, and data processing method and apparatus
US8805777B2 (en) Data record collapse and split functionality
CN114138907A (zh) 数据处理方法、计算机设备、存储介质和计算机程序产品
CN106326295B (zh) 语义数据的存储方法及装置
CN115809311B (zh) 知识图谱的数据处理方法、装置及计算机设备
CN115858471A (zh) 业务数据变更记录方法、装置、计算机设备及介质
CN117312445A (zh) 数据同步方法、装置、计算机设备、存储介质和程序产品
CN116010345A (zh) 一种实现流批一体数据湖的表服务方案的方法、装置及设备
CN117609210B (zh) 数据表处理方法、装置、计算机设备和存储介质
CN115756960B (zh) 误操作数据恢复方法、装置、计算机设备与存储介质
CN114297273B (zh) 一种数据抽取方法及装置
CN114238258B (zh) 数据库数据处理方法、装置、计算机设备、存储介质
CN116991944A (zh) 数据同步方法、装置、计算机设备、存储介质
CN117539690B (zh) 多磁盘数据的合并恢复方法、装置、设备、介质和产品
CN115203488B (zh) 一种图数据库管理方法、装置及电子设备
CN116049190B (zh) 基于Kafka的数据处理方法、装置、计算机设备和存储介质
US20240070180A1 (en) Mutation-Responsive Documentation Regeneration Based on Knowledge Base
CN117194524A (zh) 离线指标数据的处理方法、装置、设备及存储介质
CN118779288A (zh) 数据交互方法、装置、计算机设备和存储介质
CN117076567A (zh) 数据同步方法、装置、计算机设备和存储介质
CN114880311A (zh) 数据处理方法、装置、存储介质及计算机设备
CN117555487A (zh) 数据拆分方法、装置、计算机设备、存储介质
CN116756124A (zh) 数据处理方法、装置、设备、存储介质和程序产品
CN118860477A (zh) 元数据版本控制方法、装置、计算机设备、可读存储介质和程序产品
CN118193454A (zh) 报表文件的获取方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination