CN111382206B - 一种数据存储方法及装置 - Google Patents

一种数据存储方法及装置 Download PDF

Info

Publication number
CN111382206B
CN111382206B CN202010200915.2A CN202010200915A CN111382206B CN 111382206 B CN111382206 B CN 111382206B CN 202010200915 A CN202010200915 A CN 202010200915A CN 111382206 B CN111382206 B CN 111382206B
Authority
CN
China
Prior art keywords
database
message
service data
version number
synchronous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010200915.2A
Other languages
English (en)
Other versions
CN111382206A (zh
Inventor
付元宝
段效晨
王玉东
康林
秦占明
赵艳杰
罗廷方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202010200915.2A priority Critical patent/CN111382206B/zh
Publication of CN111382206A publication Critical patent/CN111382206A/zh
Application granted granted Critical
Publication of CN111382206B publication Critical patent/CN111382206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种数据存储方法及装置，涉及数据库技术领域。所述方法包括：检测第一数据库中是否写入业务数据；如果所述第一数据库中写入业务数据，则生成所述业务数据对应的同步消息，所述同步消息至少包含所述业务数据；将所述同步消息存储到预设的消息队列中；通过预设的消息读取策略，从所述消息队列中读取同步消息，将读取的同步消息中包含的目标业务数据写入第二数据库。采用本申请可以将第一数据库和第二数据库中存储的数据实时保持一致，以便于技术人员根据实际需要选择任一数据库进行查询，解决了将数据存储到单一数据库存在的问题。

Description

一种数据存储方法及装置
技术领域
本申请涉及数据库技术领域，尤其涉及一种数据存储方法及装置。
背景技术
随着数据存储技术的发展，数据库的种类越来越多，应用也越来越广泛。很多公司及企业都会使用数据库作为底层存储设备。目前，各公司及企业通常是选择一种数据库来存储业务中产生的数据。
然而，每种数据库都各由优缺点。例如，Hbase在某些方面拥有无法替代的特性，比如可以支持几乎可无限增长的行和列、支持稀疏存储、且存储和读取都很高效。但是，Hbase数据库只支持单一条件的查询，不支持自定义查询，导致技术人员在Hbase数据库中查询数据时非常不便。因此，亟需一种新的数据存储方法，来解决将数据存储到单一数据库存在的问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数据存储方法及装置。
第一方面，本申请提供了一种数据存储方法，所述方法包括：
检测第一数据库中是否写入业务数据；
如果所述第一数据库中写入业务数据，则生成所述业务数据对应的同步消息，所述同步消息至少包含所述业务数据；
将所述同步消息存储到预设的消息队列中；
通过预设的消息读取策略，从所述消息队列中读取同步消息，将读取的同步消息中包含的目标业务数据写入第二数据库。
可选的，所述同步消息还包含业务数据对应的业务标识、以及业务数据的版本号。
可选的，所述通过预设的消息读取策略，从所述消息队列中读取同步消息，将读取的同步消息中包含的目标业务数据写入第二数据库，包括：
在所述消息队列中，确定预设时长内接收到的多个同步消息；
在所述多个同步消息中，确定业务标识相同的同步消息；
在业务标识相同的同步消息中，确定包含的版本号最大的目标同步消息；
将所述目标同步消息包含的目标业务数据写入第二数据库。
可选的，所述将读取的同步消息中包含的目标业务数据写入第二数据库之后，还包括：
将读取的同步消息中包含的目标业务标识和目标版本号写入所述第二数据库；
当读取到包含所述目标业务标识的新同步消息时，判断所述新同步消息中的版本号是否大于所述目标版本号；
如果新同步消息中的版本号大于所述目标版本号，则将所述第二数据库中的目标业务数据，修改为所述新同步消息包含的业务数据；
如果新同步消息中的版本号不大于所述目标版本号，则丢弃所述新同步消息。
可选的，所述生成所述业务数据对应的同步消息，包括：
获取所述业务数据对应的业务标识，并根据预设的版本号分配规则，为所述业务数据分配版本号；
根据所述业务数据、所述业务标识和所述版本号生成同步消息。
可选的，所述生成所述业务数据对应的同步消息之前，还包括：
获取所述业务数据对应的业务标识；
如果所述业务标识为预设业务类型的业务标识，则执行所述生成所述业务数据对应的同步消息的步骤。
可选的，所述第一数据库为Hbase数据库，所述第二数据库为支持结构化查询语言SQL查询命令的数据库；
所述方法还包括：
当接收到SQL查询命令时，基于所述第二数据库执行所述SQL查询命令。
第二方面，本申请提供了一种数据存储装置，所述装置包括：
检测模块，用于检测第一数据库中是否写入业务数据；
生成模块，用于如果所述第一数据库中写入业务数据，则生成所述业务数据对应的同步消息，所述同步消息至少包含所述业务数据；
存储模块，用于将所述同步消息存储到预设的消息队列中；
第一写入模块，用于通过预设的消息读取策略，从所述消息队列中读取同步消息，将读取的同步消息中包含的目标业务数据写入第二数据库。
可选的，所述同步消息还包含业务数据对应的业务标识、以及业务数据的版本号。
可选的，所述第一写入模块，具体用于：
在所述消息队列中，确定预设时长内接收到的多个同步消息；
在所述多个同步消息中，确定业务标识相同的同步消息；
在业务标识相同的同步消息中，确定包含的版本号最大的目标同步消息；
将所述目标同步消息包含的目标业务数据写入第二数据库。
可选的，所述装置还包括：
第二写入模块，用于将读取的同步消息中包含的目标业务标识和目标版本号写入所述第二数据库；
判断模块，用于当读取到包含所述目标业务标识的新同步消息时，判断所述新同步消息中的版本号是否大于所述目标版本号；
修改模块，用于如果新同步消息中的版本号大于所述目标版本号，则将所述第二数据库中的目标业务数据，修改为所述新同步消息包含的业务数据；
丢弃模块，用于如果新同步消息中的版本号不大于所述目标版本号，则丢弃所述新同步消息。
可选的，所述生成模块，具体用于：
获取所述业务数据对应的业务标识，并根据预设的版本号分配规则，为所述业务数据分配版本号；
根据所述业务数据、所述业务标识和所述版本号生成同步消息。
可选的，所述装置还包括：
获取模块，用于获取所述业务数据对应的业务标识；
如果所述业务标识为预设业务类型的业务标识，则触发所述生成模块执行所述生成所述业务数据对应的同步消息的步骤。
可选的，所述第一数据库为Hbase数据库，所述第二数据库为支持结构化查询语言SQL查询命令的数据库；
所述装置还包括：
查询模块，用于当接收到SQL查询命令时，基于所述第二数据库执行所述SQL查询命令。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一所述的方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供了一种数据存储方法，可以检测第一数据库中是否写入业务数据，如果第一数据库中写入业务数据，则生成业务数据对应的同步消息，同步消息至少包含业务数据，然后，将同步消息存储到预设的消息队列中，进而通过预设的消息读取策略，从消息队列中读取同步消息，将读取的同步消息中包含的目标业务数据写入第二数据库。基于上述处理，可以将写入第一数据库中的数据实时同步到第二数据库中，由于第一数据库和第二数据库中存储的数据实时保持一致，技术人员可以根据实际需要选择任一数据库进行查询，解决了将数据存储到单一数据库存在的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本申请实施例提供的一种数据存储方法的流程图；
图2为本申请实施例提供的另一种数据存储方法的流程图；
图3为本申请实施例提供的另一种数据存储方法的流程图；
图4为本申请实施例提供的一种数据存储方法的示例的流程图；
图5为本申请实施例提供的一种数据存储装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供了一种数据存储方法，该方法可以应用于电子设备，该电子设备中可以安装有数据库的客户端，其中，该数据库的客户端可以为第一数据库的客户端，第一数据库是公司和企业一直使用的、用于进行底层存储的数据库，比如Hbase数据库。该客户端可以集成有PUT API(Application Programming Interface，应用程序接口)和消息队列API。其中，PUT API用于将业务数据写入第一数据库，消息队列API用于将业务数据写入消息队列。另外，该客户端还可以与第二数据库进行通信，并可以提供在第二数据库中进行数据查找的功能。第二数据库可以是支持结构化查询语言SQL(Structured QueryLanguage，结构化查询语言)查询命令的数据库，比如kudu、TIDB等。
本申请实施例中，在客户端检测到第一数据库中写入数据时，将该数据同步至第二数据库中，以使第一数据库和第二数据库中存储的数据实时保持一致，以便于技术人员进行查询。
下面将结合具体实施方式，对本申请实施例提供的一种标题的生成方法进行详细的说明，如图1所示，具体步骤如下：
步骤101，检测第一数据库中是否写入业务数据。
本申请实施例中，上层应用在向用户提供业务服务的过程中，会将业务数据实时存储在第一数据库中。具体的，上层应用会调用客户端PUT API，通过PUT API将业务数据写入到第一数据库中。因此，客户端会监测PUT API，以检测第一数据库中是否写入业务数据。
步骤102，如果第一数据库中写入业务数据，则生成业务数据对应的同步消息。
本申请实施例中，如果客户端检测到第一数据库中写入业务数据，则客户端在该业务数据写入完成后，会生成该业务数据对应的同步消息。其中，该同步消息至少包含该业务数据，以便通过该同步消息，将该业务数据写入第二数据库。
可选的，同步消息还包含可以业务数据对应的业务标识、以及业务数据的版本号等其他信息。相应的，生成同步消息的步骤具体可以为：获取业务数据对应的业务标识，并根据预设的版本号分配规则，为业务数据分配版本号；根据业务数据、业务标识和版本号生成同步消息。
本申请实施例中，业务标识可以是上层应用下发的，用于标识该业务数据所属业务的标识。例如，用户在网络购物时需要提交订单用户提交订单后，后台服务会为该次购物行为生成一个标识(即业务标识)，后续，用户可以对订单进行多个修改，该业务标识依然保持不变。上层应用在存储该订单数据时，会将该订单对应的业务标识一起发送给第一数据库。
客户端中还可以存储有预设的版本号分配规则，在向第一数据库中写入业务数据后，客户端可以根据该版本号分配规则，为该业务数据分配版本号。例如，写入的第一个业务数据为数据a，版本号为1，写入的的第一个业务数据为数据b，版本号为2。
客户端生成版本号后，可以根据该业务数据、该业务标识和生成的版本号生成同步消息。也即，该同步消息还包含可以业务数据对应的业务标识、以及业务数据的版本号等其他信息。
基于上述处理过程，生成的同步消息中可以包含业务数据、该业务数据对应的业务标识、以及该业务数据的版本号，以便进行后续处理。
可选的，可以将写入第一数据库中的全部数据都同步到第二数据库中，或者，也可以只将部分业务的业务数据同步到第二数据库中，相应的，在第一数据库中写入业务数据后，可以先获取该业务数据对应的业务标识，如果业务标识为预设业务类型的业务标识，则执行生成业务数据对应的同步消息的步骤。
本申请实施例中，技术人员可以根据实际需求，确定需要进行查询的业务数据的类型，然后配置到客户端中。客户端在第一数据库中写入业务数据后，可以先获取该业务数据对应的业务标识。如果业务标识为预设业务类型的业务标识，则生成业务数据对应的同步消息，否则，不进行处理。在一种实现方式中，业务标识可以由业务类型的标识和唯一标识符构成，则客户端可以从业务标识中国，提取业务类型的标识，然后再进行判断。
步骤103，将同步消息存储到预设的消息队列中。
本申请实施例中，客户端生成业务数据对应的同步消息后，可以通过消息队列API将同步消息存储到预设的消息队列中。
步骤104，通过预设的消息读取策略，从消息队列中读取同步消息，将读取的同步消息中包含的目标业务数据写入第二数据库。
本申请实施例中，客户端中可以设置有实时流引擎。实时流引擎可以从消息队列中读取消息，然后，获取读取的同步消息中包含的目标业务数据，进而将目标业务数据写入第二数据库。
在一种实现方式中，可以将读取的每个同步消息中包含的业务数据，都写入到第二数据库。
在另一种实现方式中，可以对业务数据进行排重，只将有效数据写入第二数据库。如图2所示，步骤104具体的处理过程可以包括以下步骤。
步骤201，在消息队列中，确定预设时长内接收到的多个同步消息。
本申请实施例中，由于业务可能短时间对同一个业务标识进行多次操作，比如，用户短时间内对订单多次修改，因此，需要支持对同一个业务标识的排重。具体的，客户端的实时流引擎中可以预先设置有时间窗口(即预设时长)。客户端中可以存储消息队列接收到各同步消息的接收时间，因此，可以在消息队列中，确定在预设时长内接收到的同步消息，然后进行读取。这样，实时流引擎可以从消息队列中读取出多个同步消息。
步骤202，在多个同步消息中，确定业务标识相同的同步消息。
本申请实施例中，实时流引擎可以根据每个同步消息中的业务标识，在读取的多个同步消息中，进一步确定业务标识相同的同步消息。这些同步消息中包含的业务数据，即对同一个业务标识进行多次操作产生的业务数据。
步骤203，在业务标识相同的同步消息中，确定包含的版本号最大的目标同步消息。
本申请实施例中，实时流引擎可以进一步比较这些同步消息的版本号，进而确定最大的版本号，进而确定包含最大版本号的同步消息(即目标同步消息)。其中，版本号越大，表示该业务数据的产生时间越晚，最大版本号对应的业务数据，即最新的业务数据。
步骤204，将目标同步消息包含的目标业务数据写入第二数据库。
基于图2所示的处理过程，客户端可以对业务数据进行排重，只将最新的业务数据(即有效数据)写入第二数据库，而对于旧的业务数据(即无效数据)，则不写入第二数据库，从而节约第二数据库的存储资源。
可选的，还可以通过快速比较的方式，判断是否要存储同步消息中的数据。如图3所示，具体处理过程包括以下步骤。
步骤301，将读取的同步消息中包含的目标业务标识和目标版本号写入第二数据库。
本申请实施例中，实时流引擎在存储某同步消息中的目标数据后，还可以获取该同步消息中包含的目标业务标识和目标版本号，然后将目标业务标识和目标版本号写入第二数据库。具体的，可以将目标业务标识和目标版本号写入第二数据库中的快速存储区域中，比如mongodb、redis等。存储的结构可以为<业务标识，版本号>。
步骤302，当读取到包含目标业务标识的新同步消息时，判断新同步消息中的版本号是否大于目标版本号。
本申请实施例中，在存储业务标识和版本号后，当再次读取到包含目标业务标识的新同步消息时，实时流引擎获取新同步消息中的版本号，然后将新同步消息中的版本号与目标版本号进行对比，以判断新同步消息中的版本号是否大于目标版本号。
如果新同步消息中的版本号大于目标版本号，则执行步骤303。如果新同步消息中的版本号不大于目标版本号，则执行步骤304。
步骤303，将第二数据库中的目标业务数据，修改为新同步消息包含的业务数据。
本申请实施例中，如果新同步消息中的版本号大于目标版本号，则说明新同步消息中的数据为最新的业务数据(即有效数据)，而第二数据库当前存储的目标业务数据是旧的业务数据(即无效数据)。实时流引擎将第二数据库中的目标业务数据，修改为新同步消息包含的业务数据。这样，可以及时更新第二数据库中的数据，提高第二数据库中数据的有效性。
步骤304，丢弃新同步消息。
本申请实施例中，如果新同步消息中的版本号不大于目标版本号，则说明新同步消息中的数据为旧的业务数据(即无效数据)，而第二数据库当前存储的目标业务数据是最新的业务数据(即有效数据)。实时流引擎直接丢弃新同步消息，不进行写入操作。这样，可以避免将无效数据写入第二数据库，从而节约第二数据库的存储资源。
可选的，本申请实施例中，第一数据库可以为Hbase数据库，第二数据库可以为支持SQL查询命令的数据库，则当接收到SQL查询命令时，基于第二数据库执行SQL查询命令。具体的，客户端中可以分别提供针对两个数据库的查询入口，技术人员可以根据查询需要选择需要使用的数据库，进而通过该数据库的查询入口进行查询。当技术人员需要自定义查询时，技术人员可以通过第二数据库的查询入口，输入SQL查询命令。客户端接收到SQL查询命令后，会基于第二数据库执行该SQL查询命令。
可选的，本申请实施例还提供了数据存储方法的示例，如图4所示，具体步骤如下。
步骤401，检测Hbase数据库中是否写入业务数据。
如果第一数据库中写入业务数据，则步骤402。如果第一数据库中未写入业务数据，则返回步骤401。
步骤402，生成业务数据对应的同步消息。
其中，同步消息包含业务数据、该业务数据对应的业务ID、以及该业务数据的版本号。
步骤403，将同步消息存储到预设的消息队列中。
步骤404，在消息队列中，确定预设时间窗口内的多个同步消息。
步骤405，在多个同步消息中，确定业务ID相同的同步消息。
步骤406，在业务ID相同的同步消息中，确定包含的版本号最大的目标同步消息。
步骤407，将目标同步消息包含的目标业务数据写入支持SQL查询命令的数据库。
本申请实施例中，可以检测第一数据库中是否写入业务数据，如果第一数据库中写入业务数据，则生成业务数据对应的同步消息，同步消息至少包含业务数据，然后，将同步消息存储到预设的消息队列中，进而通过预设的消息读取策略，从消息队列中读取同步消息，将读取的同步消息中包含的目标业务数据写入第二数据库。基于上述处理，可以将写入第一数据库中的数据实时同步到第二数据库中，由于第一数据库和第二数据库中存储的数据实时保持一致，技术人员可以根据实际需要选择任一数据库进行查询，解决了将数据存储到单一数据库存在的问题。
本申请实施例还提供了一种数据存储装置，如图5所示，该装置包括：
检测模块510，用于检测第一数据库中是否写入业务数据；
生成模块520，用于如果第一数据库中写入业务数据，则生成业务数据对应的同步消息，同步消息至少包含业务数据；
存储模块530，用于将同步消息存储到预设的消息队列中；
第一写入模块540，用于通过预设的消息读取策略，从消息队列中读取同步消息，将读取的同步消息中包含的目标业务数据写入第二数据库。
可选的，同步消息还包含业务数据对应的业务标识、以及业务数据的版本号。
可选的，第一写入模块540，具体用于：
在消息队列中，确定预设时长内接收到的多个同步消息；
在多个同步消息中，确定业务标识相同的同步消息；
在业务标识相同的同步消息中，确定包含的版本号最大的目标同步消息；
将目标同步消息包含的目标业务数据写入第二数据库。
可选的，该装置还包括：
第二写入模块，用于将读取的同步消息中包含的目标业务标识和目标版本号写入第二数据库；
判断模块，用于当读取到包含目标业务标识的新同步消息时，判断新同步消息中的版本号是否大于目标版本号；
修改模块，用于如果新同步消息中的版本号大于目标版本号，则将第二数据库中的目标业务数据，修改为新同步消息包含的业务数据；
丢弃模块，用于如果新同步消息中的版本号不大于目标版本号，则丢弃新同步消息。
可选的，生成模块520，具体用于：
获取业务数据对应的业务标识，并根据预设的版本号分配规则，为业务数据分配版本号；
根据业务数据、业务标识和版本号生成同步消息。
可选的，该装置还包括：
获取模块，用于获取业务数据对应的业务标识；
如果业务标识为预设业务类型的业务标识，则触发生成模块520执行生成业务数据对应的同步消息的步骤。
可选的，第一数据库为Hbase数据库，第二数据库为支持结构化查询语言SQL查询命令的数据库；
该装置还包括：
查询模块，用于当接收到SQL查询命令时，基于第二数据库执行SQL查询命令。
本申请实施例中，可以检测第一数据库中是否写入业务数据，如果第一数据库中写入业务数据，则生成业务数据对应的同步消息，同步消息至少包含业务数据，然后，将同步消息存储到预设的消息队列中，进而通过预设的消息读取策略，从消息队列中读取同步消息，将读取的同步消息中包含的目标业务数据写入第二数据库。基于上述处理，可以将写入第一数据库中的数据实时同步到第二数据库中，由于第一数据库和第二数据库中存储的数据实时保持一致，技术人员可以根据实际需要选择任一数据库进行查询，解决了将数据存储到单一数据库存在的问题。
本申请实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
检测第一数据库中是否写入业务数据；
如果所述第一数据库中写入业务数据，则生成所述业务数据对应的同步消息，所述同步消息至少包含所述业务数据；
将所述同步消息存储到预设的消息队列中；
通过预设的消息读取策略，从所述消息队列中读取同步消息，将读取的同步消息中包含的目标业务数据写入第二数据库。
可选的，所述同步消息还包含业务数据对应的业务标识、以及业务数据的版本号。
可选的，所述通过预设的消息读取策略，从所述消息队列中读取同步消息，将读取的同步消息中包含的目标业务数据写入第二数据库，包括：
在所述消息队列中，确定预设时长内接收到的多个同步消息；
在所述多个同步消息中，确定业务标识相同的同步消息；
在业务标识相同的同步消息中，确定包含的版本号最大的目标同步消息；
将所述目标同步消息包含的目标业务数据写入第二数据库。
可选的，所述将读取的同步消息中包含的目标业务数据写入第二数据库之后，还包括：
将读取的同步消息中包含的目标业务标识和目标版本号写入所述第二数据库；
当读取到包含所述目标业务标识的新同步消息时，判断所述新同步消息中的版本号是否大于所述目标版本号；
如果新同步消息中的版本号大于所述目标版本号，则将所述第二数据库中的目标业务数据，修改为所述新同步消息包含的业务数据；
如果新同步消息中的版本号不大于所述目标版本号，则丢弃所述新同步消息。
可选的，所述生成所述业务数据对应的同步消息，包括：
获取所述业务数据对应的业务标识，并根据预设的版本号分配规则，为所述业务数据分配版本号；
根据所述业务数据、所述业务标识和所述版本号生成同步消息。
可选的，所述生成所述业务数据对应的同步消息之前，还包括：
获取所述业务数据对应的业务标识；
如果所述业务标识为预设业务类型的业务标识，则执行所述生成所述业务数据对应的同步消息的步骤。
可选的，所述第一数据库为Hbase数据库，所述第二数据库为支持结构化查询语言SQL查询命令的数据库；
所述方法还包括：
当接收到SQL查询命令时，基于所述第二数据库执行所述SQL查询命令。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据存储方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据存储方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据存储方法，其特征在于，所述方法包括：
检测第一数据库中是否写入业务数据；
如果所述第一数据库中写入业务数据，则生成所述业务数据对应的同步消息，所述同步消息包括所述业务数据、所述业务数据对应的业务标识、以及所述业务数据的版本号；
将所述同步消息存储到预设的消息队列中；
通过预设的消息读取策略，从所述消息队列中读取同步消息，将读取的同步消息中包含的目标业务数据写入第二数据库，包括：在所述消息队列中，确定预设时长内接收到的多个同步消息；在所述多个同步消息中，确定业务标识相同的同步消息；在业务标识相同的同步消息中，确定包含的版本号最大的目标同步消息；将所述目标同步消息包含的目标业务数据写入第二数据库；
将读取的同步消息中包含的目标业务标识和目标版本号写入所述第二数据库；当读取到包含所述目标业务标识的新同步消息时，判断所述新同步消息中的版本号是否大于所述目标版本号；如果新同步消息中的版本号大于所述目标版本号，则将所述第二数据库中的目标业务数据，修改为所述新同步消息包含的业务数据；如果新同步消息中的版本号不大于所述目标版本号，则丢弃所述新同步消息。
2.根据权利要求1所述的方法，其特征在于，所述生成所述业务数据对应的同步消息，包括：
获取所述业务数据对应的业务标识，并根据预设的版本号分配规则，为所述业务数据分配版本号；
根据所述业务数据、所述业务标识和所述版本号生成同步消息。
3.根据权利要求1所述的方法，其特征在于，所述生成所述业务数据对应的同步消息之前，还包括：
获取所述业务数据对应的业务标识；
如果所述业务标识为预设业务类型的业务标识，则执行所述生成所述业务数据对应的同步消息的步骤。
4.根据权利要求1所述的方法，其特征在于，所述第一数据库为Hbase数据库，所述第二数据库为支持结构化查询语言SQL查询命令的数据库；
所述方法还包括：
当接收到SQL查询命令时，基于所述第二数据库执行所述SQL查询命令。
5.一种数据存储装置，其特征在于，所述装置包括：
检测模块，用于检测第一数据库中是否写入业务数据；
生成模块，用于如果所述第一数据库中写入业务数据，则生成所述业务数据对应的同步消息，所述同步消息包括所述业务数据、所述业务数据对应的业务标识、以及所述业务数据的版本号；
存储模块，用于将所述同步消息存储到预设的消息队列中；
第一写入模块，用于通过预设的消息读取策略，从所述消息队列中读取同步消息，将读取的同步消息中包含的目标业务数据写入第二数据库，包括：在所述消息队列中，确定预设时长内接收到的多个同步消息；在所述多个同步消息中，确定业务标识相同的同步消息；在业务标识相同的同步消息中，确定包含的版本号最大的目标同步消息；将所述目标同步消息包含的目标业务数据写入第二数据库；
第二写入模块，用于将读取的同步消息中包含的目标业务标识和目标版本号写入所述第二数据库；
判断模块，用于当读取到包含所述目标业务标识的新同步消息时，判断所述新同步消息中的版本号是否大于所述目标版本号；
修改模块，用于如果新同步消息中的版本号大于所述目标版本号，则将所述第二数据库中的目标业务数据，修改为所述新同步消息包含的业务数据；
丢弃模块，用于如果新同步消息中的版本号不大于所述目标版本号，则丢弃所述新同步消息。
6.根据权利要求5所述的装置，其特征在于，所述生成模块，具体用于：
获取所述业务数据对应的业务标识，并根据预设的版本号分配规则，为所述业务数据分配版本号；
根据所述业务数据、所述业务标识和所述版本号生成同步消息。
7.根据权利要求5所述的装置，其特征在于，所述装置还包括：
获取模块，用于获取所述业务数据对应的业务标识；
如果所述业务标识为预设业务类型的业务标识，则触发所述生成模块执行所述生成所述业务数据对应的同步消息的步骤。
8.根据权利要求5所述的装置，其特征在于，所述第一数据库为Hbase数据库，所述第二数据库为支持结构化查询语言SQL查询命令的数据库；
所述装置还包括：
查询模块，用于当接收到SQL查询命令时，基于所述第二数据库执行所述SQL查询命令。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的方法。
CN202010200915.2A 2020-03-20 2020-03-20 一种数据存储方法及装置 Active CN111382206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010200915.2A CN111382206B (zh) 2020-03-20 2020-03-20 一种数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010200915.2A CN111382206B (zh) 2020-03-20 2020-03-20 一种数据存储方法及装置

Publications (2)

Publication Number Publication Date
CN111382206A CN111382206A (zh) 2020-07-07
CN111382206B true CN111382206B (zh) 2024-03-15

Family

ID=71215446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010200915.2A Active CN111382206B (zh) 2020-03-20 2020-03-20 一种数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN111382206B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417050A (zh) * 2020-11-25 2021-02-26 青岛海尔科技有限公司 数据同步方法和装置、系统、存储介质及电子装置
CN113239113A (zh) * 2021-05-10 2021-08-10 浪潮软件股份有限公司 一种基于营销平台交易数据同步的数据补偿方法
CN113722390A (zh) * 2021-09-03 2021-11-30 小马国炬(玉溪)科技有限公司 一种数据存储方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804697A (zh) * 2018-06-15 2018-11-13 中国平安人寿保险股份有限公司 基于Spark的数据同步方法、装置、计算机设备和存储介质
CN110032478A (zh) * 2018-01-11 2019-07-19 中兴通讯股份有限公司 一种主备中心数据实时同步方法、装置、系统及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7249229B2 (en) * 2004-03-31 2007-07-24 Gemini Mobile Technologies, Inc. Synchronous message queues

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032478A (zh) * 2018-01-11 2019-07-19 中兴通讯股份有限公司 一种主备中心数据实时同步方法、装置、系统及存储介质
CN108804697A (zh) * 2018-06-15 2018-11-13 中国平安人寿保险股份有限公司 基于Spark的数据同步方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111382206A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN111382206B (zh) 一种数据存储方法及装置
WO2021180025A1 (zh) 一种消息处理方法、装置、电子设备及介质
WO2019165665A1 (zh) 一种域名解析方法、服务器及系统
CN110597739A (zh) 一种配置的管理方法、系统及设备
CN107832100B (zh) 一种apk插件的加载方法及其终端
CN109213604B (zh) 一种数据源的管理方法和装置
CN109450969B (zh) 从第三方数据源服务器中获取数据的方法、装置和服务器
CN108647240B (zh) 一种统计访问量的方法、装置、电子设备及存储介质
WO2022057231A1 (zh) 访问服务器的方法、装置、设备及存储介质
CN113141405B (zh) 服务访问方法、中间件系统、电子设备和存储介质
US11500755B1 (en) Database performance degradation detection and prevention
CN111046310A (zh) 页面处理方法、装置、服务器及计算机可读存储介质
US8930518B2 (en) Processing of write requests in application server clusters
CN111367873A (zh) 日志数据的存储方法、装置、终端及计算机存储介质
US20230030856A1 (en) Distributed table storage processing method, device and system
CN111563199B (zh) 一种数据处理方法及装置
CN111125240B (zh) 一种分布式事务实现方法、装置、电子设备及存储介质
CN115080272A (zh) 一种业务数据处理方法、电子设备及存储介质
CN114090623A (zh) 一种缓存资源的创建方法、装置、电子设备及存储介质
CN112653736A (zh) 一种并行回源方法、装置及电子设备
CN110554905A (zh) 一种容器的启动方法及装置
CN113438245B (zh) 一种信息更新、报文安全性检测方法及装置
CN115858668A (zh) 分布式事务处理方法、装置、电子装置及存储介质
CN111367921A (zh) 数据对象的刷新方法及装置
US20240089339A1 (en) Caching across multiple cloud environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant