CN113468182A - 一种数据存储方法及系统 - Google Patents

一种数据存储方法及系统 Download PDF

Info

Publication number
CN113468182A
CN113468182A CN202110796219.7A CN202110796219A CN113468182A CN 113468182 A CN113468182 A CN 113468182A CN 202110796219 A CN202110796219 A CN 202110796219A CN 113468182 A CN113468182 A CN 113468182A
Authority
CN
China
Prior art keywords
data
database
stored
oltp
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110796219.7A
Other languages
English (en)
Other versions
CN113468182B (zh
Inventor
冉祥
陈龙
左十镶
黄泊源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Guangyu Mingdao Digital Technology Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Guangyu Mingdao Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Guangyu Mingdao Digital Technology Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202110796219.7A priority Critical patent/CN113468182B/zh
Publication of CN113468182A publication Critical patent/CN113468182A/zh
Application granted granted Critical
Publication of CN113468182B publication Critical patent/CN113468182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据存储方法及系统，方法包括：构建数据仓库，数据仓库包括：一个或多个OLTP数据库；建立不同的业务场景与OLTP数据库之间的映射关系；获取待存储数据；根据待存储数据的关联信息和映射关系，确定对应的OLTP数据库，关联信息至少包括以下之一：业务场景信息、数据存储量和数据类型；将待存储数据存储至对应的OLTP数据库，完成数据存储；本发明中的数据存储方法，通过建立业务场景与OLTP数据库之间的映射关系，根据待存储数据的关联信息和映射关系，将待存储数据存储至对应的OLTP数据库，实现了对不同业务场景的数据的针对性存储，且通过将待存储数据存储至OLTP数据库，能够较好地支持即席查询，实现数据的定制化存储与查询。

Description

一种数据存储方法及系统
技术领域
本发明涉及数据存储领域，尤其涉及一种数据存储方法及系统。
背景技术
目前，针对数据仓库存储，通常采用hive的数据仓库进行数据存储，然而，采用上述数据仓库存储数据，技术难度较大，并未针对不同的业务场景进行数据库定制，用户体验感较差，不能较好地支持即席查询，可靠性较低，容易导致数据库系统崩溃。
发明内容
本发明提供一种数据存储方法及系统，以解决现有技术中采用hive的数据仓库进行数据存储，并未针对不同的业务场景进行数据库定制，用户体验感较差，且不能较好地支持即席查询的问题。
本发明提供的数据存储方法，包括：
构建数据仓库，所述数据仓库包括：一个或多个OLTP数据库(联机事务处理，on-line transaction processing)；
建立不同的业务场景与所述OLTP数据库之间的映射关系；
获取待存储数据；
根据所述待存储数据的关联信息和所述映射关系，确定对应的OLTP数据库，所述关联信息至少包括以下之一：业务场景信息、数据存储量和数据类型；
将所述待存储数据存储至对应的所述OLTP数据库，完成数据存储。
可选的，利用Kubernetes集群部署容器化应用服务，所述容器化应用服务包括：用于存储不同业务场景的数据的OLTP数据库；
对多个所述OLTP数据库进行分类，获取数据库类别；
根据所述数据库类别和业务场景存储需求，对所述OLTP数据库设置场景标签；
根据所述场景标签，确定不同的业务场景与所述OLTP数据库的映射关系。
可选的，根据所述待存储数据的业务场景信息和所述映射关系，获取与所述待存储数据的业务场景相匹配的OLTP数据库；
根据所述数据存储量和数据类型，对与所述待存储数据的业务场景相匹配的OLTP数据库进行筛选，确定所述待存储数据对应的OLTP数据库；
将所述待存储数据传输至存储中间件；
利用所述存储中间件，将所述待存储数据同步至对应的所述OLTP数据库，完成数据存储。
可选的，获取与所述待存储数据的业务场景相匹配的OLTP数据库的步骤包括：
根据所述待存储数据的业务场景信息和所述映射关系，判断是否存在与所述待存储数据的业务场景相匹配的OLTP数据库；
若存在与所述待存储数据的业务场景相匹配的OLTP数据库，则建立所述待存储数据与对应的所述OLTP数据库之间的对应关系；
若不存在与所述待存储数据的业务场景相匹配的OLTP数据库，则根据待存储数据的业务场景，获取数据库类型与数据库配置信息；
根据所述数据库类型与所述数据库配置信息，利用Kubernetes集群，创建新的OLTP数据库，并建立所述新的OLTP数据库与待存储数据之间的对应关系。
可选的，根据预先设置的场景分类原则与所述业务场景，对所述OLTP数据库进行场景分类，确定所述OLTP数据库的仓库层级，对所述OLTP数据库进行分层管理；
所述仓库层级包括：用于存储不同业务场景的数据的数据运营层，用于将不同业务场景的数据进行整合与存储的数据仓库层和用于对于不同业务场景的数据进行解析与存储的应用层，多个所述仓库层级之间相互连接；
当用户发出查询指令时，根据所述查询指令，获取对应的仓库层级；
调用对应的仓库层级的数据库查询接口，进行数据库查询，确定对应的OLTP数据库；
利用所述数据库查询接口和所述查询指令，对对应的所述OLPT数据库进行即席查询。
可选的，当所述待存储数据对应的OLTP数据库的存储能力小于预设的存储能力阈值时，则根据所述待存储数据的业务场景和所述映射关系，建立所述待存储数据与其他所述OLTP数据库之间的对应关系；
判断与所述待存储数据相对应的多个OLTP数据库的存储能力是否小于所述存储能力阈值，获取判断结果；
根据所述判断结果，将所述待存储数据存储至存储能力大于或等于存储能力阈值的OLTP数据库。
可选的，接收数据迁移指令；
根据所述数据迁移指令，确定所述OLTP数据库中的迁移数据库与接收数据库；
对所述迁移数据库和所述接收数据库进行鉴权管理，完成所述迁移数据库和所述接收数据库之间的接口调用；
通过所述迁移数据库和所述接收数据库之间的接口，将所述迁移数据库中的数据传输至所述接收数据库，完成数据迁移。
本发明还提供一种数据存储系统，包括：
预处理模块，建立不同的业务场景与OLTP数据库之间的映射关系；
采集模块，用于获取待存储数据；
存储模块，用于根据所述待存储数据的关联信息和所述映射关系，确定对应的OLTP数据库，所述关联信息至少包括以下之一：业务场景信息、数据存储量和数据类型；将所述待存储数据存储至对应的所述OLTP数据库，完成数据存储；所述预处理模块、采集模块和存储模块连接。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述方法。
本发明还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述任一项所述方法。
本发明的有益效果：本发明中的数据存储方法，通过建立业务场景与OLTP数据库之间的映射关系，并根据待存储数据的关联信息和所述映射关系，将待存储数据存储至对应的OLTP数据库，实现了对不同业务场景的数据的针对性存储，便于管理与维护，用户体验感较好，且通过将待存储数据存储至OLTP数据库，能够较好地支持即席查询，实现数据的定制化存储与查询，可靠性较高，可实施性较强。
附图说明
图1是本发明实施例中数据存储方法的流程示意图。
图2是本发明实施例中数据存储方法中的建立映射关系的流程示意图。
图3是本发明实施例中数据存储方法中的确定对应数据库的流程示意图。
图4是本发明实施例中数据存储方法中的数据存储的流程示意图。
图5是本发明实施例中数据存储方法中的分层管理的流程示意图。
图6是本发明实施例中数据存储方法中的即席查询的流程示意图。
图7是本发明实施例中数据存储方法中数据库能力补充的流程示意图。
图8是本发明实施例中数据存储方法中的数据迁移的流程示意图。
图9是本发明实施例中数据存储系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
发明人发现，随着存储技术的发展，用户对数据存储的要求越来越高，目前，针对数据仓库存储，通常采用hive的数据仓库进行数据存储，hive是基于Hadoop的一个数据仓库工具，主要用于处理大数据，然而，采用hive数据仓库存储数据，技术难度较大，并未针对不同的业务场景进行数据库定制，用户体验感较差，不能较好地支持即席查询，可靠性较低，容易导致数据库系统崩溃。因此，发明人提出一种数据存储方法及系统，通过建立业务场景与OLTP数据库之间的映射关系，并根据待存储数据的关联信息和所述映射关系，将待存储数据存储至对应的OLTP数据库，实现了对不同业务场景的数据的针对性存储，便于开发、管理与维护，用户体验感较好，且通过将待存储数据存储至OLTP数据库，能够较好地支持即席查询，实现数据的定制化存储与查询，可靠性较高，可实施性较强，成本较低。
如图1所示，本实施例中的数据存储方法，包括：
S101：构建数据仓库，所述数据仓库包括：一个或多个OLTP数据库；通过构建包括一个多个OLTP数据库的数据仓库，实现对海量数据的存储，无需利用hive数据库，实施难度较低，无需大量的专业人员，人工及时间成本较低，利用OLTP数据库，使得事务应用程序仅写入所需的数据，便可尽快处理单个事务，操作较简单，能够较好地支持即席查询。
S102：建立不同的业务场景与所述OLTP数据库之间的映射关系；通过建立不同的业务场景与多个OLTP数据库之间的映射关系，便于对不同的应用场景的数据进行针对性存储，可以是一个业务场景对应多个OLTP数据库，或者多个业务场景对应一个OLTP数据库，实现业务场景与OLTP数据库之间的映射关系的搭建，实施较方便，具体对应关系可以根据实际情况进行搭建，此处不再赘述。
S103：获取待存储数据；所述待存储数据可以是来自于不同业务场景的数据，如：订单数据和日志数据等。
S104：根据所述待存储数据的关联信息和所述映射关系，确定对应的OLTP数据库，所述关联信息至少包括以下之一：业务场景信息、数据存储量和数据类型；例如：根据待存储数据的业务场景信息，确定所述待存储数据的应用场景，根据所述待存储数据的应用场景和映射关系，获取与所述待存储数据的业务场景相匹配的OLTP数据库，并根据数据存储量和数据类型，从上述OLTP数据库中确定与待存储数据相对应的OLTP数据库，即确定待存储数据与OLTP数据库之间的对应关系，匹配精确度较高。
S105：将所述待存储数据存储至对应的所述OLTP数据库，完成数据存储。通过将待存储数据存储至对应的OLTP数据库，实现了对不同业务场景的数据的针对性存储，针对不同的业务场景的数据，实现数据库定制化，支持即席查询，满足用户的定制化需求，且通过针对性存储，能够有效容灾，防止数据库系统崩溃，降低数据存储风险，便于实施。
请参考图2，为了便于建立数据仓库，建立数据仓库中的多个OLTP数据库与业务场景之间的对应关系，发明人提出：
S201：利用Kubernetes集群部署容器化应用服务，所述容器化应用服务包括：用于存储不同业务场景的数据的OLTP数据库；通过利用Kubernetes集群部署容器化应用服务，能够便于部署多个不同类型的OLTP数据库。所述容器化应用服务可以跨多个服务器主机进行构建，Kubernetes集群可以构建多个容器化应用服务、实现跨集群调度、容器扩展，并长期持续管理这些容器的健康状况，实现对多个OLTP数据库的创建与管理。
S202：对多个所述OLTP数据库进行分类，获取数据库类别；所述数据库类别包括：Mysql、PostgreSQL、Oracle、Mariadb、SQL Sever。通过对多个所述OLTP数据库进行分类，便于后续建立业务场景和OLTP数据库之间的映射关系。
S203：根据所述数据库类别和业务场景存储需求，对所述OLTP数据库设置场景标签；如：当业务场景的存储需求为需要可靠性较高的数据库，则根据所述数据库类别，从多个OLTP数据库中筛选出可靠性较高的数据库，对筛选出的可靠性较高的数据库设置对应的场景标签。
S204：根据所述场景标签，确定不同的业务场景与所述OLTP数据库的映射关系。
请参考图3，为了便于将待存储数据存储至对应的OLTP数据库，提高数据存储的安全性和准确性，发明人提出：
S301：根据所述待存储数据的业务场景信息和所述映射关系，获取与所述待存储数据的业务场景相匹配的OLTP数据库；
S302：根据所述数据存储量和数据类型，对与所述待存储数据的业务场景相匹配的OLTP数据库进行筛选，确定所述待存储数据对应的OLTP数据库；例如：当待存储数据的业务场景信息为订单场景时，则根据所述业务场景信息和所述映射关系，获取与订单场景相匹配的多个OLTP数据库；根据待存储数据的数据存储量，判断上述与订单场景相匹配的多个OLTP数据库是否满足数据存储量需求，获取满足存储量需求的OLTP数据库，进而根据所述数据类型，对满足存储量需求的OLTP数据库进行筛选与匹配，即选择与待存储数据的数据类型相匹配的OLTP数据库，以此确定待存储数据对应的OLTP数据库，精准度较高，能够较好地实现对数据的针对性存储。
S303：将所述待存储数据传输至存储中间件，所述存储中间件至少包括以下之一：Redis、Kafka、Connect和ES；存储中间件可以根据实际情况进行选择，此处不再赘述。
S304：利用所述存储中间件，将所述待存储数据同步至对应的所述OLTP数据库，完成数据存储。通过将待存储数据传输至存储中间件，利用所述存储中间件，将待存储数据同步至对应的OLTP数据库，数据传输较方便，减少数据传输接口的设置，避免数据传输过程中，由于数据库宕机等，导致数据丢失，造成不必要的损失，可实施性较强，安全性较高。
如图4所示，为了提高将所述待存储数据的业务场景和OLTP数据库进行匹配的灵活度，发明人提出，获取与所述待存储数据的业务场景相匹配的OLTP数据库的步骤包括：
S401：根据所述待存储数据的业务场景信息和所述映射关系，判断是否存在与所述待存储数据的业务场景相匹配的OLTP数据库；
S402：若存在与所述待存储数据的业务场景相匹配的OLTP数据库，则建立所述待存储数据与对应的所述OLTP数据库之间的对应关系；
S403：若不存在与所述待存储数据的业务场景相匹配的OLTP数据库，则根据待存储数据的业务场景，获取数据库类型与数据库配置信息；
S404：根据所述数据库类型与所述数据库配置信息，利用Kubernetes集群，创建新的OLTP数据库，并建立所述新的OLTP数据库与待存储数据之间的对应关系。即当数据仓库中存在与待存储数据的业务场景相匹配的OLTP数据库时，则将已有的OLTP数据库与待存储数据建立对应关系，当数据仓库中不存在与待存储数据的业务场景相匹配的OLTP数据库时，则根据待存储数据的业务场景，确定所需的数据库类型与数据库配置信息，根据所述数据库类型和所述数据库配置信息，利用Kubernetes集群，创建新的OLTP数据库，相应的，构建所述新的OLTP数据库与待存储数据的业务场景的映射关系，并建立所述新的OLTP数据库与待存储数据之间的对应关系，灵活程度较高，实现了对数据库的定制化操作。
如图5所示，数据仓库是一个面向主题且随时间变化的多个OLTP数据库的集成仓库，但信息本身相对稳定的数据集合，为了便于对数据仓库中的多个不同类型的OLTP数据库进行管理，发明人提出，对数据仓库中的OLTP数据库进行分层管理，分层管理的步骤包括：
S501：根据预先设置的场景分类原则与所述业务场景，对所述OLTP数据库进行场景分类，确定所述OLTP数据库的仓库层级，对所述OLTP数据库进行分层管理。
所述仓库层级包括：用于存储不同业务场景的数据的数据运营层，用于将不同业务场景的数据进行整合与存储的数据仓库层和用于对于不同业务场景的数据进行解析与存储的应用层，多个所述仓库层级之间相互连接。通过对数据仓库中的多个OLTP数据库进行分层建模管理，便于实现对多个数据库的灵活管理，管理效率较高，实施较方便。
请参考图6，为了实现对数据仓库中的数据进行即席查询，提高数据查询的灵活程度，发明人提出：
S601：当用户发出查询指令时，根据所述查询指令，获取对应的仓库层级；
S602：调用对应的仓库层级的数据库查询接口，进行数据库查询，确定对应的OLTP数据库；所述数据库查询接口可以是jdbc(Java Database Connectivity，Java数据库连接)接口。
S603：利用所述数据库查询接口和所述查询指令，对对应的所述OLPT数据库进行即席查询。通过调用对应仓库层级的数据库查询接口，进行数据库查询，确定对应的OLTP数据库，并利用数据数据库查询接口和所述查询指令，进行即席查询，能够有效地满足用户的定制化查询需求，较好地实现数据的即席查询，提高查询速度。
如图7所示，OLTP数据库的存储级别通常在GB或TB量级，当某一应用场景所对应的OLTP数据库的存储能力不足，不能满足该应用场景的数据存储需求时，可能会存现信息存储失误或数据库宕机等故障，因此，发明人提出：
S701：当所述待存储数据对应的OLTP数据库的存储能力小于预设的存储能力阈值时，则根据所述待存储数据的业务场景和所述映射关系，建立所述待存储数据与其他所述OLTP数据库之间的对应关系；
S702：判断与所述待存储数据相对应的多个OLTP数据库的存储能力是否小于所述存储能力阈值，获取判断结果；
S703：根据所述判断结果，将所述待存储数据存储至存储能力大于或等于存储能力阈值的OLTP数据库。即当待存储数据对应的OLTP数据库的存储能力不足时，则根据待存储数据的业务场景和映射关系，建立所述待存储数据与数据仓库中其他OLTP数据库的对应关系，当进行待存储数据存储时，则判断与之相对应的OLTP数据库的存储能力是否大于或等于存储能力阈值，若所述OLTP数据库的存储能力大于或等于所述存储能力阈值，则将待存储数据存储至该OLTP数据库，实现对OLTP数据库的能力补充，避免由于单个OLTP数据库的存储能力不足，导致数据存储出现失误。同一待存储数据可以分布存储于不同的OLTP数据库中，灵活度较高。
请参考图8，为了较好地响应用户的需求，当用户需要对数据库进行升级或更改时，发明人提出：
S801：接收数据迁移指令；
S802：根据所述数据迁移指令，确定所述OLTP数据库中的迁移数据库与接收数据库；
S803：对所述迁移数据库和所述接收数据库进行鉴权管理，完成所述迁移数据库和所述接收数据库之间的接口调用；
S804：通过所述迁移数据库和所述接收数据库之间的接口，将所述迁移数据库中的数据传输至所述接收数据库，完成数据迁移。例如：当用户想要提高数据库的存储性能时，需要将原有的数据迁移至满足其性能需求的数据库，则当用户发出数据迁移指令时，确定所述OLTP数据库中的迁移数据库和接收数据库，即确定迁移端和接收端，将迁移秘钥同步至所述迁移数据库和所述接收数据库，利用所述迁移秘钥对所述迁移数据库和所述接收数据库之间的接口进行鉴权管理，鉴权管理完成后，完成对迁移数据库和接收数据库之间接口调用，进而利用迁移数据库和接收数据库之间的接口，建立数据迁移通道，通过所述数据迁移通道，将迁移数据库中的数据库传输至接收数据库，完成数据迁移，安全性较高，较好地实现了不同数据库之间的数据迁移，可实施性较强。
实施例一：
由于目前通常采用hive数据仓库存储数据，技术难度较大，并未针对不同的业务场景进行数据库定制，且不能较好地支持即席查询，因此，发明人提出，构建数据仓库，所述数据仓库包括：一个或多个OLTP数据库，建立业务场景与OLTP数据库之间的映射关系，并根据待存储数据的关联信息和所述映射关系，利用存储中间件，将待存储数据存储至对应的OLTP数据库，关联信息至少包括以下之一：业务场景信息、数据存储量和数据类型，实现了对不同业务场景的数据的针对性存储，便于管理与维护，且通过将待存储数据存储至OLTP数据库，能够较好地支持即席查询，实现数据的定制化存储与查询，可靠性较高，可实施性较强，提升用户体验感，例如：针对订单数据或日志数据进行针对性存储等。
实施例二：
当用户需要进行数据库定制时，则利用Kubernetes集群部署容器化应用服务，所述容器化应用服务包括：用于存储不同业务场景的数据的OLTP数据库，完成数据仓库的部署，建立不同的业务场景与所述OLTP数据库之间的映射关系，根据待存储数据的的关联信息和所述映射关系，确定与所述待存储数据对应的OLTP数据库，进而进行数据的针对性存储，能够有效容灾，避免数据库崩溃，可实施性较强，稳定性较高，成本较低。
如图9所示，本实施例还提供一种数据存储系统，包括：
预处理模块，建立不同的业务场景与OLTP数据库之间的映射关系；
采集模块，用于获取待存储数据；
存储模块，用于根据所述待存储数据的关联信息和所述映射关系，确定对应的OLTP数据库，所述关联信息至少包括以下之一：业务场景信息、数据存储量和数据类型；将所述待存储数据存储至对应的所述OLTP数据库，完成数据存储，所述预处理模块、采集模块和存储模块连接。通过建立业务场景与OLTP数据库之间的映射关系，并根据待存储数据的关联信息和所述映射关系，将待存储数据存储至对应的OLTP数据库，实现了对不同业务场景的数据的针对性存储，便于管理与维护，用户体验感较好，且通过将待存储数据存储至OLTP数据库，能够较好地支持即席查询，实现数据的定制化存储与查询，可靠性较高，可实施性较强。
在一些实施例中，所述预处理模块利用Kubernetes集群部署容器化应用服务，所述容器化应用服务包括：用于存储不同业务场景的数据的OLTP数据库；
对多个所述OLTP数据库进行分类，获取数据库类别；
根据所述数据库类别和业务场景存储需求，对所述OLTP数据库设置场景标签；
根据所述场景标签，确定不同的业务场景与所述OLTP数据库的映射关系。
在一些实施例中，所述存储模块根据所述待存储数据的业务场景信息和所述映射关系，获取与所述待存储数据的业务场景相匹配的OLTP数据库；
根据所述数据存储量和数据类型，对与所述待存储数据的业务场景相匹配的OLTP数据库进行筛选，确定所述待存储数据对应的OLTP数据库；
将所述待存储数据传输至存储中间件，所述存储中间件至少包括以下之一：Redis、Kafka、Connect和ES；
利用所述存储中间件，将所述待存储数据同步至对应的所述OLTP数据库，完成数据存储。
在一些实施例中，获取与所述待存储数据的业务场景相匹配的OLTP数据库的步骤包括：
根据所述待存储数据的业务场景信息和所述映射关系，判断是否存在与所述待存储数据的业务场景相匹配的OLTP数据库；
若存在与所述待存储数据的业务场景相匹配的OLTP数据库，则建立所述待存储数据与对应的所述OLTP数据库之间的对应关系；
若不存在与所述待存储数据的业务场景相匹配的OLTP数据库，则根据待存储数据的业务场景，获取数据库类型与数据库配置信息；
根据所述数据库类型与所述数据库配置信息，利用Kubernetes集群，创建新的OLTP数据库，并建立所述新的OLTP数据库与待存储数据之间的对应关系。
在一些实施例中，还包括：管理模块，用于根据预先设置的场景分类原则与所述业务场景，对所述OLTP数据库进行场景分类，确定所述OLTP数据库的仓库层级，对所述OLTP数据库进行分层管理；
所述仓库层级包括：用于存储不同业务场景的数据的数据运营层，用于将不同业务场景的数据进行整合与存储的数据仓库层和用于对于不同业务场景的数据进行解析与存储的应用层，多个所述仓库层级之间相互连接；
当用户发出查询指令时，根据所述查询指令，获取对应的仓库层级；
调用对应的仓库层级的数据库查询接口，进行数据库查询，确定对应的OLTP数据库；
利用所述数据库查询接口和所述查询指令，对对应的所述OLPT数据库进行即席查询。
在一些实施例中，所述存储模块当所述待存储数据对应的OLTP数据库的存储能力小于预设的存储能力阈值时，则根据所述待存储数据的业务场景和所述映射关系，建立所述待存储数据与其他所述OLTP数据库之间的对应关系；
判断与所述待存储数据相对应的多个OLTP数据库的存储能力是否小于所述存储能力阈值，获取判断结果；
根据所述判断结果，将所述待存储数据存储至存储能力大于或等于存储能力阈值的OLTP数据库。
在一些实施例中，所述管理模块接收数据迁移指令；
根据所述数据迁移指令，确定所述OLTP数据库中的迁移数据库与接收数据库；
对所述迁移数据库和所述接收数据库进行鉴权管理，完成所述迁移数据库和所述接收数据库之间的接口调用；
通过所述迁移数据库和所述接收数据库之间的接口，将所述迁移数据库中的数据传输至所述接收数据库，完成数据迁移。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种数据存储方法，其特征在于，包括：
构建数据仓库，所述数据仓库包括：一个或多个OLTP数据库；
建立不同的业务场景与所述OLTP数据库之间的映射关系；
获取待存储数据；
根据所述待存储数据的关联信息和所述映射关系，确定对应的OLTP数据库，所述关联信息至少包括以下之一：业务场景信息、数据存储量和数据类型；
将所述待存储数据存储至对应的所述OLTP数据库，完成数据存储。
2.根据权利要求1所述的数据存储方法，其特征在于，
利用Kubernetes集群部署容器化应用服务，所述容器化应用服务包括：用于存储不同业务场景的数据的OLTP数据库；
对多个所述OLTP数据库进行分类，获取数据库类别；
根据所述数据库类别和业务场景存储需求，对所述OLTP数据库设置场景标签；
根据所述场景标签，确定不同的业务场景与所述OLTP数据库的映射关系。
3.根据权利要求1所述的数据存储方法，其特征在于，
根据所述待存储数据的业务场景信息和所述映射关系，获取与所述待存储数据的业务场景相匹配的OLTP数据库；
根据所述数据存储量和数据类型，对与所述待存储数据的业务场景相匹配的OLTP数据库进行筛选，确定所述待存储数据对应的OLTP数据库；
将所述待存储数据传输至存储中间件；
利用所述存储中间件，将所述待存储数据同步至对应的所述OLTP数据库，完成数据存储。
4.根据权利要求1所述的数据存储方法，其特征在于，获取与所述待存储数据的业务场景相匹配的OLTP数据库的步骤包括：
根据所述待存储数据的业务场景信息和所述映射关系，判断是否存在与所述待存储数据的业务场景相匹配的OLTP数据库；
若存在与所述待存储数据的业务场景相匹配的OLTP数据库，则建立所述待存储数据与对应的所述OLTP数据库之间的对应关系；
若不存在与所述待存储数据的业务场景相匹配的OLTP数据库，则根据待存储数据的业务场景，获取数据库类型与数据库配置信息；
根据所述数据库类型与所述数据库配置信息，利用Kubernetes集群，创建新的OLTP数据库，并建立所述新的OLTP数据库与待存储数据之间的对应关系。
5.根据权利要求1所述的数据存储方法，其特征在于，
根据预先设置的场景分类原则与所述业务场景，对所述OLTP数据库进行场景分类，确定所述OLTP数据库的仓库层级，对所述OLTP数据库进行分层管理；
所述仓库层级包括：用于存储不同业务场景的数据的数据运营层，用于将不同业务场景的数据进行整合与存储的数据仓库层和用于对于不同业务场景的数据进行解析与存储的应用层，多个所述仓库层级之间相互连接；
当用户发出查询指令时，根据所述查询指令，获取对应的仓库层级；
调用对应的仓库层级的数据库查询接口，进行数据库查询，确定对应的OLTP数据库；
利用所述数据库查询接口和所述查询指令，对对应的所述OLPT数据库进行即席查询。
6.根据权利要求1所述的数据存储方法，其特征在于，
当所述待存储数据对应的OLTP数据库的存储能力小于预设的存储能力阈值时，则根据所述待存储数据的业务场景和所述映射关系，建立所述待存储数据与其他所述OLTP数据库之间的对应关系；
判断与所述待存储数据相对应的多个OLTP数据库的存储能力是否小于所述存储能力阈值，获取判断结果；
根据所述判断结果，将所述待存储数据存储至存储能力大于或等于存储能力阈值的OLTP数据库。
7.根据权利要求1所述的数据存储方法，其特征在于，
接收数据迁移指令；
根据所述数据迁移指令，确定所述OLTP数据库中的迁移数据库与接收数据库；
对所述迁移数据库和所述接收数据库进行鉴权管理，完成所述迁移数据库和所述接收数据库之间的接口调用；
通过所述迁移数据库和所述接收数据库之间的接口，将所述迁移数据库中的数据传输至所述接收数据库，完成数据迁移。
8.一种数据存储系统，其特征在于，包括：
预处理模块，建立不同的业务场景与OLTP数据库之间的映射关系；
采集模块，用于获取待存储数据；
存储模块，用于根据所述待存储数据的关联信息和所述映射关系，确定对应的OLTP数据库，所述关联信息至少包括以下之一：业务场景信息、数据存储量和数据类型；将所述待存储数据存储至对应的所述OLTP数据库，完成数据存储；所述预处理模块、采集模块和存储模块连接。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至7中任一项所述方法。
CN202110796219.7A 2021-07-14 2021-07-14 一种数据存储方法及系统 Active CN113468182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110796219.7A CN113468182B (zh) 2021-07-14 2021-07-14 一种数据存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110796219.7A CN113468182B (zh) 2021-07-14 2021-07-14 一种数据存储方法及系统

Publications (2)

Publication Number Publication Date
CN113468182A true CN113468182A (zh) 2021-10-01
CN113468182B CN113468182B (zh) 2022-09-20

Family

ID=77878468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110796219.7A Active CN113468182B (zh) 2021-07-14 2021-07-14 一种数据存储方法及系统

Country Status (1)

Country Link
CN (1) CN113468182B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741357A (zh) * 2022-06-13 2022-07-12 广东电网有限责任公司 一种数据迁移方法、系统、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2700074A1 (en) * 2007-09-21 2009-03-26 Alexander Zeier Etl-less zero-redundancy system and method for reporting oltp data
CN102906743A (zh) * 2010-05-17 2013-01-30 慕尼黑技术大学 混合oltp和olap高性能数据库系统
CN103678665A (zh) * 2013-12-24 2014-03-26 焦点科技股份有限公司 一种基于数据仓库的异构大数据整合方法和系统
CN104252506A (zh) * 2013-06-28 2014-12-31 易保网络技术(上海)有限公司 同步构建业务模型和数据仓库模型及其映射的方法及系统
CN104574001A (zh) * 2015-02-09 2015-04-29 国家电网公司 一种基于oltp联机事务处理的缴费管理方法
CN109542611A (zh) * 2017-09-21 2019-03-29 中国移动通信集团重庆有限公司 数据库即服务系统、数据库调度方法、设备及存储介质
CN110442627A (zh) * 2019-07-05 2019-11-12 威讯柏睿数据科技(北京)有限公司 一种内存数据库系统和数据仓库系统之间的数据传输方法及系统
US10649979B1 (en) * 2017-12-07 2020-05-12 Amdocs Development Limited System, method, and computer program for maintaining consistency between a NoSQL database and non-transactional content associated with one or more files
CN112434015A (zh) * 2020-12-08 2021-03-02 新华三大数据技术有限公司 数据存储的方法、装置、电子设备及介质
CN112860659A (zh) * 2021-01-18 2021-05-28 北京奇艺世纪科技有限公司 数据仓库的构建方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2700074A1 (en) * 2007-09-21 2009-03-26 Alexander Zeier Etl-less zero-redundancy system and method for reporting oltp data
CN102906743A (zh) * 2010-05-17 2013-01-30 慕尼黑技术大学 混合oltp和olap高性能数据库系统
CN104252506A (zh) * 2013-06-28 2014-12-31 易保网络技术(上海)有限公司 同步构建业务模型和数据仓库模型及其映射的方法及系统
CN103678665A (zh) * 2013-12-24 2014-03-26 焦点科技股份有限公司 一种基于数据仓库的异构大数据整合方法和系统
CN104574001A (zh) * 2015-02-09 2015-04-29 国家电网公司 一种基于oltp联机事务处理的缴费管理方法
CN109542611A (zh) * 2017-09-21 2019-03-29 中国移动通信集团重庆有限公司 数据库即服务系统、数据库调度方法、设备及存储介质
US10649979B1 (en) * 2017-12-07 2020-05-12 Amdocs Development Limited System, method, and computer program for maintaining consistency between a NoSQL database and non-transactional content associated with one or more files
CN110442627A (zh) * 2019-07-05 2019-11-12 威讯柏睿数据科技(北京)有限公司 一种内存数据库系统和数据仓库系统之间的数据传输方法及系统
CN112434015A (zh) * 2020-12-08 2021-03-02 新华三大数据技术有限公司 数据存储的方法、装置、电子设备及介质
CN112860659A (zh) * 2021-01-18 2021-05-28 北京奇艺世纪科技有限公司 数据仓库的构建方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHU-SHENG GUO 等: "A new ETL approach based on data virtualization", 《JOURNAL OF COMPUTER SCIENCE AND TECHNOLOGY》 *
严丽云 等: "基于Kubernetes的容器化数据库及其集群方案", 《电信科学》 *
钟红霞: "分布式列式内存数据库存储引擎", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741357A (zh) * 2022-06-13 2022-07-12 广东电网有限责任公司 一种数据迁移方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN113468182B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN111767143B (zh) 交易数据处理方法、装置、设备及系统
CN107391629B (zh) 集群间数据迁移方法、系统、服务器及计算机存储介质
EP2948875B1 (en) Method and system for using a recursive event listener on a node in hierarchical data structure
CN104537076A (zh) 一种文件读写方法及装置
CN107430603A (zh) 大规模并行处理数据库的系统和方法
CN103473696A (zh) 一种收集、分析和分发网络商业信息的方法和系统
CN105302920A (zh) 一种云存储数据的优化管理方法和系统
CN112364049B (zh) 数据同步脚本生成方法、系统、终端及存储介质
CN113468182B (zh) 一种数据存储方法及系统
CN113885959B (zh) 基于接口配置的数据处理方法、装置、设备及介质
CN114489690A (zh) 一种分布式系统部署方法、装置、电子设备及存储介质
US20180060974A1 (en) Social networking relationships processing method, system, and storage medium
CN113434190B (zh) 数据处理方法和装置、存储介质及电子设备
CN104111768A (zh) 可交互窗口及自定义、引用、同步可交互窗口的方法和系统
US20210141791A1 (en) Method and system for generating a hybrid data model
CN113934510A (zh) 镜像处理方法、装置、电子设备及计算机可读存储介质
CN111371606A (zh) 一种使用rook部署ceph集群时指定monitor ip的方法
CN112148461A (zh) 应用的调度方法、装置
CN112749236A (zh) 数据仓库的数据维护方法
CN112988738A (zh) 用于区块链的数据分片方法和装置
CN116954870B (zh) 跨集群应用的迁移方法、恢复方法、装置及集群系统
US20160350328A1 (en) Method and system for unified technological stack management for relational databases
CN118092982B (zh) 一种云原生应用的多集群运维方法、设备及介质
CN114666348B (zh) 一种基于python语言快速构建分布式系统的方法
US20240202207A1 (en) Distributed function data transformation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant