CN109408518A - 一种数据存储的方法及装置 - Google Patents
一种数据存储的方法及装置 Download PDFInfo
- Publication number
- CN109408518A CN109408518A CN201811319988.2A CN201811319988A CN109408518A CN 109408518 A CN109408518 A CN 109408518A CN 201811319988 A CN201811319988 A CN 201811319988A CN 109408518 A CN109408518 A CN 109408518A
- Authority
- CN
- China
- Prior art keywords
- data
- stored
- type
- data type
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据存储的方法，包括：路由节点接收到存储数据的请求后，确定待存储数据的数据类型；根据数据类型选择对应的数据库集群进行存储。还公开一种数据存储的装置。本方案基于不同类型所具有的数据特征的不同，根据数据类型对数据进行区分存储，可以提高对各种数据类型的存取效率。
Description
技术领域
本发明涉及云数据存储技术领域，尤指一种数据存储的方法及装置。
背景技术
当前，随着云计算和大数据技术的不断发展，各种结构化数据(可以用二维表结构来逻辑表达实现的数据，如员工信息表、工资条等)和各种图片、文件、音频、视频等非结构化数据量越来越大，如何对各种类型的数据进行高效的存储成为我们面临的一个重要课题。
现有的存储方式及存储系统已经无法满足日益增长的数据量的要求，无法针对结构化数据和非结构化数据进行高效的存取，数据存取整体效率低下。
发明内容
为了解决上述技术问题，本发明提供了一种数据存储的方法及装置，提高云数据中心存储资源的管理效率。
为了达到本发明目的，本发明提供了一种数据存储的方法，其中，包括：
路由节点接收到存储数据的请求后，确定待存储数据的数据类型；
根据数据类型选择对应的数据库集群进行存储。
进一步地，所述确定待存储数据的数据类型后，还包括：
根据数据类型对所述待存储数据进行标志。
进一步地，所述根据数据类型选择对应的数据库集群进行存储，还包括：
根据数据对象大小和数据库集群资源负载值情况确定一数据存储节点进行存储。
进一步地，还包括：
所述路由节点如出现故障，则将业务切换到备用节点。
进一步地，所述数据类型包括：结构化数据和非结构化数据。
进一步地，所述数据库集群包括：MySQL数据库集群和MongoDB数据库集群。
一种数据存储的装置，包括：存储器和处理器；其中：
所述存储器，用于保存用于数据存储的程序；
所述处理器，用于读取执行所述用于数据存储的程序，执行如下操作：
接收到存储数据的请求后，确定待存储数据的数据类型；
根据数据类型选择对应的数据库集群进行存储。
进一步地，所述确定待存储数据的数据类型后，还包括：
根据数据类型对所述待存储数据进行标志。
进一步地，所述根据数据类型选择对应的数据库集群进行存储，还包括：
根据数据对象大小和数据库集群资源负载值情况确定一数据存储节点进行存储。
进一步地，还包括：
所述路由节点如出现故障，则将业务切换到备用节点。
本发明实施例的方法在数据存取时，通过判断存储对象数据类型是结构化数据还是非结构化数据，根据数据类型和数据存取路由节点进行存储集群选择，分别选取对应的MySql数据库集群或MongoDB数据库集群进行数据的具体存取，从而实现对各种数据类型的高效存储和检索。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例的一种数据存储的方法的流程图；
图2为实现本发明实施例的数据存储的方法的系统的示意图；
图3为本发明实施例的一种数据存储的装置的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例的一种数据存储的方法的流程图，如图1所示，本实施例的方法可以包括：
步骤101、路由节点接收到存储数据的请求后，确定待存储数据的数据类型；
步骤102、根据数据类型选择对应的数据库集群进行存储。
本发明实施例的方法基于不同类型所具有的数据特征的不同，根据数据类型对数据进行区分存储，可以提高对各种数据类型的存取效率。
本发明实施例的方法在数据存取时，通过判断存储对象数据类型是结构化数据还是非结构化数据，根据数据类型和数据存取路由节点进行存储集群选择，分别选取对应的MySql数据库集群或MongoDB数据库集群进行数据的具体存取，从而实现对各种数据类型的高效存储和检索。
图2为实现本发明实施例的数据存储的方法的系统的示意图，如图2所示，包括：
数据类型判断节点，即在数据存取时首先判断用户所请求的存取数据对象的类型：结构化数据类型和非结构化数据类型，并进行相应的标志；
数据存取路由节点，根据请求数据的数据类型、数据对象大小、数据库集群资源负载值情况综合确定具体的数据存储节点；比如针对结构化数据，选择MySql数据库集群中负载值较小、且满足该次存储要求(数据存取后不会影响节点的正常运行)的MySql节点；针对非结构化数据，则根据情况选择满足要求的MongoDB节点；
数据存取路由双活节点，与路由节点组成双活模式；当路由节点出现故障影响整体功能时，该双活节点会主动将业务切换至其上运行，实现与路由节点同样的数据存取路由检索功能；
MySQL数据库集群，具体实现对结构化数据的存储、检索功能，并保证集群整体功能的稳定；
MongoDB数据库集群，具体实现对非结构化数据的存储、检索功能，并保证集群整体功能的稳定。
图3为本发明实施例的一种数据存储的装置的示意图，如图3所示，本实施例的装置包括：存储器和处理器，其中：
所述存储器，用于保存用于数据存储的程序；
所述处理器，用于读取执行所述用于数据存储的程序，执行如下操作：
接收到存储数据的请求后，确定待存储数据的数据类型；
根据数据类型选择对应的数据库集群进行存储。
可选地，所述确定待存储数据的数据类型后，还可以包括：
根据数据类型对所述待存储数据进行标志。
可选地，所述根据数据类型选择对应的数据库集群进行存储，还包括：
根据数据对象大小和数据库集群资源负载值情况确定一数据存储节点进行存储。
可选地，还可以包括：
所述路由节点如出现故障，则将业务切换到备用节点。
本实施例的装置通过对存储对象数据类型的判断，将结构化数据和非结构化数据分别选择最优化的数据库集群进行存取，提高了对各种数据类型数据的读写效率。
本发明实施例还提供了一种计算机可读存储介质，其存储有计算机可执行指令，所述计算机可执行指令被执行时实现所述数据存储的方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (10)
1.一种数据存储的方法，其特征在于，包括：
路由节点接收到存储数据的请求后，确定待存储数据的数据类型；
根据数据类型选择对应的数据库集群进行存储。
2.根据权利要求1所述的方法，其特征在于，所述确定待存储数据的数据类型后，还包括：
根据数据类型对所述待存储数据进行标志。
3.根据权利要求1所述的方法，其特征在于，所述根据数据类型选择对应的数据库集群进行存储，还包括：
根据数据对象大小和数据库集群资源负载值情况确定一数据存储节点进行存储。
4.根据权利要求1所述的方法，其特征在于，还包括：
所述路由节点如出现故障，则将业务切换到备用节点。
5.根据权利要求1所述的方法，其特征在于，
所述数据类型包括：结构化数据和非结构化数据。
6.根据权利要求1所述的方法，其特征在于，
所述数据库集群包括：MySQL数据库集群和MongoDB数据库集群。
7.一种数据存储的装置，包括：存储器和处理器；其特征在于：
所述存储器，用于保存用于数据存储的程序；
所述处理器，用于读取执行所述用于数据存储的程序，执行如下操作：
接收到存储数据的请求后，确定待存储数据的数据类型；
根据数据类型选择对应的数据库集群进行存储。
8.根据权利要求7所述的装置，其特征在于，所述确定待存储数据的数据类型后，还包括：
根据数据类型对所述待存储数据进行标志。
9.根据权利要求7所述的装置，其特征在于，所述根据数据类型选择对应的数据库集群进行存储，还包括：
根据数据对象大小和数据库集群资源负载值情况确定一数据存储节点进行存储。
10.根据权利要求7所述的装置，其特征在于，还包括：
所述路由节点如出现故障，则将业务切换到备用节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811319988.2A CN109408518A (zh) | 2018-11-07 | 2018-11-07 | 一种数据存储的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811319988.2A CN109408518A (zh) | 2018-11-07 | 2018-11-07 | 一种数据存储的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109408518A true CN109408518A (zh) | 2019-03-01 |
Family
ID=65472377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811319988.2A Pending CN109408518A (zh) | 2018-11-07 | 2018-11-07 | 一种数据存储的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109408518A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021056338A1 (zh) * | 2019-09-26 | 2021-04-01 | 西门子股份公司 | 用于向应用程序提供云数据的方法及装置 |
| CN114968100A (zh) * | 2022-05-19 | 2022-08-30 | 威海海洋职业学院 | 一种基于云计算的用户数据稳定储存设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104765840A (zh) * | 2015-04-16 | 2015-07-08 | 成都睿峰科技有限公司 | 一种大数据分布式存储的方法和装置 |
| CN104794190A (zh) * | 2015-04-16 | 2015-07-22 | 成都睿峰科技有限公司 | 一种大数据有效存储的方法和装置 |
| CN107172192A (zh) * | 2017-06-19 | 2017-09-15 | 西安工程大学 | 基于混合存储的SaaS网络管理系统数据管理框架 |
| KR20180047722A (ko) * | 2016-11-01 | 2018-05-10 | 광운대학교 산학협력단 | 컬럼 수준 비정규화를 이용한 데이터 마이그레이션 장치 및 방법 |
-
2018
- 2018-11-07 CN CN201811319988.2A patent/CN109408518A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104765840A (zh) * | 2015-04-16 | 2015-07-08 | 成都睿峰科技有限公司 | 一种大数据分布式存储的方法和装置 |
| CN104794190A (zh) * | 2015-04-16 | 2015-07-22 | 成都睿峰科技有限公司 | 一种大数据有效存储的方法和装置 |
| KR20180047722A (ko) * | 2016-11-01 | 2018-05-10 | 광운대학교 산학협력단 | 컬럼 수준 비정규화를 이용한 데이터 마이그레이션 장치 및 방법 |
| CN107172192A (zh) * | 2017-06-19 | 2017-09-15 | 西安工程大学 | 基于混合存储的SaaS网络管理系统数据管理框架 |
Non-Patent Citations (1)
| Title |
|---|
| 王庆喜 等: "《云计算导论》", 28 February 2018 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021056338A1 (zh) * | 2019-09-26 | 2021-04-01 | 西门子股份公司 | 用于向应用程序提供云数据的方法及装置 |
| CN114968100A (zh) * | 2022-05-19 | 2022-08-30 | 威海海洋职业学院 | 一种基于云计算的用户数据稳定储存设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3158480B1 (en) | Data query method and apparatus | |
| US9628438B2 (en) | Consistent ring namespaces facilitating data storage and organization in network infrastructures | |
| KR101700667B1 (ko) | 스토리지 네트워크 데이터 할당 | |
| US9569457B2 (en) | Data processing method and apparatus for distributed systems | |
| US11296940B2 (en) | Centralized configuration data in a distributed file system | |
| US10574752B2 (en) | Distributed data storage method, apparatus, and system | |
| CN104111804A (zh) | 一种分布式文件系统 | |
| CN109614404B (zh) | 一种数据缓存系统及方法 | |
| US20240061712A1 (en) | Method, apparatus, and system for creating training task on ai training platform, and medium | |
| CN104142953B (zh) | 元数据动态管理方法及系统 | |
| CN109408518A (zh) | 一种数据存储的方法及装置 | |
| WO2020093714A1 (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
| CN106897338A (zh) | 一种针对数据库的数据修改请求处理方法及装置 | |
| US8954688B2 (en) | Handling storage pages in a database system | |
| US8595430B2 (en) | Managing a virtual tape library domain and providing ownership of scratch erased volumes to VTL nodes | |
| CN110019644A (zh) | 对话实现中的搜索方法、装置和计算机可读存储介质 | |
| US10031777B2 (en) | Method and system for scheduling virtual machines in integrated virtual machine clusters | |
| CN109460426A (zh) | 一种基于MongoDB的分级存储的系统及方法、路由节点 | |
| CN112597151A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN110110034A (zh) | 一种基于图的rdf数据管理方法、装置及存储介质 | |
| CN107491264A (zh) | 一种分布式系统中的数据写入方法及装置 | |
| CN109992447A (zh) | 数据复制方法、装置及存储介质 | |
| CN111399753B (zh) | 写入图片的方法和装置 | |
| CN113626650A (zh) | 业务处理方法、装置和电子设备 | |
| CN109344043A (zh) | 一种性能分析方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190301 |