CN108304471A - 一种数据异构存储方法以及数据异构存储装置 - Google Patents

一种数据异构存储方法以及数据异构存储装置 Download PDF

Info

Publication number
CN108304471A
CN108304471A CN201711455543.2A CN201711455543A CN108304471A CN 108304471 A CN108304471 A CN 108304471A CN 201711455543 A CN201711455543 A CN 201711455543A CN 108304471 A CN108304471 A CN 108304471A
Authority
CN
China
Prior art keywords
data storage
storage
data
heterogeneous
heterogeneous data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711455543.2A
Other languages
English (en)
Inventor
何东杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201711455543.2A priority Critical patent/CN108304471A/zh
Publication of CN108304471A publication Critical patent/CN108304471A/zh
Priority to PCT/CN2018/115155 priority patent/WO2019128497A1/zh
Priority to TW107141246A priority patent/TW201931121A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据异构存储方法及其装置。该数据异构存储方法用于对具备多个副本的数据进行存储，其特征在于，具备下述步骤：定义步骤，对于每一个副本的数据定义所采用的数据存储形式；以及转换存储步骤，将多个副本的数据分别转换成所述定义步骤定义的数据存储形式并进行存储。根据本发明的数据异构存储方法以及数据异构存储装置能够在保证数据高可用性的情况下，满足不同应用场景下能够处理数据的需求。

Description

一种数据异构存储方法以及数据异构存储装置
技术领域
本发明涉及数据处理技术，具体涉及一种数据异构存储方法以及数据异构存储装置。
背景技术
在数据异构存储中，现有技术中一般仅采用多副本形式，并且每个副本是完全一样的形式。若哪一个副本出现问题，就采用其他副本作为备份。同时，为应对不同的数据应用场景，现有技术一般会采用不同的数存储形式，以提高数据处理的效率。因此，对于多个不同的应用场景，会存在多份多副本的数据。
虽然，现有技术能够实现数据的高可用性，但是存储空间利用率还有待提升。
发明内容
鉴于所述问题，本发明旨在提出一种进一步数据异构存储方法以及数据异构存储装置。
本发明的数据异构存储方法，该方法用于对具备多个副本的数据进行存储，其特征在于，具备下述步骤：
定义步骤，对于每一个副本的数据定义所采用的数据存储形式；以及
转换存储步骤，将多个副本的数据分别转换成所述定义步骤定义的数据存储形式并进行存储。
优选地，在所述定义步骤中，作为所述存储形式有：行式存储形式、列式存储形式、行列混合存储形式、压缩存储形式、键值对等存储形式、以及用户自定义存储形式。
优选地，在所述定义步骤中，对于所定义的数据存储形式，设置存储形式标识。
优选地，在所述转换存储步骤中，在不同的数据存储形式的副本之间能够互相进行数据转换。
优选地，本发明的数据异构存储方法进一步具备：
关联关系存储步骤，存储所述数据存储形式与副本的关联关系。
本发明的数据异构存储装置，该装置用于对具备多个副本的数据进行存储，其特征在于，具备：
定义模块，用于对于每一个副本的数据定义所采用的数据存储形式；以及
转换存储模块，用于将多个副本的数据分别转换成所述定义步骤模块所定义的数据存储形式并进行存储。
优选地，在所述定义模块中，作为所述存储形式有：行式存储形式、列式存储形式、行列混合存储形式、压缩存储形式、键值对等存储形式、以及用户自定义存储形式。
优选地，所述定义模块对于所定义的数据存储形式设置存储形式标识。
优选地，所述转换存储模块能够在不同的数据存储形式的副本之间互相进行数据转换。
优选地，本发明的数据异构存储装置，其特征在于，进一步具备：
关联关系存储模块，用于存储所述数据存储形式与副本的关联关系。
本发明的计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述的数据异构存储方法。
本发明的计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的数据异构存储方法的步骤。
如上所述，根据本发明的数据异构存储方法以及数据异构存储装置，提出了一种多副本数据的异构形式存储的方案，使得在保证数据高可用性的情况下，也能够满足不同应用场景下能够处理数据的需求，能够提高数据存储的效率。而且，由于多副本数据的异构存储可结合实际需求进行配置，因此能够进行灵活配置，适用面广泛。
附图说明
图1是表示本发明的数据异构存储方法的流程图。
图2是表示本发明的数据异构存储装置的结构示意图。
具体实施方式
下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
本发明的数据异构存储方法的技术构思是，对于分布式存储系统的多副本数据，根据应用需求对每一个副本数据的存储形式进行处理和存储，而且不同副本之间提供相应的数据转换功能，以实现在磁盘或者数据出现故障后，能够从其他副本进行快速恢复。对于应用来说，不同副本设置有不同的标识，结合应用特性，访问对应的高效数据存储形式。
比如说，在大数据场景下，我们既需要进行数据的快速查询又需要能够进行快速分析，数据行式存储能够提供快速查询，而数据列式存储能够提供快速分析。显然，如果有两个副本数据，则一个使用行式存储，另一个使用列式存储。对于数据备份的场景，则可以选择更加高效的压缩存储形式，使得存储空间利用率进一步提升。因此，如果有三个副本数据的话，可以使得一个副本采用行式存储形式、一个副本采用列式存储方式、再一个使用压缩存储形式。
接着，对于本发明的数据异构存储方法进行说明。
图1是表示本发明的数据异构存储方法的流程图。
如图1所示，本发明的数据异构存储方法包括下述步骤：
定义步骤S100：对于每一个副本的数据定义所采用的数据存储形式；以及
转换存储步骤S200：将多个副本的数据分别转换成所述定义步骤定义的数据存储形式并进行存储。
其中，在所述定义步骤中，作为所述存储形式有：行式存储形式、列式存储形式、压缩存储形式、键值对等存储形式、以及用户自定义存储形式等等，而且，对于所定义的数据存储形式，设置存储形式标识。
另一方面，在所述转换存储步骤中，在不同的数据存储形式的副本之间能够互相进行数据转换。
作为优选地方式，本发明的数据异构存储方进一步还能够具备：关联关系存储步骤S300，在该步骤中存储所述数据存储形式与副本的关联关系。
接着，对于本发明的数据异构存储装置进行简单说明。
图2是表示本发明的数据异构存储装置的结构示意图。
如图2所示，本发明的数据异构存储装置具备：
定义模块100，用于对于每一个副本的数据定义所采用的数据存储形式；以及
转换存储模块200，用于将多个副本的数据分别转换成所述定义步骤模块所定义的数据存储形式并进行存储。
具体地，在所述定义模块中，作为所述存储形式有：行式存储形式、列式存储形式、压缩存储形式、键值对等存储形式、以及用户自定义存储形式等等，而且，所述定义模块对于所定义的数据存储形式设置存储形式标识。
另一方面，转换存储模块200能够在不同的数据存储形式的副本之间互相进行数据转换。
作为优选的方式，本发明的数据异构存储装置进一步具备：用于存储所述数据存储形式与副本的关联关系的关联关系存储模块300。
接着，对于本发明的数据异构存储方法以及数据异构存储装置的具体实施方式进行说明。
本实施方式的数据异构存储方法包括以下步骤：
（1）数据写入过程中，根据应用需求特性，定义每个副本的形式，副本之间可以相同，也可以不同；
（2）数据在写入时，通过数据转换功能，将数据的其他副本同时生成，并同时写入将数据进行存储，从而形成多副本的存储；比如说将数据存储为行式、列式、高效压缩、键值对等方式；
（3）在元数据中记录不同数据存储形式以及存储的位置；
（4）应用系统在访问数据时候，指定访问的数据副本，以达到较高的数据处理效率；存储系统也可以根据应用系统的数据访问需求，自动化识别最优的数据副本，使得应用系统不用指定访问的数据副本，屏蔽数据底层存储。
例如，现有技术中，不同的业务场景都分别对应多个副本，例如A业务场景对应副本A1 A2 A3，B业务场景对应副本B1 B2 B3，C业务场景对应副本C1 C2 C3。与此相对，利用本实施方式的数据异构存储方法，则是数据在进行存储时，就根据不同的业务场景备份不同的副本，这样在有A B C三个业务场景下，对应的备份副本就是A1 B1 C1，A1 B1 C1之间互相备份，节省了存储空间，提升了存储效率。
本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的数据异构存储方法的步骤。
如上所述，根据本发明的数据异构存储方法以及数据异构存储装置能够提出一种多副本数据的异构形式存储的方案，使得在保证数据高可用性的情况下，也能够满足不同应用场景下能够处理数据的需求。
以上例子主要说明了本发明的数据异构存储方法以及数据异构存储装置。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (12)

1.一种数据异构存储方法，该方法用于对具备多个副本的数据进行存储，其特征在于，具备下述步骤：
定义步骤，对于每一个副本的数据定义所采用的数据存储形式；以及
转换存储步骤，将多个副本的数据分别转换成所述定义步骤定义的数据存储形式并进行存储。
2.如权利要求1所述的数据异构存储方法，其特征在于，
在所述定义步骤中，作为所述存储形式有：行式存储形式、列式存储形式、行列混合存储形式、压缩存储形式、键值对等存储形式、以及用户自定义存储形式。
3.如权利要求1所述的数据异构存储方法，其特征在于，
在所述定义步骤中，对于所定义的数据存储形式，设置存储形式标识。
4.如权利要求1所述的数据异构存储方法，其特征在于，
在所述转换存储步骤中，在不同的数据存储形式的副本之间能够互相进行数据转换。
5.如权利要求1~4任意一项所述的数据异构存储方法，其特征在于，进一步具备：
关联关系存储步骤，存储所述数据存储形式与副本的关联关系。
6.一种数据异构存储装置，该装置用于对具备多个副本的数据进行存储，其特征在于，具备：
定义模块，用于对于每一个副本的数据定义所采用的数据存储形式；以及
转换存储模块，用于将多个副本的数据分别转换成所述定义步骤模块所定义的数据存储形式并进行存储。
7.如权利要求6所述的数据异构存储装置，其特征在于，
在所述定义模块中，作为所述存储形式有：行式存储形式、列式存储形式、行列混合存储形式、压缩存储形式、键值对等存储形式、以及用户自定义存储形式。
8.如权利要求6所述的数据异构存储装置，其特征在于，
所述定义模块对于所定义的数据存储形式设置存储形式标识。
9.如权利要求6所述的数据异构存储装置，其特征在于，
所述转换存储模块能够在不同的数据存储形式的副本之间互相进行数据转换。
10.如权利要求6~9任意一项所述的数据异构存储装置，其特征在于，进一步具备：
关联关系存储模块，用于存储所述数据存储形式与副本的关联关系。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1~5中任意一项所述的数据异构存储方法。
12.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1~5中任意一项所述的数据异构存储方法的步骤。
CN201711455543.2A 2017-12-28 2017-12-28 一种数据异构存储方法以及数据异构存储装置 Pending CN108304471A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711455543.2A CN108304471A (zh) 2017-12-28 2017-12-28 一种数据异构存储方法以及数据异构存储装置
PCT/CN2018/115155 WO2019128497A1 (zh) 2017-12-28 2018-11-13 一种数据异构存储方法以及数据异构存储装置
TW107141246A TW201931121A (zh) 2017-12-28 2018-11-20 一種資料異構儲存方法以及資料異構儲存裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711455543.2A CN108304471A (zh) 2017-12-28 2017-12-28 一种数据异构存储方法以及数据异构存储装置

Publications (1)

Publication Number Publication Date
CN108304471A true CN108304471A (zh) 2018-07-20

Family

ID=62867610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711455543.2A Pending CN108304471A (zh) 2017-12-28 2017-12-28 一种数据异构存储方法以及数据异构存储装置

Country Status (3)

Country Link
CN (1) CN108304471A (zh)
TW (1) TW201931121A (zh)
WO (1) WO2019128497A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128497A1 (zh) * 2017-12-28 2019-07-04 中国银联股份有限公司 一种数据异构存储方法以及数据异构存储装置
CN113641673A (zh) * 2021-08-17 2021-11-12 山东勤成健康科技股份有限公司 一种数据异构存储方法以及数据异构存储装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011221215A1 (en) * 2010-02-23 2012-09-06 Bank Of America Corporation Content service bus framework
CN105095294A (zh) * 2014-05-15 2015-11-25 中兴通讯股份有限公司 一种分布式存储系统中管理异构副本的方法及装置
CN105740295A (zh) * 2014-12-12 2016-07-06 中国移动通信集团公司 一种分布式数据的处理方法及装置
CN107180031A (zh) * 2016-03-09 2017-09-19 华为技术有限公司 分布式存储方法及装置、数据处理方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9201745B2 (en) * 2008-01-23 2015-12-01 Omx Technology Ab Method of improving replica server performance and a replica server system
CN104572711A (zh) * 2013-10-18 2015-04-29 腾讯科技（深圳）有限公司 一种分布式文档形数据存取方法及装置
CN108304471A (zh) * 2017-12-28 2018-07-20 中国银联股份有限公司 一种数据异构存储方法以及数据异构存储装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011221215A1 (en) * 2010-02-23 2012-09-06 Bank Of America Corporation Content service bus framework
CN105095294A (zh) * 2014-05-15 2015-11-25 中兴通讯股份有限公司 一种分布式存储系统中管理异构副本的方法及装置
CN105740295A (zh) * 2014-12-12 2016-07-06 中国移动通信集团公司 一种分布式数据的处理方法及装置
CN107180031A (zh) * 2016-03-09 2017-09-19 华为技术有限公司 分布式存储方法及装置、数据处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128497A1 (zh) * 2017-12-28 2019-07-04 中国银联股份有限公司 一种数据异构存储方法以及数据异构存储装置
CN113641673A (zh) * 2021-08-17 2021-11-12 山东勤成健康科技股份有限公司 一种数据异构存储方法以及数据异构存储装置

Also Published As

Publication number Publication date
TW201931121A (zh) 2019-08-01
WO2019128497A1 (zh) 2019-07-04

Similar Documents

Publication Publication Date Title
CN105204969B (zh) 异常日志处理方法以及异常日志处理装置
US10331584B2 (en) Internal system namespace exposed through use of two local processors and controller memory buffer with two reserved areas
CN102902763B (zh) 关联、检索信息处理数据和处理信息任务的方法及装置
CN107301214A (zh) 在hive中数据迁移方法、装置及终端设备
CN107515933A (zh) 修改源数据库表结构的方法、服务器、系统及存储介质
CN105518641A (zh) 点对点数据复制方法、设备和系统以及主节点切换方法、设备和系统
CN105824572A (zh) 一种磁盘存储空间管理方法、装置及存储设备
CN101576890A (zh) 一种新型碎片整理方法和系统
US20190012325A1 (en) Method and Apparatus for Presenting To-Be-Cleaned Data, and Electronic Device
CN111158939A (zh) 数据处理方法、装置、存储介质及电子设备
CN104298736A (zh) 数据集合连接方法、装置及数据库系统
CN104410666A (zh) 云计算下实现异构存储资源管理的方法及系统
CN108304471A (zh) 一种数据异构存储方法以及数据异构存储装置
CN105589733B (zh) 一种数据处理方法和装置
CN103838746A (zh) 多cpu系统共享存储数据的方法及该系统
CN102932416B (zh) 一种信息流任务的中间数据存储方法、处理方法及装置
US8990528B2 (en) Method for fast format of a fully allocated volume when copied from a space efficient volume
CN109408208A (zh) 导航芯片的多任务处理方法、设备、系统以及存储介质
CN104199687B (zh) 一种在虚拟机系统中处理数据的方法和装置
CN107678680B (zh) 分布式块存储系统中纠删码并发io的方法及存储装置
CN109213745A (zh) 一种分布式文件存储方法、装置、处理器及存储介质
CN103207916A (zh) 元数据处理的方法和装置
CN103092955B (zh) 检查点操作方法、装置及系统
CN104572638A (zh) 数据读写方法及装置
CN105608103A (zh) 数据存储结构的转换方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1258321

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180720