CN109299154B - 一种大数据的数据存储系统及方法 - Google Patents
一种大数据的数据存储系统及方法 Download PDFInfo
- Publication number
- CN109299154B CN109299154B CN201811453010.5A CN201811453010A CN109299154B CN 109299154 B CN109299154 B CN 109299154B CN 201811453010 A CN201811453010 A CN 201811453010A CN 109299154 B CN109299154 B CN 109299154B
- Authority
- CN
- China
- Prior art keywords
- metadata
- data
- storage
- attribute
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000003860 storage Methods 0.000 claims abstract description 93
- 238000005192 partition Methods 0.000 claims description 22
- 238000011835 investigation Methods 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 abstract description 3
- 230000004888 barrier function Effects 0.000 abstract description 2
- 230000010354 integration Effects 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 63
- 238000010586 diagram Methods 0.000 description 10
- 238000013523 data management Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种大数据的数据存储系统及方法，该系统包括四层结构，其中，元数据结构层定义并存储多种元数据类型，及元数据类型的属性；元数据层按照元数据类型的属性，定义并存储所有元数据对象信息和元数据对象之间的关联关系；数据结构层按照元数据对象信息，定义并存储统计数据的结构关系；数据层按照统计数据的结构关系，存储统计数据。本发明基于DDI元数据标准，定义了统计数据存储的4层结构：元数据结构、元数据、数据结构和数据，从而将海量微观数据按照大数据架构进行统一存储和管理，打破数据资源整合壁垒，实现统计数据的灵活、高效存储和使用，继而很大程度上解决数据量大、结构复杂、增长速度快，以及数据分析使用困难等问题。
Description
技术领域
本发明涉及数据统计领域，具体涉及一种大数据的数据存储系统及方法。
背景技术
随着大数据时代的到来，数据存储和数据处理的压力随之增加。对于统计微观数据而言，目前主要的数据来源有联网直报系统和各类调查采集系统，存在数据管理难、数据使用难等问题。
发明内容
针对上述技术问题，本发明提供一种大数据的数据存储系统及方法。
本发明解决上述技术问题的技术方案如下：一种大数据的数据存储系统，包括：
元数据结构层，用于定义并存储多种元数据类型，及元数据类型的属性；
元数据层，用于按照所述元数据类型的属性，定义并存储所有元数据对象信息和元数据对象之间的关联关系；
数据结构层，用于按照所述元数据对象信息，定义并存储统计数据的结构关系；
数据层，用于按照所述统计数据的结构关系，存储所述统计数据。
为实现上述发明目的，本发明还提供一种应用于上述系统的数据存储方法，包括：
步骤1、元数据结构层定义并存储多种元数据类型，及元数据类型的属性；
步骤2、元数据层按照所述元数据类型的属性，定义并存储所有元数据对象信息和元数据对象之间的关联关系；
步骤3、数据结构层按照所述元数据对象信息，定义并存储统计数据的结构关系；
步骤4、数据层按照所述统计数据的结构关系，存储所述统计数据。
本发明的有益效果是：基于DDI元数据标准，定义了统计数据存储的4层结构：元数据结构、元数据、数据结构和数据，从而将海量微观数据按照大数据架构进行统一存储和管理，打破数据资源整合壁垒，实现统计数据的灵活、高效存储和使用，继而很大程度上解决数据量大、结构复杂、增长速度快，以及数据分析使用困难等问题。
附图说明
图1为本发明实施例提供的一种大数据的数据存储系统的4层结构图；
图2为本发明实施例4层结构及各层的定义示意图；
图3为与对应数据存储的4层结构相应的存储模型图；
图4为本发明实施例提供的元数据结构层示意图；
图5为元数据类型表和元数据属性表的关系示意图；
图6为本发明实施例提供的元数据层示意图；
图7为元数据层与元数据结构层间关系示意图；
图8为数据结构层示意图；
图9为数据结构层间表关系示意图；
图10为数据表T2和数据结构层关系示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明属于一种基于DDI(Data Documentation Initiative)元数据标准的数据存储技术，DDI于1995年由美国政治与社会科学研究校际联盟的Richard Rockwell发起，可以为科学研究提供集成的元数据，改进现有的数据归档方法，使数据交换更加容易。DDI3.0Lifecycle标准覆盖了统计业务全部生命周期，包括制度设计、数据采集、数据处理、数据分发、数据挖掘、数据分析、数据归档等。
基于DDI元数据标准的数据存储方式有以下几个特点：
1)实现了国家统计元数据标准下，统一的元数据体系存储；
2)实现以调查对象为核心的数据时间序列存储；
3)元数据和数据存储结构灵活、可扩展，可以支持包括宏观、微观数据在内的任何统计数据；
4)提升数据存储的安全性，避免各类统计数据分散、系统间交换困难、人员变动、系统升级等问题导致的数据遗失和使用误差；
5)方便数据加工、数据交换和数据质量检查等工作，提升数据管理效率。
DDI标准元数据与中国统计元数据的映射关系如下表：
依据DDI标准，利用元数据对象及对象间的关系，对统计业务流程进行描述，主要包括统计调查的形成和数据的存储利用两大部分。
如图1所示，基于上述DDI元数据标准对统计业务流程的描述，我们定义了统计数据存储的4层结构：元数据结构(Metadata Structure)、元数据(Metadata)、数据结构(DataStructure)和数据(Data)，各层的定义如图2所示，分别介绍如下：
元数据结构层，用于定义并存储多种元数据类型，及元数据类型的属性，设管司标准中的六大类元数据包括制度、报表、指标、目录、分组、方法，各类元数据类型由其基本属性、管理属性、实施属性这三类属性来定义。
元数据层，用于按照所述元数据类型的属性，定义并存储所有元数据对象信息和元数据对象之间的关联关系；
数据结构层，用于按照所述元数据对象信息，定义并存储统计数据的结构关系；
数据层，用于按照所述统计数据结构关系，存储所述统计数据。
对应上述数据存储的4层结构，设计相应的存储模型如图3所示。
存储模型中各层的详细设计如下：
1)元数据结构层：包括元数据类型表和元数据属性表。
如图4所示，元数据类型表定义并存储系统元数据类型信息，如制度(Group)、报表(Instrument)、指标(Variable)等。元数据类型表包括元数据类型ID、类型英文名称、类型中文名称、类型描述信息等字段，存储示例如下表。
元数据属性表定义并存储元数据类型的属性信息。元数据属性表包括属性ID、元数据类型ID、属性类型、属性英文名称、属性中文名称、属性描述信息等字段，存储示例如下表。
元数据类型表和元数据属性表关系如图5所示：
元数据类型表定义并存储元数据的类型，如图5中类型表中第二条记录Instrument；元数据属性表定义元数据类型的属性，多条元数据属性信息描述了元数据类型中的一条类型信息。如图5属性表中的5条属性记录，描述了Instrument的属性，有表名、表号、报表种类、报表样式、调查频率等属性。
2)元数据层：包括元数据对象表和元数据关系表。
元数据对象表存储元数据对象信息，元数据对象的类型和属性来自于元数据结构层的定义，元数据对象是元数据结构层的具体实现。
如图6所示，元数据对象表包括元数据对象ID、元数据类型ID、元数据对象属性、元数据对象父节点、元数据对象祖先节点等字段。其中，元数据对象属性中的项由MS层元数据属性表来定义，例如元数据对象表中的一个对象记录，其类型为Instrument，对象属性项有表名name、表号Number、调查频率Freq等，属性值来自于业务人员对具体统计制度的分解，如企业一套表统计制度中，有一张报表表名为“工业产销总值及主要产品产量(2013)”，表号为“B204-1”，调查频率为“3”。元数据对象的父节点和祖先节点表示元数据对象之间的关联关系，这些关联关系来自于业务人员对于统计制度的分解提炼，例如统计制度“企业一套表制度(2013)”中包含报表B204-1，那么报表B204-1的父节点就是“企业一套表制度(2013)”。
元数据对象表存储示例如下：
元数据对象之间的关联关系存储在元数据关系表中。例如：一张统计报表由若干个指标以一定格式构成，这种关系在元数据层体现为：一个报表类元数据对象有若干个指标类元数据对象子节点，在元数据关系表中存储若干条记录，父节点为该报表，子节点为构成报表的指标。存储示例如下表：
元数据(MD)层与元数据结构(MS)层间关系可如图7所示：
元数据层是元数据结构层的具体实现，元数据对象的结构由元数据结构层定义，如Instrument类型来自于元数据类型表，元数据对象的属性来自于元数据属性表；元数据对象的信息来自于业务人员对统计制度的分解，例如将统计制度分解为制度、报表、指标等各个具体的元数据对象。
3)数据结构层：包括数据分区表、逻辑存储表、物理存储表和存储列信息表，存储数据结构信息，如图8所示。
数据结构层中的列信息，由元数据层中Variable类型的元数据对象定义，包括指标、目录、分组三种类型。
数据分区表存储数据分区信息，统计调查项目作为数据分区的依据，每个分区下包含一个调查项目的所有数据。存储示例如下：
逻辑存储，定义了数据的逻辑存储结构，不同的逻辑存储结构下数据的主键列组合不同。例如：每个企业在一个报告期下填报一条基本信息，那么企业基本信息的主键列就是企业代码和报告期，主键列组合“企业代码-报告期”就标识了企业基本信息数据所在的逻辑存储。逻辑存储示例如下：
物理存储，定义数据的物理存储结构，每一条物理存储记录对应一张数据表。可将物理存储按照逻辑存储和报告期的组合来分类，存储示例如下：
存储列信息表，按照元数据对象表定义的元数据对象信息、逻辑存储表定义的数据存储结构和物理存储表定义的物理存储结构定义数据表的列信息，表中的每条记录，对应数据表中的每一列，存储示例如下：
图9为数据结构层间表关系。如图9所示，一个数据分区对应多个逻辑存储结构记录，不同逻辑存储结构的主键列信息组合不同；每个逻辑存储结构，又按照报告期分类为多个物理存储结构，每个物理存储结构就对应了一张数据库表；存储列信息表中记录物理存储结构的列信息，每个物理存储结构对应多条列信息，即每张数据库表中有多个列。
4)数据层，存储各数据分区的所有数据，数据表按照数据结构层的定义来组织，例如数据结构层定义的物理存储“T2”表，列定义来自列信息表中的前4条记录，存储示例如下：
| BGQ | ORGCODE | VAR005 | VAR006 | VAR007 |
| …… | …… | …… | …… | …… |
| …… | …… | …… | …… | …… |
| …… | …… | …… | …… | …… |
| …… | …… | …… | …… | …… |
数据表T2和数据结构层关系如图10所示。
另外，本发明采用结构化数据和半结构化数据混合存储的方式来实现存储模型。在元数据结构层和元数据层的数据表中存储了一部分半结构化数据，如元数据对象的属性信息、元数据对象的父节点信息和所有祖先信息等，以实现灵活、清晰地描述统计元数据对象及其关系信息。数据层的数据表，按照数据结构层的定义，存储结构化数据。与数据存储方式相对应，在数据库选型时也采用关系型数据库和非关系型数据库相结合的方式。我们将元数据结构层、元数据层和数据结构层的数据表存储在MongoDB数据库中，MongoDB是一个基于分布式文件存储的数据库，介于关系数据库与非关系数据库之间，可以存储比较复杂的数据类型，且支持很强大的查询语言。将数据层的数据表存储在Oracle内存数据库中，数据在内存数据库中按照列式存储，且被压缩存放，可以极大提升查询的性能。
存储模型的设计和实现，支持国家统计元数据标准，实现统一的元数据体系存储，并实现以调查对象为核心的数据时间序列存储，便于统计数据的查询和管理，提升数据使用价值。
本发明实施例还提供了一种应用于上述系统的数据存储方法，该方法包括：
步骤1、元数据结构层定义并存储多种元数据类型，及元数据类型的属性；
步骤2、元数据层按照所述元数据类型的属性，定义并存储所有元数据对象信息和元数据对象之间的关联关系；
步骤3、数据结构层按照所述元数据对象信息，定义并存储统计数据的结构关系；
步骤4、数据层按照所述统计数据的结构关系，存储所述统计数据。
可选地，在该实施例中，所述元数据结构层包括元数据类型表和元数据属性表；所述步骤1具体包括：
所述元数据类型表定义并存储多种元数据类型，所述元数据类型表的字段包括元数据类型ID、类型英文名称、类型中文名称和类型描述信息；
所述元数据属性表定义并存储元数据类型的属性信息，所述元数据属性表的字段包括属性ID、元数据类型ID、属性类型、属性英文名称、属性中文名称和属性描述信息。
可选地，在该实施例中，所述元数据层包括元数据对象表和元数据关系表；所述步骤2具体包括：
所述元数据对象表定义并存储元数据对象信息，所述元数据对象表的字段包括元数据对象ID、元数据类型ID、元数据对象属性、元数据对象父节点和元数据对象祖先节点；
所述元数据关系表定义并存储元数据对象之间的关联关系。
可选地，在该实施例中，所述数据结构层包括数据分区表、逻辑存储表、物理存储表和存储列信息表；所述步骤3具体包括：
所述数据分区表存储数据分区信息，统计调查项目作为数据分区的依据，每个分区下包含一个调查项目的所有数据；
所述逻辑存储表定义数据的逻辑存储结构，不同的逻辑存储结构下数据的主键列组合不同；
所述物理存储表定义数据的物理存储结构，每一条物理存储记录对应一张数据表；
所述存储列信息表按照所述元数据对象信息、所述逻辑存储表定义的逻辑存储结构和物理存储表定义的物理存储结构定义数据表的列信息，所述存储列信息表中的每条记录，对应所述数据表中的每一列。
可选地，在该实施例中，所述元数据结构层、元数据层和数据结构层的数据表存储在MongoDB数据库中，所述数据层的数据表存储在Oracle内存数据库中。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种大数据的数据存储系统，其特征在于，包括：
元数据结构层，用于定义并存储多种元数据类型，及元数据类型的属性；
元数据层，用于按照所述元数据类型的属性，定义并存储所有元数据对象信息和元数据对象之间的关联关系；
数据结构层，用于按照所述元数据对象信息，定义并存储统计数据的结构关系；
数据层，用于按照所述统计数据的结构关系，存储所述统计数据；
其中，所述元数据层包括元数据对象表和元数据关系表；
所述元数据对象表，用于定义并存储元数据对象信息，所述元数据对象表的字段包括元数据对象ID、元数据类型ID、元数据对象属性、元数据对象父节点和元数据对象祖先节点；
所述元数据关系表，用于定义并存储元数据对象之间的关联关系。
2.根据权利要求1所述的系统，其特征在于，所述元数据结构层包括元数据类型表和元数据属性表；
所述元数据类型表，用于定义并存储多种元数据类型，所述元数据类型表的字段包括元数据类型ID、类型英文名称、类型中文名称和类型描述信息；
所述元数据属性表，用于定义并存储元数据类型的属性信息，所述元数据属性表的字段包括属性ID、元数据类型ID、属性类型、属性英文名称、属性中文名称和属性描述信息。
3.根据权利要求1所述的系统，其特征在于，所述数据结构层包括数据分区表、逻辑存储表、物理存储表和存储列信息表；
所述数据分区表，用于存储数据分区信息，统计调查项目作为数据分区的依据，每个分区下包含一个调查项目的所有数据；
所述逻辑存储表，用于定义数据的逻辑存储结构，不同的逻辑存储结构下数据的主键列组合不同；
所述物理存储表，用于定义数据的物理存储结构，每一条物理存储记录对应一张数据表；
所述存储列信息表，用于按照所述元数据对象信息、所述逻辑存储表定义的逻辑存储结构和物理存储表定义的物理存储结构定义数据表的列信息，所述存储列信息表中的每条记录，对应所述数据表中的每一列。
4.根据权利要求1-3任一项所述的系统，其特征在于，所述元数据结构层、元数据层和数据结构层的数据表存储在MongoDB数据库中，所述数据层的数据表存储在Oracle内存数据库中。
5.一种应用于权利要求1-4任一项所述的系统的数据存储方法，其特征在于，包括：
步骤1、元数据结构层定义并存储多种元数据类型，及元数据类型的属性；
步骤2、元数据层按照所述元数据类型的属性，定义并存储所有元数据对象信息和元数据对象之间的关联关系；
步骤3、数据结构层按照所述元数据对象信息，定义并存储统计数据的结构关系；
步骤4、数据层按照所述统计数据的结构关系，存储所述统计数据；
其中，所述元数据层包括元数据对象表和元数据关系表；所述步骤2具体包括：
所述元数据对象表定义并存储元数据对象信息，所述元数据对象表的字段包括元数据对象ID、元数据类型ID、元数据对象属性、元数据对象父节点和元数据对象祖先节点；
所述元数据关系表定义并存储元数据对象之间的关联关系。
6.根据权利要求5所述的方法，其特征在于，所述元数据结构层包括元数据类型表和元数据属性表；所述步骤1具体包括：
所述元数据类型表定义并存储多种元数据类型，所述元数据类型表的字段包括元数据类型ID、类型英文名称、类型中文名称和类型描述信息；
所述元数据属性表定义并存储元数据类型的属性信息，所述元数据属性表的字段包括属性ID、元数据类型ID、属性类型、属性英文名称、属性中文名称和属性描述信息。
7.根据权利要求5所述的方法，其特征在于，所述数据结构层包括数据分区表、逻辑存储表、物理存储表和存储列信息表；所述步骤3具体包括：
所述数据分区表存储数据分区信息，统计调查项目作为数据分区的依据，每个分区下包含一个调查项目的所有数据；
所述逻辑存储表定义数据的逻辑存储结构，不同的逻辑存储结构下数据的主键列组合不同；
所述物理存储表定义数据的物理存储结构，每一条物理存储记录对应一张数据表；
所述存储列信息表按照所述元数据对象信息、所述逻辑存储表定义的逻辑存储结构和物理存储表定义的物理存储结构定义数据表的列信息，所述存储列信息表中的每条记录，对应所述数据表中的每一列。
8.根据权利要求5-7任一项所述的方法，其特征在于，所述元数据结构层、元数据层和数据结构层的数据表存储在MongoDB数据库中，所述数据层的数据表存储在Oracle内存数据库中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811453010.5A CN109299154B (zh) | 2018-11-30 | 2018-11-30 | 一种大数据的数据存储系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811453010.5A CN109299154B (zh) | 2018-11-30 | 2018-11-30 | 一种大数据的数据存储系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109299154A CN109299154A (zh) | 2019-02-01 |
| CN109299154B true CN109299154B (zh) | 2020-12-18 |
Family
ID=65142081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811453010.5A Active CN109299154B (zh) | 2018-11-30 | 2018-11-30 | 一种大数据的数据存储系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109299154B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723245B (zh) * | 2019-03-18 | 2024-04-26 | 阿里巴巴集团控股有限公司 | 数据存储系统中建立不同类型存储对象关联关系的方法 |
| CN110032584B (zh) * | 2019-03-28 | 2021-07-02 | 莆田学院 | 一种数据统计方法及系统 |
| CN110196852A (zh) * | 2019-05-16 | 2019-09-03 | 北京科东电力控制系统有限责任公司 | 基于元数据管理的调控云电网模型数据管理方法及系统 |
| CN110413620A (zh) * | 2019-07-31 | 2019-11-05 | 四川长虹电器股份有限公司 | 可视化数据结构配置方法及系统 |
| CN110598053A (zh) * | 2019-08-16 | 2019-12-20 | 上海爱数信息技术股份有限公司 | 一种基于对象树的元数据管理方法及管理系统 |
| CN112416923A (zh) * | 2019-08-22 | 2021-02-26 | 中兴通讯股份有限公司 | 一种元数据管理方法及装置、设备、存储介质 |
| CN112445801B (zh) * | 2020-11-27 | 2024-06-14 | 杭州海康威视数字技术股份有限公司 | 数据表的元信息管理方法、装置及存储介质 |
| CN113282579A (zh) * | 2021-04-16 | 2021-08-20 | 北京沃东天骏信息技术有限公司 | 一种异构数据存储与检索方法、装置、设备及存储介质 |
| CN114625720A (zh) * | 2022-03-24 | 2022-06-14 | 深圳市酷开网络科技股份有限公司 | 基于百亿数据olap查询平台元数据模型及其实现方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103440290A (zh) * | 2013-08-16 | 2013-12-11 | 曙光信息产业股份有限公司 | 大数据加载系统和方法 |
| CN104133858A (zh) * | 2014-07-15 | 2014-11-05 | 武汉邮电科学研究院 | 基于列存储的智能双引擎分析系统及方法 |
| CN104462362A (zh) * | 2014-12-08 | 2015-03-25 | 曙光信息产业(北京)有限公司 | 一种数据存储、查询、加载方法及装置 |
| CN108052618A (zh) * | 2017-12-15 | 2018-05-18 | 北京搜狐新媒体信息技术有限公司 | 数据管理方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070005593A1 (en) * | 2005-06-30 | 2007-01-04 | Microsoft Corporation | Attribute-based data retrieval and association |
| EP4224324A3 (en) * | 2013-02-27 | 2023-09-27 | Hitachi Vantara LLC | Rain-based archival system with self-describing objects |
| CN104933162B (zh) * | 2015-06-26 | 2018-03-09 | 河海大学 | 一种从元数据标注的csv数据到rdf数据的转换方法 |
-
2018
- 2018-11-30 CN CN201811453010.5A patent/CN109299154B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103440290A (zh) * | 2013-08-16 | 2013-12-11 | 曙光信息产业股份有限公司 | 大数据加载系统和方法 |
| CN104133858A (zh) * | 2014-07-15 | 2014-11-05 | 武汉邮电科学研究院 | 基于列存储的智能双引擎分析系统及方法 |
| CN104462362A (zh) * | 2014-12-08 | 2015-03-25 | 曙光信息产业(北京)有限公司 | 一种数据存储、查询、加载方法及装置 |
| CN108052618A (zh) * | 2017-12-15 | 2018-05-18 | 北京搜狐新媒体信息技术有限公司 | 数据管理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109299154A (zh) | 2019-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109299154B (zh) | 一种大数据的数据存储系统及方法 | |
| CN110618983B (zh) | 基于json文档结构的工业大数据多维分析与可视化方法 | |
| CN109446344B (zh) | 一种基于大数据的智能分析报告自动生成系统 | |
| CN108038222B (zh) | 用于信息系统建模和数据访问的实体-属性框架的系统 | |
| US11036685B2 (en) | System and method for compressing data in a database | |
| US8086592B2 (en) | Apparatus and method for associating unstructured text with structured data | |
| CN106547918B (zh) | 一种统计数据的整合方法及系统 | |
| CN104391948A (zh) | 数据仓库的数据标准化构建方法及系统 | |
| CN106599052A (zh) | 一种基于ApacheKylin的数据查询系统及其方法 | |
| Sidi et al. | Star schema advantages on data warehouse: using bitmap index and partitioned fact tables | |
| CN112000851B (zh) | 一种键值模型、文档模型和图模型数据的统一存储方法 | |
| CN101833511B (zh) | 数据管理方法、装置和系统 | |
| CN114064660B (zh) | 基于ElasticSearch的数据结构化分析方法 | |
| Kumar et al. | Big data and analytics: issues, challenges, and opportunities | |
| CN101916254A (zh) | 表单统计方法和装置 | |
| Mitreva et al. | NoSQL solutions to handle big data | |
| Manghi et al. | De-duplication of aggregation authority files | |
| JP2001216307A (ja) | リレーショナルデータベース管理システム及びそれを記憶した記憶媒体 | |
| US10877998B2 (en) | Highly atomized segmented and interrogatable data systems (HASIDS) | |
| Sidi et al. | The impact of partitioned fact tables and bitmap index on data warehouse performance | |
| Madduri et al. | Massive-scale RDF processing using compressed bitmap indexes | |
| Greca et al. | Optimizing Data Retrieval by Using Mongodb with Elasticsearch. | |
| Imran et al. | NODW Framework for Data Warehousing-A NoSQL Big Data Perspective | |
| CN113284573A (zh) | 一种文档数据库检索方法与装置 | |
| Benjelloun et al. | Using Snowflake Schema and Bitmap Index for Big Data Warehouse Volume |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100190 17-19 / F, building a 1, 66 Zhongguancun East Road, Haidian District, Beijing Patentee after: New Great Wall Technology Co.,Ltd. Address before: 100190 17-19 / F, building a 1, 66 Zhongguancun East Road, Haidian District, Beijing Patentee before: GREAT WALL COMPUTER SOFTWARE & SYSTEMS Inc. |