CN102081644A - 一种数义分离的数据存储方法 - Google Patents
一种数义分离的数据存储方法 Download PDFInfo
- Publication number
- CN102081644A CN102081644A CN 201010564214 CN201010564214A CN102081644A CN 102081644 A CN102081644 A CN 102081644A CN 201010564214 CN201010564214 CN 201010564214 CN 201010564214 A CN201010564214 A CN 201010564214A CN 102081644 A CN102081644 A CN 102081644A
- Authority
- CN
- China
- Prior art keywords
- attribute
- data
- field
- implication
- codes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据存储方法，尤其涉及一种数义分离的数据存储方法，该方法利用存储时数据和数据含义分开存储，使用时再把含义和数据进行组合的方式，使不同类别、不同属性的数据可以在同表共同存储，从而对于业务的变化、数据源的变化、以及数据要求的变化，不用不断的修改数据表结构来适应这种变化，从而提高数据库的可扩展性、减少数据库的维护性。本发明的有益效果：该方法大大降低开发和维护成本，同时也降低了应用变更的工作量和风险，成功地解决了现有技术中存在的问题。
Description
技术领域
本发明涉及一种数据存储方法，尤其涉及一种数义分离的数据存储方法。
背景技术
在实际的数据库应用中，经常需要创建不同的表来存储不同类别、不同属性、不同列数、不同顺序的数据记录，而在当时满足的情况下，随着新的数据记录的产生，原来所创建的表可能根本不能存储新来的数据记录。由此需要再去创建新表或扩展原表以存储该数据，同时对于该类数据的应用也需要重新开发，甚至原有应用也都需要修改。常规的表结构在这种情况下有以下几个问题会出现：1、存储数据的字段不够，可能需要扩展原有表的字段；2、存储数据的字段的含义完全不同，可能需要创建新表来存储新的数据；3、由于原有表的变动或新表的创建，导致应用功能也势必需要进行修改或新建。由此，一种可适应于数据变化的、数据扩展的、可把不同数据整合的存储方法，就显得尤为需要。
发明内容
本发明为克服现有技术中存在的不足之处，目的在于提供数义分离的数据存储方法，该方法利用存储时数据和数据含义分开存储，使用时再把含义和数据进行组合的方式，使不同类别、不同属性的数据可以在同表共同存储，从而对于业务的变化、数据源的变化、以及数据要求的变化，不用不断的修改数据表结构来适应这种变化，从而提高数据库的可扩展性、减少数据库的维护性，并大大降低开发和维护成本，同时也降低了应用变更的工作量和风险，成功地解决了现有技术中存在的问题。
本发明是通过以下技术方案达到上述目的：
1、一种数义分离的数据存储方法，包括如下步骤：
1)建立数据内容表，统计具体应用系统每种类别数据最多的属性个数，根据这个数量来定制数据内容表的字段数量，其字段结构至少包括：序号、字段含义标识id、上述数量的各个属性代码、值；
2)建立属性字典码表，其字段结构至少包括：序号、属性代码、属性名称、属性类别代码、属性类别名称；
3)建立数据字段含义表，其字段结构至少包括：序号、字段含义标识id、步骤1)所述数量的各个属性类别代码、组合属性名称；
4)穷举可能出现的属性名称，并将他们预先插入到属性字典码表中，同时定义该属性的属性代码、属性类别代码、属性类别名称；
5)数据进入数据内容表，定义好该数据的序号、步骤1)所述数量的各个属性代码、值以及根据各个属性代码自动产生的字段含义标识id；
6)数据字段含义表根据数据内容表的所有属性信息，通过关联属性字典码表后进行自动抓取，必须包含该数据的字段含义标识id、各个属性的各个属性类别代码，并自动生成相应的组合属性名称；
7)在进行数据应用时，首先关联属性字典码表后根据字段含义表中各个属性对应的属性类别代码，找到符合需求的数据的字段含义标识id，然后再根据找出的字段含义标识id对数据内容表进行过滤，找出所需要的数据记录。
8)数据的各属性对应的信息，根据各属性代码及对应的各属性类别代码通过属性字典表进行关联获得。
作为优选，在数据内容表和数据字段含义表中，所有可能涉及到的属性，必须都选自标准的属性字典码表；
作为优选，属性字典码表随着需求的变化，可以进行手工添加新的属性信息；
作为优选，数据内容表的属性数量为5个。
作为优选，字段含义标识id由属性代码拼接或转换而成。
本发明的有益效果：本发明利用存储时数据和数据含义分开存储，使用时再把含义和数据进行组合的方式，使不同类别、不同属性的数据可以在同表共同存储，从而对于业务的变化、数据源的变化、以及数据要求的变化，不用不断的修改数据表结构来适应这种变化，从而提高数据库的可扩展性、减少数据库的维护性，并大大降低开发和维护成本，同时也降低了应用变更的工作量和风险，成功地解决了现有技术中存在的问题。
附图说明
图1是数据内容表的结构示意图；
图2是数据字段含义表的结构示意图；
图3是属性字典码表的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述：
统计局的日常工作中，所有统计结果，均是由众多的数据微粒汇聚而成。其中一个数值的含义，可以拆分到具体某个指标下的某个或某几个分组成员的值。由于他们需要涉及的统计指标、分组十分广泛，每个指标分析的方式各不相同，并且随时可能由于业务需求的变化而变动，所以数据的分析模式往往无法固定。
例如：社会消费品零售额指标，在统计中可以按照行业进行分析，也可以按照区县市进行分析，甚至经常按照行业和企业性质两种分组组合的方式进行分析。按照以往的数据结构设计模式，如果将这个指标——社会消费品零售额放在一张事实表中来存储，我们就要将表结构按如下方式来设计：
| Time_id | number | 时间 |
| Indicator_id | Varchar2(30) | 指标id |
| qx_id | number | 区县id |
| hy_id | number | 行业id |
| qy_id | number | 企业id |
| kz_id | number | 扩展id |
| kz_id2 | number | 扩展id2 |
| Value1 | number | 数值 |
在这种结构中每个字段的含义是固定的，也就是与本专利相对的数义结合的方式存储。但是当这个指标的分析角度增加时，自能通过预留的扩展字段，或者增加新字段来满足需求，这样此表结构就变得十分不稳定。
这就给应用开发者造成了很大的困扰，当分析的类别增加时，他们需要建立或修改的表结构，并开发新的程序来适应这种变化。
根据本专利的实施方案，如图1所示，首先建立数据内容表，统计具体应用系统每种类别数据最多的属性个数，根据这个数量来定制数据内容表的字段数量，其字段结构包括：序号、字段含义标识id、上述数量的各个属性代码、值。在这个表中，各个属性代码的含义不是固定的。如对于“社会消费品零售额”这个指标来说，如果仅仅是以区县作为分析角度的时候，仅需要使用property1字段，以行业作为分析角度的数据，也只要使用property1字段，而以行业+企业性质的组合分析角度时，使用property1和property1两个字段。可以看出，各个属性代码字段没有固定的含义，根据字段含义标识id来决定每个属性代码究竟是代表什么含义。
然后，如图3所示，建立属性字典码表，其字段结构包括：序号、属性代码、属性名称、属性类别代码、属性类别名称；穷举可能出现的属性名称，并将他们预先插入到属性字典码表中，同时定义该属性的属性代码、属性类别代码、属性类别名称。
最后，如图2所示，建立数据字段含义表，其字段结构包括：序号、字段含义标识id、步骤1)所述数量的各个属性类别代码、组合属性名称。
数据字段含义表与数据内容表对应，当数据内容表生成时，自动根据属性代码，通过关联属性字典码表找到对应的属性类别，例如：通过property1，其对应的属性名称为“杭州市”，找到Property_class1，其对应的属性类别名称为“区县分组”，各个属性类别自动合并组成组合属性名称。
数据进入数据内容表，定义好该数据的序号、步骤1)所述数量的各个属性代码、值以及根据各个属性代码自动产生的字段含义标识id。
在进行数据应用时，首先关联属性字典码表后根据字段含义表中各个属性对应的属性类别代码，找到符合需求的数据的字段含义标识id，然后再根据找出的字段含义标识id对数据内容表进行过滤，找出所需要的数据记录。
数据的各属性对应的信息，根据各属性代码及对应的各属性类别代码通过属性字典表进行关联获得。
以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。
Claims (5)
1.一种数义分离的数据存储方法，其特征在于包括如下步骤：
1)建立数据内容表，统计具体应用系统每种类别数据最多的属性个数，根据这个数量来定制数据内容表的字段数量，其字段结构至少包括：序号、字段含义标识id、上述数量的各个属性代码、值；
2)建立属性字典码表，其字段结构至少包括：序号、属性代码、属性名称、属性类别代码、属性类别名称；
3)建立数据字段含义表，其字段结构至少包括：序号、字段含义标识id、步骤
1)所述数量的各个属性类别代码、组合属性名称；
4)穷举可能出现的属性名称，并将他们预先插入到属性字典码表中，同时定义该属性的属性代码、属性类别代码、属性类别名称；
5)数据进入数据内容表，定义好该数据的序号、步骤1)所述数量的各个属性代码、值以及根据各个属性代码自动产生的字段含义标识id；
6)数据字段含义表根据数据内容表的所有属性信息，通过关联属性字典码表后进行自动抓取，必须包含该数据的字段含义标识id、各个属性的各个属性类别代码，并自动生成相应的组合属性名称；
7)在进行数据应用时，首先关联属性字典码表后根据字段含义表中各个属性对应的属性类别代码，找到符合需求的数据的字段含义标识id，然后再根据找出的字段含义标识id对数据内容表进行过滤，找出所需要的数据记录；
8)数据的各属性对应的信息，根据各属性代码及对应的各属性类别代码通过属性字典表进行关联获得。
2.根据权利要求书1所述的一种数义分离的数据存储方法，其特征在于，在数据内容表和数据字段含义表中，所有可能涉及到的属性，必须都选自标准的属性字典码表。
3.根据权利要求书1或2所述的一种数义分离的数据存储方法，其特征在于，属性字典码表随着需求的变化，可以进行手工添加新的属性信息。
4.根据权利要求书1所述的一种数义分离的数据存储方法，其特征在于，数据内容表的属性数量为5个。
5.根据权利要求书1所述的一种数义分离的数据存储方法，其特征在于，字段含义标识id由属性代码拼接或转换而成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010564214 CN102081644A (zh) | 2010-11-25 | 2010-11-25 | 一种数义分离的数据存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010564214 CN102081644A (zh) | 2010-11-25 | 2010-11-25 | 一种数义分离的数据存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102081644A true CN102081644A (zh) | 2011-06-01 |
Family
ID=44087608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201010564214 Pending CN102081644A (zh) | 2010-11-25 | 2010-11-25 | 一种数义分离的数据存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102081644A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103577483A (zh) * | 2012-08-07 | 2014-02-12 | 腾讯科技（深圳）有限公司 | 数据存储方法和系统以及数据访问的方法和系统 |
| CN109493208A (zh) * | 2017-09-12 | 2019-03-19 | 上海麦子资产管理有限公司 | 征信数据的处理方法、装置及系统、存储介质、终端 |
| CN109726192A (zh) * | 2018-12-24 | 2019-05-07 | 普元信息技术股份有限公司 | 基于大数据环境实现主数据模型版本与字段分开管理功能的系统及方法 |
| CN110059153A (zh) * | 2019-03-29 | 2019-07-26 | 中国人民解放军63791部队 | 一种用于实时数据处理系统的数据交换方法 |
| CN110928881A (zh) * | 2019-11-22 | 2020-03-27 | 北京明略软件系统有限公司 | 稀疏数据的处理方法、电子设备以及计算机可读存储介质 |
| CN113158633A (zh) * | 2021-04-16 | 2021-07-23 | 浙江鸿程计算机系统有限公司 | 统计报表的处理方法及装置 |
-
2010
- 2010-11-25 CN CN 201010564214 patent/CN102081644A/zh active Pending
Non-Patent Citations (1)
| Title |
|---|
| 《制造技术与机床》 20010731 洪湖鹏，郁鼎文，张玉峰，解开颜 通用化计算机辅助工时系统的研究和开发 , 第7期 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103577483A (zh) * | 2012-08-07 | 2014-02-12 | 腾讯科技（深圳）有限公司 | 数据存储方法和系统以及数据访问的方法和系统 |
| CN103577483B (zh) * | 2012-08-07 | 2018-07-24 | 腾讯科技（深圳）有限公司 | 数据存储方法和系统以及数据访问的方法和系统 |
| CN109493208A (zh) * | 2017-09-12 | 2019-03-19 | 上海麦子资产管理有限公司 | 征信数据的处理方法、装置及系统、存储介质、终端 |
| CN109726192A (zh) * | 2018-12-24 | 2019-05-07 | 普元信息技术股份有限公司 | 基于大数据环境实现主数据模型版本与字段分开管理功能的系统及方法 |
| CN109726192B (zh) * | 2018-12-24 | 2021-05-18 | 普元信息技术股份有限公司 | 基于大数据环境实现主数据模型版本与字段分开管理功能的系统及方法 |
| CN110059153A (zh) * | 2019-03-29 | 2019-07-26 | 中国人民解放军63791部队 | 一种用于实时数据处理系统的数据交换方法 |
| CN110059153B (zh) * | 2019-03-29 | 2023-09-26 | 中国人民解放军63791部队 | 一种用于实时数据处理系统的数据交换方法 |
| CN110928881A (zh) * | 2019-11-22 | 2020-03-27 | 北京明略软件系统有限公司 | 稀疏数据的处理方法、电子设备以及计算机可读存储介质 |
| CN113158633A (zh) * | 2021-04-16 | 2021-07-23 | 浙江鸿程计算机系统有限公司 | 统计报表的处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102081644A (zh) | 一种数义分离的数据存储方法 | |
| CN102254012B (zh) | 一种基于外存的图数据存储方法及子图查询方法 | |
| CN105488223B (zh) | 业务数据事件的分析订阅方法及系统 | |
| CN102446303B (zh) | 工艺路线组件的分配方法及装置 | |
| CN110750650A (zh) | 企业知识图谱的构建方法及装置 | |
| CN103699693A (zh) | 一种基于元数据的数据质量管理方法及系统 | |
| CN102314460A (zh) | 数据分析方法、系统及服务器 | |
| CN106126601A (zh) | 一种社保大数据分布式预处理方法及系统 | |
| CN102945256A (zh) | 海量sql语句合并归类的方法及装置 | |
| CN101504672A (zh) | 一种动态配置实体数据表的方法和系统 | |
| CN101719135A (zh) | 一种政务资源目录控制系统及方法 | |
| CN102467525A (zh) | 单据关联方法及系统 | |
| JP2013517585A (ja) | データベース内の大容量コレクションオブジェクトテーブルにアクセスするための方法 | |
| CN101710320A (zh) | 统计指标数据处理方法及装置 | |
| CN103020753A (zh) | 单据状态显示系统和单据状态显示方法 | |
| CN103218448A (zh) | 自助式报表生成方法、装置与系统 | |
| CN103064909A (zh) | 一种基于Drools规则引擎的基站数据库核查方法 | |
| CN107480188B (zh) | 一种审计业务数据处理方法和计算机设备 | |
| CN101706829A (zh) | 一种数据存储方法和装置 | |
| US10223389B2 (en) | System and method for analyzing complex metadata | |
| CN104391986B (zh) | 业务重分类装置和方法 | |
| KR20140076010A (ko) | 대용량 xml 데이터에 대한 다수의 가지 패턴 질의의 동시 병렬처리시스템 및 그 방법 | |
| CN104462462A (zh) | 基于业务变化频度的数据仓库建模方法和建模装置 | |
| Galeitzke et al. | Sustainability strategies in german small and medium-sized companies | |
| CN105630997A (zh) | 一种数据并行处理方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110601 |
|
| C53 | Correction of patent for invention or patent application | ||
| CB02 | Change of applicant information |
Address after: Hangzhou City, Zhejiang Province, Binjiang District Puyan street 310053 Albert Road No. 1 Building 2 Zhejiang Hongcheng computer system Co. Ltd. Applicant after: Zhejiang Hongcheng Computer Systems Co., Ltd. Address before: 1, building 11, building 1, No. 310013, staff Road, Hangzhou, Zhejiang Applicant before: Zhejiang Hongcheng Computer Systems Co., Ltd. |