CN1564158A - 实时数据库建模、存储和访问方法 - Google Patents
实时数据库建模、存储和访问方法 Download PDFInfo
- Publication number
- CN1564158A CN1564158A CN200410014624.5A CN200410014624A CN1564158A CN 1564158 A CN1564158 A CN 1564158A CN 200410014624 A CN200410014624 A CN 200410014624A CN 1564158 A CN1564158 A CN 1564158A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- time
- clock face
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000003068 static effect Effects 0.000 claims abstract description 18
- 238000005070 sampling Methods 0.000 claims description 25
- 230000008921 facial expression Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001154 acute effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
实时数据库的数据建模方法以及基于此种建模方法的数据库存储和访问方法。数据建模方法是：将所有实时测控数据项中所包含的信息分成静态信息和动态信息，静态信息用传统的E－R模型表示，动态信息用钟面模型表示。数据库存储方法是：将表示静态信息的E－R模型转化成关系模型和二维表结构存入磁盘记录式文件，将表示动态信息的钟面模型存入磁盘流式文件，磁盘流式文件名与实时测控数据项名一致。访问方法是：根据访问数据的时间参数计算与O点的时间偏移量，进而算出物理地址偏移量，然后直接定位于磁盘物理地址来进行读或写的操作。本发明以钟面刻划一定采样周期内实时测控数据流中的时态信息，无需建立索引，减少管理数据所需开销的时空资源。
Description
技术领域
本发明涉及实时数据库领域，尤其是一种实时数据库建模方法及基于该建模方法的数据存储和数据库访问方法。
背景技术
传统数据库系统一般采用实体一联系模型(E-R模型)或扩充实体-联系模型(EE-R模型)来对实际应用数据进行建模(概念模型)，目前使用最为广泛的关系型数据库将这种概念模型转换成关系模型进而转换成二维表结构形式来存储数据。这种模式易于理解，但不能满足实时系统数据处理应用的需求。其局限性主要体现在以下两个方面：首先是数据模型上的限制，关系数据库所采用的二维表格数据模型不能有效地处理带有时态信息的三维或多维数据，结果往往是建立了大量的表，用了复杂的方式来处理，却仍然很难模仿出数据的现实关系，更糟的是，这些表之间的连接经常隐藏在应用程序里，而不是存在于更易于管理的数据库中；第二是性能上的限制，为静态应用例如报表生成而设计的关系数据库管理系统并不是为高效数据处理而优化的，其结果是某些关系数据库管理系统虽然能在为该产业特别开发的考机测试程序上取得满意的性能，但是在实时数据处理的真实世界中其性能却并不令人满意。
也就是说，由于在实时系统中，实时测控信息包含重要的时态信息，传统数据库系统把时态信息当作普通的参数(属性)来对待，导致这些应用系统的数据库中记录数目呈急剧膨胀趋势，比如一个数据项的采样周期为1s，则1小时就会产生3600条记录，在有多个数据项且它们的采样周期又不同的连续测控系统中，记录数增长的速度可想而知；而实时系统的时间和空间资源一般都不太充足，所以将传统数据库技术应用在实时系统中效率一直不理想。
简言之，传统数据库技术应用在实时系统中，模型表现力不够，而且存储和访问效率低，在记录数目众多的情况下更是如此，实际应用中往往需要通过索引技术来提高效率，然而建立索引需要花费时间和存储空间的代价。
数据库新技术中的对象关系数据库等技术试图改变这种现状，但其实质是在关系数据库的基础上融合面向对象技术和传统数据库的一些特点，以及新的编程工具环境，以适应新的以Internet Web为基础的应用，并未对实时数据库设计的方法提出根本的建议。
中国专利00811092号申请文件公开了“实时数据库对象的统计数字的采集”(国际申请号：PCT/US00/17491)，它是借助数据库管理系统来采集数据库对象的实时统计数字的方法，其思想是基于现有关系模型的数据处理，不是根本解决实时数据库存储和访问效率的方法。
中国专利00818943号申请文件公开了“信息建模方法和利用建模方法的数据库搜索方法”(国际申请号：PCT/KR00/00505)，它是一种将数据解析成语义元素，接收各种数据的信息建模方法，包括时间信息数据和指示位置的空间信息数据以及其它类型的数据，不是针对实时数据库系统的方法，不能解决效率问题。
美国专利US 6644549号申请文件公开了“Portable terminal with real-timedatabase access，printing and display”，它是一种带有实时数据库的终端设备，其所使用的实时数据库技术仍是传统数据库技术，并未涉及改进或改造实时数据库管理系统本身的技术。
美国专利US6556882号申请文件公开了“Method and apparatus for generatingreal-time data from static files”，它包括一种将实时数据存储在静态文件数据库中的方法，该方法目的是用静态文件数据库中的数据模仿实时数据流来运行制造系统，以便分析制造系统网络的性能，不是解决实时数据库本身效率问题的方法。
发明内容
本发明的目的是：为了克服目前实时数据库存储和访问效率低的技术问题。
进一步地，本发明所要解决的技术问题是为了克服目前数据库建模方法忽视时态信息和磁盘存储结构的技术问题。
相应地，本发明的目的还包括：提供一种基于上述建模方法的数据存储方法和数据库访问方法。
实现本发明目的而采取的技术方案概括如下：
提供一种实时数据库实际应用数据的建模方法，包括采用下列步骤：首先，将所有实时测控数据项中的静态信息(如数据项名称、采样周期)分离出来，用E-R模型表示；然后将各实时测控数据中的动态信息(如测量值)用钟面模型表示出来。在钟面模型中，一个钟面表示一个数据项，钟面内标出数据项的名称和采样周期，钟面的0点表示采样起始时刻。如果有相同采样周期的数据项，则可以合并在同一钟面上。
基于上述建模方法，提供一种实时数据的存储方法，包括采用下列步骤：将表示静态信息的E-R模型转化成关系模型和二维表结构存入磁盘记录式文件；将表示动态信息的钟面模型存入磁盘流式文件，磁盘流式文件名与实时测控数据项名一致，钟面的0点表示采样起始时刻的同时，对应磁盘的起始存储地址。
基于上述数据建模方法和存储方法，提供一种实时数据库的访问方法，包括采用下列步骤：根据访问数据项名查找磁盘流式文件名，根据访问数据的时间参数计算与0点的时间偏移量，进而算出物理地址偏移量，然后直接定位于磁盘物理地址，从而进行读或写的操作，无需建立索引。这里，由于实时测控数据的固有特性，规定写操作只能进行修改，不能删除或插入。如果访问数据要求涉及到静态信息则打开磁盘记录式文件，由于此时磁盘记录式文件仅存储静态信息，数据量小，记录数少，所以按传统访问方式访问。
本发明的特点是：将数据库数据项中的静态信息和各实时测控数据中的动态信息的建模结合起来，尤其重视动态信息并用最合理的磁盘存储方法，能解决现有数据库存储和访问效率低的问题。
本发明以钟面刻划一定采样周期内实时测控数据流中的时态信息，将实时测控信息中的静态信息和动态信息分别用记录式文件和流式文件分开存储，对流式文件的访问可根据时间偏移量计算物理地址偏移量进行数据定位，无需建立索引，减少管理数据所需开销的时空资源，对提高实时系统的效率和性能具有重要意义。采用本发明的技术方案，提供一种实时数据库的数据建模方法和基于此种建模方法的数据存储和数据库访问方法，工程人员采用这种建模方法可以比较容易地建立概念模型，数据库系统软件采用这种存储方法和访问方法可以加快数据存储和数据库访问效率，极大地改善实时系统的性能。
附图说明
图1钟面模型结构示意图
图2逻辑地址空间图
具体实施方式
下面将结合附图，说明本发明一个实施的方式：
首先，对实时系统进行需求分析，确定有哪些测控数据，将所有实时测控数据项中的静态信息(包括数据项ID、数据项名称、测量单位、模拟量还是数字量、采样周期、报警上限、报警下限等等)分离出来，用传统的E-R模型表示，以数据项ID或数据项名作为主关键字，因为数据项名是工程人员命名的，所以可以确保不重名；然后将各实时测控数据中的动态信息(包括时间和测量值)用钟面模型表示出来。在钟面模型中，一个钟面代表一个数据项，钟面用圆形直观表示，圆心下方以文字标明数据项的名称，圆心上方画一个锐角，锐角内标明采样周期，钟面的0点表示采样起始时刻。如果有相同采样周期的数据项，则可以合并在同一钟面上，即将相同采样周期的数据项名称写在同一钟面内，用逗号分割，如附图1所示。
基于上述建模方法，提供一种实时数据的存储方法，包括采用下列步骤：将表示静态信息的E-R模型转化成关系模型和二维表结构存入磁盘记录式文件；将表示动态信息的钟面模型存入磁盘流式文件。流式文件指文件内的数据不组成记录形式，只是依次的一串信息集合。磁盘流式文件名与实时测控数据项名一致，钟面的0点表示采样起始时刻的同时，对应磁盘的起始存储地址。流式文件的逻辑地址空间分布如图2所示，一个数据的存储地址号码由三部分组成：圆柱体号、读/写头号和扇区号。存储动态数据时，可以将不同数据项所对应的流式文件存储在不同的圆柱体上，也即同一数据项的实时测控数据均位于同一圆柱体上。同一圆柱体上能存储的数据量由硬件决定，比如一个单驱动器的盘片组，有6个盘片，10个磁头，柱面数为1200，所选圆柱体的磁道有32个扇区，每个扇区可以存放512B，则该圆柱体可以存放10×32×512＝163840B数据。假设存储一个测控数据项需要4个字节空间，则该圆柱体上可存储4万多次采样的数据。则该磁盘可存储1200个数据项的4万多次采样结果。
基于上述数据建模方法和存储方法，提供一种实时数据库的访问方法，包括采用下列步骤：如果访问数据要求涉及到静态信息则打开磁盘记录式文件，由于此时磁盘记录式文件仅存储静态信息，数据量小，记录数少，所以按传统访问方式访问。对于实时测控数据的访问，先根据访问数据项名查找磁盘流式文件名，然后根据访问数据的时间参数和采样周期计算距离采样起始时刻的时间偏移量，进而推算数据所在的物理地址偏移量，然后直接定位于磁盘物理地址，从而进行读或写的操作。比如，设采样周期为1S，采样起始时刻为8:10:10，一次温度采样值占4个字节，文件起始扇区号为xxxx10，若要查询9:00:00的温度采样值，则时间偏移量为(9-8)×3600+(0-10)×60+(0-10)＝2990，地址偏移量为2990×4/512＝23，则直接定位于xxxx33扇区进行读操作。这里，由于实时测控数据的固有特性，规定写操作只能进行修改，不能删除或插入。
进一步地，采样数据在扇区的存储方式可以根据采样周期和每个采样数据所占空间来决定，比如对于512字节的扇区，一个扇区可存放128次采样数据，若每个采样数据要占4个字节，为了和时间对应，可以让每个扇区存放120次采样数据，以便于数据的精确定位。还可以在数据流中设置标志位，即将采样时刻与采样值成对存放，以便在取得扇区数据后进一步确定数据值。
值得说明的是磁盘的操作单位是扇区，用磁盘存储器，具体操作时，根据给出的磁盘地址，活动臂组合件作机械运动定位于指定圆柱体，同时系统选择指定的读写头以确定磁道，最终读写头跟踪旋转的磁道，读出旋转时每个扇区的地址，该地址与所给磁盘地址一致时，系统将该地址中的数据读入内存中的磁盘缓冲区，或从磁盘缓冲区将数据写入指定磁盘地址，完成一次磁盘读写操作。
以上对所公开的涉及实时数据库建模、存储和访问方法进行了具体描述，本领域技术人员将能理解和实施，在不偏离本发明范围情况下，可以对建模、存储和访问方法进行形式和细节的种种修改，因此以上所建议的但不限定的修改都在本发明的范围之内。
Claims (5)
1、一种实时数据库的建模和存储方法，其特征是采用下列步骤：首先，将所有实时测控数据项中的静态信息分离出来，用E-R模型表示；然后将各实时测控数据中的动态信息用钟面模型表示出来；将表示静态信息的E-R模型转化成关系模型和二维表结构存入磁盘记录式文件；将表示动态信息的钟面模型存入磁盘流式文件。
2、一种实时数据库的访问方法，其特征是采用下列步骤：根据访问数据项名查找磁盘流式文件名，根据访问数据的时间参数计算与0点的时间偏移量，进而算出物理地址偏移量，然后直接定位于磁盘物理地址，从而进行读或写的操作。
3、根据权利要求1所述的实时数据库的建模方法，将各实时测控数据中的动态信息用钟面模型表示，其特征还在于一个钟面表示一个数据项，钟面内标出数据项的名称和采样周期，钟面的0点表示采样起始时刻。如果有相同采样周期的数据项，则可以合并在同一钟面上。
4、根据权利要求1所述的实时数据库的存储方法，其特征还在于磁盘流式文件名与实时测控数据项名一致，流式文件数据的存储地址号码由三部分组成：圆柱体号、读/写头号和扇区号，钟面的0点表示采样起始时刻的同时，对应磁盘的起始存储地址。
5、根据权利要求4所述的实时数据库的存储方法，其特征还在于存储动态数据时，可以将不同数据项所对应的流式文件存储在不同的圆柱体上，也即同一数据项的实时测控数据均位于同一圆柱体上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2004100146245A CN1294516C (zh) | 2004-04-12 | 2004-04-12 | 实时数据库建模、存储和访问方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2004100146245A CN1294516C (zh) | 2004-04-12 | 2004-04-12 | 实时数据库建模、存储和访问方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1564158A true CN1564158A (zh) | 2005-01-12 |
| CN1294516C CN1294516C (zh) | 2007-01-10 |
Family
ID=34478488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2004100146245A Expired - Fee Related CN1294516C (zh) | 2004-04-12 | 2004-04-12 | 实时数据库建模、存储和访问方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1294516C (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100507869C (zh) * | 2006-10-10 | 2009-07-01 | 国际商业机器公司 | 基于关系模型分析系统性能采样数据的方法和设备 |
| CN101354270B (zh) * | 2008-05-05 | 2010-06-02 | 国网南京自动化研究院 | 一种电力调度海量数据的存储方法 |
| CN101520787B (zh) * | 2008-03-19 | 2011-04-06 | 中国科学院自动化研究所 | 一种对实时数据进行存储的方法 |
| CN102446183A (zh) * | 2010-10-12 | 2012-05-09 | 上海可鲁系统软件有限公司 | 一种工业数据存储方法 |
| CN102541925A (zh) * | 2010-12-21 | 2012-07-04 | 中国移动通信集团山西有限公司 | 一种实现详细话单的快速存储和检索的方法及装置 |
| CN102542029A (zh) * | 2011-12-22 | 2012-07-04 | 沈阳中科博微自动化技术有限公司 | 一种工业数据的分块压缩存储方法 |
| CN103353891A (zh) * | 2013-07-05 | 2013-10-16 | 北京人大金仓信息技术股份有限公司 | 数据库管理系统及其数据处理方法 |
| CN101828182B (zh) * | 2007-09-21 | 2014-09-10 | 哈索-普拉特纳-研究所软件系统有限责任公司 | 报告oltp数据的无etl零冗余系统和方法 |
| CN104408097A (zh) * | 2014-11-17 | 2015-03-11 | 深圳市比一比网络科技有限公司 | 一种基于字符段热更新的混合索引方法及系统 |
| CN107967360A (zh) * | 2017-12-22 | 2018-04-27 | 广东雅达电子股份有限公司 | 一种实时数据库文件存储方法 |
| CN107980161A (zh) * | 2015-06-03 | 2018-05-01 | 柯泰克股份有限公司 | 用于处理数据流的方法和系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4868866A (en) * | 1984-12-28 | 1989-09-19 | Mcgraw-Hill Inc. | Broadcast data distribution system |
| US5717924A (en) * | 1995-07-07 | 1998-02-10 | Wall Data Incorporated | Method and apparatus for modifying existing relational database schemas to reflect changes made in a corresponding object model |
| US6063128A (en) * | 1996-03-06 | 2000-05-16 | Bentley Systems, Incorporated | Object-oriented computerized modeling system |
-
2004
- 2004-04-12 CN CNB2004100146245A patent/CN1294516C/zh not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100507869C (zh) * | 2006-10-10 | 2009-07-01 | 国际商业机器公司 | 基于关系模型分析系统性能采样数据的方法和设备 |
| CN101828182B (zh) * | 2007-09-21 | 2014-09-10 | 哈索-普拉特纳-研究所软件系统有限责任公司 | 报告oltp数据的无etl零冗余系统和方法 |
| CN101520787B (zh) * | 2008-03-19 | 2011-04-06 | 中国科学院自动化研究所 | 一种对实时数据进行存储的方法 |
| CN101354270B (zh) * | 2008-05-05 | 2010-06-02 | 国网南京自动化研究院 | 一种电力调度海量数据的存储方法 |
| CN102446183A (zh) * | 2010-10-12 | 2012-05-09 | 上海可鲁系统软件有限公司 | 一种工业数据存储方法 |
| CN102541925A (zh) * | 2010-12-21 | 2012-07-04 | 中国移动通信集团山西有限公司 | 一种实现详细话单的快速存储和检索的方法及装置 |
| CN102542029A (zh) * | 2011-12-22 | 2012-07-04 | 沈阳中科博微自动化技术有限公司 | 一种工业数据的分块压缩存储方法 |
| CN103353891A (zh) * | 2013-07-05 | 2013-10-16 | 北京人大金仓信息技术股份有限公司 | 数据库管理系统及其数据处理方法 |
| CN103353891B (zh) * | 2013-07-05 | 2017-03-29 | 北京人大金仓信息技术股份有限公司 | 数据库管理系统及其数据处理方法 |
| CN104408097A (zh) * | 2014-11-17 | 2015-03-11 | 深圳市比一比网络科技有限公司 | 一种基于字符段热更新的混合索引方法及系统 |
| CN107980161A (zh) * | 2015-06-03 | 2018-05-01 | 柯泰克股份有限公司 | 用于处理数据流的方法和系统 |
| CN107967360A (zh) * | 2017-12-22 | 2018-04-27 | 广东雅达电子股份有限公司 | 一种实时数据库文件存储方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1294516C (zh) | 2007-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104504105B (zh) | 一种实时数据库的存储方法 | |
| CN1294516C (zh) | 实时数据库建模、存储和访问方法 | |
| CN107402958A (zh) | 一种gkf三维空间数据库的创建和访问方法 | |
| CN108009979A (zh) | 基于时空数据融合的三维点云压缩存储方法及系统 | |
| CN1290043C (zh) | 数据实体和关系数据库结构显示的管理系统和方法 | |
| JP2003330964A (ja) | データベース・システム | |
| CN1139489A (zh) | 加速计算机数据库事务处理的装置 | |
| CN102693286B (zh) | 一种对文件内容与元数据进行组织管理的方法 | |
| CN101063978A (zh) | 文件系统管理装置 | |
| EP1256896A2 (en) | "A plant information management system" | |
| CN102231155A (zh) | 三维地震数据管理及组织方法 | |
| CN108153812A (zh) | 数据通信的方法、装置、计算机设备及存储介质 | |
| CN101587484B (zh) | 一种基于T-lt树的主存数据库的索引方法 | |
| CN1540523A (zh) | 单任务快速缓冲读写方法 | |
| WO2015168988A1 (zh) | 一种数据索引创建方法、装置及计算机存储介质 | |
| CN101975058B (zh) | 一种测井曲线数据的检索方法及装置 | |
| CN102253947B (zh) | 可渐进传输的矢量数据聚集化存储与访问的方法 | |
| CN115658693A (zh) | 一种适用于海量栅格瓦片数据的高效优化存储方法 | |
| EP4016320A1 (en) | A hybrid shadow paging for storing a database | |
| CN114647633A (zh) | 创建数据库状态树 | |
| Karayannidis et al. | SISYPHUS: A Chunk-Based Storage Manager for OLAP Cubes. | |
| Christodoulakis et al. | File organizations and access methods for CLV disks | |
| CN1409223A (zh) | 计算机系统及访问文件系统的方法 | |
| US7672982B2 (en) | Systems, methods, and computer-usable medium for defragmenting a windows NT file system volume | |
| Riedewald et al. | Accessing scientific data: Simpler is better |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C19 | Lapse of patent right due to non-payment of the annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |