CN105843939A - 一种数据存储方法及装置 - Google Patents

Abstract

本发明公开了一种数据存储方法及装置，获取采集数据；将所述采集数据划分为至少一个采集数据子集，每个采集数据子集对应一种数据源类型，各个采集数据子集对应的数据源类型的种类不同；将每个采集数据子集中的采集数据划分为至少一个采集点子集，每个采集点子集对应一个数据采集点，各个采集点子集对应的数据采集点不同；去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据；将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中，所述数据容器为按照预设规则划分的存储空间。通过上述方法和装置，只存储有效数据，能够有效利用存储空间。

Description

一种数据存储方法及装置

技术领域

本发明涉及数据存储技术领域，更具体的说，是涉及一种数据存储方法及装置。

背景技术

在现有的计算机仿真和测试过程中，对于传感器或仪表测量值的采集记录要求越来越多，例如：开关量、模拟量、离散量、温度值、电压值等，此类信息的采集大多具有较多的采集点，但又都具有时间周期特性。目前，多采用传统的数据存储方法对此类信息进行存储，具体的，对采集点进行编号，按照采集编号、数据类型、时间戳、采集值等信息作为一组完整信息进行记录，统一顺序记录为数据文件或者存储到关系型数据库中。

可是，传统的数据存储方法，是将采集编号、数据类型、时间戳、采集值等信息统一放置到数据记录表中的一行，其缺点是，存储了较多的重复信息，造成了存储空间的浪费。以表1所示的传统数据记录表格式中所示的第1行和第4行数据为例，其采集编号(0001)和部分时间戳(2014-02-06-12:20:30)则为重复信息。

表1传统数据记录表格式

采集编号	时间戳	采集值1	采集值2
				0001	2014-02-06-12:20:30.00	10.8	15.8
0002	2014-02-06-12:20:30.10	100	110
				0003	2014-02-06-12:20:30.00	12.22	13.82
0001	2014-02-06-12:20:30.15	10.5	11.25
				0003	2014-02-06-12:20:30.50	12.08	13.25
0002	2014-02-06-12:20:30.20	120	130

发明内容

有鉴于此，本发明提供了一种数据存储方法，以克服现有技术中由于采用传统的数据存储方法存储了较多的重复信息而导致的存储空间浪费的问题。

为实现上述目的，本发明提供如下技术方案：

一种数据存储方法，所述方法包括：

获取采集数据；

将所述采集数据划分为至少一个采集数据子集，每个采集数据子集对应一种数据源类型，各个采集数据子集对应的数据源类型的种类不同；

将每个采集数据子集中的采集数据划分为至少一个采集点子集，每个采集点子集对应一个数据采集点，各个采集点子集对应的数据采集点不同；

去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据；

将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中，所述数据容器为按照预设规则划分的存储空间。

优选的，在所述将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中之前，所述方法还包括：

将每个采集点子集中的有效数据转换成二进制形式。

优选的，所述去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据，包括：

去除每个采集点子集中重复的该采集点子集对应的数据采集点的编号，使所述每个采集点子集中只保留一个该采集点子集对应的数据采集点的编号、采集时间序列以及采集值序列。

优选的，所述去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据，还包括：

去除所述采集时间序列中除起始采集时间之外的其余采集时间并计算采集周期，使所述每个采集子集中只保留一个该采集点子集对应的数据采集点的编号、起始采集时间、采集周期以及采集值序列。

一种数据存储装置，所述装置包括：

采集单元，用于获取采集数据；

采集数据子集划分单元，用于将所述采集数据划分为至少一个采集数据子集，每个采集数据子集对应一种数据源类型，各个采集数据子集对应的数据源类型的种类不同；

采集点子集划分单元，用于将每个采集数据子集中的采集数据划分为至少一个采集点子集，每个采集点子集对应一个数据采集点，各个采集点子集对应的数据采集点不同；

数据筛选单元，用于去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据；

数据存储单元，用于将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中，所述数据容器为按照预设规则划分的存储空间。

优选的，所述装置还包括：

数据转换单元，用于在所述将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中之前，将每个采集点子集中的有效数据转换成二进制形式。

优选的，所述数据筛选单元具体用于：

去除每个采集点子集中重复的该采集点子集对应的数据采集点的编号，使所述每个采集点子集中只保留一个该采集点子集对应的数据采集点的编号、采集时间序列以及采集值序列。

优选的，所述数据筛选单元还具体用于：

去除所述采集时间序列中除起始采集时间之外的其余采集时间并计算采集周期，使所述每个采集子集中只保留一个该采集点子集对应的数据采集点的编号、起始采集时间、采集周期以及采集值序列。

经由上述的技术方案可知，与现有技术相比，本发明公开了一种数据存储方法及装置，获取采集数据；将所述采集数据划分为至少一个采集数据子集，每个采集数据子集对应一种数据源类型，各个采集数据子集对应的数据源类型的种类不同；将每个采集数据子集中的采集数据划分为至少一个采集点子集，每个采集点子集对应一个数据采集点，各个采集点子集对应的数据采集点不同；去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据；将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中，所述数据容器为按照预设规则划分的存储空间。通过上述方法和装置，只存储有效数据，能够有效利用存储空间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种数据存储方法的流程示意图；

图2为本发明实施例公开的一种存储介质示意图；

图3为本发明实施例公开的一种数据存储装置的结构示意图；

图4为本发明实施例公开的另一种数据存储装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本发明的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

由背景技术可知，传统的数据存储方法，是将采集编号、数据类型、时间戳、采集值等信息统一放置到数据记录表中的一行，其缺点是，存储了较多的重复信息，造成了存储空间的浪费。

为此，本发明公开了一种数据存储方法及装置，获取采集数据；将所述采集数据划分为至少一个采集数据子集，每个采集数据子集对应一种数据源类型，各个采集数据子集对应的数据源类型的种类不同；将每个采集数据子集中的采集数据划分为至少一个采集点子集，每个采集点子集对应一个数据采集点，各个采集点子集对应的数据采集点不同；去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据；将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中，所述数据容器为按照预设规则划分的存储空间。通过上述方法和装置，只存储有效数据，能够有效利用存储空间。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

请参阅附图1，为本发明实施例公开的一种数据存储方法的流程示意图，该方法包括如下步骤：

S101：获取采集数据。

在本步骤中，可同时获取多个数据采集点的采集数据。

S102：将所述采集数据划分为至少一个采集数据子集，每个采集数据子集对应一种数据源类型，各个采集数据子集对应的数据源类型的种类不同。

上述多个数据采集点可能归属于多个不同的数据源类型，据此，将所述采集数据划分为至少一个采集数据子集，每个采集数据子集对应一种数据源类型，各个采集数据子集对应的数据源类型的种类不同。

需要说明的是，数据源类型是定义相对宏观的数据模块，以汽车电子领域为例，汽车的底盘、发动机、油箱等功能模块可以分别看作是独立的数据源类型。

S103：将每个采集数据子集中的采集数据划分为至少一个采集点子集，每个采集点子集对应一个数据采集点，各个采集点子集对应的数据采集点不同。

由于数据源类型的定义较为宏观，故每个数据源类型可根据其功能特点将其分成若干个区域，每个区域对应一个数据采集点。据此，将每个采集数据子集中的采集数据划分为至少一个采集点子集，每个采集点子集对应一个数据采集点，各个采集点子集对应的数据采集点不同。

S104：去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据。

每个采集点子集中包括同一个数据采集点的多个采集信息，采集信息中包括冗余数据，在本步骤中，去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据。

S105：将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中，所述数据容器为按照预设规则划分的存储空间。

需要说明的是，在存储介质上，按照地址进行分区为每一个数据源类型，定义一个存储段，每个存储段称之为一个数据容器。在本实施例中，将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中。

本实施例公开了一种数据存储方法，获取采集数据；将所述采集数据划分为至少一个采集数据子集，每个采集数据子集对应一种数据源类型，各个采集数据子集对应的数据源类型的种类不同；将每个采集数据子集中的采集数据划分为至少一个采集点子集，每个采集点子集对应一个数据采集点，各个采集点子集对应的数据采集点不同；去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据；将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中，所述数据容器为按照预设规则划分的存储空间。通过上述方法，只存储有效数据，能够有效利用存储空间。

在上述本发明公开的实施例的基础上，本发明中，在将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中之前，还可将每个采集点子集中的有效数据的形式进行转换，优选的可将每个采集点子集中的有效数据转换成二进制形式，能够保证数据存储的效率最高。

另外，在本发明中，还公开了去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据的具体实现方式，具体如下：

去除每个采集点子集中重复的该采集点子集对应的数据采集点的编号，使所述每个采集点子集中只保留一个该采集点子集对应的数据采集点的编号、采集时间序列以及采集值序列，其中，所述采集时间序列由多个采集时间按照时间先后组成，所述采集值序列由多次采集该采集点子集对应的数据采集点的采集值按采集时间先后组成。

进一步的，还可去除所述采集时间序列中除起始采集时间之外的其余采集时间并计算采集周期，使所述每个采集子集中只保留一个该采集点子集对应的数据采集点的编号、起始采集时间、采集周期以及采集值序列。

以表1所示的传统数据记录表格式为基准，采用本发明公开的数据存储方法，生成的数据记录表格式可如表2所示。

表2本发明数据记录表格式

以表2中的第一行数据为例：编号0001指的是数据来源为数据源1的区域1，该区域的数据是按照时间周期进行采集，当第一次采集到区域1的数据时，记录采集的起始时间，同时，将该区域的所有采集值以序列形式保存；然后当第二次采集到区域1的数据时，首先判断该数据的编号，如果同样是0001，则只保存采集值，不保存编号；其次记录当前采集时间，通过当前采集时间与起始时间，计算出采集周期，然后将采集的起始时间与采集周期组成时间戳信息，同时，保存第二次采集到的所有采集值。

如图2所示，为本发明实施例公开的一种存储介质示意图。图2中的数据容器A，其起始信息(时间起始信息A)的地址为0，内容包含表2中第1行的时间信息，数据序列A1、A2……即为表2中第1行中的采集值序列，采集值序列对来自某一个数据源的某一个区域的采集值的总和；

同理地，图2中的数据容器B的即对应着表2中的第2行数据，其起始信息B对应的物理地址与数据容器A的长度有关，即与每个数据容器定义的数据序列数据量有关。

每一个数据序列都有一个唯一对应的物理存储空间地址信息，如图2中，数据容器A的起始信息地址为0，数据容器B的起始信息地址为0X20000，数据容器C的起始信息地址为0X30000，各数据容器中的具体采集值序列所在地址是基于起始地址以及采集值序列记录的序号推导得出的。

数据存储文件按照要存储的数据容器进行划分，如果一个数据文件存储满后，则可以根据数据容器类型在重新创建数据文件，以此类推。

上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种数据存储装置，下面给出具体的实施例进行详细说明。

请参阅附图3，为本发明实施例公开的一种数据存储装置的结构示意图，该装置包括如下单元：

采集单元11，用于获取采集数据；

采集数据子集划分单元12，用于将所述采集数据划分为至少一个采集数据子集，每个采集数据子集对应一种数据源类型，各个采集数据子集对应的数据源类型的种类不同；

采集点子集划分单元13，用于将每个采集数据子集中的采集数据划分为至少一个采集点子集，每个采集点子集对应一个数据采集点，各个采集点子集对应的数据采集点不同；

数据筛选单元14，用于去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据；

需要说明的是，所述数据筛选单元具体用于：

去除每个采集点子集中重复的该采集点子集对应的数据采集点的编号，使所述每个采集点子集中只保留一个该采集点子集对应的数据采集点的编号、采集时间序列以及采集值序列。

进一步的，所述数据筛选单元还具体用于：

去除所述采集时间序列中除起始采集时间之外的其余采集时间并计算采集周期，使所述每个采集子集中只保留一个该采集点子集对应的数据采集点的编号、起始采集时间、采集周期以及采集值序列。

数据存储单元15，用于将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中，所述数据容器为按照预设规则划分的存储空间。

请参阅附图4，为本发明实施例公开的另一种数据存储装置的结构示意图，该装置还包括如下单元：

数据转换单元16，用于在所述将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中之前，将每个采集点子集中的有效数据转换成二进制形式。

需要说明的是，上述各个单元的具体功能实现已在方法实施例中详细说明，装置部分不再赘述。

综上所述，本发明公开了一种数据存储方法及装置，获取采集数据；将所述采集数据划分为至少一个采集数据子集，每个采集数据子集对应一种数据源类型，各个采集数据子集对应的数据源类型的种类不同；将每个采集数据子集中的采集数据划分为至少一个采集点子集，每个采集点子集对应一个数据采集点，各个采集点子集对应的数据采集点不同；去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据；将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中，所述数据容器为按照预设规则划分的存储空间。通过上述方法和装置，只存储有效数据，能够有效利用存储空间。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种数据存储方法，其特征在于，所述方法包括：

获取采集数据；

将所述采集数据划分为至少一个采集数据子集，每个采集数据子集对应一种数据源类型，各个采集数据子集对应的数据源类型的种类不同；

将每个采集数据子集中的采集数据划分为至少一个采集点子集，每个采集点子集对应一个数据采集点，各个采集点子集对应的数据采集点不同；

去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据；

将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中，所述数据容器为按照预设规则划分的存储空间。

2.根据权利要求1所述的方法，其特征在于，在所述将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中之前，所述方法还包括：

将每个采集点子集中的有效数据转换成二进制形式。

3.根据权利要求1所述的方法，其特征在于，所述去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据，包括：

去除每个采集点子集中重复的该采集点子集对应的数据采集点的编号，使所述每个采集点子集中只保留一个该采集点子集对应的数据采集点的编号、采集时间序列以及采集值序列。

4.根据权利要求3所述的方法，其特征在于，所述去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据，还包括：

去除所述采集时间序列中除起始采集时间之外的其余采集时间并计算采集周期，使所述每个采集子集中只保留一个该采集点子集对应的数据采集点的编号、起始采集时间、采集周期以及采集值序列。

5.一种数据存储装置，其特征在于，所述装置包括：

采集单元，用于获取采集数据；

采集数据子集划分单元，用于将所述采集数据划分为至少一个采集数据子集，每个采集数据子集对应一种数据源类型，各个采集数据子集对应的数据源类型的种类不同；

采集点子集划分单元，用于将每个采集数据子集中的采集数据划分为至少一个采集点子集，每个采集点子集对应一个数据采集点，各个采集点子集对应的数据采集点不同；

数据筛选单元，用于去除每个采集点子集中的冗余数据，使所述每个采集点子集中只保留有效数据；

数据存储单元，用于将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中，所述数据容器为按照预设规则划分的存储空间。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

数据转换单元，用于在所述将每个采集点子集中的有效数据存储至与该采集点子集对应的数据容器中之前，将每个采集点子集中的有效数据转换成二进制形式。

7.根据权利要求5所述的装置，其特征在于，所述数据筛选单元具体用于：

去除每个采集点子集中重复的该采集点子集对应的数据采集点的编号，使所述每个采集点子集中只保留一个该采集点子集对应的数据采集点的编号、采集时间序列以及采集值序列。

8.根据权利要求7所述的装置，其特征在于，所述数据筛选单元还具体用于：

去除所述采集时间序列中除起始采集时间之外的其余采集时间并计算采集周期，使所述每个采集子集中只保留一个该采集点子集对应的数据采集点的编号、起始采集时间、采集周期以及采集值序列。