CN102609336A - 数据管理方法及系统 - Google Patents

Abstract

本发明涉及数据管理技术领域，提供了一种数据管理方法及系统。该方法包括步骤：判断设备中备份参数区和系统参数区是否已创建，若未创建则首先创建各参数区，随后进行参数区数据的创建；若已创建则进行参数区初始化；最后，对设备进行数据的读写操作。本发明的方案使用OAM配置文件对保存的数据进行方便快捷的管理，不但可以修改数据还可以任意添加或删除数据，在某些特定的情况还可以限制数据的修改。此外，本发明还保证了数据写入时的安全性和完整性，提高了数据的读取效率，其通用性好，实现了平台无关性，可以适应任意终端平台。

Description

数据管理方法及系统

技术领域

本发明涉及数据管理技术领域，特别涉及一种数据管理方法及系统。

背景技术

随着信息技术的飞速发展和广泛应用，尤其是随着移动存储介质的出现，原本只有计算机等大型终端上才具有的数据存储、文件处理等功能也逐渐可在小型终端或普通家电终端上实现了。移动存储介质因通用性强、存储量大、体积小、易携带等特点在日常工作中得到了广泛使用，让人们可以非常方便地记录和分享信息，已成为很多终端设备不可缺少的组件。

比如在手机、PDA、相机、平板电脑等数码产品中或是智能电视、机顶盒等家电终端上，非易失性存储卡已得到了广泛的应用，为数据的保存和信息分享带来了极大便利。但是由于这些终端的软硬件性能远没有大型计算设备强大，同时非易失性存储卡的文件系统也与普通磁盘(如硬盘等)存在很大区别，对终端的数据管理(如数据操作、文件管理以及系统维护等)的效果往往对终端性能有很大影响。其中，终端的数据管理主要用于对系统中通用数据的管理，通过统一的数据管理减少了数据的冗余，提高了数据共享程度。对于每一个终端来说，拥有一套好的数据管理方法可以保证数据的独立性、可靠性、安全性和完整性。

然而，在实现本发明过程中，发明人发现，由于现有终端通常采用闪速存储器作为存储介质，数据管理技术的侧重点大都在如何保证对闪速存储器写入数据、同步更新描述信息时不会因为断电等意外事故造成闪速存储器中数据的损坏或丢失，却忽略了数据管理的灵活性和便捷性。此外，现有技术中对闪速存储器的数据管理虽然可以做到数据的修改，但是不能做到数据的任意添加和删除，更不能做到在某些特定的情况下限制数据的修改。

现有的数据管理方法通常是利用多重索引节点进行管理的技术。具体地，在闪速存储器文件系统中，将索引节点的结构分为两种：把另存过程中经常发生原位更新的部分定义为新类型的索引节点的第1过程；为了支持数据的修改，把变更的信息值分类为规定形式，再把其附加在新类型的索引节点的第2过程。将占写(write)或程序演算大部分的存储数据的索引节点分为两个类型，为了另外保存经常发生原位更新的部分而定义新类型索引节点的闪速存储器文件系统的数据管理方法。为了支持数据修改，使用三角锁定手法，把变更的信息值分为日志形式，将其附加到新的索引节点上，从而支持闪速存储器修改数据并进一步提高了闪速存储器的性能。

可以看出，为保证对闪速存储器写入数据、同步更新描述信息时数据的安全性和完整性，现有技术通常将闪速存储器的数据读入外部内存，在内存中将读入的数据处理成需要写入闪速存储器的数据；此外，对闪速存储器数据管理采用交换区、备份数据区和数据区等多个分区，将闪速存储器的交换区作为存储数据的二级备份区，当数据写入备份数据区或/和数据区发生意外事故导致数据被破坏时，可从交换区读取数据后，恢复备份数据区或/和数据区的数据。

但是现有技术的处理方式存在着一些明显缺陷：

①现有发明的侧重点大都在数据的恢复机制上面，却忽略了数据管理的灵活性和便捷性，虽然可以做到数据的修改，但是不能做到数据的任意添加和删除。

②采用节点管理，数据的读取效率较低。

③大都没有规定数据的存储类型，不能根据数据实际情况合理的进行存储，节省存储空间。

④不能根据某种特定情况限制数据的修改，例如：数据存储区的创建或工厂状态下限制某些数据的修改，以免造成系统状态不正确的情况发生。

发明内容

(一)要解决的技术问题

针对现有技术的缺点，本发明为了解决现有技术中数据管理方式不灵活、效率低下的问题，提出了一种数据管理方法及系统，通过建立系统参数区和备份参数区，利用预置的配置文件对存储数据进行管理。

(二)技术方案

为了实现上述目的，一方面，本发明提供了一种数据管理方法，所述方法包括步骤：S1，判断设备中备份参数区和系统参数区是否已创建，若未创建则首先创建各参数区，随后执行步骤S2；若已创建则执行步骤S3；

S2，进行参数区数据的创建，根据内存数组中预存的数据存储类型或各参数区的情况将相应数据写入缓存后执行步骤S4；

S3，参数区初始化，根据内存数组中数据存储类型和各参数区的情况将相应数据写入缓存后执行步骤S4；

S4，对设备进行数据的读写操作。

另一方面，本发明还同时提供一种数据管理系统，所述系统包括：参数区创建模块，用于判断设备中备份参数区和系统参数区是否已创建，若未创建则首先创建各参数区，随后交由数据创建模块进行处理；若已创建则由参数区初始化模块对参数区进行处理；

数据创建模块，用于进行参数区数据的创建，根据内存数组中预存的数据存储类型或各参数区的情况将相应数据写入缓存后，由数据操作模块对数据进行操作；

参数区初始化模块，用于对参数区初始化，根据内存数组中数据存储类型和各参数区的情况将相应数据写入缓存后，由数据操作模块对数据进行操作；

数据操作模块，对设备进行数据的读写操作。

(三)有益效果

本发明的方案中，使用OAM配置文件对保存的数据进行方便快捷的管理，通过查询和修改配置文件的配置项不但可以修改数据还可以任意添加或删除数据；通过修改配置文件的配置项，在某些特定的情况还可以限制数据的修改。此外，本发明提供了一套完善的数据恢复机制，保证了数据写入时的安全性和完整性；通过配置文件规定的偏移量将所有数据从备份参数区和系统参数区中导入内存来提高数据的读取效率。最后，本发明的方案通用性好，实现了平台无关性，可以适应任意终端平台。

附图说明

图1为本发明的实施例中数据管理方法的处理流程示意图；

图2为本发明的实施例中参数区数据创建过程的流程示意图；

图3为本发明的实施例中参数区初始化过程的流程示意图；

图4为本发明的实施例中从参数区读数据的流程示意图；

图5为本发明的实施例中写数据操作的流程示意图；

图6为本发明的实施例中写入数据的存储流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的实施例中，使用配置文件对保存的数据进行管理，通过查询和修改配置文件的配置项不但可以修改数据还可以任意添加或删除数据。具体地，参见图1，本发明实施例的方法包括步骤：

S1，判断设备中备份参数区和系统参数区是否已创建，若未创建则首先创建各参数区，随后执行步骤S2；若已创建则执行步骤S3；

S2，进行参数区数据的创建，根据内存数组中预存的数据存储类型或各参数区的情况将相应数据写入缓存后执行步骤S4；

S3，参数区初始化，根据内存数组中数据存储类型和各参数区的情况将相应数据写入缓存后执行步骤S4；

S4，对设备进行数据的读写操作。

进一步地，在步骤S1前还包括步骤：S0，设备加载时判断设备状态，如果是新设备则按规定的偏移量向备份参数区中写入设备信息。

上述步骤S0中，若判断出设备是刚出厂的设备则进入工厂状态，工厂软件就会按照规定的偏移量向备份参数区中写如下几个值：

mac_id     //Mac地址

device_id  //设备ID

device_flag//出厂标志

若判断出是已经出厂的设备，则直接执行步骤S1。

步骤S1中，判断备份参数区和系统参数区是否已经创建。如果备份参数区和系统参数区没有被创建则创建各参数区，创建成功后进入步骤S2的参数区数据创建流程，创建失败则直接退出数据管理进程。

如果备份参数区和系统参数区已经存在则进入步骤S3的参数区初始化流程。

其中，步骤S2中内存数组中的信息由配置文件预存的默认值导入。

步骤S3中，根据OAM(Operation Administration Maintenance，即对数据的操作、管理以及维护)配置文件当中的各个配置项将参数区当中的数据按照规则全部读入内存数组，同时判断OAM配置文件中的删除标志配置项，如果此标志被置位，则不需将此数据导入内存。

如果需要增加新的数据可以按照以下OAM配置文件的格式添加新的数据，这样在OAM启动时，就会从OAM配置文件中将新添数据一并读入内存，并将新添数据的默认值写入参数区，随后就可以进行新数据的读取和修改了。

OAM配置文件格式说明：

第一级子节点表示数据的存储类型。

数据存储类型分为以下几种(IMP：important，GER：general，TMP：temporary)：

OAM_ONLY_TMP：只保存在缓存中，可读可写；

OAM_ONLY_GER：只保存在系统参数区中，可读可写；

OAM_BOTH_IMP_GER：既保存在备份参数区中又保存在系统参数区中，可读可写；

OAM_ONLY_IMP：只保存在备份参数区中，可读可写。

第二级子节点描述对应存储类型下具体数据的各个属性。

第二级子节点的格式说明如下：

数据名称|默认值|当前值|偏移量|长度|删除标志|OAM数据类型|创建初始化时备份参数区的值是否可写标志|恢复出厂时数据是否可恢复为默认值标志|新值标志

其中，OAM数据类型具体包括：0：INT类型、1：STRING类型、2：IP地址类、3：DEVICE ID类；

创建初始化时备份参数区的值是否可写标志(针对OAM创建时不需要修改的数据)：0：可以修改、1：不可以修改；

恢复出厂时数据是否可恢复为默认值标志(针对出厂时不需要OAM恢复的数据)：0：可以恢复、1：不可以恢复；

删除标志：1：表示此数据已被删除；

新值标志：1：表示此数据为新增数据。

更进一步地，参见图2，OAM参数区的数据创建过程的步骤S2为：

打开备份参数区，读取备份参数区中的出厂标志：

a)如果出厂标志显示为刚出厂机顶盒，则同时对系统参数区和备份参数区中的数据进行初始处理：

①如果内存数组中预存的数据存储类型是OAM_ONLY_GER，则将相应的默认值按照OAM规定的偏移量依次写到系统参数区，并同时写入缓存；

②如果内存数组中预存的数据存储类型是OAM_BOTH_IMP_GER，检查OAM配置文件中“创建初始化时备份参数区的值是否可写标志”的配置项，如果该项未被置位则将相应的默认值按照OAM规定的偏移量依次写到系统参数区和备份参数区，并同时写入缓存；如果该项被置位则使用备份参数区当中的数据初始化系统参数区中相应的数据，并同时写入缓存；

③如果内存数组中预存的数据存储类型是OAM_ONLY_TMP，则直接将默认值依次写入缓存；

④如果内存数组中预存的数据存储类型是OAM_ONLY_IMP，检查OAM配置文件中“创建初始化时备份参数区的值是否可写标志”的配置项，如果该项未被置位则将相应的默认值按照OAM规定的偏移量依次写到备份参数区，并同时写入缓存；如果该项被置位则使用备份参数区当中的数据初始化缓存；

b)如果出厂标志显示为已经出厂的机顶盒，并且无法从系统参数区读取数据，则进行系统参数区的数据的恢复：

①对于存储方式是OAM_BOTH_IMP_GER的数据，将备份参数区中的数据刷新到系统参数区，并同时写入缓存；

②对于存储方式为OAM_ONLY_GER的数据，用默认值恢复系统参数区，并同时写入缓存；

③对于存储方式为OAM_ONLY_TMP的数据，用默认值写入缓存。

再参见图3，OAM参数区初始化过程的步骤S3具体为：

a)对于存储类型是OAM_ONLY_GER的数据、或者在备份参数区损坏的情况下存储类型是OAM_BOTH_IMP_GER的数据进行初始化：

①读取OAM配置文件的新值标志的配置项，判断是否是新增数据；

②如果不是新增数据，则从系统参数区将数据读入缓存；

③如果是新增数据，则以默认值写入系统参数区，并将该值读入缓存；

b)在备份参数区完好无损的情况下，对于存储类型是OAM_BOTH_IMP_GER的数据进行初始化：

①读取OAM配置文件的新值标志的配置项，判断是否是新增数据；

②如果不是，则比较存储在系统参数区和备份参数区当中的数据，如果数据不一致，则使用备份参数区当中的数据刷新系统参数区的数据并将该值读入缓存；如果一致则直接将该值读入缓存；

③如果是，则将默认值写入系统参数区和备份参数区，并将该值写入缓存；

c)对于存储类型是OAM_ONLY_TMP的数据，直接使用默认值写入缓存。

其中，上述步骤S3中，从系统参数区或备份参数区读数据(S3中步骤a或b中第②步)的流程如图4所示：

此流程中，首先通过数据名称从配置文件中获取要读取参数的偏移量和长度，通过数据名称获取存储参数的OAM存储数据类型，从系统参数区或备份参数区读数据，根据OAM规定的几种数据类型(整数型、字符串类型、IP类型、DEVICE类型以及版本类型)，将读出的参数转换为字符串并返回给调用者。

在本发明中对数据的操作包括读、写、修改、添加或删除，或限制数据的修改等。其中，添加或删除数据是在参数初始化过程中完成的，限制数据的修改是在数据创建过程和/或恢复出厂设置过程中完成的。具体地，步骤S4中，写OAM的过程如图5所示：

①判断写入的数据与已经存在的数据是否相等，如果相等则直接返回成功，不需重写OAM；

②如果不相等，则根据要写数据的存储类型，写入相应的参数区；

如果要写数据的存储类型是OAM_ONLY_IMP，则将数据写入备份参数区并将该值写入缓存；

如果要写数据的存储类型是OAM_ONLY_GER，则将数据写入系统参数区并将该值写入缓存；

如果要写数据的存储类型是OAM_BOTH_IMP_GER，则分别将数据写入系统参数区和备份参数区，并将该值写入缓存；

③如果要写的数据是日志级别，直接使用该值设置当前程序的日志级别，并按步骤②的方式将数据写入参数区和缓存。

向备份参数区或者系统参数区写数据流程：

在写数据过程中，更进一步地参见图6，写入数据的存储过程为：根据数据的实际大小合理的进行存储：具体地，首先通过数据名称从配置文件中获取要存储参数的偏移量和长度，通过数据名称获取存储参数的OAM存储数据类型，随后根据数据的不同将其转化为OAM中规定的相应数据类型(包括：整数型、字符串类型、IP类型、DEVICE类型以及版本类型)，然后根据配置文件中描述的偏移量将其线性的存入系统参数区和/或备份参数区中。

本发明规定了几种特定的数据存储类型，可根据数据的实际情况合理的进行存储，但本发明不是根据数据的大小选择存储器类型，而是根据数据的不同将其转化为OAM中规定的相应数据类型，然后根据配置文件中定义的偏移量将其线性的存入系统参数区和备份参数区中。根据偏移量来定位数据同样可以保证保存数据的读取效率。

读OAM的过程为：

直接从缓存中读取数据，原因如下：

①在OAM初始化时已经将参数区中所有正确的数据倒进缓存。

②在写OAM参数区时也会同时将写入的数据写进缓存因此，当前缓存中存储的都是实时的、正确的数据，更重要的是这种读取方式是非常快速的。

此外，本发明中还包括恢复出厂设置的操作，用于将OAM恢复默认值，即将存储方式为OAM_ONLY_GER和OAM_BOTH_IMP_GER的数据恢复为默认值(除了在OAM内存数组中恢复出厂时数据是否可恢复为默认值标志被置位的数据)。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种数据管理系统，该系统通常以与方法各步骤相对应的功能模块的形式表示；所述系统包括：

参数区创建模块，用于判断设备中备份参数区和系统参数区是否已创建，若未创建则首先创建各参数区，随后交由数据创建模块进行处理；若已创建则由参数区初始化模块对参数区进行处理；

数据创建模块，用于进行参数区数据的创建，根据内存数组中预存的数据存储类型或各参数区的情况将相应数据写入缓存后，由数据操作模块对数据进行操作；

参数区初始化模块，用于对参数区初始化，根据内存数组中数据存储类型和各参数区的情况将相应数据写入缓存后，由数据操作模块对数据进行操作；

数据操作模块，对设备进行数据的读写操作。

进一步地，所述系统还包括：出厂设置模块，用于在设备加载时判断设备状态，如果是新设备则按规定的偏移量向备份参数区中写入设备信息。

此外，数据创建模块、参数区初始化模块、数据操作模块的处理过程同上述方法中对步骤S2-S4的进一步说明，在此不再赘述。

本发明的系统中，各模块的函数接口采用与平台无关接口和通用的C语言接口，只要实现各模块需要的移植层代码和指定系统参数区和备份参数区，因而本发明的系统可以移植到任何一个平台上，实现了平台无关性。

采用本发明的方案，具有以下明显优势：

①可使用OAM配置文件对保存的数据进行方便快捷的管理，即：可任意添加或删除数据。

②规定了几种特定的数据存储类型，可根据数据的实际情况合理的进行存储。

③可根据某些特定的情况限制数据的读写。包括：数据存储区的创建或工厂状态下限制某些数据的写入。

④有比较完善的数据恢复机制。

⑤数据管理方法的通用性非常好，可以适应任意终端平台。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的发明保护范围应由权利要求限定。

Claims (10)

1.一种数据管理方法，其特征在于，所述方法包括步骤：

S1，判断设备中备份参数区和系统参数区是否已创建，若未创建则首先创建各参数区，随后执行步骤S2；若已创建则执行步骤S3；

S2，进行参数区数据的创建，根据内存数组中预存的数据存储类型或各参数区的情况将相应数据写入缓存后执行步骤S4；

S3，参数区初始化，根据内存数组中数据存储类型和各参数区的情况将相应数据写入缓存后执行步骤S4；

S4，对设备进行数据的读写操作。

2.根据权利要求1所述的方法，其特征在于，在步骤S1前还包括步骤：S0，设备加载时判断设备状态，如果是新设备则按规定的偏移量向备份参数区中写入设备信息。

3.根据权利要求1所述的方法，其特征在于，步骤S2中，所述内存数组中的信息由配置文件预存的默认值导入；

步骤S3中，所述内存数组中的信息根据配置文件中的各配置项将参数区数据按照规则全部导入；其中，导入的同时判断配置文件中的删除标志配置项，如果此标志被置位，则不需将对应数据导入内存数组；如果存在新增加数据，则直接从配置文件中将新增加数据一并导入内存数组，并将新增加数据的默认值写入参数区。

4.根据权利要求1或3所述的方法，其特征在于，步骤S2的具体过程为：打开备份参数区，读取备份参数区中的出厂标志并判断：

a)如果出厂标志显示为刚出厂机顶盒，则同时对系统参数区和备份参数区中的数据进行初始处理：

①如果内存数组中预存的数据存储类型是OAM_ONLY_GER，则将相应的默认值按照OAM规定的偏移量依次写到系统参数区，并同时写入缓存；

②如果内存数组中预存的数据存储类型是OAM_BOTH_IMP_GER，检查OAM配置文件中“创建初始化时备份参数区的值是否可写标志”的配置项，如果该项未被置位则将相应的默认值按照OAM规定的偏移量依次写到系统参数区和备份参数区，并同时写入缓存；如果该项被置位则使用备份参数区当中的数据初始化系统参数区中相应的数据，并同时写入缓存；

③如果内存数组中预存的数据存储类型是OAM_ONLY_TMP，则直接将默认值依次写入缓存；

④如果内存数组中预存的数据存储类型是OAM_ONLY_IMP，检查OAM配置文件中“创建初始化时备份参数区的值是否可写标志”的配置项，如果该项未被置位则将相应的默认值按照OAM规定的偏移量依次写到备份参数区，并同时写入缓存；如果该项被置位则使用备份参数区当中的数据初始化缓存；

b)如果出厂标志显示为已经出厂的机顶盒，并且无法从系统参数区读取数据，则进行系统参数区的数据的恢复：

①对于存储方式是OAM_BOTH_IMP_GER的数据，将备份参数区中的数据刷新到系统参数区，并同时写入缓存；

②对于存储方式为OAM_ONLY_GER的数据，用默认值恢复系统参数区，并同时写入缓存；

③对于存储方式为OAM_ONLY_TMP的数据，用默认值写入缓存。

5.根据权利要求1或3所述的方法，其特征在于，步骤S3具体过程为：

a)对于存储类型是OAM_ONLY_GER的数据、或者在备份参数区损坏的情况下存储类型是OAM_BOTH_IMP_GER的数据进行初始化：

①读取OAM配置文件的新值标志的配置项，判断是否是新增数据；

②如果不是新增数据，则从系统参数区将数据读入缓存；

③如果是新增数据，则以默认值写入系统参数区，并将该值读入缓存；

b)在备份参数区完好无损的情况下，对于存储类型是OAM_BOTH_IMP_GER的数据进行初始化：

①读取OAM配置文件的新值标志的配置项，判断是否是新增数据；

②如果不是，则比较存储在系统参数区和备份参数区当中的数据，如果数据不一致，则使用备份参数区当中的数据刷新系统参数区的数据并将该值读入缓存；如果一致则直接将该值读入缓存；

③如果是，则将默认值写入系统参数区和备份参数区，并将该值写入缓存；

c)对于存储类型是OAM_ONLY_TMP的数据，直接使用默认值写入缓存。

6.根据权利要求1所述的方法，其特征在于，步骤S4中，数据的写操作过程为：

①判断写入的数据与已经存在的数据是否相等，如果相等则直接返回成功，不需重写OAM；

②如果不相等，则根据要写数据的存储类型，写入相应的参数区；

如果要写数据的存储类型是OAM_ONLY_IMP，则将数据写入备份参数区并将该值写入缓存；

如果要写数据的存储类型是OAM_ONLY_GER，则将数据写入系统参数区并将该值写入缓存；

如果要写数据的存储类型是OAM_BOTH_IMP_GER，则分别将数据写入系统参数区和备份参数区，并将该值写入缓存；

③如果要写的数据是日志级别，直接使用该值设置当前程序的日志级别，并按步骤②的方式将数据写入参数区和缓存。

7.根据权利要求1所述的方法，其特征在于，步骤S4中，数据的读操作时直接从缓存中读取数据。

8.根据权利要求1所述的方法，其特征在于，数据分为多种不同存储类型，重要数据同时存入系统参数区和备份参数区，所述方法还包括数据恢复步骤：

当系统参数区当中的数据丢失或者不完全时，使用备份参数区中的数据恢复系统参数区当中的数据；

如果系统参数区与备份参数区的数据不相等，使用备份参数区当中的数据纠正系统参数区的数据；

当备份参数区无法读取数据时，全部数据以系统参数区当中的数据为准。

9.一种数据管理系统，其特征在于，所述系统包括：

参数区创建模块，用于判断设备中备份参数区和系统参数区是否已创建，若未创建则首先创建各参数区，随后交由数据创建模块进行处理；若已创建则由参数区初始化模块对参数区进行处理；

数据创建模块，用于进行参数区数据的创建，根据内存数组中预存的数据存储类型或各参数区的情况将相应数据写入缓存后，由数据操作模块对数据进行操作；

参数区初始化模块，用于对参数区初始化，根据内存数组中数据存储类型和各参数区的情况将相应数据写入缓存后，由数据操作模块对数据进行操作；

数据操作模块，对设备进行数据的读写操作。

10.根据权利要求9所述的系统，其特征在于，所述系统还包括：出厂设置模块，用于在设备加载时判断设备状态，如果是新设备则按规定的偏移量向备份参数区中写入设备信息。

Images