CN106844617A - 一种数据存储方法及系统 - Google Patents

Abstract

本发明涉及数据处理领域，公开了一种数据存储方法及系统。其中，所述数据存储方法包括：根据预设的标准规则对源数据进行格式调整；将经过格式调整的源数据导入到数据库模块中；根据预设的验证规则对所述数据库模块中的源数据进行验证；将符合所述预设规则的源数据形成表单；以及按照预设的数据范围将表单数据写入存储器中。本发明的数据存储方法及系统在数据写入存储器之前，通过标准规则对数据进行筛选，并通过验证规则进行验证，从而对待存储数据进行了合理性筛查，并最终只保存合理的数据，保证了数据的准确性。

Description

一种数据存储方法及系统

技术领域

本发明涉及数据处理领域，具体地，涉及一种数据存储方法及系统。

背景技术

目前，在数据存储过程中，特别是向存储器等机制读入数据的过程中，有可能存在数据读入错误的情况，不能保证数据的准确性和合理性。而数据存储属于数据处理的基础环节，一个数据的错误往往会导致后续整个数据处理过程的不合理，造成不可挽回的错误，且现今已进入大数据时代，对存储错误的数据进行修复会花费大量的人工成本和计算机成本。因此，需要新的技术方案来保证数据存储的准确性和合理性。

发明内容

本发明的目的是提供一种数据存储方法及系统，用于保证数据存储的准确性和合理性。

为了实现上述目的，本发明提供一种数据存储方法，该数据存储方法包括：根据预设的标准规则对源数据进行格式调整；将经过格式调整的源数据导入到数据库模块中；根据预设的验证规则对所述数据库模块中的源数据进行验证；将符合所述预设规则的源数据形成表单；以及按照预设的数据范围将表单数据写入存储器中。

可选地，所述根据预设的标准规则对源数据进行格式调整包括：比较源数据与预设的标准表单，以获得标准差异；基于所述标准差异设置标准规则；以及按照所述标准规则对所述源数据进行格式调整。

可选地，所述按照所述标准规则对所述源数据进行格式调整包括对所述源数据进行以下任意一者或多者的格式调整：数据长度的调整、数据格式的调整、数据值域的调整、数据验证规则的调整以及数据缺失字段的调整。

可选地，所述根据预设的验证规则对所述数据库模块中的源数据进行验证包括：按字段顺序，逐个调取所述验证规则对所述源数据进行验证，若存在不符合所述验证规则的字段，则跳过该不符合所述验证规则的字段，并调取所述验证规则验证下一个字段。

可选地，所述数据存储方法还包括：对于不符合所述预设规则的源数据，生成错误提示信息。

可选地，所述数据存储方法还包括：根据数据的业务特征确定所述表单的数据分割字段，再根据所述数据分割字段建立所述表单的子表；以及基于所述子表查询指定数据。

本发明还提供了一种数据存储系统，该数据存储系统包括：数据调整模块，用于根据预设的标准规则对源数据进行格式调整；数据导入模块，用于将经过格式调整的源数据导入到数据库模块中；数据验证模块，用于根据预设的验证规则对所述数据库模块中的源数据进行验证；表单形成模块，用于将符合所述预设规则的源数据形成表单；以及数据写入模块，用于按照预设的数据范围将表单数据写入存储器中。

可选地，所述数据调整模块包括：标准差异获取模块，用于比较源数据与预设的标准表单，以获得标准差异；标准规则设置模块，用于基于所述标准差异设置标准规则；以及格式调整模块，用于按照所述标准规则对所述源数据进行格式调整。

可选地，所述数据存储系统还包括：错误提示模块，用于对于不符合所述预设规则的源数据，生成错误提示信息。

可选地，所述数据存储系统还包括：子表建立模块，用于根据数据的业务特征确定所述表单的数据分割字段，再根据所述数据分割字段建立所述表单的子表；以及数据查询模块，用于基于所述子表查询指定数据。

通过上述技术方案，本发明的有益效果是：本发明的数据存储方法及系统在数据写入存储器之前，通过标准规则对数据进行筛选，并通过验证规则进行验证，从而对待存储数据进行了合理性筛查，并最终只保存合理的数据，保证了数据的准确性。

本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是本发明实施例的数据存储方法的流程示意图；

图2是本发明实施例中对源数据进行格式调整的流程示意图；

图3是本发明实施例中将表单数据写入光盘的流程示意图；

图4是本发明实施例的数据存储系统的结构示意图；

图5是本发明实施例的数据调整模块的结构示意图。

附图标记说明

40 数据存储系统 41 数据调整模块

42 数据导入模块 43 数据验证模块

44 表单形成模块 45 数据写入模块

46 错误提示模块 47 子表建立模块

48 数据查询模块 411 标准差异获取模块

412 标准规则设置模块 413 格式调整模块

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如图1所示，本发明实施例提供了一种数据存储方法，该数据存储方法主要包括以下步骤：

步骤S100，根据预设的标准规则对源数据进行格式调整。

具体地，如图2所示，该步骤S100又可以包括以下步骤：

步骤S101，比较源数据与预设的标准表单，以获得标准差异。

其中，所述标准表单可根据用户需求，在初始化数据库模块的过程中建立，比如将要存储的目标数据为全国各地高速公路一年内每个月的通车数量，则可以按地区统计本年度前五年的数据记录，以月为单位(即分割目标)，建立月平均值的标准表单，该标准表单中包括地区编码、地区名称、月份代码、通车数量等。

进一步地，所述标准差异可理解为源数据与标准表单的比较结果，如对于统计全国各地高速公路一年内每个月的通车数量的例子，可将本年度的通车数据与上述建立的标准表单相比较，得到每个月的标准差异数据。

步骤S102，基于所述标准差异设置标准规则。

其中，所述标准规则根据标准差异设定，其规定了数据的格式、长度、值域、字段、验证规则等。

步骤S103，按照所述标准规则对所述源数据进行格式调整。

具体地，所述按照所述标准规则对所述源数据进行格式调整包括对所述源数据进行以下任意一者或多者的格式调整：数据长度的调整、数据格式的调整、数据值域的调整、数据验证规则的调整以及数据缺失字段的调整。

需说明的是，数据的格式调整不等于数据格式调整，本发明实施例中的数据格式是指对应数据库定义的标准格式进行格式转换，数据的格式调整中包括对数据格式的调整。

更为具体地，涉及的数据长度的调整、数据格式的调整、数据值域的调整、数据验证规则的调整以及数据缺失字段的调整可以包括：

1)标准差异若为长度差异，则将源数据与标准规则进行比对，将源数据的长度根据标准标准规则所规定的长度从左到右进行截位。

2)若为数据格式差异，则通过数据库定义的标准格式转换标准进行格式转换。

3)若为值域差异，且值域的数量一致，但值不同，则按照标准规则规定的值，将源数据的值转换为与值域的值相同；若值域的数量不一致，则比对源数据和标准规则规定的值域的值，将源数据的值域的值以一对一或一对多的方式存入到标准规则规定的值域，且值域内的值按照标准规则规定的格式来填写。

4)若为验证规则差异，且验证规则是一段代码，则按照标准规则中规定的验证规则来替换源数据的验证规则。

5)若为字段缺失差异，且源数据存在比标准规定所规定的还要多的字段，则对源数据进行处理，将值进行整合，并通过一个标记符号进行关联。

需说明的是，本发明实施例对所述源数据进行格式调整的方式，除上述1)-5)之外，其他常规的格式调整方式也包含在本发明实施例的范围内。

步骤S200，将经过格式调整的源数据导入到数据库模块中。

其中，所述数据库模块可以是数据库服务器。

步骤S300，根据预设的验证规则对所述数据库模块中的源数据进行验证。

其中，所述验证规则可以是预设的校验代码，其用于对存储在数据库模块中的数据进行规范性检验。例如，可预设验证规则中规定地区编码为数字文本，若源数据中出现了英文字母，则判定其不符合验证规则。

具体地，所述根据预设的验证规则对所述数据库模块中的源数据进行验证可以包括：按字段顺序，逐个调取所述验证规则对所述源数据进行验证，若存在不符合所述验证规则的字段，则跳过该不符合所述验证规则的字段，并调取所述验证规则验证下一个字段。

步骤S400，将符合所述预设规则的源数据形成表单。

这里，所述数据存储方法还可以包括：对于不符合所述预设规则的源数据，生成错误提示信息。

其中，该错误提示信息可通过数据库服务器的显示屏展示给用户。

步骤S500，按照预设的数据范围将表单数据写入存储器中。

其中，所述存储器包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储数据的介质。

以光盘为例，如图3所示，所述步骤S500优选为包括以下步骤

步骤S1，启动存储器，并初始化存储器。

步骤S2，从外部控制逻辑单元中录入合理的数据范围。

其中，以上述统计全国各地高速公路一年内每个月的通车数量为例，数据范围的确定方法可以包括如下步骤：

步骤S21，统计本年度前5年的车辆销售记录及相应年度的通行的增长率，获得一个车辆销售量与通行增长率的平均比值。

步骤S22，统计本年度车辆销售记录，结合步骤S21所得的平均比值，得到一个对应于本年度的通行增长率。

步骤S23，通过下式得到本年度月平均值通车数值：本年度月平均值通车数值＝前五年月平均值通车数值×标准差异数值×本年度通行增长率。

步骤S24，将本年度月平均值通车数值×适合的浮动几率，得到数值范围。

其中，所述浮动几率可以根据前五年的月通车数据与月平均值的比的平均值得到，例如上下浮动5％。

步骤S3，外部控制逻辑单元向存储器发出相应的数据录入指令。

步骤S4，存储器从其数据录入接口读入所述表单数据；

步骤S5，外部控制逻辑单元判别存储器发送来的数据录入状态代码；若录入数据超出设定的数据范围，则令存储器等待接受“重新录入”指令，即转步骤S3；若录入数据在设定的数据内，则令存储器暂存数据。

步骤S6，数据暂存结束，外部控制逻辑单元据此令存储器向外发送已录入的数据，供用户在人机接口端进行人工校验。

步骤S7，用户在人机接口端通过外部控制逻辑单元向存储器发出表示人工校验结果的状态代码供其判别，若状态错误，则转步骤S3，存储器处于等待接收“重新录入”指令的工作状态。

步骤S8，若状态“正确”，则外部控制逻辑单元向存储器发出“继续录入”指令，并转入S4；

步骤S9，若判别外部控制逻辑单元向存储器发出“光盘刻录”指令，则执行取出数据、光盘刻录的操作，同时，向外部控制逻辑单元发出表示光盘刻录操作的状态代码；

步骤S10，经外部控制逻辑单元判别是否有刻录故障，若有，则向存储器发出“重新刻录”指令转步骤S9；若刻录正确，则外部控制逻辑单元继续向存储器发出“继续录入”或“结束指令”。若经存储器判别为“继续操作”指令，则转步骤S4；若为“结束”指令，则录入完成。

其中，所述外部控制逻辑单元可以是外部控制的计算机，还可以是上述的数据库服务器。

进一步地，本发明实施例的数据存储方法还可以包括：

步骤S600，根据数据的业务特征确定所述表单的数据分割字段，再根据所述数据分割字段建立所述表单的子表。

其中，以统计全国各地高速公路一年内每个月的通车数量为例，以月为分割目标，设置所述数据分割字段可以是数字型字段、字符型字段等，比如根据统计地区通车数量对应的业务特征，地区编码一般为数字，而地区名称一般为中文文字，因此可相应的将数据分割字段确定为包括数字型字段和字符型字段，并据此建立子表。

进一步地，以上述统计全国各地高速公路一年内每个月的通车数量为例，所述子表的建立可以包括：在以月为单位的标准表单内容以周为单位，建立周平均值子表。

步骤S700，基于所述子表查询指定数据。

具体地，若指定数据为数字型数据，则可直接定位至数字型字段对应的子表进行查询，若为中文文字型数据，则可直接定位至中文文字对应的子表中进行查询。如此，可提高数据查询的效率。

综上所述，本发明的数据存储方法在数据写入存储器之前，通过标准规则对数据进行筛选，并通过验证规则进行验证，从而对待存储数据进行了合理性筛查，最终只保存合理的数据，保证了数据的准确性。

基于与上述的数据存储方法相同的发明思路，本发明实施例还提出了一种数据存储系统，如图4所示，该数据存储系统40包括：数据调整模块41，用于根据预设的标准规则对源数据进行格式调整；数据导入模块42，用于将经过格式调整的源数据导入到数据库模块中；数据验证模块43，用于根据预设的验证规则对所述数据库模块中的源数据进行验证；表单形成模块44，用于将符合所述预设规则的源数据形成表单；以及数据写入模块45，用于按照预设的数据范围将表单数据写入存储器中。

优选地，所述数据存储系统40还可以包括：错误提示模块46，用于对于不符合所述预设规则的源数据，生成错误提示信息。

更为优选地，所述数据存储系统40还可以包括：子表建立模块47，用于根据数据的业务特征确定所述表单的数据分割字段，再根据所述数据分割字段建立所述表单的子表；以及数据查询模块48，用于基于所述子表查询指定数据。

进一步地，如图5所示，所述数据调整模块41包括：标准差异获取模块411，用于比较源数据与预设的标准表单，以获得标准差异；标准规则设置模块412，用于基于所述标准差异设置标准规则；以及格式调整模块413，用于按照所述标准规则对所述源数据进行格式调整。

本发明实施例所述的数据存储系统与上述的数据存储方法的具体实施细节及有益效果相同或相似，在此则不再进行赘述。

这里，应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种数据存储方法，其特征在于，该数据存储方法包括：

根据预设的标准规则对源数据进行格式调整；

将经过格式调整的源数据导入到数据库模块中；

根据预设的验证规则对所述数据库模块中的源数据进行验证；

将符合所述预设规则的源数据形成表单；以及

按照预设的数据范围将表单数据写入存储器中。

2.根据权利要求1所述的数据存储方法，其特征在于，所述根据预设的标准规则对源数据进行格式调整包括：

比较源数据与预设的标准表单，以获得标准差异；

基于所述标准差异设置标准规则；以及

按照所述标准规则对所述源数据进行格式调整。

3.根据权利要求2所述的数据存储方法，其特征在于，所述按照所述标准规则对所述源数据进行格式调整包括对所述源数据进行以下任意一者或多者的格式调整：数据长度的调整、数据格式的调整、数据值域的调整、数据验证规则的调整以及数据缺失字段的调整。

4.根据权利要求1所述的数据存储方法，其特征在于，所述根据预设的验证规则对所述数据库模块中的源数据进行验证包括：

按字段顺序，逐个调取所述验证规则对所述源数据进行验证，若存在不符合所述验证规则的字段，则跳过该不符合所述验证规则的字段，并调取所述验证规则验证下一个字段。

5.根据权利要求1所述的数据存储方法，其特征在于，所述数据存储方法还包括：

对于不符合所述预设规则的源数据，生成错误提示信息。

6.根据权利要求1至5中任意一项所述的数据存储方法，其特征在于，所述数据存储方法还包括：

根据数据的业务特征确定所述表单的数据分割字段，再根据所述数据分割字段建立所述表单的子表；以及

基于所述子表查询指定数据。

7.一种数据存储系统，其特征在于，该数据存储系统包括：

数据调整模块，用于根据预设的标准规则对源数据进行格式调整；

数据导入模块，用于将经过格式调整的源数据导入到数据库模块中；

数据验证模块，用于根据预设的验证规则对所述数据库模块中的源数据进行验证；

表单形成模块，用于将符合所述预设规则的源数据形成表单；以及

数据写入模块，用于按照预设的数据范围将表单数据写入存储器中。

8.根据权利要求7所述的数据存储系统，其特征在于，所述数据调整模块包括：

标准差异获取模块，用于比较源数据与预设的标准表单，以获得标准差异；

标准规则设置模块，用于基于所述标准差异设置标准规则；以及

格式调整模块，用于按照所述标准规则对所述源数据进行格式调整。

9.根据权利要求7所述的数据存储系统，其特征在于，所述数据存储系统还包括：

错误提示模块，用于对于不符合所述预设规则的源数据，生成错误提示信息。

10.根据权利要求7至9中任意一项所述的数据存储模块，其特征在于，所述数据存储系统还包括：

子表建立模块，用于根据数据的业务特征确定所述表单的数据分割字段，再根据所述数据分割字段建立所述表单的子表；以及

数据查询模块，用于基于所述子表查询指定数据。