CN116049291A - 一种数据存储方法、系统、设备及可读存储介质 - Google Patents

Abstract

本发明涉及一种数据存储方法、系统、设备及可读存储介质，其方法包括获取存储数据，存储数据包括数据格式和数据内容；根据数据格式和预设的格式统一方法，将数据内容的格式统一，形成目标格式数据；根据数据格式和预设的存储规则，存储目标格式数据。本发明具有根据数据格式和格式统一方法将数据内容的格式统一并形成目标格式数据，并将目标格式数据按照存储规则存储，具有将数据实现格式统一并存储进而提高数据检索效率的效果。

Description

一种数据存储方法、系统、设备及可读存储介质

技术领域

本申请涉及数据存储的技术领域，尤其是涉及一种数据存储方法、系统、设备及可读存储介质。

背景技术

当前不论软件还是硬件，对于不同厂商不同型号的设备，都有单独的数据传输格式，目前，将不同来源的各种格式数据按照对应的格式进行存储。但是对于不同的数据需要不同的查找方式，对于需要存储各种格式数据的数据库，将数据采用不同格式进行存储会导致调取数据时，存在不容易查找到对应的数据。

发明内容

为了改善数据不易查找的问题，本申请提供了一种数据存储方法、系统、设备及可读存储介质。

在本申请的第一方面，提供了一种数据存储方法。该方法包括：

获取存储数据，所述存储数据包括数据格式和数据内容；

根据所述数据格式和预设的格式统一方法，将所述数据内容的格式统一，形成目标格式数据；

根据所述数据格式和预设的存储规则，存储所述目标格式数据。

由以上技术方案可知，通过获取存储数据，读取存储数据中的数据格式，根据不同的数据格式采用对应的格式统一方法，将格式统一后的目标格式数据按照预设的存储规则进行存储，将不同格式的数据转换为统一的格式，可以方便对于不同的格式的数据内容进行调取，改善了数据不易查找的问题。

在一种可能的实现方式中，所述获取存储数据的方法之前，包括：

获取模型建立指令；

根据所述模型建立指令，建立批量处理字段、数据内容和数据格式的对应关系，确定数据类型模型；

所述数据格式包括第一格式、第二格式和第三格式；

获取数据内容，根据所述数据内容和所述数据类型模型，确定数据格式和批量处理字段并形成存储数据。

在一种可能的实现方式中，所述根据所述数据格式和预设的格式统一方法，将所述数据内容的格式统一，形成目标格式数据，包括：

当所述数据内容包含预设结束符时，根据所述批量处理字段，判断所述数据内容是否需要批量处理；

若需要批量处理，则根据预设分隔符和所述数据内容，将所述数据内容进行拆分，形成多个待存数据；

根据预设关键字将每一个待存数据拆分为字段名称和字段值，形成目标格式数据。

在一种可能的实现方式中，该方法还包括：

当所述数据内容未包含预设结束符时，将所述数据内容存入异常数据库。

在一种可能的实现方式中，所述根据所述数据格式和预设的格式统一方法，将所述数据内容的格式统一，形成目标格式数据，还包括：

当所述数据格式为第二格式时；

根据所述批量处理字段，判断所述数据内容是否需要批量处理；

若是，根据批量判断规则和所述数据内容，将所述数据内容分为批量数据内容和非批量数据内容，所述批量数据内容和所述非批量数据内容，组成目标格式数据。

在一种可能的实现方式中，所述根据所述数据格式和预设的格式统一方法，将所述数据内容的格式统一，形成目标格式数据，还包括：

当所述数据格式为第三格式时；

根据正则拆分规则和所述数据内容，将所述数据内容进行拆分，形成目标格式数据。

在一种可能的实现方式中，所述存储所述目标格式数据之前，该方法还包括：

根据预设的校验规则，对于所述目标格式数据进行校验；

若校验不通过，则将所述目标格式数据存入异常数据库。

在本申请的第二方面，提供了一种数据存储系统。该系统包括：

数据获取模块，用于获取存储数据，所述存储数据包括数据格式和数据内容；

数据处理模块，用于根据所述数据格式和预设的格式统一方法，将所述数据内容的格式统一，形成目标格式数据；

数据存储模块，用于根据所述数据格式和预设的存储规则，存储所述目标格式数据。

在本申请的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的数据存储方法。

在本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本申请的第一方面的方法。

综上所述，本申请包括以下至少一种有益技术效果：

1.通过将不同格式的数据转换为统一的格式，可以方便对于不同的格式的数据内容进行调取，改善了数据不易查找的问题。

2.通过设置校验规则，在数据存入目标数据库之前做进一步检验，以提高数据存储的准确性，不将异常数据存入目标数据库，可以减少目标数据库中异常数据的数量，也提高了用户查询数据的查询效率。

附图说明

图1是本申请提供的数据存储方法的流程示意图。

图2是本申请提供的数据存储系统的结构示意图。

图3是本申请提供的电子设备的结构示意图。

图中，200、数据存储系统；201、模型获取模块；202、数据处理模块；203、数据存储模块；301、CPU；302、ROM；303、RAM；304、I/O接口；305、输入部分；306、输出部分；307、存储部分；308、通信部分；309、驱动器；310、可拆卸介质。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

下面结合说明书附图对本申请实施例作进一步详细描述。

本申请实施例提供一种数据存储方法，上述方法的主要流程描述如下。

如图1所示：

步骤S101：获取存储数据，存储数据包括数据格式和数据内容。

具体的，在进行数据存储前，需要先建立数据类型模型，上述数据类型模型包括数据内容、与上述数据内容对应的数据格式以及与上述数据内容对应的批量处理字段。在本实施例中，数据格式对应的字段名为topic，批量处理字段包括0和1两个属性值，当批量处理字段的值为0时，表示数据内容不需要进行批量处理，当批量处理字段的值为1时，表示数据内容需要进行批量处理。topic对应的属性值包括第一格式、第二格式和第三格式，即数据格式包括第一格式、第二格式和第三格式，在本实施例中，第一格式为标准格式、第二格式为JSON格式、第三格式为正则格式。

获取数据内容，上述数据内容可以为人为输入，也可以为监听设备监听到的数据，将数据内容输入至数据类型模型，判断上述数据内容的数据格式和批量处理字段，并根据对应的数据格式和对应的批量处理字段对上述数据内容做标记，形成存储数据。存储数据包括数据内容、数据格式和批量处理字段。

步骤S102：根据数据格式、预设的格式统一方法和预设的存储规则，确定目标格式数据并存储。

具体的，获取存储数据中的数据格式，当数据格式为标准格式时，需要调取对应的预设关键字、对应的预设关键字、对应的预设结束符和对应的数据解析字段。数据解析字段包括无、首行头信息和首行公共信息。当数据解析字段为无时，表示对数据内容进行正常存储；当数据解析字段为首行头信息时，表示第一条数据为表头信息，无需存入目标数据库，剩余数据内容进行正常存储；当数据解析字段为首行公共信息时，表示第一条数据为公共数据，需要将第一条数据添加至除了第一条数据以外的所有数据中。

对于标准格式的数据内容，首先要判断上述数据内容的最后一个字符是否与预设结束符相同，若相同则表示该数据内容完整，可以存入目标数据库并将数据内容中的最后一个字符删除；若不相同则表示该数据内容不完整，将该存储数据出入异常数据库，并标注异常信息为数据不完整。例如，预设结束符为“。”，则判断数据内容的最后一个字符是否为“。”，若是则进行下一步存储判断，若否则将该存储数据存入异常数据库并做异常标注。

当数据内容完整时，获取与数据内容对应的批量处理字段，判断该数据内容是否需要进行批量处理，若需要则获取对应的预设分隔符，根据预设分隔符将上述数据内容进行拆分。根据预设关键字，对拆分后的每一条数据进行进一步拆分，拆分为字段名称和字段值。若不需要则直接根据预设关键字对数据内容进行拆分，拆分为字段名称和字段值。上述多个字段名称和字段值组成目标格式数据。判断上述字段名称和字段值的数据类型和字段名称和字段值的个数是否与预设值相同，若不相同，则表示该数据内容存在异常，将该数据内容存入异常数据库并标注异常信息为数据校验异常，若相同，则表示该数据内容正常，存入目标数据库。例如，存储数据为“‘数据格式’：‘标准格式’，‘批量处理字段’：‘1’，‘数据内容’：‘姓名1，性别1，年龄1；姓名2，性别2，年龄2。’”。首先判断数据内容的最后一个字符是否为预设结束符，若预设结束符为“。”，则数据内容的最后一个字符与预设结束符相同，再判断是否需要进行批量处理，当批量处理字段的值为1时表示需要进行批量处理，预设分隔符为“；”，根据预设分隔符将数据内容拆分为“姓名1，性别1，年龄1”、“姓名2，性别2，年龄2”，预设关键字为“姓名”、“性别”和“年龄”，然后将“‘姓名’:‘姓名1’”，“‘性别’:‘性别1’”，“‘年龄’:‘年龄1’”，“‘姓名’:‘姓名2’”，“‘性别’:‘性别2’”，“‘年龄’:‘年龄2’”，然后判断每个数据的数据类型和每条数据的数据个数，例如“‘姓名’:‘姓名1’”，“‘性别’:‘性别1’”，“‘年龄’:‘年龄1’”为一条数据，个数预设值为3，数据个数也为3，同时判断每个字段段的数据类型，例如，年龄的数据类型应该为数值型，在本条数据中为“年龄1”，数据类型为字符型，故该条数据存在异常，将其存入异常数据库中并标注异常信息为数据校验异常，若数据类型不存在异常，则将数据内容存入目标数据库中。

对于JSON格式的数据内容，获取与数据内容对应的批量处理字段，根据批量处理字段，判断该数据内容是否需要进行批量处理，若需要则判断上述数据内容，是否存在批量字段，若存在批量字段，则将批量字段解析为JSON数组，然后将其他不是批量字段的数据作为公共数据并将公共数据添加到每一条数组中。如果不存在批量字段，或不需要进行批量处理时，直接将数据内容转换为JSON数组即可。上述JSON数据记为目标格式数据。将上述处理完成的数据内容即JSON数据进行数据类型和数据个数的判断，若数据类型和数据个数与预设值不一致，则将上述数据内容存入异常数据库并标注异常信息为数据校验异常，若相同，则表示该数据内容正常，存入目标数据库。

对于正则格式的数据内容，其批量处理字段的默认值为0即不需要进行批量处理。根据正则拆分规则和上述数据内容，将上述数据内容进行拆分，拆分完成的数据内容组成目标格式数据。判断目标格式数据的数据类型和数据个数是否与预设值相同，若不相同，则表示该数据内容存在异常，将该数据内容存入异常数据库并标注异常信息为数据校验异常，若相同则将拆分后的数据内容存入目标数据库。例如，正则表达式配置为：(?<@timestamp>\S+)\s+(?<hostname>\S+)\s+(?<message>.*)，首先解析正则表达式，单个字段通过“（）”来定义单个字段解析方式，以“?”开头，“<>”中设置字段名称，“>”后定义匹配规则，小括号之间定义字段之间解析方式，通过上述正则表达式可确定，在上述正则表达式中“\s”表示空白字符，上述空白字符可能是空格、制表符或其他空白，可以得知字段之间以空白字符进行分割，单条数据可解析为@timestamp、hostname、message三个字段，将数据解析为以上三个字段，然后判断上述三个字段的数据类型和字段个数与预设值是否一致，若数据类型和数据个数与预设值不一致，则将上述数据内容存入异常数据库并标注异常信息为数据校验异常，若相同，则表示该数据内容正常，存入目标数据库。

本申请实施例提供一种数据存储系统200，参照图2，数据存储系统200包括：

数据获取模块201，用于获取存储数据，所述存储数据包括数据格式和数据内容；

数据处理模块202，用于根据所述数据格式和预设的格式统一方法，将所述数据内容的格式统一，形成目标格式数据；

数据存储模块203，用于根据所述数据格式和预设的存储规则，存储所述目标格式数据。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例公开一种电子设备。参照图3，电子设备包括，包括中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分307加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有系统操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线彼此相连。输入/输出(I/O)接口304也连接至总线。

以下部件连接至I/O接口304：包括键盘、鼠标等的输入部分305；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分306；包括硬盘等的存储部分307；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分308。通信部分308经由诸如因特网的网络执行通信处理。驱动器309也根据需要连接至I/O接口304。可拆卸介质310，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器309上，以便于从其上读出的计算机程序根据需要被安装入存储部分307。

特别地，根据本申请的实施例，上文参考流程图图1描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分308从网络上被下载和安装，和/或从可拆卸介质310被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的装置中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种数据存储方法，其特征在于，包括：

获取存储数据，所述存储数据包括数据格式和数据内容；

根据所述数据格式和预设的格式统一方法，将所述数据内容的格式统一，形成目标格式数据；

根据所述数据格式和预设的存储规则，存储所述目标格式数据。

2.根据权利要求1所述的数据存储方法，其特征在于，所述获取存储数据的方法之前，包括：

获取模型建立指令；

根据所述模型建立指令，建立批量处理字段、数据内容和数据格式的对应关系，确定数据类型模型；

所述数据格式包括第一格式、第二格式和第三格式；

获取数据内容，根据所述数据内容和所述数据类型模型，确定数据格式和批量处理字段并形成存储数据。

3.根据权利要求2所述的数据存储方法，其特征在于，所述根据所述数据格式和预设的格式统一方法，将所述数据内容的格式统一，形成目标格式数据，包括：

当所述数据内容包含预设结束符时，根据所述批量处理字段，判断所述数据内容是否需要批量处理；

若需要批量处理，则根据预设分隔符和所述数据内容，将所述数据内容进行拆分，形成多个待存数据；

根据预设关键字将每一个待存数据拆分为字段名称和字段值，形成目标格式数据。

4.根据权利要求3所述的数据存储方法，其特征在于，该方法还包括：

当所述数据内容未包含预设结束符时，将所述数据内容存入异常数据库。

5.根据权利要求2所述的数据存储方法，其特征在于，所述根据所述数据格式和预设的格式统一方法，将所述数据内容的格式统一，形成目标格式数据，还包括：

当所述数据格式为第二格式时；

根据所述批量处理字段，判断所述数据内容是否需要批量处理；

若是，根据批量判断规则和所述数据内容，将所述数据内容分为批量数据内容和非批量数据内容，所述批量数据内容和所述非批量数据内容，组成目标格式数据。

6.根据权利要求2所述的数据存储方法，其特征在于，所述根据所述数据格式和预设的格式统一方法，将所述数据内容的格式统一，形成目标格式数据，还包括：

当所述数据格式为第三格式时；

根据正则拆分规则和所述数据内容，将所述数据内容进行拆分，形成目标格式数据。

7.根据权利要求1所述的数据存储方法，其特征在于，所述存储所述目标格式数据之前，该方法还包括：

根据预设的校验规则，对于所述目标格式数据进行校验；

若校验不通过，则将所述目标格式数据存入异常数据库。

8.一种数据存储系统，其特征在于，包括：

数据获取模块(201)，用于获取存储数据，所述存储数据包括数据格式和数据内容；

数据处理模块(202)，用于根据所述数据格式和预设的格式统一方法，将所述数据内容的格式统一，形成目标格式数据；

数据存储模块(203)，用于根据所述数据格式和预设的存储规则，存储所述目标格式数据。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。

10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。

Images