CN110188106B

CN110188106B - 一种数据管理方法和装置

Info

Publication number: CN110188106B
Application number: CN201910473395.XA
Authority: CN
Inventors: 张毅; 王志海; 喻波; 董晓斌; 董爱华; 安鹏
Original assignee: Beijing Wondersoft Technology Co Ltd
Current assignee: Beijing Wondersoft Technology Co Ltd
Priority date: 2019-05-31
Filing date: 2019-05-31
Publication date: 2021-04-16
Anticipated expiration: 2039-05-31
Also published as: CN110188106A

Abstract

在本发明实施例公开了一种数据管理方法和装置，所述方法包括：获取数据样本；根据所述数据样本的类型，确定所述数据样本的解析方式；采用所述解析方式解析所述数据样本，获得所述数据样本的解析结果和存储类型；根据所述存储类型，在存储介质中创建对应的存储对象；将所述解析结果存储在所述存储对象中。在本发明实施例中，可根据数据样本的类型确定解析方式，对数据样本进行解析，能够通过解析方式直接对数据样本进行解析，并不需要针对不同的数据样本编写不同的脚本。再者通过解析出存储类型在存储介质中创建存储对象，使解析出的解析结果直接存储在存储对象中，并不需针对不同存储介质编写不同的脚本和配置文件进行存储，提高数据的处理效率。

Description

一种数据管理方法和装置

技术领域

本发明涉及数据存储领域，尤其涉及一种数据管理方法和装置。

背景技术

在先技术中，通常是在数据采集系统中使用Logstash(数据搜索引擎)进行数据的采集，开发人员需要编写相应的脚本和配置文件进行数据的采集、处理和存储。

目前，随着数据来源的不断增加，开发人员需要针对数据的不同格式及不同种类编写不同的脚本和配置文件，同时，当需要将同一数据存储在不同的存储介质中时，开发人员需针对同一数据在不同的存储介质中存储，编写不同的脚本文件和配置文件，上述编写脚本文件及配置文件的过程会使开发人员的工作变的非常繁琐，并且编写难度也会非常大。

发明内容

有鉴于此，本发明实施例提出一种数据管理方法和装置，以解决现有技术中在存储数据时，脚本文件及配置文件编写难度大，工作繁琐的问题。

本发明公开了一种数据存储方法，所述方法包括：

获取数据样本；

根据所述数据样本的类型，确定所述数据样本的解析方式；

采用所述解析方式解析所述数据样本，获得所述数据样本的解析结果和存储类型；

根据所述存储类型，在存储介质中创建对应的存储对象；

将所述解析结果存储在所述存储对象中。

可选的，所述数据样本的类型包括：分隔符类型、json类型和正则表达式类型；所述解析方式与所述数据样本的类型一一对应。

可选的，当所述数据样本的类型为分隔符类型时，所述存储类型为值集合类型；当所述数据样本的类型为json类型时，所述存储类型为键-值集合类型；当所述数据样本的类型为正则表达式类型时，所述存储类型为值集合类型和/或键-值集合类型。

可选的，所述根据所述数据样本的类型，确定所述数据样本的解析方式之后，还包括：

接收用户选择的存储介质，并在所述存储介质中配置所述解析方式；

则所述采用所述解析方式解析所述数据样本，包括：

采用所述存储介质中配置的所述解析方式，解析所述数据样本。

可选的，所述根据所述存储类型，在存储介质中创建对应的存储对象之前，还包括：

在显示界面显示所述解析结果；

当显示的所述解析结果与所述目标显示结果匹配时，执行所述根据所述存储类型，在存储介质中创建对应的存储对象。

可选的，在所述将所述解析结果存储在所述存储对象中之后，还包括：

获取所述数据样本所属的整体数据；

采用所述存储介质中配置的所述解析方式解析所述整体数据，获得所述整体数据的解析结果；

将所述整体数据的解析结果存储在所述存储对象中。

本发明另一方面在于提供一种数据存储装置，所述装置包括：

获取模块，用于获取数据样本；

确定模块，用于根据所述数据样本的类型，确定所述数据样本的解析方式；

解析模块，用于采用所述解析方式解析所述数据样本，获得所述数据样本的解析结果和存储类型；

创建模块，用于根据所述存储类型，在存储介质中创建对应的存储对象；

存储模块，用于将所述解析结果存储在所述存储对象中。

可选的，还包括：

配置模块，用于接收用户选择的存储介质，并在所述存储介质中配置所述解析方式；

则所述解析模块，具体用于采用所述存储介质中配置的所述解析方式，解析所述数据样本。

可选的，还包括：

显示模块，用于在显示界面显示所述解析结果；

执行模块，用于当显示的所述解析结果与所述目标显示结果匹配时，执行所述根据所述存储类型，在存储介质中创建对应的存储对象。

本发明公开的实施例提供的技术方案可以包括以下有益效果：

可选的，还包括：

第二获取模块，用于获取所述数据样本所属的整体数据；

第二解析模块，用于采用所述存储介质中配置的所述解析方式解析所述整体数据，获得所述整体数据的解析结果；

第二存储模块，用于将所述整体数据的解析结果存储在所述存储对象中。

综上所述，在本发明实施例中，通过获取数据样本；根据所述数据样本的类型，确定所述数据样本的解析方式；采用所述解析方式解析所述数据样本，获得所述数据样本的解析结果和存储类型；根据所述存储类型，在存储介质中创建对应的存储对象；将所述解析结果存储在所述存储对象中。在本发明实施例中，可根据数据样本的类型确定解析方式，对数据样本进行解析，能够通过解析方式直接对数据样本进行解析，并不需要针对不同的数据样本编写不同的脚本。再者通过解析出存储类型在存储介质中创建存储对象，使解析出的解析结果直接存储在存储对象中，并不需针对不同存储介质编写不同的脚本和配置文件进行存储，提高数据的处理效率。

附图说明

图1示出了本发明实施例一中的一种数据管理方法的流程图；

图2示出了本发明实施例一中的一种数据样本；

图3示出了本发明实施例一中的另一种数据样本；

图4示出了本发明实施例一中的再一种数据样本；

图5示出了本发明实施例二中的另一种数据管理方法的流程图；

图6示出了本发明实施例三中的一种数据管理装置的结构框图；

图7示出了本发明实施例三中的另一种数据管理装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

参照图1，示出了本发明实施例一中的一种数据管理方法的流程图，具体可以包括如下步骤：

步骤101，获取数据样本。

在本发明实施例中，数据样本是指能够反映某一种类数据所有属性的单条数据记录。该单条数据记录即为一数据样本，该单条数据记录包括：某一种类数据包含的所有字段值或(字段值和字段名称)。并且该单条数据记录能够展示该种类数据的数据组织结构。

例如，一数据样本A为：姓名：yangben，年龄：18，性别：male；则该数据样本A为一条数据记录，该数据记录反映了“yangben”的所有属性。

在本发明实施例中，获取的数据样本可以是多个。

在具体实现中，开发人员可以通过VUE.js开发前端配置页面，然后通过前端配置也上传文本格式的数据样本。例如，可以上传txt、doc、docx或wps格式的文本，文本中包括多个数据样本。

在本发明实施例中，上传的数据样本可以显示在前端配置页面，用户可以通过点击前端配置页面的浏览按钮，浏览上传的数据样本。

步骤102，根据所述数据样本的类型，确定所述数据样本的解析方式。

在本发明实施例中，解析方式包括：解析数据样本的具体算法。

在本发明实施例中，所述数据样本的类型包括：分隔符类型、json类型和正则表达式类型；所述解析方式与所述数据样本的类型一一对应。

在本发明实施例中，分隔符类型的数据样本是指数据样本中每个字段值之间是通过特定的分隔符分隔开来的，其中，分隔符包括：逗号、空格、顿号或分号。

具体的，分隔符类型的数据样本只包括：字段值。

例如，以空格分隔的数据样本：yangben 18male；以逗号分隔的数据样本：yangben，18，male；以顿号分隔的数据样本：yangben、18、male；以分号分隔的数据样本：yangben；18；male。

在本发明实施例中，json类型数据样本是指数据样本为json格式的数据，其中，json类型数据样本包括：字段名称和字段值。

例如，json类型数据样本为：

在本发明实施例中，正则表达式类型数据样本是指符合正则表达式校验格式的数据，该类型样本数据包括字段名称和字段值；但是字段名称和字段值之间通过特定的分隔符分隔开来的。

例如，正则表达式类型数据样本：name yangben age 18sex male。

在具体实现中，获取的数据样本通常是以文档格式上传的，文档中具有多个数据样本，数据样本以列或者行的形式存储在文档中。如图2中，是分隔符类型的数据样本，其中，每一行为一数据样本；如图3中，是json类型数据样本，其中，每一括号里为一数据样本；如图4中，是正则表达式类型数据样本，其中，每一行是一数据样本。

在本发明实施例中，其中，解析方式与数据样本的类型是一一对应的，例如，分隔符类型对应解析方式A；json类型对应解析方式B；正则表达式类型对应解析方式C。其中，解析方式用来解析数据样本的。

在本发明实施例中，可以通过在服务器中是事先配置多种解析方式。服务器识别到获取的数据样本的类型，根据数据样本的类型，确定一种解析方式。

其中，可以通过文字识别、语义识别等识别方式识别数据样本的类型，在此，对识别方式不加以限制。

例如，当服务器识别到数据样本为分隔符类型时，则确定解析方式为解析方式A。

在本发明实施例中，也可以在前端配置页面显示用户上传的数据样本，用户通过浏览上传的数据样本，可以得出该数据样本属于的类型，用户自行在配置页面选择解析方式；例如，当前端配置页面显示如图2的数据样本，则用户可以在第一下拉框中选择解析方式A。

步骤103，采用所述解析方式解析所述数据样本，获得所述数据样本的解析结果和存储类型。

在本发明实施例中，当所述数据样本的类型为分隔符类型时，所述存储类型为值集合类型；当所述数据样本的类型为json类型时，所述存储类型为键-值集合类型；当所述数据样本的类型为正则表达式类型时，所述存储类型为值集合类型和/或键-值集合类型。

在本发明实施例中，解析结果包括：字段值或(字段名称和字段值)。

例如，图2中数据样本，采用解析方式A解析后，可获得解析结果为：yangben18male；存储类型为：值集合；图3中的数据样本，采用解析方式B解析后，可获得解析结果为：name yangben age 18sex male；存储类型为：键-值集合。图4中的数据样本，采用解析方式C解析后，可获得解析结果为：name yangben age 18sex male；存储类型为：值集合或键-值集合。

步骤104，根据所述存储类型，在存储介质中创建对应的存储对象。

在本发明实施例中，存储介质为存储数据的数据库，包括：mysql和elasticsearch；其中，mysql是一种关系型数据库；elasticsearch为一搜索服务器，也可以用于存储数据。

在本发明实施例中，存储对象包括：mysql中的表格或elasticsearch中的索引(index)和值(type)。

在本发明实施例中，存储类型与存储对象对应，根据不同的存储类型创建不同的存储对象。

例如，当选择存储介质为mysql，存储类型为值集合时，可以在mysql中创建表一；当存储类型为键-值集合时，可以在mysql中创建表二；

表一

表二

例如，当选择存储介质为elasticsearch，存储类型为值集合时，可以在elasticsearch中创建值集合存储方式，如表三；当存储类型为键-值集合时，可以在elasticsearch中创建index2和type2，如表四；

表三

表四

步骤105，将所述解析结果存储在所述存储对象中。

在本发明实施例中，将解析结果存储在存储介质对应的存储对象中。

在本发明实施例中，数据样本可以是整体数据的一部分，也可以是整体数据的全部。该数据样本与整体数据的类型是相同的，因此采用的解析方式是相同的。

当数据样本是整体数据的一部分时，可以在整体数据选取一部分数据样本，将该数据样本进行上传，根据数据样本的类型确定解析方式并在存储介质中建立存储对象后，然后可以在存储介质中上传整体数据，根据配置好的解析方式对整体数据进行解析，将得到的解析结果直接存储在建立的存储对象。

当数据样本是整体数据的全部时，可以将该整体数据直接上传，选择对应的解析方式和存储介质，直接将整体数据解析后，存储在建立的存储介质的存储对象中。

在本发明实施例中，当选择存储介质为mysql，存储类型为值集合时，在存储对象中存储解析结果，如表五；当存储类型为键-值集合时，在存储对象中存储解析结果，如表六：

Yangben 18 male
	Liming 17 male
Yangye 18 male
	Kaixin 16 male

表五

Name	Yangben	Liming	Yangye	Kaixin
					Age	18	17	18	16
Sex	male	male	male	male

表六

例如，当选择存储介质为elasticsearch，存储类型为值集合时，在存储对象中存储解析结果，如表七；当存储类型为键-值集合时，在存储对象中存储解析结果，如表八；

Kaixin 16 male
	yangben 18 male
Liming 17 male
	Yangye 18 male

表七

表八

实施例二

参照图5，示出了本发明实施例二的另一种数据管理方法的流程图，具体可以包括如下步骤：

步骤201，获取数据样本。

在具体实现中，参照步骤101，在此不再赘述。

步骤202，根据所述数据样本的类型，确定所述数据样本的解析方式。

在具体实现中，参照步骤102，在此不再赘述。

步骤203，接收用户选择的存储介质，并在所述存储介质中配置所述解析方式。

在本发明实施例中，在前端配置页面可以配置多种存储介质，如mysql和elasticsearch；用户可以通过下拉框选择要存储的存储介质。

在本发明实施例中，存储介质可以存储任何来源的数据样本，但是需要将数据样本解析成符合存储介质格式的数据。

在本发明实施例中，在存储介质中配置需要解析数据样本的解析方式，以供在后续采用该解析方式解析数据样本。

在具体实现中，可以将确定的解析方式存储在对应的存储介质中，并为该解析方式配置名称及描述信息，其中，描述信息用于描述该解析方式是用于解析数据样本的类型。

步骤204，采用所述存储介质中配置的所述解析方式，解析所述数据样本，获得所述数据样本的解析结果和存储类型。

在本发明实施例中，通过存储介质中配置的所述解析方式对数据样本进行解析，可以使解析后的数据样本符合存储介质的要求。

步骤205，在显示界面显示所述解析结果。

在本发明实施例中，可以将解析出来的解析结果，显示在显示界面上，供用户查看显示出来的解析结果与目标显示结果是否匹配。例如，当数据样本：

经过解析后显示的解析结果为“"name"＝"yangben","age"＝18,"sex"＝"male"”；则显示的解析结果符合目标显示结果，当显示的解析结果为“"name"＝"yangben","age"＝18,”，则不符合目标显示结果，需重新执行步骤根据所述数据样本的类型，确定所述数据样本的解析方式，进行再次解析。

步骤206，当显示的所述解析结果与所述目标显示结果匹配时，根据所述存储类型，在存储介质中创建对应的存储对象，

在本发明实施例中，显示的所述解析结果与所述目标显示结果匹配包括：显示的解析结果的内容和格式符合目标显示结果的内容和格式；当显示的解析结果的内容或格式与目标显示结果的内容和格式不符合时，说明解析出现错误，需要重新执行步骤202进行重新选择解析方式进行解析。

步骤207，将所述解析结果存储在所述存储对象中。

在具体实现中，参照步骤105，在此不再赘述。

在本发明实施例中，在步骤207之后，还包括：给确定的解析方式配置存储介质信息和存储对象信息。

在本发明实施例中，当有新的数据样本需要再次存储在对应的存储介质中，可以根据存储介质中事先存储的对应的解析方式对数据样本进行解析，将解析结果存储在事先创建好的存储对象中。

在本发明实施例中，可以在存储介质中配置解析方式来解析数据样本，并且能够在存储介质中动态化的创建存储对象，方便存储解析结果。

步骤208，获取所述数据样本所属的整体数据。

在本发明实施例中，数据样本是整体数据的一部分，该数据样本与整体数据的类型是相同的，采用的解析方式是相同的，存储的存储介质是相同的。

步骤209，采用所述存储介质中配置的所述解析方式解析所述整体数据，获得所述整体数据的解析结果；

在本发明实施例中，在本发明实施例中整体数据和数据样本的类型相同，因此解析方式也相同，因此可以选用相同解析方式进行解析。

步骤210，将所述整体数据的解析结果存储在所述存储对象中。

在本发明实施例中，因为数据样本是整体数据的一部分，当将整体数据的解析结果存储的在存储对象中时，为了避免重复存储，可以将事先存储的数据样本的解析结果删除，或者对数据样本的解析结果不进行存储。

在本发明实施例中，可以事先使用体数据的一部分数据样本，确定解析数据样本的解析方式和存储数据样本的存储介质后，并根据数据样本的存储类型在存储介质中创建好存储对象。则当大批量的整体数据上传后，可以直接采用确定的解析方式解析该整体数据，并将解析结果存储在对应的存储对象中。能够提高整体数据的存储效率。

实施例三

参照图6，示出了本发明实施例三的一种数据管理装置的结构框图，所述数据管理装置300具体可以包括：

第一获取模块301，用于获取数据样本；

确定模块302，用于根据所述数据样本的类型，确定所述数据样本的解析方式；

第一解析模块303，用于采用所述解析方式解析所述数据样本，获得所述数据样本的解析结果和存储类型；

创建模块304，用于根据所述存储类型，在存储介质中创建对应的存储对象；

第一存储模块305，用于将所述解析结果存储在所述存储对象中。

可选的，在图6的基础上，参照图7，示出了另一种数据管理装置400，是图6中的数据管理装置的优选实施例。所述装置还包括：

配置模块306，用于接收用户选择的存储介质，并在所述存储介质中配置所述解析方式；

则所述解析模块303，具体用于采用所述存储介质中配置的所述解析方式，解析所述数据样本。

还包括：

显示模块307，用于在显示界面显示所述解析结果；

执行模块308，用于当显示的所述解析结果与所述目标显示结果匹配时，执行所述根据所述存储类型，在存储介质中创建对应的存储对象。

还包括：

第二获取模块309，用于获取所述数据样本所属的整体数据；

第二解析模块310，用于采用所述存储介质中配置的所述解析方式解析所述整体数据，获得所述整体数据的解析结果；

第二存储模块311，用于将所述整体数据的解析结果存储在所述存储对象中。

本发明实施例提供的数据管理装置能够实现图1至图2的方法实施例的各个过程，为避免重复，这里不再赘述。

可选的，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述数据管理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims

1.一种数据管理方法，其特征在于，所述方法包括：

获取数据样本；

根据所述数据样本的类型，确定所述数据样本的解析方式；

采用所述解析方式解析所述数据样本，获得所述数据样本的解析结果和存储类型，包括：采用所述存储介质中配置的所述解析方式，解析所述数据样本；

获取所述数据样本所属的整体数据；

根据所述存储类型，在存储介质中创建对应的存储对象；

将所述解析结果存储在所述存储对象中。

2.根据权利要求1所述的方法，其特征在于，所述数据样本的类型包括：分隔符类型、json类型和正则表达式类型；所述解析方式与所述数据样本的类型一一对应。

3.根据权利要求2所述的方法，其特征在于，当所述数据样本的类型为分隔符类型时，所述存储类型为值集合类型；当所述数据样本的类型为json类型时，所述存储类型为键-值集合类型；当所述数据样本的类型为正则表达式类型时，所述存储类型为值集合类型和/或键-值集合类型。

4.根据权利要求1所述的方法，其特征在于，所述根据所述存储类型，在存储介质中创建对应的存储对象之前，还包括：

在显示界面显示所述解析结果；

当显示的所述解析结果与目标显示结果匹配时，执行所述根据所述存储类型，在存储介质中创建对应的存储对象。

5.一种数据存储装置，其特征在于，所述装置包括：

第一获取模块，用于获取数据样本；

第一解析模块，用于采用所述解析方式解析所述数据样本，获得所述数据样本的解析结果和存储类型；

第一存储模块，用于将所述解析结果存储在所述存储对象中；

则所述解析模块，具体用于采用所述存储介质中配置的所述解析方式，解析所述数据样本；

第二获取模块，用于获取所述数据样本所属的整体数据；

6.根据权利要求5所述的装置，其特征在于，所述数据样本的类型包括：分隔符类型、json类型和正则表达式类型；所述解析方式与所述数据样本的类型一一对应。

7.根据权利要求6所述的装置，其特征在于，当所述数据样本的类型为分隔符类型时，所述存储类型为值集合类型；当所述数据样本的类型为json类型时，所述存储类型为键-值集合类型；当所述数据样本的类型为正则表达式类型时，所述存储类型为值集合类型和/或键-值集合类型。

8.根据权利要求5所述的装置，其特征在于，还包括：

显示模块，用于在显示界面显示所述解析结果；

执行模块，用于当显示的所述解析结果与目标显示结果匹配时，执行所述根据所述存储类型，在存储介质中创建对应的存储对象。