CN110222108A - 用于数据格式化导出的数据处理方法及装置 - Google Patents

Abstract

本申请公开了一种用于数据格式化导出的数据处理方法及装置，通过包括：获取多个数据组；确定每个数据组中各个数据对应的类型名称；其中，每个所述数据组中包括一个或多个数据；根据所述类型名称，对所述多个数据组中的数据进行处理，得到整合后数据。达到了能够自动实现数据整合，无需每次数据整合都要开发者手动编写脚本导出数据而造成费时费力的目的，从而实现了数据处理效率和业务数据的准确性高的技术效果，并能够解决不同来源数据的数据格式不规范、重复数据、错误数据、开发者处理数据时间成本高等问题。

Description

用于数据格式化导出的数据处理方法及装置

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种用于数据格式化导出的数据处理方法及装置。

背景技术

随着一些公司业务的拓展或增长，在不同区域也会设立各种机构，随之而来的是：在进行多方数据整合时，往往由于各方数据是按照各自习惯进行处理的，因此使得导出的数据格式不一，无法快速整合到一起。

举例的：在驾校通业务对接中，落地页中需展示城市经销商数据，车企厂商提供的Excel数据无法直接使用，并且存在经销商数据格式不规范、重复数据、错误数据、开发者处理数据时间成本等问题，而开发者需要经过格式化的城市经销商数据，难免需要开发者手动编写脚本导出数据，费时费力。

针对相关技术中存在的诸多技术问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种用于数据格式化导出的数据处理方法及装置，以解决相关技术中存在的至少一个技术问题。

为了实现上述目的，根据本申请的第一方面，提供了一种用于数据格式化导出的数据处理方法。

根据本申请的用于数据格式化导出的数据处理方法包括：

一种用于数据格式化导出的数据处理方法，包括：

获取多个数据组；

确定每个数据组中各个数据对应的类型名称；其中，每个所述数据组中包括一个或多个数据；

根据所述类型名称，对所述多个数据组中的数据进行处理，得到整合后数据。

进一步的，如前述的用于数据格式化导出的数据处理方法，在确定每个数据组中各个数据对应的类型名称之前，还包括：

预设与各个类型的数据所对应的特征字段；

根据所述特征字段得到与各个类型的数据对应的所述类型名称；其中，所述类型名称中包含所述特征字段。

进一步的，如前述的用于数据格式化导出的数据处理方法，在得到整合后数据之前，还包括：

对所述多个数据组中的数据逐一进行比对；

当存在数据重复的时候，对所述多个数据组中的数据进行去重。

进一步的，如前述的用于数据格式化导出的数据处理方法，在得到整合后数据之前，还包括：

获取所述多个数据组中的数据；

判断所述多个数据组中的数据是否存在空值；以及

判断所述数据的数据格式是否正确；

在所述数据为空值或者数据格式不正确时，获取所述数据所在的位置，并进行警报。

为了实现上述目的，根据本申请的第二方面，提供了一种用于数据格式化导出的数据处理装置。

根据本申请的用于数据格式化导出的数据处理装置包括：一种用于数据格式化导出的数据处理装置，其特征在于，包括：

数据组获取单元，用于获取多个数据组；

类型名称确定单元，用于确定每个数据组中各个数据对应的类型名称；其中，每个所述数据组中包括一个或多个数据；

整合单元，用于根据所述类型名称，对所述多个数据组中的数据进行处理，得到整合后数据。

进一步的，如前述的用于数据格式化导出的数据处理装置，还包括：类型名称设定单元；所述类型名称设定单元包括：

特征字段预设模块，用于预设与各个类型的数据所对应的特征字段；

类型名称模块，用于根据所述特征字段得到与各个类型的数据对应的所述类型名称；其中，所述类型名称中包含所述特征字段。

进一步的，如前述的用于数据格式化导出的数据处理装置，还包括：去重单元；所述去重单元包括：

比对模块，用于对所述多个数据组中的数据逐一进行比对；

去重模块，用于当存在数据重复的时候，对所述多个数据组中的数据进行去重。

进一步的，如前述的用于数据格式化导出的数据处理装置，还包括：数据检查单元；所述数据检查单元包括：

数据获取模块，用于获取所述多个数据组中的数据；

空值判断模块，用于判断所述多个数据组中的数据是否存在空值；以及

格式判断模块，用于判断所述数据的数据格式是否正确；

位置获取模块，用于在所述数据为空值或者数据格式不正确时，获取所述数据所在的位置，并进行警报。

为了实现上述目的，根据本申请的另三方面，提供了一种计算机设备。

根据本申请的计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的用于数据格式化导出的数据处理方法。

为了实现上述目的，根据本申请的第四方面，提供了一种计算机可读存储介质。

一种计算机可读存储介质，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，上述的用于数据格式化导出的数据处理方法被执行。

在本申请实施例中，采用一种用于数据格式化导出的数据处理方法及装置的方式，通过包括：获取多个数据组；确定每个数据组中各个数据对应的类型名称；其中，每个所述数据组中包括一个或多个数据；根据所述类型名称，对所述多个数据组中的数据进行处理，得到整合后数据。达到了能够自动实现数据整合，无需每次数据整合都要开发者手动编写脚本导出数据而造成费时费力的目的，从而实现了数据处理效率和业务数据的准确性高的技术效果，并能够解决不同来源数据的数据格式不规范、重复数据、错误数据、开发者处理数据时间成本高等问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请一种实施例的用于数据格式化导出的数据处理方法的流程示意图；以及

图2是根据本申请一种实施例的用于数据格式化导出的数据处理装置的功能模块结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本申请的一个实施例，提供了一种用于数据格式化导出的数据处理方法。如图1所示，该方法包括如下的步骤S1至步骤S3：

S1.获取多个数据组；

具体的，所述获取可以是通过向各个下端的计算机或系统进行主动抓取得到，也可以是下端的计算机或系统主动上传得到；所述数据组可以是数据表的形式，更进一步的，可以是Excel数据；

S2.确定每个数据组中各个数据对应的类型名称；其中，每个所述数据组中包括一个或多个数据；

具体的，所述类型名称一般可以直接以所述数据所对应的类型进行命名；当所述数据组是Excel数据时，所述类型名称即为所述Excel数据中的列名；

S3.根据所述类型名称，对所述多个数据组中的数据进行处理，得到整合后数据。

也就是说，将各个数据组中的数据，分别按照所述类型名称依次写入所述整合后数据中；优选的，当所述数据组中包括多条数据，每条数据中又包括多个子数据，则将各个子数据按照所述整合后数据中不同类型数据的排序规则进行排序，并写入所述整合后数据中；举例的，当为Excel数据时，确定整合后数据中每列的名字，然后将各条数据按照名字对应写入整合后的数据表中，并且原属于同一条数据的各个子数据仍位于同一行中。通过执行本方法的系统，一方面提高了开发者的开发效率，去除了不必要的手动脚本编写和数据导出工作，另一方面提高了落地页中经销商数据的准确性，避免不必要的系统缺陷，增加系统稳定性。

在一些实施例中，如前述的用于数据格式化导出的数据处理方法，在确定每个数据组中各个数据对应的类型名称之前，还包括：

预设与各个类型的数据所对应的特征字段；

根据所述特征字段得到与各个类型的数据对应的所述类型名称；其中，所述类型名称中包含所述特征字段。

具体的，以固定的字段作为所述特征字段，并且优选的采用前缀命名的方式置于所述类型名称中，方便数据处理中字段提取。举例的：当一类型的数据是用于表征售出车辆数量时，则特征字段为“SCL”(“售出量”)；则所述类型名称只需带有所述SCL即可，例如：SCL车辆数、SCL台数、SCL车辆等等均可，只需包括所述SCL使系统能够提取得到相应的字段即可；此外，当不通过特征字段进行表征时，还可以通过语义识别的方式对每个类型名称进行识别，得到不同数据组中相对应的类型名称，然后根据各个类型名称所对应的数据进行数据整合。

在一些实施例中，如前述的用于数据格式化导出的数据处理方法，在得到整合后数据之前，还包括：

对所述多个数据组中的数据逐一进行比对；

当存在数据重复的时候，对所述多个数据组中的数据进行去重。

也就是说，由于数据来源较多，难免会存在数据重复率高，无用数据多的情况，用此针对数据重复问题，在生成最终的数据格式之前，会对数据进行一次排重处理，减少数据整合处理量，同时能够去除无用数据。

在一些实施例中，如前述的用于数据格式化导出的数据处理方法，在得到整合后数据之前，还包括：

获取所述多个数据组中的数据；

也就是说，抽取出所述数据组中的所有数据，优选的，当所述数据组为Excel时，可以行为单位获取数据组中的数据；

判断所述多个数据组中的数据是否存在空值；

也就是说，判断数据组中的数据是否为空；

判断所述数据的数据格式是否正确；

也就是说，会预先设置与每个数据对应的正确的数据格式；举例的：当进行进行省份和城市数据归类合并，检查数据合法性，优化存在多余字符的数据，例如：当预设的地名规则为“XX省XX市XX县(区)”时，而存在一地名为“中国北京市海淀区中关村南大街XX号”时，检测到其存在多余字符“中国”、“中关村南大街XX号”，因此，对其进行优化，得到“北京市海淀区”；所述检测到空值数据即为当Excel中某一行的数据为空时，不对该行的数据进行保留；

在所述数据为空值或者数据格式不正确时，获取所述数据所在的位置，并进行警报。具体的，在提供错误的位置的同时，还可以通过增加树形JSON数据预览功能，方便开发者检查数据；

进一步的，当为对Excel数据进行处理时，可以主要基于xlsx开源项目，做到Excel数据和JSON数据的互相导出。优选的，界面展示通过前端js实现，数据导出保存使用浏览器提供的FileReader API实现Excel与JSON数据的互相导出。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本发明实施例，还提供了一种用于实施上述用于数据格式化导出的数据处理方法的用于数据格式化导出的数据处理装置，如图2所示，该装置包括：

数据组获取单元1，用于获取多个数据组；

类型名称确定单元2，用于确定每个数据组中各个数据对应的类型名称；其中，每个所述数据组中包括一个或多个数据；

整合单元3，用于根据所述类型名称，对所述多个数据组中的数据进行处理，得到整合后数据。

具体的，本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

在一些实施例中，如前述的用于数据格式化导出的数据处理装置，还包括：类型名称设定单元；所述类型名称设定单元包括：

特征字段预设模块，用于预设与各个类型的数据所对应的特征字段；

类型名称模块，用于根据所述特征字段得到与各个类型的数据对应的所述类型名称；其中，所述类型名称中包含所述特征字段。

具体的，本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

在一些实施例中，如前述的用于数据格式化导出的数据处理装置，还包括：去重单元；所述去重单元包括：

比对模块，用于对所述多个数据组中的数据逐一进行比对；

去重模块，用于当存在数据重复的时候，对所述多个数据组中的数据进行去重。

具体的，本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

在一些实施例中，如前述的用于数据格式化导出的数据处理装置，还包括：数据检查单元；所述数据检查单元包括：

数据获取模块，用于获取所述多个数据组中的数据；

空值判断模块，用于判断所述多个数据组中的数据是否存在空值；以及

格式判断模块，用于判断所述数据的数据格式是否正确；

位置获取模块，用于在所述数据为空值或者数据格式不正确时，获取所述数据所在的位置，并进行警报。

具体的，本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

为了实现上述目的，根据本申请的又一个实施例，提供了一种计算机设备。

根据本申请的计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的用于数据格式化导出的数据处理方法。

为了实现上述目的，根据本申请的再一个实施例，提供了一种计算机可读存储介质。

一种计算机可读存储介质，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，上述的用于数据格式化导出的数据处理方法被执行。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种用于数据格式化导出的数据处理方法，其特征在于，包括：

获取多个数据组；

确定每个数据组中各个数据对应的类型名称；其中，每个所述数据组中包括一个或多个数据；

根据所述类型名称，对所述多个数据组中的数据进行处理，得到整合后数据。

2.根据权利要求1所述的用于数据格式化导出的数据处理方法，其特征在于，在确定每个数据组中各个数据对应的类型名称之前，还包括：

预设与各个类型的数据所对应的特征字段；

根据所述特征字段得到与各个类型的数据对应的所述类型名称；其中，所述类型名称中包含所述特征字段。

3.根据权利要求1所述的用于数据格式化导出的数据处理方法，其特征在于，在得到整合后数据之前，还包括：

对所述多个数据组中的数据逐一进行比对；

当存在数据重复的时候，对所述多个数据组中的数据进行去重。

4.根据权利要求1所述的用于数据格式化导出的数据处理方法，其特征在于，在得到整合后数据之前，还包括：

获取所述多个数据组中的数据；

判断所述多个数据组中的数据是否存在空值；以及

判断所述数据的数据格式是否正确；

在所述数据为空值或者数据格式不正确时，获取所述数据所在的位置，并进行警报。

5.一种用于数据格式化导出的数据处理装置，其特征在于，包括：

数据组获取单元，用于获取多个数据组；

类型名称确定单元，用于确定每个数据组中各个数据对应的类型名称；其中，每个所述数据组中包括一个或多个数据；

整合单元，用于根据所述类型名称，对所述多个数据组中的数据进行处理，得到整合后数据。

6.根据权利要求5所述的用于数据格式化导出的数据处理装置，其特征在于，还包括：类型名称设定单元；所述类型名称设定单元包括：

特征字段预设模块，用于预设与各个类型的数据所对应的特征字段；

类型名称模块，用于根据所述特征字段得到与各个类型的数据对应的所述类型名称；其中，所述类型名称中包含所述特征字段。

7.根据权利要求5所述的用于数据格式化导出的数据处理装置，其特征在于，还包括：去重单元；所述去重单元包括：

比对模块，用于对所述多个数据组中的数据逐一进行比对；

去重模块，用于当存在数据重复的时候，对所述多个数据组中的数据进行去重。

8.根据权利要求5所述的用于数据格式化导出的数据处理装置，其特征在于，还包括：数据检查单元；所述数据检查单元包括：

数据获取模块，用于获取所述多个数据组中的数据；

空值判断模块，用于判断所述多个数据组中的数据是否存在空值；以及

格式判断模块，用于判断所述数据的数据格式是否正确；

位置获取模块，用于在所述数据为空值或者数据格式不正确时，获取所述数据所在的位置，并进行警报。

9.一种计算机设备，该计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至4任一项所述的用于数据格式化导出的数据处理方法。

10.一种计算机可读存储介质，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，如权利要求1至4任一项所述的用于数据格式化导出的数据处理方法被执行。