CN111143297B - 多格式混合数据的分类、拼接系统及方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，公开了多格式混合数据的分类、拼接系统及方法，系统包括：原始数据存储单元，用于存储待处理的具有数据属性标记的多格式批量数据文件；数据文件分类单元，根据数据文件的格式后缀，对原始数据存储单元中待处理的多格式批量数据文件按格式进行分类；数据文件融合单元，根据数据文件的类型，融合经数据文件分类单元分类后的具有相同类型条件的各格式数据文件；数据输出单元，根据数据文件的属性，从数据文件融合单元融合后的数据文件中输出具有相同属性的数据文件。本发明的技术方案实现了快速对成批量的不同属性、不同格式的混合数据按格式进行格式分类后再将同一属性不同格式的数据进行合并。

Description

多格式混合数据的分类、拼接系统及方法

技术领域

本发明涉及数据处理的技术领域，尤其是涉及一种多格式混合数据的分类、拼接系统及方法。

背景技术

互联网信息时代的来临和大数据技术的出现，造成了前所未有的数据洪流，众多利益相关者希望数据能够实现共享或者实现互换，但是，不同的数据往往存在存储方式不同或数据结构不同的问题，这些问题极大地阻碍了数据交流的进程。

举个例子，在进出口货品装船出运前，均需向海关进行申报，同一属性的数据（即同一货品申报的数据）均包括箱单、发票、运单、合同等多种数据，而这些数据往往通过不同的格式进行存储，如Excel、PDF等，除此之外，每天均有大量货品进行报关，因此，大量不同属性以及不同格式的数据被录入，为了实现数据与货品的匹配，以及方便后续处理，这些数据在存储入库前必须要进行清洗及分类工作。以往，此类工作一般以人工操作为主，因此不仅存在着耗时耗力，效率低下的问题，同时数据也容易被二次污染，导致无法实现数据的快速、高效应用，阻碍了数据交换共享、快速应用的进程。

发明内容

针对现有技术存在的不足，本发明的目的之一是提供一种快速对成批量的不同属性、不同格式的混合数据按格式进行分类，再根据属性将同一属性不同格式的数据进行合并的多格式混合数据的分类、拼接系统。

本发明的上述发明目的多格式混合数据的分类、拼接系统是通过以下技术方案得以实现的：

多格式混合数据的分类、拼接系统，包括：

原始数据存储单元，用于存储待处理的多格式批量数据文件，其中所述数据文件按照数据属性命名；

数据文件分类单元，根据所述数据文件的格式后缀，对原始数据存储单元中待处理的多格式批量数据文件按格式进行分类；

数据文件融合单元，根据所述数据文件的类型，融合经数据文件分类单元分类后的具有相同类型条件的各格式数据文件；

数据输出单元，根据所述数据文件的属性，从数据文件融合单元融合后的数据文件中输出具有相同属性的数据文件。

通过采用上述技术方案，数据文件分类单元根据数据文件的格式后缀对原始数据存储单元中存储的待处理的多格式批量数据文件按照格式进行分类存储，数据文件融合单元再根据文件的类型，将各个格式的具有相同类型条件的数据文件融合成特定的结构输出，从而实现了快速对成批量的不同属性、不同格式的混合数据按格式进行格式分类后再将同一属性不同格式的数据进行合并。

本发明在一较佳示例中可以进一步配置为：还包括数据获取单元，所述数据获取单元位于所述原始数据存储单元与所述数据文件分类单元之间，用于从所述原始数据存储单元获取待处理的多格式批量数据文件，并发送至所述数据文件分类单元。

通过采用上述技术方案，数据获取单元实现了数据文件的转移，将原始数据存储单元中的待处理的多格式批量数据文件发送至所述数据文件分类单元进行分类处理。

本发明在一较佳示例中可以进一步配置为：所述数据文件融合单元包括：

数据结构化处理单元，分别对分类后的数据文件进行结构化处理，以期使各数据文件生成可结构化存储的中间文件；

数据内容规则模块，预先设定有多种类型标准模型，并分配有对应的类型库，按照类型标准模型对数据结构化处理单元生成的各中间文件进行分类别存储。

通过采用上述技术方案，数据结构化处理单元分别将分类后的数据文件进行结构化处理，转化成中间文件，中间文件的特点为具有可扩展功能，相同类型的中间文件具有相同的标记，相同类型且不同格式的数据文件对应的中间文件高度相似，因此，便于后续不同格式相同类型的数据文件按照类型进行分类；数据内容规则模块预先设定有多种类型标准模型，并分配有对应的类型库，因此，将中间文件一一与各标准模型进行比对，能够实现匹配的中间文件放置对应的类型库中，从而实现了了数据文件按照类型分类。

本发明在一较佳示例中可以进一步配置为：所述数据文件融合单元还包括不合规数据文件库，所述不合规数据文件库用于存储剔除的不合规数据文件。

通过采用上述技术方案，不能与任一标准模型匹配的中间文件直接隔离存储至不合规数据文件库，便于人工干涉，进行检查、分类。

本发明在一较佳示例中可以进一步配置为：所述数据文件融合单元还包括数据分类记录单元与数据内容规则模块连接，所述数据分类记录单元用于对所述数据内容规则模块生成的类型库进行记录。

通过采用上述技术方案，数据分类记录单元用于对所述数据内容规则模块生成的类型库进行记录，从而方便使用者识别、统计。

本发明在一较佳示例中可以进一步配置为：还包括数据存储规则单元，所述数据存储规则单元与所述数据输出单元连接，预先设定有最终所需输出数据文件的标准结构。

通过采用上述技术方案，使用者通过数据存储规则单元可预先设定需要输出的数据文件的标准结构，使该系统可运用于不同领域，提高了本系统的实用性。

本发明的第二目的在于提供一种基于上述多格式混合数据的分类、拼接系统的多格式混合数据的分类、拼接方法，其能够快速对成批量的不同属性、不同格式的混合数据按格式进行分类，再根据属性将同一属性所有格式的数据进行合并。

本发明的上述发明目的多格式混合数据的分类、拼接方法是通过以下技术方案得以实现的：

多格式混合数据的分类、拼接方法，包括以下步骤：

S1：数据录入，将待处理的多格式批量数据文件按照特定的数据属性命名后存储至原始数据存储单元；

S2：获取数据，从原始数据存储单元获取待处理的多格式批量数据文件；

S3：格式分类，根据所述数据文件的格式后缀将待处理的多格式批量数据文件按格式进行分类；

S4：数据融合：将经过格式分类后的数据进行解析，将需要的字段进行清洗、分类、整理融合成一份特定格式的数据，然后输出融合后的数据。

通过采用上述技术方案，用户将各数据文件按照数据属性进行命名后存储至原始数据存储单元，数据文件分类单元根据数据文件的格式后缀对原始数据存储单元中存储的待处理的多格式批量数据文件按照格式进行分类存储，数据文件融合单元再根据文件的类型，将各个格式的具有相同类型条件的数据文件融合成特定的结构输出，从而实现了快速对成批量的不同属性、不同格式的混合数据按格式进行格式分类后再将同一属性不同格式的数据进行合并。

本发明在一较佳示例中可以进一步配置为：S2具体为：所述数据获取单元依次扫描所述原始数据存储单元中的待处理的多格式批量数据文件，并将其推送至所述数据文件分类单元。

通过采用上述技术方案，在将待处理的多格式批量数据文件录入至原始数据存储单元后，通过扫描原始数据存储单元对将待处理的多格式批量数据文件按照格式进行一一分类。

本发明在一较佳示例中可以进一步配置为：S4包括：

S41：分别对分类后的数据文件进行结构化处理，以期使各数据文件生成可结构化存储的中间文件；

S42：按照预先设定有标准模型，对结构化处理后的中间文件进行清洗、分类，存储至对应的类型库中；

S43：按照标准结构，从各类型库中抓取相同属性的数据文件整理融合后输出。

通过采用上述技术方案，结构化处理后的数据文件转化成中间文件，中间文件的特点为具有可扩展功能，相同类型的中间文件具有相同的标记，相同类型且不同格式的数据文件对应的中间文件高度相似，因此，便于后续不同格式相同类型的数据文件按照类型进行分类；数据内容规则模块预先设定有多种类型标准模型，并分配有对应的类型库，因此，将中间文件一一与各标准模型进行比对，能够实现匹配的中间文件放置对应的类型库中，从而实现了了数据文件按照类型分类；最后，再按照预设的标准结构从各类型库中抓取相同属性的数据文件整理融合后输出，从而实现了快速对成批量的不同属性、不同格式的混合数据按格式进行格式分类后再将同一属性不同格式的数据进行合并。

本发明在一较佳示例中可以进一步配置为：S4还包括S44：将与标准模型不匹配的不合规数据剔除至不合规数据文件库，不合规数据文件库中的数据通过人工归类。

通过采用上述技术方案，将与标准模型不匹配的不合规数据再通过人工检查一遍，从而放置数据文件的丢失、遗漏，保证最后输出的数据的准确性。

综上所述，本发明包括以下至少一种有益技术效果：

1. 通过数据文件分类单元根据数据文件的格式后缀对原始数据存储单元中存储的带数据属性标记的待处理的多格式批量数据文件按照格式进行分类存储，然后数据文件融合单元再根据文件的类型，将各个格式的具有相同类型条件的数据文件融合成特定的结构输出，从而实现了快速对成批量的不同属性、不同格式的混合数据按格式进行格式分类后再将同一属性不同格式的数据进行合并；

2. 通过数据文件融合单元将待处理的多格式批量数据文件转化成中间文件，中间文件的特点为具有可扩展功能，相同类型的中间文件具有相同的标记，相同类型且不同格式的数据文件对应的中间文件高度相似，因此，便于后续不同格式相同类型的数据文件按照类型进行分类。

附图说明

图1是本发明实施例1提供的多格式混合数据的分类、拼接系统的结构示意图。

图2是本发明实施例2提供的多格式混合数据的分类、拼接方法的流程图。

图3是本发明实施例3提供的多格式混合数据的分类、拼接系统的结构示意图。

图4是本发明实施例4提供的多格式混合数据的分类、拼接方法的流程图。

图5是本发明实施例5提供的多格式混合数据的分类、拼接系统的结构示意图。

图6是本发明实施例6提供的多格式混合数据的分类、拼接系统的结构示意图。

图中，1、原始数据存储单元；101、子存储单元；2、数据文件分类单元；3、数据文件融合单元；4、数据输出单元；10、数据获取单元；31、数据结构化处理单元；32、数据内容规则模块；320、类型库；330、不合规数据文件库；34、数据分类记录单元；5、数据存储规则单元。

具体实施方式

以下结合附图对本发明作进一步详细说明。

实施例1：

参照图1，为本发明公开的一种多格式混合数据的分类、拼接系统，包括：

原始数据存储单元1，用于存储待处理的多格式批量数据文件，其中，数据文件按照数据属性给予特定的命名；

与原始数据存储单元1连接的数据获取单元10，用于从原始数据存储单元1获取待处理的多格式批量数据文件；

与数据获取单元10连接的数据文件分类单元2，用于接收数据获取单元10获取的待处理的多格式批量数据文件，并根据数据文件的格式后缀，对中待处理的多格式批量数据文件按格式进行分类；

若干子存储单元101，与数据文件分类单元2连接，按照格式分类分别存储分类后的数据文件；

数据文件融合单元3，与子存储单元101连接，根据数据文件的类型，融合经数据文件分类单元2分类后的具有相同类型条件的各格式数据文件，具体的，如图1所示，数据文件融合单元3包括：

数据结构化处理单元31，与子存储单元101连接，分别对分类后的数据文件进行结构化处理，以使各数据文件生成可结构化存储的中间文件；

数据内容规则模块32，与数据结构化处理单元31连接，预先设定有多种类型标准模型，并分配有对应的类型库320，按照类型标准模型对数据结构化处理单元31生成的各中间文件进行分类别存储，存储至对用的类型库320中；

如图1所示，本发明公开的一种多格式混合数据的分类、拼接系统还包括数据存储规则单元5和数据输出单元4，数据输出单元4与数据内容规则模块32连接，数据存储规则单元5与数据输出单元4连接，数据存储规则单元5预先设定有最终所需输出数据文件的标准结构，数据输出单元4根据数据存储规则单元5设定的最终所需输出数据文件的标准结构，从各类型库320中输出具有相同属性的数据文件。

实施例2：

本发明还披露了基于实施例1中公开的多格式混合数据的分类、拼接系统的多格式混合数据的分类、拼接方法， 如图2所示，其包括以下步骤：

S1：数据录入，将待处理的多格式批量数据文件按照特定的数据属性命名后存储至原始数据存储单元1；以报关行业为例，预先将报关数据文件按照数据属性（即对应货品）进行命名，然后存储至原始数据存储单元1中，这里的报关数据文件包括所有格式的数据文件，如Excel、PDF等，均混合放置一个文件夹（即原始数据存储单元1）中；

S2：获取数据，数据获取单元10依次扫描原始数据存储单元1中的待处理的多格式批量数据文件，从原始数据存储单元1获取待处理的多格式批量数据文件，并将其推送至数据文件分类单元2；

S3：格式分类，数据文件分类单元2根据数据文件的格式后缀（.xls、.pdf等）将待处理的多格式批量数据文件按格式进行分类，分别存储至不同的子存储单元101（即不同的文件夹），同一子存储单元101中存储相同格式的数据文件，从而实现了多格式混合数据的初步格式分类；

但是，此时每个子存储单元101中包含来自不同数据属性的数据文件，因此，当需要将某一属性的数据文件按照特定的结构输出时，则需要将来自不同的子存储单元101中的不同格式的且具有相同属性的数据文件进行融合，因此，进入以下融合步骤：

S4：数据融合：数据文件融合单元3将经过数据文件分类单元2格式分类后的数据分别进行解析，将需要的字段进行清洗、分类、整理融合成一份特定格式的数据，然后输出融合后的数据，具体的，包括：

S41：数据结构化处理单元31分别对分类后的数据文件进行结构化处理，以期使各数据文件生成可结构化存储的中间文件，在本发明此实施方式中，数据结构化处理单元31转成可扩展标记语言（XML）文件。

S42：按照业务要求，预先在数据内容规则模块32中设置存储若干所需的标准模型，同时为对应的标准模型设置对应的类型库320，比如，在本发明此实施方式中，在数据内容规则模块32中设置存储箱单、发票、合同、运单等标准模型，并为对应的标准模型设置对用的类型库320，然后按照预先设定的标准模型对结构化处理后的中间文件进行清洗、分类，将不与任何标准模型匹配的数据文件剔除，并将与标准模型匹配的数据文件存储至对应的类型库320中，因此，属于箱单的类型库320中包含符合箱单标准模型的所有格式的数据文件，即Excel、PDF等所有格式的符合箱单标准模型的数据均被融合存储至属于箱单的类型库320，属于发票的类型库320中包含符合发票标准模型的所有格式的数据文件，即Excel、PDF等所有格式的符合发票标准模型的数据均被融合存储至属于发票的类型库320，等等；

S43：按照业务要求，预先在数据存储规则单元5中设置存储最终所需输出数据文件的标准结构，数据输出单元4按照数据存储规则单元5中设置存储的最终所需输出数据文件的标准结构从各类型库320中抓取相同属性的数据文件整理融合后输出，比如，预先在数据存储规则单元5中设置的标准结构为具备A属性的货品的箱单、运单及合同，则数据输出单元4分别从箱单、运单及合同的类型库320中抓取具备A属性的数据文件，并按照标准结构输出，从而实现了多格式混合数据的分类再拼接。

实施例3：

本发明实施例3披露了另一种实施方式的多格式混合数据的分类、拼接系统，如图3所示，其结构与实施例1中基本相同，其不同之处在于：

数据文件融合单元3还包括不合规数据文件库330与数据内容规则模块32连接，不合规数据文件库330用于存储剔除的不合规数据文件。

实施例4：

本发明实施例4披露了基于实施例3公开的多格式混合数据的分类、拼接系统的多格式混合数据的分类、拼接方法，如图4所示，其步骤与实施例2中基本相同，其不同之处在于还包括S44：将与S42中标准模型不匹配的不合规数据剔除至不合规数据文件库330，不合规数据文件库330中的数据通过人工筛查、归类。

实施例5、实施例6：

本发明实施例5、实施例6披露了第三种、第四种实施方式的多格式混合数据的分类、拼接系统，如图5、图6所示，其结构与实施例1、实施例3中基本相同，其不同之处在于：

数据文件融合单元3还包括数据分类记录单元34与数据内容规则模块32连接，数据分类记录单元34用于对数据内容规则模块32生成的类型库320进行记录。

本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (8)

1.多格式混合数据的分类、拼接系统，其特征在于，包括：

原始数据存储单元（1），用于存储待处理的多格式批量数据文件，其中所述数据文件按照数据属性命名；

数据文件分类单元（2），根据所述数据文件的格式后缀，对原始数据存储单元（1）中待处理的多格式批量数据文件按格式进行分类；

数据文件融合单元（3），根据所述数据文件的类型，融合经数据文件分类单元（2）分类后的具有相同类型条件的各格式数据文件；包括：数据结构化处理单元（31），分别对分类后的数据文件进行结构化处理，以期使各数据文件生成可结构化存储的中间文件；数据内容规则模块（32），预先设定有多种类型标准模型，并分配有对应的类型库（320），按照类型标准模型对数据结构化处理单元（31）生成的各中间文件进行分类别存储；

数据输出单元（4），根据所述数据文件的属性，从数据文件融合单元（3）融合后的数据文件中输出具有相同属性的数据文件。

2.根据权利要求1所述的多格式混合数据的分类、拼接系统，其特征在于，还包括数据获取单元（10），所述数据获取单元（10）位于所述原始数据存储单元（1）与所述数据文件分类单元（2）之间，用于从所述原始数据存储单元（1）获取待处理的多格式批量数据文件，并发送至所述数据文件分类单元（2）。

3.根据权利要求1所述的多格式混合数据的分类、拼接系统，其特征在于，所述数据文件融合单元（3）还包括不合规数据文件库（330），所述不合规数据文件库（330）用于存储剔除的不合规数据文件。

4.根据权利要求1所述的多格式混合数据的分类、拼接系统，其特征在于，所述数据文件融合单元（3）还包括数据分类记录单元（34）与所述数据内容规则模块（32）连接，所述数据分类记录单元（34）用于对所述数据内容规则模块（32）生成的类型库（320）进行记录。

5.根据权利要求1所述的多格式混合数据的分类、拼接系统，其特征在于，还包括数据存储规则单元（5），所述数据存储规则单元（5）与所述数据输出单元（4）连接，预先设定有最终所需输出数据文件的标准结构。

6.多格式混合数据的分类、拼接方法，其特征在于，包括以下步骤：

S1：数据录入，将待处理的多格式批量数据文件按照特定的数据属性命名后存储至原始数据存储单元（1）；

S2：获取数据，从原始数据存储单元（1）获取待处理的多格式批量数据文件；

S3：格式分类，根据所述数据文件的格式后缀将待处理的多格式批量数据文件按格式进行分类；

S4：数据融合：将经过格式分类后的数据进行解析，将需要的字段进行清洗、分类、整理融合成一份特定格式的数据，然后输出融合后的数据，S4包括：

S41：分别对分类后的数据文件进行结构化处理，以期使各数据文件生成可结构化存储的中间文件；

S42：按照预先设定有标准模型，对结构化处理后的中间文件进行清洗、分类，存储至对应的类型库（320）中；

S43：按照标准结构，从各类型库（320）中抓取相同属性的数据文件整理融合后输出。

7.根据权利要求6所述的多格式混合数据的分类、拼接方法，其特征在于，S2具体为：所述数据获取单元（10）依次扫描所述原始数据存储单元（1）中的待处理的多格式批量数据文件，并将其推送至所述数据文件分类单元（2）。

8.根据权利要求6所述的多格式混合数据的分类、拼接方法，其特征在于，S4还包括S44：将与标准模型不匹配的不合规数据剔除至不合规数据文件库（330），不合规数据文件库（330）中的数据通过人工归类。

Images