CN111008189B

CN111008189B - 一种动态数据模型构建方法

Info

Publication number: CN111008189B
Application number: CN201911170630.2A
Authority: CN
Inventors: 谭胜; 黄书东; 杨微
Original assignee: Zhejiang E Port Co ltd
Current assignee: Zhejiang E Port Co ltd
Priority date: 2019-11-26
Filing date: 2019-11-26
Publication date: 2023-08-25
Anticipated expiration: 2039-11-26
Also published as: CN111008189A

Abstract

本发明公开了一种动态数据构建方法，包括以下步骤：根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中，获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题，将所述原始数据进行映射关联并构建模型对象，根据动态配置的连接器类型输出动态数据模型。该方法解决了现有技术中存在的模型可变性支持较差的问题。

Description

一种动态数据模型构建方法

技术领域

本发明涉及数据处理领域，尤其涉及一种动态数据模型构建方法。

背景技术

在数据计算、分析、搜索领域，经常会涉及采集不同数据源的增量数据并从中抽取关键字段,加工构建成模型对象的问题，因此需要考虑将来自不同数据源的增量数据，比如：原始库中的变化数据、网爬数据、接口数据、文本数据等，构建成一个统一的、规范的、可复用模型对象。

现有技术存在以下问题：缺乏统一的规范标准，在实际产品研发过程中经常会遇到这样的现象，研发人员对数据做分析，直接使用原始数据进行分析处理，当遇到原始数据字段发生变动的情况，所有使用此数据的分析逻辑必须要联动紧随变更，造成这种现象的主要原因是分析处理的数据没有统一的规范标准，没有预先根据业务创建可复用的模型对象，数据质量参差不齐，采集来自不同数据源的增量数据质量参差不齐，特别是互联网爬取的数据，数据规模非常大，脏数据特别严重，比如值缺失、值异常、含有特殊符号等,需要考虑一个预处理过程；复杂数据处理性能低，复杂结构或超大字段的数据在开发和分析中会严重影响网络与计算性能，比如计算分析的数据是来自多张原始表关联的结果，如果在计算分析处理过程中去关联，将大大降低程序处理性能,就需要考虑一个预先构建数据的过程；模型可变性支持差，即使预先将采集来自不同数据源的增量数据构建成了标准的模型对象，当遇到原始数据字段发生变动的情况，虽然处理程序不用更改可以被复用，但模型对象构建程序需要进行变更，就需要考虑一种快速响应原始数据结构变更的方法。

发明内容

本发明提供的一种动态数据模型构建方法，旨在解决现有技术中模型可变性支持差的问题。

为实现上述目的，本发明采用以下技术方案：

本发明的一种动态数据模型构建方法，包括以下步骤：

根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中；

获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题；

将所述原始数据进行映射关联并构建模型对象；

根据动态配置的连接器类型输出动态数据模型。

本发明提供的一种动态数据模型构建方法，通过对变化数据进行一种增量采集，并将采集的原始数据进行实时数据建模处理，最终将模型数据输出到外部存储中，如分布式缓存、分布式队列、存储系统，供实时计算、多维分析、搜索索引构建等使用。

作为优选，所述将所述原始数据进行映射关联并构建模型对象包括：

映射处理动态配置需要映射的字段并将原始数据字段转换成标准的元数据字段，将所述元数据字段转换成键值结构；

根据动态配置验证模型是否需要关联第三方数据源：若是，则此模型对象为复合模型对象；若否，则此模型对象为单一模型对象；

动态关联来自多个数据源中复合对象模型的字段并将关联字段的值添加到所述键值结构中；

根据动态配置输出所述模型对象的字段名并抽取键值结构中相应的键值对，将所述键值对封装成一个新的键值结构；

将唯一标识、删除标志、操作类型、业务编码的键值对加入所述新的键值结构中；

将所述新的键值结构创建成一个标准的模型对象。

一种动态数据模型构建装置，包括：

采集并应用模块，用于根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中；

获取和订阅模块，用于获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题；

映射关联和构建模块，用于将所述原始数据进行映射关联并构建模型对象；

输出模型模块，用于根据动态配置的连接器类型输出动态数据模型。

作为优选，所述映射关联和构建模块包括：

映射处理单元，用于映射处理动态配置需要映射的字段并将原始数据字段转换成标准的元数据字段，将所述元数据字段转换成键值结构；

验证单元，用于根据动态配置验证模型是否需要关联第三方数据源：若是，则此模型对象为复合模型对象；若否，则此模型对象为单一模型对象；

动态关联和添加单元，用于动态关联来自多个数据源中复合对象模型的字段并将关联字段的值添加到所述键值结构中；

抽取和封装单元，用于根据动态配置输出所述模型对象的字段名并抽取键值结构中相应的键值对，将所述键值对封装成一个新的键值结构；

加入单元，用于将唯一标识、删除标志、操作类型、业务编码的键值对加入所述新的键值结构中；

创建单元，用于将所述新的键值结构创建成一个标准的模型对象。

一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如上述中任一项所述的一种动态数据模型构建方法。

一种存储有计算机程序的计算机可读存储介质，所述计算机程序使计算机执行时实现如上述中任一项所述的一种动态数据模型构建方法。

本发明具有如下有益效果：

本发明提供的一种动态数据模型构建方法，通过对实时变化数据的增量采集，并对采集的数据进行原始加工与整合，建立统一的、可复用的数据模型对象，解决了现有技术中模型可变性支持较差的问题。

附图说明

图1是本发明实施例实现一种动态数据模型构建方法流程图。

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在介绍本发明技术方案之前，示例性的介绍一种本发明技术方案可能适用的场景。

示例性的：在数据计算、分析、搜索领域，经常会涉及采集不同数据源的增量数据并从中抽取关键字段,加工构建成模型对象的问题，因此需要考虑将来自不同数据源的增量数据，比如：原始库中的变化数据、网爬数据、接口数据、文本数据等，构建成一个统一的、规范的、可复用模型对象。

现有技术存在模型可变性支持较差的问题，即使预先将采集来自不同数据源的增量数据构建成了标准的模型对象，当遇到原始数据字段发生变动的情况，虽然处理程序不用更改可以被复用，但模型对象构建程序需要进行变更，就需要考虑一种快速响应原始数据结构变更的方法。

实施例1

如图1所示，一种动态数据模型构建方法，包括以下步骤：

S100、根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中；

S110、获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题；

S120、将所述原始数据进行映射关联并构建模型对象；

S130、根据动态配置的连接器类型输出动态数据模型。

根据实施例1可知，本发明通过对实时变化数据的增量采集，并对采集的数据进行原始加工与整合，建立统一的、可复用的数据模型对象，主要应用于分析、统计、搜索、宽表等技术领域，解决了现有技术中模型可变性支持差的问题。

实施例2

一种动态数据模型构建方法，包括：

将所述新的键值结构创建成一个标准的模型对象；

根据动态配置的连接器类型输出动态数据模型。

本发明通过对原始库中的变化数据、网爬数据、接口数据、文本数据等进行预处理，预先构建数据，从而实现快速响应原始数据结构变更，解决了现有技术中存在的模型可变性支持较差的问题。

实施例3

一种动态数据模型构建装置，包括：

上述装置的一种实施方式可为：采集并应用模块根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中，获取和订阅模块获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题，映射关联和构建模块将所述原始数据进行映射关联并构建模型对象，输出模型模块根据动态配置的连接器类型输出动态数据模型。

实施例4

一种动态数据模型构建装置，包括：

创建单元，用于将所述新的键值结构创建成一个标准的模型对象；

上述装置的一种实施方式可为：采集并应用模块根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中，获取和订阅模块获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题，映射处理单元映射处理动态配置需要映射的字段并将原始数据字段转换成标准的元数据字段，将所述元数据字段转换成键值结构，验证单元根据动态配置验证模型是否需要关联第三方数据源：若是，则此模型对象为复合模型对象；若否，则此模型对象为单一模型对象，动态关联和添加单元动态关联来自多个数据源中复合对象模型的字段并将关联字段的值添加到所述键值结构中，抽取和封装单元根据动态配置输出所述模型对象的字段名并抽取键值结构中相应的键值对，将所述键值对封装成一个新的键值结构，加入单元将唯一标识、删除标志、操作类型、业务编码的键值对加入所述新的键值结构中，创建单元将所述新的键值结构创建成一个标准的模型对象，输出模型模块根据动态配置的连接器类型输出动态数据模型。

实施例5

一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述的一种动态数据模型构建方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

一种存储有计算机程序的计算机可读存储介质，所述计算机程序使计算机执行时实现如上述的一种动态数据模型构建方法。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机设备中的执行过程。

计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可包括，但不仅限于，存储器、处理器。本领域技术人员可以理解，本实施例仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。

处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgRAM503mableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。

示例性的，一种动态数据模型构建方法，包括以下步骤：

步骤200、数据采集，获取增量变化数据，将网爬数据、接口数据、文本数据、原始库中的变化数据等按照标准规范增量采集，并将采集数据应用到分布式消息系统中；

步骤210、获取数据，根据动态配置请求器中的连接器与分布式消息队列建立连接，并从分布式消息队列中订阅需要处理的数据主题，包括业务队列与重试队列，获取采集的原始数据；

步骤220、获取处理器，通过采集原始数据的业务编码验证是否有动态配置对应的处理器，若否，则不处理；若是，则建立逻辑构建单元；

步骤230、动态字段映射，对动态配置中需要映射的字段进行映射处理，即将原始数据字段转化为标准的元数据字段，比如原始字段CREATE_DATE或CREATE_TIME动态映射成createTime，最终转化成键值结构；

步骤240、动态字段关联，根据动态配置验证模型是否需要关联第三方数据源，若是，则此模型对象为复合模型对象，进入步骤250；若否，则此模型对象为单一模型对象进入步骤280；

步骤250、构建复合模型对象，关联第三方数据源，使用动态配置中的连接器建立连接，使用相互关联字段进行关联查找，若关联查找有数据，则将指定字段与值添加到键值结构中，否则返回失败；

步骤260、对复合模型对象构建是否成功进行校验，若否，则进入步骤270；若是，则进入步骤280；

步骤270、重试处理规则校验，验证是否需要再次重新构建复合模型对象，若是，则重复执行步骤250至270；若否，则进入步骤280；

步骤280、重试最终失败处理，将原始数据写入到临时层的存储系统中,写入冲突采用“唯一标识”校验；

步骤290、根据动态配置，构建多模型输出列表；

步骤300、组装业务字段，根据动态配置输出模型对象的字段名，从键值结构中抽取相应的键值对封装成一个新的键值结构；

步骤310、组装扩展字段，向新的键值结构中加入唯一标识、数据删除标志、数据的操作类型，包括新增、删除、更新、业务编码等的键值对；

步骤320、创建模型对象，将新的键值结构构建成一个标准的模型对象，所述模型对象属性包括业务编码、业务维度、度量指标、时间轴、操作类型、对象唯一标识、删除标识等；

步骤330、模型输出，根据动态配置的连接器类型，将构建的模型对象实时输出到目标源中，如缓存、队列或存储系统,供分析、统计、搜索、宽表等领域使用；

若步骤290中动态配置需要输出多个模型对象，则重复执行步骤300至步骤330，直到动态配置的模型一一输出完成；

步骤340、从临时层的存储系统中获取数据，根据动态配置的规则校验是否需要重试处理，若是，则根据动态配置的连接器建立连接，并将数据写入到动态配置指定的目标缓冲层重试队列中，等待处理；若否，则逻辑删除重试记录。

由上述步骤可知，本发明通过对实时变化数据的增量采集，并对采集的数据进行原始加工与整合，建立统一的、可复用的数据模型对象，通过实时数据建模处理，最终将模型数据输出到外部存储中，如分布式缓存、分布式队列、存储系统，供实时计算、多维分析、搜索索引构建等使用。

以上所述仅为本发明的具体实施例，但本发明的技术特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。

Claims

1.一种动态数据模型构建方法，其特征在于，包括以下步骤：

根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将采集的数据应用到分布式消息系统中；

将原始数据进行映射关联并构建模型对象；

根据动态配置的连接器类型输出动态数据模型；

其中，将原始数据进行映射关联并构建模型对象包括：

映射处理动态配置需要映射的字段并将原始数据字段转换成标准的元数据字段，将元数据字段转换成键值结构；

根据动态配置验证模型是否需要关联第三方数据源：若是，则此模型对象为复合模型对象，动态关联来自多个数据源中复合模型对象的字段并将关联字段的值添加到键值结构中；若否，则此模型对象为单一模型对象，将原始数据写入到临时层的存储系统中,写入冲突采用“唯一标识”校验；

根据动态配置输出所述模型对象的字段名并抽取键值结构中相应的键值对，将键值对封装成一个新的键值结构；

将唯一标识、删除标志、操作类型、业务编码的键值对加入新的键值结构中；

将新的键值结构创建成一个标准的模型对象。

2.一种动态数据模型构建装置，其特征在于，包括：

采集并应用模块，用于根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将采集的数据应用到分布式消息系统中；

映射关联和构建模块，用于将原始数据进行映射关联并构建模型对象；

输出模型模块，用于根据动态配置的连接器类型输出动态数据模型；

其中，所述映射关联和构建模块包括：

映射处理单元，用于映射处理动态配置需要映射的字段并将原始数据字段转换成标准的元数据字段，将元数据字段转换成键值结构；

验证单元，用于根据动态配置验证模型是否需要关联第三方数据源：若是，则此模型对象为复合模型对象，动态关联来自多个数据源中复合模型对象的字段并将关联字段的值添加到键值结构中；若否，则此模型对象为单一模型对象，将原始数据写入到临时层的存储系统中,写入冲突采用“唯一标识”校验；

抽取和封装单元，用于根据动态配置输出所述模型对象的字段名并抽取键值结构中相应的键值对，将键值对封装成一个新的键值结构；

加入单元，用于将唯一标识、删除标志、操作类型、业务编码的键值对加入新的键值结构中；

创建单元，用于将新的键值结构创建成一个标准的模型对象。

3.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1所述的一种动态数据模型构建方法。

4.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序使计算机执行时实现如权利要求1所述的一种动态数据模型构建方法。