CN115438740A - 一种多源数据的汇聚融合方法和系统 - Google Patents

Abstract

本申请公开了一种多源数据的汇聚融合方法和系统，方法包括：通过可视化数据建模或自动化数据建模方式，进行多源数据建模；通过统一接入传感器，实现多种类型数据源的统一接入；对各类数据进行智能处理和融合；建立数据智能服务网关，动态扩展标准化、开放式的接口服务，实现多源数据的统一抽象和服务封装，为外部系统提供各类开放式数据应用场景的快速接入能力。本申请能够提供可视化建模能力，面向多种数据源、异构类型海量数据进行统一接入、自动汇聚管理，并进行各类数据的智能处理与数据融合；本申请可支撑模块化、可视化、专业化大数据汇聚平台建设等数据应用场景，全面覆盖多源数据接入、数据汇聚、数据处理与融合场景的相关技术需求。

Description

一种多源数据的汇聚融合方法和系统

技术领域

本申请涉及数据处理技术领域，特别是涉及一种多源数据的汇聚融合方法和系统。

背景技术

由于缺乏企业级数据整体规划和统筹，传统“烟囱式”的数据平台建设未能完全遵循统一的标准，仅按照各个业务需求分别设计、构建较为独立的数据采集、汇聚、数据处理机制，导致同一业务场景数据标准不一致、数据冗余，数据质量低。

如何通过统一数据融合机制有效采集、汇聚、处理、存储海量的数据资源，是各企业数据中心建设的关键要素之一。鉴于此，需集数据采集、数据汇聚、数据智能处理、数据共享于一体，提供一站式数据采集与处理服务，弥补传统工具对数据治理能力不足的问题。

发明内容

基于此，针对上述技术问题，提供一种多源数据的汇聚融合方法和系统，以解决现有技术存在的缺乏集数据采集、数据汇聚、数据智能处理、数据共享于一体的一站式数据采集与处理服务的问题。

为了实现上述目的，本申请提供如下技术方案：

第一方面，一种多源数据的汇聚融合方法，包括：

S1，通过可视化数据建模或自动化数据建模方式，进行多源数据建模；

S2，通过统一接入传感器，实现多种类型数据源的统一接入；

S3，对各类数据进行智能处理和融合；

S4，建立数据智能服务网关，动态扩展标准化、开放式的接口服务，实现多源数据的统一抽象和服务封装，为外部系统提供各类开放式数据应用场景的快速接入能力。

可选地，可视化数据建模包括：

定义数据模型类别；

定义数据模型字段属性和类型；

定义数据模型字段排序和展示方式；

自动化数据建模包括：

提取原始数据样本字段及内容；

自动生成数据模型及字段类型；

根据原始数据样本，自动生成字段排序方式。

可选地，所述多种类型数据源包括关系型数据库、非关系型数据库、新型数据存储技术存储器、数据文件和外部网站。

可选地，步骤S2具体包括：

通过接入传感器，集中适配多源异构环境，构建统一数据接入通道；

选择数据源；

选择数据采集传感器；

加载数据接入模板；

映射数据模型，完成数据接入配置。

可选地，步骤S3具体包括：

参考国家标准、行业最佳实践，统一数据指标标准和模型；

进行数据处理与数据清洗，所述数据处理包括统一数据识别、数据智能分析、数据智能处理；

进行数据入库。

进一步可选地，所述统一数据识别包括：

基于数据识别技术实现互联网数据分析处理，获取国家、省、地市web站点并从页面中提取结构化的数据，实现面向特定站点和栏目的定向抓取；

识别数据属性，通过路径表达式选取XML文档中的节点或者节点集；

针对获取的非结构化数据，通过文档解析技术，实现文档的内容解析与识别。

进一步可选地，所述数据智能分析包括：

通过自监督学习框架，提取数据特征值，实现面向数据类别、业务分类的自然语义标签体系和数据融合模型，从而实现多源数据的关联建立，实现对多源异构数据的智能融合；

运用知识图谱技术，采用基于概念标签的画像构建方法，建立数据治理行为标签管理体系；

运用基于字符模式、语法模式、语义模式的基础模式识别方法，实现数据的融合。

进一步可选地，所述数据智能处理包括：

对数据类型和单个字段长度进行修正；

字段解码映射；

字段拆分；

信息合并，通过预定义规则将存在于同一个源系统或不同源系统中的数据进行有机组合，形成一个新的实体。

可选地，所述数据智能服务网关的功能包括接口调用路由、限流熔断、流量控制、安全防护和角色鉴权。

第二方面，一种多源数据的汇聚融合系统，包括：

多源数据建模模块，用于通过可视化数据建模或自动化数据建模方式，进行多源数据建模；

多源数据统一接入模块，用于通过统一接入传感器，实现多种类型数据源的统一接入；

多源数据智能处理与融合模块，用于对各类数据进行智能处理和融合；

多源数据智能服务网关建立模块，用于建立数据智能服务网关，动态扩展标准化、开放式的接口服务，实现多源数据的统一抽象和服务封装，为外部系统提供各类开放式数据应用场景的快速接入能力。

本发明至少具有以下有益效果：

本申请实施例提供了一种多源数据的汇聚融合方法和系统，包括通过可视化数据建模或自动化数据建模方式进行多源数据建模；通过统一接入传感器，实现多种类型数据源的统一接入；对各类数据进行智能处理和融合；建立数据智能服务网关；本申请实施例所提供的方法，能够提供可视化建模能力，面向多种数据源、异构类型海量数据进行统一接入、自动汇聚管理，并进行各类数据的智能处理与数据融合；本申请可支撑模块化、可视化、专业化大数据汇聚平台建设等数据应用场景，全面覆盖多源数据接入、数据汇聚、数据处理与融合场景的相关技术需求。

附图说明

图1为本申请一个实施例提供的一种多源数据的汇聚融合方法的流程示意图；

图2为本申请一个实施例中数据建模的具体流程示意图；

图3为本申请一个实施例中多源数据统一接入的具体流程示意图；

图4为本申请一个实施例中数据智能处理和融合的具体流程示意图；

图5为本申请一个实施例中数据智能服务网关的功能结构示意图；

图6为本申请一个实施例中一种多源数据的汇聚融合方法的详细流程示意图；

图7为本申请一个实施例提供的一种多源数据的汇聚融合系统的模块架构框图；

图8为本申请一个实施例提供的计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种多源数据的汇聚融合方法，包括以下步骤：

S1，通过可视化数据建模或自动化数据建模方式，进行多源数据建模。

其中，如图2所示，可视化数据建模包括：

定义数据模型类别；

定义数据模型字段属性和类型；

定义数据模型字段排序和展示方式。

换句话说，可视化数据建模也就是基于可视化交互页面进行数据模型定义，提供可视化数据建模能力，支持全中文定义各类数据模型。可通过前端页面拖拽和定义数据模型的能力，无需登录数据库进行操作。

另外，自动化数据建模包括：

提取原始数据样本字段及内容；

自动生成数据模型及字段类型；

根据原始数据样本，自动生成字段排序方式。

数据提取时，根据系统内置算法自动推荐字段类型，例如原始数据样本字段内容为日期时间，则根据系统内置算法，自动生成日期时间格式类型的数据模型。自动化数据建模也就是提取原始数据样本字段及内容，自动生成数据模型。

换句话说，本申请支持可视化和自动化数据建模能力，通过可视化和自动化数据建模能力，无需进行数据库交互操作，能够降低操作门槛、提升数据建模及操作效率。

S2，通过统一接入传感器，实现多种类型数据源的统一接入，支持全量、增量、对比查重等汇聚管理方式。

其中，多种类型数据源包括关系型数据库、非关系型数据库、新型数据存储技术存储器、数据文件和外部网站。

如图3所示，步骤S2具体包括：

通过接入传感器，集中适配多源异构环境，构建统一数据接入通道，屏蔽异构数据源环境及数据类型的差异；

选择数据源；

选择数据采集传感器；

加载数据接入模板；

映射数据模型，完成数据接入配置。

数据接入时，可根据传感器自动识别数据源类型，并自动加载对应数据源接入模板和数据模型，无需人工配置复杂数据接入参数及模型。该步骤包括数据源接入模板自动识别、数据库对象管理、数据采集策略及与数据管理等内容。

S3，对各类数据进行智能处理和融合.

如图4所示，步骤S3具体包括：

参考国家标准、行业最佳实践，构建数据标准体系建设方法论和数据指标系统，统一数据指标标准和模型；运用面向多种数据源，多种数据类型，多种方法，足够全面的属性、维度、指标等全量数据采集，建立基础数据资产体系；

进行数据处理与数据清洗，所述数据处理包括统一数据识别、数据智能分析、数据智能处理；

进行数据入库。

其中，统一数据识别包括：

基于数据识别技术实现互联网数据分析处理，获取国家、省、地市web站点并从页面中提取结构化的数据，实现面向特定站点和栏目的定向抓取，该技术支持页面渲染，弥补了传统技术无法抓取网页动态内容的缺陷；

识别数据属性，通过路径表达式选取XML文档中的节点或者节点集，支持初始URL、搜索关键字、最大失败重试次数、结构化信息的XPath表达式等动态灵活配置；

针对获取的word、PDF等非结构化数据，通过文档解析技术，实现文档的内容解析与识别，支持归类统计分析、交叉分析、自定义维度统计分析算法。

数据清洗也就是通过定制数据清洗管理功能，采用逻辑回归算法，对采集的原始数据进行数据清洗，然后将清洗后的数据进行入库。通过数据清洗规则、数据质量校验规则，保证多源结构化数据的合规性。

进一步地，数据智能分析包括：

通过自监督学习框架，提取数据特征值，实现面向数据类别、业务分类的自然语义标签体系和数据融合模型，从而实现多源结构化数据的关联建立，实现对多源异构数据的智能融合；有利于大量数据的分类存储与数据消费；

运用知识图谱技术，采用基于概念标签的画像构建方法，建立数据治理行为标签管理体系；

通过大数据汇聚海量行业数据，各类应用场景数据等数据信息，运用基于字符模式、语法模式、语义模式等基础模式识别方法，实现数据的融合。

通过基于自然语言处理和机器学习让数据得到进一步的利用，以中文分词、语言模型等技术为核心，辅以专名识别等关键技术构建了一套高效的语义理解算法，能够准确地从用户输入内容中识别出意图及需求的关键信息。

进一步地，数据智能处理包括：

支持各类格式修正方法，对数据类型和单个字段长度进行修正；例如在一个源系统中有一个产品类型字段，其通过代码和名称在数值型和文本数据类型的字段中表示，这些类型根据不同的源系统会有所不同，因此需要对这些数据类型进行标准化，将它们改变成文本格式向用户提供有意义的值。

字段解码映射；在处理多个源数据时，存在相同数据项用过不同标签值描述的问题；

字段自动拆分；对于某些数据，源系统可能将这些数据存储在一个字段中，而在数据分析时需要将这个字段的值进行拆分统计，系统可根据预定义规则，自动实现字段分离转化，为此在数据分析处理过程中自动将字段一分为多，以便进行数据消费；

信息自动合并，通过预定义规则将存在于同一个源系统或不同源系统中的数据进行有机组合，形成一个新的实体。

总的来说，步骤S3是基于自然语言处理技术、知识图谱智能算法，提供实时数据分析处理服务，保证多源结构化数据质量和数据合规性。

通过低门槛的可视化机器学习建模能力，将复杂算法进行抽象，支持拖拽式交互，快速构建数据分析处理模型。基于自然语言处理技术、知识图谱智能算法，提供实时数据分析处理服务。通过自监督学习框架，实现多源数据关系提取，引入基于词性的句法约束和基于依存解析路径的自举学习，实现语义分词、智能查重、智能分析等服务，提供面向多种类别，异构类型，海量数据的智能分析处理、数据智能融合功能，保障数据的准确性和实时性，构建高质量数据分析处理与数据融合机制。

S4，建立数据智能服务网关，动态扩展标准化、开放式的接口服务，实现多源数据的统一抽象和服务封装，为外部系统提供各类开放式数据应用场景的快速接入能力。

进一步地，智能服务网关提供接口调用路由、限流熔断、流量控制、安全防护、角色鉴权管理等功能，服务由智能服务网关来进行全生命周期管理和安全保障。企业可通过智能接入网关实现快速加密接入，获得更加智能、更加可靠、更加安全的数据消费场景。

也就是说，智能服务网关提供接口调用路由、限流熔断、流量控制等机制，根据外部系统标识、服务请求并发数、服务请求频率等内容，自动计算调用服务请求路径。同时，系统根据服务网关压力、流量等情况，采取自动限流熔断等动作。

如图5所示，智能服务网关包括数据应用场景(为外部系统提供各类开放式数据消费场景快速接入能力)、多源数据智能服务网关API接口(提供接口调用路由、限流熔断、流量控制、安全防护、角色鉴权功能)、多源数据融合系统数据仓库。

本申请实施例所提供的多源数据的汇聚融合方法，整体上较为详细的示意图如图6所示。

本申请实施例提供了一种面向多种数据源、异构类型海量的数据自动采集、自动汇聚、智能处理与融合方法。本申请实施例所提供的方法，能够提供可视化建模能力，面向多种数据源、异构类型海量数据进行统一接入、自动汇聚管理，并通过运用知识图谱、智能算法、模拟训练等技术，实现各类数据的智能处理与数据融合。该方法可支撑模块化、可视化、专业化大数据汇聚平台建设等数据应用场景，全面覆盖多源数据接入、数据汇聚、数据处理与融合场景的相关技术需求。

应该理解的是，虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种多源数据的汇聚融合系统，包括以下模块：

多源数据建模模块701，用于通过可视化数据建模或自动化数据建模方式，进行多源数据建模；

多源数据统一接入模块702，用于通过统一接入传感器，实现多种类型数据源的统一接入；

多源数据智能处理与融合模块703，用于对各类数据进行智能处理和融合；

多源数据智能服务网关建立模块704，用于建立数据智能服务网关，动态扩展标准化、开放式的接口服务，实现多源数据的统一抽象和服务封装，为外部系统提供各类开放式数据应用场景的快速接入能力。

关于一种多源数据的汇聚融合系统的具体限定可以参见上文中对于一种多源数据的汇聚融合方法的限定，在此不再赘述。上述一种多源数据的汇聚融合系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种多源数据的汇聚融合方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，涉及上述实施例方法中的全部或部分流程。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，涉及上述实施例方法中的全部或部分流程。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多源数据的汇聚融合方法，其特征在于，包括：

S1，通过可视化数据建模或自动化数据建模方式，进行多源数据建模；

S2，通过统一接入传感器，实现多种类型数据源的统一接入；

S3，对各类数据进行智能处理和融合；

S4，建立数据智能服务网关，动态扩展标准化、开放式的接口服务，实现多源数据的统一抽象和服务封装，为外部系统提供各类开放式数据应用场景的快速接入能力。

2.根据权利要求1所述的多源数据的汇聚融合方法，其特征在于，可视化数据建模包括：

定义数据模型类别；

定义数据模型字段属性和类型；

定义数据模型字段排序和展示方式；

自动化数据建模包括：

提取原始数据样本字段及内容；

自动生成数据模型及字段类型；

根据原始数据样本，自动生成字段排序方式。

3.根据权利要求1所述的多源数据的汇聚融合方法，其特征在于，所述多种类型数据源包括关系型数据库、非关系型数据库、新型数据存储技术存储器、数据文件和外部网站。

4.根据权利要求1所述的多源数据的汇聚融合方法，其特征在于，步骤S2具体包括：

通过接入传感器，集中适配多源异构环境，构建统一数据接入通道；

选择数据源；

选择数据采集传感器；

加载数据接入模板；

映射数据模型，完成数据接入配置。

5.根据权利要求1所述的多源数据的汇聚融合方法，其特征在于，步骤S3具体包括：

参考国家标准、行业最佳实践，统一数据指标标准和模型；

进行数据处理与数据清洗，所述数据处理包括统一数据识别、数据智能分析、数据智能处理；

进行数据入库。

6.根据权利要求5所述的多源数据的汇聚融合方法，其特征在于，所述统一数据识别包括：

基于数据识别技术实现互联网数据分析处理，获取国家、省、地市web站点并从页面中提取结构化的数据，实现面向特定站点和栏目的定向抓取；

识别数据属性，通过路径表达式选取XML文档中的节点或者节点集；

针对获取的非结构化数据，通过文档解析技术，实现文档的内容解析与识别。

7.根据权利要求5所述的多源数据的汇聚融合方法，其特征在于，所述数据智能分析包括：

通过自监督学习框架，提取数据特征值，实现面向数据类别、业务分类的自然语义标签体系和数据融合模型，从而实现多源数据的关联建立，实现对多源异构数据的智能融合；

运用知识图谱技术，采用基于概念标签的画像构建方法，建立数据治理行为标签管理体系；

运用基于字符模式、语法模式、语义模式的基础模式识别方法，实现数据的融合。

8.根据权利要求5所述的多源数据的汇聚融合方法，其特征在于，所述数据智能处理包括：

对数据类型和单个字段长度进行修正；

字段解码映射；

字段拆分；

信息合并，通过预定义规则将存在于同一个源系统或不同源系统中的数据进行有机组合，形成一个新的实体。

9.根据权利要求1所述的多源数据的汇聚融合方法，其特征在于，所述数据智能服务网关的功能包括接口调用路由、限流熔断、流量控制、安全防护和角色鉴权。

10.一种多源数据的汇聚融合系统，其特征在于，包括：

多源数据建模模块，用于通过可视化数据建模或自动化数据建模方式，进行多源数据建模；

多源数据统一接入模块，用于通过统一接入传感器，实现多种类型数据源的统一接入；

多源数据智能处理与融合模块，用于对各类数据进行智能处理和融合；

多源数据智能服务网关建立模块，用于建立数据智能服务网关，动态扩展标准化、开放式的接口服务，实现多源数据的统一抽象和服务封装，为外部系统提供各类开放式数据应用场景的快速接入能力。

Images