CN117688072A - 一种多源异构数据的弹性交互处理方法 - Google Patents

Abstract

本发明涉及数据交互技术领域，具体提供了一种多源异构数据的弹性交互处理方法，包括：预先设置转换组件库，并构建分布式数据交互的序列化框架；获取多源异构数据源的交互请求，并确定交互需求；根据交互需求，在转换组件库中调用对应转换组件，并将转换组件加载至序列化框架，进行数据交互。本申请可以便捷的处理数据交互的整个过程，在这个过程中可以任意加载不同的格式转换组件，从而实现数据弹性交互，灵活性和便捷性更高。

Description

一种多源异构数据的弹性交互处理方法

技术领域

本发明涉及数据交互技术领域，特别涉及一种多源异构数据的弹性交互处理方法。

背景技术

随着大数据时代的到来，多源异构数据交互处理成为了一个重要的研究领域,传统的数据处理方法往往针对特定类型的数据进行设计和优化，无法很好地处理多源异构数据。

目前，在数据交互的过程中，需要研究标识数据模型、定义格式转换模式的元数据属性、基于标识的数据模型分类方法、数据模型转化规则中处理规则、处理流程异常监控方法、转换组件库轻量化封装和加载方法、标准化的数据交互方式。

研发多源异构数据转化技术和处理技术，研发标识数据分析技术。支持系统具体功能的实现。

包括提供跨平台的接口模块，提供数据转化处理模块、安全模块、存储模块、传输模块等功能模块，具备规则构建、模型构建、组件管理、服务编排、数据分析、异构转换、任务管理等能力，支持结构化数据、半结构化数据和非结构化数据的接入、转换、存储、传输，以及基于标识特征的敏感信息识别。提供中间件数据模型，支持异构数据与对应数据模型的相互转化。实现海量、多源异构数据的标准化转化与交互管理以及弹性的服务能力。

在专利文件201611226752.5一种基于服务总线的数据交换方法中提出了多源数据以数据流形式进行自动调度，抽取转换，经过处理的数据与源数据交换或转发到其他目标位置，将多源异构数据进行有效的输入输出，通过采用能够实现数据流自动调度和交换的服务总线，利用数据交换引擎收集并处理数据调用服务请求，通过数据接口实现数据的共享交换。使所有的业务数据互联互通，实现数据在系统中进行自动流转，可以方便参与上层的业务流程。

但是，其在弹性服务方面，缺乏弹性控制，每次进行数据交互的服务时，只能通过固定数据中心的交互协议进行数据转换，无法实现弹性的快速变换转换格式。

发明内容

本发明提供一种多源异构数据的弹性交互处理方法，用以解决现有技术在进行弹性服务方面，缺乏弹性控制，每次进行数据交互的服务时，只能通过固定的交互协议进行数据转换，无法实现弹性的快速变换转换格式的情况。

本发明提出一种多源异构数据的弹性交互处理方法，包括：

预先设置转换组件库，并构建分布式数据交互的序列化框架；

获取多源异构数据源的交互请求，并确定交互需求；

根据交互需求，在转换组件库中调用对应转换组件，并将转换组件加载至序列化框架，进行数据交互。

优选的，所述转换组件库的构建过程如下：

预先确定数据交互平台之间格式转换模式，并确定格式转换对应的目标组件；

基于目标组件，构建转换组件库；其中，

转换组件库用于构建前端应用；

转换组件库根据用户需求自定义创建；

转换组件库用于同时输出至少两种转换组件进行耦合，生成数据转换器。

优选的，所述构建分布式数据交互的序列化框架，包括：

通过分布式网络连接多源异构的交互设备，确定交互数据源；

根据交互数据源和预设的数据标识模型，进行交互数据源输出数据的序列化排布，构成序列化输入框架；其中，

序列化排布包括：一次性、重复性、周期性或随机性任务中任意一项或多项；

配置静态初始调度任务和动态目标分配任务作为序列化上层框架；其中，

序列化上层框架还用于进行数据输出；

在序列化下层框架和序列化上层框架设置加载机制，构成序列化框架。

优选的，所述数据标识模型用于进行识别分布式数据的元数据属性，并基于元数据属性，设定分布式数据的数据标识。

优选的，所述获取多源异构的交互请求包括：

获取数据交互平台的日志文件，其中；

日志文件包含不同采样时刻相对应的分布式数据的运维指标数据；

根据预设时长对所述运维日志文件进行数据分帧，获得多个时间序列数据；

基于每个时间序列数据，自动估计出其中的运维指标数据相对应的上限阈值和下限阈值，检测时间序列数据中是否产生超出所述上限阈值和下限阈值的数据漂移事件，确定产生数据漂移事件相对应的采样时刻，并记录异常数据。

优选的，所述数据交互还用于：

获取与数据交互相关的初始数据，并将初始数据存储于数据引入阶段数据中；

对初始数据进行加工，获取加工后的中间数据，并将中间数据存储于数据加工阶段数据中；

基于初始数据或加工后的中间数据，获得目标输出数据，并将目标输出数据存储于数据服务阶段数据中；

响应于数据输出指示，将存储于数据服务阶段数据中的目标输出数据提供给数据交互的交互接收端。

优选的，所述根据交互需求，在转换组件库中调用对应转换组件还包括：

根据交互需求，确定对应的交互平台；

根据交互平台，确定数据转换的转换组件；

根据数据转换的转换组件，确定数据转换的前置格式和目标格式；

根据前置格式和目标格式，检索转换组件库中的目标转换组件，并进行组件调用。

优选的，所述根据交互需求，在转换组件库中调用对应转换组件还包括：

响应于多源异构数据源的连接信息，获得多源异构数据源的的格式数据；

基格式数据进行转换组件检索，并基于检索结果，在转换组件库中更新转换组件库。

优选的，所述数据交互还包括：

设置知识蒸馏机制，对序列化框架转换后的数据进行压缩，生成目标识别模型；

目标识别模型由多个神经网络模型集成得到；

根据目标识别模型，对转换前后的信息进行匹配识别，获取匹配识别结果；

根据匹配识别结果，判断数据交互是否准确。

优选的，所述数据交互还包括：

构建数据交互的格式表格；其中，

格式表格对其数据转换的准确性进行评估，并部署生成第二调用指令们进行转换组件调用；

根据格式表格表；

对数据转换的实际情况和理想状态进行对比，判定数据交互是否完成。

本发明有益效果在于：

本申请可以便捷的处理数据交互的整个过程，在这个过程中可以任意加载不同的格式转换组件，从而实现数据弹性交互，灵活性和便捷性更高。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种多源异构数据的弹性交互处理方法的方法流程图；

图2为本发明实施例中一种多源异构数据的弹性交互处理方法的序列化框架的构成流程图；

图3为本发明实施例中一种多源异构数据的弹性交互处理方法的数据交互准确度的判断流程图；

图4为本发明实施例中数据弹性交互的模块组成图；

图5为本发明实施例中转换组件库对数据交互端的注册信息采集传输过程图；

图6为本发明实施例中序列化框架的组成和数据连接图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

参件附图1和附图4，本发明提出一种多源异构数据的弹性交互处理方法，具体过程如下：

本发明通过预先设置的转换组件库，构建分布式数据交互的序列化框架；

获取多源异构数据源的交互请求，并确定交互需求；

根据交互需求，在转换组件库中调用对应转换组件，并将转换组件加载至序列化框架，进行数据交互。

上述技术方案的原理在于：

现有技术方案中，往往进行格式转换需要特定的数据传输接口，这种方式实现数据交互的时候，每种数据只能通过特定的转换组件和特定的转换接口在特定的数据传输通道进行数据传输。

因此，本申请采用了一种通过转换组件加载的方式进行转换组件的更换，从而不需要特定的数据传输通道进行数据传输，进行格式转换。

如附图4所示，本申请在具体实施的时候，转换组件库中设置有多种不同类型的数据组件，包括但不限于数据清洗、数据变换、特征提取、数据压缩的数据精细化处理组件，以及数据进行归一化、格式转换、数据整合的数据变换组件。转换组件库中还包括数据转换成适合可视化、分析、决策等应用需求的格式和数据类型。在进行数据转换的时候，包括但不限于采用字段映射的方式进行数据类型的转换，通过数据过滤在交互的时候筛选出目标数据的组件，通过数据清洗在交互的时候进行无效、缺失和错误数据的处理，通过数据替换麻将不符合交互要求的数据替换为符合交互要求的数据，在数据交互过程中进行数据求和，平均值和方差计算的组件，验证数据完整性和准确性的组件，在数据交互过程中进行数据加密和解密的组件，以及多个交互端进行交互过程中，进行不同交互段数据合并，并在合并之后进行数据交互的组件，以及在数据交互过程中，进行数据拆分，向不同交互端进行数据分别发送，分析处理的组件。

在这个过程中，转换组件库单独设置，其内部配置有大量的转换组件；

分布式数据交互的序列化框架是通过分布式网络及性能数据采集,并能够加载转换组件的程序执行平台框架，交互需求中存在数据交互双方平台的具体数据格式，然后通过具体的数据格式进行数据交互处理，在这个具体的过程中，通过交互请求端的交互需求，确定需要交互的交互接收端口，并在这个过程中，交互需求包括但不限于交互数据的转换和交互数据处理，交互需求通过请求服务器进行处理提出，然后通过请求处理服务器生成不同组件的调用程序，在转换组件库中根据交互请求端和的数据处理需求，调用对应的转换组件，并通过将多种转换组件进行序列化排序，将交互数据按照请求需求进行处理，然后实现不同交互端之间动态的，可变化的弹性交互。

上述技术方案的有益效果在于：

本申请可以便捷的处理数据交互的整个过程，在这个过程中可以任意加载不同的转换组件，将需要进行交互的数据进行按照需要的处理顺序进行处理，然后实现不同数据弹性交互，灵活性和便捷性更高。

具体的，所述转换组件库的构建过程如下：

预先确定数据交互平台之间格式转换模式，并确定格式转换对应的目标组件；

基于目标组件，构建转换组件库；其中，

转换组件库用于构建前端应用；

转换组件库根据用户需求自定义创建；

转换组件库用于同时输出至少两种转换组件进行耦合，生成数据转换器。

上述技术方案的原理在于：

本申请的转换组件库通过预先注册的进行数据交互的交互平台进行确定，注册后的交互平台会通过注册管理器，获取不同交互平台的信息，包括数据格式信息和数据的接收形式等等，即通过注册信息，确定交互平台所有可能接收的数据的表现形式，以及需要进行处理方式，进而确定目标组件，构建转换组件库；转换组件库在功能上可以根据用户需求进行自动创建，并且添加不同形式的转换组件，同时能够基于转换组件构建前端应用，通过至少两种转换组件的耦合，实现数据转换，数据转换器的作用包括数据数据格式的转换以及数据压缩、拆分、集成等等不同方式的处理，以此实现数据处理。

上述技术方案的有益效果在于：

本申请结合实际的交互平台需求，通过不同交互平台具有不同的数据处理要求，通过耦合指令实现在转换组件库中调用对应的格式组件实现数据转换器的生成，一个数据转换器可能由多种不同转换组件的动态构成，从而实现不同平台之间的数据交互处理，这个交互处理包括但不限于格式转换、数据压缩、数据拆分等等。

具体的，所述构建分布式数据交互的序列化框架的步骤如下：

通过分布式网络连接多源异构的交互设备，确定交互数据源；

根据交互数据源和预设的数据标识模型，进行交互数据源输出数据的序列化排布，构成序列化输入框架；其中，

序列化排布包括：一次性、重复性、周期性或随机性任务中任意一项或多项；

配置静态初始调度任务和动态目标分配任务作为序列化上层框架；其中，

序列化上层框架还用于进行数据输出；

在序列化下层框架和序列化上层框架设置加载机制，构成序列化框架。

上述技术方案的原理在于：

如附图2所示，本申请可以通过分布式网络，实现对不同数据源的数据采集，然后通过数据采集的方式，在不同数据交互的平台之间生成序列化输入框架，然后通过多种数据传输的任务实现数据输入，基于任务调度的方式生成序列化上层框架进行数据输出，上层框架和下层框架之间可以加载数据转换的格式组件。

云调用服务器连接转换组件库，并且进行组件调用，并在调用后加载值组件载入层。分布式网络是一种多源数据网络，用于连接多种不同的交互设备进行交互数据采集，连接数据请求端和数据接收端。数据表示模型用于在数据交互过程中，进行数据分类，生成数据标识信息，其用于将交互数据按照交互顺序传输，进行序列化数据排序，从而能够输入序列化输入框架中。

序列化排布是将交互数据进行一次性传输，重复性传输，周期性传输以及随机性传输的过程中，进行数据排序，实现数据按照顺序传输，并且能够按照转换组件的连接排布顺序。

初始调度任务和动态目标分配任务，是交互数据的传输任务，也包括转换组件的排布任务，从而实现数据排序和组件排序，在排序之后进行数据顺序传输和数据顺序转换。

具体的，所述数据标识模型用于进行识别分布式数据的元数据属性，并基于元数据属性，设定分布式数据的数据标识。

上述技术方案的原理在于：

本申请设置由数据表示模型，数据表示模型用于进行数据分类和数据识别，确定多源数据中任意交互平台内交互数据的具体元数据属性，包括数据大小、数据格式和数据类型等等。

具体的，所述获取多源异构的交互请求包括：

获取数据交互平台的日志文件，其中；

日志文件包含不同采样时刻相对应的分布式数据的运维指标数据；

根据预设时长对所述运维日志文件进行数据分帧，获得多个时间序列数据；

基于每个时间序列数据，自动估计出其中的运维指标数据相对应的上限阈值和下限阈值，检测时间序列数据中是否产生超出所述上限阈值和下限阈值的数据漂移事件，确定产生数据漂移事件相对应的采样时刻，并记录异常数据。

上述技术方案的原理在于：

本申请在进行产生交互请求的时候，如附图4所示，交互请求依靠交互请求端发出，确定交互数据和交互平台。运维指标数据包括但不限于数据可用性指标，数据响应时间指标、数据吞吐量指标、数据并发用户数(交互请求端数量、交互接收端数量)，以及错误率指标和资源利用率指标等等。

运维日志文件的分帧，是将运维日志数据按照时间轴对应的时间帧，确定每一时刻的数据，通过每一时刻的时间序列数据自动估算数据交互过程中是不是会产生超出交互网络和转换组件进行转换的上限阈值和下限阈值，从而实现异常数据的记录，进行异常数据的采样，记录异常数据，这个过程包括请求前的估算和请求后，在进行数据交互过程中的数据监控。

上述技术方案的有益效果在于：

本申请可以通过数据交互平台的日志文件，设定分布式数据的运维指标，然后同数据分帧的方式，记录出现异常的数据漂移事件的数据，判断数据采集过程中是否出现数据异常。

具体的，所述数据交互还用于：

获取与数据交互相关的初始数据，并将初始数据存储于数据引入阶段数据中；

对初始数据进行加工，获取加工后的中间数据，并将中间数据存储于数据加工阶段数据中；

基于初始数据或加工后的中间数据，获得目标输出数据，并将目标输出数据存储于数据服务阶段数据中；

响应于数据输出指示，将存储于数据服务阶段数据中的目标输出数据提供给数据交互的交互接收端。

上述技术方案的原理在于：

如附图4～6所示，在数据交互的过程中，首先会确定数据请求端和数据接收端进行数据交互的初始数据，数据引入阶段数据是序列化框架的序列化上层框架，然后在序列化上层框架中通过转换组件载入的转换组件进行对初始数据进行加工，确定加工后的中间数据，中间数据为可以发往另外一端的交互数据，表示数据已经处理完成，数据格式也转换完成。从而生成目标输出数据，将目标输出数据存储于数据服务阶段数据中，即存储在序列化下层框架中，响应数据交互的交互接收端，通过交互接收端。

上述技术方案的有益效果在于：

本申请在进行数据交互的过程中，通过数据交互的中间数据将初始的待识别数据加工为中间数据，通过中间数据实现数据存储和数据交互，数据加工是一种数据分类和优化的过程。

具体的，所述根据交互需求，在转换组件库中调用对应转换组件还包括：

根据交互需求，确定对应的交互平台；

根据交互平台，确定数据转换的转换组件；

根据数据转换的转换组件，确定数据转换的前置格式和目标格式；

根据前置格式和目标格式，检索转换组件库中的目标转换组件，并进行组件调用。

上述技术方案的原理在于：

如附图4所示，请求服务器用于对交互请求端的请求信息进行处理，确定交互需求，然后根据交互需求确定对应的交互平台，已经交互平台之间的数据转换的转换组件，然后通过转换组件确定数据转换之后的表现形式，表现形式包括前置格式和目标格式，进而通过前置格式和目标格式确定对应的转换组件，在转换组件库中调用，实现数据转换。

上述技术方案的有益效果在于：

本申请进行数据交互的时候，会设置数据转换的转换组件，中间件可以根据数据交互的格式方式，进行目标组件的转换调用。

具体的，所述根据交互需求，在转换组件库中调用对应转换组件还包括：

响应于多源异构数据源的连接信息，获得多源异构数据源的的格式数据；

基格式数据进行转换组件检索，并基于检索结果，在转换组件库中更新转换组件库。

上述技术方案的原理在于：

如附图5和6所示，通过序列化框架连接的交互数据端(交互请求端和交互接收端)，也是多源异构数据源，确定数据格式信息，通过数据格式信息，判断在进行数据交互的过程中，是否需要进行转换组件的转换，如果需要转换组件的替换或者转换组件在转换组件库中没有，就需要进行转换组件库的不断更新。

上述技术方案的有益效果在于：

本申请会在转换组件库，基于数据交互的需求进行数据调用组件的不断更新，实现转换组件库组件更新。

具体的，所述数据交互还包括：

设置知识蒸馏机制，对序列化框架转换后的数据进行压缩，生成目标识别模型；

目标识别模型由多个神经网络模型集成得到；

根据目标识别模型，对转换前后的信息进行匹配识别，获取匹配识别结果；

根据匹配识别结果，判断数据交互是否准确。

上述技术方案的原理在于：

本申请在进行数据交互的过程中，会通过知识蒸馏机制将进行交互处理过的数据进行压缩，压缩后的数据在数据量上更少。

而本申请中提出的目标识别模型，可以对序列化框架转换前后的数据进行识别，判断压缩后的数据和数据请求端请求进行交互的数据是否一致，根据一致性，判断数据交互的过程是否准确。

上述技术方案的有益效果在于：

本申请可以进行数据交互的数据验证，从而判断出在数据交互的转换前后，以及压缩前后数据是否一致，是否数据传输出现错误。

优选的，所述数据交互还包括：

构建数据交互的格式表格；其中，

格式表格对其数据转换的准确性进行评估，并部署生成第二调用指令们进行转换组件调用；

根据格式表格表；

对数据转换的实际情况和理想状态进行对比，判定数据交互是否完成。

上述技术方案的原理在于：

本申请在进行数据交互的过程中，会生成数据交互的格式表格，格式表格中存在数据交互的平台信息，数据交互的格式信息和数据交互的转换组件使用信息，从而判断数据转换过程中是否正确，如果不正确或者存在转换组件缺失，缺少一个交互组件的处理步骤，就会通过第二调用指令再次调用转换组件，进行数据转换的再次处理，判断数据交互是否完成。

上述技术方案的有益效果在于：

本申请在数据交互的过程中，会构建数据交互的格式表格，通过格式表格对数据转换的准确性进行评估，并在评估的过程中通过第二调用指令对非理想状态的数据交互内容进行再次调用转换。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种多源异构数据的弹性交互处理方法，其特征在于，包括：

预先设置转换组件库，并构建分布式数据交互的序列化框架；

获取多源异构数据源的交互请求，并确定交互需求；

根据交互需求，在转换组件库中调用对应转换组件，并将转换组件加载至序列化框架，进行数据交互。

2.如权利要求1所述的一种多源异构数据的弹性交互处理方法，其特征在于，所述转换组件库的构建过程如下：

预先确定数据交互平台之间格式转换模式，并确定格式转换对应的目标组件；

基于目标组件，构建转换组件库；其中，

转换组件库用于构建前端应用；

转换组件库根据用户需求自定义创建；

转换组件库用于同时输出至少两种转换组件进行耦合，生成数据转换器。

3.如权利要求1所述的一种多源异构数据的弹性交互处理方法，其特征在于，所述构建分布式数据交互的序列化框架的步骤如下：

通过分布式网络连接多源异构的交互设备，确定交互数据源；

根据交互数据源和预设的数据标识模型，进行交互数据源输出数据的序列化排布，构成序列化输入框架；其中，

序列化排布包括：一次性、重复性、周期性或随机性任务中任意一项或多项；

配置静态初始调度任务和动态目标分配任务作为序列化上层框架；其中，

序列化上层框架还用于进行数据输出；

在序列化下层框架和序列化上层框架设置加载机制，构成序列化框架。

4.如权利要求3所述的一种多源异构数据的弹性交互处理方法其特征在于，所述数据标识模型用于进行识别分布式数据的元数据属性，并基于元数据属性，设定分布式数据的数据标识。

5.如权利要求1所述的一种多源异构数据的弹性交互处理方法其特征在于，所述获取多源异构的交互请求包括：

获取数据交互平台的日志文件，其中；

日志文件包含不同采样时刻相对应的分布式数据的运维指标数据；

根据预设时长对运维日志文件进行数据分帧，获得多个时间序列数据；

基于每个时间序列数据，自动估计出其中的运维指标数据相对应的上限阈值和下限阈值，检测时间序列数据中是否产生超出上限阈值和下限阈值的数据漂移事件，确定产生数据漂移事件相对应的采样时刻，并记录异常数据。

6.如权利要求1所述的一种多源异构数据的弹性交互处理方法其特征在于，所述数据交互还用于：

获取与数据交互相关的初始数据，并将初始数据存储于数据引入阶段数据中；

对初始数据进行加工，获取加工后的中间数据，并将中间数据存储于数据加工阶段数据中；

基于初始数据或加工后的中间数据，获得目标输出数据，并将目标输出数据存储于数据服务阶段数据中；

响应于数据输出指示，将存储于数据服务阶段数据中的目标输出数据提供给数据交互的交互接收端。

7.如权利要求1所述的一种多源异构数据的弹性交互处理方法其特征在于，所述根据交互需求，在转换组件库中调用对应转换组件还包括：

根据交互需求，确定对应的交互平台；

根据交互平台，确定数据转换的转换组件；

根据数据转换的转换组件，确定数据转换的前置格式和目标格式；

根据前置格式和目标格式，检索转换组件库中的目标转换组件，并进行组件调用。

8.如权利要求1所述的一种多源异构数据的弹性交互处理方法其特征在于，所述根据交互需求，在转换组件库中调用对应转换组件还包括：

响应于多源异构数据源的连接信息，获得多源异构数据源的格式数据；

基于格式数据进行转换组件检索，并基于检索结果，在转换组件库中更新转换组件库。

9.如权利要求1所述的一种多源异构数据的弹性交互处理方法其特征在于，所述数据交互还包括：

设置知识蒸馏机制，对序列化框架转换后的数据进行压缩，生成目标识别模型；

目标识别模型由多个神经网络模型集成得到；

根据目标识别模型，对转换前后的信息进行匹配识别，获取匹配识别结果；

根据匹配识别结果，判断数据交互是否准确。

10.如权利要求1所述的一种多源异构数据的弹性交互处理方法其特征在于，所述数据交互还包括：

构建数据交互的格式表格；其中，

格式表格对其数据转换的准确性进行评估，并部署生成第二调用指令们进行转换组件调用；

根据格式表格表；

对数据转换的实际情况和理想状态进行对比，判定数据交互是否完成。