CN118152465A - 一种数据转换方法、装置、设备以及存储介质 - Google Patents

Abstract

本发明公开了一种数据转换方法、装置、设备以及存储介质。该方法包括：通过规则加载器读取数据处理器的进程标识，并从规则生成器获取数据转换规则；通过规则加载器将进程标识和数据转换规则写入预设的eBPF存储空间中；通过规则加载器基于eBPF存储空间，拦截数据传输终点指向进程标识的目标网络数据，并使用数据转换规则对目标网络数据进行数据转换，得到目标转换数据；将目标转换数据重新发送至数据处理器，以供数据处理器对目标转换数据执行匹配的数据处理操作。本发明实施例的技术方案规避了数据处理器加载规则时重启以及过多人工参与的缺陷，建立了数据间的关联性，提升了数据转换的效率和准确性，改善了数据转换环节的质量。

Description

一种数据转换方法、装置、设备以及存储介质

技术领域

本发明涉及数据处理技术领域，具体涉及数据治理领域，尤其涉及一种数据转换方法、装置、设备以及存储介质。

背景技术

随着可观测性概念引入IT领域，其主要用于帮助运维团队在关键事件中尽早发现问题、进行控制并发出警告，但可观测的建设不是一蹴而就的，不同时期或不同供应商在数据格式和规范上差异很大，甚至在同一类型的数据中元数据的定义也不一致，这种不一致会大大降低数据的质量，造成数据的孤立。

如果有一个统一的数据平台，把所有数据放在一个平台，似乎就能解决关联性的问题。但实际情况往往是，建立了一个观察可观测性数据的统一平台，数据堆在了一个地方，用的时候还是按传统的方式各看各的，关联性还得靠人的知识和经验。

由于数据是来自于各种观察工具的，虽然在数据格式上统一了，但不同工具的元数据截然不同，因此，如何采取有效的数据治理手段，实现数据格式标准化以及进行数据间的关联，是目前有待解决的重要问题。

发明内容

基于此，本发明提供了一种数据转换方法、装置、设备以及存储介质，以解决可观测型数据无法做到统一和关联的问题。

第一方面，本发明实施例提供了一种数据转换方法，该方法包括：

通过规则加载器读取数据处理器的进程标识，并从规则生成器获取数据转换规则；其中规则加载器基于eBPF(Extended Berkeley Packet Filter，扩展型伯克利包过滤器)构建得到；

通过规则加载器将进程标识和数据转换规则写入预设的eBPF存储空间中；

通过规则加载器基于eBPF存储空间，拦截数据传输终点指向进程标识的目标网络数据，并使用数据转换规则对目标网络数据进行数据转换，得到目标转换数据；

将目标转换数据重新发送至数据处理器，以供数据处理器对目标转换数据执行匹配的数据处理操作。

第二方面，本发明实施例提供了一种数据转换装置，该装置包括：

数据读取模块，用于通过规则加载器读取数据处理器的进程标识，并从规则生成器获取数据转换规则；其中规则加载器基于eBPF构建得到；

数据写入模块，用于通过规则加载器将进程标识和数据转换规则写入预设的eBPF存储空间中；

目标转换数据生成模块，用于通过规则加载器基于eBPF存储空间，拦截数据传输终点指向进程标识的目标网络数据，并使用数据转换规则对目标网络数据进行数据转换，得到目标转换数据；

数据转发模块，用于将目标转换数据重新发送至数据处理器，以供数据处理器对目标转换数据执行匹配的数据处理操作。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的一种数据转换方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的一种数据转换方法。

本发明实施例的技术方案，通过引入eBPF技术，对发送至数据处理器中的数据进行提前拦截，并通过规则加载器替换数据处理器来进行数据转换，规避了数据处理器在加载规则时会重启以及过多人工参与的缺陷，不仅建立了数据间的关联性，也提升了数据转换的效率和准确性，改善了数据转换环节的质量。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种数据转换方法的流程图；

图2是根据本发明实施例一所适用的一种原始数据转换流程的示意图；

图3是根据本发明实施例二提供的另一种数据转换方法的流程图；

图4是根据本发明实施例三提供的一种数据转换装置的结构示意图；

图5是实现本发明实施例的一种数据转换方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种数据转换方法的流程图，本实施例可适用于利用数据转换规则对目标数据进行数据转换的情况，该方法可以由一种数据转换装置来执行，该数据转换装置可以采用硬件和/或软件的形式实现，该数据转换装置可配置于规则加载器中。如图1所示，该方法包括：

S110、通过规则加载器读取数据处理器的进程标识，并从规则生成器获取数据转换规则；其中规则加载器基于eBPF构建得到。

图2是本发明实施例的技术方案所适用的一种原始数据转换流程的完整实现流程。具体的，如图2所示，相关技术通常采用数据处理器对从数据接收器接收到的数据包按照预加载的转换规则进行数据的转换，并将转换后的数据发送至数据采集器中执行下一步操作，但数据处理器每次进行数据转换前都需要重启以便重新加载转换规则，这就导致当前数据流的处理过程被中断。

因此，本发明实施例创造性地提出利用规则加载器对图2过程③中即将流向数据处理器的数据进行识别并拦截，通过在规则生成器中提取预先生成的数据转换规则，对拦截到的数据进行数据转后再发送至数据处理器。其中，数据处理器在本发明实施例中用于实现除数据转换外的其他数据处理操作；而数据转换规则指为不同规范下的数据所建立的通用转换规范。

而由于eBPF能够支持开发者动态地加载、更新和运行用户定义的代码，无需重启内核或更改内核源代码，因此在本发明实施例中，创造性地提出了基于eBPF来代替现有手段实现数据的转换。具体的，规则加载器通过加载eBPF程序对即将传入规则生成器中的网络数据进行识别后拦截，而进程标识则为识别依据。

S120、通过规则加载器将进程标识和数据转换规则写入预设的eBPF存储空间中。

在本发明实施例中引入了eBPF存储空间这一概念，用于存放进程标识以及数据转换规则，以便于后续eBPF的提取。而在本发明实施例中，eBPF存储空间可以具体表现为Map空间，由于Map空间是用户和内核共享的，因此在eBPF技术下可以将内核中处理过的数据直接存入Map空间，然后从用户空间中取出数据。

S130、通过规则加载器基于eBPF存储空间，拦截数据传输终点指向进程标识的目标网络数据，并使用数据转换规则对目标网络数据进行数据转换，得到目标转换数据。

其中，数据处理器的进程标识主要指pid和网络socket，当程序运行时系统会自动分配给进程一个独一无二的pid，负责对各进程进行身份标识；而网络socket则是用来实现网络中各进程间的相互通信。规则加载器通过读取网络数据的进程标识并与eBPF存储空间中的进程标识相匹配，判断网络数据流向的终点是否为规则生成器，将数据流向终点为规则生成器的网络数据称作目标网络数据，其中，目标网络数据中可以包括有数据标识名、属性名以及属性值；目标网络数据进行数据转换后可得到目标转换数据，多个目标网络数据在经数据转换规则处理后可能输出为同一目标转换数据；同时，所述数据转换规则可以为第一类数据转换规则、第二类数据转换规则或第三类数据转换规则之中的一种或多种。

可选的，所述数据转换规则可以包括：至少一个第一类数据转换规则，第一类数据转换规则中包括数据指标名集合；在每个数据指标名集合中预先指定唯一的转换数据指标名；

具体的，第一类数据转换规则指为数据指标名所构建的一种转换规则，数据指标名也即数据的资产或实体名称。由于缺乏统一的规范化体系，即使是指代相同的资产或实体，数据的指标名也不尽相同，因此每个数据指标名集合可以理解为指代同一实体的指标名称合集，而预先指定唯一的转换数据指标名可以为该集合中某一特定位置的数据指标名。

进一步的，所述数据转换规则可以包括：至少一个第二类数据转换规则，第二类数据转换规则中包括设定数据指标名下的属性名集合；在每个属性名集合中预先指定唯一的转换属性名；

具体的，第二类数据转换规则指为某一数据指标名下所包含的全部属性所构建的一种转换规则。由于缺乏统一的规范化体系，即使是统一数据指标名下指代相同的属性，不同供应商对于属性的命名也不尽相同，因此每个属性名集合可以理解为指代同一属性的属性名称合集，该集合中的数据也可按照所在集合中的某一特定位置的属性名统一为最终输出的属性名。

可选的，所述数据转换规则可以包括：至少一个第三类数据转换规则，第三类数据转换规则中包括设定数据指标名的设定属性名下的属性值集合；在每个属性值集合中预先指定唯一的转换属性值。

具体的，第三类数据转换规则指为某一特定数据指标名下所包含的某一特定属性下的属性值所构建的一种转换规则。由于同一属性可能包含多个属性值，因此每个属性值集合可以理解为同一个属性下所包含的全部的属性值合集，该集合中的数据同样可以按照所在集合中的某一特定位置的属性值统一为最终输出的属性值。

S140、将目标转换数据重新发送至数据处理器，以供数据处理器对目标转换数据执行匹配的数据处理操作。

将目标网络数据利用转换规则处理后得到目标转换数据，将目标转换数据发送至数据处理器后，数据处理器无需再对目标转换数据进行重复的数据转换操作，而是可以继续执行除数据转换外的一些预置的其他处理。从而规避掉前文所述规则处理器每次加载转换规则时都需要重启从而造成数据流程中断的缺陷。同时，也实现了基于转换规则的数据自动转换，无需人工参与。

在本发明实施例中，通过规则加载器读取数据处理器的进程标识，并从规则生成器获取数据转换规则；通过规则加载器将进程标识和数据转换规则写入预设的eBPF存储空间中；通过规则加载器基于eBPF存储空间，拦截数据传输终点指向进程标识的目标网络数据，并使用数据转换规则对目标网络数据进行数据转换，得到目标转换数据；将目标转换数据重新发送至数据处理器，以供数据处理器对目标转换数据执行匹配的数据处理操作。提供了一种数据转换方法，通过引入eBPF技术，对发送至数据处理器中的数据进行提前拦截，并通过规则加载器替换数据处理器来进行数据转换，规避了数据处理器在加载规则时会重启以及过多人工参与的缺陷，不仅建立了数据间的关联性，也提升了数据转换的效率和准确性，改善了数据转换环节的质量。

在上述各实施例的基础上，通过规则加载器使用匹配的数据转换规则对目标网络数据进行数据转换，得到目标转换数据，可以包括：

通过规则加载器获取与目标网络数据对应的目标数据指标名；

通过规则加载器将目标数据指标名与各第一类数据转换规则进行匹配，获取包含所述目标数据指标名的目标第一类数据转换规则；

通过规则加载器获取与目标第一类数据转换规则匹配的目标转换数据指标名，并将目标网络数据的目标数据指标名转换为目标转换数据指标名。

便于理解的，目标网络数据可以为数据1、数据2、数据3、数据4、数据5和数据6，每项目标网络数据所对应的目标数据指标名分别为指标1、指标2、指标3、指标4、指标5和指标6，假设第一类转换规则为：数据指标名集合A:<指标1，指标2，指标5>；数据指标名集合B:<指标3，指标4，指标6>。若预先指定集合中的首位为唯一的转换数据指标名，则利用第一类数据转换规则可以将数据2的目标数据指标名转换为指标1，数据5的目标数据指标名转换为指标1，相类似的，还可以将数据4的目标数据指标名转换为指标3，将数据6的目标数据指标名转换为指标3。

在上述各实施例的基础上，通过规则加载器使用匹配的数据转换规则对目标网络数据进行数据转换，得到目标转换数据，可以包括：

通过规则加载器获取与目标网络数据对应的目标数据指标名和目标属性名；

通过规则加载器将目标数据指标名和目标属性名与各二类数据转换规则进行匹配，获取同时包含目标数据指标名和目标属性名的目标第二类数据转换规则；

通过规则加载器获取与目标第二类数据转换规则匹配的目标转换属性名，并将目标网络数据的目标属性名转换为目标转换属性名。

在一个具体的例子中，如果目标网络数据1的目标数据指标名为指标1，目标属性名为属性a，目标网络数据2的目标数据指标名为指标2，目标属性名为属性c，而二类数据转换规则包括：属性名集合C:<指标1，属性a，属性b>；属性名集合D:<指标2，属性c，属性d，属性e>，同时，假设预先指定集合中的末位为唯一的转换属性名。

通过进行规则匹配，确定目标网络数据1与属性名集合C相匹配，则将目标网络数据1的属性a转换为属性b；同时，确定目标网络数据2与属性名集合D相匹配，则将目标网络数据2的属性c转换为属性e。

通过规则加载器使用匹配的数据转换规则对目标网络数据进行数据转换，得到目标转换数据，可以包括：

通过规则加载器获取与目标网络数据对应的目标数据指标名、目标属性名和目标属性值；

通过规则加载器将目标数据指标名、目标属性名和目标属性值与各三类数据转换规则进行匹配，获取同时包含目标数据指标名、目标属性名和目标属性值的目标第三类数据转换规则；

通过规则加载器获取与目标第三类数据转换规则匹配的目标转换属性值，并将目标网络数据的目标属性值转换为目标转换属性值。

在一个具体的例子中，如果目标网络数据1的目标数据指标名为指标1，目标属性名为属性a，目标属性值为I，目标网络数据2的目标数据指标名为指标2，目标属性名为属性c，目标属性值为IV。而三类数据转换规则包括：属性值集合E:<指标1，属性a，I,II>；属性值集合F:<指标2，属性b，III,IV>，同时，假设预先指定集合中的末位为唯一的转换属性值。

通过进行规则匹配，确定目标网络数据1与属性值集合E相匹配，则将目标网络数据1的属性a的属性值I转换为II；同时，确定目标网络数据2与属性值集合F相匹配，则目标网络数据2的属性c的属性值IV无须转换原样输出。

实施例二

图3为本发明实施例二提供的另一种数据转换方法的流程图，本实施例可适用于根据历史数据的树结构生成相应数据转换规则的情况，该方法可以由一种数据转换装置来执行，该数据转换装置可以采用硬件和/或软件的形式实现，该数据转换装置可由规则生成器和规则加载器配合执行中。如图3所示，该方法包括：

S310、通过规则生成器在数据库中采集可观测型历史数据，并根据可观测型历史数据，生成至少一个以指标数据名为根节点的树结构；其中，在每个树结构中，属性名为一级叶子节点，属性值为二级叶子节点。

首先，可观测性是一种属性，是指从系统内部出发，基于白盒化的思路去监测系统内部的运行情况，提升系统的可被观察的性质，有助于开发者了解“正在发生什么”以及“为什么发生”。而可观测型依赖三种类型的遥测数据：日志(logs)、指标(metrics)以及链路(trace)三类数据来提供对分布式系统的深入可见性。其中，metrics通常为一段时间内可度量的监控指标信息，包括特定属性，例如时间戳、名称、KPI和值；logs是在特定时间发生的事件的文本记录，包含纯文本、结构化和二进制三种格式；trace用于记录单次请求范围内的处理信息，包括服务调用和处理时长等数据。

进一步的，按照数据的类型以及从属结构，将历史数据解析为指标数据名-属性名-属性值的多级树结构，也即根节点指标数据名下包含多个一级叶子结点属性名，每个一级叶子节点属性名下可能包含多个二级叶子结点属性值。

可以理解的是，树结构的数量与指标数据名的数量相匹配。

S320、通过规则生成器根据每个树结构的根节点，生成至少一个第一类数据转换规则。

可选的，通过规则生成器根据每个树结构的根节点，生成至少一个第一类数据转换规则，可以包括：

将各根节点输入至预先训练好的单词转向量模型中进行向量化处理，得到与各根节点对应的根节点向量；

计算两两根节点向量之间的欧氏距离，并根据欧式距离计算结果，确定两两根节点向量之间的相似度；

将各相似度与预先设定的相似度阈值进行比较，将相似度大于所述相似度阈值的根节点向量对应的根节点划分至至少一个数据指标名集合中；

在每个数据指标名集合中分别选取一个数据指标名，作为与该数据指标名集合对应的转换数据指标名，以得到至少一个第一类数据转换规则。

由实施例一可知，第一类数据转换规则为与数据指标名的所对应的转换规则，单词转向量模型作为一种生成词向量的模型工具，能够将数据指标名输出为向量化表示，也即根节点向量。欧氏距离作为求解向量间自然长度的常用方法，在本发明实例中用于计算各根节点向量间的距离。而相似度阈值是指在进行相似度比较时所设定的最小阈值，通过计算两个根节点向量的欧氏距离得出两个根节点间的相似度，若所述两个根节点间的相似度超过设定的相似度阈值时，就可以认为它们相似，并将其划分至同一个集合中，也即实施例一中的数据指标名集合A:<指标1，指标2，指标5>或数据指标名集合B:<指标3，指标4，指标6>。

进一步的，可以选取指标1作为数据指标名集合A的转换数据指标名，并将指标3作为数据指标名集合B的转换数据指标名。

S330、通过规则生成器根据相同根节点下的各一级叶子节点，生成至少一个第二类数据转换规则。

进一步的，通过规则生成器根据相同根节点下的各一级叶子节点，生成至少一个第二类数据转换规则，可以包括：

将相同根节点下的各一级叶子节点输入至预先训练好的单词转向量模型中进行向量化处理，得到一级叶子节点向量；

计算两两一级叶子节点向量之间的欧氏距离，并根据欧式距离计算结果，确定两两一级叶子节点向量之间的相似度；

将各相似度与预先设定的相似度阈值进行比较，将相似度大于所述相似度阈值的一级叶子节点向量对应的一级叶子节点划分至各一级叶子节点所属根节点下的属性名集合中；

在每个属性名集合中分别选取一个属性名，作为与该属性名集合对应的转换属性名，以得到至少一个第二类数据转换规则。

具体的，第二类数据转换规则为与数据属性名的所对应的转换规则。同理，根据两个一级叶子节点向量的欧氏距离计算出两个一级叶子节点间的相似度，若所述两个一级叶子节点间的相似度超过设定的相似度阈值时，就可以认为它们相似，并将其划分至同一个集合中，也即实施例一中提到的属性名集合C:<指标1，属性a，属性b>；属性名集合D:<指标2，属性c，属性d，属性e>。

相类似的，可以将属性b作为属性名集合C的转换属性名；并将属性e作为属性名集合D的转换属性名。

S340、通过规则生成器根据相同根节点的相同一级叶子节点下的各二级叶子节点，生成至少一个第三类数据转换规则。

可选的，通过规则生成器根据相同根节点的相同一级叶子节点下的各二级叶子节点，生成至少一个第三类数据转换规则，可以包括：

获取相同根节点的相同一级叶子节点下的所有二级叶子节点；

在配置管理数据库中识别与所述相同根节点的相同一级叶子节点下的所有二级叶子节点所匹配的二级叶子节点信息；

结合配置管理数据库中二级叶子节点信息间的依赖关系，将各二级叶子节点划分至各二级叶子节点在相同根节点的相同一级叶子节点下的至少一个属性值集合中；

在每个属性值集合中分别选取一个属性值，作为与该属性值集合对应的转换属性值，以得到至少一个第三类数据转换规则。

具体的，第三类数据转换规则为与属性值的所对应的转换规则。而配置管理数据库作为由多个物理数据库组成的逻辑数据库，存储着管理企业IT架构中设备的所有配置信息，并能够对所有的IT组件以及组件间的关系进行跟踪，因此，存储在配置管理数据库中的数据是由一定逻辑模式整合起来的有序信息。通过获取二级叶子节点(属性值)能够在配置管理数据库中查找该二级叶子节点所对应的同一根节点下某一级叶子节点下的全部属性值，若所述二级叶子节点与该属性值相匹配，则将其加入至当前一级叶子节点下的属性值集合中，也即实施例一中所提到的属性值集合E:<指标1，属性a，I,II>；属性值集合F:<指标2，属性b，III,IV>。

相类似的，可以将II作为属性值集合E的转换属性值；并将IV作为属性值集合F的转换属性值。

进一步的，所述方法还可以包括：

通过规则生成器将第一类数据转换规则、第二类数据转换规则、以及第三类数据转换规则发送至规则修正器进行规则修正；

通过规则生成器接收规则修正器修正后的第一类数据转换规则、第二类数据转换规则以及第三类数据转换规则。

具体的，由于规则生成器是自动化生成的各项数据转换规则，为了进一步保证这些数据转换规则的准确性，可以将生成的这些数据转换规则首先发送至规则修正器，该规则修正器中可以预先定制各类正则表达式进行规则修正，或者，该规则修正器可以对接人工修正平台，由人工修正平台实现进一步的规则修正。

S350、通过规则加载器读取数据处理器的进程标识，并从规则生成器获取数据转换规则；其中规则加载器基于eBPF构建得到。

S360、通过规则加载器将进程标识和数据转换规则写入预设的eBPF存储空间中。

S370、通过规则加载器基于eBPF存储空间，拦截数据传输终点指向进程标识的目标网络数据，并使用数据转换规则对目标网络数据进行数据转换，得到目标转换数据。

S380、将目标转换数据重新发送至数据处理器，以供数据处理器对目标转换数据执行匹配的数据处理操作。

本发明实施例的技术方案通过对整体方案的进一步细化，提供了一种基于多级树结构的向量构建方法，并通过计算欧氏距离判断不同节点向量间的相似度，利用相似度划分多个集合，并根据预先设定的转换规则将集合中的数据进行统一输出。本发明实施例的技术方案实现了基于规则的数据自动转换，大大提升了对可观测数据的治理效能，节省了时间和人力成本，有助于可观测性平台的建立。

实施例三

图4为本发明实施例三提供的一种数据转换装置的结构示意图。如图4所示，该装置包括：

数据读取模块410，用于通过规则加载器读取数据处理器的进程标识，并从规则生成器获取数据转换规则；其中规则加载器基于eBPF构建得到；

数据写入模块420，用于通过规则加载器将进程标识和数据转换规则写入预设的eBPF存储空间中；

目标转换数据生成模块430，用于通过规则加载器基于eBPF存储空间，拦截数据传输终点指向进程标识的目标网络数据，并使用数据转换规则对目标网络数据进行数据转换，得到目标转换数据；

数据转发模块440，用于将目标转换数据重新发送至数据处理器，以供数据处理器对目标转换数据执行匹配的数据处理操作。

在本发明实施例中，数据读取模块410通过规则加载器读取数据处理器的进程标识，并从规则生成器获取数据转换规则；数据写入模块420通过规则加载器将进程标识和数据转换规则写入预设的eBPF存储空间中；目标转换数据生成模块430通过规则加载器基于eBPF存储空间，拦截数据传输终点指向进程标识的目标网络数据，并使用数据转换规则对目标网络数据进行数据转换，得到目标转换数据；数据转发模块440将目标转换数据重新发送至数据处理器，以供数据处理器对目标转换数据执行匹配的数据处理操作。提供了一种新的数据转换方法，通过引入eBPF技术，对发送至数据处理器中的数据进行提前拦截，并通过规则加载器替换数据处理器来进行数据转换，规避了数据处理器在加载规则时会重启以及过多人工参与的缺陷，不仅建立了数据间的关联性，也提升了数据转换的效率和准确性，改善了数据转换环节的质量。

在上述各实施例的基础上，所述数据转换规则包括：至少一个第一类数据转换规则，第一类数据转换规则中包括数据指标名集合；在每个数据指标名集合中预先指定唯一的转换数据指标名；

通过规则加载器使用匹配的数据转换规则对目标网络数据进行数据转换，得到目标转换数据，包括：

通过规则加载器获取与目标网络数据对应的目标数据指标名；

通过规则加载器将目标数据指标名与各第一类数据转换规则进行匹配，获取包含所述目标数据指标名的目标第一类数据转换规则；

通过规则加载器获取与目标第一类数据转换规则匹配的目标转换数据指标名，并将目标网络数据的目标数据指标名转换为目标转换数据指标名。

在上述各实施例的基础上，所述数据转换规则还包括：至少一个第二类数据转换规则，第二类数据转换规则中包括设定数据指标名下的属性名集合；在每个属性名集合中预先指定唯一的转换属性名；

通过规则加载器使用匹配的数据转换规则对目标网络数据进行数据转换，得到目标转换数据，包括：

通过规则加载器获取与目标网络数据对应的目标数据指标名和目标属性名；

通过规则加载器将目标数据指标名和目标属性名与各二类数据转换规则进行匹配，获取同时包含目标数据指标名和目标属性名的目标第二类数据转换规则；

通过规则加载器获取与目标第二类数据转换规则匹配的目标转换属性名，并将目标网络数据的目标属性名转换为目标转换属性名。

在上述各实施例的基础上，所述数据转换规则还可以包括：至少一个第三类数据转换规则，第三类数据转换规则中包括设定数据指标名的设定属性名下的属性值集合；在每个属性值集合中预先指定唯一的转换属性值；

通过规则加载器使用匹配的数据转换规则对目标网络数据进行数据转换，得到目标转换数据，包括：

通过规则加载器获取与目标网络数据对应的目标数据指标名、目标属性名和目标属性值；

通过规则加载器将目标数据指标名、目标属性名和目标属性值与各三类数据转换规则进行匹配，获取同时包含目标数据指标名、目标属性名和目标属性值的目标第三类数据转换规则；

通过规则加载器获取与目标第三类数据转换规则匹配的目标转换属性值，并将目标网络数据的目标属性值转换为目标转换属性值。

在上述各实施例的基础上，所述模块还包括：

根节点的树结构生成单元，用于通过规则生成器在数据库中采集可观测型历史数据，并根据可观测型历史数据，生成至少一个以指标数据名为根节点的树结构，其中，在每个树结构中，属性名为一级叶子节点，属性值为二级叶子节点；

第一类数据转换规则生成单元，用于通过规则生成器根据每个树结构的根节点，生成至少一个第一类数据转换规则；

第二类数据转换规则生成单元，用于通过规则生成器根据相同根节点下的各一级叶子节点，生成至少一个第二类数据转换规则；

第三类数据转换规则生成单元，用于通过规则生成器根据相同根节点的相同一级叶子节点下的各二级叶子节点，生成至少一个第三类数据转换规则；

在上述各实施例的基础上，第一类数据转换规则生成单元，具体用于：

将各根节点输入至预先训练好的单词转向量模型中进行向量化处理，得到与各根节点对应的根节点向量；

计算两两根节点向量之间的欧氏距离，并根据欧式距离计算结果，确定两两根节点向量之间的相似度；

将各相似度与预先设定的相似度阈值进行比较，将相似度大于所述相似度阈值的根节点向量对应的根节点划分至至少一个数据指标名集合中；

在每个数据指标名集合中分别选取一个数据指标名，作为与该数据指标名集合对应的转换数据指标名，以得到至少一个第一类数据转换规则。

在上述各实施例的基础上，第二类数据转换规则生成单元，具体用于：

将相同根节点下的各一级叶子节点输入至预先训练好的单词转向量模型中进行向量化处理，得到一级叶子节点向量；

计算两两一级叶子节点向量之间的欧氏距离，并根据欧式距离计算结果，确定两两一级叶子节点向量之间的相似度；

将各相似度与预先设定的相似度阈值进行比较，将相似度大于所述相似度阈值的一级叶子节点向量对应的一级叶子节点划分至各一级叶子节点所属根节点下的属性名集合中；

在每个属性名集合中分别选取一个属性名，作为与该属性名集合对应的转换属性名，以得到至少一个第二类数据转换规则。

在上述各实施例的基础上，第三类数据转换规则生成单元，具体用于：

获取相同根节点的相同一级叶子节点下的所有二级叶子节点；

在配置管理数据库中识别与所述相同根节点的相同一级叶子节点下的所有二级叶子节点所匹配的二级叶子节点信息；

结合配置管理数据库中二级叶子节点信息间的依赖关系，将各二级叶子节点划分至各二级叶子节点在相同根节点的相同一级叶子节点下的至少一个属性值集合中；

在每个属性值集合中分别选取一个属性值，作为与该属性值集合对应的转换属性值，以得到至少一个第三类数据转换规则。

在上述各实施例的基础上，还可以包括：

通过规则生成器将第一类数据转换规则、第二类数据转换规则、以及第三类数据转换规则发送至规则修正器进行规则修正；

通过规则生成器接收规则修正器修正后的第一类数据转换规则、第二类数据转换规则以及第三类数据转换规则。

本发明实施例所提供的一种数据转换装置可执行本发明任一实施例所提供的一种数据转换方法，具备执行方法相应的功能模块和有益效果。

实施例四

图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如一种数据转换方法。

也即：通过规则加载器读取数据处理器的进程标识，并从规则生成器获取数据转换规则；其中规则加载器基于扩展型伯克利包过滤器eBPF构建得到；

通过规则加载器将进程标识和数据转换规则写入预设的eBPF存储空间中；

通过规则加载器基于eBPF存储空间，拦截数据传输终点指向进程标识的目标网络数据，并使用数据转换规则对目标网络数据进行数据转换，得到目标转换数据；

将目标转换数据重新发送至数据处理器，以供数据处理器对目标转换数据执行匹配的数据处理操作。

在一些实施例中，一种数据转换方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的一种数据转换方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行一种数据转换方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据转换方法，其特征在于，包括：

通过规则加载器读取数据处理器的进程标识，并从规则生成器获取数据转换规则；其中规则加载器基于扩展型伯克利包过滤器eBPF构建得到；

通过规则加载器将进程标识和数据转换规则写入预设的eBPF存储空间中；

通过规则加载器基于eBPF存储空间，拦截数据传输终点指向进程标识的目标网络数据，并使用数据转换规则对目标网络数据进行数据转换，得到目标转换数据；

将目标转换数据重新发送至数据处理器，以供数据处理器对目标转换数据执行匹配的数据处理操作。

2.根据权利要求1所述的方法，其特征在于，所述数据转换规则包括：至少一个第一类数据转换规则，第一类数据转换规则中包括数据指标名集合；在每个数据指标名集合中预先指定唯一的转换数据指标名；

通过规则加载器使用匹配的数据转换规则对目标网络数据进行数据转换，得到目标转换数据，包括：

通过规则加载器获取与目标网络数据对应的目标数据指标名；

通过规则加载器将目标数据指标名与各第一类数据转换规则进行匹配，获取包含所述目标数据指标名的目标第一类数据转换规则；

通过规则加载器获取与目标第一类数据转换规则匹配的目标转换数据指标名，并将目标网络数据的目标数据指标名转换为目标转换数据指标名。

3.根据权利要求1所述的方法，其特征在于，所述数据转换规则包括：至少一个第二类数据转换规则，第二类数据转换规则中包括设定数据指标名下的属性名集合；在每个属性名集合中预先指定唯一的转换属性名；

通过规则加载器使用匹配的数据转换规则对目标网络数据进行数据转换，得到目标转换数据，包括：

通过规则加载器获取与目标网络数据对应的目标数据指标名和目标属性名；

通过规则加载器将目标数据指标名和目标属性名与各二类数据转换规则进行匹配，获取同时包含目标数据指标名和目标属性名的目标第二类数据转换规则；

通过规则加载器获取与目标第二类数据转换规则匹配的目标转换属性名，并将目标网络数据的目标属性名转换为目标转换属性名。

4.根据权利要求1所述的方法，其特征在于，所述数据转换规则包括：至少一个第三类数据转换规则，第三类数据转换规则中包括设定数据指标名的设定属性名下的属性值集合；在每个属性值集合中预先指定唯一的转换属性值；

通过规则加载器使用匹配的数据转换规则对目标网络数据进行数据转换，得到目标转换数据，包括：

通过规则加载器获取与目标网络数据对应的目标数据指标名、目标属性名和目标属性值；

通过规则加载器将目标数据指标名、目标属性名和目标属性值与各三类数据转换规则进行匹配，获取同时包含目标数据指标名、目标属性名和目标属性值的目标第三类数据转换规则；

通过规则加载器获取与目标第三类数据转换规则匹配的目标转换属性值，并将目标网络数据的目标属性值转换为目标转换属性值。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述方法还包括：

通过规则生成器在数据库中采集可观测型历史数据，并根据可观测型历史数据，生成至少一个以指标数据名为根节点的树结构，其中，在每个树结构中，属性名为一级叶子节点，属性值为二级叶子节点；

通过规则生成器根据每个树结构的根节点，生成至少一个第一类数据转换规则；

通过规则生成器根据相同根节点下的各一级叶子节点，生成至少一个第二类数据转换规则；

通过规则生成器根据相同根节点的相同一级叶子节点下的各二级叶子节点，生成至少一个第三类数据转换规则。

6.根据权利要求5所述的方法，其特征在于，通过规则生成器根据每个树结构的根节点，生成至少一个第一类数据转换规则，包括：

将各根节点输入至预先训练好的单词转向量模型中进行向量化处理，得到与各根节点对应的根节点向量；

计算两两根节点向量之间的欧氏距离，并根据欧式距离计算结果，确定两两根节点向量之间的相似度；

将各相似度与预先设定的相似度阈值进行比较，将相似度大于所述相似度阈值的根节点向量对应的根节点划分至至少一个数据指标名集合中；

在每个数据指标名集合中分别选取一个数据指标名，作为与该数据指标名集合对应的转换数据指标名，以得到至少一个第一类数据转换规则。

通过规则生成器根据相同根节点下的各一级叶子节点，生成至少一个第二类数据转换规则，包括：

将相同根节点下的各一级叶子节点输入至预先训练好的单词转向量模型中进行向量化处理，得到一级叶子节点向量；

计算两两一级叶子节点向量之间的欧氏距离，并根据欧式距离计算结果，确定两两一级叶子节点向量之间的相似度；

将各相似度与预先设定的相似度阈值进行比较，将相似度大于所述相似度阈值的一级叶子节点向量对应的一级叶子节点划分至各一级叶子节点所属根节点下的属性名集合中；

在每个属性名集合中分别选取一个属性名，作为与该属性名集合对应的转换属性名，以得到至少一个第二类数据转换规则。

通过规则生成器根据相同根节点的相同一级叶子节点下的各二级叶子节点，生成至少一个第三类数据转换规则，包括：

获取相同根节点的相同一级叶子节点下的所有二级叶子节点；

在配置管理数据库中识别与所述相同根节点的相同一级叶子节点下的所有二级叶子节点所匹配的二级叶子节点信息；

结合配置管理数据库中二级叶子节点信息间的依赖关系，将各二级叶子节点划分至各二级叶子节点在相同根节点的相同一级叶子节点下的至少一个属性值集合中；

在每个属性值集合中分别选取一个属性值，作为与该属性值集合对应的转换属性值，以得到至少一个第三类数据转换规则。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

通过规则生成器将第一类数据转换规则、第二类数据转换规则、以及第三类数据转换规则发送至规则修正器进行规则修正；

通过规则生成器接收规则修正器修正后的第一类数据转换规则、第二类数据转换规则以及第三类数据转换规则。

8.一种数据转换装置，其特征在于，包括：

数据读取模块，用于通过规则加载器读取数据处理器的进程标识，并从规则生成器获取数据转换规则；其中规则加载器基于扩展型伯克利包过滤器eBPF构建得到；

数据写入模块，用于通过规则加载器将进程标识和数据转换规则写入预设的eBPF存储空间中；

目标转换数据生成模块，用于通过规则加载器基于eBPF存储空间，拦截数据传输终点指向进程标识的目标网络数据，并使用数据转换规则对目标网络数据进行数据转换，得到目标转换数据；

数据转发模块，用于将目标转换数据重新发送至数据处理器，以供数据处理器对目标转换数据执行匹配的数据处理操作。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的一种数据转换方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的一种数据转换方法。