CN112256938A - 一种消息元数据的处理方法、装置、介质 - Google Patents

Abstract

本发明提供了一种消息元数据的处理方法、装置、介质，该方法包括：接收步骤，通过M个消息接收器接收来自M个数据源的N条原始消息；解析步骤，对接收的来自M个数据源的N条原始消息进行解析处理后得到N条消息的元数据；筛选标记步骤，根据预设的策略从N条消息的元数据筛选出K条消息的元数据，并对K条消息的元数据根据类型进行标记；发送步骤，基于所述K条消息的元数据的标记的类型将对应的K条消息的元数据进行处理后发送至对应的接收器。本发明中，通过元数据进行流传，避免了将整个消息进行流传耗时耗力的技术问题，使得消息在流传过程中轻量化，降低了系统的压力，并采用模板提高了数据组合的效率，并提出了具体的匹配度计算公式。

Description

一种消息元数据的处理方法、装置、介质

技术领域

本发明涉及计算机数据处理领域，特别是一种消息元数据的处理方法、装置及存储介质。

背景技术

随着互联网技术的发展，消息来源广泛，机器产生的消息来源和人工编辑产生的消息来源颇多，消息种类和数据格式不统一，有字符串格式，日志格式，邮件格式，json格式，xml格式等等多种格式，通知方法单一，目前通知主要有电话，短信通知，消息的处理过程较为简单，无法与飞速发展的互联网技术匹配。

可见，现有技术中对消息的处理主要有以下缺陷：消息的处理方式单一，无法将多源消息进行集成处理，消息处理过程中需要将所有数据进行传送，可能很多数据并不是用户所需要的，影响了系统效率，现有技术中，仅仅是进行消息的处理，没有将消息相关的数据一并进行扩展后发送至用户，且现有技术中消息匹配度计算方式准确性差。

发明内容

本发明针对上述现有技术中的缺陷，提出了如下技术方案。

一种消息元数据的处理方法，该方法包括：

接收步骤，通过M个消息接收器接收来自M个数据源的N条原始消息；

解析步骤，对接收的来自M个数据源的N条原始消息进行解析处理后得到N条消息的元数据；

筛选标记步骤，根据预设的策略从所述N条消息的元数据筛选出K条消息的元数据，并对K条消息的元数据根据类型进行标记；

发送步骤，基于所述K条消息的元数据的标记的类型将对应的K条消息的元数据进行处理后发送至对应的接收器输出；

其中，M、N、K为大于或等于1的整数，且K≤N。

更进一步地，所述解析处理为规则解析、字符串处理、语音识别处理或编码转换处理。

更进一步地，所述预设的策略为消息接收的时间和/或消息类型，所述对K条消息的元数据根据类型进行标记的操作为：从所述元数据中读取消息类型的字段，基于所述消息类型的字段为对应的元数据进行类型的标记。

更进一步地，所述将对应的K条消息的元数据进行处理后发送至对应的接收器输出的操作包括：基于所述元数据在存储装置进行查询，获得与所述元数据相关的多个查询数据，选择与所述元数据匹配度最高的一个查询数据与所述元数据组合后作为处理后的数据发送至对应的接收器。

更进一步地，所述选择与所述元数据匹配度最高的一个查询数据的操作为：将所述多个查询数据的每一个向量化处理得到一个向量X=[x1、x2……xn]，计算所述元数据与xi的相关性pi，计算所述元数据与每个查询数据的匹配度：m=（p1²+p2²……pn²）/（p1+p2……pn）；选取与所述元数据匹配度最大的查询数据作为与所述元数据匹配度最高的一个查询数据，n为整数，1≤i≤n。

更进一步地，所述与元数据匹配度最高的一个查询数据与所述元数据进行组合的操作为：基于所述元数据类型的标记从存储装置中获取对应类型的数据模板，将所述元数据及所述与元数据匹配度最高的一个查询数据填充在所述数据模板中进行封装作为处理后的数据。

本发明还提出了一种消息元数据的处理装置，该装置包括：

接收单元，通过M个消息接收器接收来自M个数据源的N条原始消息；

解析单元，对接收的来自M个数据源的N条原始消息进行解析处理后得到N条消息的元数据；

筛选标记单元，根据预设的策略从所述N条消息的元数据筛选出K条消息的元数据，并对K条消息的元数据根据类型进行标记；

发送单元，基于所述K条消息的元数据的标记的类型将对应的K条消息的元数据进行处理后发送至对应的接收器输出；

其中，M、N、K为大于或等于1的整数，且K≤N。

更进一步地，所述预设的策略为消息接收的时间和/或消息类型，所述对K条消息的元数据根据类型进行标记的操作为：从所述元数据中读取消息类型的字段，基于所述消息类型的字段为对应的元数据进行类型的标记；所述将对应的K条消息的元数据进行处理后发送至对应的接收器输出的操作包括：基于所述元数据在存储装置进行查询，获得与所述元数据相关的多个查询数据，选择与所述元数据匹配度最高的一个查询数据与所述元数据组合后作为处理后的数据发送至对应的接收器。

更进一步地，所述选择与所述元数据匹配度最高的一个查询数据的操作为：将所述多个查询数据的每一个向量化处理得到一个向量X=[x1、x2……xn]，计算所述元数据与xi的相关性pi，计算所述元数据与每个查询数据的匹配度：m=（p1²+p2²……pn²）/（p1+p2……pn）；选取与所述元数据匹配度最大的查询数据作为与所述元数据匹配度最高的一个查询数据，n为整数，1≤i≤n；所述与元数据匹配度最高的一个查询数据与所述元数据进行组合的操作为：基于所述元数据类型的标记从存储装置中获取对应类型的数据模板，将所述元数据及所述与元数据匹配度最高的一个查询数据填充在所述数据模板中进行封装作为处理后的数据。

本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。

本发明的一种消息元数据的处理方法、系统及存储介质，该方法包括：接收步骤，通过M个消息接收器接收来自M个数据源的N条原始消息；解析步骤，对接收的来自M个数据源的N条原始消息进行解析处理后得到N条消息的元数据；筛选标记步骤，根据预设的策略从所述N条消息的元数据筛选出K条消息的元数据，并对K条消息的元数据根据类型进行标记；发送步骤，基于所述K条消息的元数据的标记的类型将对应的K条消息的元数据进行处理后发送至对应的接收器输出；其中，M、N、K为大于或等于1的整数，且K≤N。本发明中，使用消息统一处理平台接收来自M个消息接收器的N条原始消息，并从中提取每条消息的元数据，并将消息保存下来，在后续的处理过程中，通过元数据进行流传，避免了将整个消息进行流传耗时耗力的技术问题，且根据消息的元数据的类型进行相应的筛选及标记，然后根据类型标记将消息的元数据处理后发送至对应类型的接收器，提高消息的处理效率，使得消息在流传过程中轻量化，降低了系统的压力，本发明中，所述预设的策略为消息接收的时间和/或消息接收的类型，比如，用户需要某个时间段的某个类型的数据，可以根据二者完成数据的筛选，以减少数据处理量，所述对K条消息的元数据根据类型进行标记的操作为：从所述元数据中读取消息类型的字段，基于所述消息类型的字段为对应的元数据进行类型的标记，本发明为扩展提取的元数据的使用，避免系统仅仅能传送消息相关的数据，其还可以获取与消息的元数据密切相关的数据，本发明提出了具体的获取与元数据匹配度最高的查询数据的方法，具体是上述匹配度的计算公式，避免了现有技术中简单的将每个pi求和之后计算匹配度导致匹配度不准确的问题，这是因为，根据信息的相关性，越重要的信息的给予的权重应越大，但权重如何量化，是一个技术难题，本发明通过研究提出了上述计算方法，在实践中得到了很好的验证，本发明中，为了提高数据组合的效率，预先准备好为指定标签做的消息模板，有且不局限于文本消息模板，语音模板，图像模板等，将获得的数据按照元数据的标记获取对应的模板，将数据填充替换模板中的特定位置或者内容，进行封装作为处理后的数据，提高了数据组合的效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。

图1是根据本发明的实施例的一种消息元数据的处理方法的流程图。

图2是根据本发明的实施例的一种消息元数据的处理装置的示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本发明的一种消息元数据的处理方法，该方法包括：

接收步骤S101，通过M个消息接收器接收来自M个数据源的N条原始消息；本发明设置了消息统一处理平台，可以是服务器等，进行从多个消息接收器进行消息的接收，实现多源消息的统一接收，每种接收器可以接受一种以上的消息类型，有且不限于http、tcp、udp等协议传输的消息；也不局限于电信号，可以是任意形式的消息模式，并将接收的N条原始消息进行存储。

解析步骤S102，对接收的来自M个数据源的N条原始消息进行解析处理后得到N条消息的元数据；所述解析处理为规则解析、字符串处理、语音识别处理或编码转换处理，即将原始消息转换为消息的元数据，即从消息中提取出关键内容组成消息的元数据。

筛选标记步骤S103，根据预设的策略从所述N条消息的元数据筛选出K条消息的元数据，并对K条消息的元数据根据类型进行标记；通过本发明筛选打标可以直接按照预设的策略，将大量不同的消息类型，不同处理方法处理后的消息做出快速的筛选并给消息的元数据打上不同的标签，从而使每条消息有且只有一个特定标签与之对应，经过筛选和打标后的元数据可以流转至下一个环节继续处理。

发送步骤S104，基于所述K条消息的元数据的标记的类型将对应的K条消息的元数据进行处理后发送至对应的接收器输出；其中，M、N、K为大于或等于1的整数，且K≤N。发送器支持给不同类型的接收器发送有且不局限于文本类型，语音类型，图像类型。发送器按照顺序将数据发送给对应的目标接收器。

本发明中，使用消息统一处理平台接收来自M个消息接收器的N条原始消息，并从中提取每条消息的元数据，并将消息保存下来，在后续的处理过程中，通过元数据进行流传，避免了将整个消息进行流传耗时耗力的技术问题，且根据消息的元数据的类型进行相应的筛选及标记，然后根据类型标记将消息的元数据处理后发送至对应类型的接收器，提高消息的处理效率，使得消息在流传过程中轻量化，降低了系统的压力，这是本发明的重要发明点之一。

在一个实施例中，所述预设的策略为消息接收的时间和/或消息接收的类型，比如，用户需要某个时间段的某个类型的数据，可以根据二者完成数据的筛选，以减少数据处理量，所述对K条消息的元数据根据类型进行标记的操作为：从所述元数据中读取消息类型的字段，基于所述消息类型的字段为对应的元数据进行类型的标记，这是本发明的重要发明点之一。

在一个实施例中，所述将对应的K条消息的元数据进行处理后发送至对应的接收器输出的操作包括：基于所述元数据在存储装置进行查询，获得与所述元数据相关的多个查询数据，选择与所述元数据匹配度最高的一个查询数据与所述元数据组合后作为处理后的数据发送至对应的接收器。

在一个实施例中，所述选择与所述元数据匹配度最高的一个查询数据的操作为：将所述多个查询数据的每一个向量化处理得到一个向量X=[x1、x2……xn]，计算所述元数据与xi的相关性pi，计算所述元数据与每个查询数据的匹配度：m=（p1²+p2²……pn²）/（p1+p2……pn）；选取与所述元数据匹配度最大的查询数据作为与所述元数据匹配度最高的一个查询数据，n为整数，1≤i≤n。

为扩展提取的元数据的使用，避免系统仅仅能传送消息相关的数据，其还可以获取与消息的元数据密切相关的数据，本发明提出了具体的获取与元数据匹配度最高的查询数据的方法，具体是上述匹配度的计算公式，上述公式中，对每个相关性pi进行了加权计算，每个pi的权重即为是pi/（p1+p2……pn），整理后即为上式，避免了现有技术中简单的将每个pi求和之后计算匹配度导致匹配度不准确的问题，这是因为，根据信息的相关性，越重要的信息的给予的权重应越大，但权重如何量化，是一个技术难题，本发明通过研究提出了上述计算方法，在实践中得到了很好的验证，这是本发明的重要发明点之另一。

在一个实施例中，所述与元数据匹配度最高的一个查询数据与所述元数据进行组合的操作为：基于所述元数据类型的标记从存储装置中获取对应类型的数据模板，将所述元数据及所述与元数据匹配度最高的一个查询数据填充在所述数据模板中进行封装作为处理后的数据。

本发明中，为了提高数据组合的效率，预先准备好为指定标签做的消息模板，有且不局限于文本消息模板，语音模板，图像模板等，将获得的数据按照元数据的标记获取对应的模板，将数据填充替换模板中的特定位置或者内容，进行封装作为处理后的数据，提高了数据组合的效率，这是本发明的另一个重要发明点。

图2示出了本发明的一种消息元数据的处理装置，该装置包括：

接收单元201，通过M个消息接收器接收来自M个数据源的N条原始消息；本发明设置了消息统一处理平台，可以是服务器等，进行从多个消息接收器进行消息的接收，实现多源消息的统一接收，每种接收器可以接受一种以上的消息类型，有且不限于http、tcp、udp等协议传输的消息；也不局限于电信号，可以是任意形式的消息模式，并将接收的N条原始消息进行存储。

解析单元202，对接收的来自M个数据源的N条原始消息进行解析处理后得到N条消息的元数据；所述解析处理为规则解析、字符串处理、语音识别处理或编码转换处理，即将原始消息转换为消息的元数据，即从消息中提取出关键内容组成消息的元数据。

筛选标记单元203，根据预设的策略从所述N条消息的元数据筛选出K条消息的元数据，并对K条消息的元数据根据类型进行标记；通过本发明筛选打标可以直接按照预设的策略，将大量不同的消息类型，不同处理方法处理后的消息做出快速的筛选并给消息的元数据打上不同的标签，从而使每条消息有且只有一个特定标签与之对应，经过筛选和打标后的元数据可以流转至下一个环节继续处理。

发送单元204，基于所述K条消息的元数据的标记的类型将对应的K条消息的元数据进行处理后发送至对应的接收器输出；其中，M、N、K为大于或等于1的整数，且K≤N。发送器支持给不同类型的接收器发送有且不局限于文本类型，语音类型，图像类型。发送器按照顺序将数据发送给对应的目标接收器。

本发明中，使用消息统一处理平台接收来自M个消息接收器的N条原始消息，并从中提取每条消息的元数据，并将消息保存下来，在后续的处理过程中，通过元数据进行流传，避免了将整个消息进行流传耗时耗力的技术问题，且根据消息的元数据的类型进行相应的筛选及标记，然后根据类型标记将消息的元数据处理后发送至对应类型的接收器，提高消息的处理效率，使得消息在流传过程中轻量化，降低了系统的压力，这是本发明的重要发明点之一。

在一个实施例中，所述预设的策略为消息接收的时间和/或消息接收的类型，比如，用户需要某个时间段的某个类型的数据，可以根据二者完成数据的筛选，以减少数据处理量，所述对K条消息的元数据根据类型进行标记的操作为：从所述元数据中读取消息类型的字段，基于所述消息类型的字段为对应的元数据进行类型的标记，这是本发明的重要发明点之一。

在一个实施例中，所述将对应的K条消息的元数据进行处理后发送至对应的接收器输出的操作包括：基于所述元数据在存储装置进行查询，获得与所述元数据相关的多个查询数据，选择与所述元数据匹配度最高的一个查询数据与所述元数据组合后作为处理后的数据发送至对应的接收器。

在一个实施例中，所述选择与所述元数据匹配度最高的一个查询数据的操作为：将所述多个查询数据的每一个向量化处理得到一个向量X=[x1、x2……xn]，计算所述元数据与xi的相关性pi，计算所述元数据与每个查询数据的匹配度：m=（p1²+p2²……pn²）/（p1+p2……pn）；选取与所述元数据匹配度最大的查询数据作为与所述元数据匹配度最高的一个查询数据，n为整数，1≤i≤n。

为扩展提取的元数据的使用，避免系统仅仅能传送消息相关的数据，其还可以获取与消息的元数据密切相关的数据，本发明提出了具体的获取与元数据匹配度最高的查询数据的方法，具体是上述匹配度的计算公式，上述公式中，对每个相关性pi进行了加权计算，每个pi的权重即为是pi/（p1+p2……pn），整理后即为上式，避免了现有技术中简单的将每个pi求和之后计算匹配度导致匹配度不准确的问题，这是因为，根据信息的相关性，越重要的信息的给予的权重应越大，但权重如何量化，是一个技术难题，本发明通过研究提出了上述计算方法，在实践中得到了很好的验证，这是本发明的重要发明点之另一。

在一个实施例中，所述与元数据匹配度最高的一个查询数据与所述元数据进行组合的操作为：基于所述元数据类型的标记从存储装置中获取对应类型的数据模板，将所述元数据及所述与元数据匹配度最高的一个查询数据填充在所述数据模板中进行封装作为处理后的数据。

本发明中，为了提高数据组合的效率，预先准备好为指定标签做的消息模板，有且不局限于文本消息模板，语音模板，图像模板等，将获得的数据按照元数据的标记获取对应的模板，将数据填充替换模板中的特定位置或者内容，进行封装作为处理后的数据，提高了数据组合的效率，这是本发明的另一个重要发明点。

本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。

为了描述的方便，描述以上系统时以功能分为各种单元分别描述。当然， 在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质 中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。

最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种消息元数据的处理方法，其特征在于，该方法包括：

接收步骤，通过M个消息接收器接收来自M个数据源的N条原始消息；

解析步骤，对接收的来自M个数据源的N条原始消息进行解析处理后得到N条消息的元数据；

筛选标记步骤，根据预设的策略从所述N条消息的元数据筛选出K条消息的元数据，并对K条消息的元数据根据类型进行标记；

发送步骤，基于所述K条消息的元数据的标记的类型将对应的K条消息的元数据进行处理后发送至对应的接收器输出；

其中，M、N、K为大于或等于1的整数，且K≤N。

2.根据权利要求1所述的方法，其特征在于，所述解析处理为规则解析、字符串处理、语音识别处理或编码转换处理。

3.根据权利要求1所述的方法，其特征在于，所述预设的策略为消息接收的时间和/或消息类型，所述对K条消息的元数据根据类型进行标记的操作为：从所述元数据中读取消息类型的字段，基于所述消息类型的字段为对应的元数据进行类型的标记。

4.根据权利要求3所述的方法，其特征在于，所述将对应的K条消息的元数据进行处理后发送至对应的接收器输出的操作包括：基于所述元数据在存储装置进行查询，获得与所述元数据相关的多个查询数据，选择与所述元数据匹配度最高的一个查询数据与所述元数据组合后作为处理后的数据发送至对应的接收器。

5.根据权利要求4所述的方法，其特征在于，所述选择与所述元数据匹配度最高的一个查询数据的操作为：将所述多个查询数据的每一个向量化处理得到一个向量X=[x1、x2……xn]，计算所述元数据与xi的相关性pi，计算所述元数据与每个查询数据的匹配度：m=（p1²+p2²……pn²）/（p1+p2……pn）；选取与所述元数据匹配度最大的查询数据作为与所述元数据匹配度最高的一个查询数据，n为整数，1≤i≤n。

6.根据权利要求5所述的方法，其特征在于，与所述元数据匹配度最高的一个查询数据与所述元数据进行组合的操作为：基于所述元数据类型的标记从存储装置中获取对应类型的数据模板，将所述元数据及与所述元数据匹配度最高的一个查询数据填充在所述数据模板中进行封装作为处理后的数据。

7.一种消息元数据的处理装置，其特征在于，该装置包括：

接收单元，通过M个消息接收器接收来自M个数据源的N条原始消息；

解析单元，对接收的来自M个数据源的N条原始消息进行解析处理后得到N条消息的元数据；

筛选标记单元，根据预设的策略从所述N条消息的元数据筛选出K条消息的元数据，并对K条消息的元数据根据类型进行标记；

发送单元，基于所述K条消息的元数据的标记的类型将对应的K条消息的元数据进行处理后发送至对应的接收器输出；

其中，M、N、K为大于或等于1的整数，且K≤N。

8.根据权利要求7所述的装置，其特征在于，所述预设的策略为消息接收的时间和/或消息类型，所述对K条消息的元数据根据类型进行标记的操作为：从所述元数据中读取消息类型的字段，基于所述消息类型的字段为对应的元数据进行类型的标记；所述将对应的K条消息的元数据进行处理后发送至对应的接收器输出的操作包括：基于所述元数据在存储装置进行查询，获得与所述元数据相关的多个查询数据，选择与所述元数据匹配度最高的一个查询数据与所述元数据组合后作为处理后的数据发送至对应的接收器。

9.根据权利要求8所述的装置，其特征在于，所述选择与所述元数据匹配度最高的一个查询数据的操作为：将所述多个查询数据的每一个向量化处理得到一个向量X=[x1、x2……xn]，计算所述元数据与xi的相关性pi，计算所述元数据与每个查询数据的匹配度：m=（p1²+p2²……pn²）/（p1+p2……pn）；选取与所述元数据匹配度最大的查询数据作为与所述元数据匹配度最高的一个查询数据，n为整数，1≤i≤n；与所述元数据匹配度最高的一个查询数据与所述元数据进行组合的操作为：基于所述元数据类型的标记从存储装置中获取对应类型的数据模板，将所述元数据及与所述元数据匹配度最高的一个查询数据填充在所述数据模板中进行封装作为处理后的数据。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行权利要求1-6之任一所述的方法。

Images