CN112328567B

CN112328567B - 一种物联网mme日志数据的处理方法及装置

Info

Publication number: CN112328567B
Application number: CN202011194469.5A
Authority: CN
Inventors: 郭蓉
Original assignee: Unihub China Information Technology Co Ltd
Current assignee: Unihub China Information Technology Co Ltd
Priority date: 2020-10-31
Filing date: 2020-10-31
Publication date: 2022-10-04
Anticipated expiration: 2040-10-31
Also published as: CN112328567A

Abstract

本发明的实施例提供了一种物联网MME日志数据的处理方法及装置。所述方法包括采集原始MME日志文件，进行分类存储，得到对应的分类存储路径；生成配置文件，读取原始MME日志文件，对其进行等分切割；根据每个分文件中的分类存储路径识别出配置文件中对应的配置信息；获取每个分文件中的目标字段及目标字段对应的处理模板，对目标字段进行处理，得到处理后的MME日志文件，并根据用户类型进行分类存储。本发明快速高效、灵活可配地处理各个厂商设备上报的种类不一的日志文件，对原始MME日志进行批量处理，实现各类用户信息的分类存储以及规范入库，节约服务器资源，实现物联网用户的MME信令数据存储分析。

Description

一种物联网MME日志数据的处理方法及装置

技术领域

本发明的实施例一般涉及数据处理领域，并且更具体地，涉及一种物联网MME日志数据的处理方法及装置。

背景技术

随着4G技术的日益成熟，4G用户也迎来爆发式增长。用户使用终端上网过程中会通过MME设备进行接入，然后MME会将相关用户信息上报给HSS以及SGW、PGW等网元，实现用户和不同网元的连接。这中间MME与用户以及其它网元的每一次交互都会产生日志信息，加上庞大的4G用户群，造成MME日志数据量巨大，各省最高数据量可达100G，共几十亿条数据。目前在用的处理方法存在性能瓶颈，需要多台服务器才能满足要求，成本较高且不利于维护。

MME设备是4G核心网元，任何厂商建立的LTE网络都必须要有该逻辑网元，因此造成设备多元化，且同一设备的日志文件也有多种类型，格式、字段内容不尽相同，这也导致了MME日志的复杂多样性。目前为了兼容多个厂商的日志格式，针对每个厂商定制了一种处理方式，冗杂繁琐，一旦文件格式或字段发生变化，需要修改程序，工作量大且容易出现问题，灵活性低。而且无论是EPC的用户还是物联网或者是NB的用户，接入LTE网络都是同一套MME设备，MME日志里面也没有区分不同的用户。因此，如果想单独针对物联网用户或者NB用户进行相关数据的统计分析或者是用户状态的感知，必须在日志解析过程中实现特定用户信息的分类存储。

发明内容

根据本发明的实施例，提供了一种物联网MME日志数据的处理方案。

在本发明的第一方面，提供了一种物联网MME日志数据的处理方法。该方法包括：

采集原始MME日志文件，进行分类存储，得到对应的分类存储路径；

生成配置文件，所述配置文件用于按照原始MME日志文件的类别存储所述原始MME日志文件的配置信息；

读取原始MME日志文件，对其进行等分切割，得到若干个分文件；

根据每个分文件中的分类存储路径识别出所述配置文件中对应的配置信息；

根据所述配置信息获取所述每个分文件中的目标字段及目标字段对应的处理模板，对所述目标字段进行处理，得到处理后的MME日志文件，并根据用户类型进行分类存储。

进一步地，所述分类存储路径为将原始MME日志文件对应存储在按照厂商、省份和文件类型进行分级的三级存储目录中，生成的存储路径。

进一步地，所述配置文件包括原始MME日志文件的存储目录、日志文件需要提取的字段、对字段的相应处理方法和各类用户日志的存储目录。

进一步地，所述根据用户类型进行分类存储，包括：

识别用户字段，根据所述用户字段的字段值在数据表中映射出用户类型，根据用户类型进行存储。

进一步地，所述处理后的MME日志文件为Json格式的数据文件。

在本发明的第二方面，提供了一种物联网MME日志数据的处理装置。该装置包括：

存储模块，用于采集原始MME日志文件，进行分类存储，得到对应的分类存储路径；

生成模块，用于生成配置文件，所述配置文件用于按照原始MME日志文件的类别存储所述原始MME日志文件的配置信息；

切割模块，用于读取原始MME日志文件，对其进行等分切割，得到若干个分文件；

识别模块，用于根据每个分文件中的分类存储路径识别出所述配置文件中对应的配置信息；

处理模块，用于根据所述配置信息获取所述每个分文件中的目标字段及目标字段对应的处理模板，对所述目标字段进行处理，得到处理后的MME日志文件，并根据用户类型进行分类存储。

进一步地，所述处理模块，还包括：

分类存储模块，用于识别用户字段，根据所述用户字段的字段值在数据表中映射出用户类型，根据用户类型进行存储。

在本发明的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

在本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本发明的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。

本发明能够快速高效、灵活可配地处理各个厂商设备上报的种类不一的日志文件，对原始MME日志进行批量处理，实现各类用户信息的分类存储以及规范入库，最大限度的节约服务器资源，实现物联网用户的MME信令数据存储分析。

附图说明

结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了根据本发明的实施例的物联网MME日志数据的处理方法的流程图；

图2示出了根据本发明的实施例的物联网MME日志数据的处理装置的方框图；

图3示出了能够实施本发明的实施例的示例性电子设备的方框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本发明中，能够快速高效、灵活可配地处理各个厂商设备上报的种类不一的日志文件，对原始MME日志进行批量处理，实现各类用户信息的分类存储以及规范入库，最大限度的节约服务器资源，实现物联网用户的MME信令数据存储分析。

图1示出了本发明实施例的物联网MME日志数据的处理方法的流程图。

该方法包括：

S100、采集原始MME日志文件，进行分类存储，得到对应的分类存储路径。

用户使用终端上网过程中会通过MME设备进行接入，然后MME会将相关用户信息上报给HSS以及SGW、PGW等网元，实现用户和不同网元的连接。这中间MME与用户以及其它网元的每一次交互都会产生原始MME日志信息，生成原始MME日志文件。

将原始MME日志文件对应存储在按照厂商、省份和文件类型进行分级的三级存储目录中，生成的存储路径。

将各个省设备上的原始MME日志文件采集到存储服务器上，将原始MME日志文件依次按照厂商、省份和文件类型进行分类。例如山东省MME设备上的MM(Mobile Manage)型日志文件，存储服务器上放置的三级存储目录为/ZT/SD/MM；SM(Service Manage)型日志文件，则存储在/ZT/SD/SM。而/ZT/SD/MM和/ZT/SD/SM即为分类存储路径。

将数量庞大的原始MME日志文件进行分类存储，可以极大的提高日志文件的处理速度。

S200、生成配置文件，所述配置文件用于按照原始MME日志文件的类别存储所述原始MME日志文件的配置信息。

所述配置文件包括原始MME日志文件的存储目录、日志文件需要提取的字段、对字段的相应处理方法和各类用户日志的存储目录。

S100中生成的原始MME日志文件的存储目录保存在配置文件中。需要提取的字段即为目标字段，例如IMSI字段、MDN字段值等；同时规定提前规定了目标字段的处理方式，例如过滤、截取、转换、拼接等。各类用户日志的存储目录中保存了用户字段与用户分类的映射关系，例如用户字段值460111231245835对应于NB。

如此后期因文件内容或服务器迁移导致的目录、字段变动均可通过修改配置文件实现有效的处理，方便灵活且易于维护。

S300、读取原始MME日志文件，对其进行等分切割，得到若干个分文件。

根据配置文件，读取相应目录下的原始MME日志文件，对其进行切割，将数量庞大的原始MME日志文件分为行数相等的多个小文件，以达到最优的处理效率。且切割和解析拆解并行，可以极大的提高日志文件的处理速度。

作为本发明的一种实施例，按照10万条为一个份文件进行切割能达到最优的处理效率。

S400、根据每个分文件中的分类存储路径识别出所述配置文件中对应的配置信息。

在S300中，原始MME日志文件被等分切割成若干个分文件，每个分文件的行数相同。且由每个分文件对应的原始MME日志文件的分类存储路径，能够识别出其对应的厂商和文件类型，根据厂商和文件类型能够从配置文件中匹配出对应的配置信息；识别出对应的配置信息后，通过模板化的方式，根据配置信息中的日志文件需要提取的字段抽取目标字段。匹配出配置信息中所述目标字段对应的字段处理方式。所述字段的处理方式包括过滤、截取、转换、拼接、翻译、计算、无效字符替换等。

S500、根据所述配置信息获取所述每个分文件中的目标字段及目标字段对应的处理模板，对所述目标字段进行处理，得到处理后的MME日志文件，并根据用户类型进行分类存储。

作为本发明的一种实施例，原始MME日志文件如下：

2108,2020-04-08 14:57:30.344,2020-04-08

14:57:30.474,6,460110315982660,8619963334521,433524389065,73A9791F,0,4294967295,356334104954560,28411453531732018,217016,2533380038,189527,2,14080,,,0,0,0,460,11,14080,2,3565746096,0,0,

对字段处理方式可以为过滤；此种情况主要针对某些字段值无效或该条信息无用的情况。例如对于IMSI字段值460110315982660或MDN字段值8619963334521，也存在值为FFFFFFFFFFFFFFFF(无效)的情况，对其进行过滤。而对于字段流程标识值2108来说，会有对应的中文映射，一般关注用户附着、身份验证以及业务请求等过程，对于无效或无用的消息，直接过滤。

对字段处理方式可以为翻译；对于某些字段，其值只是一串数字或字符串，无法了解其具体含义，可通过字段映射，将其反应为中文描述。例如字段为协议原因，字段值为4294967295，即只有字段值为4294967295时才表明该流程是成功的，否则为失败。又例如，对于流程标识字段，其字段值为2108，当其字段值为2101或2102时说明附着消息，字段值为2115时为认证消息，字段值为2108时为业务请求等。

对字段处理方式可以为计算；例如当需要计算一条消息流程花费时长时，根据开始时间(2020-04-08 14:57:30.344)和结束时间(2020-04-0814:57:30.474)计算时长。又例如，小区ID字段ECI值54560，则需要根据转换成十六进制后截取后两位，如此是为了和数据库中的关联，获取具体的小区位置。

对字段处理方式可以为无效字段替换；对于某些字段值中夹杂着无效的字符，需要替换处理，截取有效部分。例如IMSI字段值460110315982660，也会出现460110315982660F的情况，对于字符F需要替换处理掉。

通过模板化的方式实现具体字段的抽取和处理，有效兼容了现有各种厂商的MME日志格式，将格式相似的日志文件共用同一个流程模板。

作为本发明的一种实施例，当原始MME日志文件的分类存储路径无法与配置文件中的厂商和文件类型进行匹配时，可以增加对应原始MME日志文件的流程模板。如此后期若出现格式差异较大的文件，也可通过增加流程模板的方式有效兼容，扩展性较强。

所述根据用户类型进行分类存储，包括：

所述用户字段有多种，例如IMSI，其具体值格式为460111231245835，通过全量的IMSI和特定用户的映射表，会配置在配置文件中，在逐行解析，获取到IMSI字段的字段值后，判断该IMSI对应是哪个用户，进行分类存储。

所述用户类型包括EPC、物联网、NB等。

通过根据用户类型进行分类存储，准确有效地区分出EPC、物联网以及NB用户，实现了各类用户信息的规范入库，为特定用户信令数据的分析展示提供理论基础。

作为本发明的一种实施例，处理后的MME日志文件统一规范为Json格式的数据文件，并按照用户类型分类存储到不同的目录，以便后期入库。

根据本发明的实施例，能够快速高效、灵活可配地处理各个厂商设备上报的种类不一的日志文件，对原始MME日志进行批量处理，实现各类用户信息的分类存储以及规范入库，最大限度的节约服务器资源，实现物联网用户的MME信令数据存储分析。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。

如图2所示，装置200包括：

存储模块210，用于采集原始MME日志文件，进行分类存储，得到对应的分类存储路径。

所述存储模块210将原始MME日志文件对应存储在按照厂商、省份和文件类型进行分级的三级存储目录中，生成的存储路径。

存储模块210，将各个省设备上的原始MME日志文件采集到存储服务器上，将原始MME日志文件依次按照厂商、省份和文件类型进行分类。例如山东省MME设备上的MM(MobileManage)型日志文件，存储服务器上放置的三级存储目录为/ZT/SD/MM；SM(ServiceManage)型日志文件，则存储在/ZT/SD/SM。而/ZT/SD/MM和/ZT/SD/SM即为分类存储路径。

生成模块220，用于生成配置文件，所述配置文件用于按照原始MME日志文件的类别存储所述原始MME日志文件的配置信息。

所述存储模块210中生成的原始MME日志文件的存储目录保存在配置文件中。需要提取的字段即为目标字段，例如IMSI字段、MDN字段值等；同时规定提前规定了目标字段的处理方式，例如过滤、截取、转换、拼接等。各类用户日志的存储目录中保存了用户字段与用户分类的映射关系，例如用户字段值460111231245835对应于NB。

切割模块230，用于读取原始MME日志文件，对其进行等分切割，得到若干个分文件。

所述切割模块230根据配置文件，读取相应目录下的原始MME日志文件，对其进行切割，将数量庞大的原始MME日志文件分为行数相等的多个小文件，以达到最优的处理效率。且切割和解析拆解并行，可以极大的提高日志文件的处理速度。

识别模块240，用于根据每个分文件中的分类存储路径识别出所述配置文件中对应的配置信息。

在所述切割模块230中，原始MME日志文件被等分切割成若干个分文件，每个分文件的行数相同。且由每个分文件对应的原始MME日志文件的分类存储路径，能够识别出其对应的厂商和文件类型，根据厂商和文件类型能够从配置文件中匹配出对应的配置信息；识别出对应的配置信息后，通过模板化的方式，根据配置信息中的日志文件需要提取的字段抽取目标字段。匹配出配置信息中所述目标字段对应的字段处理方式。所述字段的处理方式包括过滤、截取、转换、拼接、翻译、计算、无效字符替换等。

处理模块250，用于根据所述配置信息获取所述每个分文件中的目标字段及目标字段对应的处理模板，对所述目标字段进行处理，得到处理后的MME日志文件，并根据用户类型进行分类存储。

作为本发明的一种实施例，原始MME日志文件如下：

2108,2020-04-08 14:57:30.344,2020-04-08

所述处理模块250对字段处理方式可以为过滤；此种情况主要针对某些字段值无效或该条信息无用的情况。例如对于IMSI字段值460110315982660或MDN字段值8619963334521，也存在值为FFFFFFFFFFFFFFFF(无效)的情况，对其进行过滤。而对于字段流程标识值2108来说，会有对应的中文映射，一般关注用户附着、身份验证以及业务请求等过程，对于无效或无用的消息，直接过滤。

所述处理模块250对字段处理方式可以为翻译；对于某些字段，其值只是一串数字或字符串，无法了解其具体含义，可通过字段映射，将其反应为中文描述。例如字段为协议原因，字段值为4294967295，即只有字段值为4294967295时才表明该流程是成功的，否则为失败。又例如，对于流程标识字段，其字段值为2108，当其字段值为2101或2102时说明附着消息，字段值为2115时为认证消息，字段值为2108时为业务请求等。

所述处理模块250对字段处理方式可以为计算；例如当需要计算一条消息流程花费时长时，根据开始时间(2020-04-08 14:57:30.344)和结束时间(2020-04-08 14:57:30.474)计算时长。又例如，小区ID字段ECI值54560，则需要根据转换成十六进制后截取后两位，如此是为了和数据库中的关联，获取具体的小区位置。

所述处理模块250对字段处理方式可以为无效字段替换；对于某些字段值中夹杂着无效的字符，需要替换处理，截取有效部分。例如IMSI字段值460110315982660，也会出现460110315982660F的情况，对于字符F需要替换处理掉。

所述处理模块250，还包括：

分类存储模块251，用于识别用户字段，根据所述用户字段的字段值在数据表中映射出用户类型，根据用户类型进行存储。

所述用户类型包括EPC、物联网、NB等。

通过分类存储模块251，能够准确有效地区分出EPC、物联网以及NB用户，实现了各类用户信息的规范入库，为特定用户信令数据的分析展示提供理论基础。

所述处理模块250，还包括：

格式模块，用于将处理后的MME日志文件统一规范为Json格式的数据文件，并按照用户类型分类存储到不同的目录，以便后期入库。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

如图3所示，电子设备包括中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的计算机程序指令或者从存储单元加载到随机访问存储器(RAM)中的计算机程序指令，来执行各种适当的动作和处理。在RAM中，还可以存储设备操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

电子设备中的多个部件连接至I/O接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许电子设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元执行上文所描述的各个方法和处理，例如方法S100～S500。例如，在一些实施例中，方法S100～S500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到RAM并由CPU执行时，可以执行上文描述的方法S100～S500的一个或多个步骤。备选地，在其他实施例中，CPU可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法S100～S500。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本发明的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims

1.一种物联网MME日志数据的处理方法，其特征在于，包括：

采集原始MME日志文件，进行分类存储，得到对应的分类存储路径；所述分类存储路径为将原始MME日志文件对应存储在按照厂商、省份和文件类型进行分级的三级存储目录中，生成的存储路径；

生成配置文件，所述配置文件用于按照原始MME日志文件的类别存储所述原始MME日志文件的配置信息；所述配置文件包括原始MME日志文件的存储目录、日志文件需要提取的字段、对字段的相应处理方法和各类用户日志的存储目录；

由每个分文件对应的原始MME日志文件的分类存储路径，识别出其对应的厂商和文件类型，根据厂商和文件类型从配置文件中匹配出对应的配置信息；

2.根据权利要求1所述的方法，其特征在于，所述根据用户类型进行分类存储，包括：

3.根据权利要求1所述的方法，其特征在于，所述处理后的MME日志文件为Json格式的数据文件。

4.一种物联网MME日志数据的处理装置，其特征在于，包括：

存储模块，用于采集原始MME日志文件，进行分类存储，得到对应的分类存储路径；所述分类存储路径为将原始MME日志文件对应存储在按照厂商、省份和文件类型进行分级的三级存储目录中，生成的存储路径；

生成模块，用于生成配置文件，所述配置文件用于按照原始MME日志文件的类别存储所述原始MME日志文件的配置信息；所述配置文件包括原始MME日志文件的存储目录、日志文件需要提取的字段、对字段的相应处理方法和各类用户日志的存储目录；

识别模块，用于由每个分文件对应的原始MME日志文件的分类存储路径，识别出其对应的厂商和文件类型，根据厂商和文件类型从配置文件中匹配出对应的配置信息；

5.根据权利要求4所述的装置，其特征在于，所述处理模块，还包括：

6.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～3中任一项所述的方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～3中任一项所述的方法。