CN109284088B - 一种信令大数据处理方法及电子设备 - Google Patents

Abstract

本发明提供一种信令大数据处理方法及电子设备，所述方法包括：利用预先建立的Counter预提取模型，对待处理信令大数据进行Counter提取处理，并对提取的Counter进行库外计算；对Counter提取后的信令大数据进行入库计算处理。本发明能够有效提高信令大数据的处理效率，并有效减少硬件消耗，节省硬件投资，提升企业效益。

Description

一种信令大数据处理方法及电子设备

技术领域

本发明涉及通信数据处理技术领域，更具体地，涉及一种信令大数据处理方法及电子设备。

背景技术

当前，拥有丰富大数据资源的各电信运营商已广泛建立起大量的信令监测系统，基于信令数据开展各种维度的分析已成为各电信运营商的关键能力。例如，基于信令数据，开展质差网元分析、端到端业务质量分析、客户感知溯源分析以及实时业务质量监测等。同时，由于移动互联网业务的飞速发展，信令数据规模庞大且在持续增长。

爆炸式的数据增长以及现有架构十分缓慢的分析速度，给信令数据的处理效率带来了极大的挑战。传统的信令数据处理方法针对解析后的全量XDR，完全借助Hadoop集群的分布式计算能力，实现对Counter的提取及汇总计算。该方式将所有计算压力集中在Hadoop等大数据计算集群上，计算效率低，对硬件资源消耗大。主要体现在：

直接将XDR进行入库计算，但因XDR详单中存在URI、User-Agent等占用存储大，同时又对业务指标统计无用字段，造成在计算过程中耗费较多的内存资源，降低了数据处理性能；

参与计算数据量大，同时在SQL中包含了复杂的Counter提取逻辑判断，使部分业务指标统计分析处理耗时很长；

Hadoop属于通用计算框架，基于Java语言开发实现，其对特定业务场景的处理效率非最优实现。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明提供一种信令大数据处理方法及电子设备，用以有效提高信令大数据的处理效率，并有效减少硬件消耗，节省硬件投资，提升企业效益。

一方面，本发明提供一种信令大数据处理方法，包括：利用预先建立的Counter预提取模型，对待处理信令大数据进行Counter提取处理，并对提取的Counter进行库外计算；对Counter提取后的信令大数据进行入库计算处理。

进一步的，在所述利用预先建立的Counter预提取模型，对待处理信令大数据进行Counter提取处理的步骤之前，所述方法还包括：分别定义模型的Counter指标提取规则、Counter算法规则维护形式以及Counter算法的词法、语法分析逻辑；基于所述Counter指标提取规则、所述Counter算法规则维护形式以及所述Counter算法的词法、语法分析逻辑，通过定义代码生成及编译逻辑，建立所述Counter预提取模型。

其中，定义所述Counter指标提取规则的步骤进一步包括：利用结构化查询语言SQL，定义所述Counter指标提取规则，实现数字化表示。

其中，定义所述Counter算法规则维护形式的步骤进一步包括：设置可视化的Counter提取规则维护界面，以实现对所述Counter指标提取规则的实时调整与维护。

其中，定义所述Counter算法的词法、语法分析逻辑的步骤进一步包括：基于写入的输入文件类型，利用Lex工具生成词法分析器；根据符合结构化查询语言SQL标准的程序字和词法、语法规则，编制Lex和Yacc源文件，并利用GNU中的构造工具Flex和Bison，自动生成C语言代码的词法分析程序yylex和语法分析程序yyparse。

其中，所述对提取的Counter进行库外计算的步骤进一步包括：对Counter算法进行词法分析，并确定Counter算法中单词符号分类；基于所述单词符号分类，对所述词法分析的结果进行语法分析，并根据所述语法分析结果，生成目标代码的语法树。

进一步的，在所述生成目标代码的语法树的步骤之后，所述方法还包括：根据对所述Counter指标提取规则的预先解析，编译生成可调用执行代码程序。

其中，所述基于所述单词符号分类，对所述词法分析的结果进行语法分析的步骤进一步包括：基于所述单词符号分类，结合语法规则，分析所述词法分析的结果，获取相应的语义动作。

其中，所述根据所述语法分析结果，生成目标代码的语法树的步骤进一步包括：基于Yacc输入文件中的语法树结构及生成节点程序的说明，利用结构化查询语言SQL的语句逻辑及BNF范式描述，生成Counter值提取的执行语法树。

另一方面，本发明提供一种电子设备，包括：至少一个存储器、至少一个处理器、通信接口和总线；所述存储器、所述处理器和所述通信接口通过所述总线完成相互间的通信，所述通信接口用于所述电子设备与待处理信令大数据获取或存储设备之间的信息传输；所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的信令大数据处理方法。

本发明提供的一种信令大数据处理方法及电子设备，通过提出将计算指标需要的Counter提取前移，在信令数据进入计算集群前通过专用模块完成Counter预提取，减少计算集群中各维度汇聚计算数据量和复杂度，能够有效提高信令大数据的处理效率，并有效减少硬件消耗，节省硬件投资，提升企业效益。

附图说明

图1为本发明实施例一种信令大数据处理方法的流程图；

图2为根据本发明实施例一种信令大数据处理方法中Counter提取实现基本原理示意图；

图3为根据本发明实施例一种信令大数据处理方法中Counter预处理技术实现流程示意图；

图4为本发明实施例一种电子设备的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

作为本发明实施例的一个方面，本实施例提供一种信令大数据处理方法，参考图1，为本发明实施例一种信令大数据处理方法的流程图，包括：

S1，利用预先建立的Counter预提取模型，对待处理信令大数据进行Counter提取处理，并对提取的Counter进行库外计算；

S2，对Counter提取后的信令大数据进行入库计算处理。

可以理解为，考虑到直接对待处理信令大数据进行入库计算，会造成在计算过程中耗费较多的内存资源，并会降低数据处理性能，本实施例在进行数据的入库计算前，先进行数据的Counter预提取，以实现如下操作目标：

减少集群中参与计算的数据量；尽量避免在计算中含有复杂的Counter提取逻辑判断；尽量避免重复计算；将Counter提取用专有模块进行处理，不采用Hadoop等通用计算框架。

其中在一个实施例中，在利用预先建立的Counter预提取模型，对待处理信令大数据进行Counter提取处理的步骤之前，该方法还包括：

分别定义模型的Counter指标提取规则、Counter算法规则维护形式以及Counter算法的词法、语法分析逻辑；

基于Counter指标提取规则、Counter算法规则维护形式以及Counter算法的词法、语法分析逻辑，通过定义代码生成及编译逻辑，建立Counter预提取模型。

可以理解为，在利用Counter预提取模型进行数据处理之前，先要通过模型建立，得到该Counter预提取模型。对于Counter预提取模型，在技术实现上，主要包含如下功能点：规则定义、规则维护、词法语法分析及代码生成编译。则在进行Counter预提取模型的建立时，首先要分别对模型对应的Counter指标提取规则、Counter算法规则维护形式以及Counter算法的词法、语法分析逻辑进行定义。然后，根据已经定义的规则与业务逻辑，定义生成与编译代码的业务逻辑，由此生成Counter预提取模型。

则具体在步骤S1中，利用专用Counter预提取模型，提取待处理信令大数据的Counter指标数据。参考图2，为根据本发明实施例一种信令大数据处理方法中Counter提取实现基本原理示意图。可以对非实时数据的文件和HDFS数据进行Counter数据运算提取，得到提取的Counter数据和除Counter数据外的数据。同样的，也可以对实时的SDTP、Socket、MQ和WebService数据进行Counter数据运算提取。

然后，在提取Counter指标数据的基础上进行数据的库外计算。其中，Counter预提取技术是通过将指标中需要用到的Counter提取逻辑抽离，采用专有模块在待处理信令大数据XDR进行计算集群前根据指标计算规则获取指标Counter值。

具体在步骤S2中，对应进行了Counter提取后的信令大数据，按照正常的信令大数据处理流程进行入库计算。

本发明实施例提供的一种信令大数据处理方法，通过提出将计算指标需要的Counter提取前移，在信令数据进入计算集群前通过专用模块完成Counter预提取，减少计算集群中各维度汇聚计算数据量和复杂度，能够有效提高信令大数据的处理效率，并有效减少硬件消耗，节省硬件投资，提升企业效益。

即，本发明实施例通过引入Counter提取和库外计算技术，进行Counter提取规则定义、Counter提取规则维护和Counter提取词法、语法分析，实现对通信行业信令大数据处理效率的提升。

其中根据上述实施例可选的，定义Counter指标提取规则的步骤进一步包括：利用结构化查询语言SQL，定义Counter指标提取规则，实现数字化表示。

可以理解为，在对Counter指标提取规则进行定义时，将counter指标提取规则以SQL方式进行规则化定义，以实现数字化表示。

以“页面响应成功次数”Counter为例，表示HTTP/WAP事务状态码在[200,400)范围内的XDR个数。则，Counter指标提取规则可以描述为：SUM(CASE WHEN(HTTP_WAP_STATE_OF_AFFAIRS>＝200AND HTTP_WAP_STATE_OF_AFFAIRS<400)THEN 1 ELSE 0 END)。

其中根据上述实施例可选的，定义Counter算法规则维护形式的步骤进一步包括：设置可视化的Counter提取规则维护界面，以实现对Counter指标提取规则的实时调整与维护。

可以理解的是，在进行Counter算法规则维护形式的定义时，设置可视化的Counter提取规则维护界面。该可视化的Counter提取规则维护界面可以在算法发生变化时，实时进行更新，方便维护，从而实现对Counter定义规则的快速调整。例如，需要计算File_size大于100kb、300kb、500Kb等不同大小页面的下载速率，Counter值可以按需变更。

其中根据上述实施例可选的，定义Counter算法的词法、语法分析逻辑的步骤进一步包括：

基于写入的输入文件类型，利用Lex工具生成词法分析器；

根据符合结构化查询语言SQL标准的程序字和词法、语法规则，编制Lex和Yacc源文件，并利用GNU中的构造工具Flex和Bison，自动生成C语言代码的词法分析程序yylex和语法分析程序yyparse。

可以理解的是，词法分析的主要任务是从左到右按字符逐个读入SQL语句，对其中的字符流进行扫描和分解，从而识别出各个单词符号。词法分析程序实现的基础是Flex，它接受以Lex语言为基础的表示某种语言单词集的正规式描述，生成一个能够识别该语言的词法分析程序。

具体利用Lex工具生成词法分析器。即要写出其输入文件，经过Lex编译程序生成词法分析器。然后，在进行词法分析时，利用所生成的词法分析器对输入的字符串进行词法分析，输出单词符号和类型码，供YACC使用。

语法分析是把类SQL的配置规则转换为记号。YACC根据上下文无关文法产生式，即BNF范式，利用自下而上的语法分析方法，自动构造一个语法分析器，能够利用Lex词法分析的结果，将匹配的表达式转化后放到堆栈。

本发明一个实施例中，采用GNU中的构造工具Flex和Bison完成词法、语法分析。因此，在进行词法分析定义时，根据符合SQL标准的程序字和词法、语法规则编制Lex和Yacc源文件，通过Flex和Bison自动生成C语言为代码的词法分析程序yylex和语法分析程序yyparse。

其中，在上述实施例的基础上，对提取的Counter进行库外计算的步骤进一步包括：对Counter算法进行词法分析，并确定Counter算法中单词符号分类；基于单词符号分类，对词法分析的结果进行语法分析，并根据语法分析结果，生成目标代码的语法树。

可以理解为，在进行Counter的库外计算时，调用输入的SQL语句，执行上述实施例的两个分析程序，得到目标代码语法树，输出目标代码。即实现对Counter提取规则的自动化词法、语法分析，实现从规则定义到可执行程序的编译、执行。参考图3，为根据本发明实施例一种信令大数据处理方法中Counter预处理技术实现流程示意图。详细步骤如下：

首先，对counter算法进行词法分析。Counter算法中一般格式为：CASE WHEN(条件判断)THEN(结果A)ELSE(结果B)END，将其中所有字符分解，识别出单个单词符号。

其次，确定算法中单词符号分类：关键字，CASE WHEN THEN ELSE END NOT LIKEIN；操作符，+-*/AND OR<>＝；常数，指标名、变量名及字符串；定界符，()。

语法分析是把类SQL的配置规则转换为记号，即所有的关键字、操作符、分隔符、标志符和变量。根据单词符号的分类确定语法树的节点类型，哪些为中间结点，哪些可为叶结点。

再次，对词法结果进行语法分析。在其中一个实施例中，基于单词符号分类，对词法分析的结果进行语法分析的步骤进一步包括：基于单词符号分类，结合语法规则，分析词法分析的结果，获取相应的语义动作。

其中，根据词法分析结果，结合语法规则给出相应的语义动作，本系统中主要语义动作主要为：识别各sql指令信息，将这些信息转换输出为目标代码。

最后，目标代码的语法树的生成。在其中另一个实施例中，根据语法分析结果，生成目标代码的语法树的步骤进一步包括：基于Yacc输入文件中的语法树结构及生成节点程序的说明，利用SQL的语句逻辑及BNF范式描述，生成Counter值提取的执行语法树。

可以理解的是，语法树是在对语句进行语法分析的同时生成的，根据Yacc输入文件中的语法树结构及生成节点程序的说明，利用SQL语句逻辑及BNF范式描述，生成Counter值提取的执行语法树。

进一步的，在生成目标代码的语法树的步骤之后，该方法还包括：根据对Counter指标提取规则的预先解析，编译生成可调用执行代码程序。

例如，根据上述实施例的处理方法，提供如下具体应用场景举例，但不对本发明的保护范围进行限制。

如表1所示，为根据本发明实施例一种信令大数据处理方法的实时应用场景示例表。

表1，根据本发明实施例一种信令大数据处理方法的实时应用场景示例表

如表2所示，为根据本发明实施例一种信令大数据处理方法的非实时应用场景示例表。

表2，根据本发明实施例一种信令大数据处理方法的非实时应用场景示例表

通过在实际通信网络中进行测试，结果显示优化后方案信令数据的指标计算处理效率提升近25％。

作为本发明实施例的另一个方面，本实施例根据上述实施例提供一种电子设备，参考图4，为本发明实施例一种电子设备的结构框图，包括：至少一个存储器1、至少一个处理器2、通信接口3和总线4。

其中，存储器1、处理器2和通信接口3通过总线4完成相互间的通信，通信接口3用于该电子设备与待处理信令大数据获取或存储设备之间的信息传输；存储器1中存储有可在处理器2上运行的计算机程序，处理器2执行所述计算机程序时，实现如上述实施例所述的信令大数据处理方法。

可以理解为，上述的电子设备中至少包含存储器1、处理器2、通信接口3和总线4，且存储器1、处理器2和通信接口3通过总线4形成相互之间的通信连接，并可完成相互间的通信。

通信接口3实现该电子设备与待处理信令大数据获取或存储设备之间的通信连接，并可完成相互间信息传输，如通过通信接口3实现对待处理信令大数据获取等。

电子设备运行时，处理器2调用存储器1中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：利用预先建立的Counter预提取模型，对待处理信令大数据进行Counter提取处理，并对提取的Counter进行库外计算；对Counter提取后的信令大数据进行入库计算处理；以及设置可视化的Counter提取规则维护界面，以实现对所述Counter指标提取规则的实时调整与维护等。

本发明另一个实施例中，提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述实施例所述的信令大数据处理方法。

可以理解为，上述的存储器1中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。或者，实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的电子设备的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到不同网络单元上。可以根据实际需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上实施方式的描述，本领域的技术人员可以清楚地了解，各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令，用以使得一台计算机设备(如个人计算机，服务器，或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。

本发明实施例提供的一种电子设备和一种非暂态计算机可读存储介质，通过提出将计算指标需要的Counter提取前移，在信令数据进入计算集群前通过专用模块完成Counter预提取，减少计算集群中各维度汇聚计算数据量和复杂度，能够有效提高信令大数据的处理效率，并有效减少硬件消耗，节省硬件投资，提升企业效益。

作为本发明实施例的又一个方面，本实施例根据上述实施例提供一种信令大数据处理系统。该系统包括上述实施例的电子设备，以及待处理信令大数据获取或存储设备，用于在上述各实施例中对待处理信令大数据进行处理。因此，在上述各实施例中的信令大数据处理方法中的描述和定义，可以用于本发明实施例中各个执行模块的理解。

可以理解的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现数据处理中的相关功能模块。

另外，本领域内的技术人员应当理解的是，在本发明的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而应当理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。

然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种信令大数据处理方法，其特征在于，包括：

利用预先建立的Counter预提取模型，对待处理信令大数据进行Counter提取处理，并对提取的Counter进行库外计算；

对Counter提取后的信令大数据进行入库计算处理；

其中，所述Counter预提取模型是基于定义的Counter指标提取规则、Counter算法规则维护形式以及Counter算法的词法、语法分析逻辑，通过定义代码生成及编译逻辑建立的模型。

2.根据权利要求1所述的方法，其特征在于，定义所述Counter指标提取规则的步骤进一步包括：

利用结构化查询语言SQL，定义所述Counter指标提取规则，实现数字化表示。

3.根据权利要求1所述的方法，其特征在于，定义所述Counter算法规则维护形式的步骤进一步包括：

设置可视化的Counter提取规则维护界面，以实现对所述Counter指标提取规则的实时调整与维护。

4.根据权利要求1所述的方法，其特征在于，定义所述Counter算法的词法、语法分析逻辑的步骤进一步包括：

基于写入的输入文件类型，利用Lex工具生成词法分析器；

根据符合结构化查询语言SQL标准的程序字和词法、语法规则，编制Lex和Yacc源文件，并利用GNU中的构造工具Flex和Bison，自动生成C语言代码的词法分析程序yylex和语法分析程序yyparse。

5.根据权利要求4所述的方法，其特征在于，所述对提取的Counter进行库外计算的步骤进一步包括：

对Counter算法进行词法分析，并确定Counter算法中单词符号分类；

基于所述单词符号分类，对所述词法分析的结果进行语法分析，并根据所述语法分析结果，生成目标代码的语法树。

6.根据权利要求5所述的方法，其特征在于，在所述生成目标代码的语法树的步骤之后，还包括：

根据对所述Counter指标提取规则的预先解析，编译生成可调用执行代码程序。

7.根据权利要求5所述的方法，其特征在于，所述基于所述单词符号分类，对所述词法分析的结果进行语法分析的步骤进一步包括：

基于所述单词符号分类，结合语法规则，分析所述词法分析的结果，获取相应的语义动作。

8.根据权利要求5所述的方法，其特征在于，所述根据所述语法分析结果，生成目标代码的语法树的步骤进一步包括：

基于Yacc输入文件中的语法树结构及生成节点程序的说明，利用结构化查询语言SQL的语句逻辑及BNF范式描述，生成Counter值提取的执行语法树。

9.一种电子设备，其特征在于，包括：至少一个存储器、至少一个处理器、通信接口和总线；

所述存储器、所述处理器和所述通信接口通过所述总线完成相互间的通信，所述通信接口用于所述电子设备与待处理信令大数据获取或存储设备之间的信息传输；

所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至8中任一所述的方法。

Images