CN111541645B - 一种VoIP服务知识库构建方法及系统 - Google Patents

Abstract

本发明公开了一种VoIP服务知识库构建方法及系统。本方法为：1)在各选定的物理网关上分别部署一实时流量解析模块，用于从VoIP流量中解析出SIP协议和SDP协议，生成VoIP信令日志发送至消息队列；2)从各消息队列中实时读取VoIP信令日志并对其统一标准化；3)对标准化日志进行实时统计计算，并将统计计算结果实时存入实时结果数据库；4)定期从原始日志数据库中获取标准化日志进行聚合，得到各服务域名下的统计信息；然后基于服务域名下的统计信息和设定的判断条件判断该服务域名所代表的VoIP服务的网关类型、VoIP服务与PSTN的关系以及VoIP服务是否存在可疑行为，并将其保存在VoIP服务基础知识库。

Description

一种VoIP服务知识库构建方法及系统

技术领域

本发明涉及一种VoIP服务知识库构建方法及系统，属于计算机网络技术领域。

背景技术

在互联网与传统电信业务领域融合的过程中，VoIP以其技术优势推进电信市场朝更加开放和多样化的阶段发展。根据VoIP终端类型，可以分为PC to PC与PC to Phone两类。

VoIP是Voice over Internet Protocol的简称，意为在Intemet上传输话音。VoIP技术又常被称为网络电话、IP电话或Intemet电话技术。VoIP最基本的功能是提供基于Intemet的、费用低廉的语音和传真服务。它还可以进一步扩展到基于IP的语音服务。因此VoIP就是一种提供IP电话业务和一些以此为基础的增值业务的技术。具体来说VoIP采用的是计算机通讯的分组化、数字化传输技术，先对语音数据进行压缩编码处理，然后把数据按IP等相关协议打包，数据包通过IP网络传输到接收地之后再重新串起来，经过解码解压恢复成原来的语音信号。

与传统的语音业务相比VoIP能在同样带宽条件下使通话数量成倍增加，因此可以实现低成本的语音传送、传真等传统电信业务。另外，由于VoIP有效地利用了互联网的基础设施和全球IP互联的环境，所以能对诸如统一消息、虚拟电话、虚拟语音，传真邮箱、查号业务、Internet呼叫中心、Internet呼叫管理、电视会议、电子商务、信息存储转发等新兴的数据业务提供有力的支持。

VoIP传输的关键技术包括信令控制协议、流媒体传输协议和音频编解码技术。其中，VoIP有两种主导的信令控制协议，即国际电信联盟(ITu)推荐的H.323协议和国际互联网工程任务组(IETF)委员会提出的会话初始协议SIP(Session Initiation Protocol)。H.323协议采用传统电话的模式来实施分组交换的语音传送，是把传统电话呼叫流程和互联网IP传送特点合二为一的一种标准。H.323协议的缺点是和Intemet集成性不好，而且协议相当复杂，给实现设备提出了更高的要求。SIP协议是在IP网络上进行多媒体通信的应用层控制协议，可用于创建、修改和终结一个或多个参加者参与的会话进程。SIP是一种基于文本的协议，可用统一资源定位语言URL(Uniform Resource Locator)来描述，易于调试和实现，且灵活性和扩展性好。SIP协议承载在IP网上，其网络层协议为IP，传输层协议可用传输控制协议(TCP)或用户数据报协议(UDP)。SIP协议由于其简单和灵活性，近年来得到迅速发展。SIP协议的子协议——会话描述协议SDP(Session Description Protoco1)，是传送会话信息的协议，传送包括会话的地址、时间和媒体类型等信息。它定义了会话描述的统一格式。

目前业界已有多种从流量中识别VoIP流量的方法提出，大都基于网络协议特征完成流量识别与检测，但都未涉及基于识别出的VoIP流量，构建VoIP服务与用户的知识库的方法。

目前业界对于VoIP的关注，主要停留在如何优化VoIP技术本身，更好的实现IP电话服务。对于VoIP服务的识别与测量方面，主要是通过网络协议(即SIP协议、SDP协议、RTP/RTCP协议等)识别的方式，检测VoIP流量。还没有进一步关注VoIP服务与用户的识别与跟踪，进而形成VoIP服务知识库。

发明内容

本发明的目的在于提供一种VoIP服务知识库构建方法及系统。本发明通过从大规模、分布式、非对称的被动流量中发现各类VoIP厂商、运营商的实时流量，通过聚合分析，描绘VoIP服务行为与VoIP用户行为，构建具有不断积累更新能力的VoIP服务与用户知识库的方法。

本发明的技术方案为：

一种VoIP服务知识库构建方法，其步骤包括：

1)在各选定的物理网关上分别部署一实时流量解析模块，所述实时流量解析模块从流经所在物理网关的VoIP流量中解析出SIP协议和SDP协议，然后根据解析出的SIP协议和SDP协议生成VoIP信令日志发送至消息队列；

2)实时计算模块从各消息队列中实时读取VoIP信令日志并对其统一标准化，得到标准化日志并将其保存至原始日志数据库；

3)实时计算模块对标准化日志进行实时统计计算，并将统计计算结果实时存入VoIP服务知识库的实时结果数据库；

4)离线分析模块定期从原始日志数据库中获取标准化日志，根据标准化日志中的服务域名进行聚合，得到各服务域名下的统计信息；然后基于服务域名下的统计信息和设定的判断条件判断该服务域名所代表的VoIP服务的网关类型、该服务域名所代表的VoIP服务与PSTN的关系以及该服务域名所代表的VoIP服务是否存在可疑行为，并将其保存在VoIP服务知识库的VoIP服务基础知识库。

进一步的，所述VoIP信令日志包含VoIP信令通信时间、通信双方的IP地址、端口、通信账号、设备信息、媒体协商信息。

进一步的，所述离线分析模块还根据标准化日志中路由轨迹记录字段，聚合分析出目标服务域名的上下游域名及活跃次数，得到以目标服务域名为中心的路由关系图；当需要得到目标服务域名的向上游M维和向下游N维的路由关系图时，则在路由表中以发起域名为key，循环查询N次，以目的域名为key，循环查询M次，并将查询到的结果生成以该目标服务域名为中心的向上游M维和向下游N维的路由关系图。

进一步的，所述实时计算模块基于实时计算框架Storm，完成VoIP服务地域分布热力图、热点服务、常用软件、活跃曲线的实时统计；其中根据更新窗口内的标准化日志中各个服务端IP出现次数和定位生成地域分布热力图；统计更新窗口内的标准化日志中的各个服务域名出现的次数，生成热点服务；根据更新窗口内的标准化日志中的各类VoIP软件出现的次数，统计出常用软件；统计热点服务单位时间内的活跃次数，生成活跃曲线。

进一步的，所述实时计算模块采用离群点检测方法确定是否存在网络异常；即当目标VoIP服务单位时间内活跃次数与所有VoIP服务平均单位时间内活跃次数之比大于设定阈值，且该目标VoIP服务的目的IP为固定IP或数量小于设定值的IP组时，则判断该目标VoIP服务的源IP为网络攻击；当目标VoIP服务单位时间内活跃次数与所有VoIP服务平均单位时间内活跃次数之比大于设定阈值，且该目标VoIP服务的目的IP数量大于设定值，且每个目的IP只出现单次时，判断该目标VoIP服务的源IP为网络扫描。

进一步的，各服务域名下的统计信息包括：所属IP集、地理位置、采用协议、日活跃用户、活跃时段、消息请求数与响应消息数、使用软件、使用编码方式；根据使用软件以及各类请求消息数与响应消息数，判断VoIP服务的网关类型；根据主被叫用户的用户名子串中是否包含固话号码或移动电话号码，判断VoIP服务与PSTN网络的关系。

一种VoIP服务知识库构建系统，其特征在于，包括多个实时流量解析模块、实时计算模块和离线分析模块；在每一选定的物理网关上分别部署一所述实时流量解析模块，其中，

所述实时流量解析模块，用于从流经所在物理网关的VoIP流量中解析出SIP协议和SDP协议，然后根据解析出的SIP协议和SDP协议生成VoIP信令日志发送至消息队列；

所述实时计算模块，用于从各消息队列中实时读取VoIP信令日志并对其统一标准化，得到标准化日志并将其保存至原始日志数据库；以及对标准化日志进行实时统计计算，并将统计计算结果实时存入VoIP服务知识库的知识结果数据库；

所述离线分析模块，用于定期从原始日志数据库中获取标准化日志，根据标准化日志中的服务域名进行聚合，得到各服务域名下的统计信息；然后基于服务域名下的统计信息和设定的判断条件判断该服务域名所代表的VoIP服务的网关类型、该服务域名所代表的VoIP服务与PSTN的关系以及该服务域名所代表的VoIP服务是否存在可疑行为，并将其保存在VoIP服务知识库的VoIP服务基础知识库。

一种基于所述VoIP服务知识库的服务方法，其特征在于，根据接收的查询条件查询所述VoIP服务知识库并返回查询结果。

与现有技术相比，本发明的积极效果为：

本发明针对VoIP服务搭建简单、费用低廉导致的私搭乱建、恶意服务滋生但监管无力问题，研制了一种从大规模、分布式、非对称的被动流量中发现各类VoIP厂商、运营商等VoIP服务提供者和代理的实时流量，通过聚合分析，描绘VoIP服务行为，构建具有不断积累更新能力的VoIP服务与用户知识库的方法，最终实现了对VoIP各类服务和用户行为的有效积累和掌握，对净化网络空间服务提供一定的帮助。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明。

VoIP电话作为一种新的业务，有着自身的特点以及传统业务所无法比拟的长处，并已成为Internet应用领域的一个热点。用户可以通过VoIP终端，实现与外地办事处或机构、客户的零费用通话，以节省大量的市话和长途费用。中小型企业一般已建立了局域网并有小型路由器实现共享上网，及公司内部电话网。这时，只需要装备VoIP终端即可以实现VoIP的跨地域零话费集群呼叫。

由于搭建VoIP非常简单，市场上不仅存在提供公开VoIP服务的大型虚拟VoIP运营商，还有不少个人或团体自搭自建的VoIP系统，对内或部分对外提供不同程度的VoIP服务。无论是VoIP虚拟运营商，还是自搭建VoIP系统，在向用户提供服务时，都会在网络中产生VoIP流量。也就是说，发现了网络中的VoIP流量，就发现了这些VoIP服务提供者以及使用这些VoIP用户。

本发明研制了一种从大规模、分布式、非对称的被动流量中发现各类VoIP厂商、运营商等VoIP服务提供者和代理的实时流量，通过聚合分析，描绘VoIP服务行为与VoIP用户行为，构建具有不断积累更新能力的VoIP服务与用户知识库的方法。

大规模、分布式、非对称的被动流量存在于国家或区域级大型网关，该类网关具有TB级流量、跨域部署、非对称路由、流量复杂等特点。

非对称路由是指当源主机A与目标主机B进行数据传输时，从主机A到主机B的数据分组选择了特定的路径R1，而从主机B返回到主机A的数据分组却因为各种原因选择了另外一条不同的路径R2。表现在大型网关上，就是上下行链路经过的物理网关不在同一位置。当此情形出现时，就认为非对称路由发生。

本发明对应一套VoIP服务知识库构建系统，以下称本系统。

本系统的原理框图如图1所示。本系统的入口模块是实时流量解析模块，该模块分布式部署在各物理网关，首先该模块识别原始TB级流量中的VoIP的信令控制协议SIP协议和SDP协议，将识别到的流量做协议解析后生成VoIP信令日志全量发送至消息队列。日志数据是结构化的，包含VoIP信令通信时间、通信双方的IP地址、端口、通信账号、设备信息、媒体协商信息等。消息队列同样是多地部署的，分别接收本地网关发送的VoIP信令日志数据。

其后从实时计算模块开始，均为集中部署。实时计算模块从多地消息队列中实时读取VoIP信令日志。由于真实网络流量的复杂性，网络存在丢包、重传、协议不规范等现象，实时流量解析模块回传的日志中存在重复、部分缺失、字段不规范等问题，在对日志数据做聚合计算之前，首先需要对其完成清洗补全，将不规整的日志统一标准化。其中，清洗主要采用正则表达式匹配的方式，将不规范字段做规范化处理；补全主要采取根据历史相关信息进行推测补全。

经过清洗补全的日志首先将其存入原始日志数据库中一份，原始日志由于数量庞大，出于存储空间占用与原始日志查询需求的权衡，设置为保留存储近3天的原始日志。

同时，经过清洗补全的标准化日志另一份进行实时统计计算与异常推送，基于实时计算框架Storm，完成VoIP服务地域分布、热点服务、常用软件、活跃曲线等实时统计以及扫描、攻击检测等网络异常的发现与结果推送。具体而言，设置统计更新时间为10分钟，统计10分钟内的标准化日志中的各个服务端IP出现次数，根据IP的定位生成地域分布热力图；统计10分钟内的标准化日志中的各个服务域名出现的次数，倒排生成热点服务；统计10分钟内的标准化日志中的各类VoIP软件出现的次数，倒排生成常用软件；统计热点服务单位时间内的活跃次数，生成活跃曲线等。进一步，采用离群点检测方法，分析单位时间内活跃次数远高于普通用户的源IP，即某一特定VoIP服务的单位时间内活跃次数与所有VoIP服务平均单位时间内活跃次数之比大于特定阈值，如1000，且其目的IP为固定IP或数量小于设定值100000的IP组时，判断为网络攻击；其目的IP数量巨大(比如大于或等于设定值100000)，且每个目的IP只出现单次时，判断为网络扫描。实时计算模块的计算结果实时存入VoIP服务知识库的实时结果数据库。

离线分析模块是本系统的核心模块。设置定时执行离线分析任务的时间周期为1天。每次任务从原始日志数据库中获取前一天全天的标准化原始日志，基于Spark计算平台，按照日志中提取的服务域名进行聚合，计算分析出该服务域名下的统计信息：所属IP集、地理位置、采用协议、日活跃用户、活跃时段、消息请求数与响应数、使用软件、使用编码方式等，并在此基础上，判断该服务域名所代表的VoIP服务的网关分类、与PSTN的关系以及是否存在可疑行为等，并将其保存在VoIP服务知识库的VoIP服务基础知识库。具体而言，综合使用软件以及各类请求消息数与响应消息数，可以判断VoIP服务的网关类型，例如，某一服务的消息请求数中REGISTER占100％，则可以判断该VoIP服务是一个注册网关；根据主被叫用户的用户名子串中是否包含固话号码或移动电话号码，可以判断该VoIP服务与PSTN网络的关系。具体判断如表1所示。

表1为VoIP服务与PSTN网络的关系判断表

系统维护一份全历史VoIP服务基础知识库，离线分析模块将新一天的VoIP服务基础知识结果数据与全历史VoIP基础知识库数据以服务域名聚合，形成一份最新的、包含新一天增量信息的全历史VoIP服务基础知识库。随着时间的推进，VoIP服务基础知识库不断丰富更新。

另外，由于VoIP存在代理级联情况，所以，离线分析模块还根据标准化原始日志中路由轨迹记录字段(包括Via、Route、Record-Route三个字段)，聚合分析出特定服务域名的上下游域名及活跃次数，得到特定域名为中心的路由关系图。具体而言，首先根据原始日志中路由轨迹记录字段聚合生成结构化路由表数据，路由表数据由以下几部分组成：时间、发起域名、发起域名类型、目的域名、目的域名类型、发起到目的的这条链路出现的次数。这份路由表数据就体现VoIP各个服务间的上下游级联关系。对于某特定域名，如果想要得到他向上游3维和向下游4维的路由关系图，则需要在路由表中以发起域名为key，循环查询4次，以目的域名为key，循环查询3次，并将查询到的结果生成以该域名为中心的路由关系图。

知识库存储模块分为两部分：实时计算结果与离线计算结果。实时计算结果来自实时计算模块，包括：服务地域分布、热点服务、常用软件、分时段活跃度等。离线计算结果来自离线分析模块，包括：VoIP服务基础知识库，即服务域名与其IP组、地理位置、日活、用户数、用户活跃度、用户名详情、支持协议、加密情况、支持的服务端软件、支持的客户端软件、支持的编码方式、通话形式(与PSTN的关系)、服务模式(网关分类：注册网关、落地网关、代理网关、云服务)、业务模式(正常服务、存在异常点的服务)等；路由关系图(有向图，点表示服务域名，边连接两点代表两个服务域名存在上下游关系，点权重表示服务活跃度，变权重表示关系紧密程度)。

本系统还提供界面，对用户提供友好的知识库查询方式。

尽管为说明目的公开了本发明的具体内容、实施算法以及附图，其目的在于帮助理解本发明的内容并据以实施，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书最佳实施例和附图所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (9)

1.一种VoIP服务知识库构建方法，其步骤包括：

1)在各选定的物理网关上分别部署一实时流量解析模块，所述实时流量解析模块从流经所在物理网关的VoIP流量中解析出SIP协议和SDP协议，然后根据解析出的SIP协议和SDP协议生成VoIP信令日志发送至消息队列；

2)实时计算模块从各消息队列中实时读取VoIP信令日志并对其统一标准化，得到标准化日志并将其保存至原始日志数据库；

3)实时计算模块对标准化日志进行实时统计计算，并将统计计算结果实时存入VoIP服务知识库的实时结果数据库；

4)离线分析模块定期从原始日志数据库中获取标准化日志，根据标准化日志中的服务域名进行聚合，得到各服务域名下的统计信息；然后基于服务域名下的统计信息和设定的判断条件判断该服务域名所代表的VoIP服务的网关类型、该服务域名所代表的VoIP服务与PSTN的关系以及该服务域名所代表的VoIP服务是否存在可疑行为，并将其保存在VoIP服务知识库的VoIP服务基础知识库；以及所述离线分析模块还根据标准化日志中路由轨迹记录字段，聚合分析出目标服务域名的上下游域名及活跃次数，得到以目标服务域名为中心的路由关系图；当需要得到目标服务域名的向上游M维和向下游N维的路由关系图时，则在路由表中以发起域名为key，循环查询N次，以目的域名为key，循环查询M次，并将查询到的结果生成以该目标服务域名为中心的向上游M维和向下游N维的路由关系图。

2.如权利要求1所述的方法，其特征在于，所述VoIP信令日志包含VoIP信令通信时间、通信双方的IP地址、端口、通信账号、设备信息、媒体协商信息。

3.如权利要求1所述的方法，其特征在于，所述实时计算模块基于实时计算框架Storm，完成VoIP服务地域分布热力图、热点服务、常用软件、活跃曲线的实时统计；其中根据更新窗口内的标准化日志中各个服务端IP出现次数和定位生成地域分布热力图；统计更新窗口内的标准化日志中的各个服务域名出现的次数，生成热点服务；根据更新窗口内的标准化日志中的各类VoIP软件出现的次数，统计出常用软件；统计热点服务单位时间内的活跃次数，生成活跃曲线。

4.如权利要求1所述的方法，其特征在于，所述实时计算模块采用离群点检测方法确定是否存在网络异常；即当目标VoIP服务单位时间内活跃次数与所有VoIP服务平均单位时间内活跃次数之比大于设定阈值，且该目标VoIP服务的目的IP为固定IP或数量小于设定值的IP组时，则判断该目标VoIP服务的源IP为网络攻击；当目标VoIP服务单位时间内活跃次数与所有VoIP服务平均单位时间内活跃次数之比大于设定阈值，且该目标VoIP服务的目的IP数量大于设定值，且每个目的IP只出现单次时，判断该目标VoIP服务的源IP为网络扫描。

5.如权利要求1所述的方法，其特征在于，各服务域名下的统计信息包括：所属IP集、地理位置、采用协议、日活跃用户、活跃时段、消息请求数与响应消息数、使用软件、使用编码方式；根据使用软件以及各类请求消息数与响应消息数，判断VoIP服务的网关类型；根据主被叫用户的用户名子串中是否包含固话号码或移动电话号码，判断VoIP服务与PSTN网络的关系。

6.一种VoIP服务知识库构建系统，其特征在于，包括多个实时流量解析模块、实时计算模块和离线分析模块；在每一选定的物理网关上分别部署一所述实时流量解析模块，其中，

所述实时流量解析模块，用于从流经所在物理网关的VoIP流量中解析出SIP协议和SDP协议，然后根据解析出的SIP协议和SDP协议生成VoIP信令日志发送至消息队列；

所述实时计算模块，用于从各消息队列中实时读取VoIP信令日志并对其统一标准化，得到标准化日志并将其保存至原始日志数据库；以及对标准化日志进行实时统计计算，并将统计计算结果实时存入VoIP服务知识库的知识结果数据库；

所述离线分析模块，用于定期从原始日志数据库中获取标准化日志，根据标准化日志中的服务域名进行聚合，得到各服务域名下的统计信息；然后基于服务域名下的统计信息和设定的判断条件判断该服务域名所代表的VoIP服务的网关类型、该服务域名所代表的VoIP服务与PSTN的关系以及该服务域名所代表的VoIP服务是否存在可疑行为，并将其保存在VoIP服务知识库的VoIP服务基础知识库；以及根据标准化日志中路由轨迹记录字段，聚合分析出目标服务域名的上下游域名及活跃次数，得到以目标服务域名为中心的路由关系图；当需要得到目标服务域名的向上游M维和向下游N维的路由关系图时，则在路由表中以发起域名为key，循环查询N次，以目的域名为key，循环查询M次，并将查询到的结果生成以该目标服务域名为中心的向上游M维和向下游N维的路由关系图。

7.如权利要求6所述的系统，其特征在于，所述实时计算模块基于实时计算框架Storm，完成VoIP服务地域分布热力图、热点服务、常用软件、活跃曲线的实时统计；其中根据更新窗口内的标准化日志中各个服务端IP出现次数和定位生成地域分布热力图；统计更新窗口内的标准化日志中的各个服务域名出现的次数，生成热点服务；根据更新窗口内的标准化日志中的各类VoIP软件出现的次数，统计出常用软件；统计热点服务单位时间内的活跃次数，生成活跃曲线。

8.如权利要求6所述的系统，其特征在于，各服务域名下的统计信息包括：所属IP集、地理位置、采用协议、日活跃用户、活跃时段、消息请求数与响应消息数、使用软件、使用编码方式；根据使用软件以及各类请求消息数与响应消息数，判断VoIP服务的网关类型；根据主被叫用户的用户名子串中是否包含固话号码或移动电话号码，判断VoIP服务与PSTN网络的关系。

9.一种基于权利要求1所述VoIP服务知识库的服务方法，其特征在于，根据接收的查询条件查询所述VoIP服务知识库并返回查询结果。

Images