CN106789242A - 一种基于手机客户端软件动态特征库的识别应用智能分析引擎 - Google Patents

Abstract

本发明公开了一种基于手机客户端软件动态特征库的识别应用智能分析引擎，包括如下步骤：S1：抓取业务流量IP包并快速解码,S2：提取系统中进程的网络调用记录,S3：动态挖掘客户端软件流量业务,S4：智能分析引擎技术实现，本发明利用手机终端自动实时分析客户端软件与应用流量关系，形成动态的精准识别基础特征库，与运营商网络管道海量大数据结合进行云端侧业务流量关联识别，并在精准识别的基础上利用客户端海量大数据行为特点构建特征智能挖掘算法，动态化收敛客户端与业务流量的精准对应关系，来构建手机客户端软件应用业务分析引擎，突破传统DPI无法及时准确识别并出关联明细业务流量的缺点。

Description

一种基于手机客户端软件动态特征库的识别应用智能分析 引擎

技术领域

本发明涉及手机客户端技术领域，尤其涉及一种基于手机客户端软件动态特征库的识别应用智能分析引擎。

背景技术

近些年来移动互联网特别是LTE-4G高速发展背景下。各种P2P、VoIP、流媒体、OTT应用、音视频聊天、互动在线游戏和虚拟现实等网络新业务层出不穷。运营商为实现“智能管道”的大战略目标，产生了“对管道的流量精准识别”与“运营、管理流量中附加值”的巨大市场需求。而传统识别的市场上现有的普通报文检测以及传统的DPI产品已经不能满足前述业务需求。本智能分析引擎而立足于运营商全量的网络通信数据即实际流量，利用手机终端自动实时分析客户端软件与应用流量关系，形成动态的精准识别基础特征库，与运营商网络管道海量大数据结合进行云端侧业务流量关联识别，并在精准识别的基础上利用客户端海量大数据行为特点构建特征智能挖掘算法，动态化收敛客户端与业务流量的精准对应关系，形成基于手机客户端软件动态特征的精准识别应用智能分析引擎。

目前对于手机客户端应用识别的方法主要有以下三种

1、基于端口的网络流量业务识别方法：不同应用在网络的流量传输是在相应的网络端口进行的，本方法核心思想为通过检测流量的端口号，并与应用注册的端口号对应，实现业务的识别。如web应用对应80端口，DNS端口号为53，FTP(20,21)，e-mail(25,110)等。

2、基于数据包的网络数据流量识别方法：即深度包检测(DPI)网络数据流量识别技术，基于IP端口与网络数据包，采集移动互联网网络应用层内容，通过对数据包的应用层负载特征如IP数据包的源地址、源端口、目的地址、目的端口以及协议类型，进行检测分析，找出特征字，进而判断并识别业务流

3、基于业务数据流的网络数据流量识别技术：该方法是数据流的宏观特征进行数据统计，包括单位时间数据流数目、数据流的位速率、流大小以及流的生存周期(数据流的开始和结束时间之差)，通过机器学习与对比，实现业务流的识别。

现有技术的缺点及本申请提案要解决的技术问题

方法一缺点：只能识别固定端口的应用，对于新型动态分配端口的应用类型如基于P2P协议的应用，识别率将无法保证。方法二缺点：无法对数据流量进行精准且高效快速的定位，特别是对于应用间互相调用发生的业务流，无法追溯到真正产生数据流量的应用。该方法亦无法识别加密算法应用、端口可变应用、隐藏在合法端口之后的隧道应用、IP地址可变应用和交互式应用等应用类型。方法三缺点：准确度和识别率较低，对于业务流的统计效率较低。当发生丢包情况时，对识别的结果有一定的影响。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于手机客户端软件动态特征库的识别应用智能分析引擎。

为了实现上述目的，本发明采用了如下技术方案：

一种基于手机客户端软件动态特征库的识别应用智能分析引擎，包括如下步骤：

S1：抓取业务流量IP包并快速解码,为了能够实时对比当前进程网络记录，需要对ip数据包进行捕获并快速解码，获取数据包的内容，数据包常规的传输路径依次为网卡、设备驱动层、数据链路层、IP层、传输层、最后到达应用程序，当一个数据包到达网络接口时，libpcap首先利用已经创建的Socket从链路层驱动程序中获得该数据包的拷贝，通过Tap函数将数据包发给BPF过滤器，BPF过滤器根据已经定义好的过滤规则对数据包进行逐一匹配，匹配成功则放入内核缓冲区，并传递给用户缓冲区，匹配失败则直接丢弃；

S2：提取系统中进程的网络调用记录,通过libpcap编程检查获得活动tcp/udp端口，通过函数pcap_lookupdev查找活动网络设备，发现可用的网卡和端口，如果当前有多个网卡，函数就会返回一个网络设备名的指针列表，按行解析/proc/net/tcp，获取当前活跃的TCP连接情况及其inode值，/proc/net/tcp文件中存储的主要信息包括：本地地址，本地端口，远程地址，远程端口，链接状态，发送队列，接收队列，UID，inode等信息，提取该文件中有数据传输时的inode字段值。查找数据传输对应的活动应用进程，通过inotify可以使如文件增加、修改、删除等事件实时为用户所获知，且不需要对被监视的目标打开文件描述符fd，最后，通过进程网络记录文件与IP包内容的对应比较，完成业务流的精准识别；

S3：动态挖掘客户端软件流量业务

1)、根据现有原始数据，获取socket类业务中未识别的IP、端口、流量等统计信息，组成未识别表，

2)、提取包含2个IP以上的IP段，在规则库中查找该ip段和端口对应的业务类型(一个，多个或未知)，当做该段ip的疑似业务类型，ip&端口对应1个业务、多个业务两类数据组成A表，流程3、4、5描述的是以每个唯一规则为基础，循环多次遍历原始表，最后汇总成表E的过程，此处归纳为一个小结进行叙述，

3)流程3，原始数据中统计使用某个唯一规则的用户，产生该唯一规则业务的用户列表(表B)，

4)流程4，统计原始数据中，列表B中用户使用过的IP地址及端口，当用户量大于该类业务总用户量的1％(阀值可调)时，生成IP地址以及端口列表(列表C)，

5)流程5，对比列表A，列表C，提取两表交集中的IP地址、端口，生成列表D，

6)流程6：一个IP段对应一个业务的情况，规则直接输出唯一规则即可，一个IP段对应多个业务的情况，需要将多个业务的分析数据进行汇总统计，提炼出唯一规则与公共规则，完成动态化收敛挖掘应用业务的算法；

S4：智能分析引擎技术实现，识别引擎设计框架结构根据主架构，本采集识别的设计居于采集层，底端是由数据源组成的信令平台数据源，顶端是采集识别后数据输出后的KAFKA数据中心中间件后再同步到数据共享层。在采集层的设计上，主要分成手机客户端识别模块和特征库两大块，特征库是识别的规则基础，识别模块则是依赖于规则基础对话单数据进行递进式的识别，识别流程分别有手机客户端流量识别流程、网页门户流量识别流程、PC应用流量识别流程、后台进程开销流量识别流程和其他流量识别流程，在设计上考虑了不同业务的识别顺序有一定差异以及业务公用情况，涵盖终端上网行为广度与深度识别。

与现有技术相比，本发明的有益效果是：本发明专利利用手机终端自动实时分析客户端软件与应用流量关系，形成动态的精准识别基础特征库，与运营商网络管道海量大数据结合进行云端侧业务流量关联识别，并在精准识别的基础上利用客户端海量大数据行为特点构建特征智能挖掘算法，动态化收敛客户端与业务流量的精准对应关系，来构建手机客户端软件应用业务分析引擎，突破传统DPI无法及时准确识别并出关联明细业务流量的缺点，同时不依赖人工模式，全程自动化并支持智能溯源与分析，具有自动化、成本低高效益特点的技术方案。

附图说明

图1为本发明业务精准识别原理图；

图2为本发明动态挖掘客户端软件流量业务原理图；

图3为本发明智能分析引擎技术流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

一种基于手机客户端软件动态特征库的识别应用智能分析引擎，包括如下步骤：

S1：抓取业务流量IP包并快速解码,为了能够实时对比当前进程网络记录，需要对ip数据包进行捕获并快速解码，获取数据包的内容，数据包常规的传输路径依次为网卡、设备驱动层、数据链路层、IP层、传输层、最后到达应用程序，当一个数据包到达网络接口时，libpcap首先利用已经创建的Socket从链路层驱动程序中获得该数据包的拷贝，通过Tap函数将数据包发给BPF过滤器，BPF过滤器根据已经定义好的过滤规则对数据包进行逐一匹配，匹配成功则放入内核缓冲区，并传递给用户缓冲区，匹配失败则直接丢弃；

S2：提取系统中进程的网络调用记录,通过l ibpcap编程检查获得活动tcp/udp端口，通过函数pcap_lookupdev查找活动网络设备，发现可用的网卡和端口，如果当前有多个网卡，函数就会返回一个网络设备名的指针列表，按行解析/proc/net/tcp，获取当前活跃的TCP连接情况及其inode值，/proc/net/tcp文件中存储的主要信息包括：本地地址，本地端口，远程地址，远程端口，链接状态，发送队列，接收队列，UID，inode等信息，提取该文件中有数据传输时的inode字段值。查找数据传输对应的活动应用进程，通过inotify可以使如文件增加、修改、删除等事件实时为用户所获知，且不需要对被监视的目标打开文件描述符fd，最后，通过进程网络记录文件与IP包内容的对应比较，完成业务流的精准识别；

S3：动态挖掘客户端软件流量业务

1)、根据现有原始数据，获取socket类业务中未识别的IP、端口、流量等统计信息，组成未识别表，

2)、提取包含2个IP以上的IP段，在规则库中查找该ip段和端口对应的业务类型(一个，多个或未知)，当做该段ip的疑似业务类型，ip&端口对应1个业务、多个业务两类数据组成A表，流程3、4、5描述的是以每个唯一规则为基础，循环多次遍历原始表，最后汇总成表E的过程，此处归纳为一个小结进行叙述，

3)流程3，原始数据中统计使用某个唯一规则的用户，产生该唯一规则业务的用户列表(表B)，

4)流程4，统计原始数据中，列表B中用户使用过的IP地址及端口，当用户量大于该类业务总用户量的1％(阀值可调)时，生成IP地址以及端口列表(列表C)，

5)流程5，对比列表A，列表C，提取两表交集中的IP地址、端口，生成列表D，

6)流程6：一个IP段对应一个业务的情况，规则直接输出唯一规则即可，一个IP段对应多个业务的情况，需要将多个业务的分析数据进行汇总统计，提炼出唯一规则与公共规则，完成动态化收敛挖掘应用业务的算法；

S4：智能分析引擎技术实现，识别引擎设计框架结构根据主架构，本采集识别的设计居于采集层，底端是由数据源组成的信令平台数据源，顶端是采集识别后数据输出后的KAFKA数据中心中间件后再同步到数据共享层。在采集层的设计上，主要分成手机客户端识别模块和特征库两大块，特征库是识别的规则基础，识别模块则是依赖于规则基础对话单数据进行递进式的识别，识别流程分别有手机客户端流量识别流程、网页门户流量识别流程、PC应用流量识别流程、后台进程开销流量识别流程和其他流量识别流程，在设计上考虑了不同业务的识别顺序有一定差异以及业务公用情况，涵盖终端上网行为广度与深度识别。

本发明专利利用手机终端自动实时分析客户端软件与应用流量关系，形成动态的精准识别基础特征库，与运营商网络管道海量大数据结合进行云端侧业务流量关联识别，并在精准识别的基础上利用客户端海量大数据行为特点构建特征智能挖掘算法，动态化收敛客户端与业务流量的精准对应关系，来构建手机客户端软件应用业务分析引擎，突破传统DPI无法及时准确识别并出关联明细业务流量的缺点，同时不依赖人工模式，全程自动化并支持智能溯源与分析，具有自动化、成本低高效益特点的技术方案。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内，本智能分析引擎利用手机终端自动实时分析客户端软件与应用流量关系，形成动态的精准识别特征库进行业务应用的精准识别，该思想具有创新性，是技术关键点，应予以保护。

Claims (1)

1.一种基于手机客户端软件动态特征库的识别应用智能分析引擎，其特征在于：包括如下步骤：

S1：抓取业务流量IP包并快速解码,为了能够实时对比当前进程网络记录，需要对ip数据包进行捕获并快速解码，获取数据包的内容，数据包常规的传输路径依次为网卡、设备驱动层、数据链路层、IP层、传输层、最后到达应用程序，当一个数据包到达网络接口时，libpcap首先利用已经创建的Socket从链路层驱动程序中获得该数据包的拷贝，通过Tap函数将数据包发给BPF过滤器，BPF过滤器根据已经定义好的过滤规则对数据包进行逐一匹配，匹配成功则放入内核缓冲区，并传递给用户缓冲区，匹配失败则直接丢弃；

S2：提取系统中进程的网络调用记录,通过libpcap编程检查获得活动tcp/udp端口，通过函数pcap_lookupdev查找活动网络设备，发现可用的网卡和端口，如果当前有多个网卡，函数就会返回一个网络设备名的指针列表，按行解析/proc/net/tcp，获取当前活跃的TCP连接情况及其inode值，/proc/net/tcp文件中存储的主要信息包括：本地地址，本地端口，远程地址，远程端口，链接状态，发送队列，接收队列，UID，inode等信息，提取该文件中有数据传输时的inode字段值。查找数据传输对应的活动应用进程，通过inotify可以使如文件增加、修改、删除等事件实时为用户所获知，且不需要对被监视的目标打开文件描述符fd，最后，通过进程网络记录文件与IP包内容的对应比较，完成业务流的精准识别；

S3：动态挖掘客户端软件流量业务

1)、根据现有原始数据，获取socket类业务中未识别的IP、端口、流量等统计信息，组成未识别表，

2)、提取包含2个IP以上的IP段，在规则库中查找该ip段和端口对应的业务类型(一个，多个或未知)，当做该段ip的疑似业务类型，ip&端口对应1个业务、多个业务两类数据组成A表，流程3、4、5描述的是以每个唯一规则为基础，循环多次遍历原始表，最后汇总成表E的过程，此处归纳为一个小结进行叙述，

3)流程3，原始数据中统计使用某个唯一规则的用户，产生该唯一规则业务的用户列表(表B)，

4)流程4，统计原始数据中，列表B中用户使用过的IP地址及端口，当用户量大于该类业务总用户量的1％(阀值可调)时，生成IP地址以及端口列表(列表C)，

5)流程5，对比列表A，列表C，提取两表交集中的IP地址、端口，生成列表D，

6)流程6：一个IP段对应一个业务的情况，规则直接输出唯一规则即可，一个IP段对应多个业务的情况，需要将多个业务的分析数据进行汇总统计，提炼出唯一规则与公共规则，完成动态化收敛挖掘应用业务的算法；

S4：智能分析引擎技术实现，识别引擎设计框架结构根据主架构，本采集识别的设计居于采集层，底端是由数据源组成的信令平台数据源，顶端是采集识别后数据输出后的KAFKA数据中心中间件后再同步到数据共享层。在采集层的设计上，主要分成手机客户端识别模块和特征库两大块，特征库是识别的规则基础，识别模块则是依赖于规则基础对话单数据进行递进式的识别，识别流程分别有手机客户端流量识别流程、网页门户流量识别流程、PC应用流量识别流程、后台进程开销流量识别流程和其他流量识别流程，在设计上考虑了不同业务的识别顺序有一定差异以及业务公用情况，涵盖终端上网行为广度与深度识别。