CN103051725A - 应用识别方法、数据挖掘方法、装置及系统 - Google Patents

应用识别方法、数据挖掘方法、装置及系统 Download PDF

Info

Publication number
CN103051725A
CN103051725A CN2012105922035A CN201210592203A CN103051725A CN 103051725 A CN103051725 A CN 103051725A CN 2012105922035 A CN2012105922035 A CN 2012105922035A CN 201210592203 A CN201210592203 A CN 201210592203A CN 103051725 A CN103051725 A CN 103051725A
Authority
CN
China
Prior art keywords
far
application message
information
result
corresponding relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105922035A
Other languages
English (en)
Other versions
CN103051725B (zh
Inventor
周韡
唐东
张洪丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201210592203.5A priority Critical patent/CN103051725B/zh
Publication of CN103051725A publication Critical patent/CN103051725A/zh
Priority to EP13801453.5A priority patent/EP2770697B1/en
Priority to CA2836821A priority patent/CA2836821C/en
Priority to PCT/CN2013/080312 priority patent/WO2014101402A1/zh
Priority to US14/107,949 priority patent/US9477718B2/en
Priority to IL230004A priority patent/IL230004A/en
Application granted granted Critical
Publication of CN103051725B publication Critical patent/CN103051725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据挖掘方法、装置及系统，该UBA数据挖掘方法包括：获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息；向DPI子系统发送所述可信度高的成对应关系的远端三元组与应用信息，从而提升DPI识别性能和应用识别率。

Description

应用识别方法、数据挖掘方法、装置及系统
技术领域
本发明涉及通信技术领域，具体涉及一种应用识别方法、数据挖掘方法、装置及系统。
背景技术
随着宽带业务快速发展，给运营商带来机遇的同时也带来挑战，随着P2P、网络游戏、Web TV、VoIP、网上银行类、网络磁盘等应用的普及，带来了带宽管理、内容计费、信息安全处理等一系列问题。
深度包检测(Deep Packet Inspection，DPI)技术被认为是应对网络中多个业务运行所带来的管理问题的方法，即利用DPI技术能够对网络数据进行快速的解析，从而能使得运营商网络能支撑基于应用的业务，例如邮件类资费包、视频类资费包、游戏类资费包、特定下载软件的阻断等。
如图1A所示，为协议层次关系图，从传输层来看网络应用多承载于TCP和UDP之上，从七层承载来看，主要的承载协议包括HTTP/HTTPS、SSL、RTP、SIP、SOCKS5、SOCKS4等。而应用承载方式一般包括：流承载(仅前几包出现承载协议，后续包为纯应用数据，如图1B所示的)；包承载(每个包拥有承载协议和应用数据，如图1C所示)；
对于承载类协议的应用识别，目前DPI采用7层协议扫描的方式进行协议匹配，换句话即从下到上依次进行特征串匹配来识别，以HTTP协议为例，首先通过HTTP首行的HTTP请求方法及URI格式识别出HTTP协议，然后通过头域(例如HOST、REFERER、USER-AGENT等)内容的特征串匹配识别出应用，最后期待第二包进行内容校验(此步骤可选)。
此外，由于互联网应用更新速度远快于DPI的特征库的更新，且很多应用处于安全考虑越来越多的采用了SSL、HTTPS等加密方式进行数据传输，从而导致DPI识别性能的低下，而对于加密协议的应用识别，也仅仅只能识别到L7协议信息，L7上的运行的应用仍然无法识别；例如HTTPS等加密数据无法识别到应用，从而导致DPI识别失效。
发明内容
本发明实施例在于提供一种应用识别方法、数据挖掘方法、装置及系统，以提升的DPI识别性能和应用识别率。
第一方面，本发明实施例提供一种UBA数据挖掘方法，包括：
获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；
对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；
根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息；
向DPI子系统发送所述可信度高的成对应关系的远端三元组与应用信息。
结合第一方面，在第一种实现方式下，所述获得待处理数据包括：
针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；
获得所述DPI子系统输出的第一协议识别结果，所述第一协议识别结果包括远端三元组信息；
根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信息。
结合第一方面，在第二种实现方式下，所述获得待处理数据包括：
获得所述DPI子系统输出的第一协议识别结果和爬取子系统输出的爬取结果，所述第一协议识别结果包括远端三元组信息，所述爬取结果包含成对应关系的应用信息、域名信息和IP地址信息；
根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信息。
结合第一方面，在第三种实现方式下，所述每条记录还包括：客户端IP地址和客户端端口，以及对应于应用信息和五元组信息的流量，其中客户端IP地址、客户端端口和远端三元组信息构成所述五元组信息，
所述获得待处理数据包括：
接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；
针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；
获得所述DPI子系统输出的针对所述第一网络数据的第一协议识别结果，所述第一协议识别结果包括五元组信息；
根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于所述五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值。
结合第一方面，在第四种实现方式下，所述每条记录还包括：客户端IP地址和客户端端口，以及对应于应用信息和五元组信息的流量，其中客户端IP地址、客户端端口和远端三元组信息构成所述五元组信息，
所述获得待处理数据包括：
接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；
获得所述DPI子系统输出的针对所述第一网络数据的第一协议识别结果和爬取子系统输出的爬取结果，所述第一协议识别结果包括五元组信息，所述爬取结果包含成对应关系的应用信息、域名信息和IP地址信息；
根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值。
结合第一方面或第一方面的第一种实现方式或第一方面的第二种实现方式，在第五种实现方式下，所述对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果，包括：
对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，累加所述待处理数据中的远端三元组信息及应用信息相同的记录的个数作为对应于所述远端三元组信息及应用信息的连接数，得到包含成对应关系的远端三元组信息、应用信息及连接数的聚类结果；
所述根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息，包括：
根据所述连接数的大小与第一连接数阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数的大小大于或等于第一连接数阈值；
或，根据所述连接数占所有连接数的比重与第二连接数占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述远端三元组与应用信息的连接数占所有连接数的比重大于或等于第二连接数占有比例阈值。
结合第一方面的第三种实现方式或第一方面的第四种实现方式，在第六种实现方式下，所述对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果，包括：
对所述待处理数据中远端三元组信息及应用信息相同且客户端IP地址和客户端端口不同的记录进行聚类处理，并累加所述待处理数据中的远端三元组信息及应用信息相同的记录中的流量作为对应于所述远端三元组信息及应用信息的流量汇总值，得到包含成对应关系的远端三元组信息、应用信息及流量汇总值的聚类结果；
所述根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息，包括：
根据所述流量汇总值的大小与第一流量阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值的大小大于或等于第一流量阈值；
或，根据所述流量汇总值占所有流量的比重与第二流量占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值占所有流量的比重大于或等于第二流量占有比例阈值。
结合第一方面或第一方面的第一种、第二种、第三种、第四种实现方式，在第六种实现方式下，所述根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息，包括：
根据所述服务负载量的大小与第一阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的服务负载量的大小大于或等于第一阈值；
或，根据所述服务负载量的比重与第二阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的服务负载量的比重大于或等于第二阈值。
第二方面，本发明实施例提供一种应用识别方法，包括：
接收第二网络数据和UBA子系统发送的成对应关系的应用信息和远端三元组信息，其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；
根据所述第二网络数据中包含的远端三元组信息，从DPI子系统维护的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息以识别出所述第二网络数据的应用类型，其中，所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的应用信息和远端三元组信息建立或更新的。
结合第二方面，在第一种实现方式下，所述的方法，进一步包括：
对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括远端三元组信息，或者，所述第一协议识别结果包括五元组信息。
结合第二方面或第二方面的第一种实现方式，在第二种实现方式下，当查找失败时，所述方法进一步包括：
对所述第二网络数据进行七层L7层特征的匹配，得到第二协议识别结果，并向所述UBA子系统输出所述第二协议识别结果，所述第二协议识别结果包括：成对应关系的远端三元组信息和应用信息，或成对应关系的五元组信息和应用信息；或者，所述第二协议识别结果包括：成对应关系的远端三元组信息和七层L7协议信息，或成对应关系的五元组信息和七层L7协议信息。
结合第二方面或第二方面的第一种实现方式或第二方面的第二种实现方式，在第三种实现方式下，所述方法进一步包括：
根据所述UBA子系统发送的成对应关系的远端三元组信息与应用信息建立或更新DPI子系统维护的应用信息和远端三元组信息的对应关系，并存储所述建立或更新的应用信息和远端三元组信息之间的对应关系；
或者，存储所述UBA子系统发送的成对应关系的远端三元组信息与应用信息。
第三方面，本发明实施例提供一种UBA数据挖掘装置，包括：
内容获取模块，用于获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；
聚类模块，与所述内容获取模块相连，用于对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；
收敛模块，与所述聚类模块相连，用于根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息；
同步模块，与所述收敛模块相连，用于向DPI子系统发送所述可信度高的成对应关系的远端三元组与应用信息。
结合第三方面，在第一种实现方式下，所述内容获取模块具体用于：针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；获得所述DPI子系统输出的第一协议识别结果，所述第一协议识别结果包括远端三元组信息；根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信息；
或者，所述内容获取模块具体用于：获得所述DPI子系统输出的第一协议识别结果和爬取子系统输出的爬取结果，所述第一协议识别结果包括远端三元组信息，所述爬取结果包含成对应关系的应用信息、域名信息和IP地址信息；根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信息。
结合第三方面或第三方面的第一种实现方式，在第二种实现方式下，所述聚类模块具体用于对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，累加所述待处理数据中的远端三元组信息及应用信息相同的记录的个数作为对应于所述远端三元组信息及应用信息的连接数，得到包含成对应关系的远端三元组信息、应用信息及连接数的聚类结果；
所述收敛模块具体用于根据所述连接数的大小与第一连接数阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数的大小大于或等于第一连接数阈值；或，根据所述连接数占所有连接数的比重与第二连接数占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述远端三元组与应用信息的连接数占所有连接数的比重大于或等于第二连接数占有比例阈值。
结合第三方面，在第三种实现方式下，所述每条记录还包括：客户端IP地址和客户端端口，以及对应于应用信息和五元组信息的流量，其中客户端IP地址、客户端端口和远端三元组信息构成所述五元组信息，
所述内容获取模块具体用于：接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；获得所述DPI子系统输出的针对所述第一网络数据的第一协议识别结果，所述第一协议识别结果包括五元组信息；根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于所述五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值；
或者，所述内容获取模块具体用于：接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；获得所述DPI子系统输出的针对所述第一网络数据的第一协议识别结果和爬取子系统输出的爬取结果，所述第一协议识别结果包括五元组信息，所述爬取结果包含成对应关系的应用信息、域名信息和IP地址信息；根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值。
结合第三方面的第三种实现方式，在第四种实现方式下，所述聚类模块具体用于对所述待处理数据中远端三元组信息及应用信息相同且客户端IP地址和客户端端口不同的记录进行聚类处理，并累加所述待处理数据中的远端三元组信息及应用信息相同的记录中的流量作为对应于所述远端三元组信息及应用信息的流量汇总值，得到包含成对应关系的远端三元组信息、应用信息及流量汇总值的聚类结果；
所述收敛模块具体用于根据所述流量汇总值的大小与第一流量阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值的大小大于或等于第一流量阈值；或，根据所述流量汇总值占所有流量的比重与第二流量占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值占所有流量的比重大于或等于第二流量占有比例阈值。
结合第三方面或第三方面的第一种实现方式或第三方面的第三种实现方式，在第五种实现方式下，所述收敛模块具体用于根据所述服务负载量的大小与第一阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的服务负载量的大小大于或等于第一阈值；或，根据所述服务负载量的比重与第二阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的服务负载量的比重大于或等于第二阈值。
第四方面，本发明实施例提供一种应用识别装置，包括：
通信接口模块，用于接收第二网络数据和UBA子系统发送的成对应关系的应用信息和远端三元组信息，其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；
快速识别模块，与所述通信接口模块连接，用于根据所述第二网络数据中包含的远端三元组信息，从应用识别装置维护的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息以识别出所述第二网络数据的应用类型，其中，所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的应用信息和远端三元组信息建立或更新的。
结合第四方面，在第一种实现方式下，所述通信接口模块还用于接收第一网络数据；
所述快速识别模块还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括远端三元组信息，或者，所述第一协议识别结果包括五元组信息。
结合第四方面或第四方面的第一种实现方式，在第二种实现方式下，所述的应用识别装置，进一步包括：深度识别模块，
所述快速识别模块还用于当查找不到与所述第二网络数据中包含的远端三元组信息匹配的应用信息时，将所述第二网络数据传递给所述深度识别模块；
所述深度识别模块用于对所述第二网络数据进行七层L7层特征的匹配，得到第二协议识别结果，并向所述UBA子系统输出所述第二协议识别结果，所述第二协议识别结果包括：成对应关系的远端三元组信息和应用信息，或成对应关系的五元组信息和应用信息；或者，所述第二协议识别结果包括：成对应关系的远端三元组信息和七层L7协议信息，或成对应关系的五元组信息和七层L7协议信息。
结合第四方面或第四方面的第一种实现方式或第四方面的第二种实现方式，在第三种实现方式下，所述的应用识别装置进一步包括：
应用特征关系管理模块，用于根据所述UBA子系统发送的成对应关系的远端三元组信息与应用信息建立或更新应用信息和远端三元组信息的对应关系；
存储模块，用于存储所述建立或更新应用信息和远端三元组信息之间的对应关系；或者，用于存储所述UBA子系统发送的成对应关系的远端三元组信息与应用信息。
第五方面，本发明实施例提供一种UBA服务器，所述UBA服务器包括：用于执行用户行为分析或用户兴趣分析的UBA内容解析引擎，以及，与所述UBA内容解析引擎耦合的UBA数据挖掘引擎，所述UBA数据挖掘引擎为结合第三方面或者结合第三方面与基于第三方面所形成的第1至第五个可能的实施方式中的任意一种或者多种实施方式，在第六种可能的实施方式中的UBA数据挖掘装置。
第六方面，本发明实施例提供一种DPI服务器，所述DPI服务器包括：用于接收网络数据或网络数据的镜像的接收器，与所述接收器耦合的深度包检测DPI引擎，以及用于发送所述网络数据或所述DPI引擎输出的应用信息的发送器，所述DPI引擎为结合第四方面或者结合第四方面与基于第四方面所形成的第一至第三个可能的实施方式中的任意一种或者多种实施方式，在第四种可能的实施方式中的应用识别装置。
第七方面，本发明实施例提供一种通信设备，包括收发信机和与所述收发信机耦合的用于进行网络通信的处理器，所述通信设备还包括：与所述收发信机耦合的深度包检测DPI引擎，所述DPI引擎为结合第四方面或者结合第四方面与基于第四方面所形成的第一至第三个可能的实施方式中的任意一种或者多种实施方式，在第四种可能的实施方式中的应用识别装置。
第八方面，本发明实施例提供一种通信系统，包括：DPI子系统和UBA子系统，其中：所述UBA子系统用于获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的、成对应关系的远端三元组信息与应用信息，向所述DPI子系统发送所述可信度高的成对应关系的远端三元组信息与应用信息；所述远端三元组信息包括服务器端IP地址、服务器端端口和传输协议；
所述DPI子系统用于当收到第二网络数据时，根据所述第二网络数据中包含的远端三元组信息，从所述DPI子系统维护的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息以识别出所述第二网络数据的应用类型，其中所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的远端三元组与应用信息建立或更新的。
结合第八方面，在第一种实现方式下，所述DPI子系统还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括远端三元组信息；
所述UBA子系统具体用于：针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；获得所述DPI子系统输出的所述第一协议识别结果；根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并累加所述待处理数据中远端三元组信息及应用信息相同的记录的个数作为对应于所述远端三元组信息及应用信息的连接数，得到包含成对应关系的远端三元组信息、应用信息及连接数的聚类结果；根据所述连接数的大小与第一连接数阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数的大小大于或等于第一连接数阈值；或，根据所述连接数占所有连接数的比重与第二连接数占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数占所有连接数的比重大于或等于第二连接数占有比例阈值，并向所述DPI子系统发送所述选取的成对应关系的远端三元组与应用信息。
结合第八方面，在第二种实现方式下，所述的系统进一步包括：爬取系统，用于针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；
所述DPI子系统还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括远端三元组信息；
所述UBA子系统具体用于：获得所述DPI子系统输出的所述第一协议识别结果；根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信息；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并累加所述待处理数据中远端三元组信息及应用信息相同的记录的个数作为对应于所述远端三元组信息及应用信息的连接数，得到包含成对应关系的远端三元组信息、应用信息及连接数的聚类结果；根据所述连接数的大小与第一连接数阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数的大小大于或等于第一连接数阈值；或，根据所述连接数占所有连接数的比重与第二连接数占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数占所有连接数的比重大于或等于第二连接数占有比例阈值，向所述DPI子系统发送所述选取的成对应关系的远端三元组与应用信息。
结合第八方面，在第三种实现方式下，所述的系统中，所述每条记录还包括：客户端IP地址和客户端端口，以及对应于应用信息和五元组信息的流量，其中客户端IP地址、客户端端口和远端三元组信息构成所述五元组信息，
所述DPI子系统还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括五元组信息；
所述UBA子系统具体用于：接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；获得所述DPI子系统输出的所述第一协议识别结果；根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于所述五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值；对所述待处理数据中远端三元组信息及应用信息相同且客户端IP地址和客户端端口不同的记录进行聚类处理，并累加所述待处理数据中的远端三元组信息及应用信息相同的记录中的流量作为对应于所述远端三元组信息及应用信息的流量汇总值，得到包含成对应关系的远端三元组信息、应用信息及流量汇总值的聚类结果；根据所述流量汇总值的大小与第一流量阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值的大小大于或等于第一流量阈值；或，根据所述流量汇总值占所有流量的比重与第二流量占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值占所有流量的比重大于或等于第二流量占有比例阈值，并向所述DPI子系统发送所述选取的成对应关系的远端三元组与应用信息。
结合第八方面，在第四种实现方式下，所述的系统中，所述每条记录还包括：客户端IP地址和客户端端口，以及对应于应用信息和五元组信息的流量，其中客户端IP地址、客户端端口和远端三元组信息构成所述五元组信息，
所述系统进一步包括：爬取系统，用于针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；
所述DPI子系统还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括五元组信息；
所述UBA子系统具体用于：接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；获得所述DPI子系统输出的所述第一协议识别结果和所述爬取子系统输出的爬取结果；根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于所述五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值；对所述待处理数据中远端三元组信息及应用信息相同且客户端IP地址和客户端端口不同的记录进行聚类处理，并累加所述待处理数据中的远端三元组信息及应用信息相同的记录中的流量作为对应于所述远端三元组信息及应用信息的流量汇总值，得到包含成对应关系的远端三元组信息、应用信息及流量汇总值的聚类结果；根据所述流量汇总值的大小与第一流量阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值的大小大于或等于第一流量阈值；或，根据所述流量汇总值占所有流量的比重与第二流量占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值占所有流量的比重大于或等于第二流量占有比例阈值，并向所述DPI子系统发送所述选取的成对应关系的远端三元组与应用信息。
结合第八方面或第八方面的第一种、第二种、第三种或第四种实现方式，在第五种实现方式下，所述系统还包括业务控制子系统，
所述DPI子系统还用于将所述应用信息提供给所述业务控制子系统；
所述业务控制子系统用于根据所述DPI子系统提供的应用信息，提供基于应用的业务，所述业务包括计费、阻断、限流、重定向或服务优化。
可见，本发明实施例中，UBA子系统获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；并根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息，向DPI子系统发送所述可信度高的成对应关系的远端三元组与应用信息；从而实现了UBA子系统的数据挖掘分析结果同步作用于DPI子系统，换言之，实现了UBA子系统反哺DPI子系统，即所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的应用信息和远端三元组信息所建立或更新的；从而在接收到第二网络数据后，DPI子系统能快速的根据所述第二网络数据中包含的远端三元组信息，从前述的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息，从而较大程度的提升了DPI识别性能和应用识别率，尤其是大幅提升加密协议的应用识别率，大幅提升承载类协议的应用识别率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1A为传统的协议层次关系图的结构示意图；
图1B为传统的流承载的原理示意图；
图1C为传统的包承载的原理示意图；
图2为本发明实施例的一种通信系统的逻辑结构示意图；
图3为本发明实施例的另一种通信系统的逻辑结构示意图；
图4为本发明实施例的另一种通信系统的逻辑结构示意图；
图5为本发明实施例的一种通信系统的物理部署示意图；
图6A为本发明实施例提供一种UBA数据挖掘方法的流程示意图；
图6B为本发明实施例提供另一种UBA数据挖掘方法的流程示意图；
图6C为本发明实施例提供另一种UBA数据挖掘方法的流程示意图；
图6D为本发明实施例提供再一种UBA数据挖掘方法的流程示意图；
图6E为本发明实施例提供又一种UBA数据挖掘方法的流程示意图；
图7为本发明实施例提供一种应用识别方法的流程示意图；
图8为本发明实施例提供另一种应用识别方法的流程示意图；
图9为本发明实施例的另一种UBA数据挖掘方法的流程示意图
图10为本发明实施例提供的一种UBA数据挖掘装置1000的结构示意图；
图11为本发明实施例提供的一种UBA服务器1100的结构示意图；
图12A为本发明实施例提供的一种应用识别装1200的结构示意图；
图12B为本发明实施例提供的另一种应用识别装1200的结构示意图；
图13为本发明实施例提供的一种通信设备1300的结构示意图；
图14为本发明实施例提供的一种DPI服务器1400的结构示意图；
图15为本发明实施例提供的另一种通信设备1500的结构示意图；
图16为本发明实施例提供的一种计算机系统1600的结构示意图；
图17为本发明实施例提供的一种计算机系统1700的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了方便理解本发明实施例，首先在此介绍本发明实施例描述中会引入的几个要素。
五元组信息：源IP地址、源端口、目的IP地址、目的端口和传输协议；需要说明的是，本发明实施例应用于客户端/服务器C/S的组网模式下，因此在本发明实施例中，源IP地址和源端口应分别理解为客户端IP地址和客户端端口；目的IP地址和目的端口应分别理解为服务器端IP地址和服务器端端口；为了方便后文描述，在此先统一概念，本端为客户端，远端为服务器端，远端三元组信息被用于表示服务器端IP地址、服务器端端口和传输协议；
远端三元组信息：服务器端IP地址、服务器端端口和传输协议；需要说明的是，如果网络数据是从客户端发送给服务器端，则远端三元组信息亦可用于表示目的IP、目的端口和传输协议，本发明实施例主要以这种场景下举例来进行本发明方案的介绍。
应用信息：即用于表示应用的信息，比如应用名称或应用标识或应用类型。例如，SNS(social network service)、E-mail、GMAIL_SSL、Skype、KuGoo、PPLive参见图1a所示。
请参阅图2，为本发明实施例的一种通信系统的逻辑结构示意图，如图2所示，本发明实施例的通信系统，包括：深度包检测(Deep Packet Inspection，DPI)子系统10和用户行为分析(User Behavior Analysis，UBA)子系统20，其中：
UBA子系统20用于获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的、成对应关系的远端三元组信息与应用信息，向所述DPI子系统发送所述可信度高的成对应关系的远端三元组信息与应用信息；所述远端三元组信息包括服务器端IP地址、服务器端端口和传输协议；
DPI子系统10用于当收到第二网络数据时，根据所述第二网络数据中包含的远端三元组信息，从所述DPI子系统维护的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息以识别出所述第二网络数据的应用类型，其中所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的远端三元组与应用信息建立或更新的。应当理解的是，在确定了应用信息后，可以支持基于应用的业务，例如邮件类资费包、视频类资费包、游戏类资费包、特定下载软件的阻断等。
本发明实施例中提到的服务负载量包括但不限于流量汇总值或者连接数等；
针对服务负载量为流量汇总值的情况，在一种实现方式下，本发明实施例的通信系统中，DPI子系统10还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统20输出相应的第一协议识别结果，所述第一协议识别结果包括远端三元组信息。较优的，所述第一协议识别结果包括五元组信息、七层(L7)协议信息；
相应的，UBA子系统20具体用于：针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；获得所述DPI子系统10输出的所述第一协议识别结果；根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并累加所述待处理数据中远端三元组信息及应用信息相同的记录的个数作为对应于所述远端三元组信息及应用信息的连接数，得到包含成对应关系的远端三元组信息、应用信息及连接数的聚类结果；根据所述连接数的大小与第一连接数阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数的大小大于或等于第一连接数阈值；或，根据所述连接数占所有连接数的比重与第二连接数占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数占所有连接数的比重大于或等于第二连接数占有比例阈值，并向所述DPI子系统10发送所述选取的成对应关系的远端三元组与应用信息。
需要说明的是，这里的DPI子系统10向UBA子系统20输出相应的第一协议识别结果可以是：DPI子系统10向UBA子系统20直接输出相应的第一协议识别结果，也可以是DPI子系统10向UBA子系统20间接输出相应的第一协议识别结果，例如，DPI子系统10将第一协议识别结果发送给数据库存储起来，以便于UBA子系统20实时或定时的从数据库中获取第一协议识别结果。
在另一种实现方式下，如图3所示，本发明实施例的系统进一步包括：爬取系统30，用于针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；这里的爬取结果可以是直接或间接的传递给UBA子系统20；对于后者的情况，例如爬取系统30将爬取结果存储入数据库中，该数据库与UBA子系统20和爬取系统30均具有通信连接。
DPI子系统10还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括远端三元组信息；较优的，所述第一协议识别结果包括五元组信息、七层L7协议信息；
相应的，UBA子系统20具体用于：获得所述DPI子系统输出的所述第一协议识别结果；根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信息；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并累加所述待处理数据中远端三元组信息及应用信息相同的记录的个数作为对应于所述远端三元组信息及应用信息的连接数，得到包含成对应关系的远端三元组信息、应用信息及连接数的聚类结果；根据所述连接数的大小与第一连接数阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数的大小大于或等于第一连接数阈值；或，根据所述连接数占所有连接数的比重与第二连接数占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数占所有连接数的比重大于或等于第二连接数占有比例阈值，向所述DPI子系统发送所述选取的成对应关系的远端三元组与应用信息。
针对服务负载量为连接数的情况，在一种实现方式下，本发明实施例的通信系统中，所述待处理数据中的每条记录还包括：客户端IP地址和客户端端口，以及对应于应用信息和五元组信息的流量，其中客户端IP地址、客户端端口和远端三元组信息构成所述五元组信息，
DPI子系统10还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统20输出相应的第一协议识别结果，所述第一协议识别结果包括五元组信息。较优的，所述第一协议识别结果包括五元组信息、七层(L7)协议信息；
相应的，UBA子系统20具体用于：接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；获得所述DPI子系统10输出的所述第一协议识别结果；根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于所述五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值；对所述待处理数据中远端三元组信息及应用信息相同且客户端IP地址和客户端端口不同的记录进行聚类处理，并累加所述待处理数据中的远端三元组信息及应用信息相同的记录中的流量作为对应于所述远端三元组信息及应用信息的流量汇总值，得到包含成对应关系的远端三元组信息、应用信息及流量汇总值的聚类结果；根据所述流量汇总值的大小与第一流量阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值的大小大于或等于第一流量阈值；或，根据所述流量汇总值占所有流量的比重与第二流量占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值占所有流量的比重大于或等于第二流量占有比例阈值，并向所述DPI子系统10发送所述选取的成对应关系的远端三元组与应用信息。
在另一种实现方式下，如图3所示，本发明实施例的系统进一步包括：爬取系统30，用于针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；这里的爬取结果可以是直接或间接的传递给UBA子系统20；对于后者的情况，例如爬取系统30将爬取结果存储入数据库中，该数据库与UBA子系统20和爬取系统30均具有通信连接。
DPI子系统10还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括五元组信息；较优的，所述第一协议识别结果包括五元组信息、七层L7协议信息；
相应的，UBA子系统20具体用于：接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；获得所述DPI子系统输出的所述第一协议识别结果和所述爬取子系统输出的爬取结果；根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于所述五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值；对所述待处理数据中远端三元组信息及应用信息相同且客户端IP地址和客户端端口不同的记录进行聚类处理，并累加所述待处理数据中的远端三元组信息及应用信息相同的记录中的流量作为对应于所述远端三元组信息及应用信息的流量汇总值，得到包含成对应关系的远端三元组信息、应用信息及流量汇总值的聚类结果；根据所述流量汇总值的大小与第一流量阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值的大小大于或等于第一流量阈值；或，根据所述流量汇总值占所有流量的比重与第二流量占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值占所有流量的比重大于或等于第二流量占有比例阈值，并向所述DPI子系统发送所述选取的成对应关系的远端三元组与应用信息。
需要说明的是，UBA子系统20关联生成所述待处理数据的条件或数据源，可以是从具有通信连接的数据库中获得的所述第一网络数据、所述第一协议识别结果以及所述爬取结果，也可以是接收的网元设备(例如路由器)发来的第一网络数据，DPI子系统10发来的第一协议识别结果和爬取子系统30发来的爬取结果。
需要说明的是，本发明实施例的通信系统中的UBA子系统20可以是以离线状态，当工作触发条件满足时，转换为在线状态，进行数据挖掘，并将数据挖掘分析结果(即成对应关系的应用信息、远端三元组信息)反哺给DPI子系统10。
在实际应用中，本发明实施例的通信系统中的UBA子系统20可以是UBA服务器。
在实际应用中，在一种实现方式下，本发明实施例的通信系统中的DPI子系统10可以为独立的DPI服务器，例如，DPI服务器为外挂的部署方式，或者，DPI服务器串联在网络架构中，在移动网络中，例如DPI服务器串联在RNC和GGSN之间，或者，DPI服务器串联在GGSN和业务控制网关之间；在固网中，例如DPI服务器串联在宽带接入服务器和业务控制网关之间；在另一种实现方式下，DPI子系统10也可以是具有DPI功能的网元设备，其产品形态可以是路由器，网关设备，RNC、GGSN、SCG或PDSN等等；应当理解的是，DPI子系统支持独立外置，DPI子系统能与现有设备进行对接，也可以内置于现网的网元设备上，例如通过插卡或软件集成方式。
在实际应用中，本发明实施例的通信系统中的爬取子系统30可以是一个或多个爬取服务器(即爬取服务器组)，例如，DNS服务器、网页服务器、邮件服务器和/或游戏服务器等。
应当理解的是，本发明实施例提到的DPI子系统和UBA子系统均部署在单个物理节点上的。
本发明实施例的技术方案可以应用于各种通信系统，例如：全球移动通讯(Global System of Mobile communication，简称为“GSM”)系统、码分多址(Code Division Multiple Access，简称为“CDMA”)系统、宽带码分多址(Wideband Code Division Multiple Access，简称为“WCDMA”)系统、通用分组无线业务(General Packet Radio Service，简称为“GPRS”)、长期演进(Long Term Evolution，简称为“LTE”)系统、LTE频分双工(FrequencyDivision Duplex，简称为“FDD”)系统、LTE时分双工(Time Division Duplex，简称为“TDD”)、通用移动通信系统(Universal Mobile TelecommunicationSystem，简称为“UMTS”)、全球互联微波接入(Worldwide Interoperabilityfor Microwave Access，简称为“WiMAX”)通信系统等。
可见，本发明实施例中，UBA子系统获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；并根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息，向DPI子系统发送所述可信度高的成对应关系的远端三元组与应用信息；从而实现了UBA子系统的数据挖掘分析结果同步作用于DPI子系统，换言之，实现了UBA子系统反哺DPI子系统，即所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的应用信息和远端三元组信息所建立或更新的；从而在接收到第二网络数据后，DPI子系统能快速的根据所述第二网络数据中包含的远端三元组信息，从前述的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息，从而较大程度的提升了DPI识别性能和应用识别率，尤其是大幅提升加密协议的应用识别率，大幅提升承载类协议的应用识别率；
进一步的，DPI子系统对接收的前续第一网络数据进行协议识别处理，向UBA子系统直接或间接的输出相应的第一协议识别结果；UBA子系统获得待处理数据，所述待处理数据包括多条记录，其中每条记录至少包括：成对应关系的应用信息、远端三元组信息，其中所述待处理数据是根据至少包括所述第一协议识别结果的数据源生成的；从而实现DPI子系统的输入或输出与UBA子系统的输入或输出在一定程度上是可以互相转化的；
以及，通过本发明实施例提供的通信系统由于实现了UBA子系统反哺DPI子系统，即所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的应用信息和远端三元组信息建立或更新的，从而解决了现有技术中固定配置带来维护成本与不适应变化的问题，从而实现了自适应更新或维护应用信息和远端三元组信息的对应关系，进而减轻维护工作。
请参阅图4，为本发明实施例的另一种通信系统的逻辑结构示意图，如图4所示，本发明实施例的通信系统，包括：DPI子系统10、UBA子系统20和业务控制子系统40，其中：DPI子系统10，UBA子系统20的功能参考前述通信系统的实施例描述。
DPI子系统10还用于将所述应用信息提供给业务控制子系统40；
业务控制子系统40用于根据DPI子系统10提供的应用信息，提供基于应用的业务，所述业务包括计费、阻断、限流、重定向或服务优化。
本发明实施例的基于应用的业务提供网络，能提供基于应用的业务，这里的服务包括但不限于：计费、阻断、限流、重定向或服务优化等。换言之，即识别并分析网络的各种应用层协议，对其实施各种策略，例如计费、阻断、限流、重定向或服务优化等等。例如邮件类资费包、视频类资费包、游戏类资费包、特定下载软件的阻断等。
可见，本发明实施例中，UBA子系统获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；并根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息，向DPI子系统发送所述可信度高的成对应关系的远端三元组与应用信息；从而实现了UBA子系统的数据挖掘分析结果同步作用于DPI子系统，换言之，实现了UBA子系统反哺DPI子系统，即所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的应用信息和远端三元组信息所建立或更新的；从而在接收到第二网络数据后，DPI子系统能快速的根据所述第二网络数据中包含的远端三元组信息，从前述的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息，从而较大程度的提升了DPI识别性能和应用识别率，尤其是大幅提升加密协议的应用识别率，大幅提升承载类协议的应用识别率，进而实现了支撑基于应用的业务；
进一步的，DPI子系统对接收的前续第一网络数据进行协议识别处理，向UBA子系统直接或间接的输出相应的第一协议识别结果；UBA子系统获得待处理数据，所述待处理数据包括多条记录，其中每条记录至少包括：成对应关系的应用信息、远端三元组信息，其中所述待处理数据是根据至少包括所述第一协议识别结果的数据源生成的；从而实现DPI子系统的输入或输出与UBA子系统的输入或输出在一定程度上是可以互相转化的；
以及，通过本发明实施例提供的通信系统由于实现了UBA子系统反哺DPI子系统，即所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的应用信息和远端三元组信息建立或更新的，从而解决了现有技术中固定配置带来维护成本与不适应变化的问题，从而实现了自适应更新或维护应用信息和远端三元组信息的对应关系，进而减轻维护工作。
本发明实施例主要应用于客户端/服务器C/S的组网模式下，请参阅图5，为本发明实施例的一种通信系统的物理部署示意图，以向运营商网络提供计费服务。如图5所示，包括：用户终端50a-50b、基站51、无线网络控制器52(Radio Network Controller，RNC)、通用分组无线业务网关支持节点53(Gateway GPRS Support Node，GGSN)、业务控制网关54(Service ControlGateway，SCG)、UBA服务器55、策略服务器PCRF56、计费服务器57、用户套餐信息SPR库58以及爬取服务器组(游戏服务器60、网页服务器61、邮件服务器62和DNS服务器63)。其中，业务控制网关54连接因特网Internet。
请参阅图6A，为本发明实施例提供一种UBA数据挖掘方法的流程示意图，该方法可以应用于如图2或3所示的UBA子系统(即UBA服务器)，如图6A所示，该方法可以包括如下步骤：
S601、获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；
较优的，每条记录包括：成对应关系的应用信息、五元组信息；这里的五元组信息包括客户端IP地址和客户端端口、传输协议、服务器端IP地址和服务器端端口。
S602、对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果。
其中，本发明实施例中的服务负载量包括但不限于：流量汇总值，连接数中的任一个或组合。这里的流量汇总值表示每个连接下传输的网络数据的流量的汇总值，换言之，五元组信息能唯一的标识一条连接。而本发明这里的连接数表示五元组信息中具有相同远端三元组信息的连接的个数。
S603、根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息；
应当理解的是，S602步骤中聚类的结果中存在不真实的、成对应关系的远端三元组与应用信息，比如，当前网络环境中存在越来越多的代理服务器，通过步骤S603对S602中得到的聚类结果进行收敛处理，去掉不真实的应用特征；
在一种实现方式下，所述根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息，可以包括：
根据所述服务负载量的大小与第一阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的服务负载量的大小大于或等于第一阈值；
或，根据所述服务负载量的比重与第二阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的服务负载量的比重大于或等于第二阈值。
需要说明的是，这里的第一阈值和第二阀值是可以根据实际应用或经验值灵活设置，本发明实施例对此不作限定。
S604、向DPI子系统发送所述可信度高的成对应关系的远端三元组与应用信息。
可见，本发明实施例提供的UBA数据挖掘方法中，UBA子系统(UBA服务器)获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；并根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息，向DPI子系统发送所述可信度高的成对应关系的远端三元组与应用信息；从而实现了UBA子系统的数据挖掘分析结果同步作用于DPI子系统，换言之，实现了UBA子系统反哺DPI子系统，即所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的应用信息和远端三元组信息所建立或更新的；从而在接收到第二网络数据后，DPI子系统能快速的根据所述第二网络数据中包含的远端三元组信息，从前述的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息，从而较大程度的提升了DPI识别性能和应用识别率，尤其是大幅提升加密协议的应用识别率，大幅提升承载类协议的应用识别率。
进一步的，DPI子系统对接收的前续第一网络数据进行协议识别处理，向UBA子系统直接或间接的输出相应的第一协议识别结果；UBA子系统获得待处理数据，所述待处理数据包括多条记录，其中每条记录至少包括：成对应关系的应用信息、远端三元组信息，其中所述待处理数据是根据至少包括所述第一协议识别结果的数据源生成的；从而实现DPI子系统的输入或输出与UBA子系统的输入或输出在一定程度上是可以互相转化的；
以及，通过本发明实施例提供的通信系统由于实现了UBA子系统反哺DPI子系统，即所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的应用信息和远端三元组信息建立或更新的，从而解决了现有技术中固定配置带来维护成本与不适应变化的问题，从而实现了自适应更新或维护应用信息和远端三元组信息的对应关系，进而减轻维护工作。
请参阅图6B，为本发明实施例提供另一种UBA数据挖掘方法的流程示意图，该方法可以应用于如图2或3所示的UBA子系统(即UBA服务器)，如图6B所示，该方法可以包括如下步骤：
S6011、针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；
其中，爬取技术属于现有技术，在此不再赘述。
S6012、获得所述DPI子系统输出的第一协议识别结果，所述第一协议识别结果包括远端三元组信息；
较优的，所述第一协议识别结果包括五元组信息、七层(L7)协议信息；
需要说明的是，S6011和S6012之间没有执行顺序之分。
S6013、根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录至少包括：成对应关系的应用信息和远端三元组信息；
较优的，每条记录包括：成对应关系的流标识、五元组信息和应用信息。
S6014、对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，累加所述待处理数据中的远端三元组信息及应用信息相同的记录的个数作为对应于所述远端三元组信息及应用信息的连接数，得到包含成对应关系的远端三元组信息、应用信息及连接数的聚类结果；
应当理解的是，如果S6012中获得的包括五元组信息的第一协议识别结果，相应的，S6014具体为：对所述待处理数据中远端三元组信息及应用信息相同且客户端IP地址和客户端端口不同的记录进行聚类处理，累加所述待处理数据中的远端三元组信息及应用信息相同且客户端IP地址和客户端端口不同的记录的个数作为对应于所述远端三元组信息及应用信息的连接数，得到包含成对应关系的远端三元组信息、应用信息及连接数的聚类结果。
S6015、根据所述连接数的大小与第一连接数阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数的大小大于或等于第一连接数阈值；或，根据所述连接数占所有连接数的比重与第二连接数占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述远端三元组与应用信息的连接数占所有连接数的比重大于或等于第二连接数占有比例阈值。
需要说明的是，这里的第一连接数阈值和第二连接数占有比例阈值是可以根据实际应用或经验值灵活设置，例如第一连接数阈值可以是根据网络的规模来决定，这里不对其数值进行限定。第二连接数占有比例阈值，例如可以为90％或者为85％-90％的范围，在某些应用场景下，第二连接数占有比例阈值也可以设置为30％以上。
S6016、向DPI子系统发送所述选取的、成对应关系的远端三元组与应用信息。
请参阅图6C，为本发明实施例提供另一种UBA数据挖掘方法的流程示意图，该方法可以应用于如图2或3所示的UBA子系统(即UBA服务器)，如图6C所示，本实施例与图6B所示的实施例的区别在于：
用S6010替代S6011和S6012，其中：
S6010、获得所述DPI子系统输出的第一协议识别结果和爬取子系统输出的爬取结果，所述第一协议识别结果包括远端三元组信息，所述爬取结果包含成对应关系的应用信息、域名信息和IP地址信息；由于其他步骤相同，故本实施例对此不再赘述。
需要说明的是，这里的第一协议识别结果和爬取结果可以分别是所述DPI子系统和所述爬取系统保存于数据库中的，也可以分别是所述DPI子系统和所述爬取系统直接发送给UBA子系统(即UBA服务器)的。换言之即，DPI子系统输出的第一协议识别结果可以是直接或间接的传递到UBA子系统，间接的方式即在一种实现方式下，DPI子系统向数据库输出相应的第一协议识别结果；同样的，爬取子系统输出的爬取结果可以是直接或间接的传递到UBA子系统，间接的方式即在一种实现方式下，爬取子系统向数据库输出爬取结果。
请参阅图6D，为本发明实施例提供再一种UBA数据挖掘方法的流程示意图，该方法可以应用于如图2或3所示的UBA子系统(即UBA服务器)，如图6D所示，该方法可以包括如下步骤：
S6021、接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；
S6022、针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；
其中，爬取技术属于现有技术，在此不再赘述。
S6023、获得所述DPI子系统输出的针对所述第一网络数据的第一协议识别结果，所述第一协议识别结果包括五元组信息；
较优的，所述第一协议识别结果包括五元组信息、七层(L7)协议信息；
需要说明的是，S6021、S6022和S6023之间没有执行顺序之分。
S6024、根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于所述五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值。
较优的，每条记录包括：成对应关系的流标识、五元组信息、应用信息和流量。
S6025、对所述待处理数据中远端三元组信息及应用信息相同且客户端IP地址和客户端端口不同的记录进行聚类处理，并累加所述待处理数据中的远端三元组信息及应用信息相同的记录中的流量作为对应于所述远端三元组信息及应用信息的流量汇总值，得到包含成对应关系的远端三元组信息、应用信息及流量汇总值的聚类结果；
S6026、根据所述流量汇总值的大小与第一流量阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值的大小大于或等于第一流量阈值；或，根据所述流量汇总值占所有流量的比重与第二流量占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值占所有流量的比重大于或等于第二流量占有比例阈值。
需要说明的是，这里的第一流量阈值和第二流量占有比例阈值是可以根据实际应用或经验值灵活设置，例如第一流量阈值可以是根据应用的类型来确定，不同的应用对应不同的第一流量阈值，如网络视频类对应的第一流量阈值上G，邮件类对应的第一流量阈值为几百兆，如300M，或者300M-500M的范围。第二流量占有比例阈值，例如可以为90％或者为80％-90％的范围。本发明对此不作限定。
S6027、向DPI子系统发送所述选取的、成对应关系的远端三元组与应用信息。
请参阅图6E，为本发明实施例提供又一种UBA数据挖掘方法的流程示意图，该方法可以应用于如图2或3所示的UBA子系统(即UBA服务器)，如图6E所示，本实施例与图6D所示的实施例的区别在于：
用S6023′替代S6022和S6023，其中：
SS6023′、获得所述DPI子系统输出的针对所述第一网络数据的第一协议识别结果和爬取子系统输出的爬取结果，所述第一协议识别结果包括五元组信息，所述爬取结果包含成对应关系的应用信息、域名信息和IP地址信息；由于其他步骤相同，故本实施例对此不再赘述。
需要说明的是，这里的第一协议识别结果和爬取结果可以分别是所述DPI子系统和所述爬取系统保存于数据库中的，也可以分别是所述DPI子系统和所述爬取系统直接发送给UBA子系统(即UBA服务器)的。换言之即，DPI子系统输出的第一协议识别结果可以是直接或间接的传递到UBA子系统，间接的方式即在一种实现方式下，DPI子系统向数据库输出相应的第一协议识别结果；同样的，爬取子系统输出的爬取结果可以是直接或间接的传递到UBA子系统，间接的方式即在一种实现方式下，爬取子系统向数据库输出爬取结果。
请参阅图7，为本发明实施例提供一种应用识别方法的流程示意图，需要说明的是，该方法可以应用于如图2或3所示的DPI子系统。在实际应用中，在一种实现方式下，本发明实施例的DPI子系统10可以为独立的DPI服务器；在另一种实现方式下，DPI子系统10也可以是具有DPI功能的网元设备，其产品形态可以是路由器，网关设备，RNC、GGSN、SCG或PDSN等等；应当理解的是，DPI子系统支持独立外置，DPI子系统能与现有设备进行对接，也可以内置于现网的网元设备上，例如通过插卡或软件集成方式。如图7所示，该方法可以包括如下步骤：
S701、接收第二网络数据和UBA子系统发送的成对应关系的应用信息和远端三元组信息，其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；
S702、根据所述第二网络数据中包含的远端三元组信息，从DPI子系统维护的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息以识别出所述第二网络数据的应用类型，其中，所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的应用信息和远端三元组信息建立或更新的。
请参阅图8，较优的，在S701之前，本发明实施例的方法进一步包括：
S700、对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，使得UBA子系统根据至少包括第一协议识别结果的数据源所述向所述DPI子系统发送成对应关系的远端三元组信息与应用信息，所述第一协议识别结果包括远端三元组信息，或者，所述第一协议识别结果包括五元组信息。
较优的，所述第一协议识别结果包括五元组信息、七层L7协议信息；应当理解的是，这里的协议识别处理包括2层特征、3层特征以及简单的7层特征匹配(例如：IP地址、端口、传输协议、TCP帧头、固定位置的短子串等)。
需要说明的是，DPI子系统可以将网络数据的协议识别结果直接或者间接的传递给UBA子系统，UBA子系统通过数据挖掘、聚类和收敛等方法获得符合条件的应用特征集，并同步到DPI子系统。应当理解的是，这是一个不断循环的过程。即，前续网络数据的协议识别结果(尤其是没有识别出应用信息的协议识别结果)触发了UBA子系统反哺应用特征集，而该应用特征集能被DPI子系统用于快速识别后续网络数据的应用信息。
需要说明的是，这里的第一网络数据和第二网络数据可以是同一个网络应用下的不同的网络数据包，也可以是不同网络应用下的不同的网络数据包。
以及，当S702中查找失败时，本发明实施例的方法进一步包括：
S703、对所述第二网络数据进行七层L7层特征的匹配，得到第二协议识别结果，并向所述UBA子系统输出所述第二协议识别结果，所述第二协议识别结果包括：成对应关系的远端三元组信息和应用信息，或成对应关系的五元组信息和应用信息；或者，所述第二协议识别结果包括：成对应关系的远端三元组信息和七层L7协议信息，或成对应关系的五元组信息和七层L7协议信息。
较优的，在S701之后，本发明实施例的方法进一步包括：
根据所述UBA子系统发送的成对应关系的远端三元组信息与应用信息建立或更新DPI子系统维护的应用信息和远端三元组信息的对应关系，并存储所述建立或更新的应用信息和远端三元组信息之间的对应关系；或者，
存储所述UBA子系统发送的成对应关系的远端三元组信息与应用信息。
应当理解的是，对于“或者”之后的后者情况，通常是DPI子系统维护的特征库为空时，在收到UBA子系统发送的成对应关系的远端三元组信息与应用信息或，直接存储所述UBA子系统发送的成对应关系的远端三元组信息与应用信息。
可见，本发明实施例提供的应用识别方法中，在UBA子系统向所述DPI子系统发送/同步成对应关系的远端三元组与应用信息后，实现了UBA子系统的数据挖掘分析结果同步作用于DPI子系统，换言之，实现了UBA子系统反哺DPI子系统，即所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的应用信息和远端三元组信息建立或更新的；从而在接收到第二网络数据后，DPI子系统能快速的根据所述第二网络数据中包含的远端三元组信息，从前述的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息，从而较大程度的提升了DPI识别性能和应用识别率，尤其是大幅提升加密协议的应用识别率，大幅提升承载类协议的应用识别率；
进一步的，DPI子系统对接收的前续第一网络数据进行协议识别处理，向UBA子系统直接或间接的输出相应的第一协议识别结果；UBA子系统获得待处理数据，所述待处理数据包括多条记录，其中每条记录至少包括：成对应关系的应用信息、远端三元组信息，其中所述待处理数据是根据至少包括所述第一协议识别结果的数据源生成的；从而实现DPI子系统的输入或输出与UBA子系统的输入或输出在一定程度上是可以互相转化的；
以及，通过本发明实施例提供的通信系统由于实现了UBA子系统反哺DPI子系统，即所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的应用信息和远端三元组信息建立或更新的，从而解决了现有技术中固定配置带来维护成本与不适应变化的问题，从而实现了自适应更新或维护应用信息和远端三元组信息的对应关系，进而减轻维护工作。
下面结合实际应用即用户通过用户终端使用浏览器访问某在线视频服务商网站观看视频短片，来详细介绍下通过本发明实施例的方法来实现运营商对视频流量进行计费。下面针对此场景进行描述：
请参阅图9，为本发明实施例的另一种UBA数据挖掘方法的流程示意图，应用于如图5所示的网络环境下，如图9所示，该方法包括：
S900、初始状态下，业务控制网关54维护的应用信息和远端三元组信息的对应关系(简称为DPI应用关联表)为空，配置目标域名列表(如mail.google.com、t.sina.com等)，这里的业务控制网关54部署有本发明的DPI子系统；
S901a-S901b、当网络数据进入业务控制网关54(业务控制网关54上部署有DPI子系统)后，业务控制网关54对该网络数据进行协议识别处理，向UBA服务器55输出相应的协议识别结果。本实施例中，这里的协议识别结果如表A所示，协议识别结果包括流ID、五元组信息和七层L7协议信息。
Figure BDA00002685813600451
表A
S902、UBA服务器55与爬取服务器组60-63交互，
针对每一种应用，根据配置的所述应用的域名列表爬取对应的IP地址列表，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；(例如：每个应用对应一个列表，如表B所示)；应当理解的是，S901和S902可并行，也可分先后顺序执行。
例如：UBA服务器55与DNS服务器63交互有如下两种方式：
1、主动方式——通过DNS协议进行交互
2、被动方式——在网络中截获DNS报文，解析获得域名与IP的关系表。这属于现有技术，在此不再赘述。
Figure BDA00002685813600461
表B(前四列为事先给定)
S903、UBA服务器55将表A和表B的服务器端IP地址作为外键关联两张表，生成表C。其中，表A中流ID为14的记录中的IP为74.125.71.83与表B中的GMAIL项中IP地址匹配，且表A中的识别结果为GMAIL_SSL也与表B中的GMAIL吻合，则将表A中的传输协议和端口填充表B，得到表C。示意如下：
Figure BDA00002685813600462
表C
S904、UBA服务器55根据表C匹配表A中的远端三元组，如果匹配，则在表A中填入表C中的应用名，并对同一个流的每个数据包的负载长度进行累加后填充到流量字段中，生成表E。应用理解的是，五元组信息用于标识一条流，换言之，即用于标识一个连接。至此完成分类工作。
Figure BDA00002685813600463
Figure BDA00002685813600471
表E
S905、UBA服务器55按照传输协议、服务器端IP地址和服务器端端口对表E进行聚类，并统计属于每一组传输协议、服务器端IP地址和服务器端端口下的流量汇总值，生成表F1，其中表F1包括：成对应关系的目的IP、目的端口、传输协议、应用协议类型(即下表中的识别结果)、流量汇总值。需要说明的是，服务负载量的一个示例即流量汇总值，这里的每一组传输协议、目的IP和目的端口下的流量汇总值可以理解为每一组传输协议、服务器端IP地址和服务器端端口下的流量汇总值。
较优的，根据流量汇总值字段对表F1进行降序排序。
Figure BDA00002685813600472
表F1
S906、UBA服务器55根据表F1中的流量汇总值这列的数据进行流量百分比的统计，较优的还进行流量累计百分比的统计，重复此过程生成表G1；这里的流量百分比即所述流量汇总值占所有流量的比重。
Figure BDA00002685813600481
表G1
S907、第二流量占有比例阈值被设置为80％，将流量百分比这列的数据与第二流量占有比例阈值进行比较，从表G1中选取流量百分比这列的取值大于或等于第二流量占有比例阈值的这行记录中的远端三元组与应用信息。本实施例中，表G1的第一行数据中对应于所述选取的远端三元组与应用信息的流量百分比的取值85.99％大于或等于第二流量占有比例阈值80％；
或者，在另一种实现方式下，如果S906步骤进行流量累计百分比的统计的步骤，第二流量占有比例阈值被设置为90％，而且表F1或表G1中的流量汇总值这列的数据是降序排列，将流量累计百分比这列的数据与第二流量占有比例阈值进行比较，从表G1中选取流量累计百分比这列的数据大于或等于第二流量占有比例阈值的这行记录中的成对应关系的远端三元组与应用信息，其中被选取的成对应关系的远端三元组与应用信息所处的这行记录中的流量累计百分比的取值为所有大于或等于第二流量占有比例阈值的流量累计百分比的取值中的最小值。
较优的，在本实施例中，表F1或表G1中的流量汇总值这列的数据是降序排列，则以从上至下的方向对表G1中的流量累计百分比这列的对象与第二流量占有比例阈值进行比较，直到找到流量累计百分比这列中最先大于或等于90％的对象(本实施例中即第二行数据，即96.99％)，统计直到找到流量累计百分比大于或等于90％时已被比较对象(即第1和2行)的个数得到收敛权值为2；具体的，如果根据流量汇总值字段对表F进行降序排序，则进行比较的方向就是从上到下；如果根据流量汇总值字段对表F1进行升序排序，则进行比较的方向就是从下到上。
进一步的，设置收敛阈值为5，UBA服务器55校验收敛权值，包括：判断收敛权值是否小于或等于收敛阈值，当收敛权值小于或等于收敛阈值时，则允许向业务控制网关54输出或同步如下表H1所示的信息。应当理解的是，校验收敛权值的步骤是可选的，也可以省掉这个步骤。
S908a-S908b、UBA服务器55向业务控制网关54输出或同步如下表H1所示的成对应关系的远端三元组信息和应用信息，便于业务控制网关54基于UBA服务器55同步过来的成对应关系的远端三元组信息和应用信息建立或更新本地维护的应用信息和远端三元组信息的对应关系。
Figure BDA00002685813600491
表H1
S909、当用户使用用户终端50a-50b通过认证登录到无线接入网，用户终端50a-50b发起的网络数据经过基站51，基站控制器RNC52到达GGSN53，由GGSN53将网络数据路由到业务控制网关54；
S910a-S910b、业务控制网关54根据该网络数据中包含的远端三元组信息，从本地维护的应用信息和远端三元组信息的对应关系中，查找与该网络数据中包含的远端三元组信息匹配的应用信息；如果查找成功，将匹配的应用信息向策略服务器PCRF56发送；需要说明的是，本实施例中，根据应用信息能获知用户是在进行观看视频；
S911a-S911b、策略服务器PCRF56根据传输过来的应用信息获知用户是在进行观看视频，并根据从用户套餐信息SPR库58中找到的用户终端50a/50b向运营商网络注册的用户套餐信息，确认需要对产生的视频流量进行计费后，发送计费信息到计费服务器57进行计费处理。
S912a-S912b、计费服务器57确定开始计费后，将网络数据(比如视频访问请求)转发到服务提供商网站的服务器，比如网页服务器61。
上述实施例以流量汇总值为例，详细的介绍了整个处理流程，对于所述服务负载量为连接数的情况，本领域技术人员可以参考前述实施例的原理和细节来实现。不同的实现内容，例如用下表F2替代图9所示的实施例中表F1，用下表G2替代图9所示的实施例中表G1，以及用下表H2替代图9所示的实施例中表H1，由于大多数内容相同或相似，故在此不再赘述。
表F2
Figure BDA00002685813600502
Figure BDA00002685813600511
表G2
表H2
本发明实施例还提供相关装置和系统。
参见图10、本发明实施例提供一种UBA数据挖掘装置1000，可包括：内容获取模块1001、聚类模块1002、收敛模块1003和同步模块1004，其中：
内容获取模块1001，用于获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；较优的，每条记录包括：成对应关系的应用信息、五元组信息；这里的五元组信息包括客户端IP地址和客户端端口、传输协议、服务器端IP地址和服务器端端口。
聚类模块1002，与所述内容获取模块1001相连，用于对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；
这里的服务负载量包括但不限于：流量汇总值，连接数中的任一个或组合。这里的流量汇总值表示每个连接下传输的网络数据的流量的汇总值，换言之，五元组信息能唯一的标识一条连接。而本发明这里的连接数表示五元组信息中具有相同远端三元组信息的连接的个数。
收敛模块1003，与所述聚类模块1002相连，用于根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息；
在一种实现方式下，收敛模块1003具体用于根据所述服务负载量的大小与第一阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的服务负载量的大小大于或等于第一阈值；或，根据所述服务负载量的比重与第二阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的服务负载量的比重大于或等于第二阈值。需要说明的是，这里的第一阈值和第二阀值是可以根据实际应用或经验值灵活设置，本发明实施例对此不作限定。
同步模块1004，与所述收敛模块1003相连，用于向DPI子系统发送所述可信度高的成对应关系的远端三元组与应用信息。
针对服务负载量为连接数的情况，在一种实现方式下，所述内容获取模块1001具体用于：针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；获得所述DPI子系统输出的第一协议识别结果，所述第一协议识别结果包括远端三元组信息；根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信息。
在另一种实现方式下，所述内容获取模块1001具体用于：获得所述DPI子系统输出的第一协议识别结果和爬取子系统输出的爬取结果，所述第一协议识别结果包括远端三元组信息，所述爬取结果包含成对应关系的应用信息、域名信息和IP地址信息；根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信息。
以及，相应的，聚类模块1002具体用于对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，累加所述待处理数据中的远端三元组信息及应用信息相同的记录的个数作为对应于所述远端三元组信息及应用信息的连接数，得到包含成对应关系的远端三元组信息、应用信息及连接数的聚类结果；
以及，相应的，收敛模块1003具体用于根据所述连接数的大小与第一连接数阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数的大小大于或等于第一连接数阈值；或，根据所述连接数占所有连接数的比重与第二连接数占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述远端三元组与应用信息的连接数占所有连接数的比重大于或等于第二连接数占有比例阈值。
需要说明的是，这里的第一连接数阈值和第二连接数占有比例阈值是可以根据实际应用或经验值灵活设置，例如第一连接数阈值可以是根据网络的规模来决定，这里不对其数值进行限定。第二连接数占有比例阈值，例如可以为90％或者为85％-90％的范围，在有的应用场景下，第二连接数占有比例阈值也可以设置为30％以上。
针对服务负载量为流量汇总值的情况，所述待处理数据中的每条记录还可以包括：客户端IP地址和客户端端口，以及对应于应用信息和五元组信息的流量，其中客户端IP地址、客户端端口和远端三元组信息构成所述五元组信息，相应的，在一种实现方式下，所述内容获取模块1001具体用于：接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；获得所述DPI子系统输出的针对所述第一网络数据的第一协议识别结果，所述第一协议识别结果包括五元组信息；根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于所述五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值。
在另一种实现方式下，所述内容获取模块1001具体用于：接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；获得所述DPI子系统输出的针对所述第一网络数据的第一协议识别结果和爬取子系统输出的爬取结果，所述第一协议识别结果包括五元组信息，所述爬取结果包含成对应关系的应用信息、域名信息和IP地址信息；根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值。
以及，相应的，聚类模块1002具体用于对所述待处理数据中远端三元组信息及应用信息相同且客户端IP地址和客户端端口不同的记录进行聚类处理，并累加所述待处理数据中的远端三元组信息及应用信息相同的记录中的流量作为对应于所述远端三元组信息及应用信息的流量汇总值，得到包含成对应关系的远端三元组信息、应用信息及流量汇总值的聚类结果；
以及，相应的，收敛模块1003具体用于根据所述流量汇总值的大小与第一流量阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值的大小大于或等于第一流量阈值；或，根据所述流量汇总值占所有流量的比重与第二流量占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值占所有流量的比重大于或等于第二流量占有比例阈值。
需要说明的是，这里的第一流量阈值和第二流量占有比例阈值是可以根据实际应用或经验值灵活设置，例如第一流量阈值可以是根据应用的类型来确定，不同的应用对应不同的第一流量阈值，如网络视频类对应的第一流量阈值上G，邮件类对应的第一流量阈值为几百兆，如300M，或者300M-500M的范围。第二流量占有比例阈值，例如可以为90％或者为80％-90％的范围。本发明对此不作限定。
由上可见，本发明实施例中，UBA数据挖掘装置获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；并根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息，向DPI子系统发送所述可信度高的成对应关系的远端三元组与应用信息；从而实现了UBA数据挖掘装置的数据挖掘分析结果同步作用于DPI子系统，换言之，实现了UBA数据挖掘装置反哺DPI子系统，即所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA数据挖掘装置发送的应用信息和远端三元组信息所建立或更新的；从而在接收到第二网络数据后，DPI子系统能快速的根据所述第二网络数据中包含的远端三元组信息，从前述的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息，从而较大程度的提升了DPI识别性能和应用识别率，尤其是大幅提升加密协议的应用识别率，大幅提升承载类协议的应用识别率。
进一步的，DPI子系统对接收的前续第一网络数据进行协议识别处理，向UBA数据挖掘装置直接或间接的输出相应的第一协议识别结果；UBA数据挖掘装置获得待处理数据，所述待处理数据包括多条记录，其中每条记录至少包括：成对应关系的应用信息、远端三元组信息，其中所述待处理数据是根据至少包括所述第一协议识别结果的数据源生成的；从而实现DPI子系统的输入或输出与UBA数据挖掘装置的输入或输出在一定程度上是可以互相转化的。
参见图11、本发明实施例提供一种UBA服务器1100，可包括：用于执行用户行为分析或用户兴趣分析的UBA内容解析引擎1101，以及，与所述UBA内容解析引擎耦合的UBA数据挖掘引擎1102，所述UBA数据挖掘引擎1102为前述实施例所述的UBA数据挖掘装置。
本发明实施例UBA内容解析引擎1101可以采用现有技术来实现，比如：UBA内容解析引擎通过数据解析的方式从网页浏览的内容中提取关键字，并根据关键字进行用户兴趣建模，得到用户兴趣，从而支撑根据用户兴趣推荐业务。需要说明的是，所述UBA内容解析引擎与UBA数据挖掘引擎1102之间耦合的方式，即UBA内容解析引擎1101在用户兴趣挖掘的过程中，可以调用UBA数据挖掘引擎1102来完成数据的聚类或收敛等。
本实施例提供的UBA数据挖掘引擎1102，可以用于执行前述方法实施例的技术方案中UBA服务器或UBA子系统对应执行的部分，其实现原理和技术效果类似，此处不再赘述。
由上可见，本发明实施例中，UBA服务器获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；并根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息，向DPI子系统发送所述可信度高的成对应关系的远端三元组与应用信息；从而实现了UBA服务器的数据挖掘分析结果同步作用于DPI子系统，换言之，实现了UBA服务器反哺DPI子系统，即所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA服务器发送的应用信息和远端三元组信息所建立或更新的；从而在接收到第二网络数据后，DPI子系统能快速的根据所述第二网络数据中包含的远端三元组信息，从前述的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息，从而较大程度的提升了DPI识别性能和应用识别率，尤其是大幅提升加密协议的应用识别率，大幅提升承载类协议的应用识别率。
进一步的，DPI子系统对接收的前续第一网络数据进行协议识别处理，向UBA服务器直接或间接的输出相应的第一协议识别结果；UBA服务器获得待处理数据，所述待处理数据包括多条记录，其中每条记录至少包括：成对应关系的应用信息、远端三元组信息，其中所述待处理数据是根据至少包括所述第一协议识别结果的数据源生成的；从而实现DPI子系统的输入或输出与UBA服务器的输入或输出在一定程度上是可以互相转化的。
参见图12A、本发明实施例提供一种应用识别装置1200，可包括：通信接口模块1201和快速识别模块1202，其中：
通信接口模块1201用于接收第二网络数据和UBA子系统发送的成对应关系的应用信息和远端三元组信息，其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；
应当理解的是，如果应用识别装置为外挂的部署方式，则通信接口模块1201用于接收第二网络数据的镜像；如果应用识别装置串联在网络架构中，例如，在移动网络中串联在GGSN和业务控制网关之间；在固网中串联在宽带接入服务器和业务控制网关之间，或者集成/内置在网元设备中，则通信接口模块1201用于接收第二网络数据本身，需要说明的是，本发明实施例中提到的第一网络数据和/或第二网络数据包含前述提到的两种情况。
快速识别模块1202，与所述通信接口模块1201连接，用于根据所述第二网络数据中包含的远端三元组信息，从应用识别装置1200维护的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息以识别出所述第二网络数据的应用类型，其中，应用识别装置1200维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的应用信息和远端三元组信息建立或更新的。
在一种实现方式下，所述应用识别装置维护的应用信息和远端三元组信息的对应关系可以存储在所述应用识别装置中的存储模块中，也可以是存储在与所述应用识别装置具有通信连接的外部数据库中。对于前一种情况，本发明实施例的应用识别装置进一步包括：
存储模块1203，用于存储应用信息和远端三元组信息的对应关系；
需要说明的是，快速识别模块1202可以将网络数据的协议识别结果直接或者间接的传递给UBA子系统，UBA子系统通过数据挖掘、聚类和收敛等方法获得符合条件的应用特征集，并同步到应用识别装置，具体可以是同步到应用识别装置中的快速识别模块1202和/或深度识别模块1204(如图12B所示)。应当理解的是，这是一个不断循环的过程。即，前续网络数据的协议识别结果(尤其是没有识别出应用信息的协议识别结果)触发了UBA子系统反哺应用特征集，而该应用特征集能被用于快速识别后续网络数据的应用信息。
相应的，通信接口模块1201还用于接收第一网络数据；需要说明的是，这里的第一网络数据和第二网络数据可以是同一个网络应用下的不同的网络数据包，也可以是不同网络应用下的不同的网络数据包。
相应的，所述快速识别模块1202还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括远端三元组信息，或者，所述第一协议识别结果包括五元组信息。较优的，所述第一协议识别结果包括五元组信息、七层L7协议信息；使得所述UBA子系统根据至少包括所述第一协议识别结果的数据源得到成对应关系的远端三元组信息与应用信息，向应用识别装置返回所述成对应关系的远端三元组信息与应用信息，从而便于应用识别装置尤其是快速识别模块1202快速的识别出后续网络数据的应用信息。较优的，所述第一协议识别结果包括五元组信息、七层L7协议信息；应当理解的是，这里的协议识别处理包括2层特征、3层特征以及简单的7层特征匹配(例如：IP地址、端口、传输协议、TCP帧头、固定位置的短子串等)。
由上可见，本发明实施例中，在UBA子系统向所述应用识别装置发送/同步对应关系的远端三元组与应用信息后，实现了UBA子系统的数据挖掘分析结果同步作用于应用识别装置，换言之，实现了UBA子系统反哺应用识别装置，即所述应用识别装置维护的应用信息和远端三元组信息的对应关系是基于UBA子系统发送的应用信息和远端三元组信息建立或更新的；从而在接收到后续的第二网络数据后，应用识别装置能快速的根据所述第二网络数据中包含的远端三元组信息，从前述的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息，从而较大程度的提升了DPI识别性能和应用识别率，尤其是大幅提升加密协议的应用识别率，大幅提升承载类协议的应用识别率。
参见图12B、本发明实施例提供另一种应用识别装置1200，在图12A所示的装置结构的基础上，本发明实施例的应用识别装置进一步包括深度识别模块1204，其中：
快速识别模块1202还用于当查找不到与所述第二网络数据中包含的远端三元组信息匹配的应用信息时，将所述第二网络数据传递给所述深度识别模块；
深度识别模块1204用于对所述第二网络数据进行七层L7层特征的匹配，得到第二协议识别结果，并向所述UBA子系统输出所述第二协议识别结果，所述第二协议识别结果包括：成对应关系的远端三元组信息和应用信息，或成对应关系的五元组信息和应用信息；或者，所述第二协议识别结果包括：成对应关系的远端三元组信息和七层L7协议信息，或成对应关系的五元组信息和七层L7协议信息。
需要说明的是，深度识别模块1204也可以将第二协议识别结果直接或者间接的传递给UBA子系统，UBA子系统通过数据挖掘、聚类和收敛等方法获得符合条件的应用特征集，并同步到应用识别装置，具体可以是同步到应用识别装置中的快速识别模块1202和/或深度识别模块1204。
应当理解的是，快速识别模块1202负责完成包括2层特征、3层特征以及简单的7层特征匹配(例如：IP地址、端口、传输协议、TCP帧头、固定位置的短子串等)，深度识别模块1204负责完成复杂特征匹配及承载特征匹配。
以及，本发明实施例的应用识别装置进一步包括：
应用特征关系管理模块1205，用于根据所述UBA子系统发送的成对应关系的远端三元组信息与应用信息建立或更新应用信息和远端三元组信息的对应关系；
存储模块1203，用于存储所述建立或更新应用信息和远端三元组信息之间的对应关系；或者，用于存储所述UBA子系统发送的成对应关系的远端三元组信息与应用信息。
由上可见，本发明实施例中，应用识别装置对接收的第一网络数据进行协议识别处理，向UBA子系统直接或间接的输出相应的第一协议识别结果；UBA子系统获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息，其中所述待处理数据是根据至少包括所述第一协议识别结果的数据源生成的；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；并根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息，向所述应用识别装置发送所述可信度高的成对应关系的远端三元组与应用信息；从而实现了UBA子系统的数据挖掘分析结果同步作用于应用识别装置，换言之，实现了UBA子系统反哺应用识别装置，即应用识别装置维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的应用信息和远端三元组信息所建立或更新的；从而在接收到第二网络数据后，应用识别装置能快速的根据所述第二网络数据中包含的远端三元组信息，从前述的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息，从而较大程度的提升了DPI识别性能和应用识别率，尤其是大幅提升加密协议的应用识别率，大幅提升承载类协议的应用识别率。
进一步的，应用识别装置对接收的前续第一网络数据进行协议识别处理，向UBA子系统直接或间接的输出相应的第一协议识别结果；UBA子系统获得待处理数据，所述待处理数据包括多条记录，其中每条记录至少包括：成对应关系的应用信息、远端三元组信息，其中所述待处理数据是根据至少包括所述第一协议识别结果的数据源生成的；从而实现应用识别装置的输入或输出与UBA子系统的输入或输出在一定程度上是可以互相转化的；
以及，通过本发明实施例的应用识别装置维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的应用信息和远端三元组信息建立或更新的，从而解决了现有技术中固定配置带来维护成本与不适应变化的问题，从而实现了自适应更新或维护应用信息和远端三元组信息的对应关系，进而减轻维护工作。
参见图13、本发明实施例提供一种通信设备1300，可包括：收发信机1301和与所述收发信机1301耦合的用于进行网络通信的处理器1303，以及所述通信设备1300还包括：与所述收发信机1301耦合的深度包检测DPI引擎1302，所述DP I引擎1302为前述实施例所述的应用识别装置。应当理解的是，收发信机1301用于接收网络数据，还用于发送所述网络数据或所述DPI引擎输出的应用信息。
本发明实施例提供的通信设备就是具有DPI功能的网元设备，其产品形态可以是路由器，网关设备，RNC、GGSN、SCG或PDSN等等；应当理解的是，前述实施例所述的应用识别装置可以内置于现网的网元设备上，例如通过插卡或软件集成方式。
本实施例提供的深度包检测DPI引擎1302，可以用于执行前述方法实施例的技术方案中DPI子系统对应执行的部分，其实现原理和技术效果类似，其他详细实现细节请参考前述方法和装置实施例，这里不再赘述。
可见，本发明实施例中，在UBA子系统向具有DPI功能的网元设备发送/同步成对应关系的远端三元组与应用信息后，实现了UBA子系统的数据挖掘分析结果同步作用于具有DPI功能的网元设备，换言之，实现了UBA子系统反哺具有DPI功能的网元设备，即具有DPI功能的网元设备维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的应用信息和远端三元组信息建立或更新的；从而在接收到第二网络数据后，具有DPI功能的网元设备能快速的根据所述第二网络数据中包含的远端三元组信息，从前述的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息，从而较大程度的提升了DPI识别性能和应用识别率，尤其是大幅提升加密协议的应用识别率，大幅提升承载类协议的应用识别率；
进一步的，具有DPI功能的网元设备对接收的前续第一网络数据进行协议识别处理，向UBA子系统直接或间接的输出相应的第一协议识别结果；UBA子系统获得待处理数据，所述待处理数据包括多条记录，其中每条记录至少包括：成对应关系的应用信息、远端三元组信息，其中所述待处理数据是根据至少包括所述第一协议识别结果的数据源生成的；从而实现具有DPI功能的网元设备的输入或输出与UBA子系统的输入或输出在一定程度上是可以互相转化的；
以及，通过本发明实施例提供的具有DPI功能的网元设备维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的应用信息和远端三元组信息建立或更新的，从而解决了现有技术中固定配置带来维护成本与不适应变化的问题，从而实现了自适应更新或维护应用信息和远端三元组信息的对应关系，进而减轻维护工作。
参见图14、本发明实施例提供一种DPI服务器1400，可包括：用于接收网络数据或网络数据的镜像的接收器1401，与所述接收器1401耦合的深度包检测DPI引擎1402，以及用于发送所述网络数据或所述DPI引擎1402输出的应用信息的发送器1403，所述DPI引擎1402为前述实施例所述的应用识别装置。
进一步的，本发明实施例的DPI服务器1400还可以包括：存储器1404，其中，存储器1404用于存储应用信息和远端三元组信息的对应关系；
接收器1401具体用于接收第二网络数据和UBA子系统发送的成对应关系的应用信息和远端三元组信息，其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；
DPI识别引擎1402具体用于当收到第二网络数据时，根据所述第二网络数据中包含的远端三元组信息，从存储器1404中存储的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息以识别出所述第二网络数据的应用类型。
接收器1401还用于接收第一网络数据；需要说明的是，这里的第一网络数据和第二网络数据可以是同一个网络应用下的不同的网络数据包，也可以是不同网络应用下的不同的网络数据包。
DPI识别引擎1402还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括远端三元组信息，或者，所述第一协议识别结果包括五元组信息。
需要说明的是，DPI识别引擎1402可以将网络数据的协议识别结果直接或者间接的传递给UBA子系统，UBA子系统通过数据挖掘、聚类和收敛等方法获得符合条件的应用特征集，并同步到DPI识别引擎1402。应当理解的是，这是一个不断循环的过程。即，前续网络数据的协议识别结果(尤其是没有识别出应用信息的协议识别结果)触发了UBA子系统反哺应用特征集，而该应用特征集能被DPI识别引擎1402用于快速识别后续网络数据的应用信息。
进一步的，DPI识别引擎1402还用于当查找不到与所述第二网络数据中包含的远端三元组信息匹配的应用信息时，对所述第二网络数据进行七层L7层特征的匹配，得到第二协议识别结果，并向UBA子系统输出所述第二协议识别结果，所述第二协议识别结果包括：成对应关系的远端三元组信息和应用信息，或成对应关系的五元组信息和应用信息；或者，所述第二协议识别结果包括：成对应关系的远端三元组信息和七层L7协议信息，或成对应关系的五元组信息和七层L7协议信息。
需要说明的是，DPI识别引擎1402也可以将第二协议识别结果直接或者间接的传递给UBA子系统，UBA子系统通过数据挖掘、聚类和收敛等方法获得符合条件的应用特征集，并同步到DPI识别引擎1402。
应当理解的是，DPI识别引擎1402既能完成包括2层特征、3层特征以及简单的7层特征匹配，也能完成复杂特征匹配及承载特征匹配。
本实施例提供的DPI服务器1400，可以用于执行前述方法实施例的技术方案中DPI子系统对应执行的部分，其实现原理和技术效果类似，其他详细实现细节请参考前述方法和装置实施例，这里不再赘述。
由上可见，本发明实施例中，在UBA子系统向DPI服务器发送/同步可信度高的成对应关系的远端三元组与应用信息；实现了UBA子系统的数据挖掘分析结果同步作用于DPI服务器，换言之，实现了UBA子系统反哺DPI服务器，即所述DPI服务器维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的应用信息和远端三元组信息所建立或更新的；从而在接收到第二网络数据后，DPI服务器能快速的根据所述第二网络数据中包含的远端三元组信息，从前述的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息，从而较大程度的提升了DPI识别性能和应用识别率，尤其是大幅提升加密协议的应用识别率，大幅提升承载类协议的应用识别率。
进一步的，DPI服务器对接收的前续第一网络数据进行协议识别处理，向UBA子系统直接或间接的输出相应的第一协议识别结果；UBA子系统获得待处理数据，所述待处理数据包括多条记录，其中每条记录至少包括：成对应关系的应用信息、远端三元组信息，其中所述待处理数据是根据至少包括所述第一协议识别结果的数据源生成的；从而实现DPI服务器的输入或输出与UBA子系统的输入或输出在一定程度上是可以互相转化的；
以及，通过本发明实施例提供的通信系统由于实现了UBA子系统反哺DPI服务器，即所述DPI服务器维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的应用信息和远端三元组信息建立或更新的，从而解决了现有技术中固定配置带来维护成本与不适应变化的问题，从而实现了自适应更新或维护应用信息和远端三元组信息的对应关系，进而减轻维护工作。
本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。本发明实施例可应用于各种通信系统中的通信设备。图15示出了一种通信设备的实施例，在该实施例中，通信设备1500包括发射电路1502、接收电路1503、功率控制器1506、解码处理器1505、处理器1506，存储器1507及天线1501。处理器1506控制通信设备1500的操作。存储器1507可以包括只读存储器和随机存取存储器，并向处理器1506提供指令和数据。存储器1507的一部分还可以包括非易失行随机存取存储器(NVRAM)。具体的应用中，通信设备1500可以嵌入或者本身可以就是例如业务控制网关之类的通信设备，还可以包括容纳发射电路1502和接收电路1503的载体，以允许通信设备1500和远程位置之间进行数据发射和接收。发射电路1502和接收电路1503可以耦合到天线1501。通信设备1500的各个组件通过总线系统5100耦合在一起，其中总线系统5100除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图中将各种总线都标为总线系统5100。通信设备1500还可以包括用于处理信号的处理器1506、此外还包括功率控制器1504、解码处理器1505。
上述本发明实施例揭示的各种方法可以应用于解码处理器1505中，或者说由解码处理器1505以实现。解码处理器1505可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过解码处理器1505中的硬件的集成逻辑电路或者软件形式的指令完成。这些指令可以通过其中的处理器1506以配合实现及控制。用于执行本发明实施例揭示的方法，上述的解码处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器，解码器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件解码处理器执行完成，或者用解码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1507，解码处理器1505读取存储器1507中的信息，结合其硬件完成上述方法的步骤。
图16为本发明提供的一种计算机系统1600意图，如图16所示，本实施例的计算机系统包括至少一个总线1601、与总线1601相连的至少一个处理器1602以及与总线1601相连的至少一个存储器1603。其中，处理器1602通过总线1601，调用存储器1603中存储的代码以用于：获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息；向DPI子系统发送所述可信度高的成对应关系的远端三元组与应用信息。
本实施例提供的计算机系统，可以用于执行前述方法实施例的技术方案中UBA子系统或UBA服务器应执行的部分，其实现原理和技术效果类似，此处不再赘述。图16仅为本发明提供的计算机系统的结构的一种示意图，具体结构可根据实际进行调整。
可以理解的是，本实施例的计算机系统1600中各器件的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
图17为本发明提供的一种计算机系统的结构示意图，如图17所示，本实施例的计算机系统1700包括至少一个总线1701、与总线1701相连的至少一个处理器1702以及与总线1701相连的至少一个存储器1703。其中，处理器1702通过总线1701，调用存储器1703中存储的代码以用于：接收第二网络数据和UBA子系统发送的成对应关系的应用信息和远端三元组信息，其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；根据所述第二网络数据中包含的远端三元组信息，从计算机系统1700维护的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息以识别出所述第二网络数据的应用类型，其中，所述计算机系统1700维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的应用信息和远端三元组信息建立或更新的。
本实施例提供的计算机系统，可以用于执行前述方法实施例的技术方案中DPI子系统或DPI服务器或集成有DPI功能的网元设备对应执行的部分，其实现原理和技术效果类似，此处不再赘述。图17仅为本发明提供的计算机系统的结构的一种示意图，具体结构可根据实际进行调整。
可以理解的是，本实施例的计算机系统1700中各器件的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上举较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (31)

1.一种用户行为分析UBA数据挖掘方法，其特征在于，包括：
获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；
对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；
根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息；
向深度包检测DPI子系统发送所述可信度高的成对应关系的远端三元组与应用信息。
2.如权利要求1所述的方法，其特征在于，所述获得待处理数据包括：
针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；
获得所述DPI子系统输出的第一协议识别结果，所述第一协议识别结果包括远端三元组信息；
根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信息。
3.如权利要求1所述的方法，其特征在于，所述获得待处理数据包括：
获得所述DPI子系统输出的第一协议识别结果和爬取子系统输出的爬取结果，所述第一协议识别结果包括远端三元组信息，所述爬取结果包含成对应关系的应用信息、域名信息和IP地址信息；
根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信息。
4.如权利要求1或2或3所述的方法，其特征在于，
所述对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果，包括：
对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，累加所述待处理数据中的远端三元组信息及应用信息相同的记录的个数作为对应于所述远端三元组信息及应用信息的连接数，得到包含成对应关系的远端三元组信息、应用信息及连接数的聚类结果；
所述根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息，包括：
根据所述连接数的大小与第一连接数阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数的大小大于或等于第一连接数阈值；
或，根据所述连接数占所有连接数的比重与第二连接数占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述远端三元组与应用信息的连接数占所有连接数的比重大于或等于第二连接数占有比例阈值。
5.如权利要求1所述的方法，其特征在于，所述每条记录还包括：客户端IP地址和客户端端口，以及对应于应用信息和五元组信息的流量，其中客户端IP地址、客户端端口和远端三元组信息构成所述五元组信息，
所述获得待处理数据包括：
接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；
针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；
获得所述DPI子系统输出的针对所述第一网络数据的第一协议识别结果，所述第一协议识别结果包括五元组信息；
根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于所述五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值。
6.如权利要求1所述的方法，其特征在于，所述每条记录还包括：客户端IP地址和客户端端口，以及对应于应用信息和五元组信息的流量，其中客户端IP地址、客户端端口和远端三元组信息构成所述五元组信息，
所述获得待处理数据包括：
接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；
获得所述DPI子系统输出的针对所述第一网络数据的第一协议识别结果和爬取子系统输出的爬取结果，所述第一协议识别结果包括五元组信息，所述爬取结果包含成对应关系的应用信息、域名信息和IP地址信息；
根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值。
7.如权利要求5或6所述的方法，其特征在于，
所述对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果，包括：
对所述待处理数据中远端三元组信息及应用信息相同且客户端IP地址和客户端端口不同的记录进行聚类处理，并累加所述待处理数据中的远端三元组信息及应用信息相同的记录中的流量作为对应于所述远端三元组信息及应用信息的流量汇总值，得到包含成对应关系的远端三元组信息、应用信息及流量汇总值的聚类结果；
所述根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息，包括：
根据所述流量汇总值的大小与第一流量阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值的大小大于或等于第一流量阈值；
或，根据所述流量汇总值占所有流量的比重与第二流量占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值占所有流量的比重大于或等于第二流量占有比例阈值。
8.如权利要求1或2或3或5或6所述的方法，其特征在于，所述根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息，包括：
根据所述服务负载量的大小与第一阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的服务负载量的大小大于或等于第一阈值；
或，根据所述服务负载量的比重与第二阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的服务负载量的比重大于或等于第二阈值。
9.一种应用识别方法，其特征在于，包括：
接收第二网络数据和用户行为分析UBA子系统发送的成对应关系的应用信息和远端三元组信息，其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；
根据所述第二网络数据中包含的远端三元组信息，从深度包检测DPI子系统维护的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息以识别出所述第二网络数据的应用类型，其中，所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的应用信息和远端三元组信息建立或更新的。
10.如权利要求9所述的方法，其特征在于，进一步包括：
对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括远端三元组信息，或者，所述第一协议识别结果包括五元组信息。
11.如权利要求9或10或所述的方法，其特征在于，当查找失败时，所述方法进一步包括：
对所述第二网络数据进行七层L7层特征的匹配，得到第二协议识别结果，并向所述UBA子系统输出所述第二协议识别结果，所述第二协议识别结果包括：成对应关系的远端三元组信息和应用信息，或成对应关系的五元组信息和应用信息；或者，所述第二协议识别结果包括：成对应关系的远端三元组信息和七层L7协议信息，或成对应关系的五元组信息和七层L7协议信息。
12.如权利要求9至11任一项所述的方法，其特征在于，所述方法进一步包括：
根据所述UBA子系统发送的成对应关系的远端三元组信息与应用信息建立或更新DPI子系统维护的应用信息和远端三元组信息的对应关系，并存储所述建立或更新的应用信息和远端三元组信息之间的对应关系；
或者，存储所述UBA子系统发送的成对应关系的远端三元组信息与应用信息。
13.一种UBA数据挖掘装置，其特征在于，包括：
内容获取模块，用于获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；
聚类模块，与所述内容获取模块相连，用于对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据所述待处理数据中远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；
收敛模块，与所述聚类模块相连，用于根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的成对应关系的远端三元组与应用信息；
同步模块，与所述收敛模块相连，用于向DPI子系统发送所述可信度高的成对应关系的远端三元组与应用信息。
14.如权利要求13所述的UBA数据挖掘装置，其特征在于，所述内容获取模块具体用于：针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；获得所述DPI子系统输出的第一协议识别结果，所述第一协议识别结果包括远端三元组信息；根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信息；
或者，所述内容获取模块具体用于：获得所述DPI子系统输出的第一协议识别结果和爬取子系统输出的爬取结果，所述第一协议识别结果包括远端三元组信息，所述爬取结果包含成对应关系的应用信息、域名信息和IP地址信息；根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信息。
15.如权利要求13或14所述的UBA数据挖掘装置，其特征在于，
所述聚类模块具体用于对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，累加所述待处理数据中的远端三元组信息及应用信息相同的记录的个数作为对应于所述远端三元组信息及应用信息的连接数，得到包含成对应关系的远端三元组信息、应用信息及连接数的聚类结果；
所述收敛模块具体用于根据所述连接数的大小与第一连接数阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数的大小大于或等于第一连接数阈值；或，根据所述连接数占所有连接数的比重与第二连接数占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述远端三元组与应用信息的连接数占所有连接数的比重大于或等于第二连接数占有比例阈值。
16.如权利要求13所述的UBA数据挖掘装置，其特征在于，所述每条记录还包括：客户端IP地址和客户端端口，以及对应于应用信息和五元组信息的流量，其中客户端IP地址、客户端端口和远端三元组信息构成所述五元组信息，
所述内容获取模块具体用于：接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；获得所述DPI子系统输出的针对所述第一网络数据的第一协议识别结果，所述第一协议识别结果包括五元组信息；根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于所述五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值；
或者，所述内容获取模块具体用于：接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；获得所述DPI子系统输出的针对所述第一网络数据的第一协议识别结果和爬取子系统输出的爬取结果，所述第一协议识别结果包括五元组信息，所述爬取结果包含成对应关系的应用信息、域名信息和IP地址信息；根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值。
17.如权利要求16所述的UBA数据挖掘装置，其特征在于，
所述聚类模块具体用于对所述待处理数据中远端三元组信息及应用信息相同且客户端IP地址和客户端端口不同的记录进行聚类处理，并累加所述待处理数据中的远端三元组信息及应用信息相同的记录中的流量作为对应于所述远端三元组信息及应用信息的流量汇总值，得到包含成对应关系的远端三元组信息、应用信息及流量汇总值的聚类结果；
所述收敛模块具体用于根据所述流量汇总值的大小与第一流量阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值的大小大于或等于第一流量阈值；或，根据所述流量汇总值占所有流量的比重与第二流量占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值占所有流量的比重大于或等于第二流量占有比例阈值。
18.如权利要求13、14或16所述的UBA数据挖掘装置，其特征在于，
所述收敛模块具体用于根据所述服务负载量的大小与第一阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的服务负载量的大小大于或等于第一阈值；或者，根据所述服务负载量的比重与第二阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的服务负载量的比重大于或等于第二阈值。
19.一种应用识别装置，其特征在于，包括：
通信接口模块，用于接收第二网络数据和用户行为分析UBA子系统发送的成对应关系的应用信息和远端三元组信息，其中，所述远端三元组信息包括传输协议、服务器端IP地址和服务器端端口；
快速识别模块，与所述通信接口模块连接，用于根据所述第二网络数据中包含的远端三元组信息，从所述应用识别装置维护的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息以识别出所述第二网络数据的应用类型，其中，所述深度包检测DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的应用信息和远端三元组信息建立或更新的。
20.如权利要求19所述的应用识别装置，其特征在于，所述通信接口模块还用于接收第一网络数据；
所述快速识别模块还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括远端三元组信息，或者，所述第一协议识别结果包括五元组信息。
21.如权利要求19或20所述的应用识别装置，其特征在于，进一步包括：深度识别模块，
所述快速识别模块还用于当查找不到与所述第二网络数据中包含的远端三元组信息匹配的应用信息时，将所述第二网络数据传递给所述深度识别模块；
所述深度识别模块用于对所述第二网络数据进行七层L7层特征的匹配，得到第二协议识别结果，并向所述UBA子系统输出所述第二协议识别结果，所述第二协议识别结果包括：成对应关系的远端三元组信息和应用信息，或成对应关系的五元组信息和应用信息；或者，所述第二协议识别结果包括：成对应关系的远端三元组信息和七层L7协议信息，或成对应关系的五元组信息和七层L7协议信息。
22.如权利要求19-21任一项所述的应用识别装置，其特征在于，进一步包括：
应用特征关系管理模块，用于根据所述UBA子系统发送的成对应关系的远端三元组信息与应用信息建立或更新应用信息和远端三元组信息的对应关系；
存储模块，用于存储所述建立或更新应用信息和远端三元组信息之间的对应关系；或者，用于存储所述UBA子系统发送的成对应关系的远端三元组信息与应用信息。
23.一种用户行为分析UBA服务器，其特征在于，所述UBA服务器包括：用于执行用户行为分析或用户兴趣分析的UBA内容解析引擎，以及，与所述UBA内容解析引擎耦合的UBA数据挖掘引擎，所述UBA数据挖掘引擎为如权利要求13至18任一项所述的UBA数据挖掘装置。
24.一种深度包检测DPI服务器，其特征在于，所述DPI服务器包括：用于接收网络数据或网络数据的镜像的接收器，与所述接收器耦合的深度包检测DPI引擎，以及用于发送所述网络数据或所述DPI引擎输出的应用信息的发送器，所述DPI引擎为如权利要求19至22任一项所述的应用识别装置。
25.一种通信设备，包括收发信机和与所述收发信机耦合的用于进行网络通信的处理器，其特征在于，所述通信设备还包括：与所述收发信机耦合的深度包检测DPI引擎，所述DPI引擎为如权利要求19至22任一项所述的应用识别装置。
26.一种通信系统，其特征在于，包括：深度包检测DPI子系统和用户行为分析UBA子系统，其中
所述UBA子系统用于获得待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、远端三元组信息；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并根据远端三元组信息及应用信息相同的记录计算对应于所述远端三元组信息及应用信息的服务负载量，得到包含成对应关系的远端三元组信息、应用信息及服务负载量的聚类结果；根据所述服务负载量的大小或比重从所述聚类结果中选取可信度高的、成对应关系的远端三元组信息与应用信息，向所述DPI子系统发送所述可信度高的成对应关系的远端三元组信息与应用信息；所述远端三元组信息包括服务器端IP地址、服务器端端口和传输协议；
所述DPI子系统用于当收到第二网络数据时，根据所述第二网络数据中包含的远端三元组信息，从所述DPI子系统维护的应用信息和远端三元组信息的对应关系中，查找与所述第二网络数据中包含的远端三元组信息匹配的应用信息以识别出所述第二网络数据的应用类型，其中所述DPI子系统维护的应用信息和远端三元组信息的对应关系是基于所述UBA子系统发送的成对应关系的远端三元组与应用信息建立或更新的。
27.如权利要求26所述的系统，其特征在于，所述DPI子系统还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括远端三元组信息；
所述UBA子系统具体用于：针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；获得所述DPI子系统输出的所述第一协议识别结果；根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并累加所述待处理数据中远端三元组信息及应用信息相同的记录的个数作为对应于所述远端三元组信息及应用信息的连接数，得到包含成对应关系的远端三元组信息、应用信息及连接数的聚类结果；根据所述连接数的大小与第一连接数阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数的大小大于或等于第一连接数阈值；或，根据所述连接数占所有连接数的比重与第二连接数占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数占所有连接数的比重大于或等于第二连接数占有比例阈值，并向所述DPI子系统发送所述选取的成对应关系的远端三元组与应用信息。
28.如权利要求26所述的系统，其特征在于，进一步包括：爬取系统，用于针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；
所述DPI子系统还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括远端三元组信息；
所述UBA子系统具体用于：获得所述DPI子系统输出的所述第一协议识别结果；根据所述爬取结果和所述第一协议识别结果，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息和远端三元组信息；对所述待处理数据中远端三元组信息及应用信息相同的记录进行聚类处理，并累加所述待处理数据中远端三元组信息及应用信息相同的记录的个数作为对应于所述远端三元组信息及应用信息的连接数，得到包含成对应关系的远端三元组信息、应用信息及连接数的聚类结果；根据所述连接数的大小与第一连接数阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数的大小大于或等于第一连接数阈值；或，根据所述连接数占所有连接数的比重与第二连接数占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的连接数占所有连接数的比重大于或等于第二连接数占有比例阈值，向所述DPI子系统发送所述选取的成对应关系的远端三元组与应用信息。
29.如权利要求26所述的系统，其特征在于，所述每条记录还包括：客户端IP地址和客户端端口，以及对应于应用信息和五元组信息的流量，其中客户端IP地址、客户端端口和远端三元组信息构成所述五元组信息，
所述DPI子系统还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括五元组信息；
所述UBA子系统具体用于：接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；获得所述DPI子系统输出的所述第一协议识别结果；根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于所述五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值；对所述待处理数据中远端三元组信息及应用信息相同且客户端IP地址和客户端端口不同的记录进行聚类处理，并累加所述待处理数据中的远端三元组信息及应用信息相同的记录中的流量作为对应于所述远端三元组信息及应用信息的流量汇总值，得到包含成对应关系的远端三元组信息、应用信息及流量汇总值的聚类结果；根据所述流量汇总值的大小与第一流量阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值的大小大于或等于第一流量阈值；或，根据所述流量汇总值占所有流量的比重与第二流量占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值占所有流量的比重大于或等于第二流量占有比例阈值，并向所述DPI子系统发送所述选取的成对应关系的远端三元组与应用信息。
30.如权利要求26所述的系统，其特征在于，所述每条记录还包括：客户端IP地址和客户端端口，以及对应于应用信息和五元组信息的流量，其中客户端IP地址、客户端端口和远端三元组信息构成所述五元组信息，
所述系统进一步包括：爬取系统，用于针对每一种应用，根据所述应用对应的域名信息爬取与所述域名信息对应的IP地址信息，得到包含成对应关系的应用信息、域名信息和IP地址信息的爬取结果；
所述DPI子系统还用于对接收的第一网络数据进行协议识别处理，向所述UBA子系统输出相应的第一协议识别结果，所述第一协议识别结果包括五元组信息；
所述UBA子系统具体用于：接收第一网络数据，所述第一网络数据包括一个或多个数据流，所述每个数据流包括一个或多个数据包；获得所述DPI子系统输出的所述第一协议识别结果和所述爬取子系统输出的爬取结果；根据所述爬取结果、所述第一协议识别结果以及所述第一网络数据，以所述爬取结果和第一协议识别结果中相同的IP地址作为关联条件，关联生成所述待处理数据，所述待处理数据包括多条记录，其中每条记录包括：成对应关系的应用信息、五元组信息和流量，其中所述对应于所述五元组信息的流量为第一网络数据中包含所述五元组信息的一个或多个数据包的负载长度的累加值；对所述待处理数据中远端三元组信息及应用信息相同且客户端IP地址和客户端端口不同的记录进行聚类处理，并累加所述待处理数据中的远端三元组信息及应用信息相同的记录中的流量作为对应于所述远端三元组信息及应用信息的流量汇总值，得到包含成对应关系的远端三元组信息、应用信息及流量汇总值的聚类结果；根据所述流量汇总值的大小与第一流量阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值的大小大于或等于第一流量阈值；或，根据所述流量汇总值占所有流量的比重与第二流量占有比例阈值的比较结果，从所述聚类结果中选取成对应关系的远端三元组与应用信息，其中对应于所述选取的远端三元组与应用信息的流量汇总值占所有流量的比重大于或等于第二流量占有比例阈值，并向所述DPI子系统发送所述选取的成对应关系的远端三元组与应用信息。
31.如权利要求26至30任一项所述的系统，其特征在于，所述系统还包括业务控制子系统，
所述DPI子系统还用于将所述应用信息提供给所述业务控制子系统；
所述业务控制子系统用于根据所述DPI子系统提供的应用信息，提供基于应用的业务，所述业务包括计费、阻断、限流、重定向或服务优化。
CN201210592203.5A 2012-12-31 2012-12-31 应用识别方法、数据挖掘方法、装置及系统 Active CN103051725B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201210592203.5A CN103051725B (zh) 2012-12-31 2012-12-31 应用识别方法、数据挖掘方法、装置及系统
EP13801453.5A EP2770697B1 (en) 2012-12-31 2013-07-29 Application identification method, and data mining method, device and system
CA2836821A CA2836821C (en) 2012-12-31 2013-07-29 Application identification method, and data mining method, apparatus, and system
PCT/CN2013/080312 WO2014101402A1 (zh) 2012-12-31 2013-07-29 应用识别方法、数据挖掘方法、装置及系统
US14/107,949 US9477718B2 (en) 2012-12-31 2013-12-16 Application identification method, and data mining method, apparatus, and system
IL230004A IL230004A (en) 2012-12-31 2013-12-17 A method for identifying applications and a method, facility and system for data mining

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210592203.5A CN103051725B (zh) 2012-12-31 2012-12-31 应用识别方法、数据挖掘方法、装置及系统

Publications (2)

Publication Number Publication Date
CN103051725A true CN103051725A (zh) 2013-04-17
CN103051725B CN103051725B (zh) 2015-07-29

Family

ID=48064219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210592203.5A Active CN103051725B (zh) 2012-12-31 2012-12-31 应用识别方法、数据挖掘方法、装置及系统

Country Status (4)

Country Link
EP (1) EP2770697B1 (zh)
CN (1) CN103051725B (zh)
CA (1) CA2836821C (zh)
WO (1) WO2014101402A1 (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103823864A (zh) * 2014-02-24 2014-05-28 联想(北京)有限公司 一种信息处理方法及电子设备
WO2014101402A1 (zh) * 2012-12-31 2014-07-03 华为技术有限公司 应用识别方法、数据挖掘方法、装置及系统
CN104125105A (zh) * 2014-08-14 2014-10-29 北京锐安科技有限公司 对互联网应用场所分类的方法和装置
WO2014187414A1 (zh) * 2013-12-13 2014-11-27 中兴通讯股份有限公司 应用会话五元组的获取方法、装置及计算机存储介质
CN105162626A (zh) * 2015-08-20 2015-12-16 西安工程大学 基于众核处理器的网络流量深度识别系统及识别方法
CN105591973A (zh) * 2015-12-31 2016-05-18 杭州数梦工场科技有限公司 应用识别方法及装置
US9477718B2 (en) 2012-12-31 2016-10-25 Huawei Technologies Co., Ltd Application identification method, and data mining method, apparatus, and system
CN106776669A (zh) * 2015-11-23 2017-05-31 中国电信股份有限公司 用于识别用户搜索内容的方法、管理平台和系统
CN107798060A (zh) * 2017-09-15 2018-03-13 南京安讯科技有限责任公司 一种实时流式数据处理应用软件特征识别方法
CN107888450A (zh) * 2017-11-16 2018-04-06 国云科技股份有限公司 一种桌面云虚拟网络行为分类方法
CN108667685A (zh) * 2018-04-08 2018-10-16 南京邮电大学 移动应用网络流量聚类装置
CN108900374A (zh) * 2018-06-22 2018-11-27 网宿科技股份有限公司 一种应用于dpi设备的数据处理方法和装置
CN109428774A (zh) * 2017-08-22 2019-03-05 网宿科技股份有限公司 一种dpi设备的数据处理方法及相关的dpi设备
CN110445800A (zh) * 2019-08-15 2019-11-12 上海寰创通信科技股份有限公司 一种基于自学习的深度报文解析系统
CN110532248A (zh) * 2019-09-02 2019-12-03 北京首汽智行科技有限公司 一种基于cmdb的服务器应用信息获取及调整方法
CN111224891A (zh) * 2019-12-24 2020-06-02 北京百卓网络技术有限公司 一种基于动态学习三元组的流量应用识别系统及方法
CN111371700A (zh) * 2020-03-11 2020-07-03 武汉思普崚技术有限公司 一种应用于正向代理环境中的流量识别方法及装置
CN111953552A (zh) * 2019-05-14 2020-11-17 华为技术有限公司 数据流的分类方法和报文转发设备
CN112039731A (zh) * 2020-11-05 2020-12-04 武汉绿色网络信息服务有限责任公司 Dpi识别方法、装置、计算机设备及存储介质
WO2021047402A1 (zh) * 2019-09-10 2021-03-18 华为技术有限公司 应用识别方法、装置及存储介质
CN112953841A (zh) * 2021-02-20 2021-06-11 杭州迪普信息技术有限公司 报文分流方法及系统
WO2022033115A1 (zh) * 2020-08-12 2022-02-17 华为技术有限公司 一种通信方法和通信装置
CN115834738A (zh) * 2023-01-09 2023-03-21 科来网络技术股份有限公司 一种工控业务行为识别方法、装置、电子设备及可读介质
US12003609B2 (en) 2019-05-14 2024-06-04 Huawei Technologies Co., Ltd. Data flow classification method and packet forwarding device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291089A (zh) * 2020-10-23 2021-01-29 全知科技(杭州)有限责任公司 一种基于流量的应用系统识别和定义方法
CN114979073B (zh) * 2021-08-30 2023-09-05 中移互联网有限公司 地址信息获取系统、方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006111970A1 (en) * 2005-04-22 2006-10-26 Netbarrage Ltd. Method and system for detecting and managing peer-to-peer traffic over a data network
CN102075404A (zh) * 2009-11-19 2011-05-25 华为技术有限公司 一种报文检测方法及装置
CN102523274A (zh) * 2011-06-28 2012-06-27 北京亿赞普网络技术有限公司 基于核心网侧的无线个性化精准信息主动推送系统及方法
CN102726026A (zh) * 2011-12-30 2012-10-10 华为技术有限公司 一种用户行为的获取方法、设备及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8539221B2 (en) * 2009-03-27 2013-09-17 Guavus, Inc. Method and system for identifying an application type of encrypted traffic
CN101873259B (zh) * 2010-06-01 2013-01-09 华为技术有限公司 Sctp报文识别方法和装置
EP2560338B1 (en) * 2011-06-13 2016-01-13 Huawei Technologies Co., Ltd. Method and apparatus for protocol parsing
CN103051725B (zh) * 2012-12-31 2015-07-29 华为技术有限公司 应用识别方法、数据挖掘方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006111970A1 (en) * 2005-04-22 2006-10-26 Netbarrage Ltd. Method and system for detecting and managing peer-to-peer traffic over a data network
CN102075404A (zh) * 2009-11-19 2011-05-25 华为技术有限公司 一种报文检测方法及装置
CN102523274A (zh) * 2011-06-28 2012-06-27 北京亿赞普网络技术有限公司 基于核心网侧的无线个性化精准信息主动推送系统及方法
CN102726026A (zh) * 2011-12-30 2012-10-10 华为技术有限公司 一种用户行为的获取方法、设备及系统

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9477718B2 (en) 2012-12-31 2016-10-25 Huawei Technologies Co., Ltd Application identification method, and data mining method, apparatus, and system
WO2014101402A1 (zh) * 2012-12-31 2014-07-03 华为技术有限公司 应用识别方法、数据挖掘方法、装置及系统
WO2014187414A1 (zh) * 2013-12-13 2014-11-27 中兴通讯股份有限公司 应用会话五元组的获取方法、装置及计算机存储介质
CN104717184A (zh) * 2013-12-13 2015-06-17 中兴通讯股份有限公司 一种终端应用会话五元组的获取方法及装置
CN104717184B (zh) * 2013-12-13 2019-02-05 中兴通讯股份有限公司 一种终端应用会话五元组的获取方法及装置
CN103823864A (zh) * 2014-02-24 2014-05-28 联想(北京)有限公司 一种信息处理方法及电子设备
CN104125105B (zh) * 2014-08-14 2017-07-18 北京锐安科技有限公司 对互联网应用场所分类的方法和装置
CN104125105A (zh) * 2014-08-14 2014-10-29 北京锐安科技有限公司 对互联网应用场所分类的方法和装置
CN105162626A (zh) * 2015-08-20 2015-12-16 西安工程大学 基于众核处理器的网络流量深度识别系统及识别方法
CN105162626B (zh) * 2015-08-20 2018-07-06 西安工程大学 基于众核处理器的网络流量深度识别系统及识别方法
CN106776669A (zh) * 2015-11-23 2017-05-31 中国电信股份有限公司 用于识别用户搜索内容的方法、管理平台和系统
CN105591973A (zh) * 2015-12-31 2016-05-18 杭州数梦工场科技有限公司 应用识别方法及装置
CN110855576A (zh) * 2015-12-31 2020-02-28 杭州数梦工场科技有限公司 应用识别方法及装置
CN105591973B (zh) * 2015-12-31 2019-12-20 杭州数梦工场科技有限公司 应用识别方法及装置
CN109428774A (zh) * 2017-08-22 2019-03-05 网宿科技股份有限公司 一种dpi设备的数据处理方法及相关的dpi设备
CN107798060A (zh) * 2017-09-15 2018-03-13 南京安讯科技有限责任公司 一种实时流式数据处理应用软件特征识别方法
CN107798060B (zh) * 2017-09-15 2023-06-30 南京安讯科技有限责任公司 一种实时流式数据处理应用软件特征识别方法
CN107888450B (zh) * 2017-11-16 2021-06-22 国云科技股份有限公司 一种桌面云虚拟网络行为分类方法
CN107888450A (zh) * 2017-11-16 2018-04-06 国云科技股份有限公司 一种桌面云虚拟网络行为分类方法
CN108667685A (zh) * 2018-04-08 2018-10-16 南京邮电大学 移动应用网络流量聚类装置
CN108900374A (zh) * 2018-06-22 2018-11-27 网宿科技股份有限公司 一种应用于dpi设备的数据处理方法和装置
WO2020228527A1 (zh) * 2019-05-14 2020-11-19 华为技术有限公司 数据流的分类方法和报文转发设备
CN111953552A (zh) * 2019-05-14 2020-11-17 华为技术有限公司 数据流的分类方法和报文转发设备
US12003609B2 (en) 2019-05-14 2024-06-04 Huawei Technologies Co., Ltd. Data flow classification method and packet forwarding device
CN111953552B (zh) * 2019-05-14 2022-12-13 华为技术有限公司 数据流的分类方法和报文转发设备
CN110445800A (zh) * 2019-08-15 2019-11-12 上海寰创通信科技股份有限公司 一种基于自学习的深度报文解析系统
CN110445800B (zh) * 2019-08-15 2022-06-14 上海寰创通信科技股份有限公司 一种基于自学习的深度报文解析系统
CN110532248B (zh) * 2019-09-02 2022-12-20 北京首汽智行科技有限公司 一种基于cmdb的服务器应用信息获取及调整方法
CN110532248A (zh) * 2019-09-02 2019-12-03 北京首汽智行科技有限公司 一种基于cmdb的服务器应用信息获取及调整方法
WO2021047402A1 (zh) * 2019-09-10 2021-03-18 华为技术有限公司 应用识别方法、装置及存储介质
CN112564991A (zh) * 2019-09-10 2021-03-26 华为技术有限公司 应用识别方法、装置及存储介质
US11863439B2 (en) 2019-09-10 2024-01-02 Huawei Technologies Co., Ltd. Method, apparatus and storage medium for application identification
CN111224891A (zh) * 2019-12-24 2020-06-02 北京百卓网络技术有限公司 一种基于动态学习三元组的流量应用识别系统及方法
CN111224891B (zh) * 2019-12-24 2023-05-09 北京百卓网络技术有限公司 一种基于动态学习三元组的流量应用识别系统及方法
CN111371700A (zh) * 2020-03-11 2020-07-03 武汉思普崚技术有限公司 一种应用于正向代理环境中的流量识别方法及装置
WO2022033115A1 (zh) * 2020-08-12 2022-02-17 华为技术有限公司 一种通信方法和通信装置
US11855846B2 (en) 2020-08-12 2023-12-26 Huawei Technologies Co., Ltd. Communication method and communication apparatus
CN112039731A (zh) * 2020-11-05 2020-12-04 武汉绿色网络信息服务有限责任公司 Dpi识别方法、装置、计算机设备及存储介质
CN112953841B (zh) * 2021-02-20 2022-05-27 杭州迪普信息技术有限公司 报文分流方法及系统
CN112953841A (zh) * 2021-02-20 2021-06-11 杭州迪普信息技术有限公司 报文分流方法及系统
CN115834738A (zh) * 2023-01-09 2023-03-21 科来网络技术股份有限公司 一种工控业务行为识别方法、装置、电子设备及可读介质
CN115834738B (zh) * 2023-01-09 2023-04-25 科来网络技术股份有限公司 一种工控业务行为识别方法、装置、电子设备及可读介质

Also Published As

Publication number Publication date
EP2770697A4 (en) 2014-12-17
EP2770697A8 (en) 2014-12-10
EP2770697B1 (en) 2016-06-29
EP2770697A1 (en) 2014-08-27
WO2014101402A1 (zh) 2014-07-03
CA2836821C (en) 2017-09-19
CA2836821A1 (en) 2014-06-30
CN103051725B (zh) 2015-07-29

Similar Documents

Publication Publication Date Title
CN103051725B (zh) 应用识别方法、数据挖掘方法、装置及系统
CN105578488B (zh) 网络数据采集系统及方法
Liu et al. Efficient naming, addressing and profile services in Internet-of-Things sensory environments
US9477718B2 (en) Application identification method, and data mining method, apparatus, and system
CN102685224B (zh) 用户行为分析方法及相关设备和系统
CN104488231A (zh) 利用按照需求的装置的实时网络监视和订户标识
CN102693297B (zh) 数据处理方法、节点和提取、转换和加载etl系统
CN104836719A (zh) 一种即时通讯未读消息的同步方法和系统
EP3477561A1 (en) System for goods delivery
US8903972B2 (en) Method and apparatus for sharing contents using information of group change in content oriented network environment
CN106302630A (zh) 传送私有数据和数据对象
CN105337881A (zh) 一种数据报文的处理方法、业务节点以及引流点
CN105579990A (zh) 应用感知网络管理
CN103620594A (zh) 对于移动网络中的视觉搜索和增强现实的缓存支持
CN113163406B (zh) 用于移动通信系统的威胁侦测系统及其中心装置与本地装置
CN102404616B (zh) 基于数字电视网络进行数据云推送的方法及系统
CN105553999A (zh) 应用程序用户行为分析和安全控制方法及其相应的装置
CN101902482A (zh) 基于IPv6自动配置实现终端安全准入控制的方法和系统
CN108073693A (zh) 一种基于Hadoop的分布式网络爬虫系统
US10225358B2 (en) Page push method, device, server and system
CN113409047B (zh) 基于区块链的数据处理方法、装置、设备及可读存储介质
CN101635831A (zh) 一种p2p直播视频节点数据共享的方法、装置及代理系统
CN111600929B (zh) 传输线路探测方法、路由策略生成方法及代理服务器
CN110120960A (zh) 一种网页重定向跳转方法及其系统
US11160139B2 (en) Method for optimizing per message type data exchange between connected objects

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant