CN114465787B - 一种基于dpi的物联网加密流量监控方法 - Google Patents

一种基于dpi的物联网加密流量监控方法 Download PDF

Info

Publication number
CN114465787B
CN114465787B CN202210074856.8A CN202210074856A CN114465787B CN 114465787 B CN114465787 B CN 114465787B CN 202210074856 A CN202210074856 A CN 202210074856A CN 114465787 B CN114465787 B CN 114465787B
Authority
CN
China
Prior art keywords
flow
traffic
client
tls
encrypted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210074856.8A
Other languages
English (en)
Other versions
CN114465787A (zh
Inventor
郑超
黄园园
苏俊
陈劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jizhi Hainan Information Technology Co ltd
Original Assignee
Jizhi Hainan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jizhi Hainan Information Technology Co ltd filed Critical Jizhi Hainan Information Technology Co ltd
Priority to CN202210074856.8A priority Critical patent/CN114465787B/zh
Publication of CN114465787A publication Critical patent/CN114465787A/zh
Application granted granted Critical
Publication of CN114465787B publication Critical patent/CN114465787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0823—Network architectures or network communication protocols for network security for authentication of entities using certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/30—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy
    • H04L9/3066—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy involving algebraic varieties, e.g. elliptic or hyper-elliptic curves
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于DPI的物联网加密流量监控方法，包括物联网IoT加密流量，其特征在于：通过在所述物联网IoT加密流量中，加入流量指纹，结合DPI信息用于流量模式的检测，用以判断流量模式是否正常，同时为了更深入地避免误检概率，利用TLS协议扩展功能加入应用协议版本信息和客户端所能支撑的版本信息来具象化一个TLS连接；与传统的其他的方法不同，本发明另辟蹊径，不是去定义识别特定威胁的新方法，而是在不搜索特定流量或恶意软件指纹的情况下，以通用方式对网络流量进行分类。

Description

一种基于DPI的物联网加密流量监控方法
技术领域
本发明涉及互联网监控技术领域，主要提供一种基于DPI的物联网加密流量监控方法。
背景技术
近年来，网络流量在不同的网络协议和行为准则下发生了巨大变化，大多数网络流量以加密的方式进行传输，随着加密网络流量的逐步盛行，明文协议的使用频率较低，尽管它们在LAN网络中仍然相对流行，在网络内容加密传输的应用场景中，网络的可见性就变得尤为重要了。这意味着需要用新的测量指标来补充现有技术，检测加密网络流量的同时对该流量进行特征化，用于识别网络行为以及防备安全威胁和变化。在一些家庭网络中，使用云服务运行的物联网和医疗设备的广泛使用带来了新的安全问题，因为用户不再直接与设备进行信息交换，而只能通过云服务进行信息交换。这种基于云的安全趋势也出现在领先的防火墙供应商生产的产品上，这些产品可以单独使用云控制台进行访问，并且不再连接到位于公司场所的防火墙。
假设网络的可见性是当代网络安全机制的基础，显然很有必要采取适当的措施及机制来保证零信任和现代家庭网络的正常运行，这也是本发明的目标所在，因为各种原因，加密流量的解密并不实用，包括但不限于道德和技术问题，这些问题阻止MITM(中间人)技术在非TLS(传输层安全)协议(如SSH、BitTorrent和Skype)上运行。
发明内容
(一)发明目的
本发明的目的在于提供一种基于DPI的物联网加密流量监控方法，以解决上述背景技术中提出的问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种基于DPI的物联网加密流量监控方法包括物联网IoT加密流量，通过在所述物联网IoT加密流量中，加入流量指纹，结合DPI信息用于流量模式的检测，用以判断流量模式是否正常，同时为了更深入地避免误检概率，利用TLS协议扩展功能加入应用协议版本信息和客户端所能支撑的版本信息来具象化一个TLS连接，在DPI信息的基础上，为了更深入地识别流量模式，利用分箱技术对加密流量进行指标度量以及分类，基于全面的度量值列表对最近的流量进行归类，并将其与一个给定设备的流量模型进行欧式距离比对，检测是否匹配，从而达到检测恶意流量的目的，其具体步骤流程如下：
步骤一，在加密流量协议TLS中设置客户端和服务端的流量指纹，TLS通信流经过加密的双向网络通道时使用共享秘钥进行加密，共享秘钥在TLS会话双向握手时双向确认，TLS握手时，通信双方在采用的算法，交换证书和密码选项达成一致后，对数据进行加密后再进行交换。TLS客户端发送一条Clienthello消息，消息包含支持的密码，压缩方法和其他的参数，包括TLS密码系统采用椭圆曲线选项等信息，服务端接收消息后响应SeverHello消息，该消息包括选择TLS协议版本，密码和压缩方法，压缩方法在客户端消息中包含的客户端支持的压缩方法中选择；然后服务端发送一条可选的认证消息，包含服务端使用的公钥。握手消息以明文进行传输，所以可以被客户端通过消息解析获得，通过解码第一次握手消息，应用程序可以检测客户端和服务端数据如何交换，如何解析服务端和客户端的配置信息、流量指纹以及客户端的应用程序等，ClientHello消息中有服务端标识SNI，含有客户端可以访问的服务端的名字，指纹方法优选采用JA3C和JA3S。
步骤二，基于DPI信息对物联网加密网络流量进行监测，多数家庭设备和智能设备都不是直接与家庭局域网通信而是与云端进行通信，当两个本地的设备需要通信时，并不是直接进行数据的交换，而是在使用时均连接了云端的服务，云端通信基本上都是加密的，监测工具应当监测IoT的流量来确保设备是正常工作的，在本发明中，对IOT设备加密流量进行监测时，优选地采用DPI技术来标识流量并提取可用于对流量进一步进行分类的相关元数据，通过比较两端恶意流量的指纹和正常流量的指纹可以推测出通信的特征，从而达到检测宿主指纹是否发生了变化的目的。
步骤三，进一步地采用加密TLS协议扩展功能来区分应用协议列表，在本发明中，优选的采用JA3来检测应用程序中的变化，因为在已知的列表中的JA3C指纹必须保持稳定，任意一个新的JA3C签名表示，有一个新的或者未知的应用在运行，或者已存在的应用受到了更改，或者受到了侵害，对于给定的JA3C，服务端一般总是使用同样的JA3S，这样，指纹元组<JA3C,JA3S>对于相同的客户端和服务端是稳定的，如果JA3S变了，但JA3C没有变，一定是服务端的软件配置发生了变更。
进一步的为了从HTTPS通信协议中区分一个通用的TLS连接，在ClientHello消息包中，有一个TLS的扩展功能，客户端可以使用ALPN，应用层协议协商，来告诉服务端其所使用的应用协议列表，比如：HTTP/1.1和HTTP2.0，而非web类型的应用比如VPN就不能使用ALPN来通知服务端其使用的HTTP协议，另一个TLS扩展的功能是支持的版本信息，版本信息可以有客户端指定所支持的TLS版本，版本信息与ALPN联合起来可以作为web客户端应用的指纹，从而可以在本质上特征化一个具体的TLS连接。
步骤四，进一步地采用分箱技术对加密流量进行指标度量以及分类，基于全面的度量值列表对最近的流量进行归类，并将其与一个给定设备的建设的流量模型进行对比，检测是否匹配，这种策略的限制在于如果能找到匹配的模型，归类为正常的流量，网络中存在的一种新流量模型时，需要检测是否为恶意流量来判断该行为是否为一种异常流量。
优选的，在本发明中，优选采用分箱技术作为DPI流量模型的补充，可以连续监控流量行为，比如：IAT，流量包长度，字节分布式特征，以及实际吞吐量和上传/下载的度量值等。这些信息可以用来发现网络行为的变化，同时也用于检测连接的核心特征，比如：交换会话，文件上传/下载，协议通道等。
优选的，使用DPI组件检测应用层协议可以标记网络流量：比如，使用TLS.Instagram观测SNI以cdninstagram.com结尾的TLS流量；对于每一次连接直到连接结束，不管是客户端到服务端模式还是服务端到客户端模式，进行下面的度量指标的计算：将通过TCP三次握手协议后的流量包载荷，将其划分为6个分箱，分别为P1，P2，P3，P4，P5,P6，比如：P1：小于64字节，P2：65～128,P3：129～256,P4：257～512,P5:513～1024,P6:1025以上，计算流量包的IAT，将其划分为6个分箱，I1，I2，I3，I4，I5,I6；比如：I1：小于1ms，I2：1～5ms，I3：5～10ms，I4:10～50ms，I5：50～100ms，I6：100ms以上。
优选的，计算负载字节信息熵H(X)：为了节省周期计算的计算开销，基于连接的第一个长度为N的数据包，比如256，创建一个长度为N的整数向量
对于有效负载的每个字节，变换为该整数向量的元素，然后在此向量上计算字节熵，其计算公式如下：
其中，vn表示在向量中为取值为n的频次。
优选的，在本发明中，使用非均匀分布数据分箱大小，数据分箱经过归一化输出相应的值，比如：分箱值归一化为占总数的百分比。这使能够保留时间/数据包长度的简单细节，同时也考虑流之间的差异。
优选的，进一步的用一个64位的值来标识分箱，其中该数字的6字节对应的二进制的值分别对应为第i个数据分箱的值，并且上面的两个字节设置为0。请注意，64位值是表示分箱值的一种压缩方式，但两个不同的网络流不能用简单的64位值的差进行比较，而是要用其他方式进行比较，比如：每个值的欧几里德距离。
优选的，步骤五：基于分箱技术度量指标构建加密流量的流量模型，根据计算的分箱值，按下述表格进行流量模型的构建：
其中Pi’为64位二进制整数标识的载荷数据包分箱值，高16比特为0；Ii’为64位二进制整数标识的数据包到达时间间隔分箱值，高16比特为0，
选取一定的数据集，计算上述表格内的参数值，并对流量模型进行分类，每一个类的参数平均值构成模型i。
优选的，步骤六：基于上述模型集合，计算新流量与各流量模型的欧几里得距离，计算方法如下：
其中，Xi，j表示第i个模型的第j个度量指标，Yj表示被检测流量的第j个度量指标，N表示构建模型采用的度量指标总数量，Di表示被检测流量与第个模型的欧式距离，如果Di小于某个预设的门限值Ti，则认为该流量合法，否则认为该流量为恶意流量。
与现有技术相比，本发明的有益效果是：与传统的其他的方法不同，本发明另辟蹊径，不是去定义识别特定威胁的新方法，而是在不搜索特定流量或恶意软件指纹的情况下，以通用方式对网络流量进行分类。这种方法能够使用特定的协议度量对流量进行分类，并检测网络行为的变化，尤其适用于物联网和家庭网络，在这些网络中，设备网络行为一般不变，除非设备进行了重新配置或设备受损。由于在功耗和存储非常有限的设备中，不能采用计算量大的深度学习机器学习的方法；本发明的另一个动机是定义一种新的度量指标和技术，类似于用于明文的指标和技术，可以用于加密流量的处理。本质上，在加密流量分析中识别与明文流量中使用多年的属性相同的属性，以便在不解码加密流量有效负载的情况下具有相同级别的可见性。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种基于DPI的物联网加密流量监控方法包括物联网IoT加密流量，通过在所述物联网IoT加密流量中，加入流量指纹，结合DPI信息用于流量模式的检测，用以判断流量模式是否正常，同时为了更深入地避免误检概率，利用TLS协议扩展功能加入应用协议版本信息和客户端所能支撑的版本信息来具象化一个TLS连接，在DPI信息的基础上，为了更深入地识别流量模式，利用分箱技术对加密流量进行指标度量以及分类，基于全面的度量值列表对最近的流量进行归类，并将其与一个给定设备的流量模型进行欧式距离比对，检测是否匹配，从而达到检测恶意流量的目的，其具体步骤流程如下：
步骤一，在加密协议TLS中设置客户端和服务端的流量指纹，TLS通信流经过加密的双向网络通道时使用共享秘钥进行加密，共享秘钥在TLS会话双向握手时双向确认，TLS握手时，通信双方在采用的算法，交换证书和密码选项达成一致后，对数据进行加密后再进行交换。TLS客户端发送一条Clienthello消息，消息包含支持的密码，压缩方法和其他的参数，包括TLS密码系统采用椭圆曲线选项等信息，服务端接收消息后响应SeverHello消息，该消息包括选择TLS协议版本，密码和压缩方法，压缩方法在客户端消息中包含的客户端支持的压缩方法中选择；然后服务端发送一条可选的认证消息，包含服务端使用的公钥。握手消息以明文进行传输，所以可以被客户端通过消息解析获得，通过解码第一次握手消息，应用程序可以检测客户端和服务端数据如何交换，如何解析服务端和客户端的配置信息、流量指纹以及客户端的应用程序等，ClientHello消息中有服务端标识SNI，含有客户端可以访问的服务端的名字，指纹方法优选采用JA3C和JA3S。
步骤二，基于DPI信息对物联网加密网络流量进行监测，多数家庭设备和智能设备都不是直接与家庭局域网通信而是与云端进行通信，当两个本地的设备需要通信时，并不是直接进行数据的交换，而是在使用时均连接了云端的服务，云端通信基本上都是加密的，监测工具应当监测IoT的流量来确保设备是正常工作的，在本发明中，对IOT设备加密流量进行监测时，优选地采用DPI技术来标识流量并提取可用于对流量进一步进行分类的相关元数据，通过比较两端恶意流量的指纹和正常流量的指纹可以推测出通信的特征，从而达到检测宿主指纹是否发生了变化的目的。
步骤三，进一步地采用加密TLS协议扩展功能来区分应用协议列表，在本发明中，优选的采用JA3来检测应用程序中的变化，因为在已知的列表中的JA3C指纹必须保持稳定，任意一个新的JA3C签名表示，有一个新的或者未知的应用在运行，或者已存在的应用受到了更改，或者受到了侵害，对于给定的JA3C，服务端一般总是使用同样的JA3S，这样，指纹元组<JA3C,JA3S>对于相同的客户端和服务端是稳定的，如果JA3S变了，但JA3C没有变，一定是服务端的软件配置发生了变更。
进一步的为了从HTTPS通信协议中区分一个通用的TLS连接，在ClientHello消息包中，有一个TLS的扩展功能，客户端可以使用ALPN，应用层协议协商，来告诉服务端其所使用的应用协议列表，比如：HTTP/1.1和HTTP2.0，而非web类型的应用比如VPN就不能使用ALPN来通知服务端其使用的HTTP协议，另一个TLS扩展的功能是支持的版本信息，版本信息可以有客户端指定所支持的TLS版本，版本信息与ALPN联合起来可以作为web客户端应用的指纹，从而可以在本质上特征化一个具体的TLS连接。
步骤四，进一步地采用分箱技术对加密流量进行指标度量以及分类，基于全面的度量值列表对最近的流量进行归类，并将其与一个给定设备的建设的流量模型进行对比，检测是否匹配，这种策略的限制在于如果能找到匹配的模型，归类为正常的流量，网络中存在的一种新流量模型时，需要检测是否为恶意流量来判断该行为是否为一种异常流量。
进一步的，在本发明中，优选采用分箱技术作为DPI流量模型的补充，可以连续监控流量行为，比如：IAT，流量包长度，字节分布式特征，以及实际吞吐量和上传/下载的度量值等。这些信息可以用来发现网络行为的变化，同时也用于检测连接的核心特征，比如：交换会话，文件上传/下载，协议通道等。
进一步的，使用DPI组件检测应用层协议可以标记网络流量：比如，使用TLS.Instagram观测SNI以cdninstagram.com结尾的TLS流量；对于每一次连接直到连接结束，不管是客户端到服务端模式还是服务端到客户端模式，进行下面的度量指标的计算：将通过TCP三次握手协议后的流量包载荷，将其划分为6个分箱，分别为P1，P2，P3，P4，P5,P6，比如：P1：小于64字节，P2：65～128,P3：129～256,P4：257～512,P5:513～1024,P6:1025以上，计算流量包的IAT，将其划分为6个分箱，I1，I2，I3，I4，I5,I6；比如：I1：小于1ms，I2：1～5ms，I3：5～10ms，I4:10～50ms，I5：50～100ms，I6：100ms以上。
进一步的，计算负载字节信息熵H(X)：为了节省周期计算的计算开销，基于连接的第一个长度为N的数据包，比如256，创建一个长度为N的整数向量对于有效负载的每个字节，变换为该整数向量的元素，然后在此向量上计算字节熵，其计算公式如下：
其中，vn表示在向量中为取值为n的频次。
进一步的，在本发明中，使用非均匀分布数据分箱大小，数据分箱经过归一化输出相应的值，比如：分箱值归一化为占总数的百分比。这使能够保留时间/数据包长度的简单细节，同时也考虑流之间的差异。
进一步的，进一步的用一个64位的值来标识分箱，其中该数字的6字节对应的二进制的值分别对应为第i个数据分箱的值，并且上面的两个字节设置为0。请注意，64位值是表示分箱值的一种压缩方式，但两个不同的网络流不能用简单的64位值的差进行比较，而是要用其他方式进行比较，比如：每个值的欧几里德距离。
进一步的，步骤五：基于分箱技术度量指标构建加密流量的流量模型，根据计算的分箱值，按下述表格进行流量模型的构建：
其中Pi’为64位二进制整数标识的载荷数据包分箱值，高16比特为0；Ii’为64位二进制整数标识的数据包到达时间间隔分箱值，高16比特为0，
选取一定的数据集，计算上述表格内的参数值，并对流量模型进行分类，每一个类的参数平均值构成模型i。
进一步的，步骤六：基于上述模型集合，计算新流量与各流量模型的欧几里得距离，计算方法如下：
其中，Xi，j表示第i个模型的第j个度量指标，Yj表示被检测流量的第j个度量指标，N表示构建模型采用的度量指标总数量，Di表示被检测流量与第个模型的欧式距离，如果Di小于某个预设的门限值Ti，则认为该流量合法，否则认为该流量为恶意流量。
本发明的工作原理：与传统的其他的方法不同，本发明另辟蹊径，不是去定义识别特定威胁的新方法，而是在不搜索特定流量或恶意软件指纹的情况下，以通用方式对网络流量进行分类。这种方法能够使用特定的协议度量对流量进行分类，并检测网络行为的变化，尤其适用于物联网和家庭网络，在这些网络中，设备网络行为一般不变，除非设备进行了重新配置或设备受损。由于在功耗和存储非常有限的设备中，不能采用计算量大的深度学习机器学习的方法；本发明的另一个动机是定义一种新的度量指标和技术，类似于用于明文的指标和技术，可以用于加密流量的处理。本质上，在加密流量分析中识别与明文流量中使用多年的属性相同的属性，以便在不解码加密流量有效负载的情况下具有相同级别的可见性。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为便于描述本发明的简化描述，而不是指示或暗指所指的装置或元件必须具有特定的方位、为特定的方位构造和操作，因而不能理解为对本发明保护内容的限制。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于DPI的物联网加密流量监控方法，包括物联网IoT加密流量，其特征在于：通过在所述物联网IoT加密流量中，加入流量指纹，结合DPI信息用于流量模式的检测，用以判断流量模式是否正常，同时为了更深入地避免误检概率，利用TLS协议扩展功能加入应用协议版本信息和客户端所能支撑的版本信息来具象化一个TLS连接，在DPI信息的基础上，为了更深入地识别流量模式，利用分箱技术对加密流量进行指标度量以及分类，基于全面的度量值列表对最近的流量进行归类，并将其与一个给定设备的流量模型进行欧式距离比对，检测是否匹配，从而达到检测恶意流量的目的，其具体步骤流程如下：
步骤一，在加密流量协议TLS中设置客户端和服务端的流量指纹，TLS通信流经过加密的双向网络通道时使用共享秘钥进行加密，共享秘钥在TLS会话双向握手时双向确认，TLS握手时，通信双方在采用的算法，交换证书和密码选项达成一致后，对数据进行加密后再进行交换，TLS客户端发送一条Clienthello消息，消息包含支持的密码，压缩方法和其他的参数，包括TLS密码系统采用椭圆曲线选项信息，服务端接收消息后响应SeverHello消息，该消息包括选择TLS协议版本，密码和压缩方法，压缩方法在客户端消息中包含的客户端支持的压缩方法中选择；然后服务端发送一条可选的认证消息，包含服务端使用的公钥，握手消息以明文进行传输，所以可以被客户端通过消息解析获得，通过解码第一次握手消息，应用程序可以检测客户端和服务端数据如何交换，如何解析服务端和客户端的配置信息、流量指纹以及客户端的应用程序，ClientHello消息中有服务端标识SNI，含有客户端可以访问的服务端的名字，
指纹方法采用JA3C和JA3S
步骤二，基于DPI信息对物联网加密网络流量进行监测，对IOT设备加密流量进行监测时，采用DPI技术来标识流量并提取可用于对流量进一步进行分类的相关元数据，通过比较两端恶意流量的指纹和正常流量的指纹可以推测出通信的特征，从而达到检测宿主指纹是否发生了变化的目的
步骤三，进一步地采用加密流量TLS协议扩展功能来区分应用，采用JA3来检测应用程序中的变化，因为在已知的列表中的JA3C指纹必须保持稳定，任意一个新的JA3C签名表示，有一个新的或者未知的应用在运行，或者已存在的应用受到了更改，或者受到了侵害，对于给定的JA3C，服务端一般总是使用同样的JA3S，这样，指纹元组<JA3C,JA3S>对于相同的客户端和服务端是稳定的，如果JA3S变了，但JA3C没有变，一定是服
务端的软件配置发生了变更
进一步的为了从HTTPS通信协议中区分一个通用的TLS连接，在ClientHello消息包中，有一个TLS的扩展功能，客户端可以使用ALPN，应用层协议协商，来告诉服务端其所使用的应用协议列表，HTTP/1.1和HTTP2.0，而非web类型的应用VPN就不能使用ALPN来通知服务端其使用的HTTP协议，另一个TLS扩展的功能是支持的版本信息，版本信息可以有客户端指定所支持的TLS版本，版本信息与ALPN联合起来可以作为web客户端应用的指纹，从而可以在本质上特征化一个具体的TLS连接
步骤四，进一步地采用分箱技术对加密流量进行指标度量以及分类，基于全面的度量值列表对最近的流量进行归类，并将其与一个给定设备的建设的流量模型进行对比，检测是否匹配，这种策略的限制在于如果能找到匹配的模型，归类为正常的流量，网络中存在的一种新流量模型时，需要检测是否为恶意流量来判断该网络访问是否为一种异常流量。
2.根据权利要求1所述的一种基于DPI的物联网加密流量监控方法，其特征在于：在本发明中，采用分箱技术作为DPI流量模型的补充，可以连续监控流量网络访问，IAT，流量包长度，字节分布式特征，以及实际吞吐量和上传/下载的度量值，这些信息可以用来发现网络访问的变化，同时也用于检测连接的核心特征，交换会话，文件上传/下载，协议通道。
3.根据权利要求2所述的一种基于DPI的物联网加密流量监控方法，其特征在于：使用DPI组件检测应用层协议可以标记网络流量：使用TLS.Instagram观测SNI以cdninstagram.com结尾的TLS流量；对于每一次连接直到连接结束，不管是客户端到服务端模式还是服务端到客户端模式，进行下面的度量指标的计算：将通过TCP三次握手协议后的流量包载荷，将其划分为6个分箱，分别为P1，P2，P3，P4，P5,P6，：P1：小于64字节，P2：65～128,P3：129～256,P4：257～512,P5:513～1024,P6:1025以上，计算流量包的IAT，将其划分为6个分箱，I1，I2，I3，I4，I5,I6；I1：小于1ms，I2：
1～5ms，I3：5～10ms，I4:10～50ms，I5：50～100ms，I6：100ms以上。
4.根据权利要求3所述的一种基于DPI的物联网加密流量监控方法，其特征在于：计算负载字节信息熵H(X)：为了节省周期计算的计算开销，基于连接的第一个长度为N的数据包，256，创建一个长度为N的整数向量
对于有效负载的每个字节，变换为该整数向量的元素，然后在此向量上计算字节熵，其计算公式如下：
其中，vn表示在向量中为取值为n的频次。
5.根据权利要求4所述的一种基于DPI的物联网加密流量监控方法，其特征在于：在本发明中，使用非均匀分布数据分箱大小，数据分箱经过归一化输出相应的值，分箱值归一化为占总数的百分比，这使能够保留时间/数据包长度的简单细节，同时也考虑流之间的差异。
6.根据权利要求5所述的一种基于DPI的物联网加密流量监控方法，其特征在于：进一步的用一个64位的值来标识分箱，其中该数字的6字节对应的二进制的值分别对应为第i个数据分箱的值，并且上面的两个字节设置为0，请注意，64位值是表示分箱值的一种压缩方式，但两个不同的网络流不能用简单的64位值的差进行比较，而是要用其他方式进行比较，每个值的欧几里德距离。
7.根据权利要求6所述的一种基于DPI的物联网加密流量监控方法，其特征在于：步骤五：基于分箱技术度量指标构建加密流量的流量模型，根据计算的分箱值，按下述表格进行流量模型的构建：
其中Pi’为64位二进制整数标识的载荷数据包分箱值，高16比特为0；Ii’为64位二进制整数标识的数据包到达时间间隔分箱值，高16比特为0，
选取一定的数据集，计算上述表格内的参数值，并对流量模型进行分类，每一个类的参数平均值构成模型i。
8.根据权利要求7所述的一种基于DPI的物联网加密流量监控方法，其特征在于：步骤六：基于上述模型集合，计算新流量与各流量模型的欧几里得距离，计算方法如下：
其中，xij表示第i个模型的第j个度量指标，yj表示被检测流量的第j个度量指标，N表示构建模型采用的度量指标总数量，Di表示被检测流量与第个模型的欧式距离，如果DH小于某个预设的门限值T，则认为该流量合法，否则认为该流量为恶意流量。
CN202210074856.8A 2022-01-21 2022-01-21 一种基于dpi的物联网加密流量监控方法 Active CN114465787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210074856.8A CN114465787B (zh) 2022-01-21 2022-01-21 一种基于dpi的物联网加密流量监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210074856.8A CN114465787B (zh) 2022-01-21 2022-01-21 一种基于dpi的物联网加密流量监控方法

Publications (2)

Publication Number Publication Date
CN114465787A CN114465787A (zh) 2022-05-10
CN114465787B true CN114465787B (zh) 2023-12-08

Family

ID=81412143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210074856.8A Active CN114465787B (zh) 2022-01-21 2022-01-21 一种基于dpi的物联网加密流量监控方法

Country Status (1)

Country Link
CN (1) CN114465787B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117692257B (zh) * 2024-02-02 2024-04-30 数盾信息科技股份有限公司 一种电力物联网业务数据的高速加密方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9419942B1 (en) * 2013-06-05 2016-08-16 Palo Alto Networks, Inc. Destination domain extraction for secure protocols
CN106060070A (zh) * 2016-07-01 2016-10-26 中国人民解放军国防科学技术大学 基于身份密码系统的tls握手协议
CN113301041A (zh) * 2021-05-21 2021-08-24 东南大学 一种基于分段熵和时间特征的V2Ray流量识别方法
US11140196B1 (en) * 2019-03-27 2021-10-05 NortonLifeLock Inc. Malware fingerprinting on encrypted transport layer security (TLS) traffic

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9419942B1 (en) * 2013-06-05 2016-08-16 Palo Alto Networks, Inc. Destination domain extraction for secure protocols
CN106060070A (zh) * 2016-07-01 2016-10-26 中国人民解放军国防科学技术大学 基于身份密码系统的tls握手协议
US11140196B1 (en) * 2019-03-27 2021-10-05 NortonLifeLock Inc. Malware fingerprinting on encrypted transport layer security (TLS) traffic
CN113301041A (zh) * 2021-05-21 2021-08-24 东南大学 一种基于分段熵和时间特征的V2Ray流量识别方法

Also Published As

Publication number Publication date
CN114465787A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
Velan et al. A survey of methods for encrypted traffic classification and analysis
US9680869B2 (en) System and method for innovative management of transport layer security session tickets in a network environment
Pereira et al. An authentication and access control framework for CoAP-based Internet of Things
Yao et al. Encrypted traffic classification based on Gaussian mixture models and Hidden Markov Models
Nykvist et al. A lightweight portable intrusion detection communication system for auditing applications
CN112468518B (zh) 访问数据处理方法、装置、存储介质及计算机设备
US20180176139A1 (en) Correlating discarded network traffic with network policy events through augmented flow
Lu et al. Research on WiFi penetration testing with Kali Linux
CN114465787B (zh) 一种基于dpi的物联网加密流量监控方法
Gao et al. A review of P4 programmable data planes for network security
CN110868362B (zh) 一种MACsec非受控端口报文的处理方法及装置
Touil et al. Secure and guarantee QoS in a video sequence: a new approach based on TLS protocol to secure data and RTP to ensure real-time exchanges
Xu et al. ME-Box: A reliable method to detect malicious encrypted traffic
Qaddoori et al. An efficient security model for industrial internet of things (IIoT) system based on machine learning principles
CN110290151B (zh) 报文发送方法、装置及可读取存储介质
CN112291248A (zh) 一种防护HTTPS DDoS攻击的方法及设备
CN114465786B (zh) 一种加密网络流量的监控方法
EP4106268B1 (en) Method for detecting anomalies in ssl and/or tls communications, corresponding device, and computer program product
US20230308458A1 (en) Structured data discovery and cryptographic analysis
Deri et al. Monitoring IoT Encrypted Traffic with Deep Packet Inspection and Statistical Analysis
Zhao et al. On the (dis) Advantages of Programmable NICs for Network Security Services
Kazemi et al. Tunneling protocols identification using light packet inspection
Wang et al. Deep learning based on byte sample entropy for VPN encrypted traffic identification
Sun et al. Detecting IKEv1 Man‐in‐the‐Middle Attack with Message‐RTT Analysis
US11516205B2 (en) Managing decryption of network flows through a network appliance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 571924 301, floor 3, building A09, Hainan Ecological Software Park, Laocheng high tech industry demonstration zone, Haikou City, Hainan Province

Applicant after: Jizhi (Hainan) Information Technology Co.,Ltd.

Address before: 571924 301, floor 3, building A09, Hainan Ecological Software Park, Laocheng high tech industry demonstration zone, Haikou City, Hainan Province

Applicant before: Zhongdian Jizhi (Hainan) Information Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant