CN115297033A - 一种物联网终端流量审计方法及系统 - Google Patents

一种物联网终端流量审计方法及系统 Download PDF

Info

Publication number
CN115297033A
CN115297033A CN202210872302.2A CN202210872302A CN115297033A CN 115297033 A CN115297033 A CN 115297033A CN 202210872302 A CN202210872302 A CN 202210872302A CN 115297033 A CN115297033 A CN 115297033A
Authority
CN
China
Prior art keywords
behavior
flow
terminal
sequence
behaviors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210872302.2A
Other languages
English (en)
Other versions
CN115297033B (zh
Inventor
王弘毅
施亮
乐冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Liangxun Iot Technology Co ltd
Original Assignee
Shanghai Liangxun Iot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Liangxun Iot Technology Co ltd filed Critical Shanghai Liangxun Iot Technology Co ltd
Priority to CN202210872302.2A priority Critical patent/CN115297033B/zh
Publication of CN115297033A publication Critical patent/CN115297033A/zh
Application granted granted Critical
Publication of CN115297033B publication Critical patent/CN115297033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种物联网终端流量审计系统及方法，该系统包括：数据获取模块，数据处理模块，存储模块，计算模块，审计策略执行和报告输出模块；数据获取模块用于获取审计对象的认证信息，以及终端的收发包镜像；数据处理模块用于提取描述终端的流量行为；存储模块用于形成以终端ID为索引的数据库；计算模块用于锁定终端归属的群组及对应审计策略、取得流量行为的着色标记、周期特征和行为流量消耗特征，锁定对应于终端所属群组的审计策略；审计策略执行和报告输出模块用于执行审计策略并输出加工成报告和报表。本发明能够减少对管理者的专业性要求，突出呈现终端行为的周期性和流量消耗特征，减少人工分析的工作量，提高了审计效率的效果。

Description

一种物联网终端流量审计方法及系统
技术领域
本发明属于物联网和数据通信技术领域，尤其涉及一种物联网终端流量审计方法，及用于实现该方法的物联网终端流量审计系统。
背景技术
随着物联网的迅速发展，使用物联网终端或物联网模块的各种设备的数据采集、分发和传递变得更加方便。但同时也带来了以下问题：物联网终端被随意不受控地访问Internet资源，不仅影响终端的工作效率而且威胁应用的安全；物联网终端访问非法地址，传播非法信息，给企业带来法律风险；物联网终端被攻击，不仅影响正常业务而且产生大量流量资费；物联网终端被植入恶意程序，泄露应用机密数据。因此，需要对物联网终端的流量进行审计。传统的流量审计的方法中其行为识别通常包括两种类型，一种是预设策略：审计系统或装置按该预设策略执行，上报被审计信息；这种方案需要策略的设计需要管理者充分了解终端的行为，否则策略的执行结果会与审计意图发生偏差。第二种是不预设策略，流量行为被简单归类或统计后无差别上报，再由其它系统或人工进行后分析；这种方案的审计效率比较低下。此外，现有的流量审计方法在应用于物联网终端流量审计时还存在以下问题：不同应用场景的审计侧重点不同，因此需要针对终端的应用场景实现自动分类审计；物联网终端的行为多存在周期性，而很多异常行为是在设备进行使用一段时间后才会出现，因此需要重点审计终端在运动一端时间后出现的新的流量行为；物联网终端、尤其是蜂窝物联网的流量消耗需要进行重点审计；无差别审计记录会消耗大量的存储空间，因此需要对异常行为进行重点记录。中国专利CN113923192A《一种流量审计方法、装置、系统、设备和介质》公开了一种流量审计方法、装置、系统、设备和介质，其技术方案中将目标节点的DNS流量解析为DNS日志并上报至数据中心，数据中心为DNS记录建立索引，以供查询和调用。该方案的局限性在于：仅对DNS流量进行审计，对非DNS的流量不起作用；未能利用物联网终端的流量特征提高审计效率；对报文加密的DNS请求不起作用。CN113904787A《一种流量审计方法、装置、设备和计算机可读存储介质》中，发明人公开的一种流量审计方法、装置、设备和计算机可读存储介质，其方案通过设置审计要求，将筛选到的有效报文上传到上网行为管理器，放行未识别的报文，而无需上传所有流量，解决了流量审计造成的带宽浪费和时延。该方案的局限性在于：流量筛选需依赖审计要求的设置，需要设计审计要求；不涉及利用物联网终端的流量特征提高审计效率。因此，如何开发出一种新型的物联网终端流量审计系统及方法，以克服现有技术中存在的上述缺陷，是本领域技术人员需要研究的方向。
发明内容
本发明的目的在于提供一种物联网终端流量审计方法，能够减少对管理者的专业性要求，突出呈现终端行为的周期性和流量消耗特征，减少人工分析的工作量，提高了审计效率的效果。
其采用的技术方案如下：
一种物联网终端流量审计方法，其包括如下步骤：
步骤1：获取审计对象的认证信息以及终端的收发包镜像；
步骤2：从收发包镜像的包头中提取五元组信息作为描述终端的流量行为；所述五元组信息包括源IP、目的IP、源端口、目的端口和协议；
步骤3：创建以终端的认证ID为索引的数据库，将描述终端的流量行为录入该数据库中；
步骤4：基于统计周期内的流量行为锁定终端归属的群组、取得各流量行为的着色标记、取得各流量行为的周期特征和行为流量消耗特征，锁定对应于终端所属群组的审计策略；
步骤5：执行审计策略并将执行的结果加工成报告、报表并输出。
优选的是，上述审计方法中，所述步骤1包括：开启一个统计周期计时器；从物联网终端接入互联网的认证节点中获取审计对象的认证信息，所述认证信息包括终端的认证ID；从物联网终端的流量汇聚链路上获取审计对象的流量镜像，并提取包头数据。
优选的是，上述审计方法中，所述步骤2包括：以终端的认证ID为索引，从包头数据中提取其上下行数据包的源IP、目的IP、源端口、目的端口和协议，以所述源IP、目的IP、源端口、目的端口和协议的集合创建为一个流量行为；提取每一个流量行为包的收发时间戳和字节长度；以创建时收到的流量行为包的时间戳为该流量行为的创建时间戳。
优选的是，上述审计方法中，步骤3包括：为每个流量行为记录一个独立的收发包计数值，在统计周期到期后将该收发包计数值存入数据库中对应行为的记录；为每个行为记录一个独立的收发报字节长度累加值，在统计周期到期后将该累加值存入数据库中对应行为的记录；以五元组信息为索引，建立一个流量行为包的收发时间戳的数据序列并保存在另一数据库表中、优选的是，上述审计方法中，步骤4所述锁定终端归属的群组包括：
步骤411：分别将各个终端的所有五元组信息构成一个集合，在数据库内对各个终端的所有五元组信息构成的集合分别构建一个独立群组，并对各独立群组分别赋予一个群组标签；
步骤412：根据包含元素个数从大到小、以及元素个数相同时创建时间从大到小的顺序，将所有终端对应集合进行排序，得到一个有序序列；
步骤413：以所述有序序列的第一个集合为参考集合，从左至右依次计算所述参考集合与其他各个集合的交集，若存在交集且交集内包含DNS以外的行为协议，则将该集合的群组标签替换为参考集合的群组标签，并将该集合从所述有序序列中剔除，直至遍历有序序列中的所有集合；
步骤414：将参考集合从有序序列中剔除；
步骤415：循环跳转至步骤403，直至步骤403中所述有序序列中的所有集合均未将其当前的群组标签替换为当前参考集合的群组标签。
优选的是，上述审计方法中，步骤4所述取得各流量行为的着色标记包括：
步骤421：将每个流量行为的收发包的累计数值录入得到累计数序列(Bcn)，当累计数序列(Bcn)中的元素的数值大于或等于λ1，将该元素对应的流量行为标记为高频行为，当累计数序列(Bcn)中的元素的数值小于λ1，将该元素对应的流量行为标记为低频行为；所述λ1基于以下公式求得：λ1＝(Max(Bcn)-Min(Bcn))/2；
相对于普通上网用户，在工业应用场景中物联网终端的数量更庞大而行为更简单，使用复杂度低的算法可以节省算力；第二有益之处在于，工业场景通常需要对审计结果尽可能快速地采取风险规避策略以降低企业损失，使用复杂度低的算法可以节省运算时间。
步骤422：遍历各个终端的认证ID对应的五元组信息，计算每个流量行为覆盖的终端数量，得到覆盖数量序列(Dn)，
当覆盖数量序列(Dn)中的元素的数值大于或等于λ2，将该元素对应的流量行为标记为高覆盖行为，当覆盖数量序列(Dn)中的元素的数值小于λ2，将该元素对应的流量行为为低覆盖行为；所述λ2基于以下公式求得：λ2＝(Max(Dn)-Min(Dn))/2；
步骤423：对同时被标记为高频行为和高覆盖行为的流量行为标记为绿色；对同时被标记为低频行为和高覆盖行为的流量行为标记为蓝色；对同时被标记为高频行为和低覆盖行为的流量行为标记为黄色；对同时被标记为低频行为和低覆盖行为的流量行为标记为红色。
优选的是，上述审计方法中，步骤4所述取得各流量行为的周期特征包括：
步骤431：提取1个流量行为的时间戳序列，若时间戳的个数大于2，则分别计算时间戳序列中各相邻时间戳的间隔时长，得到一个时间单位为毫秒的数组p，若否，则视为时间戳不存在周期性特征，并设数组p＝0；
步骤432：计算所述数组p的方差，若方差小于0.05则视为时间戳存在周期性特征，并设数组p＝1，若否，则视为时间戳不存在周期性特征，并设数组p＝0；
步骤433：循环执行步骤431至步骤432，直至遍历所有的流量行为。
优选的是，上述审计方法中，步骤4所述取得各流量行为的行为流量消耗特征包括：
步骤441：提取1个流量行为的收发包的字节数累计值，录入得到字节数累计序列(Bln)，当字节数累计序列(Bln)中的元素的数值大于或等于λ3，则视为流量行为流量消耗高，并设流量消耗特征L＝1；当字节数累计序列(Bln)中的元素的数值小于λ3，则视为流量行为流量消耗低，并设流量消耗特征L＝0；所述λ3基于以下公式求得：
λ3＝(Max(Bln)-Min(Bln))/2；
步骤442：循环执行步骤441，直至遍历所有的流量行为。
优选的是，上述审计方法中，步骤4所述锁定对应于终端所属群组的审计策略包括：
在N个统计周期结束时，在在后继N个统计周期中依据在最后一个统计周期结束时终端锁定的群组分类输出对应的审计策略，所述N为预设值。
为实现上述流量审计方法，本发明进一步公开了一种流量审计系统，其采用的技术方案如下：
一种物联网终端流量审计系统，其包括：数据获取模块，数据处理模块，存储模块，计算模块，审计策略执行和报告输出模块；
所述数据获取模块用于对接物联网终端认证系统、获取审计对象的认证信息，以及对接流量镜像系统、获取终端的收发包镜像；
所述数据处理模块用于读取数据获取模块、从收发包镜像的包头中提取五元组信息作为描述终端的流量行为；所述五元组信息包括源IP、目的IP、源端口、目的端口和协议；
所述存储模块用于录入流量行为，形成以终端ID为索引的数据库；
所述计算模块用于读取存储模块，基于统计周期内的流量行为锁定终端归属的群组、取得各流量行为的着色标记、各流量行为的周期特征和行为流量消耗特征，锁定对应于终端所属群组的审计策略；
所述审计策略执行和报告输出模块用于读取计算模块，执行审计策略并将执行的结果加工成报告、报表并输出。
与现有技术相比，上述方案取得了如下技术效果：
1、基于物联网终端的流量行为特征，自动计算出审计规则，因此无需管理者充分了解终端的具体流量行为，减少了管理者的负担。
2、针对流量行为发生频率的大小和其所覆盖终端数量的多少打上着色标记，便于管理者阅览审计报告，突出呈现终端行为的周期性和流量消耗特征，降低审计工作对管理者专业知识的要求，减少人工分析的工作量，提高了审计效率的效果。
3、不局限于某一特定的通信协议，适用性广泛。
4、能够自动识别管理者预设需记录的审计内容，无需保存非重点审计流量内容，节约了存储空间。
附图说明
图1为实施例1的工作流程图；
图2为终端认证ID与五元组信息的数据关系示意图；
图3为五元组信息与数据包时间戳的数据关系示意图；
图4为终端归属群组标签与五元组信息的数据关系示意图；
图5为终端的五元组信息与流量行为的着色标记的数据关系示意图；
图6为终端的五元组信息与流量行为的周期性特征的数据关系示意图；
图7为终端的五元组信息和流量消耗特征的数据关系示意图；
图8为终端的五元组信息和审计规则的数据关系示意图。
图9为实施例1的系统框图。
各附图标记对应部件名称如下：
1、数据获取模块；2、数据处理模块；3、存储模块；4、计算模块；5、审计策略执行和报告输出模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图9所示为实施例1：
一种物联网终端流量审计系统，其包括：数据获取模块1，数据处理模块2，存储模块3，计算模块4，审计策略执行和报告输出模块5；
所述数据获取模块1用于对接物联网终端认证系统、获取审计对象的认证信息，以及对接流量镜像系统、获取终端的收发包镜像；
所述数据处理模块2用于读取数据获取模块1、从收发包镜像的包头中提取五元组信息作为描述终端的流量行为；所述五元组信息包括源IP、目的IP、源端口、目的端口和协议；
所述存储模块3用于录入流量行为，形成以终端ID为索引的数据库；
所述计算模块4用于读取存储模块3，基于统计周期内的流量行为锁定终端归属的群组、取得各流量行为的着色标记、各流量行为的周期特征和行为流量消耗特征，锁定对应于终端所属群组的审计策略；
所述审计策略执行和报告输出模块5用于读取计算模块4，执行审计策略并将执行的结果加工成报告、报表并输出。
如图1-8所示：
实践中，其工作过程如下：
步骤1：获取审计对象的认证信息以及终端的收发包镜像；具体的，所述步骤1包括：开启一个统计周期计时器；第一方面从物联网终端接入互联网的认证节点中获取审计对象的认证信息，所述认证信息至少包括终端的认证ID；第二方面从物联网终端的流量汇聚链路上获取审计对象的流量镜像，并提取包头数据。本例中，所述统计周期计时器的默认老化时间为15分钟。
步骤2：从收发包镜像的包头中提取五元组信息作为描述终端的流量行为；所述五元组信息包括源IP、目的IP、源端口、目的端口和协议；具体的，所述步骤2包括：以终端的认证ID为索引，从包头数据中提取其上下行数据包的源IP、目的IP、源端口、目的端口和协议。将每一条不同的五元组信息视为一个独立的对终端的描述，即：将每一个以所述源IP、目的IP、源端口、目的端口和协议的集合创建为一个流量行为；提取每一个流量行为包的收发时间戳和字节长度；以创建时收到的流量行为包的时间戳为该流量行为的创建时间戳。
步骤3：创建以终端的认证ID为索引的数据库，将描述终端的流量行为录入该数据库中；具体的，所述步骤3包括：如图2所示：为每个流量行为记录一个独立的收发包计数值，在统计周期到期后将该收发包计数值存入数据库中对应行为的记录；为每个行为记录一个独立的收发报字节长度累加值，在统计周期到期后将该累加值存入数据库中对应行为的记录；如图3所示：以五元组信息为索引，建立一个流量行为包的收发时间戳的数据序列并保存在另一数据库表中
步骤4：基于统计周期内的流量行为锁定终端归属的群组、取得各流量行为的着色标记、取得各流量行为的周期特征和行为流量消耗特征，锁定对应于终端所属群组的审计策略。
其中，所述锁定终端归属的群组包括：
步骤411：分别将各个终端的所有五元组信息构成一个集合，在数据库内对各个终端的所有五元组信息构成的集合分别构建一个独立群组，并对各独立群组分别赋予一个群组标签；
步骤412：根据包含元素个数从大到小、以及元素个数相同时创建时间从大到小的顺序，将所有终端对应集合进行排序，得到一个有序序列；
步骤413：以所述有序序列的第一个集合为参考集合，从左至右依次计算所述参考集合与其他各个集合的交集，若存在交集且交集内包含DNS以外的行为协议，则将该集合的群组标签替换为参考集合的群组标签，并将该集合从所述有序序列中剔除，直至遍历有序序列中的所有集合；
步骤414：将参考集合从有序序列中剔除；
步骤415：循环跳转至步骤403，直至步骤403中所述有序序列中的所有集合均未将其当前的群组标签替换为当前参考集合的群组标签。
所述取得各流量行为的着色标记包括：
步骤421：将每个流量行为的收发包的累计数值录入得到累计数序列(Bcn)，当累计数序列(Bcn)中的元素的数值大于或等于λ1，将该元素对应的流量行为标记为高频行为，当累计数序列(Bcn)中的元素的数值小于λ1，将该元素对应的流量行为标记为低频行为；所述λ1基于以下公式求得：λ1＝(Max(Bcn)-Min(Bcn))/2；
步骤422：遍历各个终端的认证ID对应的五元组信息，计算每个流量行为覆盖的终端数量，得到覆盖数量序列(Dn)，
当覆盖数量序列(Dn)中的元素的数值大于或等于λ2，将该元素对应的流量行为标记为高覆盖行为，当覆盖数量序列(Dn)中的元素的数值小于λ2，将该元素对应的流量行为为低覆盖行为；所述λ2基于以下公式求得：λ2＝(Max(Dn)-Min(Dn))/2；
步骤423：对同时被标记为高频行为和高覆盖行为的流量行为标记为绿色；对同时被标记为低频行为和高覆盖行为的流量行为标记为蓝色；对同时被标记为高频行为和低覆盖行为的流量行为标记为黄色；对同时被标记为低频行为和低覆盖行为的流量行为标记为红色。
所述取得各流量行为的周期特征包括：
步骤431：提取1个流量行为的时间戳序列，若时间戳的个数大于2，则分别计算时间戳序列中各相邻时间戳的间隔时长，得到一个时间单位为毫秒的数组p，若否，则视为时间戳不存在周期性特征，并设数组p＝0；
步骤432：计算所述数组p的方差，若方差小于0.05则视为时间戳存在周期性特征，并设数组p＝1，若否，则视为时间戳不存在周期性特征，并设数组p＝0；
步骤433：循环执行步骤431至步骤432，直至遍历所有的流量行为。
所述取得各流量行为的行为流量消耗特征包括：
步骤441：提取1个流量行为的收发包的字节数累计值，录入得到字节数累计序列(Bln)，当字节数累计序列(Bln)中的元素的数值大于或等于λ3，则视为流量行为流量消耗高，并设流量消耗特征L＝1；当字节数累计序列(Bln)中的元素的数值小于λ3，则视为流量行为流量消耗低，并设流量消耗特征L＝0；所述λ3基于以下公式求得：
λ3＝(Max(Bln)-Min(Bln))/2；
步骤442：循环执行步骤441，直至遍历所有的流量行为。
所述锁定对应于终端所属群组的审计策略包括：
在N个统计周期结束时，在在后继N个统计周期中依据在最后一个统计周期结束时终端锁定的群组分类输出对应的审计策略，所述N为预设值，一般默认为4。
行为的审计规则侧重点由周期性特征和流量消耗特征属性决定，生成的审计规则如下：
有周期性，消耗流量高。记录终端ID，记录终端群组ID，记录着色标记，记录行为五元组信息，记录周期，记录流量消耗，记录终端访问的域名。
有周期，流量消耗低。记录终端ID，记录终端群组ID，记录着色标记，记录终端ID记录行为五元组信息，记录周期，记录终端访问的域名。
无周期，流量消耗高。记录终端ID，记录终端群组ID，记录着色标记，记录行为五元组信息，记录流量消耗，记录终端访问的域名、URL。
无周期，流量消耗低。记录终端ID，记录终端群组ID，记录着色标记，记录行为五元组信息，记录终端访问的域名、URL，记录终端上传或下载的文件。
步骤5：执行审计策略并将执行的结果加工成报告、报表并输出。
与现有技术相比，区别于普通互联网用户上网流量的审计方法，本发明利用物联网终端流量行为特征，提供的审计方法和系统可自动计算出审计规则，无需管理者在充分了解物联网终端具体流量行为的基础上手工设计、配置和变更，其作用不仅限于某一特定的通信协议。本发明提供的系统能够自动将物联网终端进行归类审计。系统所输出的审计报表、报告能够根据流量行为发生频率的大小和其所覆盖终端数量的多少打上着色标记，便于管理者阅览审计报告，突出呈现终端行为的周期性和流量消耗特征，便于管理者将审计工作的注意力聚焦于那些异常终端和异常行为，而不必逐条分析审计记录，降低流量审计工作对管理者专业知识的要求，也起到减少人工分析的工作量，提高审计效率的效果。本发明提供的系统能够识别到物联网终端管理者最需要记录的审计内容，不需要消耗大量的存储空间保存非重点审计的流量内容。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种物联网终端流量审计方法，其特征在于，包括如下步骤：
步骤1：获取审计对象的认证信息以及终端的收发包镜像；
步骤2：从收发包镜像的包头中提取五元组信息作为描述终端的流量行为；所述五元组信息包括源IP、目的IP、源端口、目的端口和协议；
步骤3：创建以终端的认证ID为索引的数据库，将描述终端的流量行为录入该数据库中；
步骤4：基于统计周期内的流量行为锁定终端归属的群组、取得各流量行为的着色标记、取得各流量行为的周期特征和行为流量消耗特征，锁定对应于终端所属群组的审计策略；
步骤5：执行审计策略并将执行的结果加工成报告、报表并输出。
2.如权利要求1所述审计方法，其特征在于，所述步骤1包括：开启一个统计周期计时器；从物联网终端接入互联网的认证节点中获取审计对象的认证信息，所述认证信息包括终端的认证ID；从物联网终端的流量汇聚链路上获取审计对象的流量镜像，并提取包头数据。
3.如权利要求2所述审计方法，其特征在于，所述步骤2包括：以终端的认证ID为索引，从包头数据中提取其上下行数据包的源IP、目的IP、源端口、目的端口和协议，以所述源IP、目的IP、源端口、目的端口和协议的集合创建为一个流量行为；提取每一个流量行为包的收发时间戳和字节长度；以创建时收到的流量行为包的时间戳为该流量行为的创建时间戳。
4.如权利要求3所述审计方法，其特征在于，步骤3包括：为每个流量行为记录一个独立的收发包计数值，在统计周期到期后将该收发包计数值存入数据库中对应行为的记录；为每个行为记录一个独立的收发报字节长度累加值，在统计周期到期后将该累加值存入数据库中对应行为的记录；以五元组信息为索引，建立一个流量行为包的收发时间戳的数据序列并保存在另一数据库表中。
5.如权利要求4所述审计方法，其特征在于，步骤4所述锁定终端归属的群组包括：
步骤411：分别将各个终端的所有五元组信息构成一个集合，在数据库内对各个终端的所有五元组信息构成的集合分别构建一个独立群组，并对各独立群组分别赋予一个群组标签；
步骤412：根据包含元素个数从大到小、以及元素个数相同时创建时间从大到小的顺序，将所有终端对应集合进行排序，得到一个有序序列；
步骤413：以所述有序序列的第一个集合为参考集合，从左至右依次计算所述参考集合与其他各个集合的交集，若存在交集且交集内包含DNS以外的行为协议，则将该集合的群组标签替换为参考集合的群组标签，并将该集合从所述有序序列中剔除，直至遍历有序序列中的所有集合；
步骤414：将参考集合从有序序列中剔除；
步骤415：循环跳转至步骤403，直至步骤403中所述有序序列中的所有集合均未将其当前的群组标签替换为当前参考集合的群组标签。
6.如权利要求4所述审计方法，其特征在于：步骤4所述取得各流量行为的着色标记包括：
步骤421：将每个流量行为的收发包的累计数值录入得到累计数序列(Bcn)，当累计数序列(Bcn)中的元素的数值大于或等于λ1，将该元素对应的流量行为标记为高频行为，当累计数序列(Bcn)中的元素的数值小于λ1，将该元素对应的流量行为标记为低频行为；
所述λ1基于以下公式求得：λ1＝(Max(Bcn)-Min(Bcn))/2；
步骤422：遍历各个终端的认证ID对应的五元组信息，计算每个流量行为覆盖的终端数量，得到覆盖数量序列(Dn)，
当覆盖数量序列(Dn)中的元素的数值大于或等于λ2，将该元素对应的流量行为标记为高覆盖行为，当覆盖数量序列(Dn)中的元素的数值小于λ2，将该元素对应的流量行为为低覆盖行为；所述λ2基于以下公式求得：λ2＝(Max(Dn)-Min(Dn))/2；
步骤423：对同时被标记为高频行为和高覆盖行为的流量行为标记为绿色；对同时被标记为低频行为和高覆盖行为的流量行为标记为蓝色；对同时被标记为高频行为和低覆盖行为的流量行为标记为黄色；对同时被标记为低频行为和低覆盖行为的流量行为标记为红色。
7.如权利要求4所述审计方法，其特征在于：步骤4所述取得各流量行为的周期特征包括：
步骤431：提取1个流量行为的时间戳序列，若时间戳的个数大于2，则分别计算时间戳序列中各相邻时间戳的间隔时长，得到一个时间单位为毫秒的数组p，若否，则视为时间戳不存在周期性特征，并设数组p＝0；
步骤432：计算所述数组p的方差，若方差小于0.05则视为时间戳存在周期性特征，并设数组p＝1，若否，则视为时间戳不存在周期性特征，并设数组p＝0；
步骤433：循环执行步骤431至步骤432，直至遍历所有的流量行为。
8.如权利要求4所述审计方法，其特征在于：步骤4所述取得各流量行为的行为流量消耗特征包括：
步骤441：提取1个流量行为的收发包的字节数累计值，录入得到字节数累计序列(Bln)，当字节数累计序列(Bln)中的元素的数值大于或等于λ3，则视为流量行为流量消耗高，并设流量消耗特征L＝1；当字节数累计序列(Bln)中的元素的数值小于λ3，则视为流量行为流量消耗低，并设流量消耗特征L＝0；所述λ3基于以下公式求得：
λ3＝(Max(Bln)-Min(Bln))/2；
步骤442：循环执行步骤441，直至遍历所有的流量行为。
9.如权利要求5所述审计方法，其特征在于：步骤4所述锁定对应于终端所属群组的审计策略包括：
在N个统计周期结束时，在在后继N个统计周期中依据在最后一个统计周期结束时终端锁定的群组分类输出对应的审计策略，所述N为预设值。
10.一种物联网终端流量审计系统，其特征在于，包括：数据获取模块，数据处理模块，存储模块，计算模块，审计策略执行和报告输出模块；
所述数据获取模块用于对接物联网终端认证系统、获取审计对象的认证信息，以及对接流量镜像系统、获取终端的收发包镜像；
所述数据处理模块用于读取数据获取模块、从收发包镜像的包头中提取五元组信息作为描述终端的流量行为；所述五元组信息包括源IP、目的IP、源端口、目的端口和协议；
所述存储模块用于录入流量行为，形成以终端ID为索引的数据库；
所述计算模块用于读取存储模块，基于统计周期内的流量行为锁定终端归属的群组、取得各流量行为的着色标记、各流量行为的周期特征和行为流量消耗特征，锁定对应于终端所属群组的审计策略；
所述审计策略执行和报告输出模块用于读取计算模块，执行审计策略并将执行的结果加工成报告、报表并输出。
CN202210872302.2A 2022-07-20 2022-07-20 一种物联网终端流量审计方法及系统 Active CN115297033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210872302.2A CN115297033B (zh) 2022-07-20 2022-07-20 一种物联网终端流量审计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210872302.2A CN115297033B (zh) 2022-07-20 2022-07-20 一种物联网终端流量审计方法及系统

Publications (2)

Publication Number Publication Date
CN115297033A true CN115297033A (zh) 2022-11-04
CN115297033B CN115297033B (zh) 2023-08-11

Family

ID=83824909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210872302.2A Active CN115297033B (zh) 2022-07-20 2022-07-20 一种物联网终端流量审计方法及系统

Country Status (1)

Country Link
CN (1) CN115297033B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115580657A (zh) * 2022-12-08 2023-01-06 北京亿赛通科技发展有限责任公司 一种基于进程分离的串接流量审计与防护的方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101352007A (zh) * 2005-12-30 2009-01-21 极进网络有限公司 用于流量计量的多优先级多颜色标记器
US20180285479A1 (en) * 2017-04-03 2018-10-04 Superna Inc. Scalable audit analytics
US20190190851A1 (en) * 2017-12-14 2019-06-20 Industrial Technology Research Institute Method and device for monitoring traffic in a network
CN111614611A (zh) * 2020-04-01 2020-09-01 中国电力科学研究院有限公司 一种用于电网嵌入式终端的网络安全审计方法及装置
CN112558948A (zh) * 2020-12-16 2021-03-26 武汉绿色网络信息服务有限责任公司 一种海量流量下报文识别的方法和装置
CN113032710A (zh) * 2021-04-13 2021-06-25 上海汉邦京泰数码技术有限公司 一种综合审计监管系统
CN113792076A (zh) * 2021-09-17 2021-12-14 甘肃同兴智能科技发展有限责任公司 一种数据审计系统
CN114091602A (zh) * 2021-11-18 2022-02-25 西安电子科技大学 一种基于机器学习的ssr流量识别系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101352007A (zh) * 2005-12-30 2009-01-21 极进网络有限公司 用于流量计量的多优先级多颜色标记器
US20180285479A1 (en) * 2017-04-03 2018-10-04 Superna Inc. Scalable audit analytics
US20190190851A1 (en) * 2017-12-14 2019-06-20 Industrial Technology Research Institute Method and device for monitoring traffic in a network
CN111614611A (zh) * 2020-04-01 2020-09-01 中国电力科学研究院有限公司 一种用于电网嵌入式终端的网络安全审计方法及装置
CN112558948A (zh) * 2020-12-16 2021-03-26 武汉绿色网络信息服务有限责任公司 一种海量流量下报文识别的方法和装置
CN113032710A (zh) * 2021-04-13 2021-06-25 上海汉邦京泰数码技术有限公司 一种综合审计监管系统
CN113792076A (zh) * 2021-09-17 2021-12-14 甘肃同兴智能科技发展有限责任公司 一种数据审计系统
CN114091602A (zh) * 2021-11-18 2022-02-25 西安电子科技大学 一种基于机器学习的ssr流量识别系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115580657A (zh) * 2022-12-08 2023-01-06 北京亿赛通科技发展有限责任公司 一种基于进程分离的串接流量审计与防护的方法及装置
CN115580657B (zh) * 2022-12-08 2023-03-10 北京亿赛通科技发展有限责任公司 一种基于进程分离的串接流量审计与防护的方法及装置

Also Published As

Publication number Publication date
CN115297033B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
KR101010302B1 (ko) Ｉｒｃ 및 ｈｔｔｐ 봇넷 보안 관제를 위한 관리 시스템 및 그 방법
US20160191549A1 (en) Rich metadata-based network security monitoring and analysis
CN104115463A (zh) 用于处理网络元数据的流式传输方法和系统
CN105791213B (zh) 一种策略优化装置及方法
CN109379390B (zh) 一种基于全流量的网络安全基线生成方法
CN104869155B (zh) 数据审计方法及装置
CN112463772B (zh) 日志处理方法、装置、日志服务器及存储介质
CN111885106A (zh) 一种基于终端设备特征信息的物联网安全管控方法及系统
CN110266726B (zh) 一种识别ddos攻击数据流的方法及装置
CN115297033B (zh) 一种物联网终端流量审计方法及系统
Park et al. NetCube: a comprehensive network traffic analysis model based on multidimensional OLAP data cube
KR20220029142A (ko) Sdn 컨트롤러 서버 및 이의 sdn 기반 네트워크 트래픽 사용량 분석 방법
CN114760150A (zh) 一种基于大数据的网络安全防护方法及系统
McHugh et al. Passive network forensics: behavioural classification of network hosts based on connection patterns
CN116708253B (zh) 设备识别方法、装置、设备及介质
CN111698168B (zh) 消息处理方法、装置、存储介质及处理器
CN117118711A (zh) 违规用户的检测方法、装置、设备及存储介质
CN114567501B (zh) 基于标签评分的资产自动识别方法、系统及设备
CN112463860A (zh) 优炫数据库查询结果集的解析方法
CN115361154A (zh) 一种会话流量的统计方法及装置
WO2022001480A1 (zh) 热门应用识别方法、网络系统、网络设备及存储介质
CN114285769A (zh) 共享上网检测方法、装置、设备及存储介质
Yoon et al. Header signature maintenance for Internet traffic identification
CN116886453B (zh) 一种网络流量大数据分析方法
CN116962255B (zh) 发现pcdn用户的检测方法、系统、设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant