CN115297033B - 一种物联网终端流量审计方法及系统 - Google Patents

Abstract

本发明公开了一种物联网终端流量审计系统及方法，该系统包括：数据获取模块，数据处理模块，存储模块，计算模块，审计策略执行和报告输出模块；数据获取模块用于获取审计对象的认证信息，以及终端的收发包镜像；数据处理模块用于提取描述终端的流量行为；存储模块用于形成以终端ID为索引的数据库；计算模块用于锁定终端归属的群组及对应审计策略、取得流量行为的着色标记、周期特征和行为流量消耗特征，锁定对应于终端所属群组的审计策略；审计策略执行和报告输出模块用于执行审计策略并输出加工成报告和报表。本发明能够减少对管理者的专业性要求，突出呈现终端行为的周期性和流量消耗特征，减少人工分析的工作量，提高了审计效率的效果。

Description

一种物联网终端流量审计方法及系统

技术领域

本发明属于物联网和数据通信技术领域，尤其涉及一种物联网终端流量审计方法，及用于实现该方法的物联网终端流量审计系统。

背景技术

随着物联网的迅速发展，使用物联网终端或物联网模块的各种设备的数据采集、分发和传递变得更加方便。但同时也带来了以下问题：物联网终端被随意不受控地访问Internet资源，不仅影响终端的工作效率而且威胁应用的安全；物联网终端访问非法地址，传播非法信息，给企业带来法律风险；物联网终端被攻击，不仅影响正常业务而且产生大量流量资费；物联网终端被植入恶意程序，泄露应用机密数据。因此，需要对物联网终端的流量进行审计。传统的流量审计的方法中其行为识别通常包括两种类型，一种是预设策略：审计系统或装置按该预设策略执行，上报被审计信息；这种方案需要策略的设计需要管理者充分了解终端的行为，否则策略的执行结果会与审计意图发生偏差。第二种是不预设策略，流量行为被简单归类或统计后无差别上报，再由其它系统或人工进行后分析；这种方案的审计效率比较低下。此外，现有的流量审计方法在应用于物联网终端流量审计时还存在以下问题：不同应用场景的审计侧重点不同，因此需要针对终端的应用场景实现自动分类审计；物联网终端的行为多存在周期性，而很多异常行为是在设备进行使用一段时间后才会出现，因此需要重点审计终端在运动一端时间后出现的新的流量行为；物联网终端、尤其是蜂窝物联网的流量消耗需要进行重点审计；无差别审计记录会消耗大量的存储空间，因此需要对异常行为进行重点记录。中国专利CN113923192A《一种流量审计方法、装置、系统、设备和介质》公开了一种流量审计方法、装置、系统、设备和介质，其技术方案中将目标节点的DNS流量解析为DNS日志并上报至数据中心，数据中心为DNS记录建立索引，以供查询和调用。该方案的局限性在于：仅对DNS流量进行审计，对非DNS的流量不起作用；未能利用物联网终端的流量特征提高审计效率；对报文加密的DNS请求不起作用。CN113904787A《一种流量审计方法、装置、设备和计算机可读存储介质》中，发明人公开的一种流量审计方法、装置、设备和计算机可读存储介质，其方案通过设置审计要求，将筛选到的有效报文上传到上网行为管理器，放行未识别的报文，而无需上传所有流量，解决了流量审计造成的带宽浪费和时延。该方案的局限性在于：流量筛选需依赖审计要求的设置，需要设计审计要求；不涉及利用物联网终端的流量特征提高审计效率。因此，如何开发出一种新型的物联网终端流量审计系统及方法，以克服现有技术中存在的上述缺陷，是本领域技术人员需要研究的方向。

发明内容

本发明的目的在于提供一种物联网终端流量审计方法，能够减少对管理者的专业性要求，突出呈现终端行为的周期性和流量消耗特征，减少人工分析的工作量，提高了审计效率的效果。

其采用的技术方案如下：

一种物联网终端流量审计方法，其包括如下步骤：

步骤1：获取审计对象的认证信息以及终端的收发包镜像；

步骤2：从收发包镜像的包头中提取五元组信息作为描述终端的流量行为；所述五元组信息包括源IP、目的IP、源端口、目的端口和协议；

步骤3：创建以终端的认证ID为索引的数据库，将描述终端的流量行为录入该数据库中；

步骤4：基于统计周期内的流量行为锁定终端归属的群组、取得各流量行为的着色标记、取得各流量行为的周期特征和行为流量消耗特征，锁定对应于终端所属群组的审计策略；

步骤5：执行审计策略并将执行的结果加工成报告、报表并输出。

优选的是，上述审计方法中，所述步骤1包括：开启一个统计周期计时器；从物联网终端接入互联网的认证节点中获取审计对象的认证信息，所述认证信息包括终端的认证ID；从物联网终端的流量汇聚链路上获取审计对象的流量镜像，并提取包头数据。

优选的是，上述审计方法中，所述步骤2包括：以终端的认证ID为索引，从包头数据中提取其上下行数据包的源IP、目的IP、源端口、目的端口和协议，以所述源IP、目的IP、源端口、目的端口和协议的集合创建为一个流量行为；提取每一个流量行为包的收发时间戳和字节长度；以创建时收到的流量行为包的时间戳为该流量行为的创建时间戳。

优选的是，上述审计方法中，步骤3包括：为每个流量行为记录一个独立的收发包计数值，在统计周期到期后将该收发包计数值存入数据库中对应行为的记录；为每个行为记录一个独立的收发报字节长度累加值，在统计周期到期后将该累加值存入数据库中对应行为的记录；以五元组信息为索引，建立一个流量行为包的收发时间戳的数据序列并保存在另一数据库表中、优选的是，上述审计方法中，步骤4所述锁定终端归属的群组包括：

步骤411：分别将各个终端的所有五元组信息构成一个集合，在数据库内对各个终端的所有五元组信息构成的集合分别构建一个独立群组，并对各独立群组分别赋予一个群组标签；

步骤412：根据包含元素个数从大到小、以及元素个数相同时创建时间从大到小的顺序，将所有终端对应集合进行排序，得到一个有序序列；

步骤413：以所述有序序列的第一个集合为参考集合，从左至右依次计算所述参考集合与其他各个集合的交集，若存在交集且交集内包含DNS以外的行为协议，则将该集合的群组标签替换为参考集合的群组标签，并将该集合从所述有序序列中剔除，直至遍历有序序列中的所有集合；

步骤414：将参考集合从有序序列中剔除；

步骤415：循环跳转至步骤403，直至步骤403中所述有序序列中的所有集合均未将其当前的群组标签替换为当前参考集合的群组标签。

优选的是，上述审计方法中，步骤4所述取得各流量行为的着色标记包括：

步骤421：将每个流量行为的收发包的累计数值录入得到累计数序列(Bcn)，当累计数序列(Bcn)中的元素的数值大于或等于λ1，将该元素对应的流量行为标记为高频行为，当累计数序列(Bcn)中的元素的数值小于λ1，将该元素对应的流量行为标记为低频行为；所述λ1基于以下公式求得：λ1＝(Max(Bcn)-Min(Bcn))/2；

相对于普通上网用户，在工业应用场景中物联网终端的数量更庞大而行为更简单，使用复杂度低的算法可以节省算力；第二有益之处在于，工业场景通常需要对审计结果尽可能快速地采取风险规避策略以降低企业损失，使用复杂度低的算法可以节省运算时间。

步骤422：遍历各个终端的认证ID对应的五元组信息，计算每个流量行为覆盖的终端数量，得到覆盖数量序列(Dn)，

当覆盖数量序列(Dn)中的元素的数值大于或等于λ2，将该元素对应的流量行为标记为高覆盖行为，当覆盖数量序列(Dn)中的元素的数值小于λ2，将该元素对应的流量行为为低覆盖行为；所述λ2基于以下公式求得：λ2＝(Max(Dn)-Min(Dn))/2；

步骤423：对同时被标记为高频行为和高覆盖行为的流量行为标记为绿色；对同时被标记为低频行为和高覆盖行为的流量行为标记为蓝色；对同时被标记为高频行为和低覆盖行为的流量行为标记为黄色；对同时被标记为低频行为和低覆盖行为的流量行为标记为红色。

优选的是，上述审计方法中，步骤4所述取得各流量行为的周期特征包括：

步骤431：提取1个流量行为的时间戳序列，若时间戳的个数大于2，则分别计算时间戳序列中各相邻时间戳的间隔时长，得到一个时间单位为毫秒的数组p，若否，则视为时间戳不存在周期性特征，并设数组p＝0；

步骤432：计算所述数组p的方差，若方差小于0.05则视为时间戳存在周期性特征，并设数组p＝1，若否，则视为时间戳不存在周期性特征，并设数组p＝0；

步骤433：循环执行步骤431至步骤432，直至遍历所有的流量行为。

优选的是，上述审计方法中，步骤4所述取得各流量行为的行为流量消耗特征包括：

步骤441：提取1个流量行为的收发包的字节数累计值，录入得到字节数累计序列(Bln)，当字节数累计序列(Bln)中的元素的数值大于或等于λ3，则视为流量行为流量消耗高，并设流量消耗特征L＝1；当字节数累计序列(Bln)中的元素的数值小于λ3，则视为流量行为流量消耗低，并设流量消耗特征L＝0；所述λ3基于以下公式求得：

λ3＝(Max(Bln)-Min(Bln))/2；

步骤442：循环执行步骤441，直至遍历所有的流量行为。

优选的是，上述审计方法中，步骤4所述锁定对应于终端所属群组的审计策略包括：

在N个统计周期结束时，在在后继N个统计周期中依据在最后一个统计周期结束时终端锁定的群组分类输出对应的审计策略，所述N为预设值。

为实现上述流量审计方法，本发明进一步公开了一种流量审计系统，其采用的技术方案如下：

一种物联网终端流量审计系统，其包括：数据获取模块，数据处理模块，存储模块，计算模块，审计策略执行和报告输出模块；

所述数据获取模块用于对接物联网终端认证系统、获取审计对象的认证信息，以及对接流量镜像系统、获取终端的收发包镜像；

所述数据处理模块用于读取数据获取模块、从收发包镜像的包头中提取五元组信息作为描述终端的流量行为；所述五元组信息包括源IP、目的IP、源端口、目的端口和协议；

所述存储模块用于录入流量行为，形成以终端ID为索引的数据库；

所述计算模块用于读取存储模块，基于统计周期内的流量行为锁定终端归属的群组、取得各流量行为的着色标记、各流量行为的周期特征和行为流量消耗特征，锁定对应于终端所属群组的审计策略；

所述审计策略执行和报告输出模块用于读取计算模块，执行审计策略并将执行的结果加工成报告、报表并输出。

与现有技术相比，上述方案取得了如下技术效果：

1、基于物联网终端的流量行为特征，自动计算出审计规则，因此无需管理者充分了解终端的具体流量行为，减少了管理者的负担。

2、针对流量行为发生频率的大小和其所覆盖终端数量的多少打上着色标记，便于管理者阅览审计报告，突出呈现终端行为的周期性和流量消耗特征，降低审计工作对管理者专业知识的要求，减少人工分析的工作量，提高了审计效率的效果。

3、不局限于某一特定的通信协议，适用性广泛。

4、能够自动识别管理者预设需记录的审计内容，无需保存非重点审计流量内容，节约了存储空间。

附图说明

图1为实施例1的工作流程图；

图2为终端认证ID与五元组信息的数据关系示意图；

图3为五元组信息与数据包时间戳的数据关系示意图；

图4为终端归属群组标签与五元组信息的数据关系示意图；

图5为终端的五元组信息与流量行为的着色标记的数据关系示意图；

图6为终端的五元组信息与流量行为的周期性特征的数据关系示意图；

图7为终端的五元组信息和流量消耗特征的数据关系示意图；

图8为终端的五元组信息和审计规则的数据关系示意图。

图9为实施例1的系统框图。

各附图标记对应部件名称如下：

1、数据获取模块；2、数据处理模块；3、存储模块；4、计算模块；5、审计策略执行和报告输出模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图9所示为实施例1：

一种物联网终端流量审计系统，其包括：数据获取模块1，数据处理模块2，存储模块3，计算模块4，审计策略执行和报告输出模块5；

所述数据获取模块1用于对接物联网终端认证系统、获取审计对象的认证信息，以及对接流量镜像系统、获取终端的收发包镜像；

所述数据处理模块2用于读取数据获取模块1、从收发包镜像的包头中提取五元组信息作为描述终端的流量行为；所述五元组信息包括源IP、目的IP、源端口、目的端口和协议；

所述存储模块3用于录入流量行为，形成以终端ID为索引的数据库；

所述计算模块4用于读取存储模块3，基于统计周期内的流量行为锁定终端归属的群组、取得各流量行为的着色标记、各流量行为的周期特征和行为流量消耗特征，锁定对应于终端所属群组的审计策略；

所述审计策略执行和报告输出模块5用于读取计算模块4，执行审计策略并将执行的结果加工成报告、报表并输出。

如图1-8所示：

实践中，其工作过程如下：

步骤1：获取审计对象的认证信息以及终端的收发包镜像；具体的，所述步骤1包括：开启一个统计周期计时器；第一方面从物联网终端接入互联网的认证节点中获取审计对象的认证信息，所述认证信息至少包括终端的认证ID；第二方面从物联网终端的流量汇聚链路上获取审计对象的流量镜像，并提取包头数据。本例中，所述统计周期计时器的默认老化时间为15分钟。

步骤2：从收发包镜像的包头中提取五元组信息作为描述终端的流量行为；所述五元组信息包括源IP、目的IP、源端口、目的端口和协议；具体的，所述步骤2包括：以终端的认证ID为索引，从包头数据中提取其上下行数据包的源IP、目的IP、源端口、目的端口和协议。将每一条不同的五元组信息视为一个独立的对终端的描述，即：将每一个以所述源IP、目的IP、源端口、目的端口和协议的集合创建为一个流量行为；提取每一个流量行为包的收发时间戳和字节长度；以创建时收到的流量行为包的时间戳为该流量行为的创建时间戳。

步骤3：创建以终端的认证ID为索引的数据库，将描述终端的流量行为录入该数据库中；具体的，所述步骤3包括：如图2所示：为每个流量行为记录一个独立的收发包计数值，在统计周期到期后将该收发包计数值存入数据库中对应行为的记录；为每个行为记录一个独立的收发报字节长度累加值，在统计周期到期后将该累加值存入数据库中对应行为的记录；如图3所示：以五元组信息为索引，建立一个流量行为包的收发时间戳的数据序列并保存在另一数据库表中

步骤4：基于统计周期内的流量行为锁定终端归属的群组、取得各流量行为的着色标记、取得各流量行为的周期特征和行为流量消耗特征，锁定对应于终端所属群组的审计策略。

其中，所述锁定终端归属的群组包括：

步骤411：分别将各个终端的所有五元组信息构成一个集合，在数据库内对各个终端的所有五元组信息构成的集合分别构建一个独立群组，并对各独立群组分别赋予一个群组标签；

步骤412：根据包含元素个数从大到小、以及元素个数相同时创建时间从大到小的顺序，将所有终端对应集合进行排序，得到一个有序序列；

步骤413：以所述有序序列的第一个集合为参考集合，从左至右依次计算所述参考集合与其他各个集合的交集，若存在交集且交集内包含DNS以外的行为协议，则将该集合的群组标签替换为参考集合的群组标签，并将该集合从所述有序序列中剔除，直至遍历有序序列中的所有集合；

步骤414：将参考集合从有序序列中剔除；

步骤415：循环跳转至步骤403，直至步骤403中所述有序序列中的所有集合均未将其当前的群组标签替换为当前参考集合的群组标签。

所述取得各流量行为的着色标记包括：

步骤421：将每个流量行为的收发包的累计数值录入得到累计数序列(Bcn)，当累计数序列(Bcn)中的元素的数值大于或等于λ1，将该元素对应的流量行为标记为高频行为，当累计数序列(Bcn)中的元素的数值小于λ1，将该元素对应的流量行为标记为低频行为；所述λ1基于以下公式求得：λ1＝(Max(Bcn)-Min(Bcn))/2；

步骤422：遍历各个终端的认证ID对应的五元组信息，计算每个流量行为覆盖的终端数量，得到覆盖数量序列(Dn)，

当覆盖数量序列(Dn)中的元素的数值大于或等于λ2，将该元素对应的流量行为标记为高覆盖行为，当覆盖数量序列(Dn)中的元素的数值小于λ2，将该元素对应的流量行为为低覆盖行为；所述λ2基于以下公式求得：λ2＝(Max(Dn)-Min(Dn))/2；

步骤423：对同时被标记为高频行为和高覆盖行为的流量行为标记为绿色；对同时被标记为低频行为和高覆盖行为的流量行为标记为蓝色；对同时被标记为高频行为和低覆盖行为的流量行为标记为黄色；对同时被标记为低频行为和低覆盖行为的流量行为标记为红色。

所述取得各流量行为的周期特征包括：

步骤431：提取1个流量行为的时间戳序列，若时间戳的个数大于2，则分别计算时间戳序列中各相邻时间戳的间隔时长，得到一个时间单位为毫秒的数组p，若否，则视为时间戳不存在周期性特征，并设数组p＝0；

步骤432：计算所述数组p的方差，若方差小于0.05则视为时间戳存在周期性特征，并设数组p＝1，若否，则视为时间戳不存在周期性特征，并设数组p＝0；

步骤433：循环执行步骤431至步骤432，直至遍历所有的流量行为。

所述取得各流量行为的行为流量消耗特征包括：

步骤441：提取1个流量行为的收发包的字节数累计值，录入得到字节数累计序列(Bln)，当字节数累计序列(Bln)中的元素的数值大于或等于λ3，则视为流量行为流量消耗高，并设流量消耗特征L＝1；当字节数累计序列(Bln)中的元素的数值小于λ3，则视为流量行为流量消耗低，并设流量消耗特征L＝0；所述λ3基于以下公式求得：

λ3＝(Max(Bln)-Min(Bln))/2；

步骤442：循环执行步骤441，直至遍历所有的流量行为。

所述锁定对应于终端所属群组的审计策略包括：

在N个统计周期结束时，在在后继N个统计周期中依据在最后一个统计周期结束时终端锁定的群组分类输出对应的审计策略，所述N为预设值，一般默认为4。

行为的审计规则侧重点由周期性特征和流量消耗特征属性决定，生成的审计规则如下：

有周期性，消耗流量高。记录终端ID，记录终端群组ID，记录着色标记，记录行为五元组信息，记录周期，记录流量消耗，记录终端访问的域名。

有周期，流量消耗低。记录终端ID，记录终端群组ID，记录着色标记，记录终端ID记录行为五元组信息，记录周期，记录终端访问的域名。

无周期，流量消耗高。记录终端ID，记录终端群组ID，记录着色标记，记录行为五元组信息，记录流量消耗，记录终端访问的域名、URL。

无周期，流量消耗低。记录终端ID，记录终端群组ID，记录着色标记，记录行为五元组信息，记录终端访问的域名、URL，记录终端上传或下载的文件。

步骤5：执行审计策略并将执行的结果加工成报告、报表并输出。

与现有技术相比，区别于普通互联网用户上网流量的审计方法，本发明利用物联网终端流量行为特征，提供的审计方法和系统可自动计算出审计规则，无需管理者在充分了解物联网终端具体流量行为的基础上手工设计、配置和变更，其作用不仅限于某一特定的通信协议。本发明提供的系统能够自动将物联网终端进行归类审计。系统所输出的审计报表、报告能够根据流量行为发生频率的大小和其所覆盖终端数量的多少打上着色标记，便于管理者阅览审计报告，突出呈现终端行为的周期性和流量消耗特征，便于管理者将审计工作的注意力聚焦于那些异常终端和异常行为，而不必逐条分析审计记录，降低流量审计工作对管理者专业知识的要求，也起到减少人工分析的工作量，提高审计效率的效果。本发明提供的系统能够识别到物联网终端管理者最需要记录的审计内容，不需要消耗大量的存储空间保存非重点审计的流量内容。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (2)

1.一种物联网终端流量审计方法，其特征在于，包括如下步骤：

步骤1：获取审计对象的认证信息以及终端的收发包镜像；

步骤2：从收发包镜像的包头中提取五元组信息作为描述终端的流量行为；所述五元组信息包括源IP、目的IP、源端口、目的端口和协议；

步骤3：创建以终端的认证ID为索引的数据库，将描述终端的流量行为录入该数据库中；

步骤4：基于统计周期内的流量行为锁定终端归属的群组、取得各流量行为的着色标记、取得各流量行为的周期特征和行为流量消耗特征，锁定对应于终端所属群组的审计策略；

步骤5：执行审计策略并将执行的结果加工成报告、报表并输出；

开启一个统计周期计时器；从物联网终端接入互联网的认证节点中获取审计对象的认证信息，所述认证信息包括终端的认证ID；从物联网终端的流量汇聚链路上获取审计对象的流量镜像，并提取包头数据；

以终端的认证ID为索引，从包头数据中提取其上下行数据包的源IP、目的IP、源端口、目的端口和协议，以所述源IP、目的IP、源端口、目的端口和协议的集合创建为一个流量行为；提取每一个流量行为包的收发时间戳和字节长度；以创建时收到的流量行为包的时间戳为该流量行为的创建时间戳；

为每个流量行为记录一个独立的收发包计数值，在统计周期到期后将该收发包计数值存入数据库中对应行为的记录；为每个行为记录一个独立的收发报字节长度累加值，在统计周期到期后将该累加值存入数据库中对应行为的记录；以五元组信息为索引，建立一个流量行为包的收发时间戳的数据序列并保存在另一数据库表中；

步骤4所述取得各流量行为的着色标记包括：

步骤421：将每个流量行为的收发包的累计数值录入得到累计数序列（Bcn），当累计数序列（Bcn）中的元素的数值大于或等于λ1，将该元素对应的流量行为标记为高频行为，当累计数序列（Bcn）中的元素的数值小于λ1，将该元素对应的流量行为标记为低频行为；

所述λ1基于以下公式求得：λ1=（Max（Bcn）-Min（Bcn））/2;

步骤422：遍历各个终端的认证ID对应的五元组信息，计算每个流量行为覆盖的终端数量，得到覆盖数量序列（Dn），

当覆盖数量序列（Dn）中的元素的数值大于或等于λ2，将该元素对应的流量行为标记为高覆盖行为，当覆盖数量序列（Dn）中的元素的数值小于λ2，将该元素对应的流量行为为低覆盖行为；所述λ2基于以下公式求得：λ2=（Max（Dn）-Min（Dn））/2;

步骤423：对同时被标记为高频行为和高覆盖行为的流量行为标记为绿色；对同时被标记为低频行为和高覆盖行为的流量行为标记为蓝色；对同时被标记为高频行为和低覆盖行为的流量行为标记为黄色；对同时被标记为低频行为和低覆盖行为的流量行为标记为红色；

步骤4所述取得各流量行为的周期特征包括：

步骤431：提取1个流量行为的时间戳序列，若时间戳的个数大于2，则分别计算时间戳序列中各相邻时间戳的间隔时长，得到一个时间单位为毫秒的数组p，若否，则视为时间戳不存在周期性特征，并设数组p=0；

步骤432：计算所述数组p的方差，若方差小于0.05则视为时间戳存在周期性特征，并设数组p=1，若否，则视为时间戳不存在周期性特征，并设数组p=0；

步骤433：循环执行步骤431至步骤432，直至遍历所有的流量行为；

步骤4所述取得各流量行为的行为流量消耗特征包括：

步骤441：提取1个流量行为的收发包的字节数累计值，录入得到字节数累计序列（Bln），当字节数累计序列（Bln）中的元素的数值大于或等于λ3，则视为流量行为流量消耗高，并设流量消耗特征L=1；当字节数累计序列（Bln）中的元素的数值小于λ3，则视为流量行为流量消耗低，并设流量消耗特征L=0；所述λ3基于以下公式求得：

λ3=（Max（Bln）-Min（Bln））/2;

步骤442：循环执行步骤441，直至遍历所有的流量行为。

2.如权利要求1所述审计方法，其特征在于：步骤4所述锁定对应于终端所属群组的审计策略包括：

在N个统计周期结束时，在在后继N个统计周期中依据在最后一个统计周期结束时终端锁定的群组分类输出对应的审计策略，所述N为预设值。