CN112333706A - 物联网设备异常检测方法、装置、计算设备及存储介质 - Google Patents

物联网设备异常检测方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN112333706A
CN112333706A CN201910642684.8A CN201910642684A CN112333706A CN 112333706 A CN112333706 A CN 112333706A CN 201910642684 A CN201910642684 A CN 201910642684A CN 112333706 A CN112333706 A CN 112333706A
Authority
CN
China
Prior art keywords
internet
things
data
association
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910642684.8A
Other languages
English (en)
Other versions
CN112333706B (zh
Inventor
包森成
方国强
江为强
蒋熠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Zhejiang Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Zhejiang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Zhejiang Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910642684.8A priority Critical patent/CN112333706B/zh
Publication of CN112333706A publication Critical patent/CN112333706A/zh
Application granted granted Critical
Publication of CN112333706B publication Critical patent/CN112333706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/12—Detection or prevention of fraud
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Alarm Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例涉及网络安全技术领域，公开了一种物联网设备异常检测方法、装置、计算设备及存储介质，该方法包括：根据物联网设备的流量数据构建二维的关联图；基于所述关联图进行数据转换生成IDX格式文件；将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常。通过上述方式，本发明实施例采用了更多的分析数据进行无监督学习，并应用关联图和深度学习的方法，可以覆盖更多的业务与异常的场景，有效发现未知的异常，给出更细致的异常告警，使管理员处理起来更加高效。

Description

物联网设备异常检测方法、装置、计算设备及存储介质
技术领域
本发明实施例涉及网络安全技术领域，具体涉及一种物联网设备异常检测方法、装置、计算设备及存储介质。
背景技术
越来越多的物联网设备通过通用分组无线业务(General Packet RadioService，GPRS)或者4G等方式接入到互联网中，与云端进行通信。而物联网终端数量庞大，而且分布广泛，所以很难进行集中管理。而物联网设备一旦遭到入侵，则会造成很大的损失，轻则导致物联网业务受到影响，重则导致对重要网络节点的分布式拒绝服务(Distributed Denial of Service，DDoS)攻击，例如Mirai事件。由于物联网设备功能多种多样，而且分布广泛，传统的网络安全防护方案无法应对物联网设备的安全需求。
在实现本发明实施例的过程中，发明人发现：由于物联网属于一个比较新的领域，目前主要是大量的设备接入到网络，而较少有考虑物联网安全的方案。很多物联网企业或者服务商会部署一些安全防护的方案，主要集中在传统的安全防护设备，而且只针对已知的威胁进行检测，对于未知的异常无法检测，并且对于特征的提取完全依靠人力来实现。这些方案防护的场景有限，无法适应快速增长的物联网业务需求。因此需要一种全新的针对物联网设备的异常检测的方案。
发明内容
鉴于上述问题，本发明实施例提供了一种物联网设备异常检测方法、装置、计算设备及存储介质，克服了上述问题或者至少部分地解决了上述问题。
根据本发明实施例的一个方面，提供了一种物联网设备异常检测方法，所述方法包括：根据物联网设备的流量数据构建二维的关联图；基于所述关联图进行数据转换生成IDX格式文件；将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常。
在一种可选的方式中，所述根据物联网设备的流量数据构建二维的关联图，包括：获取所述物联网设备的流量数据；根据所述流量数据间的关联性，建立相关联的二维知识图谱；将二维知识图谱存储至分布式图数据库中，构建出实体与关系的所述关联图。
在一种可选的方式中，所述获取所述物联网设备流量信息，包括：从网关GPRS支持节点处通过分光的方法采集原始数据包；通过流量分析将数据包解析为结构化的所述流量数据。
在一种可选的方式中，所述根据所述流量数据间的关联性，建立相关联的二维知识图谱，包括：将所述流量数据存储的关系数据转化为三元组形式的流量数据；根据所述三元组形式的流量数据构建图模型，形成基于实体与关系的所述二维知识图谱。
在一种可选的方式中，所述基于所述关联图进行数据转换生成IDX格式文件，包括：对所述关联图进行向量化；根据向量化的所述关联图按照二进制形式转换为灰度图片；将所述灰度图片转换为包含图片集像素信息及统计信息的所述IDX格式文件。
在一种可选的方式中，所述根据向量化的所述关联图按照二进制形式转换为灰度图片，包括：将向量化的所述关联图进行统一长度处理，并按时间段进行切分；将统一长度处理后的所述关联图按照二进制形式转换为灰度图片。
在一种可选的方式中，所述将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常，包括：对从所述IDX格式文件中输入的固定尺寸的流量图片像素值进行归一化处理；应用第一卷积层中的尺寸为5ⅹ5的卷积核对输入进行卷积，生成32个尺寸为28ⅹ28的特征图；应用第一池化层进行一次2ⅹ2的最大值池化操作，生成32个尺寸为14ⅹ14的特征图；应用第二卷积层中的尺寸为5ⅹ5的卷积核对输入进行卷积，生成64个尺寸为14ⅹ14的特征图；应用第二池化层进行一次2ⅹ2的最大值池化操作，生成64个尺寸为7ⅹ7的特征图；应用两个全连接层将数据尺寸依次转换为1024；应用softmax分类器进行分类输出，判断所述物联网设备是否异常。
根据本发明实施例的另一个方面，提供了一种物联网设备异常检测装置，所述装置包括：构建单元，用于根据物联网设备的流量数据构建二维的关联图；转换单元，用于基于所述关联图进行数据转换生成IDX格式文件；训练单元，用于将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常。
根据本发明实施例的另一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述物联网设备异常检测方法的步骤。
根据本发明实施例的又一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使所述处理器执行上述物联网设备异常检测方法的步骤。
本发明实施例通过根据物联网设备的流量数据构建二维的关联图；基于所述关联图进行数据转换生成IDX格式文件；将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常，通过采用更多的分析数据进行无监督学习，并应用关联图和深度学习的方法，可以覆盖更多的业务与异常的场景，有效发现未知的异常，给出更细致的异常告警，使管理员处理起来更加高效。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的物联网设备异常检测方法的流程示意图；
图2示出了本发明实施例提供的物联网设备异常检测方法的流量数据采集示意图；
图3示出了本发明实施例提供的物联网设备异常检测方法的关联图向量化示意图；
图4示出了本发明实施例提供的物联网设备异常检测方法的CNN模型示意图；
图5示出了本发明实施例提供的物联网设备异常检测装置的结构示意图；
图6示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的物联网设备异常检测方法的流程示意图。如图1所示，物联网设备异常检测方法包括：
步骤S11：根据物联网设备的流量数据构建二维的关联图。
在步骤S11中，获取所述物联网设备的流量数据；根据所述流量数据间的关联性，建立相关联的二维知识图谱；将二维知识图谱存储至分布式图数据库中，构建出实体与关系的所述关联图。
在本发明实施例中，主要是获取物联网设备的原始流量PCAP文件、协议元数据、告警、日志等经过多维度解析的信息。流量数据采集的位置如图2所示，物联网包括：属于4G核心网络的全IP的分组核心网(Evolved Packet Core，EPC)、因特网(Internet)以及物联网平台。物联网平台通过Internet与EPC进行通信。Internet与EPC之间通过无线数据块短间隔/无线数据块短间隔(Guard Interval/Short Guard Interval，Gi/SGi)接口进行通信。EPC包括网关GPRS支持节点(Gateway GPRS Support Node，GGSN)、服务GPRS支持节点(Serving GPRS Support Node，SGSN)、归属位置寄存器(Home Location Register，HLR)、移动交换中心(Mobile Switching Center，MSC)、基站以及终端，终端通过基站与接入EPC。终端可以是各种物联网设备，如移动终端、汽车终端、家电设备等，在此不作限制。在本发明实施例中，图2中的圆圈表示获取物联网流量数据的抓包点。从网关GPRS支持节点处通过分光的方法采集原始数据包；通过流量分析将数据包解析为结构化的所述流量数据，并存储在关系型数据库hive中的信息库中。解析后的流量数据包括以下几种字段信息：设备信息：国际移动设备识别码(International Mobile Equipment Identity，IMEI)，国际移动用户识别码(International Mobile Subscriber Identification Number，IMSI)，卡号。网络连接信息：源/目的互联网协议地址(Internet Protocol Address，IP)，源/目的端口，访问的统一资源定位符(Uniform Resource Locator，URL)，时间信息等。业务数据：用户名(telid)，上下行流量信息，位置信息等。
根据不同物联网设备的流量数据间的关联性，建立相关联的知识图谱来表示知识库，通过提取信息库中的实体名称和关系名称将关系型数据库转化为三元组形式结构化知识的框架，再通过构建图数据库的方式将三元组结构化数据转化为知识图谱，最终形成面向物联网安全领域的知识库。
具体地，将所述流量数据存储的关系数据转化为三元组形式的流量数据。根据所述三元组形式的流量数据构建图模型，形成基于实体与关系的所述二维知识图谱。三元组形式的流量数据表示为{实体1，关系，实体2}；其中物联网中的每个物联网设备表示图中的实体，每个实体有其实相关的属性，如IMEI、卡号等等，实体之间的关联表示网络连接信息同样的也有一些属性，如源/目的IP，源/目的端口，访问的URL，时间信息等。基于以上分析，得到三元组形式的资源描述框架(Resource Description Framework，RDF)数据，每个RDF数据列为{实体1，关系，实体2}；其中提取实体为V，提取关系为E，构建图模型；一个完整的图集合表示为一个二元组：G(V，E)，其中：实体V是顶点集合；E是图边的集合，且满足E＝V×V。进一步将存储在关系型数据库hive中的信息库中的流量数据存储到图数据库分布式图数据库janusgraph中，最终构建出一副实体与关系的关联图。
利用知识图谱对物理网流量数据建立设备的关联图，可以有效的描述物联网设备之间的关联关系，并可从语义层面分析物联网设备，可以采用更多的分析数据，覆盖更多的业务与异常的场景。
步骤S12：基于所述关联图进行数据转换生成IDX格式文件。
深度学习输入的流量数据是有格式要求的，而关联图数据是没办法直接进行训练的，因此需要把关联图数据表示成深度学习模型能接收的类图片的形式。数据转换是指从关联图至卷积神经网络(Convolutional Neural Networks，CNN)模型的视频字幕文件格式(IDX格式)的输入数据的处理流程，包括图模型向量化、图片生成、IDX转换。node2vec本质上都是利用相邻节点之间的联系。网络中的节点一般有两种相似度量：内容相似性和结构相似性。其中，内容相似性主要是相邻节点之间的相似性，而结构上相似的的点并不一定是相邻的，可能隔得很远。基于node2vec可以把相邻节点放到相近的位置，这满足深度学习的数据输入的要求。
在步骤S12中，对所述关联图进行向量化；根据向量化的所述关联图按照二进制形式转换为灰度图片；将所述灰度图片转换为包含图片集像素信息及统计信息的所述IDX格式文件。
对关联图进行向量化时，按随机游走随机均匀地选取节点，并生成固定长度的随机游走序列；根据所述随机游走序列应用skip-gram模型学习节点的分布式表示，完成所述关联图的向量化。具体地，如图3所示，在关联图中应用广度优先搜索(Breadth-firstSampling，BFS)和深度优先搜索(Depth-firstSampling，DFS)按随机游走随机均匀地选取节点，并生成固定长度的随机游走序列，将此随机游走序列类比为自然语言中的句子，节点序列＝句子，序列中的节点＝句子中的单词。通过调节两个参数p和q，在BFS和DFS中达到一个平衡，同时考虑到局部和宏观的信息。参数q允许搜索区分向内和向外节点，参数p控制立即重新访问遍历中的节点的可能性。然后应用skip-gram模型学习节点的分布式表示，完成所述关联图的向量化。
完成关联图的向量化之后，将向量化的所述关联图进行统一长度处理，并按时间段进行切分；将统一长度处理后的所述关联图按照二进制形式转换为灰度图片。具体地，将向量化处理过的关联图进行统一长度处理，同时按时间段进行切分，由于相近的时间内的节点通信有相似性这样就完全满足深度学习的对输入数据的要求。统一长度后的关联图按照二进制形式转换为灰度图片，即一个字节对应灰度像素值，例如0x00对应黑色，oxff对应白色。实际上，这一步是可选的，即清理后的文件可直接转换为IDEX格式，使人们直接看到图片，便于直观分析，输出格式为png格式。
在本发明实施例中，进一步将灰度图片转换为IDX格式文件，一个IDX格式文件包含一个图片集的像素信息及统计信息，是很多CNN模型的输入文件标准格式。基于流量数据来对物联网设备从语义层而进行画像，利用表示学习直接从流量数据中自动学习特征的优点，避免了人工特征选择问题。
基于卷积神经网络模型对输入数据进行有效的分类，采用CNN模型来对向量化的流量数据进行异常检测。因为CNN模型很适合用于海量数据的训练，同时它有避免模型过拟合的机制。经过数据转换后的流量数据就是为了适应CNN模型。流量数据的特征根据node2vec的转换已经把语义相邻的节点放到相近的位置，通过时间段把相近的时间放在相近的位置。在不同时间段下的同一节点的两个特征有着很强的关系。
步骤S13：将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常。
在步骤S13中，应用卷积神经网络模型对输入的IDX格式文件进行训练，具体如图4所示：
对从所述IDX格式文件中输入的固定尺寸的流量图片像素值进行归一化处理，将流量图片像素值由0-255转换为0-1。
应用第一卷积层C1中的包括尺寸为5ⅹ5过滤器的卷积核对输入进行卷积，共有32个通道，生成32个尺寸为28ⅹ28的特征图。
应用包括2ⅹ2过滤器的第一池化层P1进行一次2ⅹ2的最大值池化操作，生成32个尺寸为14ⅹ14的特征图。
应用第二卷积层C2中的包括尺寸为5ⅹ5过滤器的卷积核对输入进行卷积，共有64个通道，生成64个尺寸为14ⅹ14的特征图。
应用包括2ⅹ2过滤器的第二池化层P2进行一次2ⅹ2的最大值池化操作，生成64个尺寸为7ⅹ7的特征图。
应用两个全连接层将数据尺寸依次转换为1024。
应用softmax分类器进行分类输出，判断所述物联网设备是否异常。
通过采用关联图和深度学习的方法，应用卷积神经网络模型可以有效发现未知的异常，给出更细致的异常告警，使管理员处理起来更加高效。
本发明实施例通过根据物联网设备的流量数据构建二维的关联图；基于所述关联图进行数据转换生成IDX格式文件；将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常，通过采用更多的分析数据进行无监督学习，并应用关联图和深度学习的方法，可以覆盖更多的业务与异常的场景，有效发现未知的异常，给出更细致的异常告警，使管理员处理起来更加高效。
图5示出了本发明实施例的物联网设备异常检测装置的结构示意图。如图5所示，该物联网设备异常检测装置包括：构建单元501、转换单元502以及训练单元503。其中：
构建单元501用于根据物联网设备的流量数据构建二维的关联图；转换单元502用于基于所述关联图进行数据转换生成IDX格式文件；训练单元503用于将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常。
在一种可选的方式中，构建单元501用于：获取所述物联网设备的流量数据；根据所述流量数据间的关联性，建立相关联的二维知识图谱；将二维知识图谱存储至分布式图数据库中，构建出实体与关系的所述关联图。
在一种可选的方式中，构建单元501用于：从网关GPRS支持节点处通过分光的方法采集原始数据包；通过流量分析将数据包解析为结构化的所述流量数据。
在一种可选的方式中，构建单元501还用于：将所述流量数据存储的关系数据转化为三元组形式的流量数据；根据所述三元组形式的流量数据构建图模型，形成基于实体与关系的所述二维知识图谱。
在一种可选的方式中，转换单元502用于：对所述关联图进行向量化；根据向量化的所述关联图按照二进制形式转换为灰度图片；将所述灰度图片转换为包含图片集像素信息及统计信息的所述IDX格式文件。
在一种可选的方式中，转换单元502用于：将向量化的所述关联图进行统一长度处理，并按时间段进行切分；将统一长度处理后的所述关联图按照二进制形式转换为灰度图片。
在一种可选的方式中，训练单元503用于：对从所述IDX格式文件中输入的固定尺寸的流量图片像素值进行归一化处理；应用第一卷积层中的尺寸为5ⅹ5的卷积核对输入进行卷积，生成32个尺寸为28ⅹ28的特征图；应用第一池化层进行一次2ⅹ2的最大值池化操作，生成32个尺寸为14ⅹ14的特征图；应用第二卷积层中的尺寸为5ⅹ5的卷积核对输入进行卷积，生成64个尺寸为14ⅹ14的特征图；应用第二池化层进行一次2ⅹ2的最大值池化操作，生成64个尺寸为7ⅹ7的特征图；应用两个全连接层将数据尺寸依次转换为1024；应用softmax分类器进行分类输出，判断所述物联网设备是否异常。
本发明实施例通过根据物联网设备的流量数据构建二维的关联图；基于所述关联图进行数据转换生成IDX格式文件；将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常，通过采用更多的分析数据进行无监督学习，并应用关联图和深度学习的方法，可以覆盖更多的业务与异常的场景，有效发现未知的异常，给出更细致的异常告警，使管理员处理起来更加高效。
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的物联网设备异常检测方法。
可执行指令具体可以用于使得处理器执行以下操作：
根据物联网设备的流量数据构建二维的关联图；
基于所述关联图进行数据转换生成IDX格式文件；
将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
获取所述物联网设备的流量数据；
根据所述流量数据间的关联性，建立相关联的二维知识图谱；
将二维知识图谱存储至分布式图数据库中，构建出实体与关系的所述关联图。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
从网关GPRS支持节点处通过分光的方法采集原始数据包；
通过流量分析将数据包解析为结构化的所述流量数据。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
将所述流量数据存储的关系数据转化为三元组形式的流量数据；
根据所述三元组形式的流量数据构建图模型，形成基于实体与关系的所述二维知识图谱。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
对所述关联图进行向量化；
根据向量化的所述关联图按照二进制形式转换为灰度图片；
将所述灰度图片转换为包含图片集像素信息及统计信息的所述IDX格式文件。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
将向量化的所述关联图进行统一长度处理，并按时间段进行切分；
将统一长度处理后的所述关联图按照二进制形式转换为灰度图片。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
对从所述IDX格式文件中输入的固定尺寸的流量图片像素值进行归一化处理；
应用第一卷积层中的尺寸为5ⅹ5的卷积核对输入进行卷积，生成32个尺寸为28ⅹ28的特征图；
应用第一池化层进行一次2ⅹ2的最大值池化操作，生成32个尺寸为14ⅹ14的特征图；
应用第二卷积层中的尺寸为5ⅹ5的卷积核对输入进行卷积，生成64个尺寸为14ⅹ14的特征图；
应用第二池化层进行一次2ⅹ2的最大值池化操作，生成64个尺寸为7ⅹ7的特征图；
应用两个全连接层将数据尺寸依次转换为1024；
应用softmax分类器进行分类输出，判断所述物联网设备是否异常。
本发明实施例通过根据物联网设备的流量数据构建二维的关联图；基于所述关联图进行数据转换生成IDX格式文件；将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常，通过采用更多的分析数据进行无监督学习，并应用关联图和深度学习的方法，可以覆盖更多的业务与异常的场景，有效发现未知的异常，给出更细致的异常告警，使管理员处理起来更加高效。
本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任意方法实施例中的物联网设备异常检测方法。
可执行指令具体可以用于使得处理器执行以下操作：
根据物联网设备的流量数据构建二维的关联图；
基于所述关联图进行数据转换生成IDX格式文件；
将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
获取所述物联网设备的流量数据；
根据所述流量数据间的关联性，建立相关联的二维知识图谱；
将二维知识图谱存储至分布式图数据库中，构建出实体与关系的所述关联图。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
从网关GPRS支持节点处通过分光的方法采集原始数据包；
通过流量分析将数据包解析为结构化的所述流量数据。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
将所述流量数据存储的关系数据转化为三元组形式的流量数据；
根据所述三元组形式的流量数据构建图模型，形成基于实体与关系的所述二维知识图谱。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
对所述关联图进行向量化；
根据向量化的所述关联图按照二进制形式转换为灰度图片；
将所述灰度图片转换为包含图片集像素信息及统计信息的所述IDX格式文件。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
将向量化的所述关联图进行统一长度处理，并按时间段进行切分；
将统一长度处理后的所述关联图按照二进制形式转换为灰度图片。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
对从所述IDX格式文件中输入的固定尺寸的流量图片像素值进行归一化处理；
应用第一卷积层中的尺寸为5ⅹ5的卷积核对输入进行卷积，生成32个尺寸为28ⅹ28的特征图；
应用第一池化层进行一次2ⅹ2的最大值池化操作，生成32个尺寸为14ⅹ14的特征图；
应用第二卷积层中的尺寸为5ⅹ5的卷积核对输入进行卷积，生成64个尺寸为14ⅹ14的特征图；
应用第二池化层进行一次2ⅹ2的最大值池化操作，生成64个尺寸为7ⅹ7的特征图；
应用两个全连接层将数据尺寸依次转换为1024；
应用softmax分类器进行分类输出，判断所述物联网设备是否异常。
本发明实施例通过根据物联网设备的流量数据构建二维的关联图；基于所述关联图进行数据转换生成IDX格式文件；将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常，通过采用更多的分析数据进行无监督学习，并应用关联图和深度学习的方法，可以覆盖更多的业务与异常的场景，有效发现未知的异常，给出更细致的异常告警，使管理员处理起来更加高效。
图6示出了本发明实施例的计算设备的结构示意图，本发明具体实施例并不对设备的具体实现做限定。
如图6所示，该计算设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中：处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。通信接口604，用于与其它设备比如客户端或其它服务器等的网元通信。处理器602，用于执行程序610，具体可以执行上述物联网设备异常检测方法实施例中的相关步骤。
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
处理器602可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序610具体可以用于使得处理器602执行以下操作：
根据物联网设备的流量数据构建二维的关联图；
基于所述关联图进行数据转换生成IDX格式文件；
将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常。
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
获取所述物联网设备的流量数据；
根据所述流量数据间的关联性，建立相关联的二维知识图谱；
将二维知识图谱存储至分布式图数据库中，构建出实体与关系的所述关联图。
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
从网关GPRS支持节点处通过分光的方法采集原始数据包；
通过流量分析将数据包解析为结构化的所述流量数据。
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
将所述流量数据存储的关系数据转化为三元组形式的流量数据；
根据所述三元组形式的流量数据构建图模型，形成基于实体与关系的所述二维知识图谱。
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
对所述关联图进行向量化；
根据向量化的所述关联图按照二进制形式转换为灰度图片；
将所述灰度图片转换为包含图片集像素信息及统计信息的所述IDX格式文件。
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
将向量化的所述关联图进行统一长度处理，并按时间段进行切分；
将统一长度处理后的所述关联图按照二进制形式转换为灰度图片。
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
对从所述IDX格式文件中输入的固定尺寸的流量图片像素值进行归一化处理；
应用第一卷积层中的尺寸为5ⅹ5的卷积核对输入进行卷积，生成32个尺寸为28ⅹ28的特征图；
应用第一池化层进行一次2ⅹ2的最大值池化操作，生成32个尺寸为14ⅹ14的特征图；
应用第二卷积层中的尺寸为5ⅹ5的卷积核对输入进行卷积，生成64个尺寸为14ⅹ14的特征图；
应用第二池化层进行一次2ⅹ2的最大值池化操作，生成64个尺寸为7ⅹ7的特征图；
应用两个全连接层将数据尺寸依次转换为1024；
应用softmax分类器进行分类输出，判断所述物联网设备是否异常。
本发明实施例通过根据物联网设备的流量数据构建二维的关联图；基于所述关联图进行数据转换生成IDX格式文件；将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常，通过采用更多的分析数据进行无监督学习，并应用关联图和深度学习的方法，可以覆盖更多的业务与异常的场景，有效发现未知的异常，给出更细致的异常告警，使管理员处理起来更加高效。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (10)

1.一种物联网设备异常检测方法，其特征在于，所述方法包括：
根据物联网设备的流量数据构建二维的关联图；
基于所述关联图进行数据转换生成IDX格式文件；
将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常。
2.根据权利要求1所述的方法，其特征在于，所述根据物联网设备的流量数据构建二维的关联图，包括：
获取所述物联网设备的流量数据；
根据所述流量数据间的关联性，建立相关联的二维知识图谱；
将二维知识图谱存储至分布式图数据库中，构建出实体与关系的所述关联图。
3.根据权利要求2所述的方法，其特征在于，所述获取所述物联网设备流量信息，包括：
从网关GPRS支持节点处通过分光的方法采集原始数据包；
通过流量分析将数据包解析为结构化的所述流量数据。
4.根据权利要求2所述的方法，其特征在于，所述根据所述流量数据间的关联性，建立相关联的二维知识图谱，包括：
将所述流量数据存储的关系数据转化为三元组形式的流量数据；
根据所述三元组形式的流量数据构建图模型，形成基于实体与关系的所述二维知识图谱。
5.根据权利要求1所述的方法，其特征在于，所述基于所述关联图进行数据转换生成IDX格式文件，包括：
对所述关联图进行向量化；
根据向量化的所述关联图按照二进制形式转换为灰度图片；
将所述灰度图片转换为包含图片集像素信息及统计信息的所述IDX格式文件。
6.根据权利要求5所述的方法，其特征在于，所述根据向量化的所述关联图按照二进制形式转换为灰度图片，包括：
将向量化的所述关联图进行统一长度处理，并按时间段进行切分；
将统一长度处理后的所述关联图按照二进制形式转换为灰度图片。
7.根据权利要求1所述的方法，其特征在于，所述将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常，包括：
对从所述IDX格式文件中输入的固定尺寸的流量图片像素值进行归一化处理；
应用第一卷积层中的尺寸为5ⅹ5的卷积核对输入进行卷积，生成32个尺寸为28ⅹ28的特征图；
应用第一池化层进行一次2ⅹ2的最大值池化操作，生成32个尺寸为14ⅹ14的特征图；
应用第二卷积层中的尺寸为5ⅹ5的卷积核对输入进行卷积，生成64个尺寸为14ⅹ14的特征图；
应用第二池化层进行一次2ⅹ2的最大值池化操作，生成64个尺寸为7ⅹ7的特征图；
应用两个全连接层将数据尺寸依次转换为1024；
应用softmax分类器进行分类输出，判断所述物联网设备是否异常。
8.一种物联网设备异常检测装置，其特征在于，所述装置包括：
构建单元，用于根据物联网设备的流量数据构建二维的关联图；
转换单元，用于基于所述关联图进行数据转换生成IDX格式文件；
训练单元，用于将所述IDX格式文件输入卷积神经网络模型进行训练判断所述物联网设备是否异常。
9.一种计算设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行根据权利要求1-7任一项所述物联网设备异常检测方法的步骤。
10.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行根据权利要求1-7任一项所述物联网设备异常检测方法的步骤。
CN201910642684.8A 2019-07-16 2019-07-16 物联网设备异常检测方法、装置、计算设备及存储介质 Active CN112333706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910642684.8A CN112333706B (zh) 2019-07-16 2019-07-16 物联网设备异常检测方法、装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910642684.8A CN112333706B (zh) 2019-07-16 2019-07-16 物联网设备异常检测方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN112333706A true CN112333706A (zh) 2021-02-05
CN112333706B CN112333706B (zh) 2022-08-23

Family

ID=74319303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910642684.8A Active CN112333706B (zh) 2019-07-16 2019-07-16 物联网设备异常检测方法、装置、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN112333706B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925899A (zh) * 2021-02-09 2021-06-08 重庆中科云从科技有限公司 排序模型建立方法、案件线索推荐方法、装置及介质
CN112968816A (zh) * 2021-03-14 2021-06-15 国网浙江省电力有限公司电力科学研究院 通过流量异常检测筛选物联网设备异常的方法及系统
CN112995229A (zh) * 2021-05-17 2021-06-18 金锐同创(北京)科技股份有限公司 网络攻击流量检测方法、装置、设备及计算机可读存储介质
CN113765928A (zh) * 2021-09-10 2021-12-07 湖南工商大学 物联网入侵检测方法、系统、设备及介质
CN114666282A (zh) * 2021-06-08 2022-06-24 中国科学院信息工程研究所 一种基于机器学习的5g流量识别方法及装置
CN114844681A (zh) * 2022-04-11 2022-08-02 中国科学院信息工程研究所 基于关联图的分析方法、系统、电子设备、存储介质
CN115580564A (zh) * 2022-11-09 2023-01-06 深圳桥通物联科技有限公司 一种物联网通信网关动态调用装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104901833A (zh) * 2015-05-19 2015-09-09 无锡天脉聚源传媒科技有限公司 一种发现异常设备的方法及装置
US9729416B1 (en) * 2016-07-11 2017-08-08 Extrahop Networks, Inc. Anomaly detection using device relationship graphs
CN107241224A (zh) * 2017-06-09 2017-10-10 珠海市鸿瑞软件技术有限公司 一种变电站的网络风险监测方法及系统
US20180041528A1 (en) * 2016-08-04 2018-02-08 Cisco Technology, Inc. Joint anomaly detection across iot devices
US20180096243A1 (en) * 2016-09-30 2018-04-05 General Electric Company Deep learning for data driven feature representation and anomaly detection
CN107948166A (zh) * 2017-11-29 2018-04-20 广东亿迅科技有限公司 基于深度学习的流量异常检测方法及装置
CN108063753A (zh) * 2017-11-10 2018-05-22 全球能源互联网研究院有限公司 一种信息安全监测方法及系统
CN108540451A (zh) * 2018-03-13 2018-09-14 北京理工大学 一种用机器学习技术对网络攻击行为进行分类检测的方法
CN109547455A (zh) * 2018-12-06 2019-03-29 南京邮电大学 工业物联网异常行为检测方法、可读存储介质和终端
CN109818793A (zh) * 2019-01-30 2019-05-28 基本立子(北京)科技发展有限公司 针对物联网的设备类型识别及网络入侵检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104901833A (zh) * 2015-05-19 2015-09-09 无锡天脉聚源传媒科技有限公司 一种发现异常设备的方法及装置
US9729416B1 (en) * 2016-07-11 2017-08-08 Extrahop Networks, Inc. Anomaly detection using device relationship graphs
US20180041528A1 (en) * 2016-08-04 2018-02-08 Cisco Technology, Inc. Joint anomaly detection across iot devices
US20180096243A1 (en) * 2016-09-30 2018-04-05 General Electric Company Deep learning for data driven feature representation and anomaly detection
CN107241224A (zh) * 2017-06-09 2017-10-10 珠海市鸿瑞软件技术有限公司 一种变电站的网络风险监测方法及系统
CN108063753A (zh) * 2017-11-10 2018-05-22 全球能源互联网研究院有限公司 一种信息安全监测方法及系统
CN107948166A (zh) * 2017-11-29 2018-04-20 广东亿迅科技有限公司 基于深度学习的流量异常检测方法及装置
CN108540451A (zh) * 2018-03-13 2018-09-14 北京理工大学 一种用机器学习技术对网络攻击行为进行分类检测的方法
CN109547455A (zh) * 2018-12-06 2019-03-29 南京邮电大学 工业物联网异常行为检测方法、可读存储介质和终端
CN109818793A (zh) * 2019-01-30 2019-05-28 基本立子(北京)科技发展有限公司 针对物联网的设备类型识别及网络入侵检测方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925899A (zh) * 2021-02-09 2021-06-08 重庆中科云从科技有限公司 排序模型建立方法、案件线索推荐方法、装置及介质
CN112925899B (zh) * 2021-02-09 2023-06-23 重庆中科云从科技有限公司 排序模型建立方法、案件线索推荐方法、装置及介质
CN112968816A (zh) * 2021-03-14 2021-06-15 国网浙江省电力有限公司电力科学研究院 通过流量异常检测筛选物联网设备异常的方法及系统
CN112968816B (zh) * 2021-03-14 2022-05-17 国网浙江省电力有限公司电力科学研究院 通过流量异常检测筛选物联网设备异常的方法及系统
CN112995229A (zh) * 2021-05-17 2021-06-18 金锐同创(北京)科技股份有限公司 网络攻击流量检测方法、装置、设备及计算机可读存储介质
CN114666282A (zh) * 2021-06-08 2022-06-24 中国科学院信息工程研究所 一种基于机器学习的5g流量识别方法及装置
CN114666282B (zh) * 2021-06-08 2024-01-05 中国科学院信息工程研究所 一种基于机器学习的5g流量识别方法及装置
CN113765928A (zh) * 2021-09-10 2021-12-07 湖南工商大学 物联网入侵检测方法、系统、设备及介质
CN113765928B (zh) * 2021-09-10 2023-03-24 湖南工商大学 物联网入侵检测方法、设备及介质
CN114844681A (zh) * 2022-04-11 2022-08-02 中国科学院信息工程研究所 基于关联图的分析方法、系统、电子设备、存储介质
CN115580564A (zh) * 2022-11-09 2023-01-06 深圳桥通物联科技有限公司 一种物联网通信网关动态调用装置
CN115580564B (zh) * 2022-11-09 2023-04-18 深圳桥通物联科技有限公司 一种物联网通信网关动态调用装置

Also Published As

Publication number Publication date
CN112333706B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN112333706B (zh) 物联网设备异常检测方法、装置、计算设备及存储介质
CN109960729B (zh) Http恶意流量的检测方法及系统
US20210021616A1 (en) Method and system for classifying data objects based on their network footprint
CN107204956B (zh) 网站识别方法及装置
CN107341399B (zh) 评估代码文件安全性的方法及装置
CN113315742B (zh) 攻击行为检测方法、装置及攻击检测设备
CN114422211B (zh) 基于图注意力网络的http恶意流量检测方法及装置
CN111835763B (zh) 一种dns隧道流量检测方法、装置及电子设备
CN112258254B (zh) 基于大数据架构的互联网广告风险监测方法及系统
CN112804123A (zh) 一种用于调度数据网的网络协议识别方法及系统
CN111953665B (zh) 服务器攻击访问识别方法及系统、计算机设备、存储介质
CN114419363A (zh) 基于无标注样本数据的目标分类模型训练方法及装置
CN112884121A (zh) 基于生成对抗深度卷积网络的流量识别方法
CN114422271B (zh) 数据处理方法、装置、设备及可读存储介质
CN114553722B (zh) 基于多视角一维卷积神经网络的VPN和non-VPN网络流量分类方法
Yujie et al. End-to-end android malware classification based on pure traffic images
CN113300977B (zh) 一种基于多特征融合分析的应用流量识别与分类方法
CN112511384B (zh) 流量数据处理方法、装置、计算机设备和存储介质
CN111447169B (zh) 一种在网关上的实时恶意网页识别方法及系统
CN111291078A (zh) 一种域名匹配检测方法及装置
CN116738369A (zh) 一种流量数据的分类方法、装置、设备及存储介质
CN115496180A (zh) 网络流量特征序列生成模型的训练方法、生成方法及装置
CN111126420A (zh) 一种建立识别模型的方法及装置
CN115392238A (zh) 一种设备识别方法、装置、设备及可读存储介质
CN114970694A (zh) 一种网络安全态势评估方法及其模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant