CN110086829B - 一种基于机器学习技术进行物联网异常行为检测的方法 - Google Patents

一种基于机器学习技术进行物联网异常行为检测的方法 Download PDF

Info

Publication number
CN110086829B
CN110086829B CN201910398517.3A CN201910398517A CN110086829B CN 110086829 B CN110086829 B CN 110086829B CN 201910398517 A CN201910398517 A CN 201910398517A CN 110086829 B CN110086829 B CN 110086829B
Authority
CN
China
Prior art keywords
data
internet
machine learning
things
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910398517.3A
Other languages
English (en)
Other versions
CN110086829A (zh
Inventor
常清雪
江佳峻
龚致
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201910398517.3A priority Critical patent/CN110086829B/zh
Publication of CN110086829A publication Critical patent/CN110086829A/zh
Application granted granted Critical
Publication of CN110086829B publication Critical patent/CN110086829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Abstract

本发明公开了一种基于机器学习技术进行物联网异常行为检测的方法，包括以下步骤：A.搜集物联网协议数据；B.对搜集到的数据进行特征处理，根据数据中的键值区分数据属于数值型还是字符型；若属于数值型则进入步骤C，若属于字符型则进入步骤D；C.对属于数值型的数据进行周期性行为计算，并利用机器学习算法建模，预测异常数据；D.对属于字符型的数据进行分词处理判断字符熵，并进行机器学习算法建模，计算离群点从而区分异常数据。本发明的方法，通过利用机器学习算法，分析物联网正常流量特征，从而实现对流量行为进行预测。

Description

一种基于机器学习技术进行物联网异常行为检测的方法
技术领域
本发明涉及物联网安全技术领域，特别涉及一种基于机器学习技术进行物联网异常行为检测的方法。
背景技术
在物联网领域，目前绝大部分威胁来源于对物联网终端的硬件破解或近场通信攻击，在设备与物联网云端通信层面，几乎未爆出有IoT的攻击威胁事件，因此也未有对应的规则进行威胁检测识别，导致对于隐藏在物联网通信协议中的威胁，无法发现。
因此，可制定一种基于机器学习技术进行物联网异常行为检测的方法，利用机器学习算法，分析物联网正常流量特征，对流量行为进行预测，如果已经发生的流量和预测的流量相差较大，则存在威胁，从而发现威胁事件，及时发现物联网设备受攻击的情况，采取安全防护措施，减少损失。
发明内容
本发明的目的是克服上述背景技术中不足，提供一种基于机器学习技术进行物联网异常行为检测的方法，通过利用机器学习算法，分析物联网正常流量特征，从而实现对流量数据的异常行为进行预测。
为了达到上述的技术效果，本发明采取以下技术方案：
一种基于机器学习技术进行物联网异常行为检测的方法，包括以下步骤：
A.搜集物联网协议数据；
B.对搜集到的数据进行特征处理，根据数据中的键值区分数据属于数值型还是字符型；若属于数值型则进入步骤C，若属于字符型则进入步骤D；
C.对属于数值型的数据进行周期性行为计算，并利用机器学习算法建模，预测异常数据；
D.对属于字符型的数据进行分词处理判断字符熵，并进行机器学习算法建模，计算离群点从而区分异常数据。
进一步地，所述步骤A中搜集的物联网协议数据包括http协议数据、MQTT协议数据、XMPP协议数据。
进一步地，所述搜集物联网协议数据时具体是在物联网云端服务器流量出入口处进行搜集。
进一步地，所述搜集的物联网协议数据为流量数据或已经解析过的消息数据。
进一步地，若搜集的物联网协议数据为流量数据，则步骤A中还需对搜集的流量数据进行消息解析及还原。
进一步地，所述步骤B具体包括：
B1.对搜集到的数据按照统一的格式进行格式化处理；
B2.对格式化处理之后的数据中的键值进行区分，将数据分为数值型和字符型；
B3.若数据属于数值型则进入步骤C，若属于字符型则进入步骤D。
进一步地，所述格式化处理具体为：采用统一的json格式进行数据存储，其中，存储的数据内容包括协议名称，协议中的参数，其中，所述协议中的参数包含请求中的参数、协议中的指令类型、消息payload中的值。
进一步地，所述步骤C具体包括：
C1.对属于数值型的数据进行特征增维；
C2.对增维后的数据进行傅里叶变换计算其周期性，并进行周期性检测；
C3.若存在周期性，则对数据进行时序性预测，如果实际值与预测结果超过阈值，则判定为异常，否则判定为正常；
C4.若不存在周期性，则对数据进行线性相关性预测，如果实际值与预测结果超过阈值，则判定为异常，否则判定为正常。
进一步地，所述步骤C1中特征增维包括数值的平方，数值的熵。
进一步地，所述步骤D具体包括：对属于字符型的数据进行n-gram分词，并进行熵计算，再根据熵的值判断字符串存在的规律，然后进行聚类计算离群点，从而识别异常数据。
本发明与现有技术相比，具有以下的有益效果：
本发明的基于机器学习技术进行物联网异常行为检测的方法，利用机器学习算法，来分析物联网正常流量特征，以对物联网流量数据行为进行预测，具体为在已经发生的流量数据和预测的流量数据相差较大时，则判定存在威胁，从而及时发现威胁事件，以及时发现物联网设备受攻击的情况，以便第一时间采取安全防护措施，实现降低损失。
具体实施方式
下面结合本发明的实施例对本发明作进一步的阐述和说明。
实施例：
实施例一：
一种基于机器学习技术进行物联网异常行为检测的方法，用于发现物联网通信消息中的未知威胁，包括以下步骤：
A.搜集物联网协议数据；其中，搜集的物联网协议数据包括http协议数据、MQTT协议数据、XMPP协议数据；作为优选，本实施例中，搜集物联网协议数据时具体是在物联网云端服务器流量出入口处进行搜集。
同时，在步骤A中，所述搜集的物联网协议数据为流量数据或已经解析过的消息数据，且若搜集的物联网协议数据为流量数据，则步骤A中还需对搜集的流量数据进行消息解析及还原。
B.对搜集到的数据进行特征处理，根据数据中的键值区分数据属于数值型还是字符型；若属于数值型则进入步骤C，若属于字符型则进入步骤D；
具体包括：
B1.对搜集到的数据按照统一的格式进行格式化处理；
B2.对格式化处理之后的数据中的键值进行区分，将数据分为数值型和字符型；
B3.若数据属于数值型则进入步骤C，若属于字符型则进入步骤D。
作为优选，本实施例中，在步骤B1中，所述格式化处理具体为：采用统一的json格式进行数据存储，其中，存储的数据内容包括协议名称，协议中的参数，其中，所述协议中的参数包含请求中的参数、协议中的指令类型、消息payload中的值。
C.对属于数值型的数据进行周期性行为计算，并利用机器学习算法建模，预测异常数据；
具体包括：
C1.对属于数值型的数据进行特征增维；其中，特征增维包括数值的平方，数值的熵等；
C2.对增维后的数据进行傅里叶变换计算其周期性，并进行周期性检测；
C3.若数据存在周期性，则对数据进行时序性预测，如果实际值与预测结果超过阈值，则判定为异常，否则判定为正常；
C4.若数据不存在周期性，则对数据进行线性相关性预测，如果实际值与预测结果超过阈值，则判定为异常，否则判定为正常。
D.对属于字符型的数据进行分词处理判断字符熵，并进行机器学习算法建模，计算离群点从而区分异常数据。
具体包括：对属于字符型的数据进行n-gram分词，并进行熵计算，再根据熵的值判断字符串存在的规律，然后进行聚类计算离群点，从而识别异常数据。
由上可知，本发明的基于机器学习技术进行物联网异常行为检测的方法，利用机器学习算法，来分析物联网正常流量特征，以对物联网流量数据行为进行预测，具体为在已经发生的流量数据和预测的流量数据相差较大时，则判定存在威胁，从而及时发现威胁事件，以及时发现物联网设备受攻击的情况，以便第一时间采取安全防护措施，实现降低损失。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (8)

1.一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，包括以下步骤：
A.搜集物联网协议数据；
B.对搜集到的数据进行特征处理，根据数据中的键值区分数据属于数值型还是字符型；若属于数值型则进入步骤C，若属于字符型则进入步骤D；
C.对属于数值型的数据进行周期性行为计算，并利用机器学习算法建模，预测异常数据；
具体包括：
C1.对属于数值型的数据进行特征增维；
C2.对增维后的数据进行傅里叶变换计算其周期性，并进行周期性检测；
C3.若存在周期性，则对数据进行时序性预测，如果实际值与预测结果超过阈值，则判定为异常，否则判定为正常；
C4.若不存在周期性，则对数据进行线性相关性预测，如果实际值与预测结果超过阈值，则判定为异常，否则判定为正常；
D.对属于字符型的数据进行分词处理判断字符熵，并进行机器学习算法建模，计算离群点从而区分异常数据；
具体包括：对属于字符型的数据进行n-gram分词，并进行熵计算，再根据熵的值判断字符串存在的规律，然后进行聚类计算离群点，从而识别异常数据。
2.根据权利要求1所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，所述步骤A中搜集的物联网协议数据包括http协议数据、MQTT协议数据、XMPP协议数据。
3.根据权利要求1或2所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，所述搜集物联网协议数据时具体是在物联网云端服务器流量出入口处进行搜集。
4.根据权利要求1或2所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，所述搜集的物联网协议数据为流量数据或已经解析过的消息数据。
5.根据权利要求4所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，若搜集的物联网协议数据为流量数据，则步骤A中还需对搜集的流量数据进行消息解析及还原。
6.根据权利要求1所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，所述步骤B具体包括：
B1.对搜集到的数据按照统一的格式进行格式化处理；
B2.对格式化处理之后的数据中的键值进行区分，将数据分为数值型和字符型；
B3.若数据属于数值型则进入步骤C，若属于字符型则进入步骤D。
7.根据权利要求6所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，所述格式化处理具体为：采用统一的json格式进行数据存储，其中，存储的数据内容包括协议名称，协议中的参数，其中，所述协议中的参数包含请求中的参数、协议中的指令类型、消息payload中的值。
8.根据权利要求1所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，所述步骤C1中特征增维包括数值的平方，数值的熵。
CN201910398517.3A 2019-05-14 2019-05-14 一种基于机器学习技术进行物联网异常行为检测的方法 Active CN110086829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910398517.3A CN110086829B (zh) 2019-05-14 2019-05-14 一种基于机器学习技术进行物联网异常行为检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910398517.3A CN110086829B (zh) 2019-05-14 2019-05-14 一种基于机器学习技术进行物联网异常行为检测的方法

Publications (2)

Publication Number Publication Date
CN110086829A CN110086829A (zh) 2019-08-02
CN110086829B true CN110086829B (zh) 2021-06-22

Family

ID=67420089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910398517.3A Active CN110086829B (zh) 2019-05-14 2019-05-14 一种基于机器学习技术进行物联网异常行为检测的方法

Country Status (1)

Country Link
CN (1) CN110086829B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109274677B (zh) * 2018-10-11 2021-04-27 四川长虹电器股份有限公司 基于机器学习的ip分类方法及系统
CN111639497B (zh) * 2020-05-27 2021-01-15 北京东方通科技股份有限公司 一种基于大数据机器学习的异常行为发现方法
CN112131388B (zh) * 2020-09-28 2024-02-06 范馨月 一种包含文本型数据类型的异常数据检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854063A (zh) * 2012-11-29 2014-06-11 中国科学院计算机网络信息中心 一种基于互联网开放信息的事件发生风险预测并预警方法
CN104714969A (zh) * 2013-12-16 2015-06-17 阿里巴巴集团控股有限公司 一种属性值的检测方法和检测装置
CN106844576A (zh) * 2017-01-06 2017-06-13 北京蓝海讯通科技股份有限公司 一种异常检测方法、装置和监控设备
CN107426199A (zh) * 2017-07-05 2017-12-01 浙江鹏信信息科技股份有限公司 一种网络异常行为检测与分析的方法及系统
CN108712404A (zh) * 2018-05-04 2018-10-26 重庆邮电大学 一种基于机器学习的物联网入侵检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146004B (zh) * 2017-04-20 2018-02-16 浙江大学 一种基于数据挖掘的矿渣粉磨系统健康状态识别系统及方法
CN109492217A (zh) * 2018-10-11 2019-03-19 平安科技（深圳）有限公司 一种基于机器学习的分词方法及终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854063A (zh) * 2012-11-29 2014-06-11 中国科学院计算机网络信息中心 一种基于互联网开放信息的事件发生风险预测并预警方法
CN104714969A (zh) * 2013-12-16 2015-06-17 阿里巴巴集团控股有限公司 一种属性值的检测方法和检测装置
CN106844576A (zh) * 2017-01-06 2017-06-13 北京蓝海讯通科技股份有限公司 一种异常检测方法、装置和监控设备
CN107426199A (zh) * 2017-07-05 2017-12-01 浙江鹏信信息科技股份有限公司 一种网络异常行为检测与分析的方法及系统
CN108712404A (zh) * 2018-05-04 2018-10-26 重庆邮电大学 一种基于机器学习的物联网入侵检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无监督异常检测技术研究及应用;黄斌;《中国优秀硕士学位论文全文数据库 信息科技辑（2009）》;20090815(第8期);全文 *

Also Published As

Publication number Publication date
CN110086829A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110086829B (zh) 一种基于机器学习技术进行物联网异常行为检测的方法
CN108429651B (zh) 流量数据检测方法、装置、电子设备及计算机可读介质
US8850582B2 (en) Security monitoring system and security monitoring method
CN109660518B (zh) 网络的通信数据检测方法、装置以及机器可读存储介质
WO2016082284A1 (zh) 基于OCSVM双轮廓模型的Modbus TCP通信行为异常检测方法
CN109729090B (zh) 一种基于wedms聚类的慢速拒绝服务攻击检测方法
CN110909811A (zh) 一种基于ocsvm的电网异常行为检测、分析方法与系统
CN111669375A (zh) 一种电力工控终端在线安全态势评估方法及系统
CN112953971B (zh) 一种网络安全流量入侵检测方法和系统
CN111885059B (zh) 一种工业网络流量异常检测定位的方法
CN110324323B (zh) 一种新能源厂站涉网端实时交互过程异常检测方法及系统
CN101668012B (zh) 安全事件检测方法及装置
CN109347853B (zh) 基于深度包解析的面向综合电子系统的异常检测方法
CN105376193A (zh) 安全事件的智能关联分析方法与装置
CN114079579B (zh) 一种恶意加密流量检测方法及装置
CN110719270A (zh) 一种基于fcm算法的慢速拒绝服务攻击检测方法
CN105959321A (zh) 网络远程主机操作系统被动识别方法及装置
CN110266680B (zh) 一种基于双重相似性度量的工业通信异常检测方法
CN109743339B (zh) 电力厂站的网络安全监测方法和装置、计算机设备
US11102082B1 (en) System and method for inferring operating systems using transmission control protocol fingerprints
CN112073396A (zh) 一种内网横向移动攻击行为的检测方法及装置
CN110650145A (zh) 一种基于sa-dbscan算法的低速率拒绝服务攻击检测方法
CN114499917B (zh) Cc攻击检测方法及cc攻击检测装置
KR102369240B1 (ko) 네트워크 공격 탐지 장치 및 방법
CN112291213A (zh) 一种基于智能终端的异常流量分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant