CN110086829A - 一种基于机器学习技术进行物联网异常行为检测的方法 - Google Patents
一种基于机器学习技术进行物联网异常行为检测的方法 Download PDFInfo
- Publication number
- CN110086829A CN110086829A CN201910398517.3A CN201910398517A CN110086829A CN 110086829 A CN110086829 A CN 110086829A CN 201910398517 A CN201910398517 A CN 201910398517A CN 110086829 A CN110086829 A CN 110086829A
- Authority
- CN
- China
- Prior art keywords
- data
- things
- machine learning
- internet
- carried out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种基于机器学习技术进行物联网异常行为检测的方法，包括以下步骤：A.搜集物联网协议数据；B.对搜集到的数据进行特征处理，根据数据中的键值区分数据属于数值型还是字符型；若属于数值型则进入步骤C，若属于字符型则进入步骤D；C.对属于数值型的数据进行周期性行为计算，并利用机器学习算法建模，预测异常数据；D.对属于字符型的数据进行分词处理判断字符熵，并进行机器学习算法建模，计算离群点从而区分异常数据。本发明的方法，通过利用机器学习算法，分析物联网正常流量特征，从而实现对流量行为进行预测。
Description
技术领域
本发明涉及物联网安全技术领域，特别涉及一种基于机器学习技术进行物联网异常行为检测的方法。
背景技术
在物联网领域，目前绝大部分威胁来源于对物联网终端的硬件破解或近场通信攻击，在设备与物联网云端通信层面，几乎未爆出有IoT的攻击威胁事件，因此也未有对应的规则进行威胁检测识别，导致对于隐藏在物联网通信协议中的威胁，无法发现。
因此，可制定一种基于机器学习技术进行物联网异常行为检测的方法，利用机器学习算法，分析物联网正常流量特征，对流量行为进行预测，如果已经发生的流量和预测的流量相差较大，则存在威胁，从而发现威胁事件，及时发现物联网设备受攻击的情况，采取安全防护措施，减少损失。
发明内容
本发明的目的是克服上述背景技术中不足，提供一种基于机器学习技术进行物联网异常行为检测的方法，通过利用机器学习算法，分析物联网正常流量特征，从而实现对流量数据的异常行为进行预测。
为了达到上述的技术效果，本发明采取以下技术方案：
一种基于机器学习技术进行物联网异常行为检测的方法，包括以下步骤：
A.搜集物联网协议数据；
B.对搜集到的数据进行特征处理，根据数据中的键值区分数据属于数值型还是字符型；若属于数值型则进入步骤C，若属于字符型则进入步骤D；
C.对属于数值型的数据进行周期性行为计算，并利用机器学习算法建模，预测异常数据；
D.对属于字符型的数据进行分词处理判断字符熵，并进行机器学习算法建模，计算离群点从而区分异常数据。
进一步地，所述步骤A中搜集的物联网协议数据包括http协议数据、MQTT协议数据、XMPP协议数据。
进一步地，所述搜集物联网协议数据时具体是在物联网云端服务器流量出入口处进行搜集。
进一步地，所述搜集的物联网协议数据为流量数据或已经解析过的消息数据。
进一步地，若搜集的物联网协议数据为流量数据，则步骤A中还需对搜集的流量数据进行消息解析及还原。
进一步地，所述步骤B具体包括：
B1.对搜集到的数据按照统一的格式进行格式化处理；
B2.对格式化处理之后的数据中的键值进行区分，将数据分为数值型和字符型；
B3.若数据属于数值型则进入步骤C，若属于字符型则进入步骤D。
进一步地，所述格式化处理具体为：采用统一的json格式进行数据存储，其中，存储的数据内容包括协议名称，协议中的参数，其中，所述协议中的参数包含请求中的参数、协议中的指令类型、消息payload中的值。
进一步地，所述步骤C具体包括：
C1.对属于数值型的数据进行特征增维；
C2.对增维后的数据进行傅里叶变换计算其周期性，并进行周期性检测；
C3.若存在周期性，则对数据进行时序性预测，如果实际值与预测结果超过阈值，则判定为异常，否则判定为正常；
C4.若不存在周期性，则对数据进行线性相关性预测，如果实际值与预测结果超过阈值，则判定为异常，否则判定为正常。
进一步地，所述步骤C1中特征增维包括数值的平方，数值的熵。
进一步地，所述步骤D具体包括：对属于字符型的数据进行n-gram分词，并进行熵计算，再根据熵的值判断字符串存在的规律，然后进行聚类计算离群点，从而识别异常数据。
本发明与现有技术相比，具有以下的有益效果：
本发明的基于机器学习技术进行物联网异常行为检测的方法，利用机器学习算法，来分析物联网正常流量特征，以对物联网流量数据行为进行预测，具体为在已经发生的流量数据和预测的流量数据相差较大时，则判定存在威胁，从而及时发现威胁事件，以及时发现物联网设备受攻击的情况，以便第一时间采取安全防护措施，实现降低损失。
具体实施方式
下面结合本发明的实施例对本发明作进一步的阐述和说明。
实施例：
实施例一：
一种基于机器学习技术进行物联网异常行为检测的方法，用于发现物联网通信消息中的未知威胁，包括以下步骤：
A.搜集物联网协议数据；其中，搜集的物联网协议数据包括http协议数据、MQTT协议数据、XMPP协议数据；作为优选，本实施例中，搜集物联网协议数据时具体是在物联网云端服务器流量出入口处进行搜集。
同时，在步骤A中，所述搜集的物联网协议数据为流量数据或已经解析过的消息数据，且若搜集的物联网协议数据为流量数据，则步骤A中还需对搜集的流量数据进行消息解析及还原。
B.对搜集到的数据进行特征处理，根据数据中的键值区分数据属于数值型还是字符型；若属于数值型则进入步骤C，若属于字符型则进入步骤D；
具体包括：
B1.对搜集到的数据按照统一的格式进行格式化处理；
B2.对格式化处理之后的数据中的键值进行区分，将数据分为数值型和字符型；
B3.若数据属于数值型则进入步骤C，若属于字符型则进入步骤D。
作为优选，本实施例中，在步骤B1中，所述格式化处理具体为：采用统一的json格式进行数据存储，其中，存储的数据内容包括协议名称，协议中的参数，其中，所述协议中的参数包含请求中的参数、协议中的指令类型、消息payload中的值。
C.对属于数值型的数据进行周期性行为计算，并利用机器学习算法建模，预测异常数据；
具体包括：
C1.对属于数值型的数据进行特征增维；其中，特征增维包括数值的平方，数值的熵等；
C2.对增维后的数据进行傅里叶变换计算其周期性，并进行周期性检测；
C3.若数据存在周期性，则对数据进行时序性预测，如果实际值与预测结果超过阈值，则判定为异常，否则判定为正常；
C4.若数据不存在周期性，则对数据进行线性相关性预测，如果实际值与预测结果超过阈值，则判定为异常，否则判定为正常。
D.对属于字符型的数据进行分词处理判断字符熵，并进行机器学习算法建模，计算离群点从而区分异常数据。
具体包括：对属于字符型的数据进行n-gram分词，并进行熵计算，再根据熵的值判断字符串存在的规律，然后进行聚类计算离群点，从而识别异常数据。
由上可知，本发明的基于机器学习技术进行物联网异常行为检测的方法，利用机器学习算法，来分析物联网正常流量特征，以对物联网流量数据行为进行预测，具体为在已经发生的流量数据和预测的流量数据相差较大时，则判定存在威胁，从而及时发现威胁事件，以及时发现物联网设备受攻击的情况，以便第一时间采取安全防护措施，实现降低损失。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
Claims (10)
1.一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，包括以下步骤：
A.搜集物联网协议数据；
B.对搜集到的数据进行特征处理，根据数据中的键值区分数据属于数值型还是字符型；若属于数值型则进入步骤C，若属于字符型则进入步骤D；
C.对属于数值型的数据进行周期性行为计算，并利用机器学习算法建模，预测异常数据；
D.对属于字符型的数据进行分词处理判断字符熵，并进行机器学习算法建模，计算离群点从而区分异常数据。
2.根据权利要求1所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，所述步骤A中搜集的物联网协议数据包括http协议数据、MQTT协议数据、XMPP协议数据。
3.根据权利要求1或2所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，所述搜集物联网协议数据时具体是在物联网云端服务器流量出入口处进行搜集。
4.根据权利要求1或2所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，所述搜集的物联网协议数据为流量数据或已经解析过的消息数据。
5.根据权利要求4所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，若搜集的物联网协议数据为流量数据，则步骤A中还需对搜集的流量数据进行消息解析及还原。
6.根据权利要求1所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，所述步骤B具体包括：
B1.对搜集到的数据按照统一的格式进行格式化处理；
B2.对格式化处理之后的数据中的键值进行区分，将数据分为数值型和字符型；
B3.若数据属于数值型则进入步骤C，若属于字符型则进入步骤D。
7.根据权利要求6所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，所述格式化处理具体为：采用统一的json格式进行数据存储，其中，存储的数据内容包括协议名称，协议中的参数，其中，所述协议中的参数包含请求中的参数、协议中的指令类型、消息payload中的值。
8.根据权利要求7所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，所述步骤C具体包括：
C1.对属于数值型的数据进行特征增维；
C2.对增维后的数据进行傅里叶变换计算其周期性，并进行周期性检测；
C3.若存在周期性，则对数据进行时序性预测，如果实际值与预测结果超过阈值，则判定为异常，否则判定为正常；
C4.若不存在周期性，则对数据进行线性相关性预测，如果实际值与预测结果超过阈值，则判定为异常，否则判定为正常。
9.根据权利要求8所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，所述步骤C1中特征增维包括数值的平方，数值的熵。
10.根据权利要求7所述的一种基于机器学习技术进行物联网异常行为检测的方法，其特征在于，所述步骤D具体包括：对属于字符型的数据进行n-gram分词，并进行熵计算，再根据熵的值判断字符串存在的规律，然后进行聚类计算离群点，从而识别异常数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910398517.3A CN110086829B (zh) | 2019-05-14 | 2019-05-14 | 一种基于机器学习技术进行物联网异常行为检测的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910398517.3A CN110086829B (zh) | 2019-05-14 | 2019-05-14 | 一种基于机器学习技术进行物联网异常行为检测的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110086829A true CN110086829A (zh) | 2019-08-02 |
| CN110086829B CN110086829B (zh) | 2021-06-22 |
Family
ID=67420089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910398517.3A Active CN110086829B (zh) | 2019-05-14 | 2019-05-14 | 一种基于机器学习技术进行物联网异常行为检测的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110086829B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109274677A (zh) * | 2018-10-11 | 2019-01-25 | 四川长虹电器股份有限公司 | 基于机器学习的ip分类方法及系统 |
| CN111639497A (zh) * | 2020-05-27 | 2020-09-08 | 北京东方通科技股份有限公司 | 一种基于大数据机器学习的异常行为发现方法 |
| CN112131388A (zh) * | 2020-09-28 | 2020-12-25 | 范馨月 | 一种包含文本型数据类型的异常数据检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103854063A (zh) * | 2012-11-29 | 2014-06-11 | 中国科学院计算机网络信息中心 | 一种基于互联网开放信息的事件发生风险预测并预警方法 |
| CN104714969A (zh) * | 2013-12-16 | 2015-06-17 | 阿里巴巴集团控股有限公司 | 一种属性值的检测方法和检测装置 |
| CN106844576A (zh) * | 2017-01-06 | 2017-06-13 | 北京蓝海讯通科技股份有限公司 | 一种异常检测方法、装置和监控设备 |
| CN107146004A (zh) * | 2017-04-20 | 2017-09-08 | 浙江大学 | 一种基于数据挖掘的矿渣粉磨系统健康状态识别系统及方法 |
| CN107426199A (zh) * | 2017-07-05 | 2017-12-01 | 浙江鹏信信息科技股份有限公司 | 一种网络异常行为检测与分析的方法及系统 |
| CN108712404A (zh) * | 2018-05-04 | 2018-10-26 | 重庆邮电大学 | 一种基于机器学习的物联网入侵检测方法 |
| CN109492217A (zh) * | 2018-10-11 | 2019-03-19 | 平安科技（深圳）有限公司 | 一种基于机器学习的分词方法及终端设备 |
-
2019
- 2019-05-14 CN CN201910398517.3A patent/CN110086829B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103854063A (zh) * | 2012-11-29 | 2014-06-11 | 中国科学院计算机网络信息中心 | 一种基于互联网开放信息的事件发生风险预测并预警方法 |
| CN104714969A (zh) * | 2013-12-16 | 2015-06-17 | 阿里巴巴集团控股有限公司 | 一种属性值的检测方法和检测装置 |
| CN106844576A (zh) * | 2017-01-06 | 2017-06-13 | 北京蓝海讯通科技股份有限公司 | 一种异常检测方法、装置和监控设备 |
| CN107146004A (zh) * | 2017-04-20 | 2017-09-08 | 浙江大学 | 一种基于数据挖掘的矿渣粉磨系统健康状态识别系统及方法 |
| CN107426199A (zh) * | 2017-07-05 | 2017-12-01 | 浙江鹏信信息科技股份有限公司 | 一种网络异常行为检测与分析的方法及系统 |
| CN108712404A (zh) * | 2018-05-04 | 2018-10-26 | 重庆邮电大学 | 一种基于机器学习的物联网入侵检测方法 |
| CN109492217A (zh) * | 2018-10-11 | 2019-03-19 | 平安科技（深圳）有限公司 | 一种基于机器学习的分词方法及终端设备 |
Non-Patent Citations (1)
| Title |
|---|
| 黄斌: "无监督异常检测技术研究及应用", 《中国优秀硕士学位论文全文数据库 信息科技辑（2009）》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109274677A (zh) * | 2018-10-11 | 2019-01-25 | 四川长虹电器股份有限公司 | 基于机器学习的ip分类方法及系统 |
| CN109274677B (zh) * | 2018-10-11 | 2021-04-27 | 四川长虹电器股份有限公司 | 基于机器学习的ip分类方法及系统 |
| CN111639497A (zh) * | 2020-05-27 | 2020-09-08 | 北京东方通科技股份有限公司 | 一种基于大数据机器学习的异常行为发现方法 |
| CN112131388A (zh) * | 2020-09-28 | 2020-12-25 | 范馨月 | 一种包含文本型数据类型的异常数据检测方法 |
| CN112131388B (zh) * | 2020-09-28 | 2024-02-06 | 范馨月 | 一种包含文本型数据类型的异常数据检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110086829B (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106341414B (zh) | 一种基于贝叶斯网络的多步攻击安全态势评估方法 | |
| CN109600363B (zh) | 一种物联网终端网络画像及异常网络访问行为检测方法 | |
| CN105407103B (zh) | 一种基于多粒度异常检测的网络威胁评估方法 | |
| CN110909811A (zh) | 一种基于ocsvm的电网异常行为检测、分析方法与系统 | |
| CN105704103B (zh) | 基于OCSVM双轮廓模型的Modbus TCP通信行为异常检测方法 | |
| CN109302408B (zh) | 一种网络安全态势评估方法 | |
| CN110086829A (zh) | 一种基于机器学习技术进行物联网异常行为检测的方法 | |
| CN103441982A (zh) | 一种基于相对熵的入侵报警分析方法 | |
| CN103581186A (zh) | 一种网络安全态势感知方法及系统 | |
| CN110474878B (zh) | 基于动态阈值的DDoS攻击态势预警方法和服务器 | |
| CN103368976A (zh) | 一种基于攻击图邻接矩阵的网络安全评估装置 | |
| CN106713341A (zh) | 一种基于大数据的网络安全预警方法与系统 | |
| CN105847283A (zh) | 一种基于信息熵方差分析的异常流量检测方法 | |
| CN105376193B (zh) | 安全事件的智能关联分析方法与装置 | |
| CN101286897A (zh) | 一种基于超统计理论的网络流量异常检测方法 | |
| CN105577679A (zh) | 一种基于特征选择与密度峰值聚类的异常流量检测方法 | |
| CN104486141A (zh) | 一种误报自适应的网络安全态势预测方法 | |
| CN107517216A (zh) | 一种网络安全事件关联方法 | |
| CN108683686A (zh) | 一种随机子域名DDoS攻击检测方法 | |
| CN103607391B (zh) | 一种基于K‑means的SQL注入攻击检测方法 | |
| CN106685984A (zh) | 一种基于数据包捕获技术的网络威胁分析系统及方法 | |
| CN103916385A (zh) | 一种基于智能算法的waf安全监测系统 | |
| CN109660518A (zh) | 网络的通信数据检测方法、装置以及机器可读存储介质 | |
| CN113645182B (zh) | 一种基于二次特征筛选的拒绝服务攻击随机森林检测方法 | |
| KR101281456B1 (ko) | 자기 유사성을 이용한 ｓｃａｄａ 네트워크의 이상증후를 탐지하는 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |