CN110659669B - 一种基于加密摄像头视频流量模式变化的用户行为识别方法及系统 - Google Patents

一种基于加密摄像头视频流量模式变化的用户行为识别方法及系统 Download PDF

Info

Publication number
CN110659669B
CN110659669B CN201910789718.6A CN201910789718A CN110659669B CN 110659669 B CN110659669 B CN 110659669B CN 201910789718 A CN201910789718 A CN 201910789718A CN 110659669 B CN110659669 B CN 110659669B
Authority
CN
China
Prior art keywords
user
encrypted
flow
video
user behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910789718.6A
Other languages
English (en)
Other versions
CN110659669A (zh
Inventor
苟高鹏
李镇
熊刚
刘晓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN201910789718.6A priority Critical patent/CN110659669B/zh
Publication of CN110659669A publication Critical patent/CN110659669A/zh
Application granted granted Critical
Publication of CN110659669B publication Critical patent/CN110659669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于加密摄像头视频流量模式变化的用户行为识别方法及系统，包括提取加密智能摄像头视频流量；提取所述视频流量的相应特征，输入用户行为识别模型，对用户行为进行识别与预测。本发明无需对加密视频流量进行解密，分析了用户不同的行为会产生不同的流量模式，对多种用户行为识别达到高准确率。

Description

一种基于加密摄像头视频流量模式变化的用户行为识别方法 及系统
技术领域
本发明属于网络安全领域，涉及图像识别，尤其涉及一种基于加密摄像头视频流量模式变化的用户行为识别方法及系统。
背景技术
随着互联网技术的迅速发展，智能摄像头因为具有安全保护，婴儿监护，跌倒监视等作用，被广泛的使用在家庭安全系统中。当智能摄像头在使用中的时候，会实时的将视频加密上传到云端，用户可以根据网页或者相应的 APP 实时的获取摄像头监控的区域画面。智能摄像头被广泛的使用的目的是保护用户的安全，但是在智能摄像头在上传加密视频流量的时候，会导致用户行为的隐私泄露。例如，Li H等人通过分析压缩算法原理揭示压缩算法产生的像素变化将体现在流量上，提取流量分布特征从而识别用户行为。这种隐私泄露对用户甚至社会造成了巨大的伤害，因此为了更好的保护用户的隐私，需要分析在加密智能摄像头流量中用户的隐私泄露情况。
用户行为分类是一种基于被动采集流量的网络流量分析方法。用户行为识别主要是按照用户行为的种类分类，可以分为用户的真实空间中物理行为泄露和用户的网络空间中网络行为泄露。
对网络空间中的网络行为识别，主要是通过对网络流量进行分析，如通过深度包（DPI技术）检测技术，匹配行为特征库，或进行聚类分析，来判断当前网络流量属于哪一种网络行为，是用户在浏览网页，看视频还是在聊天等；或者通过统计机器学习或者深度学习等技术，通过分析网络流量的统计特征，如包速率，字节变化等信息，来识别当前流量所属的网络业务。
对真实空间中的物理行为识别，现有的主要是通过加密智能摄像头流量中的网络流量速率变化行为，通过网络流量速率的波动，结合累积求和算法（CMU），来判断当前摄像头镜头中是否有用户存在。
但是这些方法在识别加密摄像头视频流量中的用户行为时，都不适用。摄像头流量是加密流量，基于深度包检测技术无法从加密流量中识别出有效信息。现有的基于统计特征的用户网络行为识别，无法在加密摄像头流量中识别出用户行为。基于累积求和算法，只能识别当前摄像头视野中是否有用户行为，不能识别当前用户的具体行为。
智能摄像头的使用空间一般是家，是一个十分隐私的空间，且智能摄像头通常具有24小时在线的特点，智能摄像头会记录用户在家的所有行为，因此加密智能摄像头流量中包含了大量的用户隐私。现有的方法无法分析加密监控视频流量中所包含的用户信息，从而无法知道加密智能摄像头流量中的用户行为泄露情形，因此，无法更好的保护用户隐私。
发明内容
本发明目的在于克服现有技术的不足，提供一种基于加密摄像头视频流量模式变化的用户行为识别方法及系统。在不对加密智能摄像头视频流量进行解密的情况下，通过分析不同行为导致的加密智能摄像头视频流量模式，通过流量模式变化来识别当前镜头前的用户物理行为。
为达到上述目的，本发明采用如下的技术方案：
一种基于加密摄像头视频流量模式变化的用户行为识别方法，其步骤包括：
1、提取加密智能摄像头视频流量；
2、提取所述视频流量的相应特征，输入用户行为识别模型，以识别用户行为，其中所述用户行为识别模型通过如下训练步骤构建，包括：
1）提取用户在不同特定行为下的加密智能摄像头样本视频流量；
2）通过分类器解析用户特定行为与样本视频流量的关联，设定与用户行为相关的视频流量特征；
3）提取上述视频流量特征，进行机器学习模型训练，得到用户行为识别模型。
进一步地，所述特定行为包括喝水、开关门、扫地、梳头、看电视、读书、穿衣服、走动。
进一步地，所述加密智能摄像头样本视频流量分为训练集，验证集和测试集。
进一步地，所述加密智能摄像头样本视频流量60%用作训练集，20%用作验证集，20%用作测试集。
进一步地，通过分析加密智能摄像头视频差分压缩的信息提取所述视频流量的相应特征。
进一步地，所述视频流量特征包括加密智能摄像头流量的速率分布和速率变化的均值、方差、斜度、峰度，以及流量速率分布在频域中的离散傅里叶系数。
进一步地，通过滑动窗口方法，将所述加密智能摄像头视频流量分成多个子段，分别进行特征提取。
进一步地，进行多种机器学习模型训练，所述多种机器学习模型包括决策树模型、随机森林模型、梯度提升决策树模型、朴素贝叶斯模型、逻辑斯坦回归模型和K近邻模型。
进一步地，根据对用户行为识别的准确率和召回率，选取所述机器学习模型。
一种基于加密摄像头视频流量模式变化的用户行为识别系统，包括：
1、 视频流量提取模块，用以提取加密智能摄像头视频流量；
2、 行为识别模块，用以提取所述视频流量的相应特征，输入用户行为识别模型，以识别用户行为，其中所述用户行为识别模型通过如下训练步骤构建，包括：
1）提取用户在不同特定行为下的加密智能摄像头样本视频流量；
2）通过分类器解析用户特定行为与样本视频流量的关联，设定与用户行为相关的视频流量特征；
3）提取上述视频流量特征，进行机器学习模型训练，得到用户行为识别模型。
本发明针对加密智能摄像头视频流量的特点提出了用户行为识别方法，摄像头视频流量为了防止用户隐私泄露，通常采用加密的方式进行传输，但是网络加密技术不能完全阻止用户信息的泄露。本发明无需对加密流量进行解密，只需利用加密流量的速率特征可以对用户行为进行识别，揭露了用户隐私泄露的原因和方式，促进了用户隐私保护的发展。
本发明使用滑动窗口的特征提取方法，解决了在特征表示模式变化时会损失掉部分细节信息的问题，通过提取更多的流量信息，能对用户行为识别达到更高的准确率。
本发明分析了用户不同的行为会产生不同的流量模式，提取有效的特征表示流量模式，解决了如何表示加密流量模式变化的问题，使用较少的特征能够充分的表示流量模式变化，基于这些特征对多种用户行为识别达到高准确率，揭露在加密智能摄像头流量中的用户隐私泄露程度和方式。当制造商或用户知道隐私泄露的方式，能够采取相应的措施，从而更好的保护隐私不受伤害。
附图说明
图1为基于加密摄像头流量用户行为识别基本框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清晰，下面通过具体实施例和附图对本发明进行进一步详细阐述。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
图1为本发明的方法基本框图，方法分为模型训练和模型测试两个阶段。通过在训练阶段获取有标签数据，分析用户行为和流量模式的关联，选取有效的特征表征流量模式变化，能够结合机器学习模型利用所选的特征以较高的准确率识别用户行为。
本发明针对加密智能摄像头视频流量的特点提出了用户行为识别方法。摄像头视频流量为了防止用户隐私泄露，通常采用加密的方式进行传输，但是网络加密技术不能完全阻止用户信息的泄露，本发明分析了用户不同的行为会产生不同的流量模式，并可以通过此流量模式推断出当前用户行为。
传统的流量特征无法有效在加密摄像头视频流量中识别用户行为，本发明通过分析加密监控视频差分压缩导致的信息泄露，提出了利用加密智能摄像头流量的速率分布和速率变化的均值、方差、斜度、峰度，以及流量速率分布在频域中的离散傅里叶系数等特征，通过这些特征可以有效的表示流量模式，并可以通过这些特征准确的推断出用户行为。
本发明的用户行为识别模型训练通过下述方式构建：
提取用户在不同特定行为下的加密智能摄像头样本视频流量。使用一个戴尔笔记本，一个路由器，两个智能摄像头搭建了一个实验环境，两个摄像头连接路由器发射出的无线，并用笔记本收集路由器上传输的智能摄像头视频流量，志愿者离摄像头3m远的距离做不同的动作的时候（特定行为包括喝水、开关门、扫地、梳头、看电视、读书、穿衣服、走动），收集智能摄像头产生的加密网络流量。
通过分类器解析用户特定行为与样本视频流量的关联，设定与用户行为相关的视频流量特征，例如，对一段网络流量计算其网络流量速率变化序列，接着提取网络流量速率分布，根据网络流量速率大小和速率大小之差计算网络流量速率变化的均值、方差、偏度、分度，以及流量速率分布在频域中的离散傅里叶变换的幅值和相位。
由于直接计算序列的均值、方差、偏度、峰度可能会失掉很多细节信息，本发明提出了提取加密摄像头流量的新方法。传统的基于整段流量进行特征提取，会损失很多细节信息，本发明提出使用滑动窗口，将完整流量分成多个子段，对每一个子段分别进行特征提取，通过此方法以提取更多的细节信息，提高识别用户行为的准确率。通过滑动窗口方法，每次只取序列的一部分，规定滑动窗口数量为m，将序列均匀分为m段，考虑噪声和过拟合等因素，当m值为5时达最好效果，分别对每个子序列提取特征。
本发明将样本视频流量分为训练集，验证集和测试集，根据上述几种流量特征分别进行多种机器学习模型训练（决策树模型，随机森林模型，梯度提升决策树模型，朴素贝叶斯模型，逻辑斯坦回归模型，K近邻模型），根据对用户行为识别的准确率和召回率，选取最优模型即随机森林模型作为用户行为识别模型。
通过多种机器学习分类器的迭代调参，六种典型机器学习模型识别揭露在加密智能摄像头流量中的用户隐私泄露程度和方式对用户行为的识别达到较高的准确率，确保所提取特征的有效性、适用性，揭露在加密智能摄像头视频流量中用户隐私泄露的情形。当制造商或用户知道隐私泄露的方式，才能够采取相应的措施，从而更好的保护隐私不受伤害。
本发明在两种智能摄像头（360云台摄像头和萤石C5C摄像头）情况下，收集了用户在两种智能摄像头做八种基本生活行为时产生的加密视频流量，八种动作分别为：喝水、开关门、扫地、梳头、看电视、读书、穿衣服、走动。通过十个志愿者总共收集了20G的加密视频流量，总共收集了8776个样本，通过随机采样，将样本60%用作训练集，20%用作验证集，20%用作测试集。对所提取的特征，在决策树，随机森林，梯度提升决策树，朴素贝叶斯，逻辑斯坦回归，K近邻六中典型机器学习模型中进行验证，其中在随机森林模型中效果最好，对八个动作的识别准确率达到94%。

Claims (7)

1.一种基于加密摄像头视频流量模式变化的用户行为识别方法，其步骤包括：
1)提取加密智能摄像头视频流量；
2)使用滑动窗口，将所述视频流量分成多个子段，并对每一个子段分别提取网络流量速率分布；
3)基于所述网络流量速率分布，提取子段的视频流量特征，所述视频流量特征包括：加密智能摄像头流量的速率分布和速率变化的均值、方差、斜度、峰度，以及流量速率分布在频域中的离散傅里叶系数；
4)将各子段的视频流量特征，输入用户行为识别模型，以识别用户行为，其中所述用户行为识别模型通过如下训练步骤构建，包括：
4.1)提取用户在不同特定行为下的加密智能摄像头样本视频流量；
4.2)通过分类器解析用户特定行为与样本视频流量的关联，设定与用户行为相关的视频流量特征；
4.3)提取上述视频流量特征，进行机器学习模型训练，得到用户行为识别模型。
2.如权利要求1所述的方法，其特征在于，所述特定行为包括喝水、开关门、扫地、梳头、看电视、读书、穿衣服、走动。
3.如权利要求1所述的方法，其特征在于，所述加密智能摄像头样本视频流量分为训练集，验证集和测试集。
4.如权利要求3所述的方法，其特征在于，所述加密智能摄像头样本视频流量60％用作训练集，20％用作验证集，20％用作测试集。
5.如权利要求1所述的方法，其特征在于，进行多种机器学习模型训练，所述多种机器学习模型包括决策树模型、随机森林模型、梯度提升决策树模型、朴素贝叶斯模型、逻辑斯坦回归模型和K近邻模型。
6.如权利要求5所述的方法，其特征在于，根据对用户行为识别的准确率和召回率，选取所述机器学习模型。
7.一种基于加密摄像头视频流量模式变化的用户行为识别系统，包括：
1)视频流量特征提取模块，用以提取加密智能摄像头视频流量；使用滑动窗口，将所述视频流量分成多个子段，并对每一个子段分别提取网络流量速率分布；基于所述网络流量速率分布，提取子段的视频流量特征，所述视频流量特征包括：加密智能摄像头流量的速率分布和速率变化的均值、方差、斜度、峰度，以及流量速率分布在频域中的离散傅里叶系数；
2)行为识别模块，用以将各子段的视频流量特征，输入用户行为识别模型，以识别用户行为，其中所述用户行为识别模型通过如下训练步骤构建，包括：
2.1)提取用户在不同特定行为下的加密智能摄像头样本视频流量；
2.2)通过分类器解析用户特定行为与样本视频流量的关联，设定与用户行为相关的视频流量特征；
2.3)提取上述视频流量特征，进行机器学习模型训练，得到用户行为识别模型。
CN201910789718.6A 2019-08-26 2019-08-26 一种基于加密摄像头视频流量模式变化的用户行为识别方法及系统 Active CN110659669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910789718.6A CN110659669B (zh) 2019-08-26 2019-08-26 一种基于加密摄像头视频流量模式变化的用户行为识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910789718.6A CN110659669B (zh) 2019-08-26 2019-08-26 一种基于加密摄像头视频流量模式变化的用户行为识别方法及系统

Publications (2)

Publication Number Publication Date
CN110659669A CN110659669A (zh) 2020-01-07
CN110659669B true CN110659669B (zh) 2022-11-15

Family

ID=69037810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910789718.6A Active CN110659669B (zh) 2019-08-26 2019-08-26 一种基于加密摄像头视频流量模式变化的用户行为识别方法及系统

Country Status (1)

Country Link
CN (1) CN110659669B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814986B (zh) * 2020-07-07 2024-02-20 上海交通大学包头材料研究院 动态网络流控制器调度与服务类型分配方法
CN112714079B (zh) * 2020-12-14 2022-07-12 成都安思科技有限公司 一种vpn环境下的目标服务识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200133A (zh) * 2013-03-21 2013-07-10 南京邮电大学 一种基于网络流引力聚类的流量识别方法
CN108566340A (zh) * 2018-02-05 2018-09-21 中国科学院信息工程研究所 基于动态时间规整算法的网络流量精细化分类方法和装置
CN108768986A (zh) * 2018-05-17 2018-11-06 中国科学院信息工程研究所 一种加密流量分类方法及服务器、计算机可读存储介质
CN109831422A (zh) * 2019-01-17 2019-05-31 中国科学院信息工程研究所 一种基于端到端序列网络的加密流量分类方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014031A (zh) * 2010-12-31 2011-04-13 湖南神州祥网科技有限公司 一种网络流量异常检测方法及系统
CN105095866B (zh) * 2015-07-17 2018-12-21 重庆邮电大学 一种快速行为识别方法和系统
US20170289504A1 (en) * 2016-03-31 2017-10-05 Ants Technology (Hk) Limited. Privacy Supporting Computer Vision Systems, Methods, Apparatuses and Associated Computer Executable Code
CN108833360B (zh) * 2018-05-23 2019-11-08 四川大学 一种基于机器学习的恶意加密流量识别方法
CN109861957A (zh) * 2018-11-06 2019-06-07 中国科学院信息工程研究所 一种移动应用私有加密协议的用户行为精细化分类方法及系统
CN109951444B (zh) * 2019-01-29 2020-05-22 中国科学院信息工程研究所 一种加密匿名网络流量识别方法
CN110012029B (zh) * 2019-04-22 2020-05-26 中国科学院声学研究所 一种区分加密和非加密压缩流量的方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200133A (zh) * 2013-03-21 2013-07-10 南京邮电大学 一种基于网络流引力聚类的流量识别方法
CN108566340A (zh) * 2018-02-05 2018-09-21 中国科学院信息工程研究所 基于动态时间规整算法的网络流量精细化分类方法和装置
CN108768986A (zh) * 2018-05-17 2018-11-06 中国科学院信息工程研究所 一种加密流量分类方法及服务器、计算机可读存储介质
CN109831422A (zh) * 2019-01-17 2019-05-31 中国科学院信息工程研究所 一种基于端到端序列网络的加密流量分类方法

Also Published As

Publication number Publication date
CN110659669A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN110019074B (zh) 访问路径的分析方法、装置、设备及介质
CN110659669B (zh) 一种基于加密摄像头视频流量模式变化的用户行为识别方法及系统
CN111107072B (zh) 一种基于认证图嵌入的异常登录行为检测方法及系统
Garg et al. Modeling and analysis of electric network frequency signal for timestamp verification
CN113673459B (zh) 基于视频的生产施工场所安全巡检方法、系统、设备
CN109492604A (zh) 人脸模型特征统计分析系统
CN109903053B (zh) 一种基于传感器数据进行行为识别的反欺诈方法
CN109426700B (zh) 数据处理方法、装置、存储介质和电子装置
CN113033404B (zh) 人脸攻击事件检测方法、装置、设备及存储介质
CN113726615B (zh) 一种it智能运维系统中基于网络行为的加密业务稳定性判定方法
CN116108491B (zh) 基于半监督联邦学习的数据泄露预警方法、装置及系统
CN117592060B (zh) 一种处理器网络安全漏洞检测方法及系统
CN117992953A (zh) 基于操作行为跟踪的异常用户行为识别方法
CN117312801A (zh) 基于ai的智慧城市监控系统及方法
CN116546438B (zh) 一种基于蓝牙mesh网络的楼宇监测系统
CN111797942A (zh) 用户信息的分类方法及装置、计算机设备、存储介质
CN116708220A (zh) 一种基于网络流量的智能业务类型感知方法
Gorodnichy et al. Analysis of the effect of ageing, age, and other factors on iris recognition performance using NEXUS scores dataset
CN104615922B (zh) 一种基于用户软件行为模式的身份认证装置和方法
CN115035608A (zh) 活体检测方法、装置、设备及系统
AU2021390923A1 (en) "livestock monitoring"
CN111144240B (zh) 图像处理方法及相关设备
CN111079566A (zh) 一种大规模人脸识别模型优化系统
CN118052558B (zh) 基于人工智能的风控模型决策方法及系统
CN117421605B (zh) 一种基于区块链技术的步态识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant