CN110087099B - 一种保护隐私的监控方法和系统 - Google Patents

一种保护隐私的监控方法和系统 Download PDF

Info

Publication number
CN110087099B
CN110087099B CN201910181133.6A CN201910181133A CN110087099B CN 110087099 B CN110087099 B CN 110087099B CN 201910181133 A CN201910181133 A CN 201910181133A CN 110087099 B CN110087099 B CN 110087099B
Authority
CN
China
Prior art keywords
feature
stream
monitoring
real
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910181133.6A
Other languages
English (en)
Other versions
CN110087099A (zh
Inventor
田永鸿
高文
陈鼎
邢培银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Peng Cheng Laboratory
Original Assignee
Peking University
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, Peng Cheng Laboratory filed Critical Peking University
Priority to CN201910181133.6A priority Critical patent/CN110087099B/zh
Priority to PCT/CN2019/088101 priority patent/WO2020181662A1/zh
Publication of CN110087099A publication Critical patent/CN110087099A/zh
Application granted granted Critical
Publication of CN110087099B publication Critical patent/CN110087099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种保护隐私的监控方法和系统，系统包括：监控感知模块、特征提取模块和异常行为/事件检测模块；所述监控感知模块，用于获取监控场景的监控感知数据；所述特征提取模块，用于提取所述监控感知数据的实时特征流，并将所述实时特征流发送给异常行为/事件检测模块；所述异常行为/事件检测模块，用于将所述实时特征流输入预训练的深度神经网络模型，检测异常行为/事件。本发明具有特征数据量小，传输快等优点，以实时特征流代替视频，一定程度保护了隐私；本发明的摄像头软件可定义，模型可以按照需求更新，适用范围广，可扩展性强；本发明的特征变换能够保证特征数据传输过程的安全性，避免云端泄露特征数据以及判断结果；本发明具有云端计算力。

Description

一种保护隐私的监控方法和系统
技术领域
本申请涉及计算机视觉领域，尤其涉及一种保护隐私的监控方法和系统。
背景技术
安防作为近年最热门的计算机视觉研究落地方向，与视频分析研究有着很紧密的关系。在真实的监控视频中，一个常见的需求就是要自动识别视频流中的异常事件，也就是异常事件检测任务。
一般普遍的异常检测算法都是先学习一个通常的模式，并假定任何违背这个通常模式的模式应该是异常的。但事实上，一个方法很难也几乎不可能去定义一个所谓的通常模式，因为通常模式里面可能包含太多不同的事件和行为。同样，也很难去定义异常事件，因为异常事件同样也可能包含太多类型的情况。
行为识别是指通过分析视频、深度传感器等数据，利用特定的算法，对人的行为进行识别、分析的技术。这项技术被广泛应用在视频分类、人机交互、安防监控等领域。行为识别包含两个研究方向：个体行为识别与群体行为(事件)识别。近年来，深度摄像技术的发展使得人体运动的深度图像序列变得容易获取，结合高精度的骨架估计算法，能够进一步提取人体骨架运动序列。利用这些运动序列信息，行为识别性能得到了很大提升，对智能视频监控、智能交通管理及智慧城市建设等具有重要意义。同时，随着行人智能分析与群体事件感知的需求与日俱增，一系列行为识别算法在深度学习技术的推动下应运而生。
目标检测(Object Detection)是计算机视觉领域的基本任务之一，学术界已有将近二十年的研究历史。目标检测的任务是找出图像或视频中的感兴趣目标，同时检测出它们的位置和大小，是机器视觉领域的核心问题之一。近些年随着深度学习技术的火热发展，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。从最初2013年提出的R-CNN、OverFeat，到后面的Fast/Faster R-CNN、SSD、YOLO系列，再到2018年最近的Pelee。短短不到五年时间，基于深度学习的目标检测技术，涌现出许多好的算法技术，这些算法在开放目标检测数据集上的检测效果和性能都很出色。
在家庭监控场景下，利用摄像头，可以对陌生人闯入、火灾、老人小孩摔倒、漏水渗水等险情进行实时监控并通知用户。看家防盗、看护老人、监测保姆是否存在异常行为等等诸多应用场景，都在家庭智能监控的涉猎范围之内。但是监控摄像头的实时拍摄于监视也存在着泄漏用户及他人隐私的风险。
音频作为监控系统信息采集的一部分，也有着不可替代的作用。常用的音频特征有过零率、短时能量、短时平均幅度差等，体现了信号的频率特性、强弱程度、周期特性等诸多特性。
随着城市摄像头数量的爆炸式发展，很难有一个云处理系统能够对如此大规模的视频数据做智能分析。由于音视频数据量大，在传输和存储方面都给云服务器带来很大压力，并且云服务器本身也存在数据泄露的风险，造成用户的隐私泄露。
发明内容
为解决以上问题，本申请提出了一种保护隐私的监控方法和系统。
根据本发明的一个方面，本申请提出一种保护隐私的监控系统，包括：监控感知模块、特征提取模块和异常行为/事件检测模块；
所述监控感知模块，用于获取监控场景的监控感知数据；
所述特征提取模块，用于提取所述监控感知数据的实时特征流，并将所述实时特征流发送给异常行为/事件检测模块；
所述异常行为/事件检测模块，用于将所述实时特征流输入预训练的深度神经网络模型，检测异常行为/事件。
优选的，所述监控感知数据包括以下数据中的至少一种：视频数据、音频数据、烟感数据、光感数据、温度数据。
优选的，所述特征提取模块包括：
特征提取单元，用于提取监控感知数据的特征，得到实时特征流；
特征变换单元，用于对所述实时特征流进行特征变换后发送至异常行为/事件检测模块。
优选的，所述特征变换包括以下方式中的至少一种：特征加扰、特征编码、同态加密。
优选的，所述特征提取模块还包括：
编码单元，用于对获取到的监控感知数据编码后发送至加密单元；
加密单元，用于加密所述编码后的监控感知数据，并发送至本地存储设备存储。
优选的，所述异常行为/事件检测模块包括处理检测单元，用于将接收到的实时特征流输入预训练的深度神经网络模型进行计算，确定异常行为对应的事件，并将结果发送至客户。
优选的，所述异常行为/事件检测模块进一步包括特征反变换单元，用于接收实时特征流，并根据变换方式执行反变换并发送至处理检测单元。
根据本发明的另一个方面，还提供了一种保护隐私的监控方法，包括：
获取监控场景的监控感知数据；
提取所述监控感知数据的实时特征流；
将所述实时特征流输入预训练的深度神经网络模型，检测异常行为/事件。
优选的，在提取所述监控感知数据的实时特征流之前还包括：
对所述监控感知数据中的图像进行目标定位，截取检测到的目标并分别提取特征，得到目标特征；
对比所述目标特征与例外特征的差异度；
若差异度小于阈值，则将此图像的帧剔除，不进行后续步骤；
若差异度大于阈值，进行后续步骤。
优选的，在所述提取所述监控感知数据的实时特征流之后，还包括：
对所述实时特征流进行特征变换。
优选的，所述将实时特征流输入预训练的深度神经网络模型，检测异常行为/事件，包括：
接收并判断各实时特征流的变换状况，确定处理方式并处理；
将处理后的特征流输入到预训练的第一深度神经网络模型进行计算，得到预测值；
对预测值进行加权平均计算，得到异常值；
以超出阈值的异常值开始，保存超出阈值的异常值对应的特征数据到异常缓存库中，直至异常值低于阈值，停止保存，得到异常特征流集合；
将异常特征流集合输入到预训练的第二深度神经网络模型进行计算,得到异常行为/事件的类型。
优选的，所述接收并判断各实时特征流的变换状况，确定处理方式并处理，包括：
若特征流无变换，则不对特征流进行任何处理；
若特征流经过变换，则对特征流进行反变换；
若特征流为同态加密，则不对特征流进行任何处理。
优选的，在将所述实时特征流输入预训练的深度神经网络模型，检测异常行为/事件之后还包括：
判断所述异常行为/事件的类型结果是否为同态加密；
若所述类型结果不是同态加密，则直接显示；
若所述类型结果为同态加密，则解密后显示。
优选的，所述方法还包括：
所述监控感知数据经编码和加密后，存储在本地。
本申请的优点在于：
1、与传统的直接传输视频到云端的摄像头对比，本发明具有特征数据量小，传输快等优点，以实时特征流代替视频，一定程度保护了隐私；
2、与单一功能的智能摄像头对比，本发明的摄像头软件可定义，模型可以按照需求更新，适用范围广，可扩展性强；
3、双流摄像头是指能够同时发送视频流以及特征流的摄像头，特征未经变换；而本发明的视频流存放在本地，特征流是变换后发送的；因此，与双流摄像头对比，本发明的特征变换能够保证特征数据传输过程的安全性，避免云端泄露特征数据以及判断结果；
4、与纯本地的摄像头对比，本发明具有云端计算力。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选事实方案的目的，而并不认为是对本申请的限制。而且在整个附图中，用同样的参考符号表示相同的部件。在附图中：
图1是本申请提供的一种保护隐私的监控方法的流程图；
图2是本申请提供的一种保护隐私的监控系统的原理示意图；
图3是本申请提供的另一种保护隐私的监控系统的原理示意图；
图4是本申请提供的又一种保护隐私的监控系统的原理示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例1
根据本申请的实施方式，提出一种保护隐私的监控方法，如图1所示，包括：
S1、获取监控场景的监控感知数据；监控感知数据包括以下数据中的至少一种：视频数据、音频数据、烟感数据、光感数据、温度数据。
S2、提取所述监控感知数据的实时特征流；
S3、将所述实时特征流输入预训练的深度神经网络模型，检测异常行为/事件。
在以下的优选实施例中，选取监控感知数据为视频数据和/或音频数据，举例说明本发明的发明思想。
在本申请的优选实施例中，对于监控场景的视频流数据，会根据分辨率的大小，按照帧的要求分解成图像数据。由于视频可以分为空域和时域两个组成部分。空域部分，以单个视频帧的形式存在，携带视频中的场景和目标信息。而时域部分，以视频帧间的运行形势存在，传递观察者(摄像头等视频采集设备)和目标之间的移动。空域部分的输入流即为单独帧的图像数据，而时域部分则采用一些连续视频帧的堆叠光流位移场作为输入流。计算多帧之间光流场(光流位移场)的方法包括光流栈(Optical Flow Stacking)和轨迹叠加(Trajectory stacking)。
光流栈(Optical Flow Stacking)，或者叫做光流的简单叠加，即计算每两帧之间的光流，然后进行堆叠(stacking)，存储的是位置的位移矢量。
而轨迹叠加就是假设第一帧的某个像素点，可以通过光流来追踪它在视频中的轨迹。简单的光流场叠加并没有追踪，每个都是计算的T+1帧中某个像素点p相对于T帧(当前帧)中对应像素点q的位移，光流场叠加最终得到的是每个像素点的两帧之间的光流图，存储的是位置的向量。
上述两种方法考虑的都是前馈光流，依靠后一帧计算相对于前一帧的光流。可选的，当考虑T帧(当前帧)时，可以不再一直往后堆L帧(L：连续帧长度)，而是计算T帧之前的L/2帧和T帧之后的L/2帧，得到双向光流。可选的，可以对得到的光流数据进行零中心化，减去平均光流。
每一个输入流(空域输入流和时域输入流)都使用了一个深度卷积神经网络。原本卷积神络网络在隐含层之后会得到特征图，在全连接层被展开为向量进行后续运算。本申请直接将展开后的一维浮点向量用作输出，作为提取到的特征数据，传输至云端，用做后续的分析计算处理。
对于音频流数据，根据音频信号计算出过零率、短时能量、短时平均幅度差等常用特征作为输出，在最后作为异常行为/事件检测的辅助信息。
在本申请的优选实施例中，在对视频、音频流数据进行特征提取，得到实时特征流之前还包括：对视频中的图像进行目标定位，截取检测到的目标并分别提取特征，得到各目标的各特征；对比各特征与例外特征的差异度；若差异度小于阈值，则将此视频图像帧剔除，不进行后续步骤；若差异度大于阈值，进行后续步骤。
在本申请的优选实施例中，还可以对实时特征流进行变换，所述变换包括：特征加扰、特征编码和/或同态加密。前两者属于特征加密。特征加扰是根据预设的伪随机码序列对特征数据进行加密。即用一个伪随机码序列对扩频码进行相乘，对信号进行加密。特征编码即对特征进行编码，特征编码首先选取当前特征的参考特征，根据视频帧中与当前帧属于同一视频序列的参考帧的特征，确定当前帧的特征的参考特征。当前帧的参考帧可以是基于对当前帧所属的在视频序列中的帧进行顺序参考或自适应参考确定的，自适应参考根据特征间距离进行，在包含当前帧在内的多个连续帧构成的帧集合中，根据各帧的特征间距离，确定各帧的特征到各帧中的哪一帧的特征的距离之和最小，并可以将该帧作为该帧集合中各帧的参考帧，参考帧的特征即为参考特征。然后，根据当前特征与参考特征的时域相关程度，对当前特征进行特征类型决策。接着根据特征类型进行编码。对于需要编码残差的特征，残差编码先将残差向量划分为若干等长子向量，每个子向量会有不同的模式，最后根据率失准优化模型进行最优模式选取，得到编码后的特征数据。特征编码同时能够对特征数据进行压缩，缩小特征数据的大小。
在本申请的优选实施例中，同态加密的数据能够直接进行处理和计算，处理和计算后得到的结果也是同态加密的。同态加密算法提供了一种对加密数据进行处理的功能。加密数据能够直接进行处理，但是处理过程不会泄露任何原始内容。同时，拥有密钥的用户对处理过的数据进行解密后，得到的正好是处理后的结果。
在本申请的优选实施例中，例外特征为预先提取的例外对象的特征。可选的，可以预设定例外对象列表，所述例外对象包括人和车，例如人脸和车牌号码。在提取特征之前对图像进行目标检测，定位图像中的各目标，然后将定位到的目标所在的图像区域截取后，放入到卷积神经网络中提取特征，将特征与例外对象列表库中提取到的特征(例外特征)进行匹配。特征之间的差异程度通过空间距离进行表征，当差异程度小于一定阈值时，将该视频图像帧剔除，不进行后续操作。由此，本申请不会对默认并非异常行为/事件的人员或车辆等进行告警，从而避免了误报警的情况出现。
在本申请的优选实施例中，将实时特征流输入预训练的深度神经网络模型，检测异常行为/事件，包括：接收并判断各特征流的加密状况，确定处理方式并处理，得到各特征流；将各特征流输入到预训练的第一深度神经网络模型进行计算，得到各预测值；对各预测值进行加权平均计算，得到异常值；以超出阈值的异常值开始，保存超出阈值的异常值对应的视频特征数据到异常缓存库中，直至异常值低于阈值，停止保存，得到异常特征流集合；将异常特征流集合输入到预训练的第二深度神经网络模型进行计算,得到异常行为/事件的类型。
举例来说，例如在本申请的优选实施例中，例如图像特征、光流特征、音频特征、烟感特征等都可以作为对应云端中的全连接层(第一深度神经网络模型)的输入数据，得到预测值。根据预训练的权重对得到的预测值进行加权平均，得到异常值。若异常值超过预设的阈值，则此异常值对应的例如视频帧的特征数据会被记录到异常缓存库中。当异常值跌出(小于)阈值，且异常缓存库中保存有超过一定帧数的特征数据时，将这部分音视频片段的特征从异常缓存库中提取出来，得到异常特征流集合，作为新的对应全连接层(第二深度神经网络模型)的输入。所述第二深度神经网络模型在全连接层之后增加了一个softmax(归一化指数)层输出。将所述异常特征流集合输入全连接层，得到异常特征流集合的计算结果，将结果输入多分类器，输出多分类结果(异常事件类别)。在本申请的优选实施例中，多分类器是基于softmax分数作为特征训练出来的。
在本申请的优选实施例中，接收并判断各特征流的变换状况，确定处理方式并处理，得到各特征流，包括：若特征流无变换，则不对特征流进行任何处理；若特征流加密，则对特征流进行解密；若特征流为同态加密，则不对特征流进行任何处理。
在本申请的优选实施例中，在将实时特征流输入预训练的深度神经网络模型，检测异常行为/事件之后还可以包括：判断所述异常行为/事件的类型结果是否同态加密；若所述类型结果没有同态加密，则直接显示；若所述类型结果为同态加密，则解密后显示。
在本申请的优选实施例中，监控感知数据经编码、加密后，存储在本地。通过将采集到的监控感知数据编码加密后直接保存至本地，能够有效避免数据传输以及云端的数据泄露。
实施例2
根据本申请的实施方式，还提出一种保护隐私的监控系统，如图2所示，包括：监控感知模块、特征提取模块和异常行为/事件检测模块；监控感知模块，用于获取监控场景的监控感知数据；特征提取模块，用于提取监控感知数据的实时特征流，并将实时特征流发送给异常行为/事件检测模块；异常行为/事件检测模块，用于将实时特征流输入预训练的深度神经网络模型，检测异常行为/事件。所述监控感知数据包括以下数据中的至少一种：视频数据、音频数据、烟感数据、光感数据、温度数据。
现有技术中的双流摄像头是能够同时发送视频流以及特征流的摄像头，特征未经变换，而本发明的视频流存放在本地，特征流是变换后发送的，因此，与双流摄像头对比，本发明的特征变换能够保证特征数据传输过程的安全性，避免云端泄露特征数据以及判断结果。
在本申请的优选实施例中，监控感知模块、特征提取模块可以都集成在摄像头中，也可以分别位于不同的硬件设备中。
在本申请的优选实施例中，特征提取模块包括：特征提取单元，用于提取监控感知数据的特征，得到实时特征流；编码单元，用于对获取到的监控感知数据编码后发送至加密单元；加密单元，用于加密编码后的监控感知数据，并发送至本地存储设备存储。
在本申请的优选实施例中，例如，特征提取单元采用双流网络(Two-StreamNetwork)方法，提取视频数据的特征。通过对视频序列中每两帧计算密集光流，得到密集光流的序列。然后对视频图像和密集光流分别训练卷积神经网络模型，训练好的两个分支的网络对视频数据分别进行特征提取。
在本申请的优选实施例中，例如，编码单元采用场景编码技术对音视频流进行编码。预设好每一段音视频的时长，将编码后的定长音视频作为本模块的输出。
在本申请的优选实施例中，加密单元的加密方法包括：对称加密和非对称加密。对称加密采用了对称密码编码技术，它的特点是文件加密和解密使用相同的密钥加密。非对称加密算法需要两个密钥：公钥(public key)和私钥(private key)。公钥与私钥是一对，如果用公钥对数据进行加密，只有用对应的私钥才能解密；如果用私钥对数据进行加密，只有用对应的公钥才能解密。
如图3和图4所示，特征提取模块进一步包括特征变换单元，用于对实时特征流进行特征变换后发送至异常行为/事件检测模块。特征变换包括特征加扰特征编码和/或同态加密。同态加密的数据能够直接进行处理和计算，处理和计算后得到的结果也是同态加密的。同态加密算法提供了一种对加密数据进行处理的功能。加密数据能够直接进行处理，但是处理过程不会泄露任何原始内容。同时，拥有密钥的用户对处理过的数据进行解密后，得到的正好是处理后的结果。
本申请的优选实施例中，特征提取单元还可以用于检测视频流数据中的目标并分别提取目标特征，根据目标特征与例外特征的差异值判断是否剔除对应帧。
在本申请的优选实施例中，异常行为/事件检测模块包括处理检测单元，用于将接收到的特征流输入预训练的深度神经网络模型进行计算，确定异常行为对应的事件，并将结果发送至客户。
在本申请的优选实施例中，异常行为/事件检测模块进一步包括特征反变换单元，用于接收特征流，并根据特征变换方式执行反变换并发送至处理检测单元。处理检测单元分别对接收到的各特征流进行计算，根据计算结果分别对动作的类别进行判断，最后直接对两个网络的分类得分(class score)与音频特征得到的分类结果进行融合,得到最终分类结果。
如图3所示，若在发送各特征流时采用加密，即使用特征加扰或特征编码等加密，则数据在特征变换单元加密后，传输至异常行为/事件检测模块先进行解密处理，对解密后的各特征流进行计算，将检测到的异常行为/事件发送至用户。
如图4所示，若在发送各特征流时采用同态加密，则数据在特征变换单元进行同态加密后，传输至异常行为/事件检测模块的处理检测单元进行计算，将同态加密的运算处理结果发送至用户，用户端解密后得到异常行为/事件信息。
在本申请的优选实施例中，异常行为/事件的特征模型可以根据用户的设定进行更新，并能够根据用户的设定，设置例外对象列表。用户使用用户端通过私钥查看保存在本地存储设备中的被加密的监控感知数据文件。
综上所述，与传统的直接传输视频到云端的摄像头对比，本发明具有特征数据量小，传输快等优点，以实时特征流代替视频，一定程度保护了隐私；与单一功能的智能摄像头对比，本发明的摄像头软件可定义，模型可以按照需求更新，适用范围广，可扩展性强；双流摄像头是能够同时发送视频流以及特征流的摄像头，特征未经变换，而本发明的视频流存放在本地，特征流是变换后发送的，因此，与双流摄像头对比，本发明的特征变换能够保证特征数据传输过程的安全性，避免云端泄露特征数据以及判断结果；与纯本地的摄像头对比，本发明具有云端计算力。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种保护隐私的监控系统，其特征在于，包括：监控感知模块、特征提取模块和异常行为/事件检测模块；
所述监控感知模块，用于获取监控场景的监控感知数据；
所述特征提取模块，用于提取所述监控感知数据的实时特征流，并将所述实时特征流发送给异常行为/事件检测模块；所述特征提取模块包括：
特征提取单元，用于提取监控感知数据的特征，得到实时特征流；
特征变换单元，用于对所述实时特征流进行特征变换后发送至异常行为/事件检测模块；
编码单元，用于对获取到的监控感知数据编码后发送至加密单元；
加密单元，用于加密所述编码后的监控感知数据，并发送至本地存储设备存储；
所述异常行为/事件检测模块，用于将所述实时特征流输入预训练的深度神经网络模型，检测异常行为/事件，包括：
接收并判断各实时特征流的变换状况，确定处理方式并处理；
将处理后的特征流输入到预训练的第一深度神经网络模型进行计算，得到预测值；
对预测值进行加权平均计算，得到异常值；
以超出阈值的异常值开始，保存超出阈值的异常值对应的特征数据到异常缓存库中，直至异常值低于阈值，停止保存，得到异常特征流集合；
将异常特征流集合输入到预训练的第二深度神经网络模型进行计算,得到异常行为/事件的类型。
2.如权利要求1所述的一种保护隐私的监控系统，其特征在于，
所述监控感知数据包括以下数据中的至少一种：视频数据、音频数据、烟感数据、光感数据、温度数据。
3.如权利要求1所述的一种保护隐私的监控系统，其特征在于，
所述特征变换包括以下方式中的至少一种：特征加扰、特征编码、同态加密。
4.如权利要求1所述的一种保护隐私的监控系统，其特征在于，
所述异常行为/事件检测模块包括处理检测单元，用于将接收到的实时特征流输入预训练的深度神经网络模型进行计算，确定异常行为对应的事件，并将结果发送至客户。
5.如权利要求4所述的一种保护隐私的监控系统，其特征在于，
所述异常行为/事件检测模块进一步包括特征反变换单元，用于接收实时特征流，并根据变换方式执行反变换并发送至处理检测单元。
6.一种保护隐私的监控方法，其特征在于，包括：
获取监控场景的监控感知数据；
提取所述监控感知数据的实时特征流；对获取到的监控感知数据编码，加密所述编码后的监控感知数据，并发送至本地存储设备存储；
将所述实时特征流进行特征变换后输入预训练的深度神经网络模型，检测异常行为/事件，包括：
接收并判断各实时特征流的变换状况，确定处理方式并处理；
将处理后的特征流输入到预训练的第一深度神经网络模型进行计算，得到预测值；
对预测值进行加权平均计算，得到异常值；
以超出阈值的异常值开始，保存超出阈值的异常值对应的特征数据到异常缓存库中，直至异常值低于阈值，停止保存，得到异常特征流集合；
将异常特征流集合输入到预训练的第二深度神经网络模型进行计算,得到异常行为/事件的类型。
7.如权利要求6所述的一种保护隐私的监控方法，其特征在于，
在提取所述监控感知数据的实时特征流之前还包括：
对所述监控感知数据中的图像进行目标定位，截取检测到的目标并分别提取特征，得到目标特征；
对比所述目标特征与例外特征的差异度；
若差异度小于阈值，则将此图像的帧剔除，不进行后续步骤；
若差异度大于阈值，进行后续步骤。
8.如权利要求6所述的一种保护隐私的监控方法，其特征在于，在所述提取所述监控感知数据的实时特征流之后，还包括：
对所述实时特征流进行特征变换。
9.如权利要求6所述的一种保护隐私的监控方法，其特征在于，所述接收并判断各实时特征流的变换状况，确定处理方式并处理，包括：
若特征流无变换，则不对特征流进行任何处理；
若特征流经过变换，则对特征流进行反变换；
若特征流为同态加密，则不对特征流进行任何处理。
10.如权利要求6所述的一种保护隐私的监控方法，其特征在于，在将所述实时特征流输入预训练的深度神经网络模型，检测异常行为/事件之后还包括：
判断所述异常行为/事件的类型结果是否为同态加密；
若所述类型结果不是同态加密，则直接显示；
若所述类型结果为同态加密，则解密后显示。
11.如权利要求6所述的一种保护隐私的监控方法，其特征在于，所述方法还包括：
所述监控感知数据经编码和加密后，存储在本地。
CN201910181133.6A 2019-03-11 2019-03-11 一种保护隐私的监控方法和系统 Active CN110087099B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910181133.6A CN110087099B (zh) 2019-03-11 2019-03-11 一种保护隐私的监控方法和系统
PCT/CN2019/088101 WO2020181662A1 (zh) 2019-03-11 2019-05-23 一种保护隐私的监控方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910181133.6A CN110087099B (zh) 2019-03-11 2019-03-11 一种保护隐私的监控方法和系统

Publications (2)

Publication Number Publication Date
CN110087099A CN110087099A (zh) 2019-08-02
CN110087099B true CN110087099B (zh) 2020-08-07

Family

ID=67412369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910181133.6A Active CN110087099B (zh) 2019-03-11 2019-03-11 一种保护隐私的监控方法和系统

Country Status (2)

Country Link
CN (1) CN110087099B (zh)
WO (1) WO2020181662A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224435A1 (en) * 2022-05-20 2023-11-23 Samsung Electronics Co., Ltd. Method, system, and electronic device for managing sensor data

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427769B (zh) * 2019-08-12 2020-12-25 重庆大学 基于智能看护系统面向用户活动模式隐私保护实施方法
WO2021050007A1 (en) * 2019-09-11 2021-03-18 Nanyang Technological University Network-based visual analysis
CN110826006B (zh) * 2019-11-22 2021-03-19 支付宝(杭州)信息技术有限公司 基于隐私数据保护的异常采集行为识别方法和装置
CN111382455B (zh) * 2020-03-18 2023-05-26 北京丁牛科技有限公司 一种文件保护方法及装置
CN111767783A (zh) * 2020-04-22 2020-10-13 杭州海康威视数字技术股份有限公司 行为检测、模型训练方法、装置、电子设备及存储介质
CN111553320B (zh) * 2020-05-14 2021-12-21 支付宝(杭州)信息技术有限公司 保护个人数据隐私的特征提取方法、模型训练方法及硬件
CN112016440B (zh) * 2020-08-26 2024-02-20 杭州云栖智慧视通科技有限公司 一种基于多目标跟踪的目标推送方法
CN114640819A (zh) * 2020-12-01 2022-06-17 中国电信股份有限公司 目标识别方法及装置、视频监控系统
CN113110421B (zh) * 2021-03-23 2023-03-24 特斯联科技集团有限公司 一种景区河道视觉识别移动船只跟踪联动方法和系统
CN113190108A (zh) * 2021-03-26 2021-07-30 特斯联科技集团有限公司 一种博物馆展陈无感触摸与声音联动方法和系统
CN113329000B (zh) * 2021-05-17 2023-01-10 山东大学 一种基于智能家居环境下的隐私保护和安全监测一体化系统
CN113965728A (zh) * 2021-10-20 2022-01-21 深圳龙岗智能视听研究院 一种双流的视频隐私保护方法
CN114007090B (zh) * 2021-10-26 2024-06-04 深圳Tcl新技术有限公司 视频直播的建立方法、装置、存储介质及电子设备
CN113992894A (zh) * 2021-10-27 2022-01-28 甘肃风尚电子科技信息有限公司 基于监控视频时序动作定位和异常检测的异常事件识别系统
CN114595737A (zh) * 2021-11-08 2022-06-07 北京航空航天大学杭州创新研究院 一种会议室的深度智能感知监控方法
CN114422751B (zh) * 2021-12-25 2025-01-07 国网北京市电力公司 基于多路摄像头物理拓扑的智能视频识别联动系统及方法
CN115278004B (zh) * 2022-07-06 2023-10-31 杭州海康汽车软件有限公司 监控视频数据的传输方法、装置、设备及存储介质
CN114926154B (zh) * 2022-07-20 2022-11-18 江苏华存电子科技有限公司 一种多场景数据识别的保护切换方法及系统
CN116090019B (zh) * 2023-04-12 2023-06-16 北京数力聚科技有限公司 一种基于分布式协作的隐私计算方法及系统
CN116156215B (zh) * 2023-04-21 2023-07-07 南京数脉动力信息技术有限公司 一种基于volte网络的视频流文件压缩和高效传输系统和方法
CN117351440B (zh) * 2023-12-06 2024-02-20 浙江华是科技股份有限公司 基于开放式文本检测的半监督船舶检测方法及系统
CN118368392B (zh) * 2024-05-21 2025-01-17 深圳迪奇普科技有限公司 摄像头的远程监控方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1666528A (zh) * 2002-07-05 2005-09-07 阿斯佩克特斯有限公司 在大量并行图像序列中有效进行事件检测的方法和系统
CN101610396A (zh) * 2008-06-16 2009-12-23 北京智安邦科技有限公司 具有隐私保护的智能视频监控设备模组和系统及其监控方法
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN108629237A (zh) * 2017-03-21 2018-10-09 中山大学 基于h.264/avc加密视频的运动异常检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5713159B2 (ja) * 2010-03-24 2015-05-07 独立行政法人産業技術総合研究所 ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム
US20170213081A1 (en) * 2015-11-19 2017-07-27 Intelli-Vision Methods and systems for automatically and accurately detecting human bodies in videos and/or images
CN107729799A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统
CN108921039A (zh) * 2018-06-07 2018-11-30 南京启德电子科技有限公司 基于多尺寸卷积核的深度卷积模型的森林火灾检测方法
CN108846365B (zh) * 2018-06-24 2022-04-22 深圳市中悦科技有限公司 视频中打架行为的检测方法、装置、存储介质及处理器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1666528A (zh) * 2002-07-05 2005-09-07 阿斯佩克特斯有限公司 在大量并行图像序列中有效进行事件检测的方法和系统
CN101610396A (zh) * 2008-06-16 2009-12-23 北京智安邦科技有限公司 具有隐私保护的智能视频监控设备模组和系统及其监控方法
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN108629237A (zh) * 2017-03-21 2018-10-09 中山大学 基于h.264/avc加密视频的运动异常检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224435A1 (en) * 2022-05-20 2023-11-23 Samsung Electronics Co., Ltd. Method, system, and electronic device for managing sensor data

Also Published As

Publication number Publication date
WO2020181662A1 (zh) 2020-09-17
CN110087099A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110087099B (zh) 一种保护隐私的监控方法和系统
CN110569720B (zh) 一种基于音视频处理系统的音视频智能识别处理方法
CN113162902B (zh) 一种基于深度学习的低时延、安全的车载入侵检测方法
CN101610408A (zh) 视频保护置乱方法和结构
TWI638569B (zh) 監控系統與監控方法
CN110490126B (zh) 一种基于人工智能的保险柜安全管控系统
Giorgi et al. Privacy-preserving analysis for remote video anomaly detection in real life environments
CN210072642U (zh) 基于视频监控的人群异常行为检测系统
Abbas et al. A comprehensive review for video anomaly detection on videos
Kheraifia et al. Blockchain-driven adaptive streaming for iot: redefining security in video delivery
Varghese et al. Video anomaly detection in confined areas
Damera et al. Normalized Attention Neural Network with Adaptive Feature Recalibration for Detecting the Unusual Activities Using Video Surveillance Camera.
Archana et al. To detect abnormal event at ATM system by using image processing based on IOT technologies
KR102722580B1 (ko) 감시 카메라 영상을 이용한 자율형 딥러닝 기반 학대 감지 시스템
Ahmed et al. Intruder detection in camera networks using the one-class neighbor machine
Shamnath et al. Human Suspicious Activity Detection Using Ensemble Machine Learning Techniques
Lin et al. Moving object detection in the encrypted domain
Mohammed et al. Implementation of human detection on raspberry pi for smart surveillance
Arthi et al. Wearable sensors and real-time system for detecting violence using artificial intelligence
CN103974028A (zh) 人员激烈行为侦测方法
Moorthi et al. Human activity recognition in video surveillance using long-term recurrent convolutional network
KR20210075636A (ko) 획득한 이미지의 분석을 통한 위험 감지 방법 및 이를 위한 전자 장치
Liang et al. Physical Intrusion Detection System Based on Behavioral Sign Recognition
CN119854343B (zh) 一种基于人工智能的换电柜电池防盗系统
CN119131698B (zh) 基于云计算的安防监控大数据处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant