CN113989540B - 基于深度学习判断异常行为的监控方法、装置、计算机设备和存储介质 - Google Patents

基于深度学习判断异常行为的监控方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113989540B
CN113989540B CN202111109515.1A CN202111109515A CN113989540B CN 113989540 B CN113989540 B CN 113989540B CN 202111109515 A CN202111109515 A CN 202111109515A CN 113989540 B CN113989540 B CN 113989540B
Authority
CN
China
Prior art keywords
behavior
target user
judging
category
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111109515.1A
Other languages
English (en)
Other versions
CN113989540A (zh
Inventor
杨钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terminus Technology Group Co Ltd
Original Assignee
Terminus Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terminus Technology Group Co Ltd filed Critical Terminus Technology Group Co Ltd
Priority to CN202111109515.1A priority Critical patent/CN113989540B/zh
Publication of CN113989540A publication Critical patent/CN113989540A/zh
Application granted granted Critical
Publication of CN113989540B publication Critical patent/CN113989540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习判断异常行为的监控方法、装置、计算机设备和存储介质，该方法包括：从第一终端获取目标用户的待检测的视频数据，待检测视频数据至少包含两个图像帧，图像帧是在判断时间点之前预设时间段内与目标用户动作相关的图像；从关键子区域图像中提取特征数据；将特征数据输入判断模型中，根据特征数据生成多个不同时间尺度的特征数据，并根据多个不同时间尺度的特征数据得到目标用户的行为的类别，行为的类别包括正常行为以及至少一种异常行为。上述方法运行速度更快，准确度更高，鲁棒性更好，判断标准差更低，能更好的实现用户行为判断。

Description

基于深度学习判断异常行为的监控方法、装置、计算机设备和 存储介质
技术领域
本发明涉及互联网应用技术领域，特别是涉及基于深度学习判断异常行为的监控方法、装置、计算机设备和存储介质。
背景技术
用户异常行为常指违反社会文明准则或成群体行为习惯和标准的“反常”行为。特别是随着人们对公共安全意识、网络安全意识的提高，因此对人群场景、网络等环境中的异常行为检测的关注度越来越高。
目前对用户异常行为的检测，通常依据个体异常行为的特征进行匹配检测，或依据个体正常行为的特征进行对比检测。但由于同一个行为可能在某些情况下是异常行为，而在其他情况下是正常行为。因此可能会将正常行为误检为异常行为，也有可能会将异常行为漏检为正常行为，从而导致异常行为检测的错误率高。
发明内容
本申请提供了一种基于深度学习判断异常行为的监控方法、装置、计算机设备和存储介质。
第一方面提供了一种基于深度学习判断异常行为的监控方法，包括：
从第一终端获取目标用户的待检测的视频数据，所述待检测视频数据至少包含两个图像帧，所述图像帧是在判断时间点之前预设时间段内与所述目标用户动作相关的图像；
从关键子区域图像中提取特征数据；
将所述特征数据输入判断模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标用户的行为的类别，所述行为的类别包括正常行为以及至少一种异常行为。
在一些实施例中，所述判断模型包括第一判断单元和第二判断单元；
所述将所述特征数据输入判断模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标用户的行为判断结果，包括：
将所述特征数据输入第一判断单元中，对所述特征数据进行多个时间尺度的离散小波变换，得到各个时间尺度的第一特征矩阵，并所述第一判断单元根据所述第一特征矩阵得到所述目标用户的第一判断结果；
将所述特征数据输入第二判断单元中，所述第二判断单元对所述特征数据进行多个不同时间尺度的下采样，得到各个时间尺度的第二特征矩阵，并所述第二模型根据所述第二特征矩阵得到所述目标用户的第二判断结果；
聚合所述第一判断结果和所述第二判断结果，得到所述目标用户的行为判断结果。
在一些实施例中，所述第一判断单元包括小波变换模块和XGBoost模块，所述第二判断单元包括CNN模型和GRU模型；
所述第一判断单元根据所述第一特征矩阵得到所述目标用户的第一判断结果，包括：
将所述第一特征矩阵输入所述XGBoost模块，得到所述目标用户行为类别的第一判断结果；
所述所述第二模型根据所述第二特征矩阵得到所述目标用户的第二判断结果，包括：
将所述第二特征矩阵输入所述CNN模型进行卷积和池化操作，得到多个时间尺度的第一特征向量；
对所述多个时间尺度的第一特征向量进行序列长度的补充，使得所述第一特征向量具有相同维数；
将所述第一特征向量输入所述GRU模型，采用所述GRU模型对所述第一特征向量进行时序分析，生成第二特征向量；
采用预设长度的全连接层及softmax分类器对所述第二特征向量进行分类评分，得到得到所述目标用户行为类别的第二判断结果。
在一些实施例中，所述聚合所述第一判断结果和所述第二判断结果，得到所述目标用户的行为判断结果，包括：
通过预设长度的全连接层聚合所述第一判断结果和所述第二判断结果，输出层输出最终的目标用户的行为的类别判断结果。
在一些实施例中，所述第二判断单元还包括Dropout层，所述Dropout层设置在GRU模型与全连接层之间。
在一些实施例中，所述方法还包括：
响应于所述行为的类别，基于预先设置的行为的类别与报警类别信息之间的对应关系，确定所述行为的类别对应的报警类别信息；
基于所确定的报警类别信息，确定所述第一终端是否处于报警状态；
响应于确定所述第一终端处于报警状态，向至少一个第二终端发送报警信息，所述报警信息包括报警类别信息、所述第一终端的位置信息。
在一些实施例中，所述待检测图像为红外摄像头采集的灰度图像。
第二方面提供了一种基于深度学习判断异常行为的监控装置，包括：
获取单元，用于从第一终端获取目标用户的待检测的视频数据，所述待检测视频数据至少包含两个图像帧，所述图像帧是在判断时间点之前预设时间段内与所述目标用户动作相关的图像；
特征提取单元，用于从关键子区域图像中提取特征数据；
判断单元，用于将所述特征数据输入判断模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标用户的行为的类别，所述行为的类别包括正常行为以及至少一种异常行为。
第三方面提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述基于深度学习判断异常行为的监控方法的步骤。
第四方面提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述基于深度学习判断异常行为的监控方法的步骤。
上述基于深度学习判断异常行为的监控方法、装置、计算机设备和存储介质，首先从第一终端获取目标用户的待检测的视频数据，待检测视频数据至少包含两个图像帧，图像帧是在判断时间点之前预设时间段内与目标用户动作相关的图像；其次从关键子区域图像中提取特征数据；最后将特征数据输入判断模型中，根据特征数据生成多个不同时间尺度的特征数据，并根据多个不同时间尺度的特征数据得到目标用户的行为的类别，行为的类别包括正常行为以及至少一种异常行为。因此，该方法运行速度更快，准确度更高，鲁棒性更好，判断标准差更低，能更好的实现用户行为判断。
附图说明
图1为一个实施例中提供的基于深度学习判断异常行为的监控方法的实施环境图；
图2为一个实施例中基于深度学习判断异常行为的监控方法的流程图；
图3为一个实施例中基于深度学习判断异常行为的监控装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的服务器(又叫事件处理设备，其中，事件处理设备可以是由单独的事件处理装置构成，也可以是由其他装置与事件处理装置组合形成)结构示意图。
本发明实施例服务器指一个管理资源并为用户提供服务的计算机，通常分为文件服务器、数据库服务器和应用程序服务器。运行以上软件的计算机或计算机系统也被称为服务器。相对于普通PC(personalcomputer)个人计算机来说，服务器在稳定性、安全性、性能等方面都要求较高；如图1所示，该服务器可以包括：处理器1001，例如中央处理器(CentralProcessingUnit，CPU)，网络接口1004，用户接口1003，存储器1005，通信总线1002、芯片组、磁盘系统、网络等硬件等。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity，WIFI接口)。存储器1005可以是高速随机存取存储器(randomaccessmemory，RAM)，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，服务器还可以包括摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块；输入单元，比显示屏，触摸屏；网络接口可选除无线接口中除WiFi外，蓝牙、探针、3G/4G/5G(前面的数字表示的是蜂窝移动通信网络的代数。就是表示是第几代的网络。英文字母G表示generation)联网基站设备等等。本领域技术人员可以理解，图1中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，该计算机软件产品存储在一个存储介质(存储介质：又叫计算机存储介质、计算机介质、可读介质、可读存储介质、计算机可读存储介质或者直接叫介质等，如RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例的方法，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序。
在图1所示的服务器中，网络接口1004主要用于连接后台数据库，与后台数据库进行数据通信；用户接口1003主要用于连接客户端(客户端，又叫用户端或终端，本发明实施例终端可以固定终端，也可以是移动终端，在此不再赘述)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的计算机程序，并执行本发明以下实施例提供的事件处理方法中的步骤。
如图2所示，在一个实施例中，提出了一种基于深度学习判断异常行为的监控方法，该基于深度学习判断异常行为的监控方法可以应用于上述的计算机设备1001中，具体可以包括以下步骤：
步骤201、从第一终端获取目标用户的待检测的视频数据，所述待检测视频数据至少包含两个图像帧，所述图像帧是在判断时间点之前预设时间段内与所述目标用户动作相关的图像；
其中，待判断行为类别的用户定义为目标用户。
步骤202、从目标用户的关键子区域图像中提取特征数据；
步骤203、将特征数据输入判断模型中，根据特征数据生成多个不同时间尺度的特征数据，并根据多个不同时间尺度的特征数据得到目标用户的行为类别的判断结果。
在本实施例中，通过在不同时间尺度下采样直接获得多尺度模式，多尺度信息不仅指多个尺度的行为，而且还指多种类型的尺度信息，对时间序列进行多尺度多方面的细化,最终可以达到频率细分的目的
在一些实施例中，上述步骤203包括：
步骤2031、将特征数据输入第一判断单元中，对特征数据进行多个时间尺度的离散小波变换，得到各个时间尺度的第一特征矩阵，并第一判断单元根据第一特征矩阵得到目标用户的第一判断结果；
其中，小波变换对时间和空间上频率的局部信息进行分析,通过伸缩和平移操作对时间序列进行多尺度多方面的细化,最终可以达到频率细分的目的,能自动适应时间序列分析的要求,可聚焦到时间序列的任意方面。
步骤2032、将特征数据输入第二判断单元中，第二判断单元对特征数据进行多个不同时间尺度的下采样，得到各个时间尺度的第二特征矩阵，并第二模型根据第二特征矩阵得到目标用户的第二判断结果；
在本实施例中，分别采用了小波变换和下采样的方式生成目标用户的关键子区域图像的多尺度特征数据。
在一些实施例中，第一判断单元包括小波变换模块和XGBoost模块，第二判断单元包括CNN模型和GRU模型；
上述步骤2031可以包括：
将第一特征矩阵输入XGBoost模块，得到目标用户行为类别的第一判断结果；
上述步骤2032可以包括：
步骤2032a、将第二特征矩阵输入CNN模型进行卷积和池化操作，得到多个时间尺度的第一特征向量；
步骤2032b、对多个时间尺度的第一特征向量进行序列长度的补充，使得第一特征向量具有相同维数；
步骤2032c、将第一特征向量输入GRU模型，采用GRU模型对第一特征向量进行时序分析，生成第二特征向量；
步骤2032d、采用预设长度的全连接层及softmax分类器对第二特征向量进行分类评分，得到得到目标用户行为类别的第二判断结果。
CNN卷积神经网络负责特征提取，通过将历史交易数据对应的多维特征矩阵输入到CNN网络中进行处理，获得历史交易数据对应的特征向量。
将通过递归卷积神经网络得到的多个时间尺度分解数据进行序列长度的补充，得到多个时间尺度分解数据的类别划分，包括：采用如下公式将这些多尺度空间特征串联起来，在这里将多个向量 连接成单个向量Vi。0为零填充，以确保具有相同的维数。该操作可以使在每个时间步上包含多尺度信息；让多尺度信息随时间增加。
进一步地，另一份数据输入递归卷积神经网络多个时间尺度的分解数据，包括：递归卷积神经网络是一个5层的CNN，给定一个输入库存数据xs∈RLxd，第一层是一个ID卷积的特征，16个滤波器的1xd，然后堆叠两个卷积层，32个滤波器的1x3；每个层后面都有一个2x1最大池化层；CNN的计算可以简单地表示为：其中是CNN得到的所有基本特征向量的第i个。
在这里，遵循CNNpred[Ehsan和Saman,2019]作为CNN的结构。其结构优于其他CNNsIGunduz等。
采用预设长度的全连接层及softmax分类器对第二特征向量进行分类评分，得到得到目标用户行为类别的第二判断结果，包括：
步骤2033、聚合第一判断结果和第二判断结果，得到目标用户的行为判断结果。
在一些实施例中，上述步骤2033可以包括：通过预设长度的全连接层聚合第一判断结果和第二判断结果，输出层输出最终的用户行为类别判断结果。
在一些实施例中，第二判断单元还包括Dropout层，Dropout层设置在GRU模型与全连接层之间。
具体地，Dropout的原理，直观来说就是在训练网络的时候，以预先设置的概率停止神经单元的输出，这样会使得部分神经单元的“罢工”，意味着每次的网络训练只有一部分数据特征在参与，从而防止网络过多地学习训练集的数据特征，达到防止过拟合的目的。本实施例通过在GRU模型中引入Dropout策略，在一定程度上解决了深层网络模型带来的训练难、收敛慢和过拟合等问题。
在一些实施例中，上述方法还包括：
步骤204、响应于所述行为的类别，基于预先设置的行为的类别与报警类别信息之间的对应关系，确定所述行为的类别对应的报警类别信息；
步骤205、基于所确定的报警类别信息，确定所述第一终端是否处于报警状态；
步骤206、响应于确定所述第一终端处于报警状态，向至少一个第二终端发送报警信息，所述报警信息包括报警类别信息、所述第一终端的位置信息。
在本实施例中，确定的第一终端是否处于报警状态。当上述执行主体响应于确定第一终端处于报警状态时，可以向至少一个第二终端发送报警信息。其中，该报警信息可以包括报警类别信息以及第一终端的位置信息。在这里，该第二终端可以为与第一终端相连接的终端。该第二终端可以为用户通过第一终端预先设置的。也可以为与上述执行主体相连接的任意第二终端。
在一些实施例中，所述待检测图像为红外摄像头采集的灰度图像。
如图3所示，在一个实施例中，提供了一种基于深度学习判断异常行为的监控装置，该基于深度学习判断异常行为的监控装置可以集成于上述的计算机设备1001中，具体可以包括：
获取单元311，用于从第一终端获取目标用户的待检测的视频数据，所述待检测视频数据至少包含两个图像帧，所述图像帧是在判断时间点之前预设时间段内与所述目标用户动作相关的图像；
特征提取单元312，用于从关键子区域图像中提取特征数据；
判断单元313，用于将所述特征数据输入判断模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标用户的行为的类别，所述行为的类别包括正常行为以及至少一种异常行为。
在一个实施例中，提出了一种计算机设备，计算机设备可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：从第一终端获取目标用户的待检测的视频数据，待检测视频数据至少包含两个图像帧，图像帧是在判断时间点之前预设时间段内与目标用户动作相关的图像；从关键子区域图像中提取特征数据；将特征数据输入判断模型中，根据特征数据生成多个不同时间尺度的特征数据，并根据多个不同时间尺度的特征数据得到目标用户的行为的类别，行为的类别包括正常行为以及至少一种异常行为。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：从第一终端获取目标用户的待检测的视频数据，待检测视频数据至少包含两个图像帧，图像帧是在判断时间点之前预设时间段内与目标用户动作相关的图像；从关键子区域图像中提取特征数据；将特征数据输入判断模型中，根据特征数据生成多个不同时间尺度的特征数据，并根据多个不同时间尺度的特征数据得到目标用户的行为的类别，行为的类别包括正常行为以及至少一种异常行为。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)等非易失性存储介质，或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于深度学习判断异常行为的监控方法，其特征在于，所述方法包括：
从第一终端获取目标用户的待检测的视频数据，所述待检测视频数据至少包含两个图像帧，所述图像帧是在判断时间点之前预设时间段内与所述目标用户动作相关的图像；
从关键子区域图像中提取特征数据；
将所述特征数据输入判断模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标用户的行为的类别，所述行为的类别包括正常行为以及至少一种异常行为；
所述判断模型包括第一判断单元和第二判断单元；
所述将所述特征数据输入判断模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标用户的行为判断结果，包括：
将所述特征数据输入第一判断单元中，对所述特征数据进行多个时间尺度的离散小波变换，得到各个时间尺度的第一特征矩阵，并所述第一判断单元根据所述第一特征矩阵得到所述目标用户的第一判断结果；
将所述特征数据输入第二判断单元中，所述第二判断单元对所述特征数据进行多个不同时间尺度的下采样，得到各个时间尺度的第二特征矩阵，并所述第二判断单元根据所述第二特征矩阵得到所述目标用户的第二判断结果；
聚合所述第一判断结果和所述第二判断结果，得到所述目标用户的行为判断结果；
所述第一判断单元包括小波变换模块和XGBoost模块，所述第二判断单元包括CNN模型和GRU模型；
所述第一判断单元根据所述第一特征矩阵得到所述目标用户的第一判断结果，包括：
将所述第一特征矩阵输入所述XGBoost模块，得到所述目标用户行为类别的第一判断结果；
所述第二判断单元根据所述第二特征矩阵得到所述目标用户的第二判断结果，包括：
将所述第二特征矩阵输入所述CNN模型进行卷积和池化操作，得到多个时间尺度的第一特征向量；
对所述多个时间尺度的第一特征向量进行序列长度的补充，使得所述第一特征向量具有相同维数；
将所述第一特征向量输入所述GRU模型，采用所述GRU模型对所述第一特征向量进行时序分析，生成第二特征向量；
采用预设长度的全连接层及softmax分类器对所述第二特征向量进行分类评分，得到得到所述目标用户行为类别的第二判断结果。
2.根据权利要求1所述的基于深度学习判断异常行为的监控方法，其特征在于，所述聚合所述第一判断结果和所述第二判断结果，得到所述目标用户的行为判断结果，包括：
通过预设长度的全连接层聚合所述第一判断结果和所述第二判断结果，输出层输出最终的目标用户的行为的类别判断结果。
3.根据权利要求1所述的基于深度学习判断异常行为的监控方法，其特征在于，所述第二判断单元还包括Dropout层，所述Dropout层设置在GRU模型与全连接层之间。
4.根据权利要求1所述的基于深度学习判断异常行为的监控方法，其特征在于，所述方法还包括：
响应于所述行为的类别，基于预先设置的行为的类别与报警类别信息之间的对应关系，确定所述行为的类别对应的报警类别信息；
基于所确定的报警类别信息，确定所述第一终端是否处于报警状态；
响应于确定所述第一终端处于报警状态，向至少一个第二终端发送报警信息，所述报警信息包括报警类别信息、所述第一终端的位置信息。
5.根据权利要求1所述的基于深度学习判断异常行为的监控方法，其特征在于，所述待检测图像为红外摄像头采集的灰度图像。
6.一种基于深度学习判断异常行为的监控装置，用于实现权利要求1所述的方法，其特征在于，包括：
获取单元，用于从第一终端获取目标用户的待检测的视频数据，所述待检测视频数据至少包含两个图像帧，所述图像帧是在判断时间点之前预设时间段内与所述目标用户动作相关的图像；
特征提取单元，用于从关键子区域图像中提取特征数据；
判断单元，用于将所述特征数据输入判断模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标用户的行为的类别，所述行为的类别包括正常行为以及至少一种异常行为。
7.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项权利要求所述基于深度学习判断异常行为的监控方法的步骤。
8.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至5中任一项权利要求所述基于深度学习判断异常行为的监控方法的步骤。
CN202111109515.1A 2021-09-22 2021-09-22 基于深度学习判断异常行为的监控方法、装置、计算机设备和存储介质 Active CN113989540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111109515.1A CN113989540B (zh) 2021-09-22 2021-09-22 基于深度学习判断异常行为的监控方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111109515.1A CN113989540B (zh) 2021-09-22 2021-09-22 基于深度学习判断异常行为的监控方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113989540A CN113989540A (zh) 2022-01-28
CN113989540B true CN113989540B (zh) 2024-07-05

Family

ID=79736300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111109515.1A Active CN113989540B (zh) 2021-09-22 2021-09-22 基于深度学习判断异常行为的监控方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113989540B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241946A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 异常行为监控方法、装置、计算机设备及存储介质
CN110781771A (zh) * 2019-10-08 2020-02-11 北京邮电大学 一种基于深度学习的异常行为实时监测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10826932B2 (en) * 2018-08-22 2020-11-03 General Electric Company Situation awareness and dynamic ensemble forecasting of abnormal behavior in cyber-physical system
US11030755B2 (en) * 2019-05-13 2021-06-08 Cisco Technology, Inc. Multi-spatial scale analytics
CN110852382B (zh) * 2019-11-12 2023-04-18 山东大学 一种基于时空多特征提取的行为识别系统及其工作方法
CN111565303B (zh) * 2020-05-29 2021-12-14 广东省电子口岸管理有限公司 基于雾计算及深度学习的视频监控方法、系统和可读存储介质
CN112016500B (zh) * 2020-09-04 2023-08-22 山东大学 基于多尺度时间信息融合的群体异常行为识别方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241946A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 异常行为监控方法、装置、计算机设备及存储介质
CN110781771A (zh) * 2019-10-08 2020-02-11 北京邮电大学 一种基于深度学习的异常行为实时监测方法

Also Published As

Publication number Publication date
CN113989540A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
US20210224592A1 (en) Method and device for training image recognition model, and storage medium
JP2020515983A (ja) 対象人物の検索方法および装置、機器、プログラム製品ならびに媒体
CN112084959B (zh) 一种人群图像处理方法及装置
CN110162939B (zh) 人机识别方法、设备和介质
CN113065593A (zh) 模型训练方法、装置、计算机设备和存储介质
US20130218876A1 (en) Method and apparatus for enhancing context intelligence in random index based system
CN115511779B (zh) 图像检测方法、装置、电子设备和存储介质
CN114399028B (zh) 信息处理方法、图卷积神经网络训练方法及电子设备
CN114612531B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114091789A (zh) 项目数据波动预测方法、装置、计算机设备和存储介质
CN112997148A (zh) 睡眠预测方法、装置、存储介质及电子设备
CN114139630A (zh) 姿态识别方法、装置、存储介质和电子设备
CN111476144B (zh) 行人属性识别模型确定方法、装置及计算机可读存储介质
CN113989540B (zh) 基于深度学习判断异常行为的监控方法、装置、计算机设备和存储介质
CN111797874B (zh) 行为预测方法、装置、存储介质及电子设备
WO2020258509A1 (zh) 终端设备异常访问的隔离方法和装置
CN116307394A (zh) 产品用户体验评分方法、装置、介质及设备
CN113170018A (zh) 睡眠预测方法、装置、存储介质及电子设备
CN116342940A (zh) 图像审批方法、装置、介质及设备
CN112749707B (zh) 利用神经网络进行目标分割的方法、设备和介质
CN111797931B (zh) 图像处理方法、图像处理网络训练方法、装置、设备
CN114663980A (zh) 行为识别方法、深度学习模型的训练方法及装置
CN111797860B (zh) 特征提取方法、装置、存储介质及电子设备
CN110880066B (zh) 特征数据的处理方法、终端、装置及可读存储介质
CN116501993B (zh) 房源数据推荐方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant