CN110991375A - 一种群体行为分析方法及装置 - Google Patents

一种群体行为分析方法及装置 Download PDF

Info

Publication number
CN110991375A
CN110991375A CN201911259921.9A CN201911259921A CN110991375A CN 110991375 A CN110991375 A CN 110991375A CN 201911259921 A CN201911259921 A CN 201911259921A CN 110991375 A CN110991375 A CN 110991375A
Authority
CN
China
Prior art keywords
target
neural network
loss function
constructing
group behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911259921.9A
Other languages
English (en)
Other versions
CN110991375B (zh
Inventor
吕金虎
骆滢
张宝昌
刘克新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Academy of Mathematics and Systems Science of CAS
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201911259921.9A priority Critical patent/CN110991375B/zh
Publication of CN110991375A publication Critical patent/CN110991375A/zh
Application granted granted Critical
Publication of CN110991375B publication Critical patent/CN110991375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种群体行为分析方法及装置,所述方法包括:基于网络损失函数和方差最小化法构建目标损失函数,并基于所述目标损失函数通过深度监督方式构建目标监督模型;基于多通道编码器、多通道解码器,及所述目标监督模型,构建目标深度神经网络;通过所述目标深度神经网络进行群体行为分析,以根据分析结果确定群体行为状态。采用本发明提供的群体行为分析方法可以有效提高分析结果的准确性和可靠性,提高群体行为的分析效率,并可以减少人力资源的消耗。

Description

一种群体行为分析方法及装置
技术领域
本发明涉行为分析领域,尤其涉及一种群体行为分析方法及装置。
背景技术
随着城市化进程的迅速发展,异常群体行为的发生次数也随之大幅增加,而异常群体行为的发生,通常会对社会公共安全构成危害。故而,如何对群体行为进行分析也变得尤为重要
现阶段,通常由工作人员进行群体行为的分析。具体的,首先,可以通过安装在各个公共场所的监控设备,获取对应场所的实时的图像画面。然后,工作人员可以对各个监控设备获取到的图像画面进行监控,并可以基于监控到的图像画面人工分析是否发生异常群体行为,以根据分析结果对异常群体行为进行处理。而通过人工进行群体行为分析,依赖于工作人员的专业水平,这会导致分析结果的准确性较低。故而,目前亟需一种准确性较高的群体行为的分析方法以解决前述问题。
发明内容
由于现有方法存在上述问题,本发明实施例提出一种群体行为分析方法及装置。
第一方面,本发明实施例提供一种群体行为分析方法,所述方法包括:
基于网络损失函数和方差最小化法构建目标损失函数,并基于所述目标损失函数通过深度监督方式构建目标监督模型;
基于多通道编码器、多通道解码器,及所述目标监督模型,构建目标深度神经网络;
通过所述目标深度神经网络进行群体行为分析,以根据分析结果确定群体行为状态。
可选的,所述基于所述目标损失函数及深度监督方式构建目标监督模型,包括:
获取预设搭配系数,并基于所述预设搭配系数及所述目标损失函数,通过深度监督方式构建目标监督模型,其中,所述深度监督方式包括空间抽象损失函数及像素空间位置损失函数。
可选的,所述基于多通道编码器和多通道解码器,及所述目标监督模型,构建目标深度神经网络,包括:
基于第一预设数量个最大池化的初始Inception卷积块,及第二预设数量个不同尺度的多通道编码器构建多尺度残差编码器;
基于所述多尺度残差编码器及多通道解码器,构建目标多通道编码解码器,并基于所述目标多通道编码解码器及所述目标监督模型,构建目标深度神经网络。
可选的,所述通过所述目标深度神经网络进行群体行为分析,以根据分析结果确定群体行为状态,包括:
通过所述目标深度神经网络获取目标监测区域的像素值,并基于所述目标监测区域的像素值,确定所述目标监测区域的像素值之和;
通过所述目标深度神经网络获取与所述目标监测区域对应的目标场景的预设像素阈值,并判断所述像素值之和是否大于所述预设像素阈值;
若大于所述预设像素阈值,所述目标深度神经网络则确定所述目标监测区域出现异常群体行为。
第二方面,本发明实施例提供一种群体行为分析装置,所述装置包括模型构建模块、网络构建模块及行为分析模块,其中:
所述模型构建模块,用于基于网络损失函数和方差最小化法构建目标损失函数,并基于所述目标损失函数通过深度监督方式构建目标监督模型;
所述网络构建模块,用于基于多通道编码器、多通道解码器,及所述目标监督模型,构建目标深度神经网络;
所述行为分析模块,用于通过所述目标深度神经网络进行群体行为分析,以根据分析结果确定群体行为状态。
可选的,所述模型构建模块,用于:
获取预设搭配系数,并基于所述预设搭配系数及所述目标损失函数,通过深度监督方式构建目标监督模型,其中,所述深度监督方式包括空间抽象损失函数及像素空间位置损失函数。
可选的,所述网络构建模块,用于:
基于第一预设数量个最大池化的初始Inception卷积块,及第二预设数量个不同尺度的多通道编码器构建多尺度残差编码器;
基于所述多尺度残差编码器及多通道解码器,构建目标多通道编码解码器,并基于所述目标多通道编码解码器及所述目标监督模型,构建目标深度神经网络。
可选的,所述行为分析模块,用于:
通过所述目标深度神经网络获取目标监测区域的像素值,并基于所述目标监测区域的像素值,确定所述目标监测区域的像素值之和;
通过所述目标深度神经网络获取与所述目标监测区域对应的目标场景的预设像素阈值,并判断所述像素值之和是否大于所述预设像素阈值;
若大于所述预设像素阈值,所述目标深度神经网络则确定所述目标监测区域出现异常群体行为。
第三方面,本发明实施例还提出一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述的群体行为分析方法的步骤。
第四方面,本发明实施例还提出一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机程序,所述计算机程序使所述计算机执行如第一方面所述的群体行为分析方法。
由上述技术方案可知,本发明实施例提供的群体行为分析方法及装置,通过构建目标深度神经网络,基于所述目标深度神经网络对群体性为进行分析,以根据分析结果确定群体性为状态。这样,基于目标深度神经网络对群体行为进行分析,可以避免工作人员的专业水平对分析结果的影响,从而可以有效提高分析结果的准确性和可靠性,提高群体行为的分析效率。同时,基于目标深度神经网络对群体行为进行分析,即通过目标深度神经网络实现群体行为的自动分析,还可以减少人力资源的消耗,进一步提高群体行为的分析效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种群体行为分析方法的流程示意图;
图2为本发明实施例提供的一种基于网络测试集的分析结果示意图;
图3为本发明实施例提供的一种目标深度神经网络的结构示意图;
图4为本发明实施例提供的一种群体行为分析装置的结构示意图;
图5为本发明实施例提供的电子设备的逻辑框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了本实施例提供的一种群体行为分析方法的流程示意图,包括:
S101,基于网络损失函数和方差最小化法构建目标损失函数,并基于目标损失函数通过深度监督方式构建目标监督模型。
其中,所述目标损失函数指基于网络损失函数和方差最小化法构建的新的损失函数。
所述目标监督模型指基于前述目标损失函数通过深度监督方式构建的新的监督模型。
在实施中,可以基于网络损失函数、方差最小化法及深度监督方式构建目标监督模型,并可以基于多通道编码器、多通道解码器及前述目标监督模型构建目标深度神经网络,通过前述目标深度神经网络对群体行为进行分析,以确定是否有发生异常群体行为。具体的,首先,可以基于自动控制系统的冗余测量原理,在网络损失函数中引入方差最小化法,构建目标损失函数。即可以在网络损失函数中引入qloss=∑∑(Zi-Zj)作为目标损失函数的一部分,构建目标损失函数Qloss。这样,引入方差最小化法可以训练权重、减少噪声方差,从而可以对传统的深度监督方式进行改进,进一步缩小图片之间的差距。然后,可以基于前述目标损失函数通过深度监督方式构建目标监督模型。
S102,基于多通道编码器、多通道解码器,及目标监督模型,构建目标深度神经网络。
其中,所述目标深度神经网络指基于目标监督模型,多通道编码器及多通道解码器构建的深度神经网络。
在实施中,在构建出目标监督模型之后,可以基于多通道编码器、多通道解码器,以及前述目标监督模型,构建目标深度神经网络。具体的,可以先将多通道编码器、多通道解码器集成在一起,再基于前述集成在一起的多通道编码器、多通道解码器,以及目标监督模型,构建目标深度神经网络。
S103,通过目标深度神经网络进行群体行为分析,以根据分析结果确定群体行为状态。
在实施中,在构建出目标深度神经网络之后,可以基于前述目标深度神经网络对群体行为进行分析,以根据分析结果确定群体行为状态。其中,群体行为状态至少可以包括异常群体行为和正常群体行为。以使工作人员可以直接根据分析结果,对不同的群体行为状态采取不同的处理方式。
可以理解,由于密度图的颜色与像素值的大小有相关关系,故而,为了使工作人员可以更直观的看到目标监测区域的群体行为状态,还可以在确定目标监测区域的群体行为状态之后,还可以根据像素值生成对应的密度图。具体的,可以为各个场景设置不同的像素阈值,如可以设置第一预设像素阈值,当实时的像素值之和大于或等于该第一预设像素阈值时,则可以认为目标监测区域发生异常群体行为的概率更高或者群体行为规模更大,即异常群体行为的严重性更高,此时,可以将目标监测区域对应的密度图用红色等显眼的颜色表示,以使工作人员可以更直观的看到目标监测区域的群体行为状态及对应的严重程度,并进行相应的处理。
同时,还可以设置第二预设像素阈值,当实时的像素值之和大于或等于该第二预设像素阈值且小于上述第一预设像素阈值时,则可以认为目标监测区域发生异常群体行为的概率,较前述实时的像素值之和大于第一预设像素阈值时较高或者群体行为规模较小,即异常群体行为的严重性较前述实时的像素值之和大于第一预设像素阈值时较低,此时,可以将目标监测区域对应的密度图用黄色等较显眼的颜色表示,以使工作人员可以更直观的看到目标监测区域的群体行为状态及对应的严重程度,并进行相应的处理。
进一步地,还可以设置第三预设像素阈值,当实时的像素值之和小于第三预设像素阈值时,则可以认为目标监测区域可能发生视角故障,如可能是发生摄像头的视角不优或摄像头被遮挡等情况。此时,可以将目标监测区域对应的密度图用蓝色等颜色表示,以使工作人员可以更直观的看到目标监测区域的可能发生的情况,并进行相应的处理。若工作人员确定摄像头视角正常且未发生遮挡,则可以认为目标监测区域未发生异常群体行为,即当前群体行为状态为正常群体行为。这样,可以有效减少工作人员对异常群体行为的处理耗时,并可以对监测区域的群体行为状态进行整体把控,进一步减少对异常群体行为的处理耗时,提高处理效率。
如图2所示,为了验证本申请提供的目标深度神经网络的准确性,基于shanghaitech_partA数据集进行了验证实验。在本次验证中,输入图像处理为512*512大小的3通道图片,网络包含Inception编码加最大池化降采样环节(重复一次),经过4次均方误差处理编码环节,随后进行多通道解码融合不同层次输出图片的信息,经过10次解码环节后得到128*128大小的4通道的特征图,经过两次最近邻插值上采样后输出预测的密度图。
在进行验证实验时,本发明首先将shanghaitech_partA数据集分为训练集和测试集两部分。对训练集,可以利用标签得到其对应的真实密度图,然后利用目标深度神经网络得出预测密度图,并不断更新权重。对测试集,输入人群图片,最终的目标深度神经网络输出是其对应的预测密度图及人数,之后再基于目标深度神经网络进行行为异常与否的判断。图2中均匀分布指群体行为状态为正常群体行为的情况。异常分布指群体行为状态为异常群体行为的情况。由图2可见,基于上述目标多通道编码解码器构建的目标深度神经网络生成的密度图质量更好,准确性更高,从而可以有效提高目标深度神经网络的分析结果的准确性,提高分析效率。
由上述技术方案可知,本发明实施例提供的群体行为分析方法及装置,通过构建目标深度神经网络,基于所述目标深度神经网络对群体性为进行分析,以根据分析结果确定群体性为状态。这样,基于目标深度神经网络对群体行为进行分析,可以避免工作人员的专业水平对分析结果的影响,从而可以有效提高分析结果的准确性和可靠性,提高群体行为的分析效率。同时,基于目标深度神经网络对群体行为进行分析,即通过目标深度神经网络实现群体行为的自动分析,还可以减少人力资源的消耗,进一步提高群体行为的分析效率。
进一步地,在上述方法实施例的基础上,可以基于预设搭配系数构建目标监督模型,相应的上述步骤S101的部分处理可以如下:获取预设搭配系数,并基于预设搭配系数及目标损失函数,通过深度监督方式构建目标监督模型。
其中,所述深度监督方式包括空间抽象损失函数(Spatial abstraction loss,SAL)及像素空间位置损失函数(Spatial Correlation loss,SCL)。
所述预设搭配系数指预先设定的损失函数的系数,如可以是0.2。
在实施中,构建目标深度监督模型时,还可以获取预设搭配系数。然后,可以基于前述预设搭配系数和上述目标损失函数,通过空间抽象损失函数及像素空间位置损失函数等深度监督方式,构建目标监督模型。这样,可以进一步提高目标深度神经网络的分析结果的准确性。
如图3所示,图3中input xp表示图像输入,Encoder表示编码器,Decoder表示解码的整个过程,可以由各个Deconv block组成,x表示编码后得到的特征图;Wi表示解码及上采样模块,其中上采样模块的数量可以按实际需求设置;Zi表示第i个解码通道的输出图;Wi,0表示第i个通道的通道融合模块;li表示真实密度图Ground truth降采样到与各输出图同一尺度的结果后和各输出图之间的差异,包含MSE、SAL、SCL;αi表示各li相加时的系数,yi表示各输出图通道数融合为1的输出结果;qi表示各输出结果做Qloss所得值;βi表示各qloss相加时的系数,i=1,2,3,4,……I(即qloss可以是由多个qloss组合而成);QD表示所有解码通道的qloss组合相加所得值;Deconv block指解码器的模块;Upsampling blcok指上采样环节;Intermediate output modute指每个通道的未进行通道融合的解码结果;且一般通道数不为1;MSE loss指各输出特征图与Ground truth之间做MSE所得值;Structurevariance loss指通过方差表示的结构性误差;Reinforced deep supervision指本申请实施例中提出的加强型深度监督模型,即目标监督模型,Deep supervision指深度监督过程。
首先,为进一步缩小图片之间的差距,可以在网络损失函数中加入方差最小化法qloss=∑∑(Zi-Zj)。
具体的,假设若对于同一真实值降采样得到的密度图(记为Y,128 1),同时存在两种不同的测量系统S1、S2,其第K次测量值分别为Z1(k)、Z2(k),对应噪声分别为V1(k)、V2(k),则有:
Z1(k)=Y+V1(k)
Z2(k)=Y+V2(k)
并可得出测量系统S1(测量噪声比较大的系统)的测量噪声方差可以如下:
Figure BDA0002311336490000081
其中,Var[V1(k)]表示测量通道S1(测量噪声比较大)的测量噪声方差,ΔZ2(k))表示Z2测量值的自差分序列,ΔZ1(k)表示Z1测量值的自差分序列,其中,k=1,2,……。
因此可以在网络损失函数中加入qloss=∑∑(Zi-Zj),作为目标损失函数Qloss的一部分,用于训练权重、减小噪声方差。其中,Qloss的具体函数为:
Figure BDA0002311336490000091
Figure BDA0002311336490000092
Figure BDA0002311336490000093
然后,可以基于多通道网络结构通过SAL构建目标损失函数,即将辅助输出Z1、Z2、Z3、Z4等均用于目标损失函数的构建,以缓解梯度消失问题并增强通过网络的梯度流。如可以将进行编码的结果与真实密度图之间的空间抽象所产生的误差,记为LSA(Spatialabstraction loss),将每一个Zi与处理数据集所得到的真实密度图进行如下处理:
Figure BDA0002311336490000094
其中,N表示一张密度图中的像素总数,K表示设定的降采样操作总数,Z表示表示各输出通道的输出特征图(通道数为1),Y表示Ground truth,
Figure BDA0002311336490000095
表示对各输出特征图Z进行核大小为j*j的降采样操作,
Figure BDA0002311336490000096
表示对各真实密度图Y进行核大小为j*j的降采样操作。
Figure BDA0002311336490000097
指对图像进行核大小为j*j的降采样操作,代码可以设置为j=0,2,4,8,在经过不同核大小、步长均为2的最大池化化处理之后即可得到
Figure BDA0002311336490000098
图像值。
之后,可以对Z1~ZI要与真实图降采样之后的结果进行均方误差处理,最终的输出ZI与真实值Y进行均方误差处理,以增加输出与真实值之间的局部相关性。同时,可以计算像素空间位置的损失,记为LSC(Spatial Correlation loss),
Figure BDA0002311336490000099
其中,Zij表示表示各输出图的像素值,Yij表示Ground truth中与Zij对应位置的像素值,I表示水平方向上像素总数,J表示竖直方向上像素总数,i表示水平方向上像素序号,j表示表示竖直方向上像素序号。Yj和Zj分别表示真实密度图和网络所预测的输出密度图上的像素,像素总数为i*j,其中,i,j分别为像素横纵坐标,i*j像素最大值。SCL表示基于归一化互相关(NCC)相似性的两个密度图之间的差异,这对密度图强度的线性变化不太敏感,且与传统监督方法(如均方误差MSE等方式)损失相比,SCL更容易计算,更易于实验编程。
然后,可以获取目标损失函数的预设搭配参数,并可以得到目标监督模型的具体公式如下:
Figure BDA0002311336490000101
其中,L表示表示组合损失值;i表示输出通道的序号,i=0,1,2,3,……;αi表示输出图与Ground truth之间计算的损失值组合时的系数;j表示SAL降采样核序号,j=0,1,2,3,……;Zi表示第i条输出通道的输出特征图;Y表示Ground truth;
Figure BDA0002311336490000102
表示第i条输出通道输出结果进行核为j*j大小的降采样操作结果;Yj表示Ground truth进行核大小为j*j的降采样操作的结果;LSCi表示第i条输出通道上SCL的计算结果,λ是目标损失函数Qloss的预设搭配参数。0.1和10是经过实验测试确定的SAL、SCL的参数,且经过实验测定λ=0.2时效果较好。
进一步地,在上述方法实施例的基础上,可以构建目标多通道编码解码器再构建目标深度神经网络,相应的上述步骤S102的处理可以如下:基于第一预设数量个最大池化的初始Inception卷积块,及第二预设数量个不同尺度的多通道编码器构建多尺度残差编码器;基于多尺度残差编码器及多通道解码器,构建目标多通道编码解码器,并基于目标多通道编码解码器及所述目标监督模型,构建目标深度神经网络。
其中,所述第一预设数量指预先设定的最大池化的初始Inception卷积块的数量,如可以是两个。
所述第二预设数量指预先设定的不同尺度的多通道编码器的数量,如可以是四个。
在实施中,首先可以设置第一预设数量个最大池化的初始Inception卷积块,并设置第二预设数量个不同尺度的多通道编码器。然后,可以将前述各个不同尺度的多通道编码器之间通过shortcuts方式互连启用,并可以基于前述第一预设数量个最大池化的初始Inception卷积块,及第二预设数量个不同尺度的多通道编码器构建成多尺度残差编码器。之后,可以设置一个多通道解码器,并可以将前述多尺度残差编码器和多通道解码器集成在一起,得到目标多通道编码解码器。然后,可以基于前述目标多通道编码解码器,并结合目标监督模型,构建目标深度神经网络。这样,可以实现多尺度的多通道编码器的充分融合,从而进一步提高目标深度神经网络的分析效率和分析结果的准确性。
进一步地,在上述方法实施例的基础上,可以通过目标深度神经网络进行群体行为分析,以根据分析结果确定群体行为状态,相应的上述步骤S103的处理可以如下:通过目标深度神经网络获取目标监测区域的像素值,并基于目标监测区域的像素值,确定目标监测区域的像素值之和;通过目标深度神经网络获取与目标监测区域对应的目标场景的预设像素阈值,并判断像素值之和是否大于预设像素阈值;若大于预设像素阈值,目标深度神经网络则确定目标监测区域出现异常群体行为。
其中,所述目标监测区域指需要进行群体行为分析的任一区域。
所述预设像素阈值指不同场景(如车站、商场等),对应的像素值之和的上限值,当实际像素值之和大于该值时,则可以认为是发生了异常群体行为。
在实施中,可以通过上述目标深度神经网络进行群体行为的分析,得出分析结果,以使工作人员可以根据分析结果进行相应的处理。具体的,首先,可以通过目标深度神经网络,获取目标监测区域当前时刻的像素值,并可以对前述获取到的目标监测区域内的像素值进行求和处理。得到目标监测区域的像素值之和。然后,可以确定前述目标监测区域对应的目标场景,获取该目标场景的预设像素阈值,并将前述目标监测区域的像素值之和与前述目标场景的预设像素阈值进行比较,以判断前述目标监测区域的像素值之和是否大于前述目标场景的预设像素阈值。若前述目标监测区域的像素值之和大于前述目标场景的预设像素阈值,目标深度神经网络则可以确定目标监测区域在当前时刻发生了异常群体行为。反之,目标监测区域未发生异常群体行为。当目标深度神经网络确定目标监测区域发生异常群体行为时,还可以向终端发送警示消息,以使工作人员可以根据警示消息,进行相应处理。从而,可以有效减少异常群体行为的处理耗时,进而进一步提高对异常群体行为的处理效率。
进一步地,在上述方法实施例的基础上,本发明实施例还提供了一种群体行为分析装置,如图4所示,所述装置包括模型构建模块401、网络构建模块402及行为分析模块403,其中:
所述模型构建模块401,用于基于网络损失函数和方差最小化法构建目标损失函数,并基于所述目标损失函数通过深度监督方式构建目标监督模型;
所述网络构建模块402,用于基于多通道编码器、多通道解码器,及所述目标监督模型,构建目标深度神经网络;
所述行为分析模块403,用于通过所述目标深度神经网络进行群体行为分析,以根据分析结果确定群体行为状态。
可选的,所述模型构建模块401,用于:
获取预设搭配系数,并基于所述预设搭配系数及所述目标损失函数,通过深度监督方式构建目标监督模型,其中,所述深度监督方式包括空间抽象损失函数及像素空间位置损失函数。
可选的,所述网络构建模块402,用于:
基于第一预设数量个最大池化的初始Inception卷积块,及第二预设数量个不同尺度的多通道编码器构建多尺度残差编码器;
基于所述多尺度残差编码器及多通道解码器,构建目标多通道编码解码器,并基于所述目标多通道编码解码器及所述目标监督模型,构建目标深度神经网络。
可选的,所述行为分析模块403,用于:
通过所述目标深度神经网络获取目标监测区域的像素值,并基于所述目标监测区域的像素值,确定所述目标监测区域的像素值之和;
通过所述目标深度神经网络获取与所述目标监测区域对应的目标场景的预设像素阈值,并判断所述像素值之和是否大于所述预设像素阈值;
若大于所述预设像素阈值,所述目标深度神经网络则确定所述目标监测区域出现异常群体行为。
本实施例所述的群体行为分析装置可以用于执行上述方法实施例,其原理和技术效果类似,此处不再赘述。
如图5所示,本发明实施例还提供了一种电子设备,所述电子设备可以包括:处理器(processor)501、存储器(memory)502和总线503;
其中,
所述处理器501和存储器502通过所述总线503完成相互间的通信;
所述处理器501用于调用所述存储器502中的程序指令,以执行上述各方法实施例所提供的方法。
此外,上述的存储器502中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述方法实施例所提供的方法。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种群体行为分析方法,其特征在于,所述方法包括:
基于网络损失函数和方差最小化法构建目标损失函数,并基于所述目标损失函数通过深度监督方式构建目标监督模型;
基于多通道编码器、多通道解码器,及所述目标监督模型,构建目标深度神经网络;
通过所述目标深度神经网络进行群体行为分析,以根据分析结果确定群体行为状态。
2.根据权利要求1所述的群体行为分析方法,其特征在于,所述基于所述目标损失函数及深度监督方式构建目标监督模型,包括:
获取预设搭配系数,并基于所述预设搭配系数及所述目标损失函数,通过深度监督方式构建目标监督模型,其中,所述深度监督方式包括空间抽象损失函数及像素空间位置损失函数。
3.根据权利要求1所述的群体行为分析方法,其特征在于,所述基于多通道编码器和多通道解码器,及所述目标监督模型,构建目标深度神经网络,包括:
基于第一预设数量个最大池化的初始Inception卷积块,及第二预设数量个不同尺度的多通道编码器构建多尺度残差编码器;
基于所述多尺度残差编码器及多通道解码器,构建目标多通道编码解码器,并基于所述目标多通道编码解码器及所述目标监督模型,构建目标深度神经网络。
4.根据权利要求1所述的群体行为分析方法,其特征在于,所述通过所述目标深度神经网络进行群体行为分析,以根据分析结果确定群体行为状态,包括:
通过所述目标深度神经网络获取目标监测区域的像素值,并基于所述目标监测区域的像素值,确定所述目标监测区域的像素值之和;
通过所述目标深度神经网络获取与所述目标监测区域对应的目标场景的预设像素阈值,并判断所述像素值之和是否大于所述预设像素阈值;
若大于所述预设像素阈值,所述目标深度神经网络则确定所述目标监测区域出现异常群体行为。
5.一种群体行为分析装置,其特征在于,所述装置包括模型构建模块、网络构建模块及行为分析模块,其中:
所述模型构建模块,用于基于网络损失函数和方差最小化法构建目标损失函数,并基于所述目标损失函数通过深度监督方式构建目标监督模型;
所述网络构建模块,用于基于多通道编码器、多通道解码器,及所述目标监督模型,构建目标深度神经网络;
所述行为分析模块,用于通过所述目标深度神经网络进行群体行为分析,以根据分析结果确定群体行为状态。
6.根据权利要求5所述的群体行为分析装置,其特征在于,所述模型构建模块,用于:
获取预设搭配系数,并基于所述预设搭配系数及所述目标损失函数,通过深度监督方式构建目标监督模型,其中,所述深度监督方式包括空间抽象损失函数及像素空间位置损失函数。
7.根据权利要求5所述的群体行为分析装置,其特征在于,所述网络构建模块,用于:
基于第一预设数量个最大池化的初始Inception卷积块,及第二预设数量个不同尺度的多通道编码器构建多尺度残差编码器;
基于所述多尺度残差编码器及多通道解码器,构建目标多通道编码解码器,并基于所述目标多通道编码解码器及所述目标监督模型,构建目标深度神经网络。
8.根据权利要求5所述的群体行为分析装置,其特征在于,所述行为分析模块,用于:
通过所述目标深度神经网络获取目标监测区域的像素值,并基于所述目标监测区域的像素值,确定所述目标监测区域的像素值之和;
通过所述目标深度神经网络获取与所述目标监测区域对应的目标场景的预设像素阈值,并判断所述像素值之和是否大于所述预设像素阈值;
若大于所述预设像素阈值,所述目标深度神经网络则确定所述目标监测区域出现异常群体行为。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至4任一项所述的群体行为分析方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至4任一项所述的群体行为分析方法的步骤。
CN201911259921.9A 2019-12-10 2019-12-10 一种群体行为分析方法及装置 Active CN110991375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911259921.9A CN110991375B (zh) 2019-12-10 2019-12-10 一种群体行为分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911259921.9A CN110991375B (zh) 2019-12-10 2019-12-10 一种群体行为分析方法及装置

Publications (2)

Publication Number Publication Date
CN110991375A true CN110991375A (zh) 2020-04-10
CN110991375B CN110991375B (zh) 2020-12-15

Family

ID=70091938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911259921.9A Active CN110991375B (zh) 2019-12-10 2019-12-10 一种群体行为分析方法及装置

Country Status (1)

Country Link
CN (1) CN110991375B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114836513A (zh) * 2022-05-20 2022-08-02 四川大学华西医院 一种改良群体分析方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1882078A (zh) * 2005-06-17 2006-12-20 株式会社日立建筑系统 监视摄像机的图像异常检测装置
CN107330372A (zh) * 2017-06-05 2017-11-07 四川大学 一种基于视频的人群密度与异常行为检测系统的分析方法
CN107729799A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统
US20180060673A1 (en) * 2016-03-31 2018-03-01 International Business Machines Corporation Object detection in crowded scenes using context-driven label propagation
EP3333764A1 (en) * 2016-12-06 2018-06-13 General Electric Company Techniques for assessing group level cognitive states
CN108734661A (zh) * 2018-05-25 2018-11-02 南京信息工程大学 基于图像纹理信息构建损失函数的高分辨率图像预测方法
CN108848348A (zh) * 2018-07-12 2018-11-20 西南科技大学 一种基于无人机的人群异常行为监测装置及方法
CN109034124A (zh) * 2018-08-30 2018-12-18 成都考拉悠然科技有限公司 一种智能监控方法及系统
CN109214249A (zh) * 2017-07-04 2019-01-15 北京航天长峰科技工业集团有限公司 一种用于安保监控系统的智能视频分析方法
CN109815867A (zh) * 2019-01-14 2019-05-28 东华大学 一种人群密度估计和人流量统计方法
CN110084155A (zh) * 2019-04-12 2019-08-02 苏州大学 一种密集人数计数的方法、装置、设备以及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1882078A (zh) * 2005-06-17 2006-12-20 株式会社日立建筑系统 监视摄像机的图像异常检测装置
US20180060673A1 (en) * 2016-03-31 2018-03-01 International Business Machines Corporation Object detection in crowded scenes using context-driven label propagation
EP3333764A1 (en) * 2016-12-06 2018-06-13 General Electric Company Techniques for assessing group level cognitive states
CN107330372A (zh) * 2017-06-05 2017-11-07 四川大学 一种基于视频的人群密度与异常行为检测系统的分析方法
CN107729799A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统
CN109214249A (zh) * 2017-07-04 2019-01-15 北京航天长峰科技工业集团有限公司 一种用于安保监控系统的智能视频分析方法
CN108734661A (zh) * 2018-05-25 2018-11-02 南京信息工程大学 基于图像纹理信息构建损失函数的高分辨率图像预测方法
CN108848348A (zh) * 2018-07-12 2018-11-20 西南科技大学 一种基于无人机的人群异常行为监测装置及方法
CN109034124A (zh) * 2018-08-30 2018-12-18 成都考拉悠然科技有限公司 一种智能监控方法及系统
CN109815867A (zh) * 2019-01-14 2019-05-28 东华大学 一种人群密度估计和人流量统计方法
CN110084155A (zh) * 2019-04-12 2019-08-02 苏州大学 一种密集人数计数的方法、装置、设备以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOLONG JIANG.ETC: ""Crowd Counting and Density Estimation by Trellis Encoder-Decoder Network"", 《RESEARCH GATE》 *
王浩霖: ""基于深度学习的行人样本生成方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114836513A (zh) * 2022-05-20 2022-08-02 四川大学华西医院 一种改良群体分析方法
CN114836513B (zh) * 2022-05-20 2023-03-10 四川大学华西医院 一种改良群体分析方法

Also Published As

Publication number Publication date
CN110991375B (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN109359519B (zh) 一种基于深度学习的视频异常行为检测方法
CN108805015B (zh) 加权卷积自编码长短期记忆网络人群异常检测方法
CN111178523B (zh) 一种行为检测方法、装置、电子设备及存储介质
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN113283356B (zh) 多级注意力尺度感知人群计数方法
CN109063609A (zh) 一种基于光流特征与全卷积语义分割特征结合的异常行为检测方法
CN112927178B (zh) 遮挡检测方法、装置、电子设备以及存储介质
CN112329745A (zh) 训练方法、人脸防伪检测方法、相关设备及存储介质
CN113052147A (zh) 一种行为识别方法及装置
CN117115715A (zh) 一种基于流重构和帧预测结合的视频异常检测方法
CN110991375B (zh) 一种群体行为分析方法及装置
CN112232316A (zh) 人群聚集检测方法、装置、电子设备及存储介质
CN116994044A (zh) 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法
CN114373162B (zh) 用于变电站视频监控的危险区域人员入侵检测方法及系统
CN115861915A (zh) 消防通道监控方法、消防通道监控装置以及存储介质
CN113392779A (zh) 基于生成对抗网络的人群监控方法、装置、设备及介质
CN116955068A (zh) 序列相似度计算及告警处理方法、装置以及存储介质
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN111369591A (zh) 一种运动物体的跟踪方法、装置及设备
CN110796068A (zh) 社区泳池溺水检测方法及系统
LU505427B1 (en) Group behavior analysis method and device
CN113222843B (zh) 一种图像修复方法及其相关设备
JP2022184761A (ja) 入力データにおける異常を検知するための概念
CN111144492B (zh) 面向移动端虚拟现实与增强现实的场景图谱生成方法
CN114663347A (zh) 无监督的物体实例检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220722

Address after: 100191 No. 37, Haidian District, Beijing, Xueyuan Road

Patentee after: BEIHANG University

Patentee after: ACADEMY OF MATHEMATICS AND SYSTEM SCIENCE, CHINESE ACADEMY OF SCIENCES

Address before: 100191 No. 37, Haidian District, Beijing, Xueyuan Road

Patentee before: BEIHANG University

TR01 Transfer of patent right