CN109918996A - 人员违法动作识别方法、系统、计算机设备和存储介质 - Google Patents
人员违法动作识别方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109918996A CN109918996A CN201910042543.2A CN201910042543A CN109918996A CN 109918996 A CN109918996 A CN 109918996A CN 201910042543 A CN201910042543 A CN 201910042543A CN 109918996 A CN109918996 A CN 109918996A
- Authority
- CN
- China
- Prior art keywords
- illegal
- personnel
- video frame
- video
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及人工智能领域，提供了人员违法动作识别方法、系统、计算机设备和存储介质，方法包括采集视频帧，从视频帧中划分出与各人员对应的子视频帧，形成子视频帧组，提取动作特征，根据动作特征识别违法概率值，计算违法概率均值，若违法概率均值大于预警值，则判定人员存在违法行为。通过违法概率均值对人员违法动作准确评估，降低了小区视频监控管理的人力成本，并提高了对监控视频中人员违法动作的识别效率。
Description
技术领域
本申请涉及图像识别技术领域，特别是人员违法动作识别方法、系统、计算机设备和存储介质。
背景技术
视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展。如今，越来越多的小区安装了视频监控系统，旨在防止人员打架、抢劫等违法行为，并做好证据保存等。
目前的小区视频监控是采用人工观察摄像视频的方式，对视频中的人员的目标动作进行监控，这需要很高的人力成本，难以实现对大量级的视频内容进行实时监控，且证据调取麻烦，识别准确率低。
发明内容
基于此，有必要针对目前小区视频监控人力成本高、违法行为识别效率低的问题，提供一种人员违法动作识别方法、系统、计算机设备和存储介质。
一种人员违法动作识别方法，包括：从小区监控视频中采集多个视频段；从第一视频段中获取多个视频帧；所述第一视频段为所述多个视频段中的任一视频段；识别每个所述视频帧中各人员的头像区域，根据人员的头像区域从每个所述视频帧中划分出与各人员一一对应的子视频帧；将属于同一人员的各子视频帧按时间先后顺序进行排列，得到多个子视频帧组；各子视频帧组与各人员一一对应；从第一人员所对应的子视频帧组中提取动作特征；所述第一人员为所述各人员中的任一人员；通过循环神经网络RNN动作识别模型识别所述动作特征，若所述动作特征中存在与预设姿态数据匹配的动作，则判定所述第一人员存在违法动作，并根据所述违法动作为所述第一人员设置对应的违法概率值，若所述动作特征中不存在与所述预设姿态数据匹配的动作，则将所述第一人员所对应的违法概率值设置为0，最终得到违法概率值集合；所述违法概率值集合包括所述第一人员在每个视频段中所对应的违法概率值；根据所述违法概率值集合计算所述第一人员的违法概率均值；若所述违法概率均值大于预警值，则判定所述第一人员存在违法行为。
可选地，所述识别每个所述视频帧中各人员的头像区域，包括：
通过第一卷积神经网络CNN模型分别提取每个所述视频帧中的头像特征；根据所述头像特征识别出每个所述视频帧中各人员的头像区域；所述头像特征至少包括头部特征、面部特征、五官特征和头部佩戴品特征中的一项。
可选地，所述通过第一卷积神经网络CNN模型分别提取每个所述视频帧中的头像特征，包括：
通过所述第一CNN模型中的卷积核对第一视频帧进行采样，得到若干个第一区域图像，将各所述第一区域图像输入至所述第一CNN模型的池化层中；所述第一视频帧为任一所述视频帧；通过所述第一CNN模型的池化层从第一区域图像中提取头像特征，最终得到每个视频帧中的头像特征。
可选地，所述根据所述违法概率值集合计算所述第一人员的违法概率均值，包括：
为所述第一人员设置累加器；对所述累加器初始化；通过所述累加器计算所述违法概率值集合中的违法概率值的总和；将所述总和与视频段的数量做除法运算，得到所述违法概率均值。
可选地，所述RNN动作识别模型的算法公式为：
其中，I为输入向量的维度，V为向量化的字符或者字符部分的维度，H为隐层的神经元个数，K为输出层的神经元个数，x为第二卷积神经网络CNN模型提取出来的所述动作特征，v为递归神经网络对所述动作特征识别结果化成的向量数据，为时刻RNN动作识别模型中隐含层神经元的输入，为时刻RNN动作识别模型中隐含层神经元的输出；为时刻RNN动作识别模型中输出层神经元的输入；为时刻RNN动作识别模型中输出层神经元的输出，为违法概率值。
可选地，所述动作特征至少包括躯体姿势特征、四肢动作特征、与他人接触动作特征和手中持有物特征中的一项。
可选地，所述将属于同一人员的各子视频帧按时间先后顺序进行排列，得到多个子视频帧组，包括：
将每个视频帧中属于同一人员的子视频帧标记相同的标识；分别将具有相同标识的子视频帧按时间先后顺序进行排列，得到多个子视频帧组。
基于相同的技术构思，本申请还提供一种人员违法动作识别系统，包括：
收发模块，用于从小区监控视频中采集多个视频段。
处理模块，用于从第一视频段中获取多个视频帧；所述第一视频段为所述多个视频段中的任一视频段；识别每个所述视频帧中各人员的头像区域，根据人员的头像区域从每个所述视频帧中划分出与各人员一一对应的子视频帧；将属于同一人员的各子视频帧按时间先后顺序进行排列，得到多个子视频帧组；各子视频帧组与各人员一一对应；从第一人员所对应的子视频帧组中提取动作特征；所述第一人员为所述各人员中的任一人员；通过循环神经网络RNN动作识别模型识别所述动作特征，若所述动作特征中存在与预设姿态数据匹配的动作，则判定所述第一人员存在违法动作，并根据所述违法动作为所述第一人员设置对应的违法概率值，若所述动作特征中不存在与所述预设姿态数据匹配的动作，则将所述第一人员所对应的违法概率值设置为0，最终得到违法概率值集合；所述违法概率值集合包括所述第一人员在每个视频段中所对应的违法概率值；根据所述违法概率值集合计算所述第一人员的违法概率均值；若所述违法概率均值大于预警值，则判定所述第一人员存在违法行为。
基于相同的技术构思，本申请还提供一种计算机设备，包括收发器、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述人员违法动作识别方法的步骤。
基于相同的技术构思，本申请还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述人员违法动作识别方法的步骤。
上述人员违法动作识别方法、系统、计算机设备和存储介质，通过对图像中的人员进行头像识别，识别出各人员的准确位置，然后在图像中划分出与人员位置相对应的子图像，对各人员相对应的若干个子图像组进行动作识别，得到相应的违法概率值，依据多个违法概率值得到违法概率均值，通过违法概率均值对人员违法动作准确评估，降低了小区视频监控管理的人力成本，并提高了对监控视频中人员违法动作的识别效率。
附图说明
通过详细阅读下文优选实施方式的详细描述，各种其他的有点和益处对于本领域内普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是本申请的限制。
图1为本申请一个实施例中一种人员违法动作识别方法的流程图。
图2为本申请一个实施例中子视频帧的时序图。
图3为本申请一个实施例中一种人员违法动作识别系统的示意图。
图4为本申请实施例中计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可以包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、程序、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、程序、步骤、操作、元件、组件和/或它们的组。
图1为本申请一个实施例中一种人员违法动作识别方法的流程图，如图1所示，所述人员违法动作识别方法，可以包括如下步骤S1-S7：
步骤S1、从小区监控视频中采集多个视频段；从第一视频段中获取多个视频帧。
所述第一视频段为所述多个视频段中的任一视频段。
视频帧即为一帧的图像画面。可以以预设的采样频率对小区监控视频进行连续采样，获取多个视频帧。视频帧携带了时间段小区流动人员的动作信息，通过对连续的视频帧中各人员的动作信息进行识别，从而可以判断人员是否存在违法动作。
步骤S2、识别每个所述视频帧中各人员的头像区域，根据人员的头像区域从每个所述视频帧中划分出与各人员一一对应的子视频帧。
每个视频帧中可能有多个人员，要判断每个人员是否存在违法动作，就需要将各人员区分开来，对各人员单独进行识别。头像特征是区分各人员最为有效的特征，本实施例通过头像识别确定各人员的头像区域，确定了人员的头像区域也就确定了人员的位置，然后在视频帧中划分出属于各人员的一定区域大小，即与各人员一一对应的子视频帧。对子视频帧区域内的动作进行识别即识别出了相应的人员是否存在违法动作。
在一个实施例中，步骤S2中所述识别每个所述视频帧中各人员的头像区域，包括以下步骤S211-S212：
步骤S211、通过第一卷积神经网络(Convolutional Neural Networks,CNN)模型分别提取每个所述视频帧中的头像特征。
头像特征包括头部特征、面部特征、五官特征、头部佩戴品特征等容易辨识出头像的相关特征。各头像特征包括了颜色、轮廓、相对位置等信息。
在一个实施例中，步骤S211包括以下步骤S2111-S2112：
步骤S2111、通过所述第一CNN模型中的卷积核对第一视频帧进行采样，得到若干个第一区域图像，将各所述第一区域图像输入至所述第一CNN模型的池化层中。
所述第一视频帧为任一所述视频帧。
设置3*3宽度的卷积核，通过卷积核从视频帧的起始位置开始，卷积核的步幅为1个像素，逐步对视频帧数据进行遍历，运行卷积运算，对视频帧进行取样。
步骤S2112、通过所述第一CNN模型的池化层从第一区域图像中提取头像特征。最终得到每个视频帧中的头像特征。
卷积核提取视频帧的不同特征，通过池化层对提取到的特征进行采样，去除由于图像内部相邻像素之间存在较强的相关性所造成的空间冗余信息，得到头像特征。
步骤S212、根据所述头像特征识别出每个所述视频帧中各人员的头像区域。
头像识别模型根据头像特征，通过对与头部特征、面部特征、五官特征等相关的信息进行辨认，识别出视频帧中各人员的头像及头像位置。
预先对头像识别模型进行训练。具体地，从小区监控训练用视频中采集头像识别训练用视频帧，将根据各种头像特征做有人工标注的的各头像识别训练用视频帧作为正样本，将没有做标注的各头像识别训练用视频帧作为负样本。通过人工选取出带有头像特征的头像识别训练用视频帧，标注为正样本；将不带有头像特征的头像识别训练用视频帧标注为负样本。第一CNN模型对头像识别训练用视频帧进行采样，并将采样信息给到头像识别模型。头像识别模型对各头像特征进行识别训练，根据标注修改并记忆各头像特征的权重值，从而实现对头像的识别。
识别出每个人员的头像区域后，对头像区域周围预设范围内的图像进行相似度识别，依相似度对各人员相关的图片进行拼接，形成各人员对应的子视频帧。
由于视频中人员的头像有可能是移动的，因此在不同的视频帧中，对同一人员划分出的子视频帧的位置有可能不同。例如，t1帧图像中，a人员的头像出现在b1位置，t2帧图像中，a人员的头像出现在b2位置，根据a人员的头像区域划定与其位置区域相对应的子视频帧，通过将该a人员前后各子视频帧整理起来，得到了该人员的动作串图片，即该a人员的子视频帧组。
步骤S3、将属于同一人员的各子视频帧按时间先后顺序进行排列，得到多个子视频帧组。
各子视频帧组与各人员一一对应。
每一幅视频帧中都有一个与同一人员相对应的人员位置区域，将属于同一人员的位置区域的图像提取出来，重新按序组合，形成与该人员相对应的子视频帧组，即一个子视频帧组对应一个人员，每个子视频帧组中带有相应人员的动作特征。
在一个实施例中，步骤S3包括以下步骤S31-S32：
步骤S31、将每个视频帧中属于同一人员的子视频帧标记相同的标识。
根据人员对视频帧中的子视频帧进行分类，对属于同一人员的子视频帧标记相同的唯一标识，用以区分各子视频帧。
步骤S32：分别将具有相同标识的子视频帧按时间先后顺序进行排列，得到多个子视频帧组。
步骤S4、从第一人员所对应的子视频帧组中提取动作特征。
所述第一人员为所述各人员中的任一人员。
一个子视频帧组含有一个人员在一时间段内的完整的动作串信息，即动作特征，从子视频帧组中将相应人员的动作串信息提取出来。
动作特征包括躯体姿势特征、四肢动作特征、与他人接触动作特征、手中持有物特征等容易辨识出人员是否违法的相关特征。其中，持有物特征包括持有物的形状、颜色、随着人员的摆动情况等。需要理解的是，人员动作不仅含有人员本身的动作，也包括其持有物的相应动作，人员手中的持有物往往也是识别人员是否可能违法的重要特征，因此对持有物也进行识别。
在一个实施例中，步骤S4包括以下步骤S41-S44：
步骤S41、为所述第一人员所对应的子视频帧组设置第二CNN模型。
步骤S42、通过所述第二CNN模型的卷积核分别对所述第一人员所对应的子视频帧组中的每个子视频帧进行采样，得到每个子视频帧中的若干个第二区域图像。
步骤S43、依次将各子视频帧中对应区域的第二区域图像串接起来，得到若干个第二区域图像组，将各所述第二区域图像组输入至所述第二CNN模型的池化层中。
如图2所示，为子视频帧组中的子视频帧的时序图。frame0、frame1、frame2表示3个子视频帧；t2＝2*t1，t3＝3*t1；3个Δt时段的区域图像即为3个子视频帧中对应区域的第二区域图像。
步骤S44、通过所述第二CNN模型的池化层从各所述第二区域图像组中提取所述动作特征，并将提取的动作特征输入至循环神经网络(Recurrent Neural Network，RNN)动作识别模型。
预先对RNN动作识别模型进行训练。从小区监控训练用视频中采集动作识别训练用子视频帧组；所述动作识别训练用子视频帧组由连续的多个子视频帧构成。将人工根据各种动作特征标注有各动作识别训练用子视频帧组作为正样本，没有标注各动作识别训练用子视频帧组作为负样本。通过人工选取出带有违法动作的动作识别训练用子视频帧组，标注为正样本；将不带有违法动作的动作识别训练用子视频帧组标注为负样本。并为各违法动作分配相应的违法概率值，正常动作的违法概率值设为0；通过第二CNN模型从动作识别训练用子视频帧组中提取静态动作特征，并将提取的动作特征给到RNN动作识别模型。RNN动作识别模型对各动作特征进行识别训练，根据标注修改并记忆各动作特征的权重值，从而实现对人员动作的识别，动作也包括手中持有物的动作；进而，通过对各种动作的辨认，识别出各动作相应的违法概率值。
长短记忆网络(LSTM，Long Short-Term Memory)是循环神经网络(RNN)的一种，能够解决传统循环神经网络中的长期“记忆”无法利用的问题，具有远距离学习的能力。
LSTM具有一连串重复神经网络模块的形式，重复模块有着不同的结构。它有四层神经网络层以特别的方式相互作用。水平线代表单元状态，有线性相互作用，可以保证信息往下传递。有选择的让信息通过，由sigmoid神经网络层和逐点乘法运算组成。
sigmoid层将变量映射到0与1之间，描述了每个成分是否应该通过门限。sigmoid层，sigmoid是神经网络算法选用sigmoid函数作为激活函数，为了描述神经网络之用，Sigmoid对每个输入数据,利用sigmoid函数执行操作，也可以选择双曲正切函数(tanh)。预设0代表“不让任何成分通过”，而1则代表“让成分通过”。LSTM有三种类似的门限，分别是决定哪些信息需要从单元状态中舍弃的“遗忘门限sigmoid层”、决定在单元状态中需要存储哪些新信息的“输入门限层”和将值添加到状态的“tanh层”、决定单元状态中哪些部分需要输出的sigmoid层和tanh函数。
步骤S5、通过循环神经网络RNN动作识别模型识别所述动作特征，若所述动作特征中存在与预设姿态数据匹配的动作，则判定所述第一人员存在违法动作，并根据所述违法动作为所述第一人员设置对应的违法概率值，若所述动作特征中不存在与所述预设姿态数据匹配的动作，则将所述第一人员所对应的违法概率值设置为0，最终得到违法概率值集合；所述违法概率值集合包括所述第一人员在每个视频段中所对应的违法概率值。
在一个实施例中，RNN动作识别模型的算法公式如下：
其中，I是输入向量的维度，V是向量化的字符或者字符部分的维度，H是隐层的神经元个数，K是输出层的神经元个数，x为第二CNN模型提取出来的动作特征，v为递归神经网络对动作特征识别结果化成的向量数据，为时刻RNN动作识别模型中隐含层神经元的输入，为时刻RNN动作识别模型中隐含层神经元的输出；为时刻RNN动作识别模型中输出层神经元的输入；为时刻RNN动作识别模型中输出层神经元的输出，为违法概率值，体现了时刻对应神经元输出值相对于输出层所有神经元输出值的加和的比例。
人员的同一动作，其动作因素不同，则违法的可能性也不同。例如，同样为摆臂动作，如果空手摆臂，则不一定为违法行为，如果是持棍摆臂，则有可能是违法行为；再例如，同为持棍动作，如果手持的是细枝条，一般存在违法的可能性很小，如果手持的是类似与管制刀具或易致人受伤的棍子时，则有很大的违法可能性。因此，首先通过RNN动作识别模型对每个目标动作预设一个阈值，用于划分该目标动作为正常动作还是违法动作。当目标动作超过预设阈值时，则判定为违法动作，否则，认为是正常动作。
违法的可疑动作会有很多种，具体以打架违法行为为例，例如：持棍；持刀；挥拳；挥棍；挥刀；踢踹；四肢呈打架姿势等。我们可以将这些违法概率较大的动作预设为目标动作。不同目标动作，其违法概率也可能不同；同一目标动作因其动作幅度等因素不同，其违法概率也可能不同。为此，预先根据经验为各种目标动作分配相应概率值。这样，对各种目标动作进行细分，提高了违法动作识别的准确性和科学性。
子视频帧组是含有同一人员动作串信息的图像，相比于仅仅通过对视频帧动作进行识别来确认人员是否违法的方法而言，通过对人员一连串的连续动作进行识别，会更加准确的判断人员的动作是否真的是违法行为。
步骤S6、根据所述违法概率值集合计算所述第一人员的违法概率均值；若所述违法概率均值大于预警值，则判定所述第一人员存在违法行为。
一个子视频帧组中可能会识别出多个违法动作，也就会对应多个违法概率值，例如同时挥刀并踢踹等。这时，可以从多个违法概率值选出最大的违法概率值进行统计；也可以对多个违法动作的组合分配一个较大违法概率值，用于违法概率值的统计。每个子视频帧组识别出的违法概率值有可能不同，因此，在预设时间内，有可能需要多组子视频帧组识别出的违法概率值叠加后，才能超过预警值，也有可能一组帧子图像组识别出的违法概率值就会超过预警值。显然，一组帧子图像组识别出的违法概率值超过预警值的情况下，表示了该人员的违法动作特别大。
在一个实施例中，步骤S6中违法概率值进行统计求和包括以下步骤S61-S64：
步骤S61：为所述第一人员设置累加器。
步骤S62：对所述累加器初始化。
步骤S63：通过所述累加器计算所述违法概率值集合中的违法概率值的总和。
步骤S64：将所述总和与视频段的数量做除法运算，得到所述违法概率均值。
将所述违法概率均值与预警值进行比较；若叠加运算结果大于预警值，则判定相应的人员违法。
步骤S7若判定所述第一人员存在违法行为，则进入预警阶段，进行报警提示，并对所述预设时间内的录像视频进行存储处理。违法预警还包括对小区中特定摄像头的方向进行调整，并将摄像头聚焦到违法的所述第一人员，以利更好的观察并存储违法的人员的动作。
本实施例主要以如何通过图像识别判断小区的出入人员是否存在打架违法行为对技术进行说明，当然，本实施例同时也可以识别图像中的人员是否存在抢劫、破坏财产等违法行为，其原理与识别打架违法行为的方法原理一致，因此不再累述。
上述实施例，通过对图像中的人员进行头像识别，识别出各人员的准确位置，然后在图像中划分出与人员位置相对应的子图像，对各人员相对应的若干个子图像组进行动作识别，得到相应的违法概率值，依据多个违法概率值得到违法概率均值，通过违法概率均值对人员违法动作进行准确评估，降低了道路视频监控管理的人力成本，并提高了对监控视频中人员违法动作的识别效率。
在另一个实施例中，对小区居民的头像图片进行采集，并根据采集的小区常住居民的头像图片建立小区居民头像数据库。将提取的头像特征与小区居民头像数据库进行相似度比对，用于判定出入小区的相应人员是否为陌生人，若是陌生人，则发出报警提示。本实施例适用于小区较小，居民的头像图片容易采集建档的情况。
基于相同的技术构思，本申请还提供了一种人员违法动作识别系统，如图3所示，该系统包括收发模块1和处理模块2。所述处理模块2用于控制所述收发模块1的收发操作。
所述收发模块1，用于从小区监控视频中采集多个视频段；
所述处理模块2，用于从第一视频段中获取多个视频帧；所述第一视频段为所述多个视频段中的任一视频段；识别每个所述视频帧中各人员的头像区域，根据人员的头像区域从每个所述视频帧中划分出与各人员一一对应的子视频帧；将属于同一人员的各子视频帧按时间先后顺序进行排列，得到多个子视频帧组；各子视频帧组与各人员一一对应；从第一人员所对应的子视频帧组中提取动作特征；所述第一人员为所述各人员中的任一人员；通过循环神经网络RNN动作识别模型识别所述动作特征，若所述动作特征中存在与预设姿态数据匹配的动作，则判定所述第一人员存在违法动作，并根据所述违法动作为所述第一人员设置对应的违法概率值，若所述动作特征中不存在与所述预设姿态数据匹配的动作，则将所述第一人员所对应的违法概率值设置为0，最终得到违法概率值集合；所述违法概率值集合包括所述第一人员在每个视频段中所对应的违法概率值；根据所述违法概率值集合计算所述第一人员的违法概率均值；若所述违法概率均值大于预警值，则判定所述第一人员存在违法行为。
上述实施例，通过对图像中的人员进行头像识别，识别出各人员的准确位置，然后在图像中划分出与人员位置相对应的子图像，对各人员相对应的若干个子图像组进行动作识别，得到相应的违法概率值，依据多个违法概率值得到违法概率均值，通过违法概率均值对人员违法动作进行准确评估，降低了道路视频监控管理的人力成本，并提高了对监控视频中人员违法动作的识别效率。
基于相同的技术构思，本申请还提出了一种计算机设备，如图4所示，所述计算机设备包括收发器901、处理器902和存储器903，所述存储器903中存储有计算机可读指令，所述计算机可读指令被所述处理器902执行时，使得所述处理器执行上述各实施方式中的所述的人员违法动作识别方法中的步骤。
图3中所示的收发模块1对应的实体设备为图4所示的收发器901，该收发器901能够实现收发模块1部分或全部的功能，或者实现与收发模块1相同或相似的功能。
图3中所示的处理模块2对应的实体设备为图4所示的处理器902，该处理器902能够实现处理模块2部分或全部的功能，或者实现与处理模块2相同或相似的功能。
基于相同的技术构思，本申请还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中的所述人员违法动作识别方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种人员违法动作识别方法，其特征在于，包括：
从小区监控视频中采集多个视频段；
从第一视频段中获取多个视频帧；所述第一视频段为所述多个视频段中的任一视频段；
识别每个所述视频帧中各人员的头像区域，根据人员的头像区域从每个所述视频帧中划分出与各人员一一对应的子视频帧；
将属于同一人员的各子视频帧按时间先后顺序进行排列，得到多个子视频帧组；各子视频帧组与各人员一一对应；
从第一人员所对应的子视频帧组中提取动作特征；所述第一人员为所述各人员中的任一人员；
通过循环神经网络RNN动作识别模型识别所述动作特征，若所述动作特征中存在与预设姿态数据匹配的动作，则判定所述第一人员存在违法动作，并根据所述违法动作为所述第一人员设置对应的违法概率值，若所述动作特征中不存在与所述预设姿态数据匹配的动作，则将所述第一人员所对应的违法概率值设置为0，最终得到违法概率值集合；所述违法概率值集合包括所述第一人员在每个视频段中所对应的违法概率值；
根据所述违法概率值集合计算所述第一人员的违法概率均值；若所述违法概率均值大于预警值，则判定所述第一人员存在违法行为。
2.根据权利要求1所述的人员违法动作识别方法，其特征在于，
所述识别每个所述视频帧中各人员的头像区域，包括：
通过第一卷积神经网络CNN模型分别提取每个所述视频帧中的头像特征；
根据所述头像特征识别出每个所述视频帧中各人员的头像区域；
所述头像特征至少包括头部特征、面部特征、五官特征和头部佩戴品特征中的一项。
3.根据权利要求2所述的人员违法动作识别方法，其特征在于，
所述通过第一卷积神经网络CNN模型分别提取每个所述视频帧中的头像特征，包括：
通过所述第一CNN模型中的卷积核对第一视频帧进行采样，得到若干个第一区域图像，将各所述第一区域图像输入至所述第一CNN模型的池化层中；所述第一视频帧为任一所述视频帧；
通过所述第一CNN模型的池化层从第一区域图像中提取头像特征，最终得到每个视频帧中的头像特征。
4.根据权利要求1所述的人员违法动作识别方法，其特征在于，
所述根据所述违法概率值集合计算所述第一人员的违法概率均值，包括：
为所述第一人员设置累加器；
对所述累加器初始化；
通过所述累加器计算所述违法概率值集合中的违法概率值的总和；
将所述总和与视频段的数量做除法运算，得到所述违法概率均值。
5.根据权利要求1所述的人员违法动作识别方法，其特征在于，
所述RNN动作识别模型的算法公式为：
其中，I为输入向量的维度，V为向量化的字符或者字符部分的维度，H为隐层的神经元个数，K为输出层的神经元个数，x为第二卷积神经网络CNN模型提取出来的所述动作特征，v为递归神经网络对所述动作特征识别结果化成的向量数据，为时刻RNN动作识别模型中隐含层神经元的输入，为时刻RNN动作识别模型中隐含层神经元的输出；为时刻RNN动作识别模型中输出层神经元的输入；为时刻RNN动作识别模型中输出层神经元的输出，为违法概率值。
6.根据权利要求1所述的人员违法动作识别方法，其特征在于，
所述动作特征至少包括躯体姿势特征、四肢动作特征、与他人接触动作特征和手中持有物特征中的一项。
7.根据权利要求1所述的一种人员违法动作识别方法，其特征在于，
所述将属于同一人员的各子视频帧按时间先后顺序进行排列，得到多个子视频帧组，包括：
将每个视频帧中属于同一人员的子视频帧标记相同的标识；
分别将具有相同标识的子视频帧按时间先后顺序进行排列，得到多个子视频帧组。
8.一种人员违法动作识别系统，其特征在于，包括：
收发模块，用于从小区监控视频中采集多个视频段；
处理模块，用于从第一视频段中获取多个视频帧；所述第一视频段为所述多个视频段中的任一视频段；识别每个所述视频帧中各人员的头像区域，根据人员的头像区域从每个所述视频帧中划分出与各人员一一对应的子视频帧；将属于同一人员的各子视频帧按时间先后顺序进行排列，得到多个子视频帧组；各子视频帧组与各人员一一对应；从第一人员所对应的子视频帧组中提取动作特征；所述第一人员为所述各人员中的任一人员；通过循环神经网络RNN动作识别模型识别所述动作特征，若所述动作特征中存在与预设姿态数据匹配的动作，则判定所述第一人员存在违法动作，并根据所述违法动作为所述第一人员设置对应的违法概率值，若所述动作特征中不存在与所述预设姿态数据匹配的动作，则将所述第一人员所对应的违法概率值设置为0，最终得到违法概率值集合；所述违法概率值集合包括所述第一人员在每个视频段中所对应的违法概率值；根据所述违法概率值集合计算所述第一人员的违法概率均值；若所述违法概率均值大于预警值，则判定所述第一人员存在违法行为。
9.一种计算机设备，其特征在于，包括收发器、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一所述的人员违法动作识别方法中的步骤。
10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一所述的人员违法动作识别方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910042543.2A CN109918996A (zh) | 2019-01-17 | 2019-01-17 | 人员违法动作识别方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910042543.2A CN109918996A (zh) | 2019-01-17 | 2019-01-17 | 人员违法动作识别方法、系统、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109918996A true CN109918996A (zh) | 2019-06-21 |
Family
ID=66960358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910042543.2A Pending CN109918996A (zh) | 2019-01-17 | 2019-01-17 | 人员违法动作识别方法、系统、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109918996A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523510A (zh) * | 2020-05-08 | 2020-08-11 | 国家邮政局邮政业安全中心 | 行为识别方法、装置、系统、电子设备及存储介质 |
| CN112492343A (zh) * | 2020-12-16 | 2021-03-12 | 浙江大华技术股份有限公司 | 一种视频直播监控方法及相关装置 |
| CN115394018A (zh) * | 2022-08-29 | 2022-11-25 | 中国农业银行股份有限公司 | 自动设备的安全监控方法、装置、自助设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654130A (zh) * | 2015-12-30 | 2016-06-08 | 成都数联铭品科技有限公司 | 一种基于递归神经网络的复杂图像文字序列识别系统 |
| CN105872717A (zh) * | 2015-10-26 | 2016-08-17 | 乐视移动智能信息技术（北京）有限公司 | 视频处理方法及系统、视频播放器与云服务器 |
| CN106446862A (zh) * | 2016-10-11 | 2017-02-22 | 厦门美图之家科技有限公司 | 一种人脸检测方法及系统 |
| US20170116465A1 (en) * | 2015-10-26 | 2017-04-27 | Le Holdings (Beijing) Co., Ltd. | Video processing method and system, video player and cloud server |
| CN108038420A (zh) * | 2017-11-21 | 2018-05-15 | 华中科技大学 | 一种基于深度视频的人体行为识别方法 |
| CN108614994A (zh) * | 2018-03-27 | 2018-10-02 | 深圳市智能机器人研究院 | 一种基于深度学习的人头部图像提取方法和装置 |
| CN108710865A (zh) * | 2018-05-28 | 2018-10-26 | 电子科技大学 | 一种基于神经网络的司机异常行为检测方法 |
| CN108932479A (zh) * | 2018-06-06 | 2018-12-04 | 上海理工大学 | 一种人体异常行为检测方法 |
| CN108985259A (zh) * | 2018-08-03 | 2018-12-11 | 百度在线网络技术（北京）有限公司 | 人体动作识别方法和装置 |
| CN109064484A (zh) * | 2018-03-21 | 2018-12-21 | 南京邮电大学 | 基于子群组划分与动量特征融合的人群运动行为识别方法 |
| CN109101958A (zh) * | 2018-11-01 | 2018-12-28 | 钟祥博谦信息科技有限公司 | 基于深度学习的人脸检测系统 |
-
2019
- 2019-01-17 CN CN201910042543.2A patent/CN109918996A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105872717A (zh) * | 2015-10-26 | 2016-08-17 | 乐视移动智能信息技术（北京）有限公司 | 视频处理方法及系统、视频播放器与云服务器 |
| US20170116465A1 (en) * | 2015-10-26 | 2017-04-27 | Le Holdings (Beijing) Co., Ltd. | Video processing method and system, video player and cloud server |
| CN105654130A (zh) * | 2015-12-30 | 2016-06-08 | 成都数联铭品科技有限公司 | 一种基于递归神经网络的复杂图像文字序列识别系统 |
| CN106446862A (zh) * | 2016-10-11 | 2017-02-22 | 厦门美图之家科技有限公司 | 一种人脸检测方法及系统 |
| CN108038420A (zh) * | 2017-11-21 | 2018-05-15 | 华中科技大学 | 一种基于深度视频的人体行为识别方法 |
| CN109064484A (zh) * | 2018-03-21 | 2018-12-21 | 南京邮电大学 | 基于子群组划分与动量特征融合的人群运动行为识别方法 |
| CN108614994A (zh) * | 2018-03-27 | 2018-10-02 | 深圳市智能机器人研究院 | 一种基于深度学习的人头部图像提取方法和装置 |
| CN108710865A (zh) * | 2018-05-28 | 2018-10-26 | 电子科技大学 | 一种基于神经网络的司机异常行为检测方法 |
| CN108932479A (zh) * | 2018-06-06 | 2018-12-04 | 上海理工大学 | 一种人体异常行为检测方法 |
| CN108985259A (zh) * | 2018-08-03 | 2018-12-11 | 百度在线网络技术（北京）有限公司 | 人体动作识别方法和装置 |
| CN109101958A (zh) * | 2018-11-01 | 2018-12-28 | 钟祥博谦信息科技有限公司 | 基于深度学习的人脸检测系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523510A (zh) * | 2020-05-08 | 2020-08-11 | 国家邮政局邮政业安全中心 | 行为识别方法、装置、系统、电子设备及存储介质 |
| CN112492343A (zh) * | 2020-12-16 | 2021-03-12 | 浙江大华技术股份有限公司 | 一种视频直播监控方法及相关装置 |
| CN112492343B (zh) * | 2020-12-16 | 2023-11-10 | 浙江大华技术股份有限公司 | 一种视频直播监控方法及相关装置 |
| CN115394018A (zh) * | 2022-08-29 | 2022-11-25 | 中国农业银行股份有限公司 | 自动设备的安全监控方法、装置、自助设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829392A (zh) | 考场作弊识别方法、系统、计算机设备和存储介质 | |
| Fan et al. | A deep neural network for real-time detection of falling humans in naturally occurring scenes | |
| Direkoglu | Abnormal crowd behavior detection using motion information images and convolutional neural networks | |
| CN108062574B (zh) | 一种基于特定类别空间约束的弱监督目标检测方法 | |
| CN109858393A (zh) | 车辆违规识别方法、系统、计算机设备和存储介质 | |
| US20200394384A1 (en) | Real-time Aerial Suspicious Analysis (ASANA) System and Method for Identification of Suspicious individuals in public areas | |
| CN109918996A (zh) | 人员违法动作识别方法、系统、计算机设备和存储介质 | |
| Omarov et al. | A Skeleton-based Approach for Campus Violence Detection. | |
| Freire-Obregón et al. | An attention recurrent model for human cooperation detection | |
| CN109831634A (zh) | 目标对象的密度信息确定方法及装置 | |
| Miao et al. | Abnormal behavior learning based on edge computing toward a crowd monitoring system | |
| KR20150065370A (ko) | 행동 인식 장치 및 그 방법 | |
| Irfan et al. | Anomaly detection in crowds using multi sensory information | |
| Kaur et al. | Violence detection in videos using deep learning: A survey | |
| Colaco et al. | Pig Treatment Classification on Thermal Image Data using Deep Learning | |
| Yadav et al. | Human Illegal Activity Recognition Based on Deep Learning Techniques | |
| Cheheb et al. | Investigating the use of autoencoders for gait-based person recognition | |
| CK | Automated Wildlife Monitoring Using Deep Learning | |
| Shreedarshan et al. | Crowd recognition system based on optical flow along with SVM classifier | |
| Meena et al. | Efficient Wildlife Intrusion Detection System using Hybrid Algorithm | |
| Charan et al. | A Survey on Detection of Anomalousbehaviour in Examination Hall | |
| Aldehim et al. | Tuna swarm algorithm with deep learning enabled violence detection in smart video surveillance systems | |
| Tharali et al. | Violence detection using embedded GPU | |
| Abedi | Unconsciousness detection supervision system using faster RCNN architecture | |
| Han et al. | A saliency map method with cortex-like mechanisms and sparse representation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |