CN113449679A - 一种人体异常行为识别方法和装置 - Google Patents

一种人体异常行为识别方法和装置 Download PDF

Info

Publication number
CN113449679A
CN113449679A CN202110797329.5A CN202110797329A CN113449679A CN 113449679 A CN113449679 A CN 113449679A CN 202110797329 A CN202110797329 A CN 202110797329A CN 113449679 A CN113449679 A CN 113449679A
Authority
CN
China
Prior art keywords
convolution
discriminator
residual block
training
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110797329.5A
Other languages
English (en)
Other versions
CN113449679B (zh
Inventor
涂宏斌
占天华
高晓飞
李�杰
聂芳华
张航
罗琨
丁莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Great Wall Science And Technology Information Co ltd
Original Assignee
Hunan Great Wall Science And Technology Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Great Wall Science And Technology Information Co ltd filed Critical Hunan Great Wall Science And Technology Information Co ltd
Priority to CN202110797329.5A priority Critical patent/CN113449679B/zh
Publication of CN113449679A publication Critical patent/CN113449679A/zh
Application granted granted Critical
Publication of CN113449679B publication Critical patent/CN113449679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人体异常行为识别方法和装置，包括：获取安检场景下的训练视频数据，进行分帧预处理得到训练视频帧图像集，并对每一训练视频帧图像进行分类并赋予标签信息，作为训练样本集；根据生成器残差块构建的第一残差网络搭建生成器，根据判别器残差块构建的第二残差网络搭建判别器，根据训练样本集、预设的第一损失函数和预设的优化函数对生成器和判别器构建的生成对抗网络进行训练得到优化后的判别器模型；根据优化后的判别器模型构建得到分类器，对分类器进行训练得到分类器模型；获取安检场景下的视频数据，对视频数据进行分帧预处理得到视频帧图像，将视频帧图像输入分类器模型，得到异常行为识别分类结果。高效识别安检场景下的人体异常行为。

Description

一种人体异常行为识别方法和装置
技术领域
本发明属于机器视觉技术领域，尤其涉及一种人体异常行为识别方法和装置。
背景技术
安检是各种交通出行方式过程中必不可少的环节。但是在安检过程中，经常出现各种对安检员的安全和权益造成不利影响的事故。
现有技术中，通常是通过安检员现场自身判断或者人工对视频监控进行人体异常行为识别，效率非常低，因此，发展智能化人体异常行为实时监控与识别技术，用于安检场景下进行人体异常行为识别对保护安检员的安全与权益具有重大的现实意义。
发明内容
针对以上技术问题，本发明提供一种识别效率高的人体异常行为识别方法和装置。
本发明解决其技术问题采用的技术方案是：
在一个实施例中，一种人体异常行为识别方法，方法包括以下步骤：
步骤S100：获取安检场景下的训练视频数据，对训练视频数据进行分帧预处理得到训练视频帧图像集，并对训练视频帧图像集中的每一训练视频帧图像进行分类并赋予标签信息，作为训练样本集；
步骤S200：根据生成器残差块构建的第一残差网络搭建生成器，根据判别器残差块构建的第二残差网络搭建判别器，根据训练样本集、预设的第一损失函数和预设的优化函数对生成器和判别器构建的生成对抗网络进行训练得到优化后的判别器模型；
步骤S300：根据优化后的判别器模型构建得到分类器，根据训练样本集、每一训练视频帧图像对应的标签信息、预设的第二损失函数和预设的优化函数对分类器进行训练得到分类器模型；
步骤S400：获取安检场景下的视频数据，对视频数据进行分帧预处理得到视频帧图像，将视频帧图像输入分类器模型，得到异常行为识别分类结果。
优选地，生成器包括第一输入层、第一全连接层、第一残差网络和第一输出层，第一残差网络包括第一个生成器残差块、第二个生成器残差块、第三个生成器残差块、第四个生成器残差块和第五个生成器残差块，步骤S200中根据生成器残差块构建的第一残差网络搭建生成器，具体为：
第一输入层输入预设维度的噪声，经过第一全连接层将输入变换为4*4*256；
连接第一个生成器残差块，第一个生成器残差块中的卷积核的大小为3*3，卷积核的个数为256，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接第二个生成器残差块，第二个生成器残差块中的卷积核的大小为3*3，卷积核的个数为128，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接第三个生成器残差块，第三个生成器残差块中的卷积核的大小为3*3，卷积核的个数为64，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接第四个生成器残差块，第四个生成器残差块中的卷积核的大小为3*3，卷积核的个数为32，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接第五个生成器残差块，第五个生成器残差块中的卷积核的大小为3*3，卷积核的个数为16，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接第一输出层，第一输出层包括一个步长为1的转置卷积，得到128*128的生成图像，第一输出层使用Tanh激活函数。
优选地，判别器包括第二输入层、第二残差网络、第一池化层和第二全连接层，其中，第二残差网络包括第一个判别器残差块、第二个判别器残差块、第三个判别器残差块和第四个判别器残差块，步骤S200中根据判别器残差块构建的第二残差网络搭建判别器，具体为：
第二输入层输入训练视频帧图像集和生成器输出的生成图像，其包括4*4、步长为2的卷积，卷积的卷积核个数为32，第二输入层使用LeakyRelu激活函数；
连接第一个判别器残差块，第一个判别器残差块的卷积核的大小为3*3，卷积核的个数为64，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第二个判别器残差块，第二个判别器残差块的卷积核的大小为3*3，卷积核的个数为128，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第三个判别器残差块，第三个判别器残差块的卷积核的大小为3*3，卷积核的个数为256，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第四个判别器残差块，第四个判别器残差块的卷积核的大小为3*3，卷积核的个数为256，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第一池化层，使用自适应平均池化，使得输出的特征图尺寸为1；
连接第二全连接层，输出一维的判别器结果并使用sigmoid函数。
优选地，步骤S200中根据训练样本集、预设的第一损失函数和预设的优化函数对生成器和判别器构建的生成对抗网络进行训练得到优化后的判别器模型，包括：
步骤S210：使用预设维度的噪声作为生成器的输入，得到生成图像；
步骤S220：将生成图像和训练样本集中的每一训练视频帧图像作为判别器的输入加入对抗训练并迭代训练次数，判断判别器是否能正确判断输入的是训练视频帧图像还是生成图像，并根据预设的第一损失函数和预设的优化函数进行反向传播优化生成器和判别器的网络参数，直至迭代训练次数达到预设的第一迭代次数阈值，即完成训练得到优化后的判别器模型。
优选地，步骤S220中判断判别器是否能正确判断输入的是训练视频帧图像还是生成图像，包括：
当判别器能正确判断输入的是训练视频帧图像还是生成图像时，根据预设的第一损失函数和预设的优化函数进行反向传播并返回步骤S210；
当判别器无法判断输入的是训练视频帧图像还是生成图像时，根据预设的第一损失函数和预设的优化函数进行反向传播。
优选地，预设的第一损失函数具体为：
loss＝-wi[yi logxi+(1-yi)log(1-xi)
其中，yi代表理论标签，wi代表权重，xi代表实际预测标签。
优选地，分类器的结果包括第三输入层、第一个判别器残差块、第二个判别器残差块、第三个判别器残差块、第四个判别器残差块、第二池化层和第三全连接层，步骤S300中根据优化后的判别器模型构建得到分类器，具体为：
第三输入层输入训练样本集和每一训练视频帧图像对应的标签信息，第三输入层包括4*4、步长为2的卷积，卷积核个数为32，使用LeakyRelu激活函数；
连接第一个判别器残差块，第一个判别器残差块的卷积核的大小为3*3，卷积核的个数为64，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第二个判别器残差块，第二个判别器残差块的卷积核的大小为3*3，卷积核的个数为128，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第三个判别器残差块，第三个判别器残差块的卷积核的大小为3*3，卷积核的个数为256，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第四个判别器残差块，第四个判别器残差块的卷积核的大小为3*3，卷积核的个数为256，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第二池化层，使用自适应平均池化，使得输出的特征图尺寸为1；
连接第三全连接层，输出一维的分类器结果并使用Softmax函数。
优选地，步骤S300中根据训练样本集、每一训练视频帧图像对应的标签信息、预设的第二损失函数和预设的优化函数对分类器进行训练得到分类器模型，包括：
步骤S310：根据训练样本集、每一训练视频帧图像对应的标签信息对分类器进行训练并迭代训练次数；
步骤S320：根据预设的第二损失函数和预设的优化函数进行反向传播并优化分类器的网络参数，直至迭代训练次数达到预设的第二迭代次数阈值，得到分类器模型。
优选地，预设的第二损失函数具体为：
Figure BDA0003163223800000041
其中，x[class]代表训练视频帧图像的标签信息，x[j]代表第j个训练视频帧图像的样本分布。
在一个实施例中，一种人体异常行为识别装置，装置包括：
预处理模块，用于获取安检场景下的训练视频数据，对训练视频数据进行分帧预处理得到训练视频帧图像集，并对训练视频帧图像集中的每一训练视频帧图像进行分类并赋予标签信息，作为训练样本集；
生成器判别器模型训练模块，用于根据生成器残差块构建的第一残差网络搭建生成器，根据判别器残差块构建的第二残差网络搭建判别器，根据训练样本集、预设的第一损失函数和预设的优化函数对生成器和判别器构建的生成对抗网络进行训练得到优化后的判别器模型；
分类器模型训练模块，用于根据优化后的判别器模型构建得到分类器，根据训练样本集、每一训练视频帧图像对应的标签信息、预设的第二损失函数和预设的优化函数对分类器进行训练得到分类器模型；
异常行为识别模块，用于获取安检场景下的视频数据，对视频数据进行分帧预处理得到视频帧图像，将视频帧图像输入分类器模型得到异常行为识别分类结果。
上述人体异常行为识别方法和装置，首先获取安检场景下的训练视频数据，对训练视频数据进行分帧预处理得到训练视频帧图像集，并对训练视频帧图像集中的每一训练视频帧图像进行分类并赋予标签信息，作为训练样本集，然后设计由生成器残差块构建的生成器对判别器残差块构建的判别器进行优化，在生成对抗网络的对抗博弈中，结合预设的第一损失函数和预设的优化函数进行反向传播调整生成器和判别器的网络参数，得到最佳的判别器模型，再利用最佳判别器构建分类器，在训练过程中，结合预设的第二损失函数和预设的优化函数进行反向传播调整分类器的网络参数得到最优的分类器模型进行人体异常行为识别，可快速高效监控和识别出在安检场景下的人体异常行为。
附图说明
图1为本发明一实施例提供的人体异常行为识别方法流程图；
图2为本发明的生成器的网络结构简图；
图3为本发明的生成器残差块的结构图；
图4为本发明的判别器的网络结构简图；
图5为本发明的判别器残差块的结构图；
图6为本发明一实施例提供的人体异常行为识别方法示意图；
图7为本发明的分类器的网络结构简图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
在一个实施例中，如图1所示，一种人体异常行为识别方法，方法包括以下步骤：
步骤S100：获取安检场景下的训练视频数据，对训练视频数据进行分帧预处理得到训练视频帧图像集，并对训练视频帧图像集中的每一训练视频帧图像进行分类并赋予标签信息，作为训练样本集。
具体地，获取完整安检场景下视频数据，预处理包括将视频图像进行分帧处理得到图片，并放在不同类型的文件夹中，即给每一图片赋予标签信息，作为训练样本集。
步骤S200：根据生成器残差块构建的第一残差网络搭建生成器，根据判别器残差块构建的第二残差网络搭建判别器，根据训练样本集、预设的第一损失函数和预设的优化函数对生成器和判别器构建的生成对抗网络进行训练得到优化后的判别器模型。
具体地，选择pytorch作为深度学习的框架搭建平台，构建一种安检场景下的人体异常行为识别模型，使用由生成器残差块构建的第一残差网络进行生成器的搭建，使用由判别器残差块构成的第二残差网络进行判别器的搭建，搭建生成对抗网络中的生成器判别器模型，再编译生成器判别器模型，生成器判别器模型使用BCELoss(Binary CrossEntropy Loss)损失函数即对应预设的第一损失函数，两个模型的优化函数为Adam，即对应预设的优化函数，使用生成器和判别器构建的生成对抗网络进行训练得到最佳的判别器模型，其中，训练的epoch设为50次，每个batch包含的样本数为64，学习率为0.0002。
步骤S300：根据优化后的判别器模型构建得到分类器，根据训练样本集、每一训练视频帧图像对应的标签信息、预设的第二损失函数和预设的优化函数对分类器进行训练得到分类器模型。
具体地，基于训练好后的判别器模型构建分类器，分类器使用交叉熵损失函数即对应预设的第二损失函数，分类器模型的优化函数为Adam，即对应预设的优化函数，根据训练样本集、每一训练视频帧图像对应的标签信息、预设的第二损失函数和预设的优化函数对分类器进行训练，其中，训练的epoch设为30次，每个batch包含的样本数为64，学习率为0.0002。
步骤S400：获取安检场景下的视频数据，对视频数据进行分帧预处理得到视频帧图像，将视频帧图像输入分类器模型，得到异常行为识别分类结果。
具体地，人体异常行为识别的模型搭建训练好之后，则进行正式检测，将视频帧图像输入人体异常行为分类器，获取安检场景下的人体行为的分类结果，分类结果包括人体异常行为的类别数以及具体种类。
在一个实施例中，生成器包括第一输入层、第一全连接层、第一残差网络和第一输出层，第一残差网络包括第一个生成器残差块、第二个生成器残差块、第三个生成器残差块、第四个生成器残差块和第五个生成器残差块，步骤S200中根据生成器残差块构建的第一残差网络搭建生成器，具体为：
第一输入层输入预设维度的噪声，经过第一全连接层将输入变换为4*4*256；
连接第一个生成器残差块，第一个生成器残差块中的卷积核的大小为3*3，卷积核的个数为256，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接第二个生成器残差块，第二个生成器残差块中的卷积核的大小为3*3，卷积核的个数为128，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接第三个生成器残差块，第三个生成器残差块中的卷积核的大小为3*3，卷积核的个数为64，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接第四个生成器残差块，第四个生成器残差块中的卷积核的大小为3*3，卷积核的个数为32，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接第五个生成器残差块，第五个生成器残差块中的卷积核的大小为3*3，卷积核的个数为16，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接第一输出层，第一输出层包括一个步长为1的转置卷积，得到128*128的生成图像，第一输出层使用Tanh激活函数。
具体地，生成器的网络结构简图如图2所示，生成器包括第一输入层、第一全连接层、第一残差网络、第一输出层，其中，第一残差网络包括上述描述的第一个至第五个生成器残差块，生成器残差块由传统残差块改进而得到，生成器残差块的结构如图3所示，其中残差块结构图中的BN代表批标准化，LeakyRelu是一种激活函数，ConvTranspese2d代表转置卷积，3x3代表卷积核的大小。生成器中使用改进的的残差块，将卷积层放在批标准化和激活函数后面，输入首先经过批标准化，依次经过激活函数和卷积层，加强了模型的正则化，减少过拟合的影响。
在一个实施例中，判别器包括第二输入层、第二残差网络、第一池化层和第二全连接层，其中，第二残差网络包括第一个判别器残差块、第二个判别器残差块、第三个判别器残差块和第四个判别器残差块，步骤S200中根据判别器残差块构建的第二残差网络搭建判别器，具体为：
第二输入层输入训练视频帧图像集和生成器输出的生成图像，其包括4*4、步长为2的卷积，卷积的卷积核个数为32，第二输入层使用LeakyRelu激活函数；
连接第一个判别器残差块，第一个判别器残差块的卷积核的大小为3*3，卷积核的个数为64，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第二个判别器残差块，第二个判别器残差块的卷积核的大小为3*3，卷积核的个数为128，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第三个判别器残差块，第三个判别器残差块的卷积核的大小为3*3,卷积核的个数为256，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第四个判别器残差块，第四个判别器残差块的卷积核的大小为3*3,卷积核的个数为256，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接池化层，输出的特征图尺寸为1；
连接第二全连接层，输出一维的判别器结果并使用sigmoid函数。
具体地，判别器的网络结构如下4所示，判别器残差块如图5所示，其中残差块结构图中的BN代表批标准化，LeakyRelu是一种激活函数，Conv2d代表卷积，3x3代表卷积核的大小。
在一个实施例中，步骤S200中根据训练样本集、预设的第一损失函数和预设的优化函数对生成器和判别器构建的生成对抗网络进行训练得到优化后的判别器模型，包括：
步骤S210：使用预设维度的噪声作为生成器的输入，得到生成图像；
步骤S220：将生成图像和训练样本集中的每一训练视频帧图像作为判别器的输入加入对抗训练并迭代训练次数，判断判别器是否能正确判断输入的是训练视频帧图像还是生成图像，并根据预设的第一损失函数和预设的优化函数进行反向传播优化生成器和判别器的网络参数，直至迭代训练次数达到预设的第一迭代次数阈值，即完成训练得到优化后的判别器模型。
优选地，如图6所示，预设维度的噪声为100维，本身生成对抗网络中的生成器和判别器处于不断对抗中，生成器希望生成判别器无法判断真假的生成图像，判别器希望自身判别能力强到可以判别生成图像和真实图像，两者不断对抗，通过预设的第一损失函数计算得到损失值，并通过预设的优化函数不断调整生成器和判别器的网络参数，达到最优模型。
在一个实施例中，步骤S220中判断判别器是否能正确判断输入的是训练视频帧图像还是生成图像，包括：
当判别器能正确判断输入的是训练视频帧图像还是生成图像时，根据预设的第一损失函数和预设的优化函数进行反向传播并返回步骤S210；
当判别器无法判断输入的是训练视频帧图像还是生成图像时，根据预设的第一损失函数和预设的优化函数进行反向传播。
具体地，当判别器能正确判断输入的图像是训练视频帧图像还是生成图像时(对应图6中的图像T)，说明生成器判别器模型还没达到平衡，根据预设的第一损失函数和预设的优化函数进行反向传播调整生成器和判别器的网络参数，生成器还需要继续生成与训练视频帧图像更相似的生成图片，继续进行对抗训练，直至判别器无法判断输入的图像是训练视频帧图像还是生成图像(对应图6中的图像F)，则说明生成器判别器模型达到平衡，继续根据预设的第一损失函数和预设的优化函数进行反向传播调整生成器和判别器的网络参数，直至迭代训练次数达到预设的第一迭代次数阈值，结束训练过程。
在一个实施例中，预设的第一损失函数具体为：
loss＝-wi[yi logxi+(1-yi)log(1-xi)
其中，yi代表理论标签，wi代表权重，xi代表实际预测标签。
在一个实施例中，分类器的结果包括第三输入层、第一个判别器残差块、第二个判别器残差块、第三个判别器残差块、第四个判别器残差块、第二池化层和第三全连接层，步骤S300中根据优化后的判别器模型构建得到分类器，具体为：
第三输入层输入训练样本集和每一训练视频帧图像对应的标签信息，第三输入层包括4*4、步长为2的卷积，卷积核个数为32，使用LeakyRelu激活函数；
连接第一个判别器残差块，第一个判别器残差块的卷积核的大小为3*3，卷积核的个数为64，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第二个判别器残差块，第二个判别器残差块的卷积核的大小为3*3，卷积核的个数为128，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第三个判别器残差块，第三个判别器残差块的卷积核的大小为3*3，卷积核的个数为256，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第四个判别器残差块，第四个判别器残差块的卷积核的大小为3*3，卷积核的个数为256，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接第二池化层，输出的特征图尺寸为1；
连接第三全连接层，输出一维的分类器结果并使用Softmax函数。
具体地，分类器共享了判别器的部分结构(去除最后一层)，最后一层第三全连接层输出的维数为n(n代表人体异常行为的类别数)，输出结果通过Softmax函数与标签信息做交叉熵得到的损失函数，分类器同样使用adam优化器，其中分类器的网络结构如图7所示，分类器的网络结构包括第三输入层、第一个至第四个判别器残差块、第二池化层和第三全连接层。
在一个实施例中，步骤S300中根据训练样本集、每一训练视频帧图像对应的标签信息、预设的第二损失函数和预设的优化函数对分类器进行训练得到分类器模型，包括：
步骤S310：根据训练样本集、每一训练视频帧图像对应的标签信息对分类器进行训练并迭代训练次数；
步骤S320：根据预设的第二损失函数和预设的优化函数进行反向传播并优化分类器的网络参数，直至迭代训练次数达到预设的第二迭代次数阈值，得到分类器模型。
具体地，如图6所示，使用优化后的判别器构建分类器，将训练视频帧图像和每一训练视频帧图像对应的标签信息作为输入进行训练，根据预设的第二损失函数计算得到损失值，根据预设的优化函数调整分类器的网络参数，如此循环迭代，直至迭代训练次数达到预设的第二迭代次数阈值，得到最佳的分类器模型。
在一个实施例中，预设的第二损失函数具体为：
Figure BDA0003163223800000111
其中，x[class]代表训练视频帧图像的标签信息，x[j]代表第j个训练视频帧图像的样本分布。
上述人体异常行为识别方法和装置，首先获取安检场景下的训练视频数据，对训练视频数据进行分帧预处理得到训练视频帧图像集，并对训练视频帧图像集中的每一训练视频帧图像进行分类并赋予标签信息，作为训练样本集，然后设计由生成器残差块构建的生成器对判别器残差块构建的判别器进行优化，在生成对抗网络的对抗博弈中，结合预设的第一损失函数和预设的优化函数进行反向传播调整生成器和判别器的网络参数，得到最佳的判别器模型，再利用最佳判别器构建分类器，在训练过程中，结合预设的第二损失函数和预设的优化函数进行反向传播调整分类器的网络参数得到最优的分类器模型进行人体异常行为识别，可快速高效监控和识别出在安检场景下的人体异常行为。
在一个实施例中，一种人体异常行为识别装置，装置包括预处理模块、生成器判别器模型训练模块、分类器模型训练模块和异常行为识别模块，
预处理模块，用于获取安检场景下的训练视频数据，对训练视频数据进行分帧预处理得到训练视频帧图像集，并对训练视频帧图像集中的每一训练视频帧图像进行分类并赋予标签信息，作为训练样本集；
生成器判别器模型训练模块，用于根据生成器残差块构建的第一残差网络搭建生成器，根据判别器残差块构建的第二残差网络搭建判别器，根据训练样本集、预设的第一损失函数和预设的优化函数对生成器和判别器构建的生成对抗网络进行训练得到优化后的判别器模型；
分类器模型训练模块，用于根据优化后的判别器模型构建得到分类器，根据训练样本集、每一训练视频帧图像对应的标签信息、预设的第二损失函数和预设的优化函数对分类器进行训练得到分类器模型；
异常行为识别模块，用于获取安检场景下的视频数据，对视频数据进行分帧预处理得到视频帧图像，将视频帧图像输入分类器模型得到异常行为识别分类结果。
关于人体异常行为识别装置的具体限定可以参见上文中对于人体异常行为识别方法的限定，在此不再赘述。上述人体异常行为识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
以上对本发明所提供的一种人体异常行为识别方法和装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种人体异常行为识别方法，其特征在于，所述方法包括以下步骤：
步骤S100：获取安检场景下的训练视频数据，对所述训练视频数据进行分帧预处理得到训练视频帧图像集，并对所述训练视频帧图像集中的每一训练视频帧图像进行分类并赋予标签信息，作为训练样本集；
步骤S200：根据生成器残差块构建的第一残差网络搭建生成器，根据判别器残差块构建的第二残差网络搭建判别器，根据所述训练样本集、预设的第一损失函数和预设的优化函数对所述生成器和所述判别器构建的生成对抗网络进行训练得到优化后的判别器模型；
步骤S300：根据所述优化后的判别器模型构建得到分类器，根据所述训练样本集、所述每一训练视频帧图像对应的标签信息、预设的第二损失函数和预设的优化函数对所述分类器进行训练得到分类器模型；
步骤S400：获取安检场景下的视频数据，对所述视频数据进行分帧预处理得到视频帧图像，将所述视频帧图像输入所述分类器模型，得到异常行为识别分类结果。
2.根据权利要求1所述的方法，其特征在于，所述生成器包括第一输入层、第一全连接层、第一残差网络和第一输出层，所述第一残差网络包括第一个生成器残差块、第二个生成器残差块、第三个生成器残差块、第四个生成器残差块和第五个生成器残差块，步骤S200中根据生成器残差块构建的第一残差网络搭建生成器，具体为：
所述第一输入层输入预设维度的噪声，经过所述第一全连接层将输入变换为4*4*256；
连接所述第一个生成器残差块，所述第一个生成器残差块中的卷积核的大小为3*3，卷积核的个数为256，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接所述第二个生成器残差块，所述第二个生成器残差块中的卷积核的大小为3*3，卷积核的个数为128，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接所述第三个生成器残差块，所述第三个生成器残差块中的卷积核的大小为3*3，卷积核的个数为64，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接所述第四个生成器残差块，所述第四个生成器残差块中的卷积核的大小为3*3，卷积核的个数为32，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接所述第五个生成器残差块，所述第五个生成器残差块中的卷积核的大小为3*3，卷积核的个数为16，前转置卷积步长为2，后转置卷积的步长为1，shortcut是使用的卷积核大小为1*1，步长为2的转置卷积；
连接所述第一输出层，所述第一输出层包括一个步长为1的转置卷积，得到128*128的生成图像，所述第一输出层使用Tanh激活函数。
3.根据权利要求2所述的方法，其特征在于，所述判别器包括第二输入层、第二残差网络、第一池化层和第二全连接层，其中，所述第二残差网络包括第一个判别器残差块、第二个判别器残差块、第三个判别器残差块和第四个判别器残差块，步骤S200中根据判别器残差块构建的第二残差网络搭建判别器，具体为：
所述第二输入层输入所述训练视频帧图像集和所述生成器输出的所述生成图像，其包括4*4、步长为2的卷积，所述卷积的卷积核个数为32，所述第二输入层使用LeakyRelu激活函数；
连接所述第一个判别器残差块，所述第一个判别器残差块的卷积核的大小为3*3，卷积核的个数为64，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接所述第二个判别器残差块，所述第二个判别器残差块的卷积核的大小为3*3，卷积核的个数为128，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接所述第三个判别器残差块，所述第三个判别器残差块的卷积核的大小为3*3，卷积核的个数为256，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接所述第四个判别器残差块，所述第四个判别器残差块的卷积核的大小为3*3，卷积核的个数为256，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接所述第一池化层，使用自适应平均池化，使得输出的特征图尺寸为1；
连接所述第二全连接层，输出一维的判别器结果并使用sigmoid函数。
4.根据权利要求3所述的方法，其特征在于，步骤S200中根据所述训练样本集、预设的第一损失函数和预设的优化函数对所述生成器和所述判别器构建的生成对抗网络进行训练得到优化后的判别器模型，包括：
步骤S210：使用预设维度的噪声作为所述生成器的输入，得到生成图像；
步骤S220：将所述生成图像和所述训练样本集中的每一训练视频帧图像作为判别器的输入加入对抗训练并迭代训练次数，判断判别器是否能正确判断输入的是所述训练视频帧图像还是所述生成图像，并根据预设的第一损失函数和预设的优化函数进行反向传播，优化生成器和判别器的网络参数，直至迭代训练次数达到预设的第一迭代次数阈值，即完成训练得到优化后的判别器模型。
5.根据权利要求4所述的方法，其特征在于，步骤S220中判断判别器是否能正确判断输入的是所述训练视频帧图像还是所述生成图像，包括：
当判别器能正确判断输入的是所述训练视频帧图像还是所述生成图像时，根据预设的第一损失函数和预设的优化函数进行反向传播并返回步骤S210；
当判别器无法判断输入的是所述训练视频帧图像还是所述生成图像时，根据预设的第一损失函数和预设的优化函数进行反向传播。
6.根据权利要求4所述的方法，其特征在于，预设的第一损失函数具体为：
loss＝-wi[yilogxi+(1-yi)log(1-xi)
其中，yi代表理论标签，wi代表权重，xi代表实际预测标签。
7.根据权利要求6所述的方法，其特征在于，所述分类器的结果包括第三输入层、第一个判别器残差块、第二个判别器残差块、第三个判别器残差块、第四个判别器残差块、第二池化层和第三全连接层，步骤S300中根据所述优化后的判别器模型构建得到分类器，具体为：
所述第三输入层输入所述训练样本集和每一训练视频帧图像对应的标签信息，所述第三输入层包括4*4、步长为2的卷积，卷积核个数为32，使用LeakyRelu激活函数；
连接所述第一个判别器残差块，所述第一个判别器残差块的卷积核的大小为3*3，卷积核的个数为64，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接所述第二个判别器残差块，所述第二个判别器残差块的卷积核的大小为3*3，卷积核的个数为128，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接所述第三个判别器残差块，所述第三个判别器残差块的卷积核的大小为3*3，卷积核的个数为256，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接所述第四个判别器残差块，所述第四个判别器残差块的卷积核的大小为3*3，卷积核的个数为256，前卷积步长为1，后卷积的步长为2，shortcut是使用的卷积核大小为1*1，步长为2的卷积；
连接所述第二池化层，使用自适应平均池化，使得输出的特征图尺寸为1；
通过所述第三全连接层，输出一维的分类器结果并使用Softmax函数。
8.根据权利要求7所述的方法，其特征在于，步骤S300中根据所述训练样本集、所述每一训练视频帧图像对应的标签信息、预设的第二损失函数和预设的优化函数对所述分类器进行训练得到分类器模型，包括：
步骤S310：根据所述训练样本集、所述每一训练视频帧图像对应的标签信息对所述分类器进行训练并迭代训练次数；
步骤S320：根据预设的第二损失函数和预设的优化函数进行反向传播并优化分类器的网络参数，直至迭代训练次数达到预设的第二迭代次数阈值，得到分类器模型。
9.根据权利要求8所述的方法，其特征在于，预设的第二损失函数具体为：
Figure FDA0003163223790000041
其中，x[class]代表训练视频帧图像的标签信息，x[j]代表第j个训练视频帧图像的样本分布。
10.一种人体异常行为识别装置，其特征在于，所述装置包括：
预处理模块，用于获取安检场景下的训练视频数据，对所述训练视频数据进行分帧预处理得到训练视频帧图像集，并对所述训练视频帧图像集中的每一训练视频帧图像进行分类并赋予标签信息，作为训练样本集；
生成器判别器模型训练模块，用于根据生成器残差块构建的第一残差网络搭建生成器，根据判别器残差块构建的第二残差网络搭建判别器，根据所述训练样本集、预设的第一损失函数和预设的优化函数对所述生成器和所述判别器构建的生成对抗网络进行训练得到优化后的判别器模型；
分类器模型训练模块，用于根据所述优化后的判别器模型构建得到分类器，根据所述训练样本集、所述每一训练视频帧图像对应的标签信息、预设的第二损失函数和预设的优化函数对所述分类器进行训练得到分类器模型；
异常行为识别模块，用于获取安检场景下的视频数据，对所述视频数据进行分帧预处理得到视频帧图像，将所述视频帧图像输入所述分类器模型得到异常行为识别分类结果。
CN202110797329.5A 2021-07-14 2021-07-14 一种人体异常行为识别方法和装置 Active CN113449679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110797329.5A CN113449679B (zh) 2021-07-14 2021-07-14 一种人体异常行为识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110797329.5A CN113449679B (zh) 2021-07-14 2021-07-14 一种人体异常行为识别方法和装置

Publications (2)

Publication Number Publication Date
CN113449679A true CN113449679A (zh) 2021-09-28
CN113449679B CN113449679B (zh) 2023-02-03

Family

ID=77816365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110797329.5A Active CN113449679B (zh) 2021-07-14 2021-07-14 一种人体异常行为识别方法和装置

Country Status (1)

Country Link
CN (1) CN113449679B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935407A (zh) * 2021-09-29 2022-01-14 光大科技有限公司 一种异常行为识别模型确定方法及装置
CN116383649A (zh) * 2023-04-03 2023-07-04 山东省人工智能研究院 基于新型生成对抗网络的心电信号增强方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705376A (zh) * 2019-09-11 2020-01-17 南京邮电大学 一种基于生成式对抗网络的异常行为检测方法
CN110796080A (zh) * 2019-10-29 2020-02-14 重庆大学 一种基于生成对抗网络的多姿态行人图像合成算法
CN111340791A (zh) * 2020-03-02 2020-06-26 浙江浙能技术研究院有限公司 一种基于gan改进算法的光伏组件无监督缺陷检测方法
CN112613494A (zh) * 2020-11-19 2021-04-06 北京国网富达科技发展有限责任公司 基于深度对抗网络的电力线路监控异常识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705376A (zh) * 2019-09-11 2020-01-17 南京邮电大学 一种基于生成式对抗网络的异常行为检测方法
CN110796080A (zh) * 2019-10-29 2020-02-14 重庆大学 一种基于生成对抗网络的多姿态行人图像合成算法
CN111340791A (zh) * 2020-03-02 2020-06-26 浙江浙能技术研究院有限公司 一种基于gan改进算法的光伏组件无监督缺陷检测方法
CN112613494A (zh) * 2020-11-19 2021-04-06 北京国网富达科技发展有限责任公司 基于深度对抗网络的电力线路监控异常识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAHDYAR RAVANBAKHSH，ET AL.: "Training Adversarial Discriminators for Cross-Channel Abnormal Event Detection in Crowds", 《2019 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》 *
刘坤 等: "基于半监督生成对抗网络X光图像分类算法", 《光学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935407A (zh) * 2021-09-29 2022-01-14 光大科技有限公司 一种异常行为识别模型确定方法及装置
CN116383649A (zh) * 2023-04-03 2023-07-04 山东省人工智能研究院 基于新型生成对抗网络的心电信号增强方法
CN116383649B (zh) * 2023-04-03 2024-01-23 山东省人工智能研究院 基于新型生成对抗网络的心电信号增强方法

Also Published As

Publication number Publication date
CN113449679B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN113449679B (zh) 一种人体异常行为识别方法和装置
CN112036513B (zh) 基于内存增强潜在空间自回归的图像异常检测方法
CN112699786B (zh) 一种基于空间增强模块的视频行为识别方法及系统
CN110175248B (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置
CN115761642A (zh) 基于图像处理的破碎作业监控方法及其系统
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN114155244B (zh) 缺陷检测方法、装置、设备及存储介质
WO2024060684A1 (zh) 模型训练方法、图像处理方法、设备及存储介质
CN114048468A (zh) 入侵检测的方法、入侵检测模型训练的方法、装置及介质
CN112766040A (zh) 残余饵料的探测方法、设备、装置及可读存储介质
CN115115924A (zh) 基于ir7-ec网络的混凝土图像裂缝类型迅捷智能识别方法
CN110503152B (zh) 用于目标检测的双路神经网络训练方法及图像处理方法
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN117253031B (zh) 一种基于多元复合深度学习的森林火灾监测方法
CN112818840A (zh) 无人机在线检测系统和方法
CN112232948A (zh) 一种流量数据的异常检测方法及装置
CN112052829A (zh) 一种基于深度学习的飞行员行为监控方法
CN115526891B (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
CN113298004B (zh) 一种基于人脸特征学习的轻量级多头年龄估计方法
CN115601818A (zh) 一种轻量化可见光活体检测方法及装置
CN113239865A (zh) 基于深度学习的车道线检测方法
CN112734016A (zh) 用于钢筋表面的光滑程度检测的神经网络的训练方法
CN115424250A (zh) 一种车牌识别方法及装置
CN112712550A (zh) 一种图像质量评价方法及装置
CN115100419B (zh) 目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant