CN116977725A - 一种基于改进卷积神经网络的异常行为识别方法及装置 - Google Patents
一种基于改进卷积神经网络的异常行为识别方法及装置 Download PDFInfo
- Publication number
- CN116977725A CN116977725A CN202310919495.7A CN202310919495A CN116977725A CN 116977725 A CN116977725 A CN 116977725A CN 202310919495 A CN202310919495 A CN 202310919495A CN 116977725 A CN116977725 A CN 116977725A
- Authority
- CN
- China
- Prior art keywords
- abnormal behavior
- convolution
- convolutional neural
- neural network
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012795 verification Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000028838 turning behavior Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进卷积神经网络的异常行为识别方法及装置，采集常见的异常行为图像，对异常行为数据进人工标注以及预处理，并划分成训练集、验证集以及测试集，将Inception模块中4条分支上的传统卷积替换成分组卷积GConv；在特征提取的骨干网络中的每条分支上的分组卷积操作之后引入通道重排ChannelShuffle；在特征融合颈部网络中引入多头注意力机制Multi‑Head Attention；在特征融合尾部网络中引入残差Residual结构和多尺度金字塔FPN结构，用来处理不同尺度的图片数据，最后通过全连接FC层和Softmax层得到异常识别结果。本发明可准确识别和分类异常行为，构建的识别模型具有更高的鲁棒性，识别速度更快，识别率更高。
Description
技术领域
本发明属于计算机视觉图像识别技术领域，具体涉及一种基于改进卷积神经网络的异常行为识别方法及装置。
背景技术
由于缺乏交通教育，不良的社会环境和个人行为习惯等原因，现在社会上存在着部分人没有充分意识到异常行为的违法性和危害性，在此背景下，道路场景下的异常行为识别技术显得尤为重要。
近些年以来，随着深度学习的发展，计算机视觉技术也随之快速发展。如今计算机视觉已经成为人工智能领域中最为重要的研究课题和发展方向，本发明是基于改进卷积神经网络的异常行为识别方法，可以有效提升道路安全，减少交通事故的发生，相较于传统的视频监测的低效率，高成本等缺点，通过深度学习技术准确地识别和监测异常行为，以及时采取预防措施，避免事故的发生。无需人工设计特征，准确率高，运算量小，可以实现高效率，低成本的异常行为识别。
发明内容
发明目的：为了克服目前异常行为识别技术的低效率，高成本问题，本发明提出了一中基于改进卷积神经网络的异常行为识别方法及装置。
技术方案：本发明提出一种基于改进卷积神经网络的异常行为识别方法，具体包括以下步骤：
(1)采集并保存常见的异常行为图像；
(2)将采集的异常行为图像数据进人工标注和数据增强，并按一定比例划分为训练集、验证集和测试集；
(3)构建基于改进卷积神经网络的异常行为识别网络；将Inception模块中4条分支上的传统卷积替换成分组卷积GConv；在特征提取的骨干网络中的每条分支上的分组卷积操作之后引入通道重排Channel Shuffle；在特征融合颈部网络中引入多头注意力机制Multi-HeadAttention；在特征融合尾部网络中引入残差Residual结构和多尺度金字塔FPN结构；
(4)将训练集通过基于改进卷积神经网络的异常行为识别网络进行训练，并经过验证集进行验证，得到基于改进卷积神经网络的最优权重异常行为识别模型；
(5)将测试集输入到最优权重异常行为识别模型中进行异常行为识别。
进一步地，所述步骤(1)所述的异常行为包括了翻栏杆、走路玩手机、乱穿马路行为。
进一步地，所述步骤(2)实现过程如下：
将收集到的图片数据进行数据清洗，包括了去除损坏图片、去除模糊图片、去除相似图片；
将清洗后的数据进行数据增强处理，包括对图像的对比度、亮度、颜色平衡等进行调整，旋转，镜像处理，裁剪统一大小，随机添加噪声点提升模型的泛化能力。
进一步地，步骤(2)所述训练集、验证集和测试集的比例为照6:2:2。
进一步地，步骤(3)所述的将Inception模块中4条分支上的传统卷积替换成分组卷积GConv具体方法如下：
原始Inception模块采用5条分支构建特征提取结构，GC_Inception模块保留一个分支，采用一个3×3的最大池化，用来提取整张图像最显著的特征，提高了网络的鲁棒性，其他4个分支用作3×3和5×5的分组卷积提取特征，将Inception模块中在同一层中的3×3和5×5的卷积核进行分组卷积，第一条分支采用3×3的分组卷积，Group(1)＝24；第二条分支采用5×5的分组卷积，Group(2)＝48；第三条分支采用3×3的分组卷积，Group(3)＝12；第四条分支采用5×5的分组卷积，Group(4)＝8。
进一步地，步骤(3)所述的在特征提取的骨干网络中的每条分支上的分组卷积操作之后引入通道重排Channel Shuffle通过以下公式实现：
B分组卷积＝k×k×(C1/g)×(C2/g)×g
其中，k表示卷积核的大小，C1表示输入特征矩阵的通道数，C2表示输出特征矩阵的通道数，g表示分组卷积的分组数。
进一步地，步骤(3)所述的在特征融合颈部网络中引入多头注意力机制Multi-HeadAttention具体方法如下：
经过GC_Inception操作后，将输出特征矩阵输入到多头注意力机制中，先计算出各个头的查询q，键k和值v；接着将每个头的查询q，键k和值v平分为5组，分别是q(1,1),q(1 ,2),q(1,3),q(1,4),q(1,5)；k(1,1),k(1,2),k(1,3),k(1,4),k(1,5)；v(1,1),v(1,2),v(1,3),v(1,4),v(1,5)；这是一个head上的平分操作，构建的多头注意力机制一共有5个head，以此类推；然后将每个head上平分后的q，k，v以第二个数字相同的为一组，构建5个新的head；接着对于每一个head执行自注意力操作；再将5个head按第一个数字相同进行拼接操作，最后得到的结果与Wo进行相乘得到最后的输出。
进一步地，步骤(4)所述基于改进卷积神经网络的异常行为识别网络的损失函数为：
其中，L(bce)＝-yi×logpx， 表示的是一个权重参数，用于平衡损失函数中的损失。
基于相同的发明构思，本发明还提出一种装置设备，包括存储器和处理器，其中：
存储器，用于存储能够在处理器上运行的计算机程序；
处理器，用于在运行所述计算机程序时，执行如上所述基于改进卷积神经网络的异常行为识别方法的步骤。
基于相同的发明构思，本发明还提出一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如上所述基于改进卷积神经网络的异常行为识别方法的步骤。
有益效果：与现有技术相比，本发明的有益效果：
本发明提出了在Inception结构中加入分组卷积，大幅减少网络模型的计算量，并加上了通道重排模块，解决了分组卷积导致的跨组信息交流问题；本发明使用了多头注意力机制，加速提升特征融合能力，有效捕捉空间位置的关注、促进通道之间的交互，并帮助模型提取全局关系，从而提高对图像特征的理解和处理能力；本发明加入了多尺度特征金字塔结构，提供了多个尺度的特征表示，使得网络模型可以获取更为丰富的特征表达，并且提升网络模型的准确性，使网络模型可以更好地应对图像中的尺度变化和多尺度信息，并提高在不同尺度上的任务性能；由此本发明对异常行为的识别准确率高，运算量小，可以实现高效率，低成本的识别。
附图说明
图1为本发明的流程图；
图2为本发明构建的异常行为识别网络模型的结构示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明提供了一种基于改进卷积神经网络的异常行为识别方法，普遍适用于安防视频监控、智慧交通等场景的行为分类识别问题，属于计算机视觉领域；如图1所示，具体包含了以下步骤：
步骤1：采集并保存常见的异常行为图像，采集的图像包括翻栏杆行为、走路玩手机行为、乱穿马路行为等异常行为；并对采集的图像进行分类。
步骤2：将采集的异常行为图像数据进人工标注，并按一定比例划分为测试集，验证集和测试集，制造成数据集。
步骤2.1：对采集的异常图像按照6:2:2划分为训练集、验证集和测试集，训练集用于模型的参数学习和最优化，验证集用于调整模型的超参数和选择最佳模型，测试集用于最终评估模型的性能。通过划分数据集，可以避免在模型选择和调参过程中对相同数据进行多次使用，准确地评估模型的泛化性能。
步骤2.2：对采集的图像进行数据清洗，包括了去除损坏图片、去除模糊图片、去除相似图片，保证图像数据的质量和结果的可信性，通过数据清洗，可以确保数据的准确性、一致性和可靠性，为后续的数据处理和分析提供可靠基础。
步骤2.3：对采集的图像进行数据增强，包括对图像的对比度、亮度、颜色平衡等进行调整，旋转，镜像处理，裁剪统一大小为113×113，随机添加噪声点提升模型的泛化能力，通过数据增强，可以提高训练样本的数量和多样性，增强模型的学习能力和鲁棒性，从而取得更好的性能和泛化能力。
步骤3：构建基于改进卷积神经网络的识别网络，如图2所示，将Inception模块中4条分支上的传统卷积替换成分组卷积GConv；在特征提取的骨干网络中的每条分支上的分组卷积操作之后引入通道重排Channel Shuffle；在特征融合颈部网络中引入多头注意力机制Multi-HeadAttention；在特征融合尾部网络中引入残差Residual结构和多尺度金字塔FPN结构。
步骤3.1：将数据增强后的113×113×3的图像输入到传统卷积神经网络中，卷积核大小为7×7×3，卷积核数量为96个，步长s为2，填充p为2，最终生成56×56×96的输出特征矩阵，下式表示的是输出特征矩阵的大小与输入特征矩阵之间的关系：
其中Woutput表示输出特征矩阵的大小，Winput表示输入特征矩阵的大小，F表示卷积核的大小，P表示填充数，S表示步长。
步骤3.2：再通过传统卷积模块与GC_Inception模块相结合，经过三次网络模型叠加后提取图片数据特征，所述的GC_Inception模块是将初始Inception模块主体中的通过使用不同大小的卷积核提取不同的特征改为使用分组卷积(Gconv)来提取不同的特征。将卷积操作后的56×56×96的输出特征矩阵输入到GC_Inception模块中，所述的GC_Inception模块是在Inception模块中采用不同大小的卷积核提取不同特征的基础上，加上分组卷积操作，第一个分支采用3×3的分组卷积，Group(1)＝24；第二个分支采用5×5的分组卷积，Group(2)＝48；第三个分支采用3×3的分组卷积，Group(3)＝12；第四个分支采用5×5的分组卷积，Group(4)＝8；第五个分支采用3×3的最大池化，用来提取整张图像最显著的特征，并使用通道重排(Channel Shuffle)来解决分组卷积中跨Group的信息交流问题，大幅减小网络模型的参数量，下式表示的是传统卷积网络和分组卷积网络参数量B的对比：
B传统卷积＝k×k×C1×C2
B分组卷积＝k×k×(C1/g)×(C2/g)×g
其中，k表示卷积核的大小，C1表示输入特征矩阵的通道数，C2表示输出特征矩阵的通道数，g表示分组卷积的分组数。
步骤3.3：经过GC_Inception操作后，将输出特征矩阵输入到多头注意力机制中，先计算出各个头的查询q，键k和值v；接着将每个头的查询q，键k和值v平分为5组，分别是q(1,1),q(1,2),q(1,3),q(1,4),q(1,5)；k(1,1),k(1,2),k(1,3),k(1,4),k(1,5)；v(1,1),v(1,2),v(1,3),v(1,4),v(1 ,5)；这是一个head上的平分操作，构建的多头注意力机制一共有5个head，以此类推；然后将每个head上平分后的q，k，v以第二个数字相同的为一组，构建5个新的head；接着对于每一个head执行自注意力操作；再将5个head按第一个数字相同进行拼接操作，最后得到的结果与Wo进行相乘得到最后的输出。多头注意力可以帮助模型将注意力集中在不同的物体上，并对它们之间的关联性进行建模，从而提高检测的准确性和鲁棒性，并通过并行地关注不同的表示子空间，使模型能够更好地捕捉输入特征矩阵的多种关系，提高了深度学习模型在计算机视觉等任务中的表达能力和性能。下式表示多头注意力机制的输出计算公式：
MultiHead(Q,K,V)＝Concat(head1,...,head5)WO
其中，qi，ki，vi分别表示第i个head的查询，键和值，Wq，Wk，Wv分别表示共享参数，dk表示向量ki的长度。
步骤3.4：将5个分支的特征矩阵进行拼接操作，接着使用残差Residual结构进行连接，在卷积神经网络中，特征信息必须通过多次变换才能进入到深层次的网络中，这样有很大概率造成特征信息的丢失和梯度消失，使用残差结构配合多头注意力机制可使特征信息在网络模型中快速传播，并对重要特征信息进行自适应加强，使模型拥有更强的表达能力。
步骤3.5：将输出的特征矩阵进行BN操作，加快网络模型的收敛速度，较少梯度问题，提高模型的稳定性和提供正则化效果。它是一种常用的技术手段，被广泛应用于各种类型的神经网络模型中，对于提高训练速度、提高模型性能以及避免训练过程中的问题具有重要意义。接着进行ReLU激活操作，将特征向量进行非线性映射，提高了计算效率。最后再进行Max pooling操作，对特征图进一步降维。
步骤3.6：将经过特征提取网络后的输出特征矩阵输入到特征金字塔结构FPN结构中，通过不同层次在不同层次提取特征来实现多尺度感受野。不同层次的特征对应不同尺度的物体，通过在特征金字塔中的每个层次提取特征，可以捕捉不同尺度的物体信息，并且可以将不同层次的特征进行融合来获得更丰富的特征表示，低层次的特征通常包含了更多的细节信息，而高层次的特征则包含了更多的语义信息。通过将这些特征进行融合，提高对被检测物体的特征理解和识别能力。
步骤3.7：将特征矩阵送入到FC层进行展平处理，将二维矩阵变成一维向量，将原始数据的结构进行扁平化，使得全连接层能够更好地处理和学习特征，增强了特征提取与表示能力，使网络可以学习输入特征和目标之间的非线性关系。
步骤3.8：将一维向量输入到softmax层中，将网络输出转换为表示每个类别概率的向量，实现概率归一化、多分类决策和模型解释性。下式是softmax函数的公式：
其中，pi表示输入图像第i类的概率，K表示多类别分类器的类别数量。
步骤4：将异常行为训练集通过改进卷积神经网络模型进行训练，并经过验证集进行验证，得到了用于异常行为识别的改进卷积神经网络的最优权重模型。
步骤5：将异常行为测试集输入到最优权重模型中进行异常行为识别。
此发明的目标损失函数采用交叉熵损失函数和中心损失的加权和，下式表示的是该网络模型的总体损失函数：
其中 表示的是一个权重参数，作用是平衡损失函数中的损失项。
本发明的性能评价指标采用准确率(Accuracy)、召回率(Recall)和综合评价指标(F-Measure)，各项评价指标公式如下：
其中，TP表示正样本的数量，即分类器正确分类的数量；FP表示负样本的数量，即分类器错误分类的数量；TN表示分类器正确将负样本归类为负样本的数量；FN表示分类器错误将正样本归类为负样本的数量。
基于相同的发明构思，本发明还提出一种装置设备，包括存储器和处理器，其中：存储器，用于存储能够在处理器上运行的计算机程序；处理器，用于在运行所述计算机程序时，执行如上所述基于改进卷积神经网络的异常行为识别方法的步骤。
基于相同的发明构思，本发明还提出一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如上所述基于改进卷积神经网络的异常行为识别方法的步骤。
经过实验测试，该网络模型的识别精度达到98.11％，相较于传统的道异常行为识别方法，该模型识别精度更高，运算量更少，速度更快，应用场景更广。基于该模型的异常行为识别方法，通过对很多场景上异常行为进行分类识别，判断该场景下的异常行为的种类，准确识别和分类各种异常行为，该模型可以提供很多宝贵的数据和信息，用于交通流管理和优化，通过收集和分类异常行为的统计数据，交通管理者可以了解特定地点和时间段的交通状况，制定相应的交通策略，优化信号灯配时、异常通行规则等，从而改善道路交通流畅性和效率。
至此，已经结合附图所示的具体实验过程描述了本发明的技术方案，但是本发明的保护范围不局限于这些具体实施方式。在不偏离本发明原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于改进卷积神经网络的异常行为识别方法，其特征在于，包括如下步骤：
(1)采集并保存常见的异常行为图像；
(2)将采集的异常行为图像数据进人工标注和数据增强，并按一定比例划分为训练集、验证集和测试集；
(3)构建基于改进卷积神经网络的异常行为识别网络；将Inception模块中4条分支上的传统卷积替换成分组卷积GConv；在特征提取的骨干网络中的每条分支上的分组卷积操作之后引入通道重排Channel Shuffle；在特征融合颈部网络中引入多头注意力机制Multi-Head Attention；在特征融合尾部网络中引入残差Residual结构和多尺度金字塔FPN结构；
(4)将训练集通过基于改进卷积神经网络的异常行为识别网络进行训练，并经过验证集进行验证，得到基于改进卷积神经网络的最优权重异常行为识别模型；
(5)将测试集输入到最优权重异常行为识别模型中进行异常行为识别。
2.根据权利要求1所述的基于改进卷积神经网络的异常行为识别方法，其特征在于，所述步骤(1)所述的异常行为包括了翻栏杆、走路玩手机、乱穿马路行为。
3.根据权利要求1所述的基于改进卷积神经网络的异常行为识别方法，其特征在于，所述步骤(2)实现过程如下：
将收集到的图片数据进行数据清洗，包括了去除损坏图片、去除模糊图片、去除相似图片；
将清洗后的数据进行数据增强处理，包括对图像的对比度、亮度、颜色平衡等进行调整，旋转，镜像处理，裁剪统一大小，随机添加噪声点提升模型的泛化能力。
4.根据权利要求1所述的基于改进卷积神经网络的异常行为识别方法，其特征在于，步骤(2)所述训练集、验证集和测试集的比例为照6:2:2。
5.根据权利要求1所述的基于改进卷积神经网络的异常行为识别方法，其特征在于，步骤(3)所述的将Inception模块中4条分支上的传统卷积替换成分组卷积GConv具体方法如下：
原始Inception模块采用5条分支构建特征提取结构，GC_Inception模块保留一个分支，采用一个3×3的最大池化，用来提取整张图像最显著的特征，提高了网络的鲁棒性，其他4个分支用作3×3和5×5的分组卷积提取特征，将Inception模块中在同一层中的3×3和5×5的卷积核进行分组卷积，第一条分支采用3×3的分组卷积，Group(1)＝24；第二条分支采用5×5的分组卷积，Group(2)＝48；第三条分支采用3×3的分组卷积，Group(3)＝12；第四条分支采用5×5的分组卷积，Group(4)＝8。
6.根据权利要求1所述的基于改进卷积神经网络的异常行为识别方法，其特征在于，步骤(3)所述的在特征提取的骨干网络中的每条分支上的分组卷积操作之后引入通道重排Channel Shuffle通过以下公式实现：
B分组卷积＝k×k×(C1/g)×(C2/g)×g
其中，k表示卷积核的大小，C1表示输入特征矩阵的通道数，C2表示输出特征矩阵的通道数，g表示分组卷积的分组数。
7.根据权利要求1所述的基于改进卷积神经网络的异常行为识别方法，其特征在于，步骤(3)所述的在特征融合颈部网络中引入多头注意力机制Multi-Head Attention具体方法如下：
经过GC_Inception操作后，将输出特征矩阵输入到多头注意力机制中，先计算出各个头的查询q，键k和值v；接着将每个头的查询q，键k和值v平分为5组，分别是q(1,1),q(1,2),q(1 ,3),q(1,4),q(1,5)；k(1,1),k(1,2),k(1,3),k(1,4),k(1,5)；v(1,1),v(1,2),v(1,3),v(1,4),v(1,5)；这是一个head上的平分操作，构建的多头注意力机制一共有5个head，以此类推；然后将每个head上平分后的q，k，v以第二个数字相同的为一组，构建5个新的head；接着对于每一个head执行自注意力操作；再将5个head按第一个数字相同进行拼接操作，最后得到的结果与Wo进行相乘得到最后的输出。
8.根据权利要求1所述的基于改进卷积神经网络的异常行为识别方法，其特征在于，步骤(4)所述基于改进卷积神经网络的异常行为识别网络的损失函数为：
其中，L(bce)＝-yi×logpx， 表示的是一个权重参数，用于平衡损失函数中的损失。
9.一种装置设备，其特征在于，包括存储器和处理器，其中：
存储器，用于存储能够在处理器上运行的计算机程序；
处理器，用于在运行所述计算机程序时，执行如权利要求1-8任一项所述基于改进卷积神经网络的异常行为识别方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如权利要求1-8任一项所述基于改进卷积神经网络的异常行为识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310919495.7A CN116977725A (zh) | 2023-07-25 | 2023-07-25 | 一种基于改进卷积神经网络的异常行为识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310919495.7A CN116977725A (zh) | 2023-07-25 | 2023-07-25 | 一种基于改进卷积神经网络的异常行为识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116977725A true CN116977725A (zh) | 2023-10-31 |
Family
ID=88479011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310919495.7A Pending CN116977725A (zh) | 2023-07-25 | 2023-07-25 | 一种基于改进卷积神经网络的异常行为识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116977725A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237994A (zh) * | 2023-11-13 | 2023-12-15 | 四川泓宝润业工程技术有限公司 | 一种油气作业区人员计数及行为检测方法、装置及系统 |
| CN118397689A (zh) * | 2024-04-09 | 2024-07-26 | 中南大学 | 一种基于多尺度视觉的站内异常行为识别系统及方法 |
-
2023
- 2023-07-25 CN CN202310919495.7A patent/CN116977725A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237994A (zh) * | 2023-11-13 | 2023-12-15 | 四川泓宝润业工程技术有限公司 | 一种油气作业区人员计数及行为检测方法、装置及系统 |
| CN117237994B (zh) * | 2023-11-13 | 2024-02-13 | 四川泓宝润业工程技术有限公司 | 一种油气作业区人员计数及行为检测方法、装置及系统 |
| CN118397689A (zh) * | 2024-04-09 | 2024-07-26 | 中南大学 | 一种基于多尺度视觉的站内异常行为识别系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112308158B (zh) | 一种基于部分特征对齐的多源领域自适应模型及方法 | |
| CN111553193B (zh) | 一种基于轻量级深层神经网络的视觉slam闭环检测方法 | |
| Springenberg et al. | Improving deep neural networks with probabilistic maxout units | |
| CN112270347A (zh) | 一种基于改进ssd的医疗废弃物分类检测方法 | |
| Shi et al. | Image manipulation detection and localization based on the dual-domain convolutional neural networks | |
| CN111652066A (zh) | 基于多自注意力机制深度学习的医疗行为识别方法 | |
| CN116977725A (zh) | 一种基于改进卷积神经网络的异常行为识别方法及装置 | |
| CN110516536A (zh) | 一种基于时序类别激活图互补的弱监督视频行为检测方法 | |
| WO2020164278A1 (zh) | 一种图像处理方法、装置、电子设备和可读存储介质 | |
| CN111008639B (zh) | 一种基于注意力机制的车牌字符识别方法 | |
| CN116311483B (zh) | 基于局部面部区域重构和记忆对比学习的微表情识别方法 | |
| CN115037543B (zh) | 一种基于双向时间卷积神经网络的异常网络流量检测方法 | |
| CN111582337A (zh) | 基于小样本细粒度图像分析的草莓畸形状态检测方法 | |
| CN109446897B (zh) | 基于图像上下文信息的场景识别方法及装置 | |
| CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| CN110633689B (zh) | 基于半监督注意力网络的人脸识别模型 | |
| CN112084936B (zh) | 一种人脸图像预处理方法、装置、设备及存储介质 | |
| CN111860165B (zh) | 一种基于视频流的动态人脸识别方法和装置 | |
| CN117853861A (zh) | 农作物病害识别模型的训练方法及农作物病害识别方法 | |
| CN112115834A (zh) | 一种基于小样本匹配网络的标准证件照检测方法 | |
| CN111242114A (zh) | 文字识别方法及装置 | |
| CN113920573B (zh) | 基于对抗学习的人脸变化解耦的亲属关系验证方法 | |
| CN116232699A (zh) | 细粒度网络入侵检测模型的训练方法和网络入侵检测方法 | |
| CN102609732A (zh) | 基于泛化视觉词典图的物体识别方法 | |
| CN115272688A (zh) | 一种基于元特征的小样本学习图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |