CN112507920B - 一种基于时间位移和注意力机制的考试异常行为识别方法 - Google Patents

一种基于时间位移和注意力机制的考试异常行为识别方法 Download PDF

Info

Publication number
CN112507920B
CN112507920B CN202011486555.3A CN202011486555A CN112507920B CN 112507920 B CN112507920 B CN 112507920B CN 202011486555 A CN202011486555 A CN 202011486555A CN 112507920 B CN112507920 B CN 112507920B
Authority
CN
China
Prior art keywords
video
module
image
classified
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011486555.3A
Other languages
English (en)
Other versions
CN112507920A (zh
Inventor
郭雪荣
王家伟
刘亦欣
李自力
张吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jiaotong University
Original Assignee
Chongqing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jiaotong University filed Critical Chongqing Jiaotong University
Priority to CN202011486555.3A priority Critical patent/CN112507920B/zh
Publication of CN112507920A publication Critical patent/CN112507920A/zh
Application granted granted Critical
Publication of CN112507920B publication Critical patent/CN112507920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时间位移和注意力机制的考试异常行为识别方法，包括：获取待分类视频；对待分类视频进行预处理，得到待输入图像，待输入图像中包括多张图片；将待输入图像输入分类模型进行特征提取与学习得到每张图片的分类结果，所述分类模型包括时间位移模块和通道空间注意力模块；将每张图片的分类结果进行融合，得到待分类视频的分类结果。与现有技术相比，本发明通过在空间交换卷积双流网络中加入时空注意力机制，对通道间和空间的依赖关系进行显式建模，在关注重要特征的同时抑制次要特征，更有效地提取关键特征信息，提高了对于小尺度的动作及考试异常行为的识别效果。

Description

一种基于时间位移和注意力机制的考试异常行为识别方法
技术领域
本发明涉及深度学习人体行为识别领域，具体涉及一种基于时间位移和注意力机制的考试异常行为识别方法。
背景技术
随着计算机技术的应用及推广，现代考试呈现出智能化的趋势。其中高校考室的智能化水平直接影响和决定了对教育资源的应用水平，是高校教育多样性和信息化的重要基础。目前，计算机应用技术与网络通信技术愈加发达，计算机视觉与人工智能技术的应用愈加广泛，让智能、智慧走进校园是必然趋势。因此，在对建设智能化考室的关注和倡导下，运用合适的计算机技术改进校园监考技术，对考场中的异常行为进行有效识别，从而保证考场纪律，维持考场秩序，提高考生自觉性以及进一步彰显考场的公平性。
虽然现阶段已有研究者结合行为识别、检测技术对考场环境下的异常行为进行研究，但取得的成果在实时性以及准确性方面还达不到投入实际使用的要求，且能识别的异常行为种类较少(主要包含左右偷看、前后偷看、传递纸条，偷看手机)，而实际中存在的考场异常行为形式多样，还需要更详尽的囊括和区分。考场环境下的异常行为通常动作幅度较小、作弊的形式多样，存在局部遮挡，背景复杂，尺度变化，视觉变化等干扰噪声的影响。传统的识别方法对于小尺度的动作识别效果不尽人意，在小尺度的异常行为识别方面还存在一定的缺陷。
因此，如何改善对于小尺度的动作的识别效果，提高对异常行为识别的精准度，成为了本领域技术人员急需解决的问题。
发明内容
针对现有技术存在的上述不足，本发明实际解决的问题是：如何改善对于小尺度的动作的识别效果，提高对异常行为识别的精准度。
本发明公开的技术方案内容如下：
一种基于时间位移和注意力机制的考试异常行为识别方法，包括：
S1、获取待分类视频；
S2、对待分类视频进行预处理，得到待输入图像，待输入图像中包括多张图片；
S3、将待输入图像输入分类模型进行特征提取与学习得到每张图片的分类结果，所述分类模型包括时间位移模块和通道空间注意力模块；
S4、将每张图片的分类结果进行融合，得到待分类视频的分类结果。
优选地，步骤S1包括：
S101、采集原始视频图像；
S102、对原始视频图像进行分割得到单个考生视频图像；
S103、将单个考生视频图像抽帧得到对应的帧序列，并按时间顺序将帧序列平均分为多个组；
S104、从每个组中随机抽取一帧图片，组成新的帧序列代表待分类视频。
优选地，步骤S2中，对待分类视频缩放、中心剪裁、归一化处理后得到待输入图像X，X＝[x1,x2,x3,…,xn]，x1至xn表示待分类视频中的第1至第n张图片。
优选地，所述分类模型主干网络采用残差网络ResNet，包括多个stage，每个stage包括多个Bottleneck，每个Bottleneck均包括时间位移模块和通道空间注意力模块。
优选地，步骤S4中，采用加权平均融合的方式得到待分类视频的分类结果。
综上所述，本发明与现有技术相比具有以下技术优势：
(1)由于监控设备拍摄的是整个教室的考生及环境，直接对原始视频处理会复杂的背景前景的影响异常行为识别的准确性，故本发明对原始数据处理，提取出单个考生的视频块，同时为了减少处理冗余信息，对视频按照一定的规则分组抽帧，输入到行为分类数据模型中。
(2)通过加入时间位移模块能够利用极少的计算代价能够学习到时间的位移，而不像3DCNN需要参数量，亦不像Two-Stream需要提前计算光流信息，分开学习时间和空间的特征，不利于实时性捕捉视频中的异常行为。
(3)同时考场中人物所处的环境复杂，异常行为识别效果易受到复杂背景、尺度变化、视角变化等干扰噪声的影响，因此本发明在分类模型中引入时空注意力机制，能够起到强调重要特征，减弱对非重要特征的关注，达到学习更深层次的特征。
附图说明
图1为本发明公开的一种基于时间位移和注意力机制的考试异常行为识别方法的流程图；
图2为ResNet网络结构示意图；
图3为时间位移的示意图；
图4为Residual分支中加入时间位移的示意图；
图5为通道注意力模块的示意图；
图6为空间注意力模块的示意图；
图7为ResBlock+TS-CBAM的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述说明。
如图1所示，本发明公开了一种基于时间位移和注意力机制的考试异常行为识别方法，包括：
S1、获取待分类视频；
S2、对待分类视频进行预处理，得到待输入图像，待输入图像中包括多张图片；
S3、将待输入图像输入分类模型进行特征提取与学习得到每张图片的分类结果，所述分类模型包括时间位移模块和通道空间注意力模块；
S4、将每张图片的分类结果进行融合，得到待分类视频的分类结果。
本发明中，可以通过安装在考场内的摄像头完成图像的采集。
考场环境下的异常行为通常动作幅度较小、作弊的形式多样，并且存在局部遮挡、背景复杂、尺度变化、视觉变化等干扰噪声的影响，因此，现有的考场行为识别、检测技术效果不佳的问题。
首先，本发明中，采用了时间位移(Temporal Shift Module，TSM)的方法。
如图3及图4所示，该方法是通过将时间维的相同位置通道信息进行向前或向后的位移，以达到时间信息的交换，从而仅使用2D的复杂度达到3D的性能。同时与Two-Stream相比该方法省去了光流特征学习，转而通过时间维的通道位移时间信息的交互，减少了原本需要计算光流的时间。移位算法过程如下，为了简洁起见，以核大小为3的一维卷积为例。假设卷积的权重为W＝(w1,w2,w3)，输入X是一个长度无限的一维向量。卷积算子Y＝Conv(W，X)可以写成：yi＝w1xi-1+w2xi+w3xi+1。将卷积的运算解耦为两个步骤：移位和乘积：输入X分别移动-1,0,1,并乘以W1，W2，W3它们相加为Y。具体形式如下：
Figure BDA0002839440050000031
累积乘积操作如下：
Y＝w1X-1+w2X0+w3X+1 (2)
式(1)移位可以在没有任何乘法的情况下进行。虽然式(2)在计算上更昂贵，但时间位移模块将乘法累积合并到下面的2D卷积中，因此与基于2DCNN的模型相比，它没有额外的成本，同时也关注了时间维的信息。
如图5及图6所示，本发明中，还采用了注意力机制模块(CBAM)，这是一种结合了空间(spatial)和通道(channel)的注意力机制模块。在考生异常行为识别中，由于拍摄到的视频并不只包含单个学生，其背景中也可能会包含其他学生，以及教室环境光照变化的，尺度大小不一的影响，会对模型在行为特征的干扰，因此本发明引入卷积块注意模块(Convolutional Block Attention Module)能强调重要特征，而忽略次要特征，保证最终结果的准确性。
CBAM的核心算法可表示如下：给定一个中间特征图F∈RC×H×W作为输入，CBAM依次输入一维通道注意图Mc∈RC×H×W和二维空间注意图Ms∈R1×H×W。总体关注过程可概括为：
Figure BDA0002839440050000041
Figure BDA0002839440050000042
式(3)中F表示特征图，Mc,Ms分别表示对F做通道上和空间上的乘积操作，
Figure BDA0002839440050000043
表示点乘。在累积乘法过程中，注意力值被相应地广播：通道注意力值沿着空间维度广播，反之依然。F″定义为最终的输出。
注意力机制模块包括了通道注意力模块和空间注意力模块。通道注意力模块中，将特征映射的每个通道被认为是特征检测器，通道注意力关注‘什么’是有意义的对于一张图片而言。为了高校的计算注意力机制，将输入的特征图进行压缩。首先使用平均池化和最大池化操作来聚合特征映射的空间信息，生成两个不同的空间上下文描述符：
Figure BDA0002839440050000044
和
Figure BDA0002839440050000045
分别表示平均池特征和最大池特征。然后将这两个描述符转发到一个共享网络，以生成我们的信道注意图Mc∈RC×1×1。共享网络由多层感知机(MLP)和一个隐藏层组成。为了减少参数开销，将隐藏的激活大小设置为RC/r×1×1，其中r是约简比。在将共享网络应用于每个描述符之后，使用元素求和来合并输出特征向量。简而言之，信道注意力表示如下：
Figure BDA0002839440050000046
其中σ表示激活函数，W0∈RC/r×C和W1∈RC×C/r表示MLP的权重，对于两个输入都共享W0和W1，ReLU激活函数后面跟着W0。
空间注意力模块中，利用特征间的空间关系生成空间注意图，空间注意集中在“哪里”是一个信息部分，这是对信道注意的补充。通过使用两个池操作来聚合特征映射的信道信息，生成两个2D映射：Fsavg∈R1×H×W，Fsmax∈R1×H。每个都表示平均特征和跨通道的最大池特征。空间注意力被计算为：
Ms(F)＝σ(f7×7([AvgPool(F)；MaxPool(F))
＝σ(f7×7([Fsavg；Fsmax])) (5)
其中σ表示sigmod激活函数，f7×7表示滤波器大小为7×7的卷积运算。
本发明即是结合TSM和CBAM的优势，即能利用2D的参数量达到3D的效果，同时又能关注到重要特征。在ResNet的Bottleneck中分别加入时间位移模块(Temporal ShiftModule)和通道空间注意力模块(Channel&Spacial Attention Module)构成TS-CBAM模块(Temporal shift-Channel&Spacial Attention Module)。在Bottleneck的第一次卷积之前进行时间位移操作，Bottlenck中间部分不改变其网络结构，在最后作一个卷积操作后加入通道空间注意力模块，最后将得到的注意力信息与上一个Bottlenck输出的结果相加，作为下一个Bottleneck的输入。最终，融合各分组得特征，将通过多帧图像经过时间位移与与注意力机制模块计算学习后得特征分别进行全连接后再分类，并将各组的分类结果通过融合，得到最终的分类结果。
具体实施时，步骤S1包括：
S101、采集原始视频图像；
S102、对原始视频图像进行分割得到单个考生视频图像；
S103、将单个考生视频图像抽帧得到对应的帧序列，并按时间顺序将帧序列平均分为多个组；
S104、从每个组中随机抽取一帧图片，组成新的帧序列代表待分类视频。
目前针对多人交互等复杂行为识别方法不够成熟，考虑到教室环境下的异常行为更加复杂，存在遮挡，背景中包含其他考生，光照变换以及尺度变化等，所以对原视频按照考生分割对后期分类结果尤为关键。本发明中，可以利用目标检测等现有算法对考生分割，分割成主体只含单个考生的单个考生视频图像。然后，按照时间顺序，将分割后的视频进行切片抽帧，得到连续帧序列，这样，能够减少信息的冗余，降低图像处理的时间和空间的复杂度。
具体实施时，步骤S2中，对待分类视频缩放、中心剪裁、归一化处理后得到待输入图像X，X＝[x1,x2,x3,…,xn]，x1至xn表示待分类视频中的第1至第n张图片。
具体实施时，所述分类模型主干网络采用残差网络ResNet，包括多个stage，每个stage包括多个Bottleneck，每个Bottleneck均包括时间位移模块和通道空间注意力模块。
如图2所示，本发明中，分类模型的主干网络是ResNet，input为输入X，经过inputsteam的操作后输出X′作为stage1的输入，每个stage中包含了多个Bottleneck，经过stage1的操作和运算和输出X″最为下一个阶段的输入，以此类推。
如图7所示，对于分类模型的每个Bottleneck，本发明加入了时间位移模块(TSM)和通道空间注意力模块(CBAM)；TSM利用存储在内存中的每个子网络对应层的Channels集合到一起，然后进行时间位移操作；经过时间位移操作后的特征图作三次卷积运算，也即一次Bottleneck运算，在Bottleneck后加入CBAM，构成TS-CBAM模块。重复以上操作，从stage1到stage4中均是如此；最后即可得到输出结果，Output。
具体实施时，步骤S4中，采用加权平均融合的方式得到待分类视频的分类结果。
本发明中，分类结果融合可以利用加权投票或者最大最小决策方法，但优选采用加权平均方法。本发明中，权重初始设置时候是随机生成的，后期根据模型分类结果与真实分类结果相比较而言对模型进行反向传播不断学习得到的。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。

Claims (2)

1.一种基于时间位移和注意力机制的考试异常行为识别方法，其特征在于，包括：
S1、获取待分类视频；步骤S1包括：
S101、采集原始视频图像；
S102、对原始视频图像进行分割得到单个考生视频图像；
S103、将单个考生视频图像抽帧得到对应的帧序列，并按时间顺序将帧序列平均分为多个组；
S104、从每个组中随机抽取一帧图片，组成新的帧序列代表待分类视频；
S2、对待分类视频进行预处理，得到待输入图像，待输入图像中包括多张图片；步骤S2中，对待分类视频缩放、中心剪裁、归一化处理后得到待输入图像X，X＝[x1,x2,x3,…,xn]，x1至xn表示待分类视频中的第1至第n张图片；
S3、将待输入图像输入分类模型进行特征提取与学习得到每张图片的分类结果，所述分类模型包括时间位移模块和通道空间注意力模块；所述分类模型主干网络采用残差网络ResNet，包括多个stage，每个stage包括多个Bottleneck，每个Bottleneck均包括时间位移模块和通道空间注意力模块；其中，对于分类模型的每个Bottleneck，时间位移模块利用存储在内存中的每个子网络对应层的Channels集合到一起，然后进行时间位移操作；经过时间位移操作后的特征图作三次卷积运算，也即一次Bottleneck运算，在Bottleneck后加入通道空间注意力模块，构成TS-CBAM模块；重复以上操作，最后即得到输出结果；
还采用了注意力机制模块，注意力机制模块包括通道注意力模块和空间注意力模块；通道注意力模块中，将特征映射的每个通道被认为是特征检测器；空间注意力模块中，利用特征间的空间关系生成空间注意图；在Bottleneck的第一次卷积之前进行时间位移操作，在最后作一个卷积操作后加入通道空间注意力模块，最后将得到的注意力信息与上一个Bottlenck输出的结果相加，作为下一个Bottleneck的输入；
S4、将每张图片的分类结果进行融合，得到待分类视频的分类结果；其中，融合各分组的特征，将通过多帧图像经过时间位移与注意力机制模块计算学习后得特征分别进行全连接后再分类，并将各组的分类结果通过融合，得到最终的分类结果。
2.如权利要求1所述的基于时间位移和注意力机制的考试异常行为识别方法，其特征在于，步骤S4中，采用加权平均融合的方式得到待分类视频的分类结果。
CN202011486555.3A 2020-12-16 2020-12-16 一种基于时间位移和注意力机制的考试异常行为识别方法 Active CN112507920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011486555.3A CN112507920B (zh) 2020-12-16 2020-12-16 一种基于时间位移和注意力机制的考试异常行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011486555.3A CN112507920B (zh) 2020-12-16 2020-12-16 一种基于时间位移和注意力机制的考试异常行为识别方法

Publications (2)

Publication Number Publication Date
CN112507920A CN112507920A (zh) 2021-03-16
CN112507920B true CN112507920B (zh) 2023-01-24

Family

ID=74972671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011486555.3A Active CN112507920B (zh) 2020-12-16 2020-12-16 一种基于时间位移和注意力机制的考试异常行为识别方法

Country Status (1)

Country Link
CN (1) CN112507920B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990116B (zh) * 2021-04-21 2021-08-06 四川翼飞视科技有限公司 基于多注意力机制融合的行为识别装置、方法和存储介质
CN113486734B (zh) * 2021-06-18 2023-11-21 广东技术师范大学 一种步态识别方法、系统、设备及存储介质
CN114067436B (zh) * 2021-11-17 2024-03-05 山东大学 一种基于可穿戴式传感器及视频监控的跌倒检测方法及系统
CN116824460B (zh) * 2023-08-29 2023-12-08 深圳市企鹅网络科技有限公司 一种基于人脸识别的考生轨迹跟踪方法、系统及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096617A (zh) * 2019-04-29 2019-08-06 北京百度网讯科技有限公司 视频分类方法、装置、电子设备及计算机可读存储介质
CN111325155A (zh) * 2020-02-21 2020-06-23 重庆邮电大学 基于残差式3d cnn和多模态特征融合策略的视频动作识别方法
CN111428699A (zh) * 2020-06-10 2020-07-17 南京理工大学 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统
CN111627052A (zh) * 2020-04-30 2020-09-04 沈阳工程学院 一种基于双流时空注意力机制的动作识别方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280436A (zh) * 2018-01-29 2018-07-13 深圳市唯特视科技有限公司 一种基于堆叠递归单元的多级残差网络的动作识别方法
CN108985443B (zh) * 2018-07-04 2022-03-29 北京旷视科技有限公司 动作识别方法及其神经网络生成方法、装置和电子设备
CN109389055B (zh) * 2018-09-21 2021-07-20 西安电子科技大学 基于混合卷积和注意力机制的视频分类方法
CN109740670B (zh) * 2019-01-02 2022-01-11 京东方科技集团股份有限公司 视频分类的方法及装置
CN109871828B (zh) * 2019-03-15 2022-12-02 京东方科技集团股份有限公司 视频识别方法和识别装置、存储介质
CN110929622B (zh) * 2019-11-15 2024-01-05 腾讯科技（深圳）有限公司 视频分类方法、模型训练方法、装置、设备及存储介质
CN111008280B (zh) * 2019-12-04 2023-09-05 北京百度网讯科技有限公司 一种视频分类方法、装置、设备和存储介质
CN111209883B (zh) * 2020-01-13 2023-08-04 南京大学 一种基于多源运动特征融合的时序自适应视频分类方法
CN111259785B (zh) * 2020-01-14 2022-09-20 电子科技大学 基于时间偏移残差网络的唇语识别方法
CN111325166B (zh) * 2020-02-26 2023-07-07 南京工业大学 基于投影重构和多输入多输出神经网络的坐姿识别方法
CN111369299B (zh) * 2020-03-11 2023-06-23 腾讯科技（深圳）有限公司 识别的方法、装置、设备及计算机可读存储介质
CN111340011B (zh) * 2020-05-18 2020-09-11 中国科学院自动化研究所南京人工智能芯片创新研究院 一种自适应时序移位神经网络时序行为识别方法
CN111598026B (zh) * 2020-05-20 2023-05-30 广州市百果园信息技术有限公司 动作识别方法、装置、设备及存储介质
CN111709351B (zh) * 2020-06-11 2023-05-05 江南大学 基于多径时空特征强化融合的三支流网络行为识别方法
CN111931602B (zh) * 2020-07-22 2023-08-08 北方工业大学 基于注意力机制的多流分段网络人体动作识别方法及系统
CN111898709B (zh) * 2020-09-30 2021-01-15 中国人民解放军国防科技大学 一种图像分类方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096617A (zh) * 2019-04-29 2019-08-06 北京百度网讯科技有限公司 视频分类方法、装置、电子设备及计算机可读存储介质
CN111325155A (zh) * 2020-02-21 2020-06-23 重庆邮电大学 基于残差式3d cnn和多模态特征融合策略的视频动作识别方法
CN111627052A (zh) * 2020-04-30 2020-09-04 沈阳工程学院 一种基于双流时空注意力机制的动作识别方法
CN111428699A (zh) * 2020-06-10 2020-07-17 南京理工大学 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Residual Attention Network for Image Classification;Fei Wang等;《arXiv:1704.06904v1》;20170423;第1-9页 *
基于时空交互注意力模型的人体行为识别算法;潘娜等;《激光与光电子学进展》;20200930;第57卷(第18期);第1-9页 *

Also Published As

Publication number Publication date
CN112507920A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112507920B (zh) 一种基于时间位移和注意力机制的考试异常行为识别方法
CN110188239B (zh) 一种基于跨模态注意力机制的双流视频分类方法和装置
CN112597941B (zh) 一种人脸识别方法、装置及电子设备
CN112434608B (zh) 一种基于双流结合网络的人体行为识别方法及系统
CN113158723A (zh) 一种端到端的视频动作检测定位系统
US20240070858A1 (en) Capsule endoscope image recognition method based on deep learning, and device and medium
CN112966574A (zh) 人体三维关键点预测方法、装置及电子设备
CN113920581A (zh) 一种时空卷积注意力网络用于视频中动作识别的方法
CN112418032A (zh) 一种人体行为识别方法、装置、电子设备及存储介质
CN111160356A (zh) 一种图像分割分类方法和装置
CN113379597A (zh) 人脸超分辨率重构方法
CN116229323A (zh) 一种基于改进的深度残差网络的人体行为识别方法
Yao et al. Deep audio-visual fusion neural network for saliency estimation
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
CN114492755A (zh) 基于知识蒸馏的目标检测模型压缩方法
CN117671353A (zh) 动作抖动与骨架噪声抑制的多尺度时空交互骨架动作分类方法、系统、设备及介质
CN117576753A (zh) 基于面部关键点的注意力特征融合的微表情识别方法
CN116797640A (zh) 一种面向智能伴行巡视器的深度及3d关键点估计方法
CN114841887B (zh) 一种基于多层次差异学习的图像恢复质量评价方法
CN114639166A (zh) 一种基于动作识别的考场异常行为识别方法
CN110211146B (zh) 视交叉仿真的视频前景分割方法及装置
Zhang et al. Split-Conv: A Resource-efficient Compression Method for Image Quality Assessment Models
Zhang et al. A modified image processing method for deblurring based on GAN networks
CN117689890B (zh) 一种基于晴雾场景的语义分割方法、装置及存储介质
CN114943922B (zh) 一种基于深度学习的机考可疑行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant