CN116010816A - 基于大感受野的lrf大核注意力卷积网络活动识别方法 - Google Patents
基于大感受野的lrf大核注意力卷积网络活动识别方法 Download PDFInfo
- Publication number
- CN116010816A CN116010816A CN202211695992.5A CN202211695992A CN116010816A CN 116010816 A CN116010816 A CN 116010816A CN 202211695992 A CN202211695992 A CN 202211695992A CN 116010816 A CN116010816 A CN 116010816A
- Authority
- CN
- China
- Prior art keywords
- lrf
- convolution network
- attention
- receptive field
- core
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000009471 action Effects 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000010606 normalization Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 230000002265 prevention Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000006722 reduction reaction Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012821 model calculation Methods 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 3
- 230000036541 health Effects 0.000 abstract description 3
- 230000009977 dual effect Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于大感受野的LRF大核注意力卷积网络活动识别方法,包括采集动作信号，对所述动作信号进行预处理和数据划分，获取数据集；基于所述数据集对LRF大核注意力卷积网络模型进行训练,将训练完成的所述LRF大核注意力卷积网络模型导入移动可穿戴识别装置中，进行人体姿态识别。本发明通过传感器模态的局部深度卷积网络、沿时间序列的长距离深度卷积网络和1×1普通卷积网络捕捉传感器时序和模态双特征，有效提升模型网络对于动作特征信息的定位和识别，极大拓宽了可穿戴传感器活动识别的种类，增强了不标准动作的识别容错率，促进了基于可穿戴移动设备的识别在健康医疗、智能家居、医疗辅助等领域的部署和发展。
Description
技术领域
本发明涉及深度学习以及移动可穿戴人体活动识别技术领域，特别是涉及基于大感受野的LRF大核注意力卷积网络活动识别方法。
背景技术
基于传感器的人类活动识别方法是一种通过传感器信号数据分析实现身体活动识别的技术，已被应用到智能监控、健康医疗、虚拟现实等领域。目前，主流的HAR方法利用机器学习或深度学习模型，通过可穿戴设备收集连续的活动信号，并进行活动识别。基于可穿戴传感器的HAR方法由于其便携性和隐私性的优势而获得了民众的普遍关注。
近些年，科研工作者将目光由原来基于数据驱动的特征工程技术过渡到基于深度神经网络的方法。相比于特征工程技术的启发式手工特征提取，基于深度学习的活动识别方法可自动提取目标任务的特征信息，极大降低了手工特征提取的劳动成本。研究人员最近发现，基于深度学习的模型网络在执行人体活动识别时，有效感受野的捕捉起到至关重要的作用。一般而言，更大的有效感受野伴随着更高的性能增益。然而，有效感受野的扩大需要更深网络层数的堆叠，这阻碍对于计算力受限的移动传感器设备的HAR应用，也是基于大感受野的活动识别方法未出现在主流HAR领域的重要原因。
根据本发明发明人的工作发现，基于大感受野的卷积神经网络的算法模型，提升活动识别性能的同时将加深网络层数，这将为计算力受限的传感器设备带来巨大的计算负担，因此难以推广和应用。另一方面，虽然基于大卷积核的神经网络方法也可达到扩大有效感受野的目的，但单纯增大卷积核尺寸仍需大量的计算参数的引入。
发明内容
本发明的目的是针对上述技术问题，提供基于大感受野的LRF大核注意力卷积网络活动识别方法，实现更大的有效感受野对活动识别的性能增益，拓宽可穿戴传感器活动识别的种类，增强不标准动作的识别容错率，促进基于可穿戴移动设备的活动识别在多领域的部署和发展。
为实现上述目的，本发明提供了如下方案：
基于大感受野的LRF大核注意力卷积网络活动识别方法，包括：
采集动作信号，对所述动作信号进行预处理和数据划分，获取数据集；
基于所述数据集对LRF大核注意力卷积网络模型进行训练,将训练完成的所述LRF大核注意力卷积网络模型导入移动可穿戴识别装置中，进行人体姿态识别。
进一步地，采集所述动作信号包括：
通过移动传感器设备采集动作信号，并对比录制的视频时间戳为所述动作信号标注对应的动作类型。
进一步地，对所述动作信号进行预处理包括：
对所述动作信号进行降噪、滤波、归一化预处理操作。
进一步地，对所述动作信号进行数据划分包括：
根据移动传感器设备的采样频率设置时间间隔、滑动窗口长度和样本重叠率，对预处理后的动作信号进行数据切割划分，形成数据集，所述数据集包括验证集、训练集、测试集。
进一步地，所述LRF大核注意力卷积网络模型包括：
三层LRF大核注意力卷积网络和一层全连接分类输出层，其中，所述LRF大核注意力卷积网络包括：局部深度卷积层、长距离深度扩张卷积层以及1×1普通卷积层，用于特征提取；所述全连接分类输出层用于动作分类。
进一步地，所述LRF大核注意力卷积网络模型的计算方法包括：
其中，X表示输入矩阵，t表示输入矩阵的时间步长，s表示输入矩阵的传感器模态；
将输入矩阵X压缩成一维数据，并引入自注意力模块，输出所有价值向量的加权和，使用Softmax函数进行归一化处理：
其中，Q，K，V分别表示查询值，键值和向量值；dk表示缩放系数；
提出LRF注意力机制，捕捉传感器活动图像中的时间信息和模态信息：
X′＝ReLU(BN(Conv2d(X)))(3)
其中，X’表示四个维度的节点输出矩阵，ReLU表示激活函数，Conv2d表示二维卷积操作；
节点输出矩阵X’经过层归一化函数得到归一化的输出结果，并通过捷径链接进一步加强网络防退化能力：
X″＝X′+LRF(LN(X′))(4)
其中，符号LRF和LN分别表示大核感受野注意力机制和层归一化函数；
通过公式(4)输出由多层感知机和归一化层构成的前馈网络：
X″′＝X″+MLP(LN(X′))(5)
其中，符号MLP和LN分别表示多层感知机和层归一化。
进一步地，基于所述数据集对LRF大核注意力卷积网络模型进行训练包括：
当所述LRF大核注意力卷积网络模型训练满足识别精度需求，保存训练权重参数，将其移植到所述移动可穿戴识别装置；反之，若识别精度不满足识别要求，通过所述LRF大核注意力卷积网络模型的超参数进行调节。
进一步地，所述移动可穿戴识别装置包括：具备神经网络处理单元的移动可穿戴识别装置。
本发明的有益效果为：
(1)相比于传统的小核活动识别模型，本发明提出的基于大感受野的LRF大核注意力卷积网络具有大核卷积层分解为三个级连的子模块，分别为跨越不同传感器模态的局部深度卷积、沿时间序列的长距离深度卷积和11普通卷积，可实现时间信息和模态信息的双特征提取；
(2)本发明提供了浅层大核有效感受野的注意力网络用于弱标签数据类型的人体动作识别方法，实现了更大的有效感受野对活动识别的性能增益；
(3)本发明中的LRF注意力机制，取代了视觉架构中的多头自我注意力模块，聚合了每个特征图的更大邻域的活动信息，并产生一个更有价值的注意力图；LRF大核注意力卷积网络增强了不标准动作的识别容错率，促进了基于可穿戴移动设备的活动识别在多领域的部署和发展，且可无缝移植到智能可穿戴设备，具备商业应用潜能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本实施例的基于大感受野的LRF大核注意力卷积网络活动识别流程图；
图2为本实施例的LRF大核注意力卷积网络原理图；
图3为本实施例的LRF大核注意力卷积网络注意力机制比较图；
图4为本实施例的训练200次的箱线精度图；
图5为本实施例的LRF大核注意力卷积网络T-SNE可视化图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本实施例提供了基于大感受野的LRF大核注意力卷积网络活动识别方法，能对日常动作，生活动作，医疗健康等多样化传感器信号进行识别。如图1所示，具体流程包括：
S1.通过移动传感器设备采集运动信号，并对比录制的视频时间戳为所述动作信号标注对应的动作类型；
S2.通过巴特沃斯噪声滤波器对采集的运动信号进行过滤，并设置合理的滑动窗口和样本重叠率，最后将所得数据进行数据切割划分，分别为验证集、训练集、测试集，样本比例分别为p％，q％，r％，满足条件p％+q％+r％＝100％，且62％≤p％≤72％，22％≤q％≤27％，6％≤r％≤18％；
S3.将处理完毕的数据集送入LRF大核注意力卷积网络进行模型训练，对人体动作进行分类；
S4.将训练完成的模型网络权重导入具备神经网络处理单元的可穿戴识别设备中，最终实现高精度的人体姿态识别。
本实施例中，根据移动传感器设备的采样频率设置合理的时间间隔，窗口长度设置不小于500，重叠率为50％，采集的传感器信号包括但不限定于加速度、陀螺仪等传感器信号。采样频率选取根据所采集的传感器信号特点灵活设置。招募的志愿者应尽可能涵盖各个年龄段、性别，并按照要求重复执行某特定的动作类型。
训练LRF大核注意力卷积网络，将采集到的样本分为三类，验证集、训练集、测试集，样本比例分别为p％，q％，r％，满足条件p％+q％+r％＝100％，且62％≤p％≤72％，22％≤q％≤27％，6％≤r％≤18％。
应用移动可穿戴活动识别的LRF大核注意力卷积网络核心算法，如图2所示，LRF大核注意力卷积网络主要包括：三层LRF大核注意力卷积网络和一层全连接分类输出层，其中，LRF大核注意力卷积网络分别为：局部深度卷积层、长距离深度扩张卷积层以及1×1普通卷积层(又称大接收域注意)，三个卷积层共同构成了一层LRF大核注意力，每个LRF又是每一个子模块的组成成分之一。
其数学推理及表达式如下：
其中，输入矩阵X中t表示时间步长，s表示传感器模态。
为了将传感器数据送入LRF神经网络，需要将输入矩阵压缩成一维数据。为有效处理压缩成一维的传感器数据，本实施例引入自注意力模块。通过输出所有价值向量的加权和，其中每个向量的权重是通过查询向量与相应的关键向量之间的点乘来计算，并使用Softmax函数进一步归一化，具体形式如下：
其中，Q，K，V分别表示查询值，键值和向量值；dk是缩放系数，用作避免点乘运算造成的方差效应。
为捕捉传感器活动图像中的时间信息和模态信息，本实施例提出了LRF注意力机制，取代了视觉架构中的多头自我注意力模块。与传统自注意力模块不同，所提出的LRF注意力机制中的大核卷积聚合了每个特征图的更大邻域的活动信息，并产生一个更有价值的注意力图，具体形式如下：
X′＝ReLU(BN(Conv2d(X)))(3)
其中，X表示输入数据，X’为四个维度的节点输出，ReLU为激活函数，Conv2d为二维卷积操作。
节点输出矩阵经过层归一化函数以得到归一化的输出结果，并通过捷径链接进一步加强网络防退化能力，具体形式如下：
X″＝X′+LRF(LN(X′))(4)
其中，符号LRF和LN分别表示大核感受野注意力机制和层归一化函数。
上述公式(4)输出通过由多层感知机和归一化层构成的前馈网络，最终得到如下形式：
X″′＝X″+MLP(LN(X′))(5)
其中，符号MLP和LN分别表示多层感知机和层归一化。
LRF大核注意力卷积网络可分为三个特征提取模块，其中每个模块中的大核指卷积核(n,1)中的35>＝n>＝7；一个动作分类输出层，输出的全连接层神经元数量大于动作类型种类。为了使所提出的LRF注意力有效地工作，如图3所示，本实施例设计了一个类似ViT的分层结构以提取卷积网络和自我注意机制的双重优点。
当LRF大核注意力卷积网络训练满足精度需求后，可保存训练权重参数，并将其移植到具备神经网络计算单元的移动可穿戴识别设备，图4为训练200次的箱线精度图。反之，若识别精度不满足识别要求，可通过LRF大核注意力卷积网络的超参数进行合理调节，图5为LRF大核注意力卷积网络T-SNE可视化。
本实例中的LRF大核注意力卷积网络活动识别方法可应用在具备神经网络单元的移动可穿戴识别设备，包括智能手环，智能手表，智能手机等设备终端。
本发明中的LRF大核注意力卷积网络活动识别方法可通过移动可穿戴识别设备采集所需的传感器信号，经过降噪、滤波、归一化等数据预处理操作后，将所得数据送入所提的LRF大核注意力卷积网络进行训练，当满足停机准则后，将训练的网络权重参数移植到具备神经网络运算单元的移动可穿戴识别设备上，最终实现高精度、低参数的动作识别目的。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (8)
1.基于大感受野的LRF大核注意力卷积网络活动识别方法，其特征在于，包括：
采集动作信号，对所述动作信号进行预处理和数据划分，获取数据集；
基于所述数据集对LRF大核注意力卷积网络模型进行训练,将训练完成的所述LRF大核注意力卷积网络模型导入移动可穿戴识别装置中，进行人体姿态识别。
2.根据权利要求1所述的基于大感受野的LRF大核注意力卷积网络活动识别方法，其特征在于，采集所述动作信号包括：
通过移动传感器设备采集动作信号，并对比录制的视频时间戳为所述动作信号标注对应的动作类型。
3.根据权利要求1所述的基于大感受野的LRF大核注意力卷积网络活动识别方法，其特征在于，对所述动作信号进行预处理包括：
对所述动作信号进行降噪、滤波、归一化预处理操作。
4.根据权利要求1所述的基于大感受野的LRF大核注意力卷积网络活动识别方法，其特征在于，对所述动作信号进行数据划分包括：
根据移动传感器设备的采样频率设置时间间隔、滑动窗口长度和样本重叠率，对预处理后的动作信号进行数据切割划分，形成数据集，所述数据集包括验证集、训练集、测试集。
5.根据权利要求1所述的基于大感受野的LRF大核注意力卷积网络活动识别方法，其特征在于，所述LRF大核注意力卷积网络模型包括：
三层LRF大核注意力卷积网络和一层全连接分类输出层，其中，所述LRF大核注意力卷积网络包括：局部深度卷积层、长距离深度扩张卷积层以及1×1普通卷积层，用于特征提取；所述全连接分类输出层用于动作分类。
6.根据权利要求5所述的基于大感受野的LRF大核注意力卷积网络活动识别方法，其特征在于，所述LRF大核注意力卷积网络模型的计算方法包括：
其中，X表示输入矩阵，t表示输入矩阵的时间步长，s表示输入矩阵的传感器模态；
将输入矩阵X压缩成一维数据，并引入自注意力模块，输出所有价值向量的加权和，使用Softmax函数进行归一化处理：
其中，Q，K，V分别表示查询值，键值和向量值；dk表示缩放系数；
提出LRF注意力机制，捕捉传感器活动图像中的时间信息和模态信息：
X′＝ReLU(BN(Conv2d(X))) (3)
其中，X’表示四个维度的节点输出矩阵，ReLU表示激活函数，Conv2d表示二维卷积操作；
节点输出矩阵X’经过层归一化函数得到归一化的输出结果，并通过捷径链接进一步加强网络防退化能力：
X″＝X′+LRF(LN(X′)) (4)
其中，符号LRF和LN分别表示大核感受野注意力机制和层归一化函数；
通过公式(4)输出由多层感知机和归一化层构成的前馈网络：
X″′＝X″+MLP(LN(X′)) (5)
其中，符号MLP和LN分别表示多层感知机和层归一化。
7.根据权利要求1所述的基于大感受野的LRF大核注意力卷积网络活动识别方法，其特征在于，基于所述数据集对LRF大核注意力卷积网络模型进行训练包括：
当所述LRF大核注意力卷积网络模型训练满足识别精度需求，保存训练权重参数，将其移植到所述移动可穿戴识别装置；反之，若识别精度不满足识别要求，通过所述LRF大核注意力卷积网络模型的超参数进行调节。
8.根据权利要求1所述的基于大感受野的LRF大核注意力卷积网络活动识别方法，其特征在于，所述移动可穿戴识别装置包括：具备神经网络处理单元的移动可穿戴识别装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211695992.5A CN116010816B (zh) | 2022-12-28 | 2022-12-28 | 基于大感受野的lrf大核注意力卷积网络活动识别方法 |
| US18/392,484 US11989935B1 (en) | 2022-12-28 | 2023-12-21 | Activity recognition method of LRF large-kernel attention convolution network based on large receptive field |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211695992.5A CN116010816B (zh) | 2022-12-28 | 2022-12-28 | 基于大感受野的lrf大核注意力卷积网络活动识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116010816A true CN116010816A (zh) | 2023-04-25 |
| CN116010816B CN116010816B (zh) | 2023-09-08 |
Family
ID=86029242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211695992.5A Active CN116010816B (zh) | 2022-12-28 | 2022-12-28 | 基于大感受野的lrf大核注意力卷积网络活动识别方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11989935B1 (zh) |
| CN (1) | CN116010816B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011238139A (ja) * | 2010-05-12 | 2011-11-24 | Fujitsu Ltd | 移動体検出プログラムおよび移動体検出装置 |
| CN111178288A (zh) * | 2019-12-31 | 2020-05-19 | 南京师范大学 | 基于局部误差逐层训练的人体姿态识别方法和装置 |
| CN111860188A (zh) * | 2020-06-24 | 2020-10-30 | 南京师范大学 | 一种基于时间和通道双注意力的人体姿态识别方法 |
| CN113033501A (zh) * | 2021-05-06 | 2021-06-25 | 泽恩科技有限公司 | 一种基于关节四元数的人体分类方法及装置 |
| EP3913534A1 (en) * | 2020-05-22 | 2021-11-24 | Tata Consultancy Services Limited | System and method for real-time radar-based action recognition using spiking neural network(snn) |
| CN114897136A (zh) * | 2022-04-29 | 2022-08-12 | 清华大学 | 多尺度注意力机制方法及模块和图像处理方法及装置 |
| CN114973393A (zh) * | 2021-02-26 | 2022-08-30 | 北京市商汤科技开发有限公司 | 一种关系检测方法、装置、计算机设备及存储介质 |
| US20220327318A1 (en) * | 2021-04-08 | 2022-10-13 | Nvidia Corporation | End-to-end action recognition in intelligent video analysis and edge computing systems |
| CN115225731A (zh) * | 2022-07-29 | 2022-10-21 | 中国人民解放军陆军工程大学 | 一种基于混合神经网络的在线协议识别方法 |
| CN115294498A (zh) * | 2022-08-05 | 2022-11-04 | 山东大学 | 一种基于交叉注意力的多模态融合小波知识蒸馏的视频行为识别方法及系统 |
| CN115393719A (zh) * | 2022-08-29 | 2022-11-25 | 哈尔滨理工大学 | 结合空谱域自适应与集成学习的高光谱图像分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NL2032720B1 (en) * | 2022-08-10 | 2024-02-16 | Navinfo Europe B V | Method and system for mimicking saccadic human eye movements in an artificial neural network |
-
2022
- 2022-12-28 CN CN202211695992.5A patent/CN116010816B/zh active Active
-
2023
- 2023-12-21 US US18/392,484 patent/US11989935B1/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011238139A (ja) * | 2010-05-12 | 2011-11-24 | Fujitsu Ltd | 移動体検出プログラムおよび移動体検出装置 |
| CN111178288A (zh) * | 2019-12-31 | 2020-05-19 | 南京师范大学 | 基于局部误差逐层训练的人体姿态识别方法和装置 |
| EP3913534A1 (en) * | 2020-05-22 | 2021-11-24 | Tata Consultancy Services Limited | System and method for real-time radar-based action recognition using spiking neural network(snn) |
| CN111860188A (zh) * | 2020-06-24 | 2020-10-30 | 南京师范大学 | 一种基于时间和通道双注意力的人体姿态识别方法 |
| CN114973393A (zh) * | 2021-02-26 | 2022-08-30 | 北京市商汤科技开发有限公司 | 一种关系检测方法、装置、计算机设备及存储介质 |
| US20220327318A1 (en) * | 2021-04-08 | 2022-10-13 | Nvidia Corporation | End-to-end action recognition in intelligent video analysis and edge computing systems |
| CN113033501A (zh) * | 2021-05-06 | 2021-06-25 | 泽恩科技有限公司 | 一种基于关节四元数的人体分类方法及装置 |
| CN114897136A (zh) * | 2022-04-29 | 2022-08-12 | 清华大学 | 多尺度注意力机制方法及模块和图像处理方法及装置 |
| CN115225731A (zh) * | 2022-07-29 | 2022-10-21 | 中国人民解放军陆军工程大学 | 一种基于混合神经网络的在线协议识别方法 |
| CN115294498A (zh) * | 2022-08-05 | 2022-11-04 | 山东大学 | 一种基于交叉注意力的多模态融合小波知识蒸馏的视频行为识别方法及系统 |
| CN115393719A (zh) * | 2022-08-29 | 2022-11-25 | 哈尔滨理工大学 | 结合空谱域自适应与集成学习的高光谱图像分类方法 |
Non-Patent Citations (6)
| Title |
|---|
| JAEWONSEO 等: "A deep learning algorithm for automated measurement of vertebral body compression from X-ray images", 《SCIENTIFIC REPORTS》, pages 1 - 10 * |
| JEAN-BAPTISTE WEIBEL 等: "Robust 3D Object Classification by Combining Point Pair Features and Graph Convolution", 《2019 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》, pages 7262 - 7268 * |
| JIANG SU 等: "Redundancy-Reduced MobileNet Acceleration on Reconfigurable Logic for ImageNet Classification", 《APPLIED RECONFIGURABLE COMPUTING. ARCHITECTURES, TOOLS, AND APPLICATIONS》, pages 16 - 28 * |
| YIN TANG 等: "Triple Cross-Domain Attention on Human Activity Recognition Using Wearable Sensors", 《IEEE TRANSACTIONS ON EMERGING TOPICS IN COMPUTATIONAL INTELLIGENCE》, vol. 6, no. 5, pages 1167 - 1176, XP011921114, DOI: 10.1109/TETCI.2021.3136642 * |
| 方静 等: "基于LRF-ELM算法的研究及其在物体材质分类中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2018, pages 140 - 88 * |
| 胡皓 等: "改进YOLOX-S模型的施工场景目标检测", 《计算机科学与探索》, pages 1 - 15 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11989935B1 (en) | 2024-05-21 |
| CN116010816B (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ha et al. | Multi-modal convolutional neural networks for activity recognition | |
| CN112949565B (zh) | 基于注意力机制的单样本部分遮挡人脸识别方法及系统 | |
| CN114913565B (zh) | 人脸图像检测方法、模型训练方法、装置及存储介质 | |
| Zhu et al. | Exploring a rich spatial–temporal dependent relational model for skeleton-based action recognition by bidirectional LSTM-CNN | |
| WO2021043112A1 (zh) | 图像分类方法以及装置 | |
| CN111325111A (zh) | 一种融合逆注意力和多尺度深度监督的行人重识别方法 | |
| WO2021022521A1 (zh) | 数据处理的方法、训练神经网络模型的方法及设备 | |
| CN110503081B (zh) | 基于帧间差分的暴力行为检测方法、系统、设备及介质 | |
| CN111539389A (zh) | 人脸防伪识别方法、装置、设备及存储介质 | |
| CN113749657B (zh) | 一种基于多任务胶囊的脑电情绪识别方法 | |
| Liu et al. | Contrastive self-supervised representation learning for sensing signals from the time-frequency perspective | |
| EP4276684A1 (en) | Capsule endoscope image recognition method based on deep learning, and device and medium | |
| Yang et al. | A deep multiscale pyramid network enhanced with spatial–spectral residual attention for hyperspectral image change detection | |
| CN111723662B (zh) | 一种基于卷积神经网络的人体姿态识别方法 | |
| CN112035671B (zh) | 状态检测方法、装置、计算机设备及存储介质 | |
| CN116092119A (zh) | 基于多维度特征融合的人体行为识别系统及其工作方法 | |
| Xu et al. | Study on fast human activity recognition based on optimized feature selection | |
| Li et al. | Human action recognition method based on historical point cloud trajectory characteristics | |
| Qi et al. | A convolutional neural network face recognition method based on BILSTM and attention mechanism | |
| CN116010816B (zh) | 基于大感受野的lrf大核注意力卷积网络活动识别方法 | |
| CN114882590B (zh) | 一种基于事件相机的多粒度时空特征感知的唇读方法 | |
| Monica et al. | Recognition of medicine using cnn for visually impaired | |
| CN112560848B (zh) | 兴趣点poi预训练模型的训练方法、装置及电子设备 | |
| CN115439930A (zh) | 一种基于时空维度筛选的多特征融合步态识别方法 | |
| Afrin et al. | AI based facial expression recognition for autism children |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |