CN116956222A - 一种基于自适应特征提取的多复杂度行为识别系统及方法 - Google Patents
一种基于自适应特征提取的多复杂度行为识别系统及方法 Download PDFInfo
- Publication number
- CN116956222A CN116956222A CN202310929166.0A CN202310929166A CN116956222A CN 116956222 A CN116956222 A CN 116956222A CN 202310929166 A CN202310929166 A CN 202310929166A CN 116956222 A CN116956222 A CN 116956222A
- Authority
- CN
- China
- Prior art keywords
- data
- behavior
- unit
- feature
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000013500 data storage Methods 0.000 claims abstract description 5
- 230000006399 behavior Effects 0.000 claims description 284
- 239000010410 layer Substances 0.000 claims description 93
- 230000009466 transformation Effects 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 31
- 238000004220 aggregation Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000002776 aggregation Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 22
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000003044 adaptive effect Effects 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000002759 z-score normalization Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 239000012634 fragment Substances 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000036772 blood pressure Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 230000007774 longterm Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 241000288105 Grus Species 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1123—Discriminating type of movement, e.g. walking or running
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Cardiology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Evolutionary Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Computational Linguistics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Pulmonology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自适应特征提取的多复杂度行为识别系统及方法，涉及人工智能技术领域，包括人体行为数据采集模块、人体行为数据传输模块、人体行为数据存储模块、人体行为数据预处理模块、MFAEF简单人体行为识别网络模块、LSGRA复杂行为识别网络模块和人体行为信息应用模块；MFAEF简单行为识别网络模块包括依次连接的特征预提取单元、并行多维时空特征提取及复用单元和自适应多维时空特征提取单元、特征融合单元和简单行为判别输出单元；LSGRA复杂行为识别网络模块包括依次连接的单窗口简单行为特征获取单元、循环多窗口注意力单元和复杂行为判别输出单元。本发明采用上述结构弥补了基于视觉的行为识别成本高、易受干扰、隐私性差的不足。
Description
技术领域
本发明涉及人工智能技术领域，尤其是涉及一种基于自适应特征提取的多复杂度行为识别系统及方法。
背景技术
人体行为识别(Human Activity Recognition,HAR)是指通过对输入的个人或群体动作数据的采集和分析智能识别人体行为或活动状态。当前，人体行为识别已经成为了人工智能、模式识别和人机交互领域的重要研究内容，被广泛运用于智能家居、医疗保健、安全监测等应用场景，具有巨大的商业价值和广阔的发展前景，受到了学术界和工业界的密切关注。根据采集的数据类型，识别方法主要分为两大类：基于视觉的HAR和基于传感器的HAR。前者分析图像或视频数据，后者研究由可穿戴传感器和环境传感器采集的时序数据。相较于基于视觉的HAR，基于传感器的HAR具有成本低、隐私性好、抗干扰能力强等优点。
随着相关领域技术的进步与更新迭代，HAR算法与系统进入了快速发展阶段。目前，针对HAR的研究主要集中于基于深度神经网络的分类模型，深度神经网络能够自动提取行为特征，从而实现端到端的行为识别，并有效提高识别准确率。卷积神经网络(Convolutional Neural Network,CNN)是当前应用最广泛的深度神经网络之一。CNN属于多层堆叠的深度前馈网络，通过对输入数据的逐层处理，实现信息的逐步整合，将原始数据转化为与输出目标联系更紧密的高级特征表示，并最终通过分类器完成标签映射。相较于CNN，循环神经网络(Recurrent Neural Network,RNN)更关注数据的时序特征，且能够捕获时序特征间的相关性，因此，RNN及其各种变体网络如长短期记忆网络(Long Short-TermMemory,LSTM)、门控循环单元(Gated Recurrent Unit,GRU)被广泛应用于HAR模型构建中。
目前，人体行为识别领域仍然存在诸多挑战，首先，在特征提取方面，现有模型未充分利用特征之间的相关性，将低级特征重塑为有效的高级表示的能力有限。其次，在信息获取方面，现有的框架不能自适应地捕获人体行为运动模式和速度变化中包含的复杂动态信息。最后，就分类而言，大多数现有的识别框架难以区分易混淆的行为，而且通常仅能对短时间的简单行为分类识别，而难以识别由多个简单行为组成的长时复杂行为。
因此，如何更好的利用人体行为数据中包含的多维时空特征，提高易混淆行为的识别准确率，并实现复杂人体行为的有效识别，提升现有模型的识别性能，是行为识别领域进一步研究中的重大挑战。
发明内容
本发明的目的是提供一种基于自适应特征提取的多复杂度行为识别系统及方法，弥补了基于视觉的行为识别成本高、易受干扰、隐私性差不足，在自适应性、可靠性和实用性方面具有明显的优势。
为实现上述目的，本发明提供了一种基于自适应特征提取的多复杂度行为识别系统，包括人体行为数据采集模块、人体行为数据传输模块、人体行为数据存储模块、人体行为数据预处理模块，MFAEF简单人体行为识别网络模块、LSGRA复杂行为识别网络模块和人体行为信息应用模块；
所述MFAEF简单行为识别网络模块包括依次连接的特征预提取单元、并行多维时空特征提取及复用单元和自适应多维时空特征提取单元、特征融合单元和简单行为判别输出单元；
所述LSGRA复杂行为识别网络模块包括依次连接的单窗口简单行为特征获取单元、循环多窗口注意力单元和复杂行为判别输出单元。
优选的，所述人体行为数据采集模块包括若干不同类型的运动数据感知单元和生理数据感知单元，所述运动数据感知单元包括三轴加速度传感器、三轴角速度传感器和三轴磁力计，所述生理数据感知单元包括心率传感器、血压传感器和皮肤电传感器；
所述人体行为数据传输模块包括Wi-Fi、蓝牙、ZigBee、4G、5G、远距离无线电信息传输方式；
所述人体行为数据预处理模块包括依次连接的数据去噪单元、多模态数据合并单元、缺失值处理单元、数据归一化单元和数据滑动窗口分割单元。
优选的，所述数据合并单元将不同传感器采集的运动数据和生理数据以纵向时间戳对齐，横向排列拼接的方式进行合并；
所述缺失值处理单元针对缺失信息采用均值插补法进行补全，以缺失数据所在列的平均值作为缺失值；
所述归一化单元对有不同量纲和取值范围的数据进行Z-Score归一化处理，将其转换到同一取值范围；
所述数据滑动窗口分割单元将传感器采集的连续时间序列分割为多个数据片段。
优选的，所述特征预提取单元采用单个一维卷积模块对行为特征进行初步提取；经过特征预提取后的数据被同时输入两个依次连接的多维时空特征提取及复用单元和一个自适应多维时空特征提取单元；所述多维时空特征提取及复用单元，采用高度模块化的聚合变换和双路径架构对人体行为数据中包含的不同特征空间下的多维特征进行提取；所述聚合变换采用“拆分-转换-聚合”结构，由若干具有相同结构的卷积块并行构成；所述卷积块由两个一维卷积层组成，两个所述一维卷积层采用通道级联的方式进行跨层连接。
优选的，所述自适应多维时空特征提取单元采用时间自适应模块和双向门控循环单元模块对人体行为中包含的复杂动态信息进行捕获，同时引入残差跨层连接保留特征信息；
所述时间自适应模块包含由局部分支和全局分支构成的自适应时间核，局部分支提取局部信息，全局分支提取与位置无关的全局信息。
优选的，所述特征融合单元采用全局平均池化，对数据的每一个通道特征进行平均；
所述简单行为判别输出单元包括依次连接的全连接层、Softmax分类器，经过多维特征融合后，数据输出到全连接层，并经过Softmax分类器进行分类，输出最终的简单行为类型；
所述单窗口简单行为特征获取单元将经简单行为识别模块提取并融合的行为特征划分为多个特征窗口，按时间顺序依次输入循环长时序多头注意力单元；所述循环长时序多头注意力单元采用M-reluGRU和多头自注意力机制对复杂行为中的长时序特征进行有效提取；M-reluGRU移除GRU中的重置门，将GRU简化为单门结构，采用ReLU函数进行状态更新。
一种基于自适应特征提取的多复杂度行为识别系统及方法，包括以下步骤：
S1：人体行为数据采集，使用多模传感器采集用户的运动数据和生理数据；
S2：人体行为数据传输，将采集的行为信息传输至本地服务器和云服务器；
S3：人体行为数据预处理，对行为信息依次进行人体行为数据去噪、多模态人体行为数据合并、人体行为数据缺失值处理、人体行为数据归一化和人体行为数据滑动窗口分割；
S4：构建MFAEF简单行为识别网络与简单人体行为分类识别，将完成预处理的行为数据分批次输入到MFAEF简单行为识别网络当中，经过训练得到MFAEF简单行为识别网络，并进行简单行为识别输出；
S5：构建LSGRA复杂行为识别网络与复杂人体行为分类识别，将步骤S4中特征融合单元输出的融合特征按时序窗口输入到LSGRA复杂行为识别网络当中，经过训练得到LSGRA复杂行为识别网络，并进行复杂行为识别输出；
S6：人体行为信息显示及应用，通过行为信息显示模块，将行为识别结果进行显示、统计和分析。
优选的，在步骤S3中，采用Stein无偏似然估计的软阈值小波去噪方法对传感器采集的数据进行去噪处理；f(t)＝s(t)+e(t),t＝1,2,…,N，s(t)为原始信号，f(t)为含噪信号，e(t)为高斯白噪声，e(t)～N(0,σ2)，σ为噪声强度，去噪过程即从信号f(t)中将噪声e(t)除去，得到原始信号s(t)的最佳逼近；
进行离散采样得到N'点离散信号f(x),x＝0,1,2,…,N'-1，小波变换系数如公式(1)所示：
其中，Wf(j,k)为小波系数，ψ(2-jx-k)为尺度函数，j为尺度参数，k为尺度函数平移的单位数，通过双尺度方程式(2)和式(3)，得到式(1)递归实现方法：
Sf(j+1,k)＝Sf(j,k)*h(j,k) (2)
Wf(j+1,k)＝Sf(j,k)*g(j,k) (3)
其中，符号*代表卷积，h和g分别代表低通和高通滤波器，Sf(0,k)代表原始信号f(k)，Sf(j,k)代表j尺度上的逼近系数，小波变换重构公式如公式(4)所示：
Sf(j-1,k)＝Sf(j,k)*h(j,k)+Wf(j,k)*g(j,k) (4)
采用基于SURE的软阈值估计方法确定阈值，取得给定阈值的似然估计，如式(5)所示：
其中，t表示选定的初始阈值，Wj,k表示来自子带j的小波系数，NW表示各子带小波系数的个数和；对似然函数最小化，得到所需要的阈值，如式(6)所示：
T＝argmin(SURE(t,Wj)) (6)
其中，T表述得到的阈值参数；
对行为数据的小波变换系数采用软阈值函数进行处理，将数据的绝对值和阈值进行比较，小于阈值的点置为零，不小于阈值的点向零收缩，变为该点值与阈值之差，软阈值函数如公式(7)所示：
根据式(3)进行信号的小波重构，得到去噪后的信号；
多模态人体行为数据合并，将传感器采集的行为数据按照时间戳纵向对齐，并进行横向拼接合并，合并后的数据是二维数组格式；
人体行为数据缺失值处理，采用均值插补法对行为数据进行缺失值处理，以缺失数据所在列的平均值对缺失数据进行填补；
人体行为数据归一化，采用Z-Score归一化方法对人体行为数据进行归一化处理，保证数据处于同一数量级范围；
输入数据样本序列为x＝[x1,x2,...,xi,...,xn]T，经过Z-Score归一化之后的输出序列为y＝[y1,y2,...,yi,...,yn]T，计算方式如公式(8)所示：
其中，μ为输入数据样本序列的均值，σ为输入数据样本序列的标准差；
人体行为数据滑动窗口分割，使用固定长度的窗口将连续的传感器数据分割为固定长度的数据片段，分割时保证每个数据片段至少包含简单行为的一个完整动作，窗口滑动过程中默认采用50％窗口重叠率。
优选的，在步骤S4中，包括以下具体步骤：
S41：人体行为数据输入简单行为识别模型
将经过预处理后的数据变换为适合一维卷积层的形状，将其分批次输入简单行为识别模型，数据形状为Batch_size×Input_channels×Window_length，其中Batch_size是批次大小，Input_channles是数据通道数，Window_length是数据长度；
S42：时空特征提取与特征复用
输入模型的数据经特征预提取单元处理，特征预提取单元包含一个一维卷积模块，由依次连接的一维卷积层、批量归一化层和激活层构成，其中，一维卷积层的卷积核大小为3，步幅大小为1，填充方式为“SAME”，非线性激活函数选择ReLU函数；一维卷积模块计算方式如式(9)所示：
其中，yi表示特征图的第i列，wm表示卷积核的第m列，wb表示偏置项；
特征预提取单元输出的特征数据输入两个依次连接的多维特征提取及复用单元，同时输入并行的自适应特征提取单元；
多维特征提取及复用单元采用聚合变换和双路径架构；聚合变换由若干具有相同拓扑结构的卷积块构成，卷积块由两个堆叠的一维卷积层构成，一维卷积层的卷积核大小为3，步幅大小为1，填充方式为“SAME”，采用了通道级联的连接方式；双路径架构包含残差连接支路和稠密连接支路，多维特征提取及复用单元在对输入数据进行聚合变换等计算的同时，引入直接映射，通过残差连接支路将直接映射的输出和聚合变换的输出进行相加，并通过稠密连接支路将直接映射的输出和聚合变换的输出进行通道级联；聚合变换如式(10)和式(11)所示，残差连接和稠密连接分别如式(12)和式(13)所示
A(Xi)＝[Xi,C1(Xi),C2(Xi),...,Cn(Xi)] (10)
Ci(Xi)＝[Conv1D(Xi),Conv1D(Conv1D(Xi))] (11)
YR＝Xi+A(Xi) (12)
YD＝[Xi,A(Xi)] (13)
其中，Xi表示输入特征数据，A()表示聚合变换计算，Ci()表示卷积块计算，Conv1D()表示一维卷积，YR,YD分别表示残差连接支路输出特征和稠密连接支路输出特征；
自适应特征提取单元由单层Bi-GRU和TAM构成，输入特征数据依次经过Bi-GRU和TAM计算，将Bi-GRU的输出与TAM的输出相加，得到的特征数据进行后续计算；Bi-GRU由两个状态传播方向相反的单向GRU组成，同时执行前向和后向计算来获取两个不同的隐藏层状态，隐藏层的最终输出是两个隐藏状态的连接；TAM构造了自适应时间核，并将其分解为局部分支和全局分支，局部分支主要利用具有非线性因子的两个一维卷积层来充分利用短期信息，生成与位置相关的重要权重；全局分支采用两个堆叠的全连接层生成具有全局感受野的自适应卷积核，以聚合时间特征并捕获长距离依赖性，并添加Softmax层以生成归一化正权重；TAM如式(14)-式(16)所示：
其中，分别表示局部分支计算和全局分支计算，Sigmoid(·),ReLU(·)分别表示Sigmoid激活函数和ReLU激活函数，W1,W2分别表示两个全连接层的权重参数，⊙和分别表示相乘运算和卷积运算，Yo表示TAM的输出特征数据；
S43：时空特征融合
将多维特征提取及复用单元和自适应特征提取单元的输出特征数据相加后输入GAP层，GAP层将每个通道的特征图转换为一个特征点，该特征点是整个特征图的平均值；
S44：输出简单动作识别结果
经过多维时空特征提取和融合后将得到的特征数据输入全连接层，全连接层隐藏单元的个数为数据包含的简单行为类别数；经过全连接层后的数据通过Softmax分类器，计算对应行为的概率，概率最高的行为类型为最终的判断结果。
优选的，在步骤S5中包括以下具体步骤：
S51：融合特征输入复杂行为识别模型
将步骤S43获得的融合特征数据划分为单窗口数据，不同时刻的单窗口数据按照时间顺序输入复杂行为识别模型；
S52：长时复杂动作数据时序特征提取
多个窗口的特征数据按照时间顺序依次输入循环长时序多头注意力单元提取长时序特征，为不同时刻的特征赋予不同权重，循环长时序多头注意力单元采用M-reluGRU和多头自注意力机制；单个窗口的特征数据首先输入M-reluGRU进行长时序特征提取，M-reluGRU计算过程如式(17)-式(19)所示：
zt＝σ(Wxzxt+Whzht-1+bz) (17)
其中，xt表示输入数据，zt表示更新门的输出，ht-1表示上一时刻M-reluGRU的输出，表示候选隐藏状态，ht表示当前时刻M-reluGRU的输出；
M-reluGRU输出的数据输入多头注意力层，为不同时刻输入的单窗口简单行为特征数据赋予不同的权重；若干单窗口特征数据组成的特征矩阵为F＝[f1,f2,f3,...,fi,...,fn]T，其中，fi表示简单行为特征获取单元第i个时刻输出的单窗口特征数据，n表示总窗口个数；将F与对应权重矩阵相乘分别得到查询矩阵Q＝FWQ，键矩阵K＝FWK以及值矩阵V＝FWV，然后重复多次对Q、K、V进行不同的线性映射，计算出不同注意头的输出，最后将多个注意力的输出进行拼接；多头注意力层的计算方式如式(20)-式(22)所示：
Headj＝Attention(QWj Q,KWj K,VWj V) (21)
Multi(Q,K,V)＝Concat(Head1,...,Headj,...,Headh) (22)
其中，表示矩阵Q和矩阵K维度的平方根，Wj Q、Wj K和Wj V分别表示第j次对Q、K、V进行线性映射的权重矩阵，Headj表示多头注意力机制中第j头的计算结果，h表示多头注意力层的总头数，Concat(·)表示将多个头的输出进行拼接；
S53：输出复杂行为识别结果
将提取的长时序特征数据输入复杂行为判别输出单元，经依次连接的全连接层、丢弃层和Softmax分类器处理，计算其对应行为的概率，概率最高的行为类型为最终的判断结果。
因此，本发明采用上述一种基于自适应特征提取的多复杂度行为识别系统及方法，具备以下有益效果：
(1)本发明通过对传感器数据的采集和分析，实现基于传感器的人体行为分类识别，弥补了基于视觉的行为识别成本高、易受干扰、隐私性差等不足。
(2)本发明通过引入聚合变换、双路径架构和TAM有效提升了特征提取的有效性、全面性和对复杂动态的捕获能力，与主流的和最新的模型相比，在自适应性、可靠性和实用性方面具有明显的优势。
(3)本发明提出了的复杂行为识别模型弥补了现有模型在复杂人体行为识别方面的缺失，能够有效解决现有模型仅能实现简单行为识别的问题。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1是本发明一种基于自适应特征提取的多复杂度行为识别系统及方法的连接关系示意图；
图2是本发明一种基于自适应特征提取的多复杂度行为识别系统及方法流程示意图；
图3是本发明多维特征提取及复用单元结构示意图；
图4是本发明自适应特征提取单元结构示意图。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
本发明中使用的“包括”或者“包括”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其它要素的可能。术语“内”、“外”、“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。在本发明中，除非另有明确的规定和限定，术语“附着”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
实施例一
一种基于自适应特征提取的多复杂度行为识别系统及方法，如图1-图4所示，包括依次连接的人体行为数据采集模块、人体行为数据传输模块、人体行为数据存储模块、人体行为数据预处理模块、MFAEF简单人体行为识别网络模块、LSGRA复杂行为识别网络模块和人体行为信息应用模块。
人体行为数据采集模块用于：采集用户的运动数据和生理数据，运动数据包括加速度传感器的X、Y、Z三轴数据，角速度传感器的X、Y、Z三轴数据，磁力计的X、Y、Z三轴数据；生理数据包含心率值、血压值、血氧值、表面肌电信号值；
人体行为数据传输模块，将采集的行为数据传输至本地服务器及云端服务器；
人体行为数据存储模块，通过云端数据库和本地数据库对采集的数据进行存储；
人体行为数据预处理模块，对获取的人体行为数据进行预处理，具体包括以下步骤：依次进行去噪、合并、缺失值处理、归一化和滑动窗口分割。最终得到平滑、不受量纲影响、便于模型处理的数据片段；
MFAEF简单行为识别网络模块，将经过预处理后的人体行为数据输入到MFAEF简单行为识别网络中进行简单行为类型判别，并输出简单行为识别结果；
LSGRA复杂行为识别网络模块，将经简单行为识别模型提取并融合的特征分割为多个时间窗口，并按照时间顺序输入LSGRA复杂行为识别网络进行复杂行为类型判别，并输出复杂行为识别结果；
人体行为信息应用模块，对得到的行为识别结果进行显示和统计，从而应用于人体行为监测等领域。
本发明为基于传感器的多复杂度的行为识别提供了一种可行的方案，针对现有模型特征提取不全面等问题，增强了其特征表示的能力及对复杂信息捕获的自适应性，提高了识别准确率。针对现有模型在长时复杂行为识别方面存在的缺陷，提出了针对复杂人体行为的识别方法，增强了现有模型的实际应用性能。
实施例二
如图1所示，人体行为数据采集模块包含若干不同类型的运动数据感知单元和生理数据感知单元。运动数据感知单元主要包括三轴加速度传感器、三轴角速度传感器和三轴磁力计，生理数据感知单元主要包括心率传感器、血压传感器和皮肤电传感器。不同类型传感器的采样频率根据用户需求设置为同一值。
人体行为数据传输模块包括Wi-Fi、蓝牙、ZigBee、4G、5G、远距离无线电多种不同的信息传输方式，根据用户的应用需求选择合适的传输方式。
人体行为数据预处理模块包含依次连接的数据去噪单元、多模态数据合并单元、缺失值处理单元、数据归一化单元和数据滑动窗口分割单元；
数据合并单元将不同传感器采集的运动数据和生理数据以纵向时间戳对齐，横向排列拼接的方式进行合并；缺失值处理单元针对缺失信息采用均值插补法进行补全，以缺失数据所在列的平均值作为缺失值，提高数据的稳定性和可用性，保证识别模型能够正常处理；归一化单元对有不同量纲和取值范围的数据进行Z-Score归一化处理，将其转换到同一取值范围，即将所有传感器行为数据变换到[-1,1]之间；数据滑动窗口分割单元将传感器采集的连续时间序列分割为多个数据片段，分割过程中确保一个完整的简单行为动作数据落在一个滑动窗口内。
MFAEF简单行为识别网络模块包含依次连接的特征预提取单元、并行多维时空特征提取及复用单元和自适应多维时空特征提取单元、特征融合单元和简单行为判别输出单元；
特征预提取单元采用单个一维卷积模块对行为特征进行初步提取；经过特征预提取后的数据被同时输入两个依次连接的多维时空特征提取及复用单元和一个自适应多维时空特征提取单元；多维时空特征提取及复用单元采用高度模块化的聚合变换和双路径架构对人体行为数据中包含的不同特征空间下的多维特征进行提取；聚合变换采用“拆分-转换-聚合”的结构，主要由多个具有相同结构的卷积块并行构成；卷积块由两个一维卷积层组成，这两个一维卷积层采用通道级联的方式进行跨层连接，即第一个卷积层的输出和第二个层卷积层的输入在通道维度上进行连接合并；聚合变换的引入使模型能够在不增加其深度的情况下提取更丰富更全面的行为特征；双路径架构融合残差连接支路和稠密连接支路，残差连接使模型能够更好地提取新特征，稠密连接增强了模型特征复用的能力；自适应多维时空特征提取单元采用时间自适应模块(Temporal Adaptive Module,TAM)和双向门控循环单元(Bidirectional Recurrent Unit,Bi-GRU)模块对人体行为中包含的复杂动态信息进行捕获，同时引入残差跨层连接以保留更丰富的特征信息；时间自适应模块包含由局部分支和全局分支构成的自适应时间核，局部分支对位置信息敏感，用以提取局部信息，而全局分支用以提取与位置无关的全局信息；特征融合单元采用全局平均池化(GlobalAverage Pooling,GAP)，经过特征提取后，对数据的每一个通道特征进行平均，实现多维特征融合；简单行为判别输出单元包括依次连接的全连接层、Softmax分类器，经过多维特征融合后，数据输出到全连接层，并经过Softmax分类器进行分类，输出最终的简单行为类型。
LSGRA复杂行为识别网络模块包含单窗口简单行为特征获取单元、循环多窗口注意力单元和复杂性为判别输出单元；
单窗口简单行为特征获取单元将经简单行为识别模块提取并融合的行为特征划分为多个特征窗口，按时序顺序依次输入循环长时序多头注意力单元；循环长时序多头注意力单元采用M-reluGRU和多头自注意力机制对长时复杂行为中的时序特征进行有效提取；M-reluGRU移除了GRU中的重置门，将GRU简化为单门结构，同时在状态更新中采用ReLU函数，利用批量归一化避免ReLU激活函数的无界性所引起的数值不稳定；M-reluGRU能够以较少的计算成本获取不同时刻各个隐层的输出，提取之前和之后时刻的行为上下文信息，相较于GRU，M-reluGRU更适合时序数据；多头自注意力机制使网络能够在关注来自不同特征子空间的信息，通过在M-reluGRU后加入多头自注意力层为识别复杂行为贡献最大、特征最明显的单窗口特征数据赋予更高的权重；
行为信息应用层包含人体行为可视化单元，人体行为统计单元和人体行为分析单元；简单行为识别模块和复杂行为识别模块的识别结果，可实时传输至各应用平台进行显示和统计，实时对用户的行为进行分析和管理。
实施例三
一种基于自适应特征提取的多复杂度行为识别系统及方法，通过实施例2的一种基于自适应特征提取的多复杂度行为识别系统及方法实现，以智能家居应用场景中的日常行为活动识别为例，日常生活中的人体行为具有很强的逻辑性，符合时间顺序；其中复杂人体行为通常由多个连续的简单行为组成，例如，打扫卫生的行为由行走、擦桌子、站立、扫地等多个简单行为构成，识别系统首先通过对采集的动作的短时特征进行分析，实现简单行为的识别，并在此基础上综合分析行为上下文信息，获取行为的长时序特征，实现复杂行为的识别。如图2所示，包括以下步骤：
步骤S1：人体行为数据采集
使用多模传感器采集用户的运动数据和生理数据，运动数据包括加速度传感器的X、Y、Z三轴数据，角速度传感器的X、Y、Z三轴数据，磁力计的X、Y、Z三轴数据；生理数据包含心率值、血压值、血氧值、表面肌电信号值；
步骤S2：人体行为数据传输
将采集的行为信息以合适的传输方式传输至本地服务器和云服务器；
步骤S3：人体行为数据预处理
对行为信息进行预处理，具体包括以下步骤：依次进行去噪、合并、缺失值处理、归一化和滑动窗口分割；步骤S3，包括以下步骤：
步骤S31：人体行为数据去噪
采用Stein无偏似然估计(Stein’s Unbiased Risk Estimation,SURE)的软阈值小波去噪方法对传感器采集的数据进行去噪处理；具体包括以下步骤：
假设实际测量信号为：f(t)＝s(t)+e(t),t＝1,2,…,N，s(t)为原始信号，f(t)为含噪信号，e(t)为高斯白噪声，e(t)～N(0,σ2)，σ为噪声强度，去噪过程即从信号f(t)中将噪声e(t)除去，得到原始信号s(t)的最佳逼近；
首先，对其进行离散采样得到N'点离散信号f(x),x＝0,1,2,…,N'-1，小波变换系数如公式(1)所示：
其中，Wf(j,k)为小波系数，ψ(2-jx-k)为尺度函数，j为尺度参数，k为尺度函数平移的单位数，通过双尺度方程式(2)和式(3)，得到式(1)递归实现方法：
Sf(j+1,k)＝Sf(j,k)*h(j,k) (2)
Wf(j+1,k)＝Sf(j,k)*g(j,k) (3)
其中，符号*代表卷积，h和g分别代表低通和高通滤波器，Sf(0,k)代表原始信号f(k)，Sf(j,k)代表j尺度上的逼近系数，小波变换重构公式如公式(4)所示：
Sf(j-1,k)＝Sf(j,k)*h(j,k)+Wf(j,k)*g(j,k) (4)
然后，采用基于SURE的软阈值估计方法确定阈值，取得给定阈值的似然估计，如式(5)所示：
其中，t表示选定的初始阈值，Wj,k表示来自子带j的小波系数，NW表示各子带小波系数的个数和；对似然函数最小化，得到所需要的阈值，如式(6)所示：
T＝argmin(SURE(t,Wj)) (6)
其中，T表述得到的阈值参数；
然后，对行为数据的小波变换系数采用软阈值函数进行处理，将数据的绝对值和阈值进行比较，小于阈值的点置为零，大于或等于阈值的点则向零收缩，变为该点值与阈值之差，每层的低频系数不做处理；软阈值函数如公式(7)所示：
最后，根据式(3)进行信号的小波重构，得到去噪后的信号。
步骤S32：多模态人体行为数据合并
将传感器采集的行为数据按照时间戳纵向对齐，并进行横向拼接合并，合并后的数据是二维数组格式。横向拼接的顺序依次为加速度传感器的X、Y、Z轴数据、角速度传感器的X、Y、Z轴数据、磁力计的X、Y、Z轴、心率数据、血压数据、血氧数据和表面肌电数据。
步骤S33：人体行为数据缺失值处理
采用均值插补法对行为数据进行缺失值处理，即以缺失数据所在列的平均值对缺失数据进行填补。
步骤S34：人体行为数据归一化
采用Z-Score归一化方法对人体行为数据进行归一化处理，保证数据处于同一数量级范围，避免不同量纲和取值范围对计算造成的不良影响。具体包括以下步骤：
假设输入数据样本序列为x＝[x1,x2,...,xi,...,xn]T，经过Z-Score归一化之后的输出序列为y＝[y1,y2,...,yi,...,yn]T，计算方式如公式(8)所示：
其中，μ为输入数据样本序列的均值，σ为输入数据样本序列的标准差；
步骤S35：人体行为数据滑动窗口分割
使用固定长度的窗口将连续的传感器数据分割为固定长度的数据片段，分割时应保证每个数据片段至少包含简单行为的一个完整动作。窗口滑动过程中默认采用50％窗口重叠率。
步骤S4：构建MFAEF简单行为识别网络与简单人体行为分类识别
将完成预处理的行为数据分批次输入到MFAEF简单行为识别网络当中，经过训练得到MFAEF简单行为识别网络，并进行简单行为识别输出；具体包括如下步骤：
步骤S41：人体行为数据输入简单行为识别模型
将经过预处理后的数据变换为适合一维卷积层的形状，并将其分批次输入简单行为识别模型，数据形状为Batch_size×Input_channels×Window_length，其中Batch_size是批次大小，Input_channles是数据通道数，Window_length是数据长度；
步骤S42：时空特征提取与特征复用
输入模型的数据首先经特征预提取单元处理，特征预提取单元包含一个一维卷积模块，由依次连接的一维卷积层、批量归一化层和激活层构成；其中，一维卷积层的卷积核大小为3，步幅大小为1，填充方式为“SAME”，非线性激活函数选择ReLU函数；一维卷积模块计算方式如式(9)所示：
其中，yi表示特征图的第i列，wm表示卷积核的第m列，wb表示偏置项；
特征预提取单元输出的特征数据输入两个依次连接的多维特征提取及复用单元，同时输入并行的自适应特征提取单元；
多维特征提取及复用单元采用聚合变换和双路径架构；聚合变换主要由多个具有相同拓扑结构的卷积块构成，卷积块由两个堆叠的一维卷积层构成，一维卷积层的卷积核大小为3，步幅大小为1，填充方式为“SAME”，并采用了通道级联的连接方式；双路径架构包含残差连接支路和稠密连接支路，多维特征提取及复用单元在对输入数据进行聚合变换等计算的同时，引入直接映射，通过残差连接支路将直接映射的输出和聚合变换的输出进行相加，并通过稠密连接支路将直接映射的输出和聚合变换的输出进行通道级联；聚合变换如式(10)和式(11)所示，残差连接和稠密连接分别如式(12)和式(13)所示
A(Xi)＝[Xi,C1(Xi),C2(Xi),...,Cn(Xi)] (10)
Ci(Xi)＝[Conv1D(Xi),Conv1D(Conv1D(Xi))] (11)
YR＝Xi+A(Xi) (12)
YD＝[Xi,A(Xi)] (13)
其中，Xi表示输入特征数据，A()表示聚合变换计算，Ci()表示卷积块计算，Conv1D()表示一维卷积，YR,YD分别表示残差连接支路输出特征和稠密连接支路输出特征；
自适应特征提取单元由单层Bi-GRU和TAM构成，首先，输入特征数据依次经过Bi-GRU和TAM计算，然后将Bi-GRU的输出与TAM的输出相加，得到的特征数据进行后续计算；Bi-GRU由两个状态传播方向相反的单向GRU组成，通过同时执行前向和后向计算来获取两个不同的隐藏层状态，隐藏层的最终输出是两个隐藏状态的连接；TAM构造了自适应时间核，并将其分解为局部分支和全局分支，以提高时间信息获取和聚合的灵活性；局部分支主要利用具有非线性因子的两个一维卷积层来充分利用短期信息，并生成与位置相关的重要权重；全局分支采用两个堆叠的全连接层生成具有全局感受野的自适应卷积核，以聚合时间特征并捕获长距离依赖性，并添加Softmax层以生成归一化正权重；TAM如式(14)-式(16)所示：
其中，分别表示局部分支计算和全局分支计算，Sigmoid(·),ReLU(·)分别表示Sigmoid激活函数和ReLU激活函数，W1,W2分别表示两个全连接层的权重参数，⊙和分别表示相乘运算和卷积运算，Yo表示TAM的输出特征数据；
步骤S43：时空特征融合
将多维特征提取及复用单元和自适应特征提取单元的输出特征数据相加后输入GAP层，GAP层将每个通道的特征图转换为一个特征点，该特征点是整个特征图的平均值；
步骤S44：输出简单动作识别结果
经过多维时空特征提取和融合后将得到的特征数据输入全连接层，全连接层隐藏单元的个数为为数据包含的简单行为类别数；经过全连接层后的数据通过Softmax分类器，计算其对应行为的概率，概率最高的行为类型即为最终的判断结果；
步骤S5：构建LSGRA复杂行为识别网络与复杂人体行为分类识别；将步骤S4中特征融合单元输出的融合特征按时序窗口输入到LSGRA复杂行为识别网络当中，经过训练得到LSGRA复杂行为识别网络，并进行复杂行为识别输出；具体包括以下步骤：
步骤S51：融合特征输入复杂行为识别模型
将步骤S43获得的融合特征数据划分为单窗口数据，不同时刻的单窗口数据按照时间顺序输入复杂行为识别模型；
步骤S52：长时复杂动作数据时序特征提取
多个窗口的特征数据按照时间顺序依次输入循环长时序多头注意力单元，提取长时特征，并为不同时刻的特征赋予不同权重；循环长时序多头注意力单元采用M-reluGRU和多头自注意力机制；单个窗口的特征数据首先输入M-reluGRU进行长时序特征提取，M-reluGRU计算过程如式(17)-式(19)所示：
zt＝σ(Wxzxt+Whzht-1+bz) (17)
其中，xt表示输入数据，zt表示更新门的输出，ht-1表示上一时刻M-reluGRU的输出，表示候选隐藏状态，ht表示当前时刻M-reluGRU的输出；
从M-reluGRU输出的数据输入多头注意力层，为不同时刻输入的单窗口简单行为特征数据赋予不同的权重；设多个单窗口特征数据组成的特征矩阵为F＝[f1,f2,f3,...,fi,...,fn]T，其中，fi表示简单行为特征获取单元第i个时刻输出的单窗口特征数据，n表示总窗口个数；将F与对应权重矩阵相乘分别得到查询矩阵Q＝FWQ，键矩阵K＝FWK以及值矩阵V＝FWV，然后重复多次对Q、K、V进行不同的线性映射，计算出不同注意头的输出，最后将多个注意力的输出进行拼接；多头注意力层的计算方式如式(20)-式(22)所示：
Headj＝Attention(QWj Q,KWj K,VWj V) (21)
Multi(Q,K,V)＝Concat(Head1,...,Headj,...,Headh) (22)
其中，表示矩阵Q和矩阵K维度的平方根，Wj Q、Wj K和Wj V分别表示第j次对Q、K、V进行线性映射的权重矩阵，Headj表示多头注意力机制中第j头的计算结果，h表示多头注意力层的总头数，Concat(·)表示将多个头的输出进行拼接；
步骤S53：输出复杂行为识别结果
将提取的长时序特征数据输入复杂行为判别输出单元，经依次连接的全连接层、丢弃层和Softmax分类器处理，计算其对应行为的概率，概率最高的行为类型即为最终的判断结果。
步骤S6：人体行为信息显示及应用
通过行为信息显示模块，将行为识别结果进行显示、统计和分析。
因此，本发明采用上述一种基于自适应特征提取的多复杂度行为识别系统及方法，弥补了基于视觉的行为识别成本高、易受干扰、隐私性差不足，在自适应性、可靠性和实用性方面具有明显的优势。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (10)
1.一种基于自适应特征提取的多复杂度行为识别系统，其特征在于：包括人体行为数据采集模块、人体行为数据传输模块、人体行为数据存储模块、人体行为数据预处理模块、MFAEF简单人体行为识别网络模块、LSGRA复杂行为识别网络模块和人体行为信息应用模块；
所述MFAEF简单行为识别网络模块包括依次连接的特征预提取单元、并行多维时空特征提取及复用单元和自适应多维时空特征提取单元、特征融合单元和简单行为判别输出单元；
所述LSGRA复杂行为识别网络模块包括依次连接的单窗口简单行为特征获取单元、循环多窗口注意力单元和复杂行为判别输出单元。
2.根据权利要求1所述的一种基于自适应特征提取的多复杂度行为识别系统，其特征在于：所述人体行为数据采集模块包括若干不同类型的运动数据感知单元和生理数据感知单元，所述运动数据感知单元包括三轴加速度传感器、三轴角速度传感器和三轴磁力计，所述生理数据感知单元包括心率传感器、血压传感器和皮肤电传感器；
所述人体行为数据传输模块包括Wi-Fi、蓝牙、ZigBee、4G、5G、远距离无线电信息传输方式；
所述人体行为数据预处理模块包括依次连接的数据去噪单元、多模态数据合并单元、缺失值处理单元、数据归一化单元和数据滑动窗口分割单元。
3.根据权利要求2所述的一种基于自适应特征提取的多复杂度行为识别系统，其特征在于：所述数据合并单元将不同传感器采集的运动数据和生理数据以纵向时间戳对齐，横向排列拼接的方式进行合并；
所述缺失值处理单元针对缺失信息采用均值插补法进行补全，以缺失数据所在列的平均值作为缺失值；
所述归一化单元对有不同量纲和取值范围的数据进行Z-Score归一化处理，将其转换到同一取值范围；
所述数据滑动窗口分割单元将传感器采集的连续时间序列分割为多个数据片段。
4.根据权利要求3所述的一种基于自适应特征提取的多复杂度行为识别系统，其特征在于：所述特征预提取单元采用单个一维卷积模块对行为特征进行初步提取；经过特征预提取后的数据被同时输入两个依次连接的多维时空特征提取及复用单元和一个自适应多维时空特征提取单元；所述多维时空特征提取及复用单元，采用高度模块化的聚合变换和双路径架构对人体行为数据中包含的不同特征空间下的多维特征进行提取；所述聚合变换采用“拆分-转换-聚合”结构，由若干具有相同结构的卷积块并行构成；所述卷积块由两个一维卷积层组成，两个所述一维卷积层采用通道级联的方式进行跨层连接。
5.根据权利要求4所述的一种基于自适应特征提取的多复杂度行为识别系统，其特征在于：所述自适应多维时空特征提取单元采用时间自适应模块和双向门控循环单元模块对人体行为中包含的复杂动态信息进行捕获，同时引入残差跨层连接保留特征信息；
所述时间自适应模块包含由局部分支和全局分支构成的自适应时间核，局部分支提取局部信息，全局分支提取与位置无关的全局信息。
6.根据权利要求5所述的一种基于自适应特征提取的多复杂度行为识别系统，其特征在于：所述特征融合单元采用全局平均池化，对数据的每一个通道特征进行平均；
所述简单行为判别输出单元包括依次连接的全连接层、Softmax分类器，经过多维特征融合后，数据输出到全连接层，并经过Softmax分类器进行分类，输出最终的简单行为类型；
所述单窗口简单行为特征获取单元将经简单行为识别模块提取并融合的行为特征划分为多个特征窗口，按时间顺序依次输入循环长时序多头注意力单元；所述循环长时序多头注意力单元采用M-reluGRU和多头自注意力机制对复杂行为中的长时序特征进行有效提取；M-reluGRU移除GRU中的重置门，将GRU简化为单门结构，采用ReLU函数进行状态更新。
7.一种基于自适应特征提取的多复杂度行为识别系统的方法，其特征在于：包括以下步骤：
S1：人体行为数据采集，使用多模传感器采集用户的运动数据和生理数据；
S2：人体行为数据传输，将采集的行为信息传输至本地服务器和云服务器；
S3：人体行为数据预处理，对行为信息依次进行人体行为数据去噪、多模态人体行为数据合并、人体行为数据缺失值处理、人体行为数据归一化和人体行为数据滑动窗口分割；
S4：构建MFAEF简单行为识别网络与简单人体行为分类识别，将完成预处理的行为数据分批次输入到MFAEF简单行为识别网络当中，经过训练得到MFAEF简单行为识别网络，并进行简单行为识别输出；
S5：构建LSGRA复杂行为识别网络与复杂人体行为分类识别，将步骤S4中特征融合单元输出的融合特征按时序窗口输入到LSGRA复杂行为识别网络当中，经过训练得到LSGRA复杂行为识别网络，并进行复杂行为识别输出；
S6：人体行为信息显示及应用，通过行为信息显示模块，将行为识别结果进行显示、统计和分析。
8.根据权利要求7所述的一种基于自适应特征提取的多复杂度行为识别系统的方法，其特征在于，在步骤S3中，采用Stein无偏似然估计的软阈值小波去噪方法对传感器采集的数据进行去噪处理；f(t)＝s(t)+e(t),t＝1,2,…,N，s(t)为原始信号，f(t)为含噪信号，e(t)为高斯白噪声，e(t)～N(0,σ2)，σ为噪声强度，去噪过程即从信号f(t)中将噪声e(t)除去，得到原始信号s(t)的最佳逼近；
进行离散采样得到N'点离散信号f(x),x＝0,1,2,…,N'-1，小波变换系数如公式(1)所示：
其中，Wf(j,k)为小波系数，ψ(2-jx-k)为尺度函数，j为尺度参数，k为尺度函数平移的单位数，通过双尺度方程式(2)和式(3)，得到式(1)递归实现方法：
Sf(j+1,k)＝Sf(j,k)*h(j,k) (2)
Wf(j+1,k)＝Sf(j,k)*g(j,k) (3)
其中，符号*代表卷积，h和g分别代表低通和高通滤波器，Sf(0,k)代表原始信号f(k)，Sf(j,k)代表j尺度上的逼近系数，小波变换重构公式如公式(4)所示：
Sf(j-1,k)＝Sf(j,k)*h(j,k)+Wf(j,k)*g(j,k) (4)
采用基于SURE的软阈值估计方法确定阈值，取得给定阈值的似然估计，如式(5)所示：
其中，t表示选定的初始阈值，Wj,k表示来自子带j的小波系数，NW表示各子带小波系数的个数和；对似然函数最小化，得到所需要的阈值，如式(6)所示：
T＝argmin(SURE(t,Wj)) (6)
其中，T表述得到的阈值参数；
对行为数据的小波变换系数采用软阈值函数进行处理，将数据的绝对值和阈值进行比较，小于阈值的点置为零，不小于阈值的点向零收缩，变为该点值与阈值之差，软阈值函数如公式(7)所示：
根据式(3)进行信号的小波重构，得到去噪后的信号；
多模态人体行为数据合并，将传感器采集的行为数据按照时间戳纵向对齐，并进行横向拼接合并，合并后的数据是二维数组格式；
人体行为数据缺失值处理，采用均值插补法对行为数据进行缺失值处理，以缺失数据所在列的平均值对缺失数据进行填补；
人体行为数据归一化，采用Z-Score归一化方法对人体行为数据进行归一化处理，保证数据处于同一数量级范围；
输入数据样本序列为x＝[x1,x2,...,xi,...,xn]T，经过Z-Score归一化之后的输出序列为y＝[y1,y2,...,yi,...,yn]T，计算方式如公式(8)所示：
其中，μ为输入数据样本序列的均值，σ为输入数据样本序列的标准差；
人体行为数据滑动窗口分割，使用固定长度的窗口将连续的传感器数据分割为固定长度的数据片段，分割时保证每个数据片段至少包含简单行为的一个完整动作，窗口滑动过程中默认采用50％窗口重叠率。
9.根据权利要求8所述的一种基于自适应特征提取的多复杂度行为识别系统的方法，其特征在于，在步骤S4中，包括以下具体步骤：
S41：人体行为数据输入简单行为识别模型
将经过预处理后的数据变换为适合一维卷积层的形状，将其分批次输入简单行为识别模型，数据形状为Batch_size×Input_channels×Window_length，其中Batch_size是批次大小，Input_channles是数据通道数，Window_length是数据长度；
S42：时空特征提取与特征复用
输入模型的数据经特征预提取单元处理，特征预提取单元包含一个一维卷积模块，由依次连接的一维卷积层、批量归一化层和激活层构成，其中，一维卷积层的卷积核大小为3，步幅大小为1，填充方式为“SAME”，非线性激活函数选择ReLU函数；一维卷积模块计算方式如式(9)所示：
其中，yi表示特征图的第i列，wm表示卷积核的第m列，wb表示偏置项；
特征预提取单元输出的特征数据输入两个依次连接的多维特征提取及复用单元，同时输入并行的自适应特征提取单元；
多维特征提取及复用单元采用聚合变换和双路径架构；聚合变换由若干具有相同拓扑结构的卷积块构成，卷积块由两个堆叠的一维卷积层构成，一维卷积层的卷积核大小为3，步幅大小为1，填充方式为“SAME”，采用了通道级联的连接方式；双路径架构包含残差连接支路和稠密连接支路，多维特征提取及复用单元在对输入数据进行聚合变换等计算的同时，引入直接映射，通过残差连接支路将直接映射的输出和聚合变换的输出进行相加，并通过稠密连接支路将直接映射的输出和聚合变换的输出进行通道级联；聚合变换如式(10)和式(11)所示，残差连接和稠密连接分别如式(12)和式(13)所示
A(Xi)＝[Xi,C1(Xi),C2(Xi),...,Cn(Xi)] (10)
Ci(Xi)＝[Conv1D(Xi),Conv1D(Conv1D(Xi))] (11)
YR＝Xi+A(Xi) (12)
YD＝[Xi,A(Xi)] (13)
其中，Xi表示输入特征数据，A(·)表示聚合变换计算，Ci(·)表示卷积块计算，Conv1D(·)表示一维卷积，YR,YD分别表示残差连接支路输出特征和稠密连接支路输出特征；
自适应特征提取单元由单层Bi-GRU和TAM构成，输入特征数据依次经过Bi-GRU和TAM计算，将Bi-GRU的输出与TAM的输出相加，得到的特征数据进行后续计算；Bi-GRU由两个状态传播方向相反的单向GRU组成，同时执行前向和后向计算来获取两个不同的隐藏层状态，隐藏层的最终输出是两个隐藏状态的连接；TAM构造了自适应时间核，并将其分解为局部分支和全局分支，局部分支主要利用具有非线性因子的两个一维卷积层来充分利用短期信息，生成与位置相关的重要权重；全局分支采用两个堆叠的全连接层生成具有全局感受野的自适应卷积核，以聚合时间特征并捕获长距离依赖性，并添加Softmax层以生成归一化正权重；TAM如式(14)-式(16)所示：
其中，分别表示局部分支计算和全局分支计算，Sigmoid(·),ReLU(·)分别表示Sigmoid激活函数和ReLU激活函数，W1,W2分别表示两个全连接层的权重参数，⊙和/>分别表示相乘运算和卷积运算，Yo表示TAM的输出特征数据；
S43：时空特征融合
将多维特征提取及复用单元和自适应特征提取单元的输出特征数据相加后输入GAP层，GAP层将每个通道的特征图转换为一个特征点，该特征点是整个特征图的平均值；
S44：输出简单动作识别结果
经过多维时空特征提取和融合后将得到的特征数据输入全连接层，全连接层隐藏单元的个数为数据包含的简单行为类别数；经过全连接层后的数据通过Softmax分类器，计算对应行为的概率，概率最高的行为类型为最终的判断结果。
10.根据权利要求9所述的一种基于自适应特征提取的多复杂度行为识别系统的方法，其特征在于，在步骤S5中包括以下具体步骤：
S51：融合特征输入复杂行为识别模型
将步骤S43获得的融合特征数据划分为单窗口数据，不同时刻的单窗口数据按照时间顺序输入复杂行为识别模型；
S52：长时复杂动作数据时序特征提取
多个窗口的特征数据按照时间顺序依次输入循环长时序多头注意力单元提取长时序特征，为不同时刻的特征赋予不同权重，循环长时序多头注意力单元采用M-reluGRU和多头自注意力机制；单个窗口的特征数据首先输入M-reluGRU进行长时序特征提取，M-reluGRU计算过程如式(17)-式(19)所示：
zt＝σ(Wxzxt+Whzht-1+bz) (17)
其中，xt表示输入数据，zt表示更新门的输出，ht-1表示上一时刻M-reluGRU的输出，表示候选隐藏状态，ht表示当前时刻M-reluGRU的输出；
M-reluGRU输出的数据输入多头注意力层，为不同时刻输入的单窗口简单行为特征数据赋予不同的权重；若干单窗口特征数据组成的特征矩阵为F＝[f1,f2,f3,...,fi,...,fn]T，其中，fi表示简单行为特征获取单元第i个时刻输出的单窗口特征数据，n表示总窗口个数；将F与对应权重矩阵相乘分别得到查询矩阵Q＝FWQ，键矩阵K＝FWK以及值矩阵V＝FWV，然后重复多次对Q、K、V进行不同的线性映射，计算出不同注意头的输出，最后将多个注意力的输出进行拼接；多头注意力层的计算方式如式(20)-式(22)所示：
Headj＝Attention(QWj Q,KWj K,VWj V) (21)
Multi(Q,K,V)＝Concat(Head1,...,Headj,...,Headh) (22)
其中，表示矩阵Q和矩阵K维度的平方根，Wj Q、Wj K和Wj V分别表示第j次对Q、K、V进行线性映射的权重矩阵，Headj表示多头注意力机制中第j头的计算结果，h表示多头注意力层的总头数，Concat(·)表示将多个头的输出进行拼接；
S53：输出复杂行为识别结果
将提取的长时序特征数据输入复杂行为判别输出单元，经依次连接的全连接层、丢弃层和Softmax分类器处理，计算其对应行为的概率，概率最高的行为类型为最终的判断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310929166.0A CN116956222A (zh) | 2023-07-26 | 2023-07-26 | 一种基于自适应特征提取的多复杂度行为识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310929166.0A CN116956222A (zh) | 2023-07-26 | 2023-07-26 | 一种基于自适应特征提取的多复杂度行为识别系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116956222A true CN116956222A (zh) | 2023-10-27 |
Family
ID=88460039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310929166.0A Pending CN116956222A (zh) | 2023-07-26 | 2023-07-26 | 一种基于自适应特征提取的多复杂度行为识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116956222A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117574133A (zh) * | 2024-01-11 | 2024-02-20 | 湖南工商大学 | 一种不安全生产行为识别方法及相关设备 |
| CN117592003A (zh) * | 2024-01-18 | 2024-02-23 | 之江实验室 | 基于多模态双线性池化的运动模式识别方法、装置及介质 |
-
2023
- 2023-07-26 CN CN202310929166.0A patent/CN116956222A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117574133A (zh) * | 2024-01-11 | 2024-02-20 | 湖南工商大学 | 一种不安全生产行为识别方法及相关设备 |
| CN117574133B (zh) * | 2024-01-11 | 2024-04-02 | 湖南工商大学 | 一种不安全生产行为识别方法及相关设备 |
| CN117592003A (zh) * | 2024-01-18 | 2024-02-23 | 之江实验室 | 基于多模态双线性池化的运动模式识别方法、装置及介质 |
| CN117592003B (zh) * | 2024-01-18 | 2024-05-24 | 之江实验室 | 基于多模态双线性池化的运动模式识别方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027487B (zh) | 基于多卷积核残差网络的行为识别系统、方法、介质及设备 | |
| CN116956222A (zh) | 一种基于自适应特征提取的多复杂度行为识别系统及方法 | |
| CN110852382B (zh) | 一种基于时空多特征提取的行为识别系统及其工作方法 | |
| CN108288015B (zh) | 基于时间尺度不变性的视频中人体动作识别方法及系统 | |
| CN106909938B (zh) | 基于深度学习网络的视角无关性行为识别方法 | |
| CN111291809A (zh) | 一种处理装置、方法及存储介质 | |
| CN111476161A (zh) | 一种融合图像和生理信号双通道的体感动态手势识别方法 | |
| Yu et al. | Human action recognition using deep learning methods | |
| CN112396001B (zh) | 基于人体姿态估计和tpa注意力机制的跳绳个数统计方法 | |
| CN110991340A (zh) | 一种基于图像压缩的人体动作分析方法 | |
| CN116343284A (zh) | 基于注意力机制的多特征户外环境情绪识别方法 | |
| CN117407772B (zh) | 监督对比学习网络模型训练多元时序数据分类方法及系统 | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN116522265A (zh) | 工业互联网时序数据异常检测方法及装置 | |
| Siraj et al. | A hybrid deep learning framework using CNN and GRU-based RNN for recognition of pairwise similar activities | |
| CN116246338B (zh) | 一种基于图卷积和Transformer复合神经网络的行为识别方法 | |
| CN114863572B (zh) | 一种多通道异构传感器的肌电手势识别方法 | |
| Ma | Summary of Research on Application of Deep Learning in Image Recognition | |
| CN115439930A (zh) | 一种基于时空维度筛选的多特征融合步态识别方法 | |
| CN117789298A (zh) | 一种轻量级基于多注意力的特征提取与融合行为识别系统及方法 | |
| CN115063612A (zh) | 基于面审视频的欺诈预警方法、装置、设备及存储介质 | |
| CN113887365A (zh) | 一种基于多模态数据融合的特殊人员情感识别方法及系统 | |
| CN114140524A (zh) | 一种多尺度特征融合的闭环检测系统及方法 | |
| CN114743257A (zh) | 图像目标行为的检测识别方法 | |
| CN112949544A (zh) | 一种基于3d卷积网络的动作时序检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |