CN114783063A - 一种融合拓展决策和注意力网络的行为动态识别方法 - Google Patents
一种融合拓展决策和注意力网络的行为动态识别方法 Download PDFInfo
- Publication number
- CN114783063A CN114783063A CN202210494320.1A CN202210494320A CN114783063A CN 114783063 A CN114783063 A CN 114783063A CN 202210494320 A CN202210494320 A CN 202210494320A CN 114783063 A CN114783063 A CN 114783063A
- Authority
- CN
- China
- Prior art keywords
- data
- task
- time
- network
- energy consumption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000006399 behavior Effects 0.000 claims abstract description 112
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 49
- 230000004927 fusion Effects 0.000 claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 36
- 238000003066 decision tree Methods 0.000 claims abstract description 8
- 238000012216 screening Methods 0.000 claims abstract description 8
- 238000005265 energy consumption Methods 0.000 claims description 64
- 230000005540 biological transmission Effects 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 36
- 230000009471 action Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 22
- 230000008447 perception Effects 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 18
- 238000000354 decomposition reaction Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 239000012634 fragment Substances 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000003542 behavioural effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000037081 physical activity Effects 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003238 somatosensory effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种融合拓展决策和注意力网络的行为动态识别方法。远端服务器接收到本地设备传输的数据,利用MultiAtt深度融合注意网络进行人体行为识别;本地设备将上述预处理后的数据进行动态任务调度;利用MultiAtt深度融合注意网络反馈的贡献分值向量为XGBoost拓展决策网络的输入通道数据进行阈值筛选,并对本地设备数据使用XGBoost拓展决策树算法进行行为识别。本方法在服务器端执行MultiAtt深度融合注意网络,与本地设备端的XGBoost拓展决策网络通过人体识别任务动态调度算法进行结合,以实现在不同场景下自适应动态感知人体行为。
Description
技术领域
本发明属于计算机科学和人体行为识别技术领域,具体涉及一种融合拓展决策和注意力网络的行为动态识别方法。
背景技术
随着智能手机、手表、手环等可穿戴计算的智能感知设备逐渐成为人们生活中的必需品,用户日常的行为数据日益变成一种宝贵的资源。将智能感知设备采集到的行为数据进行恰当地利用可以极大地促进智能生活的发展。对于个人使用者来说,可穿戴的智能感知设备可以使用户清晰地分析并总结日常所完成的事情,从而提升工作效率;对于企业、科研单位而言,这些机构可以利用大量的行为数据为他们所开展的项目提供帮助,辅助进行工作方向的决策与工作内容的实施;对于政府来说,通过对于大量有效数据的分析可以得到一些宏观层面的调研报告,以便于政策的指定与推广。
现有的可穿戴设备通常内置丰富的智能感知模块,如加速度、角加速度、重力加速度、陀螺仪、温度、心跳、脉搏等传感器,此类传感器具有便携性高、能耗低、数据采集能力稳定的特点。因此,利用此类便携的智能感知装置进行用户行为测量与数据采集,可以减少对使用者的干扰,适合于长期使用与检测。此外,针对实际场景的应用,智能感知设备还可以进行自适应调整,将数据资料上载至服务端平台进行分析,也可以通过设备内置硬件进行移动端本地处理,综合保证人体行为识别的性能与效果。通过对于上述传感器数据的智能感知,可以有效保障孩子、老人、工人等用户在各种场景下中的安全,也可以便于各种运动分析领域中对用户的行为数据采集和分析。综上所示,基于在智能感知设备上使用行为动态识别模型进行人体行为识别的方法有着广泛的应用场景。
尽管目前已对人体识别领域进行了很多的研究和应用,但如何进一步提升对用户相似行为识别的精确率,以及在现实场景各种因素限制下保持较好的识别与交互反馈性能,仍然需要进一步地探索与研究。受限于移动设备的计算能力、能源消耗与网络情况等因素,为了可以较为实时地对人体行为数据进行识别和交互反馈,能够针对不同应用场景进行自适应调整,兼顾性能以及交互反馈效果的人体行为识别模型成为了一个研究热点。
发明内容
本发明的第一个目的在于为了克服现有的人体行为识别方法存在的缺陷,提供一种融合拓展决策和注意力网络的行为动态识别方法MultiAtt-XGB(Multi-channel humansignal deep fusion attention network-XGBoost),由MultiAtt多通道深度融合注意网络方法、人体感知识别任务动态调度方法以及XGBoost拓展决策网络方法组成,实时地对人体行为数据进行感知识别交互反馈,针对不同应用场景进行自适应调整,设计兼顾性能以及效果的人体行为识别框架。
为了实现上述目的,本发明融合拓展决策和注意力网络的动态感知识别方法MultiAtt-XGB。本方法在服务器端执行MultiAtt深度融合注意网络,与本地设备端的XGBoost拓展决策网络通过人体识别任务动态调度算法进行结合,以实现在不同场景下自适应动态感知人体行为。
针对交互反馈实时性低的问题,本发明提出的MultiAtt深度融合注意网络可以获取通道间依赖关系来综合性分析多通道人体行为数据,同时反馈的贡献分值向量可以为XGBoost的输入通道数据进行阈值筛选,提高后者的计算效率。XGBoost拓展决策网络对比其他同类型模型的分类器在保持较低计算复杂度的同时有着较高分类精确率,也更适合于在本地设备端上对传感器数据进行行为识别与人机交互。
针对不同场景适应性低的问题,本发明提出感知识别任务动态调度算法保障了不同场景下的任务可以根据设备情况动态地调度在服务器端或者本地设备端通过合适地算法模式进行行为识别,综合提升了智能设备移动场景下的人体行为感知、识别和交互能力。
针对行为识别准确率低的问题,本发明提出的行为动态识别模型使用两种精度高、鲁棒性强、效率快的人体行为识别算法MultiAtt和XGBoost,克服现有的人体行为识别中存在的缺陷。同时本发明提出一种动作片段分解方法,以对采集数据进行更准确的动作切分,从而提升后续模型的识别性能。
为了解决现有技术的问题,本发明的技术方案如下:
一种融合拓展决策和注意力网络的行为动态识别方法,其特征在于包括以下步骤:
步骤(1):通过传感器采集数据,删除无用数据和噪声数据进行数据清洗,然后进行数据分解:
步骤(1.1):对采集完毕的传感器数据进行整理和定义;
令P={P1,P2,…PM}为传感器所采集到的数据,M代表片段数;令表示第i个数据片段收集到的传感器数据集,其中代表第Pi个片段上的时间序列,代表第Pi个片段上发生的事件总数,代表第Pi个片段各时间序列对应的传感器数据,
步骤(1.2):对时序信息进行格式转换;
将时序信息转换为时间戳的方式进行格式转换,计算公式如下:
P.tim[i]={P.D,P.D[i].hour×60×60+P.D[i].minute×60+P.D[i].second}
其中i∈(0,Z],Z表示最大数据条数,P.D表示日期时间戳,P.D[i]的各类型后缀对应时、分、秒的数据,P.tim[i]返回转换得到的总时间戳;
步骤(1.3):定义动作集和综合差;
定义动作集S1,是由各个时间片段的人体行为活动序列组成的,其公式如下所示:
定义综合差,将由传感器产生的数据划分为两个部分,包括时序差和均值差;总的差值衡量标准为两者的综合,综合差越小,两个时间段是同一种行为的可能性越大,公式如下:
其中为第i个时间段与第j个时间段之间的综合差;是第i个时间段和第j个时间段之间的时间差,表示第i个时间段与第j个时间段之间各类别变换大于一定阈值数据的均值差加权和,为第i个时间段和第j个时间段传感器出现一定阈值变换的数据的类别总数;
步骤(1.4):进行动作分解;
其中Pi代表第i个时间段,Pj代表第j个时间段;代表通过设定阈值筛选出的出现一定变化的数据项总数;是和之间的时间差,表示与之间各类别变换大于一定阈值数据的均值差加权和;利用公式将一定时间段的人体行为数据进行分析处理,整合出n段行为动作,即S={S1,S2,...,Sn};
步骤(2):对上述预处理后得到的数据判断是否初次输入;若是,则执行步骤3,若否,执行步骤4;
步骤(3):远端服务器接收到本地设备传输的数据,利用MultiAtt深度融合注意网络进行人体行为识别,然后将识别数据发送给分类器进行行为分类;所述MultiAtt深度融合注意网络是在基础的卷积神经网络上加入了多视图卷积编码器和融合注意门得到;
步骤(4):本地设备将上述预处理后的数据通过人体感知识别任务动态调度方法来进行动态任务调度;
步骤(5):利用MultiAtt深度融合注意网络反馈的贡献分值向量为XGBoost拓展决策网络的输入通道数据进行阈值筛选,并对调度到本地设备的数据使用XGBoost拓展决策树算法进行行为识别。
进一步地,步骤(3)所述MultiAtt深度融合注意网络具体如下:
步骤(3.1):通过多视图卷积编码器计算视图参数;
利用两个卷积特征编码器,即通道编码器和全局编码器,分别从特定通道和全局视图中提取抽象特征的方法;
假定输入的人体信号片段由n个通道组成,表示为X={x1,x2,...,xn};给定第i个通道的输入向量xi,通道视图yi通过Encoderj通道编码器得到,如下所示:
yi=Encoderj(xi,βj)
其中βj是Encoderj中的学习参数;
全局视图yk通过全局编码器计算得到,如下所示:
yk=Encoderk(xi,βk)
其中βk是Encoderk中的学习参数;
步骤(3.2):利用特征编码器获得对应特征图;
步骤(3.3):通过融合注意力机制记录通道信息;
融合注意门ri通过全局视图和通道视图的结果计算出通道信息,公式定义为:
步骤(3.4):通过融合注意门得到注意力能量值;
根据融合注意门ri整合全局视图和其自身的通道视图表示的信息,定义为:
其中⊙是元素相乘运算符;
步骤(3.5):使用Softmax计算贡献分值向量与上下文向量;
基于所有的注意力能量值,贡献分值向量scoreg的归一化操作通过Softmax函数实现:
scoreg=Softmax([eg,1,…,eg,i,…,eg,n])
通过上述公式可以看出,如果第i个通道的贡献分值scoreg很大,则该通道的信息与相应的任务标签的相关度高;然后使用加权聚合法,根据综合特征1≤i≤n和贡献分值向量scoreg计算出上下文向量contextg,计算公式如下:
步骤(3.6):进行网络模型训练;
为了以端到端方式训练MultiAtt深度融合注意网络以进行人体行为分类,网络模型将上下文向量contextg和全局视图向量yg结合起来,得出注意力特征yattention,定义为:
其中Wq,εq分别表示所有学习参数;
进一步地,步骤(4)具体是:
步骤(4.1):定义调度方法相关参数;
步骤(4.2):建立时间感知模型;
任务请求到达时的本地执行时间:
其中flocal代表传感器设备的计算频率;
任务在服务器上的执行时间:
其中fserver代表服务器设备的计算频率;
然后,建立预计任务传输时间的传输模型,包括传输节点的信噪比fSNR(di,n);
本地设备可以将计算需求转移到服务器上,以减少本地计算负载,在计算卸载的过程中需要考虑移动环境下的网络传输问题;在本地设备卸载任务的过程中,传输节点的信噪比如下所示:
步骤(4.3):定义任务的传输时间;
在移动网络环境下,本地设备和服务器之间的传输速率定义如下:
Rn=Blog2(1+fSNR(di,n))
其中B代表用户设备和服务器之间的传输带宽;
任务的传输时间为:
步骤(4.4):定义响应时间;
步骤(4.5):建立能耗感知模型;
本地设备的能耗主要包括两部分,一部分是本地执行的能耗,另一部分是任务卸载的能耗,包括上传能耗和下载能耗;在计算设备的能量消耗时,应首先考虑本地运行任务的能量消耗;如果用户没有可用的服务器,或者任务不需要被卸载到服务器上,则允许在本地执行的任务;由本地本身产生的能耗被称为本地能耗,本地能耗的计算公式如下:
步骤(4.6):制定优化目标并完成模型决策;
以最小化能耗与响应时间为优化目标,目标函数表示为:
选择在目标函数最小的设备端进行任务执行,若为本地执行,则跳转至步骤(5);若为远端服务器执行,则返回至步骤(3)。
本发明的第二个目的是提供融合拓展决策和注意力网络的行为动态识别系统,其特征在于包括:
数据采集及数据分解模块,通过传感器采集数据,删除无用数据和噪声数据进行数据清洗,然后进行数据分解;
数据分配模块,对数据采集及数据分解模块预处理后得到的数据判断是否初次输入;若是则输入至远端服务器,若否则输入至动态任务调度模块;
MultiAtt深度融合注意网络,接收远端服务器的数据进行人体行为识别,然后将识别数据发送给分类器进行行为分类;
动态任务调度模块,对数据采集及数据分解模块预处理后得到的数据通过人体感知识别任务动态调度方法进行动态任务调度;
XGBoost拓展决策网络,利用MultiAtt深度融合注意网络反馈的贡献分值向量为XGBoost拓展决策网络的输入通道数据进行阈值筛选,并对调度到本地设备的数据使用XGBoost拓展决策树算法进行行为识别。
本发明的第三个目的是提供一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以实上述述的方法。
本发明的第四个目的是提供一种机器可读存储介质,其特征在于,该机器可读存储介质存储有机器可执行指令,该机器可执行指令在被处理器调用和执行时,机器可执行指令促使处理器实现上述的方法。
与现有技术相比,本发明方法具有以下优点:
1.高适应性:本发明通过人体感知识别任务动态调度方法设计分析移动设备计算能力、能源消耗以及网络情况,保障了不同场景下的任务可以根据设备情况动态地调度在服务器端或者移动设备端通过合适的算法模式进行行为识别,综合提升了智能设备移动场景下的人体行为感知、识别和交互能力。
2.高精确性:MultiAtt深度融合注意网络使用的算法能够区分不同通道中信号与任务相关的重要性,并依靠信息关联度更大的通道来增强特征表示,以减轻在原始特征空间中不相关和冗余原始特征的影响。同时该算法从多通道人体行为中提取关键信息来综合提升人体行为识别效果,避免关键通道被确定为训练模型的输入时其余的通道被一次性剔除导致忽略了不同情况下通道之间与任务相关的详细信息的情况。并且网络设计融合注意门机制提升了网络对于易混淆动作的识别能力,从而综合提升人体行为识别准确性。
3.高有效性:MultiAtt深度融合注意网络反馈的贡献分值向量可以为拓展决策方法XGBoost算法的输入通道数据进行阈值筛选,提高后者的计算效率。人体感知识别任务动态调度算法将会把更适合在移动设备端进行的任务调度给计算量需求较小的拓展决策网络来执行,从而提升模型的有效性。
附图说明
图1为基于MultiAtt-XGB的动态感知识别模型流程图;
图2为MultiAtt深度融合注意网络对多通道人体行为信号进行识别的网络模型;
图3为人体感知识别任务动态调度方法执行流程图;
图4为UCI-HAR数据集中多种方法精确率对比图;
图5为PHAD数据集中多种方法精确率对比图;
图6为不同数据集中XGBoost和各算法准确率对比图;
图7为不同受试者个数算法准确率对比图;
图8为UCI-HAR数据集混淆矩阵图;
图9为PHAD数据集混淆矩阵图;
具体实施方式
下面结合说明书附图,对本发明的实施步骤进行进一步说明,但本发明并不局限于以下实施例。
步骤(1):通过传感器采集数据,删除无用数据和噪声数据进行数据清洗,然后进行数据分解:
步骤(1.1):对采集完毕的传感器数据进行整理和定义;
令P={P1,P2,…PM}为传感器所采集到的数据,M代表片段数。令表示第i个数据片段收集到的传感器数据集,其中代表第Pi个片段上的时间序列,代表第Pi个片段上发生的事件总数,代表第Pi个片段各时间序列对应的传感器数据,
步骤(1.2):对时序信息进行格式转换;
将时序信息转换为时间戳的方式进行格式转换,计算公式如下:
P.tim[i]={P.D,P.D[i].hour×60×60+P.D[i].minute×60+P.D[i].second}
其中i∈(0,Z],Z表示最大数据条数,P.D表示日期时间戳,P.D[i]的各类型后缀对应时、分、秒的数据,P.tim[i]返回转换得到的总时间戳。
步骤(1.3):定义动作集和综合差;
定义动作集S1,是由各个时间片段的人体行为活动序列组成的,其公式如下所示:
定义综合差,将由传感器产生的数据划分为两个部分,包括时序差和均值差。总的差值衡量标准为两者的综合,综合差越小,两个时间段是同一种行为的可能性越大,公式如下:
其中为第i个时间段与第j个时间段之间的综合差。是第i个时间段和第j个时间段之间的时间差,表示第i个时间段与第j个时间段之间各类别变换大于一定阈值数据的均值差加权和,为第i个时间段和第j个时间段传感器出现一定阈值变换的数据的类别总数。
步骤(1.4):进行动作分解;
其中Pi代表第i个时间段,Pj代表第j个时间段。代表通过设定阈值筛选出的出现一定变化的数据项总数。是和之间的时间差,表示与之间各类别变换大于一定阈值数据的均值差加权和。利用公式将一定时间段的人体行为数据进行分析处理,整合出n段行为动作,即S={S1,S2,...,Sn}。
步骤(2):对上述预处理后得到的数据判断是否初次输入。若是,则执行步骤3,若否,执行步骤4。
步骤(3):远端服务器接收到本地设备传输的数据,利用MultiAtt深度融合注意网络进行人体行为识别,然后将识别数据发送给分类器进行行为分类;所述MultiAtt深度融合注意网络是在基础的卷积神经网络上加入了多视图卷积编码器和融合注意门得到;具体如下:
参考图2为MultiAtt深度融合注意网络对多通道人体行为信号进行识别的网络模型,包含以下步骤:
步骤(3.1):通过多视图卷积编码器计算视图参数;
利用两个卷积特征编码器(即通道编码器和全局编码器),分别从特定通道和全局视图中提取抽象特征的方法。
假定输入的人体信号片段由n个通道组成,表示为X={x1,x2,...,xn}。给定第i个通道的输入向量xi,通道视图yi可以通过Encoderj通道编码器得到,如下所示:
yi=Encoderj(xi,βj)
其中βj是Encoderj中的学习参数,同样的也可以通过全局编码器计算出一个全局视图表示yk,如下所示:
yk=Encoderk(xi,βk)
其中βk是Encoderk中的学习参数,一般来说,Encoderj和Encoderk都可以通过为特征提取而设计的不同深度学习方法进行参数化。
步骤(3.2):利用特征编码器获得对应特征图;
其中和分别是和对应的权值和偏置值,n表示所有的通道数量,将所有通过不同内核提取的特征进行扁平化处理,得出了通道视图和全局视图,和的维度取决于多视图卷积编码器的结构配置。多视图卷积编码器能够做到对每个人体行为数据通道的独特特征进行整体性保留,从而提升编码性能。
步骤(3.3):通过融合注意力机制记录融合通道信息;
为了对每个通道人体行为数据的重要性进行动态限定,本发明设计了融合注意力机制,该机制为最终的工作中加入了一个门控功能。具体来说,融合门ri可以通过全局视图和通道视图的结果计算出来,公式定义为:
步骤(3.4):通过融合注意层得到注意力能量值;
本发明根据融合门ri整合全局视图和其自身的通道视图表示的信息,定义为:
其中⊙是元素相乘运算符,融合门ri能够获取每个编码器携带的信息在端对端训练中需要保留或遗忘的比例。如果ri=1,那么意味着只有通道视图信息被传递。如果ri=0,那么意味着只有全局视图信息被传递。本方法使用门控单元得出一个更具代表性的综合特征向量作为注意力能量值分配函数的输入。第i个通道的注意力能量值eg,i可以根据综合特征向量进行进一步分配:
步骤(3.5):使用Softmax计算贡献分值向量与上下文向量;
基于所有的注意力能量值,贡献分值向量scoreg的归一化操作通过Softmax函数实现:
scoreg=Softmax([eg,1,…,eg,i,…,eg,n])
通过分值公式可以看出,如果第i个通道的贡献分值scoreg很大,则该通道的信息与相应的任务标签的相关度高。然后,本发明使用加权聚合法,根据综合特征(1≤i≤n)和贡献分值向量scoreg计算出一个上下文向量contextg,计算公式如下:
通过这种方式,本发明提出的模型能够有效地纳入两个特征视图所携带的多视图信息,从而更好地融合并提取出多通道人体行为信号的代表性特征,提升后续网络模型训练的效果。
步骤(3.6):进行网络模型训练;
为了以端到端方式训练本发明提出的MultiAtt模型以进行人体行为分类,网络模型将上下文向量和全局视图向量结合起来,得出注意力特征yattention,定义为:
其中Ws和εs代表对应的学习参数,然后使用交叉熵表示分类损失。对于给定的M个学习样本本发明设计的MultiAtt网络的代价函数在可学习参数集δ={(Wq,εq)|q=j,k,rj,e,y,s}中的定义为:
通过对MultiAtt网络模型的训练,服务器端能够高效且精准地对本地设备实时上传的传感器信号进行分类识别以及结果反馈。
步骤(4):本地设备将上述预处理后的数据通过人体感知识别任务动态调度方法来进行动态任务调度;
参考图3为人体感知识别任务动态调度方法执行流程图,包含以下步骤:
步骤(4.1):定义调度方法相关参数;
步骤(4.2):制定时间感知模型;
判断人体行为识别任务是在本地移动设备上计算还是传输到指定服务器上计算,首先建立预计任务执行时间的计算模型,该模型获得传感器设备的CPU利用率,然后计算出任务请求到达时的本地执行时间:
其中flocal代表传感设备的计算频率。
任务在服务器上执行所需的计算时间是:
其中fserver代表服务器设备的计算频率。
计算完预计任务执行时间之后,构建计算预计任务传输时间的传输模型。可穿戴设备可以将计算需求转移到服务器上,以减少本地计算负载,在计算卸载的过程中需要考虑移动环境下的网络传输问题。在可穿戴设备卸载任务的过程中,传输节点的信噪比如下所示:
步骤(4.3):定义传输速率;
在移动网络环境下,本地设备和服务器之间的传输速率定义如下:
Rn=Blog2(1+fSNR(di,n))
其中B代表用户设备和服务器之间的传输带宽。任务的传输时间为:
步骤(4.4):定义响应时间;
步骤(4.5):制定能耗感知模型;
本地设备的能耗主要包括两部分,一部分是本地执行的能耗,另一部分是任务卸载的能耗,包括上传能耗和下载能耗。在计算设备的能量消耗时,应首先考虑本地运行任务的能量消耗。如果用户没有可用的服务器,或者任务不需要被卸载到服务器上,则允许在本地执行的任务。由智能感知设备本身产生的能耗被称为本地能耗,本地能耗的计算公式如下:
在任务调度过程中,由数据传输而产生的能量消耗被称为传输能耗,传输能耗可分为任务传输能耗和结果下载能耗,其计算公式如下:
步骤(4.6):制定优化目标并完成模型决策;
本发明以最小化能耗与响应时间为优化目标,目标函数可以表示为:
其中E为设备能耗,λ为权重因子。权重因子λ反映了用户对于能耗与延时相对重要性的偏好,λ越高表明用户对于延时的要求越高,λ越低表明用户对于能耗要求越高,用户可以通过调整λ以提高应用对于不同场景的优化效果。对于延时敏感的应用,其对于延时的偏好要高于能耗,用户可以增加λ提高延时对于优化结果的影响。相应地,对于能耗敏感的应用,用户可以适当降低λ,以达到降低设备能耗的目的。
选择在目标函数最小的设备端进行任务执行,若为本地执行,则跳转至步骤(5);若为远端服务器执行,则返回至步骤(3)。
步骤(5):利用MultiAtt反馈的贡献分值向量为XGBoost的输入通道数据进行阈值筛选,并对调度到本地设备的数据使用XGBoost拓展决策树算法进行行为识别:
XGBoost算法在针对人体行为识别的场景下具有高效的识别能力,其目标函数为:
其中,F(y,f(x))代表损失函数,Ω(fm)是正则项,代表模型的复杂性。与传统网络GBDT相比,XGBoost中增加的正则化项目在避免网络过度拟合的同时简化了模型,第m次迭代的目标函数的计算方法如下:
对上式进行二阶Tailor扩展为:
其中,gi和hi分别为损失函数的一阶梯度和二阶梯度统计,计算公式如下:
对上式去除常数项之后,可以得到:
根据CART理论,fm(x)可以由决策树的结构p(x)和叶子节点的权重w决定,公式如下:
fm(x)=wp(x),w∈RT,p:Rd→{1,2,…T}
其中,p(x)是一个用于将样本映射到叶子节点的映射,代表树的结构。T代表树结构中叶子节点的数量。而正则化项可以被定义为:
其中,λ是一个用来调整惩罚因子的参数,γ代表每片叶子节点的复杂程度。整合上述三个公式,得到:
其中,Ij={i∣p(xi)=j}是叶子节点j对应的样本集,Gj=∑gi,Hj=∑hi。
XGBoost算法执行流程
当p(xi)确定时,网络可以通过训练计算出叶子节点j对应的最佳权重wj以及对应的目标函数值,得到XGB用来对决策树的结构进行评估:
为了得到构建树形结构的最佳参数,本方法采用贪心策略,即通过遍历各个特征数值,选取相应于最大增益的特征值以进行节点的分割。通过节点分割贪心算法,可以得出分割后的收益值Rev,计算公式如下:
为了实现XGBoost在人体行为识别中的最佳性能,需要对网络结构中的参数进行调整。一般来说,使用交叉验证的方式对XGBoost的以下参数进行优化:
子树数量:在训练过程中,子树数量对应迭代次数。子树结构越多,通常XGBoost的模型性能会越好,但是训练时间也会随之提升。
学习率:学习率越低,训练得到模型的稳健性越强并且性能越佳,但是对迭代次数以及训练数据的要求也会越高。
Gamma值:在XGBoost中,Gamma值指定了损失函数的最小下降值,仅在分裂后损失函数值降低时,才会执行节点分裂操作。Gamma值越大,算法会越保守。
L1正则化权重和L2正则化权重:这两个参数可以防止过度拟合。
树的最大深度:树的深度越大,模型复杂性越高。
模型的复杂性:该参数代表叶子节点样本的最小权重和,也是用来防止过度拟合。
通过模型训练出上述参数的较好取值,得到完整的XGBoost拓展决策网络模型,通过节点分割方式的优化,该模型可以高效地完成移动端的人体行为识别任务并且把分类结果进行交互反馈。同时在本地设备端计算性能有限的前提下,改进过的XGBoost拓展决策网络模型在同类型网络学习算法中有着优异的识别性能。
以下对融合拓展决策和注意力网络的行为动态识别模型所使用的算法与其他传统人体行为识别算法进行比较:
本发明的实验在Intel Core i9-11900K@3.50GHZ,Nvidia Geforce RTX 3080Ti(12GB)GPU,Window10专业版系统下,使用基于Keras 2.2.0和TensorFlow 1.14.0深度学习框架进行模型构建与数据训练。训练的样本数据集为自采集的PHAD人体行为数据集与相关领域常用数据集WISDM、UCI-HAR、OPPORTUNITY,从多个评价指标综合对模型中的主要算法MultiAtt进行性能评估。
首先,本节比较了各种信道数目条件下相关领域主流人体行为识别算法与MultiAtt算法在四个数据集中的精确率情况,具体数值结果如表1和表2所示:
表1基于6×channel人体行为数据的性能(精确率±均方误差)比较
表2基于12×channel人体行为数据的性能(精确率±均方误差)比较
从中可以看出,当训练数据维度增加时,MultiAtt算法对于各个数据集上的识别效果都有着较大的提升,并且当通道维度变为12时,该算法性在各数据集上和其他对比算法都有着一定的领先。MultiAtt算法通过融合注意力机制对多通道人体行为数据提取关键信息,可以对多通道的数据及逆行更精确分析,从而显著提升人体行为识别效果。
为了更进一步地评估MultiAtt算法在服务器端识别相似行为动作的情况,本节在UCI-HAR和PHAD两个数据集上进行了PSVM算法、MCNN算法、mSSDA算法和ChannelAttloc算法的具体实现。各算法在两种数据集上的精确率数值对比如表3和表4所示。
表3 UCI-HAR数据集算法精确率对比(%)
表4 PHAD数据集算法精确率对比(%)
参考图4和图5,本发明方法在UCI-HAR数据集中,走、上楼、下楼、坐、站、躺六个动作的分类预测精确率分别为96.27、95.2、95.64、95.49、97.18、96.91;在PHAD数据集中,走、上楼、下楼、坐、站、跑六个动作的分类预测精确率分别为96.25、93.3、93.08、97.21、98.82、94.11。可以看出除了个别动作,绝大多数情况下本发明所使用MultiAtt算法动作分类精确率相较于对比算法都有着极大地提升。
参考图6为本发明在本地设备端所使用的XGBoost算法与其他五个常用的分类器,即:Random forest、GBDT、MLP、SVM和KNN进行识别准确率比较,并采用了十折交叉验证的方法来寻找XGBoost的最佳参数组合,以防止过度拟合。在实验中,训练集被分为十个部分,随机选取其中九个作为训练数据,其余的作为测试数据。
参考图7可见,随着受试者数量的增加,算法的平均准确率降低。以XGBoost分类器为例,当被测试人数分别为1、10和40的情况下,对应平均准确率为99.63%、92.03%和87.41%。究其原因在于个体的特点与行为习惯不同导致对于相同运动,不同受试者的行为数据采集都会有较大的变化。如果分类器仅基于单个个体采集得到的数据进行训练,则其准确率最高,因为其自身数据用于预测,所有个性化数据都包含在训练和预测中。此外,对于单个个体采集的数据,所有六个分类器的性能都非常相似,准确率高于98%。
然而,在这种情况下,受试者太少,导致模型的泛化能力低,容易出现过度拟合。尽管准确率随着被试数量的增加而降低,但与其他算法对比,XGBoost在保持较高准确率的同时也更具有鲁棒性。实验混淆矩阵参考图8和图9,上楼、下楼和走三种运动行为数据之间,以及坐与站或者躺的两种静止行为数据之间较为容易混淆,其平均准确率较低,导致整体准确率偏低。原因在于行为间高度相似的运动方式导致所提取特征也有着高度的相似性,从而造成混淆,与上述活动比较,跑行为的识别准确率就明显较高。通过混淆矩阵可以看出,XGBoost分类器通过加入正则项至代价函数中来防止过拟合方式,对于易混淆数据也都保持了较好的识别结果。
综上所述,本发明设计融合拓展决策和注意力网络的行为动态识别模型中两种主要算法能够更有效地完成人体行为识别任务,相比其他算法综合性能得到提升。同时算法在满足识别效果前提下有着较快的模型训练与识别速度,结合人体感知识别任务动态调度方法,能够实现在移动设备的计算能力以及能耗等因素受限场景下,较为实时地对人体行为数据进行识别和交互反馈,针对不同应用场景进行自适应调整,并且兼顾性能以及效果。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。因此,本公开将不会被限制于本公开所示的这些实施例,而是要符合与本公开所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种融合拓展决策和注意力网络的行为动态识别方法,其特征在于包括以下步骤:
步骤(1):通过传感器采集数据,删除无用数据和噪声数据进行数据清洗,然后进行数据分解:
步骤(1.1):对采集完毕的传感器数据进行整理和定义;
令P={P1,P2,…PM}为传感器所采集到的数据,M代表片段数;令表示第i个数据片段收集到的传感器数据集,其中代表第Pi个片段上的时间序列,代表第Pi个片段上发生的事件总数,代表第Pi个片段各时间序列对应的传感器数据,
步骤(1.2):对时序信息进行格式转换;
将时序信息转换为时间戳的方式进行格式转换,计算公式如下:
P.tim[i]={P.D,P.D[i].hour×60×60+P.D[i].minute×60+P.D[i].second}
其中i∈(0,Z],Z表示最大数据条数,P.D表示日期时间戳,P.D[i]的各类型后缀对应时、分、秒的数据,P.tim[i]返回转换得到的总时间戳;
步骤(1.3):定义动作集和综合差;
定义动作集S1,是由各个时间片段的人体行为活动序列组成的,其公式如下所示:
定义综合差,将由传感器产生的数据划分为两个部分,包括时序差和均值差;总的差值衡量标准为两者的综合,综合差越小,两个时间段是同一种行为的可能性越大,公式如下:
其中为第i个时间段与第j个时间段之间的综合差;是第i个时间段和第j个时间段之间的时间差,表示第i个时间段与第j个时间段之间各类别变换大于一定阈值数据的均值差加权和,为第i个时间段和第j个时间段传感器出现一定阈值变换的数据的类别总数;
步骤(1.4):进行动作分解;
其中Pi代表第i个时间段,Pj代表第j个时间段;代表通过设定阈值筛选出的出现一定变化的数据项总数;是和之间的时间差,表示与之间各类别变换大于一定阈值数据的均值差加权和;利用公式将一定时间段的人体行为数据进行分析处理,整合出n段行为动作,即S={S1,S2,…,Sn};
步骤(2):对上述预处理后得到的数据判断是否初次输入;若是,则执行步骤3,若否,执行步骤4;
步骤(3):远端服务器接收到本地设备传输的数据,利用MultiAtt深度融合注意网络进行人体行为识别,然后将识别数据发送给分类器进行行为分类;所述MultiAtt深度融合注意网络是在基础的卷积神经网络上加入了多视图卷积编码器和融合注意门得到;
步骤(4):本地设备将上述预处理后的数据通过人体感知识别任务动态调度方法来进行动态任务调度;
步骤(5):利用MultiAtt深度融合注意网络反馈的贡献分值向量为XGBoost拓展决策网络的输入通道数据进行阈值筛选,并对调度到本地设备的数据使用XGBoost拓展决策树算法进行行为识别。
2.如权利要求1所述的一种融合拓展决策和注意力网络的行为动态识别方法,其特征在于步骤(3)所述MultiAtt深度融合注意网络具体如下:
步骤(3.1):通过多视图卷积编码器计算视图参数;
利用两个卷积特征编码器,即通道编码器和全局编码器,分别从特定通道和全局视图中提取抽象特征的方法;
假定输入的人体信号片段由n个通道组成,表示为X={x1,x2,...,xn};给定第i个通道的输入向量xi,通道视图yi通过Encoderj通道编码器得到,如下所示:
yi=Encoderj(xi,βj)
其中βj是Encoderj中的学习参数;
全局视图yk通过全局编码器计算得到,如下所示:
yk=Encoderk(xi,βk)
其中βk是Encoderk中的学习参数;
步骤(3.2):利用特征编码器获得对应特征图;
步骤(3.3):通过融合注意力机制记录通道信息;
融合注意门ri通过全局视图和通道视图的结果计算出通道信息,公式定义为:
步骤(3.4):通过融合注意门得到注意力能量值;
根据融合注意门ri整合全局视图和其自身的通道视图表示的信息,定义为:
其中⊙是元素相乘运算符;
步骤(3.5):使用Softmax计算贡献分值向量与上下文向量;
基于所有的注意力能量值,贡献分值向量scoreg的归一化操作通过Softmax函数实现:
scoreg=Softmax([eg,1,…,eg,i,…,eg,n])
通过上述公式可以看出,如果第i个通道的贡献分值scoreg很大,则该通道的信息与相应的任务标签的相关度高;然后使用加权聚合法,根据综合特征1≤i≤n和贡献分值向量scoreg计算出上下文向量contextg,计算公式如下:
步骤(3.6):进行网络模型训练;
为了以端到端方式训练MultiAtt深度融合注意网络以进行人体行为分类,网络模型将上下文向量contextg和全局视图向量yg结合起来,得出注意力特征yattention,定义为:
4.如权利要求2所述的一种融合拓展决策和注意力网络的行为动态识别方法,其特征在于步骤(4)具体是:
步骤(4.1):定义调度方法相关参数;
步骤(4.2):建立时间感知模型;
任务请求到达时的本地执行时间:
其中flocal代表传感器设备的计算频率;
任务在服务器上的执行时间:
其中fserver代表服务器设备的计算频率;
然后,建立预计任务传输时间的传输模型,包括传输节点的信噪比fSNR(di,n);
本地设备可以将计算需求转移到服务器上,以减少本地计算负载,在计算卸载的过程中需要考虑移动环境下的网络传输问题;在本地设备卸载任务的过程中,传输节点的信噪比如下所示:
步骤(4.3):定义任务的传输时间;
在移动网络环境下,本地设备和服务器之间的传输速率定义如下:
Rn=Blog2(1+fSNR(di,n))
其中B代表用户设备和服务器之间的传输带宽;
任务的传输时间为:
步骤(4.4):定义响应时间;
步骤(4.5):建立能耗感知模型;
本地设备的能耗主要包括两部分,一部分是本地执行的能耗,另一部分是任务卸载的能耗,包括上传能耗和下载能耗;在计算设备的能量消耗时,应首先考虑本地运行任务的能量消耗;如果用户没有可用的服务器,或者任务不需要被卸载到服务器上,则允许在本地执行的任务;由本地本身产生的能耗被称为本地能耗,本地能耗的计算公式如下:
步骤(4.6):制定优化目标并完成模型决策;
以最小化能耗与响应时间为优化目标,目标函数表示为:
选择在目标函数最小的设备端进行任务执行,若为本地执行,则跳转至步骤(5);若为远端服务器执行,则返回至步骤(3)。
5.实现权利要求1-4任一项所述方法的融合拓展决策和注意力网络的行为动态识别系统,其特征在于包括:
数据采集及数据分解模块,通过传感器采集数据,删除无用数据和噪声数据进行数据清洗,然后进行数据分解;
数据分配模块,对数据采集及数据分解模块预处理后得到的数据判断是否初次输入;若是则输入至远端服务器,若否则输入至动态任务调度模块;
MultiAtt深度融合注意网络,接收远端服务器的数据进行人体行为识别,然后将识别数据发送给分类器进行行为分类;
动态任务调度模块,对数据采集及数据分解模块预处理后得到的数据通过人体感知识别任务动态调度方法进行动态任务调度;
XGBoost拓展决策网络,利用MultiAtt深度融合注意网络反馈的贡献分值向量为XGBoost拓展决策网络的输入通道数据进行阈值筛选,并对调度到本地设备的数据使用XGBoost拓展决策树算法进行行为识别。
6.一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以实上权利要求1-4中任一项所述的方法。
7.一种机器可读存储介质,其特征在于,该机器可读存储介质存储有机器可执行指令,该机器可执行指令在被处理器调用和执行时,机器可执行指令促使处理器实现权利要求1-4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210494320.1A CN114783063B (zh) | 2022-05-07 | 2022-05-07 | 一种融合拓展决策和注意力网络的行为动态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210494320.1A CN114783063B (zh) | 2022-05-07 | 2022-05-07 | 一种融合拓展决策和注意力网络的行为动态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114783063A true CN114783063A (zh) | 2022-07-22 |
CN114783063B CN114783063B (zh) | 2024-02-20 |
Family
ID=82435020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210494320.1A Active CN114783063B (zh) | 2022-05-07 | 2022-05-07 | 一种融合拓展决策和注意力网络的行为动态识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114783063B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117333950A (zh) * | 2023-11-30 | 2024-01-02 | 苏州元脑智能科技有限公司 | 动作生成方法、装置、计算机设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112597921A (zh) * | 2020-12-28 | 2021-04-02 | 杭州电子科技大学 | 一种基于注意力机制gru深度学习的人体行为识别方法 |
CN113139499A (zh) * | 2021-05-10 | 2021-07-20 | 中国科学院深圳先进技术研究院 | 一种基于轻量注意力卷积神经网络的步态识别方法和系统 |
-
2022
- 2022-05-07 CN CN202210494320.1A patent/CN114783063B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112597921A (zh) * | 2020-12-28 | 2021-04-02 | 杭州电子科技大学 | 一种基于注意力机制gru深度学习的人体行为识别方法 |
CN113139499A (zh) * | 2021-05-10 | 2021-07-20 | 中国科学院深圳先进技术研究院 | 一种基于轻量注意力卷积神经网络的步态识别方法和系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117333950A (zh) * | 2023-11-30 | 2024-01-02 | 苏州元脑智能科技有限公司 | 动作生成方法、装置、计算机设备和存储介质 |
CN117333950B (zh) * | 2023-11-30 | 2024-03-12 | 苏州元脑智能科技有限公司 | 动作生成方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114783063B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lei et al. | GCN-GAN: A non-linear temporal link prediction model for weighted dynamic networks | |
Wilson et al. | Multi-source deep domain adaptation with weak supervision for time-series sensor data | |
CN111401433B (zh) | 用户信息获取方法、装置、电子设备及存储介质 | |
Cheng et al. | Real-time human activity recognition using conditionally parametrized convolutions on mobile and wearable devices | |
Ramsay et al. | Applied functional data analysis: methods and case studies | |
Yao et al. | Rdeepsense: Reliable deep mobile computing models with uncertainty estimations | |
CN108874959B (zh) | 一种基于大数据技术的用户动态兴趣模型建立方法 | |
Grinblat et al. | Solving nonstationary classification problems with coupled support vector machines | |
CN111291261A (zh) | 融合标签和注意力机制的跨领域推荐方法及其实现系统 | |
Mohamad et al. | Online active learning for human activity recognition from sensory data streams | |
Tang et al. | Dual-branch interactive networks on multichannel time series for human activity recognition | |
Sigg et al. | Investigation of context prediction accuracy for different context abstraction levels | |
CN116994709A (zh) | 一种个性化的饮食与运动推荐方法、系统及电子设备 | |
CN114783063B (zh) | 一种融合拓展决策和注意力网络的行为动态识别方法 | |
Zhang et al. | A spatiotemporal multi-feature extraction framework with space and channel based squeeze-and-excitation blocks for human activity recognition | |
Zhang et al. | A human activity recognition method using wearable sensors based on convtransformer model | |
Wu et al. | Topological machine learning for multivariate time series | |
US7454062B2 (en) | Apparatus and method of pattern recognition | |
CN114492990A (zh) | 一种基于可穿戴设备的用户行为习惯预测方法 | |
CN116830122A (zh) | 用于联合学习的方法、系统和装置 | |
Qiao et al. | Group behavior recognition based on deep hierarchical network | |
CN115954019B (zh) | 一种融合自注意力和卷积操作的环境噪声识别方法及系统 | |
Casado et al. | Concept drift detection and adaptation for robotics and mobile devices in federated and continual settings | |
Coelho et al. | A lightweight model for human activity recognition based on two-level classifier and compact CNN model | |
Chen et al. | Attention-based multi-task learning for sensor analytics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |