CN112381182A - 基于交互式多任务模型进行日常活动预测方法 - Google Patents

基于交互式多任务模型进行日常活动预测方法 Download PDF

Info

Publication number
CN112381182A
CN112381182A CN202011463817.4A CN202011463817A CN112381182A CN 112381182 A CN112381182 A CN 112381182A CN 202011463817 A CN202011463817 A CN 202011463817A CN 112381182 A CN112381182 A CN 112381182A
Authority
CN
China
Prior art keywords
activity
prediction
time
task
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011463817.4A
Other languages
English (en)
Other versions
CN112381182B (zh
Inventor
刘亚清
谢若莹
宫珊珊
丰阳
余芸倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202011463817.4A priority Critical patent/CN112381182B/zh
Publication of CN112381182A publication Critical patent/CN112381182A/zh
Application granted granted Critical
Publication of CN112381182B publication Critical patent/CN112381182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于交互式多任务模型进行日常活动预测方法。本发明方法将多头注意力机制，卷积神经网络及双向长短时记忆单元进行结合，生成并行多任务活动预测模型。本发明的技术方案解决了现有技术中的有技术共享全部参数，对于任务之间弱关联的情况预测效果较差；预测时间任务学习到的特征表征能力不够，导致误差较大。因此在训练过程中预测活动类别任务会先达到局部最优，继续训练最终导致该任务出现过拟合以及预测活动类别任务与预测活动时间任务之间存在一定的相关性，现有技术仅通过错误反向传播相互影响存在一定的不可控性的问题。

Description

基于交互式多任务模型进行日常活动预测方法
技术领域
本发明涉及活动预测方法的技术领域，具体而言，尤其涉及基于交互式多任务模型进行日常活动预测方法。
背景技术
目前利用多任务解决智能家居中预测问题的主要方法是：首先将原始传感器序列划分为一系列固定长度的窗口，提取窗口中的相关信息作为特征，然后，构建带有卷积神经网络和双向长短时网络的模型作为预测多任务模型，同时预测活动类别及其发生时间。
就目前的现有技术，存在有以下几点问题：
1、多任务学习模型共享全部的参数，适用于具有强关联的多任务学习(活动大致在一个固定的时间段内发生)。对于弱关联的多任务(活动没有固定的发生时间)预测误差较大。
2、多任务联合损失函数的损失权重属于手动调节，但是所选择的权重值不一定是最合适的。
3、活动类别预测与活动时间预测两个任务训练难易程度不同，活动时间预测获得的表征能力不够，预测误差较大。因此在并行训练中可能会出现活动类别预测任务先于活动时间预测任务达到局部最优，但由于联合损失作用还需继续训练,导致活动类别预测产生过拟合。
发明内容
根据上述提出预测误差较大、所选择的权重值不一定是最合适的以及导致活动类别预测产生过拟合的技术问题，而提供一种基于交互式多任务模型进行日常活动预测方法。本发明主要利用基于交互式多任务模型进行日常活动预测方法，其特征在于，包括：活动类别预测步骤及活动发生时间预测步骤；
所述活动类别预测步骤还包括以下步骤：
步骤S11：提取传感器事件相关的样本特征组X＝{x1,x2,...,xn}与窗口中窗口中最后一个发生的活动活动标签信息；
步骤S12：将所述窗口中最近的活动标签信息输入到一维卷积层中，提取序列的短期模式；
步骤S13：将卷积后的所述短期模式输入到最大池化层中进行最大池化；
步骤S14：将池化后的结果输入到双向长短时记忆网络中；
步骤S15：双向长短时记忆网络输出预测类别的特征fAC；
步骤S16：将预测类别的特征输入到全连接层中进行分类判断；
步骤S17：全连接层的输出则为下一个活动类别的概率值。
进一步地，所述活动发生时间预测步骤还包括以下步骤：
步骤S21：提取传感器事件相关的样本特征组X＝{x1,x2,...,xn}与窗口中最近的活动标签信息；
步骤S22：将所述样本特征组X与窗口中最近的活动标签信息输入到一维卷积层中，提取序列的短期模式；
步骤S23：将卷积后的结果输入到最大池化层中进行最大池化；
步骤S24：将池化后的结果输入到双向长短时记忆网络中；
步骤S25：双向长短时记忆网络输出预测时间特征fAT；
步骤S26：将预测时间的特征输入到多头自注意力机制模块中，并通过一个残差网络，直接与多头自注意力机制模块的输出进行融合；
步骤S27：将融合后的特征作为全连接层即激活ReLU的输入，进行回归判断；
步骤S28：全连接层的输出则为活动发生时间的预测值；
步骤S29：将活动发生时间的预测值
Figure BDA0002832410410000021
与活动类别预测的最终输出
Figure BDA0002832410410000022
进行信息回调，与fAT进行融合作为活动发生时间预测任务的特征，辅助该任务的学习；融合方式为公式(3)，其中⊕表示拼接操作；其中fAT表示预测活动发生时间特征；
Figure BDA0002832410410000031
较现有技术相比，本发明具有以下优点：
本发明将2个任务的输出估计作为较难任务的特征，进行信息回调，辅助较难任务的学习。对于弱关联的多任务学习，模型仍旧有很好的表现。通过不确定性(不同任务的参数分布方差不一样)来调整损失函数中的加权超参，优化极大似然分布同时动态规划任务的超参。使得每个任务的损失函数达到相似的尺度。同时将窗口中最近的活动信息作为特征的一部分。因为活动与活动之间是有关联的，加入了活动标签信息之后，两个任务的准确率都得到了提升。
相比较现有的多任务网络模型，本发明不仅对于活动类别的预测有了明显提升，而且对于较难任务--预测活动发生时间的准确率也有大幅度提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明活动类别预测流程图。
图2为本发明活动发生时间预测流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1-2所示，本发明提供了一种基于交互式多任务模型进行日常活动预测方法，包括：活动类别预测步骤及活动发生时间预测步骤。
作为一种优选的实施方式，在本申请中，所述活动类别预测步骤还包括以下步骤：
步骤S11：提取传感器事件相关的样本特征组X＝{x1,x2,...,xn}与窗口中窗口中最后一个发生的活动活动标签信息；例如：窗口中分别发生“做饭”，“吃早餐”，“刷碗”三个活动，最近的活动是“刷碗”。
步骤S12：将所述窗口中最近的活动标签信息输入到一维卷积层中，提取序列的短期模式；
步骤S13：将卷积后的所述短期模式输入到最大池化层中进行最大池化；
步骤S14：将池化后的结果输入到双向长短时记忆网络中；
步骤S15：双向长短时记忆网络输出预测类别的特征fAC。作为本申请优选的实施方式，在本申请中，这里所说的特征是经过一维卷积、最大池化、双向长短时之后所提取的特征。该特征以计算机理解的形式存在。
步骤S16：将预测类别的特征输入到全连接层中进行分类判断。优选地，因为活动类别预测属于分类问题。则分类判断是指预测下一个发生的是哪个活动。当模型预测下一个活动类别时，会为数据集中每个活动发生分配相应的概率值。例如，数据集中共3个活动类别：“睡觉”,“做饭”，“刷牙”。根据当前特征来预测下一个活动类别，假设模型认为“睡觉”发生的概率值为0.1，“做饭”发生的概率为0.3，“刷牙”的概率为0.6。则模型预测下一个发生的活动为“刷牙”。
步骤S17：全连接层的输出则为下一个活动类别的概率值。
作为优选的实施方式，在本申请中，所述输出公式为：
Softmax函数计算公式如下：
Figure BDA0002832410410000051
其中，Vi表示第i个类别的值；C表示总的类别个数；Si表示当前元素的指数与所有元素指数和的比值，可以简单理解为概率值。
作为优选的实施方式，在本申请中所述活动发生时间预测步骤还包括以下步骤：
S21：提取传感器事件相关的样本特征组X＝{x1,x2,...,xn}与窗口中最近的活动标签信息。这里所提取的信息与步骤S11提取的信息相同。
S22：将所述样本特征组X与窗口中最近的活动标签信息输入到一维卷积层中，提取序列的短期模式；
S23：将卷积后的结果输入到最大池化层中进行最大池化；
S24：将池化后的结果输入到双向长短时记忆网络中；
S25：双向长短时记忆网络输出预测时间特征fAT；
S26：将预测时间的特征输入到多头自注意力机制模块中，并通过一个残差网络，直接与多头自注意力机制模块的输出进行融合；
作为优选的实施方式，本申请中，自注意力机制模块设Om为特定头h下的特征，经过多头自注意力机制之后的输出为
Figure BDA0002832410410000052
具体过程见公式(1)、(2)：
Figure BDA0002832410410000061
Figure BDA0002832410410000062
其中，
Figure BDA0002832410410000063
表示学习的参数，Qh,Kh,Vh分别表示注意力机制中的query，key，value。
在本申请中，注意力机制的目的是根据待解决的目标，去关注部分细节，而不是基于全局进行分析，其核心是如何基于目标确定要重点关注的部分。自注意力是注意力机制的一种。多头注意力机制能够自动构造特征，对特征进行聚合和重塑。同时，该机制作为特征选择器对显著特征给予更多关注，从而实现特征筛选。
S27：将融合后的特征作为全连接层即激活ReLU的输入，进行回归判断；
S28：全连接层的输出则为活动发生时间的预测值；
S29：将活动发生时间的预测值
Figure BDA0002832410410000064
与活动类别预测的最终输出
Figure BDA0002832410410000065
进行信息回调，与fAT进行融合作为活动发生时间预测任务的特征，辅助该任务的学习；融合方式为公式(3)，其中
Figure BDA0002832410410000066
表示拼接操作；其中fAT表示预测活动发生时间特征；在本申请实施例中回调是指将预测活动发生时间任务的输出
Figure BDA0002832410410000067
和预测活动类别任务的输出
Figure BDA0002832410410000068
与预测活动时间特征fAT融合
Figure BDA0002832410410000069
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (2)

1.基于交互式多任务模型进行日常活动预测方法，其特征在于，包括：活动类别预测步骤及活动发生时间预测步骤；
所述活动类别预测步骤还包括以下步骤：
S11：提取传感器事件相关的样本特征组X＝{x1,x2,...,xn}与窗口中窗口中最后一个发生的活动活动标签信息；
S12：将所述窗口中最近的活动标签信息输入到一维卷积层中，提取序列的短期模式；
S13：将卷积后的所述短期模式输入到最大池化层中进行最大池化；
S14：将池化后的结果输入到双向长短时记忆网络中；
S15：双向长短时记忆网络输出预测类别的特征fAC；
S16：将预测类别的特征输入到全连接层中进行分类判断；
S17：全连接层的输出则为下一个活动类别的概率值。
2.根据权利要求1所述的基于交互式多任务模型进行日常活动预测方法，其特征在于，
所述活动发生时间预测步骤还包括以下步骤：
S21：提取传感器事件相关的样本特征组X＝{x1,x2,...,xn}与窗口中最近的活动标签信息；
S22：将所述样本特征组X与窗口中最近的活动标签信息输入到一维卷积层中，提取序列的短期模式；
S23：将卷积后的结果输入到最大池化层中进行最大池化；
S24：将池化后的结果输入到双向长短时记忆网络中；
S25：双向长短时记忆网络输出预测时间特征fAT；
S26：将预测时间的特征输入到多头自注意力机制模块中，并通过一个残差网络，直接与多头自注意力机制模块的输出进行融合；
S27：将融合后的特征作为全连接层即激活ReLU的输入，进行回归判断；
S28：全连接层的输出则为活动发生时间的预测值；
S29：将活动发生时间的预测值
Figure FDA0002832410400000021
与活动类别预测的最终输出
Figure FDA0002832410400000022
进行信息回调，与fAT进行融合作为活动发生时间预测任务的特征，辅助该任务的学习；融合方式为公式(3)，其中
Figure FDA0002832410400000023
表示拼接操作；其中fAT表示预测活动发生时间特征；
Figure FDA0002832410400000024
CN202011463817.4A 2020-12-11 2020-12-11 基于交互式多任务模型进行日常活动预测方法 Active CN112381182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011463817.4A CN112381182B (zh) 2020-12-11 2020-12-11 基于交互式多任务模型进行日常活动预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011463817.4A CN112381182B (zh) 2020-12-11 2020-12-11 基于交互式多任务模型进行日常活动预测方法

Publications (2)

Publication Number Publication Date
CN112381182A true CN112381182A (zh) 2021-02-19
CN112381182B CN112381182B (zh) 2024-01-19

Family

ID=74590749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011463817.4A Active CN112381182B (zh) 2020-12-11 2020-12-11 基于交互式多任务模型进行日常活动预测方法

Country Status (1)

Country Link
CN (1) CN112381182B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114493058A (zh) * 2022-04-18 2022-05-13 杭州远传新业科技有限公司 多通道信息特征融合的学业预警方法、系统、装置和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537195A (zh) * 2018-04-17 2018-09-14 深圳市唯特视科技有限公司 一种基于单帧表示模型的人类活动识别方法
CN109558576A (zh) * 2018-11-05 2019-04-02 中山大学 一种基于自注意力机制的标点符号预测方法
US10769766B1 (en) * 2018-05-31 2020-09-08 Amazon Technologies, Inc. Regularized multi-label classification from partially labeled training data
CN111651504A (zh) * 2020-06-03 2020-09-11 湖南大学 基于深度学习的多元时间序列多层时空依赖建模方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537195A (zh) * 2018-04-17 2018-09-14 深圳市唯特视科技有限公司 一种基于单帧表示模型的人类活动识别方法
US10769766B1 (en) * 2018-05-31 2020-09-08 Amazon Technologies, Inc. Regularized multi-label classification from partially labeled training data
CN109558576A (zh) * 2018-11-05 2019-04-02 中山大学 一种基于自注意力机制的标点符号预测方法
CN111651504A (zh) * 2020-06-03 2020-09-11 湖南大学 基于深度学习的多元时间序列多层时空依赖建模方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘雨心;王莉;张昊;: "基于分层注意力机制的神经网络垃圾评论检测模型", 计算机应用, no. 11 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114493058A (zh) * 2022-04-18 2022-05-13 杭州远传新业科技有限公司 多通道信息特征融合的学业预警方法、系统、装置和介质

Also Published As

Publication number Publication date
CN112381182B (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
US11521221B2 (en) Predictive modeling with entity representations computed from neural network models simultaneously trained on multiple tasks
Nguyen et al. Multiple neural networks for a long term time series forecast
CN110866628A (zh) 利用动态时间上下文学习进行多界限时间序列预测的系统和方法
Hambali et al. Electric power load forecast using decision tree algorithms
Pandey Analysis of the techniques for software cost estimation
CN111314121A (zh) 链路异常检测方法以及装置
CN112651534B (zh) 一种预测资源供应链需求量的方法、装置及存储介质
Sibalija et al. An intelligent approach to robust multi-response process design
CN118229330B (zh) 基于多模态信息融合的电商数据监测方法及系统
CN113724039A (zh) Ota网站的酒店推荐方法、系统、设备及可读存储介质
Edington et al. A time-evolving digital twin tool for engineering dynamics applications
Hryhorkiv et al. Forecasting financial time sesries using combined ARIMA-ANN algorithm
Lepenioti et al. Human-augmented prescriptive analytics with interactive multi-objective reinforcement learning
CN112381182A (zh) 基于交互式多任务模型进行日常活动预测方法
CN111126629A (zh) 模型的生成方法、刷单行为识别方法、系统、设备和介质
CN116804964A (zh) 数据处理方法、装置、电子设备及可读存储介质
Yuan et al. Tax-Scheduler: an interactive visualization system for staff shifting and scheduling at tax authorities
CN114880575B (zh) 用户行为预测方法、装置、设备、介质及产品
CN116166886A (zh) 向量指数平滑新分类法在季节时间序列预测中的应用系统
Klamkin et al. Active bucketized learning for ACOPF optimization proxies
CN115271826A (zh) 一种物流线路的价格区间预测方法和装置
Iqbal et al. Forecasting stock market using machine learning approach encoder-decoder ConvLSTM
KR102650882B1 (ko) 이용자의 정보를 분석하여 세탁 조건을 자동으로 큐레이팅하는 맞춤형 무인 빨래방 시스템
Wang et al. Optimized decomposition and two-step nonlinear integration model with error correction strategy coupled interval prediction for digital currency price forecast
de Morais CONGRATS-Convolutional Networks in GPU-based Reliability Assessment of Transmission Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant