CN116671919B - 一种基于可穿戴设备的情绪检测提醒方法 - Google Patents

一种基于可穿戴设备的情绪检测提醒方法 Download PDF

Info

Publication number
CN116671919B
CN116671919B CN202310961895.4A CN202310961895A CN116671919B CN 116671919 B CN116671919 B CN 116671919B CN 202310961895 A CN202310961895 A CN 202310961895A CN 116671919 B CN116671919 B CN 116671919B
Authority
CN
China
Prior art keywords
data
emotion
training
target
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310961895.4A
Other languages
English (en)
Other versions
CN116671919A (zh
Inventor
潘桐杰
叶娅兰
罗通侯君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202310961895.4A priority Critical patent/CN116671919B/zh
Publication of CN116671919A publication Critical patent/CN116671919A/zh
Application granted granted Critical
Publication of CN116671919B publication Critical patent/CN116671919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/251—Means for maintaining electrode contact with the body
    • A61B5/256—Wearable electrodes, e.g. having straps or bands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/28—Bioelectric electrodes therefor specially adapted for particular uses for electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Evolutionary Biology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Emergency Management (AREA)
  • Probability & Statistics with Applications (AREA)

Abstract

本发明公开了一种基于可穿戴设备的情绪检测提醒方法，属于时序信号的分类识别技术领域。本发明基于双线性卷积神经网络的特征生成网络关注信号之间的局部差异，从而使得识别模型能更好地区分不同情绪类别所对应的信号样本；对输入进行局部掩码再将其输入至特征生成器中，以得到对应的隐空间特征，再将隐空间特征重构为未掩码的原始输入，以学习到与标签信息不敏感的因空间特征表示；本发明基于伪标签提纯策略来进一步减轻偏移标签对目标域数据识别准确度的影响，以最终实现在不访问已有用户数据情况下的知识迁移任务。本发明方法可实现对情绪类别的实时识别，同时对指定的目标情绪类别进行提醒预警。

Description

一种基于可穿戴设备的情绪检测提醒方法
技术领域
本发明属于时序信号的分类识别技术领域，具体涉及一种基于可穿戴设备的情绪检测提醒方法。
背景技术
情绪是在生理反应上的评价和体验，包括喜、怒、哀、乐、悲、恐、惊等几种状态。目前对情绪识别的研究主要通过主观评测和客观评测两种方法进行。其中主观评测法通过问卷询问等形式对被试者的情绪进行评估，评估结果受到诸多主观因素的影响，如被试者是否准确理解问题，是否隐瞒真实感受等。而客观评测法则通过监测人体的相关信号（如心电信号、语音信号等），或者是通过采集的人脸图片基于面部表情来进行评测。相对于主观评测方法，客观评测方法具有不易伪装且信息量大的优势，被广泛应用到情绪识别的相关研究和应用中。
采集的个体数据（如心电信号、语音信号灯）受个人因素、采集环境、采集设备佩戴位置等一系列因素的影响，导致从不同个体上采集的个体数据特征分布呈现出较大差异，进而使得针对某一个体的定制化模型无法直接用于另一个体的情绪识别。为了解决不同个体的数据分布差异，领域自适应（Domain Adaptation, DA）被引入到跨个体情绪识别领域中。它通过将新个体的无标签数据与旧个体的大量带标签数据进行分布对齐来缓解旧模型精度降低的问题，实现新旧个体之间的知识迁移。由于仅需少量无标签的新个体数据即可实现知识迁移，这种方式减少了数据获取和情绪标签获取的时间成本，具有很高的应用价值。
然而，人体的个体数据具有一定的隐私性，出于隐私保护的目的，在一些应用场景下，用于训练情绪识别模型的已有用户数据往往无法访问，而仅能访问识别模型本身。此时基于领域自适应技术的跨个体模型将无法完成知识迁移任务。无源域适应技术（Source-free Domain Adaptation, SFDA）技术的提出给这个问题提供了解决思路。该技术能够在不访问源域数据的情况下，仅通过在源域数据上训练得到的识别模型以及目标域无标签数据即可实现知识迁移。无源域适应技术可以有效解决在无法获取已有用户个体数据情况下的跨个体情绪识别问题，对提高识别模型的准确度、降低数据采集和标记成本、保护用户隐私等方面具有重要的研究意义。
无源域适应技术在计算机视觉领域已经受到了广泛的关注和研究，目前的无源域适应研究主要从数据增强、模型优化和伪标签提纯三个思路进行了尝试。然而在基于生理信号的心理状态监测领域的应用则鲜有研究者关注。在基于生理信号的情绪识别上，相关研究仍处于空白状态。其中一个重要的原因是在用户隐私保护下的跨个体情绪识别中存在情绪等级标签偏移的问题，阻碍了模型的准确识别。事实上，情绪等级的标签偏移问题不仅存在于跨个体识别的场景下，同一个体的情绪识别场景下同样存在此问题。因此，可以将标签偏移问题分为两个子问题，即同一个体的标签偏移问题和跨个体的标签偏移问题。其中，跨个体的标签偏移问题产生的根源是生理信号的个体差异性，表现为不同个体在处于相同情绪状态下的生理信号差异较大。而同一个体的个体数据出现标签偏移问题的原因则在于人体状态变化的连续性，当被试者的情绪状态发生变化，也即对应的情绪状态等级标签发生变化时，相应的个体数据不会发生跳跃式的改变，这就导致采集到的生理信号可能出现不同情绪状态等级信号相似度高于同一情绪状态等级的生理信号相似度的问题。
针对标签偏移问题，现有的无源域适应方法进行了一定的尝试。如在一种基于负学习的分类器框架的方案中，其通过随机选取一些不属于当前样本所属的类别作为“负类”，并让当前样本远离这些类别来避免模型受到偏移的标签信息影响。然而，这种方法需要有足够多的待选类别才能确保该样本所属的真实类别选为“负类”的概率足够低，因此在待选类别总数偏少的跨个体情绪识别中是完全不适用的。能否缓解标签偏移问题，是能否实现有效地跨个体情绪识别的关键。
发明内容
本发明提供了一种基于可穿戴设备的情绪检测提醒方法，在不访问用于已有用户数据的前提下，仅根据在已有用户的带标注数据上训练得到的识别模型实现对新的未知个体的情绪状态的准确识别，进而对用户进行提醒。
本发明采用的技术方案如下：
一种基于可穿戴设备的情绪检测提醒方法，该方法包括以下步骤：
步骤1，基于可穿戴设备采集n个被试者在不同情绪下的心电信号数据，其中，n为大于1的整数；
对采集的各个被试者的心电信号数据进行信号预处理，获取每个被试者在不同情绪下的若干个数据样本，并设置每个数据样本的情绪分类的真实标签，将同一被试者的所有数据样本作为当前用户的训练集，得到n个训练集S1，S2，…，Sn；
步骤2，合并n个训练集并将其作为源域数据对情绪识别模型进行预训练；
所述情绪识别模型包括特征提取网络和分类器，所述特征提取网络用于提取输入数据的信号特征，分类器用于对特征提取网络输出的信号特征进行情绪类别预测，用于输出各个情绪分类的预测置信度（即每个情绪分类的分类概率），基于最高预测置信度得到分类器的情绪检测结果：取值为该最高预测置信度的分类概率预测值，对应于该最高预测置信度的情绪类别标签的预测情绪类别；
步骤3，基于可穿戴设备采集若干个新用户在不同工作任务及各工作任务的不同阶段下的心电信号数据，采用与步骤1相同的信号预处理方式对采集的心电信号数据进行信号预处理，将获取的数据样本作为各个新用户的目标样本（即未知情绪类别的新用户的目标样本）；
步骤4，将所有新用户的目标样本作为目标域数据，基于目标域数据对预训练后的情绪识别模型进行缓解标签偏移的无源域适应跨个体的适应训练；
步骤5，基于可穿戴设备实时采集目标用户的心电信号并作为待检测数据，所述待检测数据的数据长度与目标样本相同；
将当前的待检测数据输入适应训练后的情绪识别模型中，获取目标用户的当前情绪检测结果，当预测情绪类别为目标情绪类别时，通过可穿戴设备对该目标用户进行提醒。
进一步的，所述信号预处理包括：对心电信号数据进行去噪处理，再按固定时间窗口进行切分，切分时相邻的两个时间窗口首尾连续且相邻的两个时间窗口之间不重叠，切分后的每个时间窗口的心电信号数据对应一个数据样本。
进一步的，步骤2中，所述特征提取网络为基于掩码的自编码器的自监督特征提取网络，其包括特征生成器和解码器，所述特征生成器为基于双线性卷积神经网络的编码器，所述特征生成器在预训练时的输入数据为：源域数据的数据样本进行掩码处理后的数据样本；
所述特征生成器用于提取其输入数据的信号特征，得到输入数据映的隐空间特征；
所述解码器用于将编码器输出的隐空间特征重建到源域数据的数据样本所在的信号空间。
进一步的，所述掩码处理具体为：按照指定的掩码比例进行局部掩码处理。
进一步的，步骤2中，情绪识别模型在预训练时，当预训练轮次小于或等于预置的最大预训练轮次时，其每一轮训练方式为：先固定分类器，训练特征生成器和解码器；再固定特征生成器，训练分类器；当预训练轮次大于预置的最大训练轮次时，保存预训练后的特征生成器和分类器执行适应训练；
其中，训练特征生成器和解码器时，采用的损失函数为：
其中，表示预训练时的特征提取网络损失函数，上标s用于表征源域数据，下标i用于表征源域数据的数据样本编号，/>表示源域数据的数据样本，/>表示/>经掩码处理后的数据样本，/>表示源域数据的数据样本数量，/>表示源域数据的第i个数据样本，表示数据样本/>进行掩码处理后的数据样本，/>表示特征生成器的输出，即输入数据映的隐空间特征，/>表示解码器的输出，符号/>表示2范数；
训练特征生成器和解码器的训练目标为最小化特征提取网络损失函数；
训练分类器时采用分类损失函数，训练目标为最小化分类损失函数。
进一步的，步骤4中，基于目标域数据对预训练后的情绪识别模型进行缓解标签偏移的无源域适应跨个体的适应训练具体为：
步骤401，基于预训练后的情绪识别模型的分类器的权重参数初始化每个情绪分类的类别锚点：第k个情绪分类的类别锚点的初始值为/>，其中，/>表示分类器对应于第k个情绪分类的权重参数，k表示情绪分类的编号；
步骤402，将目标域数据的目标样本输入预训练后的情绪识别模型，基于情绪识别模型的特征生成器的输出得到每个目标样本的隐空间特征，基于情绪识别模型的分类器的输出得到每个目标样本的分类概率预测值/>，其中，上标t用于表征目标域数据，下标j用于表征目标域数据的目标样本的编号；
步骤403，基于每个情绪分类的类别锚点的当前值，确定当前训练轮次下的每个目标样本的初步伪标签：
分别计算每个情绪分类的类别锚点与第j个目标样本的隐空间特征/>之间的余弦相似度；基于最小余弦相似度所对应的情绪类别标签得到当前训练轮次下的第j个目标样本的初步伪标签/>；
步骤404，确定当前训练轮次下的每个目标样本的最终伪标签：
若第j个目标样本的分类概率预测值大于置信度阈值β，则当前训练轮次下的第j个目标样本的最终伪标签/>为其初步伪标签/>；
若小于或等于β，则将j个目标样本的分类概率预测值/>所对应的情绪类别标签作为其最终伪标签/>；
步骤405，基于当前训练轮次下的每个目标样本的最终伪标签为监督信息对特征生成器进行训练；
并基于当前训练轮次下的每个目标样本的最终伪标签更新每个情绪分类的类别锚点：
其中，指数函数的取值为：若/>，则/>，否则，/>表示目标域数据的目标样本数量；
步骤406，在训练轮次数小于或等于预置的最大适应训练轮次时，将目标域数据的目标样本输入到步骤405训练后的特征生成器中，得到下一训练轮次下的每个目标样本的隐空间特征；再将得到的隐空间特征/>输入情绪识别模型的分类器中，得到下一训练轮次下的每个目标样本的分类概率预测值/>；
基于更新后的各个类别锚点，以及下一训练轮次下的隐空间特征/>和分类概率预测值/>循环执行步骤403至步骤406，直到训练轮次数大于最大适应训练轮次。
进一步的，每次执行步骤404时，基于当前得到的初步伪标签和分类概率预测值设置所述置信度阈值β的值，具体为：
统计目标域数据的每一种初步伪标签的目标样本数；
将每一种初步伪标签的所有目标样本的分类概率预测值的均值作为每一种初步伪标签的伪标签置信度；
取最高伪标签置信度所对应的初步伪标签的目标样本数与目标域数据的目标样本数量的比值作为当前的置信度阈值β。
本发明提供的技术方案至少带来如下有益效果：
本发明通过引入无源域适应策略，以解决在不访问用于已有用户数据的前提下，仅根据在已有用户的带标注数据上训练得到的情绪识别模型实现对新的未知个体的情绪类别的准确识别问题。针对同一个体的标签偏移问题，也即类内样本差异大于类间样本差异的问题，本发明基于双线性卷积神经网络（Bilinear CNN，BCNN）的特征生成器来关注信号之间的局部差异，从而使得模型能更好地区分不同情绪类别所对应的信号样本。而针对跨个体的标签偏移问题，基于使得特征生成器能够摆脱偏移的标签信息的影响的目的，本发明通过对输入进行局部掩码，再将其输入至特征生成器中，以得到对应的嵌入隐空间，再尝试将隐空间特征重构为未掩码的原始输入，以学习到与标签信息不敏感的因空间特征表示。此外，本发明基于伪标签提纯策略（步骤403至步骤404）来进一步减轻偏移标签对目标域数据识别准确度的影响，以最终实现在不访问已有用户数据情况下的知识迁移任务。本发明提供的一种基于可穿戴设备的情绪检测提醒方法可实现对情绪类别的实时识别，同时对指定的目标情绪类别进行提醒。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种基于可穿戴设备的情绪检测提醒方法，其通过缓解标签偏移的无源域适应跨个体情绪识别方式来实现对情绪类别的准确识别并对指定的情绪类别向用户进行预警。
作为一种可能的实现方式，本发明实施例提供的一种基于可穿戴设备的情绪检测提醒方法的具体实现步骤包括：
步骤S1：基于可穿戴设备采集n（n＞1）个被试者在不同情绪下的心电信号数据，对采集的各个被试者的心电信号数据进行信号预处理，获取每个被试者在不同情绪下的若干个数据样本，并设置每个数据样本的情绪分类的真实标签，将同一被试者的所有数据样本作为当前用户的训练集，得到n个训练集S1，S2，…，Sn；
本发明既可以用于对情绪类别（如喜、怒、哀、乐）的识别，还可以继续对某一种情绪的状态进行等级划分，例如划分为轻、中和高三种情绪状态等级，以实现对特定情绪的不同程度等级的细化识别。
例如，当将本发明实施例应用于医学救援任务，对医学救援过程的不同救援任务和各救援阶段下的工作人员在紧张情绪下的不同程度等级的实时识别并对高紧张状态的工作人员进行早期预警。即本发明可应用于对一些从事特种职业的人员的紧张情绪状态的实时识别和预警。此时，在采集n个训练集时，为了进一步提升后续的识别准确性，可以采集被试者在模拟工作任务执行过程中对不同工作任务和工作阶段下激发的心电信号数据。并同时记录（基于对工作过程的采集视频）各个工作任务和工作阶段的起止时间。然后对采集的心电信号首先进行去噪（例如采用中值滤波器对心电信号的基线噪声进行处理），再按照每Tc秒为时间窗口对数据进行分割，得到大量的数据样本；其中，Tc的取值可根据实际检测情况下的精度要求实时进行调整，通常可设置为1。为了进一步提升样本数据的类别标签的准确性，还可以综合根据模拟工作任务的视频操作记录、专家的评分以及被试者的自我评价结果来设置相应数据样本的紧张状态的真实分类标签。
在如何对被试者的某种情绪状态程度进行准确标注方面，可以采用在后续的数据处理过程中综合考虑专家预先判定的结果及被试者的自评结果，对差异较大的数据予以排除，以获取更真实准确的情绪状态程度标注。
步骤S2：基于训练集，将其合并得到一个大的训练集S作为源域数据对情绪识别模型进行预训练。
其中，情绪识别模型包括特征提取网络和分类器，该特征提取网络用于提取输入数据的信号特征，特征提取网络采用基于掩码的自编码器的自监督特征提取网络，其包括特征生成器和解码器，特征生成器为基于双线性卷积神经网络的编码器，即包括两个网络结构相同的编码器：编码器1和编码器2；通过两个并行的基于卷积神经网络的编码器1和编码器2来完成对心电信号特征的学习，获取输入数据映的隐空间特征。本发明采用双线性卷积神经网络的特征提取形式，可使得编码器1主要用于对心电信号中的某些细节波形进行定位，如P波（表示心房活动的时间，前半部分代表右心房，后半部分代表左心房）、QRS波（表示心脏的除极过程，主要在心脏收缩期出现，以心室的活动为主）等。从而通过编码器1完成对心电信号的局部区域检测，而编码器2则可用于对编码器1检测到的局部波形位置进行特征提取。通过两个编码器的协作，即可完成对心电信号的局部特征的检测和提取。本发明中的编码器1和编码器2的网络结构相同，训练后的网络参数会有所不同。而解码器则用于将编码器输出的隐空间特征重建到源域数据的数据样本所在的信号空间。
本发明实施例中，基于双线性卷积神经网络的编码器获取输入数据映的隐空间特征的具体处理过程为：
给定一段信号 X，其每个位置s的特征图可以表示为：，其中，/>、/>表示编码器1和编码器2，/>、/>分别表示编码器1和编码器2的输出特征图，/>的特征图大小表示为R×M，/>的特征图大小表示为R×N，上标“T”表示转置，表示信号X的位置s处的特征图，其特征图大小为M×N；
然后对信号的位置的特征图求和，得到大小为M×N的融合特征图，即；对融合特征图/>向量化，得到列向量x，对列向量x的每个元素进行符号化处理，得到每个元素的符号值：/>，其中，下标r表示列向量x的元素索引，/>表示符号函数；将所有的符号值/>构成符号向量y，再根据/>得到信号X的隐空间特征z，符号/>表示2范数。
优选的，采用的预训练方式为：
当预训练轮次小于或等于预置的最大训练轮次时，其每一轮训练方式为：先固定分类器，训练特征生成器和解码器；再固定特征生成器，训练分类器；当预训练轮次大于预置的最大训练轮次时，保存预训练后的特征生成器和分类器执行适应训练。
预训练过程中，采用指定的掩码比例对源域数据的样本数据进行局部掩码处理后，再输入特征生成器中。优选的，可通过心电信号的信息密度来确定掩码比例, 本实施例中将心电信号的掩码比例设置为30%。
定义源域数据的第i个数据样本为，掩码后的数据样本为/>，/>表示/>的隐空间特征，源域数据的数据样本数为/>，/>和/>分别表示特征提取网络和解码器的网络参数，表示分类器的网络参数（即分类器的权重），则预训练时通过最小化如下的损失函数来训练特征提取网络和解码器：
其中，表示源域数据的数据样本，/>表示/>经掩码处理后的数据样本/>表示特征生成器的输出，即输入数据映的隐空间特征，/>表示解码器的输出。本发明的特征提取网络可以克服偏移标签对特征表示的影响，得到语义表征能力以及泛化性能更强的隐空间特征。
预训练分类器时，优选交叉熵损失，预训练时通过最小化如下的损失函数来训练分类器：
其中，表示交叉熵损失函数，/>表示数据样本/>的情绪标签，/>
表示源域数据的隐空间特征分布，表示情绪标签集。
步骤S3，基于可穿戴设备采集若干个新用户在不同工作任务及各工作任务的不同阶段下的心电信号数据，采用与步骤1相同的信号预处理方式对采集的心电信号数据进行信号预处理，将获取的数据样本作为各个新用户的目标样本；
步骤S4，将所有未知新用户的数据样本作为目标域数据，采用基于目标域数据对预训练后的情绪识别模型进行缓解标签偏移的无源域适应跨个体的适应训练方式，在目标域数据/>上对步骤S2中预训练的特征提取网络和分类器进行适应训练；
优选的，该步骤具体为：
步骤S401，设置最大适应训练轮次Q，初始化训练轮次数q=0，初始化第k个情绪分类的类别锚点：/>；
其中，情绪分类编号k=1，2,…,K，K表示情绪类别数；表示分类器对应于第k个情绪分类的权重参数；
步骤S402，将目标样本输入当前保存的特征提取网络，得到其隐空间特征，再将隐空间特征/>输入分类器中，得到其分类概率预测值/>，其中，上标t用于表征目标域数据，下标；
步骤S403，确定第q次训练时每个目标样本的初步伪标签：
其中，表示余弦相似度。
步骤S404，确定第q次训练时每个目标样本的最终伪标签：
其中，β表示置信度阈值，可以是预置的固定值，也可以采用自适应方式进行设置。
本实施中，对置信度阈值β的自适应设置为：
统计目标域数据的每一种初步伪标签的目标样本数，将每一种初步伪标签的所有目标样本的分类概率预测值的均值作为每一种初步伪标签的伪标签置信度；将最高伪标签置信度所对应的初步伪标签的目标样本数定义为/>，则/>，其中/>表示目标域数据的目标样本数量。
步骤S405，以为监督信息对特征生成器的网络参数进行更新，并保存更新后的特征生成器；
同时根据反向更新各分类的类别锚点/>，得到下一次训练轮次时的类别锚点/>：
并基于当前训练轮次下的每个目标样本的最终伪标签更新每个情绪分类的类别锚点：
其中，指数函数的取值为：若/>，则/>，否则。
步骤S406，若训练轮次数q小于或等于Q，则q自增1后返回步骤S402，及循环继续执行S402~S406，直到q大于Q时停止。
在适应训练过程，采用的损失函数是基于分类器的输出的分类损失函数（如基于交叉熵的分类损失函数），训练目标是最小化分类器的分类损失。
步骤S5，基于可穿戴设备实时采集目标用户的心电信号并作为待检测数据，所述待检测数据的数据长度与目标样本相同；将当前的待检测数据输入适应训练后的情绪识别模型中，获取目标用户的当前情绪检测结果，当预测情绪类别为目标情绪类别时，通过可穿戴设备对该目标用户进行提醒。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种基于可穿戴设备的情绪检测提醒方法，其特征在于，包括下列步骤；
步骤1，基于可穿戴设备采集n个被试者在不同情绪下的心电信号数据，其中，n为大于1的整数；
对采集的各个被试者的心电信号数据进行信号预处理，获取每个被试者在不同情绪下的若干个数据样本，并设置每个数据样本的情绪分类的真实标签，将同一被试者的所有数据样本作为当前用户的训练集，得到n个训练集S1，S2，…，Sn；
步骤2，合并n个训练集并将其作为源域数据对情绪识别模型进行预训练；
所述情绪识别模型包括特征提取网络和分类器，所述特征提取网络用于提取输入数据的信号特征，分类器用于对特征提取网络输出的信号特征进行情绪类别预测，用于输出各个情绪分类的预测置信度，基于最高预测置信度得到分类器的情绪检测结果：取值为该最高预测置信度的分类概率预测值，对应于该最高预测置信度的情绪类别标签的预测情绪类别；
所述特征提取网络为基于掩码的自编码器的自监督特征提取网络，其包括特征生成器和解码器，所述特征生成器为基于双线性卷积神经网络的编码器，所述特征生成器在预训练时的输入数据为：对源域数据的数据样本进行掩码处理后的数据样本；其中，所述掩码处理具体为：按照指定的掩码比例进行局部掩码处理；
所述特征生成器用于提取其输入数据的信号特征，得到输入数据映的隐空间特征；
所述解码器用于将编码器输出的隐空间特征重建到源域数据的数据样本所在的信号空间；
步骤3，基于可穿戴设备采集若干个新用户在不同工作任务及各工作任务的不同阶段下的心电信号数据，采用与步骤1相同的信号预处理方式对采集的心电信号数据进行信号预处理，将获取的数据样本作为各个新用户的目标样本；
步骤4，将所有新用户的目标样本作为目标域数据，基于目标域数据对预训练后的情绪识别模型进行缓解标签偏移的无源域适应跨个体的适应训练；
步骤5，基于可穿戴设备实时采集目标用户的心电信号并作为待检测数据，所述待检测数据的数据长度与目标样本相同；
将当前的待检测数据输入适应训练后的情绪识别模型中，获取目标用户的当前情绪检测结果，当预测情绪类别为目标情绪类别时，通过可穿戴设备对该目标用户进行提醒。
2.根据权利要求1所述的一种基于可穿戴设备的情绪检测提醒方法，其特征在于，所述信号预处理包括：对心电信号数据进行去噪处理，再按固定时间窗口进行切分，切分时相邻的两个时间窗口首尾连续且相邻的两个时间窗口之间不重叠，切分后的每个时间窗口的心电信号数据对应一个数据样本。
3.根据权利要求1所述的一种基于可穿戴设备的情绪检测提醒方法，其特征在于，步骤2中，情绪识别模型在预训练时，当预训练轮次小于或等于预置的最大预训练轮次时，其每一轮训练方式为：先固定分类器，训练特征生成器和解码器；再固定特征生成器，训练分类器；当预训练轮次大于预置的最大训练轮次时，保存预训练后的特征生成器和分类器执行适应训练；
其中，训练特征生成器和解码器时，采用的损失函数为：
；
其中，表示预训练时的特征提取网络损失函数，上标s用于表征源域数据，下标i用于表征源域数据的数据样本编号，/>表示源域数据的数据样本，/>表示/>经掩码处理后的数据样本，/>表示源域数据的数据样本数量，/>表示源域数据的第i个数据样本，/>表示数据样本/>进行掩码处理后的数据样本，/>表示特征生成器的输出，即输入数据映的隐空间特征，/>表示解码器的输出，符号/>表示2范数；
训练特征生成器和解码器的训练目标为最小化特征提取网络损失函数；
训练分类器时采用分类损失函数，训练目标为最小化分类损失函数。
4.根据权利要求1所述的一种基于可穿戴设备的情绪检测提醒方法，其特征在于，步骤4中，基于目标域数据对预训练后的情绪识别模型进行缓解标签偏移的无源域适应跨个体的适应训练具体为：
步骤401，基于预训练后的情绪识别模型的分类器的权重参数初始化每个情绪分类的类别锚点：第k个情绪分类的类别锚点的初始值为/>，其中，/>表示分类器对应于第k个情绪分类的权重参数，k表示情绪分类的编号；
步骤402，将目标域数据的目标样本输入预训练后的情绪识别模型，基于情绪识别模型的特征生成器的输出得到每个目标样本的隐空间特征，基于情绪识别模型的分类器的输出得到每个目标样本的分类概率预测值/>，其中，上标t用于表征目标域数据，下标j用于表征目标域数据的目标样本的编号；
步骤403，基于每个情绪分类的类别锚点的当前值，确定当前训练轮次下的每个目标样本的初步伪标签：
分别计算每个情绪分类的类别锚点与第j个目标样本的隐空间特征/>之间的余弦相似度；基于最小余弦相似度所对应的情绪类别标签得到当前训练轮次下的第j个目标样本的初步伪标签/>；
步骤404，确定当前训练轮次下的每个目标样本的最终伪标签：
若第j个目标样本的分类概率预测值大于置信度阈值β，则当前训练轮次下的第j个目标样本的最终伪标签/>为其初步伪标签/>；若/>小于或等于β，则将j个目标样本的分类概率预测值/>所对应的情绪类别标签作为其最终伪标签/>；
步骤405，基于当前训练轮次下的每个目标样本的最终伪标签为监督信息对特征生成器进行训练；
并基于当前训练轮次下的每个目标样本的最终伪标签更新每个情绪分类的类别锚点：
；
其中，指数函数的取值为：若/>，则/>，否则/>，/>表示目标域数据的目标样本数量；
步骤406，在训练轮次数小于或等于预置的最大适应训练轮次时，将目标域数据的目标样本输入到步骤405训练后的特征生成器中，得到下一训练轮次下的每个目标样本的隐空间特征；再将得到的隐空间特征/>输入情绪识别模型的分类器中，得到下一训练轮次下的每个目标样本的分类概率预测值/>；
基于更新后的各个类别锚点，以及下一训练轮次下的隐空间特征/>和分类概率预测值/>循环执行步骤403至步骤406，直到训练轮次数大于最大适应训练轮次。
5.根据权利要求4所述的一种基于可穿戴设备的情绪检测提醒方法，其特征在于，每次执行步骤404时，基于当前得到的初步伪标签和分类概率预测值设置所述置信度阈值β的值，具体为：
统计目标域数据的每一种初步伪标签的目标样本数；
将每一种初步伪标签的所有目标样本的分类概率预测值的均值作为每一种初步伪标签的伪标签置信度；
取最高伪标签置信度所对应的初步伪标签的目标样本数与目标域数据的目标样本数量的比值作为当前的置信度阈值β。
CN202310961895.4A 2023-08-02 2023-08-02 一种基于可穿戴设备的情绪检测提醒方法 Active CN116671919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310961895.4A CN116671919B (zh) 2023-08-02 2023-08-02 一种基于可穿戴设备的情绪检测提醒方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310961895.4A CN116671919B (zh) 2023-08-02 2023-08-02 一种基于可穿戴设备的情绪检测提醒方法

Publications (2)

Publication Number Publication Date
CN116671919A CN116671919A (zh) 2023-09-01
CN116671919B true CN116671919B (zh) 2023-10-20

Family

ID=87784055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310961895.4A Active CN116671919B (zh) 2023-08-02 2023-08-02 一种基于可穿戴设备的情绪检测提醒方法

Country Status (1)

Country Link
CN (1) CN116671919B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935478B (zh) * 2023-09-13 2023-12-22 深圳市格炎科技有限公司 一种智能手表的情感识别方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107736894A (zh) * 2017-09-24 2018-02-27 天津大学 一种基于深度学习的心电信号情绪识别方法
CN111860499A (zh) * 2020-07-01 2020-10-30 电子科技大学 一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法
WO2022017025A1 (zh) * 2020-07-23 2022-01-27 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质以及电子设备
GB202204655D0 (en) * 2022-03-31 2022-05-18 V Nova Int Ltd Signal processing with overlay regions
CN114631831A (zh) * 2022-03-04 2022-06-17 南京理工大学 基于半监督领域自适应的跨个体情绪脑电识别方法及系统
KR20220111568A (ko) * 2021-02-02 2022-08-09 상명대학교산학협력단 심장-표정 동기화 기반 감성 인식 방법 및 시스템
CN115392287A (zh) * 2022-07-21 2022-11-25 西安电子科技大学 一种基于自监督学习的脑电信号在线自适应分类方法
CN115587969A (zh) * 2022-09-07 2023-01-10 北京工商大学 一种跨域小样本缺陷目标检测方法
CN115590515A (zh) * 2022-09-28 2023-01-13 上海零唯一思科技有限公司（Cn） 基于生成式自监督学习和脑电信号的情绪识别方法及系统
CN115856653A (zh) * 2022-12-15 2023-03-28 浙江大学 基于掩码表征的锂电池健康状态变工况迁移预测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580421B2 (en) * 2019-10-16 2023-02-14 Qualcomm Incorporated Weakly supervised learning for improving multimodal sensing platform
US11861940B2 (en) * 2020-06-16 2024-01-02 University Of Maryland, College Park Human emotion recognition in images or video
CN112348640B (zh) * 2020-11-12 2021-08-13 北京科技大学 一种基于面部情感状态分析的在线购物系统及方法
US20220335572A1 (en) * 2021-04-12 2022-10-20 nearmap australia pty ltd. Semantically accurate super-resolution generative adversarial networks
CN113627518B (zh) * 2021-08-07 2023-08-08 福州大学 利用迁移学习实现神经网络脑电情感识别模型的方法
US20230094415A1 (en) * 2021-09-28 2023-03-30 Adobe Inc. Generating a target classifier for a target domain via source-free domain adaptation using an adaptive adversarial neural network

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107736894A (zh) * 2017-09-24 2018-02-27 天津大学 一种基于深度学习的心电信号情绪识别方法
CN111860499A (zh) * 2020-07-01 2020-10-30 电子科技大学 一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法
WO2022017025A1 (zh) * 2020-07-23 2022-01-27 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质以及电子设备
KR20220111568A (ko) * 2021-02-02 2022-08-09 상명대학교산학협력단 심장-표정 동기화 기반 감성 인식 방법 및 시스템
CN114631831A (zh) * 2022-03-04 2022-06-17 南京理工大学 基于半监督领域自适应的跨个体情绪脑电识别方法及系统
GB202204655D0 (en) * 2022-03-31 2022-05-18 V Nova Int Ltd Signal processing with overlay regions
CN115392287A (zh) * 2022-07-21 2022-11-25 西安电子科技大学 一种基于自监督学习的脑电信号在线自适应分类方法
CN115587969A (zh) * 2022-09-07 2023-01-10 北京工商大学 一种跨域小样本缺陷目标检测方法
CN115590515A (zh) * 2022-09-28 2023-01-13 上海零唯一思科技有限公司（Cn） 基于生成式自监督学习和脑电信号的情绪识别方法及系统
CN115856653A (zh) * 2022-12-15 2023-03-28 浙江大学 基于掩码表征的锂电池健康状态变工况迁移预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于掩码自编码器的小样本深度学习道岔故障诊断模型;李刚;徐长明;龚翔;卢佩玲;董贺超;史维利;中国铁道科学(006);全文 *
基于深度学习检测器的多角度人脸关键点检测;赵兴文;杭丽君;宫恩来;叶锋;丁明旭;;光电工程(01);全文 *
基于深度学习算法的正负性情绪识别研究;喻一梵;乔晓艳;;测试技术学报(05);全文 *

Also Published As

Publication number Publication date
CN116671919A (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
Altaheri et al. Physics-informed attention temporal convolutional network for EEG-based motor imagery classification
Reasat et al. Detection of inferior myocardial infarction using shallow convolutional neural networks
Li et al. Toward improving ECG biometric identification using cascaded convolutional neural networks
Yuan et al. Muvan: A multi-view attention network for multivariate temporal data
Zhao et al. Noise rejection for wearable ECGs using modified frequency slice wavelet transform and convolutional neural networks
Pham et al. Classification of short time series in early Parkinsonʼ s disease with deep learning of fuzzy recurrence plots
Harati et al. Depression severity classification from speech emotion
CN111461176A (zh) 基于归一化互信息的多模态融合方法、装置、介质及设备
Karnati et al. LieNet: a deep convolution neural network framework for detecting deception
Tan et al. Explainable uncertainty-aware convolutional recurrent neural network for irregular medical time series
CN116671919B (zh) 一种基于可穿戴设备的情绪检测提醒方法
CN112200016A (zh) 基于集成学习方法AdaBoost的脑电信号情感识别
CN111920420B (zh) 一种基于统计学习的患者行为多模态分析与预测系统
Liang et al. Obstructive sleep apnea detection using combination of CNN and LSTM techniques
Wu et al. Robust ecg biometrics using two-stage model
Xie et al. WT feature based emotion recognition from multi-channel physiological signals with decision fusion
CN115422973A (zh) 一种基于注意力的时空网络的脑电情绪识别方法
Zhang et al. Know your mind: Adaptive cognitive activity recognition with reinforced CNN
Hamid et al. Integration of deep learning for improved diagnosis of depression using eeg and facial features
CN114191665A (zh) 机械通气过程中人机异步现象的分类方法和分类装置
Zhang et al. Know your mind: Adaptive brain signal classification with reinforced attentive convolutional neural networks
CN116746947A (zh) 基于在线测试时间域适应的跨受试者脑电信号分类方法
Tseng et al. Ecg identification system using neural network with global and local features.
Prawira et al. Emotion Classification Using Fast Fourier Transform and Recurrent Neural Networks
Rao et al. Parkinson's Disease Detection Using Voice and Spiral Drawing Dataset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant