CN117290809B - 多源异构生理信号融合方法及装置、设备、存储介质 - Google Patents

多源异构生理信号融合方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN117290809B
CN117290809B CN202311562734.4A CN202311562734A CN117290809B CN 117290809 B CN117290809 B CN 117290809B CN 202311562734 A CN202311562734 A CN 202311562734A CN 117290809 B CN117290809 B CN 117290809B
Authority
CN
China
Prior art keywords
quality
heterogeneous
signal
source heterogeneous
physiological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311562734.4A
Other languages
English (en)
Other versions
CN117290809A (zh
Inventor
胡方扬
魏彦兆
李宝宝
唐海波
迟硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaozhou Technology Co ltd
Original Assignee
Xiaozhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaozhou Technology Co ltd filed Critical Xiaozhou Technology Co ltd
Priority to CN202311562734.4A priority Critical patent/CN117290809B/zh
Publication of CN117290809A publication Critical patent/CN117290809A/zh
Application granted granted Critical
Publication of CN117290809B publication Critical patent/CN117290809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221—Determining signal validity, reliability or quality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/27—Regression, e.g. linear or logistic regression

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明属于信号处理技术领域，公开了一种多源异构生理信号融合方法及装置、设备、存储介质，通过采集当前时间点的多源异构生理信号进行预处理，进行信号质量评估获得各源信号的当前质量评分，计算对应的当前质量权重构建质量权重矩阵；同时进行特征提取获得各源信号的特征子矩阵，获取各源信号的注意力权重向量拼接成注意力权重矩阵；然后将注意力权重矩阵和质量权重矩阵融合后，再对各源信号的特征子矩阵加权融合得到用于识别用户意图的目标特征矩阵，从而可以实时对各源信号质量进行动态评估，并动态调整各源信号权重，结合注意力权重有针对性的对各源信号进行融合处理，因此可以提高融合结果的准确性和可靠性。

Description

多源异构生理信号融合方法及装置、设备、存储介质
技术领域
本发明属于信号处理技术领域，具体涉及一种多源异构生理信号融合方法及装置、设备、存储介质。
背景技术
随着科技的进步，各类智能控制系统得到越来越广泛的应用，对控制的精确性和可靠性要求也越来越高。为提高控制性能，多源异构信息的采集和融合成为一个关键技术。目前，单一类型的传感器很难满足控制系统对多源信息获取的需求。因此，融合不同类型、不同信息形式的传感器信号以获得更丰富的控制输入成为重要手段。
现有的多源异构信息融合方法大多是基于手工特征工程，根据专家经验设计特征表示和融合模型。在实践中发现，随着时间的推移，采集到的各源异构信号的质量可能会发生变化，现有融合方法对各源异构信号进行简单融合处理，可能存在质量较差的信号对融合结果产生误导，导致融合结果不够准确、可靠。
发明内容
本发明的目的在于提供一种多源异构生理信号融合方法及装置、设备、存储介质，可以避免质量较差的信号对融合结果产生误导，进而提高融合结果的准确性和可靠性。
本发明第一方面公开一种多源异构生理信号融合方法，包括：
采集当前时间点的多源异构生理信号进行预处理，获得各源异构生理信号的预处理信号；
根据所述预处理信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分；
根据各源异构生理信号的所述当前质量评分，计算得到对应的当前质量权重，根据多源异构生理信号的所述当前质量权重，构建质量权重矩阵；
对各源异构生理信号的所述预处理信号进行特征提取，获得各源异构生理信号的特征子矩阵；
根据各源异构生理信号的所述特征子矩阵，获得各源异构生理信号的注意力权重向量拼接成注意力权重矩阵；
对所述注意力权重矩阵和所述质量权重矩阵进行融合，获得融合权重矩阵；
根据所述融合权重矩阵对各源异构生理信号的所述特征子矩阵进行加权融合，得到目标特征矩阵，所述目标特征矩阵用于识别用户意图。
在一些实施例中，根据所述预处理信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分，包括：
控制滑动窗口以指定滑动步长在所述预处理信号中滑动，每次滑动后计算当前窗口内的样本统计特征；
对所有滑动窗口进行遍历判定所述预处理信号中是否存在丢包段；
若不存在丢包段，对所述预处理信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分。
在一些实施例中，所述方法还包括：
若存在丢包段，对所述预处理信号中的丢包段进行重构以获得各源异构生理信号的重构信号；
对各源异构生理信号的重构信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分。
在一些实施例中，对各源异构生理信号的重构信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分，包括：
计算各源异构生理信号的重构信号的至少两个信号质量指标；
根据至少两个信号质量指标，计算获得各源异构生理信号在当前时间点的当前质量评分。
在一些实施例中，根据各源异构生理信号的所述当前质量评分，计算得到对应的当前质量权重，根据多源异构生理信号的所述当前质量权重，构建质量权重矩阵，包括：
根据各源异构生理信号的所述当前质量评分所属的质量等级，确定相应的权重更新系数；
根据各源异构生理信号的所述权重更新系数、所述当前质量评分、以及在上一时间点的历史质量评分和历史质量权重，计算得到各源异构生理信号在当前时间点的当前质量权重；
将各源异构生理信号的当前质量权重赋予其所包括的全部特征，获得各源异构生理信号的质量权重向量；
将各源异构生理信号的所述质量权重向量拼接成质量权重矩阵。
在一些实施例中，根据各源异构生理信号的所述特征子矩阵，获得各源异构生理信号的注意力权重向量拼接成注意力权重矩阵，包括：
将各源异构生理信号的所述特征子矩阵输入预设注意力网络，以学习得到各源异构生理信号的注意力权重向量；
将各源异构生理信号的注意力权重向量拼接成注意力权重矩阵。
在一些实施例中，根据各源异构生理信号的所述特征子矩阵，获得各源异构生理信号的注意力权重向量拼接成注意力权重矩阵，包括：
将各源异构生理信号的所述特征子矩阵映射到共同对齐空间，获得各源异构生理信号在共同对齐空间的目标特征表达；
将各源异构生理信号的所述目标特征表达输入预设注意力网络，以学习得到各源异构生理信号的注意力权重向量；
将各源异构生理信号的注意力权重向量拼接成注意力权重矩阵。
本发明第二方面公开一种多源异构生理信号融合装置，包括：
预处理单元，用于采集当前时间点的多源异构生理信号进行预处理，获得各源异构生理信号的预处理信号；
质量评估单元，用于根据所述预处理信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分；
第一获取单元，用于根据各源异构生理信号的所述当前质量评分，计算得到对应的当前质量权重，根据多源异构生理信号的所述当前质量权重，构建质量权重矩阵；
特征提取单元，用于对各源异构生理信号的所述预处理信号进行特征提取，获得各源异构生理信号的特征子矩阵；
第二获取单元，用于根据各源异构生理信号的所述特征子矩阵，获得各源异构生理信号的注意力权重向量拼接成注意力权重矩阵；
第一融合单元，用于对所述注意力权重矩阵和所述质量权重矩阵进行融合，获得融合权重矩阵；
第二融合单元，用于根据所述融合权重矩阵对各源异构生理信号的所述特征子矩阵进行加权融合，得到目标特征矩阵，所述目标特征矩阵用于识别用户意图。
在一些实施例中，所述质量评估单元包括以下子单元：
检测子单元，用于控制滑动窗口以指定滑动步长在所述预处理信号中滑动，每次滑动后计算当前窗口内的样本统计特征；
判断子单元，用于对所有滑动窗口进行遍历判定所述预处理信号中是否存在丢包段；
第一处理子单元，用于在判断子单元判断出不存在丢包段时，对所述预处理信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分。
进一步的，所述质量评估单元还可以包括：
重构子单元，用于在判断子单元判断出存在丢包段时，对所述预处理信号中的丢包段进行重构以获得各源异构生理信号的重构信号；
第二处理子单元，用于对各源异构生理信号的重构信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分。
在一些实施例中，所述第二处理子单元，具体用于计算各源异构生理信号的重构信号的至少两个信号质量指标；根据至少两个信号质量指标，计算获得各源异构生理信号在当前时间点的当前质量评分。
在一些实施例中，所述第一获取单元包括以下子单元：
系数确定子单元，用于根据各源异构生理信号的所述当前质量评分所属的质量等级，确定相应的权重更新系数；
计算子单元，用于根据各源异构生理信号的所述权重更新系数、所述当前质量评分、以及在上一时间点的历史质量评分和历史质量权重，计算得到各源异构生理信号在当前时间点的当前质量权重；
赋值子单元，用于将各源异构生理信号的当前质量权重赋予其所包括的全部特征，获得各源异构生理信号的质量权重向量；
构建子单元，用于将各源异构生理信号的所述质量权重向量拼接成质量权重矩阵。
在一些实施例中，所述第二获取单元包括以下子单元：
第一学习子单元，用于将各源异构生理信号的所述特征子矩阵输入预设注意力网络，以学习得到各源异构生理信号的注意力权重向量；
第一拼接子单元，用于将各源异构生理信号的注意力权重向量拼接成注意力权重矩阵。
在一些实施例中，所述第二获取单元包括以下子单元：
映射子单元，用于将各源异构生理信号的所述特征子矩阵映射到共同对齐空间，获得各源异构生理信号在共同对齐空间的目标特征表达；
第二学习子单元，用于将各源异构生理信号的所述目标特征表达输入预设注意力网络，以学习得到各源异构生理信号的注意力权重向量；
第二拼接子单元，用于将各源异构生理信号的注意力权重向量拼接成注意力权重矩阵。
本发明第三方面公开一种电子设备，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行第一方面公开的多源异构生理信号融合方法。
本发明第四方面公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行第一方面公开的多源异构生理信号融合方法。
本发明的有益效果在于，通过采集当前时间点的多源异构生理信号进行预处理，根据预处理信号进行质量评估获得各源异构生理信号的当前质量评分，并根据当前质量评分计算对应的当前质量权重构建质量权重矩阵；同时对预处理信号进行特征提取获得各源异构生理信号的特征子矩阵，根据特征子矩阵获得各源异构生理信号的注意力权重向量拼接成注意力权重矩阵；然后将注意力权重矩阵和质量权重矩阵融合后，再对各源异构生理信号的特征子矩阵加权融合，得到用于识别用户意图的目标特征矩阵，从而可以实时对各源信号质量进行动态评估，并基于质量评分动态调整各源信号的提取权重，结合学习到各源信号对融合结果的重要性的注意力权重，有针对性的对各源信号进行融合处理，因此可以避免质量较差的信号对融合结果产生误导，进而提高融合结果的准确性和可靠性。
附图说明
此处的附图，示出了本发明所述技术方案的具体实例，并与具体实施方式构成说明书的一部分，用于解释本发明的技术方案、原理及效果。
除非特别说明或另有定义，不同附图中，相同的附图标记代表相同或相似的技术特征，对于相同或相似的技术特征，也可能会采用不同的附图标记进行表示。
图1是本发明实施例公开的一种多源异构生理信号融合方法的流程图；
图2是本发明实施例公开的另一种多源异构生理信号融合方法的流程图；
图3是本发明实施例公开的一种多源异构生理信号融合装置的结构示意图；
图4是本发明实施例公开的一种电子设备的结构示意图。
附图标记说明：
301、预处理单元；302、质量评估单元；303、第一获取单元；304、特征提取单元；305、第二获取单元；306、第一融合单元；307、第二融合单元；401、存储器；402、处理器。
具体实施方式
除非特别说明或另有定义，本文所使用的所有技术和科学术语与所属技术领域的技术人员通常理解的含义相同。在结合本发明的技术方案以现实的场景的情况下，本文所使用的所有技术和科学术语也可以具有与实现本发明的技术方案的目的相对应的含义。本文所使用的“第一、第二…”仅仅是用于对名称的区分，不代表具体的数量或顺序。本文所使用的术语“和／或”包括一个或多个相关的所列项目的任意的和所有的组合。
需要说明的是，当元件被认为“固定于”另一个元件，它可以是直接固定在另一个元件上，也可以是存在居中的元件；当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件，也可以是同时存在居中元件；当一个元件被认为是“安装在”另一个元件，它可以是直接安装在另一个元件，也可以是同时存在居中元件。当一个元件被认为是“设在”另一个元件，它可以是直接设在另一个元件，也可以是同时存在居中元件。
除非特别说明或另有定义，本文所使用的“所述”、“该”为相应位置之前所提及或描述的技术特征或技术内容，该技术特征或技术内容与其所提及的技术特征或技术内容可以是相同的，也可以是相似的。此外，本文所使用的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明公开的多源异构生理信号融合方法可以通过计算机编程实现。该方法的执行主体可为如计算机电脑、笔记本电脑、平板电脑等电子设备，或内嵌于电子设备中的多源异构生理信号融合装置，本发明对此不作限定。为了便于理解本发明，下面将参照说明书附图对本发明的具体实施例进行更详细的描述。
实施例一
如图1所示，本发明实施例公开一种多源异构生理信号融合方法，该方法包括以下步骤110~170：
110、采集当前时间点的多源异构生理信号进行预处理，获得各源异构生理信号的预处理信号。
其中，多源异构生理信号至少包括脑电信号（Electroencephalography，EEG）、眼电信号（electro-oculogram，EOG）和肌电信号（Electromyography，EMG）中的任意两个。示例性的，在本发明实施例中，包括脑电信号EEG、眼电信号EOG和肌电信号EMG三种。
作为脑电信号EEG的一种示例性采集方式，可以通过用户佩戴的脑电头环进行采集。具体的，采用8通道脑电头环，头环上环状布置有金属球型干电极，电极按10-20系统布置于头顶(Cz)、前额(Fp1，Fp2)、颞部(T7，T8)等部位。头环采用弹性材质，可按头围调节。电极使用金属材料，并镀膜处理以降低接触皮肤电阻。在佩戴头环时，调节位置使各电极与头皮充分接触，然后向每个电极施加导电凝胶，减小电极-皮肤间接触阻抗。检测每个电极的皮肤接触阻抗，确保所有通道的阻抗值均在5kΩ以下，达到信号采集要求。EEG信号频率范围为0.5-100Hz，主要采集δ波、θ波、α波、β波和γ波。采样频率设置为250Hz以上，满足奈奎斯特采样定理。
作为眼电信号EOG的一种示例性采集方式，可以使用直径10mm的Ag/AgCl材质盘形电极采集眼电信号，电极具有低静电水平。在左右眼眼窝上方各布置1个电极，作为垂直EOG信号的采集通道。眼窝下方各布置1个电极作为参考电极。在左右眼外侧鼻翼附近分别布置2个电极，组成水平EOG采集通道。鼻尖处布置参考电极。EOG信号频率主要在0.1-10Hz。根据奈奎斯特定理，采样频率选择250Hz。检测电极皮肤接触阻抗，保证阻抗低于5kΩ。放大器带宽0.1-35Hz，增益达10000倍。每个EOG通道进行单独放大，采用差分放大提高信号质量。
作为肌电信号EMG的一种示例性采集方式，可以使用双极肌电传感器采集面部表情肌肉的肌电信号。在口角肌、颧骨肌等主要表情肌上各布置一对电极进行差分放大。电极直径为10mm，间距20mm，采用Ag/AgCl材质，减小运动工件噪声。参考电极布置在电极附近无肌电活动的部位。EMG信号频率范围在10-500Hz，根据奈奎斯特定理，采样频率选择大于1000Hz。通过带通滤波器滤除低频运动工件噪声和高频随机噪声。放大器带宽10-500Hz，放大倍数可达1000倍以上。
在本发明实施例中，针对原始生物电信号中的各类噪声，可以通过设计短时和长时误差校正模块进行预处理。其中，短时误差(Short-time error)主要指信号在很短的时间尺度内的随机误差，这种误差通常来自毛刺脉冲噪声、眼动噪声等，误差时间跨度短但幅值可能很大，可以采用FIR滤波器实现短时误差校正。而长时误差(Long-time error)主要指在更长的时间范围内信号呈现的漂移或衰减，这种误差的时间跨度长，如EEG信号的线性漂移、EOG信号的低频漂移、EMG信号的直流漂移等。
具体的，预处理包括依次进行的滤波、定位信号非平稳段、消除漂移、残余误差补偿等处理过程。
在短时误差校正模块中，滤波处理的方式包括：一方面，采用30阶的FIR滤波器对EEG和EMG信号进行滤波处理，以保留有效信号成分。其中，该滤波器的通带截止频率设定为0.5Hz，阻带截止频率为0.1Hz。线性趋势主要集中在超低频部分，因此阻带设置为0-0.1Hz。通带截止频率设置为0.1Hz-0.5Hz，通带可以保留有效EEG和EMG成分。30阶可以使转换的通带更加陡峭。为了优化频率响应，使用Hamming窗函数加窗，可以有效抑制通带和阻带的波纹。另外，利用Parks-McClellan算法来优化滤波器的系数，这是一种迭代优化算法，可以取得最佳的幅频特性，以上设计的FIR高通滤波，可以有效地消除EEG和EMG中的线性趋势，改善信号质量，同时保留有效成分。
另一方面，采用300样本中值滤波的FIR滤波器对EOG信号进行滤波处理。同时，利用小波变换设计随机噪声抑制方案，选择Db4小波进行4层小波分解，得到不同频带的小波系数。然后在每个频带分别采用软阈值法，根据阈值判断小波系数是否保留。通过软阈值法可以平滑地抑制噪声小波系数；通过4层分解可以分解出多个频带，进行层次化阈值处理；DB4小波与EOG信号特性契合，结合软阈值可以较好地抑制随机噪声，有助于提升EOG信号质量。
在长时误差校正模块中，第一步，定位信号非平稳段的方式为：采用滑动时间窗口，计算多个时刻的自相关系数，将各时刻的自相关系数最大值形成时间序列，表示信号平稳性的动态变化。设置自相关系数阈值0.85，当自相关系数最大值低于该自相关系数阈值时，判定信号出现了平稳性降低的情况。通过平稳性判断，可以定位出信号中存在问题的非平稳段。这样在进行漂移消除时，可以对非平稳段进行重点处理。比如，可以对非平稳段进行滤波参数优化，或者划分为不同的段单独处理。第二步，消除漂移的方式为：
对EEG信号采用平均参考技术进行漂移消除：设置若干个(例如2-3个)参考电极，这些电极置于不记录脑电活动的位置，主要检测头皮区域的漂移信号。将这几个参考电极的信号平均作为参考信号，然后对记录电极的EEG信号进行减法运算，即Signal(去漂移后)= Signal(原始)- Reference(平均参考)。由于头皮漂移对不同位置是近似同步的，减去平均后的参考信号可以有效消除EEG记录中的漂移，而保留较为清晰的脑电活动信息。
对EOG信号采用自适应滤波进行漂移消除：根据EOG信号频谱设计低通滤波器，滤波器传递函数的权重系数通过递归的LMS算法进行自适应优化，以便动态跟踪EOG信号的变化。在滑动窗口上对信号滤波，不断检测滤波效果，如果仍存在漂移，进一步调整系数以改善滤波结果。迭代运算使滤波器参数不断逼近最优，从而适应信号，有效减弱EOG中的漂移。
对EMG信号采用带阻滤波进行漂移消除：根据EMG频谱分布设计带阻滤波器，阻带设置为漂移的主要集中频段，通过陡峭的滤波器段位特性只阻断低频漂移。滤波器的通带保留有效EMG的主要频率成分，从而只消除漂移的干扰，避免丢失有用信息。
第三步，残余误差补偿的方式为：对已进行平稳性判断和漂移处理的生理信号，仍存在一些细小的漂移误差没有被消除，直接对信号进行后续分析会造成一定影响。因此需采取误差补偿措施来进一步减小残余误差的影响。可以将去除大部分漂移后的生理信号看作是由有用信号和漂移误差两部分构成，采用自回归模型来描述残余误差的统计规律，自回归模型中包含若干待确定的模型系数；然后应用最小二乘法对模型系数进行优化得到最优参数；根据优化后的模型，可以生成一个误差补偿信号，并在两端加上余弦窗函数进行平滑处理。最终这个补偿信号被叠加到原滤波信号上，从而抵消残余误差的影响，获得更加准确的预处理信号进行后续分析。
实施上述预处理操作，可以根据实时信号质量有效滤除噪声和模糊信息，进一步提高信号质量，以保证后续特征提取的可靠性，避免错误特征对融合结果产生误导。
120、根据预处理信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分。
优选的，考虑到在信号传输过程中，可能会出现部分数据丢包的情况，需要进行丢包检测以及对丢包段进行重构以还原信号的完整性。具体的，步骤120可以包括以下未图示的步骤1201~1205：
1201、控制滑动窗口以指定滑动步长在预处理信号中滑动，每次滑动后计算当前窗口内的样本统计特征。
其中，样本统计特征包括相邻两个样本差值的均值和方差，以及每个样本与前后10个样本的相关系数均值。滑动窗口大小设为200个样本，指定滑动步长为20个样本。
1202、对所有滑动窗口进行遍历判定预处理信号中是否存在丢包段。若不存在丢包段，执行步骤1203；若存在丢包段，执行步骤1204~1205。
其中，滑动窗口每滑动一次，则判断当前窗口内的样本统计特征是否符合丢包判定条件，若符合，则判定当前窗口为丢包段，并记录当前窗口的起始位置和丢包长度。通过设置丢包判定条件，例如，相邻样本差值的方差超过正常值的3倍，或相关系数均值低于0.7时，认为该段信号存在丢包，记录下判定为丢包段的起始位置(当前窗口的起点)和丢包长度(窗口包含的样本数)。
1203、对预处理信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分。
1204、对预处理信号中的丢包段进行重构以获得各源异构生理信号的重构信号。
在步骤1204中，具体包括：若丢包段的丢包长度小于指定数量个样本，判定为小范围丢包，采用三次样条插值法对小范围丢包进行重构，以获得各源异构生理信号的重构信号；若丢包段的丢包长度大于或等于指定数量个样本，判定为大范围丢包，采用自回归模型对大范围丢包进行重构，以获得各源异构生理信号的重构信号。其中，指定数量可设置为80。
当丢包范围较短时，可以应用三次样条插值法进行重构。该方法根据丢包前后的数据点，构建三次样条曲线，并计算丢包段对应点的函数值，作为重构结果。这种插值方法可以平滑地连接丢包前后的数据，实现小范围信号的无缝补全。
当丢包范围超过一定长度时，可以利用自回归模型合成大范围丢失的信号。例如，建立一个20阶的自回归模型，包含足够的模型参数来模拟信号的相关性。采用相邻正常段的数据训练模型，得到最优的参数。然后由模型生成丢包段对应长度的合成信号。为控制合成信号与正常信号的平滑衔接，在两端加上余弦窗调制响应，作为重构信号。通过结合样条插值和自回归合成，可以有效处理生理信号中不同范围的数据丢失，重构连续完整的信号进行后续的信号质量分析。
1205、对各源异构生理信号的重构信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分。
具体的，步骤1205可以包括以下未图示的步骤S11~S12：
S11、计算各源异构生理信号的重构信号的至少两个信号质量指标。
可选的，至少两个信号质量指标包括信噪比、自相关系数和平稳性中的任意两个。
信噪比SNR表示信号强度对噪声的抑制程度，采用功率法估计信号功率和噪声功率计算。首先，将信号按时间顺序排列为样本点序列：x1，x2，...，xn；计算每个样本点的功率：，i是样本点的索引i=1，2...n；将所有样本点功率求和再求平均值，得到信号平均功率：/>。然后，对信号进行滤波去噪得到噪声序列：n1，n2，...，nn；同样计算噪声序列每个样本点功率/>，i=1，2...n，再求和平均得到噪声平均功率：/>。最后，信噪比SNR = P信号 / P噪声，SNR代表信号功率与噪声功率的比值，SNR越大表示信号质量越好。
自相关系数R反映信号的自相关性，R值越大，表示自相关性越强。可以采用皮尔逊相关系数方法计算：首先对信号进行时滞，得到两个信号序列：x1，x2，...xn和y1，y2，...yn，然后计算每个信号序列的均值，记为μx和μy，再对每个样本点索引i，计算(xi- μx)和(yi-μy)的乘积，将所有时刻的乘积求和，得到协方差Σ(xi- μx)(yi- μy)，单独计算每个序列的方差Σ(xi- μx)2和Σ(yi- μy)2最后计算。
平稳性S反映信号随时间变化是否稳定。作为一种实施方式，可以使用增量单位根检验法计算平稳性S：建立信号的一阶差分序列：ΔXt = Xt- Xt-1；建立回归模型：ΔXt = βXt-1+ et；检验回归系数β是否显著等于0；如果否定β=0，则信号平稳；否则，信号不平稳。其中et是随机误差项，表示除了变量Xt-1的影响之外，ΔXt的随机扰动部分。引入et的目的是考虑到实际信号中的随机波动，使建立的回归模型更符合实际情况。或者，作为另一种实施方式，使用方差齐性检验法计算平稳性S：将信号按时间顺序分段；计算每个段的信号方差s1 2，s2 2，...，sn 2；计算方差比率：s1 2/s2 2，s1 2/s3 2，...；如果方差比率在阈值范围内，则信号平稳。其中，增量单位根检验主要检验信号的均值和方差是否稳定，而不能检测信号过程的高阶矩是否平稳。方差齐性检验可以通过检验信号过程方差的变化来反映高阶矩的平稳性。两种方法原理不同，增量单位根检验基于回归分析，方差齐性检验基于方差比较。单独使用任一方法都可能导致平稳性检验结果偏差，合用两种方法可以提高检验的准确性。
S12、根据至少两个信号质量指标，计算获得各源异构生理信号在当前时间点的当前质量评分。
具体的，可以对各源异构生理信号进行加权融合，将融合获得的指标值确定为当前质量评分。例如，在本发明实施例中，信号质量指标包括信噪比、自相关系数和平稳性，那么各个时间点的当前质量评分。其中，t表示时间点，w1，w2，w3为SNR、R、S指标的权重，w1+w2+w3=1。
，snr_mi和snr_max为预定的SNR理论最小值和最大值，将实际计算得到的SNR值线性映射到0-100区间。SNR越大，score_SNR评分越高；/>；R值越大，score_R评分越高；S为布尔类型，true表示平稳，false表示不平稳；平稳时记满分：score_S = 100；不平稳时记0分：score_S = 0。
130、根据各源异构生理信号的当前质量评分，计算得到对应的当前质量权重，根据多源异构生理信号的当前质量权重wq(t)，构建质量权重矩阵Wq(t)。
具体的该步骤可以包括以下未图示的步骤1301~1304：
1301、根据各源异构生理信号的当前质量评分所属的质量等级，确定相应的权重更新系数。
其中，若当前质量评分score ≥ 90，质量等级为高；若当前质量评分80 ≤ score<90，质量等级为中；若当前质量评分60 ≤ score<80，质量等级为低。相应的，当质量等级为高时，权重更新系数α可设为0.1；当质量等级为中时，权重更新系数α可设为0.05；当质量等级为低时，权重更新系数α可设为0.01。
1302、根据各源异构生理信号的权重更新系数、当前质量评分、以及在上一时间点的历史质量评分和历史质量权重，计算得到各源异构生理信号在当前时间点的当前质量权重。
其中，各源异构生理信号在当前时间点的当前质量权重，其中，t表示当前时间点，t-1表示上一时间点，wq(t-1)表示上一时间点的历史质量权重，score(t-1)表示上一时间点的历史质量评分。
1303、将各源异构生理信号的当前质量权重赋予其所包括的全部特征，获得各源异构生理信号的质量权重向量。
需要说明的是，通常对各源异构生理信号的所有特征全部初始化权重wi为1/N，并无考虑到不同源信号的质量差异，而对不同源信号之间的特征赋予相同的权重。其中，N为特征总数，N=N1+N2+N3，即不同源信号之间的所有特征的初始权重相等，比如EEG包含3个特征x1、x2、x3；EOG包含2个特征x3；EMG包含2个特征x4、x5，则一共有N=3+2+2=7个特征，每个特征的初始权重 wi = 1/7。
在本发明实施例中，不同源信号之间的特征的当前质量权重可以相同也可以不同，这取决于不同源信号的当前质量权重是否相同。也即，对于同一源信号中的所有特征，其当前质量权重相同，因为是针对单个源信号质量进行整体评分的。而各源信号所包括的特征数量可能有所不同，因此将各源异构生理信号的当前质量权重赋予其所包括的全部特征后，可获得各源异构生理信号的质量权重向量。例如，假设有3个源信号，EEG、EOG和EMG，EEG信号有3个特征，EOG信号有2个特征，EMG信号有2个特征。则EEG的当前质量权重记为wq_eeg，构建质量权重向量为 [wq_eeg，wq_eeg，wq_eeg]，维度为3×1；EOG的当前质量权重记为wq_eog，构建质量权重向量为 [wq_eog，wq_eog]，维度为2×1；EMG的当前质量权重记为wq_emg，构建质量权重向量为 [wq_emg，wq_emg]，维度为2×1。
1304、将各源异构生理信号的质量权重向量拼接成质量权重矩阵Wq(t)。
将所有源信号的质量权重向量进行拼接，得到完整的质量权重矩阵：Wq = [wq1；wq2；...；wqk]，维度为N×1。基于上述例子，最终拼接得到的质量权重矩阵Wq(t)= [wq_eeg，wq_eeg，wq_eeg，wq_eog，wq_eog，wq_emg，wq_emg] ，维度为7×1。
140、对各源异构生理信号的预处理信号进行特征提取，获得各源异构生理信号的特征子矩阵。
对预处理信号进行特征提取获得各源异构生理信号的特征子矩阵的方式可以包括：
在EEG的特征提取过程中，首先采用Db4小波进行5级分解，分析δ(0-4Hz)、θ(4-8Hz)、α(8-16Hz)、β(16-31Hz)和γ(32-64Hz)五个频带的功率特征，计算每个频带占总功率的比例作为特征，同时提取每个频带的均值、标准差、偏度、峰度等统计特征，共提取了20个时频特征。然后计算原始EEG信号的均值、标准差、偏度、峭度、Keslar聚类、Hjorth复杂度等6个时间特征。接着进行1024点快速傅里叶变换，提取谱峰和谱谷比例、主要频率振幅等10个频域特征。之后利用主成分分析，保留贡献率达到95%的前8个主成分，得到降维后的8维特征。最终提取到表达EEG关键信息的44维低维特征，为后续的EEG信号分类任务提供了高质量和低冗余的特征表达。
在EOG的特征提取过程中，首先检测眼电图信号中的快速眼动段和定睛段，提取眼球运动的起始时间、终止时间，并计算平均速度、峰值速度、加速度等构建了10个眼动轨迹特征。然后使用db5小波对EOG信号进行3层分解，获得了包含δ、θ、α频带信息的小波系数，并计算每个频带的能量、标准差等10个时频统计特征。同时，直接从原始EOG信号中统计了眨眼持续时间、眨眼间隔、眨眼频率等6个时间特征。接下来，应用快速ICA算法分离眼电图中的脑电成分，获得15个相互独立的特征表达。经过上述步骤，共提取了41维特征，包括10维眼动特征，10维时频特征，6维时间特征和15维独立成分特征，全面表达了EOG信号关键信息。
在EMG的特征提取过程中，首先应用小波包变换bior3.7进行3层分解，其中bior3.7代表一种双正交小波，3和7分别表示析取滤波器和重构滤波器的长度。它可以分析不同子带的能量特征，通过计算每个频带的能量值、频带中心频率等，提取了12个频带特征。然后检测EMG信号的包络，计算包络波形的峰值、均方根、波形长度、过零率等，共获得8个时域统计特征。接着利用自相关函数分析肌电信号的周期性，获得3个表示肌电周期性的特征。之后建立LSTM循环神经网络模型，输入原始EMG时间序列，网络包含1个LSTM层和1个全连接层，训练得到4个时间序列特征。最后，综合上述四类共27个特征，表达了EMG信号的频率信息、时域统计特征、周期性特征和时间序列特征。
将提取得到的各源异构生理信号EEG、EOG、EMG的特征子矩阵Xk进行串联，沿时间轴方向对齐，形成一个多通道的特征矩阵X。其中，特征矩阵X包含K种源信号的特征子矩阵Xk，其中Xk表示第k个源信号的特征子矩阵，其维度为Xk∈{T×Nk}，k=1，2，...，K；T表示时间点的数量，Nk为第k个源信号的特征维度。特征矩阵X按源信号顺序横向拼接Xk，可得X =[X1， X2，...，XK]，其中X ∈ {T×N}，N = N1 + N2 +... + NK。在本发明实施例中有3种信号，即K=3。例如，将EEG特征子矩阵X1、EOG特征子矩阵X2、EMG特征子矩阵X3这三种合并，构成特征矩阵X={X1， X2， X3}。其中，EEG特征子矩阵X1的维度为T×N1，N1表示EEG特征个数；EOG特征子矩阵X2的维度为T×N2，N2表示EOG特征个数；EMG特征子矩阵X3的维度为T×N3，N3表示EMG特征个数。
因此，在特征矩阵X中，x1~xN1表示N1个EEG特征，x(N1+1)~x(N1+N2)表示N2个EOG特征，x(N1+N2+1)~x(N1+N2+N3)表示N3个EMG特征。以此类推，特征矩阵X包含了N（N=N1+N2+N3）个特征。
150、根据各源异构生理信号的特征子矩阵Xk，获得各源异构生理信号的注意力权重向量αk拼接成注意力权重矩阵A。
在步骤150中，可以直接将各源异构生理信号的特征子矩阵Xk输入预设注意力网络，以学习得到各源异构生理信号的注意力权重向量αk，然后将各源异构生理信号的注意力权重向量αk拼接成注意力权重矩阵A。
其中，预设注意力网络可以自动学习每个源特征对融合结果的重要性，使不同源特征能够深度协同，提高融合的效果。预设注意力网络包括输入层、注意力层和输出层。
输入层用于输入特征矩阵X，包含K种源信号的特征子矩阵Xk。
注意力层包含学习注意力权重向量αk的网络结构。其中，对第k个源信号的特征子矩阵Xk，将其输入到非线性多层感知机（Multilayer Perceptron，MLP）中，MLP包含多个全连接层和非线性激活函数，可以提取特征的高级表示。通过MLP的层级特征提取和非线性变换，学习得到注意力权重向量αk，表示对第k个源信号所有特征的注意力权重分配。注意力层的训练目标是使得注意力权重向量αk可以强调对当前任务更重要的特征，输出对源特征的动态加权表示。
注意力层进行注意力权重计算的实施方式可以包括：对每个特征子矩阵Xk作为样本信号输入到MLP中。MLP中的每一隐藏层都会提取输入的样本信号的高级特征表示，经过L层非线性映射，原始输入的样本信号Xk会被转换成新的特征表达Zk。具体来说，在第m层全连接层，定义特征转换过程为：。其中，h(m-1)代表第m-1层的输出特征，即第m层的输入特征，hm代表第m层的输出特征，Wm和bm分别为第m层的权重矩阵和偏置。经过L层全连接层的转换，最终得到新的特征表达Zk = hL。最后，将新的特征表达Zk作为输入，传入到最后的线性全连接层，以生成注意力权重向量αk。该线性层的计算过程为：/>。其中，WL和bL为最后一层的权重和偏置。注意力权重向量αk中的每个值αk，i，表示第k个源信号的第i个特征的注意力权重。
进一步优选的，在将各源异构生理信号的注意力权重向量αk拼接成注意力权重矩阵A之前，可以对注意力权重向量αk进行正则化和标准化处理。具体的，对注意力权重向量αk进行L1正则化得到正则化后的向量α^1，α^2，...α^K，具体为：。其中^表示正则化后的向量，||αk||1表示αk的L1范数，对向量中每个元素求绝对值后求和；ε为一个很小的常数，防止分母为0。L1正则化通过对权重向量的每个元素求L1范数，然后向量除以范数+ε的操作，可以使得权重向量元素绝对值之和等于1，相当于进行了概率归一化，使权重成为一个合法的概率分布；而且，权重向量范数受到约束，不会过大，因为最大也就1+ε。这使得权重压缩在一个合适的范围，防止某些权重参数值过大，起到了正则化的效果。另外， L1范数本身会倾向于生成稀疏权重分布，因为它惩罚大值，这又加强了正则化强度。此外，ε的引入则是为了数值稳定性，防止分母为0出现问题。
进一步的，假设经过L1正则化后，得到k个源信号对应的正则化后的向量：α^1，α^2， ...，α^K，对每个正则化后的向量α^k进行标准化。具体的包括以下未图示的步骤S21~S23：
S21、计算正则化后的各个向量α^k的均值。
其中，均值。
S22、计算正则化后的各个向量α^k的标准差。
其中，标准差。
S23、根据均值、标准差，对正则化后的各个向量α^k进行标准化，得到注意力权重向量α'^k。
其中，标准化公式为。也即，减去均值，除以标准差。对k个注意力权重向量依次进行上述标准化，最终得到：α'^1，α'^2，...，α'^K。
之所以需要标准化，是因为不同模式的特征量纲可能差异很大，例如EEG信号的幅值可能在10-100μV，而EOG信号的幅值可能在1-10mV。如果不标准化，EOG特征的权重可能会大于EEG特征数个量级。标准化后，所有特征量纲都映射到均值为0，标准差为1的高斯分布上，因此可以有效消除量纲对注意力权重的影响，使学习更稳定。也可以加速模型收敛，因为量纲影响被移除后，梯度方向更一致。
在正则化和标准化之后，横向拼接这些标准化后的向量，得到注意力权重矩阵：，维度：N x k。假设K=3个源信号，其特征子矩阵分别为：X1 (维度：T×N1)、X2 (维度：T×N2)、X3 (维度：T×N3)，则注意力网络学习得到的3个注意力权重向量为：α1 (维度：N1) 、α2 (维度：N2)、α3 (维度：N3)。经过正则化和标准化后，得到标准化注意力权重向量：α1' (维度：N1)、α2' (维度：N2)、α3' (维度：N3)，则最终输出的注意力权重矩阵A为：A = [α1'，α2'，α3']，(维度：N×3)，其中N = N1 + N2 + N3(特征矩阵X的总特征维度)。
输出层用于输出注意力权重矩阵A，其中A包含k个注意力权重向量αk，k=1，2，...，K，K为源信号总个数。对应输入层的特征矩阵X，αk表示对第k个特征子矩阵Xk的注意力权重向量。αk的维度为{Nk}，Nk为第k个特征子矩阵Xk的特征维度。αk中的每个元素αk，i表示第k个源的第i个特征的注意力权重。注意力权重矩阵A由[α1，α2，...，αK]横向拼接而成，A的维度为{N×K}，其中N=N1+N2+...+NK，对应输入特征矩阵X的特征总数。
例如：输入层包含3个特征子矩阵X1，X2，X3，对应3种信号的特征。X1的特征维度为3，即X1∈{T×3}；X2的特征维度为2，即X2∈{T×2}； X3的特征维度为2，即X3∈R{T×2}。则输出层包含3个权重向量α1，α2，α3，其中：α1的维度为{3}，对应X1的3个特征。α2的维度为{2}，对应X2的2个特征。α3的维度为{2}，对应X3的2个特征。最后将α1，α2，α3横向拼接得到权重矩阵A，其维度为{7×3}，对应输入特征矩阵X的总特征数7。
案例1：在一次运动想象实验中，被试李先生进行右手握力想象任务。采集并提取了以下信号特征：
EEG信号：α频带功率EEG_alpha，频带范围8-13Hz，反映大脑感知和注意过程，但不如β频带直接反映运动想象，因此权重设置为0.3；β频带功率EEG_beta，频带范围13-30Hz，该频带在运动想象时功率显著增强，与运动想象任务高度相关，因此权重最高设置为0.5。
EMG信号：肱二头肌波形长度EMG_wl，反映肌肉收缩状态，提供一定辅助信息，但不如EEG特征直接关联想象任务，因此权重设置为0.1；肱二头肌均方根EMG_rms，仅略高于基线水平，提供辅助作用有限，因此权重设置为0.05。
EOG信号：水平EOG平均幅值EOG_mean，主要反映眼球的水平运动，与想象任务无直接关联，信息相关性较弱，因此权重设置为0.05。
案例2：在一次运动执行实验中，被试李先生进行左腿足球踢球运动。采集并提取了以下信号特征：
EEG信号：δ频带功率EEG_delta，频带范围1-4Hz，反映大脑运动准备，但特异性不强，因此权重设置为0.1；θ频带功率EEG_theta，频带范围4-8Hz，与运动时的注意配合相关，但不如后续频段直接反映运动，因此权重设置为0.15；α频带功率EEG_alpha，频带范围8-13Hz，代表脑状态抑制，不如后续频段明确反映运动，因此权重设置为0.1；β频带功率EEG_beta，频带范围13-30Hz，反映运动的规划和协调，提供重要运动相关信息，因此权重设置为0.2；γ频带功率EEG_gamma，频带范围30-50Hz，代表肌肉的收缩状态，与实际运动直接相关，因此权重最高设置为0.3。
EMG信号：股四头肌平均幅值EMG_mean，反映肌电活跃量，但不如EEG和EOG特征明确，因此权重设置为0.1。
EOG信号：垂直EOG峰值EOG_peak，反映眼球的快速垂直运动，直接关联球踢动作，因此权重最高设置为0.4。
案例3：在一次驾驶员疲劳检测实验中，被试李先生进行长时间模拟驾驶任务。采集并提取了以下信号特征：
EEG信号：δ频带功率EEG_delta，频带范围1-4Hz，δ功率显著增加，强烈反映疲劳状态，因此权重设置为0.3。
EMG信号：颈肌频谱熵EMG_fentropy，表示肌电活动更不规律，与疲劳状态相关，因此权重设置为0.3。
EOG信号：闭眼次数EOG_blink，闭眼次数增加，最直接反映视觉疲劳，因此权重最高设置为0.4。
160、对注意力权重矩阵A和质量权重矩阵Wq(t)进行融合，获得融合权重矩阵W(t)。
其中，注意力权重矩阵A，其维度为N x K(N为源信号特征维度总和，K为源信号个数)。质量权重矩阵Wq(t)，其维度也为N x K，由K个源信号的质量权重向量垂直拼接而成。具体的，融合权重矩阵W(t)的融合方式可以为：
其中，β为预设的融合系数，取值范围0~1。t = 1，2，3，...，T，T表示时间点的数量，每两个相邻的时间点t之间可以间隔1秒，那么T即为信号的总秒数。如果信号采样频率为200Hz，每个采样点间隔时长为1/200 = 0.005秒。那么时间点t也可以针对采样点设置：t =1， 2， 3， ...， T；其中，每个t代表一个采样点，T为总采样点数。
Wq(t)为当前时刻的质量权重矩阵，Wq(t)中需要有时间点t的概念，是因为它表示的是源信号在每个时间点t的质量权重，随着时间的推移，源信号的质量会发生变化，所以需要引入时间点t来表示这种动态变化。而注意力矩阵A是通过注意力机制学习得到的对各源信号特征的关注程度，这种关注程度在整个信号时间范围内可以看作相对稳定，不会随着时间变化。所以A不需要引入时间点t，它表征了对各源信号特征的整体关注程度。对每个时间点t，重复执行以上融合步骤，得到融合后的动态权重W(t)。
170、根据融合权重矩阵W(t)对各源异构生理信号的特征子矩阵Xk进行加权融合，得到用于识别用户意图的目标特征矩阵Xk'。
利用融合权重矩阵W(t)对特征子矩阵Xk进行加权融合，，其中⊙表示逐元素相乘，最终得到动态调整后的目标特征矩阵Xk'={X1'， X2'， ...， XK'}。
在实际应用场景中，多源异构生理信号融合之后，可以根据目标特征矩阵Xk'，识别用户意图。具体的，将目标特征矩阵Xk'作为输入，经过已训练好的神经网络模型，输出用户意图，例如在智能轮椅控制场景中，可分析识别出用户左转、右转或加速等不同的行为意向；在智能家居场景中，可检测出用户打开空调或关闭电视等操作意图，从而实现对家电的智能控制；在虚拟现实场景中，可感知用户的脑电信号、视线移动以及细微表情，营造沉浸式的交互体验。
综上所述，实施本发明实施例，可以实时对各源信号质量进行动态评估，并基于质量评分动态调整各源信号的提取权重，结合学习到各源信号对融合结果的重要性的注意力权重，有针对性的对各源信号进行融合处理，因此可以避免质量较差的信号对融合结果产生误导，进而提高融合结果的准确性和可靠性。通过两级动态权重相互补充，使复杂多源异构生理信号能够实现精准、智能化的融合分析。
实施例二
考虑到不同信息形式的传感器的数据分布常存在偏移、尺度变化等统计不一致现象，也即，不同源信号的原始特征空间不同，例如脑电信号的特征空间和肌电信号的特征空间没有直接的对应关系。直接融合特征时语义不对齐，容易导致融合效果不佳。因此，如图2所示，本发明实施例公开另一种多源异构生理信号融合方法，该方法包括以下步骤210~280：
210~240。步骤210~240请参阅步骤110~140的详细阐述，本发明在此不作赘述。
250、将各源异构生理信号的特征子矩阵Xk映射到共同对齐空间，获得各源异构生理信号在共同对齐空间的目标特征表达。
在本发明实施例中，可以使用预训练的对齐网络，实现源特征空间到共同对齐空间的映射。其中，预训练的对齐网络采用自动编码器结构，并最小化重构误差作为训练目标，可以获得更可靠并保持接近原始源特征的映射函数，避免学习到失真的映射，为后续的特征融合提供了更好的条件。具体的，对齐网络的预训练过程可以包括以下未图示的步骤S31~S33：
S31、构建包含编码器Enc和解码器Dec的全连接神经网络作为自动编码器，编码器Enc由输入层、隐藏层和编码层组成，负责将源特征映射到隐层表示，解码器Dec由解码层、隐藏层和输出层组成，负责将隐层表示映射回源特征空间，编码层和解码层之间信息限制构成瓶颈结构。
S32、获取源信号数据集作为自动编码器的训练数据，源信号数据集包含多组不同类型的源信号，每组源信号都提前提取了数字特征向量xi。
S33、训练自动编码器的参数，包括网络中的各层权重矩阵等，训练过程为：将源特征（即数字特征向量）xi输入网络，前向传播计算隐层输出h=Enc(xi)，再通过解码器计算重构输出重构特征向量xi'=Dec(h)，损失函数为源特征xi和重构特征向量xi'之间的差异，通过梯度下降算法不断更新网络参数，使损失函数L=||xi-xi'||最小化。
训练完成后，提取出自动编码器中学习线性映射的编码器Enc，作为后续的对齐网络使用。
因此，在步骤250中，具体的将各源异构生理信号的特征子矩阵Xk输入编码器Enc，向传播计算隐层输出h。此h即为映射到共同对齐空间的目标特征表达。
260、将各源异构生理信号的目标特征表达输入预设注意力网络，以学习得到各源异构生理信号的注意力权重向量αk拼接成注意力权重矩阵A。
然后再将共同对齐空间的目标特征表达输入预设注意力网络，以学习得到各源异构生理信号的注意力权重向量αk，其过程与步骤150中相似，本发明在此不作赘述。
270~280。步骤270~280请参阅步骤160~170的详细阐述，本发明在此不作赘述。
综上，实施本实施例，除了可以避免质量较差的信号对融合结果产生误导，进而提高融合结果的准确性和可靠性之外，还可以通过学习对齐映射，将这些不同源信号表示到一个共同定义的隐层对齐空间，形成可比较和融合的特征表达，可以减少了特征分布差异所带来的学习难度，提高注意力网络学习融合权重的效果。同时，特征对齐具有一定的正则化效果，可避免原始特征差异对注意力网络学习的干扰。此外，相比简单的线性映射，利用深度网络学习源特征到对齐空间的非线性复杂映射，可以获得更加抽象和判别的特征表达。
实施例三
如图3所示，本发明实施例公开一种多源异构生理信号融合装置，包括预处理单元301、质量评估单元302、第一获取单元303、特征提取单元304、第二获取单元305、第一融合单元306、第二融合单元307，其中，
预处理单元301，用于采集当前时间点的多源异构生理信号进行预处理，获得各源异构生理信号的预处理信号；
质量评估单元302，用于根据预处理信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分；
第一获取单元303，用于根据各源异构生理信号的当前质量评分，计算得到对应的当前质量权重，根据多源异构生理信号的当前质量权重，构建质量权重矩阵；
特征提取单元304，用于对各源异构生理信号的预处理信号进行特征提取，获得各源异构生理信号的特征子矩阵；
第二获取单元305，用于根据各源异构生理信号的特征子矩阵，获得各源异构生理信号的注意力权重向量拼接成注意力权重矩阵；
第一融合单元306，用于对注意力权重矩阵和质量权重矩阵进行融合，获得融合权重矩阵；
第二融合单元307，用于根据融合权重矩阵对各源异构生理信号的特征子矩阵进行加权融合，得到目标特征矩阵，目标特征矩阵用于识别用户意图。
作为一种可选的实施方式，质量评估单元302包括以下未图示的子单元：
检测子单元，用于控制滑动窗口以指定滑动步长在预处理信号中滑动，每次滑动后计算当前窗口内的样本统计特征；
判断子单元，用于对所有滑动窗口进行遍历判定预处理信号中是否存在丢包段；
第一处理子单元，用于在判断子单元判断出不存在丢包段时，对预处理信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分。
进一步的，质量评估单元302还可以包括以下未图示的子单元：
重构子单元，用于在判断子单元判断出存在丢包段时，对预处理信号中的丢包段进行重构以获得各源异构生理信号的重构信号；
第二处理子单元，用于对各源异构生理信号的重构信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分。
作为一种可选的实施方式，第二处理子单元，具体用于计算各源异构生理信号的重构信号的至少两个信号质量指标；根据至少两个信号质量指标，计算获得各源异构生理信号在当前时间点的当前质量评分。
作为一种可选的实施方式，第一获取单元303包括以下未图示的子单元：
系数确定子单元，用于根据各源异构生理信号的当前质量评分所属的质量等级，确定相应的权重更新系数；
计算子单元，用于根据各源异构生理信号的权重更新系数、当前质量评分、以及在上一时间点的历史质量评分和历史质量权重，计算得到各源异构生理信号在当前时间点的当前质量权重；
赋值子单元，用于将各源异构生理信号的当前质量权重赋予其所包括的全部特征，获得各源异构生理信号的质量权重向量；
构建子单元，用于将各源异构生理信号的质量权重向量拼接成质量权重矩阵。
作为一种可选的实施方式，第二获取单元305包括以下未图示的子单元：
第一学习子单元，用于将各源异构生理信号的特征子矩阵输入预设注意力网络，以学习得到各源异构生理信号的注意力权重向量；
第一拼接子单元，用于将各源异构生理信号的注意力权重向量拼接成注意力权重矩阵。
作为另一种可选的实施方式，第二获取单元305包括以下未图示的子单元：
映射子单元，用于将各源异构生理信号的特征子矩阵映射到共同对齐空间，获得各源异构生理信号在共同对齐空间的目标特征表达；
第二学习子单元，用于将各源异构生理信号的目标特征表达输入预设注意力网络，以学习得到各源异构生理信号的注意力权重向量；
第二拼接子单元，用于将各源异构生理信号的注意力权重向量拼接成注意力权重矩阵。
实施例四
如图4所示，本发明实施例公开一种电子设备，包括存储有可执行程序代码的存储器401以及与存储器401耦合的处理器402；
其中，处理器402调用存储器401中存储的可执行程序代码，执行上述各实施例中描述的多源异构生理信号融合方法。
本发明实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行上述各实施例中描述的多源异构生理信号融合方法。
以上实施例的目的，是对本发明的技术方案进行示例性的再现与推导，并以此完整的描述本发明的技术方案、目的及效果，其目的是使公众对本发明的公开内容的理解更加透彻、全面，并不以此限定本发明的保护范围。
以上实施例也并非是基于本发明的穷尽性列举，在此之外，还可以存在多个未列出的其他实施方式。在不违反本发明构思的基础上所作的任何替换与改进，均属本发明的保护范围。

Claims (9)

1.多源异构生理信号融合方法，其特征在于，包括：
采集当前时间点的多源异构生理信号进行预处理，获得各源异构生理信号的预处理信号；
根据所述预处理信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分；
根据各源异构生理信号的所述当前质量评分，计算得到对应的当前质量权重，根据多源异构生理信号的所述当前质量权重，构建质量权重矩阵；
对各源异构生理信号的所述预处理信号进行特征提取，获得各源异构生理信号的特征子矩阵；
根据各源异构生理信号的所述特征子矩阵，获得各源异构生理信号的注意力权重向量拼接成注意力权重矩阵；
对所述注意力权重矩阵和所述质量权重矩阵进行融合，获得融合权重矩阵；
根据所述融合权重矩阵对各源异构生理信号的所述特征子矩阵进行加权融合，得到目标特征矩阵，所述目标特征矩阵用于识别用户意图；
其中，根据各源异构生理信号的所述当前质量评分，计算得到对应的当前质量权重，根据多源异构生理信号的所述当前质量权重，构建质量权重矩阵，包括：
根据各源异构生理信号的所述当前质量评分所属的质量等级，确定相应的权重更新系数；
根据各源异构生理信号的所述权重更新系数、所述当前质量评分、以及在上一时间点的历史质量评分和历史质量权重，计算得到各源异构生理信号在当前时间点的当前质量权重；
将各源异构生理信号的当前质量权重赋予其所包括的全部特征，获得各源异构生理信号的质量权重向量；
将各源异构生理信号的所述质量权重向量拼接成质量权重矩阵。
2.如权利要求1所述的多源异构生理信号融合方法，其特征在于，根据所述预处理信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分，包括：
控制滑动窗口以指定滑动步长在所述预处理信号中滑动，每次滑动后计算当前窗口内的样本统计特征；
对所有滑动窗口进行遍历判定所述预处理信号中是否存在丢包段；
若不存在丢包段，对所述预处理信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分。
3.如权利要求2所述的多源异构生理信号融合方法，其特征在于，所述方法还包括：
若存在丢包段，对所述预处理信号中的丢包段进行重构以获得各源异构生理信号的重构信号；
对各源异构生理信号的重构信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分。
4.如权利要求3所述的多源异构生理信号融合方法，其特征在于，对各源异构生理信号的重构信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分，包括：
计算各源异构生理信号的重构信号的至少两个信号质量指标；
根据至少两个信号质量指标，计算获得各源异构生理信号在当前时间点的当前质量评分。
5.如权利要求1至4任一项所述的多源异构生理信号融合方法，其特征在于，根据各源异构生理信号的所述特征子矩阵，获得各源异构生理信号的注意力权重向量拼接成注意力权重矩阵，包括：
将各源异构生理信号的所述特征子矩阵输入预设注意力网络，以学习得到各源异构生理信号的注意力权重向量；
将各源异构生理信号的注意力权重向量拼接成注意力权重矩阵。
6.如权利要求1至4任一项所述的多源异构生理信号融合方法，其特征在于，根据各源异构生理信号的所述特征子矩阵，获得各源异构生理信号的注意力权重向量拼接成注意力权重矩阵，包括：
将各源异构生理信号的所述特征子矩阵映射到共同对齐空间，获得各源异构生理信号在共同对齐空间的目标特征表达；
将各源异构生理信号的所述目标特征表达输入预设注意力网络，以学习得到各源异构生理信号的注意力权重向量；
将各源异构生理信号的注意力权重向量拼接成注意力权重矩阵。
7.多源异构生理信号融合装置，其特征在于，包括：
预处理单元，用于采集当前时间点的多源异构生理信号进行预处理，获得各源异构生理信号的预处理信号；
质量评估单元，用于根据所述预处理信号进行质量评估，获得各源异构生理信号在当前时间点的当前质量评分；
第一获取单元，用于根据各源异构生理信号的所述当前质量评分，计算得到对应的当前质量权重，根据多源异构生理信号的所述当前质量权重，构建质量权重矩阵；
特征提取单元，用于对各源异构生理信号的所述预处理信号进行特征提取，获得各源异构生理信号的特征子矩阵；
第二获取单元，用于根据各源异构生理信号的所述特征子矩阵，获得各源异构生理信号的注意力权重向量拼接成注意力权重矩阵；
第一融合单元，用于对所述注意力权重矩阵和所述质量权重矩阵进行融合，获得融合权重矩阵；
第二融合单元，用于根据所述融合权重矩阵对各源异构生理信号的所述特征子矩阵进行加权融合，得到目标特征矩阵，所述目标特征矩阵用于识别用户意图；
其中，所述第一获取单元包括以下子单元：
系数确定子单元，用于根据各源异构生理信号的当前质量评分所属的质量等级，确定相应的权重更新系数；
计算子单元，用于根据各源异构生理信号的权重更新系数、当前质量评分、以及在上一时间点的历史质量评分和历史质量权重，计算得到各源异构生理信号在当前时间点的当前质量权重；
赋值子单元，用于将各源异构生理信号的当前质量权重赋予其所包括的全部特征，获得各源异构生理信号的质量权重向量；
构建子单元，用于将各源异构生理信号的质量权重向量拼接成质量权重矩阵。
8.电子设备，其特征在于，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至6任一项所述的多源异构生理信号融合方法。
9.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至6任一项所述的多源异构生理信号融合方法。
CN202311562734.4A 2023-11-22 2023-11-22 多源异构生理信号融合方法及装置、设备、存储介质 Active CN117290809B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311562734.4A CN117290809B (zh) 2023-11-22 2023-11-22 多源异构生理信号融合方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311562734.4A CN117290809B (zh) 2023-11-22 2023-11-22 多源异构生理信号融合方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN117290809A CN117290809A (zh) 2023-12-26
CN117290809B true CN117290809B (zh) 2024-03-12

Family

ID=89248314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311562734.4A Active CN117290809B (zh) 2023-11-22 2023-11-22 多源异构生理信号融合方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN117290809B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239744A (zh) * 2021-04-25 2021-08-10 西安电子科技大学 基于深度学习的脑电-肌电信号融合识别方法
CN114926459A (zh) * 2022-06-21 2022-08-19 上海市计量测试技术研究院 图像质量评价方法、系统及计算机可读介质
CN115243031A (zh) * 2022-06-17 2022-10-25 合肥工业大学智能制造技术研究院 一种基于质量注意力机制的视频时空特征优化方法、系统、电子设备及存储介质
WO2023044961A1 (zh) * 2021-09-23 2023-03-30 武汉大学 基于自注意力变换网络的多特征融合回声消除方法及系统
KR20230088213A (ko) * 2021-12-10 2023-06-19 고려대학교 산학협력단 딥러닝 분해 기반 다중 노출 영상 융합 방법 및 그 장치
CN116611732A (zh) * 2023-05-19 2023-08-18 深圳供电局有限公司 一种电能质量数据建模方法及计算机可读存储介质
CN116861269A (zh) * 2023-07-05 2023-10-10 重庆建工集团股份有限公司 工程领域的多源异构数据融合及分析方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239744A (zh) * 2021-04-25 2021-08-10 西安电子科技大学 基于深度学习的脑电-肌电信号融合识别方法
WO2023044961A1 (zh) * 2021-09-23 2023-03-30 武汉大学 基于自注意力变换网络的多特征融合回声消除方法及系统
KR20230088213A (ko) * 2021-12-10 2023-06-19 고려대학교 산학협력단 딥러닝 분해 기반 다중 노출 영상 융합 방법 및 그 장치
CN115243031A (zh) * 2022-06-17 2022-10-25 合肥工业大学智能制造技术研究院 一种基于质量注意力机制的视频时空特征优化方法、系统、电子设备及存储介质
CN114926459A (zh) * 2022-06-21 2022-08-19 上海市计量测试技术研究院 图像质量评价方法、系统及计算机可读介质
CN116611732A (zh) * 2023-05-19 2023-08-18 深圳供电局有限公司 一种电能质量数据建模方法及计算机可读存储介质
CN116861269A (zh) * 2023-07-05 2023-10-10 重庆建工集团股份有限公司 工程领域的多源异构数据融合及分析方法

Also Published As

Publication number Publication date
CN117290809A (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN110584649B (zh) 一种动态单导心电图中异常心电信号识别方法及系统
CN107736894A (zh) 一种基于深度学习的心电信号情绪识别方法
CN114376564B (zh) 一种基于心冲击信号的睡眠分期方法、系统、装置及介质
CN108681396B (zh) 基于脑-肌电双模态神经信号的人机交互系统及其方法
Azar et al. Deep recurrent neural network-based autoencoder for photoplethysmogram artifacts filtering
Cheng et al. The optimal wavelet basis function selection in feature extraction of motor imagery electroencephalogram based on wavelet packet transformation
CN114533086A (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
Edla et al. Classification of facial expressions from eeg signals using wavelet packet transform and svm for wheelchair control operations
CN112861625B (zh) 一种堆叠去噪自编码器模型确定方法
Powar et al. A novel pre-processing procedure for enhanced feature extraction and characterization of electromyogram signals
Li et al. Application of an EMG interference filtering method to dynamic ECGs based on an adaptive wavelet-Wiener filter and adaptive moving average filter
CN113111831A (zh) 一种基于多模态信息融合的手势识别技术
CN114469124A (zh) 一种运动过程中异常心电信号的识别方法
Wang et al. Wavelet transform based ECG denoising using adaptive thresholding
Ali et al. An end-to-end deep learning framework for real-time denoising of heart sounds for cardiac disease detection in unseen noise
CN114841191A (zh) 基于全连接脉冲神经网络的癫痫脑电信号特征压缩方法
Hadi et al. Classification of heart sound based on s-transform and neural network
CN113842115A (zh) 一种改进的eeg信号特征提取方法
Phinyomark et al. Applications of variance fractal dimension: A survey
Oo et al. Signal-to-noise ratio estimation in electromyography signals contaminated with electrocardiography signals
Wang et al. Ecg artifact removal from single-channel surface emg using fully convolutional networks
CN117290809B (zh) 多源异构生理信号融合方法及装置、设备、存储介质
Ghanbari et al. Brain computer interface with genetic algorithm
Zabidi et al. Classification of imagined writing from EEG signals using autoregressive features
Wang et al. An improved Generative Adversarial Network for Denoising EEG signals of brain-computer interface systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant