CN112597986A - 生理电信号分类处理方法、装置、计算机设备和存储介质 - Google Patents

生理电信号分类处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112597986A
CN112597986A CN202110246494.1A CN202110246494A CN112597986A CN 112597986 A CN112597986 A CN 112597986A CN 202110246494 A CN202110246494 A CN 202110246494A CN 112597986 A CN112597986 A CN 112597986A
Authority
CN
China
Prior art keywords
target
channel
acquisition
physiological
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110246494.1A
Other languages
English (en)
Other versions
CN112597986B (zh
Inventor
柳露艳
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110246494.1A priority Critical patent/CN112597986B/zh
Publication of CN112597986A publication Critical patent/CN112597986A/zh
Application granted granted Critical
Publication of CN112597986B publication Critical patent/CN112597986B/zh
Priority to PCT/CN2022/078970 priority patent/WO2022184124A1/zh
Priority to EP22762586.0A priority patent/EP4303759A4/en
Priority to US17/992,565 priority patent/US20230077726A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种生理电信号分类处理方法、装置、计算机设备和存储介质,涉及人工智能技术。所述方法包括:获取目标采集设备采集的待分类生理电信号;获取目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的;提取待分类生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征;提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到待分类生理电信号对应的分类结果。采用本方法能够提高生理电信号的分类准确性。

Description

生理电信号分类处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种生理电信号分类处理方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展,深度学习技术在计算机视觉、语音识别和自然语言处理等领域表现出了明显的优势,因此,深度学习技术逐渐被研究者引入生理电信号的分类任务中。
传统技术中,在分类生理电信号的时候,是将生理电信号输入模型中,模型基于生理电信号的时域频域特征输出生理电信号的分类结果。但是,模型在处理生理电信号时,单纯只考虑生理电信号的时域频域特征,特征维度单一,容易导致生理电信号分类结果的不准确。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高生理电信号的分类准确性的生理电信号分类处理方法、装置、计算机设备和存储介质。
一种生理电信号分类处理方法,所述方法包括:
获取目标采集设备采集的待分类生理电信号;
获取目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的;
提取待分类生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征;
提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到待分类生理电信号对应的分类结果。
在一个实施例中,获取目标采集设备对应的目标通道关联特征,包括:
获取目标采集设备对应的目标生理电信号分类模型;
目标生理电信号分类模型集成有目标采集设备对应的目标通道关联特征,目标生理电信号分类模型用于提取待分类生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征,提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到待分类生理电信号对应的分类结果。
在一个实施例中,获取目标采集设备对应的目标生理电信号分类模型,包括:
确定目标分类任务;
获取目标分类任务对应的多个候选生理电信号分类模型;候选生理电信号分类模型存在对应的候选采集设备;
从各个候选生理电信号分类模型中确定目标采集设备对应的目标生理电信号分类模型。
在一个实施例中,基于存在关联关系的各个采集通道生成目标通道关联特征,包括:
基于存在关联关系的各个采集通道生成初始通道关联特征;
对所述初始通道关联特征进行规范化处理,得到所述目标通道关联特征。
在一个实施例中,基于目标空间特征得到待分类生理电信号对应的分类结果,包括:
对目标空间特征进行非线性处理,得到目标拟合特征;
对目标拟合特征进行分类处理,得到分类结果。
一种生理电信号分类处理装置,所述装置包括:
信号获取模块,用于获取目标采集设备采集的待分类生理电信号;
通道关联特征获取模块,用于获取目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的;
信号处理模块,用于提取待分类生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征;
信号分类模块,用于提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到待分类生理电信号对应的分类结果。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取目标采集设备采集的待分类生理电信号;
获取目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的;
提取待分类生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征;
提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到待分类生理电信号对应的分类结果。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取目标采集设备采集的待分类生理电信号;
获取目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的;
提取待分类生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征;
提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到待分类生理电信号对应的分类结果。
上述生理电信号分类处理方法、装置、计算机设备和存储介质,通过获取目标采集设备采集的待分类生理电信号;获取目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的;提取待分类生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征;提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到待分类生理电信号对应的分类结果。这样,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的,可以表示生理电信号的拓扑特征,在处理生理电信号时综合考虑生理电信号的时域频域特征以及拓扑特征,最终可以得到准确的分类结果,从而提高生理电信号的分类准确性。
一种生理电信号分类处理方法,所述方法包括:
获取目标采集设备采集的训练生理电信号和训练生理电信号对应的训练标签;
将训练生理电信号输入目标采集设备对应的初始生理电信号分类模型;初始生理电信号分类模型包括目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的;
通过初始生理电信号分类模型提取训练生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征;
通过初始生理电信号分类模型提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到训练生理电信号对应的预测标签;
基于训练标签和预测标签的差异调整初始生理电信号分类模型的模型参数,直至满足收敛条件,得到目标生理电信号分类模型。
一种生理电信号分类处理装置,所述装置包括:
信号获取模块,用于获取目标采集设备采集的训练生理电信号和训练生理电信号对应的训练标签;
信号输入模块,用于将训练生理电信号输入目标采集设备对应的初始生理电信号分类模型;初始生理电信号分类模型包括目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的;
信号处理模块,用于通过初始生理电信号分类模型提取训练生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征;
标签预测模块,用于通过初始生理电信号分类模型提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到训练生理电信号对应的预测标签;
参考调整模块,用于基于训练标签和预测标签的差异调整初始生理电信号分类模型的模型参数,直至满足收敛条件,得到目标生理电信号分类模型。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取目标采集设备采集的训练生理电信号和训练生理电信号对应的训练标签;
将训练生理电信号输入目标采集设备对应的初始生理电信号分类模型;初始生理电信号分类模型包括目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的;
通过初始生理电信号分类模型提取训练生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征;
通过初始生理电信号分类模型提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到训练生理电信号对应的预测标签;
基于训练标签和预测标签的差异调整初始生理电信号分类模型的模型参数,直至满足收敛条件,得到目标生理电信号分类模型。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取目标采集设备采集的训练生理电信号和训练生理电信号对应的训练标签;
将训练生理电信号输入目标采集设备对应的初始生理电信号分类模型;初始生理电信号分类模型包括目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的;
通过初始生理电信号分类模型提取训练生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征;
通过初始生理电信号分类模型提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到训练生理电信号对应的预测标签;
基于训练标签和预测标签的差异调整初始生理电信号分类模型的模型参数,直至满足收敛条件,得到目标生理电信号分类模型。
上述生理电信号分类处理方法、装置、计算机设备和存储介质,通过获取目标采集设备采集的训练生理电信号和训练生理电信号对应的训练标签,将训练生理电信号输入目标采集设备对应的初始生理电信号分类模型,初始生理电信号分类模型包括目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的,通过初始生理电信号分类模型提取训练生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征,通过初始生理电信号分类模型提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到训练生理电信号对应的预测标签,基于训练标签和预测标签的差异调整初始生理电信号分类模型的模型参数,直至满足收敛条件,得到目标生理电信号分类模型。这样,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的,可以表示生理电信号的拓扑特征。在处理生理电信号时综合考虑生理电信号的时域频域特征以及拓扑特征,最终可以得到准确的分类结果,从而提高生理电信号的分类准确性。此外,将目标通道关联特征集成至模型中,针对同一采集设备采集的不同生理电信号仅需计算一次目标通道关联特征,从而有效提高生理电信号的分类效率。
附图说明
图1为一个实施例中生理电信号分类处理方法的应用环境图;
图2为一个实施例中生理电信号分类处理方法的流程示意图;
图3A为一个实施例中生成目标通道关联特征的流程示意图;
图3B为一个实施例中目标通道区域的结构示意图;
图4为另一个实施例中生成目标通道关联特征的流程示意图;
图5为又一个实施例中生成目标通道关联特征的流程示意图;
图6为另一个实施例中生理电信号分类处理方法的流程示意图;
图7A为一个实施例中脑电信号的结构示意图;
图7B为一个实施例中脑电信号分类模型的结构示意图;
图8为一个实施例中生理电信号分类处理装置的结构框图;
图9为另一个实施例中生理电信号分类处理装置的结构框图;
图10为又一个实施例中生理电信号分类处理装置的结构框图;
图11为一个实施例中计算机设备的内部结构图;
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的机器学习、大数据处理等技术,具体通过如下实施例进行说明:
本申请提供的生理电信号分类处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备和生理电信号采集设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
终端102和服务器104均可单独用于执行本申请实施例中提供的生理电信号分类处理方法。
例如,终端获取目标采集设备采集的待分类生理电信号,获取目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的。终端可以提取待分类生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征,提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到待分类生理电信号对应的分类结果。终端可以将分类结果进行展示。
服务器获取目标采集设备采集的训练生理电信号和训练生理电信号对应的训练标签。服务器将训练生理电信号输入目标采集设备对应的初始生理电信号分类模型,其中,初始生理电信号分类模型包括目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的。服务器可以通过初始生理电信号分类模型提取训练生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征,通过初始生理电信号分类模型提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到训练生理电信号对应的预测标签,基于训练标签和预测标签的差异调整初始生理电信号分类模型的模型参数,直至满足收敛条件,得到目标生理电信号分类模型。服务器还可以将目标生理电信号分类模型发送至终端,以便终端使用。
终端102和服务器104也可协同用于执行本申请实施例中提供的生理电信号分类处理方法。
例如,服务器可以从终端获取目标采集设备采集的待分类生理电信号。服务器对待分类生理电信号进行分类,得到待分类生理电信号对应的分类结果。进一步的,服务器可以将分类结果发送至终端,在终端进行展示。
服务器从终端获取目标采集设备采集的训练生理电信号和训练生理电信号对应的训练标签,基于训练生理电信号和对应的训练标签对初始生理电信号分类模型进行训练,得到目标生理电信号分类模型。
在一个实施例中,如图2所示,提供了一种生理电信号分类处理方法,以该方法应用于图1中的计算机设备为例进行说明,计算机设备可以是上述图1中的终端102或服务器104。参考图2,生理电信号分类处理方法包括以下步骤:
步骤S202,获取目标采集设备采集的待分类生理电信号。
其中,采集设备是指用于采集生理电信号的设备。目标采集设备是指待分类生理电信号对应的采集设备。生理电信号是指以电流或电压呈现的生理信号,用于反映神经细胞电生理活动。生理电信号可以是脑电信号、肌电信号、心电信号等。
具体地,计算机设备可以在本地、或从其他终端、服务器获取目标采集设备采集的待分类生理电信号。待分类生理电信号可以是实时采集的生理电信号。目标采集设备可以实时采集生理电信号,计算机设备可以实时对最新的生理电信号进行分类得到对应的分类结果。当然,待分类生理电信号也可以是历史时间采集的生理电信号。目标采集设备实时采集到的生理电信号可以存储在终端或服务器的数据库中,计算机设备可以从数据库中获取历史时间采集的生理电信号,对生理电信号进行分类得到对应的分类结果。
步骤S204,获取目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的。
其中,采集设备包括多个电极,不同的电极用于采集不同位置的生理电信号。一个电极对应一个采集通道,因此,采集设备包括多个采集通道,不同的采集通道用于采集不同位置的生理电信号。空间上相近的神经元有较大的可能性存在物理连接,而相距较远的神经元存在物理连接的可能性较低。存在物理连接的神经元可以认为是紧密联系的神经元,紧密联系的神经元所产生生理电信号也是密切联系、相互关联、相互影响的。因此,可以基于采集设备上多个采集通道的空间位置生成通道关联特征,从而在对生理电信号进行分类时,可以借助通道关联特征对生理电信号进行数据处理、信息融合,从而得到更准确的分类结果。通道关联特征是用于描述各个采集通道之间关联关系的特征信息。各个采集通道之间的关联关系可以根据各个采集通道的空间位置确定。进一步的,不同的采集设备之间采集通道的位置是不同的,因此,需要针对每一种采集设备建立对应的通道关联特征,目标通道关联特征是指目标采集设备对应的通道关联特征。
具体地,计算机设备基于采集通道上各个采集通道的空间位置可以生成该采集设备对应的通道关联特征。计算机设备可以预先生成各个采集设备分别对应的通道关联特征。因此,在获取到目标采集设备采集的待分类生理电信号后,计算机设备可以直接获取预先生成的目标通道关联特征。当然,计算机设备也可以实时生成目标采集设备对应的目标通道关联特征。因此,在获取到目标采集设备采集的待分类生理电信号后,计算机设备可以获取目标采集设备上多个采集通道的空间位置,基于目标采集设备上多个采集通道的空间位置实时生成目标通道关联特征。
在一个实施例中,计算机设备可以基于各个采集通道之间的空间位置距离确定空间上相近的若干个采集通道,将空间上相近的若干个采集通道建立关联关系,基于存在关联关系的采集通道生成通道关联特征。两个采集通道在空间上相近具体可以是采集通道之间的空间距离小于距离阈值。
在一个实施例中,为了提高通道关联特征的准确性,计算机设备可以将各个采集通道的空间位置映射到同一平面上,得到各个采集通道的平面位置,基于各个采集通道之间的平面位置距离确定紧密联系的若干个采集通道,将紧密联系的若干个采集通道建立关联关系,基于存在关联关系的采集通道生成通道关联特征。由紧密联系的若干个采集通道形成的通道区域的区域形状特征具有特定特点,因此可以基于通道区域的区域形状特征来判断采集通道是否紧密联系。可以理解,由于距离阈值是一个平均值,主要适用于大部分采集通道,精度不是特别高,基于距离阈值可能会遗漏一部分紧密联系的采集通道,从而生成的通道关联特征的准确性不是特别高。
步骤S206,提取待分类生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征。
具体地,计算机设备可以对待分类生理电信号进行时间特征提取,得到待分类生理电信号对应的目标时间特征,再将目标通道关联特征嵌入目标时间特征得到目标嵌入特征。
在一个实施例中,计算机设备可以对待分类生理电信号进行多次时间特征提取,得到多个中间时间特征,各个中间时间特征组成目标时间特征。那么,在将目标通道关联特征嵌入目标时间特征时,可以将目标通道关联特征分别嵌入各个中间时间特征,得到各个中间时间特征对应的初始嵌入特征,由各个初始嵌入特征组成目标嵌入特征。
在一个实施例中,特征可以通过矩阵来表示。将目标通道关联特征嵌入目标时间特征得到目标嵌入特征具体可以通过两个矩阵相乘得到表示目标嵌入特征的目标嵌入矩阵。
步骤S208,提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到待分类生理电信号对应的分类结果。
具体地,得到目标嵌入特征后,计算机设备可以进一步对待分类生理电信号进行空间特征提取,得到待分类生理电信号对应的目标空间特征,再基于目标空间特征得到最终的分类结果。
在一个实施例中,计算机设备可以对目标嵌入特征进行多次空间特征提取,得到多个中间空间特征,各个中间空间特征组成目标空间特征。
在一个实施例中,计算机设备可以借助机器学习模型对待分类生理电信号进行分类处理,得到待分类生理电信号对应的分类结果。计算机设备可以预先将通道关联特征集成到生理电信号分类模型的处理层中,从而将通道关联特征集成到生理电信号分类模型中。那么。当获取到目标采集设备采集的待分类生理电信号后,计算机设备可以获取目标采集设备对应的目标生理电信号分类模型,将待分类生理电信号输入目标生理电信号分类模型,通过目标生理电信号分类模型对待分类生理电信号进行数据处理得到对应的分类结果。其中,目标生理电信号分类模型集成有目标采集设备对应的目标通道关联特征。
在一个实施例中,基于目标空间特征得到待分类生理电信号对应的分类结果,包括:对目标空间特征进行非线性处理,得到目标拟合特征;对目标拟合特征进行分类处理,得到分类结果。
具体地,在基于目标空间特征得到分类结果时,计算机设备可以对目标空间特征进行非线性处理得到目标拟合特征,再对目标拟合特征进行分类处理,从而得到分类结果。其中,非线性处理可以去除目标空间特征中的一些冗余数据,引入非线性因素,增强模型的表达能力。分类处理是用于确定最终的分类结果。
在一个实施例中,计算机设备可以借助机器学习模型对待分类生理电信号进行分类处理。那么,计算机设备具体可以通过目标生理电信号分类模型内非线性层中的激活函数进行非线性处理,通过目标生理电信号分类模型中的全连接层进行分类处理,输出分类结果。
上述生理电信号分类处理方法中,通过获取目标采集设备采集的待分类生理电信号;获取目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的;提取待分类生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征;提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到待分类生理电信号对应的分类结果。这样,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的,可以表示生理电信号的拓扑特征,在处理生理电信号时综合考虑生理电信号的时域频域特征以及拓扑特征,最终可以得到准确的分类结果,从而提高生理电信号的分类准确性。
在一个实施例中,获取目标采集设备对应的目标通道关联特征,包括:
获取目标采集设备对应的目标生理电信号分类模型;目标生理电信号分类模型集成有目标采集设备对应的目标通道关联特征,目标生理电信号分类模型用于提取待分类生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征,提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到待分类生理电信号对应的分类结果。
其中,生理电信号分类模型是机器学习模型,用于对生理电信号进行分类。生理电信号分类模型有多个,不同的采集设备对应不同的生理电信号分类模型,一个采集设备可以对应至少一个生理电信号分类模型。目标生理电信号分类模型是指目标采集设备对应的生理电信号分类模型,并且是已训练的生理电信号分类模型。
具体地,计算机设备可以将通道关联特征集成到机器学习模型中,并借助机器学习模型对待分类生理电信号进行分类处理。因此,当获取到目标采集设备采集的待分类生理电信号后,计算机设备可以直接获取目标采集设备对应的目标生理电信号分类模型,将待分类生理电信号输入目标生理电信号分类模型,通过目标生理电信号分类模型提取待分类生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征,通过目标生理电信号分类模型提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到待分类生理电信号对应的分类结果,最终目标生理电信号分类模型输出该分类结果。
在一个实施例中,目标生理电信号分类模型包括时间卷积层、网络嵌入层、空间卷积层、非线性层和全连接层,网络嵌入层集成有目标通道关联特征。计算机设备可以通过时间卷积层提取待分类生理电信号对应的目标时间特征,通过网络嵌入层将目标通道关联特征嵌入目标时间特征得到目标嵌入特征,通过空间卷积层提取目标嵌入特征对应的目标空间特征,通过非线性层对目标空间特征进行非线性处理得到目标拟合特征,通过全连接层对目标拟合特征进行分类处理得到分类结果,最后输出分类结果。
在一个实施例中,不同的采集设备之间采集通道的位置是不同的,因此,需要针对每一种采集设备建立对应的生理电信号分类模型,一个生理电信号分类模型中只集成一种采集设备对应的通道关联特征,一个生理电信号分类模型专门用于处理对应采集设备所采集的生理电信号。此外,一个采集设备可以对应多个生理电信号分类模型,不同的生理电信号分类模型对应不同的分类任务。例如,当生理电信号为脑电信号时,针对脑电信号的分类任务包括情感分类、运动想象分类、注意力分类等,可以训练专门用于对脑电信号进行情感分类的脑电信号分类模型,专门用于对脑电信号进行运动想象分类的脑电信号分类模型,专门用于对脑电信号进行注意力分类的脑电信号分类模型。当生理电信号为肌电信号时,针对肌电信号的分类任务包括情感分类、肌肉状态分类等,可以训练专门用于对肌电信号进行情感分类的肌电信号分类模型,专门用于对肌电信号进行肌肉状态分类的肌电信号分类模型。因此,目标生理电信号分类模型可以是目标采集设备对应的、且目标分类任务对应的生理电信号分类模型。
本实施例中,将通道关联特征集成到目标生理电信号分类模型中,针对同一采集设备采集的不同生理电信号仅需计算一次目标通道关联特征,能够有效提高生理电信号的分类效率。此外,通过目标生理电信号分类模型就可以实现对待分类生理电信号的一系列数据处理,得到分类结果,能够进一步提高生理电信号的分类效率。
在一个实施例中,获取目标采集设备对应的目标生理电信号分类模型,包括:
确定目标分类任务;获取目标分类任务对应的多个候选生理电信号分类模型;候选生理电信号分类模型存在对应的候选采集设备;从各个候选生理电信号分类模型中确定目标采集设备对应的目标生理电信号分类模型。
具体地,一个采集设备可以对应多个生理电信号分类模型。不同的生理电信号分类模型对应不同的分类任务。因此,计算机设备可以先从多个候选分类任务中确定目标分类任务,获取目标分类任务对应的多个候选生理电信号分类模型,各个候选生理电信号分类模型分别对应不同的候选采集设备。为了处理目标采集设备采集的待分类生理电信号,计算机设备可以从各个候选生理电信号分类模型中确定目标采集设备对应的目标生理电信号分类模型,进而将待分类生理电信号输入目标生理电信号分类模型中,进行在目标分类任务上的分类。
在一个实施例中,计算机设备可以将各个候选分类任务依次作为目标分类任务。进而,计算机设备最终可以得到待分类生理电信号在各个分类任务上对应的分类结果。举例说明,当生理电信号为脑电信号时,针对脑电信号的分类任务包括情感分类、运动想象分类、注意力分类。计算机设备可以先将待分类脑电信号输入用于对脑电进行情感分类的脑电信号分类模型,得到情感分类结果,再将待分类脑电信号输入用于对脑电进行运动想象分类的脑电信号分类模型,得到运动想象分类结果,最后将待分类脑电信号输入用于对脑电进行注意力分类的脑电信号分类模型,得到注意力分类结果。
在一个实施例中,计算机设备可以获取生理电信号分类请求,生理电信号分类请求携带目标任务标识和目标采集设备采集的待分类生理电信号,生理电信号分类请求用于请求对待分类生理电信号进行分类。计算机设备可以根据目标任务标识确定目标分类任务,从目标分类任务对应的多个候选生理电信号分类模型中确定目标采集设备对应的目标生理电信号分类模型,将待分类生理电信号输入目标生理电信号分类模型,从而得到待分类生理电信号对应的分类结果。其中,生理电信号分类请求可以是根据用户作用于终端的相关界面上的触发操作生成。例如,用户可以在相关界面上选择目标分类任务和目标采集设备采集的待分类生理电信号,进而触发生成生理电信号分类请求。生理电信号分类请求也可以是自动生成的。例如,目标采集设备一采集到生理电信号,终端就自动生成生理电信号分类请求,生理电信号分类请求中的目标任务标识可以包括一个候选分类任务对应的任务标识,也可以包括各个候选分类任务分别对应的任务标识。
本实施例中,一个采集设备可以对应多个生理电信号分类模型,不同的生理电信号分类模型对应不同的分类任务,各个生理电信号分类模型各司其职,专注在自己分类任务上的数据处理。这样,通过专门的生理电信号分类模型对待分类生理电信号进行数据处理,可以进一步提高分类结果的准确性。
在一个实施例中,如图3A所示,目标通道关联特征的生成包括以下步骤:
步骤S302,将各个采集通道的空间位置映射到同一平面上,得到各个采集通道的平面位置。
步骤S304,从各个采集通道中获取目标数量个采集通道分别作为目标采集通道,得到目标数量个目标采集通道。
步骤S306,基于各个目标采集通道的平面位置生成目标通道区域。
具体地,计算机设备可以将各个采集通道的空间位置映射到同一平面上,得到各个采集通道在该平面上的平面位置。例如,目标采集设备上的各个采集通道的空间坐标位于同一空间坐标系中,可以将各个采集通道统一投影到xy平面上,从而得到各个采集通道的平面坐标。进而,计算机设备可以从各个采集通道中获取目标数量个采集通道分别作为目标采集通道,得到目标数量个目标采集通道,再基于各个目标采集通道的平面位置生成目标通道区域,目标通道区域是由各个目标采集通道包围形成的平面区域。计算机设备具体可以将各个目标采集通道分别作为一个区域顶点,得到多个区域顶点,按照顺时针方向或逆时针方向依次连接各个区域顶点,由各个区域顶点和顶点连线包围而成的平面区域就是目标通道区域。其中,目标数量可以根据实际需要进行设置。例如,当目标数量为三时,计算机设备可以在各个采集通道中确定所有包括三个采集通道的采集通道组合,得到多个采集通道组合。各个采集通道组合均包括三个目标采集通道,各个采集通道组合均可以生成一个目标通道区域。在一个采集通道组合中,计算机设备可以将三个目标采集通道分别作为一个区域顶点,得到三个区域顶点,按照顺时针方向或逆时针方向依次连接各个区域顶点,各个区域顶点和连线包围而成的三角形平面区域即为一个目标通道区域。
步骤S308,当目标通道区域对应的区域形状特征为预设形状特征、且目标通道区域内没有其他采集通道时,将各个目标采集通道建立关联关系。
其中,区域形状特征是用于描述目标通道区域的区域形状的特征信息。
具体地,当目标通道区域对应的区域形状特征为预设形状特征、且目标通道区域内没有其他采集通道时,表明组成目标通道区域的各个采集通道为互相紧密联系的采集通道,此时可以将目标通道区域对应的各个目标采集通道建立关联关系。因此,当两个采集通道之间存在关联关系时,可以确定这两个采集通道彼此是紧密联系的采集通道。
在一个实施例中,一个区域的区域顶点对应的顶点夹角可以用于反映区域的区域形状特征。例如,可以根据三角形的三个顶点对应的顶点夹角判断三角形是锐角三角形、直角三角形,还是钝角三角形。可以根据四边形的四个顶点对应的顶点夹角判断四边形是矩形、梯形,还是菱形。因此,计算机设备可以计算目标通道区域的各个区域顶点对应的顶点夹角,基于各个顶点夹角得到目标通道区域对应的区域形状特征。相应的,预设形状特征可以用顶点夹角的参考角度范围来表示。那么,当目标通道区域对应的各个顶点夹角均在参考夹角范围内时,可以确定目标通道区域对应的区域形状特征为预设形状特征。例如,当目标通道区域为三角形区域时,预设形状特征可以是各个顶点夹角均在0至90度之间,也就是,当目标通道区域为锐角三角形区域或直角三角形区域时,确定目标通道区域对应的区域形状特征为预设形状特征。
步骤S310,基于存在关联关系的各个采集通道生成目标通道关联特征。
具体地,在确定各个采集通道之间的关联关系后,计算机设备可以基于存在关联关系的各个采集通道生成目标通道关联特征。计算机设备具体可以基于存在关联关系的各个采集通道生成目标采集设备对应的邻接矩阵,基于邻接矩阵得到目标通道关联特征。其中,邻接矩阵的矩阵维度为目标采集设备上采集通道的通道数量,邻接矩阵中的各个矩阵值可以反映任意两个采集通道之间是否存在关联关系。例如,当矩阵值为0时,表示对应的采集通道之间不存在关联关系,当矩阵值为1时,表示对应的采集通道之间存在关联关系。
本实施例中,通过将各个采集通道的空间位置映射到同一平面上,得到各个采集通道的平面位置;从各个采集通道中获取目标数量个采集通道分别作为目标采集通道,得到目标数量个目标采集通道;基于各个目标采集通道的平面位置生成目标通道区域;当目标通道区域对应的区域形状特征为预设形状特征、且目标通道区域内没有其他采集通道时,将各个目标采集通道建立关联关系;基于存在关联关系的各个采集通道生成目标通道关联特征。这样,对各个目标区域通道的平面位置进行分析能够快速准确地查找出彼此紧密联系的采集通道,从而生成准确的目标通道关联特征。
在一个实施例中,基于各个目标采集通道的平面位置生成目标通道区域,包括:
将各个目标采集通道分别作为区域顶点,得到多个区域顶点;将各个区域顶点依次连接,得到目标通道区域。
具体地,在生成目标通道区域时,计算机设备可以将各个目标采集通道分别作为区域顶点,得到多个区域顶点,按照顺时针方向或逆时针方向依次连接各个区域顶点,由各个顶点连线包围而成的平面区域即为当前采集通道对应的目标通道区域。这样,可以快速生成目标通道区域。
在一个实施例中,区域形状特征包括目标通道区域的各个区域顶点对应的顶点夹角,当目标通道区域对应的区域形状特征为预设形状特征、且目标通道区域内没有其他采集通道时,将各个目标采集通道建立关联关系,包括:
当各个顶点夹角均在参考夹角范围内时,确定目标通道区域对应的区域形状特征为预设形状特征;当区域形状特征为预设形状特征的目标通道区域内没有其他采集通道时,基于各个区域顶点之间的连接关系建立各个目标采集通道之间的关联关系。
具体地,一个区域的区域顶点对应的顶点夹角可以用于反映区域的区域形状特征。因此,计算机设备可以计算目标通道区域的各个区域顶点对应的顶点夹角,由目标通道区域的各个区域顶点对应的顶点夹角组成目标通道区域对应的区域形状特征,也就是,区域形状特征包括目标通道区域的各个区域顶点对应的顶点夹角。计算机设备具体可以通过各个区域顶点之间的平面距离计算各个区域顶点对应的顶点夹角。
相应的,当一个区域的形状特征为预设形状特征时,该区域对应的顶点夹角是具备一定特点的。因此,可以预先设置区域形状特征为预设形状特征的通道区域的顶点夹角所对应的参考角度范围。当各个顶点夹角均在参考夹角范围内时,计算机设备就可以确定目标通道区域对应的区域形状特征为预设形状特征。进一步的,当区域形状特征为预设形状特征的目标通道区域内没有其他采集通道时,表明在该目标通道区域内没有其他冗余采集通道,组成目标通道区域的各个目标采集通道是一个紧密联系的采集通道组合,此时可以基于各个区域顶点之间的连接关系建立各个目标采集通道之间的关联关系。
在一个实施例中,因为三角形是最稳固、最紧密的多边形,所以计算机设备可以将目标数量设置为三。进一步的,当三角形内部除了三个顶点以外不包含其他节点,并且三角形为锐角三角形或直角三角形时,该三角形的三个顶点可以认为是联系最紧密的三个节点。当三角形内部除了三个顶点以外不包含其他节点时,表明这三个顶点是平面距离较为接近、内部无其他干扰的三个节点。进一步的,当三角形为锐角三角形或直角三角形时,表明这三个顶点彼此之间的距离适当,差异不大。当三角形为钝角三角形时,钝角对应的边长显然是比其他两个边长要长得多,也就是,钝角三角形中有两个顶点相距较远,这两个顶点的联系就没有那么紧密。当生成的三角形的三个夹角均在0-90度范围内时,可以确定该三角形不是钝角三角形,是锐角三角形或直角三角形。因此,当三角形内部除了三个顶点以外不包含其他节点,并且三角形为锐角三角形或直角三角形时,可以根据三角形的边长建立目标采集通道之间的关联关系,将各个边长连接的两个目标采集通道之间建立关联关系。这样,一个三角形就可以得到三组存在关联关系的目标采集通道。
举例说明,假设存在A、B、C、D四个采集通道,从四个采集通道中任意选取三个采集通道作为目标采集通道,将三个目标采集通道分别作为三角形顶点,依次连接各个三角形顶点得到一个三角形,三角形包围区域即为目标通道区域。如图3B所示,一共可以建立四个三角形,分别为A-B-C,A-B-D,A-C-D,B-C-D。A-B-C三角形为锐角三角形、且内部没有D,因此A与B可以建立关联关系,B与C可以建立关联关系,A与C可以建立关联关系。A-B-D三角形虽然为锐角三角形、但是内部存在C,因此A、B、D之间无需建立关联关系。A-C-D三角形为钝角三角形,因此A、C、D之间无需建立关联关系。B-C-D三角形为钝角三角形,因此B、C、D之间无需建立关联关系。
在一个实施例中,目标通道区域除了是三角形,也可以是四边形,也就是,计算机设备也可以将目标数量设置为四。当目标通道区域为四边形区域时,可以将目标通道区域分割为两个三角形,共有两种分割方式。当其中一种分割方式分割得到的两个三角形都不是钝角三角形、且三边形区域内没有其他采集通道时,可以根据这两个三角形的连边建立对应的采集通道之间的关联关系。
在一个实施例中,如图4所示,基于存在关联关系的各个采集通道生成目标通道关联特征,包括:
步骤S402,基于存在关联关系的各个采集通道生成初始通道关联特征。
步骤S404,对初始通道关联特征进行规范化处理,得到目标通道关联特征。
其中,规范化处理是用于将初始通道关联特征限制在一定区间内,以便后续将目标通道关联特征嵌入目标时间特征。具体可以通过自定义公式对初始通道关联特征进行规范化处理,得到目标通道关联特征。
具体地,在基于存在关联关系的各个采集通道生成目标通道关联特征时,计算机设备可以直接基于存在关联关系的各个采集通道生成目标通道关联特征。然而,为了后续将目标通道关联特征嵌入目标时间特征时,不改变原始信号的赋值范围,计算机设备也可以先基于存在关联关系的各个采集通道生成初始通道关联特征,对初始通道关联特征进行规范化处理后得到目标通道关联特征。
在一个实施例中,通道关联特征可以通过矩阵来表示,矩阵的维度为目标采集设备上采集通道的通道数量。经过规范化处理得到的目标通道关联矩阵的行列和均为1。后续在将目标通道关联特征嵌入目标时间特征时,可以是进行矩阵相乘,若目标通道关联矩阵的行列和均为1,矩阵相乘后不会改变原始信号的赋值范围,即不会让原始信号突增或骤降,从而在一定程度上保留原始信号的赋值区间。
本实施例中,通过基于存在关联关系的各个采集通道生成初始通道关联特征,对初始通道关联特征进行规范化处理,得到目标通道关联特征。规范化处理能够提高目标通道关联特征的有效性和准确性,以便后续将目标通道关联特征嵌入目标时间特征。
在一个实施例中,如图5所示,对初始通道关联特征进行规范化处理,得到目标通道关联特征,包括:
步骤S502,基于初始通道关联特征生成初始通道关联矩阵。
具体地,计算机设备可以基于初始通道关联特征生成初始通道关联矩阵,以矩阵的形式来表示初始通道关联特征,以便后续的计算处理。
在一个实施例中,基于初始通道关联特征生成初始通道关联矩阵包括以下方式中的任意一种:
基于目标采集设备上采集通道的通道数量确定初始通道关联矩阵的矩阵维度,将存在关联关系的各个采集通道对应的矩阵值确定为第一预设阈值,将其他采集通道对应的矩阵值确定为第二预设阈值,得到初始通道关联矩阵;
基于目标采集设备上采集通道的通道数量确定初始通道关联矩阵的矩阵维度,基于存在关联关系的各个采集通道之间的空间位置距离,确定存在关联关系的各个采集通道对应的矩阵值,将其他采集通道对应的矩阵值确定为第二预设阈值,得到初始通道关联矩阵。
具体地,初始通道关联矩阵可以是一个无权网络,只包含采集通道之间的关联关系。因此,在生成初始通道关联矩阵时,计算机设备可以将目标采集设备上采集通道的通道数量作为初始通道关联矩阵的矩阵维度,将存在关联关系的各个采集通道对应的矩阵值设置为第一预设阈值,将其他采集通道对应的矩阵值设置为第二预设阈值,从而得到初始通道关联矩阵。其中,第一预设阈值和第二预设阈值可以根据需要进行设置。
举例说明,目标采集设备上采集通道包括A、B、C、D,通道数量为4,A、B和D可以组成一个内部不包含C的锐角三角形,B、C和D可以组成一个内部不包含A的锐角三角形,因此,A-B、A-D、B-D、B-C、C-D分别存在关联关系。可以将第一预设阈值设置为1,第二预设阈值为0,那么生成的初始通道关联矩阵可以为:
Figure 962843DEST_PATH_IMAGE001
其中,初始通道关联矩阵的行元素依次表示A、B、C、D,列元素依次表示A、B、C、D。
初始通道关联矩阵也可以是一个有权网络,包含采集通道之间的关联关系和空间位置距离。因此,在生成初始通道关联矩阵时,计算机设备可以基于目标采集设备上采集通道的通道数量确定初始通道关联矩阵的矩阵维度,基于存在关联关系的各个采集通道之间的空间位置距离确定存在关联关系的各个采集通道对应的矩阵值,将其他采集通道对应的矩阵值确定为第二预设阈值,从而得到初始通道关联矩阵。其中,可以将空间位置距离的倒数作为矩阵值。
举例说明,目标采集设备上采集通道包括A、B、C、D,通道数量为4, A-B、A-D、B-D、B-C、C-D分别存在关联关系。A和B的空间位置距离为x1,A和D的空间位置距离为x2,B和D的空间位置距离为x3,B和C的空间位置距离为x4,C和D的空间位置距离为x5。可以将空间位置距离的倒数作为矩阵值。
那么生成的初始通道关联矩阵可以为:
Figure 675584DEST_PATH_IMAGE002
其中,初始通道关联矩阵的行元素依次表示A、B、C、D,列元素依次表示A、B、C、D。
步骤S504,获取单位矩阵,融合单位矩阵和初始通道关联矩阵得到中间通道关联矩阵。
步骤S506,获取初始通道关联矩阵对应的对角矩阵,融合对角矩阵和中间通道关联矩阵得到目标通道关联矩阵。
步骤S508,基于目标通道关联矩阵得到目标通道关联特征。
其中,单位矩阵是指对角线为非零元素,其它元素为零的方形矩阵。对角矩阵是指主对角线之外的元素皆为零的矩阵。初始通道关联矩阵对应的对角矩阵是指根据初始通道关联矩阵的各个矩阵值确定主对角线上的元素,主对角线之外的元素皆为零的矩阵。
具体地,为了后续将目标通道关联特征嵌入目标时间特征时,不丢失各个采集通道自己的生理电信号,计算机设备可以获取单位矩阵,融合单位矩阵和初始通道关联矩阵得到中间通道关联矩阵。例如,单位矩阵为对角线上的元素为1,其它元素为0的方形矩阵,单位矩阵的矩阵维度为目标采集设备上采集通道的通道数量。计算机设备可以将单位矩阵和初始通道关联矩阵进行矩阵加法处理,得到中间通道关联矩阵。因为初始通道关联矩阵的对角线上的元素为0,若初始通道关联矩阵不和单位矩阵进行融合,后续计算得到的目标嵌入特征就不包含采集通道自身的生理电信号相关信息,不利于生理电信号的分类。
进一步的,为了后续将目标通道关联特征嵌入目标时间特征时,不改变原始信号的赋值范围,需要将中间通道关联矩阵的行列和都转化为1。因此,计算机设备可以获取初始通道关联矩阵对应的对角矩阵,融合对角矩阵和中间通道关联矩阵得到目标通道关联矩阵。最后,计算机设备可以基于目标通道关联矩阵得到目标通道关联特征,例如,将目标通道关联矩阵作为目标通道关联特征。
在一个实施例中,规范化处理可以通过下列公式实现:
Figure 27107DEST_PATH_IMAGE003
其中,A表示初始通道关联矩阵,也就是,初始邻近矩阵。I表示单位矩阵。
Figure 333455DEST_PATH_IMAGE004
表示中间通道关联矩阵。D表示初始通道关联矩阵对应的对角矩阵,
Figure 430724DEST_PATH_IMAGE005
表示对角线上的元素。
Figure 138917DEST_PATH_IMAGE006
表示
Figure 30649DEST_PATH_IMAGE007
中第1行所有元素的和。
Figure 89872DEST_PATH_IMAGE008
表示
Figure 990832DEST_PATH_IMAGE007
中第2行所有元素的和。
Figure 786488DEST_PATH_IMAGE009
表示
Figure 114701DEST_PATH_IMAGE007
中第n行所有元素的和。n表示目标采集设备上采集通道的通道数量。
Figure 395640DEST_PATH_IMAGE010
表示目标通道关联矩阵。
在一个实施例中,待分类生理电信号包括各个采集通道分别对应的生理电信号,提取待分类生理电信号对应的目标时间特征,包括:
获取至少一个时间卷积核;基于同一时间卷积核分别提取各个生理电信号对应的时间子特征,得到各个时间卷积核分别对应的多个时间子特征;基于同一时间卷积核对应的多个时间子特征生成中间时间特征,得到各个时间卷积核对应的中间时间特征;基于各个中间时间特征得到目标时间特征。
其中,待分类生理电信号是多通道的时间序列信号,待分类生理电信号包括各个采集通道分别对应的生理电信号。生理电信号可以反映电压或电流随时间的变化情况。
具体地,不同的时间卷积核用于提取不同视角的时间特征,例如,一个时间卷积核侧重于提取信号的起始时间特征,一个时间卷积核侧重于提取信号的末尾时间特征。在提取待分类生理电信号对应的目标时间特征时,计算机设备可以基于时间卷积核对各个采集通道对应的生理电信号分别提取时间特征,也就是,基于同一时间卷积核分别提取各个生理电信号对应的时间子特征。因为时间卷积核有多个,所以最终可以得到各个时间卷积核分别对应的多个时间子特征。进而,计算机设备可以基于同一时间卷积核对应的多个时间子特征生成中间时间特征,例如,将同一时间卷积核对应的多个时间子特征进行拼接得到中间时间特征。最后,计算机设备可以基于各个中间时间特征得到目标时间特征,例如,由各个中间时间特征组成目标时间特征。
在一个实施例中,待分类生理电信号的大小为T*C,T表示单个生理电信号的长度,也就是生理电信号对应的时间范围,C表示通道数量。时间卷积核是一个二维卷积核,大小为n*1,n值可调整。不同的时间卷积核可以对应相同或不同的n,不同的时间卷积核的矩阵值可以相同可以不同。时间卷积核只在时间纬度上对待分类生理电信号进行卷积,仅提取时间特征。
在一个实施例中,目标生理电信号分类模型包括时间卷积层,时间卷积层用于提取待分类生理电信号的时间特征。时间卷积层包括至少一个时间卷积核。计算机设备将待分类生理电信号输入目标生理电信号分类模型后,可以通过时间卷积层提取待分类生理电信号对应的目标时间特征。在时间卷积层中,基于同一时间卷积核分别提取各个生理电信号对应的时间子特征,得到各个时间卷积核分别对应的多个时间子特征,基于同一时间卷积核对应的多个时间子特征生成中间时间特征,得到各个时间卷积核对应的中间时间特征,基于各个中间时间特征得到目标时间特征。
本实施例中,时间卷积层包括至少一个时间卷积核,不同的时间卷积核用于提取不同视角的时间特征,从而目标时间特征可以包括多角度的时间特征,提高了目标时间特征的丰富度和准确性。
在一个实施例中,目标时间特征包括多个中间时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征,包括:
将目标通道关联特征分别嵌入各个中间时间特征,得到各个中间时间特征对应的初始嵌入特征;基于各个初始嵌入特征得到目标嵌入特征。
具体地,当目标时间特征为单个时间特征矩阵时,计算机设备可以将目标通道关联特征直接嵌入目标时间特征,得到目标嵌入特征。当目标时间特征包括多个时间特征矩阵,也就是,目标时间特征包括多个中间时间特征时,计算机设备就需要将目标通道关联特征分别嵌入各个中间时间特征,得到各个中间时间特征对应的初始嵌入特征,再将各个初始嵌入特征组成目标嵌入特征。
本实施例中,当目标时间特征包括多个中间时间特征时,需要将目标通道关联特征分别嵌入各个中间时间特征,得到各个中间时间特征对应的初始嵌入特征;基于各个初始嵌入特征得到目标嵌入特征。这样,能够得到比较准确的目标嵌入特征。
在一个实施例中,通道关联特征包括各个采集通道分别对应的关联子特征,中间时间特征包括各个采集通道分别对应的时间子特征。将目标通道关联特征分别嵌入各个中间时间特征,得到各个中间时间特征对应的初始嵌入特征,包括:
在当前中间时间特征中,将同一采集通道对应的关联子特征嵌入对应的时间子特征,得到各个采集通道分别对应的嵌入子特征;基于各个嵌入子特征得到当前中间时间特征对应的初始嵌入特征。
具体地,通道关联特征包括各个采集通道分别对应的关联子特征,中间时间特征包括各个采集通道分别对应的时间子特征。在将目标通道关联特征嵌入中间时间特征时,需要将同一采集通道对应的关联子特征和时间子特征进行嵌入。因此,以当前中间时间特征为例,计算机设备可以将同一采集通道对应的关联子特征嵌入对应的时间子特征,得到各个采集通道分别对应的嵌入子特征,再由各个嵌入子特征组成当前中间时间特征对应的初始嵌入特征。同理,对其他中间时间特征进行类似处理,最终可以得到各个中间时间特征分别对应的初始嵌入特征。
本实施例中,将同一采集通道对应的关联子特征和时间子特征进行嵌入,能够得到比较准确的初始嵌入特征。
在一个实施例中,提取目标嵌入特征对应的目标空间特征,包括:
获取至少一个空间卷积核;基于各个空间卷积核分别对目标嵌入特征进行空间特征提取,得到各个空间卷积核分别对应的中间空间特征;基于各个中间空间特征得到目标空间特征。
具体地,不同的空间卷积核用于提取不同视角的空间特征。在提取目标嵌入特征对应的目标空间特征时,计算机设备可以基于空间卷积核对目标嵌入特征进行空间特征提取,得到中间空间特征。因为空间卷积核有多个,所以最终可以得到各个空间卷积核分别对应的中间空间特征。进而,计算机设备可以基于各个中间空间特征得到目标空间特征,例如,由各个中间空间特征组成目标空间特征。
在一个实施例中,待分类生理电信号的大小为T*C,T表示单个生理电信号的长度,也就是生理电信号对应的时间范围,C表示通道数量。空间卷积核是一个二维卷积核,大小为1*C。不同的空间卷积核的矩阵值不同。空间卷积核只在通道纬度上对目标嵌入特征进行卷积,将不同采集通道对应的嵌入特征进行融合,仅提取空间特征。
在一个实施例中,目标生理电信号分类模型包括空间卷积层,空间卷积层用于提取待分类生理电信号的空间特征,空间卷积层包括至少一个空间卷积核。计算机设备可以通过目标生理电信号分类模型中的空间卷积层提取目标嵌入特征对应的目标空间特征。在空间卷积层中,基于各个空间卷积核分别对目标嵌入特征进行空间特征提取,得到各个空间卷积核分别对应的中间空间特征,基于各个中间空间特征得到目标空间特征。
本实施例中,空间卷积层包括至少一个空间卷积核,不同的空间卷积核用于提取不同视角的空间特征,从而目标空间特征可以包括多角度的空间特征,提高了目标空间特征的丰富度和准确性。
在一个实施例中,如图6所示,提供了一种生理电信号分类处理方法,以该方法应用于图1中的计算机设备为例进行说明,计算机设备可以是上述图1中的终端102或服务器104。参考图6,生理电信号分类处理方法包括以下步骤:
步骤S602,获取目标采集设备采集的训练生理电信号和训练生理电信号对应的训练标签。
其中,训练生理电信号是指用于模型训练的生理电信号。训练标签是指训练生理电信号对应的正确分类结果。
具体地,计算机设备可以获取目标采集设备采集的训练生理电信号和训练生理电信号对应的训练标签,基于训练生理电信号和对应的训练标签对目标采集设备对应的初始生理电信号分类模型进行有监督训练,得到目标采集设备对应的目标生理电信号分类模型。例如,计算机设备可以基于已知分类结果的脑电信号训练脑电信号分类模型,已知分类结果的肌电信号训练肌电信号分类模型,已知分类结果的心电信号训练心电信号分类模型。
步骤S604,将训练生理电信号输入目标采集设备对应的初始生理电信号分类模型;初始生理电信号分类模型包括目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的。
其中,初始生理电信号分类模型是指待训练的生理电信号分类模型。
具体地,计算机设备可以基于目标采集设备上多个采集通道的空间位置生成目标采集设备对应的目标通道关联特征,将目标通道关联特征集成到目标采集设备对应的初始生理电信号分类模型中。进而,计算机设备可以获取目标采集设备采集的训练生理电信号和训练生理电信号对应的训练标签,基于训练生理电信号和对应的训练标签对初始生理电信号分类模型进行有监督训练,得到目标生理电信号分类模型。
其中,生成目标通道关联特征的具体过程可以参照前述生理电信号分类处理方法的各个相关实施例所述的方法,此处不再赘述。
步骤S606,通过初始生理电信号分类模型提取训练生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征。
步骤S608,通过初始生理电信号分类模型提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到训练生理电信号对应的预测标签。
其中,预测标签是指初始生理电信号分类模型输出的预测分类结果。
具体地,计算机设备可以通过初始生理电信号分类模型提取训练生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征,提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到训练生理电信号对应的预测标签。
其中,模型对输入数据进行数据处理的具体过程可以参照前述生理电信号分类处理方法的各个相关实施例所述的方法,此处不再赘述。
在一个实施例中,初始生理电信号分类模型是一个轻量级的卷积神经网络。轻量级的网络更适合少量样本的训练集,可有效抑制过拟合。初始生理电信号分类模型的训练样本(即训练生理电信号
Figure 975657DEST_PATH_IMAGE011
,作为网络的输入,其中,N表示样本数目,T表示样本单通道长度,即单通道的生理电信号对应的时间范围,C为样本的通道数量。初始生理电信号分类模型包括时间卷积层、网络嵌入层、空间卷积层、非线性层和全连接层。首先,对训练样本经过变形,将原始的三维样本扩充至四维,在第二维度上增加一个大小为1的维度。即原始样本大小为N*T*C,变形后的样本大小为N*1*T*C。将变形后的样本输入至时间卷积层,通过时间卷积层提取各个采集通道的生理电信号对应的时间特征,获取时间特征图(即目标时间特征)
Figure 517497DEST_PATH_IMAGE012
,D表示特征图的深度,即特征图的数量,一个时间卷积核对应一个特征图。时间卷积层只是在时间维度上进行卷积,仅提取时间特征。然后,通过网络嵌入层将时间特征图与规范化后的网络邻接矩阵(即目标通道关联特征)相乘,进行网络嵌入,得到网络嵌入后的特征图
Figure 891978DEST_PATH_IMAGE013
。随后,将网络嵌入后的特征图输入至空间卷积层进行空间融合,并通过非线性层增强网络的非线性拟合能力。最后,使用一层的全连接层进行特征分类得到预测标签。空间卷积层只是在通道维度上进行卷积。
步骤S610,基于训练标签和预测标签的差异调整初始生理电信号分类模型的模型参数,直至满足收敛条件,得到目标生理电信号分类模型。
其中,目标生理电信号分类模型是指训练完成的生理电信号分类模型。
具体地,计算机设备将训练生理电信号输入目标采集设备对应的初始生理电信号分类模型,可以得到训练生理电信号对应的预测标签,再基于训练标签和预测标签的差异计算训练损失值,基于训练损失值进行反向传播更新,调整初始生理电信号分类模型的模型参数,直至满足收敛条件,得到目标生理电信号分类模型。收敛条件可以是训练损失值小于损失值阈值、模型迭代次数达到迭代阈值等。
在一个实施例中,可以选择交叉熵损失函数作为模型的损失函数,使用经典的梯度反向传播算法进行模型参数更新,选择默认参数设置的 Adam 优化器进行参数优化。
在一个实施例中,一个采集设备可以对应多个生理电信号分类模型。不同的生理电信号分类模型对应不同的分类任务。因此,训练标签可以是训练生理电信号在目标分类任务下对应的训练标签。那么,计算机设备基于训练生理电信号和对应的训练标签训练得到目标生理电信号分类模型,该目标生理电信号分类模型是专门输出对待分类生理电信号在目标分类任务下对应的分类结果。
上述生理电信号分类处理方法、装置、计算机设备和存储介质,通过获取目标采集设备采集的训练生理电信号和训练生理电信号对应的训练标签,将训练生理电信号输入目标采集设备对应的初始生理电信号分类模型,初始生理电信号分类模型包括目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的,通过初始生理电信号分类模型提取训练生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征,通过初始生理电信号分类模型提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到训练生理电信号对应的预测标签,基于训练标签和预测标签的差异调整初始生理电信号分类模型的模型参数,直至满足收敛条件,得到目标生理电信号分类模型。这样,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的,可以表示生理电信号的拓扑特征。在处理生理电信号时综合考虑生理电信号的时域频域特征以及拓扑特征,最终可以得到准确的分类结果,从而提高生理电信号的分类准确性。此外,将目标通道关联特征集成至模型中,针对同一采集设备采集的不同生理电信号仅需计算一次目标通道关联特征,从而有效提高生理电信号的分类效率。
本申请还提供一种应用场景,该应用场景应用上述的生理电信号分类处理方法。具体地,该生理电信号分类处理方法在该应用场景的应用如下:
本申请的生理电信号分类处理方法可以应用于脑电信号分类任务中。脑电图信号(EEG)是通过电子仪器(即采集设备)放大并记录下的头皮电信号而获得的生理电信号,为多通道的时间序列。参考图7A,采集设备上包括多个电极,一个电极对应一个采集通道,完整的脑电信号是由多个采集通道对应的脑电信号组成的。其中,702可以表示一个电极。
1、建立脑网络,并将其融合到初始脑电信号分类模型中
脑电图信号是由精密电子仪器从头皮上将大脑神经元的放电情况记录得到的多通道时间序列。每个通道均对应于人脑头皮上的一个位置,其在三维空间中具有一定的关联,这种关联有助于通道信息的融合。因此,可以借助脑网络进行脑电信号分类。脑网络是用于描述大脑功能连接的网络,该网络由节点和连边组成,节点表示大脑的一个组成部分,即一个采集通道或电极,连边表示组成部分之间的连接关系,即采集通道或电极之间的关联关系。脑网络可以通过通道关联特征来表示。
1-1、建立初始脑网络
空间脑网络是指基于电极的空间位置信息构建的脑网络,用于衡量不同电极间可能的物理连接。显然,空间上相近的神经或者脑区有较大的可能性存在物理连接,而相距较远的神经元或脑区间存在物理连接的可能性较低。初始脑网络的建立方法如下:
(1)将各个电极的三维坐标映射至二维,得到各个电极对应的二维坐标。
(2)将各个电极视为一个三角形顶点,通过计算两个顶点之间的距离获取三角形的边长。
(3)当且仅当满足如下条件时,我们认为三角形及其各边是存在的:①三角形内部除了三个顶点以外不包含其他节点;②三角形必须是锐角三角形或直角三角形(即不能是钝角三角形)。
(4)统计全部存在的三角形,以三角形的边作为网络的连边构建空间脑网络,得到初始脑网络对应的初始邻接矩阵。初始邻接矩阵的维度为节点个数(即电极数量或通道数量),数值表示每两个节点之间的连边值。当脑网络为无权网络时,初始邻接矩阵中的数值只包括0或1。当脑网络为有权网络时,初始邻接矩阵中的数据包括0和各个连边对应的两个电极之间的空间距离的倒数。
1-2、对初始脑网络进行规范化处理,得到目标脑网络
首先,基于公式
Figure 519268DEST_PATH_IMAGE014
,将初始邻接矩阵A和单位矩阵I相加,得到中间邻接矩阵
Figure 404441DEST_PATH_IMAGE015
。因为后续在网络嵌入时需要将原始的多通道信号与规范化后的邻接矩阵相乘。如果不加单位矩阵,则计算之后的各个通道信号不包含该通道的信息,不利于后面的分析。
然后,通过公式
Figure 800787DEST_PATH_IMAGE016
对初始脑网络进行规范化处理,得到目标脑网络(即目标通道关联特征)。规范化处理可以将初始邻接矩阵变换为行列和为1的矩阵,从而在后续的脑网络融合过程中不会改变原始信号的赋值范围。目标脑网络是结构性的脑网络,用于描述大脑神经元或区域之间的物理连接或位置关系。
1-3、将目标脑网络融合到初始脑电信号分类模型中,作为初始脑电信号分类模型的一个组成部分
基于脑电信号各个采集通道的空间位置关系构建目标脑网络,并将目标脑网络融入深度学习模型的模型结构中,以充分利用采集通道之间的空间信息,整合连通性强的采集通道,进而提升脑电信号分类模型的性能。
进一步的,将目标脑网络融合到初始脑电信号分类模型中,那么一个初始脑电信号分类模型就对应一个采集设备。这样,采集通道位置相同的不同样本仅需计算一次脑网络即可,效率较高,适合需要实时控制的脑-机接口系统。
2、对初始脑电信号分类模型进行有监督训练,得到目标脑电信号分类模型
基于训练脑电信号和对应的训练标签对初始脑电信号分类模型进行有监督训练,得到目标脑电信号分类模型。
3、通过目标脑电信号分类模型进行脑电信号分类
参考图7B,目标生理电信号分类模型包括时间卷积层、网络嵌入层、空间卷积层、非线性层和全连接层,网络嵌入层集成有目标脑网络(即目标通道关联特征)。将待分类脑电信号输入目标脑电信号分类模型后,可以通过时间卷积层提取待分类脑电信号对应的目标时间特征,通过网络嵌入层将目标脑网络嵌入目标时间特征得到目标嵌入特征,通过空间卷积层提取目标嵌入特征对应的目标空间特征,通过非线性层对目标空间特征进行非线性处理得到目标拟合特征,通过全连接层对目标拟合特征进行分类处理得到待分类脑电信号对应的分类结果。
本实施例中,可实现对脑电信号的端到端的解码,无需进行人工的特征提取,使模型更具普适性。此外,将空间脑网路融入深度学习模型的构建中,在保留原始信号特征的前提下引入了电极之间的拓扑连接,使多通道信号得到更好的融合,从而能够得到更准确的脑电信号分类结果。并且,基于电极的空间位置进行建网,电极位置相同的信号样本具有相同的空间脑网络,计算效率高,适用于需要实时控制的脑-机接口系统中。例如,针对手部残疾的用户,计算机设备可以实时获取用户的脑电信号,通过目标脑电信号分类模型对脑电信号进行运动想象分类,当分类结果显示用户当前正在想象左手,计算机设备可以驱动左手机械臂的运动。
可以理解,除了应用在脑电信号分类任务上,本申请的生理电信号分类处理方法还可以应用在其他生理电信号分类任务上,例如,心电信号分类任务、肌电信号分类任务等。例如,在用户运动的时候,可以通过目标肌电信号分类模型对用户的肌电信号进行肌肉状态分类,当肌肉状态为肌肉疲劳时,生成提示信息来提示用户及时休息。
应该理解的是,虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-6中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供了一种生理电信号分类处理装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:信号获取模块802、特征获取模块804、信号处理模块806和信号分类模块808,其中:
信号获取模块802,用于获取目标采集设备采集的待分类生理电信号。
通道关联特征获取模块804,用于获取目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的。
信号处理模块806,用于通过目标生理电信号分类模型提取待分类生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征。
信号分类模块808,用于通过目标生理电信号分类模型提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到待分类生理电信号对应的分类结果。
在一个实施例中,通道关联特征获取模块还用于获取目标采集设备对应的目标生理电信号分类模型;目标生理电信号分类模型集成有目标采集设备对应的目标通道关联特征,目标生理电信号分类模型用于提取待分类生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征,提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到待分类生理电信号对应的分类结果。
在一个实施例中,通道关联特征获取模块还用于确定目标分类任务;获取目标分类任务对应的多个候选生理电信号分类模型;候选生理电信号分类模型存在对应的候选采集设备;从各个候选生理电信号分类模型中确定目标采集设备对应的目标生理电信号分类模型。
在一个实施例中,如图9所示,所述装置还包括:
通道关联特征生成模块801,用于将各个采集通道的空间位置映射到同一平面上,得到各个采集通道的平面位置;从各个采集通道中获取目标数量个采集通道分别作为目标采集通道,得到目标数量个目标采集通道;基于各个目标采集通道的平面位置生成目标通道区域;当目标通道区域对应的区域形状特征为预设形状特征、且目标通道区域内没有其他采集通道时,将各个目标采集通道建立关联关系;基于存在关联关系的各个采集通道生成目标通道关联特征。
在一个实施例中,通道关联特征生成模块还用于将各个目标采集通道分别作为区域顶点,得到多个区域顶点;将各个区域顶点依次连接,得到目标通道区域。
在一个实施例中,区域形状特征包括目标通道区域的各个区域顶点对应的顶点夹角。通道关联特征生成模块还用于当各个顶点夹角均在参考夹角范围内时,确定目标通道区域对应的区域形状特征为预设形状特征;当区域形状特征为预设形状特征的目标通道区域内没有其他采集通道时,基于各个区域顶点之间的连接关系建立各个目标采集通道之间的关联关系。
在一个实施例中,通道关联特征生成模块还用于基于存在关联关系的各个采集通道生成初始通道关联特征;对初始通道关联特征进行规范化处理,得到目标通道关联特征。
在一个实施例中,通道关联特征生成模块还用于基于初始通道关联特征生成初始通道关联矩阵;获取单位矩阵,融合单位矩阵和初始通道关联矩阵得到中间通道关联矩阵;获取初始通道关联矩阵对应的对角矩阵,融合对角矩阵和中间通道关联矩阵得到目标通道关联矩阵;基于目标通道关联矩阵得到目标通道关联特征。
在一个实施例中,通道关联特征生成模块还用于基于目标采集设备上采集通道的通道数量确定初始通道关联矩阵的矩阵维度,将存在关联关系的各个采集通道对应的矩阵值确定为第一预设阈值,将其他采集通道对应的矩阵值确定为第二预设阈值,得到初始通道关联矩阵。通道关联特征生成模块还用于基于目标采集设备上采集通道的通道数量确定初始通道关联矩阵的矩阵维度,基于存在关联关系的各个采集通道之间的空间位置距离,确定存在关联关系的各个采集通道对应的矩阵值,将其他采集通道对应的矩阵值确定为第二预设阈值,得到初始通道关联矩阵。
在一个实施例中,待分类生理电信号包括各个采集通道分别对应的生理电信号。信号处理模块还用于获取至少一个时间卷积核;基于同一时间卷积核分别提取各个生理电信号对应的时间子特征,得到各个时间卷积核分别对应的多个时间子特征;基于同一时间卷积核对应的多个时间子特征生成中间时间特征,得到各个时间卷积核对应的中间时间特征;基于各个中间时间特征得到目标时间特征。
在一个实施例中,目标时间特征包括多个中间时间特征。信号处理模块还用于将目标通道关联特征分别嵌入各个中间时间特征,得到各个中间时间特征对应的初始嵌入特征;基于各个初始嵌入特征得到目标嵌入特征。
在一个实施例中,通道关联特征包括各个采集通道分别对应的关联子特征,中间时间特征包括各个采集通道分别对应的时间子特征。信号处理模块还用于在当前中间时间特征中,将同一采集通道对应的关联子特征嵌入对应的时间子特征,得到各个采集通道分别对应的嵌入子特征;基于各个嵌入子特征得到当前中间时间特征对应的初始嵌入特征。
在一个实施例中,信号分类模块还用于获取至少一个空间卷积核;基于各个空间卷积核分别对目标嵌入特征进行空间特征提取,得到各个空间卷积核分别对应的中间空间特征;基于各个中间空间特征得到目标空间特征。
在一个实施例中,信号分类模块还用于对目标空间特征进行非线性处理,得到目标拟合特征;对目标拟合特征进行分类处理,得到分类结果。
在一个实施例中,如图10所示,提供了一种生理电信号分类处理装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:信号获取模块1002、信号输入模块1004、信号处理模块1006、标签预测模块1008和参考调整模块1010,其中:
信号获取模块1002,用于获取目标采集设备采集的训练生理电信号和训练生理电信号对应的训练标签;
信号输入模块1004,用于将训练生理电信号输入目标采集设备对应的初始生理电信号分类模型;初始生理电信号分类模型包括目标采集设备对应的目标通道关联特征,目标通道关联特征是基于目标采集设备上多个采集通道的空间位置生成的;
信号处理模块1006,用于通过初始生理电信号分类模型提取训练生理电信号对应的目标时间特征,将目标通道关联特征嵌入目标时间特征得到目标嵌入特征;
标签预测模块1008,用于通过初始生理电信号分类模型提取目标嵌入特征对应的目标空间特征,基于目标空间特征得到训练生理电信号对应的预测标签;
参考调整模块1010,用于基于训练标签和预测标签的差异调整初始生理电信号分类模型的模型参数,直至满足收敛条件,得到目标生理电信号分类模型。
关于生理电信号分类处理装置的具体限定可以参见上文中对于生理电信号分类处理方法的限定,在此不再赘述。上述生理电信号分类处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储候选生理电信号分类模型、目标生理电信号分类模型等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种生理电信号分类处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种生理电信号分类处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图11、12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种生理电信号分类处理方法,其特征在于,所述方法包括:
获取目标采集设备采集的待分类生理电信号;
获取所述目标采集设备对应的目标通道关联特征,所述目标通道关联特征是基于所述目标采集设备上多个采集通道的空间位置生成的;
提取所述待分类生理电信号对应的目标时间特征,将所述目标通道关联特征嵌入所述目标时间特征得到目标嵌入特征;
提取所述目标嵌入特征对应的目标空间特征,基于所述目标空间特征得到所述待分类生理电信号对应的分类结果。
2.根据权利要求1所述的方法,其特征在于,所述获取所述目标采集设备对应的目标通道关联特征,包括:
获取所述目标采集设备对应的目标生理电信号分类模型;
所述目标生理电信号分类模型集成有所述目标采集设备对应的目标通道关联特征,所述目标生理电信号分类模型用于提取所述待分类生理电信号对应的目标时间特征,将所述目标通道关联特征嵌入所述目标时间特征得到目标嵌入特征,提取所述目标嵌入特征对应的目标空间特征,基于所述目标空间特征得到所述待分类生理电信号对应的分类结果。
3.根据权利要求1所述的方法,其特征在于,所述目标通道关联特征的生成包括以下步骤:
将各个采集通道的空间位置映射到同一平面上,得到各个采集通道的平面位置;
从各个采集通道中获取目标数量个采集通道分别作为目标采集通道,得到目标数量个目标采集通道;
基于各个目标采集通道的平面位置生成目标通道区域;
当所述目标通道区域对应的区域形状特征为预设形状特征、且所述目标通道区域内没有其他采集通道时,将各个目标采集通道建立关联关系;
基于存在关联关系的各个采集通道生成所述目标通道关联特征。
4.根据权利要求3所述的方法,其特征在于,所述区域形状特征包括目标通道区域的各个区域顶点对应的顶点夹角,所述当所述目标通道区域对应的区域形状特征为预设形状特征、且所述目标通道区域内没有其他采集通道时,将各个目标采集通道建立关联关系,包括:
当各个顶点夹角均在参考夹角范围内时,确定所述目标通道区域对应的区域形状特征为预设形状特征;
当区域形状特征为预设形状特征的目标通道区域内没有其他采集通道时,基于各个区域顶点之间的连接关系建立各个目标采集通道之间的关联关系。
5.根据权利要求3所述的方法,其特征在于,所述基于存在关联关系的各个采集通道生成所述目标通道关联特征,包括:
基于存在关联关系的各个采集通道生成初始通道关联特征;
对所述初始通道关联特征进行规范化处理,得到所述目标通道关联特征。
6.根据权利要求5所述的方法,其特征在于,所述对所述初始通道关联特征进行规范化处理,得到所述目标通道关联特征,包括:
基于所述初始通道关联特征生成初始通道关联矩阵;
获取单位矩阵,融合所述单位矩阵和所述初始通道关联矩阵得到中间通道关联矩阵;
获取所述初始通道关联矩阵对应的对角矩阵,融合所述对角矩阵和所述中间通道关联矩阵得到目标通道关联矩阵;
基于所述目标通道关联矩阵得到所述目标通道关联特征。
7.根据权利要求6所述的方法,其特征在于,所述基于所述初始通道关联特征生成初始通道关联矩阵包括以下方式中的任意一种:
基于所述目标采集设备上采集通道的通道数量确定所述初始通道关联矩阵的矩阵维度,将存在关联关系的各个采集通道对应的矩阵值确定为第一预设阈值,将其他采集通道对应的矩阵值确定为第二预设阈值,得到所述初始通道关联矩阵;
基于所述目标采集设备上采集通道的通道数量确定所述初始通道关联矩阵的矩阵维度,基于存在关联关系的各个采集通道之间的空间位置距离,确定存在关联关系的各个采集通道对应的矩阵值,将其他采集通道对应的矩阵值确定为第二预设阈值,得到所述初始通道关联矩阵。
8.根据权利要求1所述的方法,其特征在于,所述待分类生理电信号包括各个采集通道分别对应的生理电信号, 所述提取所述待分类生理电信号对应的目标时间特征,包括:
获取至少一个时间卷积核;
基于同一时间卷积核分别提取各个生理电信号对应的时间子特征,得到各个时间卷积核分别对应的多个时间子特征;
基于同一时间卷积核对应的多个时间子特征生成中间时间特征,得到各个时间卷积核对应的中间时间特征;
基于各个中间时间特征得到所述目标时间特征。
9.根据权利要求1所述的方法,其特征在于,所述目标时间特征包括多个中间时间特征,所述将所述目标通道关联特征嵌入所述目标时间特征得到目标嵌入特征,包括:
将所述目标通道关联特征分别嵌入各个中间时间特征,得到各个中间时间特征对应的初始嵌入特征;
基于各个初始嵌入特征得到所述目标嵌入特征。
10.根据权利要求9所述的方法,其特征在于,所述通道关联特征包括各个采集通道分别对应的关联子特征,所述中间时间特征包括各个采集通道分别对应的时间子特征;
所述将所述目标通道关联特征分别嵌入各个中间时间特征,得到各个中间时间特征对应的初始嵌入特征,包括:
在当前中间时间特征中,将同一采集通道对应的关联子特征嵌入对应的时间子特征,得到各个采集通道分别对应的嵌入子特征;
基于各个嵌入子特征得到所述当前中间时间特征对应的初始嵌入特征。
11.根据权利要求1所述的方法,其特征在于, 所述提取所述目标嵌入特征对应的目标空间特征,包括:
获取至少一个空间卷积核;
基于各个空间卷积核分别对所述目标嵌入特征进行空间特征提取,得到各个空间卷积核分别对应的中间空间特征;
基于各个中间空间特征得到所述目标空间特征。
12.一种生理电信号分类处理方法,其特征在于,所述方法包括:
获取目标采集设备采集的训练生理电信号和训练生理电信号对应的训练标签;
将所述训练生理电信号输入所述目标采集设备对应的初始生理电信号分类模型;所述初始生理电信号分类模型包括所述目标采集设备对应的目标通道关联特征,所述目标通道关联特征是基于所述目标采集设备上多个采集通道的空间位置生成的;
通过所述初始生理电信号分类模型提取所述训练生理电信号对应的目标时间特征,将所述目标通道关联特征嵌入所述目标时间特征得到目标嵌入特征;
通过所述初始生理电信号分类模型提取所述目标嵌入特征对应的目标空间特征,基于所述目标空间特征得到所述训练生理电信号对应的预测标签;
基于所述训练标签和所述预测标签的差异调整所述初始生理电信号分类模型的模型参数,直至满足收敛条件,得到目标生理电信号分类模型。
13.一种生理电信号分类处理装置,其特征在于,所述装置包括:
信号获取模块,用于获取目标采集设备采集的待分类生理电信号;
通道关联特征获取模块,用于获取所述目标采集设备对应的目标通道关联特征,所述目标通道关联特征是基于所述目标采集设备上多个采集通道的空间位置生成的;
信号处理模块,用于提取所述待分类生理电信号对应的目标时间特征,将所述目标通道关联特征嵌入所述目标时间特征得到目标嵌入特征;
信号分类模块,用于提取所述目标嵌入特征对应的目标空间特征,基于所述目标空间特征得到所述待分类生理电信号对应的分类结果。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11或12中任一项所述的方法的步骤。
15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11或12中任一项所述的方法的步骤。
CN202110246494.1A 2021-03-05 2021-03-05 生理电信号分类处理方法、装置、计算机设备和存储介质 Active CN112597986B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110246494.1A CN112597986B (zh) 2021-03-05 2021-03-05 生理电信号分类处理方法、装置、计算机设备和存储介质
PCT/CN2022/078970 WO2022184124A1 (zh) 2021-03-05 2022-03-03 生理电信号分类处理方法、装置、计算机设备和存储介质
EP22762586.0A EP4303759A4 (en) 2021-03-05 2022-03-03 METHOD AND APPARATUS FOR CLASSIFYING AND PROCESSING PHYSIOLOGICAL ELECTRICAL SIGNALS, COMPUTER DEVICE AND STORAGE MEDIUM
US17/992,565 US20230077726A1 (en) 2021-03-05 2022-11-22 Classification processing of an electrophysiological signal based on spatial locations of channels of the signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110246494.1A CN112597986B (zh) 2021-03-05 2021-03-05 生理电信号分类处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112597986A true CN112597986A (zh) 2021-04-02
CN112597986B CN112597986B (zh) 2021-06-08

Family

ID=75210176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110246494.1A Active CN112597986B (zh) 2021-03-05 2021-03-05 生理电信号分类处理方法、装置、计算机设备和存储介质

Country Status (4)

Country Link
US (1) US20230077726A1 (zh)
EP (1) EP4303759A4 (zh)
CN (1) CN112597986B (zh)
WO (1) WO2022184124A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887397A (zh) * 2021-09-29 2022-01-04 中山大学中山眼科中心 基于海洋捕食者算法的电生理信号的分类方法及分类系统
WO2022184124A1 (zh) * 2021-03-05 2022-09-09 腾讯科技(深圳)有限公司 生理电信号分类处理方法、装置、计算机设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116058852B (zh) * 2023-03-09 2023-12-22 同心智医科技(北京)有限公司 Mi-eeg信号的分类系统、方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108888264A (zh) * 2018-05-03 2018-11-27 南京邮电大学 Emd和csp融合功率谱密度脑电特征提取方法
US20190000336A1 (en) * 2017-05-28 2019-01-03 Najafabad Branch, Islamic Azad University Detecting and predicting an epileptic seizure
US20190142291A1 (en) * 2015-03-23 2019-05-16 Temple University-Of The Commonwealth System Of Higher Education System and Method for Automatic Interpretation of EEG Signals Using a Deep Learning Statistical Model
CN110074779A (zh) * 2019-04-17 2019-08-02 中科创达(重庆)汽车科技有限公司 一种脑电信号识别方法及装置
CN110531861A (zh) * 2019-09-06 2019-12-03 腾讯科技(深圳)有限公司 运动想象脑电信号的处理方法和装置及存储介质
CN112232177A (zh) * 2020-10-13 2021-01-15 燕山大学 基于csp-umap的运动想象脑电数据降维方法及其实验装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
WO2020047750A1 (zh) * 2018-09-04 2020-03-12 深圳先进技术研究院 心律失常的检测方法、装置、电子设备及计算机存储介质
CN109924990A (zh) * 2019-03-27 2019-06-25 兰州大学 一种基于emd算法的脑电信号抑郁症识别系统
GB201910657D0 (en) * 2019-07-25 2019-09-11 Univ Oxford Innovation Ltd Deep end-to-end classification of electrocardiogram data
CN111317468B (zh) * 2020-02-27 2024-04-19 腾讯科技(深圳)有限公司 脑电信号分类方法、装置、计算机设备和存储介质
CN112597986B (zh) * 2021-03-05 2021-06-08 腾讯科技(深圳)有限公司 生理电信号分类处理方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190142291A1 (en) * 2015-03-23 2019-05-16 Temple University-Of The Commonwealth System Of Higher Education System and Method for Automatic Interpretation of EEG Signals Using a Deep Learning Statistical Model
US20190000336A1 (en) * 2017-05-28 2019-01-03 Najafabad Branch, Islamic Azad University Detecting and predicting an epileptic seizure
CN108888264A (zh) * 2018-05-03 2018-11-27 南京邮电大学 Emd和csp融合功率谱密度脑电特征提取方法
CN110074779A (zh) * 2019-04-17 2019-08-02 中科创达(重庆)汽车科技有限公司 一种脑电信号识别方法及装置
CN110531861A (zh) * 2019-09-06 2019-12-03 腾讯科技(深圳)有限公司 运动想象脑电信号的处理方法和装置及存储介质
CN112232177A (zh) * 2020-10-13 2021-01-15 燕山大学 基于csp-umap的运动想象脑电数据降维方法及其实验装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHONGKE GAO 等: "A Deep Learning Method for Improving the Classification Accuracy of SSMVEP-Based BCI", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS—II: EXPRESS BRIEFS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022184124A1 (zh) * 2021-03-05 2022-09-09 腾讯科技(深圳)有限公司 生理电信号分类处理方法、装置、计算机设备和存储介质
CN113887397A (zh) * 2021-09-29 2022-01-04 中山大学中山眼科中心 基于海洋捕食者算法的电生理信号的分类方法及分类系统
CN113887397B (zh) * 2021-09-29 2022-10-14 中山大学中山眼科中心 基于海洋捕食者算法的电生理信号的分类方法及分类系统

Also Published As

Publication number Publication date
US20230077726A1 (en) 2023-03-16
EP4303759A1 (en) 2024-01-10
CN112597986B (zh) 2021-06-08
EP4303759A4 (en) 2024-08-28
WO2022184124A1 (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN112597986B (zh) 生理电信号分类处理方法、装置、计算机设备和存储介质
Wang et al. Generative partial multi-view clustering with adaptive fusion and cycle consistency
CN110580482B (zh) 图像分类模型训练、图像分类、个性化推荐方法及装置
Kang et al. Depth-adaptive deep neural network for semantic segmentation
CN110929622A (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
CN111680678B (zh) 目标区域识别方法、装置、设备及可读存储介质
CN112990010B (zh) 点云数据处理方法、装置、计算机设备和存储介质
US20080152217A1 (en) System and method for modeling the neocortex and uses therefor
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
Shi et al. Remote sensing scene classification based on multibranch fusion attention network
CN114496099A (zh) 细胞功能注释方法、装置、设备及介质
CN114519401B (zh) 一种图像分类方法及装置、电子设备、存储介质
CN109934926B (zh) 模型数据处理方法、装置、可读存储介质和设备
CN114569142A (zh) 基于类脑计算的手势识别方法、系统及手势识别装置
CN114283899A (zh) 一种训练分子结合模型的方法、分子筛选方法及装置
Li et al. Research on the improvement of vision target tracking algorithm for Internet of things technology and Simple extended application in pellet ore phase
CN117292750A (zh) 细胞类型占比的预测方法、装置、设备及存储介质
CN112183303A (zh) 变电设备图像分类方法、装置、计算机设备和介质
CN115496911B (zh) 一种目标点检测方法、装置、设备及存储介质
CN117037236A (zh) 训练年龄变化模型的方法及相关装置
CN111582208B (zh) 用于生成生物体姿态关键点信息的方法和装置
CN116091541A (zh) 眼动追踪方法、装置、电子设备、存储介质和程序产品
CN111488888B (zh) 图像特征提取方法以及人脸特征生成设备
CN113822291A (zh) 一种图像处理方法、装置、设备及存储介质
CN110432900A (zh) 一种用于恒河猴眼动决策解码的多视图学习方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40042445

Country of ref document: HK