CN117612710A - 一种基于脑电信号和人工智能分类的医疗诊断辅助系统 - Google Patents

一种基于脑电信号和人工智能分类的医疗诊断辅助系统 Download PDF

Info

Publication number
CN117612710A
CN117612710A CN202410077209.1A CN202410077209A CN117612710A CN 117612710 A CN117612710 A CN 117612710A CN 202410077209 A CN202410077209 A CN 202410077209A CN 117612710 A CN117612710 A CN 117612710A
Authority
CN
China
Prior art keywords
electroencephalogram
data
signal
vector
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410077209.1A
Other languages
English (en)
Inventor
万李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei No4 People's Hospital (anhui Metal Health Center)
Original Assignee
Hefei No4 People's Hospital (anhui Metal Health Center)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei No4 People's Hospital (anhui Metal Health Center) filed Critical Hefei No4 People's Hospital (anhui Metal Health Center)
Priority to CN202410077209.1A priority Critical patent/CN117612710A/zh
Publication of CN117612710A publication Critical patent/CN117612710A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Epidemiology (AREA)

Abstract

本发明公开了一种基于脑电信号和人工智能分类的医疗诊断辅助系统，包括脑电信号采集模块、精神状态分类范式构建模块、脑电信息预处理模块、特征信息处理模块、脑电信号分类模块和医疗诊断辅助模块。本发明属于精神科医疗诊断辅助系统技术领域，具体为一种基于脑电信号和人工智能分类的医疗诊断辅助系统，本发明构建视听精神状态范式和构建静息态精神状态范式，为脑电信号采集提供了良好的理论支持；采用离散小波变化分解脑电信号并计算信号特征信息，提升了脑电信号人工智能分类的总体准确性；采用结合多头注意力机制的卷积双向长短期记忆神经网络的方法进行脑电信号分类，为精神科医疗诊断提供了数据和技术支持。

Description

一种基于脑电信号和人工智能分类的医疗诊断辅助系统
技术领域
本发明属于精神科医疗诊断辅助系统技术领域，具体为一种基于脑电信号和人工智能分类的医疗诊断辅助系统。
背景技术
基于脑电信号和人工智能分类的精神科医疗诊断辅助系统是指利用脑电信号（EEG）数据和人工智能分类算法来辅助精神科医生进行精神疾病的诊断和治疗决策的系统。它结合了脑电信号的生物特征和人工智能的分析能力，旨在提高精神科医生的诊断准确性和治疗效果。
但是，在已有的精神科医疗诊断辅助系统中，存在着精神科医疗诊断辅助需要合适的被试精神状态分类范式，进而才能有效进行脑电信号分类和诊断辅助的技术问题；在已有的精神科医疗诊断辅助系统中，存在着脑电数据特征复杂且多样，影响后续分类和预测任务准确性的技术问题；在已有的精神科医疗诊断辅助系统中，存在着复杂的脑电特征信息不能进行简单的特征融合，需要进行多模态融合和高精度分类的技术问题。
发明内容
针对上述情况，为克服现有技术的缺陷，本发明提供了一种基于脑电信号和人工智能分类的医疗诊断辅助系统，针对在已有的精神科医疗诊断辅助系统中，存在着精神科医疗诊断辅助需要合适的被试精神状态分类范式，进而才能有效进行脑电信号分类和诊断辅助的技术问题，本方案创造性地构建视听精神状态范式和构建静息态精神状态范式，为脑电信号采集提供了良好的理论支持；针对在已有的精神科医疗诊断辅助系统中，存在着脑电数据特征复杂且多样，影响后续分类和预测任务准确性的技术问题，本方案创造性地采用离散小波变化分解脑电信号并计算信号特征信息，提升了脑电信号人工智能分类的总体准确性；针对在已有的精神科医疗诊断辅助系统中，存在着复杂的脑电特征信息不能进行简单的特征融合，需要进行多模态融合和高精度分类的技术问题，本方案创造性地采用结合多头注意力机制的卷积双向长短期记忆神经网络的方法进行脑电信号分类，通过多头注意力机制集中特征信息，采用卷积神经子网计算特征图并采用双向长短期记忆神经网络进行信号分类，提升了系统整体的自动性和可用性，为精神科医疗诊断提供了数据和技术支持。
本发明采取的技术方案如下：本发明提供的一种基于脑电信号和人工智能分类的医疗诊断辅助系统，包括脑电信号采集模块、精神状态分类范式构建模块、脑电信息预处理模块、特征信息处理模块、脑电信号分类模块和医疗诊断辅助模块；
所述精神状态分类范式构建模块，用于构建脑电信号采集步骤所需的被试的精神状态范式，通过精神状态分类范式构建，得到脑电记录采集范式，并将所述脑电记录采集范式发送至脑电信号采集模块；
所述脑电信号采集模块，用于采集医疗诊断辅助需要的脑电信号数据，通过从脑电采集系统中，进行信号采集和被试数据统计，得到脑电信号原始数据，并将所述脑电信号原始数据发送至脑电信息预处理模块和脑电信号分类模块；
所述脑电信息预处理模块，用于对采集得到的脑电信息进行初步处理，通过采用EEGLAB和MATLAB的信号处理工具，进行脑电信息处理得到优化脑电数据，并将所述优化脑电数据发送至特征信息处理模块和脑电信号分类模块，所述脑电信息预处理包括以下步骤：信息过滤、数据优化、小波分解和脑电信息预处理；
所述特征信息处理模块，用于对脑电数据进行特征计算，具体为通过应用离散小波变化分解所述优化脑电数据中的脑电信号，计算并构建信号特征，得到脑电特征信息数据，并将所述脑电特征信息数据发送至脑电信号分类模块；
所述脑电信号分类模块，用于融合脑电特征信息并进行脑电信号分类，具体为采用结合多头注意力机制的卷积双向长短期记忆神经网络的方法，基于所述优化脑电数据和所述脑电特征信息数据进行脑电信号分类，得到脑电信号分类数据，并将所述脑电信号分类数据发送至医疗诊断辅助模块；
所述结合多头注意力机制的卷积双向长短期记忆神经网络，包括多头注意力层、卷积神经网络子网和双向长短期记忆神经网络子网；所述多头注意力层，用于集中特征信息；所述卷积神经网络子网，用于计算生成特征图并进行多数组特征数据处理，具体包括卷积层、池化层和全连接层，其中，所述池化层，具体采用多模态低秩双线性池化代替传统池化层的特征拼接方法，进行多模态融合；所述双向长短期记忆神经网络子网，用于进行脑电信号分类，具体包括前向子网、后向子网和独立隐藏层；
所述医疗诊断辅助模块，用于依据脑电信号的人工智能分类结果，进行医疗诊断辅助，通过医疗诊断辅助，得到精神科分诊参考信息。
进一步地，所述精神状态分类范式构建，用于构建脑电信号采集步骤所需的被试的精神状态范式，具体指构建视听精神状态范式和构建静息态精神状态范式，得到脑电记录采集范式；
所述视听精神状态范式，包括听觉刺激范式和图片刺激范式；
所述听觉刺激范式，具体指脑电采集系统通过扩音器，提供1000赫兹，70分贝的正弦音调刺激，所述正弦音调刺激为成对声音刺激；
所述成对声音，具体指声音之间有512毫秒的间隔和5秒的对间间隔，总计36对的成对音源；
所述成对声音刺激，具体持续3分钟，并在成对声音刺激期间，要求被试注视面前约80厘米处的电脑屏幕上的符号；
所述图片刺激范式，所述图片具体指对刺激水平、复杂程度、亮度和色彩匹配的图片组，包括情绪图片和非情绪图片；
所述图片刺激，具体进行20对按随机顺序出现的图片刺激，每张图片展示5秒，每两张图片展示之间的时间间隔为10秒，每张图片重复出现3次的；
所述静息态精神状态范式，包括睁眼静息态范式和闭眼静息态范式；
所述静息态精神状态范式，具体持续6分钟，包括3分钟的睁眼静息态和3分钟的闭眼静息态。
进一步地，所述脑电信号采集，用于采集医疗诊断辅助需要的脑电信号数据，具体为采用脑电采集系统，通过信号采集和被试数据统计，得到脑电信号原始数据，所述脑电信号原始数据，包括脑交替电流信号数据、被试基本信息数据和被试认知评估数据；
所述脑电采集系统，具体采用64导脑电信号放大器，依据所述脑电记录采集范式，对被试进行脑电记录；
所述脑电记录，包括认知任务和静息态脑电采集，所述静息态脑电采集，具体指连续记录脑交替电流信号，并采用24位分辨率和1024赫兹的采样率，进行脑电信号数字化和保存，所述脑交替电流信号的信号范围为0.03赫兹至100赫兹，所述64导脑电信号放大器，具体指带有64个干电极的头盔式干电极脑电帽。
进一步地，所述脑电信息预处理，用于对采集得到的脑电信息进行初步处理，具体指采用EEGLAB和MATLAB的信号处理工具，进行脑电信息处理，得到优化脑电数据，包括以下步骤：
信息过滤，具体为采用infomaxICA方法进行眨眼信息提取和伪影过滤；
数据优化，具体为通过数据去噪进行数据优化；
小波分解，具体为通过小波变换进行脑电信号分解；
脑电信息预处理，具体为通过所述信息过滤、所述数据优化和所述小波分解，对所述脑电信号原始数据进行脑电信息预处理，得到优化脑电数据。
进一步地，所述特征信息处理，用于对脑电数据进行特征计算，具体为通过应用离散小波变化分解所述优化脑电数据中的脑电信号，计算并构建信号特征，得到脑电特征信息数据，具体包括以下步骤：
构建对比度特征，计算公式为：
；
式中，FCont是对比度特征，用于表示瞬时信号与其相邻信号在整个时间序列中的幅度值之间的差值，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，X(·)是脑电信号振幅函数；
构建同质性特征，计算公式为：
；
式中，FHom是同质性特征，用于表示共生矩阵的分布元素与其对角线的均匀性，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，X(·)是脑电信号振幅函数；
构建一致性特征，计算公式为：
；
式中，FEne是一致性特征，用于表示共生矩阵的平方元素和，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，X(·)是脑电信号振幅函数；
构建相关性特征，计算公式为：
；
式中，FCor是相关性特征，用于表示行向量和两个瞬时振幅值之间的线性关系，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，j是行向量列数索引为i时的相邻瞬时振幅向量标识符，是行向量均值，/>是相邻瞬时振幅向量均值，是行向量标准差，/>是相邻瞬时振幅向量标准差，X(·)是脑电信号振幅函数；
构建标准差特征，计算公式为：
；
式中，FSD是标准差特征，用于表示脑电信号瞬时振幅值和平均值的均方变化，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，X(·)是脑电信号振幅函数，是脑电信号的平均值；
构建熵值特征，计算公式为：
；
式中，FEnt是熵值特征，用于描述行向量的纹理特征，L是脑电信号中的振幅总数，k是振幅索引，Pk是对应第k各振幅值的概率；
构建中值特征，计算公式为：
；
式中，FMea是中值特征，用于表示行向量中的概率分布中心趋势，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，P(·)是脑电信号特征向量的行向量的概率分布；
构建偏度特征，计算公式为：
；
式中，FSke是偏度特征，用于表示行向量中的概率分布的不对称程度，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，P(·)是脑电信号特征向量的行向量的概率分布函数，是脑电信号的平均值，/>是脑电信号的标准差；
构建平滑度特征，计算公式为：
；
式中，FSmt是平滑度特征，用于测量振幅值对比度，是脑电信号的标准差；
构建峰度特征，计算公式为：
；
式中，FKur是峰值特征，用于表示行向量的正态分布，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，P(·)是脑电信号特征向量的行向量的概率分布函数，是脑电信号的平均值，/>是脑电信号的标准差；
构建方差特征，计算公式为：
；
式中，FVar是方差特征，FSD是标准差特征；
构建逆差运动特征，计算公式为：
；
式中，FIDM是逆差运动特征，用于表示行向量的纹理水平，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，P(·)是脑电信号特征向量的行向量的概率分布函数；
构建信号特征，具体为通过所述构建对比度特征、所述构建同质性特征、所述构建一致性特征、所述构建相关性特征、所述构建标准差特征、所述构建熵值特征、所述构建中心特征、所述构建偏度特征、构建平滑度特征、所述构建峰度特征、所述构建方差特征和所述构建逆差运动特征，构建信号特征，得到脑电特征信息数据。
进一步地，所述脑电信号分类，用于融合脑电特征信息并进行脑电信号分类，具体为采用结合多头注意力机制的卷积双向长短期记忆神经网络的方法，基于所述优化脑电数据和所述脑电特征信息数据进行脑电信号分类，得到脑电信号分类数据；
所述结合多头注意力机制的卷积双向长短期记忆神经网络，包括多头注意力层、卷积神经网络子网和双向长短期记忆神经网络子网；
所述多头注意力层，用于集中特征信息；
所述卷积神经网络子网，用于计算生成特征图并进行多数组特征数据处理，具体包括卷积层、池化层和全连接层，其中，所述池化层，具体采用多模态低秩双线性池化代替传统池化层的特征拼接方法，进行多模态融合；
所述双向长短期记忆神经网络子网，用于进行脑电信号分类，具体包括前向子网、后向子网和独立隐藏层；
所述采用结合多头注意力机制的卷积双向长短期记忆神经网络的方法，基于所述优化脑电数据和所述脑电特征信息数据进行脑电信号分类，得到脑电信号分类数据的步骤，包括：
训练数据建构，具体为从所述优化脑电数据中，随机抽取70%的数据作为训练数据样本；
构建多头注意力层，包括以下步骤：
构建注意力矩阵，计算公式为：
；
式中，Att(Q,K,V)是注意力矩阵的计算值，softmax(·)是softmax分类器函数，Q是查询向量，K是键向量，V是值向量，T是转置运算符，dk是所述脑电特征信息数据的特征维度；
构建并行注意力头，计算公式为：
；
式中，是并行注意力头，用于从多个子空间捕获信息，/>是并行注意力头索引，Att(·)是注意力矩阵的计算函数，Q是查询向量，K是键向量，V是值向量，/>是查询预测权重矩阵，/>是键预测权重矩阵，/>是值预测权重矩阵；
构建多头注意力机制，计算公式为：
；
式中，是多头注意力机制的计算值，Q是查询向量，K是键向量，V是值向量，Concat(·)是连接操作函数，head1是第1并行注意力头，headh是第h并行注意力头，其中，h是并行注意力头总数，WO是线性输出函数权重矩阵；
构建卷积神经网络子网，包括以下步骤：
构建卷积层，具体为通过计算特征图并采用非线性激活函数激活，构建所述卷积层，所述卷积层的计算公式为：
；
式中，I是卷积层的输出特征图，ReLU(·)是非线性激活函数，w是卷积层权重，是作为卷积层输入样本，b是卷积层偏置项；
构建池化层，具体为采用多模态低秩双线性池化代替传统池化层的特征拼接方法，进行多模态融合，构建所述池化层；
所述多模态低秩双线性池化的步骤，包括：特征提取、主成分分析特征降维和双线性池化，得到多模态融合特征图；
构建全连接层，具体为接收所述多模态低秩双线性池化得到的多模态融合特征图，并将所述多模态融合特征图连接至双向长短期记忆神经网络子网；
构建双向长短期记忆神经网络子网，包括以下步骤：
构建前向子网，具体为通过构建前向输入门、前向遗忘门和前向输出门，得到前向长短期记忆神经网络；
构建后向子网，具体为通过构建后向输入门、后向遗忘门和后向输出门，得到后向长短期记忆神经网络；
构建独立隐藏层，用于捕获样本的双向信息，具体为通过在所述前向子网和后向子网的输入层前各构建一层独立隐藏层，并将隐藏层输出各自输入到所述前向输入门和所述后向输入门中，构建所述独立隐藏层；
脑电信号分类模型训练，具体为通过所述训练数据建构、所述构建多头注意力层、所述构建卷积神经网络子网和所述构建双向长短期记忆神经网络子网进行脑电信号分类模型训练，得到脑电信号分类人工智能模型ModelAI；
脑电信号分类，具体为通过使用所述脑电信号分类人工智能模型ModelAI，对所述脑电信号原始数据进行脑电信号分类，得到脑电信号分类数据。
进一步地，所述医疗诊断辅助，用于依据脑电信号的人工智能分类结果，进行医疗诊断辅助，具体为依据所述脑电信号分类数据进行精神科医疗诊断辅助，得到诊断辅助报告，所述诊断辅助报告依据所述脑电信号分类数据生成，具体指单个病人脑电中的各精神科数据特征，所述精神科数据特征，包括抑郁成分、焦虑成分、精神分裂成分、情感障碍成分和老年痴呆成分。
采用上述方案本发明取得的有益效果如下：
（1）针对在已有的精神科医疗诊断辅助系统中，存在着精神科医疗诊断辅助需要合适的被试精神状态分类范式，进而才能有效进行脑电信号分类和诊断辅助的技术问题，本方案创造性地构建视听精神状态范式和构建静息态精神状态范式，为脑电信号采集提供了良好的理论支持；
（2）针对在已有的精神科医疗诊断辅助系统中，存在着脑电数据特征复杂且多样，影响后续分类和预测任务准确性的技术问题，本方案创造性地采用离散小波变化分解脑电信号并计算信号特征信息，提升了脑电信号人工智能分类的总体准确性；
（3）针对在已有的精神科医疗诊断辅助系统中，存在着复杂的脑电特征信息不能进行简单的特征融合，需要进行多模态融合和高精度分类的技术问题，本方案创造性地采用结合多头注意力机制的卷积双向长短期记忆神经网络的方法进行脑电信号分类，通过多头注意力机制集中特征信息，采用卷积神经子网计算特征图并采用双向长短期记忆神经网络进行信号分类，提升了系统整体的自动性和可用性，为精神科医疗诊断提供了数据和技术支持。
附图说明
图1为本发明提供的一种基于脑电信号和人工智能分类的医疗诊断辅助系统的结构示意图；
图2为本发明提供的一种基于脑电信号和人工智能分类的医疗诊断辅助所执行步骤的流程示意图；
图3为本发明提供的一种基于脑电信号和人工智能分类的医疗诊断辅助系统的数据流图；
图4为脑电信息预处理模块所执行步骤的流程示意图；
图5为特征信息处理模块所执行步骤的流程示意图；
图6为脑电信号分类模块所执行步骤的流程示意图。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一，参阅图1和图3，本发明提供的一种基于脑电信号和人工智能分类的医疗诊断辅助系统，包括脑电信号采集模块、精神状态分类范式构建模块、脑电信息预处理模块、特征信息处理模块、脑电信号分类模块和医疗诊断辅助模块；
所述精神状态分类范式构建模块，用于构建脑电信号采集步骤所需的被试的精神状态范式，通过精神状态分类范式构建，得到脑电记录采集范式，并将所述脑电记录采集范式发送至脑电信号采集模块；
所述脑电信号采集模块，用于采集医疗诊断辅助需要的脑电信号数据，通过从脑电采集系统中，进行信号采集和被试数据统计，得到脑电信号原始数据，并将所述脑电信号原始数据发送至脑电信息预处理模块和脑电信号分类模块；
所述脑电信息预处理模块，用于对采集得到的脑电信息进行初步处理，通过采用EEGLAB和MATLAB的信号处理工具，进行脑电信息处理得到优化脑电数据，并将所述优化脑电数据发送至特征信息处理模块和脑电信号分类模块，所述脑电信息预处理包括以下步骤：信息过滤、数据优化、小波分解和脑电信息预处理；
所述特征信息处理模块，用于对脑电数据进行特征计算，具体为通过应用离散小波变化分解所述优化脑电数据中的脑电信号，计算并构建信号特征，得到脑电特征信息数据，并将所述脑电特征信息数据发送至脑电信号分类模块；
所述脑电信号分类模块，用于融合脑电特征信息并进行脑电信号分类，具体为采用结合多头注意力机制的卷积双向长短期记忆神经网络的方法，基于所述优化脑电数据和所述脑电特征信息数据进行脑电信号分类，得到脑电信号分类数据，并将所述脑电信号分类数据发送至医疗诊断辅助模块；
所述结合多头注意力机制的卷积双向长短期记忆神经网络，包括多头注意力层、卷积神经网络子网和双向长短期记忆神经网络子网；所述多头注意力层，用于集中特征信息；所述卷积神经网络子网，用于计算生成特征图并进行多数组特征数据处理，具体包括卷积层、池化层和全连接层，其中，所述池化层，具体采用多模态低秩双线性池化代替传统池化层的特征拼接方法，进行多模态融合；所述双向长短期记忆神经网络子网，用于进行脑电信号分类，具体包括前向子网、后向子网和独立隐藏层；
所述医疗诊断辅助模块，用于依据脑电信号的人工智能分类结果，进行医疗诊断辅助，通过医疗诊断辅助，得到精神科分诊参考信息。
实施例二，该实施例基于上述实施例，参阅图1、图2和图3，所述精神状态分类范式构建，用于构建脑电信号采集步骤所需的被试的精神状态范式，具体指构建视听精神状态范式和构建静息态精神状态范式，得到脑电记录采集范式；
所述视听精神状态范式，包括听觉刺激范式和图片刺激范式；
所述听觉刺激范式，具体指脑电采集系统通过扩音器，提供1000赫兹，70分贝的正弦音调刺激，所述正弦音调刺激为成对声音刺激；
所述成对声音，具体指声音之间有512毫秒的间隔和5秒的对间间隔，总计36对的成对音源；
所述成对声音刺激，具体持续3分钟，并在成对声音刺激期间，要求被试注视面前约80厘米处的电脑屏幕上的符号；
所述图片刺激范式，所述图片具体指对刺激水平、复杂程度、亮度和色彩匹配的图片组，包括情绪图片和非情绪图片；
所述图片刺激，具体进行20对按随机顺序出现的图片刺激，每张图片展示5秒，每两张图片展示之间的时间间隔为10秒，每张图片重复出现3次的；
所述静息态精神状态范式，包括睁眼静息态范式和闭眼静息态范式；
所述静息态精神状态范式，具体持续6分钟，包括3分钟的睁眼静息态和3分钟的闭眼静息态。
通过执行上述操作，针对在已有的精神科医疗诊断辅助系统中，存在着精神科医疗诊断辅助需要合适的被试精神状态分类范式，进而才能有效进行脑电信号分类和诊断辅助的技术问题，本方案创造性地构建视听精神状态范式和构建静息态精神状态范式，为脑电信号采集提供了良好的理论支持。
实施例三，该实施例基于上述实施例，参阅图1、图2和图3，所述脑电信号采集，用于采集医疗诊断辅助需要的脑电信号数据，具体为采用脑电采集系统，通过信号采集和被试数据统计，得到脑电信号原始数据，所述脑电信号原始数据，包括脑交替电流信号数据、被试基本信息数据和被试认知评估数据；
所述脑电采集系统，具体采用64导脑电信号放大器，依据所述脑电记录采集范式，对被试进行脑电记录；
所述脑电记录，包括认知任务和静息态脑电采集，所述静息态脑电采集，具体指连续记录脑交替电流信号，并采用24位分辨率和1024赫兹的采样率，进行脑电信号数字化和保存，所述脑交替电流信号的信号范围为0.03赫兹至100赫兹，所述64导脑电信号放大器，具体指带有64个干电极的头盔式干电极脑电帽。
实施例四，该实施例基于上述实施例，参阅图2、图3和图4，所述脑电信息预处理，用于对采集得到的脑电信息进行初步处理，具体指采用EEGLAB和MATLAB的信号处理工具，进行脑电信息处理，得到优化脑电数据，包括以下步骤：
信息过滤，具体为采用infomaxICA方法进行眨眼信息提取和伪影过滤；
数据优化，具体为通过数据去噪进行数据优化；
小波分解，具体为通过小波变换进行脑电信号分解；
脑电信息预处理，具体为通过所述信息过滤、所述数据优化和所述小波分解，对所述脑电信号原始数据进行脑电信息预处理，得到优化脑电数据。
实施例五，该实施例基于上述实施例，参阅图1、图2和图5，所述特征信息处理，用于对脑电数据进行特征计算，具体为通过应用离散小波变化分解所述优化脑电数据中的脑电信号，计算并构建信号特征，得到脑电特征信息数据，具体包括以下步骤：
构建对比度特征，计算公式为：
；
式中，FCont是对比度特征，用于表示瞬时信号与其相邻信号在整个时间序列中的幅度值之间的差值，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，X(·)是脑电信号振幅函数；
构建同质性特征，计算公式为：
；
式中，FHom是同质性特征，用于表示共生矩阵的分布元素与其对角线的均匀性，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，X(·)是脑电信号振幅函数；
构建一致性特征，计算公式为：
；
式中，FEne是一致性特征，用于表示共生矩阵的平方元素和，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，X(·)是脑电信号振幅函数；
构建相关性特征，计算公式为：
；
式中，FCor是相关性特征，用于表示行向量和两个瞬时振幅值之间的线性关系，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，j是行向量列数索引为i时的相邻瞬时振幅向量标识符，是行向量均值，/>是相邻瞬时振幅向量均值，是行向量标准差，/>是相邻瞬时振幅向量标准差，X(·)是脑电信号振幅函数；
构建标准差特征，计算公式为：
；
式中，FSD是标准差特征，用于表示脑电信号瞬时振幅值和平均值的均方变化，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，X(·)是脑电信号振幅函数，是脑电信号的平均值；
构建熵值特征，计算公式为：
；
式中，FEnt是熵值特征，用于描述行向量的纹理特征，L是脑电信号中的振幅总数，k是振幅索引，Pk是对应第k各振幅值的概率；
构建中值特征，计算公式为：
；
式中，FMea是中值特征，用于表示行向量中的概率分布中心趋势，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，P(·)是脑电信号特征向量的行向量的概率分布；
构建偏度特征，计算公式为：
；
式中，FSke是偏度特征，用于表示行向量中的概率分布的不对称程度，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，P(·)是脑电信号特征向量的行向量的概率分布函数，是脑电信号的平均值，/>是脑电信号的标准差；
构建平滑度特征，计算公式为：
；
式中，FSmt是平滑度特征，用于测量振幅值对比度，是脑电信号的标准差；
构建峰度特征，计算公式为：
；
式中，FKur是峰值特征，用于表示行向量的正态分布，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，P(·)是脑电信号特征向量的行向量的概率分布函数，是脑电信号的平均值，/>是脑电信号的标准差；
构建方差特征，计算公式为：
；
式中，FVar是方差特征，FSD是标准差特征；
构建逆差运动特征，计算公式为：
；
式中，FIDM是逆差运动特征，用于表示行向量的纹理水平，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，P(·)是脑电信号特征向量的行向量的概率分布函数；
构建信号特征，具体为通过所述构建对比度特征、所述构建同质性特征、所述构建一致性特征、所述构建相关性特征、所述构建标准差特征、所述构建熵值特征、所述构建中心特征、所述构建偏度特征、构建平滑度特征、所述构建峰度特征、所述构建方差特征和所述构建逆差运动特征，构建信号特征，得到脑电特征信息数据。
通过执行上述操作，针对在已有的精神科医疗诊断辅助系统中，存在着脑电数据特征复杂且多样，影响后续分类和预测任务准确性的技术问题，本方案创造性地采用离散小波变化分解脑电信号并计算信号特征信息，提升了脑电信号人工智能分类的总体准确性。
实施例六，该实施例基于上述实施例，参阅图1、图2和图6，所述脑电信号分类，用于融合脑电特征信息并进行脑电信号分类，具体为采用结合多头注意力机制的卷积双向长短期记忆神经网络的方法，基于所述优化脑电数据和所述脑电特征信息数据进行脑电信号分类，得到脑电信号分类数据；
所述结合多头注意力机制的卷积双向长短期记忆神经网络，包括多头注意力层、卷积神经网络子网和双向长短期记忆神经网络子网；
所述多头注意力层，用于集中特征信息；
所述卷积神经网络子网，用于计算生成特征图并进行多数组特征数据处理，具体包括卷积层、池化层和全连接层，其中，所述池化层，具体采用多模态低秩双线性池化代替传统池化层的特征拼接方法，进行多模态融合；
所述双向长短期记忆神经网络子网，用于进行脑电信号分类，具体包括前向子网、后向子网和独立隐藏层；
所述采用结合多头注意力机制的卷积双向长短期记忆神经网络的方法，基于所述优化脑电数据和所述脑电特征信息数据进行脑电信号分类，得到脑电信号分类数据的步骤，包括：
训练数据建构，具体为从所述优化脑电数据中，随机抽取70%的数据作为训练数据样本；
构建多头注意力层，包括以下步骤：
构建注意力矩阵，计算公式为：
；
式中，Att(Q,K,V)是注意力矩阵的计算值，softmax(·)是softmax分类器函数，Q是查询向量，K是键向量，V是值向量，T是转置运算符，dk是所述脑电特征信息数据的特征维度；
构建并行注意力头，计算公式为：
；
式中，是并行注意力头，用于从多个子空间捕获信息，/>是并行注意力头索引，Att(·)是注意力矩阵的计算函数，Q是查询向量，K是键向量，V是值向量，/>是查询预测权重矩阵，/>是键预测权重矩阵，/>是值预测权重矩阵；
构建多头注意力机制，计算公式为：
；
式中，是多头注意力机制的计算值，Q是查询向量，K是键向量，V是值向量，Concat(·)是连接操作函数，head1是第1并行注意力头，headh是第h并行注意力头，其中，h是并行注意力头总数，WO是线性输出函数权重矩阵；
构建卷积神经网络子网，包括以下步骤：
构建卷积层，具体为通过计算特征图并采用非线性激活函数激活，构建所述卷积层，所述卷积层的计算公式为：
；
式中，I是卷积层的输出特征图，ReLU(·)是非线性激活函数，w是卷积层权重，是作为卷积层输入样本，b是卷积层偏置项；
构建池化层，具体为采用多模态低秩双线性池化代替传统池化层的特征拼接方法，进行多模态融合，构建所述池化层；
所述多模态低秩双线性池化的步骤，包括：特征提取、主成分分析特征降维和双线性池化，得到多模态融合特征图；
构建全连接层，具体为接收所述多模态低秩双线性池化得到的多模态融合特征图，并将所述多模态融合特征图连接至双向长短期记忆神经网络子网；
构建双向长短期记忆神经网络子网，包括以下步骤：
构建前向子网，具体为通过构建前向输入门、前向遗忘门和前向输出门，得到前向长短期记忆神经网络；
构建后向子网，具体为通过构建后向输入门、后向遗忘门和后向输出门，得到后向长短期记忆神经网络；
构建独立隐藏层，用于捕获样本的双向信息，具体为通过在所述前向子网和后向子网的输入层前各构建一层独立隐藏层，并将隐藏层输出各自输入到所述前向输入门和所述后向输入门中，构建所述独立隐藏层；
脑电信号分类模型训练，具体为通过所述训练数据建构、所述构建多头注意力层、所述构建卷积神经网络子网和所述构建双向长短期记忆神经网络子网进行脑电信号分类模型训练，得到脑电信号分类人工智能模型ModelAI；
脑电信号分类，具体为通过使用所述脑电信号分类人工智能模型ModelAI，对所述脑电信号原始数据进行脑电信号分类，得到脑电信号分类数据。
通过执行上述操作，针对在已有的精神科医疗诊断辅助系统中，存在着复杂的脑电特征信息不能进行简单的特征融合，需要进行多模态融合和高精度分类的技术问题，本方案创造性地采用结合多头注意力机制的卷积双向长短期记忆神经网络的方法进行脑电信号分类，通过多头注意力机制集中特征信息，采用卷积神经子网计算特征图并采用双向长短期记忆神经网络进行信号分类，提升了系统整体的自动性和可用性，为精神科医疗诊断提供了数据和技术支持。
实施例七，该实施例基于上述实施例，参阅图1、图2和图3，所述医疗诊断辅助，用于依据脑电信号的人工智能分类结果，进行医疗诊断辅助，具体为依据所述脑电信号分类数据进行精神科医疗诊断辅助，得到诊断辅助报告，所述诊断辅助报告依据所述脑电信号分类数据生成，具体指单个病人脑电中的各精神科数据特征，所述精神科数据特征，包括抑郁成分、焦虑成分、精神分裂成分、情感障碍成分和老年痴呆成分。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程和方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程和方法所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (8)

1.一种基于脑电信号和人工智能分类的医疗诊断辅助系统，其特征在于：包括脑电信号采集模块、精神状态分类范式构建模块、脑电信息预处理模块、特征信息处理模块、脑电信号分类模块和医疗诊断辅助模块；
所述精神状态分类范式构建模块，用于构建脑电信号采集步骤所需的被试的精神状态范式，通过精神状态分类范式构建，得到脑电记录采集范式，并将所述脑电记录采集范式发送至脑电信号采集模块；
所述脑电信号采集模块，用于采集医疗诊断辅助需要的脑电信号数据，通过从脑电采集系统中，进行信号采集和被试数据统计，得到脑电信号原始数据，并将所述脑电信号原始数据发送至脑电信息预处理模块和脑电信号分类模块；
所述脑电信息预处理模块，用于对采集得到的脑电信息进行初步处理，通过采用EEGLAB和MATLAB的信号处理工具，进行脑电信息处理得到优化脑电数据，并将所述优化脑电数据发送至特征信息处理模块和脑电信号分类模块，所述脑电信息预处理包括以下步骤：信息过滤、数据优化、小波分解和脑电信息预处理；
所述特征信息处理模块，用于对脑电数据进行特征计算，具体为通过应用离散小波变化分解所述优化脑电数据中的脑电信号，计算并构建信号特征，得到脑电特征信息数据，并将所述脑电特征信息数据发送至脑电信号分类模块；
所述脑电信号分类模块，用于融合脑电特征信息并进行脑电信号分类，具体为采用结合多头注意力机制的卷积双向长短期记忆神经网络的方法，基于所述优化脑电数据和所述脑电特征信息数据进行脑电信号分类，得到脑电信号分类数据，并将所述脑电信号分类数据发送至医疗诊断辅助模块；
所述结合多头注意力机制的卷积双向长短期记忆神经网络，包括多头注意力层、卷积神经网络子网和双向长短期记忆神经网络子网；所述多头注意力层，用于集中特征信息；所述卷积神经网络子网，用于计算生成特征图并进行多数组特征数据处理，具体包括卷积层、池化层和全连接层，其中，所述池化层，具体采用多模态低秩双线性池化代替传统池化层的特征拼接方法，进行多模态融合；所述双向长短期记忆神经网络子网，用于进行脑电信号分类，具体包括前向子网、后向子网和独立隐藏层；
所述医疗诊断辅助模块，用于依据脑电信号的人工智能分类结果，进行医疗诊断辅助，通过医疗诊断辅助，得到精神科分诊参考信息。
2.根据权利要求1所述的一种基于脑电信号和人工智能分类的医疗诊断辅助系统，其特征在于：在所述特征信息处理中，所述通过应用离散小波变化分解所述优化脑电数据中的脑电信号，计算并构建信号特征，得到脑电特征信息数据，具体包括以下步骤：
构建对比度特征，计算公式为：
；
式中，FCont是对比度特征，用于表示瞬时信号与其相邻信号在整个时间序列中的幅度值之间的差值，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，X(·)是脑电信号振幅函数；
构建同质性特征，计算公式为：
；
式中，FHom是同质性特征，用于表示共生矩阵的分布元素与其对角线的均匀性，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，X(·)是脑电信号振幅函数；
构建一致性特征，计算公式为：
；
式中，FEne是一致性特征，用于表示共生矩阵的平方元素和，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，X(·)是脑电信号振幅函数；
构建相关性特征，计算公式为：
；
式中，FCor是相关性特征，用于表示行向量和两个瞬时振幅值之间的线性关系，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，j是行向量列数索引为i时的相邻瞬时振幅向量标识符，是行向量均值，/>是相邻瞬时振幅向量均值，/>是行向量标准差，/>是相邻瞬时振幅向量标准差，X(·)是脑电信号振幅函数；
构建标准差特征，计算公式为：
；
式中，FSD是标准差特征，用于表示脑电信号瞬时振幅值和平均值的均方变化，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，X(·)是脑电信号振幅函数，是脑电信号的平均值；
构建熵值特征，计算公式为：
；
式中，FEnt是熵值特征，用于描述行向量的纹理特征，L是脑电信号中的振幅总数，k是振幅索引，Pk是对应第k各振幅值的概率；
构建中值特征，计算公式为：
；
式中，FMea是中值特征，用于表示行向量中的概率分布中心趋势，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，P(·)是脑电信号特征向量的行向量的概率分布；
构建偏度特征，计算公式为：
；
式中，FSke是偏度特征，用于表示行向量中的概率分布的不对称程度，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，P(·)是脑电信号特征向量的行向量的概率分布函数，是脑电信号的平均值，/>是脑电信号的标准差；
构建平滑度特征，计算公式为：
；
式中，FSmt是平滑度特征，用于测量振幅值对比度，是脑电信号的标准差；
构建峰度特征，计算公式为：
；
式中，FKur是峰值特征，用于表示行向量的正态分布，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，P(·)是脑电信号特征向量的行向量的概率分布函数，是脑电信号的平均值，/>是脑电信号的标准差；
构建方差特征，计算公式为：
；
式中，FVar是方差特征，FSD是标准差特征；
构建逆差运动特征，计算公式为：
；
式中，FIDM是逆差运动特征，用于表示行向量的纹理水平，N是脑电信号特征向量的行向量总列数，i是脑电信号特征向量的行向量列数索引，P(·)是脑电信号特征向量的行向量的概率分布函数；
构建信号特征，具体为通过所述构建对比度特征、所述构建同质性特征、所述构建一致性特征、所述构建相关性特征、所述构建标准差特征、所述构建熵值特征、所述构建中心特征、所述构建偏度特征、构建平滑度特征、所述构建峰度特征、所述构建方差特征和所述构建逆差运动特征，构建信号特征，得到脑电特征信息数据。
3.根据权利要求2所述的一种基于脑电信号和人工智能分类的医疗诊断辅助系统，其特征在于：在所述脑电信号分类中，所述结合多头注意力机制的卷积双向长短期记忆神经网络，包括多头注意力层、卷积神经网络子网和双向长短期记忆神经网络子网；
所述多头注意力层，用于集中特征信息；
所述卷积神经网络子网，用于计算生成特征图并进行多数组特征数据处理，具体包括卷积层、池化层和全连接层，其中，所述池化层，具体采用多模态低秩双线性池化代替传统池化层的特征拼接方法，进行多模态融合；
所述双向长短期记忆神经网络子网，用于进行脑电信号分类，具体包括前向子网、后向子网和独立隐藏层。
4.根据权利要求3所述的一种基于脑电信号和人工智能分类的医疗诊断辅助系统，其特征在于：在所述脑电信号分类中，所述采用结合多头注意力机制的卷积双向长短期记忆神经网络的方法，基于所述优化脑电数据和所述脑电特征信息数据进行脑电信号分类，得到脑电信号分类数据的步骤，包括：
训练数据建构，具体为从所述优化脑电数据中，随机抽取70%的数据作为训练数据样本；
构建多头注意力层，包括以下步骤：
构建注意力矩阵，计算公式为：
；
式中，Att(Q,K,V)是注意力矩阵的计算值，softmax(·)是softmax分类器函数，Q是查询向量，K是键向量，V是值向量，T是转置运算符，dk是所述脑电特征信息数据的特征维度；
构建并行注意力头，计算公式为：
；
式中，是并行注意力头，用于从多个子空间捕获信息，/>是并行注意力头索引，Att(·)是注意力矩阵的计算函数，Q是查询向量，K是键向量，V是值向量，/>是查询预测权重矩阵，/>是键预测权重矩阵，/>是值预测权重矩阵；
构建多头注意力机制，计算公式为：
；
式中，是多头注意力机制的计算值，Q是查询向量，K是键向量，V是值向量，Concat(·)是连接操作函数，head1是第1并行注意力头，headh是第h并行注意力头，其中，h是并行注意力头总数，WO是线性输出函数权重矩阵；
构建卷积神经网络子网，包括以下步骤：
构建卷积层，具体为通过计算特征图并采用非线性激活函数激活，构建所述卷积层，所述卷积层的计算公式为：
；
式中，I是卷积层的输出特征图，ReLU(·)是非线性激活函数，w是卷积层权重，是作为卷积层输入样本，b是卷积层偏置项；
构建池化层，具体为采用多模态低秩双线性池化代替传统池化层的特征拼接方法，进行多模态融合，构建所述池化层；
所述多模态低秩双线性池化的步骤，包括：特征提取、主成分分析特征降维和双线性池化，得到多模态融合特征图；
构建全连接层，具体为接收所述多模态低秩双线性池化得到的多模态融合特征图，并将所述多模态融合特征图连接至双向长短期记忆神经网络子网；
构建双向长短期记忆神经网络子网，包括以下步骤：
构建前向子网，具体为通过构建前向输入门、前向遗忘门和前向输出门，得到前向长短期记忆神经网络；
构建后向子网，具体为通过构建后向输入门、后向遗忘门和后向输出门，得到后向长短期记忆神经网络；
构建独立隐藏层，用于捕获样本的双向信息，具体为通过在所述前向子网和后向子网的输入层前各构建一层独立隐藏层，并将隐藏层输出各自输入到所述前向输入门和所述后向输入门中，构建所述独立隐藏层；
脑电信号分类模型训练，具体为通过所述训练数据建构、所述构建多头注意力层、所述构建卷积神经网络子网和所述构建双向长短期记忆神经网络子网进行脑电信号分类模型训练，得到脑电信号分类人工智能模型ModelAI；
脑电信号分类，具体为通过使用所述脑电信号分类人工智能模型ModelAI，对所述脑电信号原始数据进行脑电信号分类，得到脑电信号分类数据。
5.根据权利要求4所述的一种基于脑电信号和人工智能分类的医疗诊断辅助系统，其特征在于：在所述脑电信息预处理中，所述信息过滤，具体为采用infomax_ICA方法进行眨眼信息提取和伪影过滤；
所述数据优化，具体为通过数据去噪进行数据优化；
所述小波分解，具体为通过小波变换进行脑电信号分解；
所述脑电信息预处理，具体为通过所述信息过滤、所述数据优化和所述小波分解，对所述脑电信号原始数据进行脑电信息预处理，得到优化脑电数据。
6.根据权利要求5所述的一种基于脑电信号和人工智能分类的医疗诊断辅助系统，其特征在于：在所述精神状态分类范式构建中，所述脑电信号采集步骤所需的被试的精神状态范式，具体指构建视听精神状态范式和构建静息态精神状态范式；
所述视听精神状态范式，包括听觉刺激范式和图片刺激范式；
所述听觉刺激范式，具体指脑电采集系统通过扩音器，提供1000赫兹，70分贝的正弦音调刺激，所述正弦音调刺激为成对声音刺激；
所述成对声音，具体指声音之间有512毫秒的间隔和5秒的对间间隔，总计36对的成对音源；
所述成对声音刺激，具体持续3分钟，并在成对声音刺激期间，要求被试注视面前约80厘米处的电脑屏幕上的符号；
所述图片刺激范式，所述图片具体指对刺激水平、复杂程度、亮度和色彩匹配的图片组，包括情绪图片和非情绪图片；
所述图片刺激，具体进行20对按随机顺序出现的图片刺激，每张图片展示5秒，每两张图片展示之间的时间间隔为10秒，每张图片重复出现3次的；
所述静息态精神状态范式，包括睁眼静息态范式和闭眼静息态范式；
所述静息态精神状态范式，具体持续6分钟，包括3分钟的睁眼静息态和3分钟的闭眼静息态。
7.根据权利要求6所述的一种基于脑电信号和人工智能分类的医疗诊断辅助系统，其特征在于：所述脑电信号采集，具体为采用脑电采集系统，通过信号采集和被试数据统计，得到脑电信号原始数据，所述脑电信号原始数据，包括脑交替电流信号数据、被试基本信息数据和被试认知评估数据；
所述脑电采集系统，具体采用64导脑电信号放大器，依据所述脑电记录采集范式，对被试进行脑电记录；
所述脑电记录，包括认知任务和静息态脑电采集，所述静息态脑电采集，具体指连续记录脑交替电流信号，并采用24位分辨率和1024赫兹的采样率，进行脑电信号数字化和保存，所述脑交替电流信号的信号范围为0.03赫兹至100赫兹，所述64导脑电信号放大器，具体指带有64个干电极的头盔式干电极脑电帽。
8.根据权利要求7所述的一种基于脑电信号和人工智能分类的医疗诊断辅助系统，其特征在于：所述医疗诊断辅助，用于依据脑电信号的人工智能分类结果，进行医疗诊断辅助，具体为依据所述脑电信号分类数据进行精神科医疗诊断辅助，得到诊断辅助报告，所述诊断辅助报告依据所述脑电信号分类数据生成，具体指单个病人脑电中的各精神科数据特征，所述精神科数据特征，包括抑郁成分、焦虑成分、精神分裂成分、情感障碍成分和老年痴呆成分。
CN202410077209.1A 2024-01-19 2024-01-19 一种基于脑电信号和人工智能分类的医疗诊断辅助系统 Pending CN117612710A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410077209.1A CN117612710A (zh) 2024-01-19 2024-01-19 一种基于脑电信号和人工智能分类的医疗诊断辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410077209.1A CN117612710A (zh) 2024-01-19 2024-01-19 一种基于脑电信号和人工智能分类的医疗诊断辅助系统

Publications (1)

Publication Number Publication Date
CN117612710A true CN117612710A (zh) 2024-02-27

Family

ID=89950219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410077209.1A Pending CN117612710A (zh) 2024-01-19 2024-01-19 一种基于脑电信号和人工智能分类的医疗诊断辅助系统

Country Status (1)

Country Link
CN (1) CN117612710A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118161166A (zh) * 2024-05-14 2024-06-11 吉林大学 基于ERP-fNIRS的抑郁症状特性识别方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118161166A (zh) * 2024-05-14 2024-06-11 吉林大学 基于ERP-fNIRS的抑郁症状特性识别方法及装置

Similar Documents

Publication Publication Date Title
Cui et al. EEG-based emotion recognition using an end-to-end regional-asymmetric convolutional neural network
Gao et al. A GPSO-optimized convolutional neural networks for EEG-based emotion recognition
Huang et al. S-EEGNet: Electroencephalogram signal classification based on a separable convolution neural network with bilinear interpolation
CN112932502B (zh) 结合互信息通道选择与混合神经网络的脑电情感识别方法
CN112381008B (zh) 一种基于并行序列通道映射网络的脑电情感识别方法
CN114533086B (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
KR20190128978A (ko) 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
CN114224342B (zh) 一种基于时空融合特征网络的多通道脑电信号情绪识别方法
CN117612710A (zh) 一种基于脑电信号和人工智能分类的医疗诊断辅助系统
CN112957014A (zh) 一种基于脑电波与神经网络的疼痛检测定位方法及系统
Wan et al. EEG fading data classification based on improved manifold learning with adaptive neighborhood selection
Wang et al. Maximum weight multi-modal information fusion algorithm of electroencephalographs and face images for emotion recognition
CN117520826B (zh) 一种基于可穿戴设备的多模态情绪识别方法及系统
CN114732409A (zh) 一种基于脑电信号的情绪识别方法
CN114947883A (zh) 一种时频域信息融合的深度学习脑电降噪方法
Wang et al. Multiband decomposition and spectral discriminative analysis for motor imagery BCI via deep neural network
CN113974627B (zh) 一种基于脑机生成对抗的情绪识别方法
Kumar et al. Classification of SSVEP signals using neural networks for BCI applications
CN115659207A (zh) 一种脑电情绪识别方法及系统
Cheng et al. Multi-domain encoding of spatiotemporal dynamics in EEG for emotion recognition
Xu et al. Eeg signal classification and feature extraction methods based on deep learning: A review
Guo et al. Convolutional gated recurrent unit-driven multidimensional dynamic graph neural network for subject-independent emotion recognition
Çelebi et al. An emotion recognition method based on EWT-3D–CNN–BiLSTM-GRU-AT model
CN117883082A (zh) 一种异常情绪识别方法、系统、设备及介质
CN115813409B (zh) 一种超低延迟的运动图像脑电图解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication