CN114431867A - 一种脑电采集装置、脑电目标识别方法和装置 - Google Patents
一种脑电采集装置、脑电目标识别方法和装置 Download PDFInfo
- Publication number
- CN114431867A CN114431867A CN202011205670.9A CN202011205670A CN114431867A CN 114431867 A CN114431867 A CN 114431867A CN 202011205670 A CN202011205670 A CN 202011205670A CN 114431867 A CN114431867 A CN 114431867A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- picture
- signal
- pictures
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000002071 nanotube Substances 0.000 claims abstract description 62
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N titanium dioxide Inorganic materials O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 claims abstract description 43
- 210000004556 brain Anatomy 0.000 claims abstract description 27
- 239000002105 nanoparticle Substances 0.000 claims abstract description 23
- 229910052737 gold Inorganic materials 0.000 claims abstract description 22
- 239000012528 membrane Substances 0.000 claims abstract description 21
- 239000007784 solid electrolyte Substances 0.000 claims abstract description 13
- 230000000694 effects Effects 0.000 claims abstract description 8
- OGIDPMRJRNCKJF-UHFFFAOYSA-N titanium oxide Inorganic materials [Ti]=O OGIDPMRJRNCKJF-UHFFFAOYSA-N 0.000 claims abstract description 8
- 238000001179 sorption measurement Methods 0.000 claims abstract description 6
- 230000003190 augmentative effect Effects 0.000 claims description 50
- 239000011521 glass Substances 0.000 claims description 47
- 238000003062 neural network model Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 7
- 230000007787 long-term memory Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000006403 short-term memory Effects 0.000 claims description 7
- 241001465754 Metazoa Species 0.000 claims description 6
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Substances [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 abstract description 31
- 239000010931 gold Substances 0.000 abstract description 30
- 238000001514 detection method Methods 0.000 abstract description 12
- 229910052697 platinum Inorganic materials 0.000 abstract description 10
- 230000005611 electricity Effects 0.000 abstract description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 230000006872 improvement Effects 0.000 description 7
- 239000004408 titanium dioxide Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000007254 oxidation reaction Methods 0.000 description 2
- SOQBVABWOPYFQZ-UHFFFAOYSA-N oxygen(2-);titanium(4+) Chemical compound [O-2].[O-2].[Ti+4] SOQBVABWOPYFQZ-UHFFFAOYSA-N 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000003792 electrolyte Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009834 vaporization Methods 0.000 description 1
- 230000008016 vaporization Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种脑电采集装置、脑电目标识别方法和装置，属于目标检测与识别技术领域，解决了现有脑电信号信噪比低，对脑电目标检测性能低的问题。脑电采集装置包括多个干电极，采集脑电信号，其上表面与导线连接，其下表面与待测皮肤接触的界面处涂覆或蒸镀有生物膜‑纳米管，所述生物膜‑纳米管，包括：TiO2纳米管，与干电极下表面连接，每个TiO2纳米管从根部到整个管壁均镶嵌有Au或Pt纳米粒子；以及生物膜，为由高生物相容性、静电吸附、高电化学活性的生物膜结合多级别尺度Au纳米粒子组成的固态电解质并位于所述TiO2纳米管外表面处。使用生物膜/金(或铂)/TiO2纳米管对干电极表面进行修改，提高干电极表面对脑电信号的传感能力和脑电信号信噪比。
Description
技术领域
本发明涉及目标检测与识别技术领域，尤其涉及一种脑电采集装置、脑电目标识别方法和装置。
背景技术
在目标检测与识别领域，深度学习等方法已取得广泛应用。但深度学习等方法需要依靠大样本建模，对于样本量较少、样本信噪比低等情况下其性能会大大降低。当前，对于小样本目标检测与识别主要依靠人工手动方法来实现。
然而，人工手动方法效率低，无法在大数据背景样本的情况快速检测识别出目标。目前已有一些基于脑电的目标快速检测与识别方法，但受限于脑电传感电极性能，尤其是干电极的界面性能，导致采集到的脑电信号信噪比较低，使得对脑电目标检测与识别性能不够高。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种干电极、其脑电采集装置及脑电目标识别方法和装置，用以解决现有脑电信号信噪比低，使得对脑电目标检测与识别性能低的问题。
一方面，本发明实施例提供了一种脑电采集装置包括：多个干电极，用于采集脑电信号，其上表面与导线连接，以及其下表面用于与待测皮肤接触的界面处涂覆或蒸镀有生物膜-纳米管，其中，所述生物膜-纳米管，包括：TiO2纳米管，与所述干电极下表面连接，其中，每个TiO2纳米管从根部到整个管壁均镶嵌有Au或Pt纳米粒子；以及生物膜，为由高生物相容性、静电吸附、高电化学活性的生物膜结合多级别尺度Au纳米粒子组成的固态电解质并位于所述TiO2纳米管外表面处。
上述技术方案的有益效果如下：使用生物膜/金(或铂)/TiO2纳米管对干电极表面进行修改，提高干电极对脑电信号的传感能力。干电极由于不需要导电膏，可直接佩戴就能使用，快捷方便。每个TiO2纳米管从根部到整个管壁均镶嵌着Au或Pt纳米粒子，具有高的电子输运能力；其表面的固态电解质膜，可起到粘附皮肤、富集水分、降低异相界面电荷转移电阻的作用，提高电极对脑电的传感采集性能。
基于上述装置的进一步改进，脑电采集装置还包括放大器，与多个干电极中每个干电极上表面的导线连接，用于放大所述脑电信号。
另一方面，本发明实施例提供了一种脑电目标识别方法，包括：在所述增强现实眼镜中快速呈现已知标签图片并使用以上所述的脑电采集装置同步采集所述第一脑电信号；构建长短时记忆神经网络模型，并利用所述第一脑电信号训练所述长短时记忆神经网络模型以获取脑电解码模型；在所述增强现实眼镜中呈现多张待识别图片并同步采集第二脑电信号；以及将所述第二脑电信号输入所述脑电解码模型，以对与所述第二脑电信号相对应的所述多张待识别图片进行分类。
基于上述方法的进一步改进，在所述增强现实眼镜中快速呈现已知标签图片进一步包括：对多张图片中的每张图片进行类别标注，以构建图片库，其中，所述图片库包括多张已知标签图片；人员佩戴所述增强现实眼镜；以及以包为单位按预设帧速在所述增强现实眼镜中快速呈现所述多张已知标签图片，其中，每包包括N张所述已知标签图片，N为所述预设帧速的1.5倍。
基于上述方法的进一步改进，对多张图片中的每张图片进行类别标注进一步包括：将存在第一目标的图片标注为标签1；将存在第二目标的图片标注为标签2；将存在第三目标的图片标注为标签3；以及将没有所述第一目标、所述第二目标和所述第三目标的图片标注为标签4，其中，所述第一目标、第二目标和第三目标分别为人、汽车或动物。
基于上述方法的进一步改进，使用包括多个生物膜-纳米管干电极的脑电采集装置同步采集所述第一脑电信号进一步包括：在以包为单位，按预设帧速在所述增强现实眼镜中快速呈现所述多张已知标签图片的同时，所述脑电采集装置在人员注视所述多张已知标签图片过程中采集所述第一脑电信号；以及在每包开始呈现的时刻，所述增强现实眼镜向所述脑电采集装置发送同步标签。
基于上述方法的进一步改进，利用所述第一脑电信号训练所述长短时记忆神经网络模型以获取脑电解码模型进一步包括：按照每张已知标签图片呈现的时间长度为100毫秒，将所述第一脑电信号划分为多个训练样本；每个训练样本为T*C的二维矩阵，所述每个训练样本利用与所述每个训练样本相对应的已知标签图片的标签进行标注，其中，T为每一张图片呈现的时间长度内截取的脑电数据长度，C为脑电采集通道数；以及利用所述多个训练样本训练所述所述长短时记忆神经网络模型以获取脑电解码模型。
基于上述方法的进一步改进，在所述增强现实眼镜中呈现待识别图片并同步采集第二脑电信号进一步包括：以包为单位按预设帧速在所述增强现实眼镜中快速呈现所述多张待识别图片，所述脑电采集装置在人员注视所述多张待识别图片过程中采集所述第二脑电信号；以及在每包开始呈现的时刻，所述增强现实眼镜向所述脑电采集装置发送同步标签。
基于上述方法的进一步改进，将所述第二脑电信号输入所述脑电解码模型，以对与所述第二脑电信号相对应的所述多张待识别图片进行分类进一步包括：按照每张待识别图片呈现的时间长度为100毫秒，将所述第二脑电信号划分为多个待分类脑电信号；每个待分类脑电信号为T*C的二维矩阵，其中，T为每一张图片呈现的时间长度内截取的脑电数据长度，C为脑电采集通道数；以及所述脑电解码模型对每包15张待识别图片呈现1秒时间段内的待分类脑电信号进行分析，并对包内的待识别图片进行分类和标注。
又一方面，本发明实施例提供了一种脑电目标识别装置，包括：训练集获取模块，用于在所述增强现实眼镜中快速呈现已知标签图片并使用以上所述的脑电采集装置同步采集所述第一脑电信号；脑电解码模型构建模块，用于构建长短时记忆神经网络模型，并利用所述第一脑电信号训练所述长短时记忆神经网络模型以获取脑电解码模型；待测信号获取模块，用于在所述增强现实眼镜中呈现待识别图片并同步采集第二脑电信号；以及识别模块，用于将所述第二脑电信号输入所述脑电解码模型，以对与所述第二脑电信号相对应的所述待识别图片进行分类。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、使用生物膜/金(或铂)/TiO2纳米管对干电极表面进行修改，提高干电极对脑电信号的传感能力。干电极由于不需要导电膏，可直接佩戴就能使用，快捷方便。由TiO2(二氧化钛)纳米管高密度聚集而成，每个TiO2纳米管从根部到整个管壁均镶嵌着Au或Pt纳米粒子，具有高的电子输运能力；其表面则由纳米粒子被电活性生物膜包覆构成了与皮肤接触的固态电解质膜，可起到粘附皮肤、富集水分、降低异相界面电荷转移电阻的作用，提高电极对脑电的传感采集性能。
2、对多目标图片样本量要求较少，图片质量要求低，可提升对多目标的检测与识别效率，并且建模时间短，可快速适应新任务。
3、采用穿戴式增强现实作为图片呈现载体，方便移动和户外实用。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为根据本发明实施例的生物膜-纳米管干电极的结构图。
图2为根据本发明实施例的生物膜-纳米管干电极阵列的结构图。
图3为根据本发明实施例的脑电目标识别方法流程图。
图4为根据本发明实施例的脑电目标识别方法的具体示例的流程图。
图5为根据本发明实施例的脑电目标识别装置的框图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种脑电采集装置。参考图1和图2，脑电采集装置，包括：多个干电极，用于采集脑电信号，其上表面与导线连接，以及其下表面用于与待测皮肤接触的界面处涂覆或蒸镀有生物膜-纳米管，其中，所述生物膜-纳米管，包括：TiO2纳米管，与所述干电极下表面连接，其中，每个TiO2纳米管从根部到整个管壁均镶嵌有Au或Pt纳米粒子；以及生物膜，为由高生物相容性、静电吸附、高电化学活性的生物膜结合多级别尺度Au纳米粒子组成的固态电解质并位于所述TiO2纳米管外表面处。具体地，生物膜位于TiO2纳米管与待测皮肤接触的界面处。
与现有技术相比，本实施例提供的脑电采集装置，使用生物膜/金(或铂)/TiO2纳米管对干电极表面进行修改，提高干电极对脑电信号的传感能力。干电极由于不需要导电膏，可直接佩戴就能使用，快捷方便。每个TiO2纳米管从根部到整个管壁均镶嵌着Au或Pt纳米粒子，具有高的电子输运能力；其表面的固态电解质膜，可起到粘附皮肤、富集水分、降低异相界面电荷转移电阻的作用，提高电极对脑电的传感采集性能。
参考图2，脑电采集装置还包括放大器，与多个干电极中每个干电极上表面的导线连接，用于放大所述脑电信号。
下文中，参考图1和图2，以具体示例的方式对脑电采集装置进行详细描述。
使用生物膜/金(或铂)/TiO2纳米管对干电极表面进行修改，提高干电极对脑电信号的传感能力。干电极由于不需要导电膏，可直接佩戴就能使用，快捷方便。由TiO2(二氧化钛)纳米管高密度聚集而成，每个TiO2纳米管从根部到整个管壁均镶嵌着Au或Pt纳米粒子，具有高的电子输运能力；其表面则由纳米粒子被电活性生物膜包覆构成了与皮肤接触的固态电解质膜，可起到粘附皮肤、富集水分、降低异相界面电荷转移电阻的作用，提高电极对脑电的传感采集性能。干电极为DSI-24脑电传感采集装置。
生物膜/金(或铂)/TiO2纳米管，由TiO2纳米管高密度聚集而成，每个TiO2纳米管从根部到整个管壁均镶嵌着Au或Pt纳米粒子，具有高的电子输运能力；其表面则由纳米粒子被电活性生物膜包覆构成了与皮肤接触的固态电解质膜，起到测试时的类似导电膏的作用，即粘附皮肤、富集水分、降低异相界面电荷转移电阻。
(1)结合电化学还原及阳极氧化法制备Au-TiO2纳米管阵列，使纳米管依附于Au纳米粒子成核，且使TiO2管壁镶嵌Au纳米粒子，实现高的电子输运，低的电极电阻。
(2)由高生物相容性、静电吸附、高电化学活性的生物膜结合多级别尺度Au纳米颗粒们组成固态电解质，降低了皮肤与电极之间的界面电阻，免去了涂抹导电膏的繁琐、提高了的舒适性。
本发明的另一个具体实施例，公开了脑电目标识别方法。参考图3，脑电目标识别方法，包括：步骤S302，在增强现实眼镜中快速呈现已知标签图片并使用包括多个生物膜-纳米管干电极的脑电采集装置同步采集第一脑电信号；步骤S304，构建长短时记忆神经网络模型，并利用第一脑电信号训练长短时记忆神经网络模型以获取脑电解码模型；步骤S306，在增强现实眼镜中呈现多张待识别图片并同步采集第二脑电信号；以及步骤S308，将第二脑电信号输入脑电解码模型，以对与第二脑电信号相对应的多张待识别图片进行分类。
下文中，参考图3，对脑电目标识别方法的步骤S302、步骤S304、步骤S306和步骤S308进行详细描述。
参考图3，步骤S302，在增强现实眼镜中快速呈现已知标签图片并使用包括多个生物膜-纳米管干电极的脑电采集装置同步采集第一脑电信号。具体地，在增强现实眼镜中快速呈现已知标签图片进一步包括：首先，对多张图片中的每张图片进行类别标注，以构建图片库，其中，图片库包括多张已知标签图片。对多张图片中的每张图片进行类别标注进一步包括：将存在第一目标的图片标注为标签1；将存在第二目标的图片标注为标签2；将存在第三目标的图片标注为标签3；以及将没有第一目标、第二目标和第三目标的图片标注为标签4，其中，第一目标、第二目标和第三目标分别为人、汽车或动物。接下来，人员佩戴增强现实眼镜。最后，以包为单位按预设帧速(例如，10张/秒)在增强现实眼镜中快速呈现多张已知标签图片，其中，每包包括N张(例如，15张)已知标签图片，其中，N为预设帧速的1.5倍。具体地，使用包括多个生物膜-纳米管干电极的脑电采集装置同步采集第一脑电信号进一步包括：在以包为单位，按预设帧速(例如，10张/秒)在增强现实眼镜中快速呈现多张已知标签图片的同时，脑电采集装置在人员注视多张已知标签图片过程中采集第一脑电信号；以及在每包开始呈现的时刻，增强现实眼镜向脑电采集装置发送同步标签。
步骤S304，构建长短时记忆神经网络模型，并利用第一脑电信号训练长短时记忆神经网络模型以获取脑电解码模型。具体地，利用第一脑电信号训练长短时记忆神经网络模型以获取脑电解码模型进一步包括：按照每张已知标签图片呈现的时间长度为100毫秒，将第一脑电信号划分为多个训练样本；每个训练样本为T*C的二维矩阵，每个训练样本利用与每个训练样本相对应的已知标签图片的标签进行标注，其中，T为每一张图片呈现的时间长度内截取的脑电数据长度，C为脑电采集通道数；以及利用多个训练样本训练长短时记忆神经网络模型以获取脑电解码模型。
步骤S306，在增强现实眼镜中呈现多张待识别图片并同步采集第二脑电信号。具体地，在增强现实眼镜中呈现待识别图片并同步采集第二脑电信号进一步包括：以包为单位按预设帧速(例如，10张/秒)在增强现实眼镜中快速呈现多张待识别图片，脑电采集装置在人员注视多张待识别图片过程中采集第二脑电信号；以及在每包开始呈现的时刻，增强现实眼镜向脑电采集装置发送同步标签。
步骤S308，将第二脑电信号输入脑电解码模型，以对与第二脑电信号相对应的多张待识别图片进行分类。具体地，将第二脑电信号输入脑电解码模型，以对与第二脑电信号相对应的多张待识别图片进行分类进一步包括：按照每张待识别图片呈现的时间长度为100毫秒，将第二脑电信号划分为多个待分类脑电信号；每个待分类脑电信号为T*C的二维矩阵，其中，T为每一张图片呈现的时间长度内截取的脑电数据长度，C为脑电采集通道数；以及脑电解码模型对每包15张待识别图片呈现1秒时间段内的待分类脑电信号进行分析，并对包内的待识别图片进行分类和标注。
下文中，参考图4，以具体示例的方式对脑电目标识别方法进行详细描述。
在本发明的具体实施例中，参考图4，脑电目标识别方法包括以下步骤：
在第一步骤中，在干电极表面修饰生物膜/金(或铂)/TiO2纳米管。
使用生物膜/金(或铂)/TiO2纳米管对干电极表面进行修改，提高干电极对脑电信号的传感能力。干电极由于不需要导电膏，可直接佩戴就能使用，快捷方便。由TiO2(二氧化钛)纳米管高密度聚集而成，每个TiO2纳米管从根部到整个管壁均镶嵌着Au或Pt纳米粒子，具有高的电子输运能力；其表面则由纳米粒子被电活性生物膜包覆构成了与皮肤接触的固态电解质膜，可起到粘附皮肤、富集水分、降低异相界面电荷转移电阻的作用，提高电极对脑电的传感采集性能。干电极为DSI-24脑电传感采集装置。
生物膜/金(或铂)/TiO2纳米管，由TiO2纳米管高密度聚集而成，每个TiO2纳米管从根部到整个管壁均镶嵌着Au或Pt纳米粒子，具有高的电子输运能力；其表面则由纳米粒子被电活性生物膜包覆构成了与皮肤接触的固态电解质膜，起到测试时的类似导电膏的作用，即粘附皮肤、富集水分、降低异相界面电荷转移电阻。
(1)结合电化学还原及阳极氧化法制备Au-TiO2纳米管阵列，使纳米管依附于Au纳米粒子成核，且使TiO2管壁镶嵌Au纳米粒子，实现高的电子输运，低的电极电阻。
(2)由高生物相容性、静电吸附、高电化学活性的生物膜结合多级别尺度Au纳米颗粒们组成固态电解质，降低了皮肤与电极之间的界面电阻，免去了涂抹导电膏的繁琐、提高了的舒适性。
在第二步骤中，在增强现实眼镜中快速呈现已知标签的图片，并使用第一步骤修饰的干电极同步采集人员脑电信号。
将已知类别标签的15000张图片按10张/秒的帧速快速呈现在增强现实眼镜中。已知类别标签的图片库中对每张图片进行了类别标注。15000张图片有20张图片中存在人(标签为1)，30张图片中存在汽车(标签为2)，20张图片中存在动物(标签为3)，而剩下的14930张图片中没有人、汽车或动物，也就是有14930张非目标图片(标签为0)。人员戴上增强现实眼镜和干电极脑电采集装置，人员需集中注意力注视增强现实眼镜中呈现的图片序列中是否有目标类的图片。干电极脑电信号采集装置采集人员注视图片序列过程中的脑电信号。每包开始呈现时刻，增强现实眼镜往干电极脑电采集装置发送同步标签信号(发送同步标签能够将人员脑电信号与包相对应，以便于根据脑电信号判断目标图片存在与那个包中)。每张图片可能存在要找的目标类图片，且存在目标的图片在整个序列中占比百分之一以下。其中增强现实眼镜为微软公司Hololens 2。
在第三步骤中，训练并建立脑电解码模型的为长短时记忆神经网络(LSTM)模型。
其中长短时记忆神经网络(LSTM)模型为单层的LSTM，内部隐含层神经元个数为50个，在tensorflow框架内使用tf.nn.rnn_cell.BasicLSTMCell核心函数来构建LSTM。脑电解码模型的训练过程如下：将每一包图片呈现过程中所采集到的脑电信号作为训练样本，每张图片呈现的时间长度为100毫秒，每个训练样本为T*C的二维矩阵，对应的样本标签为0、1、2、3，其中T为每一张图片呈现的时间内下截取的脑电数据长度1000，C为64(脑电采集通道数)，多个包所对应脑电信号和标签就构成整个模型训练所需的训练数据样本集，样本集为1000个。
在第四步骤中，将未知类别标签、待检测与识别的图片呈现在增强现实眼镜中，并同步采集人员脑电信号。
将待检测与识别的4500张图片，图片可能存在人、车、动物等目标，依次呈现在增强现实眼镜中。
在第五步骤中，脑电解码模型对每一张图片对应所截取的脑电信号进行分析，自动判断对应图片的类别，并对对应图片包自动进行有无标记。
脑电解码模型对每一包15张图片呈现1秒时间段内的脑电信号进行分析，自动判断对应图片包内是否存在有目标的图片，并标注类别标签0、1、2、3。
至此，实现了小样本多类图像目标快速检索。
本发明给出了一种基于增强现实眼镜与脑电的脑电目标识别，对多目标图片样本量要求较少，图片质量要求低，可提升对多目标的检测与识别效率，并且建模时间短，可快速适应新任务。同时，采用穿戴式增强现实作为图片呈现载体，方便移动和户外实用。
本发明的另一个具体实施例，公开了一种脑电目标识别装置。参考图5，脑电目标识别装置包括：训练集获取模块502，用于在增强现实眼镜中快速呈现已知标签图片并使用包括多个生物膜-纳米管干电极的脑电采集装置同步采集第一脑电信号；模型构建模块504，用于构建长短时记忆神经网络模型，并利用第一脑电信号训练长短时记忆神经网络模型以获取脑电解码模型；待测信号获取模块506，用于在增强现实眼镜中呈现待识别图片并同步采集第二脑电信号；以及识别模块508，用于将第二脑电信号输入脑电解码模型，以对与第二脑电信号相对应的待识别图片进行分类。
1、使用生物膜/金(或铂)/TiO2纳米管对干电极表面进行修改，提高干电极对脑电信号的传感能力。干电极由于不需要导电膏，可直接佩戴就能使用，快捷方便。由TiO2(二氧化钛)纳米管高密度聚集而成，每个TiO2纳米管从根部到整个管壁均镶嵌着Au或Pt纳米粒子，具有高的电子输运能力；其表面则由纳米粒子被电活性生物膜包覆构成了与皮肤接触的固态电解质膜，可起到粘附皮肤、富集水分、降低异相界面电荷转移电阻的作用，提高电极对脑电的传感采集性能。
2、对多目标图片样本量要求较少，图片质量要求低，可提升对多目标的检测与识别效率，并且建模时间短，可快速适应新任务。
3、采用穿戴式增强现实作为图片呈现载体，方便移动和户外实用。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种脑电采集装置，其特征在于，包括：
多个干电极，用于采集脑电信号，其上表面与导线连接，以及其下表面用于与待测皮肤接触的界面处涂覆或蒸镀有生物膜-纳米管，其中，所述生物膜-纳米管，包括：
TiO2纳米管，与所述干电极下表面连接，其中，每个TiO2纳米管从根部到整个管壁均镶嵌有Au或Pt纳米粒子；以及
生物膜，为由高生物相容性、静电吸附、高电化学活性的生物膜结合多级别尺度Au纳米粒子组成的固态电解质并位于所述TiO2纳米管外表面处。
2.根据权利要求1所述的脑电采集装置，其特征在于，还包括放大器，与多个干电极中每个干电极上表面的导线连接，用于放大所述脑电信号。
3.一种脑电目标识别方法，其特征在于，包括：
在所述增强现实眼镜中快速呈现已知标签图片并使用权利要求1至2中的任一项所述的脑电采集装置同步采集所述第一脑电信号；
构建长短时记忆神经网络模型，并利用所述第一脑电信号训练所述长短时记忆神经网络模型以获取脑电解码模型；
在所述增强现实眼镜中呈现多张待识别图片并同步采集第二脑电信号；以及
将所述第二脑电信号输入所述脑电解码模型，以对与所述第二脑电信号相对应的所述多张待识别图片进行分类。
4.根据权利要求3所述的脑电目标识别方法，其特征在于，在所述增强现实眼镜中快速呈现已知标签图片进一步包括：
对多张图片中的每张图片进行类别标注，以构建图片库，其中，所述图片库包括多张已知标签图片；
人员佩戴所述增强现实眼镜；以及
以包为单位按预设帧速在所述增强现实眼镜中快速呈现所述多张已知标签图片，其中，每包包括N张所述已知标签图片，N为所述预设帧速的1.5倍。
5.根据权利要求4所述的脑电目标识别方法，其特征在于，对多张图片中的每张图片进行类别标注进一步包括：
将存在第一目标的图片标注为标签1；
将存在第二目标的图片标注为标签2；
将存在第三目标的图片标注为标签3；以及
将没有所述第一目标、所述第二目标和所述第三目标的图片标注为标签4，其中，所述第一目标、所述第二目标和所述第三目标分别为人、汽车或动物。
6.根据权利要求4所述的脑电目标识别方法，其特征在于，使用包括多个生物膜-纳米管干电极的脑电采集装置同步采集所述第一脑电信号进一步包括：
在以包为单位，按预设帧速在所述增强现实眼镜中快速呈现所述多张已知标签图片的同时，所述脑电采集装置在人员注视所述多张已知标签图片过程中采集所述第一脑电信号；以及
在每包开始呈现的时刻，所述增强现实眼镜向所述脑电采集装置发送同步标签。
7.根据权利要求6所述的脑电目标识别方法，其特征在于，利用所述第一脑电信号训练所述长短时记忆神经网络模型以获取脑电解码模型进一步包括：
按照每张已知标签图片呈现的时间长度为100毫秒，将所述第一脑电信号划分为多个训练样本；
每个训练样本为T*C的二维矩阵，所述每个训练样本利用与所述每个训练样本相对应的已知标签图片的标签进行标注，其中，T为每一张图片呈现的时间长度内截取的脑电数据长度，C为脑电采集通道数；以及
利用所述多个训练样本训练所述所述长短时记忆神经网络模型以获取脑电解码模型。
8.根据权利要求7所述的脑电目标识别方法，其特征在于，在所述增强现实眼镜中呈现待识别图片并同步采集第二脑电信号进一步包括：
以包为单位按预设帧速在所述增强现实眼镜中快速呈现所述多张待识别图片，所述脑电采集装置在人员注视所述多张待识别图片过程中采集所述第二脑电信号；以及
在每包开始呈现的时刻，所述增强现实眼镜向所述脑电采集装置发送同步标签。
9.根据权利要求8所述的脑电目标识别方法，其特征在于，将所述第二脑电信号输入所述脑电解码模型，以对与所述第二脑电信号相对应的所述多张待识别图片进行分类进一步包括：
按照每张待识别图片呈现的时间长度为100毫秒，将所述第二脑电信号划分为多个待分类脑电信号；
每个待分类脑电信号为T*C的二维矩阵，其中，T为每一张图片呈现的时间长度内截取的脑电数据长度，C为脑电采集通道数；以及
所述脑电解码模型对每包15张待识别图片呈现1秒时间段内的待分类脑电信号进行分析，并对包内的待识别图片进行分类和标注。
10.一种脑电目标识别装置，其特征在于，包括：
训练集获取模块，用于在所述增强现实眼镜中快速呈现已知标签图片并使用权利要求1至2中的任一项所述的脑电采集装置同步采集所述第一脑电信号；
脑电解码模型构建模块，用于构建长短时记忆神经网络模型，并利用所述第一脑电信号训练所述长短时记忆神经网络模型以获取脑电解码模型；
待测信号获取模块，用于在所述增强现实眼镜中呈现待识别图片并同步采集第二脑电信号；以及
识别模块，用于将所述第二脑电信号输入所述脑电解码模型，以对与所述第二脑电信号相对应的所述待识别图片进行分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011205670.9A CN114431867B (zh) | 2020-11-02 | 2020-11-02 | 一种脑电采集装置、脑电目标识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011205670.9A CN114431867B (zh) | 2020-11-02 | 2020-11-02 | 一种脑电采集装置、脑电目标识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114431867A true CN114431867A (zh) | 2022-05-06 |
| CN114431867B CN114431867B (zh) | 2024-05-10 |
Family
ID=81356751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011205670.9A Active CN114431867B (zh) | 2020-11-02 | 2020-11-02 | 一种脑电采集装置、脑电目标识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114431867B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104404565A (zh) * | 2014-11-13 | 2015-03-11 | 苏州大学 | Au/TiO2纳米管复合结构的光电极及其制备方法 |
| CN104503580A (zh) * | 2014-12-25 | 2015-04-08 | 天津大学 | 一种对稳态视觉诱发电位脑-机接口目标的识别方法 |
| CN104694991A (zh) * | 2014-12-30 | 2015-06-10 | 云南大学 | 一种制备铂金双金属掺杂TiO2纳米管电极的方法 |
| CN106691378A (zh) * | 2016-12-16 | 2017-05-24 | 深圳市唯特视科技有限公司 | 一种基于脑电图数据的深度学习视觉分类方法 |
| CN207030945U (zh) * | 2016-04-15 | 2018-02-23 | 首都师范大学 | 用于制备Au/Au‑TiO2纳米管阵列电极材料的真空负压装置 |
| CN108256579A (zh) * | 2018-01-19 | 2018-07-06 | 中央民族大学 | 一种基于先验知识的多模态民族认同感量化测量方法 |
| CN109116988A (zh) * | 2018-08-14 | 2019-01-01 | 西安交通大学 | 基于错觉运动感知的稳态诱发电位脑-机接口方法 |
| CN110141231A (zh) * | 2019-05-17 | 2019-08-20 | 天津大学 | 一种无线脑电采集中的事件时点同步记录方法 |
| US20200082735A1 (en) * | 2018-09-12 | 2020-03-12 | Singularity Education Group, dba Singularity University | Neuroadaptive intelligent virtual reality learning system and method |
| CN111134666A (zh) * | 2020-01-09 | 2020-05-12 | 中国科学院软件研究所 | 一种多通道脑电数据的情绪识别方法及电子装置 |
| WO2020186651A1 (zh) * | 2019-03-15 | 2020-09-24 | 南京邮电大学 | 基于脑电意念的智能运动耳机及其实现方法与系统 |
| CN111782055A (zh) * | 2020-08-12 | 2020-10-16 | 中国人民解放军国防科技大学 | 基于ar眼镜的脑控系统 |
-
2020
- 2020-11-02 CN CN202011205670.9A patent/CN114431867B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104404565A (zh) * | 2014-11-13 | 2015-03-11 | 苏州大学 | Au/TiO2纳米管复合结构的光电极及其制备方法 |
| CN104503580A (zh) * | 2014-12-25 | 2015-04-08 | 天津大学 | 一种对稳态视觉诱发电位脑-机接口目标的识别方法 |
| CN104694991A (zh) * | 2014-12-30 | 2015-06-10 | 云南大学 | 一种制备铂金双金属掺杂TiO2纳米管电极的方法 |
| CN207030945U (zh) * | 2016-04-15 | 2018-02-23 | 首都师范大学 | 用于制备Au/Au‑TiO2纳米管阵列电极材料的真空负压装置 |
| CN106691378A (zh) * | 2016-12-16 | 2017-05-24 | 深圳市唯特视科技有限公司 | 一种基于脑电图数据的深度学习视觉分类方法 |
| CN108256579A (zh) * | 2018-01-19 | 2018-07-06 | 中央民族大学 | 一种基于先验知识的多模态民族认同感量化测量方法 |
| CN109116988A (zh) * | 2018-08-14 | 2019-01-01 | 西安交通大学 | 基于错觉运动感知的稳态诱发电位脑-机接口方法 |
| US20200082735A1 (en) * | 2018-09-12 | 2020-03-12 | Singularity Education Group, dba Singularity University | Neuroadaptive intelligent virtual reality learning system and method |
| WO2020186651A1 (zh) * | 2019-03-15 | 2020-09-24 | 南京邮电大学 | 基于脑电意念的智能运动耳机及其实现方法与系统 |
| CN110141231A (zh) * | 2019-05-17 | 2019-08-20 | 天津大学 | 一种无线脑电采集中的事件时点同步记录方法 |
| CN111134666A (zh) * | 2020-01-09 | 2020-05-12 | 中国科学院软件研究所 | 一种多通道脑电数据的情绪识别方法及电子装置 |
| CN111782055A (zh) * | 2020-08-12 | 2020-10-16 | 中国人民解放军国防科技大学 | 基于ar眼镜的脑控系统 |
Non-Patent Citations (1)
| Title |
|---|
| YANJUAN SONG A ET AL.: ""Fabrication of chitosan/Au-TiO2 nanotube-based dry electrodes for electroencephalography recording"", 《MATERIALS SCIENCE AND ENGINEERING: C》, vol. 79, pages 2 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114431867B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709358B (zh) | 基于课堂视频的师生行为分析系统 | |
| CN109359521A (zh) | 基于深度学习的课堂质量双向评估系统 | |
| Sas et al. | AffectCam: arousal-augmented sensecam for richer recall of episodic memories | |
| CN103631941B (zh) | 基于脑电的目标图像检索系统 | |
| Mekruksavanich et al. | Recognition of real-life activities with smartphone sensors using deep learning approaches | |
| CN106096642A (zh) | 基于鉴别局部保持投影的多模态情感特征融合方法 | |
| Hung et al. | Detecting conversing groups with a single worn accelerometer | |
| CN115907507B (zh) | 一种联合课堂场景的学生课堂行为检测和学情分析方法 | |
| US20090095643A1 (en) | Amperometric Method And Apparatus For Measurement Of Soft Particles In Liquids By Analyzing The Adhesion Of These Particles To An Electrode | |
| CN114431867B (zh) | 一种脑电采集装置、脑电目标识别方法和装置 | |
| CN116580453A (zh) | 一种基于空间和时序双通道融合模型的人体行为识别方法 | |
| CN109949192B (zh) | 一种学业数据收集、处理分析和反馈的系统及方法 | |
| Zhang et al. | Decoding pixel-level image features from two-photon calcium signals of macaque visual cortex | |
| CN111178263A (zh) | 一种实时表情分析方法及其装置 | |
| Li et al. | In situ electro-sequencing in three-dimensional tissues | |
| Chebotarev et al. | Determination of levodopa in pharmaceuticals using a disposable electrochemically activated carbon-paste electrode by linear sweep voltammetry | |
| CN112966780A (zh) | 一种动物行为识别方法及系统 | |
| CN112529054A (zh) | 一种多源异构数据的多维度卷积神经网络学习者建模方法 | |
| CN115527404A (zh) | 一种人工智能自适应互动教学系统 | |
| CN105528505A (zh) | 线上自动化诊断学习风格系统及方法 | |
| CN114005054A (zh) | 一种ai智能评分系统 | |
| CN114255426A (zh) | 一种基于视频识别和语音分离技术的学生专注度评估系统 | |
| CN111753640B (zh) | 一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法 | |
| CN109633113B (zh) | 基于青鳉鱼逐级行为模型的水质监测预警方法及系统 | |
| CN112489636A (zh) | 一种智能语音播报助手选择方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |