CN114424941A - 疲劳检测模型构建方法、疲劳检测方法、装置及设备 - Google Patents
疲劳检测模型构建方法、疲劳检测方法、装置及设备 Download PDFInfo
- Publication number
- CN114424941A CN114424941A CN202210097360.2A CN202210097360A CN114424941A CN 114424941 A CN114424941 A CN 114424941A CN 202210097360 A CN202210097360 A CN 202210097360A CN 114424941 A CN114424941 A CN 114424941A
- Authority
- CN
- China
- Prior art keywords
- fatigue detection
- detection model
- data set
- training
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 102
- 238000010276 construction Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000012360 testing method Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000006978 adaptation Effects 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000013508 migration Methods 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000013526 transfer learning Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims description 22
- 230000004424 eye movement Effects 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000007499 fusion processing Methods 0.000 claims description 13
- 210000001747 pupil Anatomy 0.000 claims description 11
- 230000005012 migration Effects 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 231100000430 skin reaction Toxicity 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 208000010340 Sleep Deprivation Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 125000004432 carbon atom Chemical group C* 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000004622 sleep time Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Ophthalmology & Optometry (AREA)
- Evolutionary Computation (AREA)
- Cardiology (AREA)
- Power Engineering (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种疲劳检测模型构建方法、疲劳检测方法、装置及设备。其中，疲劳检测模型构建方法包括：获取训练数据集和测试数据集；其中，所述训练数据集和所述测试数据集中的各数据样本均包含多种模态信号；采用迁移学习中的域适应方法，将所述训练数据集中的训练样本以及所述测试数据集中的测试样本映射到同一特征空间，得到处理数据集；基于域对抗迁移网络构建初始疲劳检测模型；利用所述处理数据集对所述初始疲劳检测模型进行训练，得到最终的疲劳检测模型。上述方法通过利用迁移学习中的域适应方法克服了不同数据样本之间生理信号数据分布的差异性，建立了具有高泛化性能且更精准的疲劳检测模型。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种疲劳检测模型构建方法、疲劳检测方法、装置及设备。
背景技术
电网人员高处作业是一种典型的高处作业类型，疲劳过度的电网高处作业人员如果持续作业，不仅会影响其工作效率，甚至会引发生产安全事故。因此，作为主动预防事故发生的一项措施，疲劳检测具有重要的社会意义和实际价值。
常用的疲劳检测方法可分为主观检测方法和客观检测方法；其中，主观检测方法主要通过主观的自我评价或引入问卷调查员，以判断被测人员当前的疲劳状态，但这种方法既无法得到客观准确的状态判断结果，也难以直接应用在高处作业人员的疲劳检测中。另一种客观的检测方法则是通过被测人员的脑电信号对其当前的疲劳状态进行检测，然而，由于不同个体间脑电信号的差异性以及脑电信号本身的非稳态性，从不同人员处采集的脑电信号其数据的分布是不同的，因此，当直接使用分布差异大的数据构建疲劳检测模型时，所得到的模型不仅泛化性能较差，所输出的检测结果的准确度也较低。
发明内容
针对上述技术问题，本发明提供一种疲劳检测模型构建方法、疲劳检测方法、装置及设备，通过利用迁移学习的域适应方法使得数据的空间分布尽可能相近，以提高模型的泛化能力，以及模型输出结果的准确性。
第一方面，本发明提供一种疲劳检测模型构建方法，包括：
获取训练数据集和测试数据集；其中，所述训练数据集和所述测试数据集中的各数据样本均包含多种模态信号；
采用迁移学习中的域适应方法，将所述训练数据集中的训练样本以及所述测试数据集中的测试样本映射到同一特征空间，得到处理数据集；
基于域对抗迁移网络构建初始疲劳检测模型；
利用所述处理数据集对所述初始疲劳检测模型进行训练，得到最终的疲劳检测模型。
可选的，所述获取训练数据集和测试数据集之后，还包括：
确定所述训练数据集和所述测试数据集中各数据样本的多种模态信号的特征；
通过注意力机制对各所述数据样本的多种模态信号的特征进行融合处理。
可选的，所述多种模态信号包括脑电信号、眼动信号和皮电信号。
可选的，所述确定所述训练数据集和所述测试数据集中各数据样本的多种模态信号的特征，具体包括：
通过带通滤波器提取所述脑电信号的多个频段信号，计算所述多个频段信号的微分熵，得到各所述频段信号对应的微分熵特征；
通过统计所述眼动信号中的动态数据和静态数据，确定所述眼动信号的特征；其中，所述静态数据为瞳孔直径，所述动态数据包括注视数据、眼跳数据和眨眼数据；
提取所述皮电信号的时序值，设置所述时序值为所述皮电信号的特征。
第二方面，本发明还提供一种疲劳检测方法，包括：
获取待测用户的多种模态信号；
通过注意力机制对所述多种模态信号的特征进行融合处理，得到融合特征；
将所述融合特征输入至预先构建的疲劳检测模型中，得到所述待测用户的疲劳检测结果；
其中，所述疲劳检测模型通过第一方面所述的疲劳检测模型构建方法训练得到。
第三方面，本发明实施例提供一种疲劳检测模型构建装置，包括：
获取模块，用于获取训练数据集和测试数据集；其中，所述训练数据集和所述测试数据集中的各数据样本均包含多种模态信号；
域适应模块，用于采用迁移学习中的域适应方法，将所述训练数据集中的训练样本以及所述测试数据集中的测试样本映射到同一特征空间，得到处理数据集；
构建模块，用于基于域对抗迁移网络构建初始疲劳检测模型；
训练模块，用于利用所述处理数据集对所述初始疲劳检测模型进行训练，得到最终的疲劳检测模型。
可选的，所述疲劳检测模型构建装置还包括：融合模块，用于确定所述训练数据集和所述测试数据集中各数据样本的多种模态信号的特征；
通过注意力机制对各所述数据样本的多种模态信号的特征进行融合处理。
第四方面，本发明还提供一种疲劳检测装置，包括：
信号获取模块，用于获取待测用户的多种模态信号；
特征融合模块，用于通过注意力机制对所述多种模态信号的特征进行融合处理，得到融合特征；
结果检测模块，用于将所述融合特征输入至预先构建的疲劳检测模型中，得到所述待测用户的疲劳检测结果；
其中，所述疲劳检测模型通过第三方面所述的疲劳检测模型构建装置训练得到。
第五方面，本发明提供一种数据处理设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序，所述程序由所述处理器执行，使得所述数据处理设备执行第一和第二方面所述的方法。
第六方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述第一和第二方面所述的方法。
相比现有技术，本发明的有益效果在于：
本发明提供的一种疲劳检测模型构建方法和疲劳检测方法利用迁移学习中的域适应方法克服了不同数据样本之间生理信号数据分布的差异性，建立了具有高泛化性能且更精准的疲劳检测模型。
进一步地，考虑仅使用一个模态信号往往无法很好地捕获到被测用户的疲劳信息，本发明还将融合后的多模态生理信号作为识别疲劳状态的生理特征，有效利用了不同模态之间的互补特性，进一步提高了疲劳检测结果的准确性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的疲劳检测模型构建方法的流程示意图；
图2是本发明实施例提供的疲劳检测模型的结构示意图；
图3是本发明实施例提供的疲劳检测方法的流程示意图；
图4是本发明实施例提供的疲劳检测模型构建装置的结构示意图；
图5是本发明实施例提供的疲劳检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
第一方面，请参阅图1，本发明一个实施例提供一种疲劳检测模型构建方法，包括下述步骤S11至S14。
S11：获取训练数据集和测试数据集；其中，所述训练数据集和所述测试数据集中的各数据样本均包含多种模态信号。
需要说明的是，本实施例主要基于用户的生理信号构建疲劳状态检测模型。
具体地，通常使用包括脑电、心电、肌电、眼电、眼动追踪信号以及皮电等多种模态信号对用户的疲劳状态进行检测，以确保得到检测结果更全面客观。
在本实施例中，所述多种模态信号包括脑电信号、眼动信号和皮电信号。
可以理解的是，疲劳是一种复杂的生理状态，仅仅使用一种模态信号往往难以获取到用户更全面的疲劳信息，故本实施例在数据集的采集过程中获取了多种模态信号，通过利用多模态信号之间的互补特性，构建更精准的疲劳检测模型。
S12：采用迁移学习中的域适应方法，将所述训练数据集中的训练样本以及所述测试数据集中的测试样本映射到同一特征空间，得到处理数据集。
考虑传统的机器学习场景中，训练集和测试集通常具有相同的分布，因此可以用训练集训练好的分类器直接用于测试集分类。而在本实施例中，由于各种模态信号如脑电信号的非稳态性，以及不同个体间脑电信号的差异性，源域和目标域通常具有不同的分布，若将源域训练好的分类器直接用于目标域样本的分类，则分类结果准确性较低。
对此，本实施例利用迁移学习中的域适应方法，以将训练集和测试集的数据映射至同一特征空间中，实现对源域数据的知识迁移，从而提高分类结果的准确性。
需要说明的是，域适应(Domain Adaption)是迁移学习中一个重要的分支，用于将具有不同分布的源域(Source Domain)和目标域(Target Domain)中的数据映射到同一个特征空间，以寻找某一种度量准则，使其在这个空间上的“距离”尽可能近。
S13：基于域对抗迁移网络构建初始疲劳检测模型。
所述域对抗神经网络(Domain Adversarial Neural Network，DANN)是一种神经网络模型，包含三个主体部分：特征提取器、预测器、域判别器。其中，特征提取器(featureextractor)用于将数据映射到特定的特征空间，使预测器能够分辨出来自源域数据的类别；预测器(labelpredictor)用于对来自源域的数据进行分类，尽可能分出正确的标签；域判别器(domainclassifier)用于对特征空间的数据进行分类，尽可能分出数据来自哪个域。
S14：利用所述处理数据集对所述初始疲劳检测模型进行训练，得到最终的疲劳检测模型。
在本实施例中，训练数据集和测试数据集的获取通过下述方式完成：
具体地，本实施例通过控制被试者的睡眠时间充分诱发出被试者的疲劳状态。
在一个实施例中，可分别设置30小时无睡眠的睡眠剥夺实验，以及保持一周8小时睡眠的正常睡眠实验，令10名被试者在2种实验条件下均进行相同的疲劳检测实验，每次采集实验时长在10分钟左右，以实现更客观的疲劳状态诱发范式。
可以理解的是，在被试进行实验前，所有被试者在8小时正常睡眠状态下均选择了正常状态，在剥夺睡眠条件下选择了疲劳状态。
在实验过程中，被试者需保持身体的静止，并观察屏幕中的绿点以保证注意力集中，此时，同步被试者的采集脑电、眼动以及皮电生理信号。
具体地，被试者在实验进行中需佩戴ESI NeuroScan 62导湿电极脑电帽和手指皮肤电反应(Galvanic Skin Response，GSR)采集装置，以采集脑电信号和皮电信号；同时，还利用置于电脑显示器下方的tobii眼动仪采集被试者在视频观看中的眼动信号。
需要说明的是，本实施例的S11在获取训练数据集和测试数据集之后，还包括：确定所述训练数据集和所述测试数据集中各数据样本的多种模态信号的特征；通过注意力机制对各所述数据样本的多种模态信号的特征进行融合处理。
在本实施例中，具体通过下述方式确定训练数据集和测试数据集中各数据样本的多模态信号的特征。
对于脑电信号，首先对脑电信号进行基线矫正，并使用1-70Hz的带通滤波器进行滤波，降采样至200Hz，划分出Delta(1-4Hz)、Theta(4-8Hz)、Alpha(8-14Hz)、Beta(14-31Hz)和Gamma(31-50Hz)5个频段，再使用4秒的Hann窗函数计算每个频段的微分熵(differential entropy，DE)，以得到310维的脑电信号特征。
具体地，微分熵的计算公式如下所示：
其中，X服从高斯分布N(μ,σ2)，x表示特征，π、e为常数，σ2表示特征方差。
对于眼动信号，本实施例利用Tobii眼动仪所提供的统计数据计算眼动信号的15个统计特征，具体包括瞳孔直径、注视数据、眼跳数据、眨眼数据以及瞳孔直径的8个频域特征。
其中，瞳孔直径为静态数据，具体包括左瞳孔直径的平均值与方差，以及右瞳孔直径的平均值与方差。
瞳孔直径的8个频域特征分别为左瞳孔直径在0-0.2Hz、0.2-0.4Hz、0.4-0.6Hz和0.6-1Hz四个频率的微分熵特征，以及右瞳孔直径在0-0.2Hz、0.2-0.4Hz、0.4-0.6Hz和0.6-1Hz四个频率的微分熵特征。
需要说明的是，上述瞳孔直径的微分熵特征计算方式与脑电信号相同。
注视数据、眼跳数据和眨眼数据均为动态数据。其中，注视数据包括注视频率和最大注视时长；眼跳数据包括眼跳时长的平均值与方差、眼跳频率和眼跳潜伏期；眨眼数据包括眨眼时长的平均值与方差和眨眼频率。
对于皮电信号，则提取所述皮电信号的时序值，设置所述时序值为所述皮电信号的特征。
需要说明的是，上述眼动特征与脑电特征均使用4秒的时间窗口提取特征。而为了使皮肤电反应与其样本数相同，以达到特征对齐的目的，本实施例每4秒提取1个皮肤电反应的时序值，以作为皮肤电反应的特征,并在保留数据变化趋势的前提下删去冗余信息，此时所得到的皮电信号特征为1维。
进一步地，通过注意力机制对各所述数据样本的多种模态信号的特征进行融合处理，以得到融合特征。
在本实施例中，令(X1,X2,...,Xi,...,XJ)表示所有模态信号的输入数据，其中i＝1，2，...J，此时,
表示第ith模态的实例矩阵，N表示实例的数量，di表示每个输入模态的维度。
假设第ith模态的神经网络有Ki层，且第ith模态的第kth层神经网络有
个神经元，输出层含有o个神经元，则可将第ith模态的第kth层的输出表示为
上式中，
为非线性激活函数，
为权重矩阵，
为偏置项。
对应的，第ith模态的最后一层输出可表示为fi(Xi)∈Ro×N。
在本实施例中，令Fi∈Ro×J表示由每个输出层的第j个实例组成的矩阵
其中，fi(Xi)表示第i个模态的输出层中的结果，J表示模态数，且有
则第j个实例的联合表示可由Fj中向量的加权和形成：
β＝tanh(Fj)
α＝soft max(wTβ)
rj＝FjαT
其中，
表示训练的参数向量，wT为w的转置；α和r的维度分别为J和o。
对应的，最终获得的基于注意力机制的多模态信号特征融合表示形式为fj＝tanh(rj)。
在本实施例中，确定了所采集的数据样本的多模态融合特征后，使用迁移学习中的域适应方法将训练集中的训练样本和测试集中的测试样本映射至同一特征空间，以实现对源域数据的知识迁移。
进一步地，利用域对抗神经网络(Domain Adversarial Neural Network,DANN)构建疲劳检测模型，具体请参阅图2。
DANN共包含三个由神经网络构成的模块，分别为特征提取器Gf、标签预测器Gl和域判别器Gd。
假设每个神经网络模块仅有一层全连接隐藏层，给定p维的实数向量输入空间
首先引入特征提取器Gf:
并基于输入提取m维的特征向量。
其中，特征提取器Gf包含参数
和相应的激活函数ff，故所提取的特征表示为Gf(x；θf)＝ff(Wfx+bf)。
进一步地，设置sigmoid函数为激活函数，即
对于所提取到的特征Gf(x)，由标签预测器Gl通过映射Gy:
进行特征进行预测。
可以理解的是，当标签预测器Gl进行l分类任务时，预测结果表示为y＝[0,1]l。
在本实施例中，基于特征提取器Gf的参数
标签预测器Gy的预测过程为：Gy[Gf(x)；θy]＝soft max(WyGf(x)+by)。
基于
预测过程中，Gy[Gf(x)]的每一维代表着数据样本属于这一类的概率。
当给定一个训练样本(xi,yi)，标签预测器Gy对其预测的类别为
所产生的分类损失函数为：
为了确保所构建的疲劳检测模型可以克服域适应问题中，源域输入XS与目标域输入XT之间的域差异，DANN需对特征提取器Gf所获得的中间表达Gf(x)进行域正则化(Domainregularizer)。
可以理解的是，在域适应问题中，域判别器Gd是一个二分类器，即：映射
与DANN的前两个模块相同，域判别器Gd包含参数
因此，本实施例可将域判别器Gd的判别过程表示为：
由于域适应问题中仅存在源域和目标域的二域分类，故本实施例将激活函数fd设为sigmoid函数。
对于给定一个训练样本xi，设置di表示其数据来源，即
此时，域判别器Gd引入的损失函数表示为：
在本实施例中，特征提取器Gf将输入特征映射至m维的特征空间中，再将所提取的特征分别呈递给标签预测器Gy和域判别器Gd。
需要说明的是，在特征提取器Gf和域判别器Gd之间，DANN还引入了梯度反转层(Gradient Reversal Layer,GRL)，以形成对抗训练。
梯度反转层在神经网络的正向传递时相当于恒等函数，在梯度反向传播时，经过梯度反转层的梯度会反转符号，即：乘以(-1)后继续传播。
示例性地，当在训练过程中设置一个大小为N的样本集，其中，样本集的前n个为源域带标签的样本(xi,yi,di)，后(N-n)个为目标域无标签样本(xi,di)，则DANN的损失函数可以表示为：
其中，λ设置为用于平衡两个损失函数的超参数。
综上，本实施例DANN的优化目标函数可以表示为：
得到上述目标函数后，使用Adam优化器以端对端的方式同时优化所有模型参数，以确定最终的疲劳检测模型。
上述实施例通过利用迁移学习中的域适应方法，可克服不同被试者之间生理信号数据分布的差异性，从而建立具有更高泛化性能的疲劳检测模型。
请参阅图3。本发明一个实施例提供一种疲劳检测方法，包括下述步骤。
S21：获取待测用户的多种模态信号。
可以理解的是，所述多种模态信号包括待测用户的脑电信号、眼动信号和皮电信号。
S22：通过注意力机制对所述多种模态信号的特征进行融合处理，得到融合特征。
S23：将所述融合特征输入至预先构建的疲劳检测模型中，得到所述待测用户的疲劳检测结果。
通过利用本发明第一方面所述实施例所构建的疲劳检测模型得到待测用户的疲劳检测结果，能够确保结果更加客观，且准确性更高。
第二方面，请参阅图4，本发明一个实施例提供一种疲劳检测模型构建装置，包括获取模块101、域适应模块102、构建模块103和训练模块104。
获取模块101用于获取训练数据集和测试数据集；其中，所述训练数据集和所述测试数据集中的各数据样本均包含多种模态信号。
域适应模块102用于采用迁移学习中的域适应方法，将所述训练数据集中的训练样本以及所述测试数据集中的测试样本映射到同一特征空间，得到处理数据集。
构建模块103用于基于域对抗迁移网络构建初始疲劳检测模型。
训练模块104用于利用所述处理数据集对所述初始疲劳检测模型进行训练，得到最终的疲劳检测模型。
在本实施例中，所述疲劳检测模型构建装置还包括融合模块105，用于确定所述训练数据集和所述测试数据集中各数据样本的多种模态信号的特征；通过注意力机制对各所述数据样本的多种模态信号的特征进行融合处理。
请参阅图5，本发明另一个实施例还提供一种疲劳检测装置，包括信号获取模块201、特征融合模块202和结果检测模块203。
信号获取模块201用于获取待测用户的多种模态信号。
特征融合模块202用于通过注意力机制对所述多种模态信号的特征进行融合处理，得到融合特征。
结果检测模块203用于将所述融合特征输入至预先构建的疲劳检测模型中，得到所述待测用户的疲劳检测结果。
上述装置内的各模块之间信息交互、执行过程等内容，由于与本发明对应的方法实施例基于同一构思，具体内容可参见本发明对应方法实施例中的叙述，此处不再赘述。
第三方面，本发明提供一种数据处理设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序，所述程序由所述处理器执行，使得所述数据处理设备执行本发明第一方面所述的电气设备局部放电定位方法。
第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如本发明第一方面所述的电气设备局部放电定位方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可监听存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种疲劳检测模型构建方法，其特征在于，包括：
获取训练数据集和测试数据集；其中，所述训练数据集和所述测试数据集中的各数据样本均包含多种模态信号；
采用迁移学习中的域适应方法，将所述训练数据集中的训练样本以及所述测试数据集中的测试样本映射到同一特征空间，得到处理数据集；
基于域对抗迁移网络构建初始疲劳检测模型；
利用所述处理数据集对所述初始疲劳检测模型进行训练，得到最终的疲劳检测模型。
2.根据权利要求1所述的疲劳检测模型构建方法，其特征在于，所述获取训练数据集和测试数据集之后，还包括：
确定所述训练数据集和所述测试数据集中各数据样本的多种模态信号的特征；
通过注意力机制对各所述数据样本的多种模态信号的特征进行融合处理。
3.根据权利要求1或2任一所述的疲劳检测模型构建方法，其特征在于，所述多种模态信号包括脑电信号、眼动信号和皮电信号。
4.根据权利要求3所述的疲劳检测模型构建方法，其特征在于，所述确定所述训练数据集和所述测试数据集中各数据样本的多种模态信号的特征，具体包括：
通过带通滤波器提取所述脑电信号的多个频段信号，计算所述多个频段信号的微分熵，得到各所述频段信号对应的微分熵特征；
通过统计所述眼动信号中的动态数据和静态数据，确定所述眼动信号的特征；其中，所述静态数据为瞳孔直径，所述动态数据包括注视数据、眼跳数据和眨眼数据；
提取所述皮电信号的时序值，设置所述时序值为所述皮电信号的特征。
5.一种疲劳检测方法，其特征在于，包括：
获取待测用户的多种模态信号；
通过注意力机制对所述多种模态信号的特征进行融合处理，得到融合特征；
将所述融合特征输入至预先构建的疲劳检测模型中，得到所述待测用户的疲劳检测结果；
其中，所述疲劳检测模型通过权利要求1至4任一项所述的疲劳检测模型构建方法训练得到。
6.一种疲劳检测模型构建装置，其特征在于，包括：
获取模块，用于获取训练数据集和测试数据集；其中，所述训练数据集和所述测试数据集中的各数据样本均包含多种模态信号；
域适应模块，用于采用迁移学习中的域适应方法，将所述训练数据集中的训练样本以及所述测试数据集中的测试样本映射到同一特征空间，得到处理数据集；
构建模块，用于基于域对抗迁移网络构建初始疲劳检测模型；
训练模块，用于利用所述处理数据集对所述初始疲劳检测模型进行训练，得到最终的疲劳检测模型。
7.根据权利要求6所述的疲劳检测模型构建装置，其特征在于，还包括：
融合模块，用于确定所述训练数据集和所述测试数据集中各数据样本的多种模态信号的特征；
通过注意力机制对各所述数据样本的多种模态信号的特征进行融合处理。
8.一种疲劳检测装置，其特征在于，包括：
信号获取模块，用于获取待测用户的多种模态信号；
特征融合模块，用于通过注意力机制对所述多种模态信号的特征进行融合处理，得到融合特征；
结果检测模块，用于将所述融合特征输入至预先构建的疲劳检测模型中，得到所述待测用户的疲劳检测结果；
其中，所述疲劳检测模型通过权利要求6至7任一项所述的疲劳检测模型构建装置训练得到。
9.一种数据处理设备，其特征在于，包括：
处理器，所述处理器和存储器耦合，所述存储器存储有程序，所述程序由所述处理器执行，使得所述数据处理设备执行如权利要求1至5任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令用于执行上述权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210097360.2A CN114424941A (zh) | 2022-01-26 | 2022-01-26 | 疲劳检测模型构建方法、疲劳检测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210097360.2A CN114424941A (zh) | 2022-01-26 | 2022-01-26 | 疲劳检测模型构建方法、疲劳检测方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114424941A true CN114424941A (zh) | 2022-05-03 |
Family
ID=81313407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210097360.2A Pending CN114424941A (zh) | 2022-01-26 | 2022-01-26 | 疲劳检测模型构建方法、疲劳检测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114424941A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115067945A (zh) * | 2022-08-22 | 2022-09-20 | 深圳市海清视讯科技有限公司 | 疲劳检测方法、装置、设备及存储介质 |
| CN115272645A (zh) * | 2022-09-29 | 2022-11-01 | 北京鹰瞳科技发展股份有限公司 | 多模态数据采集设备及训练中枢疲劳检测模型的方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104146722A (zh) * | 2014-08-18 | 2014-11-19 | 吉林大学 | 一种基于头部信号的驾驶疲劳检测分级预警装置及方法 |
| CN106251583A (zh) * | 2016-09-30 | 2016-12-21 | 防城港市港口区高创信息技术有限公司 | 基于驾驶行为与眼动特征的疲劳驾驶辨识方法 |
| CN108392211A (zh) * | 2018-01-11 | 2018-08-14 | 浙江大学 | 一种基于多信息融合的疲劳检测方法 |
| CN109009173A (zh) * | 2018-08-30 | 2018-12-18 | 北京机械设备研究所 | 一种基于脑电-眼动双模态信号的疲劳检测与调控方法 |
| CN109512442A (zh) * | 2018-12-21 | 2019-03-26 | 杭州电子科技大学 | 一种基于LightGBM的EEG疲劳状态分类方法 |
| CN109700472A (zh) * | 2019-02-21 | 2019-05-03 | 北京七鑫易维信息技术有限公司 | 一种疲劳检测方法、装置、设备和存储介质 |
| CN110772268A (zh) * | 2019-11-01 | 2020-02-11 | 哈尔滨理工大学 | 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法 |
| CN111568446A (zh) * | 2020-05-28 | 2020-08-25 | 兰州大学 | 结合人口学注意力机制的便携式脑电抑郁检测系统 |
| CN112131981A (zh) * | 2020-09-10 | 2020-12-25 | 山东大学 | 一种基于骨架数据行为识别的司机疲劳检测方法 |
| CN112274162A (zh) * | 2020-09-18 | 2021-01-29 | 杭州电子科技大学 | 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法 |
| CN112329438A (zh) * | 2020-10-27 | 2021-02-05 | 中科极限元(杭州)智能科技股份有限公司 | 基于域对抗训练的自动谎言检测方法及系统 |
| CN112690793A (zh) * | 2020-12-28 | 2021-04-23 | 中国人民解放军战略支援部队信息工程大学 | 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备 |
| CN113749619A (zh) * | 2021-09-13 | 2021-12-07 | 上海大学 | 一种基于k-trca的脑力疲劳评估方法 |
-
2022
- 2022-01-26 CN CN202210097360.2A patent/CN114424941A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104146722A (zh) * | 2014-08-18 | 2014-11-19 | 吉林大学 | 一种基于头部信号的驾驶疲劳检测分级预警装置及方法 |
| CN106251583A (zh) * | 2016-09-30 | 2016-12-21 | 防城港市港口区高创信息技术有限公司 | 基于驾驶行为与眼动特征的疲劳驾驶辨识方法 |
| CN108392211A (zh) * | 2018-01-11 | 2018-08-14 | 浙江大学 | 一种基于多信息融合的疲劳检测方法 |
| CN109009173A (zh) * | 2018-08-30 | 2018-12-18 | 北京机械设备研究所 | 一种基于脑电-眼动双模态信号的疲劳检测与调控方法 |
| CN109512442A (zh) * | 2018-12-21 | 2019-03-26 | 杭州电子科技大学 | 一种基于LightGBM的EEG疲劳状态分类方法 |
| CN109700472A (zh) * | 2019-02-21 | 2019-05-03 | 北京七鑫易维信息技术有限公司 | 一种疲劳检测方法、装置、设备和存储介质 |
| CN110772268A (zh) * | 2019-11-01 | 2020-02-11 | 哈尔滨理工大学 | 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法 |
| CN111568446A (zh) * | 2020-05-28 | 2020-08-25 | 兰州大学 | 结合人口学注意力机制的便携式脑电抑郁检测系统 |
| CN112131981A (zh) * | 2020-09-10 | 2020-12-25 | 山东大学 | 一种基于骨架数据行为识别的司机疲劳检测方法 |
| CN112274162A (zh) * | 2020-09-18 | 2021-01-29 | 杭州电子科技大学 | 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法 |
| CN112329438A (zh) * | 2020-10-27 | 2021-02-05 | 中科极限元(杭州)智能科技股份有限公司 | 基于域对抗训练的自动谎言检测方法及系统 |
| CN112690793A (zh) * | 2020-12-28 | 2021-04-23 | 中国人民解放军战略支援部队信息工程大学 | 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备 |
| CN113749619A (zh) * | 2021-09-13 | 2021-12-07 | 上海大学 | 一种基于k-trca的脑力疲劳评估方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115067945A (zh) * | 2022-08-22 | 2022-09-20 | 深圳市海清视讯科技有限公司 | 疲劳检测方法、装置、设备及存储介质 |
| CN115272645A (zh) * | 2022-09-29 | 2022-11-01 | 北京鹰瞳科技发展股份有限公司 | 多模态数据采集设备及训练中枢疲劳检测模型的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liao et al. | Deep facial spatiotemporal network for engagement prediction in online learning | |
| Shamwell et al. | Single-trial EEG RSVP classification using convolutional neural networks | |
| Siuly et al. | Exploring sampling in the detection of multicategory EEG signals | |
| Salehzadeh et al. | Human activity recognition using deep electroencephalography learning | |
| CN114424941A (zh) | 疲劳检测模型构建方法、疲劳检测方法、装置及设备 | |
| Usman et al. | Intelligent automated detection of microaneurysms in fundus images using feature-set tuning | |
| Wan et al. | EEG fading data classification based on improved manifold learning with adaptive neighborhood selection | |
| Pal et al. | Deep learning techniques for prediction and diagnosis of diabetes mellitus | |
| Soni et al. | Graphical representation learning-based approach for automatic classification of electroencephalogram signals in depression | |
| Wei et al. | A deep learning framework with multi-perspective fusion for interictal epileptiform discharges detection in scalp electroencephalogram | |
| Jia et al. | End-to-end fatigue driving EEG signal detection model based on improved temporal-graph convolution network | |
| Xu et al. | Retinal vessel segmentation algorithm based on residual convolution neural network | |
| Wirawan et al. | The challenges of emotion recognition methods based on electroencephalogram signals: A literature review | |
| Creagh et al. | Interpretable deep learning for the remote characterisation of ambulation in multiple sclerosis using smartphones | |
| Peng et al. | TA-MFFNet: Multi-feature fusion network for EEG analysis and driving fatigue detection based on time domain network and attention network | |
| Xia et al. | Dynamic viewing pattern analysis: towards large-scale screening of children with ASD in remote areas | |
| CN117338234A (zh) | 一种屈光度与视力联合检测方法 | |
| Sari et al. | A study on algorithms of pupil diameter measurement | |
| Huang et al. | BHCR: RSVP target retrieval BCI framework coupling with CNN by a Bayesian method | |
| CN116524380A (zh) | 一种基于脑-机信号融合的目标检测方法 | |
| Jeyarani et al. | Eye Tracking Biomarkers for Autism Spectrum Disorder Detection using Machine Learning and Deep Learning Techniques | |
| Li et al. | Decoupling representation learning for imbalanced electroencephalography classification in rapid serial visual presentation task | |
| Regin et al. | Use of a Fatigue Framework to Adopt a New Normalization Strategy for Deep Learning-Based Augmentation | |
| Shen et al. | Explainable Depression Recognition from EEG Signals via Graph Convolutional Network | |
| Ren et al. | Extracting and supplementing method for EEG signal in manufacturing workshop based on deep learning of time–frequency correlation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220503 |
|
| RJ01 | Rejection of invention patent application after publication |