CN114343670B - 解释信息生成方法及电子设备 - Google Patents
解释信息生成方法及电子设备 Download PDFInfo
- Publication number
- CN114343670B CN114343670B CN202210018454.6A CN202210018454A CN114343670B CN 114343670 B CN114343670 B CN 114343670B CN 202210018454 A CN202210018454 A CN 202210018454A CN 114343670 B CN114343670 B CN 114343670B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- channel
- information
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请实施例提供了一种解释信息生成方法及电子设备，包括：将多模态数据输入至目标注意力评估模型，获得目标注意力评估模型的中间级输出的深度特征和目标注意力评估模型的末级输出的目标评估结果；根据多模态数据中各数据的重要性程度，得到多模态数据的数据权重分布信息；根据深度特征中各特征的重要性程度，得到深度特征的特征权重分布信息；根据目标评估结果对应的输入数据和目标注意力评估模型的模型结构，得到目标评估结果对应的决策依据信息；合并决策依据信息、数据权重分布信息和特征权重分布信息，得到目标注意力评估模型的解释信息；将解释信息与目标注意力评估模型相关联，得到包括注意力评估模型和解释信息的模型文件。
Description
技术领域
本公开实施例涉及神经网络领域，更具体地，涉及一种解释信息生成方法及电子设备。
背景技术
注意缺陷多动障碍(attention-deficit/hyperactivity disorder,ADHD)是最为常见的儿童神经发育性疾病之一，主要表现为注意力缺乏、多动或者冲动。我国有不低于1000万的儿童患有ADHD，给社会和家庭造成沉重负担。ADHD儿童目前的诊断仍以医生的主观经验判断为主，缺乏客观的评价指标。脑电(Electroencephalogram，EEG)采集便捷，具有高时间分辨率的优势，是研究注意过程神经活动规律的主要脑成像手段之一。ADHD儿童的脑电研究近年来正在不断发展，发现了众多关键特征并建立了多种注意评估模型。
为了解决ADHD儿童早期诊断的迫切需求，通常开展基于脑电的深度学习注意评估研究，发展特征提取方法，可以解决深度模型构建关键问题；但是，模型在临床应用中存在的不透明性问题。
发明内容
本公开的一个目的是提供一种用于突破模型在应用中的不透明性的新的技术方案。
根据本公开的第一方面，提供了解释信息生成方法的一个实施例，包括：
获取待评估用户的多模态数据；其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据，所述多模式数据包括脑电数据；
将所述多模态数据输入至目标注意力评估模型，获得所述目标注意力评估模型的中间级输出的深度特征和所述目标注意力评估模型的末级输出的目标评估结果；其中，所述深度特征用于表征所述脑电数据的各个通道的频率和强度，所述目标评估结果表示所述用户的注意力集中程度；
根据所述多模态数据中各数据的重要性程度，得到所述多模态数据的数据权重分布信息；
根据所述深度特征中各特征的重要性程度，得到所述深度特征的特征权重分布信息；
根据所述目标评估结果对应的输入数据和所述目标注意力评估模型的模型结构，得到所述目标评估结果对应的决策依据信息；
合并所述决策依据信息、所述数据权重分布信息和特征权重分布信息，得到所述目标注意力评估模型的解释信息；
将所述解释信息与所述目标注意力评估模型相关联，得到包括所述注意力评估模型和所述解释信息的模型文件。
可选地，所述多模态数据包括以下至少一项：所述待评估用户的脑电数据、反映所述用户当前认知行为特征的第一行为特征数据和反映所述用户历史认知行为特征的第二行为特征数据，其中，所述脑电数据包括静息态脑电数据，所述第二行为特征数据通过收集所述用户以外的其他用户针对所述用户的认知行为评价数据获得。
可选地，所述根据所述深度特征中各特征的重要性程度，得到所述深度特征的特征权重分布信息，包括：
分析所述深度特征，得到所述深度特征中各特征的重要性程度；
根据所述深度特征中各特征的重要性程度，从所述深度特征中选取部分特征作为目标特征；
根据每一所述目标深度特征的重要性程度，得到所述特征权重分布信息。
可选地，所述根据所述深度特征中各特征的重要性程度，得到所述深度特征的特征权重分布信息，包括：
根据所述深度特征与所述第一行为特征数据和所述第二行为特征数据的相关性，得到第一相关性信息；
根据所述深度特征与注意力缺陷及多动障碍机制的相关性，得到第二相关性信息；
合并上述第一相关性信息和所述第二相关性信息，得到所述深度特征的特征权重分布信息。
可选地，所述将所述多模态数据输入至所述目标注意力评估模型，获得所述目标注意力评估模型的末级输出的目标评估结果，包括：
对所述脑电数据进行预设转换处理，获得目标脑电数据，其中，所述预设转换处理包括对所述脑电数据在时间域和空间域上的对应数据进行转换的处理；
将所述目标脑电数据、所述第一行为特征数据和所述第二行为特征数据输入所述目标注意力评估模型中，获得所述目标评估结果。
可选地，所述脑电数据为多通道数据，所述对所述脑电数据进行预设转换处理，获得目标脑电数据，包括：
对所述多通道数据的各个通道中的子脑电数据进行频率分析，提取所述各个通道中的子脑电数据的空间频率分布，其中，所述空间频率分布用于反应对应子脑电数据的分布特征；
基于所述各个通道中的子脑电数据的空间频率分布之间的关联关系，对所述脑电数据对应的多通道进行排序，得到目标通道序列；
对于所述目标通道序列中各个通道对应的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述目标通道序列中每个通道对应的空间频率分布作为所述目标脑电数据，其中，所述空间信息用于表征所述各个通道中的子脑电数据的频率分布的位置信息。
可选地，所述脑电数据为多通道数据，所述对所述脑电数据进行预设转换处理，获得目标脑电数据，包括：
对所述多通道数据的各个通道中的子脑电数据进行频谱分析，得到与所述各个通道分别对应的功率谱；
对所述各个通道分别对应的功率谱进行拟合，得到所述各个通道中的每个通道的拟合曲线；
基于所述各个通道分别对应的功率谱与所述各个通道对应的拟合曲线，得到所述各个通道对应的空间频率分布；
基于所述各个通道对应的空间频率分布，对所述各个通道进行排序，得到目标通道序列；
对于所述目标通道序列中每个通道的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述所述目标通道序列中每个通道的空间频率分布作为所述目标脑电数据。
可选地，所述将所述多模态数据输入至所述目标注意力评估模型，获得所述目标注意力评估模型的末级输出的目标评估结果，包括：
将所述静息态脑电数据输入所述目标注意力评估模型，得到第一评估结果；
将所述第一行为特征数据和所述第二行为特征数据输入所述分类模型，得到第二评估结果；
根据所述第一评估结果、所述第二评估结果进行加权计算，得到所述目标评估结果，其中，所述第一评估结果和所述第二评估结果分别对应的权重根据对应模型的准确率确定。
可选地，所述根据所述目标评估结果对应的输入数据和所述目标注意力评估模型的模型结构，得到所述目标评估结果对应的决策依据信息，包括：
基于所述目标注意力评估模型的模型结构和所述目标评估结果对应的输入数据，确定所述目标评估结果对应的特征图；
利用分类器确定所述目标评估结果是目标类别的得分；
基于所述特征图和所述得分，计算得到所述特征图对于上述目标类别的权重；
基于所述特征图和所述权重，得到所述目标类别对应的决策依据信息。
根据本公开的第二方面，提供了电子设备的一个实施例，包括：
存储器，用于存储可执行的指令；
处理器，用于根据所述指令的控制运行所述电子设备执行如本说明书的第一方面所述的方法。
本公开实施例的一个有益效果在于，根据本公开的实施例，通过获取待评估用户的多模态数据；其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据，所述多模式数据包括脑电数据；将所述多模态数据输入至所述目标注意力评估模型，获得所述目标注意力评估模型的中间级输出的深度特征和所述目标注意力评估模型的末级输出的目标评估结果；其中，所述深度特征用于表征所述脑电数据的各个通道的频率和强度，所述目标评估结果表示所述用户的注意力集中程度；根据所述多模态数据中各数据的重要性程度，得到所述多模态数据的数据权重分布信息；根据所述深度特征中各特征的重要性程度，得到所述深度特征的特征权重分布信息；可以利用数据权重分布信息和特征权重分布信息对目标注意力评估模型的决策过程进行解释，根据所述目标评估结果对应的输入数据和所述目标注意力评估模型的模型结构，得到所述目标评估结果对应的决策依据信息；可以利用决策依据信息对目标注意力评估模型的决策依据进行解释，合并所述决策依据信息、所述数据权重分布信息和特征权重分布信息，得到所述目标注意力评估模型的解释信息；将所述解释信息与所述目标注意力评估模型相关联，得到包括所述注意力评估模型和所述解释信息的模型文件。利用解释信息可以对目标注意力评估模型的决策过程和决策依据进行解释，确保了模型的运行过程和结果输出的合理性，增强了深度模型实际应用中的可信度，并为儿童个体化精准评估提供了方法支撑。
通过以下参照附图对本说明书的示例性实施例的详细描述，本说明书的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本说明书的实施例，并且连同其说明一起用于解释本说明书的原理。
图1是本公开实施例提供的一种解释信息生成方法的流程示意图。
图2是根据电极连接线确定的脑电的电极位置示意图。
图3是脑电的电极位置中62通道电极位置的示意图。
图4是本公开实施例提供的一种解释信息生成装置的框图。
图5是本公开实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<方法实施例>
为了突破模型在应用中的不透明性的问题，本公开的实施例提供了一种解释信息生成方法。请参看图1，其是本公开实施例提供的解释信息生成方法的流程示意图，该方法可以在电子设备中实施。
如图1所示，本实施例的方法可以包括如下步骤S1100-S1700，以下予以详细说明。
步骤S1100，获取待评估用户的多模态数据；其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据，所述多模式数据包括脑电数据。
在一些实施例中，解释信息生成方法的执行主体可以通过有线连接方式或者无线连接方式获取待评估用户的多模态数据；其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据，所述多模式数据包括脑电数据。上述执行主体可以是服务器。上述多模态数据可以是采集待评估用户得到的，上述待评估用户可以是随机选取的用户，上述用户可以是成年人，也可以是儿童。上述脑电数据通常是分别考察用户在安静状态下和执行认知任务过程中的脑电信息。
在一些实施例的一些可选的实现方式中，所述多模态数据包括以下至少一项：所述待评估用户的脑电数据、反映所述用户当前认知行为特征的第一行为特征数据和反映所述用户历史认知行为特征的第二行为特征数据，其中，所述脑电数据包括静息态脑电数据，所述第二行为特征数据通过收集所述用户以外的其他用户针对所述用户的认知行为评价数据获得。认知行为通常采用持续作业任务和视觉搜索任务测量儿童持续性注意和选择性注意能力，行为指标为任务的反应时、正确率、遗漏率等。
作为示例，可以招募ADHD儿童以及年龄性别匹配的正常儿童各60名，要求所有儿童视力或校正视力正常，无色盲、色弱等；中国韦氏儿童智力量表智商评分高于80分；无服用神经兴奋性药物或其他治疗注意缺陷问题的药物史；当前并未参与其他认知行为干预或者电磁刺激干预，训练过程中也避免参与；排除器质性疾病、精神分裂、情绪障碍或者癫痫等情况；自我报告无严重的导致昏迷的脑外伤史。
脑电中电极位置可以根据如图2中的电极连接线来确定，得到如图3所述的通道电极位置。脑电采集采用EGI系统，通道数量为62，采样率1000Hz。在儿童佩戴好脑电设备之后，按照“闭眼-睁眼-闭眼-睁眼”的顺序采集静息态脑电四次，各2分钟，然后执行认知任务。采用持续作业任务(Continuous Performance Task，CPT)持续性注意注意能力。CPT任务测量儿童在长时间单一任务下的注意持续情况，在屏幕上随机出现0-9的数字，要求儿童在出现“7”时(目标刺激)不按键反应，其他数字(分心刺激)时立刻按键。特征方面，对目标刺激的无反应视为遗漏错误，而对分心刺激的反应被记录为冲动错误，同时记录不同条件下的反应时，并计算实验前期和实验后期的反应时的平均值和方差。实验中，共呈现了360个分散刺激和80个目标刺激，用时15min。
第二行为特征数据方面，由家长填写ADHD症状评定量表(ADHD rating scale,ADHD-RS)，该表包括18个条目，其中9个用于评定儿童注意缺陷症状，9个用来评定儿童多动或冲动情况，每个条目采用1-4分评分描述症状出现频次。9个注意缺陷评分相加为注意缺陷分，9个多动冲动评分相加为多动冲动评分，两者相加为总分。量表的评分越高，相应ADHD症状就越严重。
步骤S1200，将所述多模态数据输入至目标注意力评估模型，获得所述目标注意力评估模型的中间级输出的深度特征和所述目标注意力评估模型的末级输出的目标评估结果；其中，所述深度特征用于表征所述脑电数据的各个通道的频率和强度，所述目标评估结果表示所述用户的注意力集中程度。
在一些实施例中，该执行主体可以将所述多模态数据输入至所述目标注意力评估模型，获得所述目标注意力评估模型的中间级输出的深度特征和所述目标注意力评估模型的末级输出的目标评估结果；其中，所述深度特征用于表征所述脑电数据的各个通道的频率和强度，所述目标评估结果表示所述用户的注意力集中程度。所述目标注意力评估模型可以是预先训练的也可以是支持向量机等网络模型，例如，所述目标评估结果可以是“高”、“中”和“低”。
在一些实施例的一些可选的实现方式中，将所述静息态脑电数据输入所述目标注意力评估模型，得到第一评估结果；将所述第一行为特征数据和所述第二行为特征数据输入所述分类模型，得到第二评估结果；根据所述第一评估结果、所述第二评估结果进行加权计算，得到所述目标评估结果，其中，所述第一评估结果和所述第二评估结果分别对应的权重根据对应模型的准确率确定。
作为示例，上述分类模型可以是支持向量机(Support Vector Machine,SVM)，多层感知机(Multilayer Perceptron，MLP)。将上述两个评估结果对应的模型的准确率进行作比，得到两个评估结果对应的模型的权重，也是上述两个评估结果在上述目标评估结果中的占比。例如，占比是4:6，那么，上述目标评估结果可以是第一评估结果乘以40％，第二评估结果乘以60％，将2个乘积相加等于上述目标评估结果。
在一些实施例的一些可选的实现方式中，对所述脑电数据进行预设转换处理，获得目标脑电数据，其中，所述预设转换处理包括对所述脑电数据在时间域和空间域上的对应数据进行转换的处理；将所述目标脑电数据、所述第一行为特征数据和所述第二行为特征数据输入所述目标注意力评估模型中，获得所述目标评估结果。
在一些实施例的一些可选的实现方式中，对所述多通道数据的各个通道中的子脑电数据进行频率分析，提取所述各个通道中的子脑电数据的空间频率分布，其中，所述空间频率分布用于反应对应子脑电数据的分布特征；在这里，上述各个通道的子脑电数据可以是连续或者离散的时序信号，频率分析主要时利用统计和图表来反映数据的分布特征，比如有频数分布表、条形图和直方图，以及集中趋势和离散趋势的各种统计量(比如平均值、中位数、偏度和峰度等)，上述空间频率分布可以是二维的“通道×频率”形式。
基于所述各个通道中的子脑电数据的空间频率分布之间的关联关系，对所述脑电数据对应的多通道进行排序，得到目标通道序列；作为示例，根据10-20系统脑区划分的连接线，设置电极点连接的经纬线，首先按照纬线进行左右横向往返选取，如图3中，选择顺序为1、2、3、5、4、6、7…13、14、23、22、21…16、15、24、25、26…31、32、41、40…52、51、58、59、60；然后再次按照经线纵向上下往返选取，同样如图3所示，依次选取2、1、6、15…58、59、52、43…4、2、8、17…53、59、45…9、2、10、19…54、59、47…11、2、5、12…55、59、56、49…13、5、2、3、14…57、60、59。需要注意的是，由于通道2和通道59在在多处经线的汇集点，为保证通道的局部相连特性，所以在通道序列中出现多次。将两次选取的通道逐次排列，即组成了本研究中使用的目标通道顺序。
对于所述目标通道序列中各个通道对应的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述目标通道序列中每个通道对应的空间频率分布作为所述目标脑电数据，其中，所述空间信息用于表征所述各个通道中的子脑电数据的频率分布的位置信息。
在一些实施例的一些可选的实现方式中，对所述多通道数据的各个通道中的子脑电数据进行频谱分析，得到与所述各个通道分别对应的功率谱；上述频谱分析可以是快速傅里叶变换(Fast Fourier Transform，FFT)，FFT算法可分为按时间抽取算法和按频率抽取算法，这里的频谱分析可以是按频率抽取算法。功率谱可以是反应一个脑电数据频率的曲线。
对所述各个通道分别对应的功率谱进行拟合，得到所述各个通道中的每个通道的拟合曲线；作为示例，对某一通道脑电数据进行FFT，得到功率谱；将功率谱绘制在二维坐标系上，x轴为频率，y轴为功率谱幅度；对x和y轴同时进行log变换；在变换后的坐标轴上进行直线拟合，得到1/f曲线；这里将1/f曲线作为所述拟合曲线。
基于所述各个通道分别对应的功率谱与所述各个通道对应的拟合曲线，得到所述各个通道对应的空间频率分布；将功率谱减去1/f曲线幅度，并进行指数变换，得到各个通道对应的空间频率分布。
基于所述各个通道对应的空间频率分布，对所述各个通道进行排序，得到目标通道序列；对于所述目标通道序列中每个通道的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述所述目标通道序列中每个通道的空间频率分布作为所述目标脑电数据。
步骤S1300，根据所述多模态数据中各数据的重要性程度，得到所述多模态数据的数据权重分布信息。
在一些实施例中，该执行主体可以根据所述多模态数据中各数据的重要性程度，得到所述多模态数据的数据权重分布信息。可以利用局部可解释性方法(LocalInterpretable Model-Agnostic Explanation，LIME)分析多模态数据中各数据的重要性程度，得到所述多模态数据的数据权重分布信息。上述数据权重分布信息可以是用于表征多模态数据中各数据的重要性程度的信息。
步骤S1400，根据所述深度特征中各特征的重要性程度，得到所述深度特征的特征权重分布信息。
在一些实施例中，该执行主体可以根据所述深度特征中各特征的重要性程度，得到所述深度特征的特征权重分布信息。可以利用局部可解释性方法分析深度特征，得到所述深度特征中各特征的重要性程度。上述特征权重分布信息可以是用于表征所述深度特征中各特征的重要性程度的信息。
在一些实施例的一些可选的实现方式中，分析所述深度特征，得到所述深度特征中各特征的重要性程度；作为示例，可以利用局部可解释性方法分析深度特征，得到所述深度特征中各特征的重要性程度。
根据所述深度特征中各特征的重要性程度，从所述深度特征中选取部分特征作为目标特征；作为示例，根据所述深度特征中各特征的重要性程度，从所述深度特征中选取重要性程度比较高的部分特征作为目标特征；例如，可以选择一定比例的特征作为目标特征，这里的，一定比例可以是预先设定的，例如，可以是10％，也可以是选择一定数量的特征作为目标特征，这里的，一定数量可以是预先设定的，例如，可以是20个。
根据每一所述目标深度特征的重要性程度，得到所述特征权重分布信息。具体地，可以利用导向反向传播、最大激活图等方法分析所述目标深度特征，得到所述目标深度特征中各特征的重要性程度，从而得到所述特征权重分布信息。
在一些实施例的一些可选的实现方式中，根据所述深度特征与所述第一行为特征数据和所述第二行为特征数据的相关性，得到第一相关性信息；上述第一相关性信息用于表征所述深度特征与所述第一行为特征数据和所述第二行为特征数据之间的相关性情况，从而利用上述第一相关性信息探讨所述深度特征在行为表现和量表评估的意义。
根据所述深度特征与注意力缺陷及多动障碍机制的相关性，得到第二相关性信息；上述第二相关性信息用于表征所述深度特征与所述注意力缺陷及多动障碍之间的相关性情况，从而可以利用上述第二相关性信息解释上述深度特征所对应的神经科学意义。合并上述第一相关性信息和所述第二相关性信息，得到所述深度特征的特征权重分布信息。
步骤S1500，根据所述目标评估结果对应的输入数据和所述目标注意力评估模型的模型结构，得到所述目标评估结果对应的决策依据信息。
在一些实施例中，该执行主体可以根据所述目标评估结果对应的输入数据和所述目标注意力评估模型的模型结构，得到所述目标评估结果对应的决策依据信息。因为，上述目标注意力评估模型对每个输入数据都得到对应的目标评估结果，每个输入数据中的每个元素对于对应的目标评估结果的贡献是不同的，所以，上述决策依据信息可以是用于每个输入数据中的每个元素对于对应的目标评估结果的贡献的信息。上述目标注意力评估模型的模型结构可以是卷积神经网络。可以利用梯度类激活图(gradient classactivatemapping，Grad-CAM)得到目标评估结果在输入空间的评估依据分布，确保决策依据的合理性。结合脑电特征潜在的神经机制，可以有效识别ADHD个体潜在的神经发育偏差。
在一些实施例的一些可选的实现方式中，基于所述目标注意力评估模型的模型结构和所述目标评估结果对应的输入数据，确定所述目标评估结果对应的特征图；上述目标注意力评估模型的模型结构可以是全局平均池化的卷积神经网络，作为示例，可以将上述输入数据输入全局平均池化(Global Average Pooling，GAP)的卷积神经网络(Convolutional Neural Networks，CNN)中，上述输入数据在每层卷积层上都存在对应的特征图。
利用分类器确定所述目标评估结果是目标类别的得分；上述分类器可以是softmax分类器。
基于所述特征图和所述得分，计算得到所述特征图对于上述目标类别的权重；上述目标类别的权重可以通过以下公式得到：
基于所述特征图和所述权重，得到所述目标类别对应的决策依据信息。其中，上述决策依据信息可以是上述目标类别的梯度类激活图(gradient classactivate mapping，Grad-CAM)；上述目标类别的梯度类激活图可以通过以下公式得到：
CAMc表示类别c的梯度类激活图。
步骤S1600，合并所述决策依据信息、所述数据权重分布信息和特征权重分布信息，得到所述目标注意力评估模型的解释信息。
在一些实施例中，该执行主体可以合并所述决策依据信息、所述数据权重分布信息和特征权重分布信息，得到所述目标注意力评估模型的解释信息。
步骤S1700，将所述解释信息与所述目标注意力评估模型相关联，得到包括所述注意力评估模型和所述解释信息的模型文件。
在一些实施例中，该执行主体可以将所述解释信息与所述目标注意力评估模型相关联，得到包括所述注意力评估模型和所述解释信息的模型文件。
本公开的一些实施例公开了一种解释信息生成方法，通过获取待评估用户的多模态数据；其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据，所述多模式数据包括脑电数据；将所述多模态数据输入至目标注意力评估模型，获得所述目标注意力评估模型的中间级输出的深度特征和所述目标注意力评估模型的末级输出的目标评估结果；其中，所述深度特征用于表征所述脑电数据的各个通道的频率和强度，所述目标评估结果表示所述用户的注意力集中程度；根据所述多模态数据中各数据的重要性程度，得到所述多模态数据的数据权重分布信息；根据所述深度特征中各特征的重要性程度，得到所述深度特征的特征权重分布信息；可以利用数据权重分布信息和特征权重分布信息对目标注意力评估模型的决策过程进行解释，根据所述目标评估结果对应的输入数据和所述目标注意力评估模型的模型结构，得到所述目标评估结果对应的决策依据信息；可以利用决策依据信息对目标注意力评估模型的决策依据进行解释，合并所述决策依据信息、所述数据权重分布信息和特征权重分布信息，得到所述目标注意力评估模型的解释信息；将所述解释信息与所述目标注意力评估模型相关联，得到包括所述注意力评估模型和所述解释信息的模型文件。利用解释信息可以对目标注意力评估模型的决策过程和决策依据进行解释，确保了模型的运行过程和结果输出的合理性，增强了深度模型实际应用中的可信度，并为儿童个体化精准评估提供了方法支撑。来解决模型在临床应用中存在的不透明性的问题，从而实现ADHD儿童的精准注意评估，为建立高性能、高可信度的注意评估系统奠定基础。
<装置实施例>
本公开的实施例提供了一种解释信息生成装置。请继续参看图4，其是本公开实施例提供的解释信息生成装置4000的框图，该装置可以在电子设备中实施。
如图4所示，本实施例的装置可以包括模块4100-模块4700，以下予以详细说明。
第一获取模块4100，用于获取待评估用户的多模态数据；其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据，所述多模式数据包括脑电数据；
第二获取模块4200，用于将所述多模态数据输入至目标注意力评估模型，获得所述目标注意力评估模型的中间级输出的深度特征和所述目标注意力评估模型的末级输出的目标评估结果；其中，所述深度特征用于表征所述脑电数据的各个通道的频率和强度，所述目标评估结果表示所述用户的注意力集中程度；
第一得到模块4300，用于根据所述多模态数据中各数据的重要性程度，得到所述多模态数据的数据权重分布信息；
第二得到模块4400，用于根据所述深度特征中各特征的重要性程度，得到所述深度特征的特征权重分布信息；
第三得到模块4500，用于根据所述目标评估结果对应的输入数据和所述目标注意力评估模型的模型结构，得到所述目标评估结果对应的决策依据信息；
合并模块4600，用于合并所述决策依据信息、所述数据权重分布信息和特征权重分布信息，得到所述目标注意力评估模型的解释信息；
关联模块4700，用于将所述解释信息与所述目标注意力评估模型相关联，得到包括所述注意力评估模型和所述解释信息的模型文件。
在一些实施例的一些可选的实现方式中，所述多模态数据包括以下至少一项：所述待评估用户的脑电数据、反映所述用户当前认知行为特征的第一行为特征数据和反映所述用户历史认知行为特征的第二行为特征数据，其中，所述脑电数据包括静息态脑电数据，所述第二行为特征数据通过收集所述用户以外的其他用户针对所述用户的认知行为评价数据获得。
在一些实施例的一些可选的实现方式中，第二得到模块4400被进一步配置成：分析所述深度特征，得到所述深度特征中各特征的重要性程度；根据所述深度特征中各特征的重要性程度，从所述深度特征中选取部分特征作为目标特征；根据每一所述目标深度特征的重要性程度，得到所述特征权重分布信息。
在一些实施例的一些可选的实现方式中，第二得到模块4400被进一步配置成：根据所述深度特征与所述第一行为特征数据和所述第二行为特征数据的相关性，得到第一相关性信息；根据所述深度特征与注意力缺陷及多动障碍机制的相关性，得到第二相关性信息；合并上述第一相关性信息和所述第二相关性信息，得到所述深度特征的特征权重分布信息。
在一些实施例的一些可选的实现方式中，所述将所述多模态数据输入至所述目标注意力评估模型，获得所述目标注意力评估模型的末级输出的目标评估结果，被进一步配置成：对所述脑电数据进行预设转换处理，获得目标脑电数据，其中，所述预设转换处理包括对所述脑电数据在时间域和空间域上的对应数据进行转换的处理；将所述目标脑电数据、所述第一行为特征数据和所述第二行为特征数据输入所述目标注意力评估模型中，获得所述目标评估结果。
在一些实施例的一些可选的实现方式中，所述脑电数据为多通道数据，所述对所述脑电数据进行预设转换处理，获得目标脑电数据，被进一步配置成：对所述多通道数据的各个通道中的子脑电数据进行频率分析，提取所述各个通道中的子脑电数据的空间频率分布，其中，所述空间频率分布用于反应对应子脑电数据的分布特征；基于所述各个通道中的子脑电数据的空间频率分布之间的关联关系，对所述脑电数据对应的多通道进行排序，得到目标通道序列；对于所述目标通道序列中各个通道对应的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述目标通道序列中每个通道对应的空间频率分布作为所述目标脑电数据，其中，所述空间信息用于表征所述各个通道中的子脑电数据的频率分布的位置信息。
在一些实施例的一些可选的实现方式中，所述脑电数据为多通道数据，所述对所述脑电数据进行预设转换处理，获得目标脑电数据，被进一步配置成：对所述多通道数据的各个通道中的子脑电数据进行频谱分析，得到与所述各个通道分别对应的功率谱；对所述各个通道分别对应的功率谱进行拟合，得到所述各个通道中的每个通道的拟合曲线；基于所述各个通道分别对应的功率谱与所述各个通道对应的拟合曲线，得到所述各个通道对应的空间频率分布；基于所述各个通道对应的空间频率分布，对所述各个通道进行排序，得到目标通道序列；对于所述目标通道序列中每个通道的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述所述目标通道序列中每个通道的空间频率分布作为所述目标脑电数据。
在一些实施例的一些可选的实现方式中，所述将所述多模态数据输入至所述目标注意力评估模型，获得所述目标注意力评估模型的末级输出的目标评估结果，被进一步配置成：将所述静息态脑电数据输入所述目标注意力评估模型，得到第一评估结果；将所述第一行为特征数据和所述第二行为特征数据输入所述分类模型，得到第二评估结果；根据所述第一评估结果、所述第二评估结果进行加权计算，得到所述目标评估结果，其中，所述第一评估结果和所述第二评估结果分别对应的权重根据对应模型的准确率确定。
在一些实施例的一些可选的实现方式中，第三得到模块4500被进一步配置成：基于所述目标注意力评估模型的模型结构和所述目标评估结果对应的输入数据，确定所述目标评估结果对应的特征图；利用分类器确定所述目标评估结果是目标类别的得分；基于所述特征图和所述得分，计算得到所述特征图对于上述目标类别的权重；基于所述特征图和所述权重，得到所述目标类别对应的决策依据信息。
<设备实施例>
与上述方法实施例相对应，在本实施例中，还提供一种电子设备，请参看图5，其是本公开实施例提供的一种电子设备的结构示意图。
如图5所示，该电子设备500可以包括处理器520和存储器510，该存储器510用于存储可执行的指令；该处理器520用于根据指令的控制运行电子设备以执行根据本公开任意实施例的方法。
需要说明的是，本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，adhoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待评估用户的多模态数据；其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据，所述多模式数据包括脑电数据；将所述多模态数据输入至目标注意力评估模型，获得所述目标注意力评估模型的中间级输出的深度特征和所述目标注意力评估模型的末级输出的目标评估结果；其中，所述深度特征用于表征所述脑电数据的各个通道的频率和强度，所述目标评估结果表示所述用户的注意力集中程度；根据所述多模态数据中各数据的重要性程度，得到所述多模态数据的数据权重分布信息；根据所述深度特征中各特征的重要性程度，得到所述深度特征的特征权重分布信息；根据所述目标评估结果对应的输入数据和所述目标注意力评估模型的模型结构，得到所述目标评估结果对应的决策依据信息；合并所述决策依据信息、所述数据权重分布信息和特征权重分布信息，得到所述目标注意力评估模型的解释信息；将所述解释信息与所述目标注意力评估模型相关联，得到包括所述注意力评估模型和所述解释信息的模型文件。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取单元，确定单元，第二获取单元，替换单元和完成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“响应于检测到针对应用的第一用户操作，获取上述应用的当前版本信息的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种解释信息生成方法，其特征在于，包括：
获取待评估用户的多模态数据；其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据，所述多模态数据包括待评估用户的脑电数据；
将所述多模态数据输入至目标注意力评估模型，获得所述目标注意力评估模型的中间级输出的深度特征和所述目标注意力评估模型的末级输出的目标评估结果；其中，所述深度特征用于表征所述脑电数据的各个通道的频率和强度，所述目标评估结果表示所述用户的注意力集中程度；
根据所述多模态数据中各数据的重要性程度，得到所述多模态数据的数据权重分布信息；
根据所述深度特征中各特征的重要性程度，得到所述深度特征的特征权重分布信息；
根据所述目标评估结果对应的输入数据和所述目标注意力评估模型的模型结构，得到所述目标评估结果对应的决策依据信息；
合并所述决策依据信息、所述数据权重分布信息和特征权重分布信息，得到所述目标注意力评估模型的解释信息；
将所述解释信息与所述目标注意力评估模型相关联，得到包括所述目标注意力评估模型和所述解释信息的模型文件；
其中，所述根据所述目标评估结果对应的输入数据和所述目标注意力评估模型的模型结构，得到所述目标评估结果对应的决策依据信息，包括：
基于所述目标注意力评估模型的模型结构和所述目标评估结果对应的输入数据，确定所述目标评估结果对应的特征图；
利用分类器确定所述目标评估结果是目标类别的得分；
基于所述特征图和所述得分，计算得到所述特征图对于上述目标类别的权重；
基于所述特征图和所述权重，得到所述目标类别对应的决策依据信息。
2.根据权利要求1所述的方法，其特征在于，所述多模态数据还包括以下至少一项：反映所述用户当前认知行为特征的第一行为特征数据和反映所述用户历史认知行为特征的第二行为特征数据，其中，所述脑电数据包括静息态脑电数据，所述第二行为特征数据通过收集所述用户以外的其他用户针对所述用户的认知行为评价数据获得。
3.根据权利要求1所述的方法，其特征在于，所述根据所述深度特征中各特征的重要性程度，得到所述深度特征的特征权重分布信息，包括：
分析所述深度特征，得到所述深度特征中各特征的重要性程度；
根据所述深度特征中各特征的重要性程度，从所述深度特征中选取部分特征作为目标深度特征；
根据每一所述目标深度特征的重要性程度，得到所述特征权重分布信息。
4.根据权利要求2所述的方法，其特征在于，所述根据所述深度特征中各特征的重要性程度，得到所述深度特征的特征权重分布信息，包括：
根据所述深度特征与所述第一行为特征数据和所述第二行为特征数据的相关性，得到相关性信息；
基于所述相关性信息和注意力缺陷及多动障碍机制，得到所述深度特征的特征权重分布信息。
5.根据权利要求2所述的方法，其特征在于，将所述多模态数据输入至所述目标注意力评估模型，获得所述目标注意力评估模型的末级输出的目标评估结果，包括：
对所述脑电数据进行预设转换处理，获得目标脑电数据，其中，所述预设转换处理包括对所述脑电数据在时间域和空间域上的对应数据进行转换的处理；
将所述目标脑电数据、所述第一行为特征数据和所述第二行为特征数据输入所述目标注意力评估模型中，获得所述目标评估结果。
6.根据权利要求5所述的方法，其特征在于，所述脑电数据为多通道数据，所述对所述脑电数据进行预设转换处理，获得目标脑电数据，包括：
对所述多通道数据的各个通道中的子脑电数据进行频率分析，提取所述各个通道中的子脑电数据的空间频率分布，其中，所述空间频率分布用于反应对应子脑电数据的分布特征；
基于所述各个通道中的子脑电数据的空间频率分布之间的关联关系，对所述脑电数据对应的多通道进行排序，得到目标通道序列；
对于所述目标通道序列中各个通道对应的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述目标通道序列中每个通道对应的空间频率分布作为所述目标脑电数据，其中，所述空间信息用于表征所述各个通道中的子脑电数据的频率分布的位置信息。
7.根据权利要求5所述的方法，其特征在于，所述脑电数据为多通道数据，所述对所述脑电数据进行预设转换处理，获得目标脑电数据，包括：
对所述多通道数据的各个通道中的子脑电数据进行频谱分析，得到与所述各个通道分别对应的功率谱；
对所述各个通道分别对应的功率谱进行拟合，得到所述各个通道中的每个通道的拟合曲线；
基于所述各个通道分别对应的功率谱与所述各个通道对应的拟合曲线，得到所述各个通道对应的空间频率分布；
基于所述各个通道对应的空间频率分布，对所述各个通道进行排序，得到目标通道序列；
对于所述目标通道序列中每个通道的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述目标通道序列中每个通道的空间频率分布作为所述目标脑电数据。
8.根据权利要求2所述的方法，其特征在于，在所述多模态数据包括所述静息态脑电数据、所述第一行为特征数据和所述第二行为特征数据的情况下，获得目标评估结果，包括：
将所述静息态脑电数据输入所述目标注意力评估模型，得到第一评估结果；
将所述第一行为特征数据和所述第二行为特征数据输入分类模型，得到第二评估结果；
根据所述第一评估结果、所述第二评估结果进行加权计算，得到所述目标评估结果，其中，所述第一评估结果和所述第二评估结果分别对应的权重根据对应模型的准确率确定。
9.一种电子设备，其特征在于，包括：
存储器，用于存储可执行的指令；
处理器，用于根据所述指令的控制运行所述电子设备执行如权利要求1-8任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210018454.6A CN114343670B (zh) | 2022-01-07 | 2022-01-07 | 解释信息生成方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210018454.6A CN114343670B (zh) | 2022-01-07 | 2022-01-07 | 解释信息生成方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114343670A CN114343670A (zh) | 2022-04-15 |
| CN114343670B true CN114343670B (zh) | 2023-07-14 |
Family
ID=81107239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210018454.6A Active CN114343670B (zh) | 2022-01-07 | 2022-01-07 | 解释信息生成方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114343670B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160967A (zh) * | 2021-03-12 | 2021-07-23 | 中国科学院计算技术研究所 | 用于识别注意力缺陷多动障碍亚型的方法及系统 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9949714B2 (en) * | 2015-07-29 | 2018-04-24 | Htc Corporation | Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection |
| WO2017040417A1 (en) * | 2015-08-28 | 2017-03-09 | Atentiv Llc | System and program for cognitive skill training |
| CN107320115B (zh) * | 2017-07-04 | 2020-03-17 | 重庆大学 | 一种自适应的精神疲劳评估装置及方法 |
| US10909401B2 (en) * | 2018-05-29 | 2021-02-02 | Sri International | Attention-based explanations for artificial intelligence behavior |
| CN109299396B (zh) * | 2018-11-28 | 2020-11-06 | 东北师范大学 | 融合注意力模型的卷积神经网络协同过滤推荐方法及系统 |
| EP3908175A4 (en) * | 2019-01-08 | 2022-11-02 | Iluria Ltd. | DIAGNOSIS AND EFFECTIVENESS OF SURVEILLANCE OF ATTENTION-DEFICIT HYPERACTIVITY DISORDER |
| KR102248732B1 (ko) * | 2019-06-27 | 2021-05-06 | (주)해피마인드 | 종합주의력 검사 데이터에 기초하여 주의력 결핍 및 과잉 행동 장애를 분류 및 치료반응을 예측하는 시스템 및 방법 |
| CN111259761B (zh) * | 2020-01-13 | 2024-06-07 | 东南大学 | 基于可迁移注意力神经网络的脑电情感识别方法及装置 |
| CN111402928B (zh) * | 2020-03-04 | 2022-06-14 | 华南理工大学 | 基于注意力的语音情绪状态评估方法、装置、介质及设备 |
| CN112366006A (zh) * | 2020-11-26 | 2021-02-12 | 上海市第一妇婴保健院 | 一种分娩疼痛评估系统及方法 |
| CN112472107B (zh) * | 2020-12-09 | 2022-04-19 | 中国科学技术大学 | 一种脑电图伪影去除方法及装置 |
| CN113017634B (zh) * | 2021-03-22 | 2022-10-25 | Oppo广东移动通信有限公司 | 情绪评估方法、装置、电子设备和计算机可读存储介质 |
| CN113822340A (zh) * | 2021-08-27 | 2021-12-21 | 北京工业大学 | 一种基于注意力机制的图文情感识别方法 |
-
2022
- 2022-01-07 CN CN202210018454.6A patent/CN114343670B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160967A (zh) * | 2021-03-12 | 2021-07-23 | 中国科学院计算技术研究所 | 用于识别注意力缺陷多动障碍亚型的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114343670A (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hussain et al. | Prediction of myoelectric biomarkers in post-stroke gait | |
| CN111095232B (zh) | 发掘用于机器学习技术中的基因组 | |
| CN114366103B (zh) | 注意力评估方法、装置及电子设备 | |
| CN107967942B (zh) | 一种基于近红外脑成像图谱特征的儿童孤独症谱系障碍分析系统 | |
| Albahri et al. | A Systematic Review of Using Deep Learning Technology in the Steady‐State Visually Evoked Potential‐Based Brain‐Computer Interface Applications: Current Trends and Future Trust Methodology | |
| CN114343640B (zh) | 注意力评估方法及电子设备 | |
| CN115906002A (zh) | 一种基于多粒度数据融合的学习投入状态评估方法 | |
| Wang et al. | Dual-modal information bottleneck network for seizure detection | |
| Pan et al. | ST-SCGNN: a spatio-temporal self-constructing graph neural network for cross-subject EEG-based emotion recognition and consciousness detection | |
| Herath et al. | Autism spectrum disorder diagnosis support model using Inception V3 | |
| Xia et al. | Dynamic viewing pattern analysis: towards large-scale screening of children with ASD in remote areas | |
| Harish Padmanaban et al. | Developing a Cognitive Learning and Intelligent Data Analysis‐Based Framework for Early Disease Detection and Prevention in Younger Adults with Fatigue | |
| Zhou et al. | Cross-subject cognitive workload recognition based on eeg and deep domain adaptation | |
| Patel et al. | CNN-FEBAC: A framework for attention measurement of autistic individuals | |
| Khiani et al. | An effectual IOT coupled EEG analysing model for continuous patient monitoring | |
| Chen et al. | A situation awareness assessment method based on fuzzy cognitive maps | |
| CN114343670B (zh) | 解释信息生成方法及电子设备 | |
| Ji et al. | Cross-task cognitive workload recognition using a dynamic residual network with attention mechanism based on neurophysiological signals | |
| Obayya et al. | A novel automated Parkinson’s disease identification approach using deep learning and EEG | |
| Hussain et al. | Interpreting stroke-impaired electromyography patterns through explainable artificial intelligence | |
| Tasnim et al. | Investigating Personalization Techniques for Improved Cybersickness Prediction in Virtual Reality Environments | |
| Ding et al. | EEG-fest: few-shot based attention network for driver's drowsiness estimation with EEG signals | |
| Dai et al. | Mental health monitoring based on multiperception intelligent wearable devices | |
| Caro et al. | Modeling neonatal EEG using multi-output gaussian processes | |
| Liu et al. | Small-world properties of eye-movement time series assisted in identifying children at high risk for dyslexia |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |