CN111714089A - 一种基于多刺激短视频事件相关电位的毒瘾评估系统 - Google Patents

Abstract

本申请公开了一种基于多刺激短视频事件相关电位的毒瘾评估系统，包括刺激物料选择子系统、交互子系统、生理信号采集子系统、数据分析子系统和评估子系统，刺激物料选择子系统选择刺激物料供交互子系统使用；交互子系统对测试者展示物料并接收测试者按照指定规则做出的反应；生理信号采子系统采集测试过程生理信号和时间信息；数据分析子系统用于对生理信号采集子系统采集的数据进行预处理以及分析和特征提取，预处理后的脑电信号和提取的特征；评估子系统根据预处理后的脑电信号和提取的特征进行毒瘾相关的评估。本申请引入评估测试者配合度的指标，同时可有效避免练习效应的影响，从而提高了评估结果的准确性。

Description

一种基于多刺激短视频事件相关电位的毒瘾评估系统

技术领域

本发明属于毒瘾评估技术领域，涉及一种基于多刺激短视频事件相关电位的毒瘾评估系统。

背景技术

毒品吸食为严重的世界性问题之一，根据2019年的国家禁毒办《2018年中国毒品形势报告》，世界范围内约有2.75亿人至少使用过一次毒品，近3100万人吸毒成瘾；根据报告，2018年底全国现有吸毒人数240.4万(不含截断三年未发现复吸人数、死亡人数和离境人数)。部分国家大麻合法化、周边毒源和国际贩毒集团对中国的渗透不断深入，严重加大了我国治理毒品犯罪和毒品滥用的难度。

毒瘾评估时，需要诱发测试者主观上的渴求，或者通过一些简单的注视特征等进行评估，这些都需要测试者的配合，但是测试者通常处于被动的参与状态，时常出现测试者主观不配合的情况，现有的毒瘾评估系统却没有评估测试者配合度的指标；同时，现有的毒瘾评估系统在进行多次测量时，会受到由于刺激物料固定或由于记忆、熟悉等引起的练习效应的影响，从而使得评估结果出现误差。

发明内容

为解决现有技术中的不足，本申请提供一种基于多刺激短视频事件相关电位的毒瘾评估系统。

为了实现上述目标，本申请采用如下技术方案：

一种基于多刺激短视频事件相关电位的毒瘾评估系统，包括刺激物料选择子系统、交互子系统、生理信号采集子系统、数据分析子系统和评估子系统，其特征在于：

所述刺激物料选择子系统用于从刺激物料库中选择刺激物料供交互子系统使用；

所述交互子系统用于接收刺激物料选择子系统提供的物料，对测试者展示，并接收测试者按照指定规则做出的反应；

所述生理信号采子系统用于采集测试过程各种生理信号和时间信息，作为数据分析子系统的输入；

所述数据分析子系统用于对生理信号采集子系统采集的数据进行预处理以及分析和特征提取，预处理后的脑电信号和提取的特征，作为评估子系统的输入；

所述评估子系统用于根据数据分析子系统预处理后的脑电信号和提取的特征进行毒瘾相关的评估。

本发明进一步包括以下优选方案：

优选地，所述刺激物料为收集的短视频场景，包括探针刺激、靶刺激和无关刺激三类，探针刺激、靶刺激和无关刺激具有相同的环境背景和人物组成，但是人物行为存在差异；同类刺激物料同时保证差异性和无额外突出刺激。

所述探针刺激为具备毒品相关线索，但是仅对于无毒品接触史测试者具有和无关刺激相同认知的刺激物料；

所述无关刺激为成瘾测试者和无毒品接触史测试者具有相同认知的刺激物料，所述无关刺激不包含毒品相关线索；

所述靶刺激为明确指示测试者需要做出反应且与探针刺激和无关刺激具有明显差异的刺激物料，所述靶刺激不包含毒品相关线索。

优选地，所述刺激物料选择子系统选择物料的规则为；

针对测试者测试次数、既往测试时间，按照未曾使用过的物料选取概率最大，测试时间越远的物料相对测试时间近的物料被选择概率更大的规则随机选取测试物料。

优选地，所述生理信号采集子系统包括脑电采集设备、心电采集设备、皮肤电采集设备和眼动采集设备，分别用于采集脑电、心电、皮肤电和眼动信号。

优选地，所述数据分析子系统包括预处理模块、分析模块和特征提取模块；

所述预处理模块用于对接收的生理信号进行去噪、去线性漂移、滤波和陷波处理；

所述分析模块用于计算测试者反应正确率、脑电信号质量和眼动注视点波动率，通过对测试者反应正确率、脑电信号质量和眼动注视点波动率的倒数进行加权计算，得到测试者配合度，将测试者配合度与给定配合度阈值进行比较，判断测试者是否配合，在测试者不配合时进行提示；

所述特征提取模块用于提取预处理后生理信号的事件相关电位(Event-relatedPotentials，ERP)，成分相关特征和其它生理信号特征；

所述ERP成分相关特征包括多刺激间P300差异波和各刺激偏侧化电位以及其各自的面积、振幅、时间偏离度；

所述多刺激间P300差异波包括无关刺激ERP与探针刺激ERP的差异，无关刺激ERP与靶刺激ERP的差异；

所述其它生理信号特征包括：

脑电、皮肤电和心电的复杂度、迁移率、混乱度、波动性、变异性、自相关性和去趋势自相关性，以及各其它生理信号特征在不同刺激条件下的差异；

眼动的注视点波动率、主要注视区间；

以及不同脑区间脑电信号的相关性、相似性、协方差以及左右半脑对应脑区信号特征差异。

优选地，所述评估子系统包括认知评估子系统、亚群分类子系统和毒瘾评估子系统；

所述认知评估子系统用于通过特征提取模块提取的ERP成分相关特征，结合混合线性模型，评估测试者与无毒品接触者认知情况的差异；

所述亚群分类子系统用于将利用流行模型和聚类算法对已采集的成瘾人员数据进行聚类分析得到的亚群划分出多个毒瘾相关亚群，然后依据输入的特征，使用经过训练的lightboost树模型，进行测试者亚群区分以及各亚群成分组成比判定，测试者亚群区分以及各亚群成分组成比判定的结果用作为戒毒干预方案制定时的参考指标之一；

所述毒瘾评估子系统用于评估测试者的毒瘾水平。

优选地，所述亚群分类子系统中，划分毒瘾相关亚群的方式包括层次聚类、流行学习和人工干预。

优选地，所述毒瘾评估子系统包括卷积长短时记忆网络模型和lightboost模型；

所述卷积长短时记忆网络模型，用于对输入的脑电数据进行降维和训练模拟，得到毒瘾评估的参考特征；

所述lightboost模型，用于基于卷积长短时记忆网络模型得到的参考特征和数据分析子系统提取的特征，评估毒瘾水平。

优选地，所述毒瘾评估的参考特征为将卷积长短时记忆网络模型预测的脑电在刺激物料重复时的变化规律和由当前脑电波动预测的变化规律与实际的情况进行比较，得到的多组差异值；所述差异值包括多次重复刺激物料实际引发的变化规律与预测的值在不同刺激下的变化差异，以及不同刺激下预测未来脑电的误差。

优选地，所述卷积长短时记忆网络模型的选用规则为：

先在公开数据集上通过encoding-decoding无监督方式，训练卷积长短时记忆网络模型，以获得对多通道脑电的恰当表示；之后通过结合使用当前脑电数据预测接下来短时间内脑电变化，以及预测测试者多次观看同一刺激物料时脑电变化规律两种任务，对模型进行微调和任务绑定，以此获得适合于当前任务数据的卷积长短时记忆网络模型。

本申请所达到的有益效果：

1.本申请的毒瘾评估系统添加评估测试者配合度的指标，在测试者不配合时进行提示，则测试结果不可信，同时表明测试者存在需要隐瞒的内容，该测试者需要重点观察；

2.本申请的刺激物料选择子系统选择物料时，针对测试者测试次数、既往测试时间，按照未曾使用过的物料选取概率最大，测试时间越远的物料相对测试时间近的物料被选择概率更大的规则随机选取测试物料。由此，可解决重复测量的练习效应；

3.本申请的毒瘾评估子系统通过卷积长短时记忆网络和lightboost模型的结合，统合了对脑电变化的总体上的考虑和模型的解释能力两大优点，在一定程度上缓解了深度学习模型(卷积长短时记忆网络)的不可解释性，和传统模型(lightboost)的完全需要人工提取特征，但是会缺乏整体性特征的考虑，以及人工提取特征导致的有意义特征的缺失的问题；

4.本申请一种基于多刺激短视频事件相关电位的毒瘾评估系统采用短视频作为诱发事件相关电位的素材，相较于图片素材，能够产生更好的诱发效果；采用多种刺激，可以提高成瘾人群和无毒瘾人群的差异性和判别力度，同时具有毒瘾线索的探针刺激可以检测测试者的内隐记忆，一种隐藏在无关刺激(无关刺激无毒瘾相关线索，测试者并不知晓存在探针刺激)中检测测试者是否对视频中毒品线索有记忆和渴求的刺激；由于成瘾者对于短视频中的毒品相关线索有过类似的经历，在看到相关线索时会产生不同的认知加工过程和心理反应。

附图说明

图1是本申请一种基于多刺激短视频事件相关电位的毒瘾评估系统的结构框图。

具体实施方式

下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。

如图1所示，本申请的一种基于多刺激短视频事件相关电位的毒瘾评估系统，包括刺激物料选择子系统、交互子系统、生理信号采集子系统、数据分析子系统和评估子系统；

所述刺激物料选择子系统用于从刺激物料库中选择刺激物料供交互子系统使用；

本申请实施例中，所述刺激物料为收集的短视频场景，包括探针刺激、靶刺激和无关刺激三类，探针刺激、靶刺激和无关刺激具有相同的环境背景和人物组成，但是人物行为存在差异；同类刺激物料同时保证差异性和无额外突出刺激，即同类刺激物料可以明显看出不同，但是却不会引发不必要的认知干扰。

所述探针刺激为具备毒品相关线索，但是仅对于无毒品接触史测试者具有和无关刺激相同认知的刺激物料；

所述无关刺激为成瘾测试者和无毒品接触史测试者具有相同认知的刺激物料，所述无关刺激不包含毒品相关线索；

所述靶刺激为明确指示测试者需要做出反应且与探针刺激和无关刺激具有明显差异的刺激物料，所述靶刺激不包含毒品相关线索。

靶刺激和无关刺激的主要差异在于短视频中人物手中的物品，探针刺激中毒品相关线索也是位于相同区域，需要测试者集中注意于特定区域才能做出正确反映，如看到靶刺激按键，而不能通过视频中其它区域就可判定靶刺激，否则探针刺激可能失效。

举例如下：

靶刺激——视频的中的人物在打牌；

探针刺激——视频中的人物在吸毒或者组装吸毒用具；

无关刺激——视频中的人物在玩一些小玩具。

刺激物料选择子系统选择物料的规则为；

针对测试者测试次数、既往测试时间，按照未曾使用过的物料选取概率最大，测试时间越远的物料相对测试时间近的物料被选择概率更大的规则随机选取测试物料。由此，可解决重复测量的练习效应。

所述交互子系统用于接收刺激物料选择子系统提供的物料，对测试者展示，并接收测试者按照指定规则做出的反应；

所述生理信号采子系统用于采集测试过程各种生理信号和时间信息，作为数据分析子系统的输入；

所述生理信号采集子系统包括脑电采集设备、心电采集设备、皮肤电采集设备和眼动采集设备，分别用于采集脑电、心电、皮肤电和眼动信号。

所述数据分析子系统用于对生理信号采集子系统采集的数据进行预处理以及分析和特征提取，预处理后的脑电信号和提取的特征，作为评估子系统的输入；

所述数据分析子系统包括预处理模块、分析模块和特征提取模块；

所述预处理模块用于对接收的生理信号进行去噪、去线性漂移、滤波和陷波等处理；

所述分析模块用于计算测试者反应正确率、脑电信号质量和眼动注视点波动率，通过对测试者反应正确率、脑电信号质量和眼动注视点波动率的倒数进行加权计算，得到测试者配合度，将测试者配合度与给定配合度阈值进行比较，判断测试者是否配合；其中，当测试者反应正确率低于设定测试者反应正确率阈值时，直接判定为不配合，在测试者不配合时进行提示；认为测试者对毒品相关内容有隐瞒倾向，需要后续重点观察。

实施例中，测试者反应正确率为探针刺激的正确率，该正确率由对靶刺激未反应和对非靶刺激反应共同组成。

所述特征提取模块用于提取预处理后生理信号的ERP成分相关特征和其它生理信号特征；

所述ERP成分相关特征包括多刺激间P300差异波和各刺激偏侧化电位等成分以及其各自的面积、振幅、时间偏离度等；(例如：面积计算是指脑电电压和x轴围成的面积；偏侧化电位是由同侧大脑半球(相对于反应用手而言)电压减去对侧大脑半球电压得到)

所述多刺激间P300差异波包括无关刺激ERP与探针刺激ERP的差异，无关刺激ERP与靶刺激ERP的差异；

所述其它生理信号特征包括：

脑电、皮肤电和心电的复杂度、迁移率、混乱度、波动性、变异性、自相关性和去趋势自相关性，以及各其它生理信号特征在不同刺激条件下的差异；

眼动的注视点波动率、主要注视区间(比如将屏幕划分为4*4的窗格，视线停留最久的部分为主要注视区间，多刺激短视频的主要差异区间在屏幕中间区域)；

以及不同脑区间脑电信号的相关性、相似性、协方差以及左右半脑对应脑区信号特征差异。

所述评估子系统用于根据数据分析子系统预处理后的脑电信号和提取的特征进行毒瘾相关的评估。

所述评估子系统包括认知评估子系统、亚群分类子系统和毒瘾评估子系统；

所述认知评估子系统用于通过特征提取模块提取的ERP成分相关特征，结合混合线性模型，评估测试者与无毒品接触者认知情况的差异；

所述亚群分类子系统用于将利用流行模型和聚类算法对已采集的成瘾人员数据进行聚类分析得到的亚群划分出多个毒瘾相关亚群，然后依据输入的特征，使用经过训练的lightboost树模型，进行测试者亚群区分以及各亚群成分组成比判定，测试者亚群区分以及各亚群成分组成比判定的结果用作为戒毒干预方案制定时的参考指标之一；

所述毒瘾评估子系统用于评估测试者的毒瘾水平。

所述毒瘾评估子系统包括卷积长短时记忆网络模型和lightboost模型；

所述卷积长短时记忆网络模型，用于通过结合卷积网络先天性可以对输入的脑电数据进行降维以及长短时记忆网络对时序信息敏感的能力，对多通道高采样率脑电数据进行训练模拟，得到毒瘾评估的参考特征；

所述毒瘾评估的参考特征为将卷积长短时记忆网络模型预测的脑电在刺激物料重复时的变化规律和由当前脑电波动预测的变化规律与实际的情况进行比较，得到的多组差异值；所述差异值包括多次重复刺激物料实际引发的变化规律与预测的值在不同刺激下的变化差异，以及不同刺激下预测未来脑电的误差。

比如，同一个短视频在第一次出现第二次出现……第十次出现时，认知加工过程会有所差异，相应的反应在脑电上也就有不一样的变化规律。对于成瘾测试者和无毒品接触史测试者来说，对于有毒品相关线索的视频，反应是不一样的，在多次观看过程中，认知加工也存在差异。无毒品接触史测试者应该符合观看此类短视频时和观看其它类型视频认知加工过程一致，但是对于成瘾测试来说，就会诱发潜在的吸毒记忆，导致不同的认知过程，从而脑电也就发生变化，由此导致多次观看具有毒品相关线索的同一个短视频脑电变化规律不同于其它类型视频，也和无毒瘾历史的测试者重复观看视频反应不同，从而导致模型预测会发生较大的偏差，由此得到的特征可以作为毒瘾评估的参考特征。

所述卷积长短时记忆网络模型的选用规则为：

先在公开数据集上通过encoding-decoding无监督方式，训练卷积长短时记忆网络模型，以获得对多通道脑电的恰当表示；之后通过结合使用当前脑电数据预测接下来短时间内脑电变化，以及预测测试者多次观看同一刺激物料时脑电变化规律两种任务，对模型进行微调和任务绑定，以此获得适合于当前任务数据的卷积长短时记忆网络模型。

所述lightboost模型，用于基于卷积长短时记忆网络模型得到的参考特征和数据分析子系统提取的特征，评估毒瘾水平。

具体使用时，将卷积长短时记忆网络模型预测的脑电在刺激物料重复时的变化规律和由当前脑电波动预测的变化规律与实际的情况进行比较，得到多组差异值(包括多次重复刺激物料实际引发的变化规律与预测的值在不同刺激下的变化差异，以及不同刺激下预测未来脑电的误差)，作为毒瘾评估的参考特征之一；

将卷积长短时记忆网络模型得到的特征和数据分析子系统提取的特征，共同作为lightboost模型的输入特征，用以最终毒瘾水平的评估。

通过本申请进行毒瘾评估的测试流程为：

a)新测试者于交互子系统中录入信息，已有测试者选择相应测试用户，听从主试讲解规则；

b)主试将生理信号采集子系统需要与测试者接触的部件，固定于测试者身上，需在接触良好、位置正确的前提下，保证测试者的舒适；

c)确定测试者了解测试流程和需要进行的交互操作，正式开始测试；主试启动生理信号采集设备，离开，通过远端查看测试者生理信号质量；

d)测试完成后，数据将自动进入数据分析子系统和评估子系统进行分析和评估，得到测试者的测试结果。

本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (10)

1.一种基于多刺激短视频事件相关电位的毒瘾评估系统，包括刺激物料选择子系统、交互子系统、生理信号采集子系统、数据分析子系统和评估子系统，其特征在于：

所述刺激物料选择子系统用于从刺激物料库中选择刺激物料供交互子系统使用；

所述交互子系统用于接收刺激物料选择子系统提供的物料，对测试者展示，并接收测试者按照指定规则做出的反应；

所述生理信号采子系统用于采集测试过程各种生理信号和时间信息，作为数据分析子系统的输入；

所述数据分析子系统用于对生理信号采集子系统采集的数据进行预处理以及分析和特征提取，预处理后的脑电信号和提取的特征，作为评估子系统的输入；

所述评估子系统用于根据数据分析子系统预处理后的脑电信号和提取的特征进行毒瘾相关的评估。

2.根据权利要求1所述的一种基于多刺激短视频事件相关电位的毒瘾评估系统，其特征在于：

所述刺激物料为收集的短视频场景，包括探针刺激、靶刺激和无关刺激三类，探针刺激、靶刺激和无关刺激具有相同的环境背景和人物组成，但是人物行为存在差异；同类刺激物料同时保证差异性和无额外突出刺激；

所述探针刺激为具备毒品相关线索，但是仅对于无毒品接触史测试者具有和无关刺激相同认知的刺激物料；

所述无关刺激为成瘾测试者和无毒品接触史测试者具有相同认知的刺激物料，所述无关刺激不包含毒品相关线索；

所述靶刺激为明确指示测试者需要做出反应且与探针刺激和无关刺激具有明显差异的刺激物料，所述靶刺激不包含毒品相关线索。

3.根据权利要求1所述的一种基于多刺激短视频事件相关电位的毒瘾评估系统，其特征在于：

所述刺激物料选择子系统选择物料的规则为；

针对测试者测试次数、既往测试时间，按照未曾使用过的物料选取概率最大，测试时间越远的物料相对测试时间近的物料被选择概率更大的规则随机选取测试物料。

4.根据权利要求1所述的一种基于多刺激短视频事件相关电位的毒瘾评估系统，其特征在于：

所述生理信号采集子系统包括脑电采集设备、心电采集设备、皮肤电采集设备和眼动采集设备，分别用于采集脑电、心电、皮肤电和眼动信号。

5.根据权利要求1所述的一种基于多刺激短视频事件相关电位的毒瘾评估系统，其特征在于：

所述数据分析子系统包括预处理模块、分析模块和特征提取模块；

所述预处理模块用于对接收的生理信号进行去噪、去线性漂移、滤波和陷波处理；

所述分析模块用于计算测试者反应正确率、脑电信号质量和眼动注视点波动率，通过对测试者反应正确率、脑电信号质量和眼动注视点波动率的倒数进行加权计算，得到测试者配合度，将测试者配合度与给定配合度阈值进行比较，判断测试者是否配合，在测试者不配合时进行提示；

所述特征提取模块用于提取预处理后生理信号的ERP成分相关特征和其它生理信号特征；

所述ERP成分相关特征包括多刺激间P300差异波和各刺激偏侧化电位以及其各自的面积、振幅、时间偏离度；

所述多刺激间P300差异波包括无关刺激ERP与探针刺激ERP的差异，无关刺激ERP与靶刺激ERP的差异；

所述其它生理信号特征包括：

脑电、皮肤电和心电的复杂度、迁移率、混乱度、波动性、变异性、自相关性和去趋势自相关性，以及各其它生理信号特征在不同刺激条件下的差异；

眼动的注视点波动率、主要注视区间；

以及不同脑区间脑电信号的相关性、相似性、协方差以及左右半脑对应脑区信号特征差异。

6.根据权利要求1所述的一种基于多刺激短视频事件相关电位的毒瘾评估系统，其特征在于：

所述评估子系统包括认知评估子系统、亚群分类子系统和毒瘾评估子系统；

所述认知评估子系统用于通过特征提取模块提取的ERP成分相关特征，结合混合线性模型，评估测试者与无毒品接触者认知情况的差异；

所述亚群分类子系统用于将利用流行模型和聚类算法对已采集的成瘾人员数据进行聚类分析得到的亚群划分出多个毒瘾相关亚群，然后依据输入的特征，使用经过训练的lightboost树模型，进行测试者亚群区分以及各亚群成分组成比判定，测试者亚群区分以及各亚群成分组成比判定的结果用作为戒毒干预方案制定时的参考指标之一；

所述毒瘾评估子系统用于评估测试者的毒瘾水平。

7.根据权利要求6所述的一种基于多刺激短视频事件相关电位的毒瘾评估系统，其特征在于：

所述亚群分类子系统中，划分毒瘾相关亚群的方式包括层次聚类、流行学习和人工干预。

8.根据权利要求1所述的一种基于多刺激短视频事件相关电位的毒瘾评估系统，其特征在于：

所述毒瘾评估子系统包括卷积长短时记忆网络模型和lightboost模型；

所述卷积长短时记忆网络模型，用于对输入的脑电数据进行降维和训练模拟，得到毒瘾评估的参考特征；

所述lightboost模型，用于基于卷积长短时记忆网络模型得到的参考特征和数据分析子系统提取的特征，评估毒瘾水平。

9.根据权利要求8所述的一种基于多刺激短视频事件相关电位的毒瘾评估系统，其特征在于：

所述毒瘾评估的参考特征为将卷积长短时记忆网络模型预测的脑电在刺激物料重复时的变化规律和由当前脑电波动预测的变化规律与实际的情况进行比较，得到的多组差异值；所述差异值包括多次重复刺激物料实际引发的变化规律与预测的值在不同刺激下的变化差异，以及不同刺激下预测未来脑电的误差。

10.根据权利要求8所述的一种基于多刺激短视频事件相关电位的毒瘾评估系统，其特征在于：

所述卷积长短时记忆网络模型的选用规则为：

先在公开数据集上通过encoding-decoding无监督方式，训练卷积长短时记忆网络模型，以获得对多通道脑电的恰当表示；之后通过结合使用当前脑电数据预测接下来短时间内脑电变化，以及预测测试者多次观看同一刺激物料时脑电变化规律两种任务，对模型进行微调和任务绑定，以此获得适合于当前任务数据的卷积长短时记忆网络模型。

Images