CN113143272A

CN113143272A - 一种辅助自闭症患者情感表达的形状可编程系统

Info

Publication number: CN113143272A
Application number: CN202110273634.4A
Authority: CN
Inventors: 张通; 陈业林; 陈俊龙
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2021-03-15
Filing date: 2021-03-15
Publication date: 2021-07-23

Abstract

本发明涉及一种辅助自闭症患者情感表达的形状可编程系统，包括：脑电信号采集及分类模块，通过信号采集器进行脑电信号的采集，对脑电信号进行预处理，获取情绪类别；磁性可编程软物质形态变化模块，根据脑电信号采集及分类模块获取的情绪类别进行磁场调节，对磁性软物质进行形状控制，通过编程磁性材料的外观来表现当前自闭症患者的情感状态。本发明通过信号采集器进行脑电信号的采集，对脑电信号进行预处理，获取情绪类别，从而实现通过视觉观察的方式即可观察到自闭症患者的情绪变化，在对其进行治疗指导时，能够及时观察自闭症患者的内心活动，给予患者符合其心理需求的指导方法。

Description

一种辅助自闭症患者情感表达的形状可编程系统

技术领域

本发明涉及情绪生理信号及可编程物质技术领域，尤其涉及一种辅助自闭症患者情感表达的形状可编程系统。

背景技术

自闭症患者有三大核心症状，分别为社会交往障碍、交流障碍和刻板重复的行为方式。目前对自闭症的治疗以教育干预为主，补充剂、药物治疗为辅。教育干预的方式主要通过医生、老师和家长来引导，由于自闭症患者不善于表达交流，情绪的变化很难通过肉眼直接观察，引导者需要积累一定的经验才能察觉，这对干预治疗的专业性有很高的要求。

目前有很多辅助自闭症患者的设备，譬如玩具机器人、益智积木等。然而这些设备更多的是侧重于锻炼自闭症儿童的动手能力、认知和感知能力，并没有专门针对辅助自闭症患者情绪表达而开发的辅助工具及系统，来及时获取自闭症患者的情感反馈，导致自闭症患者治疗工作进行缓慢。

发明内容

为解决现有技术所存在的技术问题，本发明提供一种辅助自闭症患者情感表达的形状可编程系统，通过信号采集器进行脑电信号的采集，对脑电信号进行预处理，获取情绪特征进行分类，进而获取情绪类别，从而实现通过视觉观察的方式即可观察到自闭症患者的情绪变化，在对其进行治疗指导时，能够及时观察自闭症患者的内心活动，给予患者符合其心理需求的指导方法。

本发明采用以下技术方案来实现：一种辅助自闭症患者情感表达的形状可编程系统，包括：

脑电信号采集及分类模块，通过信号采集器进行脑电信号的采集，将读取到的脑电信号传送至信号处理器，信号处理器对脑电信号进行预处理，并利用算法对获取的情绪特征进行分类，获取当前条件下的情绪类别；

磁性可编程软物质形态变化模块，根据脑电信号采集及分类模块获取的情绪类别进行磁场调节，对磁性软物质进行形状控制，通过编程磁性材料的外观来表现当前自闭症患者的情感状态。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明通过信号采集器进行脑电信号的采集，对脑电信号进行预处理，获取情绪特征进行分类，进而获取情绪类别，从而实现通过视觉观察的方式即可观察到自闭症患者的情绪变化，在对其进行治疗指导时，能够及时观察自闭症患者的内心活动，给予患者符合其心理需求的指导方法。

2、本发明利用可编程材料，不需要光、温度等有感受刺激的因素进行材料形变，根据脑电情绪信号的变化即可做出相应的形变，有舒适的用户使用体验；同时，情绪的形态变化可编程，通过调节对应情绪信号区间即可达到不同情绪的表达效果，具有可扩展性。

3、本发明磁性可编程软材料等设备材料具有质量轻、无毒等优良性能，不同设备信号通过无线传输的方式进行传达，可以制成的穿戴设备，可穿戴设备不局限于使用场所，即使是非专业人士，也能通过观察物质形变了解自闭症患者的情绪变化，有利于更多的人参与到自闭症患者的治疗工作。

附图说明

图1是本发明系统的示意图；

图2是本发明脑电信号采集及分类模块示意图；

图3是本发明磁性可编程软物质形态变化模块示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例一种辅助自闭症患者情绪表达的形状可编程系统，包括：

本实施例中，自闭症患者通过戴上带有电极贴片的信号采集器进行脑电信号的采集。

脑电信号的采集通常在人体的头部，由于脑电信号属于弱电，需要采用导电性能良好的材质进行信号采集，同时采集到的脑电信号容易受到周围环境信号的干扰，在对脑电信号的处理过程中需要进行降噪等预处理；对于脑电的情绪分类可以根据使用场景的需要进行多分类，其分析过程如图2所示。

所述脑电信号采集及分类模块包括脑电信号采集模块、脑电信号预处理模块及脑电信号情绪分类模块，其中：

所述脑电信号采集模块，利用脑电采集器对情绪积极程度及强烈程度相关的部位进行脑电信号采集，可以根据需要和产品穿戴特点，对相关部位进行针对性采集，减少电极的数量，更好地设计采集设备。

本实施例中，脑电采集器的电极采集部位根据国际脑电协会制定的10～20导联国际标准系统进行安放。

所述脑电信号预处理模块，通过采用滤波法，过滤掉掺杂在脑电信号中的工频干扰和电磁干扰；再采用基于余弦相似的互补总体经验模态分解CEEMD脑电信号降噪。

具体地，脑电信号频率主要集中在0.5～100Hz，电压幅值为5～100μV。脑电信号存在电压较低的问题，一般采集设备会引入放大器来进行信号增强。采集到的信号除了脑电信号外，还有其他生理信号(如：电信号、心电信号等)和50Hz的工频干扰等，对脑电信号的采集造成了干扰，采用滤波法，即可过滤掉掺杂在脑电信号中的工频干扰和电磁干扰。

具体地，基于余弦相似的互补总体经验模态分解CEEMD脑电信号降噪的实现过程如下：

步骤1：脑电信号经过互补总体经验模态分解CEEMD成尺度不同的多个本征模态函数IMF；

步骤2：利用余弦相似法计算各个本征模态函数IMF与原始信号的相似度，选择相似度曲线中第一个极小值后的本征模态函数IMF分量作为信号主导模态和噪声主导模态的分界点，

步骤3：用小波包变换，对噪声主导模态提取有用信息，并与其余的本征模态函数IMF重构获取降噪信号。

本实施例中，脑电信号属于微电，需要根据使用的处理设备进行相应的信号增强处理。

所述脑电信号情绪分类模块，通过利用James的二维情绪模型，构建出简单且直观的辅助系统，再利用基于RCNN和LSTM结构的神经网络进行脑电情绪分类。

本实施例中，利用James的二维情绪模型，将James的二维情绪模型的纵坐标表示为愉悦程度，如：快乐至悲伤；横坐标表示为兴奋程度，如：平静至强烈，状态阈值为[0.00，0.25，0.50，0.75，1.00]，其中，在“快乐至悲伤”维度中，0.00代表悲伤，1.00代表快乐，0.50代表正常情况下的平静状态，“平静至强烈”维度中0.00表示平静，值越高，情感越强烈。

本实施例中，利用基于RCNN和LSTM结构的神经网络进行脑电情绪分类的实现过程如下：

脑电信号通过多电极采集，是多通道的时间序列信息，可以表示为X＝{a×b×c}，其中，a是脑电波信号的通道a＝{a₁，a₂，…，a_z}，z是通道数，b是脑电波信号的采样频率b＝{b₁，b₂，…，b_f}，f是采样频率，a和b构成卷积层的二维向量，c是脑电波信号持续的时间c＝{c₁，c₂，…，c_t}，t是信号时序的特征值。

进行特征处理及情绪分类，利用RCNN和LSTM结构的神经网络在提取当前特征的同时兼顾之前的特征；将一个时序单位的脑电信号分成10段，分别输入到10个不同的RCNN特征网络中，得到10个特征向量；将10个特征同时输入到同一个LSTM特征提取器中，进行特征融合，再将特征送入激活函数和2个全连接层，通过2个softmax函数输出两种情绪的状态概率，得到对应的区间值，区间值代表此时所处的情绪坐标，表示此时自闭症患者的心态积极程度和情绪强烈程度。

本实施例中，特征提取方法上，可采用时域特征、频域特征、时频域特征、非线性动力学特征等。

本实施例中，情绪分类除了采用神经网络算法外，还可采用支持向量机、决策树、相关向量机、线性判别分析等。

如图3所示，磁性可编程软物质形态变化模块包括磁性控制器及磁性可编程软物质变形模块，其中：

所述磁性控制器，通过无线接受方式获取处理后的自闭症患者的情绪信号，根据情绪信号调节磁场，达到形变控制的目的。磁性控制器根据情绪信号坐标，通过微电流控制磁场，调节磁性材料的磁场角度，在“快乐至悲伤”维度中，信号表现为快乐则磁场向外，当信号表现为悲伤，则磁场向内，且根据数值进行增强。在“平静至强烈”维度中，磁场向上或向下变化。

所述磁性可编程软物质变形模块，用于对磁性软物质进行形状调节，达到形状编程的效果。根据不同的情绪信号，磁性软物质呈现不同的状态变化。磁性材料中排列着磁性粒子，在“快乐至悲伤”维度中，随着区间值变化，磁性材料可以向内、外收缩和扩展，在“平静至强烈”维度中，粒子间的距离可以随磁性变化进行调整，达到皱缩和延展的效果。

在实际的使用中，该物质可以制作花、叶子等令人愉悦的外形，可以摆放在心理咨询室，也可以进行穿戴。以花形状为例，当自闭症患者处于积极的兴奋状态时，花朵呈现盛开状态，当患者情绪十分低落、消极时，花朵呈现枯萎状态。具体信号控制如下，情绪信号在信号区间中对应的值X表示不同的状态，区间划分为[0.00，0.25，0.50，0.75，1.00]。在“快乐至悲伤”维度：当X＝0.50时，花朵处于平静状态，呈现花苞状态；当X>0.5，花朵会舒张开，变成半开(0.75)到全开(1.00)；当X<0.5，花朵会逐渐向内收缩，变成半闭合(0.25)、全闭合(0.00)。在“平静至强烈”维度，当Y＝0.00时，花朵处于平静状态，花瓣呈现平滑状态；在快乐状态下即X>0.5时，Y越大，花瓣舒张的幅度越大，当X<0.5时，Y越大，花瓣褶皱越明显。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种辅助自闭症患者情绪表达的形状可编程系统，包括：

2.根据权利要求1所述的一种辅助自闭症患者情绪表达的形状可编程系统，其特征在于，脑电信号采集及分类模块包括脑电信号采集模块、脑电信号预处理模块及脑电信号情绪分类模块，其中：

脑电信号采集模块，通过利用脑电采集器对情绪积极程度及强烈程度相关的部位进行脑电信号采集；

脑电信号预处理模块，通过采用滤波法，过滤掉掺杂在脑电信号中的工频干扰和电磁干扰；再利用基于余弦相似的互补总体经验模态分解CEEMD脑电信号降噪；

脑电信号情绪分类模块，通过利用James的二维情绪模型，构建出简单且直观的辅助系统，再利用基于RCNN和LSTM结构的神经网络进行脑电情绪分类。

3.根据权利要求2所述的一种辅助自闭症患者情绪表达的形状可编程系统，其特征在于，脑电采集器的采集部位根据国际脑电协会制定的10～20导联国际标准系统进行安放。

4.根据权利要求2所述的一种辅助自闭症患者情绪表达的形状可编程系统，其特征在于，基于余弦相似的互补总体经验模态分解CEEMD脑电信号降噪的实现过程如下：

脑电信号通过互补总体经验模态分解CEEMD成尺度不同的多个本征模态函数IMF；

利用余弦相似法计算各个本征模态函数IMF与原始信号的相似度，选择相似度曲线中第一个极小值后的本征模态函数IMF分量作为信号主导模态和噪声主导模态的分界点，

用小波包变换，对噪声主导模态提取有用信息，并与其余的本征模态函数IMF重构获取降噪信号。

5.根据权利要求2所述的一种辅助自闭症患者情绪表达的形状可编程系统，其特征在于，利用James的二维情绪模型，构建出简单且直观的辅助系统的过程如下：

将James的二维情绪模型的纵坐标表示为愉悦程度，即快乐至悲伤；横坐标表示为兴奋程度，即平静至强烈，状态阈值为[0.00，0.25，0.50，0.75，1.00]，其中，在“快乐至悲伤”维度中，0.00代表悲伤，1.00代表快乐，0.50代表正常情况下的平静状态，“平静至强烈”维度中0.00表示平静。

6.根据权利要求2所述的一种辅助自闭症患者情绪表达的形状可编程系统，其特征在于，利用基于RCNN和LSTM结构的神经网络进行脑电情绪分类的实现过程如下：

脑电信号通过多电极采集，是多通道的时间序列信息，可以表示为X＝{a×b×c}，其中，a是脑电波信号的通道a＝{a₁，a₂，…，a_z}，z是通道数，b是脑电波信号的采样频率b＝{b₁，b₂，…，b_f}，f是采样频率，a和b构成卷积层的二维向量，c是脑电波信号持续的时间c＝{c₁，c₂，…，c_t}，t是信号时序的特征值；

进行特征处理及情绪分类，利用RCNN和LSTM结构的神经网络提取特征，将一个时序单位的脑电信号分成10段，分别输入到10个不同的RCNN特征网络中，得到10个特征向量；将10个特征同时输入到同一个LSTM特征提取器中，进行特征融合，再将特征送入激活函数和2个全连接层，通过2个softmax函数输出两种情绪的状态概率，得到对应的区间值，区间值代表此时所处的情绪坐标，表示此时自闭症患者的心态积极程度和情绪强烈程度。

7.根据权利要求1所述的一种辅助自闭症患者情绪表达的形状可编程系统，其特征在于，磁性可编程软物质形态变化模块包括磁性控制器及磁性可编程软物质变形模块，其中：

磁性控制器，通过无线接受方式获取处理后的自闭症患者的情绪信号，根据情绪信号调节磁场，达到形变控制的目的；

磁性可编程软物质变形模块，用于对磁性软物质进行形状调节，达到形状编程的效果。

8.根据权利要求7所述的一种辅助自闭症患者情绪表达的形状可编程系统，其特征在于，磁性控制器根据情绪信号坐标，通过微电流控制磁场，调节磁性材料的磁场角度，在“快乐至悲伤”维度中，信号表现为快乐则磁场向外，当信号表现为悲伤，则磁场向内，且根据数值进行增强；在“平静至强烈”维度中，磁场向上或向下变化。