CN102541261A - 基于脑电信号特征的影片剪辑筛选辅助仪及实现方法 - Google Patents

Abstract

本发明公开了一种基于脑电信号特征的影片剪辑筛选辅助仪及实现方法，该仪器主要包括脑电信号采集装置、脑电信号处理装置、脑电信号分析装置和输出响应装置。其中，脑电信号采集装置由多个脑区电极组成，用来采集用户观看影片时的脑电信号，脑区电极与脑电信号处理装置中的放大器I相连，脑电信号处理装置、脑电信号分析装置和输出响应装置依次相连，最终结果显示在输出响应装置的液晶显示屏中。本发明可用于影片制作过程中进行影片剪辑，也可用于对影片内容分级，还可针对个人对影片进行筛选。通过采集观看视频时人的脑电信号评价影片内容，可以克服主观经验的影响，使评价结果更客观。

Description

基于脑电信号特征的影片剪辑筛选辅助仪及实现方法

技术领域

本发明涉及一种脑电信号分析装置，特别是涉及一种基于脑电信号特征对影片作品客观地进行剪辑、筛选的仪器。

背景技术

1924年德国精神科教授Ham Berger用两根白金针状电极插入头部颅骨外伤患者的大脑皮层，成功记录出有规则的电活动，这一发现揭开了人类研究大脑生理信号的序幕。

随着科学技术的不断进步，科学家们发现了事件相关电位(ERP，event-relatedpotentials)来观察大脑活动过程，经过长足的发展，人们慢慢研究得出与注意、信号感知、分析判断、决策及工作记忆内容更新等认知过程相关联的ERP成分，且通过实验可以发现，不同的刺激可以诱发不同的成分，刺激程度的不同也会引起成分的基本特征发生改变。

电影作为一种表现直观、影响巨大的大众传媒，不可避免地会对社会和大众造成或多或少的负面影响。为调解这个问题，电影历来受到各国政府不同程度的管理和约束，基本上绝大多数国家都在电影的制作和放映领域引入了审查或分级制度。然而这一制度的执行大都依靠专家主观判定，如何客观、有效的对电影内容进行评价，从而更好的对电影进行评级是一个值得研究的科学问题。

发明内容

本发明的目的在于，通过提供一种基于脑电信号特征的影片剪辑筛选辅助仪及实现方法，采集用户观看视频时的脑电信号，通过计算机技术提取脑电信号中有效反应人脑对视频的主观感受的相关特征识别出所观看视频的类别，从而实现基于脑电信号特征对影片内容进行评测。

本发明是采用以下技术手段实现的：

一种基于脑电信号特征的影片剪辑筛选辅助仪，包括脑电信号采集装置，该辅助仪还包括脑电信号处理装置、脑电信号分析装置和输出响应装置，脑电信号采集装置由多个脑区电极组成，脑区电极与脑电信号处理装置中的放大器I相连，脑电信号处理装置、脑电信号分析装置和输出响应装置依次相连；脑区电极根据大脑功能分区选择对应于人脑视觉区、听觉区、认知和情感区和情绪区的电极来采集用户的脑电信号；脑电信号处理装置包括信号处理模块和人机交互模块；信号处理模块由放大器I、陷波滤波器、放大器II、低通滤波器和模数转换器组成，其中，放大器I、陷波滤波器、放大器II、低通滤波器和模数转换器依次相连；

所述人机交互模块包括功能按钮、触摸屏和数字键盘；其中，所述功能按钮为一触发器，用于控制放大器I的工作状态；所述触摸屏为接收数字键盘传输指令的便捷输入装置，并将数字显示在屏幕上；放大器I的输入端和脑电信号采集装置相连，接收采集到的用户观看视频时的脑电信号；脑电信号分析装置包括信号分析模块和存储模块，所述信号分析模块包括缓存器、特征提取器、信号识别单元、计时器和运算器，设有用于提取人在观看视频时的脑电特征的特征提取电路；

所述运算器与脑电信号处理装置中的触摸屏相连，同时与计时器相连；

所述存储模块为一存储器，其与信号分析模块中的信号识别单元的输出端相连。

前述的信号识别单元由两级分类器组成，其中一级分类器为粗分类器，二级分类器为多个细分类器，粗分类器的输出端口分别与各个细分类器相连。

前述的输出响应装置由统计单元、液晶显示屏和按钮组成，统计单元与脑电信号分析装置中的存储器相连，统计单元与液晶显示屏相连，所述按钮为一触发器，触发统计单元工作。

本发明一种基于脑电信号特征的影片剪辑筛选的实现方法，包括如下步骤：

步骤1：采用放大器、陷波滤波器、低通滤波器和模数转换器对采集到的脑电信号进行消噪处理，同时将连续脑电信号转换为离散数字信号；

步骤2：采用PCA方法提取得到的数字信号的特征作为样本数据；

步骤3：采用Fisher方法，对得到的样本数据进行分类；

步骤2所述PCA方法提取脑电信号特征包括如下步骤：

步骤21：将n个电极的数据按行排列形成特征向量，共M维，其中，n为所选用电极的个数，M＝n*k，k为一次实验一个电极上的脑电信号样本维数；

步骤22：求样本矩阵的协方差矩阵C为：

$C=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ΔP}}_i^T{\mathrm{\ΔP}}_i$

步骤23：计算C的特征向量v₁，v₂，...，v_M和特征值λ₁，λ₂，...，λ_M确定特征空间。

步骤24：选择前M₀个最大特征值

对应的特征向量(M₀＜M)作为一组PCA基，再把原始脑电信号向这组PCA基上作投影得到有利于分类的特征向量；

步骤3所述Fisher方法对样本数据进行分类包括如下步骤：

步骤31：采集多名被试观看不同类型视频时的脑电信号，使用认知心理学方法分析脑电信号；

步骤32：结合步骤31所得认知学结论确定时间段，确定脑区电极，得到训练数据集；

步骤33：使用PCA方法得到训练样本；

步骤34：使用步骤33所得训练样本训练Fisher分类器；

步骤35：使用精确训练的Fisher分类器对未知样本进行分类；

前述的步骤31所述认知心理学方法还包括如下步骤：

步骤311：对不同类型视频诱发脑电信号分段、叠加平均，得到视频诱发事件相关电位(ERPs)，采用测量方法计算各个成分的潜伏期，确定各个成分所在时间段；

步骤312：根据医学领域认同的大脑功能分区图，认为与视觉、听觉和认知情绪有关的功能区对视频刺激反应较大；观察所采集脑电信号随时间变化的二维脑地形图，认为能量越高的脑区受视频刺激较大；

步骤313：根据步骤312所述两种原则，确定脑区电极。

前述的步骤34所述Fisher训练分类器包括如下步骤：

步骤341：Fisher分类器的原理和公式：

$J_F\left(w\right)=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$

其中S_w为总类内离散度矩阵，S_b为样本类间离散度矩阵。

本发明与现有技术相比，具有以下明显的优势和有益效果：

本发明稳定性、可靠性高，可以弥补人们主观经验对视频内容评测造成的影响，可用于影片制作过程中进行影片剪辑，也可用于对影片内容分级，还可针对个人对影片进行筛选。

附图说明

图1为设备连接示意图；

图2为设备整体框图；

图3为脑电信号处理装置人机交互模块结构示意图；

图4为类别标识单元结构示意图；

图5为信号识别流程图；

图6为信号识别方法流程图。

具体实施方式

本发明所述的基于脑电信号特征的影片剪辑筛选辅助仪可用于影片制作过程中进行影片剪辑，也可用于对影片内容分级，还可针对个人对影片进行筛选。根据该发明的基本装置和方法可以开发不同的具体应用，不仅仅可以用于视频内容评测，也可用于其他不同类别的文件内容评测，例如图像内容评测或音频内容评测等。下面进行详细使用说明：

本发明的基本原理是当用户观看影片时，影片内容刺激诱发出相关脑电信号，采集这些脑电信号并送入已训练的较精确的分类器中进行类别识别，帮助用户评测视频内容。

如图1所示，一种基于脑电信号特征的影片剪辑筛选辅助仪设备连接示意图，包括如下部分：

(1)脑电信号采集装置10，脑电信号采集装置由多个脑区电极11组成，脑区电极11采用的是国际脑电图学会标定的电极导联定位标准，选择对应于人脑视觉区、听觉区、认知和情感区和情绪区的电极来采集用户的脑电信号，脑电信号采集装置10通过电极导联线与脑电信号处理装置12中的放大器I1相连。

(2)脑电信号处理装置12包括信号处理模块和人机交互模块，其中：

所述信号处理模块由放大器I1、陷波滤波器2、放大器II3、低通滤波器4和模数转换器5组成，其中，放大器I1、陷波滤波器2、放大器II3、低通滤波器4和模数转换器5依次相连。采集到的脑电信号被放大器I1接收，对脑电信号的处理流程为首先经放大器I1将微弱的脑电信号放大，然后通过陷波滤波器2滤去市电干扰噪声，再经过放大器II3保证信号的不失真，后经低通滤波器4消除脑电信号中混入的其他噪声，最后送入模数转换器5中将信号转换为数字信号输出到脑电信号分析装置13中，具体可见图2中所示的信号处理模块结构图。

所述人机交互模块包括功能按钮15、触摸屏21和数字键盘22，如图3所示的人机交互模块结构图，其中，功能按钮15的作用是保证在视频开始之前不会采集到无用的脑电信号，只有在触发功能按钮时，放大器I1才开始接收用户的脑电信号；触摸屏21为便捷输入装置，与数字键盘22相连，实现人机交互，触摸屏21中输入的数字为所观看视频的总秒数。

(3)脑电信号分析装置13包括信号分析模块和存储模块，其中：

所述信号分析模块内设有用于提取人在观看视频时的脑电特征的特征提取电路，如图2中信号分析模块结构图所示，信号分析模块包括缓存器6、特征提取器7、信号识别单元8、计时器17和运算器16；信号处理模块接收经由脑电信号处理装置12处理后的脑电信号，以固定时间窗口分割脑电信号，如以6s为单位，先将脑电信号放置于缓存器6中，缓存器6每隔6s向特征提取器7中送一次数据，特征提取器7提取脑电信号中有效用于分类的特征值，然后经信号识别单元8识别视频所属的类型。

所述运算器16与脑电信号处理装置12中的触摸屏21相连，记录触摸屏21中代表视频时间长度的数字m，并根据如下公式计算出可处理的脑电信号段数：

脑电信号段数

其中，n表示固定时间窗口长度；

运算器16还与计时器17相连，刚开始计时器17中的数字设为运算器16中的脑电信号段数k，当缓存器6向特征提取器7中每发送一次数据，计时器17中的数字减1，当计时器17中数字减为0时，缓存器6则不再向特征提取器7发送数据，即意味着视频播放完毕。

信号识别单元8由两级分类器组成，其中一级分类器为粗分类器23，二级分类器为多个细分类器，如细分类器I24、细分类器II25、细分类器III26等等，粗分类器的多个输出端口分别与各个细分类器相连，细分类器的输出端口与存储器9相连，类别标识单元8的具体结构图如图4所示；其中，粗分类器用于识别不同类型，例如判断视频是否为暴力视频、中性视频、敏感视频中的一类，而细分类器为多个视频分级系统，例如针对敏感视频，分级系统可以将视频分为普通级别、指导级别、限制级别和露骨级别等；两级分类器的训练过程融合了专家对脑电信号的主观识别经验知识和计算机模式识别技术，使得分类器性能更加精确、可靠。

所述存储模块为一存储器9，其与信号分析模块中的信号识别单元8的输出端相连。

(4)输出响应装置28由统计单元19、液晶显示屏20和按钮18组成，统计单元19与脑电信号分析装置13中的存储器9相连，统计单元19与液晶显示屏20相连，按钮18为一触发器，触发统计单元19工作，统计单元19从存储器9中取出结果进行统计分析，得出视频中各类别视频所占的百分比，根据此统计结果可实现视频内容的客观评测。

请参阅图5、图6所示，图5为信号识别流程图；图6为信号识别方法流程图。

本发明一种基于脑电信号特征的影片剪辑筛选的实现方法，包括如下步骤：

步骤1：采用放大器、陷波滤波器、低通滤波器和模数转换器对采集到的脑电信号进行消噪处理，同时将连续脑电信号转换为离散数字信号；

步骤2：采用PCA方法提取得到的数字信号的特征作为样本数据；

步骤3：采用Fisher方法，对得到的样本数据进行分类；

步骤2所述PCA方法提取脑电信号特征包括如下步骤：

步骤21：将n个电极的数据按行排列形成特征向量，共M维，其中，n为所选用电极的个数，M＝n*k，k为一次实验一个电极上的脑电信号样本维数；

步骤22：求样本矩阵的协方差矩阵C为：

$C=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ΔP}}_i^T{\mathrm{\ΔP}}_i$

步骤23：计算C的特征向量v₁，v₂，...，v_M和特征值λ₁，λ₂，...，λ_M确定特征空间。

步骤24：选择前M₀个最大特征值

对应的特征向量

(M₀＜M)作为一组PCA基，再把原始脑电信号向这组PCA基上作投影得到有利于分类的特征向量；

步骤3所述Fisher方法对样本数据进行分类包括如下步骤：

步骤31：采集多名被试观看不同类型视频时的脑电信号，使用认知心理学方法分析脑电信号；

步骤32：结合步骤31所得认知学结论确定时间段，确定脑区电极，得到训练数据集；

步骤33：使用PCA方法得到训练样本；

步骤34：使用步骤33所得训练样本训练Fisher分类器；

步骤35：使用精确训练的Fisher分类器对未知样本进行分类；

前述的步骤31所述认知心理学方法还包括如下步骤：

步骤311：对不同类型视频诱发脑电信号分段、叠加平均，得到视频诱发事件相关电位(ERPs)，采用测量方法计算各个成分的潜伏期，确定各个成分所在时间段；

步骤312：根据医学领域认同的大脑功能分区图，认为与视觉、听觉和认知情绪有关的功能区对视频刺激反应较大；观察所采集脑电信号随时间变化的二维脑地形图，认为能量越高的脑区受视频刺激较大；

步骤313：根据步骤312所述两种原则，确定脑区电极。

前述的步骤34所述Fisher训练分类器包括如下步骤：

步骤341：Fisher分类器的原理和公式：

$J_F\left(w\right)=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$

其中S_w为总类内离散度矩阵，S_b为样本类间离散度矩阵。

Claims (6)

1.一种基于脑电信号特征的影片剪辑筛选辅助仪，包括脑电信号采集装置，其特征在于：该辅助仪还包括脑电信号处理装置、脑电信号分析装置和输出响应装置，脑电信号采集装置由多个脑区电极组成，脑区电极与脑电信号处理装置中的放大器I相连，脑电信号处理装置、脑电信号分析装置和输出响应装置依次相连；

所述脑区电极根据大脑功能分区选择对应于人脑视觉区、听觉区、认知和情感区和情绪区的电极来采集用户的脑电信号；

所述的脑电信号处理装置包括信号处理模块和人机交互模块；信号处理模块由放大器I、陷波滤波器、放大器II、低通滤波器和模数转换器组成，其中，放大器I、陷波滤波器、放大器II、低通滤波器和模数转换器依次相连；

所述人机交互模块包括功能按钮、触摸屏和数字键盘；其中，所述功能按钮为一触发器，用于控制放大器I的工作状态；所述触摸屏为接收数字键盘传输指令的便捷输入装置，并将数字显示在屏幕上；

所述放大器I的输入端和脑电信号采集装置相连，接收采集到的用户观看视频时的脑电信号；

所述脑电信号分析装置包括信号分析模块和存储模块，所述信号分析模块包括缓存器、特征提取器、信号识别单元、计时器和运算器，设有用于提取人在观看视频时的脑电特征的特征提取电路；

所述运算器与脑电信号处理装置中的触摸屏相连，同时与计时器相连；

所述存储模块为一存储器，其与信号分析模块中的信号识别单元的输出端相连。

2.根据权利要求1所述的基于脑电信号特征的影片剪辑筛选辅助仪，其特征在于：所述信号识别单元由两级分类器组成，其中一级分类器为粗分类器，二级分类器为多个细分类器，粗分类器的输出端口分别与各个细分类器相连。

3.根据权利要求1所述的基于脑电信号特征的影片剪辑筛选辅助仪，其特征在于：所述输出响应装置由统计单元、液晶显示屏和按钮组成，统计单元与脑电信号分析装置中的存储器相连，统计单元与液晶显示屏相连，所述按钮为一触发器，触发统计单元工作。

4.一种基于脑电信号特征的影片剪辑筛选的实现方法，其特征在于包括如下步骤：

步骤1：采用放大器、陷波滤波器、低通滤波器和模数转换器对采集到的脑电 信号进行消噪处理，同时将连续脑电信号转换为离散数字信号；

步骤2：采用PCA方法提取得到的数字信号的特征作为样本数据；

步骤3：采用Fisher方法，对得到的样本数据进行分类；

步骤2所述PCA方法提取脑电信号特征包括如下步骤：

步骤21：将n个电极的数据按行排列形成特征向量，共M维，其中，n为所选用电极的个数，M＝n*k，k为一次实验一个电极上的脑电信号样本维数；

步骤22：求样本矩阵的协方差矩阵C为：

步骤23：计算C的特征向量v₁，v₂，...，v_M和特征值λ₁，λ₂，...，λ_M确定特征空间。

步骤24：选择前M₀个最大特征值 

对应的特征向量 

(M₀＜M)作为一组PCA基，再把原始脑电信号向这组PCA基上作投影得到有利于分类的特征向量；

步骤3所述Fisher方法对样本数据进行分类包括如下步骤：

步骤31：采集多名被试观看不同类型视频时的脑电信号，使用认知心理学方法分析脑电信号；

步骤32：结合步骤31所得认知学结论确定时间段，确定脑区电极，得到训练数据集；

步骤33：使用PCA方法得到训练样本；

步骤34：使用步骤33所得训练样本训练Fisher分类器；

步骤35：使用精确训练的Fisher分类器对未知样本进行分类。

5.根据权利要求4所述的基于脑电信号特征的影片剪辑筛选的实现方法，其特征在于：所述步骤31所述认知心理学方法还包括如下步骤：

步骤311：对不同类型视频诱发脑电信号分段、叠加平均，得到视频诱发事件相关电位(ERPs)，采用测量方法计算各个成分的潜伏期，确定各个成分所在时间段；

步骤312：根据医学领域认同的大脑功能分区图，认为与视觉、听觉和认知情绪有关的功能区对视频刺激反应较大；观察所采集脑电信号随时间变化的二维脑地形图，认为能量越高的脑区受视频刺激较大；

步骤313：根据步骤312所述两种原则，确定脑区电极。 

6.根据权利要求4所述的基于脑电信号特征的影片剪辑筛选的实现方法，其特征在于：步骤34所述Fisher训练分类器包括如下步骤：

步骤341：Fisher分类器的原理和公式：

其中S_w为总类内离散度矩阵，S_b为样本类间离散度矩阵。 

Images