CN105893980B - 一种注意力专注度评价方法及系统 - Google Patents

Abstract

本发明提供一种注意力专注度评价方法及系统，既能避免主观因素对专注度评价的干扰，又能提高专注度评价结果的可靠性。所述方法包括：获取脑电波信号及与所述脑电波信号实时对应的人脸图像；确定所述脑电波信号对应的脑电专注程度类别，并依据所述脑电波信号对应的脑电专注程度类别标识与所述脑电波信号实时对应的所述人脸图像对应的专注度类别；依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器。本发明适用于计算机视觉技术领域。

Description

一种注意力专注度评价方法及系统

技术领域

本发明涉及计算机视觉技术领域，特别是指一种注意力专注度评价方法及系统。

背景技术

近年来，随着计算机视觉领域的发展以及脑电波信号的开发和深入，两者相互结合的机会也越来越多。通过面部识别来判断被测者的注意力专注度情况的应用也越来越多。但是，在现有的很多注意力专注度研究中，对于被测者的注意力专注度评价结果往往或多或少的带有研究人员的主观因素。

注意力专注度可以说是警觉性、疲劳程度、敏感性等信息的量化结果。如今广大社会对于驾驶安全关注越来越多，很多的研究所都在利用机器视觉对驾驶员的面部表情进行分析并得出驾驶人的疲劳程度，但是在疲劳程度的定义上，却并没有一个真正客观的判定，绝大部分都是研究人员的主观判定，具体的，由研究人员主观定义一些两极分化的专注度对应面部图像，然后再在已定义了的面部图像的基础上进行训练识别，依据训练结果对于被测驾驶员的疲劳程度进行评价。因此，对于驾驶员的注意力专注度的评价或多或少带有主观因素，评价结果的可靠性低。

发明内容

本发明要解决的技术问题是提供一种注意力专注度评价方法及系统，以解决现有技术所存在的注意力专注度评价方法易受研究人员主观因素的影响，评价结果可靠性低的问题。

为解决上述技术问题，本发明实施例提供一种注意力专注度评价方法，包括：

获取脑电波信号及与所述脑电波信号实时对应的人脸图像；

确定所述脑电波信号对应的脑电专注程度类别，并依据所述脑电波信号对应的脑电专注程度类别标识与所述脑电波信号实时对应的所述人脸图像对应的专注度类别；

依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器。

进一步地，所述获取脑电波信号及与所述脑电波信号实时对应的人脸图像，包括：

采集脑电波信号及所述脑电波信号实时对应的人脸图像视频，其中，采集所述脑电波信号的时间与采集所述人脸图像视频的时间同步；

依据预设的截取频率及时间间隔，对采集的所述人脸图像视频进行跟踪截取所述人脸图像视频中的人脸图像；

提取截取的每幅人脸图像的特征点并对提取的所述特征点进行归一化处理。

进一步地，所述确定所述脑电波信号对应的专注度值包括：

依据预设的脑电专注程度类别与脑电专注度值区间之间的映射关系，将所述脑电波信号对应的脑电专注程度类别设为所述脑电波信号对应的脑电信息专注度所属的脑电专注度值区间所映射的脑电专注程度类别。

进一步地，所述依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器包括：

提取所述人脸图像的特征点坐标；

依据提取的所述人脸图像的特征点坐标确定所述人脸图像的表情特征；

将提取的所述人脸图像的特征点坐标及确定的所述人脸图像的表情特征作为特征值，并结合所述人脸图像对应的专注度类别训练注意力专注度分类器。

进一步地，所述将提取的所述人脸图像的特征点坐标及确定的所述人脸图像的表情特征作为特征值，并结合所述人脸图像对应的专注度类别训练注意力专注度分类器之后，还包括：

获取新测试者的人脸图像，利用已训练的所述注意力专注度分类器输出所述新测试者的专注度类别。

本发明实施例还提供一种注意力专注度评价系统，包括：

获取模块，用于获取脑电波信号及与所述脑电波信号实时对应的人脸图像；

确定模块，用于确定所述脑电波信号对应的脑电专注程度类别，并依据所述脑电波信号对应的脑电专注程度类别标识与所述脑电波信号实时对应的所述人脸图像对应的专注度类别；

训练模块，用于依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器。

进一步地，所述获取模块包括：

采集单元，用于采集脑电波信号及所述脑电波信号实时对应的人脸图像视频，其中，采集所述脑电波信号的时间与采集所述人脸图像视频的时间同步；

截取单元，用于依据预设的截取频率及时间间隔，对采集的所述人脸图像视频进行跟踪截取所述人脸图像视频中的人脸图像；

处理单元，用于提取截取的每幅人脸图像的特征点并对提取的所述特征点进行归一化处理。

进一步地，所述确定模块包括：

第一确定单元，用于依据预设的脑电专注程度类别与脑电专注度值区间之间的映射关系，将所述脑电波信号对应的脑电专注程度类别设为所述脑电波信号对应的脑电信息专注度所属的脑电专注度值区间所映射的脑电专注程度类别。

进一步地，所述训练模块包括：

特征提取单元，用于提取所述人脸图像的特征点坐标；

第二确定单元，用于依据提取的所述人脸图像的特征点坐标确定所述人脸图像的表情特征；

分类训练单元，用于将提取的所述人脸图像的特征点坐标及确定的所述人脸图像的表情特征作为特征值，并结合所述人脸图像对应的专注度类别训练注意力专注度分类器。

进一步地，所述获取模块，还用于获取新测试者的人脸图像；

所述训练模块，还用于利用已训练的所述注意力专注度分类器输出所述新测试者的专注度类别。

本发明的上述技术方案的有益效果如下：

上述方案中，通过获取脑电波信号对应的脑电专注程度类别，并依据所述脑电波信号对应的脑电专注程度类别标识与所述脑电波信号实时对应的人脸图像对应的专注度值；最后，依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器。这样，将获取的脑电波信号作为监督量，使得专注度有客观的衡量标准，并将获取的与所述脑电波信号实时对应的人脸图像作为预测量；并依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器，既能避免主观因素对专注度评价的干扰，又能提高注意力专注度分类器的专注度评价结果的可靠性。

附图说明

图1为本发明实施例提供的注意力专注度评价方法的流程示意图一；

图2为本发明实施例提供的注意力专注度评价方法的流程示意图二；

图3为本发明实施例提供的归一化处理前的人脸图像；

图4为本发明实施例提供的归一化处理后的人脸图像

图5为本发明实施例提供的利用主动形状模型提取的人脸图像中的77个特征点；

图6为本发明实施例提供的注意力专注度评价系统的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的注意力专注度评价方法易受研究人员主观因素的影响，评价结果可靠性低的问题，提供一种注意力专注度评价方法及系统。

实施例一

如图1所示，本发明实施例提供的一种注意力专注度评价方法，包括：

步骤101：获取脑电波信号及与所述脑电波信号实时对应的人脸图像；

本发明实施例中，经生物研究，可知真正决定一个人的注意力专注度(简称：专注度)程度的因素是人的大脑，也就是说，一个人注意力专注与否在脑电波信号的变化上表现的尤为明显。因此，采用脑电波信号检测设备获取测试者的脑电波信号作为监督量，使得专注度有客观的衡量标准，并利用计算机视觉技术获取测试者的与所述脑电波信号实时对应的人脸图像作为预测量，能够避免主观因素对专注度评价的干扰。

步骤102：确定所述脑电波信号对应的脑电专注程度类别，并依据所述脑电波信号对应的脑电专注程度类别标识与所述脑电波信号实时对应的所述人脸图像对应的专注度类别；

步骤103：依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器。

本发明实施例所述的注意力专注度评价方法，通过获取脑电波信号对应的脑电专注程度类别，并依据所述脑电波信号对应的脑电专注程度类别标识与所述脑电波信号实时对应的人脸图像对应的专注度值；最后，依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器。这样，将获取的脑电波信号作为监督量，使得专注度有客观的衡量标准，并将获取的与所述脑电波信号实时对应的人脸图像作为预测量；并依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器，既能避免主观因素对专注度评价的干扰，又能提高注意力专注度分类器的专注度评价结果的可靠性。

在前述注意力专注度评价方法的具体实施方式中，进一步地，所述获取脑电波信号及与所述脑电波信号实时对应的人脸图像，包括：

采集脑电波信号及所述脑电波信号实时对应的人脸图像视频，其中，采集所述脑电波信号的时间与采集所述人脸图像视频的时间同步；

依据预设的截取频率及时间间隔，对采集的所述人脸图像视频进行跟踪截取所述人脸图像视频中的人脸图像；

提取截取的每幅人脸图像的特征点并对提取的所述特征点进行归一化处理。

本发明实施例中，如图2所示，所述获取脑电波信号及与所述脑电波信号实时对应的人脸图像的具体可以包括：

1)、调试脑电波信号检测设备及人脸图像视频的摄像设备，以保证是在同样的环境条件下采集测试者的脑电波信号及所述脑电波信号实时对应的人脸图像视频，并保证测试者不受周围环境干扰；

2)、确定脑电波信号的诱发内容，例如，所述诱发内容可以包括：剧情类影片、愉快类影片、恐怖类影片等，并将所述影片放置于测试者的对面；

3)、测试者观看影片时，每次进行15分钟摄像以便采集测试者的人脸图像视频，并采集测试者的脑电波信号，其中，所述人脸图像视频的采集时间与所述脑电波信号的采集时间必须严格同步；

4)、采集人脸图像视频及脑电波信号结束后，存储采集所述脑电波信号的采集时间以及摄像的每段时间，用于后续建立样本库时使用，也便于人脸图像截取数量的统计；

5)、对采集的所述人脸图像视频进行人脸跟踪；具体的，可以通过30fps(30帧/秒)的频率，以1s为间隔使用Adaboost级联分类人脸识别算法对人脸图像视频进行跟踪并截取人脸图像视频中的人脸图像；

6)、在采集人脸图像视频时人脸的偏转容易造成特征点位置的变化，为了让不同人脸图像的人脸区域尽量相符，需使用主动形状模型ASM(Active Shape Model)提取每幅人脸图像的特征点并对提取的特征点进行归一化处理，以便消除不同特征点的位置差异，如图3和图4所示。

在前述注意力专注度评价方法的具体实施方式中，进一步地，所述确定所述脑电波信号对应的专注度值包括：

依据预设的脑电专注程度类别与脑电专注度值区间之间的映射关系，将所述脑电波信号对应的脑电专注程度类别设为所述脑电波信号对应的脑电信息专注度所属的脑电专注度值区间所映射的脑电专注程度类别。

本发明实施例中，例如，所述预设的脑电专注程度类别与所述脑电专注度值区间之间的映射关系可以表示为表1。

本发明实施例中，若采集到的所述脑电波信号对应的脑电信息专注度的大小为75，则依据预设的脑电专注程度类别与脑电专注度值区间之间的映射关系，可以得到所述脑电波信号对应的脑电信息专注度所属的脑电专注度值区间所映射的脑电专注程度类别为专注，并可以用标记值(label)“3”来表示，如表1所示。

表1预设的脑电专注程度类别与脑电专注度值区间之间的映射关系

本发明实施例中，如图2所示，将所述归一化处理后的每幅人脸图像、所述每幅人脸图像对应1s采集的脑电波信号及所述脑电波信号对应的脑电专注程度类别，作为样本库。这样，将获取的脑电波信号，作为监督量，使得专注度有客观的衡量标准，并依据所述归一化处理后的每幅人脸图像、所述每幅人脸图像对应1s采集的脑电波信号及所述脑电波信号对应的脑电专注程度类别，建立人脸图像与所述脑电波信号实时对应的样本库，能够避免专注度的主观因素对专注度评价的干扰，同时，采集的是所述脑电波信号实时对应的人脸图像视频，所以所述样本库中所述脑电波信号及所述脑电波信号实时对应的归一化处理后的人脸图像均具有连续性，从而能够提高提高注意力专注度分类器的实际应用性。

在前述注意力专注度评价方法的具体实施方式中，进一步地，所述依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器包括：

提取所述人脸图像的特征点坐标；

依据提取的所述人脸图像的特征点坐标确定所述人脸图像的表情特征；

将提取的所述人脸图像的特征点坐标及确定的所述人脸图像的表情特征作为特征值，并结合所述人脸图像对应的专注度类别训练注意力专注度分类器。

本发明实施例中，如图5所示，首先，可以再次利用主动形状模型(ASM)提取所述人脸图像的特征点坐标，其中，所述特征点坐标的数目可以为77个；其次，可以根据提取的所述人脸图像的特征点坐标确定所述人脸图像的表情特征，其中，所述表情特征包括：眼睛张开程度、嘴张开程度、嘴弯曲程度等等特征；最后，将提取的所述人脸图像的特征点坐标及确定的所述人脸图像的表情特征作为特征值，并结合对应的每幅人脸图像对应的专注度值(label)构成训练样本和测试样本，通过构成的训练样本来训练注意力专注度分类器，并利用构成的测试样本对已经训练好的注意力专注度分类器进行测试。

本发明实施例中，以5个测试者为例，采集这5个测试者的脑电波信号及人脸图像视频，并从采集的人脸图像视频中获取6000幅人脸图像，这6000幅人脸图像共展示了三种专注度(专注，不专注，中性)状态。获取的这6000幅人脸图像为无遮挡的正面人脸图像，包括不同光照条件下的正面人脸图像。

本发明实施例中，这5个测试者中，其中4个人的脑电波信号及人脸图像视频数据为训练数据，其中1个人的脑电波信号及人脸图像视频数据为测试数据，根据所述训练数据及测试数据进行轮换训练和测试。训练数据和测试数据比例为4:1，对训练数据5倍交叉验证，得到最优参数c和γ后进行训练，其中，c表示惩罚系数，γ表示训练数据及测试数据映射到新的特征空间后的分布。

本发明实施例中，依据得到的最优参数c和γ，得到所述注意力专注度分类器的c和γ，能使注意力专注度分类器更好地预测测试者的注意力专注度，从而提高注意力专注度分类器识别率。虽然，人脸图像与专注度存在一定的相关关系，但是，该相关关系为弱相关关系，本发明实施例提供的注意力专注度分类器的正确率为65％，基本可以满足课堂专注度判定要求。

在前述注意力专注度评价方法的具体实施方式中，进一步地，所述将提取的所述人脸图像的特征点坐标及确定的所述人脸图像的表情特征作为特征值，并结合所述人脸图像对应的专注度类别训练注意力专注度分类器之后，还包括：

获取新测试者的人脸图像，利用已训练的所述注意力专注度分类器输出所述新测试者的专注度类别。

本发明实施例中，当需要测试新测试者的专注度时，可以获取新测试者的人脸图像，并利用已训练的所述注意力专注度分类器输出所述新测试者的专注度类别，例如，不专注、中性或专注。

实施例二

本发明还提供一种注意力专注度评价系统的具体实施方式，由于本发明提供的注意力专注度评价系统与前述注意力专注度评价方法的具体实施方式相对应，该注意力专注度评价系统可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述注意力专注度评价方法具体实施方式中的解释说明，也适用于本发明提供的注意力专注度评价系统的具体实施方式，在本发明以下的具体实施方式中将不再赘述。

参看图6所示，本发明实施例还提供一种注意力专注度评价系统，包括：

获取模块11，用于获取脑电波信号及与所述脑电波信号实时对应的人脸图像；

确定模块12，用于确定所述脑电波信号对应的脑电专注程度类别，并依据所述脑电波信号对应的脑电专注程度类别标识与所述脑电波信号实时对应的所述人脸图像对应的专注度类别；

训练模块13，用于依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器。

本发明实施例所述的注意力专注度评价系统，通过获取脑电波信号对应的脑电专注程度类别，并依据所述脑电波信号对应的脑电专注程度类别标识与所述脑电波信号实时对应的人脸图像对应的专注度值；最后，依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器。这样，将获取的脑电波信号作为监督量，使得专注度有客观的衡量标准，并将获取的与所述脑电波信号实时对应的人脸图像作为预测量；并依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器，既能避免主观因素对专注度评价的干扰，又能提高注意力专注度分类器的专注度评价结果的可靠性。

在前述注意力专注度评价系统的具体实施方式中，进一步地，所述获取模块11包括：

采集单元，用于采集脑电波信号及所述脑电波信号实时对应的人脸图像视频，其中，采集所述脑电波信号的时间与采集所述人脸图像视频的时间同步；

截取单元，用于依据预设的截取频率及时间间隔，对采集的所述人脸图像视频进行跟踪截取所述人脸图像视频中的人脸图像；

处理单元，用于提取截取的每幅人脸图像的特征点并对提取的所述特征点进行归一化处理。

在前述注意力专注度评价系统的具体实施方式中，进一步地，所述确定模块12包括：

第一确定单元，用于依据预设的脑电专注度值与脑电专注度值区间之间的映射关系，将所述脑电波信号对应的脑电专注程度类别设为所述脑电波信号对应的脑电信息专注度所属的脑电专注度值区间所映射的脑电专注程度类别。

在前述注意力专注度评价系统的具体实施方式中，进一步地，所述训练模块13包括：

特征提取单元，用于提取所述人脸图像的特征点坐标；

第二确定单元，用于依据提取的所述人脸图像的特征点坐标确定所述人脸图像的表情特征；

分类训练单元，用于将提取的所述人脸图像的特征点坐标及确定的所述人脸图像的表情特征作为特征值，并结合所述人脸图像对应的专注度类别训练注意力专注度分类器。

在前述注意力专注度评价系统的具体实施方式中，进一步地，所述获取模块11，还用于获取新测试者的人脸图像；

所述训练模块13，还用于利用已训练的所述注意力专注度分类器输出所述新测试者的专注度类别。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种注意力专注度评价方法，其特征在于，包括：

获取脑电波信号及与所述脑电波信号实时对应的人脸图像；

确定所述脑电波信号对应的脑电专注程度类别，并依据所述脑电波信号对应的脑电专注程度类别标识与所述脑电波信号实时对应的所述人脸图像对应的专注度类别；

依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器；

其中，所述依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器包括：

提取所述人脸图像的特征点坐标；

依据提取的所述人脸图像的特征点坐标确定所述人脸图像的表情特征；

将提取的所述人脸图像的特征点坐标及确定的所述人脸图像的表情特征作为特征值，并结合所述人脸图像对应的专注度类别训练注意力专注度分类器。

2.根据权利要求1所述的注意力专注度评价方法，其特征在于，所述获取脑电波信号及与所述脑电波信号实时对应的人脸图像，包括：

采集脑电波信号及所述脑电波信号实时对应的人脸图像视频，其中，采集所述脑电波信号的时间与采集所述人脸图像视频的时间同步；

依据预设的截取频率及时间间隔，对采集的所述人脸图像视频进行跟踪截取所述人脸图像视频中的人脸图像；

提取截取的每幅人脸图像的特征点并对提取的所述特征点进行归一化处理。

3.根据权利要求1所述的注意力专注度评价方法，其特征在于，所述确定所述脑电波信号对应的专注度值包括：

依据预设的脑电专注程度类别与脑电专注度值区间之间的映射关系，将所述脑电波信号对应的脑电专注程度类别设为所述脑电波信号对应的脑电信息专注度所属的脑电专注度值区间所映射的脑电专注程度类别。

4.根据权利要求1所述的注意力专注度评价方法，其特征在于，所述将提取的所述人脸图像的特征点坐标及确定的所述人脸图像的表情特征作为特征值，并结合所述人脸图像对应的专注度类别训练注意力专注度分类器之后，还包括：

获取新测试者的人脸图像，利用已训练的所述注意力专注度分类器输出所述新测试者的专注度类别。

5.一种注意力专注度评价系统，其特征在于，包括：

获取模块，用于获取脑电波信号及与所述脑电波信号实时对应的人脸图像；

确定模块，用于确定所述脑电波信号对应的脑电专注程度类别，并依据所述脑电波信号对应的脑电专注程度类别标识与所述脑电波信号实时对应的所述人脸图像对应的专注度类别；

训练模块，用于依据所述人脸图像及所述人脸图像对应的专注度类别训练注意力专注度分类器；

其中，所述训练模块包括：

特征提取单元，用于提取所述人脸图像的特征点坐标；

第二确定单元，用于依据提取的所述人脸图像的特征点坐标确定所述人脸图像的表情特征；

分类训练单元，用于将提取的所述人脸图像的特征点坐标及确定的所述人脸图像的表情特征作为特征值，并结合所述人脸图像对应的专注度类别训练注意力专注度分类器。

6.根据权利要求5所述的注意力专注度评价系统，其特征在于，所述获取模块包括：

采集单元，用于采集脑电波信号及所述脑电波信号实时对应的人脸图像视频，其中，采集所述脑电波信号的时间与采集所述人脸图像视频的时间同步；

截取单元，用于依据预设的截取频率及时间间隔，对采集的所述人脸图像视频进行跟踪截取所述人脸图像视频中的人脸图像；

处理单元，用于提取截取的每幅人脸图像的特征点并对提取的所述特征点进行归一化处理。

7.根据权利要求5所述的注意力专注度评价系统，其特征在于，所述确定模块包括：

第一确定单元，用于依据预设的脑电专注程度类别与脑电专注度值区间之间的映射关系，将所述脑电波信号对应的脑电专注程度类别设为所述脑电波信号对应的脑电信息专注度所属的脑电专注度值区间所映射的脑电专注程度类别。

8.根据权利要求5所述的注意力专注度评价系统，其特征在于，所述获取模块，还用于获取新测试者的人脸图像；

所述训练模块，还用于利用已训练的所述注意力专注度分类器输出所述新测试者的专注度类别。