CN114983414A - 基于面部视频生理指标提取的大脑认知负荷量化方法 - Google Patents

Abstract

本发明公开了一种基于面部视频生理指标提取的大脑认知负荷量化方法，在弹琴记奏场景下记录受试者的面部视频，通过面部视频提取脉搏变异性与血氧饱和度，同时记录复现音符时间，使用上述指标为认知负荷量化打分，克服了国际上通用的自我评估量表的主观性、接触式设备测量的不便性等问题。步骤如下：通过摄像头采集受试者记忆音符序列过程的面部视频，同时记录复现音符时间；从面部视频中还原脉搏波并进行去噪，提取多种生理指标；基于统计分析，使用生理指标与复现音符时间共同为认知负荷量化打分。本发明可以为量化认知负荷提供一种无感无创的手段。

Description

基于面部视频生理指标提取的大脑认知负荷量化方法

技术领域

本发明涉及信息技术及智慧健康技术领域，具体涉及一种基于面部视频生理指标提取的大脑认知负荷量化方法。

背景技术

目前国际上通用的大脑认知负荷评价方法是主观量表法，包括PAAS量表、WP量表、TLX量表。这些量表基本都是通过受试者对量表中的问题进行回答，实验人员根据回答结果进行打分，评判受试者的大脑认知负荷。这种测量大脑认知负荷的方法主观性较强，且花费时间较多；另一种衡量大脑认知负荷的方法是通过性能去度量，例如受试者任务完成时间、速度或正确性、关键错误和错误启动，但是这种方法能获取的信息比较有限。也有通过行为去测量大脑认知负荷的方法，例如观察受试者互动行为的特征模式，如语言或对话模式，这种方法同样具有主观性，且普适度不高。

随着现代传感器技术的发展，各种生理测量方法被开发出来用于大脑认知负荷的评估。常用的大脑认知负荷测量方法多利用脑电波、眼睛活动、呼吸、心率、皮肤电导、语言等信号。然而传统的接触式测量方法对受试者的刺激反而会影响大脑认知负荷本身的测量。

因此，使用非接触式摄像头采集受试者的面部视频，提取各种生理指标，进而测量认知负荷的方法，提供了一种无损、无创、客观、高效的测量方案，也是未来智慧医疗的主要发展方向。

发明内容

本发明的目的是为了解决现有技术中通用的大脑认知负荷自我评估量表的主观性和接触式设备测量的不便性等问题，提供一种基于面部视频生理指标提取的大脑认知负荷量化方法，设计弹琴记奏的场景来诱发不同水平的认知负荷，通过受试者记忆不同的音符序列并在电子琴上复现的方式，逐步增加记忆的难度，把控不同等级的认知负荷，同时手脑结合，更加全面地衡量认知负荷。在此场景下通过人脸视频提取的生理指标、记录的复现音符时间，多维度地评测量化受试者的认知负荷。这种非接触式的方式，为衡量认知负荷提供一种无感无创的手段。

本发明的目的可以通过采取如下技术方案达到：

一种基于面部视频生理指标提取的大脑认知负荷量化方法，所述大脑认知负荷量化方法包括下列步骤：

S1、采集受试者在不同认知负荷下的记忆音符序列过程中的面部视频，并记录复现音符时间；其中，所述认知负荷是受试者大脑所承受的认知压力的大小，不同认知负荷水平是通过记忆不同长度的音符序列来划分；

采集面部视频是用于后续的生理指标提取，并从客观的角度来衡量认知负荷水平；所述复现音符时间是记忆过程结束后受试者回忆音符并完整弹奏的总时间，复现音符时间通过反映大脑的紧张程度来衡量认知负荷水平；所述音符序列是指从中音的“do”至中音的“xi”这一个八度内的七个单音符的任意组合；

S2、定位面部感兴趣区域，提取脉搏波：对采集到的人脸面部视频，进行人脸识别，定位到感兴趣区域，获取感兴趣区域皮肤像素的灰度值，提取出原始脉搏波信号；其中，所述感兴趣区域是用于提取脉搏波信号的人脸区域；基于皮肤像素灰度值变化与脉搏变化具有一致性的特点，提取出原始脉搏波信号；

S3、对原始脉搏波信号进行去噪：对还原出的原始脉搏波信号，使用级联的均匀相位经验模态分解算法，并结合巴特沃斯带通滤波器进行噪声的去除，得到去噪后的脉搏波信号；这种复合的滤波方法可以很好解决非接触式设备采集信号的信噪比较低的问题；

S4、针对去噪后的脉搏波信号，提取血氧饱和度和脉搏变异性，其中，所述血氧饱和度使用两个不同颜色通道的脉搏波进行拟合获得，所述脉搏变异性通过提取脉搏波的峰-峰时间间隔获得；由于脉搏变异性包含了人体交感神经与副交感神经对脉搏的调制作用，与脑认知负荷直接相关，血氧饱和度反应了大脑在不同认知负荷下对资源的调用情况，可以间接反映认知负荷水平的高低，故选择提取这两种生理指标；

S5、分别对上述血氧饱和度、脉搏变异性以及复现音符时间进行统计分析，构建每个指标的分布，从而建立各个指标对应的分布曲线方程，筛选服从正态分布的指标，用于后续的量化打分；

S6、采集受试者的人脸面部视频，重复步骤S1-S4，得到血氧饱和度、脉搏变异性、复现音符时间；重复步骤S5进行指标筛选，选择服从正态分布的指标，将血氧饱和度、脉搏变异性、复现音符时间分别输入到对应的曲线方程中，进行认知负荷的量化打分。

进一步地，所述步骤S1过程如下：

S101、受试者坐在一个外接摄像头的显示屏前，显示屏由外接的智能终端控制，展示需要记忆的音符序列，摄像头采集受试者的无遮挡面部视频，受试者通过设置在面前的电子琴弹奏记忆的音符。此步骤的显示屏用于展示待记忆的音符序列，通过激发人脑记忆资源的调度，产生认知负荷；此步骤选择简谱符号来表示音符序列，避免零乐理基础的受试者读不懂题目；此步骤摄像头采集的面部视频用于后续提取生理指标，衡量认知负荷的高低；此步骤的电子琴将认知负荷的考察面从单一的记忆资源调度扩展到听觉的维度，可以考察到更加全面的认知负荷；

S102、显示屏上播放待记忆的一个音符序列并开始倒计时，受试者面向显示屏，记忆音符序列，外接摄像头记录受试者的面部视频。此步骤要求受试者在有限的时间记忆音符序列，记忆时间过短会造成过大的认知负荷，导致受试者的放弃性行为，记忆时间过长会造成过低的认知负荷，导致较难检测；此步骤要求受试者尽量保持静止，避免产生过大的运动噪声，导致生理指标的提取结果误差过大；

S103、记忆时间倒计时归零后，显示屏自动切到下一页，受试者在面前的电子琴上弹奏出对应的音符序列，记录受试者的复现音符时间。此步骤记录的复现音符时间从任务绩效的角度反映认知负荷的高低，避免单一生理指标衡量认知负荷不够全面；此步骤受试者需在有限的时间复现音符序列，设定有限的时间与步骤S102设定记忆时限的目的相同；

S104、重复步骤S101-S103的过程，并且受试者在记忆后，弹奏出前一轮或前两轮的音符序列。此步骤要求受试者重复多轮测试，每轮测试的待记忆音符序列难度不同，以此产生不同水平的认知负荷，增加可评判的数据种类，验证认知负荷测量方法的普适性。

进一步地，所述步骤S2过程如下：

S201、对采集到的面部视频进行分帧和亮度增强：先对采集到的面部视频进行分帧，得到连续的彩色图片序列。图片的格式为RGB，其中R代表红色通道、G代表绿色通道、B代表蓝色通道；

再将图片由RGB颜色空间转换到YCrCb颜色空间，基于亮度与信噪比正相关的理论，对只包含亮度信息的Y空间的值乘以1.5，进行亮度的增强，增大信噪比。其中Y代表明亮度、Cr代表RGB输入信号红色部分与RGB信号亮度值之间的差异、Cb代表RGB输入信号蓝色部分与RGB信号亮度值之间的差异；

此步骤首先对面部视频进行分帧，将视频切割成连续的图像，便于后续的人脸识别；此步骤基于面部图像的亮度与提取的信号信噪比正相关的理论，对图像进行亮度增强，增大信噪比；此步骤将原始图像由RGB颜色空间转换到YCrCb颜色空间，只对与亮度相关的分量Y进行增强，避免直接在RGB颜色空间进行增强，破坏与提取出的脉搏波高相关的颜色信息；

S202、识别人脸，定位感兴趣区域：对亮度增强后的每一帧图片，使用基于梯度提高学习的回归树方法进行人脸关键点检测，这种方法可以快速地检测到人脸关键点，并根据前额信噪比高的理论依据，定位到前额部位，以此作为感兴趣区域。此步骤基于面部不同部位的信噪比不同的理论，通过检测人脸关键点的方法，选择高信噪比的前额作为感兴趣区域，用于后续脉搏波的提取；

S203、从感兴趣区域提取原始脉搏波：对感兴趣区域的图像进行通道分离，得到R、G、B三个通道的图像。不同通道的图像包含了不同的信息，G通道用于脉搏变异性的提取，R、B通道用于血氧饱和度的提取；

针对每个通道的图像，利用均值滤波降低噪声的思想，使用所有像素点的灰度均值作为脉搏波信号的幅值。对一段视频的多张图像进行步骤S202-S203的处理，按照时间排序，得到三个通道的原始脉搏波信号；

此步骤对图像进行了通道分离，对于只需要单通道信号就可以提取出的脉搏变异性，选择了信噪比最高的G通道作为后续指标提取的通道。对于需要两个不同通道信号才可以提取出的血氧饱和度，基于血红蛋白对红光、蓝光的吸收度较高的理论，选择R、B通道用于血氧饱和度的提取；

S204、将上述灰度均值与事先指定阈值进行比较，如果小于事先指定阈值，则认定前额无法作为提取脉搏波的感兴趣区域，选择次优解的脸颊作为感兴趣区域，进行步骤S203的操作，得到三个通道的原始脉搏波信号。此步骤阈值判断的依据是黑色的头发的灰度级较低，会拉低整体的灰度均值，且头发不包含脉搏信息，因此当灰度均值过低时，选择脸颊作为感兴趣区域。

进一步地，所述步骤S3过程如下：

S301、去除原始脉搏波的基线漂移：由于存在着呼吸行为对脉搏波的基线调制作用，对步骤S2还原得到的原始脉搏波，使用最小二乘法去除脉搏波的线性趋势，完成基线漂移去除，得到无基线漂移的原始脉搏波信号。此步骤为了解决呼吸对脉搏波的调制作用，避免基线漂移对后续生理指标提取造成误差，使用基于数学原理的最小二乘法去除基线漂移，最小二乘法通过线性拟合得到基线趋势的方程，将其从原始信号中减去；

S302、使用多级均匀相位经验模态分解算法对步骤S301得到的无基线漂移的原始脉搏波信号进行分解、筛选、重构，得到低噪声的信号；

非接触式视频信号信噪比低，均匀相位经验模态分解可以解决传统分解模态混叠的问题；多级分解可以进一步细分信号频段，提取出噪声低的脉搏波；

S303、将步骤S302得到的低噪声的信号输入一个巴特沃斯五阶滤波器，得到经过滤波的脉搏波信号。巴特沃斯五阶滤波器可以滤除与脉搏不相干的高频、低频噪声，最终输出纯净的脉搏波信号。

进一步地，所述步骤S4过程如下：

S401、进行峰值检测：对经过步骤S3去噪后的脉搏波信号，选择G通道的信号进行峰值检测，提取出所有波峰的时间，用于脉搏变异性的提取；这是由于波峰的时间变化可以反应脉搏的变化。此步骤通过判断脉搏波信号相邻数据点的相对大小来检测峰值点，峰值点的特点在于其左边、右边的数据点的幅值均比它要小，满足这个条件的即为检测到的峰值点；峰值点出现的时间可用于脉搏变异性信号的提取；

S402、还原脉搏变异性信号：对波峰的时间进行差分，得到脉搏的跳间间隔序列，使用三次样条插值法对此跳间间隔序列进行插值，得到脉搏变异性信号；此步骤通过差分得到的原始信号属于非均匀采样信号，包含的信息量太少，因此使用三次样条插值法对信号进行插值，得到包含有大量信息的脉搏变异性信号；

S403、提取多个脉搏变异性指标：对步骤S402得到的脉搏变异性信号进行特征提取，优选七个脉搏变异性指标，其中，在时域提取特征，得到均值MEAN、标准差SDPP，对脉搏变异性信号进行功率谱求解，并提取频域特征，得到信号总功率TP、甚低频段的功率VLF、低频段功率LF、高频段功率HF、低频与高频段的功率比LF/HF；此步骤选择的指标均与人体的交感神经、副交感神经的活动有关，与认知负荷的产生具有较高的关联性；

S404、计算血氧饱和度：使用R通道、B通道的脉搏波信号，利用含有未知参数的血氧饱和度经验公式与标准指夹式血氧计的实测数据进行线性拟合，求解出血氧饱和度经验公式的未知参数；使用拟合得到的血氧饱和度经验公式计算当前的血氧饱和度。

由于血氧饱和度经验公式包含了两个未知的参数，必须使用两组不同的信号去进行拟合。因此使用步骤S2和S3提取的R通道、B通道的脉搏波信号，利用血氧饱和度经验公式与标准指夹式血氧计的实测数据进行线性拟合，求解出血氧饱和度经验公式的未知参数。使用拟合得到的血氧饱和度经验公式与R通道、B通道的脉搏波信号的时域参数，包括均值与标准差，共同计算当前的血氧饱和度。血氧饱和度可以很好地反映人体在不同认知负荷下对氧气资源的使用情况，因而也可以用来衡量认知负荷的大小。

进一步地，所述步骤S5过程如下：

S501、对三类指标绘制频数直方图：对复现音符时间、七个脉搏变异性指标、血氧饱和度分指标绘制对应的频数直方图；此步骤进行统计的三类指标中，血氧饱和度、脉搏变异性指标从生理指标的角度去衡量大脑认知负荷水平的高低，复现音符时间从完成任务的绩效的角度去衡量大脑认知负荷水平的高低。多维度的评判方法减小了单一指标评判的误判率；特别说明：对三类指标进行统计分析是基于多名受试者获取的指标；

S502、设置组距：根据不同指标的数据跨度，设置不同的直方图组距，进行数据的合并，避免组距过大或过小导致分布出现错误，合理的组距设置可以避免后续分布曲线的方程求解出现错误；

S503、构建分布曲线：取所有直方图的中点，平滑连成曲线，作为当前指标的分布曲线，并求得分布曲线的方程；由于在数据量足够大时，频率可以用来代替概率，故使用频数直方图去拟合分布曲线，分布曲线本质上就是概率密度的分布；

S504、进行正态检验：基于大数定理，分数大都服从正态分布，因此对各个指标的分布曲线进行正态性检验，筛选服从正态分布的指标，作为后续量化的打分指标。此步骤利用分数正态分布的思想，对得到的各个指标的分布曲线检验其正态性，不满足正态分布的指标无法映射出对应的大脑认知负荷得分。

进一步地，所述步骤S6过程如下：

S601、对一位受试者执行步骤S1-S4，分别获得以下三类指标，分别为脉搏变异性、血氧饱和度、复现音符时间；此步骤是基于S5构建的各个指标的分布，进行大脑认知负荷量化测试的开始，从参与测试的受试者的面部视频中提取出两类生理指标：脉搏变异性与血氧饱和度，同时记录复现音符时间这类任务绩效指标，使用这三类指标进行大脑认知负荷量化打分；

S602、根据步骤S5正态性检验的结果，筛选出服从正态分布的数个指标，对每一个服从正态分布的指标，将各自的分布均值映射为一个中间分；将步骤S601实测得到的指标输入到对应的分布曲线方程中，按照分布曲线方程映射出以中间分为参考的分数；此步骤首先剔除无法进行量化的非正态分布指标，选择服从正态分布的指标，按照对应分布曲线方程映射出对应的量化分数；

S603、对步骤S602得到的各个分数进行平均，得到当前受试者的大脑认知负荷得分；此步骤为了能够综合评判受试者的大脑认知负荷得分，对步骤S602各个指标映射出的量化分数加权平均，得到最终的大脑认知负荷量化得分。

本发明相对于现有技术具有如下的优点及效果：

1)本发明使用生理指标去衡量大脑认知负荷的大小，解决了认知负荷量表测量的主观性，使用非接触式摄像头去捕捉面部视频，解决了接触式设备对受试者的不舒适感，避免了客观条件对测量结果的干扰。同时设计了弹琴记奏的场景进行实验，使用显示屏展示待记忆的音符序列，通过激发人脑记忆资源的调度，产生认知负荷；选择简谱符号来表示音符序列，避免零乐理基础的受试者读不懂题目；结合复现音符的完成时间与生理指标共同衡量认知负荷的方法，创建了一种认知负荷等级水平可控、手脑并用的实验环境，将认知负荷的考察面从单一的记忆资源调度扩展到听觉的维度，考察更加全面。

2)本发明提出基于统计的大脑认知负荷量化打分方法，对面部视频反演计算出的血氧饱和度、脉搏变异性系列指标以及记奏场景下的复现音符时间，进行直方图统计分析、正态检验，使用分数正态分布的思想构建分布模型、拟合分布曲线、量化打分，其结果直观，能客观地反映大脑认知负荷水平。血氧饱和度、脉搏变异性系列指标从生理指标的变化的角度反映认知负荷的变化，复现音符时间指标从任务绩效的角度去反应认知负荷的变化，避免单一生理指标衡量的不全面。

3)本发明提出了一种改进的经验模态分解方法，使用级联的均匀相位经验模态分解算法，对原始脉搏波进行分解、筛选、重构，很好地解决了非接触式信号谐波过多，信噪比低，较难还原出干净的信号的问题。同时使用均匀相位的经验模态分解算法，也能很好地解决传统经验模态分解算法模态混叠的问题。

4)本发明提出了一种自适应的感兴趣区域选择策略，通过设定固定的区域像素灰度阈值，判断首选感兴趣区域的额头是否被头发过度遮挡，进而选择合适的感兴趣区域提取高质量的脉搏波信号。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例1中公开的一种基于面部视频生理指标提取的大脑认知负荷量化方法的流程图；

图2是本发明实施例1中感兴趣区域选择策略的流程图；

图3是本发明实施例1中改进的经验模态分解算法的流程图；

图4是本发明实施例1中提取生理指标的流程图；

图5是本发明实施例1中对大脑认知负荷进行量化打分的系统框图；

图6是本发明实施例2中原始脉搏波波形图；

图7是本发明实施例2中去噪后的脉搏波波形图；

图8是本发明实施例2中血氧饱和度分布曲线图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施例公开了一种基于面部视频生理指标提取的大脑认知负荷测量方法，如图1所示，具体步骤如下：

S1、采集受试者在不同认知负荷下的记忆音符过程中的面部视频以及复现音符时间。面部视频用于提取相关的生理指标，从客观的角度来衡量认知负荷水平；复现音符时间是记忆过程结束后受试者回忆音符并完整弹奏的总时间，通过反映大脑的紧张程度来衡量认知负荷水平。

受试者通过观看显示屏上的音符序列，在有限时间内记住这些音符序列，同时在受试者记忆音符时使用摄像头记录受试者的面部无遮挡视频。不同的认知负荷通过增大音符序列的记忆难度控制。记忆完成后，受试者需在电子琴上弹奏记忆的音符序列，记录复现音符时间；

其中，音符序列是指从中音的“do”至中音的“xi”这一个八度内的七个单音符任意组合的结果；

记忆难度是通过衡量音符序列的单音个数来判断，单音个数越多，记忆难度越大。记忆难度与大脑当前承受的认知负荷水平相挂钩，通过改变音符序列中的单音个数来诱发不同水平的认知负荷，其中3个单音被定义为低认知负荷，4个、5个单音被定义为中认知负荷，6个、7个单音被定义为高认知负荷。

表1.单音个数与不同大脑认知负荷水平对应表

认知负荷水平	低	中	高
				音符单音数目	3	4、5	6、7

S2、定位感兴趣区域，提取脉搏波：对采集到的人脸面部视频，先进行视频分帧，获取到连续的图片，图片通过通道变换、亮度增强进行预处理，再使用人脸特征点检测的方法进行人脸识别，定位到感兴趣区域，获取感兴趣区域皮肤像素的灰度值，提取出原始脉搏波信号。设计了一种自适应的感兴趣区域选择方法，使用前额作为最优解、脸颊作为次优解，以应对额头被头发遮盖的情况。最终得到了R、G、B三个通道的原始脉搏波，用于不同指标的提取。

S3、去除脉搏波中的噪声：对还原出的原始脉搏波信号，先进行基线漂移的去除，再进行两次均匀相位的模态分解，提取与目标信号频率段最相关的信号，最后输入一个巴特沃斯带通滤波器，得到去噪后的脉搏波信号，从而提取不同的生理指标。

S4、从去噪的脉搏波中提取生理指标：针对去噪后的脉搏波信号，提取血氧饱和度和脉搏变异性，血氧饱和度使用R、B通道的脉搏波信号进行拟合得到，脉搏变异性通过提取G通道脉搏波的峰-峰时间间隔得到。

S5、进行分布模型的构建及正态检验：分别对上述血氧饱和度、脉搏变异性以及复现音符时间进行统计分析，构建每个指标的分布，从而建立各个指标对应的分布曲线方程，筛选服从正态分布的指标来量化打分。

S6、进行量化打分：采集受试者的人脸面部视频，重复步骤S1-S4得到三类指标：血氧饱和度、脉搏变异性、复现音符时间。重复步骤S5进行指标筛选，选择服从正态分布的指标，将血氧饱和度、脉搏变异性、复现音符时间分别输入到对应的曲线方程中，进行认知负荷的量化打分。对所有指标的打分结果进行平均，得到受试者的的大脑认知负荷得分。

上述的图片预处理、自适应感兴趣区域选取具体流程如图2所示:

S201、对采集到的面部视频进行分帧和亮度增强：先对采集到的面部视频进行分帧，得到连续的彩色图片序列，图片的格式为RGB。其中R代表红色通道、G代表绿色通道、B代表蓝色通道。再将图片由RGB颜色空间转换到YCrCb颜色空间，对Y空间的值乘以1.5，进行亮度增强，增大信噪比，再将增强后的图片转换回RGB颜色空间。其中Y代表明亮度、Cr代表RGB输入信号红色部分与RGB信号亮度值之间的差异、Cb代表RGB输入信号蓝色部分与RGB信号亮度值之间的差异。

RGB颜色空间与YCrCb颜色空间的转换公式如下：

Y＝0.257*R+0.504*G+0.098*B+16 公式(1)

Cb＝-0.148*R-0.291*G+0.439*B+128 公式(2)

Cr＝0.439*R-0.368*G-0.071*B+128 公式(3)

S202、识别人脸，定位感兴趣区域：对亮度增强后的每一帧图片，使用基于梯度提高学习的回归树方法进行人脸关键点检测，使用传统的68特征点人脸模板，检测到人脸关键点，并以此定位到前额部位作为感兴趣区域。

S203、从感兴趣区域提取原始脉搏波：对感兴趣区域的图像进行通道分离，得到R、G、B三个通道的图像。不同通道的图像包含了不同的信息，G通道用于脉搏变异性的提取，R、B通道用于血氧饱和度的提取；

针对每个通道的图像，使用所有像素点的灰度均值作为脉搏波信号的幅值。对一段视频的多张图像进行S202-S203的处理，按照时间排序，得到三个通道的原始脉搏波信号。

S204、将上述灰度均值与事先指定阈值进行比较，这个阈值设为30，如果小于30，则认定该区域无法作为提取脉搏波的感兴趣区域，选择次优解的脸颊作为感兴趣区域，进行步骤S203的操作，得到三个通道的原始脉搏波信号。

原始信号的去噪过程如图3所示：

S301、去除基线漂移：对步骤S2还原得到的原始脉搏波，使用最小二乘法去除脉搏波的线性趋势，完成基线漂移去除，得到无基线漂移的原始脉搏波信号。

S302、使用级联的均匀相位经验模态分解算法去噪：使用均匀相位经验模态分解对去基线漂移的脉搏波信号进行两级分解，对第一级分解后的每一层信号与原信号进行相关系数计算，根据相关系数的大小选择前三大的信号进行叠加。对叠加后的信号进行第二次均匀相位经验模态分解，根据希尔伯特变换的结果选择频段在1-4Hz的信号作为最终输出的脉搏波信号；

其中均匀相位经验模态分解的方法是基于经典经验模态分解算法的改进版，即EMD算法的改进版，EMD算法的执行步骤如下：

找到原始信号x(t)的所有极大值点和极小值点；

使用三次样条插值法对所有极值点进行拟合得到极大值点的信号、极小值点信号,对这两个信号进行平均得到m(t)；

计算原始信号x(t)与m(t)的差值信号，如下公式所示：

h(t)＝x(t)-m(t) 公式(4)

判断h(t)是否达到了收敛的条件，收敛条件一般有三个，分别是m(t)接近于0、h(t)局部极值点和过零点的数量差不超过1、达到了设定的迭代阈值，只要满足三个条件其中之一，就认为达到了收敛条件；

如果没有达到收敛条件，则重复执行前面的操作，否则得到本征分量IMF1＝m(t),和残差res1＝h(t)；

继续将残差res1作为新的输入信号，重复执行前面的步骤，直到整个分解过程结束；

分解后的信号形式为：

其中i表示第i组分解信号，N表示总共分解为N组信号；

由于EMD对信号进行分解会导致模态混叠的问题，因此这里使用均匀相位的EMD算法，对原始脉搏波进行分解。其基本思想与EMD相同，只是在原有的信号上加上一系列均匀分布的正弦函数作为扰动，计算加扰动后的EMD结果的均值作为每层分解的结果，其中，扰动函数的设计如下：

w＝ε_m·cos(2π·f_ω·t+θ_k) 公式(6)

f_ω＝1/2^m 公式(7)

θ_k＝2π(k-1)n_imf 公式(8)

n_imf＝log₂n 公式(9)

其中，w为扰动函数，ε_m表示残差信号的标准差，f_ω表示当前信号的频率，θ_k表示信号相位，m＝1:n_imf，k＝1,2,3,…,n_imf，n表示当前信号的长度。

S303、对步骤S302得到的低噪声的信号，输入一个巴特沃斯五阶滤波器，其上下截止频率分别是3Hz、1Hz，对应正常人的心跳范围60-180次/分，得到经过滤波的脉搏波信号。

脉搏变异性、血氧提取过程的流程图如图4所示。其具体的实施过程如下：

S401、经过步骤S3去噪后的脉搏波信号，选择G通道的信号进行峰值检测，提取出连续的波峰，要求峰值的幅值大于0，峰-峰间隔大于0.5秒。

S402、对连续的峰-峰值进行差分，得到脉搏的跳间间隔序列，使用三次样条插值法对此跳间间隔序列进行插值，得到脉搏变异性信号。

S403、提取多个脉搏变异性指标：对步骤S402得到的脉搏变异性信号进行时域特征提取，优选七个脉搏变异性指标，其中，在时域提取特征，得到均值MEAN、标准差SDPP，对脉搏变异性信号进行功率谱求解，并提取频域特征，得到信号总功率TP、甚低频段的功率VLF、低频段功率LF、高频段功率HF、低频与高频段的功率比LF/HF。

S404、使用步骤S2-S3提取的R通道、B通道的脉搏波信号，利用血氧饱和度经验公式与标准指夹式血氧计的实测数据进行线性拟合，得到血氧饱和度经验公式中的未知参数。使用拟合得到的血氧饱和度经验公式与R通道、B通道的脉搏波参数计算当前的血氧饱和度；

其中血氧饱和度经验公式为：

SPO₂＝A+K*X 公式(10)

SPO₂表示血氧饱和度，A、K为常数，由线性拟合得到，X为自变量，由R通道脉搏波和B通道脉搏波联合计算得到；

X的计算公式为：

其中std_r表示R通道的标准差，std_b表示B通道的标准差，mean_b表示B通道的均值，mean_r表示R通道的均值。

对于指标分布模型的构建、认知负荷量化打分的流程框图如图5所示。其具体的实施过程如下：

S501、绘制频数直方图：对复现音符时间、七个脉搏变异性指标、血氧饱和度分指标绘制对应的频数直方图。

S502、设置组距：根据不同指标的数据跨度，设置不同的直方图组距，进行数据的合并；

其中组距的确定公式如下：

组距＝极差/组数 公式(12)

极差表示组内最大值与最小值的差，组数设为8组。

S503、构建分布曲线：取所有直方图的中点，平滑连成曲线，作为当前指标的分布曲线，并求得分布曲线的方程。

S504、进行正态检验：基于大数定理，分数大都服从正态分布，因此对各个指标的分布曲线进行正态性检验，筛选服从正态分布的指标，作为后续量化的打分指标；

正态检验使用偏度-峰度检验法，其中偏度指的是统计数据分布偏斜方向和程度的度量，偏度等于0，表示与正态分布一致；峰度反映了峰部的尖度，峰度等于3，表示与正态分布一致。取偏度为-0.5到0.5，峰度为2.5-3.5时，认为服从正态分布。

S601、计算实测的指标：对一位受试者执行步骤S1-S4，分别获得以下三类指标，分别为脉搏变异性、血氧饱和度、复现音符时间。

S602、对单一指标进行量化打分：根据步骤S5正态性检验的结果，筛选出服从正态分布的多个指标。对每一个服从正态分布的指标，将各自的分布均值，映射为80分。将步骤S601实测得到的指标输入到对应的分布曲线方程中，按照分布曲线方程映射出以80分为参考的分数；对于在拉依达准则左边界外的指标设为0分，对于在拉依达准则右边界外的指标设为100分。

S603、对步骤S602得到的各个分数进行平均，得到当前受试者的大脑认知负荷得分。

实施例2

本实施例公开了一种基于面部视频生理指标提取的大脑认知负荷测量方法，以血氧饱和度为参考指标，说明使用血氧饱和度作为生理指标给大脑认知负荷打分的流程，其具体步骤如下：

S1、受试者坐在一个外接摄像头的显示屏前，显示屏由外接的智能终端控制，展示需要记忆的音符序列，摄像头采集受试者的无遮挡面部视频，受试者通过设置在面前的电子琴弹奏记忆的音符；

在显示屏上播放待记忆的一个音符序列并开始倒计时，受试者面向显示屏，记忆音符序列。受试者被要求身体保持静止，头部尽量不要晃动，不要用手或者其他物体遮挡面部，外接摄像头会记录受试者的面部视频；记忆结束后受试者有60秒的时间弹奏记忆的音符序列；

一轮结束后，进入下一轮，重复进行记忆音符序列并弹奏的过程，每位受试者进行五轮测试，并在第一、三、五轮记录记忆音符序列的面部视频。

S2、对采集到的受试者的面部视频进行分帧，得到连续的面部图像，将图像由RGB颜色空间转换到YCrCb颜色颜色空间，并进行亮度增强，增强的操作为Y通道数值乘1.5倍。对增强后的图像，选择额头作为感兴趣区域，将此区域分离成R、G、B三个通道，针对每个通道，对所有像素点的灰度值进行平均，得到三个通道信号的幅值。

对分帧得到的所有图片按照时间排序，进行上述操作，即得到R、G、B三个通道的原始脉搏波信号，如图6所示。

S3、使用改进的均匀模态分解算法对各个信号进行分解，选取第四、五、六层的分量进行信号的重构，再输入一个通带频率为1Hz-3Hz的带通滤波器，得到滤波后的脉搏波信号，如图7所示。

S4、由于只讨论血氧饱和度的提取，因此使用R通道、B通道的信号进行血氧饱和度的拟合与计算。待拟合的方程公式如实施例1公式(10)所示。根据实测数据与血氧计采集的血氧饱和度数据拟合结果，拟合后的方程为：

SPO₂＝98.9397-1.6853*X 公式(13)

对一位受试者面部视频还原的去噪后的脉搏波信号，根据实施例1公式(11)计算出X为0.9492，则血氧饱和度为97.34％。

S5、根据所有受试者的血氧饱和度绘制频数直方图，选用正态分布拟合出分布曲线，如图8所示。

S6、曲线服从均值为97.2494，标准差为0.1592的正态分布，因此设定均值97.2494对应的分数为80分，根据曲线方程，分数映射表如下：

表2.血氧饱和度与认知负荷分数映射表

根据分数映射表，血氧饱和度为97.34％的受试者的大脑认知负荷得分为90分。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于面部视频生理指标提取的大脑认知负荷量化方法，其特征在于，所述大脑认知负荷量化方法包括下列步骤：

S1、采集受试者在不同认知负荷下的记忆音符序列过程中的面部视频，并记录复现音符时间；其中，所述认知负荷是受试者大脑所承受的认知压力的大小，不同认知负荷水平是通过记忆不同长度的音符序列来划分；

所述复现音符时间是记忆过程结束后受试者回忆音符并完整弹奏的总时间，复现音符时间通过反映大脑的紧张程度来衡量认知负荷水平；所述音符序列是指从中音的“do”至中音的“xi”这一个八度内的七个单音符的任意组合；

S2、对采集到的人脸面部视频，进行人脸识别，定位到感兴趣区域，获取感兴趣区域皮肤像素的灰度值，提取出原始脉搏波信号；其中，所述感兴趣区域是用于提取脉搏波信号的人脸区域；

S3、对还原出的原始脉搏波信号，使用级联的均匀相位经验模态分解算法，并结合巴特沃斯带通滤波器进行噪声的去除，得到去噪后的脉搏波信号；

S4、针对去噪后的脉搏波信号，提取血氧饱和度和脉搏变异性，其中，所述血氧饱和度使用两个不同颜色通道的脉搏波进行拟合获得，所述脉搏变异性通过提取脉搏波的峰-峰时间间隔获得；

S5、分别对上述血氧饱和度、脉搏变异性以及复现音符时间进行统计分析，构建每个指标的分布，从而建立各个指标对应的分布曲线方程，筛选服从正态分布的指标，用于后续的量化打分；

S6、采集受试者的人脸面部视频，重复步骤S1-S4，得到血氧饱和度、脉搏变异性、复现音符时间；重复步骤S5进行指标筛选，选择服从正态分布的指标，将血氧饱和度、脉搏变异性、复现音符时间分别输入到对应的曲线方程中，进行认知负荷的量化打分。

2.根据权利要求1所述的基于面部视频生理指标提取的大脑认知负荷量化方法，其特征在于，所述步骤S1过程如下：

S101、受试者坐在一个外接摄像头的显示屏前，显示屏由外接的智能终端控制，展示需要记忆的音符序列，摄像头采集受试者的无遮挡面部视频，受试者通过设置在面前的电子琴弹奏记忆的音符；

S102、显示屏上播放待记忆的一个音符序列并开始倒计时，受试者面向显示屏，记忆音符序列，外接摄像头记录受试者的面部视频；

S103、记忆时间倒计时归零后，显示屏自动切到下一页，受试者在面前的电子琴上弹奏出对应的音符序列，记录受试者的复现音符时间；

S104、重复步骤S101-S103的过程，并且受试者在记忆后，弹奏出前一轮或前两轮的音符序列。

3.根据权利要求1所述的基于面部视频生理指标提取的大脑认知负荷量化方法，其特征在于，所述步骤S2过程如下：

S201、先对采集到的面部视频进行分帧，得到连续的彩色图片序列，图片的格式为RGB，其中R代表红色通道、G代表绿色通道、B代表蓝色通道，再将图片由RGB颜色空间转换到YCrCb颜色空间，进行亮度的增强，其中Y代表明亮度、Cr代表RGB输入信号红色部分与RGB信号亮度值之间的差异、Cb代表RGB输入信号蓝色部分与RGB信号亮度值之间的差异；

S202、对亮度增强后的每一帧图片，使用基于梯度提高学习的回归树方法进行人脸关键点检测，检测到人脸关键点，并以此定位到前额部位，以此作为感兴趣区域；

S203、对感兴趣区域的图像进行通道分离，得到R、G、B三个通道的图像；针对每个通道的图像，使用所有像素点的灰度均值作为脉搏波信号的幅值；对一段视频分帧的多张图像进行相同的处理，按照时间排序，得到三个通道的原始脉搏波信号；

S204、将上述灰度均值与事先指定阈值进行比较，如果小于事先指定阈值，则认定前额无法作为提取脉搏波的感兴趣区域，选择次优解的脸颊作为感兴趣区域，进行步骤S203的操作，得到三个通道的原始脉搏波信号。

4.根据权利要求1所述的基于面部视频生理指标提取的大脑认知负荷量化方法，其特征在于，所述步骤S3过程如下：

S301、对步骤S2还原得到的原始脉搏波，使用最小二乘法去除脉搏波的线性趋势，完成基线漂移去除，得到无基线漂移的原始脉搏波信号；

S302、使用多级均匀相位经验模态分解算法对步骤S301得到的无基线漂移的原始脉搏波信号进行分解、筛选、重构，得到低噪声的信号；

S303、对步骤S302得到的低噪声的信号输入一个巴特沃斯五阶滤波器，得到经过滤波的脉搏波信号。

5.根据权利要求1所述的基于面部视频生理指标提取的大脑认知负荷量化方法，其特征在于，所述步骤S4过程如下：

S401、对经过步骤S3去噪后的脉搏波信号，选择G通道的信号进行峰值检测，提取出所有波峰的时间，用于脉搏变异性的提取；

S402、对波峰的时间进行差分，得到脉搏的跳间间隔序列，使用三次样条插值法对此跳间间隔序列进行插值，得到脉搏变异性信号；

S403、对步骤S402得到的脉搏变异性信号进行特征提取，优选七个脉搏变异性指标，其中，在时域提取特征，得到均值MEAN、标准差SDPP，对脉搏变异性信号进行功率谱求解，并提取频域特征，得到信号总功率TP、甚低频段的功率VLF、低频段功率LF、高频段功率HF、低频与高频段的功率比LF/HF；

S404、使用R通道、B通道的脉搏波信号，利用含有未知参数的血氧饱和度经验公式与标准指夹式血氧计的实测数据进行线性拟合，求解出血氧饱和度经验公式的未知参数；使用拟合得到的血氧饱和度经验公式计算当前的血氧饱和度。

6.根据权利要求1所述的基于面部视频生理指标提取的大脑认知负荷量化方法，其特征在于，所述步骤S5过程如下：

S501、对复现音符时间、七个脉搏变异性指标、血氧饱和度分指标绘制对应的频数直方图；

S502、根据不同指标的数据跨度，设置不同的直方图组距，进行数据的合并；

S503、取所有直方图的中点，平滑连成曲线，作为当前指标的分布曲线，并求得分布曲线的方程；

S504、对各个指标的分布曲线进行正态性检验，筛选服从正态分布的指标，作为后续量化的打分指标。

7.根据权利要求1所述的基于面部视频生理指标提取的大脑认知负荷量化方法，其特征在于，所述步骤S6过程如下：

S601、对一位受试者执行步骤S1-S4，分别获得以下三类指标，分别为脉搏变异性、血氧饱和度、复现音符时间；

S602、根据步骤S5正态性检验的结果，筛选出服从正态分布的数个指标，对每一个服从正态分布的指标，将各自的分布均值映射为一个中间分；将步骤S601实测得到的指标输入到对应的分布曲线方程中，按照分布曲线方程映射出以中间分为参考的分数；

S603、对步骤S602得到的各个分数进行平均，得到当前受试者的大脑认知负荷得分。

Images