CN112800908B

CN112800908B - 一种基于视频中个体步态分析的焦虑感知模型的建立方法

Info

Publication number: CN112800908B
Application number: CN202110070823.1A
Authority: CN
Inventors: 朱廷劭; 刘晓倩; 王亚猛; 赵楠
Original assignee: Institute of Psychology of CAS
Current assignee: Institute of Psychology of CAS
Priority date: 2021-01-19
Filing date: 2021-01-19
Publication date: 2024-03-26
Anticipated expiration: 2041-01-19
Also published as: CN112800908A

Abstract

本发明公开了基于视频中个体步态分析的焦虑感知模型的建立方法，采集多位个体在步行区域连续走路的步态视频数据和心理指标标注数据；在二维空间中对所采集到的步态视频数据中的躯体关键点进行去噪预处理、特征提取，得到时域特征和频域特征；采用主成分分析对所得频域特征进行降维和特征选择，采用序列浮动后向选择算法通过分类器优化所有时域特征和频域特征所组成的特征集，得到优化后的特征子集；采用机器学习中的回归算法，结合优化后的特征子集和多位个体心理指标标注数据进行模型训练和验证，得到个体焦虑感知预测模型。本发明对个体焦虑情绪的自动识别，无需用户自我报告，时效性高，与量表焦虑得分相关系数为0.46，达到中等相关水平。

Description

一种基于视频中个体步态分析的焦虑感知模型的建立方法

技术领域

本发明涉及情绪感知技术领域，具体涉及一种基于视频中个体步态分析的焦虑感知模型的建立方法。

背景技术

随着人们生活节奏的加快、生活压力的增大和经济的飞速发展，心理健康问题对人们生活质量的影响也越来越大。随着心理健康问题而酿成的悲剧性事件的数量也在与日俱增。全世界大多数国家，有33％的人在一生中患有某种程度的心理疾病。世界卫生组织对包括中国在内的14个发展中国家的心理健康进行调查显示，不同的国家和地区，有心理健康问题的人群发生率在4.3％-24.4％之间。我国卫生部的数据显示，我国患有重精神和心理障碍疾病的患者达1600多万。患有不同程度精神或心理障碍需要专业人员干的人数则更多，估计达到1.9亿人，也就是说，每10人中至少有1人存在心理问题，需要心理辅导。因此，是否能够及时准确地感知出人们的心理状态就显得及为重要。

由于个体的心理特征、主观感觉，作为内隐变量无法直接测量，目前在传统的心理学、生理学等基础上的诊断方法主要有两种：基于访谈者的症状评估(他评)和访谈者的自我报告(自陈法)。这两种方式对于获取个体心理状态虽然具有可行性，但是在实际操作中，存在以下突出问题：

(1)调查以一种“侵扰式”的方法展开，需要受调查者填写问卷或接受访谈，受到社会赞许性的影响，受访者可能由于一些原因不愿意提供对自己状态的真实描述。

(2)受试者的作答往往是被动的，其对问题的回答由于无法准确描述等原因而与现实情况存在偏差。

(3)需要的调查周期长，并且需要大量人力、物力资源的支持，给调查的及时性、连续性造成了不利影响，由于调查成本较高，收集数据的规模上也有较大的限制。

同时，由于对心理问题的认识不深，很多人没有意识到自己正受到心理问题的困扰，在身心健康出现问题时不知道是否应该求助。因此，建立一种新的研究方法能够便捷准确预测出人们的心理健康状况就迫在眉睫。

发明内容

为了解决上述所存在的技术问题，实现对人们心理情绪状况的准确预测，解决心理上的困扰，为此，本发明提供了一种基于视频中个体步态分析的焦虑感知模型的建立方法。

本发明采用如下技术方案：

步骤1，填写广泛性焦虑障碍量表(GAD-7)，获取多位个体的心理指标标注数据；

步骤2，采集多位个体在步行区域连续走路的全身无遮挡步态视频数据，且与步骤1中所测个体的心理指标标注数据相对应；

步骤3.1，在二维空间中对所采集到的步态视频数据中的躯体关键点进行数据去噪预处理；

步骤4，采用时域分析方法提取步态视频数据的时域特征；采用频域分析方法分别对每个被试的各躯体关键点在二维空间中所形成的步态数据进行傅里叶变换，对每个躯体关键点经傅里叶变换后的系数分别按振幅的大小进行排列，选取振幅较大的前N个系数，同时计算振幅较大的前N个系数所对应的N个频率和N个相位作为频域特征；

步骤5，采用主成分分析对步骤4中所得频域特征进行降维和特征选择，采用序列浮动后向选择(SFBS)算法通过分类器优化所有时域特征和频域特征所组成的特征集，得到优化后的特征子集；

步骤6，采用机器学习中的回归算法，结合优化后的特征子集和步骤1中得到的多位个体心理指标标注数据进行模型训练和验证，得到并保存个体焦虑感知预测模型。

进一步地，所述方法还包括坐标平移步骤3.2，将去噪处理后的步态视频数据中的坐标原点平移至平人的脊柱中心。

更进一步地，所述方法还包括相位对齐步骤3.3，通过截取步态视频片段，使被试在每段步态视频数据中的起脚保持一致，且保持每段步态视频数据具有相同的帧数。

所述步骤2中，在明亮安静的室内空间架设摄像装置，根据播放的语音指令，在设定的步行区域内连续拍摄被试全身无遮挡的步态视频资料，步态视频采集时间1min～3min，采集频率为25Hz。

所述步骤3.1中的躯体关键点包括18个关节点，分别分布在躯体的中轴线和躯体两侧，包括左右眼睛、左右耳朵、鼻子、脖颈、左右肩膀、左右手肘、左右手腕、左右大腿、左右膝盖以及左右脚踝。

所述步骤4中对每个被试在各个躯体关键点的每个维度的步态数据上分别选取经傅里叶变换后的系数中振幅最大的前20个系数，计算其对应的频率和相位，共得到40个频域特征。

所述步骤5中使用主成分分析(Principal components analysis,PCA)对步骤4中所得频域特征进行降维，选取频域特征进行变换后的前100个主成分，使得重构误差小于5％，降到100维。

通过时域分析法计算出被试关节位置在时间上的变化以及不同关节间位置关系，计算出步行速度、左/右周期、左/右腿步幅、左/右腿抬高共计7个步态特征的均值和方差作为时域特征。

所述步骤6中采用机器学习中的回归学习算法GPR建立预测模型，并采用十折交叉验证对所建立的个体焦虑感知预测模型进行验证。

本发明技术方案具有如下优点：

A.本发明通过所提供的步态分析方法建立心理焦虑感知模型，所建立的预测模型可以实现对个体焦虑情绪的自动识别，无需用户自我报告，时效性高；整合焦虑感知预测模型建立预测系统，机器模型预测的个体焦虑状态的得分与量表获得的个体焦虑状态得分之间的相关系数可达到0.46，达到中等相关水平

B.本发明通过将步态视频数据置于二维空间中，采用数据去噪，消除原始数据中噪声数据；采用坐标平移和相位对齐方法，排除人的位置变化的干扰；通过对所有躯体关键点的时域和频域特征进行特征提取和选择，辅以降维，显著提高数据计算时效，提高感知模型精度。

C.本发明所提供的焦虑感知模型建立方法是基于被试个体的步态视频资料，无需用户执行额外的测试任务，对用户没有任何干扰，能够更自然地实现对行为数据的记录和焦虑水平的评估，生态效度高。

D.本发明在获取被试步态视频资料时，可以将摄像机架设在不同的工作环境中，能够方便测量在不同场景下对用户的焦虑水平进行自动评估，不受时间、地点限制。

附图说明

为了更清楚地说明本发明具体实施方式，下面将对具体实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的焦虑感知建模方法图示；

图2为本发明中基于视频分析捕捉的躯体关键点示例图示；

图3为本发明所提供的焦虑感知建模方法流程图；

图4步态视频数据的相位对齐图；

图5步态视频数据获取设计图示。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图3所示，本发明提供了基于视频中个体步态分析的焦虑感知模型的建立方法，包括如下步骤：

【S1】填写广泛性焦虑障碍量表(GAD-7)，获取多位个体的心理指标标注数据，即，获取不同个体焦虑心理状态的量表得分。

【S2】采集多位个体在步行区域连续走路的全身无遮挡步态视频数据，记录被试个体步态视频数据及对应的心理指标标注数据。

如图5所示，在数据采集过程中，具体的行为数据采集方案设计如下：

场地要求：

在明亮的室内空间，保证空间长度不少于7米，宽度不少于3米，设置步行区域，该区域范围长6m宽1m。

数据采集要求：

提前在空间内确定出摄像机位置并画出被试走路范围，保证能够连续拍摄被试的全身无遮挡的步态视频。

设备要求：

实验场景需要1台高清摄像机和1个三脚架。

实验开始时发出语音提醒：“请在我说开始后按照日常状态在规定区域内行走2分钟，听到结束指令后停止，谢谢”。

实验结束时发出语音提醒：“谢谢您的参与”。

【S3.1】去噪处理

在二维空间中对所采集到的步态视频数据中的躯体关键点进行数据去噪预处理。

通过视频摄像头记录个体在日常状态中的行为动作进行采集和分析。在对步态视频文件中个体动作的分析中，通过对躯体关键点的捕捉和跟踪来描述个体的运动模式。本发明使用基于Openpose工具包开发的躯体关键点检测及跟踪算法，捕捉记录步态视频中躯干活动的18个关键点的二维坐标，视频的采样频率为25Hz。

如图2所示，视频分析中所使用的躯体关键点包括18个点，分别分布在躯体的中轴线和躯体两侧，包括左右眼睛、左右耳朵、鼻子、脖颈、左右肩膀、左右手肘、左右手腕、左右大腿、左右膝盖以及左右脚踝。

随着时间的推移，关节位置在二维空间中形成了一条轨迹。而由于抖动(随机噪声)和遮挡(比如转身时手腕被遮挡)，这条轨迹上有许多异常的波动，这些波动可以看做信号中的噪声。在时频分析中，噪声是信号中比重小的部分，一般来说集中在信号的高频区域，采用低通滤波过滤噪声。

滤波的数学原理是卷积定理：两个函数在时域上的卷积等于它们在频域上的乘积。卷积的表达式如下：

其中x(t)是时域上的信号，h(t)是滤波器函数，n是滤波器的位移。卷积的输出y(n)是滤波后的信号，对于有限长的信号和滤波器，它的长度与x(t)和h(t)的长度有关。本发明中，采用高斯滤波器进行低通滤波。

【S3.2】坐标平移

由于被试在矩形区域内来回行走的过程中，很难做到沿着一条直线行走，每一次来回的位置都会变化，而位置的变化并不等同于步态的变化。为了排除人的位置对步态变化的干扰，坐标原点摄像头平移到人的脊柱中心，即认为脊柱中心的位置是不变的。

设某一帧脊柱中心的坐标为O(x₀，y₀)，其它关节的坐标为P(x，y)，则这一帧其它关节平移后的坐标P′如下，对所有的帧重复这一操作。

P′(x′，y′)＝P(x，y)-O(x₀，y₀)

【S3.3】相位对齐

步态视频数据采用分段处理，每一段步态视频数据设置一个来回。在被试来回行走的过程中，不能保证每段步态视频数据开始时具有相同的相位，即每段步态视频数据开始时被试是左脚在前还是右脚在前。由于本发明提取的特征与相位有关，为了避免相位的不同影响步态的特征，需要对齐每一段步态视频数据，本发明通过截取片段使得每段步态视频数据开始时被试者都是右脚在前。

坐标平移后，通过寻找右脚踝的x坐标的局部极大值点，可以找到用户右脚在前的位置。第一个局部极大值点作为这一段数据的起始点，找到对应的时间戳，删除此刻之前的数据。然后为了使每一段步态视频数据的帧数相同，从起始点往后保留64帧作为对齐后的数据，当然还可以保留其它数量的帧数。图4展示了相位对齐前后，四段步态视频数据的轨迹。相位对齐后，每一段步态视频数据都有64帧，并且开始时被试的右脚都在前。

【S4】特征提取

采用频域分析方法分别对每个被试的各躯体关键点在二维空间中所形成的步态数据进行傅里叶变换，对每个躯体关键点经傅里叶变换后的系数按振幅的大小进行排列，选取振幅较大的前N个系数，计算出对应的频率和相位作为频域特征。

在本发明中，特征提取与选择是重要环节，行为数据(加速度数据、空间坐标数据)并不能直接用于预测模型的建立，也无法代表被试的心理指标水平。因此，在建立焦虑感知模型之前，要提取出能够表征心理指标水平的特征值。对18个关节点行为数据的特征提取，主要是两方面的特征：时域特征和频域特征。时域特征展示了行为数据在时间维度上的特性，频域特征代表了行为数据在频域维度上的特性。

时域特征的提取，首先通过躯体关节位置在时间上的变化以及不同关节之间的位置关系，计算出步行速度、左/右腿周期、左/右腿步幅、左/右腿抬高共7种时域特征。为了减少误差，步行速度选取了每一段步态视频数据的平均速度，即开始和结束时人的位置变化除以这一段数据经过的时间。坐标系的x轴沿着摄像头拍摄方向，即被试者步行的方向，通过左右脚踝的x坐标的极大值点来划分每一步。左/右腿步幅即每一步的位移，从起始和结束时脚踝的位置变化得出；左/右腿周期即每一步经过的时间，从经过的帧数计算得出；左/右脚抬高从脚踝的高度变化得出，一步之内y坐标的最大值减去最小值。为了减少冗余特征，本发明优选仅计算出它们的均值和方差作为特征，共7*2＝14个时域特征。

步态数据是一个与时间相关运动过程，由于与信号具有相似之处，可以使用信号处理上的时频分析技术来处理。本发明使用傅里叶变换，由于频域上的特征可以更好地反映步态数据的规律和周期性，在频域上的细微变化可以反映不同情绪的特点。步态数据经过傅里叶变换后主要有频率、振幅和相位三种特征。其中振幅大的分量能量大，占比重大，能够体现出步态数据的主要特点。本发明中，优选地，首先对每个被试在各个躯体关键点的每个维度下的步态数据上分别选取经傅里叶变换后的系数中振幅最大的前20个系数，最后计算出相应的频率和相位共计40个频域特征。所以最终在二维空间的样本数据中提取的频域特征有40*2*18＝1440个。

【S5】特征选择

采用主成分分析对步骤【S4】中所得频域特征进行降维和特征选择，采用序列浮动后向选择(SFBS)算法通过分类器优化所有时域特征和频域特征所组成的特征集，得到优化后的特征子集。

在提取的时域特征和频域特征中，难免存在冗余的特征，或者是影响模型效果的特征。为了使得模型更加简单高效，并提取出有利于分类的特征，需要进行降维和特征选择。

由于提取的频域特征远比时域特征多，每个特征都在不同程度上反映了所研究问题的某些信息，并且特征之间彼此有一定的相关性，但是变量太多会增加计算量和问题的复杂性。本发明使用主成分分析(Principal components analysis，PCA)对频域特征进行降维，选取了频域特征进行变换后的前100个主成分，使得重构误差小于5％，降到100维。

特征选择是指从已有的特征集中选出部分特征形成特征子集，使得评价函数最优化，评价函数是用于评价一个特征子集好坏的指标，这里采用封装器(Wrapper)作为评价函数。具体来说，先将时域特征和频域特征合并为总体特征集，然后通过特征选择选取总体特征集中能够使得机器学习性能达到最优性能的特征子集。本发明采用序列浮动后向选择(Sequential Floating Backward Selection,SFBS)算法对特定的分类器优化特征集。该算法由增L去R选择算法发展而来，与增L去R选择算法的不同之处在于序列浮动选择的L与R不是固定的，而是“浮动”的，也就是会变化的。序列浮动选择结合了序列前向选择、序列后向选择、增L去R选择等算法的特点，并弥补了它们的缺点。

【S6】采用机器学习中的回归算法，结合优化后的特征子集和步骤1中得到的多位个体心理指标标注数据进行模型训练和验证，使用GPR(Gaussian process regression，高斯过程回归)训练得到并保存个体焦虑感知预测模型。

本发明主要利用机器学习中的回归算法建立预测模型，使用的回归学习算法是GPR，是使用高斯过程(Gaussian Process,GP)先验对数据进行回归分析的非参数模型。GPR的模型假设包括噪声(回归残差)和高斯过程先验两部分，其求解按贝叶斯推断(Bayesianinference)进行。若不限制核函数的形式，GPR在理论上是紧致空间(compact space)内任意连续函数的通用近似(universal approxi mator)。此外，GPR可提供预测结果的后验，且在似然为正态分布时，该后验具有解析形式。因此，GPR是一个具有泛用性和可解析性的概率模型。

在机器学习和模式识别的相关研究中，交叉验证(Cross validation)常被用于防止模型过于复杂而引起的过拟合，有时亦称循环估计，是一种统计学上将数据集(dataset)切割成较小子集的实用方法。其思想是先在一个子集上做分析，而其它子集则用来做后续对此分析的确认及验证。一开始的子集被称为训练集(training set)。而其它的子集则被称为测试集(testing set)。交叉验证是一种评估统计分析、机器学习算法对独立于训练数据的数据集的泛化能力(generalize)。

本发明中采用十折交叉验证(10-fold cross-validation)，用来测试算法准确性。具体来说，将数据集分成十分，轮流将其中9份作为训练数据，1份作为测试数据，进行试验。每次试验都会得出相应的正确率(或差错率)。10次的结果的正确率(或差错率)的平均值作为对算法精度的估计。十折交叉验证可以有效的避免过拟合以及欠学习状态的发生，最后得到的结果也比较具有说服性。

将模型训练后得到的模型进行整合，并利用PyQT开发系统界面，完成系统开发。

本发明设计为焦虑感知系统，通过摄像机记录个体在规定区域里(1*6m)来回步行的图像，配合所建立的焦虑感知模型，实现对个体焦虑的实时识别。

本发明基于机器学习方法，建立躯干各关节点运动特征到焦虑的预测模型。通过躯干关节运动数据中提取特征作为自变量，对应的心理指标量表得分作为因变量，调用机器学习算法，训练预测模型。在得到预测模型之后，针对新的躯干关节运动数据，就可以利用训练得到的模型实现对个体焦虑的自动评估，并完成基于视频中个体步态分析的焦虑感知系统的界面开发。

目前，将所建立的焦虑感知模型嵌入计算机中，形成检测分析系统，系统具备的心理焦虑感知能力，机器模型预测的个体焦虑状态的得分与量表获得的个体焦虑状态得分之间的相关系数可达到0.46，中等相关水平。本发明只需通过录制一段被试的步态视频，并输入计算机中，通过去噪、特征提取与选择，再经所建立的焦虑感知模型进行预测后得出分值，并输出，根据得分及时对被试的焦虑情绪进行评价，无需用户执行额外的测试任务，对用户没有任何干扰，能够更自然地实现对行为数据的记录和焦虑水平的评估，生态效度高。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims

1.一种基于视频中个体步态分析的焦虑感知模型的建立方法，其特征在于，所述方法包括如下步骤：

在明亮安静的室内空间架设摄像装置，根据播放的语音指令，在设定的步行区域内连续拍摄被试全身无遮挡的步态视频资料，步态视频采集时间1min～3min，采集频率为25Hz；

步骤3.2，将去噪处理后的步态视频数据中的坐标原点平移至人的脊柱中心；

步骤3.3，通过截取步态视频片段，通过寻找同一脚踝的x坐标的局部极大值点，使被试在每段步态视频数据起脚保持一致，且保持每段步态视频数据具有相同的帧数，即每段步态视频数据开始时具有相同的相位，使被试者都是右脚在前或者都是左脚在前；

步骤4，采用时域分析方法提取步态视频数据的时域特征；采用频域分析方法分别对每个被试的各躯体关键点在二维空间中所形成的步态数据进行傅里叶变换，对每个躯体关键点经傅里叶变换后的系数按振幅的大小进行排列，选取振幅较大的前N个系数，同时计算振幅较大的前N个系数所对应的N个频率和N个相位作为频域特征；

2.根据权利要求1所述的基于视频中个体步态分析的焦虑感知模型的建立方法，其特征在于，所述步骤3.1中的躯体关键点包括18个关节点，分别分布在躯体的中轴线和躯体两侧，包括左右眼睛、左右耳朵、鼻子、脖颈、左右肩膀、左右手肘、左右手腕、左右大腿、左右膝盖以及左右脚踝。

3.根据权利要求1所述的基于视频中个体步态分析的焦虑感知模型的建立方法，其特征在于，所述步骤4中对每个被试在各个躯体关键点的每个维度的步态数据上分别选取经傅里叶变换后的系数中振幅最大的前20个系数，计算其对应的频率和相位，共得到40个频域特征。

4.根据权利要求1所述的基于视频中个体步态分析的焦虑感知模型的建立方法，其特征在于，所述步骤5中使用主成分分析(Principalcomponentsanalysis,PCA)对步骤4中所得频域特征进行降维，选取频域特征进行变换后的前100个主成分，使得重构误差小于5％，降到100维。

5.根据权利要求1所述的基于视频中个体步态分析的焦虑感知模型的建立方法，其特征在于，通过时域分析法计算出被试关节位置在时间上的变化以及不同关节间位置关系，计算出步行速度、左/右周期、左/右腿步幅、左/右腿抬高共计7个步态特征的均值和方差作为时域特征。

6.根据权利要求1所述的基于视频中个体步态分析的焦虑感知模型的建立方法，其特征在于，所述步骤6中采用机器学习中的回归学习算法GPR建立预测模型，并采用十折交叉验证对所建立的个体焦虑感知预测模型进行验证。