CN112800908B - 一种基于视频中个体步态分析的焦虑感知模型的建立方法 - Google Patents
一种基于视频中个体步态分析的焦虑感知模型的建立方法 Download PDFInfo
- Publication number
- CN112800908B CN112800908B CN202110070823.1A CN202110070823A CN112800908B CN 112800908 B CN112800908 B CN 112800908B CN 202110070823 A CN202110070823 A CN 202110070823A CN 112800908 B CN112800908 B CN 112800908B
- Authority
- CN
- China
- Prior art keywords
- gait
- anxiety
- individual
- data
- frequency domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005021 gait Effects 0.000 title claims abstract description 75
- 208000019901 Anxiety disease Diseases 0.000 title claims abstract description 45
- 230000036506 anxiety Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004458 analytical method Methods 0.000 title claims abstract description 32
- 230000008447 perception Effects 0.000 title claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000010801 machine learning Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000000513 principal component analysis Methods 0.000 claims abstract description 8
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 230000009467 reduction Effects 0.000 claims abstract description 6
- 238000012795 verification Methods 0.000 claims abstract description 5
- 210000002683 foot Anatomy 0.000 claims description 10
- 210000003423 ankle Anatomy 0.000 claims description 9
- 210000002414 leg Anatomy 0.000 claims description 9
- 238000002790 cross-validation Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 6
- 210000000707 wrist Anatomy 0.000 claims description 4
- 208000011688 Generalised anxiety disease Diseases 0.000 claims description 3
- 210000005069 ears Anatomy 0.000 claims description 3
- 208000029364 generalized anxiety disease Diseases 0.000 claims description 3
- 210000003127 knee Anatomy 0.000 claims description 3
- 210000000689 upper leg Anatomy 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000008451 emotion Effects 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000008859 change Effects 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000003340 mental effect Effects 0.000 description 4
- 208000020016 psychiatric disease Diseases 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 230000004630 mental health Effects 0.000 description 3
- 230000009323 psychological health Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Psychiatry (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Social Psychology (AREA)
- Pathology (AREA)
- Human Computer Interaction (AREA)
- Developmental Disabilities (AREA)
- Bioinformatics & Computational Biology (AREA)
- Educational Technology (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Epidemiology (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Primary Health Care (AREA)
- Psychology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于视频中个体步态分析的焦虑感知模型的建立方法,采集多位个体在步行区域连续走路的步态视频数据和心理指标标注数据;在二维空间中对所采集到的步态视频数据中的躯体关键点进行去噪预处理、特征提取,得到时域特征和频域特征;采用主成分分析对所得频域特征进行降维和特征选择,采用序列浮动后向选择算法通过分类器优化所有时域特征和频域特征所组成的特征集,得到优化后的特征子集;采用机器学习中的回归算法,结合优化后的特征子集和多位个体心理指标标注数据进行模型训练和验证,得到个体焦虑感知预测模型。本发明对个体焦虑情绪的自动识别,无需用户自我报告,时效性高,与量表焦虑得分相关系数为0.46,达到中等相关水平。
Description
技术领域
本发明涉及情绪感知技术领域,具体涉及一种基于视频中个体步态分析的焦虑感知模型的建立方法。
背景技术
随着人们生活节奏的加快、生活压力的增大和经济的飞速发展,心理健康问题对人们生活质量的影响也越来越大。随着心理健康问题而酿成的悲剧性事件的数量也在与日俱增。全世界大多数国家,有33%的人在一生中患有某种程度的心理疾病。世界卫生组织对包括中国在内的14个发展中国家的心理健康进行调查显示,不同的国家和地区,有心理健康问题的人群发生率在4.3%-24.4%之间。我国卫生部的数据显示,我国患有重精神和心理障碍疾病的患者达1600多万。患有不同程度精神或心理障碍需要专业人员干的人数则更多,估计达到1.9亿人,也就是说,每10人中至少有1人存在心理问题,需要心理辅导。因此,是否能够及时准确地感知出人们的心理状态就显得及为重要。
由于个体的心理特征、主观感觉,作为内隐变量无法直接测量,目前在传统的心理学、生理学等基础上的诊断方法主要有两种:基于访谈者的症状评估(他评)和访谈者的自我报告(自陈法)。这两种方式对于获取个体心理状态虽然具有可行性,但是在实际操作中,存在以下突出问题:
(1)调查以一种“侵扰式”的方法展开,需要受调查者填写问卷或接受访谈,受到社会赞许性的影响,受访者可能由于一些原因不愿意提供对自己状态的真实描述。
(2)受试者的作答往往是被动的,其对问题的回答由于无法准确描述等原因而与现实情况存在偏差。
(3)需要的调查周期长,并且需要大量人力、物力资源的支持,给调查的及时性、连续性造成了不利影响,由于调查成本较高,收集数据的规模上也有较大的限制。
同时,由于对心理问题的认识不深,很多人没有意识到自己正受到心理问题的困扰,在身心健康出现问题时不知道是否应该求助。因此,建立一种新的研究方法能够便捷准确预测出人们的心理健康状况就迫在眉睫。
发明内容
为了解决上述所存在的技术问题,实现对人们心理情绪状况的准确预测,解决心理上的困扰,为此,本发明提供了一种基于视频中个体步态分析的焦虑感知模型的建立方法。
本发明采用如下技术方案:
步骤1,填写广泛性焦虑障碍量表(GAD-7),获取多位个体的心理指标标注数据;
步骤2,采集多位个体在步行区域连续走路的全身无遮挡步态视频数据,且与步骤1中所测个体的心理指标标注数据相对应;
步骤3.1,在二维空间中对所采集到的步态视频数据中的躯体关键点进行数据去噪预处理;
步骤4,采用时域分析方法提取步态视频数据的时域特征;采用频域分析方法分别对每个被试的各躯体关键点在二维空间中所形成的步态数据进行傅里叶变换,对每个躯体关键点经傅里叶变换后的系数分别按振幅的大小进行排列,选取振幅较大的前N个系数,同时计算振幅较大的前N个系数所对应的N个频率和N个相位作为频域特征;
步骤5,采用主成分分析对步骤4中所得频域特征进行降维和特征选择,采用序列浮动后向选择(SFBS)算法通过分类器优化所有时域特征和频域特征所组成的特征集,得到优化后的特征子集;
步骤6,采用机器学习中的回归算法,结合优化后的特征子集和步骤1中得到的多位个体心理指标标注数据进行模型训练和验证,得到并保存个体焦虑感知预测模型。
进一步地,所述方法还包括坐标平移步骤3.2,将去噪处理后的步态视频数据中的坐标原点平移至平人的脊柱中心。
更进一步地,所述方法还包括相位对齐步骤3.3,通过截取步态视频片段,使被试在每段步态视频数据中的起脚保持一致,且保持每段步态视频数据具有相同的帧数。
所述步骤2中,在明亮安静的室内空间架设摄像装置,根据播放的语音指令,在设定的步行区域内连续拍摄被试全身无遮挡的步态视频资料,步态视频采集时间1min~3min,采集频率为25Hz。
所述步骤3.1中的躯体关键点包括18个关节点,分别分布在躯体的中轴线和躯体两侧,包括左右眼睛、左右耳朵、鼻子、脖颈、左右肩膀、左右手肘、左右手腕、左右大腿、左右膝盖以及左右脚踝。
所述步骤4中对每个被试在各个躯体关键点的每个维度的步态数据上分别选取经傅里叶变换后的系数中振幅最大的前20个系数,计算其对应的频率和相位,共得到40个频域特征。
所述步骤5中使用主成分分析(Principal components analysis,PCA)对步骤4中所得频域特征进行降维,选取频域特征进行变换后的前100个主成分,使得重构误差小于5%,降到100维。
通过时域分析法计算出被试关节位置在时间上的变化以及不同关节间位置关系,计算出步行速度、左/右周期、左/右腿步幅、左/右腿抬高共计7个步态特征的均值和方差作为时域特征。
所述步骤6中采用机器学习中的回归学习算法GPR建立预测模型,并采用十折交叉验证对所建立的个体焦虑感知预测模型进行验证。
本发明技术方案具有如下优点:
A.本发明通过所提供的步态分析方法建立心理焦虑感知模型,所建立的预测模型可以实现对个体焦虑情绪的自动识别,无需用户自我报告,时效性高;整合焦虑感知预测模型建立预测系统,机器模型预测的个体焦虑状态的得分与量表获得的个体焦虑状态得分之间的相关系数可达到0.46,达到中等相关水平
B.本发明通过将步态视频数据置于二维空间中,采用数据去噪,消除原始数据中噪声数据;采用坐标平移和相位对齐方法,排除人的位置变化的干扰;通过对所有躯体关键点的时域和频域特征进行特征提取和选择,辅以降维,显著提高数据计算时效,提高感知模型精度。
C.本发明所提供的焦虑感知模型建立方法是基于被试个体的步态视频资料,无需用户执行额外的测试任务,对用户没有任何干扰,能够更自然地实现对行为数据的记录和焦虑水平的评估,生态效度高。
D.本发明在获取被试步态视频资料时,可以将摄像机架设在不同的工作环境中,能够方便测量在不同场景下对用户的焦虑水平进行自动评估,不受时间、地点限制。
附图说明
为了更清楚地说明本发明具体实施方式,下面将对具体实施方式中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的焦虑感知建模方法图示;
图2为本发明中基于视频分析捕捉的躯体关键点示例图示;
图3为本发明所提供的焦虑感知建模方法流程图;
图4步态视频数据的相位对齐图;
图5步态视频数据获取设计图示。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1和图3所示,本发明提供了基于视频中个体步态分析的焦虑感知模型的建立方法,包括如下步骤:
【S1】填写广泛性焦虑障碍量表(GAD-7),获取多位个体的心理指标标注数据,即,获取不同个体焦虑心理状态的量表得分。
【S2】采集多位个体在步行区域连续走路的全身无遮挡步态视频数据,记录被试个体步态视频数据及对应的心理指标标注数据。
如图5所示,在数据采集过程中,具体的行为数据采集方案设计如下:
场地要求:
在明亮的室内空间,保证空间长度不少于7米,宽度不少于3米,设置步行区域,该区域范围长6m宽1m。
数据采集要求:
提前在空间内确定出摄像机位置并画出被试走路范围,保证能够连续拍摄被试的全身无遮挡的步态视频。
设备要求:
实验场景需要1台高清摄像机和1个三脚架。
实验开始时发出语音提醒:“请在我说开始后按照日常状态在规定区域内行走2分钟,听到结束指令后停止,谢谢”。
实验结束时发出语音提醒:“谢谢您的参与”。
【S3.1】去噪处理
在二维空间中对所采集到的步态视频数据中的躯体关键点进行数据去噪预处理。
通过视频摄像头记录个体在日常状态中的行为动作进行采集和分析。在对步态视频文件中个体动作的分析中,通过对躯体关键点的捕捉和跟踪来描述个体的运动模式。本发明使用基于Openpose工具包开发的躯体关键点检测及跟踪算法,捕捉记录步态视频中躯干活动的18个关键点的二维坐标,视频的采样频率为25Hz。
如图2所示,视频分析中所使用的躯体关键点包括18个点,分别分布在躯体的中轴线和躯体两侧,包括左右眼睛、左右耳朵、鼻子、脖颈、左右肩膀、左右手肘、左右手腕、左右大腿、左右膝盖以及左右脚踝。
随着时间的推移,关节位置在二维空间中形成了一条轨迹。而由于抖动(随机噪声)和遮挡(比如转身时手腕被遮挡),这条轨迹上有许多异常的波动,这些波动可以看做信号中的噪声。在时频分析中,噪声是信号中比重小的部分,一般来说集中在信号的高频区域,采用低通滤波过滤噪声。
滤波的数学原理是卷积定理:两个函数在时域上的卷积等于它们在频域上的乘积。卷积的表达式如下:
其中x(t)是时域上的信号,h(t)是滤波器函数,n是滤波器的位移。卷积的输出y(n)是滤波后的信号,对于有限长的信号和滤波器,它的长度与x(t)和h(t)的长度有关。本发明中,采用高斯滤波器进行低通滤波。
【S3.2】坐标平移
由于被试在矩形区域内来回行走的过程中,很难做到沿着一条直线行走,每一次来回的位置都会变化,而位置的变化并不等同于步态的变化。为了排除人的位置对步态变化的干扰,坐标原点摄像头平移到人的脊柱中心,即认为脊柱中心的位置是不变的。
设某一帧脊柱中心的坐标为O(x0,y0),其它关节的坐标为P(x,y),则这一帧其它关节平移后的坐标P′如下,对所有的帧重复这一操作。
P′(x′,y′)=P(x,y)-O(x0,y0)
【S3.3】相位对齐
步态视频数据采用分段处理,每一段步态视频数据设置一个来回。在被试来回行走的过程中,不能保证每段步态视频数据开始时具有相同的相位,即每段步态视频数据开始时被试是左脚在前还是右脚在前。由于本发明提取的特征与相位有关,为了避免相位的不同影响步态的特征,需要对齐每一段步态视频数据,本发明通过截取片段使得每段步态视频数据开始时被试者都是右脚在前。
坐标平移后,通过寻找右脚踝的x坐标的局部极大值点,可以找到用户右脚在前的位置。第一个局部极大值点作为这一段数据的起始点,找到对应的时间戳,删除此刻之前的数据。然后为了使每一段步态视频数据的帧数相同,从起始点往后保留64帧作为对齐后的数据,当然还可以保留其它数量的帧数。图4展示了相位对齐前后,四段步态视频数据的轨迹。相位对齐后,每一段步态视频数据都有64帧,并且开始时被试的右脚都在前。
【S4】特征提取
采用频域分析方法分别对每个被试的各躯体关键点在二维空间中所形成的步态数据进行傅里叶变换,对每个躯体关键点经傅里叶变换后的系数按振幅的大小进行排列,选取振幅较大的前N个系数,计算出对应的频率和相位作为频域特征。
在本发明中,特征提取与选择是重要环节,行为数据(加速度数据、空间坐标数据)并不能直接用于预测模型的建立,也无法代表被试的心理指标水平。因此,在建立焦虑感知模型之前,要提取出能够表征心理指标水平的特征值。对18个关节点行为数据的特征提取,主要是两方面的特征:时域特征和频域特征。时域特征展示了行为数据在时间维度上的特性,频域特征代表了行为数据在频域维度上的特性。
时域特征的提取,首先通过躯体关节位置在时间上的变化以及不同关节之间的位置关系,计算出步行速度、左/右腿周期、左/右腿步幅、左/右腿抬高共7种时域特征。为了减少误差,步行速度选取了每一段步态视频数据的平均速度,即开始和结束时人的位置变化除以这一段数据经过的时间。坐标系的x轴沿着摄像头拍摄方向,即被试者步行的方向,通过左右脚踝的x坐标的极大值点来划分每一步。左/右腿步幅即每一步的位移,从起始和结束时脚踝的位置变化得出;左/右腿周期即每一步经过的时间,从经过的帧数计算得出;左/右脚抬高从脚踝的高度变化得出,一步之内y坐标的最大值减去最小值。为了减少冗余特征,本发明优选仅计算出它们的均值和方差作为特征,共7*2=14个时域特征。
步态数据是一个与时间相关运动过程,由于与信号具有相似之处,可以使用信号处理上的时频分析技术来处理。本发明使用傅里叶变换,由于频域上的特征可以更好地反映步态数据的规律和周期性,在频域上的细微变化可以反映不同情绪的特点。步态数据经过傅里叶变换后主要有频率、振幅和相位三种特征。其中振幅大的分量能量大,占比重大,能够体现出步态数据的主要特点。本发明中,优选地,首先对每个被试在各个躯体关键点的每个维度下的步态数据上分别选取经傅里叶变换后的系数中振幅最大的前20个系数,最后计算出相应的频率和相位共计40个频域特征。所以最终在二维空间的样本数据中提取的频域特征有40*2*18=1440个。
【S5】特征选择
采用主成分分析对步骤【S4】中所得频域特征进行降维和特征选择,采用序列浮动后向选择(SFBS)算法通过分类器优化所有时域特征和频域特征所组成的特征集,得到优化后的特征子集。
在提取的时域特征和频域特征中,难免存在冗余的特征,或者是影响模型效果的特征。为了使得模型更加简单高效,并提取出有利于分类的特征,需要进行降维和特征选择。
由于提取的频域特征远比时域特征多,每个特征都在不同程度上反映了所研究问题的某些信息,并且特征之间彼此有一定的相关性,但是变量太多会增加计算量和问题的复杂性。本发明使用主成分分析(Principal components analysis,PCA)对频域特征进行降维,选取了频域特征进行变换后的前100个主成分,使得重构误差小于5%,降到100维。
特征选择是指从已有的特征集中选出部分特征形成特征子集,使得评价函数最优化,评价函数是用于评价一个特征子集好坏的指标,这里采用封装器(Wrapper)作为评价函数。具体来说,先将时域特征和频域特征合并为总体特征集,然后通过特征选择选取总体特征集中能够使得机器学习性能达到最优性能的特征子集。本发明采用序列浮动后向选择(Sequential Floating Backward Selection,SFBS)算法对特定的分类器优化特征集。该算法由增L去R选择算法发展而来,与增L去R选择算法的不同之处在于序列浮动选择的L与R不是固定的,而是“浮动”的,也就是会变化的。序列浮动选择结合了序列前向选择、序列后向选择、增L去R选择等算法的特点,并弥补了它们的缺点。
【S6】采用机器学习中的回归算法,结合优化后的特征子集和步骤1中得到的多位个体心理指标标注数据进行模型训练和验证,使用GPR(Gaussian process regression,高斯过程回归)训练得到并保存个体焦虑感知预测模型。
本发明主要利用机器学习中的回归算法建立预测模型,使用的回归学习算法是GPR,是使用高斯过程(Gaussian Process,GP)先验对数据进行回归分析的非参数模型。GPR的模型假设包括噪声(回归残差)和高斯过程先验两部分,其求解按贝叶斯推断(Bayesianinference)进行。若不限制核函数的形式,GPR在理论上是紧致空间(compact space)内任意连续函数的通用近似(universal approxi mator)。此外,GPR可提供预测结果的后验,且在似然为正态分布时,该后验具有解析形式。因此,GPR是一个具有泛用性和可解析性的概率模型。
在机器学习和模式识别的相关研究中,交叉验证(Cross validation)常被用于防止模型过于复杂而引起的过拟合,有时亦称循环估计,是一种统计学上将数据集(dataset)切割成较小子集的实用方法。其思想是先在一个子集上做分析,而其它子集则用来做后续对此分析的确认及验证。一开始的子集被称为训练集(training set)。而其它的子集则被称为测试集(testing set)。交叉验证是一种评估统计分析、机器学习算法对独立于训练数据的数据集的泛化能力(generalize)。
本发明中采用十折交叉验证(10-fold cross-validation),用来测试算法准确性。具体来说,将数据集分成十分,轮流将其中9份作为训练数据,1份作为测试数据,进行试验。每次试验都会得出相应的正确率(或差错率)。10次的结果的正确率(或差错率)的平均值作为对算法精度的估计。十折交叉验证可以有效的避免过拟合以及欠学习状态的发生,最后得到的结果也比较具有说服性。
将模型训练后得到的模型进行整合,并利用PyQT开发系统界面,完成系统开发。
本发明设计为焦虑感知系统,通过摄像机记录个体在规定区域里(1*6m)来回步行的图像,配合所建立的焦虑感知模型,实现对个体焦虑的实时识别。
本发明基于机器学习方法,建立躯干各关节点运动特征到焦虑的预测模型。通过躯干关节运动数据中提取特征作为自变量,对应的心理指标量表得分作为因变量,调用机器学习算法,训练预测模型。在得到预测模型之后,针对新的躯干关节运动数据,就可以利用训练得到的模型实现对个体焦虑的自动评估,并完成基于视频中个体步态分析的焦虑感知系统的界面开发。
目前,将所建立的焦虑感知模型嵌入计算机中,形成检测分析系统,系统具备的心理焦虑感知能力,机器模型预测的个体焦虑状态的得分与量表获得的个体焦虑状态得分之间的相关系数可达到0.46,中等相关水平。本发明只需通过录制一段被试的步态视频,并输入计算机中,通过去噪、特征提取与选择,再经所建立的焦虑感知模型进行预测后得出分值,并输出,根据得分及时对被试的焦虑情绪进行评价,无需用户执行额外的测试任务,对用户没有任何干扰,能够更自然地实现对行为数据的记录和焦虑水平的评估,生态效度高。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。
Claims (6)
1.一种基于视频中个体步态分析的焦虑感知模型的建立方法,其特征在于,所述方法包括如下步骤:
步骤1,填写广泛性焦虑障碍量表(GAD-7),获取多位个体的心理指标标注数据;
步骤2,采集多位个体在步行区域连续走路的全身无遮挡步态视频数据,且与步骤1中所测个体的心理指标标注数据相对应;
在明亮安静的室内空间架设摄像装置,根据播放的语音指令,在设定的步行区域内连续拍摄被试全身无遮挡的步态视频资料,步态视频采集时间1min~3min,采集频率为25Hz;
步骤3.1,在二维空间中对所采集到的步态视频数据中的躯体关键点进行数据去噪预处理;
步骤3.2,将去噪处理后的步态视频数据中的坐标原点平移至人的脊柱中心;
步骤3.3,通过截取步态视频片段,通过寻找同一脚踝的x坐标的局部极大值点,使被试在每段步态视频数据起脚保持一致,且保持每段步态视频数据具有相同的帧数,即每段步态视频数据开始时具有相同的相位,使被试者都是右脚在前或者都是左脚在前;
步骤4,采用时域分析方法提取步态视频数据的时域特征;采用频域分析方法分别对每个被试的各躯体关键点在二维空间中所形成的步态数据进行傅里叶变换,对每个躯体关键点经傅里叶变换后的系数按振幅的大小进行排列,选取振幅较大的前N个系数,同时计算振幅较大的前N个系数所对应的N个频率和N个相位作为频域特征;
步骤5,采用主成分分析对步骤4中所得频域特征进行降维和特征选择,采用序列浮动后向选择(SFBS)算法通过分类器优化所有时域特征和频域特征所组成的特征集,得到优化后的特征子集;
步骤6,采用机器学习中的回归算法,结合优化后的特征子集和步骤1中得到的多位个体心理指标标注数据进行模型训练和验证,得到并保存个体焦虑感知预测模型。
2.根据权利要求1所述的基于视频中个体步态分析的焦虑感知模型的建立方法,其特征在于,所述步骤3.1中的躯体关键点包括18个关节点,分别分布在躯体的中轴线和躯体两侧,包括左右眼睛、左右耳朵、鼻子、脖颈、左右肩膀、左右手肘、左右手腕、左右大腿、左右膝盖以及左右脚踝。
3.根据权利要求1所述的基于视频中个体步态分析的焦虑感知模型的建立方法,其特征在于,所述步骤4中对每个被试在各个躯体关键点的每个维度的步态数据上分别选取经傅里叶变换后的系数中振幅最大的前20个系数,计算其对应的频率和相位,共得到40个频域特征。
4.根据权利要求1所述的基于视频中个体步态分析的焦虑感知模型的建立方法,其特征在于,所述步骤5中使用主成分分析(Principalcomponentsanalysis,PCA)对步骤4中所得频域特征进行降维,选取频域特征进行变换后的前100个主成分,使得重构误差小于5%,降到100维。
5.根据权利要求1所述的基于视频中个体步态分析的焦虑感知模型的建立方法,其特征在于,通过时域分析法计算出被试关节位置在时间上的变化以及不同关节间位置关系,计算出步行速度、左/右周期、左/右腿步幅、左/右腿抬高共计7个步态特征的均值和方差作为时域特征。
6.根据权利要求1所述的基于视频中个体步态分析的焦虑感知模型的建立方法,其特征在于,所述步骤6中采用机器学习中的回归学习算法GPR建立预测模型,并采用十折交叉验证对所建立的个体焦虑感知预测模型进行验证。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110070823.1A CN112800908B (zh) | 2021-01-19 | 2021-01-19 | 一种基于视频中个体步态分析的焦虑感知模型的建立方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110070823.1A CN112800908B (zh) | 2021-01-19 | 2021-01-19 | 一种基于视频中个体步态分析的焦虑感知模型的建立方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112800908A CN112800908A (zh) | 2021-05-14 |
CN112800908B true CN112800908B (zh) | 2024-03-26 |
Family
ID=75810541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110070823.1A Active CN112800908B (zh) | 2021-01-19 | 2021-01-19 | 一种基于视频中个体步态分析的焦虑感知模型的建立方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112800908B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113925490B (zh) * | 2021-10-14 | 2023-06-27 | 河北医科大学 | 空间定向障碍分类方法 |
CN115715680A (zh) * | 2022-12-01 | 2023-02-28 | 杭州市第七人民医院 | 一种基于结缔组织电势的焦虑判别方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016081994A1 (en) * | 2014-11-24 | 2016-06-02 | Quanticare Technologies Pty Ltd | Gait monitoring system, method and device |
CN109330605A (zh) * | 2018-09-07 | 2019-02-15 | 福建工程学院 | 一种步态周期自动划分方法及计算机设备 |
CN109902558A (zh) * | 2019-01-15 | 2019-06-18 | 安徽理工大学 | 一种基于cnn-lstm的人体健康深度学习预测方法 |
CN111027417A (zh) * | 2019-11-21 | 2020-04-17 | 复旦大学 | 基于人体关键点检测算法的步态识别方法及步态评估系统 |
CN111274932A (zh) * | 2020-01-19 | 2020-06-12 | 平安科技(深圳)有限公司 | 基于视频中人体步态的状态识别方法、装置及存储介质 |
CN111415680A (zh) * | 2020-03-26 | 2020-07-14 | 心图熵动科技(苏州)有限责任公司 | 一种基于语音的焦虑预测模型的生成方法和焦虑预测系统 |
CN112115923A (zh) * | 2020-10-12 | 2020-12-22 | 武汉艾格美康复器材有限公司 | 一种基于直接特征提取的多通道时序步态分析算法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7330566B2 (en) * | 2003-05-15 | 2008-02-12 | Microsoft Corporation | Video-based gait recognition |
US9715622B2 (en) * | 2014-12-30 | 2017-07-25 | Cognizant Technology Solutions India Pvt. Ltd. | System and method for predicting neurological disorders |
JP6521093B2 (ja) * | 2015-11-19 | 2019-05-29 | パナソニックIpマネジメント株式会社 | 歩行動作表示システム及びプログラム |
-
2021
- 2021-01-19 CN CN202110070823.1A patent/CN112800908B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016081994A1 (en) * | 2014-11-24 | 2016-06-02 | Quanticare Technologies Pty Ltd | Gait monitoring system, method and device |
CN109330605A (zh) * | 2018-09-07 | 2019-02-15 | 福建工程学院 | 一种步态周期自动划分方法及计算机设备 |
CN109902558A (zh) * | 2019-01-15 | 2019-06-18 | 安徽理工大学 | 一种基于cnn-lstm的人体健康深度学习预测方法 |
CN111027417A (zh) * | 2019-11-21 | 2020-04-17 | 复旦大学 | 基于人体关键点检测算法的步态识别方法及步态评估系统 |
CN111274932A (zh) * | 2020-01-19 | 2020-06-12 | 平安科技(深圳)有限公司 | 基于视频中人体步态的状态识别方法、装置及存储介质 |
CN111415680A (zh) * | 2020-03-26 | 2020-07-14 | 心图熵动科技(苏州)有限责任公司 | 一种基于语音的焦虑预测模型的生成方法和焦虑预测系统 |
CN112115923A (zh) * | 2020-10-12 | 2020-12-22 | 武汉艾格美康复器材有限公司 | 一种基于直接特征提取的多通道时序步态分析算法 |
Non-Patent Citations (2)
Title |
---|
Identifying Emotion from Non-Contact Gaits Information Based on Microsoft Kinects;libaobin;IEEE Transaction on Affective Computing;第585-591页 * |
基于周期特性的步态分析方法;寇向阳;刘永康;胡梦楠;;电脑知识与技术;20161125(第33期);第171-173+176页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112800908A (zh) | 2021-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yu et al. | Remote photoplethysmograph signal measurement from facial videos using spatio-temporal networks | |
Parmar et al. | Learning to score olympic events | |
Kour et al. | Computer-vision based diagnosis of Parkinson’s disease via gait: A survey | |
Liu et al. | Fine-tuning pre-trained convolutional neural networks for gastric precancerous disease classification on magnification narrow-band imaging images | |
Ahmed | The impact of filter size and number of filters on classification accuracy in CNN | |
Brodu et al. | Exploring two novel features for EEG-based brain–computer interfaces: Multifractal cumulants and predictive complexity | |
CN112800908B (zh) | 一种基于视频中个体步态分析的焦虑感知模型的建立方法 | |
CN110717461A (zh) | 一种疲劳状态识别方法、装置和设备 | |
Anh-Dao et al. | A multistage system for automatic detection of epileptic spikes | |
Williams et al. | Assessment of physical rehabilitation movements through dimensionality reduction and statistical modeling | |
Cui et al. | Deep learning based advanced spatio-temporal extraction model in medical sports rehabilitation for motion analysis and data processing | |
Zhang et al. | Comparison of OpenPose and HyperPose artificial intelligence models for analysis of hand-held smartphone videos | |
Hajjej et al. | Deep human motion detection and multi-features analysis for smart healthcare learning tools | |
Zhen et al. | Hybrid Deep‐Learning Framework Based on Gaussian Fusion of Multiple Spatiotemporal Networks for Walking Gait Phase Recognition | |
Soni et al. | Electroencephalography signals-based sparse networks integration using a fuzzy ensemble technique for depression detection | |
CN110801227B (zh) | 基于可穿戴设备的立体色块障碍测试的方法和系统 | |
CN117690583A (zh) | 基于物联网的康复护理交互式管理系统及方法 | |
Sethi et al. | Multi‐feature gait analysis approach using deep learning in constraint‐free environment | |
CN116543455A (zh) | 建立帕金森症步态受损评估模型、使用方法、设备及介质 | |
Zhao | A hybrid deep learning-based intelligent system for sports action recognition via visual knowledge discovery | |
Senanayake et al. | Artificial neural network based gait patterns identification using neuromuscular signals and soft tissue deformation analysis of lower limbs muscles | |
Hao et al. | A novel sleep staging algorithm based on hybrid neural network | |
Katiyar et al. | Clinical gait data analysis based on spatio-temporal features | |
CN114638258A (zh) | 一种用于表面肌电信号手势识别的快速适配方法 | |
Zhang et al. | [Retracted] Conservative Treatment and Rehabilitation Training for Rectus Femoris Tear in Basketball Training Based on Computer Vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |