CN109171739B - 运动数据获取方法及应用于该方法的获取装置 - Google Patents

运动数据获取方法及应用于该方法的获取装置 Download PDF

Info

Publication number
CN109171739B
CN109171739B CN201810824694.9A CN201810824694A CN109171739B CN 109171739 B CN109171739 B CN 109171739B CN 201810824694 A CN201810824694 A CN 201810824694A CN 109171739 B CN109171739 B CN 109171739B
Authority
CN
China
Prior art keywords
user
target pattern
probability
error
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810824694.9A
Other languages
English (en)
Other versions
CN109171739A (zh
Inventor
李风华
郑毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CAPITAL MEDICAL UNIVERSITY, BEIJING ANDING Hospital
Original Assignee
Beijing Anding Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Anding Hospital filed Critical Beijing Anding Hospital
Priority to CN201810824694.9A priority Critical patent/CN109171739B/zh
Publication of CN109171739A publication Critical patent/CN109171739A/zh
Application granted granted Critical
Publication of CN109171739B publication Critical patent/CN109171739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1104Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb induced by stimuli or drugs

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Medicinal Chemistry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了运动数据获取方法及应用于该方法的获取装置,该方法及装置中,通过显示屏显示目标图样和非目标图样,使得使用者的注意力集中在显示屏上,进而观测使用者在注意力控制时身体的运动状态,进一步地,使用者要根据观察到的显示屏上的刺激信号作出相应的反应,有些反应考验使用者的神经抑制功能,有些反应考验使用者的神经唤醒功能,而且该反应也有可能是错误的,从而能够观察到使用者在反应正确和反应错误情况下的不同运动状态,从而获得更为全面的运动数据,从而完成本发明。

Description

运动数据获取方法及应用于该方法的获取装置
技术领域
本发明涉及一种特定刺激下的人体运动数据获取方法及相应的获取装置,属于医用器械领域。
背景技术
注意缺陷多动障碍(ADHD)是一种在世界范围内流行率高达5.29%的神经发育障碍。在《精神障碍诊断与统计手册(第五版)》(DSM-5)中,ADHD的症状群被主要归为两类:其一,注意力缺陷类,其二,多动冲动类。ADHD的症状的分析和认定需要基于人体的运动或者抽动情况,即需要一定数量的运动数据。该数据一般是通过使用身体运动记录器在go/no-go测验情境下收集使用者的身体运动情况,这也是研究者们最经常使用的一种测量获取数据的方式。
但是现有的检测方式中都过于呆板,只能只适用于一小部分人群,因为不同性格、不同性别、不同年龄的人群在面临类似的刺激时,作出的反应都是不同的,如果按照一套标准去检测,检测结果会受到被测者自身其他特点/状况的干扰,获得的相关数据必然不够准确,不够严谨,后续也难以据此进行行之有效的分析处理。另外,现有技术中为了获得受测试者在测试过程的运动数据,需要采用穿戴式设备,该设备沉重,由于受测者大多是儿童,这导致受测者在测试过程中有较严重的束缚感,行动不方便,无法表现出与无约束状态下相同的状态,进而导致测试得到的运动数据不够准确;使用者感知到正在佩戴设备这件事本身就会引起主观上对自己动作的约束,这又会导致采集到的数据失真。而且现有技术中获得的数据其实只能追踪人体的1-2个关节,并不能对全身运动做出追踪,这使得数据采样容易出现偏差,因为尚没有理论指出注意缺陷多动障碍患者的身体运动在不同部位具有一致性。
由于上述原因,本发明人对现有相关设备及方法做了深入分析,设计出一种能够解决上述问题的运动数据获取方法及相应的配套装置。
发明内容
为了克服上述问题,本发明人进行了锐意研究,设计出一种运动数据获取方法及应用于该方法的获取装置,该方法及装置中,通过显示屏显示目标图样和非目标图样,使得使用者的注意力集中在显示屏上,进而观测使用者在注意力控制时身体的运动状态,进一步地,使用者要根据观察到的显示屏上的刺激信号作出相应的反应,有些反应考验使用者的神经抑制功能,有些反应考验使用者的神经唤醒功能,而且该反应也有可能是错误的,从而能够观察到使用者在反应正确和反应错误情况下的不同运动状态,从而获得更为全面的运动数据,从而完成本发明。
具体来说,本发明的目的在于提供以一种运动数据获取方法,该方法包括:
通过刺激信号生成部1生成刺激信号;
通过反馈信息部2接收使用者在收到该刺激信号后的反馈信息;
通过运动观测部3观测记录使用者的运动情况;
再通过综合分析部4分析获得使用者的运动数据。
其中,所述刺激信号生成部1包括显示屏,
所述刺激信号包括在所述显示屏上按照预定规律依次显示的目标图样和非目标图样;
优选地,还包括报错图样。
其中,所述显示屏同一时间只显示一个图样,其中目标图样的显示时间和非目标图样的显示时间都是0.7~0.3s,
在目标图样显示前和非目标图样显示前都会有一段时间的空白屏幕,所述一段时间优选为0.3s~0.5s。
其中,所述反馈信息部2包括带有感应端的手柄,
使用者在观察到显示屏上显示出目标图样时刺激感应端,使用者在观察到显示屏上显示出非目标图样时不能刺激感应端。
其中,所述运动观测部以图像的形式记录使用者的身体运动状况,并将记载有使用者运动状况的图像按照时间规律传递给综合分析部4;
优选地,其中相邻两帧图像之间的时间间隔为35毫秒以下。
其中,该方法的执行过程包括两个阶段,即无报错阶段和有报错阶段,
所述刺激信号生成部1在无报错阶段只显示目标图样和非目标图样,不显示报错图样;
所述刺激信号生成部1在有报错阶段显示目标图样、非目标图样和报错图样。
其中,通过综合分析部4接收反馈信息部2收集的反馈信息,判断使用者的每个反应是反应正确或者反应错误,并在有报错阶段中,当使用者反应错误时向刺激信号生成部1发出报错指令,用以控制刺激信号生成部1显示报错图样。
其中,所述无报错阶段按照时间划分为两个时间长度基本相等的时间段A和时间段B,在时间段A中,显示部显示目标图样的概率大于显示非目标图样的概率,
在时间段B中,显示部显示目标图样的概率小于显示非目标图样的概率;
所述有报错阶段按照时间划分为两个时间长度基本相等的时间段C和时间段D,在时间段C中,显示部显示目标图样的概率大于显示非目标图样的概率,
在时间段D中,显示部显示目标图样的概率小于显示非目标图样的概率。
其中,通过所述综合分析部4接收以图像形式记录的使用者身体运动情况信息,并对其中的图像做如下处理:
步骤1:通过概率投票的方式估计每帧图像中随机的若干像素点中属于使用者身体部位的概率,再据此采用临近法标注的方式获知每帧图像中的使用者身体部位像素点;
步骤2:分别求得各帧图像中,使用者身体6个部位占有的像素集合并计算其几何中心;所述使用者身体6个部位分别为头部、躯干、左臂、右臂、左腿和右腿;
步骤3:通过比较相邻两帧图像,获知各个部位几何中心的位移量,进而获知各个部位的位移指数;
步骤4:获得整个测试过程所有部位的每连续2帧图像间的位移指数,并分别统计使用者全部的运动状况K0、在有报错阶段的运动状况K1、在无报错阶段的运动状况K2和在反应正确后的运动状况K3。
本发明还提供一种运动数据获取装置,该装置包括刺激信号生成部1、反馈信息部2、运动观测部3和综合分析部4;
所述刺激信号生成部1用于生成刺激信号,所述反馈信息部2用于接收使用者的反馈信息,所述运动观测部3用于观测记录使用者的运动情况,所述综合分析部4用于分析获得使用者的运动数据。
根据本发明提供的运动数据获取方法及应用于该方法的获取装置能够给予使用者适宜的的多种刺激,并分别统计在不同刺激状况下使用者的运动状况,从而能够提供准确全面的运动数据,为后续分析研究提供良好的数据基础。
附图说明
图1示出根据本发明一种优选实施方式的运动数据获取方法流程图;
图2示出根据本发明一种优选实施方式的运动数据获取装置整体结构逻辑图;
图3示出根据本发明一种优选实施方式的目标图样/非目标图样示意图;
图4示出根据本发明一种优选实施方式的非目标图样/目标图样示意图;
图5示出根据本发明一种优选实施方式的报错图样示意图;
图6示出根据本发明一种优选实施方式的式(五)对应的函数投影示意图。
附图标号说明:
1-刺激信号生成部
2-反馈信息部
3-运动观测部
4-综合分析部
具体实施方式
下面通过附图和实施例对本发明进一步详细说明。通过这些说明,本发明的特点和优点将变得更为清楚明确。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
根据本发明提供的运动数据获取方法,该方法用于获得在特定状况下的人体运动数据,以便于为医学分析提供基础;如图1中所示,该方法包括:
通过刺激信号生成部1生成刺激信号;
通过反馈信息部2接收使用者在收到该刺激信号后的反馈信息;
通过运动观测部3观测记录使用者的运动情况;
再通过综合分析部分析获得使用者的运动数据。
其中,所述刺激信号包括在显示屏上按照预定规律依次显示的目标图样和非目标图样;优选地,还包括报错图样。
本发明还提供一种运动数据获取装置,如图2中所示,该装置包括刺激信号生成部1、反馈信息部2、运动观测部3和综合分析部4;所述刺激信号生成部用于生成刺激信号,所述反馈信息部用于接收使用者的反馈信息,所述运动观测部3用于观测记录使用者的运动情况,所述综合分析部4用于分析获得使用者的运动数据;
在一个优选的实施方式中,所述刺激信号生成部1包括显示屏,在显示屏上按照预定规律依次显示至少两类图样,包括目标图样和非目标图样;优选地,还包括报错图样;
所述刺激信号生成部1的显示屏同一时间只显示一个图样,其中目标图样的显示时间和非目标图样的显示时间都是0.7~0.3s,优选为0.5s,在目标图样显示前和非目标图样显示前都会有一段时间的空白屏幕,即该时间段内显示屏中只显示白色背景,无图样,所述一段时间优选为0.3s~0.5s;
刺激信号生成部1还用于将显示的图样信息传递给综合分析部,并接收综合分析部发出的报错指令,并在收到报错指令后立即显示报错图样;所述报错图样的显示时间为1s,报错图样显示完成后,所述显示屏继续显示下一个预定的目标图样或者非目标图样。
优选地,所述目标图样和非目标图具有一定的相似性,也具有足够的区分度,如图3、图4中所示,可以任选其一为目标图样,则另一个为非目标图样;所述报错图样可以与目标图样和非目标图样类似,如图5中所示;
所述反馈信息部2包括方便手持的手柄,在所述手柄上设置有按键、触摸板等感应端,以便于使用者在观察到显示屏上显示出目标图样时能够立即刺激感应端,具体的刺激方式为按压按键或者触摸触摸板等;并且要求使用者在观察到显示屏上显示出非目标图样时不能刺激感应端;所述反馈信息部2实时将感应端的刺激情况传递给综合分析部4。其中,在显示屏上显示出目标图样时使用者刺激感应端称之为反应正确,在显示屏上显示出其他图样时使用者刺激感应端称之为反应错误,所述其他图样包括非目标图样、报错图样和空白屏幕;
所述运动观测部3用于实时观测/记录使用者的身体运动状况,并将使用者的运动信息按照时间顺序传递给综合分析部4;
优选地,所述运动观测部3包括红外感知摄像机,在采集平面信息(x轴方向信息和y轴方向信息)的基础上,还能够获取深度信息(z轴方向信息),即可获取整个场景深度值的像素矩阵(深度图像);其中所述红外感知摄像机可采用微软公司的Kinect摄像机,其工作原理及获得的运动状况信息可参见申请号为201410372986.5专利中记载的红外线身体运动感知摄像机。
优选地,所述运动观测部以图像的形式记录使用者的身体运动状况,并将记载有使用者运动状况的图像按照时间规律传递给综合分析部4;其中相邻两帧图像之间的时间间隔为35毫秒以下,优选为30毫秒;
所述综合分析部4用于接收反馈信息部2收集的反馈信息,根据刺激信号生成部显示的图样信息判断使用者的每个反应是反应正确或者反应错误,并记录;所述综合分析部4可以在使用者反应错误时立即向刺激信号生成部1发出报错指令。
优选地,所述运动数据获取方法及装置在工作过程中分为两个阶段,可分别称之为无报错阶段和有报错阶段,在无报错阶段,所述综合分析部4不产生报错指令,在有报错阶段,所述综合分析部4产生并发出报错指令;更优选地,优先进入无报错阶段,在无报错阶段执行完毕后,再进入有报错阶段;所述无报错阶段的持续时间为6-8min,更优选为7min,所述有报错阶段的持续时间为7-9min,更优选为8min;
使用者是否具有注意力控制失败自我觉知称为“元注意”,元注意是个体对注意力自我控制的反馈,是一项衡量注意缺陷比较重要的指标。在本发明提供的方法及装置中,将工作过程分为有报错阶段和无报错阶段,旨在区分使用者个体在有外部协助提醒和无外部协助提醒状态下的表现区别,进而可以将其作为一项判别特征纳入判别模型,为症状严重程度判定提供更全面完善的数据基础,以便后续可以更为准确科学地做出判断结论。
优选地,所述无报错阶段按照时间划分为两个时间长度基本相等的时间段A和时间段B,在时间段A中,显示部显示目标图样的概率大于显示非目标图样的概率,优选地,显示目标图样的概率为60%~80%,更优选为75%;在时间段B中,显示部显示目标图样的概率小于显示非目标图样的概率,优选地,显示非目标图样的概率为60%~80%,更优选为75%;优选地,时间段A和时间段B出现的先后顺序是随机的;
优选地,所述有报错阶段按照时间划分为两个时间长度基本相等的时间段C和时间段D,在时间段C中,显示部显示目标图样的概率大于显示非目标图样的概率,优选地,显示目标图样的概率为60%~80%,更优选为75%;在时间段D中,显示部显示目标图样的概率小于显示非目标图样的概率,优选地,显示非目标图样的概率为60%~80%,更优选为75%;优选地,时间段C和时间段D出现的先后顺序是随机的。时间段C中,目标图样概率大于非目标图样概率,导致使用者默认状态为做出响应,在偶尔突然遇见非目标图样时则可以测定其神经抑制功能的完好程度。时间段D中,显示部显示目标图样的概率小于显示非目标图样的概率,导致使用者默认状态为不作出响应,在偶尔突然遇见目标图样时则可以测试其神经唤醒功能是否完好。注意力问题恰由唤醒和抑制这两个主要部分组成,利用C和D阶段可以较完整地检测其注意相关的神经功能,使得利用本发明中方法及装置获得的身体运动数据组成更为合理,兼顾到了各个影响因素,具有更高的实用价值,能够为后续的病情分析提供更为准确合理的数据基础;同样地,将无报错阶段划分为时间段A和时间段B也能够使得获得的身体运动数据组成更为合理,为后续的病情分析提供更为准确合理的数据基础。
其中,在一个阶段的两个时间段内,目标图样和非目标图样数值应当设置处于随机猜测概率(50%)和绝对确定概率(100%)之间,从而令使用者在面对高于随机猜测概率时具有做出反应(或压抑反应)的倾向;同时,又需要提供使用者充足的犯错机会以扩大该犯错区间,使症状严重程度不同的个体在表现上有区分度。过低设置此值影响倾向的形成,过高设置此值则影响结果区分度,故取50%-100%的中间值即75%作为最优选设置,以平衡满足以上两个目的。
所述综合分析部4还用于接收运动观测部3传递出的以图像形式记录的使用者身体运动情况信息,所述综合分析部在接收到运动情况信息后,对其中的图像做如下处理:
步骤1:通过概率投票的方式估计每帧图像中随机的若干像素点中属于使用者身体部位的概率,再据此采用临近法标注的方式获知每帧图像中的使用者身体部位像素点;
步骤2:分别求得各帧图像中,使用者身体6个部位占有的像素集合并计算其几何中心;所述使用者身体6个部位分别为头部、躯干、左臂、右臂、左腿和右腿;
步骤3:通过比较相邻两帧图像,获知各个部位几何中心的位移量,进而获知各个部位的位移指数;
步骤4:获得整个测试过程所有部位的每连续2帧图像间的位移指数,并分别统计使用者全部的运动状况K0、在有报错阶段的运动状况K1、在无报错阶段的运动状况K2和在反应正确后的运动状况K3;
在一个优选的实施方式中,在步骤1中,通过概率投票的方式估计每帧图像中随机的若干像素点中属于使用者身体部位的概率包括如下子步骤:
子步骤a:在每一帧图像中随机选取一定数量的像素点形成特征集,优选地,选取200-4000个点,这些点也称之为目标点;其中,用p表示其中一个特征点,即其中一个像素的索引,随机的第i帧图像中的p像素点feat(i,p),对于图像上每一像素点,可通过x和y方向上的增量xΔ和yΔ将其归纳为一个特征feat(i,p),即feat(i,p)通过下式(一)表示:
Figure BDA0001742185400000111
具体来说,feat(i,p)能够衡量像素点p和各个采样点之间具体像素数值的差异,比如像素点p取到的值是10,某一个采样点取到的是25,这两个值相减,形成一个特征值-15,每个采样点都和该像素点p形成一个差值,所以的差值构成一个向量,即可作为一个特征feat(i,p);
xΔ表示图像上像素沿x轴方向上的增量,yΔ表示图像上像素沿y轴方向上的增量;每个像素点的增量都有多个,一般来说不设定具体值,因为越多越好,其范围设置在模型训练所用设备在时间上可以承受的范围之内,增量的单位是像素,比如当xΔ和yΔ取1,5,10,20时,可以得到4组特征,即feat(i,p,1),feat(i,p,5),feat(i,p,10)和feat(i,p,20);depth(p)表示可以直接从设备上获取的某一像素点深度值,即为该像素点和相机之间的距离,如第5002个像素点的深度值就可表示为depth(5002);本申请中depth是数学领域中常用的表示方法,并不是具体的函数,而是用函数的方法抽象地表示一个可以获得的量,输入某一个值即像素的索引号,就可以得到一个想要的值,即索引号指向像素点的深度值;
子步骤b:通过下式(二)获得随机的像素点中属于使用者身体部位的概率:
Figure BDA0001742185400000112
其中,其中Pt表示概率表,P表示投标结果函数,T为递增阈值,c表示判定的目标事件,所述式(二)为数学领域中决策树算法的信息熵计算公式,本发明中将所述特征公式feat代入到上述信息熵计算中。所述概率表为特征值和使用者身体部位对应的概率关系表,该表的建立方法为数学领域中的常用方法,即首先做好完全正确的数据集,再把一些特征正确归类为各个指定部位,进而计算出来各个特征值和部位对应的概率关系。
其中,更优选地,可通过熵度量函数E校准概率表Pt,即可通过下式(三)校准概率表Pt
Figure BDA0001742185400000121
利用式(三)和真实数据反复校准P(c|feat(i,p));所述真实数据是通过人工标定获得的一套用于产生概率表的正确数据,其获得方法为通过给模型一个正确数据,让它“学习”以确定特征(feat)与结果(身体的哪部分)的对应关系。
其中,P(c|feat(i,p))可以表示为下式(四):
Figure BDA0001742185400000122
将校准后的P(c|feat(i,p))值带入到式(四)中,可求得具体每个条件下的具体概率,并代入式(二)循环计算每个像素的累积概率;所述式(四)为数学领域中的贝叶斯定理公式;其中,所述具体条件是指特征feat的值;所述具体概率是指这个feat属于各个部分的概率数值;由于所述xΔ和yΔ可以有多个值,即式2中递增阈值T个值,即一个像素点对应有多个特征feat,所以所述累计概率为式2的结果,即为所述多个特征feat之和。
所述临近法标注是针对每一帧图像中的随机采样,以临近法标注附近像素,即估计图像中临近点属于身体的哪个部分:具体来说,该方法中,在图像中的目标点周围任选一个点作为临近点,计算该临近点与任意一个目标点之间的平面距离,进而获得该目标点属于身体某个部分的概率值与所述平面距离之比,记该比值为判断值,依次计算该临近点与每一个目标点之间的平面距离,进一步获得每个平面距离对应的所述判断值,比较这些判断值的绝对值大小,选择绝对值最大的判断值对应的目标点所属的身体部分作为该临近点所属的身体部分;其中所述目标点为上述步骤中采用概率投票的方式估计出属于使用者身体部位的每帧图像中随机的若干像素点;
在步骤2中,分别求得各帧图像中,使用者身体6个部位分别占有的像素集合,去掉偏差过大的点,用圆滑曲线绘制出使用者身体6个部分在图像中的轮廓线,采用数学方法计算出该轮廓线的几何中心;在该步骤中,还分别统计存储使用者身体各个部分上的像素点数量,优选地,该像素点数量是相邻两帧图像中同一身体部分像素点数量的平均值。
步骤3所述的位移指数是指位移量与步骤2中统计的像素数量的乘积。
本发明中利用的概率投票法相对于利用单一概率的方法而言,能够综合全面的已采集概率参考值,利用多信息源提高数据的稳定性和判别的可靠性。但如令所有点都采用投票法,则每个点都需要对进行参考值查询并投票,计算量大且需要频繁查询硬盘数据,造成计算延迟。考虑到应用场景常利用普通个人电脑或便携式电脑,计算能力有限,且事实也证明相邻点间的区别往往很小,逐点计算会产生大量计算冗余,故采用部分核心采样点投票,临近点依据已经得到的多个相邻采样点信息综合估计,则可以省去上述计算,且数据查询只发生在寄存器,可节省大量计算时间和计算资源,使一般个人电脑也可以胜任此类计算,提高场景适用性。
本发明中将身体分为6个部分分别计算,可以有效防止只计算全局运动影响而忽视被测试者之间个体差异导致的症状相关运动特别集中在某一肢体上的问题。
在步骤4中,(1)K0表示使用者全部的运动状况,即在一次工作/检测过程中,从刺激信号生成部开始工作并显示第一幅画面至全部画面显示完毕后1s的这个时间段内使用者的运动状况;(2)K1表示使用者在有报错阶段的运动状况,即从反应错误时刻开始至显示屏显示下一个目标图样或非目标图样之前的运动状况;(3)K2表示使用者在无报错阶段的运动状况,即从反应错误时刻开始至显示屏显示下一个目标图样或非目标图样之前的运动状况;(4)K3表示使用者在反应正确后的运动状况,即使用者在从反应正确时刻开始至显示屏显示下一个目标图样或非目标图样之前的运动状况。
本发明所述的运动状况是指在特定的时间段内,按照预定频率获得的运动位移指数之和,即在该时间段内获得的多帧运动图像上显示的使用者运动指数之和。
本发明中,上述K0为全程数据,目的是为计算提供一个涉及测试全局的、概览的数据特征。K1为有提示条件(有报错)下的错误反应,为计算提供使用者唤醒、抑制失败后的状态反应,典型的注意缺陷多动障碍患者由于在唤醒和抑制方面具有缺陷,失败条件下由于认知资源调用失败,会产生很多额外的能量消耗和精神压抑,令多动障碍症状显现。K2呈现无错误提示条件下的反应,K2与K1之间的差异形成对测试者注意力自我觉察能力的描述,二者差异大则说名缺乏自我觉察力,二者差异小则说明自我觉察力较强。较为严重的注意缺陷多动障碍患者比病情较轻的患者更缺乏自我觉察力。K3记录正确条件下的被测者反应,为一般状态提供数据的参考基线。四个特征分别呈现出的不同状态模式,可以与不同严重程度的病情相对应,可方便于后续的比对分析。
本发明中还提供一种通过上述方法及装置获得的使用者身体运动数据的使用方法,
该方法中,通过下式(五)求取出概率值R:
Figure BDA0001742185400000151
其中,D可通过下式(六)获得:
Figure BDA0001742185400000152
该方法中,预先设置数据库,该数库中存储n位专家分别设定的典型阳性测试者的四维数据和典型阴性测试者的四维数据,所述四维特征即带有专家阴性或阳性判断标签的(k0,k1,k2,k3)向量,如专家a有判定:典型阳性的四维数据为(a0,a1,a2,a3),典型阴性的四维数据为(a4,a5,a6,a7),专家b有判定:典型阳性的四维数据为(b0,b1,b2,b3),典型阴性的四维数据为(b4,b5,b6,b7)等等;用实际测定的使用者的运动状况四维数据与各位专家的这些典型判定四维数据求D值;式(六)中,yi代表被判断为阳性的使用者对应的四维特征,yj代表被判断为阴性的使用者对应的四维特征,根据本发明提供的方法及装置测得的数据k0、k1、k2和k3带人到上述式(六),求取与n位专家的阳性和阴性各自范数和之差;得到的是一个可正可负的数字D,式(五)是sigmoid公式,可将D取值于0左右两侧的数据尽量投射在0-1的值域里,如图6所示,这个函数投射有利于将结果二值化。即如果得到两距离差大于0.5则偏向于阳性,则可以认为该数据k0、k1、k2和k3对应的使用者患有注意缺陷多动障碍,如果得到的两距离差小于0.5则偏向于阴性,则可以认为该数据k0、k1、k2和k3对应的使用者未患有注意缺陷多动障碍。
本发明中将运动数据分为k0,k1,k2,k3四个指标至少具有如下优势:
(1)相对于只采用全时段k0产生的判定值,本申请中不仅能够体现全程时间内被测试者之间的总体变异,还能够体现分别在测试过程中反应正确与否条件下各自产生的变异,这种特征的增加可以令被测试者的症状特性在数据表现上更加具体充分,增加了对被测试者症状在是否具有广泛性的维度上的区分力,更具广泛性的多动表现往往意味着更重的病情。
(2)本申请不仅区分全局与不同反应条件下的变异,更能够区分不同反应内部变异的差异,进一步抽取并放大了被测试者在正常状态和注意控制失败状态下的差异化表达模式,提高了被测试者对自身行为反馈敏感程度维度上病情的区分力。对自身行为反馈更加不敏感的患者往往有更严重的病情。
(3)本申请不仅区分了不同反应条件下的行为差异,还额外区分了有提示和无提示条件下的行为差异,将逐一控制失败导致的变异进一步分解为不同被试注意控制监督力不同条件下所表现出的更细化变异模式,增加了对同样阳性和同样阴性被测试者内部之间比较的差异衡量指标,令判定在病情程度更加呈现谱系化特征,可为辅助诊断提供更精确的信息。
实施例:
使用本发明提供的方法及装置,对使用者7岁男童进行运动状况测试,以获得该使用者的运动状况数据;首先告知该使用者使用规则,在观察到目标图样时尽快刺激感应端,并且尽量不要做出其他无关动作;该使用者手持反馈信息部的手柄,显示屏显示目标图样或者非目标图样,进行练习,当使用者连续10次做出反应正确时,认定其习得使用方法,然后立即开始正式的测验,测验持续15分钟;通过刺激信号生成部1生成刺激信号,通过反馈信息部接收使用者在收到该刺激信号后的反馈信息,通过运动观测部捕获使用者的运动信息,再通过综合分析部分析获得使用者的运动数据;
在综合分析部中,选择步进值为4档,即1像素,5像素,10像素和20像素。
准备模式概率表,标准化所有目标点周围4档8×8特征点矩阵,将每个周围特征点序列的值分为上下1个标准差,低于1个标准差和高于1个标准差3个等级,求取全概率即32种特征,3的32次方个,约为1.85e+15个值;
从获得的图像中得到任意一个目标点,标记为1号目标点,从设备调用深度接口depth(1),得到其深度值为1003mm;
计算以1号目标点为中心的,以1,5,10,20像素为x和y方向步进的16个点的feat值,得到64个结果(8×4的矩阵),分别为:
1像素[20,20,20,21,20,20,21,22];
5像素[40,45,38,50,52,40,41,47];
10像素[103,50,10000,20,400,405,627,537];
20像素[555,405,402,2000,2500,1800,10000,2574];
用目标点深度值1003减去8×4矩阵各值得到一个新的8×4矩阵,即得到可被索引的具体特征;
查概率表得到8×4的特征概率数组,每个元素有高中低3档概率值,并计算其熵,得到32个特征中第4号具有最大熵值0.528,于是从概率表中寻找4号分支下的概率并计算综合熵,发现29号具有最高熵,继续查表找到4->29分支下的概率,以计算剩余特征综合熵,以此类推直至运行至最后一层得到19号特征,该特征具有居于1个标准差内的值,此分支下对应的身体部位为头部。
以上述方法为基础,计算所有300个目标点对应身体的部位。
求得身体各部位占有的6个像素集合并计算其几何中心,以其中的头部为例,几何中心位于640×480图像的498,373坐标点。
依照上述方法求下一帧的各部位中心点,得到头部位于470,362坐标点。
两帧之间头部几何中心位移为30.08,头部所占像素为207个,得到本帧头部运动指数为30.08×207=6375.6,以此方法计算其他身体部位的位移指数;
得到整个测试过程所有部位的每连续2帧间的位移指数序列,并计所有数据的总和为K0,截取有报错阶段位移指数的总和为K1,截取无提示反应错误后位移指数的总和为K2,截取反应正确后位移指数的总和为K3,分别得到具体数值为824267521.75,105326101.1,82313332.15,416628088.37。
将上述k0、k1、k2和k3的值代入D公式,求取与40位专家的阳性和阴性各自范数和之差,得到数字1.85,再代入sigmoid函数,得到0.86,由于0.86高于均值0.5并比较接近最大值1,故此可判断测例具有较大可能性罹患注意缺陷多动障碍。
以上结合了优选的实施方式对本发明进行了说明,不过这些实施方式仅是范例性的,仅起到说明性的作用。在此基础上,可以对本发明进行多种替换和改进,这些均落入本发明的保护范围内。

Claims (9)

1.一种运动数据获取方法,其特征在于,该方法包括:
通过刺激信号生成部(1)生成刺激信号;
通过反馈信息部(2)接收使用者在收到该刺激信号后的反馈信息;
通过运动观测部(3)观测记录使用者的运动情况;
再通过综合分析部(4)分析获得使用者的运动数据;
通过所述综合分析部(4)接收以图像形式记录的使用者身体运动情况信息,并对其中的图像做如下处理:
步骤1:通过概率投票的方式估计每帧图像中随机的若干像素点中属于使用者身体部位的概率,再据此采用临近法标注的方式获知每帧图像中的使用者身体部位像素点;
步骤2:分别求得各帧图像中,使用者身体6个部位占有的像素集合并计算其几何中心;所述使用者身体6个部位分别为头部、躯干、左臂、右臂、左腿和右腿;
步骤3:通过比较相邻两帧图像,获知各个部位几何中心的位移量,进而获知各个部位的位移指数;
步骤4:获得整个测试过程所有部位的每连续2帧图像间的位移指数,并分别统计使用者全部的运动状况K0、在有报错阶段的运动状况K1、在无报错阶段的运动状况K2和在反应正确后的运动状况K3。
2.根据权利要求1所述的方法,其特征在于,
所述刺激信号生成部(1)包括显示屏,
所述刺激信号包括在所述显示屏上按照预定规律依次显示的目标图样和非目标图样;
还包括报错图样。
3.根据权利要求2所述的方法,其特征在于,
所述显示屏同一时间只显示一个图样,其中目标图样的显示时间和非目标图样的显示时间都是0.7~0.3s,
在目标图样显示前和非目标图样显示前都会有一段时间的空白屏幕,所述一段时间优选为0.3s~0.5s。
4.根据权利要求1所述的方法,其特征在于,
所述反馈信息部(2)包括带有感应端的手柄,
使用者在观察到显示屏上显示出目标图样时刺激感应端,使用者在观察到显示屏上显示出非目标图样时不能刺激感应端。
5.根据权利要求1所述的方法,其特征在于,
所述运动观测部以图像的形式记录使用者的身体运动状况,并将记载有使用者运动状况的图像按照时间规律传递给综合分析部(4);
其中相邻两帧图像之间的时间间隔为35毫秒以下。
6.根据权利要求1所述的方法,其特征在于,
该方法的执行过程包括两个阶段,即无报错阶段和有报错阶段,
所述刺激信号生成部(1)在无报错阶段只显示目标图样和非目标图样,不显示报错图样;
所述刺激信号生成部(1)在有报错阶段显示目标图样、非目标图样和报错图样。
7.根据权利要求6所述的方法,其特征在于,
通过综合分析部(4)接收反馈信息部(2)收集的反馈信息,判断使用者的每个反应是反应正确或者反应错误,并在有报错阶段中,当使用者反应错误时向刺激信号生成部(1)发出报错指令,用以控制刺激信号生成部(1)显示报错图样。
8.根据权利要求6所述的方法,其特征在于,
所述无报错阶段按照时间划分为两个时间长度基本相等的时间段A和时间段B,在时间段A中,显示部显示目标图样的概率大于显示非目标图样的概率,
在时间段B中,显示部显示目标图样的概率小于显示非目标图样的概率;
所述有报错阶段按照时间划分为两个时间长度基本相等的时间段C和时间段D,在时间段C中,显示部显示目标图样的概率大于显示非目标图样的概率,
在时间段D中,显示部显示目标图样的概率小于显示非目标图样的概率。
9.一种运动数据获取装置,其特征在于,该装置包括刺激信号生成部(1)、反馈信息部(2)、运动观测部(3)和综合分析部(4);
所述刺激信号生成部(1)用于生成刺激信号,所述反馈信息部(2)用于接收使用者的反馈信息,所述运动观测部(3)用于观测记录使用者的运动情况,所述综合分析部(4)用于分析获得使用者的运动数据;
通过所述综合分析部(4)接收以图像形式记录的使用者身体运动情况信息,并对其中的图像做如下处理:
步骤1:通过概率投票的方式估计每帧图像中随机的若干像素点中属于使用者身体部位的概率,再据此采用临近法标注的方式获知每帧图像中的使用者身体部位像素点;
步骤2:分别求得各帧图像中,使用者身体6个部位占有的像素集合并计算其几何中心;所述使用者身体6个部位分别为头部、躯干、左臂、右臂、左腿和右腿;
步骤3:通过比较相邻两帧图像,获知各个部位几何中心的位移量,进而获知各个部位的位移指数;
步骤4:获得整个测试过程所有部位的每连续2帧图像间的位移指数,并分别统计使用者全部的运动状况K0、在有报错阶段的运动状况K1、在无报错阶段的运动状况K2和在反应正确后的运动状况K3。
CN201810824694.9A 2018-07-25 2018-07-25 运动数据获取方法及应用于该方法的获取装置 Active CN109171739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810824694.9A CN109171739B (zh) 2018-07-25 2018-07-25 运动数据获取方法及应用于该方法的获取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810824694.9A CN109171739B (zh) 2018-07-25 2018-07-25 运动数据获取方法及应用于该方法的获取装置

Publications (2)

Publication Number Publication Date
CN109171739A CN109171739A (zh) 2019-01-11
CN109171739B true CN109171739B (zh) 2020-11-10

Family

ID=64936891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810824694.9A Active CN109171739B (zh) 2018-07-25 2018-07-25 运动数据获取方法及应用于该方法的获取装置

Country Status (1)

Country Link
CN (1) CN109171739B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003073211A3 (en) * 2002-02-22 2004-02-26 Mclean Hospital Corp Methods for continuous performance testing
CN104127186A (zh) * 2014-07-31 2014-11-05 李风华 注意缺陷多动障碍客观评测系统
CN106419938A (zh) * 2016-11-28 2017-02-22 中国科学院心理研究所 一种基于运动能量释放估算的注意缺陷多动障碍(adhd)检测方法及其检测系统
CN107106094A (zh) * 2014-12-16 2017-08-29 皇家飞利浦有限公司 注意力缺陷的评估
CN107239895A (zh) * 2017-05-27 2017-10-10 西南交通大学 用于持续性注意力考核的方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9050035B2 (en) * 2012-03-22 2015-06-09 The Curators Of The University Of Missouri Device to measure pupillary light reflex in infants and toddlers
US9747880B2 (en) * 2014-05-30 2017-08-29 Interactive Metronome, Inc. Method and system for timed event evaluation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003073211A3 (en) * 2002-02-22 2004-02-26 Mclean Hospital Corp Methods for continuous performance testing
CN104127186A (zh) * 2014-07-31 2014-11-05 李风华 注意缺陷多动障碍客观评测系统
CN107106094A (zh) * 2014-12-16 2017-08-29 皇家飞利浦有限公司 注意力缺陷的评估
CN106419938A (zh) * 2016-11-28 2017-02-22 中国科学院心理研究所 一种基于运动能量释放估算的注意缺陷多动障碍(adhd)检测方法及其检测系统
CN107239895A (zh) * 2017-05-27 2017-10-10 西南交通大学 用于持续性注意力考核的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
注意缺陷多动障碍的客观辅助测评方法研究进展;李风华、郑毅、刘正奎;《中华精神科杂志》;20130630;第186-188页 *

Also Published As

Publication number Publication date
CN109171739A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
US10262423B2 (en) Disease and fall risk assessment using depth mapping systems
Haque et al. Deep multimodal pain recognition: a database and comparison of spatio-temporal visual modalities
Zhao et al. Dual channel LSTM based multi-feature extraction in gait for diagnosis of Neurodegenerative diseases
EP2698112B1 (en) Real-time stress determination of an individual
AU2010286471B2 (en) Characterizing a physical capability by motion analysis
US7419473B2 (en) Living body inspection apparatus
KR20170052628A (ko) 운동 과제 분석 시스템 및 방법
US7409373B2 (en) Pattern analysis system and method
KR20150096550A (ko) 재활운동 지원 장치 및 방법
CN111863256B (zh) 一种基于视觉认知功能损害的精神性疾病检测装置
CN110693510A (zh) 一种注意力缺陷多动障碍辅助诊断装置及其使用方法
Romeo et al. Vision-based assessment of balance control in elderly people
Gaud et al. Human gait analysis and activity recognition: A review
CN109171739B (zh) 运动数据获取方法及应用于该方法的获取装置
Chen et al. An auxiliary diagnostic system for Parkinson’s disease based on wearable sensors and genetic algorithm optimized random forest
Pan et al. Evaluation of hemiplegic gait based on plantar pressure and inertial sensors
Boccanfuso et al. Collecting heart rate using a high precision, non-contact, single-point infrared temperature sensor
Bennett et al. Pressure signal feature extraction for the differentiation of clinical mobility assessments
Allin et al. Video based analysis of standing balance in a community center
US20210169415A1 (en) Machine classification of significant psychophysiological response
US20230284948A1 (en) Test protocol for detecting significant psychophysiological response
CN114983434A (zh) 一种基于多模态脑功能信号识别的系统及方法
CN113517052A (zh) 商用健身场景下的多感知人机交互系统与方法
KR20220072484A (ko) 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법
TWI796275B (zh) 疾病風險評估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200416

Address after: 100088, 5, Ankang Hutong, Desheng Road, Beijing, Xicheng District

Applicant after: CAPITAL MEDICAL UNIVERSITY, BEIJING ANDING Hospital

Applicant after: Li Fenghua

Applicant after: Zheng Yi

Address before: 100101 Beijing Chaoyang District City, Lin Shui Road, No. 16 hospital

Applicant before: Li Fenghua

Applicant before: Zheng Yi

GR01 Patent grant
GR01 Patent grant