CN113100755B - 一种基于视觉追踪控制的肢体康复训练与评估系统 - Google Patents

一种基于视觉追踪控制的肢体康复训练与评估系统 Download PDF

Info

Publication number
CN113100755B
CN113100755B CN202110326924.0A CN202110326924A CN113100755B CN 113100755 B CN113100755 B CN 113100755B CN 202110326924 A CN202110326924 A CN 202110326924A CN 113100755 B CN113100755 B CN 113100755B
Authority
CN
China
Prior art keywords
user
training
eye
point
rehabilitation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110326924.0A
Other languages
English (en)
Other versions
CN113100755A (zh
Inventor
陈玲玲
李迎熙
刘作军
张�杰
刘通
尹健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202110326924.0A priority Critical patent/CN113100755B/zh
Publication of CN113100755A publication Critical patent/CN113100755A/zh
Application granted granted Critical
Publication of CN113100755B publication Critical patent/CN113100755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明公开了一种基于视觉追踪控制的肢体康复训练与评估系统，包括图像采集单元、头戴式显示与控制模块、康复器具和监测与评估模块，监测与评估模块，与图像采集单元、康复器具和头戴式显示与控制模块进行通讯连接；主动训练模式下，监测与评估模块通过处理图像采集单元采集的深度图像数据，获得用户的肢体骨架关键节点运动数据，并根据肢体骨架关键节点运动数据对肢体运动效果进行分析评估；跟随训练模式下，监测与评估模块通过处理康复器具的压力传感器采集的压力数据进行训练效果的分析；监测与评估模块将最终处理好的分析评估结果发送给头戴式显示与控制模块，进而反馈给用户。

Description

一种基于视觉追踪控制的肢体康复训练与评估系统
技术领域
本发明属于视觉追踪控制以及康复训练和评估技术领域，具体涉及一种基于视觉追踪控制的肢体康复训练与评估系统。
背景技术
近年来，我国残疾人康复服务行业发展迅速，需要进行康复训练的人群对先进康复理念和设备的要求也越来越迫切。现阶段的训练大多在相对自动化的康复器具上完成，相比传统的康复师一对一进行人工训练的方法虽有很大的进步，但仍存在以下几个问题：第一，由于康复师的认知差异和主观依赖性较大，康复过程的评估往往也伴随有极大的主观性。第二，训练过程中，由于康复师不能给出训练的量化标准，往往难以达到预期的康复效果。第三，整个训练的过程往往显得被动单一，用户难以获得较为自由舒适的训练体验。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于视觉追踪控制的肢体康复训练与评估系统，将眼动控制、增强现实等技术进行结合，用于康复训练过程，同时利用机器视觉、运动捕捉等技术，对人体关键点部位进行精确捕捉，从而定量地给出训练过程中的具体标准，并对康复训练效果进行精确评估。
本发明是通过以下技术方案实现的：
一种基于视觉追踪控制的肢体康复训练与评估系统，包括：
图像采集单元，用于采集用户受训练肢体的运动图像数据；
头戴式显示与控制模块，用于为用户提供人机交互操作界面，并通过识别用户的眼部动作，生成相应的控制指令；
康复器具，用于对用户的肢体进行康复运动训练，其具有主动训练、被动训练以及跟随训练三种模式，其中被动训练模式以及跟随训练模式下均有助力电机带动转轴运动，主动训练模式下助力电机默认不启动；所述康复器具能够接收来自头戴式显示与控制模块的控制指令，进而选择各类模式；所述康复器具在与肢体接触的部位设置有压力传感器，用于采集肢体与康复器具之间的压力数据；
监测与评估模块，与图像采集单元、康复器具和头戴式显示与控制模块进行通讯连接；主动训练模式下，监测与评估模块通过处理图像采集单元采集的深度图像数据，获得用户的肢体骨架关键节点运动数据，并根据肢体骨架关键节点运动数据对肢体运动效果进行分析评估；跟随训练模式下，监测与评估模块通过处理康复器具的压力传感器采集的压力数据进行训练效果的分析；监测与评估模块将最终处理好的分析评估结果发送给头戴式显示与控制模块，进而反馈给用户。
在上述技术方案中，所述图像采集单元由4台深度相机组成，4台深度相机成矩阵式排布，所围成的面积小于8m*8m，受试者位于4台深度相机中心视野中；4台深度相机采集的数据发送给监测与评估模块。
在上述技术方案中，监测与评估模块为一台计算机，监测与评估模块内设置有骨架提取单元及分析评估单元；所述骨架提取单元，用于提取用户肢体骨架关键节点的三维数据信息；所述分析评估单元，用于对主动训练模式及跟随训练模式的用户肢体运动训练效果进行评估。
在上述方案中，骨架提取单元的人体运动识别模型的构建步骤如下：
S1：成矩阵布置好深度相机组的4台深度相机，通过4台深度相机同时采集多位受试者时间序列的深度图像数据，将采集的数据发送给计算机端进行处理；
S2：根据上述获得的受试者的深度图像数据，构建好每台深度相机的人体各关键点部位的人体姿态估计模型；
S3：对4台深度相机进行标定，确定4台深度相机的三维变换矩阵；
在上述方案中，步骤S2中，采用OpenPose模型进行人体对象的关键点识别，具体步骤为：
S2.1：对相机组采集到的深度图像数据采用深度图像分隔策略，分隔前后景图像，确定每个受试者的人体轮廓区域，将各像素点分类，识别分离出人体的各关键节点部位信息，提取人体各关键节点部位的深度特征信息，以用于训练人体不同关键节点部位特征的分类器，区分人体关键节点部位特征公式为：
Figure BDA0002995019620000021
其中，x为深度图像素点的像素值，dl(x)是x像素值在深度图像t中的深度值，θ＝(σ，δ)是镜头偏移向量，1/dl(x)为处理人体尺寸缩放，t用作标记图像；
S2.2：搭建每台深度相机的OpenPose模型
人体关键点识别通过实时2D姿态估计算法进行分析，得到每个相机视角下受试者的2D运动姿态信息
Figure BDA0002995019620000031
其中，实时2D姿态估计算法采用OpenPose算法，对于每一个图像帧，OpenPose算法计算输出以下信息：
Figure BDA0002995019620000032
其中
Figure BDA0002995019620000033
代表第v台相机中第i个关键点的横坐标、纵坐标，
Figure BDA0002995019620000034
代表第v台相机中第i个关键点和与第i个关键点相邻的第e个关键点的连接概率，
Figure BDA0002995019620000035
为OpenPose算法中的PAF分数，通过部署每台相机的OpenPose模型得到原始人体骨骼图像，其中关键点的序号与其位置是唯一对应的。
在上述方案中，所述的人体关键节点部位为鼻、颈部、左肩、右肩、左肘、右肘、左手腕、右手腕、左腰、右腰、左膝、右膝、左脚踝和右脚踝。
在上述方案中，步骤S3中，让一名受试者进入4台深度相机中间的采集区，根据每台相机搭建好的OpenPose模型对此受试者进行人体骨骼关键点获取，受试者的三个关键节点i1、i2和i3作为人体的基准点集，计算4台深度相机的三维变换矩阵，即旋转和平移矩阵。选取一台相机中获取的较为完整人体骨骼序列作为基准骨架，即LB，同时定义其他相机中获取的三个骨架序列分别为L1、L2和L3，分别求L1、L2和L3相对于LB的旋转矩阵和平移矩阵，利用变换矩阵将L1、L2和L3三个骨架序列变换到LB所在坐标系下。利用三维刚性变换来求解变换矩阵，计算LK(k＝1,2,3)所取点集{i1 i2 i3}的中心点PLK和LB所取点集{i1 i2 i3}的中心点PLB，计算公式为：
Figure BDA0002995019620000036
再将LK与LB原有点集重新中心化，计算式为：
Figure BDA0002995019620000037
Figure BDA0002995019620000041
计算协方差矩阵
Figure BDA0002995019620000042
通过支持向量机对协方差矩阵C进行分解，求得旋转矩阵R和平移矩阵T，得到相机之间的变换矩阵，计算式为：
Figure BDA0002995019620000043
完成标定后，将由OpenPose算法得到的二维关键点坐标与深度相机获得的深度数据融合获得三维关键点空间坐标。
在上述技术方案中，分析评估单元将根据用户选择的不同训练模式采用不同的评估策略：若用户采用主动训练模式，则康复效果评估的依据为用户肢体骨架关键节点与已标定的关键节点之间的拟合程度：分析评估单元根据主动训练模式下骨架提取单元得到的肢体骨骼关键节点三维位置数据信息，与用户康复训练时肢体运动关节点应达到的标定节点位置进行对比，进而得到拟合次数与拟合成功次数，最终输出拟合成功率作为本次训练的评价指标；具体评估方式为：取标定位置上下5°的误差带，若用户的实时采样关节点落入误差带，则判定为成功拟合，最终拟合结果可用如下公式表示：
Figure BDA0002995019620000044
n2＝2×N
其中，n1为用户的成功拟合次数；n2为用户的总拟合次数；N为用户设定的训练次数。
在上述技术方案中，分析评估单元将根据用户选择的训练模式采用不同的评估策略：若用户采用跟随训练模式，则康复效果评估的依据为康复器具与用户肢体接触点的压力传感器检测的压力值随时间的变化曲线：分析评估单元将训练过程中康复器具与用户肢体之间产生的压力持续时间与训练时间作对比，进而得到跟随模式下成功跟随时长与总训练时长，并计算出拟合成功率作为本次训练的评价指标；具体评估方式为：当用户跟随康复器具进行训练时，设定0％F～15％F为误差允许范围，即当压力曲线在0％F～15％F内时，判定为成功跟随，康复效果用如下公式表示：
Figure BDA0002995019620000051
t2＝2N×T
其中，t1为压力曲线在0％F～15％F内的时间段，t2为用户康复训练的总时间；N为用户设定的训练次数；T为一次康复训练所用时间。
在上述技术方案中，显示与控制模块为一种智能眼镜，该智能眼镜包括镜框本体，镜框本体上设置有主机，信号传输模块，电源模块，镜片，右微型摄像头，右红外光源，左微型摄像头，左红外光源和投像模块；
所述主机包括主处理单元和图像处理单元两个单元，所述图像处理单元用于处理右微型摄像头和左微型摄像头采集到的眼部图像，以获得使用者的凝视点数据，并将处理好后的人眼凝视点数据传输至主处理单元，进行眼动行为的判定，根据判定结果生成相应的控制信号；
所述信号传输模块包括信号接收单元和信号发送单元，信号接收单元用于接收来自监测与评估模块的数据，并将数据传输至主处理单元，由主处理单元将处理好的数据传输至投像模块进行显示；信号发送单元用于将主处理单元产生的控制信号发送给康复器具；
所述电源模块为主机、信号传输模块、右微型摄像头、右红外光源、左微型摄像头、左红外光源和投像模块供电；所述镜片配合投像模块可将真实场景与虚拟场景结合后的光线折射入使用者眼中；所述右微型摄像头和左微型摄像头用于拍摄使用者的眼部图像，并将采集到的眼部图像传送至主机的图像处理单元；所述右红外光源和红外光源用于辅助微型摄像头拍摄人眼部图像。
在上述技术方案中，通过智能眼镜的图像处理单元进行瞳孔识别，包括以下步骤：
对采集到的眼部图像进行高斯滤波处理，以获得较平滑的眼部图像；
为获得最完整的瞳孔部分图像，采用OTSU法对眼图进行二值化处理；
为获取眼部图像轮廓点的集合S，对眼部图像执行Canny边缘检测操作；
采用最小二乘法对瞳孔进行椭圆拟合，识别瞳孔。
在上述技术方案中，通过智能眼镜的图像处理单元进行凝视点的估计方法为：
在采集到的眼部图像中，将瞳孔中心Cp与普耳钦斑中心Cb横纵坐标以普耳钦斑中心为基准分别作差，得到瞳孔——光斑向量(ΔX，ΔY)，其拟合的表达式如下：
Figure BDA0002995019620000061
Figure BDA0002995019620000062
Figure BDA0002995019620000063
其中，(Xf，Yf)和分别为屏幕校准点的横纵坐标；n为拟合多项式的阶数；A，B为多项式的系数；C为系数的个数；
屏幕校准点坐标(Xf，Yf)与最后估计得出的凝视点坐标(Xc，Yc)之间的均方误差MSE由以下公式求得：
MSE＝(Xf-MA)T(Xf-MA)+(Xf-MB)T(Xf-MB)
其中，矩阵
Figure BDA0002995019620000064
在上述技术方案中，通过智能眼镜的主处理单元识别眼动行为，包括注视行为、有意识眨眼行为以及眼势行为，这些行为的判别方法如下：
(1)注视，当注视点在目标区域内的驻留时间超过预设的驻留时间阈值Td时，定义产生注视行为；将目标区域用G表示，则G用公式表示为：
G＝(x0,y0,r)
其中，x0和y0分别表示目标区域中心的横纵坐标，一般默认对象设为圆形或正方形。
若默认对象为圆形，r表示目标区域的半径；
若默认对象为正方形，则r表示目标区域的边长。
则用户的注视行为模型可以定义为：
F＝(G,T)
其中T为用户在目标区域G内注视点所持续的时间。当T超过Td时，就判断为该目标区域内的注视行为。
(2)有意识眨眼，通过预设眨眼频率阈值与眨眼时长阈值来区分用户有意眨眼和无意识的眨眼行为；用户的眨眼行为可用眨眼频率f及眨眼时长T表示，用户的眨眼行为表示为：
B＝(f,T)
当眨眼频率超过预设的眨眼频率阈值fd，且眨眼时长超过阈值Td，定义产生有意识眨眼行为；
(3)眼势，眼势行为定义为在两个目标区域间发生的有意识眼跳行为，目标区域分为眼势行为的起点区域与终点区域。眼势行为可以使用眼势持续时间和眼势速度来描述，分别使用TC和Sv表示，二者单位分别用ms和/ms表示。同时，眼势行为的实现需要基于两个目标区域，即眼势的起点区域和终点区域，分别使用Gs和Ge来表示。在目标区域间发生的眼势行为过程中，参数Ts、Te分别表示用户在起点区域Gs和终点区域Ge内注视点的驻留时间；参数TC代表注视点从起点区域Gs跳跃到终点区域Ge的持续时间；参数Sv则代表眼势运动中注视点的运动速度。所以，用户的眼势行为可表示为：
E＝(Gs,Ts,Ge,Te,TC,Sv)
当眼势速度Sv超过预设的眼势速度阈值Svd时，判断为对应起点区域和终点区域的眼势行为。
本发明的优点和有益效果为：
本发明将眼动控制、增强现实等技术进行结合，用于康复训练过程，同时利用机器视觉、运动捕捉等技术，对人体关键点部位进行精确捕捉，从而定量地给出训练时的具体标准，并对康复训练效果进行精确评估。
附图说明
图1为康复训练与评估系统结构图。
图2为本系统的智能眼镜。
图3为本系统的智能眼镜。
图4(a)为注视行为识别流程图。
图4(b)为有意识眨眼识别流程。
图4(c)为眼势行为识别流程。
图5为智能眼镜控制流程图。
图6(a)为康复菜单选择界面。
图6(b)为康复训练次数设置界面。
图6(c)为康复训练阻尼设置界面。
图7(a)为主动训练时的监测关节点显示。
图7(b)为跟随训练时的压力曲线显示。
图7(c)为康复训练效果评估界面。
对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据以上附图获得其他的相关附图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合具体实施例进一步说明本发明的技术方案。
实施例一
参见附图1，本实施例的肢体康复训练与评估系统，包括：
图像采集单元2、5、6、7，用于采集用户的受训练肢体的运动图像数据；
头戴式显示与控制模块4，用于为用户提供人机交互操作界面，并通过识别用户的眼部动作生成相应的控制指令；
康复器具3，用于对用户的肢体进行康复运动训练，其采用一种适用于对用户的下肢进行康复运动训练的屈伸训练装置，其具有主动训练、被动训练以及跟随训练三种工作模式，其中被动训练模式以及跟随训练模式下均有助力电机带动转轴运动，主动训练模式下助力电机默认不启动；所述康复器具能够接收来自头戴式显示与控制模块的控制指令，进而选择各类模式；所述康复器具在与肢体接触的部位设置有压力传感器，用于采集肢体与康复器具之间的压力数据；
监测与评估模块1，与图像采集单元、康复器具3和头戴式显示与控制模块进行通讯连接；主动训练模式下，监测与评估模块通过处理图像采集单元采集的深度图像数据，获得用户的肢体骨架关键节点运动数据，并根据肢体骨架关键节点运动数据对肢体运动效果进行分析评估；跟随训练模式下，监测与评估模块通过处理康复器具3的压力传感器采集的压力数据进行训练效果的分析；监测与评估模块将最终得到的分析评估结果发送给头戴式显示与控制模块，进而反馈给用户。
进一步的说，所述图像采集单元由4台深度相机组成，4台深度相机成矩阵式排布，所围成的面积小于8m*8m，受试者位于4台深度相机中心视野中；4台深度相机采集的数据发送给监测与评估模块。
进一步的说，监测与评估模块采用一台计算机，监测与评估模块内设置有骨架提取单元及分析评估单元。
所述骨架提取单元，用于提取用户肢体骨架关键节点的三维数据信息；所述分析评估单元，用于对主动训练模式及跟随训练模式的用户肢体运动训练效果进行评估。
在上述方案中，骨架提取单元的人体运动识别模型的构建步骤如下：
S1：成矩阵布置好深度相机组的4台深度相机，通过4台深度相机同时采集多位受试者时间序列的深度图像数据，将采集的数据发送给计算机端进行处理；
S2：根据上述获得的受试者的深度图像数据，构建好每台深度相机的人体各关键点部位的人体姿态估计模型；
S3：对4台深度相机进行标定，确定4台深度相机的三维变换矩阵；
在上述方案中，步骤S2中，采用OpenPose模型进行人体对象的关键点识别，具体步骤为：
S2.1：对相机组采集到的深度图像数据采用深度图像分隔策略，分隔前后景图像，确定每个受试者的人体轮廓区域，将各像素点分类，识别分离出人体的各关键节点部位信息，提取人体各关键节点部位的深度特征信息，以用于训练人体不同关键节点部位特征的分类器，区分人体关键节点部位特征公式为：
Figure BDA0002995019620000091
其中，x为深度图像素点的像素值，dl(x)是x像素值在深度图像t中的深度值，θ＝(σ，δ)
是镜头偏移向量，1/dl(x)为处理人体尺寸缩放，t用作标记图像；
S2.2：搭建每台深度相机的OpenPose模型
人体关键点识别通过实时2D姿态估计算法进行分析，得到每个相机视角下受试者的2D运动姿态信息
Figure BDA0002995019620000092
其中，实时2D姿态估计算法采用OpenPose算法，对于每一个图像帧，OpenPose算法计算输出以下信息：
Figure BDA0002995019620000093
其中
Figure BDA0002995019620000094
代表第v台相机中第i个关键点的横坐标、纵坐标，
Figure BDA0002995019620000095
代表第v台相机中第i个关键点和与第i个关键点相邻的第e个关键点的连接概率，
Figure BDA0002995019620000101
为OpenPose算法中的PAF分数，通过部署每台相机的OpenPose模型得到原始人体骨骼图像，其中关键点的序号与其位置是唯一对应的。
在上述方案中，所述的人体关键节点部位为鼻、颈部、左肩、右肩、左肘、右肘、左手腕、右手腕、左腰、右腰、左膝、右膝、左脚踝和右脚踝。
在上述方案中，步骤S3中，让一名受试者进入4台深度相机中间的采集区，根据每台相机搭建好的OpenPose模型对此受试者进行人体骨骼关键点获取，受试者的三个关键节点i1、i2和i3作为人体的基准点集，计算4台深度相机的三维变换矩阵，即旋转和平移矩阵。选取一台相机中获取的较为完整人体骨骼序列作为基准骨架，即LB，同时定义其他相机中获取的三个骨架序列分别为L1、L2和L3，分别求L1、L2和L3相对于LB的旋转矩阵和平移矩阵，利用变换矩阵将L1、L2和L3三个骨架序列变换到LB所在坐标系下。利用三维刚性变换来求解变换矩阵，计算LK(k＝1,2,3)所取点集{i1 i2 i3}的中心点PLK和LB所取点集{i1 i2 i3}的中心点PLB，计算公式为：
Figure BDA0002995019620000102
再将LK与LB原有点集重新中心化，计算式为：
Figure BDA0002995019620000103
Figure BDA0002995019620000104
计算协方差矩阵
Figure BDA0002995019620000105
通过支持向量机对协方差矩阵C进行分解，求得旋转矩阵R和平移矩阵T，得到相机之间的变换矩阵，计算式为：
Figure BDA0002995019620000106
完成标定后，将由OpenPose算法得到的二维关键点坐标与深度相机获得的深度数据融合获得三维关键点空间坐标。
在上述技术方案中，分析评估单元将根据用户选择的不同训练模式采用不同的评估策略：若用户采用主动训练模式，则康复效果评估的依据为用户肢体骨架关键节点与已标定的关键节点之间的拟合程度：分析评估单元根据主动训练模式下骨架提取单元得到的肢体骨骼关键节点三维位置数据信息，与用户康复训练时肢体运动关节点应达到的标定节点位置进行对比，进而得到拟合次数与拟合成功次数，最终输出拟合成功率作为本次训练的评价指标；具体评估方式为：取标定位置上下5°的误差带，若用户的实时采样关节点落入误差带，则判定为成功拟合，最终拟合结果可用如下公式表示：
Figure BDA0002995019620000111
n2＝2×N
其中，n1为用户的成功拟合次数；n2为用户的总拟合次数；N为用户设定的训练次数。
实施例二
在实施例一的基础上，进一步的说，所述显示与控制模块为一种智能眼镜。
请参考附图2和附图3，该智能眼镜包括镜框本体a，镜框本体上设置有主机b，信号传输模块c，电源模块d，镜片e，右微型摄像头f，右红外光源g，左微型摄像头h，左红外光源i和投像模块j。
所述主机b包括主处理单元和图像处理单元两个单元，所述图像处理单元用于处理右微型摄像头和左微型摄像头采集到的眼部图像，以获得使用者的凝视点数据，并将处理好后的人眼凝视点数据传输至主处理单元，进行眼动行为的判定，根据判定结果生成相应的控制信号。
所述信号传输模块c包括信号接收单元和信号发送单元，信号接收单元用于接收来自监测与评估模块的数据，并将数据传输至主处理单元，由主处理单元将处理好的数据传输至投像模块进行显示；信号发送单元用于将主处理单元产生的控制信号发送给康复器具。
所述电源模块d为主机b、信号传输模块c，右微型摄像头f，右红外光源g，左微型摄像头h，左红外光源i和投像模块j供电。
所述镜片e为一种高透镜片，配合投像模块可将真实场景与虚拟场景结合后的光线折射入使用者眼中。
所述右微型摄像头和左微型摄像头用于拍摄使用者的眼部图像，并将采集到的眼部图像传送至主机的图像处理单元。
所述右红外光源和红外光源为一种850纳米，0.2W的近红外光，用于辅助微型摄像头拍摄人眼部图像。
实施例三
在实施例二的基础上，进一步的说，智能眼镜的图像处理单元的图像处理包括以下步骤：
对采集到的眼部图像进行高斯滤波处理：
Figure BDA0002995019620000121
以获得较平滑的眼部图像；
为获得最完整的瞳孔部分图像，采用OTSU法对眼图进行二值化处理，OTSU法的公式为：
g＝p1×(w1-w)2+p2×(w2-w)2；
Figure BDA0002995019620000122
其中，n为眼部图像的像素个数；t为二值化设定阈值；灰度值范围设定为A～B；n1为眼部图像中灰度介于A～t的像素数量；n2为眼部图像中灰度介于t～B的像素数量；p1为主体像素数量分别占该幅图像所有像素个数的比重；p2为背景像素数量占该幅图像所有像素个数的比重；w1为主体的灰度平均数；w2为背景的灰度平均数；w为该幅图像的平均灰度值；
为获取眼部图像轮廓点的集合S，对眼部图像执行Canny边缘检测操作；
眼部图像的瞳孔不呈现正圆形，需将瞳孔作为椭圆进行识别，因此采用最小二乘法对瞳孔进行椭圆拟合，最小二乘法椭圆拟合的公式为：
Ax2+Bxy+Cy2+Dx+Ey+F＝0
Figure BDA0002995019620000123
其中，A、B、C、D表示椭圆方程的参数；椭圆中心点O可用(x0，y0)表示；该方法主要对经过边Canny缘检测后产生的边缘外轮廓点集进行择优并拟合。
其中，最优化点集的选取原则最小化真实轮廓点到所求轮廓点之间的欧氏距离，使其在最小二乘意义下达到最小值。
在上述技术方案中，还采用了一种多项式拟合的方法进行凝视点的估计：
在采集到的眼部图像中，将瞳孔中心Cp与普耳钦斑中心Cb横纵坐标以普耳钦斑中心为基准分别作差，得到瞳孔——光斑向量(ΔX，ΔY)，其拟合的表达式如下：
Figure BDA0002995019620000131
Figure BDA0002995019620000132
Figure BDA0002995019620000133
其中，(Xf，Yf)和分别为屏幕校准点的横纵坐标；n为拟合多项式的阶数；A，B为多项式的系数；C为系数的个数。
上述技术方案中，屏幕校准点坐标(Xf，Yf)与最后估计得出的凝视点坐标(Xc，Yc)之间的均方误差MSE由以下公式求得：
MSE＝(Xf-MA)T(Xf-MA)+(Xf-MB)T(Xf-MB)
其中，矩阵
Figure BDA0002995019620000134
在具体实施例中，智能眼镜使用时需进行注视点校准，眼镜内会呈现出6个校准点，校准点在同一时间只会出现一个，且使用者注视时间应大于两秒；当出现某一校准点时，使用者观察该点，微型摄像头记录下此时对应的眼部图像并由主机计算瞳孔中心与普耳钦斑中心，进而得出并记录下对应该校准点的瞳孔——光斑向量；当所有校准点注视完成后，即可得到分别与5个校准点对应的5组瞳孔中心、普耳钦斑中心坐标和瞳孔——光斑向量；最后将校准完毕后的5组眼动参数和屏幕中事先确定好的校准点坐标代入拟合多项式中，即可得到其系数矩阵A，B，求出A，B后即可得到凝视点的映射函数，该映射函数可以将每一张眼图的凝视方向对应于屏幕中的某一点的坐标，完成凝视点估计。
主处理单元用以识别一些常见的眼动行为，包括注视行为、有意识眨眼行为以及眼势行为，这些行为的判别方法如下：
(1)注视。当注视点在目标区域内的驻留时间超过预设的驻留时间阈值Td时，定义产生注视行为。一般情况下，注视行为的注视点驻留时间超过100～200ms。可通过预设驻留时间阈值Td来判断用户注视行为。将目标区域用G表示，则G用公式表示为：
G＝(x0,y0,r)
其中，x0和y0分别表示目标区域中心的横纵坐标，一般默认对象设为圆形或正方形。若默认对象为圆形，r表示目标区域的半径；
若默认对象为正方形，则r表示目标区域的边长。
则用户的注视行为模型可以定义为：
F＝(G,T)
其中T为用户在目标区域G内注视点所持续的时间。当T超过Td时，就判断为该目标区域内的注视行为。
(2)有意识眨眼。通过预设眨眼频率阈值与眨眼时长阈值来区分用户有意眨眼和无意识的眨眼行为；用户的眨眼行为可用眨眼频率f及眨眼时长T表示，用户的眨眼行为表示为：
B＝(f,T)
当眨眼频率超过预设的眨眼频率阈值fd，且眨眼时长超过阈值Td，定义产生有意识眨眼行为；
(3)眼势。眼势行为定义为在两个目标区域间发生的有意识眼跳行为，目标区域分为眼势行为的起点区域与终点区域。眼势行为可以使用眼势持续时间和眼势速度来描述，分别使用TC和Sv表示，二者单位分别用ms和/ms表示。同时，眼势行为的实现需要基于两个目标区域，即眼势的起点区域和终点区域，分别使用Gs，和Ge，来表示。在目标区域间发生的眼势行为过程中，参数Ts、Te分别表示用户在起点区域Gs和终点区域Ge内注视点的驻留时间；参数TC代表注视点从起点区域Gs跳跃到终点区域Ge的持续时间；参数Sv则代表眼势运动中注视点的运动速度。所以，用户的眼势行为可表示为：
E＝(Gs,Ts,Ge,Te,TC,Sv)
当眼势速度Sv超过预设的眼势速度阈值Svd时，判断为对应起点区域和终点区域的眼势行为。
请参考图4，图4为眼动行为识别的算法流程图，包括注视行为实时算法图4(a)、有意识眨眼识别算法图4(b)、眼势行为识别算法图4(c)。
请参考图4(a)，图4(a)注视行为实时算法图，由图可知，注视行为识别包括以下步骤：
S10：实时注视点输入。
在使用者佩戴智能眼镜时，微型摄像头拍摄人眼图像，传送至主机的图像处理单元进行瞳孔提取以及凝视点估计，最终获取使用者的注视点位置，使用者注视点的位置是指使用者注视点在显示图像上的位置。
S11：判断注视点是否位于目标内部。
将目标区域用G表示，则G用公式表示为：
G＝(x0,y0,r)
其中，x0和y0分别表示目标区域中心的横纵坐标，本实施例中，智能眼镜显示的康复器具控制菜单界面为正方形，其中r表示选择菜单区域的边长，通过判断注视点(XC,YC)是否包含在正方形区域内，即可判断出注视点是否位于目标内部。
S12：计算注视点驻留时间T。
注视点若位于目标内部，则开始计时注视点停留在目标区域的时间T。
S13：判断注视点驻留时间T是否大于时间阈值Td
将注视点驻留时间T与时间阈值Td进行比较，若注视点驻留时间T大于时间阈值Td，则判断为使用者进行了一次注视行为。在具体实施例中，若用户发生了一次注视行为，则相当于对所注视的菜单界面进行了一次选择，且选择区域边框会标红，当注视点驻留时间T大于等于1.5倍时间阈值Td时，对选中区域进行一次单击。
请参考图4(b)，图4(b)为有意识眨眼识别算法，由图可知，有意识眨眼识别包括以下步骤：
S20：实时注视点输入。
S21：判断是否发生眨眼行为。
在具体实施例中，图像处理单元是对微型摄像头所拍摄的人眼图像进行逐帧分析，若在第k帧开始，直到第k+n帧结束，图像处理单元始终无法对获取眼图进行瞳孔中心的提取，则判断为使用者进行了一次眨眼行为。
S22：判断眨眼频率f是否大于眨眼频率阈值fd。
使用者的眨眼频率f可用眨眼次数表示，当使用者发生眨眼行为后，图像处理单元会对使用者的眨眼行为发生的次数进行累加，若眨眼频率大于预设的眨眼频率阈值fd，则进入下一步骤。
S23：计算总眨眼时长T。
当使用者发生眨眼行为后，从第k帧到第k+n帧期间为使用者的闭眼时间，将n帧与眨眼频率的乘积，作为使用者的总眨眼时长T，即T＝n×f。
S24：判断总眨眼时长T是否超过预设的眨眼时间阈值Td。
将总眨眼时长T是与预设的眨眼时间阈值Td进行比较，若T>Td，则判定使用者为有意识眨眼。具体实施例中，用户可通过有意识的眨眼两次，每次眨眼时长大于等于0.6s，即总时长大于等于1.2s，启动或关闭眼势操作。
请参考图4(c)，图4(c)为眼势行为识别算法，由图可知，眼势行为识别包括以下步骤：
S30：判断眼势操作是否打开。
使用者可通过有意识眨眼启动或关闭眼势操作，当眼势操作打开时，执行下一步骤。
S31：实时注视点输入。
S32：注视点是否位于眼势起点区域？
当注视点被输入后，通过目标点区域判别公式：
Gs＝(x0,y0,r)
判断注视点是否在眼势起点区域Gs，若注视点在目标区域Gs的注视时间Ts大于注视时间阈值Td，则用户在眼势起点区域产生注视行为。
S33：注视点是否离开眼势起点区域。
若微型摄像头采集到的人眼图像在第k帧开始注视眼势起点区域，当第k+n帧开始，人眼注视点不在眼势起点区域，则判定注视点离开眼势起点区域，若每一帧的时间用t表示，则Ts＝t×n。
S34：注视点是否进入眼势终点区域。
当注视点出现在眼势终点区域Ge后，通过目标点区域判别公式
Ge＝(x0,y0,r)
判断注视点是否在眼势终点区域Ge，若注视点在目标区域Ge的注视时间Te大于注视时间阈值Td，则用户在眼势终点区域Ge产生注视行为。
S35：计算注视点运动的速度Sv。
若微型摄像头采集到的人眼图像在第k+n帧开始人眼注视点已离开眼势起点区域Gs，在第k+n+m帧人眼注视点出现在眼势终点区域Ge，则注视点移动距离可用以下公式表示：
Figure BDA0002995019620000171
其中，Gs＝(xs，ys)，Ge＝(xe，ye)；
若每一帧的时间用t表示，则注视点从起点区域Gs跳跃到终点区域Ge的持续时间
TC＝t×(m-n)；
眼势行为中注视点的运动速度
Figure BDA0002995019620000172
S36：判断Sv是否超过Svd。
比较注视点运动速度Sv与注视点运动速度阈值Svd的大小，若Sv>Svd，则确认使用者产生了一次眼势行为。
在具体实施例中，使用者启动眼势操作后，智能眼镜的显示界面中会呈现出一个矩形底幕。除中间的康复器具操作及显示菜单外，矩形底幕的上下左右均有一个正方形的眼势操作区，四个区域均可作为眼势起点Gs及终点区域Ge；
使用者在进行眼势操作时，在眼势起点区域Gs及终点区域Ge的注视时间均需要大于1s；
默认地，使用者可以产生从左至右、从右至左、从上至下、从下至上的四种眼势行为。当产生从左至右的眼势行为后，进入下一级菜单；当产生从右至左的眼势行为后，返回上一级菜单；当产生从下至上的眼势行为后，会拉近显示区域的视角，相当于对显示区域进行放大；当产生从上至下的眼势行为后，会拉远显示区域的视角，相当于对显示区域进行缩小。
进一步的，请参考图5，图5为智能眼镜的控制流程图。
S40:获取眼部图像。
智能眼镜的微型摄像头用于拍摄使用者的眼部，配合红外光源，可获得更易于识别的眼部图像。
S41：呈现显示内容。
智能眼镜将预设的显示内容以及信号传输模块接收到的三维骨架图像经由主机的图像处理单元处理后，传输给投射装置。投射装置将包含有图像信息的光线经由镜片折射后导入人眼。使用者将看到如图6(a)、图6(b)、图6(c)、图7(a)、图7(b)、图7(c)所示的显示界面。
S42：识别眼动行为。
使用者在使用智能眼镜时，注视、有意识眨眼以及眼势行为都将被识别，并做出相应反应。具体的识别流程参见图5。
S43：发送控制指令。
使用者的眼动行为被识别后，相应的控制指令将产生并经信号传输模块进行发送。具体实施例中，使用者在康复菜单选择界面中选定训练模块后，信号传输模块将控制指令发送至康复辅具，康复辅具的信号接收模块接收到后，完成各模块的训练功能。
请参考图6(a)，图6(a)为康复菜单选择界面，包括眼势区域A1；主动训练模式选项2；包括眼势区域B3；跟随训练模式选项4；眼势区域C5；被动训练模式选项6；眼势区域D7；停止按钮8；暂停按钮9；开始按钮10；主页面按钮11；用户信息按钮12；关机按钮13。
在具体实施例中，智能眼镜开机后将呈现图6(a)所示的界面。界面内包括关机按钮；主页面按钮；用户信息按钮；开始按钮；暂停按钮；停止按钮；主动训练模式选项；跟随训练模式选项；被动训练模式选项及眼势区域A、B、C、D。
其中，眼势区域A、B、C、D为眼势行为操作区域，使用者的眼势行为需使用眼势区域完成；
当用户注视主动训练模式选项时，将会进入主动训练模式；
当用户注视跟随训练模式选项时，将会进入跟随训练模式；
当用户注视被动训练模式选项时，将会进入被动训练模式；
当用户注视停止按钮时，若用户处于某一训练模式下训练时，该训练将被终止；若用户并未进入任何训练模式，则该操作无效；
当用户注视暂停按钮时，若用户处于某一训练模式下训练时，该训练将被暂停；若用户并未进入任何训练模式，则该操作无效；
当用户注视开始按钮时，若用户已经选择好训练模式，并设定好该训练模式下的所有训练条件后，该训练将开始运行；若用户处于某一训练模式下训练且该训练被暂停时，该训练将开始运行；若用户并未进入任何训练模式，则该操作无效；
当用户注视主页面按钮时，若用户未开始运行任一训练时，则返回主页面；若用户已经处于训练过程，则该操作无效；
当用户注视主页面按钮时，若屏幕已经在主页面，则进入用户信息界面；若屏幕未在主页面，则该操作无效；
当用户注视关机按钮时，若屏幕已经在主页面，智能眼镜将关机；若屏幕未在主页面，则该操作无效；
请参考图6(b)，图6(b)为康复训练次数设置界面。
在具体实施例中，当用户选择任一训练模式选项后，将进入到该页面设置训练次数。
请参考图6(c)，图6(c)为康复训练阻尼设置界面。
在具体实施例中，若使用者选择主动模式选项并已经成功设置康复训练次数后，使用者将进入到该页面设置训练阻尼大小。
请参考图7(a)，图7(a)为主动训练时的监测关节点显示。
在具体实施例中，若使用者已经开始运行主动训练模式，则使用者进行训练时的运动图像将被相机机组采集，并得出三维的骨架图像。此外，图像还包括由康复师设定的指定康复角度及康复位置，由图中的红色及绿色实线表示出。图像经主机发送至智能眼镜，经图像处理单元对分辨率处理后进行显示。
请参考图7(b)，图7(b)为跟随训练时的压力曲线显示。
在具体实施例中，若使用者已经开始运行跟随训练模式，则使用者进行训练时，训练部位与康复器具之间的压力将被采集，并将压力随时间的变化曲线经主机发送至智能眼镜，经图像处理单元对分辨率处理后进行显示。
请参考图7(c)，图7(c)为康复训练效果评估界面。
在具体实施例中，当使用者完成主动训练模式及跟随训练模式中的任一训练后，智能眼镜内将显示此次训练的效果。若使用者完成了主动训练模式，则训练过程中的拟合次数及拟合成功次数将会被记录并显示；若使用者完成了跟随训练模式，则训练过程中的成功跟随时间及跟随训练时间将会被记录并显示。
以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。

Claims (8)

1.一种基于视觉追踪控制的肢体康复训练与评估系统，其特征在于，包括：
图像采集单元，用于采集用户的受训练肢体的运动图像数据；
头戴式显示与控制模块，用于为用户提供人机交互操作界面，并通过识别用户的眼部动作生成相应的控制指令；
康复器具，用于对用户的肢体进行康复运动训练，其具有主动训练模式、被动训练模式以及跟随训练模式三种工作模式，其中被动训练模式以及跟随训练模式下均有助力电机带动转轴运动，主动训练模式下助力电机默认不启动；所述康复器具能够接收来自头戴式显示与控制模块的控制指令选择各类模式；所述康复器具在与肢体接触的部位设置有压力传感器，用于采集肢体与康复器具之间的压力数据；
监测与评估模块，与图像采集单元、康复器具和头戴式显示与控制模块进行通讯连接；主动训练模式下，监测与评估模块通过处理图像采集单元采集的深度图像数据，获得用户的肢体骨架关键节点运动数据，并根据肢体骨架关键节点运动数据对肢体运动效果进行分析评估；跟随训练模式下，监测与评估模块通过处理康复器具的压力传感器采集的压力数据进行训练效果的分析；监测与评估模块得到的分析评估结果会发送给头戴式显示与控制模块反馈给用户；
监测与评估模块内设置有骨架提取单元及分析评估单元；所述骨架提取单元，用于提取用户肢体骨架关键节点的三维数据信息：首先通过训练好的机器学习模型识别出各台深度相机对用户的肢体骨架关键节点，再根据4台深度相机之间的三维变换矩阵，将各深度相机识别的肢体骨架进行对齐融合，从而得到最终的受试者肢体骨架关键节点的三维数据；所述分析评估单元，用于对主动训练模式及跟随训练模式的用户肢体运动训练效果进行评估；
骨架提取单元的人体运动识别模型的构建步骤如下：
S1：成矩阵布置好深度相机组的4台深度相机，通过4台深度相机同时采集多位受试者时间序列的深度图像数据，将采集的数据发送给计算机端进行处理；
S2：根据上述获得的受试者的深度图像数据，构建好每台深度相机的人体各关键点部位的人体姿态估计模型；
S3：对4台深度相机进行标定，确定4台深度相机的三维变换矩阵；
在上述方案中，步骤S2中，采用OpenPose模型进行人体对象的关键点识别，具体步骤为：
S2.1：对相机组采集到的深度图像数据采用深度图像分隔策略，分隔前后景图像，确定每个受试者的人体轮廓区域，将各像素点分类，识别分离出人体的各关键节点部位信息，提取人体各关键节点部位的深度特征信息，以用于训练人体不同关键节点部位特征的分类器，区分人体关键节点部位特征公式为：
Figure FDA0003896441870000021
其中，x为深度图像素点的像素值，dl(x)是x像素值在深度图像t中的深度值，θ＝(σ，δ)是镜头偏移向量，1/dl(x)为处理人体尺寸缩放，t用作标记图像；
S2.2：搭建每台深度相机的OpenPose模型
人体关键点识别通过实时2D姿态估计算法进行分析，得到每个相机视角下受试者的2D运动姿态信息
Figure FDA0003896441870000022
其中，实时2D姿态估计算法采用OpenPose算法，对于每一个图像帧，OpenPose算法计算输出以下信息：
Figure FDA0003896441870000023
其中
Figure FDA0003896441870000024
代表第v台相机中第i个关键点的横坐标、纵坐标，
Figure FDA0003896441870000025
代表第v台相机中第i个关键点和与第i个关键点相邻的第e个关键点的连接概率，
Figure FDA0003896441870000026
为OpenPose算法中的PAF分数，通过部署每台相机的OpenPose模型得到原始人体骨骼图像，其中关键点的序号与其位置是唯一对应的；
所述的人体关键节点部位为鼻、颈部、左肩、右肩、左肘、右肘、左手腕、右手腕、左腰、右腰、左膝、右膝、左脚踝和右脚踝；
步骤S3中，让一名受试者进入4台深度相机中间的采集区，根据每台相机搭建好的OpenPose模型对此受试者进行人体骨骼关键点获取，受试者的三个关键节点i1、i2和i3作为人体的基准点集，计算4台深度相机的三维变换矩阵，即旋转和平移矩阵；选取一台相机中获取的较为完整人体骨骼序列作为基准骨架，即LB，同时定义其他相机中获取的三个骨架序列分别为L1、L2和L3，分别求L1、L2和L3相对于LB的旋转矩阵和平移矩阵，利用变换矩阵将L1、L2和L3三个骨架序列变换到LB所在坐标系下；利用三维刚性变换来求解变换矩阵，计算LK(k＝1,2,3)所取点集{i1 i2 i3}的中心点PLK和LB所取点集{i1 i2 i3}的中心点PLB，计算公式为：
Figure FDA0003896441870000031
再将LK与LB原有点集重新中心化，计算式为：
Figure FDA0003896441870000032
Figure FDA0003896441870000033
计算协方差矩阵
Figure FDA0003896441870000034
通过支持向量机对协方差矩阵C进行分解，求得旋转矩阵R和平移矩阵T，得到相机之间的变换矩阵，计算式为：
Figure FDA0003896441870000035
完成标定后，将由OpenPose算法得到的二维关键点坐标与深度相机获得的深度数据融合获得三维关键点空间坐标。
2.根据权利要求1所述的基于视觉追踪控制的肢体康复训练与评估系统，其特征在于：所述图像采集单元由4台深度相机组成，4台深度相机成矩阵排布，所围成的面积小于8m*8m，受试者位于4台深度相机中心视野中；4台深度相机采集的数据发送给监测与评估模块。
3.根据权利要求1所述的基于视觉追踪控制的肢体康复训练与评估系统，其特征在于：分析评估单元将根据用户选择的不同训练模式采用不同的评估策略，若用户采用主动训练模式，则康复效果评估的依据为用户肢体骨架关键节点与已标定的关键节点之间的拟合程度：分析评估单元根据主动训练模式下骨架提取单元得到的肢体骨骼关键节点三维位置数据信息，与用户康复训练时肢体运动关节点应达到的标定节点位置进行对比，进而得到拟合次数与拟合成功次数，最终输出拟合成功率作为本次训练的评价指标；具体评估方式为：取标定位置上下5°的误差带，若用户的实时采样关节点落入误差带，则判定为成功拟合，最终拟合结果可用如下公式表示：
Figure FDA0003896441870000041
n2＝2×N
其中，n1为用户的成功拟合次数；n2为用户的总拟合次数；N为用户设定的训练次数。
4.根据权利要求3所述的基于视觉追踪控制的肢体康复训练与评估系统，其特征在于：若用户采用跟随训练模式，则康复效果评估的依据为康复器具与用户肢体接触点的压力传感器检测的压力值随时间的变化曲线：分析评估单元将训练过程中康复器具与用户之间产生的压力持续时间与训练时间作对比，进而得到跟随模式下成功跟随时长与总训练时长，并计算出拟合成功率作为本次训练的评价指标；具体评估方式为：当用户跟随康复器具进行训练时，设定0％F～15％F为误差允许范围，即当压力曲线在0％F～15％F内时，判定为成功跟随，康复效果用如下公式表示：
Figure FDA0003896441870000042
t2＝2N×T
其中，t1为压力曲线在0％F～15％F内的时间段，t2为用户康复训练的总时间；N为用户设定的训练次数；T为一次康复训练所用时间。
5.根据权利要求1所述的基于视觉追踪控制的肢体康复训练与评估系统，其特征在于：显示与控制模块为一种智能眼镜，该智能眼镜包括镜框本体，镜框本体上设置有主机，信号传输模块，电源模块，镜片，右微型摄像头，右红外光源，左微型摄像头，左红外光源和投像模块；
所述主机包括主处理单元和图像处理单元两个单元，所述图像处理单元用于处理右微型摄像头和左微型摄像头采集到的眼部图像，以获得使用者的凝视点数据，并将处理好后的人眼凝视点数据发送至主处理单元，进行眼动行为的判定，根据判定结果生成相应的控制信号；
所述信号传输模块包括信号接收单元和信号发送单元，信号接收单元用于接收来自监测与评估模块的数据，并将数据发送给主处理单元，由主处理单元发送至投像模块进行显示；信号发射单元用于将主处理单元产生的控制信号发送给康复器具；
所述电源模块为主机、信号传输模块、右微型摄像头、右红外光源、左微型摄像头、左红外光源和投像模块供电；所述镜片配合投像模块可将真实场景与虚拟场景结合后的光线折射入使用者眼中；所述右微型摄像头和左微型摄像头用于拍摄使用者的眼部图像，并将采集到的眼部图像传送至主机的图像处理单元；所述右红外光源和左红外光源用于辅助微型摄像头拍摄人眼部图像。
6.根据权利要求5所述的基于视觉追踪控制的肢体康复训练与评估系统，其特征在于：通过智能眼镜的图像处理单元进行瞳孔识别，包括以下步骤：
对采集到的眼部图像进行高斯滤波处理，以获得较平滑的眼部图像；
为获得最完整的瞳孔部分图像，采用OTSU法对眼图进行二值化处理；
为获取眼部图像轮廓点的集合S，对眼部图像执行Canny边缘检测操作；
采用最小二乘法对瞳孔进行椭圆拟合，识别瞳孔。
7.根据权利要求6所述的基于视觉追踪控制的肢体康复训练与评估系统，其特征在于：通过智能眼镜的图像处理单元进行凝视点的估计方法为：
在采集到的眼部图像中，将瞳孔中心Cp与普耳钦斑中心Cb横纵坐标以普耳钦斑中心为基准分别作差，得到瞳孔——光斑向量(ΔX，ΔY)，其拟合的表达式如下：
Figure FDA0003896441870000051
Figure FDA0003896441870000052
Figure FDA0003896441870000053
其中，(Xf，Yf)和分别为屏幕校准点的横纵坐标；n为拟合的多项式的阶数；A，B为多项式的系数；C为系数的个数；
屏幕校准点坐标(Xf，Yf)与最后估计得出的凝视点坐标(Xc，Yc)之间的均方误差MSE由以下公式求得：
MSE＝(Xf-MA)T(Xf-MA)+(Xf-MB)T(Xf-MB)
其中，矩阵
Figure FDA0003896441870000061
8.根据权利要求7所述的基于视觉追踪控制的肢体康复训练与评估系统，其特征在于：通过智能眼镜的主处理单元识别眼动行为，包括注视行为、有意识眨眼行为以及眼势行为，这些行为的判别方法如下：
(1)注视，当注视点在目标区域内的驻留时间超过预设的驻留时间阈值Td时，定义产生注视行为；将目标区域用G表示，则G用公式表示为：
G＝(x0,y0,r)
其中，x0和y0分别表示目标区域中心的横纵坐标，一般默认对象设为圆形或正方形；若默认对象为圆形，r表示目标区域的半径；
若默认对象为正方形，则r表示目标区域的边长；
则用户的注视行为模型定义为：
F＝(G,T)
其中T为用户在目标区域G内注视点所持续的时间，当T超过Td时，就判断为该目标区域内的注视行为；
(2)有意识眨眼，通过预设眨眼频率阈值与眨眼时长阈值来区分用户有意眨眼和无意识的眨眼行为；用户的眨眼行为可用眨眼频率f及眨眼时长T表示，用户的眨眼行为表示为：
B＝(f,T)
当眨眼频率超过预设的眨眼频率阈值fd，且眨眼时长超过阈值Td，定义产生有意识眨眼行为；
(3)眼势，眼势行为定义为在两个目标区域间发生的有意识眼跳行为，目标区域分为眼势行为的起点区域与终点区域；眼势行为使用眼势持续时间和眼势速度来描述，分别使用TC和Sv表示，二者单位分别用ms和/ms表示；同时，眼势行为的实现需要基于两个目标区域，即眼势的起点区域和终点区域，分别使用Gs，和Ge，来表示；在目标区域间发生的眼势行为过程中，参数Ts、Te分别表示用户在起点区域Gs和终点区域Ge内注视点的驻留时间；参数TC代表注视点从起点区域Gs跳跃到终点区域Ge的持续时间；参数Sv则代表眼势运动中注视点的运动速度；用户的眼势行为可表示为：
E＝(Gs,Ts,Ge,Te,TC,Sv)
当眼势速度Sv超过预设的眼势速度阈值Svd时，判断为对应起点区域和终点区域的眼势行为。
CN202110326924.0A 2021-03-26 2021-03-26 一种基于视觉追踪控制的肢体康复训练与评估系统 Active CN113100755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110326924.0A CN113100755B (zh) 2021-03-26 2021-03-26 一种基于视觉追踪控制的肢体康复训练与评估系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110326924.0A CN113100755B (zh) 2021-03-26 2021-03-26 一种基于视觉追踪控制的肢体康复训练与评估系统

Publications (2)

Publication Number Publication Date
CN113100755A CN113100755A (zh) 2021-07-13
CN113100755B true CN113100755B (zh) 2023-01-24

Family

ID=76712515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110326924.0A Active CN113100755B (zh) 2021-03-26 2021-03-26 一种基于视觉追踪控制的肢体康复训练与评估系统

Country Status (1)

Country Link
CN (1) CN113100755B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114099234B (zh) * 2021-11-23 2023-08-22 复旦大学 一种用于辅助康复训练的智能化康复机器人数据处理方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005074372A2 (en) * 2004-02-05 2005-08-18 Motorika Inc. Methods and apparatus for rehabilitation and training
JP2009082209A (ja) * 2007-09-27 2009-04-23 National Institute Of Information & Communication Technology リハビリテーション支援装置、運動感覚生成装置、及び評価装置
CN105573500A (zh) * 2015-12-22 2016-05-11 王占奎 眼动控制的智能ar眼镜设备
CN108814894A (zh) * 2018-04-12 2018-11-16 山东大学 基于视觉人体位姿检测的上肢康复机器人系统及使用方法
CN108875586A (zh) * 2018-05-24 2018-11-23 常州大学 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
CN109003301A (zh) * 2018-07-06 2018-12-14 东南大学 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练系统
CN110298279A (zh) * 2019-06-20 2019-10-01 暨南大学 一种肢体康复训练辅助方法及系统、介质、设备
CN112494276A (zh) * 2020-11-19 2021-03-16 上海理工大学 一种手部康复机器人系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210315486A1 (en) * 2018-07-16 2021-10-14 The Board Of Trustees Of The Leland Stanford Junior University System and Method for Automatic Evaluation of Gait Using Single or Multi-Camera Recordings
CN109948472A (zh) * 2019-03-04 2019-06-28 南京邮电大学 一种基于姿态估计的非侵入式人体热舒适检测方法及系统
CN110020633B (zh) * 2019-04-12 2022-11-04 腾讯科技（深圳）有限公司 姿态识别模型的训练方法、图像识别方法及装置
CN110210323B (zh) * 2019-05-09 2021-06-15 浙江大学 一种基于机器视觉的溺水行为在线识别方法
CN111798995A (zh) * 2020-06-28 2020-10-20 四川大学 一种基于OpenPose算法的术后康复方法及其数据采集装置支架

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005074372A2 (en) * 2004-02-05 2005-08-18 Motorika Inc. Methods and apparatus for rehabilitation and training
JP2009082209A (ja) * 2007-09-27 2009-04-23 National Institute Of Information & Communication Technology リハビリテーション支援装置、運動感覚生成装置、及び評価装置
CN105573500A (zh) * 2015-12-22 2016-05-11 王占奎 眼动控制的智能ar眼镜设备
CN108814894A (zh) * 2018-04-12 2018-11-16 山东大学 基于视觉人体位姿检测的上肢康复机器人系统及使用方法
CN108875586A (zh) * 2018-05-24 2018-11-23 常州大学 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
CN109003301A (zh) * 2018-07-06 2018-12-14 东南大学 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练系统
CN110298279A (zh) * 2019-06-20 2019-10-01 暨南大学 一种肢体康复训练辅助方法及系统、介质、设备
CN112494276A (zh) * 2020-11-19 2021-03-16 上海理工大学 一种手部康复机器人系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《VR环境下的眼动追踪系统及其应用研究》;吴荣荣;《中国优秀硕士学位论文全文数据库》;20200715(第07期);正文第16-18、21-25、31、42、43页 *
《基于眼动的智能人机技术与应用研究》;刘昕;《中国优秀硕士学位论文全文数据库》;20190715(第07期);正文第25、26页 *

Also Published As

Publication number Publication date
CN113100755A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN110890140B (zh) 基于虚拟现实的自闭症康复训练及能力评估系统及方法
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
CN107656613B (zh) 一种基于眼动追踪的人机交互系统及其工作方法
CN108108684B (zh) 一种融合视线检测的注意力检测方法
González-Ortega et al. A Kinect-based system for cognitive rehabilitation exercises monitoring
US10092220B2 (en) System and method for motion capture
JP7463052B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
Grauman et al. Communication via eye blinks and eyebrow raises: Video-based human-computer interfaces
CN102749991B (zh) 一种适用于人机交互的非接触式自由空间视线跟踪方法
Missimer et al. Blink and wink detection for mouse pointer control
CN107798318A (zh) 一种机器人识别面部快乐微表情的方法及其装置
CN109344694A (zh) 一种基于三维人体骨架的人体基本动作实时识别方法
Nagalakshmi Vallabhaneni The analysis of the impact of yoga on healthcare and conventional strategies for human pose recognition
CN102184016B (zh) 基于视频序列识别的无接触式鼠标控制方法
JP2011115460A (ja) 視線制御装置、視線制御方法、及びそのプログラム
WO2017161734A1 (zh) 通过电视和体感配件矫正人体动作及系统
WO2009043927A1 (en) Apparatus for acquiring and processing information relating to human eye movements
CN113100755B (zh) 一种基于视觉追踪控制的肢体康复训练与评估系统
Arar et al. Towards convenient calibration for cross-ratio based gaze estimation
Heo et al. Object recognition and selection method by gaze tracking and SURF algorithm
Javed et al. An intelligent alarm based visual eye tracking algorithm for cheating free examination system
Khan et al. A new 3D eyeball tracking system to enhance the usability of page scrolling
CN116883436A (zh) 一种基于视线估计的辅助理解方法及系统
JPH0473042A (ja) 視線トレーサ
Luchetti et al. Multidimensional assessment of daily living activities in a shared Augmented Reality environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant