CN105844100A - 通过电视和体感配件进行康复训练及系统 - Google Patents

通过电视和体感配件进行康复训练及系统 Download PDF

Info

Publication number
CN105844100A
CN105844100A CN201610173309.XA CN201610173309A CN105844100A CN 105844100 A CN105844100 A CN 105844100A CN 201610173309 A CN201610173309 A CN 201610173309A CN 105844100 A CN105844100 A CN 105844100A
Authority
CN
China
Prior art keywords
action
human
human body
feedback
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610173309.XA
Other languages
English (en)
Inventor
李水旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leshi Zhixin Electronic Technology Tianjin Co Ltd
LeTV Holding Beijing Co Ltd
Original Assignee
Leshi Zhixin Electronic Technology Tianjin Co Ltd
LeTV Holding Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leshi Zhixin Electronic Technology Tianjin Co Ltd, LeTV Holding Beijing Co Ltd filed Critical Leshi Zhixin Electronic Technology Tianjin Co Ltd
Priority to CN201610173309.XA priority Critical patent/CN105844100A/zh
Priority to PCT/CN2016/088188 priority patent/WO2017161733A1/zh
Publication of CN105844100A publication Critical patent/CN105844100A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明实施方式提供一种通过电视和体感配件进行康复训练的方法及系统,应用于体感识别技术领域,其中所述方法包括:体感配件对当前帧图片中的人体动作进行识别,获取与所述人体动作相对应的模拟动作;体感配件将获取的所述模拟动作与预设的康复训练动作标本进行对比,确定所述模拟动作与所述康复训练动作标本之间的动作差异;体感配件获取用户反馈;根据所述动作差异和所述用户反馈,进行康复训练评估。本发明实施方式以电视和体感配件为载体,实现家庭的康复医疗。

Description

通过电视和体感配件进行康复训练及系统
技术领域
本发明实施方式涉及图像识别技术领域,尤其涉及一种通过电视和体感配件进行康复训练及系统。
背景技术
现代社会保障基本治疗为核心的医疗制度下,康复一直是我国医疗体系中的短板,长期存在技术落后、设施缺乏、日常康复不便、康复水平低、费用高昂等症结。
目前,如果选择去传统医院或专业的康复机构进行康复训练,那么一方面由于专业的康复机构数量极少而且收费高昂,使得康复训练的价格往往较高,会增加用户的日常支出;另一方面康复训练的专业人数往往有限,不可能针对每个用户制定合适的康复计划或者进行运动动作的指导。
在实现本发明过程中发明人发现,由于费用高,有些用户选择在家中跟随电视内的康复动作进行健身,那么锻炼者无法得到专业的康复指导,也往往无法观察到自身的运动动作,有时候动作不到位会大大降低康复训练的效率。因此导致现在的康复训练只能在专业的康复机构进行,康复周期较长,无法为患者做到日常康复、家庭康复。
发明内容
本发明实施方式提供一种通过电视和体感配件进行康复训练的方法及系统,以电视和体感配件为载体,实现家庭的康复医疗。
本发明实施方式提供一种通过电视和体感配件进行康复训练的方法,所述电视和体感配件通信连接,所述方法包括:体感配件对当前帧图片中的人体动作进行识别,获取与所述人体动作相对应的模拟动作;体感配件将获取的所述模拟动作与预设的康复训练动作标本进行对比,确定所述模拟动作与所述康复训练动作标本之间的动作差异;体感配件获取用户反馈;根据所述动作差异和所述用户反馈,进行康复训练评估。
进一步地,所述模拟动作包括与所述人体动作相对应的人体骨骼;所述对当前帧图片中的人体动作进行识别,获取与所述人体动作相对应的模拟动作,包括:利用预先设置的人体部位分类器,识别当前帧图片中人体动作对应的预设数量的目标部位;根据预设聚类算法对识别的所述预设数量的目标部位中的像素点进行聚类处理,获取每个目标部位对应的骨骼点;将获取的所述骨骼点构成与所述人体动作相对应的模拟动作。
进一步地,所述利用预先设置的人体部位分类器,识别当前帧图片中人体动作对应的预设数量的目标部位,包括:获取人体部位训练集,所述人体部位训练集中包括预设数量的人体部位样本图;提取所述人体部位训练集中人体部位样本图的特征值向量;基于提取的所述特征值向量计算所述人体部位训练集中人体部位样本图的归类条件;基于所述归类条件识别当前帧图片中人体动作对应的预设数量的目标部位。
进一步地,所述将获取的所述模拟动作与预设的康复训练动作标本进行对比,确定所述模拟动作与所述康复训练动作标本之间的动作差异,包括:将获取的所述模拟动作的中心点与预设的康复训练动作标本的中心点重合;确定所述模拟动作和所述康复训练动作标本在预设位置处的动作差异。
进一步地,所述用户反馈是语音反馈或者触摸反馈,所述用户反馈的内容包括体感以及体感级别;所述体感配件获取用户反馈,包括:体感设备通过电视通知用户进行语音反馈,电视采集用户的语音反馈后发送给体感设备;或者,体感设备通过有线或无线的方式外接触摸设备,触摸设备采用用户的触摸反馈后发送给体感设备。
进一步地,所述根据所述动作差异和所述用户反馈,进行康复训练评估,包括:根据确定所述模拟动作与所述康复训练动作标本之间的动作差异,以及通过用户反馈获取的体感以及体感级别,进行康复训练评估,并调整康复训练的动作标本。
本发明实施方式提供一种通过电视和体感配件进行康复训练的系统,所述系统包括:体感配件,用于对当前帧图片中的人体动作进行识别,获取与所述人体动作相对应的模拟动作;将获取的所述模拟动作与预设的康复训练动作标本进行对比,确定所述模拟动作与所述康复训练动作标本之间的动作差异;获取用户反馈;根据所述动作差异和所述用户反馈,进行康复训练评估;电视,与所述体感配件通信连接,用于显示体感配件提供的康复训练动作标本。
进一步地,所述模拟动作包括与所述人体动作相对应的人体骨骼;所述体感配件对当前帧图片中的人体动作进行识别,获取与所述人体动作相对应的模拟动作,具体为:所述体感配件利用预先设置的人体部位分类器,识别当前帧图片中人体动作对应的预设数量的目标部位;根据预设聚类算法对识别的所述预设数量的目标部位中的像素点进行聚类处理,获取每个目标部位对应的骨骼点;将获取的所述骨骼点构成与所述人体动作相对应的模拟动作。
进一步地,所述体感配件利用预先设置的人体部位分类器,识别当前帧图片中人体动作对应的预设数量的目标部位,具体为:所述体感配件获取人体部位训练集,所述人体部位训练集中包括预设数量的人体部位样本图;提取所述人体部位训练集中人体部位样本图的特征值向量;基于提取的所述特征值向量计算所述人体部位训练集中人体部位样本图的归类条件;基于所述归类条件识别当前帧图片中人体动作对应的预设数量的目标部位。
进一步地,所述用户反馈是语音反馈或者触摸反馈,所述用户反馈的内容包括体感以及体感级别;所述体感配件获取用户反馈,具体为:体感设备通过电视通知用户进行语音反馈,电视采集用户的语音反馈后发送给体感设备;或者,体感设备通过有线或无线的方式外接触摸设备,触摸设备采用用户的触摸反馈后发送给体感设备。
本发明实施方式提供的一种通过电视和体感配件进行康复训练的方法及系统,电视和体感设备作为一个整体,以体感游戏和人机互动的形式去实现一系列已被论证有效的康复动作,从而替代了传统的康复作业疗法中的辅助器具,对上下肢以及大脑认知进行全方位的康复训练。该方案具有提高康复对象的运动能力、协调能力、认知能力、作业能力以及对患者进行心理治疗等功能,激发康复对象的训练欲望,提高康复热情使治疗效果倍增;通过体感摄像头对患者的康复运动与标准运动做对比,在康复过程用户可以根据自身训练情况进行反馈,体感配件能够根据所述动作差异和所述用户反馈,进行康复训练评估并适度的调整康复训练的动作标本。。此外,医生可以通过康复医疗服务平台,远程监测康复数据,实时查看治疗效果,为在家康复患者提供远程辅助治疗,节约大笔住院费用。
附图说明
为了更清楚地说明本发明实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图逐一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施方式提供的一种通过电视和体感配件进行康复训练的方法流程图;
图2为本发明实施方式提供的识别出当前帧图片中人体动作对应的人体骨骼的方法流程图;
图3为本发明实施方式通过支持向量机计算分类条件的示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
虽然下文描述流程包括以特定顺序出现的多个操作,但是应该清楚了解,这些过程可以包括更多或更少的操作,这些操作可以顺序执行或并行执行,例如使用并行处理器或多线程环境。
图1为本发明实施方式提供的一种通过电视和体感配件进行康复训练的方法流程图。如图1所示,所述方法包括:
步骤S1:体感配件对当前帧图片中的人体动作进行识别,获取与所述人体动作相对应的模拟动作。
在本发明实施方式中,可以通过在电视机上安装体感配件,从而可以对电视机前锻炼者的人体动作进行监测,其中所述体感配件可以是体感摄像头。
在本发明实施方式中,可以对当前帧图片中的人体动作进行识别,以获取与所述人体动作相对应的模拟动作。在本发明实施方式中,对人体动作进行识别的过程可以在体感配件中完成,也可以在与所述体感配件相连的处理器中完成。例如,体感配件在获取到所述当前帧图片后,可以将该图片发送至与其相连的处理器中,然后可以通过所述处理器对所述当前帧图片进行识别。
在本发明实施方式中,所述模拟动作可以为与所述人体动作完全一致的动作,也可以仅仅为与所述人体动作相对应的人体骨骼。在本发明实施方式中,考虑到人体可以通过20个骨骼点来进行表示,因此可以在对当前帧图片中的人体动作进行识别后,生成与所述人体动作相对应的人体骨骼,所述人体骨骼中可以包括多个骨骼点,例如至少20。通过所述人体骨骼可以反应出电视机前的人体各个部位的动作,从而方便将人体动作与电视机中的标准动作进行对比。
在本发明实施方式中,如图2所示,具体可以通过以下几个步骤来识别出当前帧图片中人体动作对应的人体骨骼。
步骤S11:利用预先设置的人体部位分类器,识别当前帧图片中人体动作对应的预设数量的目标部位。
在本发明实施方式中,可以预先设置人体部位分类器,所述人体部位分类器可以对人体的图片进行分析,从而识别出该人体中包含的各个部位。例如,人体可以划分为头部、肩部、臂部、肘部、踝部、脚部、腕部、手部、躯干部、腿部以及膝部,在上述的每个部位处又可以划分为上下左右多个部分,以便对于人体进行更加精确地识别。
在本发明实施方式中,所述人体部位分类器可以通过机器学习的方法来建立,也就是说,利用人体各个部位的图片训练所述人体部位分类器,从而可以让所述人体部位分类器生成用以划分不同部位的分类条件,然后便可以对所述人体部位分类器输入待处理的图片,从而可以根据所述分类条件对所述待处理的图片中的各个人体部位进行识别。
具体地,在本发明实施方式中,可以预先获取人体部位训练集,所述人体部位训练集中包括预设数量的人体部位样本图。为了保证得出的分类条件比较准确,在本发明实施方式中可以在所述人体部位训练集中设置尽可能多的人体部位样本图,所述人体部位样本图可以涵盖上述的各个人体部位。在获取人体部位训练集之后,在本发明实施方式中,可以提取所述人体部位训练集中人体部位样本图的特征值向量。所述特征值向量可以是人体部位样本图对应的像素值向量。由于人体部位样本图是由若干像素点构成,在本发明实施方式中可以将各个像素点对应的RGB值提取出来,并且将每个像素点提取出的特征值按照顺序排列,以构成所述特征值向量。例如,排列后构成的特征值向量如下面形式的一系列排列的数值:
(RGB(1,1),RGB(1,2),…,RGB(1,120),RGB(2,1),RGB(2,2),…,RGB(2,120),…,RGB(200,1),RGB(200,2),…RGB(200,120))
其中,RGB(m,n)=Ra,Gb,Bc,m、n分别表示人体部位样本图中某一像素所处的行和列;对于200像素*120像素的图片而言,m的取值范围可以为1至200,n的取值范围可以为1至120。Ra,Gb,Bc为0-255中的任一整数,用以分别代表该像素点对应的RGB值。
在本发明实施方式中,在提取得到各个人体部位样本图对应的特征值向量后,便可以基于提取的所述特征值向量计算所述人体部位训练集中人体部位样本图的归类条件。具体地,这里以采用支持向量机(SupportVector Machine)算法为例介绍计算所述训练样本中人体部位样本图的分类条件的实现方式。支持向量机是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。整体来说,支持向量机可以解决复杂事务的分类及分类标准的问题。
利用图3显示的线性分类的例子解释通过支持向量机算法进行分类的基本原理。如图3所示,左侧坐标图中的点表示输入的训练样本,右侧坐标图中的叉代表的点表示计算得到的C1类训练样本,圆圈代表的点表示计算得到的C2类训练样本。如图3所示,将训练样本通过支持向量机算法计算后,可以获得分类后的C1和C2两类训练样本,并且可以得到划分C1和C2两类的归类条件。
对于图3的线性分类来说,所述归类条件(图中的vv’线,也称为超平面)可以用一个线性函数来表示,例如表示为:
f(x)=wx+b
其中,w和b为支持向量机对特征值向量集合进行计算(支持向量机中称为“训练”)后得到的参数,x代表图片的特征值向量。
f(x)表示支持向量机中的映射关系。对于f(x)=0的情况,此时的特征值向量x即位于所述超平面上。对于f(x)大于0的情况,对应图3右侧坐标图中超平面右上侧的特征值向量;对于f(x)小于0的情况,对应图3右侧坐标图中超平面左下侧的特征值向量。
输入的特征值向量例如均为二维向量,即对应图3中坐标上的每个点。支持向量机算法,即不断搜索输入的特征值向量范围内的直线,通过尝试计算每一个搜索到的这种直线与每一特征值向量(图中的点)的距离,得到一个这样的直线:该直线距离两侧最近特征值向量的距离最大且相等。如图3中右侧坐标图所示,计算得到的直线vv’即超平面。从图3中右侧坐标图可以看出,二维情况下超平面vv’为一直线,该直线距离两侧最近特征值向量的距离最大且相等,该距离均为L。
这样,通过支持向量机的算法,便可以得到划分训练样本中不同人体部位的分类条件。接着,在本发明实施方式中,可以基于所述归类条件识别当前帧图片中人体动作对应的预设数量的目标部位。具体地,所述人体部位分类器可以利用分类条件对当前帧图片中的人体动作进行分类,从而识别出所述当前帧图片中的人体动作包含的预设数量的目标部位。
步骤S12:根据预设聚类算法对识别的所述预设数量的目标部位中的像素点进行聚类处理,获取每个目标部位对应的骨骼点。
在本发明实施方式中,在获取到所述当前帧图片中人体动作对应的多个目标部位后,便可以根据预设聚类算法对识别的所述预设数量的目标部位中的像素点进行聚类处理,获取每个目标部位对应的骨骼点。具体地,所述聚类算法可以包括K-MEANS算法、凝聚层次聚类算法或DBSCAN算法中的至少一种。所述聚类算法可以将识别出的目标部位中的像素点聚集于一点,最终聚集的这一点便可以作为所述目标部位对应的骨骼点。
这样,对每个识别出的目标部位均进行聚类处理,从而可以得到各个目标部位对应的骨骼点。
步骤S13:将获取的所述骨骼点构成与所述人体动作相对应的模拟动作。
在本发明实施方式中,在获取了各个目标部位对应的骨骼点后,将这些骨骼点按顺序进行连线,便可以得到与所述人体动作相对应的骨骼图,所述骨骼图便可以作为获取的模拟动作。
在所述模拟动作中,相邻两个骨骼点之间的连线便可以形成人体的动作,例如,左肩部骨骼点与左手肘骨骼点之间的连线可以勾勒出人体左上臂的线条,该勾勒出的线条便可以作为与人体动作的左上臂相对应的模拟动作。
步骤S2:将获取的所述模拟动作与预设的康复训练动作标本进行对比,确定所述模拟动作与所述康复训练动作标本之间的动作差异。
在本发明实施方式中,在获取了与人体动作相对应的模拟动作之后,便可以将获取的所述模拟动作与预设的康复训练动作标本进行对比,从而判断当前人体动作与康复训练动作标本是否一致,也就是说,通过对所述模拟动作与所述康复训练动作标本进行对比,可以确定当前时刻人体动作是否到位。
在本发明实施方式中,可以将获取的所述模拟动作的中心点与预设的康复训练动作标本的中心点重合。所述中心点可以为人体躯干的中心点,例如胸腔的中心点。在将所述模拟动作的中心点与预设康复训练动作标本的中心点重合之后,便可以判断模拟动作的其他部位是否与康复训练动作标本的其他部位对应一致。这样,便可以确定所述模拟动作和所述康复训练动作标本在预设位置处的动作差异。
在本发明实施方式中,所述预设位置可以是针对不同的康复训练动作标本预先指定的。例如,对于某个康复训练动作标本而言,其重点在于手臂和脚的位置是否准确。那么,在这种情况下,便可以将该康复训练动作标本中的手臂和脚确定为预设位置,在对模拟动作与康复训练动作标本进行对比时,可以仅对手臂和脚的位置进行对比,从而可以确定模拟动作与康复训练动作标本在手臂和脚的位置处存在的动作差异。
步骤S3,体感配件获取用户反馈。
在本步骤中,在康复训练过程中,体感配件可以实时获取用户反馈。在具体的实现方式中,用户反馈可以是语音反馈或者触摸反馈等多种形式的反馈,用户反馈的内容可以包括体感以及体感级别。
例如,体感设备可以通过电视通知用户进行语音反馈并通过电视采集用户的语音反馈。在康复训练过程中,用户在抬起手臂,同时告知用户如果感觉到疼痛时进行预先设定的语音反馈,例如“疼”,进一步地,可以设定疼痛的等级,例如“非常疼”,“一般疼”和“不疼”,电视的语音采集系统采集用户的语音反馈后发送给体感设备。
还例如,体感设备可以通过有线或无线的方式外接触摸设备,该触摸设备可以放置在用户身边,对于语言不便的用户,可以采用触摸方式进行触摸反馈。在康复训练过程中,用户在抬起手臂,同时告知用户如果感觉到疼痛时进行预先设定的触摸反馈,例如触摸表示疼的案件,进一步地,可以设定对应于疼痛的等级的案件,触摸设备采集到触摸反馈后发送给体感设备。
步骤S4:根据确定的动作差异和获取的用户反馈,进行康复训练评估。
在本发明实施方式中,确定所述模拟动作和所述康复训练动作标本在预设位置处存在的动作差异,并结合在康复训练过程中的用户反馈,进行康复训练评估,而且还可以随时调整康复训练的动作标本。
例如,当模拟动作与康复训练动作标本中的手臂部位不一致时,可以判断模拟动作的手臂与康复训练动作标本的手臂之间的位置关系,如模拟动作的手臂位于所述康复训练动作标本的手臂的下方且接收到用户的反馈非常疼,那么在这种情况下,便可以向下调整康复训练的动作标本手臂位置。
此外,康复训练对用户的鼓励十分重要,所以,与其他普通的体感配件相比,由于与电视连接,可以在用户使用时,同时看到自己的动作与标准动作的对比,还可以通过电视进行语音鼓励,能够提高康复训练的效果。
本发明实施方式还提供一种通过电视和体感配件进行康复训练的系统。所述系统可以包括:
体感配件,用于对当前帧图片中的人体动作进行识别,获取与所述人体动作相对应的模拟动作;将获取的所述模拟动作与预设的康复训练动作标本进行对比,确定所述模拟动作与所述康复训练动作标本之间的动作差异;获取用户反馈;根据所述动作差异和所述用户反馈,进行康复训练评估;
电视,与所述体感配件通信连接,用于显示体感配件提供的康复训练动作标本。
在本发明一优选实施方式中,所述模拟动作包括与所述人体动作相对应的人体骨骼。
相应地,所述体感配件对当前帧图片中的人体动作进行识别,获取与所述人体动作相对应的模拟动作,具体为:
所述体感配件利用预先设置的人体部位分类器,识别当前帧图片中人体动作对应的预设数量的目标部位;根据预设聚类算法对识别的所述预设数量的目标部位中的像素点进行聚类处理,获取每个目标部位对应的骨骼点;将获取的所述骨骼点构成与所述人体动作相对应的模拟动作。
其中,所述体感配件利用预先设置的人体部位分类器,识别当前帧图片中人体动作对应的预设数量的目标部位,具体为:所述体感配件获取人体部位训练集,所述人体部位训练集中包括预设数量的人体部位样本图;提取所述人体部位训练集中人体部位样本图的特征值向量;基于提取的所述特征值向量计算所述人体部位训练集中人体部位样本图的归类条件;基于所述归类条件识别当前帧图片中人体动作对应的预设数量的目标部位。
所述体感配件将获取的所述模拟动作与预设的康复训练动作标本进行对比,确定所述模拟动作与所述康复训练动作标本之间的动作差异,具体为:所述体感配件将获取的所述模拟动作的中心点与预设的康复训练动作标本的中心点重合;确定所述模拟动作和所述康复训练动作标本在预设位置处的动作差异。
此外,所述用户反馈是语音反馈或者触摸反馈,所述用户反馈的内容包括体感以及体感级别。
所述体感配件获取用户反馈,具体为:体感设备通过电视通知用户进行语音反馈,电视采集用户的语音反馈后发送给体感设备;或者,体感设备通过有线或无线的方式外接触摸设备,触摸设备采用用户的触摸反馈后发送给体感设备。
需要说明的是,上述各个功能模块的具体实现方式与步骤S1至S3中的描述一致,这里便不再赘述。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
由上可见,本发明实施方式提供的一种通过电视和体感配件进行康复训练的方法及系统,电视和体感设备作为一个整体,以体感游戏和人机互动的形式去实现一系列已被论证有效的康复动作,从而替代了传统的康复作业疗法中的辅助器具,对上下肢以及大脑认知进行全方位的康复训练。该方案具有提高康复对象的运动能力、协调能力、认知能力、作业能力以及对患者进行心理治疗等功能,激发康复对象的训练欲望,提高康复热情使治疗效果倍增;通过体感摄像头对患者的康复运动与标准运动做对比,在康复过程用户可以根据自身训练情况进行反馈,体感配件能够根据所述动作差异和所述用户反馈,进行康复训练评估并适度的调整康复训练的动作标本。此外,医生可以通过康复医疗服务平台,远程监测康复数据,实时查看治疗效果,为在家康复患者提供远程辅助治疗,节约大笔住院费用。
上面对本发明的各种实施方式的描述以描述的目的提供给本领域技术人员。其不旨在是穷举的、或者不旨在将本发明限制于单个公开的实施方式。如上所述,本发明的各种替代和变化对于上述技术所属领域技术人员而言将是显而易见的。因此,虽然已经具体讨论了一些另选的实施方式,但是其它实施方式将是显而易见的,或者本领域技术人员相对容易得出。本发明旨在包括在此已经讨论过的本发明的所有替代、修改、和变化,以及落在上述申请的精神和范围内的其它实施方式。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于方法实施例而言,由于其基本相似于系统实施例,所以描述的比较简单,相关之处参见系统实施例的部分说明即可。
虽然通过实施例描绘了本发明,本领域普通技术人员知道,本发明有许多变形和变化而不脱离本发明的精神,希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。

Claims (10)

1.一种通过电视和体感配件进行康复训练的方法,所述电视和体感配件通信连接,其特征在于,所述方法包括:
体感配件对当前帧图片中的人体动作进行识别,获取与所述人体动作相对应的模拟动作;
体感配件将获取的所述模拟动作与预设的康复训练动作标本进行对比,确定所述模拟动作与所述康复训练动作标本之间的动作差异;
体感配件获取用户反馈;
根据所述动作差异和所述用户反馈,进行康复训练评估。
2.根据权利要求1所述的通过电视和体感配件进行康复训练的方法,其特征在于,所述模拟动作包括与所述人体动作相对应的人体骨骼;
所述对当前帧图片中的人体动作进行识别,获取与所述人体动作相对应的模拟动作,包括:
利用预先设置的人体部位分类器,识别当前帧图片中人体动作对应的预设数量的目标部位;
根据预设聚类算法对识别的所述预设数量的目标部位中的像素点进行聚类处理,获取每个目标部位对应的骨骼点;
将获取的所述骨骼点构成与所述人体动作相对应的模拟动作。
3.根据权利要求2所述的通过电视和体感配件进行康复训练的方法,其特征在于,所述利用预先设置的人体部位分类器,识别当前帧图片中人体动作对应的预设数量的目标部位,包括:
获取人体部位训练集,所述人体部位训练集中包括预设数量的人体部位样本图;
提取所述人体部位训练集中人体部位样本图的特征值向量;
基于提取的所述特征值向量计算所述人体部位训练集中人体部位样本图的归类条件;
基于所述归类条件识别当前帧图片中人体动作对应的预设数量的目标部位。
4.根据权利要求1所述的通过电视和体感配件进行康复训练的方法,其特征在于,所述将获取的所述模拟动作与预设的康复训练动作标本进行对比,确定所述模拟动作与所述康复训练动作标本之间的动作差异,包括:
将获取的所述模拟动作的中心点与预设的康复训练动作标本的中心点重合;
确定所述模拟动作和所述康复训练动作标本在预设位置处的动作差异。
5.根据权利要求4所述的通过电视和体感配件进行康复训练的方法,其特征在于,所述用户反馈是语音反馈或者触摸反馈,所述用户反馈的内容包括体感以及体感级别;
所述体感配件获取用户反馈,包括:
体感设备通过电视通知用户进行语音反馈,电视采集用户的语音反馈后发送给体感设备;或者,
体感设备通过有线或无线的方式外接触摸设备,触摸设备采用用户的触摸反馈后发送给体感设备。
6.根据权利要求5所述的通过电视和体感配件进行康复训练的方法,其特征在于,所述根据所述动作差异和所述用户反馈,进行康复训练评估,包括:
根据确定所述模拟动作与所述康复训练动作标本之间的动作差异,以及通过用户反馈获取的体感以及体感级别,进行康复训练评估,并调整康复训练的动作标本。
7.一种通过电视和体感配件进行康复训练的系统,其特征在于,所述系统包括:
体感配件,用于对当前帧图片中的人体动作进行识别,获取与所述人体动作相对应的模拟动作;将获取的所述模拟动作与预设的康复训练动作标本进行对比,确定所述模拟动作与所述康复训练动作标本之间的动作差异;获取用户反馈;根据所述动作差异和所述用户反馈,进行康复训练评估;
电视,与所述体感配件通信连接,用于显示体感配件提供的康复训练动作标本。
8.根据权利要求7所述的通过电视和体感配件进行康复训练的系统,其特征在于,所述模拟动作包括与所述人体动作相对应的人体骨骼;
所述体感配件对当前帧图片中的人体动作进行识别,获取与所述人体动作相对应的模拟动作,具体为:
所述体感配件利用预先设置的人体部位分类器,识别当前帧图片中人体动作对应的预设数量的目标部位;根据预设聚类算法对识别的所述预设数量的目标部位中的像素点进行聚类处理,获取每个目标部位对应的骨骼点;将获取的所述骨骼点构成与所述人体动作相对应的模拟动作。
9.根据权利要求8所述的通过电视和体感配件进行康复训练的系统,其特征在于,所述体感配件利用预先设置的人体部位分类器,识别当前帧图片中人体动作对应的预设数量的目标部位,具体为:
所述体感配件获取人体部位训练集,所述人体部位训练集中包括预设数量的人体部位样本图;提取所述人体部位训练集中人体部位样本图的特征值向量;基于提取的所述特征值向量计算所述人体部位训练集中人体部位样本图的归类条件;基于所述归类条件识别当前帧图片中人体动作对应的预设数量的目标部位。
10.根据权利要求7所述的通过电视和体感配件进行康复训练的系统,其特征在于,所述用户反馈是语音反馈或者触摸反馈,所述用户反馈的内容包括体感以及体感级别;
所述体感配件获取用户反馈,具体为:
体感设备通过电视通知用户进行语音反馈,电视采集用户的语音反馈后发送给体感设备;或者,
体感设备通过有线或无线的方式外接触摸设备,触摸设备采用用户的触摸反馈后发送给体感设备。
CN201610173309.XA 2016-03-24 2016-03-24 通过电视和体感配件进行康复训练及系统 Pending CN105844100A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610173309.XA CN105844100A (zh) 2016-03-24 2016-03-24 通过电视和体感配件进行康复训练及系统
PCT/CN2016/088188 WO2017161733A1 (zh) 2016-03-24 2016-07-01 通过电视和体感配件进行康复训练及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610173309.XA CN105844100A (zh) 2016-03-24 2016-03-24 通过电视和体感配件进行康复训练及系统

Publications (1)

Publication Number Publication Date
CN105844100A true CN105844100A (zh) 2016-08-10

Family

ID=56584470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610173309.XA Pending CN105844100A (zh) 2016-03-24 2016-03-24 通过电视和体感配件进行康复训练及系统

Country Status (2)

Country Link
CN (1) CN105844100A (zh)
WO (1) WO2017161733A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648112A (zh) * 2017-01-07 2017-05-10 武克易 一种体感动作识别方法
CN107133489A (zh) * 2017-07-03 2017-09-05 广东工业大学 一种基于体感设备的康复训练评估方法及系统
CN107422852A (zh) * 2017-06-27 2017-12-01 掣京机器人科技(上海)有限公司 手功能康复训练评估方法和系统
CN107491648A (zh) * 2017-08-24 2017-12-19 清华大学 基于Leap Motion体感控制器的手部康复训练方法
WO2018161894A1 (zh) * 2017-03-06 2018-09-13 上海市第六人民医院 一种用于远程康复系统的动作指示处理方法及装置
CN109191588A (zh) * 2018-08-27 2019-01-11 百度在线网络技术(北京)有限公司 运动教学方法、装置、存储介质及电子设备
CN109815776A (zh) * 2017-11-22 2019-05-28 腾讯科技(深圳)有限公司 动作提示方法和装置、存储介质及电子装置
CN109821218A (zh) * 2019-02-15 2019-05-31 中国人民解放军总医院 一种康复训练系统及其方法
WO2020223944A1 (zh) * 2019-05-09 2020-11-12 深圳大学 生理机能评估系统和方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415783A (zh) * 2018-04-26 2019-11-05 北京新海樱科技有限公司 一种基于体感的作业疗法康复方法
CN111544290A (zh) * 2020-05-13 2020-08-18 北京金林高科科技有限公司 一种用于健康理疗的智能装置
CN115337607B (zh) * 2022-10-14 2023-01-17 佛山科学技术学院 一种基于计算机视觉的上肢运动康复训练方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970176B2 (en) * 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
CN102324041A (zh) * 2011-09-09 2012-01-18 深圳泰山在线科技有限公司 像素归类方法、关节体姿态识别方法及鼠标指令生成方法
CN103230664A (zh) * 2013-04-17 2013-08-07 南通大学 一种基于Kinect传感器的上肢运动康复训练系统及其训练方法
TWM479133U (zh) * 2014-02-11 2014-06-01 Chinese Culture University 體感互動式智力訓練與復健系統
CN204406327U (zh) * 2015-02-06 2015-06-17 长春大学 基于三维体感摄影机的肢体康复模拟仿真训练系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104722056A (zh) * 2015-02-05 2015-06-24 北京市计算中心 一种运用虚拟现实技术的康复训练系统及方法
CN204759525U (zh) * 2015-06-30 2015-11-11 长春大学 一种应用体感互动模式的康复训练系统
CN105031908B (zh) * 2015-07-16 2017-11-14 青岛大学 一种平衡矫正式训练装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970176B2 (en) * 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
CN102324041A (zh) * 2011-09-09 2012-01-18 深圳泰山在线科技有限公司 像素归类方法、关节体姿态识别方法及鼠标指令生成方法
CN103230664A (zh) * 2013-04-17 2013-08-07 南通大学 一种基于Kinect传感器的上肢运动康复训练系统及其训练方法
TWM479133U (zh) * 2014-02-11 2014-06-01 Chinese Culture University 體感互動式智力訓練與復健系統
CN204406327U (zh) * 2015-02-06 2015-06-17 长春大学 基于三维体感摄影机的肢体康复模拟仿真训练系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648112A (zh) * 2017-01-07 2017-05-10 武克易 一种体感动作识别方法
WO2018161894A1 (zh) * 2017-03-06 2018-09-13 上海市第六人民医院 一种用于远程康复系统的动作指示处理方法及装置
CN107422852A (zh) * 2017-06-27 2017-12-01 掣京机器人科技(上海)有限公司 手功能康复训练评估方法和系统
CN107133489A (zh) * 2017-07-03 2017-09-05 广东工业大学 一种基于体感设备的康复训练评估方法及系统
CN107491648A (zh) * 2017-08-24 2017-12-19 清华大学 基于Leap Motion体感控制器的手部康复训练方法
CN109815776A (zh) * 2017-11-22 2019-05-28 腾讯科技(深圳)有限公司 动作提示方法和装置、存储介质及电子装置
CN109815776B (zh) * 2017-11-22 2023-02-10 腾讯科技(深圳)有限公司 动作提示方法和装置、存储介质及电子装置
CN109191588A (zh) * 2018-08-27 2019-01-11 百度在线网络技术(北京)有限公司 运动教学方法、装置、存储介质及电子设备
CN109191588B (zh) * 2018-08-27 2020-04-07 百度在线网络技术(北京)有限公司 运动教学方法、装置、存储介质及电子设备
CN109821218A (zh) * 2019-02-15 2019-05-31 中国人民解放军总医院 一种康复训练系统及其方法
WO2020223944A1 (zh) * 2019-05-09 2020-11-12 深圳大学 生理机能评估系统和方法

Also Published As

Publication number Publication date
WO2017161733A1 (zh) 2017-09-28

Similar Documents

Publication Publication Date Title
CN105844100A (zh) 通过电视和体感配件进行康复训练及系统
Chen et al. Construction worker's awkward posture recognition through supervised motion tensor decomposition
CN109953761B (zh) 一种下肢康复机器人运动意图推理方法
Ray et al. Real-time construction worker posture analysis for ergonomics training
Bartnicka Knowledge-based ergonomic assessment of working conditions in surgical ward–A case study
CN105847987A (zh) 通过电视和体感配件矫正人体动作及系统
CN104274183A (zh) 动作信息处理装置
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
US20200402638A1 (en) Exercise assistant device and exercise assistant method
CN101571748A (zh) 一种基于增强现实的脑机交互系统
CN112084878B (zh) 一种用于判别作业人员姿态规范程度的方法
CN108596256A (zh) 一种基于rgb-d物体识别分类器构造方法
CN109087317A (zh) 一种肺结节图像分割方法
US20210244317A1 (en) Walking mode display method, walking mode display system and walking mode analyzer
CN109063661A (zh) 步态分析方法及装置
Hopper et al. Single-leg squats can predict leg alignment in dancers performing ballet movements in “turnout”
Sharma et al. iYogacare: real-time Yoga recognition and self-correction for smart healthcare
Wagner et al. The development of a model to predict the effects of worker and task factors on foot placements in manual material handling tasks
CN106063707A (zh) 基于手各个部位在三维空间位置变化的手功能评价方法
Armstrong et al. Quantifying how functional and structural personal factors influence biomechanical exposures in paramedic lifting tasks
Egeonu et al. A systematic literature review of computer vision-based biomechanical models for physical workload estimation
Goncharow et al. Assessing time-varying lumbar flexion–extension kinematics using automated pose estimation
Chacon-Murguia et al. Human gait feature extraction including a kinematic analysis toward robotic power assistance
Armstrong et al. Is deep squat movement strategy related to floor-to-waist height lifting strategy: implications for physical employment testing
WO2018119871A1 (zh) 一种健身辅助方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160810

WD01 Invention patent application deemed withdrawn after publication