CN107993720A - 基于深度相机和虚拟现实技术的康复功能评定装置及方法 - Google Patents
基于深度相机和虚拟现实技术的康复功能评定装置及方法 Download PDFInfo
- Publication number
- CN107993720A CN107993720A CN201711382244.0A CN201711382244A CN107993720A CN 107993720 A CN107993720 A CN 107993720A CN 201711382244 A CN201711382244 A CN 201711382244A CN 107993720 A CN107993720 A CN 107993720A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- joint
- msup
- artis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000011084 recovery Methods 0.000 title claims abstract description 35
- 238000005516 engineering process Methods 0.000 title claims abstract description 27
- 230000009916 joint effect Effects 0.000 claims abstract description 26
- 230000001419 dependent effect Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 13
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000011800 void material Substances 0.000 claims description 2
- 238000013139 quantization Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 24
- 230000009471 action Effects 0.000 description 4
- 206010008190 Cerebrovascular accident Diseases 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000030886 Traumatic Brain injury Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 208000021090 palsy Diseases 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种基于深度相机和虚拟现实技术的康复功能评定装置和方法，该装置包括：深度相机、数据处理模块、显示模块，将深度相机采集的关节动作的深度图像信息输送至数据处理模块作以下处理：提取关节点三维坐标，根据该关节点三维坐标计算关节角相关参数，以及结合该关节角相关参数，作出关节运动能力评价，该数据处理模块还包括虚拟现实训练子模块，用于将连续采集的深度图像转化为虚拟模型图像，并在显示模块中显示。并进一步提供了康复功能评定方法。本公开实现了康复功能评定的量化和自动化，整个过程不需要其他人员参与，患者根据指示即可完成，省时省力，节省人工，节省成本，并可以在家庭等场合使用。
Description
技术领域
本公开涉及康复评定技术领域，尤其涉及一种基于深度相机和虚拟现实技术的康复功能评定装置及方法。
背景技术
随着中国社会老龄化的加剧，越来越多的老人由于中风等原因造成上肢瘫痪，给日常生活带来非常大的不便。瘫痪患者需要通过大量的康复训练激发大脑可塑性，恢复一定的运动能力，以实现生活自理，进而提高生活质量，最大程度的回归社会。
对于中风、脑外伤、脊髓损伤等导致的肢体运动功能障碍，准确、定量的康复功能评定是制定康复处方的基础。长期以来，临床康复功能评定手段主要以半定量的量表为主，缺乏准确、量化的评定方法。另一方面，评定过程由人工进行评定，过程繁琐，耗时耗力。
发明内容
(一)要解决的技术问题
本公开提供了一种基于深度相机和虚拟现实技术的康复功能评定装置及方法，以至少部分解决以上所提出的技术问题。
(二)技术方案
根据本公开的一个方面，提供了一种基于深度相机和虚拟现实技术的康复功能评定装置，包括：深度相机，用于连续采集关节动作的深度图像；数据处理模块，其电性连接至深度相机，用于从连续采集的深度图像中提取关节点三维坐标；根据所述关节点三维坐标计算关节角相关参数；以及结合所述关节角相关参数，作出关节运动能力评价；
所述数据处理模块还包括虚拟现实训练子模块，用于将连续采集的深度图像转化为虚拟模型图像；以及显示模块，连接至数据处理模块，用于显示虚拟模型图像。
在本公开的一些实施例中，数据处理模块还包括：存储模块，用于存储深度图像数据、关节点三维坐标数据和关节角相关参数数据。
根据本公开的另一个方面，提供了一种基于深度相机和虚拟现实技术的康复功能评定方法，包括：通过深度相机连续采集关节标准动作的第一深度图像，并提取第一深度图像中的关节点三维坐标，根据该关节点三维坐标计算标准关节角相关参数；将第一深度图像转化为虚拟模型图像，并向用户展示以指引用户做出关节实际动作；通过深度相机连续采集关节实际动作的第二深度图像，并提取第二深度图像中的关节点三维坐标，根据该关节点三维坐标计算实际关节角相关参数；以及结合标准关节角相关参数和实际关节角相关参数，作出关节运动能力评价。
在本公开的一些实施例中，该康复功能评定方法还包括将第二深度图像转化为虚拟模型图像，并向用户展示的步骤。
在本公开的一些实施例中，第一深度图像和/或第二深度图像中的关节点三维坐标通过以下方式得到：
利用图像模板匹配算法对深度图像中的关节点进行定位，并得到其像素点坐标；以及通过3D投影关系分析，计算各像素点坐标对应的关节点三维坐标。
在本公开的一些实施例中，关节点三维坐标的计算公式为：
其中，(x，y，z)为关节点的三维坐标，(i，j)为关节点的像素点坐标，d为深度信息，(δx，δy)为深度相机的畸变参数，(cx，cy)为深度图像中心像素点坐标，(fx，fy)为比例参数。
在本公开的一些实施例中，标准关节角相关参数包括：在一次关节标准动作完成时间内，连续采集的第一深度图像中目标关节点的关节角度轨迹θ(t)以及θ(t)的最大值max{θ(t)}，其中θ(t)即为t时刻采集的一第一深度图像中目标关节点的关节角度；
实际关节角相关参数包括：在一次关节实际动作完成时间内，连续采集的第二深度图像中目标关节点的关节角度轨迹的最大值以及目标关节点的角速度v(t)，其中即为t时刻采集的一第二深度图像中目标关节点的关节角度。
在本公开的一些实施例中，θ(t)和的计算公式如下：
其中，ψ为θ(t)或(x0，y0，z0)为目标关节点的三维坐标；(x1，y1，z1)为目标关节点的上一关节点的三维坐标；(x2，y2，z2)为目标关节点的下一关节点的三维坐标；α为目标关节点和上一关节点之间的距离；b为目标关节点和下一关节点之间的距离；c为上一关节点和下一关节点之间的距离。
在本公开的一些实施例中，关节角速度v(t)的计算公式为：
其中，为t时刻采集的该第二深度图像中的关节角度，Ts为第二深度图像采集的时间间隔。
在本公开的一些实施例中，关节运动能力评价的方式包括：关节活动度指标评价；以及Fugl-Meyer量表评定。
在本公开的一些实施例中，关节活动度指标评价将目标关节点的作为关节活动度指标，其通过以下方式进行：针对目标关节重复实际关节动作n次，n≥1，获得n个目标关节点的值；以及对获取的n个值取平均值作为目标关节的关节活动度指标评价结果。
在本公开的一些实施例中，关节活动度指标评价还包括针对不同目标关节的关节活动度指标评价。
在本公开的一些实施例中，Fugl-Meyer量表评定过程包括：针对目标关节重复实际关节动作n次，n≥1，获取n个目标关节点的值；在一次关节动作的指定完成时间内，对该Fugl-Meyer量表中对应的评定项目进行打分：若则该评定项目得分为0，若且v(t)≤0，则该评定项目得分为1，若且v(t)≠0，则该评定项目得分为2；以及对获取的n个得分取平均值作为Fugl-Meyer量表目标关节的评定结果。
在本公开的一些实施例中，Fugl-Meyer量表评定过程还包括对不同目标关节进行评定。
(三)有益效果
从上述技术方案可以看出，本公开基于深度相机和虚拟现实技术的康复功能评定装置及方法至少具有以下有益效果其中之一：
(1)可通过深度相机采集治疗师的标准关节动作和用户的实际关节动作的深度图像，利用图像处理方法获取关节点的三维坐标，并由此计算标准关节动作和实际关节动作的关节角度轨迹，据此进行关节运动能力评价，实现了关节运动能力准确、快速的量化评定。
(2)通过虚拟现实模块将标准关节动作通过显示模块呈现给用户，指引患者做相应的实际关节动作，可以不用治疗师的引导而自动化地完成评测过程。
(3)通过虚拟现实模块将用户的实际关节动作通过显示模块呈现给用户，可使用户能够时刻看到自己动作上的偏差，以尽最大能力去进行评测，保证结果客观准确。
附图说明
图1为本公开实施例基于深度相机和虚拟现实技术的康复功能评定装置结构原理图。
图2为本公开实施例基于深度相机和虚拟现实技术的康复功能评定装置结构示意图。
图3为本公开实施例基于深度相机和虚拟现实技术的康复功能评定方法流程图。
图4为本公开实施例关节角度计算方法示意图。
【附图中本公开实施例主要元件符号说明】
1-深度相机； 2-计算机；
3-显示器； 4-患者；
5-标准关节动作图像； 6-实际关节动作图像；
7-电缆； 8-电缆。
具体实施方式
本发明通过深度相机对患者的动作进行捕捉，通过虚拟现实场景进行评定项目的指示和反馈，通过图像处理算法对患者的运动能力进行分析和定量评价，整个过程不需要其他人员参与，患者根据指示即可完成，省时省力，节省人工，节省成本，并可以在家庭等场合使用。
需要实现阐明的是，所述“深度相机”是既能够采集RGB图像，又能够采集每个像素深度信息的相机，也称作RGBD相机，包括但不局限于基于结构光原理、TOF原理或双目成像原理的深度相机。本公开所述“虚拟现实技术”是利用计算机生成一种模拟环境，以及将用户的自然技能如头部转动、手势等人体行为动作相关动作作出处理和响应，并在模拟环境下反馈到用户的技术。
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
作为一示例性实施例，本公开提供了一种基于深度相机和虚拟现实技术的康复功能评定装置。图1为本公开实施例基于深度相机和虚拟现实技术的康复功能评定装置结构原理图。如图1所示，本公开基于深度相机和虚拟现实技术的康复功能评定装置包括：深度相机，用于连续采集关节动作的深度图像；数据处理模块，用于从连续采集的深度图像中提取关节点三维坐标，根据关节点三维坐标计算关节角相关参数，以及结合关节角相关参数，作出关节运动能力评价；数据处理模块还包括虚拟现实训练子模块，用于将连续采集的深度图像转化为虚拟模型图像；显示模块，连接至所述数据处理模块，用于显示所述虚拟模型图像；以及存储模块，用于存储深度图像数据、关节点三维坐标数据和关节角相关参数数据等。
图2为本公开实施例基于深度相机和虚拟现实技术的康复功能评定装置结构示意图。结合图2对该康复功能评定装置的各个组成部分作出详细说明如下：
本实施例中，数据处理模块的功能是通过计算机2来实现的，也即数据处理模块是计算机2的功能组成部分；而虚拟现实训练子模块则是以软件程序的形式储存于计算机2内，即为虚拟现实软件，该虚拟现实软件可基于Unity 3D进行开发；存储模块可为计算机2的硬盘等常规存储设备。
深度相机1通过电缆7连接至计算机2，将其采集的深度图像信息传输至计算机2内进行图像处理和计算。
显示器3通过电缆8连接至计算机2，将虚拟模型图像通过显示器3直观地呈现给用户，该虚拟模型图像包括标准关节动作图像5和用户的实际关节动作图像6，其中该标准关节动作5可由治疗师做出，以保证关节动作的标准性。用户训练时，按照显示器3中的标准动作图像5进行运动，同时患者的实际动作图像6现实在显示器3中。
至此，本公开基于深度相机和虚拟现实技术的康复功能评定装置介绍完毕。基于上述康复功能评定装置，本公开还提供了一种基于深度相机和虚拟现实技术的康复功能评定方法，以下对本公开基于深度相机和虚拟现实技术的康复功能评定方法作详细介绍。
图3为本公开实施例基于深度相机和虚拟现实技术的康复功能评定方法流程图。如图3所示，作为一示例性实施例，本公开基于深度相机和虚拟现实技术的康复功能评定方法包括：
步骤A：采集关节标准动作的第一深度图像，提取第一深度图像中的关节点三维坐标，并根据该关节点三维坐标计算标准关节角相关参数，具体包括：
子步骤A1：通过深度相机1进行动作捕捉，根据图像模板匹配算法能够定位至关节点，该关节点为与关节相关的例如人体的头、躯干、四肢关节等重要特征部位，并得到各关节点的像素点坐标，由于图像模板匹配算法为现有的算法，且与本发明的创造性无关，故不作赘述；
子步骤A2：通过3D投影关系分析，计算各像素点坐标对应的关节点三维坐标，计算公式为：
其中，(x，y，z)为关节点的三维坐标，(i，j)为关节点的像素点坐标，d为深度信息，(δx，δy)为深度相机的畸变参数，(cx，cy)为深度图像中心像素点坐标，(fx，fy)为比例参数。
子步骤A3：计算标准关节角相关参数，本实施例中，该标准关节角相关参数包括在一次关节标准动作完成时间内，连续采集的第一深度图像中目标关节点的关节角度轨迹θ(t)以及θ(t)的最大值max{θ(t)}。θ(t)的计算过程如下：
如图4所示，图中包括目标关节点0，目标关节点0的上一关节点1和目标关节点0的下一关节点2，三者的连线形成了一关节角ψ，通过下述四个计算公式，即可计算得到ψ，而θ(t)即为t时刻采集的一第一深度图像中目标关节点的关节角ψ。
(1)
(2)
(3)
(4)
其中，(x0，y0，z0)为目标关节点的三维坐标；(x1，y1，z1)为目标关节点的上一关节点的三维坐标；(x2，y2，z2)为目标关节点的下一关节点的三维坐标；α为目标关节点和上一关节点之间的距离；b为目标关节点和下一关节点之间的距离；c为上一关节点和下一关节点之间的距离。
步骤B：将第一深度图像转化为虚拟模型图像，并将其向用户展示，这样可引导用户做出关节实际动作，可将深度相机1采集的连续的第一深度图像信息储存于电脑磁盘中，这样在后续使用过程中就无需多次采集同一个标准动作。
步骤C：采集关节实际动作的第二深度图像，提取第二深度图像中的关节点三维坐标，并根据该关节点三维坐标计算实际关节角相关参数。
本步骤中，在采集关节实际动作时，还包括将第二深度图像转化为虚拟模型图像，并向用户展示的步骤，这样有利于患者能够时刻看到自己的偏差，能够尽最大能力去进行评测，保证结果客观准确。
本步骤中，获取第二深度图像中的关节点三维坐标的具体操作与子步骤A1至A2相同，可参考子步骤A1至A2进行；
本步骤中，实际关节角参数包括：在一次关节实际动作完成时间内，连续采集的第二深度图像中目标关节点的关节角度轨迹的最大值以及目标关节点的角速度v(t)。其中，可参考子步骤A3中公式计算获得，即为t时刻采集的一第二深度图像中目标关节点的关节角ψ；而目标关节点的角速度的计算公式如下：
其中，为t时刻采集的该第二深度图像中的关节角度，Ts为第二深度图像采集的时间间隔。
步骤D：结合标准关节角相关参数和实际关节角相关参数，作出关节运动能力评价。在本实施例中，该关节运动能力评价包括关节活动度指标评价以及Fugl-Meyer量表评定。
其中，关节活动度指标评价将目标关节点的作为关节活动度指标，包含以下步骤：
子步骤D1：针对目标关节重复实际关节动作n次，即为重复n次步骤C，n≥1，并计算目标关节点的值。
子步骤D2：对获取的n个值取平均值作为目标关节的关节活动度指标评价结果。
Fugl-Meyer量表评定过程包括：
子步骤D1’：针对目标关节重复实际关节动作n次，n≥1，获取n个目标关节点的值；
子步骤D2’：在一次关节动作的指定完成时间内，对所述Fugl-Meyer量表中对应的评定项目进行打分：若则该评定项目得分为0，若且v(t)≤0，则该评定项目得分为1，若且v(t)≠0，则该评定项目得分为2；
子步骤D3’：对获取的n个得分取平均值作为Fugl-Meyer量表目标关节的评定结果。
对不同的关节进行子步骤D1至D2的操作，以及进行子步骤D1’至D3’的操作，记录每个关节对应的关节活动度和Fugl-Meyer量表得分，即可作为用户运动能力的综合评价结果，并生成评定报告。
至此，本公开基于深度相机和虚拟现实技术的康复功能评定方法介绍完毕。
综上所述，本公开提供一种基于深度相机和虚拟现实技术的康复功能评定装置和方法，利用深度相机采集关节动作，并通过虚拟显示场景进行评定项目的指示和反馈，通过图像处理算法对用户的运动能力进行分析和评价，将评定过程量化，具有准确、快速的优点，并且整个过程无需他人参与，用户可根据指示完成，省时省力，节省人工和成本，可以再家庭等场合使用。
还需要说明的是，贯穿附图，相同的元素由相同或相近的附图标记来表示。在可能导致对本公开的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状和尺寸不反映真实大小和比例，而仅示意本公开实施例的内容。另外，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。
再者，单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。
说明书与权利要求中所使用的序数例如“第一”、“第二”、“第三”等的用词，以修饰相应的元件，其本身并不意味着该元件有任何的序数，也不代表某一元件与另一元件的顺序、或是制造方法上的顺序，该些序数的使用仅用来使具有某命名的一元件得以和另一具有相同命名的元件能做出清楚区分。
此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。。
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种基于深度相机和虚拟现实技术的康复功能评定装置，包括：
深度相机，用于连续采集关节动作的深度图像；
数据处理模块，其电性连接至深度相机，用于从连续采集的深度图像中提取关节点三维坐标；根据所述关节点三维坐标计算关节角相关参数；以及结合所述关节角相关参数，作出关节运动能力评价；
所述数据处理模块还包括虚拟现实训练子模块，用于将连续采集的深度图像转化为虚拟模型图像；以及
显示模块，连接至所述数据处理模块，用于显示所述虚拟模型图像。
2.根据权利要求1所述的康复功能评定装置，其中，所述数据处理模块还包括：存储模块，用于存储深度图像数据、关节点三维坐标数据和关节角相关参数数据。
3.一种基于深度相机和虚拟现实技术的康复功能评定方法，包括：
通过深度相机连续采集关节标准动作的第一深度图像，并提取第一深度图像中的关节点三维坐标，根据所述关节点三维坐标计算标准关节角相关参数；
将所述第一深度图像转化为虚拟模型图像，并向用户展示以指引用户做出关节实际动作；
通过深度相机连续采集关节实际动作的第二深度图像，并提取第二深度图像中的关节点三维坐标，根据所述关节点三维坐标计算实际关节角相关参数；以及
结合标准关节角相关参数和实际关节角相关参数，作出关节运动能力评价。
4.根据权利要求3所述的康复功能评定方法，还包括将第二深度图像转化为虚拟模型图像，并向用户展示的步骤。
5.根据权利要求3所述的康复功能评定方法，其中，第一深度图像和/或第二深度图像中的关节点三维坐标通过以下方式得到：
利用图像模板匹配算法对深度图像中的关节点进行定位，并得到其像素点坐标；以及
通过3D投影关系分析，计算各像素点坐标对应的关节点三维坐标。
6.根据权利要求5所述的康复功能评定算法，其中，所述关节点三维坐标的计算公式为：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>x</mi>
</msub>
<mo>+</mo>
<msub>
<mi>&delta;</mi>
<mi>x</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>d</mi>
<mo>/</mo>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>y</mi>
</msub>
<mo>+</mo>
<msub>
<mi>&delta;</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>d</mi>
<mo>/</mo>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>z</mi>
<mo>=</mo>
<mi>d</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
其中，(x，y，z)为关节点的三维坐标，(i，j)为关节点的像素点坐标，d为深度信息，(δx，δy)为深度相机的畸变参数，(cx，cy)为深度图像中心像素点坐标，(fx，fy)为比例参数。
7.根据权利要求3所述的康复功能评定方法，其中：
所述标准关节角相关参数包括：在一次关节标准动作完成时间内，连续采集的第一深度图像中目标关节点的关节角度轨迹θ(t)以及θ(t)的最大值max{θ(t)}，其中θ(t)即为t时刻采集的一第一深度图像中目标关节点的关节角度；
所述实际关节角相关参数包括：在一次关节实际动作完成时间内，连续采集的第二深度图像中目标关节点的关节角度轨迹的最大值以及目标关节点的角速度v(t)，其中即为t时刻采集的一第二深度图像中目标关节点的关节角度。
8.根据权利要求7所述的康复功能评定方法，其中：
θ(t)和的计算公式如下：
<mrow>
<mi>a</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>z</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>;</mo>
</mrow>
<mrow>
<mi>b</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>z</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>;</mo>
</mrow>
<mrow>
<mi>c</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>z</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>;</mo>
</mrow>
<mrow>
<mi>&psi;</mi>
<mo>=</mo>
<mi>arccos</mi>
<mfrac>
<mrow>
<msup>
<mi>a</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>b</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<mi>a</mi>
<mi>b</mi>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
其中，ψ为θ(t)或(x0，y0，z0)为目标关节点的三维坐标；(x1，y1，z1)为目标关节点的上一关节点的三维坐标；(x2，y2，z2)为目标关节点的下一关节点的三维坐标；α为目标关节点和上一关节点之间的距离；b为目标关节点和下一关节点之间的距离；c为上一关节点和下一关节点之间的距离；
所述关节角速度v(t)的计算公式为：
其中，为t时刻采集的该第二深度图像中的关节角度，Ts为第二深度图像采集的时间间隔。
9.根据权利要求7所述的康复功能评定方法，其中，关节运动能力评价的方式包括：
关节活动度指标评价；以及
Fugl-Meyer量表评定；
其中：
所述关节活动度指标评价将目标关节点的作为关节活动度指标，其通过以下方式进行：
针对目标关节重复实际关节动作n次，n≥1，获得n个目标关节点的直；以及
对获取的n个直取平均值作为目标关节的关节活动度指标评价结果；
所述Fugl-Meyer量表评定过程包括：
针对目标关节重复实际关节动作n次，n≥1，获取n个目标关节点的值；
在一次关节动作的指定完成时间内，对所述Fugl-Meyer量表中对应的评定项目进行打分：若则该评定项目得分为0，若且v(t)≤0，则该评定项目得分为1，若且v(t)≠0，则该评定项目得分为2；以及
对获取的n个得分取平均值作为Fugl-Meyer量表目标关节的评定结果。
10.根据权利要求9所述的康复功能评定方法，其中：
所述关节活动度指标评价还包括针对不同目标关节的关节活动度指标评价；
所述Fugl-Meyer量表评定过程还包括对不同目标关节进行评定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711382244.0A CN107993720A (zh) | 2017-12-19 | 2017-12-19 | 基于深度相机和虚拟现实技术的康复功能评定装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711382244.0A CN107993720A (zh) | 2017-12-19 | 2017-12-19 | 基于深度相机和虚拟现实技术的康复功能评定装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107993720A true CN107993720A (zh) | 2018-05-04 |
Family
ID=62038232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711382244.0A Pending CN107993720A (zh) | 2017-12-19 | 2017-12-19 | 基于深度相机和虚拟现实技术的康复功能评定装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107993720A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109432753A (zh) * | 2018-09-26 | 2019-03-08 | Oppo广东移动通信有限公司 | 动作矫正方法、装置、存储介质及电子设备 |
| CN112185514A (zh) * | 2020-10-12 | 2021-01-05 | 安徽动感智能科技有限公司 | 一种基于动作识别的康复训练效果评估系统 |
| CN112185565A (zh) * | 2020-10-21 | 2021-01-05 | 安徽动感智能科技有限公司 | 一种基于动作识别的患者康复评定方法 |
| CN112365972A (zh) * | 2020-10-12 | 2021-02-12 | 安徽动感智能科技有限公司 | 一种基于人体模型识别的医疗辅助系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010263953A (ja) * | 2009-05-12 | 2010-11-25 | Oki Electric Ind Co Ltd | 運動分析装置、プログラム及び方法、並びに、運動分析システム |
| CN102727362A (zh) * | 2012-07-20 | 2012-10-17 | 上海海事大学 | 基于体感外设手臂运动追踪的康复训练系统及其训练方法 |
| CN104887238A (zh) * | 2015-06-10 | 2015-09-09 | 上海大学 | 基于动作捕捉的手康复训练评估系统和方法 |
| CN104997523A (zh) * | 2014-04-18 | 2015-10-28 | 东北大学 | 一种上肢康复机器人康复训练运动功能评价方法 |
| CN105045398A (zh) * | 2015-09-07 | 2015-11-11 | 哈尔滨市一舍科技有限公司 | 一种基于手势识别的虚拟现实交互设备 |
| CN106097787A (zh) * | 2016-08-18 | 2016-11-09 | 四川以太原力科技有限公司 | 基于虚拟现实的肢体教学方法与教学系统 |
| CN107349570A (zh) * | 2017-06-02 | 2017-11-17 | 南京邮电大学 | 基于Kinect的上肢康复训练与评估方法 |
-
2017
- 2017-12-19 CN CN201711382244.0A patent/CN107993720A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010263953A (ja) * | 2009-05-12 | 2010-11-25 | Oki Electric Ind Co Ltd | 運動分析装置、プログラム及び方法、並びに、運動分析システム |
| CN102727362A (zh) * | 2012-07-20 | 2012-10-17 | 上海海事大学 | 基于体感外设手臂运动追踪的康复训练系统及其训练方法 |
| CN104997523A (zh) * | 2014-04-18 | 2015-10-28 | 东北大学 | 一种上肢康复机器人康复训练运动功能评价方法 |
| CN104887238A (zh) * | 2015-06-10 | 2015-09-09 | 上海大学 | 基于动作捕捉的手康复训练评估系统和方法 |
| CN105045398A (zh) * | 2015-09-07 | 2015-11-11 | 哈尔滨市一舍科技有限公司 | 一种基于手势识别的虚拟现实交互设备 |
| CN106097787A (zh) * | 2016-08-18 | 2016-11-09 | 四川以太原力科技有限公司 | 基于虚拟现实的肢体教学方法与教学系统 |
| CN107349570A (zh) * | 2017-06-02 | 2017-11-17 | 南京邮电大学 | 基于Kinect的上肢康复训练与评估方法 |
Non-Patent Citations (1)
| Title |
|---|
| 瞿畅 等: ""基于Kinect的上肢康复训练系统开发与应用"", 《中国生物医学工程学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109432753A (zh) * | 2018-09-26 | 2019-03-08 | Oppo广东移动通信有限公司 | 动作矫正方法、装置、存储介质及电子设备 |
| CN112185514A (zh) * | 2020-10-12 | 2021-01-05 | 安徽动感智能科技有限公司 | 一种基于动作识别的康复训练效果评估系统 |
| CN112365972A (zh) * | 2020-10-12 | 2021-02-12 | 安徽动感智能科技有限公司 | 一种基于人体模型识别的医疗辅助系统 |
| CN112185565A (zh) * | 2020-10-21 | 2021-01-05 | 安徽动感智能科技有限公司 | 一种基于动作识别的患者康复评定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108777081B (zh) | 一种虚拟舞蹈教学方法及系统 | |
| CN107993720A (zh) | 基于深度相机和虚拟现实技术的康复功能评定装置及方法 | |
| CN108764120B (zh) | 一种人体规范动作评价方法 | |
| CN105045398B (zh) | 一种基于手势识别的虚拟现实交互设备 | |
| CN102622916A (zh) | 人体穴位投影演示方法及装置 | |
| CN107349570A (zh) | 基于Kinect的上肢康复训练与评估方法 | |
| CN104207931B (zh) | 人脸面部穴位精准定位和针灸处方学习方法 | |
| CN107067856A (zh) | 一种医学模拟训练系统和方法 | |
| CN106325509A (zh) | 三维手势识别方法及系统 | |
| CN103340632B (zh) | 一种基于特征点空间位置的人体关节角度测量方法 | |
| CN110200601A (zh) | 一种脉象获取装置及系统 | |
| US20170293742A1 (en) | Interactive mobile technology for guidance and monitoring of physical therapy exercises | |
| US20090042661A1 (en) | Rule based body mechanics calculation | |
| WO2022037274A1 (zh) | 利用超声成像提供视觉反馈的肌肉训练方法及系统 | |
| CN105832528A (zh) | 一种数字人体经络穴位模型的显示方法及装置 | |
| CN110534180A (zh) | 深度学习人机互适应运动想象脑机接口系统和训练方法 | |
| CN112420141B (zh) | 一种中医健康评估系统及其应用 | |
| CN105718730A (zh) | 对受试者的疼痛量化评估方法以及实施该方法的系统 | |
| Bumacod et al. | Image-processing-based digital goniometer using OpenCV | |
| CN107256390B (zh) | 基于手各个部位在三维空间位置变化的手功能评价装置及方法 | |
| CN110478860B (zh) | 基于手物自然交互的手部功能障碍虚拟康复系统 | |
| CN116229793A (zh) | 一种基于虚拟现实技术的培训考核系统 | |
| CN111312363B (zh) | 一种基于虚拟现实的双手协调性增强系统 | |
| KR20140132864A (ko) | 스트레스 변화에 따른 신체 및 심리 변화의 동영상 이용 간이 측정 방법 및 이를 이용한 힐링서비스 | |
| CN112741620A (zh) | 基于肢体动作的颈椎病评估装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180504 |
|
| RJ01 | Rejection of invention patent application after publication |