CN116490126A - 运动评估仪 - Google Patents
运动评估仪 Download PDFInfo
- Publication number
- CN116490126A CN116490126A CN202080107063.0A CN202080107063A CN116490126A CN 116490126 A CN116490126 A CN 116490126A CN 202080107063 A CN202080107063 A CN 202080107063A CN 116490126 A CN116490126 A CN 116490126A
- Authority
- CN
- China
- Prior art keywords
- motion
- points
- data
- dimensional
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
- A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Geometry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种电子测角仪装置,包括摄像机、激光雷达摄像机、用于在与摄像机相同的视场上处理三维空间中的多个点的装置,以及用于分析单个点和点组之间的几何形状的几何分析器。几何分析器确定三维空间中运动点的角度、运动范围、运动速度等参数,以便与摄像机拍摄的视频图像中具有所拍摄对象物理特征的点进行匹配识别,并判断这些物理特征在一组预先确定的允许的参数范围内是运动还是静止的,来表明对象的运动是正确进行的。其中包含的实时量角器和公制计算器,可以确定角度、运动范围和其他测角仪测量值。
Description
技术领域
本发明涉及一种用于测量身体灵活性和运动范围的方法和装置。
背景技术
在评估医疗患者的身体灵活性和运动范围时,一般使用测角仪来测量肢体、关节和身体弯曲的关节运动。
如本发明图1所示,是一种已知的物理测角仪100,包括一对通过可旋转接头103连接的长臂101、102,每个臂都有一个距离尺刻度,用于测量从枢轴点出发的距离,这些臂可围绕枢轴点相互旋转,在其中一个臂的一端提供了一个圆形量角器104,上面有一个标有角度的刻度圈,角度是从与第一臂的主要中心长度轴对应的固定基准点出发。
如本发明图2和图3所示,在使用中,为了测量两个身体部分的弯曲或运动角度,例如人的肘关节,执业医师或临床医生通过估计将枢轴点的中心与肘关节的标称旋转中心对齐,并且在视觉上将测角仪的第一臂与上臂的主长度方向对齐,在视觉上将测角仪的第二臂与手臂的下部对齐。患者被要求最大限度地伸展或弯曲他们的手臂,医生将测角仪的第一和第二臂重新对准手臂上下部分的主要长度方向,通过使用刻度量角器目视读取两个测角仪臂之间的角度进行角度测量。为测量肘关节的最大关节活动范围,在患者手臂的最大伸展处获取第一个角度读数,并在患者手臂的最大弯曲处获取第二个角度读数。
如本发明图4所示,是一种已知的数字医用测角仪,是图1所示的传统机械测角仪的发展。数字测角仪的优点是,在测角仪臂的枢轴点上没有用物理圆板量角器来测量两臂之间的角度,而是提供了一个数字电子表来测量两个测角仪臂之间的角度,并在液晶显示器上显示。
已知的数字测角仪的使用与机械测角仪的使用类似,但执业医师不是读取机械刻度尺的角度,而是读取液晶显示的数字角度,与机械测角仪相比,读取两臂之间的角度的准确度要高一个数量级。
也有各种已知的用于手持计算设备的应用程序,包括提供测角仪功能和测量身体运动范围的智能手机。其中包括已知的RateFast测角仪应用程序和已知的Goniometer-Pro(G-pro)应用程序。
如本发明图5所示,是一种已知的RateFast测角仪应用程序在一种操作模式下的屏幕视图,在该操作模式中,智能手机或其他手持计算设备的摄像机被用来拍摄要测量的肢体的视频或静态数字图像。
测角仪应用程序将机械测角仪的图片覆盖到通过智能手机或其他手持计算设备的数码摄像机查看的屏幕图像上。测角仪的屏幕图像与屏幕的关联是固定的,因此与智能手机的关联也是固定的。用户可以用智能手机对被测对象的姿态进行最初的参考,通过将屏幕上测角仪图像的中心点与关节图像的中心在视觉上对齐,运动智能手机直到测角仪中心与关节的中心重合,并且测角仪图像的主要下臂基本保持垂直。用户捕捉到这个初始方位图像,应用程序也捕获了智能手机的初始方位数据,以用作来自智能手机内部姿态传感器的参考方位。
然后,用户将屏幕呈现的测角仪的主臂与关节一侧的第一肢体部分的主长度对齐,例如上臂部分。在智能手机的第一方位上捕获第一图像,第一方位是指将智能手机保持在对应于关节一侧的第一身体部分的主长度轴的方位。该应用程序通过智能手机中的倾角仪或加速度计的数据来确定智能手机在第一方位的方向。然后,用户倾斜整个智能手机,使屏幕上测角仪图像的主长度与关节另一侧的第二身体部分的主长度对齐,并在智能手机的第二方位上捕获第二图像。该应用程序通过智能手机中的倾角仪和/或加速度计测量智能手机的姿态,以获得相对于垂直方向的第二个角度/方向。
然后应用程序计算第一和第二方向之间的角度差,该角度差与被测量的关节的角度相对应。
在另一种操作模式中,用户不需要将测角仪的屏幕图像与对象的四肢部分或关节两侧的身体部分对齐,而是简单地将整个智能手机定向,使得设备的长度与身体部分的主要长度平行。例如,为了测量肘关节的屈曲角度,用户将智能手机的屏幕长度与上臂部分的主要长度对齐,并捕获第一个读数,这将使应用程序从智能手机内置的加速度计数据中记录方向数据(与垂直方向的角度),然后重复操作,通过将智能手机的屏幕与关节另一侧的下臂部分的主要长度对齐来捕获另一个读数,该应用程序通过智能手机内的方向传感器或加速度计的读数来记录智能手机的方向。
如本发明图7所示,是一种已知的Goniometer-pro(G-pro)测角仪设备的屏幕视图,该设备也用于智能手机或其他手持计算设备,向用户展示如何将该设备连接到他们的手臂来测量肢体角度。在G-pro系统中,角度测量来自手持设备的内部加速度计。这需要在已知的初始姿态或方向上对设备进行初始校准,随后根据对已知初始方向的加速度和减速度的测量来确定运动角度。
现有技术中已知的测角仪有以下的问题。机械测角仪误差是由于机械臂的长度与肢体部分的长度未对准而产生的,并且从机械量角器上目视读取角度的准确度存在限制。用户需要靠近对象,不能从远处观察对象的姿势。此外,可能需要不止一种类型的测角仪。可能需要一系列在不同尺度上操作的测角仪,以涵盖身体的不同运动尺度,例如臀部的摆动和手指的弯曲。对于解剖学的不同部位,可能需要较大和较小尺寸的测角仪。
在图4的数字测角仪的情况中,测角仪的两臂之间的角度测量得到改进,但是角度测量的准确度仍然受到测角仪臂与身体部分的主长度轴对齐的限制。
在已知的用于智能手机的Goniometer-Pro应用程序中,用户将智能手机绑在他们的肢体上,例如他们的前臂,然后锻炼肢体,例如通过一系列动作运动他们的手臂。智能手机相对于水平或垂直的角度是用智能手机中内置的加速度计测量的。
在用于智能手机或其他手持设备的电子测角仪应用程序的情况中,由于智能手机屏幕的主长度或智能手机屏幕的中心轴与身体部分的主长度的未对准,会产生测量误差,还会有依赖于加速度计的手持计算设备的内置传感器提供的方向读数的准确度限制。加速度计需要以标称的垂直方向为基准,并通过测量手持计算设备相对于初始基准位置旋转或倾斜时的加速度和减速度来确定手持设备的方向。
已知的电子测角仪智能手机应用程序需要一个将智能手机保持水平或直立的设置过程,并且需要用户学习如何执行设置过程。用户必须将智能手机水平或直立放置,以便设备内部的数字电子水平仪记录下参考姿态。
对于已知的电子测角仪,执业医师需要和被测量的人一起在场,以便他们能够进行设置过程和测量。或者,如果测量对象在远离医生的情况下使用已知的电子测角仪,他们需要进行如何使用的培训。
发明内容
本发明的第一方面提供了一种描述对象的解剖学特征的数据处理方法;
输入数据包括第一个三维坐标空间中的多个点坐标,多个点坐标代表对象的解剖学特征;
方法如下:
确定多个点坐标的一个或多个几何参数;
将确定的几何参数与存储在数据库中的各组预先确定的几何参数进行比较,每组预先确定的几何参数对应于存储在数据库中的各自预先存储的运动类型;以及
根据比较的结果,通过预存的运动类型识别多个点坐标的运动。
作为优选的技术方案,如上所述的一种描述对象的解剖学特征的数据处理方法,包括将多个点坐标分为点组,每个点组代表离散的解剖学特征。
作为优选的技术方案,如上所述的一种描述对象的解剖学特征的数据处理方法,包括确定各个点组之间的角度,每个点组代表解剖学特征。
如上所述的一种描述对象的解剖学特征的数据处理方法,包括确定代表第一解剖学特征的第一点组与代表第二解剖学特征的第二点组之间的角度。
如上所述的确定多个点坐标的一个或多个几何参数的过程包括确定以下参数:
点坐标对之间的角度;
与一组点坐标重合的一条或多条线;
两组不同的点坐标之间的角度;
两组不同的点坐标之间的相对运动;
三维坐标空间内单个点的运动速度;
三维坐标空间中每组点坐标的运动速度;
各个组坐标之间的相对运动速度;
与点坐标组重合的线的方向;
各组点坐标在三维坐标空间中的方向;
各组点坐标在三维坐标空间中的旋转方向;
各组点坐标在三维坐标空间中的旋转速度;
三维坐标空间内单个点的平移运动;
三维坐标空间内各组点坐标的平移运动。
如上所述的一种描述对象的解剖学特征的数据处理方法,包括通过将第一个坐标空间中的多个三维坐标变换为相应的第二个坐标空间中的多个点坐标来预处理输入数据。
如上所述的点坐标代表的解剖学特征包括:
对象的骨骼关节;
对象的单个肢体;
对象的单个肢体部分;
对象的单个骨头;
对象的单个骨头组合。
作为优选的技术方案,如上所述的一种描述对象的解剖学特征的数据处理方法,包括生成实时量角器用于显示至少两组点坐标之间的角度。
如上所述的一种描述对象的解剖学特征的数据处理方法,包括以下步骤:
通过比较代表解剖学特征的第一组三维坐标的方向与存储的用于解剖学特征的参考方向,来比较对象的姿势;以及
相对于参考方向,辨别该组三维坐标的方向是否超出预先确定的方向范围。
作为优选的技术方案,如上所述的一种描述对象的解剖学特征的数据处理方法,还包括在三维坐标空间中捕获对象的视频图像;
生成一个量角器,该量角器随着对象的运动而实时运动;并且
将量角器覆盖在视频图像上。
本发明的第二方面提供了一种确定对象的运动范围的方法,方法如下:
(1)在第一个三维坐标空间中捕获对象的二维图像;
(2)接收一组数据点,该组数据点表示第一个三维坐标空间中的多个点;
(3)从多个点中识别单个点组,其中每个识别的点组对应于对象的解剖学特征;以及
(4)将识别的点组中的各个点的相对位置与存储在参考数据库中的相对位置数据进行比较。
优选地,参考数据库中的预存位置数据,每个都分别与对象的相应姿势或运动锻炼有关。
优选地,参考数据库中的预存位置数据被安排为一组预先确定的配置文件,每个配置文件代表一种姿势或一种运动。
优选地,数据库中的预存数据包括角度数据。
如上所述的一种确定对象的运动范围的方法,包括将三维空间中识别的点组中的各个点的运动与作为记录存储在参考数据库中的参考运动数据进行比较。
如上所述的比较是指,将一组用来描述识别的点组的运动的参数与预定参数的相应参考组比较,预定参数如下:
·运动速度;
·运动方向;
·运动距离;
·运动角度;
·加速度;
·减速度;
·运动的主要肌肉;
·运动的辅助肌肉;
如上所述的一种确定对象的运动范围的方法,包括将识别的点组中的各个点的相对方向与存储在参考数据库中的预定方向进行比较。
如上所述的一种确定对象的运动范围的方法,包括将表示第一个三维坐标空间中的点的多个数据点映射为对应于第二个三维坐标空间中的多个点的数据点。
如上所述的一种确定对象的运动范围的方法,包括:
分析第一个识别的点组的运动;
分析第二个识别的点组的运动;
比较第一个和第二个识别的点组的运动以确定相对运动;以及
将第一个和第二个识别的点组之间的相对运动与多个预定的相对运动记录进行比较,每个记录对应于特定的运动或锻炼;以及
根据比较,从多个预定的运动类型中识别出其中一种。
如上所述的一种确定对象的运动范围的方法,包括生成测量角度数据的量角器。角度数据可以实时动态测量。根据描述角度随着时间变化的数据,可以确定以下参数:角速度;角加速度;角减速度。
如上所述的一种确定对象的运动范围的方法,包括:
确定识别的点组的运动路径;以及
生成一个量角器,该量角器与识别的点组的运动路径相同。
如上所述的量角器在三维坐标空间中的主平面与代表解剖学特征的点组在三维空间中的运动轨迹所在平面一致。
如上所述的量角器包括三维坐标空间中的半圆形的弧。
如上所述的量角器的径向延伸的指向和代表解剖学特征的一点组的主方向一致。
预定目标角度显示为带状或线状。
如上所述的一种确定对象的运动范围的方法,还包括:
输入描述在过程(3)中识别的外部解剖学特征相对应的内部解剖学特征的三维模型的数据;以及
生成内部解剖学特征的三维模型的渲染图像。
如上所述的一种确定对象的运动范围的方法,还包括指定三维模型的方位角;以及
实时更新指定角度,相当于一点组的实时运动角度与对象的解剖学特征一致。
本发明的第三方面提供了一种确定对象在第一坐标系中的正确姿势的方法,方法如下:
接收用于描述三维坐标空间中对应对象的一个或多个解剖学特征的多个点的点坐标数据流;
将点坐标数据与代表正确姿势的多个预定参考数据进行比较;
如果接收到的点坐标数据与参考数据的差异超过预定量,则生成警告消息,表示点坐标数据不在多个参考数据的预定限制内。
如上所述的将点坐标数据与多个预定参考数据进行比较的过程包括:
识别点坐标数据中与对象的身体部位相对应的各组三维坐标点;
识别点坐标数据的各组三维坐标点之间的对应角度;
将点坐标数据的各组角度与参考数据的对应角度相匹配。
如上所述的一种确定对象在第一坐标系中的正确姿势的方法,包括:
将通过一对三维坐标点的第一条线的方位角与存储在参考数据中的第二条线的方位角进行比较;以及
确定第一条线的方位角与第二条线的方位角是否相差一个预定角度范围之外的角度。
本发明的第四方面提供了一种手持式便携式电子测角仪装置,包括:
用于捕获包括三维坐标空间中的多个点的激光雷达数据流的装置;
用于分析多个点的几何形状以确定多个点之间的角度的装置;
用于存储多个预先确定的记录的数据库,每个记录包含关于解剖学特征运动角度的信息;以及
用于将多个点之间的角度与数据库的预先确定的记录中的角度相匹配的装置。
如上所述的一种手持式便携式电子测角仪装置,包括生成量角器的装置,用于表明多个点之间的确定的角度。
如上所述的一种手持式便携式电子测角仪装置,包括生成电子测量仪器的装置,用于测量确定的角度。
如上所述的一种手持式便携式电子测角仪装置,包括当确定的角度位于存储在数据库的预定记录中的预定角度范围之外时的检测装置。
如上所述的一种手持式便携式电子测角仪装置,包括将角度数据发送到动画生成器的装置,用于生成在数据库的预定记录中被识别的结构的动画图像。
如上所述的一种手持式便携式电子测角仪装置,还包括报告控制器,用于生成确定角度随着时间变化的视觉报告。
本发明的第五方面提供了一种在手持式便携式电子测角仪装置中处理三维数据的方法,方法如下:
捕获包括三维坐标空间中的多个点的激光雷达数据流;
分析多个点的几何形状以确定多个点对之间的角度;
存储多个预先确定的记录,每个记录包含关于解剖学特征的预定运动角度或方向的信息;以及
将多个点对之间的确定角度与预先确定的记录中的预先确定的角度相匹配。
如上所述的一种在手持式便携式电子测角仪装置中处理三维数据的方法,包括生成用于表明确定角度的量角器。
如上所述的一种在手持式便携式电子测角仪装置中处理三维数据的方法,包括生成用于测量确定角度的电子测量仪器。
如上所述的一种在手持式便携式电子测角仪装置中处理三维数据的方法,包括检测确定角度何时位于预定的角度范围之外。
如上所述的一种在手持式便携式电子测角仪装置中处理三维数据的方法,包括生成在预定记录中被识别的结构的动画图像,动画图像有以确定角度配置的组件。
如上所述的一种在手持式便携式电子测角仪装置中处理三维数据的方法,还包括生成确定角度随着时间变化的视觉报告。
其他方面如本发明的权利要求中所述。
附图说明
为了更好地理解本发明并说明如何实施本发明,现在将参考附图仅以示例的方式描述根据本发明的具体实施例、方法和工艺,其中:
图1示意性地说明了一种已知的用于测量关节衔接的机械医用测角仪;
图2示意性地说明了使用已知的机械测角仪来测量人体肘关节的伸展角度;
图3示意性地说明了使用已知的机械测角仪来测量人体肘关节的屈曲角度:
图4示意性地说明了一种已知的数字测角仪,提供衔接关节的角度测量的数字读数;
图5示意性地说明了已知的RateFast测角仪应用程序的屏幕视图,该程序基于数字计算平台,如智能手机;
图6示意性地说明了已知的基于智能手机的Goniometer-pro(G-pro)设备的屏幕视图;
图7以透视图示意性地说明了根据本发明的具体实施例和方法的运动评估装置的使用;
图8示意性地说明了用于测量身体运动和身体灵活性的装置的硬件组件;
图9示意性地说明了根据本发明一个具体实施例的不同流程和模块的结构;
图10示意性地说明了根据本发明的具体方法在评估会话期间进行的过程的一个例子;
图11示意性地说明了根据本发明的具体方法在评估会话期间进行的过程的示例,A、B分别是图11的一部分;
图12示意性地说明了第一个坐标空间中的对象的二维屏幕图像的视图,以及第二个坐标空间中的多个三维点的二维视图,三维点通过覆盖在对象的二维图像上的点显示;
图13示意性地说明了第一个三维坐标空间中的对象的二维屏幕图像的视图,其上覆盖了根据本发明的具体方法生成的量角器显示;
图14示意性地说明了部分评估会话的屏幕视图,包括第一个三维坐标空间中的对象的二维图像,该图像具有与之相关的量角器显示;根据本发明的具体方法生成的多个度量视图,每个度量视图显示测量的运动参数,用于识别的运动或锻炼类型;
图15示意性地说明了部分评估会话的屏幕视图,其中对象错误地进行了特定的识别类型的运动或锻炼,显示了对象在第一个三维坐标空间中的二维图像,伴随着一个刻度量角器、一个显示脊柱排列的仪表或刻度盘式的显示器,以及一个屏幕上显示给用户的书面指令;
图16示意性地说明了部分评估会话的屏幕视图,其中对象错误地进行了特定的识别类型的运动或锻炼,显示了对象在第一个三维坐标空间中的二维图像,伴随着一个直立量角器,和一个在主视图中覆盖在对象图像上的侧向量角器,以及一种显示对象参数的表盘或速度计式显示器,该参数超出了正在进行的识别的运动或锻炼类型的预定目标范围;
图17示意性地说明了部分评估会话的屏幕视图,在主视图(第一屏幕区域)中显示了第一个三维坐标空间中对象的二维视频图像,并在侧视图(第二屏幕区域)中显示了三维数字生成的内部解剖学特征的动态运动解剖视图,显示了在评估会话中被评估的个体肌肉和部分骨骼,该解剖视图与对象的身体运动同步运动;
图18示意性地说明了在评估会话期间根据本发明的具体方法实时生成评估报告的一个示例,涉及肩外展锻炼;以及
图19示意性地说明了由图18的报告表示的同一评估会话的评估报告的第二个示例。
具体实施方式
现在将通过示例的方式描述发明人设想的一种具体模式。为了提供一个全面的理解,下面的描述列举了许多具体细节。然而,对于本领域的技术人员来说,显而易见的是,本发明的实施可以不限于这些具体细节。在其他情况下,没有详细描述众所周知的方法和结构,以免不必要地模糊描述。
下文中,术语“用户”表示操作本发明提出的具体实施例设备或方法的人。
在本说明书中,术语“对象”表示一个对象,主要是人类,但也可以包括动物或机器人,其运动范围正在被测量或确定。
在对象是与用户是同一人的情况下,即对象正在根据实施例进行自己的测量,对象被称为用户。也就是说,用户正在将自己作为对象进行测量。
在本说明书中,当涉及对象时,术语“姿势”用于表示对象保持其身体部分的方式,例如,肩部、颈部、背部,相互之间的关系,和/或某人站姿、坐姿或躺姿的特定姿势。姿势的示例包括:直立、懒散;斜倚;伸展;低头;放松;紧张。术语“姿势”可用于描述各种姿势,通常姿势是一种类型的姿势。
在本说明书中,术语“位置”在涉及对象身体位置时,是指身体的整体方向和/或身体各部分相对于彼此的结构。此类位置的示例包括但不限于站姿、坐姿、单膝或双膝跪姿、躺下、斜躺、俯卧位、仰卧位、竖直举起一只手臂、竖直举起双臂或倾斜至水平方向,基本水平地举起一只或两只手臂,抬起一个膝盖,或抬起一条腿。位置也适用于各个身体部位,例如,手臂可以处于竖直位置或弯曲/倾斜的位置;腿可以处于弯曲或伸展的位置,也可以处于手指张开的位置,以及手指并拢的位置,或合拢的位置(拳头)。一个位置可能有几个备选的姿势。例如,处于坐姿的人可能处于专注的直立姿势,也可能处于懒散的姿势。
在本说明书中,以前缀AR命名的模块是Apple的已知增强现实套件的一部分。除非另有说明,否则所有其他模块、类例程和过程均由本发明的发明人创造。
概述
如本发明图7所示,在透视图中示意性地说明了根据本发明具体实施例的运动评估装置7000。运动评估装置包括具有外壳的手持式或便携式计算平台;数字处理器;内部电池组;存储设备;数据存储设备;可以捕获静止图像的摄像机设备;光探测和测距(激光雷达)设备;方向测量设备以确定设备的方向,例如一个或多个运动传感器和/或加速度计;以及包括触摸屏的用户界面,触摸屏可以接受用户触摸屏幕的命令和指令,触摸屏还包括视觉显示设备,实时显示视频摄像设备生成的图像,并且可以将计算机生成的图像覆盖到屏幕上显示的静态或视频图像或场景上。
人类对象7001位于运动评估设备7000的摄像机设备的视野和激光雷达设备的视野内。实时视频图像由摄像机设备捕获并转换为包含多个二维像素帧的图像,如本领域已知的那样。视频图像包括以每秒帧的预定速率捕获的多个独立的二维图像数据帧序列。
激光雷达检测器仪器本身在本领域中是已知的并且包括发射光脉冲序列的光脉冲发射器和检测反射的光脉冲的光脉冲检测器。激光雷达设备将一系列快速激光脉冲照射在一个视场上,在这种情况下,是人类对象所在的第一个坐标空间,通常每秒超过150,000个脉冲。传感器检测从视野中的对象表面反射的光脉冲的反射,并测量每个脉冲从脉冲发射器反射所需的时间量。从脉冲发射时间到检测到脉冲反射时间的往返时间与反射表面远离发射器和传感器的距离成正比,因此通过测量脉冲发射之间的时间差可以确定脉冲和反射表面在视野中的距离的测量值。光束在三维光束阵列中左右扫描,因此脉冲光束中心相对于激光雷达仪器的主要中心轴的方向/角度是已知的,并且假设激光雷达仪器相对地保持静止时,仪器可以通过计算相对于激光雷达仪器中心线的垂直和水平角度以及反射发射脉冲所需的时间来确定第一个坐标空间内的三维点的位置,这给出了与激光雷达仪器的距离。
人类用户7002手持运动评估装置7000,将摄像机和激光雷达仪器指向第一个坐标空间中视野中的人类对象。摄像头记录帧图像数据(视频数据),激光雷达仪器记录帧激光雷达数据。激光雷达数据帧包括多个三维坐标,每个坐标对应于人体表面上的反射点,或视野内的任何其他物体,其具有来自激光雷达光脉冲发射器的反射光。因此,每个激光雷达数据帧包括人体表面上的多个采样点,以及来自第一个坐标空间内其他物体(例如墙壁、地板和天花板)的反射数据点。
激光雷达摄像机捕获与第一个三维坐标空间中的对象有关的数据,第一个三维坐标空间是对象作为一系列三维坐标站立的物理位置或房间。对一组点进行预处理,这些点代表对象的主要解剖成分,以每秒60帧的速度处理。随后这些点将被转换到第二个三维坐标空间,这更便于后续处理。第一个三维坐标空间为被摄体站立的真实场景对应的三维坐标空间,视频图像和激光雷达数据为第二个三维坐标空间为虚拟坐标空间,用于对这些点进行进一步的处理和分析。
如本发明图8所示,示意性地说明了用户便携式计算平台的组件,包括用于测量身体运动的装置。该装置包括处理器8000;存储器8001;电子数据存储设备8002;用户界面8003包括触摸屏,用于接收命令和指令,还用于显示包括视频和静止图像的图像;无线接口8004,包括接口和wifi接口;数码摄像机8005,也可以拍摄静止图像;能够捕获包括深度/距离信息的激光雷达图像的激光雷达摄像机8006;电池和供电单元8007;数据总线8008使所有组件能够相互通信。该装置还包括外壳。用户界面可以包括键盘,可以是触摸屏键盘;触摸板或鼠标;各种输入输出端口;各种物理连接,例如USB连接器;以及一个用于接收存储卡的端口,例如SD或微型SD存储卡。用户界面8003优选地还包括声音接口,其包括音频扬声器、麦克风和麦克风/唱机插口。
如本发明图9所示,示意性地说明了用于测量身体运动和身体灵活性的装置。
根据第一个特定实施例,该装置包括用于执行本发明的特定方法的一组模块。总体而言,这些模块包括输入模块9000;工具集模块CA工具9001;分析模块CA分析9002;输出模块CA输出9003。除非另有说明,否则所有模块操作过程并行,模块之间的通信也并行发生。
输入模块9000包括第一输入模块9050和第二输入模块9051。第一输入模块包括增强现实套件ARKit 9004,为产品;AR人体追踪9005,同样是Apple产品;AR三维骨骼9006;WOLAR会话管理器9007。在图8中,以AR开头的类均为Apple类,其他类均按照此处的具体实施例和方法。
第二输入模块9051包括视频输出9060;包括VN检测人体姿势请求9062和VN检测人体手势请求9063的视觉9061;包括身体关节坐标和手关节坐标的深度图9064。
CA工具模块9001,包括医学数据库9020;自动评估检测模块9021;几何分析控制器9022;一组虚拟量角器9023;一组度量视图或速度计9024;报告分析控制器9025;过度补偿控制器9026;深度分析控制器9027。
CA分析模块9002包括WOLAR人体模块9010;关节坐标9012;主评估视图控制器9013,其运行评估会话9014并提供会话分析9015;和WOL运动体模块9016。
CA输出模块9003包括可视化9030;三维视图9031;评估报告9032。可视化9030包括侧视图9033;主视图9034;度量视图9035;量角器视图9036。
输入模块
ARKit模块
ARKit模块是Apple模块,提供激光雷达和视频数据的预处理。ARKit的一部分是AR人体追踪功能和AR三维骨骼模块。
AR人体追踪模块
当ARKit在后置摄像头输入中识别出一个人时,生成一个AR人体锚点,它可以用来追踪身体的运动。启用平面检测和图像检测。如果使用人体锚点来显示虚拟角色,则可以将角色设置在选定的表面或图像上。
AR配置。框架语义类型人体检测是默认启用的,这将使ARKit通过框架检测人体检测到摄像机画面中的人的关节位置。
在AR人体追踪模块内,还具有追踪物理环境中的人并通过将相同的身体运动应用于虚拟角色来可视化他们的运动的能力。
AR三维骨骼模块
AR人体锚点包含AR骨骼子类的一个实例,以提供其在三维空间中的关节位置。联合局部变换属性描述了关节相对于其母关节的三维偏移量。联合局部变换属性描述了关节相对于人体锚点变换的三维偏移量。AR三维骨骼输入包含身体上三维坐标点的实例,例如从激光雷达数据导出的人体。AR三维骨骼模块提供连续的数据实例流来启动会话。每个AR三维骨骼数据实例都包含一组三维空间中的坐标,这些坐标来自激光雷达光测距摄像机。三维坐标表示对象图像上的点,特别是人体上的点。例如,提供一组三维空间坐标的点,对应于人体的对象图像,其中三维点代表位于或之上的各个关节:
-人体的中心线/中线;
-人体每条手臂的中心线;
-人体每条腿的中心线;
-人体头部的中心线。
作为关节的集合,AR三维骨骼协议描述ARKit可以追踪其运动的人体状态。AR三维骨骼子类提供被追踪身体关节在三维空间中的位置,特别是其联合局部变换和联合模型变换属性。
由于激光束不能穿透人体,因此不能直接测量骨骼在体内的位置,AR三维骨骼的三维坐标表示被测人主要骨骼组成部分的位置的近似值在摄像机和激光雷达传感器的视野中。例如,人的手臂可以表示为第一个坐标空间中人类对象所在的三维坐标线。
从AR三维骨骼接收的数据实例流是实时数据流,每秒包含60个实例,相当于一帧数据点,因此当摄像机视野中的人类对象四处运动时,AR三维骨骼实时提供持续更新的数据集,表示对象运动人体部分的三维数据坐标。从AR三维骨骼接收的数据构成了CA分析模块和CA工具模块的输入数据流。通常每个实例(帧)包含大约93个独立的三维坐标。
WOLAR会话管理器模块
WOLAR会话管理器模块9007协调ARKit和AR三维骨骼模块之间的通信,系统的其余部分是CA分析模块9002、CA工具模块9001和CA输出模块9003。WOLAR会话管理器模块还管理CA分析模块、CA工具模块和CA输出模块之间的接口和通信。
CA分析模块
CA分析模块9002中的WOLAR人体模块9010从输入模块9000接收数据集并从AR三维骨骼数据集创建一组新的三维坐标实例,其中AR三维骨骼数据集包括多个如上所述的三维坐标实例。WOLAR人体创建的数据集包含AR三维骨骼数据集的优化和规范化版本,其格式针对WOLAR骨骼和WOLAR会话管理器模块的使用进行了优化。规范化包括在WOLAR人体模块内创建预定义的三维空间,并在预定义的三维空间内拟合AR三维骨骼数据集。为了在AR三维骨骼空间和WOLAR人体三维空间之间进行转换,将AR三维骨骼空间中每个实例的每个三维点乘以一个乘法因子,该乘法因子将三维点拟合到WOLAR人体三维空间中的对应点。
WOLAR人体模块9010产生WOLAR骨骼模型9011,其包括从WOLAR人体模块输出的归一化数据集。归一化的数据集包括多个单独的实例,每个实例包括WOLAR人体空间内的多个单独的三维坐标,三维坐标的集合及时表示对象人体骨骼上的坐标位置。WOLAR骨骼数据集包括多个实例,其表示对象的人体骨骼的点的坐标位置随时间变化(在本发明的示例中以每秒60帧,每一帧是WOLAR骨骼数据集的单独实例)。
WOLAR骨骼的连续实时数据输出流提供多个关节坐标9012。关节坐标被输入到主评估视图控制器9013。
主评估视图控制器9013控制用户在用户显示屏上看到的视图。CA工具模块9001中的所有工具都被主评估视图控制器9013使用或可供主评估视图控制器9013使用。
一旦自动评估检测模块9021自动检测到可识别的运动,主评估视图控制器可以自动开始会话,并且报告分析控制器9025开始记录会话,并且报告分析控制器提供分析和结果会话期间对象的动作。会话数据的记录和数据的分析以及报告的生成并行进行。或者,可以通过用户手动激活来开始会话。
CA工具模块
医学数据库9020包含描述多个不同人体运动和位置类型的数据。每个不同的运动类型和每个位置类型被存储为记录,该记录包括一组三维坐标并且包括诸如三维坐标组之间的角度的参数,这些参数是特定姿势或运动的特征。
涉及采用动作、姿势的身体锻炼类型可包括以下任何一个或多个示例:直立,双臂垂直向下;侧向旋转拉伸;举起手臂(左臂);举起手臂(右臂);举起手臂,右臂和左臂;向前站立弯曲;向后/向后倾斜;头向左转;头向右转;头向左倾斜;头向右倾斜;抬头;低头;上半身向左扭转;上半身向右扭转;腿部伸展/腿部弯曲运动(左腿),向前抬腿(左腿);向前抬腿(右腿);向后抬腿(左腿);向后抬腿(右腿);向侧面抬腿(左腿);向侧面抬腿(右腿);腿部伸展/腿部弯曲运动(右腿);肘部伸展/肘部弯曲运动(左臂);肘部伸展/肘部弯曲运动(右臂);手腕弯曲运动(左手腕);手腕弯曲运动(右手腕);每只手的每个手指和拇指的单独伸展和弯曲动作;脚踝向左或向右屈曲;坐着或躺着时进行的动作。原则上,人体的任何部分或整个身体的任何运动、位置或姿势都可以包括在由本发明的装置监测、测量和/或分析的运动中。
对于医学数据库中的每个单独的位置、姿势或运动记录,可以存储以下信息:运动的名称;运动的目标范围,例如以度为单位的角度范围;运动中使用的主要和辅助肌肉;关节名称,肌群,拮抗运动。其他类似的信息可以保存到医学数据库中。
自动评估检测模块9021从关节坐标的实时流中识别对象正在采取哪种类型的运动或姿势,并将该运动或姿势类型与医学数据库中等效的预存运动或姿势类型相匹配。如果医学数据库不包含与用户正在采用的运动或姿势等同的运动或姿势类型的等效预存记录,可选地,自动评估检测模块可以被配置为创建对应于新的数据库记录动作或姿势。
使用医学数据库,自动评估检测自动识别对象正在执行哪种类型的运动。它通过使用在几何分析控制器9022中计算的一系列几何计算来做到这一点。
使用医学数据库9020,自动评估检测器9021通过比较从WOLAR人体输出的关节坐标9012(该WOLAR人体又是从AR三维骨骼输出的三维点导出的连续的激光雷达流中得到的)与存储在医疗数据库9020中的记录,来自动识别对象正在进行哪种运动,以确定存储在医学数据库中的任何记录与从WOLAR骨骼模块9011输出的一组关节坐标9012代表的运动或姿势是否匹配。
医学数据库9020可以实现为多个数据记录,例如以电子表格形式,其中在一个轴上列出对象可以进行的所有不同可能类型的锻炼,并且在另一个轴上列出所有与每种运动类型相关的不同参数,定义构成该类型可接受或正确运动的阈值的参数,包括关节坐标组之间的最大和最小运动角度,其中关节组被分组以表示个体身体特征,例如关节、四肢、手指(手指、脚趾)等。医学数据库存储包含以下信息类型的记录:
·一种运动或锻炼(运动名称);
·一种姿势(姿势名称)
对于每种类型的运动和/或姿势:
·一组点对应于一个或多个单独的身体部位;
·对于特定类型的运动,需要追踪/监控哪些身体部位;
·对于特定类型的运动,需要追踪/监控哪些关节;
·对应于个体身体部位之间的角度的最大角度和最小角度的范围,其对于特定类型的运动或姿势是正确的或可接受的,包括那些参数的阈值;
·与坐标空间中的特定坐标相比,特定身体部位的主要长度的最大角度范围,其在运动类型的限制范围内,包括那些参数的阈值;
·每个单独的运动或每个单独的姿势包含上述参数的哪些组合;
·相应的三维运动动画
通过比较由几何分析控制器9022确定的参数组合,例如水平运动加圆周运动,与存储在医学数据库9020中的针对每种运动类型或每种姿势的参数组合,然后个体运动或可以从医学数据库中识别姿势类型。
在从医学数据库中识别出与从几何分析控制器生成的数据相对应的特定运动类型或姿势类型后,可以从医学数据库9020的该运动类型的预存储记录中读取该识别出的运动或姿势的个体上限和下限参数。过度补偿控制器9026使用该信息来确认对象是否正确地进行运动。
例如,在肩部屈曲期间,脊柱需要在限制范围内保持直立,同时肩部正在屈曲。医学数据库9020中该类型运动的数据记录可能表明,对于该练习,需要监测肩角和脊柱角度,并且还以虚拟量角器的实时显示形式显示在用户界面上,每个量角器一个角度。
过度补偿控制器9026持续监测必要的参数,如在对象的肩部屈曲运动期间从医学数据库9024读取的参数,并在肩部屈曲练习期间,并使用虚拟量角器9023实时输出对象手臂角度的角度读数在肩部弯曲练习期间,通过监测来自几何分析控制器9022的描述对象脊柱姿态的实时信息,过度补偿控制器9026可以监测对象脊柱在医学数据库9024中适当记录的指定角度限制内保持基本垂直,即肩部屈曲运动,并因此确定该运动正在正确执行。
然而,如果过度补偿控制器9026确定几何分析控制器输出的信号是关于对象的脊柱线的姿态,该姿态太远离垂直,超出了包含在适当记录中的限制在医学数据库9020中,然后过度补偿控制器9026将产生警报信号。
通过将对象身体特征的实际运动角度与存储在医学数据库中的相应可接受角度进行比较,可以确定该运动是否由对象正确执行而不需要经过医学训练的人体运动正在正确执行。
作为示例,如果对象在他们面前举起他们的手臂,则医学数据库将进行记录,包含需要追踪身体的哪些关节以及什么是安全或正确的最大和最小的信息手臂的运动角度,在该角度内,对象被认为正确地进行了该运动或锻炼。
自动评估检测模块9021从几何分析控制器9022和医学数据库9020获取数据,并比较那两组数据以匹配几何分析数据与来自医疗数据库中预存记录的等效数据。如果几何分析数据中的角度在限制范围内,与医学数据库中记录的角度相同,对应于特定运动类型,则自动评估检测模块9021将几何分析数据识别为与医学数据库内包含相似角度数据的记录对应的相同类型的运动。
几何分析控制器9022通过检查包括关节坐标9012的每组三维点来执行一系列几何计算,以提供角度数据和其他度量,例如角度变化率和方向变化三维点的线数、线方向的变化率、单个三维点的绝对位置变化率等参数描述了关节坐标在三维坐标空间中的绝对位置,以及描述各个关节坐标相对于彼此的相对位置的类似参数。例如,三维坐标空间中关节坐标的绝对位置的变化可以由几何分析控制器确定,例如对应于肘关节在对象占据的第一坐标系中运动的绝对距离偏移。几何分析控制器9022控制在关节坐标9012上执行的每个操作。
几何分析控制器9022提供实时追踪对象身体部位的运动的追踪功能。
输入到几何分析控制器的数据包括对应于在用户屏幕上观察到的多个点的数值数据,每个点表示三维坐标空间中的三维点,其中,这些点随着对象的实时运动和对象身体上或身体内的点的近似位置而实时运动。输入点包括三维坐标空间中的三维实时运动数据点,除了在所有点将与对象上、对象内或紧邻对象的位置相关的意义上,这些数据点在第一个实例中显然彼此无关。在几何分析控制器中执行点之间的进一步关系的创建,以便将点分组为多组点,每个点表示身体部位或其他身体特征。需要对输入点进行分析,以便将它们分组,每组对应于并代表对象的解剖特征。
这种分析可以包括将相关算法应用于点对或点组,以确定单个点的运动是否与任何其他单个点密切相关,从而确定哪些多个点彼此共享运动的强相关性,从而可以分配给共同命名的身体部位,以及哪些单独的点与其他点几乎没有相关性或没有相关性,由此可以确定这些点不属于同一命名的身体部位。
关节坐标的各组三维坐标之间的角度被实时计算并持续更新。几何分析控制器的输出包括描述了单独的三维坐标集或线之间的角度的角度数据。
几何分析控制器的输出包括以下数据:
·点在三维坐标空间(第二个坐标空间)内的位置;
·点组代表三维结构(对象的身体特征)的集合;
·梁或线,包括三维坐标空间中的方向,以及梁或线的长度;
·点组之间的角度,对应于对象的三维结构或身体特征之间的角度;
·第二个坐标空间中单个点的运动速度;
·第二个坐标空间中点组的运动速度;
·在第二个坐标空间中运动的点的加速度/减速度;
·第二个坐标空间内点的运动方向
所有上述数据输出都源自或确定自多个三维关节坐标,即输入到几何分析控制器的多个点,其源自原始AR三维骨骼数据。
通过与存储在医学数据库9020中的运动类型记录进行比较来识别几何分析控制器的输出参数的组合。例如,如果一组三维点被识别为在第二个坐标空间中形成特定图案,和/或者在第二个坐标空间内具有特定角度或方向,并且该图案与存储在医学数据库中的身体部位记录的对应图案相匹配,则该点图案可以被识别为对应的身体部位。
几何分析控制器还向度量视图集模块和虚拟量角器提供几何数据,例如角度数据。
虚拟量角器模块9023生成描述一组虚拟量角器的数据,这些虚拟量角器显示在视觉显示设备上的人类对象的图像附近。虚拟量角器可以覆盖屏幕上呈现的人类对象的图像,或者可以与人类对象的图像相邻。虚拟量角器显示正在测量的角度,例如手臂的主线和躯干的主线之间的角度,并实时显示该角度的数值。虚拟量角器可以覆盖到视觉显示设备上人类对象的二维图像上。
虚拟量角器模块9036负责在用户界面的屏幕上绘制量角器。虚拟量角器模块是由几何分析控制器9022和自动评估检测模块9021驱动。
度量视图模块9035生成度量视图,例如实时显示特定骨骼组件(例如手臂)相对于另一个骨骼组件(例如脊柱)的角度变化率的速度计视图。度量视图通常包括一个数字显示,它根据它所代表的参数实时变化。例如,度量视图可以包括以度为单位的角度的实时显示,当被监视的角度实时变化时,其值实时变化。对于每个运动,使用医学数据库9020,指定对应于该运动类型的特定类型的度量视图,以便通过使用自动评估检测模块9021自动检测对象正在进行的运动类型,适当的类型可以在医学数据库中查找一个或多个度量视图的集合,并且可以生成那些一个或多个度量视图并将其显示在视觉显示设备的屏幕上,如主评估视图控制器9013所控制的那样。
报告分析控制器模块9025实时记录会话内收集的所有关节坐标数据。数据记录在会话中。会话中报告分析控制器存储的用户在屏幕上可见的所有指标和参数。
在进一步的实施例中,在会话内收集的关节坐标数据的记录和所有其他会话参数和数据可以保存在本地以用于在会话之后发送到远程位置或服务器。
过度补偿控制器9026分析关节坐标9012并识别与特定骨骼部件相对应的关节坐标,例如对象的脊柱,并且还包含用于将对象整体姿势或位置与存储在医学数据库9020中的适当运动类型的预存记录进行比较的算法。医学数据库中的每个运动记录在第二坐标系中的三维空间内具有关节坐标,该关节坐标对应于在正确执行运动时所采用的单个骨骼组件的理想或“极限内”方向、定位和姿态。
来自医学数据库9020、自动评估检测9021、几何分析控制器9022、虚拟量角器模块9034、度量视图9024、报告分析控制器9025和过度补偿控制器9026中的每一个的信息被馈送到主评估视图控制器9013,其控制用户在屏幕上看到的视图。
例如,当对象直立并举起或放下他们的手臂时,为了获得最小手臂位置(手臂从肩部垂直向下)和最大手臂位置(例如,手臂举到最大程度)的测角仪测量值,对象应该直立,即从正面看,躯干基本垂直直立,脊柱的位置,近似为躯干中心线,也是垂直直立的。
可以以各种方式进行对象的姿势或运动与存储在医学数据库9020中的参考姿势或运动的比较。在第一种方法中,几何分析控制器9022识别对应于诸如骨骼的个体解剖学特征的关节坐标线,并分析关节坐标个体线之间的空间关系,每条线代表不同的解剖学特征,以确定是否这些解剖学特征的主要长度轴彼此之间在预定角度内。
例如,在对象手臂的情况下,第一组关节坐标对应于肱骨外上髁,第二组关节坐标对应于桡骨茎突,第三组关节坐标对应于肩峰的坐标,每个都可以自动识别并手动调整。另外,可以识别第四组坐标,其对应于对象身体的其他区域。对应肱骨外上髁、桡骨茎突和肩峰特征的三维关节坐标组在实时相对运动的同时,识别出一组对应于身体的关节坐标,并在实时地,连续监测对应于身体的坐标以查看它们是否基本上在坐标空间内,在从医学数据库中的记录中读取的预定限制内。数据库中的记录可以包括偏离垂直(Z)坐标的角度,并且为了确定对象的姿势是否在预定限制之外,根据数学方程的最佳拟合直线,例如最小二乘拟合方程等被连续计算,从中可以确定通过对应于对象的脊柱的三维坐标的最佳拟合线。该线与坐标空间中的垂直Z轴所成的角度被连续监测,并与存储在医学数据库的数据记录中对应于该特定运动类型的相应角度参数进行比较。如果实时计算的线与垂直Z方向的角度偏离预定角度限制以上,则这表示对象过度倾斜,在这种情况下,过度补偿控制器9026生成表示对象运动在外部的信号正在执行的特定运动的参数。过度补偿控制器向报告分析控制器9025发送信号,该控制器停止记录三维关节坐标数据流,直到对应于对象脊柱的连续重新计算的线与直立的垂直线之间的角度在预定角度值内在坐标空间。
过度补偿控制器9026连续比较与对象的脊椎相对应的三维关节坐标9012的帧流,计算这些关节坐标是否表示垂直脊椎,或者如果不是垂直的,则计算第二个坐标空间中与垂直的角度,比较表示最大允许角度的关节坐标的角度,该最大允许角度在该类型运动的限制范围内并且作为该特定运动类型的医疗记录的一部分存储。
如果由关节坐标的实时数据流表示的对象脊柱的运动超出限制,即,脊柱与竖直方向的角度超出医疗记录中指定的角度范围该特定运动类型,然后过度补偿控制器生成一个信号,该信号被发送到CA输出模块9003,以便可视化模块可以生成在屏幕视图上指示运动未正确执行的信号。这可以是例如闪烁的量角器或公制显示器,或者量角器或公制显示器的颜色变化。
量角器
量角器根据虚拟量角器模块9023生成并且由量角器可视化模块9036可视化,量角器可视化模块9036量角器生成用户显示。量角器由带刻度的线性刻度和指针组成。可以提供色带指示器。线性刻度可以是圆形或部分圆形,刻度最好以度表示,但也可以以弧度表示。指针可以包括旋转针型指针,其围绕线性刻度旋转以在刻度上指向一个角度。色带指示器优选地包括在圆形路径中延伸过一个角度的加亮线,其中表示的角度是目标运动角度。
在单独的量角器显示器上指针和带状指示器被分配到的度量可以如下。可以分配指针来指示以下指标:
·身体部位或肢体的当前运动角度;
·身体部位或肢体的理想或目标运动角度(最大运动范围)。
色带指示符可以被分配以指示以下度量中的任何一个:
·在会话期间测量的身体部位或肢体的运动范围,带状显示在最大和最小角度之间延伸;
·对于特定类型的运动或锻炼,身体部位或肢体的理想运动范围,带状显示在最大和最小角度之间延伸。
过度补偿警报信号
当过度补偿控制器9026由于确定对象正在以不正确的姿势或姿态进行锻炼而产生过度补偿警报信号时,过度补偿警报信号禁止报告分析控制器9025记录数据,直到过度补偿控制器9026或者停止产生过补偿警报信号,或者产生取消信号以取消过补偿状态。这意味着该设备不会记录对象的任何运动数据,而对象的姿势对于正在进行的运动或锻炼类型来说是不正确的。
响应于任何特定参数超出预定限制而产生的过度补偿警报信号,例如肩部角度超出预定限制,用于修改该特定参数的量角器图像输出9036,通常通过转动量角器显示不同的颜色,例如红色,以便用户可以看到参数超出了为正确执行练习而设置的限制。
过度补偿警报信号也改变报告的颜色,并隐藏屏幕上的里程表视图。
点组
输入到几何分析控制器9022的数据包括一系列点,每个点在第二个三维坐标空间中的位置以每秒60帧更新。这些点名义上彼此不相关,也就是说,当它们被输入到类型树分析控制器中时,点之间没有单独的相关数据。但是,由于从AR三维骨骼接收到的点代表对象身体上的位置,因此单个点和点组之间存在某种相关性。几何分析控制器确定点之间的相关性并将点排列成点组,其中每组点代表对象的独特解剖学特征。
几何分析控制器应用更多的算法,这些算法找到单个点对之间的相关性,并确定单个点相对于输入数据流中的其他单个点的并置程度,以便将点分组在一起。相关函数包括:
·在第二个坐标空间中一个点的瞬时位置与其他点的瞬时位置的比较——彼此紧邻的点可能但不一定是同一解剖学特征的一部分;
·点的运动速度与其他点的运动速度的比较-以彼此相同的速度运动的点,或一个点的运动速度在另一个点的运动速度的阈值变化范围内的速度是可能是与其他点相同的解剖学特征的一部分;
·比较一个点与其他点的运动方向——在三维坐标空间中沿相同方向运动的两个点很可能与相同的解剖学特征相关联;
·画线算法——通过绘制连接直接相邻点对的线,可以将各个点对的方向与连接其他各个点对的方向进行比较。三个或更多系列形成直线或接近直线的点更有可能与彼此相同的解剖学特征相连;
·加速或减速率——以相同程度加速或减速或彼此在预定变化范围内的点更可能是同一解剖学特征的一部分。
几何分析控制器使用上述算法中的一个或多个,以将点布置成点组,其中每组点被分配以表示特定的解剖学特征。优选地,解剖学特征是围绕骨骼关节之间的特定骨骼形成的身体部分。例如,围绕肱骨形成的上臂可以识别或定义为解剖学特征;前臂部分可以被识别或定义为另一个独立的解剖学特征;并且对应于肘关节的上臂和前臂之间的关节区域可以被定义为解剖学特征。每个解剖学特征由一组或多个点表示。
识别具有对象的解剖学特征的点组
在几何分析控制器形成点组的同时,每个点组代表不同的解剖学特征,这些解剖学特征需要相对于对象的解剖学来识别和识别。解剖学特征的识别可以通过检查以下参数的算法来实现;
·点线的拐点数——通过检查点线的曲率拐点的数量和顺序,并通过将其与代表特定解剖学特征的点模式的预存储数据进行比较,可以识别解剖学特征使用一组点的变形;
·一组中的点之间相对于第二坐标系的绝对距离;
·一组点的运动角度——通过检查一组点的运动角度,可以确定该组点的可能的解剖学特征,排除那些不能在一组点在三维坐标空间中运动的角度范围内运动的解剖学特征;
·一组点的运动速度——通过检查该组点的运动速度,然后可以减少或缩小该组点可能代表的解剖学特征的范围。例如,手指的运动速度比完整的手臂快得多。如果这组点的运动速度大于人的手臂所能达到的速度,那么人手臂的解剖学特征可以从这组点代表的可能的解剖学特征中排除,而手指仍留在那组可能的解剖学特征中。
识别运动或练习
特定运动或锻炼的识别由自动评估检测模块9021中的算法基于从几何分析控制器9022输出的点组来执行。自动评估检测模块使用来自几何分析控制器的数据和信息,对于每组点,参数包括:一组点的运动速度;点组的名义识别/命名,例如将点组识别为特定的解剖学特征;点组的运动角度(角运动范围);一组点的形状;第二个三维坐标空间内点组的方向。
例如,如果类型树分析控制器输出特定点组的数据,指定该点组在特定角度范围内以特定运动角速度运动,自动评估检测模块9021可以将该信息与存储在医学数据库9020中的数据进行比较,并且因此自动评估检测模块可以识别具有存储在医学数据库9020中的该运动或锻炼的特定记录的那组点。
报告分析
已经从自动评估检测模块9021识别出对象正在执行哪种运动或锻炼,并且过度补偿控制器9026没有生成过度补偿警报信号,确认对象正在特定运动的预定允许参数范围内运动,报告分析控制器9025生成数据以实时生成图形报告,其中记录了对象执行的动作。
报告的视觉表示由评估报告模块9032生成。
CA输出
可视化组件9030包括三维视图可视化组件9031;评估报告可视化组件9032;侧视图可视化组件9033;主视图可视化组件9034;度量视图可视化组件9035;和量角器可视化组件9036。
三维视图
三维视图可视化组件9031生成包括骨骼组件的肌肉运动的动画屏幕显示。三维视图的数据是从已知的肌肉运动动画生成器获得的。从存储在医学数据库9020中的特定识别运动或锻炼的数据记录中自动识别一个或多个肌肉的类型。将描述运动类型的数据发送到外部肌肉运动动画器,该外部肌肉运动动画器具有预先存储的特定肌肉的三维模型和骨骼组用于每个已识别的运动类型。动画引擎返回包含骨骼组件的渲染图像以及渲染图像表示已识别的一块或多块肌肉。描述肌肉类型、肢体或肌肉所附着的其他身体部位的角度方向的数据从主评估视图控制器9013发送到现有技术的肌肉动画模块,每秒更新60次数据,该模块返回一个虚拟对象部分解剖结构的渲染图像,显示相关肌肉,这些肌肉可根据对象采用的相同瞬时角度、方向和姿态实时运动,并由几何分析控制器9022识别。
在选择了一个或多个肌肉之后,肌肉动画师制作那些肌肉做出的运动的动画,例如当弯曲肘部或抬起腿时。为了创建动画,对象运动由自动评估检测模块9021基于在几何分析控制器9022中实时生成的信息并参考如上所述的医学数据库9020中的数据来识别。一旦知道了是什么类型的运动,就查了医学数据库,看医学数据库中是否已经有该类型运动的记录,医学数据库中是否存有三维模型动画这种类型的运动,相关的动画模型通过充当动画引擎桥梁的WOLAR会话管理器9007启动,并且动画引擎返回渲染图像,这些图像被三维视图组件9031转换成屏幕显示。
在三维视图显示中,当对象弯曲他们的手臂时,例如几何分析控制器9022确定表示手臂解剖组件的点组的方向、角度、速度,这些被发送到主评估视图控制器9013管理从动画引擎发送和接收数据,并在屏幕的侧视图上实时显示计算机生成的动画图像,以便当对象实时运动手臂时,动画解剖显示相应地运动即时的。
声音提示
在操作的各个阶段,可以通过扬声器或通过用户界面的麦克风插孔播放声音,以在设备操作期间给用户直观的反馈。在以下事件中可能会产生声音提示:
·添加ARKit锚点1001时;
·当对象进行运动时,肢体每增加10°,就会发出一道声音,例如“咔哒”声;
·如果对象过度补偿,则会发出警报声;
·如果对象在运动过程中达到新的个人最佳最大值,就会发出声音
评估报告
评估报告9032从报告分析控制器模块9025和评估会话9014接收数据。度量视图模块9024、报告分析控制器9025、过度补偿控制器9026和评估会话9014一起工作,每个都向评估报告9032提供数据输入。会议的个别评估报告输出可能包括以下数据:
·会话的最大运动范围;
·会话期间达到最大运动范围时;
·会话期间未达到最大运动范围时;
·当试图实现运动时达到过度补偿极限。
上述评估报告数据优选地以图形形式显示。
操作方法——概述
这些实施例旨在与操作测量设备的用户一起使用,并且将测量设备的视野引导到对象。如果将测量设备放在三脚架或其他固定设备上,则测量设备可能能够由对象自己操作,因此对象可能与用户是同一个人,但主要是由与被测量的对象不同且分离的用户操作测量装置。
用户将掌上电脑的摄像头对准待确定运动范围的对象。对象位于真实空间中的摄像机和激光雷达摄像机的视野内,即第一个坐标空间。用户从屏幕上读取信息,指导对象如何站立或躺下,以及如何进行特定类型的锻炼或运动,例如直立并举起右臂,保持右臂伸直。用户将这些指令口头传达给对象,对象将尽其所能执行这些指令。
在整个会话期间,屏幕上的菜单连续不断地向用户呈现书面说明和信息,以指导用户如何使用该装置。指令集包括:
·有关对象姿势或位置的说明,以及如何纠正姿势,例如“将头平放在地面上”;
·关于运动对象各个解剖学部位的说明,用于进行锻炼或运动示例“通过将手掌朝向您的肩部来弯曲您的肘部,就像每个指令一样多,具体取决于正在评估的特定类型的运动或锻炼”;
·有关会话管理和管理的说明和信息,例如输入姓名、患者编号、临床医生姓名等。如果会话信息要在会话后远程存储,则可能仅需要有关管理和管理的说明和信息。
测量装置可以分析在不同位置与对象的身体部位对齐的点,并且可以确定对象是否采取了对检查位置有害的姿势,例如在站立姿势期间没有保持他们的脊柱伸直锻炼,或通过在坐姿锻炼期间懒散,并生成用户可见的警报消息,以便用户可以口头向对象传达指令,以便他们可以在锻炼期间纠正他们的姿势。
AR三维骨骼模块提供连续的数据实例流。当从AR三维骨骼接收到点流时,WOLAR人体模块9010通过将它们转换为第二个坐标空间中的坐标来准备那些最初是第一个坐标空间中的坐标的点。WOLAR人体是本身具有信息的类的实例关于被测对象的骨骼,包括身高和其他参数。WOLAR人体模块9010在AR三维骨骼数据上形成一组计算,将点从第一个坐标空间转换到第二个坐标空间,所有后续处理都在其中进行。WOLAR人体模块9010和WOLAR骨骼模块9011将从第一个坐标空间导出的AR三维骨骼点的初始坐标数据归一化以适应第二个坐标空间。第二个坐标空间是三维场景,用于进一步处理,分析和可视化,并与用户显示屏上看到的视图和场景相对应。
WOLAR人体类与WOLAR会话管理器类并行工作,以将原始点投影到第二个坐标空间的三维场景上,并在第二个三维坐标空间中产生关节坐标9012。
由WOLAR人体模块9010、WOLAR骨骼模块9011、WOLAR会话管理器9007执行的生成关节坐标9012的处理可以描述为生成关节坐标数据的预分析,该数据是从点导出的预处理数据作为三维第一个坐标空间中的坐标流提供。关节坐标数据包含一组点,这些点在第二个三维坐标空间中呈现为三维坐标的动态流。
主要分析由主要评估视图控制器9013管理。一旦关节坐标数据可用,则执行CA工具的分析。
一旦自动评估检测模块9021识别出运动,则评估会话开始。评估会话模块9014是主评估视图控制器9012的子模块。主评估视图控制器管理评估会话,如果用户按下屏幕上的RESET命令,当前的评估会话将被终止,并且新的评估会话可能会开始。
评估会话9014是存储信息但没有动作的实体。会话分析9015是一个实体,它确实具有如本发明所述的动作,包括分析哪些参数、绘制哪些练习、显示哪些速度计以及如何报告数据。
CA工具模块9001通过几何分析控制器9022连续实时地分析第二个坐标空间中的点的运动,自动识别对象正在执行哪种类型的锻炼,将该信息提供给自动评估检测模块9021,该模块9021将几何分析控制器提供的数据与医学数据库9020中的多个记录进行比较,直到找到匹配并且对象的运动可以与已知的预存锻炼或运动相匹配,例如肩部屈曲。
可选地,输入模块9000还可以包括已知的AppleCreateML动作分类器模块。该模块可以通过输入理想情况下的50个或更多的一系列不同的人进行相同的物理治疗运动的视频实例来进行训练,例如手臂的伸展和收缩(弯曲和肘部)进入已知的Apple动作分类器模块中。训练结束后,Apple动作分类器在训练数据集上,然后动作分类器将在评估或测量会话期间自动识别新视频中的运动或物理治疗锻炼类型,并将返回识别正在执行的物理治疗锻炼类型的数据。该信息可用于在医疗记录数据库中自动选择正确的适当类型的记录,即根据所识别的物理治疗锻炼或对象实际进行的运动的类型来选择记录。
一旦对象正在执行的运动类型被识别并与医学数据库中的运动类型相匹配,该运动类型的预存参数就应用于会话。这些预先存储的参数包括对象应该尝试达到的特定身体部位的运动范围或角度的目标值,以及姿势变化的限制范围,例如在第二个时间内将对象脊柱保持在预定的垂直限制内坐标空间,或对象头部的相对位置(例如保持头部直立),必须保持该位置才能正确执行运动或锻炼。
在会话期间的所有时间,从几何分析控制器9022和医学数据库9020接收数据的过度补偿控制模块9026连续地检查以查看代表身体部位的点组中的任何一个是否超出正在执行的运动的限制并且可以在运动超出限制期间中断报告分析控制器9025的数据收集。
可视化模块9030~9036在整个会话期间连续运行以生成它们各自的视图用于实时显示在屏幕上。
整个会话由报告分析控制器9025记录,因此在运动完成并创建评估报告后,可以在屏幕上重放会话。
输出包括在用户显示屏上查看的视觉输出。在最佳模式下,视图分为侧视图、主视图、度量视图和量角器。
侧视图9033包括:运动的名称;目标范围;当前范围。
主视图9034是屏幕的一部分,其中显示对象患者的视频图像,并且在主视图之上绘制的所有覆盖信息全部覆盖在主视图上,例如可移动的量角器、代表骨骼组件或身体部位的点的图像。
在最佳模式下,度量视图9035显示在屏幕的右侧,并且包括多个单独的速度计类型显示器,其形式为带有可运动指针的圆形刻度盘。
量角器视图9036在主视图9034内示出了一个或多个量角器,其可以覆盖到对象的视频图像上,或者可以位于对象的视频图像附近。
进行会话的具体方法
如本发明图10所示,示意性地说明了用于执行评估会话的过程视图。在图10中,所有启动ARKit的项目都是已知的实体,所有其他实体和所示过程由发明人设计。除非另有说明,否则图10中显示或描述的所有过程并行运行。
在过程1000中,ARKit人体追踪会话开始,这启动所有其他过程运行。WOLAR会话管理器9007运行身体追踪配置1002并在过程1003中提取ARKit锚点。AR技术基于锚点,由此ARKit查看第一个三维坐标空间中的场景,例如对象要进行锻炼的诊所或房间,以及运动和寻找可以通过线或角度识别的真实物体,例如门、墙壁、地板、桌子等,并且特别是对于本实施例和方法,在三维空间中寻找人或其他动物。
WOLAR会话管理器9007连续运行,等待识别锚点的出现,即摄像机和激光雷达摄像机视野内的人类对象,然后激活CA分析9002、CA工具9001和CA输出9003。
ARKit锚点1003将激光雷达导出的数据点馈入AR三维骨骼9006,在第一个三维坐标空间中产生一组数据点,这些数据点以每秒60帧的速度更新。
当评估会话开始时,定义的运动在过程中被识别。WOLAR会话管理器创建一个WOLAR人体实例,它从AR三维骨骼9006接收数据,并执行一组计算以从第一个三维坐标空间转换到第二个三维坐标空间。WOLAR会话管理器创建WOLAR骨骼9011的一个实例,它提供描述第二个三维坐标空间中的一组点的数据。WOLAR骨骼包含通过一组计算从第一个三维坐标空间转换到第二个三维坐标空间的AR三维骨骼数据集。
来自WOLAR人体9010、WOLAR骨骼9011的数据输出被输入到主评估视图控制器9013。WOLAR骨骼数据集被实时连续更新并且更新1006被输入到主评估视图控制器9013。更新在与WOLAR骨骼实体的原始创建方式相同,因此一旦创建了WOLAR骨骼实体1004,就不需要再创建,只需用新数据更新,也需要与原始数据集相同的方式处理用于从第一个三维坐标空间到第二个三维坐标空间的转换。更新以每秒60次更新的速度发生。1003创建WOLAR人体实体9010、1004创建WOLAR骨骼实体9011并不断更新WOLAR骨骼数据集的结果是第二个三维坐标空间中的连续点流可用于进一步处理和分析。数据被转换为主类的主评估视图控制器9013,用于进一步分析。
对于以每秒60个数据集的最佳模式发生的第二个三维坐标空间中的点的每次更新,计算角度1007的并行过程发生。每次发生更新时,几何分析控制器9022都会执行角度计算。计算出的角度包括计算不同点组之间的角度,每组点代表不同的解剖学特征。例如,可以计算代表肘的第一组点和代表脊柱的第二组点之间的角度。类似地,实时计算食指各骨之间的角度,或者可以计算大腿/股骨与小腿的小腿之间的角度。此外,角度变化速度的计算、表示解剖学特征的点组在第二个三维坐标空间中的相对运动速度以及表示解剖学特征的点组的相对位置也由几何分析控制器确定9022,以及自动评估检测模块9021将该数据与医学数据库9020中的预存记录进行比较,以查看是否已知(即预定义和存储的)运动类型或练习可以在过程1008中识别。这个问题也随着“是否创建评估会话?”1009而实施。
如果在医学数据库9020中不能识别与由几何分析控制器9022提供的角度和其他数据表示的运动相对应的已知预定义运动类型或锻炼,则不创建评估会话,并且(可选地)作为替代,可以在过程1010中在医学数据库9020中定义新的运动类型。可以通过在屏幕上显示覆盖对象视频的点来可视化1011三维关节,这仅在没有运动时才进行定义。如果定义了运动,则可以在过程1013使用量角器和其他视图可视化定义的会话,并且不需要人体上的可视化点1111。
定义新运动是可选的。如果在过程1010中不定义新的运动类型,则主评估视图控制器继续循环循环项目1001、1002、1003、1004、1007、1008、1010、1111,继续分析WOLAR骨骼中的点,直到定义的运动被过程1008中自动评估检测模块9021识别。
当定义的运动被识别时,在过程1012创建新的评估会话,并且主评估视图控制器1005可以启动可视化定义的会话1013,使用CA工具中的可视化模块来创建量角器、度量视图和三维动画。
创建评估会话1012对于一个评估会话仅发生一次,随后查询“运动是否被定义”1008结果为“是”,再查询“是否创建评估会话”1009也得到“是”,报告分析控制器9025开始记录会话数据。报告分析控制器9025在评估会话期间仅被激活一次,一旦创建评估会话1025,然后在评估会话期间不断更新同一评估会话。报告控制器的操作实例只存在在创建评估会话1012时。
一旦创建评估会话,过度补偿控制模块9026也激活。一旦激活,过度补偿控制将持续监控以查看对象的任何运动参数是否超出存储在医学数据库9020中的预定限制。
如果在过程1014中检测到任何过度补偿,则在过程1015中将当前评估会话处于临界模式并且通过由过度补偿控制器9026生成的过度补偿警报信号禁止1016报告分析控制器9025捕获参数。临界模式导致度量视图显示从屏幕视图中消失,并且超出该运动类型的预定限制的被测量或参数的量角器在屏幕上突出显示,例如通过将量角器变成不同的颜色,以及显示与该参数相关的任何相关表盘/速度计。关键模式还会导致生成警报信号和指示,向用户指示对象在进行锻炼时所犯的错误,例如“保持脊柱挺直”。会话保持在临界模式,直到过度补偿控制器模块9026确定先前超出限制的参数现在在医疗数据库9020中包含的预定限制内四个该类型的运动或锻炼,此时过度补偿控制模块9026取消过度补偿警报信号和临界模式状态解除,报告分析控制器9025重新开始保存会话数据,并且可视化组件重新开始生成度量视图、量角器和其他视图的显示。
如果在过程阶段1014没有检测到过度补偿,则当前会话处于评估模式1017,这意味着数据被捕获1018并由报告分析控制器模块9025记录,并且所有适当的度量视图、量角器、三维视图显示在屏幕上。通常在评估会话开始时,对象不会过度补偿他们的运动,并且在过程1014中没有检测到过度补偿。但是,稍后在运动或锻炼期间,对象可能会将他们的运动扩展到超出该类型的预定限制锻炼或运动,这会触发过度补偿检测,并激活如上所述的临界模式。
捕获最大值过程1018捕获运动的最大程度,例如身体部位的最大角运动。不捕获最大值过程1016发生在关键模式期间,即当检测到对象运动的过度补偿时意味着任何角度数据或与代表对象解剖学特征的一组点相关的其他参数不被记录,因为它是不是该参数的真正最大值,因为它是在对象采用的姿势或位置超出该类型运动的允许参数时获得的,例如,如果对象的脊柱相对于垂直方向弯曲超出允许范围。
每当几何分析控制器9022正在计算角度或其他几何参数时,除非显示被临界模式条件抑制,否则参数在屏幕上实时可视化1013,通过显示和/或更新量角器视图1019,显示或更新侧视图1020,显示或更新屏幕上的主视图1021以及显示和/或更新度量视图1022。随着传入的AR三维骨骼点集以该速率刷新,可视化每秒更新60次。
评估会话继续,并且在会话期间的任何时间,用户在1123具有在过程1123显示评估会话的报告的选项。如果用户选择显示报告,则在过程1124中结束会话,这导致在过程1125中最终评估会话报告的可视化。在结束会话过程1124中结束会话意味着不再捕获数据,并且当前会话的评估报告被可视化。
或者,如果用户不希望显示报告,则用户可以随时在过程1126重置会话,在这种情况下,评估会话在过程1127结束。如果会话在1126重置而不显示一个报告,然后会话在1127结束并且数据不再被报告分析控制器9025捕获,但是没有最终评估报告供用户查看。
如果在过程1014中没有检测到过度补偿,则用户可以在任何时候通过在过程1128中选择屏幕上命令来请求显示三维视图。如果没有选择三维视图,则隐藏三维动画在过程1129中。如果在过程1128中用户选择要显示三维视图动画模型,则在过程1130中可视化三维模型,WOLAR会话管理器模块9007驱动三维视图动画在过程1131中与对象的动作同步地运动。也就是说,WOLAR会话管理器将相关的角度数据,以及其他几何数据发送给三维动画引擎,每秒更新60次,动画引擎返回所选择的与携带的运动类型对应的解剖学特征的渲染图由三维视图组件9031显示的输出,其中动画三维模型的运动与对象在第一个三维坐标空间中的运动同步。三维视图使用户能够看到锻炼中涉及哪些肌肉,并且可以旋转三维视图以查看解剖的三维动画模型的侧视图。
如本发明图11所示,示意性地说明了根据本发明特定方法的进一步的工艺流程。除非另有说明,否则图11中所示的逻辑实体是每个正在进行的过程,这些过程实时连续运行,或者较少受到所示过程套件中的其他过程的限制。
激光雷达摄像机视野中的人开始运动1100,即开始会话。会话类型1101可以是ARKit会话1101和/或捕捉视频会话1103。开始捕捉视频会话1103运行姿势/手势VISION请求1104,并提取VISION关节1105,产生二维骨骼数据1106。
启动ARKit会话1102运行身体追踪配置过程1107,该过程提取ARKit锚点,并产生三维骨骼数据Skeleton3D1109。
二维骨骼数据Skeleton2D和三维骨骼数据Skeleton3D组合成身体关节坐标数据1110。
主更新过程1111导致可视化、量角器、度量和视图的生成1112。主更新1111导致过程确定1113对象是否处于正确位置。如果对象没有处于正确的位置,则该过程将会话处于临界模式1114并显示1115对象的限制和错误,从而限制如上所述的视图和显示。
如果对象被确定处于正确的位置或姿势113,过程继续进行姿势测量1115并确定1116这些姿势测量是否可以在过程1116被验证为特定类型的运动。如果姿势测量与验证的运动不一致,然后该过程将会话置于关键模式1114并显示限制和错误1115,这些限制和错误在主更新1111中显示。
如果运动被验证,过程确定1117是否已经创建评估会话,并且如果没有创建过评估会话,则在过程1118该系统创建评估会话,其提示主更新过程1111。
如果已经创建了评估会话,则评估会话已经存在,并且过程在过程1119监测是否检测到任何过度补偿。如果在会话期间的任何时间检测到过度补偿,则过程1120禁止捕获最大运动参数。然而,只要未检测到过度补偿,装置就继续记录三维骨骼数据和视频,并且会话处于评估模式1121,其中在过程1122中捕获最大运动参数。所捕获的对象的最大运动参数被馈送到主更新1111中。
如果在过程1119没有检测到过度补偿,则可以在过程1123显示三维坐标并且可以在过程1124显示结果。
如果用户不希望显示三维数据,则可以在过程1124隐藏三维模型。如果用户选择显示三维数据,则在过程1126将三维模型可视化,并且三维可视化被驱动与过程1127中的动作捕捉同步。
如果用户在过程1124选择使结果可视化,则结果在过程1128中被可视化。
在过程1124中选择显示结果提供了在过程1129中重置评估会话的选项。如果用户选择重置评估会话,则在过程中进行重置,然后该过程继续确定如上所述的会话键入过程1101。如果用户没有激活重置评估,则在过程1111中继续创建主更新。
以下逻辑实体、过程、命令和询问存在于本发明图11的逻辑过程中:
显示三维视图?
隐藏三维模型
显示限制、错误
会话处于临界模式
不捕获最大值
否
ARKit会话
提取ARKit锚点
Skeleton3D
是
运行身体追踪配置
否
否
是
可视化三维模型
驱动与动作捕捉同步
位置是否正确?
该运动是否经过验证?
是否已经创建评估会话?
检测到过度补偿?
会话类型
主更新
进行姿势测量
开始运动
关节数据提供者
开始会话
身体关节坐标
否
否
是
显示结果?
运行姿势/手势VISION请求
否
可视化结果
重置会话
提取VISION关节
Skeleton2D
是
可视化UI,量角器,度量,视图
捕捉视频会话
否
创建评估会话
捕获最大值
会话处于评估模式
否
重置评估?
是
如本发明图12所示,示意性地说明了显示第一个坐标空间中存在的对象的二维屏幕图像,以及第一个坐标空间内多个三维点的二维视图,三维点显示为叠加在对象二维图像上的点。
在图12中,提供了多个三维点作为AR三维骨骼数据,这些数据在第一个坐标空间中追踪对象的近似骨骼/解剖学特征。当对象在第一个坐标空间中运动时,点流大致追踪对象的主要解剖特征的运动,包括四肢、脊椎。接收93个单独点的集合,每个点的三维坐标每秒更新60次。这些点包括数据类AR三维骨骼。
如本发明图13所示,示意性地说明了量角器显示器1300的一个示例,量角器显示器1300由量角器可视化模块9036使用虚拟量角器模块9023输出的数据生成。量角器显示器包括具有角度刻度的半圆。在三维坐标空间中,量角器包括一个半圆,其主中心轴与三维坐标空间的水平面重合。半圆一侧的直径在三维坐标空间中保持水平。虚拟量角器的刻度的方向遵循代表对象手臂的一组点,使得当对象在第一个坐标空间中摆动他们的手臂时,与半圆形量角器刻度重合的主平面在第二三维坐标空间中运动,使得量角器显示器的主平面保持与代表对象手臂的点线基本重合。
如本发明图14所示,示意性地说明了设备的用户界面上的对象的屏幕视图。对象的图像显示为二维视频图像。覆盖在二维图像上的是量角器图像1408和多个度量视图图像1402~1406。量角器图像是从虚拟量角器模块9023和量角器可视化模块9036输出的数据生成的。度量视图是从度量视图(速度计的)模块9024输出的数据生成的,并由度量视图可视化模块9035可视化。在所示的示例中,第一度量视图1401示出了具有带可运动标记图标的角度刻度的圆,该可运动标记根据解剖特征的运动角度(在这种情况下为肩部屈曲运动中的肩部角度)围绕圆形路径行进。圆形显示器被分为用户观看时的左半部分和用户在屏幕上观看时的右半部分,左半部分对应于对象面对摄像机和激光雷达设备的右肩,右半部分对应着对象面对设备的摄像机和激光雷达摄像机时的对象的左肩。当对象抬起右臂时,圆形活动范围显示屏的相应(左侧)会实时显示运动角度。圆形圆点图标表示右肩所采用的瞬时角度,圆形缎带表示对象在当前锻炼过程中肩部实现的最大角度运动范围。还有一个数字显示器显示当前肩部的瞬时屈曲角度。
第二度量显示器1402在圆形刻度盘类型上指示手臂倾斜的角度。第二度量显示视图包括围绕圆形显示器的中心点枢转的可旋转针,指针逆时针运动表示手臂在一个方向倾斜,顺时针运动表示手臂在另一个相反方向倾斜。
第三度量显示器1403包括具有可旋转针的圆形刻度盘显示器,该可旋转针可绕圆形显示器的中心点旋转以显示脊柱对准。指针垂直向上表示脊椎垂直对齐。如果针在用户看来向左侧倾斜,则这对应于对象脊柱向一侧倾斜的对准,并且如果针向相反的右侧倾斜,则对应于受检者脊柱向相反侧倾斜的对准。与垂直方向的倾斜角度以度为单位显示在圆形表盘显示器周边的刻度尺上。
第四度量显示器1404显示肩弯曲运动范围的数字目标,在这种情况下为170°。第五度量视图显示器1405显示当前实现的肩部屈曲运动角度范围,在本例中为155°。第六度量显示器1406给出了垂直Y轴上的肩部屈曲角度相对于水平X轴上的时间的图表报告。当对象运动他们的手臂时,图表会实时完成。
所有上述度量视图在度量视图生成模块9024中动态计算并且显示由度量视图可视化模块9035动态生成。
如本发明图15所示,示意性地说明了第一个示例,当过度补偿控制器9026生成过度补偿警报信号时被禁止的量角器显示。显示屏幕被禁止,使得先前在图13中显示的所有度量视图都被禁用且未显示,除了脊柱对齐显示1303,其显示对象的脊柱对于正在执行的肩部屈曲运动未对齐。量角器视图变为不同的颜色(最好是红色),并生成一条消息“保持脊柱挺直”并显示在屏幕上。此外,代表对象脊柱的一行点覆盖在对象的视频显示上,显示对象脊柱的大致位置。
如本发明图16所示,示意性地说明了第二个示例,当过度补偿控制器9026生成过度补偿警报信号时具有量角器显示的屏幕视图。与本发明图14中显示的度量视图相比,对象的肩部已经变得不对齐,导致过度补偿控制器9026检测到未对齐,导致除了肩对齐刻度盘显示之外的所有度量视图被禁止显示。未对准参数的相关度量显示,在这种情况下,生成并显示肩部对准显示,连同显示直立量角器1600和侧向量角器1601,在这种情况下,侧向量角器显示对象将他们的手臂向前运动到身体前方太远,这超出了正确锻炼肩部屈曲的允许参数。肩部对齐的值显示在肩部对齐的度量视图上,在这种情况下超出目标参数,并且横向量角器以指示超出目标参数条件的颜色突出显示,在本例中以红色突出显示。
如本发明图17所示,示意性地说明了屏幕视图,其包括显示对象的视频的主视图,主视图可视化模块9034生成,以及三维视图模块9031生成的数字生成的三维解剖视图。主视图视图占据屏幕的第一区域,三维视图占据屏幕的第二区域。三维视图是从现有技术系统外部生成的。WOLAR会话管理器模块9007将描述所需三维视图的数据发送到已知的三维视图生成器,包括描述以下内容的数据:正在进行的运动的类型;希望显示的个体解剖学特征,例如三维视图中所需的特定肌肉和骨骼;描述第二个三维坐标空间中每个解剖学特征的相对角度和相对方向的数据。已知的三维视图生成模块将渲染图像返回给WOLAR会话管理器,然后通过三维视图可视化模块显示,生成可见屏幕显示。当用户实时运动他们的手臂时,三维视图以每秒60帧的速度不断更新和刷新,以便三维视图提供的解剖学表示实时跟随对象的运动,采用相同或基本相同的方式解剖学特征的位置和角度作为主题。
如本发明图18所示,示意性地说明了由报告分析控制器模块9025生成的进度报告的一个示例,在该示例中是肩外展进度报告。进度报告包含三个图形显示,对应于:
·范围——解剖学特征在垂直轴(y轴)上相对于水平轴上的时间的运动角度范围的图形显示;
·肩部对齐——肩部对齐角度在垂直轴上的图形显示,与时间在水平轴上的关系;
·脊柱对齐——垂直轴上脊柱对齐角度的图形显示,水平轴上的时间。
对于每个图形显示,水平运动的直立光标追踪正在测量的参数的瞬时值并显示该参数的数值。还显示了由度量视图组件9035生成的其他度量,包括日期、时间、范围目标、最大范围、关节(被关节连接的肌肉或肌肉群)。
如本发明图19所示,示意性地示出了包含由报告分析控制器9025生成的数据的图形报告,图形报告的显示由评估报告可视化模块9032生成。该示例中的图形报告包括具有水平时间轴(x轴)和垂直运动角度轴(y轴)的二维图表。当对象实时进行锻炼时,身体部位(在本例中为对象的手臂)角度的单独测量值会在锻炼期间以周期性时间间隔绘制。报告分析控制器提供所有基本数据参数,评估报告可视化模块9032将数据插入预定报告格式,其示例如图19所示。可以应用一个子程序,用线将各个数据点连接起来,以创建折线图。或者,评估报告可视化模块可以具有其他预设报告格式,例如条形图格式。
可以在图形报告上可视化的附加数据包括:
·动作或练习的名称,例如“肩外展”;
·日期
·时间
·以度为单位的范围目标,是特定运动或锻炼的理想运动范围;
·最大范围——对象在会话期间实际达到的最大运动范围;
·关节——在运动过程中被关节连接的肌肉或肌肉群的名称,例如盂肱肌;
·初始范围——在锻炼过程中达到的初始运动范围;
·当前范围——在锻炼期间实现的当前运动范围。
改进和变化
在当前最佳模式实现中,会话不存储到数据库中,并且当会话结束时数据被删除。然而,在备选实施例中,WOLAR会话管理器可以与设备的通信端口连接,以将所有会话数据无线传输到远程数据存储设备或远程数据库,用于远程存储和后续处理。
在目前的最佳模式中,该装置被优化用于在平板类型的手持计算平台上使用。但是在一般情况下,本发明的具体方法可以在具有如本发明图8所示基本组件的任何硬件平台上执行,只要计算平台内的数据连接速度足够快并且具有足够高的带宽,各种如本发明图9所示的模块可以在分布式计算平台上实现。
在上面的具体实施例和方法中,示出了人类对象的示例,但是具体实施例和方法可以在兽医手术中使用,其中个体运动和锻炼类型的适当变化存储在医学数据库9020中。
优点
在上述具体实施例中,与现有技术中的各种测角仪相比,具有以下优点:
-通过当前呈现的实施例和方法,有效地存在用于进行运动范围测量的易于使用的即插即用系统;
-确定肢体或关节运动范围所需的所有测量均由单个设备进行;
-本发明公开的装置不必绑在、靠在或以其他方式附接到需要确定运动范围的人;
-本发明公开的设备可以由单个需要确定运动范围的用户使用;
-更方便的是,此处公开的设备可以由第二人操作,不必是有资质的医务人员;
-与需要更冗长的设置和初始参考过程的现有技术电子测角仪设备相比,使用本发明公开的设备只需最少的设置过程;
-由于最小的设置过程,对于确定如何使用本发明公开的特定实施例的用户来说,学习曲线简短,并且用户可以在很少或没有培训的情况下启动并运行以非常快速地使用这些实施例。
-本发明描述的过度补偿控制功能允许实施例确定锻炼或运动是否被正确执行。以前,在现有技术中,只有医生或物理治疗师才能确定对象是否正确地进行了运动或锻炼。锻炼的准确性。现有技术的电子测角仪不提供确定对象是否正确进行运动或锻炼的功能,并且不收集足够的信息来进行这样的评估;
-对于每种类型的锻炼或运动,可以使用各种视觉显示(例如图形显示、里程表类型显示和量角器显示)实时同时显示多个参数,从而实现易用性、增强的信息可用性,与现有技术的测角仪设备相比,增强了信息可视化;
-一般而言,动作捕捉作为一个技术概念已经为人所知多年,但通常需要一个带有追踪监视器和带有传感器的身体套装的工作室。此前,它还没有被应用在便携式手持设备中,用于测角仪测量,在一个单一的设备上测量人类或动物的运动参数,无需任何设置,也不需要用户具备任何专业知识。
Claims (42)
1.一种描述对象的解剖学特征的数据处理方法,其特征在于,
输入数据包括第一个三维坐标空间中的多个点坐标,多个点坐标代表对象的解剖学特征;
方法如下:
确定多个点坐标的一个或多个几何参数;
将确定的几何参数与存储在数据库中的各组预先确定的几何参数进行比较,每组预先确定的几何参数对应于存储在数据库中的各自预先存储的运动类型;以及
根据比较的结果,通过预存的运动类型识别多个点坐标的运动。
2.根据权利要求1所述的一种描述对象的解剖学特征的数据处理方法,其特征在于,包括将多个点坐标分为点组,每个点组代表离散的解剖学特征。
3.根据权利要求2所述的一种描述对象的解剖学特征的数据处理方法,其特征在于,包括确定各个点组之间的角度,每个点组代表解剖学特征。
4.根据权利要求2所述的一种描述对象的解剖学特征的数据处理方法,其特征在于,包括确定代表第一解剖学特征的第一点组与代表第二解剖学特征的第二点组之间的角度。
5.根据权利要求1或2所述的一种描述对象的解剖学特征的数据处理方法,其特征在于,确定多个点坐标的一个或多个几何参数的过程包括确定以下参数:
点坐标对之间的角度;
与一组点坐标重合的一条或多条线;
两组不同的点坐标之间的角度;
两组不同的点坐标之间的相对运动;
三维坐标空间内单个点的运动速度;
三维坐标空间中每组点坐标的运动速度;
各个组坐标之间的相对运动速度;
与点坐标组重合的线的方向;
各组点坐标在三维坐标空间中的方向;
各组点坐标在三维坐标空间中的旋转方向;
各组点坐标在三维坐标空间中的旋转速度;
三维坐标空间内单个点的平移运动;
三维坐标空间内各组点坐标的平移运动。
6.根据权利要求1~5中任一项所述的一种描述对象的解剖学特征的数据处理方法,其特征在于,包括通过将第一个坐标空间中的多个三维坐标变换为相应的第二个坐标空间中的多个点坐标来预处理输入数据。
7.根据权利要求1~6中任一项所述的一种描述对象的解剖学特征的数据处理方法,其特征在于,点坐标代表的解剖学特征包括:
对象的骨骼关节;
对象的单个肢体;
对象的单个肢体部分;
对象的单个骨头;
对象的单个骨头组合。
8.根据权利要求2或3所述的一种描述对象的解剖学特征的数据处理方法,其特征在于,包括生成实时量角器用于显示至少两组点坐标之间的角度。
9.根据权利要求1~8中任一项所述的一种描述对象的解剖学特征的数据处理方法,其特征在于,包括以下步骤:
通过比较代表解剖学特征的第一组三维坐标的方向与存储的用于解剖学特征的参考方向,来比较对象的姿势;以及
相对于参考方向,辨别该组三维坐标的方向是否超出预先确定的方向范围。
10.根据权利要求1~9中任一项所述的一种描述对象的解剖学特征的数据处理方法,其特征在于,还包括在三维坐标空间中捕获对象的视频图像;
生成一个量角器,该量角器随着对象的运动而实时运动;并且
将量角器覆盖在视频图像上。
11.一种确定对象的运动范围的方法,其特征在于,方法如下:
在第一个三维坐标空间中捕获对象的二维图像;
接收一组数据点,该组数据点表示第一个三维坐标空间中的多个点;
从多个点中识别单个点组,其中每个识别的点组对应于对象的解剖学特征;以及
将识别的点组中的各个点的相对位置与存储在参考数据库中的相对位置数据进行比较。
12.根据权利要求11所述的一种确定对象的运动范围的方法,其特征在于,参考数据库中的预存位置数据,每个都分别与对象的相应姿势或运动锻炼有关。
13.根据权利要求11所述的一种确定对象的运动范围的方法,其特征在于,参考数据库中的预存位置数据被安排为一组预先确定的配置文件,每个配置文件代表一种姿势或一种运动。
14.根据权利要求11所述的一种确定对象的运动范围的方法,其特征在于,数据库中的预存数据包括角度数据。
15.根据权利要求10~14中任一项所述的一种确定对象的运动范围的方法,其特征在于,包括将三维空间中识别的点组中的各个点的运动与作为记录存储在参考数据库中的参考运动数据进行比较。
16.根据权利要求11~15中任一项所述的一种确定对象的运动范围的方法,其特征在于,比较是指,将一组用来描述识别的点组的运动的参数与预定参数的相应参考组比较,预定参数如下:
·运动速度;
·运动方向;
·运动距离;
·运动角度;
·加速度;
·减速度。
17.根据权利要求11~16中任一项所述的一种确定对象的运动范围的方法,其特征在于,包括将识别的点组中的各个点的相对方向与存储在参考数据库中的预定方向进行比较。
18.根据权利要求11~17中任一项所述的一种确定对象的运动范围的方法,其特征在于,包括将表示第一个三维坐标空间中的点的多个数据点映射为对应于第二个三维坐标空间中的多个点的数据点。
19.根据权利要求11~18任一项所述的一种确定对象的运动范围的方法,其特征在于,还包括:
分析第一个识别的点组的运动;
分析第二个识别的点组的运动;
比较第一个和第二个识别的点组的运动以确定相对运动;以及
将第一个和第二个识别的点组之间的相对运动与多个预定的相对运动记录进行比较,每个记录对应于特定的运动或锻炼;以及
根据比较,从多个预定的运动类型中识别出其中一种。
20.根据权利要求11~19中任一项所述的一种确定对象的运动范围的方法,其特征在于,包括生成测量角度数据的量角器。
21.根据权利要求11~20任一项所述的一种确定对象的运动范围的方法,其特征在于,包括:
确定识别的点组的运动路径;以及
生成一个量角器,该量角器与识别的点组的运动路径相同。
22.根据权利要求21所述的一种确定对象的运动范围的方法,其特征在于,在三维坐标空间中量角器的主平面与代表解剖学特征的点组在三维空间中的运动轨迹所在平面一致。
23.根据权利要求21~22中任一项所述的一种确定对象的运动范围的方法,其特征在于,量角器包括三维坐标空间中的半圆形的弧。
24.根据权利要求21~23中任一项所述的一种确定对象的运动范围的方法,其特征在于,量角器的径向延伸的指向和代表解剖学特征的一点组的主方向一致。
25.根据权利要求11~24中任一项所述的一种确定对象的运动范围的方法,其特征在于,预定目标角度显示为带状或线状。
26.根据权利要求11~25任一项所述的一种确定对象的运动范围的方法,其特征在于,还包括:
输入描述在过程(3)中识别的外部解剖学特征相对应的内部解剖学特征的三维模型的数据;以及
生成内部解剖学特征的三维模型的渲染图像。
27.根据权利要求26所述的一种确定对象的运动范围的方法,其特征在于,还包括指定三维模型的方位角;以及
实时更新指定角度,相当于一点组的实时运动角度与对象的解剖学特征一致。
28.一种确定对象在第一坐标系中的正确姿势的方法,其特征在于,方法如下:
接收用于描述三维坐标空间中对应对象的一个或多个解剖学特征的多个点的点坐标数据流;
将点坐标数据与代表正确姿势的多个预定参考数据进行比较;
如果接收到的点坐标数据与参考数据的差异超过预定量,则生成警告消息,表示点坐标数据不在多个参考数据的预定限制内。
29.根据权利要求28所述的一种确定对象在第一坐标系中的正确姿势的方法,其特征在于,将点坐标数据与多个预定参考数据进行比较的过程包括:
识别点坐标数据中与对象的身体部位相对应的各组三维坐标点;
识别点坐标数据的各组三维坐标点之间的对应角度;
将点坐标数据的各组角度与参考数据的对应角度相匹配。
30.根据权利要求28所述的一种确定对象在第一坐标系中的正确姿势的方法,其特征在于,包括:
将通过一对三维坐标点的第一条线的方位角与存储在参考数据中的第二条线的方位角进行比较;以及
确定第一条线的方位角与第二条线的方位角是否相差一个预定角度范围之外的角度。
31.一种手持式便携式电子测角仪装置,其特征在于,包括:
用于捕获包括三维坐标空间中的多个点的激光雷达数据流的装置;
用于分析多个点的几何形状以确定多个点之间的角度的装置;
用于存储多个预先确定的记录的数据库,每个记录包含关于解剖学特征运动角度的信息;以及
用于将多个点之间的角度与数据库的预先确定的记录中的角度相匹配的装置。
32.根据权利要求31所述的一种手持式便携式电子测角仪装置,其特征在于,包括生成量角器的装置,用于表明多个点之间的确定的角度。
33.根据权利要求31或32所述的一种手持式便携式电子测角仪装置,其特征在于,包括生成电子测量仪器的装置,用于测量确定的角度。
34.根据权利要求31~33中任一项所述的一种手持式便携式电子测角仪装置,其特征在于,包括当确定的角度位于存储在数据库的预定记录中的预定角度范围之外时的检测装置。
35.根据权利要求31~34中任一项所述的一种手持式便携式电子测角仪装置,其特征在于,包括将角度数据发送到动画生成器的装置,用于生成在数据库的预定记录中被识别的结构的动画图像。
36.根据权利要求31~35中任一项所述的一种手持式便携式电子测角仪装置,其特征在于,还包括报告控制器,用于生成确定角度随着时间变化的视觉报告。
37.一种在手持式便携式电子测角仪装置中处理三维数据的方法,其特征在于,方法如下:
捕获包括三维坐标空间中的多个点的激光雷达数据流;
分析多个点的几何形状以确定多个点对之间的角度;
存储多个预先确定的记录,每个记录包含关于解剖学特征的预定运动角度或方向的信息;以及
将多个点对之间的确定角度与预先确定的记录中的预先确定的角度相匹配。
38.根据权利要求37所述的一种在手持式便携式电子测角仪装置中处理三维数据的方法,其特征在于,包括生成用于表明确定角度的量角器。
39.根据权利要求37或38所述的一种在手持式便携式电子测角仪装置中处理三维数据的方法,其特征在于,包括生成用于测量确定角度的电子测量仪器。
40.根据权利要求37~39中任一项所述的一种在手持式便携式电子测角仪装置中处理三维数据的方法,其特征在于,包括检测确定角度何时位于预定的角度范围之外。
41.根据权利要求37~40中任一项所述的一种在手持式便携式电子测角仪装置中处理三维数据的方法,其特征在于,包括生成在预定记录中被识别的结构的动画图像,动画图像有以确定角度配置的组件。
42.根据权利要求37~41中任一项所述的一种在手持式便携式电子测角仪装置中处理三维数据的方法,其特征在于,还包括生成确定角度随着时间变化的视觉报告。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB2017767.1A GB2602248A (en) | 2020-11-11 | 2020-11-11 | Motion assessment instrument |
GBGB2017767.1 | 2020-11-11 | ||
PCT/EP2020/083237 WO2022100872A1 (en) | 2020-11-11 | 2020-11-24 | Motion assessment instrument |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116490126A true CN116490126A (zh) | 2023-07-25 |
Family
ID=73598842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080107063.0A Pending CN116490126A (zh) | 2020-11-11 | 2020-11-24 | 运动评估仪 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4243686A1 (zh) |
CN (1) | CN116490126A (zh) |
GB (1) | GB2602248A (zh) |
WO (1) | WO2022100872A1 (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8755569B2 (en) * | 2009-05-29 | 2014-06-17 | University Of Central Florida Research Foundation, Inc. | Methods for recognizing pose and action of articulated objects with collection of planes in motion |
US8761437B2 (en) * | 2011-02-18 | 2014-06-24 | Microsoft Corporation | Motion recognition |
EP2691936A1 (en) * | 2011-03-29 | 2014-02-05 | Qualcomm Incorporated | Modular mobile connected pico projectors for a local multi-user collaboration |
US9448636B2 (en) * | 2012-04-18 | 2016-09-20 | Arb Labs Inc. | Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices |
PL406971A1 (pl) * | 2014-01-28 | 2015-08-03 | Politechnika Poznańska | Sposób analizy zachowania osób w inteligentnym systemie monitorowania oraz inteligentny system monitorowania |
US10162737B2 (en) * | 2014-02-20 | 2018-12-25 | Entit Software Llc | Emulating a user performing spatial gestures |
US11511156B2 (en) * | 2016-03-12 | 2022-11-29 | Arie Shavit | Training system and methods for designing, monitoring and providing feedback of training |
WO2018069981A1 (ja) * | 2016-10-11 | 2018-04-19 | 富士通株式会社 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
WO2019183733A1 (en) * | 2018-03-29 | 2019-10-03 | Matr Performance Inc. | Method and system for motion capture to enhance performance in an activity |
-
2020
- 2020-11-11 GB GB2017767.1A patent/GB2602248A/en active Pending
- 2020-11-24 EP EP20815748.7A patent/EP4243686A1/en active Pending
- 2020-11-24 CN CN202080107063.0A patent/CN116490126A/zh active Pending
- 2020-11-24 WO PCT/EP2020/083237 patent/WO2022100872A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
GB2602248A (en) | 2022-06-29 |
GB202017767D0 (en) | 2020-12-23 |
EP4243686A1 (en) | 2023-09-20 |
WO2022100872A1 (en) | 2022-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11717190B2 (en) | Systems and methods for evaluating body motion | |
RU2740259C2 (ru) | Позиционирование датчика ультразвуковой визуализации | |
US10646157B2 (en) | System and method for measuring body joint range of motion | |
US10881353B2 (en) | Machine-guided imaging techniques | |
CN109567865B (zh) | 一种面向非医护人员的智能超声诊断设备 | |
US9024976B2 (en) | Postural information system and method | |
US11832886B2 (en) | System and method using augmented reality with shape alignment for medical device placement | |
US20100228487A1 (en) | Postural information system and method | |
US20130324857A1 (en) | Automated system for workspace, range of motion and functional analysis | |
CN104274183A (zh) | 动作信息处理装置 | |
JP2005224452A (ja) | 姿勢診断設備及びそのプログラム | |
JP2021049208A (ja) | 運動評価システム | |
CN111710207B (zh) | 超声演示装置及系统 | |
JP2002000584A (ja) | 関節可動域検査訓練システム | |
US11694360B2 (en) | Calibrating 3D motion capture system for skeletal alignment using x-ray data | |
KR102301863B1 (ko) | 수술 대상체의 정합 확인방법, 그 장치 및 이를 포함하는 시스템 | |
US20200334998A1 (en) | Wearable image display device for surgery and surgery information real-time display system | |
CN116490126A (zh) | 运动评估仪 | |
WO2020160461A1 (en) | Dental imaging mixed reality system | |
CN113345069A (zh) | 三维人体模型的建模方法、装置、系统及存储介质 | |
Condell et al. | Finger movement measurements in arthritic patients using wearable sensor enabled gloves | |
WO2021149629A1 (ja) | 姿勢診断システム、姿勢診断方法及び姿勢診断用データセット | |
KR20140013662A (ko) | 캘리브레이션 장치 및 방법 | |
JP2021099666A (ja) | 学習モデルの生成方法 | |
CN111568469A (zh) | 用于显示超声图像的方法和设备以及计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |