CN114099234B - 一种用于辅助康复训练的智能化康复机器人数据处理方法及系统 - Google Patents
一种用于辅助康复训练的智能化康复机器人数据处理方法及系统 Download PDFInfo
- Publication number
- CN114099234B CN114099234B CN202111393336.5A CN202111393336A CN114099234B CN 114099234 B CN114099234 B CN 114099234B CN 202111393336 A CN202111393336 A CN 202111393336A CN 114099234 B CN114099234 B CN 114099234B
- Authority
- CN
- China
- Prior art keywords
- limb
- data
- image
- disorder
- rehabilitation training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 83
- 238000003672 processing method Methods 0.000 title abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000007405 data analysis Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000006399 behavior Effects 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000011084 recovery Methods 0.000 claims abstract description 9
- 238000005516 engineering process Methods 0.000 claims abstract description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 11
- 230000003542 behavioural effect Effects 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 10
- 210000000988 bone and bone Anatomy 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 230000036541 health Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000006378 damage Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 208000027418 Wounds and injury Diseases 0.000 claims description 2
- 208000014674 injury Diseases 0.000 claims description 2
- 238000004904 shortening Methods 0.000 abstract 1
- 210000003414 extremity Anatomy 0.000 description 76
- 208000035475 disorder Diseases 0.000 description 37
- 210000003205 muscle Anatomy 0.000 description 7
- 238000013499 data model Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 206010003694 Atrophy Diseases 0.000 description 1
- 208000016285 Movement disease Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000003090 exacerbative effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
- A61H1/02—Stretching or bending or torsioning apparatus for exercising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明提出了一种用于辅助康复训练的智能化康复机器人数据处理方法及系统，其中，所述方法具体包括：步骤1、获取有障碍人群的行为肢体数据；所述肢体数据包括：历史采集数据、当前状态下的形体数据；步骤2、对获取到的肢体数据进行预处理分析；步骤3、构建肢体数据分析模型，用于接收获取到的肢体数据；步骤4、利用所述肢体分析模型分析有障碍人群当前状态行为，并制定对应的个性化康复训练方案；步骤5、根据制定的康复训练方案辅助有障碍人群进行康复训练。本发明运用计算机图像和数据处理的技术对患者的相关数据进行分析，从而制定出最为贴切的治疗方案，有效缩短了有障碍人群的康复周期。
Description
技术领域
本发明涉及一种用于辅助康复训练的智能化康复机器人数据处理方法及系统，特别是智能化康复机器人数据处理技术领域。
背景技术
随着目前社会老龄化以及意外事故发生率的升高，社会上存在着很多拥有行动障碍的人群，例如老年人的步行障碍，以及一些手臂臀部肌肉群萎缩等导致身体无法正常的运动的患者。这些缺陷障碍很大程度的影响了患者的正常生活，并且需要家属或者雇佣医护人员进行康复治疗及照料，大大加剧了患者家庭的负担。据研究显示，80%以上的脑损伤导致身体运动功能障碍的患者在进行正确的康复训练后，运动能力都得到了很好的恢复。
现有技术中，传统的康复机构大多过于笨重且体积较大，只可保持康复者在一个规定好的运动状态下运动康复，这种固定模式的运动康复对于患者康复将会是缓慢且不一定适合的。
发明内容
发明目的：提出一种用于辅助康复训练的智能化康复机器人数据处理方法及系统，以解决现有技术存在的上述问题。
技术方案：第一方面，提出了一种用于辅助康复训练的智能化康复机器人数据处理方法，其特征在于，包括以下步骤：
步骤1、获取有障碍人群的行为肢体数据；所述肢体数据包括：历史采集数据、当前状态下的形体数据；所述肢体数据形式包括：图像数据、数字数据和文字描述数据；
步骤2、对获取到的肢体数据进行预处理分析；所述预处理分析包括：对所述图像数据进行图像简化、图像分割、图像灰度化、图像二值化和图像滤波处理；
步骤3、构建肢体数据分析模型，用于接收获取到的肢体数据；
步骤4、利用所述肢体分析模型分析有障碍人群当前状态行为，并制定对应的个性化康复训练方案；
步骤5、根据制定的康复训练方案辅助有障碍人群进行康复训练。
运用计算机图像和数据处理的技术对患者的相关数据进行分析，从而制定出最为贴切的治疗方案，可以有效缩短有障碍人群的康复周期。
在第一方面的一些可实现方式中，步骤1中在获取有障碍人群的行为肢体数据时，通过捕捉骨骼关键点的方式进行信号采集。在进行分析有障碍人群当前状态行为的过程中进一步包括：
步骤4.1、读取图像采集设备获取有障碍人群的肢体图像数据；
步骤4.2、所述肢体数据分析模型提取所述肢体图像数据中图像特征，并获取关节点置信图和肢体关联字段；
步骤4.3、根据获取到的关节点置信图和肢体关联字段，利用二分匹配进行关联；
步骤4.4、在完成整体的关联后获取肢体图像数据中的姿态。
在第一方面的一些可实现方式中，所述肢体数据分析模型进一步包括姿态判断模型，所述姿态判断模型用于预测有障碍人群的姿态；
进一步的，所述姿态判断模型包括：用于获取关节点置信图和肢体关联字段的网络结构，两个网络结构作为上下两个分支同时对肢体图像数据进行分析处理，一支用于预测关节点置信图，即获取关节点的所在位置；另一支用于获取肢体关联字段，即关节点的所在位置之间的关联度；通过结合关节点的所在位置和关节点的所在位置之间的关联度，可以连线形成肢体图像数据中有障碍人物的姿态。
在第一方面的一些可实现方式中，为了提高姿态判断模型的性能，采用损失函数进行学习监督，并划分至少一个肢体图像数据分析处理阶段；
进一步的，每个阶段均包括预测关节点置信图和肢体关联字段上下两个分支，在预测关节点置信图的支路上，采用的损失函数表达式为：
式中，表示二元掩膜，/>表示第t阶段的预测关节点置信图；/>表示实际的关节点置信图；J表示关键点的数量；
在获取肢体关联字段的支路上，采用的损失函数为：
式中，表示二元掩膜，/>表示第t阶段预测的肢体关联字段；/>表示实际的肢体关联字段；C表示肢体的数量；
最终总的损失函数表达式为：
式中，T表示总的肢体图像数据分析处理阶段。
在第一方面的一些可实现方式中，步骤4中利用所述肢体分析模型分析有障碍人群当前状态行为姿态时，针对采集到的图像数据，根据目标检测的结果，利用混合高斯背景模型对图像中的运动目标进行提取，并结合预设大小的外接矩形宽高比实现对有障碍人群姿态的识别。
利用所述混合高斯背景模型进行图像数据处理时，在处理的图像数据为彩色图像的情况下，混合高斯背景模型的处理方式为，首先假定图像像素点R、G、B三色通道彼此独立并且具有相同的方差；其次，对于随机变量x的观察数据集，其中/>表示在t时刻像素的样本，用混合高斯模型为其建模。
在第一方面的一些可实现方式中，辅助有障碍人群进行康复训练的过程中，通过在智能化康复机器人的控制器中嵌入语音互动模块，实现患者与智能化康复机器人的语音互动，从而完成在可调控范围内，改变智能化康复机器人的操作幅度；
进一步的，通过上位机和下位机的整合，实现智能化康复机器人与有障碍人群的视听触觉接触以及言语交流；通过语音识别、自然语义处理及语音合成等技术实现语音对话，以及康复指导。
在第一方面的一些可实现方式中，步骤5根据制定的康复训练方案辅助有障碍人群进行康复训练的过程中，还包括根据实际训练数据进行康复训练方案的更新。
进一步的，所述肢体分析模型在康复训练的过程中，通过对应的信息采集传感器获取有障碍人群相应的实时肢体数据，并根据采集到的肢体数据与标准目标数据进行对比，获得偏差值，进而计算产生恢复速率曲线，并根据曲线随时调整辅助恢复计划，实时更新康复训练方案。通过实时更新康复训练方案的方式，可以根据有障碍人群的实时状态进行康复训练的方案调整，从而获取更为精准的康复方案，缩短康复训练的周期，提高康复训练的效率。
第二方面，提出一种用于辅助康复训练的智能化康复机器人数据处理系统，该系统具体包括：
用于获取有障碍人群的行为肢体数据的第一模块；
用于预处理行为肢体数据的第二模块；
用于构建肢体数据分析模型的第三模块；
用于制定个性化康复训练方案的第四模块；
用于实现辅助训练的第五模块；
用于更新个性化康复训练方案的第六模块。
在第二方面的一些可实现方式中，首先，所述第一模块通过读取数据库中存储的数据，获取有障碍人群的行为肢体数据；其次，所述第二模块接收第一模块获取到的肢体数据，并对其中的图像数据进行预处理分析，其中预处理方式进一步包括对所述图像数据进行图像简化、图像分割、图像灰度化、图像二值化和图像滤波处理；再次，将处理完成的图像数据传输至所述第三模块构建的肢体数据分析模型中；从次，所述第四模块利用所述肢体分析模型分析有障碍人群当前状态行为，并制定对应的个性化康复训练方案；最后，所述第五模块根据第四模块制定的康复训练方案辅助有障碍人群进行康复训练。
在第二方面的一些可实现方式中，在进行康复训练的过程中，为了更好的贴合有障碍人群的康复进度，所述第六模块根据实时采集到的训练数据，对个性化康复训练方案进行更新，从而更匹配当前患者的训练程度。
有益效果：本发明提出了一种用于辅助康复训练的智能化康复机器人数据处理方法及系统，一方面，通过对患者的病情分析以及之前健康运动模式计算，结合大数据运动模式分析，获取患者相应时间内的健康数据，从而辅助康复方案的制定；另一方面，通过精密灵活的机械结构帮助患者进行适合自身的康复训练，并且可以监控患者恢复进度适当调整康复结构对于患者运动的干预比率，有效减少行动障碍对于患者的影响，加快患者的恢复效率。
附图说明
图1为本发明实施例的数据处理流程图。
图2为本发明实施例的简化的骨骼或者肌肉的示意图其一。
图3为本发明实施例的简化的骨骼或者肌肉的示意图其二。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
实施例一
为了更好的辅助有障碍人群的康复训练，本实施例提出一种用于辅助康复训练的智能化康复机器人数据处理方法，运用计算机图像和数据处理的技术对患者的相关数据进行分析，从而制定出最为贴切的治疗方案，缩短有障碍人群的康复周期。如图1所示，该方法具体包括以下步骤：
步骤1、获取有障碍人群的行为肢体数据；所述肢体数据包括：历史采集数据、当前状态下的形体数据；所述肢体数据形式包括：图像数据、数字数据和文字描述数据；
步骤2、对获取到的肢体数据进行预处理分析；所述预处理分析包括：对所述图像数据进行图像简化、图像分割、图像灰度化、图像二值化和图像滤波处理；
步骤3、构建肢体数据分析模型，用于接收获取到的肢体数据；
步骤4、利用所述肢体分析模型分析有障碍人群当前状态行为，并制定对应的个性化康复训练方案；
步骤5、根据制定的康复训练方案辅助有障碍人群进行康复训练。
在进一步的实施例中，为了更好的提高有障碍人群的康复训练效率，所述肢体分析模型在康复训练的过程中，实时通过对应的信息采集传感器获取有障碍人群相应的肢体数据，并根据采集到的肢体数据与标准目标数据进行对比从而获得偏差值，进而计算产生恢复速率曲线。根据曲线随时调整辅助恢复计划进行康复训练方案的实时更新。
康复训练的过程中，智能化康复机器人利用大数据处理技术，结合采集到的图像数据对运动数据进行运动关节肌肉仿真轨迹识别分析，从而构建健康体态下各个骨骼，根据捕捉康复患者的运动模式以及分割分析，获得属于患者自身最适应的运动模式，并通过多轴机械臂、连杆等成熟优秀灵活的机械结构在患者康复的不同阶段为患者提供不同的辅助力，从而有助于从0到1的帮助患者康复。
本实施例通过实时更新康复训练方案的方式，可以根据有障碍人群的实时状态进行康复训练的方案调整，从而获取更为精准的康复方案，缩短康复训练的周期，提高康复训练的效率。
实施例二
在实施例一基础上的进一步实施例中，在获取有障碍人群的行为肢体数据时，通过捕捉骨骼关键点的方式进行信号采集。具体的，首先通过图像采集设备获取有障碍人群的肢体图像数据；其次，构建用于提取骨骼点关键信息的姿态判断模型，并接收所述肢体图像数据；再次，所述姿态判断模型提取所述肢体图像数据中图像特征，并获取关节点置信图和肢体关联字段；从次，根据获取到的关节点置信图和肢体关联字段，利用二分匹配进行关联；最后，获取肢体图像数据中的姿态。
在进一步的实施例中，姿态判断模型包括用于获取关节点置信图和肢体关联字段的网络结构，两个网络结构作为上下两个分支同时对肢体图像数据进行分析处理，一支用于预测关节点置信图，即获取关节点的所在位置，例如手肘关节点、膝盖关节点之列的节点所在位置；另一支用于获取肢体关联字段，即关节点的所在位置之间的关联度。通过结合关节点的所在位置和关节点的所在位置之间的关联度，可以连线形成肢体图像数据中有障碍人物的姿态。
在进一步的实施例中，为了提高姿态判断模型的性能，采用损失函数进行学习监督，并划分至少一个肢体图像数据分析处理阶段。其中，每个阶段均包括预测关节点置信图和肢体关联字段上下两个分支。具体的，在预测关节点置信图的支路上，采用的损失函数表达式为：
式中，表示二元掩膜，/>表示第t阶段的预测关节点置信图；/>表示实际的关节点置信图；J表示关键点的数量；
在获取肢体关联字段的支路上，采用的损失函数为：
式中，表示二元掩膜，/>表示第t阶段预测的肢体关联字段；/>表示实际的肢体关联字段；C表示肢体的数量；
最终总的损失函数表达式为：
式中，T表示总的肢体图像数据分析处理阶段。
在进一步的实施例中，在人体姿态识别方面，系统通过信息采集设备采集视频图像，针对目标检测的结果，利用混合高斯背景模型对图像中的运动目标进行提取，进而通过最小外接矩形宽高比实现对有障碍人群姿态的识别功能。
在进一步的实施例中，当处理的图像数据为彩色图像时，混合高斯背景模型的处理方式为，首先假定图像像素点R、G、B三色通道彼此独立并且具有相同的方差。其次，对于随机变量x的观察数据集，其中/>表示在t时刻像素的样本，用混合高斯模型为其建模，定义当前观测点像素值的概率为：
式中，k表示高斯模型的数量；表示t时刻第i个高斯分布；/>表示均值；/>表示t时刻第i个高斯分布的权重。
其中，的表达式为：
式中，表示协方差矩阵，表达式为：
式中，表示t时刻第i个高斯分布；I表示三位单元矩阵。
其中，在构建的混合高斯背景模型中，视频图像彼此之间的颜色信息被设定为不相关的，并且每个像素点均通过彼此独立的方式进行数据处理。对于视频图像中的各个像素点，其值的变化在序列图像中可以看作是连续生成像素值的随机过程，也就是说高斯分布能够用于描述每个像素点的颜色规律。对于多峰高斯分布模型，通过叠加具有不同权重的多个高斯分布来给图像的每个像素建模。每个高斯分布对应一个可能产生图像上各个像素点所呈现颜色的状态。而高斯分布的权重和分布参数则随每一帧图像的获取进行实时更新。
本实施例将获取到的有障碍人群的行为肢体数据转为如图2和图3所示简化的骨骼或者肌肉的“火柴人”运动变化图片，将人体以骨架的方式来进行描述，不仅有利于计算机的分析，同时还可以用于预测有障碍人群在受伤害之前的正常运动姿态，从而有效的获取个人运动姿态数据，有利于个人个性化康复方案定制。图像捕捉模式有效的降低了个性化定制的门槛，相较于设备方案，降低了捕捉的门槛，增大了数据基数，得到更加大众化，普适化的数据模型。另外，本实施例还通过采用关节点置信图和肢体关联字段结合的方式，利用相关联坐标点的组合，实现对行为姿态的预测描述，克服了现有技术中由于遮挡、以及图像中不止一个人等原因，导致姿态识别不准确现象的出现。
实施例三
在实施例一基础上的进一步实施例中，为了更好的制定更为贴近有障碍人群康复训练的方案，肢体数据分析模型接收到的数据除了传感器实时获取到的姿态数据，还包括有障碍人群的基本信息，例如，身高、年龄、历史健康状况。
获取有障碍人群基本信息的途径包括：读取数据库中的患者就诊方案信息，以及实时捕捉的姿态信息。当就诊患者不是第一次进行诊疗时，肢体数据分析模型接收到的数据，还包括患者历史就诊时记录的治疗方案。
在进一步的实施例中，获取对于普适人类行为最佳最健康的运动姿态数据以及个人在健康状态下最适合的运动姿态数据，这些数据包括在一定的骨骼长度以及肌肉强度下，每个人在进行不同的运动模式下骨骼、肌肉运动状态。机器在获取到深度学习的结果后，将大数据下的数据模型和个人数据模型以一定比率相结合获得一个较为适合患者自身的模型，之后机器根据这个组合模型可以规划出特定的运动轨迹和运动速率，也可以保证康复患者不会运动至错误的路线，确保康复过程不会存在二次危害。另外，采用稳定且灵活的机械结构可以确保整个智能化康复机器人的鲁棒性，使机器人不止是为单一个体使用，实现有效通过数据模型将康复机器人适用于不同程度，不同情况的康复个体身上的目的。
本实施例通过结合有障碍人群的个性化数据特征，可以更好的制定出更贴近患者本身的个性化康复方案，缩短治疗周期。
实施例四
在实施例一基础上的进一步实施例中，在智能化康复机器人进行辅助治疗时，由于智能化康复机器人机械性的根据治疗方案执行指令操作，可能会导致的患者的体验感不适，即智能化康复机器人的力道或延展程度超过患者本身可承受范围，进一步在智能化康复机器人的控制器中嵌入语音互动模块，通过患者与智能化康复机器人的语音互动，可以在可调控范围内，改变智能化康复机器人的操作幅度，从而在康复辅助过程中，减少患者的不适感。另外，智能化康复机器人也可以在患者有要做出错误的运动行为的趋势时，通过语音模块提示患者，引起患者的注意，进而有效的阻止行为发生，避免病情的加重。
具体的，通过上位机和下位机的整合，实现智能化康复机器人与有障碍人群的视听触觉接触以及言语交流。通过语音识别、自然语义处理及语音合成等技术实现语音对话，以及康复指导。
实施例五
一种用于辅助康复训练的智能化康复机器人数据处理系统，用于实现实施例一中提出的一种用于辅助康复训练的智能化康复机器人数据处理方法，该系统具体包括：
用于获取有障碍人群的行为肢体数据的第一模块；
用于预处理行为肢体数据的第二模块；
用于构建肢体数据分析模型的第三模块；
用于制定个性化康复训练方案的第四模块；
用于实现辅助训练的第五模块；
用于更新个性化康复训练方案的第六模块。
在进一步的实施例中，首先，所述第一模块通过读取数据库中存储的数据，获取有障碍人群的行为肢体数据；其次，所述第二模块接收第一模块获取到的肢体数据，并对其中的图像数据进行预处理分析，其中预处理方式进一步包括对所述图像数据进行图像简化、图像分割、图像灰度化、图像二值化和图像滤波处理；再次，将处理完成的图像数据传输至所述第三模块构建的肢体数据分析模型中；从次，所述第四模块利用所述肢体分析模型分析有障碍人群当前状态行为，并制定对应的个性化康复训练方案；最后，所述第五模块根据第四模块制定的康复训练方案辅助有障碍人群进行康复训练。
在进一步的实施例中，在进行康复训练的过程中，为了更好的贴合有障碍人群的康复进度，所述第六模块根据实时采集到的训练数据，对个性化康复训练方案进行更新，从而更匹配当前患者的训练程度。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。
Claims (1)
1.一种用于辅助康复训练的智能化康复机器人数据处理系统，其特征在于，包括以下模块：
用于获取有障碍人群的行为肢体数据的第一模块；
用于预处理行为肢体数据的第二模块；
用于构建肢体数据分析模型的第三模块；
用于制定个性化康复训练方案的第四模块；
用于实现辅助训练的第五模块；
用于更新个性化康复训练方案的第六模块；
首先，所述第一模块通过读取数据库中存储的数据，获取有障碍人群的行为肢体数据；其次，所述第二模块接收第一模块获取到的肢体数据，并对其中的图像数据进行预处理分析，其中预处理方式进一步包括对所述图像数据进行图像简化、图像分割、图像灰度化、图像二值化和图像滤波处理；再次，将处理完成的图像数据传输至所述第三模块构建的肢体数据分析模型中；从次，所述第四模块利用所述肢体数据分析模型分析有障碍人群当前状态行为，并制定对应的个性化康复训练方案；最后，所述第五模块根据第四模块制定的康复训练方案辅助有障碍人群进行康复训练；
在进行康复训练的过程中，所述第六模块根据实时采集到的训练数据，对个性化康复训练方案进行更新；
利用数据处理系统执行数据处理的过程包括以下步骤：
步骤1、通过捕捉骨骼关键点的方式进行信号采集，利用信息传感器获取有障碍人群的行为肢体数据；所述肢体数据包括：历史采集数据、当前状态下的形体数据；所述肢体数据形式包括：图像数据、数字数据和文字描述数据；
步骤2、对获取到的肢体数据进行预处理分析；所述预处理分析包括：对所述图像数据进行图像简化、图像分割、图像灰度化、图像二值化和图像滤波处理；
步骤3、构建肢体数据分析模型，用于接收获取到的肢体数据；所述肢体数据分析模型进一步包括姿态判断模型，所述姿态判断模型用于预测有障碍人群的姿态；
进一步的，所述姿态判断模型包括：用于获取关节点置信图和肢体关联字段的网络结构，两个网络结构作为上下两个分支同时对肢体图像数据进行分析处理，一支用于预测关节点置信图，即获取关节点的所在位置；另一支用于获取肢体关联字段，即关节点的所在位置之间的关联度；通过结合关节点的所在位置和关节点的所在位置之间的关联度，可以连线形成肢体图像数据中有障碍人物的姿态；
步骤4、利用所述肢体数据分析模型分析有障碍人群当前状态行为，并制定对应的个性化康复训练方案；步骤4中利用所述肢体数据分析模型分析有障碍人群当前状态行为姿态时，针对采集到的图像数据，根据目标检测的结果，利用混合高斯背景模型对图像中的运动目标进行提取，并结合预设大小的外接矩形宽高比实现对有障碍人群姿态的识别，其中，获取有障碍人群当前状态行为的过程包括以下步骤：
步骤4.1、读取图像采集设备获取有障碍人群的肢体图像数据；
步骤4.2、所述肢体数据分析模型提取所述肢体图像数据中图像特征，并获取关节点置信图和肢体关联字段；
步骤4.3、根据获取到的关节点置信图和肢体关联字段，利用二分匹配进行关联；
步骤4.4、在完成整体的关联后获取肢体图像数据中的姿态；
所述肢体数据分析模型还可以用于预测有障碍人群在受伤害之前的正常运动姿态，获取个人运动姿态数据，辅助个性化康复方案定制；
其中，利用所述混合高斯背景模型进行图像数据处理时，在处理的图像数据为彩色图像的情况下，混合高斯背景模型的处理方式为，首先假定图像像素点R、G、B三色通道彼此独立并且具有相同的方差；其次，对于随机变量x的观察数据集，其中表示在t时刻像素的样本，用混合高斯模型为其建模；
定义当前观测点像素值的概率为：
，
式中，k表示高斯模型的数量；表示t时刻第i个高斯分布；/>表示均值；表示t时刻第i个高斯分布的权重；
其中，的表达式为：
，
式中，表示协方差矩阵，表达式为：
，
式中，表示t时刻第i个高斯分布；I表示三位单元矩阵；在构建的混合高斯背景模型中，视频图像彼此之间的颜色信息被设定为不相关的，并且每个像素点均通过彼此独立的方式进行数据处理；
步骤5、根据制定的康复训练方案辅助有障碍人群进行康复训练；
生成康复方案训练的过程中，除了基于获取到的肢体图像数据，还包括有障碍人群的基本信息；所述基本信息包含：身高、年龄、历史健康数据；
针对生成的康复训练方案，还包括根据实际训练数据进行康复训练方案的更新；
进一步的，所述肢体数据分析模型在康复训练的过程中，通过对应的信息采集传感器获取有障碍人群相应的实时肢体数据，并根据采集到的肢体数据与标准目标数据进行对比，获得偏差值，进而计算产生恢复速率曲线，并根据曲线随时调整辅助恢复计划，实时更新康复训练方案；
采用损失函数进行学习监督，并划分至少一个肢体图像数据分析处理阶段；
进一步的，每个阶段均包括预测关节点置信图和肢体关联字段上下两个分支，在预测关节点置信图的支路上，采用的损失函数表达式为：
，
式中，表示二元掩膜，/>表示第t阶段的预测关节点置信图；/>表示实际的关节点置信图；J表示关键点的数量；
在获取肢体关联字段的支路上，采用的损失函数为：
，
式中，表示二元掩膜，/>表示第t阶段预测的肢体关联字段；/>表示实际的肢体关联字段；C表示肢体的数量；
最终总的损失函数表达式为：
，
式中，T表示总的肢体图像数据分析处理阶段；
辅助有障碍人群进行康复训练的过程中，通过在智能化康复机器人的控制器中嵌入语音互动模块，实现患者与智能化康复机器人的语音互动，完成在可调控范围内，改变智能化康复机器人的操作幅度；
进一步的，通过上位机和下位机的整合，实现智能化康复机器人与有障碍人群的视听触觉接触以及言语交流；通过语音识别、自然语义处理及语音合成技术实现语音对话，以及康复指导。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111393336.5A CN114099234B (zh) | 2021-11-23 | 2021-11-23 | 一种用于辅助康复训练的智能化康复机器人数据处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111393336.5A CN114099234B (zh) | 2021-11-23 | 2021-11-23 | 一种用于辅助康复训练的智能化康复机器人数据处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114099234A CN114099234A (zh) | 2022-03-01 |
| CN114099234B true CN114099234B (zh) | 2023-08-22 |
Family
ID=80439776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111393336.5A Active CN114099234B (zh) | 2021-11-23 | 2021-11-23 | 一种用于辅助康复训练的智能化康复机器人数据处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114099234B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114420251B (zh) * | 2022-03-30 | 2022-06-21 | 南京麦澜德医疗科技股份有限公司 | 适配于超声波子宫复旧仪的康复数据传输系统及方法 |
| CN116259401B (zh) * | 2023-01-17 | 2023-10-27 | 重庆电子工程职业学院 | 一种康复机器人性能分析方法 |
| CN116585143B (zh) * | 2023-04-10 | 2024-02-23 | 深圳市景创科技电子股份有限公司 | 残障康复训练的控制方法、装置、康复训练设备及介质 |
| CN117409930B (zh) * | 2023-12-13 | 2024-02-13 | 江西为易科技有限公司 | 基于ai技术实现的医疗康复数据处理方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469425A (zh) * | 2015-11-24 | 2016-04-06 | 上海君是信息科技有限公司 | 一种视频浓缩方法 |
| CN110464357A (zh) * | 2019-08-13 | 2019-11-19 | 马佳鑫 | 一种康复过程质量监测方法及系统 |
| CN111345823A (zh) * | 2018-12-24 | 2020-06-30 | 中国移动通信有限公司研究院 | 一种远程运动康复方法、装置和计算机可读存储介质 |
| JP2021049319A (ja) * | 2019-09-20 | 2021-04-01 | パナソニックＩｐマネジメント株式会社 | リハビリ動作評価方法及びリハビリ動作評価装置 |
| CN112861624A (zh) * | 2021-01-05 | 2021-05-28 | 哈尔滨工业大学（威海） | 一种人体姿态检测方法、系统、存储介质、设备及终端 |
| CN113100755A (zh) * | 2021-03-26 | 2021-07-13 | 河北工业大学 | 一种基于视觉追踪控制的肢体康复训练与评估系统 |
| CN113229807A (zh) * | 2021-05-17 | 2021-08-10 | 四川大学华西医院 | 人体康复评估装置、方法、电子设备及存储介质 |
| CN113476036A (zh) * | 2021-06-07 | 2021-10-08 | 湖北经济学院 | 基于姿势识别的复健效果测评方法 |
| CN113647939A (zh) * | 2021-08-26 | 2021-11-16 | 复旦大学 | 一种针对脊柱退行性疾病的人工智能康复评估与训练系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210087680A (ko) * | 2020-01-03 | 2021-07-13 | 네이버 주식회사 | 입력 영상에 포함된 객체의 3차원 포즈를 추정하기 위한 데이터를 생성하는 방법 및 장치와 3차원 포즈 추정을 위한 추론 모델 |
-
2021
- 2021-11-23 CN CN202111393336.5A patent/CN114099234B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469425A (zh) * | 2015-11-24 | 2016-04-06 | 上海君是信息科技有限公司 | 一种视频浓缩方法 |
| CN111345823A (zh) * | 2018-12-24 | 2020-06-30 | 中国移动通信有限公司研究院 | 一种远程运动康复方法、装置和计算机可读存储介质 |
| CN110464357A (zh) * | 2019-08-13 | 2019-11-19 | 马佳鑫 | 一种康复过程质量监测方法及系统 |
| JP2021049319A (ja) * | 2019-09-20 | 2021-04-01 | パナソニックＩｐマネジメント株式会社 | リハビリ動作評価方法及びリハビリ動作評価装置 |
| CN112861624A (zh) * | 2021-01-05 | 2021-05-28 | 哈尔滨工业大学（威海） | 一种人体姿态检测方法、系统、存储介质、设备及终端 |
| CN113100755A (zh) * | 2021-03-26 | 2021-07-13 | 河北工业大学 | 一种基于视觉追踪控制的肢体康复训练与评估系统 |
| CN113229807A (zh) * | 2021-05-17 | 2021-08-10 | 四川大学华西医院 | 人体康复评估装置、方法、电子设备及存储介质 |
| CN113476036A (zh) * | 2021-06-07 | 2021-10-08 | 湖北经济学院 | 基于姿势识别的复健效果测评方法 |
| CN113647939A (zh) * | 2021-08-26 | 2021-11-16 | 复旦大学 | 一种针对脊柱退行性疾病的人工智能康复评估与训练系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于人体骨骼点检测与多层感知机的人体姿态识别;段俊臣;梁美祥;王瑞;;电子测量技术(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114099234A (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114099234B (zh) | 一种用于辅助康复训练的智能化康复机器人数据处理方法及系统 | |
| CN111631923A (zh) | 基于意图识别的外骨骼机器人的神经网络控制系统 | |
| CN110339024A (zh) | 下肢外骨骼机器人及其实时步态切换方法及存储装置 | |
| Zhu et al. | An attention-based CNN-LSTM model with limb synergy for joint angles prediction | |
| CN112101235B (zh) | 一种基于老年人行为特征的老年人行为识别检测方法 | |
| CN114373530A (zh) | 一种肢体康复训练系统及方法 | |
| CN115661856A (zh) | 一种基于Lite-HRNet的自定义康复训练监测与评估方法 | |
| Chakravarty et al. | Analysis of muscle activation in lower extremity for static balance | |
| CN110400618A (zh) | 一种基于人体运动结构特征的三维步态生成方法 | |
| Izhar et al. | Gait cycle prediction model based on gait kinematic using machine learning technique for assistive rehabilitation device | |
| CN117493801A (zh) | 一种基于运动想象的康复脚踏车训练方法及系统 | |
| Lueken et al. | Using synthesized imu data to train a long-short term memory-based neural network for unobtrusive gait analysis with a sparse sensor setup | |
| CN114344093B (zh) | 一种基于深度强化学习的下肢康复机器人随动控制方法 | |
| CN115154828A (zh) | 一种基于脑机接口技术的大脑功能重塑方法、系统、设备 | |
| CN106598243B (zh) | 一种多模态自适应光标控制方法及系统 | |
| Ibrahim et al. | Fuzzy modelling of knee joint with genetic optimization | |
| Liang et al. | Deep-learning model for the prediction of lower-limb joint moments using single inertial measurement unit during different locomotive activities | |
| CN112085169B (zh) | 肢体外骨骼辅助康复脑-肌电融合感知的自主学习与进化方法 | |
| CN114669028A (zh) | 一种基于运动康复的协同训练机器人用交互系统及方法 | |
| Liu et al. | Lower limb motion recognition by integrating multi-modal features based on machine learning method | |
| Benenaula et al. | Classification of Gait Anomalies By Using Space-Time Parameters Obtained With Pose Estimation | |
| CN111161872A (zh) | 一种儿童健康智能管理系统 | |
| CN114642423B (zh) | 基于体验质量的下肢外骨骼机器人步态规划方法及系统 | |
| CN115985464B (zh) | 一种基于多模态数据融合的肌肉疲劳度分类方法及系统 | |
| CN114529972B (zh) | 一种肌萎缩侧索硬化患者自主呼叫处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |