CN114767464B - 一种基于单目视觉引导的多模式手部康复系统及方法 - Google Patents

一种基于单目视觉引导的多模式手部康复系统及方法 Download PDF

Info

Publication number
CN114767464B
CN114767464B CN202210316249.8A CN202210316249A CN114767464B CN 114767464 B CN114767464 B CN 114767464B CN 202210316249 A CN202210316249 A CN 202210316249A CN 114767464 B CN114767464 B CN 114767464B
Authority
CN
China
Prior art keywords
hand
rehabilitation
motion
pneumatic
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210316249.8A
Other languages
English (en)
Other versions
CN114767464A (zh
Inventor
丁其川
车鸿博
陈浩
方俊杰
郭康康
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Priority to CN202210316249.8A priority Critical patent/CN114767464B/zh
Publication of CN114767464A publication Critical patent/CN114767464A/zh
Application granted granted Critical
Publication of CN114767464B publication Critical patent/CN114767464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A61H1/0285—Hand
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/12—Driving means
    • A61H2201/1207—Driving means with electric or magnetic drive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/14—Special force transmission means, i.e. between the driving means and the interface with the user
    • A61H2201/1409—Hydraulic or pneumatic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1635—Hand or arm, e.g. handle
    • A61H2201/1638—Holding means therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5043—Displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5069—Angle sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2205/00—Devices for specific parts of the body
    • A61H2205/06—Arms
    • A61H2205/065—Hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/62—Posture
    • A61H2230/625—Posture used as a control parameter for the apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0022—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/62—Posture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明公开一种基于单目视觉引导的多模式手部康复系统及方法，系统包括手部三维姿态数据采集系统、主控制器、气动康复手套和基于视觉反馈刺激的运动神经重建系统；系统利用单目摄像头获取健侧手部关键点三维坐标，识别健侧手运动模式，实现气动康复手套的引导控制。系统提供主动辅助、镜像模仿与双侧协作三种模式，其中镜像模仿是康复手套带动患者手模仿健侧手的运动，双侧协作是系统依据健侧手运动，利用离线构建的协作模型，在线生成对侧手应执行的交互协作运动状态。同时利用虚拟手模型，在屏幕上实时显示双手运动过程，通过对患者的感官刺激实现运动神经通路重建，解决了现有康复训练中，康复模式单一，患者参与度低，康复效率差等问题。

Description

一种基于单目视觉引导的多模式手部康复系统及方法
技术领域
本发明涉及康复训练机器人技术领域，尤其涉及一种基于单目视觉引导的多模式手部康复系统及方法。
背景技术
手部运动样式繁多、灵活多变、精细度高，手部运动功能康复难度很大。目前临床上手功能康复主要依赖于医师对患者一对一的物理治疗，该方式耗时、耗力、成本高，大量患者常因无法及时获得有效的康复训练，而错失最佳治疗时期。机器人适于长时间、重复性工作，其与康复医学的结合为解决手部运动康复的难题提供了一条新途径。
近年来，研究者研发了多种手部运动康复系统，但多数系统是由内置的固定程式控制，仅能带动患者患侧手执行固定模式的运动，系统适应性差，患者参与度低。部分研究者面向偏瘫患者开发了可实现患者主动控制的康复系统，该类系统利用数据手套或光学传感器采集患者健侧手运动信息作为输入，控制康复系统带动患侧手执行与健侧手相同的运动。患者健侧手配套数据手套会影响其运动灵活性，且增加了操作负担与系统成本；而现有使用光学传感器的方式，或是需要特定设备，成本较高，或是系统布置较复杂；并且目前所有由患者主动控制的手部康复设备，仅能带动其患侧手模仿健侧手的运动，无法实现诸如折叠/展开纸张、打绳结、拧笔帽、单人猜拳等双侧配合运动，而这些运动有助于恢复患者双侧协调控制能力；更进一步，目前手部康复系统仅关注肢体/肌肉运动康复，未考虑运动神经通路重建，实际上，对于脑卒中导致的偏瘫患者，往往是运动神经通路中断导致运动功能受损，因此对运动神经通路重建更需要重视。
发明内容
针对上述现有技术的不足，本发明提供一种基于单目视觉引导的多模式手部康复系统及方法。
为解决上述技术问题，本发明所采取的技术方案是：一种基于单目视觉引导的多模式手部康复系统，系统包括手部三维姿态数据采集系统、主控制器和气动康复手套；
所述手部三维姿态数据采集系统包括单目摄像头和视频处理单元，所述单目摄像头用于采集健康侧手部运动的视频，并将视频传输给视频处理单元，所述视频处理单元对视频图像进行预处理；
所述主控制器包括嵌入式单板计算机和气动驱动单元；
所述嵌入式单板计算机中包含有姿态识别模型，所述姿态识别模型对预处理后的视频图像进行手部关键关节点的三维坐标估计，计算出各手指的运动角度，并将手指的运动角度转换成控制信号来控制气动驱动单元，驱动气动康复手套运动。
进一步的，所述对视频图像进行预处理包括对视频图像帧下采样和手部检测。
进一步的，所述气动驱动单元包括气泵、气动管路、控制气阀、电动机、五路分气阀以及气动控制程序；
所述气动控制程序控制所述电动机正反转运动，以及控制气阀和五路分气阀的通断，所述电动机通过传动轴与气泵相连，带动气泵进行运动；
所述气泵通过气动管路与控制气阀相连；所述控制气阀分为出气阀和进气阀，出气阀和进气阀的一端相联通，并与五路分气阀相连；所述五路分气阀通过排管与气动康复手套上的软管相连接。
进一步的，所述嵌入式单板计算机中还包含有模式选择模块，根据用户的需要从主动辅助、镜像模仿与双侧协作三种模式中选择一种模式进行训练。
进一步的，所述主控制器还包括电源开关和急停开关；
所述电源开关用来控制整个系统的通电与掉电；
所述急停开关在系统发生故障时，立刻停止正在运行的气动手套。
进一步的，系统还包括基于视觉反馈刺激的运动神经重建系统；
所述基于视觉反馈刺激的运动神经重建系统包括显示器、嵌入在所述嵌入式单板计算机中的虚拟手模型和flex弯曲度数据采集单元；
所述虚拟手模型根据姿态识别模型获取的健侧手运动数据，来使虚拟手模拟健侧手的运动，同时将健侧手的数据保存到嵌入式单板计算机中；
所述flex弯曲度数据采集单元采集气动手套反馈的角度信息，将气动手套反馈的角度信息与健侧手运动过程中的相应角度信息进行对比，得到患侧手的运动信息，通过虚拟手模型来模拟患侧手的运动；
所述显示器具有触控功能用于患者与系统进行交互和同步显示虚拟手模型模拟出来的健侧手的运动情况和患侧手的运动情况。
另一方面，本发明还提供一种采用上述基于单目视觉引导的多模式手部康复系统进行多模式手部康复训练的方法，具体包括如下步骤：
步骤1：将康复手套佩戴在患者患侧手上，打开显示器交互界面，选择训练模式；
进一步的，所述训练模式包括：主动辅助、镜像模仿与双侧协作三种；
所述主动辅助训练模式下，主控制器从系统记忆库中选择已存储的康复运动数据，控制康复手套带动患侧手执行重复运动；
所述镜像模仿训练模式下，患者的健侧手在单目摄像头前自由运动，摄像头将图像数据输送到控制系统中，控制气动康复手套带动患侧手模仿健侧手运动；同时，将健侧手与康复手套的运动数据传输给虚拟手模型，虚拟手模型完成同样的运动，患者观察显示器显示的虚拟手运动，通过视觉刺激产生双手自主运动的大脑神经刺激，促进运动神经通路重建；相应的运动数据自动保存到系统记忆库中，供主动辅助训练模式调用；
所述双侧协作训练模式下，系统通过离线学习协作动作，构建针对协作运动的MoGlow模型；在线阶段，系统通过单目摄像头捕获患者健侧手的运动，以健侧手运动数据为输入，调用MoGlow模型生成患侧手应执行的协调交互运动，作为控制期望，控制康复手套带动患侧手执行相应运动；同时，健侧手与康复手套的运动数据传输给虚拟手模型，虚拟手模型完成同样的运动，患者观察显示器显示的虚拟手运动，通过视觉刺激产生双手自主运动的大脑神经刺激，促进运动神经通路重建。
步骤2：将单目摄像头固定于合适位置，使其完全拍摄患者健侧手的运动；
步骤3：根据训练模式及自身状态，患者健侧手执行相应运动；同时单目摄像头拍摄运动过程，将视频传输到主控制器；
步骤4：嵌入式单板计算机调用姿态识别模型对手部三维姿态数据采集系统处理后的数据进行姿态识别估计，计算健侧手各手指的运动角度，将手指的运动角度转换成控制信号控制气动驱动单元，具体过程如下：
步骤4.1：嵌入式单板计算机中的姿态识别模型，应用Google的MediaPipeHandTracking模型，该模型对预处理的视频数据再进行视频图像帧下采样，然后利用手部特征检测器从全局图像中检测出手部位置，返回手部关键点的三维坐标数据；
进一步的，所述手部特征检测器的检测方法如下：
先利用MediaPipeHandTracking模型中的非极大值抑制算法检测出手掌所在位置，之后应用MediaPipeHandTracking模型中特征金字塔模型提取与手掌关联的手指信息，从而获得完整的手部特征；
将获得的完整手部特征数据输入MediaPipeHandTracking模型中的关键点检测模型，定位手部关键点，返回手部21个关键点的三维坐标数据，对关键点编号后构成数据集合{(xi,yi,zi)|i＝1,2,...,21}。
步骤4.2：利用关键点三维坐标数据计算关节向量：
Figure GDA0004232729710000031
其中，上标r表示右手，下标i,j是关键点编号，
Figure GDA0004232729710000032
是关键点i指向关键点j的关节向量；
步骤4.3：选择编号为4、8、12、16、20的关键点，计算这些关键点处的关节角度，作为5个手指的运动角度，计算如下：
Figure GDA0004232729710000041
其中，
Figure GDA0004232729710000045
为编号为4、8、12、16、20的右手关键点关节角度，/>
Figure GDA0004232729710000042
为右手上连接第j-1个关节点与第j个关节点的向量，/>
Figure GDA0004232729710000043
为右手上连接第j个关节点和第j+1个关节点的向量，其中，j为关节点编号；
步骤4.4：利用三阶多项式拟合，离线建立气体体积与弯曲角度的关系，如下：
β＝a0+a1V+a2V2+a3V3 (3)
其中，V是气管内气体体积，β是手套手指弯曲角度，ai是多项式系数，i＝0,1,2,3，通过最小二乘法求得；
步骤4.5：气管内气体体积由气泵提供，而气泵由直流电机带动，因此有：
V＝q·t (4)
q＝c·v (5)
其中，q为气体流量，c为比例系数，v为电机转速，正转充气时v为正值，反转放气时v为负值；t是气泵充/放气时间；
步骤4.6：气动手套手指上布置的flex传感器实时测量手指弯曲角度β，将测量的角度β作为反馈值传递给控制系统，计算与期望值即关键点关节角度
Figure GDA0004232729710000046
的角度偏差，根据角度偏差计算气管内气体体积偏差，从而设计PID控制器，实现对手指运动的闭环控制，公式如下：
Figure GDA0004232729710000044
其中，u(t)为t采样时刻的控制气体输出值，e(t)气管内气体体积偏差，KP为比例系数，T1为积分时间常数，TD为微分时间常数；
步骤4.7：根据气体输出值u(t)调整气动驱动单元的充/放气时间，实现对气动康复手套手指运动角度的精确控制；
当患侧手为左手时，气动康复手套手指运动角度的精确控制过程同步骤4.1至步骤4.7。
步骤5：康复手套上的气管道受到气动驱动单元的驱动开始运动，并带动患者患侧手进行康复训练；
步骤6：显示器上显示虚拟手模型，虚拟手模型复现患者双手运动过程，给患者提供视觉反馈刺激。
采用上述技术方案所产生的有益效果在于：
1.本发明提供的整个系统简洁轻便、成本低，方便患者居家使用。
2.本发明提供的系统中康复手采用气动的方式驱动，为一种柔性驱动，满足辅助康复安全性的要求。
3.本发明提供的系统与其他以固定运动模式为主的康复机器人不同，本发明以患者为中心，康复训练运动过程由患者主导，增强患者的参与度。
4.本发明提供的方法可以自定义动作模式，丰富了康复训练内容，打破传统固定运动模式的限制，并增强患者主观能动性。
5.本发明利用单目视觉实现非接触式运动捕获，操作简便，用户受限度低。
6.本发明利用镜像理论诱导刺激神经-运动通路重塑，加快患者康复。
7.本发明增加双侧协作训练模式，通过执行生活中常见的双侧协作运动，提升双手协调性，促进手部运动功能恢复及神经通路重建。
附图说明
图1为本发明实施例中基于单目视觉引导的多模式手部康复系统的作业示意图；
图2为本发明实施例中基于单目视觉引导的多模式手部康复系统的结构框图；
图3为本发明实施例中基于单目视觉引导的多模式手部康复系统的结构示意图；
图4为本发明实施例中基于单目视觉引导的多模式手部康复系统的信号控制示意图；
图5为本发明实施例中基于单目视觉引导的多模式手部康复系统的操作流程图；
图6为本发明实施例中手部三维姿态估计关键点示意图；
其中，1-软管；2-flex弯曲度传感器；3-气动管路；4-排管；5-五路分气阀；6-电动机；7-气泵；8-弹簧；9-控制气阀；10-气动康复手套。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例中基于单目视觉引导的多模式手部康复系统的具体作业情况如图1所示，图1中患者将康复手套佩戴到患侧手上，通过控制器选择康复训练模式，随后系统会根据相应的模式控制气动康复手套带动患侧手运动，同时患者可以观测面前的屏幕，屏幕中显示的虚拟手会执行同样的运动，通过视觉反馈，让患者产生双手自主运动的大脑神经刺激，刺激运动神经通路重建。
本实施例中，基于单目视觉引导的多模式手部康复系统的结构框图如图2所示，系统结构示意图如图3所示，系统包括手部三维姿态数据采集系统、主控制器和气动康复手套；
所述手部三维姿态数据采集系统包括单目摄像头和视频处理单元，所述单目摄像头用于采集健康侧手部运动的视频，并将视频传输给视频处理单元，所述视频处理单元对视频图像进行预处理；
所述主控制器包括嵌入式单板计算机和气动驱动单元；
所述嵌入式单板计算机中包含有姿态识别模型，所述姿态识别模型对预处理后的视频图像进行手部关键关节点的三维坐标估计，计算出各手指的运动角度，并将手指的运动角度转换成控制信号来控制气动驱动单元，驱动气动康复手套运动。
本实施例中，气动康复手套，包括S/M/X三种大小及L/R左右型号的康复手套，可根据患者患侧手状况选用，每只手套有5个手指套，每个手指套上面都附有带动手指弯曲/伸直的软管，以及用于测量手指运动角度的flex弯曲度传感器。
进一步的，所述对视频图像进行预处理包括对视频图像帧下采样和手部检测。
进一步的，所述气动驱动单元包括气泵7、气动管路3、控制气阀9、电动机6、五路分气阀5以及气动控制程序；
所述气动控制程序控制所述电动机6正反转运动，以及控制气阀9和五路分气阀5的通断，所述电动机6通过传动轴与气泵7相连，带动气泵7进行运动；
所述气泵7通过气动管路3与控制气阀9相连；所述控制气阀9分为出气阀和进气阀，出气阀和进气阀的一端相联通，并与五路分气阀5相连；所述五路分气阀5通过排管4与气动康复手套10上的软管1相连接。
进一步的，所述嵌入式单板计算机中还包含有模式选择模块，根据用户的需要从主动辅助、镜像模仿与双侧协作三种模式中选择一种模式进行训练。
进一步的，所述主控制器还包括电源开关和急停开关；
所述电源开关用来控制整个系统的通电与掉电；
所述急停开关在系统发生故障时，立刻停止正在运行的气动手套。
进一步的，系统还包括基于视觉反馈刺激的运动神经重建系统；
所述基于视觉反馈刺激的运动神经重建系统包括显示器、嵌入在所述嵌入式单板计算机中的虚拟手模型和flex弯曲度数据采集单元；
所述虚拟手模型根据姿态识别模型获取的健侧手运动数据，来使虚拟手模拟健侧手的运动，同时将健侧手的数据保存到嵌入式单板计算机中；
所述flex弯曲度数据采集单元采集气动手套反馈的角度信息，将气动手套反馈的角度信息与健侧手运动过程中的相应角度信息进行对比，得到患侧手的运动信息，通过虚拟手模型来模拟患侧手的运动；
所述显示器具有触控功能用于患者与系统进行交互和同步显示虚拟手模型模拟出来的健侧手的运动情况和患侧手的运动情况。本实施例中显示器通过HDMI与主控制器相连。
本实施例中，主控制器中的嵌入式单板计算机选用树莓派，单目摄像头选用RGB相机，虚拟手模型通过3D MAX软件来构建。本实施例中，系统信号控制的方向如图4所示，触摸屏与树莓派进行连接，接收用户发送的指令。摄像头与树莓派连接用来将用户的手部图像信息传输给树莓派进行处理，树莓派通过L298N来控制电机进行运动，向系统输入动力，通过控制继电器来开启相应的气阀使气体进入相应的手指，来实现气动康复手套进行运动，气动康复手运动时，flex弯曲度传感器将会产生反馈信号传输给树莓派，保证运动的精确性。
另一方面，本发明还提供一种采用上述基于单目视觉引导的多模式手部康复系统进行多模式手部康复训练的方法，具体包括如下步骤：
步骤1：将康复手套佩戴在患者患侧手上，打开显示器交互界面，选择训练模式；
进一步的，所述训练模式包括：主动辅助、镜像模仿与双侧协作三种；
所述主动辅助训练模式下，主控制器从系统记忆库中选择已存储的康复运动数据，控制康复手套带动患侧手执行重复运动；
所述镜像模仿训练模式下，患者的健侧手在单目摄像头前自由运动，摄像头将图像数据输送到控制系统中，控制气动康复手套带动患侧手模仿健侧手运动；同时，将健侧手与康复手套的运动数据传输给虚拟手模型，虚拟手模型完成同样的运动，患者观察显示器显示的虚拟手运动，通过视觉刺激产生双手自主运动的大脑神经刺激，促进运动神经通路重建；相应的运动数据自动保存到系统记忆库中，供主动辅助训练模式调用；
所述双侧协作训练模式下，系统通过离线学习协作动作，构建针对协作运动的MoGlow模型；在线阶段，系统通过单目摄像头捕获患者健侧手的运动，以健侧手运动数据为输入，调用MoGlow模型生成患侧手应执行的协调交互运动，作为控制期望，控制康复手套带动患侧手执行相应运动；同时，健侧手与康复手套的运动数据传输给虚拟手模型，虚拟手模型完成同样的运动，患者观察显示器显示的虚拟手运动，通过视觉刺激产生双手自主运动的大脑神经刺激，促进运动神经通路重建。
步骤2：将单目摄像头固定于合适位置，使其完全拍摄患者健侧手的运动；
步骤3：根据训练模式及自身状态，患者健侧手执行相应运动；同时单目摄像头拍摄运动过程，将视频传输到主控制器；
步骤4：嵌入式单板计算机调用姿态识别模型对手部三维姿态数据采集系统处理后的数据进行姿态识别估计，计算健侧手各手指的运动角度，将手指的运动角度转换成控制信号控制气动驱动单元，具体过程如下：
步骤4.1：嵌入式单板计算机中的姿态识别模型，应用Google的MediaPipe HandTracking模型，该模型对预处理的视频数据再进行视频图像帧下采样，然后利用手部特征检测器从全局图像中检测出手部位置，返回手部关键点的三维坐标数据；
进一步的，所述手部特征检测器的检测方法如下：
先利用MediaPipe Hand Tracking模型中的非极大值抑制算法检测出手掌所在位置，之后应用MediaPipe Hand Tracking模型中特征金字塔模型提取与手掌关联的手指信息，从而获得完整的手部特征；
将获得的完整手部特征数据输入MediaPipe Hand Tracking模型中的关键点检测模型，定位手部关键点，返回手部21个关键点的三维坐标数据，对关键点编号后构成数据集合{(xi,yi,zi)|i＝1,2,...,21}。
步骤4.2：利用关键点三维坐标数据计算关节向量：
Figure GDA0004232729710000081
其中，上标r表示右手，下标i,j是关键点编号，
Figure GDA0004232729710000082
是关键点i指向关键点j的关节向量；
步骤4.3：选择编号为4、8、12、16、20的关键点，计算这些关键点处的关节角度，作为5个手指的运动角度，计算如下：
Figure GDA0004232729710000083
其中，
Figure GDA0004232729710000084
为编号为4、8、12、16、20的右手关键点关节角度，/>
Figure GDA0004232729710000085
为右手上连接第j-1个关节点与第j个关节点的向量，/>
Figure GDA0004232729710000086
为右手上连接第j个关节点和第j+1个关节点的向量，其中，j为关节点编号；
步骤4.4：利用三阶多项式拟合，离线建立气体体积与弯曲角度的关系，如下：
β＝a0+a1V+a2V2+a3V3 (3)
其中，V是气管内气体体积，β是手套手指弯曲角度，ai是多项式系数，i＝0,1,2,3，通过最小二乘法求得；
步骤4.5：气管内气体体积由气泵提供，而气泵由直流电机带动，因此有：
V＝q·t (4)
q＝c·v (5)
其中，q为气体流量，c为比例系数，v为电机转速，正转充气时v为正值，反转放气时v为负值；t是气泵充/放气时间；
步骤4.6：气动手套手指上布置的flex传感器实时测量手指弯曲角度β，将测量的角度β作为反馈值传递给控制系统，计算与期望值即关键点关节角度
Figure GDA0004232729710000091
的角度偏差，根据角度偏差计算气管内气体体积偏差，从而设计PID控制器，实现对手指运动的闭环控制，公式如下：
Figure GDA0004232729710000092
其中，u(t)为t采样时刻的控制气体输出值，e(t)气管内气体体积偏差，KP为比例系数，T1为积分时间常数，TD为微分时间常数；
步骤4.7：根据气体输出值u(t)调整气动驱动单元的充/放气时间，实现对气动康复手套手指运动角度的精确控制；
当患侧手为左手时，气动康复手套手指运动角度的精确控制过程同步骤4.1至步骤4.7。
步骤5：康复手套上的气管道受到气动驱动单元的驱动开始运动，并带动患者患侧手进行康复训练；
步骤6：显示器上显示虚拟手模型，虚拟手模型复现患者双手运动过程，给患者提供视觉反馈刺激。
本实施例中，当选择镜像模仿训练模式时，仅需要以患者健侧手指运动角度作为期望输入，控制气动康复手套带动患侧手执行与健侧手一样的运动。当右侧手为健侧，左侧手为患侧时，康复手套各手指期望运动的角度为
Figure GDA0004232729710000093
令/>
Figure GDA0004232729710000094
可计算气管内所需气体体积，进而实现气动控制。
当选择双侧协作训练模式时，将患者健侧手的运动信息输入到离线构建的协作运动模型，在线生成对侧手应执行的运动状态，作为期望输入，控制康复手套带动患侧手完成运动，具体表述为：首先招募10位双侧手健康测试者，每名测试者分别执行折纸、拧瓶盖、打绳结等双侧协作运动，通过单目摄像头捕获其双侧运动视频，利用MediaPipe HandTracking模型获取测试者整个运动过程中各时刻左右手21个关键点的三维坐标，分别记为
Figure GDA0004232729710000095
与/>
Figure GDA0004232729710000096
其中下标i＝1,2,…,21，表示关键点编号，t表示视频帧采样时刻，上标l表示左手，r表示右手。
选择右侧手为参考(若以左侧手为参考，计算过程相同)。选择右手上编号为3,4,7,8,11,12,15,16,19,20的关键点，由式(1)和(2)，计算这些关键点处的关节角度
Figure GDA0004232729710000101
Figure GDA0004232729710000102
进一步，选择左手上编号为4,8,12,16,20的关键点，由式(1)和(2)，计算这些关键点处的关节角度/>
Figure GDA0004232729710000103
从而得到t采用时刻(视频帧)两个手的关节角度向量：
Figure GDA0004232729710000104
通过大样本数据离线学习，构建以
Figure GDA0004232729710000105
为输入，/>
Figure GDA0004232729710000106
为输出的模型，训练协作运动模型，即
Figure GDA0004232729710000107
本实施例中，采用面向运动生成的基于生成流的自回归模型MoGlow构建运动状态转换函数H。定义X＝X1:T＝[X1,...,XT]为一个序列值随机变量，参照自回归模型，设计概率分解：
Figure GDA0004232729710000108
其中，p(X)表示X的概率密度，式(9)说明时刻t的状态仅依赖于其前τ个时刻的状态(即是一个τ次马尔科夫链)。这里引入一个与
Figure GDA0004232729710000109
维度相同的t时刻隐状态ht作为生成/>
Figure GDA00042327297100001010
的中间状态，其概率分布影响了/>
Figure GDA00042327297100001011
的概率分布。考虑到运动的连续性，时刻t的运动受到前τ个时刻运动的影响，于是有：
Figure GDA00042327297100001012
Figure GDA00042327297100001013
其中，θl和θr分别是
Figure GDA00042327297100001014
和/>
Figure GDA00042327297100001015
一般化参量表示。pα(θl|θr)是在条件θr下，θl的概率密度，α是概率密度参数，T表示序列采样长度(视频帧序列数)。g(·)表示一个长短时记忆网络模型LSTM。利用训练数据离线训练后，便可以的到式(10)与(11)表达的MoGlow模型。
当患者双侧协作训练模式时，通过单目视觉可以捕获患者健侧手部的关键点数据，进而计算健侧手的运动状态(如是右手则是
Figure GDA00042327297100001016
)，然后利用已训练的MoGlow模型，计算对侧手(患侧)对应运动状态分布，从中采样具有最大概率的运动状态，作为患侧手应执行的运动(如是左手则是/>
Figure GDA0004232729710000111
)，于是可以应用生成的运动状态作为期望输入，控制康复手套带动患侧手配合健侧手执行折纸、拧瓶盖、打绳结等双侧协作运动。

Claims (8)

1.一种基于单目视觉引导的多模式手部康复系统，其特征在于，系统包括手部三维姿态数据采集系统、主控制器和气动康复手套；
所述手部三维姿态数据采集系统包括单目摄像头和视频处理单元，所述单目摄像头用于采集健康侧手部运动的视频，并将视频传输给视频处理单元，所述视频处理单元对视频图像进行预处理；
所述主控制器包括嵌入式单板计算机和气动驱动单元；
所述嵌入式单板计算机中包含有姿态识别模型，所述姿态识别模型对预处理后的视频图像进行手部关键关节点的三维坐标估计，计算出各手指的运动角度，并将手指的运动角度转换成控制信号来控制气动驱动单元，驱动气动康复手套运动；
采用所述的基于单目视觉引导的多模式手部康复系统进行多模式手部康复训练的方法，包括如下步骤：
步骤1：将康复手套佩戴在患者患侧手上，打开显示器交互界面，选择训练模式；
步骤2：将单目摄像头固定于合适位置，使其完全拍摄患者健侧手的运动；
步骤3：根据训练模式及自身状态，患者健侧手执行相应运动；同时单目摄像头拍摄运动过程，将视频传输到主控制器；
步骤4：嵌入式单板计算机调用姿态识别模型对手部三维姿态数据采集系统处理后的数据进行姿态识别估计，计算健侧手各手指的运动角度，将手指的运动角度转换成控制信号控制气动驱动单元；
步骤5：康复手套上的气管道受到气动驱动单元的驱动开始运动，并带动患者患侧手进行康复训练；
步骤6：显示器上显示虚拟手模型，虚拟手模型复现患者双手运动过程，给患者提供视觉反馈刺激；
所述步骤4的具体过程如下：
步骤4.1：嵌入式单板计算机中的姿态识别模型，应用Google的MediaPipe HandTracking模型，该模型对预处理的视频数据再进行视频图像帧下采样，然后利用手部特征检测器从全局图像中检测出手部位置，返回手部关键点的三维坐标数据；
步骤4.2：利用关键点三维坐标数据计算关节向量：
Figure QLYQS_1
其中，上标r表示右手，下标i,j是关键点编号，/>
Figure QLYQS_2
是关键点i指向关键点j的关节向量；
步骤4.3：选择编号为4、8、12、16、20的关键点，计算这些关键点处的关节角度，作为5个手指的运动角度，计算如下：
Figure QLYQS_3
其中，/>
Figure QLYQS_4
为编号为4、8、12、16、20的右手关键点关节角度，/>
Figure QLYQS_5
为右手上连接第j-1个关节点与第j个关节点的向量，/>
Figure QLYQS_6
为右手上连接第j个关节点和第j+1个关节点的向量，其中，j为关节点编号；
步骤4.4：利用三阶多项式拟合，离线建立气体体积与弯曲角度的关系，如下：
Figure QLYQS_7
其中，V是气管内气体体积，/>
Figure QLYQS_8
是手套手指弯曲角度，/>
Figure QLYQS_9
是多项式系数，i=0,1,2,3，通过最小二乘法求得；
步骤4.5：气管内气体体积由气泵提供，而气泵由直流电机带动，因此有：
Figure QLYQS_10
其中，q为气体流量，c为比例系数，v为电机转速，正转充气时v为正值，反转放气时v为负值；t是气泵充/放气时间；
步骤4.6：气动手套手指上布置的flex传感器实时测量手指弯曲角度
Figure QLYQS_11
，将测量的角度
Figure QLYQS_12
作为反馈值传递给控制系统，计算与期望值即关键点关节角度/>
Figure QLYQS_13
的角度偏差，根据角度偏差计算气管内气体体积偏差，从而设计PID控制器，实现对手指运动的闭环控制，公式如下：
Figure QLYQS_14
其中，/>
Figure QLYQS_15
为t采样时刻的控制气体输出值，/>
Figure QLYQS_16
气管内气体体积偏差，/>
Figure QLYQS_17
为比例系数，/>
Figure QLYQS_18
为积分时间常数，/>
Figure QLYQS_19
为微分时间常数；
步骤4.7：根据气体输出值
Figure QLYQS_20
调整气动驱动单元的充/放气时间，实现对气动康复手套手指运动角度的精确控制；
当患侧手为左手时，气动康复手套手指运动角度的精确控制过程同步骤4.1至步骤4.7。
2.根据权利要求1所述的基于单目视觉引导的多模式手部康复系统，其特征在于：所述对视频图像进行预处理包括对视频图像帧下采样和手部检测。
3.根据权利要求1所述的基于单目视觉引导的多模式手部康复系统，其特征在于：所述气动驱动单元包括气泵、气动管路、控制气阀、电动机、五路分气阀以及气动控制程序；
所述气动控制程序控制所述电动机正反转运动，以及控制气阀和五路分气阀的通断，所述电动机通过传动轴与气泵相连，带动气泵进行运动；
所述气泵通过气动管路与控制气阀相连；所述控制气阀分为出气阀和进气阀，出气阀和进气阀的一端相联通，并与五路分气阀相连；所述五路分气阀通过排管与气动康复手套上的软管相连接。
4.根据权利要求1所述的基于单目视觉引导的多模式手部康复系统，其特征在于：所述嵌入式单板计算机中还包含有模式选择模块，根据用户的需要从主动辅助、镜像模仿与双侧协作三种模式中选择一种模式进行训练。
5.根据权利要求1所述的基于单目视觉引导的多模式手部康复系统，其特征在于：所述主控制器还包括电源开关和急停开关；
所述电源开关用来控制整个系统的通电与掉电；
所述急停开关在系统发生故障时，立刻停止正在运行的气动手套。
6.根据权利要求1所述的基于单目视觉引导的多模式手部康复系统，其特征在于，所述手部特征检测器的检测方法如下：
先利用MediaPipe Hand Tracking模型中的非极大值抑制算法检测出手掌所在位置，之后应用MediaPipe Hand Tracking模型中特征金字塔模型提取与手掌关联的手指信息，从而获得完整的手部特征；
将获得的完整手部特征数据输入MediaPipe Hand Tracking模型中的关键点检测模型，定位手部关键点，返回手部21个关键点的三维坐标数据，对关键点编号后构成数据集合
Figure QLYQS_21
。
7.根据权利要求1至4中任意一项所述的基于单目视觉引导的多模式手部康复系统，其特征在于：系统还包括基于视觉反馈刺激的运动神经重建系统；
所述基于视觉反馈刺激的运动神经重建系统包括显示器、嵌入在所述嵌入式单板计算机中的虚拟手模型和flex弯曲度数据采集单元；
所述虚拟手模型根据姿态识别模型获取的健侧手运动数据，来使虚拟手模拟健侧手的运动，同时将健侧手的数据保存到嵌入式单板计算机中；
所述flex弯曲度数据采集单元采集气动手套反馈的角度信息，将气动手套反馈的角度信息与健侧手运动过程中的相应角度信息进行对比，得到患侧手的运动信息，通过虚拟手模型来模拟患侧手的运动；
所述显示器具有触控功能用于患者与系统进行交互和同步显示虚拟手模型模拟出来的健侧手的运动情况和患侧手的运动情况。
8.根据权利要求1所述的基于单目视觉引导的多模式手部康复系统，其特征在于，所述训练模式包括：主动辅助、镜像模仿与双侧协作三种；
所述主动辅助训练模式下，主控制器从系统记忆库中选择已存储的康复运动数据，控制康复手套带动患侧手执行重复运动；
所述镜像模仿训练模式下，患者的健侧手在单目摄像头前自由运动，摄像头将图像数据输送到控制系统中，控制气动康复手套带动患侧手模仿健侧手运动；同时，将健侧手与康复手套的运动数据传输给虚拟手模型，虚拟手模型完成同样的运动，患者观察显示器显示的虚拟手运动，通过视觉刺激产生双手自主运动的大脑神经刺激，促进运动神经通路重建；相应的运动数据自动保存到系统记忆库中，供主动辅助训练模式调用；
所述双侧协作训练模式下，系统通过离线学习协作动作，构建针对协作运动的MoGlow模型；在线阶段，系统通过单目摄像头捕获患者健侧手的运动，以健侧手运动数据为输入，调用MoGlow模型生成患侧手应执行的协调交互运动，作为控制期望，控制康复手套带动患侧手执行相应运动；同时，健侧手与康复手套的运动数据传输给虚拟手模型，虚拟手模型完成同样的运动，患者观察显示器显示的虚拟手运动，通过视觉刺激产生双手自主运动的大脑神经刺激，促进运动神经通路重建。
CN202210316249.8A 2022-03-29 2022-03-29 一种基于单目视觉引导的多模式手部康复系统及方法 Active CN114767464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210316249.8A CN114767464B (zh) 2022-03-29 2022-03-29 一种基于单目视觉引导的多模式手部康复系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210316249.8A CN114767464B (zh) 2022-03-29 2022-03-29 一种基于单目视觉引导的多模式手部康复系统及方法

Publications (2)

Publication Number Publication Date
CN114767464A CN114767464A (zh) 2022-07-22
CN114767464B true CN114767464B (zh) 2023-06-23

Family

ID=82424254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210316249.8A Active CN114767464B (zh) 2022-03-29 2022-03-29 一种基于单目视觉引导的多模式手部康复系统及方法

Country Status (1)

Country Link
CN (1) CN114767464B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115227468B (zh) * 2022-09-21 2023-01-17 深圳市心流科技有限公司 一种智能假肢的训练方法、智能假肢及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021158138A1 (ru) * 2020-02-07 2021-08-12 Общество с ограниченной ответственностью "АйТи Юниверс" Система нейрореабилитации и способ нейрореабилитации
CN113743247A (zh) * 2021-08-16 2021-12-03 电子科技大学 基于Reders模型的手势识别方法
CN113940856A (zh) * 2021-10-22 2022-01-18 燕山大学 一种基于肌电-惯性信息的手部康复训练装置及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8668334B2 (en) * 2006-02-27 2014-03-11 Vital Art And Science Incorporated Vision measurement and training system and method of operation thereof
JP2013128736A (ja) * 2011-12-21 2013-07-04 Nihon Rihabiri Device Gijutsu Kenkyusho:Kk 水平・垂直ディスプレイを用いた上肢・下肢リハビリ訓練装置
CN104188783A (zh) * 2014-05-09 2014-12-10 华侨大学 神经-肌肉回路再建康复训练器
US20190126145A1 (en) * 2014-10-22 2019-05-02 Activarium, LLC Exercise motion system and method
KR20160084524A (ko) * 2015-01-05 2016-07-14 대한민국(국립재활원장) 신경 역학적 손 기능 재활 시스템
WO2016190285A1 (ja) * 2015-05-26 2016-12-01 北海道公立大学法人札幌医科大学 リハビリテーションシステム、リハビリテーション用プログラム、及び、リハビリテーション方法
CN109259980B (zh) * 2018-09-07 2021-07-20 东北大学秦皇岛分校 一种手功能综合康复训练平台
CN110013419A (zh) * 2019-05-14 2019-07-16 上海大学 一种双臂康复机器人及训练方法
CN110742774A (zh) * 2019-09-19 2020-02-04 深圳睿瀚医疗科技有限公司 一种基于Leap Motion的健患侧协同手部训练系统
US20230201586A1 (en) * 2020-06-05 2023-06-29 Battelle Memorial Institute Computer vision enhanced electromyography training systems and methods thereof
US11924397B2 (en) * 2020-07-23 2024-03-05 Samsung Electronics Co., Ltd. Generation and distribution of immersive media content from streams captured via distributed mobile devices
CN111736709A (zh) * 2020-08-25 2020-10-02 北京深光科技有限公司 Ar眼镜控制方法、设备、存储介质及装置
CN112089427B (zh) * 2020-08-31 2023-06-13 南京麦澜德医疗科技有限公司 一种手指关节康复训练评估方法及系统
CN114028153B (zh) * 2021-09-18 2024-04-02 深圳华鹊景医疗科技有限公司 一种康复机器人及其控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021158138A1 (ru) * 2020-02-07 2021-08-12 Общество с ограниченной ответственностью "АйТи Юниверс" Система нейрореабилитации и способ нейрореабилитации
CN113743247A (zh) * 2021-08-16 2021-12-03 电子科技大学 基于Reders模型的手势识别方法
CN113940856A (zh) * 2021-10-22 2022-01-18 燕山大学 一种基于肌电-惯性信息的手部康复训练装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TensorFlow Lite:端侧机器学习框架;李双峰;;计算机研究与发展(第09期);全文 *
基于无线式数据手套的虚拟手控制系统研究;王清波;虞成;;中国医学装备(第12期);全文 *

Also Published As

Publication number Publication date
CN114767464A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN108854034B (zh) 一种基于虚拟现实和惯性动捕的脑卒中康复训练系统
WO2021068542A1 (zh) 基于力反馈技术的上肢主被动康复训练机器人系统
CN107330967B (zh) 基于惯性传感技术的骑师运动姿态捕捉及三维重建系统
CN107616898B (zh) 基于日常动作的上肢穿戴式康复机器人及康复评价方法
CN109620493B (zh) 基于脑控的残疾人生活辅助装置的控制方法
CN114767464B (zh) 一种基于单目视觉引导的多模式手部康复系统及方法
Suárez Mejías et al. Ursus: A robotic assistant for training of children with motor impairments
CN109829451A (zh) 生物体动作识别方法、装置、服务器及存储介质
CN109079794A (zh) 一种基于人体姿态跟随的机器人控制与示教方法
CN113332101B (zh) 基于脑机接口的康复训练装置的控制方法和装置
Rasch et al. A joint motion model for human-like robot-human handover
Martin et al. A novel approach of prosthetic arm control using computer vision, biosignals, and motion capture
CN109785415A (zh) 一种基于外骨骼技术的动作采集系统及其方法
CN106214163A (zh) 一种下肢畸形矫正术后康复的人工心理辅导装置
CN113101137B (zh) 一种基于运动映射和虚拟现实的上肢康复机器人
CN117532609A (zh) 融合脑肌电与单目视觉的仿人机器人实时控制系统及方法
Yazdani et al. Ergonomically intelligent physical human-robot interaction: Postural estimation, assessment, and optimization
CN117697717A (zh) 一种外骨骼物理人机双向交互仿真系统
Piraintorn et al. Stroke rehabilitation based on intelligence interaction system
CN113101612B (zh) 一种沉浸式上肢康复系统
Jayasurya et al. Gesture controlled AI-robot using Kinect
TWI601526B (zh) Lower limb rehabilitation device control method and the implementation of the method of lower limb rehabilitation device
Gentili et al. Human-robotic collaborative intelligent control for reaching performance
Benetazzo et al. Low cost rgb-d vision based system for on-line performance evaluation of motor disabilities rehabilitation at home
CN115544812B (zh) 一种数字孪生虚拟人的构建方法、系统、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant