CN114767464A - 一种基于单目视觉引导的多模式手部康复系统及方法 - Google Patents

一种基于单目视觉引导的多模式手部康复系统及方法 Download PDF

Info

Publication number
CN114767464A
CN114767464A CN202210316249.8A CN202210316249A CN114767464A CN 114767464 A CN114767464 A CN 114767464A CN 202210316249 A CN202210316249 A CN 202210316249A CN 114767464 A CN114767464 A CN 114767464A
Authority
CN
China
Prior art keywords
hand
motion
rehabilitation
pneumatic
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210316249.8A
Other languages
English (en)
Other versions
CN114767464B (zh
Inventor
丁其川
车鸿博
陈浩
方俊杰
郭康康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202210316249.8A priority Critical patent/CN114767464B/zh
Publication of CN114767464A publication Critical patent/CN114767464A/zh
Application granted granted Critical
Publication of CN114767464B publication Critical patent/CN114767464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A61H1/0285—Hand
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/12—Driving means
    • A61H2201/1207—Driving means with electric or magnetic drive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/14—Special force transmission means, i.e. between the driving means and the interface with the user
    • A61H2201/1409—Hydraulic or pneumatic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1635—Hand or arm, e.g. handle
    • A61H2201/1638—Holding means therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5043—Displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5069—Angle sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2205/00—Devices for specific parts of the body
    • A61H2205/06—Arms
    • A61H2205/065—Hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/62—Posture
    • A61H2230/625—Posture used as a control parameter for the apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0022—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/62—Posture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明公开一种基于单目视觉引导的多模式手部康复系统及方法，系统包括手部三维姿态数据采集系统、主控制器、气动康复手套和基于视觉反馈刺激的运动神经重建系统；系统利用单目摄像头获取健侧手部关键点三维坐标，识别健侧手运动模式，实现气动康复手套的引导控制。系统提供主动辅助、镜像模仿与双侧协作三种模式，其中镜像模仿是康复手套带动患者手模仿健侧手的运动，双侧协作是系统依据健侧手运动，利用离线构建的协作模型，在线生成对侧手应执行的交互协作运动状态。同时利用虚拟手模型，在屏幕上实时显示双手运动过程，通过对患者的感官刺激实现运动神经通路重建，解决了现有康复训练中，康复模式单一，患者参与度低，康复效率差等问题。

Description

一种基于单目视觉引导的多模式手部康复系统及方法
技术领域
本发明涉及康复训练机器人技术领域，尤其涉及一种基于单目视觉引导的多模式手部康复系统及方法。
背景技术
手部运动样式繁多、灵活多变、精细度高，手部运动功能康复难度很大。目前临床上手功能康复主要依赖于医师对患者一对一的物理治疗，该方式耗时、耗力、成本高，大量患者常因无法及时获得有效的康复训练，而错失最佳治疗时期。机器人适于长时间、重复性工作，其与康复医学的结合为解决手部运动康复的难题提供了一条新途径。
近年来，研究者研发了多种手部运动康复系统，但多数系统是由内置的固定程式控制，仅能带动患者患侧手执行固定模式的运动，系统适应性差，患者参与度低。部分研究者面向偏瘫患者开发了可实现患者主动控制的康复系统，该类系统利用数据手套或光学传感器采集患者健侧手运动信息作为输入，控制康复系统带动患侧手执行与健侧手相同的运动。患者健侧手配套数据手套会影响其运动灵活性，且增加了操作负担与系统成本；而现有使用光学传感器的方式，或是需要特定设备，成本较高，或是系统布置较复杂；并且目前所有由患者主动控制的手部康复设备，仅能带动其患侧手模仿健侧手的运动，无法实现诸如折叠/展开纸张、打绳结、拧笔帽、单人猜拳等双侧配合运动，而这些运动有助于恢复患者双侧协调控制能力；更进一步，目前手部康复系统仅关注肢体/肌肉运动康复，未考虑运动神经通路重建，实际上，对于脑卒中导致的偏瘫患者，往往是运动神经通路中断导致运动功能受损，因此对运动神经通路重建更需要重视。
发明内容
针对上述现有技术的不足，本发明提供一种基于单目视觉引导的多模式手部康复系统及方法。
为解决上述技术问题，本发明所采取的技术方案是：一种基于单目视觉引导的多模式手部康复系统，系统包括手部三维姿态数据采集系统、主控制器和气动康复手套；
所述手部三维姿态数据采集系统包括单目摄像头和视频处理单元，所述单目摄像头用于采集健康侧手部运动的视频，并将视频传输给视频处理单元，所述视频处理单元对视频图像进行预处理；
所述主控制器包括嵌入式单板计算机和气动驱动单元；
所述嵌入式单板计算机中包含有姿态识别模型，所述姿态识别模型对预处理后的视频图像进行手部关键关节点的三维坐标估计，计算出各手指的运动角度，并将手指的运动角度转换成控制信号来控制气动驱动单元，驱动气动康复手套运动。
进一步的，所述对视频图像进行预处理包括对视频图像帧下采样和手部检测。
进一步的，所述气动驱动单元包括气泵、气动管路、控制气阀、电动机、五路分气阀以及气动控制程序；
所述气动控制程序控制所述电动机正反转运动，以及控制气阀和五路分气阀的通断，所述电动机通过传动轴与气泵相连，带动气泵进行运动；
所述气泵通过气动管路与控制气阀相连；所述控制气阀分为出气阀和进气阀，出气阀和进气阀的一端相联通，并与五路分气阀相连；所述五路分气阀通过排管与气动康复手套上的软管相连接。
进一步的，所述嵌入式单板计算机中还包含有模式选择模块，根据用户的需要从主动辅助、镜像模仿与双侧协作三种模式中选择一种模式进行训练。
进一步的，所述主控制器还包括电源和急停开关；
所述电源开关用来控制整个系统的通电与掉电；
所述急停开关在系统发生故障时，立刻停止正在运行的气动手套。
进一步的，系统还包括基于视觉反馈刺激的运动神经重建系统；
所述基于视觉反馈刺激的运动神经重建系统包括显示器、嵌入在所述嵌入式单板计算机中的虚拟手模型和flex弯曲度数据采集单元；
所述虚拟手模型根据姿态识别模型获取的健侧手运动数据，来使虚拟手模拟健侧手的运动，同时将健侧手的数据保存到嵌入式单板计算机中；
所述flex弯曲度数据采集单元采集气动手套反馈的角度信息，将气动手套反馈的角度信息与健侧手运动过程中的相应角度信息进行对比，得到患侧手的运动信息，通过虚拟手模型来模拟患侧手的运动；
所述显示器具有触控功能用于患者与系统进行交互和同步显示虚拟手模型模拟出来的健侧手的运动情况和患侧手的运动情况。
另一方面，本发明还提供一种采用上述基于单目视觉引导的多模式手部康复系统进行多模式手部康复训练的方法，具体包括如下步骤：
步骤1：将康复手套佩戴在患者患侧手上，打开显示器交互界面，选择训练模式；
进一步的，所述训练模式包括：主动辅助、镜像模仿与双侧协作三种；
所述主动辅助训练模式下，主控制器从系统记忆库中选择已存储的康复运动数据，控制康复手套带动患侧手执行重复运动；
所述镜像模仿训练模式下，患者的健侧手在单目摄像头前自由运动，摄像头将图像数据输送到控制系统中，控制气动康复手套带动患侧手模仿健侧手运动；同时，将健侧手与康复手套的运动数据传输给虚拟手模型，虚拟手模型完成同样的运动，患者观察显示器显示的虚拟手运动，通过视觉刺激产生双手自主运动的大脑神经刺激，促进运动神经通路重建；相应的运动数据自动保存到系统记忆库中，供主动辅助训练模式调用；
所述双侧协作训练模式下，系统通过离线学习协作动作，构建针对协作运动的MoGlow模型；在线阶段，系统通过单目摄像头捕获患者健侧手的运动，以健侧手运动数据为输入，调用MoGlow模型生成患侧手应执行的协调交互运动，作为控制期望，控制康复手套带动患侧手执行相应运动；同时，健侧手与康复手套的运动数据传输给虚拟手模型，虚拟手模型完成同样的运动，患者观察显示器显示的虚拟手运动，通过视觉刺激产生双手自主运动的大脑神经刺激，促进运动神经通路重建。
步骤2：将单目摄像头固定于合适位置，使其完全拍摄患者健侧手的运动；
步骤3：根据训练模式及自身状态，患者健侧手执行相应运动；同时单目摄像头拍摄运动过程，将视频传输到主控制器；
步骤4：嵌入式单板计算机调用姿态识别模型对手部三维姿态数据采集系统处理后的数据进行姿态识别估计，计算健侧手各手指的运动角度，将手指的运动角度转换成控制信号控制气动驱动单元，具体过程如下：
步骤4.1：嵌入式单板计算机中的姿态识别模型，应用Google的MeidaPipe HandTracking模型，该模型对预处理的视频数据再进行视频图像帧下采样，然后利用手部特征检测器从全局图像中检测出手部位置，返回手部关键点的三维坐标数据；
进一步的，所述手部特征检测器的检测方法如下：
先利用MeidaPipe Hand Tracking模型中的非极大值抑制算法检测出手掌所在位置，之后应用MeidaPipe Hand Tracking模型中特征金字塔模型提取与手掌关联的手指信息，从而获得完整的手部特征；
将获得的完整手部特征数据输入MeidaPipe Hand Tracking模型中的关键点检测模型，定位手部关键点，返回手部21个关键点的三维坐标数据，对关键点编号后构成数据集合{(xi,yi,zi)|i＝1,2,...,21}。
步骤4.2：利用关键点三维坐标数据计算关节向量：
Figure BDA0003569857800000031
其中，上标r表示右手，下标i,j是关键点编号，
Figure BDA0003569857800000032
是关键点i指向关键点j的关节向量；
步骤4.3：选择编号为4、8、12、16、20的关键点，计算这些关键点处的关节角度，作为5个手指的运动角度，计算如下：
Figure BDA0003569857800000041
其中，
Figure BDA0003569857800000042
为编号为4、8、12、16、20的右手关键点关节角度，
Figure BDA0003569857800000043
为右手上连接第j-1个关节点与第j个关节点的向量，
Figure BDA0003569857800000044
为右手上连接第j个关节点和第j+1个关节点的向量，其中，j为关节点编号；
步骤4.4：利用三阶多项式拟合，离线建立气体体积与弯曲角度的关系，如下：
β＝a0+a1V+a2V2+a3V3 (3)
其中，V是气管内气体体积，β是手套手指弯曲角度，ai是多项式系数，i＝0,1,2,3，通过最小二乘法求得；
步骤4.5：气管内气体体积由气泵提供，而气泵由直流电机带动，因此有：
V＝q·t (4)
q＝c·v (5)
其中，q为气体流量，c为比例系数，v为电机转速，正转充气时v为正值，反转放气时v为负值；t是气泵充/放气时间；
步骤4.6：气动手套手指上布置的flex传感器实时测量手指弯曲角度β，将测量的角度β作为反馈值传递给控制系统，计算与期望值即关键点关节角度
Figure BDA0003569857800000046
的角度偏差，根据角度偏差计算气管内气体体积偏差，从而设计PID控制器，实现对手指运动的闭环控制，公式如下：
Figure BDA0003569857800000045
其中，u(t)为t采样时刻的控制气体输出值，e(t)气管内气体体积偏差，KP为比例系数，T1为积分时间常数，TD为微分时间常数；
步骤4.7：根据气体输出值u(t)调整气动驱动单元的充/放气时间，实现对气动康复手套手指运动角度的精确控制；
当患侧手为左手时，气动康复手套手指运动角度的精确控制过程同步骤4.1至步骤4.7。
步骤5：康复手套上的气管道受到气动驱动单元的驱动开始运动，并带动患者患侧手进行康复训练；
步骤6：显示器上显示虚拟手模型，虚拟手模型复现患者双手运动过程，给患者提供视觉反馈刺激。
采用上述技术方案所产生的有益效果在于：
1.本发明提供的整个系统简洁轻便、成本低，方便患者居家使用。
2.本发明提供的系统中康复手采用气动的方式驱动，为一种柔性驱动，满足辅助康复安全性的要求。
3.本发明提供的系统与其他以固定运动模式为主的康复机器人不同，本发明以患者为中心，康复训练运动过程由患者主导，增强患者的参与度。
4.本发明提供的方法可以自定义动作模式，丰富了康复训练内容，打破传统固定运动模式的限制，并增强患者主观能动性。
5.本发明利用单目视觉实现非接触式运动捕获，操作简便，用户受限度低。
6.本发明利用镜像理论诱导刺激神经-运动通路重塑，加快患者康复。
7.本发明增加双侧协作训练模式，通过执行生活中常见的双侧协作运动，提升双手协调性，促进手部运动功能恢复及神经通路重建。
附图说明
图1为本发明实施例中基于单目视觉引导的多模式手部康复系统的作业示意图；
图2为本发明实施例中基于单目视觉引导的多模式手部康复系统的结构框图；
图3为本发明实施例中基于单目视觉引导的多模式手部康复系统的结构示意图；
图4为本发明实施例中基于单目视觉引导的多模式手部康复系统的信号控制示意图；
图5为本发明实施例中基于单目视觉引导的多模式手部康复系统的操作流程图；
图6为本发明实施例中手部三维姿态估计关键点示意图；
其中，1-软管；2-flex弯曲度传感器；3-气动管路；4-排管；5-五路分气阀；6-电动机；7-气泵；8-弹簧；9-控制气阀；10-气动康复手套。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例中基于单目视觉引导的多模式手部康复系统的具体作业情况如图1所示，图1中患者将康复手套佩戴到患侧手上，通过控制器选择康复训练模式，随后系统会根据相应的模式控制气动康复手套带动患侧手运动，同时患者可以观测面前的屏幕，屏幕中显示的虚拟手会执行同样的运动，通过视觉反馈，让患者产生双手自主运动的大脑神经刺激，刺激运动神经通路重建。
本实施例中，基于单目视觉引导的多模式手部康复系统的结构框图如图2所示，系统结构示意图如图3所示，系统包括手部三维姿态数据采集系统、主控制器和气动康复手套；
所述手部三维姿态数据采集系统包括单目摄像头和视频处理单元，所述单目摄像头用于采集健康侧手部运动的视频，并将视频传输给视频处理单元，所述视频处理单元对视频图像进行预处理；
所述主控制器包括嵌入式单板计算机和气动驱动单元；
所述嵌入式单板计算机中包含有姿态识别模型，所述姿态识别模型对预处理后的视频图像进行手部关键关节点的三维坐标估计，计算出各手指的运动角度，并将手指的运动角度转换成控制信号来控制气动驱动单元，驱动气动康复手套运动。
本实施例中，气动康复手套，包括S/M/X三种大小及L/R左右型号的康复手套，可根据患者患侧手状况选用，每只手套有5个手指套，每个手指套上面都附有带动手指弯曲/伸直的软管，以及用于测量手指运动角度的flex弯曲度传感器。
进一步的，所述对视频图像进行预处理包括对视频图像帧下采样和手部检测。
进一步的，所述气动驱动单元包括气泵7、气动管路3、控制气阀9、电动机6、五路分气阀5以及气动控制程序；
所述气动控制程序控制所述电动机6正反转运动，以及控制气阀9和五路分气阀5的通断，所述电动机6通过传动轴与气泵7相连，带动气泵7进行运动；
所述气泵7通过气动管路3与控制气阀9相连；所述控制气阀9分为出气阀和进气阀，出气阀和进气阀的一端相联通，并与五路分气阀5相连；所述五路分气阀5通过排管4与气动康复手套10上的软管1相连接。
进一步的，所述嵌入式单板计算机中还包含有模式选择模块，根据用户的需要从主动辅助、镜像模仿与双侧协作三种模式中选择一种模式进行训练。
进一步的，所述主控制器还包括电源和急停开关；
所述电源开关用来控制整个系统的通电与掉电；
所述急停开关在系统发生故障时，立刻停止正在运行的气动手套。
进一步的，系统还包括基于视觉反馈刺激的运动神经重建系统；
所述基于视觉反馈刺激的运动神经重建系统包括显示器、嵌入在所述嵌入式单板计算机中的虚拟手模型和flex弯曲度数据采集单元；
所述虚拟手模型根据姿态识别模型获取的健侧手运动数据，来使虚拟手模拟健侧手的运动，同时将健侧手的数据保存到嵌入式单板计算机中；
所述flex弯曲度数据采集单元采集气动手套反馈的角度信息，将气动手套反馈的角度信息与健侧手运动过程中的相应角度信息进行对比，得到患侧手的运动信息，通过虚拟手模型来模拟患侧手的运动；
所述显示器具有触控功能用于患者与系统进行交互和同步显示虚拟手模型模拟出来的健侧手的运动情况和患侧手的运动情况。本实施例中显示器通过HDMI与主控制器相连。
本实施例中，主控制器中的嵌入式单板计算机选用树莓派，单目摄像头选用RGB相机，虚拟手模型通过3D MAX软件来构建。本实施例中，系统信号控制的方向如图4所示，触摸屏与树莓派进行连接，接收用户发送的指令。摄像头与树莓派连接用来将用户的手部图像信息传输给树莓派进行处理，树莓派通过L298N来控制电机进行运动，向系统输入动力，通过控制继电器来开启相应的气阀使气体进入相应的手指，来实现气动康复手套进行运动，气动康复手运动时，flex弯曲度传感器将会产生反馈信号传输给树莓派，保证运动的精确性。系统的操作流程如图5所示。
另一方面，本发明还提供一种采用上述基于单目视觉引导的多模式手部康复系统进行多模式手部康复训练的方法，具体包括如下步骤：
步骤1：将康复手套佩戴在患者患侧手上，打开显示器交互界面，选择训练模式；
进一步的，所述训练模式包括：主动辅助、镜像模仿与双侧协作三种；
所述主动辅助训练模式下，主控制器从系统记忆库中选择已存储的康复运动数据，控制康复手套带动患侧手执行重复运动；
所述镜像模仿训练模式下，患者的健侧手在单目摄像头前自由运动，摄像头将图像数据输送到控制系统中，控制气动康复手套带动患侧手模仿健侧手运动；同时，将健侧手与康复手套的运动数据传输给虚拟手模型，虚拟手模型完成同样的运动，患者观察显示器显示的虚拟手运动，通过视觉刺激产生双手自主运动的大脑神经刺激，促进运动神经通路重建；相应的运动数据自动保存到系统记忆库中，供主动辅助训练模式调用；
所述双侧协作训练模式下，系统通过离线学习协作动作，构建针对协作运动的MoGlow模型；在线阶段，系统通过单目摄像头捕获患者健侧手的运动，以健侧手运动数据为输入，调用MoGlow模型生成患侧手应执行的协调交互运动，作为控制期望，控制康复手套带动患侧手执行相应运动；同时，健侧手与康复手套的运动数据传输给虚拟手模型，虚拟手模型完成同样的运动，患者观察显示器显示的虚拟手运动，通过视觉刺激产生双手自主运动的大脑神经刺激，促进运动神经通路重建。
步骤2：将单目摄像头固定于合适位置，使其完全拍摄患者健侧手的运动；
步骤3：根据训练模式及自身状态，患者健侧手执行相应运动；同时单目摄像头拍摄运动过程，将视频传输到主控制器；
步骤4：嵌入式单板计算机调用姿态识别模型对手部三维姿态数据采集系统处理后的数据进行姿态识别估计，计算健侧手各手指的运动角度，将手指的运动角度转换成控制信号控制气动驱动单元，具体过程如下：
步骤4.1：嵌入式单板计算机中的姿态识别模型，应用Google的MeidaPipe HandTracking模型，该模型对预处理的视频数据再进行视频图像帧下采样，然后利用手部特征检测器从全局图像中检测出手部位置，返回手部关键点的三维坐标数据；
进一步的，所述手部特征检测器的检测方法如下：
先利用MeidaPipe Hand Tracking模型中的非极大值抑制算法检测出手掌所在位置，之后应用MeidaPipe Hand Tracking模型中特征金字塔模型提取与手掌关联的手指信息，从而获得完整的手部特征；
将获得的完整手部特征数据输入MeidaPipe Hand Tracking模型中的关键点检测模型，定位手部关键点，返回手部21个关键点的三维坐标数据，对关键点编号后构成数据集合{(xi,yi,zi)|i＝1,2,...,21}。
步骤4.2：利用关键点三维坐标数据计算关节向量：
Figure BDA0003569857800000081
其中，上标r表示右手，下标i,j是关键点编号，
Figure BDA0003569857800000082
是关键点i指向关键点j的关节向量；
步骤4.3：选择编号为4、8、12、16、20的关键点，计算这些关键点处的关节角度，作为5个手指的运动角度，计算如下：
Figure BDA0003569857800000083
其中，
Figure BDA0003569857800000084
为编号为4、8、12、16、20的右手关键点关节角度，
Figure BDA0003569857800000085
为右手上连接第j-1个关节点与第j个关节点的向量，
Figure BDA0003569857800000086
为右手上连接第j个关节点和第j+1个关节点的向量，其中，j为关节点编号；
步骤4.4：利用三阶多项式拟合，离线建立气体体积与弯曲角度的关系，如下：
β＝a0+a1V+a2V2+a3V3 (3)
其中，V是气管内气体体积，β是手套手指弯曲角度，ai是多项式系数，i＝0,1,2,3，通过最小二乘法求得；
步骤4.5：气管内气体体积由气泵提供，而气泵由直流电机带动，因此有：
V＝q·t (4)
q＝c·v (5)
其中，q为气体流量，c为比例系数，v为电机转速，正转充气时v为正值，反转放气时v为负值；t是气泵充/放气时间；
步骤4.6：气动手套手指上布置的flex传感器实时测量手指弯曲角度β，将测量的角度β作为反馈值传递给控制系统，计算与期望值即关键点关节角度
Figure BDA0003569857800000091
的角度偏差，根据角度偏差计算气管内气体体积偏差，从而设计PID控制器，实现对手指运动的闭环控制，公式如下：
Figure BDA0003569857800000092
其中，u(t)为t采样时刻的控制气体输出值，e(t)气管内气体体积偏差，KP为比例系数，T1为积分时间常数，TD为微分时间常数；
步骤4.7：根据气体输出值u(t)调整气动驱动单元的充/放气时间，实现对气动康复手套手指运动角度的精确控制；
当患侧手为左手时，气动康复手套手指运动角度的精确控制过程同步骤4.1至步骤4.7。
步骤5：康复手套上的气管道受到气动驱动单元的驱动开始运动，并带动患者患侧手进行康复训练；
步骤6：显示器上显示虚拟手模型，虚拟手模型复现患者双手运动过程，给患者提供视觉反馈刺激。
本实施例中，当选择镜像模仿训练模式时，仅需要以患者健侧手指运动角度作为期望输入，控制气动康复手套带动患侧手执行与健侧手一样的运动。当右侧手为健侧，左侧手为患侧时，康复手套各手指期望运动的角度为
Figure BDA0003569857800000093
令
Figure BDA0003569857800000094
可计算气管内所需气体体积，进而实现气动控制。
当选择双侧协作训练模式时，将患者健侧手的运动信息输入到离线构建的协作运动模型，在线生成对侧手应执行的运动状态，作为期望输入，控制康复手套带动患侧手完成运动，具体表述为：首先招募10位双侧手健康测试者，每名测试者分别执行折纸、拧瓶盖、打绳结等双侧协作运动，通过单目摄像头捕获其双侧运动视频，利用MeidaPipe HandTracking模型获取测试者整个运动过程中各时刻左右手21个关键点的三维坐标，21个关键点的位置如图6所示，分别记为
Figure BDA0003569857800000101
与
Figure BDA0003569857800000102
其中下标i＝1,2,…,21，表示关键点编号，t表示视频帧采样时刻，上标l表示左手，r表示右手。
选择右侧手为参考(若以左侧手为参考，计算过程相同)。选择右手上编号为3,4,7,8,11,12,15,16,19,20的关键点，由式(1)和(2)，计算这些关键点处的关节角度
Figure BDA0003569857800000103
Figure BDA0003569857800000104
进一步，选择左手上编号为4,8,12,16,20的关键点，由式(1)和(2)，计算这些关键点处的关节角度
Figure BDA0003569857800000105
从而得到t采用时刻(视频帧)两个手的关节角度向量：
Figure BDA0003569857800000106
通过大样本数据离线学习，构建以
Figure BDA0003569857800000107
为输入，
Figure BDA0003569857800000108
为输出的模型，训练协作运动模型，即
Figure BDA0003569857800000109
本实施例中，采用面向运动生成的基于生成流的自回归模型MoGlow构建运动状态转换函数H。定义X＝X1:T＝[X1,...,XT]为一个序列值随机变量，参照自回归模型，设计概率分解：
Figure BDA00035698578000001010
其中，p(X)表示X的概率密度，式(9)说明时刻t的状态仅依赖于其前τ个时刻的状态(即是一个τ次马尔科夫链)。这里引入一个与
Figure BDA00035698578000001011
维度相同的t时刻隐状态ht作为生成
Figure BDA00035698578000001012
的中间状态，其概率分布影响了
Figure BDA00035698578000001013
的概率分布。考虑到运动的连续性，时刻t的运动受到前τ个时刻运动的影响，于是有：
Figure BDA00035698578000001014
Figure BDA00035698578000001015
其中，θl和θr分别是
Figure BDA00035698578000001016
和
Figure BDA00035698578000001017
一般化参量表示。pα(θl|θr)是在条件θr下，θl的概率密度，α是概率密度参数，T表示序列采样长度(视频帧序列数)。g(·)表示一个长短时记忆网络模型LSTM。利用训练数据离线训练后，便可以的到式(10)与(11)表达的MoGlow模型。
当患者双侧协作训练模式时，通过单目视觉可以捕获患者健侧手部的关键点数据，进而计算健侧手的运动状态(如是右手则是
Figure BDA0003569857800000111
)，然后利用已训练的MoGlow模型，计算对侧手(患侧)对应运动状态分布，从中采样具有最大概率的运动状态，作为患侧手应执行的运动(如是左手则是
Figure BDA0003569857800000112
)，于是可以应用生成的运动状态作为期望输入，控制康复手套带动患侧手配合健侧手执行折纸、拧瓶盖、打绳结等双侧协作运动。

Claims (10)

1.一种基于单目视觉引导的多模式手部康复系统，其特征在于，系统包括手部三维姿态数据采集系统、主控制器和气动康复手套；
所述手部三维姿态数据采集系统包括单目摄像头和视频处理单元，所述单目摄像头用于采集健康侧手部运动的视频，并将视频传输给视频处理单元，所述视频处理单元对视频图像进行预处理；
所述主控制器包括嵌入式单板计算机和气动驱动单元；
所述嵌入式单板计算机中包含有姿态识别模型，所述姿态识别模型对预处理后的视频图像进行手部关键关节点的三维坐标估计，计算出各手指的运动角度，并将手指的运动角度转换成控制信号来控制气动驱动单元，驱动气动康复手套运动。
2.根据权利要求1所述的基于单目视觉引导的多模式手部康复系统，其特征在于：所述对视频图像进行预处理包括对视频图像帧下采样和手部检测。
3.根据权利要求1所述的基于单目视觉引导的多模式手部康复系统，其特征在于：所述气动驱动单元包括气泵、气动管路、控制气阀、电动机、五路分气阀以及气动控制程序；
所述气动控制程序控制所述电动机正反转运动，以及控制气阀和五路分气阀的通断，所述电动机通过传动轴与气泵相连，带动气泵进行运动；
所述气泵通过气动管路与控制气阀相连；所述控制气阀分为出气阀和进气阀，出气阀和进气阀的一端相联通，并与五路分气阀相连；所述五路分气阀通过排管与气动康复手套上的软管相连接。
4.根据权利要求1所述的基于单目视觉引导的多模式手部康复系统，其特征在于：所述嵌入式单板计算机中还包含有模式选择模块，根据用户的需要从主动辅助、镜像模仿与双侧协作三种模式中选择一种模式进行训练。
5.根据权利要求1所述的基于单目视觉引导的多模式手部康复系统，其特征在于：所述主控制器还包括电源和急停开关；
所述电源开关用来控制整个系统的通电与掉电；
所述急停开关在系统发生故障时，立刻停止正在运行的气动手套。
6.根据权利要求1至4中任意一项所述的基于单目视觉引导的多模式手部康复系统，其特征在于：系统还包括基于视觉反馈刺激的运动神经重建系统；
所述基于视觉反馈刺激的运动神经重建系统包括显示器、嵌入在所述嵌入式单板计算机中的虚拟手模型和flex弯曲度数据采集单元；
所述虚拟手模型根据姿态识别模型获取的健侧手运动数据，来使虚拟手模拟健侧手的运动，同时将健侧手的数据保存到嵌入式单板计算机中；
所述flex弯曲度数据采集单元采集气动手套反馈的角度信息，将气动手套反馈的角度信息与健侧手运动过程中的相应角度信息进行对比，得到患侧手的运动信息，通过虚拟手模型来模拟患侧手的运动；
所述显示器具有触控功能用于患者与系统进行交互和同步显示虚拟手模型模拟出来的健侧手的运动情况和患侧手的运动情况。
7.采用权利要求5所述的基于单目视觉引导的多模式手部康复系统进行多模式手部康复训练的方法，其特征在于，包括如下步骤：
步骤1：将康复手套佩戴在患者患侧手上，打开显示器交互界面，选择训练模式；
步骤2：将单目摄像头固定于合适位置，使其完全拍摄患者健侧手的运动；
步骤3：根据训练模式及自身状态，患者健侧手执行相应运动；同时单目摄像头拍摄运动过程，将视频传输到主控制器；
步骤4：嵌入式单板计算机调用姿态识别模型对手部三维姿态数据采集系统处理后的数据进行姿态识别估计，计算健侧手各手指的运动角度，将手指的运动角度转换成控制信号控制气动驱动单元；
步骤5：康复手套上的气管道受到气动驱动单元的驱动开始运动，并带动患者患侧手进行康复训练；
步骤6：显示器上显示虚拟手模型，虚拟手模型复现患者双手运动过程，给患者提供视觉反馈刺激。
8.根据权利要求6所述的基于单目视觉引导的多模式手部康复系统进行多模式手部康复训练的方法，其特征在于，所述训练模式包括：主动辅助、镜像模仿与双侧协作三种；
所述主动辅助训练模式下，主控制器从系统记忆库中选择已存储的康复运动数据，控制康复手套带动患侧手执行重复运动；
所述镜像模仿训练模式下，患者的健侧手在单目摄像头前自由运动，摄像头将图像数据输送到控制系统中，控制气动康复手套带动患侧手模仿健侧手运动；同时，将健侧手与康复手套的运动数据传输给虚拟手模型，虚拟手模型完成同样的运动，患者观察显示器显示的虚拟手运动，通过视觉刺激产生双手自主运动的大脑神经刺激，促进运动神经通路重建；相应的运动数据自动保存到系统记忆库中，供主动辅助训练模式调用；
所述双侧协作训练模式下，系统通过离线学习协作动作，构建针对协作运动的MoGlow模型；在线阶段，系统通过单目摄像头捕获患者健侧手的运动，以健侧手运动数据为输入，调用MoGlow模型生成患侧手应执行的协调交互运动，作为控制期望，控制康复手套带动患侧手执行相应运动；同时，健侧手与康复手套的运动数据传输给虚拟手模型，虚拟手模型完成同样的运动，患者观察显示器显示的虚拟手运动，通过视觉刺激产生双手自主运动的大脑神经刺激，促进运动神经通路重建。
9.根据权利要求7所述的基于单目视觉引导的多模式手部康复系统进行多模式手部康复训练的方法，其特征在于，所述步骤4的具体过程如下：
步骤4.1：嵌入式单板计算机中的姿态识别模型，应用Google的MeidaPipe HandTracking模型，该模型对预处理的视频数据再进行视频图像帧下采样，然后利用手部特征检测器从全局图像中检测出手部位置，返回手部关键点的三维坐标数据；
步骤4.2：利用关键点三维坐标数据计算关节向量：
Figure FDA0003569857790000031
其中，上标r表示右手，下标i,j是关键点编号，
Figure FDA0003569857790000032
是关键点i指向关键点j的关节向量；
步骤4.3：选择编号为4、8、12、16、20的关键点，计算这些关键点处的关节角度，作为5个手指的运动角度，计算如下：
Figure FDA0003569857790000033
其中，
Figure FDA0003569857790000034
为编号为4、8、12、16、20的右手关键点关节角度，
Figure FDA0003569857790000035
为右手上连接第j-1个关节点与第j个关节点的向量，
Figure FDA0003569857790000036
为右手上连接第j个关节点和第j+1个关节点的向量，其中，j为关节点编号；
步骤4.4：利用三阶多项式拟合，离线建立气体体积与弯曲角度的关系，如下：
β＝a0+a1V+a2V2+a3V3 (3)
其中，V是气管内气体体积，β是手套手指弯曲角度，ai是多项式系数，i＝0,1,2,3，通过最小二乘法求得；
步骤4.5：气管内气体体积由气泵提供，而气泵由直流电机带动，因此有：
V＝q·t (4)
q＝c·v (5)
其中，q为气体流量，c为比例系数，v为电机转速，正转充气时v为正值，反转放气时v为负值；t是气泵充/放气时间；
步骤4.6：气动手套手指上布置的flex传感器实时测量手指弯曲角度β，将测量的角度β作为反馈值传递给控制系统，计算与期望值即关键点关节角度
Figure FDA0003569857790000037
的角度偏差，根据角度偏差计算气管内气体体积偏差，从而设计PID控制器，实现对手指运动的闭环控制，公式如下：
Figure FDA0003569857790000041
其中，u(t)为t采样时刻的控制气体输出值，e(t)气管内气体体积偏差，KP为比例系数，T1为积分时间常数，TD为微分时间常数；
步骤4.7：根据气体输出值u(t)调整气动驱动单元的充/放气时间，实现对气动康复手套手指运动角度的精确控制；
当患侧手为左手时，气动康复手套手指运动角度的精确控制过程同步骤4.1至步骤4.7。
10.很据权利要求8所述的基于单目视觉引导的多模式手部康复系统进行多模式手部康复训练的方法，其特征在于，所述手部特征检测器的检测方法如下：
先利用MeidaPipe Hand Tracking模型中的非极大值抑制算法检测出手掌所在位置，之后应用MeidaPipe Hand Tracking模型中特征金字塔模型提取与手掌关联的手指信息，从而获得完整的手部特征；
将获得的完整手部特征数据输入MeidaPipe Hand Tracking模型中的关键点检测模型，定位手部关键点，返回手部21个关键点的三维坐标数据，对关键点编号后构成数据集合{(xi,yi,zi)|i＝1,2,...,21}。
CN202210316249.8A 2022-03-29 2022-03-29 一种基于单目视觉引导的多模式手部康复系统及方法 Active CN114767464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210316249.8A CN114767464B (zh) 2022-03-29 2022-03-29 一种基于单目视觉引导的多模式手部康复系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210316249.8A CN114767464B (zh) 2022-03-29 2022-03-29 一种基于单目视觉引导的多模式手部康复系统及方法

Publications (2)

Publication Number Publication Date
CN114767464A true CN114767464A (zh) 2022-07-22
CN114767464B CN114767464B (zh) 2023-06-23

Family

ID=82424254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210316249.8A Active CN114767464B (zh) 2022-03-29 2022-03-29 一种基于单目视觉引导的多模式手部康复系统及方法

Country Status (1)

Country Link
CN (1) CN114767464B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115227468A (zh) * 2022-09-21 2022-10-25 深圳市心流科技有限公司 一种智能假肢的训练方法、智能假肢及存储介质
CN115954082A (zh) * 2022-12-08 2023-04-11 深圳市保身欣科技电子有限公司 一种联合图像识别技术的脑卒中康复训练方法及装置
CN118238152A (zh) * 2024-05-28 2024-06-25 华东交通大学 基于深度学习的无源欠驱动机械手指的设计方法及系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070200927A1 (en) * 2006-02-27 2007-08-30 Krenik William R Vision Measurement and Training System and Method of Operation Thereof
JP2013128736A (ja) * 2011-12-21 2013-07-04 Nihon Rihabiri Device Gijutsu Kenkyusho:Kk 水平・垂直ディスプレイを用いた上肢・下肢リハビリ訓練装置
CN104188783A (zh) * 2014-05-09 2014-12-10 华侨大学 神经-肌肉回路再建康复训练器
KR20160084524A (ko) * 2015-01-05 2016-07-14 대한민국(국립재활원장) 신경 역학적 손 기능 재활 시스템
WO2016190285A1 (ja) * 2015-05-26 2016-12-01 北海道公立大学法人札幌医科大学 リハビリテーションシステム、リハビリテーション用プログラム、及び、リハビリテーション方法
CN109259980A (zh) * 2018-09-07 2019-01-25 东北大学秦皇岛分校 一种手功能综合康复训练平台
US20190126145A1 (en) * 2014-10-22 2019-05-02 Activarium, LLC Exercise motion system and method
CN110013419A (zh) * 2019-05-14 2019-07-16 上海大学 一种双臂康复机器人及训练方法
CN110742774A (zh) * 2019-09-19 2020-02-04 深圳睿瀚医疗科技有限公司 一种基于Leap Motion的健患侧协同手部训练系统
CN111736709A (zh) * 2020-08-25 2020-10-02 北京深光科技有限公司 Ar眼镜控制方法、设备、存储介质及装置
CN112089427A (zh) * 2020-08-31 2020-12-18 南京麦澜德医疗科技有限公司 一种手指关节康复训练评估方法及系统
WO2021158138A1 (ru) * 2020-02-07 2021-08-12 Общество с ограниченной ответственностью "АйТи Юниверс" Система нейрореабилитации и способ нейрореабилитации
CN113743247A (zh) * 2021-08-16 2021-12-03 电子科技大学 基于Reders模型的手势识别方法
WO2021248136A1 (en) * 2020-06-05 2021-12-09 Battelle Memorial Institute Computer vision enhanced electromyography training systems and methods thereof
CN113940856A (zh) * 2021-10-22 2022-01-18 燕山大学 一种基于肌电-惯性信息的手部康复训练装置及方法
US20220030214A1 (en) * 2020-07-23 2022-01-27 Samsung Electronics Co., Ltd. Generation and distribution of immersive media content from streams captured via distributed mobile devices
CN114028153A (zh) * 2021-09-18 2022-02-11 深圳华鹊景医疗科技有限公司 一种康复机器人及其控制方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070200927A1 (en) * 2006-02-27 2007-08-30 Krenik William R Vision Measurement and Training System and Method of Operation Thereof
JP2013128736A (ja) * 2011-12-21 2013-07-04 Nihon Rihabiri Device Gijutsu Kenkyusho:Kk 水平・垂直ディスプレイを用いた上肢・下肢リハビリ訓練装置
CN104188783A (zh) * 2014-05-09 2014-12-10 华侨大学 神经-肌肉回路再建康复训练器
US20190126145A1 (en) * 2014-10-22 2019-05-02 Activarium, LLC Exercise motion system and method
KR20160084524A (ko) * 2015-01-05 2016-07-14 대한민국(국립재활원장) 신경 역학적 손 기능 재활 시스템
WO2016190285A1 (ja) * 2015-05-26 2016-12-01 北海道公立大学法人札幌医科大学 リハビリテーションシステム、リハビリテーション用プログラム、及び、リハビリテーション方法
CN109259980A (zh) * 2018-09-07 2019-01-25 东北大学秦皇岛分校 一种手功能综合康复训练平台
CN110013419A (zh) * 2019-05-14 2019-07-16 上海大学 一种双臂康复机器人及训练方法
CN110742774A (zh) * 2019-09-19 2020-02-04 深圳睿瀚医疗科技有限公司 一种基于Leap Motion的健患侧协同手部训练系统
WO2021158138A1 (ru) * 2020-02-07 2021-08-12 Общество с ограниченной ответственностью "АйТи Юниверс" Система нейрореабилитации и способ нейрореабилитации
WO2021248136A1 (en) * 2020-06-05 2021-12-09 Battelle Memorial Institute Computer vision enhanced electromyography training systems and methods thereof
US20220030214A1 (en) * 2020-07-23 2022-01-27 Samsung Electronics Co., Ltd. Generation and distribution of immersive media content from streams captured via distributed mobile devices
CN111736709A (zh) * 2020-08-25 2020-10-02 北京深光科技有限公司 Ar眼镜控制方法、设备、存储介质及装置
CN112089427A (zh) * 2020-08-31 2020-12-18 南京麦澜德医疗科技有限公司 一种手指关节康复训练评估方法及系统
CN113743247A (zh) * 2021-08-16 2021-12-03 电子科技大学 基于Reders模型的手势识别方法
CN114028153A (zh) * 2021-09-18 2022-02-11 深圳华鹊景医疗科技有限公司 一种康复机器人及其控制方法
CN113940856A (zh) * 2021-10-22 2022-01-18 燕山大学 一种基于肌电-惯性信息的手部康复训练装置及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIA, YK: "Gesture Recognition of Somatosensory Interactive Acupoint Massage Based on Image Feature Deep Learning Model", 《TRAITEMENT DU SIGNAL》, vol. 38, no. 3, pages 565 - 572 *
朱想先: "轻量级视觉手势识别系统", 《电子元器件与信息技术》, vol. 5, no. 6, pages 199 - 200 *
李双峰;: "TensorFlow Lite:端侧机器学习框架", 计算机研究与发展, no. 09 *
王清波;虞成;: "基于无线式数据手套的虚拟手控制系统研究", 中国医学装备, no. 12 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115227468A (zh) * 2022-09-21 2022-10-25 深圳市心流科技有限公司 一种智能假肢的训练方法、智能假肢及存储介质
CN115954082A (zh) * 2022-12-08 2023-04-11 深圳市保身欣科技电子有限公司 一种联合图像识别技术的脑卒中康复训练方法及装置
CN118238152A (zh) * 2024-05-28 2024-06-25 华东交通大学 基于深度学习的无源欠驱动机械手指的设计方法及系统

Also Published As

Publication number Publication date
CN114767464B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN114767464B (zh) 一种基于单目视觉引导的多模式手部康复系统及方法
CN108187310B (zh) 基于力觉信息和姿态信息的肢体运动意图理解与上肢康复训练机器人及其控制方法
WO2021068542A1 (zh) 基于力反馈技术的上肢主被动康复训练机器人系统
CN104586608B (zh) 基于肌电控制的可穿戴式助力手指及其控制方法
Alabbasi et al. Human motion tracking & evaluation using Kinect V2 sensor
CN109829451A (zh) 生物体动作识别方法、装置、服务器及存储介质
CN109079794A (zh) 一种基于人体姿态跟随的机器人控制与示教方法
CN107639620A (zh) 一种机器人的控制方法、体感交互装置以及机器人
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
CN115170773A (zh) 一种基于元宇宙的虚拟课堂动作交互系统和方法
Rasch et al. A joint motion model for human-like robot-human handover
CN116160441A (zh) 一种基于人臂运动预测的机器人遥操作避碰方法
CN113101137B (zh) 一种基于运动映射和虚拟现实的上肢康复机器人
CN117532609A (zh) 融合脑肌电与单目视觉的仿人机器人实时控制系统及方法
Yazdani et al. Ergonomically intelligent physical human-robot interaction: Postural estimation, assessment, and optimization
CN117697717A (zh) 一种外骨骼物理人机双向交互仿真系统
KR20110049703A (ko) 수술 로봇 시스템 및 그 복강경 조작 방법
Wang et al. Intuitive operation of a wheelchair mounted robotic arm for the upper limb disabled: The mouth-only approach
CN114602138B (zh) 基于人体运动模型的上肢个性化康复训练方法和系统
Piraintorn et al. Stroke rehabilitation based on intelligence interaction system
Jayasurya et al. Gesture controlled AI-robot using Kinect
Kitagawa et al. Human-like patient robot with chaotic emotion for injection training
Zhou et al. Design of control system for lower limb exoskeleton robot
Gentili et al. Human-robotic collaborative intelligent control for reaching performance
Rivera et al. Control of a wheelchair using an adaptive k-means clustering of head poses

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant