CN114366559A - 一种用于下肢康复机器人的多模态感知系统 - Google Patents

一种用于下肢康复机器人的多模态感知系统 Download PDF

Info

Publication number
CN114366559A
CN114366559A CN202111680056.2A CN202111680056A CN114366559A CN 114366559 A CN114366559 A CN 114366559A CN 202111680056 A CN202111680056 A CN 202111680056A CN 114366559 A CN114366559 A CN 114366559A
Authority
CN
China
Prior art keywords
sensor
human body
lower limb
joint
limb rehabilitation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111680056.2A
Other languages
English (en)
Inventor
谢龙汉
刘彪
周子康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202111680056.2A priority Critical patent/CN114366559A/zh
Publication of CN114366559A publication Critical patent/CN114366559A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00Apparatus for passive exercising; Vibrating apparatus ; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02Stretching or bending or torsioning apparatus for exercising
    • A61H1/0237Stretching or bending or torsioning apparatus for exercising for the lower limbs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00Apparatus for passive exercising; Vibrating apparatus ; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02Stretching or bending or torsioning apparatus for exercising
    • A61H1/0237Stretching or bending or torsioning apparatus for exercising for the lower limbs
    • A61H1/0255Both knee and hip of a patient, e.g. in supine or sitting position, the feet being moved in a plane substantially parallel to the body-symmetrical-plane
    • A61H1/0262Walking movement; Appliances for aiding disabled persons to walk
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B21/00Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices
    • A63B21/00178Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices for active exercising, the apparatus being also usable for passive exercising
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B21/00Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices
    • A63B21/00181Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices comprising additional means assisting the user to overcome part of the resisting force, i.e. assisted-active exercising
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/04Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for lower limbs
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/04Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for lower limbs
    • A63B23/0405Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for lower limbs involving a bending of the knee and hip joints simultaneously
    • A63B23/0464Walk exercisers without moving parts
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/12Driving means
    • A61H2201/1207Driving means with electric or magnetic drive
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16Physical interface with patient
    • A61H2201/1602Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/164Feet or leg, e.g. pedal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16Physical interface with patient
    • A61H2201/1602Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/164Feet or leg, e.g. pedal
    • A61H2201/1642Holding means therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16Physical interface with patient
    • A61H2201/1602Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165Wearable interfaces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5058Sensors or detectors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5058Sensors or detectors
    • A61H2201/5069Angle sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5058Sensors or detectors
    • A61H2201/5071Pressure sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2205/00Devices for specific parts of the body
    • A61H2205/10Leg
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2205/00Devices for specific parts of the body
    • A61H2205/12Feet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00Measuring physical parameters of the user
    • A61H2230/04Heartbeat characteristics, e.g. E.G.C., blood pressure modulation
    • A61H2230/06Heartbeat rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00Measuring physical parameters of the user
    • A61H2230/08Other bio-electrical signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00Measuring physical parameters of the user
    • A61H2230/08Other bio-electrical signals
    • A61H2230/10Electroencephalographic signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00Measuring physical parameters of the user
    • A61H2230/20Blood composition characteristics
    • A61H2230/207Blood composition characteristics partial O2-value
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00Measuring physical parameters of the user
    • A61H2230/62Posture
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/18Inclination, slope or curvature
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/30Speed
    • A63B2220/34Angular speed
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/40Acceleration
    • A63B2220/44Angular acceleration
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/50Force related parameters
    • A63B2220/54Torque
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/803Motion sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/807Photo cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/04Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations
    • A63B2230/06Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations heartbeat rate only
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/08Measuring physiological parameters of the user other bio-electrical signals
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/08Measuring physiological parameters of the user other bio-electrical signals
    • A63B2230/10Measuring physiological parameters of the user other bio-electrical signals electroencephalographic signals
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/20Measuring physiological parameters of the user blood composition characteristics
    • A63B2230/207P-O2, i.e. partial O2 value
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/62Measuring physiological parameters of the user posture

Abstract

本发明提供了一种用于下肢康复机器人的多模态感知系统,角度编码器可获取下肢关节运动参数;力矩传感器可以测量关节的力矩;惯性传感器感知人体各躯段的三维的姿态信息,检查异常的关节运动;足底压力传感器能获取步行的压力信息;视觉传感器则能感知视场中人体三维轨迹;表面肌电信号传感器获得肌肉的激活程度,疲劳时间、触发激活时间的信息;心率血氧传感器则获取训练时人体的血氧中氧气含量、心率速率变化。脑电仪则负责或者运动激活的相应的大脑皮层的兴奋、监测训练反馈神经回路的有效性。通过多种不同类型的传感器,系统地、全面地监测和评估康复患者在进行康复训练时过程和状态量。

Description

一种用于下肢康复机器人的多模态感知系统
技术领域
本发明属于康复机器人领域,尤其涉及一种用于下肢康复机器人的多模态感知系统。
背景技术
根据《中国脑卒中防治工程工作报告》统计及预测,到2030年我国将会有高达3177万的脑卒中患者。现有的1300多万患者中,卒中40-65岁年龄段患者占比高达50%。脑卒中高危人群中40-65岁人群占比也高于60%。脑卒中患者逐步呈现高发病率、年轻的趋势。
随着生活水平的提高,中风患者的康复需求也日益迫切。越来越多的中风患者寄希望于康复训练来重新获得运动或行走的能力,改善生活质量。由于我国庞大的人口基数,存在广大的需要的康复训练的群体,但是康复资源却比较稀缺。因而,许多中风患者只进行过短期的康复治疗,或者仅仅在家中训练。这样易错过康复黄金期,留下永久的残疾或后遗症。
目前我国康复领域的发展还远算不上先进,大部分康复科室还是依靠康复治疗师的手动辅助,康复的效果与康复治疗师的经验、个人能力等很相关。而且康复治疗工作任务繁重,工作强度也比较大,工作效率受限。人工康复训练还存在康复训练参数不直观难量化、运动速度、轨迹以及作用交互力协同的问题。
现有的康复治疗器械或康复机器人虽然可以代替部分康复治疗师的工作。但是,由于现有的大部分产品采集的康复患者的训练过程数据有限,而且大部分不能及时地显示反馈。而且,对康复训练的过程和状态监测地不够全面,无法与康复的量表进行量化的对应,导致无法精确的对康复效果做出客观的评价,也缺乏相应的改进康复效果的措施。
王文东等在中国发明公开专利“一种上肢康复机器人多模态信息融合感知系统”中提及的多模态信息融合感知系统,主要的传感器信息是基于生理信号的 sEMG、EEG和ECG信号,通过采集处理以及M-C-E来进行运动意图的分类识别。但是该专利申请中没有考虑其他形式的运动信息,比如关节的角度信息、力矩信息与周围的交互力信、血氧心率的变化,其所提及的方法主要用于上肢的康复,但下肢康复与上肢康复具有很大的差异。
发明内容
为了解决现有的康复训练的不足,本发明提供一种用于下肢康复机器人的多模态感知系统,能多维度、多模态地全面系统地感知下肢康复训练中的各种运动学参数、力学以及康复患者的生理参数,用于下肢运动的监测、状态感知,能够便于后续对康复训练过程做出准确、量化、客观的评价。
为了实现本发明目的,本发明提供的一种用于下肢康复机器人的多模态感知系统,包括外骨骼机体、角度编码器、力矩传感器、惯性传感器、足底压力传感器、视觉传感器、心率血氧传感器、表面肌电传感器、脑电传感器和数据采集处理器,
外骨骼机体用于穿戴在人体下肢上;
所述角度编码器设置在外骨骼机体上的关节处,用于监测人体关节的运动参数;
所述力矩传感器设置在外骨骼机体上的关节处,用于监测外骨骼机体关节随人体关节转动时的关节力矩大小;
所述惯性传感器用于实时测量人体的重心姿态、脚部的内/外翻程度,并且用于测量关节的转动角度;
所述足底压力传感器用于检测人体的压力信息,通过所述压力信息获取人体的步态参数、压力中心变化、步态同步性信息;
所述视觉传感器用于获取感知人体在三维空间的姿态,感知视场中人体姿态、关节运动、重心起伏变化、运动的三维轨迹、躯干偏移偏转数据,结合人体质量分布,获得人体重心转移的轨迹;
所述心率血氧传感器用于实时获取人体的心率和血氧中氧气含量的波动;
所述表面肌电传感器用于测量表面肌电信号仪获得肌肉的激活程度、疲劳时间、触发激活时间的信息;
所述脑电传感器用于检测人体依靠运动想象来刺激大脑的兴奋信号,以定位运动控制中枢;
所述数据采集处理器用于接收各传感器的数据并进行处理,得到用于输出显示或者用于反馈和评估的数据。
进一步地,所述运动参数包括关节的角度位置、角速度和角加速度。
进一步地,在人体的躯干、大腿、小腿和脚背上均分别设置有所述惯性传感器,相邻惯性传感器之间均包含有人体的关节,通过相邻两惯性传感器测量的数据得到关节的转动角度。
进一步地,所述足底压力传感器有多个,分别排布在人体足底不同位置处。
进一步地,多个所述足底压力传感器均设置在鞋垫上。
进一步地,多个足底压力传感器呈阵列排布。
进一步地,所述心率血氧传感器设置在人体大腿处。
进一步地,所述视觉传感器采用能够获取图像和深度信息的相机,将获取的运动图像传送至数据采集处理器的GPU进行处理,得到人体的各个躯段的位置和姿态。
进一步地,数据采集处理器的GPU通过运行图像深度神经网络CNN模型,输出一帧图片的重心位置,将时间序列图片和深度信息依次输入,获取重心运动的连续轨迹。
进一步地,数据采集处理器采用FIFO缓存芯片。
与现有技术相比,本发明能够实现的有益效果至少如下:
1)本发明提出包括运动信息、力学信息、生理信息在内的多种模态信息的采集系统,用于下肢康复过程中的多种参数监测,以实现立体化的监测。
2)所提出的下肢康复机器人的多模态感知体统可以与下肢康复机器人一起使用,能够为下肢康复运动提供实时的反馈。
3)除了康复运动过程中的参数状态监测以外,该系统还能够为下肢康复运动训练结果进行评估,用以优化下肢康复治疗的效果。
4)本发明通过置于腰部及其下肢各躯段的惯性传感器,可以获得身体躯干即下肢各个躯段的三维信息和关节角度,可实现运动信息的实时在线获取。
附图说明
图1是本发明实施例中下肢康复机器人多模态感知系统各传感器布置示意图;
图2是本发明实施例中多模态信息的种类示意图;
图3是本发明实施例中下肢康复机器人多模态感知系统的组成框图;
图中,1-脑电传感器;2-惯性传感器;3-力矩传感器;4-外骨骼机体;5- 心率血氧传感器;6-视觉传感器;7-角度编码器;8-表面肌电传感器;9-足底压力传感器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都是本发明保护的范围。
请参阅图1,本发明提供一种用于下肢康复机器人的多模态感知系统,包括角度编码器7、惯性传感器2、力矩传感器3、足底压力鞋垫、视觉传感器6、心率血氧传感器5、表面肌电传感器8和脑电传感器1。
本发明中,所述角度编码器7设置在使用者所穿戴的外骨骼机体4的关节处,用于监测人体关节的运动参数,所述运动参数包括关节的角度位置、角速度和角加速度。
在本发明的其中一些实施例中,所述角度编码器7为盘式扁平旋转结构,体积小,线性度好,响应速度快,适用于具有固定转轴的刚性连杆的外骨骼康复机构。输出的是电压信号,根据精度和采用速度要求,可以选择不同分辨率和不同采用速度的A/D模数转换器。
本发明中,惯性传感器2用于感知下肢各躯段的三维姿态变化。
惯性传感器2使用时贴附于物体表面随物体一起运动,在本发明的其中一些实施例中,在躯干、大腿、小腿和脚背上均分布贴附有惯性传感器2,用于测量所贴附的身体各躯段在三维空间中的姿态空间信息,可以检查异常的关节运动。其中,可以用欧拉角或者四元数来描述身体各躯段在三维空间中的确定姿态。
具体地,所述惯性传感器2用于对康复患者的重心姿态、脚部的内/外翻程度进行实时的测量,用量化的传感器数据,直接客观地表征康复患者的各部分姿态信息,用以评估康复患者的康复训练结果。此外,通过测量关节两端的相对姿态,可以间接地测量关节的转动运动参数。因此,在本发明的其中一些实施例中,惯性传感器2分别布置在人体的髋关节、膝关节、踝关节两侧的躯干段上,即在躯干、大腿、小腿和脚背上均分布贴附有惯性传感器2,保证两个惯性传感器之间夹有几个人体转动关节。通过相邻两段间的相对三维姿态测量,计算出关节的转动角度。
本发明中,力矩传感器3用于测量关节力矩大小。人体关节转动带动外骨骼绕其机械关节转动,机械关节转动的力矩可以被安装在机械关节的力矩传感器检测到,再结合角度编码器测量人体关节的运动信息,即可估算出人体关节的实际输出力矩大小。
在本发明的其中一些实施例中,所述力矩传感器3采用中空轴盘式力矩传感器3,通过内外环之间的弹性形变元件,动态地感知力矩的大小。其外形结构能很方便地集中于刚性外骨骼的旋转轴上,外骨骼的髋膝踝关节旋转轴分别和穿戴者的髋膝踝关节轴对齐,人体关节转动,带动外骨骼连杆绕其机械关节转动,进而力矩被关节处的力矩传感器3感知。保证了在进行下肢康复训练时,能够动态的感知关节力矩的变化,并准确的评估康复的效果。
在康复时外骨骼机体4是穿戴在人体上的,角度编码器和力矩传感器设置在外骨骼机体4上,足底压力传感器9设置在鞋垫上,其他所有传感器都是设置在安装在使用者人体上。
所述力矩传感器3在被动康复训练模式下,力矩传感器3能够动态地感知外骨骼关节驱动力大小,进而获取外骨骼辅助驱动力的大小。在主动或阻抗训练模式下,人体有阻力地带动外骨骼,能够有效地评估人体关节的输出力矩大小。实时准确的力矩信息保证了在进行下肢康复训练时,能够确切的了解人体关节肌肉的发力状态、肌肉阻抗、疲劳程度等,进而准确地评估康复训练。
本发明中,足底压力传感器9可检测人体的压力信息,通过压力信息获取康复患者的压力中心变化、步态同步性、步态切换、步频、步相周期性等信息。
在本发明的其中一些实施例中,足底压力传感器9有多个,多个足底压力传感器9排列成阵列,从而可以感知整个足底不同位置的压力大小。
在本发明的其中一些实施例中,足底压力传感器9设置在足底压力鞋垫上,使用时,使用者踩在足底压力鞋垫上,即可测量整个足底不同位置的压力大小。
康复患者通常会由于部分肌肉肌无力以及运动的不协调造成足底压力的异常,所述足底压力鞋垫实时获取康复患者由于部分肌肉肌无力以及运动的不协调造成足底压力的异常的足底压力信息,通过分析足底压力变化情况能够便于实时改进康复训练、识别错误的训练模式、评估康复训练效果、异常的足部姿态(足内/外翻)。通过时间序列统计分析,可用获取康复患者的步态参数(步幅、步频)、重心转移、双腿同步度等步态信息,再改进和反馈作用于整个康复训练治疗。
本发明中,视觉传感器6用以感知人体在三维空间的姿态,感知视场中人体姿态、关节运动、重心起伏变化、运动的三维轨迹、躯干偏移偏转等多时空的数据,结合人体质量分布,获得人体重心转移的轨迹。
在本发明的其中一些实施例中,所述视觉传感器6采用能够获取图像和深度信息的相机。使用时,相机安装在康复患者正前方0.8m-1.2m高的位置。相机以每秒30帧的速率捕获康复患者的运动图像,然后传送至数据采集处理器的 GPU中进行处理,得到人体的各个躯段的位置和姿态。
所述视觉传感器6通过识别并确定身体躯段的图像深度学习算法,如关键点三维跟踪算法,来识别人体各个躯段的相对位置,结合各身体躯段的标准质心分布规律,得到人体的重心位置,通过连续的时间序列图像即可得到连续的运动轨迹。通过人体躯段的空间向量化,可以解算向量的夹角变化,用来求解关节的角度变化信息。
本发明中,心率血氧传感器5用于实时获取人体的心率和血氧中氧气含量的波动,用以评价运动代谢的水平。
在本发明的其中一些实施例中,所述心率血氧传感器5放置于人体大腿前端可接触皮肤的地方,用来监测康复患者训练心率变化和血液中氧含量波动。当康复患者处于不同运动状态时,肌肉所需的能量代谢也会起伏变化,肌肉的能耗代谢、供血量和需氧量会呈现对应的波动,直接反应在心跳速率和血氧的波动变化上。
本发明中,表面肌电传感器8用于测量表面肌电信号仪获得肌肉的激活程度、疲劳时间、触发激活时间的信息。同时通过表面肌电传感器8实时检测患者是否有异常状态,如果有,就采取措施避免肌肉损伤,提升康复的安全性。
所述表面肌电传感器8用来研究特定肌肉(群)(股直肌、腘绳肌群、腓肠肌、比目鱼肌、胫骨前肌)的激励程度,直接采集驱动肌肉的表面动作电位。当人体需要大力矩输出时,响应的肌肉刺激也会相应的增强,肌肉的动作电位和持续时长会明显加强,表面肌电信号传感器可以感知肌肉的激励强度信息。
所述表面肌电感器用来监测目标肌肉的激活程度、激活水平和疲劳时间,将能直观地呈现肌肉的力量输出和肌肉刚度。康复训练过程中对康复患者肌肉状态的监测,能够有针对性地根据肌肉地激活程度,调整康复训练,保证目标肌肉群得到合适强度的训练,提升整体训练效果。同时,肌肉的疲劳时间、肌肉的阻抗状态、肌肉的异常(痉挛)等可以通过表面肌肉传感器来获取。
本发明中,所述脑电传感器1用于检测康复患者依靠运动想象来刺激大脑的兴奋信号,定位新的运动控制中枢,帮助康复患者重新获取步态行走能力,结合大脑的兴奋区,后续可以有针对性地为康复患者制定个性化地康复任务,提升康复效率,缩短康复训练的时间。
脑电传感器1能够感知大脑皮层的兴奋信号,康复患者通过运动刺激大脑,强化康复的效果,在大脑皮层中形成新的控制中枢,可以检测下肢运动刺激是否在大脑皮层中形成新的兴奋中枢,判断运动刺激反馈回路是否建立。从而可以用来帮助康复患者重新获取步态行走能力。
通过对大脑信号地分析,可以确定康复治疗任务是否能够有效地引起大脑皮层的兴奋,从而更能有针对性地为康复患者制定个性化地康复任务。
在本发明的其中一些实施例中,脑电传感器1采用脑电仪。
本发明提供的系统工作时,各传感器上电进行初始化,初始化后,传感器进入稳定运行状态,会接受来自各个传感器的数据。众多传感器所采集的信息实时反馈给控制器进行处理,并将过程的数据实时用于可视化的显示、用于控制决策以及康复训练效果的评估处理。
本发明中,所述的数据采集处理器同时接收来自多个传感器的海量传感器数据。
所述视觉传感器6采样的图像和深度信息主要通过数据采集处理器的GPU 来处理,GPU运行训练好的身体躯段的图像深度神经网络CNN模型,输出一帧图片的重心位置,将时间序列图片和深度信息依次输入,获取重心运动的连续轨迹。
在本发明的一些实施例中,数据采集处理器采用高速的FIFO缓存芯片,来匹配主控单元与多路数据I/O之间不同速度模式。其主控单元采用多核多线程技术来并行加速处理各传感器数据。数据采集处理器对采集的数据进行数字滤波处理,根据不同模态的数据,分析其基本的特征量,进行数据融合,数据解算等,得到可用于输出显示或者用于反馈和评估的数据。
本发明提供的下肢康复机器人的多模态感知系统能够对下肢运动的参数进行多模态的感知,采用多模态传感融合算法,可对下肢康复的各种状态量实现更加精准的测量。由于多传感所采用数据的具有交叉性,能够保证传感系统具有感知系统具有足够多的冗余性。保证个别传感器失效时,传感系统仍能够采集正确的数据,能够提升系统的稳健性。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种用于下肢康复机器人的多模态感知系统,其特征在于:包括外骨骼机体(4)、角度编码器(7)、力矩传感器(3)、惯性传感器(2)、足底压力传感器(9)、视觉传感器(6)、心率血氧传感器(7)、表面肌电传感器(8、脑电传感器(1)和数据采集处理器,
外骨骼机体(4)用于穿戴在人体下肢上;
所述角度编码器(7)设置在外骨骼机体(4)上的关节处,用于监测人体关节的运动参数;
所述力矩传感器(3)设置在外骨骼机体(4)上的关节处,用于监测外骨骼机体(4)关节随人体关节转动时的关节力矩大小;
所述惯性传感器(2)用于实时测量人体的重心姿态、脚部的内/外翻程度,并且用于测量关节的转动角度;
所述足底压力传感器(9)用于检测人体的压力信息,通过所述压力信息获取人体的步态参数、压力中心变化、步态同步性信息;
所述视觉传感器(6)用于获取感知人体在三维空间的姿态,感知视场中人体姿态、关节运动、重心起伏变化、运动的三维轨迹、躯干偏移偏转数据,结合人体质量分布,获得人体重心转移的轨迹;
所述心率血氧传感器(5)用于实时获取人体的心率和血氧中氧气含量的波动;
所述表面肌电传感器(8)用于测量表面肌电信号仪获得肌肉的激活程度、疲劳时间、触发激活时间的信息;
所述脑电传感器(1)用于检测人体依靠运动想象来刺激大脑的兴奋信号,以定位运动控制中枢;
所述数据采集处理器用于接收各传感器的数据并进行处理,得到用于输出显示或者用于反馈和评估的数据。
2.根据权利要求1所述的一种用于下肢康复机器人的多模态感知系统,其特征在于:所述运动参数包括关节的角度位置、角速度和角加速度。
3.根据权利要求1所述的一种用于下肢康复机器人的多模态感知系统,其特征在于:在人体的躯干、大腿、小腿和脚背上均分别设置有所述惯性传感器,相邻惯性传感器之间均包含有人体的关节,通过相邻两惯性传感器测量的数据得到关节的转动角度。
4.根据权利要求1所述的一种用于下肢康复机器人的多模态感知系统,其特征在于:所述足底压力传感器(9)有多个,分别排布在人体足底不同位置处。
5.根据权利要求4所述的一种用于下肢康复机器人的多模态感知系统,其特征在于:多个所述足底压力传感器(9)均设置在鞋垫上。
6.根据权利要求4所述的一种用于下肢康复机器人的多模态感知系统,其特征在于:多个足底压力传感器(9)呈阵列排布。
7.根据权利要求4所述的一种用于下肢康复机器人的多模态感知系统,其特征在于:所述心率血氧传感器(5)设置在人体大腿处。
8.根据权利要求1所述的一种用于下肢康复机器人的多模态感知系统,其特征在于:所述视觉传感器(6)采用能够获取图像和深度信息的相机,将获取的运动图像传送至数据采集处理器的GPU进行处理,得到人体的各个躯段的位置和姿态。
9.根据权利要求1所述的一种用于下肢康复机器人的多模态感知系统,其特征在于:数据采集处理器的GPU通过运行图像深度神经网络CNN模型,输出一帧图片的重心位置,将时间序列图片和深度信息依次输入,获取重心运动的连续轨迹。
10.根据权利要求1-9任一所述的一种用于下肢康复机器人的多模态感知系统,其特征在于:数据采集处理器采用FIFO缓存芯片。
CN202111680056.2A 2021-12-31 2021-12-31 一种用于下肢康复机器人的多模态感知系统 Pending CN114366559A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111680056.2A CN114366559A (zh) 2021-12-31 2021-12-31 一种用于下肢康复机器人的多模态感知系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111680056.2A CN114366559A (zh) 2021-12-31 2021-12-31 一种用于下肢康复机器人的多模态感知系统

Publications (1)

Publication Number Publication Date
CN114366559A true CN114366559A (zh) 2022-04-19

Family

ID=81141798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111680056.2A Pending CN114366559A (zh) 2021-12-31 2021-12-31 一种用于下肢康复机器人的多模态感知系统

Country Status (1)

Country Link
CN (1) CN114366559A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601840A (zh) * 2022-11-07 2023-01-13 四川大学(Cn) 一种考虑视觉和足底压力多模感知的行为障碍检测方法
TWI804358B (zh) * 2022-06-22 2023-06-01 上銀科技股份有限公司 即時調整步態訓練參數之方法
CN116458852A (zh) * 2023-06-16 2023-07-21 山东协和学院 基于云平台及下肢康复机器人的康复训练系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108392795A (zh) * 2018-02-05 2018-08-14 哈尔滨工程大学 一种基于多信息融合的康复机器人多模态控制方法
CN108814894A (zh) * 2018-04-12 2018-11-16 山东大学 基于视觉人体位姿检测的上肢康复机器人系统及使用方法
CN109528203A (zh) * 2019-01-21 2019-03-29 郑州大学 一种基于多源信息融合的交互式脑卒中患者步态训练及评测系统
CN109568083A (zh) * 2018-12-15 2019-04-05 华南理工大学 一种多模态交互的上肢康复机器人训练系统
CN110125909A (zh) * 2019-05-22 2019-08-16 南京师范大学镇江创新发展研究院 一种多信息融合人体外骨骼机器人控制保护系统
CN110141239A (zh) * 2019-05-30 2019-08-20 东北大学 一种用于下肢外骨骼的运动意图识别及装置方法
CN110537921A (zh) * 2019-08-28 2019-12-06 华南理工大学 一种便携式步态多传感数据采集系统
CN111557828A (zh) * 2020-04-29 2020-08-21 天津科技大学 基于健患侧耦合的主动式脑卒中下肢康复机器人控制方法
CN112022619A (zh) * 2020-09-07 2020-12-04 西北工业大学 一种上肢康复机器人多模态信息融合感知系统
CN112754468A (zh) * 2021-01-07 2021-05-07 华南理工大学 一种基于多源信号的人体下肢运动检测及识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108392795A (zh) * 2018-02-05 2018-08-14 哈尔滨工程大学 一种基于多信息融合的康复机器人多模态控制方法
CN108814894A (zh) * 2018-04-12 2018-11-16 山东大学 基于视觉人体位姿检测的上肢康复机器人系统及使用方法
CN109568083A (zh) * 2018-12-15 2019-04-05 华南理工大学 一种多模态交互的上肢康复机器人训练系统
CN109528203A (zh) * 2019-01-21 2019-03-29 郑州大学 一种基于多源信息融合的交互式脑卒中患者步态训练及评测系统
CN110125909A (zh) * 2019-05-22 2019-08-16 南京师范大学镇江创新发展研究院 一种多信息融合人体外骨骼机器人控制保护系统
CN110141239A (zh) * 2019-05-30 2019-08-20 东北大学 一种用于下肢外骨骼的运动意图识别及装置方法
CN110537921A (zh) * 2019-08-28 2019-12-06 华南理工大学 一种便携式步态多传感数据采集系统
CN111557828A (zh) * 2020-04-29 2020-08-21 天津科技大学 基于健患侧耦合的主动式脑卒中下肢康复机器人控制方法
CN112022619A (zh) * 2020-09-07 2020-12-04 西北工业大学 一种上肢康复机器人多模态信息融合感知系统
CN112754468A (zh) * 2021-01-07 2021-05-07 华南理工大学 一种基于多源信号的人体下肢运动检测及识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI804358B (zh) * 2022-06-22 2023-06-01 上銀科技股份有限公司 即時調整步態訓練參數之方法
CN115601840A (zh) * 2022-11-07 2023-01-13 四川大学(Cn) 一种考虑视觉和足底压力多模感知的行为障碍检测方法
CN116458852A (zh) * 2023-06-16 2023-07-21 山东协和学院 基于云平台及下肢康复机器人的康复训练系统及方法
CN116458852B (zh) * 2023-06-16 2023-09-01 山东协和学院 基于云平台及下肢康复机器人的康复训练系统及方法

Similar Documents

Publication Publication Date Title
Viteckova et al. Gait symmetry measures: A review of current and prospective methods
TarniŢă Wearable sensors used for human gait analysis
CN114366559A (zh) 一种用于下肢康复机器人的多模态感知系统
JP4825456B2 (ja) 筋活動推定システム
CN108720841A (zh) 基于云检测的可穿戴下肢运动矫正系统
CN105595995B (zh) 生理数据检测系统、检测装置、终端设备、数据分析方法
Yi et al. Continuous prediction of lower-limb kinematics from multi-modal biomedical signals
Wang et al. Wearable sensors for activity monitoring and motion control: A review
Yi et al. Smart healthcare-oriented online prediction of lower-limb kinematics and kinetics based on data-driven neural signal decoding
Rabe et al. Performance of sonomyographic and electromyographic sensing for continuous estimation of joint torque during ambulation on multiple terrains
Jiang et al. Exploration of gait parameters affecting the accuracy of force myography-based gait phase detection
Sheng et al. Metric-based muscle synergy consistency for upper limb motor functions
Daponte et al. Electronic measurements in rehabilitation
Bajpai et al. A novel instrumented outsole for real-time foot kinematic measurements: validation across different speeds and simulated foot landing
Zhao et al. Multimodal sensing in stroke motor rehabilitation
WO2017218907A1 (en) Systems, devices, and methods for determining an overall strength envelope
Sabapathy et al. Competent and Affordable Rehabilitation Robots for Nervous System Disorders Powered with Dynamic CNN and HMM
Howard et al. Non-contact versus contact-based sensing methodologies for in-home upper arm robotic rehabilitation
Huang et al. A kinematic data based lower limb motor function evaluation method for post-stroke rehabilitation
Huang et al. Wearable sensors for Detecting and Measuring kinetic characteristics
CN114366557A (zh) 用于下肢康复机器人的人机交互系统及方法
Ahmad et al. Development of wearable electromyogram for the physical fatigue detection during aerobic activity
CN114795831A (zh) 基于多源信息融合的运动训练设备及评价系统、方法
Sousa et al. A gait analysis laboratory for rehabilitation of patients with musculoskeletal impairments
Lou et al. IMU-Based Gait Phase Recognition for Stroke Survivors: Preliminary Results

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220419

RJ01 Rejection of invention patent application after publication