CN106725445B - 一种脑电波控制的便携式人体运动损伤监护系统与方法 - Google Patents

一种脑电波控制的便携式人体运动损伤监护系统与方法 Download PDF

Info

Publication number
CN106725445B
CN106725445B CN201710108629.1A CN201710108629A CN106725445B CN 106725445 B CN106725445 B CN 106725445B CN 201710108629 A CN201710108629 A CN 201710108629A CN 106725445 B CN106725445 B CN 106725445B
Authority
CN
China
Prior art keywords
module
user
brain wave
sports
injury gained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710108629.1A
Other languages
English (en)
Other versions
CN106725445A (zh
Inventor
王太宏
苏瑞福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201710108629.1A priority Critical patent/CN106725445B/zh
Publication of CN106725445A publication Critical patent/CN106725445A/zh
Application granted granted Critical
Publication of CN106725445B publication Critical patent/CN106725445B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • A61B5/1117Fall detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/10Athletes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04Constructional details of apparatus
    • A61B2560/0431Portable apparatus, e.g. comprising a handle or case
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Power Engineering (AREA)
  • Cardiology (AREA)
  • Psychology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种脑电波控制的便携式人体运动损伤监护系统与方法。该系统包括:脑电波检测装置、运动损伤监护装置、防护装置、云服务器。运动损伤监护装置,采集并加工使用者运动相关信息,与模板库对比以预判使用者是否存在运动损伤,在存在运动损伤时,将脑电波与指令库对比以判断是否发出防护指令至防护装置或者发出急救指令至云服务器。本发明采用多传感器动态互补滤波算法,获取使用者精确的加速度、速度、角度、位置、高度信息;采用时域转频域的方式,并结合图像匹配的方法,融合使用者生理信息、环境信息、运动信息、位置信息,判断当前使用者所处的运动状态;采用脑电波控制的方式,实现对人体运动损伤的快速防护与急救。

Description

一种脑电波控制的便携式人体运动损伤监护系统与方法
技术领域
本发明涉及远程监护领域及运动损伤预防领域,特别涉及一种脑电波控制的便携式人体运动损伤监护装置与方法。
背景技术
体育运动分为保健体育和竞技体育,我国大力投入竞技体育,提倡大众健身运动,运动损伤也日趋增加,影响了运动员的训练比赛和日常的健身活动,据抽样统计,大学生在篮球运动中损伤率超过80%。运动损伤的原因来源于多个方面,包括对运动损伤理解不足、准备活动不充分、技术动作上的错误、运动负荷量过大、身体状况不良、环境气温影响等情况。以马拉松为例,在16年的广东清远市马拉松,受伤率60%,除了提升运动员的防护意识,也需要相应的便携式人体监护系统保护运动员的安全。
此外,据16年民政部公布的《2015年社会服务发展统计公报显示》,截止2015年低,我国60岁及以上的老年人口已达22200万人,占总人口的16.1%,人口老龄化日益严重,一方面,老年人口的监护给年轻人带来巨大的压力,另一方面,由于监护和医疗保障的欠缺,导致一些老年人在意外伤害中不能得到及时有效的监护。
市场上现有的防护产品大多数是防护垫,现有的运动损伤防护研究主要集中于检测运动跌倒的情况,判断是跌倒情况后则发送救护信息,主要有视频图像分析、传感器监测装置、智能手机监测。视频检测分析无法保证用户的隐私安全;智能手机由于大小不一、内置传感器不一、处理性能不一,无法满足多方面需求;而传感器检测方式的检测,目前主要采用加速度计传感器和基于人体运动加速度特征的不同算法来检测跌倒状态,然而日常的一些较高强度运动,如慢跑、快速坐下也会产生一个类似跌倒的大加速度特征,单独使用加速度传感器进行跌倒检测,采集的数据比较单一,不足以完全反映人体姿态变化,容易造成许多假的警报。另一方面,跌倒监测都是基于跌倒后的处理,无法达到事先预防的效果。
再者,市场上的一些监护设备笨重,不仅无法给需要外出的老年人提供便利,更无法实时监测老年人的身体状况,也无法实时监测老年人的实时位置,而另外一些便携设备功能单一,不足以检测多样化的活动,此外,单个远程服务器如果出现宕机,会使得整个系统瘫痪,因此,极需要有一种便携式的运动损伤监护系统实时守护老年人的健康。
根据以上的分析,目前的运动损伤监护系统主要存在以下问题:1、检测方法单一,会给系统发送假警报信息,识别正确率低。2、在运动损伤后发出警报,无法减少运动损伤,缺乏事先预判。3、缺乏有效的、高灵敏度的防护机制。因此,如何实现一个智能化、高灵敏度的人体运动损伤监护系统是一个重要的问题。
现在存在的运动损伤监护系统专利公开方案,首先在检测损伤的准确性存在一定的不足,其次缺乏提前预判机制,灵敏度不足,此外,缺乏有效的监护机制,无法使人体在运动过程中得到保护。
中国专利公开号CN106097654A公开了本发明公开了一种跌倒检测方法和穿戴式跌倒检测装置,通过采集气压计的值,计算气压的变化率,当气压计的门限值和变化率超过预设的值时,判断为跌倒状态。由于该检测装置1、采用单一的气压计计算,气压容易受温度影响,2、如果遇到风比较大的情况下,气压容易突变,造成误判。
中国专利公开号CN105869354A公开了本发明公开了基于吸引子传播算法的老人跌倒检测方法,通过采集传感器样本信息,归一化后进行AP聚类,利用聚类构建平衡二叉树,通过加权和查找平衡二叉树,从而得到跌倒检测的结果。由于该检测方法1、传感器的数据是连续的,并不具有同一性,样本加权后不同的数据会得到类似的结果。2、采用吸引子传播算法聚类受偏向参数影响,容易造成误判。
中国专利公开号CN105844857A公开了一种低功耗多功能跌倒检测报警系统,通过使用者选择不同的工作模式来控制相应的检测装置,通过加速度和双脚压力的变化来检测人是否跌倒,当跌倒时通过移动通信模块向监护人报警。由于该检测装置1、模式的切换需要人为的执行,智能化程度低。2、通过加速度阈值判断的方式,容易造成误判。
中国专利公开号CN105640561A公开了一种超低功耗跌倒检测控制方法,通过主控设备与多功能检测背心单元、两脚的压力检测鞋垫单元组成,通过加速度阈值比较的方法和压力阈值比较的方法检测人是否跌倒,通过蓝牙传输报警数据。由于该检测装置1、通过阈值的判断方法,误判率高。2、采用蓝牙的通信方式,通信距离较短,无法及时通知到监护人。
中国专利公开号CN105575058A公开了基于朴素贝叶斯算法的跌倒检测报警系统及方法,包含采集模块、处理模块、传输模块、判断模块和通知模块,通过采集人体活动中上躯干的三维加速度、三维角速度的方法。计算出合加速度和合角速度。通过朴素贝叶斯跌倒检测算法对人体活动进行分类识别,得到运动模型。由于该检测装置1、样本的划分会影响到后续的检测,如下蹲的数据可能和跌倒的合加速度和角速度是一样的。2、采用条件概率的计算方法找出概率的最大值,噪声对计算影响较大。
中国专利号CN105551194A公开了一种跌倒检测方法及装置,通过在鞋底三个内侧面进行压力采集,当采集到的压力信号在某个区间内或大于预设值,判断为跌倒,并发出报警信号。由于该检测装置1、采用单一的压力信号阈值作为判断标准,在运动时突然停下,也会出类似跌倒的情况。
中国专利号CN105590409A公开了一种基于大数据的人体跌倒检测方法与系统,通过手机内置传感器采集信息构建特征向量,通过机器学习模型识别是否发生跌倒,当判断为用户跌倒状态,采集到信息上传到大数据平台,采用相似度度量算法分析上传的数据并更新,形成训练样本。由于该检测装置1、由于大数据平台需要大量的数据样本作为训练,在初期的数据量会影响判断结果。2、采用相似性的方法容易造成误判,如快速坐下,系统也会认为是跌倒状态。
中国专利号CN105769205A公开了一种身体信息检测设备与跌倒检测系统,通过惯性传感器采集的运动姿态数据以及血氧和心率等生理数据,采用跌倒检测算法对运动姿态数据进行判断是否发生跌倒,通过WIFI工组网的方式进行多节点跌倒检测。由于该检测系统1、每次数据包的处理流程通过云服务器的模型进行训练,增加了跌倒判断的时间,导致无法及时救护。2、通过WIFI的方式入网,适用范围小。
中国专利号CN100560020C公开了基于嵌入式Web服务器的心电远程监护方法,通过微处理器嵌入Web服务器,通过浏览器访问嵌入式Web服务器获得远程心电数据。由于该监护系统1、设备定义带网络接口模块,不适合外出携带,只要离开网络接口就无法传输数据.2、读取心电图信号,并进行QRS波检测,心率计算及五种心率失常分析,这是常见的诊断,无法涉及到运动状态下的分析。3、采集数据是单一的心电信号。
中国专利号CN103799990A公开了一种科技社区老人健康远程监护系统,通过对人体生命体征和运动情况进行监测,当有异常情况时通过社区监控中心通知相关的医疗救护机构进行救护。由于该监护系统1、虽然包含了无线血压脉搏仪、体温仪、跌倒检测仪,但是集成度差,不易携带。2、跌倒方式采用加速度阈值的判断方式,容易造成误报警。
中国专利号CN105433938A公开了一种预防长跑体测猝死的远程监护系统,通过生理参数采集模块和血压采集模块佩戴在用户身上,利用手机为采集数据做中转模块,可以在PC上看到体测着的生理信息及位置,当有异常发生时,及时救护。由于该监护系统1、采用设备向手机发送数据的方式,可方便携带,但是离开手机后没法独立工作,便携性一般。2、采集的数据是心率和血压,无法反映所有情况,容易造成误报警。
综上所述,目前涉及远程监护系统的公开专利及其技术方案所存在的主要不足包括:1、功能单一,或采用加速度阈值判断,或采用脚底压力的方法判断,或采用单一的心电数据判断,容易造成误判,识别正确率低。2、识别速度慢,都是在检测到跌倒,受到运动损伤后发出报警信号,无法通过提前预判的方式来减少或避免运动损伤。3、缺乏有效、高灵敏度的监护机制,检测到损伤后,单一的向监护人发送报警信息,容易造成抢救不及时。4、便携性不足,无法适应各种场合的应用,如只能单一的在室内使用,或是需要网络接口才能使用,或是需要手机作为中转。5、缺乏人体运动状态检测和人体姿态检测,如心率检测容易受运动噪声干扰。6、缺乏对周围环境的感知,单一的考虑人体自身的反馈,缺乏对环境的预判。
发明内容
为了克服现有技术中存在的不足,本发明提供了一种便携式人体运动损伤监护系统,包括:
脑电波采集装置,采集使用者脑电波;
防护装置,接收防护指令并对使用者实施保护措施;
运动损伤监护装置,与脑电波采集装置、防护装置、云服务器无线相连,设有运动状态检测组件和第一中央处理器;该运动状态检测组件用于采集使用者运动相关信息;该第一中央处理器用于将运动相关信息与模板库对比以预判使用者是否存在运动损伤,及在存在运动损伤时将脑电波与指令库对比以判断是否发出防护指令至防护装置或者发出急救指令至云服务器;
云服务器,接收、解析、存储运动损伤监护装置传回的使用者数据,响应使用者发出的急救指令。
进一步,所述脑电波采集装置包括:脑电波采集模块、脑电波前置放大模块、脑电波前置滤波模块、脑电波二级放大模块、第二中央处理器、第二无线通信模块,
该脑电波采集模块输出端与脑电波前置放大模块输入端相连,该脑电波前置放大模块输出端与脑电波前置滤波模块输入端相连,该脑电波前置滤波模块输出端与脑电波二级放大模块输入端相连,该脑电波二级放大模块输出端与第二中央处理器相连,该第二无线通信模块与第二中央处理器相连以发送使用者脑电波到所述运动损伤监护装置。
进一步,所述运动状态检测组件包括:运动信息采集模块,生理信息采集模块,环境信息采集模块,位置信息采集模块。
进一步,所述运动信息采集模块包括:气压计、姿态传感器、供电电路与通信电路,均与所述第一中央处理器相连,该姿态传感器设有加速度计、陀螺仪、磁力计。
进一步所述生理信息采集模块包括:非接触式心电采集模块、心电信号滤波模块、心电信号放大模块,该非接触式心电采集模块输出端与心电信号滤波模块输入端相连,该心电信号滤波模块输出端与心电信号放大模块输入端相连,该心电信号放大模块输出端与所述第一中央处理器相连。
进一步,所述环境信息采集模块包括:环境气体采集模块、环境温度采集模块、前置滤波模块、信号放大模块,该环境气体采集模块输出端、环境温度采集模块输出端与前置滤波模块输入端相连,该前置滤波模块输出端与信号放大模块输入端相连,该信号放大模块输出端与所述第一中央处理器相连。
进一步,所述运动损伤监护装置,其第一中央处理器设有:
主控模块:用来获取脑电控制信号、处理运动信息及生理信息、控制所述防护装置、与所述云服务器通信;
运动损伤预测模块,检测使用者运动相关状态,并与模板库对比,判断使用者是否存在运动损伤,
第一无线通信模块,包含4G的供电电路与通信电路,通过串口接口与主控连接。
进一步,所述第一中央处理器还包括自诊断模块,该自诊断模块用于检测所述脑电波采集装置、所述运动状态检测组件、所述防护装置、所述云服务器的工作状态是否正常。
进一步,,所述防护装置,包括气体发生器、智能气囊和信号接收装置,该信号接收装置与气体发生器相连以接收防护指令,该气体发生器的出气口与智能气囊连通以根据防护指令对智能气囊充气。
进一步,所述云服务器包括:
数据库处理系统,实时处理运动损伤监护装置传回的使用者数据;
监控系统,实时监控使用者的运动状态信息,响应使用者的急救指令;
查看系统,实时查看运动者的运动状态。
进一步,还包括移动终端,该移动终端与所述云服务器通信,以接收急救指令,及获取使用者的运动状态信息。
进一步,还包括穿戴装置,所述脑电波采集装置、所述运动损伤监护装置、所述防护装置安装于该穿戴装置上。
本发明的有益效果有:
1、与现有技术相比,本发明采用脑电波控制的方式,具有脑电波采集装置、防护装置、运动损伤监护装置和云服务器,且无线连接,携带方便,适用范围广。
2、与现有技术相比,本发明不仅包括姿态传感器,同时还包括生理信息采集模块,环境信息采集模块,位置信息采集模块,通过多传感结合,获取到更真实的环境情况和用户自身的生理情况,能够有效的消除误判。
3、与现有技术相比,本发明的定位算法采用多传感器融合动态滤波算法,对GPS回传的数据进行解析后可得到经度、纬度、速度、航向角、海拔高度、卫星数等信息,对姿态传感器和气压计能够加速度、角速度、方向角、海拔高度。以计算监护人的运动速度为例,加速度计通过积分可以得到速度信息,GPS通过解算也可以获得速度信息,动态滤波算法采用自适应加权的方式,使得总均方差最小的条件下,获得到加速度计和GPS的加权因子,估计出监护人的最优位置。可以在GPS信号较差的情况下修正用户的位置,获得更准确的位置。
4、与现有技术相比,本发明通过多传感器融合的方法计算出加速度、速度、角度、位置、高度等信息,相对于单一传感器的判断,能够完全反映人体姿态变化,使人体得到准确的预警。将信息从时域转到频域分析,在频域上一方面可以更直观的对信号做分析,另一方面可以利用图像匹配的算法。采用K-mean算法对人体运动损伤过程的数据与模板库的数据做比较,可以提前得到用户处于运动损伤前阶段还是运动损伤后阶段。
5、与现有技术相比,本发明针对人体在受到运动损伤时会做出相应的自我防护,通过对自我防护的脑电波提取和分析,能够消除由姿态传感器带来的一些误判,感知用户的真实状况。
6、与现有技术相比,本发明采用分布式云查看系统,并将系统分为实时监控系统、数据库实时处理系统、实施查看系统。主备切换可以使单服务器出现宕机后,整个系统仍可以继续运行。
7.与现有技术相比,本发明在结构上采用腰挂式结构,便于使用人携带,适合室内和室外使用。
8.与现有技术相比,本发明通过路径规划的方法寻找到附近的医院,可以减少急救的过程,采用文字转语音拨号的方法,能够使医院及时收到求救信息,及时救援。通过云查看系统的3D轨迹查看,可以查看使用者运动损伤过程的轨迹,根据轨迹可以快速的定位损伤使用者。
附图说明
图1是本发明便携式人体运动损伤监护系统基本原理的方框图。
图2是本发明便携式人体运动损伤监护系统的方框图。
图3是本发明便携式人体运动损伤监护装置结构示意图。
图4是本发明便携式人体运动损伤监护系统中云服务器原理方框图。
图5是本发明便携式人体运动损伤监护系统中移动端原理方框图。
图6是本发明便携式人体运动损伤监护方法流程图。
图7是本发明便携式人体运动损伤监护方法一个实施例的方框图。
图8是本发明便携式人体运动损伤监护方法又一实施例的方框图。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
如图1-5所示,本发明便携式人体运动损伤监护系统包括脑电波采集装置100,采集使用者脑电波;防护装置400,接收防护指令并对使用者实施保护措施;运动损伤监护装置200,与脑电波采集装置100、防护装置400、云服务器300无线相连,设有运动状态检测组件210和第一中央处理器220;该运动状态检测组件用于采集使用者运动相关信息;该第一中央处理器220用于将运动相关信息与模板库对比以预判使用者是否存在运动损伤,及在存在运动损伤时将脑电波与指令库对比以判断是否发出防护指令至防护装置400或发出急救指令至云服务器300,或者同时发出防护指令和急救指令;云服务器300,接受、解析、存储运动损伤监护装置200传回的使用者数据,响应使用者发出的求救信号。
脑电波采集装置可包括脑电波采集模块110,脑电波前置放大模块120,脑电波前置滤波模块130,脑电波二级放大模块140,第二中央处理器150,第二无线通信模块160。该脑电波采集模块110输出端与脑电波前置放大模块120输入端相连,该脑电波前置放大模块120输出端与脑电波前置滤波模块130输入端相连,该脑电波前置滤波模块130输出端与脑电波二级放大模块140相连,该脑电波二级放大模块140与第二中央处理器150相连,该第二无线通信模块160与第二中央处理器150相连以发送使用者脑电波到运动损伤监护装置。该脑电波的信号频率在0.5~30Hz,信号的幅度大小在5~100Uv,通过前置放大带电路放大信号,经过带通滤波器,使得脑电波信号通过,通过二级放大电路,最后通过ARM芯片的AD转换电路。ARM芯片外设串口电路,通过串口无线向主控转发数据。
在运动损伤监护装置200中,运动状态检测组件包括:运动信息采集模块211,生理信息采集模块212,环境信息采集模块213,位置信息采集模块214。其中,
运动信息采集模块211:包含锂电池充放电电路,电压采样电路、电流采样电路。集成加速度计、陀螺仪、磁力计的姿态传感器供电电路及通信电路,气压计的供电电路及通信电路,通过IIC接口与第一中央处理器220连接。
生理信息采集模块212:包含非接触式心电采集模块、心电信号前置滤波模块、心电信号放大模块、非接触式体温采集模块、体温信号滤波电路、体温信号放大电路等,与主控模块的AD转换接口连接。该非接触式心电采集模块输出端与心电信号前置滤波模块输入端相连,该心电信号前置滤波模块输出端与心电信号放大模块相连,该心电信号放大模块与第一中央处理器相连。非接触式体温采集模块输出端与体温信号滤波电路输入端相连,体温信号滤波电路输出端与体温信号放大电路输入端相连,体温信号放大电路输出端与第一中央处理器相连。
环境信息采集模块213:包含环境气体采集模块、环境温度采集模块及相应的滤波和放大电路,与主控的AD接口连接。对使用者周围环境的检测,包括温度、湿度、PM2.5等;另一方面,通过向云查看系统发送位置,获取当前地区的温度、PM2.5;通过比较准确的预测未来几小时的温度、湿度、PM2.5数据。提醒使用者需要多加衣物;或通知使用者当前环境的PM2.5较高,需要换个环境。
位置信息模块214:通过串口的方式与主系统连接,能够输出经度、纬度、高度、方向、卫星数等数据。
在运动损伤监护装置200中,第一中央处理器220设有:
主控模块221,设有高性能的ARM最小系统、5V的升压电路、3.3V的稳压电路及芯片外围电路,主要用来获取脑电控制信号、处理运动信息及生理信息、控制智能气囊、与云服务器通信。
第一无线通信模块222,设有4G通信模块,包含4G的供电电路与通信电路,通过串口接口与主控模块221连接。
运动损伤预测模块223,定时将数据的频域图与运动损伤过程的模板做匹配,得到使用者处于损伤过程中哪种状态,以跌倒损伤为例,当使用者发生向前的跌倒损伤时,可以将此刻的频域图与模板中各个频域图比较,得出与向前跌倒的频域图有极高的相似度。如果,检测到使用者具有向前的损伤防护,并且运动信息也与模板库里的向前跌倒匹配。
自诊断模块224,(1)检测脑电波监测装置的供电电压数据,比较数值,确定电压是否在正常工作范围内,否则提示充电;(2)检测脑电波的信号,比较数值,确定脑电波信号是否检测到,使用者是否没贴好电极。(3)检测防护装置的各个模块的供电电压数据,比较数值,确定防护装置供电正常。(4)检测陀螺仪、加速度计、磁力计、气压计、GPS、无线通信模块的数据传输是否正常。(5)检测智能弹射气囊是否能够相应。(6)检测云服务器是否能够进行数据通信。经过6个步骤的检测后,如果检测正常,则系统进行防护工作,如果系统异常,则通过蜂鸣器和LED指示灯设置不同的预警方式,采用三个LED灯,如果都同时以1HZ的频率闪烁,则正常工作。如果LED1长灭,脑电波装置需要充电,如果LED1长亮,则脑电波装置采集异常。如果LED2长灭,防护系统装置充电,如果LED2长亮,则系统采集数据异常。如果LED3长灭,则智能弹射装置无响应,需要检查智能弹射装置。如果LED3长亮,则云服务器无法正常工作,需要检查云服务器。
防护装置,包括气体发生器410、智能气囊420和信号接收装置430,根据预防系统的控制指令,判断是否要打开智能气囊,。当收到打开指令时,通过打开放电电路,分解叠氮化钠,使气囊瞬间充满气体,保护人体,此后,气体通过气囊的小孔消散,气囊收缩。除此以外,该智能气囊还可以设置包括胸部、背部、左腰部、右腰部的四个气囊弹射装置,该气囊弹射装置通过无线的方式与运动损伤监护装置200连接。智能气囊内还可装有引爆装置,通过化学反应使得气囊充满气体,保护人体关键部位。主系统通过无线的方式连接到气囊弹射装置,控制周期200Hz,每5ms更新一次指令,安全气囊充满的时间在20ms,保证在跌倒时候能够快速保护人体。
云服务器,分布式结构,通过主备切换可以使单服务器出现宕机后,整个系统仍可以继续运行。云服务包括实时数据库处理模块310、实时监控模块320、实时查看系统330。运行在云服务器上的系统为Linux系统,根据设备传回来的数据解析,得到使用者的位置、心电状态、运动轨迹及求救信息。当检测到使用者求救的信号,则立即短信通知监护人,并附上使用者3D运动轨迹的URL。
医院或使用者的亲人收到救援消息后,可以通过移动客户端登陆云查看系统,查看使用者的3D轨迹,根据系统提供的最短救援路径对使用者进行施救。此外使用者可以通过客户端设置更新周期、获取路径规划信息,所述的信息通过服务器发送过来的数据进行数据可视化处理,转成图标的格式,让监护人可以更容易获知使用者的运动轨迹、生理信息、运动状态、环境信息。
还包括穿戴装置500,上述的脑电波采集装置100、运动损伤监护装置200、防护装置400安装于该穿戴装置500上。
如图6所示,一种便携式人体运动损伤监护方法,包括以下步骤:
1)实时检测使用者运动状态,并与模板库对比,判断使用者是否存在运动损伤;
2)检测使用者脑电波,并与指令库对比,判断使用者是否发出防护指令;
3)向防护装置发出防护指令后,防护装置对使用者实施保护措施,并检测使用者脑电波,判断使用者是否发出急救指令;
4)向云服务器发送急救指令。
本发明实施的具体步骤如下:
先对正常的运动过程与运动损伤的过程可能遇到的情况作分类,并通过实验采集各个过程中的传感器数据,通过多传感器动态互补滤波的算法对传感器的数据处理。其中磁力计和加速度计在测量时没有累计误差,但是动态响应较差;而陀螺仪的动态响应特性良好,但是计算时会有累积误差,长时间的积分会影响角度;两者在频域上形成互补,可以通过互补滤波的方式,得到正确的角速度。而气压计受温度、风等影响,漂移严重,通过对竖直方向上的合加速度进行二次积分得到高度,通过互补滤波的方式补偿气压计的漂移。竖直方向上的速度可以通过对气压计微分和竖直方向上的合加速度的一次积分得到速度。民用的GPS精度在1m左右,获得到经纬度后,可以计算出移动的距离,通过微分的方式得到速度;而通过加速度计水平两个方向上的一次积分可以得到速度,两次积分得到位移;通过对水平方向上的速度和位移进行互补滤波,可以得到更精确的速度和位移。
V(x,y)=Wgps(x,y)Vgps(x,y)+Wa(x,y)Va(x,y)
Wgps(x,y)+Wa(x,y)=1;
其中V(x,y)为当前的速度,Wgps(x,y)为当前gps估算速度的权重,Wa(x,y)为当前加速度计估算速度的权重,V0(x,y)为初始速度,a(x,y)为通过加速度计解算出来的加速度,Va(x,y)为当前加速度计算出来的速度,为gps估计的均方差,为加速度计估计的均方差,K为比例常量。Vgps(x,y)<i>为i时刻gps的速度,Va(x,y)<i>为i时刻加速度计估计的速度。通过迭代更新GPS和加速度计的权重。互补滤波的方式采用动态更新权重的方式,通过计算均方差来估计新的滤波器各个传感器参数的权重。
求出加速度、速度、位置、角度。通过时域-频域转换,获得运动参数频域图。并对运动参数频域图做标记。获m组测试案例,每个案例有n组数据,通过SIFT(Scale InvariantFeature Transform)算法提取图像特征点:(1)通过构建尺度空间,检测极值点;(2)对特征点进行过滤,剔除不稳定的特征点;(3)在特征点处提取特征描述符,为特征点分配方向值;(4)将采样的所有数据转换成频域图片的特征点集,并作标记;(5)从特征点集中随机抽取m个元素,作为m个蔟的中心;(6)通过计算剩下元素到m个蔟中心的相似度,并将元素划分到相似度最高的蔟;(7)根据聚类结果,重新计算m个蔟各自的中心,中心的选择通过计算各自维度的算术平均数;(8)按照新计算的中心重新聚类;(9)重复6,7,8步骤,直到聚类结果不再发生变化。(10)根据标记,筛出与聚类结果不一样的数据,剩余的数据用来做标准模板。相似度采用向量的计算方法,通过计算两个特征点的余弦值,余弦值越大,则相似度越高。
在发生运动损伤之前,设备定时将数据的频域图与运动损伤过程的模板做匹配,得到使用者处于损伤过程中哪种状态,以跌倒损伤为例,当使用者发生向前的跌倒损伤时,通过峰值信噪比的方法,计算将此刻的频域图与模板中各个频域图的均方差,如果峰值信噪比越高,则表示两张图像的相似度越大。每次将时域的数据转到频域后,获得频域图,通过计算两张图的均方差和峰值信噪比,获得两个图像数据的相似度,由此可以得到使用者与哪种模板相匹配。并根据匹配结果确定使用者处于哪种状态。
其中MAX代表图像点的最大值,I,K代表两张对比的图像。
当检测到使用者具有向前的损伤防护,并且运动信息也与模板库里的向前跌倒匹配。此时分析使用者的脑电波中的控制指令,采用200Hz的频率对使用者脑电波进行采样,通过滑动均值滤波函数对采样值进行滤波处理,对滤波后的数据进行快速傅里叶变换,解析出各个频段的脑电波。记录大量不同情况下人左眼与右眼眨眼时的脑电波的变化波形,将数据作为样本库,当有新的数据输入时,通过计算欧式距离获取输入数据与样本的匹配度,当连续三次匹配左眼眨眼时,判断为PROTECT,当连续三次匹配右眼眨眼时,判断为HELP。
在可能遇到损伤的情况下,对使用者的脑电波进行分析,通过模式识别的方法匹配防护指令,判断是否发出指令。根据使用者提供防护的指令,根据之前获得到的向前跌倒的情况,向使用者前胸的智能气囊发送打开命令,气囊弹出。
在使用者跌倒后,使用者可以根据自身情况选择是否发出急救指令。如果检测到使用者发出急救指令,系统根据最优路径计算救援医院。即搜索采用按步长搜索,以1公里为步长,搜索以受伤点为圆心,半径为1公里,如果没搜索到,以2公里为半径,继续向外搜索。当搜索到多个医院时,根据交通路径、交通堵塞程度,选取最优路径,拨打医院的电话,并通过文字转语音的方式通知医院救援地址及救援路线。通过短信通知使用者设定的救护人员,救护人员可以通过云查看系统查看使用者的行走轨迹,更快速的找到使用者,系统将轨迹上传到云查看系统,可以随时观察使用者的情况。
如图7所示,损伤预测来源于人体的加速度、速度、瞬时距离,同时人体在遇到损伤时会做出相应的防护动作,大脑产生异于日常的脑电波。(1)在实施例中通过加速度计、陀螺仪、磁力计、气压计、GPS等传感器,获取加速度、角速度、方向角、海拔高度及经纬度。(2)通过对加速度、角速度得到合加速度,并且通过加速度与角速度的积分进行融合得到倾斜角度,通过加速度的积分得到速度,通过加速度的二次积分得到相对位移。通过气压计的海拔高度的微分与速度融合,得到新的速度值,通过气压计的海拔高度与GPS的高度融合,得到新的高度值。通过GPS与相对位移融合,得到新的水平方向的位置。(3)根据解算我们可以得到的数据有x、y、z三个方向的合加速度、合速度、位置、角度。(4)以50ms的周期对合加速度、合速度、位置、角度进行傅里叶变换,将时域的信息转换为频域信息。(5)同步的检测脑电波信息,人体在遇到损伤时会做出相应的防护动作,通过训练对比,可以知道使用者是否在危险状态。(6)根据频域的信息做K-means聚类,分类得到不同情况下(如坐下、慢走、慢跑、快跑、骑车、骑马、跳跃、向前跌倒、向后跌倒、撞车、撞墙等,包含正常和不正常情况)的频域信息(7)在运动过程中对频域图做相似度匹配,获得使用者所处的状态。(8)根据脑电波的回馈,获得人体是否需要防护指令,通过无线给智能气囊发送控制指令,执行弹开动作。(9)当人体跌倒后,通过脑电波检测人体是否要进行急救。(10)通过搜索附近的医院,获取医院的地址与联系方式,通过计算和规划急救路径,得到最近医院距离。(11)通过文字转语音接口进行拨号,通知医院进行急救。(12)通过文字转语音拨号给亲人,并短信通知。(13)救援者通过短信查看使用者的位置和运动轨迹,可以快速的找到使用者。(14)将使用者数据上传到云服务器。
如图8所示,一种便携式人体运动损伤监护方法,其中生理参数的检测来源于人体心电信号与人体体温信号的变化,当人体没有遇到来自外界的伤害时,人体生理参数检测模块主要的工作是收集使用者24小时的动态心电图信息,从动态心电图中获取可能存在的病征;当人体有遇到来自外界伤害时,人体相应的会出现心跳过速或过缓的现象,此时采集的心电信号与正常不一致,能够得知人体可能遇到危险,而当遇到损伤时,可以通过上传到云服务器的心电图来检测使用者的生理状态。(1)采集心电图信号,通过低通滤波器去掉噪声,得到正常的心电信号。(2)通过形态学的膨胀腐蚀滤波器,找出各个波形,包括Q波、R波、S波、T波。(3)通过计算R-R间期,可以获得使用者的心率。(4)通过对R-R信号进行洛伦兹变换,得到R-R的洛伦兹变换图。(5)与系统的心电图库比较,得知使用者此时的状态。(5)如果使用者处于危险的状态,获取此时脑电波的控制量,检测使用者是否需要防护或者急救。(6)通知救护人员进行救援。(7)医院可以根据使用者的24小时的心电图再次判断使用者的健康状态,快速的检查出病因。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行为。

Claims (12)

1.一种便携式人体运动损伤监护系统,包括:
脑电波采集装置,采集使用者脑电波;
防护装置,接收防护指令并对使用者实施保护措施;
运动损伤监护装置,与脑电波采集装置、防护装置、云服务器无线相连,设有运动状态检测组件和第一中央处理器;该运动状态检测组件用于采集使用者运动相关信息;该第一中央处理器用于将运动相关信息与模板库对比以预判使用者是否存在运动损伤,及在存在运动损伤时将脑电波与指令库对比以判断是否发出防护指令至防护装置和/或发出急救指令至云服务器;
云服务器,接收、解析、存储运动损伤监护装置传回的使用者数据,响应使用者发出的急救指令。
2.如权利要求1所述人体运动损伤监护系统,其特征在于,所述脑电波采集装置包括:脑电波采集模块、脑电波前置放大模块、脑电波前置滤波模块、脑电波二级放大模块、第二中央处理器、第二无线通信模块,
该脑电波采集模块输出端与脑电波前置放大模块输入端相连,该脑电波前置放大模块输出端与脑电波前置滤波模块输入端相连,该脑电波前置滤波模块输出端与脑电波二级放大模块输入端相连,该脑电波二级放大模块输出端与第二中央处理器相连,该第二无线通信模块与第二中央处理器相连以发送使用者脑电波到所述运动损伤监护装置。
3.如权利要求1所述人体运动损伤监护系统,其特征在于,所述运动状态检测组件包括:运动信息采集模块、生理信息采集模块、环境信息采集模块、位置信息采集模块。
4.如权利要求3所述人体运动损伤监护系统,其特征在于,所述运动信息采集模块包括:气压计、姿态传感器、供电电路与通信电路,均与所述第一中央处理器相连,该姿态传感器设有加速度计、陀螺仪、磁力计。
5.如权利要求3所述人体运动损伤监护系统,其特征在于,所述生理信息采集模块包括:非接触式心电采集模块、心电信号滤波模块、心电信号放大模块,该非接触式心电采集模块输出端与心电信号滤波模块输入端相连,该心电信号滤波模块输出端与心电信号放大模块输入端相连,该心电信号放大模块输出端与所述第一中央处理器相连。
6.如权利要求3所述人体运动损伤监护系统,其特征在于,所述环境信息采集模块包括:环境气体采集模块、环境温度采集模块、前置滤波模块、信号放大模块,该环境气体采集模块输出端、环境温度采集模块输出端与前置滤波模块输入端相连,该前置滤波模块输出端与信号放大模块输入端相连,该信号放大模块输出端与所述第一中央处理器相连。
7.如权利要求1所述人体运动损伤监护系统,其特征在于,
所述运动损伤监护装置,其第一中央处理器设有:
主控模块:用来获取脑电控制信号、处理运动信息及生理信息、控制所述防护装置、与所述云服务器通信;
运动损伤预测模块,检测使用者运动相关状态,并与模板库对比,判断使用者是否存在运动损伤,
第一无线通信模块,包含4G的供电电路与通信电路,通过串口接口与主控连接。
8.如权利要求7所述人体运动损伤监护系统,其特征在于,所述第一中央处理器还包括自诊断模块,该自诊断模块用于检测所述脑电波采集装置、所述运动状态检测组件、所述防护装置、所述云服务器的工作状态是否正常。
9.如权利要求1所述人体运动损伤监护系统,其特征在于,所述防护装置,包括气体发生器、智能气囊和信号接收装置,该信号接收装置与气体发生器相连以接收防护指令,该气体发生器的出气口与智能气囊连通以根据防护指令对智能气囊充气。
10.如权利要求1所述人体运动损伤监护系统,其特征在于,所述云服务器包括:
数据库处理系统,实时处理运动损伤监护装置传回的使用者数据;
监控系统,实时监控使用者的运动状态信息,响应使用者的急救指令;
查看系统,实时查看运动者的运动状态。
11.如权利要求1所述人体运动损伤监护系统,其特征在于,还包括移动终端,该移动终端与所述云服务器通信,以接收急救指令,及获取使用者的运动状态信息。
12.如权利要求1~11中任一项所述的系统,其特征在于,还包括穿戴装置,所述脑电波采集装置、所述运动损伤监护装置、所述防护装置安装于该穿戴装置上。
CN201710108629.1A 2017-02-27 2017-02-27 一种脑电波控制的便携式人体运动损伤监护系统与方法 Expired - Fee Related CN106725445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710108629.1A CN106725445B (zh) 2017-02-27 2017-02-27 一种脑电波控制的便携式人体运动损伤监护系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710108629.1A CN106725445B (zh) 2017-02-27 2017-02-27 一种脑电波控制的便携式人体运动损伤监护系统与方法

Publications (2)

Publication Number Publication Date
CN106725445A CN106725445A (zh) 2017-05-31
CN106725445B true CN106725445B (zh) 2019-10-18

Family

ID=58959282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710108629.1A Expired - Fee Related CN106725445B (zh) 2017-02-27 2017-02-27 一种脑电波控制的便携式人体运动损伤监护系统与方法

Country Status (1)

Country Link
CN (1) CN106725445B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107440714A (zh) * 2017-09-07 2017-12-08 哈尔滨理工大学 一种专注度及眨眼动作提取装置及方法
CN107789796A (zh) * 2017-11-28 2018-03-13 江苏理工学院 一种利用脑电波实时监控锻炼状态的健身车附属装置
CN108968953A (zh) * 2018-06-19 2018-12-11 苏州修普诺斯医疗器械有限公司 增加电池容量的移动脑电测量装置
CN110379517B (zh) * 2019-07-24 2023-01-10 国网山东省电力公司鲁能体育文化分公司 一种基于大数据的运动机能分析伤病风险概率预测线性模型的构建方法
CN110537909A (zh) * 2019-09-03 2019-12-06 深圳旭宏医疗科技有限公司 基于心电监测设备的急救方法、装置和计算机设备
CN111897414B (zh) * 2020-06-10 2024-01-30 中国联合网络通信集团有限公司 控制物体速度的方法、系统及电子设备
CN111783717B (zh) * 2020-07-10 2024-02-20 邵勇 一种生物特征运动模态智能识别方法及其应用
CN114098719A (zh) * 2021-11-30 2022-03-01 歌尔科技有限公司 一种动作检测方法、装置和穿戴设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104224131A (zh) * 2014-09-28 2014-12-24 赵凯 一种可穿戴式远程医疗健康管理系统
CN104644164A (zh) * 2015-02-03 2015-05-27 河海大学常州校区 一种基于危重病人的定位紧急医疗系统及多目标定位方法
CN204731938U (zh) * 2015-04-29 2015-10-28 浙江海洋学院 一种实现意念控制的海事救援系统
CN105608837A (zh) * 2016-03-02 2016-05-25 福州领头虎软件有限公司 人体状况及行为监控报警系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7733224B2 (en) * 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
US9179864B2 (en) * 2007-08-15 2015-11-10 Integrity Tracking, Llc Wearable health monitoring device and methods for fall detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104224131A (zh) * 2014-09-28 2014-12-24 赵凯 一种可穿戴式远程医疗健康管理系统
CN104644164A (zh) * 2015-02-03 2015-05-27 河海大学常州校区 一种基于危重病人的定位紧急医疗系统及多目标定位方法
CN204731938U (zh) * 2015-04-29 2015-10-28 浙江海洋学院 一种实现意念控制的海事救援系统
CN105608837A (zh) * 2016-03-02 2016-05-25 福州领头虎软件有限公司 人体状况及行为监控报警系统

Also Published As

Publication number Publication date
CN106725445A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106725445B (zh) 一种脑电波控制的便携式人体运动损伤监护系统与方法
CN105125221B (zh) 云服务实时摔倒检测系统及方法
CN105342623B (zh) 智能跌倒监护装置及其处理方法
CN105118236B (zh) 瘫倒监测和预防装置及其处理方法
US10299704B2 (en) Method for monitoring of activity and fall
RU2710294C1 (ru) Система мониторинга и оповещения о состоянии и поведении человека
CN205050303U (zh) 一种智能人体瘫倒监测装置
Pannurat et al. A hybrid temporal reasoning framework for fall monitoring
US20060252999A1 (en) Method and system for wearable vital signs and physiology, activity, and environmental monitoring
CN105632101A (zh) 一种人体防跌倒预警方法及系统
US20060282021A1 (en) Method and system for fall detection and motion analysis
US20110246123A1 (en) Personal status monitoring
US20070063850A1 (en) Method and system for proactive telemonitor with real-time activity and physiology classification and diary feature
KR101320545B1 (ko) 맥파측정 및 낙상감지 장치 및 방법
CN103810817A (zh) 一种穿戴式人体瘫倒检测报警装置及应用
KR20120108335A (ko) 개선된 낙상 감지 알고리즘을 이용한 응급 모니터링 시스템
CN104269025B (zh) 面向户外摔倒监测的穿戴式单节点特征及位置选取方法
CN110675596B (zh) 应用于可穿戴终端的跌倒检测方法
Nizam et al. A study on human fall detection systems: Daily activity classification and sensing techniques
Hou et al. Triaxial accelerometer-based real time fall event detection
Gharghan et al. A comprehensive review of elderly fall detection using wireless communication and artificial intelligence techniques
KR101364638B1 (ko) 화생방 상황에 대응하기 위한 환경 검출 시스템, 장치 및 방법
Huynh et al. Detection of activities daily living and falls using combination accelerometer and gyroscope
CN117083015A (zh) 一种用于确定人的脑卒中风险的系统和方法
Carletti et al. A Wearable Embedded System for Detecting Accidents while Running.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191018

Termination date: 20210227