CN111743545B - 基于深度学习的老人摔倒检测方法、检测手环及存储介质 - Google Patents
基于深度学习的老人摔倒检测方法、检测手环及存储介质 Download PDFInfo
- Publication number
- CN111743545B CN111743545B CN202010644195.9A CN202010644195A CN111743545B CN 111743545 B CN111743545 B CN 111743545B CN 202010644195 A CN202010644195 A CN 202010644195A CN 111743545 B CN111743545 B CN 111743545B
- Authority
- CN
- China
- Prior art keywords
- variation
- old
- acceleration
- body posture
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 10
- 230000001133 acceleration Effects 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 60
- 230000008859 change Effects 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 40
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 27
- 239000008280 blood Substances 0.000 claims description 27
- 210000004369 blood Anatomy 0.000 claims description 27
- 239000001301 oxygen Substances 0.000 claims description 27
- 229910052760 oxygen Inorganic materials 0.000 claims description 27
- 230000036772 blood pressure Effects 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000013210 evaluation model Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 abstract description 22
- 230000009471 action Effects 0.000 abstract description 9
- 230000003938 response to stress Effects 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 description 5
- 208000012661 Dyskinesia Diseases 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 230000032683 aging Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 208000034656 Contusions Diseases 0.000 description 2
- 208000034693 Laceration Diseases 0.000 description 2
- 208000012886 Vertigo Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 231100000889 vertigo Toxicity 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 208000002193 Pain Diseases 0.000 description 1
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 208000010040 Sprains and Strains Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 208000034526 bruise Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009519 contusion Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036407 pain Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0453—Sensor means for detecting worn on the body to detect health condition by physiological monitoring, e.g. electrocardiogram, temperature, breathing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- General Physics & Mathematics (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Vascular Medicine (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Optics & Photonics (AREA)
- Physical Education & Sports Medicine (AREA)
- Pulmonology (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请提供了一种基于深度学习的老人摔倒检测方法、检测手环及存储介质,通过佩戴检测手环获取身体姿态数据和体征数据,利用构建好的深度学习模型对获取的数据进行计算。据计算结果对应输出摔倒级别,将摔倒级别输出至通信设备,进行报警。深度学习模型在进行构建时,通过神经网络对历史身体姿态数据进行学习,能有效地识别正常情况下,老人的常规动作和习惯动作,能及时检测出,老人发生碰撞时的应激反应,结合设置的阈值,能对老人是否发生碰撞,做出准确判断。避免漏报,错报的发生。当碰撞发生后,利用即时检测的体征数据,对摔倒等级进行评价,输出报警。有助于施救者及时了解老人身体信息,采取正确的救助措施。
Description
技术领域
本发明涉及智能穿戴领域,具体涉及一种基于深度学习的老人摔倒检测方法、检测手环及计算机可读存储介质。
背景技术
目前,我国人口老龄化严重,已经成为一个极为严峻的社会问题,如不正确面对,将严重影响我国社会、经济等各方面的发展。社会经济的快速发展,人民生活水平不断提高,老年人有着更好的养老条件,同时由于现代医学水平的进步,老年人的平均寿命有了很大的提高。以天津市为例:2007年至2017年的10年间,天津市人口老龄化发展迅速,60岁及以上老年人由2007年的156.29万人增长到2017年的246.06万人,而全市各类养老机构仅428所,养老床位仅69726张。从上述数据可以看出,养老机构资源紧张,只能为全市3%左右的老年人提供养老条件,远远不能满足市场需求,剩余97%左右的养老市场亟待开发。
在当今年轻人快节奏的生活工作背景下,子女们能够陪伴看护老人的时间越来越少,老年人的养老和居住问题亟待解决。由于身体机能减弱、各种病痛、药物副作用等因素的关系,老人摔倒的概率非常高。据医疗调查显示:摔倒造成的过世情况已经是影响我国死亡率的第四大因素之一。如何在城市老龄化愈加严重的背景下,依托物联网、互联网、大数据、云计算等信息技术介入城市社区居家养老领域,设计出来一种能全天候监控老人的身体情况,做到摔倒能够实时报警的设备具有重大意义。充分发挥信息技术的作用,整合全社会的养老资源和医疗资源,建立灵活的、及时的、高效的、智能的智慧养老服务模式来提高社区居家养老资源的利用效率和管理效率,其不仅可以大大降低老年人看护的费用,也能够使老人享受到更好的生活条件,同时也能免却在外忙碌的子女的担心和牵挂。
现有市场中有很多佩戴在老年人身上用于检测老年人摔倒的设备,这些设备中安装计算摔倒的算法,但是现有关于老年人摔倒的存在使用传感器单一,安装的算法仅通过加速度传感器,检测摔倒前后老人姿态的变化,进行摔倒判断,算法简单,易出现漏判、误判的情况,而且没有对老人摔倒后的身体情况进行的初步判断,在无法确定摔倒造成的后果的情况下,对老人的施救造成了不便,因此,需要有一种能够精准判断老人摔倒,并对摔倒等级进行初步评价的检测方法和检测设备是极为必要的。
发明内容
有鉴于此,本申请实施例致力于提供一种基于深度学习的老人摔倒检测方法、检测手环及存储介质,通过佩戴检测手环获取身体姿态数据和体征数据,利用构建好的深度学习模型对获取的数据进行计算。据计算结果对应输出摔倒级别,将摔倒级别输出至通信设备,进行报警。深度学习模型在进行构建时,通过神经网络对历史身体姿态数据进行学习,能有效地识别正常情况下,老人的常规动作和习惯动作,能及时检测出,老人发生碰撞时的应激反应,结合设置的阈值,能对老人是否发生碰撞,做出准确判断。避免漏报,错报的发生。当碰撞发生后,利用即时检测的体征数据,对摔倒等级进行评价,输出报警。有助于施救者及时了解老人身体信息,采取正确的救助措施。
本发明一方面提供一种基于深度学习的老人摔倒检测方法,包括:利用穿戴设备实时获取老人的身体姿态数据和体征数据;并将获取的身体姿态数据和体征数据输入构建好的深度学习模型中;所述深度学习模型根据接收到的身体姿态数据和体征数据,进行计算,根据计算结果对应输出摔倒级别,将摔倒级别输出至通信设备,进行报警。
优选的:所述身体姿态数据包括如下数据中的任一种或多种的组合:高度、倾角、加速度、角加速度;所述体征数据包括如下数据中的任一种或多种的组合:心率、血氧浓度、血压、脉搏。
在上述任意一项实施例中优选的,所述深度学习模型进行构建时,包括以下步骤:
S101、从历史数据中获取样本数据,计算相邻两个检测时间点,接收到的身体姿态数据的变化量;
S102、将计算得出的变化量进行归一化处理后,输入神经网络中,进行学习,神经网络学习后对身体姿态进行预测;
S103、设定身体姿态数据的变化量阈值,判断身体姿态数据的变化量是否超过阈值;
S104、当超过阈值时,根据预测结果,结合获取的体征数据,在约束条件下,计算摔倒检测矩阵,根据计算结果判断摔倒等级。
在上述任意一项实施例中优选的,在S103中,判断身体姿态数据的变化量是否超过阈值时,包括首先判断合加速度的变化量是否超过合加速度阈值|a1|,当合加速度的变化量超过阈值|a1|时,则初步判断老人处于非正常运动状态即失重状态;
进一步判断高度变化量是否超过高度阈值Δh',若大于初始阈值Δh',则判断老人处于非正常状态;
在产生高度差的整个过程,若在加速度值Δa≤|a1|后1.5s内又检测到一个大于|a1|的峰值|a2|,则判定发生了碰撞,进入当前中断0.5s不检测加速度,中断结束后检测2s内n个点合加速均满足a≤|a1|,则初步判断老人处于摔倒状态。
在上述任意一项实施例中优选的,在S104中,所述摔倒检测矩阵采用如下公式表示:
其中,k1、k2、k3、k4、k5、k6、k7分别是高度差、倾斜角变化量、合加速度变化量、合角速度变化量、心率变化量、血氧浓度变化量和血压脉搏变化量的影响因子;Δh1,Δh2,…,Δhn,表示n个样本点摔倒前后高度的变化量;
Δσ1,Δσ2,…,Δσn,表示n个样本点摔倒前后倾角的变化量;
Δa1,Δa2,…,Δan,表示n个样本点摔倒过程中的加速度的变化量;
Δω1,Δω2,…,Δωn表示n个样本点摔倒过程中的角速度的变化量;
τ1,τ2,…,τn,表示n个样本点摔倒过程中身体心率的实时数值;
Δτ1,Δτ2,…,Δτn,表示n个样本点摔倒过程中心率数值的变化量;
ε1,ε2,…,εn,表示n个样本点摔倒过程中血氧浓度的实时数值;
Δε1,Δε2,…,Δεn,表示n个样本点摔倒过程中血氧浓度的变化量;
ψ1,ψ2,…,ψn,表示n个样本点摔倒过程中身体血压脉搏实时数值;
Δψ1,Δψ2,…,Δψn表示n个样本点摔倒过程中身体血压脉搏数值的变化量。
在上述任意一项实施例中优选的,还包括,深度学习模型计算时设定约束条件,所述约束条件包括根据老人的年龄、性别对体征数据设定阈值。
在上述任意一项实施例中优选的,还包括预测精度评价模型,所述预测精度评价模型采用根均方误差公式对预测结果的精度进行评价:
其中,n表示为预测结果的总个数,yact(i)和ypred(i)为第i个样本的身体姿态值和预测值。
本发明还提供一种基于深度学习的老人摔倒检测手环,用于实施上述检测方法,包括
传感器模块,用于实时获取老人的身体姿态数据和体征数据;并将获取的身体姿态数据和体征数据输入处理器中;
处理器,用于搭建深度学习模型,根据接收到的身体姿态数据和体征数据,利用深度学习模型进行计算,根据计算结果对应输出摔倒级别,将摔倒级别输出至通信模块,进行报警。
优选的,所述传感器模块包括加速度传感器、陀螺仪、大气压强传感器、角速度传感器、心率检测模块,血压脉搏检测模块和血氧检测模块。
本发明还提供一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述检测方法。
本申请实施例提供的一种基于深度学习的老人摔倒检测方法、检测手环及存储介质,通过佩戴检测手环获取身体姿态数据和体征数据,利用构建好的深度学习模型对获取的数据进行计算。据计算结果对应输出摔倒级别,将摔倒级别输出至通信设备,进行报警。深度学习模型在进行构建时,通过神经网络对历史身体姿态数据进行学习,能有效地识别正常情况下,老人的常规动作和习惯动作,能及时检测出,老人发生碰撞时的应激反应,结合设置的阈值,能对老人是否发生碰撞,做出准确判断。避免漏报,错报的发生。当碰撞发生后,利用即时检测的体征数据,对摔倒等级进行评价,输出报警。有助于施救者及时了解老人身体信息,采取正确的救助措施。
附图说明
图1所示为本申请一实施例提供的一种基于深度学习的老人摔倒检测方法的流程图。
图2所示为本申请一实施例提供的一种基于深度学习的老人摔倒检测方法的构建深度学习模型的流程图。
图3所示为本申请一实施例提供的一种基于深度学习的老人摔倒检测手环结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
此外,在示例性实施例中,因为相同的参考标记表示具有相同结构的相同部件或相同方法的相同步骤,如果示例性地描述了一实施例,则在其他示例性实施例中仅描述与已描述实施例不同的结构或方法。
在整个说明书及权利要求书中,当一个部件描述为“连接”到另一部件,该一个部件可以“直接连接”到另一部件,或者通过第三部件“电连接”到另一部件。此外,除非明确地进行相反的描述,术语“包括”及其相应术语应仅理解为包括所述部件,而不应该理解为排除任何其他部件。
本发明的一个实施例中提出一种基于深度学习的老人摔倒检测方法,包括:
S1、利用穿戴设备实时获取老人的身体姿态数据和体征数据;并将获取的身体姿态数据和体征数据输入构建好的深度学习模型中;优选的:所述身体姿态数据包括如下数据中的任一种或多种的组合:高度、倾角、加速度、角加速度;所述体征数据包括如下数据中的任一种或多种的组合:心率、血氧浓度、血压、脉搏。
为实现以上功能,采用的硬件传感器模块使用规则如下:
采用型号为JY-61的mpu6050角度传感器测量三轴角度分别是σx、σy和σz,三轴加速度分别是ax、ay和az,三轴角速度分别是ωx、ωy和ωz。
采用BME280高精度大气压强传感器模块测量人体高度的变化,根据公式(1)分别采集人体摔倒前后的大气压值P0转化为高度值,计算如下:
其中:h0表示测量点的高度;R为气体常数;g为重力加速度常数;P0表示当前测量气压值;Ps表示大气压水银气柱常数。
采用MAX30102血氧浓度手腕心率传感器,实时采集心率数值τ,血氧浓度ε。
采用MPS20N0040D-S血压计用压力传感器,实时采集血压数值ψ。
ψ=μN (5)
其中,μ为换算系数,μ≈7.5mmHg/kPa,N为测量的压力值。
S2、所述深度学习模型根据接收到的身体姿态数据和体征数据,进行计算,
S3、根据计算结果对应输出摔倒级别,将摔倒级别输出至通信设备,进行报警。
需要说明的是,深度学习模型在进行计算之前需要提前进行构建时,构建过程包括以下步骤:
S101、从历史数据中获取样本数据,计算相邻两个检测时间点,接收到的身体姿态数据的变化量;
在一个优选的实施例中,实时采集n个样本点的高度变化、倾角变化、加速度变化量、角速度变化量,以及身体心率数值、血压脉搏数值,将此n个摔倒数据值存入矩阵E中作为系统的输入量,如公式6所示。
Δh1,Δh2,…,Δhn,表示n个样本点摔倒前后高度的变化量;
Δσ1,Δσ2,…,Δσn,表示n个样本点摔倒前后倾角的变化量;
Δa1,Δa2,…,Δan,表示n个样本点摔倒过程中的加速度的变化量;
Δω1,Δω2,…,Δωn表示n个样本点摔倒过程中的角速度的变化量;
τ1,τ2,…,τn,表示n个样本点摔倒过程中身体心率的实时数值;
Δτ1,Δτ2,…,Δτn,表示n个样本点摔倒过程中心率数值的变化量;
ε1,ε2,…,εn,表示n个样本点摔倒过程中血氧浓度的实时数值;
Δε1,Δε2,…,Δεn,表示n个样本点摔倒过程中血氧浓度的变化量;
ψ1,ψ2,…,ψn,表示n个样本点摔倒过程中身体血压脉搏实时数值;
Δψ1,Δψ2,…,Δψn表示n个样本点摔倒过程中身体血压脉搏数值的变化量;
S102、将计算得出的变化量进行归一化处理后,输入神经网络中,进行学习,神经网络学习后对身体姿态进行预测;
在进行归一化处理时,采用标准差标准化的方法,是所采集的每一类数据中的所有数据减去均值后除以其方差,收敛在0附近,方差为一,避免奇点数据对整个数据造成干扰。输入神经网络后,神经网络对输入数据进行特征提取,通过对提取的数据进行卷积和池化,得出身体姿态预测结果。
通过神经网络对历史身体姿态数据进行学习,能有效地识别正常情况下,老人的常规动作和习惯动作,能及时检测出老人发生碰撞时的应激反应,对老人的身体动作趋势,做出准确预测。
S103、设定身体姿态数据的变化量阈值,判断身体姿态数据的变化量是否超过阈值;
在优选的实施例中,在S103中,判断身体姿态数据的变化量是否超过阈值时,包括首先判断合加速度的变化量是否超过合加速度阈值|a1|,当合加速度的变化量超过阈值|a1|时,则初步判断老人处于非正常运动状态即失重状态;
人体在摔倒的过程中,会伴随着一个摔倒的过程,人体的形态、动能能量、运动状态都会有快速的变化。在摔倒的过程中,手环会随着下落的姿势而变化,但其变化的姿势是随机而不可控的。通过三轴角度、三轴合加速度、三轴合角速度来分析运动形态。
由公式(1)可得合加速度的变化量Δa,计算如下:
人体在下落过程中伴随着失重过程,其重力加速度减小,小于重力加速度常数g,并会持续一段时间。检测老人运动三轴加速度的值并计算合加速度大小a,若合加速a小于某一阈值|a1|且Δa<0,则初步判断老人处于非正常运动状态即失重状态,需在进行状态检测判断。
进一步判断高度变化量是否超过高度阈值Δh',若大于初始阈值Δh',则判断老人处于非正常状态;进一步,由公式(4)可得高度变化量Δh,计算如下:
其中,人体摔倒前后的大气压值分别为P1、P2。
若Δh变化量大于初始阈值Δh',则判断老人处于非正常状态。
在产生高度差的整个过程,若在加速度值Δa≤|a1|后1.5s内又检测到一个大于|a1|的峰值|a2|,则判定发生了碰撞,进入当前中断0.5s不检测加速度,中断结束后检测2s内n个点合加速均满足a≤|a1|,则初步判断老人处于摔倒状态。
通过设定阈值,能对老人是否发生碰撞进行准确的检测,结合神经网络的预测结果,对老人是否真的摔倒做出准确判断,避免漏报,错报的发生。
S104、当超过阈值时,根据预测结果,结合获取的体征数据,在约束条件下,计算摔倒检测矩阵,根据计算结果判断摔倒等级。
在S104中,所述摔倒检测矩阵采用如下公式表示:
其中,k1、k2、k3、k4、k5、k6、k7分别是高度差、倾斜角变化量、合加速度变化量、合角速度变化量、心率变化量、血氧浓度变化量和血压脉搏变化量的影响因子;Δh1,Δh2,…,Δhn,表示n个样本点摔倒前后高度的变化量;
Δσ1,Δσ2,…,Δσn,表示n个样本点摔倒前后倾角的变化量;
Δa1,Δa2,…,Δan,表示n个样本点摔倒过程中的加速度的变化量;
Δω1,Δω2,…,Δωn表示n个样本点摔倒过程中的角速度的变化量;
τ1,τ2,…,τn,表示n个样本点摔倒过程中身体心率的实时数值;
Δτ1,Δτ2,…,Δτn,表示n个样本点摔倒过程中心率数值的变化量;
ε1,ε2,…,εn,表示n个样本点摔倒过程中血氧浓度的实时数值;
Δε1,Δε2,…,Δεn,表示n个样本点摔倒过程中血氧浓度的变化量;
ψ1,ψ2,…,ψn,表示n个样本点摔倒过程中身体血压脉搏实时数值;
Δψ1,Δψ2,…,Δψn表示n个样本点摔倒过程中身体血压脉搏数值的变化量。
其中,深度学习模型计算时设定约束条件,所述约束条件包括根据老人的年龄、性别对体征数据设定阈值。需要说明的是,k1、k2、k3、k4、k5、k6、k7代表的高度差、倾斜角变化量、合加速度变化量、合角速度变化量、心率变化量、血氧浓度变化量和血压脉搏变化量的影响因子;在深度学习过程中由神经网络进行设定。
将公式(6)中的数据每隔1天向手机客户端发送一次,并将数据存入云端,每隔三天重新计算影响因子的数值,并更新到智能手环中。其中深度学习的计算方法在此处不做过多赘述。由公式(9)计算得出摔倒级别。
摔倒等级为一级,不需要或者只需要稍微的治疗与观察伤害程度,如:擦伤、挫伤、不需要缝合的皮肤小的撕裂伤等;
二级,需要冰敷、包扎缝合或者夹板固定等医疗处理、护理处置或者病情观察的伤害程度。如扭伤、拉伤、大或深的撕裂伤等。
三级,需要医疗处置以及会诊伤害程度。如骨折、休克、意识丧失、精神或身体状态改变长时间不能复原等。
在上述任意一项实施例中优选的,还包括预测精度评价模型,所述预测精度评价模型采用根均方误差公式对预测结果的精度进行评价:
其中,n表示为预测结果的总个数,yact(i)和ypred(i)为第i个样本的身体姿态值和预测值。
本发明还提供一种老人摔倒检测手环,用于实施上述检测方法,包括
传感器模块,用于实时获取老人的身体姿态数据和体征数据;并将获取的身体姿态数据和体征数据输入处理器中;所述传感器模块包括身体姿态检测单元和体征检测单元;其中,优选的,身体姿态检测单元包括加速度传感器11、陀螺仪、大气压强传感器、角速度传感器;体征检测单元包括心率检测模块22,血压脉搏检测模块221和血氧检测模块222;还包括显示屏及其他输出模块66中,显示模块661,通信模块662
加速度传感器用于获取加速度值;陀螺仪用于获取倾角;大气压强传感器用于获取高度值;角速度传感器用于获取角加速度;
心率检测模块用于获取心率、血氧浓度;血压脉搏检测模块用于获取血压、脉搏;血氧检测模块用于获取血氧浓度。
采用的硬件传感器模块使用规则如下:
采用型号为JY-61的mpu6050角度传感器测量三轴角度分别是σx、σy和σz,三轴加速度分别是ax、ay和az,三轴角速度分别是ωx、ωy和ωz。
采用BME280高精度大气压强传感器模块测量人体高度的变化,根据公式(1)分别采集人体摔倒前后的大气压值P0转化为高度值,计算如下:
其中:h0表示测量点的高度;R为气体常数;g为重力加速度常数;P0表示当前测量气压值;Ps表示大气压水银气柱常数。
采用MAX30102血氧浓度手腕心率传感器,实时采集心率数值τ,血氧浓度ε。
采用MPS20N0040D-S血压计用压力传感器,实时采集血压数值ψ。
ψ=μN (5)
其中,μ为换算系数,μ≈7.5mmHg/kPa,N为测量的压力值。
实时采集n个样本点的高度变化、倾角变化、加速度变化量、角速度变化量,以及身体心率数值、血压脉搏数值,将此n个摔倒数据值输入深度学习模型中存入矩阵E中作为系统的输入量,如公式6所示。
Δh1,Δh2,…,Δhn,表示n个样本点摔倒前后高度的变化量;
Δσ1,Δσ2,…,Δσn,表示n个样本点摔倒前后倾角的变化量;
Δa1,Δa2,…,Δan,表示n个样本点摔倒过程中的加速度的变化量;
Δω1,Δω2,…,Δωn表示n个样本点摔倒过程中的角速度的变化量;
τ1,τ2,…,τn,表示n个样本点摔倒过程中身体心率的实时数值;
Δτ1,Δτ2,…,Δτn,表示n个样本点摔倒过程中心率数值的变化量;
ε1,ε2,…,εn,表示n个样本点摔倒过程中血氧浓度的实时数值;
Δε1,Δε2,…,Δεn,表示n个样本点摔倒过程中血氧浓度的变化量;
ψ1,ψ2,…,ψn,表示n个样本点摔倒过程中身体血压脉搏实时数值;
Δψ1,Δψ2,…,Δψn表示n个样本点摔倒过程中身体血压脉搏数值的变化量;
处理器,用于搭建深度学习模型,可以采用树莓派芯片,根据接收到的身体姿态数据和体征数据,利用深度学习模型进行计算,根据计算结果对应输出摔倒级别,将摔倒级别输出至通信模块,进行报警。
其中,深度学习模型进行构建时采用上述方法中的步骤1-4,在此不再赘述;
在深度学习模型中,还包括阈值设定单元,用于判断身体姿态数据的变化量是否超过阈值,包括首先判断合加速度的变化量是否超过合加速度阈值|a1|,当合加速度的变化量超过阈值|a1|时,则初步判断老人处于非正常运动状态即失重状态;
进一步判断高度变化量是否超过高度阈值Δh',若大于初始阈值Δh',则判断老人处于非正常状态;
在产生高度差的整个过程,若在加速度值Δa≤|a1|后1.5s内又检测到一个大于|a1|的峰值|a2|,则判定发生了碰撞,进入当前中断0.5s不检测加速度,中断结束后检测2s内n个点合加速均满足a≤|a1|,则初步判断老人处于摔倒状态。
深度学习模型中还包括摔倒检测矩阵,如上述公式(9)所示。
本发明还提供一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述检测方法。
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于眼震的眩晕类型识方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于眼震的眩晕类型识方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (7)
1.一种基于深度学习的老人摔倒检测方法,其特征在于,包括:
利用穿戴设备实时获取老人的身体姿态数据和体征数据;并将获取的身体姿态数据和体征数据输入构建好的摔倒检测模型中;
所述摔倒检测模型进行构建时,包括以下步骤:
S101、从历史数据中获取样本数据,计算相邻两个检测时间点,接收到的身体姿态数据的变化量;
S102、将计算得出的变化量进行归一化处理后,输入神经网络中,进行学习,神经网络学习后对身体姿态进行预测;
S103、设定身体姿态数据的变化量阈值,判断身体姿态数据的变化量是否超过阈值;判断身体姿态数据的变化量是否超过阈值时,包括首先判断合加速度的变化量是否超过合加速度阈值|a1|,当合加速度的变化量超过阈值|a1|时,则初步判断老人处于失重状态;
进一步判断高度变化量是否超过高度阈值Δh',若大于初始阈值Δh',则判断老人处于非正常状态;
在产生高度差的整个过程,若在加速度值Δa≤|a1|后1.5s内又检测到一个大于|a1|的峰值|a2|,则判定发生了碰撞,进入当前中断0.5s不检测加速度,中断结束后检测2s内n个点合加速度均满足a≤|a1|,则初步判断老人处于摔倒状态;
S104、当超过身体姿态数据的变化量阈值时,根据预测结果,结合获取的体征数据变化量,在约束条件下,计算摔倒检测矩阵,根据计算结果判断摔倒等级;
所述摔倒检测矩阵采用如下公式表示:
其中,k1、k2、k3、k4、k5、k6、k7分别是高度差、倾斜角变化量、合加速度变化量、合角速度变化量、心率变化量、血氧浓度变化量和血压脉搏变化量的影响因子;Δh1,Δh2,…,Δhn,表示n个样本点摔倒前后高度的变化量;
Δσ1,Δσ2,…,Δσn,表示n个样本点摔倒前后倾角的变化量;
Δa1,Δa2,…,Δan,表示n个样本点摔倒过程中的加速度的变化量;
Δω1,Δω2,…,Δωn表示n个样本点摔倒过程中的角速度的变化量;
τ1,τ2,…,τn,表示n个样本点摔倒过程中身体心率的实时数值;
Δτ1,Δτ2,…,Δτn,表示n个样本点摔倒过程中心率数值的变化量;
ε1,ε2,…,εn,表示n个样本点摔倒过程中血氧浓度的实时数值;
Δε1,Δε2,…,Δεn,表示n个样本点摔倒过程中血氧浓度的变化量;
ψ1,ψ2,…,ψn,表示n个样本点摔倒过程中身体血压脉搏实时数值;
Δψ1,Δψ2,…,Δψn表示n个样本点摔倒过程中身体血压脉搏数值的变化量;
所述摔倒检测模型根据接收到的身体姿态数据和体征数据,进行计算;
根据计算结果对应输出摔倒级别,将摔倒级别输出至通信设备,进行报警。
2.根据权利要求1所述的检测方法,其特征在于:所述身体姿态数据包括如下数据中的任一种或多种的组合:高度、倾角、加速度、角加速度;所述体征数据包括如下数据中的任一种或多种的组合:心率、血氧浓度、血压、脉搏。
3.根据权利要求1所述的检测方法,其特征在于,还包括,摔倒检测模型计算时设定约束条件,所述约束条件包括根据老人的年龄、性别对体征数据设定阈值。
4.根据权利要求1所述的检测方法,其特征在于,还包括预测精度评价模型,所述预测精度评价模型采用根均方误差公式对预测结果的精度进行评价:
其中,n表示为预测结果的总个数,yact(i)和ypred(i)为第i个样本的身体姿态值和预测值。
5.一种基于深度学习的老人摔倒检测手环,用于实施上述权利要求1-4中任意一项所述的检测方法,其特征在于,包括
传感器模块,用于实时获取老人的身体姿态数据和体征数据;并将获取的身体姿态数据和体征数据输入处理器中;
处理器,用于搭建摔倒检测模型,根据接收到的身体姿态数据和体征数据,利用摔倒检测模型进行计算,根据计算结果对应输出摔倒级别,将摔倒级别输出至通信模块,进行报警。
6.根据权利要求5所述的检测手环,其特征在于,所述传感器模块包括加速度传感器、陀螺仪、大气压强传感器、角速度传感器、心率检测模块,血压脉搏检测模块和血氧检测模块。
7.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-4中任一所述的老人摔倒检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010644195.9A CN111743545B (zh) | 2020-07-07 | 2020-07-07 | 基于深度学习的老人摔倒检测方法、检测手环及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010644195.9A CN111743545B (zh) | 2020-07-07 | 2020-07-07 | 基于深度学习的老人摔倒检测方法、检测手环及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111743545A CN111743545A (zh) | 2020-10-09 |
CN111743545B true CN111743545B (zh) | 2023-11-28 |
Family
ID=72679696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010644195.9A Active CN111743545B (zh) | 2020-07-07 | 2020-07-07 | 基于深度学习的老人摔倒检测方法、检测手环及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111743545B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113221621B (zh) * | 2021-02-04 | 2023-10-31 | 宁波卫生职业技术学院 | 一种基于深度学习的重心监测与识别方法 |
CN113793097B (zh) * | 2021-09-07 | 2024-04-26 | 珠海格力电器股份有限公司 | 一种货物运输风险的分析方法及系统 |
CN116439694B (zh) * | 2023-06-14 | 2023-08-15 | 深圳市魔样科技有限公司 | 基于运动模型训练的智能手表动态数据监测方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105869354A (zh) * | 2016-04-29 | 2016-08-17 | 华南理工大学 | 一种基于吸引子传播算法的老人跌倒检测方法 |
CN106203512A (zh) * | 2016-07-12 | 2016-12-07 | 北京安易康科技有限公司 | 基于多传感器信息融合的摔倒检测方法 |
CN106384481A (zh) * | 2016-11-01 | 2017-02-08 | 西安培华学院 | 一种带摔倒姿态判断的远程互联急救报警装置 |
CN106407996A (zh) * | 2016-06-30 | 2017-02-15 | 华南理工大学 | 一种基于机器学习的老人跌倒检测方法及其检测系统 |
WO2017049957A1 (zh) * | 2015-09-25 | 2017-03-30 | 广东乐源数字技术有限公司 | 智能跌倒监护装置及其处理方法 |
CN107693022A (zh) * | 2017-09-27 | 2018-02-16 | 福建工程学院 | 一种检测人体摔倒的方法及装置 |
CN108041772A (zh) * | 2017-08-03 | 2018-05-18 | 浙江工业大学 | 一种老人摔倒检测智能手环及老人摔倒检测方法 |
CN110047248A (zh) * | 2019-05-23 | 2019-07-23 | 河南工业大学 | 一种基于可穿戴的老人跌倒检测方法及设备 |
CN110464315A (zh) * | 2019-07-23 | 2019-11-19 | 闽南理工学院 | 一种融合多传感器的老年人摔倒预测方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10692011B2 (en) * | 2016-01-21 | 2020-06-23 | Verily Life Sciences Llc | Adaptive model-based system to automatically quantify fall risk |
-
2020
- 2020-07-07 CN CN202010644195.9A patent/CN111743545B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017049957A1 (zh) * | 2015-09-25 | 2017-03-30 | 广东乐源数字技术有限公司 | 智能跌倒监护装置及其处理方法 |
CN105869354A (zh) * | 2016-04-29 | 2016-08-17 | 华南理工大学 | 一种基于吸引子传播算法的老人跌倒检测方法 |
CN106407996A (zh) * | 2016-06-30 | 2017-02-15 | 华南理工大学 | 一种基于机器学习的老人跌倒检测方法及其检测系统 |
CN106203512A (zh) * | 2016-07-12 | 2016-12-07 | 北京安易康科技有限公司 | 基于多传感器信息融合的摔倒检测方法 |
CN106384481A (zh) * | 2016-11-01 | 2017-02-08 | 西安培华学院 | 一种带摔倒姿态判断的远程互联急救报警装置 |
CN108041772A (zh) * | 2017-08-03 | 2018-05-18 | 浙江工业大学 | 一种老人摔倒检测智能手环及老人摔倒检测方法 |
CN107693022A (zh) * | 2017-09-27 | 2018-02-16 | 福建工程学院 | 一种检测人体摔倒的方法及装置 |
CN110047248A (zh) * | 2019-05-23 | 2019-07-23 | 河南工业大学 | 一种基于可穿戴的老人跌倒检测方法及设备 |
CN110464315A (zh) * | 2019-07-23 | 2019-11-19 | 闽南理工学院 | 一种融合多传感器的老年人摔倒预测方法和装置 |
Non-Patent Citations (1)
Title |
---|
基于多传感器融合的摔倒监测研究与设计;刘树栋;《中国优秀硕士学位论文全文数据库信息科技辑》;20170515;参见第13-21,39-50页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111743545A (zh) | 2020-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111743545B (zh) | 基于深度学习的老人摔倒检测方法、检测手环及存储介质 | |
Hsieh et al. | Novel hierarchical fall detection algorithm using a multiphase fall model | |
Andò et al. | A multisensor data-fusion approach for ADL and fall classification | |
WO2017049958A1 (zh) | 瘫倒监测和预防装置及其处理方法 | |
US20180008191A1 (en) | Pain management wearable device | |
Zhang et al. | A context-aware mhealth system for online physiological monitoring in remote healthcare | |
KR101320545B1 (ko) | 맥파측정 및 낙상감지 장치 및 방법 | |
JP7258918B2 (ja) | モニタリング対象者のバイタルサインの信頼性の決定 | |
Li et al. | Grammar-based, posture-and context-cognitive detection for falls with different activity levels | |
KR102346824B1 (ko) | 인공지능 기반 생체신호 모니터링 및 분석을 통한 복합 생활 지원 솔루션 제공 시스템 및 그 동작 방법 | |
Clemente et al. | Helena: Real-time contact-free monitoring of sleep activities and events around the bed | |
US10373714B1 (en) | Determination of bed-time duration using wearable sensors | |
CN107019501B (zh) | 基于遗传算法和概率神经网络的远程摔倒检测方法及系统 | |
Padmaja et al. | A novel random split point procedure using extremely randomized (Extra) trees ensemble method for human activity recognition | |
Liu et al. | A wearable gait analysis and recognition method for Parkinson’s disease based on error state Kalman filter | |
Zhang et al. | A novel fuzzy logic algorithm for accurate fall detection of smart wristband | |
Amir et al. | Real-time threshold-based fall detection system using wearable IoT | |
US20240032820A1 (en) | System and method for self-learning and reference tuning activity monitor | |
Peng et al. | Experimental analysis of artificial neural networks performance for accessing physical activity recognition in daily life | |
Pantelopoulos et al. | Design of the new prognosis wearable system-prototype for health monitoring of people at risk | |
Nguyen et al. | Detecting falls using a wearable accelerometer motion sensor | |
Nouriani et al. | System-Identification-Based Activity Recognition Algorithms With Inertial Sensors | |
US20220125376A1 (en) | Sleep apnea syndrome determination apparatus, sleep apnea syndrome determination method, and sleep apnea syndrome determination program | |
CN112386249B (zh) | 跌倒检测方法及装置、设备、存储介质 | |
Sun et al. | Wearable fall detection system using barometric pressure sensors and machine learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |