CN112393775B - 基于智能拐杖的检测用户状态的方法、装置和智能拐杖 - Google Patents
基于智能拐杖的检测用户状态的方法、装置和智能拐杖 Download PDFInfo
- Publication number
- CN112393775B CN112393775B CN202110078929.6A CN202110078929A CN112393775B CN 112393775 B CN112393775 B CN 112393775B CN 202110078929 A CN202110078929 A CN 202110078929A CN 112393775 B CN112393775 B CN 112393775B
- Authority
- CN
- China
- Prior art keywords
- walking
- user
- determining
- stress
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 241001166076 Diapheromera femorata Species 0.000 title description 16
- 230000002159 abnormal effect Effects 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 24
- 230000008859 change Effects 0.000 description 23
- 238000013528 artificial neural network Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000009499 grossing Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 230000001174 ascending effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000000630 rising effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 2
- 230000003938 response to stress Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45B—WALKING STICKS; UMBRELLAS; LADIES' OR LIKE FANS
- A45B3/00—Sticks combined with other objects
- A45B3/08—Sticks combined with other objects with measuring or weighing appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
- A61H1/02—Stretching or bending or torsioning apparatus for exercising
- A61H1/0237—Stretching or bending or torsioning apparatus for exercising for the lower limbs
- A61H1/0255—Both knee and hip of a patient, e.g. in supine or sitting position, the feet being moved together in a plane substantially parallel to the body-symmetrical plane
- A61H1/0262—Walking movement; Appliances for aiding disabled persons to walk
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/02—Crutches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H2003/006—Appliances for aiding patients or disabled persons to walk about with forearm rests, i.e. for non-used arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
- A61H2201/1635—Hand or arm, e.g. handle
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
- A61H2201/1635—Hand or arm, e.g. handle
- A61H2201/1638—Holding means therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
- A61H2201/164—Feet or leg, e.g. pedal
- A61H2201/1642—Holding means therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
- A61H2201/165—Wearable interfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5007—Control means thereof computer controlled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
- A61H2201/5061—Force sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
- A61H2201/5084—Acceleration sensors
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computational Linguistics (AREA)
- Physical Education & Sports Medicine (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Evolutionary Computation (AREA)
- Rehabilitation Therapy (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rehabilitation Tools (AREA)
Abstract
本申请涉及康复机器人技术领域,公开一种基于智能拐杖的检测用户状态的方法。该基于智能拐杖的检测用户状态的方法包括:获得当前状态前设定时长内的多个行走意图及其对应的位置,根据多个位置确定行走路线,获得每个位置对应的行走意图与所述行走路线的匹配结果,若匹配失败的结果数量大于或等于第一设定数量,则确定用户状态出现异常。采用该基于智能拐杖的检测用户状态的方法可及时检测到用户已经无法很好地对智能拐杖进行操控,进而及时判定用户状态出现异常,可减少摔倒现象的发生。本申请还公开一种基于智能拐杖的检测用户状态的装置和智能拐杖。
Description
技术领域
本申请涉及康复机器人技术领域,例如涉及一种基于智能拐杖的检测用户状态的方法、装置和智能拐杖。
背景技术
目前,智能拐杖可搭配外骨骼机器人共同使用,以辅助用户完成一系列的康复训练动作,还可辅助丧失全部或部分行走能力的用户重新行走;智能拐杖还可被单独使用,以辅助具备行走能力但行走不稳的用户正常行走。
使用智能拐杖的用户多为需要被看护的用户,例如正在学习使用智能拐杖和外骨骼机器人的用户,正在进行康复训练的用户,行走能力弱的用户。智能拐杖的主要作用是支撑作用,用于辅助用户维持重心平衡,减少摔倒现象的发生,现有技术中存在一种防跌倒智能拐杖,可对跌倒现象进行监测,该智能拐杖包括加速度传感器、角速度传感器、心率传感器、用于检测压力的压力传感器和用于检测用户体温的温度传感器。
在用户使用智能拐杖的过程中,通过温度传感器、压力传感器、加速度传感器、角速度传感器、心率传感器检测用户数据,首先依据压力传感器判断智能拐杖是否处于被使用状态,若是,再依次判断加速度传感的测量值是否大于预设的加速度,判断角速度的测量值是否大于预设的角速度,判断心率传感器的测量值是否大于预设的心率阈值,判断温度传感器的测量值是否大于预设的温度阈值,在上述判断依次为是时,判定用户已经摔倒。实现对用户状态的监测。
在实现本公开实施例的过程中,发现相关技术中至少存在如下问题:
现有技术中智能拐杖可检测用户处于摔倒的状态,却无法提前检测到用户身体状态出现异常,进而无法对摔倒现象进行预防。
发明内容
为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。所述概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。
本公开实施例提供了一种基于智能拐杖的检测用户状态的方法、装置和智能拐杖,以解决现有技术中的智能拐杖无法检测用户身体状态的变化过程的技术问题。
在一些实施例中,基于智能拐杖的检测用户状态的方法包括:获得当前状态前设定时长内的多个行走意图及其对应的位置;根据多个位置确定行走路线;获得每个位置对应的行走意图与所述行走路线的匹配结果;若匹配失败的结果数量大于或等于第一设定数量,则确定用户状态出现异常。
可选地,根据多个位置确定行走路线,获得每个位置对应的行走意图与所述行走路线的匹配结果,包括:获得所述多个位置的拟合曲线,根据所述拟合曲线确定所述行走路线;在所述行走路线上确定与实际位置对应的拟合位置;其中,所述实际位置为所述多个位置中任意一个;获得所述实际位置与所述拟合位置的距离,以及所述实际位置指向所述拟合位置的第一方向;获得所述实际位置对应的行走意图的第二方向与所述第一方向的第一角度差值;根据所述距离和所述第一角度差值获得所述实际位置对应的行走意图与所述行走路线的匹配结果。
可选地,根据所述距离和所述第一角度差值获得每个位置对应的行走意图与所述行走路线的匹配结果,包括:根据所述距离和所述第一角度差值确定偏离值;如果所述偏离值小于或等于第一设定阈值,则确定所述实际位置对应的行走意图与所述行走路线匹配成功;如果所述偏离值大于第一设定阈值,则确定所述实际位置对应的行走意图与所述行走路线匹配失败。
可选地,根据所述距离和所述第一角度差值确定偏离值,包括:根据所述距离和所述第一角度差值的加权和,确定所述偏离值;或者根据所述距离和所述第一角度差值的加权平均值,确定所述偏离值。
可选地,获得每个位置对应的行走意图与所述行走路线的匹配结果,包括:确定所述行走路线的对应任意一个位置的前进的第三方向;若一个位置对应的行走意图的第四方向与所述第三方向匹配成功,则确定所述一个位置对应的行走意图与所述行走路线匹配成功;若一个位置对应的行走意图的第四方向与所述第三方向匹配失败,则确定所述一个位置对应的行走意图与所述行走路线匹配失败。
可选地,若所述第四方向与所述第三方向的第二角度差值小于或等于第二设定阈值,则确定所述第三方向和所述第四方向匹配成功。
可选地,获得当前状态前设定时长内的多个行走意图,包括:获得任意一个位置对应的智能拐杖的第一倾斜角度和所述智能拐杖在本体坐标系的第一受力;其中,所述第一受力由地面施加给所述智能拐杖;根据所述第一倾斜角度,将所述第一受力转换为所述智能拐杖在地面坐标系的第二受力;根据倾斜角度、地面坐标系的受力与用户行走意图之间的对应关系,确定与所述第一倾斜角度和所述第二受力对应的一个行走意图。
在一些实施例中,基于智能拐杖的检测用户状态的装置包括:第一获得模块、第一确定模块、第二获得模块和第二确定模块,其中,第一获得模块被配置为获得当前状态前设定时长内的多个行走意图及其对应的位置;第一确定模块被配置为根据多个位置确定行走路线;第二获得模块被配置为获得每个位置对应的行走意图与部分行走路线的匹配结果;第二确定模块被配置为若匹配失败的结果数量大于或等于第一设定数量,则确定用户状态出现异常。
在一些实施例中,基于智能拐杖的检测用户状态的装置包括处理器和存储有程序指令的存储器,所述处理器被配置为在执行所述程序指令时,执行前述实施例提供的基于智能拐杖的检测用户状态的方法。
在一些实施例中,智能拐杖包括前述实施例提供的基于智能拐杖的检测用户状态的装置。
本公开实施例提供的基于智能拐杖的检测用户状态的方法、装置和智能拐杖,可以实现以下技术效果:
在用户行走意图与行走路线匹配的情况下,表明用户此时可比较精确地对智能拐杖进行操控,进一步表明此时用户身体状态相对良好;在用户行走意图与行走路线不匹配的情况下,甚至多次出现用户行走意图与行走路线不匹配的现象,表明此时用户已经无法精确地对智能拐杖进行操控,甚至无法正常操作智能拐杖,则判定用户状态出现异常。这可对用户使用智能拐杖的状态进行检测,可及时检测到用户已经无法很好地对智能拐杖进行操控,进而及时判定用户状态出现异常,可减少摔倒现象的发生。
以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本申请。
附图说明
一个或一个以上实施例通过与之对应的附图进行示例性说明,这些示例性说明和附图并不构成对实施例的限定,附图中具有相同参考数字标号的元件视为类似的元件,并且其中。
图1是本公开实施例提供的一种智能拐杖的使用场景的示意图。
图2是本公开实施例提供的一种基于智能拐杖的检测用户状态的方法的示意图。
图3是本公开实施例提供的一种行走路线的示意图。
图4是本公开实施例提供的一种行走路线的示意图。
图5是本公开实施例提供的一种获得每个位置对应的行走意图与行走路线的匹配结果的过程示意图。
图6是本公开实施例提供的一种获得行走意图的过程的示意图。
图7是本公开实施例提供的一种用于确定与第一倾斜角度和第二受力相对应的一个行走意图的示意图。
图8是本公开实施例提供的一种基于智能拐杖的检测用户状态的装置的示意图。
图9是本公开实施例提供的一种基于智能拐杖的检测用户状态的装置的示意图。
图10是本公开实施例提供的一种基于智能拐杖的检测用户状态的装置的示意图。
图11是本公开实施例提供的一种基于智能拐杖的检测用户状态的装置的示意图。
图12是本公开实施例提供的一种基于智能拐杖的检测用户状态的装置的示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容,下面结合附图对本公开实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本公开实施例。在以下的技术描述中,为方便解释起见,通过多个细节以提供对所披露实施例的充分理解。然而,在没有这些细节的情况下,一个或一个以上实施例仍然可以实施。在其它情况下,为简化附图,熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开实施例的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。
除非另有说明,术语“多个”表示两个或两个以上。
本公开实施例中,字符“/”表示前后对象是一种“或”的关系。例如,A/B表示:A或B。
术语“和/或”是一种描述对象的关联关系,表示可以存在三种关系。例如,A和/或B,表示:A或B,或,A和B这三种关系。
智能拐杖可搭配外骨骼机器人共同使用,以辅助用户完成一系列的康复训练动作,还可辅助丧失全部或部分行走能力的用户重新行走;智能拐杖还可被单独使用,以辅助具备行走能力但行走不稳的用户正常行走。使用智能拐杖的用户多为需要被看护的用户,例如正在学习使用智能拐杖和外骨骼机器人的用户,正在进行康复训练的用户,行走能力弱的用户。用户在使用智能拐杖的过程中,其身体状态往往逐渐变差,例如,用户疲劳度不断增加,直至疲劳到一定程度,此时用户进入容易摔倒的状态。本公开实施例中提供的基于智能拐杖的检测用户状态方法,可对用户对智能拐杖的操控能力进行检测,以及时检测到用户已经无法很好地对智能拐杖进行操控,进而及时判定用户状态出现异常,可减少摔倒现象的发生。
图1是本公开实施例提供的一种智能拐杖的使用场景的示意图。该智能拐杖上设置有力传感器11和陀螺仪12,可检测地面施加给智能拐杖的力以及智能拐杖的倾斜角度。
在一些应用场景中,智能拐杖具有定位功能,在用户使用智能的过程中,可通过智能拐杖获得用户的位置。例如,该智能拐杖上还可设置定位模块,该定位模块可以是基于全球定位系统(Global Positioning System,GPS)的定位模块,或者基于北斗卫星导航系统(BeiDou Navigation Satellite System,BDS)的定位模块,通过该定位模块可获得用户的位置。
或者,该智能拐杖上还可设置速度计和/或加速度计,根据速度计和/或加速度计检测的速度和/或加速度和陀螺仪检测的倾斜角度,确定用户相对于起点位置(已知位置)的相对位置,以该相对位置作为用户的位置。
在一些应用场景中,智能拐杖与智能终端配合使用,智能终端上设置有导航模块,智能拐杖与智能终端通信连接,智能终端可获得用户的位置。其中,上述智能终端可以是可穿戴智能设备,例如智能手环、智能手表等,还可以是智能手机、平板电脑等。
或者,该智能终端上可设置速度计和/或加速度计,根据速度计和/或加速度计检测的速度和/或加速度,以及陀螺仪检测的倾斜角度,确定用户相对于起点位置(已知位置)的相对位置,以该相对位置作为用户的位置。
图1中所示的应用场景为智能拐杖配合外骨骼机器人的应用场景,这样可辅助丧失全部行走能力或者行走能力受损严重的用户重新行走或进行康复训练;当然,智能拐杖还可独立使用(即,在使用过程中,智能拐杖不搭配外骨骼机器人,图1中未示出),以辅助行走能力受损程度较小的用户重新正常行走或进行康复训练。
图2是本公开实施例提供的一种基于智能拐杖的检测用户状态的方法的示意图。本公开实施例中的智能拐杖可以是图1中所示的智能拐杖,还可以是具有与图1中智能拐杖相同功能的其他结构的智能拐杖,本公开实施例对智能拐杖的结构不做具体限定,仅以图1中所示的智能拐杖为例进行示例性说明。
本公开实施例中的基于智能拐杖的检测用户状态的方法可在智能拐杖的控制器内执行,还可在与智能拐杖通信连接的智能终端内执行,还可在与智能拐杖通信连接的服务器内执行。
结合图2所示,本公开实施例提供的基于智能拐杖的检测用户状态的方法包括:S201、获得当前状态前设定时长内的多个行走意图及其对应的位置。
该步骤的当前状态是对于检测用户状态的时刻而言的,当检测一特定时刻的用户状态时,该特定时刻的状态即为当前状态。例如,在用户使用智能拐杖的过程中,实时检测用户状态;或者,在用户使用智能拐杖之后,需要获得过去某一时刻的用户状态,则以该某一时刻对应的用户状态或智能拐杖状态作为当前状态,执行该基于智能拐杖的检测用户状态的方法。
这里的设定时长可以是一固定时长,例如可以是设备出厂时设定的一固定时长,还可以是用户根据个人需求设定的一固定时长。其中,设定时长越大,基于智能拐杖的检测用户状态的方法越能反映用户的整体情况,但其时效性越差,即灵敏度越低;设定时长越小,基于智能拐杖的检测用户状态的时效性越好,即灵敏度越高,但其反映用户整体情况的效果越差。用户可根据实际需求确定设定时长,本公开实施例对设定时长不做具体限定。
该设定时长还可以是获得设定数量的行走意图及其对应的位置所需的时长。该设定数量可以是出厂时设定的数量,还可以是用户根据个人需求设定的数量。其中,设定数量越大,基于智能拐杖的检测用户状态的方法越能反映用户的整体情况,但其时效性越差,即灵敏度越低;设定数量越小,基于智能拐杖的检测用户状态的时效性越好,即灵敏度越高,但其反映用户整体情况的效果越差。用户可根据实际需求确定设定数量,本公开实施例对设定数量不做具体限定。
在获得行走意图的过程中,可通过智能拐杖上的力传感器检测地面施加给智能拐杖的力,通过陀螺仪检测智能拐杖的倾斜角度。进一步地,再通过地面施加给智能拐杖的力和智能拐杖的倾斜角度确定行走意图。例如,通过地面施加给智能拐杖的力的变化情况确定智能拐杖的触地状态,通过倾斜角度的变化情况确定智能拐杖的挥动状态,再依据智能拐杖的触地状态和挥动状态确定用户的行走意图。
在一些具体应用中,当智能拐杖周期性挥动,且周期性触地时,确定行走意图为前进;当智能拐杖停止挥动,且智能拐杖触地时,确定行走意图为停止。
还可通过地面施加给智能拐杖的力、智能拐杖的倾斜角度和用户行走意图的对应关系,确定与地面施加给智能拐杖的一个力和智能拐杖的一个倾斜角度相对应的一个行走意图。
本公开实施例中的行走意图包括但不限于停止、直行、左拐和右拐。
可通过智能拐杖上设置的定位模块获得用户的位置;或者,在智能拐杖与智能终端配合使用的应用场景中,可通过智能终端上设置的定位模块获得用户位置。
S202、根据多个位置确定行走路线。
可根据多个位置确定一条平滑曲线,以该平滑曲线作为行走路线。其中,该平滑曲线可连接全部位置,也可连接部分位置。
本公开实例中的位置,可用二维坐标表示,以二维坐标中的一个数值作为因变量,即,以二维坐标中的一个数值作为横坐标,以坐标中的另一个数值作为自变量,即,以二维坐标中的另一个数值作为纵坐标,构造一个表示行走路线的离散函数。
例如,为了获得平滑曲线,用折线依次连接每两个相邻的位置,获得一个折线函数,再对该折线函数进行平滑处理,在平滑处理后获得一条平滑曲线,以该平滑曲线作为行走路线。其中,平滑处理方法包括但不限于:盒子法、高斯窗方法、指数法、滤波法。本公开实施例对平滑处理方法不做具体限定,本领域技术人员可根据平滑处理需求选择合适的平滑处理方法。
或者,获得多个位置(坐标)的拟合曲线,以该拟合曲线作为行走路线。例如,以指数函数作为拟合函数,获得多个坐标的拟合曲线;或者,以幂函数为拟合函数,获得多个坐标的拟合曲线;或者,以双曲函数为拟合函数,获得多个坐标的拟合曲线;或者,以三角函数为拟合函数,获得多个坐标的拟合曲线。在具体应用中,可采用一个或多个类型的函数作为拟合函数,获得多个坐标的拟合曲线。本公开实施例中列举的拟合函数类型仅为示例性说明,不对获得多个坐标的拟合曲线的具体方案构成限定,本领域技术人员可依据实际情况选择合适的拟合函数。
S203、获得每个位置对应的行走意图与行走路线的匹配结果。
在一个位置处,用户的行走意图与行走路线的匹配结果,可反映在该一个位置处用户对智能拐杖的操控能力。如果一个位置处用户的行走意图与行走路线匹配成功,则表示在该一个位置处,用户还可依据自身意志对智能拐杖进行操控;如果一个位置处用户的行走意图与行走路线匹配失败,则表示在该一个位置处,用户未能依据自身意志对智能拐杖进行操控。
S204、若匹配失败的结果数量大于或等于第一设定数量,则确定用户状态出现异常。
在用户行走意图与行走路线匹配的情况下,表明用户此时可比较精确地对智能拐杖进行操控,进一步表明此时用户身体状态相对良好;在用户行走意图与行走路线不匹配的情况下,甚至多次出现用户行走意图与行走路线不匹配的现象,表明此时用户已经无法精确地对智能拐杖进行操控,甚至无法正常操作智能拐杖,则判定用户状态出现异常。这可对用户使用智能拐杖的状态进行检测,可及时检测到用户已经无法很好地对智能拐杖进行操控,进而及时判定用户状态出现异常,可减少摔倒现象的发生。
可选地,获得每个位置对应的行走意图与行走路线的匹配结果,包括:定行走路线的对应任意一个位置的前进的第三方向;若一个位置对应的行走意图的第四方向与第三方向匹配成功,则确定一个位置对应的行走意图与行走路线匹配成功;若一个位置对应的行走意图的第四方向与第三方向匹配失败,则确定一个位置对应的行走意图与行走路线匹配失败。
在上述匹配过程中,若第四方向与第三方向的第二角度差值小于或等于第二设定阈值,则确定第三方向和第四方向匹配成功;若第四方向与第三方向的第二角度差值大于第二设定阈值,则确定第三方向与第四方向匹配失败。
通过上述过程可获得多个位置中任一位置对应的行走意图与行走路线的匹配结果。在获得每个位置对应的行走意图与行走路线的匹配结果的过程中,重复执行上述获得任一位置对应的行走意图与行走路线的匹配结果的过程,直至遍历全部位置,以获得每个位置对应的行走意图与行走路线的匹配结果。
例如,按照一定顺序对全部位置进行排序,可按照位置的获得时间的先后顺序进行排序,还可按照表示位置的坐标的大小顺序进行排序,再按照多个位置的顺序依次获得每个位置对应的行走意图与行走路线的匹配结果。
图3是本公开实施例提供的一种行走路线的示意图。该实施例以6个位置为例进行示例性说明,该6个位置分别为P1、P2、P3、P4、P5和P6,6个位置均位于平滑曲线R1上,以将上述获得匹配结果的过程应用在P2、P4和P5为例对行走意图和行走路线R1的匹配过程进行实例性说明。在P2处,D2为行走路线R1的方向,d2为行走意图,D2和d2的方向相同,确定P2对应的行走意图d2与行走路线R1匹配成功;在P4处,D4为行走路线R1的方向,d4为行走意图,D4和d4方向不同,但D4与d4之间的夹角小于第二设定阈值,确定P4对应的行走意图d4与行走路线R1匹配成功;在P5处,D5为行走路线R1的方向,d5为行走意图,D5与d5方向不同,且D5与d5之间的夹角大于第二设定阈值,确定P5对应的行走意图d5与行走路线R1匹配失败。
图4是本公开实施例提供的一种获得每个位置对应的行走意图与行走路线的匹配结果的过程示意图。该获得匹配结果的过程中是针对多个位置中任意一个位置而言的,每执行一次该获得匹配结果的过程,即可获得一个位置对应的行走意图与行走路线的匹配结果,执行多次可获得多个位置对应的多个行走意图与行走路线的匹配结果。
结合图4所示,根据多个位置确定行走路线,获得每个位置对应的行走意图与行走路线的匹配结果,包括:S401、获得多个位置的拟合曲线,根据拟合曲线确定行走路线。
例如,以该拟合曲线作为行走路线,此时,多个位置中一部分位置位于行走路线上,多个位置中另一部分位置位于行走路线之外;或者,将该拟合曲线进行归一化处理,将归一化处理后的拟合曲线作为行走路线。
S402、在行走路线上确定与实际位置对应的拟合位置。
其中,实际位置为多个位置中任意一个。当需要获得多个位置中一个位置对应的行走意图与行走路线的匹配结果的情况下,则以该一个位置作为本步骤中的实际位置。
其中,拟合位置可以是行走路线上与实际位置的横坐标相同的位置;或者,拟合位置可以是行走路线上与实际位置的纵坐标相同的位置;或者,拟合位置可以是行走路线上与实际位置距离最近的位置,例如,将经过实际位置的行走路线的垂线的垂足作为拟合位置。
S403、获得实际位置与拟合位置的距离,以及实际位置指向拟合位置的第一方向。
其中,实际位置可用一个二维坐标表示,拟合位置可用另一个二维坐标表示,计算两个二维坐标之间的距离,即为实际位置与拟合位置的距离。
第一方向表示实际位置偏离行走路线的方向,在理想情况下,如果用户在实际位置时,沿第一方向行走,则用户将回到行走路线上。例如,在将经过实际位置的行走路线的垂线的垂足作为拟合位置的情况下,第一方向指的是用户由实际位置以最快的速率回到行走路线的理想前进方向。
S404、获得实际位置对应的行走意图的第二方向与第一方向的第一角度差值。
行走意图是通过用户表现出的一系列动作确定的,可反映用户表现出的行走目的;行走路线是通过用户实际的位置确定的,可反映用户真实的行走目的。
第一角度差值可反映用户按照意愿操控智能拐杖的能力。例如,在用第一方向和第二方向之间的夹角(夹角小于或等于180°)表示第一角度差值的情况下,如果第一方向和第二方向的夹角小于90°,则表示用户按照意愿操控智能拐杖的能力较佳;如果第一方向和第二方向的夹角大于90°,则表示用户按照意愿操控智能拐杖的能力较差。
如果实际位置与拟合位置的距离为零,即,实际位置位于行走路线上,确定行走路线的对应实际位置的前进的第三方向,根据第二方向和第三方向的夹角确定第一角度差值,例如,以第二方向和第三方向的夹角与90°的和,作为第一角度差值。
S405、根据距离和第一角度差值获得实际位置对应的行走意图与行走路线的匹配结果。
可选地,根据距离和第一角度差值获得每个位置对应的行走意图与行走路线的匹配结果,包括:根据距离和第一角度差值确定偏离值;如果偏离值小于或等于第一设定阈值,则确定实际位置对应的行走意图与行走路线匹配成功;如果偏离值大于第一设定阈值,则确定实际位置对应的行走意图与行走路线匹配失败。在上述技术方案中,将距离和第一角度差值量化为一个偏离值,进而根据偏离值确定出了匹配结果。
在一些实际应用中,可根据距离和第一角度差值的加权和,确定偏离值。例如,以距离和第一角度差值的加权和作为偏离值,或者,在对数据格式有要求的情况下,获得距离和第一角度差值的加权和,再对加权和进行归一化处理,以归一化处理后的加权和作为偏离值。
在一些实际应用中,还可根据距离和第一角度差值的加权平均值,确定偏离值。例如,以距离和第一角度差值的加权平均值作为偏离值,或者,在对数据格式有要求的情况下,获得距离和第一角度差值的加权平均值,再对加权平均值进行归一化处理,以归一化处理后的加权平均值作为偏离值。
在上述确定偏离值的过程中,距离的权重表示距离对偏差值的影响程度,第一角度差值的权重表示角度差值对偏离值的影响程度。在实际应用中,如果在用户状态正常的情况下,通过该检测用户状态的方法获得了用户状态异常的结果,则需要降低该检测用户状态的方法的灵敏度,即,需要提高匹配成功的结果的数量,可以提高距离的权重,或者,降低第一角度差值的权重,或者,提高距离的权重且降低第一角度差值的权重;如果在用户状态异常的情况下,通过该检测用户状态的方法获得了用户状态正常的结果,则需要提高该检测用户状态的方法的灵敏度,即,需要提高匹配失败的结果的数量,可以降低距离的权重,或者,提高第一角度差值的权重,或者,降低距离的权重且提高第一角度差值的权重。本公开实施例中对距离的权重和第一角度差值的权重不做具体限定,本领域技术人员可根据实际用户状态和本方法获得的用户状态适应性调整距离的权重和/或第一角度差值的权重。
距离可在客观层面反映匹配程度,第一角度差值可在主观层面反映匹配程度,根据距离和第一角度差值可获得更加全面、更加准确的匹配结果。
图5是本公开实施例提供的一种行走路线的示意图。该实施例以6个位置为例进行示例性说明,该6个位置分别为P7、P8、P9、P10、P11和P12,其中5个位置(P7、P8、P9、P11和P12)位于平滑曲线R2之外,一个位置(P10)位于平滑曲线R2上。以将上述用于获得匹配结果的过程应用在P8、P10和P11处为例进行示例性说明。在P8处,D8为P8的拟合位置对应的行走路线的方向,d8为行走意图的方向,此时第一角度差值为90°,据此计算偏离值,之后再依据偏离值与第一设定阈值的关系,确定匹配结果;在P10处,D10为行走路线R2的方向,d10为行走意图的方向,此时第一角度差值大于90°,据此计算偏离值,之后再依据偏离值与第一设定阈值的关系,确定匹配结果;在P11处,D11为P11的拟合位置对应的行走路线R2的方向,d11为行走意图的方向,此时第一角度差值大于90°,且接近于180°,据此计算偏离值,之后再依据偏离值与第一设定阈值的关系,确定匹配结果。
图6是本公开实施例提供的一种获得行走意图的过程的示意图,该获得行走意图的过程是针对多个位置中任意一个位置而言的,每执行一次该获得行走意图的过程,即可获得用户在一个位置处的行走意图,执行多次可获得用户在多个位置处的多个行走意图。
结合图6所示,获得当前状态前设定时长内的多个行走意图,包括:S601、获得任意一个位置对应的智能拐杖的第一倾斜角度和智能拐杖在本体坐标系的第一受力。
其中,第一受力由地面施加给智能拐杖。在通过三维力传感器检测第一受力的情况下,第一受力可采用一个三维矩阵表示,例如第一受力F C =[F Cx F Cy F Cz ],其中,F Cx 是第一受力F C 在本体坐标系C的x轴上的分力,F Cy 是第一受力F C 在本体坐标系C的y轴上的分力,F Cz 是第一受力F C 在本体坐标系C的z轴上的分力。
在通过三轴陀螺仪检测第一倾斜角度的情况下,第一倾斜角度可用一个三维矩阵表示,例如第一倾斜角度θ I =[θ Ix θ Iy θ Iz ],其中,θ Ix 是第一倾斜角度θ I 沿x轴的旋转角度,θ Iy 是第一倾斜角度θ I 沿y轴的旋转角度,θ Iz 是第一倾斜角度θ I 沿z轴的旋转角度。
可先获得一个位置对应的智能拐杖的第一倾斜角度,再获得该一个位置对应的智能拐杖的第一受力;或者,可先获得一个位置对应的智能拐杖的第一受力,再获得该一个位置对应的智能拐杖的第一倾斜角度;或者,同时获得智能拐杖的第一倾斜角度和第一受力。
S602、根据第一倾斜角度,将第一受力转换为智能拐杖在地面坐标系的第二受力。
第二受力可用一个三维矩阵表示,例如第二受力F A =[F Ax F Ay F Az ],其中,F Ax 是第二受力F A 在地面坐标系A的x轴上的分力,F Ay 是第二受力F A 在地面坐标系A的y轴上的分力,F Az 是第二受力F A 在地面坐标系A的z轴上的分力。
可通过以下方式获得第二受力:将第一角度变换为旋转矩阵,计算旋转矩阵的逆矩阵与第一矩阵的外积,获得第二矩阵,其中,第一角度属于第一倾斜角度,第一矩阵表示的力属于第一受力,第二矩阵表示的力属于第二受力。这样可将第一受力转换为智能拐杖在地面坐标系的第二受力。
在一些具体应用中,旋转矩阵为R。
F a =R -1 ×F c =[F ax F ay F az ],其中,F a 为第二矩阵,属于智能拐杖在地面坐标系A的第二受力,F c 为第一矩阵,属于智能拐杖在本体坐标系C的第一受力,F ax 为F a 在地面坐标系A的x轴上的分力,F ay 表示F a 在地面坐标系A的y轴上的分力,F az 表示F a 在地面坐标系A的z轴上的分力,sinθ i =[sinθ ix sinθ iy sinθ iz ],cosθ i =[cosθ ix cosθ iy cosθ iz ],θ i 为第一角度,属于第一倾斜角度。
S603、根据倾斜角度、地面坐标系的受力与用户行走意图之间的对应关系,确定与第一倾斜角度和第二受力对应的一个行走意图。
倾斜角度、地面坐标系的受力与用户行走意图之间的对应关系可为预先设定的,例如,以三者一一对应的方式将每一个倾斜角度、每一个地面坐标系的受力与每一个用户行走意图存储至数据库中,这样,在获得第一倾斜角度(数据库中存储的任一倾斜角度)、第二受力(数据库存储的任一地面坐标系的受力)后,即可依据倾斜角度、地面坐标系的受力与用户行走意图之间的对应关系,确定出与第一倾斜角度和第二受力相对应的一个行走意图(数据库中存储的一个用户行走意图)。
将智能拐杖在本体坐标系的第一受力转换为地面坐标系的第二受力,利用地面坐标系的第二受力区分出应激反应和正常行走,例如,在第二受力沿垂直地面的分力大于或等于一设定值时,表示第二受力沿垂直地面的分力过大,反映此时用户是应激反应状态,而非正常行走状态;利用智能拐杖的第一倾斜角度反映用户姿态,这样,将智能拐杖的第一倾斜角度与地面坐标系的第二受力相互配合,可更加准确地识别出用户行走意图。
另外,在智能拐杖与外骨骼机器人相互配合的应用场景中,通过智能拐杖识别用户行走意图,外骨骼机器人执行与用户行走意图相关的行走动作,实现辅助用户行走。利用本公开实施例提供的识别用户行走意图的方法,可更加准确地获得一个行走意图,这样,在外骨骼机器人执行相关行走动作时,例如外骨骼机器人左拐时,用户可通过智能拐杖更好地配合外骨骼机器人的行走动作,即,智能拐杖、外骨骼机器人以及用户的动作更加协调,可降低用户摔倒的风险。
第一倾斜角度可包括一个或多个角度,第一受力可包括一个或多个力,第二受力可包括一个或多个力。在当前角度包括一个角度的情况下,第一受力包括一个力,第二受力包括一个力;在第一倾斜角度包括多个力的情况下,第一受力包括多个力,第二受力包括多个力,且多个角度、第一受力中的多个力和第二受力中的多个力一一对应。
如果第一倾斜角度包括一个角度,第一受力包括一个力,第二受力包括一个力,则可将第一倾斜角度和第二受力输入预设神经网络中,获得预设神经网络输出的与第一倾斜角度和第二受力相对应的一个行走意图。
其中,预设神经网络是通过多组具有对应关系的倾斜角度、地面坐标系的受力和用户行走意图训练获得的。例如,可利用已经确定对应关系的倾斜角度、地面坐标系的受力和用户行走意图对预设神经网络进行训练,在预设神经网络的识别误差低于设定误差的情况下,确定预设神经网络训练合格。之后再将第一倾斜角度和第二受力输入至该预设神经网络中,该预设神经网络即可输出与第一倾斜角度和第二受力相对应的一个行走意图。
在一些实施例中,第一倾斜角度是含有多个角度的序列,第一受力是含有多个力的序列,第二受力是含有多个力的序列,其中,第一倾斜角度中的多个角度、第一受力中的多个力与第二受力中的多个力一一对应。含有多个角度的第一倾斜角度可反映用户姿态的变化情况,含有多个力的第二受力可反映用户对智能拐杖依赖的变化情况,例如,第二受力中的一个力越大,反映用户对智能拐杖的依赖程度越强。多个角度的序列比一个角度的限定能力更强,限定范围更窄,多个力的序列比一个力的限定能力更强,限定范围更窄,利用多个角度的序列(第一倾斜角度)以及多个力的序列(第二受力)确定一个行走意图,可确定出更加准确的一个行走意图。
在本公开实施例中,序列中的数据可按照时间由先至后的顺序排序。例如,第一倾斜角度中的多个角度可按照采集时间由先至后的顺序排列;第一受力中的多个受力可按照采集时间由先至后的顺序排列;第二受力是通过第一倾斜角度及其对应的第一受力计算获得的,在第一倾斜角度中的多个角度按照采集时间由先至后的顺序排列,且,第一受力中的多个力也是按照采集时间由先至后的顺序排列的情况下,第二受力中的多个力也是按照获取时间由先至后的顺序排列。
在一些应用场景中,在采集到第一倾斜角度中的多个角度以及第一受力中的多个力后,再统一计算第二受力中的多个力。
在一些应用场景中,每采集到第一倾斜角度中的一个角度以及第一受力中的一个力,立即计算第二受力中的一个力。
如果第一倾斜角度是含有多个角度的序列,第二受力是含有多个力的序列,且第一倾斜角度中的多个角度和第二受力中的多个力一一对应,则可将第一倾斜角度和第二受力输入预设神经网络中,获得预设神经网络输出的与第一倾斜角度和第二受力相对应的一个行走意图。
在第一倾斜角度是含有多个角度的序列,第二受力是含有多个力的序列,且第一倾斜角度中的多个角度和第二受力中的多个力一一对应的情况下,还可通过图7所示的方法确定一个行走意图。结合图7所示,根据倾斜角度、地面坐标系的受力与用户行走意图之间的对应关系,确定与第一倾斜角度和第二受力相对应的一个行走意图,包括:S701、获得第一倾斜角度中多个角度的第一变化趋势。
例如,比较一个角度与位于该一个角度之前的另一个角度的大小,若该一个角度大于该另一个角度,则为升趋势;若该一个角度小于该另一个角度,则为降趋势;若该一个角度等于该另一个角度,则为平趋势。比较第一倾斜角度中的所有角度,获得总数量为多个的升趋势、降趋势和平趋势,确定总数量为多个的升趋势、降趋势和降趋势为第一变化趋势。例如,在第一倾斜角度包括n(n为大于或等于2的整数)个角度的情况下,可获得总数量为n-1个的升趋势、降趋势和平趋势,则确定总数量为n-1个的升趋势、降趋势和平趋势为第一变化趋势。
或者,计算一个角度与位于该一个角度之前的另一个角度的差值,以此方式处理第一倾斜角度中的所有角度,获得多个差值,确定多个差值构成的曲线的特征为第一变化趋势。例如,在第一倾斜角度包括n(n为大于或等于2的整数)个角度的情况下,可获得n-1个差值,确定n-1个差值构成的曲线的特征为第一变化趋势。其中,曲线的特征可包括:一个角度对应的差值的大小以及该一个角度的在序列中的位置,一个角度对应的斜率的大小以及该一个角度在序列中的位置。
在本公开实施例中,用第一变化趋势反映智能拐杖在一段时间内的姿态变化情况,该姿态变化情况可进一步地反映用户姿态的变化,例如,智能拐杖首先直立,再向一方向倾斜,则反映用户该一方向移动。
S702、获得第二受力中多个力的第二变化趋势。
例如,比较一个力与位于该一个力之前的另一个力的大小,若该一个力大于该另一个力,则为升趋势;若该一个力小于该另一个力,则为降趋势;若该一个力等于该另一个力,则为平趋势。比较第二受力中的所有力,获得总数量为多个的升趋势、降趋势和平趋势,确定总数量为多个的升趋势、降趋势和平趋势为第二变化趋势。例如,在第二受力包括n(n为大于或等于2的整数)个力的情况下,可获得总数量为n-1个的升趋势、降趋势和平趋势,则确定总数量为n-1个的升趋势、降趋势和平趋势为第二变化趋势。
或者,计算一个力与位于该一个力之前的另一个力的差值,以此方式处理第二受力中的所有力,获得多个差值,确定多个差值构成的曲线的特征为第二变化趋势。例如,在第二受力包括n(n为大于或等于2的整数)个力的情况下,可获得n-1个差值,确定n-1个差值构成的曲线的特征为第二变化趋势。其中,曲线的特征可包括:一个力对应的差值的大小以及该一个力的在序列中的位置,一个力对应的斜率的大小以及该一个力在序列中的位置。
在本公开实施例中,用第二受力可反映用户对智能拐杖的依赖程度以及用户对智能拐杖的依赖方式,例如,若第二受力越大,则反映用户对智能拐杖的依赖程度越强;若第二受力越小,则反映用户对智能拐杖的依赖程度越弱;若第二受力存在与用户运动方向相反的分力,则反映用户在利用智能拐杖阻碍用户自身移动;若第二受力存在与用户运动方向相同的力,则反映用户在利用智能拐杖维持或加速用户自身移动。
S703、根据倾斜角度的变化趋势、地面坐标系的受力的变化趋势与用户行走意图之间的对应关系,确定与第一变化趋势和第二变化趋势相对应的一个行走意图。
结合第一移动趋势和第二移动趋势确定目标用户行走方向,即结合用户姿态变化、用户对智能拐杖的依赖程度以及用户对智能拐杖的依赖方式确定一个行走意图,这样可更加准确地确定一个行走意图。
在一些实施例中,第一倾斜角度是还有多个角度的序列,多个角度按采集时间由先至后排列;第二受力是含有多个力的序列,多个力按获取时间由先至后排列;第一倾斜角度中的多个角度与第二受力中的多个力一一对应。
将第一倾斜角度和第二受力输入预设神经网络中,获得预设神经网络输出的与第一倾斜角度和第二受力相对应的一个行走意图。
其中,预设神经网络可以是循环神经网络(Recurrent Neural Network,RNN),还可以是长短期记忆神经网络(Long Short-Term Memory,LSTM),或者是其他具有类似类型辨识和划分功能的算法。
以下以LSTM为例进行示例性说明。
LSTM包括序列输入层、全连接层、softmax层和分类输出层。输入层接收第一倾斜角度和第二受力,输入层将数据传输至全连接层,全连接层对数据进行处理后再传输至softmax层,softmax层对数据进行处理后再传输至分类输出层,分类输出层输出与第一倾斜角度和第二受力对应的一个行走意图。
图8是本公开实施例提供的一种基于智能拐杖的检测用户状态的装置的示意图。本公开实施例中的装置可以软件、硬件或者二者结合的形式实现。
结合图8所示,本公开实施例提供的基于智能拐杖的检测用户状态的装置包括第一获得模块81、第一确定模块82、第二获得模块83和第二确定模块84,其中,第一获得模块81被配置为获得当前状态前设定时长内的多个行走意图及其对应的位置;第一确定模块82被配置为根据多个位置确定行走路线;第二获得模块83被配置为获得每个位置对应的行走意图与部分行走路线的匹配结果;第二确定模块84被配置为若匹配失败的结果数量大于或等于第一设定数量,则确定用户状态出现异常。
可选地,第一确定模块82被具体配置为获得多个位置的拟合曲线,根据拟合曲线确定行走路线。
可选地,在第一确定模块82被具体配置为获得多个位置的拟合曲线,根据拟合曲线确定行走路线的情况下,结合图9所示,第二获得模块83包括:第一确定单元831、第一获得单元832、第二获得单元833和第三获得单元834,其中,第一确定单元831被配置为在行走路线上确定与实际位置对应的拟合位置,实际位置为多个位置中任意一个;第一获得单元832被配置为获得实际位置与拟合位置的距离,以及实际位置指向拟合位置的第一方向;第二获得单元833被配置为获得实际位置对应的行走意图的第二方向与第一方向的第一角度差值;第三获得单元834被配置为根据距离和第一角度差值获得实际位置对应的行走意图与行走路线的匹配结果。
可选地,第三获得单元834被具体配置为根据距离和第一角度差值确定偏离值;如果偏离值小于或等于第一设定阈值,则确定实际位置对应的行走意图与行走路线匹配成功;如果偏离值大于第一设定阈值,则确定实际位置对应的行走意图与行走路线匹配失败。
可选地,根据距离和第一角度差值确定偏离值,包括:根据距离和第一角度差值的加权和,确定偏离值;或者根据距离和第一角度差值的加权平均值,确定偏离值。
图10是本公开实施例提供的一种基于智能拐杖的检测用户状态的装置的示意图。结合图10所示,第二获得模块83包括第二确定单元835、第三确定单元836和第四确定单元837,其中,第二确定单元835被配置为确定行走路线的对应任意一个位置的前进的第三方向;第三确定单元836被配置为若一个位置对应的行走意图的第四方向与第三方向匹配成功,则确定一个位置对应的行走意图与行走路线匹配成功;第四确定单元837被配置为若一个位置对应的行走意图的第四方向与第三方向匹配失败,则确定一个位置对应的行走意图与行走路线匹配失败。
可选地,若第四方向与第三方向的第二角度差值小于或等于第二设定阈值,则确定第三方向和第四方向匹配成功。
图11是本公开实施例提供的一种基于智能拐杖的检测用户状态的装置的示意图。结合图11所示,第一获得模块81包括第四获得单元811、转换单元812和第五确定单元813,其中,第四获得单元811被配置为获得任意一个位置对应的智能拐杖的第一倾斜角度和智能拐杖在本体坐标系的第一受力,第一受力由地面施加给智能拐杖;转换单元812被配置为根据第一倾斜角度,将第一受力转换为智能拐杖在地面坐标系的第二受力;第五确定单元813被配置为根据倾斜角度、地面坐标系的受力与用户行走意图之间的对应关系,确定与第一倾斜角度和第二受力对应的一个行走意图。
可选地,第五确定单元813被具体配置为获得第一倾斜角度中多个角度的第一变化趋势,获得第二受力中多个力的第二变化趋势,根据倾斜角度的变化趋势、地面坐标系的受力的变化趋势与用户行走意图之间的对应关系,确定与第一变化趋势和第二变化趋势相对应的一个行走意图。
本公开实施例提供了一种基于智能拐杖的检测用户状态的装置,包括处理器和存储有程序指令的存储器,处理器被配置为在执行程序指令时,执行前述实施例提供的基于智能拐杖的检测用户状态的方法。
图12是本公开实施例提供的一种基于智能拐杖的检测用户状态的装置的示意图。
结合图12所示,基于智能拐杖的检测用户状态的装置包括:
处理器(processor)121和存储器(memory)122,还可以包括通信接口(Communication Interface)123和总线124。其中,处理器121、通信接口123、存储器122可以通过总线124完成相互间的通信。通信接口123可以用于信息传输。处理器121可以调用存储器122中的逻辑指令,以执行前述实施例提供的基于智能拐杖的检测用户状态的方法。
此外,上述的存储器122中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器122作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令/模块。处理器121通过运行存储在存储器122中的软件程序、指令以及模块,从而执行功能应用以及数据处理,即实现上述方法实施例中的方法。
存储器122可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器122可以包括高速随机存取存储器,还可以包括非易失性存储器。
本公开实施例提供了一种智能拐杖,包含前述实施例提供的基于智能拐杖的检测用户状态的装置。
本公开实施例提供了一种计算机可读存储介质,存储有计算机可执行指令,计算机可执行指令设置为执行前述实施例提供的基于智能拐杖的检测用户状态的方法。
本公开实施例提供了一种计算机程序产品,计算机程序产品包括存储在计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令被计算机执行时,使计算机执行前述实施例提供的基于智能拐杖的检测用户状态的方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质,也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括一个或一个以上指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开实施例中方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质,包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机读取存储器(Random Access Memory,RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例,以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且,本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的,除非上下文清楚地表明,否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。另外,当用于本申请中时,术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素,和/或组件的存在,但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中,每个实施例重点说明的可以是与其他实施例的不同之处,各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言,如果其与实施例公开的方法部分对应,那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能,但是这种实现不应认为超出本公开实施例的范围。技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本文所披露的实施例中,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,可以仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外,在本公开实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或一个以上用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
Claims (9)
1.一种基于智能拐杖的检测用户状态的方法,其特征在于,包括:
获得当前状态前设定时长内的多个行走意图及其对应的位置;其中,获得当前状态前设定时长内的多个行走意图,包括:获得任意一个位置对应的智能拐杖的第一倾斜角度和所述智能拐杖在本体坐标系的第一受力,所述第一受力由地面施加给所述智能拐杖;根据所述第一倾斜角度,将所述第一受力转换为所述智能拐杖在地面坐标系的第二受力;根据倾斜角度、地面坐标系的受力与用户行走意图之间的对应关系,确定与所述第一倾斜角度和所述第二受力对应的一个行走意图;所述行走意图包括停止、直行、左拐和右拐;
根据多个位置确定行走路线;
获得每个位置对应的行走意图与所述行走路线的匹配结果;
若匹配失败的结果数量大于或等于第一设定数量,则确定用户状态出现异常。
2.根据权利要求1所述的方法,其特征在于,根据多个位置确定行走路线,获得每个位置对应的行走意图与所述行走路线的匹配结果,包括:
获得所述多个位置的拟合曲线,根据所述拟合曲线确定所述行走路线;
在所述行走路线上确定与实际位置对应的拟合位置;其中,所述实际位置为所述多个位置中任意一个;
获得所述实际位置与所述拟合位置的距离,以及所述实际位置指向所述拟合位置的第一方向;
获得所述实际位置对应的行走意图的第二方向与所述第一方向的第一角度差值;
根据所述距离和所述第一角度差值获得所述实际位置对应的行走意图与所述行走路线的匹配结果。
3.根据权利要求2所述的方法,其特征在于,根据所述距离和所述第一角度差值获得每个位置对应的行走意图与所述行走路线的匹配结果,包括:
根据所述距离和所述第一角度差值确定偏离值;
如果所述偏离值小于或等于第一设定阈值,则确定所述实际位置对应的行走意图与所述行走路线匹配成功;
如果所述偏离值大于第一设定阈值,则确定所述实际位置对应的行走意图与所述行走路线匹配失败。
4.根据权利要求3所述的方法,其特征在于,根据所述距离和所述第一角度差值确定偏离值,包括:
根据所述距离和所述第一角度差值的加权和,确定所述偏离值;或者
根据所述距离和所述第一角度差值的加权平均值,确定所述偏离值。
5.根据权利要求1所述的方法,其特征在于,获得每个位置对应的行走意图与所述行走路线的匹配结果,包括:
确定所述行走路线的对应任意一个位置的前进的第三方向;
若一个位置对应的行走意图的第四方向与所述第三方向匹配成功,则确定所述一个位置对应的行走意图与所述行走路线匹配成功;
若一个位置对应的行走意图的第四方向与所述第三方向匹配失败,则确定所述一个位置对应的行走意图与所述行走路线匹配失败。
6.根据权利要求5所述的方法,其特征在于,若所述第四方向与所述第三方向的第二角度差值小于或等于第二设定阈值,则确定所述第三方向和所述第四方向匹配成功。
7.一种基于智能拐杖的检测用户状态的装置,其特征在于,包括:
第一获得模块,被配置为获得当前状态前设定时长内的多个行走意图及其对应的位置;其中,所述第一获得模块包括第四获得单元、转换单元和第五确定单元,所述第四获得单元被配置为获得任意一个位置对应的智能拐杖的第一倾斜角度和所述智能拐杖在本体坐标系的第一受力,所述第一受力由地面施加给所述智能拐杖;所述转换单元被配置为根据所述第一倾斜角度,将所述第一受力转换为所述智能拐杖在地面坐标系的第二受力;第五确定单元被配置为根据倾斜角度、地面坐标系的受力与用户行走意图之间的对应关系,确定与所述第一倾斜角度和所述第二受力对应的一个行走意图;所述行走意图包括停止、直行、左拐和右拐;
第一确定模块,被配置为根据多个位置确定行走路线;
第二获得模块,被配置为获得每个位置对应的行走意图与部分行走路线的匹配结果;
第二确定模块,被配置为若匹配失败的结果数量大于或等于第一设定数量,则确定用户状态出现异常。
8.一种基于智能拐杖的检测用户状态的装置,包括处理器和存储有程序指令的存储器,其特征在于,所述处理器被配置为在执行所述程序指令时,执行如权利要求1至6任一项所述的基于智能拐杖的检测用户状态的方法。
9.一种智能拐杖,其特征在于,包括如权利要求7或8所述的基于智能拐杖的检测用户状态的装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110078929.6A CN112393775B (zh) | 2021-01-21 | 2021-01-21 | 基于智能拐杖的检测用户状态的方法、装置和智能拐杖 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110078929.6A CN112393775B (zh) | 2021-01-21 | 2021-01-21 | 基于智能拐杖的检测用户状态的方法、装置和智能拐杖 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112393775A CN112393775A (zh) | 2021-02-23 |
CN112393775B true CN112393775B (zh) | 2021-05-14 |
Family
ID=74625113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110078929.6A Active CN112393775B (zh) | 2021-01-21 | 2021-01-21 | 基于智能拐杖的检测用户状态的方法、装置和智能拐杖 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112393775B (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102404873B (zh) * | 2011-07-20 | 2015-07-08 | 东北大学秦皇岛分校 | 基于物联网的老年人室内监护方法及系统 |
KR101654299B1 (ko) * | 2015-04-27 | 2016-09-05 | 숭실대학교산학협력단 | 시각 장애인용 지팡이 및 시각 장애인용 지팡이의 장애물 탐지 방법 |
JP6530269B2 (ja) * | 2015-07-31 | 2019-06-12 | 株式会社モルテン | エルボークラッチ |
CN105286874B (zh) * | 2015-11-03 | 2018-06-19 | 长安大学 | 一种用于预测老年人跌倒风险的系统及方法 |
CN105796058A (zh) * | 2016-03-08 | 2016-07-27 | 北京航空航天大学 | 一种基于多传感器的老人监护系统 |
CN107877493B (zh) * | 2017-11-10 | 2020-04-03 | 南京师范大学 | 一种老年人室内活动搀扶机器人系统及其应用方法 |
CN109870164A (zh) * | 2017-12-01 | 2019-06-11 | 上海博泰悦臻网络技术服务有限公司 | 导航终端及其路线偏好预测方法 |
CN110575371B (zh) * | 2019-10-22 | 2022-05-10 | 大连民族大学 | 一种智能导盲手杖及控制方法 |
-
2021
- 2021-01-21 CN CN202110078929.6A patent/CN112393775B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112393775A (zh) | 2021-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10860091B2 (en) | Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system | |
CN106821391B (zh) | 基于惯性传感器信息融合的人体步态采集分析系统及方法 | |
Chen et al. | A novel gait pattern recognition method based on LSTM-CNN for lower limb exoskeleton | |
Santaera et al. | Low-cost, fast and accurate reconstruction of robotic and human postures via IMU measurements | |
US20150382086A1 (en) | Method and apparatus for measuring body balance of wearable device | |
US20150371024A1 (en) | Smart band and biometric authentication method thereof | |
CN107941212B (zh) | 一种视觉与惯性联合定位方法 | |
CN114459469B (zh) | 多运动状态导航方法、装置及智能可穿戴设备 | |
Bloesch | State estimation for legged robots-kinematics, inertial sensing, and computer vision | |
CN110068326A (zh) | 姿态计算方法、装置、电子设备以及存储介质 | |
CN112393775B (zh) | 基于智能拐杖的检测用户状态的方法、装置和智能拐杖 | |
Shu et al. | Accurate indoor 3d location based on mems/vision by using a smartphone | |
US20230152887A1 (en) | Systems and methods for calibrating an eye tracking system | |
KR20180028886A (ko) | 3차원 골격정보로부터 동작인식을 위한 기계학습용 특징 추출 방법 및 장치 | |
US20220274254A1 (en) | Barycenter position determining method and apparatus, legged robot, and storage medium | |
CN106403998A (zh) | 基于imu的抗暴力干扰装置及方法 | |
Zhao et al. | A fault-tolerant architecture for mobile robot localization | |
CN112891157B (zh) | 基于智能拐杖的收集数据的方法、装置和智能拐杖 | |
CN112870028B (zh) | 识别用户行走意图的方法、装置、智能拐杖和辅助系统 | |
CN112598730A (zh) | 用于确定至少部分自动化的移动平台的定位姿态的方法 | |
US20160095539A1 (en) | Smart band, body balance measuring method of the smart band and computer-readable recording medium comprising program for performing the same | |
CN112880673B (zh) | 基于智能拐杖的导航方法、导航装置和智能拐杖 | |
Adorni et al. | Robot self-localization by means of vision | |
CN113916223B (zh) | 定位方法及装置、设备、存储介质 | |
Taghvaei et al. | Visual human action classification for control of a passive walker |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |