CN104729507B - 一种基于惯性传感器的步态识别方法 - Google Patents

一种基于惯性传感器的步态识别方法 Download PDF

Info

Publication number
CN104729507B
CN104729507B CN201510172243.8A CN201510172243A CN104729507B CN 104729507 B CN104729507 B CN 104729507B CN 201510172243 A CN201510172243 A CN 201510172243A CN 104729507 B CN104729507 B CN 104729507B
Authority
CN
China
Prior art keywords
gait
feature
angular speed
cycle
shank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510172243.8A
Other languages
English (en)
Other versions
CN104729507A (zh
Inventor
赖晓晨
林驰
周国乔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201510172243.8A priority Critical patent/CN104729507B/zh
Publication of CN104729507A publication Critical patent/CN104729507A/zh
Application granted granted Critical
Publication of CN104729507B publication Critical patent/CN104729507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种基于惯性传感器的步态识别方法,属于体域网领域。该方法的实现分为四个阶段。在数据采集阶段,由附着在测试者双腿的四个传感器节点和腰部的一个传感器节点采集人体腿部和腰部运动的角速度、加速度和磁场强度,然后将数据通过无线方式发送至基站,进而传输至上位机进行处理;在周期划分阶段,根据测试者小腿角速度变化曲线划分步态周期,得到步态行为所对应的分段数据;在特征提取阶段,从分段数据中提取波形特征和行为特征,用于描述传感器信号的波动现象和步态行为的运动表现;在步态分类阶段,将步态特征输送至分类模型,计算得到步态所属类别,从而完成步态识别过程。本发明可作为体育训练、医疗保健、游戏设计等领域的步态识别方法使用。

Description

一种基于惯性传感器的步态识别方法
技术领域
本发明属于体域网领域,涉及一种基于惯性传感器的步态识别方法。
背景技术
步态识别研究是体域网领域的一个分支,在疾病诊断、运动训练和人机交互等方面起到重要作用。当前的步态识别方法主要有两种:基于计算机视觉的方法和基于惯性传感器的方法。前者需限定在布置摄像头的特定环境下使用,设备成本较高,且不利于保护个人隐私。随着体域网技术的发展,越来越多的研究采用可穿戴式传感器代替摄像头识别步态。这种方法通过佩戴于人体的惯性传感器感知动作行为,价格较低廉,且不受监测场景和时间的限制,相比之下具有更为广阔的应用前景。
基于惯性传感器的步态识别方法一般由数据采集、特征提取和步态分类三个阶段组成。在数据采集阶段,将惯性传感器固定于身体表面的一个或多个部位,用于测量表征人体运动状态的各物理量。在特征提取阶段,通过分析有限长度时间窗口内的数据,提取描述步态行为的属性组,即特征向量。在步态分类阶段,利用机器学习方法训练分类器,将特征向量作为分类器的输入,计算得到步态类别。在实现上述步态识别方法的过程中,至今仍存在一些问题难以较好解决,例如选择采集哪些信号,如何确定时间窗口的大小和特征向量的元素,以及选择何种分类算法等。这些问题均会对步态识别方法的准确性造成影响。此外,对于实时性要求较高的场合来说,方法的计算复杂度同样至关重要。因此,设计准确率高、实时性好且计算复杂度低的方法已成为步态识别研究的共同目标。
发明内容
本发明要解决的技术问题是基于惯性传感器,提出一种步态识别方法。与传统包含三个阶段的方法不同,该方法增加了周期划分阶段,可降低整体计算量,并提高识别准确性。
本发明的具体技术方案如下:
基于惯性传感器的步态识别方法主要包括数据采集、周期划分、特征提取和步态分类四个阶段。
数据采集阶段采用的硬件设备包括传感器节点和基站两部分。传感器节点集成了陀螺仪、加速度计和电子罗盘等3种传感器,并设计有一个无线收发器;基站也设计有一个无线收发器,可通过无线方式与传感器节点通信,并通过有线方式连接至上位机。将4个传感器节点通过弹性粘扣带固定在测试者大腿和小腿外侧,使之与自身的正中矢状面平行。将1个传感器节点固定于测试者的腰间皮带上,用于检测人体的转向变化。腿部节点按固定频率采集和发送角速度信号;腰部节点采用捷联惯性导航技术将角速度转换为描述节点姿态信息的四元数,然后利用加速度与磁场强度对四元数进行卡尔曼滤波校准,减小陀螺仪信号漂移产生的累积误差。采集数据的过程当中,所有节点均以50Hz的频率连续采集传感器信号,并将数据封装成帧,采用同步时分复用模式发送至基站。
周期划分阶段主要通过分析小腿角速度信号的波形曲线来进行数据分段,为后续阶段提取步态特征做准备。周期划分包含两种情况:连续步态的周期划分和静止前最后一个步态的周期划分。在行走、跑步、转身、上下楼等连续步态行为中,小腿角速度波形具有相似的波动规律。首先通过寻找角速度值大于100dps的波峰来检测一次步态行为,将该波峰出现的时刻定义为P;然后根据波峰P前后最近的两个波谷确定脚尖离地和脚跟击地事件的发生时刻;将代表脚尖离地的波谷作为当前步态周期的起点,该时刻定义为IC,IC也是上一个步态周期的终点;同时,将代表脚跟击地的波谷发生的时刻定义为TC。对于静止前最后一个步态行为来说,由于获取不到下一个步态的波谷,因而无法确定当前步态周期的终止时间。为此,选择根据角速度值以及变化趋势识别静止状态,并取静止状态的前一时刻为终点,得到当前步态周期的近似范围。至此,对于所有的步态行为,均可采用上述方法解决周期划分问题。
在特征提取阶段,需从固定时长的周期分段数据中提取具有价值的特征作为划分步态类别的依据。通过观察分析各类腿部动作的小腿角速度波形以及行为表现,选取19种波形特征和行为特征,以右腿为例,用符号k表示步态周期的次序,列举如下:
特征1:小腿摆动波形的波峰P点处的角速度:ωP(k)
特征2:脚尖离地时刻IC的角速度:ωIC(k)
特征3:脚跟击地时刻TC的角速度:ωTC(k)
通过对上述三个特征相互作差可求得如下三个特征:
特征4:DiffIC,TC(k)=ωIC(k)-ωTC(k)
特征5:DiffP,IC(k)=ωP(k)-ωIC(k)
特征6:DiffP,TC(k)=ωP(k)-ωTC(k)
除差值外,还可以通过比值的形式反映极值点间的大小关系,得到如下三个特征:
特征7:RatioIC,P(k)=ωIC(k)/ωP(k)
特征8:RatioTC,P(k)=ωTC(k)/ωP(k)
特征9:RatioIC-TC,P(k)=DiffIC,TC(k)/ωP(k)
采用P(k)、IC(k)和TC(k)表示第k个步态周期内右小腿波形三个极值点的发生时刻,P'(k)、IC'(k)和TC'(k)表示第k个步态周期内左小腿波形三个极值点的发生时刻。定义P(k)与P'(k)的时间间隔TimeP',P(k)为特征10:
特征10:TimeP',P(k)=|P'(k)-P(k)|
定义IC(k)与TC'(k)的时间差TimeIC,TC'(k)为特征11,代表双脚同时支撑地面的时间:
特征11:TimeIC,TC'(k)=|IC(k)-TC'(k)|
除得到能够用于描述两腿交替情况的特征外,利用各极值点的时序关系还可以求得行走、跑步、上下楼等步态行为的特征如下:
特征12:步态周期时间:GC(k)=IC(k+1)-IC(k)
特征13:单脚支撑时间:Stance(k)=IC(k+1)-TC(k)
特征14:单脚摆动时间:Swing(k)=TC(k)-IC(k)
特征15:单脚跨步时间:Stride(k)=TC(k)-TC'(k)
以ωthigh(t)和ωshank(t)分别表示t时刻大腿和小腿的角速度,可得摆动阶段的两个特征如下:
特征16:摆动阶段大腿的摆动角度:
特征17:摆动阶段小腿的摆动角度:
利用腰部节点的姿态四元数反映运动过程中腰部的转动情况,令QIC表示IC时刻的四元数,QTC表示TC时刻的四元数,描述腰部转动情况的四元数用quat=(w,x,y,z)表示,可得到三者关系为quat·QIC=QTC。利用高斯消元法能够求得四元数quat,进而根据四元数转换欧拉角公式得到摆动阶段内腰部在三维笛卡尔坐标系Y轴方向的转角,即为特征如下:
特征18:θwaist(k)=arcsin(2(w·y-z·x))
由于腿部的4个传感器节点均有固定编号,因此可知数据来自左腿还是右腿。采用一个标识α表示当前计算得出的特征值对应于哪一侧小腿,得到特征如下:
特征19:α
在步态分类阶段,将代表步态样本的特征输入至分类模型中,可得到步态所属类别。考虑到初始步态与后续步态在行为表现和特征组成方面存在一定差异,为两种步态分别训练专属分类器,以避免由于潜在的分类规则不同而引起互相干扰。当分类模型接收到一个步态特征向量时,如果其中含有16个步态特征,则判断其为初始步态;如果含有19个步态特征,则判断其为后续步态,之后根据判断结果选择对应的分类器。为了提高分类结果的准确性,需从现有特征集合中选择具有典型性的特征子集。为此,综合考虑了单一特征的预测能力和特征之间的相关性,采用最佳优先搜索算法筛选子集,然后采用基于相关性的特征选择子集评价方法对该子集进行评估,此过程迭代进行,排除掉相关度低的冗余特征,获得优质特征样本。之后,分别采用C4.5决策树、支持向量机、贝叶斯网络和人工神经网络等4种常用机器学习算法生成分类器,并借助AdaBoost集成学习算法实现迭代训练。最终确定基于人工神经网络的AdaBoost组合分类器对初始步态识别效果最佳,平均识别准确率和召回率均可达到94.3%;基于决策树的AdaBoost组合分类器对后续步态进行识别效果最佳,平均识别准确率和召回率均可达到98.5%。
本发明的有益效果在于,提出了一种新的步态识别方法。该方法可通过采集双腿角速度信号检测腿部动作,然后实时划分步态周期,从中提取出每个动作的特征,之后根据特征数目判断该动作属于初始步态还是后续步态,分别构建专用分类器进行识别。实验结果表明,该方法对初始步态的识别率可达94.3%,对后续步态的识别率可达98.5%。同时,该方法增加了周期划分阶段,因此无需对重叠数据进行处理,减少了计算量。
附图说明
图1是本发明方法的流程图。
图2是本发明方法的传感器节点在测试者身上的部署位置图。
图中:1腿部传感器节点;2腰部传感器节点;3基站。
图3是本发明方法的平地直线行走场景中小腿角速度变化曲线图。
具体实施方式
以下结合发明内容和说明书附图详细说明本发明的具体实施方式。
基于惯性传感器的步态识别方法包括数据采集、周期划分、特征提取和步态分类四个阶段,本方法的流程如图1所示。
(1)数据采集阶段
采用5个传感器节点和1个基站作为数据采集的硬件设备。传感器节点由传感器模块、无线通信模块、处理器模块和电源模块四个部分组成。传感器模块集成了陀螺仪、加速度计和电子罗盘三种传感器,分别负责采集角速度、加速度和磁场强度,并将其从物理量转换为电信号;无线通信模块采用nRF24L01无线收发器,负责在2.4GHz~2.5GHz频段内与基站之间传输信息;处理器模块采用STM32F103嵌入式微处理器,负责控制传感器信号采集和无线收发功能;电源采用额定电压为3.7V的锂离子电池,负责为整个传感器节点提供所需能量。基站主要由处理器模块、无线通信模块和串行接口模块组成,负责接收节点发送的数据,并将接收到的数据通过串行接口传输至上位机。
由于平行于人体正中矢状面的腿部角速度能够有效反映测试者的下肢摆动情况,且在平地直线行走过程中的角速度波形具有明显周期性特征。为此,将4个传感器节点通过弹性粘扣带固定在测试者大腿和小腿外侧,使之与自身的正中矢状面平行,以达到检测腿部运动的目的。此外,将1个传感器节点固定于测试者的腰间皮带上,用于检测人体的转向变化。各节点的详细部署位置如图2所示。由于腿部与腰部节点的功能不同,两类节点存在一定差异。腿部节点按固定频率采集和发送角速度信号;腰部节点采用捷联惯性导航技术将角速度转换为描述节点姿态信息的四元数,然后利用加速度与磁场强度对四元数进行卡尔曼滤波校准,减小陀螺仪信号漂移产生的累积误差。
在数据采集过程中,陀螺仪的测量范围选用±2000dps,加速度计的测量范围选用±2g,电子罗盘的测量范围选用±1.3Gs,所有节点均以50Hz的频率连续采集传感器信号。信号采集结束后,各节点将传感器信号封装成帧,经由无线方式传送至基站。为保证数据传输稳定,避免由于节点间时序混乱而引发信号碰撞,采用同步时分复用模式搭建以基站为中心的星型网络拓扑结构。以20ms为单位将数据传输时间分割成连续时间段,并将每个时间段划分为5个等长时隙以供各节点单独使用。
(2)周期划分阶段
数据采集完毕之后,对传感器发送的时间序列数据进行步态周期划分。由于行走过程中小腿角速度的变化幅度较大腿更为明显,因此采用小腿角速度作为步态分析依据。每个步态周期可根据脚掌相对于地面的位置划分为摆动和支撑两个阶段。摆动阶段是指脚掌彻底离开地面在空中摆荡的过程,该过程以脚尖离地为起始状态,期间经历跨步动作,直至脚跟击地到达终止状态;支撑阶段是指脚掌与地面相接触承受身体重力的过程,该过程以脚跟击地为起始状态,期间经历单足支撑与双足支撑,直至脚尖再次离地进入下一个步态周期的摆动阶段。
图3展示了平地直线行走场景中小腿沿正中矢状面摆动的角速度波形,可以看出该过程的角速度变化具有明显的周期性规律。这种周期性规律主要体现为角速度信号在近乎等长的时间间隔后达到局部极大值,形成突起的波峰。该波峰表示在摆动阶段小腿所能达到的最大角速度,其时刻用符号P表示。因此,根据波峰P能够估测摆动阶段的时间区间,有助于寻找脚尖离地与脚跟击地事件所对应的时刻。脚尖离地与脚跟击地事件在小腿角速度波形中均以波谷的形式呈现,分别出现在摆动阶段的前后,且角速度符号为负。摆动阶段的前一个波谷与脚尖离地事件相关,表示步态周期内脚掌与地面的首次接触,该时刻用符号IC表示;摆动阶段的后一个波谷与脚跟击地事件相关,表示脚掌与地面的最后一次接触,该时刻用符号TC表示。
除平地直线行走之外,步态行为还包括行走左转、行走右转、原地左转、原地右转、跑步、上楼、下楼、跨过障碍物等特殊情况。通过实验采集以上各步态的小腿角速度数据,发现其波形曲线与平地直线行走基本相同,因此对这些场景的步态分析方法与平地直线行走相同,无需做特殊考虑。
由上述波形分析可知,不同步态行为的小腿角速度波形具有相似的波动规律,可从中找到步态周期的摆动阶段。经大量实验证明,对于所有步态波形来说,在摆动阶段角速度所能达到的极大值必大于100dps。为此,可通过寻找角速度值大于100dps的波峰P来检测步态行为,并根据该波峰前后最近的两个波谷确定脚尖离地和脚跟击地事件的发生时刻,即IC和TC极值点的横轴坐标值。以IC表示当前步态周期的起点,也即为上一个步态周期的终点。因此,只需得到每个步态行为的IC值,便可实现周期划分。然而,该方法并不适用于所有情况。对于静止前的最后一个步态行为来说,由于获取不到下一个步态的IC值,因而无法确定当前步态周期的终止时间。为了解决这一问题,可根据角速度值的大小以及变化趋势识别静止状态,并取静止状态的前一时刻为终点,得到当前步态周期的近似范围。至此,对于所有的步态行为,均可采用上述方法解决周期划分问题。
(3)特征提取阶段
在利用周期划分方法对时间序列数据划分成段之后,需要从固定时长的分段数据中提取具有价值的特征作为划分步态类别的依据。通过观察分析各类腿部动作的小腿角速度信号波形以及行为表现,选取19种能够体现腿部动作之间差异的特征。根据描述对象的不同,可将这些特征划分为波形特征与行为特征。当检测到单腿步态行为发生时,系统将自动提取所有波形特征与行为特征,以供后续的步态分类阶段使用。下面以右小腿为例介绍所选取特征及各特征值的计算方法。
波形特征可用于反映一段时间内信号的波动现象。通过观察小腿角速度能够发现各类步态波形的波动现象均存在一定规律,这些规律可通过极值点P、IC和TC时刻角速度大小及各点间的数值关系得到体现。首先,将三个极值点的角速度作为基本的波形特征,以变量k表示步态的次序,可得各特征值选取如下:
特征1:小腿摆动波形的波峰P点处的角速度:ωP(k)
特征2:脚尖离地时刻IC的角速度:ωIC(k)
特征3:脚跟击地时刻TC的角速度:ωTC(k)
利用P、IC和TC三个极值点的角速度值进行运算,能够获取更多的波形特征。通过对上述三个特征相互作差可求得如下三个特征:
特征4:DiffIC,TC(k)=ωIC(k)-ωTC(k)
特征5:DiffP,IC(k)=ωP(k)-ωIC(k)
特征6:DiffP,TC(k)=ωP(k)-ωTC(k)
除差值外,还可以通过比值的形式反映极值点间的大小关系,得到如下三个特征:
特征7:RatioIC,P(k)=ωIC(k)/ωP(k)
特征8:RatioTC,P(k)=ωTC(k)/ωP(k)
特征9:RatioIC-TC,P(k)=DiffIC,TC(k)/ωP(k)
这些特征能够反映角速度波形的波动剧烈程度以及波动过程中各极值点的分布情况,有助于区分不同类别的步态行为。
行为特征可用于描述步态的运动学特性,与波形特征相比更易于被感知、理解和接受,是判别步态类型的重要属性。考虑到一个完整的步态行为由双腿协同完成,设计实验对蹲起、跳跃、行走、跑步等四类动作中左右小腿的角速度进行同时采样。分析数据得知,在蹲起和跳跃过程中,双腿曲线的极值点在时域上分布十分相近,而在行走和跑步过程中各极值点的分布则较为分散。为了描述各极值点之间的时序关系,采用P(k)、IC(k)和TC(k)表示第k个步态周期内右小腿波形三个极值点的发生时刻,P'(k)、IC'(k)和TC'(k)表示第k个步态周期内左小腿波形三个极值点的发生时刻。对于蹲起和跳跃来说,左右小腿的动作近乎同步,因此无法确定各极值点的时间先后顺序。然而正是由于这一特点,可以利用P(k)与P'(k)的时间间隔TimeP',P(k)来表示双腿动作的同步程度,即得到特征如下:
特征10:TimeP',P(k)=|P'(k)-P(k)|
与蹲起和跳跃动作不同,由于在行走和跑步过程中双腿交替摆动,各极值点将按照特定的时间先后顺序出现。假设左腿动作先于右腿发生,在行走和跑步过程中各极值点的时序关系分别如公式(a)和公式(b)所示:
IC'(k)<P'(k)<TC'(k)<IC(k)<P(k)<TC(k)<IC'(k+1) (a)
IC'(k)<P'(k)<IC(k)<TC'(k)<P(k)<IC'(k+1)<TC(k) (b)
通过对比公式(a)和公式(b)可以发现,在行走过程中任意一侧小腿的TC事件要先于另一侧小腿的IC事件发生,而在跑步过程中这一时序关系恰恰相反。原因在于行走过程中,当摆动腿的脚跟接触地面时,后蹬腿的脚尖尚未离开地面,至使一段时间内双脚与地面同时保持接触。而在跑步过程中,当摆动腿的脚跟接触地面时,后蹬腿的脚尖已经离开地面,不存在双脚同时接触地面的时段。因此,可根据求得IC(k)与TC'(k)的时间差TimeIC,TC'(k),以此代表双脚同时支撑地面的时间。当TimeIC,TC'(k)符号为正时表示当前动作为行走,反之则表示当前动作为跑步。因此得到特征如下:
特征11:TimeIC,TC'(k)=|IC(k)-TC'(k)|
除得到能够用于描述两腿交替情况的特征外,利用各极值点的时序关系还可以求得行走、跑步、上下楼等步态行为的时间参数特征如下:
特征12:步态周期时间:GC(k)=IC(k+1)-IC(k)
特征13:单脚支撑时间:Stance(k)=IC(k+1)-TC(k)
特征14:单脚摆动时间:Swing(k)=TC(k)-IC(k)
特征15:单脚跨步时间:Stride(k)=TC(k)-TC'(k)
需要指出的是,上述参数对于蹲起和跳跃来说不具有实际的物理意义。然而这些参数能够反映动作过程中的细节,可作为量化分析步态行为的有效指标,有助于识别步态行为。
此外,在摆动阶段,以ωthigh(t)和ωshank(t)分别表示t时刻大腿和小腿的角速度,可得摆动阶段的两个特征如下:
特征16:摆动阶段大腿的摆动角度:
特征17:摆动阶段小腿的摆动角度:
同时,利用腰部节点的姿态四元数反映运动过程中腰部的转动情况。令QIC表示IC时刻的四元数,QTC表示TC时刻的四元数,描述腰部转动情况的四元数用quat=(w,x,y,z)表示,可得到三者关系如公式(c)所示:
quat·QIC=QTC (c)
利用高斯消元法求得四元数quat,进而根据四元数转换欧拉角公式得到摆动阶段内腰部在三维笛卡尔坐标系Y轴方向的转角特征如下:
特征18:θwaist(k)=arcsin(2(w·y-z·x))
最后,由于腿部的4个传感器节点均有固定编号,因此可知数据来自左腿还是右腿。采用一个标识α表示当前计算得出的特征值对应于哪一侧小腿,得到特征如下:
特征19:α
至此,所有的特征及其计算方法已经介绍完毕。在检测到一个步态行为发生之后,便可根据各传感器数据求得上述特征,并组成特征向量作为代表当前步态的样本。需要注意的是,当人体从静止状态切换到运动状态时,第一个腿部动作之前并无其他动作发生,至使与另一侧腿相关的部分特征无法求得,进而导致步态样本的特征向量维度不统一,最终影响分类结果的准确性。此外,对于行走、跑步、上下楼等连续步态来说,第一个腿部动作与后续动作相比在行为特征上的表现并不明显。尽管两者属于同一动作类型,但是对于相同特征各自的数值分布情况可能存在较大差异。为此,根据步态的发生时序将其划分为初始步态与后续步态,分别表示人体从静止转换到运动状态的第一个步态行为和运动过程中的步态行为,并在后续步态分类阶段对两类步态分别考虑。
(4)步态分类阶段
求得用于描述步态样本的特征向量之后,将其输入至分类模型中可得到步态所属类别。设计分类模型的过程中,以往研究均采用单个分类器实现步态类别的判定功能。考虑到初始步态与后续步态在行为表现和特征组成方面存在一定的差异,因此为两者分别训练专属分类器,可以避免由于潜在的分类规则不同而引发的互相干扰。
当分类模型接收到一个特征向量时,如其包含16个特征值,则判断当前步态为初始步态;如其包含19个特征值,则判断当前步态为后续步态,然后根据不同步态类型选择对应分类器。为了验证该方法的有效性,实验将初始步态与后续步态样本合并到一起,通过学习合并后的样本集得到适用于所有步态的通用分类器,并根据错分样本数比较采用单个通用分类器与采用两个专属分类器方法的性能差异。
在利用步态样本训练专属分类器时,为了减少训练过程的计算工作量,提高分类结果的准确率,从现有特征集合中选择与类别相关并且能够提供有用信息的特征子集。为此,综合考虑了单一特征的预测能力和特征之间的相关性,采用最佳优先搜索算法和基于相关性的特征选择子集评价方法对所有特征进行筛选,进而排除相关度较低的特征,得到更优质的特征样本。然后,在现有样本基础上采用机器学习算法进行有监督学习,最终生成一个能够把样本映射到给定类别的分类器。
为了得到适合所采样本的最佳分类器,通过实验测试4种常用机器学习算法,包括C4.5决策树、支持向量机、贝叶斯网络和人工神经网络。在采用上述机器学习算法生成分类器的过程当中,均借助AdaBoost集成学习算法实现迭代训练过程。在训练初始阶段,AdaBoost算法为每个样本分配相同的权重,并在后续迭代过程中提高错分样本的权重以降低其再次错分的可能性。与此同时,算法根据分类效果为每个弱分类器分配权值,最终实现加权投票机制。
(5)实验结果及分析
对测试者步态行为数据进行采集,通过周期划分提取每个腿部动作所对应的特征向量,并为其添加类别标签,得到完整的训练样本集。借助weka平台实现各机器学习算法的分类器训练过程,从准确率和召回率两方面评估不同分类器对于所采步态样本的分类性能。
对10名测试者的行走、跑步、上下楼等12种日常腿部动作进行采样,样本总计6000个。其中,初始步态样本共计1000个,包括蹲起、跳跃、原地左转、原地右转、行走、跑步、上楼和下楼等8种腿部动作;后续步态样本共计5000个,在初始步态样本类别的基础上,将行走和跑步根据运动方向细分为直线行走、左转行走、右转行走、直线跑、左转跑和右转跑6个类别。采样过程中,测试者按要求完成规定动作,并由监测人员记录动作完成的顺序和次数。为了增强样本的多样性,测试者可自由选择运动幅度,如快速跑、慢速跑、大步行走、小步行走等。此外,考虑到日常生活当中行走、跑步、上下楼梯等动作的发生次数较转弯、跳跃和下蹲更为频繁,为此实验增加了对上述频发动作的采样次数,得到关于不同腿部动作的非均衡数据集。表1给出了采样过程中实际动作与采集样本个数的统计情况。结果显示,各类动作的采样个数与实际完成个数相吻合,说明方法能够成功检测到步态行为的发生,为后续步态分类提供了可靠保障。
表1采样过程中实际动作与采集样本个数统计
为了得到适合所采步态样本的最佳分类器,实验比较了4种常用分类算法,包括决策树、支持向量机、贝叶斯网络和人工神经网络。在对比各分类算法之前,需调整参数使得各分类器达到其最优性能。表2和表3分别展示了调参后各分类器对初始步态和后续步态样本集的测试结果。测试过程采用十折交叉验证法在weka软件平台上实现。
表2不同分类器对初始步态样本的分类结果
从表2可以看出,对于初始步态样本来说,采用基于人工神经网络的AdaBoost组合分类器能够获得优于其它算法的识别性能,平均识别准确率和召回率均可达到94.3%。通过对比各步态行为的分类结果可以发现,对于每种分类算法来说,行走、跑步、上楼和下楼这四类步态的识别准确率与召回率均相对较低。造成这种现象的原因主要在于上述四类步态在起步阶段运动幅度相对较小,难以体现其运动特征,因而导致较大程度上的相互混淆。例如,对于跑步来说,第一步所迈出的距离和腿部摆动的速度与跑步过程中的步态相比数值较小,甚至慢跑在起步过程中动作与行走近乎相同。此外,对于上下楼来说,测试者在迈出第一步之前双脚处于同一水平高度,而在接下来的每一步发生之前双脚则处于不同级的台阶,因此初始步态前后单脚的高度变化值与后续步态相比较小。上述现象均可能导致初始步态的特征不够突出,进而影响最终的分类结果。
表3不同分类器对后续步态样本的分类结果
从表3的数据可以看出,在实验所采用的四种分类器当中,基于决策树的AdaBoost组合分类器在整体性能上表现最佳,平均识别准确率和召回率均可达到98.5%。与此同时,相比于其他分类器,该分类器对于所有动作均具有最高的识别准确率,而对于大多数动作亦具有最高的召回率。其中,除跑步类动作外,其余动作的准确率均超过了98.5%,召回率则超过了97.6%。由此可见,基于决策树的组合分类器在识别后续步态样本的问题上可达到令人满意的效果。此外,通过对比表2和表3的数据可以发现,与后续步态样本的识别效果相比,初始步态样本的识别准确率和召回率均处于较低水平。然而,由于在日常生活当中后续步态的发生频率要远远高于初始步态,因此采用本方法对步态行为的整体识别效果应更接近于后续步态样本的实验结果。
在上述实验中,采用了不同的机器学习算法对初始步态与后续步态样本集分别进行训练,并根据训练结果为不同样本集选择最合适的专用分类器。尽管这种方法使得分类器设计变得复杂,然而对于提升步态识别准确率来说具有一定的帮助。为了验证该方法的有效性,将同类型的初始步态与后续步态样本进行合并,并采用与上述实验相同的分类模型构造方法训练合并后的样本集,最终得到唯一的通用分类器。在样本合并过程中,利用决策树归纳算法补全初始步态样本的缺失属性,以保证所有样本具有相同维度。对比采用单个分类器统一识别和采用两个分类器分别识别步态样本的准确率,实验结果表明,不论选用哪一种机器学习算法构建分类器,采用两个专属分类器的识别效果均优于采用单个通用分类器的识别效果。其中,采用单个通用分类器对于初始步态和后续步态所能达到的最高准确率分别为92.4%和98.2%,而采用两个专属分类器所能达到的最高准确率分别为94.3%和98.5%,较前者相比各提高了1.9%和0.3%。由此可见,为初始步态与后续步态分别训练专属分类器的方法能够有效提升识别结果的准确性。

Claims (1)

1.一种基于惯性传感器的步态识别方法,其特征在于,
该方法包括数据采集、周期划分、特征提取和步态分类四个阶段;
数据采集阶段采用的硬件设备包括传感器节点和基站两部分;传感器节点集成陀螺仪、加速度计和电子罗盘,并带有一个无线收发器;基站也有一个无线收发器,通过无线方式与传感器节点通信,并通过有线方式连接至上位机;将4个传感器节点通过弹性粘扣带固定在测试者大腿和小腿外侧,使之与自身的正中矢状面平行;将1个传感器节点固定于测试者的腰间皮带上,用于检测人体的转向变化;腿部节点按固定频率采集和发送角速度信号;腰部节点采用捷联惯性导航技术将角速度转换为描述节点姿态信息的四元数,然后利用加速度与磁场强度对四元数进行卡尔曼滤波校准,减小陀螺仪信号漂移产生的累积误差;采集数据的过程当中,所有节点均以50Hz的频率连续采集传感器信号,并将数据封装成帧,采用同步时分复用模式发送至基站;
周期划分阶段主要通过分析小腿角速度信号的波形曲线来进行数据分段,为后续阶段提取步态特征做准备;周期划分包含两种情况:连续步态的周期划分和静止前最后一个步态的周期划分;在行走、跑步、转身、上下楼等连续步态行为中,小腿角速度波形具有相似的波动规律;首先通过寻找角速度值大于100dps的波峰来检测一次步态行为,将该波峰出现的时刻定义为P;然后根据波峰P前后最近的两个波谷确定脚尖离地和脚跟击地事件的发生时刻;将代表脚尖离地的波谷作为当前步态周期的起点,该时刻定义为IC,IC也是上一个步态周期的终点;同时,将代表脚跟击地的波谷发生的时刻定义为TC;选择根据角速度值以及变化趋势识别静止状态,并取静止状态的前一时刻为终点,得到当前步态周期的近似范围;
在特征提取阶段,需从固定时长的周期分段数据中提取具有价值的特征作为划分步态类别的依据;通过观察分析各类腿部动作的小腿角速度波形以及行为表现,选取19种波形特征和行为特征,以右腿为例,列举如下:
特征1:小腿摆动波形的波峰P点处的角速度:ωP(k)
特征2:脚尖离地时刻IC的角速度:ωIC(k)
特征3:脚跟击地时刻TC的角速度:ωTC(k)
特征4:DiffIC,TC(k)=ωIC(k)-ωTC(k)
特征5:DiffP,IC(k)=ωP(k)-ωIC(k)
特征6:DiffP,TC(k)=ωP(k)-ωTC(k)
特征7:RatioIC,P(k)=ωIC(k)/ωP(k)
特征8:RatioTC,P(k)=ωTC(k)/ωP(k)
特征9:RatioIC-TC,P(k)=DiffIC,TC(k)/ωP(k)
特征10:TimeP',P(k)=|P'(k)-P(k)|
特征11:TimeIC,TC'(k)=|IC(k)-TC'(k)|
特征12:GC(k)=IC(k+1)-IC(k)
特征13:Stance(k)=IC(k+1)-TC(k)
特征14:Swing(k)=TC(k)-IC(k)
特征15:Stride(k)=TC(k)-TC'(k)
特征16:
特征17:
特征18:θwaist(k)=arcsin(2(w·y-z·x))
特征19:α
上述19个特征中,各符号含义如下:
符号k表示步态周期的次序,符号ωP(k)表示小腿摆动波形的波峰P点处的角速度,符号ωIC(k)表示脚尖离地时刻IC的角速度,符号ωTC(k)表示脚跟击地时刻TC的角速度;符号P(k)、IC(k)和TC(k)表示第k个步态周期内右小腿波形三个极值点的发生时刻,符号P'(k)、IC'(k)和TC'(k)表示第k个步态周期内左小腿波形三个极值点的发生时刻;符号ωthigh(t)和ωshank(t)分别表示t时刻大腿和小腿的角速度;符号α为左右腿标志,左腿为0,右腿为1;
在步态分类阶段,将代表步态样本的特征输入至分类模型中,可得到步态所属类别;考虑到初始步态与后续步态在行为表现和特征组成方面存在一定差异,为两种步态分别训练专属分类器,以避免由于潜在的分类规则不同而引起互相干扰;当分类模型接收到一个步态特征向量时,如果其中含有16个步态特征,则判断其为初始步态;如果含有19个步态特征,则判断其为后续步态,之后根据判断结果选择对应的分类器;采用最佳优先搜索算法筛选子集,然后采用基于相关性的特征选择子集评价方法对该子集进行评估,此过程迭代进行,排除掉相关度低的冗余特征,获得优质特征样本;之后,分别采用C4.5决策树、支持向量机、贝叶斯网络和人工神经网络等4种常用机器学习算法生成分类器,并借助AdaBoost集成学习算法实现迭代训练。
CN201510172243.8A 2015-04-13 2015-04-13 一种基于惯性传感器的步态识别方法 Active CN104729507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510172243.8A CN104729507B (zh) 2015-04-13 2015-04-13 一种基于惯性传感器的步态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510172243.8A CN104729507B (zh) 2015-04-13 2015-04-13 一种基于惯性传感器的步态识别方法

Publications (2)

Publication Number Publication Date
CN104729507A CN104729507A (zh) 2015-06-24
CN104729507B true CN104729507B (zh) 2018-01-26

Family

ID=53453631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510172243.8A Active CN104729507B (zh) 2015-04-13 2015-04-13 一种基于惯性传感器的步态识别方法

Country Status (1)

Country Link
CN (1) CN104729507B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112169296A (zh) * 2019-07-05 2021-01-05 华为技术有限公司 一种运动数据监测方法和装置
US20220042801A1 (en) * 2020-08-07 2022-02-10 The Regents Of The University Of California Methods and systems for adaptive pedestrian inertial navigation
RU2785948C1 (ru) * 2019-07-05 2022-12-15 Хонор Дивайс Ко., Лтд. Способ и аппаратура мониторинга данных движения

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023022B (zh) * 2015-07-09 2019-03-12 深圳天珑无线科技有限公司 跌倒检测方法及系统
CN105169619A (zh) * 2015-07-16 2015-12-23 于希萌 一种步态调整式跑步训练装置
KR102452632B1 (ko) * 2015-08-17 2022-10-07 삼성전자주식회사 운동 보조 장치 및 그 제어 방법
US11033205B2 (en) * 2016-02-12 2021-06-15 Tata Consultancy Services Limited System and method for analyzing gait and postural balance of a person
US10016896B2 (en) * 2016-06-30 2018-07-10 Brain Corporation Systems and methods for robotic behavior around moving bodies
CN106175778B (zh) * 2016-07-04 2019-02-01 中国科学院计算技术研究所 一种建立步态数据集的方法及步态分析方法
CN106264545B (zh) * 2016-08-05 2019-06-25 北京蜂鸟视图科技有限公司 步伐识别方法及装置
CN106256336B (zh) * 2016-08-22 2018-07-31 江苏中科伟思智能机器人科技有限公司 基于逻辑回归的外骨骼助残机器人步相切换方法
CN106653058B (zh) * 2016-10-28 2020-03-17 中国科学院计算技术研究所 基于双声道的脚步检测方法
CN106767800B (zh) * 2016-11-30 2019-07-26 武汉船舶通信研究所 一种步伐分割检测方法
CN106539587A (zh) * 2016-12-08 2017-03-29 浙江大学 一种基于多运动传感器的跌倒风险评估以及监测系统及评估方法
CN106730771B (zh) * 2017-01-05 2018-12-21 大连理工大学 一种基于单元动作划分的篮球动作数据处理方法
CN106500695B (zh) * 2017-01-05 2019-02-01 大连理工大学 一种基于自适应扩展卡尔曼滤波的人体姿态识别方法
CN106821391B (zh) * 2017-03-23 2020-03-24 北京精密机电控制设备研究所 基于惯性传感器信息融合的人体步态采集分析系统及方法
CN107137090B (zh) * 2017-05-24 2020-06-16 深圳先进技术研究院 一种跌倒识别方法及装置、用户设备
CN107131865A (zh) * 2017-06-13 2017-09-05 广州辛群科技有限公司 角度检测装置
CN107063173A (zh) * 2017-06-13 2017-08-18 广州辛群科技有限公司 角度检测方法和关节运动夹角检测系统
CN107918492A (zh) * 2017-12-22 2018-04-17 安庆师范大学 一种面对智能下肢假肢的人体运动意图预知识别方法
CN108031109A (zh) * 2017-12-25 2018-05-15 华南理工大学广州学院 一种互动式步态识别方法的游戏控制装置
CN108168548B (zh) * 2018-02-13 2022-03-15 南京师范大学 一种通过机器学习算法与模型辅助的行人惯性导航系统和方法
CN108446019B (zh) * 2018-02-13 2020-11-06 重庆大学 一种基于可穿戴设备传感器技术的用户行为测量方法及操作纠偏模型
CN108836342A (zh) * 2018-04-19 2018-11-20 北京理工大学 一种基于惯性传感器的无特征人体运动识别方法
CN110793978B (zh) * 2018-08-02 2023-02-21 富士通株式会社 速度校正方法、物品检测方法以及装置
CN109447128B (zh) * 2018-09-29 2021-10-01 中国科学院自动化研究所 基于微惯性技术的行走和原地踏步运动分类方法和系统
CN109886123B (zh) * 2019-01-23 2023-08-29 平安科技(深圳)有限公司 一种识别人体动作的方法及终端
CN109883431A (zh) * 2019-02-21 2019-06-14 北京方位捷讯科技有限公司 一种走姿判断方法及系统
CN109871817B (zh) * 2019-02-27 2021-08-27 河北工业大学 基于足底压力和自适应集成学习的行走状态识别方法
EP3711666A1 (en) * 2019-03-21 2020-09-23 Koninklijke Philips N.V. Analysing movement of a subject
CN110455284B (zh) * 2019-07-03 2021-01-01 中国人民解放军战略支援部队信息工程大学 一种基于mems-imu的行人运动模式识别方法及装置
CN110327054A (zh) * 2019-07-17 2019-10-15 袁兴光 一种基于加速度和角速度传感器的步态分析方法及装置
CN110575175B (zh) * 2019-07-30 2022-05-20 福建省万物智联科技有限公司 一种判断足内外八的方法
CN110553643B (zh) * 2019-09-17 2021-12-21 电子科技大学 一种基于神经网络的行人自适应零速更新点选取方法
CN111178155B (zh) * 2019-12-10 2024-03-29 中国科学院深圳先进技术研究院 基于惯性传感器的步态特征提取和步态识别方法
CN111248918B (zh) * 2020-01-20 2023-04-28 深圳市丞辉威世智能科技有限公司 步态识别方法、装置、设备及可读存储介质
CN111374676B (zh) * 2020-03-09 2022-10-11 南方科技大学 人体地面反力间接测量系统、测量方法、装置及控制器
CN111307148B (zh) * 2020-04-03 2021-09-03 北京航空航天大学 一种基于惯性网络的行人定位方法
CN111513723A (zh) * 2020-04-21 2020-08-11 咪咕互动娱乐有限公司 运动姿态监测方法、调整方法、装置和终端
CN111544006B (zh) * 2020-05-15 2021-10-26 中国科学院自动化研究所 帕金森病人运动障碍量化及识别的可穿戴设备
CN112440267B (zh) * 2020-11-27 2022-04-22 北京精密机电控制设备研究所 一种基于惯性传感器的步态相识别方法
CN112818927A (zh) * 2021-02-26 2021-05-18 上海交通大学 人体下肢运动模式实时分类方法及系统
CN113180644B (zh) * 2021-04-29 2022-05-10 福州大学 一种基于角速度信号的步态事件点检测方法
CN114061616A (zh) * 2021-10-22 2022-02-18 北京自动化控制设备研究所 一种自适应波峰检测计步方法
CN114358214B (zh) * 2022-03-11 2022-07-22 中国科学院上海高等研究院 步态自适应识别方法及装置、存储介质和终端
CN115188468B (zh) * 2022-07-25 2023-04-25 北京戴来科技有限公司 一种基于支持向量机的冻结步态检测方法、装置、设备和存储介质
CN115486837B (zh) * 2022-09-22 2023-04-25 北京戴来科技有限公司 一种步态分析方法、系统以及改善行走障碍的装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1705956A (zh) * 2002-10-29 2005-12-07 索尼株式会社 步态波形特征提取方法以及个人识别系统
CN102853831A (zh) * 2012-09-07 2013-01-02 中南大学 基于双核处理技术的足式机器人状态感知系统
CN103886341A (zh) * 2014-03-19 2014-06-25 国家电网公司 基于特征组合的步态行为识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594971B2 (en) * 2010-09-22 2013-11-26 Invensense, Inc. Deduced reckoning navigation without a constraint relationship between orientation of a sensor platform and a direction of travel of an object

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1705956A (zh) * 2002-10-29 2005-12-07 索尼株式会社 步态波形特征提取方法以及个人识别系统
CN102853831A (zh) * 2012-09-07 2013-01-02 中南大学 基于双核处理技术的足式机器人状态感知系统
CN103886341A (zh) * 2014-03-19 2014-06-25 国家电网公司 基于特征组合的步态行为识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Gait Cycle Spectrogram Analysis using a Torso-attached Inertial Sensor;Mitchell Yuwono, at al;《34th Annual International Conference of the IEEE EMBS》;20120901;第6539-6542页 *
Improved Cycle Detection for Accelerometer Based Gait Authentication;Derawi M O, Bours P, Holien K;《International Conference on Intelligent Information Hiding and Multimedia Signal Processing. DBLP》;20101031;第33卷;第312-317页 *
体域网中基于特征组合的步态行为识别;王凯等;《中国科学:信息科学》;20131031;第43卷(第10期);第1354-1358页 *
基于体感网的步态分析算法的研究;韩宁;《中国优秀硕士学位论文全文数据库 信息科技辑 》;20130815(第8期);摘要,正文第5-8、11-14、18-20、24-37页 *
无线步态分析系统的软件设计与实现;曹仲凯;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130815(第8期);第28-33页 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112169296A (zh) * 2019-07-05 2021-01-05 华为技术有限公司 一种运动数据监测方法和装置
WO2021004398A1 (zh) * 2019-07-05 2021-01-14 华为技术有限公司 一种运动数据监测方法和装置
CN112169296B (zh) * 2019-07-05 2021-10-22 荣耀终端有限公司 一种运动数据监测方法和装置
RU2785948C1 (ru) * 2019-07-05 2022-12-15 Хонор Дивайс Ко., Лтд. Способ и аппаратура мониторинга данных движения
US20220042801A1 (en) * 2020-08-07 2022-02-10 The Regents Of The University Of California Methods and systems for adaptive pedestrian inertial navigation

Also Published As

Publication number Publication date
CN104729507A (zh) 2015-06-24

Similar Documents

Publication Publication Date Title
CN104729507B (zh) 一种基于惯性传感器的步态识别方法
Feng et al. A Random Forest-based ensemble method for activity recognition
Atallah et al. Sensor placement for activity detection using wearable accelerometers
CN104075730B (zh) 一种步态计步方法及计步器
CN103519819B (zh) 步态分析方法及步态分析系统
CN102438519B (zh) 通过运动分析来表征身体能力
CN108244744A (zh) 一种运动状态识别的方法、鞋底及鞋
CN106971059A (zh) 一种基于神经网络自适应健康监测的可穿戴设备
CN106170746A (zh) 由运动移动属性计算步伐和能量消耗
CN105678222A (zh) 一种基于移动设备的人体行为识别方法
Shao et al. DePedo: Anti periodic negative-step movement pedometer with deep convolutional neural networks
CN108021888A (zh) 一种跌倒检测方法
KR20190105867A (ko) 족저압 변화 및 보행 패턴 분석을 위한 장치 및 방법
CN108960430A (zh) 为人体运动活动生成个性化分类器的方法和设备
WO2023035093A1 (zh) 基于惯性传感器的人体行为识别方法
JP2014212915A (ja) 行動判別装置、および行動判別方法
WO2017199305A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN109805935A (zh) 一种基于人工智能分层分级运动识别方法的智能腰带
Dong et al. Energy-aware activity classification using wearable sensor networks
CN109770913A (zh) 一种基于反向传播神经网络的步态异常识别方法
CN110705599B (zh) 一种基于在线迁移学习的人体动作识别方法
CN108827290A (zh) 一种人体运动状态反演装置及方法
Gupta et al. Human activity recognition through smartphone’s tri-axial accelerometer using time domain wave analysis and machine learning
CN113705507B (zh) 基于深度学习的混合现实开集人体姿态识别方法
Reich et al. A survey investigating the combination and number of IMUs on the human body used for detecting activities and human tracking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Lai Xiaochen

Inventor after: Lin Chi

Inventor after: Zhou Guoqiao

Inventor before: Lai Xiaochen

Inventor before: Zhou Guoqiao

Inventor before: Zhou Zhong

Inventor before: Sui Haibo

Inventor before: Zhao Yu

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant