CN105760861A - 一种基于深度数据的癫痫发作监控方法及系统 - Google Patents

一种基于深度数据的癫痫发作监控方法及系统 Download PDF

Info

Publication number
CN105760861A
CN105760861A CN201610190168.2A CN201610190168A CN105760861A CN 105760861 A CN105760861 A CN 105760861A CN 201610190168 A CN201610190168 A CN 201610190168A CN 105760861 A CN105760861 A CN 105760861A
Authority
CN
China
Prior art keywords
depth
space
epileptic
articulares
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610190168.2A
Other languages
English (en)
Other versions
CN105760861B (zh
Inventor
邱崧
刘莹莹
孙力
蔡茗名
李庆利
周梅
凌佩佩
贝璟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201610190168.2A priority Critical patent/CN105760861B/zh
Publication of CN105760861A publication Critical patent/CN105760861A/zh
Application granted granted Critical
Publication of CN105760861B publication Critical patent/CN105760861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4094Diagnosing or monitoring seizure diseases, e.g. epilepsy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Neurology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开一种基于深度数据的癫痫发作监控方法及系统,其方法是:用深度传感器获取癫痫患者数据源,通过各关节点合加速度阈值分析,判断患者是否可能癫痫发作。利用光流法进行关节点轨迹跟踪,然后计算采样点速度实现特征提取,获得可以有效描述患者癫痫发作时四肢剧烈颤动的特征,采用支持向量机分类方法识别当前患者是否癫痫发作。如果识别出患者癫痫发作,由扬声器发出报警声音,LED闪烁报警灯光,并通过GSM和4G移动通信自动发送短信或邮件通知家属。系统包括:深度数据采集模块、预分析模块、识别模块、数据存储模块、报警模块。本发明能准确及时地监测出癫痫发作时患者四肢颤动,且不易受光照等环境变化影响,检测速度快,具有较好的鲁棒性。

Description

一种基于深度数据的癫痫发作监控方法及系统
技术领域
本发明属于监控技术领域,特别涉及一种基于深度数据的癫痫发作监控方法及系统。
背景技术
癫痫是一种脑功能障碍综合症。据世界卫生组织(WHO)的报告显示,癫痫的患病率在5.0‰~11.2‰,目前全球大约有5000万的癫痫患者。我国的癫痫患病率为7.2‰,目前大约有900万的癫痫患者。癫痫发作具有长期性,反复性,不可预测的特点。癫痫病人一旦发病,如不能及时治疗,就可能导致脑水肿,呼吸循环衰竭甚至死亡等严重后果。大多数的癫痫患者需要长期药物治疗,而长期频繁服药会损害癫痫患者的认知功能或者给其他中枢神经系统带来毒副作用。由于癫痫病发作及其频繁并且不可预测,所以即使患者没有癫痫发作,他们也需要有人在身边陪护,无法独自活动。长期如此给患者及其家属都带来一定程度上的心理压力,极大影响了他们的生活质量。因此有必要设计一种实时检测癫痫发作的系统,以保证及时发现癫痫患者发病,使他们第一时间得到治疗。
目前的癫痫检测主要基于电生理的方法,通过记录和分析脑电信号或心率来判定癫痫的发作和强度,医疗上基于这种方法的监控系统设备复杂并且价格昂贵,不适用于家庭。此外还有一些便携式监控设备,一种是便携式脑电波监护仪,需要固定在患者身上至少一个便携式电子传感装置;一种是穿戴式癫痫检测装置,需要患者佩戴在头部或腕部以接受患者脑电波数据或心率数据,这些设备需要患者一直携带至少一个信号采集设备或传感装置,在一定程度上对患者自由行动造成一些约束,并且时刻佩戴也可能会影响患者的心情。
发明内容
不同于目前依赖电生理信号的癫痫发作监控方法,针对深度图像具有空间颜色无关性,并且根据距离很容易进行区域划分等优点,本发明的目的是提供一种基于深度数据的癫痫发作监控方法及系统,用于有效快速地识别癫痫发作,鲁棒性好,患者无需佩戴任何装置、可自由活动,而且成本低廉,在临床上和家庭环境下都很适用。
实现本发明目的的具体技术方案是:
一种基于深度数据的癫痫发作监控方法,特点是该方法包括以下具体步骤:
第一步,获取癫痫发作数据集
用深度传感器分别采集数名患者测试员在站立、躺下两种初始状态下发病抽搐过程的动作片段,每个片段包含连续60帧深度图像,分别得到患者测试员站立、躺下两种初始状态发病抽搐的数据集;
第二步,提取特征向量
(1)空间关节点提取
分别从患者测试员站立、躺下两种初始状态发病抽搐的数据集的深度图像中提取患者测试员空间骨架的20个空间关节点,选取其中的12个空间关节点作为四肢运动的表征,并提取12个空间关节点的深度坐标;所述12个空间关节点包括左手肘、左手腕、左手、右手肘、右手腕、右手、左膝、左脚踝、左脚、右膝、右脚踝、右脚;
(2)获取初始特征向量
将12个空间关节点的深度坐标实时变换到以深度传感器作为坐标原点的三维空间坐标;采用光流法对当前时刻12个空间关节点进行跟踪,得到与空间关节点对应的12条固定时间间隔的轨迹,用高斯平滑滤波器进行轨迹平滑处理;对每条轨迹以相同的时间间隔进行采样;设i关节点在一定时序下形成的轨迹是Ti,每条轨迹上采集n个点,经过坐标实时变换后该轨迹表示为Ti={(x1,y1,z1),(x2,y2,z2),...,(xi,yi,zi),...,(xn,yn,zn)};在t时刻i关节点沿x,y,z方向的速度为:
V x = x t + 1 - x t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V y = y t + 1 - y t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V z = z t + 1 - z t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V = V x 2 + V y 2 + V z 2
将12条轨迹上的n个采样点的瞬时速度组成的集合作为初始特征向量;
对每个患者测试员重复该步骤,分别得到与患者测试员站立、躺下两种初始状态发病抽搐的数据集对应的全部初始特征向量;
第三步,字典学习
按照稀疏编码的训练过程将第二步的两种初始特征向量进行分别聚类,生成基底向量,构成两类稀疏字典;
第四步,支持向量机(SupportVectorMachine,SVM)分类器训练
(1)生成稀疏向量
对两类稀疏字典分别进行稀疏编码,生成稀疏向量;
(2)稀疏向量的最大值合并
对稀疏向量使用最大值合并算法,保留稀疏向量集合中每一维的最大绝对值,即保留最能反映局部运动剧烈程度的全局视频特征;
(3)SVM分类器训练
用上述经过第四步(2)最大值合并算法的全局视频特征训练SVM分类器,得到站立和躺下两种初始状态下的分类器1和分类器2;
第五步,确定癫痫发作预判断的阈值范围
用深度传感器分别采集若干癫痫发作和其他日常活动动作的深度图像片段;提取每一帧深度图像中12个空间关节点的三维坐标,由当前帧和相邻帧各关节点的三维空间坐标,计算各关节点的合加速度;
合加速度的计算如下,以X方向为例
Vt=(xt+1-xt)×fT
Vt-1=(xt-xt-1)×fT
ax=(Vt-Vt-1)×fT
其中,fT为深度传感器的采集频率;
合加速度
按照上述方法取每一个深度图像片段12个空间关节合加速度最大值和最小值,并将其作为癫痫发作和其他日常活动的二分类训练样本,其他日常活动不包括跑、跳。不同关节点各自通过SVM分类的方法得到区分癫痫发作和其他日常活动动作的加速度最大值和最小值的阈值,将阈值范围设成SVM计算出的最大值的1.5倍和最小值的1/2;
第六步,获取被监测癫痫患者数据集
将深度传感器正对患者进行实时监测,获取癫痫患者的动作片段,每个片段包含连续60帧深度图像;
第七步,癫痫发作预判断
(1)空间关节点提取
从上述被监测癫痫患者数据集的深度图像中提取患者空间骨架的20个空间关节点,选取其中的12个空间关节点作为四肢运动的表征,并提取12个空间关节点的深度坐标;所述12个空间关节点包括左手肘、左手腕、左手、右手肘、右手腕、右手、左膝、左脚踝、左脚、右膝、右脚踝、右脚;
(2)癫痫发作预判断
将12个空间关节点的深度坐标实时变换到以深度传感器作为坐标原点的三维空间坐标;由当前帧和相邻帧各关节点的三维空间坐标,计算各关节点的合加速度;如果当前时刻各关节点合加速度超过第五步设定的阈值范围,则判定患者有可能癫痫发作;
第八步,判断患者的初始状态
建立以人为中心的三维坐标系,选取关节点中的中臀、左臀、右臀、腰4个关节点,以左臀、右臀2个关节点确定x轴,以腰、中臀2个关节点确定y轴,即可确定坐标原点和xoy平面;再通过原点以xoy平面的法线方向建立z轴;对比以深度数据采集装置为原点的三维坐标系与人体坐标系的z轴,判断此时患者是站立还是躺下的状态,从而选择第四步与初始状态对应的分类器1或分类器2;
第九步,提取被监测癫痫患者特征向量
(1)获取初始局部特征向量
采用光流法对当前时刻12个空间关节点进行跟踪,得到与12个空间关节点对应的12条固定时间间隔的轨迹,用高斯平滑滤波器进行轨迹平滑处理;对每条轨迹以相同的时间间隔进行采样;设i关节点在一定时序下形成的轨迹是Ti,每条轨迹上采集n个点,经过坐标实时变换后该轨迹可以表示为Ti={(x1,y1,z1),(x2,y2,z2),...,(xi,yi,zi),...,(xn,yn,zn)};在t时刻i关节点沿x,y,z方向的速度为
V x = x t + 1 - x t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V y = y t + 1 - y t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V z = z t + 1 - z t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V = V x 2 + V y 2 + V z 2
将12个空间关节点轨迹上的n个采样点的瞬时速度组成的集合作为初始特征向量;
采用滑动时间窗口的形式储存表示当前时刻的初始特征向量,随时间窗口移动,更新存储的数据;
(2)生成稀疏向量
采用与初始状态相对应的稀疏字典对第九步(1)得到的初始特征向量进行稀疏编码,生成稀疏向量;
(3)稀疏特征的最大值合并
对稀疏向量使用最大值合并算法,保留稀疏向量集合中每一维的最大绝对值,得到最终的特征向量;
第十步,癫痫发作识别
将第九步(3)获取的最终特征向量放入第四步所得的SVM分类器,识别患者是否癫痫发作;
第十一步,癫痫发作时做出响应
当识别出患者此时癫痫发作时扬声器发出报警声音,发光模块产生报警灯光;并通过GSM和4G移动通信自动发送短信或邮件通知家属。
一种基于深度数据的癫痫发作监控系统,该系统包括:
深度数据采集模块,用于实时采集癫痫患者动作的深度数据;
预分析模块,与深度数据采集模块相连,用于处理采集的深度数据,并通过阈值判断实时分析癫痫患者是否可能癫痫发作;
识别模块,与预分析模块相连,用于处理癫痫患者关节特征点的运动数据,识别出患者是否癫痫发作;
数据存储模块,分别与预分析模块、识别模块相连,用于存储预分析模块设定的阈值、识别模块中的字典和当前时刻患者各关节特征点的运动数据;
报警模块,与识别模块相连,用于患者癫痫发作时发出报警信号;
发光模块,与报警模块相连,用于报警时产生报警光信号;
GSM和4G移动通信模块,与报警模块相连,用于自动发送短信或邮件通知家属;
电源模块,分别与深度数据采集模块、预分析模块、识别模块、数据存储模块、报警模块、发光模块、GSM和4G移动通信模块相连。
与现有技术相比,本发明具有如下的有益效果:
首先,本发明提出了一种新的癫痫患者癫痫发作的监测方法,不同于以往电生理法,通过直接判断癫痫患者四肢颤动的异常特征检测癫痫发作,检测迅速,而且易于实现;
其次,无需患者佩戴任何辅助装置,能在多种深度采集设备安装高度和角度下都能够有效地进行监测,从而大大拓宽了实际应用范围;
再次,本发明选取可以代表患者四肢运动的具体关节特征点,减少了计算量,能满足实时监测的需求;
再次,本发明方法中通过加速度阈值范围做预分析,提高了运算速度,用SVM分类方法合理设定阈值范围,判断结果更可靠;
再次,本发明利用滑动时间窗口以及时间序列特征,与单时间点检测相比可以获得更完备的信息,检测结果更有效;
再次,本发明提出的癫痫发病检测方法基于深度数据,由于深度图像具有空间颜色无关性,因此不受光照、阴影等因素的影响;
最后,本发明在临床上及家庭室内等场景下都能够取得较高的癫痫患者癫痫发作的识别率,具有很高的实际应用价值。
附图说明
图1为本发明方法深度图像中12个空间关节点示意图;
图2为本发明方法深度图像坐标系与三维空间坐标系示意图;
图3为本发明方法基于关节点建立以人为中心的三维坐标系示意图;
图4为本发明该系统结构框图;
图5为本发明方法流程图。
具体实施方式
下面结合附图对本发明进行详细描述。
本发明的方法,首先将深度传感器置于癫痫患者活动的室内或用于临床上,获取癫痫患者的深度数据集,通过提出关节点加速度阈值分析,判断患者是否可能癫痫发作,并提出利用光流法进行关节点轨迹跟踪,然后计算采样点速度实现特征提取,获得可以有效描述患者癫痫发作时四肢剧烈颤动的特征,采用支持向量机分类方法识别当前患者是否癫痫发作。如果识别出患者癫痫发作,由扬声器发出报警声音,LED闪烁报警灯光,并通过GSM和4G移动通信自动发送短信或邮件通知家属。具体步骤如下:
第一步,获取癫痫发作数据集
在实施过程中,采用Kinect深度相机作为深度传感器,选取不同患者测试员在站立、躺下两种初始状态下发病抽搐过程的动作片段各10个,每个片段包含连续60帧深度图像,分别得到患者测试员站立、躺下两种初始状态发病抽搐的数据集;
第二步,提取局部特征向量
(1)空间关节点提取
根据JamieShotton提出的深度图像空间关节点提取方法,从第一步获得的动作片段中提取患者测试员空间骨架的20个空间关节点,选取其中的12个空间关节点作为四肢运动的表征;参阅图1,所述12个空间关节点包括左手肘、左手腕、左手、右手肘、右手腕、右手、左膝、左脚踝、左脚、右膝、右脚踝、右脚;
(2)获取初始特征向量
将12个空间关节点的深度坐标实时变换到以深度传感器作为坐标原点的三维空间坐标;参阅图2,深度图像坐标系与三维空间坐标系示意图,深度图像的坐标系是以深度图像原点作为坐标原点,以像素为单位,而实际距离的坐标系是以深度数据采集设备作为坐标原点的。由Kinect采集的深度图像像素为640×480,通过如下转换式可以得到深度图像上某一点的实际坐标(x,y,z):
x = ( u - 320 ) × d f y = ( v - 240 ) × d f
z=d
其中,d为深度图像上某一点的深度值,该点在深度图像坐标系中的横、纵坐标分别为u、v,f=525。
采用光流法对当前时刻12个空间关节点进行跟踪,得到与空间关节点对应的12条固定时间间隔的轨迹,用高斯平滑滤波器进行轨迹平滑处理;对每条轨迹以相同的时间间隔进行采样;设i关节点在一定时序下形成的轨迹是Ti,每条轨迹上采集5个点,经过坐标实时变换后该轨迹表示为Ti={(x1,y1,z1),(x2,y2,z2),(x3,y3,z3),(x4,y4,z4),(x5,y5,z5)};在t时刻i关节点沿x,y,z方向的速度为:
V x = x t + 1 - x t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V y = y t + 1 - y t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V z = z t + 1 - z t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V = V x 2 + V y 2 + V z 2
将12条轨迹上的5个采样点的瞬时速度组成的集合作为初始特征向量;
对每个患者测试员重复该步骤,分别得到与患者测试员站立、躺下两种初始状态发病抽搐的数据集对应的全部初始特征向量;
第三步,字典学习
按照稀疏编码的训练过程将第二步的两种初始特征向量进行分别聚类,生成基底向量,构成两类稀疏字典;
具体地,得到的特征向量集合为其中d代表特征向量的维度,即60,M代表特征向量数目,稀疏编码的字典学习问题可以优化为一个问题:
m i n a , φ Σ i = 1 M | | x i - Σ j = 1 K a i , j φ j | | 2 + λ Σ i = 1 M Σ j = 1 K | a i , j |
基于[x1,x2,…xi,…]重复迭代得到一组完备基其中K为字典大小,用于后续识别过程中特征向量的稀疏编码。
第四步,支持向量机(SupportVectorMachine,SVM)分类器训练
(1)生成稀疏向量
对两类稀疏字典分别进行稀疏编码,生成稀疏向量;
基于预先学习出的字典对上述步骤得到的特征向量进行稀疏编码生成稀疏向量,与字典学习相对应,稀疏向量的生成可以优化为下述问题:
m i n a Σ i = 1 m | | x i - Σ j = 1 k a i , j φ j | | 2 + λ Σ i = 1 m Σ j = 1 k | a i , j |
得到的即为原始特征向量X=[x1,x2,…xi,…xM]的稀疏表达。
(2)稀疏向量的最大值合并
对稀疏向量使用最大值合并算法,保留稀疏向量集合中每一维的最大绝对值,即保留最能反映局部运动剧烈程度的全局视频特征,去除了稀疏系数中的无关信息;
(3)SVM分类器训练
用上述经过第四步(2)最大值合并算法的全局视频特征训练SVM分类器,得到站立和躺下两种初始状态下的分类器1和分类器2;
第五步,确定癫痫发作预判断的阈值范围
用深度传感器分别采集若干癫痫发作和其他日常活动动作的深度图像片段;提取每一帧深度图像中12个空间关节点的三维坐标,由当前帧和相邻帧各关节点的三维空间坐标,计算各关节点的合加速度;
合加速度的计算如下,以X方向为例
Vt=(xt+1-xt)×fT
Vt-1=(xt-xt-1)×fT
ax=(Vt-Vt-1)×fT
其中,fT为深度传感器的采集频率;
合加速度
按照上述方法取每一个深度图像片段12个空间关节合加速度最大值和最小值,并将其作为癫痫发作和其他日常活动的二分类训练样本,其他日常活动不包括跑、跳。不同关节点各自通过SVM分类的方法得到区分癫痫发作和其他日常活动动作的加速度最大值和最小值的阈值,将阈值范围设成SVM计算出的最大值的1.5倍和最小值的1/2;
第六步,获取被监测癫痫患者数据集
将深度传感器正对患者进行实时监测,获取癫痫患者的动作片段,每个片段包含连续60帧深度图像;
第七步,癫痫发作预判断
(1)空间关节点提取
根据JamieShotton提出的深度图像空间关节点提取方法,从上述被监测癫痫患者数据集的深度图像中提取患者空间骨架的20个空间关节点,选取其中的12个空间关节点作为四肢运动的表征,并提取12个空间关节点的深度坐标;参阅图1,所述12个空间关节点包括左手肘、左手腕、左手、右手肘、右手腕、右手、左膝、左脚踝、左脚、右膝、右脚踝、右脚;
(2)癫痫发作预判断
参照第二步(2)的方法将12个空间关节点的深度坐标实时变换到以深度传感器作为坐标原点的三维空间坐标;由当前帧和相邻帧各关节点的三维空间坐标,计算各关节点的合加速度;合加速度的计算如下,以X方向为例
Vt=(xt+1-xt)×fT
Vt-1=(xt-xt-1)×fT
ax=(Vt-Vt-1)×fT
其中,fT为深度数据采集
设备的采集频率。
合加速度
如果当前时刻各关节点合加速度超过第五步设定的阈值范围,则判定患者有可能癫痫发作;
第八步,判断患者的初始状态
参阅图3,建立以人为中心的三维坐标系,选取关节点中的中臀、左臀、右臀、腰4个关节点,以左臀、右臀2个关节点确定x轴,以腰、中臀2个关节点确定y轴,即可确定坐标原点和xoy平面;再通过原点以xoy平面的法线方向建立z轴;对比以深度数据采集装置为原点的三维坐标系与人体坐标系的z轴,判断此时患者是站立还是躺下的状态,从而选择第四步与初始状态对应的分类器1或分类器2;
第九步,提取被监测癫痫患者特征向量
(1)获取初始局部特征向量
采用光流法对当前时刻12个空间关节点进行跟踪,得到与12个空间关节点对应的12条固定时间间隔的轨迹,用高斯平滑滤波器进行轨迹平滑处理;对每条轨迹以相同的时间间隔进行采样;设i关节点在一定时序下形成的轨迹是Ti,每条轨迹上采集5个点,经过坐标实时变换后该轨迹可以表示为Ti={(x1,y1,z1),(x2,y2,z2),(x3,y3,z3),(x4,y4,z4),(x5,y5,z5)};在t时刻i关节点沿x,y,z方向的速度为
V x = x t + 1 - x t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V y = y t + 1 - y t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V z = z t + 1 - z t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V = V x 2 + V y 2 + V z 2
将12个空间关节点轨迹上的5个采样点的瞬时速度组成的集合作为初始特征向量;
采用滑动时间窗口的形式储存表示当前时刻的初始特征向量,随时间窗口移动,更新存储的数据;
(2)生成稀疏向量
采用与初始状态相对应的稀疏字典对第九步(1)得到的初始特征向量进行稀疏编码,生成稀疏向量;
具体地,与字典学习相对应,稀疏向量的生成可以优化为下述问题:
m i n a Σ i = 1 m | | x i - Σ j = 1 k a i , j φ j | | 2 + λ Σ i = 1 m Σ j = 1 k | a i , j |
得到的即为原始特征向量X=[x1,x2,…xi,…xM]的稀疏表达。基于预先学习出的字典对上述步骤得到的特征向量进行稀疏编码生成稀疏向量;
(3)稀疏特征的最大值合并
对稀疏向量使用最大值合并算法,保留稀疏向量集合中每一维的最大绝对值,得到最终的特征向量;
第十步,癫痫发作识别
将第九步(3)获取的最终特征向量放入第四步所得的SVM分类器,识别患者是否癫痫发作;
第十一步,癫痫发作时做出响应
当识别出患者此时癫痫发作时扬声器发出报警声音,发光模块产生报警灯光;并通过GSM和4G移动通信自动发送短信或邮件通知家属。
参阅图4,本发明监控系统包括:深度数据采集模块、预分析模块、识别模块、数据存储模块、报警模块、发光模块、GSM和4G移动通信模块、电源模块。
结合图5基于深度数据的癫痫发作监控方法流程图,对系统结构做进一步说明。
深度数据采集模块1,包括一个Kinect深度相机作为深度传感器,用于实时采集癫痫患者动作的深度数据;
预分析模块2,通过USB接口与深度数据采集模块1连接,可采用DSP((DigitalSignalProcessor,数字信号处理器))或微处理器实现,本实施例选用DSP。用于根据JamieShotton提出的算法提取人体骨架20个关节点;通过阈值判断实时分析癫痫患者此时是否有可能癫痫发作;通过采用光流法追踪空间关节点轨迹,并获得采样点速度集合的特征提取方式,提取出具有描述性的四肢运动特征;结合以人为中心的三维坐标系判断患者的初始状态。
识别模块3,与所述预分析模块2相连,采用DSP实现,用于实现癫痫发作识别的算法。
数据存储模块4,分别与所述预分析模块2、识别模块3相连,采用高速非易失性存储器,如双倍速率同步动态随机存储器加固态硬盘组合方式,或者直接采用非易失性铁电存储器,本实施例采用成本较低的高速铁存储器实现。用于提供预分析模块设定的阈值范围和识别模块中的字典,并采用滑动时间窗口的形式储存当前时刻患者各关节特征点的运动数据,随时间窗口移动,更新各关节特征点轨迹,重新采样并计算特征值,同时更新存储模块中的数据。
报警模块5,包括一个扬声器,与识别模块3相连,用于识别出患者癫痫发作时发出报警声音;
发光模块6,包括至少一个LED灯,与报警模块5相连,用于报警时闪烁报警光信号。
GSM(GlobalSystemforMobileCommunication,全球移动通信系统)和4G(第四代移动通信技术)移动通信模块7,与报警模块5相连,该模块中预存有紧急求助手机号与邮箱号,可自动发送短信,邮件通知家属。
电源模块8分别与深度数据采集模块1、预分析模块2、识别模块3、数据存储模块4、报警模块5、发光模块6、GSM和4G移动通信模块7相连,负责给系统供电,采用220VAC-DC开关电源转换器将220V电压转为12V直流电压,再将12V电压由开关电源DC-DC转换器转为5V,3.3V,1.8V。

Claims (2)

1.一种基于深度数据的癫痫发作监控方法,其特征在于该方法包括以下具体步骤:
第一步,获取癫痫发作数据集
用深度传感器分别采集数名患者测试员在站立、躺下两种初始状态下发病抽搐过程的动作片段,每个片段包含连续60帧深度图像,分别得到患者测试员站立、躺下两种初始状态发病抽搐的数据集;
第二步,提取特征向量
(1)空间关节点提取
分别从患者测试员站立、躺下两种初始状态发病抽搐的数据集的深度图像中提取患者测试员空间骨架的20个空间关节点,选取其中的12个空间关节点作为四肢运动的表征,并提取12个空间关节点的深度坐标;所述12个空间关节点包括左手肘、左手腕、左手、右手肘、右手腕、右手、左膝、左脚踝、左脚、右膝、右脚踝、右脚;
(2)获取初始特征向量
将12个空间关节点的深度坐标实时变换到以深度传感器作为坐标原点的三维空间坐标;采用光流法对当前时刻12个空间关节点进行跟踪,得到与空间关节点对应的12条固定时间间隔的轨迹,用高斯平滑滤波器进行轨迹平滑处理;对每条轨迹以相同的时间间隔进行采样;设i关节点在一定时序下形成的轨迹是Ti,每条轨迹上采集n个点,经过坐标实时变换后该轨迹表示为Ti={(x1,y1,z1),(x2,y2,z2),...,(xi,yi,zi),...,(xn,yn,zn)};在t时刻i关节点沿x,y,z方向的速度为:
V x = x t + 1 - x t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V y = y t + 1 - y t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V z = z t + 1 - z t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V = V x 2 + V y 2 + V z 2
将12条轨迹上的n个采样点的瞬时速度组成的集合作为初始特征向量;
对每个患者测试员重复该步骤,分别得到与患者测试员站立、躺下两种初始状态发病抽搐的数据集对应的全部初始特征向量;
第三步,字典学习
按照稀疏编码的训练过程将第二步的两种初始特征向量进行分别聚类,生成基底向量,构成两类稀疏字典;
第四步,支持向量机SVM分类器训练
(1)生成稀疏向量
对两类稀疏字典分别进行稀疏编码,生成稀疏向量;
(2)稀疏向量的最大值合并
对稀疏向量使用最大值合并算法,保留稀疏向量集合中每一维的最大绝对值,即保留最能反映局部运动剧烈程度的全局视频特征;
(3)SVM分类器训练
用上述经过第四步(2)最大值合并算法的全局视频特征训练SVM分类器,得到站立和躺下两种初始状态下的分类器1和分类器2;
第五步,确定癫痫发作预判断的阈值范围
用深度传感器分别采集若干癫痫发作和其他日常活动动作的深度图像片段;提取每一帧深度图像中12个空间关节点的三维坐标,由当前帧和相邻帧各关节点的三维空间坐标,计算各关节点的合加速度;
合加速度的计算如下,以X方向为例
Vt=(xt+1-xt)×fT
Vt-1=(xt-xt-1)×fT
ax=(Vt-Vt-1)×fT
其中,fT为深度传感器的采集频率;
合加速度
按照上述方法取每一个深度图像片段12个空间关节合加速度最大值和最小值,并将其作为癫痫发作和其他日常活动的二分类训练样本,其他日常活动不包括跑、跳。不同关节点各自通过SVM分类的方法得到区分癫痫发作和其他日常活动动作的加速度最大值和最小值的阈值,将阈值范围设成SVM计算出的最大值的1.5倍和最小值的1/2;
第六步,获取被监测癫痫患者数据集
将深度传感器正对患者进行实时监测,获取癫痫患者的动作片段,每个片段包含连续60帧深度图像;
第七步,癫痫发作预判断
(1)空间关节点提取
从上述被监测癫痫患者数据集的深度图像中提取患者空间骨架的20个空间关节点,选取其中的12个空间关节点作为四肢运动的表征,并提取12个空间关节点的深度坐标;所述12个空间关节点包括左手肘、左手腕、左手、右手肘、右手腕、右手、左膝、左脚踝、左脚、右膝、右脚踝、右脚;
(2)癫痫发作预判断
将12个空间关节点的深度坐标实时变换到以深度传感器作为坐标原点的三维空间坐标;由当前帧和相邻帧各关节点的三维空间坐标,计算各关节点的合加速度;如果当前时刻各关节点合加速度超过第五步设定的阈值范围,则判定患者有可能癫痫发作;
第八步,判断患者的初始状态
建立以人为中心的三维坐标系,选取关节点中的中臀、左臀、右臀、腰4个关节点,以左臀、右臀2个关节点确定x轴,以腰、中臀2个关节点确定y轴,即可确定坐标原点和xoy平面;再通过原点以xoy平面的法线方向建立z轴;对比以深度数据采集装置为原点的三维坐标系与人体坐标系的z轴,判断此时患者是站立还是躺下的状态,从而选择第四步与初始状态对应的分类器1或分类器2;
第九步,提取被监测癫痫患者特征向量
(1)获取初始局部特征向量
采用光流法对当前时刻12个空间关节点进行跟踪,得到与12个空间关节点对应的12条固定时间间隔的轨迹,用高斯平滑滤波器进行轨迹平滑处理;对每条轨迹以相同的时间间隔进行采样;设i关节点在一定时序下形成的轨迹是Ti,每条轨迹上采集n个点,经过坐标实时变换后该轨迹可以表示为Ti={(x1,y1,z1),(x2,y2,z2),...,(xi,yi,zi),...,(xn,yn,zn)};
在t时刻i关节点沿x,y,z方向的速度为
V x = x t + 1 - x t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V y = y t + 1 - y t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V z = z t + 1 - z t ( x t + 1 - x t ) 2 + ( y t + 1 - y t ) 2 + ( z t + 1 - z t ) 2
V = V x 2 + V y 2 + V z 2
将12个空间关节点轨迹上的n个采样点的瞬时速度组成的集合作为初始特征向量;
采用滑动时间窗口的形式储存表示当前时刻的初始特征向量,随时间窗口移动,更新存储的数据;
(2)生成稀疏向量
采用与初始状态相对应的稀疏字典对第九步(1)得到的初始特征向量进行稀疏编码,生成稀疏向量;
(3)稀疏特征的最大值合并
对稀疏向量使用最大值合并算法,保留稀疏向量集合中每一维的最大绝对值,得到最终的特征向量;
第十步,癫痫发作识别
将第九步(3)获取的最终特征向量放入第四步所得的SVM分类器,识别患者是否癫痫发作;
第十一步,癫痫发作时做出响应
当识别出患者此时癫痫发作时扬声器发出报警声音,发光模块产生报警灯光;并通过GSM和4G移动通信自动发送短信或邮件通知家属。
2.一种基于深度数据的癫痫发作监控系统,其特征在于该系统包括:
深度数据采集模块,用于实时采集癫痫患者动作的深度数据;
预分析模块,与深度数据采集模块相连,用于处理采集的深度数据,并通过阈值判断实时分析癫痫患者是否可能癫痫发作;
识别模块,与预分析模块相连,用于处理癫痫患者关节特征点的运动数据,识别出患者是否癫痫发作;
数据存储模块,分别与预分析模块、识别模块相连,用于存储预分析模块设定的阈值、识别模块中的字典和当前时刻患者各关节特征点的运动数据;
报警模块,与识别模块相连,用于患者癫痫发作时发出报警信号;
发光模块,与报警模块相连,用于报警时产生报警光信号;
GSM和4G移动通信模块,与报警模块相连,用于自动发送短信或邮件通知家属;
电源模块,分别与深度数据采集模块、预分析模块、识别模块、数据存储模块、报警模块、发光模块、GSM和4G移动通信模块相连。
CN201610190168.2A 2016-03-29 2016-03-29 一种基于深度数据的癫痫发作监控方法及系统 Active CN105760861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610190168.2A CN105760861B (zh) 2016-03-29 2016-03-29 一种基于深度数据的癫痫发作监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610190168.2A CN105760861B (zh) 2016-03-29 2016-03-29 一种基于深度数据的癫痫发作监控方法及系统

Publications (2)

Publication Number Publication Date
CN105760861A true CN105760861A (zh) 2016-07-13
CN105760861B CN105760861B (zh) 2020-05-12

Family

ID=56346744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610190168.2A Active CN105760861B (zh) 2016-03-29 2016-03-29 一种基于深度数据的癫痫发作监控方法及系统

Country Status (1)

Country Link
CN (1) CN105760861B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407732A (zh) * 2016-12-09 2017-02-15 珠海安润普科技有限公司 识别目标对象状态的方法、装置及系统和智能服饰
CN106821376A (zh) * 2017-03-28 2017-06-13 南京医科大学 一种基于深度学习算法的癫痫发作预警系统及方法
CN108742603A (zh) * 2018-04-03 2018-11-06 山东大学 一种利用核函数和字典对学习模型的脑电检测方法和装置
CN109359510A (zh) * 2018-08-27 2019-02-19 广州大学 一种对异常行为的视觉分析处理方法
CN109635783A (zh) * 2019-01-02 2019-04-16 上海数迹智能科技有限公司 视频监控方法、装置、终端和介质
CN110477907A (zh) * 2019-07-16 2019-11-22 华南师范大学 一种智能辅助识别痫性发作的方法
CN111449852A (zh) * 2020-04-08 2020-07-28 铜仁市人民医院 一种内科患者用辅助监护装置
CN111671419A (zh) * 2020-06-12 2020-09-18 山东大学 一种基于脑电信号的癫痫早期检测与识别方法及系统
CN111695404A (zh) * 2020-04-22 2020-09-22 北京迈格威科技有限公司 行人跌倒检测方法、装置、电子设备及存储介质
CN112768069A (zh) * 2021-01-07 2021-05-07 金陵科技学院 基于ad-svm的智能养老机器人系统设计方法
CN113017567A (zh) * 2021-03-01 2021-06-25 西安交通大学医学院第一附属医院 一种基于深度学习技术的儿童癫痫检测方法
CN114099173A (zh) * 2020-06-09 2022-03-01 首都医科大学宣武医院 一种用于突发性病症的数据采集系统及方法
CN114821674A (zh) * 2022-06-28 2022-07-29 合肥的卢深视科技有限公司 睡眠状态监测方法、电子设备及存储介质
CN115530774A (zh) * 2021-06-30 2022-12-30 荣耀终端有限公司 癫痫检测方法和装置
CN117238485A (zh) * 2023-11-14 2023-12-15 天津市环湖医院(天津市神经外科研究所、天津市脑系科中心医院) 基于数据处理的智能管控系统
CN117935374A (zh) * 2024-03-22 2024-04-26 四川大学华西医院 一种癫痫患者精细行为的分析方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101835420A (zh) * 2007-08-23 2010-09-15 麻省理工学院 用于减少基于eeg的癫痫发作检测器中的通道数目的方法和装置
CN101950464A (zh) * 2010-09-17 2011-01-19 中国科学院深圳先进技术研究院 跌倒监测与报警的方法和系统
CN102722721A (zh) * 2012-05-25 2012-10-10 山东大学 一种基于机器视觉的人体跌倒检测方法
CN103198605A (zh) * 2013-03-11 2013-07-10 成都百威讯科技有限责任公司 室内突发异常事件报警系统
CN103211599A (zh) * 2013-05-13 2013-07-24 桂林电子科技大学 一种监测跌倒的方法及装置
CN103337132A (zh) * 2013-06-08 2013-10-02 山东师范大学 基于三轴加速度传感器的人体跌倒检测方法
CN104361321A (zh) * 2014-11-13 2015-02-18 侯振杰 一种判断老年人摔倒行为及身体平衡能力的方法
US20150157252A1 (en) * 2013-12-05 2015-06-11 Cyberonics, Inc. Systems and methods of limb-based accelerometer assessments of neurological disorders
CN104834946A (zh) * 2015-04-09 2015-08-12 清华大学 一种非接触式睡眠监测方法及系统
CN205581901U (zh) * 2016-03-29 2016-09-14 华东师范大学 一种基于深度数据的癫痫发作监控系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101835420A (zh) * 2007-08-23 2010-09-15 麻省理工学院 用于减少基于eeg的癫痫发作检测器中的通道数目的方法和装置
CN101950464A (zh) * 2010-09-17 2011-01-19 中国科学院深圳先进技术研究院 跌倒监测与报警的方法和系统
CN102722721A (zh) * 2012-05-25 2012-10-10 山东大学 一种基于机器视觉的人体跌倒检测方法
CN103198605A (zh) * 2013-03-11 2013-07-10 成都百威讯科技有限责任公司 室内突发异常事件报警系统
CN103211599A (zh) * 2013-05-13 2013-07-24 桂林电子科技大学 一种监测跌倒的方法及装置
CN103337132A (zh) * 2013-06-08 2013-10-02 山东师范大学 基于三轴加速度传感器的人体跌倒检测方法
US20150157252A1 (en) * 2013-12-05 2015-06-11 Cyberonics, Inc. Systems and methods of limb-based accelerometer assessments of neurological disorders
CN104361321A (zh) * 2014-11-13 2015-02-18 侯振杰 一种判断老年人摔倒行为及身体平衡能力的方法
CN104834946A (zh) * 2015-04-09 2015-08-12 清华大学 一种非接触式睡眠监测方法及系统
CN205581901U (zh) * 2016-03-29 2016-09-14 华东师范大学 一种基于深度数据的癫痫发作监控系统

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407732A (zh) * 2016-12-09 2017-02-15 珠海安润普科技有限公司 识别目标对象状态的方法、装置及系统和智能服饰
CN106821376B (zh) * 2017-03-28 2019-12-06 南京医科大学 一种基于深度学习算法的癫痫发作预警系统
CN106821376A (zh) * 2017-03-28 2017-06-13 南京医科大学 一种基于深度学习算法的癫痫发作预警系统及方法
CN108742603A (zh) * 2018-04-03 2018-11-06 山东大学 一种利用核函数和字典对学习模型的脑电检测方法和装置
CN109359510A (zh) * 2018-08-27 2019-02-19 广州大学 一种对异常行为的视觉分析处理方法
CN109359510B (zh) * 2018-08-27 2022-03-22 广州大学 一种对异常行为的视觉分析处理方法
CN109635783A (zh) * 2019-01-02 2019-04-16 上海数迹智能科技有限公司 视频监控方法、装置、终端和介质
CN110477907A (zh) * 2019-07-16 2019-11-22 华南师范大学 一种智能辅助识别痫性发作的方法
CN111449852A (zh) * 2020-04-08 2020-07-28 铜仁市人民医院 一种内科患者用辅助监护装置
CN111449852B (zh) * 2020-04-08 2022-04-26 铜仁市人民医院 一种内科患者用辅助监护装置
CN111695404A (zh) * 2020-04-22 2020-09-22 北京迈格威科技有限公司 行人跌倒检测方法、装置、电子设备及存储介质
CN111695404B (zh) * 2020-04-22 2023-08-18 北京迈格威科技有限公司 行人跌倒检测方法、装置、电子设备及存储介质
CN114099173A (zh) * 2020-06-09 2022-03-01 首都医科大学宣武医院 一种用于突发性病症的数据采集系统及方法
CN111671419A (zh) * 2020-06-12 2020-09-18 山东大学 一种基于脑电信号的癫痫早期检测与识别方法及系统
CN112768069A (zh) * 2021-01-07 2021-05-07 金陵科技学院 基于ad-svm的智能养老机器人系统设计方法
CN113017567A (zh) * 2021-03-01 2021-06-25 西安交通大学医学院第一附属医院 一种基于深度学习技术的儿童癫痫检测方法
CN115530774A (zh) * 2021-06-30 2022-12-30 荣耀终端有限公司 癫痫检测方法和装置
CN115530774B (zh) * 2021-06-30 2024-03-26 荣耀终端有限公司 癫痫检测方法和装置
CN114821674A (zh) * 2022-06-28 2022-07-29 合肥的卢深视科技有限公司 睡眠状态监测方法、电子设备及存储介质
CN117238485A (zh) * 2023-11-14 2023-12-15 天津市环湖医院(天津市神经外科研究所、天津市脑系科中心医院) 基于数据处理的智能管控系统
CN117238485B (zh) * 2023-11-14 2024-01-30 天津市环湖医院(天津市神经外科研究所、天津市脑系科中心医院) 基于数据处理的智能管控系统
CN117935374A (zh) * 2024-03-22 2024-04-26 四川大学华西医院 一种癫痫患者精细行为的分析方法及系统
CN117935374B (zh) * 2024-03-22 2024-06-07 四川大学华西医院 一种癫痫患者精细行为的分析方法及系统

Also Published As

Publication number Publication date
CN105760861B (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN105760861A (zh) 一种基于深度数据的癫痫发作监控方法及系统
Vallabh et al. Fall detection monitoring systems: a comprehensive review
Prakash et al. Recent developments in human gait research: parameters, approaches, applications, machine learning techniques, datasets and challenges
Qi et al. A cybertwin based multimodal network for ecg patterns monitoring using deep learning
Mubashir et al. A survey on fall detection: Principles and approaches
Oresko et al. A wearable smartphone-based platform for real-time cardiovascular disease detection via electrocardiogram processing
Liu et al. Human daily activity recognition for healthcare using wearable and visual sensing data
Chaaraoui et al. Abnormal gait detection with RGB-D devices using joint motion history features
Jia et al. Human daily activity recognition by fusing accelerometer and multi-lead ECG data
Mazurek et al. Use of kinematic and mel-cepstrum-related features for fall detection based on data from infrared depth sensors
Nguyen et al. IMU-based spectrogram approach with deep convolutional neural networks for gait classification
Boateng et al. ActivityAware: an app for real-time daily activity level monitoring on the amulet wrist-worn device
WO2022141894A1 (zh) 融合表情和肢体运动的三维特征情绪分析方法
Mimouna et al. Human action recognition using triaxial accelerometer data: selective approach
Alazrai et al. Fall detection for elderly using anatomical-plane-based representation
Martínez-Villaseñor et al. Deep learning for multimodal fall detection
CN114298089A (zh) 一种多模态力量训练辅助方法和系统
Brophy et al. A machine vision approach to human activity recognition using photoplethysmograph sensor data
Ren et al. Multivariate analysis of joint motion data by Kinect: application to Parkinson’s disease
Nguyen et al. Unsupervised clustering of free-living human activities using ambulatory accelerometry
Conradsen et al. Multi-modal intelligent seizure acquisition (MISA) system—a new approach towards seizure detection based on full body motion measures
Pogorelc et al. Home-based health monitoring of the elderly through gait recognition
Saraf et al. A survey of datasets, applications, and models for IMU sensor signals
Tahafchi et al. Freezing-of-gait detection using wearable sensor technology and possibilistic k-nearest-neighbor algorithm
Leone et al. An EMG-based system for pre-impact fall detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant