CN110058699A - 一种基于智能移动设备传感器的用户行为识别方法 - Google Patents

一种基于智能移动设备传感器的用户行为识别方法 Download PDF

Info

Publication number
CN110058699A
CN110058699A CN201910347816.4A CN201910347816A CN110058699A CN 110058699 A CN110058699 A CN 110058699A CN 201910347816 A CN201910347816 A CN 201910347816A CN 110058699 A CN110058699 A CN 110058699A
Authority
CN
China
Prior art keywords
identification model
data
acceleration
intelligent mobile
mobile equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910347816.4A
Other languages
English (en)
Other versions
CN110058699B (zh
Inventor
秦臻
张艺波
丁熠
秦志光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910347816.4A priority Critical patent/CN110058699B/zh
Publication of CN110058699A publication Critical patent/CN110058699A/zh
Application granted granted Critical
Publication of CN110058699B publication Critical patent/CN110058699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于智能移动设备传感器的用户行为识别方法，其包括以下步骤：S1、获取不同真实行为下的加速度数据和角速度数据及待识别数据；S2、对获取的数据进行预处理；S3、通过图像化得到预处理后的数据对应的图像；S4、对加速度图像和角速度图像进行深度学习，分别得到加速度识别模型和角速度识别模型；S5、将加速度识别模型和角速度识别模型进行融合，得到综合识别模型；S6、将待识别图像作为综合识别模型的输入数据，通过综合识别模型的输出结果对用户的行为进行识别。本发明可以随时高效的获取携带预设有本方法的智能移动设备的用户的行为，可以为用户提供运动计量等功能，也可以为行为预警提供数据支撑。

Description

一种基于智能移动设备传感器的用户行为识别方法
技术领域
本发明涉及行为识别领域，具体涉及一种基于智能移动设备传感器的用户行为识别方法。
背景技术
随着移动互联网和智能移动设备(手机)的飞速发展，智能移动设备已经进入大众的生活中，而智能移动设备中通常配备有加速度传感器和陀螺仪，当用户随身携带智能移动设备时，智能移动设备所获取的加速度数据和角速度数据可用于代表用户的行为，而对用户的行为进行识别可以为用户提供运动计量等功能，也可以为老人或者病人的行为进行感知，为行为预警提供数据支撑。
TensorFlow是一个基于数据流编程(dataflow programming)的符号数学系统，被广泛应用于各类机器学习(machine learning)算法的编程实现，其前身是谷歌的神经网络算法库DistBelief。Tensorflow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于智能移动设备传感器的用户行为识别方法可随时高效的获取携带预设有本方法的智能移动设备的用户的行为。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种基于智能移动设备传感器的用户行为识别方法，其包括以下步骤：
S1、分别获取不同真实行为下智能移动设备传感器中的加速度数据和角速度数据，得到不同真实行为下的加速度数据和角速度数据；分别获取待识别对象处智能移动设备传感器中的加速度数据和角速度数据，得到待识别数据；
S2、分别对不同真实行为下的加速度数据和角速度数据，以及待识别数据进行预处理，得到预处理后的加速度数据和角速度数据，以及预处理后的待识别数据；
S3、分别对预处理后的加速度数据和角速度数据图像化，对应得到加速度图像和角速度图像；对预处理后的待识别数据图像化，得到待识别图像；
S4、采用TensorFlow框架分别对加速度图像和角速度图像进行深度学习，分别得到加速度识别模型和角速度识别模型；
S5、将加速度识别模型和角速度识别模型进行融合，得到综合识别模型；
S6、将待识别图像作为综合识别模型的输入数据，通过综合识别模型的输出结果对用户的行为进行识别。
进一步地，步骤S1中真实行为包括：
行走、跑步、上楼、下楼、跳和骑行。
进一步地，步骤S2中预处理的具体方法包括以下子步骤：
S2-1、进行同频率处理：将频率大于阈值的数据通过等距抽样的方法在时间区间不变的条件下减少其频率，得到同频率处理后的数据；
S2-2、将同频率处理后的数据切割成若干个时间长度为5秒的时间序列数据；
S2-3、将每个时间序列数据片段都按照离差归一化映射到[-1,1]间，并采用逐段聚集平均法进行分段特征提取；
S2-4、对提取出的特征采用反三角函数得出归一化数据的值，并将其映射到极坐标中。
进一步地，步骤S3中图像化的具体方法为：
将映射到极坐标的数据带入格拉姆和角场生成相应和对应的GASF图像和GADF图像。
进一步地，步骤S4的具体方法为：
采用TensorFlow框架中的深度残差网络模型ResNet的前3大层卷积层来分别提取不同真实行为下加速度图像和角速度图像的特征，将不同真实行为下加速度图像和角速度图像的特征作为不同真实行为的判别依据，分别得到不同行为下的加速度识别模型和角速度识别模型。
进一步地，步骤S5的具体方法为：
采用连接算法将加速度识别模型和角速度识别模型进行融合，得到综合识别模型，并将综合识别模型的一个全连接层作为其输出。
进一步地，步骤S5与步骤S6之间还包括步骤
S5.5、采用同一真实行为下的加速度图像和角速度图像作为综合识别模型的输入，判断综合识别模型的输出是否与真实行为一致，若一致率高于阈值，则表明该综合识别模型符合要求；否则调整学习率和dropout值，并返回步骤S4。
本发明的有益效果为：本发明可以随时高效的获取携带预设有本方法的智能移动设备的用户的行为，可以为用户提供运动计量等功能，也可以为行为预警提供数据支撑。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该基于智能移动设备传感器的用户行为识别方法包括以下步骤：
S1、分别获取不同真实行为下智能移动设备传感器中的加速度数据和角速度数据，得到不同真实行为下的加速度数据和角速度数据；分别获取待识别对象处智能移动设备传感器中的加速度数据和角速度数据，得到待识别数据；
S2、分别对不同真实行为下的加速度数据和角速度数据，以及待识别数据进行预处理，得到预处理后的加速度数据和角速度数据，以及预处理后的待识别数据；
S3、分别对预处理后的加速度数据和角速度数据图像化，对应得到加速度图像和角速度图像；对预处理后的待识别数据图像化，得到待识别图像；
S4、采用TensorFlow框架分别对加速度图像和角速度图像进行深度学习，分别得到加速度识别模型和角速度识别模型；
S5、将加速度识别模型和角速度识别模型进行融合，得到综合识别模型；
S6、将待识别图像作为综合识别模型的输入数据，通过综合识别模型的输出结果对用户的行为进行识别。
步骤S1中真实行为包括：行走、跑步、上楼、下楼、跳和骑行。
步骤S2中预处理的具体方法包括以下子步骤：
S2-1、进行同频率处理：将频率大于阈值的数据通过等距抽样的方法在时间区间不变的条件下减少其频率，得到同频率处理后的数据；
S2-2、将同频率处理后的数据切割成若干个时间长度为5秒的时间序列数据；
S2-3、将每个时间序列数据片段都按照离差归一化映射到[-1,1]间，并采用逐段聚集平均法进行分段特征提取；
S2-4、对提取出的特征采用反三角函数得出归一化数据的值，并将其映射到极坐标中。
步骤S3中图像化的具体方法为：将映射到极坐标的数据带入格拉姆和角场生成相应和对应的GASF图像和GADF图像。
步骤S4的具体方法为：采用TensorFlow框架中的深度残差网络模型ResNet的前3大层卷积层来分别提取不同真实行为下加速度图像和角速度图像的特征，将不同真实行为下加速度图像和角速度图像的特征作为不同真实行为的判别依据，分别得到不同行为下的加速度识别模型和角速度识别模型。
步骤S5的具体方法为：采用连接算法将加速度识别模型和角速度识别模型进行融合，得到综合识别模型，并将综合识别模型的一个全连接层作为其输出。
步骤S5与步骤S6之间还包括步骤S5.5、采用同一真实行为下的加速度图像和角速度图像作为综合识别模型的输入，判断综合识别模型的输出是否与真实行为一致，若一致率高于阈值，则表明该综合识别模型符合要求；否则调整学习率和dropout值，并返回步骤S4。
在具体实施过程中，可通过用户自定义行为标签，并在定义行为标签后佩戴能获取加速度和角速度的智能移动设备(已预设本方法)进行对应的行为，使得用于训练的数据均为该用户的行为，进而可提高本方法的识别成功率。
在本发明的一个实施例中，为0≤t≤T的时间步长t的长度为F0的输入特征向量，其向量的值为传感器在t时刻所记录的传感器数据，每条传感器数据对应一个真实动作标记yt∈{1,...,C}，其中C是行为的总数量；为实数集。
对频率大于100Hz的数据采用等距抽样的方法进行降频，将传感器数据切割成时间区间为5秒的若干时间序列数据。根据公式
获取每个时间序列数据片段归一化映射到[-1,1]间的结果；表示第i个时间序列数据片段对应的结果；根据逐段聚集平均法公式
平滑数据，得到第i个时间序列数据对应的特征其中n为常数，为第j个时间序列数据片段对应的结果。根据公式
将提取出的特征采用反三角函数得出归一化数据的值，并将其映射到半径为r、时间为t且值为φ的极坐标中；arccos(·)为反三角函数。将同一段时间序列的数据带入公式
分别得到GASF图像和GADF图像；其中I为单位向量；φm表示第m个φ值；为所有时间序列数据对应的特征形成的向量；为的转置矩阵；为的转置矩阵。将得到的GASF图像和GADF图像进行后续步骤，即可得到综合识别模型。
综上所述，本发明先分别对角速度和加速度进行预处理后训练建模，使得到的两个模型分别深入提取不同用户行为下的角速度特征和加速度特征，通过对两个模型的融合得到初步的综合识别模型，再利用已知行为的数据对综合识别模型进行检测与再训练，使得最终得到的综合识别模型的识别成功率更高。

Claims (7)

1.一种基于智能移动设备传感器的用户行为识别方法，其特征在于，包括以下步骤：
S1、分别获取不同真实行为下智能移动设备传感器中的加速度数据和角速度数据，得到不同真实行为下的加速度数据和角速度数据；分别获取待识别对象处智能移动设备传感器中的加速度数据和角速度数据，得到待识别数据；
S2、分别对不同真实行为下的加速度数据和角速度数据，以及待识别数据进行预处理，得到预处理后的加速度数据和角速度数据，以及预处理后的待识别数据；
S3、分别对预处理后的加速度数据和角速度数据图像化，对应得到加速度图像和角速度图像；对预处理后的待识别数据图像化，得到待识别图像；
S4、采用TensorFlow框架分别对加速度图像和角速度图像进行深度学习，分别得到加速度识别模型和角速度识别模型；
S5、将加速度识别模型和角速度识别模型进行融合，得到综合识别模型；
S6、将待识别图像作为综合识别模型的输入数据，通过综合识别模型的输出结果对用户的行为进行识别。
2.根据权利要求1所述的基于智能移动设备传感器的用户行为识别方法，其特征在于，所述步骤S1中真实行为包括：
行走、跑步、上楼、下楼、跳和骑行。
3.根据权利要求1所述的基于智能移动设备传感器的用户行为识别方法，其特征在于，所述步骤S2中预处理的具体方法包括以下子步骤：
S2-1、进行同频率处理：将频率大于阈值的数据通过等距抽样的方法在时间区间不变的条件下减少其频率，得到同频率处理后的数据；
S2-2、将同频率处理后的数据切割成若干个时间长度为5秒的时间序列数据；
S2-3、将每个时间序列数据片段都按照离差归一化映射到[-1,1]间，并采用逐段聚集平均法进行分段特征提取；
S2-4、对提取出的特征采用反三角函数得出归一化数据的值，并将其映射到极坐标中。
4.根据权利要求3所述的基于智能移动设备传感器的用户行为识别方法，其特征在于，所述步骤S3中图像化的具体方法为：
将映射到极坐标的数据带入格拉姆和角场生成相应和对应的GASF图像和GADF图像。
5.根据权利要求1所述的基于智能移动设备传感器的用户行为识别方法，其特征在于，所述步骤S4的具体方法为：
采用TensorFlow框架中的深度残差网络模型ResNet的前3大层卷积层来分别提取不同真实行为下加速度图像和角速度图像的特征，将不同真实行为下加速度图像和角速度图像的特征作为不同真实行为的判别依据，分别得到不同行为下的加速度识别模型和角速度识别模型。
6.根据权利要求1所述的基于智能移动设备传感器的用户行为识别方法，其特征在于，所述步骤S5的具体方法为：
采用连接算法将加速度识别模型和角速度识别模型进行融合，得到综合识别模型，并将综合识别模型的一个全连接层作为其输出。
7.根据权利要求1所述的基于智能移动设备传感器的用户行为识别方法，其特征在于，所述步骤S5与步骤S6之间还包括步骤
S5.5、采用同一真实行为下的加速度图像和角速度图像作为综合识别模型的输入，判断综合识别模型的输出是否与真实行为一致，若一致率高于阈值，则表明该综合识别模型符合要求；否则调整学习率和dropout值，并返回步骤S4。
CN201910347816.4A 2019-04-28 2019-04-28 一种基于智能移动设备传感器的用户行为识别方法 Active CN110058699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910347816.4A CN110058699B (zh) 2019-04-28 2019-04-28 一种基于智能移动设备传感器的用户行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910347816.4A CN110058699B (zh) 2019-04-28 2019-04-28 一种基于智能移动设备传感器的用户行为识别方法

Publications (2)

Publication Number Publication Date
CN110058699A true CN110058699A (zh) 2019-07-26
CN110058699B CN110058699B (zh) 2021-04-27

Family

ID=67319567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910347816.4A Active CN110058699B (zh) 2019-04-28 2019-04-28 一种基于智能移动设备传感器的用户行为识别方法

Country Status (1)

Country Link
CN (1) CN110058699B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069930A (zh) * 2020-08-20 2020-12-11 国网山西省电力公司电力科学研究院 提升gis设备故障诊断准确率的振动信号处理方法及装置
CN112216283A (zh) * 2020-09-24 2021-01-12 建信金融科技有限责任公司 一种语音识别方法、装置、设备及存储介质
CN112370015A (zh) * 2020-10-30 2021-02-19 复旦大学 基于格拉姆角场的生理信号质量评估方法
CN112587091A (zh) * 2020-12-04 2021-04-02 中山大学 基于心率变异性角场图像的睡眠呼吸暂停检测方法及装置
CN112767296A (zh) * 2021-01-20 2021-05-07 山东大学 一种基于时间序列成像的多传感器数据融合方法及系统
WO2021143489A1 (zh) * 2020-01-15 2021-07-22 支付宝(杭州)信息技术有限公司 取证环境验证方法和装置、电子设备
CN113222781A (zh) * 2021-05-11 2021-08-06 廖寒 一种智能变频供水方法及系统
CN114424263A (zh) * 2020-03-25 2022-04-29 株式会社日立制作所 行为识别服务器和行为识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120265716A1 (en) * 2011-01-19 2012-10-18 Qualcomm Incorporated Machine learning of known or unknown motion states with sensor fusion
US20170262655A1 (en) * 2016-03-09 2017-09-14 Bitspray Corporation Secure file sharing over multiple security domains and dispersed communication networks
CN107481185A (zh) * 2017-08-24 2017-12-15 深圳市唯特视科技有限公司 一种基于视频图像优化的风格转换方法
CN107837087A (zh) * 2017-12-08 2018-03-27 兰州理工大学 一种基于智能手机的人体运动状态识别方法
CN109086698A (zh) * 2018-07-20 2018-12-25 大连理工大学 一种基于多传感器数据融合的人体动作识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120265716A1 (en) * 2011-01-19 2012-10-18 Qualcomm Incorporated Machine learning of known or unknown motion states with sensor fusion
US20170262655A1 (en) * 2016-03-09 2017-09-14 Bitspray Corporation Secure file sharing over multiple security domains and dispersed communication networks
CN107481185A (zh) * 2017-08-24 2017-12-15 深圳市唯特视科技有限公司 一种基于视频图像优化的风格转换方法
CN107837087A (zh) * 2017-12-08 2018-03-27 兰州理工大学 一种基于智能手机的人体运动状态识别方法
CN109086698A (zh) * 2018-07-20 2018-12-25 大连理工大学 一种基于多传感器数据融合的人体动作识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FROSTI PALSSON ET AL.: "Sentinel-2 Image Fusion Using a Deep Residual Network", 《REMOTE SENSING》 *
SEBASTIAN M¨UNZNER ET AL.: "CNN-based Sensor Fusion Techniques for Multimodal Human Activity Recognition", 《ISWC"17》 *
SEUNGEUN CHUNG ET AL.: "Sensor Data Acquisition and Multimodal Sensor Fusion for Human Activity Recognition Using Deep Learning", 《SENSORS》 *
庄姝颖 等: "基于手机传感器的用户行为识别", 《盐城工学院学报( 自然科学版)》 *
陈玲: "基于深度学习的人体行为识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021143489A1 (zh) * 2020-01-15 2021-07-22 支付宝(杭州)信息技术有限公司 取证环境验证方法和装置、电子设备
CN114424263A (zh) * 2020-03-25 2022-04-29 株式会社日立制作所 行为识别服务器和行为识别方法
CN114424263B (zh) * 2020-03-25 2023-06-27 株式会社日立制作所 行为识别服务器和行为识别方法
CN112069930A (zh) * 2020-08-20 2020-12-11 国网山西省电力公司电力科学研究院 提升gis设备故障诊断准确率的振动信号处理方法及装置
CN112216283A (zh) * 2020-09-24 2021-01-12 建信金融科技有限责任公司 一种语音识别方法、装置、设备及存储介质
CN112216283B (zh) * 2020-09-24 2024-02-23 建信金融科技有限责任公司 一种语音识别方法、装置、设备及存储介质
CN112370015A (zh) * 2020-10-30 2021-02-19 复旦大学 基于格拉姆角场的生理信号质量评估方法
CN112587091A (zh) * 2020-12-04 2021-04-02 中山大学 基于心率变异性角场图像的睡眠呼吸暂停检测方法及装置
CN112767296A (zh) * 2021-01-20 2021-05-07 山东大学 一种基于时间序列成像的多传感器数据融合方法及系统
CN113222781A (zh) * 2021-05-11 2021-08-06 廖寒 一种智能变频供水方法及系统
CN113222781B (zh) * 2021-05-11 2023-04-18 深圳市科荣软件股份有限公司 一种智能变频供水方法及系统

Also Published As

Publication number Publication date
CN110058699B (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN110058699A (zh) 一种基于智能移动设备传感器的用户行为识别方法
CN110569795B (zh) 一种图像识别方法、装置以及相关设备
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
CN111291739B (zh) 面部检测、图像检测神经网络训练方法、装置和设备
CN111241989B (zh) 图像识别方法及装置、电子设备
CN109657533A (zh) 行人重识别方法及相关产品
CN105488468B (zh) 一种目标区域的定位方法和装置
CN110675475B (zh) 一种人脸模型生成方法、装置、设备及存储介质
CN110334587A (zh) 人脸关键点定位模型的训练方法、装置及关键点定位方法
CN110852257B (zh) 一种人脸关键点的检测方法、装置及存储介质
US20230017112A1 (en) Image generation method and apparatus
CN111160350A (zh) 人像分割方法、模型训练方法、装置、介质及电子设备
CN112686223A (zh) 一种表格识别方法、装置和计算机可读存储介质
CN107944398A (zh) 基于深度特征联合表示图像集人脸识别方法、装置和介质
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN111695502A (zh) 用于人脸识别的特征更新方法、装置和计算机设备
CN111126515B (zh) 基于人工智能的模型训练方法和相关装置
CN111062865B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111931153A (zh) 基于人工智能的身份验证方法、装置和计算机设备
CN111275005A (zh) 绘制人脸图像识别方法、计算机可读存储介质和相关设备
CN116884045B (zh) 身份识别方法、装置、计算机设备和存储介质
CN113128526A (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN116701706B (zh) 一种基于人工智能的数据处理方法、装置、设备及介质
Zhang et al. SASAN: Shape-Adaptive Set Abstraction Network for Point-Voxel 3D Object Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant