CN112232190A - 面向居家场景的老人异常行为检测方法 - Google Patents

面向居家场景的老人异常行为检测方法 Download PDF

Info

Publication number
CN112232190A
CN112232190A CN202011101279.4A CN202011101279A CN112232190A CN 112232190 A CN112232190 A CN 112232190A CN 202011101279 A CN202011101279 A CN 202011101279A CN 112232190 A CN112232190 A CN 112232190A
Authority
CN
China
Prior art keywords
old
feature
abnormal behaviors
detecting
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011101279.4A
Other languages
English (en)
Other versions
CN112232190B (zh
Inventor
张晖
夏望舒
赵海涛
孙雁飞
朱洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202011101279.4A priority Critical patent/CN112232190B/zh
Publication of CN112232190A publication Critical patent/CN112232190A/zh
Application granted granted Critical
Publication of CN112232190B publication Critical patent/CN112232190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向居家场景的老人异常行为检测方法。属于计算机视觉技术领域;具体步骤:1、在各房间中安置若干个摄像头;2、获取居所内老人的各种生活视频;3、训练单人行为识别CNN神经网络,根据老人在进行异常行为时的人物特征变化,提取其进行异常行为时的特征值;4、将获取的不同角度的各种生活视频进行网络训练;5、将该特征值进行特征融合并进行判断,给老人家属进行通知。本发明的优势在于拥有更全面的观测视野,可以全方位检测老人的行为,将老人异常行为的多种特征同时观测并结合起来。在老人异常行为判断方面,减少了错判率和误判率,同时几乎杜绝了漏判的情况,提高了监控的实用性。

Description

面向居家场景的老人异常行为检测方法
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种面向居家场景的老人异常行为检测方法。
背景技术
自上世纪90年代开始,大量的学者投入到行为分析的研究中,传统行为分析技术得到了明显的发展,并取得了很多成果,行为分析技术也在越来越多的领域发挥着重要的作用。运动目标检测是行为分析的基础,只有先在视频数据或者图像数据中检测到运动目标才能进一步的进行行为分析。运动目标检测就是要从图像数据中先检测到人体信息,将人体前景从图像中分割出来从而得到人体运动信息。在运动目标检测分割出人体区域之后,需要提取人体动作特征。人体动作特征提取需要从原始图像中更深入的抽取底层信息并将这些底层信息抽象出来,实现对人体动作的表征。完成动作特征的提取后,需要进行动作特征理解,通常将提取的动作特征与预先建立好的模型进行对比从而实现动作分类。
老人跌倒等多种异常行为的自动识别一直是国内外的研究重点问题,各种各样的跌倒行为识别方法层出不穷。2012年BingbingNi等基于RGBD深度摄像头彩色和深度特征的跌倒行为识别方法;Vaidehi等设计一种基于静态人体图像特征的跌倒检测系统,通过提取人体的长宽比和倾斜角度两个特征进行跌倒识别的研究。Rougier等用椭圆近似表示人体,将椭圆的方向标准差和长短轴比例的标准差作为特征,通过分析运动特征来检测人休形状的变换进行跌倒识别方法;薛冰霞等提出了基于多模特征融合的跌倒识别方法;杨帆等提出了基于头部运动轨迹和3D视觉的跌倒识别方法。上述方法多基于传统的计算视觉,需要人为设计跌倒行为的特征,通过特征对比来判断跌倒行为是否发生。
由于基于深度学习技术搭建的神经模型学习能力极强,泛化能力卓越,深度学习已逐渐成为人体行为分析的主要技术,也越来越多的应用于各种各样的场景,例如网络直播场景、社会治理场景、工业化4.0及智能家居场景等。其中,面向智能家居场景的人体行为分析系统更加贴近人们的生活,而成为了业界人员的研究热点。然而目前市场上流行的产品大都应用于服务器端,虽然准确率有所提升,但时延严重,并且大都割裂了同一图像中多人行为之间的联系,无法进行有效的组合分析。
发明内容
针对上述问题,本发明提供了一种面向居家场景的老人异常行为检测方法,以提高现有技术中对居家场景异常行为检测准确度。
本发明的技术方案是:面向居家场景的老人异常行为检测方法,具体步骤包括如下:
步骤(1.1)、在居所的各房间中的不同方位安置若干个摄像头;
步骤(1.2)、从安置的若干个摄像头中获取居所内老人的各种生活视频;
步骤(1.3)、训练单人行为识别CNN神经网络,通过该网络对输入的老人的各种生活视频进行识别并提取特征;再根据老人在进行异常行为时的人物特征变化,提取其进行异常行为时的特征值;
步骤(1.4)、将从不同摄像头获取的不同角度的各种生活视频进行网络训练,以此神经网络从不同的角度获得不同的行为特征值;
步骤(1.5)、将该特征值进行特征融合,对老人的行为进行判断,再根据该判断结果,通过发送信息给老人家属的方式对老人的异常行为进行通知。
进一步的,在步骤(1.1)中,在所述各房间中安置的摄像头的个数≥3个。
进一步的,在步骤(1.1)中,所述摄像头的摆放位置安置在同时拍摄到居所内老人活动时的正面、背面、侧面及上面的多块区域。
进一步的,在步骤(1.3)中,所述的训练单人行为识别CNN神经网络采用SSD快速检测算法进行网络构建。
进一步的,在所述步骤(1.5)中,将该特征值进行特征融合具体是指:对网络层获得的n种不同尺度的特征图进行多尺度融合,构建多时长特征融合密集连接网络模型,以获得融合后的多尺度特征图;再采用批量归一化对来自网络的多层进行归一化处理,最后使用降维后的特征图进行级联,形成融合特征层,利用融合后得到的特征重构特征图来进行检测。
本发明的有益效果是:本发明所述的面向居家场景的老人异常行为检测方法可以看做对传统的老人安全监控的一种扩展,其优势在于拥有更全面的观测视野,可以全方位检测老人的行为,将老人异常行为的多种特征同时观测并结合起来。在老人异常行为判断方面,减少了错判率和误判率,同时几乎杜绝了漏判的情况,提高了监控的实用性。
附图说明
图1是本发明的结构流程图;
图2是本发明中多时长特征融合模块示意图。
具体实施方式
为了更清楚地说明本发明的技术方案,下面结合附图对本发明的技术方案做进一步的详细说明:
如图1所述,面向居家场景的老人异常行为检测方法,具体步骤包括如下:
步骤(1.1)、在居所的各房间中的不同方位安置若干个摄像头;
步骤(1.2)、从安置的若干个摄像头中获取居所内老人的各种生活视频;
步骤(1.3)、训练单人行为识别CNN神经网络,通过该网络对输入的老人的各种生活视频进行识别并提取特征;再根据老人在进行异常行为时的人物特征变化,提取其进行异常行为时的特征值;
步骤(1.4)、将从不同摄像头获取的不同角度的各种生活视频进行网络训练,以此神经网络从不同的角度获得不同的行为特征值;
步骤(1.5)、将该特征值进行特征融合,对老人的行为进行判断,再根据该判断结果,通过发送信息给老人家属的方式对老人的异常行为进行通知。
进一步的,在步骤(1.1)中,在所述各房间中安置的摄像头的个数≥3个。;通过在居所中设置多个摄像头以在多个方位进行监控,并且每个房间至少安置有3个,根据老人的身体状况,如有需要,可以安置更多的摄像头,用于监控老人的生活起居。
进一步的,在步骤(1.1)中,所述摄像头的摆放位置安置在同时拍摄到居所内老人活动时的正面、背面、侧面及上面的多块区域;具体的,所述多个摄像头以在多个方位进行监控:摄像头的摆放位置至少可以满足能同时拍摄到房间内活动人物的正面、侧面、上面三块区域;呈现出三维坐标轴XYZ的位置,从多角度对老人行为进行监控,以此来从n个不同的角度采集老人行动的行为特征。
进一步的,在步骤(1.2)中,所述居所内老人的各种生活视频具体可以包括:老人的起床时间、睡眠时间、饮食时间、饮食的情况、锻炼的时间、娱乐的时间、打理家务的具体状况、说话的情况及服药的情况等等,包括了居所内老人所有的生活状态。
进一步的,在步骤(1.3)中,所述的训练单人行为识别CNN神经网络采用SSD快速检测算法进行网络构建的具体操作步骤包括如下:
(1.3.1)、默认框:使用SSD(Single Shot Multibox Detector)前馈神经网络通过利用小卷积卷积核预测特征图上一组默认边界框的位置偏移量和每个框中目标类别的得分,然后使用NMS生成最终检测结果;
(1.3.2)、损失函数:SSD模型的重点是确定目标位置的同时预测目标类别;确定目标位置是一个回归的过程,确定目标类别是一个分类的过程;目标分类是计算多类别的Softmax loss,位置回归采用Smooth L1 loss;一旦确定默认框,就可以端到端地应用损失函数和反向传播;
假设
Figure BDA0002725456140000031
表示类别p的第i个默认框与第j个真实框相匹配;当
Figure BDA0002725456140000041
时,意味着默认框和真实框之间的交并比(IOU)的值大于给定的阈值;因此SSD总的目标损失函数是目标位置损失与置信损失之和,如公式(1)所示:
Figure BDA0002725456140000042
其中:N代表与真实框匹配的默认框个数;Lconf为置信度损失值;Lloc为位置损失值;x为输入图像;c为目标置信度;l为预测值;g为真实框;α为权重项;
(1.3.3)、SSD网络模型采用基础网络和辅助网络提取图像特征;CNN提取特征是自主学习特征的过程,其主要有卷积层、池化层和非线性激活层组成;通过网络层提取特征,可以避免复杂人工提取特征程序;通过可视化网络层发现不同的网络层可以提取到不同的特征信息。
进一步的,在所述步骤(1.5)中,将该特征值进行特征融合具体是指:对网络层获得的n种不同尺度的特征图进行多尺度融合,构建多时长特征融合密集连接网络模型,以获得融合后的多尺度特征图;再采用批量归一化(Batch Normalization,BN)对来自网络的多层进行归一化处理,最后使用降维后的特征图进行级联,形成融合特征层,利用融合后得到的特征重构特征图来进行检测;其具体的操作情况如下:
特征融合使用多时长特征模块,该模块由多个互相独立的3D卷积计算、融合计算与平均池化计算所组成,其中每一个3D卷积计算都使用了不同时间快读的3D卷积核,如图2所示;
对于输入数据x∈RH×W×F,在经过K个分别独立的3D卷积核Wi计算计算后分别产生对应的特征长方体数据fi
fi=Gconv(x,Wi) (2)
式中:Gconv表示3D卷积计算的函数;x表示输入数据;Wi表示第i个3D卷积核的参数矩阵,且i∈K;由于3D卷积核有不同的时间跨度,则产生的特征长方体的时间维度大小也不同,即f1∈RH×W×F;将具有不同时间跨度信息的多个特征长方体数据fi做融合特征fv
fv=Gconv(f1,f2,…,fi) (3)
式中:Gconv表示拼接操作;得到的融合特征
Figure BDA0002725456140000044
为减小特征立方体的大小,需要对融合特征进行平均池化计算得到favg
Figure BDA0002725456140000043
式中:n表示池化区域中元素个数;fv(xi,yi,ti)表示特征长繁体fv在位置(xi,yi,ti)的值;为增加特征的表达能力,引入非线性激活函数得到多时长特征融合模块的最终输出为x′为
x′=GReLU(fvavg) (5)
式中GReLU表示ReLU函数;通过该模块计算能够有效地提取不同时间跨度下的动态行为特征,将更多的行为类别信息进行映射。
具体案例:例如在居家场景,老人开冰箱取食品时,不慎有食品掉落,老人正弯腰拾取食品并检查有没有摔坏,此时冰箱门开着。从传统监控方法来监视的话,摄像头拍摄到的图像容易被冰箱门阻挡,并且因为老人弯腰的时候检查食品时会有一段时间身体处于非站直状态,单方位的摄像头监控已经无法准确判断老人此时是身体不适还是说正在进行日常活动,容易误判、漏判。而本文提出的监控方法则可以多角度拍摄:从上方拍摄看到的老人此时蹲着手里正在检查东西;侧面摄像头看到老人此时半边身体被冰箱门遮挡,但是没有摔倒在地上。此时就能准确的判断老人正在进行的行为为日常行为,而非身体不适导致的弯腰。
最后,应当理解的是,本发明中所述实施例仅用以说明本发明实施例的原则;其他的变形也可能属于本发明的范围;因此,作为示例而非限制,本发明实施例的替代配置可视为与本发明的教导一致;相应地,本发明的实施例不限于本发明明确介绍和描述的实施例。

Claims (5)

1.面向居家场景的老人异常行为检测方法,其特征在于,具体步骤包括如下:
步骤(1.1)、在居所的各房间中的不同方位安置若干个摄像头;
步骤(1.2)、从安置的若干个摄像头中获取居所内老人的各种生活视频;
步骤(1.3)、训练单人行为识别CNN神经网络,通过该网络对输入的老人的各种生活视频进行识别并提取特征;再根据老人在进行异常行为时的人物特征变化,提取其进行异常行为时的特征值;
步骤(1.4)、将从不同摄像头获取的不同角度的各种生活视频进行网络训练,以此神经网络从不同的角度获得不同的行为特征值;
步骤(1.5)、将该特征值进行特征融合,对老人的行为进行判断,再根据该判断结果,通过发送信息给老人家属的方式对老人的异常行为进行通知。
2.根据权利要求1所述的面向居家场景的老人异常行为检测方法,其特征在于,在步骤(1.1)中,在所述各房间中安置的摄像头的个数≥3个。
3.根据权利要求1所述的面向居家场景的老人异常行为检测方法,其特征在于,在步骤(1.1)中,所述摄像头的摆放位置安置在同时拍摄到居所内老人活动时的正面、背面、侧面及上面的多块区域。
4.根据权利要求1所述的面向居家场景的老人异常行为检测方法,其特征在于,在步骤(1.3)中,所述的训练单人行为识别CNN神经网络采用SSD快速检测算法进行网络构建。
5.根据权利要求1所述的面向居家场景的老人异常行为检测方法,其特征在于,在所述步骤(1.5)中,将该特征值进行特征融合具体是指:对网络层获得的n种不同尺度的特征图进行多尺度融合,构建多时长特征融合密集连接网络模型,以获得融合后的多尺度特征图;再采用批量归一化对来自网络的多层进行归一化处理,最后使用降维后的特征图进行级联,形成融合特征层,利用融合后得到的特征重构特征图来进行检测。
CN202011101279.4A 2020-10-15 2020-10-15 面向居家场景的老人异常行为检测方法 Active CN112232190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011101279.4A CN112232190B (zh) 2020-10-15 2020-10-15 面向居家场景的老人异常行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011101279.4A CN112232190B (zh) 2020-10-15 2020-10-15 面向居家场景的老人异常行为检测方法

Publications (2)

Publication Number Publication Date
CN112232190A true CN112232190A (zh) 2021-01-15
CN112232190B CN112232190B (zh) 2023-04-18

Family

ID=74113734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011101279.4A Active CN112232190B (zh) 2020-10-15 2020-10-15 面向居家场景的老人异常行为检测方法

Country Status (1)

Country Link
CN (1) CN112232190B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688804A (zh) * 2021-10-25 2021-11-23 腾讯科技(深圳)有限公司 基于多角度视频的动作识别方法及相关设备
CN116883946A (zh) * 2023-07-24 2023-10-13 武汉星巡智能科技有限公司 老人异常行为实时检测方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977773A (zh) * 2019-02-18 2019-07-05 华南理工大学 基于多目标检测3d cnn的人体行为识别方法及系统
CN111626199A (zh) * 2020-05-27 2020-09-04 多伦科技股份有限公司 面向大型多人车厢场景的异常行为分析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977773A (zh) * 2019-02-18 2019-07-05 华南理工大学 基于多目标检测3d cnn的人体行为识别方法及系统
CN111626199A (zh) * 2020-05-27 2020-09-04 多伦科技股份有限公司 面向大型多人车厢场景的异常行为分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宣琦等: "基于多时长特征融合的人体行为识别方法", 《浙江工业大学学报》 *
米晓萍 等: "基于物联网智能的独居老人自动监控方法研究", 《计算机仿真》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688804A (zh) * 2021-10-25 2021-11-23 腾讯科技(深圳)有限公司 基于多角度视频的动作识别方法及相关设备
CN116883946A (zh) * 2023-07-24 2023-10-13 武汉星巡智能科技有限公司 老人异常行为实时检测方法、装置、设备及存储介质
CN116883946B (zh) * 2023-07-24 2024-03-22 武汉星巡智能科技有限公司 老人异常行为实时检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112232190B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US11195051B2 (en) Method for person re-identification based on deep model with multi-loss fusion training strategy
US20210326597A1 (en) Video processing method and apparatus, and electronic device and storage medium
CN107832672B (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
CN103268495B (zh) 计算机系统中基于先验知识聚类的人体行为建模识别方法
CN110428522A (zh) 一种智慧新城的智能安防系统
Asif et al. Privacy preserving human fall detection using video data
CN111814638B (zh) 基于深度学习的安防场景火焰检测方法
CN111814845B (zh) 一种基于多支流融合模型的行人重识别方法
CN112016527B (zh) 基于深度学习的大熊猫行为识别方法、系统、终端及介质
CN104504362A (zh) 基于卷积神经网络的人脸检测方法
WO2021073311A1 (zh) 图像识别方法、装置、计算机可读存储介质及芯片
CN111582092B (zh) 一种基于人体骨架的行人异常行为检测方法
CN112232190B (zh) 面向居家场景的老人异常行为检测方法
CN109190475A (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN105279485B (zh) 激光夜视下监控目标异常行为的检测方法
CN111833380B (zh) 一种多视角影像融合的空间目标跟踪系统及方法
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
Batool et al. Telemonitoring of daily activities based on multi-sensors data fusion
Ding et al. Machine learning model for feature recognition of sports competition based on improved TLD algorithm
CN113762166A (zh) 一种基于可穿戴式装备的小目标检测改善方法及系统
CN113470076A (zh) 一种平养鸡舍黄羽鸡多目标跟踪方法
Syu et al. Psoriasis detection based on deep neural network
Hu et al. Parallel channel and position attention-guided feature pyramid for pig face posture detection
CN113012193A (zh) 一种基于深度学习的多行人跟踪方法
CN115918571A (zh) 一种栅栏过道式牛体健康数据提取装置及其智能提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant