CN110533011B - 发放传单行为的检测方法及检测系统 - Google Patents

发放传单行为的检测方法及检测系统 Download PDF

Info

Publication number
CN110533011B
CN110533011B CN201910967047.8A CN201910967047A CN110533011B CN 110533011 B CN110533011 B CN 110533011B CN 201910967047 A CN201910967047 A CN 201910967047A CN 110533011 B CN110533011 B CN 110533011B
Authority
CN
China
Prior art keywords
elbow
leaflet
wrist
key point
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910967047.8A
Other languages
English (en)
Other versions
CN110533011A (zh
Inventor
张发恩
张虎
林国森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi Qingdao Technology Co ltd
Original Assignee
Innovation Qizhi Qingdao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi Qingdao Technology Co ltd filed Critical Innovation Qizhi Qingdao Technology Co ltd
Priority to CN201910967047.8A priority Critical patent/CN110533011B/zh
Publication of CN110533011A publication Critical patent/CN110533011A/zh
Application granted granted Critical
Publication of CN110533011B publication Critical patent/CN110533011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明发放传单行为的检测方法,包括下列步骤:将人体划分18个关键点即鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝、右眼、左眼、右耳朵、左耳朵;设置17个肢体骨架,所述17个肢体骨架为所述18个关键点间存在的肢体意义的连线;摄像头或相机正对目标人物时,建立该目标人物是否在发放传单的行为指标。本发明还公开了其检测系统。本发明帮助城市、街道、市容市貌管理人员快速有效的发现发放传单的行为,节省人力并提升事件发现、处理的效率,对智慧城市的发展有重要价值。

Description

发放传单行为的检测方法及检测系统
技术领域
本发明涉及行人监控的技术领域,具体涉及到一种发放传单行为的检测方法及发放传单行为的检测系统的技术。
背景技术
日常生活中,经常看到有人发传单。发放传单,不仅浪费资源,而且影响行人出行,污染环境卫生,损害城市形象。传统的发放传单主要通过执法人员巡查发现,不仅耗时耗力,巡查效果也不佳。因而本专利结合街道、马路的摄像头,使用姿态估计算法,提供一种发放传单的检测方法。
发明内容
为了克服现有技术的不足,本发明的目的在于提供一种发放传单行为的检测方法及检测系统,帮助城市、街道、市容市貌管理人员快速有效的发现发放传单的行为,节省人力并提升事件发现、处理的效率。
为达上述目的,本发明采用以下技术方案:
一方面,提供一种发放传单行为的检测方法,所述发放传单的检测方法包括下列步骤:
将人体划分18个关键点即鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝、右眼、左眼、右耳朵、左耳朵;
设置17个肢体骨架,所述17个肢体骨架为所述18个关键点间存在的肢体意义的连线,包括鼻子与脖子的连线、脖子与右肩的连线、右肩与右肘的连线、右肘与右手腕的连线、脖子与左肩的连线、左肩与左肘的连线、左肘与左手腕的连线、脖子与右臀的连线、右臀与右膝盖的连线、右膝盖与右脚踝的连线、脖子与左臀的连线、左臀与左膝盖的连线、左膝盖与左脚踝的连线、鼻子与右眼的连线、鼻子与左眼的连线、右眼与右耳朵的连线、左眼与左耳朵的连线;
设置人体中轴线,首先取右臀和左臀连接线段的中点,通过该中点与脖子所形成的直线;右肩与右肘的连线为右手大臂,右肘与右手腕的连线为右手小臂;左肩与左肘的连线为左手大臂、左肘与左手腕的连线为左手小臂;右肘为右肘部关键点,右手腕为右腕部关键点;左肘为左肘部关键点,左手腕为左肘部关键点;
摄像头或相机正对目标人物时,该目标人物做出下列行为指标时认定目标人物在做发放传单行为:
所述右手大臂或左手大臂与身体中轴线的夹角超过规定幅度;
右手发放动作时,右肘部关键点和右腕部关键点分别与人体中轴线的距离超过右肩与左肩之间的距离,同时为与打电话行为相区分,右手腕的高度低于右肘的高度,在摄像头视频数据里连续至少2帧图片中,存在右肘、右手腕与人体中轴线的距离变大,并且最终停滞规定的时间;
左手发放动作时,左肘部关键点和左腕部关键点分别与人体中轴线的距离超过右肩与左肩之间的距离,同时为与打电话行为相区分,左手腕的高度低于左肘的高度,在摄像头视频数据里连续至少2帧图片中,存在左肘、左手腕与人体中轴线的距离变大,并且最终停滞规定的时间。
本发明发放传单行为的检测方法,建立下列单元:
建立数据库:根据业务场景采集图片和视频的数据,在该数据的基础上构建肢体识别及姿态估计模型,建立是否发放传单的所述行为指标,所述模型中设置有肢体关键点检测器;
视频数据接入:将街道、马路的摄像头视频数据进行接入;
行人肢体行为分析:肢体识别及姿态估计模型对接入的视频数据中的行人进行肢体动作的识别即肢体识别服务,其中所述肢体关键点检测器识别并标记出肢体部位,进而对不同角度下的姿势进行估计,根据所述模型的检测结果结合所述行为指标对属于发放传单的行为触发报警,提醒工作人员。
所述肢体识别及姿态估计模型采用OpenPose或AlphaPose、Light weightOpenPose姿态估计算法,检测图像中每个人的各个所述关键点,并根据所述行为指标,来判断目标人物是否在做发放传单的行为。
另一方面,提供一种基于前述发放传单行为的检测系统,包括:
摄像头及数据接入单元,用于拍摄街道、马路的行人,并将摄像头视频数据进行接入;
数据库:根据业务场景采集图片和视频的数据,在该数据的基础上构建肢体识别及姿态估计模型,建立是否发放传单的行为指标;
肢体识别服务单元,肢体识别及姿态估计模型对接入的视频数据中的行人进行肢体动作的识别即肢体识别服务,其中所述肢体关键点检测器识别并标记出肢体部位进而对不同角度下的姿势进行估计,根据所述模型的检测结果结合所述行为指标对属于发放传单的行为进行确认;
报警服务单元,对属于发放传单的行为触发报警,提醒工作人员。
本发明具有以下有益效果:
本发明由于将人体划分18个关键点,设置17个肢体骨架,建立在摄像头或相机正对目标人物时,是否发放传单的行为指标,引入肢体识别及姿态估计模型,故可以帮助城市、街道、市容市貌管理人员快速有效的发现发放传单的行为,节省人力并提升事件发现、处理的效率,对智慧城市的发展有重要价值。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明发放传单行为的检测方法原理框架图;
图2是本发明目标人物示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本专利的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
本发明发放传单行为的检测方法,包括下列步骤:
如图2,将人体划分18个关键点即鼻子0、脖子1、右肩2、右肘3、右手腕4、左肩5、左肘6、左手腕7、右臀8、右膝盖9、右脚踝10、左臀11、左膝盖12、左脚踝13、右眼14、左眼15、右耳朵16、左耳朵17;
设置17个肢体骨架,所述17个肢体骨架为所述18个关键点间存在的肢体意义的连线,包括鼻子0与脖子1的连线、脖子1与右肩2的连线、右肩2与右肘3的连线、右肘3与右手腕4的连线、脖子1与左肩5的连线、左肩5与左肘6的连线、左肘6与左手腕7的连线、脖子1与右臀8的连线、右臀8与右膝盖9的连线、右膝盖9与右脚踝10的连线、脖子1与左臀11的连线、左臀11与左膝盖12的连线、左膝盖12与左脚踝13的连线、鼻子0与右眼14的连线、鼻子0与左眼15的连线、右眼14与右耳朵16的连线、左眼15与左耳朵17的连线;
设置人体中轴线,首先取右臀8和左臀11连接线段的中点,通过该中点与脖子1所形成的直线;右肩2与右肘3的连线为右手大臂,右肘3与右手腕4的连线为右手小臂;左肩5与左肘6的连线为左手大臂、左肘6与左手腕7的连线为左手小臂;右肘3为右肘部关键点,右手腕4为右腕部关键点;左肘6为左肘部关键点,左手腕7为左肘部关键点;
摄像头或相机正对目标人物时,该目标人物做出下列行为指标时认定目标人物在做发放传单行为:
右手大臂或左手大臂与身体中轴线的夹角超过规定幅度;
右手发放动作时,右肘部关键点和右腕部关键点分别与人体中轴线的距离超过右肩2与左肩5之间的距离,同时为与打电话行为相区分,右手腕4的高度低于右肘3的高度,在摄像头视频数据里连续至少2帧图片中,存在右肘3、右手腕4与人体中轴线的距离变大,并且最终停滞规定的时间;
左手发放动作时,左肘部关键点和左腕部关键点分别与人体中轴线的距离超过右肩2与左肩5之间的距离,同时为与打电话行为相区分,左手腕7的高度低于左肘6的高度,在摄像头视频数据里连续至少2帧图片中,存在左肘6、左手腕7与人体中轴线的距离变大,并且最终停滞规定的时间。
如图1,本发明发放传单行为的检测方法,建立下列单元:
建立数据库:根据业务场景采集图片和视频的数据,在该数据的基础上构建肢体识别及姿态估计模型,建立是否发放传单的所述行为指标,所述模型中设置有肢体关键点检测器;
视频数据接入:将街道、马路的摄像头视频数据进行接入,即摄像头通过数据总线接入;
行人肢体行为分析:包括肢体识别服务,即肢体识别及姿态估计模型对接入的视频数据中的行人进行肢体动作的识别即肢体识别服务,其中所述肢体关键点检测器识别并标记出肢体部位,进而对不同角度下的姿势进行估计,根据所述模型的检测结果结合所述行为指标对属于发放传单的行为触发报警,提醒工作人员,即报警服务。
所述肢体识别及姿态估计模型采用OpenPose或AlphaPose、Light weightOpenPose姿态估计算法,检测图像中每个人的各个关键点,并根据所述行为指标,来判断目标人物是否在做发放传单的行为。
更加具体而言:
以OpenPose为例,给定输入图片,首先通过VGG-19的骨干网络得到特征,而后通过6个阶段不断优化,每个阶段有2个branch:一个用来得到关键点坐标的热图heatmaps,一个用来得到关键点间肢体意义的起点指向终点的方向向量PAFs。之后将PAFs转化成二分图,并采用匈牙利算法求解二分图匹配问题,从而得到图片中所有人的姿态。
本发明基于前述发放传单行为的检测系统,包括:
摄像头及数据接入单元,用于拍摄街道、马路的行人,并将摄像头视频数据进行接入;
数据库:根据业务场景采集图片和视频的数据,在该数据的基础上构建肢体识别及姿态估计模型,建立是否发放传单的行为指标;
肢体识别服务单元,肢体识别及姿态估计模型对接入的视频数据中的行人进行肢体动作的识别即肢体识别服务,其中所述肢体关键点检测器识别并标记出肢体部位进而对不同角度下的姿势进行估计,根据所述模型的检测结果结合所述行为指标对属于发放传单的行为进行确认;
报警服务单元,对属于发放传单的行为触发报警,提醒工作人员。
本发明利用计算机视觉技术对实时视频监控中的行人进行肢体行为分析,根据分析结果判断视频监控中的行人是否具有发放传单的嫌疑,该发明可以帮助城市街道管理人员快速发现违规行为并对其进行违规处理。
首先根据业务场景采集图片和视频数据,在该数据的基础上构建肢体识别及姿态估计模型,该模型可以对人手的关键点进行定位以及人身体的各个关键点进行定位。
然后将街道、马路的摄像头视频数据接入,通过上述模型对视频中的行人进行肢体动作的识别,模型中的肢体关键点检测器会识别并标记出肢体部位进而对不同角度下的姿势进行估计,根据模型的检测结果结合业务规则的定义对属于发放传单的行为将会触发报警,提醒工作人员对此进行处理。业务规则的定义即是指是否发放传单的行为指标。
需要声明的是,上述具体实施方式仅为本发明的较佳实施例及所运用技术原理,在本发明所公开的技术范围内,任何熟悉本技术领域的技术人员所容易想到的变化或替换,都应涵盖在本发明的保护范围内。

Claims (4)

1.一种发放传单行为的检测方法,其特征在于:所述发放传单的检测方法包括下列步骤:
将人体划分18个关键点即鼻子(0)、脖子(1)、右肩(2)、右肘(3)、右手腕(4)、左肩(5)、左肘(6)、左手腕(7)、右臀(8)、右膝盖(9)、右脚踝(10)、左臀(11)、左膝盖(12)、左脚踝(13)、右眼(14)、左眼(15)、右耳朵(16)、左耳朵(17);
设置17个肢体骨架,所述17个肢体骨架为所述18个关键点间存在的肢体意义的连线,包括鼻子(0)与脖子(1)的连线、脖子(1)与右肩(2)的连线、右肩(2)与右肘(3)的连线、右肘(3)与右手腕(4)的连线、脖子(1)与左肩(5)的连线、左肩(5)与左肘(6)的连线、左肘(6)与左手腕(7)的连线、脖子(1)与右臀(8)的连线、右臀(8)与右膝盖(9)的连线、右膝盖(9)与右脚踝(10)的连线、脖子(1)与左臀(11)的连线、左臀(11)与左膝盖(12)的连线、左膝盖(12)与左脚踝(13)的连线、鼻子(0)与右眼(14)的连线、鼻子(0)与左眼(15)的连线、右眼(14)与右耳朵(16)的连线、左眼(15)与左耳朵(17)的连线;
设置人体中轴线,首先取右臀(8)和左臀(11)连接线段的中点,通过该中点与脖子(1)所形成的直线;右肩(2)与右肘(3)的连线为右手大臂,右肘(3)与右手腕(4)的连线为右手小臂;左肩(5)与左肘(6)的连线为左手大臂、左肘(6)与左手腕(7)的连线为左手小臂;右肘(3)为右肘部关键点,右手腕(4)为右腕部关键点;左肘(6)为左肘部关键点,左手腕(7)为左肘部关键点;
摄像头或相机正对目标人物时,该目标人物做出下列行为指标时认定目标人物在做发放传单行为:
所述右手大臂或左手大臂与身体中轴线的夹角超过规定幅度;
右手发放动作时,右肘部关键点和右腕部关键点分别与人体中轴线的距离超过右肩(2)与左肩(5)之间的距离,同时为与打电话行为相区分,右手腕(4)的高度低于右肘(3)的高度,在摄像头视频数据里连续至少2帧图片中,存在右肘(3)、右手腕(4)与人体中轴线的距离变大,并且最终停滞规定的时间;
左手发放动作时,左肘部关键点和左腕部关键点分别与人体中轴线的距离超过右肩(2)与左肩(5)之间的距离,同时为与打电话行为相区分,左手腕(7)的高度低于左肘(6)的高度,在摄像头视频数据里连续至少2帧图片中,存在左肘(6)、左手腕(7)与人体中轴线的距离变大,并且最终停滞规定的时间。
2.根据权利要求1所述发放传单行为的检测方法,其特征在于:
建立数据库:根据业务场景采集图片和视频的数据,在该数据的基础上构建肢体识别及姿态估计模型,建立是否发放传单的所述行为指标,所述模型中设置有肢体关键点检测器;
视频数据接入:将街道、马路的摄像头视频数据进行接入;
行人肢体行为分析:肢体识别及姿态估计模型对接入的视频数据中的行人进行肢体动作的识别即肢体识别服务,其中所述肢体关键点检测器识别并标记出肢体部位,进而对不同角度下的姿势进行估计,根据所述模型的检测结果结合所述行为指标对属于发放传单的行为触发报警,提醒工作人员。
3.根据权利要求1所述发放传单行为的检测方法,其特征在于:所述肢体识别及姿态估计模型采用OpenPose或AlphaPose、Light weight OpenPose姿态估计算法,检测图像中每个人的各个所述关键点,并根据所述行为指标,来判断目标人物是否在做发放传单的行为。
4.一种基于权利要求1所述发放传单行为的检测方法的检测系统,其特征在于所述发放传单行为的检测系统包括:
摄像头及数据接入单元,用于拍摄街道、马路的行人,并将摄像头视频数据进行接入;
数据库:根据业务场景采集图片和视频的数据,在该数据的基础上构建肢体识别及姿态估计模型,建立是否发放传单的行为指标;
肢体识别服务单元,肢体识别及姿态估计模型对接入的视频数据中的行人进行肢体动作的识别即肢体识别服务,其中所述肢体关键点检测器识别并标记出肢体部位进而对不同角度下的姿势进行估计,根据所述模型的检测结果结合所述行为指标对属于发放传单的行为进行确认;
报警服务单元,对属于发放传单的行为触发报警,提醒工作人员。
CN201910967047.8A 2019-10-12 2019-10-12 发放传单行为的检测方法及检测系统 Active CN110533011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910967047.8A CN110533011B (zh) 2019-10-12 2019-10-12 发放传单行为的检测方法及检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910967047.8A CN110533011B (zh) 2019-10-12 2019-10-12 发放传单行为的检测方法及检测系统

Publications (2)

Publication Number Publication Date
CN110533011A CN110533011A (zh) 2019-12-03
CN110533011B true CN110533011B (zh) 2022-05-24

Family

ID=68671761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910967047.8A Active CN110533011B (zh) 2019-10-12 2019-10-12 发放传单行为的检测方法及检测系统

Country Status (1)

Country Link
CN (1) CN110533011B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199211A (zh) * 2019-12-31 2020-05-26 武汉星巡智能科技有限公司 具有红外唤醒功能的智能监控设备、监控方法及存储介质
CN112668387B (zh) * 2020-09-24 2023-06-27 上海荷福人工智能科技(集团)有限公司 基于AlphaPose实现的违规抽烟识别方法
CN112381066B (zh) * 2020-12-10 2023-04-18 杭州西奥电梯有限公司 乘梯异常行为识别方法、监测系统、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997629A (zh) * 2017-02-17 2017-08-01 北京格灵深瞳信息技术有限公司 门禁控制方法、装置及系统
CN109767527A (zh) * 2018-12-20 2019-05-17 深圳云天励飞技术有限公司 人员识别方法及相关产品

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011106622A1 (en) * 2010-02-25 2011-09-01 The Trustees Of The University Of Pennsylvania Automatic quantification of mitral valve dynamics with real-time 3d ultrasound
EP2709059B1 (en) * 2012-09-17 2014-11-05 Pie Medical Imaging BV Method and apparatus for quantitative measurements on sequences of images, particularly angiographic images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997629A (zh) * 2017-02-17 2017-08-01 北京格灵深瞳信息技术有限公司 门禁控制方法、装置及系统
CN109767527A (zh) * 2018-12-20 2019-05-17 深圳云天励飞技术有限公司 人员识别方法及相关产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于Kinect的人体行为识别研究";董珂;《中国优秀博硕士学位论文全文数据库信息科技辑》;20150715;参见正文第1-3章 *

Also Published As

Publication number Publication date
CN110533011A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN110533011B (zh) 发放传单行为的检测方法及检测系统
CN110222665B (zh) 一种基于深度学习和姿态估计的监控中人体动作识别方法
CN113516076B (zh) 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN100525395C (zh) 多摄像机下基于主轴匹配的行人跟踪方法
CN103942850A (zh) 基于视频分析和rfid技术的医护人员在岗监测方法
JP2009055139A (ja) 人物追跡システム、人物追跡装置および人物追跡プログラム
CN105022999A (zh) 一种人码伴随实时采集系统
CN105611244A (zh) 一种基于球机监控视频的机场外来异物检测方法
CN109711769B (zh) 一种用于小区的智能监控系统
CN112200044B (zh) 异常行为检测方法、装置及电子设备
CN112016528B (zh) 行为识别方法、装置、电子设备及可读存储介质
CN110688980B (zh) 基于计算机视觉的人体姿态分类方法
CN111241913A (zh) 一种检测人员摔倒的方法、装置及系统
CN102254394A (zh) 一种基于视频差异分析的输电线路杆塔防盗监控方法
CN112071084A (zh) 一种利用深度学习判断违章停车的方法和系统
CN110097724B (zh) 一种基于fpga的物品自动看护方法及系统
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
KR102305038B1 (ko) 미아 추적 서버 및 미아 추적 서버에서의 딥러닝 기반 미아 이동 경로 추적 방법
WO2022121498A1 (zh) 身份识别方法、模型训练方法、装置、设备和存储介质
CN106570440A (zh) 基于图像分析的人数统计方法和人数统计装置
CN112614260A (zh) 一种基于人脸识别和定位的智能安防系统
CN113111733B (zh) 一种基于姿态流的打架行为识别方法
CN109165597A (zh) 一种基于智慧农村ai系统的巡查方法
CN115171260A (zh) 一种基于人脸识别的智能门禁系统
CN114325573A (zh) 变电站运维人员身份及位置信息快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant