CN111783899B - 一种自主学习识别新型违禁品的方法 - Google Patents

一种自主学习识别新型违禁品的方法 Download PDF

Info

Publication number
CN111783899B
CN111783899B CN202010661798.XA CN202010661798A CN111783899B CN 111783899 B CN111783899 B CN 111783899B CN 202010661798 A CN202010661798 A CN 202010661798A CN 111783899 B CN111783899 B CN 111783899B
Authority
CN
China
Prior art keywords
contraband
novel
picture
autonomous learning
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010661798.XA
Other languages
English (en)
Other versions
CN111783899A (zh
Inventor
吴勇敢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Qixin Smart Technology Co ltd
Original Assignee
Anhui Qixin Smart Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Qixin Smart Technology Co ltd filed Critical Anhui Qixin Smart Technology Co ltd
Priority to CN202010661798.XA priority Critical patent/CN111783899B/zh
Publication of CN111783899A publication Critical patent/CN111783899A/zh
Application granted granted Critical
Publication of CN111783899B publication Critical patent/CN111783899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs

Abstract

本发明公开了一种自主学习识别新型违禁品的方法,该方法包括以下步骤:划定新型违禁品的图片p,并标注危险等级;将对应的图片p、分类n和大类S形成组合信息,并上传至自主学习初步数据集a1;根据图片p提取新型违禁品的初步特征t1;自动联网检索包括初步特征t1的相关图片,根据图片集提取和归纳新型违禁品的深层特征t2;形成自主学习深层数据集a2;按照不同的频率进行设备间自主学习深层数据集a2的共享发送和学习更新;生成新的违禁品检测模型Z。本发明提供了自主学习识别新型违禁品的方法,可以对新型违禁品进行及时标注,自动联网检索以提取深层特征,设备之间数据共享,共享发送和学习更新频率合理,非常值得推广。

Description

一种自主学习识别新型违禁品的方法
技术领域
本发明涉及违禁品识别技术领域,具体为一种自主学习识别新型违禁品的方法。
背景技术
现有技术中,申请号为“201810220068.9”的一种基于X光安检机图像的违禁品智能识别方法,包括建立用于训练的数据集;训练统一的违禁品识别模型,包括形状分类模型和颜色分类模型;利用形状分类模型检测待检测图片,输出形状检测结果;根据检测结果经过计算,输入颜色分类模型,输出颜色检测结果;使用形状检测结果和颜色检测结果,计算存在危险物的概率及位置;对比可检测危险物的模型和待检测图像,标注危险物种类并输出,该基于X光安检机图像的违禁品智能识别方法由机器智能识别代替人工实现危险物的识别,节省了人工成本,实现最大利润化。
但是,其在使用过程中,仍然存在较为明显的缺陷:上述发明不具有自主学习的功能,不能及时地将新型违禁品列为识别项目,完全依赖于人工的定期训练较为费时费力,滞后时间较久,不适用于大规模的安检场所。
发明内容
本发明的目的在于提供一种自主学习识别新型违禁品的方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种自主学习识别新型违禁品的方法,该方法包括以下步骤:
划定新型违禁品的图片p,将图片p归纳于分类n、大类S,并标注危险等级;
将对应的图片p、分类n和大类S形成组合信息,并上传至自主学习初步数据集a1;
根据图片p提取新型违禁品的初步特征t1;
自动联网检索包括初步特征t1的相关图片,生成图片集,根据图片集提取和归纳新型违禁品的深层特征t2;
将对应的新型违禁品深层特征t2上传至自主学习初步数据集a1,更新后删除图片p,形成自主学习深层数据集a2;
根据该新型违禁品的危险等级,按照不同的频率进行设备间自主学习深层数据集a2的共享发送和学习更新;
生成新的违禁品检测模型Z。
优选的,所述划定新型违禁品的图片p,将图片p归纳于分类n、大类S,并标注危险等级,具体包括:
多角度拍摄,采集包裹不同角度的拍摄照片,并关联呈现在屏幕上;
在包裹图片中划定标注框,选择裁切出新型违禁品的图片p,并进行位置、时间和危险等级的标注;
新增并命名分类n,将图片p归纳至分类n;
将分类n归纳至所属的原有大类S,或为之新建大类S。
优选的,所述将对应的图片p、分类n和大类S形成组合信息,并上传至自主学习初步数据集a1,具体包括:
将新型违禁品图片p和其所属的分类n、大类S进行信息关联,匹配生成组合信息,然后将组合信息先保存在本地设备中,再无线上传成为云端的自主学习初步数据集a1。
优选的,所述根据图片p提取新型违禁品的初步特征t1,具体包括:
对新型违禁品的图片p进行图片处理,包括图像预处理、旋转平移和边缘检测,再进行特征提取处理,包括图像渲染、特征对齐、特征参数计算和精细化处理,最终得到新型违禁品的初步特征t1。
优选的,所述自动联网检索包括初步特征t1的相关图片,生成图片集,根据图片集提取和归纳新型违禁品的深层特征t2,具体包括:
以新型违禁品的初步特征t1为必要点,自动联网检索包括初步特征t1的相关图片,生成包括有大量相关图片的图片集,再对图片集中的图片依次进行包括图像渲染、特征对齐、特征参数计算、精细化处理的特征提取处理,重新提取出现频率较高的新特征,舍弃差异较大的非普遍特征,形成新型违禁品的深层特征t2。
优选的,所述将对应的新型违禁品深层特征t2上传至自主学习初步数据集a1,更新后删除图片p,形成自主学习深层数据集a2,具体包括:
将对应的新型违禁品深层特征t2与其初步特征t1相关联,再将初步特征t1和新型违禁品的图片p相关联,将新型违禁品的图片p与自主学习初步数据集a1相关联,最后将新型违禁品深层特征t2上传至对应的自主学习初步数据集a1,更新后删除图片p,形成包括有将新型违禁品深层特征t2、分类n和大类S的自主学习深层数据集a2。
优选的,根据该新型违禁品的危险等级,按照不同的频率进行设备间自主学习深层数据集a2的共享发送和学习更新,具体包括:
在相互关联、绑定的设备之间实行数据共享,将某台设备生成的自主学习深层数据集a2无线共享发送至其他设备的接收端,发送频率根据对该新型违禁品标注的危险等级而定,新型违禁品标注的危险等级越高,发送间隔越短,即发送频率越高,危险等级越低,则发送频率也越低;
发送之后其他设备接收自主学习深层数据集a2,再根据该新型违禁品标注的危险等级确定自身的更新频率,若新型违禁品标注的危险等级越高,则更新频率也越高,危险等级越低,则更新频率也越低。
优选的,所述生成新的违禁品检测模型Z,具体包括:
自主学习后生成新的违禁品检测模型Z;
选择是否在检测任务中使用新的违禁品检测模型Z。
与现有技术相比,本发明的有益效果是:
1、本发明具有自主学习功能,可以针对安检时发现的新型违禁品进行即时标注和添加,能够根据新型违禁品的图片进行初步特征的提取,再依据初步特征自动联网检索相关图片,生成图片集,并对图片集进行深层特征的提取,最终依据深层特征对包裹是否为违禁品进行判断,效率更高;
2、本发明可以对相互关联、绑定的设备之间实行数据共享,当系统内的一个设备上增加了新型违禁品的信息后,其他设备也可以共享到这些信息,完成自主学习,从而自动扩展其安检范围,有效提高了安检自主学习的及时性和有效性,避免漏检;
3、本发明的设备间自主学习深层数据集的共享发送频率和学习更新频率是依据新型违禁品标注的危险等级而定的,新型违禁品标注的危险等级越高,共享发送频率和学习更新频率也就越高,反之则越低,从而避免了传统的定期更新导致高级危险品难以被其他设备及时更新而造成漏检,或者更新过于频繁导致对设备的处理性能要求过高,进而做到合理配置。
本发明提供了自主学习识别新型违禁品的方法,可以对新型违禁品进行及时标注,能够根据新型违禁品的初步特征自动联网检索以提取深层特征,实现关联的设备之间数据共享,共享发送和学习更新频率合理,非常值得推广。
附图说明
图1为本发明的自主学习识别新型违禁品的方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明提供一种技术方案:
一种自主学习识别新型违禁品的方法,该方法包括以下步骤:
S101、划定新型违禁品的图片p,将图片p归纳于分类n、大类S,并标注危险等级;
S102、将对应的图片p、分类n和大类S形成组合信息,并上传至自主学习初步数据集a1;
S103、根据图片p提取新型违禁品的初步特征t1;
S104、自动联网检索包括初步特征t1的相关图片,生成图片集,根据图片集提取和归纳新型违禁品的深层特征t2;
S105、将对应的新型违禁品深层特征t2上传至自主学习初步数据集a1,更新后删除图片p,形成自主学习深层数据集a2;
S106、根据该新型违禁品的危险等级,按照不同的频率进行设备间自主学习深层数据集a2的共享发送和学习更新;
S107、生成新的违禁品检测模型Z。
作为一个优选,所述划定新型违禁品的图片p,将图片p归纳于分类n、大类S,并标注危险等级,具体包括:
多角度拍摄,采集包裹不同角度的拍摄照片,并关联呈现在屏幕上;
在包裹图片中划定标注框,选择裁切出新型违禁品的图片p,并进行位置、时间和危险等级的标注;
新增并命名分类n,将图片p归纳至分类n;
将分类n归纳至所属的原有大类S,或为之新建大类S。
作为一个优选,所述将对应的图片p、分类n和大类S形成组合信息,并上传至自主学习初步数据集a1,具体包括:
将新型违禁品图片p和其所属的分类n、大类S进行信息关联,匹配生成组合信息,然后将组合信息先保存在本地设备中,再无线上传成为云端的自主学习初步数据集a1。
作为一个优选,所述根据图片p提取新型违禁品的初步特征t1,具体包括:
对新型违禁品的图片p进行图片处理,包括图像预处理、旋转平移和边缘检测,再进行特征提取处理,包括图像渲染、特征对齐、特征参数计算和精细化处理,最终得到新型违禁品的初步特征t1。
作为一个优选,所述自动联网检索包括初步特征t1的相关图片,生成图片集,根据图片集提取和归纳新型违禁品的深层特征t2,具体包括:
以新型违禁品的初步特征t1为必要点,自动联网检索包括初步特征t1的相关图片,生成包括有大量相关图片的图片集,再对图片集中的图片依次进行包括图像渲染、特征对齐、特征参数计算、精细化处理的特征提取处理,重新提取出现频率较高的新特征,舍弃差异较大的非普遍特征,形成新型违禁品的深层特征t2。
作为一个优选,所述将对应的新型违禁品深层特征t2上传至自主学习初步数据集a1,更新后删除图片p,形成自主学习深层数据集a2,具体包括:
将对应的新型违禁品深层特征t2与其初步特征t1相关联,再将初步特征t1和新型违禁品的图片p相关联,将新型违禁品的图片p与自主学习初步数据集a1相关联,最后将新型违禁品深层特征t2上传至对应的自主学习初步数据集a1,更新后删除图片p,形成包括有将新型违禁品深层特征t2、分类n和大类S的自主学习深层数据集a2。
作为一个优选,根据该新型违禁品的危险等级,按照不同的频率进行设备间自主学习深层数据集a2的共享发送和学习更新,具体包括:
在相互关联、绑定的设备之间实行数据共享,将某台设备生成的自主学习深层数据集a2无线共享发送至其他设备的接收端,发送频率根据对该新型违禁品标注的危险等级而定,新型违禁品标注的危险等级越高,发送间隔越短,即发送频率越高,危险等级越低,则发送频率也越低;
发送之后其他设备接收自主学习深层数据集a2,再根据该新型违禁品标注的危险等级确定自身的更新频率,若新型违禁品标注的危险等级越高,则更新频率也越高,危险等级越低,则更新频率也越低。
作为一个优选,所述生成新的违禁品检测模型Z,具体包括:
自主学习后生成新的违禁品检测模型Z;
选择是否在检测任务中使用新的违禁品检测模型Z。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种自主学习识别新型违禁品的方法,其特征在于:该方法包括以下步骤:
划定新型违禁品的图片p,将图片p归纳于分类n、大类S,并标注危险等级;
将对应的图片p、分类n和大类S形成组合信息,并上传至自主学习初步数据集a1;
根据图片p提取新型违禁品的初步特征t1;
自动联网检索包括初步特征t1的相关图片,生成图片集,根据图片集提取和归纳新型违禁品的深层特征t2;
将对应的新型违禁品深层特征t2上传至自主学习初步数据集a1,更新后删除图片p,形成自主学习深层数据集a2;
根据该新型违禁品的危险等级,按照不同的频率进行设备间自主学习深层数据集a2的共享发送和学习更新;
生成新的违禁品检测模型Z。
2.根据权利要求1所述的自主学习识别新型违禁品的方法,其特征在于:所述划定新型违禁品的图片p,将图片p归纳于分类n、大类S,并标注危险等级,具体包括:
多角度拍摄,采集包裹不同角度的拍摄照片,并关联呈现在屏幕上;
在包裹图片中划定标注框,选择裁切出新型违禁品的图片p,并进行位置、时间和危险等级的标注;
新增并命名分类n,将图片p归纳至分类n;
将分类n归纳至所属的原有大类S,或为之新建大类S。
3.根据权利要求1所述的自主学习识别新型违禁品的方法,其特征在于:所述将对应的图片p、分类n和大类S形成组合信息,并上传至自主学习初步数据集a1,具体包括:
将新型违禁品图片p和其所属的分类n、大类S进行信息关联,匹配生成组合信息,然后将组合信息先保存在本地设备中,再无线上传成为云端的自主学习初步数据集a1。
4.根据权利要求1所述的自主学习识别新型违禁品的方法,其特征在于:所述根据图片p提取新型违禁品的初步特征t1,具体包括:
对新型违禁品的图片p进行图片处理,包括图像预处理、旋转平移和边缘检测,再进行特征提取处理,包括图像渲染、特征对齐、特征参数计算和精细化处理,最终得到新型违禁品的初步特征t1。
5.根据权利要求1所述的自主学习识别新型违禁品的方法,其特征在于:所述自动联网检索包括初步特征t1的相关图片,生成图片集,根据图片集提取和归纳新型违禁品的深层特征t2,具体包括:
以新型违禁品的初步特征t1为必要点,自动联网检索包括初步特征t1的相关图片,生成包括有大量相关图片的图片集,再对图片集中的图片依次进行包括图像渲染、特征对齐、特征参数计算、精细化处理的特征提取处理,重新提取出现频率较高的新特征,舍弃差异较大的非普遍特征,形成新型违禁品的深层特征t2。
6.根据权利要求1所述的自主学习识别新型违禁品的方法,其特征在于:所述将对应的新型违禁品深层特征t2上传至自主学习初步数据集a1,更新后删除图片p,形成自主学习深层数据集a2,具体包括:
将对应的新型违禁品深层特征t2与其初步特征t1相关联,再将初步特征t1和新型违禁品的图片p相关联,将新型违禁品的图片p与自主学习初步数据集a1相关联,最后将新型违禁品深层特征t2上传至对应的自主学习初步数据集a1,更新后删除图片p,形成包括有将新型违禁品深层特征t2、分类n和大类S的自主学习深层数据集a2。
7.根据权利要求1所述的自主学习识别新型违禁品的方法,其特征在于:根据该新型违禁品的危险等级,按照不同的频率进行设备间自主学习深层数据集a2的共享发送和学习更新,具体包括:
在相互关联、绑定的设备之间实行数据共享,将某台设备生成的自主学习深层数据集a2无线共享发送至其他设备的接收端,发送频率根据对该新型违禁品标注的危险等级而定,新型违禁品标注的危险等级越高,发送间隔越短,即发送频率越高,危险等级越低,则发送频率也越低;
发送之后其他设备接收自主学习深层数据集a2,再根据该新型违禁品标注的危险等级确定自身的更新频率,若新型违禁品标注的危险等级越高,则更新频率也越高,危险等级越低,则更新频率也越低。
8.根据权利要求1所述的自主学习识别新型违禁品的方法,其特征在于:所述生成新的违禁品检测模型Z,具体包括:
自主学习后生成新的违禁品检测模型Z;
选择是否在检测任务中使用新的违禁品检测模型Z。
CN202010661798.XA 2020-07-10 2020-07-10 一种自主学习识别新型违禁品的方法 Active CN111783899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010661798.XA CN111783899B (zh) 2020-07-10 2020-07-10 一种自主学习识别新型违禁品的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010661798.XA CN111783899B (zh) 2020-07-10 2020-07-10 一种自主学习识别新型违禁品的方法

Publications (2)

Publication Number Publication Date
CN111783899A CN111783899A (zh) 2020-10-16
CN111783899B true CN111783899B (zh) 2023-08-15

Family

ID=72768288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010661798.XA Active CN111783899B (zh) 2020-07-10 2020-07-10 一种自主学习识别新型违禁品的方法

Country Status (1)

Country Link
CN (1) CN111783899B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712093B (zh) * 2021-01-11 2024-04-05 中国铁道科学研究院集团有限公司电子计算技术研究所 安检图像识别方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697998B1 (en) * 2000-06-12 2004-02-24 International Business Machines Corporation Automatic labeling of unlabeled text data
CN104978521A (zh) * 2014-04-10 2015-10-14 北京启明星辰信息安全技术有限公司 一种实现恶意代码标注的方法及系统
CN110110800A (zh) * 2019-05-14 2019-08-09 长沙理工大学 自动图像标注方法、装置、设备及计算机可读存储介质
CN110990617A (zh) * 2019-11-27 2020-04-10 广东智媒云图科技股份有限公司 一种图片标记方法、装置、设备及存储介质
CN111160409A (zh) * 2019-12-11 2020-05-15 浙江大学 一种基于共同特征学习的异构神经网络知识重组方法
CN111259979A (zh) * 2020-02-10 2020-06-09 大连理工大学 一种基于标签自适应策略的深度半监督图像聚类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697998B1 (en) * 2000-06-12 2004-02-24 International Business Machines Corporation Automatic labeling of unlabeled text data
CN104978521A (zh) * 2014-04-10 2015-10-14 北京启明星辰信息安全技术有限公司 一种实现恶意代码标注的方法及系统
CN110110800A (zh) * 2019-05-14 2019-08-09 长沙理工大学 自动图像标注方法、装置、设备及计算机可读存储介质
CN110990617A (zh) * 2019-11-27 2020-04-10 广东智媒云图科技股份有限公司 一种图片标记方法、装置、设备及存储介质
CN111160409A (zh) * 2019-12-11 2020-05-15 浙江大学 一种基于共同特征学习的异构神经网络知识重组方法
CN111259979A (zh) * 2020-02-10 2020-06-09 大连理工大学 一种基于标签自适应策略的深度半监督图像聚类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
社会化标注中的群体智慧涌现;项欣;祁彬斌;朱学芳;;《情报理论与实践》;第43卷(第05期);131-136+155 *

Also Published As

Publication number Publication date
CN111783899A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN106503121B (zh) 一种x光安检图像的结构化描述方法及系统
CN105740402A (zh) 数字图像的语义标签的获取方法及装置
CN103970733B (zh) 一种基于图结构的中文新词识别方法
CN111401419A (zh) 基于改进RetinaNet的员工着装规范检测方法
CN109947949A (zh) 知识信息智能管理方法、装置及服务器
CN104778258A (zh) 一种面向协议数据流的数据抽取方法
EP4155974A1 (en) Knowledge graph construction method and apparatus, check method and storage medium
US20190026553A1 (en) System and method for theme extraction
CN105334224B (zh) 自动化质量检测云平台
CN110019519A (zh) 数据处理方法、装置、存储介质和电子装置
CN105608113A (zh) 判断文本中poi数据的方法及装置
CN112613548B (zh) 基于弱监督学习的用户定制化目标检测方法、系统和存储介质
CN111783899B (zh) 一种自主学习识别新型违禁品的方法
CN111010296A (zh) 一种可配置物联网数据采集系统及配置方法
CN110609864B (zh) 一种面向化工供应链的数据可视化管理方法及装置
CN114418021B (zh) 模型优化方法、装置及计算机程序产品
CN109857878B (zh) 物品标注方法及装置、电子设备及存储介质
CN106991097A (zh) 一种识别数据的处理方法及装置
CN110851630A (zh) 一种深度学习标注样本的管理系统及方法
CN106375944A (zh) 一种基于云计算的数据采集系统
CN109492573A (zh) 一种指针读取方法及装置
CN113158891A (zh) 一种基于全局特征匹配的跨摄像头行人重识别方法
CN112015937B (zh) 一种图片地理定位方法及系统
CN114330497A (zh) 物联网设备分类的自学习方法、系统、设备及存储介质
CN103823932A (zh) 用于计算机图纸模型的数据处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant