CN107729379B - 基于深度学习算法的特定车辆检索方法 - Google Patents

基于深度学习算法的特定车辆检索方法 Download PDF

Info

Publication number
CN107729379B
CN107729379B CN201710830793.3A CN201710830793A CN107729379B CN 107729379 B CN107729379 B CN 107729379B CN 201710830793 A CN201710830793 A CN 201710830793A CN 107729379 B CN107729379 B CN 107729379B
Authority
CN
China
Prior art keywords
retrieval
vehicle
target picture
video
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710830793.3A
Other languages
English (en)
Other versions
CN107729379A (zh
Inventor
陈长宝
杜红民
侯长生
孔晓阳
王茹川
郭振强
郧刚
王磊
王莹莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyuan Smart City Design Research Institute Co ltd
Original Assignee
Zhongyuan Smart City Design Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyuan Smart City Design Research Institute Co ltd filed Critical Zhongyuan Smart City Design Research Institute Co ltd
Priority to CN201710830793.3A priority Critical patent/CN107729379B/zh
Publication of CN107729379A publication Critical patent/CN107729379A/zh
Application granted granted Critical
Publication of CN107729379B publication Critical patent/CN107729379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习算法的特定车辆检索方法，包括用户交互系统和数据处理系统，所述特定车辆检索方法的具体步骤如下：S1，所述用户交互系统获取目标图片、待检索视频及检索参数并发送给所述数据处理系统；S2，所述数据处理系统对目标图片和待检索视频进行预处理；S3，所述数据处理系统利用深度神经网络算法和颜色直方图算法，根据目标图片对待检索视频进行检索处理，并返回检索处理结果给所述用户交互系统；S4，所述用户交互系统将所述检索处理结果进行可视化操作。

Description

基于深度学习算法的特定车辆检索方法
技术领域
本发明涉及一种车辆检索方法，具体的说，涉及了一种基于深度学习算法的特定车辆检索方法。
背景技术
随着我国经济的快速发展，各种类型的车辆越来越多，交通事故的发生也越来越频繁。因此，对特定车辆的监控可以降低交通事故的发生率并能对肇事车辆进行跟踪。
目前对车辆的检索一般是依赖于支持向量机(SVM)对车牌的检索。此方法会在数据库中检索所识别的车牌号码。该方法依赖于高分辨率的摄像头和摄像头的特定角度，对其它角度和低分辨率的视频是无法检索的。所以本发明将要实现一种与拍摄角度和分辨率无关的车辆检索技术。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足，从而提供了一种基于深度学习算法的特定车辆检索方法，适用于各种角度和分辨率的视频的车辆检索。
为了实现上述目的，本发明所采用的技术方案是：一种基于深度学习算法的特定车辆检索方法，包括用户交互系统和数据处理系统，所述特定车辆检索方法的具体步骤如下：
S1，所述用户交互系统获取目标图片、待检索视频及检索参数并发送给所述数据处理系统；
S2，所述数据处理系统对目标图片和待检索视频进行预处理；
S3，所述数据处理系统利用深度神经网络算法和颜色直方图算法，根据目标图片对待检索视频进行检索处理，并返回检索处理结果给所述用户交互系统；
S4，所述用户交互系统将所述检索处理结果进行可视化操作。
基于上述，S1中所述用户交互系统和所述数据处理系统的结构为B/S结构、C/S结构或单机结构，所述检索参数包括目标车辆的车型、类别，以及各个关键帧的时间间隔。
基于上述，S2中对目标图片和待检索视频进行预处理的步骤包括：
S21，对目标图片进行图像增强处理和缩放处理；
S22，将待检索视频转化成序列化的图片；
S23，根据所述检索参数从序列化的图片中提取出多个关键帧；
S24，对多个关键帧进行图像增强处理和缩放处理。
基于上述，S3的具体步骤为：
S31，利用深度神经网络对多个关键帧进行检索获得车辆标定框，并获得所述车辆标定框中候选车辆与各个车型类别的神经网络置信度评分α；
S32，利用目标图片的颜色直方图与多个关键帧的颜色直方图进行匹配获得颜色评分β；
S33，对每一个关键帧的α评分和β评分进行求加权平均值γ，
Figure GDA0002680585990000021
其中，X和Y为预设超参数权值X和预设超参数权值Y；
S34，对加权平均值γ由高到低进行排序，获得目标图片依据可信度排序的检索结果。
基于上述，S31中的所述车辆标定框为深度神经网络通过识别关键帧获得的候选目标框，所述车辆标定框内包含由深度神经网络提取出的候选车辆。
基于上述，步骤S31中所述神经网络置信度评分α的获取方法如下：
S311，将每个关键帧转换成RGB数值矩阵；
S312，依据RGB数值矩阵对训练好的深度神经网络进行前向传播，获得所述车辆标定框，并计算所述车辆标定框中的候选车辆与各个车型类别的置信度评分；
S313，选取置信度评分最高的类别与所述检索参数进行比对，若匹配，则令置信度评分为神经网络置信度评分α。
基于上述，步骤S32中所述颜色评分β的获取方法如下：
S321，依据所述车辆标定框对每个关键帧进行剪裁获得图片i；
S322，分别生成图片i和目标图片的颜色直方图；
S323，采用Correlation相关系数进行颜色直方图匹配，获得颜色评分β。
基于上述，S34中对加权平均值γ由高到低进行排序的方法如下：
S341，将加权平均值γ与相对应的关键帧组成Key-Value Pair(键值对)；
S342，将组成的Key-Value Pair数据放入红黑树进行排序；
S343，将红黑树按降序输出，获得有序结果序列。
基于上述，S4中可视化方法具体如下：
S41，从所述数据处理系统中获取所述有序结果序列；
S42，提取所述有序结果序列中排名前N的结果所对应的关键帧；
S43，显示该N个关键帧的监控视频。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明包括二个部分：数据处理系统和用户交互系统；前者通过将从用户交互系统中获得的待检测视频和目标图片进行预处理，再创新性地使用深度神经网络和处理数据来获取特定车辆在视频中出现的单个或多个关键帧，从而达到处理数据的目的；后者通过桌面应用和网页等形式从用户处获得监控视频和目标车辆的图片，然后传送至数据处理系统进行处理，待数据处理完毕后，数据处理系统再将特定车辆的位置传送给用户交互系统，用户交互系统再将处理结果以多种数据可视化方式进行呈现采用深度学习算法和颜色直方图匹配算法，解决了多个角度和低分辨率下视频的检索问题，而且根据用户选择的时间间隔可以达到实时检索的效果，若用户选择了一秒提取一个关键帧，则处理速度可缩短到视频时长的10％。
附图说明
图1是本发明的流程示意图。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
如图1所示，一种基于深度学习算法的特定车辆检索方法，包括用户交互系统和数据处理系统，所述用户交互系统和所述数据处理系统的架构为B/S结构、C/S结构或单机结构，所述特定车辆检索方法的具体步骤如下：
S1，所述用户交互系统获取目标图片、待检索视频及检索参数并发送给所述数据处理系统，所述检索参数包括目标车辆的车型、类别，以及各个关键帧的时间间隔；
S2，所述数据处理系统对目标图片和待检索视频进行预处理；
S3，所述数据处理系统利用深度神经网络算法和颜色直方图算法，根据目标图片对待检索视频进行检索处理，并返回检索处理结果给所述用户交互系统；
S4，所述用户交互系统将所述检索处理结果进行可视化操作。
基于上述，S1中所述用户交互系统获取目标图片、待检索视频及检索参数的手段与所述用户交互系统和所述数据处理系统的架构有关；
当所述用户交互系统和所述数据处理系统为B/S架构(Browser/Server，浏览器/服务器)时，所述用户交互系统和所述数据处理系统都运行在服务器上。用户可以通过在终端上访问网页来生成任务并获取目标图片、待检索视频及检索参数；
当所述用户交互系统和所述数据处理系统为C/S架构(Client/Server，客户端/服务器)时，所述用户交互系统运行在客户端上，所述数据处理系统运行在服务器上。用户在所述用户交互系统上生成任务后，借由网络将任务传递给服务器，同样通过网络从服务器获取处理结果，并通过所述用户交互系统在客户机上进行处理结果的数据可视化。
当所述用户交互系统和所述数据处理系统为单机架构时，所述用户交互系统和所述数据处理系统都运行在单个计算机上，用户需要直接使用该计算机来生成任务和获取结果。
具体的，S2中对目标图片和待检索视频进行预处理的步骤包括：
S21，对目标图片进行图像增强处理和缩放处理；
S22，将待检索视频转化成序列化的图片；
S23，根据所述检索参数从序列化的图片中提取出多个关键帧；
S24，对多个关键帧进行图像增强处理和缩放处理。
具体的，S3的具体步骤为：
S31，利用深度神经网络对多个关键帧进行检索获得车辆标定框，并获得所述车辆标定框中候选车辆与各个车型类别的神经网络置信度评分α；
其中，所述车辆标定框为深度神经网络通过识别关键帧获得的候选目标框，所述车辆标定框内包含由深度神经网络提取出的候选车辆；
所述神经网络置信度评分α的获取方法如下：
S311，将每个关键帧转换成RGB数值矩阵；
S312，依据RGB数值矩阵对训练好的深度神经网络进行前向传播，获得所述车辆标定框，并计算所述车辆标定框中的候选车辆与各个车型类别的置信度评分；
S313，选取置信度评分最高的类别与所述检索参数进行比对，若匹配，则令置信度评分为神经网络置信度评分α；
S32，利用目标图片的颜色直方图与多个关键帧的颜色直方图进行匹配获得颜色评分β；
所述颜色评分β的获取方法如下：
S321，依据所述车辆标定框对每个关键帧进行剪裁获得图片i；
S322，分别生成图片i和目标图片的颜色直方图；
S323，采用Correlation相关系数进行颜色直方图匹配，获得颜色评分β；
S33，对每一个关键帧的α评分和β评分进行求加权平均值γ，
Figure GDA0002680585990000061
其中，X和Y为预设超参数权值X和预设超参数权值Y；X推荐范围为1～0.5，Y推荐范围为3～1.5，因为基于颜色直方图匹配的准确度很高而深度神经网络的准确度较低一些，所以权值Y高于权值X；
S34，对加权平均值γ由高到低进行排序，获得目标图片依据可信度排序的检索结果；
对加权平均值γ由高到低进行排序的方法如下：
S341，将加权平均值γ与相对应的关键帧组成Key-Value Pair(键值对)；
S342，将组成的Key-Value Pair数据放入红黑树进行排序；
S343，将红黑树按降序输出，获得有序结果序列。
具体的，S4中可视化方法具体如下：
S41，从所述数据处理系统中获取所述有序结果序列；
S42，提取所述有序结果序列中排名前N的结果所对应的关键帧；优选的，N为10；
S43，显示该N个关键帧的监控视频。
在本实施例中，如图1所示，所述用户交互系统和所述数据处理系统为B/S架构(Browser/Server，浏览器/服务器)，N为10；所述特定车辆检索方法步骤为：
(a)网页前端通过网页表单提交的形式向服务器后端提交所述检测参数、所述目标图片和所述待检测视频；
(b)由服务器后端将时间作为种子生成唯一的UUID发送给所述数据处理系统，所述UUID为该次检索任务的任务标识；
(c)所述数据处理系统利用深度神经网络算法和颜色直方图算法，根据目标图片对待检索视频进行检索处理，将检索处理结果存放在携带有UUID的文本文件中，并将该文本文件返回给服务器后端；
(d)服务器后段通过Ajax的方式向网页前端返回所述UUID，当所述用户交互系统中的网页前端向服务器后端发送带有UUID的请求时，服务器后端直接读取带有UUID的文本文档通过Ajax的方式向网页前端返回检索结果；
(e)网页前端选取排名前10的有序结果，并根据这10个有序结果所对应的关键帧生成预览图片；
(f)用户点击预览图片，待检测视频会跳转到关键帧位置播放。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (6)

1.一种基于深度学习算法的特定车辆检索方法，包括用户交互系统和数据处理系统，其特征在于：
S1，所述用户交互系统获取目标图片、待检索视频及检索参数并发送给所述数据处理系统；
S2，所述数据处理系统对目标图片和待检索视频进行预处理；
S3，所述数据处理系统利用深度神经网络算法和颜色直方图算法，根据目标图片对待检索视频进行检索处理，并返回检索处理结果给所述用户交互系统；
S31，利用深度神经网络对多个关键帧进行检索获得车辆标定框，并获得所述车辆标定框中候选车辆与各个车型类别的神经网络置信度评分α；其中，所述车辆标定框为深度神经网络通过识别关键帧获得的候选目标框，所述车辆标定框内包含由深度神经网络提取出的候选车辆；
所述神经网络置信度评分α的获取方法如下：
S311，将每个关键帧转换成RGB数值矩阵；
S312，依据RGB数值矩阵对训练好的深度神经网络进行前向传播，获得所述车辆标定框，并计算所述车辆标定框中的候选车辆与各个车型类别的置信度评分；
S313，选取置信度评分最高的类别与所述检索参数进行比对，若匹配，则令置信度评分为神经网络置信度评分α；
S32，利用目标图片的颜色直方图与多个关键帧的颜色直方图进行匹配获得颜色评分β；
S33，对每一个关键帧的α评分和β评分进行求加权平均值γ，
Figure FDA0002680585980000011
其中，X和Y为预设超参数权值X和预设超参数权值Y；
S34，对加权平均值γ由高到低进行排序，获得目标图片依据可信度排序的检索结果；
S4，所述用户交互系统将所述检索处理结果进行可视化操作。
2.根据权利要求1所述的基于深度学习算法的特定车辆检索方法，其特征在于：S1中所述用户交互系统和所述数据处理系统的结构为B/S结构、C/S结构或单机结构，所述检索参数包括目标车辆的车型、类别，以及各个关键帧的时间间隔。
3.根据权利要求1所述的基于深度学习算法的特定车辆检索方法，其特征在于，S2中对目标图片和待检索视频进行预处理的步骤包括：
S21，对目标图片进行图像增强处理和缩放处理；
S22，将待检索视频转化成序列化的图片；
S23，根据所述检索参数从序列化的图片中提取出多个关键帧；
S24，对多个关键帧进行图像增强处理和缩放处理。
4.根据权利要求1所述的基于深度学习算法的特定车辆检索方法，其特征在于，步骤S32中所述颜色评分β的获取方法如下：
S321，依据所述车辆标定框对每个关键帧进行剪裁获得图片i；
S322，分别生成图片i和目标图片的颜色直方图；
S323，采用Correlation相关系数进行颜色直方图匹配，获得颜色评分β。
5.根据权利要求1所述的基于深度学习算法的特定车辆检索方法，其特征在于，S34中对加权平均值γ由高到低进行排序的方法如下：
S341，将加权平均值γ与相对应的关键帧组成Key-Value Pair；
S342，将组成的Key-Value Pair数据放入红黑树进行排序；
S343，将红黑树按降序输出，获得有序结果序列。
6.根据权利要求5所述的基于深度学习算法的特定车辆检索方法，其特征在于，S4中可视化方法具体如下：
S41，从所述数据处理系统中获取所述有序结果序列；
S42，提取所述有序结果序列中排名前N的结果所对应的关键帧；
S43，显示该N个关键帧的监控视频。
CN201710830793.3A 2017-09-15 2017-09-15 基于深度学习算法的特定车辆检索方法 Active CN107729379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710830793.3A CN107729379B (zh) 2017-09-15 2017-09-15 基于深度学习算法的特定车辆检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710830793.3A CN107729379B (zh) 2017-09-15 2017-09-15 基于深度学习算法的特定车辆检索方法

Publications (2)

Publication Number Publication Date
CN107729379A CN107729379A (zh) 2018-02-23
CN107729379B true CN107729379B (zh) 2021-01-12

Family

ID=61206348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710830793.3A Active CN107729379B (zh) 2017-09-15 2017-09-15 基于深度学习算法的特定车辆检索方法

Country Status (1)

Country Link
CN (1) CN107729379B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064434B (zh) * 2018-06-28 2021-01-08 广州视源电子科技股份有限公司 图像增强的方法、装置、存储介质及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4947185B2 (ja) * 2003-12-25 2012-06-06 富士通株式会社 車両検索システムおよび車両検索方法
CN104866616A (zh) * 2015-06-07 2015-08-26 中科院成都信息技术股份有限公司 监控视频目标搜索方法
CN105808732A (zh) * 2016-03-10 2016-07-27 北京大学 一种基于深度度量学习的一体化目标属性识别与精确检索方法
CN106776856A (zh) * 2016-11-29 2017-05-31 江南大学 一种融合颜色特征与词汇树的车辆图像检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4947185B2 (ja) * 2003-12-25 2012-06-06 富士通株式会社 車両検索システムおよび車両検索方法
CN104866616A (zh) * 2015-06-07 2015-08-26 中科院成都信息技术股份有限公司 监控视频目标搜索方法
CN105808732A (zh) * 2016-03-10 2016-07-27 北京大学 一种基于深度度量学习的一体化目标属性识别与精确检索方法
CN106776856A (zh) * 2016-11-29 2017-05-31 江南大学 一种融合颜色特征与词汇树的车辆图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《全局及其个性化区域特征的图像检索》;段娜 等;《计算机科学》;20161130;第43卷(第11A期);第205-207、246页 *

Also Published As

Publication number Publication date
CN107729379A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
Sindagi et al. Jhu-crowd++: Large-scale crowd counting dataset and a benchmark method
JP6397144B2 (ja) 画像からの事業発見
US8401254B2 (en) Image search device and image search method
US20120123976A1 (en) Object-Sensitive Image Search
EP2894577B1 (en) Retrieving system, retrieving method, and security inspection device based on contents of fluoroscopic images
CN105389562A (zh) 一种时空约束的监控视频行人重识别结果的二次优化方法
TWI586160B (zh) 利用行動電話及雲端可視化搜尋引擎之即時物體掃描
CN108229289B (zh) 目标检索方法、装置和电子设备
JP6787831B2 (ja) 検索結果による学習が可能な対象検出装置、検出モデル生成装置、プログラム及び方法
Grigorev et al. Deep person re-identification in UAV images
CN113377984A (zh) 一种基于数据库的人脸搜索方法
CN109117771A (zh) 一种基于锚节点的图像中暴力事件检测系统及方法
Xu et al. HSS-GCN: A hierarchical spatial structural graph convolutional network for vehicle re-identification
CN107729379B (zh) 基于深度学习算法的特定车辆检索方法
Zhang et al. Attention-aware scoring learning for person re-identification
CN115188066A (zh) 基于协同注意力和多尺度融合的运动目标检测系统及方法
KR101170676B1 (ko) 얼굴 인식 기반의 얼굴 검색 시스템 및 그 방법
CN107563327B (zh) 一种基于自步反馈的行人重识别方法及系统
US20230196558A1 (en) Medicine image recognition method, electronic device and readable storage medium
Rodin et al. Fast glare detection in document images
Singh et al. Chaotic whale-atom search optimization-based deep stacked auto encoder for crowd behaviour recognition
Abdallah et al. Multilevel deep learning-based processing for lifelog image retrieval enhancement
Bhavani Automated Attendance System and Voice Assistance using Face Recognition
Castelblanco et al. Methodology for mammal classification in camera trap images
GB2608803A (en) A video processing apparatus, method and computer program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant