CN111382678B - 基于改进型cnn网络的旅游观光车客流统计算法 - Google Patents
基于改进型cnn网络的旅游观光车客流统计算法 Download PDFInfo
- Publication number
- CN111382678B CN111382678B CN202010115258.1A CN202010115258A CN111382678B CN 111382678 B CN111382678 B CN 111382678B CN 202010115258 A CN202010115258 A CN 202010115258A CN 111382678 B CN111382678 B CN 111382678B
- Authority
- CN
- China
- Prior art keywords
- size
- passenger flow
- network
- cnn network
- candidate detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/14—Travel agencies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于改进型CNN网络的旅游观光车客流统计算法,通过对前沿的目标检测模型YOLOv3进行改动,在特征提取模块引入SENet结构,提出新的SE‑Darknet53网络结构,借助SENet结构的Squeeze、Excitation、Reweight三部分进一步提取图像特征通道间的相互依赖关系,增强深度神经网络的性能。此外,本发明针对旅游观光车的特殊场景,对坐于不同排的乘客在视频中对应的检测框尺寸差异较大这一特征进行挖掘,提出了尺寸敏感的非极大值抑制,并对CNN网络中特征图的不同特征通道赋予不同的权重,进一步提升乘客之间相互遮挡情况下的检测和识别精度,从而提升客流统计精度。
Description
技术领域
本发明属于视频监控技术领域,具体涉及一种基于改进型CNN网络的旅游观光车客流统计算法。
背景技术
随着人民生活的不断改善,休闲度假意识的日益提高,旅游市场的蓬勃发展,旅游观光车作为人们休闲、观光的代步工具,越来越受到广大游客的喜爱,同时由于蓄电池观光车有环保无排放、噪音低、操作简单、维护使用费用较低等特点,使用的范围越来越广。但目前在旅游领域的观光车仍然存在监管难的问题,特别是在热点旅游景区,观光车路线、站点设置、价格等都不能做到透明、规范,这些问题存在的主要原因是没有一个监管体系和有效的数据支撑路线的设计和站点的规划。
为了解决目前在旅游领域的观光车仍然存在监管难的问题,特别是在热点旅游景区,观光车路线、站点设置、价格等都不能做到透明、规范,需要一种用于景区乘坐观光车辆的人数统计方法来解决上述问题。旅游观光车作为便利游客的代步工具,是大型景区中不可缺少的一项,然而传统的旅游观光车客流统计方法都存在各自的缺点:
(1)人工统计方式:由司机进行客流统计与收费是比较常见的方式,但司机可能在疲倦的时候漏数乘客人数,也可能存在私下收费的违规行为,影响统计的准确性。
(2)红外线感应统计方式:第一,由于红外光极易受到外界因素干扰,使其统计数据产生较大误差,观光车空间开放性高,多人同时上车也容易产生漏数现象;第二,由于其本身技术原因,红外方式无法很好地判断乘客是上车还是下车。
(3)机械方式:即在观光车上下车处设置三辊闸,乘客上下车时翻滚闸口,翻滚闸滚动一次,由此记录一个上下车人员;该方式的缺点在于便利性不够,无法快速进出,因此并不适用于观光车的应用场景。
随着深度学习的蓬勃发展,计算机视觉的目标检测领域也取得了极大的进步,因此,将前沿的目标检测模型结合观光车客流统计任务的特殊性,可以更为准确地统计出观光车的实时客流情况,如尚广利等人在文献《基于深度学习的公交车客流量统计方法和系统:中国,201910347705.3[P].2019-04-28》中提出了一种基于深度学习的公交车客流量统计方法和系统,对人头进行识别与跟踪,利用了连续多帧检测到的人头信息来缓解乘客之间相互遮挡的问题。
陈劲全等人在文献《一种基于深度学习判断视频行为的监控系统和方法:中国,201810411723.9[P].2018-05-02》中提出了一种基于深度学习判断视频行为的监控系统,其算法部分基于GoogleNet模型进行改进,但并没有对旅游观光车上可能出现的乘客之间相互遮挡的问题提出专门的解决方法,因而降低了系统的精度。
发明内容
鉴于上述,本发明提供了一种基于改进型CNN网络的旅游观光车客流统计算法,能够解决传统的旅游观光车客流统计方法的缺点。
一种基于改进型CNN网络的旅游观光车客流统计算法,包括如下步骤:
(1)离线采集观光车平时运营条件下的客流视频图像,并制作样本数据集;
(2)以YOLOv3模型为基础构建改进型CNN网络;
(3)利用样本数据集对改进型CNN网络进行训练;
(4)利用训练好的CNN网络对旅游观光车的实时视频图像进行检测识别,得到乘客检测框;
(5)根据步骤(4)识别得到的乘客检测框进行客流统计。
进一步地,所述样本数据集中的每张图像需标注包含乘客肩部以上及头部在内的检测框的坐标、每个检测框所对应乘客坐于观光车的第几排、每一排检测框的尺寸均值。
进一步地,所述改进型CNN网络包括特征提取模块和多尺度预测模块,改进型CNN网络的特征提取模块为将SENet结构嵌入到YOLOv3模型的特征提取模块Darknet53网络中所得到新的网络结构SE-Darknet53。
进一步地,所述网络结构SE-Darknet53产生大小为13×13×1024的特征图,经过上采样与浅层特征图连接,输出三个不同尺寸的特征图;所述多尺度预测模块以这三个不同尺寸的特征图作为输入,分别通过三个分支对这三个不同尺寸的特征图进行预测以生成候选检测框,输出包括候选检测框的坐标值与候选检测框含有乘客的概率值。
进一步地,所述多尺度预测模块在生成候选检测框后,通过尺寸敏感的非极大值抑制算法对冗余候选检测框进行剔除。
进一步地,所述网络结构SE-Darknet53包含有多个SE-ResBlock,所述SE-ResBlock由YOLOv3模型中原有的ResNet Block结构与SENet结构串接而成,用于加深网络,显式地构建特征通道之间的相互依赖关系,扩大特征图对全局信息的感知范围。
进一步地,所述SENet结构由Squeeze、Excitation、Reweight三部分构成,用于显式地构建特征通道之间的相互依赖关系,其中:
所述Squeeze部分用于对输入特征图进行全局平均池化,将一张特征图转换为一个数;
所述Excitation部分通过两个全连接层和sigmoid函数对Squeeze部分的输出进行激活,得到每个特征通道的权重;
所述Reweight部分用于将Excitation部分得到的权重与其对应输入特征图各通道数据分别相乘后输出。
进一步地,所述非极大值抑制算法的具体实现过程为:对于多尺度预测模块识别出的候选检测框,将这些候选检测框组成集合,首先从集合中选取概率值最大的候选检测框Bm添加到最终输出列表中;然后逐一从集合中取出候选检测框进行以下判断,直至集合为空;
对于从集合中取出的任一候选检测框Bi,将Bi的尺寸与图像中每一排检测框的尺寸均值进行比较,得到与Bi尺寸最接近所对应的排序号IDi,同样的方法得到与Bm尺寸最接近所对应的排序号IDm,若IDi≠IDm,则将Bi添加到最终输出列表中;若IDi=IDm,则判定Bi与Bm属于同一排座位,进一步计算两者的交并比,若交并比大于设定的阈值,则剔除Bi,否则将Bi添加到最终输出列表中。
本发明针对旅游观光车的特殊场景,对坐于不同排的乘客在视频中对应的检测框尺寸差异较大这一特征进行挖掘,提出了尺寸敏感的非极大值抑制,并对CNN网络中特征图的不同特征通道赋予不同的权重,进一步提升乘客之间相互遮挡情况下的检测和识别精度,从而提升客流统计精度。
本发明改进型CNN网络对前沿的目标检测模型YOLOv3进行改动,在特征提取模块引入SENet结构,提出SE-Darknet53;同时,本发明在卷积网络原本提取图像空间信息的基础上,借助SENet结构的Squeeze、Excitation、Reweight三部分进一步提取图像特征通道间的相互依赖关系,增强深度神经网络的性能;此外,本发明结合SENet结构后只会增加很小的性能损耗,仍然保留了YOLOv3模型实时性好的优势。
本发明YOLOv3模型的多尺度预测模块在生成候选检测框后,通过尺寸敏感的非极大值抑制对冗余候选检测框进行剔除;这个改动基于对观光车乘客视频图像的观察,即前排乘客在视频图像中的大小要明显大于后排乘客,因此在对冗余候选检测框进行剔除时,保留大小差距明显的候选检测框。
附图说明
图1为本发明结合SENet的YOLOv3网络结构示意图。
具体实施方式
为了更为具体地描述本发明,下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
本发明基于改进型CNN网络的旅游观光车客流统计算法,包括以下步骤:
步骤1:离线采集客流视频帧样本,制作数据集,数据集除了标注乘客的检测框坐标,还需要标注乘客坐于观光车的第几排,计算得到不同排的检测框尺寸均值,假设观光车有N排座位,则得到N个均值S1,S2,…,SN。
步骤2:以YOLOv3模型为基础构建改进型CNN网络。
本发明以YOLOv3模型为基础的改进型CNN网络,可分为特征提取模块和多尺度预测模块;YOLOv3模型的特征提取模块将SENet结构嵌入到YOLOv3的特征提取模块Darknet53网络中,得到新的网络结构SE-Darknet53,由SE-ResBlock构成。
如图1所示,SE-ResBlock由SENet结构与ResNet block结构结合而成,用于加深网络,扩大特征图对全局信息的感知范围。SENet结构由Squeeze、Excitation、Reweight三部分构成,用于显式地构建了特征通道之间的相互依赖关系,其中:Squeeze部分对输入特征图进行全局平均池化,将一张特征图转换为一个数;Excitation部分通过两个全连接层和sigmoid函数对Squeeze部分的输出进行激活,得到每个特征通道的权重;Reweight部分将Excitation部分得到的权重与其对应输入特征图的通道分别相乘,得到输出。
本发明改进型CNN网络对前沿的目标检测模型YOLOv3进行改动,在特征提取模块引入SENet结构,提出SE-Darknet53;同时,本发明在卷积网络原本提取图像空间信息的基础上,借助SENet结构的Squeeze、Excitation、Reweight三部分进一步提取图像特征通道间的相互依赖关系,增强深度神经网络的性能;此外,本发明结合SENet结构后只会增加很小的性能损耗,仍然保留了YOLOv3模型实时性好的优势。
SE-Darknet53网络输出大小为13×13×1024的特征图,经过上采样与浅层特征图连接,输出三个不同尺寸的特征图;YOLOv3模型的多尺度预测模块以SE-Darknet53网络的三个不同尺寸的特征图输出为输入,分别通过三个分支对三个不同尺寸的特征图进行预测,预测输出包括候选检测框的坐标值与候选检测框含有乘客的概率。
本发明多尺度预测模块在生成候选检测框后,通过尺寸敏感的非极大值抑制对冗余候选检测框进行剔除,具体地:尺寸敏感的非极大值抑制根据置信度得分将候选检测框排序,选择得分最高的候选检测框Bm添加到最终输出列表中,将其从候选检测框集合中删除,并对候选检测框集合进行遍历:对于剩余的候选检测框Bi,首先检查Bi与Bm是否属于同一排座位,将Bi与Bm的尺寸Si和Sm与N排座位的检测框尺寸均值S1,S2,…,SN进行比较,得到分别与Sm与Si最接近的尺寸对应的排号id1和id2,判断id1和id2是否相等;若Bi与Bm属于同一排座位,则计算Bi与Bm之间的IoU,如果计算得到的IoU超过预设的IoU阈值,则从候选检测框集合中删除Bi;尺寸敏感的非极大值抑制不断重复以上过程,直到候选检测框集合为空。
本实施方式中尺寸敏感的非极大值抑制的流程伪代码如下:
多尺度预测模块在生成候选检测框后,通过尺寸敏感的非极大值抑制对冗余候选检测框进行剔除;这个改动基于对观光车乘客视频图像的观察,即前排乘客在视频图像中的大小要明显大于后排乘客,因此在对冗余候选检测框进行剔除时,保留大小差距明显的候选检测框。
步骤3:在视频帧数据集上训练改进型CNN网络。
步骤4:将训练好的改进型CNN网络对旅游观光车的实时视频进行检测识别,得到乘客检测框。
步骤5:将步骤4的识别结果进行统计。
本发明针对旅游观光车的特殊场景,对坐于不同排的乘客在视频中对应的检测框尺寸差异较大这一特征进行挖掘,提出了尺寸敏感的非极大值抑制,并对CNN网络中特征图的不同特征通道赋予不同的权重,进一步提升乘客之间相互遮挡情况下的检测和识别精度,从而提升客流统计精度。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (4)
1.一种基于改进型CNN网络的旅游观光车客流统计方法,包括如下步骤:
(1)离线采集观光车平时运营条件下的客流视频图像,并制作样本数据集;
(2)以YOLOv3模型为基础构建改进型CNN网络;
所述改进型CNN网络包括特征提取模块和多尺度预测模块,改进型CNN网络的特征提取模块为将SENet结构嵌入到YOLOv3模型的特征提取模块Darknet53网络中所得到新的网络结构SE-Darknet53;
所述网络结构SE-Darknet53产生大小为13×13×1024的特征图,经过上采样与浅层特征图连接,输出三个不同尺寸的特征图;所述多尺度预测模块以这三个不同尺寸的特征图作为输入,分别通过三个分支对这三个不同尺寸的特征图进行预测以生成候选检测框,输出包括候选检测框的坐标值与候选检测框含有乘客的概率值;
所述网络结构SE-Darknet53包含有多个SE-ResBlock,所述SE-ResBlock由YOLOv3模型中原有的ResNet Block结构与SENet结构串接而成,用于加深网络,显式地构建特征通道之间的相互依赖关系,扩大特征图对全局信息的感知范围;
所述SENet结构由Squeeze、Excitation、Reweight三部分构成,用于显式地构建特征通道之间的相互依赖关系,其中:
所述Squeeze部分用于对输入特征图进行全局平均池化,将一张特征图转换为一个数;
所述Excitation部分通过两个全连接层和sigmoid函数对Squeeze部分的输出进行激活,得到每个特征通道的权重;
所述Reweight部分用于将Excitation部分得到的权重与其对应输入特征图各通道数据分别相乘后输出;
(3)利用样本数据集对改进型CNN网络进行训练;
(4)利用训练好的CNN网络对旅游观光车的实时视频图像进行检测识别,得到乘客检测框;
(5)根据步骤(4)识别得到的乘客检测框进行客流统计。
2.根据权利要求1所述的旅游观光车客流统计方法,其特征在于:所述样本数据集中的每张图像需标注包含乘客肩部以上及头部在内的检测框的坐标、每个检测框所对应乘客坐于观光车的第几排、每一排检测框的尺寸均值。
3.根据权利要求1所述的旅游观光车客流统计方法,其特征在于:所述多尺度预测模块在生成候选检测框后,通过尺寸敏感的非极大值抑制算法对冗余候选检测框进行剔除。
4.根据权利要求3所述的旅游观光车客流统计方法,其特征在于:所述非极大值抑制算法的具体实现过程为:对于多尺度预测模块识别出的候选检测框,将这些候选检测框组成集合,首先从集合中选取概率值最大的候选检测框Bm添加到最终输出列表中;然后逐一从集合中取出候选检测框进行以下判断,直至集合为空;
对于从集合中取出的任一候选检测框Bi,将Bi的尺寸与图像中每一排检测框的尺寸均值进行比较,得到与Bi尺寸最接近所对应的排序号IDi,同样的方法得到与Bm尺寸最接近所对应的排序号IDm,若IDi≠IDm,则将Bi添加到最终输出列表中;若IDi=IDm,则判定Bi与Bm属于同一排座位,进一步计算两者的交并比,若交并比大于设定的阈值,则剔除Bi,否则将Bi添加到最终输出列表中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010115258.1A CN111382678B (zh) | 2020-02-25 | 2020-02-25 | 基于改进型cnn网络的旅游观光车客流统计算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010115258.1A CN111382678B (zh) | 2020-02-25 | 2020-02-25 | 基于改进型cnn网络的旅游观光车客流统计算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111382678A CN111382678A (zh) | 2020-07-07 |
CN111382678B true CN111382678B (zh) | 2023-04-18 |
Family
ID=71216217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010115258.1A Active CN111382678B (zh) | 2020-02-25 | 2020-02-25 | 基于改进型cnn网络的旅游观光车客流统计算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111382678B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019127273A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳市锐明技术股份有限公司 | 一种多人脸检测方法、装置、服务器、系统及存储介质 |
CN110533022A (zh) * | 2019-06-11 | 2019-12-03 | 广州海昇教育科技有限责任公司 | 一种目标检测方法、系统、装置及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109214399B (zh) * | 2018-10-12 | 2021-01-01 | 清华大学深圳研究生院 | 一种嵌入SENet结构的改进YOLOV3目标识别方法 |
CN109800770A (zh) * | 2018-12-28 | 2019-05-24 | 广州海昇计算机科技有限公司 | 一种实时目标检测的方法、系统及装置 |
CN109886082A (zh) * | 2019-01-03 | 2019-06-14 | 南京理工大学 | 一种基于ssd的小目标增强预测模块检测方法 |
CN110490252B (zh) * | 2019-08-19 | 2022-11-15 | 西安工业大学 | 一种基于深度学习的室内人数检测方法及系统 |
-
2020
- 2020-02-25 CN CN202010115258.1A patent/CN111382678B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019127273A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳市锐明技术股份有限公司 | 一种多人脸检测方法、装置、服务器、系统及存储介质 |
CN110533022A (zh) * | 2019-06-11 | 2019-12-03 | 广州海昇教育科技有限责任公司 | 一种目标检测方法、系统、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111382678A (zh) | 2020-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
CN108388888B (zh) | 一种车辆识别方法、装置和存储介质 | |
CN109447033A (zh) | 基于yolo的车辆前方障碍物检测方法 | |
CN111460919B (zh) | 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法 | |
CN107316010A (zh) | 一种识别前方车辆尾灯及判断其状态的方法 | |
CN106326893A (zh) | 一种基于区域辨别的车辆颜色识别方法 | |
CN109935080B (zh) | 一种交通线路上的车流量实时计算的监测系统及方法 | |
JP2018523234A (ja) | 乗客の混雑度の算出方法及びそのシステム | |
CN107066953A (zh) | 一种面向监控视频的车型识别、跟踪及矫正方法和装置 | |
CN111860274B (zh) | 基于头部朝向与上半身骨架特征的交警指挥手势识别方法 | |
CN105426863B (zh) | 检测车道线的方法和装置 | |
CN113420607A (zh) | 无人机多尺度目标检测识别方法 | |
CN111931683B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
CN108960074B (zh) | 基于深度学习的小尺寸行人目标检测方法 | |
CN112883820A (zh) | 基于激光雷达点云的道路目标3d检测方法及系统 | |
CN112347864A (zh) | 轨道交通客流感知及诱导方法、装置、设备和系统 | |
CN110610153A (zh) | 一种用于自动驾驶的车道识别方法及系统 | |
CN115565044A (zh) | 一种目标检测方法及系统 | |
CN113034378A (zh) | 一种区分电动汽车与燃油汽车的方法 | |
CN112749741B (zh) | 一种基于深度学习的手闸紧固故障识别方法 | |
CN114519819A (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
CN112700473B (zh) | 一种基于图像识别进行车厢拥挤度判断系统 | |
CN114038049A (zh) | 一种基于边缘计算的驾驶员行为特征提取及判别方法 | |
CN111382678B (zh) | 基于改进型cnn网络的旅游观光车客流统计算法 | |
CN117351298A (zh) | 一种基于深度学习的矿山作业车辆检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |