CN111753693A - 一种静态场景下目标检测方法 - Google Patents

一种静态场景下目标检测方法 Download PDF

Info

Publication number
CN111753693A
CN111753693A CN202010542669.9A CN202010542669A CN111753693A CN 111753693 A CN111753693 A CN 111753693A CN 202010542669 A CN202010542669 A CN 202010542669A CN 111753693 A CN111753693 A CN 111753693A
Authority
CN
China
Prior art keywords
target
boundary
image
contour
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010542669.9A
Other languages
English (en)
Other versions
CN111753693B (zh
Inventor
李继超
王召
王景成
高嵩
涂吉昌
叶强强
党康博
贺晓倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN202010542669.9A priority Critical patent/CN111753693B/zh
Publication of CN111753693A publication Critical patent/CN111753693A/zh
Application granted granted Critical
Publication of CN111753693B publication Critical patent/CN111753693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种静态场景下目标检测方法,该方法包括以下步骤:使用图像滤波手段对从摄像头的实时画面进行预处理;对降噪的图像画面进行运动目标检测;对运动目标检测的前景二值图进行轮廓检测;对轮廓检测中得到的区域进行图像分类,得到目标的种类。本发明方法提供的静态场景下目标检测方法分为运动目标检测、轮廓检测和图像分类三步,可在较高实时性下处理高分辨率图像,并能够根据目标轮廓信息计算目标的面积、运动方向以及种类。

Description

一种静态场景下目标检测方法
技术领域
本发明涉及水面环境下的漂浮物目标检测方法技术领域,尤其涉及一种静态场景下目标检测方法。
背景技术
近年来,内河工业和生活垃圾逐步增加,不少河面漂浮着塑料等生活垃圾、树枝树叶等自然垃圾或者一些水葫芦等水生生物,不仅会造成负面视觉效果、水体变质,更会影响一些水中工程设备、破坏区域经济。这些水面漂浮物通常不会被自然溶解,故清除这些漂浮物需要人工进行打捞,但是又由于这些漂浮物分布的位置和时间无规律可循,所以人工打捞需要全天监守,耗费人力物力。为了解决此问题,此类水面场景下漂浮物监测技术成为关键性技术,水面漂浮物精确实时地检测将为水面清洁时机提供指导,在物力资源等成本有限的情况下,减少人工工作量,高效改善水体质量。
现阶段,针对静态场景下目标检测的方法丰富多样,主要分为传统目标检测方法和深度学习目标检测方法。由于水面环境复杂,存在水面波纹等干扰因素,传统目标检测方法准确率较低,而深度学习目标检测方法计算量较高,难以处理高分辨率的视频图像数据,无法满足实时检测漂浮物的需求。
发明内容
本发明提供一种静态场景下目标检测方法,解决现有技术中目标检测方法准确率较低、计算量较高、难以处理高分辨率的视频图像数据、无法满足实时检测漂浮物需求的问题。
为了解决上述问题,本发明方法具体包括以下步骤:
一种静态场景下目标检测方法,包括以下步骤:
步骤(1)、获取摄像头原始画面;
步骤(2)、在所述原始画面进行图像预处理,保留感兴趣区域,完成图像降噪;
步骤(3)、对降噪的图像画面进行运动目标检测算法,分离得到前景二值图像;
步骤(4)、对所述前景二值图像进行轮廓检测,得到目标的轮廓,根据轮廓进一步得到目标位置;
步骤(5)、对所述目标位置进行图像分类,得到目标的种类;若图像分类模型未训练,则制作数据集训练图像分类模型;
步骤(6)、若种类是目标的种类,则根据其轮廓数据计算目标的面积、运动方向。
进一步的,步骤(1)所述的原始画面是指连续的视频序列,视频帧率在10帧/秒以上。
进一步的,步骤(2)所述的图像预处理是指:先提取出正方形的感兴趣区域,再采用高斯模板进行图像卷积运算完成图像降噪。
进一步的,步骤(3)所述的运动目标检测算法采用ViBe背景减除法,具体步骤如下:
Step1.初始化背景模型,使用每个像素空间邻域周围的样本随机填充背景样本集合;
Step2.通过欧几里德距离公式计算当前像素和背景像素之间的差异,如果此区域与背景样本集合的交集小于定义的阈值,则此像素点为前景像素点,显示为白色;
Step3.如果当前像素被检测为背景像素,则更新此像素对应的背景样本集合,更新策略采用随机子采样策略、无记忆更新策略和空间扩散策略。
进一步的,步骤(4)所述的轮廓检测采用边界跟踪算法,其具体步骤如下:
Step1.按从左至右、自上而下的顺序遍历图像,当搜索到边界跟踪的外边界起始点与孔边界起始点时暂停扫描;
Step2.确定新边界的父边界:根据新边界类型和最新找到的上一条边界类型,确定新边界的父边界;所述新边界类型包括外边界或者孔;
Step3.从起始点开始,跟踪找到的新边界,并依次标记边界上的点;
Step4.当整条边界的跟踪和标记完成后继续扫描下一条边界,直到遍历完整幅图像时算法结束。
进一步的,步骤(4)所述的根据轮廓进一步得到目标位置是指通过轮廓外接矩形主对角线端点的坐标表示目标的位置,其中外接矩形可以通过此轮廓边界点中的最小和最大坐标值确定。
进一步的,步骤(5)所述的图像分类是指采用GoogLeNet卷积神经网络,对目标进行分类,得到目标的种类。
进一步的,步骤(5)所述的图像分类模型训练是指通过训练集图片,训练用于目标分类的卷积神经网络模型,数据集中图像主要由以下两部分构成:
第一部分、ImageNet数据集;
第二部分、步骤(4)中对应位置截取的目标图像。
进一步的,步骤(6)所述的根据其轮廓数据计算目标的面积、运动方向是指通过轮廓所围的所有像素点个数表示目标面积,通过轮廓外接矩形对角线交点的运动方向表示目标运动方向。
本发明的有益效果如下:
本发明的目标检测方法采用运动目标检测结合卷积神经网络的方法,能够在较低计算成本下,对高分辨率(如1920×1080)的视频进行处理,有效检测目标的面积、运动方向以及种类信息;
附图说明
图1为本发明的一个实施例的框图;
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附和实施例对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
某水库上游河道采用本发明的目标检测方法,检测水面的漂浮物。
参见图1,其具体的实施步骤如下:
步骤(1)、通过高清摄像头获取水面画面,设置摄像头分辨率1920×1080,帧率12fps,系统通过RTSP协议读取摄像头实时数据。
步骤(2)在画面中截取感兴趣区域,去掉河岸等无用图像数据。再初始化高斯模板为:
Figure BDA0002539465240000031
使用此模板对图像进行卷积运算。
步骤(3)对降噪的图像使用ViBe背景减除法进行运动目标检测,主要包括以下部分:
①背景建模
ViBe的背景模型是基于非参数像素的模型,其为图像上相应位置建立一个背景模型,每个背景模型由一组样本的集合组成,公式如下式:
M(x,y)={v1,v2,v3,...vN}
式中,v表示图像上(x,y)处的像素值,M(x,y)为(x,y)的背景样本集合。
②背景模型初始化
对于每个像素点(x,y),背景样本集合M(x,y)用(x,y)的空间邻域周围的样本随机填充,这些值从第一帧图像中获取的,并假设相邻像素共享相似的时间分布,故背景估计即可从第二帧开始。如果t=0是视频第一帧图像,则此时背景模型初始化为:
M0(x,y)={v0(x,y)((x,y)|(x,y)∈NG(x,y))}
式中,NG(x,y)是像素点(x,y)的空间邻域,且N一般设置为20,即背景样本集合大小为20,点对(x,y)表示从邻域NG(x,y)随机采集的采样点,M0(x,y)的上标0表示第一次建立背景模型。
③前景检测
ViBe算法从第二帧图像开始进行前景检测,并通过欧几里德距离公式计算当前像素和背景像素之间的差异。如果当前像素v的像素值为v(x,y),记以当前像素位置为中心R为半径的区域为SR(v(x,y)),将该值与背景样本集合{v1,v2,v3,...,vN}进行比较,如果此区域与背景样本集合的交集Z大于定义的阈值Zmin,记该区域为背景像素,公式如下式:
Z=#{SR(v(x,y))∩{v1,v2,v3,...,vN}}
Figure BDA0002539465240000032
式中,G(x,y)用以标记区域是否为背景,其值为0时当前像素为背景像素,否则将其判断为前景像素。
④背景模型更新
背景模型是否更新取决于点v上的像素v(x,y)是否被检测为前景像素。如果像素v被检测为前景像素,背景样本集合不需要更新。如果像素v被检测为背景像素,则更新与像素v相对应的背景样本集合。ViBe算法使用了三种更新策略,即随机子采样策略、无记忆更新策略和空间扩散策略。
第一种、随机子采样策略
此随机策略决定更新哪些背景样本集合,背景样本集合被更新的概率由时间采样因子φ决定。当一个像素点被分类为背景点时,它有1/φ的概率去更新背景样本集合。一般情况下,时间采样因子采用16,即每16个背景像素中有1个会被选择来更新其背景样本集合。
第二种、空间扩散策略
其根据随机子采样策略随机选择邻域像素或当前像素,并更新其样本集,这样可以确保空间一致性。
第三种、无记忆更新策略
在更新背景样本集合时,从样本集合中随机选取一个样本值进行更新,背景样本集合中任何一个样本值在时刻t不被更新的概率是(N-1)/N。
步骤(4)轮廓检测方法采用边界跟踪算法,主要步骤如下:
①按从左至右、自上而下的顺序遍历图像,当搜索到边界跟踪的外边界起始点与孔边界起始点时暂停扫描。起始点的判断方法是:若I(i,j-1)=0且I(i,j)=1,则I(i,j)为外边界起始点;若I(i,j)≥1且I(i,j+1)=0,则I(i,j)为孔边界起始点。为每次新找到的边界分配唯一的ID值,此值每次增加1,记为NNBD(Number oftheborder)。
②确定新边界的父边界。可根据新边界类型(外边界或者孔)和最新找到的上一条边界类型,确定新边界的父边界。
③从起始点开始,跟踪找到的新边界,并依次标记边界上的点。设当前跟踪点为(p,q),则具体标记方法为:若I(p,q)=1且I(p,q+1)=1,则令I(p,q)=-NNBD,-NNBD表示跟踪到了边界的终止点;否则,若(p,q)不为任何已完成跟踪的边界上的点,则令I(p,q)=NNBD
④当整条边界的跟踪和标记完成后继续扫描下一条边界,直到遍历完整幅图像时算法结束。
由上述算法流程在二值图像中提取到较完整的漂浮物外轮廓,使用其外接矩形对角线上的端点的坐标表示漂浮物的位置,其中外接矩形可以通过此边界点中的最小和最大坐标值确定。
步骤(5)采用卷积神经网络GoogleNet进行图像分类,得到漂浮物的种类。首次使用图像分类前需要训练图像分类模型,采用步骤(5)对应位置的漂浮物图像以及数据集ImageNet制作训练数据集。
步骤(6)如果漂浮物的种类是目标种类,则根据步骤(5)轮廓数据计算漂浮物的面积和运动方向,漂浮物的面积就是轮廓所围的所有像素点个数,漂浮物的运动方向通过轮廓外接矩形对角线交点的运动方向确定。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。任何熟悉该技术的人在本发明所揭露的技术范围内的局部修改或替换,都应涵盖在本发明的包含范围之内。

Claims (9)

1.一种静态场景下目标检测方法,其特征在于,包括以下步骤:
步骤(1)、获取摄像头原始画面;
步骤(2)、在所述原始画面进行图像预处理,保留感兴趣区域,完成图像降噪;
步骤(3)、对降噪的图像画面进行运动目标检测算法,分离得到前景二值图像;
步骤(4)、对所述前景二值图像进行轮廓检测,得到目标的轮廓,根据轮廓进一步得到目标位置;
步骤(5)、对所述目标位置进行图像分类,得到目标的种类;若图像分类模型未训练,则制作数据集训练图像分类模型;
步骤(6)、若种类是目标的种类,则根据其轮廓数据计算目标的面积、运动方向。
2.根据权利要求1所述静态场景下目标检测方法,其特征在于,步骤(1)所述的原始画面是指连续的视频序列,视频帧率在10帧/秒以上。
3.根据权利要求书第1项所述的静态场景下目标检测方法,其特征在于,步骤(2)所述的图像预处理是指:先提取出正方形的感兴趣区域,再采用高斯模板进行图像卷积运算完成图像降噪。
4.根据权利要求1所述静态场景下目标检测方法,其特征在于,步骤(3)所述的运动目标检测算法采用ViBe背景减除法,具体步骤如下:
Step1.初始化背景模型,使用每个像素空间邻域周围的样本随机填充背景样本集合;
Step2.通过欧几里德距离公式计算当前像素和背景像素之间的差异,如果此区域与背景样本集合的交集小于定义的阈值,则此像素点为前景像素点,显示为白色;
Step3.如果当前像素被检测为背景像素,则更新此像素对应的背景样本集合,更新策略采用随机子采样策略、无记忆更新策略和空间扩散策略。
5.根据权利要求1所述静态场景下目标检测方法,其特征在于,步骤(4)所述的轮廓检测采用边界跟踪算法,其具体步骤如下:
Step1.按从左至右、自上而下的顺序遍历图像,当搜索到边界跟踪的外边界起始点与孔边界起始点时暂停扫描;
Step2.确定新边界的父边界:根据新边界类型和最新找到的上一条边界类型,确定新边界的父边界;所述新边界类型包括外边界或者孔;
Step3.从起始点开始,跟踪找到的新边界,并依次标记边界上的点;
Step4.当整条边界的跟踪和标记完成后继续扫描下一条边界,直到遍历完整幅图像时算法结束。
6.根据权利要求1所述静态场景下目标检测方法,其特征在于,步骤(4)所述的根据轮廓进一步得到目标位置是指通过轮廓外接矩形主对角线端点的坐标表示目标的位置,其中外接矩形可以通过此轮廓边界点中的最小和最大坐标值确定。
7.根据权利要求1所述静态场景下目标检测方法,其特征在于,步骤(5)所述的图像分类是指采用GoogLeNet卷积神经网络,对目标进行分类,得到目标的种类。
8.根据权利要求1所述静态场景下目标检测方法,其特征在于,步骤(5)所述的图像分类模型训练是指通过训练集图片,训练用于目标分类的卷积神经网络模型,数据集中图像主要由以下两部分构成:
第一部分、ImageNet数据集;
第二部分、步骤(4)中对应位置截取的目标图像。
9.根据权利要求1所述静态场景下目标检测方法,其特征在于,步骤(6)所述的根据其轮廓数据计算目标的面积、运动方向是指通过轮廓所围的所有像素点个数表示目标面积,通过轮廓外接矩形对角线交点的运动方向表示目标运动方向。
CN202010542669.9A 2020-06-15 2020-06-15 一种静态场景下目标检测方法 Active CN111753693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010542669.9A CN111753693B (zh) 2020-06-15 2020-06-15 一种静态场景下目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010542669.9A CN111753693B (zh) 2020-06-15 2020-06-15 一种静态场景下目标检测方法

Publications (2)

Publication Number Publication Date
CN111753693A true CN111753693A (zh) 2020-10-09
CN111753693B CN111753693B (zh) 2024-01-19

Family

ID=72676072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010542669.9A Active CN111753693B (zh) 2020-06-15 2020-06-15 一种静态场景下目标检测方法

Country Status (1)

Country Link
CN (1) CN111753693B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927262A (zh) * 2021-03-22 2021-06-08 瓴盛科技有限公司 一种基于视频的相机镜头遮挡检测方法及系统
CN113033313A (zh) * 2021-02-26 2021-06-25 澜途集思生态科技集团有限公司 基于深度学习的水质污染判断方法
CN113343932A (zh) * 2021-07-06 2021-09-03 湖南汇视威智能科技有限公司 一种静态摄像头下的河道漂浮物检测算法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273852A (zh) * 2017-06-16 2017-10-20 华南理工大学 基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
US20190034734A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated Object classification using machine learning and object tracking
CN110781721A (zh) * 2019-09-05 2020-02-11 温州视鑫科技有限公司 一种基于改进vibe算法的户外场景运动目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN107273852A (zh) * 2017-06-16 2017-10-20 华南理工大学 基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法
US20190034734A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated Object classification using machine learning and object tracking
CN110781721A (zh) * 2019-09-05 2020-02-11 温州视鑫科技有限公司 一种基于改进vibe算法的户外场景运动目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐君妍;袁址;崔宗勇;曹宗杰;: "基于帧间差分的ViBe运动目标检测", 科学技术与工程, no. 27 *
王忠民;段娜;范琳;: "融合YOLO检测与均值漂移的目标跟踪算法", 计算机工程与应用, no. 10 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033313A (zh) * 2021-02-26 2021-06-25 澜途集思生态科技集团有限公司 基于深度学习的水质污染判断方法
CN112927262A (zh) * 2021-03-22 2021-06-08 瓴盛科技有限公司 一种基于视频的相机镜头遮挡检测方法及系统
CN113343932A (zh) * 2021-07-06 2021-09-03 湖南汇视威智能科技有限公司 一种静态摄像头下的河道漂浮物检测算法

Also Published As

Publication number Publication date
CN111753693B (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
CN107045629B (zh) 一种多车道线检测方法
CN111753693B (zh) 一种静态场景下目标检测方法
CN108038883B (zh) 一种应用于公路路面视频图像的裂缝检测及识别方法
CN107886086B (zh) 一种基于图像视频的目标动物检测方法及装置
CN112232349A (zh) 模型训练方法、图像分割方法及装置
CN110517288A (zh) 基于全景多路4k视频图像的实时目标检测跟踪方法
CN111814711A (zh) 一种应用于矿井机器视觉的图像特征快速匹配方法及系统
CN102542571B (zh) 一种运动目标检测方法及装置
CN103093198B (zh) 一种人群密度监测方法及装置
CN106780560B (zh) 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法
CN108804992B (zh) 一种基于深度学习的人群统计方法
CN109712247B (zh) 基于混合现实技术的实景训练系统
CN105809715B (zh) 一种基于帧间累计变化矩阵的视觉运动目标检测方法
CN110321937B (zh) 一种Faster-RCNN结合卡尔曼滤波的运动人体跟踪方法
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN111598928B (zh) 一种基于具有语义评估和区域建议的突变运动目标跟踪方法
CN110309765B (zh) 一种视频运动目标高效检测方法
CN110992288B (zh) 一种用于矿山井筒环境下的视频图像盲去噪方法
CN110335245A (zh) 基于单目时空连续图像的网箱网衣破损监测方法及系统
CN106372598A (zh) 一种基于图像特征检测的消除视频旋转和抖动的稳像方法
CN106934819A (zh) 一种提高图像中运动物体检测精度的方法
CN106960445A (zh) 一种基于金字塔光流的云运动矢量计算方法
CN112364865A (zh) 一种复杂场景中运动小目标的检测方法
CN111652033A (zh) 基于OpenCV的车道线检测方法
CN112149495A (zh) 一种基于视差追踪的视频关键帧提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant