CN113723454A - 一种改进的鲁棒主成分分析的运动目标检测方法 - Google Patents

一种改进的鲁棒主成分分析的运动目标检测方法 Download PDF

Info

Publication number
CN113723454A
CN113723454A CN202110829253.XA CN202110829253A CN113723454A CN 113723454 A CN113723454 A CN 113723454A CN 202110829253 A CN202110829253 A CN 202110829253A CN 113723454 A CN113723454 A CN 113723454A
Authority
CN
China
Prior art keywords
matrix
moving object
principal component
component analysis
theta
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110829253.XA
Other languages
English (en)
Other versions
CN113723454B (zh
Inventor
杨永鹏
吴宇豪
李建林
杨真真
乐俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing College of Information Technology
Original Assignee
Nanjing College of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing College of Information Technology filed Critical Nanjing College of Information Technology
Priority to CN202110829253.XA priority Critical patent/CN113723454B/zh
Publication of CN113723454A publication Critical patent/CN113723454A/zh
Application granted granted Critical
Publication of CN113723454B publication Critical patent/CN113723454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种改进的鲁棒主成分分析的运动目标检测方法,包括:S1,基于改进的鲁棒主成分分析方法构建运动目标检测模型;S2,将待处理视频转换成对应的观测矩阵,采用交替方向乘子法求解运动目标检测模型,提取对应视频中处于运动状态的前景目标,并计算检测该运动目标时的F‑measure值和时间值,对运动目标检测模型进行验证。本发明同时采用非凸γ范数和拉普拉斯尺度混合尺度,以更好地逼近传统鲁棒主成分分析模型中的秩函数和稀疏度函数;引入的显著性映射矩阵更能有效的判别哪些像素属于运动目标部分,对运动目标检测的效果更优。

Description

一种改进的鲁棒主成分分析的运动目标检测方法
技术领域
本发明涉及技术领域,具体而言涉及一种改进的鲁棒主成分分析的运动目标检测方法。
背景技术
运动目标检测一直是计算机视觉领域的重要课题。传统的运动目标检测技术包括高斯混合模型法、ViBe法、光流法和主成分分析法等,但是这些方法是针对单像素的,较少考虑运动场景的结构化信息等其他关键因素。为了解决此类问题,人们将主成分分析方法引入到运动目标检测中并取得了较好的效果,但是该类方法是针对背景建模的,对于腐蚀严重的场景的运动目标检测的效果较差。在此背景下,鲁棒主成分分析方法被研究并应用于运动目标检测中,例如主成分追踪算法等,但是此类算法是一个有偏估计,非最优,所以对于一些特定的场景的运动目标检测效果欠佳,例如存在树枝摇曳,水纹波动等的场景。在此背景下,逼近程度高的非凸函数被引入到鲁棒主成分分析模型中,并取得了较好的效果,例如截断核范数方法、去分解方法、非凸非光滑的低秩稀疏方法等。
公开号为CN111428795A的发明中公开了一种改进的非凸鲁棒主成分分析方法,将待处理视频转化为一个大小为m行,n列的二维矩阵D;将二维矩阵D输入至预先构建的改进的非凸鲁棒主成分分析方法的模型,输出为对应于视频背景的低秩矩阵B和对应于视频前景的稀疏矩阵F,所述改进的非凸鲁棒主成分分析方法的模型采用广义非凸核范数作为模型的秩函数,采用结构化稀疏范数作为模型中的10范数。该发明能够更好的逼近传统鲁棒主成分分析方法中的秩函数,提高了鲁棒主成分分析方法在视频的前背景分离中的效果;引入结构化稀疏范数,为视频的前景建立了结构化的稀疏模型,极大的丰富了模型的结构化信息,提高了鲁棒主成分分析方法对光照、波动等因素影响的视频的前背景分离的效果。但仍然缺乏对运动目标的深层次分析效果。
发明内容
本发明针对现有技术中的不足,提供一种改进的鲁棒主成分分析的运动目标检测方法,同时采用非凸γ范数和拉普拉斯尺度混合尺度,以更好地逼近传统鲁棒主成分分析模型中的秩函数和稀疏度函数;引入的显著性映射矩阵更能有效的判别哪些像素属于运动目标部分,对运动目标检测的效果更优。
为实现上述目的,本发明采用以下技术方案:
第一方面,本发明实施例提出了一种改进的鲁棒主成分分析的运动目标检测方法,所述检测方法包括以下步骤:
S1,基于改进的鲁棒主成分分析方法构建运动目标检测模型:
Figure BDA0003173211600000011
Figure BDA0003173211600000012
其中D视频对应的观测矩阵,L∈Rm×n为观测矩阵中对应的低秩背景矩阵,||L||γ为矩阵L的γ范数,j=1,2,…,mn,Ψj是尺度为1的拉普拉斯分布,Θj是一个正随机变量,ξ是一个极小的正数,W是显著性映射矩阵,Ψ=[ψ1,ψ2,…,ψmn],Θ=[Θ1,Θ2,…,Θmn];m和n分别是观测矩阵的行数和列数;
S2,将待处理视频转换成对应的观测矩阵,采用交替方向乘子法求解运动目标检测模型,提取对应视频中处于运动状态的前景目标,并计算检测该运动目标时的F-measure值和时间值,对运动目标检测模型进行验证。
可选地,所述运动目标检测模型对应的增广拉格朗日函数为:
Figure BDA0003173211600000021
式中,μ>0是惩罚因子,Y是拉格朗日乘子,<,>是矩阵内积,||·||F为Frobenius范数。可选地,步骤S2中,采用交替方向乘子法求解运动目标检测模型的过程包括以下步骤:
S21,固定变量Ψ、Θ、Y和μ,计算得到第k+1步的矩阵变量Lk+1为:
Figure BDA0003173211600000022
式中,μk是惩罚参数μ的第k步的值,Yk是第k步的增广拉格朗日乘子,Ψk是Ψ的第k步的值,Θk是Θ第k步的值;
S22,固定变量L、Ψ、Y和μ,计算得到第k+1步的矩阵变量Θk+1
Figure BDA0003173211600000023
最终得到:
Figure BDA0003173211600000031
其中,Θj,1、Θj,2分别为f(Θj)的两个驻点:
Figure BDA0003173211600000032
式中,
Figure BDA0003173211600000033
ξ是一个极小的正数,
Figure BDA0003173211600000034
是第k步矩阵Ψk的第j个标量元素Ψj的取值,
Figure BDA0003173211600000035
是第k+1步矩阵Lk+1的第j个标量元素的取值,
Figure BDA0003173211600000036
是第k步矩阵Yk的第j个标量元素的取值,Dj是矩阵D的第j个标量元素的取值,
S23,固定变量L、Θ、Y和μ,计算得到第k+1步的矩阵变量Ψk+1
Figure BDA0003173211600000037
最终得到:
Figure BDA0003173211600000038
式中,
Figure BDA0003173211600000039
为软阈值收缩算子;
S24,固定其它变量,更新乘子变量Y及其惩罚参数μ进行更新,计算得到第k+1步的增广拉格朗日乘子:
Figure BDA00031732116000000310
μk+1=min(ρμk,μmax)
式中,ρ>1是步长因子;μmax是惩罚参数μ的最大值。
可选地,步骤S21中,采用凸差分方法求解得到矩阵变量Lk+1
可选地,步骤S22中,将矩阵变量Θk+1的求解问题转换为求解矩阵Θk+1的每个标量元素
Figure BDA0003173211600000041
的最小值问题,即:
Figure BDA0003173211600000042
其中
Figure BDA0003173211600000043
通过
Figure BDA0003173211600000044
求解每个标量元素θi的最小值问题,其中f(Θj)是相应的目标函数,最终得到:
Figure BDA0003173211600000045
其中,Θj,1、Θj,2分别为f(Θj)的两个驻点:
Figure BDA0003173211600000046
可选地,步骤S23中,将矩阵变量Ψk+1的求解问题转换为求解矩阵Ψk+1的每个标量元素
Figure BDA0003173211600000047
的最小值问题,即:
Figure BDA0003173211600000048
最终得到:
Figure BDA0003173211600000051
其中
Figure BDA0003173211600000052
为软阈值收缩算子。
本发明提出了一种改进的鲁棒主成分分析的运动目标检测系统,该方法分别采用非凸γ范数和拉普拉斯尺度混合尺度分别逼近传统鲁棒主成分分析模型中的秩函数和稀疏度函数,同时将显著性映射矩阵引入到该模型中,采用交替方向乘子法对其求解。最后,将该方法应用到运动目标检测实验中,进一步证明本文提出算法的有效性和优越性。
附图说明
图1是本发明实施例的改进的鲁棒主成分分析的运动目标检测方法流程图。
图2是本发明实施例的检测方法和其他现有检测方法提取的运动目标视觉对比图。
图3是本发明实施例的检测方法和其他现有检测方法提取运动目标对应的量化的F-measure值比对结果示意图。
图4是本发明实施例的检测方法和其他现有检测方法提取运动目标对应的量化的运行时间值对比结果示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是,发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
图1是本发明实施例的改进的鲁棒主成分分析的运动目标检测方法流程图。参见图1,该检测方法包括以下步骤:
S1,基于改进的鲁棒主成分分析方法构建运动目标检测模型:
Figure BDA0003173211600000053
Figure BDA0003173211600000054
其中D视频对应的观测矩阵,L∈Rm×n为观测矩阵中对应的低秩背景矩阵,||L||γ为矩阵L的γ范数,j=1,2,…,mn,Ψj是尺度为1的拉普拉斯分布,Θj是一个正随机变量,ξ是一个极小的正数,W是显著性映射矩阵,Ψ=[ψ1,Ψ2,…,ψmn],Θ=[Θ1,Θ2,…,Θmn]。
S2,将待处理视频转换成对应的观测矩阵,采用交替方向乘子法求解运动目标检测模型,提取对应视频中处于运动状态的前景目标,并计算检测该运动目标时的F-measure值和时间值,对运动目标检测模型进行验证。
可选地,所述运动目标检测模型对应的增广拉格朗日函数为:
Figure BDA0003173211600000061
式中,μ>0是惩罚因子,Y是拉格朗日乘子,<,>是矩阵内积。
可选地,步骤S2中,采用交替方向乘子法求解运动目标检测模型的过程包括以下步骤:
S21,固定变量Ψ、Θ、Y和μ,计算得到矩阵变量Lk+1为:
Figure BDA0003173211600000062
示例性地,采用凸差分方法对上式进行求解,得到矩阵变量Lk+1
S22,固定变量L、Ψ、Y和μ,计算得到矩阵变量Θk+1
Figure BDA0003173211600000063
示例性地,将矩阵变量Θk+1的求解问题转换为求解矩阵Θk+1的每个标量元素
Figure BDA0003173211600000064
的最小值问题,即:
Figure BDA0003173211600000065
其中
Figure BDA0003173211600000066
通过
Figure BDA0003173211600000067
求解每个标量元素θi的最小值问题,其中f(Θj)是相应的目标函数,最终得到:
Figure BDA0003173211600000068
其中,Θj,1、Θj,2分别为f(Θj)的两个驻点:
Figure BDA0003173211600000071
S23,固定变量L、Θ、Y和μ,计算得到矩阵变量Ψk+1
Figure BDA0003173211600000072
示例性地,将矩阵变量Ψk+1的求解问题转换为求解矩阵Ψk+1的每个标量元素
Figure BDA0003173211600000073
的最小值问题,即:
Figure BDA0003173211600000074
最终得到:
Figure BDA0003173211600000075
式中,
Figure BDA0003173211600000076
为软阈值收缩算子。
S24,固定其它变量,更新乘子变量Y及其惩罚参数μ进行更新,计算得到:
Figure BDA0003173211600000077
μk+1=min(ρμk,μmax)
式中,p>1是步长因子。
本实施例提供一种改进的鲁棒主成分分析的运动目标检测方法,基于改进的鲁棒主成分分析方法构建运动目标检测模型,并采用交替方向乘子法求解运动目标检测模型,该运动目标检测模型将提出的改进的鲁棒主成分分析方法对运动目标进行检测,提取出对应视频中的运动的前景目标。图2是本发明实施例的检测方法和其他现有检测方法提取的运动目标视觉对比图,从视觉角度对比凸显本实施例提出的基于改进的鲁棒主成分分析方法构建的运动目标检测模型的优越效果。参见图3和图4,在实验过程中计算采用提出的改进的鲁棒主成分分析方法对运动目标进行检测时的F-measure值和时间值,从量化角度直观凸显本实施例公开的运动目标检测模型相比现有技术具有更加优越的检测效果。这也使得本实施例可以随时定量验证运动目标检测模型的有效性,进而反哺模型求解过程。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。

Claims (6)

1.一种改进的鲁棒主成分分析的运动目标检测方法,其特征在于,所述检测方法包括以下步骤:
S1,基于改进的鲁棒主成分分析方法构建运动目标检测模型:
Figure FDA0003173211590000011
Figure FDA0003173211590000012
其中D视频对应的观测矩阵,L∈Rm×n为观测矩阵中对应的低秩背景矩阵,||L||γ为矩阵L的γ范数,j=1,2,…,mn,Ψj是尺度为1的拉普拉斯分布,Θj是一个正随机变量,ξ是一个极小的正数,W是显著性映射矩阵,Ψ=[ψ1,ψ2,…,ψmn],Θ=[Θ1,Θ2,…,Θmn];m和n分别是观测矩阵的行数和列数;
S2,将待处理视频转换成对应的观测矩阵,采用交替方向乘子法求解运动目标检测模型,提取对应视频中处于运动状态的前景目标,并计算检测该运动目标时的F-measure值和时间值,对运动目标检测模型进行验证。
2.根据权利要求1所述的改进的鲁棒主成分分析的运动目标检测方法,其特征在于,所述运动目标检测模型对应的增广拉格朗日函数为:
Figure FDA0003173211590000013
式中,μ>0是惩罚因子,Y是拉格朗日乘子,<,>是矩阵内积,||·||F为Frobenius范数。
3.根据权利要求2所述的改进的鲁棒主成分分析的运动目标检测方法,其特征在于,步骤S2中,采用交替方向乘子法求解运动目标检测模型的过程包括以下步骤:
S21,固定变量Ψ、Θ、Y和μ,计算得到第k+1步的矩阵变量Lk+1为:
Figure FDA0003173211590000014
式中,μk是惩罚参数μ的第k步的值,Yk是第k步的增广拉格朗日乘子,Ψk是Ψ的第k步的值,Θk是Θ第k步的值;
S22,固定变量L、Ψ、Y和μ,计算得到第k+1步的矩阵变量Θk+1
Figure FDA0003173211590000021
最终得到:
Figure FDA0003173211590000022
其中,Θj,1、Θj,2分别为f(Θj)的两个驻点:
Figure FDA0003173211590000023
式中,
Figure FDA0003173211590000024
ξ是一个极小的正数,
Figure FDA0003173211590000025
是第k步矩阵Ψk的第j个标量元素Ψj的取值,
Figure FDA0003173211590000026
是第k+1步矩阵Lk+1的第j个标量元素的取值,
Figure FDA0003173211590000027
是第k步矩阵Yk的第j个标量元素的取值,Dj是矩阵D的第j个标量元素的取值,
S23,固定变量L、Θ、Y和μ,计算得到第k+1步的矩阵变量Ψk+1
Figure FDA0003173211590000028
最终得到:
Figure FDA0003173211590000029
式中,
Figure FDA00031732115900000210
为软阈值收缩算子;
S24,固定其它变量,更新乘子变量Y及其惩罚参数μ进行更新,计算得到第k+1步的增广拉格朗日乘子:
Figure FDA0003173211590000031
μk+1=min(ρμk,μmax)
式中,ρ>1是步长因子;μmax是惩罚参数μ的最大值。
4.根据权利要求3所述的改进的鲁棒主成分分析的运动目标检测方法,其特征在于,步骤S21中,采用凸差分方法求解得到矩阵变量Lk+1
5.根据权利要求3所述的改进的鲁棒主成分分析的运动目标检测方法,其特征在于,步骤S22中,将矩阵变量Θk+1的求解问题转换为求解矩阵Θk+1的每个标量元素
Figure FDA0003173211590000032
的最小值问题,即:
Figure FDA0003173211590000033
其中
Figure FDA0003173211590000034
通过
Figure FDA0003173211590000035
求解每个标量元素θi的最小值问题,其中f(Θj)是相应的目标函数,最终得到:
Figure FDA0003173211590000036
其中,Θj,1、Θj,2分别为f(Θj)的两个驻点:
Figure FDA0003173211590000037
6.根据权利要求3所述的改进的鲁棒主成分分析的运动目标检测方法,其特征在于,步骤S23中,将矩阵变量Ψk+1的求解问题转换为求解矩阵Ψk+1的每个标量元素
Figure FDA0003173211590000038
的最小值问题,即:
Figure FDA0003173211590000041
最终得到:
Figure FDA0003173211590000042
其中
Figure FDA0003173211590000043
为软阈值收缩算子。
CN202110829253.XA 2021-07-21 2021-07-21 一种改进的鲁棒主成分分析的运动目标检测方法 Active CN113723454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110829253.XA CN113723454B (zh) 2021-07-21 2021-07-21 一种改进的鲁棒主成分分析的运动目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110829253.XA CN113723454B (zh) 2021-07-21 2021-07-21 一种改进的鲁棒主成分分析的运动目标检测方法

Publications (2)

Publication Number Publication Date
CN113723454A true CN113723454A (zh) 2021-11-30
CN113723454B CN113723454B (zh) 2024-02-20

Family

ID=78673815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110829253.XA Active CN113723454B (zh) 2021-07-21 2021-07-21 一种改进的鲁棒主成分分析的运动目标检测方法

Country Status (1)

Country Link
CN (1) CN113723454B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428795A (zh) * 2020-03-27 2020-07-17 南京信息职业技术学院 一种改进的非凸鲁棒主成分分析方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428795A (zh) * 2020-03-27 2020-07-17 南京信息职业技术学院 一种改进的非凸鲁棒主成分分析方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZHENZHEN YANG 等: "Generalized Nuclear Norm and Laplacian Scale Mixture Based Low-Rank and Sparse Decomposition for Video Foreground-Background Separation", 《SIGNAL PROCESSING》, pages 1 - 29 *
ZHENZHEN YANG 等: "Generalized singular value thresholding operator based nonconvex low-rank and sparse decomposition for moving object detection", 《ELSEVIER》, pages 10318 - 10154 *
杨永鹏 等: "低秩稀疏分解及其在视频和图像处理中的应用", 《计算机工程与应用》, vol. 56, no. 16, pages 21 - 30 *
杨真真 等: "改进的低秩稀疏分解及其在目标检测中的应用", 《仪器仪表学报》, vol. 40, no. 4, pages 198 - 206 *

Also Published As

Publication number Publication date
CN113723454B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
Casser et al. Unsupervised monocular depth and ego-motion learning with structure and semantics
CN101729911B (zh) 一种基于视觉感知的多视点图像颜色校正方法
CN110675422B (zh) 一种基于广义非凸鲁棒主成分分析的视频前背景分离方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
Cheng et al. Towards pose-invariant lip-reading
US20130022236A1 (en) Apparatus Capable of Detecting Location of Object Contained in Image Data and Detection Method Thereof
CN102457724B (zh) 一种图像运动检测系统及方法
CN107808391B (zh) 一种基于特征选择与光滑表示聚类的视频动态目标提取方法
CN106204477A (zh) 基于在线低秩背景建模的视频序列背景恢复方法
Chi et al. Bev-san: Accurate bev 3d object detection via slice attention networks
CN111428795A (zh) 一种改进的非凸鲁棒主成分分析方法
CN111191680A (zh) 一种基于非凸运动辅助的目标检测方法
CN103136530A (zh) 在复杂工业环境下的视频图像中自动识别目标图像的方法
CN113723183A (zh) 一种鲁棒的低秩稀疏分解的运动目标检测方法
CN113723454A (zh) 一种改进的鲁棒主成分分析的运动目标检测方法
CN111126123B (zh) 一种基于压缩的增量核零空间变换行人再识别方法
CN108171124A (zh) 一种相似样本特征拟合的人脸图像清晰化方法
CN112330639A (zh) 一种用于彩色-热红外图像的显著性检测方法
CN102142148B (zh) 视频空时特征提取方法
CN106603888A (zh) 图像颜色提取处理结构
CN112529815B (zh) 一种雨后真实图像中雨滴去除方法及系统
CN104715482A (zh) 一种ransac计算基本矩阵中内点门限设置算法
Okarma et al. A fast image analysis technique for the line tracking robots
CN111563547A (zh) 一种基于改进的截断核范数的鲁棒主成分分析方法
Dodkey Rain streaks detection and removal in image based on entropy maximization and background estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant