CN103426179B - 一种基于均值偏移多特征融合的目标跟踪方法及装置 - Google Patents

一种基于均值偏移多特征融合的目标跟踪方法及装置 Download PDF

Info

Publication number
CN103426179B
CN103426179B CN201210153910.4A CN201210153910A CN103426179B CN 103426179 B CN103426179 B CN 103426179B CN 201210153910 A CN201210153910 A CN 201210153910A CN 103426179 B CN103426179 B CN 103426179B
Authority
CN
China
Prior art keywords
target
feature
histogram feature
weighted histogram
mean shift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210153910.4A
Other languages
English (en)
Other versions
CN103426179A (zh
Inventor
徐庆华
吴贻刚
顾恩超
裴卫斌
应红峰
冯雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen ZTE Netview Technology Co Ltd
Original Assignee
Shenzhen ZTE Netview Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen ZTE Netview Technology Co Ltd filed Critical Shenzhen ZTE Netview Technology Co Ltd
Priority to CN201210153910.4A priority Critical patent/CN103426179B/zh
Publication of CN103426179A publication Critical patent/CN103426179A/zh
Application granted granted Critical
Publication of CN103426179B publication Critical patent/CN103426179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于均值偏移多特征融合的目标跟踪方法及装置,所述方法包括获取场景的视频数据,对其进行运动目标分离,得到前景目标;提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪。本发明通过将二阶梯度加权直方图和颜色直方图特征相融合的方法,并以均值偏移算法为框架实现目标跟踪,可以提高目标跟踪算法的准确度以及鲁棒性。

Description

一种基于均值偏移多特征融合的目标跟踪方法及装置
技术领域
本发明涉及图像处理、计算机视觉和模式识别技术领域,具体而言,涉及一种基于均值偏移多特征融合的目标跟踪方法及装置。
背景技术
运动目标跟踪是计算机视觉领域的一个重要课题,在军用视觉制导、机器人导航、安全监测、交通管制、医疗诊断、虚拟现实和战场警戒、公共安全监视、人机交互、图像压缩等诸多方面应用广泛。通常,运动目标跟踪涉及到图像处理、模式识别、人工智能以及自适应控制等多领域问题的综合解决,其中,对于复杂背景下的图像处理一直是视觉信息处理和理解的难点。
运动目标跟踪是指通过对视频流或者图像序列中的运动目标进行检测、特征提取、识别和跟踪,获得目标的运动参数,如速度、加速度、位置以及运动轨迹等,从而进行进一步处理与分析,实现运动目标的行为理解,以完成更高一级的任务。
在对运动目标特征提取时,颜色直方图信息因其具有特征稳定、抗部分遮挡、计算方法简单和计算量小等特点而被广泛采用,但是颜色直方图特征主要缺点是容易受光照、视觉和摄像机参数等因素的影响,同时也容易被复杂背景干扰,导致目标跟踪鲁棒性不强。
脉冲功率激光技术国家重点实验室的陈善静、杨华等独立研究了一种《基于二阶直方图的改进型均值偏移跟踪算法》(期刊名:《探测与控制学报》;卷号:ISSN:1008-1194/CN:61-1316/TJ;期数:2010年04期;页码:73),由于其提出的二阶直方图与颜色直方图相比不仅考虑像素点的颜色值并且考虑像素点间的空间关系,包含更丰富的目标信息,所以抗干扰性和抗拒不遮挡能力更强和受光照影响更小,一定程度上提高了目标跟踪鲁棒性,但当背景比较复杂,目标与背景颜色相似时,此时用二阶直方图特征进行跟踪就有可能偏离目标,从而导致跟踪失败。
另外,中国科学院光电技术研究所的刘素珍、邓和林研究了一种《基于颜色直方图特征和梯度直方图特征相融合的目标跟踪算法》(期刊名:《激光与红外》;文章编号:1001-5078(2008)08-0837-04;期数:2008年08期;页码:837),在该文中,其联合目标的灰度特征空间和梯度特征空间,联合特征空间中的目标模型比单一特征目标模型具有更好的鲁棒性,能有效地克服目标部分遮挡、目标和背景灰度相似等因素下的影响。但当不同目标在灰度和梯度特征空间均相似时,容易导致跟踪失败。
为此,在背景复杂下,目标与背景颜色相似时以及不同目标在灰度和梯度特征空间均表现相似时,如何提供一种既能实现运动目标的准确跟踪,又能保障目标跟踪鲁棒性的目标跟踪方法便成为了目前亟需解决的问题。
发明内容
有鉴于此,本发明提出一种将二阶梯度加权直方图和颜色直方图特征相融合的方法,并以均值偏移算法为框架实现目标跟踪的基于均值偏移多特征融合的目标跟踪方法及装置,通过本发明可以提高目标跟踪算法的准确度。
为了达到本发明的目的,本发明采用以下技术方案实现:
一种基于均值偏移多特征融合的目标跟踪方法,包括:
获取场景的视频数据,对其进行运动目标分离,得到前景目标;
提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪。
一种优选实施方式下,获取场景的视频数据,对其进行运动目标分离以得到前景目标的处理步骤包括:
对视频数据进行颜色空间转换,对转换后的颜色空间进行图像去噪处理;
对进行了图像去噪处理后的视频数据进行目标检测处理以得到前景目标;
对所述前景目标进行数学形态学处理和联通区域标记处理。
一种更为优选实施方式下,所述目标检测处理方法包括背景差分法、帧差法、光流法或者背景建模法。
一种优选实施方式下,提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪的处理步骤包括:
提取二阶梯度加权直方图特征;
提取颜色直方图特征;
采用以下数学式进行特征融合处理:
ρ = Σ i = 1 k ω i R i , k ∈ N + ;
其中,ρ表示融合后的特征匹配系数,Ri表示融合前的各个特征归一化匹配系数,ωi表示Ri所对应的权重,且有 N+表示正整数集,即k≥1且k∈N+
基于融合后的特征以均值偏移算法进行目标跟踪。
一种更为优选实施方式下,所述二阶梯度加权直方图特征的计算步骤为:
以图像任意一点为中心构建0°、45°、90°、135°四个方向的梯度值;
将这四个方向的梯度值相加得到该点的梯度特征;
依据所述梯度特征、加权直方图、梯度空间均值向量和梯度空间协方差矩阵提取所述二阶梯度加权直方图特征。
一种更为优选实施方式下,提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪具体处理步骤包括:
a、在获取的前景目标中确定一目标,并确定该目标初始质心位置为前景目标检测时的位置y0
b、计算目标模型的梯度加权直方图分布
c、计算目标模型的梯度加权直方图各灰度等级的均值向量u1b和协方差矩阵Δ1b
d、计算目标模型的颜色直方图
e、确定候选目标模型的质心位置y0
f、计算候选目标模型的梯度加权直方图分布
g、计算候选目标模型的梯度加权直方图各灰度等级的均值向量u2b(y0)和协方差矩阵Δ2b(y0);
h、计算候选目标模型的颜色直方图分布
i、采用以下数学式计算联合特征空间的目标模型:
其中,α是特征权重系数,且α∈[0~1];
j、采用以下数学式计算联合特征空间的候选目标模型;
p ^ u ( y 0 ) = ( 1 - α ) p ^ 1 u ( y 0 ) + α p ^ 2 u ( y 0 ) ;
其中,α是特征权重系数,且α∈[0~1];
k、采用以下数学式计算权值{ωi},i=1,2,...,nh
ω i = ηexp { - 1 2 ( u 2 b ( y 0 ) - u 1 b ) Δ ^ b - 1 ( y 0 ) ( u 2 b ( y 0 ) - u 1 b ) T } , 其中,η是高斯常数,且 Δ ^ b - 1 ( y 0 ) = ( Δ 2 b - 1 ( y 0 ) + ( Δ 1 b ) - 1 ) ;
l、利用均值偏移算法,并采用以下数学式计算目标新位置:
y 1 = Σ i = 1 n h α i x i - Σ j = 1 B v j Σ i = 1 n h α i ;
其中, α i = C h h 2 Σ j = 1 B ω j ( y 0 ) q ^ u p ^ u ( y 0 ) δ ij , v j = ω j ( y 0 ) q ^ u p ^ u ( y 0 ) Δ ^ b - 1 ( y 0 ) ( u 1 b - u 2 b ( y 0 ) ) , Ch为归一化常数,且 h为核带宽,nh为目标区域的像素数;m、分别采用以下数学式计算相似性系数
ρ ^ ( y 0 ) = ρ ( p ^ u ( y 0 ) , q ^ u ) = Σ u = 1 m p ^ u ( y 0 ) q ^ u ;
ρ ^ ( y 1 ) = ρ ( p ^ u ( y 1 ) , q ^ u ) = Σ u = 1 m p ^ u ( y 1 ) q ^ u ;
其中,如果 那么y1=(y0+y1)/2,则转步骤l,否则转步骤n;
n、如果||y1-y0||<ε,则停止迭代,否则,y0=y1,转步骤b。
一种基于均值偏移多特征融合的目标跟踪装置,包括:
获取模块,用于获取场景的视频数据;
前景分离模块,用于对获取的视频数据进行运动目标分离,得到前景目标;
跟踪模块,用于提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移 算法为框架对前景目标进行运动目标跟踪。
一种优选实施方式下,前景分离模块对获取的视频数据进行运动目标分离以得到前景目标的处理步骤包括:
对视频数据进行颜色空间转换,对转换后的颜色空间进行图像去噪处理;
对进行了图像去噪处理后的视频数据进行目标检测处理以得到前景目标;
对所述前景目标进行数学形态学处理和联通区域标记处理。
一种更为优选实施方式下,所述目标检测处理方法包括背景差分法、帧差法、光流法或者背景建模法。
一种优选实施方式下,跟踪模块提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪的处理步骤包括:
提取二阶梯度加权直方图特征;
提取颜色直方图特征;
采用以下数学式进行特征融合处理:
&rho; = &Sigma; i = 1 k &omega; i R i , k &Element; N + ;
其中,ρ表示融合后的特征匹配系数,Ri表示融合前的各个特征归一化匹配系数,ωi表示Ri所对应的权重,且有 N+表示正整数集,即k≥1且k∈N+
基于融合后的特征以均值偏移算法进行目标跟踪。
一种更为优选实施方式下,所述二阶梯度加权直方图特征的计算步骤为:
以图像任意一点为中心构建0°、45°、90°、135°四个方向的梯度值;
将这四个方向的梯度值相加得到该点的梯度特征;
依据所述梯度特征、加权直方图、梯度空间均值向量和梯度空间协方差矩阵提取所述二阶梯度加权直方图特征。
一种更为优选实施方式下,跟踪模块提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪具体处理步骤包括:
a、在获取的前景目标中确定一目标,并确定该目标初始质心位置为前景目标检测时的位置y0
b、计算目标模型的梯度加权直方图分布
c、计算目标模型的梯度加权直方图各灰度等级的均值向量u1b和协方差矩阵Δ1b
d、计算目标模型的颜色直方图
e、确定候选目标模型的质心位置y0
f、计算候选目标模型的梯度加权直方图分布
g、计算候选目标模型的梯度加权直方图各灰度等级的均值向量u2b(y0)和协方差矩阵Δ2b(y0);
h、计算候选目标模型的颜色直方图分布
i、采用以下数学式计算联合特征空间的目标模型:
其中,α是特征权重系数,且α∈[0~1];
j、采用以下数学式计算联合特征空间的候选目标模型;
p ^ u ( y 0 ) = ( 1 - &alpha; ) p ^ 1 u ( y 0 ) + &alpha; p ^ 2 u ( y 0 ) ;
其中,α是特征权重系数,且α∈[0~1];
k、采用以下数学式计算权值{ωi},i=1,2,...,nh
&omega; i = &eta;exp { - 1 2 ( u 2 b ( y 0 ) - u 1 b ) &Delta; ^ b - 1 ( y 0 ) ( u 2 b ( y 0 ) - u 1 b ) T } , 其中,η是高斯常数,且 &Delta; ^ b - 1 ( y 0 ) = ( &Delta; 2 b - 1 ( y 0 ) + ( &Delta; 1 b ) - 1 ) ;
l、利用均值偏移算法,并采用以下数学式计算目标新位置:
y 1 = &Sigma; i = 1 n h &alpha; i x i - &Sigma; j = 1 B v j &Sigma; i = 1 n h &alpha; i ;
其中, &alpha; i = C h h 2 &Sigma; j = 1 B &omega; j ( y 0 ) q ^ u p ^ u ( y 0 ) &delta; ij , v j = &omega; j ( y 0 ) q ^ u p ^ u ( y 0 ) &Delta; ^ b - 1 ( y 0 ) ( u 1 b - u 2 b ( y 0 ) ) , Ch为归一化常数,且 h为核带宽,nh为目标区域的像素数;
m、分别采用以下数学式计算相似性系数
&rho; ^ ( y 0 ) = &rho; ( p ^ u ( y 0 ) , q ^ u ) = &Sigma; u = 1 m p ^ u ( y 0 ) q ^ u ;
&rho; ^ ( y 1 ) = &rho; ( p ^ u ( y 1 ) , q ^ u ) = &Sigma; u = 1 m p ^ u ( y 1 ) q ^ u ;
其中,如果 那么y1=(y0+y1)/2,则转步骤l,否则转步骤n;
n、如果||y1-y0||<ε,则停止迭代,否则,y0=y1,转步骤b。
通过上述本发明的技术方案可以看出,本发明通过将二阶梯度加权直方图特征和颜色直方图特征相融合,并以均值偏移算法为框架实现目标跟踪,可以提高目标跟踪算法的准确度以及鲁棒性。
附图说明
图1是本发明实施例提供的基于均值偏移多特征融合的目标跟踪装置进行运动目标检测与跟踪的示意图;
图2是本发明实施例提供的基于特征跟踪的算法结构示意图;
图3是本发明实施例提供的二阶直方图示意图;
图4是本发明实施例提供的3×3领域梯度模板示意图;
图5是本发明实施例提供的以均值偏移算法为框架的多特征目标跟踪算法流程示意图。
本发明目的的实现、功能特点及优异效果,下面将结合具体实施例以及附图做进一步的说明。
具体实施方式
下面结合附图和具体实施例对本发明所述技术方案作进一步的详细描述,以使本领域的技术人员可以更好的理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
本发明实施例提供了一种基于均值偏移多特征融合的目标跟踪方法,参考图2,其主要包括如下具体步骤:
S101、获取场景的视频数据,对其进行运动目标分离,得到前景目标;
S102、提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪。
具体实施时,对获取场景的视频数据进行运动目标分离以得到前景目标的处理步骤包括:预处理步骤、目标检测步骤以及后处理步骤三个步骤。
一种优选实施方式下,在所述步骤S101中,获取场景的视频数据,对其进行运动目标分离以得到前景目标的处理步骤包括:
S1011、预处理步骤:对视频数据进行颜色空间转换,对转换后的颜色空间进行图像去噪处理,例如,为了减少计算量,一种优选实施方式下,可以将获取的视频数据先行灰度化,再对灰度化的数据进行图像去噪处理;
S1012、目标检测步骤:对进行了图像去噪处理后的视频数据进行目标检测处理以得到前景目标;一种优选实施方式下,所述目标检测处理方法包括背景差分法、帧差法、光流法或者背景建模法,其中,采用所述背景差分法、帧差法、光流法或者背景建模法进行目标检测处理的详细技术方案是本技术领域的普通技术人员所共知的现有技术,本文对此不做详细说明;
S1013、后处理步骤:对所述前景目标进行数学形态学处理和联通区域标记处理。
一种优选实施方式下,在所述步骤S102中,提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪的处理步骤包括:
S1021、提取二阶梯度加权直方图特征,其中,如图3所示,所述二阶梯度加权直方图特征信息相比一阶梯度加权直方图特征信息多包含了梯度空间均值向量信息和梯度空间协方差矩阵信息;
S1022、提取颜色直方图特征;
S1023、采用以下数学式进行特征融合处理:
&rho; = &Sigma; i = 1 k &omega; i R i , k &Element; N + ;
其中,ρ表示融合后的特征匹配系数,Ri表示融合前的各个特征归一化匹配系数,ωi表示Ri所对应的权重,且有 N+表示正整数集,即k≥1且k∈N+
S1024、基于融合后的特征以均值偏移算法进行目标跟踪。
一种更为优选实施方式下,在所述步骤S1021中,所述二阶梯度加权直 方图特征的计算步骤为:
1、以图像任意一点为中心构建0°、45°、90°、135°四个方向的梯度值;
2、将这四个方向的梯度值相加得到该点的梯度特征;
3、依据所述梯度特征、加权直方图、梯度空间均值向量和梯度空间协方差矩阵提取所述二阶梯度加权直方图特征。
例如,如图4所示,假设I(i,j)表示图像中任意一点灰度值,为简化计算,以该点为中心,在其周围用3×3模板构建四个方向梯度可以表示为:
0°方向梯度值Th:Th(i,j)=|I(i,j-1)-I(i,j+1)|;
45°方向梯度值Tl:Tl(i,j)=|I(i+1,j-1)-I(i-1,j+1)|;
90°方向梯度值Tv:Tv(i,j)=|I(i+1,j)-I(i-1,j)|;
135°方向梯度值Tr:Tr(i,j)=|I(i+1,j+1)-I(i-1,j-1)|。
将这四个方向梯度值相加即得该点的梯度值T(i,j):T(i,j)=Th(i,j)+Tl(i,j)+Tv(i,j)+Tr(i,j),再将T(i,j)梯度特征进行加权直方图、梯度空间均值向量和协方差矩阵联合即得二阶梯度加权直方图特征信息。
一种更为优选实施方式下,在所述步骤S102中,参考图5,提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪具体包括以下处理步骤(其中,本文以单目标为例进行阐述,多目标情况依此类推):
步骤一:从检测的前景目标中确定一单目标,并确定该目标初始质心位置为前景检测时的位置y0
步骤二:计算目标模型的梯度加权直方图分布
其中,为了阐明 的含义,先假设目标有nh个像素,用{xi},i=1,2,...nh表示,并假设目标中心为x0,梯度空间划分成k个相等的区间,每个区间作为一个bin,又假设bin的个数为m,那么目标模型的加权直方图特征u=1,2,...,m估计概率密度 可表示为:
q ^ 1 u = C &Sigma; i = 1 n h k ( | | x 0 - x i h | | 2 ) &delta; [ b ( x i ) - u ] ;
其中,k(x)是核函数的轮廓函数,δ(x)是Delta函数,h为核带宽,C是归一化常数,其可以通过以下数学式获取:
C = 1 &Sigma; i = 1 n h k ( | | x 0 - x i h | | 2 ) ;
步骤三:计算目标模型的梯度加权直方图各灰度等级的均值向量u1b和协方差矩阵Δ1b
其中,可用下面两个式子描述均值向量u1b和协方差矩阵Δ1b的含义:
u 1 b = 1 &Sigma; i = 1 n h &delta; [ b ( x i ) - u ] &Sigma; i = 1 n h ( x i - x 0 ) &delta; [ b ( x i ) - u ] ;
&Delta; 1 b = 1 &Sigma; i = 1 n h &delta; [ b ( x i ) - u ] &Sigma; i = 1 n h ( ( x i - u 1 b ) T ( x i - u 1 b ) ) &delta; [ b ( x i ) - u ] ;
步骤四:计算目标模型的颜色直方图 其中, 的物理意义同步骤二的 物理意义一样;
步骤五:确定候选目标模型的质心位置y0
步骤六:计算候选目标模型的梯度加权直方图分布 其中,可用下述数学式获取
p ^ 1 u ( y 0 ) = C h &Sigma; i = 1 n h k ( | | y 0 - x i h | | 2 ) &delta; [ b ( x i ) - u ] ;
其中,Ch是归一化常数,且
步骤七:计算候选目标模型的梯度加权直方图各灰度等级的均值向量u2b(y0)和协方差矩阵Δ2b(y0),其中,u2b(y0)、Δ2b(y0)的物理意义分别同步骤三中的u1b、Δ1b物理意义相同,这里不再重复赘述;
步骤八:计算候选目标模型的颜色直方图分布 其中, 的物理含义同步骤六中的 物理意义相同,这里不再重复赘述;
步骤九:采用以下数学式计算联合特征空间的目标模型:
q ^ u = ( 1 - &alpha; ) q ^ 1 u + &alpha; q ^ 2 u ;
其中,α是特征权重系数,且α∈[0~1];
步骤十:采用以下数学式计算联合特征空间的候选目标模型;
p ^ u ( y 0 ) = ( 1 - &alpha; ) p ^ 1 u ( y 0 ) + &alpha; p ^ 2 u ( y 0 ) ;
其中,α是特征权重系数,且α∈[0~1];
步骤十一:根据以下数学式计算权值{ωi},i=1,2,...,nh
&omega; i = &eta;exp { - 1 2 ( u 2 b ( y 0 ) - u 1 b ) &Delta; ^ b - 1 ( y 0 ) ( u 2 b ( y 0 ) - u 1 b ) T } ;
其中,η是高斯常数, &Delta; ^ b - 1 ( y 0 ) = ( &Delta; 2 b - 1 ( y 0 ) + ( &Delta; 1 b ) - 1 ) ;
步骤十二:利用均值偏移算法,并采用以下数学式计算目标新位置:
y 1 = &Sigma; i = 1 n h &alpha; i x i - &Sigma; j = 1 B v j &Sigma; i = 1 n h &alpha; i ;
其中, &alpha; i = C h h 2 &Sigma; j = 1 B &omega; j ( y 0 ) q ^ u p ^ u ( y 0 ) &delta; ij , v j = &omega; j ( y 0 ) q ^ u p ^ u ( y 0 ) &Delta; ^ b - 1 ( y 0 ) ( u 1 b - u 2 b ( y 0 ) ) , αi表达式中Ch为归一化常数,且 h为核带宽,nh为目标区域的像素数,vj表达式中 意义同步骤十一中所述;
步骤十三:分别采用以下数学式计算相似性系数
&rho; ^ ( y 0 ) = &rho; ( p ^ u ( y 0 ) , q ^ u ) = &Sigma; u = 1 m p ^ u ( y 0 ) q ^ u ;
&rho; ^ ( y 1 ) = &rho; ( p ^ u ( y 1 ) , q ^ u ) = &Sigma; u = 1 m p ^ u ( y 1 ) q ^ u ;
其中,如果 那么y1=(y0+y1)/2,则转步骤十二,否则进行下一步;
步骤十四:如果||y1-y0||<ε,那么停止迭代,否则,y0=y1,转步骤二,重复之后过程。
相应地,本发明实施例还提供了一种基于均值偏移多特征融合的目标跟踪装置,参考图1和图2,,其主要包括以下几大模块:
获取模块10,用于获取场景的视频数据;
前景分离模块20,用于对获取的视频数据进行运动目标分离,得到前景目标;
跟踪模块30,用于提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪。
本实施例中,所述前景分离模块20对获取的视频数据进行运动目标分离以得到前景目标的处理步骤包括:
1、对视频数据进行颜色空间转换,对转换后的颜色空间进行图像去噪处理;
2、对进行了图像去噪处理后的视频数据进行目标检测处理以得到前景目标,优选实施方式下,所述目标检测处理方法包括背景差分法、帧差法、光流法或者背景建模法;
3、对所述前景目标进行数学形态学处理和联通区域标记处理。
本实施例中,参考图3,所述跟踪模块30提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪的处理步骤包括:
1、提取二阶梯度加权直方图特征;
2、提取颜色直方图特征;
3、采用以下数学式进行特征融合处理:
&rho; = &Sigma; i = 1 k &omega; i R i , k &Element; N + ;
其中,ρ表示融合后的特征匹配系数,Ri表示融合前的各个特征归一化匹配系数,ωi表示Ri所对应的权重,且有 N+表示正整数集,即k≥1且k∈N+
4、基于融合后的特征以均值偏移算法进行目标跟踪。
本实施例中,所述二阶梯度加权直方图特征的计算步骤为:
1、以图像任意一点为中心构建0°、45°、90°、135°四个方向的梯度值;
2、将这四个方向的梯度值相加得到该点的梯度特征;
3、依据所述梯度特征、加权直方图、梯度空间均值向量和梯度空间协方差矩阵提取所述二阶梯度加权直方图特征。
例如,如图4所示,假设I(i,j)表示图像中任意一点灰度值,为简化计算,以该点为中心,在其周围用3×3模板构建四个方向梯度可以表示为:
0°方向梯度值Th:Th(i,j)=|I(i,j-1)-I(i,j+1)|;
45°方向梯度值Tl:Tl(i,j)=|I(i+1,j-1)-I(i-1,j+1)|;
90°方向梯度值Tv:Tv(i,j)=|I(i+1,j)-I(i-1,j)|;
135°方向梯度值Tr:Tr(i,j)=|I(i+1,j+1)-I(i-1,j-1)|。
将这四个方向梯度值相加即得该点的梯度值T(i,j):T(i,j)=Th(i,j)+Tl(i,j)+Tv(i,j)+Tr(i,j),再将T(i,j)梯度特征进行加权直方图、梯度空间均值向量和协方差矩阵联合即得二阶梯度加权直方图特征信息。
本发明实施例中,参考图5,所述跟踪模块30提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪具体包括以下处理步骤(其中,本文以单目标为例进行阐述,多目标情况依此类推):
步骤一:从检测的前景目标中确定一单目标,并确定该目标初始质心位置为前景检测时的位置y0
步骤二:计算目标模型的梯度加权直方图分布
其中,为了阐明 的含义,先假设目标有nh个像素,用{xi},i=1,2,...nh表示,并假设目标中心为x0,梯度空间划分成k个相等的区间,每个区间作为一个bin,又假设bin的个数为m,那么目标模型的加权直方图特征u=1,2,...,m估计概率密度 可表示为:
q ^ 1 u = C &Sigma; i = 1 n h k ( | | x 0 - x i h | | 2 ) &delta; [ b ( x i ) - u ] ;
其中,k(x)是核函数的轮廓函数,δ(x)是Delta函数,h为核带宽,C是归一化常数,其可以通过以下数学式获取:
C = 1 &Sigma; i = 1 n h k ( | | x 0 - x i h | | 2 ) ;
步骤三:计算目标模型的梯度加权直方图各灰度等级的均值向量u1b和协方差矩阵Δ1b
其中,可用下面两个式子描述均值向量u1b和协方差矩阵Δ1b的含义:
u 1 b = 1 &Sigma; i = 1 n h &delta; [ b ( x i ) - u ] &Sigma; i = 1 n h ( x i - x 0 ) &delta; [ b ( x i ) - u ] ;
&Delta; 1 b = 1 &Sigma; i = 1 n h &delta; [ b ( x i ) - u ] &Sigma; i = 1 n h ( ( x i - u 1 b ) T ( x i - u 1 b ) ) &delta; [ b ( x i ) - u ] ;
步骤四:计算目标模型的颜色直方图 其中, 的物理意义同步骤二的 物理意义一样;
步骤五:确定候选目标模型的质心位置y0
步骤六:计算候选目标模型的梯度加权直方图分布
其中,可用下述数学式获取
p ^ 1 u ( y 0 ) = C h &Sigma; i = 1 n h k ( | | y 0 - x i h | | 2 ) &delta; [ b ( x i ) - u ] ;
其中,Ch是归一化常数,且
步骤七:计算候选目标模型的梯度加权直方图各灰度等级的均值向量u2b(y0)和协方差矩阵Δ2b(y0),其中,u2b(y0)、Δ2b(y0)的物理意义分别同步骤三中的u1b、Δ1b物理意义相同,这里不再重复赘述;
步骤八:计算候选目标模型的颜色直方图分布 其中, 的物理含义同步骤六中的 物理意义相同,这里不再重复赘述;
步骤九:采用以下数学式计算联合特征空间的目标模型:
q ^ u = ( 1 - &alpha; ) q ^ 1 u + &alpha; q ^ 2 u ;
其中,α是特征权重系数,且α∈[0~1];
步骤十:采用以下数学式计算联合特征空间的候选目标模型;
p ^ u ( y 0 ) = ( 1 - &alpha; ) p ^ 1 u ( y 0 ) + &alpha; p ^ 2 u ( y 0 ) ;
其中,α是特征权重系数,且α∈[0~1];
步骤十一:根据以下数学式计算权值{ωi},i=1,2,...,nh
&omega; i = &eta;exp { - 1 2 ( u 2 b ( y 0 ) - u 1 b ) &Delta; ^ b - 1 ( y 0 ) ( u 2 b ( y 0 ) - u 1 b ) T } ;
其中,η是高斯常数, &Delta; ^ b - 1 ( y 0 ) = ( &Delta; 2 b - 1 ( y 0 ) + ( &Delta; 1 b ) - 1 ) ;
步骤十二:利用均值偏移算法,并采用以下数学式计算目标新位置:
y 1 = &Sigma; i = 1 n h &alpha; i x i - &Sigma; j = 1 B v j &Sigma; i = 1 n h &alpha; i ;
其中, &alpha; i = C h h 2 &Sigma; j = 1 B &omega; j ( y 0 ) q ^ u p ^ u ( y 0 ) &delta; ij , v j = &omega; j ( y 0 ) q ^ u p ^ u ( y 0 ) &Delta; ^ b - 1 ( y 0 ) ( u 1 b - u 2 b ( y 0 ) ) , αi表达式中Ch为归一化常数,且 h为核带宽,nh为目标区域的像素数,vj表达式中 意义同步骤十一中所述;
步骤十三:分别采用以下数学式计算相似性系数
&rho; ^ ( y 0 ) = &rho; ( p ^ u ( y 0 ) , q ^ u ) = &Sigma; u = 1 m p ^ u ( y 0 ) q ^ u ;
&rho; ^ ( y 1 ) = &rho; ( p ^ u ( y 1 ) , q ^ u ) = &Sigma; u = 1 m p ^ u ( y 1 ) q ^ u ;
其中,如果 那么y1=(y0+y1)/2,则转步骤十二,否则进行下一步;
步骤十四:如果||y1-y0||<ε,那么停止迭代,否则,y0=y1,转步骤二,重复之后过程。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种基于均值偏移多特征融合的目标跟踪方法,其特征在于,包括:
获取场景的视频数据,对其进行运动目标分离,得到前景目标;
提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪,所述二阶梯度加权直方图特征信息相比一阶梯度加权直方图特征信息多包含了梯度空间均值向量信息和梯度空间协方差矩阵信息。
2.如权利要求1所述的基于均值偏移多特征融合的目标跟踪方法,其特征在于,获取场景的视频数据,对其进行运动目标分离以得到前景目标的处理步骤包括:
对视频数据进行颜色空间转换,对转换后的颜色空间进行图像去噪处理;
对进行了图像去噪处理后的视频数据进行目标检测处理以得到前景目标;
对所述前景目标进行数学形态学处理和联通区域标记处理。
3.如权利要求2所述的基于均值偏移多特征融合的目标跟踪方法,其特征在于,所述目标检测处理的方法包括背景差分法、帧差法、光流法或者背景建模法。
4.如权利要求1所述的基于均值偏移多特征融合的目标跟踪方法,其特征在于,提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪的处理步骤包括:
提取二阶梯度加权直方图特征;
提取颜色直方图特征;
采用以下数学式进行特征融合处理:
&rho; = &Sigma; i = 1 k &omega; i R i , k &Element; N + ;
其中,ρ表示融合后的特征匹配系数,Ri表示融合前的各个特征归一化匹配系数,ωi表示Ri所对应的权重,且有N+表示正整数集,即k≥1且k∈N+,所述各个特征包括所述二阶梯度加权直方图特征及所述颜色直方图特征;
基于融合后的特征以均值偏移算法进行目标跟踪。
5.如权利要求4所述的基于均值偏移多特征融合的目标跟踪方法,其特征在于,所述二阶梯度加权直方图特征的计算步骤为:
以图像任意一点为中心构建0°、45°、90°、135°四个方向的梯度值;
将这四个方向的梯度值相加得到该点的梯度特征;
依据所述梯度特征、加权直方图、梯度空间均值向量和梯度空间协方差矩阵提取所述二阶梯度加权直方图特征。
6.如权利要求1所述的基于均值偏移多特征融合的目标跟踪方法,其特征在于,
提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪具体处理步骤包括:
a、在获取的前景目标中确定一目标,并确定该目标初始质心位置为前景目标检测时的位置y0
b、计算目标模型的梯度加权直方图分布
c、计算目标模型的梯度加权直方图各灰度等级的均值向量u1b和协方差矩阵Δ1b
d、计算目标模型的颜色直方图
e、确定候选目标模型的质心位置y0
f、计算候选目标模型的梯度加权直方图分布
g、计算候选目标模型的梯度加权直方图各灰度等级的均值向量u2b(y0)和协方差矩阵Δ2b(y0);
h、计算候选目标模型的颜色直方图分布
i、采用以下数学式计算联合特征空间的目标模型:
其中,α是特征权重系数,且α∈[0~1];
j、采用以下数学式计算联合特征空间的候选目标模型;
p ^ u ( y 0 ) = ( 1 - &alpha; ) p ^ 1 u ( y 0 ) + &alpha; p ^ 2 u ( y 0 ) ;
其中,α是特征权重系数,且α∈[0~1];
k、采用以下数学式计算权值{ωi},i=1,2,...,nh
其中,η是高斯常数,且
l、利用均值偏移算法,并采用以下数学式计算目标新位置:
y 1 = &Sigma; i = 1 n h &alpha; i x i - &Sigma; j = 1 B v j &Sigma; i = 1 n h &alpha; i ;
其中,Ch为归一化常数,且h为核带宽,nh为目标区域的像素数;
m、分别采用以下数学式计算相似性系数
&rho; ^ ( y 0 ) = &rho; ( p ^ u ( y 0 ) , q ^ u ) = &Sigma; u = 1 m p ^ u ( y 0 ) q ^ u ;
&rho; ^ ( y 1 ) = &rho; ( p ^ u ( y 1 ) , q ^ u ) = &Sigma; u = 1 m p ^ u ( y 1 ) q ^ u ;
其中,如果那么y1=(y0+y1)/2,则转步骤l,否则转步骤n;
n、如果||y1-y0||<ε,则停止迭代,否则,y0=y1,转步骤b。
7.一种基于均值偏移多特征融合的目标跟踪装置,其特征在于,包括:
获取模块,用于获取场景的视频数据;
前景分离模块,用于对获取的视频数据进行运动目标分离,得到前景目标;
跟踪模块,用于提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪,所述二阶梯度加权直方图特征信息相比一阶梯度加权直方图特征信息多包含了梯度空间均值向量信息和梯度空间协方差矩阵信息。
8.如权利要求7所述的基于均值偏移多特征融合的目标跟踪装置,其特征在于,前景分离模块对获取的视频数据进行运动目标分离以得到前景目标的处理步骤包括:
对视频数据进行颜色空间转换,对转换后的颜色空间进行图像去噪处理;
对进行了图像去噪处理后的视频数据进行目标检测处理以得到前景目标;
对所述前景目标进行数学形态学处理和联通区域标记处理。
9.如权利要求8所述的基于均值偏移多特征融合的目标跟踪装置,其特征在于,所述目标检测处理的方法包括背景差分法、帧差法、光流法或者背景建模法。
10.如权利要求7所述的基于均值偏移多特征融合的目标跟踪装置,其特征在于,跟踪模块提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪的处理步骤包括:
提取二阶梯度加权直方图特征;
提取颜色直方图特征;
采用以下数学式进行特征融合处理:
&rho; = &Sigma; i = 1 k &omega; i R i , k &Element; N + ;
其中,ρ表示融合后的特征匹配系数,Ri表示融合前的各个特征归一化匹配系数,ωi表示Ri所对应的权重,且有N+表示正整数集,即k≥1且k∈N+,所述各个特征包括所述二阶梯度加权直方图特征及所述颜色直方图特征;
基于融合后的特征以均值偏移算法进行目标跟踪。
11.如权利要求10所述的基于均值偏移多特征融合的目标跟踪装置,其特征在于,所述二阶梯度加权直方图特征的计算步骤为:
以图像任意一点为中心构建0°、45°、90°、135°四个方向的梯度值;
将这四个方向的梯度值相加得到该点的梯度特征;
依据所述梯度特征、加权直方图、梯度空间均值向量和梯度空间协方差矩阵提取所述二阶梯度加权直方图特征。
12.如权利要求7所述的基于均值偏移多特征融合的目标跟踪装置,其特征在于,跟踪模块提取前景目标中的二阶梯度加权直方图特征和颜色直方图特征,并基于所述二阶梯度加权直方图特征和颜色直方图特征以均值偏移算法为框架对前景目标进行运动目标跟踪具体处理步骤包括:
a、在获取的前景目标中确定一目标,并确定该目标初始质心位置为前景目标检测时的位置y0
b、计算目标模型的梯度加权直方图分布
c、计算目标模型的梯度加权直方图各灰度等级的均值向量u1b和协方差矩阵Δ1b
d、计算目标模型的颜色直方图
e、确定候选目标模型的质心位置y0
f、计算候选目标模型的梯度加权直方图分布
g、计算候选目标模型的梯度加权直方图各灰度等级的均值向量u2b(y0)和协方差矩阵Δ2b(y0);
h、计算候选目标模型的颜色直方图分布
i、采用以下数学式计算联合特征空间的目标模型:
其中,α是特征权重系数,且α∈[0~1];
j、采用以下数学式计算联合特征空间的候选目标模型;
&rho; ^ u ( y 0 ) = ( 1 - &alpha; ) p ^ 1 u ( y 0 ) + &alpha; p ^ 2 u ( y 0 ) ;
其中,α是特征权重系数,且α∈[0~1];
k、采用以下数学式计算权值{ωi},i=1,2,...,nh
其中,η是高斯常数,且
l、利用均值偏移算法,并采用以下数学式计算目标新位置:
y 1 = &Sigma; i = 1 n h &alpha; i x i - &Sigma; j = 1 B v j &Sigma; i = 1 n h &alpha; i ;
其中,Ch为归一化常数,且h为核带宽,nh为目标区域的像素数;
m、分别采用以下数学式计算相似性系数
&rho; ^ ( y 0 ) = &rho; ( p ^ u ( y 0 ) , q ^ u ) = &Sigma; u = 1 m p ^ u ( y 0 ) q ^ u ;
&rho; ^ ( y 1 ) = &rho; ( p ^ u ( y 1 ) , q ^ u ) = &Sigma; u = 1 m p ^ u ( y 1 ) q ^ u ;
其中,如果那么y1=(y0+y1)/2,则转步骤l,否则转步骤n;
n、如果||y1-y0||<ε,则停止迭代,否则,y0=y1,转步骤b。
CN201210153910.4A 2012-05-17 2012-05-17 一种基于均值偏移多特征融合的目标跟踪方法及装置 Active CN103426179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210153910.4A CN103426179B (zh) 2012-05-17 2012-05-17 一种基于均值偏移多特征融合的目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210153910.4A CN103426179B (zh) 2012-05-17 2012-05-17 一种基于均值偏移多特征融合的目标跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN103426179A CN103426179A (zh) 2013-12-04
CN103426179B true CN103426179B (zh) 2016-12-14

Family

ID=49650869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210153910.4A Active CN103426179B (zh) 2012-05-17 2012-05-17 一种基于均值偏移多特征融合的目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN103426179B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824305A (zh) * 2014-03-17 2014-05-28 天津工业大学 一种改进的Meanshift目标跟踪方法
CN103914853A (zh) * 2014-03-19 2014-07-09 华南理工大学 多车辆跟踪时目标粘连和分裂情况的处理方法
CN105321188A (zh) * 2014-08-04 2016-02-10 江南大学 基于前景概率的目标跟踪方法
CN104463914B (zh) * 2014-12-25 2018-04-03 天津工业大学 一种改进的Camshift目标跟踪方法
CN105957107A (zh) * 2016-04-27 2016-09-21 北京博瑞空间科技发展有限公司 行人检测与跟踪方法及装置
CN106874867A (zh) * 2017-02-14 2017-06-20 江苏科技大学 一种融合肤色及轮廓筛选的人脸自适应检测与跟踪方法
CN107016687A (zh) * 2017-03-25 2017-08-04 平顶山学院 视频运动目标检测和跟踪的混合算法
CN106997477B (zh) * 2017-03-30 2021-01-15 联想(北京)有限公司 一种图像处理方法及装置
CN109064478B (zh) * 2018-07-17 2021-06-11 暨南大学 一种基于极限学习机的天文图像轮廓提取方法
CN109949342B (zh) * 2019-03-15 2022-07-15 中国科学院福建物质结构研究所 基于目标概率模型的自适应融合互补学习实时跟踪方法
CN116030098B (zh) * 2023-03-27 2023-06-13 齐鲁工业大学(山东省科学院) 一种基于方向特征驱动的焊缝目标跟踪方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339655A (zh) * 2008-08-11 2009-01-07 浙江大学 基于目标特征和贝叶斯滤波的视觉跟踪方法
CN101141633B (zh) * 2007-08-28 2011-01-05 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
CN102005052A (zh) * 2010-11-09 2011-04-06 浙江大学 基于核密度估计的遮挡人体跟踪方法
CN102324030A (zh) * 2011-09-09 2012-01-18 广州灵视信息科技有限公司 一种基于图像块特征的目标跟踪方法及跟踪系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120042248A1 (en) * 2010-02-11 2012-02-16 David Hyman Gradual visual fading of subsequent songs to represent a streaming playlist

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141633B (zh) * 2007-08-28 2011-01-05 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
CN101339655A (zh) * 2008-08-11 2009-01-07 浙江大学 基于目标特征和贝叶斯滤波的视觉跟踪方法
CN102005052A (zh) * 2010-11-09 2011-04-06 浙江大学 基于核密度估计的遮挡人体跟踪方法
CN102324030A (zh) * 2011-09-09 2012-01-18 广州灵视信息科技有限公司 一种基于图像块特征的目标跟踪方法及跟踪系统

Also Published As

Publication number Publication date
CN103426179A (zh) 2013-12-04

Similar Documents

Publication Publication Date Title
CN103426179B (zh) 一种基于均值偏移多特征融合的目标跟踪方法及装置
CN101339655B (zh) 基于目标特征和贝叶斯滤波的视觉跟踪方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN104200237B (zh) 一种基于核化相关滤波高速自动多目标跟踪方法
CN104899590B (zh) 一种无人机视觉目标跟随方法及系统
Dai et al. Multi-task faster R-CNN for nighttime pedestrian detection and distance estimation
CN104680559B (zh) 基于运动行为模式的多视角室内行人跟踪方法
CN107240122A (zh) 基于时空连续相关滤波的视频目标跟踪方法
CN106203274A (zh) 一种视频监控中行人实时检测系统及方法
CN108122247A (zh) 一种基于图像显著性和特征先验模型的视频目标检测方法
CN103886325B (zh) 一种分块的循环矩阵视频跟踪方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
Yu et al. Railway obstacle detection algorithm using neural network
CN104091348A (zh) 融合显著特征和分块模板的多目标跟踪方法
CN105654516B (zh) 基于目标显著性的卫星图像对地面弱小运动目标检测方法
CN107798691B (zh) 一种基于视觉的无人机自主着陆地标实时检测跟踪方法
CN103593679A (zh) 一种基于在线机器学习的视觉人手跟踪方法
CN113420607A (zh) 无人机多尺度目标检测识别方法
CN102393913A (zh) 一种基于光谱指纹特征的弱小目标精确跟踪方法
CN102289822A (zh) 一种多摄像机协同跟踪运动目标的方法
CN107808524A (zh) 一种基于无人机的道路交叉口车辆检测方法
CN103426178B (zh) 一种基于均值偏移的复杂场景下目标跟踪方法及装置
CN102116876B (zh) 基于轨迹编目模型的空间点目标天基探测方法
CN106056078A (zh) 一种基于多特征回归式集成学习的人群密度估计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant