CN103235950B - 一种目标检测图像处理方法 - Google Patents
一种目标检测图像处理方法 Download PDFInfo
- Publication number
- CN103235950B CN103235950B CN201310177205.2A CN201310177205A CN103235950B CN 103235950 B CN103235950 B CN 103235950B CN 201310177205 A CN201310177205 A CN 201310177205A CN 103235950 B CN103235950 B CN 103235950B
- Authority
- CN
- China
- Prior art keywords
- point
- gauss distribution
- target
- value
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种目标检测图像处理方法,将图像分为兴趣区和非兴趣区进行处理,在不同的区域采取不同的高斯分布个数和权值更新速率进行处理,同时通过更新不同的背景更新速率可以处理背景发生突变的情况,和前景目标静止的情况,有效地提高混合高斯背景更新算法检测红外目标的能力,仿真实验取得了较好的效果。
Description
技术领域
本发明属于图像处理技术,特别是一种基于改进的混合高斯背景更新算法的目标检测图像处理方法。
背景技术
现今,红外目标检测是在图像处理方面的热点和难点,如何在复杂背景中检测到信息量有限的红外目标,而且背景并不是完全不变的,这是现在研究红外目标检测的难点。针对红外目标检测的特殊特点,混合高斯背景更新算法明显优于光流法或背景帧差法等目标检测方法(1.李明之,马志强,单勇,张晓燕.复杂条件下高斯混合模型的自适应背景更新.计算机应用,2011,31(7):1831-1834)。这是由于背景帧差法无法处理背景光线的变化和噪声影响的情况(2.一种改进的高斯混合背景模型算法及仿真.计算机仿真,2007,24(11):190-193),而光流法无法分辨背景中如果存在规律变化的物体,如风吹摆动的树叶的情况(3.白向峰,李艾华,李喜来,李仁兵.新型背景混合高斯模型.中国图象图形学报,2011,16(6):983-988)。相比之下,混合高斯背景更新算法能够处理背景的上述这些情况,对这些情况的干扰有很好的抑制作用,具有很好的鲁棒性,因而在红外目标检测领域得到了广泛的应用。
然而传统的混合高斯背景更新算法存在着明显的缺陷。在传统的算法中,处理每帧图像时,每个像素点的高斯分布个数为固定的值Ν,对整帧图像每个像素点进行相同背景更新速率的处理。这样的算法就造成了缺陷有:(1)对非兴趣区域(没有出现目标点的区域)的反复运算,浪费了运算时间和存储空间;(2)当背景光线发生突然变化的时候,背景点和前景点的判别发生混乱,会将背景检测成为前景目标;(3)当检测到目标进入视场后,如果目标静止了,会自动将目标融入背景中,成为背景的一部分。
发明内容
本发明的目的在于提供一种能够快速地处理背景突变和目标静止的情况,并且能够准确分辨背景点和前景点的目标检测图像处理方法。
实现本发明目的的技术解决方案为:一种目标检测图像处理方法,步骤如下:
第一步,用第1帧图像的像素值对所有高斯分布进行初始化,每个像素点当作兴趣区的点来设置高斯分布个数Ν,第Τ帧图像的第Μ个像素的第Ι个高斯分布的权值为均值为方差为其中Α为每帧图像含有的像素点的总数;
第二步,用第2,3,…,Τ帧图像的像素值依次去匹配第1帧图像相应位置点的所有高斯分布,如果匹配成功,则把该点当作非兴趣区的点来设置权值更新率α、更新系数g、y,b、r和c,并且更新该点的所有高斯分布,Τ为图像的帧数;
第三步,如果第二步中的匹配不成功,判断背景是否发生突变,若背景发生突变,则将该点当作非兴趣区的点来设置权值更新率和更新系数;若背景未发生突变,则把该点当作兴趣区的点来设置权值更新率和更新系数,并且归一化权值,用该点的像素值替换最低优先级的高斯分布,用设置权值更新率和更新系数来更新除被替换掉的其他高斯分布;
第四步,记录当作兴趣区的点的坐标,这些点的最大范围是兴趣区和非兴趣区的分界线;
第五步,当每帧图像完成高斯分布参数的更新后,用现有的高斯分布建立高斯背景模型,建立好背景模型后,即可用每帧图像的像素值来检测目标,检测到目标后,判断目标是否静止,若目标静止,则设置当前最低优先级的高斯分布的更新系数。
本发明与现有技术相比,其显著优点:(1)其处理是分为兴趣区和非兴趣区进行的,在不同的区域采取不同的高斯分布个数和权值更新速率进行处理,有效地减少了算法的运算时间,节约了存储空间。(2)通过系数b、r和c来设置不同的背景更新速率,能够有效地处理背景发生突变的情况。(3)通过系数g和y来设置不同的背景更新速率,能够有效地处理前景目标静止的情况。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明目标检测图像处理方法的流程框图。
图2(a)是目标静止的原始图像,图2(b)是传统方法仿真结果,图2(c)是本发明仿真结果。
图3(a)是背景突变的原始图像,图3(b)是传统方法仿真结果,图3(c)是本发明仿真结果。
图4(a)是目标快速移动的原始图像,图4(b)是传统方法对目标检测结果,图4(c)是本发明对目标检测结果。
图5(a)是目标静止的原始图像,图5(b)是传统方法对目标的检测结果,图5(c)是本发明对目标的检测结果。
具体实施方式
本发明混合高斯背景更新方法的基本原理是依据期望最大化算法(即EM算法)得出的,以极大似然估计的方法估计图像的背景模型,再用背景模型与图像进行对比得到前景目标。由于每个像素点的亮度服从高斯分布,如点(x,y)的亮度值I(x,y)~N(μ,σ),每个像素点的属性可以由该点服从的高斯分布的μ和σ来表示,因此混合高斯背景更新算法建立背景模型和匹配目标点时是使用高斯分布进行更新和匹配的。
对于第Τ帧图像的第Μ个像素的像素值JΜ,Τ的概率分布为
式(13)中,ωΜ,Ι,Τ表示第Τ帧图像的第Μ个像素的第Ι个高斯分布的权值,ΣΜ,Ι,Τ表示第Τ帧图像的第Μ个像素的第Ι个高斯分布的协方差,ΣΜ,Ι,Τ=(σΜ,Ι,Τ)2Ι,第Τ帧图像的第Μ个像素的第Ι个高斯分布的概率密度函数η(JΜ,Τ,μΜ,Ι,Τ,ΣΜ,Ι,Τ)表示为
式(14)中θ指像素值的维数,对于灰度图像,θ=1。
在混合高斯背景更新法中,高斯分布的均值和方差的学习能力决定了高斯模型的学习能力,均值和方差的更新速率决定了背景更新速率。每个像素点的高斯分布个数Ν的大小表示了背景模型细节复杂程度,Ν的值越大,背景模型的细节表示的越详细,运算量也迅速增大。
本发明目标检测图像处理方法步骤如下:
步骤一,用第1帧图像的像素值对所有高斯分布进行初始化,每个像素点的高斯分布个数Ν=3e,e的取值是根据背景模型要求的细节详细程度确定,其初始值可以为2-10,则第Τ帧图像的第Μ个像素的第Ι个高斯分布的权值为均值为方差为其中Α为每帧图像含有的像素点的总数。本文改进的自适应混合高斯背景更新算法流程如附图1基于改进的混合高斯背景更新算法的目标检测方法的流程框图所示。
步骤二,用第2,3,…,Τ帧图像的像素值依次去匹配第1帧图像相应位置点的所有高斯分布,如果匹配成功,则把该点当作非兴趣区的点来设置权值更新率α、更新系数g、y,b、r和c,并且更新该点的所有高斯分布,Τ为图像的帧数。
下面以第2帧为例进行说明。用第Τ帧图像的每个像素点的像素值依次去匹配第1帧图像相应位置的所有高斯分布,匹配点必须满足
|JΜ,Τ-μΜ,Ι,Τ|<3σΜ,Ι,Τ(15)
对于第2帧图像,式(15)中的Τ=2。
在Ν个高斯分布中如果存在匹配于该点像素值的高斯分布,这Ν个高斯分布是按照优先级计算公式的大小,优先级从高到低排列,第Φ个高斯分布与该点像素值匹配的话,通过以下函数公式(16)、(17)、(18)更新该高斯分布的权值、均值和方差,
μΜ,Φ,Τ=(1-β)μΜ,Φ,Τ-1+β·JΜ,Τ(17)
(σΜ,Φ,Τ)2=(1-β)(σΜ,Φ,Τ-1)2+β·(JΜ,Τ-μΜ,Φ,Τ)Τ(JΜ,Τ-μΜ,Φ,Τ)(18)
其中,权值更新率α=10-e,系数g用以处理目标停止融入背景的情况,初始值g=0,系数r用以处理背景突变的情况,初始值
式(16)中,b=∑r,模型学习率β和权值更新率α之间存在关系可表示为
β∝α·η(JΜ,Τ|μΜ,Τ,σΜ,Τ)(19)
因此,令
其中,y=∑g,并且,其它的Ν-1个高斯分布只需要更新其权值,例如第Ι个高斯分布(Ι≠Φ)的权值更新为
步骤三,如果第二步中的匹配不成功,判断背景是否发生突变,若背景发生突变,则将该点当作非兴趣区的点来设置权值更新率和更新系数,若背景未发生突变,则把该点当作兴趣区的点来设置权值更新率和更新系数,并且归一化权值,用该点的像素值替换最低优先级的高斯分布,用设置权值更新率和更新系数来更新除被替换掉的其他高斯分布。具体如下:
如果在Ν个高斯分布中不存在匹配于该点像素值的高斯分布,则需要先判断是否是背景发生了突变,判断背景是否发生突变的判断依据是
其中,Ν1表示这帧中前景像素点的个数,Τ1表示定义发生背景突变的阈值,Τ1的取值要满足0<Τ1<1,本发明中取值Τ1=0.65实验效果较好。
当满足式(22)时,背景发生突变,r的值还要根据式(26)和该点的像素值JΜ,Τ进行计算,并且将这个r的值累加到b的值中。当式(22)不满足时,在执行高斯分布参数的更新时令r=0,归一化所有权值,同时用根据该点的像素值JΜ,Τ产生的新的高斯分布代替Ν个高斯分布中优先级最低的高斯分布,新的高斯分布的权值设为均值设为该点的像素值,而方差一般设为1~10,本发明中取值为3。并且要记录该点的坐标,兴趣区的初始值为整帧图像的矩形大小。这样就当背景发生突变时,本文改进的算法有效地自适应增大了背景更新速率而使背景尽快适应改变后的情况,快速建立背景模型。
步骤四,后面的每帧(T≥2)图像依照上述步骤二、三的算法过程更新高斯分布的参数,当更新过每帧的高斯分布参数后,在步骤三中记录下来的点,取这些点中的边缘点的坐标画出矩形作为新的兴趣区边缘(分界线)。在兴趣区内的点在匹配和更新高斯分布时e=2,在非兴趣区的点在匹配和更新高斯分布时e=1,这样就将图像自适应地处理划分为兴趣区和非兴趣区,使背景更新算法在兴趣区内的每个像素点以较多的高斯分布个数Ν=6和缓慢更新的权值更新率α=0.01进行匹配,在非兴趣区内的每个像素点以较少的高斯分布个数Ν=3和快速更新的权值更新率α=0.1进行匹配,这样有效地减少了算法的运算时间,节约了存储空间。
步骤五,当每帧图像完成高斯分布参数的更新后,用所有的高斯分布建立高斯背景模型,建立高斯背景模型为
其中argυmin(·)表示在满足括号内的条件下,υ可以取到的最小值,Τυ要满足条件0<Τυ<1,如本发明中取值Τυ=0.85实验效果较好。
建立好背景模型后,即可用每帧图像的像素值来检测目标,与建立的背景模型的所有高斯分布都不匹配的点即为前景点,检测到前景目标后,需要判断目标是否静止,判断的依据是,将该帧的这个像素点的像素值与上一帧的这个位置的点的高斯分布进行匹配,匹配满足
|JΜ,Τ-μΜ,Ι,Τ-1|<σΜ,Ι,Τ-1(24)
因此,若前景目标点同时满足
并且匹配次数Ζ>Τ2则认为目标静止,Τ2表示定义目标静止的阈值,其取值与实际情况中目标运动速度有关,Τ2越小,判定目标静止越灵敏,但误判的概率越大,如本发明中取值Τ2=50-100实验效果较好。当判断出前景目标静止后,使当前最低优先级的高斯分布的更新系数g=1,同时将这个g的值累加到y的值中,这样有效减小了背景更新速率,使静止的目标拖延阻止它融入背景。
本发明目标检测图像处理方法的样例效果测试例一
此样例测试步骤为:对运动检测到的目标在视场中静止的情况和背景光线发生改变的情况分别用传统算法和本发明目标检测图像处理方法进行处理。
执行上述测试步骤,对运动检测到的目标在视场中静止的情况的处理结果为,如图2为传统方法和本发明的方法对目标静止情况处理的对比图:图2(a)为目标静止的原始图像,当目标静止时,如图2(b)所示的传统算法检测到的目标已经融入了背景中,如图2(c)所示的本文改进的算法有效地推迟了目标融入背景中的时间。在背景光线发生改变的情况中,如图3为传统方法和本发明的方法对背景突变情况处理的对比图:图3(a)为背景突变的原始图像,当背景光线发生变化时,如图3(b)所示的传统算法将背景也检测为前景目标,而如图3(c)所示的本文改进的算法有效增快了背景更新速率,建立起新的背景模型以适应新的光线情况,正确检测出了目标和背景。
本发明目标检测图像处理方法的样例效果测试例二
此样例测试步骤为:对目标在视场中运动迅速的情况和运动目标遗留下物体的情况分别用传统算法和本发明目标检测图像处理方法进行处理。
执行上述测试步骤,效果如图4为传统方法和本发明的方法对目标快速移动情况处理的效果对比图:图4(a)为目标快速移动的原始图像,对目标在视场中运动迅速的情况,如图4(b)所示的传统算法检测到的目标中有拖影而造成检测错误,如图4(c)所示的本文改进的算法有效地划分出兴趣区(黑色框内部分),并正确检测到前景目标。如图5为传统方法和本发明的方法对目标静止情况的检测效果对比图:图5(a)为目标静止的原始图像,对于运动目标遗留下物体的情况,如图5(b)所示的传统算法检测到的,目标(放下的杯子)静止后融入了背景,如图5(c)所示的本文改进的算法有效检测到了静止后的前景目标。
Claims (1)
1.一种目标检测图像处理方法,其特征在于步骤如下:
第一步,用第1帧图像的像素值对所有高斯分布进行初始化,每个像素点当作兴趣区的点来设置高斯分布个数Ν,第Τ帧图像的第Μ个像素的第Ι个高斯分布的权值为均值为方差为其中Α为每帧图像含有的像素点的总数;
第二步,用第2,3,…,Τ帧图像的像素值依次去匹配第1帧图像相应位置点的所有高斯分布,如果匹配成功,则把该点当作非兴趣区的点来设置权值更新率α、更新系数g、y,b、r和c,并且更新该点的所有高斯分布,Τ为图像的帧数;
第三步,如果第二步中的匹配不成功,判断背景是否发生突变,若背景发生突变,则将该点当作非兴趣区的点来设置权值更新率和更新系数;若背景未发生突变,则把该点当作兴趣区的点来设置权值更新率和更新系数,并且归一化权值,用该点的像素值替换最低优先级的高斯分布,用设置权值更新率和更新系数来更新除被替换掉的其他高斯分布;
第四步,记录当作兴趣区的点的坐标,这些点的最大范围是兴趣区和非兴趣区的分界线,就是当更新过每帧的高斯分布参数后,在步骤三中记录下来的点,取这些点中的边缘点的坐标画出矩形作为新的兴趣区边缘,即分界线;
第五步,当每帧图像完成高斯分布参数的更新后,用所有的高斯分布建立高斯背景模型,建立好背景模型后,即可用每帧图像的像素值来检测目标,检测到目标后,判断目标是否静止,若目标静止,则设置当前最低优先级的高斯分布的更新系数;
所述第二步中的匹配、更新方法为:
用第Τ帧图像的每个像素点的像素值依次去匹配第1帧图像相应位置的所有高斯分布,匹配点满足公式为:
|JΜ,Τ-μΜ,Ι,Τ|<3σΜ,Ι,Τ(15)
JΜ,Τ是指第Τ帧图像的第Μ个像素的像素值,Τ为图像的帧数;在Ν个高斯分布中如果存在匹配于该点像素值的高斯分布,这Ν个高斯分布是按照优先级计算公式的大小,优先级从高到低排列,第Φ个高斯分布与该点像素值匹配的话,通过以下函数公式(16)、(17)、(18)更新该高斯分布的权值、均值和方差:
μΜ,Φ,Τ=(1-β)μΜ,Φ,Τ-1+β·JΜ,Τ(17)
(σΜ,Φ,Τ)2=(1-β)(σΜ,Φ,Τ-1)2+β·(JΜ,Τ-μΜ,Φ,Τ)Τ(JΜ,Τ-μΜ,Φ,Τ)(18)
其中,权值更新率α=10-e,更新系数g用以处理目标停止融入背景的情况,初始值g=0,更新系数r用以处理背景突变的情况,初始值为
式(16)中,b=∑r,模型学习率β和权值更新率α之间存在关系表示为
β∝α·η(JΜ,Τ|μΜ,Τ,σΜ,Τ)(19)
因此,令
其中,y=∑g,并且,其他的Ν-1个高斯分布只需要更新其权值,第Ι个高斯分布的权值更新为
其中Ι≠Φ;
所述第三步中对背景突变情况的处理方法如下:
如果在Ν个高斯分布中不存在匹配于该点像素值的高斯分布,则需要先判断是否是背景发生了突变,判断背景是否发生突变的判断依据是
其中,Ν1表示这帧中前景像素点的个数,Τ1表示定义发生背景突变的阈值,Τ1的取值要满足0<Τ1<1;
当满足式(22)时,背景发生突变,r的值还要根据式(26)和该点的像素值JΜ,Τ进行计算,并且将这个r的值累加到b的值中;当式(22)不满足时,在执行高斯分布参数的更新时令r=0,归一化所有权值,同时用根据该点的像素值JΜ,Τ产生的新的高斯分布代替Ν个高斯分布中优先级最低的高斯分布,新的高斯分布的权值设为均值设为该点的像素值,而方差设为1~10,并且要记录该点的坐标,兴趣区的初始值为整帧图像的矩形大小;
所述第五步处理目标静止情况方法为:
首先,当每帧图像完成高斯分布参数的更新后,用所有的高斯分布建立高斯背景模型,建立高斯背景模型ΟΜ为
其中argυmin(·)表示在满足括号内的条件下,υ取到的最小值,0<Τυ<1;
其次,建立好背景模型后,即可用每帧图像的像素值来检测目标,与建立的背景模型的所有高斯分布都不匹配的点即为前景点,检测到前景目标后,需要判断目标是否静止,判断的依据是,将该帧的这个像素点的像素值与上一帧的这个位置的点的高斯分布进行匹配,匹配满足
|JΜ,Τ-μΜ,Ι,Τ-1|<σΜ,Ι,Τ-1(24)
因此,若前景目标点同时满足
并且匹配次数Ζ>Τ2则认为目标静止,Τ2表示定义目标静止的阈值;当判断出前景目标静止后,使当前最低优先级的高斯分布的更新系数g=1,同时将这个g的值累加到y的值中,使静止的目标拖延阻止它融入背景。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310177205.2A CN103235950B (zh) | 2013-05-14 | 2013-05-14 | 一种目标检测图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310177205.2A CN103235950B (zh) | 2013-05-14 | 2013-05-14 | 一种目标检测图像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103235950A CN103235950A (zh) | 2013-08-07 |
CN103235950B true CN103235950B (zh) | 2016-07-06 |
Family
ID=48883989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310177205.2A Expired - Fee Related CN103235950B (zh) | 2013-05-14 | 2013-05-14 | 一种目标检测图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103235950B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105303581B (zh) * | 2014-06-12 | 2018-12-14 | 南京理工大学 | 一种自适应参数的运动目标检测方法 |
CN105205834A (zh) * | 2015-07-09 | 2015-12-30 | 湖南工业大学 | 一种基于混合高斯及阴影检测模型的目标检测与提取方法 |
CN106204586B (zh) * | 2016-07-08 | 2019-07-19 | 华南农业大学 | 一种基于跟踪的复杂场景下的运动目标检测方法 |
CN109300182B (zh) * | 2017-07-25 | 2023-08-01 | 中国移动通信有限公司研究院 | 全景图像数据处理方法、处理设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100065677A (ko) * | 2008-12-08 | 2010-06-17 | 한국전자통신연구원 | 고해상도 영상에서의 효과적인 움직이는 다중 물체 검출 방법 및 시스템 |
CN102567994B (zh) * | 2011-12-31 | 2014-08-20 | 南京理工大学 | 基于角点高斯特性分析的红外小目标检测方法 |
-
2013
- 2013-05-14 CN CN201310177205.2A patent/CN103235950B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN103235950A (zh) | 2013-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110705601A (zh) | 基于单阶段目标检测的变电站设备渗漏油图像识别方法 | |
US8331650B2 (en) | Methods, systems and apparatus for defect detection | |
KR20190063839A (ko) | 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템 | |
JP2018200685A (ja) | 完全教師あり学習用のデータセットの形成 | |
CN103235950B (zh) | 一种目标检测图像处理方法 | |
CN110348437B (zh) | 一种基于弱监督学习与遮挡感知的目标检测方法 | |
US9025889B2 (en) | Method, apparatus and computer program product for providing pattern detection with unknown noise levels | |
CN105718890A (zh) | 一种基于卷积神经网络的特定视频检测方法 | |
CN110458022B (zh) | 一种基于域适应的可自主学习目标检测方法 | |
CN108364305B (zh) | 基于改进型dsst的车载摄像视频目标跟踪方法 | |
CN110969200A (zh) | 基于一致性负样本的图像目标检测模型训练方法及装置 | |
CN114419323A (zh) | 基于跨模态学习与领域自适应rgbd图像语义分割方法 | |
CN114842343A (zh) | 一种基于ViT的航空图像识别方法 | |
CN114998595B (zh) | 弱监督语义分割方法、语义分割方法及可读存储介质 | |
WO2020119624A1 (zh) | 一种基于深度学习的类别敏感型边缘检测方法 | |
CN113343123B (zh) | 一种生成对抗多关系图网络的训练方法和检测方法 | |
CN107564045B (zh) | 基于梯度域引导滤波的立体匹配方法 | |
CN116758360B (zh) | 土地空间用途管理方法及其系统 | |
Song et al. | A single image dehazing method based on end-to-end cpad-net network in deep learning environment | |
CN110728229A (zh) | 图像处理方法、装置、设备和存储介质 | |
WO2023273570A1 (zh) | 一种目标检测模型训练方法、目标检测方法及其相关设备 | |
CN113780462B (zh) | 基于无人机航拍图像的车辆检测网络建立方法及其应用 | |
CN111368792B (zh) | 特征点标注模型训练方法、装置、电子设备及存储介质 | |
CN115083355A (zh) | 显示控制方法、电子纸显示装置、电子设备和可读存储介质 | |
CN114022768A (zh) | 一种基于语义先验和概率传播的视觉slam定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160706 Termination date: 20180514 |