CN102087790B - 一种低空对地车辆检测与运动分析的方法和系统 - Google Patents
一种低空对地车辆检测与运动分析的方法和系统 Download PDFInfo
- Publication number
- CN102087790B CN102087790B CN 201110053763 CN201110053763A CN102087790B CN 102087790 B CN102087790 B CN 102087790B CN 201110053763 CN201110053763 CN 201110053763 CN 201110053763 A CN201110053763 A CN 201110053763A CN 102087790 B CN102087790 B CN 102087790B
- Authority
- CN
- China
- Prior art keywords
- region
- training
- sample
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Abstract
本发明公开了一种低空对地车辆检测与运动分析的方法和系统,预先在视频帧中截取正样本和负样本作为训练样本,该方法包括:依据训练样本划分的特征块对所述训练样本进行循环训练,得到训练样本各个单元格梯度方向的各区间的弱分类器;将所述弱分类器组合得到各个单元格对应的强分类器;将所有强分类器的输出值作为特征向量,训练得到支持向量机分类器,利用支持向量机分类器进行车辆检测,当检测到车辆时标注为车辆区域;计算相邻图像帧中扫描窗口扫描到的图像区域与所述车辆区域之间的颜色空间相似度;比较空间颜色相似度得到同一辆车的运动轨迹,并进行运动分析。该方法能提高低空对地车辆检测的准确率,并能提高车辆运动分析的准确度。
Description
技术领域
本发明涉及智能交通领域,更具体的说是涉及一种低空对地车辆检测与运动分析的方法和系统。
背景技术
低空对地城市交通监控系统主要是利用无人驾驶飞机搭载摄像头拍摄城市道路交通信息。利用低空对地城市交通监控系统能缓解交通拥挤,并能有效的减少交通事故,因此低空对地平台下检测道路交通中的运动车辆以及其相应的运动信息已经成为研究界和产业界极为关注的关键技术。
现有的车辆检测方法主要有帧差法、背景差分法等。其中,帧差法是指在图像序列中的连续两帧或三帧之间采用基于像素点的时间差分并且阈值化来提取图像中的运动车辆区域,但帧差法受环境影响较大,因此主要针对静态平台的车辆检测,对于具有高动态性的低空对地平台的车辆检测方法并不适用。背景差分法是指首先在视频帧中选取背景图像,然后将当前视频帧和背景图像相减,进行背景消去,若所得到的像素数大于某一阀值,则判定被监视场景中存在运动物体,进一步得到运动车辆,但是由于低空对地拍摄的视频图像中很难获得比较准确的背景信息,因此利用背景差分法法检测车辆时,可能会将非车辆的运动物体误检测为车辆,得到的检测结果不准确。
在检测到车辆后,需要对车辆进行运动分析,而现有的运动分析方法都较为复杂,对于车辆的运动分析不够准确。如采用卡尔曼滤波方法是对动态行为的状态估计和预测,依据初始帧中车辆的位置,对下一帧图像中车辆的位置进行定量推断。但该方法在进行车辆分析时受噪声干扰较大,导致运动分析不够准确。
因此,目前需要本领域技术人员迫切解决的一个技术问题就是:如何提高低空对地车辆检测的准确率,并能最终提高车辆的运动分析的准确度。
发明内容
有鉴于此,本发明提供一种低空对地车辆检测与运动分析的方法和系统,该方法能提高低空对地车辆检测的准确率,并能提高车辆运动分析的准确度。
为实现上述目的,本发明提供如下技术方案:一种低空对地车辆检测与运动分析的方法,预先在拍摄的视频帧中截取正样本和负样本,将所述正样本和负样本作为训练样本,该方法包括:
依据训练样本划分的特征块对所述训练样本进行循环训练,得到训练样本中各个单元格梯度方向的各区间对应的弱分类器,其中,所述特征块由多个单元格组成;
依据训练得到的所述弱分类器的权重,将所述弱分类器组合得到各个单元格对应的强分类器;
将所有强分类器的输出值作为特征向量,训练得到支持向量机分类器,并利用所述支持向量机分类器对扫描窗口扫描到的图像区域进行检测,当检测到图像区域为车辆时,将所述图像区域标注为车辆区域;
计算相邻图像帧中扫描窗口扫描到的图像区域与所述车辆区域之间的颜色空间相似度;
比较所述计算得到的空间颜色相似度得到同一辆车的运动轨迹,并进行运动分析。
优选的,依据训练样本划分的特征块对所述训练样本进行循环训练,包括:
分别依据训练样本的划分特征块的多种标准,对所述训练样本进行循环训练。
优选的,在得到所述各区间值对应的弱分类器之前,还包括:
在循环训练过程中,计算各个单元格中各个像素点的梯度值和梯度方向,并利用所述梯度值和梯度方向得到所述训练样本的梯度方向直方图,依据所述梯度方向直方图确定各个区间的区间值;
所述训练所述训练样本得到所述各个单元格梯度方向的各区间对应的弱分类器,具体为:
其中,hji(x)表示第j个单元格里面的第i个区间对应的弱分类器;x表示输入的训练样本;fji(x)表示第j个单元格里第i个区间的区间值;θji是为fji(x)做选择的阈值;pi为极性参数,用来改变不等式的方向,取值为1或-1。
优选的,所述训练得到支持向量机分类器之后,还包括:
将所述训练样本输入支持向量机分类器,测试所述支持向量机分类器的分类性能;
当测试中出现被分错的样本时,依据划分的特征块重新对被分错的样本进行循环训练,并最终得到被分错的样本中各个单元格对应的强分类器;
将针对所有样本进行训练时得到的强分类器和针对被分错的样本得到的强分类器的输出作为特征向量,重新训练得到支持向量机分类器。
优选的,所述计算相邻图像帧中扫描窗口扫描到的图像区域与所述车辆区域之间颜色空间相似度,包括:
A、计算第t帧图像中车辆区域i的颜色直方图以及与所述第t帧相邻的第t+1帧图像中扫描窗口扫描到图像区域j的颜色直方图其中,n=1,…N,N=NhNs+Nv,Nh颜色直方图模型中的色度,NS为颜色直方图模型中的饱和度,Nv为颜色直方图中模型中的亮度;
其中,表示车辆区域i中的中心,表示相邻帧中的图像区域j的中心,,σx表示车辆区域i与所述图像区域j的位置x方向可能的最大偏差,σy表示车辆区域i与所述图像区域j的位置y方向可能出现的最大偏差,σH为车辆区域i与所述图像区域j的宽度最大偏差,σW为车辆区域i与所述图像区域j的高度最大偏差,λ表示扫描窗口的窗口位置和窗口大小的权重,Hc1为车辆区域所在图像帧的扫描窗口的宽度,Hc2为所述相邻帧的扫描窗口的宽度,Wc1为车辆区域所在图像帧中扫描窗口的高度,Wc2为所述相邻帧中扫描窗口的高度,a表示扫描窗口中任意一点到中心点的最大距离;
优选的,所述比较所述计算得到的空间颜色相似度得到同一辆车的运动轨迹,包括:
比较计算得到的颜色空间相似度,将颜色空间相似度最高的图像区域认为与所述车辆区域为同一辆车,得到同一辆车的运动轨迹。
对应本发明的方法,本发明还提供了一种低空对地车辆检测与运动分析的系统,预先在拍摄的视频帧中截取正样本和负样本,将所述正样本和负样本作为训练样本,该系统包括:
第一训练单元,用于依据训练样本划分的特征块对所述训练样本进行循环训练,得到训练样本中各个单元格梯度方向的各区间对应的弱分类器,其中,所述特征块由多个单元格组成;
第二训练单元,用于依据第一训练单元训练得到的所述弱分类器的权重,将所述弱分类器组合得到各个单元格对应的强分类器;
第三训练单元,用于将所有强分类器的输出值作为特征向量,训练得到支持向量机分类器;
车辆检测单元,用于利用第三训练单元训练的支持向量机分类器对扫描窗口扫描到的图像区域进行检测,当检测到图像区域车辆时,将所述图像区域标注为车辆区域;
相似度计算单元,用于计算相邻图像帧中扫描窗口扫描到的图像区域与所述车辆区域之间的颜色空间相似度;
运动分析单元,用于比较所述计算得到的空间颜色相似度得到同一辆车的运动轨迹,并进行运动分析。
优选的,所述系统还包括:
测试单元,用于将所述训练样本输入支持向量机分类器,测试所述支持向量机分类器的样本分类性能;
错样本训练单元,用于当测试所述支持向量机过程中出现被分错的样本时,依据划分的特征块重新对被分错的样本进行循环训练,并最终得到被分错的样本中各个单元格对应的强分类器;
重训练单元,用于将第二训练单元和错样本训练单元得到的强分类器的输出作为特征向量,重新训练得到支持向量机分类器。
优选的,所述运动分析单元,具体为:
用于比较计算得到的颜色空间相似度,将颜色空间相似度最高的图像区域认为与所述车辆区域为同一辆车,得到同一辆车的运动轨迹,并进行车辆的运动分析。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种低空对地车辆检测与运动分析的方法和系统,该方法通过对训练样本进行循环训练,首先得到各个单元格梯度方向的各区间对应的弱分类器,由于训练得到的弱分类器是对应单元格梯度方向的各区间的,在训练过程中能得到描述车辆表象和形状的特征,使训练得到的分类器分类性能较好,同时依据得到的弱分类器的权重,组合得到各个单元格对应的强分类器,并最终训练得到支持向量机分类器,这样经过训练的得到的支持向量分类器也具有分类性能较好的特点,能提高车辆检测的准确度;同时通过计算空间颜色相似度,能获得车辆区域与相邻图像帧中的图像区域的相似度信息,利用得到的相似度信息可以比较准确的找到相邻图像帧中与该车辆区域中的车辆为同一辆车的信息,从而提高了车辆运动分析的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例一种低空对地车辆检测与运动分析的方法的步骤流程图;
图2为本发明中训练样本中特征块与单元格的结构示意图;
图3为本发明中支持向量机分类器的分类原理示意图;
图4为本发明另一实施例的一种低空对地车辆检测与运动分析的方法的步骤流程图;
图5为本发明实施例的一种低空对地车辆检测与运动分析的系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,为本发明实施例一的步骤流程图,预先在拍摄的视频帧中截取正样本和负样本,将所述正样本和负样本作为训练样本,该方法包括:
步骤S101:依据训练样本划分的特征块对所述训练样本进行循环训练,得到训练样本各个单元格梯度方向的各区间对应的弱分类器,其中,所述特征块由多个单元格组成;
在对低空对地进行车辆检测前,需要在低空对地拍摄的视频帧中截取正样本和负样本,以将所述正样本和负样本作为训练分类器所需要的训练样本。其中正样本,是指在视频帧中通过人工截取的包含车辆的图像样本。负样本,是指在视频帧中通过人工截取的不是车辆但与车辆非常接近的图像样本,如,一些容易被误认为是车辆的运动物体。
在获取到训练样本后可以根据实际需要将训练样本进行缩放,如,将训练样本缩放为32*16大小的样本,即训练样本的长度为32像素,宽度为16像素。当然也可以根据实际需要对训练样本进行缩放。
本发明是基于提升的梯度直方图(Boosting HOG,Boosting Histograms ofOriented Gradient)特征训练得到各个区间对应的弱分类器,并将弱分类器进行组合得到强分类器。
循环训练的过程中通过计算Boosting HOG特征得到弱分类器的过程中首先计算各个单元格(cell)中各个像素点的梯度值和梯度方向,依据各个像素点的梯度方向和梯度值确定各个区间的区间值。具体的计算过程如下:
1)计算各像素点的梯度值:
具体的计算过程如下:按照如下方法计算水平方向和垂直方向的梯度幅值:
Gx(x,y)=H(x+1,y)-H(x-1,y) (公式一)
Gy(x,y)=H(x,y+1)-H(x,y-1) (公式二)
Gx(x,y)表示训练样本的像素点(x,y)的水平方向梯度的幅值,Gy(x,y)表示训练样本的像素点(x,y)的垂直方向梯度的幅值。H(x,y)表示训练样本的图像在像素点(x,y)处的灰度值。
2)利用如上计算得到的梯度幅值Gx(x,y)和Gy(x,y),并依据公式三计算得到像素点的梯度值,即梯度大小:
利用Gx(x,y)和Gy(x,y),并依据公式四计算得到像素点的梯度方向:
3)依据各个像素点的梯度方向,确定各个像素点归属的区间,并依据各个像素点的幅值,最终确定各区间的区间值。
根据计算的各像素点的梯度方向以及梯度值,归一化之后结果即为对应方向梯度直方图。依据得到的直方图可以确定各个单元格梯度方向各区间的区间值。例如,把的梯度方向均匀划分为9个区间(bin),各像素点在分量区间上的幅值为:
在梯度方向范围内,像素点在分类区间的幅值为该像素点的梯度大小,若不在梯度方向范围内,其幅值为0。利用公式五,并通过样本输入计算最终得到9个区间的各自的区间值,
计算得到各个像素点的梯度直方图后经过处理得到各个像素点的区间值,对训练样本进行不断计算得到各个区间对应的弱分类器,即,Boosting HOG特征针对上面梯度直方图(HOG)特征中每个区间对应一个弱分类器,最终得到的弱分类器为:
hji(x)表示第j个单元格里面的第i个区间对应的弱分类器,其中x表示输入的训练样本;fji(x)表示第j个单元格里第i个区间的区间值,是由各像素点在分量区间上的幅值确定的;θji是为fji(x)做选择的阈值,通过不断的样本输入计算得到;pi为极性参数,用来改变不等式的方向,取值为1或-1。
一个弱分类器的最终结果对应一个判定结果值,为1时认为其是车辆,为-1时认为是非车辆。
其中,单元格是指在计算梯度直方图特征时,将图像区域划分为的小连通区域,如单元格的大小可以为4*4的大小,即单元格的长度为4像素,宽度为4像素。在计算梯度直方图时需要采集单元格中各像素点的梯度或边缘方向的直方图,其中每个梯度方向对应一个区间,最后把这些直方图组合起来就可以构成HOG特征描述器。为了提高性能,还可以把这些局部直方图在更大的范围内进行对比归一化,即在由若干个单元格组成的特征块中进行对比归一化。
参见图2,为训练样本划分的特征块与单元格的结构示意图,可见一个特征块由多个单元格组成,各个特征块之间可能存在重叠,一个单元格可能由不同的特征块共享。单元格的归一化基于不同的特征块的,所以计算结果也不一样,因此,一个单元格的特征会以不同的结果出现在最后计算的向量中。
具体的,在对训练样本进行训练前需设定各个训练样本的权重,因此在依据训练样本划分的特征块对所述训练样本进行循环训练之前,还包括:
初始化训练样本权重wt,i:
其中,权重是表明训练样本的分类难易的程度。越是容易被分类的训练样本其权重越低,越是不容易分类的训练样本其权重越高。
在训练样本进行循环训练的过程中,训练样本的权重会在每次循环后都更新一遍,增加不容易分类的训练样本的权重,并降低容易分类的训练样本的权重,经过多次循环训练就得到了训练样本各个区间对应的弱分类器。由于对训练样本训练过程中通过计算梯度方向直方图,得到各个区间的特征,通过计算梯度和边缘方向密度分布很好的描述车辆的表象和形状特征,同时通过循环训练不断改变训练样本的权重,得到对训练样本中车辆分类性能较好弱分类器。
步骤S102:依据训练得到的所述弱分类器的权重,将所述弱分类器组合得到各个单元格对应的强分类器;
强分类器是由弱分类器组合得到的,弱分类器组合得到强分类器的过程是最优化的过程,目的是要达到对训练样本分类正确率最优。这种正确率最优是指每个样本的权重最优。将得到的各个区间对应弱分类器经过循环迭代组合得到各个单元格对应的强分类器。
其中,由弱分类器得到强分类器的迭代过程如下:
所有训练样本(x1,y1),...,(xn,yn),yi={-1,1},x和y分别表示训练样本图像和对应的分类类别,y为-1时表示弱分类器中分类结果为非车辆,y为1时表示弱分类器的分类结果为车辆。
对于迭代次数t=1、2、3、···T来说:
a)首先初始化训练样本的权重:
m和n分别表示正样本和负样本数量。
b)在循环迭代的过程中每次迭代都需要首先将训练样本的权重标准化:
其中,wt,i表示训练样本i在第t次迭代的标准化权重wt,it=1,...,T;T表迭代的次数。
C)对于每个弱分类器hj,分类误差为
其中j表示弱分类器的在迭代过程中的编号,wi为第i个训练样本的权重。
迭代过程中,选出分类误差最小的弱分类器,使用选出的分类误差最小的分类器对所有训练样本进行分类,如果分类过程中训练样本分类正确,权重不变,若训练样本被分错,则更新被分错的训练样本的权重:
其中 εt表示选择的弱分类的最小误差。
即,在迭代过程中国,当使用误差最小的弱分类器对训练样本分类时,如果将正样本(包含训练样本图像中为车辆)误分类为负样本(训练样本图像中不包含车辆),或者将负样本误分为正样本,则更新被分错的样本的权重。
d)所有迭代结束后,最终单元格k对应的强分类器为:
因此Boosting HOG特征最后的计算结果为一系列强分类器(adaboost分类器)的输出,该值用作SVM训练时的特征向量。
步骤S103:将所有强分类器的输出值作为特征向量,训练得到支持向量机分类器,并利用所述支持向量机分类器对扫描窗口扫描到的图像区域进行检测,当检测到图像区域为车辆时,将所述图像区域标注为车辆区域;
将步骤S102中得到的所有的强分类器的输出值作为特征向量,训练支持向量机(SVM,Support Vector Machine)分类器。
其中,在利用强分类器的输出值作为特征向量训练得到支持向量机的过程中,通过计算会得到一个优化阀值,在利用SVM分类器进行车辆检测时,将扫描窗口扫描到的图像区域输入SVM分类器,通过对输入的图像区域进行计算,当计算结果大于该优化阀值时,则该图像区域为车辆;当计算结果小于该优化阀值时,则该图像区域不是车辆。当输入的图像区域被检测为车辆时,对该图像区域进行标注,将该图像区域标注为车辆区域。
具体检测车辆分类过程的原理参见图3,在该图中,C1和C2分别表示要区分的两个类别,在本发明中C1和C2分别表示车辆和非车辆,中间的直线是一个分类面,利用分类函数可以对输入的训练样本或扫描窗口扫描到的图像区域进行分类,区分训练样本为车辆或非车辆,或者是图像区域为车辆或非车辆。
例如,SVM分类函数表示为:f(x)=wx+b,假设训练过程中通过计算得到的优化阀值为0,因此当输入样本图像为xi需要判别的时候,我们就看f(xi)的值。若f(xi)>0,就判别为类别C1,若f(xi)<0,则判别为类别C2。此时也等价于给函数f(x)附加一个符号函数sgn(),即g(x)=sgn[f(x)]是我们真正的判别函数。需要说明的是:关于f(x)=wx+b这个表达式中的x不是二维坐标系中的横轴,而是样本的向量表示,如一个样本点的坐标是(3,8),则xT=(3,8),而不是x=3(一般说向量都是说列向量,因此以行向量形式来表示时,就加上转置)。另外,这个x的形式并不局限于二维的情况,在n维空间中仍然可以使用这个表达式,只是式中的w成为了n维向量;在图2中,f(x)不是中间那条直线的表达式,中间那条直线的表达式是f(x)=0,即wx+b=0,我们也把这个函数叫做分类面。
步骤S104:计算相邻图像帧中扫描窗口扫描到的图像区域与所述车辆区域之间的颜色空间相似度;
其中,扫描窗口是指在针对每帧图像(每帧图像大小为720*400像素,长为720个像素,宽为400个像素)中的车辆进行检测时,采用一定大小的窗口(如窗口大小可以为32*16像素),设定一定像素的步长,对每帧中的整幅图像进行扫描,以扫描窗口得到的图像作为分类器的输入,得到对应的输出结果,识别出该窗口中对应的是否为车辆。
在计算与所述车辆区域所在的视频帧相邻图像帧中扫描窗口扫描到的图像区域的空间相似度。设其中标注为车辆区域的图像区域属于第t帧图像帧,那么与其相邻的图像帧为第t+1帧图像和第t-1帧图像。当然,这里的相邻图像帧可以是具有3-5帧间隔的图像帧,具体取决于原始视频的每秒钟图像的帧数(fps)。
计算空间颜色相似度时,可以选取相邻的三帧图像帧计算空间颜色相似度,也可以选择相邻的两帧图像计算空间颜色相似度,当然也可以根据需要选择相邻的若干图像帧进行空间相似度的计算。
为了能提高检测精确且使计算量较少,可以仅在与车辆区域所在图像帧的相邻图像帧中固定位置进行扫描计算,仅检测相邻图像帧中与车辆区域的坐标值的固定范围内的图像区域,计算车辆区域与该固定范围内的图像区域的空间相似度。例如,设车辆区域为第t帧中扫描窗口i扫描到的图像区域,那么在计算空间颜色相似度时,可以仅检测第t+1帧图像中扫描窗口i坐标值中上下级前后的一个固定区域内(如在扫描窗口i的中心点的50*50个像素内)进行扫描并计算颜色空间相似度。
其中,计算相邻图像帧中扫描窗口扫描到的图像区域与所述车辆区域之间颜色空间相似度,具体包括以下步骤:
其中,N=NhNs+Nv,Nh颜色直方图模型中的色度,NS为颜色直方图模型中的饱和度,Nv为颜色直方图中模型中的亮度;
δ表示克罗内克函数(Kronecker delta)函数,在数学中,克罗内克函数又称克罗内克δ函数,δij是一个二元函数,得名于德国数学家利奥波德·克罗内克。克罗内克函数的自变量(输入值)一般是两个整数,如果两者相等,则其输出值为1,否则为0;
bt(u)表示像素u对应的颜色直方图(HSV)的编号,归一化因子
其中,N=NhNs+Nv,Nh颜色直方图模型中的色度,NS为颜色直方图模型中的饱和度,Nv为颜色直方图中模型中的亮度;
(公式十三)
其中,表示车辆区域中的中心,表示相邻帧中图像区域j的中心,σx表示车辆区域与所述图像区域j的位置x方向可能的最大偏差,σy表示车辆区域与所述图像区域j的位置y方向可能出现的最大偏差,σh车辆区域与所述图像区域j的宽度最大偏差,σw为车辆区域与所述图像区域j的高度最大偏差,λ表示扫描窗口的窗口位置和窗口大小的权重;
其中,ρ1和ρ2表示权重因子,并且ρ1+ρ2=1.0。
经过上述计算就可以得到相邻帧中的图像区域与所述车辆区域的多个颜色空间相似度,进而对得到的颜色空间相似度进行比较,判断相邻帧中图像区域为车辆且与所述车辆区域中车辆为同一车辆的图像区域。
步骤S105:比较所述计算得到的空间颜色相似度得到同一辆车的运动轨迹,并进行运动分析。
在计算得到颜色空间相似度后,可以依据得到的空间颜色相似度,分析相邻帧中与所述车辆区域中的车辆为同一车辆的图像区域,进而对同一辆车的运动轨迹进行分析。具体的,比较所述计算得到的空间颜色相似度得到同一辆车的运动轨迹,包括:比较计算得到的颜色空间相似度,将颜色空间相似度最高的图像区域认为与所述车辆区域为同一辆车,得到同一辆车的运动轨迹。
另外,在所述计算相邻图像帧中扫描窗口扫描到的图像区域与所述车辆区域之间的颜色空间相似度之后,还包括:依据得到的颜色空间相似度,分析所述相邻的图像帧中是否存在未被检测出的车辆区域,当存在未被检测出的车辆区域时标记出该车辆区域。也就是说,依据得到的颜色空间相似度,可以分析相邻帧中是否有某些车辆区域未被检测出来,当相邻帧中存在未被标注的车辆区域时,根据颜色相似度确定相邻帧中未被检测的车辆区域的位置,并进行标注。
以检测相邻3帧图像进行运动分析为例,设车辆区域i所在的图像为第t帧图像,因此需要对与第t帧相邻的两帧图像进行检测并计算相应的颜色空间相似度,设相邻的两帧分别为第t-1帧和第t+1帧。在第t-1帧和第t+1帧中进行扫描,计算扫描窗口扫描到的图像区域与车辆检测窗口i的之间的颜色空间相似度,当然对第t-1帧和第t+1帧图像进行扫描时,可以仅在第t-1帧和第t+1帧图像中与车辆区域i坐标位置的上下以及前后的一个固定区域内进行扫描。通过比较得到的各个颜色空间相似度,分别找出第t-1帧和第t+1帧中与所述车辆区域i中为同一车辆的图像区域,同时可以检测相邻帧中是否有漏报或误报。通过比较计算得到的颜色空间相似度,具体可以分为3种情况:
1)若在t-1和t+1帧中对应的同一辆车都存在,即第t-1帧和t+1帧的与车辆区域中包含的相同的车辆都已经被标记出来,第t帧图像中在采用分类器进行分类时该车辆所在的图像区域也被标记出来,此时连续3帧里的同一辆车都被标记出来,认为是检测理想情况,认为车辆检测正确,没有出现误报或漏报;
2)若第t帧中车辆区域标记的车辆在第t-1帧或第t+1帧图像中该辆车没被检测出来,我们认为在第t-1帧或t+1帧图像中发生了漏检,即该车辆没被检测出来,将第t-1帧或第t+1帧中的该车辆标记出来,即认为其中一帧出现漏报;
3)若只有第t帧车辆区域里标记出了车辆,通过比较颜色空间相似度发现在第t-1帧或第t+1帧图像中不存在与第t帧对应的车辆,认为第t帧的标记出的车辆是误报;
当然检测相邻帧的图像的数目可以根据实际需要进行选择。
其中步骤S101中,依据训练样本划分的特征块对所述训练样本进行循环训练过程中,由于一个单元格可能由不同的特征块共享,单元格的归一化基于不同的特征块的,所以计算得到的梯度直方图的结果也不一样,因此,一个单元格的特征会以不同的结果出现在最后计算的向量中。因此,为了能更准确的获得车辆的局部和全局信息,在对训练样本进行循环训练的过程中可以为:
分别依据训练样本的划分特征块的多种标准,对所述训练样本进行循环训练。
也就是说在训练过程中可以对训练样本分别采取不同的特征块划分标准,并分别采用不同的特征块划分标准对训练样本进行循环训练,得到不同特征块划分标准下各个单元格中各区间对应的弱分类器,并最终得到不同特征块划分标准下的各个单元格对应的强分类器,最后将不同特征块划分标准下的所有强分类器的输出值作为特征向量,训练得到支持向量机分类器。在训练分类器过程中采用不同大小的特征块计算获得Boosting HOG特征,由于不同大小的特征块不仅能反应车辆的局部区域信息,同时能得到车辆目标的全局信息,这样得到的分类器的分类准确度更高。
例如,针对训练样本的大小为32*16像素的样本时,其划分特征块的标准可以有以下三种:I)特征块的大小(block-size)=8*8,单元格的大小(cell-size)=4*4,block-stride=4,总共21个特征块在32*16的图像区域中;
II)block-size=8*16,cell-size=4*8,block-stride=4,总共15特征块在32*16的图像区域;
III)block-size=1616,cell-size=88,block-stride=8,总共3个blocks在3216区域中。其中,block-stride表示扫面窗口在水平方向移动的距离;通过采用不同大小的特征块能得到车辆的局部和全部信息。当然,针对32*16大小的训练样本还可以有其他划分标准,同样对其他大小的训练样本可以根据需要设定不同的特征块划分标准。
其中,在步骤103中训练得到支持向量机分类器之后,还包括:
将所述训练样本输入支持向量机分类器,测试所述支持向量机分类器;
在用所述支持机进行分类测试中出现被分错的样本时,依据划分的特征块重新对被分错的样本进行循环训练,并最终得到被分错的样本中各个单元格对应的强分类器;
将针对所有样本进行训练时得到的强分类器和针对被分错的样本得到的强分类器的输出最为特征向量,重新训练得到支持向量机分类器。
其中,被分错的样本是指,将训练样本输入支持向量机进行分类测试时,支持向量机将不是车辆的训练样本误分类为是包含车辆的样本,或者将原本包含车辆的训练样本被误判为不是包含车辆的样本。
进一步的,在针对被分错的样本进行循环训练的过程中,为了训练过程中得到的弱分类器和强分类器更准确,训练过程中对被分错的样本划分特征块的标准可以与最初针对所有训练样本进行训练时的划分标准不同。例如,仍以训练样本的大小为32*16像素的样本为例,划分特征块的标准仍为以上三种,在最开始针对所有训练样本进行训练时,可以采用第一种划分标准训练分类器,即以block-size=8*8,cell-size=4*4标准的特征块训练所有的训练样本,当测试得到的支持向量机的过程中,出现被分错的样本时,可以采用第二种类型对被分错的样本进行重新训练,最终得到强分类器器,当然为了支持向量机更加准确还可以在采用第三种分类标准对所有的训练样本进行重新测试,将采用三种标准下得到的所有强分类器的输出值作为特征向量,训练得到最终的支持向量机分类器。
为了能更清楚的描述整个车辆的检测和分析过程,参见图4,为本发明另一实施例的方法的步骤流程图,预先在拍摄的视频帧中截取正样本和负样本,将所述正样本和负样本作为训练样本,该方法包括:
步骤S401:依据训练样本的第一划分的特征块的标准对所述训练样本进行循环训练,得到训练样本各个单元格梯度方向的各区间的弱分类器,其中,所述特征块由多个单元格组成;
步骤S402:依据训练得到的所述弱分类器的权重,组合得到各个单元格对应的强分类器;
步骤S403:将所有强分类器的输出值作为特征向量,训练得到支持向量机分类器;
步骤S404:测试所述支持向量机分类器,在用所述支持机进行分类测试中出现被分错的样本时,依据第二划分的特征块的标准重新对被分错的样本进行循环训练,并最终得到被分错的样本中各个单元格对应的强分类器;
其中,第二划分特征块的标准是相对于第一划分特征的标准来说的,是指针对被分错的训练样本,用不同与对所有训练样本进行训练时划分特征块的标准,以获得训练样本中车辆的局部和全局信息。
针对被分错的样本进过循环训练得到各个单元格对应的强分类器的过程与前面针对所有训练样本训练得到各个单元格对应的强分类器的过程是相同的,在此不再赘述。
步骤S405:将针对所有样本进行训练时得到的强分类器和针对被分错的样本得到的强分类器的输出最为特征向量,重新训练得到最终的支持向量机分类器;
当然还可以针对采用其他的划分特征块的标准对所有的训练样本进行重现训练得到各个单元格对应的强分类器,并将三种划分标准下的训练得到的强分类器的输出值作为特征向量,再训练得到最终的支持向量机分类器,当然为了得到的支持向量机的分类效果更加好,可以采用根据实际需要采用多种划分特征块的标准进行循环训练。
步骤S406:利用所述支持向量机分类器对扫描窗口扫描到的图像区域进行检测,当检测到图像区域为车辆时,将所述图像区域标注为车辆区域;
步骤S407:计算相邻图像帧中扫描窗口扫描到的图像区域与所述车辆区域之间的颜色空间相似度;
步骤S408:比较所述计算得到的空间颜色相似度得到同一辆车的运动轨迹,并进行运动分析。
本发明的方法采用不同大小的特征块的划分标准训练分类器,训练过程中需要计算获得Boosting HOG特征,通过计算梯度和边缘方向密度分布很好的描述车辆的表象和形状特征,同时不同大小的特征块不仅能反应车辆的局部区域信息,同时能得到车辆目标的全局信息,这样训练得到的弱分类器和强分类器的分类性能较好,因此经过充分训练得到的支持向量机分类器具有分类器分类性能较好,能对扫描窗口进行较准确的分类最终识别出车辆区域,同时通过计算空间颜色相似度,能获得车辆区域与相邻图像帧中的图像区域的相似度信息,利用得到的相似度信息可以比较准确的找到相邻图像帧中与该车辆区域中的车辆为同一辆车的信息,从而提高了车辆运动分析准确度。
对应本发明的方法,参见图5,本发明还提供了一种低空对地车辆检测与运动分析的系统,预先在拍摄的视频帧中截取正样本和负样本,将所述正样本和负样本作为训练样本,该系统包括:
第一训练单元501,用于依据训练样本划分的特征块对所述训练样本进行循环训练,得到训练样本中各个单元格梯度方向的各区间对应的弱分类器,其中,所述特征块由多个单元格组成;
第二训练单元502,用于依据第一训练单元训练得到的所述弱分类器的权重,将所述弱分类器组合得到各个单元格对应的强分类器;
第三训练单元503,用于将所有强分类器的输出值作为特征向量,训练得到支持向量机分类器;
车辆检测单元504,用于利用第三训练单元训练的支持向量机分类器对扫描窗口扫描到的图像区域进行检测,当检测到图像区域为车辆时,将所述图像区域标注为车辆区域;
相似度计算单元505,用于计算相邻图像帧中扫描窗口扫描到的图像区域与所述车辆区域之间的颜色空间相似度;
运动分析单元506,用于比较所述计算得到的空间颜色相似度得到同一辆车的运动轨迹,并进行运动分析。
其中,第一训练单元,包括:第一计算单元,用于在循环训练的过程中,计算各个单元格中各个像素点的梯度值和梯度方向,并利用所述梯度值和梯度方向得到所述训练样本的梯度方向直方图,依据所述梯度方向直方图确定各个区间的区间值。
弱分类器确定单元,用于依据计算单元得到的区间值,并经过循环训练确定各个单元格梯度方向的各区间对应的弱分类器:
其中,hji(x)表示第j个单元格里面的第i个区间对应的弱分类器;x表示输入的训练样本;fji(x)表示第j个单元格里第i个区间的区间值;θji是为fji(x)做选择的阈值;pi为极性参数,用来改变不等式的方向,取值为1或-1。
优选的,第一训练单元,具体用于:用于分别依据训练样本的划分特征块的多种标准,对所述训练样本进行循环训练,得到训练样本中各个单元格梯度方向的各区间对应的弱分类器。
为了能使得到的支持向量机具有较准确的分类效果,本发明的系统还包括:测试单元,用于将所述训练样本输入支持向量机分类器,测试所述支持向量机分类器的样本分类性能;
错样本训练单元,用于当测试所述支持向量机过程中出现被分错的样本时,依据划分的特征块重新对被分错的样本进行循环训练,并最终得到被分错的样本中各个单元格对应的强分类器;
重训练单元,用于将第二训练单元和错样本训练单元得到的强分类器的输出作为特征向量,重新训练得到支持向量机分类器。
其中,相似度计算单元,包括:
第二相似度计算单元,用于计算车辆区域i与所述图像区域j的空间相似度
其中所述运动分析单元,具体为:用于比较计算得到的颜色空间相似度,将颜色空间相似度最高的图像区域认为与所述车辆区域为同一辆车,得到同一辆车的运动轨迹,并进行车辆的运动分析。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种低空对地车辆检测与运动分析的方法,其特征在于,预先在拍摄的视频帧中截取正样本和负样本,将所述正样本和负样本作为训练样本,该方法包括:
依据训练样本划分的特征块对所述训练样本进行循环训练,得到训练样本中各个单元格梯度方向的各区间对应的弱分类器,其中,所述特征块由多个单元格组成;
依据训练得到的所述弱分类器的权重,将所述弱分类器组合得到各个单元格对应的强分类器;
将所有强分类器的输出值作为特征向量,训练得到支持向量机分类器,并利用所述支持向量机分类器对扫描窗口扫描到的图像区域进行检测,当检测到图像区域为车辆时,将所述图像区域标注为车辆区域;
计算相邻图像帧中扫描窗口扫描到的图像区域与所述车辆区域之间的颜色空间相似度;
比较所述计算得到的空间颜色相似度得到同一辆车的运动轨迹,并进行运动分析。
2.根据权利要求1所述的方法,其特征在于,依据训练样本划分的特征块对所述训练样本进行循环训练,包括:
分别依据训练样本的划分特征块的多种标准,对所述训练样本进行循环训练。
3.根据权利要求1所述的方法,其特征在于,在得到所述各区间值对应的弱分类器之前,还包括:
在循环训练过程中,计算各个单元格中各个像素点的梯度值和梯度方向,并利用所述梯度值和梯度方向得到所述训练样本的梯度方向直方图,依据所述梯度方向直方图确定各个区间的区间值;
训练所述训练样本得到所述各个单元格梯度方向的各区间对应的弱分类器,具体为:
其中,hji(x)表示第j个单元格里面的第i个区间对应的弱分类器;x表示输入的训练样本;fji(x)表示第j个单元格里第i个区间的区间值;θji是为fji(x)做选择的阈值;pi为极性参数,用来改变不等式的方向,取值为1或-1。
4.根据权利要求1所述的方法,其特征在于,所述训练得到支持向量机分类器之后,还包括:
将所述训练样本输入支持向量机分类器,测试所述支持向量机分类器的分类性能;
当测试中出现被分错的样本时,依据划分的特征块重新对被分错的样本进行循环训练,并最终得到被分错的样本中各个单元格对应的强分类器;
将针对所有样本进行训练时得到的强分类器和针对被分错的样本得到的强分类器的输出作为特征向量,重新训练得到支持向量机分类器。
5.根据权利要求1所述的方法,其特征在于,所述计算相邻图像帧中扫描窗口扫描到的图像区域与所述车辆区域之间颜色空间相似度,包括:
A、计算第t帧图像中车辆区域i的颜色直方图以及与所述第t帧相邻的第t+1帧图像中扫描窗口扫描到图像区域j的颜色直方图其中,n=1,…N,N=NhNs+Nv,Nh为颜色直方图模型中的色度,NS为颜色直方图模型中的饱和度,Nv为颜色直方图中模型中的亮度;
其中,表示车辆区域中i的中心,表示相邻帧中的图像区域j的中心,σx表示车辆区域i与所述图像区域j的位置x方向可能的最大偏差,σy表示车辆区域i与所述图像区域j的位置y方向可能出现的最大偏差,σH为车辆区域i与所述图像区域j的宽度最大偏差,σW为车辆区域i与所述图像区域j的高度最大偏差,λ表示扫描窗口的窗口位置和窗口大小的权重,Hc1为车辆区域所在图像帧的扫描窗口的宽度,Hc2为所述相邻帧的扫描窗口的宽度,Wc1为车辆区域所在图像帧中扫描窗口的高度,Wc2为所述相邻帧中扫描窗口的高度,a表示扫描窗口中任意一点到中心点的最大距离;
其中,ρ1和ρ2表示权重因子,并且ρ1+ρ2=1.0。
6.根据权利要求1所述的方法,其特征在于,所述比较所述计算得到的空间颜色相似度得到同一辆车的运动轨迹,包括:
比较计算得到的颜色空间相似度,将颜色空间相似度最高的图像区域认为与所述车辆区域为同一辆车,得到同一辆车的运动轨迹。
7.一种低空对地车辆检测与运动分析的系统,其特征在于,预先在拍摄的视频帧中截取正样本和负样本,将所述正样本和负样本作为训练样本,该系统包括:
第一训练单元,用于依据训练样本划分的特征块对所述训练样本进行循环训练,得到训练样本中各个单元格梯度方向的各区间对应的弱分类器,其中,所述特征块由多个单元格组成;
第二训练单元,用于依据第一训练单元训练得到的所述弱分类器的权重,将所述弱分类器组合得到各个单元格对应的强分类器;
第三训练单元,用于将所有强分类器的输出值作为特征向量,训练得到支持向量机分类器;
车辆检测单元,用于利用第三训练单元训练的支持向量机分类器对扫描窗口扫描到的图像区域进行检测,当检测到图像区域为车辆时,将所述图像区域标注为车辆区域;
相似度计算单元,用于计算相邻图像帧中扫描窗口扫描到的图像区域与所述车辆区域之间的颜色空间相似度;
运动分析单元,用于比较所述计算得到的空间颜色相似度得到同一辆车的运动轨迹,并进行运动分析。
8.根据权利要求7所述的系统,其特征在于,所述系统还包括:
测试单元,用于将所述训练样本输入支持向量机分类器,测试所述支持向量机分类器的样本分类性能;
错样本训练单元,用于当测试所述支持向量机过程中出现被分错的样本时,依据划分的特征块重新对被分错的样本进行循环训练,并最终得到被分错的样本中各个单元格对应的强分类器;
重训练单元,用于将第二训练单元和错样本训练单元得到的强分类器的输出作为特征向量,重新训练得到支持向量机分类器。
9.根据权利要求7所述的系统,其特征在于,所述运动分析单元,具体为:
用于比较计算得到的颜色空间相似度,将颜色空间相似度最高的图像区域认为与所述车辆区域为同一辆车,得到同一辆车的运动轨迹,并进行车辆的运动分析。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110053763 CN102087790B (zh) | 2011-03-07 | 2011-03-07 | 一种低空对地车辆检测与运动分析的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110053763 CN102087790B (zh) | 2011-03-07 | 2011-03-07 | 一种低空对地车辆检测与运动分析的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102087790A CN102087790A (zh) | 2011-06-08 |
CN102087790B true CN102087790B (zh) | 2013-07-10 |
Family
ID=44099570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110053763 Expired - Fee Related CN102087790B (zh) | 2011-03-07 | 2011-03-07 | 一种低空对地车辆检测与运动分析的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102087790B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102637257B (zh) * | 2012-03-22 | 2014-07-02 | 北京尚易德科技有限公司 | 一种基于视频的交通车辆检测识别系统和方法 |
CN102867188B (zh) * | 2012-07-26 | 2015-06-17 | 中国科学院自动化研究所 | 一种基于级联结构的会场内座位状态检测方法 |
CN102945602B (zh) * | 2012-10-19 | 2015-04-15 | 上海交通大学无锡研究院 | 一种用于交通事件检测的车辆轨迹分类方法 |
CN103150547A (zh) * | 2013-01-21 | 2013-06-12 | 信帧电子技术(北京)有限公司 | 车辆跟踪方法及装置 |
CN104268548B (zh) * | 2014-09-01 | 2017-10-24 | 西南交通大学 | 一种基于道路图像的积雪检测方法 |
CN104239872A (zh) * | 2014-09-26 | 2014-12-24 | 南开大学 | 异态汉字识别方法 |
CN105809971A (zh) * | 2014-12-30 | 2016-07-27 | 深圳市朗驰欣创科技有限公司 | 一种车辆跟踪方法及装置 |
CN105260723A (zh) * | 2015-10-22 | 2016-01-20 | 四川膨旭科技有限公司 | 车辆行驶过程中对车辆进行识别的系统 |
CN107516423B (zh) * | 2017-07-20 | 2020-06-23 | 济南中维世纪科技有限公司 | 一种基于视频的车辆行驶方向检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006073647A2 (en) * | 2004-12-03 | 2006-07-13 | Sarnoff Corporation | Method and apparatus for unsupervised learning of discriminative edge measures for vehicle matching between non-overlapping cameras |
JP3912869B2 (ja) * | 1997-10-17 | 2007-05-09 | 三菱重工業株式会社 | 交通流計測装置 |
CN101308607A (zh) * | 2008-06-25 | 2008-11-19 | 河海大学 | 基于视频的混合交通环境下移动目标多特征融合跟踪方法 |
JP4339464B2 (ja) * | 1999-10-07 | 2009-10-07 | ダイコク電機株式会社 | 監視装置 |
CN101916383A (zh) * | 2010-08-25 | 2010-12-15 | 浙江师范大学 | 基于多摄像机的车辆检测跟踪识别系统 |
-
2011
- 2011-03-07 CN CN 201110053763 patent/CN102087790B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3912869B2 (ja) * | 1997-10-17 | 2007-05-09 | 三菱重工業株式会社 | 交通流計測装置 |
JP4339464B2 (ja) * | 1999-10-07 | 2009-10-07 | ダイコク電機株式会社 | 監視装置 |
WO2006073647A2 (en) * | 2004-12-03 | 2006-07-13 | Sarnoff Corporation | Method and apparatus for unsupervised learning of discriminative edge measures for vehicle matching between non-overlapping cameras |
CN101308607A (zh) * | 2008-06-25 | 2008-11-19 | 河海大学 | 基于视频的混合交通环境下移动目标多特征融合跟踪方法 |
CN101916383A (zh) * | 2010-08-25 | 2010-12-15 | 浙江师范大学 | 基于多摄像机的车辆检测跟踪识别系统 |
Non-Patent Citations (1)
Title |
---|
Wu C X,Cao X B.Registration-based moving vehicle detection for low-altitude urban traffic surveillance.《The 8th World Congress on Intelligent Control and Automation》.2010,373-378. * |
Also Published As
Publication number | Publication date |
---|---|
CN102087790A (zh) | 2011-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102087790B (zh) | 一种低空对地车辆检测与运动分析的方法和系统 | |
CN108830188B (zh) | 基于深度学习的车辆检测方法 | |
US11144814B2 (en) | Structure defect detection using machine learning algorithms | |
Fathi et al. | Detecting road intersections from GPS traces | |
Siriborvornratanakul | An automatic road distress visual inspection system using an onboard in-car camera | |
CN103366602B (zh) | 从数字摄像头图像确定停车场占用情况的方法 | |
CN102803991B (zh) | 物体检测设备 | |
CN103699905B (zh) | 一种车牌定位方法及装置 | |
US20110255743A1 (en) | Object recognition using haar features and histograms of oriented gradients | |
CN106529424A (zh) | 一种基于选择性搜索算法的车标检测识别方法及系统 | |
CN104615986B (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
CN103366179B (zh) | 畅通路径检测中的俯视图分类 | |
CN110349260B (zh) | 一种路面标线自动提取方法及装置 | |
CN104424466A (zh) | 对象检测方法、对象检测设备及图像拾取设备 | |
CN104537647A (zh) | 一种目标检测方法及装置 | |
CN104134078B (zh) | 一种人流量统计系统中分类器的自动选择方法 | |
CN104036284A (zh) | 基于Adaboost算法的多尺度行人检测方法 | |
CN109784392A (zh) | 一种基于综合置信的高光谱图像半监督分类方法 | |
CN107767400A (zh) | 基于层次化显著性分析的遥感图像序列动目标检测方法 | |
CN105930794A (zh) | 一种基于云计算的室内场景识别方法 | |
CN112200186B (zh) | 基于改进yolo_v3模型的车标识别方法 | |
CN114648665A (zh) | 一种弱监督目标检测方法及系统 | |
CN104361351A (zh) | 一种基于区域统计相似度的合成孔径雷达图像分类方法 | |
CN113327248B (zh) | 一种基于视频的隧道车流量统计方法 | |
Li et al. | Robust vehicle detection in high-resolution aerial images with imbalanced data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130710 Termination date: 20160307 |
|
CF01 | Termination of patent right due to non-payment of annual fee |