发明内容
本发明实施例提供一种交通视频信息检测方法和装置,以提高不同环境下检测结果的稳定性。
为此,本发明实施例提供如下方案:
一种交通视频信息检测方法,包括:
获取交通视频流;
确定所述交通视频流中各帧图像的颜色特征;
根据所述颜色特征计算相邻帧的帧间距离;
根据所述帧间距离,分别采用RGB空间下图像聚类评价标准和YUV空间下图像聚类评价标准计算图像类组的边界;
根据RGB空间下和YUV空间下的图像类组的边界确定所述图像类组的最终边界。
优选地,所述获取交通视频流包括:
通过连续拍摄获取交通视频流。
优选地,所述确定所述交通视频流中各帧图像的颜色特征包括:
对各帧图像进行采样,得到采样数据;
根据所述采样数据生成各帧图像R,G,B,Y颜色通道的直方图;
将各帧图像的颜色特征用四维直方图表示为:其中,分别为R,G,B,Y四个颜色通道的直方图,i=1,2,…,N,N是划分的每个颜色通道柱的数目。分别为R,G,B,Y三个通道的直方图,i=1,2,…,N,N是划分的每个颜色通道柱的数目。
优选地,所述方法还包括:在根据所述采样数据生成各帧图像R,G,B,Y颜色通道的直方图之前,对所述采样数据进行降噪处理。
优选地,所述根据所述颜色特征计算相邻帧的帧间距离包括:
在RGB空间下,分别计算相邻帧之间各颜色通道的帧间距离;
对R,G,B三个颜色通道对应的帧间距离求交集;
分别确定R,G,B三个颜色通道的最小和最大帧间距离,得到RGB空间下的帧间距离;
在YUV空间下,计算相邻帧间Y颜色通道的帧间距离,得到YUV空间下的帧间距离。
优选地,所述根据所述帧间距离,采用RGB空间下图像聚类评价标准计算图像类组的边界包括:
利用RGB空间下的帧间距离及设定的第一目标函数确定RGB空间下的图像类组的边界。
优选地,所述根据所述帧间距离,采用RGB空间下图像聚类评价标准计算图像类组的边界包括:
利用YUV空间下的帧间距离及设定的第二目标函数确定YUV空间下的图像类组的边界。
优选地,所述根据RGB空间下和YUV空间下的图像类组的边界确定所述图像类组的最终边界包括:
对所述RGB空间下的图像类组的边界和所述YUV空间下的图像类组的边界求交集,得到所述图像类组的最终边界。
一种交通视频信息检测装置,包括:
视频图获取模块,用于获取交通视频流;
颜色特征确定模块,用于确定所述交通视频流中各帧图像的颜色特征;
距离计算模块,用于根据所述颜色特征计算相邻帧的帧间距离;
边界计算模块,用于根据所述帧间距离,分别采用RGB空间下图像聚类评价标准和YUV空间下图像聚类评价标准计算图像类组的边界;
边界确定模块,用于根据RGB空间下和YUV空间下的图像类组的边界确定所述图像类组的最终边界。
优选地,所述颜色特征确定模块包括:
采样单元,用于对各帧图像进行采样,得到采样数据;
直方图生成单元,用于根据所述采样数据生成各帧图像R,G,B,Y颜色通道的直方图;
颜色特征表示单元,用于将各帧图像的颜色特征用三维直方图表示为:其中,分别为R,G,B,Y三个通道的直方图,i=1,2,…,N,N是划分的每个颜色通道柱的数目。
优选地,所述颜色特征确定模块还包括:
降噪单元,用于在根据所述采样数据生成各帧图像R,G,B,Y颜色通道的直方图之前,对所述采样数据进行降噪处理。
优选地,所述距离计算模块包括:
第一计算单元,用于在RGB空间下,分别计算相邻帧之间各颜色通道的帧间距离;
交集单元,用于对R,G,B三个颜色通道对应的帧间距离求交集;
RGB空间距离确定单元,用于分别确定R,G,B三个颜色通道的最小和最大帧间距离,得到RGB空间下的帧间距离;
YUV空间距离确定单元,用于在YUV空间下,计算相邻帧间Y颜色通道的帧间距离,得到YUV空间下的帧间距离。
优选地,所述边界确定模块,具体用于对所述RGB空间下的图像类组的边界和所述YUV空间下的图像类组的边界求交集,得到所述图像类组的最终边界。
本发明实施例提供的交通视频信息检测方法和装置,充分利用了图像色彩和亮度信息,并且考虑图像帧与帧之间在时间序列上的前后关系,每一组图像聚类反映了一辆车的运动过程,本发明实施例的方法和装置对环境变化适应能力强,在雨雪雾霾等恶劣天气下依然能够保持较高精度稳定检测。
具体实施方式
下面将参考附图并结合实施例,来详细说明本发明。
针对现有技术中车辆视频检测受外界环境影响,无法满足检测的稳定性要求的问题,本发明实施例提出了一种交通视频信息检测方法和装置,利用视频帧流与时间轴t平行的关系,结合二维图像三通道(R,G,B)颜色特征表达,构建五维图像特征表达(R,G,B,Y,t),其中,Y是图像的亮度信息,每幅五维的图像特征被看作是一个节点,利用直方图交集方法对节点间的相似性进行度量,之后根据MIN-MAX分割理论获得评价指标Score(t),对连续帧图像进行聚类边界评价,评价指标Score(t)满足聚类内部帧间相似度较高,聚类外部帧相似度较低,每个聚类帧图像组反应了一辆车的运动过程,组内帧数与车辆运动的平均速度成正比。
如图1所示,示出了本发明实施例交通视频信息检测方法的流程,该流程包括以下步骤:
步骤101,获取交通视频流。
具体地,可以利用摄像机获得交通视频流。
步骤102,确定所述交通视频流中各帧图像的颜色特征。
也就是说,对图像视觉内容进行量化。
具体地,在RGB空间中,对交通监控视频中的各帧分别计算R,G,B三个颜色通道的直方图,每个直方图通道分成16个bins(柱),为了提高算法检测精度,增加车辆目标比例,设置去噪阈值,其中H,W分别表示ROI(Region of Interest,感兴趣区域)的高度和宽度。对于超过T的bins不予考虑,则图像视觉内容颜色特征用直方图表示为:
其中,分别为R,G,B,Y四个通道的直方图表示,i=1,2,…,NN是划分的每个颜色通道bin的数目。
步骤103,根据所述颜色特征计算相邻帧的帧间距离。
帧间的相似度是通过距离的远近评价的,为了能够直观地反映相邻帧之间的距离,可以将上述公式(1)所示四维直方图特征信号转换成连续的一维时间信号,这个一维时间信号是由四个颜色通道相邻帧间的距离得到的。
设存在一个二维图像空间G=G(E,V),即Graph-cut的模型,该空间包含节点集合V、节点间弦集合E和相似度度量矩阵W,令ωij∈[O,1]i(ωiJ∈W)表示弦e(i,j)∈E的权重,即节点i,j(i,j∈V)间的距离,如附图2和图3所示。相邻帧之间的距离采用直方图交集度量,即ωij。
这里ωij表示的仅仅是R,G,B三个通道中任意一个的度量,另外,(2)中表示第i帧图像的直方图,k为bin的个数,σ是一个与距离有关的参数,d是当前帧与相邻帧之间的最大距离,三个颜色通道直方图的交集表示为:
其中,分别表示第i帧图像B,G,R通道所对应的直方图的第k个bin的值,取三个颜色通道中距离最近的ωij作为帧间的距离,那么两帧图像间的距离度量指标可表示为:ωij=min(ωij,R,ωij,G,ωij,B) (4)ρij=max(ωij,R,ωij,G,ωij,B) (5)其中,ωij,R,ωij,G,ωij,B分别为三个颜色通道对应的i,j两帧图像间的距离。
亮度特征分量表示为:
Y=0.229R+0.587G+0.114B (6)
则Y颜色通道的帧间距离为:
其中,Thres是阈值,Mk是Y分量的直方图。
步骤104,根据所述帧间距离,分别采用RGB空间下图像聚类评价标准和YUV空间下图像聚类评价标准计算图像类组的边界。
具体地,可以将距离近的帧分到一个组内聚类,这个聚类是用score(t)实现的。
RGB空间下图像聚类评价标准表征了不同帧之间颜色的差异程度,对亮度的描述能力不强,因此不适用于颜色分辨率特别低的视频;YUV空间下图像聚类评价标准表征了不同帧之间亮度的差异程度,对于图像分辨率的要求不高,可以较好地描述帧与帧之间亮度的变化。
在本发明实施例中,为了增强鲁棒性,将上述两种图像聚类评价标准相结合。
设G(E,V)是需要划分的图像空间,内部的图像都是G的一个内部节点,通过计算节点间的距离,将G划分成两个子空间A,B。这里定义:
cut(A,B)=W(A,B)=ΣiEA,jEBωij (8)
assoc(A)=W(A)=W(A,A)=Σi,j∈Aωij (9)
assoc(A,G)=W(A,G)=Σi∈A,j∈Gωij (10)
assoc(A,B)=Σi∈A,j∈Bρij (11)
其中,cut(A,B)表示G中连接A,B中节点的所有弦长度之和,反映了A,B之间节点联系的强度;assoc(A)=W(A,A)表示A中所有弦的长度之和,同理assoc(A,G)表示A与G中所有节点间弦的长度之和,反映了A在G中的比例强度,assoc(A,B)表示A与B组间节点间弦的长度之和。为了保证同一子空间内节点间联系强度取得最大值,并且不同子空间节点之间的联系强度取得最小值,利用MIN-MAX理论,得到如下聚类边界划分表达:
RGB空间下评价指标为:
其中min表示取小操作,SROI表示ROI区域的面积。
YUV空间下评价指标为:
ScoreYuv(t)==MCut({t-d+1,…,t},{t+1,…,t+d}) (13)
其中,d=1或者d>1,d表示子空间A,B的大小,即空间内图像帧的数目;d=1时表示空间G中两帧图像做距离度量;d>1时表示计算当前帧的相似度时需要考虑d半径范围内所有的图像帧信息。
步骤105,根据RGB空间下和YUV空间下的图像类组的边界确定所述图像类组的最终边界。
上述公式(12)和(13)分别表示了RGB空间下的图像类组的边界和YUV空间下的图像类组的边界。
在本发明实施例中,可以对所述RGB空间下的图像类组的边界和所述YUV空间下的图像类组的边界求交集,将该交集作为所述图像类组的最终边界。
具体地,为了能够让组内图像具有相近的评价,组间图像具有较远的评价,得到最终聚类图像分组评价指标如下:
Score(t)=min{Scorergb(t),ScoreYUV(t)} (14)
根据公式(14)所确定的目标函数,在时间维度上可以得到一个一维时间信号,该信号的谷底对应了图像差异较大的帧,定义为图像类组的边界。
图4是本发明施例中图像聚类的效果示意图。其中,每一个单峰对应一个聚类分组,聚类分组间隔越远,说明邻近组之间差距越大;反之越近,说明类间差距越小。
由此可见,本发明实施例的交通视频信息检测方法,充分利用了图像色彩和亮度信息,并且考虑图像帧与帧之间在时间序列上的前后关系,每一组图像聚类反映了一辆车的运动过程。
该方法对环境变化适应能力强,在雨雪雾霾等恶劣天气下依然能够保持较高精度稳定检测。
该方法不注重车体本身的对称性,对摄像机安装位置和角度要求不高,并且对于拥堵行驶缓慢的情况亦有很强的适应性。
下面继续详细说明利用本发明实施例的方法进行交通视频信息检测的过程。
首先,需要摄像机对摄像机进行粗略标定,摄像机安置最理想位置为安装在横跨公路的五到六米高的高龙门架上,朝向与车道方向平行,不过本发明实施例的方法对此不做硬性要求,这里给出最低工作要求:只要摄像机可以覆盖需要检测的车道,并且相机视野至少可以覆盖一个完整的车身即可。
之后,利用摄像机获得视频流,并将信号经视频编码器、光端机、网络视频服务器等设备获得视频流,然后从视频流中对图像帧采样。
对采样的图像,计算各帧图像R,G,B,Y颜色通道的直方图统计,这里假定d=10,即前20帧图像用作算法初始化。针对R,G,B三个颜色通道的直方图分别计算相邻d范围内图像间的弦距离,采用直方图交集方法,对三个通道的运算结果做取小操作。图像亮度Y通道的直方图,直接采用公式(2)所示帧间距离度量方法测量。
在图像间弦距离计算完毕后,分别采用RGB空间下图像聚类评价标准和YUV空间下图像聚类评价标准计算图像类组的边界。
考虑到图像数据的归一化,图像各通道直方图的交集应该依然小于图像检测区域的面积,所以可以在Scorergb(t)中加入面积这一限定条件。
最终,在分别获得RGB和YUV空间中图像聚类评价后,利用交集方法,取二者共同认可的位置作为图像类间的边界。为了避免阈值选择带来的算法鲁棒性变弱的问题,可以采用峰谷检测方法,判断当前位置是否已经在类的边界,两个类边界之间有峰值的地方对应了车辆运动的过程,没有车辆的地方Score(t)的值接近零。
为了克服检测结果中出现伪峰值情况,如图4中圆圈所标示,每一个单峰对应一个聚类分组,聚类分组间隔越远,说明相邻组之间差距越大;反之越近,说明类间差距越小。
针对上述情况,可以设定平滑阈值S,如果限定测量目标平均速度<=200km/h,则S可以在[20,40]之间选取,如果限定测量目标平均速度<=400km/h,则S可以在[10,25]之间选取,这样就可以避免由于伪峰值带来的检测错误。
经过上面几步后,便实现了车辆的视频检测,由于本发明实施例的方法不仅考虑了颜色信息,而且考虑了亮度信息,所以对现有技术基于灰度图像的车辆检测方法中遇到的因交通拥堵或者夜间车灯投影造成的目标粘连问题,有很好的适应性。并且利用本发明实施例的方法,PC视频处理速度可以达到每秒60帧,DM642视频处理速度约为每秒20帧,可以满足实时处理的要求。
从以上的描述中可以看出,本发明实施例的方法充分利用了图像色彩和亮度信息,并且考虑图像帧与帧之间在时间序列上的前后关系,每一组图像聚类反映了一辆车的运动过程。
该方法对环境变化适应能力强,在雨雪雾霾等恶劣天气下依然能够保持较高精度稳定检测。
该方法不注重车体本身的对称性,对摄像机安装位置和角度要求不高,并且对于拥堵行驶缓慢的情况亦有很强的适应性。
相应地,本发明实施例还提供一种交通视频信息检测装置,如图5所示,是该装置的一种结构示意图。
在该实施例中,所述装置包括:
视频图获取模块501,用于获取交通视频流;
颜色特征确定模块502,用于确定所述交通视频流中各帧图像的颜色特征;
距离计算模块503,用于根据所述颜色特征计算相邻帧的帧间距离;
边界计算模块504,用于根据所述帧间距离,分别采用RGB空间下图像聚类评价标准和YUV空间下图像聚类评价标准计算图像类组的边界;
边界确定模块505,用于根据RGB空间下和YUV空间下的图像类组的边界确定所述图像类组的最终边界。
上述颜色特征确定模块502的一种实施例包括:
采样单元,用于对各帧图像进行采样,得到采样数据;
直方图生成单元,用于根据所述采样数据生成各帧图像R,G,B,Y颜色通道的直方图;
颜色特征表示单元,用于将各帧图像的颜色特征用三维直方图表示为:其中,分别为R,G,B,Y三个通道的直方图,i=L2,…,N,N是划分的每个颜色通道柱的数目。
为了降低噪声,上述颜色特征确定模块502还可进一步包括:
降噪单元,用于在根据所述采样数据生成各帧图像R,G,B,Y颜色通道的直方图之前,对所述采样数据进行降噪处理。
上述距离计算模块503包括:
第一计算单元,用于在RGB空间下,分别计算相邻帧之间各颜色通道的帧间距离;
交集单元,用于对R,G,B三个颜色通道对应的帧间距离求交集;
RGB空间距离确定单元,用于分别确定R,G,B三个颜色通道的最小和最大帧间距离,得到RGB空间下的帧间距离;
YUV空间距离确定单元,用于在YUV空间下,计算相邻帧间Y颜色通道的帧间距离,得到YUV空间下的帧间距离。
上述边界确定模块505具体可以对所述RGB空间下的图像类组的边界和所述YUV空间下的图像类组的边界求交集,得到所述图像类组的最终边界。
需要说明的是,上述各模块实现其功能的方式可参照前面图1所示本发明实施例交通视频信息检测方法中的描述,在此不再赘述。
可见,本发明实施例提供的交通视频信息检测装置,充分利用了图像色彩和亮度信息,并且考虑图像帧与帧之间在时间序列上的前后关系,每一组图像聚类反映了一辆车的运动过程,本发明实施例的方法和装置对环境变化适应能力强,在雨雪雾霾等恶劣天气下依然能够保持较高精度稳定检测。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。