CN101794515B - 基于协方差和二叉树支持向量机的目标检测系统及方法 - Google Patents

Abstract

本发明公布了一种基于协方差和二叉树支持向量机的目标检测系统及方法，所述系统包括视频数据采集单元、图像预处理单元和背景建模车辆分割及显示单元。所述方法视频采集单元用于实时获取信息，并对模拟视频数字化及制式转换。图像处理单元包括现场可编程门阵列FPGA和通用信号处理器DSP两部分，FPGA作为协处理器；DSP作为主处理器，完成视频图像的背景建模、车辆目标分割与提取、车型识别算法的实现。利用FPGA和DSP的组合，结合基于图像协方差特征及支持向量机的车型识别算法可以实现多路视频实时车型识别。本发明可广泛用于智能交通管理领域，智能视频监控等多个领域。

Description

基于协方差和二叉树支持向量机的目标检测系统及方法

技术领域

本发明属于视频图像处理、模式识别、智能交通交叉技术领域，尤其是利用基于协方差和二叉树支持向量机的目标检测系统及方法。

背景技术

随着我国国民经济的快速发展，城市交通问题日益严重，为了解决城市地面交通快速发展所引发的各种问题，智能交通系统(Intelligent Transportation System，简称ITS)的研究被提到了重要位置。智能交通系统的主要目标是使汽车与道路的功能智能化，从而保障交通安全、提高交通效率、改善城市环境、降低能源消耗。其中关于车辆检测/车型识别对实现交通管理智能化具有重要意义。

目前，国外比较流行的是基于无线通信的智能交通系统，在每辆车上装上一个无线发射节点，用来发送车辆自身的状态信息，该方法识别率高且系统稳定，但是现阶段要在每辆车上都安装专门设备成本高、难度较大。另外，还有在路面下通过铺设压力传感器、电磁感应线圈等对经过其上方的车辆自动识别分类，该方法主要不足在于安装时要破坏路面、中断正常的交通，且设备的后期维护难以及时有效的进行。随着数字图像处理技术及计算机技术的发展，基于视频图像实现车辆自动识别分类已成为一种趋势，因其安装维护方便、获得的结果直观等诸多优点，使其在智能交通领域的应用越来越广泛。

基于视频图像的车型识别方法可以分为基于2D和基于3D的车型识别两大类。基于2D的车型识别一般利用车辆的形状、颜色、轮廓等特征对车型进行识别。该类方法利用的车辆特征较简单，不具有较强的鲁棒性，误判率高、能区分的车型类别有限。基于3D的车型识别一般利用立体视觉的技术，在已知摄像机内外参数的情况下，通过对车辆建立三维尺寸模型，从而判断车辆属于哪一类型。该类方法的车型识别准确率较高，但事先需对摄像机进行标定，且要保证算法在计算过程中对3D场景重建的误差、车辆运动所引起的图像噪声、视频检测器的偏移等干扰要有足够的稳健性，这使得该类计算复杂度较大，在复杂交通场景、恶劣气候条件下不利于实时检测。

现在大多的车型识别系统都是利用PC机加以实现的，在这过程中，来自摄像机的大量数据首先要传送给PC机，PC机调用事先写好的算法对视频进行处理，然后再输出结果。大多情况下，被处理的视频数据的量较大且7×24小时的，因此依赖于PC机的处理，不仅使得摄像机与PC机之间的通信占用了大量的资源，而且PC机也很难实现实时多视频的并行处理。

发明内容

本发明目的是为了避免基于3D的车型识别的算法高计算复杂度，克服基于2D车型识别算法的车型识别准确率低的问题，以及利用PC机处理数据时的摄像机与PC机之间通信成本较大，且处理的实时性不强和网络化应用不便等问题。提供一种基于协方差和二叉树的支持向量机的目标检测系统及方法。

本发明为实现上述目的，采用如下技术方案：

本发明基于协方差和二叉树支持向量机的目标检测系统，包括视频数据采集单元、图像预处理单元和背景建模车辆分割及显示单元，其中图像预处理单元包括同步信号间隔检测模块、FIFO模块、AD接口控制单元、SDRAM控制器、帧存SDRAM、总开关、双口RAM、接口模块和视频数据处理单元，视频数据采集单元依次串接AD接口控制单元、FIFO模块、视频数据处理单元、SDRAM控制器、双口RAM、接口模块后接背景建模车辆分割及显示单元的输入端，同步信号间隔检测模块的输出端分别接视频数据采集单元、AD接口控制单元和接口模块的输入端，接口模块的输出端接AD接口控制单元的输入端，AD接口控制单元的输出端串接SDRAM控制器后接口模块的输入端。

所述视频数据处理单元由视频滤波、投影变换模块串接视频拼接模块构成。

所述视频数据采集单元由多路CMOS摄像头串接视频解码器构成的视频数据采集支路构成。

所述视频解码器采用型号为AD9888芯片的视频解码器。

所述背景建模车辆分割及显示单元由DSP芯片构成，所述DSP芯片由背景建模单元依次串接车辆分割提取、协方差特征提取和车型识别计算单元构成。

基于协方差和二叉树支持向量机的目标检测方法，包括如下步骤：

步骤一，摄像头架设

将摄像机头设在直行道路上方，摄像机轴线与所述直行道路方向的倾角在60度到70度之间；

步骤二，视频预处理

对视频数据采集单元获取的多路彩色视频的RGB三通道分别进行3×3邻域模板中值滤波，将得到的结果再合成为彩色视频；

步骤三，视频投影变换和拼接

对步骤二所述的再合成的彩色视频进行投影变换后拼接为一路视频；

步骤四，车辆目标的分割与提取

利用基于分块分类的智能视频监控背景更新算法对步骤三所述的拼接后的视频进行背景建模及前景目标提取，从而分割得到视频中的车辆；通过寻找到车辆连通域中行方向最左边点和最右点的坐标值，以及列方向最上边的点及最下边点的坐标值，即得到包含车辆的最小矩形区域(sf(x，y)，x₀，y₀，w，h)，其中sf(x，y)为矩形内对应点的像素值，x，y分别表示行、列的像素坐标，(x₀，y₀)为矩形左上角点的像素坐标，w，h分别为矩形的像素宽和高；

步骤五，车辆目标分类训练样本的提取

需要分类的车型有m种，针对每一种车型i，选择N_i个训练样本，记为

i＝1，...，m，则一共选择了N个训练样本，

步骤六，车辆目标分类特征的提取

(3)车辆目标的非协方差特征提取

根据步骤四得到覆盖车辆目标每个训练样本的最小矩形区域(sf(x，y)，x₀，y₀，w，h)，由w，h可以计算得到车辆的像素长度(h)、宽度(w)、面积(s＝w×h)。

(4)车辆目标的局部协方差特征提取

将步骤四所述的车辆目标的矩形区域(sf(x，y)，x₀，y₀，w，h)分为8个子区域，首先将矩形区域分为左右两个相等矩形区域，上下两个相等的矩形区域，然后再将矩形分成四个相等面积的矩形区域，一共八个子矩形区域，采用基于积分图计算区域协方差特征的方法计算得到步骤四所述的车辆目标的矩形区域的(sf(x，y)，x₁，y₀，w，h)中车辆的协方差矩阵C₁，然后分别计算各个子矩形区域的

$C_{R(x^{\′},y^{\′};x^{\′\′},y^{\′\′})}=\frac{1}{S-1}[Q_{x^{\′\′},y^{\′\′}}+Q_{x^{\′}-1,y^{\′}-1}-Q_{x^{\′\′},y^{\′}-1}-Q_{x^{\′}-1,y^{\′\′}}$

协方差矩阵： $-\frac{1}{S}(p_{x^{\′\′},y^{\′\′}}+p_{x^{\′}-1,y^{\′}-1}-p_{x^{\′}-1,y^{\′\′}}-p_{x^{\′\′},y^{\′}-1}),$ 其中(x′y′)为

${(p_{x^{\′\′},y^{\′\′}}+p_{x^{\′}-1,y^{\′}-1}-p_{x^{\′}-1,y^{\′\′}}-p_{x^{\′\′},y^{\′}-1})}^T]$

矩形左上角点的坐标，(x″，y″)为矩形右下角的点坐标，S＝x′*y′，Q为二次积分图W×H×d×d的张量，P为积分图像W×H×d的张量，其中W×H为图像的分辨率，d为颜色的维数，T为转置；计算得到的子区域的协方差矩阵依次记为C₁、C₃、…、C₉；

步骤七，利用SVM方法结合车辆图像协方差特征进行车辆目标分类

将步骤六所述协方差矩阵C₁、C₂、C₃、…、C₉映射为对应的欧式空间的向量，再利用SVM算法进行车型识别。

步骤七所述的识别方法如下：

(d)第i类车型有N_i个样本，样本序列为

针对每个C_ij，j＝1，2，...，N_i，经过步骤六处理后，将步骤六所述协方差矩阵C₁、C₂、C₃、…、C₉映射为对应的欧式空间的向量并依次排列，则对于每一个类车型中的每一个样得到一个324维的训练样本为Xc_ij，样本集为i＝l，...，m；

(e)根据变换后的样本集

计算出第i类样本的重心最小包含第i类样本的超球体半径为

(f)根据(b)计算所述的超球体半径得到各类车型的分布体积v_i，根据体积由大到小的顺序，对类别进行排序，当存在两个或两个以上的类别具有相同分布体积时，把类标号小的类排在前面，最后得到所有类别的排列N′₁，N′₂，...，N′_m  ，此处N′₁∈{1，2，...，m}；

利用标准的二值分类SVM算法构造二叉树内节点的最优超平面；在根节点处，从样本集中选择第N′₁类样本为正样本集，其他样本为负样本集，利用SVM训练算法构造最优超平面，然后把属于第N′₁类的样本从样本集中删除；在第2个节点处，从样本集中选择第N′₂类样本为正样本集，其他剩余的样本为负样本集，利用SVM训练算法构造最优超平面，然后把属于第N′₂类样本从样本集中删除；依次下去，最终得到基于二叉树的多类SVM分类模型，得到判别函数，通过判别函数即可对车型进行识别。

本发明的优点：目标检测算法利用图像目标的协方差特征作为目标分类的依据，由于协方差特征融合了图像不同类型的特征(如：空间位置、亮度、梯度信息等)，从而使得其有较强的鲁棒性，在不同的视角及光照条件下同一区域的协方差特征差异较小，且协方差特征维数较低，计算代价较小。以一组四个摄像头来覆盖一条道路，从而达到一个处理系统即可以处理整条道路双向车辆的车型识别。在实现目标检测算法时，基于FPGA的可重构性和DSP的软件可编程能力，将FPGA和DSP的组合起来，充分发挥了二者强大的功能，从而实现了视频的实时高效处理。

附图说明

图1，本发明的一种硬件系统结构示意图。

图2，本发明的算法流程图。

图3，计算基于积分图计算图像协方差的坐标系示意图。

图4，原始图像投影变换前后：

     a为摄像机拍摄的原始图像，b为经投影变换后图像。

图5，车辆目标提取结果及最小覆盖图。

     a车辆目标提取结果，b覆盖车辆的最小矩形框。

图6，图像中提取车辆目标的区域图。

图7，提取出来的目标，以及需要计算协方差特征的区域示意图。

     a为提取出来的车辆目标，b-j中的阴影部分为分别需要计算的协方差特征。

具体实施方式

下面结合附图对发明的技术方案进行详细说明：

基于协方差和二叉树支持向量机的目标检测系统及方法，主要由目标检测算法、四个CMOS摄像头的实时视频采集单元、FPGA和DSP组成的图像处理单元组成。

本装置的硬件系统结构如图1所示：四个摄像头分别通过同轴电缆与四个AD9888A/D转换模块的模拟输入端连接，AD9888 A/D转换模块的视频输出端与A/D接口控制单元连接；FPGA的DSP接口与DSP的视频输入端连接，DSP分别通过EMIF、DDR2、JTAG、EMAC、VENC与NAND Flash、DDR2 SRAM、仿真器、以太网模块、电视信号输出接口连接。该硬件系统主要由四个CMOS摄像头和对应的四个AD9888 A/D转换模块组成的实时视频采集单元，基于FPGA的视频预处理单元和以DSP为核心的车型识别单元以及以太网通信接口等组成。

基于协方差和二叉树支持向量机的目标检测系统及方法，其特征在于四个CMOS摄像头分别通过同轴电缆与AD9888芯片A/D转换模块的模拟输入端连接，A/D转换模块的视频输出端与A/D控制接口连接，AD9888芯片进行图像采集格式转换，对图像信号放大，抗混叠滤波等功能，FPGA采用CycloneII系列的EP2C35F672C6，该芯片具有35个DSP处理单元，18x18的乘法器，在图像处理过程中涉及到很多的乘法处理，具备专用乘法单元不仅可以提高系统的性能，而且利用FPGA就可以对图像做一些简单的预处理如颜色空间转换、直方图均衡化等，还可以提高系统的稳定性，最后，CycloneII系列芯片采用90nm工艺并且功耗较低，符合对系统低功耗、体积小的要求。SDRAM存储器型号为A2V64S40CTP-G7，作为外部存储器，用于存储缓冲图像数据。DSP选用TI公司2006年推出的TMS320DM6437型DSP，该款DSP专门为高性能、低成本视频应用而开发，采用TI第3代超长指令集结构(VelociTI.3)的TMS320C64+DSP内核，主频最高达600MHz，支持8个8位或4个16位并行MAC运算，峰值处理能力高达4800MIPS，片上资源丰富，片上具有64通道增强型DMA控制器EDMA3，其支持复杂的数据类型的传输，有利于图像数据的高效传输和格式变换。另外该款DSP还拥有丰富的外部存储器接口(一个专有的32位、200MHz、256M字节寻址空间的DDR2存储器接口用于接口高速大容量的DDR2存储器，以存储代码和数据；一个8位、64M字节寻址空间的异步存储器接口用于接口8位Nor Flash或Nand Flash，以存储固化代码)以及丰富的片上外设(一个专用的单通道视频接口，既可以方便地与各种数字视频输入标准接口，还具有常用的视频预处理功能；一个专用的单通道视频输出接口，既可以提供多种模拟视频输出标准，还可以提供各种数字视频输出标准接口，并且在视频输出之前，还支持多个视频窗口管理及在视频画面上叠加文本数据；一个I2C总线，可无缝接口视频解码器/编码器和音频Codec的控制口，方便实现音/视频编解码器的控制；32位PCI总线，方便与PC机接口，实现多板并行工作。10/100M以太网MAC，方便实现嵌入式视频网络化要求；16位HPI接口，方便实现主/从结构的双处理器视频处理系统)，其中DDR2存储器采用2片16位的MT47H32M16的DDR2存储器，NAND Flash采用ST公司的NAND256W3A2BZA6I，以太网芯片采用Micrel公司的KS8001。DSP接受来自FPGA的视频完成车型识别算法并通过以太网接口输出车型识别结果或通过视频输出接口输出模拟视频。

本发明的算法流程图如图2所示。通过在线收集训练样本后，将它们按照要求进行分类后，将它们输入基于二叉树的SVM进行训练，根据训练的结果和需要达到的准确率来对基于二叉树的SVM的参数进行调节当达到要求后，记录训练得到的参数。将确定了训练参数的SVM写入DSP中，进行车型识别。首先四路视频输入，FPGA分别对每一路视频进行中值滤波，投影变换，最后将四路视频拼接为一路视频输入到DSP中，DSP对视频进行背景建模、车辆目标分割以及车辆提取从而得到覆盖车辆的最小矩形，在得到了覆盖车辆最小矩形框的情况下计算得到车辆的协方差矩阵，然后根据式(14)进行正交变换，从而将车辆的协方差矩阵转换为欧式空间的向量，将其输入基于二叉树的SVM计算得到车型识别结果，将结果输出。

为了避免基于3D的车型识别的算法高计算复杂度，克服基于2D车型识别算法的车型识别准确率低的问题，以及利用PC机处理数据时的摄像机与PC机之间通信成本较大，且处理的实时性不强和网络化应用不便等问题。

本发明的目的在于提供一种基于协方差和二叉树的支持向量机的目标检测系统及方法。该系统及方法利用FPGA和DSP的组合，结合基于图像协方差特征及二叉树SVM的目标检测方法实现多路视频实时自动车型识别，这既加强了系统的实时性和车型识别的准确率又便于网络化的应用。该系统由于利用了FPGA和DSP的组合，不仅能满足多路视频图像的实时获取及车型识别的要求，而且能够高速的输出图像和车型识别结果，从而便于网络化的应用。识别算法是以获取的目标车辆协方差特征为基础，再结合基于二叉树的SVM算法对车型进行自动识别，其中协方差特征有效的融合了图像不同类型的空间和统计特征，并刻画了它们之间的相关性，它能有效的描述物体在不同视角和姿态下的不变特征，且协方差特征对于光照变化、目标尺度变化有较强的鲁棒性。SVM是在统计学习的基础上发展起来的一种新的模式识别方法，1995年，Vapnik提出统计学习理论，较好地解决了线性不可分问题，正式奠定了SVM的理论基础。SVM方法根据有限的样本信息在模型的复杂度(学习精度)和学习能力(无差错的识别任意样本的能力)之间寻求最佳折衷，以期获得最佳的推广能力(对未来输出进行正确预测的能力)。由于经典SVM是一个二值分类器，而我们日常生活中的车辆种类繁多，如：按照车辆大小分类可分为超大型、大型、中型、中小型和微型等；按照车辆外形分类可分为货车、客车、轿车、商务车、SUV等；按汽车标志分类可分为奇瑞、奥迪、大众、宝马等。为了使SVM可以解决多类分类问题，主要的解决途径有两种：一种是通过构造多个SVM分类器并将它们组合起来实现多类分类；另一种是直接在一个优化公式中同时考虑所有子分类器的参数优化，从而达到多类分类。虽然第二种解决多类分类的思想简洁，但是在最优化问题求解过程中的变量远多于第一种，训练速度上不及第一种，且在分类精度上也不占优。有关将SVM用于多类分类的研究见文献：唐发明，王仲东，等.支持向量机多类分类算法研究[J].控制与决策，2005，20(7)：746-749.基于以上考虑我们采用基于协方差和二叉树SVM的目标检测方法进行车型识别。

为了方便描述本发明的内容，在此对本发明中使用到的一些方法做一些描述：

1.中值滤波：一种非线性平滑滤波，在一定条件下可以克服线性滤波如平均值滤波(平滑滤波)等所带来的图像细节模糊问题，而且对过滤脉冲干扰及图像扫描噪声非常有效。

本发明中，我们采用的3×3邻域模板中值滤波。具体执行步骤如下：

1)将模板在图中漫游，并将模板中心点值与图中某个像素位置重合。

2)读取模板下各对应像素的灰度值。

3)将这些灰度值从小到大排成一列。

4)找出这些值里排在中间的一个。

5)将这个中间值赋给对应模板中心位置的像素。

中值滤波的详细原理可参见文献：姚敏等编著，《数字图像处理》，机械工业出版社，2006.

2.车辆协方差特征：图像协方差特征首次在文献：Oncel Tuzel，Fatih Porikli，Peter Meer：Region Covariance：A Fast Descriptor for Detection and Classification.ECCV(2)2006：589-600.中提出，理论上来说，我们可以构造已知图像中任意形状区域的协方差特征。为了便于计算，一般对矩形区域进行协方差特征的提取。对一个矩形区域的协方差特征提取的具体步骤如下：

假设I为三维彩色图像。令F为由I提取出来的W×H×d的特征图：

F(x，y)＝Φ(I，x，y)，                                         (1)

其中Φ可以为任意映射，例如：颜色、图像梯度(I_x，I_xx，...)、边缘尺寸、边缘方向、滤波表示等。对一个给定的矩形窗口：

令{f_k}_{k＝1，...，n}为R中的d维特征向量，则该区域的协方差矩阵为：

$C_R=\frac{1}{n-1}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}(f_k-\mathrm{\μ}){(f_k-\mathrm{\μ})}^T,---\left(2\right)$

其中μ为R中的所有f_k的平均值，f_k为R中所有的f_k按照一定规则排列得到的d维特征向量序列。针对不同的任务(跟踪目标的类型，目标识别、分类的类型等)可以定义不同的f_k，在本发明中我们定义f_k为：

$f_k=\left[\begin{array}{cccccccc}x& y& I(x,y)& I_x(x,y)& I_y(x,y)& \sqrt{I_x^2+I_y^2}& I_{\mathrm{xx}}(x,y)& I_{\mathrm{yy}}(x,y)\end{array}\right],---\left(3\right)$

其中I为亮度；I_x，I_y为亮度在x，y方向的导数。由于协方差矩阵构成的空间不是向量空间，一般的判别距离法则无法判定不同的协方差矩阵之间的差距，所以我们引入了黎曼流形(Riemann Manifold)。假设X和Y为流形上的两个点，则他们分别代表了一个协方差矩阵，则它们之间的距离为：

$d(X,Y)=\sqrt{{<{\log }_X\left(Y\right),{\log }_X\left(Y\right)>}_X}$

$=\sqrt{\mathrm{tr}\left({\log }^2\left(X^{-\frac{1}{2}}{\mathrm{YX}}^{-\frac{1}{2}}\right)\right)}.---\left(4\right)$

3.基于积分图的快速计算矩形区域的协方差特征法：由于在识别算法中要对提取得到的同一车辆目标，计算它的9个不同区域的协方差特征，见车型识别算法步骤六。为了能快速的计算得出这9个协方差特征，我们利用文献Oncel Tuzel，Fatih Porikli，PeterMeer：Region Covariance：A Fast Descriptor for Detection and Classification.ECCV (2)2006：589-600.中的基于积分图的快速计算协方差特征的算法计算指定区域的协方差特征。

为了利用积分图的思想，利用张量来表示不同颜色空间中的图像，假设P为积分图像W×H×d的张量，其中W×H为图像的分辨率，d为颜色的维数，若为RGB图像，则d为3。

$P(x^{\&prime;},y^{\&prime;},l_1)=\underset{x\&le;x^{\&prime;},y\&le;y^{\&prime;}}{\mathrm{\&Sigma;}}F(x,y,l_1),l_1=1,...,d---\left(5\right)$

其中F(x，y，l₁)为图像在坐标(x，y)下第l₁个颜色分量的值。令Q为二次积分图W×H×d×d的张量，且

$Q(x^{\&prime;},y^{\&prime;},l_1,l_2)=\underset{x\&le;x^{\&prime;},y\&le;y^{\&prime;}}{\mathrm{\&Sigma;}}F(x,y,l_1)F(x,y,l_2),l_1,l_2=1,...,d---\left(6\right)$

令p_x，y为d维向量，Q_x，y为d×d维的矩阵，且

$p_{x,y}=\left(\begin{array}{c}P(x,y,1)\\ \&CenterDot;\\ P(x,y,d)\end{array}\right),$ $Q_{x,y}=\left(\begin{array}{ccc}Q(x,y,\mathrm{1,1})& & Q(x,y,1,d)\\ & \&CenterDot;& \\ Q(x,y,d,1)& ...& Q(x,y,d,d)\end{array}\right).---\left(7\right)$

假设R(x′，y′；x″，y″)图像中的任意矩形区域，其中(x′，y′)为矩形左上角点的坐标，(x″，y″)为矩形右下角的点坐标，见图3。由点(1，1)和(x′，y′)组成的矩形区域的协方差特征，即协方差矩阵为：

$C_{R(\mathrm{1,1};x^{\&prime;},y^{\&prime;})}=\frac{1}{S-1}[Q_{x^{\&prime;},y^{\&prime;}}-\frac{1}{S}{p}_{x^{\&prime;},y^{\&prime;}}{p}_{x^{\&prime;},y^{\&prime;}}^T],---\left(8\right)$

其中S＝x′*y′。类似的，有矩形区域R(x′，y′；x″，y″)的协方差矩阵为：

$C_{R(x^{\&prime;},y^{\&prime;};x^{\&prime;\&prime;},y^{\&prime;\&prime;})}=\frac{1}{S-1}[Q_{x^{\&prime;\&prime;},y^{\&prime;\&prime;}}+Q_{x^{\&prime;}-1,y^{\&prime;}-1}-Q_{x^{\&prime;\&prime;},y^{\&prime;}-1}-Q_{x^{\&prime;}-1,y^{\&prime;\&prime;}}$

$-\frac{1}{S}(p_{x^{\&prime;\&prime;},y^{\&prime;\&prime;}}+p_{x^{\&prime;}-1,y^{\&prime;}-1}-p_{x^{\&prime;}-1,y^{\&prime;\&prime;}}-p_{x^{\&prime;\&prime;},y^{\&prime;}-1})---\left(9\right)$

${(p_{x^{\&prime;\&prime;},y^{\&prime;\&prime;}}+p_{x^{\&prime;}-1,y^{\&prime;}-1}-p_{x^{\&prime;}-1,y^{\&prime;\&prime;}}-p_{x^{\&prime;\&prime;},y^{\&prime;}-1})}^T]$

4.标准二值分类SVM算法：该算法是根据给定的样本集(x_p，y_p)，p＝1，...，M，其中x_p∈Rⁿ，y_p∈{-1，1}，求解下列优化问题

$\underset{w,b,\mathrm{\&xi;}}{\min }\frac{1}{2}{w}^{T}w+C\underset{p=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&xi;}}_p$

s.t.  y_p(w^Tφ(x_p)+b)≥1-ξ_p               (10)

      ξ_p≥0

通常我们通过求解上述优化问题的对偶问题来求解最优解，其对偶问题为：

$\underset{\mathrm{\&alpha;}}{\max }\underset{p=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_p-\frac{1}{2}\underset{p=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{p1=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_p{\mathrm{\&alpha;}}_{p1}{y}_p{y}_{p1}K(x_p,x_{p1})$

s.t.  0≤α_p≤C                             (11)

$\underset{p=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_p{y}_p=0$

其中K(x_p，x_p1)＝φ(x_p，x_p1)为核函数。判别函数为

$y\left(x\right)=\mathrm{sign}[\underset{x_p\&Element;\mathrm{SV}}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_p{y}_{p}K(x_p,x)+b]---\left(12\right)$

其中，阈值

SV为支持向量，NSV为标准支持向量。将优化问题(10)的求解转化为求其对偶问题(11)的最优解，主要是通过非线性函数将样本数据映射到具有高维甚至是无穷维的特征空间，并在特征空间中构造最优分类超平面，但在求解最优化问题(11)及计算其判别函数时，并不需要显式计算该非线性函数，而只需要计算核函数，从而避免特征空间维数灾难。在本发明中，我们使用的核函数为径相基函数K(x_p，x_p1)＝exp(-γ||x_p-x_p1||²)，γ＞0，即在利用SVM算法进行向量分类时，只需要确定参数C，γ即可。

5.基于二叉树的SVM算法：假设有K类样本，且第s类样本含有n_s个样本(s＝1，2，...，K)，首先计算出第s类样本的重心为

则最小包含这些样本的超球体半径为

$R_s=\underset{i_1=\{\mathrm{1,2},...,n_s\}}{\max }\left\{\right||{\stackrel{\&OverBar;}{x}}_s-x_{{\mathrm{si}}_1}|\left|\right\}.---\left(13\right)$

则基于超球体最小类包含二叉树生成法的多类别SVM分类算法流程如下：

(a)根据式(13)计算各类样本数据的分布体积v_s(s＝1，2，...，K)。

(b)根据各类的分布体积由大到小的顺序，对类别进行排序。当存在两个或两个以上的类别具有相同分布体积时(这种情况较少出现)，把类标号小的类排在前面，最后得到所有类别的排列n′₁，n′₂，...，n′_k，此处

i₁＝1，2，...，K为类标号。

(c)利用4中的标准二值分类SVM算法构造二叉树内节点的最优超平面。在根节点处，从样本集中选择第n′₁类样本为正样本集，其他样本为负样本集，利用SVM训练算法构造最优超平面，然后把属于第n′₁类的样本从样本集中删除。在第2个节点处，从样本集中选择第n′₂类样本为正样本集，其他剩余的样本为负样本集，利用SVM训练算法构造最优超平面，然后把属于第n′₂类样本从样本集中删除。

依次下去，最终得到基于二叉树的多类SVM分类模型，得到判别函数。

本发明的技术解决方案：四个CMOS摄像头采集视频，四个摄像头基本可以满足一条道路双向交通信息的获取；采集得到的视频经AD9888芯片的视频解码器处理后送入图像处理单元中，图像处理单元执行基于协方差和二叉树的SVM目标检测算法，图像处理单元由FPGA芯片和DSP芯片的嵌入式系统构成，送入图像处理单元的视频首先由FPGA对四路视频图像进行采集和预处理(对每一路视频进行中值滤波、投影变换，然后将四路视频拼接为一路)，并实现对视频编码器的初始化、可编程的产生DSP系统所需的时序和逻辑关系、基本的I/O信号、控制R/W信号；DSP接受经FPGA预处理后的视频并对其进行背景建模、车辆分割与提取、车辆协方差特征计算和车型识别；DSP将识别结果通过以太网通信接口输出或将识别结果与视频叠加经视频输出接口输出。

所述的基于协方差和二叉树SVM的目标检测方法，包括如下执行步骤：

所检测的车辆类型有m种，每种类型分别记为C₁，C₂，...，c_m(c_i可以为小轿车、SUV、面包车、商务车等)

步骤一，摄像头架设

为了使摄像头的视域较大，且视域范围内获得的车辆目标含有较多的判别信息(车牌信息以及驾驶员信息)，将摄像机架设在直道上方大约10米的高度(如果仅从车型识别的角度摄像机可以迎着路面上汽车的行驶的方向，也可以与汽车行驶方向相同)，摄像机的倾角在60度到70度之间，这既保证了摄像机拍摄的车辆包含了较多的判别信息，又保证了摄像机有较大的可视范围，且视域范围内能获得车辆的车牌及驾驶员的信息。

步骤二，视频预处理

由于室外环境下噪音较多，为了降低视频质量对车型识别准确率的影响，我们对获取的视频先进行预处理，从而增强车型识别的准确率。对得到的彩色视频的RGB三通道分别进行3×3邻域模板中值滤波，将得到的结果再合成为彩色视频。

步骤三，视频投影变换

由于计算协方差矩阵时，为了能快速获得车辆目标的协方差特征，我们利用矩形框来表示目标，而路面上的车辆是经过投影变换后出现在视频中的，所以车辆大多以梯形的形式出现，为了使利用矩形框来计算车辆协方差特征时，矩形框中车辆目标在矩形框中的比重尽量大，而背景在矩形框中的比重尽量小，即降低路面背景在基于协方差特征车型识别算法中的对车型识别准确率的影响，我们对原始视频进行投影变换，从而降低背景在车辆协方差特征提取时的影响。

利用拍摄视频中车辆行车线在实际中是平行的原则，将视频进行投影变换使得在视频中相交在无穷远点的行车线平行，见图4，其中a为原始图象，b为经过投影变换后的图。由a图变换到b图主要有两种方法：一、通过寻找摄像机中的点与实际路面上点之间的对应关系，求得自由度为8的投影变换矩阵从而可以得到投影变换后的图；二、通过平行行车线在图像中相交于没影点，从而求得变换矩阵，得到投影变换后的图像。由于第一种方法需要知道路面上点的坐标位置，增加了得到投影变换矩阵的复杂度，所以在本发明中我们采用第二种方法确定投影变换矩阵。详细算法过程见文献：Richard Hartley，Andrew Zisserman.Multiple View Geometry in Computer Vision(Second Edition).Cambridge University Press，March 2004.

步骤四，车辆目标的分割与提取

为了能有效的将视频中的车辆分割提取出来，我们利用基于分块分类的智能视频监控背景更新算法对视频进行背景建模及前景目标提取，从而分割得到视频中的车辆，见图5(a)。视频背景建模及车辆分割目标提取方法见文献：李庆武，蔡艳梅，徐立中.基于分块分类的智能视频监控背景更新算法[J]，智能系统学报，2010。

为了便于车辆协方差特征的提取，我们对得到的车辆，利用最小覆盖的思想获得覆盖车辆区域的最小矩形，在后面计算车辆协方差特征时，以此矩形作为车型识别需要计算协方差特征的区域。具体执行步骤如下：在得到图5(a)中的车辆目标后，通过寻找到车辆连通域中行方向最左边点和最右点的坐标值，以及列方向最上边的点及最下边点的坐标值，即得到包含车辆的最小矩形区域(sf(x，y)，x₀，y₀，w，h)，其中sf(x，y)为矩形内对应点的像素值，(x₀，y₀)为矩形左上角点的像素坐标，w，h分别为矩形的像素宽和高，见图5(b)。

步骤五，车辆目标分类训练样本的提取

由于我们在进行车辆目标分类时，是利用基于二叉树的SVM算法进行识别的，而基于SVM的算法需要通过训练样本学习得到算法中的参数，待确定了SVM算法中的参数后，才能进行识别。经过前面的步骤后我们可以得到车辆目标的最小覆盖后，根据需要识别的车型种类选择训练样本图像，选择原则是在指定视频监控区域内完整出现的正常行驶的车辆，见图6。假设需要分类的车型有m种，针对每一种车型i，选择N_i个训练样本，记为

i＝1，...，m，则一共选择了N个训练样本，

步骤六，车辆目标分类特征的提取

(5)车辆目标的非协方差特征提取

根据步骤四得到覆盖车辆目标每个训练样本的最小矩形区域(sf(x，y)，x₀，y₀，w，h)，由w，h可以计算得到车辆的像素长度(h)、宽度(w)、面积(s＝w×h)。

(6)车辆目标的局部协方差特征提取

当得到车辆目标的矩形区域(sf(x，y)x₀，y₀，w，h)后，我们将矩形分为8个子区域，首先将矩形区域分为左右两个相等矩形区域，上下两个相等的矩形区域，然后再将矩形分成四个相等面积的矩形区域，一共八个子矩形区域，分别计算各个矩阵块的协方差特征，需要计算的区域见图7，其中(a)为经过步骤四获得的车辆的区域，(b)至(j)中阴影区域为需要计算的车辆的协方差特征的区域，利用前面提到的基于积分图计算区域协方差特征的方法在计算得到了图5(b)中车辆的协方差C₁后，根据式(9)可以快速计算得到图8(b)至(j)中阴影区域的协方差，分别记为C₂、C₃、C₄、C₅、C₆、C₇、C₈、C₉、它们均为8×8的正定对称协方差矩阵，在对车辆进行识别时，我们以同一车辆目标的这9个协方差矩阵C₁、C₂、C₃、C₄、C₅、C₆、C₇、C₈、C₉作为车型识别的特征。在实际测试过程中，我们发现矩形区域的分块并不是越多越好，分的子区域越多会增加了SVM训练的时间，而且由于提取的特征过于详细，从而限制了SVM的泛化能力；分的子区域过少，又会使得SVM不能区别较多的车型。将矩形分成8个子区域，既能保证识别的车型的多样性，又能保证有较高的识别率。

步骤七，利用SVM方法结合车辆图像协方差特征进行车辆目标分类

由于SVM算法是对欧式空间中的变量进行分类的算法，而我们使用的协方差特征是以矩形的形式表示的，不是向量空间，它们构成了一个流形空间。为了能在车辆协方差特征空间上建立SVM算法，我们需要引入一个映射将车辆的协方差特征映射为欧式空间中的向量。直观的，我们可以将车辆的协方差矩阵按行或按列进行排列，即得到协方差特征对应的欧式向量表示。但是这样的映射它破坏了协方差特征空间的结构信息，为了能够保留住协方差矩阵空间的结构信息，我们引入了Tuzel等在文献：Oncel Tuzel，FatihPorikli，Peter Meer.Pedestrian Detection via Classification on Riemannian Manifolds[J].IEEETRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，2008，30(3)：1713-1727中介绍的局部映射的观点，将给定的协方差矩阵映射为对应的欧式空间的向量。

假设y为流形上单位原点I处切空间上的向量，y为d×d的对称正定矩阵，原点I即为d×d的单位矩阵，原点I处的切空间表示为T_I。则y在T_I上的标准正交坐标定义为：

${\mathrm{vec}}_I\left(y\right)={\left[\begin{array}{cccc}{y}_{\mathrm{1,1}}& \sqrt{2}{y}_{\mathrm{1,2}}& \sqrt{2}{y}_{\mathrm{1,3}}...y_{\mathrm{2,2}}& \sqrt{2}{y}_{\mathrm{2,3}}...y_{d,d}\end{array}\right]}^T.---\left(14\right)$

若y∈T_X，即y在X的切空间上，则y在T_X上的标准正交坐标为

${\mathrm{vec}}_X\left(y\right)={\mathrm{vec}}_I\left(X^{-\frac{1}{2}}y{X}^{-\frac{1}{2}}\right).---\left(15\right)$

在本发明中我们计算得到车辆协方差特征为8×8的对称正定矩阵，对于计算得到的车辆协方差矩阵C，我们可以利用式(14)将其转化为对应欧式空间的向量，然后应用于SVM算法中即可对车型进行识别。利用SVM算法进行车型识别时，首先需要收集训练样本，通过对训练样本的训练，从而学习得到算法中需要确定的参数，待所有参数确定后，即可进行车型识别。

通过利用步骤五中收集的m种车辆类别的训练样本经过式(14)的变换后输入SVM中进行训练学习得到SVM中各个待确定参数后，再利用该算法进行车型识别。具体的执行过程如下：

(g)第i类车型有N_i(i＝1，...，m)个样本，令样本序列为

针对每个C_ij，j＝1，2，...，N_i，经过步骤六处理后，我们可以得到对应的9个协方差矩阵为C_ij ¹，c_ij ²，...，c_ij ⁹，将得到的9个协方差矩阵分别利用式(9)转换为欧式空间的36维向量并依次排列，则对于每一个类型中的每一个样本我们得到一个324维的训练样本，记为Xc_ij。我们将经过上述转换后的样本记为

i＝l...，m。

(h)根据变换后的样本

(第i类车型，i＝1，...，m)，计算出第i类样本的重心最小包含第i类样本的超球体半径为 $R_i=\underset{j=\{\mathrm{1,2},...,N_i\}}{\max }\left\{\right||{\mathrm{Xc}}_i-{\mathrm{Xc}}_{\mathrm{ij}}|\left|\right\}.$

(i)根据(b)计算得到各类车型的分布体积v_i(i＝1，2，...，m)，根据体积由大到小的顺序，对类别进行排序，当存在两个或两个以上的类别具有相同分布体积时，把类标号小的类排在前面，最后得到所有类别的排列N′₁，N′₂，...，N′_m，此处N′_i∈{1，2，...，m}，i＝1，2，...，m为类标号。

利用标准的二值分类SVM算法构造二叉树内节点的最优超平面。在根节点处，从样本集中选择第N′₁类样本为正样本集，其他样本为负样本集，利用SVM训练算法构造最优超平面，然后把属于第N′₁类的样本从样本集中删除。在第2个节点处，从样本集中选择第N′₂类样本为正样本集，其他剩余的样本为负样本集，利用SVM训练算法构造最优超平面，然后把属于第N′₂类样本从样本集中删除。依次下去，最终得到基于二叉树的多类SVM分类模型，得到判别函数，通过判别函数即可对车型进行识别。

Claims (7)

1.一种基于协方差和二叉树支持向量机的目标检测系统，其特征在于包括视频数据采集单元、图像预处理单元和背景建模车辆分割及显示单元，其中图像预处理单元包括同步信号间隔检测模块、FIFO模块、AD接口控制单元、SDRAM控制器、帧存SDRAM、总开关、双口RAM、接口模块和视频数据处理单元，视频数据采集单元依次串接AD接口控制单元、FIFO模块、视频数据处理单元、SDRAM控制器、双口RAM、接口模块后接背景建模车辆分割及显示单元的输入端，同步信号间隔检测模块的输出端分别接视频数据采集单元、AD接口控制单元和接口模块的输入端，接口模块的输出端接AD接口控制单元的输入端，AD接口控制单元的输出端串接SDRAM控制器后接口模块的输入端。

2.根据权利要求1所述的基于协方差和二叉树支持向量机的目标检测系统，其特征在于所述视频数据处理单元由视频滤波、投影变换模块串接视频拼接模块构成。

3.根据权利要求1所述的基于协方差和二叉树支持向量机的目标检测系统，其特征在于所述视频数据采集单元由多路CMOS摄像头串接视频解码器构成的视频数据采集支路构成。

4.根据权利要求3所述的基于协方差和二叉树支持向量机的目标检测系统，其特征在于所述视频解码器采用型号为AD9888芯片的视频解码器。

5.根据权利要求1所述的基于协方差和二叉树支持向量机的目标检测系统，其特征在于所述背景建模车辆分割及显示单元由DSP芯片构成，所述DSP芯片由背景建模单元依次串接车辆分割提取、协方差特征提取和车型识别计算单元构成。

6.一种基于协方差和二叉树支持向量机的目标检测方法，其特征在于包括如下步骤：

步骤一，摄像头架设

将摄像机头设在直行道路上方，摄像机轴线与所述直行道路方向的倾角在60度到70度之间；

步骤二，视频预处理

对视频数据采集单元获取的多路彩色视频的RGB三通道分别进行3×3邻域模板中值滤波，将得到的结果再合成为彩色视频；

步骤三，视频投影变换和拼接

对步骤二所述的再合成的彩色视频进行投影变换后拼接为一路视频；

步骤四，车辆目标的分割与提取 

利用基于分块分类的智能视频监控背景更新算法对步骤三所述的拼接后的视频进行背景建模及前景目标提取，从而分割得到视频中的车辆；通过寻找到车辆连通域中行方向最左边点和最右点的坐标值，以及列方向最上边的点及最下边点的坐标值，即得到包含车辆的最小矩形区域(sf(x，y)，x₀，y₀，w，h)，其中sf(x，y)为矩形内对应点的像素值，x，y分别表示行、列的像素坐标，(x₀，y₀)为矩形左上角点的像素坐标，w，h分别为矩形的像素宽和高；

步骤五，车辆目标分类训练样本的提取

需要分类的车型有m种，针对每一种车型i，选择N_i个训练样本，记为{c_i1，c_i2，...， 

}，i＝1，...，m，则一共选择了N个训练样本，

步骤六，车辆目标分类特征的提取

(1)车辆目标的非协方差特征提取

根据步骤四得到覆盖车辆目标每个训练样本的最小矩形区域(sf(x，y)，x₀，y₀，w，h)，由w，h可以计算得到车辆的像素长度(h)、宽度(w)、面积(s＝w×h)。

(2)车辆目标的局部协方差特征提取

将步骤四所述的车辆目标的矩形区域(sf(x，y)，x₀，y₀，w，h)分为8个子区域，首先将矩形区域分为左右两个相等矩形区域，上下两个相等的矩形区域，然后再将车辆目标的矩形区域分成四个相等面积的矩形区域，一共八个子矩形区域采用基于积分图计算区域协方差特征的方法计算得到步骤四所述的车辆目标的矩形区域(sf(x，y)，x₀，y₀，w，h)中车辆的协方差矩阵C₁，然后分别计算各个子矩形区域的协方差矩阵： 

其中(x′，y′)为矩形左上角点的坐标，(x″，y″)为矩形右下角的点坐标，S＝x′*y′，Q为二次积分图W×H×d×d的张量，p为积分图像W×H×d的张量，其中W×H为图像的分辨率，d为颜色的维数，T为转置；计算得到的子区域的协方差矩阵依次 记为C₂、C₃、…、C₉；

步骤七，利用SVM方法结合车辆图像协方差特征进行车辆目标分类

将步骤六所述协方差矩阵C₁、C₂、C₃、…、C₉映射为对应的欧式空间的向量，再利用SVM算法进行车型识别。

7.根据权利要求6所述的基于协方差和二叉树支持向量机的目标检测方法，其特征在于步骤七所述的识别方法如下：

(a)第i类车型有N_i个样本，样本序列为{c_i1，c_i2，…， 

}，针对每个c_ij(c_ij代表第i类车型中第j个样本)，j＝1，2，...，N_i，经过步骤六处理后，将步骤六所述协方差矩阵C₁、C₂、C₃、…、C₉映射为对应的欧式空间的向量并依次排列，则对于每一个类车型中的每一个样本得到一个324维的训练样本为Xc_ij，样本集为{Xc_i1，Xc_i2，...， 

}，

i＝1，...，m；

(b)根据变换后的样本集{Xc_i1，Xc_i2，...， 

}，计算出第i类样本的重心 

最小包含第i类样本的超球体半径为

(c)根据(b)计算所述的超球体半径得到各类车型的分布体积v_i，根据体积由大到小的顺序，对类别进行排序，当存在两个或两个以上的类别具有相同分布体积时，把类标号小的类排在前面，最后得到所有类别的排列N′₁，N′₂，...，N′_m，此处

N′_i∈{1，2，...，m}；

利用标准的二值分类SVM算法构造二叉树内节点的最优超平面；在根节点处，从样本集中选择第N′₁类样本为正样本集，其他样本为负样本集，利用SVM训练算法构造最优超平面，然后把属于第N′₁类的样本从样本集中删除；在第2个节点处，从样本集中选择第N′₂类样本为正样本集，其他剩余的样本为负样本集，利用SVM训练算法构造最优超平面，然后把属于第N′₂类样本从样本集中删除；依次下去，最终得到基于二叉树的多类SVM分类模型，得到判别函数，通过判别函数即可对车型进行识别。 

Images