CN101853576B

CN101853576B - 基于fpga的嵌入式超速视频检测方法

Info

Publication number: CN101853576B
Application number: CN201010196308A
Authority: CN
Inventors: 史忠科; 付建群
Original assignee: Northwestern Polytechnical University
Current assignee: Northwestern Polytechnical University
Priority date: 2010-06-10
Filing date: 2010-06-10
Publication date: 2012-10-24
Anticipated expiration: 2030-06-10
Also published as: CN101853576A

Abstract

本发明公开了一种基于FPGA的嵌入式超速视频检测方法，其目的是解决现有的智能交通综合视频监测系统功耗大的技术问题。技术方案是通过多个PAL制式的CCD摄像机对高速公路指定检测区域以200Mhz高速时钟进行监控并对图像进行处理；直接用FPGA进行图像阈值分割，判断车辆是否超速并确定车辆在图像中位置；抓拍包含超速车辆车型及车牌号的图像并精确测出超速车辆车速；获得的超速车辆车速、抓拍图像及事发时间地点等信息发送给无线传输模块并通过GPRS网络将信息传输给监控站。由于本发明直接采用FPGA处理全部图像采集和图像分割计算，利用FPGA对图像的并行处理能力，实现了多路图像的快速处理和超速检测，不需要其它核心处理单元，故系统功耗得到了降低。

Description

基于FPGA的嵌入式超速视频检测方法

技术领域

本发明涉及一种超速视频检测方法，特别是一种基于FPGA的嵌入式超速视频检测方法。

背景技术

超速行驶是诱发高速公路交通事故的主要原因之一，为了增加道路资源的利用效率，保护生命与财产安全，减少由超速引发的交通事故，自动超速违章检测系统必须能在线精确的检测出超速车辆；

传统的车速检测技术方法有：第一种，利用地埋感应线圈检测车辆是否超速，缺点是线圈必须固定，修理或安装需中断交通；影响路面寿命，易被重型车辆、路面修理等损坏；第二种，利用微波检测技术在检测路面上投影检测区域检测车辆是否超速；缺点是单车道检测，放置不当读数被其他车的速度代替，无线电波、车外型变化导致较大误差；第三种，利用固定在高速公路等限速路段一侧的激光测速仪对机动车辆的行驶速度进行测量；缺点是激光束会对人眼造成极为严重的伤害；其性能指标要求高，同时在使用中必须人工操控，因此无法应用于自动检测；

基于视频检测及图像处理的车速检测技术方法，利用工控机、DSP图像采集卡等设备实现车速检测，由于目前图像处理算法复杂并且工控机系统无法对图像进行并行处理，系统在线性差，系统功耗大、系统花费大难以实现多路大尺寸图像在线高速处理和判断；

文献“公开号是CN101692310A的中国专利”公开一种智能交通综合视频监测系统，包括：至少一个高清网络数字摄像机、视频监控工控主机、线圈车辆检测器和/或雷达装置以及高清智能交通行为监视单元。高清网络数字摄像机负责拍摄车道高清图像或高清视频并将图像或视频暂存并分拣；视频监控工控主机负责接收高清网络数字摄像机发送的高清图像或视频，通过对图像或视频进行分区处理，结合其他外部输入条件进行违法行为监测；该工控主机包括：视频采集卡、嵌入式微控制器和连接PCI板卡接口的继电器；线圈车辆检测器和/或雷达装置负责检测车辆的行驶速度；高清智能交通行为监视单元中的系统超速自动监测模块负责对所有通行车辆的车速进行监测，判断是否有车辆超过规定的速度，若发现有车辆超速，则进行抓拍，以便提供超速违法行为的证据。

上述技术不足之处是：基于线圈车辆检测器和/或雷达装置的车速检测设备价格都较昂贵，线圈车辆检测器线圈必须固定，修理或安装需中断交通；影响路面寿命，易被重型车辆、路面修理等损坏；雷达装置为单车道检测，放置不当读数被其他车的速度代替，无线电波、车外型变化导致较大误差；由于上述测速方法不能自动获得超速车辆车牌号码等违章照片证据，无法起到法律监督效用，必须使用摄像机、计算机等设备实现车辆抓拍并由此使得产品且价格昂贵、系统功耗大。

发明内容

为了克服现有的智能交通综合视频监测系统功耗大的不足，本发明提供一种基于FPGA的嵌入式超速视频检测方法。该方法采用FPGA在线对多路图像进行并行处理，实现对大尺寸图像在线高速处理和判断；通过高速CCD等监视路面区域，选定图像中的一个临近边界监视区域，用于检测有无车辆进入检测区，直接由FPGA按照帧差法检测，当有车辆进入该区域时，FPGA将连续自动定时记录多帧图像，采用图像分割等方法获得被检测车辆在不同帧的图像中的中心位置，通过不同帧的位置、时间判断有无超速，如有超速则对FPGA中保存的某一帧图像压缩记录或传输，可以降低系统功耗。

本发明解决其技术问题所采用的技术方案：一种基于FPGA的嵌入式超速视频检测方法，其特点是包括下述步骤：

(a)通过多个PAL制式的CCD摄像机对高速公路指定检测区域以200Mhz高速时钟进行监控并对图像进行处理；当前帧图像与存入SRAM中的上一帧图像作绝对差分进行图像预处理，对CCD图像解码、将相邻两帧图像中指定的同一区域在FPGA进行比较，获得有无超速车辆经过的信息；

(b)直接用FPGA进行图像阈值分割，帧间差法通过对视频流中每帧与前一帧图像中所选区域x∈(x₁，x₂)，y∈(y₁，y₂)做差获取当前图像的帧差图，选取阈值T_d判断该帧有多少像素发生变化以判断该帧是否有车辆经过；

将图像各像素分成目标类C₀＝{x|0≤x≤32}和背景类C₁＝{x|33≤x≤255}，计算

I_{d} (x, y, t) = \{\begin{matrix} 1, | I (x, y, t) - I (x, y, t - 1) | &GreaterEqual; T_{d} \\ 0, | I (x, y, t) - I (x, y, t - 1) | < T_{d} \end{matrix}

C (t) = \{\begin{matrix} 1, Σ_{x = x_{1}}^{x_{2}} Σ_{y = y_{1}}^{y_{2}} I_{d} (x, y, t) &GreaterEqual; T_{c} \\ 0, Σ_{x = x_{1}}^{x_{2}} Σ_{y = y_{1}}^{y_{2}} I_{d} (x, y, t) < T_{c} \end{matrix}

当C(t)＝1时，第t帧图像中有车辆经过监测区域；

(c)通过FPGA在线处理，判断车辆是否超速并确定车辆在图像中位置；首先当有车辆经过检测区域时CCD车辆检测模块发信息给控制模块并告知哪一车道有车并给出车辆中心位置；然后控制模块开始计时；通过计算下一帧图像中车辆中心位置确定车辆的位移，进而确定车速并判断车辆是否超速；车辆中心位置由下式确定：

[\begin{matrix} \overset{&OverBar;}{x} \\ \overset{&OverBar;}{y} \end{matrix}] = [\begin{matrix} M_{x} / M \\ M_{y} / M \end{matrix}] = [\begin{matrix} Σ_{y = c}^{d} Σ_{x = a}^{b} xV (x, y) / Σ_{y = c}^{d} Σ_{x = a}^{b} V (x, y) \\ Σ_{y = c}^{d} Σ_{x = a}^{b} yV (x, y) / Σ_{y = c}^{d} Σ_{x = a}^{b} V (x, y) \end{matrix}]

式中，V(x，y)是图像中像素点的取值，a，b，c，d是图像的边界坐标；

(d)检测到车辆超速后控制模块停止计时器、记录计时器值计算超速车辆车速及车辆在图像中位置；车辆车速计算公式是：V＝L/T_t＝(n×D)/T_t式中，D是监测区域内图像中每行之间距离；n是不同时刻车辆中心之间距离；T_t是FPGA内部编程实现计时器计时；

(e)通过FPGA获得超速车辆车速、抓拍图像及事发时间地点的信息发送给无线传输模块，并通过GPRS网络将信息传输给监控站。

本发明的有益结果是：由于采用了FPGA在线对多路图像进行并行处理，实现了对大尺寸图像在线高速处理和判断；通过高速CCD等监视路面区域，选定图像中的一个临近边界监视区域，用于检测有无车辆进入检测区，直接由FPGA按照帧差法检测，当有车辆进入该区域时，FPGA将连续自动定时记录多帧图像，采用图像分割等方法获得被检测车辆在不同帧的图像中的中心位置，通过不同帧的位置、时间判断有无超速，如有超速则对FPGA中保存的某一帧图像压缩记录或传输。由于本发明直接采用FPGA处理全部图像采集和图像分割计算，利用FPGA对图像的并行处理能力、对8位至16位数据的快速处理能力，实现了多路图像的快速处理和超速检测，并且快速保存或传输超速图像，不需要其它核心处理单元，故系统功耗得到了降低。

下面结合附图和实施例对本发明作详细说明。

附图说明

图1是本发明方法所用系统的结构图；

图2是图1中FPGA的硬件框图；

图3是本发明方法目标中心计算逻辑图；

图4是本发明方法流程图。

具体实施方式

参照图1～4，本发明方法用系统由多路摄像机、FPGA核心板、无线传输设备组成：(1)多路摄像机采用Mintron彩色CCD摄像机，通过将其安装在道路两侧固定架上并将25帧/秒的视频流图像以PAL制式的模拟信号形式传输给FPGA核心板实现对高速公路监测区域的在线图像采集；(2)FPGA核心板为系统的数据处理设备，由于系统必须对每路视频流的每帧图像进行分析处理，因此选Altera公司型号为EP1C12的FPGA作为核心处理器；由于FPGA掉电后无法保存程序，因此通过ALTERA公司型号为EPCS4的flash存储器实现掉电后FPGA程序存储，当系统上电后FPGA自动将EPCS4中保存的程序写入FPGA中并开始工作；要获得清晰车牌必须对整幅图像每帧都进行存储，而FPGA内部RAM为只有240Kbit，因此选用ISSI公司的IS61LV10248高速8位RAM作为图像存储器；由于摄像机输出为模拟信号，而一般FPGA都是数字接口，所以选用PHILIPS公司的SAA7113H专用视频A/D转换芯片，其输出信号是YUV4:2:2格式数字信号；为实现将超速抓拍图像及相关信息传输给监控站，选用Maxim公司的MAX3232芯片实现RS232接口，通过RS232接口FPGA通过UART总线传输协议将超速抓拍图像及相关信息传输给无线传输设备；(3)无线传输设备由广州领拓电子科技公司的型号为LT501HW DTU MODEM的无线传输模块组成，实现通过GPRS网络将当前获得的超速车辆车速、抓拍图像及事发时间地点等信息传输给监控站。

FPGA通过Verilog HDL硬件描述语言编程实现如下模块：IIC模块、基于图像处理的车辆检测模块、控制模块、UART模块和外部SRAM总线接口模块；

IIC模块：实现IIC总线传输协议，在系统上电启动后通过IIC总线对视频A/D转换芯片SAA7113H进行参数配置，在配置完毕后启动图像处理模块开始监控监测区域；

基于图像处理的车辆检测模块：首先对视频A/D转换芯片数据总线上的8位YUV4:2:2格式的视频数据流进行分析，解析出数字图像信息；然后将图像数据在线存入高速8位内部RAM中，并通过帧间差法对其进行处理并判断监测区域是否有车辆及车辆在图像中的中心位置；最后通过不同帧之间车辆的位移及花费时间计算车辆车速并判断是否超速；

控制模块：通过基于图像处理的车辆检测模块发送的信号判断经过监测区域的车辆的是否超速，如果没有超速车辆检测模块继续工作，如果有车辆超速则暂停超速车辆检测模块、压缩抓拍到超速车辆的图像、并通知UART模块传输数据；

UART模块：实现UART总线传输协议，在获知车辆超速后将抓拍超速车辆图像及其车速通过串口传送至GPRS无线收发模块，传输完毕后重新启动图像处理模块，使系统重新开始监控检测区域；

外部SRAM总线接口模块：通过控制模块控制哪一模块与外部SRAM总线连接并对外部SRAM所存图像进行处理。

FPGA通过Verilog HDL硬件描述语言编程实现了基于FPGA的嵌入式超速视频检测，下面详细叙述实现方法：

1)对CCD图像解码、将相邻两帧图像中指定的同一区域在FPGA进行比较，获得有无超速车辆经过的信息；通过在高速公路道路边架设多个PAL制式的CCD摄像机对高速公路指定检测区域以200Mhz高速时钟进行监控并对图像进行处理；当前帧图像与存入SRAM中的上一帧图像作绝对差分以实现图像预处理。差分结果与固定阈值进行比较，大于阈值为有车辆像素点，否则为无车辆像素点；

2)直接用FPGA进行图像阈值分割，为进一步处理奠定基础；帧间差法通过对视频流中每帧与前一帧图像中所选区域x∈(x₁，x₂)，y∈(y₁，y₂)做差获取当前图像的帧差图，选取合适的阈值T_d判断该帧有多少像素发生变化并通过选取合适的阈值T_c判断该帧是否有车辆经过；

通过帧差将背景像素值集中在(0，32)范围内，目标车辆像素基本大于32。由此实现将图像各像素分成目标类C₀＝{x|0≤x≤32}和背景类C₁＝{x|33≤x≤255}并选取T_d＝32；根据FPGA帧差直方图看出当有车辆进入监测区域时车辆像素数远大于14万个。运用p-分位数(p-tile)阈值分割法通过上述实验分析确定T_c＝14000；

计算

I_{d} (x, y, t) = \{\begin{matrix} 1, | I (x, y, t) - I (x, y, t - 1) | &GreaterEqual; T_{d} \\ 0, | I (x, y, t) - I (x, y, t - 1) | < T_{d} \end{matrix}

C (t) = \{\begin{matrix} 1, Σ_{x = x_{1}}^{x_{2}} Σ_{y = y_{1}}^{y_{2}} I_{d} (x, y, t) &GreaterEqual; T_{c} \\ 0, Σ_{x = x_{1}}^{x_{2}} Σ_{y = y_{1}}^{y_{2}} I_{d} (x, y, t) < T_{c} \end{matrix}

当C(t)＝1时说明第t帧图像中有车辆经过监测区域。选取不同T_d值，通过对比可验证p-tile阈值分割法能很好的定位车辆并消除阴影。FPGA通过p-分位数法选取T_d并获得当前帧的二值化图像实现图像阈值分割，当C(t)＝1时说明第t帧图像中有车辆经过监测区域；

3)通过FPGA在线处理，判断车辆是否超速并确定车辆在图像中位置；首先当有车辆经过检测区域时CCD车辆检测模块发信息给控制模块并告知哪一车道有车并计算出车辆中心位置；然后控制模块开始计时；通过计算下一帧图像中车辆中心位置可计算出车辆的位移，进而计算车速并判断车辆是否超速。如果超速则发信息给控制模块告知车辆超速。

寄存器、加法器、除法器及选择器等都为FPGA内部硬件资源，FPGA通过VerilogHDL硬件描述语言将目标中心计算算法用FPGA内部硬件资源实现，其目的是使目标中心计算模块与其它处理模块相互独立，在时间上并行工作，保证在图像采集过程中计算目标中心，当图像采集完成后目标中心也计算完毕。通过FPGA直接提取目标中心；目标中心的计算公式为：

[\begin{matrix} \overset{&OverBar;}{x} \\ \overset{&OverBar;}{y} \end{matrix}] = [\begin{matrix} M_{x} / M \\ M_{y} / M \end{matrix}] = [\begin{matrix} Σ_{y = c}^{d} Σ_{x = a}^{b} xV (x, y) / Σ_{y = c}^{d} Σ_{x = a}^{b} V (x, y) \\ Σ_{y = c}^{d} Σ_{x = a}^{b} yV (x, y) / Σ_{y = c}^{d} Σ_{x = a}^{b} V (x, y) \end{matrix}]

式中V(x，y)为图像中像素点的取值，a，b，c，d为图像的边界坐标，计算中心需要做三次加法两次除法，求M_x，M_y，M的加法运算在图像采集时同步完成，除法运算在图像采集完成后并行进行，中心坐标可以在图像采集完成后延迟一个除法周期后输出，保证在图像采集过程中计算目标中心，当图像采集完成后目标中心也计算完毕。

4)通过FPGA抓拍包含超速车辆车型及车牌号的图像并精确测出超速车辆车速；检测到车辆超速后控制模块停止计时器、记录计时器值计算超速车辆车速及车辆在图像中位置。车速计算公式为：V＝L/T；通过使用检测区域而不是检测线可以更精确的计算车辆行驶速度V。通过实地测量监测区域内图像中每行之间距离D可以精确得到。由于车速较快，不可能每次都是车头刚好压到检测线，因此检测线法无法准确得知车辆的精确位置。通过监测区域法当检测到车辆经过时车还在监测区域内，由此可计算出不同时刻车辆中心之间距离n行并计算出L＝n×D。FPGA内部编程实现计时器计时为T_t，精度为0.25(ms)。视频A/D转换接口芯片输出YUV4:2:2PAL制式数字信号钟频率为27MHZ，精度为us级。每帧共625线，每场50HZ每帧25HZ。每线所占时间为T_L＝1/(625*25)＝0.064ms秒。车辆车速计算公式为：V＝L/T_t＝(n×D)/T_t。

5)通过FPGA将获得的超速车辆车速、抓拍图像及事发时间地点等信息发送给无线传输模块并通过GPRS网络将信息传输给监控站；系统通过FPGA编程实现UART模块通过串口将超速车辆车速、抓拍图像及事发时间地点等信息传输给广州领拓电子科技公司的型号为LT501HW DTU MODEM的无线传输模块；通过该无线模块及GPRS网络等将信息传输给监控站，监控站可及时通过超速车辆车速并抓拍到清晰车牌号实施监控处罚。

系统工作流程如下：

①系统上电后FPGA自启动将EPCS4中保存的程序写入FPGA中并开始工作；

②FPGA实现IIC总线传输协议，在系统上电启动后通过IIC总线对视频A/D转换芯片SAA7113H进行参数配置，在配置完毕后启动图像处理模块；

③FPGA应用数字图像处理技术实现多路图像的快速处理和超速检测并判断进入监测区域车辆是否超速；

④当检测到有车辆超速时，FPGA通过图像方式抓拍超速车辆的车型及车牌号并对图像进行压缩；

⑤FPGA实现UART总线传输协议，通过串口、无线传输模块及GPRS网络将当前获得的超速车辆车速、抓拍图像及事发时间地点等信息传输给监控站；

⑥数据通过串口传输完毕后对FPGA内部参数复位，使其从新开始检测是否有车辆超速；

系统运用FPGA的并行处理能力通过对多路25帧/秒的720×576视频流在线处理实现了在线、经济的高性能的超速监测系统。实验证明该系统能精确的测量超速车辆车速并抓拍到清晰车牌号。

Claims

1.一种基于FPGA的嵌入式超速视频检测方法，其特征在于包括下述步骤：

将图像各像素分成目标类C₀＝{x|0≤x≤32}和背景类C₁＝{x |33≤x≤255}，计算

I_{d} (x, y, t) = \{\begin{matrix} 1, | I (x, y, t) - I (x, y, t - 1) | &GreaterEqual; T_{d} \\ 0, | I (x, y, t) - I (x, y, t - 1) | < T_{d} \end{matrix}

C (t) = \{\begin{matrix} 1, Σ_{x = x_{1}}^{x_{2}} Σ_{y = y_{1}}^{y_{2}} I_{d} (x, y, t) &GreaterEqual; T_{c} \\ 0, Σ_{x = x_{1}}^{x_{2}} Σ_{y = y_{1}}^{y_{2}} I_{d} (x, y, t) < T_{c} \end{matrix}

当C(t)＝1时，第t帧图像中有车辆经过监测区域；

[\begin{matrix} \overset{&OverBar;}{x} \\ \overset{&OverBar;}{y} \end{matrix}] = [\begin{matrix} M_{x} / M \\ M_{y} / M \end{matrix}] = [\begin{matrix} Σ_{y = c}^{d} Σ_{x = a}^{b} xV (x, y) / Σ_{y = c}^{d} Σ_{x = a}^{b} V (x, y) \\ Σ_{y = c}^{d} Σ_{x = a}^{b} yV (x, y) / Σ_{y = c}^{d} Σ_{x = a}^{b} V (x, y) \end{matrix}]