CN103021175A - 基于达芬奇架构的行人闯红灯视频检测方法及装置 - Google Patents

Abstract

一种基于达芬奇架构的行人闯红灯视频检测方法，利用摄像头采集人行通道图像信息的过程中，利用DM6446核心板从路口交通信号灯控制器中获取红绿灯信号，并对人行通道红灯时间内采集的人行通道图像信息中的目标区域中的物体进行判别，通过差影处理和图像形态学算法处理，从人行通道红灯时间内采集的人行通道图像信息中的目标区域中识别出行人，并最终判定是否有行人闯红灯，并对闯红灯行人进行抓拍，记录违章时间、违章者身高、体型、面部特征信息，存储闯红灯的过程。本发明利用人像识别技术，自动判别行人闯红灯现象并发出警示，并记录违章者图片信息，为违章处罚、信息统计提供技术支持，有助于减少行人闯红灯现象，降低交通事故的发生。

Description

基于达芬奇架构的行人闯红灯视频检测方法及装置

技术领域:

本发明涉及物理领域，尤其涉及交通信号检测技术，特别是一种基于达芬奇架构的行人闯红灯视频检测方法及装置。

背景技术:

行人闯红灯是经常发生的交通违法。行人闯红灯容易造成交通事故发生。现有技术中，普遍采用人工发现和劝阻行人闯红灯，个别城市采用红外或压敏电缆等感应探测技术检测是否有行人闯红灯，当有行人闯红灯时，通过语音提醒行人遵守道路交通安全法，但是对于违章者的特征信息如违章的时间、违章者的身高、体型、面部特征等不能进行实时记录，在执法时存在取证的困难，当发生交通事故时也不能提供较详细的执法依据。

发明内容：

本发明的目的在于提供一种基于达芬奇架构的行人闯红灯视频检测方法，所述的这种基于达芬奇架构的行人闯红灯视频检测方法要解决现有技术中不能记录行人闯红灯时的特征信息的技术问题。

本发明的这种基于达芬奇架构的行人闯红灯视频检测方法，包括一个利用摄像头采集人行通道图像信息的过程，其中，在所述的利用摄像头采集人行通道图像信息的过程中，利用一个计算机系统从路口交通信号灯控制器中获取红绿灯信号，并利用计算机系统对人行通道红灯时间内采集的人行通道图像信息中的目标区域中的物体进行判别，通过差影处理和图像形态学算法处理，从人行通道红灯时间内采集的人行通道图像信息中的目标区域中识别出行人，并最终判定是否有行人闯红灯，并对闯红灯行人进行抓拍，记录违章时间、违章者的身高、体型、面部特征信息，存储闯红灯的视频过程。

进一步的，所述的计算机系统采用嵌入式的德州仪器DM6446达芬奇系列处理器的片上系统，所述的德州仪器DM6446达芬奇系列处理器的片上系统包括ARM9RISC处理器、C64x+数字信号处理器、视频硬件加速引擎、视频和影像协处理器和视频处理子系统，所述的视频处理子系统包括视频处理前端和视频处理后端，所述的视频处理前端包括了CCD控制器、自动曝光自动白平衡自动对焦模块和一个缩放器，将所述的ARM9RISC处理器的一个输入信号端口与路口交通信号灯控制器中红绿灯信号端口连接，将视频处理前端与所述的摄像头的信号和控制端连接。

进一步的，在所述的利用摄像头采集人行通道图像信息的过程中，利用摄像头拍摄路口图像，从路口图像中截取4根斑马线所覆盖的区域，作为目标区域。

进一步的，在计算机系统中设置有人像识别程序和违章判别程序，计算机系统利用违章判别程序判断行人闯红灯事件发生，然后返回违章信号，并将图像进行存储。

进一步的，将计算机系统与一个路口背景图像库连接，利用计算机系统将摄像头传回的图像与路口背景图像相减,得到差影后的图片,再对差影后的图片进行二值化和图像形态学处理,从路上包括车辆在内的物体中识别出行人。

进一步的，在所述的对差影后的图片进行图像形态学处理的过程中,采用腐蚀和膨胀算法，消除图像中离散的噪音，填充图像中断裂部分,构成连通区域。

本发明还提供了一种实现上述基于达芬奇架构的行人闯红灯视频检测方法的装置，所述的这种基于达芬奇架构的行人闯红灯视频检测装置包括摄像头和嵌入式的德州仪器DM6446达芬奇系列处理器的核心板，其中，所述的嵌入式的德州仪器DM6446达芬奇系列处理器的核心板包括有ARM9RISC处理器、C64x+数字信号处理器、视频硬件加速引擎、视频和影像协处理器和视频处理子系统，所述的视频处理子系统包括视频处理前端和视频处理后端，所述的视频处理前端包括了CCD控制器、自动曝光自动白平衡自动对焦模块和一个缩放器，所述的ARM9RISC处理器的一个输入信号端口与路口交通信号灯控制器中红绿灯信号端口连接，视频处理前端与所述的摄像头的信号和控制端连接。

进一步的，嵌入式的德州仪器DM6446达芬奇系列处理器的核心板连接有语音报警器。

进一步的，嵌入式的德州仪器DM6446达芬奇系列处理器的核心板连接有图像显示器。

进一步的，嵌入式的德州仪器DM6446达芬奇系列处理器的核心板通过信号线与路口交通信号灯控制器连接。

本发明的工作流程是：安装在路口的基于达芬奇架构的DM6446核心板与路口交通信号灯控制器连接，获取红绿灯信号；同时通过摄像头采集人行通道的图像信息。人行通道红灯时间内，当有物体闯过感兴趣区域时，对物体（行人、车辆或其它）进行初步判别，经过差影处理、图像形态学算法处理、违章判别等过程，最终判定是否有行人闯红灯，并对闯红灯行人进行抓拍，记录违章时间、违章者的身高、体型、面部特征等基本信息，存储闯红灯过程。

行人轮廓识别检测原理是：摄像机立于路边，垂直斑马线进行视频捕获，闯红灯事件场景第i帧灰度图像可表示为：

$f_i(u,v)=f_{P_i}(u,v)+f_{V_i}(u,v)+f_{B_i}(u,v)+f_{N_i}(u,v),i=\mathrm{1,2,3},...---\left(1\right)$

式中：(u,v)为像素点坐标；f_i(u,v)为图像的灰度值；

为行人的灰度值；

为车辆的灰度值(可以没有)；

为背景图像灰度值；为噪声图像灰度值，服从零均值高斯分布。

第j帧差分图像可表示为：

I_j(u,v)＝|f_i+1(u,v)-f_i(u,v)|,i＝1,2,3,…,j＝1,2,3,…(2)式中，I_j(u,v)为邻帧差分图像。在视频采样间隔极短的条件下，

成立。则在捕获到M帧原始图像后，得到差分图像M-1帧并将其叠加生成一帧合成图像为：

$I_{\mathrm{\Σ}}(u,v)=\underset{j=1}{\overset{M-1}{\mathrm{\Σ}}}{I}_j(u,v)$

$=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}|f_{P_{i+1}}(u,v)-f_{P_i}(u,v)|+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}|f_{V_{i+1}}(u,v)-f_{V_i}(u,v)|+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}|f_{N_{i+1}}(u,v)-f_{N_i}(u,v)|---\left(3\right)$

可以看到，合成图像中，背景信息已经被差分掉，只留下行人、车辆运动形成的团块信息和服从高斯分布的杂散噪声，对合成图像实施一次腐蚀，团块信息损失很少，而杂散噪声大部分被腐蚀掉。对腐蚀后的合成图像I′_∑(u,v)做垂直方向直方图投影运算，可以得到行人运动轨迹的垂直区域。记V表示垂直方向直方图投影：

$V\left(u\right)=\underset{v=1}{\overset{H}{\mathrm{\Σ}}}{I}_{\mathrm{\Σ}}^{\′}(u,v),u=\mathrm{1,2},...,W---\left(4\right)$

其中，W为图像宽度，H为图像高度。V表现为有若干峰值的直方图，峰值个数x对应行人个数，以峰值坐标为中心，取峰值两侧各α(取决于M)*Wp(行人平均身宽)作为行人轨迹的垂直区域估计值，得到x个区域。记S_k表示第k个垂直区域进行水平方向的直方图投影计算：

$S_k\left(v\right)=\underset{u=a_k}{\overset{b_k}{\mathrm{\Σ}}}{I}_{\mathrm{\Σ}}^{\′}(u,v),v=\mathrm{1,2},...,H---\left(5\right)$

式中，a_k表示第个竖直区域的开始位置；b_k表示第个竖直区域的结束位置。S_k表现为近似于方波的直方图，取方波的起始位置到β(取决于M)*Hp(行人平均身高))作为第k个行人轨迹的水平区域估计值，之所以不选取方波的起始到下降沿是考虑到场景中有车辆遮挡。这样M帧原始图像中任一帧中各行人轮廓，都会在对腐蚀后的合成图像双向投影所确定的矩形框中，实现了行人的轮廓定位。

本发明和已有技术相比，其效果是积极和明显的。本发明利用人像识别技术，可以自动判别行人闯红灯现象并发出警示，同时启动摄像机抓拍功能，记录违章者图片信息，在路口的室外显示器进行警示，提醒行人不要违规。违章信息可以离线存储在路口控制机上，也可以通过有线或无线通信方式上传到监控中心，为违章处罚、信息统计等提供技术支持。该系统对于减少行人闯红灯现象，降低交通事故的发生具有积极的作用。

附图说明：

图1是本发明中的基于达芬奇架构的行人闯红灯视频检测装置的原理图。

图2是本发明的基于达芬奇架构的行人闯红灯视频检测方法中的现场工作示意图。

具体实施方式：

实施例1:

如图1和图2所示，本发明的基于达芬奇架构的行人闯红灯视频检测方法，包括一个利用摄像头1采集人行通道2图像信息的过程，其中，在所述的利用摄像头1采集人行通道2图像信息的过程中，利用一个计算机系统3从路口交通信号灯控制器4中获取红绿灯5信号，并利用计算机系统3对人行通道2红灯时间内采集的人行通道2图像信息中的目标区域中的物体进行判别，通过差影处理和图像形态学算法处理，从人行通道2红灯时间内采集的人行通道2图像信息中的目标区域中识别出行人，并最终判定是否有行人闯红灯，并对闯红灯行人进行抓拍，记录违章时间、违章者的身高、体型、面部特征信息，存储闯红灯的视频过程。

进一步的，所述的计算机系统3采用嵌入式的德州仪器DM6446达芬奇系列处理器的片上系统，所述的德州仪器DM6446达芬奇系列处理器的片上系统包括ARM9RISC处理器、C64x+数字信号处理器、视频硬件加速引擎、视频和影像协处理器和视频处理子系统，所述的视频处理子系统包括视频处理前端和视频处理后端，所述的视频处理前端包括了CCD控制器、自动曝光自动白平衡自动对焦模块和一个缩放器，将所述的ARM9RISC处理器的一个输入信号端口与路口交通信号灯控制器4中红绿灯5信号端口连接，将视频处理前端与所述的摄像头1的信号和控制端连接。

进一步的，在所述的利用摄像头1采集人行通道2图像信息的过程中，利用摄像头1拍摄路口图像，从路口图像中截取4根斑马线所覆盖的区域，作为目标区域。

进一步的，在计算机系统3中设置有人像识别程序和违章判别程序，计算机系统3利用违章判别程序判断行人闯红灯事件发生，然后返回违章信号，并将图像进行存储。

进一步的，将计算机系统3与一个路口背景图像库连接，利用计算机系统3将摄像头1传回的图像与路口背景图像相减,得到差影后的图片,再对差影后的图片进行二值化和图像形态学处理,从路上包括车辆在内的物体中识别出行人。

进一步的，在所述的对差影后的图片进行图像形态学处理的过程中,采用腐蚀和膨胀算法，消除图像中离散的噪音，填充图像中断裂部分,构成连通区域。

本发明还提供了一种实现上述方法的装置，所述的这种基于达芬奇架构的行人闯红灯视频检测装置包括摄像头1和嵌入式的德州仪器DM6446达芬奇系列处理器的核心板，其中，所述的嵌入式的德州仪器DM6446达芬奇系列处理器的核心板包括有ARM9RISC处理器、C64x+数字信号处理器、视频硬件加速引擎、视频和影像协处理器和视频处理子系统，所述的视频处理子系统包括视频处理前端和视频处理后端，所述的视频处理前端包括了CCD控制器、自动曝光自动白平衡自动对焦模块和一个缩放器，所述的ARM9RISC处理器的一个输入信号端口与路口交通信号灯控制器4中红绿灯5信号端口连接，视频处理前端与所述的摄像头1的信号和控制端连接。

进一步的，嵌入式的德州仪器DM6446达芬奇系列处理器的核心板连接有语音报警器6。

进一步的，嵌入式的德州仪器DM6446达芬奇系列处理器的核心板连接有图像显示器7。

进一步的，嵌入式的德州仪器DM6446达芬奇系列处理器的核心板通过信号线与路口交通信号灯控制器4连接。

本实施例的工作流程是：安装在路口的基于达芬奇架构的DM6446核心板与路口交通信号灯控制器4连接，获取红绿灯5信号；同时通过摄像头1采集人行通道2的图像信息。人行通道2红灯时间内，当有物体闯过感兴趣区域时，对物体（行人、车辆或其它）进行初步判别，经过差影处理、图像形态学算法处理、违章判别等过程，最终判定是否有行人闯红灯，并对闯红灯行人进行抓拍，记录违章时间、违章者的身高、体型、面部特征等基本信息，存储闯红灯过程。

行人轮廓识别检测原理是：摄像机立于路边，垂直斑马线进行视频捕获，闯红灯事件场景第i帧灰度图像可表示为：

$f_i(u,v)=f_{P_i}(u,v)+f_{V_i}(u,v)+f_{B_i}(u,v)+f_{N_i}(u,v),i=\mathrm{1,2,3},...---\left(1\right)$

式中：(u,v)为像素点坐标；f_i(u,v)为图像的灰度值；

为行人的灰度值；

为车辆的灰度值(可以没有)；

为背景图像灰度值；

为噪声图像灰度值，服从零均值高斯分布。

第j帧差分图像可表示为：

I_j(u,v)＝|f_i+1(u,v)-f_i(u,v)|,i＝1,2,3,…,j＝1,2,3,…(2)

式中，I_j(u,v)为邻帧差分图像。在视频采样间隔极短的条件下，

成立。则在捕获到M帧原始图像后，得到差分图像M-1帧并将其叠加生成一帧合成图像为：

$I_{\mathrm{\Σ}}(u,v)=\underset{j=1}{\overset{M-1}{\mathrm{\Σ}}}{I}_j(u,v)$

$=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}|f_{P_{i+1}}(u,v)-f_{P_i}(u,v)|+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}|f_{V_{i+1}}(u,v)-f_{V_i}(u,v)|+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}|f_{N_{i+1}}(u,v)-f_{N_i}(u,v)|---\left(3\right)$

可以看到，合成图像中，背景信息已经被差分掉，只留下行人、车辆运动形成的团块信息和服从高斯分布的杂散噪声，对合成图像实施一次腐蚀，团块信息损失很少，而杂散噪声大部分被腐蚀掉。对腐蚀后的合成图像I′_∑(u,v)做垂直方向直方图投影运算，可以得到行人运动轨迹的垂直区域。记V表示垂直方向直方图投影：

$V\left(u\right)=\underset{v=1}{\overset{H}{\mathrm{\Σ}}}{I}_{\mathrm{\Σ}}^{\′}(u,v),u=\mathrm{1,2},...,W---\left(4\right)$

其中，W为图像宽度，H为图像高度。V表现为有若干峰值的直方图，峰值个数x对应行人个数，以峰值坐标为中心，取峰值两侧各α(取决于M)*Wp(行人平均身宽)作为行人轨迹的垂直区域估计值，得到x个区域。记S_k表示第k个垂直区域进行水平方向的直方图投影计算：

$S_k\left(v\right)=\underset{u=a_k}{\overset{b_k}{\mathrm{\Σ}}}{I}_{\mathrm{\Σ}}^{\′}(u,v),v=\mathrm{1,2},...,H---\left(5\right)$

式中，a_k表示第个竖直区域的开始位置；b_k表示第个竖直区域的结束位置。S_k表现为近似于方波的直方图，取方波的起始位置到β(取决于M)*Hp(行人平均身高))作为第k个行人轨迹的水平区域估计值，之所以不选取方波的起始到下降沿是考虑到场景中有车辆遮挡。这样M帧原始图像中任一帧中各行人轮廓，都会在对腐蚀后的合成图像双向投影所确定的矩形框中，实现了行人的轮廓定位。

Claims (10)

1.一种基于达芬奇架构的行人闯红灯视频检测方法，包括一个利用摄像头采集人行通道图像信息的过程，其特征在于：在所述的利用摄像头采集人行通道图像信息的过程中，利用一个计算机系统从路口交通信号灯控制器中获取红绿灯信号，并利用计算机系统对人行通道红灯时间内采集的人行通道图像信息中的目标区域中的物体进行判别，通过差影处理和图像形态学算法处理，从人行通道红灯时间内采集的人行通道图像信息中的目标区域中识别出行人，并最终判定是否有行人闯红灯，并对闯红灯行人进行抓拍，记录违章时间、违章者的身高、体型、面部特征信息，存储闯红灯的视频过程。

2.如权利要求1所述的基于达芬奇架构的行人闯红灯视频检测方法，其特征在于：所述的计算机系统采用嵌入式的德州仪器DM6446达芬奇系列处理器的片上系统，所述的德州仪器DM6446达芬奇系列处理器的片上系统包括ARM9 RISC处理器、C64x+数字信号处理器、视频硬件加速引擎、视频和影像协处理器和视频处理子系统，所述的视频处理子系统包括视频处理前端和视频处理后端，所述的视频处理前端包括了CCD控制器、自动曝光自动白平衡自动对焦模块和一个缩放器，将所述的ARM9 RISC处理器的一个输入信号端口与路口交通信号灯控制器中红绿灯信号端口连接，将视频处理前端与所述的摄像头的信号和控制端连接。

3.如权利要求1所述的基于达芬奇架构的行人闯红灯视频检测方法，其特征在于：在所述的利用摄像头采集人行通道图像信息的过程中，利用摄像头拍摄路口图像，从路口图像中截取4根斑马线所覆盖的区域，作为目标区域。

4.如权利要求1所述的基于达芬奇架构的行人闯红灯视频检测方法，其特征在于：在计算机系统中设置有人像识别程序和违章判别程序，计算机系统利用违章判别程序判断行人闯红灯事件发生，然后返回违章信号，并将图像进行存储。

5.如权利要求1所述的基于达芬奇架构的行人闯红灯视频检测方法，其特征在于：将计算机系统与一个路口背景图像库连接，利用计算机系统将摄像头传回的图像与路口背景图像相减,得到差影后的图片,再对差影后的图片进行二值化和图像形态学处理,从路上包括车辆在内的物体中识别出行人。

6.如权利要求5所述的基于达芬奇架构的行人闯红灯视频检测方法，其特征在于：在所述的对差影后的图片进行图像形态学处理的过程中, 采用腐蚀和膨胀算法，消除图像中离散的噪音，填充图像中断裂部分,构成连通区域。

7.一种实现如权利要求1所述的基于达芬奇架构的行人闯红灯视频检测方法的装置，包括摄像头和嵌入式的德州仪器DM6446达芬奇系列处理器的核心板，其特征在于：所述的嵌入式的德州仪器DM6446达芬奇系列处理器的核心板包括有ARM9 RISC处理器、C64x+数字信号处理器、视频硬件加速引擎、视频和影像协处理器和视频处理子系统，所述的视频处理子系统包括视频处理前端和视频处理后端，所述的视频处理前端包括了CCD控制器、自动曝光自动白平衡自动对焦模块和一个缩放器，所述的ARM9 RISC处理器的一个输入信号端口与路口交通信号灯控制器中红绿灯信号端口连接，视频处理前端与所述的摄像头的信号和控制端连接。

8.如权利要求7所述的基于达芬奇架构的行人闯红灯视频检测装置，其特征在于：嵌入式的德州仪器DM6446达芬奇系列处理器的核心板连接有语音报警器。

9.如权利要求7所述的基于达芬奇架构的行人闯红灯视频检测装置，其特征在于：嵌入式的德州仪器DM6446达芬奇系列处理器的核心板连接有图像显示器。

10.如权利要求7所述的基于达芬奇架构的行人闯红灯视频检测装置，其特征在于：嵌入式的德州仪器DM6446达芬奇系列处理器的核心板通过信号线与路口交通信号灯控制器连接。

Images