CN104469274A - 一种智能视频监控系统 - Google Patents

Abstract

本发明涉及一种智能视频监控系统，其以单片的FPGA为核心设计，主要包括视频采集模块、视频预处理及算法模块、视频存储模块、视频传输模块以及人机交互模块。视频采集模块完成视频采集后将视频数据传送至视频预处理及算法模块中对每一帧视频数据进行预处理，视频存储模块将视频数据实时地存储至本地硬盘或通过视频传输模块网络传输至远程客户端，算法的调用及视频数据的网络传输都由人机交互模块进行参数设置。本发明的智能视频监控系统支持很好的二次开发，具有智能的自定义规则算法，同时核心处理器为单片的FPGA，有效地控制了成本和功耗，也具有很好的系统稳定性。

Description

一种智能视频监控系统

技术领域

本发明属于视频监控技术领域，涉及一种智能视频监控系统。

背景技术

目前，智能视频监控系统多采用PC机或者采用带有一定视频处理能力的前端摄像机或采用ARM与DSP相结合的方式，系统功耗大、成本高、集成度不高、便携性差。

在国内“平安城市”项目的推进，国内将会采用大量的智能视频监控系统，相对传统的设计，在PC机上实现的智能视频监控系统多采用高端配置，成本很高，布置系统不方便，但是还无法处理较高分辨率视频，各方面的要求都很高，对于未来发展来说肯定会有大限制；带有前端处理能力的智能摄像机大多都采用DSP芯片，通过中心计算机的控制，其实只是把部分算法处理能力转移到前端，没有从根本上解决问题；采用达芬奇系统（ARM+DSP）等微处理器构架的设计，由于DSP的顺序执行方式，限制其计算能力，使目前的DSP还无法在高清视频监控中应用。并且，基于该设计的智能视频监控系统功耗高，成本高，且便携性差。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种智能视频监控系统，解决了现有技术中视频监控系统功耗高，成本高，便携性差的问题，降低了系统的功耗及成本，增加了系统的便携性。

本发明是通过以下技术方案实现的：一种智能视频监控系统，主要包括视频采集模块、视频预处理及算法模块、视频存储模块、视频传输模块以及人机交互模块。所述视频采集模块中至少支持4路视频信号的采集，所支持的接口包括一般的通用输入输出（GPIO）数字视频接口和通用的模拟视频接口，采集之后通过GPIO接口和/或通用的模拟视频接口输送至视频预处理及算法模块，视频预处理模块对每一帧视频数据进行预处理，然后再调用FPGA硬件中的视频算法模块中算法，算法选择与参数选择由人机交互界面控制，接着可以通过视频存储模块将视频存储到本地硬盘或将通过视频传输模块视频数据实时传输至远程客户端。

进一步，所述视频预处理算法包括二值化、边缘检测、形态学处理、滤波算法，算法模块包括目标跟踪、拌线检测、区域报警、违章停车、逆向检测，算法均在FPGA硬件中实现。

具体的，所述智能视频监控的所有功能均基于单片FPGA芯片。所述视频采集模块包括数字CCD摄像头或者模拟视频摄像头外加A/D转换器，外界物体通过在摄像头传感器上成像，传感器通过A/D转换器将光学图像转换成数字图像信息，然后输送至视频预处理及算法模块。所述视频传输模块包括VGA接口和以太网通信装置。所述视频存储模块包括SDRAM、FLASH、SD存储卡和大容量硬盘，其中，FLASH中存储软件部分的程序，包括软核部分编译的可执行文件和读写数据，大容量硬盘用以存储经过处理和处理后的视频数据。

相对于现有技术，本发明的智能视频监控系统采用单片FPGA，包括视频采集与显示、算法模块、传输模块和人机交互模块均在片内实现，更具有高清视频处理功能，不需要扩展其他处理芯片，系统简单，成本低，便携性好。此外，该系统的丰富的嵌入式人机交互功能，更加人性化，该系统广泛适用于摄像机等固定场合的安全需求和户外一栋拍摄等便携应用的安全需求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例1的智能视频监控的结构框图。

图2是本发明实施例1的视频跟踪算法流程图。

图3是本发明实施例1的人机交互系统程序示意图。

具体实施方式

实施例1

现场可编程逻辑阵列FPGA在最近几年发展迅速，也非常适合图像视频方面的应用，其具有强大的并行处理能力，已经在智能视频监控方面有所应用。采用单片FPGA设计，在有限资源中完成所有的功能设计，具有环保、低功耗、易集成、便携性、处理速度快、良好的二次开发能力等优点。因此，本发明采用FPGA来完成视频监控，而区别于传统的DSP与ARM的结合，或者FPGA与DSP/ARM的结合的方式，降低了成本，提高了便携性。

请参阅图1，其是本发明智能视频监控的结构框图。该智能视频监控100基于单片的FPGA嵌入式系统，包括视频采集模块110、视频采集和视频预处理及算法模块120、视频传输模块130、视频存储模块140以及人机交互模块150。该视频采集和视频预处理及算法模块120通过GPIO接口和/或通用的模拟视频接口与视频采集和视频预处理及算法模块120相连，完成视频采集，并将视频数据传送至视频预处理及算法部分。由于拍摄的视频会受到各种条件的限制和干扰，如光线不均、线路传送所产生的噪声污染等影响到视频的清晰度和视频质量，因此视频预处理首先对视频数据进行预处理以改善其视频质量；然后再对视频数据进行相应的算法处理。在单机模式下，经过视频预处理及算法模块120处理后的视频数据将实时地存储在视频存储模块140中。视频传输模块130主要完成基于TCP/IP协议的网络通信，经过视频预处理及算法模块120处理后的视频数据可通过视频传输模块130实时地传送至客户端。

具体的，所述视频采集模块110图像采集电路包括电荷藕合器件CCD传感器和A/D转换器，外界物体通过镜头在CCD传感器上成像，CCD传感器通过A/D转换器将光学图像转换成数字图像信息，然后输送至视频采集模块和视频预处理及算法模块120。

所述视频预处理及算法模块120具体由FPGA芯片组成，其是该智能视频监控100的核心部分，用以处理来自视频采集模块110的图像数据，完成图像处理功能。

所述视频存储模块140包括SDRAM（同步动态随机存储器）、FLASH ROM（闪存）、SD存储卡（安全数字存储卡）和大容量硬盘。其中，SDRAM主要软件部分的操作系统、内置程序、内核数据、图像数据等；FLASH中存储软件部分的程序，包括软核部分编译的可执行文件和读写数据；SD存储卡为一扩展卡，存储系统的一些图片与文本文件，FLASH ROM产生的一些重要文档或者程序可选择转存至该SD存储卡中；大容量硬盘用以存储经过处理和处理后的视频数据。

所述人机交互模块150如图1所示，可以通过鼠标，键盘等与FPGA芯片进行交互，人机交互基于FPGA的软核设计，采用嵌入式操作系统，通过移植GUI软件，制作人机交互界面，软件部分的开发环境搭建好之后具有良好的二次开发性。

所述视频传输模块130包括有视频图形阵列VGA（Video Graphics Array）接口、触摸屏和以太网通信装置，使得视频数据可以通过多种传输方式输出至远程客户端。

以下具体说明该智能视频监控100的工作过程：

S1：启动该智能视频监控100；

S2：视频采集模块110接收到采集指令后，CCD传感器通过A/D转换器将光学图像转换成数字图像信息，然后输送至视频预处理及算法模块120；

S3：通过人机交互模块150，结合人机交互界面控制视频预处理及算法模块120对视频图像进行视频预处理和算法处理；

S4：在单机的模式下，处理后的视频图像被存储至大容量硬盘中。

若在联网远程控制模式下，远程客户端可发出指令控制启动该智能视频监控100；同样，视频采集模块110接收到采集指令后，CCD传感器通过A/D转换器将光学图像转换成数字图像信息，然后输送至视频预处理及算法模块120；该视频预处理及算法模块120对视频图像进行视频增强和算法处理；处理之后的视频图像则通过网络实时地传送至远程客户端。

视频预处理及算法模块120的预处理算法具体为：采用二值化、滤波、边缘检测，二值化处理是为了后续的目标检测算法，滤波算法是为了消除系统噪声。采集的视频帧序列为f(x,y,t₁),f(x,y,t₂)...f(x,y,t_n)，RGB转化为灰度图常使用的公式是:

Gray=0.299×R+0.587×G+0.114×B

二值化设定背景为黑，目标为白色，Th为二值化处理的阈值，二值化的公式如下:

$B(x,y,t_i)=\left\{\begin{array}{cc}255& f(x,y,t_i)>\mathrm{Th}\\ 0& f(x,y,t_i)\≤\mathrm{Th}\end{array}\right.$

形态学处理主要包括形态学腐蚀与形态学膨胀。腐蚀是一种消除连通域的边界点，是边界点内向收缩的处理，可以将小颗粒的噪声去除，膨胀处理可以将断开的目标进行合并，在此可以使目标检测更加精确，腐蚀与膨胀的定义如下。

A和B是Z²的集合，使用B对A进行腐蚀，并定义为：

AΘB={z|(Β)_z∩Α^c≠φ}

使用B对A进行腐蚀就是所有B包含与A中的点z的集合用z平移。

A被B膨胀的定义为:

$A\⊕B=\left\{z\right|{\left(\hat{B}\right)}_z\∩A\≠\mathrm{\φ}\}$

A被B膨胀是所有位移z的集合，这样和A至少有一个元素是重叠的。

目标跟踪采用三帧差分法，从图像序列中读取三帧图像f(x,y,t_k-1),f(x,y,t_k),f(x,y,t_k+1)分别求出连续两帧图像的绝对差值灰度图B_(k,k-1)，B_(k+1,k)，设定阈值T将差值图像二值化，提取运动目标区域；

$B_{(k,k-1)}=\left\{\begin{array}{cc}1& |f(x,y,t_k)-f(x,y,t_{k-1})|\≥T\\ 0& \mathrm{else}\end{array}\right.$

$B_{(k+1,k)}=\left\{\begin{array}{cc}1& |f(x,y,t_{k+1})-f(x,y,t_k)|\≥T\\ 0& \mathrm{else}\end{array}\right.$

通过逻辑“与”运算提取B_(k,k-1)，B_(k+1,k)的交集，得到运动目标B_k

$B_k=\left\{\begin{array}{cc}1& B_{(k,k-1)}(i,j)\∩B_{(k+1,k)}(i,j)=1\\ 0& \mathrm{else}\end{array}\right.$

目标跟踪、拌线检测、区域报警、违章停车算法都是基于目标检测算法，目标跟踪算法如图2所示。这些算法的调用都是通过触摸屏的人机交互界面，参数都是在人机交互界面中设置，图3给出了实现人机交互系统程序示意图。

相对于现有技术，本发明的智能视频监控在采集视频数据以及视频预处理、视频处理都是在单片FPGA中实现，参数设置都是在人机交互部分实现。此外，本系统完全脱离PC机，具有便携性的优点，同时功耗和成本都很低。

本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。

Claims (6)

1.一种智能视频监控系统，其特征在于，所述智能视频监控系统基于单片的现场可编程逻辑阵列FPGA嵌入式系统，包括视频采集模块、视频预处理及算法模块、视频存储模块、视频传输模块以及人机交互模块，

所述视频采集模块用于完成视频采集，并将以帧为单位的视频数据传送至所述视频预处理及算法模块；

所述视频预处理及算法模块为FPGA芯片，通过通用输入输出GPIO接口和通用的模拟视频接口与所述视频采集模块相连，用于对每一帧视频数据进行预处理；

所述视频存储模块与所述视频预处理及算法模块相连，用于将预处理之后的视频数据实时地存储；

所述视频传输模块与所述视频预处理及算法模块相连，用于通过网络将所述预处理之后的视频数据发送至远程客户端；

所述人机交互模块与所述视频预处理及算法模块相连，用于设置不同类型的算法的调用及视频数据的网络传输参数。

2.根据权利要求1所述的智能视频监控系统，其特征在于，所述视频采集模块包含一个或多个电荷藕合器件CCD传感器及与所述一个或多个CCD传感器相连的模拟/数字A/D转换器，所述CCD传感器用于采集一路或多路视频信号，所述A/D转换器用于将采集的视频信号进行A/D转换。

3.根据权利要求1或2所述的智能视频监控系统，其特征在于，所述视频传输模块包括视频图形阵列VGA接口和以太网通信模块。

4.根据权利要求1—3任一项所述的智能视频监控系统，其特征在于：所述视频存储模块包括SDRAM、FLASH、SD存储卡和大容量硬盘，所述FLASH用于存储软件程序开发应用程序，所述SDRAM和SRAM用于视频的缓存，所述SD卡应用于软件部分的部分图片，大容量硬盘用以存储视频数据。

5.根据权利要求1—4任一项所述的智能视频监控系统，其特征在于：所述人机交互模块包含触摸屏、鼠标和键盘，所述人机交互基于FPGA的软核设计，采用嵌入式操作系统，通过移植GUI软件，制作人机交互界面。

6.根据权利要求5所述的智能视频监控系统，其特征在于：视频预处理及算法模块包含预设值的适合于FPGA硬件逻辑的硬体算法，所述硬体算法为智能视频分析算法，所述智能视频分析算法包括目标检测和跟踪、拌线检测、区域报警、逆向检测以及违章停车；所述目标检测和跟踪算法是三帧差分与形态学相结合的目标检测算法，用于进行单目标跟踪以及多目标跟踪。