CN103369299A - 一种基于h.264编码技术的视频监控方法 - Google Patents

Abstract

一种基于H.264编码技术的视频监控方法，本方法中视频监控服务器的电路结构中包括数据采集电路、数据编码电路及数据传输电路，监控客户端的电路结构中包括数据接收电路、数据解码/显示电路，以上电路的输入/输出端首尾顺次连接，以上电路均采用多线程输入/输出控制，所述的数据编码电路与数据解码/显示电路均采用H.264编/解码机制，本视频监控方法具有视频流畅、实时性高的特点，数据的采集和编码采用不同的线程，数据的采集和编码可以同时进行，同时采用带缓冲的队列，极大的提高了视频的采集速率和编码速率，从而保证视频的流畅性和实时性。同时监控客户端也采用了多线程架构，在进行数据接收的同时进行数据的解码，进一步的提高了系统的实时性。

Description

一种基于H.264编码技术的视频监控方法

技术领域

本发明涉及视频监控技术领域，尤其涉及提高视频传输实时性和流畅性的一种基于H.264编码技术的视频监控方法。 

背景技术

随着计算机、图像采集、图像编码等技术的发展，视频监控广泛应用在了安防、自动化控制等领域。 

H.264是全新的数字视频编码标准，具有很的高编码效率，码流结构网络适应性强，增加了差错恢复能力，能够很好地适应IP和无线网络的应用。在目前的监控系统中，视频采集的速率往往低于每秒25帧，这样的速率不能满足视频播放流畅性的要求，也会给安全性要求较高的领域带来隐患；与此同时，监控系统的实时性也较差。 

发明内容

本发明针对视频监控流畅性和实时性有待改进的缺点，设计了一种基于H.264编码技术的视频监控方法，提高了视频监控的实时性、流畅度。 

本发明采用的技术方案是：一种基于H.264编码技术的视频监控方法，应用于包括视频监控服务器、与视频监控服务器连接的视频采集终端及带有显示输出设备的监控客户端的视频监控系统中，所述的视频监控服务器的电路结构中包括数据采集电路、数据编码电路及数据传输电路，以上电路的输入/输出端首尾顺次连接，监控客户端的电路结构中包括借助网络与数据传输电路连接的数据接收电路、数据解码/显示电路，数据接收电路的信号输出端与数据解码/显示电路的信号输入端连接，关键在于：以上电路 均采用多线程输入/输出控制，视频监控服务器的CPU中增设第一缓存及第二缓存，在监控客户端的主控单元中增设第三缓存，在此基础上，所述的视频监控方法步骤中包括： 

A、频监控服务器的CPU控制数据采集电路对视频采集终端采集的视频信号进行实时采集，并以队列方式存储至第一缓存中； 

B、数据编码电路以先入先出的顺序从第一缓存队列中取数据、并进行编码，将编码后的数据存储至第二缓存中； 

C、数据传输电路以先入先出的顺序从第二缓存队列中取数据、并以UDP传输方式发送至监控客户端的数据接收电路； 

D、监控客户端的主控单元控制数据接收电路接收视频监控服务器的数据传输电路发送过来的数据，数据接收电路将其存储至第三缓存中； 

E、数据解码/显示电路以先入先出的顺序从第三缓存队列中取数据、并对数据进行解码，并将解码后的数据借助监控客户端的显示输出设备进行显示输出。 

本发明的有益效果是：本发明中的视频监控系统具有广泛适用性，由于视频的采集采用V4L2接口实现，视频数据的显示采用Linux通用的帧缓冲接口实现，可以移植到众多平台。本视频监控方法具有视频流畅、实时性高的特点，数据的采集和编码采用不同的线程，数据的采集和编码可以同时进行，同时采用带缓冲的队列，极大的提高了视频的采集速率和编码速率，从而保证视频的流畅性和实时性。同时监控客户端也采用了多线程架构，在进行数据接收的同时进行数据的解码，进一步的提高了系统的实时性。加之，采用了视频编码速率反馈调整视频采集速率的方案，最大限度的利用硬件，确保了在低成本、性能较低的硬件上也有较佳的表现视频 监控服务器支持组播，满足了多用户的需求。 

附图说明

图1是本发明中视频监控系统的结构框图。 

附图中，1是视频采集终端，2是监控服务器，3是监控客户端，2-1是数据采集电路，2-2是数据编码电路，2-3是数据传输电路，2-4是第一缓存，2-5是第二缓存，2-6是数据流量统计判别模块电路，2-7是UDP分片程序模块子电路，2-8是第一反馈控制模块电路，3-0是主控单元，3-1是数据接收电路，3-2是数据解码/显示电路，3-3是第三缓存，3-4是显示输出设备，3-5是UDP重组程序模块电路，3-6是第二反馈控制模块电路。 

具体实施方式

一种基于H.264编码技术的视频监控方法，应用于包括视频监控服务器2、与视频监控服务器2连接的视频采集终端1及带有显示输出设备3-4的监控客户端3的视频监控系统中，所述的视频监控服务器2的电路结构中包括数据采集电路2-1、数据编码电路2-2及数据传输电路2-3，以上电路的输入/输出端首尾顺次连接，监控客户端3的电路结构中包括借助网络与数据传输电路2-3连接的数据接收电路3-1、数据解码/显示电路3-2，数据接收电路3-1的信号输出端与数据解码/显示电路3-2的信号输入端连接，重要的是：以上电路均采用多线程输入/输出控制，视频监控服务器2的CPU中增设第一缓存2-4及第二缓存2-5，在监控客户端3的主控单元3-0中增设第三缓存3-3，在此基础上，所述的视频监控方法步骤中包括： 

A、频监控服务器2的CPU控制数据采集电路2-1对视频采集终端1采集的视频信号进行实时采集，并以队列方式存储至第一缓存2-4中； 

B、数据编码电路2-2以先入先出的顺序从第一缓存队列中取数据、并 进行编码，将编码后的数据存储至第二缓存2-5中； 

C、数据传输电路2-3以先入先出的顺序从第二缓存队列中取数据、并以UDP传输方式发送至监控客户端3的数据接收电路3-1； 

D、监控客户端3的主控单元3-0控制数据接收电路3-1接收视频监控服务器2的数据传输电路2-3发送过来的数据，数据接收电路3-1将其存储至第三缓存3-3中； 

E、数据解码/显示电路3-2以先入先出的顺序从第三缓存队列中取数据、并对数据进行解码，并将解码后的数据借助监控客户端3的显示输出设备3-4进行显示输出。 

所述的视频监控服务器的电路结构中还包括数据流量统计判别模块电路2-6、及UDP分片程序模块子电路2-7，监控客户端的电路结构中还包括UDP重组程序模块电路3-5，在此基础上，所述的步骤C、D的详细步骤如下： 

C1、数据传输电路2-3以先入先出的顺序从第二缓存队列中取数据之后，进行UDP封装以形成UDP格式数据，再利用数据流量统计判别模块电路2-6对UDP格式数据进行流量统计，当超过数据传输的允许值时，跳至步骤C2；如果未超过，则跳至步骤C3； 

C2、UDP分片程序模块子电路2-7对读取UDP格式数据进行UDP分片，将分片后的数据依次发送至监控客户端3的数据接收电路3-1，跳至步骤D1； 

C3、数据传输电路2-3将UDP格式数据发送至监控客户端3的数据接收电路3-1； 

D1、数据接收电路3-1接收视频监控服务器2发送的数据、并存储至 第三缓存3-3中，UDP重组程序模块电路3-5对第三缓存3-3中的数据进行UDP重组，并将重组后的数据更新至第三缓存3-3中。 

所述的视频监控服务器2的CPU中增设第一反馈控制模块电路2-8，在此基础上，进行如下判断： 

第一反馈控制模块电路2-8实时对第一缓存2-4与第二缓存2-5的存储量状态进行检测，如果检测到第一缓存2-4超过上限值，则第一反馈控制模块电路2-8发送反馈信号至CPU，CPU控制数据采集电路2-1降低采集速率，数据编码电路2-2增大编码速率；如果检测到第一缓存2-4不足下限值，则第一反馈控制模块电路2-8发送反馈信号至CPU，CPU控制数据采集电路2-1增大采集速率，数据编码电路2-2降低编码速率；如果检测到第二缓存2-5超过上限值，则第一反馈控制模块电路2-8发送反馈信号至CPU，CPU控制数据编码电路2-2降低编码速率；如果检测到第二缓存2-5不足下限值，则第一反馈控制模块电路2-8发送反馈信号至CPU，CPU控制数据编码电路2-2增大编码速率。 

所述的监控客户端3的主控单元中也增设第二反馈控制模块电路3-6，在此基础上，进行如下判断： 

第二反馈控制模块电路3-6实时对第三缓存3-3的存储量状态进行检测，如果检测到第三缓存3-3超过上限值，则第二反馈控制模块电路3-6发送反馈信号至主控单元，主控单元控制数据接收电路3-1降低接收速率，数据解码/显示电路3-2增大解码速率；如果检测到第三缓存3-3不足下限值，则第二反馈控制模块电路3-6发送反馈信号至主控单元，主控单元控制数据接收电路3-1增大接收速率，数据解码/显示电路3-2降低解码速率。 

所述的数据传输的允许值为1024K。 

所述的数据编码电路2-2与数据解码/显示电路3-2均采用H.264编/解码机制。 

在具体实施时，数据采集电路2-1、数据编码电路2-2、数据传输电路2-3、数据接收电路3-1、数据解码/显示电路3-2在具体工作过程中均采用多线程设计，以下均以数据采集线程、数据编码线程、数据传输线程、数据接收线程、数据解码、显示线程称呼。另外，上限值具体采用缓存容量的50％，下限值以缓存容量的50％为例。数据采集线程采集完一帧数据之后，将数据加入第一缓存中的队列中，同时通知数据编码线程，数据编码线程在取得该数据之后，将该数据从第一缓存队列中删除，同时将队列的控制权转交给数据采集电路2-1。由于采集视频数据需要一定时间，这样的设计可以实现在等待下一帧数据时，进行数据的编码工作，充分利用处理器，保证视频传输的实时性。根据视频传输的分辨率，视频编码的速率可能大于或者小于视频采集的速率，如果视频编码的速率大于视频采集速率，会导致第一缓存2-4队列为空，这时会使得视频编码线程进入阻塞直到有视频数据可用；如果视频编码的速率小于视频的采集速率，会导致第一缓存2-4队列满，此时采用适当的反馈机制，第一反馈控制模块电路2-8控制视频采集的速率，使两者速率匹配。反馈机制也可以这样控制：当第一缓存2-4中的队列长度不足其总长度的1/2时，视频采集线程全速工作；当第一缓存2-4中的队列长度超过其总长度的1/2时，根据当前的系统负荷计算出合适编码速率，进而根据编码速率控制视频数据的采集速率，保证视频数据的流畅性，避免出现丢帧情况。 

视频监控服务器的视频数据的采集：视频数据的采集通过V4L2的编程接口实现，借助本接口与视频采集设备，例如摄像头连接。由于数据采集 线程与数据编码线程共享第一缓存，将不可避免的产生进程互斥。在查询设置视频采集的相关属性后，通过select的方式实现视频采集的异步，即阻塞的等待，这是一种让权的等待，此时处理器可以进行视频的编码，保证了系统性能的最大化。如果视频采集的速率大于视频编码速率，将导致视频采集数据队列满，通过反馈机制，提高延时，降低视频的采集速率。视频监控服务器的视频数据的编码：这里使用开源项目X 264提供库函数进行基于H.264的视频编码。本视频数据编码线程访问视频采集数据队列，视频数据采集线程和视频数据编码线程互斥访问第一缓存中的队列，在检测到第一缓存中的队列为满时，视频数据采集线程阻塞，同时降低视频采集速率；在检测到视频采集队列为空时，阻塞视频数据编码线程，同时提升视频数据采集速率。编码后的数据同样加入第二缓存2-5中的队列，以供视频数据传输处理。视频编码线程和视频传输线程互斥访问第二缓存2-5中的队列。 

视频监控服务器的视频数据传输：视频数据的传输采用基于UDP的分片传输机制。视频数据的编码速率小于视频数据的发送速率，故不进行队列满的判断，而只进行队列是否为空的判断，当队列为空时，数据传输线程阻塞。直到有新的编码数据加入第二缓存2-5中的队列，才唤醒数据传输线程。当需要传输的数据过大时，进行分片传输。 

视频数据的接收和视频数据的解码/显示属于不同的线程。视频数据接收线程在收到视频数据后，完成数据重组，将该数据加入到第三缓存3-3中的队列中。接着数据接收线程将队列的控制权转交给数据解码/显示线程。数据接收线程与数据解码、显示线程之间对队列的互斥访问通过互斥量实现，两个线程之间的同步通过条件变量实现。 

视频接收线程的流程：首先发送视频传输请求，接着开启基于RTP/RTCP的视频流接收线程，每收到一帧数据就进行判断。如果当前第三缓存3-3中的队列已满，则向视频监控服务器2发送降低发送速率的请求，同时该线程阻塞。一直等到数据解码线程取走一帧数据，第三缓存3-3中的队列不满时为止。如果队列不为满，将当前帧加入第三缓存3-3中的队列。 

视频的解码通过基于开源项目FFMPEG提供的库函数实现。每次取完数据都通过条件变量唤醒可能阻塞的数据接收线程。视频数据的显示通过对Linux下通用的视频接口帧缓冲直接写操作实现，即打开帧缓冲设备，一般是/dev/fb0，查询帧缓冲设备相关信息，设置帧缓冲显示的格式，映射帧缓冲内存到用户空间，将解码后的数据赋值到该空间即可完成视频数据的显示。 

Claims (6)

1.一种基于H.264编码技术的视频监控方法，应用于包括视频监控服务器(2)、与视频监控服务器(2)连接的视频采集终端(1)及带有显示输出设备(3-4)的监控客户端(3)的视频监控系统中，所述的视频监控服务器(2)的电路结构中包括数据采集电路(2-1)、数据编码电路(2-2)及数据传输电路(2-3)，以上电路的输入/输出端首尾顺次连接，监控客户端(3)的电路结构中包括借助网络与数据传输电路(2-3)连接的数据接收电路(3-1)、数据解码/显示电路(3-2)，数据接收电路(3-1)的信号输出端与数据解码/显示电路(3-2)的信号输入端连接，其特征在于：以上电路均采用多线程输入/输出控制，视频监控服务器(2)的CPU中增设第一缓存(2-4)及第二缓存(2-5)，在监控客户端(3)的主控单元(3-0)中增设第三缓存(3-3)，在此基础上，所述的视频监控方法步骤中包括：

A、频监控服务器(2)的CPU控制数据采集电路(2-1)对视频采集终端(1)采集的视频信号进行实时采集，并以队列方式存储至第一缓存(2-4)中；

B、数据编码电路(2-2)以先入先出的顺序从第一缓存队列中取数据、并进行编码，将编码后的数据存储至第二缓存(2-5)中；

C、数据传输电路(2-3)以先入先出的顺序从第二缓存队列中取数据、并以UDP传输方式发送至监控客户端(3)的数据接收电路(3-1)；

D、监控客户端(3)的主控单元(3-0)控制数据接收电路(3-1)接收视频监控服务器(2)的数据传输电路(2-3)发送过来的数据，数据接收电路(3-1)将其存储至第三缓存(3-3)中；

E、数据解码/显示电路(3-2)以先入先出的顺序从第三缓存队列中取数据、并对数据进行解码，并将解码后的数据借助监控客户端(3)的显示输出设备(3-4)进行显示输出。

2.根据权利要求1所述的一种基于H.264编码技术的视频监控方法，其特征在于：所述的视频监控服务器的电路结构中还包括数据流量统计判别模块电路(2-6)、及UDP分片程序模块子电路(2-7)，监控客户端的电路结构中还包括UDP重组程序模块电路(3-5)，在此基础上，所述的步骤C、D的详细步骤如下：

C1、数据传输电路(2-3)以先入先出的顺序从第二缓存队列中取数据之后，进行UDP封装以形成UDP格式数据，再利用数据流量统计判别模块电路(2-6)对UDP格式数据进行流量统计，当超过数据传输的允许值时，跳至步骤C2；如果未超过，则跳至步骤C3；

C2、UDP分片程序模块子电路(2-7)对读取UDP格式数据进行UDP分片，将分片后的数据依次发送至监控客户端(3)的数据接收电路(3-1)，跳至步骤D1；

C3、数据传输电路(2-3)将UDP格式数据发送至监控客户端(3)的数据接收电路(3-1)；

D1、数据接收电路(3-1)接收视频监控服务器(2)发送的数据、并存储至第三缓存(3-3)中，UDP重组程序模块电路(3-5)对第三缓存(3-3)中的数据进行UDP重组，并将重组后的数据更新至第三缓存(3-3)中。

3.根据权利要求1所述的一种基于H.264编码技术的视频监控方法，其特征在于：所述的视频监控服务器(2)的CPU中增设第一反馈控制模块电路(2-8)，在此基础上，进行如下判断：

第一反馈控制模块电路(2-8)实时对第一缓存(2-4)与第二缓存(2-5)的存储量状态进行检测，如果检测到第一缓存(2-4)超过上限值，则第一反馈控制模块电路(2-8)发送反馈信号至CPU，CPU控制数据采集电路(2-1)降低采集速率，数据编码电路(2-2)增大编码速率；如果检测到第一缓存(2-4)不足下限值，则第一反馈控制模块电路(2-8)发送反馈信号至CPU，CPU控制数据采集电路(2-1)增大采集速率，数据编码电路(2-2)降低编码速率；如果检测到第二缓存(2-5)超过上限值，则第一反馈控制模块电路(2-8)发送反馈信号至CPU，CPU控制数据编码电路(2-2)降低编码速率；如果检测到第二缓存(2-5)不足下限值，则第一反馈控制模块电路(2-8)发送反馈信号至CPU，CPU控制数据编码电路(2-2)增大编码速率。

4.根据权利要求1所述的一种基于H.264编码技术的视频监控方法，其特征在于：所述的监控客户端(3)的主控单元中也增设第二反馈控制模块电路(3-6)，在此基础上，进行如下判断：

第二反馈控制模块电路(3-6)实时对第三缓存(3-3)的存储量状态进行检测，如果检测到第三缓存(3-3)超过上限值，则第二反馈控制模块电路(3-6)发送反馈信号至主控单元，主控单元控制数据接收电路(3-1)降低接收速率，数据解码/显示电路(3-2)增大解码速率；如果检测到第三缓存(3-3)不足下限值，则第二反馈控制模块电路(3-6)发送反馈信号至主控单元，主控单元控制数据接收电路(3-1)增大接收速率，数据解码/显示电路(3-2)降低解码速率。

5.根据权利要求2所述的一种基于H.264编码技术的视频监控方法，其特征在于：所述的数据传输的允许值为1024K。

6.根据权利要求1所述的一种基于H.264编码技术的视频监控方法，其特征在于：所述的数据编码电路(2-2)与数据解码/显示电路(3-2)均采用H.264编/解码机制。

Images