CN104796580B - 一种基于选择集成的实时稳像视频巡检系统 - Google Patents

Abstract

本发明公开了一种基于选择集成的实时稳像视频巡检系统，包括移动视频采集终端和视频稳定处理后台；其特征在于：移动视频采集终端包括：视频采集模块，嵌入式模糊帧快速滤除模块，视频编码及压缩模块及无线视频发送模块；视频稳定处理后台包括：视频接收模块，源视频存储器模块，视频稳像处理系统模块及稳像视频存储系统模块；其中视频采集模块用于调用摄像头采集图像；本发明的嵌入式结构设计，体积小、集成度高，可靠性强，抗摔抗震性能高、功耗低，被监控终端完成防抖功能的同时，减少了视频传输图像的数量，同时达到了加快传输的效果。

Description

一种基于选择集成的实时稳像视频巡检系统

技术领域

本发明提供了一种实时稳像视频巡检系统，尤其涉及一种基于选择集成的实时稳像视频巡检系统。

背景技术

视频巡检系统已广泛应用在各类交通等领域中。而视频系统的工作效果受到其载体不同时刻的姿态变化或振动的影响。反映到监视器上，就是获得的图像信息不稳定、模糊。而这种不稳定的图像对于观察者会产生疲劳感，从而导致误判和漏判。对于目标自动识别系统会导致漏检和虚检。所以，在运动的载体中，视频系统的稳像是一个十分重要的问题，特别是在长焦距、高分辨力的视频巡检系统中则更加突出。

通常采用的稳像方法有三种，即主动稳像，被动稳像和电子稳像算法。主动稳像是安装陀螺稳定平台稳定摄像系统，陀螺稳定平台主要是衰减低频振动。被动稳像是采用减振装置来隔离载体的振动，抑制高频振动对摄像机的影响。主动稳像和被动稳像可配合使用实现宽范围的稳像。但是，由于高精度的陀螺稳定平台不仅结构复杂，体积大、价格昂贵、功耗大，在便携式移动巡检系统中，因体积的限制而无法使用。

此外，由于稳像算法直接处理图像，可简化设备，提高稳像精度，近几年来美国、加拿大、韩国、日本等国对稳像算法展开了深入的研究，提出多种方法，但总的来说，已有的分析方法主要分为两类基于特征量的方法和基于光流的方法。基于光流的方法利用了灰度的变化信息，需要从图像序列的灰度变化中计算速度场，根据文献报道，由于实际景物中的速度场不一定总是与图像中的直观速度场有唯一对应关系且偏导数计算加重噪声水平，光流法得到的结果在使用中常常不稳定，因此提取对灰度不敏感的有效特征量计算图像运动矢量的方法应用的较多。目前，主要的稳定算法有：代表点匹配法、投影算法、特征量跟踪算法及位平面匹配法等。

发明内容

本专利提出了一种新型的用于实时稳像视频巡检的处理系统。本发明的目标为设计实时、准确的视频巡检稳像系统。

一种基于选择集成的实时稳像视频巡检系统，包括移动视频采集终端和视频稳定处理后台；其特征在于：移动视频采集终端包括：视频采集模块，嵌入式模糊帧快速滤除模块，视频编码及压缩模块及无线视频发送模块；视频稳定处理后台包括：视频接收模块，源视频存储器模块，视频稳像处理系统模块及稳像视频存储系统模块；其中视频采集模块用于调用摄像头采集图像；嵌入式模糊帧快速滤除模块用于初步处理采集的视频图像，该模块直接滤除诊断为模糊的图像，保留无法判断或判断为清楚帧的图像；视频编码及压缩模块用于视频的网络传输；无线视频发送模块用于视频的网络传输；视频接收模块用于接收网络传输的视频；源视频存储器模块用于将网络传输接收的视频存储至本地硬盘中；视频稳像处理系统模块用于视频显示中，根据设计算法最终将稳定的图像显示出来；稳像视频存储系统模块用于将处理后的视频存储至本地硬盘中；

实时稳像视频巡检系统工作时，在移动终端，采集视频并进行拆帧处理，对视频中模糊帧快速滤除，将得到的初步清晰图像压缩编码，经过网络传输，送至视频处理后台系统，后台系统获取视频，解码解压缩，利用基于选择集成的模糊帧去除方法滤除视频中模糊帧，最后将清晰视频内容转至稳像视频存储系统存储。

进一步地，实时稳像视频巡检系统进行巡检的方法，其特征在于：

步骤1：通过移动视频采集终端的摄像头进行视频采集，将视频传输至服务器段进行解析；

步骤2：将采集的视频拆帧处理，即将视频拆成一帧一帧的图像，并存入移动终端的缓存；

步骤3：对模糊帧的进行初步滤除；

步骤4：完成视频编码、压缩和无线传输实现与服务器端的数据交互；

步骤5：对经过初步滤除的源视频进行存储；

步骤6：视频解码解压缩，获取视频内容，并将视频进行拆帧处理，进入下一阶段判定；

步骤7：基于类间方差阈值法或多分辨率运动估计法完成模糊帧的去除；

步骤8：将清晰视频帧压缩处理后，转入稳像视频存储器进行存储。

本发明的技术效果是

(1)本发明的嵌入式结构设计，体积小、集成度高，可靠性强，抗摔抗震性能高、功耗低，被监控终端完成防抖功能的同时，减少了视频传输图像的数量，同时达到了加快传输的效果；

(2)本发明采用机器学习中选择集成技术，通过对视频模糊帧的快速检测和处理，实现实时稳像视频巡检的功能。该系统可以广泛用于需要移动巡检的行业中，例如消防、铁路、公路等等。也可集成到各类移动式巡检设备，例如头盔、胸挂、斜背、车载等等；

(3)基于选择集成的视频巡检系统是一个集视频采集、实时压缩、网络传输(有线或无线)等功能为一体的嵌入式设备，设备接通电源之后就可以独立工作，首先通过摄像头进行视频采集，把采集的视频图像进行压缩编码，然后将压缩后的视频数据传输到视频监控流媒体服务器中，用户可以通过客户端监控软件登录流媒体服务器进行实时视频浏览、监控和管理；

(4)该系统的稳像功能是通过在视频监控时去除图像画面的扭曲和抖动完成的。本发明可以同时在维修或维护设备时候保证视觉焦点永远是在被维修或维护的设备上，而不随摄像头而移动视觉焦点。

附图说明

图1是实时稳像视频巡检系统的系统结构图；

图2是稳像系统中视频处理的流程图；

图3是嵌入式模糊帧快速滤除的算法流程图；

图4是视频处理后台的流程图。

具体实施方式

以下将结合附图1-4对本发明的具体实施方式进行详细说明。

如图1所示，本发明所述的实时稳像视频巡检系统，包括移动视频采集终端和视频稳定处理后台；其中，移动视频采集终端包括：视频采集模块，嵌入式模糊帧快速滤除模块，视频编码及压缩模块及无线视频发送模块；

视频稳定处理后台包括：视频接收模块，源视频存储器模块，视频稳像处理系统模块及稳像视频存储系统模块。

其中，视频采集模块用于调用摄像头采集图像。

嵌入式模糊帧快速滤除模块用于初步处理采集的视频图像，该模块集成了前后帧差法，背景差分法，模块匹配法三种评价机制，对图像帧的模糊程度进行快速的判断，直接滤除诊断为模糊的图像，保留无法判断(疑似帧)或判断为清楚帧的图像，进入下一环节提供判断基础。

视频编码及压缩模块用于视频的网络传输。

无线视频发送模块用于视频的网络传输与有线传输方式相同，主要用WIFI形式替代有线网络连接方式。

视频接收模块用于接收网络传输的视频。

源视频存储器模块用于将网络传输接收的视频存储至本地硬盘中等待进一步处理。

视频稳像处理系统模块用于视频显示中，根据设计算法最终将稳定的图像显示出来。

稳像视频存储系统模块用于将处理后的视频存储至本地硬盘中。

模块间的通讯如图2示，在移动终端，采集视频并进行拆帧处理，对视频中模糊帧快速滤除，将得到的初步清晰图像压缩编码，经过网络传输，送至视频处理后台系统进一步处理。后台系统获取视频，解码解压缩，利用基于选择集成的模糊帧去除方法滤除视频中模糊帧，最后将得到得清晰视频内容转至稳像视频存储系统存储。

移动视频采集终端—处理流程：

步骤1：通过移动视频采集终端的摄像头进行视频采集，将视频传输至服务器段进行解析。

步骤2：将采集的视频拆帧处理，即将视频拆成一帧一帧的图像，并存入移动终端的缓存。

步骤3：模糊帧的快速滤除

如图3所示，对于模糊帧的判定主要采用三种方法，检测的顺序依次为：帧间差异法、背景差分法、模板匹配法。只要在其中一种方法中，视频帧被判断为模糊帧，则直接滤除，对于在这三种方法中，无法判断(疑似帧)或者判断为清楚帧的图像，将通过传输系统进行传输，在视频处理后台再进行较为复杂的判断。

方法1：帧间差异法。

帧间差异法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。

帧间差异度的优点是：算法实现简单，程序设计复杂度低；对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好。其缺点是：不能提取出对象的完整区域，只能提取出边界；同时依赖于选择的帧间时间间隔。对快速运动的物体，需要选择较小的时间间隔，如果选择不合适，当物体在前后两帧中没有重叠时，会被检测为两个分开的物体：而对慢速运动的物体，应该选择较大的时间差，如果时间选择不适当，当物体在前后两帧中几乎完全重叠时，则检测不到物体。

方法2：背景差分法。

背景差分是视频序列图像中亮度的变化是运动目标检测的基础。一般情况下，前景的运动目标的灰度值与背景的灰度值之间有很大的差异，而运动物体本身的灰度值一般不会有很大差异，因此通过图像差分就能很好地反映出两帧图像之间的变化。如能检测出这种变化，就可以将运动目标提取出来并分析其运动特征。

背景图像差分用数学公式表示变化检测为：

I_k(i，j)＝b′_k(i，j)+m_k(i，j)+n_k(i，j)

d_k(i，j)＝I_k(i，j)-b_k(i，j)

其中I_k(i，j)是当前帧图像，b′_k(i，j)表示当前帧的背景，m_k(i，j)表示运动部分(包括真正的运动、遮挡和显露)，n_k(i，j)是各种如系统和传感器固有噪声、目标周围背景引起的干扰噪声，b_k(i，j)是由上述背景提取方法得到的背景。

背景差分法检测运动目标速度快，检测准确，易于实现，其关键是背景图像的获取。但是在实际的场景中，即便是室内环境，也存在光线等各种变化造成的干扰，或者人为造成的开灯等光线的强烈变化。所以在背景差分法的实现中，它的固定背景不能一成不变。如果不进行重新初始化，错误的检测结果将随时间不断累计，造成恶性循环，从而造成监控失效。

方法3：模板匹配法。

所谓模板匹配法，就是指在一帧图像内寻找目标模板的位置，和模板最像的地方就是目标了。只要把全图的所有子区域和目标模板比较一下，找到最像目标模板的子区域，它就是目标的位置。度量子区域和目标模板的相似程度通过相关系数得到。本专利提出了一种自适应基于模板匹配的模糊度估计方法，在对目标进行跟踪过程中，使用自适应的目标模板维系整个跟踪的动态过程。

首先对模板进行中心加权修正，然后采用滤波方法，将模板与目标图像进行卷积运算，得到中心点的模糊度，设初始化模板为m*m大小，然后设定基于模板匹配的模糊度估计算法的自信度函数，该函数服从高斯分布，自信度绝对值越高，则对图像的清晰(模糊)度越是确定，反之，清晰(模糊)度不容易判定，由于主观评价在实际应用中运用比较困难，而采用自信度评价函数与人的主观评价基本一致。更新模板大小，每一个模板对应一个关于图像模糊的自信度，选取自信度最大的模板作为匹配模板。

定义卷积函数C，图像中共有N个像素，累加求出图像的模糊度TM。Tem是自信度最大的模板，即选取的匹配模板。TM_Self_Conf()为自信度函数，若函数值小于0，且绝对值大于阈值T，则判定为模糊帧，将其滤除，否则进入下一阶段判定，如下式。

Tem：max(TM_Self_Conf(TM))

然而操作人员的运动以及光线的影响，视频的场景不能一成不变，所以模板需要不断更新，不恰当的模板将使检测错误结果将随时间不断累计，造成恶性循环，本专利中采用不定时建立模板更新模型，以适应不同的视频内容。

步骤4：完成视频编码、压缩和无线传输实现与服务器端的数据交互；

H.264的视频编码格式在视频质量、压缩效率和数据包恢复与丢失等方面，均超过现有的MPEG-2、MPEG-4和H.263等视频压缩标准。H.264最大的自身优势就是具有非常高的数据压缩比率，因此本系统采用该格式对视频进行采集和传输，同时采用TCP/IP方式实现与服务器端的数据交互。

视频处理后台系统—处理流程：

步骤5：对经过初步滤除的源视频进行存储；

目前应用最广泛的专业高清视频监控存储解决方案主要有两种，一种IP存储方案，另外一种是NVR存储方案。考虑到设备之间的对接性，该系统采用对接性能更好的NVR存储方案，它采用直接接入和综合管理IPC的方式，方案具备很高的集成度，NVR本身集成了IPC接入、高清视频存储、音、视频转发、预览、回放和管理等功能。

步骤6：视频解码解压缩，获取视频内容，并将视频进行拆帧处理，进入下一阶段判定；

采用H.264解码专用芯片对压缩视频进行解码，解码过程分为四个主要步骤，分别是流处理，逆变换，动态补偿，去方块滤波。采取上述方式解压缩视频，获取视频内容，并将视频进行拆帧处理，进入下一阶段判定。

步骤7：基于选择集成的模糊帧去除

如图4所示，读入步骤6获取的视频帧，对于模糊帧的判定集成了两种方法，分别是：类间最大方差阈值法和多分辨率运动估计法。只要有其中一种方法检测该帧图像模糊，则将其滤除，否则判定为清晰帧，进行帧压缩，并将处理后的视频存储。

方法1：类间最大方差的综合阈值方法。

帧间差异、背景差分及模板匹配方法各有优缺点，在嵌入式模块中，由于检测速度的要求，没有综合考虑。在视频后台处理系统中，我们提出了基于类间最大方差(OTSU)阈值方法，作为帧类别判断的依据。这种方法在稳像系统中，还没有被提出过。

OTSU也可以被称为最小类内方差法，它是一种自适应的确定阈值的方法。它以图像的灰度特性为依据将图像分为两部分，分别称为目标区域和背景区域。若这两部分类间方差越大则说明这两部分的区别越大，背景和目标若有重叠区域则两者差别会变小，故要寻找一使得两部分重叠最小的值来分割目标和背景。所选取的阈值t也就是令目标和背景间的方差为最大的值。本方法的优点是：相较于其他方法简单有效并且快速；它是一种自适应选择阈值的方法，是根据模糊图像和清楚图像的统计特性，从概率的角度来自动选择合适的阈值。这里我们将这种自适应的方法用于判定图像模糊度的阈值。

将模糊及清楚图像的阈值记为T，模糊图像占总数的比例记为ω₀，平均方差值为μ₀；清晰图像总数占所有图像的比例为ω₁，平均方差值为μ₁。以μ总平均方差，θ代表类间方差得

θ＝ω₀*ω₁*(μ₀-μ₁)*(μ₀-μ₁)

当方差θ最大时，此时的灰度是最佳阈值。设视频的总帧数N的方差级别从0～m-1。

接下来用阈值T将所有的帧分成两组，各组分布的概率如下式：

C₀分布的概率：

C₁分布的概率：

C₀的平均值：

C₁的平均值：

其中，是整体视频的方差平均值；是阈值为T时方差平均值。故所有帧的方差平均值如式所示。

μ＝w₀μ₀+w₁μ₁

C₀和C₁两组间的方差用下式求出。

从{0～T-1}之间改变T，求上式为最大值时的T^*，即求maxδ²(T)时的值，此时，T^*便是阈值。这里δ²(T)称作阈值选择函数。

经过OTSU方法，提出阈值，我们可以确定一幅运动图像的模糊分类为：BL＞2T^*，则该帧图像判定为模糊帧；则该帧图像判定为清晰帧；否则定义为疑似帧，进入下一步的检测。

方法2：多分辨率运动估计法。

对于类间方差法无法判断的帧，进一步采用分辨率的运动估计法进行稳像判定。与其它传统方法不同之处在于：

提出了限定空间的块匹配法，有效的提高了运算速度；

提出了多分辨率的块生成方法，由粗到细，减少了错误率；

首先将图像序列的每一帧分成许多互不重叠的块(Block)，并认为块内所有象素的位移量都相同。然后对每一当前帧(current frame)的每个块到参考帧(referenceframe)某一给定特定搜索范围内，根据一定的匹配准则找出与当前块最相似的块，即匹配块(matching block)。匹配块与当前块的之间的空间位置的相对偏移量即为运动矢量(motion vector)。

全搜索是块匹配算法中最直接的实现方法，通过对搜索窗内的所有点进行搜索，可以达到最佳匹配，但是全搜索算法的计算量巨大。由于运动矢量具有中心分布的特征，多数块可以被认为是静止的或者是准静止的，所以在模糊度判别中无需对远距离的目标进行匹配，目标移动过大的相邻图像，其必然存在抖动现象，本专利将此类运动定义为具有最大矢量位移。将块匹配的运动估计法的搜索范围限定在一个适中的空间，一方面，减小了计算量，提高了匹配效率，另一方面，保证了对于抖动严重图像的模糊诊断效果。

对块匹配运动估计法的研究，文献普遍是关于搜索策略的研究，对于块大小的确定一般均是根据先验知识确定，专利中提出了基于多分辨率的块匹配的运动估计，使匹配块的大小可以自适应确定。初始化匹配块大小为M*N，dxmax为参考块水平方向可搜索最大位移，dymax为参考块垂直方向可搜索最大位移，基于块匹配的运动估计就是在参考帧(或者其它上一帧)的(M+2dxmax)×(N+2dymax)候选区搜索窗口中找到和目标帧的当前大小为M×N的块的最匹配的块，定义R表示相关性评价函数，f(m，n)表示目标或当前块图像的灰度值。满足R为最大时的、为水平和垂直的运动矢量，用MV表示，如下式：

MV＝(V_x，V_y)＝{(x，y)|MAX[R(f(m，n)，f(m，n)，f(m+x，n+y))]，

x∈[-dxmax，dxmax]，y∈[-dymax，dymax]}

设定基于自适应块匹配的运动估计法的自信度函数MV_Self_Conf，该函数服从高斯分布，自信度越高，则图像的运动变化(静止现象)越明显，反之，运动变化(静止现象)越不容易判定。即自信度函数的值越大，图像越清晰，反之，抖动现象越严重，并以此作为评估匹配块块质量的依据。调整块分辨率的大小，调整方式分为粗调和细调两种，首先采用二分法粗划分，如果置信度升高，继续粗划分，反之，采用细划分，迭代增加w×w像素扩大匹配块，最终选择置信度最高的匹配块。为了避免极端情况发生，即所有的图像均判定为清晰(模糊)。采取如下调节方式，视频中的图像共N幅，定义清晰图像的概率p_i，模糊图像的概率为1-p_i(1-p_i≠0)，判定区间为[α，β]，获取最佳匹配块。如下式

Blocki＝MAX(MV_Self_Conf(MV))

上述两种算法是视频处理后台的核心算法，经过两种算法判定，则将快速滤除环节无法判定的视频帧和清晰视频帧进行分离，滤除模糊图像，将保留下来的清晰帧进行压缩处理。

步骤8：将清晰视频帧压缩处理后，转入稳像视频存储器进行存储。

步骤1-4是移动视频采集终端的处理流程，经过嵌入式模糊帧快速滤除算法，初步滤除视频中明显的模糊视频帧，并将经过处理的视频帧，采用H.264的视频编码格式压缩处理，大大减少了网络传输的负担。

步骤5-8是视频处理后台系统的处理流程，对在源视频服务器上获取的视频解码解压缩，获取视频内容，采用基于选择集成的模糊帧去除方法，进一步检测视频帧的模糊度，将快速滤除无法检测的疑似模糊图像进行处理，最终将清晰视频帧全部保留压缩，转入稳像视频存储系统，以供工作人员分析使用。

快速检测滤除与基于选择集成的模糊帧去除两步滤除方法，在达到去除视频图像画面的扭曲和抖动的目的的同时，也提高了网络的传输效率，可以广泛应用于实时稳像视频巡检等行业。

尽管参考附图详细地公开了本发明，但应理解的是，这些描述仅仅是示例性的，并非用来限制本发明的应用。本发明的保护范围由附加权利要求限定，并可包括在不脱离本发明保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (2)

1.一种基于选择集成的实时稳像视频巡检系统，包括移动视频采集终端和视频稳定处理后台；其特征在于：移动视频采集终端包括：视频采集模块，嵌入式模糊帧快速滤除模块，视频编码及压缩模块及无线视频发送模块；视频稳定处理后台包括：视频接收模块，源视频存储器模块，视频稳像处理系统模块及稳像视频存储系统模块；其中视频采集模块用于调用摄像头采集图像；嵌入式模糊帧快速滤除模块用于初步处理采集的视频图像，该模块直接滤除诊断为模糊的图像，保留无法判断或判断为清楚帧的图像；视频编码及压缩模块用于视频的网络传输；无线视频发送模块用于视频的网络传输；视频接收模块用于接收网络传输的视频；源视频存储器模块用于将网络传输接收的视频存储至本地硬盘中；视频稳像处理系统模块用于视频显示中，根据设计算法最终将稳定的图像显示出来；稳像视频存储系统模块用于将处理后的视频存储至本地硬盘中；其中，对于模糊帧的判定采用三种方法，检测的顺序依次为：帧间差异法、背景差分法、模板匹配法；只要在其中一种方法中，视频帧被判断为模糊帧，则直接滤除，对于在这三种方法中，无法判断或者判断为清楚帧的图像，将通过传输系统进行传输；

实时稳像视频巡检系统工作时，在移动视频采集终端，采集视频并进行拆帧处理，对视频中模糊帧快速滤除，将得到的初步清晰图像压缩编码，经过网络传输，送至视频稳定处理后台，视频稳定处理后台获取视频，解码解压缩，利用基于选择集成的模糊帧去除方法滤除视频中模糊帧，最后将清晰视频内容转至稳像视频存储系统模块存储；其中，视频稳定处理后台对于模糊帧的判定集成了两种方法，分别是：类间方差阈值法和多分辨率运动估计法；对于类间方差阈值法无法判断的帧，进一步采用多分辨率运动估计法进行稳像判定；只要有其中一种方法检测图像模糊，则将其滤除，否则判定为清晰帧，进行帧压缩，并将处理后的视频存储。

2.根据权利要求1所述的实时稳像视频巡检系统进行巡检的方法，其特征在于：

步骤1：通过移动视频采集终端的摄像头进行视频采集，将视频传输至服务器端进行解析；

步骤2：将采集的视频拆帧处理，即将视频拆成一帧一帧的图像，并存入移动视频采集终端的缓存；

步骤3：对模糊帧进行初步滤除；其中，对于模糊帧的判定采用三种方法，检测的顺序依次为：帧间差异法、背景差分法、模板匹配法；只要在其中一种方法中，视频帧被判断为模糊帧，则直接滤除，对于在这三种方法中，无法判断或者判断为清楚帧的图像，将通过传输系统进行传输；

步骤4：完成视频编码、压缩和无线传输，实现与服务器端的数据交互；

步骤5：对经过初步滤除的源视频进行存储；

步骤6：视频解码解压缩，获取视频内容，并将视频进行拆帧处理，进入下一阶段判定；

步骤7：基于类间方差阈值法或多分辨率运动估计法完成模糊帧的去除；其中，对于类间方差阈值法无法判断的帧，进一步采用多分辨率运动估计进行稳像判定；

步骤8：将清晰视频帧压缩处理后，转入稳像视频存储系统模块进行存储。