CN104092924A - 低照度下vms视频清晰化处理网络体系架构与预检测方法 - Google Patents

Abstract

本发明公开了一种低照度下VMS视频清晰化处理网络体系架构与预检测方法，它涉及图像与视频处理技术领域。它包括视频解码与低照度/微光增强器，多个视频解码与低照度/微光增强器与中心电视墙相连，多个视频解码与低照度/微光增强器均通过一级交换机分别与二级交换机、IP交换机、主控中心管理主机相连；其预检测方法为：(1)依据“正常光图像比低照度/微光图像有较高对比度，并有较多的较高对比度值的区域”的规律，提出直方图对比度统计比较判别法；(2)依据“低照度/微光视频比正常光照视频平均亮度较低，提出直方图亮度统计比较判别法。本发明完全兼容原先视频编码器功能，并增加了低照度/微光增强预判决与清晰化处理功能。

Description

低照度下VMS视频清晰化处理网络体系架构与预检测方法

技术领域

本发明涉及的是图像与视频处理技术领域，具体涉及一种低照度环境下VMS视频清晰化处理网络体系架构与预检测方法。

背景技术

伴随着国民经济的发展，VMS已经广泛应用于公安、交通、金融、国防、居民小区乃至一切注重安全的领域。但是，在低照度/微光(如夜幕下)下，部分监控视频模糊不清，失去应有的“可视化”作用，因此，非常需要VMS支持一种设备和技术，能够将这些模糊不清的视频清晰化，根据调查研究表明，现有VMS对新技术的需求包括：

(1)不宜大量改动原有VMS基本架构，必须兼容原有系统所有功能，原则上在原有功能基础上“只做加法不做减法”，做成原有系统的增强版。即新系统仅仅增加面临微光视频的清晰化处理功能，但不改变原先系统任何功能与性能；

(2)能够适应大量现有VMS不同类型的接口、视频编码格式、不同的分辨率规格以及不同的码率要求，适应系统从原有标清或DVD规格向高清与智能化升级增强；

(3)系统增加的设备在对低照度/微光视频清晰化处理过程中，在高清规格(720p或1080p)下帧率应达到实时要求(等于或大于25f/s)。

图1是现有典型的VMS网络体系结构，概括来说，该体系结构的主要目标，是保证来自各方的视频信号，包括左侧本地监控区域(如小区监控)，右侧通过互联网的广域监控域，下方监控中心的三大基本服务器包括管理、转发、存储的视频流能顺畅地汇聚并实时表现在上方的“中心电视墙”中。我们将图1的VMS分为三个子系统来分析：(1)信源子系统，(2)信道与传输子系统，(3)信宿子系统。为了提升网络系统功能与性能，首先需要揭示视频信号从源到端的本质特征，提出优化的VMS控制方法，从而提高视频运行效率，增强可靠性。

VMS从视频信号的原始采集端取得原始视频信号，视频信源编码在国际上已经形成包括ITU-T和ISO两大组织的许多标准，诸如H.261，MPEG1，MPEG2，H.263，MPEG4和H.264等，都在不同时期的VMS系统中有应用，尽管上述视频编码标准在帧间编码的运动估值和窗口变化方面差别甚远，所能达到的技术性能差别也很大，但在帧内编码部分，其基于DCT的核心技术，均依照下列公式：

$F_{\mathrm{uv}}=\frac{1}{4}{C}_u{C}_V{\mathrm{\Σ}}_{i=0}^7{\mathrm{\Σ}}_{j-0}^7{f}_{\mathrm{ij}}\cos \frac{(2i+1)\mathrm{u\π}}{16}\cos \frac{(2j+1)\mathrm{v\π}}{16}---\left(1.1\right)$

从技术本质看公式(1.1)运用频域分析方法，非常有效地保留了图像在零频附近的主要能量，而舍去高频部分，达到压缩编码目的，因此从源头上提供了本发明需要判断和处理的最基本要素，奠定了我们运用图像能量分析处理的基础。

VMS的网络传输又是一个重要方面，设定总带宽为B，将它分为N个独立信道，由k个用户共享，总功率为Pt，按照香农定理，每个信道(用户)可得到的传输速率为：

$C_{k,n}=\frac{B}{N}{\log }_2(1+P_{k,n}{\mathrm{\γ}}_{k,n})---\left(1.2\right)$

其中总功率Pt反映了式(1.1)的总能量F_u，v，当然，信道传输速率还受到噪声γ_k，n的影响。

解码端在经典的VMS中功能比较单一，就是将信源段采集，并经过网络传输过来的图像或视频(序列图像)解码出来，提供中心电视墙显示，解码器的核心技术是逆离散余弦(IDCT)算法：

$f_{\mathrm{ij}}=\frac{1}{4}\underset{u=0}{\overset{7}{\mathrm{\Σ}}}\underset{v}{\overset{7}{\mathrm{\Σ}}}{C}_u{C}_v{F}_{\mathrm{uv}}\cos \frac{(2i+1)\mathrm{u\π}}{16}\cos \frac{(2j+1)\mathrm{v\π}}{16}$

$C_u{C}_v=\left\{\begin{array}{cc}\frac{1}{\sqrt{2}},& \mathrm{foru},v\\ 1,& \mathrm{otherwise}\end{array}\right.---\left(1.3\right)$

本方法在执行视频解码全部功能，包括兼容国际上通用的H.261，MPEG1，MPEG2，H.263，MPEG4和H.264等标准解码，同时，在解码端设置了对低照度/微光的判断与清晰化处理功能，判断与处理依据均来自对视频信号所携带能量(由(1.3)式f_ij所构成)。

综上所述，传统的VMS网络体系结构不具备低照度/微光增强预判决与清晰化处理功能，成本高，处理不便，给人们的使用带了很大的不便。

发明内容

针对现有技术上存在的不足，本发明目的是在于提供一种低照度下VMS视频清晰化处理网络体系架构与预检测方法，使用“视频解码与低照度/微光清晰化处理器”，代替原先的视频解码器，它完全兼容原先视频编码器功能，并增加了低照度/微光增强预判决与清晰化处理功能。

为了实现上述目的，本发明是通过如下的技术方案来实现：低照度下VMS视频清晰化处理网络体系架构与预检测方法，包括视频解码与低照度/微光增强器，多个视频解码与低照度/微光增强器与中心电视墙相连，多个视频解码与低照度/微光增强器均通过一级交换机分别与二级交换机、IP交换机、主控中心管理主机相连；预检测方法采用输入图像/视频用物体的入射光及其反射光的乘积来表示：

f(x,y)＝i(x,y)×r(x,y)

上式中f(x,y)是图像/视频的亮度值，其中i(x,y)是入射照度分量，r(x,y)是反射分量，一般入射光照度成分被看作低频信号，而反射光成分被看作高频信号，高频信号决定自然物体原貌。入射光照到物体表面的能量受限，反射分量则是在入射总能量前提下，自身吸收了一部分同时又反射了一部分，一般低照度(或称微光)基本现象是指反射光成分比较弱，它反映目标物体自身吸收了几乎全部光或者入射光本身非常弱。

当VMS接收到输入的外界图像/视频时，首先需要判断视频场景是否属于低照度/微光特性，以便进行下一步清晰化处理，判别步骤为：

(1)依据“正常光图像比低照度/微光图像有较高对比度，并有较多的较高对比度值的区域”的规律，提出直方图对比度统计比较判别法。

(2)、依据“低照度/微光视频比正常光照视频平均亮度较低，或前者比后者具有较多的低亮度值区域”的规律，提出直方图亮度统计比较判别法。

本发明具有以下有益效果：

1、VMS监控中心可以对任何一路受低照度或微光影响的视频信号进行实时视频清晰化处理，这种转接既可以用硬件控制，也可以由软件自动检测与控制；

2、VMS监控中心还可以调出已经存储在服务器的原有受低照度/微光的视频信号进行视频清晰化处理；

3、“视频解码与低照度/微光增强器”采用高密度低功耗处理器，并执行多核、多线程SIMD算法，硬件与软件模块积木式结构，既可以满足大、中、小规模VMS高清、实时视频监视、检索等应用需求，又节约设备成本与功率消耗。

附图说明

下面结合附图和具体实施方式来详细说明本发明；

图1为现有典型的VMS体系结构图；

图2为本发明的VMS体系结构图；

图3为本发明的流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

参照图2-3，本具体实施方式采用以下技术方案：低照度下VMS视频清晰化处理网络体系架构与预检测方法，包括视频解码与低照度/微光增强器，多个视频解码与低照度/微光增强器与中心电视墙相连，多个视频解码与低照度/微光增强器均通过一级交换机分别与二级交换机、IP交换机、主控中心管理主机相连；预检测方法采用输入图像/视频用物体的入射光及其反射光的乘积来表示：

f(x,y)＝i(x,y)×r(x,y)

上式中f(x,y)是图像/视频的亮度值，其中i(x,y)是入射照度分量，r(x,y)是反射分量，一般入射光照度成分被看作低频信号，而反射光成分被看作高频信号，高频信号决定自然物体原貌。入射光照到物体表面的能量受限，反射分量则是在入射总能量前提下，自身吸收了一部分同时又反射了一部分，一般低照度(或称微光)基本现象是指反射光成分比较弱，它反映目标物体自身吸收了几乎全部光或者入射光本身非常弱。

当VMS接收到输入的外界图像/视频时，首先需要判断视频场景是否属于低照度/微光特性，以便进行下一步清晰化处理，判别步骤为：

(1)依据“正常光图像比低照度/微光图像有较高对比度，并有较多的较高对比度值得区域”的规律，提出直方图对比度统计比较判别法。

所谓低照度/微光图像基本现象是“黑幕中尚存微弱亮光，但依稀难辨物件”(当然，还不是“伸手不见五指”完全漆黑一片)，我们对于同一个VMS监控场景，在正常光照条件和低照度/微光两种条件分别成像试验，通过观察并总结其规律可知，由两者分别成像f(x,y)的直方图统计表明，低照度/微光条件下其对比度Cw很小，而且具有一定对比度的区域也很少，即许多区域几乎没有对比度(像元值近乎于零)；或者换个说法，即“正常光照图像比低照度/微光图像有较高对比度，并有较多的对比度区域”。由此，可以明确判断VMS监控区域采集的视频是否属于低照度/微光状态。

(2)、依据“低照度/微光视频比正常光照视频平均亮度较低，或前者比后者具有较多的低亮度值区域”的规律，提出直方图亮度统计比较判别法。

同样，我们对于同一个VMS监控场景，在正常光照条件和低照度/微光两种条件分别成像试验，通过观察并总结其规律可知，由两者分别成像f(x,y)的直方图亮度分布统计表明，低照度/微光条件下其亮度值Lw很低，而且具有较高亮度值的区域也很少，大部分区域亮度值很低(像元亮度值近乎于零)；或者换个说法，即“正常光照图像比低照度/微光图像有较高亮度值，并有较多的较高亮度值区域”。由此，可以明确判断VMS监控区域采集的视频是否属于低照度/微光状态。

本具体实施方式在典型VMS体系基础上，增设视频解码与低照度/微光增强器，代替原先的视频解码器，它完全兼容原先视频编码器功能并增加了低照度/微光增强处理功能，新体系的处理流程如图3所示，在视频解码端完成解码的同时，需要判断输入的视频信号是否属于低照度/微光状态，方法如下：

1、对输入视频信号预处理，输入的视频信号可能有色差，需要做色调均衡以使处理结果更有质量保证；

2、低照度/微光检测与判断，微光的特征是像元总体与平均亮度很低，快速对视频信号统计分析，在亮度低于设定门限时，即可判定为微光环境；

3、低照度/微光处理，根据人眼感知规律，利用光辐射场原理，自适应调节视频图像的亮度及细节勾勒，实现白天到夜间照度变化时监控的无缝转换，利用胶片冲印清晰化原理，在快速提升亮度的同时，保持好图像的细节和色彩(此项工作另有专利)；

4、后处理方法，增强处理后有必要利用图像的局部方差进行自适应的精细尺度滤波，有效地保持图像的对比度和边缘信息，提高视频感官质量。

本具体实施方式的图2展示了在VMS中配置了面临低照度/微光增强器需求的架构，系统还是以一级交换机为中心，左侧是本地监控区域(如小区监控)，右侧是通过互联网的广域监控域，下方则是监控中心的三大基本服务器包括管理、转发、存储，当然，规模较大的VMS中心还需要更多的服务器以及借用云服务支持，上方关键设备“视频解码与低照度/微光增强器”需要配置1-n个，支持中心电视墙的显示播放。这种架构做到接入最简便、算法实现开销最小、性价比最高、对原有系统改变最小。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.低照度下VMS视频清晰化处理网络体系架构与预检测方法，其特征在于，包括视频解码与低照度/微光增强器，多个视频解码与低照度/微光增强器与中心电视墙相连，多个视频解码与低照度/微光增强器均通过一级交换机分别与二级交换机、IP交换机、主控中心管理主机相连；预检测方法采用输入图像/视频用物体的入射光及其反射光的乘积来表示： 

f(x,y)＝i(x,y)×r(x,y) 

上式中f(x,y)是图像/视频的亮度值，其中i(x,y)是入射照度分量，r(x,y)是反射分量，一般入射光照度成分被看作低频信号，而反射光成分被看作高频信号，高频信号决定自然物体原貌；入射光照到物体表面的能量受限，反射分量则是在入射总能量前提下，自身吸收了一部分同时又反射了一部分，一般低照度基本现象是指反射光成分比较弱，它反映目标物体自身吸收了几乎全部光或者入射光本身非常弱； 

当VMS接收到输入的外界图像/视频时，首先需要判断视频场景是否属于低照度/微光特性，以便进行下一步清晰化处理，判别步骤为： 

(1)依据“正常光图像比低照度/微光图像有较高对比度，并有较多的较高对比度值的区域”的规律，提出直方图对比度统计比较判别法； 

(2)、依据“低照度/微光视频比正常光照视频平均亮度较低，或前者比后者具有较多的低亮度值区域”的规律，提出直方图亮度统计比较判别法。 

2.根据权利要求1所述的低照度下VMS视频清晰化处理网络体系架构与预检测方法，其特征在于，在视频解码端完成解码的同时，需要判断输入的视频信号是否属于低照度/微光状态，方法步骤为： 

(1)、对输入视频信号预处理，输入的视频信号可能有色差，需要做色调均衡以使处理结果更有质量保证； 

(2)、低照度/微光检测与判断，微光的特征是像元总体与平均亮度很低，快速对视频信号统计分析，在亮度低于设定门限时，即可判定为微光环境； 

(3)、低照度/微光处理，根据人眼感知规律，利用光辐射场原理，自适应调节视频图像的亮度及细节勾勒，实现白天到夜间照度变化时监控的无缝转换，利用胶片冲印清晰化原理，在快速提升亮度的同时，保持好图像的细节和色彩； 

(4)、后处理方法，增强处理后有必要利用图像的局部方差进行自适应的精细尺度滤波，有效地保持图像的对比度和边缘信息，提高视频感官质量。 

3.根据权利要求1所述的低照度下VMS视频清晰化处理网络体系架构与预检测方法，其特征在于，所述的步骤(1)中所谓低照度/微光图像基本现象是“黑幕中尚存微弱亮光，但依稀难辨物件”，对于同一个VMS监控场景，在正常光照条件和低照度/微光两种条件分别成像试验，通过观察并总结其规律可知，由两者分别成像f(x,y)的直方图统计表明，低照度/微光条件下其对比度Cw很小，而且具有一定对比度的区域也很少，即许多区域几乎没有对比度(像元值近乎于零)；或者换个说法，即“正常光照图像比低照度/微光图像有较高对比度，并有较多的对比度区域”；由此，可以明确判断VMS监控区域采集的视频是否属于低照度/微光状态。 

4.根据权利要求1所述的低照度下VMS视频清晰化处理网络体系架构与预检测方法，其特征在于，所述的步骤(2)中对于同一个VMS监控场景，在正常光照条件和低照度/微光两种条件分别成像试验，通过观察并总结其规律可知，由两者分别成像f(x,y)的直方图亮度分布统计表明，低照度/微光条件下其亮度值Lw很低，而且具有较高亮度值的区域也很少，大部分区域亮度值很低；或者换个说法，即“正常光照图像比低照度/微光图像有较高亮度值，并有较多的较高亮度值区域”；由此，可以明确判断VMS监控区域采集的视频是否属于低照度/微光状态。