CN101609549B

CN101609549B - 视频模糊图像的多尺度几何分析超分辨处理方法

Info

Publication number: CN101609549B
Application number: CN2009101816340A
Authority: CN
Inventors: 霍冠英; 李庆武; 徐立中
Original assignee: Hohai University HHU
Current assignee: Jiangsu Julai Information Technology Co ltd
Priority date: 2009-07-24
Filing date: 2009-07-24
Publication date: 2011-08-10
Anticipated expiration: 2029-07-24
Also published as: CN101609549A

Abstract

本发明公开了一种智能信息处理技术领域中的视频模糊图像的多尺度几何分析超分辨处理方法，用监控录像获取单帧模糊图像或多帧模糊图像，对输入模糊图像进行NSCT分解为低频系数和高频系数、采用NSCT域HMT模型进行模糊图像去噪、采用视觉侧抑制网络进行边缘细节的增强、采用HyperBF神经网络模型对低频系数和高频系数两部分的子带图像进行非线性插值、对经过处理的NSCT分解系数进行NSCT重构、引入多尺度Retinex算法进行符合人眼视觉感知的图像对比度调节。多帧模糊图像的处理分基于MGT域的图像融合的方法和基于MGT域非均匀插值的方法。本发明在不改变传统视频监控成像系统硬件情况下，能对视频图像中常见的噪声进行有效抑制，进一步提高模糊图像的分辨率和清晰度。

Description

视频模糊图像的多尺度几何分析超分辨处理方法

技术领域

本发明属于智能信息处理技术领域，具体而言是一种多尺度几何分析的生理学“最优”方向性分解及重构与基于生物视觉的超视锐度机理的HyperBF(超基函数，下同)神经网络方向性预测插值相结合的低分辨率模糊图像的超分辨处理方法。

背景技术

当前，视频监控录像系统在日常生活中已被广泛应用，在银行、收费站、商场超市、高速公路、工厂及居民小区等许多公共场所都会安装有摄像头和监控录像系统。监控录像在保障和监督公共安全的同时，也会存储大量犯罪分子作案的信息和痕迹，从而为警方侦查破案提供有力的线索和证据。

然而监控录像系统由于受许多客观因素的限制，比如安装位置的不适宜、光线太暗或太亮、目标运动过快、摄像镜头对焦不实、录像带反复拷贝和使用等，往往使得录像资料变得模糊不清，称为模糊图像或退化图像。这类图像难以辨认其中的很多细节，不能为侦查破案提供有价值的线索。模糊图像的清晰化处理是为刑侦提供有价值的线索的重要途径。

当前国内的模糊图像处理系统主要有北京文安视觉科技发展有限公司的文安超分辨率系统、大连恒锐图像技术有限公司的恒锐痕检/文检图像处理软件；国外的主要有荷兰IMIX公司和荷兰国家法庭技术研究所共同开发的“影博士”、美国Cognitech公司研发的“识慧”模糊图像处理系统、美国MotionDSP公司的视频修复软件vReveal、日本NEC公司的LSI。其中，“影博士”和“识慧”两套系统在国内各地公安机关使用较多。

实用的模糊图像处理系统通常采用均值或中值滤波实现去噪，采用维纳滤波进行去模糊处理，采用双三次插值提高分辨率，并通过直方图均衡化调节最终的图像对比度，从而使得图像较为清晰。上述商业软件虽然取得了一定的清晰化效果，然而受到所采用技术的限制，在图像背景噪声严重(大雾阴雨天气)、边缘纹理较弱(夜间红外图像)的情况下往往不能取得清晰化的效果。这也导致许多公安机关往往一并采购两套系统，希望能够综合利用多套软件来进一步提高模糊图像的分辨率，然而并不能达到预期的效果。

神经科学的研究表明，人的视觉系统对外界场景具有“稀疏编码”的能力。一种“最优”的图像表示法应该具有如下的特征：多分辨、局域性和方向性。近年来各种多尺度几何分析方法的提出，均考虑到所对应的基函数应该具有与视觉神经元的接收场类似的支撑区间。Curvelet(曲波)、Contourlet(轮廓波)等多尺度几何分析方法自提出以来，在图像的去噪、增强、融合、特征识别等领域都获得了广泛的应用，取得了传统方法不能得到的处理效果。同视觉感知的多尺度、多方向性特性相一致，多尺度几何分析在现代的图像处理领域已成为重要的分析工具。

生物视觉的超视锐度现象也引起了学者们的广泛关注。生物视觉的超视锐度特性是指生物视觉系统的分辨能力大于其视觉感受器的性质。美国学者Barlow认为视觉系统不仅执行空间插值，产生分辨能力，而且对运动物体也产生时间插值的敏锐性。人眼的感知结果是M型节细胞提供强边缘信号与P型节细胞提供缓变信号的综合体。美国学者Poggio等提出了一个三层神经网络HyperBF的数学模型，解释了超分辨问题，认为超分辨能力可通过不同方向的学习范式训练获得。

通过综合多尺度几何分析的生理学“最优”方向性分解与基于生物视觉的超视锐度机理的HyperBF非线性预测插值的优点，从而有效实现对强噪声、弱纹理图像的清晰化重现，是一种全新的方法。专利检索表明，基于多尺度几何分析或者视觉仿生技术的模糊图像超分辨图像处理技术专利尚未见诸国内外专利数据库。与此同时，对国内外各种科技文献的最新检索表明，尚未有将多尺度几何分析方法应用到超分辨图像处理的相关科技文献。

发明内容

针对现有模糊图像处理技术在噪声强、纹理弱的情况下不能有效清晰化的缺点，本发明提供了基于MGT(多尺度几何变换，下同)域分解及重构与HyperBF神经网络超视锐度插值相结合的模糊图像超分辨重建的新方法。

根据获取的可疑视频模糊图像是单帧还是多帧的不同情况，本发明的技术方案为：用监控录像获取单帧模糊图像或多帧模糊图像，其中单帧模糊图像的处理步骤依次为：

(1)对输入模糊图像进行NSCT(非降采样轮廓波变换，下同)分解为低频系数和高频系数两部分；

(2)采用NSCT域HMT(隐马尔科夫树，下同)模型进行模糊图像去噪；

(3)采用视觉侧抑制网络进行边缘细节的增强；

(4)采用HyperBF神经网络模型对低频系数和高频系数两部分的子带图像进行非线性插值；

(5)对经过处理的NSCT分解系数进行NSCT重构；

(6)引入多尺度Retinex(视皮层，下同)算法进行符合人眼视觉感知的图像对比度调节，得到高分辨率图像。

所述多帧模糊图像的处理分为两种，一种是基于MGT域的图像融合的方法，另一种是基于MGT域非均匀插值的方法。

所述基于MGT域的图像融合的方法步骤依次为：

(1)按照所述单帧模糊图像的处理步骤对每帧模糊图像进行超分辨率重构；

(2)基于归一化互信息实现超分辨率重构图像的配准；

(3)对已配准的待融合图像再次进行NSCT分解，得到各自的NSCT系数；

(4)对NSCT分解后的低频分量和高频分量进行方向性融合，采用不同的融合算子和融合规则；

(5)NSCT逆变换重构，得到初步的超分辨融合图像；

(6)通过多尺度Retinex算法调节图像的对比度，得到最终的融合图像。

所述基于MGT域非均匀插值的方法步骤依次为：

(1)基于归一化互信息实现超分辨率重构图像的配准；

(2)对已配准的待融合图像分别进行NSCT分解，得到各自的NSCT系数；

(3)定义一个NSCT域的高分辨率格网，根据图像间的位移信息将每幅图像的NSCT系数统一归一化到定义的高分辨率格网中；

(4)由已有的非规则采样点插值形成规则采样网格，对每个待求解填充的插值点，构造一个三角或者多角领域，计算由三角领域确定的规则采样点值；

(5)对插值之后形成的高分辨率格网中的NSCT系数进行阈值去噪、平滑处理；

(6)NSCT逆变换重构，得到初步的超分辨率清晰图像；

(7)通过多尺度Retinex算法调节图像的对比度，得到最终的清晰图像。

本发明在不改变传统视频监控成像系统硬件的情况下，采用先进的多尺度几何分析方法和视觉仿生处理技术，在提高图像的分辨率的同时，能够对视频图像中常见的噪声进行有效抑制，同时有效保护并进一步恢复纹理等重要细节。系统核心部分采用多尺度几何分解与重构算法和基于HyperBF的超视锐度插值算法，同时可加入针对特定目标(如车牌、文字和人脸)和特定摄像头以及压缩技术的先验知识，进一步提高了模糊图像的分辨率和清晰度。采用本发明技术方案的一次实施可以提高一倍的分辨率，重复实施后可提高多倍的分辨率。

附图说明

以下结合附图和具体实施方式对本发明作进一步详细说明。

图1为基于MGT域HyperBF插值的单帧模糊图像超分辨重建方法示意图。

图2为基于MGT域方向性融合的序列图像超分辨重建方法示意图。

图3为基于MGT域非均匀插值的序列图像超分辨重建方法示意图。

具体实施方式

根据获取的可疑视频模糊图像是单帧还是多帧的不同情况，本发明的技术方案可以分为针对单帧模糊图像的超分辨重建和针对序列模糊图像的超分辨重建，以下分别描述：

1、基于MGT域HyperBF插值的单帧模糊图像多尺度几何分析超分辨处理方法示意图如图1所示，其处理步骤依次为：

(1)对输入模糊图像进行NSCT分解

借鉴人类视觉双通道理论的方向特异性机理，结合NSCT分解的多方向性和生理学“最优性”，对输入的模糊图像进行多尺度分解。

一幅图像经过NSCT分解为低频系数和高频系数两部分。低频系数主要反映的是图像的轮廓，相当于人类视觉的M通道，对粗大目标和运动目标的分辨起重要作用。高频系数主要反映的是图像的细节，相当于人类视觉的P通道，对细小目标的分辨起重要作用。

拟采用低通滤波模拟M型节细胞的处理功能；高通滤波和方向性滤波器组模拟P型节细胞的处理功能。在具体实现上，首先由LP(拉普拉斯金字塔，下同)变换对图像进行多尺度分解以“捕获”点奇异，接着由方向滤波器组将分布在同方向上的点奇异合并成一个系数。在LP分解上，采用正交滤波器组实现框架界为1的紧框架。在方向分解上，采用扇形结构的共轭镜像滤波器组避免对输入信号的调制，同时，将l层树状结构的方向滤波器组变换成2^l个并行通道的结构，整个采样矩阵具有对角矩阵的结构：

S_{k}^{(l)} = \{\begin{matrix} diag (2^{l - 1}, 2), 0 \leq k < 2^{l - 1} \\ diag (2, 2^{l - 1}), 2^{l - 1} \leq k < 2^{l} \end{matrix}\}

于是，族{g_k ^l[n-S_k ^(l)m]}，0≤k＜2^l，m∈Z²构成了一组既有方向性也有局部性的基，模拟了人眼视觉感知的方向性、局部性。

(2)基于HMT模型去噪

根据尺度间、尺度内、方向间系数的分布统计特性，采用NSCT域HMT模型进行模糊图像去噪，该去噪方法能够在去除强噪声的同时保留图像的边缘、纹理等细节。

(3)侧抑制增强

针对模糊图像边缘较弱的情况，引入视觉侧抑制网络进行边缘等细节的增强。

(4)超视锐度插值

在插值处理上，考虑到超视锐度具有的感受野模型、方向性、学习适应性，引入解释超视锐度现象的HyperBF神经网络模型，对低频系数和高频系数两部分的不同方向的子带图像进行非线性插值。有可能无法得到高分辨率源图像作为神经网络训练的样本集。针对这一情况，在HyperBF神经网络的训练上，提出首先对原图像进行降采样，形成降采样图像与原图像之间的区域对应训练集。在不同的子带方向上进行HyperBF神经网络超分辨学习训练，以合理调节神经网络的参数值，从而有效模拟节细胞的方向学习适应性。

(5)NSCT重构

对经过上述处理的NSCT分解系数进行NSCT重构，实现初步的高分辨清晰图像的重建。

(6)Retinex对比度调节。

经多尺度分解、插值、重构处理的图像能量分配不均衡，对比度失调，引入多尺度Retinex算法进行符合人眼视觉感知的图像对比度调节。

最后可得到高分辨率图像。

2多尺度几何分析序列模糊图像超分辨处理方法处理步骤为：

提出了两种序列模糊图像的超分辨重建方法：一种是先按照前1所述的方法进行单幅图像的超分辨重构，再进行基于MGT域的图像融合方法。另一种是基于MGT域非均匀插值的方法。对于位移较大、直接配准较难的序列模糊图像可采用方法1进行超分辨重建，对于位移不大、易于直接配准的序列模糊图像可采用方法2进行超分辨图像重建。

2.1基于MGT域方向性融合的序列图像超分辨重建，如图2所示，其处理步骤依次为：

(1)按照上节1中所述方法对每帧模糊图像进行超分辨率重构。

(2)基于归一化互信息实现超分辨率重构图像的配准。该方法对需要配准的两幅图像的灰度值不需要进行任何特别假设，只要求存在统计依赖关系。它将两幅图像的灰度值看成两个随机变量，使用信息论中的互信息作为理论依据。归一化互信息定义为：

NMI (X, Y) = \frac{H (X) + H (Y)}{H (X, Y)}

其中，H(X)、H(Y)分别表示两幅待配准图像的边缘熵，H(X，Y)表示两者的联合熵。配准的过程就是对其中的一幅待配准图像的每个像素点在另一幅待配准图像中寻找使归一化互信息最大的对应点的过程。

(3)对已配准的待融合图像再次进行NSCT分解，得到各自的NSCT系数。

(4)对NSCT分解后的低频分量和高频分量进行方向性融合，采用不同的融合算子和融合规则。

低频分量融合规则：NSCT分解后的低频分量反映的是图像的概貌信息。由于分解过程中的抽取，经过多层分解后低频子图像成倍缩小，为使融合图像中保留更多的两幅图像的原始信息，故对变换后两幅图像的低频分量取加权平均作为融合图像的低频分量。

高频分量融合规则：拟采用法国数学家Gustave Choquet提出的Choquet模糊积分方法进行高频系数的模糊融合。结合多尺度分解的系数特性，较大的系数值对应较强的边缘与纹理，较小的系数值通常对应噪声等干扰，系数的大小反映了其作为有用信息的可靠程度，因此，我们提出采用归一化后的系数值作为信度函数，同时选取中心的3×3区域的归一化方差作为衡量该系数重要性的模糊密度值。最终由对应的信度函数和模糊密度值计算求出模糊积分值，并进一步决策出最终融合的系数值。

低高通子带的产生及方向滤波器组的构造仍采用同上节1中所述的实现方式，由正交滤波器组实现LP变换的低高通子带分解，同时采用扇形结构的共轭镜像滤波器组实现方向性分解。

(5)NSCT逆变换重构，得到初步的超分辨融合图像。

2.2基于MGT域非均匀插值的序列图像超分辨重建如图3所示：

(1)基于归一化互信息实现超分辨率重构图像的配准。

(2)对已配准的待融合图像分别进行NSCT分解，得到各自的NSCT系数。

(3)定义一个NSCT域的HR(高分辨率)格网，根据图像间的位移信息将每幅图像的NSCT系数统一归一化到定义的HR格网中。

(4)由已有的非规则采样点插值形成规则采样网格。对每个待求解填充的插值点，构造一个三角或者多角领域，计算由三角领域确定的规则采样点值。

(5)对插值之后形成的HR格网中的NSCT系数进行阈值去噪、平滑处理。

(6)NSCT逆变换重构，得到初步的超分辨率清晰图像。

本发明在具体实施时，先利用安装的监控录像获取包含可疑目标的模糊图像，可能是单帧，也可能是多帧。根据单帧或者多帧的不同情况，可自主选择三种不同的超分辨重建技术方案。多尺度分解的层数及每层分解的方向数的选取有较大的灵活性，但每层的方向数应为2的幂数。不同的分解参数选取产生的重建效果不同，通常可选取4层分解和(4，4，8，8)的方向数。重建实施过程中，可加入一些可能预先知道的先验知识，如运动向量信息，可以使图像的配准更加快速和准确。还可以加入成像设备的PSF(点扩散函数)信息、噪声的类型及强度信息，有助于更好的去噪和解模糊。在边缘增强上，可选择循环抑制侧抑制网络或者非循环抑制侧抑制网络，模板大小可选择3*3、5*5、7*7或者9*9，根据边缘的粗细选择合适大小的模板。在插值训练环节上，为了根据具体的图像调节HyperBF神经网络的参数值，可以由降采样图像与原图像之间的区域对应训练确定；同时也可以由内容类似的低分辨率图像与高分辨率图像进行训练确定。

Claims

1.一种视频模糊图像的多尺度几何分析超分辨处理方法，用监控录像获取单帧模糊图像或多帧模糊图像，其特征为：

所述单帧模糊图像的处理方法步骤依次为：

(1)对输入模糊图像进行NSCT分解为低频系数和高频系数两部分；

(2)采用NSCT域HMT模型进行模糊图像去噪；

(3)采用视觉侧抑制网络进行边缘细节的增强；

(4)采用HyperBF神经网络模型对低频系数和高频系数两部分的子带图像进行非线性插值，对原图像进行降采样，形成降采样图像与原图像之间的区域对应训练集，在不同的子带方向上进行HyperBF神经网络超分辨学习训练，以调节神经网络的参数值；

(5)对经过处理的NSCT分解系数进行NSCT重构；

(6)引入多尺度Retinex算法进行符合人眼视觉感知的图像对比度调节，得到高分辨率图像；

所述多帧模糊图像的处理方法分为两种，一种是基于MGT域的图像融合的方法，另一种是基于MGT域非均匀插值的方法；

所述基于MGT域的图像融合的方法步骤依次为：

(2)基于归一化互信息实现超分辨率重构图像的配准；

(4)对NSCT分解后的低频分量和高频分量进行方向性融合；

(5)NSCT逆变换重构，得到初步的超分辨融合图像；

(6)通过多尺度Retinex算法调节图像的对比度，得到最终的融合图像；

所述基于MGT域非均匀插值的方法步骤依次为：

(1)基于归一化互信息实现超分辨率重构图像的配准；

(6)NSCT逆变换重构，得到初步的超分辨率清晰图像；

2.根据权利要求1所述的视频模糊图像的多尺度几何分析超分辨处理方法，其特征是：所述HyperBF神经网络的参数值可由低分辨率图像与其下采样图像之间的区域对应训练确定。

3.根据权利要求1所述的视频模糊图像的多尺度几何分析超分辨处理方法，其特征是：图像融合采用模糊逻辑的Choquet模糊积分方法，采用归一化后的系数值作为信度函数，选取中心的3×3区域的归一化方差作为衡量该系数的模糊密度值。