CN110738610A - 一种复眼图像像质提升方法 - Google Patents

Abstract

本发明公开了一种复眼图像像质提升方法：(1)采用同态滤波法对复眼视觉系统获得的多幅子眼图像进行背景光照不均匀去除；(2)采用小波去噪的方法对去除背景光照不均匀后的子眼图像进行降噪，得到子眼单元图像；(3)采用凸集投影法对多幅子眼单元图像进行超分辨率重建。本发明在现有工作的基础上，进行提升复眼系统中子眼像质的复眼图像预处理，为了减少图像噪声，实现图像增强，同时最大程度提升图像分辨率，使图像像质得到提升，利用复眼获得的多幅低分辨率子眼图像重建一副高分辨率图像，为实现高灵敏度探测打下基础。

Description

一种复眼图像像质提升方法

技术领域

本发明涉及图像像质提升技术，特别涉及一种在复眼视觉系统中提升子眼图像像质方法。

背景技术

目前较为成功的人工复眼主要有日本Tanida J的TOMBO复眼单色成像系统，德国DuparréJ的APCO仿生复眼成像系统和球面人造复眼成像系统。TOMBO复眼单色成像系统在整体上是呈平面结构，子眼为矩形分布，可实现图像的超分辨率重构、目标的立体成像。APCO仿生复眼成像系统在平面结构的基础上采用啁啾微透镜阵列代替普通的均匀透镜阵列，可纠正因散光和场曲引起的成像失真。球面人造复眼成像系统采用并列式复眼设计，更加接近自然界的复眼，提高了边缘视场的成像质量，增大了视场角，但是采用了传统的体透镜光学系统，对成像质量的提升相对有限。在国内芦丽明提出了用于多模制导的仿生蝇复眼模型，张红鑫等人研究了两种曲面型光学复眼成像系统，刘浩等人完成了仿生复眼微透镜阵列的制作，张浩提出了球面复眼多通道信息融合模型，都有着显著成效。

在复眼的图像预处理方面，芦丽明采用了取阈值的领域平均法对红外子眼图像进行去噪，并对图像进行了一定的灰度级修正与锐化，针对红外特征，还采用侧抑制网络的方法，在抑止噪声的同时达到了“突出边框，增强反差，亮度水平适应”的效果。张浩针对复眼系统单通道成像特性不够理想，立轴光线的成像光斑较大，图像畸变严重等问题，采用了基于神经网络的复眼图像校正方法和同态滤波去噪的算法，为复眼多通道信息融合奠定了基础。

人们在采用超分辨率复原的方法解决复眼空间分辨率低的问题。超分辨复原出现于20世纪60年代，由Harris和Goodman以单帧图像复原的概念和方法提出的，随后出现的叠加正弦模板法等复原方法，虽然都有较好的仿真效果，但是实际应用却不行。1984年Tsai和Huang提出了超分辨率复原的频域算法，使序列图像的超分辨率复原问题成为国内外数字图像处理领域研究的一个热点问题，90年代又提出了几种空域算法，其中凸集投影和统计方法是研究的重点，同时还有各种算法的混合使用。近年来，在提升复眼分辨率方面Osaka大学的研究团队，有着突出贡献。他们采用pixel rearrange的方法将单眼的分辨率提高了4倍，随后又加上了迭代反投影，将图像质量进一步提升。2009年，他们将获取图像的功率谱提高到19dB，将颜色偏移导致的功率谱降低7dB。此外，香港浸会大学WaiSan Chan，采用立方相位片提高成像系统的景深，德国夫琅禾费研究所的RaúlTudela等采用中值滤波和维纳滤波的方法也在一定程度上提升了图像质量。国内复眼的研究进展有限，主要停在模型构建和仿真上。

发明内容

本发明的目的是克服现有技术中的不足，提供一种复眼图像像质提升方法，在现有工作的基础上，进行提升复眼系统中子眼像质的复眼图像预处理，为了减少图像噪声，实现图像增强，同时最大程度提升图像分辨率，使图像像质得到提升，利用复眼获得的多幅低分辨率子眼图像重建一副高分辨率图像，为实现高灵敏度探测打下基础。

本发明所采用的技术方案是：一种复眼图像像质提升方法，包括以下步骤：

步骤1，采用同态滤波法对复眼视觉系统获得的多幅子眼图像进行背景光照不均匀去除；

步骤2，采用小波去噪的方法对步骤1去除背景光照不均匀后的子眼图像进行降噪，得到子眼单元图像；

步骤3，采用凸集投影法对步骤2得到的多幅子眼单元图像进行超分辨率重建。

进一步地，步骤1中，所述的采用同态滤波法具体为：将原子眼图像的函数依次经过取对数、傅里叶变化、采用滤波函数进行滤波、逆变化到空域后取指数的处理得到去除背景光照不均匀后的子眼图像的函数，实现不均匀背景光照恢复。

进一步地，步骤2中，所述的小波去噪的方法具体为：对去除背景光照不均匀后的子眼图像信号进行小波分解；再对经过层次分解后的高频系数进行阈值量化；最后，利用二维小波重构图像信号，得到降噪后的子眼单元图像。

进一步地，步骤3中，所述的采用凸集投影法对步骤2得到的多幅子眼单元图像进行超分辨率重建在Matlab中实现，具体包括：

步骤3-1，读入多幅子眼单元图像，形成子眼图像序列；

步骤3-2，选取第1帧子眼单元图像，进行双线性插值，产生参考帧；

步骤3-3，读入下一帧子眼单元图像，以步骤3-2得到的参考帧为依据做进行亚像素运动估计，得到下一帧子眼单元图像与步骤3-2得到的参考帧之间的相对运动关系；

步骤3-4，重复步骤3-3，得到每一帧子眼单元图像与步骤3-2得到的参考帧之间的相对运动关系；

步骤3-5，根据步骤3-4得到的相对运动关系，对所有帧子眼单元图像进行凸集投影迭代运算，实现图像超分辨率重建，得到重建后的子眼单元图像。

本发明的有益效果是：

(1)在像质评价方面，本发明采用客观评价法，易于掌控，有定量的科学支持，选取的不同种类的参数使评价系统全面可靠。

(2)不均匀背景光照恢复中同态滤波能一定程度地恢复不均匀背景光照，且具有更好的整体恢复效果。在图像去噪中采用了小波去噪的方法，可以减小甚至完全剔除由噪声产生的系数，同时最大限度地保留真实信号的系数，得到符合应用要求的真实信号的最优估计。针对分辨率低、边缘轮廓模糊的问题，POCS法超分辨率重建得到的子眼单元图像回复范围更加分散，图像的反差大，携带的信息量大、层次多，清晰度高，更能反应出细节反差和纹理变换特征。

附图说明

图1：本发明一种复眼图像像质提升方法流程示意图；

图2：本发明的同态滤波流程示意图；

图3：本发明的由真实场景到低分辨率图像的观测模型示意图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下：

如附图1所示，一种复眼图像像质提升方法，包括以下步骤：

步骤1，背景光照不均匀去除：采用同态滤波法对复眼视觉系统获得的多幅子眼图像进行背景光照不均匀去除。

在复眼中进行光照强度补偿，主要针对的是非均匀光照，本发明从算法入手，采取基于频域的同态滤波法，减少低频成分并增加高频成分，增强暗区的图像细节同时又不损失亮区的图像细节，来改善系统背景光照不均匀性。

基于频域的同态滤波法具体过程如图2所示。自然景物的图像的函数f(x,y)可由照明函数和反射函数表示，前者表示景物的照明，与景物无关，后者表示景物的细节，与照明无关，将自然景物图像中的照明函数和反射函数分开处理，削减入射分量(低频分量)的影响同时增强物体的反射分量(高频分量)，达到不均匀背景光照恢复的效果。同态滤波法将自然景物的图像的函数f(x,y)依次经过取对数(log)、傅里叶变化(DFT)、采用H(u,v)滤波函数进行滤波、逆变化(IDFT)到空域后取指数(exp)的处理得到处理后图像的函数g(x,y)，即可实现不均匀背景光照恢复。

步骤2，图像去噪：采用小波去噪的方法对步骤1去除背景光照不均匀后的子眼图像进行降噪，得到子眼单元图像。

复眼图像的噪声来源主要有光学噪声和电子学噪声，本发明采用基于小波变换的去噪算法对去除背景光照不均匀后的子眼图像进行平滑，保留了大部分包含信号的小波系数，较好的保持图像细节，得到真实信号的最优估计。

采用小波去噪的方法具体步骤为：对去除背景光照不均匀后的子眼图像信号进行小波分解；对经过层次分解后的高频系数进行阈值量化；利用二维小波重构图像信号。该方法假定噪声服从正态分布、不相关和方差为常量的条件。处理时通过选取不同的小波变换算子和非线性滤波算子，得到不同的小波滤波方法。小波滤波的核心是在小波变换时按照一定的准则对小波系数进行处理，本发明采用Donoho给出的最优的通用阈值，通过小波域阈值滤波方法处理。实际信号由真实信号和噪声叠加组成，且相互独立。滤波的目标是在观察到实际信号的前提下，对真实信号进行估计。小波变换是一种线性变换，满足齐次性和叠加性。对观测数据经过小波变换后，得到含噪系数、信号系数与噪声系数三者的关系，其中含噪系数、信号系数与噪声系数分别对应实际信号、真实信号、噪声。通过选取不同的小波变换和逆变换算子，来分别实现上述的转化过程，可以得到不同的小波滤波方法。

步骤3，超分辨率重建：采用凸集投影法对步骤2得到的多幅子眼单元图像进行超分辨率重建。

经过步骤1和步骤2处理后得到的的子眼单元图像分辨率低，图像边缘和图像轮廓模糊情况严重，无法实现像素级的角点提取，对此用超分辨率图像重建技术对复眼系统子眼图像序列图进行重建。本发明采用凸集投影法，利用一幅或多幅低分辨率图像，运用相应的算法来获得一幅清晰的高分辨率图像，实现超分辨率重建。

由真实场景得到分辨率较低的观测图像的模型如图3所示。真实场景经过离散化奈奎斯特采样可以得到理想高分辨率图像，但为得到可以进行处理的低分辨率观测图像还必须经过扭曲(包括平移、旋转和仿射变换)、模糊(包括光学镜头模糊、运动模糊和光感模糊PSF)、降采样的过程，同时不可避免地加入噪声。本发明中采用的凸集投影算法(POCS)，通过理想高分辨率图像和低分辨率图像之间的数学关系，由低分辨率图像还原得到理想高分辨率图像。通过凸集投影算法对复眼系统中得到的子眼图像进行处理，改善子眼图像分辨率低的情况。凸集投影算法是一种集合理论的图像重建方法，所重建的图像的可行域是一组凸约束集合的交集，而这些凸约束集合由重建图像的各种先验知识组成，通过迭代运算，相应的凸约束集合的投影算子将解空间中的点投影到距离凸集表面最近的点上，经过有限次迭代，最终可以找到1个收敛于凸约柬集合的交集的解。在Matlab环境下仿真实验，实现超分辨率重建的过程如下：

步骤3-1，读入复眼系统观察某一物体得到的多幅子眼图像经过步骤1不均匀背景光照恢复和步骤2去噪后的图像(称为子眼单元图像)，形成子眼图像序列；

步骤3-2，选取第1帧子眼单元图像，进行双线性插值，产生参考帧；

步骤3-3，读入下一帧子眼单元图像，以步骤3-2得到的参考帧为依据做进行亚像素运动估计，得到下一帧子眼单元图像与步骤3-2得到的参考帧之间的相对运动关系；

步骤3-4，重复步骤3-3，得到每一帧子眼单元图像与步骤3-2得到的参考帧之间的相对运动关系；

步骤3-5，根据步骤3-4得到的相对运动关系，对所有帧子眼单元图像进行POCS迭代运算，实现图像超分辨率重建，得到重建后的子眼单元图像。

此外，本发明还采用了客观评价法，对经过预处理得到的图像的像质等进行综合评价。

在评价预处理后图像质量时，本发明采用客观评价方法，在计算机上建立相关数学模型进行计算，得到图像质量参数。针对不同的图像预处理，采用不同的客观评价参数给予评价。客观评价法相关的参数主要包括两部分，即面向背景光照不均匀恢复、去噪处理的评价参数和面向超分辨率重构算法的评价参数。前者的评价参数中，经典的参数有均方误差、信噪比、峰值信噪比，均方误差越小越好，信噪比和峰值信噪比越大越好，按照此原则对图像进行评价。后者主要考虑信息量的增加，用重建图像的信息熵值增量代表重建后图像信息量的增量，信息熵值增量越大信息量越丰富；用标准差来衡量影像灰度分布，标准差越大分布律越高；用平均梯度来衡量微小细节反差和纹理变换特征，该值越大，图像层次越多，越显得清晰。分别对图像采用以上参数的评价，即可建立全面客观的评价系统。

尽管上面结合附图对本发明的优选实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，并不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出很多形式，这些均属于本发明的保护范围之内。

Claims (4)

1.一种复眼图像像质提升方法，其特征在于，包括以下步骤：

步骤1，采用同态滤波法对复眼视觉系统获得的多幅子眼图像进行背景光照不均匀去除；

步骤2，采用小波去噪的方法对步骤1去除背景光照不均匀后的子眼图像进行降噪，得到子眼单元图像；

步骤3，采用凸集投影法对步骤2得到的多幅子眼单元图像进行超分辨率重建。

2.根据权利要求1所述的一种复眼图像像质提升方法，其特征在于，步骤1中，所述的采用同态滤波法具体为：将原子眼图像的函数依次经过取对数、傅里叶变化、采用滤波函数进行滤波、逆变化到空域后取指数的处理得到去除背景光照不均匀后的子眼图像的函数，实现不均匀背景光照恢复。

3.根据权利要求1所述的一种复眼图像像质提升方法，其特征在于，步骤2中，所述的小波去噪的方法具体为：对去除背景光照不均匀后的子眼图像信号进行小波分解；再对经过层次分解后的高频系数进行阈值量化；最后，利用二维小波重构图像信号，得到降噪后的子眼单元图像。

4.根据权利要求1所述的一种复眼图像像质提升方法，其特征在于，步骤3中，所述的采用凸集投影法对步骤2得到的多幅子眼单元图像进行超分辨率重建在Matlab中实现，具体包括：

步骤3-1，读入多幅子眼单元图像，形成子眼图像序列；

步骤3-2，选取第1帧子眼单元图像，进行双线性插值，产生参考帧；

步骤3-3，读入下一帧子眼单元图像，以步骤3-2得到的参考帧为依据做进行亚像素运动估计，得到下一帧子眼单元图像与步骤3-2得到的参考帧之间的相对运动关系；

步骤3-4，重复步骤3-3，得到每一帧子眼单元图像与步骤3-2得到的参考帧之间的相对运动关系；

步骤3-5，根据步骤3-4得到的相对运动关系，对所有帧子眼单元图像进行凸集投影迭代运算，实现图像超分辨率重建，得到重建后的子眼单元图像。

Images