CN110349110A - 一种基于累帧过融合的模糊图像增强方法及应用 - Google Patents

Abstract

本发明公开了一种基于累帧过融合的模糊图像增强方法：首先将采集到的视频分帧，得到图像集；对图像集进行颜色反转，以辅助后续累帧过融合的操作；选取第一帧图像；匹配当前图像与下一帧未处理图像的特征点；对当前图像进行仿射变换；与下一帧未处理图像进行帧过融合；对形成的新图像进行综合评价，记录更优的图像信息；将新图像作为当前图像并重复图像匹配至综合评价图像的步骤；遍历结束同时给出的综合条件最优的图像，即为最终的增强图像。本发明方法能有效地去除一些常见因素造成的图像模糊，如光学散射或拍摄装置与目标物体间的相对运动造成的图像模糊，恢复图像细节，且增强后的图像色彩效果自然。

Description

一种基于累帧过融合的模糊图像增强方法及应用

技术领域

本发明属于图像处理领域，具体地涉及一种基于累帧过融合的模糊图像增强方法。

背景技术

随着科学技术的飞速发展，图像在社会管理，医疗卫生等领域扮演了越来越重要的角色，人们在认识事物，解决实际问题时亦离不开图像信息的使用。在大雾天气下，由于光学散射会造成可见度下降，拍摄得到的图像模糊不清，图像的色彩也会出现失真与退化，这极大的影响了图像的使用价值，使得现有的视频监控、目标跟踪、智能导航等户外视觉系统都对天气状况较为敏感，影响了社会的生产与人们的生活。此外，在生物医学图像处理中，通过普通人可以负担起的设备帮助检测人体组织中存在的异质体，以达到提前发现病情的目的，成为了一个日益明显的趋势。由于生物组织强散射的特性，普通设备检测出的图像会较为模糊。同时，由于操作者的非专业性，拍摄过程中可能出现的设备抖动问题也会造成图像模糊。因此，随着社会科技的发展，提高普通设备在散射或抖动场景下拍摄图片的清晰度，具有越来越广阔的前景和越来越重要的意义。

常用的图像增强方法有对比度增强、直方图均衡、各种各样时频域的平滑及锐化处理等。对比度增强和直方图均衡可以改善图像的明暗对比度，平滑处理可以去除噪声，锐化可以提高边缘及细节信息的清晰度。但它们仍然存在很多不足之处，直方图均衡不能有效去除噪声，并且均衡化后，在图像欠曝光区域原来不可见的噪声会显现出来。平滑处理会导致图像模糊，锐化处理对噪声较为敏感。

发明内容

本发明要解决的技术问题在于：针对常见的造成图像模糊的因素，如光学散射或拍摄装置与目标物体间的抖动，提出一种基于累帧过融合的模糊图像增强方法，以自然地提高模糊图像的清晰度。

本发明的技术思路为，首先将采集到的视频分帧，得到图像集；对图像集进行颜色反转，以辅助后续累帧过融合的操作；选择对应的两幅图像，提取并描述其特征点后根据匹配点对图像进行仿射变换并与未变换的图像进行累帧过融合；对新图像进行综合评价，记录更优的图像信息；遍历结束同时给出的综合条件最优的图像，即最终的增强图像。

本发明采取的技术方案是：一种基于累帧过融合的模糊图像增强方法，包括如下步骤：

1）将采集到的视频分帧，得到图像集；

2）对图像集进行颜色反转；

3）选择对应的两幅图像，提取并描述其特征点，匹配相邻两帧图像的特征点并删除误匹配；

4）根据匹配到的特征点对图像进行仿射变换，并与未变换的图像进行累帧过融合，将融合完成的图像覆盖原图；

5）对新图像进行综合评判，记录有更好结果的图像的信息，保留有次好结果的图像的信息；

6）重复步骤3至步骤5直至图像集中最后一帧完成融合；

7）遍历结束同时得到评判结果最好的图像，即增强后的图像。

进一步的，作为本发明方案的优选，上述步骤3）中选择的对应两幅图像分别为：最近一次融合完成的图像与下一帧待融合的图像，其中在初始阶段没有融合完成的图像，此时选择第一帧与第二帧图像。

进一步的，作为本发明方案的优选，上述步骤3）中，通过加速稳健特征算法提取并描述特征点，通过K近邻算法匹配特征点，最后比较距离去除误匹配。此处默认K的值为2，且距离比较公式为：

其中代表当前待匹配点与其最近邻间的欧式距离，代表当前待匹配点与其次近邻间的欧式距离，x为可调参数且取值范围应在0到1之间。

进一步的，作为本发明方案的优选，上述步骤4）中仿射变换公式为：

其中，(x,y)与(x₀,y₀）代表两幅图像匹配的坐标对，H是用于变换图像的单应性矩阵。

进一步的，作为本发明方案的优选，上述步骤4）中累帧过融合是一种迭代过融合的方法，其中过融合体现如下：

式中Img1表示之前累帧过融合的图像，Img2表示待融合的下一帧图像，Img2’表示融合后的新图像，m与n为图像融合的权重，m与n之和应大于1。

进一步的，作为本发明方案的优选，上述步骤5）中图像综合评判函数如下：

函数EF中，SC主要用于比较图像之间的相似度，包含对比度与结构两个维度，公式如下：

代表两图间的协方差，分别代表图像各自的方差，Φ是避免分母为0的一个常数。

IEG主要用于衡量图像自身的清晰程度，公式如下：

代表图像像素点的灰度值。

图像综合评判函数EF中的μ，υ，γ均为常数，以均衡SC与IEG间的比例关系。

进一步的，作为本发明方案的优选，上述步骤7）中增强的图像一般为EF值最大的图像，如果该图像的SC值小于设定阈值，则选择最终记录的有次好结果的图像作为最终增强的结果。

本发明进一步公开了基于累帧过融合的模糊图像增强方法在用于自然地提高模糊图像清晰度方面的应用，所述的自然地提高模糊图像清晰度主要指的提高图像清晰度与对比度的同时不会引入过多噪点，图像质量能够被自然且平滑的提升，更符合人眼的主观感受。

本发明主要解决了图像模糊的问题，重点考察了光学散射或拍摄装置与目标物体间的相对运动两种情景下造成的图像模糊，主要的难点在于不引入过多噪点，自然地恢复图像细节，提升图像的信噪比。

本发明公开的基于累帧过融合的模糊图像增强方法与现有技术相比，具有以下有益效果：

（1）本发明算法利用视频分帧得到的图像的冗余信息与图像间的联系，在提升图像的清晰度的同时改善了图像的视觉效果，提高了图像的信噪比。

（2）发明通过对图像颜色反转的操作，结合帧过融合操作，使得大雾或强散射等场景下的图片被更合理地处理。

（3）本发明可依据优化的图像判定公式自动的筛选出图像集中综合条件最优的清晰图像。

附图说明

图1为本发明基于累帧过融合的模糊图像增强方法流程图；

图2为本发明实施例1真实大雾天气场景下采集的原图1；

图3为图2所示原图1经对比度增强方法处理后的效果图；

图4为图2所示原图1经本发明的模糊图像增强方法处理后的效果图；

图5为本发明实施例2模拟乳腺生物组织异质体场景下采集的原图2；

图6为图5所示原图2经对比度增强方法处理后的效果图；

图7为图5所示原图2经本发明模糊图像增强方法处理后的效果图。

具体实施方式：

下面通过具体的实施方案叙述本发明。除非特别说明，本发明中所用的技术手段均为本领域技术人员所公知的方法。另外，实施方案应理解为说明性的，而非限制本发明的范围，本发明的实质和范围仅由权利要求书所限定。对于本领域技术人员而言，在不背离本发明实质和范围的前提下，对这些实施方案中的物料成分和用量进行的各种改变或改动也属于本发明的保护范围。下面通过两个具体用例，结合附图对本发明做进一步详细说明。

光学散射或拍摄装置与目标物体间的相对运动会造成图像的模糊，本发明针对这两种造成图像模糊的原因，借助视频分帧得到的图像的冗余信息与图像间的联系，在提升模糊图像的清晰度的同时改善了模糊图像的视觉效果。

一种基于累帧过融合的模糊图像增强方法，首先将采集到的视频分帧，得到图像集，之后对图像集进行颜色反转。反转后选择对应的两幅图像，提取并描述其特征点，匹配相邻两帧图像的特征点并删除误匹配，再根据匹配到的特征点对图像进行仿射变换，然后与未变换的图像进行累帧过融合，将融合完成的图像覆盖原图。对新图像进行综合评判，记录有更好结果的图像的信息，保留有次好结果的图像的信息。重复反转后的操作直至图像集中最后一帧完成融合，在遍历结束同时得到评判结果最好的图像，即增强后的图像。具体步骤如下：

第一步：将采集到的视频分帧，得到图像集；

可根据视频时长和由于运动造成模糊的程度来确定分帧的间隔，本发明目前实验均为连续分帧，即无间隔分帧。

第二步：对图像集进行颜色反转；

通过下式将图像颜色反转：

其中， 为原图，为反转后的图像。

第三步：选择对应的两幅图像，提取并描述其特征点，匹配相邻两帧图像的特征点并删除误匹配；

其中，选择的对应两幅图像分别为：最近一次融合完成的图像与下一帧待融合的图像，其中在初始阶段没有融合完成的图像，此时选择第一帧与第二帧图像。

提取并描述特征点的算法是通过加速稳健特征算法，包括以下步骤：

1）构造海森矩阵

加速稳健特征算法采用的是海森矩阵行列式近似值图像，图像中某个像素点的海森矩阵表示如下：

其中 的函数值为对图像像素值进行盒子滤波后的结果，海森矩阵的结果为盒子滤波后图像在各个方向的二阶导数。

2）构建尺度空间

保持图像尺寸不变，改变盒子滤波器的模板尺寸与滤波器的模糊系数，构建尺度空间。

3）定位特征点

海森矩阵的判别式为：

其中，0.9是加权系数，目的是为了平衡因使用盒子滤波近似高斯滤波所带来的误差。

当海森矩阵的判别式取得局部极大值时，判定当前点是比周围邻域内其他点更亮或更暗的点，由此来定位关键点的位置。将经过处理的每个像素点与二维图像空间和尺度空间邻域内的点进行比较，如果它是最大值或者最小值，则保留下来作为初步的特征点，然后采用三维线性插值法得到亚像素级的特征点，同时滤除值小于一定阈值的点，筛选出最终的稳定的特征点。

4）确定特征点主方向

在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直哈尔小波特征总和，然后扇形以一定间隔进行旋转并再次统计该区域内哈尔小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向。

5）构造特征描述子

在特征点周围取一个正方形框，框的边长为20s(s是所检测到该特征点所在的尺度)。将该框分成16个子区域，每个子区域统计25个像素的水平方向和垂直方向的哈尔小波特征。

完成图像特征点的提取与描述后，通过K近邻算法匹配特征点，最后比较距离去除误匹配，此处默认K的值为2，且距离比较公式为：

其中代表当前待匹配点与其最近邻间的欧式距离，代表当前待匹配点与其次近邻间的欧式距离，x为可调参数且取值范围应在0到1之间。

第四步：根据匹配到的特征点对图像进行仿射变换，与未变换的图像进行累帧过融合，将融合完成的图像覆盖原图；

仿射变换公式为：

其中，(x,y)与(x₀,y₀）代表两幅图像匹配的坐标对，H是用于变换图像的单应性矩阵。

累帧过融合是一种迭代过融合的方法，其中过融合体现如下：

式中Img1表示之前累帧过融合的图像，Img2表示待融合的下一帧图像，Img2’表示融合后的新图像，m与n为图像融合的权重，m与n之和应大于1。

第五步：对新图像进行综合评判，记录有更好结果的图像的信息，保留有次好结果的图像的信息；

图像综合评判函数如下：

函数EF中，SC主要用于比较图像之间的相似度，包含对比度与结构两个维度，公式如下：

代表两图间的协方差，分别代表图像各自的方差，Φ是避免分母为0的一个常数。

IEG主要用于衡量图像自身的清晰程度，公式如下：

代表图像像素点的灰度值。

图像综合评判函数EF中的μ，υ，γ均为常数，以均衡SC与IEG间的比例关系。

第六步：重复步骤3至步骤5直至图像集中最后一帧完成融合；

第七步：遍历结束同时得到评判结果最好的图像，即增强后的图像。

增强的图像一般为EF值最大的图像，如果该图像的SC值小于设定阈值，则选择最终记录的有次好结果的图像作为最终增强的结果。

实施例1

本发明中提出的方法实际上可用应于视频监控、目标跟踪、智能导航等对天气敏感的户外视觉系统，以增强系统对恶劣天气的适应度，也可在手机应用中实现，开发在散射与抖动等易造成模糊的场景下有更好稳定性的相机功能。值得指出的是，普通手机相机具有的动图功能可提供几秒钟的图片帧序列，本发明完全可根据此功能提供的动图，得到足够自然且清晰的图像。本实例在真实的大雾天气下，通过普通Vivo Z3手机拍摄了3秒钟的短视频，采集图像时不借助三脚架等固定装置，在此过程中会产生因为手机自然抖动造成的一定程度的图像模糊。以上述视频作为输入，经过本发明方法处理，最终得到更清晰且视觉效果自然的去雾图像。其中，选择真实大雾天气下所摄短视频的相应帧作为原图，如图2所示，经对比度增强处理和本发明方法处理后的图像分别如图3、图4所示。本实例经现有技术中的对比度增强方法与本发明方法处理前后的评价参数如表1所示；

表1 实施例1所示图像评价参数对比结果

实施例2

本发明中提出的方法还可应用于生物医疗领域，辅助生物组织异质体检测。生物组织体具有强散射、低吸收的光学特性，普通设备检测出的图像会较为模糊。然而通过医院的专业设备检测异质体，费用昂贵且对时间地点都有限制。本发明方法可以帮助人们通过负担的起的设备随时随地的完成自检，辅助患者更早的发现病情。本实例先模拟了一种乳腺生物组织异质体场景，采用自制的亚克力板容器，装入牛奶模拟生物积液，装入土豆、肉模拟生物组织中的异质体。通过普通Vivo Z3手机在模拟场景下拍摄3秒钟的短视频作为本发明方法的输入，采集图像时不借助三脚架等固定装置，在此过程中会产生因为手机自然抖动造成的一定程度的图像模糊，经过本发明算法处理，最终得到视觉效果自然的含有更清晰轮廓的异质体图像。其中，选择所摄模拟乳腺生物组织异质体短视频的相应帧作为原图，如图5所示，经对比度增强处理和本发明方法处理后的图像分别如图6、图7所示。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改与变更都是显而易见的。因此，本发明的保护范围应该以权利要求的保护范围为准。本实例经现有技术中的对比度增强方法与本发明方法处理前后的评价参数如表2所示；

表2 实施例2所示图像评价参数对比结果

图2-图7的效果，以及表1和表2的数据表明，对比度增强方法处理后的图像的能量梯度值与拉普拉斯梯度值较原图有所增加，图像质量较原图有一定改善，而本发明方法处理后的图像的能量梯度值与拉普拉斯梯度值较原图均有更大幅度的增加，且图像较原图恢复出了一些之前不可见的细节，图像质量改善，清晰度提高。

Claims (4)

1.一种基于累帧过融合的模糊图像增强方法，其特征是，它包括以下步骤：

将采集到的视频分帧，得到图像集；

对图像集进行颜色反转；

3）选择对应的两幅图像，提取并描述其特征点，匹配相邻两帧图像的特征点并删除误匹配；所述的选择的对应两幅图像分别为：最近一次融合完成的图像与下一帧待融合的图像，其中在初始阶段没有融合完成的图像，此时选择第一帧与第二帧图像；

4）根据匹配到的特征点对图像进行仿射变换，并与未变换的图像进行累帧过融合，将融合完成的图像覆盖原图；所述仿射变换公式为：

其中，(x,y)与(x₀,y₀）代表两幅图像匹配的坐标对，H是用于变换图像的单应性矩阵；

5）对新图像进行综合评判，记录有更好结果的图像的信息，保留有次好结果的图像的信息；所述图像综合评判函数如下：

其中μ，υ，γ均为常数，以均衡SC与IEG间的比例关系，SC主要用于比较图像之间的相似度，包含对比度与结构两个维度，公式如下：

代表两图间的协方差，分别代表图像各自的方差，Φ是避免分母为0的一个常数；

IEG主要用于衡量图像自身的清晰程度，公式如下：

代表图像像素点的灰度值；

6）重复步骤3至步骤5直至图像集中最后一帧完成融合；

7）遍历结束同时得到评判结果最好的图像，即增强后的图像；其中增强的图像一般为EF值最大的图像，如果该图像的SC值小于设定阈值，则选择最终记录的有次好结果的图像作为最终增强的结果。

2.权利要求1所述的基于累帧过融合的模糊图像增强方法，其特征在于，所述步骤3）中，通过加速稳健特征算法提取并描述特征点，通过K近邻算法匹配特征点，最后比较距离去除误匹配；

此处默认K的值为2，且距离比较公式为：

其中代表当前待匹配点与其最近邻间的欧式距离，代表当前待匹配点与其次近邻间的欧式距离，x为可调参数且取值范围应在0到1之间。

3.权利要求1所述的基于累帧过融合的模糊图像增强方法，其特征在于，所述步骤4）中累帧过融合是一种迭代过融合的方法，其中过融合体现如下：

式中Img1表示之前累帧过融合的图像，Img2表示待融合的下一帧图像，Img2’表示融合后的新图像，m与n为图像融合的权重，m与n之和应大于1。

4.权利要求1所述基于累帧过融合的模糊图像增强方法在用于自然地提高模糊图像清晰度方面的应用。