CN108364273A - 一种空间域下的多聚焦图像融合的方法 - Google Patents

一种空间域下的多聚焦图像融合的方法 Download PDF

Info

Publication number
CN108364273A
CN108364273A CN201810088543.1A CN201810088543A CN108364273A CN 108364273 A CN108364273 A CN 108364273A CN 201810088543 A CN201810088543 A CN 201810088543A CN 108364273 A CN108364273 A CN 108364273A
Authority
CN
China
Prior art keywords
image
scale
mask
gray
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810088543.1A
Other languages
English (en)
Other versions
CN108364273B (zh
Inventor
梁毅雄
毛渊
严勐
唐志鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201810088543.1A priority Critical patent/CN108364273B/zh
Publication of CN108364273A publication Critical patent/CN108364273A/zh
Application granted granted Critical
Publication of CN108364273B publication Critical patent/CN108364273B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种空间域下的多聚焦图像融合的方法，该方法首先为每张图像利用一组不同尺度的高斯核建立一个尺度空间结构，并对该结构中每一组每一层的图像依次利用相同的Laplacian算子及Gaussian算子进行锐化平滑以得到增强后的尺度空间，再将该空间结构中各个尺度下对应的每个位置上的最大响应值输出结果作为该图像的显著性图像。然后比较所有图像对应的显著性图像,按照最大响应的方式生成每张图像对应的初始掩模，同时为了获取图像的空间信息以使得融合后的图像具有空间一致性，利用导向滤波的方式对每张掩模进行滤波处理，由此得到最终的掩模。最后，将原始的多聚焦图像与对应的掩模相结合得到融合后的图像。

Description

一种空间域下的多聚焦图像融合的方法
技术领域
本发明属于图像处理技术领域，涉及一种空间域下的多聚焦图像融合的方法。
背景技术
因为相机镜头的景深有限，通常情况下当聚焦在某一个位置时，只有该焦点前后一定距离范围内的物体是清晰的，而其他范围内的物体将会出现模糊，由此而形成局部清晰但全局模糊的图像。为了得到一张全局清晰的图像以便后续进行相关的图像处理操作，常用的方式是通过拍摄多张聚焦于不同区域的局部清晰图像，即多聚焦图像，然后采用图像融合的方法将这些局部清晰的图像融合成一张全局清晰的图像。现有的图像融合方法有像素级融合，特征级融合以及决策级融合，像素级融合主要包括两种基本的融合方式。
第一种方式是变换域融合方法，该方法的原则是首先利用一些变换方法如金字塔变换，离散小波变换等对图像进行分解，然后采用一些融合规则对分解后的图像计算相关的融合系数，最后再反向重构出融合后的图像。这种方式是一种传统的图像融合方式，基于多分辨率的方式使得融合后的图像能保持较多的细节，但因为处理时需要进行多次分解，所以计算量较大。第二种方式是空间域融合方法，通常是在图像原有信息域中生成其对应的显著性图像，然后利用一些融合规则，如对应像素值取最大，最小或平均等产生各自的掩模图像，最后将掩模与原始图像相结合以实现图像的融合操作，这种方式操作方便直接，但要产生较好的融合效果图则对掩模的准确性有较高的要求。
基于上述的方式，现有的一些图像融合方法能实现将多聚焦图像融合成一张图像，但融合后的图像效果则并不能确保其总能满足视觉要求，即应用于不同的场景，一些融合算法的结果图并不能完全保证全局清晰，会出现一定程度上的模糊，以及图像中目标信息的完整性丢失，使得一个本该作为整体存在的目标被不相邻像素分隔。这些问题的存在将会直接影响对融合后的图像进行后续操作的可实施性，如图像分割、图像识别、目标检测等。
发明内容
本发明所要解决的技术问题是，针对现有技术的不足，提供一种空间域下的多聚焦图像融合的方法，首先基于增强的尺度空间产生图像对应的显著性图像，以此将目标的完整性问题转换为尺度缩放后的最大响应值问题，然后根据显著性图像产生其掩模并对掩模进行导向滤波以获取其空间信息，使融合后的图像具有空间一致性，最后将掩模与原始图像相结合以得到融合后的图像。由此可以得到一张全局清晰且保持了图像中目标信息完整性的图像。
一种空间域下的多聚焦图像融合的方法，包括以下步骤：
步骤1：获取N张同场景的多聚焦图像{Ii(x,y)}，并获取每张多聚焦图像对应的灰度图Pi(x,y)，其中，i＝{1,2,…,N}；
对每张图像Ii(x,y)判断其是否为单通道灰度图，若是，则灰度图Pi(x,y)＝Ii(x,y)，否则将其转换后得到对应的灰度图Pi(x,y)；
图像有一个属性为通道数，通常，三通道的为彩色图，单通道的为灰度图，通过判断通道数的值是否为1来判断其是否为单通道的灰度图。
步骤2：在各尺度下对每张灰度图Pi(x,y)构建对应的尺度空间Si，每个尺度空间包含T个图像组Wj，每个图像组包含s层图像；
每个图像组的s层图像由前一个图像组的最后一层图像经下采样后使用高斯函数依次进行s次滤波获得，所述s次滤波使用的高斯核的在各尺度下的取值依次为k0σ0,k1σ0,k2σ0,…k(s-1)σ0，T和s均为设定的整数值；
步骤3：以每张灰度图对应的尺度空间在各尺度下相同位置上的最大响应值，作为尺度空间对应灰度图的显著图Di(x,y)；
步骤4：比较N张显著图{Di(x,y)}，将所有显著图相同位置(x,y)上最大响应所在的图像中位置(x,y)上的像素值置1，其他图像该位置(x,y)的像素值置0，形成初始掩模{Mi(x,y)}；
步骤5：对所有的初始掩模进行导向滤波，得到最终掩模{Ai(x,y)}；
步骤6：依次将每张多聚焦图像与对应的最终掩模进行按位乘，将得到的结果进行累加，得到融合图像。
进一步地，对Si中每一组的每一层滤波图像，依次利用相同的Laplacian和Gaussian算子进行锐化平滑，得到增强后的尺度空间Hi；
每一层的图像为E(x,y,σ,kernel)：
E(x,y,σ,kernel)＝G(x,y,σ0)*abs(L(x,y,σ,kernel)*B(x,y,σ))
其中，L(x,y,σ,kernel)表示Laplacian算子，kernel表示所采用的卷积模板，G(x,y,σ0)表示高斯滤波，abs为取绝对值操作。
进一步地，所述每张灰度图的显著图获取过程如下：
首先，获得每组图像集Wj中所有s层滤波图像上各个位置的最大响应值输出图像
然后，将这T张图像进行尺度缩放至原始输入图像Ii的尺寸，对再次进行最大响应值输出操作后得到最终的显著性图像Di(x,y)：
进一步地，以单通道灰度图Pi(x,y)作为引导图，对Mi(x,y)进行导向滤波。
进一步地，所述T的取值范围为[2,3]，s的取值范围为[3,5]。
与图像中的目标尺寸相关，若图像中的聚焦目标尺寸越大，T值越大；
进一步地，在进行锐化平滑处理时，使用的卷积模板大小为3x3的四邻域或八邻域的Laplacian算子。
有益效果
本发明提出了一种空间域下的多聚焦图像融合的方法，旨在产生一张全局清晰且目标信息完整的图像。该方法首先为每张图像利用一组不同尺度的高斯核建立一个尺度空间结构，并对该结构中每一组每一层的图像依次利用相同的Laplacian算子及Gaussian算子进行锐化平滑以得到增强后的尺度空间，再将该空间结构中各个尺度下对应的每个位置上的最大响应值输出结果作为该图像的显著性图像。然后比较所有图像对应的显著性图像,按照最大响应的方式生成每张图像对应的初始掩模，同时为了获取图像的空间信息以使得融合后的图像具有空间一致性，利用导向滤波的方式对每张掩模进行滤波处理，由此得到最终的掩模。最后，将原始的多聚焦图像与对应的掩模相结合得到融合后的图像。
附图说明
图1是本发明的流程图。
图2是原始的10张多聚焦图像{Ii(x,y)}；
图3是图2对应的灰度图；
图4是尺度空间结构图；
图5是增强后的尺度空间结构图；
图6为显著性图像生成原理图；
图7是对应于每张灰度图像的显著性图像{Di(x,y)}；
图8是对应的10张初始掩模{Mi(x,y)}；
图9是10张导向滤波后的掩模{Ai(x,y)}；
图10是最终融合后的图像。
具体实施方式
下面将结合附图和实施例对本发明做进一步的说明。
如图1所示，本发明所述的一种空间域下的多聚焦图像融合的方法主要包括以下步骤：输入N张多聚焦图像{Ii(x,y)}，(如图2a-图2j所示)，对每张图像Ii(x,y)，得到其对应的灰度图Pi(x,y)，(如图3a-图3j所示)以便后续的处理。然后为每张图像Pi(x,y)利用一组不同尺度的高斯核建立尺度空间Si。接着为该空间结构中所有滤波后的图像利用相同的Laplacian和Gaussian算子依次进行锐化和平滑操作，以得到其增强后的尺度空间Hi。将Hi空间中各个尺度下对应的每个位置上的最大响应值的输出结果作为其显著性图像。根据所有的显著性图像，按最大响应的方式结合导向滤波生成每张图像的掩模，最后将掩模与其对应的输入图像相结合得到最终的融合图像；具体步骤如下：
步骤1：获取N张同场景的多聚焦图像{Ii(x,y)}，并获取每张多聚焦图像对应的灰度图Pi(x,y)，其中，i＝{1,2,…,N}；
对每张图像Ii(x,y)判断其是否为单通道灰度图，若是，则灰度图Pi(x,y)＝Ii(x,y)，否则将其转换后得到对应的灰度图Pi(x,y)；
图像有一个属性为通道数，通常，三通道的为彩色图，单通道的为灰度图，通过判断通道数的值是否为1来判断其是否为单通道的灰度图。
步骤2：为每张灰度图Pi(x,y)建立尺度空间结构Si
利用一组不同尺度的高斯核σ＝{k0σ0,k1σ0,k2σ0,…k(s-1)σ0}为其建立一个包含T组每组含s层滤波图像的尺度空间结构Si。这里σ0为给定的尺度大小，其结构如图4所示。
步骤3：建立增强后的尺度空间Hi
在得到Si后，对每组中的每一层滤波后的图层B利用相同的Laplacian算子进行锐化得到图层H，通过Gaussian算子进行平滑操作得到图层E，以此将原始的尺度空间转变为增强后的尺度空间Hi，如图5所示结构。
步骤4：生成每张图像对应的显著性图像Di(x,y)
根据增强后的尺度空间Hi，对空间中的所有图像，按照对应的每个位置上最大响应值输出的方式得到其显著性图像Di(x,y)，其原理如图6所示。首先获得每一组中的最大响应值输出结果
然后将这T张图像缩放至原始图像的尺寸后再进行一次每个位置上的取最大值操作：
由此得到显著性图像Di(x,y)，如图7a-图7j所示。
步骤5：生成初始掩模图像Mi(x,y)
结合所得到的N张显著性图像{Di(x,y)}，按每个位置上最大响应的方式，将显著性图像每个位置(x,y)上最大响应所在的图像的该位置像素值置1，其他图像该位置像素值置0，另外对Mi(x,y)的值进行修正以使所有的N张掩模图像{Mi(x,y)}对应位置像素值之和为1。由此形成一个二值图像初始掩模{Mi(x,y)}，如图8a-图8j所示。
步骤6：对初始掩模图像进行导向滤波后得到最终的掩模Ai(x,y)
为获取相关的空间信息，利用导向滤波对每张Mi(x,y)二值掩模图像进行滤波操作，得到最终的掩模{Ai(x,y)}，如图9a-9j所示。
步骤7：生成融合后的图像F
将掩模{Ai(x,y)}与最初的输入图像{Ii(x,y)}相结合，
Fi(x,y)＝Ai(x,y)⊙Ii(x,y)，
得到最终的融合图像F，如图10所示.
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种空间域下的多聚焦图像融合的方法，其特征在于，包括以下步骤：
步骤1：获取N张同场景的多聚焦图像{Ii(x,y)}，并获取每张多聚焦图像对应的灰度图Pi(x,y)，其中，i＝{1,2,…,N}；
步骤2：在各尺度下对每张灰度图Pi(x,y)构建对应的尺度空间Si，每个尺度空间包含T个图像组Wj，每个图像组包含s层图像；
每个图像组的s层图像由前一个图像组的最后一层图像经下采样后使用高斯函数依次进行s次滤波获得，所述s次滤波使用的高斯核的在各尺度下的取值依次为k0σ0,k1σ0,k2σ0,…k(s-1)σ0，T和s均为设定的整数值；
步骤3：以每张灰度图对应的尺度空间在各尺度下相同位置上的最大响应值，作为尺度空间对应灰度图的显著图Di(x,y)；
步骤4：比较N张显著图{Di(x,y)}，将所有显著图相同位置(x,y)上最大响应所在的图像中位置(x,y)上的像素值置1，其他图像该位置(x,y)的像素值置0，形成初始掩模{Mi(x,y)}；
步骤5：对所有的初始掩模进行导向滤波，得到最终掩模{Ai(x,y)}；
步骤6：依次将每张多聚焦图像与对应的最终掩模进行按位乘，将得到的结果进行累加，得到融合图像。
2.根据权利要求1所述的方法，其特征在于，对Si中每一组的每一层滤波图像，依次利用相同的Laplacian和Gaussian算子进行锐化平滑，得到增强后的尺度空间Hi；
3.根据权利要求1所述的方法，其特征在于，所述每张灰度图的显著图获取过程如下：
首先，获得每组图像集Wj中所有s层滤波图像上各个位置的最大响应值输出图像
然后，将这T张图像进行尺度缩放至原始输入图像Ii的尺寸，对再次进行最大响应值输出操作后得到最终的显著性图像Di(x,y)：
4.根据权利要求1所述的方法，其特征在于，以单通道灰度图Pi(x,y)作为引导图，对Mi(x,y)进行导向滤波。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述T的取值范围为[2,3]，s的取值范围为[3,5]。
6.根据权利要求2所述的方法，其特征在于，在进行锐化平滑处理时，使用的卷积模板大小为3x3的四邻域或八邻域的Laplacian算子。
CN201810088543.1A 2018-01-30 2018-01-30 一种空间域下的多聚焦图像融合的方法 Expired - Fee Related CN108364273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810088543.1A CN108364273B (zh) 2018-01-30 2018-01-30 一种空间域下的多聚焦图像融合的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810088543.1A CN108364273B (zh) 2018-01-30 2018-01-30 一种空间域下的多聚焦图像融合的方法

Publications (2)

Publication Number Publication Date
CN108364273A true CN108364273A (zh) 2018-08-03
CN108364273B CN108364273B (zh) 2022-02-25

Family

ID=63007630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810088543.1A Expired - Fee Related CN108364273B (zh) 2018-01-30 2018-01-30 一种空间域下的多聚焦图像融合的方法

Country Status (1)

Country Link
CN (1) CN108364273B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754385A (zh) * 2019-01-11 2019-05-14 中南大学 未配准多聚焦图像的快速融合方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088597A (zh) * 2009-12-04 2011-06-08 成都信息工程学院 动静结合估计视频视觉显著度的方法
CN103279957A (zh) * 2013-05-31 2013-09-04 北京师范大学 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法
CN104392463A (zh) * 2014-12-16 2015-03-04 西安电子科技大学 一种基于联合稀疏多尺度融合的图像显著区域检测方法
CN106228528A (zh) * 2016-07-29 2016-12-14 华北电力大学 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN106339998A (zh) * 2016-08-18 2017-01-18 南京理工大学 基于对比度金字塔变换的多聚焦图像融合方法
CN106530271A (zh) * 2016-09-30 2017-03-22 河海大学 一种红外图像显著性检测方法
CN107016680A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 一种基于显著性检测的害虫图像背景去除方法
CN107248150A (zh) * 2017-07-31 2017-10-13 杭州电子科技大学 一种基于导向滤波显著区域提取的多尺度图像融合方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088597A (zh) * 2009-12-04 2011-06-08 成都信息工程学院 动静结合估计视频视觉显著度的方法
CN103279957A (zh) * 2013-05-31 2013-09-04 北京师范大学 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法
CN104392463A (zh) * 2014-12-16 2015-03-04 西安电子科技大学 一种基于联合稀疏多尺度融合的图像显著区域检测方法
CN106228528A (zh) * 2016-07-29 2016-12-14 华北电力大学 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN106339998A (zh) * 2016-08-18 2017-01-18 南京理工大学 基于对比度金字塔变换的多聚焦图像融合方法
CN106530271A (zh) * 2016-09-30 2017-03-22 河海大学 一种红外图像显著性检测方法
CN107016680A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 一种基于显著性检测的害虫图像背景去除方法
CN107248150A (zh) * 2017-07-31 2017-10-13 杭州电子科技大学 一种基于导向滤波显著区域提取的多尺度图像融合方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JINLEI MA 等: "Infrared and visible image fusion based on visual saliency map and weighted least square optimization", 《ELSEVIER:INFRARED PHYSICS & TECHNOLOGY》 *
SHUTAO LI 等: "Image fusion with guided filtering", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
YU ZHANG: "Multi-Focus Image Fusion via Boundary Finding and Multi-Scale Morphological Focus-Measure", 《2014 INTERNATIONAL CONFERENCE ON DIGITAL IMAGE COMPUTING: TECHNIQUES AND APPLICATIONS (DICTA)》 *
冯鑫: "多尺度分析与压缩感知理论在图像处理中的应用研究", 《中国优秀博士学位论文全文数据库 信息科技辑》 *
张志成: "基于SIFT算法的无人机影像优化拼接研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
彭延军 等: "基于拉普拉斯金字塔改进的图像融合方法", 《软件导刊》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754385A (zh) * 2019-01-11 2019-05-14 中南大学 未配准多聚焦图像的快速融合方法

Also Published As

Publication number Publication date
CN108364273B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
Liu et al. Image fusion with convolutional sparse representation
Lim et al. DSLR: Deep stacked Laplacian restorer for low-light image enhancement
Anwar et al. Image colorization: A survey and dataset
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
Jian et al. Multi-scale image fusion through rolling guidance filter
Coltuc et al. Exact histogram specification
Li et al. Single image snow removal via composition generative adversarial networks
Vasluianu et al. NTIRE 2023 image shadow removal challenge report
CN112184604B (zh) 一种基于图像融合的彩色图像增强方法
CN107945221A (zh) 一种基于rgb‑d图像的三维场景特征表达与高精度匹配方法
Ye et al. Depth super-resolution with deep edge-inference network and edge-guided depth filling
Yuan et al. Multiview scene image inpainting based on conditional generative adversarial networks
CN112802048B (zh) 具有不对称结构的图层生成对抗网络生成方法及装置
Yuan et al. Recurrent structure attention guidance for depth super-resolution
CN113569896A (zh) 基于图像和深度数据进行对象3d定位的计算机实现方法
CN109754385A (zh) 未配准多聚焦图像的快速融合方法
CN108364273A (zh) 一种空间域下的多聚焦图像融合的方法
Liu et al. A fast multi-focus image fusion algorithm by DWT and focused region decision map
CN107392986A (zh) 一种基于高斯金字塔和各向异性滤波的图像景深渲染方法
Gupta et al. A robust and efficient image de-fencing approach using conditional generative adversarial networks
CN112950653B (zh) 一种注意力图像分割方法、装置及介质
Wang et al. Single image super-resolution via adaptive dictionary pair learning for wireless capsule endoscopy image
CN115063303A (zh) 一种基于图像修复的图像3d化方法
Evain et al. A lightweight neural network for monocular view generation with occlusion handling
Cao et al. Automatic motion-guided video stylization and personalization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220225

CF01 Termination of patent right due to non-payment of annual fee