CN113592758A - 一种基于局部对比度预处理的图像融合方法 - Google Patents
一种基于局部对比度预处理的图像融合方法 Download PDFInfo
- Publication number
- CN113592758A CN113592758A CN202110881424.3A CN202110881424A CN113592758A CN 113592758 A CN113592758 A CN 113592758A CN 202110881424 A CN202110881424 A CN 202110881424A CN 113592758 A CN113592758 A CN 113592758A
- Authority
- CN
- China
- Prior art keywords
- image block
- image
- local contrast
- fusion
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007781 pre-processing Methods 0.000 title claims abstract description 24
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 239000013598 vector Substances 0.000 claims abstract description 22
- 238000005070 sampling Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 41
- 238000011156 evaluation Methods 0.000 abstract description 8
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000007796 conventional method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于局部对比度预处理的图像融合方法,包括:1、预处理阶段:对源图像进行基于局部对比度的预处理,得到相应的图像块组,以及与图像块相对应的向量形式的局部对比度;2、融合阶段:使用匹配追踪算法求解局部对比度的稀疏系数,并把稀疏系数的l1范数作为对应图像块的信息活跃度,按照最大值选择的融合规则对源图像块融合,得到融合图像块组;3、重建阶段:对融合图像块组使用反滑动窗口以及重叠像素平均加权方法得到融合图像。本发明能提升基于稀疏表示图像融合方法对于细节提取的能力,同时尽可能地保留空间相关性和低频信息不丢失,从而提升视觉效果和客观评价指标上的融合结果,并为预处理提供了一种新思路。
Description
技术领域
本发明属于图像融合技术领域,具体涉及一种从图像分块中提取区域的局部对比度作为稀疏表示预处理的方法,主要应用于基于稀疏表示图像融合算法。
背景技术
图像融合技术是把来自不同传感器对于同一场景下的图像数据作为算法输入,采取具体的算法将这些数据的特征信息和互补信息提取并有机地结合起来,从而得到一幅融合图像的信息融合技术。得益于冗余且可学习图像特征的字典,相较于多尺度变换,稀疏表示能够对信号具有更全面且有效的逼近,因此基于稀疏表示的融合方法是一类重要的图像融合技术。
基于稀疏表示的图像融合方法主要分为4个步骤:①预处理:采用滑动窗口技术对源图像从左上到右下进行加窗,将其分为许多图像块,并且把图像块展成向量;②稀疏编码:在已经训练好的字典上对向量形式的图像块进行稀疏表示,得到每一图像块对应的稀疏系数;③融合:根据相应融合规则把来自不同源图像同一位置的图像块对应稀疏系数结合成融合的稀疏系数;④重构:采用滑动窗口技术把融合图像块组合成融合图像,把图像块之间重叠像素的均值作为融合图像的像素。
基于稀疏表示图像融合中最主要预处理方法是零均值化方法,即把减去均值后图像块作为稀疏表示的输入,经过相关信号处理以后再把均值加回图像块中,该预处理方法最早在基于稀疏表示的图像去噪方法中提出。相较于直接把图像块作为信号输入,经过零均值化后的图像块能够反映像素在区域间变化情况,而区域像素变化情况往往与该区域的细节分布息息相关。然而该预处理方法存在诸多弊端。
其一,由于图像块的零均值化处理等价于对图像块进行高通滤波,只有高频成分被用于后续的信号处理,而图像块的低频信息丢失了,使得图像融合不能够全面地提取像素块信息,且对于噪声非常敏感;
其二,零均值化方法对于区域的细节信息的捕捉能力不如小波滤波高效,可能造成融合结果边缘模糊;
其三,二维图像块的向量化会造成像素与其领域相关信息的丢失,可能造成结果中细节的不连续。
发明内容
本发明的目的是克服现有的标准稀疏表示图像融合方法的预处理不足之处,提出一种基于局部对比度预处理的图像融合方法,以期能提升基于稀疏表示图像融合方法对于细节提取的能力,同时尽可能地保留空间相关性和低频信息不丢失,从而提升视觉效果和客观评价指标上的融合结果,并为预处理提供了一种新思路。
本发明的目的是通过以下技术方案实现的:
本发明一种基于局部对比度预处理的图像融合方法的特点是按如下步骤进行:
步骤1、预处理阶段:
步骤1.1、获取配准后的同一场景的两幅尺寸为M×N的源图像IA,IB∈RM×N,其中,RM ×N表示M行N列的矩阵,采用滑窗将两幅源图像IA和IB分别分割成一系列大小为的图像块;从而相应得到K个切分后的图像块,记为和其中,表示源图像IA切分后的第i个图像块,表示源图像IB切分后的第i个图像块,m表示字典原子的尺寸;
步骤2、融合阶段:
使用匹配追踪算法分别求解列向量和的稀疏系数和并将稀疏系数和的l1范数和作为对应第i个图像块和的信息活跃度,从而按照最大值选择的融合规则,利用式(1)对第i个图像块和进行融合,得到融合后的第i个图像块进而得到融合后的图像块组
步骤3、重建阶段:
本发明所述的基于局部对比度预处理的图像融合方法的特点也在于,所述步骤1.2中是按如下过程计算局部对比度:
步骤a、将图像块和中任一个图像块记为P,利用小波低通分解滤波器对图像块P中的每一行进行滤波,得到滤波后的图像块P′,再对滤波后的图像块P′中的每一行进行下采样操作,得到图像块P在x轴上的低频分量P″;
步骤b、利用小波低通分解滤波器对x轴上的低频分量P″中的每一列进行滤波,得到滤波后的图像块P″′,再对滤波后的图像块P″′中的每一列进行下采样操作,得到图像块P在x轴和y轴上的低频分量P*;
步骤e、利用式(2)得到图像块P中的像素点(x,y)的局部对比度LC(x,y):
式(2)中,PH(x,y)代表像素点(x,y)在高频分量PH中的像素值;PL(x,y)代表像素点(x,y)在低频分量PL中的像素值。
本发明方法是以基于稀疏表示图像融合方法为框架,将基于局部对比度的预处理方法替代传统的零均值化预处理方法,相对于传统预处理方法,本发明方法具有以下几个优势:
第一,相比于零均值化预处理对于低频信息的丢失,本发明图像块的局部对比度保留了低频信息,有效降低了噪声对于融合结果的影响;
第二,本发明局部对比度中的高频成分是相当于小波变换后的高频分量重构所得,对于图像块中边缘、轮廓等细节信息的刻画能力远强于只反映区域变化的零均值图像块,因此,基于局部对比度的预处理方法避免了传统方法在细节提取能力不足而导致的细节模糊问题;
第三,本发明由于需要经过二维滤波求解局部对比度,局部对比度的每一个系数都保留了其与领域像素的信息,而传统方法下的系数在把二维图像块展成向量的过程中丢失了与邻域像素的相关性,因此,本发明方法避免了因传统方法丢失领域相关性而导致的空间不连续问题。
附图说明
图1为本发明图像融合方法的流程图;
图2为本发明图像融合方法中的示意图;
图3为本发明利用小波滤波器得到局部背景亮度的示意图;
图4是本发明方法与传统方法对一组多聚焦图像进行融合的结果比较示意图;
图5是本发明方法与传统方法对一组红外-可见光图像进行融合的结果比较示意图;
图6是本发明方法与传统方法对一组多模态医学影像进行融合的结果比较示意图。
具体实施方式
本实施例中,一种基于局部对比度的预处理方法的稀疏表示图像融合方法,是应用在如图2所示的源图像是两幅时的情况,而当源图像多于两幅的情况,也可以以此类推,具体的说,参照图1,该方法包括以下步骤:
步骤1、预处理阶段:
步骤1.1、获取配准后的同一场景的两幅尺寸为M×N的源图像IA,IB∈RM×N,其中,RM ×N表示M行N列的矩阵,采用滑窗将两幅源图像IA和IB分别分割成一系列大小为的图像块;从而相应得到K个切分后的图像块,记为和其中,表示源图像IA切分后的第i个图像块,表示源图像IB切分后的第i个图像块,m表示字典原子的尺寸;
具体的说,是按如下过程计算局部对比度:
步骤a、对于源图像IA和IB切分后的图像块和中任一个图像块P,参照图3,首先利用多贝西小波低通分解滤波器对图像块P中的每一行进行滤波,对滤波后的图像块P′中的每一行进行降采样率为2的下采样操作,得到图像块P在x轴上的低频分量P″;
步骤b、利用多贝西小波低通分解滤波器对在x轴上的低频分量P″中的每一列进行降采样率为2的下采样操作,得到图像块P在x轴和y轴上的低频分量P*;
步骤c、对图像块P在x轴和y轴上的低频分量P*的每一列进行升采样率为2的上采样操作,使得图像块P在x轴和y轴上的低频分量P*每一列的尺寸与原图像块P一致,从而得到列尺寸匹配的图像块再利用多贝西小波低通重构滤波器对处理后的图像块中的每一列进行滤波,接着对处理后的图像块中的每一行进行升采样率为2的上采样操作,使得处理后的图像块每一行的尺寸与原图像块P一致,从而得到行尺寸匹配的图像块其中,上采样过程中默认使用0元素填补缺失的行列数值;
步骤e、利用式(2)得到图像块P的高频分量PH:
PH=P-PL (2)
步骤f、利用式(3)得道图像块P的局部对比度LC:
式(3)中,LC(x,y)代表图像块P中的像素点(x,y)的局部对比度值,PH(x,y)代表像素点(x,y)在高频分量PH中的像素值;PL(x,y)代表像素点(x,y)在低频分量PL中的像素值;
步骤2、融合阶段:
使用匹配追踪算法分别求解列向量和的稀疏系数和并将稀疏系数和的l1范数和作为对应第i个图像块和的信息活跃度,从而按照最大值选择的融合规则,利用式(1)对第i个图像块和进行融合,得到融合后的第i个图像块进而得到融合后的图像块组
步骤3、重建阶段:
为体现本发明所提供的方法的有效性,这里用传统的基于稀疏表示的图像融合方法与本发明方法进行比较。图像块的大小8×8,都取为使用相同的包含256个原子的字典,稀疏系数求解算法中允许误差均设为0.1,字典原子上限为10。为了验证发明的预处理方法的普适性与鲁棒性,基于稀疏表示图像融合算法在稀疏系数求解过程中采取不同的匹配追踪算法。为叙述方便,用SR-OMP、SR-SOMP分别表示求解稀疏系数算法为OMP算法(正交匹配跟踪算法)和SOMP算法(同时正交匹配跟踪算法)的基于稀疏表示图像融合传统算法,用SR-OMP-LC、SR-SOMP-LC分别表示求解稀疏系数为OMP算法和SOMP算法的本发明方法。
基于以上设置,图4、图5和图6给出了本发明方法与传统方法的融合三组源图像的结果显示。其中,图4中的源图像(a)和(b)分别是两幅聚焦区域不同的多聚焦图像,图5中的源图像(a)和(b)分别是红外图像和可见光图像,图6中的源图像(a)和(b)分别是MR-T1图像和MR-T2图像,图4中的(c)-(f)、图5中的(c)-(f)和图6中的(c)-(f)分别给出了两组源图像用上述各方法融合得到的结果。比较传统方法和本发明方法的结果,可以清楚看出传统方法得到融合图像中很多细节被模糊了,信息获取地不充分,如图4中的(c)和(e)的右上角区域中文字有些模糊了。与此同时,传统方法对于噪声非常敏感,如图5中的(c)和(e)出现了很多白色的噪声块,严重影响视觉效果。此外,传统方法降低了区域间的对比度,如对于图6中的(c)和(e)的脑脊液区域,相比于图6中的(d)和(f),不同的软组织难以区分,大大降低了融合质量。
为了进一步验证发明的有效性,除视觉效果对比外,选取图像融合领域最主要的四个客观评价指标来评价三种融合任务上的融合结果。其中,三种融合任务分别为:10对多聚焦图像,25对红外可见光图像和23对多模态医学影像;四种客观评价指标分别为:衡量互信息的QMI,衡量结构相似度的QY,衡量人类视觉评价的QCB和衡量梯度的QG,可参考文献Liu,Yu and Wang,Lei and Cheng,Juan and Li,Chang and Chen,Xun,“Multi-focus imagefusion:A survey ofthe state ofthe art”,Information Fusion,64,71-91,2020。
表一给出本发明方法与传统方法的融合结果的客观评价指标数据对比,从表一中可以看出,无论是求解稀疏系数使用OMP算法还是SOMP算法,本发明方法在三种主要的融合任务上的融合结果比优于传统方法要好。
表一 本发明方法与传统方法的融合结果的客观评价指标数据对比
综上所述,视觉效果和客观评价指标的结果同时表明本发明方法不仅能够克服传统方法面临的问题,而且不同的稀疏系数求解算法不会改变融合效果,体现了基于局部对比度的预处理方法的有效性和鲁棒性。
Claims (2)
1.一种基于局部对比度预处理的图像融合方法,其特征是按如下步骤进行:
步骤1、预处理阶段:
步骤1.1、获取配准后的同一场景的两幅尺寸为M×N的源图像IA,IB∈RM×N,其中,RM×N表示M行N列的矩阵,采用滑窗将两幅源图像IA和IB分别分割成一系列大小为的图像块;从而相应得到K个切分后的图像块,记为和其中,表示源图像IA切分后的第i个图像块,表示源图像IB切分后的第i个图像块,m表示字典原子的尺寸;
步骤2、融合阶段:
使用匹配追踪算法分别求解列向量和的稀疏系数和并将稀疏系数和的l1范数和作为对应第i个图像块和的信息活跃度,从而按照最大值选择的融合规则,利用式(1)对第i个图像块和进行融合,得到融合后的第i个图像块进而得到融合后的图像块组
步骤3、重建阶段:
2.根据权利要求1所述的基于局部对比度预处理的图像融合方法,其特征是,所述步骤1.2中是按如下过程计算局部对比度:
步骤a、将图像块和中任一个图像块记为P,利用小波低通分解滤波器对图像块P中的每一行进行滤波,得到滤波后的图像块P′,再对滤波后的图像块P′中的每一行进行下采样操作,得到图像块P在x轴上的低频分量P″;
步骤b、利用小波低通分解滤波器对x轴上的低频分量P″中的每一列进行滤波,得到滤波后的图像块P″′,再对滤波后的图像块P″′中的每一列进行下采样操作,得到图像块P在x轴和y轴上的低频分量P*;
步骤e、利用式(2)得到图像块P中的像素点(x,y)的局部对比度LC(x,y):
式(2)中,PH(x,y)代表像素点(x,y)在高频分量PH中的像素值;PL(x,y)代表像素点(x,y)在低频分量PL中的像素值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110881424.3A CN113592758B (zh) | 2021-08-02 | 2021-08-02 | 一种基于局部对比度预处理的图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110881424.3A CN113592758B (zh) | 2021-08-02 | 2021-08-02 | 一种基于局部对比度预处理的图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113592758A true CN113592758A (zh) | 2021-11-02 |
CN113592758B CN113592758B (zh) | 2023-08-29 |
Family
ID=78253803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110881424.3A Active CN113592758B (zh) | 2021-08-02 | 2021-08-02 | 一种基于局部对比度预处理的图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113592758B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115641455A (zh) * | 2022-09-16 | 2023-01-24 | 杭州视图智航科技有限公司 | 一种基于多特征融合的图像匹配方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160284093A1 (en) * | 2014-06-10 | 2016-09-29 | Ramot At Tel-Aviv University Ltd. | Method and system for processing an image |
CN107341786A (zh) * | 2017-06-20 | 2017-11-10 | 西北工业大学 | 小波变换与联合稀疏表示的红外与可见光图像融合方法 |
US20180227509A1 (en) * | 2015-08-05 | 2018-08-09 | Wuhan Guide Infrared Co., Ltd. | Visible light image and infrared image fusion processing system and fusion method |
CN109559292A (zh) * | 2018-11-22 | 2019-04-02 | 西北工业大学 | 基于卷积稀疏表示的多模态图像融合方法 |
-
2021
- 2021-08-02 CN CN202110881424.3A patent/CN113592758B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160284093A1 (en) * | 2014-06-10 | 2016-09-29 | Ramot At Tel-Aviv University Ltd. | Method and system for processing an image |
US20180227509A1 (en) * | 2015-08-05 | 2018-08-09 | Wuhan Guide Infrared Co., Ltd. | Visible light image and infrared image fusion processing system and fusion method |
CN107341786A (zh) * | 2017-06-20 | 2017-11-10 | 西北工业大学 | 小波变换与联合稀疏表示的红外与可见光图像融合方法 |
CN109559292A (zh) * | 2018-11-22 | 2019-04-02 | 西北工业大学 | 基于卷积稀疏表示的多模态图像融合方法 |
Non-Patent Citations (2)
Title |
---|
王丽芳;董侠;秦品乐;高媛;: "基于自适应联合字典学习的脑部多模态图像融合方法", 计算机应用, no. 04 * |
邹佳彬;孙伟;: "基于提升静态小波变换与联合结构组稀疏表示的多聚焦图像融合", 计算机应用, no. 03 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115641455A (zh) * | 2022-09-16 | 2023-01-24 | 杭州视图智航科技有限公司 | 一种基于多特征融合的图像匹配方法 |
CN115641455B (zh) * | 2022-09-16 | 2024-01-09 | 杭州视图智航科技有限公司 | 一种基于多特征融合的图像匹配方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113592758B (zh) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109242888B (zh) | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 | |
CN112308832B (zh) | 一种基于机器视觉的轴承质量检测方法 | |
Li et al. | Robust retinal image enhancement via dual-tree complex wavelet transform and morphology-based method | |
Awad et al. | Adaptive near-infrared and visible fusion for fast image enhancement | |
Scheunders | Wavelet thresholding of multivalued images | |
Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
Tang et al. | Single image dehazing via lightweight multi-scale networks | |
CN108805840A (zh) | 图像去噪的方法、装置、终端及计算机可读存储介质 | |
Davy et al. | Non-local video denoising by CNN | |
CN114372986B (zh) | 注意力引导多模态特征融合的图像语义分割方法及装置 | |
Han et al. | Underwater image enhancement based on a spiral generative adversarial framework | |
CN109064402B (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
Guo et al. | Infrared and visible image fusion based on saliency and fast guided filtering | |
CN115293995B (zh) | 一种基于Transformer的点云逐点去噪方法 | |
Liu et al. | Multi-focus color image fusion algorithm based on super-resolution reconstruction and focused area detection | |
Huang et al. | Removing reflection from a single image with ghosting effect | |
CN110648302A (zh) | 基于边缘增强引导滤波的光场全聚焦图像融合方法 | |
Hsu et al. | Object detection using structure-preserving wavelet pyramid reflection removal network | |
CN113592758A (zh) | 一种基于局部对比度预处理的图像融合方法 | |
Xu et al. | Hyperspectral Image Super-Resolution With ConvLSTM Skip-Connections | |
Yao et al. | A multi-expose fusion image dehazing based on scene depth information | |
CN114723609A (zh) | 一种超大像素的图像拼接方法 | |
Vien et al. | Moiré artifacts removal in screen-shot images via multiple domain learning | |
Qiu et al. | Multi-contrast MRI reconstruction based on frequency domain separation and cross-self-attention | |
Wan et al. | Multi-focus color image fusion based on quaternion multi-scale singular value decomposition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |