CN109300097B - 基于自适应分块的多序列图像融合方法 - Google Patents

基于自适应分块的多序列图像融合方法 Download PDF

Info

Publication number
CN109300097B
CN109300097B CN201810935996.3A CN201810935996A CN109300097B CN 109300097 B CN109300097 B CN 109300097B CN 201810935996 A CN201810935996 A CN 201810935996A CN 109300097 B CN109300097 B CN 109300097B
Authority
CN
China
Prior art keywords
image
definition
sequence
frequency sub
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810935996.3A
Other languages
English (en)
Other versions
CN109300097A (zh
Inventor
陈文建
张璐
李武森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201810935996.3A priority Critical patent/CN109300097B/zh
Publication of CN109300097A publication Critical patent/CN109300097A/zh
Application granted granted Critical
Publication of CN109300097B publication Critical patent/CN109300097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出了本发明公开了一种基于自适应分块的多序列图像融合方法，对预分割后的图像块的清晰度基于小波变换进行判断，如果两幅对比图像块的清晰度数值差值大于自定义阈值，则将清晰度数值大的图像块写入融合结果图，如果没有，则将两幅对比图进行自适应细分割，直到分割到规定的最小像素块，并将清晰度数值大的图像块写入融合结果图。本发明可以实现良好的图像融合效果，大大提高了分块清晰度判断的精度，提高了融合效果。

Description

基于自适应分块的多序列图像融合方法
技术领域
本发明涉及图像融合技术，特别是一种基于自适应分块的多序列图像融合方法。
背景技术
为了对不同深度的图像进行综合描述，可以对不同焦距的物体进行拍摄，将获得的多个不同焦距的图像融合在一幅图像中，保留不同图像中清晰的部分，此项技术成为多序列图像融合技术，它具有图像信息量大、细节丰富等特点。
多序列图像融合方法有很多，比如：加权平均法、小波变换图像融合法、图像分块融合法等等，现有的图像分块问题主要在于：1、在图像分块大小的选择上，分块太多或者太少，导致无法明确图像块区域特征，会产生严重的“块效应”； 2、每一个图像块的清晰聚焦特性无法准确描述。这些会严重影响后续图像的融合效果，因此图像分块方法在图像融合过程中显得尤为重要。
发明内容
本发明的目的在于提出了一种基于自适应分块的多序列图像融合方法。
实现本发明的技术解决方案为：一种基于自适应分块的多序列图像融合方法，具体步骤为：
步骤1、计算序列图像L1、L2、L3...Ln中每一图像的清晰度数值，将清晰度值最高的图像作为样本图LTemp；
步骤2、将序列图像L1、L2、L3...Ln以及样本图LTemp分别分块为若干个大小相同的图像块；
步骤3、按照序列图像L1、L2、L3...Ln顺序将分块后的序列图分别与样本图进行清晰度比较并完成图像融合，具体融合方法为：
Figure GDA0003484412130000011
其中，Li为两幅图第i块图像块融合的结果，Ai为两幅图中进行比较的序列图第i个图像块，FiA为比较的序列图第i个图像块的清晰度数值，Bi为样本图第i图像块，FiB为样本图第i块图像块的清晰度数值，
Figure GDA0003484412130000021
为第n次分块后的图像块清晰度阈值；
步骤4、对步骤3需要继续细分的图像块进行进一步分块后返回步骤3，直至所分到的图像块大小小于设定的阈值时，将最小图像块中最清晰的图像块输入到最终融合的图像位置，完成图像融合。
优选地，步骤1中图像清晰度值的计算方法为：
步骤1-1、对图像进行去除噪声以及图像增强预处理；
步骤1-2、对预处理后的图像基于灰度梯度方向提取纹理特征信息，确定水平、垂直和对焦方向的梯度，从而确定图像单元不同梯度方向的数目以及各高频子带的权重因子；
步骤1-3、对预处理后的图像进行小波变换，得到变换后的低频子带和高频各子带；
步骤1-4、根据步骤1-3一级小波变换后得到的低频子带和高频各子带，计算各高频子带对应的小波系数，再继续对低频子带继续进行小波变换，即二级小波变换，并确定二级小波变换后的各高频子带对应的小波系数；
步骤1-5、根据步骤1-2得到的权重因子、步骤1-4中一级小波变换后得高频子带对应的小波系数以及二级小波变换后得到的各高频子带对应的小波系数确定图像清晰度评价函数，从而确定图像清晰度值。
优选地，步骤3中图像块清晰度值的计算方法与序列图像清晰度值的计算方法相同。
优选地，步骤3中图像块清晰度阈值的确定方法为：
步骤3-1、计算序列图中不同聚焦度位置对应图像块的清晰度数值：
DFi＝|FiA-FiB|
步骤3-2、观察进行融合的序列图源图像，确定边界领域在整个领域中占取的比例a％；
步骤3-3、将序列图中不同聚焦度位置对应图像块的清晰度数值DFi按照从小到大的顺序得到数组DF，则初始清晰度阈值为：
Figure GDA0003484412130000031
其中，n表示分割次数，DF(m)表示数组DF中第m个元素，m＝[a％×n]
步骤3-4、清晰度阈值为：
Figure GDA0003484412130000032
阈值增量ΔTHi的确定方法同初始阈值确定方法相同。
本发明与现有技术相比，其显著优点为：1)本发明根据图像的清晰度情况进行自适应图像分块，避免出现图像分块太多或者太少而导致严重的“块效应”问题；2)本发明图像图像块的清晰度情况判断效率高；3)本发明图像融合速度更快，效果更好。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明流程图。
图2为实施例1图像小波变换示意图，其中图2中的 (a)两幅图像的原图；图2中的(b)原图经过一次小波变换后的效果对比图；图2中的 (c)原图经过两次小波变换后的效果对比图。
图3为实施例1中图像分块示意图，其中图3中的 (a)是图像原图；图3 中的 (b)是原图圈出区域分出的图像块。
图4为实施例1中本发明测量图像的清晰度结果与现有技术测量图像清晰度结果的对比图。
图5为实施例1中本发明图像融合的结果与现有融合技术的结果对比图，其中图5中的 (a)是融合图像原图；图5 中的 (b)是融合图像结果和现有融合技术结果对比图，从左到右方法分别为：加权平均法融合图像结果示意图、本发明方法融合图像结果示意图、小波变换融合方法融合图像结果示意图；图5 中的 (c)是融合图像细节结果对比图，从左到右方法分别为：加权平均法细节结果对比图、本发明方法细节结果对比图、小波变换融合方法细节结果对比图。
具体实施方式
本实施例具体实现步骤如图2所示。
一种基于自适应分块的多序列图像融合方法，具体步骤为：
步骤1、计算序列图像L1、L2、L3...Ln中每一图像的清晰度数值，将清晰度值最高的图像作为样本图LTemp；
步骤2、将序列图像L1、L2、L3...Ln以及样本图LTemp分别分块为若干个大小相同的图像块，例如4,9,16,25个，图像块的大小根据源图像的大小确定；
步骤3、按照序列图像L1、L2、L3...Ln顺序将分块后的序列图分别与样本图进行清晰度比较并完成图像融合，具体融合方法为：
Figure GDA0003484412130000041
其中，Li为两幅图第i块图像块融合的结果，Ai为两幅图中进行比较的序列图第i个图像块，FiA为比较的序列图第i个图像块的清晰度数值，Bi为样本图第i图像块，FiB为样本图第i块图像块的清晰度数值，
Figure GDA0003484412130000042
为第n次分块后的图像块清晰度阈值；
步骤4、对步骤3需要继续细分的图像块进行进一步分块,，分块效果如图3，分块后返回步骤3，直至所分到的图像块大小小于设定的阈值时，将最小图像块中最清晰的图像块输入到最终融合的图像位置，完成图像融合，本发明融合效果和其他融合效果对比如图5。
进一步的实施例中，步骤1中图像清晰度值的计算方法为：
步骤1-1、对图像进行去除噪声以及图像增强预处理；
步骤1-2、对预处理后的图像基于灰度梯度方向提取纹理特征信息，确定水平、垂直和对焦方向的梯度，从而确定图像单元不同梯度方向的数目以及各高频子带的权重因子；
步骤1-3、对预处理后的图像进行小波变换，得到变换后的低频子带和高频各子带，效果图如图2；
步骤1-4、根据步骤1-3一级小波变换后得到的低频子带和高频各子带，计算各高频子带对应的小波系数，再继续对低频子带继续进行小波变换，即二级小波变换，并确定二级小波变换后的各高频子带对应的小波系数；
步骤1-5、根据步骤1-2得到的权重因子、步骤1-4中一级小波变换后得高频子带对应的小波系数以及二级小波变换后得到的各高频子带对应的小波系数确定图像清晰度评价函数，从而确定图像清晰度值，将清晰度值归一化和其他清晰度评价方法对比，效果如图4所示。
进一步的实施例中，步骤3中图像块清晰度值的计算方法与序列图像清晰度值的计算方法相同。
进一步的实施例中，步骤3中图像块清晰度阈值的确定方法为：
步骤3-1、计算序列图中不同聚焦度位置对应图像块的清晰度数值：
DFi＝|FiA-FiB|
步骤3-2、观察进行融合的序列图源图像，确定边界领域在整个领域中占取的比例a％；
步骤3-3、将序列图中不同聚焦度位置对应图像块的清晰度数值DFi按照从小到大的顺序得到数组DF，则初始清晰度阈值为：
Figure GDA0003484412130000051
其中，n表示分割次数，DF(m)表示数组DF中第m个元素，m＝[a％×n]
步骤3-4、清晰度阈值为：
Figure GDA0003484412130000052
阈值增量ΔTHi的确定方法同初始阈值确定方法相同。
实施例1
本实施例通过显微镜系统20×(NA＝0.5)对水棉细胞采取了50幅不同对焦位置的序列图像，将采集的图像基于Visual Studio软件进行图像融合处理。本发明方法具体实现过程如图1所示，包括如下步骤：
步骤1、采用20×(NA＝0.5)显微镜系统对水棉细胞采取了50幅图像传输到计算机处理系统，其中图像的对焦位置相差1.25μm，采集到的每一幅图像的像素大小都为1280×960；对序列图像进行去噪、增强等预处理；将序列图像通过基于小波变换的清晰度评价算子求得序列图中每一图样的清晰度数值，取清晰度数值最大的图像作为样本图LTemp；其中，图像清晰度值的计算方法为：
步骤1-1、对图像进行去除噪声以及图像增强预处理；
步骤1-2、对预处理后的图像基于灰度梯度方向提取纹理特征信息，确定水平、垂直和对焦方向的梯度，从而确定图像单元不同梯度方向的数目以及各高频子带的权重因子；
确定水平、垂直和对焦方向的梯度的具体公式为：
Figure GDA0003484412130000061
其中，f(x,y)指单位像素的灰度值，Ghor、Gver、Gdia分别为水平、垂直和对焦方向的梯度。
各高频子带的权重因子的确定公式为：
Figure GDA0003484412130000062
式中，Nhor、Nver、Ndia分别表示图像水平、垂直、对角三个方向的纹理统计数目。
步骤1-3、对预处理后的图像进行小波变换，得到变换后的低频子带和高频各子带，高频子带为：
Figure GDA0003484412130000063
其中，n为小波分解级数，fLHn(x,y)、fHLn(x,y)、fHHn(x,y)分别为第n级小波变换各高频子带分量的小波系数，fLLn(x,y)为第n级小波变换低频子带分量。
步骤1-4、根据步骤1-3一级小波变换后得到的低频子带和高频各子带，计算各高频子带对应的小波系数，再继续对低频子带继续进行小波变换，即二级小波变换，并确定二级小波变换后的各高频子带对应的小波系数；
步骤1-5、根据步骤1-2得到的权重因子、步骤1-4中一级小波变换后得高频子带对应的小波系数以及二级小波变换后得到的各高频子带对应的小波系数确定图像清晰度评价函数，从而确定图像清晰度值，确定的图像清晰度评价函数具体为：
Figure GDA0003484412130000071
其中，(x,y)表示当前像素的位置，P(h)、P(v)、P(d)分别为各高频子带的权重因子，fHL1(x,y)、fLH1(x,y)、fHH1(x,y)为一级小波变换后各高频子带对应的小波系数，fHL2(x,y)、fLH2(x,y)、fHH2(x,y)为二级小波变换后各高频子带对应的小波系数，如图2所示。
步骤2、按照序列图的顺序和样本图LTemp进行图像分块处理、图像图像块的清晰度比较并完成图像融合，具体为将相比较的两幅图分别分解成16个大小为 320×240的图像块；
步骤3、将序列图像以及样本图从左上角图像块开始，按照从左向右，从上到下的顺序，对两幅图的相同位置图像块按照基于小波变换的清晰度评价方法分别计算清晰度值，并按照如下融合规则分别对序列图按照顺序进行融合：
Figure GDA0003484412130000072
其中，Li为两幅图第i块图像块融合的结果，Ai为两幅图中进行比较的序列图第i个图像块，FiA为比较的序列图第i个图像块的清晰度数值，Bi为样本图第i图像块，FiB为样本图第i块图像块的清晰度数值，
Figure GDA0003484412130000073
为第n次分块后的图像块清晰度阈值；
图像块清晰度阈值的确定方法为：
步骤3-1、计算序列图中不同聚焦度位置对应图像块的清晰度数值：
DFi＝|FiA-FiB|
步骤3-2、观察进行融合的序列图源图像，确定边界领域在整个领域中占取的比例a％；
步骤3-3、将序列图中不同聚焦度位置对应图像块的清晰度数值DFi按照从小到大的顺序得到数组DF，则初始清晰度阈值为：
Figure GDA0003484412130000081
其中，n表示分割次数，DF(m)表示数组DF中第m个元素，m＝[a％×n]
步骤3-4、随着图像图像块分解的越细，边界区域中包含的信息量比例会逐步增大，因此设定随着图像块分解的进一步进行，阈值会有相应的增量ΔTHi，则图像块清晰度阈值为：
Figure GDA0003484412130000082
阈值增量ΔTHi的确定方法同初始阈值确定方法相同。
步骤4、对步骤3需要继续细分的图像块进行进一步分块后返回步骤3，直至所分到的图像块大小小于设定的阈值时，停止细分，将最小图像块中最清晰的图像块输入到最终融合的图像位置，完成该幅序列图与样本图的图像融合。

Claims (3)

1.一种基于自适应分块的多序列图像融合方法，其特征在于，具体步骤为：
步骤1、计算序列图像L1、L2、L3...Ln中每一图像的清晰度数值，将清晰度值最高的图像作为样本图LTemp；
步骤2、将序列图像L1、L2、L3...Ln以及样本图LTemp分别分块为若干个大小相同的图像块；
步骤3、按照序列图像L1、L2、L3...Ln顺序将分块后的序列图分别与样本图进行清晰度比较并完成图像融合，具体融合方法为：
Figure FDA0003343406720000011
其中，Li为两幅图第i块图像块融合的结果，Ai为两幅图中进行比较的序列图第i个图像块，FiA为比较的序列图第i个图像块的清晰度数值，Bi为样本图第i图像块，FiB为样本图第i块图像块的清晰度数值，
Figure FDA0003343406720000013
为第n次分块后的图像块清晰度阈值；
步骤4、对步骤3需要继续细分的图像块进行进一步分块后返回步骤3，直至所分到的图像块大小小于设定的阈值时，将最小图像块中最清晰的图像块输入到最终融合的图像位置，完成图像融合；
图像块清晰度阈值的确定方法为：
步骤3-1、计算序列图中不同聚焦度位置对应图像块的清晰度数值：
DFi＝|FiA-FiB|
步骤3-2、观察进行融合的序列图源图像，确定边界领域在整个领域中占取的比例a％；
步骤3-3、将序列图中不同聚焦度位置对应图像块的清晰度数值DFi按照从小到大的顺序得到数组DF，则初始清晰度阈值为：
Figure FDA0003343406720000012
其中，n表示分割次数，DF(m)表示数组DF中第m个元素，m＝[a％×n]
步骤3-4、清晰度阈值为：
Figure FDA0003343406720000021
阈值增量ΔTHi的确定方法同初始阈值确定方法相同。
2.根据权利要求1所述的基于自适应分块的多序列图像融合方法，其特征在于，步骤1中图像清晰度值的计算方法为：
步骤1-1、对图像进行去除噪声以及图像增强预处理；
步骤1-2、对预处理后的图像基于灰度梯度方向提取纹理特征信息，确定水平、垂直和对焦方向的梯度，从而确定图像单元不同梯度方向的数目以及各高频子带的权重因子；
步骤1-3、对预处理后的图像进行小波变换，得到变换后的低频子带和高频各子带；
步骤1-4、根据步骤1-3一级小波变换后得到的低频子带和高频各子带，计算各高频子带对应的小波系数，再继续对低频子带继续进行小波变换，即二级小波变换，并确定二级小波变换后的各高频子带对应的小波系数；
步骤1-5、根据步骤1-2得到的权重因子、步骤1-4中一级小波变换后得高频子带对应的小波系数以及二级小波变换后得到的各高频子带对应的小波系数确定图像清晰度评价函数，从而确定图像清晰度值。
3.根据权利要求1所述的基于自适应分块的多序列图像融合方法，其特征在于，步骤3中图像块清晰度值的计算方法与序列图像清晰度值的计算方法相同。
CN201810935996.3A 2018-08-16 2018-08-16 基于自适应分块的多序列图像融合方法 Active CN109300097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810935996.3A CN109300097B (zh) 2018-08-16 2018-08-16 基于自适应分块的多序列图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810935996.3A CN109300097B (zh) 2018-08-16 2018-08-16 基于自适应分块的多序列图像融合方法

Publications (2)

Publication Number Publication Date
CN109300097A CN109300097A (zh) 2019-02-01
CN109300097B true CN109300097B (zh) 2022-04-01

Family

ID=65165167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810935996.3A Active CN109300097B (zh) 2018-08-16 2018-08-16 基于自适应分块的多序列图像融合方法

Country Status (1)

Country Link
CN (1) CN109300097B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689502B (zh) * 2019-10-09 2022-06-14 深圳看到科技有限公司 一种图像处理方法及相关装置
CN111062378B (zh) * 2019-12-23 2021-01-26 重庆紫光华山智安科技有限公司 图像处理方法、模型训练方法、目标检测方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186894A (zh) * 2013-03-22 2013-07-03 南京信息工程大学 一种自适应分块的多聚焦图像融合方法
US8913848B2 (en) * 2012-02-29 2014-12-16 Ningbo University Microscopic image fusion method based on region growing
CN106504221A (zh) * 2016-10-13 2017-03-15 江南大学 基于四元数小波变换上下文结构的医学图像融合新方法
CN106530277A (zh) * 2016-10-13 2017-03-22 中国人民解放军理工大学 一种基于小波方向相关系数的图像融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8913848B2 (en) * 2012-02-29 2014-12-16 Ningbo University Microscopic image fusion method based on region growing
CN103186894A (zh) * 2013-03-22 2013-07-03 南京信息工程大学 一种自适应分块的多聚焦图像融合方法
CN106504221A (zh) * 2016-10-13 2017-03-15 江南大学 基于四元数小波变换上下文结构的医学图像融合新方法
CN106530277A (zh) * 2016-10-13 2017-03-22 中国人民解放军理工大学 一种基于小波方向相关系数的图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于纹理分析的小波变换图像清晰度评价方法研究;刘兴宝 等;《仪器仪表学报》;20070831;第28卷(第8期);第1508-1513页 *

Also Published As

Publication number Publication date
CN109300097A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
Varghese et al. Video denoising based on a spatiotemporal Gaussian scale mixture model
Starovoytov et al. Comparative analysis of the SSIM index and the pearson coefficient as a criterion for image similarity
Zhang et al. Joint image denoising using adaptive principal component analysis and self-similarity
CN104616274B (zh) 一种基于显著性区域提取的多聚焦图像融合方法
Mahmood et al. Optimal depth estimation by combining focus measures using genetic programming
US9443286B2 (en) Gray image processing method and apparatus based on wavelet transformation
CN110443775B (zh) 基于卷积神经网络的离散小波变换域多聚焦图像融合方法
CN105894483B (zh) 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法
Lee et al. Adaptive window selection for 3D shape recovery from image focus
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN109300097B (zh) 基于自适应分块的多序列图像融合方法
Zhang et al. Image denoising via structure-constrained low-rank approximation
CN116563285B (zh) 一种基于全神经网络的病灶特征识别与分割方法及系统
CN115082336A (zh) 一种基于机器学习的sar图像相干斑抑制方法
CN116823642A (zh) 一种图像运动模糊去除方法、装置、电子设备及介质
CN109191437A (zh) 基于小波变换的清晰度评价方法
CN113763300A (zh) 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法
Lee et al. Optimizing image focus for 3D shape recovery through genetic algorithm
CN103778615A (zh) 基于区域相似性的多聚焦图像融合方法
CN115375597A (zh) 一种nsst和方差的时域与频域结合的显微图像清晰度评价方法
CN109300086B (zh) 基于清晰度的图像分块方法
US20220004802A1 (en) Image processing device and image processing method
Oral et al. A comparative study for image fusion
Suneetha et al. An Improved Denoising of Medical Images Based on Hybrid Filter Approach and Assess Quality Metrics
Tran et al. Encoder–decoder network with guided transmission map: Robustness and applicability

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Chen Wenjian

Inventor after: Zhang Lu

Inventor after: Li Wusen

Inventor before: Zhang Lu

Inventor before: Chen Wenjian

Inventor before: Li Wusen

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant