CN110322409B - 一种基于标记图的改进型小波变换图像融合方法 - Google Patents
一种基于标记图的改进型小波变换图像融合方法 Download PDFInfo
- Publication number
- CN110322409B CN110322409B CN201910516346.XA CN201910516346A CN110322409B CN 110322409 B CN110322409 B CN 110322409B CN 201910516346 A CN201910516346 A CN 201910516346A CN 110322409 B CN110322409 B CN 110322409B
- Authority
- CN
- China
- Prior art keywords
- image
- frequency
- sub
- fusion
- plankton
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000001914 filtration Methods 0.000 claims description 24
- 239000003550 marker Substances 0.000 claims description 10
- 239000012535 impurity Substances 0.000 claims description 8
- 239000002245 particle Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 5
- 239000013535 sea water Substances 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 8
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000011426 transformation method Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009647 digital holographic microscopy Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Abstract
本发明公开一种基于标记图的改进型小波变换图像融合方法，通过引入标记图对每个浮游生物进行标记，将占据最多像素的重建图像的序号作为该浮游生物的标记，并将该浮游生物及其周围的区域用被标记的重建图像相应区域的像素进行替换，消除了高频条纹和斑点噪声，提高了浮游生物的对比度，使融合图像具有更好的视觉效果。与一般的小波变换方法相比，本方法使融合后的图像与原始的重建图像具有更高的相关系数，保留了更多的信息。同时，本方法可以实现一次性融合9幅以上的重建图像，特别适用于浮游生物的数字全息显微成像。
Description
技术领域
本发明涉及多焦距浮游生物的数字全息显微成像领域，特别涉及一种基于标记图的改进型小波变换图像融合方法。
背景技术
与传统的光学显微镜相比，数字全息显微镜(Digital Holographic Microscope,DHM)具有更大的景深，不需要调整物镜到样品的距离，直接通过改变重建距离便可以从全息图中得到监测区域中不同深度的浮游生物的清晰重建图像，但对于每一幅重建图像，只有焦距(深度)等于重建距离的浮游生物才能成清晰的像，其它的浮游生物则成模糊的像。为了在一张图像中让所有的浮游生物均能清晰成像，需要将重建距离等于各个浮游生物焦距的多幅重建图像进行融合，得到一张景深扩大的图像，在这张图中，所有的浮游生物均处于聚焦状态。
图像融合方法主要包括空间域方法和转换域方法。空间域方法利用图像的像素梯度信息或者图像块进行融合，包括加权系数法、领域窗口法和水平集区域分裂法。空间域方法简单且耗时短，但通常会产生大量的块效应。转换域法通过各子带转换系数的融合实现图像的融合，包括拉普拉斯金字塔法、多尺度几何分析法和小波变换法。转换域方法融合精度高，并且融合的图像更接近人眼的视觉特征，因此得到了广泛的应用，尤其是小波变换方法。小波变换方法由于计算简单、耗时短，以及表达方式与人类视觉系统一致等优点，被认为是非常有效的图像融合方法。
在基于小波变换的图像融合方法中，高频子带的系数通常是根据绝对值最大的准则进行融合。由于在多焦距浮游生物的全息图的重建图像中，离焦的浮游生物会在其周围产生高频的条纹，这些条纹对应的高频子带的系数比聚焦的浮游生物的背景的高频子带的系数更大。因此，如果有两幅重建图像，其中第一幅重建图像中的某个浮游生物处于聚焦状态，而第二幅重建图像中该浮游生物处于离焦状态，那么利用小波变换方法将上面两幅图像融合时，来自第二幅重建图像的离焦的浮游生物周围的高频条纹将取代第一幅重建图像的聚焦的浮游生物的背景，于是在融合图像中，浮游生物区域来自第一幅重建图像中处于聚焦状态的浮游生物，但其背景区域来自第二幅重建图像中处于离焦状态的浮游生物周围的高频条纹，导致浮游生物的对比度下降。此外，第二幅重建图像中离焦的浮游生物内部的某些像素的高频子带系数也可能大于第一幅重建图像中聚焦的浮游生物内部的某些像素的高频子带系数，导致融合图像中聚焦的浮游生物内部的某些像素被相应的离焦的浮游生物内部的某些像素取代，产生斑点噪声。更为重要的是，大多数图像融合方法只适合融合两幅图像。因此，需要一种图像融合方法消除上述所说的高频条纹和斑点噪声，并能够一次性融合多幅(3幅以上)重建图像。
发明内容
本发明提供了一种基于标记图的改进型小波变换图像融合方法，该方法是一种空间域方法和转换域方法相结合的方法，有效消除了高频条纹和斑点噪声，具有更好的视觉效果，且能够一次性融合多达9幅重建图像，实用性强。
一种基于标记图的改进型小波变换图像融合方法，包括以下步骤：
(1)获取多焦距浮游生物全息图中各个浮游生物在对应焦距处的重建图像；
(2)对步骤(1)中的重建图像进行离散傅里叶变换，将每幅重建图像分解成4幅子图像，分别为低频子图像LLn、水平高频子图像HLn、垂直高频子图像LHn和对角高频子图像HHn，其中n代表重建图像的序号；
(3)将步骤(2)中的每幅重建图像的低频子图像LLn按照方差匹配准则进行融合，得到低频融合子图像ILL。将每幅重建图像的水平高频子图像HLn、垂直高频子图像LHn和对角高频子图像HHn均按照最大绝对值准则进行融合，得到水平高频融合子图像IHL、垂直高频融合子图像ILH和对角高频融合子图像IHH；
在通常的小波变换图像融合方法中，由于高频子图像(HLn、LHn、HHn)的系数是按照绝对值最大的准则进行融合的，而离焦的浮游生物的周围会产生高频的条纹，它们的系数绝对值比聚焦的浮游生物的背景的系数绝对值更大，于是在融合图像中，聚焦的浮游生物的周围会出现条纹，降低了浮游生物的对比度。此外，离焦的浮游生物内部的部分像素的系数绝对值也可能大于聚焦的浮游生物内部相应的像素的系数绝对值，导致在融合图像中，聚焦的浮游生物内部的部分像素被离焦的浮游生物内部相应的像素腐蚀，形成斑点噪声。为了克服上述缺点，本发明方法引入一张标记图对每个浮游生物进行标记，统计每个浮游生物区域中来自各幅重建图像的像素的频率，将占据最多像素的重建图像的序号作为该浮游生物的标记，并将该浮游生物及其周围区域的像素用被标记的重建图像的相应像素取代。
(4)引入一幅标记图IM，用来标记步骤(3)中的水平高频融合子图像IHL的每一个像素来自哪幅重建图像，其尺寸与IHL相同。标记图IM的每一个像素记作M(r,c)＝n，其中r和c分别表示标记图的行坐标和列坐标，n表示重建图像的序号，表明与该像素对应的水平高频融合子图像IHL的像素来自第n幅重建图像，该标记图称作原始标记图；
(5)利用基于连通区域的图像分割方法找到步骤(3)中低频融合子图像ILL中各个浮游生物对应的区域，用pm存储每个浮游生物区域包含的像素的坐标，其中m表示浮游生物的标签。pm是一个l×2的矩阵，其中l代表了第m个浮游生物区域包含的像素的个数；
(6)根据步骤(5)得到的每个浮游生物区域包含的像素的坐标，在步骤(4)中的标记图IM中相应的位置统计每个浮游生物区域中各个标记的频率，即统计在水平高频融合子图像IHL中每个浮游生物区域中来自各幅重建图像的像素的频率，记作fmn，其中m表示浮游生物区域的标签，n表示重建图像的序号。找到在标记图IM中每个浮游生物区域中频率最大的标记，即找到在水平高频融合子图像IHL中每个浮游生物区域中占据最多像素的重建图像的序号，记作nmax；
(7)利用区域生长方法对步骤(5)中的浮游生物区域进行膨胀操作，用pm'存储膨胀后的每个浮游生物区域包含的像素的坐标，并在标记图IM中相应的区域用步骤(6)得到的频率最大的标记nmax进行标记，即M'(r,c)＝nmax，其中M'(r,c)∈pm'，得到最终的标记图IM'；
(8)将步骤(2)中每幅重建图像的低频子图像LLn、水平高频子图像HLn、垂直高频子图像LHn和对角高频子图像HHn均按照最终的标记图IM'进行融合，得到最终的低频融合子图像ILL'、水平高频融合子图像IHL'、垂直高频融合子图像ILH'和对角高频融合子图像IHH'，然后根据离散傅里叶逆变换得到最后的多焦距浮游生物的融合图像。
大多数的图像融合方法(包括小波变换方法)一般只能对两幅图像进行融合，而在多焦距浮游生物的数字全息显微成像中，需要将多幅重建图像进行融合。为了满足这个要求，本发明方法在对一般小波变换方法中低频子图像LLn和高频子图像(HLn、LHn、HHn)的系数融合过程中作了一点改进，将两幅图像的融合扩展到多幅图像的融合。步骤(3)中，重建图像的低频子图像LLn、水平高频子图像HLn、垂直高频子图像LHn和对角高频子图像HHn融合的方法如下：
3-1、按照递增的顺序依次比较步骤(2)中相邻的两幅低频子图像LLi和LLi+1的每个系数的区域方差，其中i＝1,2,…,n-1，将区域方差更大的系数作为融合系数，并将两幅低频子图像的融合图像作为序号更大的低频子图像LLi+1进行下一轮的比较，直到比较完最后的两幅相邻的低频子图像LLn-1和LLn，将LLn作为最后的融合图像ILL，该过程可表示为：
LLi+1＝max(var(LLi),var(LLi+1)),i＝1,2,…,n-1 (1)
ILL＝LLn (2)
式(1)中var表示求区域方差；
3-2、按照递增的顺序依次比较步骤(2)中相邻的两幅水平高频子图像HLi和HLi+1的每个系数的绝对值，其中i＝1,2,…,n-1，将绝对值更大的系数作为融合系数，并将两幅水平高频子图像的融合图像作为序号更大的水平高频子图像HLi+1进行下一轮的比较，直到比较完最后的两幅相邻的水平高频子图像HLn-1和HLn，将HLn作为最后的融合图像IHL。该过程可表示为：
HLi+1＝max(|HLi|,|HLi+1|),i＝1,2,…,n-1 (3)
IHL＝HLn (4)
式(3)中|·|表示取绝对值，垂直高频融合子图像ILH和对角高频融合子图像IHH按照类似的方法得到。
本发明方法中，最关键的一步是引入一张标记图对每个浮游生物进行标记，统计在水平高频融合子图像IHL中每个浮游生物区域中来自各幅重建图像的像素的频率，将占据最多像素的重建图像的序号作为该浮游生物的标记。因此，需要在水平高频融合子图像IHL中找到各个浮游生物的区域。由于IHL反映的是融合图像的边缘信息，难以找到浮游生物的区域，而低频融合子图像ILL是融合图像的近似，而且尺寸与IHL一样，可以先通过ILL找到浮游生物的区域，存储它们的像素坐标，然后在IHL中定位相应的区域。在步骤(5)中，基于连通区域的低频融合子图像ILL中各个浮游生物区域定位的方法如下：
5-1、对步骤(3)中的低频融合子图像ILL进行非局部均值(NLM)滤波，滤除斑点噪声；
5-2、对步骤5-1中的经过滤波处理的低频融合子图像ILL设置合理的灰度阈值，将浮游生物与背景分开，滤除背景；
5-3、对步骤5-2中的滤除背景的低频融合子图像ILL进行二值化，得到二值图像；
5-4、设置合理的面积上限和下限，滤除步骤3-3中二值图像中面积小于下限的连通区域和面积大于上限的连通区域，滤除海水中的部分杂质；
5-5、计算步骤3-4中的滤除杂质后的二值图像中的连通区域的长轴和短轴，将长轴与短轴之比小于2的连通区域去除，滤除海水中的非浮游生物颗粒；
5-6、对步骤5-5中的滤除颗粒后的二值图像进行膨胀和孔洞填充操作；
5-7、求出步骤5-6中经过膨胀和孔洞填充的二值图像的连通区域(浮游生物)的边界，并在步骤(5)中低频融合子图像ILL中画出浮游生物的边界；
5-8、对步骤5-6中经过膨胀和孔洞填充的二值图像的连通区域进行标记，存储每个连通区域(浮游生物)的像素坐标，记作pm，其中下标m代表第m个浮游生物，pm是一个l×2的矩阵，其中l代表了第m个浮游生物区域包含的像素的个数。
本发明的有益效果：
本发明的图像融合方法通过引入标记图对每个浮游生物进行标记，将占据最多像素的重建图像的序号作为该浮游生物的标记，并将该浮游生物及其周围的区域用被标记的重建图像相应区域的像素进行替换，消除了高频条纹和斑点噪声，提高了浮游生物的对比度，使融合图像具有更好的视觉效果。与一般的小波变换方法相比，本方法使融合后的图像与原始的重建图像具有更高的相关系数，保留了更多的信息。同时，本方法可以实现一次性融合9幅以上的重建图像，特别适用于浮游生物的数字全息显微成像。
附图说明
图1为基于标记图的改进型小波变换图像融合方法的示意图。
图2为数字全息显微成像实验平台。
图3为多焦距浮游生物的全息图。
图4为图3在0.960mm处的重建图像。
图5为图3在0.995mm处的重建图像。
图6为图3在3.268mm处的重建图像。
图7为图3在12.010mm处的重建图像。
图8为图3在2.090mm处的重建图像。
图9为图3在8.620mm处的重建图像。
图10为图3在1.050mm处的重建图像。
图11为图3在3.039mm处的重建图像。
图12为图3在4.440mm处的重建图像。
图13为重建图像图7分解的结果。
图14为重建图像图12分解的结果。
图15为图7和图12融合时的低频融合子图像和高频融合子图像。
图16为利用一般小波变换方法得到的图7和图12的融合图像。
图17为将9幅重建图像(图4-图12)进行融合时的低频融合子图像和高频融合子图像。
图18为利用一般小波变换方法得到的9幅重建图像的融合图像。
图19为用本发明方法对图7和图12进行融合时产生的原始标记图。
图20为本发明方法对9幅重建图像(图4-图12)进行融合时产生的原始标记图。
图21为经过NLM滤波后的低频融合子图像。
图22为滤除背景后的低频融合子图像。
图23为二值化的低频融合子图像。
图24为去除杂质后的二值图像。
图25为滤除非浮游生物颗粒后的二值图像。
图26为进行膨胀和孔洞填充后的二值图像。
图27为各个浮游生物的边界。
图28为对图7和图12进行融合时的最终标记图。
图29为将9幅重建图像进行融合时的最终标记图。
图30为对图7和图12进行融合时按照最终的标记图(图28)得到的低频融合子图像和高频融合子图像。
图31为图7和图12最终融合的图像。
图32为将9幅重建图像进行融合时按照最终的标记图(图29)得到的低频子图像和高频子图像。
图33为9幅重建图像最终融合的图像。
具体实施方式
下面结合实施例和附图来详细说明本发明，但本发明并不仅限于此。
本实施例中，多焦距浮游生物的全息图像由实验室搭建的数字全息显微成像系统拍摄得到，每个浮游生物的焦距由自动聚焦算法计算得到。所有算法均在Matlab2018a的环境中编写，算法运行的硬件条件为core i5处理器，主频2.6GHz，内存8GB。
本实施例的基于标记图的改进型小波变换图像融合方法的示意图如图1所示，包括以下步骤：
(1)通过实验室搭建的数字全息显微成像系统拍摄得到多焦距浮游生物的全息图，图2为实验室搭建的数字全息显微成像系统，图3为拍摄得到的多焦距浮游生物的全息图。利用自动聚焦算法得到每个浮游生物的焦距，分别为0.960mm、0.995mm、3.268mm、12.010mm、2.090mm、8.620mm、1.050mm、3.039mm和4.440mm，然后在上述焦距处对图3的全息图进行重建，得到各个浮游生物分别聚焦的重建图像，如图4-图12所示。
(2)对步骤(1)中的重建图像进行离散傅里叶变换，将每幅重建图像分解成4幅子图像，分别为低频子图像LLn、水平高频子图像HLn、垂直高频子图像LHn和对角高频子图像HHn，其中n代表重建图像的序号；
为了便于说明，以第4个浮游生物聚焦的重建图像(图7)和第9个浮游生物聚焦的重建图像(图12)的融合为例。图13是图7分解的结果，
图14是图12分解的结果。
(3)将步骤(2)中的每幅重建图像的低频子图像LLn按照方差匹配准则进行融合，得到低频融合子图像ILL。将每幅重建图像的水平高频子图像HLn、垂直高频子图像LHn和对角高频子图像HHn均按照最大绝对值准则进行融合，得到水平高频融合子图像IHL、垂直高频融合子图像ILH和对角高频融合子图像IHH。具体过程如下：
3-1、按照递增的顺序依次比较步骤(2)中相邻的两幅低频子图像LLi和LLi+1的每个系数的区域方差，其中i＝1,2,…,n-1，将区域方差更大的系数作为融合系数，并将两幅低频子图像的融合图像作为序号更大的低频子图像LLi+1进行下一轮的比较，直到比较完最后的两幅相邻的低频子图像LLn-1和LLn，将LLn作为最后的融合图像ILL，该过程可表示为：
LLi+1＝max(var(LLi),var(LLi+1)),i＝1,2,…,n-1 (1)
ILL＝LLn (2)
式(1)中var表示求区域方差；
3-2、按照递增的顺序依次比较步骤(2)中相邻的两幅水平高频子图像HLi和HLi+1的每个系数的绝对值，其中i＝1,2,…,n-1，将绝对值更大的系数作为融合系数，并将两幅水平高频子图像的融合图像作为序号更大的水平高频子图像HLi+1进行下一轮的比较，直到比较完最后的两幅相邻的水平高频子图像HLn-1和HLn，将HLn作为最后的融合图像IHL。该过程可表示为：
HLi+1＝max(|HLi|,|HLi+1|),i＝1,2,…,n-1 (3)
IHL＝HLn (4)
式(3)中|·|表示取绝对值，垂直高频融合子图像ILH和对角高频融合子图像IHH按照类似的方法得到。
图15是图7和图12融合时的低频融合子图像和高频融合子图像，将它们进行离散傅里叶逆变换便得到了一般的小波变换法的融合图像，如图16所示。从图16中可以看到第9个浮游生物周围存在高频条纹，降低了浮游生物的对比度，而且浮游生物内部存在斑点噪声，影响了对其表面形貌的观察。图17是将9幅重建图像(图4-图12)进行融合时的低频融合子图像和高频融合子图像，利用一般的小波变换法得到的融合图像如图18所示。
(4)引入一幅标记图IM，用来标记步骤(3)中的水平高频融合子图像IHL的每一个像素来自哪幅重建图像，其尺寸与IHL相同。标记图IM的每一个像素记作M(r,c)＝n，其中r和c分别表示标记图的行坐标和列坐标，n表示重建图像的序号，表明与该像素对应的水平高频融合子图像IHL的像素来自第n幅重建图像，该标记图称作原始标记图；
图19是用本发明方法对图7和图12进行融合时产生的原始标记图，图中的黑色像素表明在水平高频融合子图像IHL中相应的像素来自图7，而白色像素表明在水平高频融合子图像IHL中相应的像素来自图12。从图中可以看到，第9个浮游生物区域的周围和内部均有一些黑色像素，这就是产生高频条纹和斑点噪声的原因。图20是用本发明方法对9幅重建图像进行融合时产生的原始标记图，像素的灰度等级与重建图像的序号成正比，像素越亮表示被标记的重建图像的序号越大。
(5)利用基于连通区域的图像分割方法找到步骤(3)中低频融合子图像ILL中各个浮游生物对应的区域，用pm存储每个浮游生物区域包含的像素的坐标，其中m表示浮游生物的标签。pm是一个l×2的矩阵，其中l代表了第m个浮游生物区域包含的像素的个数。基于连通区域的低频融合子图像ILL中各个浮游生物区域定位的方法如下：
5-1、对步骤(3)中的低频融合子图像ILL进行非局部均值(NLM)滤波，滤除斑点噪声，设置权重为50，搜索窗口尺寸为21，滤波窗口尺寸为9，滤波结果如图21所示；
5-2、对步骤5-1中的经过滤波处理的低频融合子图像ILL设置合理的灰度阈值，将浮游生物与背景分开，滤除背景，阈值设置为0.5，滤除背景后的低频融合子图像如图22所示；
5-3、对步骤5-2中的滤除背景的低频融合子图像ILL进行二值化，得到的二值图像如图23所示；
5-4、在步骤5-3得到的二值图像中设置面积下限为180，面积上限为400，滤除面积小于下限和面积大于上限的连通区域，将杂质去除，去除杂质后的结果如图24所示；
5-5、计算步骤5-4中的滤除杂质后的二值图像中的连通区域的长轴和短轴，将长轴与短轴之比小于2的连通区域去除，滤除海水中的非浮游生物颗粒，结果如图25所示；
5-6、对步骤5-5中的滤除颗粒后的二值图像进行膨胀和孔洞填充操作，结果如图26所示；
5-7、利用Matlab的bwboundaries函数求出步骤5-6中经过膨胀和孔洞填充的二值图像的连通区域(浮游生物)的边界，图27为各个浮游生物的边界；
5-8、利用Matlab的bwlabel函数对步骤5-7中经过膨胀和孔洞填充的二值图像的连通区域进行标记，存储每个连通区域(浮游生物)的像素坐标记作rn和cn，其中下标n代表第n个浮游生物，rn和cn分别对应第n个浮游生物的行坐标和列坐标，它们均为列向量，向量的长度等于组成浮游生物的像素的个数。
(6)根据步骤(5)得到的每个浮游生物区域包含的像素的坐标，在步骤(4)中的标记图IM中相应的位置统计每个浮游生物区域中各个标记的频率，即统计在水平高频融合子图像IHL中每个浮游生物区域中来自各幅重建图像的像素的频率，记作fmn，其中m表示浮游生物区域的标签，n表示重建图像的序号。找到在标记图IM中每个浮游生物区域中频率最大的标记，即找到在水平高频融合子图像IHL中每个浮游生物区域中占据最多像素的重建图像的序号，记作nmax；
例如，在对图7和图12进行融合时产生的原始标记图(图19)中，第4个浮游生物区域包含285个标记为4的像素和64个标记为9的像素，第9个浮游生物区域包含80个标记为4的像素和189个标记为9的像素，于是f44＝285，f49＝64，f94＝80，f99＝189。由于max(f44,f49)＝f44，nmax＝4，max(f94,f99)＝f99，nmax＝9，所以第4个浮游生物区域被标记为4，第9个浮游生物区域被标记为9。
(7)利用区域生长方法对步骤(5)中的浮游生物区域进行膨胀操作，用pm'存储膨胀后的每个浮游生物区域包含的像素的坐标，并在标记图IM中相应的区域用步骤(6)得到的频率最大的标记nmax进行标记，即M'(r,c)＝nmax，其中M'(r,c)∈pm'，得到最终的标记图IM'；
图28为对图7和图12进行融合时的最终标记图。图29为将9幅重建图像进行融合时的最终标记图，图中像素的灰度等级代表了重建图像的序号，越亮则序号越大，部分浮游生物区域被标记了相同的序号，例如第1个浮游生物和第2个浮游生物均被标记为序号2，这是因为它们处于聚焦状态时的重建图像(图4和图5)的重建距离太接近，分别为0.960mm和0.995mm。需要注意的是，这不仅不会影响融合效果，反而可以减少参加融合的重建图像的数量，缩短运算时间。
(8)将步骤(2)中每幅重建图像的低频子图像LLn、水平高频子图像HLn、垂直高频子图像LHn和对角高频子图像HHn均按照最终的标记图IM'进行融合，得到最终的低频融合子图像ILL'、水平高频融合子图像IHL'、垂直高频融合子图像ILH'和对角高频融合子图像IHH'，然后根据离散傅里叶逆变换得到最后的多焦距浮游生物的融合图像。
图30为对图7和图12进行融合时按照最终的标记图(图28)得到的低频融合子图像和高频融合子图像，最终的融合图像如图31所示。图32为将9幅重建图像进行融合时按照最终的标记图(图29)得到的低频子图像和高频子图像，最终的融合图像如图33所示。图31与图16相比，第9个浮游生物周围的高频条纹和内部的斑点噪声被有效地消除了。图33与图18相比，各个浮游生物的斑点噪声被有效地消除了，并且具有更好的视觉效果，更清晰的轮廓。表1对本发明方法和一般小波变换法得到的融合图像(图33和图18)的均值
方差σ和图像信息熵H进行了比较，表2给出了两幅融合图像与原始的9幅重建图像的相关系数。
表1
表2
从表1中可以看到，由于高频条纹和斑点噪声的有效消除，用本发明方法得到的9幅重建图像的融合图像的方差和信息熵均小于用一般小波变换方法得到的9幅重建图像的融合图像的方差和信息熵。从表2的分析数据可知，与一般的小波变换方法相比，用本发明方法得到的融合图像与原始的9幅重建图像的相关系数更高，保留了更多的原始信息。
以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于标记图的改进型小波变换图像融合方法，其特征在于，包括以下步骤：
(1)获取多焦距浮游生物全息图中各个浮游生物在对应焦距处的重建图像；
(2)对步骤(1)中的重建图像进行离散傅里叶变换，将每幅重建图像分解为低频子图像LLn、水平高频子图像HLn、垂直高频子图像LHn和对角高频子图像HHn，其中n代表重建图像的序号；
(3)将步骤(2)中的每幅重建图像的低频子图像LLn按照方差匹配准则进行融合，得到低频融合子图像ILL；将每幅重建图像的水平高频子图像HLn、垂直高频子图像LHn和对角高频子图像HHn均按照最大绝对值准则进行融合，得到水平高频融合子图像IHL、垂直高频融合子图像ILH和对角高频融合子图像IHH；
(4)引入一幅标记图IM，用来标记步骤(3)中的水平高频融合子图像IHL的每一个像素来自哪幅重建图像，标记图IM的每一个像素记作M(r,c)＝n，其中r和c分别表示标记图的行坐标和列坐标，n表示重建图像的序号；
(5)找到步骤(3)中低频融合子图像ILL中各个浮游生物对应的区域，用pm存储每个浮游生物区域包含的像素的坐标，其中m表示浮游生物区域的标签；
(6)根据步骤(5)得到的每个浮游生物区域包含的像素的坐标，在步骤(4)中的标记图IM中相应的位置统计每个浮游生物区域中各个标记的频率，记作fmn，其中m表示浮游生物区域的标签，n表示重建图像的序号；找到在标记图IM中每个浮游生物区域中频率最大的标记，记作nmax；
(7)对步骤(5)中的浮游生物区域进行膨胀操作，用pm'存储膨胀后的每个浮游生物区域包含的像素的坐标，并在标记图IM中相应的区域用步骤(6)得到的频率最大的标记nmax进行标记，即M'(r,c)＝nmax，其中M'(r,c)∈pm'，得到最终的标记图IM'；
(8)将步骤(2)中每幅重建图像的低频子图像LLn、水平高频子图像HLn、垂直高频子图像LHn和对角高频子图像HHn均按照最终的标记图IM'进行融合，得到最终的低频融合子图像ILL'、水平高频融合子图像IHL'、垂直高频融合子图像ILH'和对角高频融合子图像IHH'，然后根据离散傅里叶逆变换得到最后的多焦距浮游生物的融合图像。
2.如权利要求1所述的基于标记图的改进型小波变换图像融合方法，其特征在于，步骤(3)中，将步骤(2)中的每幅重建图像的低频子图像LLn按照方差匹配准则进行融合的方法如下：
按照递增的顺序依次比较步骤(2)中相邻的两幅低频子图像LLi和LLi+1的每个系数的区域方差，其中i＝1,2,…,n-1，将区域方差更大的系数作为融合系数，并将两幅低频子图像的融合图像作为序号更大的低频子图像LLi+1进行下一轮的比较，直到比较完最后的两幅相邻的低频子图像LLn-1和LLn，将LLn作为最后的融合图像ILL，该过程可表示为：
LLi+1＝max(var(LLi),var(LLi+1)),i＝1,2,L,n-1 (1)
ILL＝LLn (2)
式(1)中var表示求区域方差。
3.如权利要求1所述的基于标记图的改进型小波变换图像融合方法，其特征在于，步骤(3)中，将每幅重建图像的水平高频子图像HLn、垂直高频子图像LHn和对角高频子图像HHn均按照最大绝对值准则进行融合，其中水平高频子图像HLn的融合方法如下：
按照递增的顺序依次比较步骤(2)中相邻的两幅水平高频子图像HLi和HLi+1的每个系数的绝对值，其中i＝1,2,…,n-1，将绝对值更大的系数作为融合系数，并将两幅水平高频子图像的融合图像作为序号更大的水平高频子图像HLi+1进行下一轮的比较，直到比较完最后的两幅相邻的水平高频子图像HLn-1和HLn，将HLn作为最后的融合图像IHL，该过程可表示为：
HLi+1＝max(|HLi|,|HLi+1|),i＝1,2,L,n-1 (3)
IHL＝HLn (4)
式(3)中|·|表示取绝对值；
所述的垂直高频融合子图像ILH和对角高频融合子图像IHH按照与水平高频子图像HLn相同的融合方法得到。
4.如权利要求1所述的基于标记图的改进型小波变换图像融合方法，其特征在于，所述步骤(5)中，利用基于连通区域的图像分割方法找到步骤(3)中低频融合子图像ILL中各个浮游生物对应的区域，具体方法如下：
4-1、对步骤(3)中的低频融合子图像ILL进行非局部均值滤波，滤除斑点噪声；
4-2、对步骤4-1中的经过滤波处理的低频融合子图像ILL设置灰度阈值，将浮游生物与背景分开，滤除背景；
4-3、对步骤4-2中的滤除背景的低频融合子图像ILL进行二值化，得到二值图像；
4-4、设置面积上限和下限，滤除步骤4-3中二值图像中面积小于下限的连通区域和面积大于上限的连通区域，滤除海水中的部分杂质；
4-5、计算步骤4-4中的滤除杂质后的二值图像中的连通区域的长轴和短轴，将长轴与短轴之比小于2的连通区域去除，滤除海水中的非浮游生物颗粒；
4-6、对步骤4-5中的滤除颗粒后的二值图像进行膨胀和孔洞填充操作；
4-7、求出步骤4-6中经过膨胀和孔洞填充的二值图像的连通区域的边界，并在步骤(5)中低频融合子图像ILL中画出浮游生物的边界；
4-8、对步骤4-6中经过膨胀和孔洞填充的二值图像的连通区域进行标记，存储每个连通区域的像素坐标，记作pm，其中下标m代表第m个浮游生物，pm是一个l×2的矩阵，其中l代表了第m个浮游生物区域包含的像素的个数。
5.如权利要求1所述的基于标记图的改进型小波变换图像融合方法，其特征在于，步骤(6)中，每个浮游生物区域中各个标记的频率即为在水平高频融合子图像IHL中每个浮游生物区域中来自各幅重建图像的像素的频率。
6.如权利要求1所述的基于标记图的改进型小波变换图像融合方法，其特征在于，步骤(6)中，所述标记图IM中每个浮游生物区域中频率最大的标记，即为水平高频融合子图像IHL中每个浮游生物区域中占据最多像素的重建图像的序号。
7.如权利要求1所述的基于标记图的改进型小波变换图像融合方法，其特征在于，在步骤(7)中，利用区域生长方法对步骤(5)中的浮游生物区域进行膨胀操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910516346.XA CN110322409B (zh) | 2019-06-14 | 2019-06-14 | 一种基于标记图的改进型小波变换图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910516346.XA CN110322409B (zh) | 2019-06-14 | 2019-06-14 | 一种基于标记图的改进型小波变换图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110322409A CN110322409A (zh) | 2019-10-11 |
| CN110322409B true CN110322409B (zh) | 2021-08-31 |
Family
ID=68119595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910516346.XA Active CN110322409B (zh) | 2019-06-14 | 2019-06-14 | 一种基于标记图的改进型小波变换图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110322409B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017196885A1 (en) * | 2016-05-10 | 2017-11-16 | The Regents Of The University Of California | Method and device for high-resolution color imaging using merged images from holographic and lens-based devices |
| CN108492245A (zh) * | 2018-02-06 | 2018-09-04 | 浙江大学 | 基于小波分解和双边滤波的低光度图像对融合方法 |
| CN108537102A (zh) * | 2018-01-25 | 2018-09-14 | 西安电子科技大学 | 基于稀疏特征与条件随机场的高分辨sar图像分类方法 |
| CN109300096A (zh) * | 2018-08-07 | 2019-02-01 | 北京智脉识别科技有限公司 | 一种多聚焦图像融合方法及装置 |
| CN109405824A (zh) * | 2018-09-05 | 2019-03-01 | 武汉契友科技股份有限公司 | 一种适用于智能网联汽车的多源感知定位系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8659697B2 (en) * | 2010-11-11 | 2014-02-25 | DigitalOptics Corporation Europe Limited | Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing |
| CN108109138B (zh) * | 2017-12-15 | 2021-08-06 | 华南理工大学 | 一种针对类镜面物体的高光区域自适应匀光的方法 |
-
2019
- 2019-06-14 CN CN201910516346.XA patent/CN110322409B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017196885A1 (en) * | 2016-05-10 | 2017-11-16 | The Regents Of The University Of California | Method and device for high-resolution color imaging using merged images from holographic and lens-based devices |
| CN108537102A (zh) * | 2018-01-25 | 2018-09-14 | 西安电子科技大学 | 基于稀疏特征与条件随机场的高分辨sar图像分类方法 |
| CN108492245A (zh) * | 2018-02-06 | 2018-09-04 | 浙江大学 | 基于小波分解和双边滤波的低光度图像对融合方法 |
| CN109300096A (zh) * | 2018-08-07 | 2019-02-01 | 北京智脉识别科技有限公司 | 一种多聚焦图像融合方法及装置 |
| CN109405824A (zh) * | 2018-09-05 | 2019-03-01 | 武汉契友科技股份有限公司 | 一种适用于智能网联汽车的多源感知定位系统 |
Non-Patent Citations (3)
| Title |
|---|
| MULTI-FOCUS IMAGE FUSION USING WAVELET-DOMAIN STATISTICS;Jing Tian 等;《IEEE》;20101203;第1205-1208页 * |
| Research on marine plankton imaging based on digital holographic technology;Tang, Ming 等;《SPIE》;20180818;第1-6页 * |
| 融合小波变换和颜色熵的分块浮游生物识别;丁伟杰 等;《计算机仿真》;20111031;第28卷(第10期);第244-248页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110322409A (zh) | 2019-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019148739A1 (zh) | 一种模糊图像综合处理方法和系统 | |
| CN111754446A (zh) | 一种基于生成对抗网络的图像融合方法、系统及存储介质 | |
| KR101498206B1 (ko) | 고해상도 영상 획득 장치 및 그 방법 | |
| CN109447930B (zh) | 小波域光场全聚焦图像生成算法 | |
| EP2008243A1 (en) | System for preparing an image for segmentation | |
| CN107909560A (zh) | 一种基于SiR的多聚焦图像融合方法及系统 | |
| CN109509163B (zh) | 一种基于fgf的多聚焦图像融合方法及系统 | |
| Akkasaligar et al. | Classification of medical ultrasound images of kidney | |
| CN113191979B (zh) | 一种分区域sar图像非局部均值去噪方法 | |
| CN112330613A (zh) | 一种细胞病理数字图像质量的评价方法及系统 | |
| Singh et al. | A review of image fusion: Methods, applications and performance metrics | |
| Garg et al. | Multilevel medical image fusion using segmented image by level set evolution with region competition | |
| CN114298971A (zh) | 一种冠状动脉分割方法、系统、终端以及存储介质 | |
| CN110322409B (zh) | 一种基于标记图的改进型小波变换图像融合方法 | |
| CN109300097B (zh) | 基于自适应分块的多序列图像融合方法 | |
| CN117132503A (zh) | 一种图像局部高亮区域修复方法、系统、设备及存储介质 | |
| CN117011205A (zh) | 一种像素级多焦图像融合方法、存储介质及装置 | |
| CN112070675A (zh) | 一种基于图的正则化光场超分辨率方法和光场显微装置 | |
| Chaux et al. | Wavelet-based restoration methods: application to 3D confocal microscopy images | |
| CN112508828A (zh) | 一种基于稀疏表示和引导滤波的多聚焦图像融合方法 | |
| Dannemiller et al. | A new method for the segmentation of algae images using retinex and support vector machine | |
| Krishna et al. | Machine learning based de-noising of electron back scatter patterns of various crystallographic metallic materials fabricated using laser directed energy deposition | |
| Tao et al. | Radon transform-based motion blurred silkworm pupa image restoration | |
| Hariharan et al. | Multifocus image fusion by establishing focal connectivity | |
| CN110286464B (zh) | 一种基于面积准则的自动聚焦方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |