CN102622737A - 一种基于区域生长的显微图像融合方法 - Google Patents

一种基于区域生长的显微图像融合方法 Download PDF

Info

Publication number
CN102622737A
CN102622737A CN2012100502051A CN201210050205A CN102622737A CN 102622737 A CN102622737 A CN 102622737A CN 2012100502051 A CN2012100502051 A CN 2012100502051A CN 201210050205 A CN201210050205 A CN 201210050205A CN 102622737 A CN102622737 A CN 102622737A
Authority
CN
China
Prior art keywords
image
pixel
sharpness
coordinate position
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100502051A
Other languages
English (en)
Other versions
CN102622737B (zh
Inventor
蒋刚毅
白翠霞
郁梅
王一刚
彭宗举
邵枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201210050205.1A priority Critical patent/CN102622737B/zh
Publication of CN102622737A publication Critical patent/CN102622737A/zh
Priority to US13/775,195 priority patent/US8913848B2/en
Application granted granted Critical
Publication of CN102622737B publication Critical patent/CN102622737B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于区域生长的显微图像融合方法,其通过对显微图像中的各个图像块进行清晰度评价,以判断显微图像的模糊程度并确认模糊种子块,同时利用区域生长逐步完成模糊区域和清晰区域的精确划分并标记,最后通过显微图像的融合规则,得到多幅显微图像融合后的一幅清晰的高质量的显微图像,优点在于由于结合了显微图像的清晰度评价,并进行区域生长进行每幅显微图像的清晰区域和模糊区域的分割,因此本发明方法的显微图像融合结果在主观人眼感知方面和客观评价指标方面都表现出了很大的优越性,而且本发明方法计算简单容易实现、结果稳定,适用于融合浅景深拍摄到的数码光学显微图像。

Description

一种基于区域生长的显微图像融合方法
技术领域
本发明涉及一种图像处理技术,尤其是涉及一种基于区域生长的显微图像融合方法。
背景技术
在光学显微镜成像系统中,随着放大倍率的增高,景深越来越小,因此,只有那些在聚焦平面或其附近的目标才能清晰可见,这使得即便是结构最简单、三维深度相对平坦的物体也不可能在一幅图像中完全聚焦清晰。在多个领域的实际应用中,要求显微成像既有高放大倍率,又要达到足够的景深,如纺织行业的纤维观测、印刷电路板行业的质量检验等。为解决这一技术问题,需要不断调整光学显微镜的焦距,得到一系列纵向局部清晰图像,然后将这一系列纵向局部清晰图像输入到计算机进行融合处理,以得到物体在整个空间的完整清晰图像,弥补用光学显微镜直接观测时只能清晰看到物体某一焦平面,而不能看到整个空间内的完整清晰图像的不足。
现有的图像融合方法主要分为三类:像素级图像融合方法、特征级图像融合方法和决策级图像融合方法。像素级图像融合方法是在基础层面上的图像融合,其主要优点是融合后的图像包含了尽可能多的原始数据且融合的准确性最高,提供了其他融合层次不能提供的细节信息,该类方法一般借助小波变换等变换方法,在变换域处理像素,融合复杂度相对较高。特征级图像融合方法指的是对预处理和特征提取后的原始输入图像进行信息获取,如轮廓、形状、边缘和区域等信息进行综合处理,该类方法的实施一般需要较多经验参数,对于多变的对象,特征提取的不稳定性会给融合带来偏差。决策级图像融合方法是指根据一定的准则以及每个决策的可行度做出最优融合决策,但由于决策准则多样,因此该类方法需要人工干预,难以实现自动融合。
发明内容
本发明所要解决的技术问题是提供一种计算简单、结果稳定,且能够有效提高主观感知与客观评价结果的基于区域生长的显微图像融合方法。
本发明解决上述技术问题所采用的技术方案为:一种基于区域生长的显微图像融合方法,其特征在于包括以下步骤:
①令{IS1(x,y)}为光学显微镜下采集到的一幅显微图像,令{IS2(x,y)}为光学显微镜下采集到的另一幅显微图像,其中,0≤x≤W-1,0≤y≤H-1,W表示图像的宽度,H表示图像的高度,IS1(x,y)表示{IS1(x,y)}中坐标位置为(x,y)的像素点的灰度值,IS2(x,y)表示{IS2(x,y)}中坐标位置为(x,y)的像素点的灰度值;
②将{IS1(x,y)}划分成
Figure BDA0000139327130000021
个互不重叠的尺寸大小为n×n的第一图像块,将{IS1(x,y)}中坐标位置为(i,j)的第一图像块记为IB1_n(i,j),将{IS2(x,y)}划分成
Figure BDA0000139327130000022
个互不重叠的尺寸大小为n×n的第二图像块,将{IS2(x,y)}中坐标位置为(i,j)的第二图像块记为IB2_n(i,j),其中,
Figure BDA0000139327130000023
n的值为2的幂次;
③对{IS1(x,y)}中的每个第一图像块进行清晰度评价,得到{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值,对于{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j),将其对应的清晰度特征值记为Fv1_n(i,j);
对{IS2(x,y)}中的每个第二图像块进行清晰度评价,得到{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值,对于{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j),将其对应的清晰度特征值记为Fv2_n(i,j);
④确定{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值的第一判定阈值,记为Tn_1;然后根据{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值和第一判定阈值Tn_1,判断{IS1(x,y)}中的每个第一图像块是否为模糊种子块,对于{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j),判断IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j)是否小于第一判定阈值Tn_1,如果是,则判定IB1_n(i,j)为模糊种子块,并将IB1_n(i,j)中的各个像素点的标记设为1,否则,判定IB1_n(i,j)为非模糊种子块,并将IB1_n(i,j)中的各个像素点的标记设为0;再根据{IS1(x,y)}中的每个第一图像块中的各个像素点的标记,计算{IS1(x,y)}对应的清晰度标记图像,记为{ID1_n(x,y)},ID1_n(x,y)=IB1_n(x/n),int(y/n),int(y/n)),其中,ID1_n(x,y)表示{ID1_n(x,y)}中坐标位置为(x,y)的像素点的标记,int()为取整运算符;
确定{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值的第二判定阈值,记为Tn_2;然后根据{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值和第二判定阈值Tn_2,判断{IS2(x,y)}中的每个第二图像块是否为模糊种子块,对于{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j),判断IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j)是否小于第二判定阈值Tn_2,如果是,则判定IB2_n(i,j)为模糊种子块,并将IB2_n(i,j)中的各个像素点的标记设为1,否则,判定IB2_n(i,j)为非模糊种子块,并将IB2_n(i,j)中的各个像素点的标记设为0;再根据{IS2(x,y)}中的每个第二图像块中的各个像素点的标记,计算{IS2(x,y)}对应的清晰度标记图像,记为{ID2_n(x,y)},ID2_n(x,y)=IB2_n(int(x/n),int(y/n)),其中,ID2_n(x,y)表示{ID2_n(x,y)}中坐标位置为(x,y)的像素点的标记,int()为取整运算符;
⑤取n=128、n=64、n=32、n=16、n=8,分别重复执行步骤③至步骤④,得到取n=128时{IS1(x,y)}对应的清晰度标记图像{ID1_128(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_128(x,y)}、取n=64时{IS1(x,y)}对应的清晰度标记图像{ID1_64(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_64(x,y)}、取n=32时{IS1(x,y)}对应的清晰度标记图像{ID1_32(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_32(x,y)}、取n=16时{IS1(x,y)}对应的清晰度标记图像{ID1_16(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_16(x,y)}、取n=8时{IS1(x,y)}对应的清晰度标记图像{ID1_8(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_8(x,y)};
⑥根据{ID1_128(x,y)}、{ID1_64(x,y)}、{ID1_32(x,y)}、{ID1_16(x,y)}和{ID1_8(x,y)}中标记为1的像素点,进行模糊区域生长得到{IS1(x,y)}对应的区域生长图像,记为{IG1(x,y)},其中,IG1(x,y)表示{IG1(x,y)}中坐标位置为(x,y)的像素点的标记;
根据{ID2_128(x,y)}、{ID2_64(x,y)}、{ID2_32(x,y)}、{ID2_16(x,y)}和{ID2_8(x,y)}中标记为1的像素点,进行模糊区域生长得到{IS2(x,y)}对应的区域生长图像,记为{IG2(x,y)},其中,IG2(x,y)表示{IG2(x,y)}中坐标位置为(x,y)的像素点的标记;
⑦根据{IS1(x,y)}对应的区域生长图像{IG1(x,y)}和{IS2(x,y)}对应的区域生长图像{IG2(x,y)},并结合{IS1(x,y)}和{IS2(x,y)},融合得到最终的融合显微图像,记为{IF(x,y)},
Figure BDA0000139327130000041
其中,IF(x,y)表示{IF(x,y)}中坐标位置为(x,y)的像素点的灰度值, C = I S 1 ( x , y ) Cnt 1 ( x , y ) < Cnt 2 ( x , y ) I S 2 ( x , y ) Cnt 1 ( x , y ) > Cnt 2 ( x , y ) I S 2 ( x , y ) + I S 2 ( x , y ) 2 Cnt 1 ( x , y ) = Cnt 2 ( x , y ) , Cnt1(x,y)表示{IG1(x,y)}中坐标位置为(x,y)的像素点的8邻域中标记为1的像素点的个数,Cnt2(x,y)表示{IG2(x,y)}中坐标位置为(x,y)的像素点的8邻域中标记为1的像素点的个数。
所述的步骤③中计算{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j)的具体过程为:③-a1、采用改进的TenenGrad梯度函数,计算IB1_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,对于IB1_n(i,j)中坐标位置为(x1,y1)的像素点,将其水平方向梯度和垂直方向梯度分别记为Gh1(x1,y1)和Gv1(x1,y1),Gh1(x1,y1)=(f1(x1-1,y1-1)+2f1(x1,y1-1)+f1(x1+1,y1-1))-(f1(x1-1,y1+1)+2f1(x1,y1+1)+f1(x1+1,y1+1)),Gv1(x1,y1)=(f1(x1+1,y1-1)+2f1(x1+1,y1)+f1(x1+1,y1+1))-(f1(x1-1,y1-1)+2f1(x1-1,y1)+f1(x1-1,y1+1)),其中,0≤x1≤n-1,0≤y1≤n-1,f1(x1-1,y1-1)表示IB1_n(i,j)中坐标位置为(x1-1,y1-1)的像素点的灰度值,f1(x1,y1-1)表示IB1_n(i,j)中坐标位置为(x1,y1-1)的像素点的灰度值,f1(x1+1,y1-1)表示IB1_n(i,j)中坐标位置为(x1+1,y1-1)的像素点的灰度值,f1(x1-1,y1+1)表示IB1_n(i,j)中坐标位置为(x1-1,y1+1)的像素点的灰度值,f1(x1,y1+1)表示IB1_n(i,j)中坐标位置为(x1,y1+1)的像素点的灰度值,f1(x1+1,y1+1)表示IB1_n(i,j)中坐标位置为(x1+1,y1+1)的像素点的灰度值,f1(x1+1,y1)表示IB1_n(i,j)中坐标位置为(x1+1,y1)的像素点的灰度值,f1(x1-1,y1)表示IB1_n(i,j)中坐标位置为(x1-1,y1)的像素点的灰度值;③-a2、根据IB1_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,计算IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j),
Figure BDA0000139327130000051
所述的步骤③中计算{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j)的具体过程为:③-b1、采用改进的TenenGrad梯度函数,计算IB2_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,对于IB2_n(i,j)中坐标位置为(x1,y1)的像素点,将其水平方向梯度和垂直方向梯度分别记为Gh2(x1,y1)和Gv2(x1,y1),Gh2(x1,y1)=(f2(x1-1,y1-1)+2f2(x1,y1-1)+f2(x1+1,y1Z-1))-(f2(x1-1,y1+1)+2f2(x1,y1+1)+f2(x1+1,y1+1)),Gv2(x1,y1)=(f2(x1+1,y1-1)+2f2(x1+1,y1)+f2(x1+1,y1+1))-(f2(x1-1,y1-1)+2f2(x1-1,y1)+f2(x1-1,y1+1)),其中,0≤x1≤n-1,0≤y1≤n-1,f2(x1-1,y1-1)表示IB2_n(i,j)中坐标位置为(x1-1,y1-1)的像素点的灰度值,f2(x1,y1-1)表示IB2_n(i,j)中坐标位置为(x1,y1-1)的像素点的灰度值,f2(x1+1,y1-1)表示IB2_n(i,j)中坐标位置为(x1+1,y1-1)的像素点的灰度值,f2(x1-1,y1+1)表示IB2_n(i,j)中坐标位置为(x1-1,y1+1)的像素点的灰度值,f2(x1,y1+1)表示IB2_n(i,j)中坐标位置为(x1,y1+1)的像素点的灰度值,f2(x1+1,y1+1)表示IB2_n(i,j)中坐标位置为(x1+1,y1+1)的像素点的灰度值,f2(x1+1,y1)表示IB2_n(i,j)中坐标位置为(x1+1,y1)的像素点的灰度值,f2(x1-1,y1)表示IB2_n(i,j)中坐标位置为(x1-1,y1)的像素点的灰度值;③-a2、根据IB2_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,计算IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j),
Figure BDA0000139327130000061
所述的步骤④中确定{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值的第一判定阈值Tn_1的具体过程为:④-a1、对{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值进行排序,找出最大的清晰度特征值和最小的清晰度特征值,分别记为Fv1_n_MAX和Fv1_n_MIN;④-a2、根据Fv1_n_MAX和Fv1_n_MIN计算第一判定阈值Tn_1,Tn_1=Fv1_n_MIN+(Fv1_n_MAX-Fv1_n_MIN)×w1,其中,w1为权重因子;
所述的步骤④中确定{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值的第二判定阈值Tn_2的具体过程为:④-b1、对{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值进行排序,找出最大的清晰度特征值和最小的清晰度特征值,分别记为Fv2_n_MAX和Fv2_n_MIN;④-b2、根据Fv2_n_MAX和Fv2_n_MIN计算第二判定阈值Tn_2,Tn_2=Fv2_n_MIN+(Fv2_n_MAX-Fv2_n_MIN)×w2,其中,w2为权重因子。
所述的步骤④-a2中0.4≤w1≤0.6,所述的步骤④-b2中0.4≤w2≤0.6。
所述的步骤⑥中{IS1(x,y)}对应的区域生长图像{IG1(x,y)}的获取过程为:⑥-a1、将取n=128时{IS1(x,y)}对应的清晰度标记图像{ID1_128(x,y)}作为起始种子图像;⑥-a2、考察{IS1(x,y)}中的每个尺寸大小为n×n的模糊种子块相邻的8个尺寸大小为
Figure BDA0000139327130000062
的图像块,如果{IS1(x,y)}中的尺寸大小为n×n的模糊种子块相邻的尺寸大小为
Figure BDA0000139327130000063
的图像块中的各个像素点的标记均为1,则将起始种子图像中相同位置的尺寸大小为
Figure BDA0000139327130000064
的图像块中的各个像素点的标记设为1;⑥-a3、令并返回执行步骤⑥-a2,直至n=8,其中,
Figure BDA0000139327130000072
中的“=”为赋值符号;⑥-a4、当n=8时,直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为8×8的模糊种子块相邻的8个尺寸大小为
Figure BDA0000139327130000073
的图像块相同位置的图像块中的各个像素点的标记设为1;然后令n=4,并直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为4×4的模糊种子块相邻的8个尺寸大小为
Figure BDA0000139327130000074
的图像块相同位置的图像块中的各个像素点的标记设为1;再令n=2,并直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为2×2的模糊种子块相邻的8个像素点相同位置的像素点的标记设为1,得到{IS1(x,y)}对应的区域生长图像{IG1(x,y)},{IG1(x,y)}中标记为1的像素点为模糊像素点,{IG1(x,y)}中标记为0的像素点为非模糊像素点;
所述的步骤⑥中{IS2(x,y)}对应的区域生长图像{IG2(x,y)}的获取过程为:⑥-b1、将取n=128时{IS2(x,y)}对应的清晰度标记图像{ID2_128(x,y)}作为起始种子图像;⑥-b2、考察{IS2(x,y)}中的每个尺寸大小为n×n的模糊种子块相邻的8个尺寸大小为
Figure BDA0000139327130000075
的图像块,如果{IS2(x,y)}中的尺寸大小为n×n的模糊种子块相邻的尺寸大小为
Figure BDA0000139327130000076
的图像块中的各个像素点的标记均为1,则将起始种子图像中相同位置的尺寸大小为
Figure BDA0000139327130000077
的图像块中的各个像素点的标记设为1;⑥-b3、令并返回执行步骤⑥-a2,直至n=8,其中,中的“=”为赋值符号;⑥-b4、当n=8时,直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为8×8的模糊种子块相邻的8个尺寸大小为
Figure BDA00001393271300000710
的图像块相同位置的图像块中的各个像素点的标记设为1;然后令n=4,并直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为4×4的模糊种子块相邻的8个尺寸大小为
Figure BDA00001393271300000711
的图像块相同位置的图像块中的各个像素点的标记设为1;再令n=2,并直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为2×2的模糊种子块相邻的8个像素点相同位置的像素点的标记设为1,得到{IS2(x,y)}对应的区域生长图像{IG2(x,y)},{IG2(x,y)}中标记为1的像素点为模糊像素点,{IG2(x,y)}中标记为0的像素点为非模糊像素点。
与现有技术相比,本发明的优点在于通过对显微图像中的各个图像块进行清晰度评价,以判断显微图像的模糊程度并确认模糊种子块,同时利用区域生长逐步完成模糊区域和清晰区域的精确划分并标记,最后通过显微图像的融合规则,得到多幅显微图像融合后的一幅清晰的高质量的显微图像,由于结合了显微图像的清晰度评价,并进行区域生长进行每幅显微图像的清晰区域和模糊区域的分割,因此本发明方法的显微图像融合结果在主观人眼感知方面和客观评价指标方面都表现出了很大的优越性,而且本发明方法计算简单容易实现、结果稳定,适用于融合浅景深拍摄到的数码光学显微图像。
附图说明
图1为本发明方法的总体实现框图;
图2为区域生长的过程示意图;
图3a为双子叶茎横截面显微图像一;
图3b为双子叶茎横截面显微图像二;
图3c为上皮组织显微图像一;
图3d为上皮组织显微图像二;
图4a为图3a所示的显微图像划分成大小为128×128的图像块并经清晰度判断后的显微图像,其中左边白色部分是被消除的模糊部分,右边剩下的图像是有待模糊区域生长后消除的部分;
图4b为图4a经尺寸为64×64的图像块模糊区域生长后的剩下的显微图像;
图4c为图4b经尺寸为32×32的图像块模糊区域生长后的剩下的显微图像;
图4d为图4c经尺寸为16×16的图像块模糊区域生长后的剩下的显微图像;
图4e为图4d经尺寸为8×8的图像块模糊区域生长后的剩下的显微图像;
图4f为图4e经尺寸为4×4的图像块模糊区域生长后的剩下的显微图像;
图4g为图4f经尺寸为2×2的图像块模糊区域生长后的剩下的显微图像;
图4h为图4g经尺寸为1×1的像素点模糊区域生长后的剩下的显微图像;
图5为双子叶茎横截面最终的融合显微图像;
图6为上皮组织最终的融合显微图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于区域生长的显微图像融合方法,其流程框图如图1所示,其包括以下步骤:
①令{IS1(x,y)}为光学显微镜下采集到的一幅显微图像,令{IS2(x,y)}为光学显微镜下采集到的另一幅显微图像,其中,0≤x≤W-1,0≤y≤H-1,W表示图像的宽度,H表示图像的高度,IS1(x,y)表示{IS1(x,y)}中坐标位置为(x,y)的像素点的灰度值,IS2(x,y)表示{IS2(x,y)}中坐标位置为(x,y)的像素点的灰度值。
为更好地验证本发明方法的有效性,在常见的人体切片和植物切片中各选一组图像作为显微图像的代表图像,本实施例采用的显微图像是尺寸大小为1024×768的真彩色显微图像。本实施例采用的显微图像如图3a至图3d所示,其中图3a和图3b为双子叶茎横截面的两幅显微图像,图3c和图3d为上皮组织的两幅显微图像。图3a至图3d所示的显微图像均是光学显微镜小景深条件下拍摄到的部分清晰和部分模糊的显微图像,在本实施例中,图3a所示的显微图像即为{IS1(x,y)},图3b所示的显微图像即为{IS2(x,y)},同样地,图3c所示的显微图像即为{IS1(x,y)}显微图像,图3d所示的显微图像即为{IS2(x,y)}。
②将{IS2(x,y)}划分成个互不重叠的尺寸大小为n×n的第一图像块,将{IS1(x,y)}中坐标位置为(i,j)的第一图像块记为IB1_n(i,j),将{IS2(x,y)}划分成
Figure BDA0000139327130000092
个互不重叠的尺寸大小为n×n的第二图像块,将{IS2(x,y)}中坐标位置为(i,j)的第二图像块记为IB2_n(i,j),其中,
Figure BDA0000139327130000093
Figure BDA0000139327130000094
n的值为2的幂次。
③对{IS1(x,y)}中的每个第一图像块进行清晰度评价,得到{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值,对于{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j),将其对应的清晰度特征值记为Fv1_n(i,j)。在此具体实施例中,计算{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j)的具体过程为:③-a1、采用改进的TenenGrad梯度函数,计算IB1_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,对于IB1_n(i,j)中坐标位置为(x1,y1)的像素点,将其水平方向梯度和垂直方向梯度分别记为Gh1(x1,y1)和Gv1(x1,y1),Gh1(x1,y1)=(f1(x1-1,y1-1)+2f1(x1,y1-1)+f1(x1+1,y1-1))-(f1(x1-1,y1+1)+2f1(x1,y1+1)+f1(x1+1,y1+1)),Gv1(x1,y1)=(f1(x1+1,y1-1)+2f1(x1+1,y1)+f1(x1+1,y1+1))-(f1(x1-1,y1-1)+2f1(x1-1,y1)+f1(x1-1,y1+1)),其中,0≤x1≤n-1,0≤y1≤n-1,f1(x1-1,y1-1)表示IB1_n(i,j)中坐标位置为(x1-1,y1-1)的像素点的灰度值,f1(x1,y1-1)表示IB1_n(i,j)中坐标位置为(x1,y1-1)的像素点的灰度值,f1(x1+1,y1-1)表示IB1_n(i,j)中坐标位置为(x1+1,y1-1)的像素点的灰度值,f1(x1-1,y1+1)表示IB1_n(i,j)中坐标位置为(x1-1,y1+1)的像素点的灰度值,f1(x1,y1+1)表示IB1_n(i,j)中坐标位置为(x1,y1+1)的像素点的灰度值,f1(x1+1,y1+1)表示IB1_n(i,j)中坐标位置为(x1+1,y1+1)的像素点的灰度值,f1(x1+1,y1)表示IB1_n(i,j)中坐标位置为(x1+1,y1)的像素点的灰度值,f1(x1-1,y1)表示IB1_n(i,j)中坐标位置为(x1-1,y1)的像素点的灰度值;③-a2、根据IB1_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,计算IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j),即将IB1_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度的平方和全部求和,就得到IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j), F v 1 _ n ( i , j ) = &Sigma; x 1 = 0 n - 1 &Sigma; y 1 = 0 n - 1 ( G v 1 2 ( x 1 , y 1 ) + G h 1 2 ( x 1 , y 1 ) ) .
对{IS2(x,y)}中的每个第二图像块进行清晰度评价,得到{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值,对于{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j),将其对应的清晰度特征值记为Fv2_n(i,j)。在此具体实施例中,计算{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j)的具体过程为:③-b1、采用改进的TenenGrad梯度函数,计算IB2_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,对于IB2_n(i,j)中坐标位置为(x1,y1)的像素点,将其水平方向梯度和垂直方向梯度分别记为Gh2(x1,y1)和Gv2(x1,y1),Gh2(x1,y1)=(f2(x1-1,y1-1)+2f2(x1,y1-1)+f2(x1+1,y1-1))-(f2(x1-1,y1+1)+2f2(x1,y1+1)+f2(x1+1,y1+1)),Gv2(x1,y1)=(f2(x1+1,y1-1)+2f2(x1+1,y1)+f2(x1+1,y1+1))-(f2(x1-1,y1-1)+2f2(x1-1,y1)+f2(x1-1,y1+1)),其中,0≤x1≤n-1,0≤y1≤n-1,f2(x1-1,y1-1)表示IB2_n(i,j)中坐标位置为(x1-1,y1-1)的像素点的灰度值,f2(x1,y1-1)表示IB2_n(i,j)中坐标位置为(x1,y1-1)的像素点的灰度值,f2(x1+1,y1-1)表示IB2_n(i,j)中坐标位置为(x1+1,y1-1)的像素点的灰度值,f2(x1-1,y1+1)表示IB2_n(i,j)中坐标位置为(x1-1,y1+1)的像素点的灰度值,f2(x1,y1+1)表示IB2_n(i,j)中坐标位置为(x1,y1+1)的像素点的灰度值,f2(x1+1,y1+1)表示IB2_n(i,j)中坐标位置为(x1+1,y1+1)的像素点的灰度值,f2(x1+1,y1)表示IB2_n(i,j)中坐标位置为(x1+1,y1)的像素点的灰度值,f2(x1-1,y1)表示IB2_n(i,j)中坐标位置为(x1-1,y1)的像素点的灰度值;③-a2、根据IB2_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,计算IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j),即将IB2_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度的平方和全部求和,就得到IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j), F v 2 _ n ( i , j ) = &Sigma; x 1 = 0 n - 1 &Sigma; y 1 = 0 n - 1 ( G v 2 2 ( x 1 , y 1 ) + G h 2 2 ( x 1 , y 1 ) ) .
④确定{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值的第一判定阈值,记为Tn_1;然后根据{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值和第一判定阈值Tn_1,判断{IS1(x,y)}中的每个第一图像块是否为模糊种子块,对于{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j),判断IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j)是否小于第一判定阈值Tn_1,如果是,则判定IB1_n(i,j)为模糊种子块,并将IB1_n(i,j)中的各个像素点的标记设为1,否则,判定IB1_n(i,j)为非模糊种子块,并将IB1_n(i,j)中的各个像素点的标记设为0,即 I B 1 _ n ( i , j ) = 1 F v 1 _ n ( i , j ) < T n _ 1 0 F v 1 _ n ( i , j ) &GreaterEqual; T n - 1 ; 再根据{IS1(x,y)}中的每个第一图像块中的各个像素点的标记,计算{IS1(x,y)}对应的清晰度标记图像,记为{ID1_n(x,y)},ID1_n(x,y)=IB1_n(int(x/n),int(y/n)),其中,ID1_n(x,y)表示{ID1_n(x,y)}中坐标位置为(x,y)的像素点的标记,int()为取整运算符。
在此具体实施例中,确定{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值的第一判定阈值Tn_1的具体过程为:④-a1、对{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值进行排序,找出最大的清晰度特征值和最小的清晰度特征值,分别记为Fv1_n_MAX和Fv1_n_MIN;④-a2、根据Fv1_n_MAX和Fv1_n_MIN计算第一判定阈值Tn_1,Tn_1=Fv1_n_MIN+(Fv1_n_MAX-Fv1_n_MIN)×w1,其中,w1为权重因子,0.4≤w1≤0.6。
确定{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值的第二判定阈值,记为Tn_2;然后根据{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值和第二判定阈值Tn_2,判断{IS2(x,y)}中的每个第二图像块是否为模糊种子块,对于{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j),判断IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j)是否小于第二判定阈值Tn_2,如果是,则判定IB2_n(i,j)为模糊种子块,并将IB2_n(i,j)中的各个像素点的标记设为1,否则,判定IB2_n(i,j)为非模糊种子块,并将IB2_n(i,j)中的各个像素点的标记设为0,即 I B 2 _ n ( i , j ) = 1 F v 2 _ n ( i , j ) < T n _ 2 0 F v 2 _ n ( i , j ) &GreaterEqual; T n _ 2 ; 再根据{IS2(x,y)}中的每个第二图像块中的各个像素点的标记,计算{IS2(x,y)}对应的清晰度标记图像,记为{ID2_n(x,y)},ID2_n(x,y)=IB2_n(int(x/n),int(y/n)),其中,ID2_n(x,y)表示{ID2_n(x,y)}中坐标位置为(x,y)的像素点的标记,int()为取整运算符。
在此具体实施例中,确定{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值的第二判定阈值Tn_2的具体过程为:④-b1、对{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值进行排序,找出最大的清晰度特征值和最小的清晰度特征值,分别记为Fv2_n_MAX和Fv2_n_MIN;④-b2、根据Fv2_n_MAX和Fv2_n_MIN计算第二判定阈值Tn_2,Tn_2=Fv2_n_MIN+(Fv2_n_MAX-Fv2_n_MIN)×w2,其中,w2为权重因子,0.4≤w2≤0.6。
上述权重因子w1和w2随着显微图像的不同而取值不同,选取w1时需将Fv1_n_MAX-Fv1_n_MIN的值作为重要参考,选取w2时需将Fv2_n_MAX-Fv2_n_MIN的值作为重要参考,在实际操作过程中,可取w1=w2=0.5。
⑤取n=128、n=64、n=32、n=16、n=8,分别重复执行步骤③至步骤④,得到取n=128时{IS1(x,y)}对应的清晰度标记图像{ID1_128(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_128(x,y)}、取n=64时{IS1(x,y)}对应的清晰度标记图像{ID1_64(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_64(x,y)}、取n=32时{IS1(x,y)}对应的清晰度标记图像{ID1_32(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_32(x,y)}、取n=16时{IS1(x,y)}对应的清晰度标记图像{ID1_16(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_16(x,y)}、取n=8时{IS1(x,y)}对应的清晰度标记图像{ID1_8(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_8(x,y)}。
⑥根据已经得到的一组不同大小分块下的清晰度标记图像{ID1_128(x,y)}、{ID1_64(x,y)}、{ID1_32(x,y)}、{ID1_16(x,y)}和{ID1_8(x,y)}中标记为1的像素点,进行模糊区域生长得到{IS1(x,y)}对应的区域生长图像,记为{IG1(x,y)},其中,IG1(x,y)表示{IG1(x,y)}中坐标位置为(x,y)的像素点的标记。
在此具体实施例中,{IS1(x,y)}对应的区域生长图像{IG1(x,y)}的获取过程为:⑥-a1、将取n=128时{IS1(x,y)}对应的清晰度标记图像{ID1_128(x,y)}作为起始种子图像;⑥-a2、考察{IS1(x,y)}中的每个尺寸大小为n×n的模糊种子块相邻的8个尺寸大小为
Figure BDA0000139327130000131
的图像块(上、下、左、右各2个),如果{IS1(x,y)}中的尺寸大小为n×n的模糊种子块相邻的尺寸大小为
Figure BDA0000139327130000132
的图像块中的各个像素点的标记均为1,则进行区域生长,即将起始种子图像中相同位置的尺寸大小为的图像块中的各个像素点的标记设为1;⑥-a3、令并返回执行步骤⑥-a2,直至n=8,其中,
Figure BDA0000139327130000135
中的“=”为赋值符号;⑥-a4、当n=8时,由于当n<8时没有计算对应分块图像的清晰度,因此直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为8×8的模糊种子块相邻的8个尺寸大小为
Figure BDA0000139327130000141
的图像块相同位置的图像块中的各个像素点的标记设为1;然后令n=4,并直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为4×4的模糊种子块相邻的8个尺寸大小为
Figure BDA0000139327130000142
的图像块相同位置的图像块中的各个像素点的标记设为1;再令n=2,并直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为2×2的模糊种子块相邻的8个像素点相同位置的像素点的标记设为1,得到{IS1(x,y)}对应的区域生长图像{IG1(x,y)},{IG1(x,y)}中标记为1的像素点为模糊像素点,{IG1(x,y)}中标记为0的像素点为非模糊像素点。
图2给出了区域生长的过程示意图,中间竖条纹表示{IS1(x,y)}分成尺寸大小为128×128的第一图像块后,清晰度评价后认为是模糊的模糊种子块,以该模糊种子块开始生长;从右上往左下斜条纹的图像块为以尺寸大小为64×64小块区域进行模糊区域生长时符合条件的图像块,并被标记为下一次生长时的模糊种子块,从左上往右下斜条纹块表示以上一步产生的模糊种子块为基础进行尺寸大小为32×32小块区域生长时符合条件的图像块,其中左下角有一个尺寸大小为32×32的图像块不符合条件,因此不标出。依此类推直到没有符合条件的图像块为止。图4a为图3a所示的显微图像划分成大小为128×128的图像块并经清晰度判断后的显微图像,其中左边白色部分是被消除的模糊部分,右边剩下的图像是有待模糊区域生长后消除的部分;图4b至图4h分别是不同的分块大小依次进行区域生长后的显微图像。
根据已经得到的一组不同大小分块下的清晰度标记图像{ID2_128(x,y)}、{IS2_64(x,y)}、{ID2_32(x,y)}、{ID2_16(x,y)}和{ID2_8(x,y)}中标记为1的像素点,进行模糊区域生长得到{IS2(x,y)}对应的区域生长图像,记为{IG2(x,y)},其中,IG2(x,y)表示{IG2(x,y)}中坐标位置为(x,y)的像素点的标记。
在此具体实施例中,{IS2(x,y)}对应的区域生长图像{IG2(x,y)}的获取过程为:⑥-b1、将取n=128时{IS2(x,y)}对应的清晰度标记图像{ID2_128(x,y)}作为起始种子图像;⑥-b2、考察{IS2(x,y)}中的每个尺寸大小为n×n的模糊种子块相邻的8个尺寸大小为
Figure BDA0000139327130000143
的图像块,如果{IS2(x,y)}中的尺寸大小为n×n的模糊种子块相邻的尺寸大小为
Figure BDA0000139327130000151
的图像块中的各个像素点的标记均为1,则进行区域生长,即将起始种子图像中相同位置的尺寸大小为
Figure BDA0000139327130000152
的图像块中的各个像素点的标记设为1;⑥-b3、令
Figure BDA0000139327130000153
并返回执行步骤⑥-a2,直至n=8,其中,
Figure BDA0000139327130000154
中的“=”为赋值符号;⑥-b4、当n=8时,由于当n<8时没有计算对应分块图像的清晰度,因此直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为8×8的模糊种子块相邻的8个尺寸大小为
Figure BDA0000139327130000155
的图像块相同位置的图像块中的各个像素点的标记设为1;然后令n=4,并直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为4×4的模糊种子块相邻的8个尺寸大小为
Figure BDA0000139327130000156
的图像块相同位置的图像块中的各个像素点的标记设为1;再令n=2,并直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为2×2的模糊种子块相邻的8个像素点相同位置的像素点的标记设为1,得到{IS2(x,y)}对应的区域生长图像{IG2(x,y)},{IG2(x,y)}中标记为1的像素点为模糊像素点,{IG2(x,y)}中标记为0的像素点为非模糊像素点。
⑦根据{IS1(x,y)}对应的区域生长图像{IG1(x,y)}和{IS2(x,y)}对应的区域生长图像{IG2(x,y)},并结合{IS1(x,y)}和{IS2(x,y)},融合得到最终的融合显微图像,记为{IF(x,y)},
Figure BDA0000139327130000157
也即,对于{IF(x,y)}中坐标位置为(x,y)的像素点的灰度值IF(x,y),当{IG1(x,y)}中坐标位置为(x,y)的像素点的标记IG1(x,y)为模糊时(即IG1(x,y)=1),但在{IG2(x,y)}中坐标位置为(x,y)的像素点的标记IG2(x,y)不标记为模糊时(即IG2(x,y)=0),选择{IS2(x,y)}中坐标位置为(x,y)的像素点的灰度值IS2(x,y)作为最终的融合显微图像{IF(x,y)}中坐标位置为(x,y)的像素点的灰度值IF(x,y);当{IG1(x,y)}中坐标位置为(x,y)的像素点的标记IG1(x,y)不标记为模糊时(即IG1(x,y)=0),但在{IG2(x,y)}中坐标位置为(x,y)的像素点的标记IG2(x,y)为模糊时(即IG2(x,y)=1),选择{IS1(x,y)}中坐标位置为(x,y)的像素点的灰度值IS1(x,y)作为最终的融合显微图像{IF(x,y)}中坐标位置为(x,y)的像素点的灰度值IF(x,y), C = I S 1 ( x , y ) Cnt 1 ( x , y ) < Cnt 2 ( x , y ) I S 2 ( x , y ) Cnt 1 ( x , y ) > Cnt 2 ( x , y ) I S 1 ( x , y ) + I S 2 ( x , y ) 2 Cnt 1 ( x , y ) = Cnt 2 ( x , y ) , Cnt1(x,y)表示{IG1(x,y)}中坐标位置为(x,y)的像素点的8邻域中标记为1的像素点的个数(即被标记为模糊的像素点的个数),Cnt2(x,y)表示{IG2(x,y)}中坐标位置为(x,y)的像素点的8邻域中标记为1的像素点的个数(即被标记为模糊的像素点的个数)。
图5为图3a和图3b对应的最终的融合显微图像,图6为图3c和图3d对应的最终的融合显微图像,从图5和图6中可以看出,本发明方法在不同的显微图像下,能够得到的融合显微图像具有更丰富的细节信息量,更完整的显微图像信息指标,从而验证了本发明方法的可行性。
在此,选用4个客观评价标准来衡量本发明方法客观评价指标的结果,其一为清晰度评价函数中TenenGrad函数,它反映了显微图像的纹理细节信息;其二为清晰度评价函数中Variance函数,它反映了显微图像整体信息的完整性;其三为清晰度评价函数中DCT函数,它反映了显微图像在频域内的信息量;其四为清晰度评价函数中Hadamard函数,它反映了显微图像在频域内的信息量。选用的4个客观评价标准的值越大,说明融合后的显微图像的质量越好,纹理越清晰。表1列出了原始显微图像和经本发明方法融合后得到的融合显微图像的客观评价指标的比较结果,从表1所列的数据可以看出,经本发明方法融合后得到的融合显微图像的各项性能指标都较好,与主观感知结果一致。
表1经本发明方法后得到的融合显微图像和原始显微图像客观评价指标的比较
Figure BDA0000139327130000162

Claims (5)

1.一种基于区域生长的显微图像融合方法,其特征在于包括以下步骤:
①令{IS1(x,y)}为光学显微镜下采集到的一幅显微图像,令{IS2(x,y)}为光学显微镜下采集到的另一幅显微图像,其中,0≤x≤W-1,0≤y≤H-1,W表示图像的宽度,H表示图像的高度,IS1(x,y)表示{IS1(x,y)}中坐标位置为(x,y)的像素点的灰度值,IS2(x,y)表示{IS2(x,y)}中坐标位置为(x,y)的像素点的灰度值;
②将{IS1(x,y)}划分成
Figure FDA0000139327120000011
个互不重叠的尺寸大小为n×n的第一图像块,将{IS1(x,y)}中坐标位置为(i,j)的第一图像块记为IB1_n(i,j),将{IS2(x,y)}划分成个互不重叠的尺寸大小为n×n的第二图像块,将{IS2(x,y)}中坐标位置为(i,j)的第二图像块记为IB2_n(i,j),其中,
Figure FDA0000139327120000013
Figure FDA0000139327120000014
n的值为2的幂次;
③对{IS1(x,y)}中的每个第一图像块进行清晰度评价,得到{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值,对于{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j),将其对应的清晰度特征值记为Fv1_n(i,j);
对{IS2(x,y)}中的每个第二图像块进行清晰度评价,得到{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值,对于{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j),将其对应的清晰度特征值记为Fv2_n(i,j);
④确定{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值的第一判定阈值,记为Tn_1;然后根据{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值和第一判定阈值Tn_1,判断{IS1(x,y)}中的每个第一图像块是否为模糊种子块,对于{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j),判断IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j)是否小于第一判定阈值Tn_1,如果是,则判定IB1_n(i,j)为模糊种子块,并将IB1_n(i,j)中的各个像素点的标记设为1,否则,判定IB1_n(i,j)为非模糊种子块,并将IB1_n(i,j)中的各个像素点的标记设为0;再根据{IS1(x,y)}中的每个第一图像块中的各个像素点的标记,计算{IS1(x,y)}对应的清晰度标记图像,记为{ID1_n(x,y)},ID1_n(x,y)=IB1_n(int(x/n),int(y/n)),其中,ID1_n(x,y)表示{ID1_n(x,y)}中坐标位置为(x,y)的像素点的标记,int()为取整运算符;
确定{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值的第二判定阈值,记为Tn_2;然后根据{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值和第二判定阈值Tn_2,判断{IS2(x,y)}中的每个第二图像块是否为模糊种子块,对于{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j),判断IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j)是否小于第二判定阈值Tn_2,如果是,则判定IB2_n(i,j)为模糊种子块,并将IB2_n(i,j)中的各个像素点的标记设为1,否则,判定IB2_n(i,j)为非模糊种子块,并将IB2_n(i,j)中的各个像素点的标记设为0;再根据{IS2(x,y)}中的每个第二图像块中的各个像素点的标记,计算{IS2(x,y)}对应的清晰度标记图像,记为{ID2_n(x,y)},ID2_n(x,y)=IB2_n(int(x/n),int(y/n)),其中,ID2_n(x,y)表示{ID2_n(x,y)}中坐标位置为(x,y)的像素点的标记,int()为取整运算符;
⑤取n=128、n=64、n=32、n=16、n=8,分别重复执行步骤③至步骤④,得到取n=128时{IS1(x,y)}对应的清晰度标记图像{ID1_128(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_128(x,y)}、取n=64时{IS1(x,y)}对应的清晰度标记图像{ID1_64(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_64(x,y)}、取n=32时{IS1(x,y)}对应的清晰度标记图像{ID1_32(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_32(x,y)}、取n=16时{IS1(x,y)}对应的清晰度标记图像{ID1_16(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_16(x,y)}、取n=8时{IS1(x,y)}对应的清晰度标记图像{ID1_8(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_8(x,y)};
⑥根据{ID1_128(x,y)}、{ID1_64(x,y)}、{ID1_32(x,y)}、{ID1_16(x,y)}和{ID1_8(x,y)}中标记为1的像素点,进行模糊区域生长得到{IS1(x,y)}对应的区域生长图像,记为{IG1(x,y)},其中,IG1(x,y)表示{IG1(x,y)}中坐标位置为(x,y)的像素点的标记;
根据{ID2_128(x,y)}、{ID2_64(x,y)}、{ID2_32(x,y)}、{ID2_16(x,y)}和{ID2_8(x,y)}中标记为1的像素点,进行模糊区域生长得到{IS2(x,y)}对应的区域生长图像,记为{IG2(x,y)},其中,IG2(x,y)表示{IG2(x,y)}中坐标位置为(x,y)的像素点的标记;
⑦根据{IS1(x,y)}对应的区域生长图像{IG1(x,y)}和{IS2(x,y)}对应的区域生长图像{IG2(x,y)},并结合{IS1(x,y)}和{IS2(x,y)},融合得到最终的融合显微图像,记为{IF(x,y)},
Figure FDA0000139327120000031
其中,IF(x,y)表示{IF(x,y)}中坐标位置为(x,y)的像素点的灰度值, C = I S 1 ( x , y ) Cnt 1 ( x , y ) < Cnt 2 ( x , y ) I S 2 ( x , y ) Cnt 1 ( x , y ) > Cnt 2 ( x , y ) I S 2 ( x , y ) + I S 2 ( x , y ) 2 Cnt 1 ( x , y ) = Cnt 2 ( x , y ) , Cnt1(x,y)表示{IG1(x,y)}中坐标位置为(x,y)的像素点的8邻域中标记为1的像素点的个数,Cnt2(x,y)表示{IG2(x,y)}中坐标位置为(x,y)的像素点的8邻域中标记为1的像素点的个数。
2.根据权利要求1所述的一种基于区域生长的显微图像融合方法,其特征在于所述的步骤③中计算{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j)的具体过程为:③-a1、采用改进的TenenGrad梯度函数,计算IB1_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,对于IB1_n(i,j)中坐标位置为(x1,y1)的像素点,将其水平方向梯度和垂直方向梯度分别记为Gh1(x1,y1)和Gv1(x1,y1),Gh1(x1,y1)=(f1(x1-1,y1-1)+2f1(x1,y1-1)+f1(x1+1,y1-1))-(f1(x1-1,y1+1)+2f1(x1,y1+1)+f1(x1+1,y1+1)),Gv1(x1,y1)=(f1(x1+1,y1-1)+2f1(x1+1,y1)+f1(x1+1,y1+1))-(f1(x1-1,y1-1)+2f1(x1-1,y1)+f1(x1-1,y1+1)),其中,0≤x1≤n-1,0≤y1≤n-1,f1(x1-1,y1-1)表示IB1_n(i,j)中坐标位置为(x1-1,y1-1)的像素点的灰度值,f1(x1,y1-1)表示IB1_n(i,j)中坐标位置为(x1,y1-1)的像素点的灰度值,f1(x1+1,y1-1)表示IB1_n(i,j)中坐标位置为(x1+1,y1-1)的像素点的灰度值,f1(x1-1,y1+1)表示IB1_n(i,j)中坐标位置为(x1-1,y1+1)的像素点的灰度值,f1(x1,y1+1)表示IB1_n(i,j)中坐标位置为(x1,y1+1)的像素点的灰度值,f1(x1+1,y1+1)表示IB1_n(i,j)中坐标位置为(x1+1,y1+1)的像素点的灰度值,f1(x1+1,y1)表示IB1_n(i,j)中坐标位置为(x1+1,y1)的像素点的灰度值,f1(x1-1,y1)表示IB1_n(i,j)中坐标位置为(x1-1,y1)的像素点的灰度值;③-a2、根据IB1_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,计算IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j),
Figure FDA0000139327120000041
所述的步骤③中计算{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j)的具体过程为:③-b1、采用改进的TenenGrad梯度函数,计算IB2_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,对于IB2_n(i,j)中坐标位置为(x1,y1)的像素点,将其水平方向梯度和垂直方向梯度分别记为Gh2(x1,y1)和Gv2(x1,y1),Gh2(x1,y1)=(f2(x1-1,y1-1)+2f2(x1,y1-1)+f2(x1+1,y1-1))-(f2(x1-1,y1+1)+2f2(x1,y1+1)+f2(x1+1,y1+1)),Gv2(x1,y1)=(f2(x1+1,y1-1)+2f2(x1+1,y1)+f2(x1+1,y1+1))-(f2(x1-1,y1-1)+2f2(x1-1,y1)+f2(x1-1,y1+1)),其中,0≤x1≤n-1,0≤y1≤n-1,f2(x1-1,y1-1)表示IB2_n(i,j)中坐标位置为(x1-1,y1-1)的像素点的灰度值,f2(x1,y1-1)表示IB2_n(i,j)中坐标位置为(x1,y1-1)的像素点的灰度值,f2(x1+1,y1-1)表示IB2_n(i,j)中坐标位置为(x1+1,y1-1)的像素点的灰度值,f2(x1-1,y1+1)表示IB2_n(i,j)中坐标位置为(x1-1,y1+1)的像素点的灰度值,f2(x1,y1+1)表示IB2_n(i,j)中坐标位置为(x1,y1+1)的像素点的灰度值,f2(x1+1,y1+1)表示IB2_n(i,j)中坐标位置为(x1+1,y1+1)的像素点的灰度值,f2(x1+1,y1)表示IB2_n(i,j)中坐标位置为(x1+1,y1)的像素点的灰度值,f2(x1-1,y1)表示IB2_n(i,j)中坐标位置为(x1-1,y1)的像素点的灰度值;③-a2、根据IB2_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,计算IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j),
Figure FDA0000139327120000051
3.根据权利要求1或2所述的一种基于区域生长的显微图像融合方法,其特征在于所述的步骤④中确定{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值的第一判定阈值Tn_1的具体过程为:④-a1、对{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值进行排序,找出最大的清晰度特征值和最小的清晰度特征值,分别记为Fv1_n_MAX和Fv1_n_MIN;④-a2、根据Fv1_n_MAX和Fv1_n_MIN计算第一判定阈值Tn_1,Tn_1=Fv1_n_MIN+(Fv1_n_MAX-Fv1_n_MIN)×w1,其中,w1为权重因子;
所述的步骤④中确定{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值的第二判定阈值Tn_2的具体过程为:④-b1、对{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值进行排序,找出最大的清晰度特征值和最小的清晰度特征值,分别记为Fv2_n_MAX和Fv2_n_MIN;④-b2、根据Fv2_n_MAX和Fv2_n_MIN计算第二判定阈值Tn_2,Tn_2=Fv2_n_MIN+(Fv2_n_MAX-Fv2_n_MIN)×w2,其中,w2为权重因子。
4.根据权利要求3所述的一种基于区域生长的显微图像融合方法,其特征在于所述的步骤④-a2中0.4≤w1≤0.6,所述的步骤④-b2中0.4≤w2≤0.6。
5.根据权利要求4所述的一种基于区域生长的显微图像融合方法,其特征在于所述的步骤⑥中{IS1(x,y)}对应的区域生长图像{IG1(x,y)}的获取过程为:⑥-a1、将取n=128时{IS1(x,y)}对应的清晰度标记图像{ID1_128(x,y)}作为起始种子图像;⑥-a2、考察{IS1(x,y)}中的每个尺寸大小为n×n的模糊种子块相邻的8个尺寸大小为
Figure FDA0000139327120000052
的图像块,如果{IS1(x,y)}中的尺寸大小为n×n的模糊种子块相邻的尺寸大小为的图像块中的各个像素点的标记均为1,则将起始种子图像中相同位置的尺寸大小为
Figure FDA0000139327120000062
的图像块中的各个像素点的标记设为1;⑥-a3、令
Figure FDA0000139327120000063
并返回执行步骤⑥-a2,直至n=8,其中,中的“=”为赋值符号;⑥-a4、当n=8时,直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为8×8的模糊种子块相邻的8个尺寸大小为
Figure FDA0000139327120000065
的图像块相同位置的图像块中的各个像素点的标记设为1;然后令n=4,并直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为4×4的模糊种子块相邻的8个尺寸大小为的图像块相同位置的图像块中的各个像素点的标记设为1;再令n=2,并直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为2×2的模糊种子块相邻的8个像素点相同位置的像素点的标记设为1,得到{IS1(x,y)}对应的区域生长图像{IG1(x,y)},{IG1(x,y)}中标记为1的像素点为模糊像素点,{IG1(x,y)}中标记为0的像素点为非模糊像素点;
所述的步骤⑥中{IS2(x,y)}对应的区域生长图像{IG2(x,y)}的获取过程为:⑥-b1、将取n=128时{IS2(x,y)}对应的清晰度标记图像{ID2_128(x,y)}作为起始种子图像;⑥-b2、考察{IS2(x,y)}中的每个尺寸大小为n×n的模糊种子块相邻的8个尺寸大小为的图像块,如果{IS2(x,y)}中的尺寸大小为n×n的模糊种子块相邻的尺寸大小为
Figure FDA0000139327120000068
的图像块中的各个像素点的标记均为1,则将起始种子图像中相同位置的尺寸大小为
Figure FDA0000139327120000069
的图像块中的各个像素点的标记设为1;⑥-b3、令
Figure FDA00001393271200000610
并返回执行步骤⑥-a2,直至n=8,其中,
Figure FDA00001393271200000611
中的“=”为赋值符号;⑥-b4、当n=8时,直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为8×8的模糊种子块相邻的8个尺寸大小为
Figure FDA00001393271200000612
的图像块相同位置的图像块中的各个像素点的标记设为1;然后令n=4,并直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为4×4的模糊种子块相邻的8个尺寸大小为
Figure FDA00001393271200000613
的图像块相同位置的图像块中的各个像素点的标记设为1;再令n=2,并直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为2×2的模糊种子块相邻的8个像素点相同位置的像素点的标记设为1,得到{IS2(x,y)}对应的区域生长图像{IG2(x,y)},{IG2(x,y)}中标记为1的像素点为模糊像素点,{IG2(x,y)}中标记为0的像素点为非模糊像素点。
CN201210050205.1A 2012-02-29 2012-02-29 一种基于区域生长的显微图像融合方法 Expired - Fee Related CN102622737B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201210050205.1A CN102622737B (zh) 2012-02-29 2012-02-29 一种基于区域生长的显微图像融合方法
US13/775,195 US8913848B2 (en) 2012-02-29 2013-02-24 Microscopic image fusion method based on region growing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210050205.1A CN102622737B (zh) 2012-02-29 2012-02-29 一种基于区域生长的显微图像融合方法

Publications (2)

Publication Number Publication Date
CN102622737A true CN102622737A (zh) 2012-08-01
CN102622737B CN102622737B (zh) 2014-08-27

Family

ID=46562641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210050205.1A Expired - Fee Related CN102622737B (zh) 2012-02-29 2012-02-29 一种基于区域生长的显微图像融合方法

Country Status (2)

Country Link
US (1) US8913848B2 (zh)
CN (1) CN102622737B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982522A (zh) * 2012-12-14 2013-03-20 东华大学 一种实现多聚焦显微图像实时融合的方法
CN104182952A (zh) * 2014-08-19 2014-12-03 中国科学院西安光学精密机械研究所 多聚焦序列图像融合方法
CN104732523A (zh) * 2015-02-07 2015-06-24 江西科技学院 一种图像区域生长的方法
CN108510446A (zh) * 2018-04-10 2018-09-07 四川和生视界医药技术开发有限公司 视网膜图像的叠加方法及视网膜图像的叠加装置
CN109035155A (zh) * 2018-06-15 2018-12-18 宁波大学 一种光晕去除的多曝光图像融合方法
CN109859196A (zh) * 2019-01-25 2019-06-07 淮阴师范学院 一种基于分块pca的图像聚焦测度实现方法
CN110148147A (zh) * 2018-11-07 2019-08-20 腾讯大地通途(北京)科技有限公司 图像检测方法、装置、存储介质和电子装置
CN110378893A (zh) * 2019-07-24 2019-10-25 北京市博汇科技股份有限公司 图像质量评价方法、装置和电子设备
CN118688950A (zh) * 2024-08-23 2024-09-24 四川科莫生医疗科技有限公司 一种基于痰液玻片的多焦点图像融合显微镜成像方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012155446A1 (zh) * 2011-07-18 2012-11-22 中兴通讯股份有限公司 局部图像平移方法及带有触摸屏的终端
EP2806398A1 (en) * 2013-05-23 2014-11-26 Agfa Healthcare Method of defining a region of interest
US9053558B2 (en) 2013-07-26 2015-06-09 Rui Shen Method and system for fusing multiple images
US9367895B2 (en) * 2014-03-19 2016-06-14 Digitalglobe, Inc. Automated sliver removal in orthomosaic generation
CN105225213B (zh) * 2015-09-29 2018-03-09 云南大学 一种基于s‑pcnn与拉普拉斯金字塔的彩色图像融合方法
CN108399611B (zh) * 2018-01-31 2021-10-26 西北工业大学 基于梯度正则化的多聚焦图像融合方法
CN109300097B (zh) * 2018-08-16 2022-04-01 南京理工大学 基于自适应分块的多序列图像融合方法
CN111127380B (zh) * 2019-12-26 2023-05-23 云南大学 一种基于直觉模糊相似度测量技术的多聚焦图像融合方法
CN113192083B (zh) * 2021-05-07 2023-06-06 宁波大学 一种基于纹理掩蔽效应的图像恰可察觉失真阈值估计方法
CN115953344B (zh) * 2023-03-08 2023-05-30 上海聚跃检测技术有限公司 图像处理方法、装置、电子设备及存储介质
CN117541590B (zh) * 2024-01-10 2024-04-09 腾讯科技(深圳)有限公司 图像处理方法和装置、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6454410B1 (en) * 1999-10-20 2002-09-24 The Trustees Of The University Of Pennsylvania Mosaicing and enhancement of images for ophthalmic diagnosis and documentation
CN1822046A (zh) * 2006-03-30 2006-08-23 上海电力学院 基于区域特征模糊的红外与可见光图像融合方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697759B2 (en) * 2004-05-11 2010-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Split-remerge method for eliminating processing window artifacts in recursive hierarchical segmentation
CN102388305B (zh) * 2009-02-02 2014-11-19 罗格斯新泽西州立大学 基于图像的风险分数-来自数字组织病理学的存活率和结果的预后预估
US9524552B2 (en) * 2011-08-03 2016-12-20 The Regents Of The University Of California 2D/3D registration of a digital mouse atlas with X-ray projection images and optical camera photos

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6454410B1 (en) * 1999-10-20 2002-09-24 The Trustees Of The University Of Pennsylvania Mosaicing and enhancement of images for ophthalmic diagnosis and documentation
CN1822046A (zh) * 2006-03-30 2006-08-23 上海电力学院 基于区域特征模糊的红外与可见光图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIM SWOGER ET AL.: "《Multi-view image fusion improves resolution in three-dimensional microscopy》", 《OPTICS EXPRESS》 *
周锋飞等: "《一种基于区域生长的红外与可见光的图像融合方法》", 《应用光学》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982522A (zh) * 2012-12-14 2013-03-20 东华大学 一种实现多聚焦显微图像实时融合的方法
CN104182952A (zh) * 2014-08-19 2014-12-03 中国科学院西安光学精密机械研究所 多聚焦序列图像融合方法
CN104182952B (zh) * 2014-08-19 2017-04-05 中国科学院西安光学精密机械研究所 多聚焦序列图像融合方法
CN104732523A (zh) * 2015-02-07 2015-06-24 江西科技学院 一种图像区域生长的方法
CN108510446A (zh) * 2018-04-10 2018-09-07 四川和生视界医药技术开发有限公司 视网膜图像的叠加方法及视网膜图像的叠加装置
CN108510446B (zh) * 2018-04-10 2023-03-14 四川和生视界医药技术开发有限公司 视网膜图像的叠加方法及视网膜图像的叠加装置
CN109035155B (zh) * 2018-06-15 2021-10-22 宁波大学 一种光晕去除的多曝光图像融合方法
CN109035155A (zh) * 2018-06-15 2018-12-18 宁波大学 一种光晕去除的多曝光图像融合方法
CN110148147A (zh) * 2018-11-07 2019-08-20 腾讯大地通途(北京)科技有限公司 图像检测方法、装置、存储介质和电子装置
CN110148147B (zh) * 2018-11-07 2024-02-09 腾讯大地通途(北京)科技有限公司 图像检测方法、装置、存储介质和电子装置
CN109859196A (zh) * 2019-01-25 2019-06-07 淮阴师范学院 一种基于分块pca的图像聚焦测度实现方法
CN109859196B (zh) * 2019-01-25 2023-06-16 淮阴师范学院 一种基于分块pca的图像聚焦测度实现方法
CN110378893A (zh) * 2019-07-24 2019-10-25 北京市博汇科技股份有限公司 图像质量评价方法、装置和电子设备
CN118688950A (zh) * 2024-08-23 2024-09-24 四川科莫生医疗科技有限公司 一种基于痰液玻片的多焦点图像融合显微镜成像方法

Also Published As

Publication number Publication date
CN102622737B (zh) 2014-08-27
US8913848B2 (en) 2014-12-16
US20130223760A1 (en) 2013-08-29

Similar Documents

Publication Publication Date Title
CN102622737B (zh) 一种基于区域生长的显微图像融合方法
Yoon et al. Light-field image super-resolution using convolutional neural network
CN102741879B (zh) 由单眼图像产生深度图的方法及其系统
DE102006041645B4 (de) Verfahren und Vorrichtung zur Orientierungsbestimmung in einem Bild
CN101542529B (zh) 图像的深度图的生成方法和图像处理单元
JP5941674B2 (ja) 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム
CN103003665B (zh) 立体测距装置
CN104182952B (zh) 多聚焦序列图像融合方法
CN104899845A (zh) 一种基于lαβ空间场景迁移的多曝光图像融合方法
DE102015102681B4 (de) All-in-focus-implementierung
CN106447718B (zh) 一种2d转3d深度估计方法
CN106355621A (zh) 基于阵列图像的深度信息获取方法
DE102014006717A1 (de) Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
CN110443775A (zh) 基于卷积神经网络的离散小波变换域多聚焦图像融合方法
CN100382107C (zh) 逐像素有差别和准正则地修改数字图像的方法和系统
CN112330613A (zh) 一种细胞病理数字图像质量的评价方法及系统
CN108665436A (zh) 一种基于灰度均值参照的多聚焦图像融合方法和系统
CN106254855B (zh) 一种基于变焦测距的三维建模方法及系统
Dogan et al. Automatic panorama with auto-focusing based on image fusion for microscopic imaging system
CN110211168A (zh) 一种基于改进匹配代价的分段树视差图获取方法
Liu et al. A fast multi-focus image fusion algorithm by DWT and focused region decision map
CN109087344A (zh) 三维重建中的图像选择方法及装置
CN108830804A (zh) 基于线扩展函数标准差的虚实融合模糊一致性处理方法
CN105741318B (zh) 基于自动目标提取的全聚焦合成孔径成像方法
Chen et al. Edge model based fusion of multi-focus images using matting method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140827