CN102622737A - 一种基于区域生长的显微图像融合方法 - Google Patents
一种基于区域生长的显微图像融合方法 Download PDFInfo
- Publication number
- CN102622737A CN102622737A CN2012100502051A CN201210050205A CN102622737A CN 102622737 A CN102622737 A CN 102622737A CN 2012100502051 A CN2012100502051 A CN 2012100502051A CN 201210050205 A CN201210050205 A CN 201210050205A CN 102622737 A CN102622737 A CN 102622737A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- sharpness
- coordinate position
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 238000011156 evaluation Methods 0.000 claims abstract description 23
- 230000003287 optical effect Effects 0.000 claims abstract description 12
- 239000004744 fabric Substances 0.000 claims description 10
- 101100328518 Caenorhabditis elegans cnt-1 gene Proteins 0.000 claims description 9
- 101100328519 Caenorhabditis elegans cnt-2 gene Proteins 0.000 claims description 9
- 238000011835 investigation Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 210000000981 epithelium Anatomy 0.000 description 4
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于区域生长的显微图像融合方法,其通过对显微图像中的各个图像块进行清晰度评价,以判断显微图像的模糊程度并确认模糊种子块,同时利用区域生长逐步完成模糊区域和清晰区域的精确划分并标记,最后通过显微图像的融合规则,得到多幅显微图像融合后的一幅清晰的高质量的显微图像,优点在于由于结合了显微图像的清晰度评价,并进行区域生长进行每幅显微图像的清晰区域和模糊区域的分割,因此本发明方法的显微图像融合结果在主观人眼感知方面和客观评价指标方面都表现出了很大的优越性,而且本发明方法计算简单容易实现、结果稳定,适用于融合浅景深拍摄到的数码光学显微图像。
Description
技术领域
本发明涉及一种图像处理技术,尤其是涉及一种基于区域生长的显微图像融合方法。
背景技术
在光学显微镜成像系统中,随着放大倍率的增高,景深越来越小,因此,只有那些在聚焦平面或其附近的目标才能清晰可见,这使得即便是结构最简单、三维深度相对平坦的物体也不可能在一幅图像中完全聚焦清晰。在多个领域的实际应用中,要求显微成像既有高放大倍率,又要达到足够的景深,如纺织行业的纤维观测、印刷电路板行业的质量检验等。为解决这一技术问题,需要不断调整光学显微镜的焦距,得到一系列纵向局部清晰图像,然后将这一系列纵向局部清晰图像输入到计算机进行融合处理,以得到物体在整个空间的完整清晰图像,弥补用光学显微镜直接观测时只能清晰看到物体某一焦平面,而不能看到整个空间内的完整清晰图像的不足。
现有的图像融合方法主要分为三类:像素级图像融合方法、特征级图像融合方法和决策级图像融合方法。像素级图像融合方法是在基础层面上的图像融合,其主要优点是融合后的图像包含了尽可能多的原始数据且融合的准确性最高,提供了其他融合层次不能提供的细节信息,该类方法一般借助小波变换等变换方法,在变换域处理像素,融合复杂度相对较高。特征级图像融合方法指的是对预处理和特征提取后的原始输入图像进行信息获取,如轮廓、形状、边缘和区域等信息进行综合处理,该类方法的实施一般需要较多经验参数,对于多变的对象,特征提取的不稳定性会给融合带来偏差。决策级图像融合方法是指根据一定的准则以及每个决策的可行度做出最优融合决策,但由于决策准则多样,因此该类方法需要人工干预,难以实现自动融合。
发明内容
本发明所要解决的技术问题是提供一种计算简单、结果稳定,且能够有效提高主观感知与客观评价结果的基于区域生长的显微图像融合方法。
本发明解决上述技术问题所采用的技术方案为:一种基于区域生长的显微图像融合方法,其特征在于包括以下步骤:
①令{IS1(x,y)}为光学显微镜下采集到的一幅显微图像,令{IS2(x,y)}为光学显微镜下采集到的另一幅显微图像,其中,0≤x≤W-1,0≤y≤H-1,W表示图像的宽度,H表示图像的高度,IS1(x,y)表示{IS1(x,y)}中坐标位置为(x,y)的像素点的灰度值,IS2(x,y)表示{IS2(x,y)}中坐标位置为(x,y)的像素点的灰度值;
②将{IS1(x,y)}划分成个互不重叠的尺寸大小为n×n的第一图像块,将{IS1(x,y)}中坐标位置为(i,j)的第一图像块记为IB1_n(i,j),将{IS2(x,y)}划分成个互不重叠的尺寸大小为n×n的第二图像块,将{IS2(x,y)}中坐标位置为(i,j)的第二图像块记为IB2_n(i,j),其中, n的值为2的幂次;
③对{IS1(x,y)}中的每个第一图像块进行清晰度评价,得到{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值,对于{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j),将其对应的清晰度特征值记为Fv1_n(i,j);
对{IS2(x,y)}中的每个第二图像块进行清晰度评价,得到{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值,对于{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j),将其对应的清晰度特征值记为Fv2_n(i,j);
④确定{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值的第一判定阈值,记为Tn_1;然后根据{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值和第一判定阈值Tn_1,判断{IS1(x,y)}中的每个第一图像块是否为模糊种子块,对于{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j),判断IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j)是否小于第一判定阈值Tn_1,如果是,则判定IB1_n(i,j)为模糊种子块,并将IB1_n(i,j)中的各个像素点的标记设为1,否则,判定IB1_n(i,j)为非模糊种子块,并将IB1_n(i,j)中的各个像素点的标记设为0;再根据{IS1(x,y)}中的每个第一图像块中的各个像素点的标记,计算{IS1(x,y)}对应的清晰度标记图像,记为{ID1_n(x,y)},ID1_n(x,y)=IB1_n(x/n),int(y/n),int(y/n)),其中,ID1_n(x,y)表示{ID1_n(x,y)}中坐标位置为(x,y)的像素点的标记,int()为取整运算符;
确定{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值的第二判定阈值,记为Tn_2;然后根据{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值和第二判定阈值Tn_2,判断{IS2(x,y)}中的每个第二图像块是否为模糊种子块,对于{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j),判断IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j)是否小于第二判定阈值Tn_2,如果是,则判定IB2_n(i,j)为模糊种子块,并将IB2_n(i,j)中的各个像素点的标记设为1,否则,判定IB2_n(i,j)为非模糊种子块,并将IB2_n(i,j)中的各个像素点的标记设为0;再根据{IS2(x,y)}中的每个第二图像块中的各个像素点的标记,计算{IS2(x,y)}对应的清晰度标记图像,记为{ID2_n(x,y)},ID2_n(x,y)=IB2_n(int(x/n),int(y/n)),其中,ID2_n(x,y)表示{ID2_n(x,y)}中坐标位置为(x,y)的像素点的标记,int()为取整运算符;
⑤取n=128、n=64、n=32、n=16、n=8,分别重复执行步骤③至步骤④,得到取n=128时{IS1(x,y)}对应的清晰度标记图像{ID1_128(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_128(x,y)}、取n=64时{IS1(x,y)}对应的清晰度标记图像{ID1_64(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_64(x,y)}、取n=32时{IS1(x,y)}对应的清晰度标记图像{ID1_32(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_32(x,y)}、取n=16时{IS1(x,y)}对应的清晰度标记图像{ID1_16(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_16(x,y)}、取n=8时{IS1(x,y)}对应的清晰度标记图像{ID1_8(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_8(x,y)};
⑥根据{ID1_128(x,y)}、{ID1_64(x,y)}、{ID1_32(x,y)}、{ID1_16(x,y)}和{ID1_8(x,y)}中标记为1的像素点,进行模糊区域生长得到{IS1(x,y)}对应的区域生长图像,记为{IG1(x,y)},其中,IG1(x,y)表示{IG1(x,y)}中坐标位置为(x,y)的像素点的标记;
根据{ID2_128(x,y)}、{ID2_64(x,y)}、{ID2_32(x,y)}、{ID2_16(x,y)}和{ID2_8(x,y)}中标记为1的像素点,进行模糊区域生长得到{IS2(x,y)}对应的区域生长图像,记为{IG2(x,y)},其中,IG2(x,y)表示{IG2(x,y)}中坐标位置为(x,y)的像素点的标记;
⑦根据{IS1(x,y)}对应的区域生长图像{IG1(x,y)}和{IS2(x,y)}对应的区域生长图像{IG2(x,y)},并结合{IS1(x,y)}和{IS2(x,y)},融合得到最终的融合显微图像,记为{IF(x,y)},其中,IF(x,y)表示{IF(x,y)}中坐标位置为(x,y)的像素点的灰度值, Cnt1(x,y)表示{IG1(x,y)}中坐标位置为(x,y)的像素点的8邻域中标记为1的像素点的个数,Cnt2(x,y)表示{IG2(x,y)}中坐标位置为(x,y)的像素点的8邻域中标记为1的像素点的个数。
所述的步骤③中计算{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j)的具体过程为:③-a1、采用改进的TenenGrad梯度函数,计算IB1_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,对于IB1_n(i,j)中坐标位置为(x1,y1)的像素点,将其水平方向梯度和垂直方向梯度分别记为Gh1(x1,y1)和Gv1(x1,y1),Gh1(x1,y1)=(f1(x1-1,y1-1)+2f1(x1,y1-1)+f1(x1+1,y1-1))-(f1(x1-1,y1+1)+2f1(x1,y1+1)+f1(x1+1,y1+1)),Gv1(x1,y1)=(f1(x1+1,y1-1)+2f1(x1+1,y1)+f1(x1+1,y1+1))-(f1(x1-1,y1-1)+2f1(x1-1,y1)+f1(x1-1,y1+1)),其中,0≤x1≤n-1,0≤y1≤n-1,f1(x1-1,y1-1)表示IB1_n(i,j)中坐标位置为(x1-1,y1-1)的像素点的灰度值,f1(x1,y1-1)表示IB1_n(i,j)中坐标位置为(x1,y1-1)的像素点的灰度值,f1(x1+1,y1-1)表示IB1_n(i,j)中坐标位置为(x1+1,y1-1)的像素点的灰度值,f1(x1-1,y1+1)表示IB1_n(i,j)中坐标位置为(x1-1,y1+1)的像素点的灰度值,f1(x1,y1+1)表示IB1_n(i,j)中坐标位置为(x1,y1+1)的像素点的灰度值,f1(x1+1,y1+1)表示IB1_n(i,j)中坐标位置为(x1+1,y1+1)的像素点的灰度值,f1(x1+1,y1)表示IB1_n(i,j)中坐标位置为(x1+1,y1)的像素点的灰度值,f1(x1-1,y1)表示IB1_n(i,j)中坐标位置为(x1-1,y1)的像素点的灰度值;③-a2、根据IB1_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,计算IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j),
所述的步骤③中计算{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j)的具体过程为:③-b1、采用改进的TenenGrad梯度函数,计算IB2_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,对于IB2_n(i,j)中坐标位置为(x1,y1)的像素点,将其水平方向梯度和垂直方向梯度分别记为Gh2(x1,y1)和Gv2(x1,y1),Gh2(x1,y1)=(f2(x1-1,y1-1)+2f2(x1,y1-1)+f2(x1+1,y1Z-1))-(f2(x1-1,y1+1)+2f2(x1,y1+1)+f2(x1+1,y1+1)),Gv2(x1,y1)=(f2(x1+1,y1-1)+2f2(x1+1,y1)+f2(x1+1,y1+1))-(f2(x1-1,y1-1)+2f2(x1-1,y1)+f2(x1-1,y1+1)),其中,0≤x1≤n-1,0≤y1≤n-1,f2(x1-1,y1-1)表示IB2_n(i,j)中坐标位置为(x1-1,y1-1)的像素点的灰度值,f2(x1,y1-1)表示IB2_n(i,j)中坐标位置为(x1,y1-1)的像素点的灰度值,f2(x1+1,y1-1)表示IB2_n(i,j)中坐标位置为(x1+1,y1-1)的像素点的灰度值,f2(x1-1,y1+1)表示IB2_n(i,j)中坐标位置为(x1-1,y1+1)的像素点的灰度值,f2(x1,y1+1)表示IB2_n(i,j)中坐标位置为(x1,y1+1)的像素点的灰度值,f2(x1+1,y1+1)表示IB2_n(i,j)中坐标位置为(x1+1,y1+1)的像素点的灰度值,f2(x1+1,y1)表示IB2_n(i,j)中坐标位置为(x1+1,y1)的像素点的灰度值,f2(x1-1,y1)表示IB2_n(i,j)中坐标位置为(x1-1,y1)的像素点的灰度值;③-a2、根据IB2_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,计算IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j),
所述的步骤④中确定{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值的第一判定阈值Tn_1的具体过程为:④-a1、对{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值进行排序,找出最大的清晰度特征值和最小的清晰度特征值,分别记为Fv1_n_MAX和Fv1_n_MIN;④-a2、根据Fv1_n_MAX和Fv1_n_MIN计算第一判定阈值Tn_1,Tn_1=Fv1_n_MIN+(Fv1_n_MAX-Fv1_n_MIN)×w1,其中,w1为权重因子;
所述的步骤④中确定{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值的第二判定阈值Tn_2的具体过程为:④-b1、对{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值进行排序,找出最大的清晰度特征值和最小的清晰度特征值,分别记为Fv2_n_MAX和Fv2_n_MIN;④-b2、根据Fv2_n_MAX和Fv2_n_MIN计算第二判定阈值Tn_2,Tn_2=Fv2_n_MIN+(Fv2_n_MAX-Fv2_n_MIN)×w2,其中,w2为权重因子。
所述的步骤④-a2中0.4≤w1≤0.6,所述的步骤④-b2中0.4≤w2≤0.6。
所述的步骤⑥中{IS1(x,y)}对应的区域生长图像{IG1(x,y)}的获取过程为:⑥-a1、将取n=128时{IS1(x,y)}对应的清晰度标记图像{ID1_128(x,y)}作为起始种子图像;⑥-a2、考察{IS1(x,y)}中的每个尺寸大小为n×n的模糊种子块相邻的8个尺寸大小为的图像块,如果{IS1(x,y)}中的尺寸大小为n×n的模糊种子块相邻的尺寸大小为的图像块中的各个像素点的标记均为1,则将起始种子图像中相同位置的尺寸大小为的图像块中的各个像素点的标记设为1;⑥-a3、令并返回执行步骤⑥-a2,直至n=8,其中,中的“=”为赋值符号;⑥-a4、当n=8时,直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为8×8的模糊种子块相邻的8个尺寸大小为的图像块相同位置的图像块中的各个像素点的标记设为1;然后令n=4,并直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为4×4的模糊种子块相邻的8个尺寸大小为的图像块相同位置的图像块中的各个像素点的标记设为1;再令n=2,并直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为2×2的模糊种子块相邻的8个像素点相同位置的像素点的标记设为1,得到{IS1(x,y)}对应的区域生长图像{IG1(x,y)},{IG1(x,y)}中标记为1的像素点为模糊像素点,{IG1(x,y)}中标记为0的像素点为非模糊像素点;
所述的步骤⑥中{IS2(x,y)}对应的区域生长图像{IG2(x,y)}的获取过程为:⑥-b1、将取n=128时{IS2(x,y)}对应的清晰度标记图像{ID2_128(x,y)}作为起始种子图像;⑥-b2、考察{IS2(x,y)}中的每个尺寸大小为n×n的模糊种子块相邻的8个尺寸大小为的图像块,如果{IS2(x,y)}中的尺寸大小为n×n的模糊种子块相邻的尺寸大小为的图像块中的各个像素点的标记均为1,则将起始种子图像中相同位置的尺寸大小为的图像块中的各个像素点的标记设为1;⑥-b3、令并返回执行步骤⑥-a2,直至n=8,其中,中的“=”为赋值符号;⑥-b4、当n=8时,直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为8×8的模糊种子块相邻的8个尺寸大小为的图像块相同位置的图像块中的各个像素点的标记设为1;然后令n=4,并直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为4×4的模糊种子块相邻的8个尺寸大小为的图像块相同位置的图像块中的各个像素点的标记设为1;再令n=2,并直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为2×2的模糊种子块相邻的8个像素点相同位置的像素点的标记设为1,得到{IS2(x,y)}对应的区域生长图像{IG2(x,y)},{IG2(x,y)}中标记为1的像素点为模糊像素点,{IG2(x,y)}中标记为0的像素点为非模糊像素点。
与现有技术相比,本发明的优点在于通过对显微图像中的各个图像块进行清晰度评价,以判断显微图像的模糊程度并确认模糊种子块,同时利用区域生长逐步完成模糊区域和清晰区域的精确划分并标记,最后通过显微图像的融合规则,得到多幅显微图像融合后的一幅清晰的高质量的显微图像,由于结合了显微图像的清晰度评价,并进行区域生长进行每幅显微图像的清晰区域和模糊区域的分割,因此本发明方法的显微图像融合结果在主观人眼感知方面和客观评价指标方面都表现出了很大的优越性,而且本发明方法计算简单容易实现、结果稳定,适用于融合浅景深拍摄到的数码光学显微图像。
附图说明
图1为本发明方法的总体实现框图;
图2为区域生长的过程示意图;
图3a为双子叶茎横截面显微图像一;
图3b为双子叶茎横截面显微图像二;
图3c为上皮组织显微图像一;
图3d为上皮组织显微图像二;
图4a为图3a所示的显微图像划分成大小为128×128的图像块并经清晰度判断后的显微图像,其中左边白色部分是被消除的模糊部分,右边剩下的图像是有待模糊区域生长后消除的部分;
图4b为图4a经尺寸为64×64的图像块模糊区域生长后的剩下的显微图像;
图4c为图4b经尺寸为32×32的图像块模糊区域生长后的剩下的显微图像;
图4d为图4c经尺寸为16×16的图像块模糊区域生长后的剩下的显微图像;
图4e为图4d经尺寸为8×8的图像块模糊区域生长后的剩下的显微图像;
图4f为图4e经尺寸为4×4的图像块模糊区域生长后的剩下的显微图像;
图4g为图4f经尺寸为2×2的图像块模糊区域生长后的剩下的显微图像;
图4h为图4g经尺寸为1×1的像素点模糊区域生长后的剩下的显微图像;
图5为双子叶茎横截面最终的融合显微图像;
图6为上皮组织最终的融合显微图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于区域生长的显微图像融合方法,其流程框图如图1所示,其包括以下步骤:
①令{IS1(x,y)}为光学显微镜下采集到的一幅显微图像,令{IS2(x,y)}为光学显微镜下采集到的另一幅显微图像,其中,0≤x≤W-1,0≤y≤H-1,W表示图像的宽度,H表示图像的高度,IS1(x,y)表示{IS1(x,y)}中坐标位置为(x,y)的像素点的灰度值,IS2(x,y)表示{IS2(x,y)}中坐标位置为(x,y)的像素点的灰度值。
为更好地验证本发明方法的有效性,在常见的人体切片和植物切片中各选一组图像作为显微图像的代表图像,本实施例采用的显微图像是尺寸大小为1024×768的真彩色显微图像。本实施例采用的显微图像如图3a至图3d所示,其中图3a和图3b为双子叶茎横截面的两幅显微图像,图3c和图3d为上皮组织的两幅显微图像。图3a至图3d所示的显微图像均是光学显微镜小景深条件下拍摄到的部分清晰和部分模糊的显微图像,在本实施例中,图3a所示的显微图像即为{IS1(x,y)},图3b所示的显微图像即为{IS2(x,y)},同样地,图3c所示的显微图像即为{IS1(x,y)}显微图像,图3d所示的显微图像即为{IS2(x,y)}。
②将{IS2(x,y)}划分成个互不重叠的尺寸大小为n×n的第一图像块,将{IS1(x,y)}中坐标位置为(i,j)的第一图像块记为IB1_n(i,j),将{IS2(x,y)}划分成个互不重叠的尺寸大小为n×n的第二图像块,将{IS2(x,y)}中坐标位置为(i,j)的第二图像块记为IB2_n(i,j),其中, n的值为2的幂次。
③对{IS1(x,y)}中的每个第一图像块进行清晰度评价,得到{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值,对于{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j),将其对应的清晰度特征值记为Fv1_n(i,j)。在此具体实施例中,计算{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j)的具体过程为:③-a1、采用改进的TenenGrad梯度函数,计算IB1_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,对于IB1_n(i,j)中坐标位置为(x1,y1)的像素点,将其水平方向梯度和垂直方向梯度分别记为Gh1(x1,y1)和Gv1(x1,y1),Gh1(x1,y1)=(f1(x1-1,y1-1)+2f1(x1,y1-1)+f1(x1+1,y1-1))-(f1(x1-1,y1+1)+2f1(x1,y1+1)+f1(x1+1,y1+1)),Gv1(x1,y1)=(f1(x1+1,y1-1)+2f1(x1+1,y1)+f1(x1+1,y1+1))-(f1(x1-1,y1-1)+2f1(x1-1,y1)+f1(x1-1,y1+1)),其中,0≤x1≤n-1,0≤y1≤n-1,f1(x1-1,y1-1)表示IB1_n(i,j)中坐标位置为(x1-1,y1-1)的像素点的灰度值,f1(x1,y1-1)表示IB1_n(i,j)中坐标位置为(x1,y1-1)的像素点的灰度值,f1(x1+1,y1-1)表示IB1_n(i,j)中坐标位置为(x1+1,y1-1)的像素点的灰度值,f1(x1-1,y1+1)表示IB1_n(i,j)中坐标位置为(x1-1,y1+1)的像素点的灰度值,f1(x1,y1+1)表示IB1_n(i,j)中坐标位置为(x1,y1+1)的像素点的灰度值,f1(x1+1,y1+1)表示IB1_n(i,j)中坐标位置为(x1+1,y1+1)的像素点的灰度值,f1(x1+1,y1)表示IB1_n(i,j)中坐标位置为(x1+1,y1)的像素点的灰度值,f1(x1-1,y1)表示IB1_n(i,j)中坐标位置为(x1-1,y1)的像素点的灰度值;③-a2、根据IB1_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,计算IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j),即将IB1_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度的平方和全部求和,就得到IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j),
对{IS2(x,y)}中的每个第二图像块进行清晰度评价,得到{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值,对于{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j),将其对应的清晰度特征值记为Fv2_n(i,j)。在此具体实施例中,计算{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j)的具体过程为:③-b1、采用改进的TenenGrad梯度函数,计算IB2_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,对于IB2_n(i,j)中坐标位置为(x1,y1)的像素点,将其水平方向梯度和垂直方向梯度分别记为Gh2(x1,y1)和Gv2(x1,y1),Gh2(x1,y1)=(f2(x1-1,y1-1)+2f2(x1,y1-1)+f2(x1+1,y1-1))-(f2(x1-1,y1+1)+2f2(x1,y1+1)+f2(x1+1,y1+1)),Gv2(x1,y1)=(f2(x1+1,y1-1)+2f2(x1+1,y1)+f2(x1+1,y1+1))-(f2(x1-1,y1-1)+2f2(x1-1,y1)+f2(x1-1,y1+1)),其中,0≤x1≤n-1,0≤y1≤n-1,f2(x1-1,y1-1)表示IB2_n(i,j)中坐标位置为(x1-1,y1-1)的像素点的灰度值,f2(x1,y1-1)表示IB2_n(i,j)中坐标位置为(x1,y1-1)的像素点的灰度值,f2(x1+1,y1-1)表示IB2_n(i,j)中坐标位置为(x1+1,y1-1)的像素点的灰度值,f2(x1-1,y1+1)表示IB2_n(i,j)中坐标位置为(x1-1,y1+1)的像素点的灰度值,f2(x1,y1+1)表示IB2_n(i,j)中坐标位置为(x1,y1+1)的像素点的灰度值,f2(x1+1,y1+1)表示IB2_n(i,j)中坐标位置为(x1+1,y1+1)的像素点的灰度值,f2(x1+1,y1)表示IB2_n(i,j)中坐标位置为(x1+1,y1)的像素点的灰度值,f2(x1-1,y1)表示IB2_n(i,j)中坐标位置为(x1-1,y1)的像素点的灰度值;③-a2、根据IB2_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,计算IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j),即将IB2_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度的平方和全部求和,就得到IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j),
④确定{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值的第一判定阈值,记为Tn_1;然后根据{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值和第一判定阈值Tn_1,判断{IS1(x,y)}中的每个第一图像块是否为模糊种子块,对于{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j),判断IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j)是否小于第一判定阈值Tn_1,如果是,则判定IB1_n(i,j)为模糊种子块,并将IB1_n(i,j)中的各个像素点的标记设为1,否则,判定IB1_n(i,j)为非模糊种子块,并将IB1_n(i,j)中的各个像素点的标记设为0,即 再根据{IS1(x,y)}中的每个第一图像块中的各个像素点的标记,计算{IS1(x,y)}对应的清晰度标记图像,记为{ID1_n(x,y)},ID1_n(x,y)=IB1_n(int(x/n),int(y/n)),其中,ID1_n(x,y)表示{ID1_n(x,y)}中坐标位置为(x,y)的像素点的标记,int()为取整运算符。
在此具体实施例中,确定{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值的第一判定阈值Tn_1的具体过程为:④-a1、对{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值进行排序,找出最大的清晰度特征值和最小的清晰度特征值,分别记为Fv1_n_MAX和Fv1_n_MIN;④-a2、根据Fv1_n_MAX和Fv1_n_MIN计算第一判定阈值Tn_1,Tn_1=Fv1_n_MIN+(Fv1_n_MAX-Fv1_n_MIN)×w1,其中,w1为权重因子,0.4≤w1≤0.6。
确定{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值的第二判定阈值,记为Tn_2;然后根据{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值和第二判定阈值Tn_2,判断{IS2(x,y)}中的每个第二图像块是否为模糊种子块,对于{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j),判断IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j)是否小于第二判定阈值Tn_2,如果是,则判定IB2_n(i,j)为模糊种子块,并将IB2_n(i,j)中的各个像素点的标记设为1,否则,判定IB2_n(i,j)为非模糊种子块,并将IB2_n(i,j)中的各个像素点的标记设为0,即 再根据{IS2(x,y)}中的每个第二图像块中的各个像素点的标记,计算{IS2(x,y)}对应的清晰度标记图像,记为{ID2_n(x,y)},ID2_n(x,y)=IB2_n(int(x/n),int(y/n)),其中,ID2_n(x,y)表示{ID2_n(x,y)}中坐标位置为(x,y)的像素点的标记,int()为取整运算符。
在此具体实施例中,确定{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值的第二判定阈值Tn_2的具体过程为:④-b1、对{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值进行排序,找出最大的清晰度特征值和最小的清晰度特征值,分别记为Fv2_n_MAX和Fv2_n_MIN;④-b2、根据Fv2_n_MAX和Fv2_n_MIN计算第二判定阈值Tn_2,Tn_2=Fv2_n_MIN+(Fv2_n_MAX-Fv2_n_MIN)×w2,其中,w2为权重因子,0.4≤w2≤0.6。
上述权重因子w1和w2随着显微图像的不同而取值不同,选取w1时需将Fv1_n_MAX-Fv1_n_MIN的值作为重要参考,选取w2时需将Fv2_n_MAX-Fv2_n_MIN的值作为重要参考,在实际操作过程中,可取w1=w2=0.5。
⑤取n=128、n=64、n=32、n=16、n=8,分别重复执行步骤③至步骤④,得到取n=128时{IS1(x,y)}对应的清晰度标记图像{ID1_128(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_128(x,y)}、取n=64时{IS1(x,y)}对应的清晰度标记图像{ID1_64(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_64(x,y)}、取n=32时{IS1(x,y)}对应的清晰度标记图像{ID1_32(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_32(x,y)}、取n=16时{IS1(x,y)}对应的清晰度标记图像{ID1_16(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_16(x,y)}、取n=8时{IS1(x,y)}对应的清晰度标记图像{ID1_8(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_8(x,y)}。
⑥根据已经得到的一组不同大小分块下的清晰度标记图像{ID1_128(x,y)}、{ID1_64(x,y)}、{ID1_32(x,y)}、{ID1_16(x,y)}和{ID1_8(x,y)}中标记为1的像素点,进行模糊区域生长得到{IS1(x,y)}对应的区域生长图像,记为{IG1(x,y)},其中,IG1(x,y)表示{IG1(x,y)}中坐标位置为(x,y)的像素点的标记。
在此具体实施例中,{IS1(x,y)}对应的区域生长图像{IG1(x,y)}的获取过程为:⑥-a1、将取n=128时{IS1(x,y)}对应的清晰度标记图像{ID1_128(x,y)}作为起始种子图像;⑥-a2、考察{IS1(x,y)}中的每个尺寸大小为n×n的模糊种子块相邻的8个尺寸大小为的图像块(上、下、左、右各2个),如果{IS1(x,y)}中的尺寸大小为n×n的模糊种子块相邻的尺寸大小为的图像块中的各个像素点的标记均为1,则进行区域生长,即将起始种子图像中相同位置的尺寸大小为的图像块中的各个像素点的标记设为1;⑥-a3、令并返回执行步骤⑥-a2,直至n=8,其中,中的“=”为赋值符号;⑥-a4、当n=8时,由于当n<8时没有计算对应分块图像的清晰度,因此直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为8×8的模糊种子块相邻的8个尺寸大小为的图像块相同位置的图像块中的各个像素点的标记设为1;然后令n=4,并直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为4×4的模糊种子块相邻的8个尺寸大小为的图像块相同位置的图像块中的各个像素点的标记设为1;再令n=2,并直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为2×2的模糊种子块相邻的8个像素点相同位置的像素点的标记设为1,得到{IS1(x,y)}对应的区域生长图像{IG1(x,y)},{IG1(x,y)}中标记为1的像素点为模糊像素点,{IG1(x,y)}中标记为0的像素点为非模糊像素点。
图2给出了区域生长的过程示意图,中间竖条纹表示{IS1(x,y)}分成尺寸大小为128×128的第一图像块后,清晰度评价后认为是模糊的模糊种子块,以该模糊种子块开始生长;从右上往左下斜条纹的图像块为以尺寸大小为64×64小块区域进行模糊区域生长时符合条件的图像块,并被标记为下一次生长时的模糊种子块,从左上往右下斜条纹块表示以上一步产生的模糊种子块为基础进行尺寸大小为32×32小块区域生长时符合条件的图像块,其中左下角有一个尺寸大小为32×32的图像块不符合条件,因此不标出。依此类推直到没有符合条件的图像块为止。图4a为图3a所示的显微图像划分成大小为128×128的图像块并经清晰度判断后的显微图像,其中左边白色部分是被消除的模糊部分,右边剩下的图像是有待模糊区域生长后消除的部分;图4b至图4h分别是不同的分块大小依次进行区域生长后的显微图像。
根据已经得到的一组不同大小分块下的清晰度标记图像{ID2_128(x,y)}、{IS2_64(x,y)}、{ID2_32(x,y)}、{ID2_16(x,y)}和{ID2_8(x,y)}中标记为1的像素点,进行模糊区域生长得到{IS2(x,y)}对应的区域生长图像,记为{IG2(x,y)},其中,IG2(x,y)表示{IG2(x,y)}中坐标位置为(x,y)的像素点的标记。
在此具体实施例中,{IS2(x,y)}对应的区域生长图像{IG2(x,y)}的获取过程为:⑥-b1、将取n=128时{IS2(x,y)}对应的清晰度标记图像{ID2_128(x,y)}作为起始种子图像;⑥-b2、考察{IS2(x,y)}中的每个尺寸大小为n×n的模糊种子块相邻的8个尺寸大小为的图像块,如果{IS2(x,y)}中的尺寸大小为n×n的模糊种子块相邻的尺寸大小为的图像块中的各个像素点的标记均为1,则进行区域生长,即将起始种子图像中相同位置的尺寸大小为的图像块中的各个像素点的标记设为1;⑥-b3、令并返回执行步骤⑥-a2,直至n=8,其中,中的“=”为赋值符号;⑥-b4、当n=8时,由于当n<8时没有计算对应分块图像的清晰度,因此直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为8×8的模糊种子块相邻的8个尺寸大小为的图像块相同位置的图像块中的各个像素点的标记设为1;然后令n=4,并直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为4×4的模糊种子块相邻的8个尺寸大小为的图像块相同位置的图像块中的各个像素点的标记设为1;再令n=2,并直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为2×2的模糊种子块相邻的8个像素点相同位置的像素点的标记设为1,得到{IS2(x,y)}对应的区域生长图像{IG2(x,y)},{IG2(x,y)}中标记为1的像素点为模糊像素点,{IG2(x,y)}中标记为0的像素点为非模糊像素点。
⑦根据{IS1(x,y)}对应的区域生长图像{IG1(x,y)}和{IS2(x,y)}对应的区域生长图像{IG2(x,y)},并结合{IS1(x,y)}和{IS2(x,y)},融合得到最终的融合显微图像,记为{IF(x,y)},也即,对于{IF(x,y)}中坐标位置为(x,y)的像素点的灰度值IF(x,y),当{IG1(x,y)}中坐标位置为(x,y)的像素点的标记IG1(x,y)为模糊时(即IG1(x,y)=1),但在{IG2(x,y)}中坐标位置为(x,y)的像素点的标记IG2(x,y)不标记为模糊时(即IG2(x,y)=0),选择{IS2(x,y)}中坐标位置为(x,y)的像素点的灰度值IS2(x,y)作为最终的融合显微图像{IF(x,y)}中坐标位置为(x,y)的像素点的灰度值IF(x,y);当{IG1(x,y)}中坐标位置为(x,y)的像素点的标记IG1(x,y)不标记为模糊时(即IG1(x,y)=0),但在{IG2(x,y)}中坐标位置为(x,y)的像素点的标记IG2(x,y)为模糊时(即IG2(x,y)=1),选择{IS1(x,y)}中坐标位置为(x,y)的像素点的灰度值IS1(x,y)作为最终的融合显微图像{IF(x,y)}中坐标位置为(x,y)的像素点的灰度值IF(x,y), Cnt1(x,y)表示{IG1(x,y)}中坐标位置为(x,y)的像素点的8邻域中标记为1的像素点的个数(即被标记为模糊的像素点的个数),Cnt2(x,y)表示{IG2(x,y)}中坐标位置为(x,y)的像素点的8邻域中标记为1的像素点的个数(即被标记为模糊的像素点的个数)。
图5为图3a和图3b对应的最终的融合显微图像,图6为图3c和图3d对应的最终的融合显微图像,从图5和图6中可以看出,本发明方法在不同的显微图像下,能够得到的融合显微图像具有更丰富的细节信息量,更完整的显微图像信息指标,从而验证了本发明方法的可行性。
在此,选用4个客观评价标准来衡量本发明方法客观评价指标的结果,其一为清晰度评价函数中TenenGrad函数,它反映了显微图像的纹理细节信息;其二为清晰度评价函数中Variance函数,它反映了显微图像整体信息的完整性;其三为清晰度评价函数中DCT函数,它反映了显微图像在频域内的信息量;其四为清晰度评价函数中Hadamard函数,它反映了显微图像在频域内的信息量。选用的4个客观评价标准的值越大,说明融合后的显微图像的质量越好,纹理越清晰。表1列出了原始显微图像和经本发明方法融合后得到的融合显微图像的客观评价指标的比较结果,从表1所列的数据可以看出,经本发明方法融合后得到的融合显微图像的各项性能指标都较好,与主观感知结果一致。
表1经本发明方法后得到的融合显微图像和原始显微图像客观评价指标的比较
Claims (5)
1.一种基于区域生长的显微图像融合方法,其特征在于包括以下步骤:
①令{IS1(x,y)}为光学显微镜下采集到的一幅显微图像,令{IS2(x,y)}为光学显微镜下采集到的另一幅显微图像,其中,0≤x≤W-1,0≤y≤H-1,W表示图像的宽度,H表示图像的高度,IS1(x,y)表示{IS1(x,y)}中坐标位置为(x,y)的像素点的灰度值,IS2(x,y)表示{IS2(x,y)}中坐标位置为(x,y)的像素点的灰度值;
②将{IS1(x,y)}划分成个互不重叠的尺寸大小为n×n的第一图像块,将{IS1(x,y)}中坐标位置为(i,j)的第一图像块记为IB1_n(i,j),将{IS2(x,y)}划分成个互不重叠的尺寸大小为n×n的第二图像块,将{IS2(x,y)}中坐标位置为(i,j)的第二图像块记为IB2_n(i,j),其中, n的值为2的幂次;
③对{IS1(x,y)}中的每个第一图像块进行清晰度评价,得到{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值,对于{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j),将其对应的清晰度特征值记为Fv1_n(i,j);
对{IS2(x,y)}中的每个第二图像块进行清晰度评价,得到{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值,对于{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j),将其对应的清晰度特征值记为Fv2_n(i,j);
④确定{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值的第一判定阈值,记为Tn_1;然后根据{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值和第一判定阈值Tn_1,判断{IS1(x,y)}中的每个第一图像块是否为模糊种子块,对于{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j),判断IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j)是否小于第一判定阈值Tn_1,如果是,则判定IB1_n(i,j)为模糊种子块,并将IB1_n(i,j)中的各个像素点的标记设为1,否则,判定IB1_n(i,j)为非模糊种子块,并将IB1_n(i,j)中的各个像素点的标记设为0;再根据{IS1(x,y)}中的每个第一图像块中的各个像素点的标记,计算{IS1(x,y)}对应的清晰度标记图像,记为{ID1_n(x,y)},ID1_n(x,y)=IB1_n(int(x/n),int(y/n)),其中,ID1_n(x,y)表示{ID1_n(x,y)}中坐标位置为(x,y)的像素点的标记,int()为取整运算符;
确定{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值的第二判定阈值,记为Tn_2;然后根据{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值和第二判定阈值Tn_2,判断{IS2(x,y)}中的每个第二图像块是否为模糊种子块,对于{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j),判断IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j)是否小于第二判定阈值Tn_2,如果是,则判定IB2_n(i,j)为模糊种子块,并将IB2_n(i,j)中的各个像素点的标记设为1,否则,判定IB2_n(i,j)为非模糊种子块,并将IB2_n(i,j)中的各个像素点的标记设为0;再根据{IS2(x,y)}中的每个第二图像块中的各个像素点的标记,计算{IS2(x,y)}对应的清晰度标记图像,记为{ID2_n(x,y)},ID2_n(x,y)=IB2_n(int(x/n),int(y/n)),其中,ID2_n(x,y)表示{ID2_n(x,y)}中坐标位置为(x,y)的像素点的标记,int()为取整运算符;
⑤取n=128、n=64、n=32、n=16、n=8,分别重复执行步骤③至步骤④,得到取n=128时{IS1(x,y)}对应的清晰度标记图像{ID1_128(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_128(x,y)}、取n=64时{IS1(x,y)}对应的清晰度标记图像{ID1_64(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_64(x,y)}、取n=32时{IS1(x,y)}对应的清晰度标记图像{ID1_32(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_32(x,y)}、取n=16时{IS1(x,y)}对应的清晰度标记图像{ID1_16(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_16(x,y)}、取n=8时{IS1(x,y)}对应的清晰度标记图像{ID1_8(x,y)}和{IS2(x,y)}对应的清晰度标记图像{ID2_8(x,y)};
⑥根据{ID1_128(x,y)}、{ID1_64(x,y)}、{ID1_32(x,y)}、{ID1_16(x,y)}和{ID1_8(x,y)}中标记为1的像素点,进行模糊区域生长得到{IS1(x,y)}对应的区域生长图像,记为{IG1(x,y)},其中,IG1(x,y)表示{IG1(x,y)}中坐标位置为(x,y)的像素点的标记;
根据{ID2_128(x,y)}、{ID2_64(x,y)}、{ID2_32(x,y)}、{ID2_16(x,y)}和{ID2_8(x,y)}中标记为1的像素点,进行模糊区域生长得到{IS2(x,y)}对应的区域生长图像,记为{IG2(x,y)},其中,IG2(x,y)表示{IG2(x,y)}中坐标位置为(x,y)的像素点的标记;
2.根据权利要求1所述的一种基于区域生长的显微图像融合方法,其特征在于所述的步骤③中计算{IS1(x,y)}中坐标位置为(i,j)的第一图像块IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j)的具体过程为:③-a1、采用改进的TenenGrad梯度函数,计算IB1_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,对于IB1_n(i,j)中坐标位置为(x1,y1)的像素点,将其水平方向梯度和垂直方向梯度分别记为Gh1(x1,y1)和Gv1(x1,y1),Gh1(x1,y1)=(f1(x1-1,y1-1)+2f1(x1,y1-1)+f1(x1+1,y1-1))-(f1(x1-1,y1+1)+2f1(x1,y1+1)+f1(x1+1,y1+1)),Gv1(x1,y1)=(f1(x1+1,y1-1)+2f1(x1+1,y1)+f1(x1+1,y1+1))-(f1(x1-1,y1-1)+2f1(x1-1,y1)+f1(x1-1,y1+1)),其中,0≤x1≤n-1,0≤y1≤n-1,f1(x1-1,y1-1)表示IB1_n(i,j)中坐标位置为(x1-1,y1-1)的像素点的灰度值,f1(x1,y1-1)表示IB1_n(i,j)中坐标位置为(x1,y1-1)的像素点的灰度值,f1(x1+1,y1-1)表示IB1_n(i,j)中坐标位置为(x1+1,y1-1)的像素点的灰度值,f1(x1-1,y1+1)表示IB1_n(i,j)中坐标位置为(x1-1,y1+1)的像素点的灰度值,f1(x1,y1+1)表示IB1_n(i,j)中坐标位置为(x1,y1+1)的像素点的灰度值,f1(x1+1,y1+1)表示IB1_n(i,j)中坐标位置为(x1+1,y1+1)的像素点的灰度值,f1(x1+1,y1)表示IB1_n(i,j)中坐标位置为(x1+1,y1)的像素点的灰度值,f1(x1-1,y1)表示IB1_n(i,j)中坐标位置为(x1-1,y1)的像素点的灰度值;③-a2、根据IB1_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,计算IB1_n(i,j)对应的清晰度特征值Fv1_n(i,j),
所述的步骤③中计算{IS2(x,y)}中坐标位置为(i,j)的第二图像块IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j)的具体过程为:③-b1、采用改进的TenenGrad梯度函数,计算IB2_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,对于IB2_n(i,j)中坐标位置为(x1,y1)的像素点,将其水平方向梯度和垂直方向梯度分别记为Gh2(x1,y1)和Gv2(x1,y1),Gh2(x1,y1)=(f2(x1-1,y1-1)+2f2(x1,y1-1)+f2(x1+1,y1-1))-(f2(x1-1,y1+1)+2f2(x1,y1+1)+f2(x1+1,y1+1)),Gv2(x1,y1)=(f2(x1+1,y1-1)+2f2(x1+1,y1)+f2(x1+1,y1+1))-(f2(x1-1,y1-1)+2f2(x1-1,y1)+f2(x1-1,y1+1)),其中,0≤x1≤n-1,0≤y1≤n-1,f2(x1-1,y1-1)表示IB2_n(i,j)中坐标位置为(x1-1,y1-1)的像素点的灰度值,f2(x1,y1-1)表示IB2_n(i,j)中坐标位置为(x1,y1-1)的像素点的灰度值,f2(x1+1,y1-1)表示IB2_n(i,j)中坐标位置为(x1+1,y1-1)的像素点的灰度值,f2(x1-1,y1+1)表示IB2_n(i,j)中坐标位置为(x1-1,y1+1)的像素点的灰度值,f2(x1,y1+1)表示IB2_n(i,j)中坐标位置为(x1,y1+1)的像素点的灰度值,f2(x1+1,y1+1)表示IB2_n(i,j)中坐标位置为(x1+1,y1+1)的像素点的灰度值,f2(x1+1,y1)表示IB2_n(i,j)中坐标位置为(x1+1,y1)的像素点的灰度值,f2(x1-1,y1)表示IB2_n(i,j)中坐标位置为(x1-1,y1)的像素点的灰度值;③-a2、根据IB2_n(i,j)中的每个像素点的水平方向梯度和垂直方向梯度,计算IB2_n(i,j)对应的清晰度特征值Fv2_n(i,j),
3.根据权利要求1或2所述的一种基于区域生长的显微图像融合方法,其特征在于所述的步骤④中确定{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值的第一判定阈值Tn_1的具体过程为:④-a1、对{IS1(x,y)}中的每个第一图像块各自对应的清晰度特征值进行排序,找出最大的清晰度特征值和最小的清晰度特征值,分别记为Fv1_n_MAX和Fv1_n_MIN;④-a2、根据Fv1_n_MAX和Fv1_n_MIN计算第一判定阈值Tn_1,Tn_1=Fv1_n_MIN+(Fv1_n_MAX-Fv1_n_MIN)×w1,其中,w1为权重因子;
所述的步骤④中确定{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值的第二判定阈值Tn_2的具体过程为:④-b1、对{IS2(x,y)}中的每个第二图像块各自对应的清晰度特征值进行排序,找出最大的清晰度特征值和最小的清晰度特征值,分别记为Fv2_n_MAX和Fv2_n_MIN;④-b2、根据Fv2_n_MAX和Fv2_n_MIN计算第二判定阈值Tn_2,Tn_2=Fv2_n_MIN+(Fv2_n_MAX-Fv2_n_MIN)×w2,其中,w2为权重因子。
4.根据权利要求3所述的一种基于区域生长的显微图像融合方法,其特征在于所述的步骤④-a2中0.4≤w1≤0.6,所述的步骤④-b2中0.4≤w2≤0.6。
5.根据权利要求4所述的一种基于区域生长的显微图像融合方法,其特征在于所述的步骤⑥中{IS1(x,y)}对应的区域生长图像{IG1(x,y)}的获取过程为:⑥-a1、将取n=128时{IS1(x,y)}对应的清晰度标记图像{ID1_128(x,y)}作为起始种子图像;⑥-a2、考察{IS1(x,y)}中的每个尺寸大小为n×n的模糊种子块相邻的8个尺寸大小为的图像块,如果{IS1(x,y)}中的尺寸大小为n×n的模糊种子块相邻的尺寸大小为的图像块中的各个像素点的标记均为1,则将起始种子图像中相同位置的尺寸大小为的图像块中的各个像素点的标记设为1;⑥-a3、令并返回执行步骤⑥-a2,直至n=8,其中,中的“=”为赋值符号;⑥-a4、当n=8时,直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为8×8的模糊种子块相邻的8个尺寸大小为的图像块相同位置的图像块中的各个像素点的标记设为1;然后令n=4,并直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为4×4的模糊种子块相邻的8个尺寸大小为的图像块相同位置的图像块中的各个像素点的标记设为1;再令n=2,并直接将起始种子图像中与{IS1(x,y)}中的每个尺寸大小为2×2的模糊种子块相邻的8个像素点相同位置的像素点的标记设为1,得到{IS1(x,y)}对应的区域生长图像{IG1(x,y)},{IG1(x,y)}中标记为1的像素点为模糊像素点,{IG1(x,y)}中标记为0的像素点为非模糊像素点;
所述的步骤⑥中{IS2(x,y)}对应的区域生长图像{IG2(x,y)}的获取过程为:⑥-b1、将取n=128时{IS2(x,y)}对应的清晰度标记图像{ID2_128(x,y)}作为起始种子图像;⑥-b2、考察{IS2(x,y)}中的每个尺寸大小为n×n的模糊种子块相邻的8个尺寸大小为的图像块,如果{IS2(x,y)}中的尺寸大小为n×n的模糊种子块相邻的尺寸大小为的图像块中的各个像素点的标记均为1,则将起始种子图像中相同位置的尺寸大小为的图像块中的各个像素点的标记设为1;⑥-b3、令并返回执行步骤⑥-a2,直至n=8,其中,中的“=”为赋值符号;⑥-b4、当n=8时,直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为8×8的模糊种子块相邻的8个尺寸大小为的图像块相同位置的图像块中的各个像素点的标记设为1;然后令n=4,并直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为4×4的模糊种子块相邻的8个尺寸大小为的图像块相同位置的图像块中的各个像素点的标记设为1;再令n=2,并直接将起始种子图像中与{IS2(x,y)}中的每个尺寸大小为2×2的模糊种子块相邻的8个像素点相同位置的像素点的标记设为1,得到{IS2(x,y)}对应的区域生长图像{IG2(x,y)},{IG2(x,y)}中标记为1的像素点为模糊像素点,{IG2(x,y)}中标记为0的像素点为非模糊像素点。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210050205.1A CN102622737B (zh) | 2012-02-29 | 2012-02-29 | 一种基于区域生长的显微图像融合方法 |
US13/775,195 US8913848B2 (en) | 2012-02-29 | 2013-02-24 | Microscopic image fusion method based on region growing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210050205.1A CN102622737B (zh) | 2012-02-29 | 2012-02-29 | 一种基于区域生长的显微图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102622737A true CN102622737A (zh) | 2012-08-01 |
CN102622737B CN102622737B (zh) | 2014-08-27 |
Family
ID=46562641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210050205.1A Expired - Fee Related CN102622737B (zh) | 2012-02-29 | 2012-02-29 | 一种基于区域生长的显微图像融合方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8913848B2 (zh) |
CN (1) | CN102622737B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982522A (zh) * | 2012-12-14 | 2013-03-20 | 东华大学 | 一种实现多聚焦显微图像实时融合的方法 |
CN104182952A (zh) * | 2014-08-19 | 2014-12-03 | 中国科学院西安光学精密机械研究所 | 多聚焦序列图像融合方法 |
CN104732523A (zh) * | 2015-02-07 | 2015-06-24 | 江西科技学院 | 一种图像区域生长的方法 |
CN108510446A (zh) * | 2018-04-10 | 2018-09-07 | 四川和生视界医药技术开发有限公司 | 视网膜图像的叠加方法及视网膜图像的叠加装置 |
CN109035155A (zh) * | 2018-06-15 | 2018-12-18 | 宁波大学 | 一种光晕去除的多曝光图像融合方法 |
CN109859196A (zh) * | 2019-01-25 | 2019-06-07 | 淮阴师范学院 | 一种基于分块pca的图像聚焦测度实现方法 |
CN110148147A (zh) * | 2018-11-07 | 2019-08-20 | 腾讯大地通途(北京)科技有限公司 | 图像检测方法、装置、存储介质和电子装置 |
CN110378893A (zh) * | 2019-07-24 | 2019-10-25 | 北京市博汇科技股份有限公司 | 图像质量评价方法、装置和电子设备 |
CN118688950A (zh) * | 2024-08-23 | 2024-09-24 | 四川科莫生医疗科技有限公司 | 一种基于痰液玻片的多焦点图像融合显微镜成像方法 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012155446A1 (zh) * | 2011-07-18 | 2012-11-22 | 中兴通讯股份有限公司 | 局部图像平移方法及带有触摸屏的终端 |
EP2806398A1 (en) * | 2013-05-23 | 2014-11-26 | Agfa Healthcare | Method of defining a region of interest |
US9053558B2 (en) | 2013-07-26 | 2015-06-09 | Rui Shen | Method and system for fusing multiple images |
US9367895B2 (en) * | 2014-03-19 | 2016-06-14 | Digitalglobe, Inc. | Automated sliver removal in orthomosaic generation |
CN105225213B (zh) * | 2015-09-29 | 2018-03-09 | 云南大学 | 一种基于s‑pcnn与拉普拉斯金字塔的彩色图像融合方法 |
CN108399611B (zh) * | 2018-01-31 | 2021-10-26 | 西北工业大学 | 基于梯度正则化的多聚焦图像融合方法 |
CN109300097B (zh) * | 2018-08-16 | 2022-04-01 | 南京理工大学 | 基于自适应分块的多序列图像融合方法 |
CN111127380B (zh) * | 2019-12-26 | 2023-05-23 | 云南大学 | 一种基于直觉模糊相似度测量技术的多聚焦图像融合方法 |
CN113192083B (zh) * | 2021-05-07 | 2023-06-06 | 宁波大学 | 一种基于纹理掩蔽效应的图像恰可察觉失真阈值估计方法 |
CN115953344B (zh) * | 2023-03-08 | 2023-05-30 | 上海聚跃检测技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN117541590B (zh) * | 2024-01-10 | 2024-04-09 | 腾讯科技(深圳)有限公司 | 图像处理方法和装置、存储介质及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6454410B1 (en) * | 1999-10-20 | 2002-09-24 | The Trustees Of The University Of Pennsylvania | Mosaicing and enhancement of images for ophthalmic diagnosis and documentation |
CN1822046A (zh) * | 2006-03-30 | 2006-08-23 | 上海电力学院 | 基于区域特征模糊的红外与可见光图像融合方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7697759B2 (en) * | 2004-05-11 | 2010-04-13 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Split-remerge method for eliminating processing window artifacts in recursive hierarchical segmentation |
CN102388305B (zh) * | 2009-02-02 | 2014-11-19 | 罗格斯新泽西州立大学 | 基于图像的风险分数-来自数字组织病理学的存活率和结果的预后预估 |
US9524552B2 (en) * | 2011-08-03 | 2016-12-20 | The Regents Of The University Of California | 2D/3D registration of a digital mouse atlas with X-ray projection images and optical camera photos |
-
2012
- 2012-02-29 CN CN201210050205.1A patent/CN102622737B/zh not_active Expired - Fee Related
-
2013
- 2013-02-24 US US13/775,195 patent/US8913848B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6454410B1 (en) * | 1999-10-20 | 2002-09-24 | The Trustees Of The University Of Pennsylvania | Mosaicing and enhancement of images for ophthalmic diagnosis and documentation |
CN1822046A (zh) * | 2006-03-30 | 2006-08-23 | 上海电力学院 | 基于区域特征模糊的红外与可见光图像融合方法 |
Non-Patent Citations (2)
Title |
---|
JIM SWOGER ET AL.: "《Multi-view image fusion improves resolution in three-dimensional microscopy》", 《OPTICS EXPRESS》 * |
周锋飞等: "《一种基于区域生长的红外与可见光的图像融合方法》", 《应用光学》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982522A (zh) * | 2012-12-14 | 2013-03-20 | 东华大学 | 一种实现多聚焦显微图像实时融合的方法 |
CN104182952A (zh) * | 2014-08-19 | 2014-12-03 | 中国科学院西安光学精密机械研究所 | 多聚焦序列图像融合方法 |
CN104182952B (zh) * | 2014-08-19 | 2017-04-05 | 中国科学院西安光学精密机械研究所 | 多聚焦序列图像融合方法 |
CN104732523A (zh) * | 2015-02-07 | 2015-06-24 | 江西科技学院 | 一种图像区域生长的方法 |
CN108510446A (zh) * | 2018-04-10 | 2018-09-07 | 四川和生视界医药技术开发有限公司 | 视网膜图像的叠加方法及视网膜图像的叠加装置 |
CN108510446B (zh) * | 2018-04-10 | 2023-03-14 | 四川和生视界医药技术开发有限公司 | 视网膜图像的叠加方法及视网膜图像的叠加装置 |
CN109035155B (zh) * | 2018-06-15 | 2021-10-22 | 宁波大学 | 一种光晕去除的多曝光图像融合方法 |
CN109035155A (zh) * | 2018-06-15 | 2018-12-18 | 宁波大学 | 一种光晕去除的多曝光图像融合方法 |
CN110148147A (zh) * | 2018-11-07 | 2019-08-20 | 腾讯大地通途(北京)科技有限公司 | 图像检测方法、装置、存储介质和电子装置 |
CN110148147B (zh) * | 2018-11-07 | 2024-02-09 | 腾讯大地通途(北京)科技有限公司 | 图像检测方法、装置、存储介质和电子装置 |
CN109859196A (zh) * | 2019-01-25 | 2019-06-07 | 淮阴师范学院 | 一种基于分块pca的图像聚焦测度实现方法 |
CN109859196B (zh) * | 2019-01-25 | 2023-06-16 | 淮阴师范学院 | 一种基于分块pca的图像聚焦测度实现方法 |
CN110378893A (zh) * | 2019-07-24 | 2019-10-25 | 北京市博汇科技股份有限公司 | 图像质量评价方法、装置和电子设备 |
CN118688950A (zh) * | 2024-08-23 | 2024-09-24 | 四川科莫生医疗科技有限公司 | 一种基于痰液玻片的多焦点图像融合显微镜成像方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102622737B (zh) | 2014-08-27 |
US8913848B2 (en) | 2014-12-16 |
US20130223760A1 (en) | 2013-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102622737B (zh) | 一种基于区域生长的显微图像融合方法 | |
Yoon et al. | Light-field image super-resolution using convolutional neural network | |
CN102741879B (zh) | 由单眼图像产生深度图的方法及其系统 | |
DE102006041645B4 (de) | Verfahren und Vorrichtung zur Orientierungsbestimmung in einem Bild | |
CN101542529B (zh) | 图像的深度图的生成方法和图像处理单元 | |
JP5941674B2 (ja) | 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム | |
CN103003665B (zh) | 立体测距装置 | |
CN104182952B (zh) | 多聚焦序列图像融合方法 | |
CN104899845A (zh) | 一种基于lαβ空间场景迁移的多曝光图像融合方法 | |
DE102015102681B4 (de) | All-in-focus-implementierung | |
CN106447718B (zh) | 一种2d转3d深度估计方法 | |
CN106355621A (zh) | 基于阵列图像的深度信息获取方法 | |
DE102014006717A1 (de) | Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens | |
CN110443775A (zh) | 基于卷积神经网络的离散小波变换域多聚焦图像融合方法 | |
CN100382107C (zh) | 逐像素有差别和准正则地修改数字图像的方法和系统 | |
CN112330613A (zh) | 一种细胞病理数字图像质量的评价方法及系统 | |
CN108665436A (zh) | 一种基于灰度均值参照的多聚焦图像融合方法和系统 | |
CN106254855B (zh) | 一种基于变焦测距的三维建模方法及系统 | |
Dogan et al. | Automatic panorama with auto-focusing based on image fusion for microscopic imaging system | |
CN110211168A (zh) | 一种基于改进匹配代价的分段树视差图获取方法 | |
Liu et al. | A fast multi-focus image fusion algorithm by DWT and focused region decision map | |
CN109087344A (zh) | 三维重建中的图像选择方法及装置 | |
CN108830804A (zh) | 基于线扩展函数标准差的虚实融合模糊一致性处理方法 | |
CN105741318B (zh) | 基于自动目标提取的全聚焦合成孔径成像方法 | |
Chen et al. | Edge model based fusion of multi-focus images using matting method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140827 |