CN107958442A - 多幅显微图像拼接中的灰度校正方法及装置 - Google Patents
多幅显微图像拼接中的灰度校正方法及装置 Download PDFInfo
- Publication number
- CN107958442A CN107958442A CN201711287182.5A CN201711287182A CN107958442A CN 107958442 A CN107958442 A CN 107958442A CN 201711287182 A CN201711287182 A CN 201711287182A CN 107958442 A CN107958442 A CN 107958442A
- Authority
- CN
- China
- Prior art keywords
- image
- gray scale
- gray
- micro
- coarse adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012937 correction Methods 0.000 title claims abstract description 61
- 230000004927 fusion Effects 0.000 claims description 24
- 238000001000 micrograph Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 241001270131 Agaricus moelleri Species 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000009792 diffusion process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 9
- 238000009825 accumulation Methods 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000007796 conventional method Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002844 continuous effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009394 selective breeding Methods 0.000 description 1
- ZFMRLFXUPVQYAU-UHFFFAOYSA-N sodium 5-[[4-[4-[(7-amino-1-hydroxy-3-sulfonaphthalen-2-yl)diazenyl]phenyl]phenyl]diazenyl]-2-hydroxybenzoic acid Chemical compound C1=CC(=CC=C1C2=CC=C(C=C2)N=NC3=C(C=C4C=CC(=CC4=C3O)N)S(=O)(=O)O)N=NC5=CC(=C(C=C5)O)C(=O)O.[Na+] ZFMRLFXUPVQYAU-UHFFFAOYSA-N 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像拼接领域，具体涉及一种多幅显微图像拼接中的灰度校正方法及装置，目的在于解决图像拼接中的灰度不连续情况。本发明提出的灰度校正方法及装置，先从配准后的图像中选取种子图像，再根据种子图像的位置信息和灰度信息，采用增益补偿方法对图像进行粗调，采用直方图规范化的方法对图像进行细调，尽可能地达到图像与图像之间的灰度一致。然后，采用泊松图像编辑法进行图像融合，消除拼接痕迹。该灰度校正方法流程以种子图像为灰度校正的起点，减少了传统方法的误差累计和传递。由整体到局部，一步步完善校正的效果，灰度校正结果较为鲁棒，保证了切片显微图像灰度校正结果的质量。
Description
技术领域
本发明涉及图像拼接领域，具体涉及一种多幅显微图像拼接中的灰度校正方法及装置。
背景技术
近年来，随着电镜成像技术的发展和计算性能的提升，通过显微图像配准拼接获得大视野高分辨率全景图像，得到广泛应用[1][2]。但在电子显微镜图像采集和拼接的过程中，由于磁场环境变化、参数漂移，以及配准误差、拼接缝等因素的影响，导致拼接后的图像产生了多种灰度不连续现象，包括拼接图像间的灰度块状不一致和局部图像边缘拼接区域的灰度不连续等。这些灰度不连续现象影响视觉效果，给后续的目标追踪、3D重建等任务增加了难度。所以，为了达到多幅图像拼接结果全局灰度连续，即整体的灰度一致和局部拼接缝处的灰度平缓过渡。需要一个完整的灰度校正流程对多幅图像拼接中的灰度不连续现象用多种方法对其进行逐步的校正。
针对图像数量增多引入的灰度校正困难，研究人员提出增益补偿法(GainCompensation)来解决这一问题[3]。常见的方法包括为每幅图像设定增益因子，在增益因子作用下列出不同图像之间差异的能量方程，求解出能量方程最小时的增益因子的值，对每幅图像进行灰度校正。这种方法虽然简单，但是对图像间灰度差异较大时校正效果有限。另外一些方法是图像处理中灰度校正常用的直方图规范化法(HistogramNormalization)以另一个图像的灰度直方图分布为模板[4]，运用统计学的方法，找到灰度映射的函数，对其他图像进行灰度校正，这类方法的灰度校正效果要优于增益补偿法，但是对于图像拼接结果中的图像直接进行直方图规范化其模板图像选择带来的误差的累积和传播会极大的影响最终的灰度校正结果。
此外，上述方法只针对图像间整体灰度不一致，在图像拼接中还存在图像间重叠区域拼接缝处的灰度不连续，需要图像融合的方法进行局部的灰度校正。目前常用多频率融合法解决图像融合问题[5]，多频率融合法是把待融合的图像分解到不同的频带，然后在各个频带上进行融合之后，重建出融合后的图像。但是该方法可能会带来模糊，变暗等问题，对于需要高分辨的显微图像来说并不合适。泊松图像编辑法(Possion Image Editing)是近几年流行起来的图像融合算法[6]。它的核心思想是让图像在保存原有的纹理信息的同时，很好的融入背景图像，消除明显的边界。其原理是让融合之后的图像的梯度场与原始图像的梯度场差异最小，同时边界保持连续。在梯度域进行操作可以避免多频率融合法带来的问题，融合得更加自然，更好地实现了平缓过渡。但是运用到图像拼接中需要针对图像的特征来做一些算法上的调整。
总的来说，在电子显微镜图像采集和拼接的过程中，由于各种因素的影响，可能会导致拼接后的图像产生了多种灰度不连续现象，包括拼接图像间的灰度块状不一致和局部图像边缘拼接区域的灰度不连续等，目前没有针对图像拼接中灰度不连续问题的完整的方法流程，而且现有的技术针对多幅图像的灰度校正，存在效果有限、误差累计和传播等问题，不能达到整幅拼接后的图像整体灰度一致、局部灰度连续的效果。
参考资料：
[1]Sun C,Beare R,Hilsenstein V,et al.Mosaicing of Microscope Images[C]//Digital Image Computing on Techniques and Applications.IEEE ComputerSociety,2005:50。
[2]Sun C,RICHARD BEAREHilsenstein V,et al.Mosaicing of microscopeimages with global geometric and radiometric corrections[J].Journal ofMicroscopy,2006,224(2):158–165。
[3]Brown M,Lowe D G.Automatic Panoramic Image Stitching usingInvariant Features[J].International Journal of Computer Vision,2007,74(1):59-73。
[4]Weng X,Guo X M,Liu X D.Improved method of gray correction for themedical ultrasonic image[J].Chinese Medical Equipment Journal,2004。
[5]Burt P J,Adelson E H.A multiresolution spline with application toimage mosaics[J].Acm Transactions on Graphics,1997,2(4):217-236。
[6]Rez P,Gangnet M,Blake A.Poisson image editing[J].Acm Transactionson Graphics,2003,22(3):313-318。
发明内容
为了解决现有技术中的上述问题，本发明提出了一种多幅显微图像拼接中的灰度校正方法及装置，减少了传统方法的误差累计和传递，灰度校正结果较为鲁棒。
本发明提出一种多幅显微图像拼接中的灰度校正方法，包括以下步骤：
步骤S10，在配准后的显微图像中选取多幅种子图像，并记录所述种子图像的位置和灰度信息；
步骤S20，根据所述种子图像的位置和灰度信息，对配准后的各显微图像的灰度进行粗调，得到灰度粗调后的显微图像；
步骤S30，根据粗调后的所述种子图像的位置和灰度信息，对粗调后的各显微图像的灰度进行细调，得到灰度细调后的显微图像；
步骤S40，将所述细调后的显微图像进行局部灰度的融合，得到灰度校正后的显微图像；
其中：
所述种子图像，为调整其他各幅显微图像灰度的模板，且所述种子图像为亮度和清晰度满足预设要求的显微图像；
所述种子图像的位置信息，为该图像在拼接图像序列中的序列号。
优选地，步骤S20中“对配准后的各显微图像的灰度进行粗调”，包括：
根据种子图像的位置和灰度信息，构建进行灰度粗调的目标函数，进而计算出每幅图像的灰度增益因子；
根据所述灰度增益因子对全部图像进行灰度优化得到整体灰度粗调之后的图像。
优选地，“根据种子图像的位置和灰度信息，构建进行灰度粗调的目标函数，进而计算出每幅图像的灰度增益因子”，具体为：
对所述配准后的显微图像，计算每幅图像与相邻图像之间的重叠区域；
构建目标函数e：
其中，n为所述配准后的显微图像的总数量；i、j为两幅相邻图像的序号；Nij为第i幅图像和第j幅图像的重叠区域中的像素个数；gi、gj分别为第i幅图像和第j幅图像的灰度增益因子；R(i,j)表示第i幅图像上，与第j幅图像重叠的区域；ui表示第i幅图像上的重叠区域R(i,j)中的一个像素点；Ii(ui)表示像素点ui的灰度值；表示第i幅图像上的重叠区域R(i,j)中所有像素点的灰度平均值；R(j,i)表示第j幅图像上，与第i幅图像重叠的区域；uj表示第j幅图像上的重叠区域R(j,i)中的一个像素点；Ij(uj)表示像素点uj的灰度值；表示第j幅图像上的重叠区域R(j,i)中所有像素点的灰度平均值；分别代表增益因子的偏离程度和亮度的偏离程度，当第i幅图像为种子图像时，当第i幅图像为非种子图像时，C1、D1、C2、D2均为预设值，取值时考虑在灰度校正之后所述种子图像的增益和亮度保持不变；
将所述目标函数用极值法求解，得到每幅图像的灰度增益因子。
优选地，“根据所述灰度增益因子对全部图像进行灰度优化得到整体灰度粗调之后的图像”，具体为：
对配准后的每幅图像，用该图像上各像素点的灰度值分别乘以该图像的灰度增益因子，得到所述灰度粗调后的显微图像。优选地，步骤S30中“对粗调后的各显微图像的灰度进行细调，得到灰度细调后的显微图像”，其方法为：
根据粗调后的所述种子图像的位置和灰度信息，分别以各幅所述种子图像为中心，对该种子图像与上下左右相邻图像的重叠区域进行直方图映射操作，并依次向外扩散直至迭代完全部图像，得到所述灰度细调后的显微图像。
优选地，步骤S40中采用泊松图像编辑方法进行图像的局部灰度融合。
优选地，步骤S40中“将所述细调后的显微图像进行局部灰度的融合，得到灰度校正后的显微图像”，具体为：
根据下式计算相邻两幅图像的重叠区域上融合后的灰度值：
从而得到所述灰度校正后的显微图像；
其中，f*和g分别表示经过灰度细调后两幅相邻图像的灰度值；Ω表示相邻两幅图像之间的重叠区域；v为g的梯度场，f表示重叠区域Ω上融合后的图像灰度值；约束项表示f在重叠区域Ω的边缘处与f*相等；表示重叠区域Ω边缘处图像的灰度值。
优选地，所述配准，是指将成像设备采集的多幅部分重叠的图像进行拼接，合成为一幅图像的过程。
本发明同时提出一种多幅显微图像拼接中的灰度校正装置，包括：种子图像选择模块、灰度粗调模块、灰度细调模块、灰度融合模块；
所述种子图像选择模块，配置为：在配准后的显微图像中选取多幅种子图像，并记录所述种子图像的位置和灰度信息；
所述灰度粗调模块，配置为：根据所述种子图像的位置和灰度信息，对配准后的各显微图像的灰度进行粗调，得到灰度粗调后的显微图像；
所述灰度细调模块，配置为：根据粗调后的所述种子图像的位置和灰度信息，对粗调后的各显微图像的灰度进行细调，得到灰度细调后的显微图像；
所述灰度融合模块，配置为：将所述细调后的显微图像进行局部灰度的融合，得到灰度校正后的显微图像；
优选地，所述灰度粗调模块，包括：重叠区域计算单元、目标函数构建单元、灰度增益因子计算单元、灰度调整单元；
所述重叠区域计算单元，配置为：对所述配准后的显微图像，计算每幅图像与相邻图像之间的重叠区域；
所述目标函数构建单元，配置为：构建目标函数；
所述灰度增益因子计算单元，配置为：将所述目标函数用极值法求解，得到每幅图像的灰度增益因子；
所述灰度调整单元，配置为：对配准后的每幅图像，用该图像上各像素点的灰度值分别乘以该图像的灰度增益因子，得到所述灰度粗调后的显微图像。
本发明的有益效果：
本发明提供的多幅显微图像拼接中的灰度校正方法及装置，先从配准后的图像中选取种子图像，再根据种子图像的位置信息和灰度信息，采用增益补偿和直方图规范化的方法，对多幅图像进行灰度调整以尽可能的达到的图像与图像之间的灰度一致。然后，采用泊松图像编辑法，根据显微镜图像的边界特点修改边界条件来进行图像融合，使得显微图像能够尽可能的保持其局部纹理特征的同时消除拼接痕迹。该灰度校正方法流程以种子图像为灰度校正的起点，减少了传统方法的误差累计和传递。由整体到局部，一步步完善校正的效果，灰度校正结果较为鲁棒，保证了切片显微图像灰度校正结果的质量。
附图说明
图1是本发明实施例的灰度校正方法流程示意图；
图2A是本发明实施例中，已完成配准但未进行灰度校正的图像显示效果；
图2B是本发明实施例中，在配准后的图像中选择种子图像后并用虚线圆圈标出后的结果；
图2C是本发明实施例中，进行整体灰度粗调后的图像；
图2D是本发明实施例中，进行整体灰度细调后的图像；
图2E是本发明实施例中，最终灰度校正的后的图像；
图3是本发明实施例的灰度校正装置构成示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
对多幅显微图像进行拼接时，需要进行配准和灰度校正。配准是指将成像设备采集的多幅部分重叠的图像合成为一幅大幅面的高分辨率图像的过程，能够有效克服普通成像设备在视场上的局限性，获得比单幅图像更高的分辨率和更大的视场范围。首先采用模板匹配的方法计算相邻图像之间的相对位置，然后通过优化的方式计算所有图像在参考坐标空间中的绝对坐标，以最小化相邻图像之间绝对坐标位置差异与相对位置之间的误差。由于成像环境和配准误差的影响，导致相邻图像之间存在衬度差异，因此需要同时处理多幅图像之间的灰度不连续现象。
本发明提出的多幅显微图像拼接中的灰度校正方法，基于种子图像的灰度校正方法流程，对图像拼接中的灰度不连续情况，进行分步解决。
利用种子图像的位置和灰度信息对拼接后的图像先进行整体灰度调整，达到拼接图像间灰度的一致。其中整体灰度调整，具体包括：用户选择种子图像；进行粗略的线性调整；再进一步细调。种子图像起灰度调整的模板作用，决定了调整的起始点位置和方向。接着，再进行局部灰度融合，消除拼接缝处的灰度不连续，最终实现整个灰度校正流程。其中，种子图像是指用户选择的图像质量较好的图像，图像本身清晰，亮度合适，不会太亮或太暗。
本发明提出的一种多幅显微图像拼接中的灰度校正方法的实施例，如图1所示，包括以下步骤：
步骤S10，在配准后的显微图像中选取多幅种子图像，并记录所述种子图像的位置和灰度信息；
步骤S20，根据所述种子图像的位置和灰度信息，对配准后的各显微图像(包括种子图像)的灰度进行粗调，得到灰度粗调后的显微图像；
步骤S30，根据粗调后的所述种子图像的位置和灰度信息，对粗调后的各显微图像(包括种子图像)的灰度进行细调，得到灰度细调后的显微图像；
步骤S40，将所述细调后的显微图像进行局部灰度的融合，得到灰度校正后的显微图像；
其中：
所述种子图像，为人工选择的亮度和清晰度满足预设要求的显微图像，作为调整其他各幅显微图像灰度的模板；
所述种子图像的位置信息，为该图像在拼接图像序列中的序列号。
本实施例中，步骤S20具体为：
在步骤S21中，对所述配准后的显微图像，计算每幅图像与相邻图像之间的重叠区域。
在步骤S22中，构建公式(1)所示的目标函数e：
其中：n为所述配准后的显微图像的总数量；i、j为两幅相邻图像的序号；gi、gj分别为第i幅图像和第j幅图像的灰度增益因子；R(i,j)表示第i幅图像上，与第j幅图像重叠的区域；ui表示第i幅图像上的重叠区域R(i,j)中的一个像素点；Ii(ui)表示像素点ui的灰度值；uj表示第j幅图像上的重叠区域R(j,i)中的一个像素点；R(j,i)表示第j幅图像上，与第i幅图像重叠的区域；Ij(uj)表示像素点uj的灰度值。
为了简化计算，分别用重叠区域R(i,j)的灰度平均值代替Ii(ui)，用重叠区域R(j,i)的灰度平均值代替Ij(uj)；表示第i幅图像上的重叠区域R(i,j)中所有像素点的灰度平均值；表示第j幅图像上的重叠区域R(j,i)中所有像素点的灰度平均值；和分别如公式(2)和(3)所示：
进一步地，为了符合实际意义，使得最优解尽量接近于1，增益因子不等于零，所以根据约束条件信息(即种子图像的位置)变换目标函数，引入代表增益因子和亮度的偏离程度的附加项当第i幅图像为种子图像时，当第i幅图像为非种子图像时，C1、D1、C2、D2均为预设值，取值时需要考虑在灰度校正之后种子图像的增益和亮度保持不变；
最后得到的目标函数如公式(4)所示：
其中，Nij为第i幅图像和第j幅图像的重叠区域中的像素个数；
在步骤S23中，将公式(4)所述目标函数用极值法求解，得到每幅图像的灰度增益因子。
对目标函数e关于每一个增益因子gi求偏导，并令其为零，得到关于gi的线性方程组，求解即可获得所有的gi。
在步骤S24中，对配准后的每幅图像，用该图像上各像素点的灰度值分别乘以该图像的灰度增益因子，得到所述灰度粗调后的显微图像。
本实施例中，步骤S30具体为：
根据粗调后的所述种子图像的位置和灰度信息，分别以各幅所述种子图像为中心，对该种子图像与上下左右相邻图像的重叠区域进行直方图映射操作，并依次向外扩散直至迭代完全部图像，得到所述灰度细调后的显微图像。
本实施例中，步骤S40中采用泊松图像编辑方法进行图像的局部灰度融合。
本实施例中，步骤S40具体为，根据公式(5)-(6)计算相邻两幅图像的重叠区域上融合后的灰度值：
从而得到所述灰度校正后的显微图像；
其中，f*和g分别表示经过灰度细调后两幅相邻图像的灰度值；Ω表示相邻两幅图像之间的重叠区域；v为g的梯度场，f表示重叠区域Ω上融合后的图像灰度值；约束项表示f在重叠区域Ω的边缘处与f*相等；表示重叠区域Ω边缘处图像的灰度值。
泊松图像编辑方法是图像处理领域比较知名的算法，具体求解方法可以见Patrick Perez等人在2003年发表的论文《Poisson Image Editing》。
图2A-图2E为本发明实施例提供的多幅显微图像拼接中的灰度校正方法中各步骤的效果示意图。图2A是已经完成多幅拼接图像配准但未进行灰度校正的图像显示效果；图2B是在配准后的图像中，选择种子图像后并用虚线圆圈标出后的结果；图2C是根据种子图像进行整体灰度的粗调后得到的结果；图2D是根据种子图像的位置和灰度直方图分布，进行整体灰度的细调后的图像；图2E是对图像中的拼接痕迹部分进行局部灰度的融合，最终灰度校正的后的效果。
本发明同时提出一种多幅显微图像拼接中的灰度校正装置，如图3所示，包括：种子图像选择模块10、灰度粗调模块20、灰度细调模块30、灰度融合模块40。
所述种子图像选择模块10，配置为：在配准后的显微图像中选取多幅种子图像，并记录所述种子图像的位置和灰度信息。
所述灰度粗调模块20，配置为：根据所述种子图像的位置和灰度信息，对配准后的各显微图像的灰度进行粗调，得到灰度粗调后的显微图像。
所述灰度细调模块30，配置为：根据粗调后的所述种子图像的位置和灰度信息，对粗调后的各显微图像的灰度进行细调，得到灰度细调后的显微图像。
所述灰度融合模块40，配置为：将所述细调后的显微图像进行局部灰度的融合，得到灰度校正后的显微图像；融合时采用公式(5)-(6)所示的算法。
本实施例中，所述灰度粗调模块，包括：重叠区域计算单元21、目标函数构建单元22、灰度增益因子计算单元23、灰度调整单元24。
所述重叠区域计算单元21，配置为：对所述配准后的显微图像，计算每幅图像与相邻图像之间的重叠区域。
所述目标函数构建单元22，配置为：构建目标函数；具体构建方法，见公式(1)-(4)，这里不再赘述。
所述灰度增益因子计算单元23，配置为：将所述目标函数用极值法求解，得到每幅图像的灰度增益因子。
所述灰度调整单元24，配置为：对配准后的每幅图像，用该图像上各像素点的灰度值分别乘以该图像的灰度增益因子，得到所述灰度粗调后的显微图像。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种多幅显微图像拼接中的灰度校正方法，其特征在于，包括以下步骤：
步骤S10，在配准后的显微图像中选取多幅种子图像，并记录所述种子图像的位置和灰度信息；
步骤S20，根据所述种子图像的位置和灰度信息，对配准后的各显微图像的灰度进行粗调，得到灰度粗调后的显微图像；
步骤S30，根据粗调后的所述种子图像的位置和灰度信息，对粗调后的各显微图像的灰度进行细调，得到灰度细调后的显微图像；
步骤S40，将所述细调后的显微图像进行局部灰度的融合，得到灰度校正后的显微图像；
其中，
所述种子图像，为调整其他各幅显微图像灰度的模板，且所述种子图像为亮度和清晰度满足预设要求的显微图像；
所述种子图像的位置信息，为该图像在拼接图像序列中的序列号。
2.根据权利要求1所述的灰度校正方法，其特征在于，步骤S20中“对配准后的各显微图像的灰度进行粗调”，包括：
根据种子图像的位置和灰度信息，构建进行灰度粗调的目标函数，进而计算出每幅图像的灰度增益因子；
根据所述灰度增益因子对全部图像进行灰度优化得到整体灰度粗调之后的图像。
3.根据权利要求2所述的灰度校正方法，其特征在于，“根据种子图像的位置和灰度信息，构建进行灰度粗调的目标函数，进而计算出每幅图像的灰度增益因子”，具体为：
对所述配准后的显微图像，计算每幅图像与相邻图像之间的重叠区域；
构建目标函数e：
其中，n为所述配准后的显微图像的总数量；i、j为两幅相邻图像的序号；Nij为第i幅图像和第j幅图像的重叠区域中的像素个数；gi、gj分别为第i幅图像和第j幅图像的灰度增益因子；R(i,j)表示第i幅图像上，与第j幅图像重叠的区域；ui表示第i幅图像上的重叠区域R(i,j)中的一个像素点；Ii(ui)表示像素点ui的灰度值；表示第i幅图像上的重叠区域R(i,j)中所有像素点的灰度平均值；R(j,i)表示第j幅图像上，与第i幅图像重叠的区域；uj表示第j幅图像上的重叠区域R(j,i)中的一个像素点；Ij(uj)表示像素点uj的灰度值；表示第j幅图像上的重叠区域R(j,i)中所有像素点的灰度平均值；分别代表增益因子的偏离程度和亮度的偏离程度，当第i幅图像为种子图像时，当第i幅图像为非种子图像时，C1、D1、C2、D2均为预设值，取值时考虑在灰度校正之后所述种子图像的增益和亮度保持不变；
将所述目标函数用极值法求解，得到每幅图像的灰度增益因子。
4.根据权利要求2所述的灰度校正方法，其特征在于，“根据所述灰度增益因子对全部图像进行灰度优化得到整体灰度粗调之后的图像”，具体为：
对配准后的每幅图像，用该图像上各像素点的灰度值分别乘以该图像的灰度增益因子，得到所述灰度粗调后的显微图像。
5.根据权利要求1所述的灰度校正方法，其特征在于，步骤S30中“对粗调后的各显微图像的灰度进行细调，得到灰度细调后的显微图像”，其方法为：
根据粗调后的所述种子图像的位置和灰度信息，分别以各幅所述种子图像为中心，对该种子图像与上下左右相邻图像的重叠区域进行直方图映射操作，并依次向外扩散直至迭代完全部图像，得到所述灰度细调后的显微图像。
6.根据权利要求1所述的灰度校正方法，其特征在于，步骤S40中采用泊松图像编辑方法进行图像的局部灰度融合。
7.根据权利要求6所述的灰度校正方法，其特征在于，步骤S40中“将所述细调后的显微图像进行局部灰度的融合，得到灰度校正后的显微图像”，具体为：
根据下式计算相邻两幅图像的重叠区域上融合后的灰度值：
从而得到所述灰度校正后的显微图像；
其中，f*和g分别表示经过灰度细调后两幅相邻图像的灰度值；Ω表示相邻两幅图像之间的重叠区域；v为g的梯度场，f表示重叠区域Ω上融合后的图像灰度值；约束项表示f在重叠区域Ω的边缘处与f*相等；表示重叠区域Ω边缘处图像的灰度值。
8.根据权利要求1-7中任一项所述的灰度校正方法，其特征在于，所述配准，是指将成像设备采集的多幅部分重叠的图像进行拼接，合成为一幅图像的过程。
9.一种多幅显微图像拼接中的灰度校正装置，其特征在于，包括：种子图像选择模块、灰度粗调模块、灰度细调模块、灰度融合模块；
所述种子图像选择模块，配置为：在配准后的显微图像中选取多幅种子图像，并记录所述种子图像的位置和灰度信息；
所述灰度粗调模块，配置为：根据所述种子图像的位置和灰度信息，对配准后的各显微图像的灰度进行粗调，得到灰度粗调后的显微图像；
所述灰度细调模块，配置为：根据粗调后的所述种子图像的位置和灰度信息，对粗调后的各显微图像的灰度进行细调，得到灰度细调后的显微图像；
所述灰度融合模块，配置为：将所述细调后的显微图像进行局部灰度的融合，得到灰度校正后的显微图像。
10.根据权利要求9所述的灰度校正装置，其特征在于，所述灰度粗调模块，包括：重叠区域计算单元、目标函数构建单元、灰度增益因子计算单元、灰度调整单元；
所述重叠区域计算单元，配置为：对所述配准后的显微图像，计算每幅图像与相邻图像之间的重叠区域；
所述目标函数构建单元，配置为：构建目标函数；
所述灰度增益因子计算单元，配置为：将所述目标函数用极值法求解，得到每幅图像的灰度增益因子；
所述灰度调整单元，配置为：对配准后的每幅图像，用该图像上各像素点的灰度值分别乘以该图像的灰度增益因子，得到所述灰度粗调后的显微图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711287182.5A CN107958442A (zh) | 2017-12-07 | 2017-12-07 | 多幅显微图像拼接中的灰度校正方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711287182.5A CN107958442A (zh) | 2017-12-07 | 2017-12-07 | 多幅显微图像拼接中的灰度校正方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107958442A true CN107958442A (zh) | 2018-04-24 |
Family
ID=61957555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711287182.5A Pending CN107958442A (zh) | 2017-12-07 | 2017-12-07 | 多幅显微图像拼接中的灰度校正方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107958442A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523495A (zh) * | 2018-10-15 | 2019-03-26 | 北京东软医疗设备有限公司 | 图像处理方法及装置、设备和存储介质 |
| CN109559275A (zh) * | 2018-11-07 | 2019-04-02 | 苏州迈瑞科技有限公司 | 一种尿液分析仪显微镜图像拼接方法 |
| CN109697705A (zh) * | 2018-12-24 | 2019-04-30 | 北京天睿空间科技股份有限公司 | 适于视频拼接的色差矫正方法 |
| CN110807732A (zh) * | 2019-10-11 | 2020-02-18 | 武汉兰丁医学高科技有限公司 | 用于显微图像全景拼接系统及方法 |
| EP3893513A4 (en) * | 2018-12-07 | 2022-01-26 | Tencent Technology (Shenzhen) Company Limited | METHOD AND APPARATUS FOR CONNECTING VIDEO, ELECTRONIC DEVICE, AND COMPUTER STORAGE MEDIA |
| CN116978005A (zh) * | 2023-09-22 | 2023-10-31 | 南京凯视迈科技有限公司 | 基于姿态变换的显微镜图像处理系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101346756A (zh) * | 2006-06-13 | 2009-01-14 | 松下电器产业株式会社 | 灰度校正装置 |
| CN101482971A (zh) * | 2009-02-23 | 2009-07-15 | 公安部第一研究所 | 一种对低灰度x射线图像信号进行补偿的非均匀性校正方法 |
| CN103176380A (zh) * | 2011-12-22 | 2013-06-26 | 佳能株式会社 | 图像形成设备和在图像形成设备中进行灰度校正的方法 |
| CN105005963A (zh) * | 2015-06-30 | 2015-10-28 | 重庆市勘测院 | 一种多相机图像拼接匀色方法 |
-
2017
- 2017-12-07 CN CN201711287182.5A patent/CN107958442A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101346756A (zh) * | 2006-06-13 | 2009-01-14 | 松下电器产业株式会社 | 灰度校正装置 |
| CN101482971A (zh) * | 2009-02-23 | 2009-07-15 | 公安部第一研究所 | 一种对低灰度x射线图像信号进行补偿的非均匀性校正方法 |
| CN103176380A (zh) * | 2011-12-22 | 2013-06-26 | 佳能株式会社 | 图像形成设备和在图像形成设备中进行灰度校正的方法 |
| CN105005963A (zh) * | 2015-06-30 | 2015-10-28 | 重庆市勘测院 | 一种多相机图像拼接匀色方法 |
Non-Patent Citations (5)
| Title |
|---|
| FANGXU ZHOU 等: "Grayscale inhomogeneity correction method for multiple mosaicked electron microscope images", 《NINTH INTERNATIONAL CONFERENCE ON GRAPHIC AND IMAGE PROCESSING（ICGIP 2017）》 * |
| MATTHEW BROWN, DAVID G. LOWE: "Automatic Panoramic Image Stitching using Invariant Features", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 * |
| PATRICK PEREZ 等: "Poisson Image Editing", 《ACM TRANSACTIONS ON GRAPHICS》 * |
| 王彦辉 等: "灰度校正在红外序列图像拼接中的应用", 《红外》 * |
| 翁璇 等: "超声医学图像灰度校正方法的改进", 《医疗卫生装备》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523495A (zh) * | 2018-10-15 | 2019-03-26 | 北京东软医疗设备有限公司 | 图像处理方法及装置、设备和存储介质 |
| CN109559275A (zh) * | 2018-11-07 | 2019-04-02 | 苏州迈瑞科技有限公司 | 一种尿液分析仪显微镜图像拼接方法 |
| CN109559275B (zh) * | 2018-11-07 | 2024-05-21 | 深圳迈瑞生物医疗电子股份有限公司 | 一种尿液分析仪显微镜图像拼接方法 |
| EP3893513A4 (en) * | 2018-12-07 | 2022-01-26 | Tencent Technology (Shenzhen) Company Limited | METHOD AND APPARATUS FOR CONNECTING VIDEO, ELECTRONIC DEVICE, AND COMPUTER STORAGE MEDIA |
| US11972580B2 (en) | 2018-12-07 | 2024-04-30 | Tencent Technology (Shenzhen) Company Limited | Video stitching method and apparatus, electronic device, and computer storage medium |
| CN109697705A (zh) * | 2018-12-24 | 2019-04-30 | 北京天睿空间科技股份有限公司 | 适于视频拼接的色差矫正方法 |
| CN109697705B (zh) * | 2018-12-24 | 2019-09-03 | 北京天睿空间科技股份有限公司 | 适于视频拼接的色差矫正方法 |
| CN110807732A (zh) * | 2019-10-11 | 2020-02-18 | 武汉兰丁医学高科技有限公司 | 用于显微图像全景拼接系统及方法 |
| CN110807732B (zh) * | 2019-10-11 | 2023-08-29 | 武汉兰丁智能医学股份有限公司 | 用于显微图像全景拼接系统及方法 |
| CN116978005A (zh) * | 2023-09-22 | 2023-10-31 | 南京凯视迈科技有限公司 | 基于姿态变换的显微镜图像处理系统 |
| CN116978005B (zh) * | 2023-09-22 | 2023-12-19 | 南京凯视迈科技有限公司 | 基于姿态变换的显微镜图像处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107958442A (zh) | 多幅显微图像拼接中的灰度校正方法及装置 | |
| US10235744B1 (en) | System and method for digital image intensity correction | |
| CN109064409B (zh) | 一种移动机器人的视觉图像拼接系统及方法 | |
| CN100508882C (zh) | 用于运行磁共振断层造影设备的方法和控制装置 | |
| CN110363116B (zh) | 基于gld-gan的不规则人脸矫正方法、系统及介质 | |
| US8121370B2 (en) | Method of performing measurements on digital images | |
| CN111047510A (zh) | 一种基于标定的大视场角图像实时拼接方法 | |
| DE102018006247A1 (de) | Digitalbildvervollständigung unter Verwendung des Deep Learning | |
| CN106056537A (zh) | 一种医学图像拼接方法及装置 | |
| DE102018006243A1 (de) | Vorhersagen von Patchverschiebungsabbildungen unter Verwendung eines Neuronalnetzwerkes | |
| Zhao et al. | Data-driven enhancement of blurry retinal images via generative adversarial networks | |
| CN106934821A (zh) | 一种基于icp算法和b样条的锥形束ct和ct图像配准方法 | |
| US20060133694A1 (en) | Display device for displaying a blended image | |
| DE102021118479A1 (de) | Einbetten von komplexen 3d-objekten in eine erweiterte realitätsszene unter verwendung einer bildsegmentierung | |
| CN101930595A (zh) | 图像处理方法和图像处理设备 | |
| CN103501415A (zh) | 一种基于重叠部分结构变形的视频实时拼接方法 | |
| CN104050713A (zh) | 医用图像处理装置及医用图像处理方法 | |
| CN111242848B (zh) | 基于区域特征配准的双目相机图像缝合线拼接方法及系统 | |
| CN109472752A (zh) | 基于航拍图像的多曝光融合系统 | |
| CN109544657A (zh) | 医学图像迭代重建方法、装置、计算机设备和存储介质 | |
| CN107154036A (zh) | 基于亚像素的血管分割方法及其分割系统 | |
| CN107403408A (zh) | 一种双鱼眼图像拼接全景图像接缝融合方法 | |
| CN116091314A (zh) | 一种基于多尺度深度单应性的红外图像拼接方法 | |
| CN106780326A (zh) | 一种提高全景图像清晰度的融合方法 | |
| Zhang et al. | Image stitching based on human visual system and SIFT algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180424 |
|
| WD01 | Invention patent application deemed withdrawn after publication |