CN115393187A - 一种高自由度的微观图像拼接融合方法及系统 - Google Patents

一种高自由度的微观图像拼接融合方法及系统 Download PDF

Info

Publication number
CN115393187A
CN115393187A CN202210930483.XA CN202210930483A CN115393187A CN 115393187 A CN115393187 A CN 115393187A CN 202210930483 A CN202210930483 A CN 202210930483A CN 115393187 A CN115393187 A CN 115393187A
Authority
CN
China
Prior art keywords
image
microscopic
spliced
imglast
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210930483.XA
Other languages
English (en)
Inventor
范启雄
胡正发
曹江中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210930483.XA priority Critical patent/CN115393187A/zh
Publication of CN115393187A publication Critical patent/CN115393187A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种高自由度的微观图像拼接融合方法及系统，涉及图像拼接融合的技术领域，确定微观主图像，确定最后一个拼入微观主图像的图像ImgLast的前提下，考虑在实际图像拼接的过程中，待拼接图像与微观主图像除图像ImgLast以外的其他位置的重叠区域，若重叠区域为多区域、多边形重叠时，确定图像ImgLast与待拼接图像之间准确的相对位移量，指导待拼接图像与微观主图像重叠区域内各点进行融合时的权重分布值计算，以权重分布值作为基准，计算相同位置待拼接图像各点与微观主图像融合后重叠图的灰度值，确定融合后的图像块并贴入待拼接图像中然后进行拼接融合，相对于传统仅适应于矩形区域的情况，以更高自由度实现待拼接。

Description

一种高自由度的微观图像拼接融合方法及系统
技术领域
本发明涉及图像拼接融合的技术领域，更具体地，涉及一种高自由度的微观图像拼接融合方法及系统。
背景技术
在科研、医疗临床等领域方面，为了获取待检测目标的微观形貌，需要借助具有足够分辨率的相机和镜头，才能找到合适的观测图像。随着显微镜技术在微观应用的不断深入,尤其在水平面上，高倍镜下的显微图像比起低倍图像可以提供更加丰富的图像信息,但是随着镜头放大倍数的增大,图像的视野也随之减小,使得在较高的放大倍数下,无法将感兴趣区域放在同一个视野下,这就给高倍镜下较大目标的观察和分析带来很大的阻碍，对显微镜图像的处理和分析就显得愈来愈重要。
在目前情况下,操作者能通过分别观察分离的高倍目标图像,然后通过想象来完成图像的重建，而若要求进行进一步的图像分析,则仅能随机选择目标几个视野的图像,分析得到近似的结果,而无法得到图像的精确分析结果,这就为图像分析带来诸多不便。
图像拼接技术是指将含有重叠部分的两幅或多幅图像，通过图像预处理、图像配准和图像融合技术，拼接成一幅包含各图像信息的高分辨率、宽视角图像的技术。该技术广泛地应用在医学成像、遥感技术、虚拟现实、视频编辑等方面，随着计算机视觉等技术的发展，其重要性日益凸显。此外，图像拼接技术还用于视频压缩，将视频逐帧拼接为高分辨率图像，去除重复部分，降低存储空间，提高传输速度，采用相位相关法搜索给定目标，实现图像索引。图像拼接最核心的技术分为两方面，即图像配准和图像融合。当前图像配准已经有许多通用性高，鲁棒性和实时性高的算法，而图像融合现在还较少有效果好，鲁棒性高，适配性高的算法。
现有技术中提出了一种微观图像拼接方法及系统，控制图像采集单元逐次平移并采集样品各位置处的微观图像，相邻图像的重叠区域大小等于设定值，然后搜索源图像重叠区域内的源特征点，并在目标图像重叠区域对应的微观图像内确定相应的目标特征点，目标图像为当前拼接后的微观图像，搜索以任一目标特征点为中心的窗口内的所有特征点，计算对应的源特征点与窗口内各特征点之间的距离，根据最小距离与次小距离之比判断源特征点与最小距离对应的特征点是否匹配；根据匹配结果拼接源图像和目标图像，并将拼接后的图像作为目标图像；以此类推，直至将最后一个微观图像拼接至目标图像，但目前这种拼接方式仅是针对于待拼接图像与上一个位置采集的两幅图像之间简单矩形重叠区域的融合，然而，在实际将待拼接微观图像与目标图像拼接时，由于待拼接图像拼入主图像的位置是随机的，这个过程还需考虑到待拼接图像与已完成拼接图像除上一个位置图像以外的其他位置的重叠区域，因此，重叠区域并非完全性的规则矩形区域，可能是复杂的不规则多区域、多边形背景，因此这种基于矩形重叠区域进行拼接融合方式局限性较高，限制了待拼接图像拼入的位置以及拼接效果，容易产生拼缝，融合性能不佳。
发明内容
为解决现有图像拼接融合方式在面对待拼接图像与多区域多边形的背景融合时，局限性高，融合性能不佳的问题，本发明提出了一种高自由度的微观图像拼接融合方法及系统，以高自由度实现待拼接图像从上一个位置图像的任意位置拼入，保障图像重叠部分无缝融合。
为了达到上述技术效果，本发明的技术方案如下：
一种高自由度的微观图像拼接融合方法，所述方法包括以下步骤：
S1.将由若干个已采集的微观图像随机初步拼接完成的图像作为微观主图像，确定在初步拼接完成的过程中，最后一个拼入微观主图像的图像ImgLast；
S2.微观图像采集装置移动，采集另一视野下、与微观主图像中图像ImgLast保持有一定重叠区域的微观图像，将该微观图像作为待拼接图像；
S3.确定图像ImgLast与待拼接图像之间准确的相对位移量；
S4.对待拼接图像进行预处理；
S5.确定预处理后的待拼接图像与微观主图像重叠区域内各点进行融合时的权重分布值；
S6.基于权重分布值，确定相同位置待拼接图像各点与微观主图像融合后重叠图的灰度值，确定融合后的图像块；
S7.将图像块贴入待拼接图像中，基于相对位移量，将待拼接图像与微观主图像直接进行图像拼接。
与传统的方法相比，传统的拼接融合仅能解决待拼接图像与最后一个拼入微观主图像的图像ImgLast之间简单矩形重叠区域的融合，这种拼接融合限制了待拼接图像拼入的位置以及拼接效果。然而，在实际图像拼接的过程中，由于待拼接图像拼入微观主图像的位置是随机的，这个过程还需考虑到待拼接图像与微观主图像除图像ImgLast以外的其他位置的重叠区域，当待拼接图像不仅与图像ImgLast重叠，还与微观主图像时，这部分内容则涉及到了多区域、多边形重叠的拼接融合问题，传统的方法则无法解决。在本技术方案中，在微观图像需求下，以权重分布值作为指导，相对于传统仅适应于矩形区域的情况，以更高自由度实现待拼接图像从图像ImgLast拼入。从而，使得从小视野图像到大视野图像的无缝拼接顺利完成。
优选地，设微观主图像表示为ImgSrc，确定ImgSrc的区域，设为RegSrc，设待拼接图像表示为ImgAdd，确定ImgAdd的区域，设为RegAdd，待拼接图像为固定宽高的图像，设图像ImgLast区域为RegLast，RegSrc与RegAdd的重叠区域表示为RegOverlap，重叠区域的范围在10％～80％，满足RegOverlap＝{Regs|Regs∈RegSrc And Regs∈RegAdd},其中，RegOverlap包含一个区域或多个区域，即Size(RegOverlap)≥1。
优选地，步骤S3的具体过程包括：
S31.对图像ImgLast与待拼接图像进行粗匹配；
S32.在粗匹配的基础上，进行图像ImgLast与待拼接图像的精确匹配，得到图像ImgLast与待拼接图像之间准确的相对位移量。
优选地，对图像ImgLast与待拼接图像进行粗匹配的方法为相位相关法，通过相位相关法，初步确定图像ImgLast与待拼接图像的重叠区域。通过粗匹配首先确定待拼接图像与图像ImgLast左上角的点的相对距离，也即初步确定重叠区域位置。
优选地，在初步确定的图像ImgLast与待拼接图像的重叠区域内提取图像特征点，图像特征点包括图像ImgLast与待拼接图像的相似内容点的位置、相似内容点的相似度，相似度越高，相似内容点之间的欧式距离越小；
首先设置阈值，利用KNN算法筛选出大于阈值的待匹配图像特征点，通过RANSAC算法，再从待匹配图像特征点中，筛选相似度更高的图像特征点，最后利用筛选出的图像特征点求取图像ImgLast与待拼接图像之间准确的相对位移量，具体为：
设求得的相似内容点共q组，每一组相似内容点的图像坐标表示为(xj，yj)，其中，xj表示横坐标，yj表示纵坐标，j＝1,2，…,q，将q组相似内容点之间对应的横坐标和纵坐标相减得到多组位置偏移量，将多组位置偏移量进行异常值排除后求均值，得到图像ImgLast与待拼接图像之间准确的相对位移量；
图像ImgLast与微观主图像的位置关系确定，在图像ImgLast与待拼接图像之间准确的相对位移量确定时，待拼接图像与微观主图像ImgSrc的位置偏移量确定，则得出RegSrc与RegAdd的重叠区域RegOverlap具体位置。
在此，一般提取的图像特征点不止一个，只有少量的相似点的两张图有可能是假相似点，筛选后没有相似点时则认为两张图完全不重叠，图像ImgLast相当于是最开始初步拼接的待拼接图像ImgAdd，初步拼接完成时，图像ImgLast与微观主图像ImgSrc的位置关系已经确定，此时只需要确定当前的待拼接图像ImgAdd与图像ImgLast的位置关系，就可以确定ImgAdd与ImgSrc的位置关系，由待拼接ImgAdd相对微观主图像ImgSrc的位置偏移值，可以进一步获得ImgAdd与ImgSrc的重叠区域RegOverlap，在每一次拼接完图像后，均计算ImgSrc与ImgAdd的合并区域，合并完的区域就是新的ImgSrc的区域，当ImgAdd与ImgSrc的位置关系已经确定，即矩形的左上角点已经确定，待拼接图像ImgAdd的图像宽高也已经知道，即待拼接的区域(ImgAdd的区域)也已经知道，ImgSrc区域与ImgAdd区域求交集就得到两者的重叠区域。
在此，在高自由度融合技术的基础上，为了完成更高效更高精度的图像拼接，实现图像更完美的拼接效果，定位上，利用相位相关法进行粗匹配和提取ORB特征、并采用KNN算法与RANSAC算法筛选匹配点的精匹配达到更精确位置定位。
优选地，在步骤S3中，利用手眼标定将机械绝对坐标转为图像像素坐标的方式，确定图像ImgLast与待拼接图像之间准确的相对位移量，有助于加速图像拼接融合。
优选地，在步骤S4中，采用平场校正的方式对待拼接图像进行预处理。
在此，由于相机采集图像时光线不均匀、镜头中心与边缘响应不一致等情况，导致的所获图像亮度分布不均的不良效果(通常表现为图像中间亮，四周暗)，可利用平场校正解决此问题。
优选地，在步骤S5中，确定预处理后的待拼接图像与微观主图像重叠区域内各点进行融合时的权重分布值的过程为：
S51.设预处理后的待拼接图像与微观主图像重叠区域的轮廓线集合进行归类，将属于待拼接图像的边归为边缘线集合EdgeLines，其中，EdgeLines＝{EL1，EL2，...ELm}，ELi为EdgeLines的边缘线，m为边缘线集合EdgeLines中边缘线的数量；将属于微观主图像ImgSrc边缘的边归为内线集合InnerLines，其中，InnerLines＝{IL1，IL2，...ILn}，ILi为InnerLines的边缘线，n为内线集合InnerLines中内线的数量；
S52.设重叠区域表征为RegOverlap(x，y)，计算重叠区域内各个点与内线集合InnerLines的最小距离d0(x，y)、与边缘线集合EdgeLines的最小距离d1(x，y)；
S53.根据S52所述的距离值，计算重叠区域RegOverlap(x，y)内各个点进行融合时的权重分布值，表达式为：
Figure BDA0003780996620000051
其中，weight(x，y)表示各个点进行融合时的权重分布值，是从1到0简便分布的，在计算过程中采用GPU并行计算；
在步骤S6中，相同位置待拼接图像各点与微观主图像融合后重叠图的灰度值的表达式为：
ImgStitch(x，y)＝(1-weight)*ImgAdd(x，y)+weight*ImgSrc(x，y)。
在此，为了更高效完成图像拼接融合，使用GPU并发计算，使拼接融合过程满足实时性要求。
优选地，计算重叠区域内各个点与内线集合InnerLines的最小距离d0(x，y)、与边缘线集合EdgeLines的最小距离d1(x，y)的过程为：
设p表示重叠区域的坐标点，表示为p＝(x，y)，将p到线段EL的距离定义为dist(p，EL)，则dist(p，EL)＝min(||p-p1||2，||p-p2||2，||p-pproj||2)，其中，p1为线段EL的一个端点，p2为线段EL的另一个端点，pproj为点p在线段EL上的投影点；
则p到InnerLines的最小距离为：
d0(x，y)＝min(dist(p，ILi))
其中，i＝1,2,…n，n为内线集合InnerLines中内线的数量；
p到EdgeLines的最小距离为：
d1(x,y)＝min(dist(p,ELi))
其中，i＝1,2,…m，m为边缘线集合EdgeLines中边缘线的数量。
本申请还提出一种高自由度的微观图像拼接融合系统，所述系统包括：
图像准备单元，用于将由若干个已采集的微观图像随机初步拼接完成的图像作为微观主图像，确定在初步拼接完成的过程中，最后一个拼入微观主图像的图像ImgLast；
微观图像采集控制单元，用于控制微观图像采集装置移动，采集另一视野下、与微观主图像中图像ImgLast保持有一定重叠区域的微观图像，将该微观图像作为待拼接图像；
相对位移量计算单元，用于确定图像ImgLast与待拼接图像之间准确的相对位移量；
预处理单元，用于对待拼接图像进行预处理；
权重分布计算单元，用于确定预处理后的待拼接图像与微观主图像重叠区域内各点进行融合时的权重分布值；
灰度值融合计算单元，基于权重分布值，确定相同位置待拼接图像各点与微观主图像融合后重叠图的灰度值，确定融合后的图像块；
拼接单元，将图像块贴入待拼接图像中，基于相对位移量，将待拼接图像与微观主图像直接进行图像拼接。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出一种高自由度的微观图像拼接融合方法及系统，在预准备好微观主图像，以及确定最后一个拼入微观主图像的图像ImgLast的前提下，考虑在实际图像拼接的过程中，待拼接图像与微观主图像除图像ImgLast以外的其他位置的重叠区域，若重叠区域为多区域、多边形重叠时，确定图像ImgLast与待拼接图像之间准确的相对位移量，指导待拼接图像与微观主图像重叠区域内各点进行融合时的权重分布值计算，以权重分布值作为基准，计算相同位置待拼接图像各点与微观主图像融合后重叠图的灰度值，确定融合后的图像块并贴入待拼接图像中然后进行拼接融合，相对于传统仅适应于矩形区域的情况，能以更高自由度实现待拼接图像拼入微观主图像。
附图说明
图1表示本发明实施例1中提出的高自由度的微观图像拼接融合方法的流程示意图；
图2表示本发明实施例1中提出的多边形区域拼接融合示意图；
图3表示本发明实施例1中提出的图像ImgLast与待拼接图像之间的图像特征点匹配图；
图4表示本发明实施例1中提出的双子叶根茎横向切片拼接过程的结果图；
图5表示本发明实施例1中提出的双子叶根茎横向切片拼接结束的结果图；
图6表示发明实施例3中提出的高自由度的微观图像拼接融合系统的结构示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸；
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
附图中描述位置关系的仅用于示例性说明，不能理解为对本专利的限制；
实施例1
如图1所示，本实施例提出一种高自由度的微观图像拼接融合方法，该方法包括以下步骤：
S1.将由若干个已采集的微观图像随机初步拼接完成的图像作为微观主图像，确定在初步拼接完成的过程中，最后一个拼入微观主图像的图像ImgLast；
S2.微观图像采集装置移动，采集另一视野下、与微观主图像中图像ImgLast保持有一定重叠区域的微观图像，将该微观图像作为待拼接图像；
在本实施例中，微观图像采集装置为显微镜，设微观主图像表示为ImgSrc，确定ImgSrc的区域，设为RegSrc，设待拼接图像表示为ImgAdd，确定ImgAdd的区域，设为RegAdd，待拼接图像为固定宽高的图像，由一个左上角点和一组宽高决定，左上角点决定了图像所在的位置，宽高则为图像的宽高，设图像ImgLast区域为RegLast，RegSrc与RegAdd的重叠区域表示为RegOverlap，重叠区域的范围在10％～80％，满足RegOverlap＝{Regs|Regs∈RegSrc And Regs∈RegAdd},其中，RegOverlap包含一个区域或多个区域，即Size(RegOverlap)≥1。图2为某一单次拼接的区域多边形示意图，其中，图中标记的区域1为微观主图像ImgSrc所在区域RegSrc，区域2为图像ImgLast所在区域RegLast，区域3为待拼接图像ImgAdd所在区域RegAdd，区域4为RegSrc与RegLast的重叠区域RegOverlap。
在当前视野下采集一张图像，平移显微镜物镜到其他位置，拍摄另一张图像，两张图像之间在位置和内容上，有一定范围内的重叠，大概在10％到80％之间，微观主图像及其内部的点表示为ImgSrc(x,y)，x,y指的是图像坐标，图像ImgLast及其内部的点表示为ImgLast(x,y)，待拼接图像及其内部的点表示为ImgAdd(x,y)。
S3.确定图像ImgLast与待拼接图像之间准确的相对位移量；
在此，步骤S3的具体过程包括：
S31.对图像ImgLast与待拼接图像进行粗匹配；
S32.在粗匹配的基础上，进行图像ImgLast与待拼接图像的精确匹配，得到图像ImgLast与待拼接图像之间准确的相对位移量。
对图像ImgLast与待拼接图像进行粗匹配的方法为相位相关法，通过相位相关法，初步确定图像ImgLast与待拼接图像的重叠区域。通过粗匹配首先确定待拼接图像与图像ImgLast左上角的点的相对距离，也即初步确定重叠区域位置。
在本实施例中，相位相关法是利用两幅图像的相对位移关系并对其进行傅里叶变换到频域，并通过其频域的公式得到其归一化功率谱，其归一化功率谱是一个指数函数，对指数函数反变换至空间域，可得到一个冲激函数，从而确定平移量x0，y0；设两幅图像的ImgLast(x,y)，ImgAdd(x,y)，两者重叠部分存在平移关系，相对水平、垂直的平移量为x0,y0，则有
f1(x,y)＝f2(x-x0,y-y0)
其中，f1是上一张完成拼接的小图ImgLast，f2是指待拼接的小图ImgAdd，f1和f2存在平移关系；
对上式进行傅里叶变换可得
Figure BDA0003780996620000081
其中，傅里叶变换之后频域范围的坐标系。归一化功率谱为
Figure BDA0003780996620000082
其中，F*为F的复共轭函数；归一化功率谱为指数函数，对其进行逆傅里叶变换至空间域，得到如下等式：
Figure BDA0003780996620000091
上式右边为冲激函数，冲激函数对应的峰值位置反映了两幅图像的相关性，即这个过程确定了x0和y0，通过左边式子的傅里叶反变换之后就是一个冲激函数，由冲激函数的性质可知偏置值x0和y0反映了冲激函数的位置，在图像上观察到的是一个灰度均匀的图像中包含了一个灰度值极大的(灰度最大)一个白点，这个白点位置就是(x0，y0)，而这个位置就是重叠区域的左上角位置，从而确定了平移参数x0,y0。故此，我们可以大致匹配到两幅图像的位置偏移量，计算ImgLast与ImgAdd之间的重叠区域。
在初步确定的图像ImgLast与待拼接图像的重叠区域内提取图像特征点，方法包括sift，orb，surf算法，提取方式属于公知常识，具有通用性，这里不再赘述。图像特征点包括图像ImgLast与待拼接图像的相似内容点的位置、相似内容点的相似度，相似度越高，相似内容点之间的欧式距离越小；
首先设置阈值，利用KNN算法筛选出大于阈值的待匹配图像特征点，通过RANSAC算法，再从待匹配图像特征点中，筛选相似度更高的图像特征点，最后利用筛选出的图像特征点求取图像ImgLast与待拼接图像之间准确的相对位移量，图3为图像ImgLast与待拼接图像ImgAdd特征点的匹配示意图，具体为：
设求得的相似内容点共q组，每一组相似内容点的图像坐标表示为(xj，yj)，其中，xj表示横坐标，yj表示纵坐标，j＝1,2，…,q，将q组相似内容点之间对应的横坐标和纵坐标相减得到多组位置偏移量，将多组位置偏移量进行异常值排除后求均值，得到图像ImgLast与待拼接图像之间准确的相对位移量；
图像ImgLast与微观主图像的位置关系确定，在图像ImgLast与待拼接图像之间准确的相对位移量确定时，待拼接图像与微观主图像ImgSrc的位置偏移量确定，则得出RegSrc与RegAdd的重叠区域RegOverlap具体位置。
在此，一般提取的图像特征点不止一个，只有少量的相似点的两张图有可能是假相似点，筛选后没有相似点时则认为两张图完全不重叠，图像ImgLast相当于是最开始初步拼接的待拼接图像ImgAdd，初步拼接完成时，图像ImgLast与微观主图像ImgSrc的位置关系已经确定，此时只需要确定当前的待拼接图像ImgAdd与图像ImgLast的位置关系，就可以确定ImgAdd与ImgSrc的位置关系，由待拼接ImgAdd相对微观主图像ImgSrc的位置偏移值，可以进一步获得ImgAdd与ImgSrc的重叠区域RegOverlap，在每一次拼接完图像后，均计算ImgSrc与ImgAdd的合并区域，合并完的区域就是新的ImgSrc的区域，当ImgAdd与ImgSrc的位置关系已经确定，即矩形的左上角点已经确定，待拼接图像ImgAdd的图像宽高也已经知道，即待拼接的区域(ImgAdd的区域)也已经知道，ImgSrc区域与ImgAdd区域求交集就得到两者的重叠区域。
在高自由度融合技术的基础上，为了完成更高效更高精度的图像拼接，实现图像更完美的拼接效果，定位上，利用相位相关法进行粗匹配和提取ORB特征、并采用KNN算法与RANSAC算法筛选匹配点的精匹配达到更精确位置定位。
S4.对待拼接图像进行预处理；在本实施例中，采用平场校正的方式对待拼接图像进行预处理，由于相机采集图像时光线不均匀、镜头中心与边缘响应不一致等情况，导致的所获图像亮度分布不均的不良效果，通常表现为图像中间亮，四周暗，可利用平场校正解决此问题。
实际实施时，通常采用两点校正法，首先采集图像设备进行一次暗场曝光，得到像元偏移；接着在均匀光照下对灰度均匀物体进行一次成像，得到均匀图像，最后利用均匀光场图像减去暗场图像，使用相对标定的方法对图像增益进行校正。
S5.确定预处理后的待拼接图像与微观主图像重叠区域内各点进行融合时的权重分布值；
在步骤S5中，确定预处理后的待拼接图像与微观主图像重叠区域内各点进行融合时的权重分布值的过程为：
S51.设预处理后的待拼接图像与微观主图像重叠区域的轮廓线集合进行归类，将属于待拼接图像的边归为边缘线集合EdgeLines，其中，EdgeLines＝{EL1，EL2，...ELm}，ELi为EdgeLines的边缘线，m为边缘线集合EdgeLines中边缘线的数量；将属于微观主图像ImgSrc边缘的边归为内线集合InnerLines，其中，InnerLines＝{IL1，IL2，...ILn}，ILi为InnerLines的边缘线，n为内线集合InnerLines中内线的数量；
S52.设重叠区域表征为RegOverlap(x，y)，计算重叠区域内各个点与内线集合InnerLines的最小距离d0(x，y)、与边缘线集合EdgeLines的最小距离d1(x，y)；计算过程为：
设p表示重叠区域的坐标点，表示为p＝(x，y)，将p到线段EL的距离定义为dist(p，EL)，则dist(p，EL)＝min(||p-p1||2，||p-p2||2，||p-pproj||2)，其中，p1为线段EL的一个端点，p2为线段EL的另一个端点，pproj为点p在线段EL上的投影点；
则p到InnerLines的最小距离为：
d0(x，y)＝min(dist(p，ILi))
其中，i＝1，2，...n，n为内线集合InnerLines中内线的数量；
p到EdgeLines的最小距离为：
d1(x，y)＝min(dist(p，ELi))
其中，i＝1，2，...m，m为边缘线集合EdgeLines中边缘线的数量。
S53.根据S52所述的距离值，计算重叠区域RegOverlap(x，y)内各个点进行融合时的权重分布值，表达式为：
Figure BDA0003780996620000111
其中，weight(x，y)表示各个点进行融合时的权重分布值，是从1到0简便分布的，在计算过程中采用GPU并行计算，由于权重分布图计算代价非常高，单纯使用CPU处理器难以满足图像拼接的实时性要求，故此过程利用GPU并行计算来完成，可使拼接的效率大幅度提升。
此外，在权重分布图值的对应分布图的指导下，肉眼看进去是一张无缝隙的融合图，而未在权重分布指导时，图像是具有明显的分割线的割裂感。
S6.基于权重分布值，确定相同位置待拼接图像各点与微观主图像融合后重叠图的灰度值，确定融合后的图像块；
在步骤S6中，相同位置待拼接图像各点与微观主图像融合后重叠图的灰度值的表达式为：
ImgStitch(x，y)＝(1-weight)*ImgAdd(x，y)+weight*ImgSrc(x，y)。
S7.将图像块贴入待拼接图像中，基于相对位移量，将待拼接图像与微观主图像直接进行图像拼接。对于显微镜下的双子叶根茎横向切片图像，采用以上过程，得到双子叶根茎横向切片拼接过程的结果图如图4所示，双子叶根茎横向切片拼接结束的结果图如图5所示，可以看出采用本实施例提出的方法肉眼看进去是一张无缝隙的融合图
实施例2
在本实施中，除与实施例1整体的流程思想一致意外，针对于图像ImgLast与待拼接图像之间准确的相对位移量的计算，可利用手眼标定将机械绝对坐标转为图像像素坐标的方式，确定图像ImgLast与待拼接图像之间准确的相对位移量，有助于加速图像拼接融合。
实施例3
参见图6，本实施例提出一种高自由度的微观图像拼接融合系统，所述系统包括：
图像准备单元，用于将由若干个已采集的微观图像随机初步拼接完成的图像作为微观主图像，确定在初步拼接完成的过程中，最后一个拼入微观主图像的图像ImgLast；
微观图像采集控制单元，用于控制微观图像采集装置移动，采集另一视野下、与微观主图像中图像ImgLast保持有一定重叠区域的微观图像，将该微观图像作为待拼接图像；
相对位移量计算单元，用于确定图像ImgLast与待拼接图像之间准确的相对位移量；
预处理单元，用于对待拼接图像进行预处理；
权重分布计算单元，用于确定预处理后的待拼接图像与微观主图像重叠区域内各点进行融合时的权重分布值；
灰度值融合计算单元，基于权重分布值，确定相同位置待拼接图像各点与微观主图像融合后重叠图的灰度值，确定融合后的图像块；
拼接单元，将图像块贴入待拼接图像中，基于相对位移量，将待拼接图像与微观主图像直接进行图像拼接。
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种高自由度的微观图像拼接融合方法，其特征在于，所述方法包括以下步骤：
S1.将由若干个已采集的微观图像随机初步拼接完成的图像作为微观主图像，确定在初步拼接完成的过程中，最后一个拼入微观主图像的图像ImgLast；
S2.微观图像采集装置移动，采集另一视野下、与微观主图像中图像ImgLast保持有一定重叠区域的微观图像，将该微观图像作为待拼接图像；
S3.确定图像ImgLast与待拼接图像之间准确的相对位移量；
S4.对待拼接图像进行预处理；
S5.确定预处理后的待拼接图像与微观主图像重叠区域内各点进行融合时的权重分布值；
S6.基于权重分布值，确定相同位置待拼接图像各点与微观主图像融合后重叠图的灰度值，确定融合后的图像块；
S7.将图像块贴入待拼接图像中，基于相对位移量，将待拼接图像与微观主图像直接进行图像拼接。
2.根据权利要求1所述的高自由度的微观图像拼接融合方法，其特征在于，设微观主图像表示为ImgSrc，确定ImgSrc的区域，设为RegSrc，设待拼接图像表示为ImgAdd，确定ImgAdd的区域，设为RegAdd，待拼接图像为固定宽高的图像，设图像ImgLast区域为RegLast，RegSrc与RegAdd的重叠区域表示为RegOverlap，重叠区域的范围在10％～80％，满足RegOverlap＝{Regs|Regs∈RegSrc And Regs∈RegAdd},其中，RegOverlap包含一个区域或多个区域，即Size(RegOverlap)≥1。
3.根据权利要求2所述的高自由度的微观图像拼接融合方法，其特征在于，步骤S3的具体过程包括：
S31.对图像ImgLast与待拼接图像进行粗匹配；
S32.在粗匹配的基础上，进行图像ImgLast与待拼接图像的精确匹配，得到图像ImgLast与待拼接图像之间准确的相对位移量。
4.根据权利要求3所述的高自由度的微观图像拼接融合方法，其特征在于，对图像ImgLast与待拼接图像进行粗匹配的方法为相位相关法，通过相位相关法，初步确定图像ImgLast与待拼接图像的重叠区域。
5.根据权利要求4所述的高自由度的微观图像拼接融合方法，其特征在于，在初步确定的图像ImgLast与待拼接图像的重叠区域内提取图像特征点，图像特征点包括图像ImgLast与待拼接图像的相似内容点的位置、相似内容点的相似度，相似度越高，相似内容点之间的欧式距离越小；
首先设置阈值，利用KNN算法筛选出大于阈值的待匹配图像特征点，通过RANSAC算法，再从待匹配图像特征点中，筛选相似度更高的图像特征点，最后利用筛选出的图像特征点求取图像ImgLast与待拼接图像之间准确的相对位移量，具体为：
设求得的相似内容点共q组，每一组相似内容点的图像坐标表示为(xj，yj)，其中，xj表示横坐标，yj表示纵坐标，j＝1,2，…,q，将q组相似内容点之间对应的横坐标和纵坐标相减得到多组位置偏移量，将多组位置偏移量进行异常值排除后求均值，得到图像ImgLast与待拼接图像之间准确的相对位移量；
图像ImgLast与微观主图像的位置关系确定，在图像ImgLast与待拼接图像之间准确的相对位移量确定时，待拼接图像与微观主图像ImgSrc的位置偏移量确定，则得出RegSrc与RegAdd的重叠区域RegOverlap具体位置。
6.根据权利要求2所述的高自由度的微观图像拼接融合方法，其特征在于，在步骤S3中，利用手眼标定将机械绝对坐标转为图像像素坐标的方式，确定图像ImgLast与待拼接图像之间准确的相对位移量。
7.根据权利要求5所述的高自由度的微观图像拼接融合方法，其特征在于，在步骤S4中，采用平场校正的方式对待拼接图像进行预处理。
8.根据权利要求7所述的高自由度的微观图像拼接融合方法，其特征在于，在步骤S5中，确定预处理后的待拼接图像与微观主图像重叠区域内各点进行融合时的权重分布值的过程为：
S51.设预处理后的待拼接图像与微观主图像重叠区域的轮廓线集合进行归类，将属于待拼接图像的边归为边缘线集合EdgeLines，其中，EdgeLines＝{EL1,EL2,…ELm}，ELi为EdgeLines的边缘线，m为边缘线集合EdgeLines中边缘线的数量；将属于微观主图像ImgSrc边缘的边归为内线集合InnerLines，其中，InnerLines＝{IL1,IL2,…ILn}，ILi为InnerLines的边缘线，n为内线集合InnerLines中内线的数量；
S52.设重叠区域表征为RegOverlap(x,y)，计算重叠区域内各个点与内线集合InnerLines的最小距离d0(x,y)、与边缘线集合EdgeLines的最小距离d1(x,y)；
S53.根据S52所述的距离值，计算重叠区域RegOverlap(x,y)内各个点进行融合时的权重分布值，表达式为：
Figure FDA0003780996610000031
其中，weight(x,y)表示各个点进行融合时的权重分布值，是从1到0简便分布的，在计算过程中采用GPU并行计算；
在步骤S6中，相同位置待拼接图像各点与微观主图像融合后重叠图的灰度值的表达式为：
ImgStitch(x,y)＝(1-weight)*ImgAdd(x,y)+weight*ImgSrc(x,y)。
9.根据权利要求8所述的高自由度的微观图像拼接融合方法，其特征在于，计算重叠区域内各个点与内线集合InnerLines的最小距离d0(x,y)、与边缘线集合EdgeLines的最小距离d1(x,y)的过程为：
设p表示重叠区域的坐标点，表示为p＝(x,y)，将p到线段EL的距离定义为dist(p,EL),则dist(p,EL)＝min(‖p-p1‖2,‖p-p2‖2,p-pproj||2)，其中，p1为线段EL的一个端点，p2为线段EL的另一个端点，pproj为点p在线段EL上的投影点；
则p到InnerLines的最小距离为：
d0(x,y)＝min(dist(p,ILi))
其中，i＝1,2,…n，n为内线集合InnerLines中内线的数量；
p到EdgeLines的最小距离为：
d1(x,y)＝min(dist(p,ELi))
其中，i＝1,2,…m，m为边缘线集合EdgeLines中边缘线的数量。
10.一种高自由度的微观图像拼接融合系统，其特征在于，所述系统包括：
图像准备单元，用于将由若干个已采集的微观图像随机初步拼接完成的图像作为微观主图像，确定在初步拼接完成的过程中，最后一个拼入微观主图像的图像ImgLast；
微观图像采集控制单元，用于控制微观图像采集装置移动，采集另一视野下、与微观主图像中图像ImgLast保持有一定重叠区域的微观图像，将该微观图像作为待拼接图像；
相对位移量计算单元，用于确定图像ImgLast与待拼接图像之间准确的相对位移量；
预处理单元，用于对待拼接图像进行预处理；
权重分布计算单元，用于确定预处理后的待拼接图像与微观主图像重叠区域内各点进行融合时的权重分布值；
灰度值融合计算单元，基于权重分布值，确定相同位置待拼接图像各点与微观主图像融合后重叠图的灰度值，确定融合后的图像块；
拼接单元，将图像块贴入待拼接图像中，基于相对位移量，将待拼接图像与微观主图像直接进行图像拼接。
CN202210930483.XA 2022-08-03 2022-08-03 一种高自由度的微观图像拼接融合方法及系统 Pending CN115393187A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210930483.XA CN115393187A (zh) 2022-08-03 2022-08-03 一种高自由度的微观图像拼接融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210930483.XA CN115393187A (zh) 2022-08-03 2022-08-03 一种高自由度的微观图像拼接融合方法及系统

Publications (1)

Publication Number Publication Date
CN115393187A true CN115393187A (zh) 2022-11-25

Family

ID=84117760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210930483.XA Pending CN115393187A (zh) 2022-08-03 2022-08-03 一种高自由度的微观图像拼接融合方法及系统

Country Status (1)

Country Link
CN (1) CN115393187A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542857A (zh) * 2023-06-28 2023-08-04 南京凯视迈科技有限公司 基于相似度大的多图像自适应拼接方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542857A (zh) * 2023-06-28 2023-08-04 南京凯视迈科技有限公司 基于相似度大的多图像自适应拼接方法
CN116542857B (zh) * 2023-06-28 2023-10-20 南京凯视迈科技有限公司 一种多图像自适应拼接方法

Similar Documents

Publication Publication Date Title
US8600192B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
US11488322B2 (en) System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
CN109961399B (zh) 基于图像距离变换的最佳缝合线搜寻方法
CN111553939B (zh) 一种多目摄像机的图像配准算法
CN111899164B (zh) 一种针对多焦段场景的图像拼接方法
KR101853269B1 (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 장치
CN109001902B (zh) 基于图像融合的显微镜聚焦方法
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN113538569A (zh) 一种弱纹理物体位姿估计方法和系统
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
CN107680035B (zh) 一种参数标定方法和装置、服务器及可读存储介质
CN112365518A (zh) 基于最佳缝合线自选区域渐入渐出算法的图像拼接方法
CN115393187A (zh) 一种高自由度的微观图像拼接融合方法及系统
JP2003179800A (ja) 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
KR20190044439A (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 방법
Li et al. Deep-trained illumination-robust precision positioning for real-time manipulation of embedded objects
Wei et al. Simulating shadow interactions for outdoor augmented reality with RGBD data
CN111161143A (zh) 一种光学定位技术辅助的手术视野全景拼接方法
CN116402735A (zh) 基于多方向视角标定的内窥镜图像重构方法
JP2001153633A (ja) 立体形状検出方法および装置
Vazquez et al. A single-camera 3D microscope scanner with image stitching and stereo matching
CN116402857B (zh) 一种基于三维标定的运动目标跨镜头跟踪方法
CN113723465B (zh) 一种改进的特征提取方法以及基于该方法的图像拼接方法
Yao Image mosaic based on SIFT and deformation propagation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination