CN113205457A - 一种微观图像拼接方法及系统 - Google Patents

一种微观图像拼接方法及系统 Download PDF

Info

Publication number
CN113205457A
CN113205457A CN202110508759.0A CN202110508759A CN113205457A CN 113205457 A CN113205457 A CN 113205457A CN 202110508759 A CN202110508759 A CN 202110508759A CN 113205457 A CN113205457 A CN 113205457A
Authority
CN
China
Prior art keywords
image
source
target
microscopic
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110508759.0A
Other languages
English (en)
Other versions
CN113205457B (zh
Inventor
徐洲龙
王培琳
陈建魁
刘振东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110508759.0A priority Critical patent/CN113205457B/zh
Publication of CN113205457A publication Critical patent/CN113205457A/zh
Application granted granted Critical
Publication of CN113205457B publication Critical patent/CN113205457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images

Abstract

本发明公开了一种微观图像拼接方法及系统,属于图像处理领域,方法包括:控制图像采集单元逐次平移并采集样品各位置处的微观图像,相邻图像的重叠区域大小等于设定值;搜索源图像重叠区域内的源特征点,并在目标图像重叠区域对应的微观图像内确定相应的目标特征点,目标图像为当前拼接后的微观图像;搜索以任一目标特征点为中心的窗口内的所有特征点,计算对应的源特征点与窗口内各特征点之间的距离,根据最小距离与次小距离之比判断源特征点与最小距离对应的特征点是否匹配;根据匹配结果拼接源图像和目标图像,并将拼接后的图像作为目标图像;以此类推,直至将最后一个微观图像拼接至目标图像。计算量小、耗费时间短,大幅提高拼接效率。

Description

一种微观图像拼接方法及系统
技术领域
本发明属于图像处理领域,更具体地,涉及一种微观图像拼接方法及系统。
背景技术
在许多科研领域需要观测待检测目标的微观形貌,例如医疗、生物、材料和精密制造等领域。为了获取待检测目标的微观形貌,需要借助具有足够分辨率的相机和镜头,才能得到合适的观测图像。然而,分辨率的提高会不可避免地造成相机视野的减少,这就导致只能直接观测待检测目标的局部。在保证合适的分辨率的前提下,直接增加相机感光元件的尺寸,不但大幅度增加成本,而且不能解决更大观测范围的需求,这就需要使用微观图像拼接技术。
现有的微观图像拼接技术通常针对两幅图像的整个区域进行特征点检测,或者对两幅图像的重叠区域均进行特征点检测,并对获得的所有特征点进行描述符生成,再使用描述符将所有的特征点进行匹配,来确定图像之间的变换关系,导致图像拼接的计算量大,耗费时间长的问题。
发明内容
针对现有技术的缺陷和改进需求,本发明提供了一种微观图像拼接方法及系统,其目的在于改善现有微观图像拼接方法计算量大、耗费时间长的问题,从而大幅提高微观图像的拼接效率。
为实现上述目的,按照本发明的一个方面,提供了一种微观图像拼接方法,包括:S1,控制图像采集单元或样品逐次平移并采集样品相应位置处的微观图像,使得相邻位置处微观图像之间重叠区域的大小等于设定值;S2,搜索源图像重叠区域内的源特征点,并在目标图像重叠区域对应的微观图像内确定每一源特征点对应的目标特征点,所述目标图像为当前拼接后的微观图像,所述源图像为与所述目标图像相邻的待拼接微观图像;S3,搜索以任一目标特征点为中心的窗口内的所有特征点,计算所述任一目标特征点对应的源特征点与所述窗口内每一特征点之间的距离,并根据最小距离与次小距离之间的比值判断所述源特征点与最小距离对应的特征点是否匹配;S4,根据匹配的源特征点和最小距离对应的特征点将所述源图像拼接至所述目标图像,并将拼接后的图像作为所述目标图像;S5,重复执行所述S2-S4,直至将最后一个微观图像拼接至所述目标图像。
更进一步地,所述S2中以中间位置处的微观图像作为起始目标图像,所述S5包括:重复执行所述S2-S4,以逐一、逐层将所述起始目标图像外围的微观图像拼接至所述目标图像。
更进一步地,所述起始目标图像的位置索引为:
Figure BDA0003059414880000021
其中,rowm和colm分别为所述位置索引中的横坐标索引和纵坐标索引,Rows和Cols分别为采集到的微观图像的行数和列数。
更进一步地,所述S1包括:根据所述图像采集单元所采集微观图像的尺寸以及所述设定值,计算相邻图像之间的像素距离对应的水平平移距离和垂直平移距离;根据所述水平平移距离和垂直平移距离控制所述图像采集单元或样品逐次平移,以逐行或逐列采集样品相应位置处的微观图像。
更进一步地,所述S2中搜索源图像重叠区域内的源特征点包括:将所述源图像重叠区域划分为多个网格,搜索每一网格内的所有特征点,计算每一网格内各特征点的响应强度;将每一网格内响应强度最大的多个特征点的集合作为所述源特征点,所述多个特征点的数量不大于设定数量。
更进一步地,所述S3中根据最小距离与次小距离之间的比值判断所述源特征点与最小距离对应的特征点是否匹配包括:若所述比值小于比值阈值,所述源特征点与最小距离对应的特征点匹配,否则,所述源特征点与最小距离对应的特征点不匹配。
更进一步地,所述源图像与目标图像之间重叠区域的数量为一个,所述S4包括:根据匹配的源特征点和最小距离对应的目标特征点计算所述目标图像与源图像之间的单应性矩阵,利用所述单应性矩阵对所述源图像进行投影以拼接至所述目标图像。
更进一步地,所述源图像与目标图像之间重叠区域的数量为两个,所述S4包括:将所述源图像两个重叠区域内匹配后的源特征点合并,并将所述目标图像两个重叠区域内匹配后最小距离对应的特征点合并;根据合并后匹配的源特征点和最小距离对应的目标特征点计算所述目标图像与源图像之间的单应性矩阵,利用所述单应性矩阵对所述源图像进行投影以拼接至所述目标图像。
按照本发明的另一个方面,提供了一种微观图像拼接系统,包括:采集模块,用于控制图像采集单元或样品逐次平移并采集样品相应位置处的微观图像,使得相邻位置处微观图像之间重叠区域的大小等于设定值;搜索模块,用于搜索源图像重叠区域内的源特征点,并在目标图像重叠区域对应的微观图像内确定每一源特征点对应的目标特征点,所述目标图像为当前拼接后的微观图像,所述源图像为与所述目标图像相邻的待拼接微观图像;计算及匹配模块,用于搜索以任一目标特征点为中心的窗口内的所有特征点,计算所述任一目标特征点对应的源特征点与所述窗口内每一特征点之间的距离,并根据最小距离与次小距离之间的比值判断所述源特征点与最小距离对应的特征点是否匹配;第一拼接模块,用于根据匹配的源特征点和最小距离对应的目标特征点将所述源图像拼接至所述目标图像,并将拼接后的图像作为所述目标图像;第二拼接模块,用于重复执行所述搜索模块、计算及匹配模块和第一拼接模块,直至将最后一个微观图像拼接至所述目标图像。
总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:
(1)通过控制图像采集单元或样品的平移距离,可以使得相邻微观图像之间的重叠区域等于设定值,由此精确确定各微观图像中的重叠区域,提高后续拼接的精度;仅搜索源图像重叠区域内的特征点,减小了搜索范围,并且只在与源特征点对应的目标图像指定窗口大小的区域内搜索特征点,再次减小了搜索范围和待匹配对象的数量,减少了匹配时间和错误匹配的概率,保证匹配的准确度,计算量更小,耗费时间更短,在保证拼接精度的基础上提高了微观图像的拼接效率;
(2)以中间位置处的微观图像作为起始图像,分组逐一、逐层地将外围微观图像拼接至中心区域的微观图像,相较于其他拼接顺序,减小了图像变换误差传递的长度,提高了最终拼接图像的精度;
(3)将源图像重叠区域划分为多个网格,将每一网格内响应强度最大的若干个特征点的集合作为源特征点,在保证拼接准确度的基础上进一步减少了特征点搜索和匹配的范围,进一步提高拼接效率。
附图说明
图1为本发明实施例提供的微观图像拼接方法的流程图;
图2为本发明实施例提供的微观图像拼接装置的结构示意图;
图3为本发明实施例提供的分组添加图像的示意图;
图4A和图4B分别为本发明实施例提供的添加单张图像的示意图和分解图;
图5为本发明实施例提供的图像特征点快速匹配的示意图;
图6为本发明实施例提供的微观图像拼接系统的框图。
在所有附图中,相同的附图标记用来表示相同的元件或者结构,其中:
1为相机,2为运动平台,3为X方向运动轨道,4为Y方向运动轨道,5为同轴光源。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中,本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
图1为本发明实施例提供的微观图像拼接方法的流程图。参阅图1,结合图2-图5,对本实施例中微观图像拼接方法进行详细说明。方法包括操作S1-操作S5。
操作S1,控制图像采集单元或样品逐次平移并采集样品相应位置处的微观图像,使得相邻位置处微观图像之间重叠区域的大小等于设定值。
参阅图2,示出了实现该微观图像拼接方法的装置的结构,该装置以控制样品移动为例。参阅图2,装置包括相机1、运动平台2、X方向运动轨道3、Y方向运动轨道4和同轴光源5。运动平台2可沿X方向运动轨道3向X方向平移,沿Y方向运动轨道4向Y方向平移。样品放置在运动平台2上,通过控制运动平台2沿X方向和Y方向平移来移动样品,使得图像采集单元(即相机1)采集样品相应位置处的微观图像。可以理解的是,也可以通过控制样品固定、相机1沿X方向和Y方向平移来采集样品相应位置处的微观图像。
根据本发明的实施例,操作S1包括子操作S11和子操作S12。
在子操作S11中,根据图像采集单元所采集微观图像的尺寸以及设定值,计算相邻图像之间的像素距离对应的水平平移距离和垂直平移距离。
以图2所示装置为例,光源和相机控制模块根据相机2的硬件参数确定相机所采集微观图像的尺寸h×w,根据尺寸h×w以及图像拼接时需要的重叠区域的尺寸(即上述设定值),初步计算图像采集时,相邻图像之间的像素距离所对应的平移距离,该平移距离包括水平平移距离Sh和垂直平移距离Sv
在子操作S12中,根据水平平移距离Sh和垂直平移距离Sv控制图像采集单元或样品逐次平移,以逐行或逐列采集样品相应位置处的微观图像。
仍以图2所示装置为例,以相机1的当前位置为起始位置,通过运动控制模块控制运动平台2搭载样品从各行的起始位置开始以水平平移距离Sh逐次平移,以获取当前行的微观图像;然后控制运动平台2搭载样品垂直移动垂直平移距离Sv以到达下一行,并进一步例如水平移动至下一行的起始位置,继续以水平平移距离Sh逐次平移以获取下一行的微观图像,以此类推,采集样品所在整个区域的微观图像。
进一步地,按照图像序列采集顺序对各微观图像进行编号,对应的序号为i={0,1,2,…,Rows×Cols-1},Rows和Cols分别为采集到的微观图像的行数和列数。建立各微观图像对应的索引,微观图像i对应的索引为(rowi,coli),其中
Figure BDA0003059414880000061
coli=i-rowi×Cols。基于此,可以初步确定最终拼接图像的大小为((Rows-1)×Sv+h)×((Cols-1)×Sh+w)。
操作S2,搜索源图像重叠区域内的源特征点,并在目标图像重叠区域对应的微观图像内确定每一源特征点对应的目标特征点,目标图像为当前拼接后的微观图像,源图像为与目标图像相邻的待拼接微观图像。
操作S2中可以以任一微观图像作为起始目标图像,采用任意特定的顺序将其他微观图像拼接至目标图像。优选地,操作S2中以中间位置处的微观图像作为起始目标图像,起始目标图像的位置索引(rowm,colm)为:
Figure BDA0003059414880000071
其中,rowm和colm分别为位置索引(rowm,colm)中的横坐标索引和纵坐标索引。进一步地,后续操作中逐一、逐层地将起始目标图像外围的微观图像拼接至目标图像。可以理解的是,本实施例中,也可以以其他微观图像作为起始目标图像,按照其他特定顺序如逐行、逐列、由内向外逐层的方式将其他微观图像拼接至目标图像。
根据本发明的实施例,操作S2包括子操作S21-子操作S23。
在子操作S21中,将源图像重叠区域划分为多个网格,搜索每一网格内的所有特征点,计算每一网格内各特征点的响应强度。
将微观图像划分为上、下、左、右、中五部分区域,上、下、左、右部分区域的标识分别为U、D、L、R,源图像与目标图像之间的重叠区域为一个或两个。图4A、图4B和图5示出了源图像与目标图像之间的重叠区域为两个的情形。以图5所示相邻位置为例,源图像左侧和下侧均有一重叠区域,分别与目标图像的右侧和上侧的重叠区域相对应。将源图像的重叠区域L和重叠区域D分割为多个网格,每个网格的大小为m×n。
进一步地,例如采用FAST角点检测算法计算出重叠区域L和重叠区域D中各个网格内的所有特征点,并生成每个特征点的Harris响应强度。对于每个网格内的特征点,按照其对应的Harris响应强度从大到小排序,从最大Harris响应强度对应的特征点开始,取不大于设定数量N个特征点作为该网格内的源特征点。
在子操作S22中,将每一网格内响应强度最大的多个特征点的集合作为源特征点,多个特征点的数量不大于设定数量N。具体地,将重叠区域L中各网格内的源特征点的集合作为重叠区域L中的源特征点,其形成的集合为
Figure BDA0003059414880000081
将重叠区域D中各网格内的源特征点的集合作为重叠区域D中的源特征点,其形成的集合为
Figure BDA0003059414880000082
在子操作S23中,在目标图像重叠区域内确定每一源特征点对应的目标特征点。以重叠区域D中的特征点pD=[xD yD 1]T为例,根据上下相邻关系,在其下侧相邻微观图像(rowcur+1,colcur)的重叠区域U中对应的目标特征点为pU=[xD yD-Sv 1]T,该目标特征点为初步确定的特征点。
需要说明的是,操作S2中在目标图像重叠区域对应的微观图像内确定每一源特征点对应的目标特征点,至少包括以下两种实施方式:直接在当前已经拼接好的目标图像重叠区域中检测目标特征点;或者,在重叠区域对应的原始微观图像中检测目标特征点。
操作S3,搜索以任一目标特征点为中心的窗口内的所有特征点,计算任一目标特征点对应的源特征点与窗口内每一检测到的特征点之间的距离,并根据最小距离与次小距离之间的比值判断源特征点与最小距离对应的特征点是否匹配。
仍以上述重叠区域D和重叠区域U为例,对于任一源特征点pD在目标图像中对应位置处的目标特征点pU,在以pU为中心的窗口内,例如使用FAST角点检测算法计算该窗口内所有的特征点,优选地,该窗口的大小与源图像中网格的大小相同,均为m×n。
进一步地,生成窗口内的特征点以及源特征点pD对应的BRIEF描述符,并计算源特征点pD对应的BRIEF描述符与窗口内各特征点对应的BRIEF描述符之间的汉明距离,判断最小距离与次小距离之间的比值是否小于设定的比值阈值,若小于,则源特征点pD和最小距离对应的特征点匹配成功,否则,源特征点pD和窗口内的所有特征点均不匹配,即匹配失败。以此来获得重叠区域U和重叠区域D匹配成功的特征点集合,分别为
Figure BDA0003059414880000083
Figure BDA0003059414880000091
重叠区域R和重叠区域L之间的特征点匹配与重叠区域U和重叠区域D之间的特征点匹配原理相同,此处不再赘述。
操作S4,根据匹配的源特征点和最小距离对应的特征点将源图像拼接至目标图像,并将拼接后的图像作为目标图像。
本发明实施例中,源图像与目标图像之间重叠区域的数量为一个或两个。当源图像与目标图像之间重叠区域的数量为一个时,操作S4中根据匹配的源特征点和最小距离对应的特征点计算目标图像与源图像之间的单应性矩阵,利用单应性矩阵对源图像进行投影以拼接至目标图像。
当源图像与目标图像之间重叠区域的数量为两个时,操作S4中将源图像两个重叠区域内匹配后的源特征点合并,并将目标图像两个重叠区域内匹配后最小距离对应的特征点合并;根据合并后匹配的源特征点和最小距离对应的目标特征点计算目标图像与源图像之间的单应性矩阵,利用单应性矩阵对源图像进行投影以拼接至目标图像。
参阅图4A、图4B和图5,以操作S2中在重叠区域对应的原始微观图像中检测目标特征点、源图像与目标图像之间重叠区域的数量为两个为例说明其具体拼接过程。
利用当前源图像(rowcur,colcur)对应的平移矩阵
Figure BDA0003059414880000092
对源图像内的特征点集合
Figure BDA0003059414880000093
Figure BDA0003059414880000094
进行变换,获得源特征点集
Figure BDA0003059414880000095
Figure BDA0003059414880000096
并将源特征点集
Figure BDA0003059414880000097
Figure BDA0003059414880000098
合并。其中,平移矩阵
Figure BDA0003059414880000099
为:
Figure BDA00030594148800000910
利用目标图像(rowcur+1,colcur)中重叠区域对应的图像对应的平移矩阵
Figure BDA00030594148800000911
对特征点集合
Figure BDA00030594148800000912
进行平移变换,再使用对应的已经计算过的单应性矩阵
Figure BDA0003059414880000101
进行投影变换,得到目标特征点集
Figure BDA0003059414880000102
平移矩阵
Figure BDA0003059414880000103
为:
Figure BDA0003059414880000104
利用目标图像(rowcur,colcur-1)中重叠区域对应的图像对应的平移矩阵
Figure BDA0003059414880000105
对特征点集合
Figure BDA0003059414880000106
进行平移变换,再使用对应的已经计算过的单应性矩阵
Figure BDA0003059414880000107
进行投影变换,得到目标特征点集
Figure BDA0003059414880000108
平移矩阵
Figure BDA0003059414880000109
为:
Figure BDA00030594148800001010
将目标特征点集
Figure BDA00030594148800001011
Figure BDA00030594148800001012
合并。进一步地,可以使用RANSAC算法对合并后的特征点进行提纯,获得鲁棒性更强的特征点集合,并使用提纯后的源特征点集和目标特征点集计算当前源图像平移后,与中心区域之间的单应性矩阵。
操作S5,重复执行操作S2-操作S4,直至将最后一个微观图像拼接至目标图像。
本实施例中,以操作S2中将中间位置处的微观图像作为起始目标图像,后续操作逐一、逐层将起始目标图像外围的微观图像拼接至目标图像为例说明其具体拼接过程。
以中心图像(rowm,colm)为基准,其对应的平移变换矩阵为Hfirst,m
Figure BDA00030594148800001013
平移后的中心图像(rowm,colm)映射到最终的拼接图像中的位置使用的单应性矩阵为单位矩阵Hsecond,m
Figure BDA0003059414880000111
进一步,可以计算出其余各个图像初步映射到最终图像中时的平移变换矩阵Hfirst,i
Figure BDA0003059414880000112
Figure BDA0003059414880000113
coli=i-rowi×Cols
分组向中心区域添加微观图像。具体地,计算各个平移后图像与中心区域之间的单应性矩阵,以中心区域确定了平移矩阵Hfirst和单应性矩阵Hsecond的图像为目标图像,以圈Circle为单位向中心区域添加图像,例如沿顺时针方向逐个添加,其中Circle={0,1,…,min(Rows-1,Cols-1)/2}。中心图像对应的Circle为0,则对于其余的Circle,对应的该圈中需要添加的图像数量为Circle×2×4,每个Circle中添加的第一个图像的索引例如为(rowm-Circle,colm-Circle+1),然后沿着顺时针的方向,将该圈Circle内剩余的图像作为源图像,其索引为(rowcur,colcur),逐个计算出其与中心区域内目标图像之间的单应性矩阵Hsecond,cur
本实施例中,对当前圈Circle上的图像进行分组,则上边缘组对应的图像索引范围为:
rowcur=rowm-Circle,colcur={colm-Circle+1,colm-Circle+2,…,colm+Circle}
右边缘组对应的图像索引范围为:
rowcur={rowm-Circle+1,rowm-Circle+2,…,rowm+Circle},colcur=colm+Circle
下边缘组对应的图像索引范围为:
rowcur=rowm+Circle,colcur={colm-Circle,colm-Circle+2,…,colm+Circle-1}
左边缘组对应的图像索引范围为:
rowcur={rowm-Circle,rowm-Circle+2,…,rowm+Circle-1},colcur=colm-Circle
若当前图像(rowcur,colcur)是上边缘组的第一个图像,则其只与中心区域内的图像(rowcur+1,colcur)有重叠区域。若该图像(rowcur,colcur)为上边缘组的最后一个图像,则只与当前圈Circle内的前一个图像有重叠区域,且该图像经过前一步,也已经属于中心区域,其索引为(rowcur,colcur-1)。若该图像(rowcur,colcur)为上边缘组的其余图像,则与其有重叠区域的图像有两个,其索引分别为(rowcur+1,colcur)和(rowcur,colcur-1)。同理,若该图像(rowcur,colcur)为右边缘组的最后一个图像,则与其有重叠区域的图像的索引为(rowcur-1,colcur)。若该图像(rowcur,colcur)为右边缘组的其余图像,则与其有重叠区域的图像有两个,其索引分别为(rowcur-1,colcur)和(rowcur,colcur-1)。同理,若该图像(rowcur,colcur)为下边缘组的最后一个图像,则与其有重叠区域的图像的索引为(rowcur,colcur+1)。若该图像(rowcur,colcur)为下边缘组的其余图像,则与其有重叠区域的图像有两个,其索引分别为(rowcur,colcur+1)和(rowcur-1,colcur)。若该图像(rowcur,colcur)为左边缘组内的图像,则与其有重叠区域的图像有两个,其索引分别为(rowcur+1,colcur)和(rowcur,colcur+1)。
进一步,根据当前图像(rowcur,colcur)的相邻图像的索引,可以确定当前图像和相邻图像之间的重叠区域,相邻的图像为一个或两个,如图3所示。采用操作S2-S4中的拼接操作依次将各图像添加至中间区域,直至最后一圈处理完成。进一步地,对边缘图像进行处理,该边缘图像例如为处于右边Cols-2×(min(Rows,Cols)/2)列图像,处于下边Rows-2×(min(Rows,Cols)/2)行图像,采用操作S2-S4中的拼接操作依次将各边缘图像添加至中间区域。最后可以将所有的图像使用其对应的变换矩阵和单应性矩阵变换到最终的拼接图像,并使用线性加权方法进行融合,获得最终的拼接图像。
图6为本发明实施例提供的微观图像拼接系统的框图。参阅图6,该微观图像拼接系统600包括采集模块610、搜索模块620、计算及匹配模块630、第一拼接模块640以及第二拼接模块650。
采集模块610例如执行操作S1,用于控制图像采集单元或样品逐次平移并采集样品相应位置处的微观图像,使得相邻位置处微观图像之间重叠区域的大小等于设定值。
搜索模块620例如执行操作S2,用于搜索源图像重叠区域对应的微观图像内的源特征点,并在目标图像重叠区域内确定每一源特征点对应的目标特征点,目标图像为当前拼接后的微观图像,源图像为与目标图像相邻的待拼接微观图像。
计算及匹配模块630例如执行操作S3,用于搜索以任一目标特征点为中心的窗口内的所有特征点,计算任一目标特征点对应的源特征点与窗口内每一特征点之间的距离,并根据最小距离与次小距离之间的比值判断源特征点与最小距离对应的特征点是否匹配。
第一拼接模块640例如执行操作S4,用于根据匹配的源特征点和最小距离对应的特征点将源图像拼接至目标图像,并将拼接后的图像作为目标图像。
第二拼接模块650例如执行操作S5,用于重复执行搜索模块620、计算及匹配模块630和第一拼接模块640,直至将最后一个微观图像拼接至目标图像。
微观图像拼接系统600用于执行上述图1-图5所示实施例中的微观图像拼接方法。本实施例未尽之细节,请参阅前述图1-图5所示实施例中的微观图像拼接方法,此处不再赘述。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种微观图像拼接方法,其特征在于,包括:
S1,控制图像采集单元或样品逐次平移并采集样品相应位置处的微观图像,使得相邻位置处微观图像之间重叠区域的大小等于设定值;
S2,搜索源图像重叠区域内的源特征点,并在目标图像重叠区域对应的微观图像内确定每一源特征点对应的目标特征点,所述目标图像为当前拼接后的微观图像,所述源图像为与所述目标图像相邻的待拼接微观图像;
S3,搜索以任一目标特征点为中心的窗口内的所有特征点,计算所述任一目标特征点对应的源特征点与所述窗口内每一特征点之间的距离,并根据最小距离与次小距离之间的比值判断所述源特征点与最小距离对应的特征点是否匹配;
S4,根据匹配的源特征点和最小距离对应的特征点将所述源图像拼接至所述目标图像,并将拼接后的图像作为所述目标图像;
S5,重复执行所述S2-S4,直至将最后一个微观图像拼接至所述目标图像。
2.如权利要求1所述的微观图像拼接方法,其特征在于,所述S2中以中间位置处的微观图像作为起始目标图像,所述S5包括:重复执行所述S2-S4,以逐一、逐层将所述起始目标图像外围的微观图像拼接至所述目标图像。
3.如权利要求2所述的微观图像拼接方法,其特征在于,所述起始目标图像的位置索引为:
Figure FDA0003059414870000011
其中,rowm和colm分别为所述位置索引中的横坐标索引和纵坐标索引,Rows和Cols分别为采集到的微观图像的行数和列数。
4.如权利要求1-3任一项所述的微观图像拼接方法,其特征在于,所述S1包括:
根据所述图像采集单元所采集微观图像的尺寸以及所述设定值,计算相邻图像之间的像素距离对应的水平平移距离和垂直平移距离;
根据所述水平平移距离和垂直平移距离控制所述图像采集单元或样品逐次平移,以逐行或逐列采集样品相应位置处的微观图像。
5.如权利要求1-3任一项所述的微观图像拼接方法,其特征在于,所述S2中搜索源图像重叠区域内的源特征点包括:
将所述源图像重叠区域划分为多个网格,搜索每一网格内的所有特征点,计算每一网格内各特征点的响应强度;
将每一网格内响应强度最大的多个特征点的集合作为所述源特征点,所述多个特征点的数量不大于设定数量。
6.如权利要求1-3任一项所述的微观图像拼接方法,其特征在于,所述S3中根据最小距离与次小距离之间的比值判断所述源特征点与最小距离对应的特征点是否匹配包括:
若所述比值小于比值阈值,所述源特征点与最小距离对应的特征点匹配,否则,所述源特征点与最小距离对应的特征点不匹配。
7.如权利要求1-3任一项所述的微观图像拼接方法,其特征在于,所述源图像与目标图像之间重叠区域的数量为一个,所述S4包括:
根据匹配的源特征点和最小距离对应的特征点计算所述目标图像与源图像之间的单应性矩阵,利用所述单应性矩阵对所述源图像进行投影以拼接至所述目标图像。
8.如权利要求1-3任一项所述的微观图像拼接方法,其特征在于,所述源图像与目标图像之间重叠区域的数量为两个,所述S4包括:
将所述源图像两个重叠区域内匹配后的源特征点合并,并将所述目标图像两个重叠区域内匹配后最小距离对应的特征点合并;
根据合并后匹配的源特征点和最小距离对应的特征点计算所述目标图像与源图像之间的单应性矩阵,利用所述单应性矩阵对所述源图像进行投影以拼接至所述目标图像。
9.一种微观图像拼接系统,其特征在于,包括:
采集模块,用于控制图像采集单元或样品逐次平移并采集样品相应位置处的微观图像,使得相邻位置处微观图像之间重叠区域的大小等于设定值;
搜索模块,用于搜索源图像重叠区域内的源特征点,并在目标图像重叠区域对应的微观图像内确定每一源特征点对应的目标特征点,所述目标图像为当前拼接后的微观图像,所述源图像为与所述目标图像相邻的待拼接微观图像;
计算及匹配模块,用于搜索以任一目标特征点为中心的窗口内的所有特征点,计算所述任一目标特征点对应的源特征点与所述窗口内每一特征点之间的距离,并根据最小距离与次小距离之间的比值判断所述源特征点与最小距离对应的特征点是否匹配;
第一拼接模块,用于根据匹配的源特征点和最小距离对应的特征点将所述源图像拼接至所述目标图像,并将拼接后的图像作为所述目标图像;
第二拼接模块,用于重复执行所述搜索模块、计算及匹配模块和第一拼接模块,直至将最后一个微观图像拼接至所述目标图像。
CN202110508759.0A 2021-05-11 2021-05-11 一种微观图像拼接方法及系统 Active CN113205457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110508759.0A CN113205457B (zh) 2021-05-11 2021-05-11 一种微观图像拼接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110508759.0A CN113205457B (zh) 2021-05-11 2021-05-11 一种微观图像拼接方法及系统

Publications (2)

Publication Number Publication Date
CN113205457A true CN113205457A (zh) 2021-08-03
CN113205457B CN113205457B (zh) 2023-03-10

Family

ID=77030884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110508759.0A Active CN113205457B (zh) 2021-05-11 2021-05-11 一种微观图像拼接方法及系统

Country Status (1)

Country Link
CN (1) CN113205457B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223165A (zh) * 2022-09-20 2022-10-21 珠海横琴圣澳云智科技有限公司 待判读细胞图像的获取方法和装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968777A (zh) * 2012-11-20 2013-03-13 河海大学 一种基于重叠区域sift特征点的图像拼接方法
CN103236048A (zh) * 2013-04-18 2013-08-07 上海交通大学 一种基于互信息和交互的医学图像拼接方法
CN105069743A (zh) * 2015-07-28 2015-11-18 中国科学院长春光学精密机械与物理研究所 探测器拼接实时图像配准的方法
CN105869120A (zh) * 2016-06-16 2016-08-17 哈尔滨工程大学 一种图像拼接的实时性优化方法
CN107093166A (zh) * 2017-04-01 2017-08-25 华东师范大学 低重合率显微图像的无缝拼接方法
CN107918927A (zh) * 2017-11-30 2018-04-17 武汉理工大学 一种匹配策略融合及低误差的快速图像拼接方法
CN109978760A (zh) * 2017-12-27 2019-07-05 杭州海康威视数字技术股份有限公司 一种图像拼接方法及装置
CN110544204A (zh) * 2019-07-31 2019-12-06 华南理工大学 一种基于块匹配的图像拼接方法
CN110992263A (zh) * 2019-11-27 2020-04-10 国网山东省电力公司电力科学研究院 一种图像拼接方法及系统
CN111179170A (zh) * 2019-12-18 2020-05-19 深圳北航新兴产业技术研究院 一种显微血细胞图像快速全景拼接方法
CN111445389A (zh) * 2020-02-24 2020-07-24 山东省科学院海洋仪器仪表研究所 一种高分辨率图像的宽视角快速拼接方法
CN111507904A (zh) * 2020-04-22 2020-08-07 华中科技大学 一种微观打印图案的图像拼接方法及装置
US20200302584A1 (en) * 2019-03-21 2020-09-24 Sri International Integrated circuit image alignment and stitching
CN112529019A (zh) * 2020-12-24 2021-03-19 华中科技大学 基于直线特征和关键点特征融合的图像拼接方法和系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968777A (zh) * 2012-11-20 2013-03-13 河海大学 一种基于重叠区域sift特征点的图像拼接方法
CN103236048A (zh) * 2013-04-18 2013-08-07 上海交通大学 一种基于互信息和交互的医学图像拼接方法
CN105069743A (zh) * 2015-07-28 2015-11-18 中国科学院长春光学精密机械与物理研究所 探测器拼接实时图像配准的方法
CN105869120A (zh) * 2016-06-16 2016-08-17 哈尔滨工程大学 一种图像拼接的实时性优化方法
CN107093166A (zh) * 2017-04-01 2017-08-25 华东师范大学 低重合率显微图像的无缝拼接方法
CN107918927A (zh) * 2017-11-30 2018-04-17 武汉理工大学 一种匹配策略融合及低误差的快速图像拼接方法
CN109978760A (zh) * 2017-12-27 2019-07-05 杭州海康威视数字技术股份有限公司 一种图像拼接方法及装置
US20200302584A1 (en) * 2019-03-21 2020-09-24 Sri International Integrated circuit image alignment and stitching
CN110544204A (zh) * 2019-07-31 2019-12-06 华南理工大学 一种基于块匹配的图像拼接方法
CN110992263A (zh) * 2019-11-27 2020-04-10 国网山东省电力公司电力科学研究院 一种图像拼接方法及系统
CN111179170A (zh) * 2019-12-18 2020-05-19 深圳北航新兴产业技术研究院 一种显微血细胞图像快速全景拼接方法
CN111445389A (zh) * 2020-02-24 2020-07-24 山东省科学院海洋仪器仪表研究所 一种高分辨率图像的宽视角快速拼接方法
CN111507904A (zh) * 2020-04-22 2020-08-07 华中科技大学 一种微观打印图案的图像拼接方法及装置
CN112529019A (zh) * 2020-12-24 2021-03-19 华中科技大学 基于直线特征和关键点特征融合的图像拼接方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
伍文双等: "基于MEMS陀螺仪的光学图像拼接", 《光子学报》 *
方小艳: "基于FAST特征点配准与概率模型匹配的工件图像拼接算法", 《自动化技术与应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223165A (zh) * 2022-09-20 2022-10-21 珠海横琴圣澳云智科技有限公司 待判读细胞图像的获取方法和装置
CN115223165B (zh) * 2022-09-20 2022-12-27 珠海横琴圣澳云智科技有限公司 待判读细胞图像的获取方法和装置

Also Published As

Publication number Publication date
CN113205457B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
JP4095491B2 (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
CN111899164B (zh) 一种针对多焦段场景的图像拼接方法
CN109961399B (zh) 基于图像距离变换的最佳缝合线搜寻方法
CN107590835A (zh) 一种核环境下机械臂工具快换视觉定位系统与定位方法
KR20130091287A (ko) Cad­기반 레지스트레이션을 위한 시스템, 방법 및 컴퓨터 프로그램 제품
CN111476776B (zh) 胸部病灶位置确定方法、系统、可读存储介质和设备
CN113205457B (zh) 一种微观图像拼接方法及系统
CN114425776A (zh) 基于计算机视觉的自动贴标定位与纠偏方法
CN109035170A (zh) 基于单网格图分段映射的自适应广角图像校正方法及装置
US20210035359A1 (en) Method for Improving Modeling Speed of Digital Slide Scanner
CN113902698A (zh) 一种基于智能视觉控制的无人机云台渐进式目标对焦方法
CN112750078A (zh) 基于面向电动平台的显微图像实时拼接方法及存储介质
CN111240004A (zh) 一种显微镜自动识别两虫系统及方法
CN115079393B (zh) 一种基于10倍物镜的染色体核型分析显微拍摄装置及方法
CN111260561A (zh) 一种可用于掩模版缺陷检测的快速多图拼接方法
CN106791498A (zh) 图像定位方法、透镜阵列成像方法及装置
CN113344782B (zh) 图像拼接方法、装置、存储介质及电子装置
CN106713707B (zh) 透镜阵列成像方法及装置
CN113705731A (zh) 一种基于孪生网络的端到端图像模板匹配方法
CN113095104A (zh) 一种缺损二维码定位方法
Liu et al. RetinaNet-vline: A flexible small target detection algorithm for efficient aggregation of information
Guo et al. Cobb angle rectification with dual-activated linformer
JP2007122118A (ja) 画像連結方法
RU2786926C1 (ru) Система и способ формирования изображений объектов флуоресценции при секвенировании днк
Ratan The role of fixation and visual attention in object recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant