CN113689332A - 高度重复特征场景下高鲁棒性的图像拼接方法 - Google Patents
高度重复特征场景下高鲁棒性的图像拼接方法 Download PDFInfo
- Publication number
- CN113689332A CN113689332A CN202110968091.8A CN202110968091A CN113689332A CN 113689332 A CN113689332 A CN 113689332A CN 202110968091 A CN202110968091 A CN 202110968091A CN 113689332 A CN113689332 A CN 113689332A
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic point
- overlapping area
- sequence
- units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000003252 repetitive effect Effects 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims description 69
- 239000011159 matrix material Substances 0.000 claims description 39
- 239000002131 composite material Substances 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 5
- 238000004064 recycling Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000032669 eclosion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请提供有一种高度重复特征场景下高鲁棒性的图像拼接方法,所述方法包括:获取覆盖特征场景的至少两个矩形图像单元,两相邻所述图像单元为具有预设宽度重叠区域的第一图像单元和第二图像单元;提取第一图像单元位于重叠区域内的第一特征点坐标序列;提取第二图像单元位于重叠区域内的至少一个第二特征点坐标序列;选择与第一特征点坐标序列的相关系数大于等于预设阈值的第二特征点坐标序列,作为第一特征点序列的相关特征点序列。基于上述过程,相较于现有技术而言,在拼接时能够使得第一图像单元和第二图像单元更能够找到一种更接近真实的合成效果。
Description
技术领域
本公开具体公开一种高度重复特征场景下高鲁棒性的图像拼接方法。
背景技术
在微电子行业中,由于工件微小,常需要显微镜辅助生产以及精密检测。但是,显微镜成像的视野有限,需要图像拼接获得更大的视野。目前主流的图像拼接方法是在图像的重叠区域检测图像强度或使用检测到的基于图像强度的特征点,例如SIFT,SURF或ORB特征点,用于指导图像配准。图像配准将不同图像对齐,然后经过图像融合得到无缝的高清大视野图像。通常,拼接从部分重叠的图像的成对配准阶段开始。配准基于在重叠区域上找到非常相似的特征点对,以确定图像对的像素坐标之间的变换。通常使用鲁棒的估计方法如随机抽样一致算法(Random sample consensus,RANSAC),来滤除错误匹配,来查找变换和一组真实点对应关系,因为大多数特征点的对应关系可能是异常值。每个成对的变换都构成了连通图中的一条边,其节点表示从合成图像到每个图像的未知像素坐标变换。一旦找到所有图像成对配准,就可以通过最小化连通图中所有特征点对应关系之间的变换误差来找到从合成图像到每个图像的节点变换。最后,这些转换通过图像重投影来渲染合成图像。
用于图像拼接的当前方法和工具仍然易于产生伪像、拼缝、错位等,因为在成束调整阶段仍然会考虑可能错误的成对图像配准,导致图像未对齐。在高度重复特征的场景下,虽然特征点的提取非常容易,但是各个特征点的响应值非常接近,想要正确的匹配图像间的特征是困难的,所以会产生错误的单应性变换,从而导致图像配准出现误差,最后拼接的图像就有伪影、结构错位等错误情况。目前,最先进的方法通常试图掩盖图像融合阶段中未对准的伪影,从而产生令人信服的外观,但并非真实的合成图像,在精密制造行业这些误差是不可容忍的,亟待改进。
发明内容
第一方面,一种高度重复特征场景下高鲁棒性的图像拼接方法,所述方法包括:获取覆盖特征场景的至少两个矩形图像单元,两相邻所述图像单元为具有预设宽度重叠区域的第一图像单元和第二图像单元;提取第一图像单元位于重叠区域内的第一特征点坐标序列;提取第二图像单元位于重叠区域内的至少一个第二特征点坐标序列;选择与第一特征点坐标序列的相关系数大于等于预设阈值的第二特征点坐标序列,作为第一特征点序列的相关特征点序列。
根据本申请实施例提供的技术方案,还包括:计算任意两相邻图像单元上第一特征点序列与相关特征点序列之间的单应性变换矩阵;构建全局变换误差函数;迭代代入单应性变换矩阵,当全局变换误差函数最小时,反求得到唯一的变换矩阵向量;确定任意两相邻所述图像单元之间唯一的单应性变换矩阵。
根据本申请实施例提供的技术方案,还包括:利用任意两相邻所述图像单元之间唯一的单应性变换矩阵校正第二图像单元;利用变换矩阵向量中的各向量元素对应将图像单元变换到同一坐标系下,得到初始合成图像。
根据本申请实施例提供的技术方案,还包括:选择第二特征点坐标序列的步骤,包括:逐一计算各第二特征点序列与第一特征点序列的相关系数;选定所有相关系数中超过预设阈值的相关系数,并将与超过预设阈值的相关系数相对应的所有第二特征点序列作为第一特征点序列的相关特征点序列。
根据本申请实施例提供的技术方案,还包括:提取第二图像单元位于重叠区域内的至少一个第二特征点坐标序列,包括如下步骤:在重叠区域内,沿着第二图像单元自相对靠近第一特征点序列的一侧至相对远离其的一侧,依次平移预设间距,提取多个第二特征点序列。
根据本申请实施例提供的技术方案,还包括:曝光补偿初始合成图像中所有图像单元,使得具备同一重叠区域的两图像单元具有设定误差阈值内的曝光程度,得到第一合成图像。
根据本申请实施例提供的技术方案,还包括:曝光补偿所有图像单元的具体步骤如下:逐一获取具备同一重叠区域的两图像单元中每个图像单元在重叠区域的像素强度平均值;赋予具备同一重叠区域的每个图像单元以曝光补偿增益系数的初值;构建全局强度误差函数;迭代求解至全局强度误差函数的数值为最小值时,具备同一重叠区域的两图像单元的曝光补偿增益系数,使得具备同一重叠区域的两图像单元具有设定误差阈值内的曝光程度,得到第一合成图像。
根据本申请实施例提供的技术方案,还包括:羽化融合第一合成图像中所有图像单元,使得具备同一重叠区域的两图像单元之间相接处两侧的像素差值在误差范围之内,得到第二合成图像。
第二方面,一种计算机设备,所述设备包括:存储器,用于存储可执行程序代码;一个或多个处理器,用于读取所述存储器中存储的可执行程序代码以执行第一方面所述的一种高度重复特征场景下高鲁棒性的图像拼接方法。
第三方面,一种计算机可读存储介质,所述计算机可读存储介质包括指令,当所述指令在计算机上运行时,使得计算机执行如第一方面所述的一种高度重复特征场景下高鲁棒性的图像拼接方法。
有益效果:
综上所述,本申请提供有一种高度重复特征场景下高鲁棒性的图像拼接方法。本方法针对高度重复特征场景下的图像,获取多个矩形图像单元,矩形图像单元拼接起来能够覆盖场景,为保持拼接的最终效果,两相邻所述图像单元具有预设宽度的重叠区域。在一对图像单元中设定第一图像单元和第二图像单元,在第一图像单元上位于重叠区域的部分提取第一特征点坐标序列;在第二图像单元上位于重叠区域的部分提取至少一个第二特征点坐标序列;然后,自所有第二特征点坐标序列中选择出与第一特征点坐标序列的相关系数大于等于预设阈值的,并将选择出的第二特征点坐标序列作为第一特征点序列的相关特征点序列。基于上述过程,在第一图像单元和第二图像单元之间确定了至少一组相互匹配的第一特征点坐标序列和相关特征点坐标序列,也即给出了第一图像单元和第二图像单元拼接的至少一种可能性,相较于现有技术而言,在拼接时能够使得第一图像单元和第二图像单元更能够找到一种更接近真实的合成效果。
本申请的技术方案中,在获得两相邻图像单元之间第一特征点序列与相关特征点序列后,依次类推,计算任意两相邻图像单元上第一特征点序列与相关特征点序列之间的单应性变换矩阵;构建全局变换误差函数;迭代代入单应性变换矩阵,当全局变换误差函数最小时,反求得到唯一的变换矩阵向量;确定任意两相邻所述图像单元之间唯一的单应性变换矩阵。
最后,本申请的技术方案中,利用任意两相邻所述图像单元之间唯一的单应性变换矩阵校正第二图像单元;利用变换矩阵向量中的各向量元素对应将图像单元变换到同一坐标系下,得到初始合成图像。
进一步地,本申请还提供有针对初始合成图像上进行曝光补偿的步骤,曝光补偿初始合成图像中所有图像单元,使得具备同一重叠区域的两图像单元具有设定误差阈值内的曝光程度,得到第一合成图像。进一步地,本申请还提供有针对初始合成图像上进行羽化融合的步骤,羽化融合第一合成图像中所有图像单元,使得具备同一重叠区域的两图像单元之间相接处两侧的像素差值在误差范围之内,得到第二合成图像。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1a是理想状态下,图像单元之间的拼接状态;
图1b是真实状态下,图像单元之间的拼接状态;
图2是提取第二特征坐标序列的说明;
图3是图像单元之间的多重连接示意图;
图4是图像单元之间的唯一连通示意图;
图5a是图1b中给图像单元校正的过程示意图;
图5b是针对校正后的图1b进行坐标变换的过程示意图;
图6是计算机设备硬件结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例1:
本实施例提供一种高度重复特征场景下高鲁棒性的图像拼接方法,所述方法包括:
S01:获取覆盖特征场景的至少两个矩形图像单元,两相邻所述图像单元为具有预设宽度重叠区域的第一图像单元和第二图像单元。
例如:
在用图像拍摄设备(如:相机等)拍摄覆盖特征场景时,当场景面积大于拍摄设备的拍摄范围所能够覆盖的面积时,往往需要拍摄至少两张图像单元来拼接以得到完整场景的图像,具体地,所述图像单元为矩形形状,在实际拍摄时,按照阵列的形式进行拍摄,如图1a所示的2*2矩阵。
为保证两相邻的图像单元之间能够无缝拼接,往往需要使得两相邻的图像单元之间存在预设宽度的重叠区域,此处“相邻”既包括水平相邻,也包括垂直相邻。图1a中,数字1、2、3、4分别代表一个图像单元,图像单元1和图像单元2左右相邻且二者之间具备预设宽度的重叠区域;图像单元1和图像单元3上下相邻且二者之间具备预设宽度的重叠区域;图像单元2和图像单元4上下相邻且二者之间具备预设宽度的重叠区域;图像单元3和图像单元4左右相邻且二者之间具备预设宽度的重叠区域。
图1a中所示的为理想状态时,在相机坐标系下,图像单元之间的拼接状态;但在实际拍摄中,在相机坐标系下,各图像单元的坐标对齐也会出现误差,如图1b所示。图1a和1b中X和Y指向的是相机坐标系。
获取覆盖特征场景的至少两个矩形图像单元,两相邻所述图像单元为具有预设宽度的重叠区域的第一图像单元和第二图像单元。具体地,如图1a所示的四对具备预设宽度重叠区域的两图像单元,在每对图像单元中,设定第一图像单元和第二图像单元:
如1a中图像单元1和图像单元2之间,图像单元1作为第一图像单元;图像单元2作为第二图像单元。
如1a中图像单元3和图像单元4之间,图像单元3作为第一图像单元;图像单元4作为第二图像单元。
如1a中图像单元1和图像单元3之间,图像单元1作为第一图像单元,图像单元3作为第二图像单元。
如1a中图像单元2和图像单元4之间,图像单元2作为第一图像单元;图像单元4作为第二图像单元。
如1a中图像单元2和图像单元3之间,图像单元2作为第一图像单元;图像单元3作为第二图像单元。
S02:提取第一图像单元位于重叠区域内的第一特征点坐标序列。
例如:
在第一图像单元中,提取一组独特的特征点,具体参考指标为:任一点的像素值明显大于或小于周边像素的像素值,也即:任一点的像素值与周边像素的像素值之间的差值绝对值均大于预设数值时,则认定该点属于独特的特征点,提取第一图像单元中位于重叠区域内的一组特征点的坐标,构成第一特征点坐标序列,如:{Pi},i=1,2,…,n的正整数。
S03:提取第二图像单元位于重叠区域内的至少一个第二特征点坐标序列。
例如:
在第二图像单元中,提取多组独特的特征点,特征点的参考指标,如上所示。一优选的实施例中,提取第二图像单元位于重叠区域内的至少一个第二特征点坐标序列,包括如下步骤:在重叠区域内,沿着第二图像单元自相对靠近第一特征点序列的一侧至相对远离其的一侧,依次平移预设间距,提取多个第二特征点序列,即得到多组{P'i},i=1,2,…,n的正整数。
S04:选择与第一特征点坐标序列的相关系数大于等于预设阈值的第二特征点坐标序列,作为第一特征点序列的相关特征点序列。
例如:
选择第二特征点坐标序列的步骤,包括:
逐一计算各第二特征点序列与第一特征点序列的相关系数;
具体地,逐个计算{P'i}与{Pi}之间的泊松相关系数ρ,具体地:
其中:
i=1,2,…,n的正整数,表示特征点的数量;
Ii(Pi)表示图像i中特征点Pi的像素值;
Ij(P′i)表示图像j中特征点P′i的像素值;
Δ表示{P′i}之间的预设间距。
选定各第二特征点序列与第一特征点序列的所有相关系数中超过预设阈值的相关系数,并将与超过预设阈值的相关系数相对应的所有第二特征点序列作为第一特征点序列的相关特征点序列。
具体地,基于上述图像拼接方法,本实施例还包括:
S021:在重叠区域内,沿着第二图像单元自相对靠近第一特征点序列的一侧至相对远离其的一侧,依次平移预设间距,提取多个第二特征点序列。
相关特征点序列可以为至少一个,如图2所示,该图中,就图像i中的特征点,找到两组与其对应的相关特征点,图2中Δ0为初始偏移距离,Δ1和Δ2表示与初始平移估算值Δ0的偏差。基于上述过程,在第一图像单元和第二图像单元之间确定了至少一组相互匹配的第一特征点坐标序列和相关特征点坐标序列,也即给出了第一图像单元和第二图像单元拼接的多种可能性,相较于现有技术而言,在拼接时能够使得第一图像单元和第二图像单元更能够找到一种更接近真实的合成效果。
实施例2:
本实施例在实施例1的基础上,还包括以下步骤:
S051:计算任意两相邻图像单元上第一特征点序列与相关特征点序列之间的单应性变换矩阵。
例如:
就图1b而言,依据上述过程计算,能够得到四对图像单元之间的至少一组相互匹配的第一特征点坐标序列和相关特征点坐标序列,也即能够计算四对图像单元之间各自的单应性变换矩阵,当然,每一对图像单元之间单应性变换矩阵可能不止一个。
如图3所示的四个图像单元之间可能的连通图:
图像单元1到图像单元2之间两个可能的变换,H12,0与H12,1,用实线表示。
图像单元1到图像单元3之间一个可能的变换,H13,用实线表示。
图像单元3到图像单元4之间一个可能的变换,H34,用实线表示。
图像单元2到图像单元4之间一个可能的变换,H24,用实线表示。
图像单元2到图像单元3之间一个可能的变换,H23,用实线表示。
S052:构建全局变换误差函数:
并且对边缘权重ωij,k有如下约束:
其中:
ωij,k为对应的单应性变换矩阵Hij,k的未知边缘权重;
ωij,0为对应虚拟边缘权重;其参考度量是阈值α;
Hij,k为图像单元i与图像单元j之间的第k个单应性变换矩阵;
Hi为图像单元i从相机坐标系转换到合成图像坐标系的变换矩阵;
Hj为图像单元j从相机坐标系转换到合成图像坐标系的变换矩阵。
其中,以实线连接处,用ωij,k为对应的单应性变换矩阵Hij,k的未知边缘权重,k大于等于1。故,在图3所示的连通图中,图像单元1到图像单元2之间;图像单元1到图像单元3;图像单元3到图像单元4;图像单元2到图像单元4;图像单元2到图像单元3之间还设虚线,ωij,0为对应虚拟边缘权重。
假如后续计算出两个相邻的图像单元之间,某个实线连接对应的单应性变换矩阵的合理程度ωij,k数值最高,就删除两个相邻的图像单元之间除该单应性变换矩阵外的其余单应性变换矩阵;如果是虚线连接对应的ωij,k数值最大,也即合理程度最高,则表示两相邻的图像单元之间的变化不是由之前的提取的第二特征点序列与第一特征点序列对计算而来的,需要重新计算。
S053:迭代代入单应性变换矩阵,当全局变换误差函数最小时,反求得到唯一的变换矩阵向量;确定任意两相邻所述图像单元之间唯一的单应性变换矩阵。
以图1b为例,得到的唯一的变换矩阵向量{H1,H2,H3,H4}和边缘权重向量,如图4所示的唯一连通图的示意图,以说明求解的最终结果。根据边缘权重向量,能够确定两相邻图像单元之间唯一的单应性变换矩阵。其中,图像单元2和3之间最终确定的虚拟边缘权重最大,所以二者之间的变换删除,留下最优化而来的变换,即以H2与H3,计算二者之间单应性变换矩阵H23。
基于上述步骤,能够确定任意两相邻的图像单元之间的唯一单应性变换矩阵,以及与任一图像单元所对应的变换矩阵。
实施例3:
本实施例在实施例2的基础上,还包括以下步骤:
在实际的拍摄中,很难保证两相邻图像单元之间处于同一位姿,在进行图像单元拼接时,需要对所有图像单元的位姿进行校正;在校正至同一位姿后,还需将所有拍摄图像单元从相机坐标系变换至合成坐标系下,才能完成拼合作业。本方法相较于现有技术而言,针对高度重复特征场景下拍摄的图像单元之间的拼接过程给出了具备高鲁棒性的具体步骤,具体如下所示:
S06:利用任意两相邻所述图像单元之间唯一的单应性变换矩阵校正第二图像单元;
S07:利用变换矩阵向量中的各向量元素对应将图像单元变换到同一坐标系下,得到初始合成图像。
例如:请参考图5a和图5b,
对图像单元1,因为在任何一对中其均作为第一图像单元,所以,其仅仅利用变换矩阵向量中与之对应的向量元素完成相机坐标系与合成图像坐标之间的变换。
图像单元2,先利用H12,1完成一次校正,再利用H2完成从坐标变换。
图像单元3,先利用H13完成一次校正,再利用H3完成坐标变换。图像单元3也可以利用H12,1,H23完成一次校正,再利用H3完成坐标变换。
图像单元4,先依次利用H13,H34完成一次校正,再利用H4完成坐标变换。当然,也可以利用H12,H24完成一次校正,再利用H4完成坐标变换。
完成上述校正、坐标系变换之后,能够得到初始的合成图像。
实施例4:
本实施例在实施例3的基础上,还包括以下步骤:
S08:曝光补偿初始合成图像中所有图像单元,使得具备同一重叠区域的两图像单元具有设定误差阈值内的曝光程度,得到第一合成图像。
具体地,S08可以具体拆分为如下具体步骤:
S081:逐一获取具备同一重叠区域的两图像单元中每个图像单元在重叠区域的像素强度平均值;
例如:
C(i,j)表示图像i和图像j的重叠部分;
i,j=1,2,…,n的正整数,是图像数量的引索。
S082:赋予具备同一重叠区域的每个图像单元以曝光补偿增益系数的初值;
例如:gi和gj为图像i和图像j的增益系数。
S083:构建全局强度误差函数;
设定误差函数:
迭代求解至全局强度误差函数的数值为最小值时,具备同一重叠区域的两图像单元的曝光补偿增益系数,使得具备同一重叠区域的两图像单元具有设定误差阈值内的曝光程度,得到第一合成图像。
实施例5:
本实施例在实施例4的基础上,还包括以下步骤:
S09:还包括:羽化融合第一合成图像中所有图像单元,使得具备同一重叠区域的两图像单元之间相接处两侧的像素差值在误差范围之内,得到第二合成图像。
例如:
构建全局融合函数,所述融合函数为
其中:
Q表示由n幅图像重叠后经过羽化处理后而得到的新图像;
Di表示第i幅图像在重叠区域内的图像单元部分;
τi为锐度参数,表示第i幅图像的Di在Q中的重要程度。
i为大于0的正整数,表示图像引索。
调节锐度参数,使得具备同一重叠区域的两图像单元之间相接处两侧的像素差值在误差范围之内,得到经过羽化融合的第二合成图像。
一优选的实施例中,一种计算机设备,所述设备包括:存储器,用于存储可执行程序代码;一个或多个处理器,用于读取所述存储器中存储的可执行程序代码以执行上述任一实施例所述的一种高度重复特征场景下高鲁棒性的图像拼接方法。请参考图6给出的计算机设备硬件结构示意图。
计算机系统包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中,还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明的实施例,上文中高度重复特征场景下高鲁棒性的图像拼接方法所描述的过程可以被实现为计算机软件程序。例如,本发明关于高度重复特征场景下高鲁棒性的图像拼接方法的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种高度重复特征场景下高鲁棒性的图像拼接方法、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中,例如,可以描述为:一种处理器包括第一生成模块、获取模块、查找模块、第二生成模块及合并模块。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的高度重复特征场景下高鲁棒性的图像拼接方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种高度重复特征场景下高鲁棒性的图像拼接方法,其特征在于,所述方法包括:
获取覆盖特征场景的至少两个矩形图像单元,两相邻所述图像单元为具有预设宽度重叠区域的第一图像单元和第二图像单元;
提取第一图像单元位于重叠区域内的第一特征点坐标序列;
提取第二图像单元位于重叠区域内的至少一个第二特征点坐标序列;
选择与第一特征点坐标序列的相关系数大于等于预设阈值的第二特征点坐标序列,作为第一特征点序列的相关特征点序列。
2.根据权利要求1所述的图像拼接方法,其特征在于,还包括:
计算任意两相邻图像单元上第一特征点序列与相关特征点序列之间的单应性变换矩阵;
构建全局变换误差函数;
迭代代入单应性变换矩阵,当全局变换误差函数最小时,反求得到唯一的变换矩阵向量;
确定任意两相邻所述图像单元之间唯一的单应性变换矩阵。
3.根据权利要求2所述的图像拼接方法,其特征在于,还包括:
利用任意两相邻所述图像单元之间唯一的单应性变换矩阵校正第二图像单元;
利用变换矩阵向量中的各向量元素对应将图像单元变换到同一坐标系下,得到初始合成图像。
4.根据权利要求1至3任一项所述的图像拼接方法,其特征在于,还包括:
选择第二特征点坐标序列的步骤,包括:
逐一计算各第二特征点序列与第一特征点序列的相关系数;
选定所有相关系数中超过预设阈值的相关系数,并将与超过预设阈值的相关系数相对应的所有第二特征点序列作为第一特征点序列的相关特征点序列。
5.根据权利要求1至3任一项所述的图像拼接方法,其特征在于,还包括:
提取第二图像单元位于重叠区域内的至少一个第二特征点坐标序列,包括如下步骤:
在重叠区域内,沿着第二图像单元自相对靠近第一特征点序列的一侧至相对远离其的一侧,依次平移预设间距,提取多个第二特征点序列。
6.根据权利要求1至3任一项所述的图像拼接方法,其特征在于,还包括:
曝光补偿初始合成图像中所有图像单元,使得具备同一重叠区域的两图像单元具有设定误差阈值内的曝光程度,得到第一合成图像。
7.根据权利要求6所述的图像拼接方法,其特征在于,
曝光补偿所有图像单元的具体步骤如下:
逐一获取具备同一重叠区域的两图像单元中每个图像单元在重叠区域的像素强度平均值;
赋予具备同一重叠区域的每个图像单元以曝光补偿增益系数的初值;
构建全局强度误差函数;
迭代求解至全局强度误差函数的数值为最小值时,具备同一重叠区域的两图像单元的曝光补偿增益系数,使得具备同一重叠区域的两图像单元具有设定误差阈值内的曝光程度,得到第一合成图像。
8.根据权利要求6所述的图像拼接方法,其特征在于,还包括:
羽化融合第一合成图像中所有图像单元,使得具备同一重叠区域的两图像单元之间相接处两侧的像素差值在误差范围之内,得到第二合成图像。
9.一种计算机设备,其特征在于,所述设备包括:存储器,用于存储可执行程序代码;一个或多个处理器,用于读取所述存储器中存储的可执行程序代码以执行权利要求1至8中任一项所述的高度重复特征场景下高鲁棒性的图像拼接方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括指令,当所述指令在计算机上运行时,使得计算机执行权利要求1至8中任一项所述的高度重复特征场景下高鲁棒性的图像拼接方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110968091.8A CN113689332B (zh) | 2021-08-23 | 2021-08-23 | 高度重复特征场景下高鲁棒性的图像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110968091.8A CN113689332B (zh) | 2021-08-23 | 2021-08-23 | 高度重复特征场景下高鲁棒性的图像拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113689332A true CN113689332A (zh) | 2021-11-23 |
CN113689332B CN113689332B (zh) | 2022-08-02 |
Family
ID=78581478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110968091.8A Active CN113689332B (zh) | 2021-08-23 | 2021-08-23 | 高度重复特征场景下高鲁棒性的图像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113689332B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102023101782B3 (de) | 2023-01-25 | 2024-06-13 | Leica Microsystems Cms Gmbh | Vorrichtung und Verfahren zum Erzeugen eines zusammengesetzten Bildes einer Probe |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574339A (zh) * | 2015-02-09 | 2015-04-29 | 上海安威士科技股份有限公司 | 一种用于视频监控的多尺度柱面投影全景图像生成方法 |
CN104599258A (zh) * | 2014-12-23 | 2015-05-06 | 大连理工大学 | 一种基于各向异性特征描述符的图像拼接方法 |
US20170178379A1 (en) * | 2015-12-17 | 2017-06-22 | Nike, Inc. | Image stitching for footwear component processing |
CN106886979A (zh) * | 2017-03-30 | 2017-06-23 | 深圳市未来媒体技术研究院 | 一种图像拼接装置及图像拼接方法 |
US20180018770A1 (en) * | 2016-07-14 | 2018-01-18 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for splicing images |
CN107644411A (zh) * | 2017-09-19 | 2018-01-30 | 武汉中旗生物医疗电子有限公司 | 超声宽景成像方法及装置 |
CN109636714A (zh) * | 2018-08-30 | 2019-04-16 | 沈阳聚声医疗系统有限公司 | 一种超声宽景成像的图像拼接方法 |
CN110349086A (zh) * | 2019-07-03 | 2019-10-18 | 重庆邮电大学 | 一种非同心成像条件的图像拼接方法 |
CN111192194A (zh) * | 2019-12-05 | 2020-05-22 | 同济大学 | 一种针对幕墙建筑立面的全景图像拼接方法 |
WO2021120405A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于标定的大视场角图像实时拼接方法 |
CN113222878A (zh) * | 2021-06-04 | 2021-08-06 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法 |
-
2021
- 2021-08-23 CN CN202110968091.8A patent/CN113689332B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104599258A (zh) * | 2014-12-23 | 2015-05-06 | 大连理工大学 | 一种基于各向异性特征描述符的图像拼接方法 |
CN104574339A (zh) * | 2015-02-09 | 2015-04-29 | 上海安威士科技股份有限公司 | 一种用于视频监控的多尺度柱面投影全景图像生成方法 |
US20170178379A1 (en) * | 2015-12-17 | 2017-06-22 | Nike, Inc. | Image stitching for footwear component processing |
US20180018770A1 (en) * | 2016-07-14 | 2018-01-18 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for splicing images |
CN106886979A (zh) * | 2017-03-30 | 2017-06-23 | 深圳市未来媒体技术研究院 | 一种图像拼接装置及图像拼接方法 |
CN107644411A (zh) * | 2017-09-19 | 2018-01-30 | 武汉中旗生物医疗电子有限公司 | 超声宽景成像方法及装置 |
CN109636714A (zh) * | 2018-08-30 | 2019-04-16 | 沈阳聚声医疗系统有限公司 | 一种超声宽景成像的图像拼接方法 |
CN110349086A (zh) * | 2019-07-03 | 2019-10-18 | 重庆邮电大学 | 一种非同心成像条件的图像拼接方法 |
CN111192194A (zh) * | 2019-12-05 | 2020-05-22 | 同济大学 | 一种针对幕墙建筑立面的全景图像拼接方法 |
WO2021120405A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于标定的大视场角图像实时拼接方法 |
CN113222878A (zh) * | 2021-06-04 | 2021-08-06 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法 |
Non-Patent Citations (3)
Title |
---|
V T MANU; B M MEHTRE: ""Visual artifacts based image splicing detection in uncompressed images"", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER GRAPHICS, VISION AND INFORMATION SECURITY (CGVIS)》 * |
邹北骥;阮鹏;向遥;贺加贝: ""一种精确匹配的全景图自动拼接算法"", 《计算机工程与科学》 * |
霍春宝等: "SIFT特征匹配的显微全景图拼接", 《辽宁工程技术大学学报(自然科学版)》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102023101782B3 (de) | 2023-01-25 | 2024-06-13 | Leica Microsystems Cms Gmbh | Vorrichtung und Verfahren zum Erzeugen eines zusammengesetzten Bildes einer Probe |
Also Published As
Publication number | Publication date |
---|---|
CN113689332B (zh) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108648240B (zh) | 基于点云特征地图配准的无重叠视场相机姿态标定方法 | |
US7565029B2 (en) | Method for determining camera position from two-dimensional images that form a panorama | |
CN110070564B (zh) | 一种特征点匹配方法、装置、设备及存储介质 | |
CN111598993B (zh) | 基于多视角成像技术的三维数据重建方法、装置 | |
US8009899B2 (en) | Image filling methods | |
US10540813B1 (en) | Three-dimensional point data alignment | |
CN112308925A (zh) | 可穿戴设备的双目标定方法、设备及存储介质 | |
KR102481896B1 (ko) | 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법 | |
CN110599586A (zh) | 一种半稠密场景重建方法、装置、电子设备及存储介质 | |
CN111627119A (zh) | 纹理贴图方法及装置、设备、存储介质 | |
CN114998773A (zh) | 适用于无人机系统航拍图像的特征误匹配剔除方法及系统 | |
CN112270748B (zh) | 基于图像的三维重建方法及装置 | |
CN114897676A (zh) | 一种无人机遥感多光谱图像拼接方法、设备及介质 | |
KR101938067B1 (ko) | Sift 플로우를 이용한 광각영상의 스테레오 정합 방법 및 장치 | |
CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN113689332B (zh) | 高度重复特征场景下高鲁棒性的图像拼接方法 | |
CN117291989A (zh) | 一种相机模型自标定方法、装置、介质和电子设备 | |
CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及系统 | |
CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
CN112819900B (zh) | 一种智能立体摄影内方位、相对定向和畸变系数标定方法 | |
CN106296580A (zh) | 一种图像拼接的方法及装置 | |
CN111899158B (zh) | 考虑几何畸变的图像拼接方法 | |
CN110232715B (zh) | 一种多深度相机自校准的方法、装置及系统 | |
Fotia et al. | Applying 3D and photogrammetric scanning systems to the case of cultural heritage | |
JP2006145419A (ja) | 画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |