CN106355555A - 一种图像拼接方法和装置 - Google Patents

一种图像拼接方法和装置 Download PDF

Info

Publication number
CN106355555A
CN106355555A CN201610939423.9A CN201610939423A CN106355555A CN 106355555 A CN106355555 A CN 106355555A CN 201610939423 A CN201610939423 A CN 201610939423A CN 106355555 A CN106355555 A CN 106355555A
Authority
CN
China
Prior art keywords
image
image block
target
determining
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610939423.9A
Other languages
English (en)
Other versions
CN106355555B (zh
Inventor
付慧
张茗
张一茗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Forestry University
Original Assignee
Beijing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Forestry University filed Critical Beijing Forestry University
Priority to CN201610939423.9A priority Critical patent/CN106355555B/zh
Publication of CN106355555A publication Critical patent/CN106355555A/zh
Application granted granted Critical
Publication of CN106355555B publication Critical patent/CN106355555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像拼接方法和装置,通过将第一图像切分成至少两个图像块;计算每一个所述图像块的间隙度,并根据每一个所述图像块的间隙度,为所述目标图像确定至少一个目标图像块;在第二图像中,确定与所述至少一个目标图像块对应的区域;分别为每一个所述目标图像块和所述区域,提取对应的配准点集合;利用所述配准点集合,将所述第一图像和所述第二图像拼接。本发明提供的方案实现了对较大图像进行拼接。

Description

一种图像拼接方法和装置
技术领域
本发明涉及计算机技术领域,特别涉及一种图像拼接方法和装置。
背景技术
不管是航拍还是普通拍摄,其单张图像的拍摄区域是有限的,而为了能够得到比较大区域的图像,常常需要将多张图像拼接到一起。例如:为了得到一大片林地的全景图,常常需要对航拍该林地得到的多张不同区域的图像进行拼接。
目前,图像拼接方式主要是,在每一张图像中提取关键特征如SIFT特征等,并通过关键特征进行图像拼接。由于图像拼接所依赖的处理器的运算能力有限,而现有技术中对整张图像提取关键特征,则限定了现有的这种图像拼接方式只能对比较小的图像如320×240进行拼接。但是,对于较大的图像如4912×3264,在利用现有的这种图像拼接方式拼接过程中,提取每一张图像中的关键特征的步骤往往超出了处理器的运算能力。因此,现有的这种图像拼接方式不能对较大图像进行拼接。
发明内容
本发明实施例提供了一种图像拼接方法和装置,实现了对较大图像进行拼接。
一种图像拼接方法,包括:
将第一图像切分成至少两个图像块;
计算每一个所述图像块的间隙度,并根据每一个所述图像块的间隙度,为所述目标图像确定至少一个目标图像块;
在第二图像中,确定与所述至少一个目标图像块对应的区域;
分别为每一个所述目标图像块和所述区域,提取对应的配准点集合;
利用所述配准点集合,将所述第一图像和所述第二图像拼接。
在较优地一个实施例中,所述计算每一个所述图像块的间隙度,包括:
将每一个所述图像块作为当前图像块,执行:
利用r×r盒子在所述当前图像块内滑动,其中,所述r×r的盒子的尺寸小于所述当前图像块的尺寸;
在所述当前图像块中,确定所述r×r盒子的当前位置对应的最大像素值和最小像素值;
根据下述计算公式(1),计算所述当前位置的像素起伏度;
M ( i , j ) = c e i l [ K × g ( i , j ) - b ( i , j ) r ] - - - ( 1 )
其中,所述M(i,j)表征所述图像块的位置(i,j)处的像素起伏度;K表征权重系数;g(i,j)表征所述图像块的位置(i,j)处的最大像素值;b(i,j)表征所述图像块的位置(i,j)处的最小像素值;r表征所述盒子的长度;
利用计算出的各个所述当前位置的像素起伏度,计算所述当前图像块的间隙度。
在较优地一个实施例中,所述计算所述当前图像块的间隙度,包括:
根据下述计算公式(2),计算所述当前图像块的间隙度;
L A C = Σ x = 1 n ( V a r ( M x ( i , j ) ) [ E ( M x ( i , j ) ) ] 2 + 1 ) - - - ( 2 )
其中,LAC表征所述当前图像块的间隙度;Mx(i,j)表征第x个分辨率下所述当前图像块的位置(i,j)处的像素起伏度;Var()表征方差;E()表征一阶矩。
在较优地一个实施例中,所述在第二图像中,确定与所述至少一个目标图像块对应的区域,包括:
为每一个所述目标图像块确定对应的邻域;
在每一个所述目标图像块对应的邻域内,提取特征,并统计所述特征的个数;
当所述特征的个数大于预设的特征阈值时,在所述第二图像中,确定与每一个所述目标图像块和所述邻域对应的区域。
在较优地一个实施例中,上述方法进一步包括:
以每一张图像的左上角为坐标原点,为每一张图像构建对应的图像坐标系;
以每一个所述目标图像块的左上角为坐标原点,为每一个所述目标图像块构建对应的图像块坐标系;
所述利用所述配准点集合,将所述第一图像和所述第二图像拼接,包括:
在所述配准点集合中确定至少一对目标匹配对;
在所述图像块坐标系中,确定每一对所述目标匹配对中的配准点对应的第一坐标;
在所述图像坐标系中,确定每一个所述目标图像块左上角的坐标;
根据下述计算公式(3),计算每一对所述目标匹配对中的配准点在所述图像坐标系中的第二坐标;
(xig,yig)=(xil,yil)+(xi0,yi0) (3)
其中,(xig,yig)表征配准点i在所述图像坐标系中的第二坐标;(xil,yil)表征配准点i在所述图像块坐标系中的第一坐标;(xi0,yi0)表征配准点i所在图像块的左上角坐标;
利用所述配准点的第二坐标,确定所述第一图像与所述第二图像间的变换矩阵;
根据所述变换矩阵,将所述第一图像和所述第二图像拼接。
在较优地一个实施例中,所述在所述配准点集合中确定至少一对匹配对,包括:
将每一个所述目标图像块对应的配准点集合与所述区域进行匹配,确定至少一对第一匹配对;
将所述区域对应的配准点集合与所述每一个所述目标图像块进行匹配,确定至少一对第二匹配对;
在所述至少一对第一匹配对和所述至少一对第二匹配对中,查找同时存在于所述配准点集合中的至少一对目标匹配对。
一种图像拼接装置,包括:
切分单元,用于将第一图像切分成至少两个图像块;
目标块确定单元,用于计算所述切分单元切分出的每一个所述图像块的间隙度,并根据每一个所述图像块的间隙度,为所述目标图像确定至少一个目标图像块;
区域确定单元,用于在第二图像中,确定与所述目标块确定单元确定出的至少一个目标图像块对应的区域;
拼接处理单元,用于分别为所述目标块确定单元确定出的每一个所述目标图像块和所述区域确定单元确定出的区域,提取对应的配准点集合,利用所述配准点集合,将所述第一图像和所述第二图像拼接。
在较优地一个实施例中,所述目标块确定单元,包括:起伏度计算子单元和间隙度计算子单元,其中,
所述起伏度计算子单元,用于将每一个所述图像块作为当前图像块,执行:
利用r×r盒子在所述当前图像块内滑动,其中,所述r×r的盒子的尺寸小于所述当前图像块的尺寸;
在所述当前图像块中,确定所述r×r盒子的当前位置对应的最大像素值和最小像素值;
根据下述计算公式(1),计算所述当前位置的像素起伏度;
M ( i , j ) = c e i l [ K × g ( i , j ) - b ( i , j ) r ] - - - ( 1 )
其中,所述M(i,j)表征所述图像块的位置(i,j)处的像素起伏度;K表征权重系数;g(i,j)表征所述图像块的位置(i,j)处的最大像素值;b(i,j)表征所述图像块的位置(i,j)处的最小像素值;r表征所述盒子的长度;
所述间隙度计算子单元,用于利用所述起伏度计算子单元计算出的各个所述当前位置的像素起伏度,计算所述当前图像块的间隙度。
在较优地一个实施例中,所述间隙度计算子单元,用于:
根据下述计算公式(2),计算所述当前图像块的间隙度;
L A C = Σ x = 1 n ( V a r ( M x ( i , j ) ) [ E ( M x ( i , j ) ) ] 2 + 1 ) - - - ( 2 )
其中,LAC表征所述当前图像块的间隙度;Mx(i,j)表征第x个分辨率下所述当前图像块的位置(i,j)处的像素起伏度;Var()表征方差;E()表征一阶矩。
在较优地一个实施例中,上述装置进一步包括:构建单元,
所述拼接处理单元,包括:匹配对确定子单元、坐标计算子单元和拼接子单元,其中,
所述构建单元,用于以每一张图像的左上角为坐标原点,为每一张图像构建对应的图像坐标系,并以所述目标块确定单元确定出的每一个所述目标图像块的左上角为坐标原点,为所述目标块确定单元确定出的每一个所述目标图像块构建对应的图像块坐标系;
所述匹配对确定子单元,用于在所述配准点集合中确定至少一对目标匹配对;
所述坐标计算子单元,用于在所述构建单元构建的图像块坐标系中,确定所述匹配对确定子单元确定出的每一对所述目标匹配对中的配准点对应的第一坐标;并在所述构建单元构建的图像坐标系中,确定所述目标块确定单元确定出的每一个所述目标图像块左上角的坐标;
根据下述计算公式(3),计算所述匹配对确定子单元确定出的每一对所述目标匹配对中的配准点在所述构建单元构建的图像坐标系中的第二坐标;
(xig,yig)=(xil,yil)+(xi0,yi0) (3)
其中,(xig,yig)表征配准点i在所述图像坐标系中的第二坐标;(xil,yil)表征配准点i在所述图像块坐标系中的第一坐标;(xi0,yi0)表征配准点i所在图像块的左上角坐标;
所述拼接子单元,用于利用所述坐标计算子单元计算出的配准点的第二坐标,确定所述第一图像与所述第二图像间的变换矩阵,根据所述变换矩阵,将所述第一图像和所述第二图像拼接。
本发明实施例提供了一种图像拼接方法和装置,通过将第一图像切分成至少两个图像块;计算每一个所述图像块的间隙度,并根据每一个所述图像块的间隙度,为所述目标图像确定至少一个目标图像块,通过间隙度确定目标图像块,使得选择的目标图像块尽可能包含比较多的特征;在第二图像中,确定与所述至少一个目标图像块对应的区域;分别为每一个所述目标图像块和所述区域,提取对应的配准点集合;利用所述配准点集合,将所述第一图像和所述第二图像拼接,由于上述过程中是对图像块中的配准点进行提取,而不再是对整个图像中的配准点进行提取,完全可以满足处理器的运算能力,因此,实现了对较大图像进行拼接。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种图像拼接方法的流程图;
图2是本发明另一个实施例提供的一种图像拼接方法的流程图;
图3是本发明一个实施例提供的目标图像块及邻域相对位置结构示意图;
图4是本发明一个实施例提供的图像拼接装置所在架构的结构示意图;
图5是本发明一个实施例提供的图像拼接装置的结构示意图;
图6是本发明另一个实施例提供的图像拼接装置的结构示意图;
图7是本发明又一个实施例提供的图像拼接装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种图像拼接方法,该方法可以包括以下步骤:
步骤101:将第一图像切分成至少两个图像块;
步骤102:计算每一个所述图像块的间隙度,并根据每一个所述图像块的间隙度,为所述目标图像确定至少一个目标图像块;
步骤103:在第二图像中,确定与所述至少一个目标图像块对应的区域;
步骤104:分别为每一个所述目标图像块和所述区域,提取对应的配准点集合;
步骤105:利用所述配准点集合,将所述第一图像和所述第二图像拼接。
在图1所示的实施例中,通过将第一图像切分成至少两个图像块;计算每一个所述图像块的间隙度,并根据每一个所述图像块的间隙度,为所述目标图像确定至少一个目标图像块,通过间隙度确定目标图像块,使得选择的目标图像块尽可能包含比较多的特征;在第二图像中,确定与所述至少一个目标图像块对应的区域;分别为每一个所述目标图像块和所述区域,提取对应的配准点集合;利用所述配准点集合,将所述第一图像和所述第二图像拼接,由于上述过程中是对图像块中的配准点进行提取,而不再是对整个图像中的配准点进行提取,完全可以满足处理器的运算能力,因此,实现了对较大图像进行拼接。
在本发明一个实施例中,为了保证间隙度计算的准确性,同时,实现通过间隙度得到特征比较多的图像块,步骤102中计算每一个所述图像块的间隙度的具体实施方式,包括:将每一个所述图像块作为当前图像块,执行:
利用r×r盒子在所述当前图像块内滑动,其中,所述r×r的盒子的尺寸小于所述当前图像块的尺寸;
在所述当前图像块中,确定所述r×r盒子的当前位置对应的最大像素值和最小像素值;
根据下述计算公式(1),计算所述当前位置的像素起伏度;
M ( i , j ) = c e i l [ K × g ( i , j ) - b ( i , j ) r ] - - - ( 1 )
其中,所述M(i,j)表征所述图像块的位置(i,j)处的像素起伏度;K表征权重系数;g(i,j)表征所述图像块的位置(i,j)处的最大像素值;b(i,j)表征所述图像块的位置(i,j)处的最小像素值;r表征所述盒子的长度;
利用计算出的各个所述当前位置的像素起伏度,计算所述当前图像块的间隙度。该间隙度按照图像块的像素起伏度进行计算,可描述图像块纹理的混合、粗糙程度和形状间间隙、空洞的大小,能定量评估图像纹理是否平滑。间隙度值高的区域较为粗糙,则说明含有的特征较多。
在本发明一个实施例中,将不同分辨率代入到间隙度的计算中,以进一步保证得到的目标图像的准确性,所述计算所述当前图像块的间隙度的具体实施方式,包括:
根据下述计算公式(2),计算所述当前图像块的间隙度;
L A C = Σ x = 1 n ( V a r ( M x ( i , j ) ) [ E ( M x ( i , j ) ) ] 2 + 1 ) - - - ( 2 )
其中,LAC表征所述当前图像块的间隙度;Mx(i,j)表征第x个分辨率下所述当前图像块的位置(i,j)处的像素起伏度;Var()表征方差;E()表征一阶矩。在计算间隙度的过程中,将分辨率加入其中,保证各个图像块间隙度的计算更加准确。通过实验表明,在该间隙度计算过程中,n取3即可比较准确的反映出各个图像块之间的差异。
在本发明一个实施例中,为了尽可能多的提取出配准点,步骤102中,为所述目标图像确定至少一个目标图像块的具体实施方式,可以为:将每一个所述图像块的间隙度与预设的间隙度阈值进行对比;将间隙度大于所述间隙度阈值的所述图像块作为目标图像块。
另外,在本发明一个实施例中,为了尽可能多的提取出配准点,步骤102中,为所述目标图像确定至少一个目标图像块的具体实施方式,还可以为:将各个图像块的间隙度进行对比,选取间隙度比较大的前s张图像块作为目标图像块,该s值可以任意设定如s=3,则是选取间隙度比较大的前3张图像块作为目标图像块。
在本发明一个实施例中,为了保证配准点提取的准确性,步骤103的具体实施方式,包括:为每一个所述目标图像块确定对应的邻域;在每一个所述目标图像块对应的邻域内,提取特征,并统计所述特征的个数;当所述特征的个数大于预设的特征阈值时,在所述第二图像中,确定与每一个所述目标图像块和所述邻域对应的区域。该邻域的确定可以根据用户需求任意设定,比如:将扩展的目标图像块宽、高的2倍区域视作目标图像块的邻域等等。
在本发明一个实施例中,为了实现对匹配点的定位,同时,通过匹配点的定位对两张图像进行准确的拼接,上述方法进一步包括:以每一张图像的左上角为坐标原点,为每一张图像构建对应的图像坐标系;以每一个所述目标图像块的左上角为坐标原点,为每一个所述目标图像块构建对应的图像块坐标系;步骤105的具体实施方式,包括:在所述配准点集合中确定至少一对目标匹配对;在所述图像块坐标系中,确定每一对所述目标匹配对中的配准点对应的第一坐标;在所述图像坐标系中,确定每一个所述目标图像块左上角的坐标;根据下述第三计算公式(3),计算每一对所述目标匹配对中的配准点在所述图像坐标系中的第二坐标;
第三计算公式:
(xig,yig)=(xil,yil)+(xi0,yi0) (3)
其中,(xig,yig)表征配准点i在所述图像坐标系中的第二坐标;(xil,yil)表征配准点i在所述图像块坐标系中的第一坐标;(xi0,yi0)表征配准点i所在图像块的左上角坐标;
利用所述配准点的第二坐标,确定所述第一图像与所述第二图像间的变换矩阵;根据所述变换矩阵,将所述第一图像和所述第二图像拼接。
在本发明一个实施例中,所述在所述配准点集合中确定至少一对匹配对,包括:将每一个所述目标图像块对应的配准点集合与所述区域进行匹配,确定至少一对第一匹配对;将所述区域对应的配准点集合与所述每一个所述目标图像块进行匹配,确定至少一对第二匹配对;在所述至少一对第一匹配对和所述至少一对第二匹配对中,查找同时存在于所述配准点集合中的至少一对目标匹配对。
在本发明一个实施例中,变换矩阵可以为反射变换矩阵、相似变换矩阵、仿射变换矩阵及透视变换矩阵中的任意一种,其中,如果以反射变换或相似变换作为该步骤的变换矩阵,需要在上述步骤确定出的目标匹配对中随机选择最少2对;如果以仿射变换作为该步骤的变换矩阵,则需要最少选择3对;如果以透视变换作为该步骤的变换矩阵,则需要最少选择4对,以计算出变换矩阵。
当变换矩阵为仿射变换矩阵时,该步骤变换矩阵的确定过程:
将选定的配准对中配准点的第二坐标带入下述计算公式(4),并通过迭代计算,最小化计算公式(4)的计算结果,得到变换矩阵中的各个参数。
x ′ y ′ = a 11 a 12 a 21 a 22 x y + t x t y - - - ( 4 )
其中,表征缩放和旋转参数,表征平移参数,表征选定匹配对中,位于第二图像对应的区域中的配准点;表征选定匹配对中,位于目标图像块或邻域中的配准点。
为了保证变换矩阵对应的匹配对准确性,为每一个目标匹配点对,执行:
将一个目标匹配点对代入下述计算公式(5),计算得到变换矩阵的误差:
E ′ i = { ( g ( x , y ) , g ′ ( x ′ , y ′ ) ) ′ | | | x y - [ a 11 a 12 a 21 a 22 x ′ y ′ + t x t y ] | | } - - - ( 5 )
将计算得到的E′ij带入下述代价函数(6);
C = l o g [ α [ 1 2 πσ 2 ] exp [ - E ′ i 2 πσ 2 ] + ( 1 - α ) 1 W ] - - - ( 6 )
时,则确定该目标匹配点中的配准点满足变换矩阵。
下面以将多张航拍图像进行拼接形成一整张图像为例,展开说明图像拼接方法,如图2所示,可以包括以下步骤:
步骤201:在多张图像中选定两张图像,为每一张图像构建对应的图像坐标系;
在该步骤中选定的两张图像可以是任意选定的,也可以是按照图像的序列编号选定的,由于航拍可以是按照一定的方向对一个区域进行拍摄,使得相邻序列编号的图像往往具有重叠区域,因此,通过按照图像的序列编号选定两张图像更有利于提高后续拼接的效率。该步骤中,为每一张图像构建对应的图像坐标系的过程主要是,以每一张图像的左上角为坐标原点,构建坐标系,以方便后续对每一个图像中的图像块和配准点进行定位。
步骤202:将两张图像中的第一图像切分成至少两个图像块;
为了避免切分出的图像块过小,造成图像块的配准点太少,同时为了避免切分出的图像块过大,造成每一个图像块的配准点的查找时间过长,在该步骤中,比较优选地可以将第一图像切分为3×3个~8×8个范围的图像块,例如:可以将航拍得到的较大图像如4912×3264的图像切分成36块或者64块的图像块,通过切分后,每一个图像块的大小一般不会大于650×450。那么,在后续过程中,对图像的处理变换为对图像块处理,则保证处理器的运行能力能够满足对图像块的处理。
步骤203:计算每一个所述图像块的间隙度;
该步骤提及的间隙度可描述图像块纹理的混合、粗糙程度和形状间间隙、空洞的大小,能定量评估图像纹理是否平滑。间隙度值高的区域较为粗糙,含有不同的纹理和形状;间隙度值低的区域较为平滑,纹理结构单一。因此,通过在该步骤中计算间隙度,以在后续过程中,从间隙度比较高的图像块中提取配准点,保证配准点提取的完整性,以较好的完成拼接。
该步骤的具体实现过程:将每一个所述图像块作为当前图像块,执行:
利用r×r盒子在所述当前图像块内滑动,其中,所述r×r的盒子的尺寸小于所述当前图像块的尺寸;比如:当前图像块的大小为w×w,则r<w。r×r盒子在所述当前图像块内滑动的轨迹可以是,从当前图像块的左上角开始,每次移动一个像素的距离,逐行逐列进行移动。
在所述当前图像块中,确定所述r×r盒子的当前位置对应的最大像素值和最小像素值;此处提及的当前位置即r×r盒子每移动一次所覆盖的当前图块中的区域。
根据下述计算公式(1),计算所述当前位置的像素起伏度;
M ( i , j ) = c e i l &lsqb; K &times; g ( i , j ) - b ( i , j ) r &rsqb; - - - ( 1 )
其中,所述M(i,j)表征所述图像块的位置(i,j)处的像素起伏度;K表征权重系数;g(i,j)表征所述图像块的位置(i,j)处的最大像素值;b(i,j)表征所述图像块的位置(i,j)处的最小像素值;r表征所述盒子的长度;
利用计算出的各个所述当前位置的像素起伏度,根据下述计算公式(2),计算所述当前图像块的间隙度;
L A C = &Sigma; x = 1 n ( V a r ( M x ( i , j ) ) &lsqb; E ( M x ( i , j ) ) &rsqb; 2 + 1 ) - - - ( 2 )
其中,LAC表征所述当前图像块的间隙度;Mx(i,j)表征第x个分辨率下所述当前图像块的位置(i,j)处的像素起伏度;Var()表征方差;E()表征一阶矩。
在计算间隙度的过程中,将分辨率加入其中,保证各个图像块间隙度的计算更加准确。通过实验表明,在该间隙度计算过程中,n取3即可比较准确的反映出各个图像块之间的差异。
步骤204:根据每一个所述图像块的间隙度,为所述目标图像确定至少一个目标图像块,为每一个所述目标图像块构建对应的图像块坐标系;
该步骤具体实现过程可以为:将每一个所述图像块的间隙度与预设的间隙度阈值进行对比;将间隙度大于所述间隙度阈值的所述图像块作为目标图像块;
另外,该步骤的具体实现过程还可以为,将各个图像块的间隙度进行对比,选取间隙度比较大的前s张图像块作为目标图像块,该s值可以任意设定如s=3,则是选取间隙度比较大的前3张图像块作为目标图像块。
另外,该步骤构建图像块坐标系的过程主要是以每一个所述目标图像块的左上角为坐标原点,以方便对配准点的定位。
步骤205:为每一个所述目标图像块确定对应的邻域;
由于一个图像块包含有的纹理可能不完整,如对于林地图像来说,一棵树木的纹理可能被分配在不同的图像块中,通过该步骤确定邻域的方式,可以尽可能完整的将某一物体如树木的纹理找到,从而使后续步骤中在查找配准点的过程更加准确,使后续拼接效果较好。如图3所示,图中实线围起的区域为一个目标图像块,从图中可以看出目标图像块可以包括a、b、c、d四个区域,其中,a区域位于目标图像块的左上角、b区域位于目标图像块的右上角、c区域位于目标图像块的左下角、d区域位于目标图像块的右下角。在该步骤中,可以将扩展的目标图像块宽、高的2倍区域视作邻域即图中的虚线围起的区域。
步骤206:在每一个所述目标图像块对应的邻域内,提取特征,并统计所述特征的个数;
步骤207:判断所述特征的个数是否大于预设的特征阈值,如果是,则执行步骤208,否则执行步骤202;
步骤206和步骤207的过程主要是为了保证邻域内有足够多的特征,以方便后续的拼接过程能够更加顺利的进行。
步骤208:在所述第二图像中,确定所述目标图像块和所述邻域对应的区域;
该步骤的实现主要是依据目标图像块在图像坐标系中的位置,例如:目标图像块位于第一图像的右上角区域,则对应第二图像的区域为第二图像的左上角或者左下角,目标图像块的右下角,对应第二图像的区域为第二图像的左下角或者左上角等等。
步骤209:分别为每一个所述目标图像块、邻域和所述区域,提取对应的配准点集合;
该步骤提及的配准点集合是由多个配准点组成的。而配准点的提取过程主要是,通过SURF特征提取来完成的。
SURF特征提取通过SURF算法完成。在SURF算法中,提取的特征点为64维向量,该特征点提取的判据为某像素亮度的哈森矩阵(Hessian Matrix)的行列式(Dxx*Dyy-Dxy*Dxy),为一个极值。而Hessian矩阵的计算需要用到偏导数的计算,一般通过像素点亮度值与高斯核的某一方向偏导数卷积而成;在SURF算法里,为提高算法运行速度,在精度影响很小的情况下,用近似的盒状滤波器(0,1,1组成的box filter)代替高斯核。因为滤波器仅有0,-1,1,因此卷积的计算可以用积分图像(Integral image)来优化(O(1)的时间复杂度),大大提高了效率。每个点需计算Dxx,Dyy,Dxy三个值,故需要三个滤波器;用它们滤波后,得到一幅图像的响应图(Response image,其中每个像素的值为原图像素的Dxx*Dyy-Dxy*Dxy)。对图像用不同尺寸的滤波器进行滤波,得到同一图像在不同尺度的一系列响应图,构成一个金字塔(该金字塔无需像SIFT中的高斯一样进行降采样,即金字塔每组中的每层图像分辨率相同)。
另外,为保证特征点描述子的旋转不变性,需对每个特征点计算主方向。计算主方向的过程如下:
统计以特征点为中心,正比于特征点尺度的某个数位半径,张角为60°的扇形区域内所有像素点的sumX=(y方向小波变换响应)*(高斯函数),sumY=(x方向小波变换响应)*(高斯函数),计算合成向量角度θ=arctan(sumY/sumX),模长sqrt(sumy*sumy+sumx*sumx)。
将扇形沿逆时针旋转(一般取步长为0.1个弧度),以同样方法计算合成向量。求出各方向扇形的合成向量模长最大值,其对应的角度即特征点主方向。
另外,描述子的建立过程如下:
选定以特征点为中心的一块正方形区域,将其旋转与主方向对齐。
将正方形分为4x4的16个子区域,对每个区域进行Haar小波变换(同样用积分图像加速),得到4个系数。
由上述两步,生成4x4x4=64维向量,即描述子,用它可以进行匹配等工作。
此算法的优点:在于大量合理使用积分图像降低运输量,而且在运用的过程中并未降低精度(小波变换,Hessian矩阵行列式检测都是成熟有效的手段)。
在时间上,SURF运行速度大约为SIFT的3倍;在质量上,SURF的鲁棒性很好,特征点识别率较SIFT高,在视角、光照、尺度变化等情形下,大体上都优于SIFT。
步骤210:在所述配准点集合中确定至少一对目标匹配对;
该步骤实现的具体实施方式:将每一个所述目标图像块和邻域对应的配准点集合与所述区域进行匹配,确定至少一对第一匹配对;
将所述区域对应的配准点集合与所述每一个所述目标图像块进行匹配,确定至少一对第二匹配对;
在所述至少一对第一匹配对和所述至少一对第二匹配对中,查找同时存在于所述配准点集合中的至少一对目标匹配对。
例如:通过将每一个所述目标图像块和邻域对应的配准点集合与所述区域进行匹配得到匹配对1,2,3等,其中,匹配对1中包含的配准点为p1和p1’;匹配对2中包含的配准点为p2和p2’;匹配对3中包含的配准点为p3和p3’,其中,p1’和p3’位于上述步骤确定出的第二图像的区域中,则确定匹配对1和匹配对3为目标匹配对。另外,通过将区域对应的配准点集合与所述每一个所述目标图像块进行匹配得到匹配对1,3,4等,其中,匹配对1中包含的配准点为p1和p1’;匹配对3中包含的配准点为p3和p3’;匹配对4中包含的配准点为p4和p4’,其中,p4位于一个目标图像块中,则匹配对4也作为目标匹配对存在。
步骤211:在所述图像块坐标系中,确定每一对所述目标匹配对中的配准点对应的第一坐标;
步骤212:在所述图像坐标系中,确定每一个所述目标图像块左上角的坐标;
步骤213:根据第一坐标和每一个所述目标图像块左上角的坐标,计算每一对所述目标匹配对中的配准点在所述图像坐标系中的第二坐标;
该步骤的实现主要是利用下述计算公式(3)计算得到:
(xig,yig)=(xil,yil)+(xi0,yi0) (3)
其中,(xig,yig)表征配准点i在所述图像坐标系中的第二坐标;(xil,yil)表征配准点i在所述图像块坐标系中的第一坐标;(xi0,yi0)表征配准点i所在图像块的左上角坐标。
上述步骤211至步骤213的过程实现了将配准点的局部坐标转化为全局坐标,以方便后续变换矩阵的计算。
步骤214:利用所述配准点的第二坐标,确定所述第一图像与所述第二图像间的变换矩阵;
该变换矩阵可以为反射变换矩阵、相似变换矩阵、仿射变换矩阵及透视变换矩阵中的任意一种,其中,如果以反射变换或相似变换作为该步骤的变换矩阵,需要在上述步骤确定出的目标匹配对中随机选择最少2对;如果以仿射变换作为该步骤的变换矩阵,则需要最少选择3对;如果以透视变换作为该步骤的变换矩阵,则需要最少选择4对。
下面以仿射变换矩阵为例,展开说明,该步骤变换矩阵的确定过程。
将选定的配准对中配准点的第二坐标带入下述计算公式(4),并通过迭代计算,最小化计算公式(4)的计算结果,得到变换矩阵中的各个参数。
x &prime; y &prime; = a 11 a 12 a 21 a 22 x y + t x t y - - - ( 4 )
其中,表征缩放和旋转参数,表征平移参数,表征选定匹配对中,位于第二图像对应的区域中的配准点;表征选定匹配对中,位于目标图像块或邻域中的配准点。
为了保证变换矩阵对应的匹配对准确性,为每一个目标匹配点对,执行:
将一个目标匹配点对代入下述计算公式(5),计算得到变换矩阵的误差:
E &prime; i = { ( g ( x , y ) , g &prime; ( x &prime; , y &prime; ) ) &prime; | | | x y - &lsqb; a 11 a 12 a 21 a 22 x &prime; y &prime; + t x t y &rsqb; | | } - - - ( 5 )
将计算得到的E′ij带入下述代价函数(6);
C = l o g &lsqb; &alpha; &lsqb; 1 2 &pi;&sigma; 2 &rsqb; exp &lsqb; - E &prime; i 2 &pi;&sigma; 2 &rsqb; + ( 1 - &alpha; ) 1 W &rsqb; - - - ( 6 )
时,则确定该目标匹配点中的配准点满足变换矩阵。
步骤215:根据所述变换矩阵,将所述第一图像和所述第二图像拼接;
该步骤的过程主要是,按照变换矩阵移动第二图像,使第二图像与第一图像相同区域重合,成为一张图像。
步骤216:将拼接后的图像作为第一图像/第二图像,重新选定第二图像/第一图像,并执行步骤202。
另外,通过上述实施例可以看出,本发明是一种从“分形”的角度上考虑的方法,不对图像进行降采样,不会丢失细节。
特别地,对于目前航拍得到的林地图像来说,其纹理复杂,且是自然纹理(树木、草地、山林等),图像中会有大量的特征出现,同时,林地图像具有自相似性的特点,如果直接对整个图像进行特征提取,会产生较大的错误,而且计算量较大。但是,通过上述本发明实施例提供的方案,将图像切分为各个图像块,图像块中包含有的特征将会大大减少。那么,通过间隙度确定出目标图像块,对目标图像块及邻域中的特征进行提取,不仅大大降低了计算量,而且能够减少错误发生的概率,从而使拼接效果较好。因此,通过本发明实施例提供的方案对林地图像进行拼接,能够得到比较完整的林地图像。
如图4、图5所示,本发明实施例提供了一种图像拼接装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言,如图4所示,为本发明实施例提供的图像拼接装置所在设备的一种硬件结构图,除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常还可以包括其他硬件,如负责处理报文的转发芯片等等。以软件实现为例,如图5所示,作为一个逻辑意义上的装置,是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的图像拼接装置,包括:
切分单元501,用于将第一图像切分成至少两个图像块;
目标块确定单元502,用于计算所述切分单元501切分出的每一个所述图像块的间隙度,并根据每一个所述图像块的间隙度,为所述目标图像确定至少一个目标图像块;
区域确定单元503,用于在第二图像中,确定与所述目标块确定单元502确定出的至少一个目标图像块对应的区域;
拼接处理单元504,用于分别为所述目标块确定单元502确定出的每一个所述目标图像块和所述区域确定单元503确定出的区域,提取对应的配准点集合,利用所述配准点集合,将所述第一图像和所述第二图像拼接。
如图6所示,在本发明另一实施例中,所述目标块确定单元502,包括:起伏度计算子单元5021和间隙度计算子单元5022,其中,
所述起伏度计算子单元5021,用于将每一个所述图像块作为当前图像块,执行:
利用r×r盒子在所述当前图像块内滑动,其中,所述r×r的盒子的尺寸小于所述当前图像块的尺寸;
在所述当前图像块中,确定所述r×r盒子的当前位置对应的最大像素值和最小像素值;
根据下述计算公式(1),计算所述当前位置的像素起伏度;
M ( i , j ) = c e i l &lsqb; K &times; g ( i , j ) - b ( i , j ) r &rsqb; - - - ( 1 )
其中,所述M(i,j)表征所述图像块的位置(i,j)处的像素起伏度;K表征权重系数;g(i,j)表征所述图像块的位置(i,j)处的最大像素值;b(i,j)表征所述图像块的位置(i,j)处的最小像素值;r表征所述盒子的长度;
所述间隙度计算子单元5022,用于利用所述起伏度计算子单元5021计算出的各个所述当前位置的像素起伏度,计算所述当前图像块的间隙度。
在本发明又一实施例中,所述间隙度计算子单元5022,用于:
根据下述第二计算公式(2),计算所述当前图像块的间隙度;
L A C = &Sigma; x = 1 n ( V a r ( M x ( i , j ) ) &lsqb; E ( M x ( i , j ) ) &rsqb; 2 + 1 ) - - - ( 2 )
其中,LAC表征所述当前图像块的间隙度;Mx(i,j)表征第x个分辨率下所述当前图像块的位置(i,j)处的像素起伏度;Var()表征方差;E()表征一阶矩。
如图7所示,在本发明另一实施例中,上述装置进一步包括:构建单元701,
所述拼接处理单元504,包括:匹配对确定子单元5041、坐标计算子单元5042和拼接子单元5043,其中,
所述构建单元701,用于以每一张图像的左上角为坐标原点,为每一张图像构建对应的图像坐标系,并以所述目标块确定单元502确定出的每一个所述目标图像块的左上角为坐标原点,为所述目标块确定单元502确定出的每一个所述目标图像块构建对应的图像块坐标系;
所述匹配对确定子单元5041,用于在所述配准点集合中确定至少一对目标匹配对;
所述坐标计算子单元5042,用于在所述构建单元701构建的图像块坐标系中,确定所述匹配对确定子单元5041确定出的每一对所述目标匹配对中的配准点对应的第一坐标;并在所述构建单元701构建的图像坐标系中,确定所述目标块确定单元502确定出的每一个所述目标图像块左上角的坐标;
根据下述计算公式(3),计算所述匹配对确定子单元5041确定出的每一对所述目标匹配对中的配准点在所述构建单元701构建的图像坐标系中的第二坐标;
(xig,yig)=(xil,yil)+(xi0,yi0) (3)
其中,(xig,yig)表征配准点i在所述图像坐标系中的第二坐标;(xil,yil)表征配准点i在所述图像块坐标系中的第一坐标;(xi0,yi0)表征配准点i所在图像块的左上角坐标;
所述拼接子单元5043,用于利用所述坐标计算子单元5042计算出的配准点的第二坐标,确定所述第一图像与所述第二图像间的变换矩阵,根据所述变换矩阵,将所述第一图像和所述第二图像拼接。
上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本发明还提供了一种计算机存储介质,存储用于使一机器执行如本文所述的程序代码的审核方法的指令。具体地,可以提供配有存储介质的系统或者装置,在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下,从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上下载程序代码。
此外,应该清楚的是,不仅可以通过执行计算机所读出的程序代码,而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作,从而实现上述实施例中任意一项实施例的功能。
此外,可以理解的是,将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作,从而实现上述实施例中任一实施例的功能。
根据上述方案,本发明的各实施例,至少具有如下有益效果:
1.通过将第一图像切分成至少两个图像块;计算每一个所述图像块的间隙度,并根据每一个所述图像块的间隙度,为所述目标图像确定至少一个目标图像块,通过间隙度确定目标图像块,使得选择的目标图像块尽可能包含比较多的特征;在第二图像中,确定与所述至少一个目标图像块对应的区域;分别为每一个所述目标图像块和所述区域,提取对应的配准点集合;利用所述配准点集合,将所述第一图像和所述第二图像拼接,由于上述过程中是对图像块中的配准点进行提取,而不再是对整个图像中的配准点进行提取,完全可以满足处理器的运算能力,因此,实现了对较大图像进行拼接。
2.由于本发明实施例给出的图像块为图像的一部分,即通过对图像的一部分进行配准点提取等来完成整幅图像的拼接,而无须在整幅图像中提取配准点,从而有效地减少了运算次数,以提高图像拼接的效率。
3.利用r×r盒子在当前图像块内滑动,在当前图像块中,确定r×r盒子的当前位置对应的最大像素值和最小像素值;计算所述当前位置的像素起伏度;并通过不同分辨率下的像素起伏度计算图像块的间隙度,避免了不同分别率带来的误差,使间隙度的差异更能体现出图像块之间的差异,能够更加准确的定位出含有特征比较多的图像块,另外,本发明的整个过程是一种从“分形”的角度上考虑的方法,不对图像进行降采样,不会丢失细节,从而保证图像拼接的准确性。
4.通过为每一个所述目标图像块确定对应的邻域,在每一个所述目标图像块对应的邻域内,提取特征,并统计所述特征的个数,当所述特征的个数大于预设的特征阈值时,在所述第二图像中,确定与每一个所述目标图像块和所述邻域对应的区域,保证了尽可能多的获取配准点,以进一步提高拼接的准确性。
5.通过构建坐标系,实现了对图像块、配准点的定位,那么,通过对两张图像的匹配对中的配准点定位,能够准确的确定出变换矩阵,由于一张图像按照变换矩阵移动,即可实现两张图像间的拼接,那么,准确的确定出变换矩阵则保证了拼接的准确性。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种图像拼接方法,其特征在于,包括:
将第一图像切分成至少两个图像块;
计算每一个所述图像块的间隙度,并根据每一个所述图像块的间隙度,为所述目标图像确定至少一个目标图像块;
在第二图像中,确定与所述至少一个目标图像块对应的区域;
分别为每一个所述目标图像块和所述区域,提取对应的配准点集合;
利用所述配准点集合,将所述第一图像和所述第二图像拼接。
2.根据权利要求1所述的方法,其特征在于,所述计算每一个所述图像块的间隙度,包括:
将每一个所述图像块作为当前图像块,执行:
利用r×r盒子在所述当前图像块内滑动,其中,所述r×r的盒子的尺寸小于所述当前图像块的尺寸;
在所述当前图像块中,确定所述r×r盒子的当前位置对应的最大像素值和最小像素值;
根据下述第一计算公式,计算所述当前位置的像素起伏度;
第一计算公式:
M ( i , j ) = c e i l &lsqb; K &times; g ( i , j ) - b ( i , j ) r &rsqb;
其中,所述M(i,j)表征所述图像块的位置(i,j)处的像素起伏度;K表征权重系数;g(i,j)表征所述图像块的位置(i,j)处的最大像素值;b(i,j)表征所述图像块的位置(i,j)处的最小像素值;r表征所述盒子的长度;
利用计算出的各个所述当前位置的像素起伏度,计算所述当前图像块的间隙度。
3.根据权利要求2所述的方法,其特征在于,所述计算所述当前图像块的间隙度,包括:
根据下述第二计算公式,计算所述当前图像块的间隙度;
第二计算公式:
L A C = &Sigma; x = 1 n ( V a r ( M x ( i , j ) ) &lsqb; E ( M x ( i , j ) ) &rsqb; 2 + 1 )
其中,LAC表征所述当前图像块的间隙度;Mx(i,j)表征第x个分辨率下所述当前图像块的位置(i,j)处的像素起伏度;Var()表征方差;E()表征一阶矩。
4.根据权利要求1所述的方法,其特征在于,所述在第二图像中,确定与所述至少一个目标图像块对应的区域,包括:
为每一个所述目标图像块确定对应的邻域;
在每一个所述目标图像块对应的邻域内,提取特征,并统计所述特征的个数;
当所述特征的个数大于预设的特征阈值时,在所述第二图像中,确定与每一个所述目标图像块和所述邻域对应的区域。
5.根据权利要求1至4任一所述的方法,其特征在于,进一步包括:
以每一张图像的左上角为坐标原点,为每一张图像构建对应的图像坐标系;
以每一个所述目标图像块的左上角为坐标原点,为每一个所述目标图像块构建对应的图像块坐标系;
所述利用所述配准点集合,将所述第一图像和所述第二图像拼接,包括:
在所述配准点集合中确定至少一对目标匹配对;
在所述图像块坐标系中,确定每一对所述目标匹配对中的配准点对应的第一坐标;
在所述图像坐标系中,确定每一个所述目标图像块左上角的坐标;
根据下述第三计算公式,计算每一对所述目标匹配对中的配准点在所述图像坐标系中的第二坐标;
第三计算公式:
(xig,yig)=(xil,yil)+(xi0,yi0)
其中,(xig,yig)表征配准点i在所述图像坐标系中的第二坐标;(xil,yil)表征配准点i在所述图像块坐标系中的第一坐标;(xi0,yi0)表征配准点i所在图像块的左上角坐标;
利用所述配准点的第二坐标,确定所述第一图像与所述第二图像间的变换矩阵;
根据所述变换矩阵,将所述第一图像和所述第二图像拼接。
6.根据权利要求5所述的方法,其特征在于,所述在所述配准点集合中确定至少一对匹配对,包括:
将每一个所述目标图像块对应的配准点集合与所述区域进行匹配,确定至少一对第一匹配对;
将所述区域对应的配准点集合与所述每一个所述目标图像块进行匹配,确定至少一对第二匹配对;
在所述至少一对第一匹配对和所述至少一对第二匹配对中,查找同时存在于所述配准点集合中的至少一对目标匹配对。
7.一种图像拼接装置,其特征在于,包括:
切分单元,用于将第一图像切分成至少两个图像块;
目标块确定单元,用于计算所述切分单元切分出的每一个所述图像块的间隙度,并根据每一个所述图像块的间隙度,为所述目标图像确定至少一个目标图像块;
区域确定单元,用于在第二图像中,确定与所述目标块确定单元确定出的至少一个目标图像块对应的区域;
拼接处理单元,用于分别为所述目标块确定单元确定出的每一个所述目标图像块和所述区域确定单元确定出的区域,提取对应的配准点集合,利用所述配准点集合,将所述第一图像和所述第二图像拼接。
8.根据权利要求7所述的装置,其特征在于,所述目标块确定单元,包括:起伏度计算子单元和间隙度计算子单元,其中,
所述起伏度计算子单元,用于将每一个所述图像块作为当前图像块,执行:
利用r×r盒子在所述当前图像块内滑动,其中,所述r×r的盒子的尺寸小于所述当前图像块的尺寸;
在所述当前图像块中,确定所述r×r盒子的当前位置对应的最大像素值和最小像素值;
根据下述第一计算公式,计算所述当前位置的像素起伏度;
第一计算公式:
M ( i , j ) = c e i l &lsqb; K &times; g ( i , j ) - b ( i , j ) r &rsqb;
其中,所述M(i,j)表征所述图像块的位置(i,j)处的像素起伏度;K表征权重系数;g(i,j)表征所述图像块的位置(i,j)处的最大像素值;b(i,j)表征所述图像块的位置(i,j)处的最小像素值;r表征所述盒子的长度;
所述间隙度计算子单元,用于利用所述起伏度计算子单元计算出的各个所述当前位置的像素起伏度,计算所述当前图像块的间隙度。
9.根据权利要求8所述的装置,其特征在于,所述间隙度计算子单元,用于:
根据下述第二计算公式,计算所述当前图像块的间隙度;
第二计算公式:
L A C = &Sigma; x = 1 n ( V a r ( M x ( i , j ) ) &lsqb; E ( M x ( i , j ) ) &rsqb; 2 + 1 )
其中,LAC表征所述当前图像块的间隙度;Mx(i,j)表征第x个分辨率下所述当前图像块的位置(i,j)处的像素起伏度;Var()表征方差;E()表征一阶矩。
10.根据权利要求7至9任一所述的装置,其特征在于,进一步包括:构建单元,
所述拼接处理单元,包括:匹配对确定子单元、坐标计算子单元和拼接子单元,其中,
所述构建单元,用于以每一张图像的左上角为坐标原点,为每一张图像构建对应的图像坐标系,并以所述目标块确定单元确定出的每一个所述目标图像块的左上角为坐标原点,为所述目标块确定单元确定出的每一个所述目标图像块构建对应的图像块坐标系;
所述匹配对确定子单元,用于在所述配准点集合中确定至少一对目标匹配对;
所述坐标计算子单元,用于在所述构建单元构建的图像块坐标系中,确定所述匹配对确定子单元确定出的每一对所述目标匹配对中的配准点对应的第一坐标;并在所述构建单元构建的图像坐标系中,确定所述目标块确定单元确定出的每一个所述目标图像块左上角的坐标;
根据下述第三计算公式,计算所述匹配对确定子单元确定出的每一对所述目标匹配对中的配准点在所述构建单元构建的图像坐标系中的第二坐标;
第三计算公式:
(xig,yig)=(xil,yil)+(xi0,yi0)
其中,(xig,yig)表征配准点i在所述图像坐标系中的第二坐标;(xil,yil)表征配准点i在所述图像块坐标系中的第一坐标;(xi0,yi0)表征配准点i所在图像块的左上角坐标;
所述拼接子单元,用于利用所述坐标计算子单元计算出的配准点的第二坐标,确定所述第一图像与所述第二图像间的变换矩阵,根据所述变换矩阵,将所述第一图像和所述第二图像拼接。
CN201610939423.9A 2016-10-24 2016-10-24 一种图像拼接方法和装置 Active CN106355555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610939423.9A CN106355555B (zh) 2016-10-24 2016-10-24 一种图像拼接方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610939423.9A CN106355555B (zh) 2016-10-24 2016-10-24 一种图像拼接方法和装置

Publications (2)

Publication Number Publication Date
CN106355555A true CN106355555A (zh) 2017-01-25
CN106355555B CN106355555B (zh) 2019-06-18

Family

ID=57864204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610939423.9A Active CN106355555B (zh) 2016-10-24 2016-10-24 一种图像拼接方法和装置

Country Status (1)

Country Link
CN (1) CN106355555B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330436A (zh) * 2017-06-13 2017-11-07 哈尔滨工程大学 一种基于尺度判据的全景图像sift优化方法
CN109891898A (zh) * 2017-02-13 2019-06-14 谷歌有限责任公司 预测内容流中的中断持续时间
CN114913076A (zh) * 2022-07-19 2022-08-16 成都智明达电子股份有限公司 一种图像缩放旋转方法、装置、系统及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
CN103295209A (zh) * 2012-02-24 2013-09-11 深圳市蓝韵实业有限公司 Dr图像的拼接方法及系统
US8917951B1 (en) * 2013-07-19 2014-12-23 Hong Kong Applied Science and Technology Research Institute Company Limited Method of on-the-fly image stitching
CN105389777A (zh) * 2015-10-23 2016-03-09 首都师范大学 无人机序列影像快速无缝拼接系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
CN103295209A (zh) * 2012-02-24 2013-09-11 深圳市蓝韵实业有限公司 Dr图像的拼接方法及系统
US8917951B1 (en) * 2013-07-19 2014-12-23 Hong Kong Applied Science and Technology Research Institute Company Limited Method of on-the-fly image stitching
CN105389777A (zh) * 2015-10-23 2016-03-09 首都师范大学 无人机序列影像快速无缝拼接系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GAN DU等: "A Novel Lacunarity Estimation Method Applied to SAR Image Segmentation", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
李玉峰等: "基于区域分块与尺度不变特征变换的图像拼接算法", 《光学精密工程》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109891898A (zh) * 2017-02-13 2019-06-14 谷歌有限责任公司 预测内容流中的中断持续时间
CN109891898B (zh) * 2017-02-13 2021-07-27 谷歌有限责任公司 一种用于向多个客户端设备提供内容的系统及方法
CN107330436A (zh) * 2017-06-13 2017-11-07 哈尔滨工程大学 一种基于尺度判据的全景图像sift优化方法
CN107330436B (zh) * 2017-06-13 2020-07-28 哈尔滨工程大学 一种基于尺度判据的全景图像sift优化方法
CN114913076A (zh) * 2022-07-19 2022-08-16 成都智明达电子股份有限公司 一种图像缩放旋转方法、装置、系统及介质
CN114913076B (zh) * 2022-07-19 2022-11-11 成都智明达电子股份有限公司 一种图像缩放旋转方法、装置、系统及介质

Also Published As

Publication number Publication date
CN106355555B (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
US10217277B2 (en) Keypoint-based point-pair-feature for scalable automatic global registration of large RGB-D scans
US8200010B1 (en) Image segmentation by clustering web images
Salti et al. A performance evaluation of 3d keypoint detectors
Hao et al. 3d visual phrases for landmark recognition
Cham et al. Estimating camera pose from a single urban ground-view omnidirectional image and a 2D building outline map
US8798377B2 (en) Efficient scale-space extraction and description of interest points
US20120093411A1 (en) Active Segmentation for Groups of Images
Wolff et al. Regularity-driven facade matching between aerial and street views
US20120076409A1 (en) Computer system and method of matching for images and graphs
CN106355555B (zh) 一种图像拼接方法和装置
Chan et al. Border: An oriented rectangles approach to texture-less object recognition
Haverkamp Automatic building extraction from IKONOS imagery
US12094183B2 (en) Geometric pattern matching method and device for performing the method
JP2006350553A (ja) 対応点探索方法、相互標定方法、3次元画像計測方法、対応点探索装置、相互標定装置、3次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体
CN113298871A (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质
CN115965927B (zh) 一种路面信息提取方法、装置、电子设备及可读存储介质
Kroepfl et al. Efficiently locating photographs in many panoramas
Chan et al. F-sort: An alternative for faster geometric verification
Noury et al. How to overcome perceptual aliasing in ASIFT?
Haugeard et al. Extraction of windows in facade using kernel on graph of contours
Jiao et al. Individual Building Rooftop and Tree Crown Segmentation from High‐Resolution Urban Aerial Optical Images
Xuming et al. Semantic maps for cross-view relocalization of terrestrial to uav point clouds
Shen et al. Robust line segment mismatch removal using point-pair representation and Gaussian-uniform mixture formulation
He et al. Scene text detection based on skeleton-cut detector
Azzi Efficient image-based localization using context

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant