CN109598674A - 一种图像拼接方法及装置 - Google Patents
一种图像拼接方法及装置 Download PDFInfo
- Publication number
- CN109598674A CN109598674A CN201710939912.9A CN201710939912A CN109598674A CN 109598674 A CN109598674 A CN 109598674A CN 201710939912 A CN201710939912 A CN 201710939912A CN 109598674 A CN109598674 A CN 109598674A
- Authority
- CN
- China
- Prior art keywords
- image
- main grid
- grid
- spliced
- homography matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims abstract description 235
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 239000000284 extract Substances 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims description 17
- 238000013519 translation Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000035772 mutation Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000184339 Nemophila maculata Species 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种图像拼接方法及装置，方法包括：获取待拼接图像和基础拼接图像；提取待拼接图像和基础拼接图像的特征点；对提取的待拼接图像和基础拼接图像中每两张图像的特征点进行匹配，确定多个匹配特征点对；根据确定的多个匹配特征点对中特征点的坐标，计算每一待拼接图像针对基础拼接图像的单应矩阵；对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息；针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵；根据每一主网格内图像的单应矩阵，拼接待拼接图像和基础拼接图像。应用本申请实施例，解决了图像拼接错位的问题。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像拼接方法及装置。
背景技术
为了解决单镜头摄像机视场角狭窄的问题，多镜头全景摄像机应运而生。多镜头全景摄像机可以同时采集不同方向的多路图像，并且进行拼接，得到大视角的全景图像。
目前，图像的拼接方法包括：获取至少一张待拼接图像和基础拼接图像，其中，待拼接图像以基础拼接图像为基础，例如将待拼接图像转换至基础拼接图像的坐标系中；确定待拼接图像和基础拼接图像中每两张图像的匹配特征点对；根据匹配特征点对的坐标，确定每一待拼接图像针对基础拼接图像的单应矩阵；根据单应矩阵拼接待拼接图像和基础拼接图像。
在根据单应矩阵拼接图像时，将待拼接图像和基础拼接图像中的物体均作为一个平面处理，未考虑图像的深度信息，而实际应用中，一张图像是具有深度信息，图像中不同物体位于不同的平面，深度信息不同，如图像中一个人站在一个建筑前，这张图像中人和建筑的深度信息时不同的，若将一张图像的物体均作为一个平面处理，很可能造成拼接错位。
发明内容
本申请实施例的目的在于提供一种图像拼接方法及装置，以解决图像拼接错位的问题。具体技术方案如下：
一方面，本申请实施例公开了一种图像拼接方法，所述方法包括：
获取至少一张待拼接图像和基础拼接图像；
提取所述至少一张待拼接图像和所述基础拼接图像的特征点；
对提取的所述至少一张待拼接图像和所述基础拼接图像中每两张图像的特征点进行匹配，确定多个匹配特征点对；
根据确定的多个匹配特征点对中特征点的坐标，计算每一待拼接图像针对所述基础拼接图像的单应矩阵；
对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息；
针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵；
根据每一主网格内图像的单应矩阵，拼接所述至少一张待拼接图像和所述基础拼接图像。
在本申请的一个实施例中，所述提取所述至少一张待拼接图像和所述基础拼接图像的特征点的步骤，包括：
依据SIFT(Scale-Invariant feature transform，尺度不变特征变换)算法提取所述至少一张待拼接图像和所述基础拼接图像中的特征点。
在本申请的一个实施例中，所述对提取的所述至少一张待拼接图像和所述基础拼接图像中每两张图像的特征点进行匹配，确定多个匹配特征点对的步骤，包括：
对于所述至少一张待拼接图像和所述基础拼接图像中每一张图像的每一特征点，计算其他图像的特征点的描述算子与该特征点的描述算子间的欧式距离；所述其他图像为所述至少一张待拼接图像和所述基础拼接图像中除该图像外的图像；
将该特征点与欧式距离最小的描述算子对应的特征点构成匹配特征点对。
在本申请的一个实施例中，在对提取的所述至少一张待拼接图像和所述基础拼接图像中每两张图像的特征点进行匹配之前，所述方法还包括：
对于提取的每一特征点，利用该特征点邻域像素的梯度信息建立360度梯度直方图，获得该特征点在空间上的描述算子；
归一化该特征点的描述算子。
在本申请的一个实施例中，所述对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息的步骤，包括：
获取每一匹配特征点对中待拼接图像中特征点的深度信息；
对于每一待拼接图像和基础拼接图像，将深度信息间的差值在预定差值范围内且相邻的特征点建立在一个主网格内；
对于每一主网格，计算该主网格内所有特征点的深度信息的均值，将该均值作为该主网格内图像的深度信息。
在本申请的一个实施例中，所述针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵的步骤，包括：
针对每一主网格，根据公式
确定该主网格内图像的单应矩阵的单位增量△h；其中，K为图像采集装置的内参，R为图像采集装置的旋转矩阵；△t为图像采集装置间的相对平移向量，s为该主网格内图像的深度信息；
根据确定的每一主网格内图像的△h，调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵。
在本申请的一个实施例中，所述根据针对每一主网格内图像的单应矩阵，拼接所述至少一张待拼接图像和所述基础拼接图像的步骤，包括：
对每一主网格进行子网格建立；
对于每一主网格的每一子网格，依据该子网格的中心至该主网格的边界的欧式距离调整该主网格内图像的单应矩阵，获得该子网格内图像的单应矩阵；
根据每一子网格内图像的单应矩阵，拼接所述至少一张待拼接图像和所述基础拼接图像。
在本申请的一个实施例中，所述对于每一主网格的每一子网格，依据该子网格的中心至该主网格的边界的欧式距离调整该主网格内图像的单应矩阵，获得该子网格内图像的单应矩阵的步骤，包括：
根据公式
确定该子网格内图像的横向单应矩阵的增量△Hw和纵向单应矩阵的增量△Hh；其中，△hi为该子网格所在主网格内图像的单应矩阵的单位增量，△hi+1为该子网格所在主网格横向相邻的主网格内图像的单应矩阵的单位增量，△hi+2为该子网格所在主网格纵向相邻的主网格内图像的单应矩阵的单位增量，d1 w为该子网格的中心至该子网格所在主网格与所述横向相邻的主网格相接的横向边界的欧式距离，d2 w为该子网格的中心至该子网格所在主网格不与所述横向相邻的主网格相接的横向边界的欧式距离，d1 h为该子网格的中心至该子网格所在主网格与所述纵向相邻的主网格相接的纵向边界的欧式距离；d2 h为该子网格的中心至该子网格所在主网格不与所述纵向相邻的主网格相接的纵向边界的欧式距离；
根据公式
确定该子网格内图像的单应矩阵增量；其中，M表示该子网格所在主网格具有M排子网格，N表示该子网格所在主网格具有N列子网格；
根据该子网格内图像的单应矩阵的增量调整该主网格内图像的单应矩阵，获得该子网格内图像的单应矩阵。
在本申请的一个实施例中，每一主网格中子网格的数量均相同，且一个主网格中子网格的大小均相同。
二方面，本申请实施例公开了一种图像拼接装置，所述装置包括：
获取单元，用于获取至少一张待拼接图像和基础拼接图像；
提取单元，用于提取所述至少一张待拼接图像和所述基础拼接图像的特征点；
匹配单元，用于对提取的所述至少一张待拼接图像和所述基础拼接图像中每两张图像的特征点进行匹配，确定多个匹配特征点对；
第一计算单元，用于根据确定的多个匹配特征点对中特征点的坐标，计算每一待拼接图像针对所述基础拼接图像的单应矩阵；
第二计算单元，用于对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息；
调整单元，用于针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵；
拼接单元，用于根据每一主网格内图像的单应矩阵，拼接所述至少一张待拼接图像和所述基础拼接图像。
在本申请的一个实施例中，所述提取单元，具体用于：
依据SIFT算法提取所述至少一张待拼接图像和所述基础拼接图像中的特征点。
在本申请的一个实施例中，所述匹配单元，具体用于：
对于所述至少一张待拼接图像和所述基础拼接图像中每一张图像的每一特征点，计算其他图像的特征点的描述算子与该特征点的描述算子间的欧式距离；所述其他图像为所述至少一张待拼接图像和所述基础拼接图像中除该图像外的图像；将该特征点与欧式距离最小的描述算子对应的特征点构成匹配特征点对。
在本申请的一个实施例中，所述装置还包括：
建立单元，用于对于提取的每一特征点，利用该特征点邻域像素的梯度信息建立360度梯度直方图，获得该特征点在空间上的描述算子；
归一化单元，用于归一化该特征点的描述算子。
在本申请的一个实施例中，所述第二计算单元，包括：
获取子单元，用于获取每一匹配特征点对中待拼接图像中特征点的深度信息；
第一建立子单元，用于对于每一待拼接图像和基础拼接图像，将深度信息间的差值在预定差值范围内且相邻的特征点建立在一个主网格内；
计算子单元，用于对于每一主网格，计算该主网格内所有特征点的深度信息的均值，将该均值作为该主网格内图像的深度信息。
在本申请的一个实施例中，所述调整单元，包括：
确定子单元，用于针对每一主网格，根据公式
确定该主网格内图像的单应矩阵的单位增量△h；其中，K为图像采集装置的内参，R为图像采集装置的旋转矩阵；△t为图像采集装置间的相对平移向量，s为该主网格内图像的深度信息；
第一调整子单元，用于根据确定的每一主网格内图像的△h，调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵。
在本申请的一个实施例中，所述拼接单元，包括：
第二建立子单元，用于对每一主网格进行子网格建立；
第二调整子单元，用于对于每一主网格的每一子网格，依据该子网格的中心至该主网格的边界的欧式距离调整该主网格内图像的单应矩阵，获得该子网格内图像的单应矩阵；
拼接子单元，用于根据每一子网格内图像的单应矩阵，拼接所述至少一张待拼接图像和所述基础拼接图像。
在本申请的一个实施例中，所述第二调整子单元，具体用于：
根据公式
确定该子网格内图像的横向单应矩阵的增量△Hw和纵向单应矩阵的增量△Hh；其中，△hi为该子网格所在主网格内图像的单应矩阵的单位增量，△hi+1为该子网格所在主网格横向相邻的主网格内图像的单应矩阵的单位增量，△hi+2为该子网格所在主网格纵向相邻的主网格内图像的单应矩阵的单位增量，d1 w为该子网格的中心至该子网格所在主网格与所述横向相邻的主网格相接的横向边界的欧式距离，d2 w为该子网格的中心至该子网格所在主网格不与所述横向相邻的主网格相接的横向边界的欧式距离，d1 h为该子网格的中心至该子网格所在主网格与所述纵向相邻的主网格相接的纵向边界的欧式距离；d2 h为该子网格的中心至该子网格所在主网格不与所述纵向相邻的主网格相接的纵向边界的欧式距离；
根据公式
确定该子网格内图像的单应矩阵增量；其中，M表示该子网格所在主网格具有M排子网格，N表示该子网格所在主网格具有N列子网格；
根据该子网格内图像的单应矩阵的增量调整该主网格内图像的单应矩阵，获得该子网格内图像的单应矩阵。
在本申请的一个实施例中，每一主网格中子网格的数量均相同，且一个主网格中子网格的大小均相同。
三方面，本申请实施例公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放应用程序；
所述处理器，用于执行所述存储器上所存放的应用程序，实现上述图像拼接方法步骤。
四方面，本申请实施例公开了一种机器可读存储介质，所述机器可读存储介质内存储有应用程序，所述应用程序被处理器执行时实现上述图像拼接方法步骤。
本申请实施例中，在确定每一待拼接图像针对基础拼接图像的单应矩阵后，对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息，针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵，一个主网格内图像的单应矩阵依据深度信息调整获得，克服了平面图像深度信息不一致导致单应矩阵不一致的问题，根据每一主网格内图像的单应矩阵，拼接至少一张待拼接图像和基础拼接图像，解决了单应矩阵不一致导致图像拼接错位的问题，解决了平面图像深度信息不一致导致图像拼接错位的问题。当然，实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像拼接方法的第一种流程示意图；
图2为本申请实施例提供的成像位置关系的一种示意图；
图3为本申请实施例提供的一种图像的特征点分布图；
图4为基于图3所示特征点分布建立的主网格的示意图；
图5为本申请实施例提供的图像拼接方法的第二种流程示意图；
图6为本申请实施例提供的子网格的一种示意图；
图7为本申请实施例提供的图像拼接装置的第一种结构示意图；
图8为本申请实施例提供的图像拼接装置的第二种结构示意图；
图9为本申请实施例提供的图像拼接装置的第三种结构示意图；
图10为本申请实施例提供的图像拼接装置的第四种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，下面对本申请实施例中出现的词语进行解释。
单应矩阵：图像直接透视变换的关系矩阵；
深度信息：物体与成像平面间的距离关系；
图像采集装置的内参：图像采集装置焦距与主点的信息矩阵；
图像采集装置的外参：图像采集装置之间旋转与平移关系矩阵。
目前，进行图像拼接时，每个待拼接图像中的物体均作为一个平面处理，一个待拼接图像确定一个针对基础拼接图像的单应矩阵，根据单应矩阵拼接待拼接图像和基础拼接图像，并未考虑深度信息不一致的问题，很容易造成图像拼接错位。
为解决图像拼接错位的问题，本申请实施例提供了一种图像拼接方法及装置。参考图1，图1为本申请实施例提供的图像拼接方法的第一种流程示意图，该方法包括：
S101：获取至少一张待拼接图像和基础拼接图像；
在本申请的一个实施例中，图像采集装置每采集到一张图像，就可以从图像采集装置获取到该采集的图像，在获取到多张图像后，可以从这多张图像中随机的选取一张图像作为基础拼接图像，其他图像作为待拼接图像。
在本申请的一个实施例中，图像采集装置每采集到一张图像，可以将图像存储至数据库，获取待拼接图像和基础拼接图像时，可以从数据库中获取多张图像，从这多张图像中随机的选取一张图像作为基础拼接图像，其他图像作为待拼接图像。
在本申请实施例中，图像采集装置可以为多镜头全景摄像机、单镜头摄像机等。
S102：提取上述至少一张待拼接图像和基础拼接图像的特征点；
在本申请的一个实施例中，为了提高提取特征点的合理性，依据SIFT算法提取待拼接图像和基础拼接图像中的特征点。
例如，可以先以采用SIFT算法构建尺度空间，提取待拼接图像和基础拼接图像的特征点，SIFT算法鲁棒性好，通过SIFT算法提取的特征点具有放缩不变性和一定的抗噪性。
在本申请的一个实施例中，对于提取的每一特征点，可以利用该特征点邻域像素的梯度信息建立360度梯度直方图，生成高维的空间描述子，即获得了该特征点在空间上的描述算子，这可以使特征点具有旋转不变性；对获得的高维空间描述算子进行归一化处理，获得该特征点的描述向量，这将使得特征点具有了对比不变性。通过具有旋转不变性、对比不变性的特征点计算单应矩阵，有效提高了计算得到单应矩阵的准确性。
S103：对提取的上述至少一张待拼接图像和基础拼接图像中每两张图像的特征点进行匹配，确定多个匹配特征点对；
在本申请的一个实施例中，对于获取的待拼接图像和基础拼接图像中每一张图像的每一特征点，计算其他图像的特征点的描述算子与该特征点的描述算子间的欧式距离，其中，其他图像为获取的待拼接图像和基础拼接图像中除该图像外的图像；将该特征点与欧式距离最小的描述算子对应的特征点构成匹配特征点对。
例如，获取到基础拼接图像A和待拼接图像B、C，其中，图像A中提取到特征点有p01、p02，图像B中提取到特征点有p03、p04，图像C中提取到特征点有p05；分别计算p01的描述算子与图像B的p03的描述算子间的欧式距离d1、图像B的p04的描述算子间的欧式距离d2、图像C的p05的描述算子间的欧式距离d3，d1<d2<d3，d1最小，d1对应p03，将p01与p03构成匹配特征点对；同理，确定特征点p02、p04和p05的匹配特征点对。
在本申请的一个实施例中，可以采用k-dtree(k-dimensional tree，k维空间树)对计算欧式距离的算法进行加速；还可以采用RANSAC(Random Sample Consensus，随机样本匹配)算法和双选匹配原则对算法进行优化筛选，以提高确定匹配特征点对的准确度。
S104：根据确定的多个匹配特征点对中特征点的坐标，计算每一待拼接图像针对基础拼接图像的单应矩阵；
在本申请的实施例中，单应矩阵为：
若一个匹配特征点对中两个特征点的坐标分别为[x，y]和[x'，y']，表示单应矩阵的第i列；
可以根据公式
构建正定方程，如下
假定h33为1，这样，通过4个匹配特征点对，即通过8个特征点构建8个正定方程，就可以确定出匹配特征点对中特征点所在两张图像的单应矩阵。
在本申请的实施例中，若一个待拼接图像中的特征点与基础拼接图像中的特征点构成匹配特征点对，则可以直接确定出该待拼接图像针对基础拼接图像的单应矩阵；
若一个待拼接图像中的特征点与另一个待拼接图像中的特征点构成匹配特征点对，而另一个待拼接图像中的特征点又与基础拼接图像中的特征点构成匹配特征点对，例如，待拼接图像有X、Y，基础拼接图像有Z，待拼接图像X中的特征点与待拼接图像Y中的特征点构成匹配特征点对，待拼接图像Y中的特征点与基础拼接图像Z中的特征点构成匹配特征点对，则需要计算从待拼接图像X针对待拼接图像Y的单应矩阵1，并计算出待拼接图像Y针对基础拼接图像Z的单应矩阵2；结合单应矩阵1和单应矩阵2，计算出待拼接图像X针对基础拼接图像Z的单应矩阵3。
S105：对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息；
在本申请的一个实施例中，可以通过以下方式确定特征点的深度信息：
根据对极约束关系确定本质矩阵E为
其中，t为两个图像采集装置之间平移矩阵，R为两个图像采集装置之间旋转矩阵。
利用公式(4)来恢复图像采集装置的运动，估算图像采集装置的运动姿态，例如，设有N个匹配特征点对{[(xi0，yi0)，(xi1，yi1)]}，i＝1、2、3…N，可以得到N个本质矩阵E的齐次方程：
xi0xi1e00+yi0xi1e01+xi1e02+xi0yi1e10+yi0yi1e11+yi1e12+xi0e20+yie21+e22＝0。 (5)
根据公式(5)，确定通过4个匹配特征点对，即通过8个特征点就可以确定出本质矩阵E；在本申请的一个实施例中，为了提高算法的鲁棒性，可以根据公式(5)，利用5个特征点，采用五点法构造十阶多项式拟合，求得本质矩阵E。
对本质矩阵E进行SVD(Singular Value Decomposition，奇异值分解)，可以得到：
E＝[t]×R＝UCVT。 (6)
在有噪声的情况下，公式(6)最小奇异值对应的特征向量即为两个图像采集装置之间的平移矩阵t，根据由公式(6)和叉积算子的特性可得到如下公式：
[t]×＝UCR90°UT； (7)
其中，
根据公式(6)和(7)，确定出两个图像采集装置之间旋转矩阵R：
由于SVD分解方向的不确定性，公式(8)的结果是在相差一个符号意义下计算的结果，因此可以产生4种可能的旋转矩阵R：
如图2所示的成像位置关系，若物点P(X，Y，Z)在两个图像采集装置O0和O1的成像平面上的成像点为x0和x1，则P点与x0和x1的坐标关系为：
其中，K为图像采集装置的内参，内参可以通过标定得出；rij为图像采集装置的旋转矩阵的系数；ti为图像采集装置的平移矩阵的系数，s为一个变量，u为成像点的横坐标，v为成像点的纵坐标。
根据公式(10)，结合上述确定的旋转矩阵R和平移矩阵t，以及x0(u0，v0)和x1(u1，v1)，可得到直线O0x0和直线O1x1的交点P的坐标(X，Y，Z)，其中，Z即为深度信息。
在本申请的一个实施例中，可以预先设定一个差值范围，在获取到每一匹配特征点对中待拼接图像中特征点的深度信息之后，对于每一待拼接图像和基础拼接图像，可以将深度信息间的差值在预定差值范围内且相邻的特征点建立在一个主网格内，这里，一个图像中不同主网格的大小可以不同；对于每一主网格，计算该主网格内所有特征点的深度信息的均值，将该均值作为该主网格内图像的深度信息。
例如，如图3所示的图像的特征点分布图，该图像中包括5个特征点，分别为p11、p12、p13、p14、p15，其中，p11、p12、p13的深度信息间的差值在预定差值范围，p11、p12相邻；p14、p15的深度信息间的差值在预定差值范围且相邻，则如图4所示的基于图3所示特征点分布建立的主网格，将p11、p12建立在主网格1内，将p13建立在同一主网格2内，将p14、p15建立在同一主网格3内；将p11、p12的深度信息的均值作为主网格1内图像的深度信息，将p13的深度信息的均值作为主网格2内图像的深度信息，将p14、p15的深度信息的均值作为主网格3内图像的深度信息。
这里，可以依据两个特征点的描述算子间的欧式距离确定两个特征点是否相邻。例如，若两个特征点的描述算子间的欧式距离小于阈值，则确定两个特征点相邻；否则，确定两个特征点不相邻。本申请实施例中还可以采用其他方式确定两个特征点是否相邻，本申请对此不进行限定。
S106：针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵；
在本申请的一个实施例中，针对每一主网格，可以根据公式
确定该主网格内图像的单应矩阵的单位增量△h；其中，K为图像采集装置的内参，R为图像采集装置的旋转矩阵，△t为图像采集装置间的相对平移向量，s为该主网格内图像的深度信息；根据确定的每一主网格内图像的△h，调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵，如下：
S107：根据每一主网格内图像的单应矩阵，拼接上述至少一张待拼接图像和基础拼接图像。
这种情况下，每一主网格内图像的单应矩阵根据该主网格内图像的深度信息调整获得，获得了适应于该主网格内图像拼接的单应矩阵，克服了平面图像深度信息不一致导致单应矩阵不一致的问题，根据每一主网格内图像的单应矩阵，拼接待拼接图像和基础拼接图像，解决了单应矩阵不一致导致图像拼接错位的问题，即解决了平面图像深度信息不一致导致图像拼接错位的问题。
一个主网格对应一个单应矩阵，这很可能会出现单应矩阵突变，造成拼接后的图像出现图像空洞和折痕的现象，为了降低单应矩阵的突变，避免拼接后的图像出现图像空洞和折痕的现象，在本申请的一个实施例中，参考图5，图5为本申请实施例提供的图像拼接方法的第二种流程示意图，基于图1，该方法包括：
S501：获取至少一张待拼接图像和基础拼接图像；
S502：提取至少一张待拼接图像和基础拼接图像的特征点；
S503：对提取的至少一张待拼接图像和基础拼接图像中每两张图像的特征点进行匹配，确定多个匹配特征点对；
S504：根据确定的多个匹配特征点对中特征点的坐标，计算每一待拼接图像针对基础拼接图像的单应矩阵；
S505：对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息；
S506：针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵；
S501-S506与图1所示实施例中S101-S106相同，此处不再赘述。
S507：对每一主网格进行子网格建立；
如图6所示的子网格的示意图，在主网格8中建立多个子网格。为了尽可能的降低单应矩阵的突变，在设备性能允许的情况下，子网格的密度可以尽量大一些。
在本申请的一个实施例中，为了保证主网格间图像的平滑过渡，即单应矩阵的平滑过渡，一个主网格的子网格的大小均相同，且每一主网格中子网格的数量均相同，也就是，保证每一主网格中子网格的密度相同。
S508：对于每一主网格的每一子网格，依据该子网格的中心至该主网格的边界的欧式距离调整该主网格内图像的单应矩阵，获得该子网格内图像的单应矩阵；
在本申请的一个实施例中，可以通过以下方式确定子网格内图像的单应矩阵：
根据公式
确定该子网格内图像的横向单应矩阵的增量△Hw和纵向单应矩阵的增量△Hh；其中，△hi为该子网格所在主网格内图像的单应矩阵的单位增量，△hi+1为该子网格所在主网格横向相邻的主网格内图像的单应矩阵的单位增量，△hi+2为该子网格所在主网格纵向相邻的主网格内图像的单应矩阵的单位增量，d1 w为该子网格的中心至该子网格所在主网格与上述横向相邻的主网格相接的横向边界的欧式距离，d2 w为该子网格的中心至该子网格所在主网格不与上述横向相邻的主网格相接的横向边界的欧式距离，d1 h为该子网格的中心至该子网格所在主网格与上述纵向相邻的主网格相接的纵向边界的欧式距离；d2 h为该子网格的中心至该子网格所在主网格不与上述纵向相邻的主网格相接的纵向边界的欧式距离。
仍以图6所示子网格为例进行说明，对于主网格8中的一个子网格，主网格8内图像的单应矩阵的单位增量△h8为上述公式(13)(14)中的△hi，主网格9内图像的单应矩阵的单位增量△h9为上述公式(13)中的为△hi+1，主网格11内图像的单应矩阵的单位增量△h11为上述公式(14)中的为△hi+2，对于主网格8中的一个子网格，该子网格的中心至边界h1的欧式距离d1 w'为上述公式(13)中的d1 w，该子网格的中心至边界h2的欧式距离d2 w'为上述公式(13)中的d2 w，该子网格的中心至边界L2的欧式距离d1 h'为上述公式(14)中的d1 h，该子网格的中心至边界L3的欧式距离d2 h'为上述公式(14)中的d2 h；
对于主网格8中的该子网格内图像的横向单应矩阵的增量△Hw'为：
对于主网格8中的该子网格内图像的纵向单应矩阵的增量△Hh'为：
在确定了子网格的横向单应矩阵的增量和纵向单应矩阵的增量后，可以根据公式
确定该子网格内图像的单应矩阵增量；其中，M表示该子网格所在主网格具有M排子网格，N表示该子网格所在主网格具有N列子网格。
之后，可以根据子网格内图像的单应矩阵的增量调整该主网格内图像的单应矩阵，获得该子网格内图像的单应矩阵。
仍以图6所示的子网格为例进行说明，若确定主网格8内图像的单应矩阵为
确定主网格8中一个子网格的单应矩阵内图像的单应矩阵增量为：
根据子网格内图像的单应矩阵的增量调整该主网格内图像的单应矩阵，可以获得该子网格内图像的单应矩阵，如下：
S509：根据每一子网格内图像的单应矩阵，拼接上述至少一张待拼接图像和基础拼接图像。
在主网格的基础上细化了多个子网格，通过确定的每一子网格内图像的单应矩阵的增量调整该主网格内图像的单应矩阵，一个主网格内图像的单应矩阵以一子网格接一个子网格渐变至另一个相邻主网格内图像的单应矩阵，降低了相邻两个主网格间单应矩阵的突变，避免了拼接后的图像出现图像空洞和折痕的现象。
应用本申请实施例，在确定每一待拼接图像针对基础拼接图像的单应矩阵后，对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息，针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵，一个主网格内图像的单应矩阵依据深度信息调整获得，克服了平面图像深度信息不一致导致单应矩阵不一致的问题，根据每一主网格内图像的单应矩阵，拼接至少一张待拼接图像和基础拼接图像，解决了单应矩阵不一致导致图像拼接错位的问题，解决了平面图像深度信息不一致导致图像拼接错位的问题。
与图像拼接方法实施例对应，本申请实施例还提供了一种图像拼接装置。参考图7，图7为本申请实施例提供的图像拼接装置的第一种结构示意图，该装置包括：
获取单元701，用于获取至少一张待拼接图像和基础拼接图像；
提取单元702，用于提取上述至少一张待拼接图像和基础拼接图像的特征点；
匹配单元703，用于对提取的上述至少一张待拼接图像和基础拼接图像中每两张图像的特征点进行匹配，确定多个匹配特征点对；
第一计算单元704，用于根据确定的多个匹配特征点对中特征点的坐标，计算每一待拼接图像针对基础拼接图像的单应矩阵；
第二计算单元705，用于对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息；
调整单元706，用于针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵；
拼接单元707，用于根据每一主网格内图像的单应矩阵，拼接上述至少一张待拼接图像和基础拼接图像。
在本申请的一个实施例中，提取单元702，具体可以用于：
依据SIFT算法提取上述至少一张待拼接图像和基础拼接图像中的特征点。
在本申请的一个实施例中，匹配单元703，具体可以用于：
对于上述至少一张待拼接图像和基础拼接图像中每一张图像的每一特征点，计算其他图像的特征点的描述算子与该特征点的描述算子间的欧式距离；其中，其他图像为上述至少一张待拼接图像和基础拼接图像中除该图像外的图像；将该特征点与欧式距离最小的描述算子对应的特征点构成匹配特征点对。
在本申请的一个实施例中，上述图像拼接装置还可以包括：
建立单元，用于对于提取的每一特征点，利用该特征点邻域像素的梯度信息建立360度梯度直方图，获得该特征点在空间上的描述算子；
归一化单元，用于归一化该特征点的描述算子。
在本申请的一个实施例中，参考图8所示的图像拼接装置的第二种结构示意图，基于图7，第二计算单元705，可以包括：
获取子单元7051，用于获取每一匹配特征点对中待拼接图像中特征点的深度信息；
第一建立子单元7052，用于对于每一待拼接图像和基础拼接图像，将深度信息间的差值在预定差值范围内且相邻的特征点建立在一个主网格内；
计算子单元7053，用于对于每一主网格，计算该主网格内所有特征点的深度信息的均值，将该均值作为该主网格内图像的深度信息。
在本申请的一个实施例中，参考图9所示的图像拼接装置的第三种结构示意图，基于图7，调整单元706，可以包括：
确定子单元7061，用于针对每一主网格，根据公式
确定该主网格内图像的单应矩阵的单位增量△h；其中，K为图像采集装置的内参，R为图像采集装置的旋转矩阵；△t为图像采集装置间的相对平移向量，s为该主网格内图像的深度信息；
第一调整子单元7062，用于根据确定的每一主网格内图像的△h，调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵。
在本申请的一个实施例中，参考图10所示的图像拼接装置的第四种结构示意图，基于图7，拼接单元707，可以包括：
第二建立子单元7071，用于对每一主网格进行子网格建立；
第二调整子单元7072，用于对于每一主网格的每一子网格，依据该子网格的中心至该主网格的边界的欧式距离调整该主网格内图像的单应矩阵，获得该子网格内图像的单应矩阵；
拼接子单元7073，用于根据每一子网格内图像的单应矩阵，拼接上述至少一张待拼接图像和基础拼接图像。
在本申请的一个实施例中，第二调整子单元7072，具体可以用于：
根据公式
确定该子网格内图像的横向单应矩阵的增量△Hw和纵向单应矩阵的增量△Hh；其中，△hi为该子网格所在主网格内图像的单应矩阵的单位增量，△hi+1为该子网格所在主网格横向相邻的主网格内图像的单应矩阵的单位增量，△hi+2为该子网格所在主网格纵向相邻的主网格内图像的单应矩阵的单位增量，d1 w为该子网格的中心至该子网格所在主网格与所述横向相邻的主网格相接的横向边界的欧式距离，d2 w为该子网格的中心至该子网格所在主网格不与所述横向相邻的主网格相接的横向边界的欧式距离，d1 h为该子网格的中心至该子网格所在主网格与所述纵向相邻的主网格相接的纵向边界的欧式距离；d2 h为该子网格的中心至该子网格所在主网格不与所述纵向相邻的主网格相接的纵向边界的欧式距离；
根据公式
确定该子网格内图像的单应矩阵增量；其中，M表示该子网格所在主网格具有M排子网格，N表示该子网格所在主网格具有N列子网格；
根据该子网格内图像的单应矩阵的增量调整该主网格内图像的单应矩阵，获得该子网格内图像的单应矩阵。
在本申请的一个实施例中，每一主网格中子网格的数量均相同，且一个主网格中子网格的大小均相同。
应用本申请实施例，在确定每一待拼接图像针对基础拼接图像的单应矩阵后，对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息，针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵，一个主网格内图像的单应矩阵依据深度信息调整获得，克服了平面图像深度信息不一致导致单应矩阵不一致的问题，根据每一主网格内图像的单应矩阵，拼接至少一张待拼接图像和基础拼接图像，解决了单应矩阵不一致导致图像拼接错位的问题，解决了平面图像深度信息不一致导致图像拼接错位的问题。
与图像拼接方法及装置实施例对应，本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信，
存储器，用于存放应用程序；
处理器，用于执行存储器上所存放的应用程序时，实现图像拼接方法。其中，图像拼接方法包括：
获取至少一张待拼接图像和基础拼接图像；
提取上述至少一张待拼接图像和基础拼接图像的特征点；
对提取的上述至少一张待拼接图像和基础拼接图像中每两张图像的特征点进行匹配，确定多个匹配特征点对；
根据确定的多个匹配特征点对中特征点的坐标，计算每一待拼接图像针对基础拼接图像的单应矩阵；
对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息；
针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵；
根据每一主网格内图像的单应矩阵，拼接上述至少一张待拼接图像和基础拼接图像。
应用本申请实施例，在确定每一待拼接图像针对基础拼接图像的单应矩阵后，对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息，针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵，一个主网格内图像的单应矩阵依据深度信息调整获得，克服了平面图像深度信息不一致导致单应矩阵不一致的问题，根据每一主网格内图像的单应矩阵，拼接至少一张待拼接图像和基础拼接图像，解决了单应矩阵不一致导致图像拼接错位的问题，解决了平面图像深度信息不一致导致图像拼接错位的问题。
上述通信总线可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
与图像拼接方法及装置实施例对应，本申请实施例还提供了一种机器可读存储介质，机器可读存储介质内存储有应用程序，应用程序被处理器执行时实现图像拼接方法。其中，图像拼接方法包括：
获取至少一张待拼接图像和基础拼接图像；
提取上述至少一张待拼接图像和基础拼接图像的特征点；
对提取的上述至少一张待拼接图像和基础拼接图像中每两张图像的特征点进行匹配，确定多个匹配特征点对；
根据确定的多个匹配特征点对中特征点的坐标，计算每一待拼接图像针对基础拼接图像的单应矩阵；
对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息；
针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵；
根据每一主网格内图像的单应矩阵，拼接上述至少一张待拼接图像和基础拼接图像。
应用本申请实施例，在确定每一待拼接图像针对基础拼接图像的单应矩阵后，对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息，针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵，一个主网格内图像的单应矩阵依据深度信息调整获得，克服了平面图像深度信息不一致导致单应矩阵不一致的问题，根据每一主网格内图像的单应矩阵，拼接至少一张待拼接图像和基础拼接图像，解决了单应矩阵不一致导致图像拼接错位的问题，解决了平面图像深度信息不一致导致图像拼接错位的问题。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图像拼接装置、电子设备、机器可读存储介质实施例而言，由于其基本相似于图像拼接方法实施例，所以描述的比较简单，相关之处参见图像拼接方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (20)
1.一种图像拼接方法，其特征在于，所述方法包括：
获取至少一张待拼接图像和基础拼接图像；
提取所述至少一张待拼接图像和所述基础拼接图像的特征点；
对提取的所述至少一张待拼接图像和所述基础拼接图像中每两张图像的特征点进行匹配，确定多个匹配特征点对；
根据确定的多个匹配特征点对中特征点的坐标，计算每一待拼接图像针对所述基础拼接图像的单应矩阵；
对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息；
针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵；
根据每一主网格内图像的单应矩阵，拼接所述至少一张待拼接图像和所述基础拼接图像。
2.根据权利要求1所述的方法，其特征在于，所述提取所述至少一张待拼接图像和所述基础拼接图像的特征点的步骤，包括：
依据尺度不变特征变换SIFT算法提取所述至少一张待拼接图像和所述基础拼接图像中的特征点。
3.根据权利要求1所述的方法，其特征在于，所述对提取的所述至少一张待拼接图像和所述基础拼接图像中每两张图像的特征点进行匹配，确定多个匹配特征点对的步骤，包括：
对于所述至少一张待拼接图像和所述基础拼接图像中每一张图像的每一特征点，计算其他图像的特征点的描述算子与该特征点的描述算子间的欧式距离；所述其他图像为所述至少一张待拼接图像和所述基础拼接图像中除该图像外的图像；
将该特征点与欧式距离最小的描述算子对应的特征点构成匹配特征点对。
4.根据权利要求3所述的方法，其特征在于，在对提取的所述至少一张待拼接图像和所述基础拼接图像中每两张图像的特征点进行匹配之前，所述方法还包括：
对于提取的每一特征点，利用该特征点邻域像素的梯度信息建立360度梯度直方图，获得该特征点在空间上的描述算子；
归一化该特征点的描述算子。
5.根据权利要求1所述的方法，其特征在于，所述对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息的步骤，包括：
获取每一匹配特征点对中待拼接图像中特征点的深度信息；
对于每一待拼接图像和基础拼接图像，将深度信息间的差值在预定差值范围内且相邻的特征点建立在一个主网格内；
对于每一主网格，计算该主网格内所有特征点的深度信息的均值，将该均值作为该主网格内图像的深度信息。
6.根据权利要求1所述的方法，其特征在于，所述针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵的步骤，包括：
针对每一主网格，根据公式
确定该主网格内图像的单应矩阵的单位增量△h；其中，K为图像采集装置的内参，R为图像采集装置的旋转矩阵；△t为图像采集装置间的相对平移向量，s为该主网格内图像的深度信息；
根据确定的每一主网格内图像的△h，调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵。
7.根据权利要求1所述的方法，其特征在于，所述根据针对每一主网格内图像的单应矩阵，拼接所述至少一张待拼接图像和所述基础拼接图像的步骤，包括：
对每一主网格进行子网格建立；
对于每一主网格的每一子网格，依据该子网格的中心至该主网格的边界的欧式距离调整该主网格内图像的单应矩阵，获得该子网格内图像的单应矩阵；
根据每一子网格内图像的单应矩阵，拼接所述至少一张待拼接图像和所述基础拼接图像。
8.根据权利要求7所述的方法，其特征在于，所述对于每一主网格的每一子网格，依据该子网格的中心至该主网格的边界的欧式距离调整该主网格内图像的单应矩阵，获得该子网格内图像的单应矩阵的步骤，包括：
根据公式
和
确定该子网格内图像的横向单应矩阵的增量△Hw和纵向单应矩阵的增量△Hh；其中，△hi为该子网格所在主网格内图像的单应矩阵的单位增量，△hi+1为该子网格所在主网格横向相邻的主网格内图像的单应矩阵的单位增量，△hi+2为该子网格所在主网格纵向相邻的主网格内图像的单应矩阵的单位增量，d1 w为该子网格的中心至该子网格所在主网格与所述横向相邻的主网格相接的横向边界的欧式距离，d2 w为该子网格的中心至该子网格所在主网格不与所述横向相邻的主网格相接的横向边界的欧式距离，d1 h为该子网格的中心至该子网格所在主网格与所述纵向相邻的主网格相接的纵向边界的欧式距离；d2 h为该子网格的中心至该子网格所在主网格不与所述纵向相邻的主网格相接的纵向边界的欧式距离；
根据公式
确定该子网格内图像的单应矩阵增量；其中，M表示该子网格所在主网格具有M排子网格，N表示该子网格所在主网格具有N列子网格；
根据该子网格内图像的单应矩阵的增量调整该主网格内图像的单应矩阵，获得该子网格内图像的单应矩阵。
9.根据权利要求7或8所述的方法，其特征在于，每一主网格中子网格的数量均相同，且一个主网格中子网格的大小均相同。
10.一种图像拼接装置，其特征在于，所述装置包括：
获取单元，用于获取至少一张待拼接图像和基础拼接图像；
提取单元，用于提取所述至少一张待拼接图像和所述基础拼接图像的特征点；
匹配单元，用于对提取的所述至少一张待拼接图像和所述基础拼接图像中每两张图像的特征点进行匹配，确定多个匹配特征点对；
第一计算单元，用于根据确定的多个匹配特征点对中特征点的坐标，计算每一待拼接图像针对所述基础拼接图像的单应矩阵；
第二计算单元，用于对每一待拼接图像进行主网格建立，计算每一主网格内图像的深度信息；
调整单元，用于针对每一主网格，根据该主网格内图像的深度信息调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵；
拼接单元，用于根据每一主网格内图像的单应矩阵，拼接所述至少一张待拼接图像和所述基础拼接图像。
11.根据权利要求10所述的装置，其特征在于，所述提取单元，具体用于：
依据尺度不变特征变换SIFT算法提取所述至少一张待拼接图像和所述基础拼接图像中的特征点。
12.根据权利要求10所述的装置，其特征在于，所述匹配单元，具体用于：
对于所述至少一张待拼接图像和所述基础拼接图像中每一张图像的每一特征点，计算其他图像的特征点的描述算子与该特征点的描述算子间的欧式距离；所述其他图像为所述至少一张待拼接图像和所述基础拼接图像中除该图像外的图像；将该特征点与欧式距离最小的描述算子对应的特征点构成匹配特征点对。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
建立单元，用于对于提取的每一特征点，利用该特征点邻域像素的梯度信息建立360度梯度直方图，获得该特征点在空间上的描述算子；
归一化单元，用于归一化该特征点的描述算子。
14.根据权利要求10所述的装置，其特征在于，所述第二计算单元，包括：
获取子单元，用于获取每一匹配特征点对中待拼接图像中特征点的深度信息；
第一建立子单元，用于对于每一待拼接图像和基础拼接图像，将深度信息间的差值在预定差值范围内且相邻的特征点建立在一个主网格内；
计算子单元，用于对于每一主网格，计算该主网格内所有特征点的深度信息的均值，将该均值作为该主网格内图像的深度信息。
15.根据权利要求10所述的装置，其特征在于，所述调整单元，包括：
确定子单元，用于针对每一主网格，根据公式
确定该主网格内图像的单应矩阵的单位增量△h；其中，K为图像采集装置的内参，R为图像采集装置的旋转矩阵；△t为图像采集装置间的相对平移向量，s为该主网格内图像的深度信息；
第一调整子单元，用于根据确定的每一主网格内图像的△h，调整该主网格对应的待拼接图像的单应矩阵，获得该主网格内图像的单应矩阵。
16.根据权利要求10所述的装置，其特征在于，所述拼接单元，包括：
第二建立子单元，用于对每一主网格进行子网格建立；
第二调整子单元，用于对于每一主网格的每一子网格，依据该子网格的中心至该主网格的边界的欧式距离调整该主网格内图像的单应矩阵，获得该子网格内图像的单应矩阵；
拼接子单元，用于根据每一子网格内图像的单应矩阵，拼接所述至少一张待拼接图像和所述基础拼接图像。
17.根据权利要求16所述的装置，其特征在于，所述第二调整子单元，具体用于：
根据公式
和
确定该子网格内图像的横向单应矩阵的增量△Hw和纵向单应矩阵的增量△Hh；其中，△hi为该子网格所在主网格内图像的单应矩阵的单位增量，△hi+1为该子网格所在主网格横向相邻的主网格内图像的单应矩阵的单位增量，△hi+2为该子网格所在主网格纵向相邻的主网格内图像的单应矩阵的单位增量，d1 w为该子网格的中心至该子网格所在主网格与所述横向相邻的主网格相接的横向边界的欧式距离，d2 w为该子网格的中心至该子网格所在主网格不与所述横向相邻的主网格相接的横向边界的欧式距离，d1 h为该子网格的中心至该子网格所在主网格与所述纵向相邻的主网格相接的纵向边界的欧式距离；d2 h为该子网格的中心至该子网格所在主网格不与所述纵向相邻的主网格相接的纵向边界的欧式距离；
根据公式
确定该子网格内图像的单应矩阵增量；其中，M表示该子网格所在主网格具有M排子网格，N表示该子网格所在主网格具有N列子网格；
根据该子网格内图像的单应矩阵的增量调整该主网格内图像的单应矩阵，获得该子网格内图像的单应矩阵。
18.根据权利要求16或17所述的装置，其特征在于，每一主网格中子网格的数量均相同，且一个主网格中子网格的大小均相同。
19.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放应用程序；
所述处理器，用于执行所述存储器上所存放的应用程序，实现权利要求1-9任一所述的方法步骤。
20.一种机器可读存储介质，其特征在于，所述机器可读存储介质内存储有应用程序，所述应用程序被处理器执行时实现权利要求1-9任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710939912.9A CN109598674B (zh) | 2017-09-30 | 2017-09-30 | 一种图像拼接方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710939912.9A CN109598674B (zh) | 2017-09-30 | 2017-09-30 | 一种图像拼接方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109598674A true CN109598674A (zh) | 2019-04-09 |
| CN109598674B CN109598674B (zh) | 2023-05-02 |
Family
ID=65956136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710939912.9A Active CN109598674B (zh) | 2017-09-30 | 2017-09-30 | 一种图像拼接方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109598674B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349174A (zh) * | 2019-06-28 | 2019-10-18 | 佛山科学技术学院 | 一种滑轨多参数测量方法以及测量装置 |
| CN111768339A (zh) * | 2020-06-29 | 2020-10-13 | 广西翼界科技有限公司 | 一种无人机航拍图像快速拼接方法 |
| CN111951598A (zh) * | 2019-05-17 | 2020-11-17 | 杭州海康威视数字技术股份有限公司 | 一种车辆跟踪监测方法、装置及系统 |
| CN114241029A (zh) * | 2021-12-20 | 2022-03-25 | 贝壳技术有限公司 | 图像三维重建方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102084650A (zh) * | 2009-05-12 | 2011-06-01 | 华为终端有限公司 | 远程呈现系统、方法及视频采集设备 |
| CN104392416A (zh) * | 2014-11-21 | 2015-03-04 | 中国电子科技集团公司第二十八研究所 | 一种运动场景的视频拼接方法 |
| CN106960442A (zh) * | 2017-03-01 | 2017-07-18 | 东华大学 | 基于单目红外的夜间机器人视觉大视场三维构建方法 |
| CN107067370A (zh) * | 2017-04-12 | 2017-08-18 | 长沙全度影像科技有限公司 | 一种基于网格变形的图像拼接方法 |
-
2017
- 2017-09-30 CN CN201710939912.9A patent/CN109598674B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102084650A (zh) * | 2009-05-12 | 2011-06-01 | 华为终端有限公司 | 远程呈现系统、方法及视频采集设备 |
| CN104392416A (zh) * | 2014-11-21 | 2015-03-04 | 中国电子科技集团公司第二十八研究所 | 一种运动场景的视频拼接方法 |
| CN106960442A (zh) * | 2017-03-01 | 2017-07-18 | 东华大学 | 基于单目红外的夜间机器人视觉大视场三维构建方法 |
| CN107067370A (zh) * | 2017-04-12 | 2017-08-18 | 长沙全度影像科技有限公司 | 一种基于网格变形的图像拼接方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951598A (zh) * | 2019-05-17 | 2020-11-17 | 杭州海康威视数字技术股份有限公司 | 一种车辆跟踪监测方法、装置及系统 |
| CN111951598B (zh) * | 2019-05-17 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 一种车辆跟踪监测方法、装置及系统 |
| CN110349174A (zh) * | 2019-06-28 | 2019-10-18 | 佛山科学技术学院 | 一种滑轨多参数测量方法以及测量装置 |
| CN111768339A (zh) * | 2020-06-29 | 2020-10-13 | 广西翼界科技有限公司 | 一种无人机航拍图像快速拼接方法 |
| CN114241029A (zh) * | 2021-12-20 | 2022-03-25 | 贝壳技术有限公司 | 图像三维重建方法及装置 |
| CN114241029B (zh) * | 2021-12-20 | 2023-04-07 | 贝壳技术有限公司 | 图像三维重建方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109598674B (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109598674A (zh) | 一种图像拼接方法及装置 | |
| WO2019200837A1 (zh) | 一种包裹体积的测量方法、系统、储存介质及移动终端 | |
| Chaudhuri et al. | Depth from defocus: a real aperture imaging approach | |
| Yu et al. | A fully affine invariant image comparison method | |
| WO2018068678A1 (zh) | 一种立体摄像机外部参数的确定方法及装置 | |
| Gonzalez-Aguilera et al. | An automatic approach for radial lens distortion correction from a single image | |
| CN109978760A (zh) | 一种图像拼接方法及装置 | |
| US10460471B2 (en) | Camera pose estimating method and system | |
| Mistry et al. | Image stitching using Harris feature detection | |
| KR20170119496A (ko) | 3차원 객체 검출 및 자세추정 방법 | |
| CN109117854B (zh) | 关键点匹配方法、装置、电子设备以及存储介质 | |
| CN109840884A (zh) | 一种图像拼接方法、装置及电子设备 | |
| CN110443212A (zh) | 用于目标检测的正样本获取方法、装置、设备及存储介质 | |
| CN107133986B (zh) | 一种基于二维标定物的相机标定方法 | |
| CN109698944A (zh) | 投影区域校正方法、投影设备及计算机可读存储介质 | |
| US20180114291A1 (en) | Image processing method and device as well as non-transitory computer-readable medium | |
| CN110458952A (zh) | 一种基于三目视觉的三维重建方法和装置 | |
| CN110288511A (zh) | 基于双相机图像的最小化误差拼接方法、装置、电子设备 | |
| CN109389018A (zh) | 一种人脸角度识别方法、装置及设备 | |
| Ly et al. | Extrinsic calibration of heterogeneous cameras by line images | |
| CN110097064B (zh) | 一种建图方法及装置 | |
| US20230379422A1 (en) | Method for vehicle hinge point calibration and corresponding calibration apparatus, computer device, and storage medium | |
| CN114689014B (zh) | 单目相机调焦测距装置、测距方法、存储介质及计算机 | |
| CN110930344B (zh) | 一种目标的质量确定方法、装置、系统及电子设备 | |
| CN109840515A (zh) | 面部姿态调整方法、装置和终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |