CN108648141B - 一种图像拼接方法及装置 - Google Patents

Abstract

本发明公开了一种图像拼接方法及装置，包括：根据镜头的俯仰角、侧滚角和航向角，确定镜头的姿态矩阵；根据镜头的焦距和中心像素点的坐标，确定镜头的内参矩阵；根据姿态矩阵和内参矩阵，将待拼接图像映射到球面展开图，得到特征点提取图像；基于特征点提取图像确定每对特征点；将每对特征点分别映射到对应的待拼接图像中；基于待拼接图像中的每对特征点，对姿态矩阵和内参矩阵进行优化，基于优化后的姿态矩阵和内参矩阵，拼接待拼接图像。由于根据姿态矩阵和内参矩阵将待拼接图像映射到球面展开图中，这样可以避免镜头俯仰角对图像拼接的影响，使提取的特征点对数量较多，且分布均匀，因此使图像拼接效果好。

Description

一种图像拼接方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像拼接方法及装置。

背景技术

在监控系统快速发展的今天，系统规模越来越大，监控点越来越多。随着监控范围的不断扩大，大多数图像采集设备的视场达不到用户的要求，因此图像拼接技术应运而生。

现有技术中的图像拼接方法包括：1、针对待拼接的两个图像，采用尺度不变特征变换(Scale-invariant feature transform，SIFT)、加速稳健特征(Speeded Up RobustFeatures，SURF)等特征点提取算法确定两个图像的每对特征点。2、基于每对特征点，使用随机抽样一致(Random Sample Consensus，RANSAC)算法确定两个图像的单应性矩阵。3、从单应性矩阵中求得每个图像的姿态矩阵和对应的内参矩阵。4、使用求得的姿态矩阵和内参矩阵作为初始值，使用光束法等算法对姿态矩阵和内参矩阵进行优化。5、将每个图像按照优化后的姿态矩阵和内参矩阵投影到球面、柱面等模型展开图。6、查找两个展开图中拼缝的位置，基于拼缝的位置完成拼接。

现有技术中的图像拼接方法存在的问题是，图像采集设备的镜头一般都会有俯仰角，两个有俯仰角的镜头采集的两个待拼接图像一般只有较小的区域中存在特征点对，这样在两个原图上提取的特征点对数量较少，而且分布不均匀。图1为现有技术中提取的特征点对，其中，图1中每对特征点用线连接，可以看出，图1中左右两个图像的特征点对数量少，而且仅分布在左侧图像的右下角和右侧图像的左下角。提取的特征点对数量较少，而且分布不均匀，这就会使得优化后的姿态矩阵和内参矩阵不准确，进而导致拼接效果差，甚至无法进行图像拼接。

发明内容

本发明实施例提供了一种图像拼接方法及装置，用以解决由于镜头俯仰角导致的图像拼接效果差的问题。

本发明实施例提供了一种图像拼接方法，所述方法包括：

针对获取待拼接图像的两个镜头，根据预先保存的该镜头的俯仰角、侧滚角和航向角，确定该镜头的姿态矩阵；根据该镜头的焦距和所述待拼接图像的中心像素点在图像坐标系中的坐标，确定该镜头的内参矩阵；根据该镜头的姿态矩阵和内参矩阵，将该镜头获取的待拼接图像映射到球面展开图，得到特征点提取图像；其中，所述两个镜头包含于同一个全景图像采集设备中；

针对每个特征点提取图像，确定每对特征点；将所述每对特征点分别映射到对应的待拼接图像中；

基于待拼接图像中的每对特征点，采用光束法对所述姿态矩阵和内参矩阵进行优化，基于优化后的姿态矩阵和内参矩阵，拼接所述待拼接图像。

进一步地，镜头的焦距包括：

镜头的水平方向焦距和垂直方向焦距；

所述内参矩阵包括：

式中，u₀为待拼接图像的中心像素点在图像坐标系中的水平方向坐标，v₀为待拼接图像的中心像素点在图像坐标系中的垂直方向坐标，f_u为水平方向焦距，f_v为垂直方向焦距。

进一步地，预先保存该镜头的俯仰角、侧滚角和航向角的过程包括：

基于该镜头所属的全景图像采集设备构建三维坐标系，根据该镜头的光轴分别与所述三维坐标系的三个坐标轴的夹角，确定该镜头的俯仰角、侧滚角和航向角并保存。

进一步地，所述根据预先保存的该镜头的俯仰角、侧滚角和航向角，确定该镜头的姿态矩阵包括：

基于该镜头的俯仰角确定第一候选姿态矩阵；基于该镜头的侧滚角确定第二候选姿态矩阵；基于该镜头的航向角确定第三候选姿态矩阵；

将所述第一候选姿态矩阵、第二候选姿态矩阵和第三候选姿态矩阵的乘积作为该镜头的姿态矩阵。

进一步地，根据该镜头的姿态矩阵和内参矩阵，将该镜头获取的待拼接图像映射到球面展开图包括：

根据球面展开图中每个第一像素点的第一坐标信息、该镜头的焦距、和该镜头获取的待拼接图像的中心像素点在图像坐标系中的坐标，确定所述每个第一像素点在世界坐标系下的第二坐标信息；根据所述每个第一像素点的第二坐标信息，和该镜头的姿态矩阵和内参矩阵，确定所述每个第一像素点对应的在该镜头获取的待拼接图像中每个第二像素点的第三坐标信息；

根据所述第一坐标信息和第三坐标信息的对应关系，将该镜头获取的待拼接图像映射到球面展开图。

另一方面，本发明实施例提供了一种图像拼接装置，所述装置包括：

确定模块，用于针对获取待拼接图像的两个镜头，根据预先保存的该镜头的俯仰角、侧滚角和航向角，确定该镜头的姿态矩阵；根据该镜头的焦距和所述待拼接图像的中心像素点在图像坐标系中的坐标，确定该镜头的内参矩阵；根据该镜头的姿态矩阵和内参矩阵，将该镜头获取的待拼接图像映射到球面展开图，得到特征点提取图像；其中，所述两个镜头包含于同一个全景图像采集设备中；

映射模块，用于针对每个特征点提取图像，确定每对特征点；将所述每对特征点分别映射到对应的待拼接图像中；

拼接模块，用于基于待拼接图像中的每对特征点，采用光束法对所述姿态矩阵和内参矩阵进行优化，基于优化后的姿态矩阵和内参矩阵，拼接所述待拼接图像。

进一步地，镜头的焦距包括：

镜头的水平方向焦距和垂直方向焦距；

所述内参矩阵包括：

式中，u₀为待拼接图像的中心像素点在图像坐标系中的水平方向坐标，v₀为待拼接图像的中心像素点在图像坐标系中的垂直方向坐标，f_u为水平方向焦距，f_v为垂直方向焦距。

进一步地，所述装置还包括：

保存模块，用于基于该镜头所属的全景图像采集设备构建三维坐标系，根据该镜头的光轴分别与所述三维坐标系的三个坐标轴的夹角，确定该镜头的俯仰角、侧滚角和航向角并保存。

进一步地，所述确定模块，具体用于基于该镜头的俯仰角确定第一候选姿态矩阵；基于该镜头的侧滚角确定第二候选姿态矩阵；基于该镜头的航向角确定第三候选姿态矩阵；将所述第一候选姿态矩阵、第二候选姿态矩阵和第三候选姿态矩阵的乘积作为该镜头的姿态矩阵。

进一步地，所述确定模块，具体用于根据球面展开图中每个第一像素点的第一坐标信息、该镜头的焦距、和该镜头获取的待拼接图像的中心像素点在图像坐标系中的坐标，确定所述每个第一像素点在世界坐标系下的第二坐标信息；根据所述每个第一像素点的第二坐标信息，和该镜头的姿态矩阵和内参矩阵，确定所述每个第一像素点对应的在该镜头获取的待拼接图像中每个第二像素点的第三坐标信息；根据所述第一坐标信息和第三坐标信息的对应关系，将该镜头获取的待拼接图像映射到球面展开图。

本发明实施例提供了一种图像拼接方法及装置，所述方法包括：针对获取待拼接图像的两个镜头，根据预先保存的该镜头的俯仰角、侧滚角和航向角，确定该镜头的姿态矩阵；根据该镜头的焦距和所述待拼接图像的中心像素点在图像坐标系中的坐标，确定该镜头的内参矩阵；根据该镜头的姿态矩阵和内参矩阵，将该镜头获取的待拼接图像映射到球面展开图，得到特征点提取图像；其中，所述两个镜头包含于同一个全景图像采集设备中；针对每个特征点提取图像，确定每对特征点；将所述每对特征点分别映射到对应的待拼接图像中；基于待拼接图像中的每对特征点，采用光束法对所述姿态矩阵和内参矩阵进行优化，基于优化后的姿态矩阵和内参矩阵，拼接所述待拼接图像。

由于在本发明实施例中，根据镜头的俯仰角、侧滚角和航向角，确定该镜头的姿态矩阵，根据镜头的焦距和待拼接图像的中心像素点在图像坐标系中的坐标，确定该镜头的内参矩阵，然后根据姿态矩阵和内参矩阵将获取的待拼接图像映射到球面展开图中，得到特征点提取图像，这样可以避免镜头俯仰角对图像拼接的影响，进而在特征点提取图像中提取每对特征点，使得提取的特征点对数量较多，且分布均匀，进而将每对特征点映射到待拼接图像，基于待拼接图像中的每对特征点，优化姿态矩阵和内参矩阵，使得优化后的姿态矩阵和内参矩阵准确，进而使图像拼接效果好。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中提取的特征点对示意图；

图2为本发明实施例1提供的图像拼接过程示意图；

图3为本发明实施例3提供的基于全景图像采集设备构建三维坐标系的示意图；

图4为本发明实施例5提供的提取球面展开图中每对特征点的示意图；

图5为本发明实施例提供的图像拼接装置结构示意图。

具体实施方式

下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

图2为本发明实施例提供的一种图像拼接过程示意图，该过程包括以下步骤：

S201：针对获取待拼接图像的两个镜头，根据预先保存的该镜头的俯仰角、侧滚角和航向角，确定该镜头的姿态矩阵；根据该镜头的焦距和所述待拼接图像的中心像素点在图像坐标系中的坐标，确定该镜头的内参矩阵；根据该镜头的姿态矩阵和内参矩阵，将该镜头获取的待拼接图像映射到球面展开图，得到特征点提取图像；其中，所述两个镜头包含于同一个全景图像采集设备中。

本发明实施例提供的图像拼接方法应用于电子设备，该电子设备可以是PC、平板电脑等设备，也可以是全景图像采集设备。

待拼接的两个图像分别由两个镜头获取，该两个镜头包含于同一个全景图像采集设备中。电子设备针对获取待拼接图像的两个镜头，分别保存有每个镜头的俯仰角、侧滚角和航向角。其中，电子设备中可以预设一个任意的三维坐标系，该三维坐标系的横轴、纵轴和竖轴两两垂直，基于该三维坐标系，可以确定出该两个镜头的光轴分别与该三维坐标系三个坐标轴的夹角，根据该两个镜头的光轴分别与该三维坐标系三个坐标轴的夹角可以分别确定出该两个镜头的俯仰角、侧滚角和航向角。例如可以将该两个镜头的光轴分别与该三维坐标系的纵轴的夹角作为俯仰角，将该两个镜头的光轴分别与该三维坐标系的横轴的夹角作为侧滚角，将该两个镜头的光轴分别与该三维坐标系的竖轴的夹角作为航向角。电子设备针对两个镜头，根据预先保存的该镜头的俯仰角、侧滚角和航向角，可以确定该镜头的姿态矩阵，姿态矩阵可以是三维矩阵。其中根据镜头的俯仰角、侧滚角和航向角，确定镜头的姿态矩阵的过程属于现有技术，在此不再对该过程进行赘述。

电子设备针对两个镜头，根据该镜头的焦距和待拼接图像的中心像素点在图像坐标系中的坐标，可以确定该镜头的内参矩阵，内参矩阵可以是三维矩阵。电子设备根据该镜头的姿态矩阵和内参矩阵，可以将该镜头获取的待拼接图像映射到球面展开图。具体的，首先根据该镜头的姿态矩阵和内参矩阵，确定出该镜头获取的待拼接图像和球面展开图的坐标对应关系，进而根据坐标对应关系，将待拼接图像映射到球面展开图，得到特征点提取图像。

其中，确定该镜头的内参矩阵，以及将该镜头获取的待拼接图像映射到球面展开图的过程属于现有技术，在此不再对上述过程进行赘述。

S202：针对每个特征点提取图像，确定每对特征点；将所述每对特征点分别映射到对应的待拼接图像中。

电子设备获得两个特征点提取图像之后，可以基于尺度不变特征变换(Scale-invariant feature transform，SIFT)、加速稳健特征(Speeded Up Robust Features，SURF)等特征点提取算法确定两个特征点提取图像的每对特征点，然后根据待拼接图像和球面展开图的坐标对应关系，可以将在两个特征点提取图像中提取的每对特征点分别映射到对应的待拼接图像中。

S203：基于待拼接图像中的每对特征点，采用光束法对所述姿态矩阵和内参矩阵进行优化，基于优化后的姿态矩阵和内参矩阵，拼接所述待拼接图像。

电子设备在确定待拼接图像中的每对特征点之后，基于待拼接图像中的每对特征点，采用光束法对姿态矩阵和内参矩阵进行优化。然后针对获取待拼接图像的两个镜头，将该镜头获取的待拼接图像按照该镜头优化后的姿态矩阵和内参矩阵投影到球面或柱面等模型展开图中，在展开图中计算拼接缝的位置并完成拼接。

其中，基于待拼接图像中的每对特征点，采用光束法对姿态矩阵和内参矩阵进行优化，以及基于优化后的姿态矩阵和内参矩阵，拼接待拼接图像的过程属于现有技术，在此不再对该过程进行赘述。

由于在本发明实施例中，根据镜头的俯仰角、侧滚角和航向角，确定该镜头的姿态矩阵，根据镜头的焦距和待拼接图像的中心像素点在图像坐标系中的坐标，确定该镜头的内参矩阵，然后根据姿态矩阵和内参矩阵将获取的待拼接图像映射到球面展开图中，得到特征点提取图像，这样可以避免镜头俯仰角对图像拼接的影响，进而在特征点提取图像中提取每对特征点，使得提取的特征点对数量较多，且分布均匀，进而将每对特征点映射到待拼接图像，基于待拼接图像中的每对特征点，优化姿态矩阵和内参矩阵，使得优化后的姿态矩阵和内参矩阵准确，进而使图像拼接效果好。

实施例2：

在上述实施例的基础上，在本发明实施例中，镜头的焦距包括：

镜头的水平方向焦距和垂直方向焦距；

所述内参矩阵包括：

式中，u₀为待拼接图像的中心像素点在图像坐标系中的水平方向坐标，v₀为待拼接图像的中心像素点在图像坐标系中的垂直方向坐标，f_u为水平方向焦距，f_v为垂直方向焦距。

待拼接图像的中心像素点在图像坐标系中的坐标包括水平方向坐标u₀和垂直方向坐标v₀，镜头的焦距包括水平方向焦距f_u和垂直方向焦距f_v。其中，镜头的水平方向焦距和垂直方向焦距可以相同也可以不同。基于中心像素点的水平方向坐标和垂直方向坐标，以及镜头的水平方向焦距和垂直方向焦距，确定的内参矩阵为

若镜头的水平方向焦距和垂直方向焦距相同，也就是镜头的焦距f_＝f_u＝f_v，则内参矩阵为

实施例3：

为了使确定镜头的俯仰角、侧滚角和航向角更准确，在上述各实施例的基础上，在本发明实施例中，预先保存该镜头的俯仰角、侧滚角和航向角的过程包括：

基于该镜头所属的全景图像采集设备构建三维坐标系，根据该镜头的光轴分别与所述三维坐标系的三个坐标轴的夹角，确定该镜头的俯仰角、侧滚角和航向角并保存。

两个镜头包含于同一个全景图像采集设备中，电子设备可以基于该全景图像采集设备构建三维坐标系，为了便于理解，在本发明实施例中将全景图像采集设备比作一个飞机模型进行确定镜头的俯仰角、侧滚角和航向角的说明。

图3为基于该镜头所属的全景图像采集设备构建三维坐标系的示意图，图3中将全景图像采集设备比作飞机模型，全景图像采集设备的正前方为飞机模型的飞机头的正前方。在本发明实施例中，可以将飞机的机翼作为横轴，将飞机的机身作为纵轴，将与机翼和机身分别垂直的轴作为竖轴。图3中由左到右的三个示意图分别示出了横轴、纵轴和竖轴。

以本发明实施例构建的三维坐标系为基准，将镜头的光轴与该三维坐标系的纵轴的夹角作为该镜头的俯仰角，将镜头的光轴与该三维坐标系的横轴的夹角作为该镜头的侧滚角，将镜头的光轴与该三维坐标系的竖轴的夹角作为该镜头的航向角。

本发明实施例提供的构建的三维坐标系仅是能够实施的其中一种，本申请并不对构建三维坐标系进行限定，只要基于构建的三维坐标系能够确定镜头的俯仰角、侧滚角和航向角即可。

由于在本发明实施例中，基于该镜头所属的全景图像采集设备构建三维坐标系，根据该镜头的光轴分别与所述三维坐标系的三个坐标轴的夹角，确定该镜头的俯仰角、侧滚角和航向角。可以使得确定镜头的俯仰角、侧滚角和航向角更准确。

实施例4：

为了使确定镜头的姿态矩阵更准确，在上述各实施例的基础上，在本发明实施例中，所述根据预先保存的该镜头的俯仰角、侧滚角和航向角，确定该镜头的姿态矩阵包括：

基于该镜头的俯仰角确定第一候选姿态矩阵；基于该镜头的侧滚角确定第二候选姿态矩阵；基于该镜头的航向角确定第三候选姿态矩阵；

将所述第一候选姿态矩阵、第二候选姿态矩阵和第三候选姿态矩阵的乘积作为该镜头的姿态矩阵。

电子设备确定该镜头的俯仰角为α，侧滚角为β，航向角为θ，单独调整俯仰角α，得到第一候选姿态矩阵R_pitch，第一候选姿态矩阵R_pitch具体为：

单独调整侧滚角β，得到第二候选姿态矩阵R_roll，第二候选姿态矩阵R_roll具体为：

单独调整航向角θ，得到第三候选姿态矩阵R_yaw，第三候选姿态矩阵R_yaw具体为：

将确定的第一候选姿态矩阵R_pitch、第二候选姿态矩阵R_roll和第三候选姿态矩阵R_yaw的乘积作为该镜头的姿态矩阵R，即R＝R_pitch×R_roll×R_yaw。

由于在本发明实施例中，首先基于该镜头的俯仰角确定第一候选姿态矩阵，基于该镜头的侧滚角确定第二候选姿态矩阵，基于该镜头的航向角确定第三候选姿态矩阵，然后将第一候选姿态矩阵、第二候选姿态矩阵和第三候选姿态矩阵的乘积作为该镜头的姿态矩阵。使得确定的该镜头的姿态矩阵更准确。

实施例5：

为了将该镜头获取的待拼接图像准确地映射到球面展开图，在上述各实施例的基础上，在本发明实施例中，根据该镜头的姿态矩阵和内参矩阵，将该镜头获取的待拼接图像映射到球面展开图包括：

根据球面展开图中每个第一像素点的第一坐标信息、该镜头的焦距、和该镜头获取的待拼接图像的中心像素点在图像坐标系中的坐标，确定所述每个第一像素点在世界坐标系下的第二坐标信息；根据所述每个第一像素点的第二坐标信息，和该镜头的姿态矩阵和内参矩阵，确定所述每个第一像素点对应的在该镜头获取的待拼接图像中每个第二像素点的第三坐标信息；

根据所述第一坐标信息和第三坐标信息的对应关系，将该镜头获取的待拼接图像映射到球面展开图。

为了使待拼接图像能够映射到整个球面展开图上，可以基于球面展开图上每个像素点的坐标信息，确定对应在待拼接图像中的每个像素点的坐标信息。

首先，根据球面展开图中每个第一像素点的第一坐标信息、该镜头的焦距、和该镜头获取的待拼接图像的中心像素点在图像坐标系中的坐标，确定每个第一像素点在世界坐标系下的第二坐标信息。

具体的，例如球面展开图中第一像素点的第一坐标信息为Ps(u，v)，该第一像素点在世界坐标系下的第二坐标信息为Pw(Xw，Yw，Zw)。第一像素点的第一坐标信息和第二坐标信息的对应关系如下：

式中，f_u为水平方向焦距，f_v为垂直方向焦距。

然后，根据每个第一像素点的第二坐标信息，和该镜头的姿态矩阵和内参矩阵，确定每个第一像素点对应的在该镜头获取的待拼接图像中每个第二像素点的第三坐标信息。

具体的，第一像素点的第二坐标信息为Pw(Xw，Yw，Zw)，第一像素点对应的在该镜头获取的待拼接图像中每个第二像素点的第三坐标信息为Pp(Xp/Zp，Yp/Zp，1)。第一像素点的第二坐标信息和第二像素点的第三坐标信息的对应关系如下：

式中，K为该镜头的内参矩阵，R为该镜头的姿态矩阵，R^-1为姿态矩阵的逆矩阵。

根据上述对应关系，可以确定第一像素点的第二坐标信息对应的第二像素点的第三坐标信息。进而根据第一坐标信息和第三坐标信息的对应关系，将该镜头获取的待拼接图像映射到球面展开图。

由于在本发明实施例中，首先确定球面展开图中每个第一像素点的第一坐标信息在世界坐标系下的第二坐标信息，然后根据每个第一像素点的第二坐标信息，确定每个第一像素点对应的在该镜头获取的待拼接图像中每个第二像素点的第三坐标信息，再根据第一坐标信息和第三坐标信息的对应关系，将该镜头获取的待拼接图像映射到球面展开图。从而能够将该镜头获取的待拼接图像准确地映射到球面展开图。

图4为本发明实施例提供的提取球面展开图中每对特征点的示意图，其中，每对特征点用线连接。可以看出，特征点对的数量明显增多，且分布均匀。

图5为本发明实施例提供的图像拼接装置结构示意图，该装置包括：

确定模块51，用于针对获取待拼接图像的两个镜头，根据预先保存的该镜头的俯仰角、侧滚角和航向角，确定该镜头的姿态矩阵；根据该镜头的焦距和所述待拼接图像的中心像素点在图像坐标系中的坐标，确定该镜头的内参矩阵；根据该镜头的姿态矩阵和内参矩阵，将该镜头获取的待拼接图像映射到球面展开图，得到特征点提取图像；其中，所述两个镜头包含于同一个全景图像采集设备中；

映射模块52，用于针对每个特征点提取图像，确定每对特征点；将所述每对特征点分别映射到对应的待拼接图像中；

拼接模块53，用于基于待拼接图像中的每对特征点，采用光束法对所述姿态矩阵和内参矩阵进行优化，基于优化后的姿态矩阵和内参矩阵，拼接所述待拼接图像。

镜头的焦距包括：

镜头的水平方向焦距和垂直方向焦距；

所述内参矩阵包括：

式中，u₀为待拼接图像的中心像素点在图像坐标系中的水平方向坐标，v₀为待拼接图像的中心像素点在图像坐标系中的垂直方向坐标，f_u为水平方向焦距，f_v为垂直方向焦距。

所述装置还包括：

保存模块54，用于基于该镜头所属的全景图像采集设备构建三维坐标系，根据该镜头的光轴分别与所述三维坐标系的三个坐标轴的夹角，确定该镜头的俯仰角、侧滚角和航向角并保存。

所述确定模块51，具体用于基于该镜头的俯仰角确定第一候选姿态矩阵；基于该镜头的侧滚角确定第二候选姿态矩阵；基于该镜头的航向角确定第三候选姿态矩阵；将所述第一候选姿态矩阵、第二候选姿态矩阵和第三候选姿态矩阵的乘积作为该镜头的姿态矩阵。

所述确定模块51，具体用于根据球面展开图中每个第一像素点的第一坐标信息、该镜头的焦距、和该镜头获取的待拼接图像的中心像素点在图像坐标系中的坐标，确定所述每个第一像素点在世界坐标系下的第二坐标信息；根据所述每个第一像素点的第二坐标信息，和该镜头的姿态矩阵和内参矩阵，确定所述每个第一像素点对应的在该镜头获取的待拼接图像中每个第二像素点的第三坐标信息；根据所述第一坐标信息和第三坐标信息的对应关系，将该镜头获取的待拼接图像映射到球面展开图。

本发明实施例提供了一种图像拼接方法及装置，所述方法包括：针对获取待拼接图像的两个镜头，根据预先保存的该镜头的俯仰角、侧滚角和航向角，确定该镜头的姿态矩阵；根据该镜头的焦距和所述待拼接图像的中心像素点在图像坐标系中的坐标，确定该镜头的内参矩阵；根据该镜头的姿态矩阵和内参矩阵，将该镜头获取的待拼接图像映射到球面展开图，得到特征点提取图像；其中，所述两个镜头包含于同一个全景图像采集设备中；针对每个特征点提取图像，确定每对特征点；将所述每对特征点分别映射到对应的待拼接图像中；基于待拼接图像中的每对特征点，采用光束法对所述姿态矩阵和内参矩阵进行优化，基于优化后的姿态矩阵和内参矩阵，拼接所述待拼接图像。

由于在本发明实施例中，根据镜头的俯仰角、侧滚角和航向角，确定该镜头的姿态矩阵，根据镜头的焦距和待拼接图像的中心像素点在图像坐标系中的坐标，确定该镜头的内参矩阵，然后根据姿态矩阵和内参矩阵将获取的待拼接图像映射到球面展开图中，得到特征点提取图像，这样可以避免镜头俯仰角对图像拼接的影响，进而在特征点提取图像中提取每对特征点，使得提取的特征点对数量较多，且分布均匀，进而将每对特征点映射到待拼接图像，基于待拼接图像中的每对特征点，优化姿态矩阵和内参矩阵，使得优化后的姿态矩阵和内参矩阵准确，进而使图像拼接效果好。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种图像拼接方法，其特征在于，所述方法包括：

针对获取待拼接图像的两个镜头，根据预先保存的该镜头的俯仰角、侧滚角和航向角，确定该镜头的姿态矩阵；根据该镜头的焦距和所述待拼接图像的中心像素点在图像坐标系中的坐标，确定该镜头的内参矩阵；根据该镜头的姿态矩阵和内参矩阵，将该镜头获取的待拼接图像映射到球面展开图，得到特征点提取图像；其中，所述两个镜头包含于同一个全景图像采集设备中；

针对每个特征点提取图像，确定每对特征点；将所述每对特征点分别映射到对应的待拼接图像中；

基于待拼接图像中的每对特征点，采用光束法对所述姿态矩阵和内参矩阵进行优化，基于优化后的姿态矩阵和内参矩阵，拼接所述待拼接图像；

针对获取待拼接图像的两个镜头，将该镜头获取的待拼接图像按照该镜头优化后的姿态矩阵和内参矩阵投影到球面或柱面等模型展开图中，在展开图中计算拼接缝的位置并完成拼接；

根据该镜头的姿态矩阵和内参矩阵，将该镜头获取的待拼接图像映射到球面展开图包括：

根据球面展开图中每个第一像素点的第一坐标信息、该镜头的焦距、和该镜头获取的待拼接图像的中心像素点在图像坐标系中的坐标，确定所述每个第一像素点在世界坐标系下的第二坐标信息；根据所述每个第一像素点的第二坐标信息，和该镜头的姿态矩阵和内参矩阵，确定所述每个第一像素点对应的在该镜头获取的待拼接图像中每个第二像素点的第三坐标信息；

根据所述第一坐标信息和第三坐标信息的对应关系，将该镜头获取的待拼接图像映射到球面展开图。

2.如权利要求1所述的方法，其特征在于，镜头的焦距包括：

镜头的水平方向焦距和垂直方向焦距；

所述内参矩阵包括：

式中，u₀为待拼接图像的中心像素点在图像坐标系中的水平方向坐标，v₀为待拼接图像的中心像素点在图像坐标系中的垂直方向坐标，f_u为水平方向焦距，f_v为垂直方向焦距。

3.如权利要求1所述的方法，其特征在于，预先保存该镜头的俯仰角、侧滚角和航向角的过程包括：

基于该镜头所属的全景图像采集设备构建三维坐标系，根据该镜头的光轴分别与所述三维坐标系的三个坐标轴的夹角，确定该镜头的俯仰角、侧滚角和航向角并保存。

4.如权利要求1所述的方法，其特征在于，所述根据预先保存的该镜头的俯仰角、侧滚角和航向角，确定该镜头的姿态矩阵包括：

基于该镜头的俯仰角确定第一候选姿态矩阵；基于该镜头的侧滚角确定第二候选姿态矩阵；基于该镜头的航向角确定第三候选姿态矩阵；

将所述第一候选姿态矩阵、第二候选姿态矩阵和第三候选姿态矩阵的乘积作为该镜头的姿态矩阵。

5.一种图像拼接装置，其特征在于，所述装置包括：

确定模块，用于针对获取待拼接图像的两个镜头，根据预先保存的该镜头的俯仰角、侧滚角和航向角，确定该镜头的姿态矩阵；根据该镜头的焦距和所述待拼接图像的中心像素点在图像坐标系中的坐标，确定该镜头的内参矩阵；根据该镜头的姿态矩阵和内参矩阵，将该镜头获取的待拼接图像映射到球面展开图，得到特征点提取图像；其中，所述两个镜头包含于同一个全景图像采集设备中；

映射模块，用于针对每个特征点提取图像，确定每对特征点；将所述每对特征点分别映射到对应的待拼接图像中；

拼接模块，用于基于待拼接图像中的每对特征点，采用光束法对所述姿态矩阵和内参矩阵进行优化，基于优化后的姿态矩阵和内参矩阵，拼接所述待拼接图像；

针对获取待拼接图像的两个镜头，将该镜头获取的待拼接图像按照该镜头优化后的姿态矩阵和内参矩阵投影到球面或柱面等模型展开图中，在展开图中计算拼接缝的位置并完成拼接；

所述确定模块，具体用于根据球面展开图中每个第一像素点的第一坐标信息、该镜头的焦距、和该镜头获取的待拼接图像的中心像素点在图像坐标系中的坐标，确定所述每个第一像素点在世界坐标系下的第二坐标信息；根据所述每个第一像素点的第二坐标信息，和该镜头的姿态矩阵和内参矩阵，确定所述每个第一像素点对应的在该镜头获取的待拼接图像中每个第二像素点的第三坐标信息；根据所述第一坐标信息和第三坐标信息的对应关系，将该镜头获取的待拼接图像映射到球面展开图。

6.如权利要求5所述的装置，其特征在于，镜头的焦距包括：

镜头的水平方向焦距和垂直方向焦距；

所述内参矩阵包括：

式中，u₀为待拼接图像的中心像素点在图像坐标系中的水平方向坐标，v₀为待拼接图像的中心像素点在图像坐标系中的垂直方向坐标，f_u为水平方向焦距，f_v为垂直方向焦距。

7.如权利要求5所述的装置，其特征在于，所述装置还包括：

保存模块，用于基于该镜头所属的全景图像采集设备构建三维坐标系，根据该镜头的光轴分别与所述三维坐标系的三个坐标轴的夹角，确定该镜头的俯仰角、侧滚角和航向角并保存。

8.如权利要求5所述的装置，其特征在于，所述确定模块，具体用于基于该镜头的俯仰角确定第一候选姿态矩阵；基于该镜头的侧滚角确定第二候选姿态矩阵；基于该镜头的航向角确定第三候选姿态矩阵；将所述第一候选姿态矩阵、第二候选姿态矩阵和第三候选姿态矩阵的乘积作为该镜头的姿态矩阵。

Images