CN108205799B

CN108205799B - 一种图像拼接方法及装置

Info

Publication number: CN108205799B
Application number: CN201611170514.7A
Authority: CN
Inventors: 王泽文; 邹纯稳; 沈林杰; 俞海
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2016-12-16
Filing date: 2016-12-16
Publication date: 2021-03-26
Anticipated expiration: 2036-12-16
Also published as: CN108205799A

Abstract

本发明实施例提供了一种图像拼接方法及装置，可确定待拼接的第一图像和第二图像的重叠区域，并确定所述重叠区域内的若干像素点对；从中任选一对作为第一像素点对，投影在曲面半径为第一预设值的几何曲面上，获得第一像素点对之间的弧线距离L；将剩余像素点对，分别按照各自对应的目标实景的深度值、第一深度值和第一预设值，计算得到其对应的曲面半径；确定每一像素点在展开图像上的坐标；将重叠区域内第一图像中或第二图像中的像素点在展开图像上的坐标平移L，使每一像素点对对应的两个坐标重合；将若干像素点对坐标重合的展开图像确定为拼接后的图像。能够使重叠区域内像素点对对应的坐标在展开图像中完全重合，实现了待拼接图像的准确拼接。

Description

一种图像拼接方法及装置

技术领域

本发明涉及图像拼接技术领域，特别是涉及一种图像拼接方法及装置。

背景技术

由于拍摄技术的局限性，一般很难利用一个镜头拍摄的一张图像反映一个大的场景的全部信息，因此看的更多、看的更宽的图像拼接技术应运而生。图像拼接一般是指，将至少两张具有重叠区域的像素点的图像拼成一幅大型的无缝图像的技术。图像拼接技术被广泛应用于安防和虚拟现实等领域。

图像拼接过程主要包括以下几部分：拼接装置结构设计、几何投影、图像配准、图像融合和拼接，在现有技术中，主要通过对图像配准算法的改进保证拼接效果。

目前，主流的图像配准算法是特征配准算法。特征配准的大致过程为：(1)特征检测，常用的特征包括：尺度不变特征变换特征(Scale-invariant feature transform，SIFT)、快速鲁棒局部特征(Speeded-Up Robust Feature，SURF)、基于方向梯度直方图特征(Histograms of Oriented Gradient，HOG)等，特征检测算法利用不同特征对目标的描述，得到两幅待配准图像的特征描述子；(2)特征匹配，按照一定的规则建立两幅待配准图像的特征描述子间的匹配关系，得到特征匹配对；(3)配准，利用特征匹配对计算仿射变换或投影变换矩阵，并对其中一幅待配准图像与该变换矩阵进行运算，将两幅待配准图像转换到同一图像坐标系中，从而实现配准。图像配准算法的改进主要是通过开发良好的特征检测算法检测特征、建立稳定和精确的特征匹配对、寻找最佳特征匹配对计算仿射变换或投影变换矩阵，提高特征配准的精度和效率，进而取得较优的拼接效果。

然而，在配准时无论是采用仿射变换还是采用投影变换矩阵，图像配准算法描述的都是同一景深目标像素之间的变换关系，这表明，图像配准仅适用于目标像素景深相同或差别较小的图像拼接中，对于目标像素景深不同的图像，则无法准确拼接。

发明内容

本发明实施例的目的在于提供一种图像拼接方法及装置，以保证目标像素景深不同的图像的准确拼接。具体技术方案如下：

为实现上述目的，本发明实施例提供了一种图像拼接方法，所述方法包括：

确定待拼接的第一图像和第二图像的重叠区域，并确定所述重叠区域内由一所述第一图像中的像素点和一所述第二图像中的像素点组成的若干像素点对；

确定每一像素点对对应的目标实景的深度值；

从所述若干像素点对中任选一对作为第一像素点对，投影在曲面半径为第一预设值的几何曲面上，获得所述第一像素点对之间的弧线距离L；

将除所述第一像素点对以外的剩余像素点对，分别按照各自对应的目标实景的深度值、第一深度值和所述第一预设值，计算得到每一剩余像素点对对应的投影几何曲面的曲面半径；其中，所述第一深度值为所述第一像素点对对应的目标实景的深度值；

根据每一像素点在所述第一图像或所述第二图像中的坐标、以及每一像素点对对应的曲面半径，确定每一像素点在展开图像中的坐标；

将所述重叠区域内所述第一图像中或所述第二图像中的像素点在所述展开图像中的坐标，均平移所述弧线距离L，使每一所述像素点对对应的两个坐标重合；

将所述若干像素点对坐标重合的展开图像确定为拼接后的图像。

可选地，所述确定所述重叠区域内由一所述第一图像中的像素点和一所述第二图像中的像素点组成的若干像素点对的步骤，包括：

将所述重叠区域内所述第一图像中的像素点标记为基准像素点；根据每一基准像素点与所述重叠区域内所述第二图像中的像素点的一一对应关系，在所述重叠区域内所述第二图像中确定与每一基准像素点对应的可动像素点，获得由一基准像素点和一可动像素点组成的若干像素点对；所述每一像素点对中的两个像素点对应的目标实景相同。

可选地，所述根据每一像素点在所述第一图像或所述第二图像中的坐标、以及每一像素点对对应的曲面半径，确定所述重叠区域内每一像素点在展开图像上的坐标的步骤，包括：

根据每一基准像素点在所述第一图像中的坐标和该基准像素点对应的曲面半径，确定每一基准像素点在展开图像中的坐标；

根据每一可动像素点在所述第二图像中的坐标和该可动像素点对应的曲面半径，确定每一可动像素点在所述展开图像中的坐标。

可选地，所述将除所述第一像素点对以外的剩余像素点对，分别按照各自对应的目标实景的深度值、第一深度值和所述第一预设值，计算得到每一剩余像素点对对应的投影几何曲面的曲面半径的步骤，包括：

将除所述第一像素点对以外的剩余像素点对，分别按照各自对应的目标实景的深度值、第一深度值、所述第一预设值和第一预设模型，计算得到每一剩余像素点对对应的投影几何曲面的曲面半径；

其中，所述第一预设模型为：

其中，f_i为剩余像素点对对应的投影几何曲面的曲面半径，f₀为所述第一预设值，Z₀为所述第一像素点对对应的目标实景的深度值，Z_i为剩余像素点对对应的目标实景的深度值。

可选地，拍摄所述第一图像的镜头和拍摄所述第二图像的镜头的焦距均为第一焦距。

可选地，所述第一预设值为所述第一焦距。

可选地，所述确定每一像素点对对应的目标实景的深度值的步骤，包括：

根据每一像素点对的视差和第二预设模型，确定每一像素点对的深度值；其中，所述第二预设模型为：

其中，Z为像素点对的深度值，f₀为所述第一焦距，T_x为基线距离，d为像素点对的视差。

可选地，所述方法还包括：

确定所述第一图像和所述第二图像的非重叠区域；所述非重叠区域是所述第一图像和所述第二图像中除所述重叠区域以外的区域；

将所述非重叠区域内的像素点对应的曲面半径均确定为第二预设值；

所述根据每一像素点在所述第一图像或所述第二图像中的坐标、以及每一像素点对对应的曲面半径，确定每一像素点在展开图像中的坐标的步骤，包括：

根据所述非重叠区域内的像素点在所述第一图像或所述第二图像中的坐标，以及所述第二预设值，确定所述非重叠区域内每一像素点在所述展开图像中的坐标。

可选地，拍摄所述第一图像的镜头和拍摄所述第二图像的镜头的焦距均为第一焦距；所述第二预设值为所述第一焦距。

为实现上述目的，本发明实施例还提供了一种图像拼接装置，所述装置包括：

第一确定模块，用于确定待拼接的第一图像和第二图像的重叠区域，并确定所述重叠区域内由一所述第一图像中的像素点和一所述第二图像中的像素点组成的若干像素点对；

深度值确定模块，用于确定每一像素点对对应的目标实景的深度值；

投影模块，用于从所述若干像素点对中任选一对作为第一像素点对，投影在曲面半径为第一预设值的几何曲面上，获得所述第一像素点对之间的弧线距离L；

第一曲面半径确定模块，用于将除所述第一像素点对以外的剩余像素点对，分别按照各自对应的目标实景的深度值、第一深度值和所述第一预设值，计算得到每一剩余像素点对对应的投影几何曲面的曲面半径；其中，所述第一深度值为所述第一像素点对对应的目标实景的深度值；

坐标确定模块，用于根据每一像素点在所述第一图像或所述第二图像中的坐标、以及每一像素点对对应的曲面半径，确定每一像素点在展开图像中的坐标；

坐标平移模块，用于将所述重叠区域内所述第一图像中或所述第二图像中的像素点在所述展开图像中的坐标，均平移所述弧线距离L，使每一所述像素点对对应的两个坐标重合；

拼接图像确定模块，用于将所述若干像素点对坐标重合的展开图像确定为拼接后的图像。

可选地，所述第一确定模块，具体用于将所述重叠区域内所述第一图像中的像素点标记为基准像素点；根据每一基准像素点与所述重叠区域内所述第二图像中的像素点的一一对应关系，在所述重叠区域内所述第二图像中确定与每一基准像素点对应的可动像素点，获得由一基准像素点和一可动像素点组成的若干像素点对；所述每一像素点对中的两个像素点对应的目标实景相同。

可选地，所述坐标确定模块包括：

第一坐标确定子模块，用于根据每一基准像素点在所述第一图像中的坐标和该基准像素点对应的曲面半径，确定每一基准像素点在展开图像中的坐标；

第二坐标确定子模块，用于根据每一可动像素点在所述第二图像中的坐标和该可动像素点对应的曲面半径，确定每一可动像素点在所述展开图像中的坐标。

可选地，所述第一曲面半径确定模块，具体用于将除所述第一像素点对以外的剩余像素点对，分别按照各自对应的目标实景的深度值、第一深度值、所述第一预设值和第一预设模型，计算得到每一剩余像素点对对应的投影几何曲面的曲面半径；

其中，所述第一预设模型为：

可选地，所述第一预设值为所述第一焦距。

可选地，所述深度值确定模块，具体用于根据每一像素点对的视差和第二预设模型，确定每一像素点对的深度值；其中，所述第二预设模型为：

可选地，

所述装置还包括：

非重叠区域确定模块，用于确定所述第一图像和所述第二图像的非重叠区域；所述非重叠区域是所述第一图像和所述第二图像中除所述重叠区域以外的区域；

第二曲面半径确定模块，用于将所述非重叠区域内的像素点对应的曲面半径均确定为第二预设值；

所述坐标确定模块，具体用于根据所述非重叠区域内的像素点在所述第一图像或所述第二图像中的坐标，以及所述第二预设值，确定所述非重叠区域内每一像素点在所述展开图像中的坐标

本发明实施例提供的图像拼接方法及装置，由于在确定每一像素点和每一可动像素点在展开图像中的坐标时，考虑了各自对应的投影几何曲面的曲面半径，而在计算除第一像素点对以外的剩余像素点对的曲面半径时，考虑了自身对应的深度值、第一像素点对对应的深度值和第一像素点对应的曲面半径，这使得每一像素点对在展开图像中的距离均为L，因此，将所述重叠区域内所述第一图像中或所述第二图像中的像素点在所述展开图像中的坐标均平移L后，使每一所述像素点对对应的两个坐标重合，最终将若干像素点对坐标重合的展开图像作为拼接后的图像。因此，应用本发明实施例提供的图像拼接方法及装置进行图像拼接时，与现有技术中使用图像配准的图像拼接方法相比，避开了图像配准环节，能够使第一图像和第二图像中重叠区域内针对同一物点的像点完全重合，很好地解决了不同深度目标存在的拼接错位问题，实现了第一图像和第二图像的准确拼接。

另外，应用本发明实施例提供的图像拼接方法及装置进行图像拼接时，与现有技术中的单镜头旋转扫描式全景拼接装置相比，可以拼接完成动态场景的无重影和无错位；与现有技术中的依靠多镜头组装精度，不使用图像配准的全景拼接方法相比，降低了镜头组装精度要求，降低了生产成本，有利于扩大生产；与不使用几何投影的全景拼接方法相比，多镜头可以设计为环状和球状，真正实现了360度全景无缝拼接；还有，本发明实施例通过几何投影和简单的像素平移消除了各镜头光心不重合导致的视差，调节简单，具有较强的鲁棒性。

当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A为全景拼接装置中各镜头以平面模型排列的示意图；

图1B为全景拼接装置中各镜头以柱面模型排列的示意图；

图1C为全景拼接装置中各镜头以球面模型排列的示意图；

图2A为光心重合的两个镜头拍摄获得第一图像和第二图像的成像过程示意图；

图2B为光心不重合的两个镜头拍摄获得第一图像和第二图像的成像过程示意图；

图2C为光心不重合的两个镜头拍摄获得第一图像和第二图像的另一成像过程示意图；

图2D为光心不重合的两个镜头拍摄获得第一图像和第二图像的另一成像过程示意图；

图2E为光心不重合的两个镜头拍摄获得第一图像和第二图像的另一成像过程示意图；

图3为本发明实施例提供的一种图像拼接方法的流程图；

图4A为物点P在左镜头和右镜头的像平面上成像的示意图；

图4B为物点P在左镜头和右镜头的像平面上成像的另一示意图；

图4C为计算物点A的视差的原理示意图；

图5A为柱面投影的主视示意图；

图5B为柱面投影的俯视示意图；

图5C为柱面投影的展开示意图；

图6为本发明实施例提供的一种图像拼接装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的一种图像拼接方法及装置，应用于具有多镜头的全景拼接装置中，例如全景相机中，当然也可以应用于其他具有图像拼接功能的设备中，本发明对此并不做限定。在本发明实施例中，主要以全景拼接装置为例进行说明。

全景拼接装置，通常包括多个镜头，针对不同的应用场景，这多个镜头的排布方式不同。一般情况下，这多个镜头按照特定的几何模型排布在全景拼接装置中，常见的几何模型主要包括：平面模型、柱面模型和球面模型三种。下面逐一进行说明。

(1)平面模型，是指多镜头水平排列，各镜头的光轴相互平行。可选地，相邻镜头间的距离相等，各镜头的俯仰角也相同，且各镜头的光轴位于同一平面上。图1A示出了全景拼接装置中各镜头以平面模型排列的示意图，在图1A中，包括四个镜头，各镜头水平排列在同一条轴线上，相邻镜头间的距离相等，各镜头为相同的镜头。

(2)柱面模型，是指多镜头环状排列在同一柱面上，各镜头的光轴交于圆柱体中心轴上的同一点。可选地，各镜头间的水平旋转角相同，且各镜头的俯仰角相同。图1B示出了全景拼接装置中各镜头以柱面模型排列的示意图，在图1B中，也包括四个镜头。

(3)球面模型，是指多镜头分布在球面的同一纬度上，各镜头的光轴交于圆柱体中心轴上的同一点。可选地，各镜头的俯仰角相同，各镜头间的水平旋转角相同，各镜头间设计夹角相同。图1C示出了全景拼接装置中各镜头以球面模型排列的示意图。

在本发明实施例中，待拼接的两幅图像可以分别被称为：第一图像和第二图像，分别由全景拼接装置中的两个相邻镜头拍摄获得。

需要说明的是，在本发明实施例中，拍摄第一图像和第二图像的两个镜头应满足以下条件：①各镜头到全景拼接装置的几何投影中心的距离一致；②各镜头的光心不重合，由于镜头光心到传感器焦点之间的距离往往为毫米量级，镜头本身的焦距和传感器尺寸限制了镜头的排列距离和半径，导致镜头间的光心无法重合；可选地，满足以下条件之一：①各镜头间无差别，即各镜头的焦距、视场角、畸变均相同；②各镜头的俯仰角均一致。

下面对本发明实施例中涉及的专业术语进行解释说明。

几何投影，是指根据拍摄第一图像的镜头和拍摄第二图像的镜头的排布几何模型，将第一图像和第二图像中的所有像素点投影在以全景拼接装置的几何投影中心为中心的几何曲面上的过程。

几何投影中心，一般是根据拍摄第一图像的镜头和拍摄第二图像的镜头的排布模型确定的。通常情况下，将全景拼接装置中各镜头的光轴的交点作为几何投影中心。

曲面半径，是指将第一图像或第二图像中的像素点投影到几何曲面上，所形成的投影点所在位置处的几何曲面的曲面半径。

重叠区域，是指第一图像和第二图像中实景相同的区域。其中，实景相同的区域是指该区域所针对的实际场景(简称实景)相同。

无缝拼接，是指使第一图像和第二图像中的重叠区域内针对同一物点的像点完全重合的图像拼接方法。

下面结合图2A至图2E对获得本发明实施例提供的图像拼接方法及装置的原理进行说明。

图2A示出了光心重合的两个镜头拍摄获得第一图像和第二图像的成像过程示意图。如图2A所示，实景上一个物点，在第一图像1和第二图像2中所成的像分别为像点A和像点B。当将第一图像1和第二图像2均通过几何投影投影到几何曲面3上时，像点A和像点B在几何曲面3上所成的投影像点为同一点M。也就是说，当拍摄第一图像的镜头和拍摄第二图像的镜头的光心重合时，通过几何投影，可以实现第一图像和第二图像中的重叠区域内针对同一物点的像点的完全重合，也即实现第一图像和第二图像的无缝拼接。

然而，由于拍摄第一图像的镜头和拍摄第二图像的镜头均存在相应的物理尺寸，因此，不可能做到这两个镜头的光心重合，进而由这两个镜头拍摄获得的第一图像和第二图像中的重叠区域内针对同一物点的像点必定存在视差。

为了便于理解，下面结合图2B对视差进行说明。如图2B所示物点A、B、C、D、E在一条直线上，在视点M所成的图像中为像点B，在视点N所成的图像中分别为像点A、B、C、D、E，显然，物点A、B、C、D、E在不同视点中所成的像是不同的，这就导致了多镜头拼接中的视差。需要说明的是，在本发明实施例中，视点指的是镜头光心所在的位置。

图2C进一步示出了光心不重合的镜头4和镜头5分别拍摄获得第一图像和第二图像的成像过程示意图。

如图2C所示，位于镜头4的同一入射光线上的两个物点S1和物点S2，在镜头4拍摄获得的第一图像1中，这两个物点对应的像点重合，为像点A1，在镜头5拍摄获得的第二图像2中，物点S1和物点S2对应的像点分别为B1和B2。显然，在通过镜头4和镜头5从两个不同视点拍摄同一目标物点S1时，所成的像点A1与B1并不重合，而是存在视差。将存在视差的像点A1和B1投影到以几何投影中心为中心的几何曲面上时，二者对应的投影点显然也不可能重合，由此可见，视差的存在极大的影响了全景拼接的效果，主要体现为第一图像和第二图像中的重叠区域内针对同一物点的像点的拼接错位。

还有，除两个镜头的光心无法重合导致存在视差外，通常情况下，重叠区域内针对实景中的不同物点的像素点的深度也是不同的。图2D示出了光心不重合的镜头4和镜头5分别拍摄获得第一图像和第二图像的另一成像过程示意图。

如图2D所示，假设实景中存在物点S1和物点S2，且S1与S2位于实景的不同深度上。在图2D中，镜头4拍摄获得第一图像1，镜头5拍摄获得第二图像2。物点S1和物点S2在第一图像1上所成的像点分别为IA1和IA2；物点S1和物点S2在第二图像2上所成的像点分别为IB1和IB2。镜头4和镜头5的光轴所在直线交于几何投影中心。将像点IA1、IA2、IB1和IB2分别投影到几何曲面3上，形成的投影点分别为PA1、PA2、PB1和PB2。设PA1与PB1之间的弧线距离为L₁，PA2与PB2之间的弧线距离为L₂，显然，L₁＞L₂。在几何曲面3上，如果通过将投影点PB1平移L₁个像素与PA1重合，那么需要将PB2平移L₂个像素才能与PA2重合。如果将(PA1，PB1)和(PA2，PB2)分别称为匹配投影点对，显然，通过平移相同的像素距离无法实现深度不同的各匹配投影点对中的两个投影点的同时重合。

由于第一图像1和第二图像2中的重叠区域内的各像素点的投影点位于几何曲面上，因此，通过改变几何曲面的半径可以改变投影点的间距。具体如图2E所示，将深度值较大的物点S1对应的像点IA1和像点IB1投影在曲面半径较小的几何曲面3上，分别形成投影点PA1与PB1，并设投影点PA1与PB1之间的弧线距离为L₁；将深度值较小的物点S2对应的像点IA2和像点IB2投影在曲面半径较大的几何曲面6上，分别形成影点PA2与PB2，并设投影点PA2与PB2之间的弧线距离为L₂。当几何曲面6的曲面半径与几何曲面3的曲面半径满足一定的关系时，即可实现：L₁＝L₂，此时，将PB1和PB2均平移弧线距离L₁，可分别与PA1和PA2完全重合。

这说明，通过将第一图像和第二图像中的重叠区域内不同物点的像素点按各自深度值的大小投影到不同曲面半径的几何曲面上，可以使各匹配投影点对中的两个投影点之间的距离均相等，进而在将所有匹配投影点对中第一图像或第二图像中的像素点对应的投影点平移相同的距离后，即可实现所有匹配投影点对中的两个投影点的完全重合。

基于上述原理，本发明实施例提供了一种图像拼接方法及装置，下面首先对本发明实施例提供的一种图像拼接方法进行说明。

如图3所示，本发明实施例提供的一种图像拼接方法，该方法包括步骤S301至S307，各步骤的具体内容如下。

S301、确定待拼接的第一图像和第二图像的重叠区域，并确定所述重叠区域内由一所述第一图像中的像素点和一所述第二图像中的像素点组成的若干像素点对；

其中，所述重叠区域为所述第一图像和所述第二图像中实景相同的区域。

在本发明实施例中，第一图像和第二图像，分别由全景拼接装置中的两个相邻镜头拍摄获得，这两个相邻镜头到所述全景拼接装置的几何投影中心的距离一致，并且所述两个相邻镜头的光心不重合。

可选地，拍摄第一图像和第二图像的两个镜头的焦距均为第一焦距。

其中，重叠区域是通过如下方法确定的：由于在全景拼接装置中，相邻镜头间的夹角往往是固定的，通过两相邻镜头各自的视场角及两相邻镜头光轴间的夹角，可以确定两相邻镜头间的重叠角度，根据重叠角度即可确定两幅图像中的重叠区域。

在实际应用中，考虑到各镜头视场角及两相邻镜头光轴间的夹角存在制造误差，并考虑到后续计算重叠区域的像素点的深度值的资源消耗，较佳的，可以对各镜头的视场角及两相邻镜头间的夹角进行设定，使得重叠区域的宽度为10个像素左右，可以有效避免由于重叠区域和非重叠区域景深过渡剧烈导致的全景图像目标被分割的问题。

在本发明实施例提供的一种具体实施方式中，所述确定所述重叠区域内由一所述第一图像中的像素点和一所述第二图像中的像素点组成的若干像素点对的步骤，包括：

由于重叠区域内的像素点对应的实景是相同的，因此，对于每一基准像素点，必定存在与该基准像素点对应实景中同一物点的唯一可动像素点，也即基准像素点和可动像素点存在一一对应关系。并且确定重叠区域的过程就是确定对应物点相同的区域的过程，因此，在确定重叠区域的同时也就确定了基准像素点和可动像素点的一一对应关系。另外，由于存在一一对应关系的基准像素点与可动像素点对应的目标实景相同，因此，每一像素点对中的两个像素点对应的目标实景的深度值也相等；其中目标实景可以是实景中一个对象的一部分，例如杯口的一个小角。

具体的，可以在确定重叠区域的过程中，先确定第一图像中重叠区域内的像素点与第二图像中的重叠区域内的像素点的一一对应关系表，这样当在第一图像中重叠区域内标记出基准像素点时，可通过查表确定第二图像中与每一基准像素点一一对应的像素点，并标记为可动像素点，进而获得由一基准像素点和一可动像素点组成的若干像素点对。

另外，由于计算每一基准像素点或每一可动像素点对应的视差时，是针对该像素点实际对应的物点进行的，并且考虑了该像素点的坐标信息，因此，在本发明实施例提供的另一种具体实施方式中，可以通过计算每一所述基准像素点与每一所述可动像素点对应的视差，确定重叠区域内第一图像中的像素点与重叠区域内第二图像中的像素点的一一对应关系表。

需要说明的是，确定重叠区域内第一图像中的像素点与重叠区域内第二图像中的像素点的一一对应关系表的过程属于现有技术，上述方式只是举例，本领域技术人员也可以通过其他方式确定该一一对应关系表。

S302、确定每一像素点对对应的目标实景的深度值；

其中，每一像素点对中的两个像素点对应的目标实景的深度值相等；

具体的，可以利用视差计算所述若干像素点对中每一像素点对的深度值。具体如下：

在本发明实施例中，为了描述方便，需引入坐标，由于坐标是人为引入的，因此客观世界中的事物可以处于不同的坐标系中。

在本发明实施例中，以大地为参考，将与地面垂直的平面确定为XY平面，将与地面水平的平面作为ZX平面，将XY平面中的水平线作为X轴、竖直线作为Y轴，将ZX平面上与XY平面垂直的水平线作为Z轴。

假设拍摄第一图像和第二图像的两个镜头的光轴均与Z轴平行，且这两个镜头X轴方向一致、像平面重叠。如图4A所示，将这两个镜头分别称为左镜头和右镜头，将左镜头的光心坐标设为(0,0,0)，将右镜头的光心坐标设为(T_x,0,0)，也即右镜头相对于左镜头沿X轴平移了T_x。

T_x一般称为基线(baseline)距离，根据三角形相似关系，很容易得出实景中的物点P(X,Y,Z)分别在左右像平面上的投影坐标：

左像平面：

Z_l＝0，即

右像平面：

Z_l＝0，即

其中，f₀为左镜头和右镜头的焦距，在本发明实施例中，左右镜头的焦距均为第一焦距f₀。

图4B给出了物点P在左镜头和右镜头的像平面上成像的示意图。

下面结合图4C说明计算视差的过程，在图4C中，物点A在右镜头中成的像从右像平面移动到左像平面中(B点)，与左镜头在左像平面中所成的像C位于同一坐标系中，那么：

左镜头像平面像点B的坐标为：

Z_l＝0；

右镜头像平面像点C的坐标为：

Z_l＝0；

则，像点B与像点C之间的距离为：

d即为视差；

则，物点A的深度值为：

在本发明实施例中将

称为第二预设模型。

需要说明的是，计算视差的方法不限于上述一种，现有技术中的主流方法是：首先获得每对待拼接图像的重叠区中的像素对应关系，根据三角测量原理，得到视差图，从而得到每个像素的视差。将获得的视差带入

即可计算得到相应像素点的深度值。

因此，第一像素点对(K1₀,K2₀)的深度值：

第二像素点对(K1_i,K2_i)的深度值：

还需要说明的是，深度值的计算方法也有很多种，在本发明中包括但不局限于上述示例中提供的深度值的计算方式。

S303、从所述若干像素点对中任选一对作为第一像素点对，投影在曲面半径为第一预设值的几何曲面上，获得所述第一像素点对之间的弧线距离L；

具体的，从所述若干像素点对中任选一对像素点作为第一像素点对(K1₀,K2₀)；将所述若干像素点对中除所述第一像素点对外的剩余像素点对用(K1_i,K2_i)表示。

其中，第一预设值可以任意设定，优选的，将第一预设值设置为拍摄所述第一图像的镜头和拍摄所述第二图像的镜头的第一焦距f₀。

当第一设置为第一焦距f₀时，将第一像素点对(K1₀,K2₀)投影在曲面半径为f₀的几何曲面上时，第一像素点对(K1₀,K2₀)之间的弧线距离L＝f₀θ₀，其中，θ₀为第一像素点对(K1₀,K2₀)到投影中心连线间的夹角。其中，计算θ₀的方法将在步骤S304中详细说明。

S304、将除所述第一像素点对以外的剩余像素点对，分别按照各自对应的目标实景的深度值、第一深度值和所述第一预设值，计算得到每一剩余像素点对对应的投影几何曲面的曲面半径；

其中，所述第一深度值为所述第一像素点对对应的目标实景的深度值Z₀；

在本发明实施例提供的一种具体实施方式中，步骤S304，具体包括：

其中，所述第一预设模型为：

其中，f_i为剩余像素点对对应的投影几何曲面的曲面半径，f₀为所述第一预设值，Z₀为所述第一像素点对的深度值，Z_i为剩余像素点对对应的目标实景的深度值。

在本实施例中，第一预设模型的具体推导过程如下。

由于根据像素点对应的目标实景的深度信息进行几何投影时，只改变每一像素点对对应的曲面半径f_i，并不改变每一像素点对中的两个像素点相对于几何投影中心的位置，因此，每一像素点对中的两个像素点到几何投影中心的连线间的夹角始终不变。

为了便于理解，在本发明实施例中，将每一像素点对投影在几何曲面上形成的两个投影点称为匹配投影点对，将匹配投影点对中的两个投影点之间的弧线距离称为像素点对的投影距离。

因此，若使任一剩余像素点对(K1_i,K2_i)在几何曲面上的投影距离，与第一像素点对(K1₀,K2₀)在几何曲面上的投影距离相等，必使：f_iθ_i＝f₀θ₀，也即，每一剩余像素点对对应的曲面半径f_i必须为：

其中，f₀为所述第一预设值，θ₀为第一像素点对(K1₀,K2₀)到投影中心连线间的夹角，θ_i为剩余像素点对(K1_i,K2_i)中的两个像素点到投影中心的连线间的夹角。

进而，步骤S304具体可以包括：

步骤1、计算第一像素点对中的两个像素点到投影中心的夹角θ₀，并记为第一夹角；

步骤2、计算每一剩余像素点对中的两个像素点到投影中心的夹角θ_i，并记为第二夹角；

由于：(1)当各个像素点对对应的曲面半径均为拍摄第一图像和第二图像的两个镜头的第一焦距f₀时，d_i＝f₀θ_i，也即：

其中d_i为剩余像素点对(K1_i,K2_i)对应的视差；(2)根据前文所述可知，像素点对(K1_i,K2_i)对应的视差为：

其中，f₀为第一焦距，T_x为基线距离，Z_i为基准像素点K1_i和可动像素点K2_i对应的目标实景的深度值。

因此，

可以理解的是，在第一图像和第二图像已经给出的情况下，计算θ₀和θ_i的方法可以有很多种，上述方法只是其中的一种。

步骤3、根据所述第一预设值、所述第一夹角和所述第二夹角，计算每一剩余像素点对对应的曲面半径。

也即，将所述第一预设值、第一夹角、第二夹角代入

即可获得每一所述第二像素点对对应的曲面半径。

可以理解的是，当

时，

最终，得出第一预设模型：

可以看出，最终，每一剩余像素点对对应的曲面半径只与第一预设值、第一像素点对对应的目标实景的深度值和该剩余像素点对本身对应的目标实景的深度值有关。因此，在已知第一预设值，以及每一像素点对对应的目标实景的深度值的情况下，根据第一预设模型，即可确定出剩余像素点对中的像素点在几何曲面上的曲面半径，并且使用该曲面半径投影时，使得每一对像素点对投影在几何曲面上的两个投影点之间的弧线距离相等。

S305、根据每一像素点在所述第一图像或所述第二图像中的坐标、以及每一像素点对对应的曲面半径，确定每一像素点在展开图像中的坐标；

具体的，步骤S305可以包括：

下面结合图5A至图5C，以将第一图像O₁ABC投影到以O为中心、以f₀为半径的圆柱面上为例，对确定每一像素点在展开图像中的坐标的过程进行说明。

如图5A所示，假设第一图像O₁ABC的宽度和高度分别为W和H，在图5A中，第一图像O₁ABC与所述圆柱面相切，圆柱面的高度等于第一图像O₁ABC的高度H，中心点O在距离圆柱底面

处。以O为中心建立直角坐标系XOY，以第一图像O₁ABC的顶点O₁为原点建立图像坐标系x O₁y，对于第一图像O₁ABC上的任意一个像素点P，连接OP交圆柱面于Q，Q即为像素点P在圆柱面上的投影点。

图5B示出了柱面投影的俯视示意图。图5C示出了柱面投影的展开示意图。在图5B中θ+α等于∠SOQ，且

结合图5A至图5C，假设P点在x O₁y坐标系中的坐标为P(x_P,y_P)，那么，确定每一像素点在展开图像上的坐标的过程，即为求投影点Q在图5C所示的坐标系x O₂y中的坐标Q(x_Q,y_Q)的过程。具体求解过程如下：

如图5A所示，过O点作平行于圆柱上下底面的圆O，过Q作QQ'‖Y轴交圆O于点Q'，连接OQ'交第一图像O₁ABC于点P'，则QQ'‖PP'‖Y轴，参考图5B和图5C可得，

根据图5A中ΔOQQ'∽ΔOPP'，可得

可以理解的是，柱面反投影是柱面投影的逆过程，也即已知柱面投影展开图中的任意一点Q(x_Q,y_Q)，求解其在第一图像中的对应点P的坐标P(x_P,y_P)的过程。具体求解过程与上述过程相反。具体的，结合5A至图5C可得，

不难理解，上述公式(1)和(2)即为将第一图像的像素点P(x_P,y_P)投影到曲面半径为f₀的柱面上，并展开为平面图像(简称展开图像)的坐标转换关系式，利用该式即可计算出每一像素点在展开图像上的坐标。

可以理解的是，当投影几何曲面为其他类型(例如球面)、投影几何曲面的曲面半径为其他值时，本领域技术人员可以通过与上述推导过程类似的方法，推导出计算每一像素点在展开图像中的坐标的公式。

需要说明的是，在上述将第一图像正投影至柱面的过程中，使用了拍摄第一图像的镜头的第一焦距f₀，并且用像素为基本单位对f₀进行了表示，简称像素焦距f₀。下面对如何用像素表示的第一焦距f₀进行说明。

镜头的视场角hf_ov决定了镜头所能拍摄的实景的多少，它可以用镜头水平旋转一周来估计，即：

hf_ov＝360/n，其中n是镜头水平旋转一周时拍摄的图像的张数(假设相邻位置拍摄的图像刚好左右衔接)，可以采用下式估计镜头的像素焦距f₀：

S306、将所述重叠区域内所述第一图像中或所述第二图像中的像素点在所述展开图像中的坐标，均平移所述弧线距离L，使每一所述像素点对对应的两个坐标重合；

由于L＝f₀θ₀＝f_iθ_i，因此，将所述重叠区域内所述第一图像中或所述第二图像中的像素点在所述展开图像中的坐标，均平移所述弧线距离L后，可以使每一所述像素点对对应的两个坐标重合。

S307、将所述若干像素点对坐标重合的展开图像确定为拼接后的图像。

可以理解的是，本实施例主要是将第一图像和第二图像中的所有像素点投影在不同位置处曲面半径不同的一个连续几何曲面上，最后将该连续的几何曲面展开，并将所述重叠区域内所述第一图像中或所述第二图像中的像素点的坐标平移所述弧线距离L，即可获得重叠区域内所有像素点对坐标完全重合的无缝全景图像。

需要说明的是，在本实施例中，连续几何曲面的中心为几何投影中心。

不难看出，本发明实施例提供的图像拼接方法，由于在确定每一像素点在展开图像中的坐标时，考虑了各自对应的投影几何曲面的曲面半径，而在计算除第一像素点对以外的剩余像素点对的曲面半径时，考虑了自身对应的深度值、第一像素点对对应的深度值和第一像素点对应的曲面半径，这使得每一像素点对在展开图像中的距离均为L，因此，将所述重叠区域内所述第一图像中或所述第二图像中的像素点在所述展开图像中的坐标均平移L后，使每一所述像素点对对应的两个坐标重合，最终将若干像素点对坐标重合的展开图像作为拼接后的图像。因此，应用本发明实施例提供的图像拼接方法及装置进行图像拼接时，与现有技术中使用图像配准的图像拼接方法相比，避开了图像配准环节，能够使第一图像和第二图像中重叠区域内针对同一物点的像点完全重合，很好地解决了不同深度目标存在的拼接错位问题，实现了第一图像和第二图像的准确拼接。

另外，与现有技术中的单镜头旋转扫描式全景拼接装置相比，可以拼接完成动态场景的无重影和无错位；与现有技术中的依靠多镜头组装精度，不使用图像配准的全景拼接方法相比，降低了镜头组装精度要求，降低了生产成本，有利于扩大生产；与不使用几何投影的全景拼接方法相比，多镜头可以设计为环状和球状，真正实现了360度全景无缝拼接；还有，本发明实施例通过几何投影和简单的像素坐标平移消除了各镜头光心不重合导致的视差，调节简单，具有较强的鲁棒性。

再有，现有技术中也存在通过对全景拼接装置进行改进，以获得较好的拼接效果的方案，第一种方式是通过单镜头的旋转扫描，以固定的视点和固定的旋转角度拍摄待拼接图像并进行拼接。这种方式可以保证镜头视点的唯一性，使得拍摄获得的第一图像和第二图像中针对重叠区域中同一物点的像素点不存在视差。但是，这种方式的适用场景较为有限，在静态场景下可以得到较好的拼接效果，然而，在动态场景下，由于镜头旋转存在时间差，导致待拼接的两幅图像中针对重叠区域的像素点的图像内参不一致，进而导致拼接后的图像中出现较为严重的鬼影，拼接效果差。第二种方式是，通过将多个镜头按一定的规则固定排列，形成特定的几何结构模型拍摄待拼接图像并进行拼接。在这种方式中，由于各镜头结构固定，可以避免镜头旋转导致的图像内参不同步问题，但是，由于各镜头本身存在物理尺寸，使得各镜头的光心不重合，各镜头的光心不重合则会导致第一图像和第二图像中针对重叠区域中的同一物点的像点拼接错位问题的产生。

可选地，图3所示的实施例提供的一种图像拼接方法，还可以包括：

其中，同第一预设值一样，第二预设值也可以任意设定，优选的，第二预设值与第一预设值相等，且均为拍摄所述第一图像的镜头和拍摄所述第二图像的镜头的第一焦距。

此时，图3所示的实施例的步骤S305，也即所述根据每一像素点在所述第一图像或所述第二图像中的坐标、以及每一像素点对对应的曲面半径，确定每一像素点在展开图像中的坐标的步骤，可以包括：

具体的，确定非重叠区域内每一像素点在所述展开图像上的坐标的方法，与上述步骤S305中确定每一基准像素点或每一可动像素点在展开图像中的坐标的方法一致，此处不再重复描述。

不难理解，将非重叠区域的像素点投影在几何曲面上，并对应展开在所述展开图像中，可以获得包含第一图像和第二图像中的所有像素点信息的最终的全景图像。

相应于上述方法实施例，如图6所示，本发明实施例还提供了一种图像拼接装置，该装置包括：第一确定模块601、深度值确定模块602、投影模块603、第一曲面半径确定模块604、坐标确定模块605、坐标平移模块606和拼接图像确定模块607。

第一确定模块601，用于确定待拼接的第一图像和第二图像的重叠区域，并确定所述重叠区域内由一所述第一图像中的像素点和一所述第二图像中的像素点组成的若干像素点对；

在本发明实施例中，第一图像和第二图像分别由全景拼接装置中的两个相邻镜头拍摄获得，这两个相邻镜头到所述全景拼接装置的几何投影中心的距离一致，并且所述两个相邻镜头的光心不重合。

其中，重叠区域的具体确定过程与图3所示的方法实施例中一致，此处不再赘述。

在本发明实施例提供的一种具体实施方式中，第一确定模块601，具体用于将所述重叠区域内所述第一图像中的像素点标记为基准像素点；根据每一基准像素点与所述重叠区域内所述第二图像中的像素点的一一对应关系，在所述重叠区域内所述第二图像中确定与每一基准像素点对应的可动像素点，获得由一基准像素点和一可动像素点组成的若干像素点对；所述每一像素点对中的两个像素点对应的目标实景相同。

需要说明的是，确定重叠区域内第一图像中的像素点与第二图像中的像素点的一一对应关系表的过程属于现有技术，上述方式只是举例，本领域技术人员也可以通过其他方式确定该一一对应关系表。

深度值确定模块602，用于确定每一像素点对对应的目标实景的深度值；

在本发明实施例提供的一种具体实施方式中，深度值确定模块602，具体用于根据每一像素点对的视差和第二预设模型，确定每一像素点对的深度值；其中，所述第二预设模型为：

第二预设模型的推导过程请参考图3所示的实施例的步骤S302，此处不再赘述。

需要说明的是，计算深度值的方法属于现有技术，上述方式仅仅是举例，并不对本发明实施例构成限定。

投影模块603，用于从所述若干像素点对中任选一对作为第一像素点对，投影在曲面半径为第一预设值的几何曲面上，获得所述第一像素点对之间的弧线距离L；

第一曲面半径确定模块604，用于将除所述第一像素点对以外的剩余像素点对，分别按照各自对应的目标实景的深度值、第一深度值和所述第一预设值，计算得到每一剩余像素点对对应的投影几何曲面的曲面半径；

其中，所述第一深度值为所述第一像素点对对应的目标实景的深度值；

具体的，第一曲面半径确定模块604通过如下过程计算每一剩余像素点对对应的投影几何曲面的曲面半径：将除所述第一像素点对以外的剩余像素点对，分别按照各自对应的目标实景的深度值、第一深度值、所述第一预设值和第一预设模型，计算得到每一剩余像素点对对应的投影几何曲面的曲面半径；

其中，所述第一预设模型为：

其中，第一预设模型的推导过程请参考图3所示的实施例的步骤S304。

坐标确定模块605，用于根据每一像素点在所述第一图像或所述第二图像中的坐标、以及每一像素点对对应的曲面半径，确定每一像素点在展开图像中的坐标；

具体的，坐标确定模块605可以包括：第一坐标确定子模块和第二坐标确定子模块；

具体的，第一坐标确定子模块和第二坐标确定子模块确定基准像素点和可动像素点在展开图像中的坐标的过程，请参考图3所示的实施例中的步骤S305，此处不再赘述。

坐标平移模块606，用于将所述重叠区域内所述第一图像中或所述第二图像中的像素点在所述展开图像中的坐标，均平移所述弧线距离L，使每一所述像素点对对应的两个坐标重合；

拼接图像确定模块607，用于将所述若干像素点对坐标重合的展开图像确定为拼接后的图像。

不难看出，本发明实施例提供的图像拼接装置，与现有技术中使用图像配准的图像拼接方法相比，避开了图像配准环节，能够使第一图像和第二图像中重叠区域内针对同一物点的像素点坐标在展开图像中完全重合，很好地解决了不同深度目标存在的拼接错位问题，实现了第一图像和第二图像的准确拼接；与现有技术中的单镜头旋转扫描式全景拼接装置相比，可以拼接完成动态场景的无重影和无错位；与现有技术中的依靠多镜头组装精度，不使用图像配准的全景拼接方法相比，降低了镜头组装精度要求，降低了生产成本，有利于扩大生产；与不使用几何投影的全景拼接方法相比，多镜头可以设计为环状和球状，真正实现了360度全景无缝拼接；另外，本发明实施例通过几何投影和简单的像素坐标平移消除了各镜头光心不重合导致的视差，调节简单，具有较强的鲁棒性。

另外，需要说明的是，现有技术中也存在通过对全景拼接装置进行改进，以获得较好的拼接效果的方案，第一种方式是通过单镜头的旋转扫描，以固定的视点和固定的旋转角度拍摄待拼接图像并进行拼接。这种方式可以保证镜头视点的唯一性，使得拍摄获得的第一图像和第二图像中针对重叠区域中同一物点的像素点不存在视差。但是，这种方式的适用场景较为有限，在静态场景下可以得到较好的拼接效果，然而，在动态场景下，由于镜头旋转存在时间差，导致待拼接的两幅图像中针对重叠区域的像素点的图像内参不一致，进而导致拼接后的图像中出现较为严重的鬼影，拼接效果差。第二种方式是，通过将多个镜头按一定的规则固定排列，形成特定的几何结构模型拍摄待拼接图像并进行拼接。在这种方式中，由于各镜头结构固定，可以避免镜头旋转导致的图像内参不同步问题，但是，由于各镜头本身存在物理尺寸，使得各镜头的光心不重合，各镜头的光心不重合则会导致第一图像和第二图像中针对重叠区域中的同一物点的像点拼接错位问题的产生。

可选地，图6所示的实施例提供的一种图像拼接装置，还可以包括：

此时，图6所示的实施例中的坐标确定模块605，具体用于根据所述非重叠区域内的像素点在所述第一图像或所述第二图像中的坐标，以及所述第二预设值，确定所述非重叠区域内每一像素点在所述展开图像中的坐标。

不难理解，将非重叠区域的像素点投影在几何曲面上，并对应展开在所述展开图像中，可以获得最终的全景图像。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种图像拼接方法，其特征在于，所述方法包括：

确定待拼接的第一图像和第二图像的重叠区域，并确定所述重叠区域内由一所述第一图像中的像素点和一所述第二图像中的像素点组成的若干像素点对；其中，拍摄所述第一图像的镜头和拍摄所述第二图像的镜头的焦距均为第一焦距；

确定每一像素点对对应的目标实景的深度值；

从所述若干像素点对中任选一对作为第一像素点对，投影在曲面半径为第一预设值的几何曲面上，获得所述第一像素点对之间的弧线距离L；所述第一预设值为所述第一焦距；

将除所述第一像素点对以外的剩余像素点对，分别按照各自对应的目标实景的深度值、第一深度值、所述第一预设值和第一预设模型，计算得到每一剩余像素点对对应的投影几何曲面的曲面半径；其中，所述第一深度值为所述第一像素点对对应的目标实景的深度值；所述第一预设模型为：

其中，f_i为剩余像素点对对应的投影几何曲面的曲面半径，f₀为所述第一预设值，Z₀为所述第一像素点对对应的目标实景的深度值，Z_i为剩余像素点对对应的目标实景的深度值；

2.根据权利要求1所述的方法，其特征在于，所述确定所述重叠区域内由一所述第一图像中的像素点和一所述第二图像中的像素点组成的若干像素点对的步骤，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据每一像素点在所述第一图像或所述第二图像中的坐标、以及每一像素点对对应的曲面半径，确定所述重叠区域内每一像素点在展开图像上的坐标的步骤，包括：

4.根据权利要求1所述的方法，其特征在于，所述确定每一像素点对对应的目标实景的深度值的步骤，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，拍摄所述第一图像的镜头和拍摄所述第二图像的镜头的焦距均为第一焦距；所述第二预设值为所述第一焦距。

7.一种图像拼接装置，其特征在于，所述装置包括：

第一确定模块，用于确定待拼接的第一图像和第二图像的重叠区域，并确定所述重叠区域内由一所述第一图像中的像素点和一所述第二图像中的像素点组成的若干像素点对；其中，拍摄所述第一图像的镜头和拍摄所述第二图像的镜头的焦距均为第一焦距；

投影模块，用于从所述若干像素点对中任选一对作为第一像素点对，投影在曲面半径为第一预设值的几何曲面上，获得所述第一像素点对之间的弧线距离L；所述第一预设值为所述第一焦距；

第一曲面半径确定模块，具体用于将除所述第一像素点对以外的剩余像素点对，分别按照各自对应的目标实景的深度值、第一深度值、所述第一预设值和第一预设模型，计算得到每一剩余像素点对对应的投影几何曲面的曲面半径；其中，所述第一深度值为所述第一像素点对对应的目标实景的深度值；所述第一预设模型为：

8.根据权利要求7所述的装置，其特征在于，所述第一确定模块，具体用于将所述重叠区域内所述第一图像中的像素点标记为基准像素点；根据每一基准像素点与所述重叠区域内所述第二图像中的像素点的一一对应关系，在所述重叠区域内所述第二图像中确定与每一基准像素点对应的可动像素点，获得由一基准像素点和一可动像素点组成的若干像素点对；所述每一像素点对中的两个像素点对应的目标实景相同。

9.根据权利要求8所述的装置，其特征在于，所述坐标确定模块包括：

10.根据权利要求7所述的装置，其特征在于，所述深度值确定模块，具体用于根据每一像素点对的视差和第二预设模型，确定每一像素点对的深度值；其中，所述第二预设模型为：

11.根据权利要求7所述的装置，其特征在于，所述装置还包括：

所述坐标确定模块，具体用于根据所述非重叠区域内的像素点在所述第一图像或所述第二图像中的坐标，以及所述第二预设值，确定所述非重叠区域内每一像素点在所述展开图像中的坐标。

12.根据权利要求11所述的装置，其特征在于，拍摄所述第一图像的镜头和拍摄所述第二图像的镜头的焦距均为第一焦距；所述第二预设值为所述第一焦距。