CN110880159A - 图像拼接方法、装置、存储介质及电子装置 - Google Patents

Abstract

本发明提供了一种图像拼接方法、装置、存储介质及电子装置，其中，该方法包括：获取按照直线水平排布阵列所排布的至少两个摄像设备所分别拍摄的图像；基于所述至少两个摄像设备所分别对应的映射矩阵对分别拍摄的图像进行拼接，以得到拼接图像。通过本发明，解决了相关技术中存在的拍摄区域有限，且无法应用于狭长场景中的问题。

Description

图像拼接方法、装置、存储介质及电子装置

技术领域

本发明涉及通信领域，具体而言，涉及一种图像拼接方法、装置、存储介质及电子装置。

背景技术

相关技术中的全景图像拼接方式，通常是多相机汇聚方式。在该方式中，多台参与拼接的摄像设备呈扇形排布(如图1所示)，将每个摄像设备的图像经过特征点匹配等方式确定相对位置，然后将图像投影到球面或柱面上完成拼接。例如，可以根据摄像设备的航向角、俯仰角和侧滚角将每幅图像投影到同一个球面上，然后将球面展开，完成拼接。

但是在相关技术中，参与拼接的摄像设备安装位置相近，远离摄像设备安装位置的景物显示不清或变形太大，无法应用于诸如隧道、矿道、列车站台等狭长场景。

针对相关技术中存在的拍摄区域有限，且无法应用于狭长场景中的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像拼接方法、装置、存储介质及电子装置，以至少解决相关技术中存在的拍摄区域有限，且无法应用于狭长场景中的问题。

根据本发明的一个实施例，提供了一种图像拼接方法，包括：获取按照直线水平排布阵列所排布的至少两个摄像设备所分别拍摄的图像；基于所述至少两个摄像设备所分别对应的映射矩阵对分别拍摄的图像进行拼接，以得到拼接图像。

根据本发明的另一个实施例，提供了一种图像拼接装置，包括：获取模块，用于获取按照直线水平排布阵列所排布的至少两个摄像设备所分别拍摄的图像；拼接模块，用于基于所述至少两个摄像设备所分别对应的映射矩阵对分别拍摄的图像进行拼接，以得到拼接图像。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述方法实施例中的步骤。

通过本发明，采用的是按照直线水平排布的摄像设备来实现全景拍摄，可以避免摄像设备安装位置过近而导致拍摄区域受限的问题，此外，按照直线水平排布阵列排布的摄像设备更适用于拍摄隧道、矿道、列车站台等狭长场景，从而有效解决了相关技术中存在的拍摄区域有限，且无法应用于狭长场景中的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是相关技术中的摄像设备排布示意图；

图2是本发明实施例的一种图像拼接方法的计算机终端的硬件结构框图；

图3是根据本发明实施例的图像拼接方法的流程图；

图4是根据本发明实施例的摄像设备排布示意图；

图5是根据本发明具体实施例的直线排布相机图像拼接方法流程图；

图6是根据本发明具体实施例的拼接前的相机成像图一；

图7是根据本发明具体实施例的拼接前的相机成像图二；

图8是根据本发明具体实施例的拼接前的相机成像图三；

图9是根据本发明具体实施例的标定杆移动前后示意图；

图10是根据本发明具体实施例的映射后图像示意图；

图11是根据本发明实施例的图像拼接装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图2是本发明实施例的一种图像拼接方法的计算机终端的硬件结构框图。如图2所示，计算机终端20可以包括一个或多个(图2中仅示出一个)处理器202(处理器202可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器204，可选地，上述计算机终端还可以包括用于通信功能的传输设备206以及输入输出设备208。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端20还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。

存储器204可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像拼接方法对应的计算机程序，处理器202通过运行存储在存储器204内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器204可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器204可进一步包括相对于处理器202远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端20。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端20的通信供应商提供的无线网络。在一个实例中，传输装置206包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置206可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种图像拼接方法，图3是根据本发明实施例的图像拼接方法的流程图，如图3所示，该流程包括如下步骤：

步骤S302，获取按照直线水平排布阵列所排布的至少两个摄像设备所分别拍摄的图像；

步骤S304，基于所述至少两个摄像设备所分别对应的映射矩阵对分别拍摄的图像进行拼接，以得到拼接图像。

其中，执行上述操作的可以具备计算能力的终端，或者是具备计算能力的服务器等设备。

在上述实施例中，采用的是按照直线水平排布的摄像设备(如图4所示)来实现全景拍摄，可以避免摄像设备安装位置过近而导致拍摄区域受限的问题，此外，按照直线水平排布阵列排布的摄像设备更适用于拍摄隧道、矿道、列车站台等狭长场景，从而有效解决了相关技术中存在的拍摄区域有限，且无法应用于狭长场景中的问题。

在一个可选的实施例中，基于所述至少两个摄像设备所分别对应的映射矩阵对分别拍摄的图像进行拼接，以得到拼接图像包括：对于所述至少两个摄像设备中包括的目标摄像设备，获取预先确定出的所述目标摄像设备所对应的目标映射矩阵；基于所述目标映射矩阵确定与所述拼接图像中包括的第一区域内的像素点所对应的目标图像内的像素点，其中，所述第一区域为与所述目标摄像设备所拍摄的所述目标图像对应的区域；将所述目标图像内的像素点对应填充至所述第一区域内。在本实施例中，阵列中的每一台摄像设备都会对应有一个映射矩阵，该映射矩阵是预先基于摄像设备所拍摄的拼接前的图像中的点的位置信息和对应的拼接后的图像中的点的位置信息来计算出来的，在进行图像拼接时，可以确定拼接后的图像中各个点所对应的拼接前的图像中的点，进而将拼接前的图像中的点的像素填充到拼接后的图像中。当然，在实际应用中也可以考虑确定拼接前的图像中点所对应的拼接后的图像中的点，进而将拼接前的图像中的点的像素填充到拼接后的图像中。

在一个可选的实施例中，在获取预先确定出的所述目标摄像设备所对应的目标映射矩阵之前，所述方法还包括：确定所述目标摄像设备在所述直线水平排布阵列中的目标位置；基于所述目标位置确定所述目标图像中预先确定的预定数量的标定点在所述目标图像中的坐标，以及所述第一区域中与各标定点对应的对应标定点在所述拼接图像中的坐标；基于所述标定点在所述目标图像中的坐标以及所述对应标定点在所述拼接图像中的坐标确定所述目标映射矩阵。在本实施例中，不同的摄像设备所对应的映射矩阵是不同的，在实际应用中可以基于摄像设备在阵列中的位置来确定其所对应的映射矩阵，具体计算方式可参考后续的具体实施例。

在一个可选的实施例中，所述预定数量的标定点是通过如下方式选取的：将位于所述目标摄像设备的视野中的第一标定物上的第一点和第二点，以及位于所述目标摄像设备的视野中的第二标定物上的第三点和第四点确定为预定数量的所述标定点；其中，所述第一标定物位于所述目标摄像设备的视野的第一侧，且出现在所述直线水平排布阵列中与所述目标摄像设备的第一侧相邻的摄像设备的视野中；所述第二标定物位于所述目标摄像设备的视野的第二侧，且出现在所述直线水平排布阵列中与所述目标摄像设备的第二侧相邻的摄像设备的视野中；所述第一标定物与所述第二标定物尺寸相同且在所述目标摄像设备的视野中相对设置，所述第一点和所述第三点相对应，所述第二点和所述第四点相对应。在本实施中，标定物可以是可被自由移动的物品，例如，标定杆；还可以是场景中固有的参照物，例如，门窗边缘、立柱。其中，在标定物为标定杆时，上述的第一点和第二点可以是标定杆的两个端点。当然，在实际应用中，也可以选择标定杆上的其他点。

在一个可选的实施例中，基于所述标定点在所述目标图像中的坐标以及所述对应标定点在所述拼接图像中的坐标确定所述目标映射矩阵包括：基于所述第一点、所述第二点、所述第三点和所述第四点在所述目标图像中的坐标，以及，所述与所述第一点对应的对应标定点、与所述第二点对应的对应标定点、与所述第三点对应的对应标定点和与所述第四点对应的对应标定点在所述拼接图像中的坐标确定3×3的所述目标映射矩阵。在本实施例中，可以利用四对已知的点(其中，一个拼接前图像中的点和一个拼接后图像上的对应的点为一对点)的坐标信息来确定一个3×3的映射矩阵。具体确定方式可以采用现有的确定方式。

在一个可选的实施中，在所述直线水平排布阵列中，相邻两个所述摄像设备的视野存在重合区域。

在一个可选的实施中，在所述直线水平排布阵列中，任意两个所述摄像设备对应于相同或不同的俯仰角。

在一个可选的实施中，在所述直线水平排布阵列中，任意两个所述摄像设备对应于相同或不同的侧滚角。

下面结合具体实施例对本发明进行说明：

如图5所示，在确定拼接图像时，可以通过如下步骤确定：

S502，相机安装；

相机安装如图3所示，呈直线水平排列。相机间不要求平行，并且允许相机存在俯仰角、侧滚角。相邻两个相机的图像必须有重合区域。以3台相机为例，每台相机成像如图6、图7、图8所示。

S504，图像标定；

为了便于准确标定图像拼接参数，可以借助一根标定杆，要求该标定杆笔直，且在不超出一台相机图像边缘的前提下应尽可能长一些。设共有N台相机参与拼接，对每台相机按顺序依次进行标定，标定过程如下：

(a)对于第一台相机，将标定杆垂直于地面放于图像的左侧，记录此时标定杆上下两端在图像中的坐标，并分别记为

和

将标定杆移到该相机图像的右侧，且出现在右侧相邻相机的图像中。移动后的标定杆应同样垂直于地面，且距离地面的高度应与第一次标定时相同。记录此时标定杆上下两端在图像中的坐标，并分别记为

和

标定杆移动前后如图9，至此完成第一台相机的标定。

(b)保持标定步骤(a)中标定杆位置不变，记录此时标定杆上下两端在第二台相机图像中的坐标，并分别记为

和

将标定杆移到第二台相机图像的右侧，且出现在右侧相邻相机的图像中。移动后的标定杆应同样垂直于地面，且距离地面的高度应与第一次标定时相同。记录此时标定杆上下两端在图像中的坐标，并分别记为

和

至此完成第二台相机的标定。

(c)按照标定步骤(b)，依次完成第三台至第N台相机的标定，对于第m台相机，其标定点依次为

和

需要注意的是，对于最后一台相机，其右侧已无相邻相机，但仍需移动标定杆至其图像右侧，完成

和

标定点的标定。至此，完成了所有相机的标定工作。

在标定过程中，所有标定位置的标定杆应垂直于地面，标定杆之间应平行且排布在一条直线上。

上述标定杆，只是为了方便标定而设立，亦可以使用其它满足条件的标定物，甚至场景中固有的参照物，如门窗边缘、立柱等。

S506，计算映射矩阵；

设第S504步图像标定中得到的标定点

在拼接后图像中的对应点坐标为

对于第一台相机，则有：

其中，

代表

中的横坐标，

代表

中的纵坐标。

对于其它相机n，则有：

基于前述的每台相机中的4对点可以得到相机n对应的映射矩阵为一个3×3的矩阵

即，可以基于p_n和q_n来确定一个H_n，进而实现p_n和q_n之间的映射。

S508，拼缝位置选取；

拼缝位置选取策略有许多种，根据场景或用户要求选取合适的策略。拼缝可以分为直线拼缝和曲线拼缝，其中直线拼缝比较简单，位置通常选择在重合区域的中间，或标定物附近。曲线拼缝相对复杂，但可以让拼缝从弱纹理区域穿过，从而隐藏拼缝，提升拼接效果。

在本发明实施例中不限定拼缝选取的方法，在此以简单的直线拼缝为例，设第n台相机的图像和第n+1台相机的拼缝在拼接后图像上的x坐标为s_n。

S510，图像映射；

对于拼接后图像上的任一点q(x，y)，首先根据步骤S508中的拼缝坐标，选择其对应的图像及映射矩阵

设q(x，y)对应的拼接前图像坐标为p(x′，y′)，则有：

映射后图像如图10所示，至此完成拼接过程。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种图像拼接装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图11是根据本发明实施例的图像拼接装置的结构框图，如图11所示，该装置包括：

获取模块1102，用于获取按照直线水平排布阵列所排布的至少两个摄像设备所分别拍摄的图像；拼接模块1104，用于基于所述至少两个摄像设备所分别对应的映射矩阵对分别拍摄的图像进行拼接，以得到拼接图像。

在一个可选的实施例中，所述拼接模块1104包括：获取单元，用于对于所述至少两个摄像设备中包括的目标摄像设备，获取预先确定出的所述目标摄像设备所对应的目标映射矩阵；确定单元，用于基于所述目标映射矩阵确定与所述拼接图像中包括的第一区域内的像素点所对应的目标图像内的像素点，其中，所述第一区域为与所述目标摄像设备所拍摄的所述目标图像对应的区域；填充单元，用于将所述目标图像内的像素点对应填充至所述第一区域内。

在一个可选的实施例中，所述装置还用于在获取预先确定出的所述目标摄像设备所对应的目标映射矩阵之前，确定所述目标摄像设备在所述直线水平排布阵列中的目标位置；基于所述目标位置确定所述目标图像中预先确定的预定数量的标定点在所述目标图像中的坐标，以及所述第一区域中与各标定点对应的对应标定点在所述拼接图像中的坐标；基于所述标定点在所述目标图像中的坐标以及所述对应标定点在所述拼接图像中的坐标确定所述目标映射矩阵。

在一个可选的实施例中，所述装置可以通过如下方式选取所述预定数量的标定点：将位于所述目标摄像设备的视野中的第一标定物上的第一点和第二点，以及位于所述目标摄像设备的视野中的第二标定物上的第三点和第四点确定为预定数量的所述标定点；其中，所述第一标定物位于所述目标摄像设备的视野的第一侧，且出现在所述直线水平排布阵列中与所述目标摄像设备的第一侧相邻的摄像设备的视野中；所述第二标定物位于所述目标摄像设备的视野的第二侧，且出现在所述直线水平排布阵列中与所述目标摄像设备的第二侧相邻的摄像设备的视野中；所述第一标定物与所述第二标定物尺寸相同且在所述目标摄像设备的视野中相对设置，所述第一点和所述第三点相对应，所述第二点和所述第四点相对应。

在一个可选的实施例中，所述装置可以通过如下方式确定所述目标映射矩阵：基于所述第一点、所述第二点、所述第三点和所述第四点在所述目标图像中的坐标，以及，所述与所述第一点对应的对应标定点、与所述第二点对应的对应标定点、与所述第三点对应的对应标定点和与所述第四点对应的对应标定点在所述拼接图像中的坐标确定3×3的所述目标映射矩阵。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

通过本发明可以避免了因目标远离相机安装位置导致景物显示不清，并可对因相机安装角度原因导致的图像变形进行校正，尤其可应用于隧道、矿道、列车站台等狭长场景。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像拼接方法，其特征在于，包括：

获取按照直线水平排布阵列所排布的至少两个摄像设备所分别拍摄的图像；

基于所述至少两个摄像设备所分别对应的映射矩阵对分别拍摄的图像进行拼接，以得到拼接图像。

2.根据权利要求1所述的方法，其特征在于，基于所述至少两个摄像设备所分别对应的映射矩阵对分别拍摄的图像进行拼接，以得到拼接图像包括：

对于所述至少两个摄像设备中包括的目标摄像设备，获取预先确定出的所述目标摄像设备所对应的目标映射矩阵；

基于所述目标映射矩阵确定与所述拼接图像中包括的第一区域内的像素点所对应的目标图像内的像素点，其中，所述第一区域为与所述目标摄像设备所拍摄的所述目标图像对应的区域；

将所述目标图像内的像素点对应填充至所述第一区域内。

3.根据权利要求2所述的方法，其特征在于，在获取预先确定出的所述目标摄像设备所对应的目标映射矩阵之前，所述方法还包括：

确定所述目标摄像设备在所述直线水平排布阵列中的目标位置；

基于所述目标位置确定所述目标图像中预先确定的预定数量的标定点在所述目标图像中的坐标，以及所述第一区域中与各标定点对应的对应标定点在所述拼接图像中的坐标；

基于所述标定点在所述目标图像中的坐标以及所述对应标定点在所述拼接图像中的坐标确定所述目标映射矩阵。

4.根据权利要求3所述的方法，其特征在于，所述预定数量的标定点是通过如下方式选取的：

将位于所述目标摄像设备的视野中的第一标定物上的第一点和第二点，以及位于所述目标摄像设备的视野中的第二标定物上的第三点和第四点确定为预定数量的所述标定点；

其中，所述第一标定物位于所述目标摄像设备的视野的第一侧，且出现在所述直线水平排布阵列中与所述目标摄像设备的第一侧相邻的摄像设备的视野中；

所述第二标定物位于所述目标摄像设备的视野的第二侧，且出现在所述直线水平排布阵列中与所述目标摄像设备的第二侧相邻的摄像设备的视野中；

所述第一标定物与所述第二标定物尺寸相同且在所述目标摄像设备的视野中相对设置，所述第一点和所述第三点相对应，所述第二点和所述第四点相对应。

5.根据权利要求4所述的方法，其特征在于，基于所述标定点在所述目标图像中的坐标以及所述对应标定点在所述拼接图像中的坐标确定所述目标映射矩阵包括：

基于所述第一点、所述第二点、所述第三点和所述第四点在所述目标图像中的坐标，以及，所述与所述第一点对应的对应标定点、与所述第二点对应的对应标定点、与所述第三点对应的对应标定点和与所述第四点对应的对应标定点在所述拼接图像中的坐标确定3×3的所述目标映射矩阵。

6.根据权利要求1至5中任一项所述的方法，其特征在于，包括以下至少之一：

在所述直线水平排布阵列中，相邻两个所述摄像设备的视野存在重合区域；

在所述直线水平排布阵列中，任意两个所述摄像设备对应于相同或不同的俯仰角；

在所述直线水平排布阵列中，任意两个所述摄像设备对应于相同或不同的侧滚角。

7.一种图像拼接装置，其特征在于，包括：

获取模块，用于获取按照直线水平排布阵列所排布的至少两个摄像设备所分别拍摄的图像；

拼接模块，用于基于所述至少两个摄像设备所分别对应的映射矩阵对分别拍摄的图像进行拼接，以得到拼接图像。

8.根据权利要求7所述的装置，其特征在于，所述拼接模块包括：

获取单元，用于对于所述至少两个摄像设备中包括的目标摄像设备，获取预先确定出的所述目标摄像设备所对应的目标映射矩阵；

确定单元，用于基于所述目标映射矩阵确定与所述拼接图像中包括的第一区域内的像素点所对应的目标图像内的像素点，其中，所述第一区域为与所述目标摄像设备所拍摄的所述目标图像对应的区域；

填充单元，用于将所述目标图像内的像素点对应填充至所述第一区域内。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。

Images